2. 中国海洋大学海洋与大气学院, 山东 青岛 266100;
3. 青岛市气象台, 山东 青岛 266003;
4. 国家卫星气象中心, 北京 100081
2. College of Oceanic and Atmospheric Sciences, Ocean University of China, Qingdao 266100, China;
3. Qingdao Meteorological Observatory, Qingdao 266003, China;
4. National Satellite Meteorological Center, Beijing 100081, China
海雾是发生在海洋边界层大气中,由于水汽凝结而产生大量水滴(或冰晶)[1],使得大气水平能见度小于1 km的天气现象。因大气能见度降低,海雾可导致船只碰撞、触礁等事故,给人民生命财产造成巨大损失,夜间尤甚。因此,对于海雾的监测是极其重要的。目前海上观测数据匮乏,海岛、船舶、浮标等离散站点无法对广阔海域的海雾进行实时监测,卫星遥感技术具有高时空分辨率的特点,其逐渐成为研究海雾等天气现象的重要工具和手段[2-4]。西北太平洋是“一带一路”重点海域,且在全球范围内夏季海雾发生频率最高、覆盖面积最大[5],具有重要的研究意义。
根据可见光数据、纹理特征等信息,日间海雾卫星检测算法多样化,如通过卫星光谱分析得到区分雾与晴空、低云的固定阈值[6-7],将红外通道亮温与海表面温度相结合[8]、引入归一化近红外水汽吸收区指数[9]的动态阈值法,多波段阈值法融合决策树[10]等。
而夜间雾区的检测,主要使用基于中红外(约3.7 μm)和热红外(约11 μm)通道亮温差的双通道差值法(dual channel difference,DCD)[11-15]。由于云雾在热红外波段的发射率接近1,而在中红外波段的发射率仅为0.8~0.9,中红外波段的亮温高于热红外波段通常意味着晴朗或部分多云的天空,中红外波段的亮温较低通常意味着中高云、海洋等[16-17]。然而,目前在不同海域的DCD法阈值仍难以界定。Gao等[14]基于MTSAT-1R卫星的3.7 μm、10.7 μm通道亮温差数据,选择-5.5~-2.5 K作为黄海夜间海雾/层云的阈值区间。对于西北太平洋海雾/低云(sea fog/low stratus,SFLS),发现该阈值区间内可能混淆有中高云,-2.5 K附近对不同分类的边界划分较难,且无法识别中高云、晴空水体[18]等其他目标物。图 1给出了2016年6月19日一次SFLS个例,DCD法检测该个例存在较多误判。
中长波红外亮温通道对于检测夜间SFLS仍然具有重要作用,SFLS与其他区域存在温差,或许可尝试使用机器学习方法学习不同目标分类之间的差异。考虑到卷积神经网络(convolutional neural network,CNN)[19-20]在语义分割领域具有优秀的处理非线性问题能力,同样适用于卫星图像提取SFLS特征,目前已有多种应用于云雾分类的深度学习模型,在算法中使用边界优化、迁移学习、结合概率图模型等[21-23]。因此,本研究使用全卷积神经网络与全连接条件随机场相结合的模型,不依赖固定阈值识别西北太平洋夜间SFLS。
1 数据与方法 1.1 数据使用日本葵花8号(Himawari-8)静止卫星(http://www.jma.go.jp/jma/indexe.html)所搭载高级成像仪(Advanced Himawari Imagers,AHI)提供的3.9、10.4、11.2 μm通道红外亮温数据,关注区域为西北太平洋(30°N~60°N,130°E~160°W),数据时间范围为2016—2020年。该卫星传感器有16个观测波段,包括3个可见光通道、3个近红外通道、10个红外通道[24]。本文所用L1级数据时间分辨率为10 min,空间分辨率为2 km,等经纬度投影至0.02°×0.02°。
使用CALIPSO极轨卫星(https://www-calipso.larc.nasa.gov/)所搭载双波段云-气溶胶正交偏振激光雷达(Cloud-Aerosol Lidar with Orthogonal Polarization,CALIOP)提供的云层、气溶胶垂直特征层分布(Vertical Feature Mask,VFM)产品云底高度数据,结合Himawari-8卫星数据进行样本标签的制作、模型性能测试。本文所用数据水平分辨率为5 km,垂直分辨率为30 m。CALIPSO卫星数据时间位于2次Himawari-8卫星数据(时间分辨率为10 min)之间时,其与最近的Himawari-8卫星数据时间距离为0~5 min;CALIPSO星下点位于Himawari-8卫星数据点(空间分辨率为2 km)网格中时,其与最近的Himawari-8卫星格点空间距离d为0~
使用欧洲中期天气预报中心基于多卫星观测的全球海面温度(sea surface temperature,SST;空间分辨率为0.05°×0.05°)逐日数据(https://cds.climate.copernicus.eu/)进行SFLS检测,空间分辨率插值至与Himawari-8卫星数据相同。
使用全球海洋-大气综合数据集(International Comprehensive Ocean-atmosphere Data Set, ICOADS)补充检验测试集的个例(http://icoads.noaa.gov/)。ICOADS数据来源于全球船舶、浮标、沿海观测站等平台开展的海洋、大气观测,包含能见度、天气现象、气温、气压、风速、风向和SST等与雾相关的要素。下文将能见度小于等于1 km并且当时天气现象记录为雾的观测归类为海雾。
1.2 方法 1.2.1 FCN-CRF模型本研究使用全卷积神经网络与全连接条件随机场相结合的模型(Fully Convolutional Network and Conditional Random Field,FCN-CRF),在Tensoflow2.1框架上搭建FCN32s模型(https://github.com/fengshilin/tf2.0-FCN)。该模型在经典CNN网络结构Visual Geometry Group 16(VGG16)[25]的基础上,去掉全连接层,增加分类层、反卷积层[20],可对样本逐像素分类。同时,为弥补FCN上采样操作使分类结果细节丢失、边缘过于平滑的缺点,使用CRF(https://github.com/lucasb-eyer/pydensecrf)后处理FCN结果。CRF能够将每个像素点与其他像素点相连接[26],得到更细致的分类边界。图 3为FCN-CRF模型的结构,卷积层按照设置的卷积核大小,滑动提取输入信号的特征;池化层基于局部相关性原理进行下采样操作,在减少数据量的同时保留有用信息[27];卷积操作降低了图像的分辨率,反卷积操作将分辨率恢复到原样本尺寸[20];最后经过CRF细化分类结果。
图 4为基于FCN-CRF模型的夜间SFLS检测方法设计流程。首先对Himawari-8卫星的亮温数据进行投影、插值等数据预处理,然后根据CALIPSO卫星VFM产品的云底高度数据得到目标分类,结合亮温数据进行数据时空匹配、数据增强,得到夜间SFLS样本,加入海陆模板、SST数据形成FCN数据集(包含训练集和测试集)。对于训练集,经过调整参数和通道,得到最佳FCN,结合CRF的后处理操作构成FCN-CRF模型。对于测试集,根据FCN-CRF模型的检测结果,对比VFM产品、DCD法、ICOADS观测数据以测试模型性能。
本研究根据二分类混淆矩阵(表 1)[27],其中TP、FN、FP、TN分别代表真阳性、假阴性、假阳性和真阴性的样本总数,使用总体准确度(overall accuracy,OA)、检出率(probability of detection,POD)、虚警率(false alarm ratio,FAR)、临界成功指数(critical success index,CSI)、Hanssen-Kuiper技能分数(Hanssen-Kuiper Skill Score,KSS)和Heidke技能分数(Heidke Skill Score,HSS)这6种指标[28-29]进行夜间SFLS检测模型性能评价(表 2)。利用OA和损失(loss)判断FCN的训练效果,OA代表正确分类的概率,loss代表预测值与标签分类的差异程度。
大量高准确度的训练数据对于深度学习方法至关重要,由于缺少实时海上观测,本研究选择卫星遥感数据,即使用CALIPSO卫星VFM产品的云底高度数据定义训练样本的标签(图 5)。
Cotton等[30]提出海洋层积云和雾的动力学形成机制少有明显区别,且层积云和层云在时间尺度、液态水含量等方面与雾的差异较小。层积云和层云云底高度低于2 km[31],因此本文将云底高度2 km以下的CALIPSO卫星轨迹点定义为SFLS点,同理得到云底高度2 km以上为中高云点、无云为晴空水体点(图 5a)。连续10个以上相同分类的点视为一个样本区域(图 5b),考虑到中高云水平尺度相对较小,连续5个以上中高云点则视为一个中高云区,视为原始样本区域a。即在CALIPSO卫星轨迹上,所选SFLS、晴空水体样本的长度不少于50 km,中高云不少于25 km。
将CALIPSO、Himawari-8卫星数据时空匹配(由1.1节得,时间误差t≤5 min,空间误差h≤
经过筛选,得到2 095个存在SFLS点的CALIPSO卫星时次。根据2.1节提出的标签定义方法,得到SFLS、中高云、晴空水体样本数量分别为2 117、3 146、2 292个。为避免不同类别样本的数量不平衡使模型训练效果下降[33],中高云、晴空水体样本随机抛弃至与SFLS样本数量相等,以4:1的比例随机分为训练集(4 763)和测试集(1 888)。
2.2 参数与通道选择FCN的初始化权重函数选择双线性上采样函数,激活函数选择线性整流函数[34],在池化层中使用平均池化方法,根据不同参数的准确率和损失变化趋势优化FCN。模型迭代轮次设置为50,即对整个训练集覆盖训练50次,每个轮次更新权重、获得损失值,训练样本总次数约23.8万。
选择Himawari-8卫星通道7、13、14和SST(表 3)训练FCN,具有不同通道组合的6个特征集(表 4)将在3.1节中依据FCN训练结果进行比较。FCN加载了VGG16模型中的ImageNet及其网络权重,以提高训练的收敛速度;由于ImageNet限制3通道输入,下文方案均使用3种数据通道。
通过调整网络结构和参数,使用特征集6的FCN性能最佳(表 4),其OA为0.921,loss为0.135。OA略低于使用SST数据的特征集5,但具有最低的loss值,表明该模型的泛化能力最优、预测值与真实值最接近。因此,使用B7、B7-B13、SST-B13数据建立FCN。
在特征集1、2、3中,对于相同数据通道选择不同的损失函数,结果表明交叉熵损失函数更适用于夜间SFLS检测,该函数表示实际输出与期望输出分类概率的差异,另外两种softmax损失函数在训练中下降趋势不明显,无法达到优化目的[38]。对比特征集3和4,以B7-B13代替单独使用卫星不同波段,效果提升不明显,可能是因为FCN主动学习到不同通道数据之间的关系。对比特征集4、5、6,额外加入SST相关数据明显提升了训练效果。有研究发现云雾顶部与海表面之间的温差(SST-B13)在SFLS检测中起到明显作用[8, 39],该数据同样适用于本研究。
3.2 FCN-CRF测试对比基于训练所得FCN,结合CRF后处理模块,得到测试集检测结果。在CRF部分,调整了与FCN分类结果相关的一元势能,将差异较大的像素分配给不同标签的二元势能参数。根据CALIPSO卫星的分类,对比FCN-CRF与DCD法(表 5),FCN-CRF的OA为0.819,POD为0.611,FAR为0.174,CSI指数为0.541,KSS评分为0.436,HSS评分为0.577。在DCD法中,SFLS的阈值区间为-7~-1 K时检测效果最好,且POD略高于FCN-CRF,但误判率FAR明显过高,其他评分指数均低于FCN-CRF;当DCD法的阈值上限提高,POD与FAR数值同时增大。相对于此类固定阈值方法,FCN-CRF可将像素点关联起来,感知更大区域的数据,更好地顾及纹理、边界及其他空间信息。
图 6、7、8为FCN-CRF对于测试集的夜间SFLS检测个例,并与DCD法、CALIPSO卫星分类、Himawari-8卫星红外通道亮温对比,图 6、8个例区域内具有ICOADS观测记录。FCN-CRF能检测出具有清晰边界的各分类,且区域范围明显依赖亮温特征。2017年5月7日个例(图 6)中,FCN-CRF的SFLS范围与CALIPSO轨迹、DCD方法相似(图 6a、b),ICOADS观测站点处检测正确。结合红外通道亮温图像(图 6c、d),47°~49°N,157°~158°E亮温变化较大的区域可能为晴空水体与少量中高云,DCD法误判为大范围SFLS。FCN-CRF检测结果为中高云及少量晴空水体,FCN将该区域分类为连续晴空水体,CRF存在过度消除。
图 7、8为2020年6月25日个例,16:09个例(图 7)DCD法及FCN-CRF的SFLS检测结果均偏大(图 7a、b)。对于45°~46°N分类边缘区域,FCN-CRF略优于DCD法,且识别出大部分中高云点。根据CALIPSO卫星数据,该个例SFLS的云/雾顶高度较低,与晴空水体交界处仅为70~190 m,因此SFLS、晴空水体的红外亮温差异较小,识别困难。
该个例的中高云点云底高度均高于8 000 m,结合红外亮温图像(图 7c、d),43°~45°N、156°~158°E为高云及晴空水体。但CALIPSO卫星的中高云及晴空水体的分类边界,与Himawari-8卫星红外亮温的高低温边界存在偏差,可能由于两种数据存在时空误差,高云较快的移动速度也会加大偏差。根据CALIPSO卫星数据,45°N附近的晴空水体与高云之间有云区和气溶胶过渡层,VFM产品将其大部分识别为云,与红外亮温高于275 K的区域对应。因此该区域的VFM产品云检测可能存在误差,从而造成边界检测的误差。虽然范围较小,但一定程度上会影响附近数据的分类。
18:00个例(图 8)ICOADS观测站点处检测正确(图 8a、b),FCN-CRF的SFLS分类区域与3.9 μm红外亮温图像(图 8c)特征相似,低亮温区域(图 8c、d)可能为中高云,未被检测出。
4 结论本研究使用CALIPSO、Himawari-8卫星数据,基于卷积神经网络提出了西北太平洋夜间海雾/低云检测方法,主要结论如下:
(1) 在海上实时观测数据匮乏的情况下,根据云雾的时间持续性、水平均匀性特征,使用CALIPSO卫星的云底高度数据制作深度学习方法训练所需的各分类标签,并与Himawari-8卫星数据相结合,通过数据增强处理得到较高空间分辨率样本,为夜间SFLS检测提供可行性。
(2) 根据2016—2020年2 095个时次的夜间SFLS,得到4 763个训练样本,构建FCN-CRF模型。经过测试集的性能评估,该模型OA为0.819,POD为0.611,FAR为0.174,CSI指数为0.541,KSS评分为0.436,HSS评分为0.577,整体优于DCD法。
(3) 夜间SFLS个例显示,FCN-CRF模型能够检测出具有清晰边界的各分类区域,对于细节的处理仍有改进空间,但结果较准确,且分类明显依赖红外通道亮温数值的特征。
因海上的观测数据较少,对于夜间海雾/低云检测,标签的获取和制作仍然是难点,其准确性影响了模型训练效果。更大规模真实准确的分类标签、更先进的目标识别增长方法、更能针对细节的深度学习模型,能够有利于本研究方法的优化改进。
致谢: Himawari-8卫星数据由日本气象厅提供(http://www.jma.go.jp/jma/indexe.html),CALIPSO卫星数据由CALIPSO网站提供(https://www-calipso.larc.nasa.gov/),SST数据由欧洲中期天气预报中心提供(https://cds.climate.copernicus.eu/),ICOADS数据由NOAA提供(http://icoads.noaa.gov/)。FCN模型基础代码来自https://github.com/fengshilin/tf2.0-FCN,CRF模型基础代码来自https://github.com/lucasb-eyer/pydensecrf。谨致谢意。
[1] |
王彬华. 海雾[M]. 北京: 海洋出版社, 1983.
|
[2] |
吴晓京, 朱小祥, 毛紫阳, 等. 风云二号气象卫星红外观测在云团降水监测中的应用[J]. 海洋气象学报, 2019, 39(3): 1-10. |
[3] |
王新, 唐世浩, 曹治强. 风云气象卫星"一带一路"热带气旋监测能力与最新进展[J]. 海洋气象学报, 2020, 40(2): 10-18. |
[4] |
吴晓京, 李三妹, 廖蜜, 等. 基于20年卫星遥感资料的黄海、渤海海雾分布季节特征分析[J]. 海洋学报, 2015, 37(1): 63-72. DOI:10.3969/j.issn.0253-4193.2015.01.007 |
[5] |
KORAČIN D, DORMAN C E. Marine fog: challenges and advancements in observations, modeling, and forecasting[M]. Switzerland: Springer International Publishing, 2017.
|
[6] |
BENDIX J, THIES B, NAUSS T, et al. A feasibility study of daytime fog and low stratus detection with TERRA/AQUA-MODIS over land[J]. Meteorol Appl, 2006, 13(2): 111-125. DOI:10.1017/S1350482706002180 |
[7] |
CERMAK J, BENDIX J. A novel approach to fog/low stratus detection using Meteosat 8 data[J]. Atmos Res, 2008, 87(3/4): 279-292. |
[8] |
ZHANG S P, YI L. A comprehensive dynamic threshold algorithm for daytime sea fog retrieval over the Chinese adjacent seas[J]. Pure Appl Geophys, 2013, 170(11): 1931-1944. DOI:10.1007/s00024-013-0641-6 |
[9] |
WU X J, LI S M. Automatic sea fog detection over Chinese adjacent oceans using Terra/MODIS data[J]. Int J Remote Sens, 2014, 35(21): 7430-7457. DOI:10.1080/01431161.2014.968685 |
[10] |
蒋璐璐, 魏鸣. FY-3A卫星资料在雾监测中的应用研究[J]. 遥感技术与应用, 2011, 26(4): 489-495. |
[11] |
ELLROD G P. Advances in the detection and analysis of fog at night using GOES multispectral infrared imagery[J]. Wea Forecasting, 1995, 10(3): 606-619. DOI:10.1175/1520-0434(1995)010<0606:AITDAA>2.0.CO;2 |
[12] |
UNDERWOOD S J, ELLROD G P, KUHNERT A L. A multiple-case analysis of nocturnal radiation-fog development in the Central Valley of California utilizing the GOES nighttime fog product[J]. J Appl Meteorol, 2004, 43(2): 297-311. DOI:10.1175/1520-0450(2004)043<0297:AMAONR>2.0.CO;2 |
[13] |
CERMAK J, BENDIX J. Dynamical nighttime fog/low stratus detection based on Meteosat SEVIRI data: a feasibility study[J]. Pure Appl Geophys, 2007, 164(6/7): 1179-1192. |
[14] |
GAO S H, WU W, ZHU L L, et al. Detection of nighttime sea fog/stratus over the Huanghai Sea using MTSAT-1R IR data[J]. Acta Oceanol Sin, 2009, 28(2): 23-35. |
[15] |
鲍献文, 王鑫, 孙立潭, 等. 卫星遥感全天候监测海雾技术与应用[J]. 高技术通讯, 2005, 15(1): 101-106. |
[16] |
HUNT G E. Radiative properties of terrestrial clouds at visible and infra-red thermal window wavelengths[J]. Quart J Roy Meteor Soc, 1973, 99(420): 346-369. |
[17] |
BENDIX J, BACHMANN M. Ein operationell einsetzbares Verfahren zur Nebelerkennung auf der Basis von AVHRR-Daten der NOAA-Satelliten[J]. Meteorol Rundsch, 1991, 43: 169-178. |
[18] |
CHAI D F, NEWSAM S, ZHANG H K, et al. Cloud and cloud shadow detection in Landsat imagery based on deep convolutional neural networks[J]. Remote Sens Environ, 2019, 225: 307-316. |
[19] |
LeCUN Y, BENGIO Y, HINTON G. Deep Learning[J]. Nature, 2015, 521(7553): 436-444. |
[20] |
LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C/OL]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, June 7-12, 2015: 3431-3440. https://ieeexplore.ieee.org/document/7298965.
|
[21] |
刘树霄, 衣立, 张苏平, 等. 基于全卷积神经网络方法的日间黄海海雾卫星反演研究[J]. 海洋湖沼通报, 2019, 41(6): 13-22. |
[22] |
WOHLFARTH K, SCHRÖER C, KLAB M, et al. Dense cloud classification on multispectral satellite imagery[C/OL]//2018 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS), Beijing, August 19-20, 2018: 1-6. https://ieeexplore.ieee.org/document/8486379.
|
[23] |
WU W, GAO X Y, FAN J, et al. Improved mask R-CNN-based cloud masking method for remote sensing images[J]. Int J Remote Sens, 2020, 41(23): 8910-8933. |
[24] |
BESSHO K, DATE K, HAYASHI M, et al. An introduction to Himawari-8/9: Japan's new-generation geostationary meteorological satellites[J]. J Meteor Soc Japan, 2016, 94(2): 151-183. |
[25] |
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C/OL]ICLR 2015, San Diego, CA, May 7-9, 2015. [2022-02-07]. https://arxiv.org/abs/1409.1556.
|
[26] |
SUTTON C, MCCALLUM A. An introduction to conditional random fields[J]. Found Trends Mach Learn, 2012, 4(4): 267-373. |
[27] |
周志华. 机器学习[M]. 北京: 清华大学出版社, 2016.
|
[28] |
赵诗童, 时晓曚, 吴晓京, 等. 三种经典夜间陆地雾遥感反演方法的适用性对比分析[J]. 海洋气象学报, 2021, 41(1): 45-57. |
[29] |
YANG J H, YOO J M, CHOI Y S. Advanced dual-satellite method for detection of low stratus and fog near Japan at dawn from FY-4A and Himawari-8[J]. Remote Sens, 2021, 13(5): 1042. |
[30] |
COTTON W R, BRYAN G H, VAN DEN HEEVER S C. Storm and cloud dynamics: the dynamics of clouds and precipitating mesoscale systems[M]. 2nd ed. Academic Press, 2011.
|
[31] |
NORTH G R, PYLE J A, ZHANG F Q. Encyclopedia of atmospheric sciences[M]. 2nd ed. Academic Press, 2015: 141-160.
|
[32] |
LIANG X S. Information flow and causality as rigorous notions ab initio[J]. Phys Rev E, 2016, 94(5): 052201. |
[33] |
HENSMAN P, MASKO D. The impact of imbalanced training data for convolutional neural networks[D]. Stockholm: KTH Royal Institute of Technology, 2015.
|
[34] |
HAHNLOSER R H R, SARPESHKAR R, MAHOWALD M A, et al. Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit[J]. Nature, 2000, 405(6789): 947-951. |
[35] |
SAUNDERS R W, KRIEBEL K T. An improved method for detecting clear sky and cloudy radiances from AVHRR data[J]. Int J Remote Sens, 1988, 9(1): 123-150. |
[36] |
EYRE J R, BROWNSCOMBE J L, ALLAM R J. Detection of fog at night using Advanced Very High Resolution Radiometer (AVHRR) imagery[J]. Meteor Mag, 1984, 113(1346): 266-271. |
[37] |
SHIN D, KIM J H. A new application of unsupervised learning to nighttime sea fog detection[J]. Asia-Pac J Atmos Sci, 2018, 54(4): 527-544. |
[38] |
AWAD M, KHANNA R. Efficient learning machines: theories, concepts, and applications for engineers and system designers[M]. Berkeley, CA: Apress, 2015: 39-66.
|
[39] |
GULTEPE I, PAGOWSKI M, REID J. A satellite-based fog detection scheme using screen air temperature[J]. Wea Forecasting, 2007, 22(3): 444-456. |