2. 国家气象中心,北京100081
2. National Meteorological Center, Beijing 100081, China
卫星的观测能力和资料的获取便捷使其成为观测辽阔海洋大气的首选,其数据和反演产品能够有效弥补模式SPIN-UP空缺,支持海洋天气临近预报和模式预报的检验,成为连接天气观测和预报的桥梁。(海)雾检测是最具代表性的应用方向之一,其产品研发持续多年,方法不断创新。
对卫星雾检测算法研究多肇始于极轨卫星资料,近年来,利用AVHRR、MODIS等数据进行雾检测的代表性创新算法有:积雪NDSI归一化指数检测法[1]和近红外水汽吸收区NWVI指数检测法[2]等多通道光谱组合特征的黄渤海海雾定量检测方法;基于低云和雾的区域特征,定量反演陆地雾特性参数以提高雾检测精度的技术也有明显进展,有代表性的包括:在起伏地形的山区使用地形等高线方法滤除低层云而仅保留雾[3];通过可见光—近红外的云厚度反演方法区分低云和雾,减少了雾的误判率[4];用液态水路径(LWP)和云厚度反演产品结合大气垂直廓线,进而从云顶推算云底高度以区分雾与低云[5]等工作。
随着静止气象卫星性能的提高,海雾的检测技术也得到了发展。其中证明有效的NDSI指数海雾检测算法等已成功使用到对静止卫星数据的处理中[6]。此外,算法创新还考虑到静止卫星的高时间分辨率优势,如:在21世纪初,在东亚静止卫星没有3.7 μm中波红外通道情况下,根据黄海海雾平流为主的特征,提出了基于长波红外数据的统计检测算法,即应用过去15 d同时次T11μm和其最大值之间的差和其他统计特征检测海雾[7]的方法;由辐射传输模式SBDART计算太阳高度角间隔10°、光学厚度间隔2的BTD(T3.7 μm-T11 μm)亮度温差模拟值作为阈值的连续24 h海雾检测方法[8]。但这些研究多使用日本静止卫星数据,缺乏针对风云二号卫星的工作。
静止卫星观测数据的高时间分辨率既是雾检测的优势,同时也带来不同于极轨卫星的技术问题。稳定的光照条件保证了极轨卫星算法的健壮性,从光照不足-低太阳高度角时的观测中检测出雾的方法是静止气象卫星应用中面临的技术问题之一。如在晨昏时刻,云雾中的水滴对任何微小发射和反射的辐射变化都极为敏感,中波红外3.7 μm波段的亮度温度(T3.7μm)变化剧烈,这时无法找到雾检测的稳定阈值,导致这个时段的雾检测困境。对于这类问题可以参照欧洲高纬度秋、冬季日照条件差时的雾检测方法,为更好检测到Meteosat/SEVIRI的高卫星天顶角(70°)和太阳天顶角(80°)的低云和雾,应用动态阈值和面向对象分类思想改进的检测算法,对欧洲秋、冬季雾的误判率比原算法降低了2%~6%[9]。
因此,包括以动态阈值法为代表的灵活的算法构造思想,是在阈值不易确定时稳定业务检测能力的可行方法之一。本文借鉴了动态阈值的思想,形成了针对风云二号的较为稳定的海雾检测业务算法。
1 数据源和相关产品问题风云二号卫星搭载的扫描辐射计包括可见光、水汽吸收区、中波和长波红外通道(表 1),其中,除水汽吸收区的通道3不能直接参与雾检测外,其余通道都能在雾检测中发挥作用[10]。中波红外通道(3.7~3.9 μm)是雾检测的必选通道,在白天,其接收的信息包括来自对太阳辐射的反射和红外发射辐射,由小粒子水滴组成的雾的亮度温度高于其他云和地表目标物。而在夜间,因为在中波、长波红外波段,中小粒子不透明的水云具有不同的发射率[11],检测夜间雾(含低层云)的结果可以直接由双通道差值算法(DCD)[12]得到,至今DCD都是夜间雾检测的基本方法。但DCD方法的有效性也容易受到卫星仪器设计和观测区域的影响,Meteosat8/SEVIRI的中波红外通道谱带极宽,与4.0 μm的CO2吸收带重叠,而CO2会随季节、纬度变化,导致DCD阈值不稳定,影响检测雾的效果,动态阈值基本解决了由此引起的夜间雾检测DCD稳定性问题[13]。
DCD夜间海雾检测算法本是纯阈值方法,该套阈值只适用于夜间雾的检测,且对观测值的稳定性要求高,即使如此也基本不具备区分低云和雾的能力。风云卫星观测数据因光谱分辨率(光谱响应范围)、仪器信噪比等特异性因素影响,DCD方法检测出的雾区与MTSAT存在差异(图略)。白天,观测辐射值都会随太阳、卫星角度等产生变化,临边问题、探测器光谱宽度等也会放大这种偏差。在相同观测时间,人肉眼看几乎相同的包括晴空海洋和周边陆地区域和云雾区(图 1,上层)以及海雾采样区(图 1,中层中的黄色区域)的FY-2E(图 1a)与MTSAT(图 1b)图像数据,在红外—中波红外通道散点分布图(图 1,下层中,海雾采样区对应红色散点,影像中其他区域对应蓝色散点)中,却存在明显的差异,此时,使用同样阈值分别检测两颗卫星的观测数据,难以得到同样结果。因此有必要从检测技术角度研发适应这种情况的算法。
本文将使用动态阈值技术和系列方案研究改进原有风云二号数据雾检测算法的可行性。
2 资料和方法-算法设计 2.1 海雾动态阈值方法 2.1.1 海雾风云二号通道辐射特征低云/雾的检测在云检测中也是难点,MODIS的云检测算法使用了其36个通道中的14个,重点在于薄云与低云的检测[14],其中低云检测使用了0.65 μm、0.87 μm、0.936 μm波段的通道反射信息,以及3.9 μm与10.7 μm的亮温差。即便使用如此多的通道数据,低云检测仍不理想。本工作是根据已有的FY-2C雾检测算法经验[10]和分析FY-2E/F/G数据后,选择了长波红外、中波红外、可见光通道而形成的多通道数据海雾综合检测方法。
白天,风云二号长波红外通道观测到的海雾亮温与附近晴空海表亮温接近,为高值,在图像上为深(黑)色,而云是低亮温,为浅(白)色;因低云和雾滴尺度多数为3~5 μm的小粒子,反射作用强,在中波红外3.9 μm通道,卫星探测器从雾区接收到的反射太阳能超过海表和其他相对大粒子的水云和冰晶云,因此海雾在3.9 μm通道观测值高于附近海表和其他中高云,在图像上则显示为暗(黑)色;因为中波红外观测到的是反射和发射辐射信号的和,海雾和低云等含液体水低云的反射信号在白天最强,而发射也是接近地表的高值,所以上述两个通道的差值(DCD)也比海表和卷云等高云明显为大;在可见光通道中,海雾呈现高反射性,等于或略低于其他云,明显高于晴空海表,在图像上呈现浅白色(上述通道表现见图 2)。
海雾动态阈值分析是从卫星观测到的海区中,按照算法设计的空间范围统计出不同辐射测量值像元分布数的直方图。直方图信息会因海雾、晴空海表、中高云等大类目标物的亮温、反射率特征差异统计结果而形成不同波峰、波谷,从中可分析出海雾的阈值范围。本算法设计的实施步骤为:
1) 确定直方图统计的空间范围。可见光和中波红外通道的辐射值的像元统计分布会受到太阳高度角影响,太阳高度角越低则同样辐射值的点越多,对阈值微小变化的敏感性越强,所以区域应越小,这样可以控制峰谷数量,其重要性在动态阈值选取过程中大于峰值的大小。因此为控制峰的个数,需要根据太阳高度角信息调整检测区域大小。当太阳高度角大于15°时,则这个范围可基本稳定,目前选择以约500×500像元区域为统计范围。
2) 从统计出的像元直方图分布中寻找海雾对应的波峰。获取统计范围内各通道值直方图曲线,滤波处理掉噪声样细小波,确定代表海区大类目标物的波峰谷。最复杂时同时存在中高云、晴空、海雾和低云这3大类目标物,此时在可见光、中波红外和长波红外波段会出现有对应关系的2~3个主峰。当3大类目标物的像元分布数量相近时,会构成最理想的直方图分布,从中易于分析出海雾的波峰。
3) 分通道分析波峰,形成算法阈值。实际峰的分布较为复杂,即使同时出现了3大类目标物,分布也多不均匀,还常会出现大于3的多峰或仅有单峰的分布。因此需要先验知识的配合,根据海雾的通道阈值特性以及之间的峰值位置关系,进行组合分析。
以3大类全部存在情况下的白天算法为例,首先从中波红外通道中寻取最高值的峰,其峰值的亮温如在海雾标准[15]范围之内,则取其为海雾峰的上下限阈值;在长波红外与中波红外通道差值(DCD)中则同样取最高值的峰;而在长波红外和可见光通道中则取中间值的峰;如果分析通道对应的峰值位置无法确定,就需要用先验知识,即为取缺省标准阈值[15]。目前算法具备了由常见分布而形成动态阈值的能力,但在非理想情况下经过滤波仍有多个波峰或只有单波峰的情况下,还缺乏理想的选值方法,因此距动态最佳阈值还有差距。
春季黄渤海海雾多发,此时此地的卫星观测图像上以晴空和海雾/低云两大类目标物为主,在中波红外、中波红外-长波红外和可见光通道经过平滑后的直方图曲线(图 2下列)中都存在海雾对应的波峰(如图 2中黑色圆圈所示部分),而从长波红外图像中无法看到明显的海雾区,直方图曲线上也无法找到对应的波。此时的长波红外采用缺省阈值。
2.2 海雾检测算法框架原海雾检测识别软件使用静止气象卫星5 km数据,分为白天和夜晚两种算法,算法采用固定阈值,流程相对简单,如夜间海雾识别流程(图 3a),其中固定阈值的DCD方法是其主体。
本文介绍的改进后的海雾检测算法,继承了投影原始数据、海陆模板应用、太阳高度角订正和耀斑角区域判定等必备的海雾检测算法步骤。内容除动态阈值获取外,以相对复杂的白天海雾检测算法流程(图 3b)为例,其主体还包括:
1) 晴空海表提取算法。
该步骤同步并行于动态阈值和之后的系列处理流程(图 3b),采用由中波红外和可见光通道的直方图曲线将图像分为高端值和低端值两部分,而两个通道高端值覆盖的交集区域就是海上晴空(图 4)。从该晴空区域中,选取临近海雾的晴空像元红外亮温信息用于后面温度检测,且和从可见光通道提取的反射率信息一起作为背景信息用于后面的边缘扩展算法。
2) 温度检测。
研究发现受到地表温度约束的雾检测精度有大幅提高[16]。本温度检测即海温检测,目的是借助云顶-海表温度差滤除云顶高度明显高于海表的云。按照平均大气温度直减率γ=0.65 ℃/(100 m),则1 000 m高度处空气的温度比地表应低6.5 ℃,因此海雾顶部温度比地表低于此值以上的可能性很低。可以由此指标进一步区别于雾和低云。而风云二号的长波红外通道位于大气窗区,其观测到的云顶亮度温度可以近似作为云顶温度使用,因此海表的温度获取成为检测成败的关键因素。在雾的检测反演中,有多种思路获取地表温度,常用的大致有使用天气预报模式(NWP)的输出[16]、地面测站和探空观测数据[17]、气候海面温度数据[1-2]。
本工作采用了上述方法以外的第四种方法,从同一幅卫星数据中寻找周边晴空区的地表温度。并行的晴空海表提取算法获取了晴空海区,从晴空区的红外窗区通道可以提取海表温度,设定云雾像元点的亮温值与其最临近的晴空海表温度值相差门限(如5 K),由此标准将动态阈值的检测结果(图 5a)大于此值的像元作为比较高的低云滤除,进一步聚焦海雾(图 5b)。
3) 纹理检测。
温度检测只能滤除云顶比较高的云,而有些红外亮温与海雾一样的低云,在可见图像中也和海雾一样白亮,仅用光学辐射特征无法区分二者,因此考虑图像面特征中的纹理。
海雾/低层云是被逆温层限制发展的云,云(雾)顶平缓、少起伏,这样就没有因云高变化而形成的高云顶投射到低云(雾)上的暗影。相关雾检测算法都有对类似特征的考虑,如空间特征分析算法[18]就是分析像元间分布的连续性变化,将每一个像元与周围点作为一个整体来考虑。本纹理检测也是针对可见光通道图像平面均一性的检测,目的是分离出云顶低而又有起伏的云,如积状云。在风云二号可见光通道最高分辨率1.25 km的图像中,海雾表现为非常细腻的纹理特征,利用海雾的这一特点,可以有效滤除积状云(图 5c)。本检测对通过温度检测的结果,计算其均方根偏差。具体方法为分割图像数据构造5×5的检验窗,计算该检验窗内的可见光通道反射率的均方根,确定在某个阈值以下的为雾。
4) 噪声消除。
噪声检测是为避免两类检测偏差。其一,部分中高云边缘与晴空混合的像元可能会符合海雾的通道阈值,且有时会通过纹理检测;其二,黄渤海特定季节(秋冬)多发大片细胞状积云,这些云顶辐射特性近似海雾,伸展开的积云片有时分布均匀,纹理检测无法滤除,但每片面积不大。而海雾通常面积比较大,很少零星分布。国外算法也有类似的考量。在对欧洲陆地雾的检测中,为滤除云边界误判为雾的像元,对已被辐射特性标准确定为雾的每个像元搜寻其连通区域,对连通区域雾像素数小于16个的直接剔掉[9]。
本噪声检测的方法是对1.25 km和5 km分辨率的可见光通道图像数据的前期检测结果进行遍历,获取结果的联通域,计算联通域内的像元个数,在1.25 km和5 km采用不同阈值(表 2),如果像元个数满足设定的阈值要求,则认为属于非噪声的较大海雾区域;反之,则作为噪声进行消除。这样做的好处是滤除了海上细胞状积云和中高云边界,缺点是会丢失云缝中的小范围海雾区,所以,在业务实践中,多云季节和云雾混杂条件下,该步骤可以选择关闭。
5) 边界扩展。
边界扩展是指在经历上述各步检测修正后,或可能出现雾区破碎的情况。为保证雾区的完整性,使用前面步骤得到的较合理的海雾检测结果作为种子进行扩展,以保证海雾区域的连续完整。
目前算法分为白天、晚上两组检测方法并支持对可见光波段1.25 km和5 km两种分辨率的检测,相应的检测处理中的参数需要根据分辨率变化而调整。经过测试得到的一套分辨率相关的阈值参数(表 2)在目前算法中使用。
3 算法检验海雾辐射信号弱,卫星观测辨别力较差,且易受仪器系统偏差、类似特征云系混淆等因素影响,因而检测难度相对较大,检测算法效果多不甚理想。采用针对FY-2E的动态阈值以及系列处理后,黄渤海海雾的检测效果有所改善,接近国际同类卫星的检测效果,部分时段接近国外类似产品预研结果。
3.1 个例对比以白天检测为例,对于中波红外和可见光通道这两个白天海雾检测最重要的通道,在黄渤海区域直方图分布有明显差别(图 6a、b)。FY-2E和MTSAT可见光通道数据的量化等级存在差异(FY-2E为6 bits,MTSAT为8 bits),因而MTSAT有更多的细节和峰值(图 6b)。对于中红外通道,在雾区分布的290~300 K;二者的观测同样有两个峰值,一个对应于晴空海表,一个对应于低云和海雾,而FY-2E的中红外通道的高值峰区不明显,弱于MTSAT(图 6a)。
对此直方图迥异的数据,采用同样的检测方法和处理流程后,FY-2E和MTSAT检测结果(图 6d)基本相同,说明动态阈值的获取适应性较强。当然,因纹理与连通域滤除噪声检测中的处理,本例的黄渤海主雾区外的检测结果存在一些差异,但这与动态阈值的获取无关。
3.2 系统检验选择黄渤海沿岸观测资料数据检验2015年全年的FY-2E海雾检测结果,站点选取的规则是应用海陆模板屏蔽陆地站点,保留海岸线与陆地不联通的非大陆站点(基本是海岛站)。使用这些地基观测对白天(主要时次为北京时06时、09时、12时、15时和18时)对应时次的卫星检测结果进行检验,每个对应时次参与检验的站点数有2~9个不等。以地基观测2个像元(5 km分辨率)以内的附近海区作为检测区域。
检验采用KSS(Hanssen-Kuiper skill score)评分指数标准[9, 18],其含义是检测正确概率POD(the probability of detection)与错误预警率FAR (false alarm rate)的差。
$ KSS = POD - FAR = \frac{R}{{R + M}} - \frac{F}{{F + N}} $ | (1) |
其中R为有雾且检测正确,即地面观测有雾而卫星检测结果也为雾;M为漏判,即为地面观测有雾检测结果不是雾;F为误判,即为地面观测没有雾,检测结果是雾;N为没有事件发生,即地面观测没有雾,检测结果也不是雾。
KSS的范围从-1.0到1.0,0.0代表没有训练,负值代表负相关,越接近1,正贡献越大。白天检测的对比检验结果见表 3。
低云/雾检测技术虽然取得了较高的检测率,但因海雾与某些云的辐射特性相似,算法区分(海)雾和低云的能力受季节、海域的影响,这是检测成功率和误判率同样偏高的根本原因。此外云系遮挡,以及海陆分布和地基观测的位置也可能是偏差产生的影响因素。
2015年检验结果(表 2)显示4月、5月、6月、7月和8月结果最好,超过0.70。这5个月也正好是黄渤海的海雾季节。这个水平接近于GOES ABI卫星检测雾/低云算法的KSS评分[18](白天0.733~0.759),但整个结果还有差距,尤其是非海雾季的秋冬季节。需要说明的是在卫星遥感上低云/雾是一类,上述卫星检测出的海雾中,有一定比例的地面观测是低云。
4 适用性讨论目前动态阈值中的峰值获取技术,还有很大的发展空间,但总体对于FY-2E/F/G的海雾检测效果提升有利。例如,与风云二号卫星资料相比,量化等级等因素使MTSAT观测资料的细节更丰富,其直方图分布中的波峰谷更多,而这对找到对应波峰、确定海雾阈值范围难度也更大,容易造成阈值确定中的误差(图 7)。
使用上述时次直方图确定的MTSAT阈值分别是:长波红外265~292 K,中波红外270~313 K,可见光6%~27.3%。
但检测结果出现偏差,原因在于可见光阈值的获取。其最大值27.3过小,只能包括一般雾区的低值端。这是由于动态阈值曲线中可见光通道中的多个波峰和波谷,而其右侧高端区两个波峰间隔太小(图 7c上),且海雾一般不在最高端的峰值,这造成取值范围过小。在FY-2E动态阈值的曲线图中可见光波段的动态阈值曲线呈现明显的单峰,而这是由于量化等级(Quantization of digital count [bit])的位数低造成的,其取值用了固定阈值6~40范围的正确值。因此在FY-2E上有比较好的检测效果,而MTSAT结果偏差(图 8)。
雾是距离卫星最远的大气现象之一,天基视角局限了卫星对雾的监测能力,因而对卫星观测数据的质量要求很高。
为在现有观测数据条件下尽可能准确地检测出海雾,本文借鉴部分云雾检测算法中动态获取阈值的思想,为风云二号数据定制设计了一套从动态检测阈值获取到以温度、纹理、噪声检测等后处理为配套流程的黄渤海海雾检测技术方法。该方法投入业务使用5年,结果稳定,针对2015年地基离岸观测的检验表明,对黄渤海春夏季白天的检测效果较好,接近国际同类产品水平。说明动态阈值实现中涉及的算法技巧(另文详述)已经基本保证了黄渤海海雾季节阈值的质量,但缺陷是对部分出现多个小峰值的云、海雾、晴空复杂分布等情况,还可能选择错误的通道波峰位置,或找不到峰值而采用缺省阈值,因此目前动态阈值还没有实现全检测应用,这也与秋冬季节非海雾多发月份检测效果偏差有关。对此还需要寻找改进动态阈值在内的整套检测的方法,排除降低产品质量的隐患。
当前新一代静止气象卫星风云四号投入使用在即,卫星遥感海雾技术将呈现出更广阔的发展空间。作为其中算法手段之一的动态阈值技术的突破,将推动低太阳高度角下的晨昏雾、高纬度甚至北极地区海雾检测方法研究和业务能力的提升,有较大的研究和应用价值。但其成功需要不断积累经验和运用技巧改进算法,这项细致而长期的工作需要更多同行的参与。
致谢: 感谢东华软件公司焦其顺等协助处理数据和部分制图。
[1] |
Zhang S, Yi L. A comprehensive dynamic threshold algorithm for daytime sea fog retrieval over the Chinese adjacent seas[J]. Pure and Applied Geophysics, 2013, 170(11): 1931-1944. DOI:10.1007/s00024-013-0641-6 |
[2] |
Wu X, Li S. Automatic sea fog detection over Chinese adjacent oceans using Terra/MODIS data[J]. International Journal of Remote Sensing, 2014, 35(21): 7430-7457. DOI:10.1080/01431161.2014.968685 |
[3] |
Bendix J, Thies B, Cermak J. Fog detection with Terra-MODIS and MSG-SEVIRI[C]//Proceedings of the 2003 Meteorological Satellite Conference. 2004: 427-435.
|
[4] |
Bendix J, Thies B, Cermak J, et al. Ground fog detection from space based on MODIS daytime data-a feasibility study[J]. Weather and Forecasting, 2005, 20(6): 989-1005. DOI:10.1175/WAF886.1 |
[5] |
Cermak J, Bendix J. Detecting ground fog from space-a microphysics-based approach[J]. International Journal of Remote Sensing, 2011, 32(12): 3345-3371. DOI:10.1080/01431161003747505 |
[6] |
Yi L, Zhang S, Thies B, et al. Spatio-temporal detection of fog and low stratus top heights over the Yellow Sea with geostationary satellite data as a precondition for ground fog detection—A feasibility study[J]. Atmospheric Research, 2015, 151: 212-223. DOI:10.1016/j.atmosres.2014.03.020 |
[7] |
Ahn M-H, Sohn E-H, Hwng B-J. A new algorithm for sea fog/stratus detection using GMS-5 IR data[J]. Advances in Atmospheric Sciences, 2003, 20(6): 899-913. DOI:10.1007/BF02915513 |
[8] |
Lee J-R, Chung C-Y, Ou M-L. Fog detection using geostationary satellite data: Temporally continuous algorithm[J]. Asia-Pac J Atmos Sci, 2011, 47(2): 113-122. DOI:10.1007/s13143-011-0002-2 |
[9] |
Cermak J, Bendix J. A novel approach to fog/low stratus detection using Meteosat 8 data[J]. Atmospheric Research, 2008, 87(3): 279-292. |
[10] |
吴晓京.FY2C静止气象卫星资料大雾判识方法研究[C]//2007年中国气象学会年会论文集.广州: 中国气象学会, 2007: 347-357.
|
[11] |
Hunt G E. Radiative properties of terrestrial clouds at visible and infra-red thermal window wavelengths[J]. Quart J Roy Meteor Soc, 1973, 99(420): 346-369. |
[12] |
Eyre J, Brownscombe J, Allam R. Detection of fog at night using Advanced Very High Resolution Radiometer (AVHRR) imagery[J]. Meteor Mag, 1984, 113(1346): 266-271. |
[13] |
Cermak J, Bendix J. Dynamical nighttime fog/low stratus detection based on meteosat SEVIRI data: A feasibility study [M]//Fog and Boundary Layer Clouds: Fog Visibility and Forecasting. Springer, 2007: 1179-1192.
|
[14] |
Ackerman S A, Strabala K I, Menzel W P, et al. Discriminating clear sky from clouds with MODIS[J]. J Geophys Res: Atmospheres (1984-2012), 1998, 103(D24): 32141-32157. DOI:10.1029/1998JD200032 |
[15] |
QX/T 267-2015, 卫星遥感雾监测产品制作技术导则[S].
|
[16] |
Gultepe I, Pagowski M, Reid J. A satellite-based fog detection scheme using screen air temperature[J]. Wea Forecasting, 2007, 22(3): 444-456. DOI:10.1175/WAF1011.1 |
[17] |
Bendix J, Thies B, Nauß T, et al. A feasibility study of daytime fog and low stratus detection with TERRA/AQUA-MODIS over land[J]. Meteorol Appl, 2006, 13(2): 111-125. DOI:10.1017/S1350482706002180 |
[18] |
Calvert C, Pavolonis M. GOES-R Advanced Baseline Imager (ABI) Algorithm Theoretical Basis Document for low cloud and fog [R]. NOAA NESDIS Center for Satellite Applications and Research, 2010: 69-70.
|