匡秋明,沈晨凯,于廷照,刘进
① 中国气象局 公共气象服务中心,北京 100081;② 深圳今日头条科技有限公司,广东 深圳 518054;③ 武汉大学 计算机学院,湖北 武汉 430072
全球气候模式(GCM)是预测全球气候变化的重要工具之一(Karl and Trenberth,2003),然而GCM 输出的空间分辨率相对较低,难以反映对流尺度天气变化和区域差异化的气候特征。一般地,有以下三种方法提升GCM预报时空分辨率的方法:1)开发更高分辨率的 GCM 或天气预报模型;2)使用区域气象预报模型(RCM);3)开发新型统计降尺度技术。GCM高分辨率预报模式由于受计算资源、对流尺度微物理过程机理尚未清晰等条件制约,方法1)较为难以实施。RCM 动力降尺度(Misra et al.,2003) 方法既可以嵌入全局模型,又能将全局模型的输出作为边界条件独立运行,方法具有物理可解释性、不受观测数据影响等优点;然而,这类方法计算量大,难以模拟和配置。统计降尺度通过融合观测数据学习一种映射关系,将地球系统模型映射到高分辨率(Vandal et al.,2017;蔡凝昊和俞剑蔚,2019),其主要包括回归模型,基于天气分型原理提高预报空间分辨率,以及用于提高时间分辨率的天气预报插值方法。统计降尺度是连接 GCM 气象要素低分辨率和高分辨率之间的桥梁(Wilby et al.,2002),其基本原理是利用统计经验方法在大尺度气候变量和区域气候变量之间建立一种线性或非线性关系(Zorita,1995),将低空间分辨率GCM预报数据变换为高空间分辨率数据。统计降尺度具有以下优点:1)计算效率高;2)可输出高分辨率格点或站点的气象要素预报;3)降尺度过程可同步考虑多源因子影响以确定统计降尺度模型的参数(Charles et al.,1999)。近年来,机器学习方法在气象领域应用研究取得进展,贺圣平等(2021)研究指出将机器学习整合到气候预测的思路切实可行,机器学习方法在降水(黄超等,2022)、公路能见度(黄亮等,2022)预报方面具有优势。
在计算机视觉领域,单帧图像超分辨(SISR)技术与统计降尺度技术原理相似,其主要分为基于插值的、基于重构和基于实例学习的方法(Glasner et al.,2009)。基于插值的方法主要利用相邻像素点估计未知像素点,为避免重要边缘的模糊和伪影,保留边缘的插值是常用的技术(Hung and Siu,2012)。由于 SISR 本身是一个退化问题,基于重构的方法存在较大的不适定性,通过求解该问题的逆问题,图像可重建(Baker and Kanade,2002)。基于实例学习的方法通过外部数据集学习来构造低分辨率和高分辨率图像对之间的映射关系(Freeman et al.,2002),技术方法包括邻居嵌入(Gao et al.,2012)和稀疏编码等。
传统的三维气象要素预报主要采用三维差值方法(赵滨和张博,2018)。近年来,随着深度神经网络方法的快速研发和应用,基于卷积网络超分辨率模型的图像降尺度在气象要素降尺度方面显示出巨大潜力。DeepSD (Vandal et al.,2017) 是首个用于气候变量统计降尺度的多层卷积神经网络(CNN)方法,该方法通过三层 CNN 将低分辨率图像映射为高分辨率图像,实验结果优于传统统计降尺度方法。除此之外,Lai et al.(2017)的 LapSRN 框架直接将 LR 图像输入网络并逐步放大,通过在不同层级间共享参数,可以有效地提高精度,减少计算量。这类基于深度学习模型的降尺度方法可以学习不同分辨率图像数据之间的映射关系(Zhang et al.,2018a)。并且,由于高分辨率图像可以随机切分为多组数据块实现数据增广(Wang et al.,2015),便于获取样本,训练降尺度模型。
然而,上述深度学习降尺度网络模型多数考虑对象为二维图像数据,在气象要素领域,三维降尺度也有重要用途。最典型的EC和NCEP三维预报空间分辨率分别有25 km,常规的彩色图像通常包含R、G、B三个颜色通道,而气象三维数据对应的图像则是多通道的,如图1所示。对三维气象要素预报数据而言,在应用超分辨(SR)方法之前和之后,相邻切片之间的温度、湿度等气象要素变化在三维空间是连续的;风速的降尺度不仅与风速相关,还与温度、湿度等相关;多种分辨率的气象要素预报图像之间存在内部关联等;而简单地将二维图像降尺度模型扩展到多通道降尺度应用,未能较好地应用这类气象领域知识。
图1 三维气象要素类比为多通道图像示意Fig.1 Analogy of 3D meteorological elements into multi-channel image diagram
针对这些问题,提出了一种新的神经网络——多尺度残差拉普拉斯金字塔网络(Multi-Scale Residual Laplacian Pyramid Network,MSRLapN),以提高三维气象预报图像的空间分辨率。该模型以 LapSRN 为基础,结合多尺度残差块MSRB (Li et al.,2018)、多尺度金字塔等技术构建三维气象要素降尺度模型。此外,网络中所涉及的转置卷积均替换为sub-pixel(Shi et al.,2016)层。与传统方法不同的是,本文采用了多尺度特征融合和局部残差学习的方法。具体来说,将一个局部跳跃连接和不同大小的卷积核交错构成一个多尺度残差块。这些块中的一个或多个连接在一起,形成网络中的特征提取分支。除上述局部残差学习方法外,本文还采用了可调学习率和梯度裁剪的方法对训练过程进行优化。同时,移除插值运算模块以加快模型训练速度。实验结果表明:1)本文提出的特征提取模块优于线性连接结构;2)融合气象领域知识的三维降尺度效果更好;3) MSRLapN 在定量评价和视觉质量评价方面优于对比方法。
气象领域的降尺度旨在挖掘从低分辨率气象要素变量到高分辨率气象要素变量之间的映射,将气象要素变量值类比为图像像素值,将气象要素预报数据加工为图像数据,则气象要素降尺度技术与计算机视觉领域从低分辨率图像变换为高分辨率图像的超分辨技术类似。但因气象要素降尺度包含降水量、气温、相对湿度和风速等多种要素多尺度交互作用,因此比计算机领域的常规图像超分辨处理更为复杂。
基于单帧图像超分辨SISR的气象预报降尺度,旨在寻找一种合理的映射关系,
(;)=。
(1)
其中:是低分辨率输入;是真实高分辨率输出;为超分辨模型;为模型参数。由于SISR本身作为一种病态问题,具有很多可行解(Li et al.,2010)。
一般地,图像超分辨率技术大致分为两类:经典图像超分辨率(Glasner et al.,2009)和基于样本学习的方法。经典的多种图像超分辨率方法有基于稀疏编码的表示(Yang et al.,2010;Ouyang et al.,2014)。基于样本学习的方法学习高频信息和低频信息之间的表示关系,通过学习大量低分辨率图像和高分辨率图像的映射关系以达到收敛,一般包括三个主要步骤:1)低分辨率特征提取;2)学习高分辨率和低分辨率图像对之间的表示关系;3)利用学习映射关系将低分辨率图像重建为高分辨率图像。
相对湿度和风速降尺度技术,传统方法有支持向量机(Zhang et al.,2018b)和贝叶斯平均模型(Dong et al.,2011)等,而AANR(Timofte et al.,2013)和稀疏表示(Zeyde et al.,2010)则是提出将深度学习方法用于超分辨率的研究工作。
Dong et al.(2011)的研究发现表明,CNN 模型和稀疏表示方法是等价的,并提出应用卷积神经网络解决 SISR 问题,并取得了良好的性能。随后,研究者们又提出了大量改进算法。Vandal et al.,(2017)首次将 CNN 应用于气象要素统计降尺度问题,并随之提出了DeepSD,与之前方法相比,在多种评价指标上均有显著的改进。然而,DeepSD 方法仍然具有很大的局限性:1)卷积层数较少,特征提取不充分;2)它通过独立叠加多个相似的结构来生成高分辨率数据,多尺度之间相互作用描述不充分。Jiang et al.(2020)提出了用于遥感影像超分辨率的边缘增强 GAN,ATMFN网络则结合了多种不同的 CNN 模型,并利用多个CNN模型的融合优势,改进提升了模型性能。Wang et al.(2019)提出了一种用于视频超分辨的MMCNN网络,它考虑了视频中的序列帧的时序作用,并将卷积长短期存储器嵌入到残差模块中。DDRN网络基于递归蒸馏网络尝试用于卫星视频数据的超分辨率,不同层的特征并行提取,极大地降低了网络复杂度。Lai et al.(2017)提出 LapSRN,采用级联和更深的网络结构,以克服 SRCNN 的局限性,并指出多种损失函数的融合可以有效提高模型分类和边缘检测性能(Xie and Tu,2015)。此外,LapSRN在建立的一个×4倍模型同时可直接生成×2倍和×4倍的放大图像(Lai et al.,2017),这对应到气象预报中,可同时生成多种分辨率的预报输出,比如将气象预报从20 km同时降尺度到5 km和1 km分辨率。Timofte et al.(2013)提出的VDSR是一个非常深的网络,主要实现了以下内容:1)感受野增大,2)残差图像的集成训练,以加快收敛速度,3)可以处理多尺度的问题。Zeyde et al.(2010)则着重考虑了超分辨率技术存在的三个主要问题:1)泛化性能差,更换数据集,实验结果难以复制以达到原始论文的相似效果;2)由于忽略了特征提取,图像中的特征在较深或较浅的网络中没有得到充分利用;3)过于注重直接放大图像以减少可见伪影,导致可扩展性差。为了解决这些问题,Li et al.(2018)提出了残差密集网络RDN (Zhang et al.,2018b)利用残差密集学习从输入图像中提取特征信息。该方法用于二维图像超分辨取得了较好的效果。对于气象数据而言,三维数据和二维并非简单的维数增加,而是相互作用的关系改变,因此有必要对现有的网络体系结构进行改进。为了充分利用残差网络不同层的特征信息,Liu et al.(2020)提出了基于增强空间注意力机制和残差聚合机制的图像超分辨率技术,取得了较为合理效果,但基于学习的方法不能同时处理不同的缩放尺寸,为此,Zhang et al.(2020)提出USRNet(Deep Unfold SuperResolution Network),将不同尺度的缩放因子及模糊内核通过一个单一的端到端网络训练,将超分辨问题转换为若干迭代求解的子问题,进而通过多个子网络实现问题求解。
最近,由于Transformer(Vaswani et al.,2017)在计算机视觉领域取得了较好的效果,基于Transformer的图像超分辨率技术(Yang et al.,2020;Chen et al.,2021)进行预报降尺度也是一个重要的研究方向。
本节详细介绍MSRLapN网络。MSRLapN 主要由两个分支组成,一个分支由多尺度残差块MSRB(Li et al.,2018)和subpixel(Shi et al.,2016)卷积层组成,另一分支包括两个卷积层和一个subpixel卷积层,网络结构具体说明如图2所示。
图2 MSRLapN模型网络结构Fig.2 Network structure diagram of the proposed MSRLapN model
1.1 网络结构
为了实现三维气候数据降尺度,本文以LapSRN网络为基础,提出MSRLapN网络模型,模型结构如图2所示。该模型将降尺度过程分为两个分支:图像重建分支和特征提取分支。图3给出了LapSRN网络结构。MSRLapN 包含几组重复的网络结构层,对不同层级,设置一个特定的比例因子将其放大。图2仅显示了从低分辨率到高分辨率重建过程的第一层级的模型结构,在实际应用中,可根据不同的需求增加或减少层级数量。模型以高空间分辨率的地形数据和低空间分辨率的气象数据作为输入,并且对于每一个输入(低分辨率气候数据和高分辨率地形数据),通过单层卷积首先提取其隐层特征。由于地形数据和低分辨率气候数据尺寸不同,因此需要将这些变换后的数据串联到多层三维图像中实现尺寸统一。在MSRLapN中,所有的转置卷积层都由subpixel卷积层代替。在特征提取分支的每个层级上,分别有一个MSRB和一个subpixel卷积层,其中,MSRB进行多尺度特征提取,并且可以有效避免模型退化加速收敛,subpixel卷积层的上采样比例尺设置为2。具体地,MSRB首先包含一层卷积核大小为1×1的卷积层,这可以大大减少特征层参数量,并且保证MSRB的输入输出特征层数量不变。如图3所示,subpixel卷积层的输出将作为两种截然不同网络层的输入,一是在相同层级重建残差信息,另一则是用于下一层的特征提取。为了有效降低计算复杂度,不同层的参数之间实现共享。对数据重建分支,其包含一个subpixel卷积层和两个普通卷积层。输入数据由subpixel卷积层进行上采样。需要注意的是,通过实验本文发现,在subpixel层之前必须先经过卷积层,否则训练过程难以收敛。另一个卷积层则以提取的特征作为输入,以subpixel层重建的高分辨率数据为输出。生成的高分辨率数据可以作为中间结果,用于下一层级的重建。
图3 LapSRN网络结构(绿色箭头表示元素加法运算,蓝色箭头表示反卷积操作,红色箭头表示卷积操作)Fig.3 LapSRN framework(the green arrows represent element-wise addition operators;the blue arrows represent transposed convolutional layers;and the red arrows represent convolutional layers)
1.2 多尺度残差块MSRB
特征通过不同大小卷积核的两个通路进行传输。如图4所示,左路卷积核大小为5×5,右路卷积核大小为3×3。旁路之间的信息能够彼此共享。因此,可以检测到不同的尺度的特征(Li et al.,2018)。数学描述如下:
(2)
(3)
(4)
(5)
(6)
其中:和分别表示权重和偏差;*表示卷积操作;下标和上标分别表示卷积核大小和层数。
图4 多尺度残差模块 (MSRB)Fig.4 Multi-Scale Residual Block (MSRB)
在MSRB中还有一个额外的残差连接,可以显著减少计算量(He et al.,2016;Li et al.,2018),缩短训练时间和推理时间。
1.3 损失函数
记为定义的网络运算操作,表示待优化网络的参数,高分辨率数据重建过程可记为
=(;)。
(7)
(8)
本文使用Huber损失(Mangasarian and Musicant,2000),其定义如下:
(9)
其中:表示网络层的数量;是影响因子常数,实验中将其设置为0.1。Huber 损失函数综合了和损失函数的优点,减少了对异常值的敏感性问题。
1.4 模型训练
在MSRLapN中,除MSRB外,每一个MSRB后连接两层卷积层,其余卷积层的核大小均设置为3×3,卷积核数量为32。卷积核的初始化为截断正态分布,偏差初始化为0,尺度放大因子设置为2。除了重建层,其他卷积层均以LeakyReLU为激活函数(Zhang et al.,2018b),负斜率设置为0.2。模型采用Adam(Kingma and Ba,2014)优化,其中=0.9,=0.999,初始学习速率为1×10,每60个epoch学习率减半,weight decay设置为1×10。Batchsize设置为8,epoch设置为300。
本节介绍服务器配置、数据集及评价准则。评估准则采用结构相似性指数SSIM(Wang et al.,2004)和峰值信噪比指数PSNR(Horé and Ziou,2010),这两个指标是衡量图像质量的两个主要指标。
2.1 运行服务器配置
详细的软件和硬件信息如表1所示。由于三维气象图像中有大量的通道,图像占用的内存相对较大。为了确保程序的成功操作,可用的运行内存应大于16 GB。
表1 算法运行服务器配置信息
2.2 试验数据集
选取华东地区的相对湿度和风速三维数据构建数据集。气象预报数据的最高分辨率为2.5 km,覆盖华东地区,尺寸为561×641。此外,考虑地形对天气影响,选取分辨率为1 km的地形数据。利用16通道的不同气压层气象要素资料和1个通道的高海拔地形资料作为输入,输出包括16个通道气压层精细化气象要素预报。
图5 同一时刻不同空间分辨率的相对湿度图像:(a)2.5 km分辨率;(b)5 km分辨率;(c)10 km分辨率;(d) 20 km分辨率Fig.5 Relative humidity images with different spatial resolutions at the same time:(a) 2.5 km resolution;(b) 5 km resolution;(c) 10 km resolution;(d) 20 km resolution
在实验中,对原始图像分别进行×2、×4、和×8倍分辨率增强。使用双三次插值图像分析方法生成分辨率为2.5 km的 高分辨率训练图像。例如,从2.5 km到20 km的下行采样相当于图像尺寸从561×641降低到71×81。图像尺寸分别为141×161和281×321,分辨率分别为10 km 和5 km。图5显示了覆盖华东地区的湿度变量中不同分辨率的三维训练图像的一个切片。在RGB模式下设置从白到黑的一系列颜色变化,接近白色的颜色表示较小的值,而接近黑色的颜色表示较大的值。图5中这些图像的红色和黑色区域意味着相对湿度更高。对于×8放大,则经过一个多级网络中的所有处理,直接将图像从71×81放大到561×641。
本文随机选取了550幅高海拔气候图像(分辨率为2.5 km)和地面气象预报图像(分辨率为2.5 km),气候变量包括湿度和风。这里在同一时间从同一区域记录的几个切片图像指的是一个三维图像。对于这两个气象变量中的每一个,选取450幅三维图像来生成训练集,剩余的100幅图像作为测试集。与相对湿度相比,风速数据集的数值包括正数和负数。
2.3 评价准则
模型性能通过 PSNR(Horé and Ziou,2010)和 SSIM (Wang et al.,2004)进行验证。PSNR被广泛用于衡量数据复原的质量。对于生成的三维图像(,,;)(表示网络中的所有权重),××表示其大小。因此,峰值信噪比可定义如下:
(10)
(11)
其中:(,,)表示原始HR图像;是最大像素值。峰值信噪比越大,重建的畸变就越小。然而,实际测试结果表明,PSNR的评价结果不能完全与人眼感知的视觉质量一致(Horé and Ziou,2010),并且有可能较高的PSNR看起来很粗糙。
图6 MSRN和MSRLapN模型针对相对湿度(a、b)和风(c、d)分别放大4倍(a、c)和8倍(b、d)的PSNR对比结果Fig.6 PSNR comparisons between MSRN and MSRLapN for (a,c)×4 and (b,d)×8 on the test datasets of relative (a,b) humidity and (c,d) wind speed
从图像合成的角度来看,结构信息是指场景中物体结构的特征,与亮度和对比度无关。失真被建模为亮度,对比度和结构的组合。它对图像的感知更接近于人类。重建的HR图像的SSIM值范围为0到1,定义如下:
(12)
其中:是基本真值HR图像;和表示和的标准差;和表示和的平均值;和是常数。SSIM值越大,重建结果失真越小。
2.4 与LapSRN模型的差异
MSRLapN在LapSRN框架下构建模型,该框架包括两个分支:图像重建和特征提取。在特征提取分支中,用 MSRB 结构替换了一系列连续的卷积层,以充分利用层次特征。由于 MSRB 在不同的旁路中应用不同的卷积核,信息在旁路之间可以自由传输,图像特征可以在不同的尺度上被检测到。此外,LapSRN 还采用了 Charbonnier 损失函数作为优化器,这是损失的一个微小变体,而针对气象预报精细化提升问题,采用 Huber函数来计算损失,实验结果表明了该损失的优势。此外,为了构造具有不同输入大小的三维气候图像,在网络的头部设置了一个尺寸统一模块,而LapSRN等方法直接采用连接的三维气候图像作为输入。对于不同大小的原始地形数据和气象数据,这里利用双三次插值来获得所需的分辨率。
所有方法针对相对湿度和风速预报进行×2、×4和×8分辨率增强。最后,对网络进行了一些调整分析,以寻找最佳的参数设置。SRCNN、ESPCN (Shi et al.,2016)、LapSRN、RDN和MSRN模型,原本只用于解决 SISR 问题,通常采用三通道 RGB 图像作为输入。对这些方法进行修改,使得这些方法可以用于求解三维或多维超分辨问题。选取17个通道的三维气象实验数据,包括16个通道不同气压层的气象变量和1个通道地形数据。因此,将所有方法中第一卷积层的输入通道数修改为17个,将所有方法中最后一卷积层的输出通道数修改为16个。
3.1 模型分析
为了直观地显示两种模型在训练过程中的差异,比较LapSRN 方法和 MSRLapN 方法在特定训练迭代次数(每次300个单元)的×4和×8扩充。图6显示了MSRLapN和LapSRN在相对湿度和风速测试数据×4和×8放大时的平均PSNR比较。如图6所示,MSRLapN在×4和×8尺度上都优于LapSRN,这意味着MSRB结构在特征提取方面优于LapSRN中的线性连接卷积层。在图6a中,MSRLapN在最大值100%的条件下,平均PSNR值为46.83 dB,比LapSRN高6.40 dB。MSRLapN收敛于180时代,而lapsn在240时代后仍然学习特征。对于图6b中的×8尺度湿度测试集,MSRLapN的平均 PSNR 值为41.86 dB,比LapSRN高出近8.18 dB。图6c和6d显示风试验结构相似性能改进。显然,学习风测试集的特性更容易获得更平滑的曲线和更早的收敛期。在学习率下降的四个点上,只能在湿度集上看到显著的变化,而这种变化在风力集上是微小的(但仍然存在于曲线上)。从这些数字中,可以看出这两种方法之间的类似趋势,这也表明MSRB模块的特征提取和subpixel卷积层的放大在 MSRLapN 中具有重要作用。
表2显示了每个模型的参数,300个epoch的训练时间,以及一个单一的三维图像运行时间的实际数据。虽然MSRLapN比LapSRN更复杂,其参数量超过LapSRN的41.65%,但在300个epoch的训练中所需时间较少。对于湿度数据集,MSRLapN在×8放大时的加速是MSRN的1.08倍,在×4放大时的加速是MSRN的1.18倍。对于风场数据,MSRLapN在×8放大时比LapSRN加速1.07倍,在×4放大时比LapSRN加速1.12倍。在运行时间方面,对于不同数据集的两种扩展操作有一定的加速效果。
表2 LapSRN和MSRLapN模型的参数量和计算时间对比
学习的方法使用外部数据集来构造低分辨率和高分辨率图像对之间的映射关系(Freeman et al.,2002),技术方法包括邻居嵌入(Gao et al.,2012;Wang et al.,2015)和稀疏编码等。
近年来,随着深度学习和神经网络的快速发展,基于卷积网络超分辨率模型的图像降尺度在该领域显示出巨大的潜力。DeepSD (Vandal et al.,2017) 是首个用于气候变量统计降尺度的多层卷积神经网络(CNN)框架,通过三层 CNN 将低分辨率图像映射为高分辨率图像,结果表明图像超分辨率技术在气象预报降尺度方面,相比于传统的统计降尺度方法具有较大优势。除此之外,LapSRN(Lai et al.,2017)框架直接将低分辨率(LR)图像输入网络并逐步放大,通过在不同层次间共享参数,可以有效地提高精度,减少计算量。这些深度学习模型可以从图像数据中学习图像之间的映射关系(Zhang et al.,2018b)。并且,高分辨率图像可以随机切分为多组数据块实现数据增广(Dong et al.,2011;Wang et al.,2015),便于模型训练。
3.2 模型对比
由于应用于气象图像放大的超分辨方法较少,这里选择了几种最先进的模型与 MSRLapN 方法进行比较,即SRCNN、ESPCN、MSRN、RDN和LapSRN。此外,对比了两个常规的统计降尺度方法A+和Zeyde (Zeyde et al.,2010)。为了进行公平的比较,在实验中使用相同的数据集和训练设置来指导每种方法。在图7—10中,给出了重建结果的可视化结果对比,所有图像都是从测试集中随机选取。在每个结果下面,都有所使用的评价方法及两个评估指标评测值。为了充分说明高空气象要素降尺度性能,实验中给出了两个不同高度的重建图像。“variable-”定义为三维图像的单个切片,其中“variable”表示相对湿度或风,而表示三维图像的通道序数(对应三维气象要素的气压层序数),范围为1～16。例如,“湿度-1”表示从一个三维图像的第一层的湿度测试数据集中获取的图像。图7展示了“湿度-4”×4放大的重建结果。从图的整体角度来看,提出的MSRLapN方法比其他算法更能重构出与 HR 参考相似的结果。图8—10分别比较了×8放大的“湿度-8”、×4放大的“风速-12”和×8放大的“风速-16”。一般来说,该方法可以在图像中产生更多的细节。而对比方法在许多区域混合不同的颜色。由于双三次函数得到的大多数结果过于平滑,无法看到边缘的细节,评测得分最低。从图7可以直观地看出Zeyde 结果相差较大,而LapSRN不正确地恢复了一些区域的轮廓,MSRLapN 基本上重建了HR(参考真值图像) 的大部分特性。图8比较了“湿度-8”×8放大后的结果。MSRLapN 创建了更多的黑色部分,评测结果也显示,两种评价指标均高于其他方法的评价指标。正如之前提到的,生成的图像上每个区域的颜色越接近 HR(参考真值图像),结果就越好。在颜色生成的细节方面,MSRLapN 算法优于其他算法。图9比较了“风速-12”×4放大的重建图像。在颜色变化的边缘,ESPCN,LapSRN,MSRLapN 表现得较好,而 MSRLapN 不会误生成高值。在图片中间的浅绿色部分,MSRLapN恢复了颜色变化的连续性。A+和Zeyde的性能和效果介于SRCNN和双三次之间。图10比较了“风速-16”×8放大的产生结果。结果表明,该算法在重建散乱极值和综合性能方面有较好的效果。综上所述,本文所提出的方法 MSRLapN 在评估指标和图像重建方面都取得了较好的性能。
图7 各方法针对“相对湿度-4”放大4倍的重建结果对比:(a)实况;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.7 Reconstructed HR images of “humidity-4” with various methods for ×4 enlargement:(a) real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN
图8 各方法针对“相对湿度-8”放大8倍的重建结果对比:(a)实况;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.8 Reconstructed HR images of “humidity-8” with various methods for ×8 enlargement:(a) real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN
图9 各方法针对“风速-12”放大4倍的重建结果对比:(a) 实况;(b) Bicubic;(c) A+;(d) Zeyde;(e)SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.9 Reconstructed HR images of “wind speed-12” with various methods for×4 enlargement:(a)real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN
图10 各方法针对“风速-16”放大8倍的重建结果对比:(a)实况;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.10 Reconstructed HR images of “wind speed-16” with various methods for×8 enlargement:(a)real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN
两个评价指标的定量比较与不同的方法×2、×4、和×8放大下的相对湿度和风速两个变量的评测结果如表3所示。在这个表中,用RDN 和 MSRN 替换了 Bicubic。在大多数情况下,所提出的MSRLapN方法是优于对比方法,特别是对于PSNR,验证了MSRLapN模型的性能和适用性。实验结果表明:常用的双三次函数插值,作为一种数值计算方法,与深度学习方法对比,在两个评价指标的结果差异较大,而其他算法在不同海拔高度的评价结果差异较小。
Zeyde是表现略低于SCRNN,但该方法无须长时训练。ESPCN、RDN 和MSRN在尺度因子×2和×4的降尺度上表现良好,但是当放大倍速增加到×8,算法的性能显著下降。然而,MSRLapN在几种放大倍速的降尺度中均取得了较好的性能。
表3 MSRLapN模型和其他方法在相对湿度和风速数据集上放大2倍、4倍和8倍效果定量评估结果
表4 MSRLapN模型中加入地形和不加地形SSIM和PSNR性能对比
3.3 结果讨论
3.3.1 MSRLapN模型中MSRB模块数量影响
MSRLapN中采用了多尺度残差块,该模块能够自适应地检测不同尺度的图像特征,充分利用图像的潜在特征。对不同数量的MSRB进行了对比实验,结果如图11所示,MSRB模块的数量对于×2、×4和×8的放大的降尺度预报影响不大。更深的网络结果带来更大的计算量和存储资源占用,因此在实验中,使用一个 MSRB 来提取特征。
图11 不同数量的MSRBs对MSRLapN模型性能的影响:(a)相对湿度放大2倍;(b) 相对湿度放大4倍;(c)相对湿度放大8倍Fig.11 Performance comparison of MSRLapN with different numbers of MSRBs:(a) relative humidity magnified by 2 times;(b) relative humidity magnified by 4 times;(c) relative humidity magnified by 8 times
3.3.2 地形影响
地形是气象预报的重要因素之一。用MSRLapN方法进行×4和×8放大的实验。比较的平均结果列于表4。在大多数情况下,加入地形数据的训练效果更好。
1)本文提出了一种基于深度学习超分辨率技术的三维气象要素降尺度方法,该方法综合考虑多种气象要素和地形数据,以及不同层次的三维数据之间的交互影响特征和信息,通过数据驱动学习,实现三维气象要素降尺度,为处理三维气象预报的精细化提升,提供一种基于深度学习的技术途径。
2)引入了7种已有深度学习超分辨率降尺度技术,将这7种方法对接到三维气象要素降尺度应用,并提出一种新的由多尺度残差块构成的增强型分支超分辨率卷积神经网络模型MSRLapN。以相对湿度、风速为例进行对比检验,实验结果表明MSRLapN模型具有优势。
3)MSRLapN的级联结构适合多级网络。与单层方法相比,多层网络获得的高分辨率(HR)图像能够保留更多的信息。此外,该算法还可以有效地在级联结构之间共享参数,减少多级结构带来的训练参数大幅度增加问题。
本文针对三维气象要素空间精细化提升问题,将气象要素三维气象要素降尺度类比为三维图像超分辨,将多种原本用于二维图像超分辨的前沿深度学习方法改造并用于三维气象要素降尺度,实验结果表明基于深度学习方法降尺度性能优于传统的统计降尺度。此外,针对三维气象要素预报的领域特性,本文提出了一种应用三维图像深度学习超分辨降尺度MSRLapN模型。采用16个不同海拔高度的气象预报和地形构造图像数据作为输入,创新性地将MSRB集成到LAPSRN模型中。使用MSRB 模块代替卷积层,在网络结构中增加一个空间维变换模块,用亚像素卷积层代替所有的转置卷积层。针对华东区的相对湿度、风速进行降尺度实验验证,结果表明MSRLapN模型取得了更好的性能。后续工作将继续研究气温、风速等气象变量的三维深度学习超分辨与气象变量的物理演变机理相结合的时空精细化提升机器学习方法。
猜你喜欢 残差气象要素高分辨率 高分辨率CT+人工智能在新型冠状病毒肺炎诊断与疗效评估中的应用研究中国典型病例大全(2022年12期)2022-05-13探讨高分辨率CT在肺部小结节诊断中的应用价值健康体检与管理(2021年10期)2021-01-03基于气候适宜度的贵南小油菜发育期预报农业灾害研究(2018年4期)2018-09-10基于二阶自相关过程残差控制图的改进价值工程(2018年3期)2018-01-23基于MVU降维的捕捉数据自动分割电子技术与软件工程(2017年19期)2017-11-09基于异常区域感知的多时相高分辨率遥感图像配准计算机应用(2016年10期)2017-05-12探测环境变化对临沭站气象要素的影响现代农业科技(2016年21期)2017-03-06不同水分条件下冬小麦农田蒸散研究江苏农业科学(2016年7期)2016-10-20测量数据的残差分析法科技与创新(2015年19期)2015-10-14连续型过程的二元残差T2控制图科技经济市场(2014年2期)2014-06-20