程小霞，崔学英，郭映亭，上官宏，郝文强
(太原科技大学，太原 030024)
X射线计算机断层扫描(Computed Tomography，CT)成像由于能够清晰显示解剖结构而得到了广泛应用。然而，过度暴露于X射线辐射下会对身体产生负面影响。临床上，希望在保持可接受的诊断准确度的同时将放射线的暴露量减至最小。但是，通过降低射线管电流降低辐射剂量会在重建图像中出现噪声和条纹伪影，导致图像质量下降并对临床诊断产生不利影响。图像域后处理方法是解决这个问题的主流方法，此类方法是直接对重建图像进行处理，不依赖原始投影数据，不需要实时成像或庞大的存储空间，而且实用方便。基于稀疏表示，文献[1]采用K-SVD算法来抑制腹部CT图像中的斑点噪声和条纹伪影。文献[2]把三维块匹配去噪算法(Block Matching 3D，BM3D)用于低剂量CT(Low-dose CT，LDCT)图像去噪。文献[3]提出了一种字典学习和形态分量分析相结合的LDCT图像去噪算法。但是，由于CT图像中噪声分布不均匀，噪声模型不易确定，这些方法在去除噪声的同时通常会出现过度平滑和细节信息丢失的现象。
相比之下，深度学习技术由于不依赖于噪声模型在低剂量CT去噪方面表现出色，通过网络学习图像之间的映射关系达到去噪的目的。Chen等人提出了一种浅层的卷积神经网络框架，通过网络学习从低剂量图像到正常剂量图像的一种映射关系[4]。REd-CNN是一种包含5层卷积和5层反卷积的自动编解码器卷积神经网络[5]。该网络前5层卷积用于提取图像特征，后5层通过反卷积逐步重建图像，并且去除了下采样操作，保留了更多的结构信息，获得了较高的峰值信噪比。Yang等人提出了一种具有感知损失的生成对抗网络WGAN[6]，该网络一方面通过判别器与生成器的对抗学习来提高网络的性能，另一方面通过添加结构敏感损失来优化视觉效果，但其定量结果还不理想。文献[7]提出了一种用于图像分割的U-Net网络，由于其卓越的性能，其构架常被作为许多回归生成对抗网络的生成器，比如pix2pix[8]以及用于LDCT去噪的SAGAN[9]和HFSGAN[10].SAGAN将清晰度检测引入pix2pix，很好地抑制了LDCT图像中的噪声。HFSGAN通过两个U-Net逐步去除高频中的伪影和噪声。文献[11]提出了一种具有跳跃连接的空洞卷积残差网络，利用不同因子的空洞卷积提取不同尺度的纹理信息，但这种空洞卷积网络导致恢复图像中出现棋盘效应。文献[12]提出了一种利用相同的网结构递归构造的浅层残差编解码递归网络。
最近，网络注意力机制得到了关注，有位置注意力机制，通道注意力以及像素注意力等，其目的是引导网络的学习到需要关注的方面，比如噪声的位置或者结构特征。文献[13]提出了一种利用三维结构来捕获CT切片内以及CT切片间的信息相关性的三维自注意力卷积神经网络。文献[14]提出了一种将残差网络和通道注意力机制融合的医学图像超分辨率方法。
综上所述，目前U-Net构架仍是很多回归网络的基础，而注意力机制可引导网络的学习。本文在残差U-Net框架下引入通道注意力和像素注意力机制，一方面通过自动调整特征图的权重，使网络的学习更加关注噪声的特征；
另一方面利用像素注意力捕捉图像区域中的噪声和伪影特征，提高网络的去噪性能。
1.1 去噪模型
给定大小为w×h的标准剂量CT(NDCT)图像IND∈Rw×h，相应LDCT图像ILD∈Rw×h的生成可表示为：
ILD=N(IND)
(1)
其中N：Rw×h→Rw×h表示图像的退化。去噪的过程就是寻找满足(2)式的将LDCT图像映射到NDCT图像的函数f：
(2)
其中f表示N-1的近似函数。所提出的网络为残差网络，网络学习的为残差图像，即学习低剂量图像到残差图像的映射关系h(ILD).此时，
f(ILD)=ILD-h(ILD)
(3)
1.2 网络结构
1.2.1 U-Net构架
U-Net构架是一种加入跳跃连接的编解码网络，通过跳跃连接有效利用了先前层的底层信息，避免了随着网络深度的加深结构特征和细节信息的丢失。编码器网络的每一个层由卷积，批量归一化(Batch Normalization，BN)和带泄露整流线性单元(Leaky ReLU)组成，解码器的每一个层由转置卷积，批量归一化，随机失活(Dropout，只应用于前三层)和修正线性单元(Rectified Linear Unit，ReLU)组成。在卷积操作中没有边界填充。而在回归网络中，为了保持图像的细节信息，常去掉了池化操作和上采样过程。
1.2.2 通道注意力模块(Channel Attention，CA)
通道注意力模块通过学习特征权重，来标定每个通道特征的重要程度。依照这个重要程度去提升有用特征并抑制对当前任务不重要的特征[15]。如图1(a)所示，首先使用挤压操作全局池化得到特征图的整体信息。然后使用激励操作充分利用在挤压过程中聚集的信息获取通道之间的相关性。其中，挤压操作是一个全局平均池化，激励操作依次包含全连接层(Fully Connected Layer，FC)，修正线性单元(ReLU)，FC层和Sigmoid非线性函数。最后把归一化后的权重加权到每个通道的特征上。通过通道注意力模块，可以使网络更加关注与噪声紧密相关的通道信息，帮助网络从图像中分离噪声。
图1 注意力模块的结构
1.2.3 像素注意力模块(Pixel Attention，PA)
像素注意模块如图1(b)，将特征输入到两个卷积层和Sigmoid中，得到每一个特征图中每一个像素的权值，最后将输入特征与输出的对应权值进行逐像素相乘。通过PA注意力模块，可以使网络更加关注特征图中的高频信息特征，引导网络到需要关注的区域，如图像的高频区域[16]。
1.2.4 本文提出的网络
本文的网络结构如图2所示。编码器由8个卷积层组成，分别具有64、128、256、256、256、256、256和256个滤波器。解码器由8个反卷积层组成，滤波器个数分别为256、256、256、256、256、128、64，最后用1个滤波器得到残差图像，编码器与解码器结构对称。卷积核大小全部为5×5，步长为1.在编码器和相对称的解码器之间添加了跳跃连接，将编码器的每一层堆叠到相应的解码层，这种结构可将浅层信息传递到深层，避免因网络加深造成细节信息的丢失。
图2 具有注意力机制的U-Net的整体结构
此外，将通道注意力注意力与像素注意力结合的模块引入到网络的第一层卷积之后和倒数第一层卷积之前。注意力结构如图1(c)所示，特征图首先进入通道注意力，然后进入像素注意力，使得网络关注有效信息，提取到更多的噪声和伪影，提高网络的去噪性能。
1.2.5 损失函数
通常，基于CNN的去噪算法利用L2损失，但是，L2损失往往产生过度平滑的图像，导致结构细节丢失。因此，本文使用L1损失(Mean Absolute Error)，即:
(4)
其中，f(xi)和yi分别表示估计的去噪图像和相应的NDCT图像，N是训练样本的总数。
2.1 实验数据集
研究中采用Mayo Clinic公开发布用于“2016 NIH-AAPM-Mayo Clinic Low Dose CT Grand Challenge”的CT数据集，该数据集包含10位匿名患者的标准剂量的CT图像以及模拟的相对应的低剂量CT图像，厚度为3 mm.所有CT图像的分辨率均为512×512.在实验中，将数据集分为两组，一组包含8名患者的1 943幅图像对作为训练集，另一组为其余两名患者的440幅图像对作为测试集。为了保证训练所需的数据集，避免过拟合，从图像中以步长为1抽取大小为54*54图像块，并对抽取的图像块进行旋转操作，获得了更多的训练样本。
2.2 训练细节
在训练期间，使用基于动量的Adam优化算法，小批量数为64，学习率为1×10-4.使用TensorFlow，基于配备3.20 Hz的Intel Core i7-8700和一个NVIDIA GTX 1070 Ti GPU的个人计算机对网络进行了总共100 000次迭代训练。
2.3 质量评价
为了评估本文算法的优越性，选择BM3D去噪算法、REd-CNN以及与本文网络相关的三种网络：1)仅使用SE模块的注意力网络(简称为w/PA)；
2)仅使用PA模块的注意力网络(简称为w/SE)；
3)没有注意力模块的网络(简称为w/SE_PA)与本文提出的网络进行比较。
为了直观地说明网络的去噪性能，从测试集中选择了2种典型的LDCT图像，如图3(a)和图5(a)所示。不同方法的去噪结果如图3(b)-(g)和图5(b)-(g)所示。图3(h)和图5(h)分别是图3(a)和图5(a)对应的NDCT图像。图4和图6分别是图3和图5中红色矩形标记的感兴趣区域(Region of interest，ROI).从图中可以看到，所有的方法的结果与低剂量图像相比，图像质量都有不同程度的提高，都具有一定的去噪效果。
图3 不同去噪方法的比较，显示的区间为[-160，240]
图4 图3中的矩形标记的感兴趣区域(ROI)
图5 不同去噪方法的比较，显示的区间为[-160，240]
图6 图5中的矩形标记的感兴趣区域
图3(b)和5(b)的中仍然存在明显的条纹伪影，说明非网络去噪算法BM3D的去噪能力有限，无法获得令人满意的结果。从图3(c)-3(g)和图5(c)-5(g)中，可以看出基于深度学习的方法有效地抑制了噪声和伪影，并且去噪效果显著超越BM3D.然而，REd-CNN过度平滑了结果图像，一些关键结构变得模糊，如图4(c)和图6(c)箭头所指部分。相比之下，w/SE-PA和w/SE可以获得相对改善的结果，而w/PA和本文提出的方法产生的图像边缘锐利，结构细节和纹理清晰，获得的去噪图像更接近标准剂量的图像。
进一步做定量分析，包括基于数学定义的度量：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性信息度量(Structural SIMilarity，SSIM)以及基于视觉系统的感知质量度量：视觉信息保真度(Visual Information Fidelity，VIF)[17]和信息保真度准则(Information Fidelity Criterion，IFC)[18]，结果见表1.最佳的两种方法分别用黑色加粗和斜体标记。可以看出，对于图3所示的结果的定量值，本文方法在PSNR、SSIM和IFC得分最高，PSNR值与第二相比高了大约0.1，在VIF中排名第二，而w/PA对VIF评分最高，在PSNR、SSIM和IFC中排名第二。与没有注意力的网络w/SE-PA相比，所提方法的PSNR值比其高大约0.23.与RDE-CNN相比，PSNR值比其高大约0.18.对于图5中的结果，本文方法在PSNR、VIF和IFC得分最高，在SSIM中排名第二。而w/PA的SSIM得分最高，在PSNR、VIF和IFC中排名第二，与w/SE-PA相比，突出显示了通道注意力在所提出网络中的重要作用。比较w/SE-PA与w/SE的定量结果，说明了像素注意力在网络中起到了一定的效果，然而当把两者结合在一起时，效果最佳。
表1 不同算法的PSNR、SSIM、VIF和IFC的比较
2.4 运行时间
除了视觉质量和定量评估外，还将所有的比较方法测试图像的平均运行时间进行了比较，如表2所示。从结果可以看出，REd-CNN处理图像所需的时间约为0.351 9 s，并且运行时间最快，BM3D需要1.46 s.与BM3D和REd-CNN相比，可以看到与本文网络相关的三种网络以及本文的模型速度稍慢，但相差不明显。通过上述定性和定量比较，所提的方法取得了比其他方法更好的性能，计算量是可以接受的。而且有更好的硬件支持，可在实际应用中得到进一步的改进。
表2 不同网络的平均运行时间
2.5 消融研究
对不同的网络结构作以下注释：
·w/SE_PA：没有注意力模块。
·SE_PA_8：8个注意力模块分别在编码器的第1，3，5，7层以及解码器中相对应的层。
·SE_PA_6：6个注意力模块分别在编码器的第1，3，5层以及解码器中相对应的层。
·SE_PA_4：4个注意力模块分别在编码器的第1，3层以及解码器中相对应的层。
表3给出了消融实验的结果，可以看出，随着注意力模块的增加，SE_PA_4、SE_PA_6和SE_PA_8三种方法的性能会逐步提高，但是，相比之下本文网络的定量值最高。而且，更多的注意力模块也使网络更难训练。因此，在实验中设定了两个注意力模块，分别置于网络的第一层卷积之后和倒数第一层反卷积之前。实验结果表明了使用注意力模块的有效性，同时也说明了更多的注意力模块不一定能提高降噪质量，应该平衡模块的数量。通过减少网络中注意力模块的个数降低网络的复杂度，获得更好的去噪效果。
表3 网络结构比较
提出了一种新的基于U-Net的LDCT图像去噪算法。为了有效去除噪声和伪影，由通道注意和像素注意组成的注意力模块被用在网络开始和结尾处，帮助网络注意图像中的噪声区域，更有利于噪声和伪影特征的提取，提升网络去噪性能。通过消融实验说明了通道注意力在网络去噪性能方面有良好的促进作用，当通道注意力和像素注意力联合使用时其能力得到了进一步的提升。通过对比实验从定性和定量两方面验证了本文算法在图像去噪和结构保持方面都具有良好的性能。
猜你喜欢 卷积噪声像素 基于全卷积神经网络的猪背膘厚快速准确测定农业工程学报(2022年12期)2022-09-09像素前线之“幻影”2000小哥白尼(军事科学)(2022年2期)2022-05-25一种基于卷积神经网络的地磁基准图构建方法北京航空航天大学学报(2021年9期)2021-11-02基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02一种并行不对称空洞卷积模块①计算机系统应用(2021年9期)2021-10-11基于声类比的仿生圆柱壳流噪声特性研究舰船科学技术(2021年12期)2021-03-29“像素”仙人掌红领巾·萌芽(2019年8期)2019-08-27汽车制造企业噪声综合治理实践劳动保护(2019年3期)2019-05-16要减少暴露在噪声中吗？饮食科学(2016年7期)2016-07-27高像素不是全部CHIP新电脑(2016年3期)2016-03-10