王 杨,隆海燕,贾曦然
(1.河北工业大学电子信息工程学院，天津 300401；
2.河北工业大学天津市电子材料与器件重点实验室，天津 300401)
图像质量评价在艺术作品设计、广告公司海报宣传等方面应用广泛，逐渐成为研究热点，因而图像质量的可靠评价具有实用性。图像质量的主观评价方法易受观测者知识背景和观测者动机等因素影响，而客观评价以其速度快、不受主观情况影响等优势被普遍应用。近年来，人们将人眼视觉显著性引入图像质量客观评价中。在结构相似度理论[1]和ltti中心-周围差异模型[2]的基础上，刘迪等[3]考虑人眼视觉特性中的对比度掩盖效应，对模糊强度进行感知加权来优化图像质量评价的结果。贾惠珍等[4]分别提取参考图像和失真图像的相位一致性、梯度、视觉显著性和对比度特征，采用机器学习的方法自动预测图像质量。沈飞鹏等[5]在此基础上将待评价图像进行显著性目标分类，根据分类结果提取局部特征和全局特征，特征融合后得到最终的质量评估值。上述方法均考虑了人眼的视觉特性，其结果与人眼的主观感知具有良好的相关性。
然而，影响图像信息获取的人眼视觉成像系统具有频率传递的特性，其彩色视觉频率响应与人眼颜色辨别特性紧密相关。所以，许多研究人员开始将人眼色彩差异化感知特性[6]引入客观图像质量评价中。许丽娜等[7]提出了一种融合图像结构相似度和光谱信息的图像质量评价方法；
侯春萍等[8]提出在得到图像的全局特征时用颜色矩来表示图像的颜色特征；
赵月等[9]则将图像从RGB空间转化到孟塞尔模型HSI(Hue，Saturation，Intensity)，分别提取色度、饱和度、亮度分量并将其作为特征用于图像质量评价。以上方法均结合人眼视觉显著特性和色彩敏感度特性，获得了与人眼主观感知相一致的图像质量客观评价值。而在实际应用中，图像中存在非色彩显著区域语义信息，因而利用人眼对色彩的差异化感知特性重点关注图像中的色彩显著区域并进行质量评价，尚需进一步研究。
基于上述人眼视觉显著特性和色彩敏感度特性在图像质量评价中的应用，本文提出了一种基于孪生神经网络的色彩区域图像质量评价CR-SNIQA(Color Region Image Quality Assessment based on Siamese Neural network)算法。利用色彩对比分别提取原始图像和失真图像中多个色彩区域的语义内容，可以在保留图像语义信息的同时更好地模拟人眼对色彩的差异化感知；
复用孪生模块进行特征提取并共享权值，可充分表达多层次特征的有效信息。本文所提CR-SNIQA算法在考虑人眼彩色视觉特性和语义内容的基础上，将孪生神经网络引入图像质量评价中，实现了图像色彩区域的质量评价。
Chopra等[10]提出的孪生神经网络多应用于图像分类与识别，该网络的双分支输入为2幅图像，输出为2幅图像之间的相似程度。孪生神经网络具体结构如图1所示。图中X1和X2为孪生神经网络双分支的输入，W为网络分支共享的学习参数，GW(X1)和GW(X2)是X1和X2在低维空间中的2个映射，最后通过比较2个映射之间的距离EW判断X1和X2的匹配程度。
Figure 1 Structure of siamese neural network图1 孪生神经网络结构图
杨光义等[11]将原始图像与失真图像输入至双分支结构的孪生神经网络中，网络整体是端到端前馈模型。为了适应全连接层输入图像的大小，将图像固定分块后进行质量评价。本文所提CR-SNIQA算法采用双卷积结构，将原始图像与失真图像中由语义分割得到的多个相互对应的色彩区域输入到孪生神经网络中进行图像质量评价。
CR-SNIQA算法整体框架如图2所示。图中Q(Quality)表示所得评价值。首先，算法利用人眼对色彩差异化感知特性提取原始图像和参考图像中的多个色彩区域；
然后，将多个色彩区域的图像以图像对的方式输入孪生神经网络进行双支路训练，选择损失度最小的权值进行共享，从而实现输入图像到输出图像质量分数的端到端训练；
最后，用样本对之间的欧氏距离EW(x1,x2)来评价图像质量的优劣。
Figure 2 Overall framework of CR-SNIQA图2 CR-SNIQA整体框架
3.1 人眼视觉对比度敏感特性
视觉心理学[12]认为，人眼的视觉对不同色彩的敏感程度存在一定差异，并且图像色彩是仅次于图像清晰度的第2大质量因素。人眼视觉对红光、蓝光、绿光的敏感度与可见光谱理论是一致的[13]。可见光谱图[14]如图3a所示，上面一行数字代表光对应的频率f即强度，单位是THz；
下面一行数字代表光对应的波长λ，单位是nm。人眼对不同波长光的平均视觉灵敏度表示为视见函数。明视觉和暗视觉下的视见函数曲线[15]如图3b所示。由图3可知，人眼对明视觉下波长为550 nm的光和暗视觉下波长为505 nm的光最敏感；
对可见光谱中部区域更敏感，越靠近光谱两端，人眼的敏感度越弱。
Figure 3 Visible spectrum and visual function curve图3 可见光谱图与视见函数曲线
根据人眼色彩对比度敏感的视觉特性，Nadenau[16]提出了色度模型CSF[16],如式(1)所示：
CSF(fθ)=a·expbf(θ)c
(1)
其中，a、b和c为常数;θ为观察视角;fθ为角频率，定义为单位空间视角内刺激人眼的条纹的周期数目。
CSFrg和CSFby分别表示蓝黄和红绿对立色的色度模型函数[17]，其常数取值如表1所示。
Table 1 Constant values in the chromaticity model function表1 色度模型函数中的常数值
3.2 图像色彩显著区域的提取
郭迎春等[18]参照人眼视觉注意机制理论，选择性地提取图像的不同特征，利用合适的融合模型来实现特征融合，以达到图像显著区域提取的目的。本文根据输入图像内容信息的不同，采用语义分割划分图像边界并标注标签。图4给出了一幅具有3种语义内容的语义区域划分过程。
由图4可知，利用语义分割模型可以将图像根据语义内容分割为不同的区域，标注标签后进行区域图像细节复现。
Figure 4 Division of semantic regions图4 语义区域的划分
人们通常在RGB颜色空间对数字图像进行色彩描述。因人眼对RGB颜色空间感知的不均匀性，本文将像素变换到人眼感知均匀的Lab颜色空间[19]。在颜色空间转换的基础上，依据图像色彩的差异和语义内容进行图像差异化区域提取。图5展示了对图像进行差异化色彩区域划分的结果。由图5可知，根据图像中不同颜色对应的像素值不同，可以将图像的内容信息以及边界细节提取出来，得到色彩区域显著图。
Figure 5 Division results of image differentiated color region 图5 图像差异化色彩区域划分结果
从视觉角度来说，图像显著区域越接近人工标记的真值图，图像显著区域提取算法与人眼视觉注意机制关联性越强。
评价图像显著区域提取算法的常用评价指标包括准确率P(Precision)、召回率R(Recall)等。
假设检测到的二值图中显著区域为FN，真值图中显著区域为GN，则P和Q的公式定义分别如式(2)和式(3)所示：
(2)
(3)
准确率P越大，提取结果越可靠。召回率R越高，提取效果越符合人眼的注意效果。经多次实验得到每幅测试图像的准确率和召回率，求得P和Q的平均值分别为0.962 5和0.852 9，可以此为基础模拟人眼对图像的感知。
3.3 CR-SNIQA算法的孪生神经网络结构
CR-SNIQA算法的孪生神经网络结构如图6所示。图像以样本对的形式输入。使用Inception-ResNet-V2网络作为其双分支网络，该网络允许并行使用卷积和池化操作，同时双分支网络之间共享权值。样本对输入距离层后，采用欧氏距离衡量二者的匹配程度。欧氏距离值越小，样本的匹配程度越高。
Figure 6 Structure of siamese neural network based on CR-SNIQA algorithm 图6 CR-SNIQA算法的孪生神经网络结构图
Figure 7 Structure of Inception-ResNet-V2 network 图7 Inception-ResNet-V2网络结构
Inception-ResNet-V2模块网络结构如图7所示。为进一步提高图像校准水平，Inception-ResNet-V2采用了残差网络结构，且在Inception中平均池化层代替了传统的全连接层。该网络处理图像的步骤如下：
步骤1将图像输入Stem模块中进行卷积、池化和卷积操作，将其结果输入到4个分支分别进行卷积操作后叠加输出。
步骤2Inception-ResNet-A模块的内部包含4个分支。第1个分支将Stem模块输出的35×35×384特征图未进行卷积处理直接输出，另外3个分支对Stem模块输出的特征图进行一系列卷积操作后，再经过1×1的卷积层，最后与第1个分支的输出叠加得到35×35×256的特征图输入至Reduction层。
步骤3Inception-ResNet-B和Inception-ResNet-C的模块内部均为3个分支，第1个分支直接输出，其余2个分支均经过卷积操作。所有支路输出叠加后的结果输入平均池化层，下降损失函数经过多次迭代设置参数为0.8，以确保最佳拟合。
本文引入EMD(Earth Mover’s Distance)损失函数，以便根据类别距离惩罚错误类，获得更高的预测精确度。该函数是对特征空间中2个多维矩阵的某一维距离的一种度量。归一化的EMD函数表示如式(4)所示：
(4)
3.4 孪生神经网络模型训练
3.4.1 数据集处理
本文所用图像取自TID2013(Tampere Image Database 2013)图像库，包括25幅分辨率为 324× 512 的彩色参考图像和其对应的3 000幅失真图像。失真类型共24种，包括多重高斯噪声、舒适噪声、有损压缩、彩色图像量化、色差以及稀疏采样等，每种失真类型包含5种失真水平。该图像库中所有测试图像的平均主观得分MOS(Mean Opinion Score)值是由5个国家的971位测试人员主观评分统计得到的。MOS值的取值范围为[0,9]，MOS值越大，表示图像质量越好。
将TID2013图像库中的图像进行色彩显著区域提取，按照2∶1∶2的比例随机划分原始图像及相应失真图像的色彩区域图，分别作为训练集、验证集和测试集。因篇幅所限，本文选取TID2013图像库中第8种高斯模糊失真类型和第16种平移位移失真类型及相应的5种失真水平作为示例图像。图像提取结果如图8和图9所示。
Figure 8 Region extraction results of example image 1 图8 示例图像1区域提取结果
Figure 9 Region extraction results of example image 2 图9 示例图像2区域提取结果
3.4.2 模型参数的训练
初始化实验模型后，在训练集上训练模型权重。完整遍历一次训练集为一次epoch过程，在验证集上评估结果以选取最优权重。将训练的epoch次数设置为500，采用小批次梯度下降法完成训练。每经过一次epoch，都在验证集上测试模型指标，综合考虑损失率最小和准确率最高因素，判定其是否为最优模型。模型在训练集上训练时，损失函数EMD的变化曲线如图10所示。如图10所示，横坐标表示迭代次数，纵坐标表示损失率。EMD损失函数呈稳定下降趋势，表明模型训练情况良好。当epoch次数大于420时，损失函数趋于平稳。训练完毕后，损失函数可达到0.037 9的损失率。
Figure 10 Change curve of loss function EMD图10 损失函数EMD的变化曲线
将测试集中的色彩区域图像作为全域图像的子图像输入孪生神经网络中进行评估，得出各个子图像的质量评价分数。考虑到人眼对区域图像色彩差异的敏感度，以及色彩差异区域的颜色与RGB空间的亲近度，本文对子图像的质量评价值进行加权处理，以获得整幅图像的质量评价分数。加权处理公式如式(5)所示：
(5)
4.1 对比算法简述
本文将以下8种算法与本文所提算法进行准确率和复杂度的比较。除峰值信噪比PSNR(Peak Signal to Noise Ratio)算法[20]中按灰度图像每像素比特数设置参数为8之外，其余算法的原始参数均来自原始文献。由于篇幅所限，每种算法的关键参数设置如下：
4.2 算法对比结果与分析
本文采用客观质量评价值与其对应MOS值的相关性作为算法性能的评价标准。评价指标包括皮尔森线性相关系数PLCC(Pearson Linear Correlation Coefficient)和斯皮尔曼相关系数SROCC(Spearman Rank Order Correlation Coefficient)。PLCC用于评价算法输出的质量客观评价值和主观评价的线性相关程度，SROCC用于评价算法输出的质量客观评价值和主观评价的单调性。SROCC/PLCC越大，表示质量客观评价算法与主观评价值有良好的一致性。为进一步验证本文算法的鲁棒性，在LIVE(Laboratory for Image & Video Engineering)数据集和CSIQ(Categorical Subjective Image Quality)数据集上进行了补充实验。LIVE数据集包括29幅参考图像、5种失真类型对应的779幅失真图像以及每幅图像对应的平均主观得分差异DMOS(Differential Mean Opinion Score)值；
CSIQ数据集包括30幅参考图像、6种失真类型对应的866幅失真图像以及每幅图像对应的DMOS值。表2给出了不同算法在TID2013数据集、LIVE数据集和CSIQ数据集上经训练、验证和测试得到的PLCC和SROCC评价指标值，表中“/”表示该指标在算法原始文献中没有给出且难以通过复现获取。
Table 2 Performance comparison of image quality evaluation algorithms表2 图像质量评价算法性能比较
由表2可知，本文所提CR-SNIQA算法较部分对比算法在3个数据集上精确度好。在TID2013数据集上，PLCC和SROCC均在0.88以上，相比于PSNR、SSIM、VSNR、FSIM、FSIMc、MAD和MPCC算法的均有较大提高。虽然较MDSI算法的SROCC降低了0.004 2，但其PLCC提高了0.003 0；
在CSIQ数据集上，PLCC相比PSNR、SSIM、VSNR、FSIM和FSIMc算法的均有提高，SROCC值也高于PSNR和VSNR算法的；
在LIVE数据集上，PLCC和SROCC均在0.94以上，精确度优于PSNR、VSNR和SSIM算法的。综合评价，在人眼主观感知相关性方面，所提算法的性能优良。
本文算法基于Inception-ResNet-V2深度学习网络，用Python3.7语言实现。其运行环境中，CPU为Intel i7-10750H 2.59 GHz;GPU为NVIDIA GTX 1060，16 GB内存。本文算法参数设定如表3所示，该组参数均经过优化迭代得出，本文实验结果均在该参数的基础上得到。
Table 3 Parameters setting of the proposed algorithm 表3 本文算法参数设定
为评估算法的复杂度，本文将CR-SNIQA算法的评价时间与其它算法的进行了对比。以每10幅图像运行的平均时间作为衡量指标，比较结果如图11和表4所示。表4中，每种失真类型名称下的数字表示其包含的图像数量。
Figure 11 Comparison of running time of algorithm evaluation for every 10 images图11 算法评价每10幅图像的运行时间对比
Table 4 Average running time of the CR-SNIQA algorithm per 10 images in a single distortion class表4 CR-SNIQA算法在单一失真类型中每10幅图像的平均运行时间 s
由表4可知，在TID2013数据集上，CR-SNIQA算法对AGN失真类别中每10幅图像的平均运行时间最长，为2.950 s,对NEPN失真类别的运行时间最短，为1.830 s；
在CSIQ数据集上，对AWGN失真类别中每10幅图像的平均运行时间最长，为2.470 s,对FNIOSE失真类别的运行时间最短，为1.960 s；
在LIVE数据集上，对FASTFA失真类别中每10幅图像的平均运行时间最长，为2.360 s,对BLUR失真类别的运行时间最短，为1.990 s。通过分别计算CR-SNIQA算法在3个数据集上运行时间的平均值可知，在TID2013数据集上每10幅图像的平均运行时间为1.938 7 s，明显少于在CSIQ和LIVE数据集上2.238 3 s和2.174 s的平均运行时间。
不同算法在3个数据集上每运行10幅图像的平均时间对比如表5所示。
Table 5 Comparison of average time of 10 images each run by different algorithms表5 不同算法每运行10幅图像的平均时间对比 s
算法的运行时间可在一定程度上反映其复杂程度，故本文通过3个数据集上运行时间的平均值对算法的复杂程度进行比较。由表4可见，本文所提CR-SNIQA算法在TID2013数据集上每10幅图像的运行时间明显少于在CSIQ和LIVE数据集上的运行时间。通过与不同算法运行时间的对比可知，所提算法复杂度明显低于FSIMc、VSNR、 MAD和MPCC算法,而高于PSNR和SSIM，但在精确度上，所提算法的较高。根据CR-SNIQA算法流程分析其具有较低复杂度的原因是：对色彩区域特征提取的优化以及Inception结构中因层级结构的改进而减少了参数处理量。综合评估精确度和复杂度得出,CR-SNIQA算法可作为一个思路推广于图像质量评价领域。
本文算法考虑了人类视觉对图像色彩信息的感知，将颜色作为视觉线索，提取原始图像和参考图像中颜色对比显著的区域。将提取后的色彩区域输入孪生神经网络中进行质量评价。结果表明，利用孪生神经网络对图像色彩差异化区域进行质量评价具有可行性，可作为彩色图像质量评估的一种新思路。今后将在本文基础上考虑视差对立体图像质量评价的影响以及探索迁移学习和颜色识别在质量评价算法中的应用。发展通用型的图像质量评价算法实现对所有图像的评价，可作为未来的研究课题之一。
猜你喜欢人眼集上神经网络Cookie-Cutter集上的Gibbs测度数学年刊A辑(中文版)(2020年2期)2020-07-25链完备偏序集上广义向量均衡问题解映射的保序性数学物理学报(2019年6期)2020-01-13神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23分形集上的Ostrowski型不等式和Ostrowski-Grüss型不等式井冈山大学学报(自然科学版)(2019年4期)2019-09-09人眼X光快乐语文(2019年9期)2019-06-22人眼为什么能看到虚像中学生数理化·八年级物理人教版(2018年11期)2019-01-31闪瞎人眼的，还有唇优雅(2016年12期)2017-02-28看人，星光璀璨缭人眼电影故事(2016年5期)2016-06-15基于神经网络的拉矫机控制模型建立重型机械(2016年1期)2016-03-01复数神经网络在基于WiFi的室内LBS应用大连工业大学学报(2015年4期)2015-12-11