丁元明，刘苏睿,2，杨 阳,2
(1. 大连大学 通信与网络重点实验室，辽宁 大连 116622；
2. 大连大学 信息工程学院，辽宁 大连 116622)
水下图像作为水下信息的载体，其对深海环境感知与资源探索发挥着重要作用。水下成像环境复杂光的散射导致了雾霾效应，光的衰减导致了颜色偏色。这些问题对进一步的水下研究（目标识别、目标检测等）造成严重影响，所以需要对所采集到的图像进行处理。图像处理是为了改善图像的视觉效果，而改善图像质量最有效的方法是图像增强。图像增强可提高图像的分辨率和质量，将图像变得更加清晰，方便计算机对图像的分析和处理。
针对水下成像特点，存在3 类方法可增强水下图像清晰度，分别为：基于物理模型方法、基于非物理模型方法、基于深度学习方法[1]。基于物理模型的方法主要依据Jaffe-McGlamey[2]水下成像模型，通过求解水下成像模型的逆运算以获得清晰的水下图像[3-4]。这列方法建立在假设的基础上，所以与实际存在一定偏差，对图像恢复程度很有限。非物理模型的方法参考于传统图像处理方法，直接调整图像像素取值[5-6]。由于未考虑水下图像成像特点，单一使用无法解决图像偏色和对比度低的问题。另外，这2 种方法使用的数据量不大，泛化能力难以保证，也难以移植于水下视频增强等领域。基于深度学习的方法根据主体结构的不同可分为两大类，即基于卷积神经网络的(CNN) 方法和基于生成对抗网络（GAN）方法。Wang 等[7]提出了一种基于卷积神经网络（CNN）的水下图像增强方法，该方法提高了水下图像的亮度和对比度，但红色过度增强在颜色矫正上还有待改善。Islam 等[8]提出一种基于生成对抗网络的实时水下图像增强模型，该方法增强后的图像呈现出暗黑色，整体视觉效果较差。
针对上述问题，本文结合特征融合思想，提出一种基于色彩均衡和生成对抗网络的水下图像增强算法。该算法由生成网络和判别网络2 个模块组成。其中在生成网络中引入色彩均衡模块，通过去偏色算法解决水下图像偏色问题。判别网络通过学习区分生成图像与参考图像，判断数据是否为真。此外，通过构建包含结构相似性和最小绝对值偏差的多项损失函数，进一步提升模型性能。结果表明，本文算法能够更有效地改善水下图像的颜色失真与偏色问题。
GAN 需要训练2 个模型，一个生成模型D 负责负责凭空捏造数据出来，一个判别模型G 负责判别网络通过学习区分生成图像与参考图像。2 个网络相互博弈，其网络结构如图1 所示。
图1 GAN 原理图Fig. 1 Schematic diagram of GAN
首先向G 中输入随机噪声，G 根据一串随机数据捏造假图像用于欺骗D，D 负责判别真假图并且给出一个结果。G 的目标是生成几乎与原图相似的假图从而使得D 判断错误的概率增大。而D 的目标是有效区分真假图。GAN 的原理公示可表示为：
式中，x为目标数据，z为G端输入的随机噪音。在对抗训练中模型在训练G的同时也会训练D，训练G 使[log(1-D(G(Z)))]的值最小。在理想训练情况下，D 是完美的， logD(x)等于1，D(G(Z))等于0 。最终G 的输出值为0，D 的输出值为1。
本文提出一种特征提取的GAN 模型。其特点在于G 中分为2 个模块，将U-Net[9]提取的特征与偏色校正图像的特征融合，通过卷积神经网络完成增强后的图像重构。相比普通GAN 算法，能够更有效地改善水下图像的偏色问题。所提算法的执行过程如下：首先通过U-Net 网络提取图像特征F1，然后使用去偏色算法解决水下图像偏色问题，通过卷积网络提取特征F2，将其与F1 以对应元素相乘的方式融合，最后以卷积网络完成特征到增强图像的重构。D 采用全卷积网路结构，来实现对生成图像与其对应的参考图像的判别。本文算法的网络结构及数据流动方向如图2所示。
图2 本文网络结构Fig. 2 The network structure of this paper
2.1 生成器
2.1.1 G 生成器设计
在G 中添加去偏色模块，基于U-Net 网络提取到的特征F1 与通过卷积网络提取的去偏色图像特征F2，通过对应元素相乘进行特征融合，最后通过卷积网络完成重构。其流程如图3 所示。
图3 G 流程图Fig. 3 G flow chart
2.1.2 特征提取U-Net 网络模块
使用U-N e t 网络进行特征提取，其结构如图2 所示，采用了对称编码器解码器，该模块主要由下采样和上采样部分组成。其中，下采样单元中包含一个卷积步长为1 和一个卷积步长为2 的卷积层，而上采样单元中包含一个卷积步长为1 的卷积层和一个卷积步长为2 的反卷积层。对提取到的特征使用批归一化(BN)处理，同时使用LeakyRe LU 函数作激活函数。水下图像经过特征提取后被映射为F1特征。
2.1.3 去偏色模块
光的衰减程度在水下环境中是不同的，其中红光衰减最快，蓝绿光衰减相对较慢，导致获得的水下图像会出现呈现偏蓝或偏绿特性[10]。为了提高网络的水下修复效果，在生成器G 中添加了去偏色模块。颜色校正的传统算法有灰度世界算法[11]和完美反射算法[12]。它们的处理水下图像的效果如图4 所示。可以看出，灰度世界算法在处理偏色问题时有明显作用。同时复杂度较低，但其对红色通道像素强度显著区域会出现过度补偿。原因是水对红色光的衰减最为明显,使得红色通道的均值较小，灰度世界算法对红色通道部分像素值显著区域出现过度补偿的问题。
图4 不同颜色校正算法结果对比Fig. 4 Comparison of the results of different color correction algorithms
针对以上问题，Ancuti 等[13]在2018 年提出一种新的白平衡算法，该算法提出基于各个通道的像素差值对红通道和蓝通道进行补偿，然后用灰度世界算法对颜色补偿后的图像进行颜色校正。其红色通道补偿格式为：
式中：Ir和Ig分别为处理后水下图像的红色通道和绿色通道，为Ig的均值，为Ir均值， α为常数。
本文在文献[13]的基础上进行改进。在对红通道进行补偿时，由于灰度世界假设所有通道的均值相同，而红通道均值和绿通道均值的差值体现红、绿通道衰减的不平衡性，因此基于该差值对红通道进行补偿。补偿后的红通道像素值为：
在使用改进过的去偏色算法对水下图像进行初步处理后，设计一个特征提取网络来提取去偏色图像的特征F2 该网络结构由2 个卷积层构成。使用大小为3、卷积长为1 的卷积核，并在卷积层后添加批归一化BN 层和Leaky ReLU 激活层。
2.1.4 特征重构
在G 的最后，通过对应元素相乘的方式融合颜色校正图像的特征和原始水下图像的特征，并通过卷积层将融合的特征映射为增强后的水下图像。
2.2 判别器
在本算法中，D 使用的马尔可夫判别器[14]，完全由卷积层构成，输出的是一个n×n 矩阵，接着取输出矩阵的均值作为True/False 的输出。若输出为True，则代表清晰的水下图像，False 则代表生成器G 所生成的水下图像。
2.3 损失函数
为了保证输入图像与输出图像的相似度，采用损失函数的线性组合，将结构相似性损失值纳入到目标函数中，以提高图像结构相似性。当2 张图像趋近相同时，则SSIM 的值趋近于1。所以这种类 SSIM 的损失函数可表示为：
此外，引入L1 损失函数，也被称为最小绝对值偏差，有着很好的鲁棒性，损失函数为：
式中：x为X范围内单个像素的坐标，X为输入图像的所有像素的坐标集合，N为输入图像像素数量的总和，g(x)为模型输出的图像坐标x处的像素值，y(x)为真值图像坐标x处的像素值。最后的损失函数可表示为：
在几次实验和对最佳重建结果的观察后，将 α设置为0.8。
为验证算法的有效性，将本文算法与几种经典的水下图像增强算法进行对比。
3.1 实验设置及数据
仿真实验是在i5-11400H 处理器，16GB RAM，NVIDIA 3060Ti 8GB 显卡配置的计算机上运行。本文选用的水下数据集包含从海洋生物养殖场收集的真实世界水下图像，大致可分为两类，一类包含近场绿色调图像，另一类包含远场场景的蓝绿色调图像。在训练过程中，G 和D 的优化交替进行。根据 Adam 优化器，学习速率设置为 0.000 1，训练过程中生成模型更新一次，判别模型更新5 次。
3.1.1 算法有效性验证
为了验证本算法的有效性，本文从数据集中选取了部分偏蓝和偏绿程度不同场景不同的图片。将本文所提出的算法与传统算法文献[15]UCM 算法、文献[16]UDCP 算法和深度学习算法文献[17]UGAN、WGAN[18]算法进行对比。不同方法在数据集上实验结果对比结果如图5 所示。
图5 不同方法在数据集上实验结果对比Fig. 5 Comparison of experimental results of different methods on data sets
3.2 实验结果评价
3.2.1 主观评价
从图5 可看出，文献[15]可以增强图像的亮度和对比度，但在颜色恢复方面不太均匀，并且在图像的某些区域似乎过度增强。文献[16]的结果似乎具有合适的色调，但缺乏足够的饱和度和对比度。对于绿色调图像，不能很好地恢复，它们使图像更暗，但增强了图像的对比度。文献[17]和文献[18]可增强图像的对比度，但它们不能很好地恢复颜色并产生一些伪影，从而破坏图像的结构信息。相比之下本文所提出的方法可在保持适当亮度和对比度的同时恢复退化水下图像的颜色。
3.2.2 客观评价
为使实验对比的结果更加客观，采用非参考指标UIQM[19]来定量评估数据集上的水下图像质量。UIQM 是一种基于人眼视觉系统激励的无参考水下图像质量评价指标，其针对水下图像的退化机理与成像特点，采用色彩测量指标（UICM），清晰度测量指标（UISM），对比度测量指标（UIConM）作为评价依据，将UIQM 表示为三者的线性组合。其值越大，表示图像的颜色平衡、清晰度、对比度越佳。表1展示了不同算法处理之后的图像在指标UIQM 上的结果。可以看出，在经过本文算法的增强后大部分结果较为优异，与其他4 种算法评价指标的平均值对比，UIQM 有一定提升，证明了本文算法能够有效地还原图像真实色彩、提高图像对比度和清晰度。
表1 不同算法的UIQM 评价指标结果对比Tab. 1 Comparison of UIQM evaluation index results of different algorithms
表2 不同算法的PSNR 和SSIM 结果对比Tab. 2 Comparison of PSNR and SSIM evaluation index results of different algorithms
另外，还选择了全参考评估指标PSNR 峰值信噪比和SSIM 结构相似性指数进行客观评测。PSNR 值取决于原始雾图与生成图像对应像素间的误差，其值越大，恢复得到的无雾图像清晰度越高。SSIM 从亮度、对比度、结构3 个方面对图像相似性进行评估，其值越大，代表图像失真越小。结果表明，本文提出的算法在峰值信噪比和结构相似性上取得了较好结果。
3.3 去偏色模块的对比实验
为了更好地验证本文特征融合算法的有效性，分别对本文算法和未采用去偏色模块的GAN 模型进行实验对比，结果如图6 所示。可以看出，未采用去偏色模块的GAN 模型虽大致可矫正退化水下出现的蓝绿色调，但矫正效果欠佳，图像整体视觉感知效果较差。而本文算法采用特征融合，有效提升了模型的性能，使得增强后的图像在清晰度、对比度和颜色矫正方面均表现良好。
图6 未添加去偏色模块的GAN 模型与本文算法结果对比Fig. 6 Comparison between GAN model without adding depigmentation module and the algorithm results in this paper
针对对水下图像出现的颜色失真和对比度低的问题，本文结合深度学习，提出了一种基于GAN 的特征融合图像增强算法。采用U-Net 网络结构结合改进的白平衡算法，引入损失函数L-SSIM 和L1 的线性组合实现水下图像的增强，能够有效地还原图像真实色彩，提升图像的对比度和清晰度。实验结果表明，与不同算法相比，本文算法在UIQM、PSNR 和SSIM 指标上的平均值为5.071、25.310 和0.996，分别比第二名提升了1%、7%和5%。表明本文算法在清晰度、颜色校正和对比度方面均表现良好，能有效增强图像。
猜你喜欢 偏色图像增强像素 赵运哲作品艺术家(2023年8期)2023-11-02像素前线之“幻影”2000小哥白尼(军事科学)(2022年2期)2022-05-25图像增强技术在超跨声叶栅纹影试验中的应用燃气涡轮试验与研究(2021年6期)2021-08-01水下视觉SLAM图像增强研究海洋信息技术与应用(2020年4期)2021-01-18“像素”仙人掌红领巾·萌芽(2019年8期)2019-08-27虚拟内窥镜图像增强膝关节镜手术导航系统中国生物医学工程学报(2019年5期)2019-07-16改进的完美反射法及其在视频偏色校正中的应用中国刑警学院学报(2018年3期)2018-10-08一招解决手机拍照偏色问题云南画报(2018年3期)2018-07-23基于图像增强的无人机侦察图像去雾方法北京航空航天大学学报(2017年3期)2017-11-23基于方差因子的图像 偏色检测研究刑事技术(2016年5期)2016-12-22