基于改进多尺度<bold>AOD-Net</bold>的图像去雾算法

徐玥，黄志开，王欢，曾志超，王景玉，叶元龙; XU Yue; HUANG Zhikai; WANG Huan; ZENG Zhichao; WANG Jingyu; YE Yuanlong

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于改进多尺度AOD-Net的图像去雾算法 PDF

- ORCID：
徐玥 ¹
✉
- ORCID：
黄志开 ¹
✉
- ORCID：
王欢 ²
- ORCID：
曾志超 ¹
- ORCID：
王景玉 ¹
- ORCID：
叶元龙 ¹

1. 南昌工程学院，信息工程学院，南昌 330000； 2. 南昌工程学院，机械工程学院，南昌 330000

中图分类号： TP391

最近更新：2025-02-27

DOI：10.11835/j.issn.1000-582X.2025.02.005

摘要

针对当前去雾算法效率不高、细节恢复较差等问题，提出一种改进多尺度AOD-Net(all in one dehazing network)的去雾算法。通过增加注意力机制、调整网络结构和改变损失函数这3方面的改进，增强网络的特征提取和恢复能力。模型的第1层增加空间金字塔注意力 (spatial pyramid attention，SPA)机制，使网络在特征提取过程中避免冗余信息。将网络改成拉普拉斯金字塔型结构，使模型能够提取不同尺度的特征，保留特征图的高频信息。使用多尺度结构相似性 (multi-scale structural similarity，MS-SSIM)+L₁损失函数替换原有的损失函数，提高模型保留结构的能力。实验结果表明，本方法去雾效果更好，细节更丰富。在定性可视化评价方面，去雾图像效果优于原网络。在定量评估层面，与原网络相比PSNR值提升了2.55 dB，SSIM值提升了0.04，IE熵值增加了0.18，这些数值指标充分验证了本算法的出色去雾效果和稳定性。

关键词

去雾处理; AOD-Net; 注意力机制; 拉普拉斯金字塔; 损失函数

在雾、霾等恶劣天气影响下，空气中存在大量的悬浮颗粒物，使光线在传播过程中产生折射和散射现象，造成观测到的图像颜色偏灰，大量的细节丢失。雾天条件下得到的图像难以辨认特征，严重影响各类依赖光学成像仪器的系统工作，比如：航拍系统、室外监控、智能驾驶、目标识别系统等^[

1-2]。因此，对此类图像去雾确保各系统后续正常运行是一项重要任务。

目前的去雾算法众多，大致可以分为基于传统数字图像处理的去雾法^[

3]和基于深度学习的去雾法2大类。其中，基于传统数字图像处理的方法又可分为2种。一种是基于图像增强的去雾算法，有Land等^{[参考文献 4

百度学术}4]的Retinex算法、直方图均衡化算法^{[参考文献 5

百度学术}5]等。此类方法通过改变图像的颜色等方式去增强图像效果以降低雾对图像的影响。单尺度的Retinex算法不能完善地处理图像细节，恢复出的图像存在光斑问题。直方图均衡化方法则容易产生曝光，色彩还原失真。这些问题常常通过调整参数以改善去雾效果，不适应实际环境下的去雾。另一种是基于物理模型的去雾算法^{[参考文献 6⁃7}6⁃7]，典型算法有He等^{[参考文献 7

百度学术}7]提出的暗通道先验去雾算法，该算法分析总结了雾天成像的物理模型，通过模型推导得出去雾后的图像。暗通道先验对大气光的计算精度波动较大，在细化透射率的过程中存在严重耗时的问题。同时，暗通道先验方法在处理天空区域时存在块状偏色效应^{[参考文献 8

百度学术}8]，难以应用于实际场景。由此可见，基于传统数字图像处理的去雾算法需要针对不同的雾天图片调整参数，否则会造成部分复原图像效果失真，缺少鲁棒性。

随着发展，深度学习逐渐应用于图像去雾领域，相较于传统图像处理的方法，该方法具备更强的鲁棒性，适应各种场景的雾天图像恢复。基于深度学习的去雾算法也可以分为两类，一类是用深度学习生成大气散射模型所需要的参数，再通过该模型和训练出的参数恢复清晰图像的去雾算法，比如Cai等^[

9]提出的Dehaze-Net去雾算法。另一类是根据清晰图与原图的关系，通过卷积神经网络直接从模糊图像生成清晰图像的方法。例如Qin等^{[参考文献 10

百度学术}10]提出的去雾网络FFA-Net以及Li等^{[参考文献 11

百度学术}11]提出的AOD-Net，其中，AOD-Net通过卷积神经网络学习图像的全局和局部特征，直接从模糊图像生成清晰图像从而去除雾霾。基于深度学习的方法能做到还原大部分场景的雾天图像，但受特征提取能力影响，会造成部分细节的缺失。

基于图像增强的方法效果显著，但由于复杂的去雾环境，恢复出来的颜色与真实色彩差异较大。基于物理模型的方法能去除大部分的雾气，但是受环境影响较大，常出现还原效果失真等现象。因此，选取基于物理模型的深度学习方法，对模型进行改进以还原更好的细节与色彩。在众多深度学习去雾模型中，AOD-Net的网络结构轻巧,同时相较于传统的数字图像处理去雾方法更稳定，适合与图像检测、识别等其他高级深度模型进行无缝衔接，具有较大研究价值。由于AOD-Net网络层数较浅，导致特征提取能力较弱，去雾后效果一般，细节还原较弱。针对以上问题，算法对AOD-Net进行3方面的改进。主要工作如下：

1)利用注意力机制在深度学习的任务中有优秀的效果与即插即用的便利性^[

12]，在AOD-Net的基础上加入SPA^{[参考文献 13

百度学术}13]注意力机制，该注意力机制能结合空间与通道上不同像素位置的权重信息，并对特征图进行自适应更新，进一步细化特征，减少网络对重复特征的提取。

2)将AOD-Net的特征提取模块改进成拉普拉斯型金字塔型结构^[

14]，使模型能够提取不同尺度的特征图信息，强化特征提取的同时保留了采样过程中丢失的高频信息。

3)将原网络的MSE损失函数替换为MS-SSIM+L1损失函数^[

15]，使模型更好保留图像的结构及色彩特征，恢复出更符合人眼直观感受的图片。

1 去雾原理及算法

雾天图像的形成主要考虑光的散射和衰减，其中大气散射模型是描述雾、霾等图像生成最经典的模型。

1.1 大气散射模型

大气散射模型由大气散射理论发展而来，于McCartney^[

16]正式提出。该模型分析捕获到的图像，根据光的散射作用和大气光学模型将获取图像的过程进行建模，得出雾天图像和无雾图像的关系。大气散射模型的数学公式可以用式（1）表示

I (x) = J (x) t (x) + A (1 - t (x))

，

（1）

式中： $I (x)$ 为相机采集到的雾天图像； $J (x)$ 为待恢复的干净图像； $t (x)$ 为传输函数； $A$ 为大气光值； $t (x)$ 公式如下

t (x) = e^{- β d (x, y)}

，

（2）

式中： $β$ 为大气散射系数； $d (x, y)$ 为场景深度。从大气散射模型可以推出去雾后恢复图像的公式，如公式(3)所示

J (x) = \frac{1}{t (x)} t (x) - A \frac{1}{t (x)} + A

，

（3）

在基于物理模型的去雾算法中，估计出原始图像的全局大气光成分 $A$ 和传输函数 $t (x)$ 就可以得到去雾图片。这种方法间接优化了 $J (x)$ 上的误差，导致去雾图像产生次优解。

1.2 AOD-Net算法

AOD-Net的核心思想是将 $t (x)$ 和 $A$ 2个参数统一为一个公式，并利用多尺度特征融合网络得到所需的 $K (x)$ 参数，最终通过简化后的大气散射模型恢复无雾图像。这种方式能直接从有雾图像得到去雾后的图像，最小化恢复过程中产生的误差。

公式（3）变形得到简化后的待恢复图像表达式如公式（4）所示

I (x) = K (x) I (x) - K (x) + b

，

（4）

公式（4）中b是常数偏置，默认为1。其中，大气光值 $A$ 和透射矩阵 $t (x)$ 合并出的未知数值 $K (x)$ ，可以用公式(5)表示

K (x) = \frac{I (x) - A + (A - b) t (x)}{t (x) (I (x) - 1)}

。

（5）

AOD-Net的网络结构如图1所示。

图1 AOD-Net网络结构图

Fig. 1 AOD-Net network structure diagram

2 改进的AOD-Net网络模型

AOD-Net算法对图像的纹理细节等特征的恢复效果较差。本算法采取增加注意力机制，更改特征提取网络结构与更换损失函数3种方式，加强网络的去雾能力。

2.1 增加注意力模块

传统SE(squeeze-and-excitation)注意力机制仅注重通道方面的权重，得到的特征缺少结构信息^[

17]。Spanet采取空间金字塔型结构搭建注意力机制模型，基于SE注意力机制对通道特征的处理方式，空间金字塔模型使特征提取过程中更能注意到空间上的有效信息，极大提高了特征提取能力，并且不会产生过多的计算量。空间金字塔型注意力机制（spatial pyramid attention，SPA）的结构流程图如图2所示。其中，

X 、 X_{1} 、 X_{2} 、 X_{3}

指的是特征图，

Q 、 Q_{1} 、 Q_{2}

指的是得到的权重矩阵，D表示通道数，B表示每批次样本数量、W、H表示特征图的宽度与高度。

图2 SPA注意力机制图

Fig. 2 SPA attention mechanism diagram

SPA注意力机制的主要流程包含以下3个步骤：

1) 输入的特征图分别进行各个尺度的自适应平均池化，生成宽和高为(1×1)(2×2)(4×4) 3个尺度的特征图。公式如下所示

F_{1} = A A P (X, 1)

，

（6）

F_{2} = A A P (X, 2)

，

（7）

F_{3} = A A P (X, 3)

，

（8）

式中： $A A P$ 代表自适应平均池化操作；X代表输入的特征图。

2) 将3个尺度的特征图进行Resize操作，使原本的4维张量变成长宽为B和D×X×W的二维张量并拼接。公式如下

X_{3} = C A T (R (F_{1}), R (F_{2}), R (F_{3}))

，

（9）

其中： $C A T$ 表示拼接操作；R表示Resize操作。

3) 拼接后的张量输入全连接层得到权重 $Q$ ₁，再由RELU激活函数和全连接层进行转换，得到和原通道数一致的权重 $Q$ ₂。公式如下所示

Q_{2} = F C (R E L U (F C (X_{3})))

，

（10）

其中，FC表示全连接层。最后通过Sigmoid激活函数得到最终权重 $Q$ 。将权重 $Q$ 乘以原始的特征图X。最终的输出值Y就是加上空间与通道信息权重信息的特征图。公式如下所示

Y = X \times R (S i g m o i d (Q_{2}))

，

（11）

将SPA注意力机制放在网络最初始的位置，帮助模型早期的特征提取能专注筛选有效信息。改进后的AOD-Net网络结构如图3所示。

图3 加入SPA注意力机制图

Fig. 3 Incorporating the SPA attention mechanism diagram

2.2 构建拉普拉斯特征金字塔网络结构

原网络的特征提取结构为单尺度结构，对图片特征提取能力较弱^[

18]，故将特征提取网络改为多尺度结构。拉普拉斯金字塔通过不断对图像进行高斯金字塔降采样和差分操作，有效分离和保留图像在不同尺度下的边缘、纹理等细节信息，这些高频信息对于图像去雾过程中的细节恢复尤为重要。

因此，本算法将原网络的单尺度结构结合拉普拉斯金字塔模型进行设计，保留了图像在降采样与上采样过程中提取的高频信息，与原网络的单尺度结构训练结果相比，改进后的网络结构能更好地捕获不同尺度的特征以便于恢复图像的细节与纹理信息。

模型大致分为3个步骤，如下所示：

1）首先将输入网络的有雾原图像进行2次下采样，获得相较于原图大小为1/4和1/8的2种尺度图像，分别称为中尺度和低尺度图像。将获得的低尺度图像再进行2次上采样得到模糊的中尺度和原尺度图像，并与原图相减，获得不同尺度图的高频细节信息。最后，估计低尺度有雾图像的 $K (x)$ 值，利用得到的 $K (x)$ 值对该低尺度有雾图像进行去雾处理，得到低尺度的无雾图。

2）将低尺度的无雾图像进行上采样得到中尺度的去雾图，通过通道合并的方式将中尺度的去雾图与中尺度有雾图以及中尺度残差图相加。再对合成后的图像进行 $K (x)$ 值估计，并恢复出去雾后的中尺度图像。

3）最后将去雾后的中尺度图像重复步骤二操作，得到与原图大小一致的去雾图。模型网络结构如图4所示。

图4 拉普拉斯金字塔型特征提取网络结构

Fig. 4 Laplacian pyramid feature extraction network structure diagram

2.3 更改损失函数

损失函数是用来计算真实数据与模型预测数据偏差的函数。常见的损失函数有L₁损失函数、L₂损失函数和SSIM损失函数等。

L₂损失函数，指预测值与真实值之差的平方之和，公式如下所示

L_{2} = \sum_{i = 1}^{n} {(y_{i} - y_{i}^{P})}^{2}

，

（12）

式（12）中： $y_{i}$ 表示图像的真实值； $y_{i}^{P}$ 表示图像的预测值， $n$ 代表样本数。将L₂损失函数除以样本数可以得到均方误差(mean square error, MSE)损失函数，其公式如下

M S E = \frac{L_{2}}{n}

，

（13）

MSE损失函数具有连续可导、曲线光滑的特点。但是MSE通常会给予误差值极高的惩罚，使得离群点对其他正常数据的预测效果造成影响。

L₁损失函数，指预测值与真实值之差的绝对值之和，公式如下

L_{1} = \sum_{i = 1}^{n} |y_{i} - y_{i}^{P}|

，

（14）

将L₁损失除以样本数，得到平均绝对值误差 (mean absolute error, MAE)损失函数，公式如下

M S E = \frac{L_{1}}{n}

，

（15）

MAE对离群数据的处理不变，相对于MSE更具有稳健性，而MSE相比于MAE收敛速度更快。

原网络使用的MSE损失函数仅针对像素级别的损失进行计算，去雾图像的视觉特征和结构特征还原效果不好。而SSIM损失函数则从真实值与预测值的亮度、对比度和结构出发，帮助预测值更能贴近人类的视觉感受。假设有2张图像 $x$ 和 $y$ ，其结构相似性公式如下构成，其中，亮度比较公式

L = l (x, y) = \frac{2 μ_{x} μ_{y} + C_{1}}{μ_{x}^{2} + μ_{y}^{2} + C_{1}}

，

（16）

对比度比较公式

C = c (x, y) = \frac{2 σ_{x} σ_{y} + C_{2}}{σ_{x}^{2} + σ_{y}^{2} + C_{2}}

，

（17）

结构比较公式

S = s (x, y) = \frac{2 σ_{x y} + C_{3}}{σ_{x} σ_{y} + C_{3}}

，

（18）

结构相似性就是上述3个公式的乘积，公式如下所示

S S I M = L^{α} \cdot C^{β} \cdot S^{γ}

，

（19）

式中： $α$ 、 $β$ 、 $γ > 0$ ，用于调整3个部分的重要程度； $μ_{x}$ 、 $μ_{y}$ 表示给定的2幅图像的平均灰度； $σ_{x}$ 、 $σ_{y}$ 表示2幅图像的标准差； $C_{1}$ 、 $C_{2}$ 、 $C_{3}$ 是常数；SSIM函数的范围是 $[0,1]$ ，当值越靠近1，说明恢复效果越好。

因此，SSIM损失函数公式如下

L^{S S I M} (p) = 1 - S S I M (\tilde{p})

，

（20）

式中， $\tilde{p}$ 表示中心点的像素，p表示当前像素。

相较于SSIM损失函数，多尺度的SSIM损失函数能针对不同分辨率的图像保持稳定性能。在计算过程中对图片进行多次下采样，最终将各个尺度的计算结果连接得出损失值，其公式如下^[

19]

M S - S S I M (p) = {[L_{M} (x, y)]}^{α_{M}} \cdot N \cdot (p) ，

（21）

N = \prod_{j = 1}^{M} {[C_{j} (x, y)]}^{β_{j}} {[S_{j} (x, y)]}^{γ_{j}}

，

（22）

式中： $M$ 表示最高尺度； $j$ 表示除了最高尺度外的其他尺度； $α 、 β 、 γ$ 用来调整权重。MS-SSIM的损失函数公式如下

L^{M S - S S I M} (p) = 1 - M S - S S I M (\tilde{p})

。

（23）

MS-SSIM能够保持更多的高频信息，但是会导致目标预测值的亮度与颜色与图片产生偏差，加入L₁损失函数则可以使恢复出来的图像保持亮度和颜色特征。公式如下

L^{M i x} = δ \cdot L^{M S - S S I M} + (1 - δ) \cdot G_{σ} \cdot L^{l_{1}}

，

（24）

式中： $δ$ 被文献[

15]设定为0.84；

G_{σ}

是高斯分布的参数。

本方案选取MS-SSIM+L₁组合损失函数替换原网络的损失函数，使去雾恢复后的图像更加符合人类的视觉感受。

3 实验结果及分析

3.1 网络参数及实验环境设置

本实验基于pytorch框架实现，操作系统是Ubuntu 20.04，开发语言选择python3.8。训练时所使用到的GPU型号为GeFroce RTX 3090ti，显存容量为24 GB。网络初始学习率设置为0.001，使用Adam优化器。

数据集选择公开数据集RESIDE中的OTS（outdoor training set）数据集，该数据集由北京户外真实天气图组成。将该数据集按0.9:0.1的比例划分为训练集与测试集。在测试阶段将改进后训练出的模型与具有代表性的去雾算法进行比较^[

20]，其中包括暗通道先验算法 (dark channel prior，DCP)、直方图均衡化算法 (histogram equalization，HE)、AOD-Net、DehazeNet以及FFA-Net。

3.2 实验结果分析

3.2.1 评价方式

为了评估本方法的去雾水平，选取定性可视化分析与定量评估2种评价方式对去雾后的图像进行分析。定量评估方法使用合成的雾天图像进行去雾，再与无雾的原图进行对比实验。定性可视化分析则选取自然条件下的雾天图像用各方法去雾，靠人眼判断恢复效果好坏，并借助2种无参考评价标准辅助评价去雾效果。

研究采取的图像去雾模型评价指标有4种，其中信息熵与雾气密度估计器为无参考图像质量评价标准，如下所示

1）信息熵（information entropy，IE）

信息熵能将图像的信进行量化表示，1幅图像的信息熵值越大，说明图像所带来的信息越多，进而表示去雾效果越好。公式如下

E = - \sum_{i = 0}^{M} p_{i} l o g_{2} p_{i}

，

（25）

其中： $p_{i}$ 是灰度级的概率密度； $M$ 是图像的最大灰度级。

2）峰值信噪比（peak signal to noise ratio，PSNR）

峰值信噪比将均方误差转换成了信号处理的分贝表达形式，峰值信噪比的值越大，则图像恢复质量越好^[

21]。公式表达如下

P S N R = 10 l o g_{10} \frac{L^{2}}{M S E}

，

（26）

其中： $L$ 是等级数，通常为255；MSE是指预测图与原始图的均方误差。

3）结构相似性（structural similarity, SSIM）

结构相似性计算预测图与原始图在各个区域上的差异，SSIM值越大则还原效果越好，SSIM的值在0~1之间^[

22]。

4）雾密度估计器（fog aware density evaluator, FADE）

该方法通过计算图像中各个像素点的颜色差异以估计雾霾的程度。FADE值越低，说明图像中的雾气越少^[

23]。

3.2.2 定性可视化分析结果

本方法选取不同自然雾天场景图片进行去雾，分别为远景浓雾、近景薄雾，人像薄雾以及雾气分布不匀这4种典型有雾图进行效果评估，如图5所示。

图5 真实雾天条件下的去雾结果

Fig. 5 Dehazing results under real fog conditions

尽管暗通道先验方法还原效果较好，但是存在天空区域失真，天空与非天空区域出现色彩失真等现象。直方图均衡化的方法在还原雾气浓度与深度较浅的图像时效果较好，但是在还原远景有雾的图像时会造成色彩偏差过大，失去细节等问题，以及还原出人物脸部出现模糊以及颜色偏深的现象。DehazeNet还原的雾天图像能去除大多数雾气，但是还原后图像偏暗，细节损失严重。FFA-Net算法在真实有雾的测试图片上表现很差，几乎不能去除大部分雾气。AOD-Net原网络的去雾效果良好，但是远景有部分雾未去掉，细节还原不够丰富。改进后的算法能在AOD-Net基础上保留细节，去除远景的雾气能力提升，同时色彩自然更符合人眼对图像的观感，相较于以上算法在各个场景去除雾气的能力更具鲁棒性，且还原出的图片视觉效果更符合人眼的感受。

图6展示的是在合成数据集上不同算法的去雾程度，相较于其他的对比算法，本算法在细节还原，对比度、结构和色彩保留程度以及雾气消退指数中有较好的视觉效果。传统方法如DCP、HE算法去雾程度强，但是对颜色的保留能力较弱，天空区域容易出现颜色失真，对比度过强，部分区域曝光等问题，影响整体效果；深度学习算法如DehazeNet算法，FFANet算法去雾效果不错，但是由于其过拟合训练集的合成雾效果，在真实有雾图像中表现不佳，效果不如本算法稳定；相较于原网络AOD-Net，本算法去雾效果更佳，还原细节更多，且色彩在保留原始颜色的同时更为鲜艳，符合人眼观感。

图6 合成雾天条件下的去雾结果

Fig. 6 Dehazing results under synthetic fog conditions

尽管从定性可视化分析视角评估，基于暗通道先验的方法在去除图像雾气方面展现出了更深的去雾效果。然而，如图5（b）所示，该方法在处理天空区域时引入了明显的光晕现象，同时在船只边缘及周围区域产生了伪影，导致去雾后的图像色彩显得不自然且失真。在图6（c）中，天空与非天空区域的连接处颜色失真，出现光晕，这是暗通道先验法难以识别大气光与天空区域的区别导致。相比之下，研究提出的方法虽然在去雾程度上略显保守，但其去雾效果更为稳定，且能够保持更自然的色彩表现，这对于适应多种复杂场景下的图像去雾任务而言，具有更高的适用性。

3.2.3 定量评估结果

定量评估是指通过测量去雾后的图片与原图片的各项数值比较去雾效果。如图7 所示，选取图5中近景薄雾以及人像薄雾等图像在各个方法下的IE值以及FADE值做出对比曲线，并将每种数值表现最好的前3名数值使用橙色方框标注显示。可以看出本算法的2种无参考评价指标稳定在前3，人眼观测去雾效果最好，不会出现颜色失真，细节模糊等现象。从2张图的数值可以看出，本算法相对原网络FADE值更低，说明本算法的模型去雾能力得到提升，IE值均有增加，证明改进后的算法能够还原更多细节。而FADE值最低的算法恢复出的图片IE值低于本算法，在去雾的同时损失了图像的细节。

图7 近景薄雾以及人像薄雾在各个方法下的IE以及FADE值对比曲线图

Fig. 7 Comparison curves of IE and FADE values for close-range fog and portrait fog under various methods

综上所述，本算法去雾能力更好且更具鲁棒性。表1中标注的（1）（2）代表各项指标中最好的2种去雾方法。从合成数据集上的定量评估结果来看，FFA-Net方法性能表现尤为突出，在量化指标上取得了显著优势。然而，尽管FFA-Net在合成数据上表现出色，但当应用于真实雾天图片时，效果却出现了明显下滑。这可能是由于合成数据集与真实环境之间存在较大差异，导致模型在泛化能力上受到了一定限制。另一方面，直方图均衡化方法虽然在IE指标上取得了较高分数，但从定性可视化分析的角度来看，直方图均衡化方法在处理后的图片中产生了明显的色彩失真，使图片的整体视觉效果大打折扣。因此，尽管该方法在某一特定指标上表现出色，但在实际应用中却难以得到广泛认可。

表1 合成雾数据集平均评价结果

Table 1 Average evaluation results of synthetic fog dataset

Method	IE	PSNR/dB	SSIM
DCP	7.38	18.73	0.88
HIST	7.75(1)	17.56	0.81
DehazeNet	7.41	19.20	0.82
FFA-Net	7.41	30.53(1)	0.97(1)
AOD-Net	7.41	18.94	0.84
Ours	7.59(2)	21.49(2)	0.89(2)

注：加粗数据表示在合成雾数据集中，IE、PSNR和SSIM 3种指标中表现最优的参数，其中（1）（2）分别表示最优的2种方法。

本方法在去除合成雾的效果上均能排名前2，效果最为稳定，且在可视化表现上优秀。改进后的算法增加了细节保留能力以及颜色还原能力，在去除雾霾的同时能够最大限度保留图像的原始信息。因此，无论是在定量分析指标还是在定性可视化分析上，本算法都展现出了优越性能。

综上所述，本算法在去雾能力方面具有显著优势，不仅在量化指标上表现出色，而且在实际应用中也能够获得满意的效果。

3.2.4 3种改进的消融实验

为了验证AOD-Net网络中不同改进的有效性，在合成数据集上进行消融实验。实验展示了改进后的算法在颜色保留能力和细节还原能力上显著提升，通过具体量化指标进一步证明了本算法在图像恢复方面的优势。改进后的算法相比于原网络在颜色保留能力与去雾能力上有较大提升，IE值增加0.11，PSNR增加3.67 dB,SSIM增加0.06。说明本算法相较于原网络恢复出的图像细节更丰富，结构与原图更为相似。实验证明3种改进都对网络性能有不同的提升效果，验证了本算法在去雾任务上的稳定性和有效性。3种改进的数值如表2所示。

表2 消融实验

Table 2 Ablation experiment

改进算法	IE	PSNR/dB	SSIM
Unchanged	7.34	17.55	0.84
MS-SSIM+L1	7.34	17.44	0.85
Laplace	7.46	19.61	0.86
Spa	7.42	18.88	0.88
Laplace+spa+MS-SSIM+L1	7.45	21.22	0.90

注：加粗数据表示在消融实验中IE、PSNR和SSIM 3种指标中表现最优的参数。

4 结束语

研究提出了一种基于AOD-Net的去雾方法，通过添加SPA注意力机制，使网络获取不同尺度的特征注意力。其次，改变特征提取网络结构为拉普拉斯金字塔型，提高网络保留细节的能力。最后，将损失函数更换为MS-SSIM+L₁混合损失函数，增强了网络对颜色及结构的保留能力。

经过与多种算法进行定性可视化分析与定量评估的比较，证明改进后的AOD-Net算法性能稳定，去雾效果更加符合人眼观感。由于算法改进后参数量高于原网络，导致模型的运行速度略慢于原始网络。因此，下一步的工作是继续优化模型，减少不必要的参数达到性能的提升。

参考文献

吴迪, 朱青松. 图像去雾的最新研究进展[J]. 自动化学报, 2015, 41(2): 221-239. [百度学术]

Wu D, Zhu Q S. The latest research progress of image dehazing[J]. Acta Automatica Sinica, 2015, 41(2): 221-239. (in Chinese) [百度学术]

郭璠, 蔡自兴, 谢斌, 等. 图像去雾技术研究综述与展望[J]. 计算机应用, 2010, 30(9): 2417-2421. [百度学术]

Guo F, Cai Z X, Xie B, et al. Review and prospect of image dehazing techniques[J]. Journal of Computer Applications, 2010, 30(9): 2417-2421. (in Chinese) [百度学术]

禹晶, 徐东彬, 廖庆敏. 图像去雾技术研究进展[J]. 中国图象图形学报, 2011, 16(9): 1561-1576. [百度学术]

Yu J, Xu D B, Liao Q M. Image defogging:a survey[J]. Journal of Image and Graphics, 2011, 16(9): 1561-1576. (in Chinese) [百度学术]

Land E H, McCann J J. Lightness and retinex theory [J]. Journal of the Optical Society of America, 1971, 61(1): 1-11. [百度学术]

祝培, 朱虹, 钱学明, 等. 一种有雾天气图像景物影像的清晰化方法[J]. 中国图象图形学报, 2004, 9(1): 124-128. [百度学术]

Zhu P, Zhu H, Qian X M, et al. An image clearness method for fog[J]. Journal of Image and Graphics, 2004, 9(1): 124-128. (in Chinese) [百度学术]

禹晶, 李大鹏, 廖庆敏. 基于物理模型的快速单幅图像去雾方法[J]. 自动化学报, 2011, 37(2): 143-149. [百度学术]

Yu J, Li D P, Liao Q M. Physics-based fast single image fog removal[J]. Acta Automatica Sinica, 2011, 37(2): 143-149. (in Chinese) [百度学术]

He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353. [百度学术]

梅英杰, 宁媛, 陈进军. 融合暗通道先验和MSRCR的分块调节图像增强算法[J]. 光子学报, 2019, 48(7): 124-135. [百度学术]

Mei Y J, Ning Y, Chen J J. Block-adjusted image enhancement algorithm combining dark channel prior with MSRCR[J]. Acta Photonics Sinica, 2019, 48(7): 124-135. (in Chinese) [百度学术]

Cai B, Xu X, Jia K, et al. Dehazenet: an end-to-end system for single image haze removal[J]. IEEE transactions on image processing, 2016, 25(11): 5187-5198. [百度学术]

Qin X, Wang Z, Bai Y, et al. FFA-Net: feature fusion attention network for single image dehazing[C]//AAAI conference on artificial intelligence. Palo Alto, California USA: AAAI, 2020, 34(7): 11908-11915. [百度学术]

Li B, Peng X, Wang Z, et al. Aod-net: all-in-one dehazing network[C]//IEEE international conference on computer vision. Venice, Italy: IEEE, 2017: 4770-4778. [百度学术]

张宸嘉, 朱磊, 俞璐. 卷积神经网络中的注意力机制综述[J]. 计算机工程与应用, 2021, 57(20): 64-72. [百度学术]

Zhang C J, Zhu L, Yu L. Review and analysis of image defogging algorithm[J]. Computer Engineering and Applications, 2021, 57(20): 64-72. (in Chinese) [百度学术]

Guo J, Ma X, Sansom A, et al. Spanet: spatial pyramid attention network for enhanced image recognition[C]//2020 IEEE International Conference on Multimedia and Expo (ICME). London, United Kingdom: IEEE, 2020: 1-6. [百度学术]

Lai W S, Huang J B, Ahuja N, et al. Deep laplacian pyramid networks for fast and accurate super-resolution[C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017: 624-632. [百度学术]

Zhao H, Gallo O, Frosio I, et al. Loss functions for image restoration with neural networks[J]. IEEE Transactions on Computational Imaging, 2016, 3(1): 47-57. [百度学术]

McCartney E J. Optics of the atmosphere: scattering by molecules and particles[J]. Physics Today, 1977, 30(5): 76. [百度学术]

Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018: 7132-7141. [百度学术]

李永福, 崔恒奇, 朱浩, 等. 一种基于改进AOD-Net的航拍图像去雾算法[J]. 自动化学报, 2022, 48(6): 1543-1559. [百度学术]

Li Y F, Cui H Q, Zhu H, et al. A defogging algorithm for aerial image with improved AOD-Net[J]. Acta Automatica, 2022, 48(6): 1543-1559. (in Chinese) [百度学术]

Wang Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment[C]//37th Asilomar Conference on Signals, Systems & Computers. Pacific Grove, CA, USA: IEEE, 2003, 2: 1398-1402. [百度学术]

王道累, 张天宇. 图像去雾算法的综述及分析[J]. 图学学报, 2020, 41(6): 861-870. [百度学术]

Wang D L, Zhang T Y. Review and analysis of image defogging algorithm[J]. Journal of Graphics, 2020, 41(6): 861-870. (in Chinese) [百度学术]

Hore A, Ziou D. Image quality metrics: PSNR vs. SSIM[C]//2010 20th International Conference on Pattern Recognition. NW Washington, DC, United States: IEEE, 2010: 2366-2369. [百度学术]

Sara U, Akter M, Uddin M S. Image quality assessment through FSIM, SSIM, MSE and PSNR: a comparative study[J]. Journal of Computer and Communications, 2019, 7(3): 8-18. [百度学术]

Choi L K, You J, Bovik A C. Referenceless prediction of perceptual fog density and perceptual image defogging[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3888-3901. [百度学术]

Home