模拟具有夜间视觉的动物实现正常的活动，一直是人类追求的目标。由于环境照度和成像系统的影响，低照度图像具有灰度值集中，对比度小，信噪比低等特征，视觉效果黑暗模糊^[1]。目前针对低照度图像的研究主要在图像输入输出端改善，如通过硬件像增强和小波变换的方法实现降噪滤波，提高信噪比^[2]。而软件算法仍采用常规增强方法，如灰度变换和直方图均衡化，具有不确定性的问题。Land等人提出了一种Retinex理论，后来发展了用于改善光源非均匀，灰度集中的图像对比度和像质的新技术^[3]。以上方法基于图像整体特征作处理，对于低照度图像的增强效果不明显，也不能有效的实现图像的整体和局部同时增强^[4]。近年来有文献提出利用图像的灰度特征和空间信息的相关性，结合人类视觉特性提出了图像增强的改进方法^[5]，但鲜有关于此类图像增强的质量评价模型的报道。

由于人类视觉对比度分辨率限制，人眼在低照度环境下难以清晰的看清景物和目标。如能对人类视觉的低对比度分辨率进行补偿，则可显著提高人类在暗视觉条件下的分辨能力。提出一种非线性对比度分辨率补偿方法，弥补人在低照度下的视觉对比度分辨率限制，在降噪处理的基础上使得图像光照均匀，亮度适中，更适合人眼观察。为了实现图像的有效增强，充分发挥人类视觉对图像认知功能，建立了一种基于人类视觉特性的无参客观图像质量评价模型^[6]，既有效的量化了图像质量评价的客观标准，又实现了自然图像依赖于人的主观价值。

1 视觉建模

图像质量评价的目标是得到与人类视觉感知相一致的结果。原始图像通常无法获取或者依赖参考图像做出合理的评价，而且主观图像质量评价指标标准不统一，开销大，费时，不适合于实时系统^[7]。因此在嵌入式系统中，无参客观图像质量评价(no reference image quality assessment, NR-IQA)成为主要的研究方向。目前结合人类视觉系统(HVS)特性的客观图像质量评价方法比较多，它依据人的视觉、心理特性，充分发掘视觉认知功能，把主观与客观评价方法有机结合起来。因而基于HVS的图像质量评价方法更能揭示人类视觉感知的原理。

在评价图像质量时，一幅图像应具备一些基本特征可测的物理量。通常认为，图像是否存在主观价值取决于图像含信息量多少，量化指标为信息熵；图像能否充分被视觉认识取决于图像的灰度分布，量化指标为图像灰度水平和对比度。基于以上主观认知实验，遴选了这些特征量构成客观图像质量评价参数，其模型计算如下

1.1 信息熵

图像中含灰度级信息越丰富，质量越好。图像的熵反映为图像中各个灰度值的客观信息量大小。理想的自然图像具有灰度级均匀分布的特点。采用信息熵(information entropy，IE)来描述客观图像的信息量

$ IE = - \sum\limits_{i = 0}^{255} {{p_i}{{\log }_2}{p_i}\left( {bt} \right)} , $

(1)

式中p(i)表示第i灰度级上像素数的概率。具有均匀分布直方图的图像具有最大的信息熵值8，仅具有一个灰度/色度值的图像即单色图像的信息熵最小为0。

1.2 平均灰度

人眼主观认为灰度值集中在0或者255附近的图像效果不好。因此图像的好质量与适当的亮度(灰度值)相联系。用平均灰度(average gary，AG)计算图像的亮度水平

$ AG = \frac{1}{{M \times N}}\sum\limits_{n = 0}^{N - 1} {\sum\limits_{m = 0}^{M - 1} {{\rm{Gray}}\left( {m,n} \right)} } , $

(2)

式中AG表示平均灰度。Gray(m，n)为像素点(m，n)的灰度，M，N分别为图像行列像素点数。在理想的自然图像中，灰度谱是连续均匀分布的。均匀分布形成0到255的自然数序列，按公差为1的等差序列计算得到最佳认知灰度(optimum perception gray，OPG)为

$ {\rm{OPG}} = \frac{1}{{M \times N}}\sum\limits_{i = 0}^{255} i \times \frac{{M \times N}}{{256}} = 127.5, $

(3)

平均灰度与OPG差值越大，图像质量越差。定义平均灰度与OPG的归一化相对灰度距离(normalized gray distance，NGD)为

$ {\rm{NGD}} = \left\{ {\begin{array}{*{20}{c}} {\frac{{AG}}{{{\rm{OPG}}}},AG \le {\rm{OPG}}}\\ {1 - \frac{{AG - {\rm{OPG}}}}{{255 - {\rm{OPG}}}},AG > {\rm{OPG}}} \end{array}} \right., $

(4)

式中NGD描述AG的相对OPG的偏离值。NGD等于1取得最佳认知平均灰度值，偏离1越大，则认为图像质量越差。

1.3 平均对比度

视觉感知的基础是图像。对比度反映了图像的重要信息。对于人类视觉系统来说，显然一幅单色图像是没有实用研究价值的。在灰度图像中，通常采用的是Weber和Michelson的对比度定义，但是当背景强度为0具有不确定性，而且不适用于暗视觉下的图像对比度。本课题论及的对比度，是图像中的某点与相邻点的灰度/色度差异，为区别分时对比度，特别称为同时对比度(simultaneous contract)，这里引用文献[8]关于对比度的定义

$ C\left( {x,y} \right) = \left| {g\left( {{x_a},{y_a}} \right) - g\left( {{x_b},{y_b}} \right)} \right|, $

(5)

式中C(x，y)表示同时对比度，g(x_a，y_a)和g(x_b，y_b)分别表示目标和背景灰度，根据现代计算机技术的图像灰度的数字化表示，g(x_a，y_a)和g(x_b，y_b)分别表示图像相邻像素点的灰度值，取值范围为[0, 255]。用该对比度定义描述图像的平均对比度(average contrast, AC)

$ \begin{array}{*{20}{c}} {AC = \frac{1}{{M \times \left( {N - 1} \right)}}\sum\limits_{y = 0}^{N\sum 2 } {\sum\limits_{x = 0}^{M - 1} {\left| {{\rm{Gray}}\left( {x,y} \right) - } \right.} } }\\ {\left. {{\rm{Gray}}\left( {x + 1,y} \right)} \right|,} \end{array} $

(6)

式中，Gray(x，y)为像素点(x，y)的灰度。M，N为x，y方向的像素数。图像灰度和对比度大小同时影响了图像的可见度和清晰度。在一幅低照度背景的图像中，虽然图像熵的信息丰富，但是灰度级整体分布处于暗视觉范围内。如图 1，灰度谱分布表明暗视觉图像具有灰度级低和灰度谱集中的特点。这类图像虽然有用，但不能被充分感知。

以上客观物理量构成了图像质量评价3参数。由此建立以信息量，平均灰度，平均对比度3个物理量作为无参图像质量评价的量化模型。

2 无参图像质量评价综合函数 2.1 对比度分辨率补偿

由于图像的最终接受者是人，所以在评价图像质量时应考虑人类视觉系统(HVS)特性。由于HVS非常复杂，目前还无法根据生理和心理特性得到精确的计算模型，这里引用了JND的概念，即对比度分辨率，它采用了人类视觉分辨能力的生理和心理物理学基本原理^[9]。JND表示人类视觉所能分辨的一幅图像的最小灰度差异，它是物理可测的心理物理量，与环境亮度有关。JND适合于心理对比度测量，也能够反映对比度的物理变化趋势，即在高背景灰度上对比度高，低背景灰度上对比度低。

人眼对跃变信息的感知能力随局部背景亮度和空间复杂度的变化而变化, 即人眼视觉感知具有亮度阈值效应和空间频率掩盖效应^[10]。研究结果表明，人类视觉在不同亮度背景范围JND特性不同^[11-12]，实验测定对比度分辨率(contrast resolution，CR)随背景灰度变化的函数为

$ Y\left( x \right) = \left\{ \begin{array}{l} 22.98{{\rm{e}}^{ - 0.057x}},0 \le x \le 47;\\ 2.1298 - 0.01376x + 4.851 \times {10^{ - 5}}{x^2},47 \le x \le 255。\end{array} \right. $

(7)

式中Y(x)表示人类视觉对比度分辨率；x表示背景灰度。对于[0, 255]灰度级的图像，定义灰度值在0≤x≤47范围内为暗视觉，灰度值在64≤x≤255范围内为明视觉。公式(7)表明人类视觉对比度分辨率对明视觉和暗视觉是不同的，且均为非线性关系。

在暗视觉范围内，如果图像对比度没有达到该背景灰度下的恰可分辨(just noticeable difference, JND)，人类也不能看清图像。通过人为补偿对比度分辨率的阈值缺陷，使得暗视觉图像结构变得清晰可见。理论上，如果将灰度差为1的邻级原始灰度差异放大到JND，就可以对视觉分辨率进行补偿。灰度级放大差异越大，对比度越高，图像越清晰。相邻灰度级放大后级差的极值为黑白二值图像，分别为0和255。图 2中，对比度分辨率补偿实现了图 1中原始图像的各相邻灰度级差变大，并超过对比度分辨率阀值；而对于灰度级为0的像素点作补偿，灰度值仍保持不变。因此，补偿的方法不仅实现了灰度值的增强，而且扩大了各灰度级差的动态范围，即[0, 255]。

基于人类视觉系统的JND特性，定义对比度分辨率补偿算法如下

$ TG\left( i \right) = \left\{ \begin{array}{l} Og\left( {x,y} \right),Og\left( {x,y} \right) = 0\\ k\sum\limits_{i = 0}^{Og - 1} {{\rm{JND}}\left( i \right)} ,Og\left( {x,y} \right) > 0 \end{array} \right., $

(8)

式中TG(i)为补偿后目标灰度值，Og(x，y)为原始灰度值，取值范围为[0, 255]。i为背景灰度(在一幅图像中仅具有相对意义)，取值范围为[0，Og(x，y)-1]，k为补偿因子，JND(i)为公式(7)中Y(x)，即背景灰度i上的恰可分辨距离。

经过对比度分辨率补偿后, 如果某点灰度值大于255, 就令其等于255, 如果小于0, 就令其等于0, 否则就会出现补色情况, 本来变亮的地方反而会变暗。因此, 需给式(10)以如下约束条件

$ TG\left( {x,y} \right) = \left\{ \begin{array}{l} 255,TG\left( {x,y} \right) > 255;\\ 0,TG\left( {x,y} \right) < 0。\end{array} \right. $

(9)

从图 1和图 2的灰度谱迁移表明，该算法提高了整个暗视觉图像的灰度和对比度水平，实现了图像灰度的非线性补偿。

2.2 补偿评价模型

对比度分辨率补偿需确定最佳补偿条件，产生最佳无参考图像质量的过程就是实现补偿因子k的自动寻优。基于NR-IQA模型，研究了图像质量评价函数与补偿参数之间的关系。

以补偿参数k为自变量建立客观图像质量评价函数CAF，当该函数取得最大值时，获得最佳补偿条件k_op。对原始图像补偿的程度不同，增强效果明显不同。图 3中(a)为原始图像，图(b)-(d)为不同k值补偿后图像。当选取不同参数对图像各像素点作灰度补偿时，图像质量评价3参数也相应的变化。表 1中数据反映了不同补偿条件下的评价参数。大量实验测试表明，对暗视觉图像作不同深度的补偿，综合评价函数CAF和参数IE, AC, NGD随k变化的规律为

1) 当k取值范围为(0，∞)，AC(k)，NGD(k)和CAF(k)可取得唯一的最大值；除人为加入图像信息，IE(k)不增只减；

2) IE(k)，AC(k)，NGD(k)在不同k值处取得最大值，均呈现凸形曲线分布；

3) 随着k的增大，视觉感知图像质量先逐渐变好，然后又逐渐变差。CAF达到最大值时图像质量h最佳。

质量评价3参数IE(k)，AC(k)和NGD(k)均是关于k的函数，且可用最大值公式表示，3者之积是一最大值函数。特别的当取最优补偿参数k_op，CAF关于k的一阶导数为0。

为了描述这3个参数随不同k值变化的特性，建立无参图像质量综合评价函数

$ {\rm{CAF}}\left( k \right) = I{E^\alpha }\left( k \right) \times A{C^\beta }\left( k \right) \times {\rm{NG}}{{\rm{D}}^\gamma }\left( k \right), $

(10)

式中CAF(k)是以IE，AC和NGD为中间量的客观评价函数。该函数的权值α, β, γ影响了图像质量3参数的综合评价结果，需要由心理物理实验(主观评价)验证。逐渐增大补偿参数k值，不同k值得到不同补偿效果的补偿后图像。在同一幅原始图像补偿处理后的图像集中，人眼观测主观评价选取视觉感受最佳的图像，提取最佳图像质量评价的3个参数IE、AC、NGD，得质量评价函数CAF的值。通过主观感知比较不同权值，基于统计性实验测定结果为α=1，β=1/4, γ=1/2。由此得到函数

$ {\rm{CAF}}\left( k \right) = IE\left( k \right) \times A{C^{\frac{1}{4}}}\left( k \right) \times {\rm{NG}}{{\rm{D}}^{\frac{1}{2}}}\left( k \right), $

(11)

式中CAF(k)是以k为自变量的最大值函数。当CAF(k)取得最大值时，得到的k值是最佳补偿条件k_op，对应的补偿后图像视觉感知效果最好。无参考图像质量评价模型通过机器视觉客观评价图像的质量，这是建立在主观评价实验基础上的，也可以通过主观评价反过来来验证模型的有效性。这里特别指出，研究对象为理想情况下的无噪图像，故未引入噪声因素。

3 实验结果及分析

主观感知是评价图像增强算法有效性的金标准。为了验证方法的有效性，对比分析了图像补偿的视觉效果。图 3中不同k值补偿实现了不同的图像效果，比较图 3中(b)-(d)图可知, 图 3(b)欠补偿使视觉效果差，整体灰度水平偏低，信息熵挖掘未达到最大；图 3(d)过补偿导致花色偏白, 信息熵和平均对比度减少。特别的，当补偿参数k足够大时，右侧的部分灰度级补偿后达到255，导致图像的灰度级数减少。为了获得最佳视觉效果，补偿超过一定程度时，对比度和灰度的增强是以图像信息熵的减少为代价的。

实验选用了大量样本集，对于不同的图像进行客观图像质量评价的参数分析。通过灰度直方图分布和NR-IQA评价参数对算法进行比较，实验分析该模型对于图像补偿结果评价的一致性。在图 4中选用了自然图 4(a)作为原始灰度图，从该图的直方图可知，暗视觉图像含有丰富信息，灰度级集中，对比度小。在保持信息熵不增加的前提下，利用常用的直方图均衡化(global histogram equalization，GHE)方法做简单处理，得到增强后的图像图 4 (b)，该图像各灰度级具有均匀概率分布的特点，信息熵达到最大，灰度级整体水平提升，且对比度大，图像达到可视化。但直方图均衡化算法存在重要细节丢失，局部过亮现象。

为了更全面的测试算法的性能，对比分析了一种针对夜视图像改进的自适应算法。文献[13]提出了一种基于全局直方图均衡和局部对比度增强的混合增强(hybrid enhancement，HE)算法，调整灰度范围的同时也有效地突出了图像细节。但比较图 4(a)和图 4(c)中灰度直方图右侧分布，结合表 2中数据分析发现，混合增强后图像信息熵比原图大，存在人为地引入冗余信息，图像效果为灰白且噪声明显。

由图 4中可知，增强后图 4(b)，图 4(c)，图 4(d)相对原图 4(a)整体亮度得到提升，比较灰度直方图发现，图 4(b)，图 4(d)各灰度级总像素数不变。特别的，补偿超过一定程度会损失部分高灰度级信息(即信息熵)，但是在暗视觉范围内，被动目标通常隐藏在强背景环境中，以信息熵换取整体灰度和对比度是合理的，显然补偿后图像视觉效果明显优于其他两种方法。表 2中参数分析表明，直方图均衡化的方法获得了最大的有效信息熵，但是局部细节表现不如补偿效果(出现“洗白”现象)；混合增强方法改善了局部对比度效果，但是整体亮度和抑制噪声方面表现不如补偿效果。

因此，单纯考虑增强图像的整体灰度水平或局部对比度显然难达到满意的视觉效果。如果充分利用人类视觉特性，并将其融入优化补偿算法中，对于暗视觉图像增强显然更合理，同时也能获得与客观图像质量评价相一致的结果。

4 结论

针对低照度图像的特征，结合人类视觉特性提出了一种基于NR-IQA模型的视觉补偿算法。NR-IQA模型是依靠视觉感知经验建立图像质量综合评价函数，能够使客观评价的结果与主观视觉感知相一致，并符合人类心理认知趋势。结合图像质量评价技术的补偿寻优方法实现图像的快速补偿，具有自适应性和简单实用等特点。与常用图像处理方法不同，非线性的JND补偿方法充分利用了人类视觉特性，提供了一种低照度下人眼感知图像能力增强的途径，可用于图像信息的隐藏和挖掘领域。该算法已经在TI DM642开发平台实现了预期效果。