人脸识别作为一种重要的生物特征识别方法具有独特的优势和广阔的应用前景，受到了学术界的广泛重视，已成为计算机视觉领域最受关注的研究课题之一。目前，主流的人脸识别方法仍然立足于图像的灰度信息，但有研究表明，色彩信息对提高识别性能也有重要意义^[1-2]，近年来逐渐提出了一些彩色人脸识别方法。

目前的彩色人脸识别方法主要有两大类。第一类方法可以认为是传统基于灰度图像方法的扩展，这类方法首先寻找适合表征人脸信息的色彩空间，然后在新的色彩空间中对图像的各个分量提取特征，而特征提取方法基本仍是沿用处理灰度图像的方法，如局部二元模式、Gabor小波变换、离散余弦变换等^[3-6]。第二类方法主要考虑消除彩色图像多个分量之间的相关性，从而最大限度的利用图像的多个分量提供的信息^[7-10]。

在特定条件下，这些方法利用色彩信息能够提高识别精度。然而，它们几乎都忽略了一个在实际应用中无法避免的重要问题，即光照对图像色彩的影响。数码相机拍摄的图像与光照的关系可描述为以下公式^[11]

$ \begin{array}{l} {I_c}\left( x \right) = {w_d}\left( x \right)\int {_\mathit{\Omega }{S_d}\left( {\lambda, x} \right)E\left( \lambda \right){q_c}\left( \lambda \right){\rm{d}}} \lambda + \\ \;\;\;\;\;\;\;\;\;\;\;{{\tilde w}_s}\left( x \right)\int {_\mathit{\Omega }E\left( \lambda \right){q_c}\left( \lambda \right){\rm{d}}\lambda } \end{array} $

(1)

其中:I_c表示RGB彩色图像的c分量; c={R, G, B}; x为空间位置坐标; w_d(x)和${{\tilde w}_s}\left( x \right)$分别为与漫反射和镜面反射有关的参数; S_d(λ, x)是物体的漫反射光谱函数; E(λ)是入射光的光谱能量分布函数; q_c(λ)是相机传感器的光谱响应函数; Ω表示整个可见光谱范围。由式(1)可知，人脸图像呈现出的色彩会受照射在面部的入射光影响，并且由此引起色彩差异可能非常巨大，甚至可能大于不同人脸造成的色彩差异，从而使识别精度下降。前期的研究^[12]也显示了，在较大光照变化下，当前的一些彩色人脸识别方法的性能会急剧下降。

一个可靠的彩色人脸识别系统，必须消除光照对色彩信息的影响。在计算机视觉中，确定入射光源的颜色并消除其对图像色彩的影响称为色彩恒常性(color constancy)。虽然色彩恒常性已有大量研究^{[11, 13-16]}，但目前还几乎没有在人脸识别中的应用。从文献[11]的光强倒数色度空间(inverse-intensity chromaticity space，IICS)色彩恒常性理论出发，笔者提出一种用于人脸识别的分块IICS的光照预处理方法，将图像光照校正为标准白光，消除光照对图像色彩的影响，并将校正后的图像用于人脸识别。本方法首先将图像均匀的分成子块；然后将每个图像块转换为IICS空间中的二维数据集合，并利用数据集在IICS空间中的线性分布特性估计图像块的光照颜色；再将所有图像块的光照估计进行颜色直方图统计，对分块估计的结果进行合并，得到光照估计的最终结果；最后利用对角模型将图像光照校正到标准白光下。AR和FERET人脸库上的实验表明该预处理方法能有效提高彩色人脸识别方法在光照变化条件下的识别率。同时，展示了光照预处理是改善彩色人脸识别性能的一种有效途径。

1 基于分块IICS的光照预处理 1.1 光强倒数色度空间(IICS)

IICS基于式(1)的成像模型，认为：1)空间某一点的光强是物体在该点处的漫反射和镜面反射的线性组合；2)镜面反射光的颜色近似于入射光的颜色^[11]，可以通过确定镜面反射光的颜色来确定入射光的颜色；3)彩色图像的R、G、B 3通道的信息相互独立，估计光照颜色时可对3个通道分别估计。通过一系列转换，式(1)可以写重写为以下形式：

$ {I_c}\left( x \right) = {m_d}\left( x \right){\mathit{\Lambda }_c}\left( x \right) + {m_s}\left( x \right){\mathit{\Gamma }_c}, $

(2)

其中:m_d(x)和m_s(x)分别是包含了光源与反射面几何关系的漫反射和镜面反射参数; Λ_c(x)和Γ_c分别为

$ {\mathit{\Lambda }_c}\left( x \right) = \frac{{{B_c}\left( x \right)}}{{\sum {_i{B_i}\left( x \right)} }}\;\;\;\;i \in \left\{ {R, G, B} \right\}, $

(3)

$ {\mathit{\Gamma }_c} = \frac{G}{{\sum {_i{G_i}} }}\;\;\;i \in \left\{ {R, G, B} \right\}, $

(4)

Λ_c(x)和Γ_c分别被称为漫反射色度和镜面反射色度，在物理意义上分别表示只有漫反射和只有镜面反射时，反射光的颜色。B_c(x)和G_c分别对应于式(1)中关于漫反射和镜面反射的2个积分项

$ {B_c}\left( x \right) = \int {_\mathit{\Omega }{S_d}\left( {\lambda, x} \right)E\left( \lambda \right){q_c}\left( \lambda \right){\rm{d}}} \lambda, $

(5)

$ {G_c} = \int {_\mathit{\Omega }E\left( \lambda \right){q_c}\left( \lambda \right){\rm{d}}\lambda {\rm{, }}} $

(6)

令σ_c(x)=I_c(x)/∑_iI_i(x)，对式(2)进一步推导可得

$ {\sigma _c}\left( x \right) = \left\{ \begin{array}{l} {p_c}\left( x \right)\frac{1}{{\sum {_i{I_i}\left( x \right)} }} + {\mathit{\Gamma }_c}\;\;\;\;\;{m_s}\left( x \right) \ne 0时, \\ {\mathit{\Lambda }_c}\left( x \right)\;\;\;\;\;{m_s}\left( x \right) = 0时; \end{array} \right. $

(7)

其中p_c(x)=m_d(x)(Λ_c(x)-Γ_c)。如果把$\frac{1}{{\sum {_i{I_i}\left( x \right)} }}$视为自变量，把σ_c(x)视为函数值，则式(7)表示一组以p_c(x)为斜率，以Γ_c为截距的直线(由于m_d(x)与入射光和反射面的几何关系有关，m_d(x)可变，因此是一组直线，而非一条直线)，以及一条值为Λ_c(x)的水平直线，如图 1所示。式(7)所描述的$\frac{1}{{\sum {_i{I_i}\left( x \right)} }}$与σ_c(x)之间的关系即为IICS空间。

1.2 基于分块IICS的光照校正

由于镜面反射光的颜色近似于入射光的颜色，计算式(7)中的Γ_c即可得到入射光的颜色。由于一幅实际的图像成像时可能存在多光源的问题，因此不同的图像区域对应的Γ_c应该不同，文献[14]提出了首先利用图像分割算法对图像进行分割，然后在每个分割出的子区域中分别计算Γ_c。文献[14]的方法针对的是自然图像，图像场景较大，光照分布可能很复杂，而人脸图像只包含面部区域，光照分布相对比较简单，因此不使用复杂的图像分割算法，而将图像均匀的分块处理。

笔者将人脸图像均匀的划分为多个矩形块(如图 2所示)，在每个图像块上分别计算Γ_c，最后综合每个图像块的Γ_c得到整幅图像的光照估计。对于每个图像块，由于面积较小，认为只有一个光源照射到该区域，因此有唯一的Γ_c。计算Γ_c时，实际上只能利用式(7)中m_s(x)≠0的部分(即只能利用图 1中的斜线，需要排除水平线)；同时为了得到较准确的Γ_c值，数据点需要有一个较狭长的分布(即图 1中斜线上的点应比较分散)。为了满足这2个要求，采用以下步骤计算式(7)中的p_c(x)

1)计算图像块内每个像素点对应的($\frac{1}{{\sum {_i{I_i}\left( x \right)} }}, {\sigma _{\rm{c}}}\left( x \right)$)，得到数据集A；

2)对数据集A进行主成分分析，得到其2个特征值λ₁和λ₂(λ₁>λ₂)，以及相应的特征向量v₁和v₂；

3)计算向量v₁的斜率；

4)计算离心率$e = \sqrt {1-\sqrt {\frac{{{\lambda _2}}}{{{\lambda _1}}}} } $。

v₁的斜率即为p_c(x)，同时要求p_c(x)>T_p(排除图 1中的水平线)，且e>T_e(保证数据点有一个较狭长的分布)。若该图像块计算出的p_c(x)不满足要求，则认为该图像块提供的数据不能用于光照估计，不再计算Γ_c；若p_c(x)满足要求，将p_c(x)和图像块内每个点的($\frac{1}{{\sum {_i{I_i}\left( x \right)} }}, {\sigma _{\rm{c}}}\left( x \right)$)代入式(7)，得到一系列的Γ_c值，取其平均值作为图像块的Γ_c。

由于光照的连续性，通常相邻区块的光照相近，因此得到全部图像块的光照估计Γ_{c, i}(i=1…N，N为有效估计出光照的图像块数量)后，对其进行颜色直方图统计，找到直方图的各局部极值，然后将落入该极值区域内的Γ_{c, i}计算平均值，作为相应图像块最终的光照估计。对于不满足条件，无法计算Γ_c的图像块，取其邻域图像块光照的均值，作为该块的光照估计。

估计出光照之后，估计光照归一化为单位向量$\mathit{\boldsymbol{ \boldsymbol{\hat \varGamma} = }}{\left( {{{\mathit{\hat \Gamma }}_R}, {{\mathit{\hat \Gamma }}_G}, {{\mathit{\hat \Gamma }}_B}} \right)^{\rm{T}}}$(其中${{\mathit{\boldsymbol{ \boldsymbol{\hat \varGamma} }}}^{\rm{T}}}\mathit{\boldsymbol{ \boldsymbol{\hat \varGamma} }} = 1$)，利用对角模型^[13]把图像转换到标准白光光照下

$ \left( {\begin{array}{*{20}{c}} {{I_{R, s}}}\\ {{I_{G, s}}}\\ {{I_{B, s}}} \end{array}} \right) = {\rm{diag}}\left( {\frac{1}{{{{\mathit{\boldsymbol{ \boldsymbol{\hat \varGamma} }}}_R}\sqrt 3 }}, \frac{1}{{{{\mathit{\boldsymbol{ \boldsymbol{\hat \varGamma} }}}_G}\sqrt 3 }}, \frac{1}{{{{\mathit{\boldsymbol{ \boldsymbol{\hat \varGamma} }}}_B}\sqrt 3 }}} \right) \cdot \left( {\begin{array}{*{20}{c}} {{I_{R, u}}}\\ {{I_{G, u}}}\\ {{I_{B, u}}} \end{array}} \right), $

(8)

其中I_{R, s}、I_{G, s}、I_{B, s}为标准白光下图像的RGB分量，I_{R, u}、I_{G, u}、I_{B, u}为原始图像的RGB分量。图 3展示了经过光照预处理后的几幅人脸图像。

2 实验验证

为了验证所提出的光照预处理方法的有效性，在AR人脸库和彩色FERET人脸库上进行了人脸识别实验。

对于AR库(如图 4所示)，选取每个人的1、5、6、7号图像用于实验，这4幅图像具有不同的光照变化(自然光照、左侧光照、右侧光照、正面光照)，因此，该图像集共476幅图像(119人×4幅/人)。图像裁减为128×128像素。实验中，把图像集随机分为2部分，第1部分59人，第2部分为其余的60人。第1部分的全部图像构成训练集(training set)，第2部分每人的1号图像构成参考集(gallery set)，其余图像构成测试集(probe set)。

对于FERET库(如图 5所示)，选取其中226人的1107幅图像构成实验图像集，其中每人至少有4幅图像。图像被裁减为128×128像素。实验中，对每人随机选取2幅图像构成参考集，其余图像构成测试集，参考集同时也用作训练集。

研究选择了4种现有的彩色人脸识别方法^{[3, 5, 6, 10]}，通过实验对比原有方法和加入光照预处理之后的识别率。实验中，本文的光照预处理方法参数设置为，图像分块的大小为16×16像素，T_p=0.005，T_e=0.95。

AR和FERET人脸库上的识别率分别如表 1和表 2所示。从实验结果可见，加入光照预处理后，4种彩色人脸识别方法的识别率都有提高，并且在AR库上提高十分显著。

从AR库上的实验结果可以看到，光照变化对彩色人脸识别方法的影响是非常大的，甚至会使某些识别方法完全失效，如文献[6]的方法识别甚至不到30%。AR库中的图像光照变化比较复杂，其单侧光照的照明方式可视为图像不同区域的入射光源不同，不同区域会呈现出较大的色彩差异，从而严重影响识别性能。由于没有考虑光照的引起的色彩变化，此4种彩色人脸识别方法的效果都不理想。而加入光照预处理，对图像色彩进行校正后，4种方法的识别性能都有大幅改善，识别率至少提高了6.62%。对于文献[6]方法，由于其自身的限制，从识别率的绝对数值来看，加入光照预处理之后也不尽理想，但对识别率的提升仍是显著的。此结果也提示，在设计彩色人识别方法时，方法本身需尽可能考虑到光照问题。

对于FERET库，虽然不同图像之间也存在光照差异，但每幅图像都处于均匀光照下，因此，光照引起的同一幅图像的不同区域之间的色彩变化很小，对识别性能的影响也较小，可以看到，4种彩色人脸识别方法本身也能取得较好效果，但加入光照预处理后识别率有进一步提高，这也验证了研究方法的有效性。

3 结语

针对现有彩色人脸识别方法易受光照变化影响的问题，提出了一种基于IICS的彩色人脸图像光照预处理方法。本方法首先将图像均匀分块；然后将每个图像块转换为IICS空间中的二维数据集合，由此估计图像块的光照颜色；再将所有图像块的光照颜色进行颜色直方图统计，对分块估计的结果进行合并，得到光照估计的最终结果；最后将图像转换到标准白光光照下。实验表明本光照预处理方法能有效提高彩色人脸识别方法对光照的鲁棒性。为解决彩色人脸识别中的光照问题提供了一种解决思路。