近年来，红外人体目标检测在战场环境探测、辅助驾驶、智能视频监控等领域应用日益广泛。但是，红外图像具有对比度低、边缘模糊以及无纹理等弱质特点，加上受人体朝向、各部位体温差异以及遮挡的影响，从红外图像中提取人体目标时，许多图像分割方法获得的结果常常是破碎的。为实现人体目标识别和行为分析研究及应用，必须对分割出的人体目标进行形状修复。

自图像修复被定义为图像处理的一个独立领域后，基于全变分模型^[1-2]，热传导模型^[3]以及三阶偏微分方程(Partial differential equation, PDE)^[4]等各种模型的一大类修复方法相继出现。它们具有自动处理缺损拓扑形状的优点，通过将灰度从碎片边缘沿等照度线平滑延伸到缺损区域，可有效修复较小面积的缺损；另一类图像修复方法是纹理合成，利用能量函数求极值^[5-6]等方式合成缺损区域纹理实现缺损修复，这类方法对较大面积的缺损修复效果良好，主要难点在于探测缺损区域周围结构并让修复结构与之适配；数学形态学是第三类方法，对微小缺损效果较好，但适用面比较有限。

文中研究的修复对象是红外图像经分割产生的二值图像。在该图像中，人体目标的破碎表现为虚假像素、空洞、轮廓噪声和身体部位的缺失。对面积小的噪声区域和空洞通常采用数学形态学方法处理。对更复杂的破碎类型则需要例如重建法^[7]、轮廓对齐法^[8]、张量投票法(Tensor voting, TV)^[9-10]，静态表征法^[11]等特殊方法。重建法首先构建人体本征姿态集，然后将破损人体目标映射到本征姿态空间以修复破碎人体目标。轮廓对齐法则将破碎人体目标的轮廓曲线与预设的人体轮廓曲线上的轮廓段进行匹配，从而消除轮廓噪声。这2种方法修复效果较好，主要限制在于需要某种形式的人体形态先验知识，因为人体是非刚体目标，形态变化极大，构建完备的人体形态先验知识较为困难，因而须面向特定场景进行算法训练和图像修复。张量投票是将图像结构进行张量编码，通过相邻张量间的相互投票发现并提取凸显结构实现目标修复，不假定任何待修复目标的形态，故对人体形态变化适应性强。不过，为防止投票过程中噪声区域传递虚假图像结构信息到邻域，需在应用张量投票算法之前尽量排除噪声干扰，这同样需要借助人体形态先验知识来实现。静态表征法是将人体运动周期内的形态压缩为静态特征图像，利用不同时刻人体形态的非相关性排除噪声实现目标修复，对单帧图像无效。

基于图像分割思想，针对二值图像中破碎人体目标的修复问题，提出了一种新的算法。该算法首先应用量子力学中的薛定谔变换原理，利用该变换扩散图像能量的特性使各人体碎片形成连通区域。然后构建一种综合图像边缘与区域信息的水平集分割模型(Level set model, LSM)，通过演化该模型分割出以上连通区域，完成对破碎人体目标的修复。此方法不借助人体形态先验知识或是运动信息，能依据连通区域的灰度分布情况自动确定人体碎片归属并排除干扰结构，填充人体的缺损区域，获得的人体轮廓连续光滑，算法鲁棒性良好。

1 图像的薛定谔变换

薛定谔方程^[12]是量子力学的一个基本方程，由它可解得描述粒子全部量子态的波函数。设ψ(r，t)为该波函数，其中r为位置矢量，t为特定时刻。当ψ(r，t)的初值ψ(r，t=0)为二维图像时，娄联堂等^[13]定义以傅里叶变换形式表达的薛定谔方程的解为薛定谔变换(Schrödinger transform，ST)。该变换描述了ψ(r，t)和ψ(r，t=0)的关系。进一步假定像素粒子只能在图像定义域Ω所限定的二维场内自由运动且Ω周围阻力无穷大，于是娄联堂等定义的ST变换可简化为

$ \widehat \psi = {\widehat \psi _0}\exp \left( { - iat{{\left| {\;r\;} \right|}^2}} \right), $

(1)

其中：$ \widehat \psi, {\widehat \psi _0} $分别为ψ(r, t)，ψ₀(r)的傅里叶变换；a为常系数。文中称式(1)为ST变换，其中a和t的乘积称为反应时间，表示粒子离开初始位置向外传播的时长。

图像的ST变换是原始图像(即波函数)向内和向外2个方向传播的结果。at值越大，像素粒子传播时间越长，图像能量向外扩散越多；at值越小，像素粒子传播时间越短，图像能量向外扩散就越少。图 1演示了ST变换的该特性。其中，图 1(a)是由(0，1)2种灰度构成的二值合成图像，视其为ψ₀(r)，经傅里叶变换，分别取at为0.05和0.1作ST变换，最后再经傅里叶逆变换，可得2种at值下的ψ(r, t)，即图 1(b)和图 1(c)。可见类似于水波的传播，ST变换使图像中高灰度像素向四周扩散能量，自身能量减少而灰度降低。背景区域接受扩散能量而灰度升高，且距离高灰度区域越近的背景区域接受更多能量，其灰度升高程度显著高于远端背景区域。能量扩散所及范围与at值密切相关，at越大扩散范围越大，at越小扩散范围越小。由于ST变换能量守恒^[13]，at值足够大时，图像能量将在Ω内均匀分布。

以上能量扩散特性使ST变换对图像具有“削峰填谷”的作用，文中正是利用这一特性来填充图像目标中的缺损区域。图 2(a)为一幅红外人体目标图像，图 2(b)是应用FCM算法分割人体目标得到的二值图像，图 2(c)是对图 2(b)进行以上变换的结果。由于缺损区域与多个碎片相邻，而背景只与位于目标边缘处的碎片相邻，变换过程中，缺损区域接受的能量明显高于背景，故缺损区域得到更有效填充。

2 水平集分割模型

ST变换使图像中的各目标碎片构成连通区域，正确提取这些连通区域即可提取目标，同时实现形状修复。水平集模型是一类以演化封闭轮廓曲线实现图像分割的方法，用于提取变换图像中的连通区域具有显著优势。由于变换图像中的连通区域具有边缘模糊以及平均灰度与背景不同的特点，必须同时利用图像区域和边缘信息才能准确提取。前者用于区分连通区域和背景区域，后者用于准确定位连通区边缘(即人体轮廓)。文中以C-V模型^[14]和测地活动轮廓模型(Geodesic active contour，GAC)^[14]为基础构建混合LSM模型提取目标连通区。

对定义在图像域Ω上的图像I(x, y)，C-V模型将图像划分为曲线内部和曲线外部2个区域，然后基于两区域平均灰度c₁、c₂，最小化能量泛函式(2)实现图像分割，即

$ \begin{array}{l} {E^{CV}}\left( {C, {c_1}, {c_2}} \right) = {\lambda _1}{\int_{{\rm{in}}\left( C \right)} {\left| {I\left( {x, y} \right) - {c_1}} \right|} ^2}{\rm{d}}x + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\lambda _2}{\int_{{\rm{out}}\left( C \right)} {\left| {I\left( {x, y} \right) - {c_2}} \right|} ^2}{\rm{d}}x + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mu length\left( C \right) + v.area\left( {insideC} \right), \end{array} $

(2)

式(2)中前2项为全局能量项，测定了分割前后图像的差异。后2项为正则项，保证曲线演化的光滑性并加快演化速度。

GAC模型以最小化曲线加权弧长使封闭曲线运动到目标边界实现图像分割，即

$ {L_R}\left( C \right) = \int_0^{L\left( C \right)} {g\left( {\left| {\nabla I\left[{C\left( s \right)} \right]} \right|} \right){\rm{d}}s, } $

(3)

其中g(I)为边缘检测函数，常取为(1+K(▽G_σ·I))^-1，K为边缘检测灵敏度参数，G_σ是标准差为σ的高斯函数。由于不能很好逼近图像中极度凹陷的目标区域，常添加曲率增量c加以改善。引入曲线的水平集表达，GAC模型可改写为关于水平集函数u的如下变分形式

$ {E^{GAC}}\left( u \right) = \int {\int\limits_\mathit{\Omega } g } \left| {\nabla H\left( u \right)} \right|{\rm{d}}x{\rm{d}}y + c\int {\int\limits_\mathit{\Omega } {H\left( { - u} \right)} } g{\rm{d}}x{\rm{d}}y, $

(4)

其中H(u)为Heaviside函数。将C-V模型全局能量项改写为关于u的表达形式，然后与式(4)加权求和可得

$ \begin{array}{l} E\left( u \right) = \alpha \left( {\int {\int\limits_\mathit{\Omega } g } \left| {\nabla H\left( u \right)} \right|{\rm{d}}x{\rm{d}}y + c\int {\int\limits_\mathit{\Omega } {H\left( { - u} \right)} } g{\rm{d}}x{\rm{d}}y} \right) + \\ \beta \left( {\int {\int\limits_\mathit{\Omega } {{{\left( {I - {c_1}} \right)}^2}} } H\left( u \right){\rm{d}}x{\rm{d}}y + \int {\int\limits_\mathit{\Omega } {{{\left( {I - {c_2}} \right)}^2}} } H\left( { - u} \right){\rm{d}}x{\rm{d}}y} \right)。\end{array} $

(5)

式(5)即为文中模型，其中α，β为常数，两者比值反映了模型利用图像边缘、区域信息共同演化模型的比例。式(5)的梯度下降流为

$ \begin{array}{l} \frac{{\partial u}}{{\partial t}} = {{H'}_\varepsilon }\left( u \right)\left[{\alpha .{\rm{div}}\left( {g\frac{{\nabla u}}{{\left| {\nabla u} \right|}}} \right) + \alpha cg + } \right.\\ \;\;\;\;\;\;\;\left. {\beta {{\left| {I\left( {x, y} \right)-{c_2}} \right|}^2}-\beta {{\left| {I\left( {x, y} \right)-{c_1}} \right|}^2}} \right], \end{array} $

(6)

其中H′(u)为正则化Heaviside函数的一阶导数，常取H′(x)=ε/π(ε²+x²)，c₁、c₂分别为

$ {c_1} = \frac{{\int {\int\limits_\mathit{\Omega } {I\left( {x, y} \right)} H\left( u \right){\rm{d}}x{\rm{d}}y} }}{{\int {\int\limits_\mathit{\Omega } {H\left( u \right){\rm{d}}x{\rm{d}}y} } }}, {c_2} = \frac{{\int {\int\limits_\mathit{\Omega } {I\left( {x, y} \right)} H\left( { - u} \right){\rm{d}}x{\rm{d}}y} }}{{\int {\int\limits_\mathit{\Omega } {H\left( { - u} \right){\rm{d}}x{\rm{d}}y} } }}。$

由于式(6)为抛物型PDE，具有良好稳定性，对其中∂u/∂t作前向差分，对散度div(·)作“半点”离散化^[14]后，式(6)的显示差分格式为

$ \frac{{u_{i, j}^{n + 1} - u_{i, j}^n}}{{\Delta t}} = F\left( {u_{i, j}^n, I\left( {x, y} \right)} \right)。$

(7)

在式(7)迭代过程中，由于u在演化中并不容易偏离符号距离特性，因而不在迭代过程中重新初始化u为符号距离函数或向能量泛函添加符号距离函数保持项^[15]。当|uⁿ⁺¹-uⁿ|＜δ，δ为任意小正常数，模型收敛到解u*，于是最终轮廓曲线和修复结果分别为

$ {C^ * } = \left\{ {\left( {x, y} \right)\left| {{u^ * } = 0} \right.} \right\};{R^ * } = \left\{ {\left( {x, y} \right)\left| {{u^ * }\left( {x, y} \right) < 0} \right.} \right\}。$

由于式(5)中的加权弧长项使封闭曲线C作曲率运动，该运动使C从初始位置移动到目标边缘过程中保持连续性同时变得光滑。所以C^*是封闭的连续光滑曲线，能够良好拟合人体轮廓。

3 算法流程

文中首先对输入的红外人体图像进行分割，获得包含破碎人体目标的二值图像，然后，对该二值图像作ST变换。由图 1(b)可见，使用较大的at值，ST变换图像的某些位置会产生明显的干涉现象，影响填充图像缺损的均匀性，为克服此问题，同时提供足够大的能量扩散强度，文中将单次大at值的变换替换为连续多次小at值变换。

ST变换后，各人体碎片形成连通区域，但碎片边缘发生退化。为使LSM模型在分割此连通区域时准确定位连通区边缘，需对退化的碎片边缘进行修复。为此，对图像分割前的红外人体图像应用Canny边缘检测算子，获得单像素宽图像边缘并去除其中散点，然后取ST变换前二值图像和变换后图像对应像素的较大灰度值，和所得Canny边缘检测结果进行合成，得到合成图像I(x, y)。

应用LSM演化水平集函数u分割I(x, y)中的连通区域。当LSM模型按式(7)迭代达到收敛时，提取活动轮廓曲线内部区域以及曲线本身作为修复的人体目标R*和该目标的轮廓C*进行输出，完成修复过程。图 3给出了文中算法流程图。

4 实验结果及分析

利用FLIR A40红外热像仪对校园公共区域进行实拍，取得真实红外图像用于实验。在Windows XP，Matlab 7.1平台上对文中算法进行了测试，并与其他典型算法作了对比研究。

4.1 图像修复效果

采用Gustafson-Kessel模糊聚类算法^[16]分割红外图像，应用文中算法修复所得二值图像中的破碎目标，结果如图 4所示。其中第一列为原始红外图像。第二列为分割出的二值图像，3幅图像分别反映了轻微、中度和重度三类破碎程度，取at=0.005，times=10对它们作ST变换并修复目标连通区退化边缘，结果列于第3列。在第3列图像上，以图中白色矩形方框为初始轮廓曲线，取Δt=5，α=1，β=0.55，K=0.1，c=0.30，ε=2，δ=1e-4，按式(7)演化初始轮廓曲线，可得到图 4第4列中围绕各人体目标的黑色曲线，它们即为轮廓曲线的最终位置。提取各最终轮廓曲线的内部区域为修复结果列于第5列。为评价修复效果，将手工分割原始红外图像获得的人体真实形状列于第6列。

由图 4第4、5列图像可见，最终轮廓曲线准确排除了干扰结构(例如第4列1、3号图中的边缘线、2号图左上角的小块)，属于同一人体目标的各碎片正确地被归为一个整体；准确定位了人体轮廓并胶链起腰部、手腕等等位置上的缺损轮廓段；目标内部缺损被自然填充，算法效果良好。一方面，图像中的干扰结构没有显著影响目标连通区和背景的平均灰度值，模型中的区域能量项(后2项)会忽视其存在，使轮廓曲线越过干扰位置到达连通区边缘；边缘能量项(前两项)让曲线作曲率运动，曲线收缩变形，在保持连续性的同时逐步变得光滑，从而胶连起缺损轮廓段，较好拟合了人体轮廓。另一方面，区域能量项具有全局性，避免了边缘能量项对曲线初始位置敏感的问题，使曲线从初始位置迅速移动到目标大致位置，同时边缘能量项对附近区域的边缘检测使曲线位置得到细微调整，当到达梯度最大位置时水平集函数u完全收敛，曲线停止运动形成最终的分割边界，从而准确定位人体真实轮廓。

应用总体相似度(Similarity，SI)和内部残缺率(Interior fragmentary proportion, IFP)作为客观指标评价修复效果。SI指标反映了待测量与参考值间的重叠度，值越高表明两者形状越相似；IFP指标衡量待测量相对与参考量的错分像素比例，值越低表示错分区域越小，两者定义分别为

$ {\rm{SI}} = \frac{{\left| {{A_{\rm{M}}} \cap {A_{\rm{S}}}} \right|}}{{\left| {{A_{\rm{M}}} \cup {A_{\rm{S}}}} \right|}}, {\rm{IFP}} = \frac{{\left| {{A_{\rm{M}}} - {A_{\rm{S}}}} \right|}}{{{A_{\rm{M}}}}}。$

其中A_M为参考值，A_S为待测值。对图 4第1列各图中的人体目标按从上到下，从左到右顺序依次编号为1~6，以第6列图像为参考值，分别计算图 4第2列修复前图像和第5列修复后图像中各人体SI和IFP值，结果列于表 1前2行。由表可知，修复结果的SI值在80%以上，IFP值在4%以下，目标完整性显著提高，可见算法对目标的修复是有效的。

全变分模型是典型的PDE修复方法。通过最小化相应能量泛函将图像边缘延长到需修复区域实现图像修复，要求用户明确给定修复位置。重建法以及轮廓对齐法必须构建人体形态先验知识集，实践中一般通过场景训练获取，故它们是面向特定场景的，红外图像的弱质性和人体形态的强可变性特点限制了它们的适用性。另外，静态表征法则如前所述不适用于单帧图像的修复。故考察张量投票以及数学形态学方法的修复效果作为比较。

TV算法是从复杂结构中探测角点、曲线、曲面凸显特征的一种高效算法。取球形投票场尺度σ₁=10，棒形投票场尺度σ₂=5修复以上对象，其结果见图 5，客观指标见表 1第3行。可见TV算法在角点、曲线交接点集中位置，例如胯部、腋窝处的轮廓形状与真实形状拟合度高，表现在SI值较文中算法更高。人体轮廓在这些位置极度凹陷，模型中的GAC边缘能量项不能良好逼近极度凹陷区域，这是它的固有缺点，尽管添加额外曲率增量能缓解，但增量的准确值较难选择。但另一方面，在TV算法的投票过程中，目标边界点受目标内部点沿边界法线方向的一致投票，在边界位置形成了较高的投票极性，导致张量叠加后在边界附件出现虚假凸显结构，边界上具有较多错误像素，因此所得轮廓质量不高。文中算法无此问题，因为目标轮廓由曲线演化理论获得，即使初始轮廓曲线可能存在角点，但曲率运动会让曲线在演化中趋于光滑。轮廓定位上，由于综合运用了图像区域和边缘信息，除极度凹陷区域外其余位置准确性良好，和TV算法相比，文中混合算法在边界上产生的错误像素更少，客观指标上反映为更优的IFP值。

采用半径r=5的圆盘形结构元素，对图 4(b)列各图作形态学闭运算，结果为图 5所示，对应客观指标列于表 1末行。由图可见较大面积的缺损未被修复，凹度较大的人体部位形状与真实轮廓拟合度差。原因是如闭运算这类形态学方法是利用特定形状和尺寸的结构元素探测相应图像结构以实现相关运算的^[17]，但是人体缺损区域的形态和尺寸变化范围很大，任何特定形状和尺寸的结构元素很难同时适应它们。文中算法避免了对缺损区域形态和大小的探测，克服了只能修复部分缺损区域的缺陷。相对其他典型图像修复算法文中算法在应用对象上的适用性更为理想。

4.2 算法参数与抗噪性能分析

ST变换的能量扩散强度、提取碎片连通区的准确度直接影响了文中算法的修复效果，因此相关参数的合理选取很重要。图 6给出了不同参数下的修复效果。修复后的人体目标以白色填充区域表示。

ST变换参数at控制了能量扩散强度。如图 6(a)~(c)所示，at过小, 扩散强度很弱，缺损区和背景灰度改变量很小，at过大, 扩散强度很大，大片背景灰度升高并和缺损区近似，2种情况下，缺损区都和背景一致性更高，LSM会将它们整体视为背景，导致修复失败。此外，如图 1(b)所示，采用大的at值时，由于能量扩散中像素粒子会在某些位置发生非常明显的干涉，使得ST变换对低灰度区域的填充不均匀，多次小at值变换代替一次大at值变换可以减轻这种影响，实验表明，at在0.005~0.01之间，迭代次数times在5~20之间取值对文中对象效果较好。

在模型(5)中，参数c为GAC边缘能量项的曲率增量，促使轮廓曲线更加逼近人体上极度凹陷的区域。c值过小起不到应有效果，过大则使曲线过度平滑最终消失。实验表明它在0.1~0.35间取值较为合理。

α/β反映了文中混合LSM应用图像边缘和区域信息的比例。图 6(d)~(f)给出了不同α、β取值下的修复效果。由于边缘信息定位图像边缘较准确，但对噪声敏感；而区域信息全局性好，对噪声不敏感，但边界定位能力较差，因此α/β过小或过大都将使得仅有单种信息起作用，造成多个人体目标之间不能分离或是仅提取出原先的碎片区域，因此α、β的合理取值应使2种信息平衡作用以完整提取目标连通区。

目标破碎的二值图像除包含目标碎片外，还常常含有大量干扰结构，向图 4各破碎目标图像添加强度n=1%~20%的椒盐噪声模拟其中的干扰碎片。图 6(g)~(i)为固定α=1，β=1.8(其余参数不变)下的部分修复结果，图 6(j)~(l)为固定α=1，但根据噪声强度优化β以优化α/β比值下的修复结果。图 5(g)~(i)、图 5(j)~(l)分别为TV算法修复结果(参数同前)和采用r=2圆盘形结构元素的形态学闭运算修复结果。

对比图 6(g)~(l)和图 5(g)~(l)可见，相对未添加噪声时，虽然文中算法对人体真实轮廓定位的准确度有所降低，但仍给出了视觉上可接受的结果，然而TV算法和形态学闭运算则随着噪声强度的增大性能显著恶化。原因在于TV算法中，所有像素都要对周围像素投票，噪声和目标间以及噪声与噪声间的投票经叠加，在背景和目标边界上的某些位置上产生虚假局部极大值，并随着噪声强度增大，这种情况越严重，使算法性能严重退化。而形态学闭运算的过程是先膨胀后腐蚀，部分经膨胀后的噪声点与其他噪声点或人体碎片相连形成较大面积的连通区，在随后的腐蚀中又被保留下来形成虚假修复区域。可见应用两类对比算法前，需要尽力排除图像中的干扰结构，然而如前所述，要准确识别干扰碎片很困难，这限制了它们的适用性。对文中算法，只要式(5)中区域能量项占比不过低，图像局部位置上的干扰强度就会在演化曲线内部或外部区域内被平均，相当于对噪声作大尺度模板下的均值滤波，这样就极大减弱了噪声影响，因而如图 6(g)~(i)所示，曲线仍将运动到与未加噪时大致相同的位置，仅在真实轮廓附近产生来源于边缘能量项的偏离。这种偏离是由边缘能量项对噪声的敏感性造成的。因此调整α/β比值以平衡噪声对区域与边缘能量项的不同影响，可以改善算法抗噪性能。对比图 6(j)~(l)和图 6(g)~(i)可见，α/β比值优化后人体轮廓定位准确度提高。

对图 4(b)列第3幅图像在优化α/β值下进行修复，图 7显示了修复结果中各人体目标的SI和IFP指标随噪声强度的变化曲线，其中上半部分为SI曲线, 下半部分为IFP曲线。可见在各噪声强度下，通过参数优化，SI值保持在了80%以上，IFP值保持在了20%以下(更多时候低于10%)，算法性能较为稳定。由于边缘能量项对噪声敏感，而区域能量项不敏感，因此当噪声强度较大时可适当提高区域能量项的比例。图 8给出了实验中优化β值随噪声强度的变化曲线，可见随着噪声强度升高区域能量项比例的确是升高的，与理论分析结果一致。

综上所述，α、β的取值应使模型中的边缘能量项和区域能量项共同发挥作用，当图像分割结果不理想，存在大量干扰碎片时可适量提高后者比例以获得鲁棒的结果。实验表明，当固定α=1时，β在0.5~5.0范围内合理取值，能够获得较高质量的修复效果。

5 结论

基于C-V模型和GAC模型构建了综合利用图像边缘和区域信息的混合LSM模型，结合ST变换提出了一种修复红外人体破碎目标的算法。该算法能自动识别构成人体目标的碎片，填充目标内部缺损，产生连续光滑的人体轮廓，修复后的人体区域完整性显著提高。在噪声干扰下，基于参数优化可获得稳定的性能指标，具备良好鲁棒性。