彩色纹理图像分割在医学、公安、交通等诸多领域存在大量应用。由于其纹理成分复杂,纹理强度不同,采用传统的变分方法基于边缘[1]、区域[2-3]、先验形状[4]等特征的图像分割模型已很难得出准确分割结果。当彩色图像中包含纹理成分时,其纹理特征表达和区域边界描述仍存在诸多困难,如不充分考虑各层图像之间的耦合效应,则将引起边缘以及纹理模糊。
近些年,有许多针对纹理图像分割的研究,文献[5-6]分别通过Gabor、Wavelet滤波器生成多尺度矢量图像,采用矢量图像分割的Chan-Vese模型[7]实现纹理图像分割,Li[8]在Gabor变换基础上,用四元数处理多通道信息。滤波器会减少图像中的成分,导致纹理图像区域边缘模糊,分割不准确;Wang等[9]通过图像分解变分方法[10]提取纹理图像中的分段常值结构化图像成分,并将图像分解模型与Chan-Vese模型组合实现纹理图像分割。这种模型效率低下且分割效果不佳。Gillboa等[11]提出了非局部算子在图像处理中的应用,Bresson等[12]将传统的Mumford-Shah模型[13]与非局部算子结合为非局部Mumford-Shah模型,但忽略了纹理图像成分隐藏的图像结构化成分,导致目标边缘分割较差。文献[14]通过扩展上述非局部模型为多通道模型并增加Tikhonov规则项,提出了Mumford-Shah-MT(mumford- shah-multichannel tikhonov)模型,但由于彩色图像各层图像边缘处的扩散强度不一致,导致轮廓线无法准确贴近目标边缘。在图像恢复中表现良好的多通道全变差模型[15]实现了良好的彩色图像层与层之间的耦合效果且边缘不扩散,在非局部Mumford-Shah模型分割中增加多通道全变差规则项可以实现图像边缘分割更加精确。
由上述分析可知,综合非局部Mumford-Shah模型与多通道全变差模型的优点是提出非局部Mumford-Shah多通道全变差模型,该模型可以对纹理成分准确描述,并保持彩色图像层与层之间耦合性,最终实现彩色纹理图像更精确的分割。为了提高计算效率,笔者还设计了所提出模型的ADMM(alternating direction method of multipliers)算法[16-18]。
1 彩色纹理图像分割模型 1.1 非局部Mumford-Shah模型及其拓展Mumford-Shah模型[13]是变分图像分割的基础,其基本思想是用分段光滑图像及其边界近似来分割图像。为了克服在不同维度上优化的困难,Bresson等[18]直接采用二值标记函数ϕ(x)∈(0, 1)划分区域,用总变差表达分割线长度。提出与Chan-Vese模型[3]对应的分段光滑图像分割的变分模型为
$ \begin{array}{l} \mathop {\min }\limits_{{u_1},{u_2},\phi } \left\{ {E\left( {{u_1},{u_2},\phi } \right) = {\alpha _1}\int_{{\mathit{\Omega }_1}} {\left( {{{\left( {{u_1} - f} \right)}^2} + {{\left| {\nabla {u_1}} \right|}^2}} \right)\phi {\rm{d}}x} + } \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\alpha _2}\int_{{\mathit{\Omega }_2}} {\left( {{{\left( {{u_2} - f} \right)}^2} + {{\left| {\nabla {u_2}} \right|}^2}} \right)\left( {1 - \phi } \right){\rm{d}}x} + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {\gamma \int_\mathit{\Omega } {\left| {\nabla \phi } \right|{\rm{d}}x} } \right\}, \end{array} $ | (1) |
其中:u1, u2分别表示分段常值图像在区域Ω1和Ω2的均值; f为原图像。
$ \phi \left( x \right) = \left\{ \begin{array}{l} 1,x \in {\mathit{\Omega }_1}\\ 0,x \in {\mathit{\Omega }_2} \end{array} \right.,\mathit{\Omega } = {\mathit{\Omega }_1} \cup {\mathit{\Omega }_2},{\mathit{\Omega }_1} \cap {\mathit{\Omega }_2} = \emptyset , $ |
为了使演化方程在求解时得到稳态解,首先将离散的ϕ(x)凸松弛为ϕ(x)∈[0, 1],最终通过阈值化方法还原为原问题的离散解。
借助纹理图像表达的非局部算子,Bresson,Chan[12]将式(1)扩展为非局部Mumford-Shah模型
$ \begin{array}{l} \mathop {\min }\limits_{{u_1},{u_2},\phi } \left\{ {E\left( {{u_1},{u_2},\phi } \right) = {\alpha _1}\int_{{\mathit{\Omega }_1}} {\left( {{{\left( {{u_1} - f} \right)}^2} + {\beta _1}{{\left| {{\nabla _{{\rm{NL}}}}{u_1}} \right|}^2}} \right)\phi {\rm{d}}x} + } \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\alpha _2}\int_{{\mathit{\Omega }_2}} {\left( {{{\left( {{u_2} - f} \right)}^2} + {\beta _2}{{\left| {{\nabla _{{\rm{NL}}}}{u_2}} \right|}^2}} \right)\left( {1 - \phi } \right){\rm{d}}x} + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {\gamma \int_\mathit{\Omega } {\left| {\nabla \phi } \right|{\rm{d}}x} } \right\}。\end{array} $ | (2) |
为了使上述模型适用彩色纹理图像分割并发挥纹理图像成分隐藏的结构化图像成分在图像分割中的作用,Wang等[14]提出了非局部Mumford-Shah-MT模型,即
$ \begin{array}{l} \mathop {\min }\limits_{u,\phi \in \left\{ {0,1} \right\}} \left\{ {E\left( {{u_{ij}},\phi } \right) = \sum\limits_{i = 1}^2 {\sum\limits_{j = 1}^3 {{\alpha _i}\int_\mathit{\Omega } {\left( {{{\left( {{u_{ij}} - {f_j}} \right)}^2} + {\beta _i}{{\left| {\nabla {u_{ij}}} \right|}^2} + {\lambda _i}{{\left| {{\nabla _{{\rm{NL}}}}{u_{ij}}} \right|}^2}} \right){\chi _i}\left( \phi \right){\rm{d}}x} } } + } \right.\\ \left. {\gamma \int_\mathit{\Omega } {\left| {\nabla \phi } \right|{\rm{d}}x} } \right\}, \end{array} $ | (3) |
其中:χ1(ϕ)=ϕ, χ2(ϕ)=1-ϕ分别为分割目标部分与背景部分的特征函数; f(x)=(f1(x), f2(x), f3(x)):Ω∈R3,表示彩色纹理图像,fj(x)表示彩色图像的3个通道。
图像科学中的非局部导数、非局部散度等定义由Gillboa等[11]基于Buades等[19]的非局部均值概念提出,并在图像恢复[20-22]与分割[23-25]等领域表现较好的效果。该方法定义了表示图像片之间相似度的权函数为
$ \mathit{\boldsymbol{w}}\left( {x,y} \right) = {{\rm{e}}^{\frac{{ - G\sigma \times \left\| {f\left( {x + \cdot } \right) - f\left( {y + \cdot } \right)} \right\|_2^2}}{h}}}, $ | (4) |
其中:x∈Ω,y∈Ω;Gσ是高斯核函数;σ是高斯核函数的标准差;h是控制相似度的阈值;f(x+·)表示以x为中心的小邻域(片)中的像素值;f(y+·)表示以y为中心的小邻域(片)的像素值。为提高计算效率,上述定义可限于搜索窗口S(x)中,如图 1所示。x, y∈S(x)表示搜索窗中的任一像素点。权w(x, y)是基于以点x、y间为中心(片)的广义距离,而非仅2点的局部信息。
基于权w(x, y)可定义x,y点间的非局部导数为
$ {\partial _x}u\left( {x,y} \right) = \left( {u\left( y \right) - u\left( x \right)} \right)\sqrt {\mathit{\boldsymbol{w}}\left( {x,y} \right)} ,x,y \in \mathit{\Omega }, $ | (5) |
以x为基点的非局部梯度为
$ {\nabla _{{\rm{NL}}}}u\left( {x,y} \right) = \left( {u\left( y \right) - u\left( x \right)} \right)\sqrt {\mathit{\boldsymbol{w}}\left( {x,y} \right)} ,x,y \in \mathit{\Omega }。$ | (6) |
非局部梯度表示图像中片与片的映射: Ω×Ω→R,非传统意义下的矢量。对于非局部矢量v(x, y): Ω×Ω→R,定义相关非局部点积
$ \left\langle {{\mathit{\boldsymbol{v}}_1} \cdot {\mathit{\boldsymbol{v}}_2}} \right\rangle \left( x \right) = \int_\mathit{\Omega } {{\mathit{\boldsymbol{v}}_1}\left( {x,y} \right){\mathit{\boldsymbol{v}}_2}\left( {x,y} \right){\rm{d}}y} :\mathit{\Omega } \to \mathit{R}。$ | (7) |
相应非局部矢量的模为
$ \left| \mathit{\boldsymbol{v}} \right|\left( x \right) = \sqrt {\int_\mathit{\Omega } {{{\left( {\mathit{\boldsymbol{v}}\left( {x,y} \right)} \right)}^2}{\rm{d}}y} } :\mathit{\Omega } \to \mathit{R}。$ | (8) |
根据广义散度原理
$ \left\langle {{\nabla _{{\rm{NL}}}}u,\mathit{\boldsymbol{v}}} \right\rangle = - \left\langle {u,{\rm{di}}{{\rm{v}}_{{\rm{NL}}}}\mathit{\boldsymbol{v}}} \right\rangle 。$ | (9) |
可求出非局部散度
$ \left\langle {{\nabla _{{\rm{NL}}}} \cdot \mathit{\boldsymbol{v}}} \right\rangle \left( x \right) = \int_\mathit{\Omega } {\left( {\mathit{\boldsymbol{v}}\left( {x,y} \right) - \mathit{\boldsymbol{v}}\left( {y,x} \right)} \right)\sqrt {\mathit{\boldsymbol{w}}\left( {x,y} \right)} {\rm{d}}y} :\mathit{\Omega } \to \mathit{R}。$ | (10) |
和非局部拉普拉斯算子
$ {\nabla _{{\rm{NL}}}}u\left( x \right) = \frac{1}{2}\left( {{\nabla _{{\rm{NL}}}} \cdot \left( {{\nabla _{{\rm{NL}}}}u} \right)} \right)\left( x \right) = \int_\mathit{\Omega } {\left( {u\left( y \right) - u\left( x \right)} \right)\mathit{\boldsymbol{w}}\left( {x,y} \right){\rm{d}}y} 。$ | (11) |
基于上述定义,非局部梯度的模可表达为
$ \left| {{\nabla _{{\rm{NL}}}}u} \right|\left( x \right) = \sqrt {\int_\mathit{\Omega } {{{\left( {u\left( y \right) - u\left( x \right)} \right)}^2}\mathit{\boldsymbol{w}}\left( {x,y} \right){\rm{d}}y} } :\mathit{\Omega } \to \mathit{R}。$ | (12) |
利用纹理图像中隐藏的结构化图像成分,考虑到层与层之间的耦合,用多通道全变差规则项
$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{{u_i},\phi \in \left[ {0,1} \right]} \left\{ {E\left( {{u_i},\phi } \right) = \sum\limits_{i = 1}^2 {\sum\limits_{j = 1}^3 {{\alpha _i}\int_\mathit{\Omega } {\left( {{{\left( {{u_{ij}} - {f_j}} \right)}^2} + {\mu _{ij}}{{\left| {{\nabla _{{\rm{NL}}}}{u_{ij}}} \right|}^2}} \right){\chi _i}\left( \phi \right){\rm{d}}x} } } + } \right.}\\ {\left. {\sum\limits_{i = 1}^2 {{\beta _i}\int_\mathit{\Omega } {\sqrt {\sum\limits_{j = 1}^3 {{{\left| {\nabla {u_{ij}}} \right|}^2}} } {\chi _i}\left( \phi \right){\rm{d}}x} } + \gamma \int_\mathit{\Omega } {\left| {\nabla \phi } \right|{\rm{d}}x} } \right\}。} \end{array} $ | (13) |
等式右端第1项表示数据项,表达分段光滑图像与原图像的逼近程度,(i=2,3;j=1,2,3),表示彩色图像3个通道在目标和背景2个区域的分段常值,是惩罚参数,值越大,越接近;第2项使得到的图像为光滑的,惩罚参数越大,图像越光滑;第3项表示彩色纹理图像隐藏的结构化图像成分的梯度,惩罚参数控制着结构化成分的光滑程度;第4项表示分段光滑图像边界的长度,惩罚参数对轮廓线的紧凑程度惩罚。当βi=0时,该模型是多通道非局部Mumford-Shah模型[11];μi=0时,该模型是分段光滑彩色图像分割的Chan-Vese模型[3];当βi=0、μi=0时,该模型为分段常值图像分割的经典Chan-Vese模型[2]。
所提出模型与模型(3)对比,从图像边缘保持和图像之间层与层的耦合性具有优越性:全变差规则项在图像边缘保持方面优于Thiknov规则项,分割轮廓线会紧贴目标边缘,过分割和欠分割现象较少。模型(3)中的规则项并没有考虑彩色图像3个通道的耦合,先分别计算3个通道,最后叠加。由文献[15]可知,
当直接采用交替优化方法求解时会得到关于u1,u2和ϕ3个变量的曲率,导致差分计算格式复杂。为了提高数值计算效率,通过ADMM [16-17]算法,引入辅助变量、Lagrange乘子以及惩罚参数,在交替优化的每一步将原优化问题分解为一系列简单、高效的子优化问题。
研究通过引入辅助变量vij=▽uij, (i=1, 2;j=1, 2, 3)、w=▽ϕ、Lagrange乘子λij, (i=1, 2;j=1, 2, 3)、σ及惩罚参数θi, (i=1, 2)、ω,将式(11)转化为交替优化能量模型
$ \begin{array}{*{20}{c}} {\left( {u_{ij}^{k + 1},{\mathit{\boldsymbol{v}}^{k + 1}}_{ij},{\phi ^{k + 1}},{\mathit{\boldsymbol{w}}^{k + 1}}} \right) = }\\ {\mathop {arg\min }\limits_{{u_{ij}},{\mathit{\boldsymbol{v}}_{ij}},\mathit{\boldsymbol{w}},\phi \in \left[ {0,1} \right]} \left\{ {E\left( {{u_{ij}},{\mathit{\boldsymbol{v}}_{ij}},\mathit{\boldsymbol{w}},\phi } \right) = \sum\limits_{i = 1}^2 {\sum\limits_{j = 1}^3 {{\alpha _i}\int_\mathit{\Omega } {{Q_{ij}}{\chi _i}\left( \phi \right){\rm{d}}x} } } + \sum\limits_{i = 1}^2 {{\beta _i}\int_\mathit{\Omega } {\sqrt {\sum\limits_{j = 1}^3 {{{\left| {{\mathit{\boldsymbol{v}}_{ij}}} \right|}^2}} } {\chi _i}\left( \phi \right){\rm{d}}x} } + } \right.}\\ {\sum\limits_{i = 1}^2 {\sum\limits_{j = 1}^3 {\frac{{{\theta _i}}}{2}\int_\mathit{\Omega } {{{\left| {{\mathit{\boldsymbol{v}}_{ij}} - \nabla {u_{ij}}} \right|}^2}{\rm{d}}x} } } + \sum\limits_{i = 1}^2 {\sum\limits_{j = 1}^3 {\int_\mathit{\Omega } {\lambda _{ij}^k \cdot \left( {{\mathit{\boldsymbol{v}}_{ij}} - \nabla {u_{ij}}} \right){\rm{d}}x} } } + \frac{\mathit{\boldsymbol{\omega }}}{2}\int_\mathit{\Omega } {{{\left| {\mathit{\boldsymbol{w}} - \nabla \phi } \right|}^2}{\rm{d}}x} + \gamma \int_\mathit{\Omega } {\left| {\nabla \phi } \right|{\rm{d}}x} 。} \end{array} $ | (14) |
$ \left\{ \begin{array}{l} \lambda _{ij}^{k + 1} = \lambda _{ij}^k + {\theta _i}\left( {{\mathit{\boldsymbol{v}}^{k + 1}}_{ij} - \nabla u_{ij}^{k + 1}} \right)\\ {\mathit{\boldsymbol{\sigma }}^{k + 1}} = {\mathit{\boldsymbol{\sigma }}^k} + \mathit{\boldsymbol{\omega }}\left( {{\mathit{\boldsymbol{w}}^{k + 1}} - \nabla {\phi ^{k + 1}}} \right) \end{array} \right., $ | (15) |
上述模型中:Qij=(uij-fj)2+μi|▽NLuij|2。
ADMM算法的基本思想是在每一步交替优化时,暂固定其他变量不变,仅对某一变量求解极值,上述优化可分解为如下子优化问题
$ \left( {u_{ij}^{k + 1}} \right) = \arg \mathop {\min }\limits_{{u_{ij}}} E\left( {{u_{ij}},\mathit{\boldsymbol{v}}_{ij}^k,{\mathit{\boldsymbol{w}}^k},{\phi ^k}} \right), $ | (16) |
$ \left( {\mathit{\boldsymbol{v}}_{ij}^{k + 1}} \right) = \arg \mathop {\min }\limits_{{\mathit{\boldsymbol{v}}_{ij}}} E\left( {u_{ij}^{k + 1},{\mathit{\boldsymbol{v}}_{ij}},{\mathit{\boldsymbol{w}}^k},{\phi ^k}} \right), $ | (17) |
$ \left( {{\phi ^{k + 1}}} \right) = \arg \mathop {\min }\limits_{\phi \in \left[ {0,1} \right]} E\left( {u_{ij}^{k + 1},{\mathit{\boldsymbol{v}}^{k + 1}}_{ij},{\mathit{\boldsymbol{w}}^k},\phi } \right), $ | (18) |
$ \left( {{\mathit{\boldsymbol{w}}^{k + 1}}} \right) = \arg \mathop {\min }\limits_\mathit{\boldsymbol{w}} E\left( {u_{ij}^{k + 1},{\mathit{\boldsymbol{v}}^{k + 1}}_{ij},\mathit{\boldsymbol{w}},{\phi ^{k + 1}}} \right), $ | (19) |
对式(16)采用变分方法得到关于uij(i=1, 2;j=1, 2, 3)的Euler-Lagrange方程为
$ \left\{ \begin{array}{l} \left( {{u_{ij}} - {f_j}} \right){\chi _i}\left( \phi \right) + \nabla \cdot \left( {\lambda _{ij}^k - {\theta _i}\nabla {u_{ij}} + {\theta _i}\mathit{\boldsymbol{v}}_{ij}^k} \right) + \\ {\mu _i}{\nabla _{{\rm{NL}}}} \cdot \left( {{\chi _i}\left( \phi \right){\nabla _{{\rm{NL}}}}{u_{ij}}} \right) = 0,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;x \in \mathit{\Omega },\\ - \left( {\lambda _{ij}^k - {\theta _i}\nabla {u_{ij}} + {\theta _i}\mathit{\boldsymbol{v}}_{ij}^k} \right) \cdot \mathit{\boldsymbol{n}} = 0,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;x \in \mathit{\Omega }, \end{array} \right. $ | (20) |
该方程通过采用Gauss-Seidel迭代法求解uijk+1(i=1, 2;j=1, 2, 3)。
同样,对于vij(i=1, 2;j=1, 2, 3)的求解极值问题式(17)采用变分法,其解可表达为如下解析形式的广义软阈值公式
$ \begin{array}{*{20}{c}} {{v^{k + 1}}_{ij} = \max \left( {\left| {\mathit{\boldsymbol{B}}_{ij}^{k + 1}} \right| - \frac{{{\beta _i}}}{{{\theta _i}}} \cdot \frac{{\int_\mathit{\Omega } {\left| {{v_{ij}}^k} \right|{\rm{d}}x} }}{{\int_\mathit{\Omega } {\sqrt {\sum\limits_{j = 1}^3 {{{\left| {{v_{ij}}} \right|}^2}} } } }},0} \right)\frac{{\mathit{\boldsymbol{B}}_{ij}^{k + 1}}}{{\left| {\mathit{\boldsymbol{B}}_{ij}^{k + 1}} \right|}},}\\ {0\frac{\mathit{\boldsymbol{0}}}{{\left| \mathit{\boldsymbol{0}} \right|}} = \mathit{\boldsymbol{0}},} \end{array} $ | (21) |
式中,
类似式(18)和式(19)的解ϕ、w分别对应如下Euler-Lagrange方程
$ \left\{ \begin{array}{l} \left( {\sum\limits_{i = 1}^2 {\sum\limits_{j = 1}^3 {{Q_{ij}}\left( u \right)} } + \sum\limits_{i = 1}^2 {{\beta _i}\int_\mathit{\Omega } {\sqrt {\sum\limits_{j = 1}^3 {{{\left| {\nabla {u_{ij}}} \right|}^2}} } } } } \right)\frac{{\partial {\chi _i}\left( \phi \right)}}{{\partial \phi }},\\ \nabla \cdot \left( {{\mathit{\boldsymbol{w}}^k} - \nabla \phi + {\sigma ^k}} \right) = 0,\;\;\;\;\;\;\;\;\;x \in \mathit{\Omega },\\ - \left( {{\mathit{\boldsymbol{w}}^k} - \nabla \phi + {\sigma ^k}} \right) \cdot \mathit{\boldsymbol{n}} = 0,\;\;\;\;\;\;\;x \in \mathit{\Omega }, \end{array} \right. $ | (22) |
$ \phi = \max \left( {\min \left( {\phi ,1} \right),0} \right)。$ | (23) |
及广义软阈值公式
$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{w}}k + 1 = \max \left( {\left| {\nabla {\phi ^{k + 1}} - \frac{{{\mathit{\boldsymbol{\sigma }}^k}}}{\mathit{\boldsymbol{\omega }}}} \right| - \frac{\gamma }{\mathit{\boldsymbol{\omega }}},0} \right) \cdot \frac{{\nabla {\phi ^{k + 1}} - \frac{{{\mathit{\boldsymbol{\sigma }}^k}}}{\mathit{\boldsymbol{\omega }}}}}{{\left| {\nabla {\phi ^{k + 1}} - \frac{{{\mathit{\boldsymbol{\sigma }}^k}}}{\mathit{\boldsymbol{\omega }}}} \right|}},}\\ {0\frac{\mathit{\boldsymbol{0}}}{{\left| \mathit{\boldsymbol{0}} \right|}} = \mathit{\boldsymbol{0}},} \end{array} $ | (24) |
离散方程亦通过Gauss-Seidel迭代求解。当满足
$ \frac{{\left| {{E^{k + 1}} - {E^k}} \right|}}{{{E^k}}} \le \varepsilon , $ | (25) |
上述交替优化过程结束。其中,Ek为第k步能量泛函的值,ε为迭代误差容限。为准确表达分割区域边界,最终需采用硬阈值公式将凸松弛后的标记函数恢复为二值标记函数,即
$ \phi = \left\{ {\begin{array}{*{20}{c}} {1,}&{\phi \ge \tau ,}\\ {0,}&{{\rm{otherwise}},} \end{array}} \right. $ | (26) |
其中,τ∈(0, 1),通常取
上述计算过程可综述为
Compute w from (7);uij0=f0;vij0=▽uij; 10=▽ϕ; λ0ij=0;σ0=0;ε=0.001; N=200;E0=0;N=200; for(k=0;k<=N; k++)
1. Compute λijk+1(i=1, 2;j=1, 2, 3) from (15)
2. Compute uijk+1(i=1, 2;j=1, 2, 3) from (17);
3.Compute vijk+1(i=1, 2;j=1, 2, 3) from (18);
4. Compute ϕk+1from (22) and (23);
5. Compute wk+1 from (21);
6. Compute Ek+1 from (14);
If (25) is fulfilled
Break
Else Continue
Endif
End for
3 实验结果与分析实验研究分2部分,第一部分通过典型彩色纹理图像的数值实验考察所提出模型对纹理和边缘的保持效果。第二部分的目的在于考察模型及算法与现有模型分割效果的区别。所有实验在(Intel(R) Core(TM).i5-4590 CPU@3.30 GHz,4.00 GB内存)上完成,编程环境为Matlab R2014b。实验数据选自伯克利分割数据集[26]。
3.1 提出模型对复杂纹理图像处理结果在图 2中,选取了4幅合成的复杂纹理图像。这4幅图像纹理复杂,并且目标与背景相似,分割难度较大。4幅图像采用像素片大小的轮廓线根据图像的特点在所分割目标附近进行初始化。4幅图像采用的像素片大小均为5×5,前2幅图搜索窗口为9×9,第3、4幅图搜索窗口为7×7。通过实验结果可以看出,模型对于纹理和边缘信息保持较好,可以得到比较理想的分割结果。
在图 3中,轮廓线沿着目标物体演化最终到边缘停止演化,(e)是最终分割结果。4幅图像素片大小均为5,前3幅图像搜索窗口为11,第4幅图搜索窗口为9。第1幅老虎的图像取值轮廓线紧贴老虎边缘,尾巴后面没有精确分割。第2幅飞机图像的分割结果比较精确,保持层与层之间的耦合,并且没有出现过分割。第3幅斑点鱼和第4幅花豹图像目标和背景比较接近,纹理复杂,非局部项▽NLuij可以保持纹理信息,但还有细节分割不精确。总体来说,提出的模型对于不同环境下的自然纹理图像都可以得到比较理想的分割结果。
为了进一步证明提出的彩色纹理分割模型的优越性,用客观评价方法F-measure[27]对模型的分割结果进行评估。通过手工标记的分割标准图像与实验分割结果进行比对计算出准确率(P)和召回率(R)。F-measure计算公式如下
$ F = \frac{{P * R}}{{\xi P + \left( {1 - \xi } \right)R}}, $ | (27) |
式中:ξ=0.5。F∈[0, 1],F越接近1代表分割效果越好,如表 1所示。
在图 4中用提出的方法与另外6中彩色纹理图像的分割算法进行对比。伯克利分割数据集提供了分割标准图像。(f)是文献[9]分割结果。从实验结果可以看出,由于纹理信息复杂,JSEG方法[28]出现了过分割,背景区域也出现过分割,N-cuts[29]和CTM[30]也出现同样的过分割现象,并且较严重。MAP-ML方法[30]目标区域也会出现较少的过分割。文献[9]分割结果出现少量过分割和欠分割。非局部Mumford-Shah-MT模型对于纹理信息的保持很好,没有出现过分割现象,这是因为非局部方法是基于片的相似性而不是点与点之间的,是对局部信息和全局信息的整合,所以纹理信息可以处理好。研究所提出的模型同样使用非局部算子,很好地保持了纹理信息,没有出现过分割现象,由于使用多通道全变差规则项,彩色图像层与层之间的耦合很好,边缘没有出现模糊现象,轮廓线紧贴目标边缘。
表 2是2种非局部方法的消耗时间,根据图 2可知,轮廓线随着迭代次数的增加会逐渐逼近目标边缘,当轮廓线到达目标边缘时,能量函数会收敛,趋于稳态,得到稳态解,分割结束。为了客观评价2种方法的耗时,2个种非局部方法尽可能使用一致的惩罚参数。对公式(13)中的
在综合了经典的Mumford-Shah模型、多通道全变差模型、非局部变分模型基础上提出了彩色纹理图像分割的非局部Mumford-Shah多通道全变差模型,并设计了相应的ADMM算法,将原变分问题分解为一系列可通过Gauss-Seidel迭代和广义软阈值公式快速计算的简单子优化问题。通过大量数值实验比较验证了研究方法较现有方法在纹理图像边缘表达以及图像层与层耦合方面的优越性。未来还可将相关研究推广到曲面纹理图像的分割。
[1] |
Caselles V, Kimmel R, Sapiro G. Geodesic active contours[J]. International Journal of Computer Vision, 1997, 22(1): 61-79. DOI:10.1023/A:1007979827043 |
[2] |
Chan T F, Vese L A. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277. |
[3] |
Vese L A, Chan T F. A multiphase level set framework for image segmentation using the mumford and shah model[J]. International Journal of Computer Vision, 2002, 50(3): 271-293. |
[4] |
Cremers D. Nonlinear dynamical shape priors for level set segmentation[J]. Journal of Scientific Computing, 2008, 35(2-3): 132-143. DOI:10.1007/s10915-008-9220-x |
[5] |
Sagiv C, Sochen N A, Zeevi Y Y. Integrated active contours for texture segmentation[J]. IEEE Transactions on Image Processing, 2006, 15(6): 1633-1646. DOI:10.1109/TIP.2006.871133 |
[6] |
Aujol J, Aubert G, Blanc-Feraud L. Wavelet-based level set evolution for classification of textured images[J]. IEEE Transactions on Image Processing, 2003, 12(12): 1634-1641. DOI:10.1109/TIP.2003.819309 |
[7] |
Chan T F, Sandberg B Y, Vese L A. Active contours without edges for vector-valued images[J]. Journal of Visual Communication and Image Representation, 2000, 11(2): 130-141. DOI:10.1006/jvci.1999.0442 |
[8] |
Li L, Jin L, Xu X Y, et al. Unsupervised color-texture segmentation based on multiscale quaternion Gabor filters and splitting strategy[J]. Signal Processing, 2013, 93(9): 2559-2572. DOI:10.1016/j.sigpro.2013.02.010 |
[9] |
Wang G, Pan Z, Dong Q, et al. Unsupervised texture segmentation using active contour model and oscillating information[J]. Journal of Applied Mathematics, 2014, 2014: 1-11. |
[10] |
Vese L A, Osher S J. Modeling textures with total variation minimization and oscillating patterns in image processing[J]. Journal of Scientific Computing, 2003, 19(1-3): 553-572. |
[11] |
Gilboa G, Osher S. Nonlocal operators with applications to image processing[J]. Multiscale Modeling & Simulation, 2008, 7(3): 1005-1028. |
[12] |
Bresson X, Chan T F. Non-local unsupervised variational image segmentation models[R]. Los Angeles: UCLA, Computational Applied Mathematics, 2008.
|
[13] |
Mumford D, Shah J. Optimal approximations by piecewise smooth functions and associated variational problems[J]. Communications on Pure and Applied Mathematics, 1989, 42(5): 577-685. DOI:10.1002/(ISSN)1097-0312 |
[14] |
Wang G, Lu J, Pan Z, et al. Color texture segmentation based on active contour model with multichannel nonlocal and Tikhonov regularization[J]. Multimedia Tools and Applications, 2017, 76(22): 24515-24526. DOI:10.1007/s11042-016-4136-1 |
[15] |
Yang J, Yin W, Zhang Y, et al. A fast algorithm for edge-preserving variational multichannel image restoration[J]. Siam Journal on Imaging Sciences, 2009, 2(2): 569-592. DOI:10.1137/080730421 |
[16] |
Goldstein T, O'Donoghue B, Setzer S, et al. Fast alternating direction optimization methods[J]. SIAM Journal on Imaging Sciences, 2014, 7(3): 1588-1623. DOI:10.1137/120896219 |
[17] |
Myllykoski M, Glowinski R, Kärkkäinen T, et al. A new augmented lagrangian approach for L1-mean curvature image denoising[J]. SIAM Journal on Imaging Sciences, 2015, 8(1): 95-125. DOI:10.1137/140962164 |
[18] |
Bresson X, Esedog-lu S, Vandergheynst P, et al. Fast global minimization of the active contour/snake model[J]. Journal of Mathematical Imaging and Vision, 2007, 28(2): 151-167. DOI:10.1007/s10851-007-0002-0 |
[19] |
Buades A, Coll B, Morel J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2006, 4(2): 490-530. |
[20] |
Xu S, Zhou Y, Xiang H, et al. Remote sensing image denoising using patch grouping-based nonlocal means algorithm[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 1-5. |
[21] |
端金鸣, 潘振宽, 台雪成. 彩色纹理图像恢复的非局部TV模型[J]. 中国图象图形学报, 2013, 18(7): 753-760. DUAN Jinming, PAN Zhenkuan, TAI Xuecheng. Non-Local TV models for restoration of color texture images[J]. Journal of Image and Graphics, 2013, 18(7): 753-760. (in Chinese) |
[22] |
Huang F, Lan B, Tao J, et al. A parallel nonlocal means algorithm for remote sensing image denoising on an intel xeon phi platform[J]. IEEE Access, 2017, 5: 8559-8567. DOI:10.1109/ACCESS.2017.2696362 |
[23] |
Wan L, Zhang T, Xiang Y, et al. A robust fuzzy C-means algorithm based on bayesian nonlocal spatial information for SAR image segmentation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(3): 896-906. DOI:10.1109/JSTARS.2018.2792841 |
[24] |
Huo G, Yang S X, Li Q, et al. A robust and fast method for sidescan sonar image segmentation using nonlocal despeckling and active contour model[J]. IEEE Transactions on Cybernetics, 2017, 47(4): 855-872. DOI:10.1109/TCYB.2016.2530786 |
[25] |
Wachinger C, Brennan M, Sharp G C, et al. Efficient descriptor-based segmentation of parotid glands with nonlocal means[J]. IEEE Transactionsons on Biomedical Engineering, 2017, 64(7): 1492-1502. DOI:10.1109/TBME.2016.2603119 |
[26] |
Martin D R, Fowlkes C, Tal D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings Eighth IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press, 2002, 2: 416-423.
|
[27] |
Martin D, Fowlkes C, Malik J. Learning to detect natural image boundaries using local brightness, color, and texture cues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(5): 530-549. DOI:10.1109/TPAMI.2004.1273918 |
[28] |
Deng Y, Manjunath B S. Unsupervised segmentation of color-texture regions in images and video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(8): 800-810. DOI:10.1109/34.946985 |
[29] |
Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905. DOI:10.1109/34.868688 |
[30] |
Yang A Y, Wright J, Ma Y, et al. Unsupervised segmentation of natural images via lossy data compression[J]. Computer Vision and Image Understanding, 2008, 110(2): 212-225. DOI:10.1016/j.cviu.2007.07.005 |
[31] |
Chen S, Cao L, Wang Y, et al. Image segmentation by MAP-ML estimations[J]. IEEE Transactions on Image Processing, 2010, 19(9): 2254-2264. DOI:10.1109/TIP.2010.2047164 |