文章快速检索     高级检索
  重庆大学学报  2013, Vol. 36 Issue (10): 16-21  DOI: 10.11835/j.issn.1000-582X.2013.10.003 RIS(文献管理工具)
0

引用本文 

谢长贵, 谢志江. 热态重轨表面缺陷机器视觉检测的关键技术[J]. 重庆大学学报, 2013, 36(10): 16-21. DOI: 10.11835/j.issn.1000-582X.2013.10.003.
XIE Changgui, XIE Zhijiang. Key technology of detecting hot heavy rail steel surface faults based on machine vision[J]. Journal of Chongqing University, 2013, 36(10): 16-21. DOI: 10.11835/j.issn.1000-582X.2013.10.003. .

基金项目

国家自然科学基金委员会与中国工程物理研究院联合基金资助(10976034)

作者简介

谢长贵(1984-), 男, 重庆大学博士研究生, 主要从事设备故障诊断与图像处理研究, (E-mail)xiechanggui_125@sina.com

文章历史

收稿日期: 2013-05-20
热态重轨表面缺陷机器视觉检测的关键技术
谢长贵1,2, 谢志江1     
1. 重庆大学 机械工程学院, 重庆 400044;
2. 重庆工程职业技术学院 机械工程学院, 重庆 400037
摘要: 针对目前热态重轨表面缺陷检测速度慢、精度低的问题,提出一种基于机器视觉的热态重轨表面缺陷检测系统。利用多线阵CCD摄像机采集图像,根据重轨几何特征及其缺陷高频区域特性,对重轨进行了六视角拍摄,然后在图像工作站中进行各种图像处理。系统采用改进的Hough变换提取特征缺陷,针对SVM算法训练速度慢的特点,利用模糊Kohonen神经网络对重轨表面缺陷进行分类。采用上述机器视觉检测关键技术对热态重轨表面进行缺陷识别,提高了检测速度,且正确率在85%以上。
关键词: 热态重轨    机器视觉    重轨表面缺陷    神经网络    
Key technology of detecting hot heavy rail steel surface faults based on machine vision
XIE Changgui1,2 , XIE Zhijiang1     
1. College of Mechanical Engineering, Chongqing University, Chongqing 400044, China;
2. College of Mechanical Engineering, Chongqing Vocational Institute of Engineering, Chongqing 400037, China
Abstract: Aiming at the low efficiency and precision of hot rail steel surface faults detecting at present, a suit of surface defect detection system of hot heavy rail based on the machine vision is put forward. Multi-CCD cameras are used to collect pictures. According to the geometric characteristics of the heavy rail and its defect characteristics of high-frequency region, six angle shot is used for heavy rail, and then various image processing technology are adopted in workstation. The system adopts improved Hough transform to get surface faults and Kohonen network to make a classification for the characteristics of low SVM training algorithm. The above key machine vision technology for detection of hot heavy rail surface defects greatly improves the speed and accuracy of testing and the detecting correct rate arrives over 85%.
Key Words: hot heavy rail steel    machine vision    heavy rail surface faults    neural network    

近年来铁路运输正朝着重载化和高速化的方向发展,对重轨表面质量的要求越来越高。高速铁路采用的重轨,除了对铁轨的材质,加工工艺水平,几何尺寸要求严格以外,重轨表面缺陷检测已成为一个重要的技术指标[1-4]

当前热态重轨表面缺陷监测的现状主要有以下3点:1)检测主观性较强,热态重轨仅仅在UF出口后的冷床上进行检测,而检测靠检测技术人员的肉眼完成,没有较好的自动检测设备;2)检测环境恶劣,冷床上的重轨存在温度高(重轨温度为800°~900°)、热辐射、粉尘重等特性,检测环境较差;3)只进行了抽检,且抽检率低。传统的热态重轨表面缺陷检测主要依赖人工巡查检测,其抽检率只有10%,检测效率低,误检率高。目前,国内对于重轨表面缺陷的在线检测还没成熟的检测方法,尤其是缺陷特征提取、缺陷分类等关键技术大多使用效率较低的算法,如Hough变换、SVM等方法[5-8]。针对目前热态重轨表面检测方法检测速度慢,检测精度低等问题,应用机器视觉理论和技术,实时采集重轨表面图像,并进行图像处理和缺陷识别,达到检测重轨表面缺陷的目的。

1 重轨几何特征及缺陷高频区域

重轨表面形状、截面轮廓复杂,其主要由轨头、轨底、轨腰3部分组成。重轨横截面示意图如图 1所示。

图 1 重轨横截面示意图

根据重轨生产表面缺陷统计数据,重轨表面缺陷主要集中在重轨表面的转折连接弧面上,尤其以轨腰的上下腰面处最为突出,其次为表面精度和质量要求较高的重轨底面和踏面,这2类位置的缺陷占总缺陷统计数据的95%左右。针对该情况,将摄像机布置在重轨四周,分别对重轨的上下腰面、底面和踏面进行拍摄。系统最终选择的线阵CCD摄相机最优位置理论角度分别为46°,109°,165°,223°,321°,345°。各相机拍摄角度和分布位置如图 2所示。

图 2 相机拍摄角度和分布位置示意图
2 缺陷检测关键技术

缺陷检测技术的目的主要是降低钢轨热辐射的干扰,提高图像动态范围,利用快速有效算法辨别缺陷,提高重轨表面缺陷精度。针对热态重轨表面缺陷检测面临的诸多难题,对系统进行了搭建,并从重轨辐射与光照、图像处理、缺陷提取与分类等几项关键技术进行了研究。

2.1 热态重轨辐射特性与光照

重轨精轧后温度由外到内不断上升,中心最高温度约为900 ℃,表面温度约为800 ℃,热态重轨各方向上辐射亮度接近相同,可近似认为是一个朗伯辐射体,根据高温物体辐射亮度为

$ {B_\lambda } = \xi * f\left( {\lambda, T} \right) * B * {T^5}/{\rm{ \mathsf{ π}, }} $ (1)

式中:B=1.286 7×10-11(W·m-2·μm-1·K-5);Bλ为高温物体在温度T时辐射光谱在波长λ处的辐射强度;ξ为热态重轨与同温度的黑体辐射辐射率的比值。根据式(1),可计算得热态重轨900 ℃(1 173 K)与800 ℃(1 073 K)时辐射光谱图,结果如图 3所示。

图 3 热态重轨光谱辐射曲线图

由以上计算结果可知,重轨内部区域(约900 ℃)的红光和红外辐射整体强度高于重轨表面(约800 ℃)区域。红外区域的大部分能量均来自重轨内部高温区,若直接使用线阵CCD摄像机对重轨进行拍摄,此情况下CCD摄像机采集到的最终图片将出现强烈的来自重轨内部的红外信息,这些信息会掩盖、干扰重轨表面图像。为获取重轨表面清晰图像,必须对相机入口光线过滤,以排除热态重轨中心强红外辐射对重轨表面信息采集的影响。

机器视觉系统中,被拍摄物体实际成像效果和光照条件、照明方式有密切联系[9-12]。由于重轨表面粗糙,漫反射性能好,且重轨表面缺陷均属于三维缺陷,因此暗域照明方式(即CCD相机采集的入射光避开光源的直接反射光)为最佳选择,光路配置如图 4所示。

图 4 照明光路配置图
2.2 图像降噪

热态重轨拍摄时图像干扰源主要为现场的粉尘产生和光源光照亮度波动产生的噪音。高温重轨表面氧化铁皮的生成和轧制过程中氧化铁皮的脱落将产生大量粉尘或成块的氧化铁皮,它们阻挡在光源辐射光路上,在图像中形成点状噪声。在光照强度波动的情况下,线阵CCD摄像机所采集到的重轨表面信息存在因照明亮度波动所产生的间隔的明暗条纹,如图 5所示。

图 5 光源光照亮度波动噪音图

光源光照亮度波动噪音对图像采集系统而言是一个加性噪音,CCD摄像机所得信号可表示为

$ F = I \cdot {N_{\rm{P}}} + {N_{\rm{i}}} + {N_{\rm{o}}}, $ (2)

式中:F为CCD摄像机采集到的图像信号;I为被拍摄位置的反射光强;Np为乘性噪音;Ni为光源波动噪音;No为其他加性噪音。

由于背景区域在拍摄时静止不动或只存在轻微振动,可认为该部分的反射光强恒定不变,在无振动情况下,理论上为一常量。利用对背景区域信息的计算可近似计算出光源光照亮度噪音和其他加性噪音的波动变化情况。

其计算过程为

$ S'\left( i \right) = \frac{1}{\mathit{\boldsymbol{n}}}\sum\limits_{j = 1}^n {{\mathit{\boldsymbol{F}}_{\rm{b}}}\left( {i, j} \right), } $ (3)
$ N'\left( i \right) = S'\left( i \right) - \overline {S'\left( i \right)}, $ (4)

式中:N′(i)为第i列像素位置光照亮度波动估计值;n为背景矩阵行值;Fb为图像背景区域像素矩阵;ij为矩阵的行和列。

根据由图像背景区域对光照强度波动噪音及其他加性噪音的估计曲线计算,得到去加性噪音后的最终图像,光照强度噪音处理前后结果如图 6所示。

图 6 光照亮度波动噪音处理
2.3 重轨图像增强

在热态重轨的机器视觉检测系统中,若图像处理初期就进行图像增强处理,必定会在过曝区域和过暗区域丢失重轨表面信息并产生噪音,难以达到预期的处理效果。因此在对重轨表面图像信息进行分析后,系统选择首先对原始图像的各种噪音(光照功率波动噪音,光照不均噪音等)进行处理,待去噪完成后,再进行图像的增强。系统采取空间域增强算法,效果直观,且处理效率较高。

空间域图像处理计算公式为

$ g\left( {x, y} \right) = T\left( {f\left( {x, y} \right)} \right), $ (5)

式中T为操作在(xy)某个领域上的算子。

用上述算法对已去噪的重轨图像进行空间域线性拉伸,进一步提高了图像分辨率,结果如图 7所示。

图 7 图像增强处理
2.4 重轨图像缺陷提取

对重轨图像进行缺陷识别重点是图像分割技术。常用的图像分割方法有并行区域分割、区域生长等方法。热态重轨表面缺陷种类繁多,形态复杂,缺陷部分在直方图中没有相对独立的亮度区域,双峰结构不明显且计算复杂,不宜使用并行区域分割;而区域生长过多依赖于初始种子的选取及终止条件。

为了解决热态重轨表面缺陷识别的问题,系统采用改进的Hough变换进行图像分割。标准Hough变换的核心算法依靠ρ=xcos θ+ysin θ,而改进的Hough变换采用y=$φ$(x)=kx+b

用改进的Hough变换检测直线的具体算法如下:

1) 将CCD采集到的图像用上述方法进行预处理并二值化后得到二值化图像;

2) 根据二值化图像,设定合适的阈值T,对其进行边缘检测;

3) 用Hough变换,将直角坐标变换成极坐标空间,将线检测转化成点检测;

4) 检测出各个直线段的起止点;

5) 利用一条直线两端点斜率确定,标记该线段的下一点,然后进行直线拟合。

6) 利用直线端点的坐标值计算直线段的距离,设定一个小阈值T1,用来检测较短的直线段。

针对经典Hough变换难以检测弯曲线段的特点,改进的Hough变换在直线拟合时采用局部直线拟合的方法。直线拟合方程为

$ y = \varphi \left( x \right) = {a_0} + {a_1}x, $ (6)

式中a0a1待定,使其“最优”的拟合数据。这个“最优”的标准是使得$φ$(x)在xi的偏差δi的平方和Q达到最小。

$ {\delta _i} = \varphi \left( {{x_i}} \right) - {y_i}\;\;\;\left( {i = 1, 2, \cdots, N} \right), $ (7)
$ Q = \sum\limits_{i = 1}^N {\delta _i^2} = \sum\limits_{i = 1}^N {{{\left[{\varphi \left( {{x_i}} \right)-{y_i}} \right]}^2}} 。$ (8)

由于拟合曲线y=$φ$(x)不一定过点(xiyi),因此,把点(xiyi)代入y=$φ$(x),便得到以a0a1为未知量的矛盾方程组。

$ \left\{ \begin{array}{l} {a_0} + {a_1}{x_1} = {y_1}, \\ {a_0} + {a_1}{x_2} = {y_2}, \\ \vdots \\ {a_0} + {a_1}{x_N} = {y_N}。\end{array} \right. $ (9)

式(7)所指的偏差就是矛盾方程组各方程的偏差,满足拟合条件就是确定a0a1的值,使Q达到最小值。由于xy为一直点坐标,在具体求解中还要取整去对应具体的像素点。

用上述算法对原图进行直线检测,然后消除得到缺陷图像中的直线,对图像进行扫描,将有位置关联的像点进行相同标注,像素点最多的标注号对应缺陷目标,可从图像中分离出来。图 8为重轨缺陷分离后的特征图。

图 8 重轨缺陷分离特征图
2.5 表面缺陷分类

根据现场实际生产中对重轨表面缺陷的统计,缺陷按类型可分为16类,其中最常见的表面缺陷主要有8种:结疤、轧疤、掉肉、辊印、底裂、矫伤、冷伤和表面夹杂。

文章选择模糊Kohonen神经网络算法对重轨表面缺陷进行分类[13-15]。与SVM方法相比,模糊Kohonen神经网络有很强的聚类能力,学习训练耗时更少,运算速度更快。模糊Kohonen神经网络由一个输入层和一个分布在二维平面上的输出层组成,其网络拓扑结构如图 9所示。

图 9 模糊Kohonen神经网络拓扑结构

网络采用无监督模式,网络权值根据输入训练样本进行自适应自组织地逐渐收敛,选出的一个神经元网络训练好后,当同样的模式出现时,某个神经元会兴奋起来,从而识别输入信号的所属类别。

模糊Kohonen的学习算法和分类特征如下:

1) 将网络的连接权Wji赋予较小的权值,确定邻域Ng(t)的初始值Ng(0),设定总学习次数T

2) 在q个学习模式中任选一个模式Xk供给网络输入层;

3) 计算输入样本与每个神经元之间的欧氏距离

$ {d_j} = \left| {{x_k} - {w_j}} \right| = \sqrt {\sum\limits_{i = 1}^N {{{\left[{x_i^k\left( t \right)-{w_{ji}}\left( t \right)} \right]}^2}} } 。$ (10)

计算出一个具有最小距离的神经元j*

4) 给出一个周围的邻域Ng(t);

5) 修正神经元j*及其邻域内的权值;

6) 使用新的学习样本,返回步骤2),重复上述过程。

若把需识别的缺陷样本与网络输入层连接,按照上述学习算法进行计算,输出层的信号就会兴奋起来,从而识别输入信号的所属类别,实现对重轨缺陷的分类。

选择200个样本对Kohonen网络及SVM进行训练学习。在Matlab 7.0环境下对2种算法进行仿真训练,2算法的训练耗时、迭代次数的比较见表 1所示。

表 1 2种算法的实验结果

表 1可知,模糊Kohonen神经网络比SVM学习耗时更少,运算速度更快。将40个实际缺陷样本送入学习训练好的模糊Kohonen神经网络和SVM进行检测分类。SVM的分类正确率为70%左右,而采用模糊Kohonen神经网络对重轨表面典型缺陷进行分类,识别类正确率达到85%以上,能较好地满足工程需要。其中模糊Kohonen神经网络的缺陷分类结果如表 2所示。

表 2 重轨表面缺陷识别结果
3 结论

针对重轨轧制速度过快的情况,设计了以高速线阵CCD摄像机采集重轨表面图像,人工神经网络进行缺陷分类的机器视觉检测系统,并对热态重轨表面缺陷机器视觉检测的关键技术进行了讨论,系统所取得结果在某钢铁厂的实际检测应用中取得了良好的效果,较大地提高了重轨表面缺陷检测速度和精度。

参考文献
[1] KIMURA T, TAKEMASA M, HONJO M. Development of SP3 rail with high wear resistance and rolling contact fatigue resistance for heavy haul railways[J]. JFE Technical Report, 2011, 16: 32–37.
[2] WU H, KALAY S, TOURNAY H. Development of the wheel-rail interface management model and its applications in heavy haul operations[J]. Proceedings of the Institution of Mechanical Engineers, 2011, 255(1): 38–47.
[3] 王凌云, 黄红辉, 王雪, 等. 重轨表面缺陷机器视觉检测的关键技术[J]. 重庆大学学报:自然科学版, 2007, 30(9): 27–31.
WANG Lingyun, HUANG Honghui, WANG Xue, et al. The study on key technology of faults detecting on surface of rail steel based on machine vision[J]. Journal of Chongqing University:Natural Science Edition, 2007, 30(9): 27–31. (in Chinese)
[4] 官鑫, 赵智雅, 高晓蓉. 图像处理技术在钢轨表面缺陷检测和分类中的应用[J]. 铁路计算机应用, 2009, 18(6): 27–29.
GUAN Xin, ZHAO Zhiya, GAO Xiaorong. Application of image processing technology in the rail surface defect detection and classification[J]. Railway Computer Application, 2009, 18(6): 27–29. (in Chinese)
[5] 华翔, 孙蕾. 基于SVM的医学图像分类器的设计[J]. 微电子学与计算机, 2011, 28(6): 171–175.
HUA Xiang, SUN Lei. Design of medical image classifier based on SVM[J]. Microelectronics and Computer, 2011, 28(6): 171–175. (in Chinese)
[6] 胡亮, 段发阶, 丁克勤, 等. 基于线阵CCD钢板表面缺陷在线检测系统的研究[J]. 计量学报, 2005, 26(3): 200–203.
HU Liang, DUAN Fajie, DING Keqin, et al. Study on in-line surface defect detection system for steel strip based on linear CCD sensor[J]. Acta Metrologica Sinica, 2005, 26(3): 200–203. (in Chinese)
[7] 田震, 张玘, 熊九龙, 等. 基于神经网络的大范围空间标定技术[J]. 光学学报, 2011, 31(4): 1–6.
TIAN Zhen, ZHANG Qi, XIONG Jiulong, et al. Large-scale camera calibration with neural network[J]. Acta Optics Sinica, 2011, 31(4): 1–6. (in Chinese)
[8] SHAO D X, LI J, LIN R, et al. The image process technology of micro-detection for jet-pan based on CCD[J]. Advanced Materials Research, 2011, 305: 31–3. DOI:10.4028/www.scientific.net/AMR.305
[9] 叶苏茹. 基于机器视觉的热态重轨表面缺陷检测关键技术研究[D]. 重庆: 重庆大学, 2009: 54-57.
[10] BASSIOU N, KOTROPOULOS C. Color image histogram equalization by absolute discounting back-off[J]. Computer Vision and Image Understanding, 2007, 107(1-2): 108–122. DOI:10.1016/j.cviu.2006.11.012
[11] 张洪涛, 段发阶, 丁克勤, 等. 带钢表面缺陷视觉检测系统关键技术研究[J]. 计量学报, 2007, 28(3): 215–219.
ZHANG Hongtao, DUAN Fajie, DING Keqin, et al. Developement of key technology on surface defects detection system for steel strip[J]. Acta Metrologica Sinica, 2007, 28(3): 215–219. (in Chinese)
[12] SHIN Y J, LEE J B. Machine vision for digital microfluidics[J]. Review of Scientific Instruments, 2010, 81(1): 1–6.
[13] 谢志江, 程力旻, 陈平, 等. 模糊Kohonen神经网络回热系统故障诊断[J]. 重庆大学学报:自然科学版, 2008, 31(9): 992–995.
XIE Zhijiang, CHENG Limin, CHEN Ping, et al. Fuzzy fault diagnosis for a regenerative heating systembased on a Kohonen neural network[J]. Journal of Chongqing University:Natural Science Edition, 2008, 31(9): 992–995. (in Chinese)
[14] LI A, GU Q, FENG G C, et al. SNN -A neural network based combination of software reliability growth models[C]//Preceedings of 20091st International Conference on Information Science and Engineering, Piscataway:IEEE Press 2009:5109-5112.
[15] LGWE P, EMRANI M, ADEEB S, et al. Assessing torso deformity in scoliosis using Self-Organizing Neural Networks (SNN)[C]//Proceedings of the 7th International Conference on Machine Learning and Applications, December 11-13, 2008, San Diego, California, USA. Piscataway:IEEE Press, 2008, 497-502.
图 1 重轨横截面示意图
图 2 相机拍摄角度和分布位置示意图
图 3 热态重轨光谱辐射曲线图
图 4 照明光路配置图
图 5 光源光照亮度波动噪音图
图 6 光照亮度波动噪音处理
图 7 图像增强处理
图 8 重轨缺陷分离特征图
图 9 模糊Kohonen神经网络拓扑结构
表 1 2种算法的实验结果
表 2 重轨表面缺陷识别结果
热态重轨表面缺陷机器视觉检测的关键技术
谢长贵, 谢志江