2. 北京大恒图像视觉有限公司, 北京 100085
2. Beijing Daheng Image Vision Co. Ltd, Beijing 100085, P. R. China
众所周知,糖尿病性视网膜病变(diabetic retinopathy,DR)是导致失明的主要原因,而对DR的早期诊断并采取治疗能有效防止失明。渗出(包括硬性渗出和软性渗出)作为DR早期症状,主要发生在非增殖期,即不可逆损伤(增殖期)之前,因此,渗出的检测有助于DR的早期诊断。传统的检测方法为专家识别法,眼科专家通过人工阅片的方法判定眼底图像渗出病变,既耗时又容易受主观判断的影响, 且在边远地区还存在专业眼科医生缺乏的困难。相反,基于图像处理的计算机检测法可在提高检测结果准确性的同时极大缩短检测时间,有很强的可移植性。目前,眼底图像渗出检测的方法主要分为2大类,即基于形态学的图像处理检测算法和基于机器学习的检测算法。
在国外,大量学者对基于形态学的分割方法进行了深入研究。Sopharak A等率先采用了数学形态学的方法,对非瞳孔放大图像进行自动检测[1];同时,还通过形态学重建, 进行眼底渗出自动检测[2]。Ravishankar S提出了一种快速鲁棒的渗出检测方法[3]。Jaafar H F等通过自适应阈值分割出病灶候选区域,改善了分割的结果[4]。Welfer D等采用形态学的方法,由粗到精地分割出候选区域[5]。Feroui A等将形态学与K均值相结合,改进了单纯采用形态学方法分割的效果[6]。
然而, 基于形态学的分割方法容易受环境影响,检测结果在不同光照和背景下差异较大。为增强分割得到适应性,学者们采用机器学习的办法进行了研究。朴素贝叶斯分类的方法,通过灰度级形态学分割出渗出候选区域,在该区域内提取50维特征,训练出贝叶斯分类器。经过提升优化,该方法能有效检测渗出区域[7-8]。采用模糊C均值方法对眼底图像渗出检测的研究[9-11]也比较多。通过对比度增强提升图像质量,进而提取强度、强度标准差、不变矩、边缘像素数等特征,最终模糊C均值聚类分割出渗出区域。Ravindraiah等提出了拉普拉斯核空间的模糊C均值聚类算法[12],将空间信息引入目标函数及模糊成员函数。Sreeparna等提出了先采用模糊C均值分割出候选的渗出区域,再采用朴素贝叶斯和支持向量机进行分类的方法。该方法显示,朴素贝叶斯对亮的病灶区域更具有有效性,而支持向量机对暗病灶区域分割更为有效[13]。Sopharak A等还尝试了支持向量机和贝叶斯分类器的渗出检测方法[14],将选取15种特征作为朴素贝叶斯模型的训练集,然后通过贝叶斯分类器进行特征选取,通过格子状搜索,找到超参数(容忍度和训练误差及径向基函数宽度)的最佳组合。Haloi M等也采用了基于高斯尺度空间的支持向量机方法来分类视盘和黄斑区域[15],并最终检测出渗出区域。Carla等提出了基于蚁群优化算法的非监督方法[16],该方法效果明显优于Kirch滤波器对渗出的检测结果。Xiwei Zhang等将形态学与随机森林相结合,前者用于提取渗出候选区域,后者用于训练分类器[17]。Kemal Akyol等设计了决策支持系统,该系统包括人工神经网络、随机森林及决策树算法,结果表明, 基于机器学习的分割方法非常有效[18]。Prentašić等通过卷积神经网络有效地分割出了渗出区域[19]。
国内眼底图像的渗出检测研究较少,与国外有一定差距,高玮玮等开展了基于RBF的渗出检测方法[20],潘燕红等进行了基于SVM的眼底图像硬性渗出检测方法[21]。由于分割采用的数据样本数量有限,泛化能力有待测试。文中针对不同眼底图像渗出识别问题,依据深度学习相关原理,采用反补偿图像预处理方法和决策树分类方法,避免传统专家检测效率低和形态学检测重复性差的缺点,实现了对不同质量眼底图像的快速准确渗出检测。
1 实验材料和方法 1.1 材料Messidor数据库主要用于糖尿病性视网膜病变的计算机辅助诊断研究,是当前公开眼底图像最多的数据库。包括1 200幅彩色眼底图像,即400张未散瞳眼底图像和800张散瞳眼底图像,均采用常规临床检查中眼底照相机拍摄。图像分为3组,每组分辨率分别为:1 400×960、240×1 488、2 304×1 536,每组包含4个图像集,图像格式为未压缩的TIFF。对于每幅眼底图像,Messidor数据库提供了2个诊断结果,即视网膜病变等级和黄斑水肿风险等级。诊断结果由医学专家根据表 1所示分级方案得到,渗出检测结果参考该标准。在该标准下,973幅图像中不包含渗出,227张图像包含渗出。文中采用Messidor数据库眼底图像,划分训练样本和测试样本,将训练数据(渗出区域)随机划分为3组,并采用交叉验证。
![]() |
表 1 专家检测、自动渗出检测及Messidor数据参考标准对比一览表 Table 1 Results Of expert examination, decision tree detection and messidor data reference Standard |
首先,对数据库中图像进行归一化预处理,去除因曝光度不同造成的图像颜色差异;其次,提取出图像中渗出区域作为机器学习的训练样本,并训练决策树分类器;最后,利用训练后的分类器对测试图像进行分类,验证分类器性能。具体流程如图 1所示。
![]() |
图 1 算法流程图 Figure 1 Flow chart of algorithm |
由于不同场景采集的图像差别很大,为保证后续分割的稳定性,文中选取了1幅质量较好的图像作为基准,采用反补偿的方法对图像的颜色、亮度及曝光分布进行了归一化处理[22]。
通过增强渗出等白色区域的对比度、去噪等预处理去除黑色背景。考虑到在RGB彩色图像模型中,渗出在绿色通道与背景图像具有最强的灰度对比度的特点,文中采用自适应阈值分割去除视盘等亮区域的影响(如图 2(a)所示),选出渗出候选区域,并将预处理后的渗出区域,去除血管等解剖结构(如图 2(b)所示),剩下的区域作为训练样本。流程图如图 3所示。
![]() |
图 2 视盘和血管的分割效果图 Figure 2 Segmentation of optic disc and blood-vessels |
![]() |
图 3 预处理流程图 Figure 3 Pretreatment Flow Chart |
渗出又分硬性渗出和软性渗出(即棉絮斑)。硬性渗出表现为大小不等、边界清晰的团块,常数个或数十个堆积,呈簇状,无规则地分布于眼底,在后极部尤为多见。位于静脉旁的渗出呈白鞘状,位于黄斑部的渗出呈完全或不完全的星芒状,颜色为蜡黄色。软性渗出又称棉絮斑,呈棉絮状或绒毛样,是形状不规则,大小不等,边界模糊的灰白或乳脂色斑,多位于大血管附近。
根据渗出的特点,文中选取亮度对比度、颜色对比度、梯度值、与周边区域的灰度差、与周边区域的颜色差、与周边血管的灰度对比、与周边血管的颜色对比等特征,用于训练分类器。
1.2.3 训练决策树分类器相比其他机器学习方法,决策树具有可读性强(可以看到其内部特征根节点和叶节点的具体过程)、分类速度快的优点,尤其适合小样本和特征不多的分类问题。决策树采用的算法主要有ID3、C4.5和CART算法。
ID3算法核心是在决策树各结点应用信息增益准则选择特征,即选择分裂后信息增益最大的属性进行分裂,从而递归构建决策树。该算法偏向于多值属性,对噪声敏感。
C4.5算法在ID3算法基础上进行了改进,采用信息增益率来选择属性,分类准确率高。但在构造树的过程中,需要对数据集进行多次顺序扫描和排序,该算法效率低。同时,ID3算法和C4.5算法在训练样本集时充分挖掘信息,生成的决策树分支多、规模大。
CART算法根据Gini指数最小的准则,选择相应特征进行分裂,并且包含后剪枝操作,提高了生成决策树的效率。CART算法具有对异常值不敏感,鲁棒性强的优点,文中采用该算法。
决策树算法的应用分2个阶段,先通过选择的特征对分类器进行训练,然后,采用测试数据对分类器进行测试,当分类准确率符合要求时,分类方法用于对新的数据进行分类[23],最终筛选出真正的渗出区域。
1.2.4 实验平台算法采用MATLAB编程实现,程序在CPU为2.4 GHz,内存为4 GB的Windows7平台下运行。
2 实验结果及评价指标 2.1 评价指标参考医学统计的方法,选取敏感度(sensitivity)和特异性作为算法对渗出检测性能的评价指标。
敏感性(sensitivity)又称为真阳性率或召回率,是渗出患者被诊断为阳性的概率,计算公式为
$ {F_{{\text{SE}}}} = {F_{{\text{TPR}}}} = \frac{{{N_{{\text{TP}}}}}}{{{N_{{\text{TP}}}} + {N_{{\text{FN}}}}}}, $ | (1) |
其中:NTP(真阳性,即渗出患者的眼底图像被正确检测出的情况);NFN(假阴性,渗出患者被错误地判断为正常,即漏检的情况)。FSE为敏感度,该值越大,说明诊断实验灵敏性越高,漏诊的概率低。
特异性(specificity)又称真阴性率,是未患病者眼底图像被诊断为阴性的概率,计算公式为
$ {F_{{\text{SP}}}} = {F_{{\text{TFR}}}} = \frac{{{N_{{\text{TN}}}}}}{{{N_{{\text{TN}}}} + {N_{{\text{FP}}}}}}, $ | (2) |
其中:NFP(假阳性,未患病者眼底图像被错误地检测出渗出);NTN(真阴性,未患病者被检测为正常的情况)。FSP为特异性,该值越大,诊断结果越精确,误诊的概率低。
2.2 实验结果为验证文中提出的渗出分割检测方法的性能,对Messidor数据库进行了自动分析,并与具有4~20年DR筛查经验的视网膜专家手动分析(专家根据表 1提供的方案判断渗出病变,并圈出渗出区域)的结果及Messidor数据给定的结果进行了对比。
由表 1结果分析可知,总共973张正常眼底图像中,自动检测得出的结果为985张,误检12张。眼科专家错把14张包含渗出的图像误判为异常。对比而言,人工误判的图像稍多,为2张;在有227张渗出的图像中,计算机正确检测的图像张数为215,漏检12张。相比眼科专家正确检测出的图像213张,漏检14张,效果更好。灵敏度为94.6%,特异性为94.9%。不难看出,专家手动诊断与文中自动诊断均存在一定的误诊率,但相对而言,自动诊断误诊率略低于手动诊断,考虑到人工诊断的效率、准确度等会因人而异,且长时间情况手动诊断会导致误诊率的进一步上升,这说明文中算法存在一定的优势。在眼底图像获取情况不一,光照不均匀等条件下,渗出物与背景差异不大时,文中算法识别率会受到一定的影响,如何进一步提高算法的鲁棒性,使之适应各种光照与环境,是后续工作的重点。图 4为渗出检测结果图。
![]() |
图 4 渗出检测结果图 Figure 4 Results of exudate detection |
采用ROC(receiver operation characteristic curves)曲线,即接受者测试曲线来评价决策树分类的方法。ROC曲线由敏感性和特异性结果绘制出,当曲线接近左上角时,算法性能最优。
将原始数据统计结果作为输入数据,采用ROCKIT软件对人工判读和机器判读的结果进行分析, 用最大似然估计法拟合出ROC曲线。该曲线下的面积,反映了人工检测和计算机自动检测的性能。其中,眼科专家和计算机检测有无渗出的实验中,采用了Messidor数据的全部1 200张图片,其对比结果如图 5所示,图中可以明显看出计算机自动检测的判读结果明显优于人工判读。
![]() |
图 5 ROC测试曲线图 Figure 5 ROC curves |
进一步测算了基于决策树方法的自动检测渗出和眼科专家判断的时间,结果如表 2所示。
![]() |
表 2 眼科专家与决策树方法判断时间对比一览表 Table 2 Comparision of Run Time Between Decision Tree and Ophthalmologists |
由决策树对眼底图像渗出的检测,1幅图像耗时不到10 s,而眼科专家从打开图像、观察到精确判定,需要的时间都在120 s以上,且计算机可以24 h不间断工作,对于大规模筛查具有很好的应用前景。
3 结论糖尿病视网膜病变是当今世界主要的致盲因素,中国DR患者4 000万,并呈现出增长趋势。眼底图像的渗出作为糖尿病性视网膜病变的早期症状,其检测是诊断DR的重要环节。传统的筛查方式,通过人工判断,难以满足大规模筛查的要求。文中提出的基于决策树的检测算法,结合形态学处理和自适应阈值分割。在Messidor数据集上的大量图像测试的结果,灵敏度达到94.6%,特异性达到94.9%,与眼科专家检测的结果相当,但检测时间大为缩短。
值得指出的是,即使在光照不均匀及环境变化的情况下,文中算法依然能很好地分割出渗出区域,具有很好的鲁棒性,算法效率高。当然,文中的检测方法对于硬性渗出和软性渗出的区分性不是很强,未来的工作将着眼于这方面研究。
[1] | Sopharak A, Uyyanonvara B, Barman S, et al. Automatic detection of diabetic retinopathy exudates from non-dilated retinal images using mathematical morphology methods[J]. Computerized Medical Imaging and Graphics, 2008, 32(8): 720–727. DOI:10.1016/j.compmedimag.2008.08.009 |
[2] | Sopharak A, Uyyanonvara B, Barman S, et al. Fine exudate detection using morphological reconstruction enhancement[J]. International Journal of Applied Biomedical Engineering, 2010, 1(1): 45–50. |
[3] | Ravishankar S, Jain A, Mittal A. Automated feature extraction for early detection of diabetic retinopathy in fundus images[C]//Computer Vision and Pattern Recognition, June 20-25, 2009. Miami, FL, USA. [S. l. ]: IEEE, 2009: 210-217. |
[4] | Jaafar H F, Nandi A K, Al-Nuaimy W. Detection of exudates in retinal images using a pure splitting technique[C]//2010 Annual International Conference of the IEEE Engineering in Medicine and Biology, Augest 31-Septmber4, 2010, BuenosAires, Argentina. [S. l. ]: IEEE, 2010: 6745-6748. |
[5] | Welfer D, Scharcanski J, Marinho D R. A coarse-to-fine strategy for automatically detecting exudates in color eye fundus images[J]. Computerized Medical Imaging and Graphics, 2010, 34(3): 228–235. DOI:10.1016/j.compmedimag.2009.10.001 |
[6] | Feroui A, Messadi M, Hadjidj I, et al. New segmentation methodology for exudate detection in color fundus images[J]. Journal of Mechanics in Medicine and Biology, 2013, 13(1): 1–14. |
[7] | Sopharak A, New K T, Moe Y A, et al. Automatic exudate detection with a naive Bayes classifier[C]//The 2008 International Conference on Embedded Systems and Intelligent Technology. [S. l. ]: [s. n. ], 2008: 139-142. |
[8] | Harangi B, Antal B, Hajdu A. Automatic exudate detection with improved Naïve-bayes classifier[C]//Computer-Based Medical Systems (CBMS), 201225th International Symposium on, June20-22, 2012, Rome, Italy. [S. l. ]: IEEE, 2012: 1-4. |
[9] | Sopharak A, Uyyanonvara B, Barman S. Automatic exudate detection for diabetic retinopathy screening[J]. Science Asia, 2009, 35(1): 80–88. DOI:10.2306/scienceasia1513-1874.2009.35.080 |
[10] | Sopharak A, Uyyanonvara B, Barman S. Automatic exudate detection from non-dilated diabetic retinopathy retinal images using fuzzy c-means clustering[J]. Sensors, 2009, 9(3): 2148–2161. DOI:10.3390/s90302148 |
[11] | Rashid S, Shagufta S. Computerized exudate detection in fundus images using statistical feature based fuzzy C-mean clustering[J]. International Journal of Computing and digital systems, 2013, 2(3): 135–145. DOI:10.12785/ijcds/020305 |
[12] | Ravindraiah R, Prasad P R. Detection of exudates in diabetic retinopathy images using laplacian kernel induced spatial FCM clustering algorithm[J]. Indian Journal of Science and Technology, 2016, 9(15): 1–6. |
[13] | Saha R, Chowdhury A R, Banerjee S. Diabetic Retinopathy Related Lesions Detection and Classification Using Machine Learning Technology[C]//International Conference on Artificial Intelligence and Soft Computing. West Bengal University of Technology, Kolkata, India. [S. l. ]: Springer International Publishing, 2016: 734-745. |
[14] | Sopharak A, Dailey M N, Uyyanonvara B, et al. Machine learning approach to automatic exudate detection in retinal images from diabetic patients[J]. Journal of Modern optics, 2010, 57(2): 124–135. DOI:10.1080/09500340903118517 |
[15] | Haloi M, Dandapat S, Sinha R. A gaussian scale space approach for exudates detection, classification and severity prediction[J]. Computer Science, 2015(9): 1–7. |
[16] | Pereira C, Gonçalves L, Ferreira M. Exudate segmentation in fundus images using an ant colony optimization approach[J]. Information Sciences, 2015, 296: 14–24. DOI:10.1016/j.ins.2014.10.059 |
[17] | Zhang X, Thibault G, Decencière E, et al. Exudate detection in color retinal images for mass screening of diabetic retinopathy[J]. Medical Image Analysis, 2014, 18(7): 1026–1043. DOI:10.1016/j.media.2014.05.004 |
[18] | Akyol K, Bayır Ş, Şen B. Detection of hard exudates in diaoetic retinopathy retinal images by utilizing visual dictionary and classifier approaches[J]. Mugla Journal of Science and Technology, 2016, 2(1): 1–6. DOI:10.22531/muglajsci.269964 |
[19] | Prentašić P, Lončarić S. Detection of exudates in fundus photographs using convolutional neural networks[C]//20159th International Symposium on Image and Signal Processing and Analysis (ISPA), Zagreb, Croatia. [S. l. ]: IEEE, 2015: 188-192. |
[20] |
高玮玮, 沈建新, 王玉亮.
RBF神经网络和阈值分割实现视网膜硬性渗出自动检测[J]. 中国图像图形学报, 2013, 18(7): 859–865.
GAO Weiwei, SHEN Jianxin, WANG Yuliang. RBF neural network and threshold segmentation realize automatic detection of hard retinal exudation[J]. Journal of Image and Graphics, 2013, 18(7): 859–865. (in Chinese) |
[21] |
潘燕红, 潘林.
基于SVM的眼底图像硬性渗出检测[J]. 计算机与现代化, 2014(4): 33–37.
PAN Yanhong, PAN Lin. SVM-based hard seepage detection of fundus images[J]. Computer and Modernization, 2014(4): 33–37. (in Chinese) |
[22] |
朱江兵, 柯鑫, 刘畅, 等.
基于计算机视觉的糖尿病视网膜病变自动筛查系统[J]. 首都医科大学学报, 2015, 36(6): 848–852.
ZHU Jiangbing, KE Xin, LIU Chang, et al. Automatic screening system for diabetic retinopathy based on computer vision[J]. Journal of Capital Medical University, 2015, 36(6): 848–852. (in Chinese) |
[23] | Aggarwal, C C. Data classification algorithms and applications[M]. Florida: CRC press, 2014: 11-16, 493-495. |