本发明属于医学图像智能处理技术领域，具体涉及一种医学图像分类及病变检测方法，更具体地说，涉及一种内镜图像智能分类及不规则病变区域检测方法。
背景技术：
目前，消化道早癌的筛查、治疗、随访主要借助于内镜检查以及ct/mri等影像学检查，其中内镜检查最为重要。随着内镜诊断技术的进步，白光观察、电子色素放大内镜、超声内镜、碘染色等多种手段均可选用。然而，上述检查方法的检出率受临床内镜医师的经验影响，不同检查者在判断时受到的主观影响较大，尤其在我国医疗水平较低的地区，年诊治量水平与发达地区相比极其低下，临床医师经验严重欠缺，即使医院购置了相关设备，内镜下消化道癌的诊治仍很难令人满意。
计算机辅助诊断(computeraideddiagnosis，cad)是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。计算机客观的判断排除了医生主观因素的干扰，对纠正这些错误和不足具有人脑无法超越巨大的优势。
既往的cad技术受到硬件及网络的限制，并没有得到很好的发展。随着计算机领域的飞速发展，不同的计算机算法以及基于不同算法组合的计算模型正不断地得到开发，深度学习网络便是其中之一。它是模仿人大脑神经元工作原理的一种数学处理方法，具有自学习能力、记忆能力、预测事件发展等能力，因此可以起到辅助诊断的作用，在分类、诊断方面，人工神经网络方法比传统的方法(概率统计法、数学模型等)有更优越的性能[1-2]。
如果把先进的人工智能的方法迁移到内镜图像的分类和病变检测，并结合内镜图像的特殊性对模型进行一定调整，可以很好地达到分类和不规则病变区域检测的目的。
由于医学图像的特殊性，病变区域一般不规则，与边框回归的方法相比，显著性检测可以提供更精确的不规则病变区域的检测结果，更好地为医生提供参考。显著性检测是计算机视觉领域最经典的问题之一，它的目标是检测出图像中最具区别性的物体或者区域，应用范围很广，引起了学者的广泛关注。
传统的显著物体检测方法更多使用手工制作的特征提升效果，在南开大学公布的基准[3]中效果最好的传统方法[4]使用了34个手工特征，然而，继续增加手工特征难度非常大。近些年来，卷积神经网络(convolutionalneuralnetwork，cnn)在很多领域突破了传统方法的局限性。基于cnn的显著性物体检测也取得了突破性进展。li等人[5]从cnn中提取多个尺度的特征，获得显著性图。zhao等人[6]综合图像的局部上下文信息和全局上下文信息产生显著性图，分别训练不同的cnn提取局部信息和全局信息。lee等人[7]同时考虑从cnn中提取的高层次的特征和传统的手工制作的特征。liu等人[8]设计了两级的cnn，一级用于产生粗糙的显著性图，另一级用于进一步优化前一级的显著性图的细节。hou等人[9]认为多级的学习以及多尺度特征融合对显著性检测都非常重要，基于hed[10]网络，在跳跃层中引入更多短连接，产生更强的监督。
技术实现要素：
为了克服现有技术的不足，本发明的目的在于提供一种内镜图像智能分类及不规则病变区域检测方法，让显著性检测网络学习资深医生的诊断技术，辅助医生，提高诊断的准确率。
本发明提供的内镜图像智能分类及不规则病变区域检测方法，具体步骤如下：
(1)训练内镜图像分类及病变区域检测模型
首先，由经验丰富的医生提供有标注的内镜图像；这里医生提供的标注为内镜图像的掩码，即像素级的标注；
其次，预处理内镜图像和标注的数据，裁掉图像中的无关区域，如病人的个人信息，只保留对分类和病变区域检测结果有影响的部分，同时掩码也去除相应区域；
再次，用预训练的vgg16的模型初始化显著性检测网络模型的参数；
然后，微调显著性检测网络，并针对医学图像的特殊性选用损失函数，使得显著性检测网络可以更好地学习到不规则的病变区域，即显著性区域；
最后，训练至网络收敛，获得能够对内镜图像分类并检测出不规则病变区域的模型；
(2)用训练的显著性检测模型对内镜图像分类，并检测出不规则的病变区域；
首先，获得待检测的内镜图像；
其次，预处理内镜图像，裁掉图像中的无关区域，只保留对分类和病变区域检测有影响的部分；
再次，将预处理的内镜图像输入到收敛后的模型进行分类，并初步检测不规则病变区域；
然后，后处理内镜图像，在内镜图像中标出分类和检测结果，获得完整的含有检测结果的图像；
最后，输出分类结果和完整的带有不规则病变区域检测结果的图像。
进一步的，步骤(1)中，医生标注的方式为：用闭合曲线勾勒出病变区域，闭合曲线内的像素的掩码为1，表示病变的像素，闭合曲线外的像素的掩码为0，表示正常的像素；当多个闭合曲线有重叠，则对病变区域取并集；若图像中有病变的像素，则该图像的类别为病变，否则为正常；
通常，医生的标注包括病变样本一般为800--1200张，正常样本800-1200张，例如病变样本1000张，正常样本1000张。
进一步的，步骤(1)(2)中，所述预处理操作为：
如果内镜图像中包含与分类和病变区域检测无关的信息，则需要预处理图像，裁剪掉无关信息。一般无关信息为黑色，像素值接近于0，而内镜图像为红色，rgb通道中的r通道值较高。在r通道通过较小的阈值，把图像二值化，使得图像中无关区域值为0，裁剪掉无关区域；只保留二值化图像中值较高的区域，并记录该区域在原图中的位置信息为(x,y,w,h)。
进一步的，步骤(1)中，所述预训练的vgg16的模型为在imagenet数据集上预训练的模型。
进一步的，步骤(1)中，所述显著性检测网络为hou等人发表在2017cvpr的显著性检测论文中的网络模型。
进一步的，步骤(1)中，所述选用的损失函数为focalloss的变体，显著性检测成为了像素级的二分类问题。由于医学图像的特殊性，病变区域在内镜图像中所占面积一般较小，存在样本不均衡的问题。因此采用focalloss，并给各类的损失添加权重，使得病变像素分类出错时，损失更大，提高病变像素分类的准确率，损失函数计算方式如下：
loss＝-∑αy(1-py)2log(py)
其中，y∈{0,1}为像素的标签，1表示病变，0表示正常；p为一个像素被分为显著物体即病变像素的可能性；n表示像素样本的数量，ny表示y类的像素样本的数量。
进一步的，步骤(2)中，所述分类和不规则病变区域初步检测方法如下：
输入待检测图像i，网络模型输出和i大小相同的显著性图m∈[0,1]；显著性图中的值越大，表示对应像素越显著，越可能发生病变。设定阈值t，当m(i,j)＞t时，则认为i(i,j)发生了病变；否则认为i(i,j)正常，其中i,j为像素的坐标。若i中有像素发生了病变，则将i分类为病变图像，否则将i分类为正常图像。初步检测的病变区域为m(i,j)＞t对应的区域。
根据实验结果，为了保持较高的分类准确率和不规则病变区域检测的重叠率(iou)，建议阈值t选取范围在0.3到0.8之间。
进一步的，步骤(2)中，所述后处理内镜图像的方法为：
用腐蚀和膨胀操作优化网络模型输出的显著性检测结果的轮廓。使用3×3的内核腐蚀1次，12×12的内核膨胀2次，获得较平滑的显著物体即病变区域的轮廓。根据预处理中的裁剪信息(x,y,h,w)，将轮廓添加到原始图像中。
本发明还包括由步骤(1)经训练所得到的能够对内镜图像分类并检测不规则病变区域的模型，以及该模型在对内镜图像分类、不规则的病变区域检测中的应用，即步骤(2)的操作。
本发明的有益效果在于：本发明将显著性检测有效地应用于内镜图像的智能诊断，不仅可以对内镜图像分类，同时实现了不规则病变区域的检测。把病变区域作为显著性区域，训练显著性检测网络，让网络模型学习资深医生的诊断经验。分类和不规则病变区域检测过程中不需要人工参与，大大提高了本发明的应用价值。本发明可以为普通医生提供参考，也可以为偏远地区经验不足的医生提供指导意见，以提高诊断的准确率。
附图说明
图1为本发明的模型训练的流程图。
图2为内镜图像分类及不规则病变区域检测的流程图。
图3为内镜图像分类准确率与阈值t的关系图。
图4为不规则病变区域检测结果和标注的重叠率(iou)与阈值t的关系图。
图5为本发明检测不规则病变区域的效果图。
具体实施方式
采用图1所示的方法，用有标注的内镜图像训练显著性检测网络模型至收敛，将该模型用于内镜图像分类和不规则病变区域检测。对于一张待检测的内镜图像，可以采用图2所示的方法。具体如下：
具体实施方法是：
(1)预处理图像，根据内镜图像rgb通道中r通道的值(范围为0-255)，用较小的阈值(如30)将图像二值化，去除二值化图像中值较低的部分，并记录保留区域的位置信息为(x,y,h,w)；
(2)将预处理的图像输入到网络模型，获得显著性图m，阈值t设为0.5，若m中存在m(i,j)＞t，则该内镜图像被分为病变，否则分为正常；若该内镜图像为病变，则可根据m(i,j)＞t得到可能存在病变的像素，进而获得不规则病变区域的初步检测结果；
(3)优化不规则病变区域检测结果，先用3×3的内核腐蚀检测结果，再用12×12的内核膨胀两次，获得优化的检测结果；
(4)根据优化的检测结果，获得病变区域的轮廓，将轮廓的横坐标加偏移量x，纵坐标加偏移量y，添加到原图中。
图5为本发明检测不规则病变区域的实例。考虑到病人隐私，图5中给出的是去除病人信息的样例，其中图5(a)为原图，图5(b)医生标注的病变区域，图5(c)显著性检测模型检测的不规则的病变区域；可以看出，本发明的方法可以较准确的检测到不规则的病变区域。
参考文献
[1]b.alipanahi,a.delong,m.t.weirauch,andb.j.frey,“predictingthesequencespecificitiesofdna-andrna-bindingproteinsbydeeplearning,”naturebiotechnology,vol.33,no.8,pp.831-8,2015.
[2]j.zhou,o.g.troyanskaya,“predictingeffectsonnoncodingvariantswithdeeplearning-basedsequencemodel,”naturemethods,vol.12,pp.931-4,2015.
[3]a.borji,m.-m.cheng,h.jiang,andj.li,“salientobjectdetection:abenchmark,”ieeetransactionsonimageprocessing,vol.24,no.12,pp.5706-5722,2015.
[4]h.jiang,j.wang,z.yuan,y.wu,n.zheng,ands.li,“salientobjectdetection:adiscriminativeregionalfeatureintegrationapproach,”ieeeconferenceoncomputervisionandpatternrecognition,pp.2083-2090,2013.
[5]g.liandy.yu,“visualsaliencybasedonmultiscaledeepfeatures,”ieeeconferenceoncomputervisionandpatternrecognition,pp.5455-5463,2015.
[6]r.zhao,w.ouyang,h.li,andx.wang,“saliencydetectionbymulti-contextdeeplearning,”ieeeconferenceoncomputervisionandpatternrecognition,pp.1265-1274,2015.
[7]g.lee,y.taiandj.kim,“deepsaliencywithencodedlowleveldistancemapandhighlevelfeatures,”ieeeconferenceoncomputervisionandpatternrecognition,pp.660-668,2016.
[8]n.liuandj.han,“dhsnet:deephierarchicalsaliencynetworkforsalientobjectdetection,”ieeeconferenceoncomputervisionandpatternrecognition,pp.678-686,2016.
[9]q.hou,m.cheng,x.hu,a.borji,z.tuandp.h.torr,“deeplysupervisedsalientobjectdetectionwithshortconnections,”ieeeconferenceoncomputervisionandpatternrecognition,pp.3203-3212,2017.
[10]s.xieandz.tu,“holistically-nestededgedetection,”ieeeinternationalconferenceoncomputervision,pp.1395-1403,2015.
[11]t.lin,p.goyal,r.girshick,k.heandp.dollar,“focallossfordenseobjectdetection,”ieeeinternationalconferenceoncomputervision,venice,italy,pp.2999-3007,2017.。