一种肝脏超声图像的特征分类方法与流程
本发明涉及图像影像分析技术，具体涉及一种肝脏超声图像的特征分类方法。
背景技术：
肝脏是身体内以代谢功能为主的一个器官，并在身体里面起着去氧化、储存肝糖、分泌性蛋白质的合成等作用。
肝硬化，是一种临床常见的慢性进行性肝病，由病毒性肝炎、慢性酒精中毒、营养不良、肠道感染等一种或多种致病因素长期或反复作用下，形成的弥漫性肝损害，可并发脾肿大、腹水、浮肿、黄疸、食道静脉曲张、出血、肝性昏迷，可发展为肝癌，具有较高的死亡率。
及时发现并使用药物进行治疗，可延缓肝硬化进程，降低肝癌发病率，提高长期存活率，以及患者的生活质量。
然而在肝硬化初期，患者自身没有明显不适感，同时很多地区医疗资源或是医疗水平有限，导致该疾病很难被及时诊断，许多人直到中晚期才被诊断出来。
目前，医学影像检查，可较全面地观察肝脏器官，分析与评估此类浅表器官组织病变。近年来，很多学者与医生利用x射线、ct、mr、超声等医学影像技术开展肝硬化检查与诊断的研究。
例如，业内人士提出了一种全自动的超声方法来提取肝脏，其中用一个统计模型方法从其他腹部器官中区分肝脏组织，然后用活动轮廓优化，获得更加平滑、精细的肝脏轮廓，得到精确度比较高的肝脏分割结果。
超声检查的优势在于无创、无痛、无电离辐射影响，一般无需使用对比剂便可获得人体各部位软组织器官和病灶，以及管腔结构的高清晰度断层图像。
与超声检查相比，其他影像学检查手段都或多或少都存在一些缺点：传统的x线成像对于评价肝硬化缺乏足够的对比分辨率，价值有限；ct技术的空间分辨率不足，不能很好地分辨肝实质结缔组织，且有放射性损害；mri具有多平面成像能力和更高的软组织分辨率，适用于评价浅表器官组织病变，但无法进行实时动态检查，操作不便且成本较高。
随着超声仪器分辨率的不断提高及超声探头频率的不断改进，超声图像在像肝硬化此类的浅表器官组织病损的诊疗及随访中显示出了明显的优势。
基于超声影像，临床医生主要是依据肝包膜线和肝实质的视觉特征，对肝硬化及肝硬化病症阶段给出一个定性诊断，而且这还极大地依赖于临床医生本身的临床经验。诊断中主观因素容易造成误诊，或者错失治疗的最佳时机，严重的可能影响病人的病情与生命安全。
目前，基于超声图像的肝硬化程度分类的研究，主要面向二分类，即判断是否患病。然而针对超声图像提取的纹理特征与临床诊断不对应，分类正确率不能保证，为此，如何较好的提取超声图像的纹理特征，提高分类准确率成为当前需要解决的问题。
技术实现要素：
为解决现有技术中的问题，本发明提供一种肝脏超声图像的特征分类方法，该方法可以提取包膜线的多个特征并对特征的分类结果进行综合，能够得到超声图像准确的分类结果。
第一方面，本发明提供一种肝脏超声图像的特征分类方法，包括：
s1、针对待处理的包括有肝脏切面/部位的超声图像，从该超声图像中自动提取肝包膜线；
s2、基于提取的肝包膜线，选择多个采样点，并生成每一采样点的三元组特征；
s3、对每一个所述三元组特征进行提取，以及对提取的每一个三元组特征进行分类；
s4、根据提取的所有三元组特征的分类结果，确定超声图像所属的类别。
可选地，所述步骤s3包括：
采用训练的cnn模型对所述三元组特征进行提取；以及
采用训练的向量机svm对提取的每一个三元组特征进行分类。
可选地，所述训练的cnn模型为基于手写数字数据库的数据进行训练，获得的训练后的cnn模型。
可选地，所述svm的训练包括：
采用训练的cnn模型处理每一个具有分类结果的训练样本对应的三元组特征；
采用svm对提取的每一个训练样本的所有三元组特征进行分类；
获得每一个训练样本的类别，并采用获取的每一个训练样本的类别与预先确定的类别进行比较，并修正所述svm，重复多次，得到训练的svm；
所述训练样本包括病变的标注肝脏包膜线的样本，正常的标注肝脏包膜线的样本。
可选地，所述步骤s2包括：
在所述肝包膜线上均匀选取多个采样点，对每一个采样点分别选择上中下三个图像块，将选择的三个图像块作为该采样点的三元组特征。
可选地，所述步骤s4包括：
采用公式一确定超声图像所属的类别f(i)＝∑i＝1f(ti)；
f(i)＝∑i＝1f(ti)公式一；
其中f(ti)是训练的svm对提取的每一个三元组特征进行分类的分类结果。
可选地，所述步骤s1包括：
s11、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过训练样本确定的；
s12、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
可选地，子步骤s11包括：
s111、获取作为训练样本的超声图像，标注得到每一个样本中超声图像中包含的肝包膜线；
s112、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本；
s113、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取n维随机矩形特征；
s114、采用adaboost从所述n维随机矩形特征中选取n1维具有肝包膜线鉴别能力的特征子集，其中n1小于n的自然数；
s115、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块；
s116、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取n1维经选择得到的特征，计算检测响应；
s117、当滑动窗口处理完所有像素位置后，得到一张与待处理的超声图像同样大小的检测响应图。
可选地，子步骤s113以及子步骤s116中建立的多个通道均包括：
超声图像对应的一通道；
超声图像转换为梯度大小对应的一个通道；
超声图像转换为梯度直方图对应的六个通道；
超声图像转换为高斯差分dog对应的两个通道。
可选地，所述步骤s12包括：
从检测响应图的左侧边缘到检测响应图上的一点(x,y)的检测响应和通过下述的递归公式来计算：
递归公式：s(x，y)＝max(s(x-1，y-1)，s(x-1，y)，s(x-1，y+1))+r(x，y)；
从检测响应图中找到一条从左侧边界到右侧边界检测响应和最大的连续曲线；
将找到的连续曲线作为部分或全部的肝包膜线。
第二方面，本发明实施例还提供一种肝脏超声图像的特征分类方法，包括：
步骤a1、获取标注为病变和正常训练样本肝脏超声图像中的肝脏包膜线；
步骤a2、在步骤a1中每一肝脏包膜线上选取一定数量的采样点，三个相邻采样点为一组，截取图像块，提取特征，并训练支持向量机svm分类器；
步骤a3、在步骤a1的训练样本中每一肝脏包膜线上方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练所述svm分类器；
步骤a4、在步骤a1的训练样本中每一肝脏包膜线下方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练svm分类器；
步骤a5、对于待处理的未标注的肝脏超声图像，提取肝脏包膜线，按照上述三种方式选取图像块，提取特征，并利用训练好的svm分类器分类；
步骤a6、将三种方式的分类结果综合，得到所述未标注肝脏超声图像的分类结果。
可选地，步骤a2包括：
子步骤a21、在肝脏包膜线上选取一定数量的采样点，三个相邻的采样点为一组；
子步骤a22、每组中以三个采样点为中心截取三个固定大小的图像块；
子步骤a23、三个图像块分别利用预先训练好的卷积神经网络cnn提取特征，得到三个特征向量f1，f2，f3；
子步骤a24、将三个特征向量f1，f2，f3以及f1－f2的差，f3－f2的差组合成一个特征向量；
子步骤a25、基于所述特征向量训练支持向量机svm分类器。
可选地，所述步骤a5中提取肝脏包膜线，包括：
步骤a51、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对该待处理的超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过病变和正常训练样本肝脏超声图像确定的；
步骤a52、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线；
可选地，所述步骤a5中提取肝脏包膜线，包括：
步骤a051、针对所有的训练样本肝脏超声图像，每一训练样本中均具有预先通过手动标记的包膜线，在每一训练样本的包膜线上均匀采样提取图像块作为正样本，在每一训练样本的非包膜线的图像区域随机采样提取图像块作为负样本，对每一个正样本和负样本提取多种特征，将提取的所有特征组合后降维，训练支持向量机svm，获得训练后的支持向量机；
步骤a052、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对所述待处理的超声图像进行处理，针对每一个滑动窗口检测器当前的窗口对应的图像块中提取该图像块的多种特征，将提取的图像块的所有特征组合后并降维，采用训练后的支持向量机对降维的所有特征进行分类，得到该当前窗口对应的图像块的分类响应值，当滑动窗口遍历完整待测超声图像后，得到所述待测超声图像的检测响应图；
步骤a053、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
可选地，所述步骤a051包括：
子步骤a0511、获取作为训练样本的训练超声图像；
子步骤a0512、在每一训练超声图像的包膜线上取一定数量的图像块作为正样本，在图像非包膜线区域取一定数量的图像块作为负样本；正样本的图像块和负样本的图像块的面积和形状均相同；
子步骤a0513、从所述每一个正样本、负样本图像块中提取三种特征，所述三种特征包括：梯度直方图hog，局部二值模式lbp以及深度卷积神经网络cnn特征，将每一图像块的三种特征组合成一个n维特征向量；
子步骤a0514、对所有训练样本所有n维特征向量进行主成分分析pca，并在主成分分析之后，选取n1个pca基用作特征降维，降维后特征维数为n1维；
其中，n、n1均为大于3的自然数；
及/或，所述步骤a052包括：
子步骤a0521、对于待处理的超声图像，用滑动窗口对待测超声图像的每个像素位置进行处理，滑动窗口所到之处，提取图像块；所述图像块的与所述训练样本的图像块的面积、形状均相同；
子步骤a0522、对于所述滑动窗口图像块，提取hog、lbp、cnn的三种特征，将提取的三种特征组合以后利用所述n1个pca基进行降维，再经过训练好的svm计算分类响应值；
子步骤a0523、当滑动窗口处理完待测超声图像的所有像素位置后，得到一张与所述待测超声图像面积相同的检测响应图；
可选地，上述步骤中提取的cnn特征属于卷积神经网络的中间结果，
所述卷积神经网络为预先通过手写字体识别库mnist进行训练得到的网络。
本发明具有的有益效果如下：
本发明提出一种肝脏超声图像的特征分类方法，通过自动提取超声图像的肝包膜线，并获取肝包膜线的三元组特征，进而对每一个三元组特征进行分类，以及将所有三元组特征的分类结果综合起来，能够得到准确的分类结果，同时降低了噪声的干扰，且实现了自动识别分类，降低了人工成本。
另外，本实施例在特征分类之前，可预先进行肝包膜线的自动提取，例如，可通过对超声图像建立多个通道，采用滑动窗口检测器获取多个具有肝包膜线鉴别能力的特征子集，进而生成检测响应图，以便根据检测响应图提取肝包膜线，实现了自动提取肝包膜线的过程，无需人工干预，同时提高了提取肝包膜线的准确率，相对于传统提取肝包膜线的方法，实用性更强，且适宜推广使用，降低了肝包膜线分析提取中的人工成本
附图说明
图1为本发明实施例一提供的肝脏超声图像的特征分类方法的流程示意图；
图2为本发明另一实施例提供的特征分类方法的分类流程示意图；
图3为本发明中使用的cnn模型的训练过程示意图；
图4为利用积分图计算矩形特征的示意图；
图5为本发明实施例中包膜线生成方法的示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
肝包膜线之所以能够引导图像分类，是因为随着肝硬化的发展，肝脏包膜线周围的组织会发生变化，此时，肝脏包膜线也会变粗和模糊。基于这些，本发明实施例中提供一种包膜线引导下的图像特征提取和分类框架。在对肝脏超声图像分析并得到肝脏包膜线后，在包膜线上均匀选取采样点。对于每个采样点分别选取上中下三个图像块，本文称之为块三元组。通过对这些图像块进行特征提取，不仅能够刻画包膜线的结构特性，而且能够刻画包膜线两边组织的结构特性。尽管由于噪声的存在，对于单个图像块的分类可能会不准确，但是将所有图像块的分类结果综合起来后，能够得到准确的分类结果。
需要说明的是，以下实施例的超声图像可为预先获取的测试超声图像/测试图像，或者是其他方式获取的灰度图像。
本实施例中的超声图像主要是针对肝脏不同部位的超声图像，例如超声图像是不同部位的左叶肝包膜二维声像图、或者超声图像是不同部位的右叶肝包膜二维声像图等，本实施例不对超声图像进行限定，属于检测肝脏部分的超声图像均可使用。
实施例一
如图1所示，图1示出了一实施例提供的肝脏超声图像的特征分类方法的流程示意图，本实施例的方法包括下述步骤：
101、针对待处理的包括有肝脏切面/部位的超声图像，从该超声图像中自动提取肝包膜线。
例如，步骤101可包括：
第一步、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；所述随机矩形特征为预先通过训练样本确定的；
第二步、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
102、基于提取的肝包膜线，选择多个采样点，并生成每一采样点的三元组特征。
举例来说，可在肝包膜线上均匀选取多个采样点，对每一个采样点分别选择上中下三个图像块，将选择的三个图像块作为该采样点的三元组特征。
可理解的是，本实施例中的上中下可以是以包膜线为中，上下各取的图像块。在另一可实现方式中，上中下还可以是包膜线从左到有的上中下。
103、对每一个所述三元组特征进行提取，以及对提取的每一个三元组特征进行分类。
本实施例中，可采用训练的cnn模型对所述三元组特征进行提取；以及采用训练的向量机svm对提取的每一个三元组特征进行分类。
104、根据提取的所有三元组特征的分类结果，确定超声图像所属的类别。
例如，采用公式一确定超声图像所属的类别f(i)＝∑i＝1f(ti)；
f(i)＝∑i＝1f(ti)公式一；
其中f(ti)是训练的svm对提取的每一个三元组特征进行分类的分类结果。
本实施例中的类别可包括正常或病变。
本实施例的方法，通过自动提取超声图像的肝包膜线，并获取肝包膜线的三元组特征，进而对每一个三元组特征进行分类，以及将所有三元组特征的分类结果综合起来，能够得到准确的分类结果，同时降低了噪声的干扰，且实现了自动识别分类，降低了人工成本。
针对上述的步骤103中的cnn模型和svm说明如下。
本实施例中训练的cnn模型可为基于手写数字数据库的数据进行训练，获得的训练后的cnn模型。
目前，深度学习特别是卷积神经网络(cnn)采用了局部连接和权值共享机制，这使得它和以往的神经网络相比具有更好的泛化能力。但是，cnn模型的训练仍然需要大量训练样本来保证模型不会产生过拟合。而在本发明实施例的实现过程中，大量的具有分类结果的训练样本是很难得到的，因此，采用端到端的方式为该问题训练cnn较为困难。
本实施例中考虑将在其他图像分类问题中训练好的模型“迁移”到本发明中：
例如，在手写数字数据库mnist训练一个8层的cnn模型。mnist数据库包含60000个训练样本和10000个测试样本。网络的结构如图3所示：图像经过两个卷积－最大池化组合后，经过两个全连接层，最后经过softmaxloss层得到分类置信度。
应理解的是，由于超声图像的肝包膜线也是有多条不规则的线段组成，手写数字数据库也是有线段组成，为此，采用手写数字数据库训练的cnn模型可应用在肝包膜线的处理上具有了特别的处理效果，使得分类结果的准确率提高很多。
如图3所示，将第二个全连接层得到的结果取出作为分类特征。每个采样点提取上、中、下三个40＊40图像块，分别做特征提取后将得到的特征组合成一个特征向量：t＝(p1，p2，p3)向量作为svm的输入。
本实施例中svm的训练可包括：
采用训练的cnn模型处理每一个具有分类结果的训练样本对应的三元组特征；
采用svm对提取的每一个训练样本的所有三元组特征进行分类；
获得每一个训练样本的类别，并采用获取的每一个训练样本的类别与预先确定的类别进行比较，并修正所述svm，重复多次，得到训练的svm。
可理解的是，在具有分类结果的训练样本数量较少的问题中，支持向量机(svm)具有较好的泛化能力。因此，本实施例考虑将深度学习与svm结合起来。如图2所示，在肝包膜线上提取图像块经过训练好的cnn模型得到特征，再通过svm分类得到分类结果，最终将所有采样点上的分类结果通过投票的方式综合起来得到当前图像的分类结果(正常或是病变)。
另外，本发明对上述步骤101中自动提取肝包膜线进行详细说明。
s11、获取作为训练样本的超声图像，标注得到图像中包含的肝脏包膜线/肝包膜线。
本实施例中，训练样本集合可为：(f1，c1)，(f2，c2)，...，(fm，cm)，其中，m为训练样本的个数，fi是一个nf维的特征向量，ci是对应的用于标记是否为肝包膜线上的点的类标号。
在一中可选的实现方式中，训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个p0*q0(如40*40)的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，p0、q0分别为自然数。
s12、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本。
s13、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取n维随机矩形特征。
在本实施例中，可建立十个通道，例如，超声图像对应的一通道；超声图像转换为梯度大小对应的一个通道；超声图像转换为梯度直方图对应的六个通道；超声图像转换为高斯差分dog对应的两个通道。
举例来说，根据公式(1)计算所述超声图像的梯度大小；
另外，获取6个通道的梯度直方图的过程如下：
第一、利用sobel算子得到超声图像在x、y方向的梯度；
第二、根据公式(2)计算所述超声图像的梯度方向；
第三、针对每一张超声图像中的每一个像素，统计6*6邻域内梯度方向的直方图，将0～2π范围划分成6等分，每一个像素得到6维直方图，将直方图的每一维作为一个通道，得到6个梯度直方图。
进一步地，获取高斯差的通道的过程如下：
基于公式(3)，选择两个不同方差的高斯核g(σ1)、γ(x，y)＝i*g(σ1)-i*g(σ2)对超声图像i做卷积，计算卷积后的差值，得到高斯差；
γ(x，y)＝i*g(σ1)-i*g(σ2)(3)
g(σ1)为预设有两个不同方差(业内公知)的高斯核、γ(x，y)＝＝i*g(σ1)-i*g(σ2)预设有两个不同方差且不同于g(σ1)的高斯核。
上述公式中i为超声图像，(x，y)为超声图像中像素的坐标。
可理解的是，步骤s13中还可以为：滑动窗口检测器随机选取1个通道，处理过程中可选择位置、大小随机的矩形区域，计算该区域中所有像素的和作为选取得到一维特征。
本实施例中可有十个通道，且下述需要获取大约5000维特征，故按照随机选取概率，可将每一个通道遍历，且每个通道的矩形区域数量是基本相同的。
举例来说，该步骤s13中的矩形特征可采用一个五元组(nch，x1，y1，x2，y2)表示；将所述矩形区域中所有像素的和作为该矩形区域的一维特征。
其中，nch是通道编号，(x1，y1，x2，y2)，(x1，y1，x2，y2)分别是矩形区域的左上角和右下角坐标。
本实施例中，为了更方便的计算矩形区域的像素和，可先计算每个通道图像的积分图。
举例来说，对于一幅灰度的图像，积分图像中的任意一点(x，y)的值是指从积分图像的左上角到这个点的所构成的矩形区域内所有点的灰度值之和：a(x，y)＝∑0＜i＜x，0＜j＜yi(i，j)(4)
本实施例中利用积分图的优势在于能够很方便的计算一个矩形区域内的像素和。
如图4所示，采用上述公式(4)计算灰色的矩形区域的像素和可为式(5)。
s＝a(x2，y2)+a(x2，y1)-a(x1，y2)+a(x1，y1)(5)
s14、采用adaboost从所述n维随机矩形特征中选取n1维具有肝包膜线鉴别能力的特征子集。
s15、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块。
本实施例中的n可取5000，在其他实施例中，n换可为大于1000以上数值即可，本实施例的n可根据实际需要选择。
需要说明的是，在实际应用中，n个一维特征组成n维特征向量，本实施例为更清楚的说明，将所有的n维特征向量采用n维特征描述，以下的n维特征均指代的是n维特征向量。
本实施例的adaboost对应的决策树包含z个节点，即可理解从n维特征中选择z个具有肝包膜线鉴别能力的特征。
s16、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取n1维经选择得到的特征，计算检测响应。
进一步地，上述步骤s13和步骤s16中的通道可理解为图像，在业内处理过程中均使用通道，本发明实施例也使用通道进行描述，该通道为业内技术人员所理解的通道。
检测响应图中每一个位置的值表示该位置属于肝包膜线的概率值。且检测响应图的大小和待处理的超声图像的大小是相同的，这里的大小指的是像素尺寸。
s17、当滑动窗口处理完所有像素位置后，得到一张与所述测试图像同样大小的检测响应图。
针对步骤s17：第一、从检测响应图的左侧边缘到检测响应图上的一点(x，y)的检测响应和通过下述的递归公式(6)来计算：
s(x，y)＝max(s(x-1，y-1)，s(x-1，y)，s(x-1，y+1))+r(x，y)(6)
第二、从检测响应图中找到一条从左侧边界到右侧边界检测响应和最大的连续曲线；
第三、将找到的连续曲线作为部分或全部的肝包膜线。
如图5所示，图5(b)为原始超声图像，图5(c)为检测响应图，图5(d)为包膜线提取的结果示意图。
另外，如图5(a)所示，(x，y)处的检测响应和等于左侧最大值与r(x，y)之和。在递归计算过程中，每个像素都保留左侧最大值所在像素位置，因此在右侧边界上找到最大值点后通过回溯可以确定一条完整的曲线。对于检测响应图最左侧一列像素位置，s(x，y)＝r(x，y)，递归算法执行到这些位置时将终结。
具体的递归步骤如下：
对于检测响应图像右侧边界上的每个位置，利用上面递归公式(6)计算s(x，y)，并记录下左侧最大响应和位置，即上、中、下三维位置的响应和s(x-1，y-1)，s(x-1，y)，s(x-1，y+1)哪个一最大。而这三个位置相应和又需要分别计算它们左侧三个位置响应和最大值，如此递归进行。每次计算完s(x，y)，用另外一张标记图l记录下(x，y)左侧响应和最大的位置，l(x，y)等于0，1，2分别表示上中下三个位置。
当图象右侧边界上每个位置的响应和计算完成后，选出其中最大值所在的位置，接下来通过查找标记图l找到左侧最大响应和位置，以此类推，直到到达左侧边界。
本实施例的方法通过建立超声图像的多个通道，进而采用训练的adaboost提取到超声图像的具有鉴别能力的特征，以生成检测响应图，再进一步采用递归公式从检测响应图中选择检测响应和最大的连续曲线作为肝包膜线。
进一步地，针对上述的步骤s11，可通过下述方法进行训练：
以下使用的训练样本集合为：(f1，c1)，(f2，c2)，...，(fm，cm)，其中，m为训练样本的个数，fi是一个nf维的特征向量，ci是对应的用于标记是否为肝包膜线上的点的类标号；
所述训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个p0*q0(如40*40)的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，p0、q0分别为自然数。
adaboost为每个训练样本分配一个权重wi，所有样本的权重的初始值都设置为
第一步、根据训练样本和训练样本的权重，训练一个深度为2的决策树h(fi)，它最小化下列的加权训练误差：
每个决策树h(fi)包含z(如3个)个节点，分别对应z(如3个)个不同的特征。
举例来说，每个决策树可包含3个节点，分别对应3个不同的特征(对应上述通道的一维特征)。因此，决策树的训练过程相当于从5000维特征中选择3维最具鉴别能力的特征，使得上述训练误差最小。
第二步、更新训练样本的权重：
在训练过程中，adaboost为每个训练样本分配一个权重wi，重复上述第一步和第二步t次，直至训练样本遍历完成。
具体地，决策树h(fi)的训练过程包括：
深度为2的决策树h(fi)包含一个根节点和两个叶子节点，每一个节点用特征的一维来决策，每个节点由下列三项组成：
特征标号j用来表示该节点用到哪一维特征，
一个阈值θ和一个方向指示变量p；当pfi(j)＞pθ时，fi进入左边分支，否则进入右边分支；
决策树的采用贪心策略来训练，首先找到使εt最小的根节点，根节点可以将训练数据分为两部分，再对两部分数据分别训练使εt最小的左右叶子节点。
结合上述200至步骤206的步骤：将训练样本集合中nf设置为5000，表示待选择的特征维数为5000，经过特征选择，构造100个决策树，用到了其中300维特征。最终构造的强分类器为这些决策树的加权和：
该强分类器用于判断在当前位置选取的40*40图像块是否是正样本，即当前位置是否在包膜线上。
上述方法通过对超声图像建立多个通道，采用滑动窗口检测器获取多个具有肝包膜线鉴别能力的特征子集，进而生成检测响应图，以便根据检测响应图提取肝包膜线，实现了自动提取肝包膜线的过程，无需人工干预，同时提高了提取肝包膜线的准确率，相对于传统提取肝包膜线的方法，实用性更强，且适宜推广使用，降低了肝包膜线分析提取中的人工成本。
实施例二
本实施例的方法包括下述图中未示出的步骤：
步骤601、获取标注为病变和正常训练样本肝脏超声图像中的肝脏包膜线；
步骤602、在步骤601中每一肝脏包膜线上选取一定数量的采样点，三个相邻采样点为一组，截取图像块，提取特征，并训练支持向量机svm分类器；
步骤603、在步骤601的训练样本中每一肝脏包膜线上方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练所述svm分类器；
步骤604、在步骤601的训练样本中每一肝脏包膜线下方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练svm分类器；
步骤605、对于待处理的未标注的肝脏超声图像，提取肝脏包膜线，按照上述三种方式选取图像块，提取特征，并利用训练好的svm分类器分类；
步骤606、将三种方式的分类结果综合，得到所述未标注肝脏超声图像的分类结果。
在一种具体的实现方式中，上述602包括：
6021、在肝脏包膜线上选取一定数量的采样点，三个相邻的采样点为一组；
6022、每组中以三个采样点为中心截取固定大小的图像块；
6023、三个图像块分别利用预先训练好的卷积神经网络cnn提取特征，得到三个特征向量f1，f2，f3；
6024、将三个特征向量f1，f2，f3以及f1－f2的差，f3－f2的差组合成一个特征向量；
6025、基于所述特征向量训练支持向量机svm分类器。
进一步地，上述605中提取肝脏包膜线，包括：
步骤6051、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对该待处理的超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过病变和正常训练样本肝脏超声图像确定的；
步骤6052、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线；
或者，
所述步骤605中提取肝脏包膜线，包括：
步骤a6051、针对所有的训练样本肝脏超声图像，每一训练样本中均具有预先通过手动标记的包膜线，在每一训练样本的包膜线上均匀采样提取图像块作为正样本，在每一训练样本的非包膜线的图像区域随机采样提取图像块作为负样本，对每一个正样本和负样本提取多种特征，将提取的所有特征组合后降维，训练支持向量机svm，获得训练后的支持向量机；
步骤a6052、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对所述待处理的超声图像进行处理，针对每一个滑动窗口检测器当前的窗口对应的图像块中提取该图像块的多种特征，将提取的图像块的所有特征组合后并降维，采用训练后的支持向量机对降维的所有特征进行分类，得到该当前窗口对应的图像块的分类响应值，当滑动窗口遍历完整待测超声图像后，得到所述待测超声图像的检测响应图；
步骤a6053、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
可理解的是，上述步骤a6051包括：
子步骤a60511、获取作为训练样本的训练超声图像；
子步骤a60512、在每一训练超声图像的包膜线上取一定数量的图像块作为正样本，在图像非包膜线区域取一定数量的图像块作为负样本；正样本的图像块和负样本的图像块的面积和形状均相同；
子步骤a60513、从所述每一个正样本、负样本图像块中提取三种特征，所述三种特征包括：梯度直方图hog，局部二值模式lbp以及深度卷积神经网络cnn特征，将每一图像块的三种特征组合成一个n维特征向量；
子步骤a60514、对所有训练样本所有n维特征向量进行主成分分析pca，并在主成分分析之后，选取n1个pca基用作特征降维，降维后特征维数为n1维；
其中，n、n1均为大于3的自然数；
及/或，所述步骤a6052包括：
子步骤a60521、对于待处理的超声图像，用滑动窗口对待测超声图像的每个像素位置进行处理，滑动窗口所到之处，提取图像块；所述图像块的与所述训练样本的图像块的面积、形状均相同；
子步骤a60522、对于所述滑动窗口图像块，提取hog、lbp、cnn的三种特征，将提取的三种特征组合以后利用所述n1个pca基进行降维，再经过训练好的svm计算分类响应值；
子步骤a60523、当滑动窗口处理完待测超声图像的所有像素位置后，得到一张与所述待测超声图像面积相同的检测响应图；
本实施例中提取的cnn特征属于卷积神经网络的中间结果，如图3所示的卷积神经网络。
图3所示的卷积神经网络为预先通过手写字体识别库mnist进行训练得到的网络。
另外，如图5(a)所示，(x，y)处的检测响应和等于左侧最大值与r(x，y)之和。在递归计算过程中，每个像素都保留左侧最大值所在像素位置，因此在右侧边界上找到最大值点后通过回溯可以确定一条完整的曲线。对于检测响应图最左侧一列像素位置，s(x，y)＝r(x，y)，递归算法执行到这些位置时将终结。
具体的递归步骤如下：
对于检测响应图像右侧边界上的每个位置，利用上面递归公式(6)计算s(x，y)，并记录下左侧最大响应和位置，即上、中、下三维位置的响应和s(x-1，y-1)，s(x-1，y)，s(x-1，y+1)哪个一最大。而这三个位置相应和又需要分别计算它们左侧三个位置响应和最大值，如此递归进行。每次计算完s(x，y)，用另外一张标记图l记录下(x，y)左侧响应和最大的位置，l(x，y)等于0，1，2分别表示上中下三个位置。
当图象右侧边界上每个位置的响应和计算完成后，选出其中最大值所在的位置，接下来通过查找标记图l找到左侧最大响应和位置，以此类推，直到到达左侧边界。
本实施例的方法能够实现自动提取肝脏包膜线，同时提高肝脏包膜线的准确率，实用性强，可推广使用。
实验结果
如下表1的对比实验结果：
表1实验结果对照表。
表1中第一种业内传统方法：将m-band小波变换和gabor小波提取的纹理特征进行联合，获得肝实质的纹理特征，运用集成分类器将图像样本实现肝脏疾病的分类。
表1中第二种业内传统：运用多分辨率小波提取肝实质纹理特征，基于svm对肝脏疾病分类。
表1中第三种业内传统方法：联合分形维度和m-band小波变换构筑肝实质的纹理特征，通过后向传递(bp)神经网络实现肝脏疾病的分类；
本发明的方法：通过sw-dp得到连续的肝包膜轮廓即肝包膜线，运用深度迁移模型、svm和投票机制，实现分类；
结果分析：
(1)肝硬化的二分类——区分正常与患病，本发明的方法的三种方法正确类、标准差均优于其他方法。这对开展大规模的肝硬化筛查，提高早期发现率，有着积极意义。
(2)综合肝包膜几何特征与肝实质纹理特征的svm分类，在对肝硬化不同病程的分类中，表现超过其他的方法。特别是在对轻度肝硬化的分类性能上有所提升，而轻度肝硬化若及时发现，由于其预后较好，甚至可逆，这对患者有着十分重要意义。
(3)本发明的方法作为一种自动的检测与分类方法，在二分类的性能上基本接近有人工监督的方法。本发明的方法中使用的是sw-dp的包膜线自动检测结果，其正确率是92.6％，其中是存在检测误差，甚至是错误。从二分类结果来看，通过深度学习机制，识别分类系统有一定的容错性。考虑到早期肝硬化筛查的工作量非常大，自动检测与分类方法是有着积极的支撑作用的。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！