基于深度学习的病理切片小目标检测方法及系统与流程

1.本发明涉及医疗图像处理技术领域，特别涉及一种基于深度学习的病理切片小目标检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
3.随着深度学习和计算机视觉的迅速发展，目标分类、分割和检测技术已经在计算机辅助诊断领域广泛应用。目标检测作为图像理解中的重要步骤，主要任务是从图像中勾画所有感兴趣的区域，确定它们的位置和大小是机器视觉领域的核心问题之一。
4.而对于医学影像感兴趣的目标区域相较于整个影像往往尺寸较小，并伴有一些特定的形态学特征，因此针对图像的小目标检测方法对于医学图像病灶检测非常有意义。当前主流的深度学习模型，都是从计算机通用视觉领域发展起来的。这和我们更关心的医学影像分析，确实存在差别。既包括图像自身维度和像素格式的差别；还包括要检测的目标大小的差别，很多疾病辅助检测所关心的目标都比较小，只占据图像中很小的区域，而日常照片中，大家关注的目标都比较大，往往占据图像主体区域。
5.相对于常规尺寸的目标，小目标通常缺乏充足的外观信息，因此难以将它们与背景或相似的目标区分开来；此外，真实场景是错综复杂的，通常会存在光照剧烈变化、目标稠密相连和目标尺度变化等问题，而这些因素对小目标特征的影响是更加剧烈的，进一步加大了小目标检测的难度。事实上，小目标检测在医学病理领域具有重要的研究意义和应用价值。在医学领域有些病变虽然很小，但临床风险与危害，却不可忽视。打个比方，可以把微小病变看作与市政自来水管网相类似，也是枝枝叉叉、层层分级。而这些病变就相当于供水管网中的跑冒滴漏现象，如果任其发展，愈演愈烈，就会导致严重的后果。


技术实现要素：

6.为了解决现有技术的不足，本发明提供了一种基于深度学习的病理切片小目标检测方法及系统，能够快速和准确的进行小目标物体的识别；相较于传统的基于神经网络的图片分类，计算复杂度低，处理效率高。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明第一方面提供了一种基于深度学习的病理切片小目标检测方法。
9.一种基于深度学习的病理切片小目标检测方法，包括以下过程：
10.获取病理切片图像；
11.将病理切片图像利用滑动窗口，分割成多个小图像；
12.根据获取的小图像和预设enhancenet网络，得到重构后的小图像，enhancenet网络的中间所有层使用densenet直接连接在一起；
13.对重构后的小图像进行分类，对含有待检测小目标物体的图像进行渲染；
14.将渲染后的所有小图像进行汇总拼接，得到最终的检测结果。
15.进一步的，enhancenet网络的每一层做卷积的时候都对输入特征进行零填充，进行多次卷积操作，每次操作看作是一层。
16.进一步的，假设enhancenet网络有l层网络，则在densenet中有l(l+1)/2个连接，每一层输入都来自前面所有层的输出。
17.进一步的，采用vgg16网络对重构后的小图像进行分类，判断是否含有待检测的小目标物体，如有则标记为1，否则标记为0，将标记为1的图像进行渲染。
18.更进一步的，vgg16网络中将softmax替换为svm。
19.进一步的，vgg16网络结包括六个部分：
20.第一部分和第二部分包括两个卷积层和一个maxpool，每个卷积层的输出后都有一个relu激活函数，第三部分、第四部分和第五部分包括四个卷积层和一个maxpool池化层，第六部分为展开后的全连接层，包括三个全连接层。
21.进一步的，vgg16网络使用hingeloss损失函数。
22.本发明第二方面提供了一种基于深度学习的病理切片小目标检测系统。
23.一种基于深度学习的病理切片小目标检测系统，包括：
24.图像获取模块，被配置为：获取病理切片图像；
25.图像分割模块，被配置为：将病理切片图像利用滑动窗口，分割成多个小图像；
26.小图像重构模块，被配置为：根据获取的小图像和预设enhancenet网络，得到重构后的小图像，enhancenet网络的中间所有层使用densenet直接连接在一起；
27.小图像分类模块，被配置为：对重构后的小图像进行分类，对含有待检测小目标物体的图像进行渲染；
28.小图像拼接模块，被配置为：将渲染后的所有小图像进行汇总拼接，得到最终的检测结果。
29.本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于深度学习的病理切片小目标检测方法中的步骤。
30.本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于深度学习的病理切片小目标检测方法中的步骤。
31.与现有技术相比，本发明的有益效果是：
32.1、本发明所述的方法、系统、介质或电子设备，能够快速和准确的进行小目标物体的识别；相较于传统的基于神经网络的图片分类，计算复杂度低，处理效率高。
33.2、本发明所述的方法、系统、介质或电子设备，改进后的enhancenet网络结构，与原始网络相比引入了densenet改进残差网络，将所有层直接连接在一起，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层，这些特征映射通过深度级联聚合，提升了神经网络的深度，解决降低了计算量问题。
附图说明
34.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
35.图1为本发明实施例1提供的基于深度学习的病理切片小目标检测方法的流程示意图。
36.图2为本发明实施例1提供的vgg16网络的结构示意图。
具体实施方式
37.下面结合附图与实施例对本发明作进一步说明。
38.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
40.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
41.实施例1：
42.如图1所示，本发明实施例1提供了一种基于深度学习的病理切片小目标检测方法，包括以下过程：
43.步骤1：将原始图像使用16*16的方框，从图像左上角开始，从左向右、自上而下，逐步移动(滑动)。当滑动到每一个像素位置时，把方框对应的局部图像截取出来，作为一个小图像，这样一张大图可以获取一系列的小图像。
44.步骤2：将在步骤1中得到的每一个小图像，放入预先训练好的改进enhancenet网络中，该网络可实现模糊图像的清晰化，实现超分辨率输出，得到重构后的一系列小图像。
45.此处采用的改进后的enhancenet网络结构：与原始网络相比较，将densenet改进残差网络引入，将所有层直接连接在一起；在这种新型架构中，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层；这些特征映射通过深度级联聚合，提升了神经网络的深度，解决降低了计算量问题。
46.s2.1：改进的enhancenet网络，采用步长为2的3*3的卷积核图像数据进行卷积处理，提取相关特征数据。得到的每一层做卷积的时候都对输入特征进行“零填充”。进行多次卷积操作，每次操作看作是一层，使用relu和3*3的卷积。最终获得深度h为64的特征映射图像。
47.s2.2：将densenet改进残差网络引入改进的enhancenet网络中。将改进的enhancenet网络中间所有层使用densenet直接连接在一起，即每层均与其他所有层使用densenet进行连接。在这种新型架构中，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层。这些特征映射通过深度级联聚合。提升了神经网络的深度，解决了梯度消失问题。
48.引入改进残差网络densenet，原始enhancenet网络中，假设有l层网络，但是在densenet中，就会有l(l+1)/2个连接，可以理解为每一层输入都来自前面所有层的输出。
49.densenet原理公式如下：
50.x
l
＝h
l
([x0,x1,
…
,x
l-1
])
[0051]
其中，[x0,x1,
…
,x
l-1
]表示将0到l-1层的输出feature map作concatenation，concatenation是做通道的合并，就像inception那样，h
l
包括bn、relu和3*3的卷积。
[0052]
建立block叠加，block之间任意两层间建立前向skip connection是整个核心思想；一个block包含多个dense layer，其又包括三层：bn、relu和conv，完整流程是：
[0053]
bn relu 1*1conv bn relu 3*3conv；
[0054]
前3层作为一个部分，利用1*1conv减少特征图数量。不同dense block之间的连接层称为transition layer，每个transition layer包含3层：bn、1*1conv和2*2avgpool。
[0055]
步骤3：经过步骤2处理后得到的重构后的小图像，进行分类任务。使用修改后的vgg16网络小目标分类器模型进行二分类任务，实现将重构后的小图进行分类，判断是否含有待检测的小目标物体。有的话标记为1，没有的话标记为0，并将标记为1的图像进行渲染。
[0056]
修改后的vgg16网络实现将分类器进行了更换由softmax更换为svm。
[0057]
vgg16的网络结构由六个部分组成：第一部分、第二部分由两个卷积层和一个maxpool组成，每个卷积层的输出后都有一个relu激活函数；第三部分至第五部分由四个卷积层和一个maxpool池化层构成；模型的输入为227
×
227大小的图片，将第一层卷积核的大小设为9
×
9，卷积核步长为1，其余所有卷积核大小均为3
×
3，步长为1；所有最大池化层的大小均为2
×
2，步长为2；第六部分为展开后的全连接层，由3个全连接层组成，节点个数分别为4096、4096、1000。具体结构如图2所示。
[0058]
s3.1：采集训练数据并对训练数据进行预处理：对呈现数据不平衡状态的数据集，进行不平衡处理和数据增强处理。
[0059]
s3.2：利用预处理的训练数据对网络进行训练，得到小目标分类器模型。
[0060]
预训练阶段：在imagenet大型自然图像数据集上进行网络训练，卷积层提取到的特征经过全连接层后输出为d，d作为输入传递给svm分类器，然后输出预测标签svm的预测函数为然后预测标签与真实标签yi比较，分类器使用hingeloss损失函数，表示为：
[0061][0062]
经过多次迭代优化神经网络中的所有参数，来减少损失函数h(y)的值，并保存训练之后的参数，即为权重。
[0063]
微调阶段：以修改后vgg16网络为基础，利用预处理的训练数据进行网络训练，得到小目标分类器模型。
[0064]
步骤4：将步骤3中得到的所有图像进行汇总拼接，得到最终的检测结果。
[0065]
经过实验得知，在使用普通pc主机上进行测试，本实施例所述方法能够将实现将小目标物体准确识别出来，识别率较高；相较于传统的基于神经网络的图片分类，计算复杂度低，处理效率高；此外，本发明通过实验表明能够有较高的精确率、召回率和准确率。
[0066]
实施例2：
[0067]
本发明实施例2提供了一种基于深度学习的病理切片小目标检测系统，包括：
[0068]
图像获取模块，被配置为：获取病理切片图像；
[0069]
图像分割模块，被配置为：将病理切片图像利用滑动窗口，分割成多个小图像；
[0070]
小图像重构模块，被配置为：根据获取的小图像和预设enhancenet网络，得到重构后的小图像，enhancenet网络的中间所有层使用densenet直接连接在一起；
[0071]
小图像分类模块，被配置为：对重构后的小图像进行分类，对含有待检测小目标物体的图像进行渲染；
[0072]
小图像拼接模块，被配置为：将渲染后的所有小图像进行汇总拼接，得到最终的检测结果。
[0073]
所述系统的工作方法与实施例1提供的基于深度学习的病理切片小目标检测方法相同，这里不再赘述。
[0074]
实施例3：
[0075]
本发明实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的基于深度学习的病理切片小目标检测方法中的步骤。
[0076]
实施例4：
[0077]
本发明实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的基于深度学习的病理切片小目标检测方法中的步骤。
[0078]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0079]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0080]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0081]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0082]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0083]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。