一种融合残差神经网络与U-Net网络结构的全切片病理图像分割方法

本发明属于全切片病理图像辅助诊断领域，具体为一种融合了残差神经网络与全卷积网络结构的全切片病理图像病灶分割方法。涉及图像处理、深度神经网络的搭建和训练、计算机辅助病理图像诊断。

背景技术：

1、癌症是威胁人类生命健康的最主要的杀手之一，并且癌症还有多种类型。能否对各种癌症类型中细胞病变区域的精准识别和定位决定着医生临床治疗的成败。在实际临床应用中，细胞病理学领域的医生通常通过在高功率显微镜下检查用苏木精和伊红染色的组织切片来识别癌变区域。如今全切片病理图像技术已得到了迅猛的发展，并且可以更直观的反映图像的细节信息。但由于细胞组织切片图像的高度精密性和复杂性以及数据的庞大性，医生们在做这项工作时会耗费大量的时间和精力，严重者还会患上颈椎病或视力退化。所以，全切片图像中癌变区域的自动检测和定位是病理图像处理领域的一个重点研究方向。

2、深度学习算法在病理图像分割领域的诸多方面都有着广泛的应用。深度学习算法克服了之前需要人工设计运算规则的缺陷，通过深度挖掘处理对象的数学特征，实现了端到端的“输入-输出”机制。当前基于卷积网络的深度学习算法已成为该领域的主流技术。近年来，学界针对基于卷积网络的深度学习算法在全切片病理图像分割领域的应用进行了深入的研究。

3、ann heng与其团队实现了卷积神经网络(cnn)对脊椎部位的ct图像进行自动定位与识别；ann heng等人接着在2017年使用卷积神经网络(cnn)和反卷积神经网络(rnn)，建立了一种对超声图像的组织区域自动检测的框架。yaniv bar等人运用迁移学习技术，使用cnn算法，以非病理图像数据集作为训练样本，将训练的网络模型用于胸部的病理图像检测，chang shin等人进一步地将cnn算法与计算机辅助检测系统相结合，利用“cifar-cnn”、“googlenet-cnn”网络的训练权重分割病理图像。但经过迁移学习所得到的卷积特性往往是在特定的场景下生成的，其存在着适用场景的局限性，在复杂场景下的表现差强人意。bejnordi等人通过融合两个卷积神经网络(cnn)对乳腺癌全切片细胞的病理区域进行检测，这也是当前较主流的全切片细胞病理区域检测方法之一。cnn网络模型存在着过度依赖数据集的缺陷，当数据集的图片数量太少时，训练就无法得到最合适的参数，并且训练需要占用大量内存。另外，cnn网络实现的是“图像-概率”的输入输出机制，这种网络机制无法获取图像中任意一个像素点的预测概率。但医疗图像的诊断是细致的，医生需要根据病理图像中各个位置的病变情况给出准确的诊断方案。

4、trevor darrell对cnn网络的全连接层进行改造，使用卷积层代替全连接层，并使用跳转连接，在2017年创新性地提出了全卷积神经网络(fcn)，这开启了深度神经网络可以实现“像素-像素”级别语义分割新纪元。himanshu verma在trevor darrell课题组的研究基础上，将全卷积神经网络用于脑部肿瘤mri(核磁共振)图像的检测；shen进一步地提出了三维全卷积神经网络用于婴儿脑部肿瘤图像的检测；sinan等人融合fcn算法和vgg算法，对脑部肿瘤的mri图像进行判别。zhang等人融合fcn算法和残差网络算法(resnet)，在自己建立的全新的全切片病理数据集上实现了最好的判别性能，但基于fcn框架下的算法需要消耗更多的时间成本。在fcn网络模型的基础上，olaf提出了u-net算法，该算法已成为深度学习在医学图像分割领域应用的基本框架。ayat等人在u-net结构中实现了resnet34神经网络来定位胸部x射线数据集中的气胸病理区域。但是在他们的训练条件下，iou的度量值是偏低的，没有达到0.8。随后，ruchita tekade和hailan cheng在u-net框架内实现了vgg网络和resnet网络，分别提取肺癌ct图像的病理特征。但是，由于vgg网络的层数较浅，提取图像局部信息的能力较弱。另外，在hailan cheng所提出的方法中，u-net网络的收缩路径和扩张路径中的所有操作都被残差网络的基本块结构所代替，这极大地复杂了网络结构。

5、现有的基于卷积神经网络的全切片病理图像分割方法虽然取得了不错的效果，但仍存在着如下问题需要考虑和完善：

6、(1)全切片载玻病理图像可以更直观、清晰的反映图像的轮廓信息和细节信息，当前完整的切片载玻病理图像的数据集是数量极少的，研究团队往往在数据集的获取上需要花费大量的时间和金钱。这一弊端会滞后该学科领域的研究与发展。

7、(2)基于神经网络的病理图像分割算法的最主要目的是在最短的时间内实现最高的准确率，当前该领域已有的所有算法都是根据这个目的提出的。公开一种运行效率更高、运算速度更快、分割结果更精准的算法是学界共同的追求目标。显然当前已有的算法在上述三个方面均有着很大的提升空间。

8、本发明基于残差神经网络和全卷积神经网络结构，融合深度卷积神经网络和图像处理技术，使用u-net网络结构作为主体框架，利用残差网络结构(resnet)中的基本块(如图6)代替u-net网络结构中的卷积层，并且本发明引入了余弦退火算法来控制学习率，保证网络可以充分学习到数据集特征。本发明公开的算法在运行效率、运算速度和准确率等方面的表现较当前算法均有所提高。

技术实现思路

1、本发明旨在提高全切片图像中病理区域的分割准确率。本发明所采用的具体方法是提出了一种融合残差神经网络和全卷积网络结构的新型卷积神经网络算法，建立了一套完整的全切片病理图像计算机辅助病灶分割方法。具体步骤如下：

2、(1)由于原始的全切片病理图像尺寸过大，没有办法在屏幕进行全貌显示和后续处理，所以首先将原始的全切片病理图像经过图像处理技术中的切割算法处理，处理后其会被切成数量若干、大小不等的图像子块，用于后续操作；

3、(2)使用数据增强技术，以及图像病灶人工标记，通过对数字病理图像切片进行处理，从而产生用于深度神经网络病灶分割训练的数据集。

4、(3)融合残差神经网络和u-net网络结构，残差神经网络使用resnet50结构，u-net网络结构的左侧的收缩路径由残差网络中的基本块状结构代替。融合算法中的学习率使用余弦退火算法控制。

5、(4)将(2)中建立好的数据集投放入(3)中所建立的深度人工神经网络，进行充分训练。神经网络在经过充分训练后会输出预测图像的标签图和概率预测映射图，标签图会清晰的标注出病变区域，这可以让医生在宏观上迅速确定病变区域；概率预测映射图实现了对病理图像在像素级别上的精准预测，这可以让医生在微观上更加有针对性的给出诊断方案。

6、在本发明中，深度神经网络使用随机梯度下降算法训练；神经网络的损失函数采用交叉熵损失函数；在神经网络的训练过程中，训练数据随机选取投放至神经网络中。

技术特征：

1.本发明用于全切片病理图像分割的融合残差神经网络与u-net网络结构的深度人工神经网络结构及其训练方法，其特征在于：

2.本发明利用权利要求1中所描述的深度人工神经网络对数字病理图像进行计算机辅助诊断的方法，其特征如下：

技术总结
本发明属于全切片病理图像计算机辅助诊断领域。全切片病理图像的诊断在当代远程医疗体系中占据着非常重要的位置，图像中病理区域的识别结果决定着最终的医疗诊断方案水平。但现有的诊断方法仍存在着诊断时间消耗过长和诊断系统智能化程度低的缺陷，而且医生的人工分类会浪费大量的人力物力。为弥补现存不足，本发明公开了一种基于全卷积神经网络的全切片病理图像病灶分割诊断方法。本方法具有识别精确度高、时间成本低的特点，本方法可以代替或辅助传统人工病灶区域分割任务，根据神经网络的前期训练经验实现对病灶区域的精准识别和合理分割。基于上述优势，本发明可以广泛且准确的应用于日常医疗机构的病理图像计算机辅助诊断中。

技术研发人员：刘锋,崔荣升,蒋英海,张仕昂,张爽
受保护的技术使用者：南开大学
技术研发日：
技术公布日：2024/1/15