一种卷积神经网络区分肝癌分化等级的方法与流程

本发明属于医学图像处理领域，特别涉及一种卷积神经网络区分肝癌分化等级的方法。

背景技术：

肝癌是最常见的致命恶性肿瘤，仅在中国，2015年就有466100例新增病例喝422100例死亡病例。低分化的肝癌具有较强的侵袭性和较差的预后，从而导致了较低的5年生存率。不同肿瘤分化等级的肝癌患者对应不同的预后和治疗策略，具有截然不同的结果。因此，肝癌分化等级的区分具有巨大的临床价值。目前，常用的方法，如组织病理学检查和b超，很容易受到检查人员经验和辨别力的影响。开发一种新方法来实现无标记、快速、量化和自动的区分肝癌的分化等级是很有必要的。

近年来，多光子显微镜（mpm）已经成为一种有前景的快速、无标记、高分辨率的显微成像技术，非常适合用于检查未加工过的组织样本。mpm也将成为癌症检测和研究中不可替代的成像技术。该技术使用较长波长的近红外激光对生物组织中的深层物质进行成像，由于精确定位和较小的光损伤，组织样本可以被长时间地观察。作为非线性光学效应的两种主要形式，在不需要任何外源性染料的情况下，二次谐波发生（shg）可成像胶原蛋白，双光子激发荧光（tpef）可揭示肝细胞的形态。shg和tpef的结合使用可精确测定与肝疾病相关的胶原蛋白的形态和结构。

机器学习技术目前非常适合分析医学数据。基于医学图像的机器学习可以显著地提高肝疾病的检测准确率。深度学习是一种由多计算层组成的机器学习，它使算法能够基于实例学习而不是手工设计来执行相应的预测功能。近年来，一种特殊的深度学习技术—卷积神经网络（cnn），已经成为医学图像中诊断疾病的高度精确算法，所获得的精确度和准确性可与专家媲美。例如，基于多组学特征，深度学习被用来区分肝癌患者的生存亚群。此外，li等人还发现，多个全连接卷积神经网络和极限学习体系结构的结合，可以准确地预测肝癌核分级。最近，深度学习已经进一步应用于mpm图像，如血管分割，卵巢癌诊断。然而还未有深度，学习应用在肝癌mpm图像方面的研究报道。

技术实现要素：

本发明的目的在于提供一种卷积神经网络区分肝癌分化等级的方法，能够有效克服目前临床活检技术中耗时、漏诊、主观性强的缺点。

为实现上述目的，本发明的技术方案是：一种卷积神经网络区分肝癌分化等级的方法，包括如下步骤：

步骤s1、准备数据：通过多光子显微镜采集肝癌的mpm图像，单张图像大小为425.10×425.10μm²，像素为512×512；

步骤s2、扩大肝癌mpm图像数据集：将步骤s1采集的原始像素大小为512×512的图像调整为像素大小为2000×2000的原图像，并对原图像进行水平对称旋转，得到一组新图像；再对新图像和原图像进行垂直对称旋转，使得训练集的图像数量扩大为原来的4倍；将扩大的训练集中每张图像平均剪裁成4部分，构成新的训练集，至此训练集图像数量扩大为原来的16倍，即有原图像数×16张像素大小为1000×1000的数据集；

步骤s3、设计卷积神经网络，得到分化等级的区分结果：设计卷积神经网络的结构，输入图像为像素大小为1000×1000的mpm图像；卷积神经网络一共8层：第1层到第5层整体称为卷积层，用于提取图像中的详细特征，均包含滤波大小为3×3的卷积核，参数值为0.4的dropout，滤波大小为3×3的卷积核，大小为2×2的池化窗；第6层到第8层为3个全连接层，第6层和第7层的全连接层后均采用参数值为0.3的dropout和relu激活函数；第8层的全连接层后采用softmax激励函数，输出肝癌图像分化等级的概率。

在本发明一实施例中，所述步骤s1中，通过多光子显微镜采集肝癌的mpm图像过程中，设置系统激发波长为810nm，选择正置20×物镜（0.8na）扫描样品；设置2个接收通道，一个370-419nm，标记为绿色，用于收集shg信号；另一个420-700nm，标记为红色，用于探测tpef信号。

相较于现有技术，本发明具有以下有益效果：本发明借助于卷积神经网络来区分肝癌的分化等级，不仅是全自动的，实现客观地评价肿瘤分化等级的目的，可以很好地避免病理医生的观性强的缺点和漏诊现象，得到准确的区分结果。

附图说明

图1为本发明中的卷积神经网络流程图。

图2为实施例各分化等级肝癌的mpm图像。

图3为实施例区分结果的混淆矩阵图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种卷积神经网络区分肝癌分化等级的方法，用于对肝癌穿刺活检样本或肝癌切除术后送检样本的mpm图像数据进行区分，包括下述过程：

一、准备数据；

通过多光子显微镜系统采集217张肝癌的mpm图像（如图2），设置系统激发波长为810nm，选择正置20×物镜（0.8na）扫描样品。设置2个接收通道，一个370-419nm，标记为绿色，用于收集shg信号；另一个420-700nm，标记为红色，用于探测tpef信号。单张图像大小为425.10×425.10μm2，像素为512×512。由经验丰富的病理医生诊断，并给出这些图像相对应的肝癌分化等级。

二、扩大肝癌mpm图像数据集；

将217张像素大小为512×512的mpm图像调整为像素大小为2000×2000，后对图像进行水平对称旋转，得到一组新的图像217张；再对新图像和原始图像（共434张）进行垂直对称旋转。通过以上操作，训练集的图像数量扩大为原来的4倍（868张）。对扩大的训练集中每张图像平均剪裁成4部分，构成新的训练集，至此训练集数量上升到原来的16倍，即有3472张像素大小为1000×1000的数据集。

三、设计卷积神经网络，得到分化等级的区分结果；

设计卷积神经网络的结构（如图1），使用的输入图像是3472张像素大小为1000×1000的mpm图像；第1层到第5层整体称为卷积层，用于提取图像中的详细特征，均包含滤波大小为3×3的卷积核，参数值为0.4的dropout，滤波大小为3×3的卷积核，大小为2×2的池化窗。经过卷积层后输出的数据维度缩小至31×31。第6层到第8层连续使用了3个全连接层，第6层和第7层的全连接层后都接了参数值为0.3的dropout和relu激活函数；第8层的全连接层后使用了softmax激励函数，用以区分两两互斥的肝癌分化等级，最终输出肝癌图像分化等级的概率。将概率数据导入matlab软件，得到对比预测值和真实值的混淆矩阵，如图3所示。

图2为实例中多光子显微镜扫描样品得到的mpm图像，可以看到随着肝癌分化等级变化，shg信号呈绿色，表明胶原含量明显增加，胶原结构变化明显；相应地，tpef信号呈红色，揭示组织形态也随之发生改变。图3为实例中肝癌分化等级真实值和预测值对比的混淆矩阵，可以看出本发明对三个分化等级预测的精确度分别达到了100%，90%，92%。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。