本申请涉及到卷积神经网络应用领域，特别是涉及到病变监测方法、装置、计算机设备和存储介质。
背景技术
肝脏癌变诊断的目标是对ct断层图像获得的人体横断面图像的肝脏部位进行是否病变的判断。传统方法是借助医生的经验，对多张ct图读片定位病变，故医生的经验非常重要，但由于ct断层图像为灰度图像并同时显示多个脏器，与肝脏相关的ct切片又相当多，数据量非常大，导致看图会极大地消耗医生脑力和时间，从而导致医生没有更过的时间接待更多病人或分析病情、设计治病方案等。
技术实现要素：
本申请的主要目的为提供一种病变监测方法，旨在解决现有肝脏癌变诊断主要依靠医生医疗经验而导致的诊断耗时长、效率低的技术问题。
本申请提出一种病变监测方法，包括：
将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据；
将原始ct影像的样本数据和分割后的所述肝脏影像数据输入到预设的识别模型中进行运算，并输出识别结果；
其中，所述分割模型和识别模型分别通过第一卷积神经网络和第二卷积神经网络训练得到，第一卷积神经网络和第二卷积神经网络级联设置。
优选地，将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据的步骤，包括：
将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据；
将所述特征数据输入所述第一卷积神经网络的上采样部分，以还原所述原始ct影像的尺寸并输出分割后的肝脏影像数据。
优选地，所述第一卷积神经网络的卷积部分包括第一卷积层、第二卷积层和最大池化层；所述将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据的步骤，包括：
依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据。
所述依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据的步骤，包括：
将原始ct影像的样本数据输入卷积部分的第一卷积层，以训练所述原始ct影像的局部特征的一阶特征；
将所述原始ct影像的局部特征的一阶特征，输入到卷积部分的第二卷积层，以训练所述原始ct影像的局部特征的二阶特征；
将所述原始ct影像的局部特征的二阶特征，输入到卷积部分的最大池化层，以提取所述原始ct影像的局部特征的优化特征；
将所述原始ct影像的局部特征的优化特征作为所述原始ct影像的样本数据，依次经过所述第一卷积层、所述第二卷积层以及所述最大池化层进行迭代，直到迭代次数达到第一指定次数。
优选地，所述第一卷积神经网络的卷积部分还包括丢弃层；所述依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据的步骤之后，包括：
将所述原始ct影像的特征数据，输入到所述卷积部分的丢弃层，迭代丢弃第二指定次数，以输出所述原始ct影像的优化特征数据。
优选地，所述将所述特征数据输入第一卷积神经网络的上采样部分，以还原所述原始ct影像的尺寸并输出分割后的肝脏影像数据的步骤，包括：
将所述原始ct影像的特征数据，输入到上采样部分的上采样层，以逐步还原所述原始ct影像的尺寸；
将所述上采样层的输出数据与所述第一卷积层的一阶特征或所述第二卷积层的二阶特征通过拼接层拼接；
将所述拼接层和所述上采样层的输出数据输入第三卷积层，进行全ct影像信息融合，并输出分割后的肝脏影像数据。
优选地，所述将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据的步骤之前，包括：
在所述原始ct影像上增加高斯噪音，并旋转指定角度范围，生成旋转图像；
将所述旋转图像经过指定的弹性变换计算，得到所述原始ct影像的形变图；
将所述原始ct影像以及所述原始ct影像的形变图，规划为所述原始ct影像的样本数据。
本申请还提供了一种病变监测装置，包括：
第一输入输出模块，用于将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据；
第二输入输出模块，用于将原始ct影像的样本数据和分割后的所述肝脏影像数据输入到预设的识别模型中进行运算，并输出识别结果；
其中，所述分割模型和识别模型分别通过第一卷积神经网络和第二卷积神经网络训练得到，第一卷积神经网络和第二卷积神经网络级联设置。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
本申请有益技术效果：本申请借助神经网络对原始ct影像中的肝脏特征及病变特征的学习，通过两个级联的全卷积神经网络建立ct切片与标签间的关系，分任务训练模型，以便尽快找到最优网络参数，完成模型训练，提高了医生的看病效率，提高病症分析的准确度；本申请的网络模型的上采样部分包括了拼接，拼接的目的是把最早的那些特征拉过来，采用跨层连接的方式，将前面数层的卷积输出拼接到后层输入里去，弥补当前层因为处于网络较深位置导致数据信息不足的问题，而且模型训练过程在每一步上采样中，叠加了在卷积步骤中相同维度的特征，防止卷积云深层网络中会出现梯度消失、信息丢失，通过较少的训练数据就得到精准的训练模型；通过训练模型对病症数据进行有效分类，形成分类数据库，提高肝癌的预防效果、诊断效率以及治疗效率，具有实用价值。
附图说明
图1本申请一实施例的病变监测方法流程示意图；
图2本申请一实施例的病变监测装置结构示意图；
图3本申请一实施例的第一输入输出模块的结构示意图；
图4本申请一实施例的第一输入单元的结构示意图；
图5本申请一实施例的输出子模块的结构示意图；
图6本申请另一实施例的第一输入单元的结构示意图；
图7本申请一实施例的第二输入单元的结构示意图；
图8本申请一实施例的病变监测的优化装置结构示意图；
图9本申请另一实施例的病变监测装置结构示意图；
图10本申请一实施例的计算机设备内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例的病变监测方法，包括：
s1：将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据。
本步骤中分割后的肝脏影像数据即对原始ct影像中肝脏部位的识别数据，包括原始ct影像中肝脏部位的所有边缘特征数据。本实施例的分割模型通过识别原始ct影像中肝脏部位的边缘特征数据，确定肝脏部位的包围框，实现对原始ct影像中肝脏部位的有效分割。
s2：将原始ct影像的样本数据和分割后的所述肝脏影像数据输入到预设的识别模型中进行运算，并输出识别结果；
其中，所述分割模型和识别模型分别通过第一卷积神经网络和第二卷积神经网络训练得到，第一卷积神经网络和第二卷积神经网络级联设置。
本实施例的病变监测方法中，通过第一卷积神经网络和第二卷积神经网络两个级联的卷积神经网络结构，建立ct切片与标签间的关系(ct断层即computedtomography，即电子计算机断层扫描，利用精确准直的x线束、γ射线、超声波等形成的人体某一部位的立体的ct断层数据，ct断层具有一定厚度，ct断层有多个横断面的ct切片顺序排列组成，为进行有效区别，每个ct断层有对应的标签，每个ct切片也有相应的标签，以分别表示ct断层、ct切片在整个数据中的排列顺序，以分别精准地对应到实体器官的对应位置，本申请中的原始ct影像包括原始ct切片)。肝脏的ct由几个ct断层依次排列组成，每个ct断层再由多个ct切片依次排列组成，为了保证各ct断层和各ct切片的依次排列顺序与脏器的真实结构相对应，分别为各ct断层和各ct切片引入了标签，以便进行排列顺序、对应肝脏部位的关联。输入第一卷积神经网络的原始ct影像为各带有标签的ct切片，通过对各带有标签的ct切片进行特征提取，与图片尺寸还原达到分割肝脏的目的；将带有标签的第一神经网络的输出信息输入到第二卷积神经网络，以便第一卷积神经网络的ct切片的数据与第二卷积神经网络中的ct切片根据标签进行对应，以便精准确定第一卷积神经网络输出的肝脏的病变位置，本实施例的标签为包括排序序号等内容的信息。第一卷积神经网络的最后输出结果就是第二卷积神经网络的输入，两个任务不同，故两个卷积神经网络每层的识别目标也不同；通过两个级联的网络结构分任务训练模型，以便尽快找到最优网络参数，完成训练模型。本实施例在模型训练过程与模型实际应用的特征分析提取原理相同，模型训练中通过较多样本实现模型训练，确定模型参数，实际应用中模型参数已定，仅对需要分析的样本进行特征提取。本实施例的第一卷积神经网络与第二卷积神经网络的结构相同，只是因为输入的数据不同，实现了第一卷积神经网络结构通过识别肝脏包围框完成肝脏部位的分割任务，第二卷积神经网络通过识别病变部位完成肝脏病变类型的识别任务，避免了只用一个卷积神经网络同时进行肝脏部位识别与肝脏病变识别时，容易对其他脏器部位发生误识，避免识别结果混入其他脏器部位。
进一步地，本实施例的步骤s1，包括：
s10：将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据。
本实施例的第一卷积神经网络与第二卷积神经网络的结构相同，均包括两个部分，卷积部分和上采样部分。卷积部分是为了识别图像的特征，譬如图像边缘是一阶特征、边缘的渐变是二阶特征、局部相邻边缘特征组成三阶纹理等等，越往深处越能辨别物体。
s11：将所述特征数据输入第一卷积神经网络的上采样部分，以还原原始ct影像的尺寸并输出分割后的肝脏影像数据。
本实施例的上采样部分，是用来还原图像到原始尺寸，且使输出结果与输入结果大小尺寸相同，以便精准地完成分割任务以及病变识别任务。即本实施例通过第一卷积神经网络的上采样部分还原图像尺寸并输出分割结果；通过第二卷积神经网络的上采样部分还原图像尺寸并输出病变识别结果。
进一步地，所述第一卷积神经网络的卷积部分包括第一卷积层、第二卷积层和最大池化层；本实施例的步骤s10，包括：
s100：依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出原始ct影像的特征数据。
本实施例在特征提取的卷积过程中，每次依次经过所述第一卷积层、第二卷积层后，记为一个卷积过程conv，例如：第一次依次经过第一卷积层、第二卷积层后记为conv1，第二次依次经过第一卷积层、第二卷积层后记为conv2，依次递推进行，并在每一个卷积过程之后分别经过最大池化层输出，以逐渐提取局部特征的优化特征。本实施例通过卷积和池化的第一指定次数的迭代，不断提取原始ct影像的精细特征，并展成越来越深的特征空间，以输出精准的原始ct影像的特征数据。
进一步地，本实施例的步骤s100，包括：
s1000：将原始ct影像的样本数据输入卷积部分的第一卷积层，以训练原始ct影像的局部特征的一阶特征。
本实施例的卷积部分包括卷积层、最大池化层，卷积层是为了获取原始ct影像的局部特征，比如，本实施例的第一卷积层训练图像边缘等一阶特征。
s1001：将所述原始ct影像的局部特征的一阶特征，输入到卷积部分的第二卷积层，以训练原始ct影像的局部特征的二阶特征。
比如，本实施例的第二卷积层训练图像边缘变化等二阶特征。
s1002：将所述原始ct影像的局部特征的二阶特征，输入到卷积部分的最大池化层，以提取所述原始ct影像的局部特征的优化特征。
本步骤通过最大池化层在保留主要特征的同时减少参数，比如降维；减少计算量，并通过非线性化防止过拟合，提高训练模型的泛化能力。
s1003：将所述原始ct影像的局部特征的优化特征作为所述原始ct影像的样本数据，依次经过所述第一卷积层、所述第二卷积层以及所述最大池化层进行迭代，直到迭代次数达到第一指定次数；以进一步优化训练模型的权重，提高使用效果。
进一步，所述第一卷积神经网络的卷积部分还包括丢弃层；本申请另一实施例中步骤s100之后，包括：
s101：将所述原始ct影像的特征数据，输入到卷积部分的丢弃层，迭代丢弃第二指定次数，以输出原始ct影像的优化特征数据。
本实施例的卷积部分除了卷积层、最大池化层，还包括丢弃层，以便降低数据的冗余，提高训练模型的鲁棒性，输出更优化的特征数据。
进一步地，本实施例的步骤s11，包括：
s111：将所述原始ct影像的特征数据，输入到上采样部分的上采样层，以逐步还原原始ct影像的尺寸。
本实施例的上采样层是为了将卷积部分多次迭代卷积和池化后展成的深层特征空间依次还原出目标标签，将经过卷积的原始ct影像还原到原始尺寸，使输出结果与输入结果大小尺寸相同，以实现精准分割原始ct影像的肝脏部位。
s112：将所述上采样层的输出数据与所述第一卷积层的一阶特征或第二卷积层的二阶特征通过拼接层拼接。
本实施例中在每一次上采样步骤中，通过拼接层叠加了在卷积过程中相同维度的特征，以防止在深层的卷积神经网络中出现梯度消失的情况，避免信息丢失，提高训练模型的精准度。
s113：将所述拼接层和所述上采样层的输出数据输入第三卷积层，进行全ct影像信息融合，并输出分割后的肝脏影像数据。
本实施例在每次通过拼接层叠加了特征后，特征空间扩大两倍，需要通过压缩空间的卷积操作把特征空间压缩回叠加前的空间，所以本实施例每个拼接层后会紧跟一个压缩空间的第三卷积层，进行拼接之后的特征融合并压缩特征空间。
进一步地，步骤s1之前，包括：
s3：在原始ct影像上增加高斯噪音，并旋转指定角度范围，生成旋转图像。
本实施例的每个病例的每张断层图依次进行了数据预处理，以保证在原始图像尺寸下，对原始ct影像增强，以尽可能去除非相关组织，凸显肝脏。本实施例首先根据肝脏组织在原始ct影像上的灰度范围的表现，过滤出-100到400灰度范围的像素，以突出肝脏在图像中的对比度，同时保证原始图像尺寸。由于在[-100,400]范围内的原始ct影像显示的脏器对比度不明显，本实施例通过直方图均衡化的方法进行对比度增强，扩大像素个数多的灰度级，扩展图像元素取值的动态范围。而且本实施例采用仅有的20张开源的肝脏病变图作为原始ct影像，由于训练数据样例非常少，为了提高模型鲁棒性，在图像上增加高斯噪声，随机旋转[-30,+30]的角度，以进行数据增强，提高数据多样性。
s4：将所述旋转图像经过指定的弹性变换计算，得到原始ct影像的形变图。
本实施例的弹性变换计算过程，包括：
(1)对原始ct影像的每一个切片上的每个像素，产生两个[-1,1]范围内的随机数图像a和b。
(2)生成以0为均值，以4为标准差的105*105个像素的高斯核，将高斯核与图像a和b分别卷积，得到卷积结果a2和b2。
(3)对卷积结果a2和b2，把原始ct影像(xi,yi)的像素值赋值给新图像(xi+a2i,yi+b2i)位置，得到原始ct影像的形变图。
s5：将所述原始ct影像以及其对应的形变图，规划为原始ct影像的样本数据。
本实施例以0/1标签的ct断层的判别过程，具体说明本实施例的原始ct影像的肝脏癌症病变监测的具体流程：
首先对20个开源ct断层样本数据进行增强操作(20个开源ct断层样本数据来源于https://www.ircad.fr/research/3d-ircadb-01/)，每个样本有多个ct切片。比如判别0/1标签的ct断层，训练模型输入为512*512*1的灰度ct切片，输出为512*512*1的标签。
输入的每个样本是512*512*n的预处理后图像，其中n为该样本ct切片数量。进行以下模型训练：
卷积，采用3*3卷积核，输出64个特征图，采用relu激活函数，输出512*512大小；
卷积，采用3*3卷积核，输出64个特征图，采用relu激活函数，输出512*512大小，记为conv1(conv表示卷积层)；
最大值池化，采用2*2核，输出256*256大小；
卷积，采用3*3卷积核，输出128个特征图，采用relu激活函数，输出256*256大小；
卷积，采用3*3卷积核，输出64个特征图，采用relu激活函数，输出256*256大小，记为conv2；
最大值池化，采用2*2核，输出128*128大小；
卷积，采用3*3卷积核，输出256个特征图，采用relu激活函数，输出128*128大小；
卷积，采用3*3卷积核，输出256个特征图，采用relu激活函数，输出128*128大小，记为conv3；
最大值池化，采用2*2核，输出64*64大小；
卷积，采用3*3卷积核，输出512个特征图，采用relu激活函数，输出64*64大小；
卷积，采用3*3卷积核，输出512个特征图，采用relu激活函数，输出64*64大小，记为conv4；
丢弃，随机选conv4的一半输出设为0，输出记为drop4(drop表示丢弃层)；
最大值池化，采用2*2核，输出32*32大小；
卷积，采用3*3卷积核，输出1024个特征图，采用relu激活函数，输出32*32大小；
卷积，采用3*3卷积核，输出1024个特征图，采用relu激活函数，输出32*32大小，记为conv5；
丢弃，随机选conv5的一半输出设为0，输出记为drop5；
最大值池化，采用2*2核，输出16*16大小；
卷积，采用3*3卷积核，输出2048个特征图，采用relu激活函数，输出16*16大小；
卷积，采用3*3卷积核，输出2048个特征图，采用relu激活函数，输出16*16大小，记为conv6；
丢弃，随机选conv6的一半输出设为0，输出记为drop6；
上述部分为卷积部分，完成后进入上采样部分。
上采样，采用2*2上采样，输出32*32；
卷积，采用2*2卷积核，输出1024个特征图，采用relu激活函数，输出32*32大小，记为up7(up表示上采样层)；
拼接，拼接drop5和up7，输出2048个特征图，32*32大小；
卷积，采用3*3卷积核，输出1024个特征图，采用relu激活函数，输出32*32大小；
卷积，采用3*3卷积核，输出1024个特征图，采用relu激活函数，输出32*32大小；
上采样，采用2*2上采样，输出64*64；
卷积，采用2*2卷积核，输出512个特征图，采用relu激活函数，输出64*64大小，记为up8；
拼接，拼接drop4和up8，输出1024个特征图，64*64大小；
卷积，采用3*3卷积核，输出512个特征图，采用relu激活函数，输出64*64大小；
卷积，采用3*3卷积核，输出512个特征图，采用relu激活函数，输出64*64大小；
上采样，采用2*2上采样，输出128*128大小；
卷积，采用2*2卷积核，输出256个特征图，采用relu激活函数，输出128*128大小，记为up9；
拼接，拼接conv3和up9，输出512个特征图，128*128大小；
卷积，采用3*3卷积核，输出256个特征图，采用relu激活函数，输出128*128大小；
卷积，采用3*3卷积核，输出256个特征图，采用relu激活函数，输出128*128大小；
上采样，采用2*2上采样，输出256*256；
卷积，采用2*2卷积核，输出128个特征图，采用relu激活函数，输出256*256大小，记为up10；
拼接，拼接conv2和up10，输出256个特征图，256*256大小；
卷积，采用3*3卷积核，输出128个特征图，采用relu激活函数，输出256*256大小；
卷积，采用3*3卷积核，输出128个特征图，采用relu激活函数，输出256*256大小；
上采样，采用2*2上采样，输出512*512；
卷积，采用2*2卷积核，输出64个特征图，采用relu激活函数，输出512*512大小，记为up11；
拼接，拼接conv1和up11，输出128个特征图，512*512大小；
卷积，采用3*3卷积核，输出64个特征图，采用relu激活函数，输出512*512大小；
卷积，采用3*3卷积核，输出64个特征图，采用relu激活函数，输出512*512大小；
卷积，采用3*3卷积核，输出2个特征图，采用relu激活函数，输出512*512大小；
卷积，采用1*1卷积核，输出1个特征图，采用sigmoid激活函数，输出512*512大小。
上述为第一卷积神经网络或第二卷积神经网络的模型结构，可具体表示为下表：
本实施例首先由预测的肝脏包围框提取原始ct影像对应位置，作为待分割的训练图片，以同样的方式，由预测包围框获取病变对应位置，提取512*512*1的标签图，训练全卷积分割网络。在第一卷积神经网络中，先把最初的ct切片数据进行第一卷积神经网络数据准备，把处理完的数据输入第一卷积神经网络进行模型训练，训练设置迭代五十次，每次迭代都会遍历完所有输入数据，训练中采用交叉熵(crossentropy)作为目标函数。本实施例的交叉熵函数表示为：
本实施例采用adam策略(adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，adam来源于适应性矩估计adaptivemomentestimation)进行参数更新，初始学习率为1e-5，训练中当验证集上的损失少于1e-7时，学习率减半，损失减少表示训练仍在优化，当优化到一定程度，需要降低学习率，避免因学习率过大而震荡最终导致无法继续优化。第一卷积神经网络训练时对肝脏的分割结果可能会有不够准确的地方，为了避免由此产生的肝脏边界包围框不够准确，在第二卷积神经网络的输入中拼接了增强后的原始ct影像数据，使得第二卷积神经网络的输入含有比较齐全的用于病变分割的信息，故不会产生数据丢失或者数据不全面造成整个模型识别效果不高。第二卷积神经网络最后输出512*512*1的图像，即为0/1标签的ct断层判别结果。
进一步地，本申请另一实施例中，步骤s2之后，还包括：
s20：通过比较所述第二卷积神经网络的输出结果与所述第一卷积神经网络的输出结果，获取病变位置的病变信息。
本实施例通过识别病变部位完成肝脏病变类型的识别任务后，通过比较整个肝脏区域以及病变区域，以获取病变信息。本实施例的病变信息包括但不限于病变区域的数量、尺寸、分布占比以及边缘特性信息等分析数据，以进一步提高肝癌的诊断准确度。病变区域的数量、尺寸、分布占比以及边缘特性信息等分析数据直接显示了肝癌进展程度。举例地，肝s7/8表面局部隆突，内见一巨大不规则低密度影，大小约为73×68mm，境界不清，部分密度高于同层肝，边缘欠示欠清，可推测诊断为t3an0m0iiia期(病理分析结果，t1b表示多发肿瘤直径>5cm；n0m0表示无区域淋巴转移、无远处转移)，结合有无淋巴转移，有无远处转移，可确诊是否t3an0m0iiia期。
进一步地，本实施例的步骤s20之后，包括：
s21：通过外部获取所述病变信息对应的病者身份信息，以与所述病变信息组建第一数据库。
本步骤的身份信息包括但不限于年龄、性别、职业、饮食喜好等。本实施例通过组建第一数据库，以提高人类区分年龄、性别、职业、饮食喜好等，有效在高发群体中进行有效监控，提高癌症防范的有效性。
进一步地，本申请另一实施例的步骤s20之后，还包括：
s22：通过获取所述病变位置跟随时间的变化数据以及相应病者的生活信息，以寻找病变的利好因素。
本步骤中的变化数据包括但不限于病变区域变大或减少、病变区域的个数减少或增多等信息。本步骤的生活信息包括但不限于饮食种类、数量及频次，用药种类、数量及频次，睡眠质量、时长及频次等。本步骤的利好因素表示有利于控制病症、减缓病症发展以及促进病症好转的因素。可将上述变化数据、生活信息以及利好因素组建成第二数据库，以便于综合快速地推进肝癌的优化治疗。
本实施例借助神经网络对原始ct影像中的肝脏特征及病变特征的学习，通过两个级联的全卷积神经网络建立ct切片与标签间的关系，分任务训练模型，以便尽快找到最优网络参数，完成模型训练，提高了医生的看病效率，提高病症分析的准确度；本实施例的网络模型的上采样部分包括了拼接，拼接的目的是把最早的那些特征拉过来，采用跨层连接的方式，将前面数层的卷积输出拼接到后层输入里去，弥补当前层因为处于网络较深位置导致数据信息不足的问题，而且模型训练过程在每一步上采样中，叠加了在卷积步骤中相同维度的特征，防止卷积云深层网络中会出现梯度消失、信息丢失，通过较少的训练数据就得到精准的训练模型；通过训练模型对病症数据进行有效分类，形成分类数据库，提高肝癌的预防效果、诊断效率以及治疗效率，具有实用价值。
参照图2，本申请一实施例的病变监测装置，包括：
第一输入输出模块1，用于将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据。
本实施例中分割后的肝脏影像数据即对原始ct影像中肝脏部位的识别数据，包括原始ct影像中肝脏部位的所有边缘特征数据。本实施例的分割模型通过识别原始ct影像中肝脏部位的边缘特征数据，确定肝脏部位的包围框，实现对原始ct影像中肝脏部位的有效分割。
第二输入输出模块2，用于将原始ct影像的样本数据和分割后的所述肝脏影像数据输入到预设的识别模型中进行运算，并输出识别结果；
其中，所述分割模型和识别模型分别通过第一卷积神经网络和第二卷积神经网络训练得到，第一卷积神经网络和第二卷积神经网络级联设置。
本实施例的病变监测方法中，通过第一卷积神经网络和第二卷积神经网络两个级联的卷积神经网络结构，建立ct切片与标签间的关系，第一卷积神经网络的最后输出结果就是第二卷积神经网络的输入，两个任务不同，故两个卷积神经网络每层的识别目标也不同；通过两个级联的网络结构分任务训练模型，以便尽快找到最优网络参数，完成训练模型。本实施例的第一卷积神经网络与第二卷积神经网络的结构相同，只是因为输入的数据不同，实现了第一卷积神经网络结构通过识别肝脏包围框完成肝脏部位的分割任务，第二卷积神经网络通过识别病变部位完成肝脏病变类型的识别任务，避免了只用一个卷积神经网络同时进行肝脏部位识别与肝脏病变识别时，容易对其他脏器部位发生误识，避免识别结果混入其他脏器部位。
参照图3，第一输入输出模块1，包括：
第一输入单元10，用于将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据。
本实施例的第一卷积神经网络与第二卷积神经网络的结构相同，均包括两个部分，卷积部分和上采样部分。卷积部分是为了识别图像的特征，譬如图像边缘是一阶特征、边缘的渐变是二阶特征、局部相邻边缘特征组成三阶纹理等等，越往深处越能辨别物体。
第二输入单元11，用于将所述特征数据输入第一卷积神经网络的上采样部分，以还原原始ct影像的尺寸并输出分割后的肝脏影像数据。
本实施例的上采样部分，是用来还原图像到原始尺寸，且使输出结果与输入结果大小尺寸相同，以便精准地完成分割任务以及病变识别任务。即本实施例通过第一卷积神经网络的上采样部分还原图像尺寸并输出分割结果；通过第二卷积神经网络的上采样部分还原图像尺寸并输出病变识别结果。
参照图4，所述第一卷积神经网络的卷积部分包括第一卷积层、第二卷积层和最大池化层；第一输入单元10，包括：
输出子模块100，依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出原始ct影像的特征数据。
本实施例在特征提取的卷积过程中，每次依次经过所述第一卷积层、第二卷积层后，记为一个卷积过程conv，例如：第一次依次经过第一卷积层、第二卷积层后记为conv1，第二次依次经过第一卷积层、第二卷积层后记为conv2，依次递推进行，并在每一个卷积过程之后分别经过最大池化层输出，以逐渐提取局部特征的优化特征。本实施例通过卷积和池化的多次迭代，不断提取原始ct影像的精细特征，并展成越来越深的特征空间，以输出精准的原始ct影像的特征数据。
参照图5，本实施例的输出子模块100，包括：
第一输入子单元1000，用于将原始ct影像的样本数据输入卷积部分的第一卷积层，以训练原始ct影像的局部特征的一阶特征。
本实施例的卷积部分包括卷积层、最大池化层，卷积层是为了获取原始ct影像的局部特征，比如，本实施例的第一卷积层训练图像边缘等一阶特征。
第二输入子单元1001，用于将所述原始ct影像的局部特征的一阶特征，输入到卷积部分的第二卷积层，以训练原始ct影像的局部特征的二阶特征。
比如，本实施例的第二卷积层训练图像边缘变化等二阶特征。
第三输入子单元1002，用于将所述原始ct影像的局部特征的二阶特征，输入到卷积部分的最大池化层，以提取原始ct影像的局部特征的优化特征。
本实施例通过最大池化层在保留主要特征的同时减少参数，比如降维；减少计算量，并通过非线性化防止过拟合，提高训练模型的泛化能力。
迭代子单元1003，用于将所述原始ct影像的局部特征的优化特征作为所述原始ct影像的样本数据，依次经过所述第一卷积层、第二卷积层以及最大池化层进行迭代，直到迭代次数达到第一指定次数第一指定次数。
参照图6，所述第一卷积神经网络的卷积部分还包括丢弃层；本申请另一实施例的第一输入单元10，还包括：
迭代子模块101，用于将所述原始ct影像的特征数据，输入到卷积部分的丢弃层，迭代丢弃第二指定次数，以输出原始ct影像的优化特征数据。
本实施例的卷积部分除了卷积层、最大池化层，还包括丢弃层，以便降低数据的冗余，提高训练模型的鲁棒性，以输出更优化的特征数据。
参照图7，所述第二输入单元11，包括：
第一输入子模块111，用于将原始ct影像的特征数据，输入到上采样部分的上采样层，以逐步还原原始ct影像的尺寸。
本实施例的上采样层是为了将卷积部分多次迭代卷积和池化后展成的深层特征空间依次还原出目标标签，将经过卷积的原始ct影像还原到原始尺寸，使输出结果与输入结果大小尺寸相同，以实现精准分割原始ct影像的肝脏部位。
拼接子模块112，用于将所述上采样层的输出数据与所述第一卷积层的一阶特征或第二卷积层的二阶特征通过拼接层拼接。
本实施例中在每一次上采样中，通过拼接层叠加了在卷积过程中相同维度的特征，以防止在深层的卷积神经网络中出现梯度消失的情况，避免信息丢失，提高训练模型的精准度。
第二输入子模块113，用于将所述拼接层和所述上采样层的输出数据输入第三卷积层，进行全ct影像信息融合，并输出分割后的肝脏影像数据。
本实施例在每次通过拼接层叠加了特征后，特征空间扩大两倍，需要通过压缩空间的卷积操作把特征空间压缩回叠加前的空间，所以本实施例每个拼接层后会紧跟一个压缩空间的第三卷积层，进行拼接之后的特征融合并压缩特征空间。
参照图8，本申请实施例的病变监测装置，还包括：
旋转模块3，用于在原始ct影像上增加高斯噪音，并旋转指定角度范围，生成旋转图像。
本实施例的每个病例的每张断层图依次进行了数据预处理，以保证在原始图像尺寸下，对原始ct影像增强，以尽可能去除非相关组织，凸显肝脏。本实施例首先根据肝脏组织在原始ct影像上的灰度范围的表现，过滤出-100到400灰度范围的像素，以突出肝脏在图像中的对比度，同时保证原始图像尺寸。由于在[-100,400]范围内的原始ct影像显示的脏器对比度不明显，本实施例通过直方图均衡化的方法进行对比度增强，扩大像素个数多的灰度级，扩展图像元素取值的动态范围。而且本实施例采用仅有的20张开源的肝脏病变图作为原始ct影像，由于训练数据样例非常少，为了提高模型鲁棒性，在图像上增加高斯噪声，随机旋转[-30,+30]的角度，以进行数据增强，提高数据多样性。
计算模块4，用于将所述旋转图像经过指定的弹性变换计算，得到原始ct影像的形变图。
本实施例的弹性变换计算过程，包括：
(1)对原始ct影像的每一个切片上的每个像素，产生两个[-1,1]范围内的随机数图像a和b。
(2)生成以0为均值，以4为标准差的105*105个像素的高斯核，将高斯核与图像a和b分别卷积，得到卷积结果a2和b2。
(3)对卷积结果a2和b2，把原始ct影像(xi,yi)的像素值赋值给新图像(xi+a2i,yi+b2i)位置，得到原始ct影像的形变图。
规划模块5，用于将所述原始ct影像以及其对应的形变图，规划为原始ct影像的样本数据。
本实施例以0/1标签的ct断层的判别过程，具体说明本实施例的原始ct影像的肝脏癌症病变监测的具体流程：
首先对20个开源ct断层样本数据进行增强操作(20个开源ct断层样本数据来源于https://www.ircad.fr/research/3d-ircadb-01/)，每个样本有多个ct切片。比如判别0/1标签的ct断层，训练模型输入为512*512*1的灰度ct切片，输出为512*512*1的标签。
输入的每个样本是512*512*n的预处理后图像，其中n为该样本ct切片数量。模型训练过程见方法部分，不赘述。本实施例首先由预测的肝脏包围框提取原始ct影像对应位置，作为待分割的训练图片，以同样的方式，由预测包围框获取病变对应位置，提取512*512*1的标签图，训练全卷积分割网络。在第一卷积神经网络中，先把最初的ct切片数据进行第一卷积神经网络数据准备，把处理完的数据输入第一卷积神经网络进行模型训练，训练设置迭代五十次，每次迭代都会遍历完所有输入数据，训练中采用交叉熵(crossentropy)作为目标函数。本实施例的交叉熵函数表示为：
本实施例采用adam策略(adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，adam来源于适应性矩估计adaptivemomentestimation)进行参数更新，初始学习率为1e-5，训练中当验证集上的损失少于1e-7时，学习率减半，损失减少表示训练仍在优化，当优化到一定程度，需要降低学习率，避免因学习率过大而震荡最终导致无法继续优化。第一卷积神经网络训练时对肝脏的分割结果可能会有不够准确的地方，为了避免由此产生的肝脏边界包围框不够准确，在第二卷积神经网络的输入中拼接了增强后的原始ct影像数据，使得第二卷积神经网络的输入含有比较齐全的用于病变分割的信息，故不会产生数据丢失或者数据不全面造成整个模型识别效果不高。第二卷积神经网络最后输出512*512*1的图像，即为0/1标签的ct断层判别结果。
参照图9，本申请另一实施例的病变监测装置，包括：
第一获取模块20，用于通过比较所述第二卷积神经网络的输出结果与所述第一卷积神经网络的输出结果，获取病变位置的病变信息。
本实施例通过识别病变部位完成肝脏病变类型的识别任务后，通过比较整个肝脏区域以及病变区域，以获取病变信息。本实施例的病变信息包括但不限于病变区域的数量、尺寸、分布占比以及边缘特性信息等分析数据，以进一步提高肝癌的诊断准确度。病变区域的数量、尺寸、分布占比以及边缘特性信息等分析数据直接显示了肝癌进展程度。举例地，肝s7/8表面局部隆突，内见一巨大不规则低密度影，大小约为73×68mm，境界不清，部分密度高于同层肝，边缘欠示欠清，可推测诊断为t3an0m0iiia期(病理分析结果，t1b表示多发肿瘤直径>5cm；n0m0表示无区域淋巴转移、无远处转移)，结合有无淋巴转移，有无远处转移，可确诊是否t3an0m0iiia期。
进一步地，本实施例的病变监测装置，包括：
组建模块21，用于通过外部获取所述病变信息对应的病者身份信息，以与所述病变信息组建第一数据库。
本实施例的身份信息包括但不限于年龄、性别、职业、饮食喜好等。本实施例通过组建第一数据库，以提高人类区分年龄、性别、职业、饮食喜好等，有效在高发群体中进行有效监控，提高癌症防范的有效性。
进一步地，本实施例的病变监测装置，包括：
第二获取模块22，用于通过获取所述病变位置跟随时间的变化数据以及相应病者的生活信息，以寻找病变的利好因素。
本实施例的变化数据包括但不限于病变区域变大或减少、病变区域的个数减少或增多等信息。本实施例的生活信息包括但不限于饮食种类、数量及频次，用药种类、数量及频次，睡眠质量、时长及频次等。本实施例的利好因素表示有利于控制病症、减缓病症发展以及促进病症好转的因素。可将上述变化数据、生活信息以及利好因素组建成第二数据库，以便于综合快速地推进肝癌的优化治疗。
参照图10，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型训练过程中需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现病变监测方法。
上述处理器执行上述病变监测方法的步骤：将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据；将原始ct影像的样本数据和分割后的所述肝脏影像数据输入到预设的识别模型中进行运算，并输出识别结果；其中，所述分割模型和识别模型分别通过第一卷积神经网络和第二卷积神经网络训练得到，第一卷积神经网络和第二卷积神经网络级联设置。
上述计算机设备，借助神经网络对原始ct影像中的肝脏特征及病变特征的学习，通过两个级联的全卷积神经网络建立ct切片与标签间的关系，分任务训练模型，以便尽快找到最优网络参数，完成模型训练，提高了医生的看病效率，提高病症分析的准确度；本申请的网络模型的上采样部分包括了拼接，拼接的目的是把最早的那些特征拉过来，采用跨层连接的方式，将前面数层的卷积输出拼接到后层输入里去，弥补当前层因为处于网络较深位置导致数据信息不足的问题，而且模型训练过程在每一步上采样中，叠加了在卷积步骤中相同维度的特征，防止卷积云深层网络中会出现梯度消失、信息丢失，通过较少的训练数据就得到精准的训练模型；通过训练模型对病症数据进行有效分类，形成分类数据库，提高肝癌的预防效果、诊断效率以及治疗效率，具有实用价值。
在一个实施例中，上述处理器将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据的步骤，包括：将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据；将所述特征数据输入所述第一卷积神经网络的上采样部分，以还原所述原始ct影像的尺寸并输出分割后的肝脏影像数据。
在一个实施例中，所述第一卷积神经网络的卷积部分包括第一卷积层、第二卷积层和最大池化层；上述处理器将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据的步骤，包括：依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据。
在一个实施例中，依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据的步骤，包括：将原始ct影像的样本数据输入卷积部分的第一卷积层，以训练原始ct影像的局部特征的一阶特征；将所述原始ct影像的局部特征的一阶特征，输入到卷积部分的第二卷积层，以训练原始ct影像的局部特征的二阶特征；将所述原始ct影像的局部特征的二阶特征，输入到卷积部分的最大池化层，以提取所述原始ct影像的局部特征的优化特征；将所述原始ct影像的局部特征的优化特征作为所述原始ct影像的样本数据，依次经过所述第一卷积层、所述第二卷积层以及所述最大池化层进行迭代，直到迭代次数达到第一指定次数。
在一个实施例中，所述第一卷积神经网络的卷积部分还包括丢弃层；依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据的步骤之后，包括：将所述原始ct影像的特征数据，输入到所述卷积部分的丢弃层，迭代丢弃第二指定次数，以输出所述原始ct影像的优化特征数据。
在一个实施例中，处理器将所述特征数据输入第一卷积神经网络的上采样部分，以还原原始ct影像的尺寸并输出分割后的肝脏影像数据的步骤，包括：将所述原始ct影像的特征数据，输入到上采样部分的上采样层，以逐步还原所述原始ct影像的尺寸；将所述上采样层的输出数据与所述第一卷积层的一阶特征或所述第二卷积层的二阶特征通过拼接层拼接；将所述拼接层和所述上采样层的输出数据输入第三卷积层，进行全ct影像信息融合，并输出分割后的肝脏影像数据。
在一个实施例中，处理器将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据的步骤之前，包括：在所述原始ct影像上增加高斯噪音，并旋转指定角度范围，生成旋转图像；将所述旋转图像经过指定的弹性变换计算，得到所述原始ct影像的形变图；将所述原始ct影像以及所述原始ct影像的形变图，规划为所述原始ct影像的样本数据。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现病变监测方法，具体为：将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据；将原始ct影像的样本数据和分割后的所述肝脏影像数据输入到预设的识别模型中进行运算，并输出识别结果；其中，所述分割模型和识别模型分别通过第一卷积神经网络和第二卷积神经网络训练得到，第一卷积神经网络和第二卷积神经网络级联设置。
上述计算机可读存储介质，借助神经网络对原始ct影像中的肝脏特征及病变特征的学习，通过两个级联的全卷积神经网络建立ct切片与标签间的关系，分任务训练模型，以便尽快找到最优网络参数，完成模型训练，提高了医生的看病效率，提高病症分析的准确度；本申请的网络模型的上采样部分包括了拼接，拼接的目的是把最早的那些特征拉过来，采用跨层连接的方式，将前面数层的卷积输出拼接到后层输入里去，弥补当前层因为处于网络较深位置导致数据信息不足的问题，而且模型训练过程在每一步上采样中，叠加了在卷积步骤中相同维度的特征，防止卷积云深层网络中会出现梯度消失、信息丢失，通过较少的训练数据就得到精准的训练模型；通过训练模型对病症数据进行有效分类，形成分类数据库，提高肝癌的预防效果、诊断效率以及治疗效率，具有实用价值。
在一个实施例中，上述处理器将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据的步骤，包括：将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据；将所述特征数据输入所述第一卷积神经网络的上采样部分，以还原所述原始ct影像的尺寸并输出分割后的肝脏影像数据。
在一个实施例中，所述第一卷积神经网络的卷积部分包括第一卷积层、第二卷积层和最大池化层；上述处理器将原始ct影像的样本数据输入所述第一卷积神经网络的卷积部分，通过所述分割模型中预设的特征提取方式，提取原始ct影像中特征数据的步骤，包括：依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据。
在一个实施例中，依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据的步骤，包括：将原始ct影像的样本数据输入卷积部分的第一卷积层，以训练ct影像的局部特征的一阶特征；将所述原始ct影像的局部特征的一阶特征，输入到卷积部分的第二卷积层，以训练ct影像的局部特征的二阶特征；将所述原始ct影像的局部特征的二阶特征，输入到卷积部分的最大池化层，以提取所述原始ct影像的局部特征的优化特征；将所述原始ct影像的局部特征的优化特征作为所述原始ct影像的样本数据，依次经过所述第一卷积层、所述第二卷积层以及所述最大池化层进行迭代，直到迭代次数达到第一指定次数。。
在一个实施例中，所述第一卷积神经网络的卷积部分还包括丢弃层；依次经过所述第一卷积层、第二卷积层以及最大池化层迭代第一指定次数，以输出所述原始ct影像的特征数据的步骤之后，包括：将所述原始ct影像的特征数据，输入到所述卷积部分的丢弃层，迭代丢弃第二指定次数，以输出所述原始ct影像的优化特征数据。
在一个实施例中，处理器将所述特征数据输入第一卷积神经网络的上采样部分，以还原原始ct影像的尺寸并输出分割后的肝脏影像数据的步骤，包括：将所述原始ct影像的特征数据，输入到上采样部分的上采样层，以逐步还原所述原始ct影像的尺寸；将所述上采样层的输出数据与所述第一卷积层的一阶特征或所述第二卷积层的二阶特征通过拼接层拼接；将所述拼接层和所述上采样层的输出数据输入第三卷积层，进行全ct影像信息融合，并输出分割后的肝脏影像数据。
在一个实施例中，处理器将原始ct影像的样本数据输入到预设的分割模型中进行分割运算，并输出分割后的肝脏影像数据的步骤之前，包括：在原始ct影像上增加高斯噪音，并旋转指定角度范围，生成旋转图像；将所述旋转图像经过指定的弹性变换计算，得到所述原始ct影像的形变图；将所述原始ct影像以及所述原始ct影像的形变图，规划为所述原始ct影像的样本数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)、dram(sldram)、存储器总线(rambus)、直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。