病变识别模型的训练方法、验证方法和病变图像识别装置与流程

本发明涉及深度学习技术领域，特别是一种病变识别模型的训练方法、利用该训练方法得到的数据模型的病变图像识别装置以及该病变识别模型的验证方法。

背景技术：

深度学习旨在模仿人脑的神经网络，其作用就如人类大脑里掌管知觉、运动指令、意识、语言的“新皮层”，它能自己学习辨识声音、图像和其他数据，从而帮助计算机破解一些人类几乎完全依靠直觉来解决的琐碎问题，从识别人脸到理解语言等。

深度学习本身也源于一个更古老的计算理念：神经网络。这些神经网络系统模拟的是人脑内神经细胞之间的紧密关联。这些神经细胞可以彼此沟通，互相施加影响，当把这样一个神经网络暴露在数据面前，不同神经细胞之间的关系会发生改变。这样，网络就会发展出对某个类别的输入数据作出特定反应的能力。通过这种方式，网络就拥有了学习能力，“学”到了一些东西。

深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。所以“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：1.强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2.明确突出了特征学习的重要性，也就是说，同过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，使分类或预测更加容易。

与人工规则构造特征的方法相比，利用大数据来学习特征，更能刻画数据丰富的内在信息。所以，在未来的几年里，我们将看到越来越多的例子：深度模型应用于大数据，而不是浅层的线性模型。

物体检测是指通过某种算法从图像中提取信息，从而在图像中找到特定物体的具体位置。物体检测属于计算机视觉和模式识别的范畴，主要目标是让计算机拥有类似人类视觉的功能，能够较好地分析、理解图像和视频的内容。本文中，物体检测用于分析视频中存在的物体信息。

目前人工电子内窥镜下诊断各类消化道病变的主观性强、操作者专业技术要求较高、多种内镜技术诊断准确性欠佳。因此急需提供一种方案以解决上述技术问题。

技术实现要素：

本发明的一个目的是提供一种病变识别模型的训练方法，得到一种可以用于病变图像检测识别的病变识别模型。

本发明的另一个目的是提供一种病变图像识别装置，能够更快速、准确地识别病变数据。

本发明的另一个目的是提供一种病变识别模型的验证方法，以验证病变识别模型应用于病变识别时的准确率。

为了实现上述目的，第一方面，本发明提供一种病变识别模型的训练方法，包括：

利用获取的病变图像样本对fasterrcnn网络进行训练，得到病变识别模型。

可选地或优选地，所述利用获取的病变图像样本对fasterrcnn网络进行训练包括：

融合fastrcnn模型和rpn模型训练出数据。

可选地或优选地，所述融合fastrcnn模型和rpn模型训练出数据包括：

分别进行fastrcnn网络训练和rpn网络训练，得到fastrcnn模型和rpn模型；

利用fastrcnn模型训练出数据，微调仅属于rpn网络的cls和reg层；

统一fastrcnn模型和rpn模型后再次进行训练；

利用训练后的数据，微调仅属于fastrcnn网络的全连接fc层；

进行最后的训练。

可选地或优选地，所述训练采用梯度下降法。

可选地或优选地，所述病变包括消化道病变、鼻病变、咽喉病变、肺部病变和肾部病变。

第二方面，本发明提供了一种病变图像识别装置，包括处理器和存储介质，所述存储介质中存储有能够被处理器执行的程序，所述程序在运行时能够实现：第一方面所述的病变识别模型识别病变图像。

可选地或优选地，所述识别病变数据包括：识别图像中的病灶类型并计算出该病灶类型的概率。

可选地或优选地，所述病变包括消化道病变、鼻病变、咽喉病变、肺部病变和肾部病变。

第三方面，本发明提供了一种病变识别模型的验证方法，用于验证第一方面所述的病变识别模型，包括：

利用病变识别模型识别采集到的病变数据，得到病变识别的第一验证结果；

获取医生识别病变数据得到的第二验证结果；

将第一验证结果和第二验证结果的准确率进行比较。

可选地或优选地，所述病变包括消化道病变、鼻病变、咽喉病变、肺部病变和肾部病变。

本发明提供的病变识别模型的训练方法，基于深度学习理念，利用采集到的病变数据样本训练fasterrcnn网络，得到病变识别模型。在使用该模型进行病变识别时，可以较为准确地判断病灶的位置和类型，大体上克服了人工识别病变图像时存在的主观性强、操作者专业技术要求较高、准确性欠佳等缺陷。

附图说明

图1为本发明实施例提供的病变识别模型的训练方法的流程图；

图2为本发明实施例提供病变识别模型验证方法的流程图；

图3为本发明实施例提供的病变图像识别装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

本发明实施例提供一种病变模型的训练方法，基本构思是利用获取的病变图像样本对fasterrcnn网络进行训练，得到病变识别模型。病变识别模型基于深度学习得到，在使用该模型进行病变识别时，可以较为准确地判断病灶的位置和类型。

本发明实施例中的fasterrcnn网络，包括候选窗口网络(regionproposalnetworks,rpn)和快速区域卷积神经网络(fastregion-basedconvolutionalneuralnetworks,frcn)，该网络将rpn网络和fastrcnn网络结合到了一起，将rpn获取到的proposal直接连到roipooling层，是一个cnn网络实现端到端目标检测的框架。

fasterrcnn的主要贡献是设计了提取建议区域的网络regionproposalnetwork(rpn)。代替了费时的selectsearch，使检测速度大为提高。rpn的网络结构类似于fr-cnn，连接与最后卷基层输出的featuremap，具有一个roi层，两个输出层，一个输出滑窗为建议区域的概率，另一个输出bbox回归的offset。其训练方式也类似于fr-cnn。注意：rpn与fr-cnn共用卷积层。

应当理解的是，本发明实施例所称的病变，包括但不限于消化道病变、鼻病变、咽喉病变、肺部病变和肾部病变。相对应的，训练模型中使用的样本数据可以是消化道检测图像、鼻腔检测图像、咽喉检测图像、肺部检测图像和肾部检测图像等。为方便描述，在本发明的下述各实施例中，以消化道检测为例进行描述，但本领域技术人员可以理解，下述的各实施例也可以应用到其他病变中。

根据本发明的实施例，利用获取的病变图像样本对fasterrcnn网络进行训练具体包括：融合fastrcnn模型和rpn模型训练出数据。

如前所述，fasterrcnn网络由rpn网络和fastr-cnn网络组成。在训练时，需要将两个网络融合在一起训练出数据。根据本发明的实施例，融合的具体步骤包括：

s1：对样本数据进行预处理。

以消化道病变为例，在步骤s1中，需要采集医院患者的消化道检测图片，这些图片在临床中通过内窥镜系统拍摄得到。然后对这些消化道检测图像进行预处理。预处理包括去除图片中有关患者个人隐私的敏感信息、与识别病灶无关的噪声信息等。

在步骤s1后，方法进行到s2：利用病变数据分别训练fastrcnn网络和rpn网络，从而分别得到fastrcnn模型和rpn模型。根据本发明的实施例，步骤s2具体包括：

s201a：配置fastrcnn的参数；以及s201b：配置rpn的参数。这两个步骤的目的是为了下述实施例的网络训练进行基础参数的配置。

接下来，步骤进行到s202a和s202b，其中：

s202a：利用梯度下降法进行fastrcnn训练。

s202b：利用梯度下降法进行rpn训练。

在这两个步骤中，是利用病变数据分别训练出两个模型(fastrcnn模型和rpn模型)的数据，以为下述实施例的模型统一做准备。

在分别得到fastrcnn模型和rpn模型后，方法进行到步骤s3：利用fastrcnn模型训练出数据，微调仅属于rpn网络的cls层和reg层。本步骤中，使用的fastrcnn网络重新初始化rpn,固定卷积层进行微调，微调rpn网络，只微调rpn独有的层。

本实施例中的微调指的是稍微改变网络结构，微调权值，以对训练模型的具体应用环境进行的适应性调整。例如，当用于识别不同类型的病变图像时，可以根据实际需求进行上述的微调。

接下来，步骤进行到s4：统一fastrcnn模型和rpn模型后，利用梯度下降法再次进行训练。

由于步骤s3中，rpn网络中参数进行了调整，为了适应让样本数据适应新调整的参数，提高模型在识别病变图像过程中的准确性，在步骤s4中将两个模型再次统一进行训练。

接下来，方法进行到步骤s5：利用训练后的数据，微调仅属于fastrcnn网络的全连接fc层。全连接层(fullyconnectedlayers，fc)在整个卷积神经网络中起到“分类器”的作用。具体地，fc层起到将学到的“分布式特征表示”映射到样本标记空间的作用。

在步骤s5中，固定了fastrcnn的卷积层，使用rpn提取的regionproposal对fastrcnn网络进行微调，只微调fastrcnn独有的层。

接下来，方法进行到步骤s6：进行最后的训练，训练方法仍然采用梯度下降法，得到最终的病变识别模型。在步骤s5中，卷积层已经固定，不会再有参数的微调，因此通过步骤s6对网络进行训练后，就可以确定最终的病变识别模型。

在本发明实施例的训练步骤中，对模型进行了多次的微调，每次调整仅涉及一种类型的网络中的小部分参数，避免调整参数分布在不同网络的不同层中而造成再次训练数据时运算逻辑复杂和运算量过高。在每次微调后都进行相应的训练，提高了模型在识别病变过程中的准确性。

此外，需要说明的是，本发明实施例提供病变识别模型训练方法，目的是得到病变识别模型。但是，该模型只是一种工具，而不是病变的检测结果，只有将临床采集到的图片代入到该模型中并进行识别处理后(如下文叙述)，才能够得到病变检测的有关信息。

本发明实施例还提供一种病变图像识别装置，包括处理器301和存储介质302，存储介质302中存储有能够被处理器执行的程序，程序在运行时能够实现：利用上述实施例的训练方法得到的病变识别模型识别病变图像。

根据本发明的实施例，该病变图像识别装置可以是一台个人计算机，其存储单元内存储有上述各实施例任一所述的病变识别模型。在使用时，可以将病变图像数据输入到病变识别模型中，并由处理器执行识别指令，就可以将图像中的病变识别出来。

根据本发明的实施例，识别病变数据包括：识别图像中的病灶类型并计算出该病灶类型的概率。

例如，以消化道病变为例，将患者的消化道内窥镜检测图像输入到病变识别模型中，系统自动识别出病变的位置、病变的类型并计算出病变的概率。医生可以快速、准确的获知病变信息。

本发明实施例还提供了病变识别模型的验证方法，用于验证上述实施例的病变识别模型，该方法包括：

s11:利用病变识别模型识别采集到的病变数据，得到病变识别的第一验证结果。

根据本发明的实施例，采集到的病变数据需要进行筛选，以筛选出典型的病灶。这些数据一方面用于本步骤，即输入病变识别模型计算验证结果，另一方面用于建立病变数据的答题库，供医生在答题库中进行人工识别(下文叙述)。

s12：获取医生识别病变数据得到的第二验证结果。

医生在人工识别病变数据时，用肉眼观察检测图像，依据医学知识和临床经验判断答题库中的检测图像的病灶位置、类型等。其所获得的验证结果作为第二验证结果。

s13：将第一验证结果和第二验证结果的准确率进行比较。

步骤s13的目的是为了验证本实施例提供的病变识别模型的准确性和可靠性。经过实验发现，利用本实施例提供的病变识别模型识别病变的准确率，能够基本达到医生人工识别的准确率，以消化系统肿瘤举例，医生判别癌症的准确率平均为84％，人工智能识别模型的准确率为82.5％，基本达到医生的水准。本发明实施例依靠深度学习建立的病变识别模型，为经验不足的医师提供辅助指导，更进一步为科研教学提供图像和数据支撑，尤其对内镜诊断技术在基层医疗的推广具有影响深远。

本文中应用了具体个例对发明构思进行了详细阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离该发明构思的前提下，所做的任何显而易见的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。