一种智能化的病变组织定位的方法和装置与流程

文档序号:15494060发布日期:2018-09-21 21:16阅读:175来源:国知局

本发明实施例涉及图像识别技术领域,更具体地,涉及一种智能化的病变组织定位的方法和装置。



背景技术:

病变是指机体细胞、组织或者器官在致病因素作用下发生的局部或全身异常变化。机体细胞、组织或者器官在发生病变后,在病变的部位会产生病变组织。

对病变组织的研究是判断疾病的重要手段,例如结肠息肉是结肠癌的癌前病变组织;在对病变组织的研究中,目前主要是通过对机体的内镜检查来发现机体中的病变组织,化学染色、电子染色等技术的应用能提高机体内部的色彩、结构对比度,有利于提高病变组织的检出率。由于机体内部的结构复杂,难以观察到全部机体结构,所以在内镜检查时摄像头要广角成像方式,小型化ccd或cmos摄像头的出现,为机体内部检查的多摄像头拼接、多角度成像提供了可能,从而能获得更加完整、全面的机体内部图像。

然而,对于在机体内镜检查过程中获得的机体内部图像,传统的对病变组织的定位方法是通过人眼筛选图片中的异常区域,但是由于机体内部图像的信息量大,且受内镜检查操作、观察时间、摄像头拍摄的图片的质量以及观察者识别能力等情况的影响,导致了对图片中病变组织的定位并不精确。



技术实现要素:

为了克服上述问题或者至少部分地解决上述问题,本发明实施例提供一种智能化的病变组织定位的方法和装置。

本发明实施例提供一种智能化的病变组织定位的方法和装置,包括:将包括病变组织的待识别图像输入至已训练的深度神经网络,输出病变组织在待识别图像中的位置信息。

本发明实施例提供一种智能化的病变组织定位的装置,包括:至少一个处理器;以及与处理器通信连接的至少一个存储器,其中:存储器存储有可被处理器执行的程序指令,处理器调用程序指令以执行上述的方法。

本发明实施例提供一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使计算机执行上述的方法。

本发明实施例提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机程序,该计算机程序使计算机执行上述的方法。

本发明实施例提供的一种智能化的病变组织定位的方法和装置,包括:将包括病变组织的待识别图像输入至已训练的深度神经网络,输出病变组织在待识别图像中的位置信息;本发明实施例通过深度神经网络实现对待识别图像中病变组织的识别,并输出病变组织在待识别图像中的位置信息,从而避免了目前通过人眼筛选图片中的异常区域的方法来确定病变组织所在区域的过程中存在的由于图像的信息量大,且受内镜检查操作、观察时间、摄像头拍摄的图片的质量以及观察者识别能力等因素造成对病变组织难以定位的不良影响,提高了对图片中病变组织的定位的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的智能化的病变组织定位的方法的流程图;

图2为根据本发明实施例的病变组织所在的区域的显示效果的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在本发明的一个实施例中,参考图1,提供一种智能化的病变组织定位的方法和装置,包括:s11,将包括病变组织的待识别图像输入至已训练的深度神经网络,输出病变组织在待识别图像中的位置信息。

具体地,机器学习(machinelearning,简称为ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。深度学习是机器学习中一种基于对数据进行的表征学习。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等;而使用某些特定的表示方法更容易从实例中学习任务。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,例如深度神经网络((deepneuralnetworks,简称为dnn),它模仿人脑的机制来解释数据,例如图像,声音和文本。

本实施例中,基于深度学习中机器学习模型的建立思想,根据多种经典卷积神经网络模型(例如alexnet、vgg等)设计该用于定位病变组织的深度神经网络,该深度神经网络包括多个卷积层,并可选的在若干个卷积层后连接一个池化层,并在该深度神经网络的最后连接全连接层;例如本实施例中可选用16个卷积层,5个池化层,最后连接2个全连接层。

待识别图像为在机体组织内部采集的包括病变组织的图像,由于病变组织是由于正常的机体细胞、组织或者器官在致病因素作用下发生的局部或全身异常变化而产生的组织,病变组织在图像数据中能表现出与正常组织不同的数据特征;该深度神经网络可通过输入224x224像素的待识别图像,在经过卷积层采用3x3像素和1x1像素的卷积核来识别病变组织,并通过叠加多个卷积核来提高该深度神经网络的性能;经过一系列卷积、池化等运算后,通过回归算法输出病变组织在待识别图像中的位置信息,位置信息包括多种表现方式,例如输出病变组织在待识别图像中的坐标或者范围等。

为了便于识别,本实施例还基于该神经网络输出的位置信息,通过图像处理的方式在待识别图像中标识出病变组织所在的区域,例如以多个坐标点围成的多边形区域或者以某一点为圆心,以某一值为半径围成的圆形区域。图2为通过本实施例的定位方法并对图像进行处理后所标识出病变组织所在的区域的效果图,图2中利用围绕病变组织的四个坐标点连接的边框所围成的区域表示病变组织所在的区域。

本实施例通过深度神经网络实现对待识别图像中病变组织的识别,并输出病变组织在待识别图像中的位置信息,从而避免了目前通过人眼筛选图片中的异常区域的方法来确定病变组织所在区域的过程中存在的由于图像的信息量大,且受内镜检查操作、观察时间、摄像头拍摄的图片的质量以及观察者识别能力等因素造成对病变组织难以定位的不良影响,提高了对图片中病变组织的定位的精确度。

基于以上实施例,将包括病变组织的待识别图像输入至已训练的深度神经网络之前,还包括:通过正则化函数对待识别图像进行正则化处理,正则化函数的表达式为:

其中,x为正则化处理前的待识别图像的像素值,mean为正则化处理前的待识别图像的像素值的均值,stddev为正则化处理前的待识别图像的像素值的标准差,y为正则化处理后的待识别图像的像素值。

具体地,深度神经网络基于待识别图像中的数据提取特征数据,以达到对图像识别的目的,然而图像或图像序列因成像和传输过程中存在的噪声、干扰、模糊化、采样率不足等不良因素影响而质量下降,影响深度神经网络对特征数据的提取;通过正则化处理,排除图像中的噪声、干扰、模糊化、采样率不足而造成的不良影响,可以提高深度神经网络对图像的识别精度。

本实施采用的正则化处理过程中的正则化函数的表达式为:

其中,x为正则化处理前的待识别图像的像素值,mean为正则化处理前的待识别图像的像素值的均值,stddev为正则化处理前的待识别图像的像素值的标准差,y为正则化处理后的待识别图像的像素值。

本实施例通过对待识别图像进行正则化处理,进一步提高了深度神经网络对图像的识别精度。

基于以上实施例,深度神经网络的训练步骤包括:获取样本数据集,样本数据集包括多个样本图像和病变组织在每一样本图像中的位置信息;在样本数据集中选取训练数据集,根据训练数据集对深度神经网络进行训练,以调整深度神经网络的参数。

具体地,深度神经网络通过输入待识别图像,经过卷积层的卷积核来识别病变组织,经过一系列卷积、池化等运算后,通过回归算法输出病变组织在待识别图像中的位置信息;由于深度神经网络最后输出的是位置信息,因此,在对深度神经网络的训练过程中,用于对深度神经网络进行训练的样本数据不仅要包括样本图像,还需要包括样本图像中病变组织的位置信息,其中,样本图像可通过大量的包括病变组织的机体内部图像,位置信息可通过对样本图像中的病变组织所在的区域来确定,例如将病变组织所在的区域若干坐标作为位置信息,并可选的将位置信息单独保存在文本中,并将所有的样本图像和对应的位置信息共同组成样本数据集。在深度神经网络中建立损失函数,对深度神经网络时,选取样本数据集中的部分样本图像和对应的位置信息,输入到深度神经网络,确定当损失函数值达到最小时的参数作为该深度神经网络模型的参数。

基于以上实施例,获取样本数据集,包括:获取包括病变组织的多个原始图像,提取每一原始图像中病变组织的位置坐标,作为病变组织在每一原始图像中的位置信息;将每一原始图像按预设转换规则进行转换,获取转换图像,并根据病变组织在每一原始图像中的位置信息和预设转换规则确定病变组织在每一转换图像中的位置信息,预设转换规则包括图像旋转转换、图像平移转换、图像像素值转换和图像退化;将多个原始图像、病变组织在每一原始图像中的位置信息、多个转换图像和病变组织在每一转换图像中的位置信息作为样本数据集。

具体地,由于直接拍摄的包括病变组织的机体内部图像数量有限,并且不能保证待识别图像均能保持满意的图像质量,本实施例通过对直接拍摄的原始图像进行相应的处理,通过一幅原始图像获取多张处理后的图像,一方面可以扩充样本图像的数量,另一方面通过相应的处理,使深度神经网络具有对图像识别的泛化性,以满足对低质量的待识别图像中病变组织的定位。首先对每一原始图像进行转换,转换规则包括图像旋转转换、图像平移转换、图像像素值转换或者图像退化,对应于一幅原始图像,分别获得各种转换规则对应的转换图像,根据病变组织在每一原始图像中的位置信息和预设转换规则确定病变组织在每一转换图像中的位置信息,将多个原始图像、病变组织在每一原始图像中的位置信息、多个转换图像和病变组织在每一转换图像中的位置信息作为样本数据集,从而扩充了样本数据集中样本数据的数量。

本实施例通过对原始图像进行转换以获得各种转换图像,并将原始图像、病变组织在每一原始图像中的位置信息、转换图像和病变组织在每一转换图像中的位置信息作为样本数据集,一方面扩充样本图像的数量,另一方面提高深度神经网络对图像识别的泛化性,更好的满足对低质量的待识别图像中病变组织的定位。

基于以上实施例,根据训练数据集对深度神经网络进行训练,以调整深度神经网络的参数,包括:将训练数据集输入到深度神经网络,根据反向传播算法调整深度神经网络的参数,并根据l2正则化方法和dropout算法限制深度神经网络的参数的取值范围。

具体地,利用训练数据集对深度神经网络进行训练,训练过程采用反向传播算法(backpropagation)。为了防止训练过程出现过拟合,在训练时采用l2正则化方法和dropout算法来限制深度神经网络的参数,防止过拟合。通过每一次训练不断调整该模型的参数,最终达到最理想的结果。

基于以上实施例,根据训练数据集对深度神经网络进行训练,以调整深度神经网络的参数之前,还包括:根据开源数据集imagenet对深度神经网络进行预训练,初始化深度神经网络的参数。

具体地,imagenet是一个计算机视觉系统识别项目名称,是目前世界图像识别中最大的数据库,它实际上就是一个巨大的可供图像和视觉训练的图片库。由于imagenet中包括多领域的图片,本实施例可基于迁移学习的方法,利用imagenet中的图片,对深度神经网络进行预训练,初始化深度神经网络的参数,以提高后续对深度神经网络的训练效率。

基于以上实施例,根据训练数据集对深度神经网络进行训练,以调整深度神经网络的参数之后,还包括:在样本数据集中选取测试数据集,根据测试数据集对深度神经网络进行测试,并根据测试结果优化深度神经网络。

具体地,使用训练数据集对深度神经网络进行训练后,还可在样本数据集中选取测试数据集对深度神经网络进行验证并进一步优化,其中,可采用五折交叉验证或者十折交叉验证以实现对深度神经网络的充分训练,交叉验证的基本思想是将原始数据集(dataset)进行分组,一部分作为训练数据集(trainset),另一部分作为测试数据集(validationsetortestset),首先用训练数据集对神经网络进行训练,再利用测试数据集来测试训练得到的模型(model),以此作为评价神经网络的性能指标。通过交叉验证,以提高深度神经网络的定位精确度。

作为本发明的又一实施例,提供一种智能化的病变组织定位的装置,包括:至少一个处理器;以及与处理器通信连接的至少一个存储器,其中:存储器存储有可被处理器执行的程序指令,处理器调用程序指令以执行上述各方法实施例所提供的方法,例如包括:将包括病变组织的待识别图像输入至已训练的深度神经网络,输出病变组织在待识别图像中的位置信息。

作为本发明的又一个实施例,提供一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,该计算机程序包括程序指令,当程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:将包括病变组织的待识别图像输入至已训练的深度神经网络,输出病变组织在待识别图像中的位置信息。

作为本发明的又一个实施例,提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机程序,该计算机程序使该计算机执行上述各方法实施例所提供的方法,例如包括:将包括病变组织的待识别图像输入至已训练的深度神经网络,输出病变组织在待识别图像中的位置信息。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成,前述的计算机程序可以存储于一计算机可读取存储介质中,该计算机程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1