一种基于深度学习的超声造影肿瘤自动识别与检测方法与流程

本发明涉及图像识别技术领域，特别是一种基于深度学习的超声造影肿瘤自动识别与检测方法。

背景技术：

当前面向超声造影肿瘤诊断的计算机辅助诊断方法的研究很少，通过检索相关关键词，发现近年来很少对该方法进行研究，主要研究思路是利用b超的图像和已知的肝脏病灶区域的图像作为数据，分别使用了人神经网络和决策树进行分类，实现了一定程度的准确率。但是由于病灶区形态的多样性，在应对未知类型的病灶区时，无法实现有效的预测。其中，对于组织纹理不同的肝癌组织识别准确率仅有65.2％，对于完全不同类型的肝癌组织的识别率仅有41.7％；基于现有的传统分类器如决策树、多分类的逻辑回归等，分割准确率较低，具有较高的假阳性率和假阴性率；现有的分类器在识别上无法达到较高的准确率。

超声造影肿瘤检测是现在肿瘤检测中敏感度准确度最高的检测方法之一，但是现有的超声造影肿瘤诊断都基于医生的专业知识对医生的专业水平有很高的要求，因此只有少量的高水平医院可以开展超声造影肿瘤检测。为提高超声造影肿瘤检测的自动化程度、肿瘤检测的准确度。

技术实现要素：

本发明的目的是提出一种基于深度学习的超声造影肿瘤自动识别与检测方法。

本发明的目的是通过以下技术方案来实现的：

本发明提供的基于深度学习的超声造影肿瘤自动识别与检测方法，包括以下步骤：

获取目标区域的特征视频数据；

对所述特征视频数据进行数据预处理：

将预处理后的特征视频数据进行分块得到若干视频块；

将视频块作输入到3d卷积神经网络中进行数据处理得到特征图层；

将特征图层输入到全连接层中进行特征分类；

输出最终分类结果。

进一步，所述3d卷积神经网络按照以下公式提取特征图层：

其中，表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值；m表示i-1层与第j个特征图层所连接的特征图层的索引值；pi和qi分别表示第i层的卷积核的高和宽ri表示第i层卷积核的深度；为第m个特征图层上与位于(p,q,r)点的值；bij为第j个特征图层的偏置；g()为激活函数。

进一步，所述3d卷积神经网络按照反向传播bp算法进行训练。

进一步，所述特征视频数据为从微泡注入到微泡完全充盈组织区域后稳定一段时间的视频。

进一步，所述特征视频数据为等时长的视频数据，所述时长为从微泡注入到微泡完全充盈组织区域的时长。

由于采用了上述技术方案，本发明具有如下的优点：

本发明提供的基于深度学习的自动化超声造影肿瘤识别与检测方法。该方法利用3d卷积神经网络，能有效提取超声造影视频数据帧内与帧间的时间空间有效血流特征，并基于肿瘤组织与正常组织的差异性，结合了视频数据的时空特性，使用了3dcnn算法进行肿瘤分割，实现肿瘤组织的检测，比传统机器学习算法取得了更好的分割准确率。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本发明的流程图。

图2为本发明的3d卷积神经网络结构示意图。

图3a为本发明的自动识别与检测原图。

图3b为本发明的自动识别与检测效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

本实施例提供的基于深度学习的超声造影肿瘤自动识别与检测方法，包括以下步骤：

获取目标区域的特征视频数据；所述特征视频为从微泡注入到微泡完全充盈组织区域后稳定一段时间的视频；

对所述特征视频数据进行数据预处理：

预处理：原视频为帧率100帧每秒，时长200秒的视频数据，一个视频就有2gb大小，直接处理如此大小的数据会导致训练和测试时间过长，故截取等时长的从微泡注入到充盈组织的10秒，每秒1关键帧的数据作为初步预处理得到的视频数据。其中要保证不同的样本间截取的帧从微泡注入到开始充盈组织的时长是一样的。

将预处理后的特征视频数据进行分块得到若干视频块；

分块：将上一步预处理得到的10帧的视频数据，分成若干个23*23*10的小视频块(覆盖了全部的大小，有重叠部分)

将视频块作输入到3d卷积神经网络中进行特征提取得到特征图层；

特征提取公式如下式，先经过三维卷积运算，增加偏置，然后通过激活函数，输出的结果为特征图层

将特征图层输入到全连接层中进行特征分类，全连接层的输出宽度为2，表示最终的分类结果是否为肿瘤。

所述3d卷积神经网络(见图2，其中最左边10幅图代表着10帧的23*23的视频数据)按照以下公式提取特征图层：

其中，表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值；m表示i-1层与第j个特征图层所连接的特征图层的索引值；pi和qi分别表示第i层的卷积核的高和宽ri表示第i层卷积核的深度；为第m个特征图层上与位于(p,q,r)点的值；bij为第j个特征图层的偏置；g()为激活函数。

所述3d卷积神经网络按照以下方式进行训练：

训练算法采用经典的反向传播(bp)算法，即使用反向传播算法进行训练。

实施例2

本实施例提供的基于深度学习的超声造影肿瘤自动识别与检测方法，该方法利用3d卷积神经网络，能有效提取超声造影视频数据帧内与帧间的时间空间有效血流特征，并基于肿瘤组织与正常组织的差异性，实现肿瘤组织的检测。该方法同时考虑到目标区域周围的空间信息和随时间变化的信息，提高了分割准确率；兼顾了周围的空间信息和连续的时间信息；有效地将纳米微泡在组织(或肿瘤)中的流动过程信息较好的用于肿瘤区域的分割。实现较高的分割准确率，具体步骤如下：

数据预处理：截取视频，从完整视频中截取同样长度的特征视频数据，特征视频主要包括从微泡注入到微泡完全充盈组织区域后稳定一段时间的视频。视频的长度和帧率根据数据的种类和帧率进行确定，保证不同的视频数据截取后的视频长度相等。

视频分块：选取每个像素点周围一定数量的像素点的视频数据作为一个视频块，每个视频块的标签取决于视频块中是否包含肿瘤区域。将截取后的视频进行分块得到若干同样大小，同样时间长度且带有标签的视频块，这些视频块作为3d卷积神经网络的输入数据。

特征提取：将得到数据输入训练好的网络中，网络通过3d卷积层进行特征提取，每个层包含不同数量的3d卷积核，对于输入的数据进行特征提取产生不同的特征图层。每个卷积层后接一个采样层，采样层将缩小特征图层的大小以减少网络中参数的数目。

特征分类：将经过多层卷积层和采样层提取后的特征与一个全连接层相连以实现分类。全连接层的输出宽度为2，表示最终的分类结果是否为肿瘤。网络中的各项参数均使用经典的反向传播算法进行训练。网络的结构如下图2所示，其中，最左边的输入是23*23*10大小的视频块，10是指的10帧图像。经过一层三维卷积层，卷积核大小为4*4*4，生成了3个大小为20*20*7的特征图层，经过采样层特征图层大小变成了10*10*7，再经过第二层卷积层，卷积核大小为3*3*4，生成12个8*8*4的特征图层，经过第二层采样层特征图层变为4*4*4，最后通过一个4*4的二维卷积把前面特征图层拉成一个特征向量。将给向量输入到一个输入宽度为128输出宽度为2的全连接层中，最后的输出结果就是视频块是否包含肿瘤的结果。

图3a是肿瘤的标签数据，图3b是3dcnn的网络识别结果，是一个伪彩的图；前面的3d卷积神经网络实际上是完成了一个特征提取的过程，从不同的视频块中提取出了视频块的特征，然后全连接层才是最后的分类器，就相当于一般的神经网络，将前面提取到的特征进行分类，最后的输出结果就是，该视频块是否包含肿瘤部分。其中训练方法就是经典反向传播算法，根据已知的标签和数据进行训练，不断的调整卷积核的权重和每层的偏置值，全连接层的权重和偏置等。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。