基于目标检测算法的冠状动脉血管内超声斑块分析方法与流程

本发明属于临床辅助快速诊断应用技术领域，尤其涉及一种基于目标检测算法的冠状动脉血管内超声斑块分析方法。

背景技术：

目前，业内常用的现有技术是这样的：血管内超声是近年来兴起的一种血管内的断层成像技术，在冠心病介入诊疗中起到了重要的辅助作用，也越来越受到介入医生的青睐。冠心病是一种的发病率逐年增高的严重心血管疾病，患者随时可能发生心绞痛、心肌梗死甚至是猝死。介入诊疗在挽救患者生命中发挥着至关重要的作用，而血管内超声是介入诊疗中一项重要的工具，为斑块识别和优化手术方案中提供了重要线索。

临床上各种血管内超声影像的分析主要依赖于人工识别，而某类型的冠心病风险高，病情急，对医生的快速准确诊疗能力提出了极大的挑战。加之目前国内普遍存在医生过度疲劳，精神过度紧绷的现状。

综上所述，现有技术存在的问题是：现有测量方法耗时、且存在人为误差等问题，某类型的冠心病风险高，病情急，对医生的快速准确诊疗能力提出了极大的挑战。具体来说，目前人群医生配比严重不足，特别是介入医生。手术经常从早晨一直持续到深夜，甚至半夜还有急诊需求，这需要医生极高的脑力及体力。然而，工作量的加大可能导致出错，甚至是发生医疗事故。此外，单支血管的ivus图像检测就可能产生上千张的图像，医生不仅要快速而且准确的分析图像，可能还需要手动对图像进行测量以确保手术的精度，而这无疑又需要耗费不少精力。因此，基于深度学习的图像分析，有助于辅助医生快速测量与诊断图像。

解决上述技术问题的难度：

拥有数据的医生不了解深度学习方法，了解深度学习方法的工程师无法获取有效的标注数据。

解决上述技术问题的意义：目标检测算法辅助分析诊断斑块特征的方法将在减轻医生压力，在提高诊疗速度中发挥一定作用。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于目标检测算法的冠状动脉血管内超声斑块分析方法，

本发明是这样实现的，一种基于目标检测算法的冠状动脉血管内超声斑块分析方法包括：

步骤一：数据采集：通过血管内超声仪获取血管内超声动态视频图，利用opencv对视频每10帧进行一次采样；

步骤二：血管检测：对采集的每帧图像进行血管检测，将检测到的血管缩放到相同比例；

步骤三：数据标注：利用人工对数据进行标注，将血管检测当中检测到的血管按所含有的不同斑块类型利用labelimg进行标注，生成4维矩阵的xml文件；

步骤四：数据预处理：将标注完的数据进行格式转换，将xml文件转化为表格形式的csv文件，最后与图片相结合转换为tensorflow能识别的tfrecord格式；

步骤五：网络训练：将数据输入到神经网络当中，采用有监督的迁移学习方式进行目标检测算法训练，利用adam优化算法来进行网络参数的学习。

进一步，步骤五中，所述将数据输入到神经网络当中，采用有监督的迁移学习方式进行目标检测算法训练包括：

(1)采用mobilenetv2网络对输入图片进行特征提取；

(2)采用特征金字塔结构进行检测即检测时利用了conv4-3，conv-7(fc7)，conv6-2，conv7-2，conv8_2，conv9_2这些大小不同的featuremaps，在多个featuremaps上生成priorbox进行分类和位置回归，

进一步，步骤(2)中，主要网络参数如下：

(1)分类及回归参数

通过softmax预测斑块分类，总共n+1类，其中n为斑块类别，1为背景。对斑块区域进行位置回归，即预测(x,y,w,h)，其中x，y分别为斑块区域的左上角坐标，w，h为该斑块的长和宽；

(2)损失函数的构建

其中

损失分为了分类损失和回归损失两部分，其中n是匹配到标注框的候选框的数量；而α参数用于调整分类损失和回归损失之间的比例，默认α＝1；ssd目标检测算法中的分类损失是典型的softmax交叉熵损失：而回归损失是典型的smoothl1损失；

(3)候选框的生成规则

以特征图上每个点的中点为中心，生成一些列同心的候选框(然后中心点的坐标会乘以step，相当于从特征图位置映射回原图位置)，每个特征图对应候选框的尺寸由以下公式决定

第一层特征图对应的min_size＝s1，max_size＝s2；第二层min_size＝s2，max_size＝s3；其他类推。

进一步，所述目标检测算法检测时由于血管内造影的斑块目标较小，通过限制priorbox范围可以达到针对斑块良好的检测效果。

综上所述，本发明的优点及积极效果为：本发明相比于原始人工识别方法进行分析，通过采用轻量级特征提取网络以及限制候选框生成范围进行目标检测网络训练提高了检测的速率以及准确性，使得在便携式医疗设备中植入算法模型成为可能，可实际诊疗中减少了医生的工作量。本发明基于目标检测算法判断血管内的斑块类型，在保证精确度的同时保证其实时性；可有效减轻医生压力，提高诊疗速度。本发明根据血管内超声的灰阶图像的特点，利用目标检测算法实现对冠脉病变的检测及分类，进而帮助医生更快的进行诊断。本发明通过改进ssd目标检测算法，使用量级更小的特征提取网络mobilenetv2对血管内超声图像进行特征提取能够加快训练和检测的速度与精度；对不同特征图限制候选框生成范围，相比于传统图像处理方法可以更好的检测出冠状动脉造影中的斑块，在实际诊疗中减少了医生的工作量。本发明使用的特征提取网络mobilenetv2在检测和训练性能上相比于mobilenetv1都有着一定的提高，能够缩短检测训练的时间；通过调整候选框范围进行ssd目标检测模型训练，可以加快模型的收敛速度。

附图说明

图1是本发明实施例提供的基于目标检测算法的冠状动脉血管内超声斑块分析方法流程图。

图2是本发明实施例提供的基于目标检测算法的冠状动脉血管内超声斑块分析方法原理图。

图3是本发明实施例提供的目标检测网络结构示意图。

图4是本发明实施例提供的数据标注示意图。

图5是本发明实施例提供的斑块类型示意图。

图6是本发明实施例提供的血管内超声-虚拟组织学图像示意图。

图7是本发明实施例提供的在不同初始化网络的模型训练速度。

图8是本发明实施例提供的在不同候选框生成范围下的训练性能。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1-图2所示，本发明实施例提供的基于目标检测算法的冠状动脉血管内超声斑块分析方法包括：

s101：数据采集：通过血管内超声仪获取血管内超声动态视频图，利用opencv对视频每10帧进行一次采样；

s102：血管检测：对采集的每帧图像进行血管检测，将检测到的血管缩放到相同比例；

s103：数据标注：利用人工对数据进行标注，将血管检测当中检测到的血管按所含有的不同斑块类型利用labelimg进行标注；

s104：数据预处理：将标注完的数据进行格式转换，转换为tensorflow能识别的tfrecord格式；

s105：网络训练：将数据输入到神经网络当中，采用有监督的迁移学习方式进行目标检测算法训练，利用adam优化算法来进行网络参数的学习。

如图3所示，步骤s105中，本发明实施例提供的将数据输入到神经网络当中，采用有监督的迁移学习方式进行目标检测算法训练包括：

(1)采用mobilenetv2网络对输入图片进行特征提取；

(2)采用特征金字塔结构进行检测即检测时利用了conv4-3，conv-7(fc7)，conv6-2，conv7-2，conv8_2，conv9_2这些大小不同的featuremaps，在多个featuremaps上生成priorbox进行分类和位置回归。

步骤(2)中，本发明实施例提供的主要网络参数包括：

1)分类及回归参数包括：

通过softmax预测斑块分类，总共n+1类，其中n为斑块类别，1为背景。对斑块区域进行位置回归，即预测(x,y,w,h)，其中x，y分别为斑块区域的左上角坐标，w，h为该斑块的长和宽；

2)损失函数的构建

其中

损失分为了分类损失和回归损失两部分，其中n是匹配到标注框的候选框的数量；而α参数用于调整分类损失和回归损失之间的比例，默认α＝1；ssd目标检测算法中的分类损失是典型的softmax交叉熵损失：而回归损失是典型的smoothl1损失；

3)候选框的生成规则

以特征图上每个点的中点为中心，生成一些列同心的候选框(然后中心点的坐标会乘以step，相当于从特征图位置映射回原图位置)，每个特征图对应候选框的尺寸由以下公式决定

第一层特征图对应的min_size＝s1，max_size＝s2；第二层min_size＝s2，max_size＝s3；其他类推。

本发明实施例提供的目标检测算法，检测时由于血管内造影的斑块目标较小，通过限制priorbox范围可以达到针对斑块良好的检测效果。

本法发明具体实施例：

1、方法：

第一步，数据采集：通过血管内超声仪获取血管内超声动态视频图，利用opencv对视频每10帧进行一次采样。

第二步，血管检测：对采集的每帧图像进行血管检测，将检测到的血管缩放到相同比例。

第三步，数据标注：利用人工对数据进行标注，将血管检测当中检测到的血管按所含有的不同斑块类型利用labelimg进行标注。

第四步，数据预处理：将标注完的数据进行格式转换，转换为tensorflow能识别的tfrecord格式。

第五步，网络训练：将数据输入到神经网络当中，采用有监督的迁移学习方式进行目标检测算法训练，利用adam优化算法来进行网络参数的学习。

传统的血管内超声-虚拟组织学将斑块分为4中成份，但是在灰阶下的应用需要医生的具体分析，本发明是根据血管内超声的灰阶图像的特点，利用目标检测算法实现对冠脉病变的检测及分类，进而帮助医生更快的进行诊断。

通过mobilenetv2网络对输入图片进行特征提取，可以加快训练与检测的速度，随后采用特征金字塔结构进行检测即检测时利用了conv4-3，conv-7(fc7)，conv6-2，conv7-2，conv8_2，conv9_2这些大小不同的featuremaps，在多个featuremaps上生成priorbox进行分类和位置回归，主要网络参数如下：

(1)分类及回归参数

通过softmax预测斑块分类，总共n+1类，其中n为斑块类别，1为背景。对斑块区域进行位置回归，即预测(x,y,w,h)，其中x，y分别为斑块区域的左上角坐标，w，h为该斑块的长和宽。

(2)损失函数的构建

其中

损失分为了分类损失和回归损失两部分，其中n是匹配到标注框的候选框的数量；而α参数用于调整分类损失和回归损失之间的比例，默认α＝1。ssd目标检测算法中的分类损失是典型的softmax交叉熵损失：而回归损失是典型的smoothl1损失

(3)候选框的生成规则

以特征图上每个点的中点为中心，生成一些列同心的候选框(然后中心点的坐标会乘以step，相当于从特征图位置映射回原图位置)，每个特征图对应候选框的尺寸由以下公式决定

第一层特征图对应的min_size＝s1，max_size＝s2；第二层min_size＝s2，max_size＝s3；其他类推。

由于血管内造影的斑块目标较小，通过限制priorbox范围可以达到针对斑块良好的检测效果。

2、具体性能评估

如图4至图8所示，本发明使用的特征提取网络mobilenetv2在检测和训练性能上相比于mobilenetv1都有着一定的提高，能够缩短检测训练的时间。通过调整候选框范围进行ssd目标检测模型训练，可以加快模型的收敛速度。由以上结果可以得出结论：本发明通过改进ssd目标检测算法，使用量级更小的特征提取网络mobilenetv2对血管内超声图像进行特征提取能够加快训练和检测的速度与精度；对不同特征图限制候选框生成范围，相比于传统图像处理方法可以更好的检测出冠状动脉造影中的斑块，在实际诊疗中减少了医生的工作量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。