基于目标检测的血管图像分析系统的制作方法

1.本发明涉及图像分析技术领域，尤其涉及基于目标检测的血管图像分析系统。


背景技术：

2.目前在实际应用场景中，多是通过医生手动进行血管图像重建(包括人工交互图像分割，手动中心线提取等)，然后根据重建结果生成可人为识别的诊断图像，再通过诊断图像进行诊断报告的撰写。这一过程即使是有经验的医生来操作，仍旧会耗费大量的时间，并且诊断结果会有观察者间差异与观察者内差异。
3.目前现有的一些技术方案，大部分的输入为基于点的图像特征，这种方案缺乏一定的全局性，不易识别连贯性病变；血管病变检测是一个难点任务，既需要定位病变位置，也需要分析病变类型与程度；一直以来，医学影像存在标注数据较难获取的问题，而大量的无标注数据尚未得到充分利用。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种基于目标检测的血管图像分析系统，旨在解决现有技术对血管图像的分析和诊断报告撰写为人工填写，存在人工导致的误差的技术问题。
6.为实现上述目的，本发明提供了一种基于目标检测的血管图像分析系统，所述基于目标检测的血管图像分析系统包括：检测模块和分析模块；
7.所述检测模块，用于根据待分析血管图像通过目标检测模型确定存在隐患的图像隐患区域，并发送至所述分析模块；
8.所述分析模块，用于对所述图像隐患区域进行分析得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告。
9.进一步地，所述检测模块，还包括：特征提取模块和区域筛选模块；
10.所述特征提取模块，用于根据所述待分析血管图像确定图像有效特征；
11.所述区域筛选模块，用于根据所述图像有效特征确定存在隐患的图像隐患区域。
12.进一步地，所述特征提取模块，还用于根据所述待分析血管图像通过目标检测模型确定图像参数信息；
13.根据所述图像参数信息确定图像亮度信息、图像梯度信息、图像纹理信息和其他特征信息；
14.根据所述图像亮度信息、所述图像梯度信息、所述图像纹理信息和所述其他特征信息确定图像有效特征。
15.进一步地，所述特征提取模块，还用于获取无标注图像数据；
16.根据所述无标注图像数据进行随机打乱，得到打乱图像数据；
17.根据所述打乱图像数据训练初始模型，得到初次训练模型；
18.通过标注准确数据对所述初次训练模型进行训练，得到目标检测模型。
19.进一步地，所述特征提取模块，还用于将所述打乱图像数据输入初始模型，得到第一输出结果；
20.将所述第一输出结果与所述无标注图像数据进行对比并计算损失，得到损失计算结果；
21.通过反向传播算法根据所述损失计算结果对所述初始模型进行网络参数优化，得到目标检测模型。
22.进一步地，所述区域筛选模块，还用于根据所述图像有效特征确定图像隐患位置；
23.根据所述图像隐患位置进行区域预定位，得到包含所述图像隐患位置的图像隐患区域。
24.进一步地，所述分析模块，还包括：特征处理模块和报告生成模块；
25.所述特征处理模块，用于对各所述图像隐患区域对应的隐患区域特征进行分析，得到隐患特征分析信息；
26.所述报告生成模块，用于根据所述隐患特征分析信息得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告。
27.进一步地，所述特征处理模块包括：裁剪模块、斑块分析模块和总结模块；
28.所述裁剪模块，用于对所述图像隐患区域进行特征裁剪，得到各所述图像隐患区域对应的隐患区域特征；
29.所述斑块分析模块，用于对所述隐患区域特征进行分析，得到所述图像隐患区域中的斑块分布信息；
30.所述总结模块，用于根据所述斑块分布信息和所述图像隐患区域得到隐患特征分析信息。
31.进一步地，所述斑块分析模块包括：钙化斑块分析模块、非钙化斑块分析模块和汇总模块；
32.所述钙化斑块分析模块，用于根据所述隐患区域特征确定包含由钙化引起的钙化隐患区域；
33.所述非钙化斑块分析模块，用于根据所述隐患区域特征确定由非钙化引起的非钙化隐患区域；
34.所述汇总模块，用于根据所述钙化隐患区域和所述非钙化隐患区域确定斑块分布信息。
35.进一步地，所述报告生成模块包括：程度分析模块和报告生成模块；
36.所述程度分析模块，用于根据所述隐患特征分析信息确定斑块特征信息，并根据所述斑块特征信息得到斑块隐患程度；
37.所述报告生成模块，用于根据所述斑块隐患程度生成分析报告。
38.本发明通过所述检测模块根据待分析血管图像通过目标检测模型确定存在隐患的图像隐患区域，并发送至所述分析模块；所述分析模块对所述图像隐患区域进行分析得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告。通过这种方式，实现了通过目标检测模型首先对待分析血管图像进行目标检测，然后确定需要进行进一步分析的图像隐患区域，然后再通过分析模块对图像隐患区域进行分析，得到了斑块隐患程度，最后基于斑块
隐患程度自动生成分析报告，使得可以不经过医生的手动撰写，就可以实现自动确定存在隐患的血管图像位置，然后自动生成与斑块有关的分析报告，使得更有效率的分析血管图像，并且避免了人工处理导致的诊断结果人工误差。
附图说明
39.图1为本发明基于目标检测的血管图像分析系统第一实施例的结构框图；
40.图2为本发明基于目标检测的血管图像分析系统一实施例中系统总体框架图；
41.图3为本发明基于目标检测的血管图像分析系统第二实施例的结构框图；
42.图4为本发明基于目标检测的血管图像分析系统一实施例中大数据预训练过程示意图；
43.图5为本发明基于目标检测的血管图像分析系统第三实施例的结构框图。
44.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
45.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
46.参照图1，图1为本发明基于目标检测的血管图像分析系统第一实施例的结构框图。
47.所述基于目标检测的血管图像分析系统包括：检测模块10和分析模块20；
48.所述检测模块10，用于根据待分析血管图像通过目标检测模型确定存在隐患的图像隐患区域，并发送至所述分析模块20；
49.所述分析模块20，用于对所述图像隐患区域进行分析得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告。
50.在本实施例中，目前的对于血管图像的分析手段一般分为两种：1、通过图像分割，中心线提取，通过计算每个点上的直径，再比上参考直径得到狭窄程度。2、通过图像分割，中心线提取，曲面重建，再提取每个点的局部特征，通过特征分析，得到中心线上每个点的病变程度或者病变类型。但是，针对于方案1，该方案应用场景受限，该方案只能获取血管的病变程度，若要获得病变类型，还需应用其他技术方法；其次，该方案的准确程度受到图像分割结果的严重影响，容错率非常低，若是针对一些细小的血管，在图像上只占几个体素，其狭窄率的精度受到严重影响(相差一个体素就可能是20％或是更高的偏差)。针对于方案2，该方案步骤较多，耗费计算资源以及处理时间，虽然最终能定位到血管上每个点的病变程度与病变类型，但其每一步骤都对最终结果有重要的影响，比如图像分割的结果影响到中心线的准确度，中心线影响曲面重建的准确度，从而最终影响到从每个点上提取的特征，从而使得最终的病变分析模块受到影响。该方案采用cnn+rnn的网络模型进行处理，rnn这种循环迭代的方式计算时间相对较久，也易在循环中忽略一些重要信息或是加强了一些冗余的特征。总之，该方案步骤多，耗时长，耦合性强。现有的两种方案的共同缺点就是步骤多，需要一定的计算资源与处理时间，没有针对关键待解决任务的直接方案。
51.基于上述的弊端，提出本实施例的方案，可以通过全自动的快速地，精准地，鲁棒地生成血管病变诊断报告的一套全新流程，有针对性地解决以上技术问题，节省处理时间，并且能够全自动化出报告，给医生提供了强有力的辅助工具。如图2所示即为本实施例的方
案的框架图，通过目标检测神经网络模型，对血管拉直图像进行隐患位置与范围、隐患程度和隐患类型等维度的分析，最后生成分析报告。
52.在具体实施中，待分析血管图像指的是需要进行目标检测和生产相关的分析报告的患者或者检测人的血管图像。
53.在本实施例中，目标检测模型指的是预先训练的基于3d u-net模型的卷积神经网络模型，也就是包含卷积计算且具有深度结构的前馈神经网络。
54.应理解的是，用于根据待分析血管图像通过目标检测模型确定存在隐患的图像隐患区域指的是：检测模块10将待分析血管图像输入到目标检测模型中，然后目标检测模型自动输出带分析血管图像提取出的图像参数信息，然后确定图像有效特征，最后基于图像有效特征确定需要进行下一步分析的待分析血管图像的图像隐患区域，并发送到分析模块20。其中，图像隐患区域也指的是可能存在隐患的区域。
55.在具体实施中，分析模块20用于对所述图像隐患区域进行分析得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告指的是：分析模块20首先接收检测模块10传输来的图像隐患区域(可以为大于等于1个的任意个数的图像区域)，然后针对各个图像隐患区域进行有关于钙化斑块和非钙化斑块的分析和总结，确定各个图像隐患区域的斑块分布信息，最后确定各个图像隐患区域的斑块隐患程度，结合斑块隐患程度生成对应的分析报告向用户显示。
56.本实施例通过所述检测模块根据待分析血管图像通过目标检测模型确定存在隐患的图像隐患区域，并发送至所述分析模块；所述分析模块对所述图像隐患区域进行分析得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告。通过这种方式，实现了通过目标检测模型首先对待分析血管图像进行目标检测，然后确定需要进行进一步分析的图像隐患区域，然后再通过分析模块对图像隐患区域进行分析，得到了斑块隐患程度，最后基于斑块隐患程度自动生成分析报告，使得可以不经过医生的手动撰写，就可以实现自动确定存在隐患的血管图像位置，然后自动生成与斑块有关的分析报告，使得更有效率的分析血管图像，并且避免了人工处理导致的诊断结果人工误差。
57.参照图2，图2为本发明基于目标检测的血管图像分析系统第二实施例的结构框图，基于上述第一实施例，提出本发明基于目标检测的血管图像分析系统的第二实施例。
58.在本实施例中，检测模块10还包括：特征提取模块30和区域筛选模块40；
59.所述特征提取模块30，用于根据所述待分析血管图像确定图像有效特征；
60.所述区域筛选模块40，用于根据所述图像有效特征确定存在隐患的图像隐患区域。
61.在本实施例中，特征提取模块30，用于根据所述待分析血管图像确定图像有效特征指的是：特征提取模块30对整个血管图像进行有效特征的提取，比如病变的特征，健康段的特征与背景的特征。这些特征包括图像亮度，图像梯度，图像纹理等多维度的信息，最终得到了针对于待分析血管图像进行隐患分析以及分析模块20可以使用的的图像有效特征。
62.在具体实施中，区域筛选模块40根据所述图像有效特征确定存在隐患的图像隐患区域指的是：区域筛选模块40根据图像有效特征进一步地确定图像中的血管可能存在隐患的图像隐患位置，然后进行区域预定位得到包含了凸显个隐患位置的图像隐患区域。
63.进一步地，为了更加准确的得到图像有效特征，特征提取模块30，还用于根据所述
待分析血管图像通过目标检测模型确定图像参数信息；根据所述图像参数信息确定图像亮度信息、图像梯度信息、图像纹理信息和其他特征信息；根据所述图像亮度信息、所述图像梯度信息、所述图像纹理信息和所述其他特征信息确定图像有效特征。
64.应理解的是，根据所述待分析血管图像通过目标检测模型确定图像参数信息指的是：将待分析血管图像输入到预先训练的目标检测模型，然后通过目标检测模型输出图像参数信息。图像参数信息指的是通过目标检测模型直接输出的包含各个维度的特征的信息。
65.在本实施例中，根据所述图像参数信息确定图像亮度信息、图像梯度信息、图像纹理信息和其他特征信息指的是：从图像参数信息中提取出图像亮度、图像纹理、图像梯度三个维度的特征信息，分别为图像亮度信息、图像纹理信息、图像梯度信息。然后再提取出预先设定的其他需要使用的维度的特征，即为其他特征信息。
66.在具体实施中，根据所述图像亮度信息、所述图像梯度信息、所述图像纹理信息和所述其他特征信息确定图像有效特征指的是：将图像亮度信息、图像梯度信息、图像纹理信息和其他特征信息中的各个维度的特征作为图像有效特征进行提取。
67.通过这种方式，实现了通过目标检测模型对待分析血管图像进行目标检测和特征提取，使得得到的图像有效特征更加准确。
68.进一步地，为了能够训练得到更加优化的目标检测模型，特征提取模块30，还用于获取无标注图像数据；根据所述无标注图像数据进行随机打乱，得到打乱图像数据；根据所述打乱图像数据训练初始模型，得到初次训练模型；通过标注准确数据对所述初次训练模型进行训练，得到目标检测模型。
69.应理解的是，获取无标注图像数据指的是从预设数据库中调取的没有进行标注的血管图像。
70.在具体实施中，根据所述打乱图像数据训练初始模型，得到初次训练模型指的是：将打乱图像数据输入到3d u-net的初始模型中以完成图像复原任务的训练，最终训练完成的模型即为初次训练模型。
71.需要说明的是，通过标注准确数据对所述初次训练模型进行训练，得到目标检测模型指的是：在初次训练模型的基础上，用带有准确血管病变标注(病变位置，斑块类型，病变程度)的标准数据进行再次训练，得到最终的目标检测模型。
72.通过这种方式，实现了根据无标注图像数据对初始模型进行图像复原任务的训练，得到训练完毕的初次训练模型，然后再使用标准数据进行第二次训练，得到最终的目标检测模型，可以用于对待分析血管图像进行目标检测，使得目标检测更加准确和优化。
73.进一步地，为了能够合理的对初始模型进行训练，特征提取模块30还用于将所述打乱图像数据输入初始模型，得到第一输出结果；将所述第一输出结果与所述无标注图像数据进行对比并计算损失，得到损失计算结果；通过反向传播算法根据所述损失计算结果对所述初始模型进行网络参数优化，得到目标检测模型。
74.在本实施例中，第一输出结果指的是将打乱图像数据直接输入初始模型之后，由初始模型输出的未经其他处理的数据。
75.在具体实施中，如图4所示即为本实施例中大数据预训练过程，通过反向传播算法根据所述损失计算结果对所述初始模型进行网络参数优化，得到目标检测模型指的是：通
过反向传播算法，使得3d u-net也就是初始模型的网络参数朝着损失越来越小的方向不断优化，最终使得复原的结果越来越接近原始图像。3d u-net的编码部分负责特征的抽象化，逐步提取更高维度的特征表达；编码结构负责特征的再具体化，逐步提炼重要特征并恢复原始细节。
76.通过这种方式，由于特征提取模块没有解码结构，只需将预训练后的初始模型中的编码部分的参数对特征提取模块进行初始化，而不再使用常规的随机参数初始化方法。
77.进一步地，为了准确的确定图像隐患区域，区域筛选模块40，还用于根据所述图像有效特征确定图像隐患位置；根据所述图像隐患位置进行区域预定位，得到包含所述图像隐患位置的图像隐患区域。
78.在本实施例中，区域筛选模块40根据图像有效特征进行分析，解析出其中的病变隐患区域所在位置，作为图像隐患位置，然后基于图像隐患位置进行区域预定位，得到了包含图像隐患位置的图像隐患区域，使得分析模块20可以给予图像隐患区域进行分析报告的生成。
79.通过这种方式，实现了基于图像有效特征准确的进行区域预定位，从而准确的得到包含图像隐患位置的图像隐患区域，进而可以生成更加准确且没有误差的图像隐患区域。
80.本实施例通过特征提取模块根据所述待分析血管图像确定图像有效特征；区域筛选模块根据所述图像有效特征确定存在隐患的图像隐患区域。通过这种方式，实现了通过目标检测的方式对带分析血管图像进行特征提取，并基于图像有效特征确定存在隐患的图像隐患区域，使得图像隐患区域的确定更准确且步骤更加简便。
81.参照图3，图3为本发明基于目标检测的血管图像分析系统第三实施例的结构框图，基于上述第一实施例，提出本发明基于目标检测的血管图像分析系统的第三实施例。
82.在本实施例中，分析模块20还包括：特征处理模块50和报告生成模块60；
83.所述特征处理模块50，用于对各所述图像隐患区域对应的隐患区域特征进行分析，得到隐患特征分析信息；
84.所述报告生成模块60，用于根据所述隐患特征分析信息得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告。
85.在本实施例中，特征处理模块50，用于对各所述图像隐患区域对应的隐患区域特征进行分析，得到隐患特征分析信息指的是：特征处理模块50将图像隐患区域进行特征裁剪，得到隐患区域特征，然后对隐患区域特征进行分析，得到斑块分布信息，最后根据斑块分布信息确定隐患特征分析信息。其中，隐患特征分析信息包括了斑块隐患程度，以及其他用于生成分析报告的特征相关信息，本实施例对此不加以限制。
86.在具体实施中，所述报告生成模块60根据所述隐患特征分析信息得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告指的是：报告生成模块60基于推荐特征信息提取出钙化斑块导致的病变隐患区域的斑块特征信息，然后计算斑块隐患程度，最后基于斑块隐患程度生成分析报告。其中，分析报告中包括但不限于斑块隐患程度、图像隐患区域的图像等。
87.进一步地，为了能够准确的得到隐患特征分析信息，特征处理模块50包括：裁剪模块、斑块分析模块和总结模块；所述裁剪模块，用于对所述图像隐患区域进行特征裁剪，得
到各所述图像隐患区域对应的隐患区域特征；所述斑块分析模块，用于对所述隐患区域特征进行分析，得到所述图像隐患区域中的斑块分布信息；所述总结模块，用于根据所述斑块分布信息和所述图像隐患区域得到隐患特征分析信息。
88.应理解的是，所述裁剪模块，用于对所述图像隐患区域进行特征裁剪，得到各所述图像隐患区域对应的隐患区域特征指的是：将检测模块10推送过来的图像隐患区域的图像有效特征根据图像推荐区域进行特征的裁剪，得到各个图像推荐区域相对应的推荐特征，即为隐患区域特征。
89.在具体实施中，所述斑块分析模块，用于对所述隐患区域特征进行分析，得到所述图像隐患区域中的斑块分布信息指的是：板块分析模块对隐患区域特征进行提取和分析，然后确定待分析血管图像上的斑块在血管上的各个部位的分布情况的相关信息。
90.在本实施例中，所述总结模块，用于根据所述斑块分布信息和所述图像隐患区域得到隐患特征分析信息指的是：总结模块结合斑块分布信息和图像隐患区域确定各个图像隐患区域上的各个斑块的分步的相关信息。
91.通过这种方式，实现了自动对图像隐患区域进行分析和提取，得到准确的图像隐患区域与斑块分步的相关对应关系。
92.进一步地，为了能够分别分析钙化斑块和非钙化斑块，所述斑块分析模块包括：钙化斑块分析模块、非钙化斑块分析模块和汇总模块；所述钙化斑块分析模块，用于根据所述隐患区域特征确定包含由钙化引起的钙化隐患区域；所述非钙化斑块分析模块，用于根据所述隐患区域特征确定由非钙化引起的非钙化隐患区域；所述汇总模块，用于根据所述钙化隐患区域和所述非钙化隐患区域确定斑块分布信息。
93.应理解的是，钙化斑块分析模块只负责解析隐患区域特征中是否包含由钙化引起的病变隐患区域；非钙化斑块分析模块只负责解析隐患区域特征中是否包含由非钙化引起的病变隐患区域。也可与钙化斑块分析模块合并为一种狭窄斑块分析模块，分析是否存在狭窄，再由下属的模块来分析狭窄类型为钙化斑块或非钙化斑块。
94.在具体实施中，本实施例将一个复杂的斑块四分类任务解耦为两个简单的二分类任务，再将它们的结果整合。钙化斑块分析模块与非钙化斑块分析模块两者可以生成四种分类：1)有钙化斑块+有非钙化斑块＝混合斑块；2)有钙化斑块+无非钙化斑块＝钙化斑块；3)无钙化斑块+有非钙化斑块＝非钙化斑块；4)无钙化斑块+无非钙化斑块＝无斑块。然后汇总模块基于钙化隐患区域和非钙化隐患区域按照上述四个分类进行分类汇总，得到斑块分布信息。
95.通过这种方式，实现了将一个复杂的斑块四分类任务解耦为两个简单的二分类任务也及时通过钙化斑块分析模块和非钙化斑块分析模块分别处理和分析，得到斑块分布信息。
96.进一步地，为了能够生成科学且全面准确地分析报告，报告生成模块60包括：程度分析模块和报告生成模块；
97.所述程度分析模块，用于根据所述隐患特征分析信息确定斑块特征信息，并根据所述斑块特征信息得到斑块隐患程度；
98.所述报告生成模块，用于根据所述斑块隐患程度生成分析报告。
99.在具体实施中，所述程度分析模块，用于根据所述隐患特征分析信息确定斑块特
征信息，并根据所述斑块特征信息得到斑块隐患程度指的是：评估隐患特征分析信息中各个斑块引起的病变程度，范围为[0,100％]。
[0100]
在本实施例中，所述报告生成模块，用于根据所述斑块隐患程度生成分析报告指的是：基于斑块隐患程度，以及其他有关于分析报告的信息，例如：血管名称、节段名称、斑块类型、狭窄程度等，进行分析报告的生成，并向用户展示，实现了自动化的血管图像分析的分析报告。
[0101]
本实施例通过特征处理模块对各所述图像隐患区域对应的隐患区域特征进行分析，得到隐患特征分析信息；报告生成模块根据所述隐患特征分析信息得到斑块隐患程度，并根据所述斑块隐患程度生成分析报告。通过这种方式，实现了基于图像隐患区域进行分析，确定血管图像上的各个斑块的隐患程度，然后生成分析报告，完成了自动化的对血管图像的隐患程度和隐患信息进行量化分析，也免除了由于医生人工填写导致的报告的观察者间差异与观察者内差异。
[0102]
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0103]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0104]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0105]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。