一种基于深度学习的甲襞微循环血管检测与分割方法

1.本发明属于辅助医学检测领域，提出了一种基于深度学习的甲襞微循环血管检测与分割方法。


背景技术：

2.甲襞微循环的状态是作为检查和诊断糖尿病等常见疾病的重要表征。因此甲襞微循环参数的精确定量化对于常见疾病的辅助诊断具有重要意义。
3.现有的临床应用只是微循环检测仪对人体甲襞微循环血管进行拍照采样，再经过医生人工地对得到的图像手动测量得到血管参数，进而进行形态上病理分析。
4.本专利主要研究在医疗诊断过程中，基于计算机视觉方法检测甲襞微循环的血管分布和血液循环通路，使用基于深度学习技术的甲襞微循环检测与分割算法得出血管分类、血管数量、管径长度等数据，进而辅助医学检测，提高诊断的效率和准确度。
5.目前国外有瑞典采用capiflow对甲襞微循环参数进行测量；国内也开展了计算机参与检测的研究技术。例如图像线性增强、平滑滤波、图像晃动校正等技术处理甲襞微循环血管图像；以及利用统计的、模糊的模板相关逻辑判断法,进行微循环血管边缘检测的技术。但现有的临床应用仍只是微循环检测仪对人体甲襞微循环血管进行拍照采样，再经过人工对得到的图像手动测量，进而进行形态上的病理分析。
6.(1)采集成本高；现有技术需要人工采集大量甲襞微循环血管图像，由于医疗信息的保密性和样本采集区域的限制性，采集图像困难重重，因此消耗大量成本。
7.(2)适用范围窄；现有技术只能检测静态的图像，对于晃动的微循环血管，由于伴有聚焦不好及照度变化图像处理后模糊不清，难以用于医疗诊断。
8.(3)检测速度慢；现有技术需要人工对得到的医学图像进行血管参数的测量与分析，检测速度慢，并且人工统计与测量产生疲劳，易产生误差。


技术实现要素：

9.本发明提供了一种基于深度学习的甲襞微循环血管检测与分割方法，首先通过gan(生成式对抗网络)得到大量的甲襞微循环血管图像样本，在以扩充后的样本做为训练集对yolo以及u-net神经网络进行训练，最后通过yolo和u-net 神经网络可以将血管进行分类、得到血管数量、管径长度数据，进而辅助医学治疗。
10.本发明采用的技术方案如下：
11.一种基于深度学习的甲襞微循环血管检测与分割方法，包括如下步骤：
12.步骤1：基于gan神经网络的甲襞微循环血管图像的样本扩充
13.基于生成式对抗网络(generative adversarial network)为微循环医疗检测提供样本扩充。生成式对抗网络的过程如下：
14.将原始样本图像输入到判别器(discriminator)；生成器(generator)通过随机噪声自动产生新图片；判别器对新图像与真实图像组成的集合进行辨认并将辨认，经过动态
博弈最后生成新的样本图像，使得样本图像得到扩充。
15.使用甲襞微循环检测仪来采集少量不同职业、年龄、性别、生活作息的人们的甲襞微循环血管的图像；以采集到的少量血管图像作为训练集，通过gan 神经网络随机生成大量极其相似的甲襞微循环血管图像。
16.步骤2：基于yolo神经网络的微循环血管图像检测
17.(2.1)标注：得到甲襞微循环血管图像后，以甲襞微循环血管图像作为训练集采取人工标注的方式，标注每个甲襞微循环血管图像是正常血管、疑似交叉的血管还是畸形血管；甲襞微循环血管图像数量越多，准确度越高。
18.(2.2)训练：将标注好的样本投入到yolo神经网络yolo(you only lookonce一种基于深度神经网络的对象识别和定位算法)的训练当中。
19.(2.3)使用：训练好的yolo网络可以投入使用，算法可以直接输出检测到的血管图像以及统计各个类型血管的数量。
20.步骤3：基于u-net网络的血管图像的分割
21.(3.1)标注：得到大量甲襞血循环血管图像框图后，将其作为训练集采取人工标注的方式得到mask图(二值化图像)。
22.(3.2)训练：使用甲襞微循环血管图像和mask图投入到u-net神经网络中进行训练。
23.(3.3)使用：将yolo输出的各类别血管图像投入训练好的u-net神经网络中，得到甲襞微循环血管的二值化图像。
24.步骤4：基于骨架法测量血管管径
25.(4.1)采用骨架法提取得到血管图像的中心线。
26.(4.2)用直线拟合的方法求出一段血管的斜率，并在中心线上随机取点做其垂线，并与血管边界交点，根据点距求得血管管径。
27.本发明的有益效果如下：
28.(1)通过深度学习算法对甲襞微循环血管图像进行样本扩充，解决可用图像少的问题。
29.(2)通过深度学习神经网络对甲襞微循环血管图像进行分割，处理效果更好，解决适用范围窄，图像处理后模糊不清的问题。
30.(3)通过深度学习神经网络对甲襞微循环血管图像进行检测与分割，得到血管种类、血管数量、管径长度数据，解决人工测量速度慢，容易产生误差的问题，辅助医学诊断。
附图说明
31.图1为甲襞微循环血管图像检测与分割流程图。
32.图2为甲襞微循环血管图像进行扩充的gan网络结构图。
33.图3为基于yolo神经网络对微循环血管图像检测的算法结构图。
34.图4为甲襞微循环血管的二值化图像。
35.图5为yolo算法检测识别的甲襞微循环图像。
36.图6为单个被裁剪出的血管小图。
37.图7为血管分割结果图。
具体实施方式
38.以下结合技术方案和附图详细叙述本发明的具体实施例。
39.一种基于深度学习的甲襞微循环血管检测与分割方法，步骤如下：
40.步骤1：基于gan神经网络的甲襞微循环血管图像的样本扩充
41.基于生成式对抗网络为微循环医疗检测提供样本扩充。生成式对抗网络的过程如下：
42.将原始样本图像输入到判别器；生成器通过随机噪声自动产生新图片；判别器对新图像与真实图像组成的集合进行辨认，经过动态博弈最后生成新的样本图像，使得样本图像得到扩充。
43.使用甲襞微循环检测仪来采集少量不同职业、年龄、性别、生活作息的人们的甲襞微循环血管的图像；以采集到的少量血管图像作为训练集，通过gan 神经网络随机生成大量极其相似的甲襞微循环血管图像。
44.步骤2：基于yolo神经网络的微循环血管图像检测
45.(2.1)标注：得到甲襞微循环血管图像后，以甲襞微循环血管图像作为训练集采取人工标注的方式，标注每个甲襞微循环血管图像是正常血管、疑似交叉的血管还是畸形血管。
46.(2.2)训练：将标注好的样本投入到yolo神经网络yolo的训练当中。
47.(2.3)使用：训练好的yolo网络可以投入使用，算法可以直接输出检测到的血管图像以及统计各个类型血管的数量。
48.步骤3：基于u-net网络的血管图像的分割
49.(3.1)标注：得到大量甲襞血循环血管图像框图后，将其作为训练集采取人工标注的方式得到二值化图像。
50.(3.2)训练：使用甲襞微循环血管图像和mask图投入到u-net神经网络中进行训练。
51.(3.3)使用：将yolo输出的各类别血管图像投入训练好的u-net神经网络中，得到甲襞微循环血管的二值化图像。
52.步骤4：基于骨架法测量血管管径
53.(4.1)采用骨架法提取得到血管图像的中心线。
54.(4.2)用直线拟合的方法求出一段血管的斜率，并在中心线上随机取点做其垂线，并与血管边界交点，根据点距求得血管管径。
55.根据获得的已训练好的基于深度学习的甲襞微循环血管检测与分割方法，进行医学检测。
56.首先由医生使用显微镜查看患者的甲襞微循环血管，并截取出需要进行智能识别检测的图像。
57.其次，获取到甲襞微循环血管图像后，基于yolo神经网络对需要进行智能识别检测的图像中的血管进行检测，训练好的yolo网络直接输出检测到的血管图像以及各个类型血管的数量，统计各个血管的位置以及类别。
58.如图5所示，其中深颜色框表示正常的血管，浅颜色的框表示为畸形血管。根据检测结果中血管的坐标将血管从原图中裁剪下来进行分割，基于unet的分割网络完成血管的
分割。
59.如图6所示，根据检测结果将甲襞微循环血管图像中涉及到的血管一一单独被裁减出来；利用训练好的u-net神经网络将已分割出来的血管进行二值化处理获得如图7所示的甲襞微循环血管的二值化图像。
60.使用血管中心线提取算法对血管中心线进行迭代提取，得到血管中心线位置，随后算法会对流入、流出端管径；流入、流出端长度；袢顶管径等指标依次进行计算，获得如表1所示的10种血管的相关指标结果
61.表1甲襞微循环血管指标计算结果
[0062][0063]
最后将上面的计算数据传送给使用者，以达到节省诊断时间的目的。
[0064]
与此同时，每次问诊过程中，系统所得到图像后对患者信息进行脱敏处理，其余信息并保留下来，作为系统迭代升级所用的训练数据，系统每运行一段时间积攒一定量的数据之后工作人员会将新的数据按照检测和分割网络所需的格式以此标注，在现有模型的基础上进行训练使算法的准确率进一步提升，模型得到进一步的完善。