眼底图像的血管管径的增强分辨率的测量方法与流程

眼底图像的血管管径的增强分辨率的测量方法
1.本技术是申请日为2020年09月04日、申请号为2020109242872、发明名称为眼底图像的血管管径的测量方法及测量装置的专利申请的分案申请。
技术领域
2.本公开涉及一种眼底图像的血管管径的增强分辨率的测量方法。


背景技术：

3.眼底病变通常是指由炎症、肿瘤或血管病变等因素引起的眼部病变。眼底病变不仅会影响患者的视力，严重者还会导致失明，因此应定时进行眼底检查以便能较早地发现眼底病变并及时进行治疗。眼底病变可以通过多种的体征反应。其中眼底中的血管管径的变化是眼底病变的一个重要的体征。因此，在眼底检查中，通常通过对眼底中血管管径进行测量，从而获得血管管径的变化以对眼底病变进行识别。
4.传统的血管管径的测量方法(例如投影法、检眼镜测像法等)大多依靠专业的眼科医生借助测量工具并根据经验进行测量，虽然测量准确度较高，但耗时较长且无法批量自动处理，不利于眼底病变的识别。因此在眼底图像分析领域，准确度高且可自动测量血管管径的测量方法已经成为一项重要的研究内容。相比于传统的管径测量方法，眼底图像具有采集时间短，获取成本低等优点，因此近年来，越来越多的研究者利用眼底图像进行血管管径的自动测量。特别地，随着计算机图像处理技术的发展，基于眼底图像的血管管径的自动测量已被广泛研究。例如，gregson等研究者使用血管灰度轮廓曲线矩形拟合的方法对血管管径进行自动测量；peter等研究者通过搜索血管灰度轮廓曲线的二阶导数零点的方法对血管管径进行自动测量。然而，对血管管径进行自动测量的测量准确度还有待提高。


技术实现要素：

5.本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够对血管管径进行自动超分辨率测量并具有较高测量准确度的眼底图像的血管管径的测量方法及测量装置。
6.为此，本公开第一方面提供了一种眼底图像的血管管径的测量方法，其包括：获取包括血管的眼底图像；基于所述眼底图像生成血管分割图像；将所述血管分割图像按照预设倍数进行分辨率增强以生成增强血管分割图像；提取所述增强血管分割图像中的血管骨架并对所述血管骨架进行拟合以获取连续血管骨架和测量像素点的管径测量方向，所述测量像素点为所述连续血管骨架上的多个像素点，所述管径测量方向垂直于所述连续血管骨架在所述测量像素点的切线；基于所述增强血管分割图像、所述测量像素点、所述测量像素点的管径测量方向和预设精度生成所述测量像素点对应的血管轮廓；并且基于所述测量像素点对应的所述血管轮廓中的血管像素点的个数、所述预设倍数和所述预设精度计算所述测量像素点对应的血管管径。在本公开中，通过对血管分割图像进行增强以生成增强血管分割图像，提取增强血管分割图像的血管骨架并进行拟合以获取连续血管骨架和测量像素点的管径测量方向，基于增强血管分割图像、连续血管骨架上的测量像素点、测量像素点的
管径测量方向和预设精度生成测量像素点对应的血管轮廓，通过测量像素点对应的血管轮廓中的血管像素点的个数、预设倍数和预设精度计算测量像素点对应的血管管径。在这种情况下，能够增加眼底图像中的血管的分辨率，进而可以利用更多的像素点对血管管径进行测量。由此，能够对血管管径进行自动超分辨率测量并提高测量准确度。
7.另外，在本公开第一方面所涉及的测量方法中，可选地，利用插值算法并基于所述增强血管分割图像、所述测量像素点、所述测量像素点的管径测量方向和所述预设精度，对所述增强血管分割图像进行插值操作以生成所述测量像素点对应的所述血管轮廓。由此，能够基于预设精度对增强血管图像进行插值操作以获取血管轮廓。
8.另外，在本公开第一方面所涉及的测量方法中，可选地，各个所述测量像素点对应的所述血管轮廓按照所述测量像素点在所述连续血管骨架上的排列顺序以中心共直线的方式并排以形成拉直血管图像。由此，能够方便地获取各个测量像素点对应的血管轮廓。
9.另外，在本公开第一方面所涉及的测量方法中，可选地，所述测量像素点对应的所述血管管径l为l＝n
×
s/e，其中，n为所述测量像素点对应的所述血管轮廓中的血管像素点的个数，s为所述预设精度，e为所述预设倍数。由此，能够计算血管管径。
10.另外，在本公开第一方面所涉及的测量方法中，可选地，所述预设倍数为大于1的整数，所述预设精度为大于0且小于1的小数。由此，能够增加眼底图像血管的分辨率，进而能够提高后续对血管管径进行测量的测量准确度。
11.另外，在本公开第一方面所涉及的测量方法中，可选地，所述血管轮廓的宽度为最大血管管径的n倍，其中，n为2至5的整数。由此，能够使增强血管分割图像中最宽的血管完整地呈现在血管轮廓中。
12.另外，在本公开第一方面所涉及的测量方法中，可选地，所述插值算法为三次样条插值算法。由此，能够利用三次样条插值算法对增强血管分割图像进行插值操作。
13.另外，在本公开第一方面所涉及的测量方法中，可选地，所述测量像素点对应的所述血管轮廓中的血管像素点的个数n通过以下公式计算：n＝card({p：p∈p，f(p)>t})，其中，p为所述测量像素点，f(p)为所述测量像素点p对应的像素值，t为预设的阈值参数，p为所述测量像素点p对应的所述血管轮廓中的像素点集合，card表示集合的基数。由此，能够计算测量像素点对应的血管轮廓中的血管像素点的个数。
14.本公开第二方面提供了一种眼底图像的血管管径的测量装置，其包括：获取单元，其用于获取包括血管的眼底图像；分割单元，其基于所述眼底图像生成血管分割图像；增强单元，其用于将所述血管分割图像按照预设倍数进行分辨率增强以生成增强血管分割图像；提取单元，其用于提取所述增强血管分割图像中的血管骨架并对所述血管骨架进行拟合以获取连续血管骨架和测量像素点的管径测量方向，所述测量像素点为所述连续血管骨架上的多个像素点，所述管径测量方向垂直于所述连续血管骨架在所述测量像素点的切线；生成单元，其基于所述增强血管分割图像、所述测量像素点、所述测量像素点的管径测量方向和预设精度生成所述测量像素点对应的血管轮廓；以及计算单元，其基于所述测量像素点对应的所述血管轮廓中的血管像素点的个数、所述预设倍数和所述预设精度计算所述测量像素点对应的血管管径。在本公开中，增强单元通过对分割单元生成的血管分割图像进行增强以生成增强血管分割图像，提取单元获取连续血管骨架和测量像素点的管径测量方向，生成单元基于增强血管分割图像、连续血管骨架上的测量像素点、测量像素点的管
径测量方向和预设精度生成测量像素点对应的血管轮廓，计算单元通过测量像素点对应的血管轮廓中的血管像素点的个数、预设倍数和预设精度计算测量像素点对应的血管管径。在这种情况下，能够增加眼底图像中血管的分辨率，进而可以利用更多的像素点对血管管径进行测量。由此，能够对血管管径进行自动超分辨率测量并提高测量准确度。
15.另外，在本公开第二方面所涉及的测量装置中，可选地，利用插值算法并基于所述增强血管分割图像、所述测量像素点、所述测量像素点的管径测量方向和预设精度，对所述增强血管分割图像进行插值操作以生成所述测量像素点对应的所述血管轮廓。由此，能够基于预设精度对增强血管图像进行插值操作以获取血管轮廓。
16.另外，在本公开第二方面所涉及的测量装置中，可选地，所述测量像素点对应的所述血管管径l为l＝n
×
s/e，其中，n为所述测量像素点对应的所述血管轮廓中的血管像素点的个数，s为所述预设精度，e为所述预设倍数。由此，能够计算血管管径。
17.根据本公开，提供一种能够对血管管径进行自动超分辨率测量并具有较高测量准确度的眼底图像的血管管径的测量方法及测量装置。
附图说明
18.现在将仅通过参考附图的例子进一步详细地解释本公开，其中：
19.图1是示出了本公开示例所涉及的眼底图像的血管管径的测量方法的应用场景的示意图。
20.图2是示出了本公开示例所涉及的眼底图像的血管管径的测量方法的流程图。
21.图3是示出了本公开示例所涉及的眼底图像的示意图。
22.图4是示出了本公开示例所涉及的基于人工神经网络的血管分割的训练方法的流程图。
23.图5(a)是示出了本公开示例所涉及的训练眼底图像的示意图。
24.图5(b)是示出了本公开示例所涉及的血管标注结果的示意图。
25.图6是示出了本公开示例所涉及的血管分割图像的示意图。
26.图7是示出了本公开示例所涉及的局部眼底图像的示意图。
27.图8是示出了本公开示例所涉及的局部血管分割图像的示意图。
28.图9是示出了本公开示例所涉及的局部血管骨架的示意图。
29.图10是示出了本公开示例所涉及的管径测量方向的示意图。
30.图11是示出了本公开示例所涉及的血管轮廓生成的流程图。
31.图12是示出了本公开示例所涉及的拉直血管图像的示意图。
32.图13是示出了本公开示例所涉及的眼底图像的血管管径的测量装置的系统框图。
33.主要标号说明：
[0034]1…
应用场景，11
…
操作员，12
…
终端，13
…
采集设备，14
…
人眼，15
…
服务器，p1
…
眼底图像，p2
…
训练眼底图像，p3
…
血管标注结果，p4
…
血管分割图像，p5
…
局部眼底图像，p6
…
局部血管分割图像，p7
…
拉直血管图像，l1
…
血管骨架，l2
…
连续血管骨架，l3
…
切线，l4
…
管径测量方向，2
…
测量装置，210
…
获取单元，220
…
分割单元，230
…
增强单元，240
…
提取单元，250
…
生成单元，260
…
计算单元，a
…
血管，b
…
血管，c
…
局部血管，c'
…
拉直局部血管，d1
…
测量像素点。
具体实施方式
[0035]
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
[0036]
需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0037]
图1是示出了本公开示例所涉及的眼底图像的血管管径的测量方法的应用场景的示意图。
[0038]
在一些示例中，本公开涉及的眼底图像的血管管径的测量方法(有时可以简称为测量方法)可以应用于如图1所示的应用场景1中。在应用场景1中，操作员11可以通过控制连接在终端12上的采集设备13，以采集人眼14的眼底图像。在采集设备13完成眼底图像采集后，终端12可以将眼底图像通过计算机网络提交至服务器15。服务器15通过执行本公开示例所涉及的测量方法可以获得眼底图像的血管管径并返回给终端12。在一些示例中，终端12可以显示血管管径。在另一些示例中，血管管径可以作为中间结果存储在终端12或者服务器15的存储器中。
[0039]
在一些示例中，操作员11可以是具有对眼底图像的血管管径进行测量的专业知识的医师。在另一些示例中，操作员11可以是熟悉如何通过操作终端12自动对血管管径进行测量的普通人员。
[0040]
在一些示例中，终端12可以包括但不限于是笔记本电脑、平板电脑或台式机等。在一些示例中，终端12可以是包括处理器、存储器、显示屏和采集设备13的对血管管径进行测量的专用设备。
[0041]
在一些示例中，采集设备13可以包括但不限于是相机等。相机例如可以是彩色眼底相机。采集设备13可以通过串口与终端12相连接或者集成在终端12中。
[0042]
在一些示例中，人眼14的眼底是指眼球内后部的组织，可以包括眼球的内膜、视网膜、黄斑和血管(视网膜动静脉)。在一些示例中，可以通过监测血管管径的变化对眼底病变进行识别。
[0043]
在一些示例中，服务器15可以包括一个或多个处理器和一个或多个存储器。其中，处理器可以包括中央处理单元、图形处理单元以及能够处理数据的其它任何电子部件，能够执行计算机程序指令。存储器可以用于存储计算机程序指令。在一些示例中，测量方法可以以计算机程序指令的形式存储在存储器中并由服务器15执行。在一些示例中，服务器15也可以是云端服务器。
[0044]
如上所述，服务器15可以通过执行本公开示例所涉及的测量方法获得眼底图像的血管管径。图2是示出了本公开示例所涉及的眼底图像的血管管径的测量方法的流程图。图3是示出了本公开示例所涉及的眼底图像的示意图。其中，眼底图像p1为由眼底相机拍摄的眼底图像。
[0045]
在一些示例中，如图2所示，本公开涉及的眼底图像的血管管径的测量方法可以包括获取眼底图像(步骤s210)，进行血管分割(步骤s220)，增强分辨率(步骤s230)，获取连续
血管骨架和管径测量方向(步骤s240)，生成血管轮廓(步骤s250)和计算血管管径(步骤s260)。在这种情况下，能够增加眼底图像中的血管的分辨率，进而可以利用更多的像素点对血管管径进行测量。由此，能够对血管管径进行自动超分辨率测量并提高测量准确度。
[0046]
一般而言，对眼底图像中血管管径测量的宽度(也即像素点个数)为正整数，例如测量宽度可以为1、3、6或8等。而基于分辨率增强和预设精度的超分辨率技术可以进行血管管径的亚像素级别的测量，从而使测量宽度可以为小数，例如测量宽度可以为1.23、3.12、5.63或7.56等。由此，能够更加准确地对血管管径进行测量。
[0047]
在步骤s210中，可以获取眼底图像。眼底图像可以包括血管。在一些示例中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现眼球的内膜、视网膜、黄斑和血管(视网膜动静脉)等眼底信息。在另一些示例中，眼底图像可以为灰度图像。在一些示例中，眼底图像可以为由采集设备13采集的眼底图像。作为眼底图像的示例，例如图3示出了由眼底相机拍摄的眼底图像p1。其中，眼底图像p1包括血管a。在另一些示例中，眼底图像可以为预先存储在终端12或服务器15中的图像。
[0048]
在一些示例中，在步骤s210中，可以对眼底图像进行预处理。一般而言，由于眼底图像可能存在图像格式、尺寸不同等问题，因此需要对眼底图像进行预处理，使眼底图像转换为固定标准形式的图像。固定标准形式可以指图像的格式相同，尺寸一致。例如，在一些示例中，眼底图像经过预处理后的尺寸可以统一宽度为512或1024像素。
[0049]
在步骤s220中，可以对步骤s210获取的眼底图像进行血管分割。在一些示例中，基于眼底图像可以生成血管分割图像。如上所述，眼底可以包括眼球的内膜、视网膜、黄斑和血管(视网膜动静脉)。因此，眼底的眼底图像可以包括眼球的内膜、视网膜、黄斑和血管(视网膜动静脉)等图案，对眼底图像进行血管分割可以识别血管区域，从而去除血管外的其他结构的影响。
[0050]
一般而言，血管分割方法可以分为无监督学习和监督学习方法。无监督学习方法可以先利用图像处理技术对眼底图像进行预处理，然后在经由预处理的眼底图像上采用阈值的方法进行分割。
[0051]
在一些示例中，监督学习方法可以利用眼底图像及其血管标注结果，通过手动或者自动方式提取眼底图像的特征以对分类器进行训练，从而实现对眼底图像的血管分割。例如，可以通过训练人工神经网络获得的最优模型对眼底图像进行血管分割。
[0052]
以下结合附图详细说明基于人工神经网络的血管分割的训练方法。图4是示出了本公开示例所涉及的基于人工神经网络的血管分割的训练方法的流程图。图5(a)是示出了本公开示例所涉及的训练眼底图像的示意图。图5(b)是示出了本公开示例所涉及的血管标注结果的示意图。
[0053]
如图4所示，血管分割的训练方法可以包括获取训练眼底图像和血管标注结果(步骤s221)，对训练眼底图像和血管标注结果进行预处理以获取预处理眼底图像和预处理血管标注结果(步骤s222)和基于预处理眼底图像和预处理血管标注结果对人工神经网络进行训练以获取最优模型(步骤s223)。在这种情况下，基于人工神经网络可以自动学习血管特征并输出血管分割结果。
[0054]
在步骤s221中，可以获取训练眼底图像和血管标注结果。步骤s221中的训练眼底图像可以是拍摄眼底获得的眼底图像。作为训练眼底图像的示例，例如图5(a)示出训练眼
底图像p2。其中，训练眼底图像p2包括血管b。在一些示例中，训练眼底图像可以为预先存储的多张眼底图像。在一些示例中，多张训练眼底图像可以组成训练数据集。
[0055]
一般而言，对于监督学习的人工神经网络，需基于血管标注结果作为真值计算损失函数。因此，需要对训练眼底图像进行标注以获取训练眼底图像的血管标注结果。血管标注结果可以包括血管。在一些示例中，可以由经验丰富的医师利用标注工具对训练眼底图像进行标注以生成血管标注结果。作为血管标注结果的示例，例如图5(b)示出了对训练眼底图像p2进行标注后生成的血管标注结果p3。其中，血管标注结果p3包括血管b。
[0056]
在步骤s222中，可以对训练眼底图像和血管标注结果进行预处理以获取预处理眼底图像和预处理血管标注结果。在一些示例中，可以对训练眼底图像进行预处理以生成预处理眼底图像。在一些示例中，对训练眼底图像进行预处理可以包括对训练眼底图像进行裁切、降噪、灰度化等。由此，能够突显训练眼底图像中的血管。在一些示例中，可以通过对训练眼底图像进行旋转，缩放、平移等操作。由此，能够增加人工神经网络训练的数据量。在一些示例中，可以对血管标注结果进行预处理以生成预处理血管标注结果。在一些示例中，对血管标注结果进行预处理与对训练眼底图像进行预处理的方式可以一样。
[0057]
在步骤s223中，可以基于预处理眼底图像和预处理血管标注结果对人工神经网络进行训练以获取最优模型。在一些示例中，可以基于预处理眼底图像和预处理血管标注结果对人工神经网络进行训练以获取最优模型。在一些示例中，预处理血管标注结果可以作为真值计算损失函数，并通过损失函数不断地对人工神经网络进行优化直至损失函数的值(也即损失)收敛达到最优。
[0058]
在一些示例中，人工神经网络可以是u
‑
net网络。具体地，u
‑
net网络是一种图像语义分割的人工神经网络，包括特征提取和上采样部分。其中，特征提取部分可以包括多个编码层，第一个编码层的输入为训练眼底图像。在一些示例中，编码层可以包含一系列的卷积层、批归一化层、激活层和池化层。上采样部分可以包括多个解码层。最后一个解码层(即输出层)用于输出训练眼底图像中各个像素点属于血管的概率。在这种情况下，基于训练眼底图像中各个像素点属于血管的概率可以生成血管分割图像。
[0059]
图6是示出了本公开示例所涉及的血管分割图像的示意图。
[0060]
如上所述，人工神经网络可以基于训练眼底图像中各个像素点属于血管的概率生成血管分割图像。因此，经由对人工神经网络进行训练获得的最优模型也具有对眼底图像进行血管分割以生成血管分割图像的能力。在一些示例中，可以将步骤s210获取的眼底图像输入最优模型以对眼底图像进行血管分割，进而生成血管分割图像。在一些示例中，血管分割图像可以是二值图像，也即可以仅包括黑和白两种颜色。作为血管分割图像的示例，例如图6示出了对眼底图像p1进行血管分割生成的血管分割图像p4。其中，血管分割图像p4包括血管a。
[0061]
如上所述，测量方法可以包括步骤s230。在步骤s230中，可以对步骤s220获取的血管分割图像进行分辨率增强。在一些示例，可以按照预设倍数将血管分割图像进行分辨率增强以生成增强血管分割图像。例如，在一些示例中，可以对分辨率大小为140
×
63的血管分割图像进行10倍分辨率增强，以生成分辨率大小为1400
×
630的增强血管分割图像。
[0062]
另外，在一些示例中，可以利用线性插值方法对血管分割图像进行分辨率增强。但本公开的示例不限于此，在另一些示例中，可利用基于深度学习的图像超分辨率方法对血
管分割图像进行分辨率增强。
[0063]
另外，在一些示例中，预设倍数可以为大于1的整数。由此，能够增加眼底图像中血管的分辨率，进而能够提高后续对血管管径进行测量的测量准确度。在一些示例中，预设倍数可以为5至15。例如，预设倍数可以为5、10或15等。
[0064]
图7示出了本公开示例所涉及的局部眼底图像的示意图。其中，局部眼底图像p5为眼底图像p1的局部图，局部眼底图像p5包含局部血管c。图8是示出了本公开示例所涉及的局部血管分割图像的示意图。其中，局部血管分割图像p6为血管分割图像p4中与局部眼底图像p5对应的局部图，局部血管分割图像p6包含局部血管c。图9是示出了本公开示例所涉及的局部血管骨架的示意图。
[0065]
在步骤s240中，可以获取连续血管骨架和管径测量方向。
[0066]
在一些示例中，在获取步骤s230生成的增强血管分割图像后，可以提取增强血管分割图像中的血管骨架。血管骨架可以为血管的中线。作为血管骨架的示例，例如，对图8所示的局部血管分割图像p6进行增强以提取局部血管c的血管骨架。图9示出了增强后的局部血管分割图像p6对应的局部血管c的血管骨架l1，从图9可以看出血管骨架l1是由离散的像素点组成。
[0067]
在一些示例中，可以采用形态学细化算法对增强血管分割图像进行细化以提取血管骨架。也即将增强血管分割图像中血管宽度向血管中心方向细化成一个像素的宽度，形成血管骨架，并保持增强血管分割图像中的血管形状的基本拓扑结构不变。在一些示例中，形态学细化算法可以包括但不限于hilditch细化算法、pavlidis细化算法或rosenfeld细化算法等。在一些示例中，对增强血管分割图像进行血管骨架提取前可以对增强血管分割图像进行中值滤波运算。由此，能够去除血管骨架末端可能出现的分叉。
[0068]
如上所述，血管骨架可以由离散的像素点组成。因此，在一些示例中，可以对血管骨架进行拟合以获取连续血管骨架。在一些示例中，可以使用最小二乘三次样条插值算法对血管骨架进行拟合。由此，能够获得连续血管骨架和拟合方程。
[0069]
图10是示出了本公开示例所涉及的管径测量方向的示意图。
[0070]
另外，在一些示例中，在步骤s240中，可以获取测量像素点的管径测量方向。测量像素点可以为连续血管骨架上的多个像素点。在一些示例中，管径测量方向可以垂直于连续血管骨架在测量像素点的切线。在一些示例中，可以通过上述拟合方程的一阶导数获取测量像素点的切线。如图10所示，局部血管c的连续血管骨架l2在测量像素点d1的切线可以为切线l3。经过测量像素点d1并垂直于切线l3的直线可以为管径测量方向l4。在步骤s250中，可以生成血管轮廓。在一些示例中，可以基于步骤s230获得的增强血管分割图像、步骤s240获得的测量像素点、步骤s240获得的测量像素点的管径测量方向和预设精度生成测量像素点对应的血管轮廓。
[0071]
在一些示例中，可以利用插值算法并基于增强血管分割图像、测量像素点、测量像素点的管径测量方向和预设精度，对增强血管分割图像进行插值操作以生成测量像素点对应的血管轮廓。由此，能够基于预设精度对增强血管图像进行插值操作以获取血管轮廓。在一些示例中，插值算法可以为三次样条插值算法。由此，能够利用三次样条插值算法对增强血管分割图像进行插值操作。
[0072]
另外，在一些示例中，预设精度可以为大于0且小于1的小数。由此，能够增加眼底
图像中的血管的分辨率，进而能够提高后续对血管管径进行测量的测量准确度。在一些示例中，预设精度可以为0.01至0.10。例如，预设精度可以为0.01、0.05或0.10等。
[0073]
以下，结合附图详细说明血管轮廓的生成过程。图11是示出了本公开示例所涉及的血管轮廓生成的流程图。
[0074]
如图11所示，步骤s250中血管轮廓的生成过程可以包括获取血管轮廓的宽度(步骤s251)，获取插值采样间隔(步骤s252)，生成插值点(步骤s253)，对血管分割图像进行插值操作以确定血管轮廓的像素值(步骤s254)和基于血管轮廓的像素值生成血管轮廓(步骤s255)。
[0075]
在步骤s251中，可以获取血管轮廓的宽度。在一些示例中，血管轮廓的宽度可以为最大血管管径的n倍。其中，n可以为2到5之间的整数。在一些示例中，血管轮廓的宽度可以为最大血管管径的2倍。在一些示例中，最大血管管径可以是预估的最大血管管径。由此，能够使增强血管分割图像中最宽的血管完整地呈现在血管轮廓中。
[0076]
在一些示例中，预估的最大血管管径可以为连续血管骨架中的像素点与其最近的非血管像素的距离中的最大距离的2倍。其中距离可以是欧几里德距离。具体地，计算连续血管骨架中的每个像素点与其最近的非血管像素的欧几里德距离，选择最大欧几里德距离的2倍作为预估的最大血管管径。由此，可以粗略估算出最大血管管径。但本公开的示例不限于此，在另一些示例中，可以使用其他方式估算最大血管管径。
[0077]
在步骤s252中，可以获取插值采样间隔。在一些示例中，基于血管轮廓的宽度、预设精度可以获取插值采样间隔。具体地，假设血管轮廓的宽度可以用wi表示，预设精度可以用s表示。则插值采样间隔的值可以为在
‑
(wi
‑
1)/2至(wi
‑
1)/2之间，以预设精度s为步长递增的值。例如插值采样间隔的值可以为
‑
(wi
‑
1)/2、(wi
‑
1)/2+s、(wi
‑
1)/2+2
×
s或(wi
‑
1)/2等。
[0078]
在步骤s253中，可以生成插值点。在一些示例中，可以基于步骤s252获得的插值采样间隔、管径测量方向和连续血管骨架生成插值点。具体地，假设插值采样间隔用inc表示、管径测量方向可以用(dx，dy)表示，连续血管骨架可以用(x，y)表示。则插值点可以表示为(x+dx
×
inc，y+dy
×
inc)。在这种情况下，生成的插值点沿着管径测量方向分布。由此，能够增加管径测量方向附近的像素点个数，进而能够提高血管管径的测量准确度。
[0079]
在步骤s254中，可以对血管分割图像进行插值操作以确定血管轮廓的像素值。在一些示例中，可以使用插值算法，基于步骤s253获得的插值点对血管分割图像进行插值操作以确定血管轮廓的像素值。在一些示例中，插值算法可以为三次样条插值算法。由此，能够利用三次样条插值算法对增强血管分割图像进行插值操作。
[0080]
图12是示出了本公开示例所涉及的拉直血管图像的示意图。
[0081]
在步骤s255中，可以基于血管轮廓的像素值生成血管轮廓。在一些示例中，可以基于血管轮廓的像素值输出各个测量像素点对应的血管轮廓。在一些示例中，各个测量像素点对应的血管轮廓可以按照测量像素点在连续血管骨架上的排列顺序以中心共直线的方式并排以形成拉直血管图像。作为拉直血管图像的示例，图12示出了拉直血管图像p7。其中，拉直血管图像p7包括局部血管c对应的拉直局部血管c'。由此，能够方便地获取各个测量像素点对应的血管轮廓。
[0082]
如上所述，测量方法包括步骤s260。在步骤s260，可以计算血管管径。在一些示例
中，可以基于测量像素点对应的血管轮廓中的血管像素点的个数、预设倍数和预设精度计算测量像素点对应的血管管径。其中，测量像素点对应的血管轮廓可以由步骤s250获得。
[0083]
在一些示例中，测量像素点对应的血管轮廓中的血管像素点的个数n可以通过以下公式计算：
[0084]
n＝card({p：p∈p，f(p)>t})，
[0085]
其中，p为测量像素点，f(p)为测量像素点p对应的像素值，t为预设的阈值参数，p为测量像素点p对应的血管轮廓中的像素点集合，card表示集合的基数。由此，能够计算测量像素点对应的血管轮廓中的血管像素点的个数。在一些示例中，t可以为0.9。由此，能够区分测量像素点对应的血管轮廓中的血管像素点和非血管像素点。
[0086]
在一些示例中，测量像素点对应的血管管径l可以为：
[0087]
l＝n
×
s/e，
[0088]
其中，n为测量像素点对应的血管轮廓中的血管像素点的个数，s为预设精度，e为预设倍数。由此，能够计算血管管径。
[0089]
如上所述，预设倍数可以为大于1的整数。预设精度可以为大于0且小于1的小数。在一些示例中，可以利用不同的预设倍数e和预设精度s对同一段血管的血管管径进行测量以获取准确度较高的血管管径的测量结果。
[0090]
以下以图7所示的局部眼底图像p5中的局部血管c为例，将基于不同预设倍数e和预设精度s的局部血管c的血管管径测量结果与基于人工标注的局部血管c的血管管径测量结果进行对比，对比结果可以参见表1。其中，均值为局部血管c的血管管径的平均值，标准差为局部血管c的血管管径的标准差。
[0091]
表1血管管径测量结果对比的部分结果
[0092]
测量参数均值标准差人工标注6.40940.421e＝1，s＝15.93650.7319e＝5，s＝0.56.44570.4737e＝5，s＝0.16.4350.4723e＝5，s＝0.056.43410.4707e＝5，s＝0.016.43450.471e＝10，s＝0.56.51420.4799e＝10，s＝0.16.50780.4791e＝10，s＝0.056.50690.4787e＝10，s＝0.016.5070.4788e＝15，s＝0.56.53410.4757e＝15，s＝0.16.52930.4757e＝15，s＝0.056.52880.4754e＝15，s＝0.016.52890.4755
[0093]
从血管管径测量结果对比表1中可以看，针对局部血管c，人工标注的血管管径均值为6.4094，标准差为0.421。在不使用超分辨技术(即e＝1，s＝1)时，本发明测量出的血管管径的均值为5.9365，标准差为0.7319，与人工标注结果有较大差异。而在使用超分辨技术
(即e∈{5,10,15}且s∈{0.01,0.05,0.1,0.5})时，管径测量的均值和标准差都接近于人工标注结果。特别地，在e＝5，s＝0.05时，血管管径的均值为6.4341，标准差为0.4707，与人工标注的血管管径相当。由此可见，使用超分辨率技术的测量结果与人工标注的结果更接近，说明超分辨率技术有效地提高了血管管径测量的准确度。
[0094]
在一些示例中，可以将血管管径转成实际尺寸大小。具体地，可以在采集眼底图像时输入一幅包括标尺的图像。标尺上带有刻度。在一些示例中，可以基于图像处理算法对包括标尺的图像进行边缘检测以获得标尺上刻度较清晰的区域，进而可以获取该区域对应的刻度范围，例如刻度范围可以为2um(微米)到100um(微米)。基于该刻度范围和眼底图像中该刻度范围之间的像素点个数可以获得像素点距离。在一些示例中，可以利用该刻度范围获得实际尺寸大小，例如98um(微米)除以眼底图像中该刻度范围之间的像素点个数以获得像素点距离。在这种情况下，通过将血管管径乘以像素点距离可以将血管管径转成实际尺寸大小。
[0095]
但本公开的示例不限于此，在另一些示例中，基于dicom(digital imaging and communications in medicine，医学数字成像与通讯)格式的眼底图像可以获取像素间隔(眼底图像中两个像素点之间距离代表的实际尺寸大小)。在这种情况下，通过将血管管径乘以像素间隔可以将血管管径转成实际尺寸大小。在另一些示例中，可以不将血管管径转成实际尺寸大小，例如可以将血管管径作为中间结果。
[0096]
以下，结合图13详细描述本公开所涉及的眼底图像的血管管径的测量装置。本公开中的眼底图像的血管管径的测量装置可以简称为“测量装置”。测量装置用于实施上述测量方法。图13是示出了本公开示例所涉及的眼底图像的血管管径的测量装置的系统框图。
[0097]
在一些示例中，如图13所示，测量装置2可以包括获取单元210、分割单元220、增强单元230、提取单元240、生成单元250和计算单元260。获取单元210可以用于获取眼底图像。分割单元220可以用于对眼底图像进行血管分割。增强单元230可以用于对血管分割图像进行分辨率增强。提取单元240可以用于获取连续血管骨架和管径测量方向。生成单元250可以用于生成血管轮廓。计算单元260可以用于计算血管管径。在这种情况下，能够增加眼底图像中的血管的分辨率，进而可以利用更多的像素点对血管管径进行测量。由此，能够对血管管径进行自动超分辨率测量并提高测量准确度。
[0098]
在一些示例中，获取单元210可以用于获取眼底图像。眼底图像可以包括血管。在一些示例中，眼底图像可以为彩色的眼底图像。在一些示例中，可以对眼底图像进行预处理。具体内容可以参见步骤s210，此处不再赘述。
[0099]
在一些示例中，分割单元220可以用于对获取单元210获取的眼底图像进行血管分割。在一些示例中，基于眼底图像可以生成血管分割图像。在一些示例中，可以通过人工神经网络对眼底图像进行血管分割。在这种情况下，基于人工神经网络可以自动学习血管特征并输出血管分割结果。具体内容可以参见步骤s220，此处不再赘述。
[0100]
在一些示例中，增强单元230可以用于对血管分割图像进行分辨率增强。在一些示例，可以将血管分割图像按照预设倍数进行分辨率增强以生成增强血管分割图像。在一些示例中，可以利用线性插值方法对血管分割图像进行分辨率增强。在一些示例中，预设倍数可以设为大于1的整数。由此，能够增加眼底图像中的血管的分辨率，进而能够提高后续对血管管径进行测量的测量准确度。具体内容可以参见步骤s230，此处不再赘述。
[0101]
在一些示例中，提取单元240可以用于获取连续血管骨架和管径测量方向。在一些示例中，在增强单元230生成的增强血管分割图像后，可以提取增强血管分割图像中的血管骨架。血管骨架可以为血管的中线。在一些示例中，可以采用形态学细化算法对增强血管分割图像进行细化以提取血管骨架。在一些示例中，对增强血管分割图像进行血管骨架提取前可以对增强血管分割图像进行中值滤波运算。由此，能够去除血管骨架末端可能出现的分叉。在一些示例中，可以对血管骨架进行拟合以获取连续血管骨架。在一些示例中，可以使用最小二乘三次样条插值算法对血管骨架进行拟合。由此，能够获得连续血管骨架和拟合方程。在一些示例中，提取单元240可以用于获取测量像素点的管径测量方向。测量像素点可以为连续血管骨架上的多个像素点。在一些示例中，管径测量方向可以垂直于连续血管骨架在测量像素点的切线。具体内容可以参见步骤s240，此处不再赘述。
[0102]
在一些示例中，生成单元250可以用于生成血管轮廓。在一些示例中，可以基于增强单元s230获得的增强血管分割图像、提取单元240获得的测量像素点、提取单元240获得的测量像素点的管径测量方向和预设精度生成测量像素点对应的血管轮廓。在一些示例中，可以利用插值算法并基于增强血管分割图像、测量像素点、测量像素点的管径测量方向和预设精度，对增强血管分割图像进行插值操作以生成测量像素点对应的血管轮廓。由此，能够基于预设精度对增强血管分割图像进行插值操作。在一些示例中，插值算法可以为三次样条插值算法。由此，能够利用三次样条插值算法对增强血管分割图像进行插值操作。具体内容可以参见步骤s250，此处不再赘述。
[0103]
在一些示例中，在生成单元250中，预设精度可以为大于0且小于1的小数。由此，能够增加眼底图像中的血管的分辨率，进而能够提高后续对血管管径进行测量的测量准确度。在一些示例中，血管轮廓的宽度可以为最大血管管径的n倍，其中，n可以为2至5的整数。在一些示例中，各个测量像素点对应的血管轮廓按照测量像素点在连续血管骨架上的排列顺序可以以中心共直线的方式并排以形成拉直血管图像。具体内容可以参见步骤s250，此处不再赘述。
[0104]
在一些示例中，计算单元260可以用于计算血管管径。在一些示例中，可以基于测量像素点对应的血管轮廓中的血管像素点的个数、预设倍数和预设精度计算测量像素点对应的血管管径。在一些示例中，测量像素点对应的所述血管轮廓中的血管像素点的个数n可以通过以下公式计算：
[0105]
n＝card({p：p∈p，f(p)>t})，
[0106]
其中，p为测量像素点，f(p)为测量像素点p对应的像素值，t为预设的阈值参数，p为测量像素点p对应的血管轮廓中的像素点集合，card表示集合的基数。由此，能够计算测量像素点对应的血管轮廓中的血管像素点的个数。在一些示例中，t可以为0.9。由此，能够区分测量像素点对应的血管轮廓中的血管像素点和非血管像素点。在一些示例中，测量像素点对应的血管管径l可以为：
[0107]
l＝n
×
s/e，
[0108]
其中，n为测量像素点对应的血管轮廓中的血管像素点的个数，s为预设精度，e为预设倍数。由此，能够计算血管管径。具体内容可以参见步骤s260，此处不再赘述。
[0109]
在本公开中，通过对血管分割图像进行增强以生成增强血管分割图像，提取增强血管分割图像的血管骨架并进行拟合以获取连续血管骨架和管径测量方向，基于增强血管
分割图像、连续血管骨架上的测量像素点、测量像素点的管径测量方向和预设精度生成测量像素点对应的血管轮廓，通过测量像素点对应的血管轮廓中的血管像素点的个数、预设倍数和预设精度计算测量像素点对应的血管管径。在这种情况下，能够增加眼底图像中的血管的分辨率，进而可以利用更多的像素点对血管管径进行测量。由此，能够提高血管管径的测量准确度。
[0110]
虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。