一种基于迁移学习的血管图像中特征点的分类识别方法与流程

本发明涉及迁移学习与图像处理的技术领域，具体涉及一种基于迁移学习的血管图像中特征点的分类识别方法。

背景技术

医学图像处理是随着计算机技术的发展和成熟以及临床诊断技术的进步而迅速发展起来的一门新兴学科与技术，如今医学图像处理技术在临床上的应用越来越广泛。同时，由于全球财富日益增长和老龄化，所有影响血管网络的全身性疾病变得越来越普遍，如年龄相关性黄斑变性、糖尿病性视网膜病变、青光眼、高血压，动脉硬化和多发性硬化糖等。而眼底图像常用于诊断这些病理,血管系统在分叉和交叉处的几何特性，如交叉角度、血管宽度、分叉不对称性和分支角度的改变等都是不健康血管的指标，究其原因是由于几种疾病如视网膜分支静脉阻塞，糖尿病性视网膜病变和阿尔茨海默病导致的。在这些情况下，分叉点和交叉点(一起被称为特征点)都是衡量血管系统健康的关键的标志。因为疾病会导致分叉和交叉点形状的改变，而如果要使用交叉点的诊断信息，那么首先要识别并分类它们。研究分叉交叉点的识别和分类在临床医学上有很大的意义，因为它可以展示由于年龄或者疾病导致的形态变异。同时分支交叉等特征点是预测心血管疾病、图像分析、图像拼接和生物学应用(例如基于视网膜血管的身份识别)的重要特征点。所构成的网点结构，可以预报和诊断诸如血管阻塞、高血压和糖尿病等疾病的发生及其程度。而对于血管分级领域，由于分级的依据是分叉的级数，所以分支分叉点的检测和分类是对于分级来讲是至关重要的。因此，对血管图像中特征点的识别和分类在临床诊疗中越来越被重视，血管的检查对这些疾病的早期识别和预防至关重要。

在图像配准方面，分叉点和交叉点作为特征向量用来匹配相应的图像。图像配准是指依据一些相似性度量决定图像间的变换参数,使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像,变换到同一坐标系下,在像素层上得到最佳匹配的过程。它是图像融合、目标识别、目标变化检测、计算机视觉等问题中的一个重要前期步骤,在军事、遥感、医学等领域有着广泛地应用。其中用于配准的关键特征点之一就是分叉交叉点，将分叉交叉点构成的网络进行匹配是图像配准的一个关键步骤。所以，特征点的提取在图像配准方面亦是非常重要的操作。

当今，临床上进行血管图像中特征点的识别主要基于骨架，基于骨架的方法的缺点是它们对血管分割不准确性非常敏感。因为骨架获取过程的产生的错误将直接导致特征点检测出错。过去，基于骨架的操作先是对图像二值化和细化处理，然后通过对整幅图像进行扫描搜索目标像素的连接数，如果连接数为3或者4时即为节点。当连接数为3时为分叉点，连接数为4时为交叉点。这些方法不仅对噪声和血管宽度的轻微波动比较敏感，而且往往在同一个节点位置检测出过多的伪节点，并且当交叉角为钝角即两个血管相交部分重叠比较多时，很容易将一个交叉点判定为两个分叉点，因此，过去对特征点识别及分类的方法存在步骤繁杂、准确性和效率低的问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于迁移学习的血管图像中特征点的分类识别方法，该方法通过制作特征点数据集，并利用特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型，利用分类模型能准确快速的识别血管图像中特征点是分叉点还是交叉点。

为实现上述发明目的，本发明一种基于迁移学习的血管图像中特征点的分类识别方法，包括血管图像的模型训练和血管图像的特征点类型识别两部分，具体为：

血管图像模型训练：

(1)提取血管图像的特征点，并制作特征点数据集，所述特征点数据集包括分叉点数据集和交叉点数据集；

(2)基于迁移学习，利用所述特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型；

血管图像中特征点的类型识别：

(3)提取血管图像的特征点，将提取的特征点输入到血管图像模型训练中得到的基于迁移学习的血管图像中特征点的分类模型，获得血管图像中特征点的类型。

本发明有益效果：

本发明是一种基于迁移学习的血管图像中特征点的分类识别方法，该方法通过制作包括分叉点数据集和交叉点的数据集的特征点数据集，并利用特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型。由于缺少足够多的数据来完成训练，在这种情况下通过迁移学习来实现分类模型本身的泛化能力以及减少由于数据量太少造成的过拟合现象。由于训练时，迁移学习会对所有属于分叉点和交叉点的数据集进行特征学习，进而当输入一张血管图像后，利用所述分类模型便能很快的识别出特征点是分叉点还是交叉点，极大的提高了分叉点和交叉点的识别准确率和效率，直接采用迁移学习提取特征来进行识别，简化了处理步骤，避免了将一个交叉点错当成两个分叉点的情况，并且本发明效果稳定可靠，解决了现有方法存在的步骤繁杂、准确性和效率低的问题，对临床医学有莫大的帮助作用。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤(1)具体包括如下步骤：

(11)利用基于hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；

(12)利用训练好的fcn全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割；

(13)利用zhang-suen细化算法对分割后的血管图像进行血管细化；

(14)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；

(15)将步骤(12)分割出来的血管图像的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像；

(16)将截取的各特征点按照分叉点数据集和交叉点数据集进行人工分类，以此制作特征点数据集。

采用上述进一步方案的有益效果是：解决由于拍摄条件和拍摄工具导致的图像不清晰的问题，同时使用fcn全卷积网络可以得到更精细化的血管分割图像，更便于下一步的血管细化操作，使用卷积方法则可以更快速和更精确的得到特征点的位置，同时将各特征点按照分叉点数据集和交叉点数据集进行人工分类，制作特征点数据集，以便利用特征点数据集对深度学习模型进行训练。

进一步，所述步骤(11)的血管增强预处理后进一步包括，利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。

采用上述进一步方案的有益效果是：用于解决血管反射造成的血管中心线上的像素值太高的问题，避免了将一条血管误以为是两条平行血管，从而提高了识别率。

进一步，所述步骤(11)的血管增强预处理前还包括：若所述血管图像为彩色图像，则对所述彩色血管图像样本血管图像进行灰度处理。

采用上述进一步方案的有益效果是：统一图像格式，将三通道的彩色图灰度化处理成单通道的灰度图，便于下一步的血管分割操作。

进一步，所述步骤(14)进一步包括：使用拓扑分类法计算所有特征点的两两之间的欧式距离，若满足下面条件的两个特征点，则将两个特征点合并成一个特征点：

(1)两点之间必须连接；

(2)两点之间的距离小于预设值。

采用上述进一步方案的有益效果是：解决血管太粗或者两条血管重叠部分太多导致的将一个交叉点错分为两个分叉点的情况，提高了识别率。

进一步，所述步骤(2)具体包括如下步骤：

(21)裁剪深度学习模型inception-v3：以单层神经网络代替深度学习模型inception-v3的全连接层，并进行初始化网络；

(22)输入特征点数据集；

(23)通过裁剪掉全连接层后的深度学习模型inception-v3计算特征点数据集中各特征点图像对应的维度为(1,2048)的特征向量；

(24)将得到的各特征向量作为单层神经网络的输入神经元，并利用梯度下降优化器进行参数训练优化，获得基于迁移学习的血管图像中特征点的分类模型。

采用上述进一步方案的有益效果是：利用深度学习模型提取特征然后进行识别，简化了处理步骤，避免了传统方法存在的将一个交叉点错当成两个分叉点的情况，并且效果稳定可靠，解决了步骤繁杂、准确性和效率低的问题。

进一步，所述血管图像中特征点的类型识别：

(3)提取血管图像的特征点，将提取的特征点输入到血管图像训练中得到的基于迁移学习的血管特征点分类模型，获得血管图像中特征点的类型，其具体包括如下步骤：

(31)利用基于hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；

(32)利用训练好的fcn全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割；

(33)利用zhang-suen细化算法对分割后的血管图像进行血管细化；

(34)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；

(35)将步骤(32)分割出来的血管图像的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像。

采用上述进一步方案的有益效果是：解决由于拍摄条件和拍摄工具导致的图像不清晰的问题，同时使用fcn全卷积网络可以得到更精细化的血管分割图像，更便于下一步的血管细化操作，使用卷积方法则可以更快速和更精确的得到特征点的位置。

进一步，所述步骤(31)的血管增强预处理后进一步包括，利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。

采用上述进一步方案的有益效果是：用于解决血管反射造成的血管中心线上的像素值太高的问题，避免了将一条血管误以为是两条平行血管，从而提高了识别率。

进一步，所述步骤(31)的血管增强预处理前还包括：若所述血管图像为彩色图像，则对所述彩色血管图像样本血管图像进行灰度处理。

采用上述进一步方案的有益效果是：统一图像格式，将三通道的彩色图灰度化处理成单通道的灰度图，便于下一步的血管分割操作。

进一步，所述步骤(34)进一步包括：使用拓扑分类法计算所有特征点的两两之间的欧式距离，若满足下面条件的两个特征点，则将两个特征点合并成一个特征点：

(1)两点之间必须连接；

(2)两点之间的距离小于预设值。

采用上述进一步方案的有益效果是：解决血管太粗或者两条血管重叠部分太多导致的将一个交叉点错分为两个分叉点的情况，提高了识别率。

附图说明

图1是本发明提出的基于迁移学习的血管图像中特征点的分类识别方法流程图；

图2是本发明提出的制作特征点数据集的方法流程图；

图3是本发明血管反射现象展示图；

图4是本发明将一个交叉点错分成两个分叉点现象展示图；

图5是本发明制作的特征点数据集对深度学习模型进行训练的流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

如图1所示，针对现有方法中血管特征点的识别过程繁杂、效率和准确率低的问题，本发明提出了一种基于迁移学习的血管图像中特征点的分类识别方法，包括血管图像的模型训练和血管图像中特征点的类型识别两部分，具体为：

血管图像的模型训练：

(1)选用血管图像，并提取血管图像的特征点，制作特征点数据集，所述特征点数据集包括分叉点数据集和交叉点数据集；

如图2所示，本步骤中，制作特征点数据集包括如下步骤：

(11)利用基于hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；由于hessian矩阵特征值能够很好地描述常见的几何形状的信息，不同几何形状特征值特征不同，所以本发明利用基于hessian矩阵的多尺度滤波方法对血管图像进行增强预处理。

这里如果输入的血管图像是彩色血管图像，则首先进行灰度处理操作，若输入的图像是造影图像，则不用进行灰度处理操作，灰度处理即如果输入的图像是一张彩色图像，则将图像处理成黑白图像，其中灰度值的范围为0～255，表示亮度从深到浅，颜色从黑到白。然后进行预处理，即图像增强。

如图3所示，为血管反射现象示意图，当出现反射现象时，血管中心线上的像素值太高，很容易引起将一条血管误以为是两条平行血管的问题，可先在血管分割前对此反射现象进行血管扩张(填充)填充，再做血管分割操作。本发明利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。

(12)利用训练好的fcn全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割。其中，训练模型使用的数据集为公开数据集，利用公开数据集对fcn全卷积神经网络进行训练得到最优血管分割模型的训练过程为：

使用vgg16网络初始化参数，得到pool池化层1、pool池化层2、pool池化层3、pool池化层4和pool池化层5，将数据集中的图像经过卷积和5次pooling池化以后，每层血管图像的分辨率依次为原来的1/2、1/4、1/8、1/16和1/32倍；

利用fcn全卷积神经网络对每层缩小后的血管图像进行上采样，具体包括：对于为原来血管图像的1/32倍的输出血管图像，通过反卷积，进行32倍的上采样，得到fcn-32s的结果；

将为原来血管血管图像的1/32倍的输出图像放大2倍，然后与为原来血管图像的1/16倍的输出血管图像相加，最后再进行16倍的上采样，得到fcn-16s的结果；

依次类推，得到fcn-8s，fcn-4s，fcn-2s的结果；

对每层得到的结果进行损失函数计算，然后将损失函数相加，得到误差函数，再进行反向传播，调节参数，得到最优血管分割模型。

(13)利用zhang-suen细化算法对分割后的血管图像进行血管细化；

(14)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；具体过程为：

对所有像素点进行卷积操作，卷积核的值分别为2⁰，2¹…2⁸共9个值，然后进行计算九宫格中每个像素值和卷积核的值的乘积，最后进行求和，如果结果等于{424、394、298、418、297、402、325、340、337、277、330、420、329、404、293、338、426、341}集合中的任何一个值，则判断此像素点为特征点，以此获取所有特征点的位置。

如图4所示，由于血管太粗或者血管交叉角度太小导致两条血管重叠部分较多，血管细化操作之后将会导致将一个交叉点错分为两个分叉点的情况，使用拓扑分类对所有的特征点两两进行计算欧式距离，然后对满足下面两个条件的点对进行合二为一：

1.两点之间必须连接；

2.两点之间的距离小于预设值；

其中，预设值的取值为在实验中获得，本发明的结果是预设值为40时最佳。

(15)将步骤(12)分割出来的血管图像样本的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像。本步骤中，二维矩阵可以为30*30的二维矩阵，则最后得到包含各特征点的图像为30像素*30像素大小的图像。

(16)将包含特征点的图像按照分叉点数据集和交叉点数据集进行人工分类，以此制作特征点数据集。本步骤中，可从1000张血管图像中截取以特征点为中心，30像素*30像素的包含特征点的图像(每张图像约截取58张分叉点图像和10张交叉点图像)，将获取到的图像进行人工分类，将所有包含分叉点的图像放入分叉点数据集中，将所有包含交叉点的图像放入交叉点数据集中。

(2)基于迁移学习，利用所述特征点数据集对深度学习模型进行训练，获得基于迁移学习的血管图像中特征点的分类模型；如图5所示，具体包括如下步骤：

(21)裁剪深度学习模型inception-v3：以单层神经网络代替深度学习模型inception-v3的全连接层，并进行初始化网络；

(22)输入特征点数据集；

(23)通过裁剪掉全连接层后的深度学习模型inception-v3计算特征点数据集中各特征点图像对应的维度为(1,2048)的特征向量；

(24)将得到的各特征向量作为单层神经网络的输入神经元，并利用梯度下降优化器进行参数训练优化，获得基于迁移学习的血管图像中特征点的分类模型。在整个模型的训练过程中，我们将已经训练好的inceptionv3模型参数迁移到本发明的模型中来帮助训练，这与传统的随机初始化向量，并且从第一层开始训练深度学习网络相比，缩短了训练时间，并且效果会更好，同时可以减少过拟合现象。

血管图像中特征点的类型识别：

(3)提取血管图像的特征点，将提取的特征点输入到血管图像训练中得到的基于迁移学习的血管图像中特征点的分类模型，获得血管图像中特征点的类型。

本步骤中，提取血管图像的特征点具体包括如下步骤：

(31)利用基于hessian矩阵的多尺度滤波方法对血管图像进行血管增强预处理；由于hessian矩阵特征值能够很好地描述常见的几何形状的信息，不同几何形状特征值特征不同，所以本发明利用基于hessian矩阵的多尺度滤波方法对血管图像进行增强预处理。

这里如果输入的血管图像是彩色血管图像，则首先进行灰度处理操作，若输入的图像是造影图像，则不用进行灰度处理操作，灰度处理即如果输入的图像是一张彩色图像，则将图像处理成黑白图像，其中灰度值的范围为0～255，表示亮度从深到浅，颜色从黑到白。然后进行预处理，即图像增强。

如图3所示，为血管反射现象示意图，当出现反射现象时，血管中心线上的像素值太高，很容易引起将一条血管误以为是两条平行血管的问题，可先在血管分割前对此反射现象进行血管扩张(填充)填充，再做血管分割操作。本发明利用中值滤波器对增强预处理后的血管图像进行血管填充预处理。

(32)利用训练好的fcn全卷积神经网络得到的最优血管分割模型对预处理后的血管图像进行血管分割；

(33)利用zhang-suen细化算法对分割后的血管图像进行血管细化；

(34)使用卷积方法对血管细化后的血管图像中的所有像素点进行卷积操作，获得各特征点的位置，并将各特征点的位置信息存入二维矩阵中；具体过程为：

对所有像素点进行卷积操作，卷积核的值分别为2⁰，2¹…2⁸共9个值，然后进行计算九宫格中每个像素值和卷积核的值的乘积，最后进行求和，如果结果等于{424、394、298、418、297、402、325、340、337、277、330、420、329、404、293、338、426、341}集合中的任何一个值，则判断此像素点为特征点，以此获取所有特征点的位置。

如图4所示，由于血管太粗或者血管交叉角度太小导致两条血管重叠部分较多，血管细化操作之后将会导致将一个交叉点错分为两个分叉点的情况，使用拓扑分类对所有的特征点两两进行计算欧式距离，然后对满足下面两个条件的点对进行合二为一：

1.两点之间必须连接；

2.两点之间的距离小于预设值；

其中，预设值的取值为在实验中获得，本发明的结果是预设值为40时最佳。

(35)将步骤(32)分割出来的血管图像样本的像素值存入二维矩阵中，分别以所述各特征点的位置为中心截取周围的像素值，分别得到包含特征点的图像。本步骤中，二维矩阵可以为30*30的二维矩阵，则最后得到包含各特征点的图像为30像素*30像素大小的图像。

本发明是一种基于迁移学习的血管图像中特征点的分类识别方法，该方法通过包括分叉点数据集和交叉点的数据集的特征点数据集进行迁移学习，获得分类模型，由于缺少足够多的数据来完成训练，在这种情况下通过迁移学习来实现分类模型本身的泛化能力以及减少由于数据量太少造成的过拟合现象。由于训练时，迁移学习会对所有属于分叉点和交叉点的数据集进行特征学习，进而当输入一张血管测试图像后，利用所述分类模型便能很快的识别出特征点是分叉点还是交叉点，极大的提高了分叉点和交叉点的识别准确率和效率，采用直接使用迁移学习提取特征进行识别，简化了处理步骤，避免了将一个交叉点错当成两个分叉点的情况，并且本发明效果稳定可靠，解决了现有方法存在的步骤繁杂、准确性和效率低的问题，对临床医学有莫大的帮助作用。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。