基于角点匹配的医学图像分类方法与流程

本发明属于医疗健康数据挖掘领域，具体涉及一种基于角点匹配的医学图像分类方法。

背景技术：

医学图像能很好地展示人体器官的空间结构，同时能较为清楚地显示病人身体的病变信息，为医生的诊断提供可靠依据。医学影像技术的成熟发展促进了医学图像数据的急速增长，这也促使一些存储医学图像的系统的出现，例如，影像归档和通信系统(Picture Archiving and Communication Systems,PACS)、医学数字成像和通信(Digital Imaging and Communications in Medicine,DICOM)等。这些系统中保存大量的患者信息、患者病情的发展信息以及医生对患者做出的一系列珍贵的诊断等。通过找到系统中与患者图像相似的医学图像、发现和患者患有相同或相似病理情况的病人，然后通过以往医生对以往此类病人做出的决策结果，来评估此患者的病情，为医生诊断提供参考意见，辅助医生进行诊断。因此，基于医学图像的数据挖掘技术，尤其是医学图像的分类，已经成为医疗健康大数据的一个热点研究。

目前已经存在一些针对医学图像的分类方法。Nanthagopal等人提取二级小波纹理图像的6个特征，利用SVM对脑部CT图像进行分类，将其分为良性和恶性两类。荣晶施等人提出一种基于对称性理论的脑部图像三阶段分类算法。此方法根据脑中垂线将图像分为左、右脑半球，首先依据左、右脑半球的灰度直方图差异将脑部图像分为正常图像和异常图像；若是异常图像，根据医学图像固有的不确定性对左、右脑半球的纹理图像进行匹配，判断出图像是左侧或者右侧异常；接着，将分其分为良性或恶性图像。

以上方法均是对医学图像进行纹理化，接着提取纹理图像的特征，根据纹理图像的特征对医学图像进行分类。纹理图像提取了灰度图像的重要特征，但其仍包含很多非关键的、冗余信息。为此WuPing等人提出基于角点的KAP有向图模型，并根据KAP图的匹配对医学图像进行分类。此方法的思想如下：给定待分类的医学图像和带标签的医学图像集(图像标签为正常或者异常)，首先对每幅图像提取角点；然后根据角点和其它角点的空间关系，对每幅图像建立KAP有向图，其中每个顶点具有一个重要性值和可移动范围，得到一个待匹配图和模板图集；接着提出基于KAP的粗粒度和细粒度顶点匹配方法：在粗粒度匹配时，将待匹配图和每个模板图进行顶点匹配，若匹配图中的顶点在模板图的顶点的可移动范围内，则此对顶点对为匹配顶点对，从而得到待匹配图和每个模板图的一个匹配顶点对序列，接着根据此匹配顶点对序列进行细粒度匹配；最后对每一个匹配顶点对序列中属于模板图的顶点集的重要性求和作为两个图的相似值，找出和待分类图相似的前t个图，统计这t个图对 应的图像的标号，利用多数服从少数的投票决策方法将带分类图像分为正常或异常图像。此方法存在如下不足：(1)效率低。粗粒度匹配仅用到角点的可移动范围性质，而没有用到角点和其他角点的空间关系，因此这个过程中KAP图的建立增加了算法的执行时间和复杂性。(2)丢失部分重要的匹配顶点对。这是由于当粗粒度匹配过程中，若顶点对出现一对多的情况，此方法采用的最近顶点分配策略导致部分重要匹配顶点对的丢失。(3)待分类图和模板图的相似度只考虑匹配顶点对，而忽视了两幅图像中未匹配的顶点。

为此，本发明提出一种基于角点最大匹配序列的医学图像分类方法。此方法通过以下策略解决了基于KAP有向图模型的医学图像分类方法的不足：

(1)本发明给出一个基于角点最大匹配的医学图像分类方法。

(2)本发明给出了一对一最大匹配角点对序列的定义。

(3)本发明将在一对多的匹配角点对序列中求解一对一的最大匹配角点对序列的问题转化为求二分图最大匹配的问题，并用匈牙利方法求解这一问题，避免了部分匹配角点对的丢失。

(4)本发明给出一个基于公共K近邻匹配角点对序列的医学图像的相似值的计算公式，此公式既考虑了匹配角点对序列，也考虑了未匹配上的角点。

技术实现要素：

本发明的目的是提出一个有效提高结果的准确度的基于角点匹配的医学图像分类方法。

本发明的目的是这样实现的：

本发明包括如下步骤：

(1)待分类的医学图像I提出分类请求：针对已存在的带标签的k个医学图像对应的角点序列集D＝{(L_i,C_i)|i∈{1,…,k}}，I请求给出类标号，其中L_i为医学图像I_i的类标签，C_i＝{(xj_Ci,yj_Ci,rj_Ci)|j_Ci∈{1,…,m_Ci}为角点的标号为第I_i的角点序列，xj_Ci,yj_Ci和rj_Ci分别为C_i中第j_Ci个角点的横坐标、列坐标及其重要性值；

(2)提取I的角点序列C：对I进行预处理得到归一化后的图像；对图像进行分级纹理提取，进行角点提取，得到I的角点序列C＝{(x_j,y_j,r_j)|j∈{1,…,n}}；

(3)初始匹配角点对序列集D_S的计算：将C与C_i的角点进行匹配，得到初始匹配角点对序列S_i＝{[pj_S,qj_Si]|pj_S∈C,qj_Si∈C_i}，从而得到D_S＝{(L_i,S_i)|i∈{1,…,k}}；

(4)最大匹配角点对序列集D_M的计算：初始匹配角点对序列S_i中存在一对多的匹配角点对，给出一对一的最大匹配角点对序列的定义；将在一对多的匹配角点对序列中求解一对一的最大匹配角点对序列的问题转为求二分图中最大匹配的问题；利用匈牙利算法求解二分图最大匹配问题，得到的结果为一对一的最大匹配角点对序列M_i＝{[pj_M,qj_Mi]|pj_M∈C,qj_Mi∈C_i}， 从而得到D_M＝{(L_i,M_i)|i∈{1,…,k}}；

(5)公共K近邻匹配角点对序列集D_T的计算：根据M_i中匹配角点对的空间K近邻角点的分布，找到并去除所有异常匹配角点对，得到公共K近邻匹配角点对序列T_i，进而得到D_T＝{(L_i,T_i)|i∈{1,…,k}}；

(6)计算和I最相似的t幅医学图像：给出两幅医学图像的相似值的计算公式SIM_i，计算I与每幅图像的相似值，从而得到和I最相似的t幅图像；

(7)根据投票机制输出I的类标签：根据t幅图像的标签对所有类标签{L₁,…,L_k}进行投票，得票个数最多的类标签为I的标签。

所述的一对一的最大匹配角点对序列为：给定一个存在一对多的匹配角点对序列S_i＝{[p1_S,q1_Si],…,[pj_S,qj_Si],…}，如果{M₁,…,M_i,…}是S_i对应的一对一的匹配角点对序列集合，那么其对应的一对一的最大匹配角点对序列M_i＝{[p1_M,q1_Mi],…,[pj_M,qj_Mi],…}满足如下条件：(1)pj_M和qj_Mi在M_i中均只能出现一次；(2)M_i中的所有匹配角点对的距离之和是所有一对一匹配角点对序列中最小的；(3)M_i中匹配角点对的个数是最多的。

所述的将在一对多的匹配角点对序列中求解一对一的最大匹配角点对序列的问题转为二分图中求最大匹配的问题的具体过程为：给定一个存在一对多的匹配角点对序列S_i＝{[p1_S,q1_Si],…,[pj_S,qj_Si],…}，首先将每个角点pj_S建立为顶点vj_S∈V1，每个角点qj_Si建立为一个顶点vj_Si∈V2，从而得到顶点集V＝V1∪V2；其次，将每个角点对[pj_S,qj_Si]对应的顶点对之间建立边(vj_S,vj_Si)，从而得到边集E；将每个角点对[pj_S,qj_Si]之间的距离作为边(vj_S,vj_Si)上的属性e_j，得到属性集W_E；最后，得到一个二分图Gi＝(V，E，W_E)。

所述的相似值计算公式表示医学图像I与I_i之间的相似值；其中，

本发明的有益效果在于：

本发明提出了一对一的最大匹配角点对序列的定义，给出了将一对多的匹配角点对序列中求解一对一的最大匹配角点对序列问题转化为求二分图最大匹配的问题并利用匈牙利算法进行求解；其次本发明给出一个基于公共K近邻角点对序列的医学图像的相似值的计算公式，此公式既考虑了匹配角点对序列，也考虑了未匹配上的角点，提高了角点匹配的准确度。本发明能够有效地提高分类结果的准确度。

附图说明

图1是基于角点最大匹配的医学图像分类方法的流程图；

图2是医学图像I的预处理实例；

图3是一个建立的二分图实例；

图4是一个一对一的最大匹配角点对序列实例。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明属于医疗健康数据领域，具体涉及一种基于医学领域知识和角点匹配的医学图像分类方法。本发明包括待分类的医学图像I提出分类请求：针对带标签的k个医学图像对应的角点序列集D＝{(L_i,C_i)|i∈{1,…,k}}，原始医学图像I请求给出类标号；提取I的角点序列C；初始匹配角点对序列集D_S的计算；最大匹配角点对序列集D_M的计算；公共K近邻匹配角点对序列集D_T的计算；计算和I最相似的t幅医学图像；根据投票机制输出I的类标签。本发明给出了一对一最大匹配角点对序列的定义，并给出了将在一对多的匹配角点对序列中求解一对一的最大匹配角点对序列的问题转化为求二分图最大匹配的问题，并用匈牙利算法进行求解；接着给出一个基于公共K近邻角点对序列的医学图像的相似值的计算公式，此公式既考虑了匹配角点序列，也考虑了未匹配上的角点。本发明能够有效地提交分类结果的准确度。

本发明包括如下步骤：

(1)待分类的医学图像I提出分类请求：针对已存在的带标签的k个医学图像对应的角点序列集D＝{(L_i,C_i)|i∈{1,…,k}}，原始医学图像I请求给出类标号。其中L_i为医学图像I_i的类标签，C_i＝{(xj_Ci,yj_Ci,rj_Ci)|j_Ci∈{1,…,m_Ci}为角点的标号}为I_i的角点序列，xj_Ci,yj_Ci和rj_Ci分别为C_i中第j_Ci个角点的横坐标、列坐标及其重要性值。rj_Ci∈[0,1]被赋值为此角点在纹理图像中的像素灰度值，它表明灰度值越大的角点越重要。

(2)提取I的角点序列C：首先，对I进行预处理得到归一化后的图像，具体包括：提取I的外轮廓，旋转至垂直方向，按外轮廓的外接矩阵裁剪图像并归一化到统一大小。其次，对图像进行分级纹理提取，得到纹理图像。接着，利用Harris对纹理图像进行角点提取，得到I的角点序列C＝{(x_j,y_j,r_j)|j∈{1,…,n}}。

(3)初始匹配角点对序列集D_S的计算：将C与C_i的角点进行匹配，得到初始匹配角点对序列S_i＝{[pj_S,qj_Si]|pj_S∈C,qj_Si∈C_i}，从而得到D_S＝{(L_i,S_i)|i∈{1,…,k}}。

(4)最大匹配角点对序列集D_M的计算：S_i中存在一对多的匹配角点对，为此，本发明首先给出一对一的最大匹配角点对序列的定义；其次，将在一对多的匹配角点对序列中求解一对一的最大匹配角点对序列的问题转为二分图最大匹配的问题；最后，利用匈牙利算法求解二分图的最大匹配，得到一对一的最大匹配角点对序列M_i＝{[pj_M,qj_Mi]|pj_M∈C,qj_Mi∈C_i}，从而得到D_M＝{(L_i,M_i)|i∈{1,…,k}}。

(5)公共K近邻匹配角点对序列集D_T的计算：根据M_i中匹配角点对的空间K近邻角点的分布，找到并去除所有异常匹配角点对，得到公共K近邻匹配角点对序列T_i，进而得到D_T＝{(L_i,T_i)|i∈{1,…,k}}。

(6)计算和I最相似的t幅医学图像：首先，给出两幅医学图像的相似值的计算公式SIM_i，其次，计算I与每幅图像的相似值，从而得到和I最相似的t幅图像。

(7)根据投票机制输出I的类标签：根据t幅图像的标签对所有类标签{L₁,…,L_k}进行投票，得票个数最多的类标签为I的标签。

所述的匹配角点对的定义为：给定两个角点p1＝(x1，y1，r1)和p2＝(x1，y1，r1)，若存在(x1-x2)²+(y1-y2)²≤(1/r1+1/r2)²，则称p1和p2是匹配角点对，记为[p1,p2]。

所述的一对一的最大匹配角点对序列的定义为：给定一个存在一对多的匹配角点对序列S_i＝{[p1_S,q1_Si],…,[pj_S,qj_Si],…}，其对应的一对一的最大匹配角点对序列M_i＝{[p1_M,q1_Mi],…,[pj_M,qj_Mi],…}满足如下条件：(1)pj_M和qj_Mi在M_i中都只能出现一次；(2)M_i中的所有匹配角点对的距离之和是最小的；(3)M_i中匹配角点对的个数是最多的。

所述的将在一对多的匹配角点对序列中求解一对一的最大匹配角点对序列的问题转为二分图最大匹配的问题的具体过程为：给定一个存在一对多的匹配角点对的序列S_i＝{[p1_S,q1_Si],…,[pj_S,qj_Si],…}，首先将每个角点pj_S建立为一个顶点vj_S∈V1，每个角点qj_Si建立为一个顶点vj_Si∈V2，从而得到顶点集V＝V1∪V2；其次，将每个角点对[pj_S,qj_Si]对应的顶点对之间建立边(vj_S,vj_Si)，从而得到边集E；将[pj_S,qj_Si]之间的距离作为(vj_S,vj_Si)上的属性e_j，得到属性集W_E；最后，得到一个二分图G_i＝(V，E，W_E)。

所述的找到并去除所有异常匹配角点对的具体做法为：将M_i拆分为两个角点序列，对于其中一个角点序列，根据它的每个角点的K近邻角点，建立两个|M_i|维的方阵：入度矩阵MI₁和出度矩阵MO₁，若第i个角点是第j个角点的K近邻角点，则令MI₁[i,j]＝1且MO₁[j,i]＝1，否则令MI₁[i,j]＝0且MO₁[j,i]＝0。按照上述步骤对另一个角点序列建立方阵MI₂和MO₂。其次，建立差值矩阵ΔMI＝|MI₁-MI₂|和ΔMO＝|MO₁-MO₂|，它们表示匹配角点对的周围K近邻角点的分布差异。再次，根据差值矩阵去除异常匹配角点对。具体为：异常匹配角点对的K近邻角点差异通常较大，因此利用公式(1)找到异常匹配角点对的下标j^out，将[(xj^out_M,yj^out_M,rj^out_M),(xj^out_Mi,yj^out_Mi,rj^out_Mi)]从M_i中去除，得到新的匹配角点序列T_i。接着，令M_i＝T_i，重复上述过程，直到找不出j^out为止。

且

所述的相似值计算公式SIM_i表示待分类医学图像I与带标签的医学图像I_i之间的相似值，计算方法如公式(2)：

且

其中SD_j是第j个匹配角点对的匹配度，它表示两个角点距离越近它们越匹配；W_i是权重，表示两幅图像提取出来的初始角点个数越一样，其公共K近邻匹配角点序列越能表示它们的相似度，其中n是从I中提取的初始角点的个数，m_Ci是第i个医学图像中初始角点的个数。

下面以脑部CT图像为例，结合附图和具体实施例对本发明作进一步的说明：

(1)待分类的医学图像I提出分类请求：针对已存在的带标签的k个医学图像对应的角点序列集D＝{(L_i,C_i)|i∈{1,…,k}}，原始医学图像I，如图2(a)，请求给出类标号。

(2)提取I的角点序列C：首先，对I进行预处理得到归一化后的图像，预处理步骤主要包括：利用canny算子提取I的外轮廓，利用LiaoC.C.等在Computers in biology and medicine发表的论文Automatic recognition of midline shift on brain CT images中提出的方法矫正大脑角度至垂直方向，按外轮廓的外接矩阵裁剪图像并归一化到统一大小(285×260)，

得到归一化后的图像，如图2(b)。其次，按照HaiweiPan等在IEEE Journal of Biomedical and Health Informatics发表的论文Brain CT Image Similarity Retrieval Method Based on Uncertain Location Graph中提到的方法对图像进行分级纹理提取，得到纹理图像，如图2(c)。接着，利用Harris对纹理图像进行角点提取，得到I的角点序列C＝{(x_j,y_j,r_j)|j∈{1,…,n}}，提取的角点如图2(d)中的白色像素点。

(3)初始匹配角点对序列集D_S的计算：令对于C中每一个角点pj_C＝(xj_C,yj_C,rj_C)以及C_i中的每一个角点qj_Ci＝(xj_Ci,yj_Ci,rj_Ci)，如果存在(xj_C-xj_Ci)²+(yj_C-yj_Ci)²≤(1/rj_C+1/rj_Ci)²，则称pj_C和qj_Ci为匹配角点对，记为[pj_C,qj_Ci]，将[pj_C,qj_Ci]加入到初始匹配角点对序列S_i中，从而将(L_i,S_i)加入到D_S中。

(4)最大匹配角点对序列集D_M的计算：S_i中存在一对多的匹配角点对，为此，本发明首先将一对多的匹配角点对序列S_i进行建模，得到一个二分图，如图3显示的是一个二分图模型中的一部分，记为G_i＝(V，E，W_E)，其中V＝V1∪V2，V1＝{p₁,p₂,p₃,p₄,p₅,p₆,p₇}，V2＝{q₁,q₂,q₃,q₄,q₅,q₆}，E＝{(p₁,q₁),(p₂,q₃),(p₃,q₁),(p₃,q₃),(p₄,q₂),(p₄,q₅),(p₅,q₆),(p₆,q₄),(p₇,q₅),(p₇,q₆)}且W_E＝{e₁,e₂,e₃,e₄,e₅,e₆,e₇,e₈,e₉,e₁₀}；其次，利用匈牙利算法求解二分图最大匹配问题，得到一对一的最大匹配角点对序列M_i＝{[pj_M,qj_Mi]|pj_M∈C,qj_Mi∈C_i}，如图4，显示的是根据匈牙利算法对图3中的二分图求解最大匹配得到的结果，其中有边的匹配角点对集合为M_i＝{[p₁,q₁],[p₂,q₃],[p₄,q₂],[p₅,q₆],[p₆,q₄],[p₇,q₅]}；接着，将(L_i,M_i)加入到D_M。

(5)公共K近邻匹配角点对序列集D_T的计算：令K＝4，首先，将M_i拆分为两个角点 序列MC₁＝{p₁,p₂,p₄,p₅,p₆,p₇}和MC₂＝{q₁,q₃,q₂,q₆,q₄,q₅}。对于MC₁，根据它的每个角点4近邻角点，建立两个6-维的方阵MI₁和MI₂。若中第i个角点是第j个角点的4近邻角点，则令MI₁[i,j]＝1且MI₁[j,i]＝1，否则令MI₁[i,j]＝0且MI₁[j,i]＝0。按照上述步骤对角点序列MC₂建立MI₂和MO₂。其次，分别建立入度差值矩阵ΔMI＝|MI₁-MI₂|和出度差值矩阵ΔMO＝|MO₁-MO₂|，它们分别表示匹配角点对的周围4近邻角点的入度和出度分布差异。再次，根据入度和出度差值矩阵去除M_i中的异常匹配角点对，具体为：异常匹配角点对的4近邻角点差异通常较大，根据公式(1)计算M_i中最有可能是异常匹配角点对的下标j^out，从M_i中去除第j^out个匹配角点对，得到新的匹配角点序列T_i。接着，令M_i＝T_i，重复上述过程，直到找不出j^out为止，此时得到的T_i为公共4近邻匹配角点对序列，继而将(L_i,G_i)加入到D_T中。

(6)计算和I最相似的t幅医学图像：首先，根据公式(2)计算I和医学图像集中每个医学图像的相似值，得到{sim₁,…,sim_k}，从这k个相似值中找到前t个最大的相似值和对应的t幅医学图像。

(7)根据投票机制输出I的类标签：根据t幅图像的标签对所有类标签{L₁,…,L_k}进行投票，得票个数最多的类标签为I的标签。