图像处理的改进或与图像处理相关的改进的制作方法
【技术领域】
[0001]本发明涉及图像处理或与图像处理相关的改进，特别地，但不排他地，涉及一种用于配准视网膜图像等血管系统图像对或图像序列的方法和装置。
【背景技术】
[0002]成像系统，例如激光扫描眼底镜(SLO)，是公知的使用一个或多个数字图像传感器来捕获视网膜图像数据的系统。用于SLO的数字图像传感器通常是单个传感器，其中的光强度信号与扫描位置信号同步以便生成可以同步到2D图像的单个数据流。数字图像传感器可选地可以包括光敏感像元(像素)阵列，通过SLO或眼底照相机等其它视网膜成像设备生成的视网膜图像典型地为二维像素阵列并被称为数字视网膜图像。
[0003]源于像素阵列的强度值集合被称为图像数据。由像素阵列输出的“原始”图像数据可以经过各种后处理技术以便再现或用于由人观看或用于由机器处理的图像。视网膜图像的后处理技术包括用于图像分析和视网膜图像对或图像序列配准的各种统计方法。
[0004]视网膜图像对或图像序列配准通常关注一个或多个图像的缩放、旋转和相对于基本图像的平移以便对齐(“配准”)该图像与基本图像。配准的视网膜图像典型地叠加有基本视网膜图像，以方便图像之间的比较。
[0005]实现视网膜图像对或图像序列仿射配准的算法是已知的。这种算法可以涉及“血管系统跟踪”，其中涉及迭代搜索和决策树以映射和提取血管系统。特别是，这种方法通常搜索血管系统分支结点等特定的特性特征。尽管这种算法提供合理程度的配准精度，但是它们在计算上效率低下，即花费大量计算。此外，这种已知的算法只允许配准从普通成像模式获得的图像。也就是说，这种已知的算法不允许配准从不同的成像模式，例如反射模式或自发荧光模式获得的图像。
[0006]这种已知算法的实例可以在下列出版物中找到:US 2012/0195481A ；Can等人“用于配准弯曲的人类视网膜图像对的基于特征的鲁棒分层算法(A featurebased, Robust, Hierarchical Algorithm for Registering Pairs of Images of theCurved Human Retina) ”，IEEE模式分析与机器智能学报，第24卷，第3期(2002年3月)；Zana和Klein，“使用容器检测和霍夫变换的眼底图像多模态配准算法(A MultimodalRegistrat1n Algorithm of Eye Fundus Images Using Vessels Detect1n and HoughTransform)”，IEEE医学成像学报，第18卷，第5期(1999年5月);和Hu等人“来自频域光学相干断层扫描和眼底摄影的多模态视网膜血管分割(Multimodal Retinal VesselSegmentat1n From Spectral-Domain Optical Coherence Tomography and FundusPhotography) ”，IEEE医学成像学报，第31卷，第10期(2012年10月)。
[0007]EP 2064988 A(兴和株氏会社)提出了一种用于通过在匹配概率得分的基础上叠加两个或多于两个眼底图像来创建视网膜眼底“成像图”的设备和方法。匹配是在血管提取图像中识别的角点图像数据的基础上进行的。然而，发明人相信，EP' 988中提出的技术将无法在典型的视网膜图像中的血管系统中找到足够的角点特征以实现可靠的图像匹配和配准，特别是实现在不同的成像模式得到的图像之间的图像匹配和配准。视网膜图像承受非常多变的光照，并且在通过现代SLO生成的高分辨率视网膜图像中，血管的特征都是相对平滑边的特征。因此角点提取将不会产生用于匹配的大量候选点，如果不是这样的话，那就是被各种类型的噪声严重影响了。
【发明内容】
[0008]根据本发明的第一方面，提供一种数字血管图像的处理方法，包括以下步骤:
[0009]提供第一和第二数字血管图像数据；
[0010]采用二维方向滤波器处理所述第一和第二图像数据以达到生成正交相邻图像数据点簇的效果，其中，每个正交相邻图像数据点之间的强度梯度的幅值小于预定值；
[0011]识别第一和第二图像数据中的每个图像数据中的簇，其中一个或多个相邻的簇之间的强度梯度的幅值大于预定值；
[0012]识别第一和第二图像数据之间的共有簇，其中一个或多个相邻的簇之间的强度梯度的幅值大于预定值；且
[0013]配准所述第一和第二图像数据之间的所述共有簇。
[0014]数字血管图像可以是视网膜图像。数字血管图像可以包括视网膜的血管系统的细节。视网膜的血管系统包括视网膜中的血管、动脉和静脉。视网膜的血管系统包括视网膜的循环系统。
[0015]数字血管图像可以是人或动物的器官或身体部位的血管图像。数字血管图像可以包括器官或身体部位的血管系统的细节。器官或身体部位的血管系统包括器官或身体部位中的血管、动脉和静脉。器官或身体部位的血管系统包括器官或身体部位的循环系统。
[0016]所述第一和第二数字血管图像数据可以包括用于生成图像数据的一个或多个像素的入射照明强度。所述第一和第二图像可以通过不同的成像模式获得。
[0017]滤波器可以是匹配滤波器。滤波器可以具有与血管图像数据中的血管特征的形式或形状相匹配的形式或形状。
[0018]滤波器可以是高斯滤波器。滤波器可以是伽柏滤波器。
[0019]一个或多个滤波器可以是相同的滤波器或不同的滤波器。在不同的方向使用不同的二维滤波器核函数在血管系统对方向具有某种形状灵敏度的情况下可能有用。
[0020]核函数可以是匹配的核函数。核函数可以具有与血管图像数据的形式或形状相匹配的形式或形状。
[0021]正交相邻图像的数据点簇可以包括任何数目或配置的正交相邻图像数据，其中每个正交相邻图像数据点之间的强度梯度小于预定值。
[0022]识别在所述第一和第二图像数据中的每个图像数据中的簇且其中一个或多个相邻的簇之间的强度梯度的幅值高于预定值的步骤可以包括角点检测算法的使用。角点检测算法可以用于识别所述第一和第二图像数据中的每个图像数据中的簇且其中一个或多个相邻的簇之间的强度梯度的幅值高于预定值。角点检测算法可以用于识别所述第一和第二图像数据中的每个图像数据中的簇且其中在两个正交方向上的一个或多个相邻的簇之间的强度梯度的幅值同时高于预定值。即，角点检测算法可以寻找在两个正交方向上同时出现高于预定阈值的强度梯度上的变化。该预定值可以是，例如介于可能的最大梯度值的10%和50%之间。
[0023]角点检测算法可以是哈里斯角点检测算法。角点检测算法可以是莫拉维克角点检测算法或Sh1-Thomas角点检测算法。
[0024]识别其中一个或多个相邻簇之间的强度梯度的幅值高于预定值的第一和第二图像数据之间的共有簇的步骤可以包括互相关卷积后的所述第一和第二图像数据。
[0025]识别其中一个或多个相邻簇之间的强度梯度的幅值高于预定值的所述第一和第二图像数据之间的共有簇的步骤可以包括互相关在所述第一和第二图像数据中识别的簇。
[0026]识别其中一个或多个相邻簇之间的强度梯度的幅值高于预定值的所述第一和第二图像数据之间的共有簇的步骤可以包括卷积后的第一和第二图像数据的多个互相关。对于卷积后的所述第一和第二图像数据的多个互相关，每个相继的互相关可以根据上一个互相关递增旋转。多个互相关可以通过约40度或大于40度旋转。多个互相关可以以大约20度或大于20度的步长通过围绕实质上位于视网膜视盘点周围的枢转点旋转。
[0027]互相关卷积后的所述第一和第二图像数据的步骤可以包括确定在所述第一和第二图像数据中的每个图像数据中识别的共有簇之间在位置上的差异的另外的步骤。簇的位置可以包括簇的角度位置和/或其平移位置。所述第一和第二图像数据中的每个图像数据中识别的共有簇之间在位置上的差异可以被称为平移参数。
[0028]配准所述第一和第二图像数据之间的共有簇的步骤使用所确定的平移参数来对齐所述第一和第二图像数据。所述第二图像数据可以被配准到所述第一图像数据或所述第一图像数据可以被配准到所述第二图像数据。配准的图像数据可以叠加。
[0029]该方法可以包括减小第一和/或第二数字血管图像数据的大小的附加的初始步骤。这可以包括删除图像数据的一个或多个部分。减少所述第一和/或第二数字血管图像数据的大小的步骤可以包括对图像数据进行滤波、平滑、采样或子采样的步骤。对图像数据进行滤波、平滑、采样或子采样的步骤可以重复任意次。
[0030]该方法可包括下采样所述第一和/或第二数字血管图像数据的附加的初始步骤。下采样所述第一和/或第二数字血管图像数据的步骤可以包括一个或多个图像数据的缩放计算。下采样所述第一和/或第二数字血管图像数据的步骤可以包括一个或多个图像数据的金字塔缩放计算。
[0031]该方法可以包括增加所述第一和/或第二数字血管图像数据的血管系统和背景之间的对比度的附加的初始步骤。该方法可以包括优化所述第一和/或第二数字血管图像数据的血管系统和背景之间的对比度的附加的初始步骤。优化所述第一和/或第二数字血管图像数据的血管系统和背