一种组织切片图像与DAPI染色图像配准方法与流程

本发明涉及病理图像处理，特别涉及一种组织切片图像与dapi染色图像配准方法。

背景技术：

1、dapi是一种能够与dna强力结合的荧光染料，它结合到双链dna小沟的at碱基对处，一个dapi分子可以占据三个碱基对的位置。结合到双链dna上dapi分子的荧光强度提高大约20倍。常用于细胞凋亡检测，染色后用荧光显微镜观察或流式细胞仪检测。也常用于普通的细胞核染色以及某些特定情况下的双链dna染色。细胞经热激处理后用dapi染色3分钟，在荧光显微镜下可以看到细胞核的形态变化。但在现有技术中，正常显微镜下白光照射的组织切片图像与荧光显微镜下dapi染色图像需要手动配准，操作繁琐，不利于观测图像特征。

技术实现思路

1、为了解决上述问题，本发明提供以下技术方案：

2、本发明提供一种组织切片图像与dapi染色图像配准方法，所述配准方法包括:

3、(1)对组织切片图像与dapi染色图像进行灰度处理，并按同工作倍率放大；

4、(2)获取组织切片与dapi染色的特征点图像；

5、(3)寻找组织切片与dapi染色的特征点图像的最佳缩放比例is最佳、旋转角度ia、水平位移dx和垂直位移dy和平均点(xm，ym)；

6、(4)以平均点(xm，ym)生成多个子框，并按最佳缩放比例is最佳将组织切片图像和组织切片特征点图像等比例缩放，使子框中包含的组织切片特征点超过200；

7、(5)针对每个子框，使用最佳缩放比例is最佳和旋转角度ia，在以(xm，ym)为旋转中心的情况下，对dapi染色特征点进行处理生成变换矩阵tf2；

8、(6)将变换矩阵tf2与dapi染色图像通过opencv中cv2.warpaffine函数生成最终配准图像。

9、进一步的，步骤(2)的具体过程为：

10、对组织切片图像与dapi染色图像的灰度图像分别使用滤波器进行滤波得出分值图，然后利用opencv计算分值图中的连通域，具体利用opencv中cv2.connectedcomponentswithstats函数计算分值图中的连通域，并检查连通域的面积是否超过阈值(测试得到的最佳值)，对于超过阈值的连通域，求其内部最大值的坐标(x，y)作为特征点，最大值作为得分，并按分值排序，生成特征点图像。

11、滤波器由两个opencv中的2维高斯滤波器组成:高斯滤波器a，b窗口值均为15*15，标准分别为3，7，输出为a，b.滤波器整体输出为(a-b)*10。

12、进一步的，步骤(3)的具体过程为：

13、(31)将组织切片图像和dapi染色图像保持比例不变，将长边缩放至200像素，并按相同缩放比例对特征点图像进行缩放；将缩放后的图像与特征点在0.9至1区间内按0.1间隔再次缩放，然后在不同缩放比例下，将组织切片图像不超过dapi染色图像边界的前提下，调整水平和垂直位移，分别计算组织切片图像与dapi染色图像对应的特征点图像之间的iou，找出iou最大值所在位置即最佳匹配位置，得到最佳匹配的缩放比例s；

14、(32)再将缩放后的组织切片图像和dapi染色图像放大两倍，将组织图片上所有特征点的平均值为基准旋转，角度区间为-5至5度，s-0.1～s+0.1区间内，按0.1间隔，调整水平和垂直位移，计算组织切片图像与dapi染色特征点图像之间的iou，找出iou最大值所在位置即最佳匹配位置，找出iou最大值处对应的缩放比例is、旋转角度ia、水平位移dx和垂直位移dy；

15、(33)将缩放比例调整为(is-0.1)*0.9～(is+0.1)*1.1，等间隔分为55份，旋转角度调整为ia±2间隔0.4，水平位移为dx±4间隔1，垂直位移为dy±4间隔1，重复步骤(32)，找到最佳缩放比例is最佳；

16、将最佳缩放比例is最佳与步骤(1)中工作倍率缩放，缩放倍率＝is最佳*工作倍率，将特征点坐标等比例缩放，对所有dapi染色特征点求平均值，记为平均点(xm，ym)。

17、进一步的，步骤(4)的具体过程为：设组织切片图像宽高分别为w，h，则子框中心点移动的步长d＝(w+h)/12，分别生成子框的中心点坐标为(xm，ym)，(xm-d，ym)，(xm+d，ym)，(xm，ym-d)，(xm，ym+d)；

18、求每个子框中包含的组织切片特征点数目，若未超过200，则子框w+100，h+100，直到特征点超过200。

19、进一步的，步骤(5)的具体过程为：

20、(51)在每个子框中，使用最佳缩放比例is最佳和旋转角度ia，在以(xm，ym)为旋转中心的情况下，计算匹配后的dapi染色特征点，并计算匹配后的新子框，并重新计算匹配后在新子框内的组织切片特征点；

21、(52)对于新子框中组织切片特征点数量小于dapi染色特征点数量的1/4的情况，认为该区域无法进行有效的匹配，不进行后续操作；否则，进行下一步骤；

22、(53)在每个新子框中，使用cpd相关点漂移算法，计算组织切片特征点与dapi染色特征点之间的变换矩阵tf；

23、使用变换矩阵tf对dapi染色特征点进行匹配，并统计组织切片特征点数量；如果超过10000则进行随机采样以减小计算量，使用欧氏距离计算匹配后的特征点对；

24、(54)当所有子框中匹配数量超过20对时，使用cv2.estimateaffine2d函数对匹配对中组织切片特征点与dapi染色特征点生成变换矩阵tf1；

25、(55)使变换矩阵tf1对dapi染色特征点进行变换，并重新计算匹配对，然后再次使用cv2.estimateaffine2d函数生成变换矩阵tf2。

26、进一步的，步骤(51)的具体过程为：

27、使用opencv中的cv2.getrotationmatrix2d函数，生成旋转矩阵m，利用旋转矩阵m与组织切片特征点，计算匹配后的dapi染色特征点，利用旋转矩阵m与计算匹配后的dapi染色特征点，计算经过缩放和旋转后的特征点坐标中的最大值(xmax,ymax)，最小值(xmin,ymin)，得到新子框,新子框的宽度w＝xmax-xmin和高度h＝ymax-ymin.新子框的顶点坐标为(xmax,ymax),(xmax,ymin),(xmin,ymax),(xmin,ymin)；

28、然后利用opencv中的cv2.getrotationmatrix2d函数计算匹配后在新子框内的组织切片特征点。

29、进一步的，步骤(53)中使用scipy中cdist函数计算匹配后的dapi染色特征点与组织切片特征点的欧氏距离，要求距离不超过子框的宽的1/50，当匹配对数超过3时认为该子框匹配成功。

30、本发明具有以下有益效果：

31、本发明提供一种组织切片图像与dapi染色图像配准方法，能够将正常显微镜下白光照射的组织切片图像与荧光显微镜下dapi染色图像进行配准。其配准效率高，像素误差小，更适用于显微镜下大尺寸图像的配准。