显微镜图像智能拼接方法、装置、介质及设备与流程

1.本发明涉及光学显微镜图像处理技术领域，具体涉及一种基于卷帘快门获取的显微镜图像智能拼接方法、装置、介质及设备。


背景技术：

2.常规的数码相机均为采用快门曝光成像，通过快门控制感光芯片进行有效的曝光时间。数码相机芯片的曝光成像主要分为两种方式，全局快门曝光和卷帘快门曝光。全局快门是通过整幅场景在同一时间曝光实现的，对相机的每个数码像素同时开启曝光和同时关闭曝光，然后将图像传感器每个像素的值读出形成一幅完整图像，全局快门曝光的优点是所有的像素点同时曝光，每个像素曝光均匀稳定，不会出现拖影现象。与全局快门相比，卷帘快门是通过对感光芯片逐行曝光的方式实现的，在成像开始的时候，对感光芯片顺序地逐行扫描和逐行曝光，并顺序地逐行将图像传感器每个像素的值读出，直至所有像素点都被扫描曝光和读出，形成一幅完整图像，卷帘快门曝光的优点是具有更小的曝光时间，像素读出过程硬件设计更为简单，但其缺点是由于逐行的是在不同时间进行曝光取像，如果图像是运动的，则存在拖影现象，拖延的影响取决于图像运动的快慢和一整幅图像曝光过程时间。目前大多数的数码相机都是采用经济型的电子卷帘快门相机。
3.专利文献cn111279673a公开了《具有电子卷帘快门校正的图像拼接》，捕获系统包括多个电子卷帘快门相机图像传感器来获取图像，通过补偿外极线来确定视差校正映射，通过视差校正映射和电子卷帘快门校正映射来确定扭曲映射，通过扭曲映射将所述电子卷帘快门校正映射应用到所述视差校正映射的输出等，通过这一系列校正图像补偿方法校正电子卷帘快门相机获取图像引起的图像畸变，再将来自两个或更多个相机传感器的图像拼接在一起来生成合成拼接图像。这种方法要求配置有多个相机，增加了系统构成复杂度，也增加了成本。
4.专利文献cn201380059462公开了《对显微镜设备异步排序的同时利用卷帘式快门照相机采集图像的系统和方法》，系统采用卷帘快门相机采集图像的方法，即在显微镜中装配卷帘快门相机进行采集图像。系统也包括采用了步进电机移动载物台，其特点是根据卷帘快门的曝光结束时间脉冲与步进电机同步控制载物台的移动，同时只接收与卷帘快门曝光信号相关联的共享曝光周期的图像数据，这个系统设计复杂，成本高，且只用于基于卷帘快门相机的图像同步采集，没有涉及到图像拼接。
5.专利文献cn202011053664公开了《一种数字显微镜图像快速拼接融合方法》，该专利从多模态成像系统中获取显微图像、对图像进行预处理(通过算法)、对图像进行配准及对图像进行融合得到最终的拼接图像四个步骤。系统也包括采用步进电机控制移动载物台，根据步进电机移动位移得到两幅图像的重叠区域，然后对重叠区域采用傅里叶变换的方法进行图像精准匹配和相似度评估。这种方法必须采用自动载物台获得图像位移，增加了系统成本，适应性差，同时其基于傅里叶变换的图像匹配，计算复杂，增加了计算量。
6.综上，有必要提供一种基于卷帘快门获取的显微镜图像智能拼接方法、装置、介质
及设备，使其普适于手动及自动光学显微镜，且计算量小，拼接精度高。


技术实现要素：

7.本发明的目的在于提供一种基于卷帘快门获取的显微镜图像智能拼接方法。
8.为实现上述目的，本发明采用以下技术方案：
9.显微镜图像智能拼接方法，包括：
10.s1、相机实时曝光，获取显微镜的实时动态图像，所述相机为电子卷帘快门相机；
11.s2、对获取的实时动态图像进行图像运动模糊的实时检测，判定图像质量是否符合预设的评价标准，若是则进入s3，若否则返回s1；
12.s3、提取第一图像与第二图像，所述第一图像为当前获取的动态图像，所述第二图像为与当前动态图像同一位置从已拼接大图的相同位置提取的图像；
13.s4、对当前图像和前序拼接图像初拼接的结果分别向图像水平方向和图像垂直方向投影，得到两个方向的投影直方图，根据投影直方图进行水平和垂直两个一维的相关分析，得到图像水平和垂直的偏移量，从而对图像进行拼接。
14.进一步地，s1中，载物台具有工进速率与快进速率；
15.当当前实时动态图像已拼接完成时，载物台由工进速率切换至快进速率，快速移动；
16.当载物台移动至当前已拼接大图的边界时，载物台由快进速率切换至工况速率，直至下一个需拼接视野的图像拼接完成。
17.进一步地，s2包括：
18.s21、将当前图像由rgb图像转换到灰度图像；
19.s22、对转换的灰度图像进行采样，进行边缘检测，提取出图像清晰度参数并正态化；
20.其通过laplace边缘检测算法进行边缘检测，并引入改进laplace算子，取二阶偏导的绝对值之和，则对二维图像函数f(x,y)，图像的laplace算子为，
[0021][0022]
采用差分替代微分进行计算，考虑显微图像的纹理变化，使用象元间的可变可变步长step来计算二阶偏导，则有。
[0023]
ml(x,y)＝|2f(x,y)-f(x-step,y)-f(x+step,y)|+|2f(x,y)-f(x,y-step)-f(x,y+step|，
[0024]
取
[0025]
式中，t为一个阈值，大于t的laplace值才参与累加，最后获得检测参数，将检测参数与检测阈值进行比较，若达到检测阈值则判定图像质量符合预设的评价标准，保存检测参数到检测参数库；否则，判定图像质量不符合预设的评价标准。
[0026]
更进一步地，可变步长step与阈值t根据序列图像的噪声程度正相关取值。
[0027]
进一步地，s3包括：
[0028]
s31、检测当前图像含有丰富局部信息的图像特征、纹理特征、形态特征和空间关
系特征，对这些检测出的特征点组成数据结构和描述子，构建出图像匹配和拼接的基础数据元素；
[0029]
s32、获得当前图像的特征点和特征描述后，与前序图像进行特征匹配，匹配成功则进入步骤s34；否则进入步骤s33；所述特征库为所有前序图像的特征点的集合；
[0030]
s33、与特征库的特征点进行特征匹配，且匹配过程中由当前图像位置逐步向周边临近图像的特征点进行匹配，匹配成功则进入步骤s34；否则，说明当前图像移动出了拼接图像的范围，这时需要刷新状态显示，提示需要移动载物台返回原拼接图像位置；
[0031]
s34、从当前图像的特征点提取出优秀匹配点，存入特征库，作为后续图像匹配使用；
[0032]
s35、计算匹配成功的特征点的覆盖范围，确定匹配区域和当前图像位置信息，计算图像和前序拼接图像的移动距离，以及在已拼接大图中的位置，确定图像移动的绝对偏移距离，从而提取所述第一图像与第二图像，进入双投影自动拼接算法的流程图。
[0033]
s4采用双投影自动拼接算法，包括对当前图像和前序拼接图像按初拼接的结果进一步采用向图像水平方向和向图像垂直方向进行投影，得到两个方向的投影直方图，根据直方图进行水平和垂直两个一维的相关分析，得到图像水平和垂直的偏移量，从而对图像进行拼接，使拼接精度达到亚像素级别，提升图像拼接准确性，并从二维相关性分析降低到两个一维相关性分析，极大地提升了拼接效率。
[0034]
进一步地，设第一图像的水平投影差分直方图为基准直方图t
x
，其大小为k；第二图像的水平投影差分直方图为参考直方图s
x
，其大小为m；基准直方图t
x
叠放在参考直方图s
x
上平移，基准直方图t
x
覆盖下的那块搜索图像为子图s
xi
，i为这块子图的左下角像素点在s
x
图中的坐标作为参考点，则相似度测度为，
[0035][0036]
式中，分子为子图s
xi
与基准直方图t
x
的互相关，分母为子图s
xi
的能量，对其归一化，则有，
[0037][0038]
当r
x
(i)取值最大时(i)为x轴正确匹配位置；
[0039]
同理，设第一图像的水平投影差分直方图为基准直方图ty，其大小为l；第二图像的水平投影差分直方图为参考直方图sy，其大小为n；基准直方图ty叠放在参考直方图sy上平移，基准直方图ty覆盖下的那块搜索图像为子图s
yj
，j为这块子图的左下角像素点在sy图中的坐标作为参考点，则相似度测度为，
[0040][0041]
式中，分子为子图s
yj
与基准直方图ty的互相关，分母为子图s
yj
的能量，对其归一化，则有，
[0042][0043]
当ry(j)取值最大时(j)为y轴正确匹配位置。
[0044]
进一步地，将当前图像的动态显示及对应的操作提示在人机交互界面显示，供用户操作并完成图像的拼接；当前图像的动态显示包括当前图像是模糊图像、当前图像是聚焦图像、当前图像和前序拼接图像的偏移距离和定位、当前图像和前序图像的匹配区域、当前图像和前序图像没有在匹配区域、当前图像在已拼接的周边图像的位置中的一种或多种。
[0045]
本发明的又一目的在于提供显微镜图像智能拼接装置，所述装置包括：
[0046]
显微镜，所述显微镜具有可沿x/y轴移动的载物台及聚焦单元；
[0047]
相机，所述相机为电子卷帘快门相机；
[0048]
计算机设备，所述计算机设备具有处理器及人机交互单元；所述处理器与所述相机相连，用以执行如前述的显微镜图像智能拼接方法；所述人机交互单元的交互界面显示执行过程中图像的动态显示及操作提示。
[0049]
本发明的又一目的在于提供一种计算可读机存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如前述的显微镜图像智能拼接方法。
[0050]
本发明的再一目的在于提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如前述的显微镜图像智能拼接方法。
[0051]
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
[0052]
1、本发明只需一台相机获取实时图像，同时，在其图像获取过程中，不依赖于载物台的自动化程度，具备普适性，可以适应绝大多数的光学显微镜，如在一台常规显微镜上加上一台大众化数码相机，同样能完成一台数字切片扫描仪扫描数字切片的功能；本发明在双投影自动拼接算法中，将高精度图像拼接从二维空间相关性分析计算降低到两个一维空间相关性分析计算，提升图像拼接速度，提高拼接准确性和精度；
[0053]
2、本发明在当前图像拼接完成后，载物台可以快速移动，跨过当前已拼接的大部分视野区域，快速移动到下一个需要拼接视野的附近，这时又需要降低移动速度，以降低卷帘快门曝光对图像移动的影响，获得满足要求的图像，完成下一个视野的拼接。周而复始，形成一个有节奏的拼接过程，既实现了高效的图像获取，又保证了获取的图像具备高质量；
[0054]
3、本发明通过引进改进的拉普拉斯算子，避免图像的聚焦产生偏差，同时在计算过程中引入了象元间的可变步长及设置了阈值，使得检测效果明显提供，其检测结果具有有良好的单峰性、无偏性、在焦平面附近变化趋势非常明显和灵敏度高的特点；
[0055]
4、本发明在图像匹配方法中考虑了特征库匹配的优化处理，从当前图像位置逐步向周边临近图像的特征点进行匹配，极大地减少了对特征库遍历所化的时间。
附图说明
[0056]
图1为本发明显微镜图像智能拼接方法的流程图。
[0057]
图2全局快门曝光和卷帘快门曝光原理对比图。
[0058]
图3为图像运动模糊的实时检测流程图。
[0059]
图4为图像特征提取和图像匹配流程图。
[0060]
图5为双投影自动拼接算法的流程图。
[0061]
图6为显示动态拼接过程中的各种状态的屏幕显示图。
[0062]
图7为本发明计算机设备示意图。
具体实施方式
[0063]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0064]
实施例1
[0065]
请参考图1所示，本发明公开了一种显微镜图像智能拼接方法，依据流程图所示，其包括4个核心步骤：
[0066]
s1、图像的获取：在载物台移动过程中，相机的卷帘快门保持不断曝光，处理器获取曝光的实时动态图像；
[0067]
s2、图像运动模糊的检测：对图像进行转换，通过laplace边缘检测算法对图像进行边缘检测，判定图像质量是否符合预设的评价标准，若是则进入s3，若否则返回s1；
[0068]
s3、图像处理及匹配：提取第一图像与第二图像，所述第一图像为当前获取的动态图像，所述第二图像为与当前动态图像同一位置从已拼接大图的相同位置提取的图像；
[0069]
s4、双投影图像自动拼接：对当前图像和前序拼接图像初拼接的结果分别向图像水平方向和图像垂直方向投影，得到两个方向的投影直方图，根据投影直方图进行水平和垂直两个一维的相关分析，得到图像水平和垂直的偏移量，从而对图像进行拼接。
[0070]
其中，s1中，载物台具有工进速率与快进速率。如此，当当前实时动态图像已拼接完成时，载物台由工进速率切换至快进速率，快速移动；当载物台移动至当前已拼接大图的边界时，载物台由快进速率切换至工况速率，直至下一个需拼接视野的图像拼接完成。
[0071]
为便于理解载物台设置不同进给速率的优越性，请参考图2所示，图2是全局快门曝光和卷帘快门曝光原理对比图。全局快门相机在曝光开始时对第一线直至第n线都同时开始曝光，在曝光结束时对第一线直至第n线都同时结束曝光，因此整幅图像的所有像素点都在同一个曝光时间段。而卷帘快门曝光对相机图像传感器的每一线的曝光起始和结束时间都不同，如第二线的曝光开始时间比第一线的曝光开始时间有固定延迟，第二线的曝光结束时间比第一线的曝光结束时间有固定延迟，第三线的曝光开始时间比第二线的曝光开始时间有固定延迟，第三线的曝光结束时间比第二线的曝光结束时间有固定延迟，以此类推，直到第n线的曝光开始和完成。卷帘快门相机的这种曝光机制，对静态图像没有影响，对移动速度就有影响，移动速度越大，影响越大，其影响的直接结果就是图像的拖尾现象。
[0072]
因此，卷帘快门相机在显微镜载物台移动过程中和移动速度，曝光对图像质量影响较大，获得的图像要满足图像质量和拼接要求，对载物台在获取拼接图像时对移动速度需要有所调整，降低移动速度。在当前图像拼接完成后，载物台可以快速移动，跨过当前已拼接的大部分视野区域，快速移动到下一个需要拼接视野的附近，这时又需要降低移动速
度，以降低卷帘快门曝光对图像移动的影响，获得满足要求的图像，完成下一个视野的拼接。周而复始，形成一个有节奏的拼接过程。这一过程，通过电子卷帘快门相机在载物台移动过程中图像运动模糊的实时检测，计算和动态显示当前图像的各种状态，协调对载物台移动速度的调节，既确保了图像质量，又提高了采集速度。
[0073]
s2对图像运动模糊的实时检测方法，其针对在显微镜载物台移动过程中获取的图像进行目标区域分割，通过引入改进拉普拉斯算子，计算图像聚焦质量、判断图像模糊程度，根据评价标准判定当前图像满足质量界值，可被接受，或不满足图像质量界值被拒绝。
[0074]
具体地，其包括：
[0075]
s21、将当前图像由rgb图像转换到灰度图像；
[0076]
s22、对转换的灰度图像进行采样，进行边缘检测，提取出图像清晰度参数并正态化。
[0077]
在现有技术中，有诸多图像边缘检测方法，如roberts、prewitt、sobel、laplace、canny算子等，本实施采用一种优化的laplace边缘检测算法。laplace边缘检测算法是一种二阶偏导，可以获取高频分量，从而检测出锐化的边缘，线性微分laplace算子可作为高频分量的估计量。由于对x方向和对y方向的二阶偏导可能会符号相反，相互抵消，从而使图像的聚焦产生偏差。我们引入改进拉普拉斯算子，取二阶偏导的绝对值之和，则有：
[0078][0079]
一般用差分代替微分进行计算。以往的边缘检测函数一般把laplace近似为一个3*3算子，在这里考虑到显微图像的纹理变化，使用象元间的可变步长step来计算二阶偏导。
[0080]
即：
[0081]
取
[0082]
式中，t为一个阈值，大于t的laplace值才参与累加。
[0083]
常规采用laplace算子作为边缘检测函数时，都忽略了步长和阈值的作用。在这里，由于引入了步长和阈值，使得由于步长和阈值的作用，检测效果有更明显提高，具有良好的单峰性、无偏性、在焦平面附近变化趋势非常明显和灵敏度高的特点。
[0084]
易于理解，并不是步长和阈值取得越大聚焦效果越好，一般对于噪声干扰不大的序列图像，步长和阈值可以取小一些；而对噪声和亮度变化干扰比较大的序列图像，步长和阈值可以取得稍大一些。比如，在高倍物镜下，步长和阈值可以取小一些，而在低倍物镜下，步长和阈值可以取得稍大一些。
[0085]
根据显微镜下的切片类型对laplace算子系数进行调整，以达到最佳检测效果。用检测结果参数刷新软件界面，以图示的方式动态显示当前图像的锐度和聚焦清晰程度。对检测参数与检测阈值进行比较，如达到检测阈值，则判定图像质量符合预设的评价标准，保存检测参数到检测参数库，并进入下一步的图像特征提取和图像匹配流程，否则，判定图像质量不符合预设的评价标准，界面状态刷新后返回显微镜操作。
[0086]
s3用于实现图像特征提取与图像匹配。其对图像特征提取和图像匹配的方法包括：提取含有丰富局部信息的图像几何形态特征，图像密度特征，图像纹理特征，图像特征描述的数据结构和描述子，构建出图像识别、决策和智能拼接的基础数据元素，并组成一个特征库。匹配过程中获得当前图像和前序拼接图像进行特征匹配，或于特征库进行特征匹配，计算图像和前序拼接图像的移动距离，以及在已拼接大图中的位置，确定图像移动的绝对偏移距离。
[0087]
s3包括：
[0088]
s31、检测当前图像含有丰富局部信息的图像特征、纹理特征、形态特征和空间关系特征，对这些检测出的特征点组成数据结构和描述子，构建出图像匹配和拼接的基础数据元素；
[0089]
s32、获得当前图像的特征点和特征描述后，与前序图像进行特征匹配，匹配成功则进入步骤s34；否则，说明该图像与前序图像没有重叠区域，则进入步骤s33，与特征库的特点点进行特征匹配；所述特征库为所有前序图像的特征点的集合，随着拼接距离扩大，特征库也随之扩大；
[0090]
s33、与特征库的特征点进行特征匹配，且匹配过程中由当前图像位置逐步向周边临近图像的特征点进行匹配，匹配成功则进入步骤s34；否则刷新状态，提醒或控制载物台返回原拼接图像位置；
[0091]
s34、从当前图像的特征点提取出优秀匹配点存入特征库，作为后续图像匹配使用；优秀匹配点可采用harris角点检测方法提取，并设置特征参数(区分相邻的角点数，角点的质量水平，以及两个角点的最小距离特征参数)；
[0092]
s35、计算匹配成功的特征点的覆盖范围，确定匹配区域和当前图像位置信息，计算图像和前序拼接图像的移动距离，以及在已拼接大图中的位置，从而提取所述第一图像与第二图像，进入双投影自动拼接流程。
[0093]
s4所述双投影自动拼接算法，包括对当前图像和前序拼接图像按初拼接的结果进一步采用向图像水平方向和向图像垂直方向进行投影，得到两个方向的投影直方图，根据直方图进行水平和垂直两个一维的相关分析，得到图像水平和垂直的偏移量，从而对图像进行拼接，使拼接精度达到亚像素级别，提升图像拼接准确性，并从二维相关性分析降低到两个一维相关性分析，极大地提升了拼接效率。
[0094]
同时，在拼接过程中，根据拼接图像的逐渐扩大进行动态扩展图像内存容量，自适应的伸展图像尺寸和拼接图像展示比例。换言之，动态扩展图像内存是指先申请小的内存，在拼接过程中随着图像拼接变大内存不够在扩展申请新的内存，这样申请使用的内存恰到好处，并能提升系统性能，也不浪费宝贵系统内存资源，使其用于其他系统软件进程。
[0095]
为便于理解本实施例双投影自动拼接算法的优越性，先对一种可行方法进行介绍。
[0096]
对两幅图像进行亚像素的高精度图像拼接，一种可行方法是采用图像的二维相关分析，其方法为：设基准图t(t的大小为k
×
l)叠放在参考图s(s的大小为m
×
n)上平移，基准图t覆盖下的那块搜索图像称做子图s
i,j
，i,j为这块子图的左下角像素点在s图中的坐标作为参考点，不难理解i和j的取值范围为1≤i≤m-k+1，1≤j≤n-l+1。
[0097]
现在可以比较t和s
i,j
的内容，若两者一致，则t和s
i,j
之差为零。所以可以用下列测
度来衡量t和s
i,j
的相似程度，则有，
[0098][0099]
将公式展开，则有，
[0100][0101]
公式右边第三项表示基准图t的总能量，其是一个常数，与(i,j)无关，第一项是t覆盖下那块子图像的能量，它随(i,j)位置而缓慢改变，第二项是子图像与基准图的互相关，随(i,j)而改变，t和s
i,j
匹配时这项取值最大，因此可用下列相关函数做相似性测度，则有，
[0102][0103]
归一化为：
[0104][0105]
其即为基准图t与子图s
i,j
的相关系数。根据许瓦兹不等式可以知道，r(i,j)在0和1之间取值，并且仅在比值s
i,j
(m,n)/t(m,n)为常数时r(i,j)取极大值(等于1)。根据相似性原理，r(i,j)值越大二者越接近，当r(i,j)取值最大时(i,j)为正确匹配位置。
[0106]
这种图像二维相关性分析，能得到高精度亚像素的图像拼接结果，但需要花费大量的计算时间。本实施提出一个优化方案，将图像二维相关性分析分解为两个一维图像的相关性分析，能极大地优化拼接性能，提升拼接速度。其方法为：分别将第一图像和第二图像向水平方向和垂直方向做图像灰度值投影，得到4个投影的一维序列数据，将此4个投影的一维序列数据进行差分后，组织成一维灰度投影差分直方图的形式，因此能实施一维的相关性分析，将第一图像的水平投影差分直方图，与第二图像的水平投影差分直方图进行相关分析，获得高精度的最佳耦合点，即亚像素的x偏移值。将第一图像的垂直投影差分直方图，与第二图像的垂直投影差分直方图进行相关分析，获得高精度的最佳耦合点，即亚像素的y偏移值。
[0107]
其具体方法为：
[0108]
设第一图像的水平投影差分直方图为基准直方图t
x
，其大小为k；第二图像的水平投影差分直方图为参考直方图s
x
，其大小为m；基准直方图t
x
叠放在参考直方图s
x
上平移，基准直方图t
x
覆盖下的那块搜索图像为子图s
xi
，i为这块子图的左下角像素点在s
x
图中的坐标作为参考点，不难理解i的取值范围为1≤i≤m。
[0109]
如此，即可比较t
x
和s
xi
的内容，若两者一致，则t
x
和s
xi
之差为零。所以可以用下列测度来衡量t
x
和s
xi
的相似程度。
[0110]
则相似度测度为，
[0111][0112]
则其展开式为
[0113][0114]
式中，右边第三项表示基准图t
x
的总能量，是一个常数，与(i)无关，第一项是t
x
覆盖下那块子图像的能量，它随(i)位置而缓慢改变，第二项是子图像与基准图的互相关，随(i)而改变，t
x
和s
xi
匹配时这项取值最大，因此可用下列相关函数做相似性测度：
[0115][0116]
归一化为：
[0117][0118]
上式即为基准图t
x
与子图s
xi
的相关系数。根据许瓦兹不等式可以知道，rx(i)在0和1之间取值，并且仅在比值s
xi
(m)/t
x
(m)为常数时rx(i)取极大值(等于1)。根据相似性原理，rx(i)值越大二者越接近，当rx(i)取值最大时(i)为x轴正确匹配位置。
[0119]
同样的，设第一幅垂直投影差直方图为基准直方图ty(ty的大小为l)叠放在第二幅垂直投影差直方图为参考直方图sy(sy的大小为n)上平移，基准图ty覆盖下的那块搜索图像称做子图s
yj
，j为这块子图的左下角像素点在sy图中的坐标作为参考点，不难理解j的取值范围为1≤j≤l。
[0120]
现在可以比较ty和s
yj
的内容，若两者一致，则ty和s
yj
之差为零。所以可以用下列测度来衡量ty和s
yj
的相似程度。
[0121][0122]
其展开式为，
[0123][0124]
式中右边第三项表示基准图t的总能量，是一个常数，与(j)无关，第一项是ty覆盖下那块子图像的能量，它随(j)位置而缓慢改变，第二项是子图像与基准图的互相关，随(j)而改变，t和si匹配时这项取值最大，因此可用下列相关函数做相似性测度：
[0125]
[0126]
归一化为：
[0127][0128]
上式即为基准图ty与子图syj的相关系数。同样根据许瓦兹不等式可以知道，ry(j)在0和1之间取值，并且仅在比值s
yj
(n)/t(n)为常数时，ry(j)取极大值(等于1)。根据相似性原理，，ry(j)值越大二者越接近，当，ry(j)取值最大时(j)为y轴正确匹配位置。
[0129]
根据获得的x和y匹配偏移量，将当前图像融合进入拼接大图，该部分的融合可采用渐入渐出式图像渐变融合方法，其实现可参考专利文献cn202011053664，即融合采用优化的非线性插值方法，和可配置的融合区域重叠参数阿尔法值，得到最佳的融合效果。
[0130]
保存融合后的拼接大图和相关参数，刷新动态显示状态，开始下一轮的操作。
[0131]
实施例2
[0132]
本发明的又一目的在于提供显微镜图像智能拼接装置，所述装置包括显微镜、相机及计算机设备。
[0133]
其中，显微镜具有可沿x/y轴移动的载物台及聚焦单元。其载物台可以是自动载物台，也可以是手动载物台，其聚焦单元可以是手动旋动聚焦旋钮，也可以是自动聚焦单元，本技术不做具体限定。
[0134]
相机，所述相机为电子卷帘快门相机，可采用大众化的数码相机。
[0135]
计算机设备，所述计算机设备具有处理器及人机交互单元，其可以是台式电脑、笔记本电脑或智能移动设备。所述处理器与所述相机相连，其相连方式用以执行如实施例1前述的显微镜图像智能拼接方法；所述人机交互单元的交互界面显示执行过程中图像的动态显示及操作提示。
[0136]
如图6所示，人机交互界面用于显示动态拼接过程中的各种状态的软件屏幕显示图，a框表示前一帧图像；b框表示当前帧的图像；c框表示当前动态图像的清晰度不够，此时需要手动的微调显微镜的焦距，获得清晰的动态图像；d框表示当前图像已经找不到拼接点，此时可以移动x/y轴重新找到拼接点。
[0137]
实施例3
[0138]
本技术一实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如前实施例1所述的显微镜图像智能拼接方法。
[0139]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram
(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0140]
实施例4
[0141]
请参考图7所示，本发明的再一目的在于提供一种计算机设备，所述计算机设备包括处理器和存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。其计算机程序由所述处理器加载并执行如实施例1所述的显微镜图像智能拼接方法。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存接口访问方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。
[0142]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0143]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。