一种光流辅助的大尺度显微图像拼接算法的制作方法

本发明专利涉及一种在显微镜领域应用到的图像拼接算法，尤其是涉及一种光流辅助的大尺度显微图像拼接算法。

背景技术：

显微图像拼接技术在生命医学领域和工业领域都有着广泛的应用需求，是现代高端数码显微镜必备的核心功能之一。不管是明场显微镜和荧光显微镜中，获得大视野范围并且大分辨率的样本全景照片对于后续的分析和处理都是至关重要的。但是由于视野范围和分辨率在光学领域是成反比例的关系，获得一幅视野大并且分辨率高的图像对于显微镜的光学系统的要求是十分严格的。在数码显微镜领域中，解决该类问题最常用的技术是图像拼接技术。该技术通过对样品的不同区域采集高分辨率的图像并最终融合成为一幅全景图像而构建出一幅完整的大尺度高分辨率的显微图像。但是在采集过程中，往往会出现由于相邻两幅图像的位移过大而导致的图像匹配上的特征点过少，从而导致拼接失败。

技术实现要素：

本发明所要解决的技术问题是在大尺度图像拼接技术中引进一种光流辅助算法，解决由于位移过大而引起的拼接失败问题。

本发明解决上述技术问题所采用的技术方案为：一种光流辅助的大尺度显微图像拼接算法，具体包括以下步骤：

步骤一：通过相机实时采集数码显微镜的图像，在两幅相邻图像之间，引入基于金字塔lucas-kanade算法实现的光流法检测图像之间的位移；

步骤二：检测采集到的前后两幅图像上的所有的特征点；

步骤三：对步骤二中采集到的前后两幅图像中所有的特征点应用最近邻特征点距离与次近邻特征点距离的比值来进行特征点匹配，比值设为0.4，大于等于0.4认为是匹配上的特征点，小于0.4认为是没有匹配上的特征点，即如果该特征点的最近邻特征点的距离与次近邻特征点距离的比值大于等于0.4，则认为该特征点与最近邻特征点构成特征点对，加入到特征点集中，找到前后两幅图像中相对应的特征点作为特征点对；所述的最近邻特征点是指用不变的特征点描述符进行运算的与样本点具有最短欧几里德距离的特征点；所述的次近邻特征点是指除最近邻点以外具有最短的欧几里德距离的特征点；

步骤四：利用随机抽样一致性ransac来剔除无效数据，对步骤三中得到的特征点对进行优化，剔除误匹配的特征点，具体步骤包括：1、从匹配的特征点对中随机抽取4个样本数据放入内点集，计算其单应矩阵；2、计算所有特征点对在单应矩阵的作用下的投影误差，将投影误差小于0.98的点对，加入到内点集，并优化单应矩阵；重复步骤2，直到内点集中所有的投影误差小于某个阈值，得到的单应矩阵为最优的单应矩阵通过该单应矩阵匹配上的特征点对为最佳特征点匹配点对；

步骤五：通过步骤四得到的最优单应矩阵和最佳特征点匹配点对，计算得到由相机的内参矩阵、外参矩阵和拉伸因子构成的图像运动参数估计，所述的内参矩阵包括描述相机内部属性的焦距和内部距离，所述的外参矩阵包括描述相机外部运动参数的旋转和平移，进而对采集到的图像进行仿射、畸变校正和平移变换，将所有采集到的图像变换成待合成图像；

步骤六：将在步骤五中得到的待合成图像，融合得到一幅完整的全视野的显微图像。

步骤一的具体方法为：1)通过采样分层的方式建立一系列不同尺度的图像序列，对于前一帧图像i上的一个像素点p＝[px，py]，在后一帧图像i中找到对应的一个像素点q＝[qx，qy]，其中px，py分别为像素点p在x方向和y方向上的坐标，qx，qy分别为像素点q的x方向和y方向上的坐标，首先在前一帧图像i中找到光流特征点，并且假设在这些光流特征点的周围的小窗口内光照条件是恒定的；2)定义d＝[dx，dy]为像素点p的位移，即像素点p的光流，其中dx、dy分别为像素点p在x方向和y方向上的位移大小，首先对于两帧图像i和j的最顶层开始跟踪像素点p，利用最小二乘法然后将计算结果传递到金字塔的下一层，并重新计算光流d，直到两帧图像的平均灰度差小于10时，输出光流d作为像素点p的光流；则后一帧图像i上对应的光流特征点的位置为qx＝px+dx，qy＝py+dy，通过计算每一个像素点的光流得到前后两帧图像之间的平均位移。

所述的特征点检测是应用特征检测算子orb特征描述符检测图像中用于表征整幅图像特性的特征点，这些特征点不会因为光照、旋转、位移而改变其属性。

可以利用特征点匹配得到的对应点集计算得到单应矩阵，利用单应矩阵获得相机的内参矩阵和外参矩阵，具体为：

将拍摄区域定义为近似平面，对于点集中的每个点对都有如下关系：

式中●为矩阵相乘，m＝[m1，m2，1]^t，h为3×3的单应矩阵，其中m1，m2为点m在x方向和y方向上的坐标，为点在x方向和y方向上的坐标，，将h改写成9×1的矩阵h’

h′＝(h11，h12，h13，h21，h22，h23，h31，h32，h33)^t

则对于n个匹配点对，n>＝3，共有9个未知数，提供2n个约束条件，使用最小二乘法求解每一个参数得到单应矩阵h’，通过得到的单应矩阵和的位置计算得到相机的内参矩阵和外参矩阵，用于后续的图像拼接。

与现有技术相比，本发明的优点在于能够获得视野较大并且分辨率高的图像。从图1的显微图像拼接结果对比图中可以看出，左图为图谱商业软件中的拼接结果，拼接之后的图像分辨率为3313×2730，而右图为本发明的拼接结果，分辨率为4567×4996，当图谱软件的图像运动超过8％时，拼接失败；而本发明的图像运动超过25％时才会出现拼接失败。

附图说明

图1为本发明方法与现有的图谱商业软件实现的显微图像拼接结果对比等比例缩放示意图；

图2为本发明的光流法检测到的初始化特征点示意图；

图3为本发明的光流法检测到的图像位移运动示意图；

图4为本发明的光流法检测到的图像位移运动超过可拼接位移极限时，给出反馈信息的示意图；

图5为本发明方法的算法结构示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

实施例：一种光流辅助的大尺度显微图像拼接算法，算法结构如图5所示，具体包括以下步骤：

步骤一：采用宁波永新光学生产的nlcd-307显微镜，使用40倍的物镜采集图像，相机采用图谱ucmos05100kpa相机，通过相机实时采集数码显微镜的图像，采图分辨率设为2592×1944，如图3所示，在图像拼接采集模式下，在初始化阶段将相机采集到的第一帧图像作为初始图像，计算当前视频流的图像与初始图像之间的光流，在两幅相邻图像之间，引入基于金字塔lucas-kanade算法实现的光流法检测图像之间的位移，具体方法为：1)通过采样分层的方式建立一系列不同尺度的图像序列，对于前一帧图像i上的一个像素点p＝[px，py]，在后一帧图像j中找到对应的一个像素点q＝[qx，qy]，其中px，py分别为像素点p在x方向和y方向上的坐标，qx，qy分别为像素点q的x方向和y方向上的坐标，首先在前一帧图像i中找到光流特征点，并且假设在这些光流特征点的周围的小窗口内光照条件是恒定的；2)定义d＝[dx，dy]为像素点p的位移，即像素点p的光流，其中dx、dy分别为像素点p在x方向和y方向上的位移大小，首先对于两帧图像i和j的最顶层开始跟踪像素点p，利用最小二乘法然后将计算结果传递到金字塔的下一层，并重新计算光流d，直到两帧图像的平均灰度差小于10时，输出光流d作为像素点p的光流；则后一帧图像i上对应的光流特征点的位置为qx＝px+dx，qy＝py+dy，通过计算每一个像素点的光流得到前后两帧图像之间的平均位移；

步骤二：如图4所示，在图像采集结束之后。利用orb(orientedfastandrotatedbrief)特征检测算子即orb特征描述符检测采集到的前后两幅图像上的所有用于表征整幅图像特性的特征点，找到匹配特征点，这些特征点不会因为光照、旋转、位移而改变其属性，orb特征是将fast特征点的检测方法与brief特征描述子结合起来，并在它们原来的基础上做了改进与优化，本实施例中提取图像中1000个orb特征，每个特征点的周围窗口大小设为3×3；

步骤三：对步骤二中采集到的前后两幅图像中所有的特征点应用最近邻特征点距离与次近邻特征点距离的比值来进行特征点匹配，比值设为0.4，大于等于0.4认为是匹配上的特征点，小于0.4认为是没有匹配上的特征点，即如果该特征点的最近邻特征点的距离与次近邻特征点距离的比值大于等于0.4，则认为该特征点与最近邻特征点构成特征点对，加入到特征点集中，找到前后两幅图像中相对应的特征点作为特征点对；所述的最近邻特征点是指用不变的特征点描述符进行运算的与样本点具有最短欧几里德距离的特征点；所述的次近邻特征点是指除最近邻点以外具有最短的欧几里德距离的特征点；

步骤四：利用随机抽样一致性ransac来剔除无效数据，对步骤三中得到的特征点对进行优化，剔除误匹配的特征点，具体步骤包括：1、从匹配的特征点对中随机抽取4个样本数据放入内点集，计算其单应矩阵；2、计算所有特征点对在单应矩阵的作用下的投影误差，将投影误差小于0.98的点对，加入到内点集，并优化单应矩阵；重复步骤2，直到内点集中所有的投影误差小于某个阈值，得到的单应矩阵为最优的单应矩阵通过该单应矩阵匹配上的特征点对为最佳特征点匹配点对；

步骤五：通过步骤四得到的最优单应矩阵和最佳特征点匹配点对，计算得到由相机的内参矩阵、外参矩阵和拉伸因子构成的图像运动参数估计，所述的内参矩阵包括描述相机内部属性的焦距和内部距离，所述的外参矩阵包括描述相机外部运动参数的旋转和平移，利用特征点匹配得到的对应点集计算得到单应矩阵，利用单应矩阵获得相机的内参矩阵和外参矩阵的具体方法为：

将拍摄区域定义为近似平面，对于点集中的每个点对都有如下关系：

式中●为矩阵相乘，m＝[m1，m2，1]^t，h为3×3的单应矩阵，其中m1，m2为点m在x方向和y方向上的坐标，为点在x方向和y方向上的坐标，将h改写成9×1的矩阵h’，

h′＝(h11，h12，h13，h21，h22，h23，h31，h32，h33)^t

则对于n个匹配点对，n>＝3，共有9个未知数，提供2n个约束条件，使用最小二乘法求解每一个参数得到单应矩阵h’，通过得到的单应矩阵和特征点对的位置计算得到相机的内参矩阵和外参矩阵，进而对采集到的图像进行仿射、畸变校正和平移变换，将所有采集到的图像变换成待合成图像；

步骤六：将在步骤五中得到的待合成图像，融合得到一幅完整的全视野的显微图像。

如图1所示，对于相同的人血球切片采集五幅图像，应用图谱软件采集时，每幅图像的移动在8％之内，拼接成功，如果移动超过8％，则拼接失败；采用本发明采集图像时，光流移动的阈值设为25％，当移动位移超过25％时，则提醒用户向反方向移动，这样采集的图像可以拼接成功。