拼接图像校正方法及装置与流程

本发明涉及图像拼接技术领域，具体涉及一种拼接图像校正方法及装置。

背景技术：

图像拼接是将同一场景中的多个子图像拼接成更宽场图像的一种方法，主要用来解决单次成像视场受限的问题。在医学成像、计算机视觉、无人机航拍、遥感图像、卫星数据、军事目标自动识别等领域具有重要意义。图像拼接输出的是两幅图像的并集，即提取两幅输入图像的重叠部分，根据特征点进行配准，构建坐标变换矩阵，实现两幅图像的融合，输出一幅具有更宽视场的图像。当前的图像拼接算法大都基于该设想实现的，逻辑简单，具有一定的通用性，但也存在一定问题，通常需要引入额外的校正算法，使拼接后的图像显示更加自然。

显微图像是指经过光学或电子学显微镜放大后的微区图像，在纳米材料、生物医学等领域有着广泛的应用。显微镜的放大倍率越大，视场越小，通常需要通过图像拼接的方法来获得全景的高分辨图像。当前，多张显微图像的拼接通常会存在拼接缝隙或错位，过渡区域色度对比明显等现象。

因此，亟需一种简单高效的对拼接显微图像进行校正的方法。

技术实现要素：

针对现有技术中的问题，本发明提供一种拼接图像校正方法及装置，能够降低拼接图像上拼接区域的失真程度和边缘的发散程度，使得拼接图像的边缘锐利度，以及拼接区的过度程度更加自然。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种拼接图像校正方法，包括：

获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；

将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；

基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正。

其中，所述获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像，包括：

采用低倍物镜对所述目标区域进行图像采集得到所述目标场景对应的全景图像；

采用高倍物镜分别对所述目标区域上各个区域进行图像采集，得到所述目标场景上各个区域各自对应的子图像。

其中，所述将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像，包括：

确定各个子图像各自对应的重叠区域并提取各个所述重叠区域各自对应的图像特征；

根据图像特征对任意相邻的两个子图像进行拼接处理，得到所述目标场景的拼接图像。

其中，所述基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正，包括：

将所述全景图像进行放大处理，以使所述全景图像的比例尺与所述拼接图像的比例尺相同；

确定放大处理后的全景图像上的目标子区域；

根据所述目标子区域对是拼接图像上的拼接处和边缘进行校正。

其中，所述根据所述目标子区域对是拼接图像上的拼接处和边缘进行校正，包括：

对所述拼接图像上的拼接处和边缘进行位置修正和色度修正。

第二方面，本发明提供一种拼接图像校正装置，包括：

采集单元，用于获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；

拼接单元，用于将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；

校正单元，用于基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正。

其中，所述采集单元包括：

第一采集子单元，用于采用低倍物镜对所述目标区域进行图像采集得到所述目标场景对应的全景图像；

第二采集子单元，用于采用高倍物镜分别对所述目标区域上各个区域进行图像采集，得到所述目标场景上各个区域各自对应的子图像。

其中，所述拼接单元包括：

图像特征子单元，用于确定各个子图像各自对应的重叠区域并提取各个所述重叠区域各自对应的图像特征；

图像处理子单元，用于根据图像特征对任意相邻的两个子图像进行拼接处理，得到所述目标场景的拼接图像。

其中，所述校正单元包括：

放大子单元，用于将所述全景图像进行放大处理，以使所述全景图像的比例尺与所述拼接图像的比例尺相同；

校正区子单元，用于确定放大处理后的全景图像上的目标子区域；

校正子单元，用于根据所述目标子区域对是拼接图像上的拼接处和边缘进行校正。

其中，所述校正子单元包括：

修正模块，用于对所述拼接图像上的拼接处和边缘进行位置修正和色度修正。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的拼接图像校正方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的拼接图像校正方法的步骤。

由上述技术方案可知，本发明提供一种拼接图像校正方法及装置，通过获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正，能够降低拼接图像上拼接区域的失真程度和边缘的发散程度，使得拼接图像的边缘锐利度，以及拼接区的过度程度更加自然。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的拼接图像校正方法的流程示意图。

图2为本发明实施例中的拼接图像校正方法中步骤s103的流程示意图。

图3为本发明实施例中的拼接图像校正装置的结构示意图。

图4为本发明实施例拼接图像校正装置中校正单元的结构示意图。

图5为本发明实施例中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种拼接图像校正方法的实施例，参见图1，所述拼接图像校正方法具体包含有如下内容：

s101：获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；

在进行高分辨显微图像采集时，根据微小物体的大小选用合适的低倍物镜对目标场景采集一张宽场全景图像，其中，目标场景是指显微图像上的感兴趣的区域。在高倍物镜下对该目标场景进行分区域采集。因此能够获得一张全景图像(即宽场图像)以及多张子图像(即高分辨子图像)。

s102：将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；

在本步骤中，基于图像特征的图像配准和图像融合的方法实现两幅或多幅图像拼接的。基于图像特征的配准方法是通过各个子图像的像素导出子图像的图像特征，然后以图像特征为标准，对相邻的子图像重叠部分的对应特征区域进行搜索匹配，该配准方法有比较高的健壮性和鲁棒性。

需要说明的是，基于图像特征的配准方法有两个过程：特征抽取和特征配准。首先从相邻两幅子图像中提取灰度变化明显的点、线、区域等特征形成特征集网。然后在相邻两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。最后将需要拼接的子图像变形后投影到同一曲面完成拼接即可。基于该方式能够将任意张图像进行拼接。

在具体实施时，多张子图像在进行拼接时，由于子图像间会存在视差、镜头失真、场景运动和曝光差异等不确定因素，导致拼接后的拼接图像通常存在拼接缝隙、色度突变、边缘发散等现象。

s103：基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正。

在本步骤中，基于目标场景对应的全景图像对拼接处理后的拼接图像进行校正，消除拼接图像的边缘区域的发散，以及消除拼接图像拼接处的拼接缝隙、色度突变。

从上述描述可知，本发明实施例提供的拼接图像校正方法，通过获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正，能够降低拼接图像上拼接区域的失真程度和边缘的发散程度，使得拼接图像的边缘锐利度，以及拼接区的过度程度更加自然。

在本发明的一实施例中，提供上述实施例中步骤s102的一种实现方式，具体的实现过程如下：

a、获取待拼接的各个子图像；

b、提取各个子图像各自对应的特征；

在本步骤中，(a)读取n张相同放大倍数下的不同视野的子图像；

(b)提取输入的n张不同视野下的子图像的surf特征向量；

(c)构建hessian矩阵：经过滤波后hessian矩阵可以简化为：计算h矩阵判别式，并判断是大于0或小于0，来判别该点是或不是极值点；

(d)利用hessian矩阵来构造高斯金字塔尺度空间，并对不同尺度的boxfilters与原图片卷积使得原始子图像保持不变而只改变滤波器的大小；

(e)先利用hessian矩阵确定候选点，然后通过非极大值抑制初步确定特征点，再经过滤除能量比较弱的关键点以及错误定位的关键点进一步精确定义特征点；

(f)最后在特征点的圆形邻域内计算各个扇形范围内x、y方向的haar小波响应，找到模最大的扇形方向并将其作为特征点主方向，即完成64维的surf特征向量的提取。

c、匹配子图像的特征；

在本步骤中，(a)针对多幅子图像中选取两张相邻的两张子图像a、b，利用步骤b生成a和b的关键点，用关键点surf特征向量的标准化欧氏距离作为两幅子图像关键点相似性检测的依据；

(b)通过暴力搜索为a中每一个关键点找到b中最接近的2个匹配点；

(c)针对(b)中的两个匹配点，若是最近点的标准欧式距离除以次近点的标准欧氏距离少于某个比例阈值，则接受这一对匹配点。为了保证特征匹配的稳定性，在这里我们特别地定义比例阈值为0.5。

d、对子图像的拼接合成。

(a)采用icp算法找出一致性匹配，使得两种子图像的关键点一一对应；

(b)采用vgg16训练得到所有子图像的特征矩阵，在此基础上进行图像匹配有效性的校验；vgg16是一种16层网络的cnn，其中13个卷积层，3个全链接层；

(c)验证匹配有效后，找出匹配子图像中的连通分量；

(d)针对每个连通分量，找出合适的旋转角度和合适的匹配连接点；

(e)采用滤波进行渲染优化，平滑连接完成子图像的拼接合成；

(f)得到切片完整的拼接图像。

在本发明的一实施例中，提供上述实施例中步骤s103的一种实现方式，参见图2，具体的实现过程如下：

s1031：将所述全景图像进行放大处理，以使所述全景图像的比例尺与所述拼接图像的比例尺相同；

在本步骤中，将低倍镜头下获得的宽场图像等比例放大，放大到与高倍镜头下的子图像的比例尺相同的程度；

s1032：确定放大处理后的全景图像上的目标子区域；

需要说明的是，目标子区域是拼接图像上需要校正的边缘和拼接处在放大处理后的全景图像上的投影。放大后的全景图像和拼接图像除分辨率不同外，两幅图像应该是百分百重叠的。

s1033：根据所述目标子区域对是拼接图像上的拼接处和边缘进行校正。

在本步骤中，建立全景图像和拼接图像之间的几何对应关系，使它们可以在一个共同的参照系中进行变换、比较和分析。

全景图像和拼接图像重叠，以全景图像为基底，对拼接图像的边缘和接缝区域(拼接处)进行修正，消除边缘发散，接缝失真等现象。具体是对所述拼接图像上的拼接处和边缘进行位置修正和色度修正。

可以理解的是，将等比例尺放大后的全景图像为基底，通过特征提取和图像配准，将全景图像和拼接图像重叠，对拼接图像的边缘和接缝区域进行修正，够消除拼接图像间拼接区域的失真，以及拼接图像边缘发散的问题。

从上述描述可知，本发明实施例用低倍镜头下获得的全景图像对高倍镜头下的拼接图像进行校正，消除拼接图拼上接区处的失真，以及拼接图像的边缘发散的问题，使得拼接图像的边缘锐利度，以及拼接区的过度程度更加自然。

本发明实施例提供一种能够实现所述拼接图像校正方法中全部内容的拼接图像校正装置的具体实施方式，参见图3，所述拼接图像校正装置具体包括如下内容：

采集单元10，用于获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；

拼接单元20，用于将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；

校正单元30，用于基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正。

其中，所述采集单元10包括：

第一采集子单元，用于采用低倍物镜对所述目标区域进行图像采集得到所述目标场景对应的全景图像；

第二采集子单元，用于采用高倍物镜分别对所述目标区域上各个区域进行图像采集，得到所述目标场景上各个区域各自对应的子图像。

其中，所述拼接单元20包括：

图像特征子单元，用于确定各个子图像各自对应的重叠区域并提取各个所述重叠区域各自对应的图像特征；

图像处理子单元，用于根据图像特征对任意相邻的两个子图像进行拼接处理，得到所述目标场景的拼接图像。

在本发明的一实施例中，参见图4，提供上述装置实施例中校正单元的具体结构，包括：

放大子单元31，用于将所述全景图像进行放大处理，以使所述全景图像的比例尺与所述拼接图像的比例尺相同；

校正区子单元32，用于确定放大处理后的全景图像上的目标子区域；

校正子单元33，用于根据所述目标子区域对是拼接图像上的拼接处和边缘进行校正。

其中，所述校正子单元33包括：

修正模块，用于对所述拼接图像上的拼接处和边缘进行位置修正和色度修正。

本发明提供的拼接图像校正装置的实施例具体可以用于执行上述实施例中的拼接图像校正方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

从上述描述可知，本发明实施例提供的拼接图像校正装置，通过获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正，能够降低拼接图像上拼接区域的失真程度和边缘的发散程度，使得拼接图像的边缘锐利度，以及拼接区的过度程度更加自然。

本申请提供一种用于实现所述拼接图像校正方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(communicationsinterface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述拼接图像校正方法的实施例及用于实现所述拼接图像校正装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

图5为本申请实施例的电子设备9600的系统构成的示意框图。如图5所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图5是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

一实施例中，拼接图像校正功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：

获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；

将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；

基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正。

从上述描述可知，本申请的实施例提供的电子设备，通过获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正，能够降低拼接图像上拼接区域的失真程度和边缘的发散程度，使得拼接图像的边缘锐利度，以及拼接区的过度程度更加自然。

在另一个实施方式中，拼接图像校正装置可以与中央处理器9100分开配置，例如可以将拼接图像校正配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现拼接图像校正功能。

如图5所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图5中所示的所有部件；此外，电子设备9600还可以包括图5中没有示出的部件，可以参考现有技术。

如图5所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为eprom等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

本发明的实施例还提供能够实现上述实施例中的拼接图像校正方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的拼接图像校正方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；

将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；

基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正。

从上述描述可知，本发明实施例提供的计算机可读存储介质，通过获取目标场景上各个区域各自对应的子图像和该目标场景对应的全景图像；其中，所述目标场景划分为多个区域；将各个区域各自对应的子图像进行拼接处理得到所述目标场景的拼接图像；基于所述目标场景对应的全景图像对所述目标场景的拼接图像进行校正，能够降低拼接图像上拼接区域的失真程度和边缘的发散程度，使得拼接图像的边缘锐利度，以及拼接区的过度程度更加自然。

虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本领域技术人员应明白，本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。