一种拼接线优化方法及设备与流程

本申请涉及图像处理技术领域，尤其涉及一种拼接线优化方法及设备。

背景技术：

现有技术中，图像拼接技术不仅在民用领域有重要的应用，如风景照的全景拼接，在军用领域也有很重要的应用，如无人机航拍图像序列的拼接。现有的图像拼接方法主要有：基于频域的变换位移方法，基于像素灰度级的方法和基于图像特征的拼接方法。但由于图像拼接技术的局限性，使得图像拼接之后得到的拼接线效果不佳，导致在不同拍摄视觉下同一物体的拼接出现扭曲和误差，又由于不同拍摄角度小的拍摄图像的亮度不一，也导致图像拼接后得不到理想的拼接效果，故在对图像进行拼接后，如何得到视觉效果很好的拼接线成为业界研究的主要课题。

技术实现要素：

本申请的一个目的是提供一种拼接线优化方法及设备，解决现有对图像进行拼接后得到的拼接线的视觉效果不佳的问题。

根据本申请的一个方面，提供了一种拼接线优化方法，该方法包括：

计算待拼接的两幅原始图像之间的变换关系；

基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线；

对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线。

进一步地，上述方法中，所述基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线，包括：

基于所述变换关系对所述两幅原始图像进行对齐，并根据最大流最小割算法对对齐后的两幅原始图像进行拼接，确定所述两幅原始图像之间的初始拼接线。

进一步地，上述方法中，所述对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线，包括：

在所述初始拼接线的两侧的预设像素范围内，预置至少一个初始聚类中心点；

通过硬聚类算法和所述初始聚类中心点，对两侧的所述预设像素范围内的所有像素点进行聚类，得到每个所述初始聚类中心点对应的聚类像素区域；

根据确定的每个所述聚类像素区域与所述初始拼接线的相对位置关系，按照预设的调整规则对所述初始拼接线进行调整，得到对应的调整拼接线；

更新所述调整拼接线两侧的所述预设像素范围内的像素点分别对应的权重，基于所述更新的权重和所述最大流最小割算法，再次对所述对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的更新拼接线；

将所述更新拼接线确定为所述初始拼接线，重复如上步骤，直至对所述初始拼接线的调整为零。

进一步地，上述方法中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线与所述聚类像素区域不相连，则所述聚类像素区域对应的初始拼接线保持不变。

进一步地，上述方法中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数相等，则所述聚类像素区域对应的初始拼接线保持不变。

进一步地，上述方法中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等，则将包含所述聚类像素区域内的像素点个数较少的一侧的所述预设像素范围内的所述聚类像素区域的边缘线，确定为所述调整拼接线。

进一步地，上述方法中，所述将所述更新拼接线确定为所述初始拼接线的同时，还包括：

分别对所述初始聚类中心点和所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行更新。

进一步地，上述方法中，所述分别对所述初始聚类中心点和所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行更新，包括：

确定所述初始拼接线保持不变时对应的所述聚类像素区域的区域个数，基于所述区域个数对所述初始聚类中心点进行移除更新；

基于所述初始拼接线保持不变时对应的所述聚类像素区域内的像素点，对所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行过滤更新。

进一步地，上述方法中，所述计算待拼接的两幅原始图像之间的变换关系，包括：

分别提取待拼接的两幅原始图像的尺度不变特征变换sift(scale-invariantfeaturetransform)特征点；

基于所述sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置；

基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系。

进一步地，上述方法中，所述采用欧氏距离的最近邻算法对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置，包括：

从所述两幅原始图像中的一幅原始图像中遍历选取一sift特征点；

分别计算所述sift特征点的位置与所述两幅原始图像中的另一幅原始图像中的每个sift特征点的位置之间的欧式距离，并将所述欧式距离按照从小到大的顺序排列；

若排在第一位的欧式距离与排在第二位的欧式距离之间的比值，小于预设的距离比例阈值，则将计算所述排在第一位的欧式距离的两个sift特征点确定为一组特征点对，得到所述两幅原始图像对应的至少四组特征点对及其位置。

进一步地，上述方法中，所述基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系，包括：

预置随机选取次数；

每次从所有的特征点对中随机选取四组特征点对及其位置，基于所述每次选取的四组特征点对及其位置进行计算，得到所述随机选取次数中每次选取的四组特征点对对应的变换关系；

基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系。

进一步地，上述方法中，所述基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系，包括：

对于每次所述选取的四组特征点对之外剩余的特征点对，按照所述选取的四组特征点对对应的变换关系进行变换误差计算，得到所述剩余的特征点对之间的变换误差值；

基于预设的变换误差阈值和所述剩余的特征点对之间的变换误差值，确定每次所述选取的四组特征点对对应的变换关系的内点的个数；

在所述随机选取次数中，选取内点的个数最大时对应的变换关系，作为所述两幅原始图像之间的变换关系。

进一步地，上述方法中，所述基于预设的变换误差阈值和所述剩余的特征点对之间的变换误差值，确定每次所述选取的四组特征点对对应的变换关系的内点的个数，包括：

判断所述剩余的特征点对之间的变换误差值是否小于等于所述预设的变换误差阈值，

若是，则将所述剩余的特征点对中的sift特征点确定为所述选取的四组特征点对对应的变换关系的一个内点，并统计所述内点的个数，得到每次所述选取的四组特征点对对应的变换关系的内点的个数。

进一步地，上述方法中，所述基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线之后，还包括：

确定拼接后所述两幅原始图像的重叠区域和非重叠区域，统计所述重叠区域的像素点的个数和像素平均值；

基于所述重叠区域及其像素点的个数和像素平均值，分别对所述两幅原始图像的非重叠区域的每个像素点进行增益补偿。

进一步地，上述方法中，所述基于所述重叠区域及其像素点的个数和像素平均值，分别对所述两幅原始图像的非重叠区域的每个像素点进行增益补偿，包括：

设所述两幅原始图像分别为图a和图b，其中，图a和图b的重叠区域为sab，图a中的非重叠区域为sa，图b中的非重叠区域为sb；

采用增益补偿算法，对重叠区域sab及其像素点的个数和像素平均值进行计算，分别得到图a中的sa对应的补偿增益值ga和图b中的sb对应的补偿增益值gb；

基于ga对图a中的sa的每个像素点的像素值进行增益补偿，同时基于gb对图b中的sb的每个像素点的像素值进行增益补偿。

根据本申请的另一方面，还提供了一种拼接线优化设备，其中，所述设备包括：

计算装置，用于计算待拼接的两幅原始图像之间的变换关系；

拼接装置，用于基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线；

优化装置，用于对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线。

进一步地，上述设备中，所述拼接装置用于：

基于所述变换关系对所述两幅原始图像进行对齐，并根据最大流最小割算法对对齐后的两幅原始图像进行拼接，确定所述两幅原始图像之间的初始拼接线。

进一步地，上述设备中，所述优化装置用于：

在所述初始拼接线的两侧的预设像素范围内，预置至少一个初始聚类中心点；

通过硬聚类算法和所述初始聚类中心点，对两侧的所述预设像素范围内的所有像素点进行聚类，得到每个所述初始聚类中心点对应的聚类像素区域；

根据确定的每个所述聚类像素区域与所述初始拼接线的相对位置关系，按照预设的调整规则对所述初始拼接线进行调整，得到对应的调整拼接线；

更新所述调整拼接线两侧的所述预设像素范围内的像素点分别对应的权重，基于所述更新的权重和所述最大流最小割算法，再次对所述对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的更新拼接线；

将所述更新拼接线确定为所述初始拼接线，重复如上步骤，直至对所述初始拼接线的调整为零。

进一步地，上述设备中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线与所述聚类像素区域不相连，则所述聚类像素区域对应的初始拼接线保持不变。

进一步地，上述设备中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数相等，则所述聚类像素区域对应的初始拼接线保持不变。

进一步地，上述设备中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等，则将包含所述聚类像素区域内的像素点个数较少的一侧的所述预设像素范围内的所述聚类像素区域的边缘线，确定为所述调整拼接线。

进一步地，上述设备中，所述优化装置还用于：

分别对所述初始聚类中心点和所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行更新。

进一步地，上述设备中，所述优化装置用于：

确定所述初始拼接线保持不变时对应的所述聚类像素区域的区域个数，基于所述区域个数对所述初始聚类中心点进行移除更新；

基于所述初始拼接线保持不变时对应的所述聚类像素区域内的像素点，对所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行过滤更新。

进一步地，上述设备中，所述步骤计算装置用于：

分别提取待拼接的两幅原始图像的尺度不变特征变换sift特征点；

基于所述sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置；

基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系。

进一步地，上述设备中，所述计算装置用于：

从所述两幅原始图像中的一幅原始图像中遍历选取一sift特征点；

分别计算所述sift特征点的位置与所述两幅原始图像中的另一幅原始图像中的每个sift特征点的位置之间的欧式距离，并将所述欧式距离按照从小到大的顺序排列；

若排在第一位的欧式距离与排在第二位的欧式距离之间的比值，小于预设的距离比例阈值，则将计算所述排在第一位的欧式距离的两个sift特征点确定为一组特征点对，得到所述两幅原始图像对应的至少四组特征点对及其位置。

进一步地，上述设备中，所述计算装置用于：

预置随机选取次数；

每次从所有的特征点对中随机选取四组特征点对及其位置，基于所述每次选取的四组特征点对及其位置进行计算，得到所述随机选取次数中每次选取的四组特征点对对应的变换关系；

基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系。

进一步地，上述设备中，所述计算装置用于：

对于每次所述选取的四组特征点对之外剩余的特征点对，按照所述选取的四组特征点对对应的变换关系进行变换误差计算，得到所述剩余的特征点对之间的变换误差值；

基于预设的变换误差阈值和所述剩余的特征点对之间的变换误差值，确定每次所述选取的四组特征点对对应的变换关系的内点的个数；

在所述随机选取次数中，选取内点的个数最大时对应的变换关系，作为所述两幅原始图像之间的变换关系。

进一步地，上述设备中，所述计算装置用于：

判断所述剩余的特征点对之间的变换误差值是否小于等于所述预设的变换误差阈值，

若是，则将所述剩余的特征点对中的sift特征点确定为所述选取的四组特征点对对应的变换关系的一个内点，并统计所述内点的个数，得到每次所述选取的四组特征点对对应的变换关系的内点的个数。

进一步地，上述设备中，所述拼接装置还用于：

确定拼接后所述两幅原始图像的重叠区域和非重叠区域，统计所述重叠区域的像素点的个数和像素平均值；

基于所述重叠区域及其像素点的个数和像素平均值，分别对所述两幅原始图像的非重叠区域的每个像素点进行增益补偿。

进一步地，上述设备中，所述拼接装置用于包括：

设所述两幅原始图像分别为图a和图b，其中，图a和图b的重叠区域为sab，图a中的非重叠区域为sa，图b中的非重叠区域为sb；

采用增益补偿算法，对重叠区域sab及其像素点的个数和像素平均值进行计算，分别得到图a中的sa对应的补偿增益值ga和图b中的sb对应的补偿增益值gb；

基于ga对图a中的sa的每个像素点的像素值进行增益补偿，同时基于gb对图b中的sb的每个像素点的像素值进行增益补偿。

根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上述所述的方法。

根据本申请的另一方面，还提供了一种用于拼接线优化的设备，其中，该设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如上述所述方法的操作。

与现有技术相比，本申请的一实施例中，当需要对拍摄的或者获取的原始图像进行拼接时，需要计算待拼接的两幅原始图像之间的变换关系；基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线；为了得到视觉效果更好的图像拼接之后的拼接线；对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线，不仅有效地提高了图像拼接后的拼接线(此处为最优拼接线)的视觉效果，还基于提高视觉效果的最优拼接线提高了两幅原始图像进行图像拼接后的拼接图像的视觉效果。

进一步地，本申请在计算待拼接的两幅原始图像之间的变换关系时，包括：分别提取待拼接的两幅原始图像的尺度不变特征变换sift特征点；基于所述sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置；基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系，实现了对在不同的拍摄视角下拍摄的同一桌面场景中的、待拼接的两幅原始图像之间的对应关系(即变换关系)的计算，进而得到待拼接的两幅原始图像之间的变换关系，以便后续基于该变换关系对待拼接的两幅原始图像进行图像拼接。

进一步地，本申请在基于所述sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置中，具体包括：从所述两幅原始图像中的一幅原始图像中遍历选取一sift特征点；分别计算所述sift特征点的位置与所述两幅原始图像中的另一幅原始图像中的每个sift特征点的位置之间的欧式距离，并将所述欧式距离按照从小到大的顺序排列；若排在第一位的欧式距离与排在第二位的欧式距离之间的比值，小于预设的距离比例阈值，则将计算所述排在第一位的欧式距离的两个sift特征点确定为一组特征点对，得到所述两幅原始图像对应的至少四组特征点对及其位置，实现了采用欧氏距离的最近邻算法来对两幅原始图像之间的sift特征点进行特征匹配，以便后续基于特征匹配得到的至少四组特征点对来得到两幅原始图像之间的变换关系。

进一步地，本申请在基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系中，具体包括：预置随机选取次数；每次从所有的特征点对中随机选取四组特征点对及其位置，基于所述每次选取的四组特征点对及其位置进行计算，得到所述随机选取次数中每次选取的四组特征点对对应的变换关系；基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系，实现了通过随机抽样一致性方法来计算得到两幅原始图像之间的单应性矩阵，以便后续基于该单应性矩阵对待拼接的两幅原始图像进行图像拼接。

进一步地，本申请在基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系中，具体包括：对于每次所述选取的四组特征点对之外剩余的特征点对，按照所述选取的四组特征点对对应的变换关系进行变换误差计算，得到所述剩余的特征点对之间的变换误差值；基于预设的变换误差阈值和所述剩余的特征点对之间的变换误差值，确定每次所述选取的四组特征点对对应的变换关系的内点的个数；在所述随机选取次数中，选取内点的个数最大时对应的变换关系，作为所述两幅原始图像之间的变换关系，实现对两幅原始图像之间的变换关系的优选，进而得到能够精确反映所述两幅原始图像之间的对应关系的变换关系，进一步保证得到的所述变换关系的精确度。

进一步地，本申请在基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线之后，还包括：确定拼接后所述两幅原始图像的重叠区域和非重叠区域，统计所述重叠区域的像素点的个数和像素平均值；基于所述重叠区域及其像素点的个数和像素平均值，分别对所述两幅原始图像的非重叠区域的每个像素点进行增益补偿，实现对两幅原始图像的非重叠区域曝光补偿，使得对两幅原始图像进行拼接后得到的重叠区域的一侧或两侧的非重叠区域的亮度保持一致，进一步实现拼接后的重叠区域和非重叠区域的色彩的平稳过渡，进一步得到视觉效果更好的两幅原始图像拼接后的拼接图像和拼接线。

进一步地，本申请在对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线，具体步骤如下：在所述初始拼接线的两侧的预设像素范围内，预置至少一个初始聚类中心点；通过硬聚类算法和所述初始聚类中心点，对两侧的所述预设像素范围内的所有像素点进行聚类，得到每个所述初始聚类中心点对应的聚类像素区域；根据确定的每个所述聚类像素区域与所述初始拼接线的相对位置关系，按照预设的调整规则对所述初始拼接线进行调整，得到对应的调整拼接线；更新所述调整拼接线两侧的所述预设像素范围内的像素点分别对应的权重，基于所述更新的权重和所述最大流最小割算法，再次对所述对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的更新拼接线；将所述更新拼接线确定为所述初始拼接线，重复如上步骤，直至对所述初始拼接线的调整为零，达到了对两幅原始图像进行对齐拼接之后的初始拼接线进行优化的目的，进而提高图像拼接之后的视觉效果。

进一步地，本申请在将所述更新拼接线确定为所述初始拼接线的同时，还包括：分别对所述初始聚类中心点和所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行更新。进一步地，具体的更新步骤包括：确定所述初始拼接线保持不变时对应的所述聚类像素区域的区域个数，基于所述区域个数对所述初始聚类中心点进行移除更新；基于所述初始拼接线保持不变时对应的所述聚类像素区域内的像素点，对所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行过滤更新，将初始拼接线保持不变时对应的聚类中心点和像素点过滤掉，不仅减少了下一次基于硬聚类算法对调整后的初始拼接线进行优化时需要聚类的像素点的总个数，还可以减少整个最优拼接线的生成时间，以加速所述最优拼接线的生成过程。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出本申请一个方面的一种拼接线优化方法的流程示意图；

图2示出根据本申请一个方面的一种拼接线优化方法中的两幅原始图像中的其中一幅原始图像的示意图；

图3示出根据本申请一个方面的一种拼接线优化方法中的两幅原始图像中的其中另一幅原始图像的示意图；

图4示出本申请一个方面的一种拼接线优化方法中的将两幅原始图像经最大流最小割算法进行拼接后的拼接图像的示意图；

图5示出本申请一个方面的一种拼接线优化方法中的初始拼接线与聚类中心点对应的聚类像素区域之间的相对位置关系示意图；

图6示出本申请一个方面的一种拼接线优化方法中的最优拼接线对应的两幅原始图像的拼接图像的示意图；

图7示出本申请一个方面的一种拼接线优化设备的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

图1示出本申请一个方面的一种拼接线优化方法的流程示意图，应用于图像拼接过程中的服务器端；该方法包括：步骤s11、步骤s12和步骤s13，其中，具体包括如下：

当需要对拍摄的或者获取的原始图像进行拼接时，所述步骤s11需要计算待拼接的两幅原始图像之间的变换关系；所述步骤s12基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线；为了得到视觉效果更好的图像拼接之后的拼接线，所述步骤s13对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线，不仅有效地提高了图像拼接后的拼接线(此处为最优拼接线)的视觉效果，还基于提高视觉效果的最优拼接线提高了两幅原始图像进行图像拼接后的拼接图像的视觉效果。

需要说明的是，所述原始图像既可以是拍摄或获取的拍摄全景图像时的同一个全景中的不同场景下的拍摄图像，也可以是从不同拍摄角度拍摄的同一物体的拍摄图像等。当然，本领域的技术人员应能理解，其他现有的或今后可能出现的需要进行图像拼接的原始图像如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

本申请一实施例中，所述步骤s11计算待拼接的两幅原始图像之间的变换关系，包括：

分别提取待拼接的两幅原始图像的尺度不变特征变换sift特征点；

基于所述sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置；

基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系。

在此，所述变换关系可以包括但不限于是单应性矩阵等。在本申请的下述实施例中，将所述变换关系优选为单应性矩阵h。当然，本领域的技术人员应能理解所述单应性矩阵h仅为本申请的所述变换关系的一优选实施例，其他现有的或今后可能出现的体现两幅原始图像之间的对应关系的变换关系如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

例如，所述步骤s11对待连接的两幅原始图像进行所述变换关系的计算之前，需要获取待连接的两幅原始图像，分别如图2和图3所示，其中，图2和图3所示的两幅原始图像为在不同的拍摄视角下拍摄的同一桌面场景中的图像；在获取到待拼接的图2和图3中的两幅原始图像之后，分别对图2和图3中的原始图像进行尺度不变特征变换sift(scale-invariantfeaturetransform)特征提取，得到待拼接的图2中的原始图像对应的sift特征点和图3中的原始图像对应的sift特征点，其中，每个sift特征点的表现形式为sift特征向量(每个sift特征向量是一个128维的向量，包括像素值、灰度值及位置等)；所述步骤s11继续基于图2和3中的原始图像各自对应的sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置；所述步骤s11继续基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系，实现了对在不同的拍摄视角下拍摄的同一桌面场景中的、待拼接的两幅原始图像之间的对应关系(即变换关系)的计算，进而得到待拼接的两幅原始图像之间的变换关系，以便后续基于该变换关系对待拼接的两幅原始图像进行图像拼接。

本申请一实施例中，所述步骤s11中的基于所述sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置，包括：

从所述两幅原始图像中的一幅原始图像中遍历选取一sift特征点；

分别计算所述sift特征点的位置与所述两幅原始图像中的另一幅原始图像中的每个sift特征点的位置之间的欧式距离，并将所述欧式距离按照从小到大的顺序排列；

若排在第一位的欧式距离与排在第二位的欧式距离之间的比值，小于预设的距离比例阈值，则将计算所述排在第一位的欧式距离的两个sift特征点确定为一组特征点对，得到所述两幅原始图像对应的至少四组特征点对及其位置。

例如，所述步骤s11中，若所述两幅原始图像分别为图a和图b，图a对应的sift特征点有sift特征点aa、sift特征点ab、sift特征点ac、sift特征点ad及sift特征点ae，图b对对应的sift特征点为sift特征点ba、sift特征点bb、sift特征点bc、sift特征点bd及sift特征点be，所述步骤s11从两幅原始图像中的其中一幅原始图像：图a中遍历选取一sift特征点ac，分别计算该sift特征点ac的位置与所述两幅原始图像中的另一幅原始图像：图b中的五个sift特征点(ba、bb、bc、bd及be)的位置之间的欧式距离，分别得到sift特征点ac与对应的sift特征点：ba、bb、bc、bd及be的位置之间的欧式距离d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)，并将所述欧式距离d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)按照从小到大的顺序排列，得到排列之后的欧式距离的顺序为：d(ab3)、d(ab2)、d(ab4)、d(ab5)及d(ab1)；所述步骤s11继续计算排在第一位的欧式距离d(ab3)与排在第二位的欧式距离d(ab2)之间的比值d(ab3)/d(ab2)；若该比值d(ab3)/d(ab2)小于预设的距离比例阈值d(阈值)，则将将计算所述排在第一位的欧式距离d(ab3)的两个sift特征点(即sift特征点ac和sift特征点bc)确定为一组特征点对(ac，bc)，通过上述计算得到特征点对的步骤，得到所述两幅原始图像：图a和图b对应的至少四组特征点对及其位置，实现了采用欧氏距离的最近邻算法来对两幅原始图像之间的sift特征点进行特征匹配，以便后续基于特征匹配得到的至少四组特征点对来得到两幅原始图像之间的变换关系。

本申请一实施例中，所述步骤s11中的基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系，包括：

预置随机选取次数；

每次从所有的特征点对中随机选取四组特征点对及其位置，基于所述每次选取的四组特征点对及其位置进行计算，得到所述随机选取次数中每次选取的四组特征点对对应的变换关系；

基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系。

例如，为了更加精确地得到待拼接的两幅原始图像之间的变换关系，则所述步骤s11预置随机选取次数，该随机选取次数为大于等于一的正整数；所述步骤s11在该随机选取次数内，每次从所有的特征点对(所有的特征点对至少有四组)中随机选取四组特征点对及其位置，若随机选取的四组特征点的位置分别为：{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}，其中，待计算的两幅原始图像之间的单应性矩阵h(即变换关系)为：

基于该单应性矩阵对该选取的四组特征点对及其位置进行计算，其计算过程如下所示：

计算得到选取的四组特征点对对应的单应性矩阵h1；接着所述步骤s11继续从所有的特征点对中随机选取四组特征点对，并重复上述计算单应性矩阵h1的步骤，若随机选取次数为20次，则得到20次中的每次选取的四组特征点对对应的单应性矩阵分别为：h1、h2、h3、……、h19、h20；为了更精确地得到两幅原始图像之间的单应性矩阵(即变换关系)，则需要基于20次中的每次选取的四组特征点对对应的单应性矩阵分别为：h1、h2、h3、……、h19、h20，优选得到所述两幅原始图像之间的单应性矩阵h，实现了通过随机抽样一致性方法来计算得到两幅原始图像之间的单应性矩阵，以便后续基于该单应性矩阵对待拼接的两幅原始图像进行图像拼接。

本申请一实施例中，所述步骤s11中的基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系，包括：

对于每次所述选取的四组特征点对之外剩余的特征点对，按照所述选取的四组特征点对对应的变换关系进行变换误差计算，得到所述剩余的特征点对之间的变换误差值；

基于预设的变换误差阈值和所述剩余的特征点对之间的变换误差值，确定每次所述选取的四组特征点对对应的变换关系的内点的个数；

在所述随机选取次数中，选取内点的个数最大时对应的变换关系，作为所述两幅原始图像之间的变换关系。

例如，若所述选取的四组特征点对{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}之外剩余的特征点对有三组，则按照所述选取的四组特征点对对应的单应性矩阵h1进行变换误差计算，计算变换误差值ti为：

其中，{(xi，yi)，(x’i，y’i)}为所述选取的四组特征点对之外剩余的特征点对的位置，得到每个所述剩余的特征点对之间的变换误差值ti；所述步骤s11继续基于预设的变换误差阈值t和每个所述剩余的特征点对之间的变换误差值ti，得到所述选取的四组特征点对对应的单应性矩阵h1的内点的个数；重复上述步骤，进而可以得到20次中的每次选取的四组特征点对对应的单应性矩阵h1、h2、h3、……、h19、h20分别对应的内点的个数n内点；然后在所述随机选取次数(20次)中，选取内点的个数最大n内点max时对应的单应性矩阵，若在20次中，随机选取的四组特征点对对应的单应性矩阵h16对应的内点的个数n内点为20次随机选取的四组特征点对对应的单应性矩阵的内点的个数的最大n内点max，则将内点的个数n内点max对应的单应性矩阵h16作为所述两幅原始图像之间的变换关系(即单应性矩阵h16)，实现对两幅原始图像之间的变换关系的优选，进而得到能够精确反映所述两幅原始图像之间的对应关系的变换关系，进一步保证得到的所述变换关系的精确度。

本申请一实施例中，所述步骤s11中的基于预设的变换误差阈值和所述剩余的特征点对之间的变换误差值，确定每次所述选取的四组特征点对对应的变换关系的内点的个数，包括：

判断所述剩余的特征点对之间的变换误差值是否小于等于所述预设的变换误差阈值，

若是，则将所述剩余的特征点对中的sift特征点确定为所述选取的四组特征点对对应的变换关系的一个内点，并统计所述内点的个数，得到每次所述选取的四组特征点对对应的变换关系的内点的个数。

例如，所述步骤s11判断所述剩余的特征点对之间的变换误差值ti是否小于等于所述预设的变换误差阈值t，判断不等式如下：

若所述剩余的特征点对之间的变换误差值小于等于所述预设的变换误差阈值t，则将所述剩余的特征点对中的sift特征点确定为所述选取的四组特征点对对应的变换关系的一个内点，即所述剩余的特征点对中的sift特征点在所述变换误差阈值范围内，符合所述选取的四组特征点对对应的变换关系(即单应性矩阵h)；若所述剩余的特征点对之间的变换误差值大于所述预设的变换误差阈值t(即计算的变换误差值不在变换误差阈值t内)，则将该组特征点对中的sift特征点作为该变换关系的外点；通过上述不等式判断出所述选取的四组特征点对之外剩余的特征点对中的sift特征点的内点的个数，进而可以得到随机选取次数(20次)中的每次所述选取的四组特征点对对应的变换关系的内点的个数，实现对基于选取的四组特征点对对应的变换关系的验证，并统计验证过程中符合该变换关系的内点的个数，以便后续基于该变换关系的内点的个数来选取最符合所述两幅原始图像之间的对应关系的变换关系，以进一步提高变换关系的精确度。

本申请一实施例中，所述步骤s12基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线，包括：

基于所述变换关系对所述两幅原始图像进行对齐，并根据最大流最小割算法对对齐后的两幅原始图像进行拼接，确定所述两幅原始图像之间的初始拼接线。

本申请一实施例中，所述步骤s12基于所述步骤s11中计算得到反映在不同的拍摄视角下拍摄的同一桌面场景中的、待拼接的两幅原始图像：图a和图b之间的一一对应关系的单应性矩阵h，对所述两幅原始图像进行对齐，对齐过程中，若首先以图a为基准，在对齐的图像里面，将图a中的一sift特征点对应的像素点p’(x’，y’)，变化成p’(x’，y’，1)，并求单应性矩阵h的逆矩阵h^-1，则有h^-1p’＝p(x，y，1)，其中，(x，y)为图a中的一sift特征点对应的像素点p’在图b中对应的位置的坐标，取该位置(x，y)对应的sift特征点的像素点放在p’处，若位置(x，y)对应的sift特征点的像素点超出图b的宽和高的范围，则从图a中取像素点，该像素点对应的sift特征点的位置为(x’，y’)；若该位置(x，y)对应的sift特征点的像素点也不在图a的宽和高的范围内，则将该位置(x，y)对应的sift特征点的像素点置灰或填黑或空白等，以表示此处不存在对应匹配的特征点，实现对图a和图b的对齐。所述步骤s12继续根据最大流最小割算法对对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的初始拼接线，实现对待拼接的两幅原始图像之间的初步的图像拼接，以便后续对基于最大流最小割算法进行图像拼接得到的初始拼接线进行优化。

本申请一实施例中，由于待拼接的两幅原始图像是从不同的拍摄视角进行拍摄的，故光照不一致，导致对齐拼接后的拼接图像具有明显的初始拼接线，以致拼接后得到的拼接图像的视觉效果不好，故所述步骤s12基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线之后，还包括：

确定拼接后所述两幅原始图像的重叠区域和非重叠区域，统计所述重叠区域的像素点的个数和像素平均值；此处，统计得到步骤s12中对两幅原始图像进行拼接后的重叠区域的像素点的个数n重叠像素，并对所有的重叠区域的像素点的像素值进行求和取平均，得到重叠区域的所有像素点的像素平均值v像素；接着基于所述重叠区域及其像素点的个数n重叠像素和像素平均值v像素，分别对所述两幅原始图像的非重叠区域的每个像素点进行增益补偿，实现对两幅原始图像的非重叠区域曝光补偿，使得对两幅原始图像进行拼接后得到的重叠区域的一侧或两侧的非重叠区域的亮度保持一致，进一步实现拼接后的重叠区域和非重叠区域的色彩的平稳过渡，进一步得到视觉效果更好的两幅原始图像拼接后的拼接图像和拼接线。

本申请的一实施例中，所述步骤s12中的基于所述重叠区域及其像素点的个数和像素平均值，分别对所述两幅原始图像的非重叠区域的每个像素点进行增益补偿，包括：

设所述两幅原始图像分别为图a和图b，其中，图a和图b的重叠区域为sab，图a中的非重叠区域为sa，图b中的非重叠区域为sb；

采用增益补偿算法，对重叠区域sab及其像素点的个数n重叠像素和像素平均值v像素进行计算，分别得到图a中的sa对应的补偿增益值ga和图b中的sb对应的补偿增益值gb；

基于ga对图a中的sa的每个像素点的像素值进行增益补偿，同时基于gb对图b中的sb的每个像素点的像素值进行增益补偿。例如，用ga乘以图a中的非重叠区域sa中的每个像素点的像素值，用gb乘以图b中的非重叠区域sb中的每个像素点的像素值，进而达到拼接后的图a和图b各自对应的非重叠区域的曝光补偿，使得对两幅原始图像进行拼接后得到的重叠区域的一侧或两侧的非重叠区域的亮度保持一致，进一步实现拼接后的重叠区域和非重叠区域的色彩的平稳过渡，进一步得到视觉效果更好的两幅原始图像拼接后的拼接图像和拼接线。

本申请一实施例中，如图4所示(其中，图4为图2和图3两幅原始图像基于最大流最小割算法进行拼接之后得到的拼接图像，图4中标记的椭圆内的拼接效果就不佳)：由于在所述步骤s11中求解所述两幅原始图像之间的变换关系时的迭代计算次数(即预置的随机选取次数)不充分，导致得到的反映两幅原始图像之间的一一对应关系的变换关系不理想，进而导致的对齐拼接后的拼接图像的初始拼接线存在明显的视觉差的效果；又由于通过最大流最小割算法进行图像拼接得到的初始拼接线存在穿透物体，使得在两幅原始图像中均存在的相同物体被强行拼合，效果较差，故为了解决上述初始拼接线视觉效果差的问题，所述步骤s13对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线，包括：

在所述初始拼接线的两侧的预设像素范围内，预置至少一个初始聚类中心点；

通过硬聚类算法和所述初始聚类中心点，对两侧的所述预设像素范围内的所有像素点进行聚类，得到每个所述初始聚类中心点对应的聚类像素区域；

根据确定的每个所述聚类像素区域与所述初始拼接线的相对位置关系，按照预设的调整规则对所述初始拼接线进行调整，得到对应的调整拼接线；

更新所述调整拼接线两侧的所述预设像素范围内的像素点分别对应的权重，基于所述更新的权重和所述最大流最小割算法，再次对所述对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的更新拼接线；

将所述更新拼接线确定为所述初始拼接线，重复如上步骤，直至对所述初始拼接线的调整为零。

在此，所述硬聚类算法可以包括但不限于是k均值算法(k-means算法)等。在本申请的下述实施例中，将所述硬聚类算法优选为k-means。当然，本领域的技术人员应能理解所述k-means算法仅为本申请的所述硬聚类算法的一优选实施例，其他现有的或今后可能出现的可以进行聚类的硬聚类算法如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

例如，对初始拼接线的优化过程具体为：步骤一、如图5所示，在基于最大流最小割算法进行拼接之后得到的拼接图像中的初始拼接线(如图5中的虚线)的两侧的预设像素范围δ内，预置至少一个初始聚类中心点，其中，该初始聚类中心点的个数为大于等于1的正整数。若该预置的初始聚类中心点为5个，分别为s、f、x、y和z；步骤二、通过k-means算法和预置的所述初始聚类中心点：s、f、x、y和z，对如图5中的虚线对应的初始拼接线两侧的预设像素范围δ内的所有像素点进行聚类，得到每个初始聚类中心点对应的聚类像素区域(如图5中的椭圆对应的像素区域)分别为：ks、kf、kx、ky和kz；步骤三、根据确定的每个所述聚类像素区域与所述初始拼接线的相对位置关系(如图5所示该聚类像素区域在虚线对应的初始拼接线的左侧、右侧或穿过等)，按照预设的调整规则对所述初始拼接线进行调整，得到对应的调整拼接线(如图5中的椭圆区域编号为3和4对应的边缘粗线)，实现对初始拼接线的纠正；步骤四、更新所述调整拼接线两侧的所述预设像素范围内的像素点分别对应的权重，基于所述更新的权重和所述最大流最小割算法，再次对所述对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的更新拼接线，以实现对两幅原始图像之间的初始拼接线进行调整更新的目的；为了得到调整更新后的更加精确的两幅原始图像进行图像拼接之后的最优拼接线，故将更新拼接线确定为所述初始拼接线，重复执行上述步骤一至步骤四所述的操作流程，直至对所述初始拼接线的调整为零，进而得到所述两幅原始图像之间的最优拼接线如图6所示，达到了对两幅原始图像进行对齐拼接之后的初始拼接线进行优化的目的。

本申请一实施例中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线与所述聚类像素区域不相连，则所述聚类像素区域对应的初始拼接线保持不变。

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数相等，则所述聚类像素区域对应的初始拼接线保持不变。

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等，则将包含所述聚类像素区域内的像素点个数较少的一侧的所述预设像素范围内的所述聚类像素区域的边缘线，确定为所述调整拼接线。

例如，如图5所示，若初始拼接线与初始聚类中心点s和f分别对应的所述聚类像素区域ks和kf的位置关系为所述初始拼接线与所述聚类像素区域不相连，其中，该聚类像素区域ks属于图5中的椭圆区域编号为1的情况(σr＜σl且σr＝0，其中，σl为初始拼接线一侧的预设像素范围内的像素点的个数，σr为初始拼接线的另一侧的预设像素范围内的像素点的个数)，该聚类像素区域kf属于图5中的椭圆区域编号为2的情况(σr＞σl且σl＝0)，则属于椭圆区域编号为1和2的情况对应的所述聚类像素区域对应的初始拼接线保持不变；若初始拼接线与初始聚类中心点x对应的所述聚类像素区域kx的位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数相等(σr＝σl且σr≠0,σl≠0)，则所述聚类像素区域kx对应的初始拼接线保持不变，此种情况属于图5中的其他四种情况对应的第5种情况，该第5中情况没有在图5中加以体现；若初始拼接线与初始聚类中心点y对应的所述聚类像素区域ky的位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等：属于图5中的椭圆编号为4的情况(σr＞σl且σl≠0)，则将将包含所述聚类像素区域内的像素点个数σl的一侧的所述预设像素范围内的所述聚类像素区域的边缘线确定为所述调整拼接线(即将椭圆编号为4的左侧的粗线的边缘线作为调整拼接线)；若初始拼接线与初始聚类中心点z对应的所述聚类像素区域kz的位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等：属于图5中的椭圆编号为3的情况(σr＜σl且σr≠0)，则将将包含所述聚类像素区域内的像素点个数σr的一侧的所述预设像素范围内的所述聚类像素区域的边缘线确定为所述调整拼接线(即将椭圆编号为3的右侧的粗线的边缘线作为调整拼接线)，以实现通过kmeans算法对两幅原始图像之间的初始拼接线进行纠正并优化。

接着本申请的上述实施例中，所述步骤s13中的将所述更新拼接线确定为所述初始拼接线的同时，还包括：

分别对所述初始聚类中心点和所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行更新。进一步地，具体的更新步骤包括：

确定所述初始拼接线保持不变时对应的所述聚类像素区域的区域个数，基于所述区域个数对所述初始聚类中心点进行移除更新；

基于所述初始拼接线保持不变时对应的所述聚类像素区域内的像素点，对所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行过滤更新。

例如，对两幅原始图像进行赌气拼接之后得到初始拼接线之后，预置的初始聚类中心点为10，得到上述基于初始拼接线与初始聚类中心点对应的聚类像素区域之间的相对位置关系的5种情况，若属于上述所述初始拼接线保持不变时的情况1、2、5这三种情况的聚类像素区域的区域个数为7个(即对应7个初始聚类中心点)，属于上述需要对初始拼接线进行调整的第3、4种情况的聚类像素区域的区域个数为3个，则所述步骤s13还基于所述初始拼接线保持不变时的情况1、2、5这三种情况的聚类像素区域的区域个数，对所述初始聚类中心点进行移除更新，则更新下次基于kmeans算法对调整后的初始拼接线进行优化时的聚类中心点为3个或2个或1个等；同时，若初始拼接线处理的像素点的个数为100个，基于所述初始拼接线保持不变时的情况1、2、5这三种情况的聚类像素区域内的像素点为78个，则将对初始拼接线保持不变时的聚类像素区域内的78个像素点过滤，下一次基于kmeans算法对调整后的初始拼接线进行优化时的像素点为100个像素点中剩余的22个像素点(即对进行调整的第3、4种情况的聚类像素区域内的像素点再次基于kmeans算法进行聚类)，直至对所述初始拼接线的调整为零，将初始拼接线保持不变时对应的聚类中心点和像素点过滤掉，不仅减少了下一次基于kmeans算法对调整后的初始拼接线进行优化时需要聚类的像素点的总个数，还可以减少整个最优拼接线的生成时间，以加速所述最优拼接线的生成过程。

图7示出本申请一个方面的一种拼接线优化设备的结构示意图，应用于图像拼接过程中的对拼接线的优化过程；该设备包括：计算装置11、拼接装置12和优化装置13，其中，具体包括如下：

当需要对拍摄的或者获取的原始图像进行拼接时，所述计算装置11需要计算待拼接的两幅原始图像之间的变换关系；所述拼接装置12用于基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线；为了得到视觉效果更好的图像拼接之后的拼接线，所述优化装置13用于对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线，不仅有效地提高了图像拼接后的拼接线(此处为最优拼接线)的视觉效果，还基于提高视觉效果的最优拼接线提高了两幅原始图像进行图像拼接后的拼接图像的视觉效果。

需要说明的是，所述原始图像既可以是拍摄或获取的拍摄全景图像时的同一个全景中的不同场景下的拍摄图像，也可以是从不同拍摄角度拍摄的同一物体的拍摄图像等。当然，本领域的技术人员应能理解，其他现有的或今后可能出现的需要进行图像拼接的原始图像如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

本申请一实施例中，所述计算装置11用于：

分别提取待拼接的两幅原始图像的尺度不变特征变换sift特征点；

基于所述sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置；

基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系。

在此，所述变换关系可以包括但不限于是单应性矩阵等。在本申请的下述实施例中，将所述变换关系优选为单应性矩阵h。当然，本领域的技术人员应能理解所述单应性矩阵h仅为本申请的所述变换关系的一优选实施例，其他现有的或今后可能出现的体现两幅原始图像之间的对应关系的变换关系如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

例如，所述计算装置11对待连接的两幅原始图像进行所述变换关系的计算之前，需要获取待连接的两幅原始图像，分别如图2和图3所示，其中，图2和图3所示的两幅原始图像为在不同的拍摄视角下拍摄的同一桌面场景中的图像；在获取到待拼接的图2和图3中的两幅原始图像之后，分别对图2和图3中的原始图像进行尺度不变特征变换sift(scale-invariantfeaturetransform)特征提取，得到待拼接的图2中的原始图像对应的sift特征点和图3中的原始图像对应的sift特征点，其中，每个sift特征点的表现形式为sift特征向量(每个sift特征向量是一个128维的向量，包括像素值、灰度值及位置等)；所述计算装置11继续基于图2和3中的原始图像各自对应的sift特征点采用欧氏距离的最近邻算法，对所述两幅原始图像进行特征点匹配，得到所述两幅原始图像对应的至少四组特征点对及其位置；所述计算装置11继续基于所述至少四组特征点对及其位置，计算得到所述两幅原始图像之间的变换关系，实现了对在不同的拍摄视角下拍摄的同一桌面场景中的、待拼接的两幅原始图像之间的对应关系(即变换关系)的计算，进而得到待拼接的两幅原始图像之间的变换关系，以便后续基于该变换关系对待拼接的两幅原始图像进行图像拼接。

本申请一实施例中，所述计算装置11用于：

从所述两幅原始图像中的一幅原始图像中遍历选取一sift特征点；

分别计算所述sift特征点的位置与所述两幅原始图像中的另一幅原始图像中的每个sift特征点的位置之间的欧式距离，并将所述欧式距离按照从小到大的顺序排列；

若排在第一位的欧式距离与排在第二位的欧式距离之间的比值，小于预设的距离比例阈值，则将计算所述排在第一位的欧式距离的两个sift特征点确定为一组特征点对，得到所述两幅原始图像对应的至少四组特征点对及其位置。

例如，所述计算装置11中，若所述两幅原始图像分别为图a和图b，图a对应的sift特征点有sift特征点aa、sift特征点ab、sift特征点ac、sift特征点ad及sift特征点ae，图b对对应的sift特征点为sift特征点ba、sift特征点bb、sift特征点bc、sift特征点bd及sift特征点be，所述计算装置11从两幅原始图像中的其中一幅原始图像：图a中遍历选取一sift特征点ac，分别计算该sift特征点ac的位置与所述两幅原始图像中的另一幅原始图像：图b中的五个sift特征点(ba、bb、bc、bd及be)的位置之间的欧式距离，分别得到sift特征点ac与对应的sift特征点：ba、bb、bc、bd及be的位置之间的欧式距离d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)，并将所述欧式距离d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)按照从小到大的顺序排列，得到排列之后的欧式距离的顺序为：d(ab3)、d(ab2)、d(ab4)、d(ab5)及d(ab1)；所述计算装置11继续计算排在第一位的欧式距离d(ab3)与排在第二位的欧式距离d(ab2)之间的比值d(ab3)/d(ab2)；若该比值d(ab3)/d(ab2)小于预设的距离比例阈值d(阈值)，则将将计算所述排在第一位的欧式距离d(ab3)的两个sift特征点(即sift特征点ac和sift特征点bc)确定为一组特征点对(ac，bc)，通过上述计算得到特征点对的步骤，得到所述两幅原始图像：图a和图b对应的至少四组特征点对及其位置，实现了采用欧氏距离的最近邻算法来对两幅原始图像之间的sift特征点进行特征匹配，以便后续基于特征匹配得到的至少四组特征点对来得到两幅原始图像之间的变换关系。

本申请一实施例中，所述计算装置11用于：

预置随机选取次数；

每次从所有的特征点对中随机选取四组特征点对及其位置，基于所述每次选取的四组特征点对及其位置进行计算，得到所述随机选取次数中每次选取的四组特征点对对应的变换关系；

基于所述随机选取次数中每次选取的四组特征点对对应的变换关系，优选得到所述两幅原始图像之间的变换关系。

例如，为了更加精确地得到待拼接的两幅原始图像之间的变换关系，则所述计算装置11预置随机选取次数，该随机选取次数为大于等于一的正整数；所述计算装置11在该随机选取次数内，每次从所有的特征点对(所有的特征点对至少有四组)中随机选取四组特征点对及其位置，若随机选取的四组特征点的位置分别为：{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}，其中，待计算的两幅原始图像之间的单应性矩阵h(即变换关系)为：

基于该单应性矩阵对该选取的四组特征点对及其位置进行计算，其计算过程如下所示：

计算得到选取的四组特征点对对应的单应性矩阵h1；接着所述计算装置11继续从所有的特征点对中随机选取四组特征点对，并重复上述计算单应性矩阵h1的步骤，若随机选取次数为20次，则得到20次中的每次选取的四组特征点对对应的单应性矩阵分别为：h1、h2、h3、……、h19、h20；为了更精确地得到两幅原始图像之间的单应性矩阵(即变换关系)，则需要基于20次中的每次选取的四组特征点对对应的单应性矩阵分别为：h1、h2、h3、……、h19、h20，优选得到所述两幅原始图像之间的单应性矩阵h，实现了通过随机抽样一致性方法来计算得到两幅原始图像之间的单应性矩阵，以便后续基于该单应性矩阵对待拼接的两幅原始图像进行图像拼接。

本申请一实施例中，所述计算装置11用于：

对于每次所述选取的四组特征点对之外剩余的特征点对，按照所述选取的四组特征点对对应的变换关系进行变换误差计算，得到所述剩余的特征点对之间的变换误差值；

基于预设的变换误差阈值和所述剩余的特征点对之间的变换误差值，确定每次所述选取的四组特征点对对应的变换关系的内点的个数；

在所述随机选取次数中，选取内点的个数最大时对应的变换关系，作为所述两幅原始图像之间的变换关系。

例如，若所述选取的四组特征点对{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}之外剩余的特征点对有三组，则按照所述选取的四组特征点对对应的单应性矩阵h1进行变换误差计算，计算变换误差值ti为：

其中，{(xi，yi)，(x’i，y’i)}为所述选取的四组特征点对之外剩余的特征点对的位置，得到每个所述剩余的特征点对之间的变换误差值ti；所述计算装置11继续基于预设的变换误差阈值t和每个所述剩余的特征点对之间的变换误差值ti，得到所述选取的四组特征点对对应的单应性矩阵h1的内点的个数；重复上述步骤，进而可以得到20次中的每次选取的四组特征点对对应的单应性矩阵h1、h2、h3、……、h19、h20分别对应的内点的个数n内点；然后在所述随机选取次数(20次)中，选取内点的个数最大n内点max时对应的单应性矩阵，若在20次中，随机选取的四组特征点对对应的单应性矩阵h16对应的内点的个数n内点为20次随机选取的四组特征点对对应的单应性矩阵的内点的个数的最大n内点max，则将内点的个数n内点max对应的单应性矩阵h16作为所述两幅原始图像之间的变换关系(即单应性矩阵h16)，实现对两幅原始图像之间的变换关系的优选，进而得到能够精确反映所述两幅原始图像之间的对应关系的变换关系，进一步保证得到的所述变换关系的精确度。

本申请一实施例中，所述计算装置11用于：

判断所述剩余的特征点对之间的变换误差值是否小于等于所述预设的变换误差阈值，

若是，则将所述剩余的特征点对中的sift特征点确定为所述选取的四组特征点对对应的变换关系的一个内点，并统计所述内点的个数，得到每次所述选取的四组特征点对对应的变换关系的内点的个数。

例如，所述计算装置11判断所述剩余的特征点对之间的变换误差值ti是否小于等于所述预设的变换误差阈值t，判断不等式如下：

若所述剩余的特征点对之间的变换误差值小于等于所述预设的变换误差阈值t，则将所述剩余的特征点对中的sift特征点确定为所述选取的四组特征点对对应的变换关系的一个内点，即所述剩余的特征点对中的sift特征点在所述变换误差阈值范围内，符合所述选取的四组特征点对对应的变换关系(即单应性矩阵h)；若所述剩余的特征点对之间的变换误差值大于所述预设的变换误差阈值t(即计算的变换误差值不在变换误差阈值t内)，则将该组特征点对中的sift特征点作为该变换关系的外点；通过上述不等式判断出所述选取的四组特征点对之外剩余的特征点对中的sift特征点的内点的个数，进而可以得到随机选取次数(20次)中的每次所述选取的四组特征点对对应的变换关系的内点的个数，实现对基于选取的四组特征点对对应的变换关系的验证，并统计验证过程中符合该变换关系的内点的个数，以便后续基于该变换关系的内点的个数来选取最符合所述两幅原始图像之间的对应关系的变换关系，以进一步提高变换关系的精确度。

本申请一实施例中，所述拼接装置1用于：

基于所述变换关系对所述两幅原始图像进行对齐，并根据最大流最小割算法对对齐后的两幅原始图像进行拼接，确定所述两幅原始图像之间的初始拼接线。

本申请一实施例中，所述拼接装置12基于所述计算装置11中计算得到反映在不同的拍摄视角下拍摄的同一桌面场景中的、待拼接的两幅原始图像：图a和图b之间的一一对应关系的单应性矩阵h，对所述两幅原始图像进行对齐，对齐过程中，若首先以图a为基准，在对齐的图像里面，将图a中的一sift特征点对应的像素点p’(x’，y’)，变化成p’(x’，y’，1)，并求单应性矩阵h的逆矩阵h^-1，则有h^-1p’＝p(x，y，1)，其中，(x，y)为图a中的一sift特征点对应的像素点p’在图b中对应的位置的坐标，取该位置(x，y)对应的sift特征点的像素点放在p’处，若位置(x，y)对应的sift特征点的像素点超出图b的宽和高的范围，则从图a中取像素点，该像素点对应的sift特征点的位置为(x’，y’)；若该位置(x，y)对应的sift特征点的像素点也不在图a的宽和高的范围内，则将该位置(x，y)对应的sift特征点的像素点置灰或填黑或空白等，以表示此处不存在对应匹配的特征点，实现对图a和图b的对齐。所述拼接装置12继续根据最大流最小割算法对对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的初始拼接线，实现对待拼接的两幅原始图像之间的初步的图像拼接，以便后续对基于最大流最小割算法进行图像拼接得到的初始拼接线进行优化。

本申请一实施例中，由于待拼接的两幅原始图像是从不同的拍摄视角进行拍摄的，故光照不一致，导致对齐拼接后的拼接图像具有明显的初始拼接线，以致拼接后得到的拼接图像的视觉效果不好，故所述拼接装置12还用于：

确定拼接后所述两幅原始图像的重叠区域和非重叠区域，统计所述重叠区域的像素点的个数和像素平均值；此处，统计得到拼接装置12中对两幅原始图像进行拼接后的重叠区域的像素点的个数n重叠像素，并对所有的重叠区域的像素点的像素值进行求和取平均，得到重叠区域的所有像素点的像素平均值v像素；接着基于所述重叠区域及其像素点的个数n重叠像素和像素平均值v像素，分别对所述两幅原始图像的非重叠区域的每个像素点进行增益补偿，实现对两幅原始图像的非重叠区域曝光补偿，使得对两幅原始图像进行拼接后得到的重叠区域的一侧或两侧的非重叠区域的亮度保持一致，进一步实现拼接后的重叠区域和非重叠区域的色彩的平稳过渡，进一步得到视觉效果更好的两幅原始图像拼接后的拼接图像和拼接线。

本申请的一实施例中，所述拼接装置12用于：

设所述两幅原始图像分别为图a和图b，其中，图a和图b的重叠区域为sab，图a中的非重叠区域为sa，图b中的非重叠区域为sb；

采用增益补偿算法，对重叠区域sab及其像素点的个数n重叠像素和像素平均值v像素进行计算，分别得到图a中的sa对应的补偿增益值ga和图b中的sb对应的补偿增益值gb；

基于ga对图a中的sa的每个像素点的像素值进行增益补偿，同时基于gb对图b中的sb的每个像素点的像素值进行增益补偿。例如，用ga乘以图a中的非重叠区域sa中的每个像素点的像素值，用gb乘以图b中的非重叠区域sb中的每个像素点的像素值，进而达到拼接后的图a和图b各自对应的非重叠区域的曝光补偿，使得对两幅原始图像进行拼接后得到的重叠区域的一侧或两侧的非重叠区域的亮度保持一致，进一步实现拼接后的重叠区域和非重叠区域的色彩的平稳过渡，进一步得到视觉效果更好的两幅原始图像拼接后的拼接图像和拼接线。

本申请一实施例中，如图4所示(其中，图4为图2和图3两幅原始图像基于最大流最小割算法进行拼接之后得到的拼接图像，图4中标记的椭圆内的拼接效果就不佳)：由于在所述计算装置11中求解所述两幅原始图像之间的变换关系时的迭代计算次数(即预置的随机选取次数)不充分，导致得到的反映两幅原始图像之间的一一对应关系的变换关系不理想，进而导致的对齐拼接后的拼接图像的初始拼接线存在明显的视觉差的效果；又由于通过最大流最小割算法进行图像拼接得到的初始拼接线存在穿透物体，使得在两幅原始图像中均存在的相同物体被强行拼合，效果较差，故为了解决上述初始拼接线视觉效果差的问题，所述优化装置13用于：

在所述初始拼接线的两侧的预设像素范围内，预置至少一个初始聚类中心点；

通过硬聚类算法和所述初始聚类中心点，对两侧的所述预设像素范围内的所有像素点进行聚类，得到每个所述初始聚类中心点对应的聚类像素区域；

根据确定的每个所述聚类像素区域与所述初始拼接线的相对位置关系，按照预设的调整规则对所述初始拼接线进行调整，得到对应的调整拼接线；

更新所述调整拼接线两侧的所述预设像素范围内的像素点分别对应的权重，基于所述更新的权重和所述最大流最小割算法，再次对所述对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的更新拼接线；

将所述更新拼接线确定为所述初始拼接线，重复如上步骤，直至对所述初始拼接线的调整为零。

在此，所述硬聚类算法可以包括但不限于是k均值算法(k-means算法)等。在本申请的下述实施例中，将所述硬聚类算法优选为k-means。当然，本领域的技术人员应能理解所述k-means算法仅为本申请的所述硬聚类算法的一优选实施例，其他现有的或今后可能出现的可以进行聚类的硬聚类算法如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

例如，对初始拼接线的优化过程具体为：步骤一、如图5所示，在基于最大流最小割算法进行拼接之后得到的拼接图像中的初始拼接线(如图5中的虚线)的两侧的预设像素范围δ内，预置至少一个初始聚类中心点，其中，该初始聚类中心点的个数为大于等于1的正整数。若该预置的初始聚类中心点为5个，分别为s、f、x、y和z；步骤二、通过k-means算法和预置的所述初始聚类中心点：s、f、x、y和z，对如图5中的虚线对应的初始拼接线两侧的预设像素范围δ内的所有像素点进行聚类，得到每个初始聚类中心点对应的聚类像素区域(如图5中的椭圆对应的像素区域)分别为：ks、kf、kx、ky和kz；步骤三、根据确定的每个所述聚类像素区域与所述初始拼接线的相对位置关系(如图5所示该聚类像素区域在虚线对应的初始拼接线的左侧、右侧或穿过等)，按照预设的调整规则对所述初始拼接线进行调整，得到对应的调整拼接线(如图5中的椭圆区域编号为3和4对应的边缘粗线)，实现对初始拼接线的纠正；步骤四、更新所述调整拼接线两侧的所述预设像素范围内的像素点分别对应的权重，基于所述更新的权重和所述最大流最小割算法，再次对所述对齐后的两幅原始图像进行拼接，得到所述两幅原始图像之间的更新拼接线，以实现对两幅原始图像之间的初始拼接线进行调整更新的目的；为了得到调整更新后的更加精确的两幅原始图像进行图像拼接之后的最优拼接线，故将更新拼接线确定为所述初始拼接线，重复执行上述步骤一至步骤四所述的操作流程，直至对所述初始拼接线的调整为零，进而得到所述两幅原始图像之间的最优拼接线如图6所示，达到了对两幅原始图像进行对齐拼接之后的初始拼接线进行优化的目的。

本申请一实施例中，所述预设的调整规则包括：

若所述相对位置关系为所述初始拼接线与所述聚类像素区域不相连，则所述聚类像素区域对应的初始拼接线保持不变。

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数相等，则所述聚类像素区域对应的初始拼接线保持不变。

若所述相对位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等，则将包含所述聚类像素区域内的像素点个数较少的一侧的所述预设像素范围内的所述聚类像素区域的边缘线，确定为所述调整拼接线。

例如，如图5所示，若初始拼接线与初始聚类中心点s和f分别对应的所述聚类像素区域ks和kf的位置关系为所述初始拼接线与所述聚类像素区域不相连，其中，该聚类像素区域ks属于图5中的椭圆区域编号为1的情况(σr＜σl且σr＝0，其中，σl为初始拼接线一侧的预设像素范围内的像素点的个数，σr为初始拼接线的另一侧的预设像素范围内的像素点的个数)，该聚类像素区域kf属于图5中的椭圆区域编号为2的情况(σr＞σl且σl＝0)，则属于椭圆区域编号为1和2的情况对应的所述聚类像素区域对应的初始拼接线保持不变；若初始拼接线与初始聚类中心点x对应的所述聚类像素区域kx的位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数相等(σr＝σl且σr≠0,σl≠0)，则所述聚类像素区域kx对应的初始拼接线保持不变，此种情况属于图5中的其他四种情况对应的第5种情况，该第5中情况没有在图5中加以体现；若初始拼接线与初始聚类中心点y对应的所述聚类像素区域ky的位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等：属于图5中的椭圆编号为4的情况(σr＞σl且σl≠0)，则将将包含所述聚类像素区域内的像素点个数σl的一侧的所述预设像素范围内的所述聚类像素区域的边缘线确定为所述调整拼接线(即将椭圆编号为4的左侧的粗线的边缘线作为调整拼接线)；若初始拼接线与初始聚类中心点z对应的所述聚类像素区域kz的位置关系为所述初始拼接线穿过所述聚类像素区域，且所述聚类像素区域中分别位于所述初始拼接线两侧的所述预设像素范围内的像素点的个数不相等：属于图5中的椭圆编号为3的情况(σr＜σl且σr≠0)，则将将包含所述聚类像素区域内的像素点个数σr的一侧的所述预设像素范围内的所述聚类像素区域的边缘线确定为所述调整拼接线(即将椭圆编号为3的右侧的粗线的边缘线作为调整拼接线)，以实现通过kmeans算法对两幅原始图像之间的初始拼接线进行纠正并优化。

接着本申请的上述实施例中，所述优化装置还用于：

分别对所述初始聚类中心点和所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行更新。进一步地，所述优化装置具体用于：

确定所述初始拼接线保持不变时对应的所述聚类像素区域的区域个数，基于所述区域个数对所述初始聚类中心点进行移除更新；

基于所述初始拼接线保持不变时对应的所述聚类像素区域内的像素点，对所述初始拼接线的两侧的所述预设像素范围内的所有像素点进行过滤更新。

例如，对两幅原始图像进行赌气拼接之后得到初始拼接线之后，预置的初始聚类中心点为10，得到上述基于初始拼接线与初始聚类中心点对应的聚类像素区域之间的相对位置关系的5种情况，若属于上述所述初始拼接线保持不变时的情况1、2、5这三种情况的聚类像素区域的区域个数为7个(即对应7个初始聚类中心点)，属于上述需要对初始拼接线进行调整的第3、4种情况的聚类像素区域的区域个数为3个，则所述优化装置13还基于所述初始拼接线保持不变时的情况1、2、5这三种情况的聚类像素区域的区域个数，对所述初始聚类中心点进行移除更新，则更新下次基于kmeans算法对调整后的初始拼接线进行优化时的聚类中心点为3个或2个或1个等；同时，若初始拼接线处理的像素点的个数为100个，基于所述初始拼接线保持不变时的情况1、2、5这三种情况的聚类像素区域内的像素点为78个，则将对初始拼接线保持不变时的聚类像素区域内的78个像素点过滤，下一次基于kmeans算法对调整后的初始拼接线进行优化时的像素点为100个像素点中剩余的22个像素点(即对进行调整的第3、4种情况的聚类像素区域内的像素点再次基于kmeans算法进行聚类)，直至对所述初始拼接线的调整为零，将初始拼接线保持不变时对应的聚类中心点和像素点过滤掉，不仅减少了下一次基于kmeans算法对调整后的初始拼接线进行优化时需要聚类的像素点的总个数，还可以减少整个最优拼接线的生成时间，以加速所述最优拼接线的生成过程。

综上所述，本申请的一实施例中，当需要对拍摄的或者获取的原始图像进行拼接时，需要计算待拼接的两幅原始图像之间的变换关系；基于所述变换关系对所述两幅原始图像进行对齐拼接，确定所述两幅原始图像之间的初始拼接线；为了得到视觉效果更好的图像拼接之后的拼接线；对所述初始拼接线进行优化，得到所述两幅原始图像之间的最优拼接线，不仅有效地提高了图像拼接后的拼接线(此处为最优拼接线)的视觉效果，还基于提高视觉效果的最优拼接线提高了两幅原始图像进行图像拼接后的拼接图像的视觉效果。

此外，根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上述所述的方法。

根据本申请的另一方面，还提供了一种用于拼接线优化的设备，其中，该设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如上述所述方法的操作。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。