合并图像的方法和装置与流程

本发明涉及图像处理领域，尤其涉及一种合并图像的方法和装置。

背景技术：

随着电子信息产业与社会需求的发展，各种图像采集设备和大尺寸显示器迅速进入到人们的日常生活。随之而来的问题是如何获取宽视角、高分辨率的图像或视频数据。例如，日常生活中的生活图像的全景拍摄、卫星图像及航拍图像的合并等，都需要把从不同视点拍摄的图像无缝拼接起来，合并成一幅宽视野、高分辨率的全景拼接图像。现有技术中一般使用普通相机阵列采集一组具有重叠区域的低分辨率或小视角图像，然后将来自多个视点的图像进行合并，经过拼接和融合组合成一幅高分辨率、宽视角的新图像，经过合并的图像包括拼接前图像的全部信息，并且看起来像在一个视点拍摄而成。

现有技术中经常采用加权平均值法对图像进行合并。这种方式虽然简单，却没有考虑不同视点采集到的图像的视差问题，其直接结果就是在合并前两张图像重叠区域内的物体会在合并图像中出现模糊或重影。

技术实现要素：

本发明实施例提供了一种合并图像的方法和装置，以减少合并图像由于视差产生的模糊或重影。

第一方面，本发明实施例提供了一种合并图像的方法，该方法包括：获取待合并的两张图像，该两张图像是分别从两个视点采集到的图像，该两张图像具有重叠区域；将该重叠区域划分出至少两个候选融合区域，该至少两个候选融合区域中的每个候选融合区域中存在将该两张图像的每张图像划分为不连通的两部分的线；基于该两张图像之间的光流矢量，确定该每个候选融合区域对应的光流矢量映射误差，其中，该每个候选融合区域对应的光流矢量映射误差用于指示在该每个候选融合区域中的，该两张图像各自的子 图像，分别基于该光流矢量，对应在同一视点的图像之间的误差；根据该至少两个候选融合区域各自对应的光流矢量映射误差，从该至少两个候选融合区域中选取出该两个图像的目标融合区域；将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像。

待合并的图像的重叠区域被划分成多个融合区域，通过确定该多个候选融合区域各自对应的光流矢量映射误差，能够对待合并图像在重叠区域内的子图像的光流矢量映射(或称光流场映射)误差进行估计，从而能够根据误差估计结果从候选融合区域中选择目标融合区域，将两张图像在目标融合区域进行融合，从而得到两张图像的合并图像，这样不但能够减少合并图像由于视差引起的模糊或重影，且能够节省图像合并的计算量。

结合第一方面，在第一方面的第一种可能的实现方式中，该方法还包括：该将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像，包括：基于该光流矢量，获取两张重叠子图像分别对应在该两个视点的中间视点的映射图像，该中间视点的坐标值为该两个视点的坐标值的均值，该两张重叠子图像为在该重叠区域中的该两张图像各自的重叠子图像；将两张映射图像在该目标融合区域进行融合，从而得到融合子图像；将该两张图像中的除该两张重叠子图像之外的子图像和该融合子图像进行拼接，从而得到该合并图像。

通过获取两张重叠子图像基于光流矢量对应在中间视点的映射图像，并将得到的映射图像在目标融合区域进行融合，从而得到基于光流矢量变换融合的融合子图像，最终获得合并图像，可以有效的减少合并图像由于视差引起的模糊或重影。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该方法还包括：该两张图像包括第一图像和第二图像，该第一图像对应第一视点，该第二图像对应第二视点，该基于该两张图像之间的光流矢量，确定该至少两个候选融合区域中的每个候选融合区域对应的光流矢量映射误差，包括：基于该光流矢量，获取该第一图像中的在该重叠区域的重叠子图像对应在该第二视点的图像；确定该对应在该第二视点的图像与该第二图像中的在该重叠区域的重叠子图像之间的第一遮挡图像；基于该光流矢量，获取该第一遮挡图像对应在该两个视点的中间视点的第二遮挡图像；根据在该第二遮挡图像中的该每个候选融合区域中的用于指示遮挡的 区域的信息，确定该每个候选融合区域对应的光流矢量映射误差。

首先获取第一图像在重叠区域的重叠子图像基于光流矢量变换对应在第二视点的图像，并获取该对应在第二视点的图像与第二图像在重叠区域的重叠子图像之间的第一遮挡图像，然后根据该第一遮挡图像获取对应在中间视点的第二遮挡图像，根据第二遮挡图像的用于指示遮挡区域的信息，确定每个候选融合区域对应的光流矢量映射误差，从而可以根据光流矢量映射误差选取目标融合区域。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，该方法还包括：该用于指示遮挡的区域包括用于指示遮挡的像素点，该根据该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的区域的分布，确定该每个候选融合区域对应的光流矢量映射误差，包括：确定该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的像素点的像素值之和；将该像素值之和作为该每个候选融合区域对应的光流矢量映射误差。

结合第一方面、第一方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第一方面的第四种可能的实现方式中，该方法还包括：该根据该至少两个候选融合区域对应的光流矢量映射误差，从该至少两个候选融合区域中选取该两个图像的融合区域，包括：将该至少两个候选融合区域中对应的光流矢量映射误差最小的候选融合区域确定为该两个图像的目标融合区域。

通过选取光流矢量映射误差最小的候选融合区域为该两个图像的目标融合区域，并最终在目标融合区域对两张待合并图像进行融合，提高了合并图像的融合质量，减少了由于视差引起的模糊和重影。

结合第一方面、第一方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第一方面的第五种可能的实现方式中，该方法还包括：该根据该至少两个候选融合区域对应的该光流矢量映射误差，从该至少两个候选融合区域中选取该两个图像的融合区域，包括：将该至少两个候选融合区域中对应的光流矢量映射误差小于预设阈值的候选融合区域确定为该两个图像的目标融合区域。

通过选取光流矢量映射误差小于预设阈值的候选融合区域为该两个图像的目标融合区域，并最终在目标融合区域对两张待合并图像进行融合，提 高了合并图像的融合质量，减少了由于视差引起的模糊和重影。

结合第一方面、第一方面的第一种至第五种可能的实现方式中的任一种可能的实现方式，在第一方面的第六种可能的实现方式中，该方法还包括：该至少两个候选融合区域的面积之和小于该重叠区域的面积。

由于该至少两个候选融合区域的面积之和小于重叠区域的面积，所以可以减少计算光流矢量映射误差和融合图像时的计算量，提高合成图像的效率和处理速度。

在第二方面，本发明实施例提供了一种合并图像的装置，该装置包括：获取模块，用于获取待合并的两张图像，该两张图像是分别从两个视点采集到的图像，该两张图像具有重叠区域；确定模块，用于将该重叠区域划分出至少两个候选融合区域，该至少两个候选融合区域中的每个候选融合区域中存在将该两张图像的每张图像划分为不连通的两部分的线；基于该两张图像之间的光流矢量，确定该每个候选融合区域对应的光流矢量映射误差，其中，该每个候选融合区域对应的光流矢量映射误差用于指示在该每个候选融合区域中的，该两张图像各自的子图像，分别基于该光流矢量，对应在同一视点的图像之间的误差；选择模块，用于根据该至少两个候选融合区域各自对应的光流矢量映射误差，从该至少两个候选融合区域中选取出该两个图像的目标融合区域；融合模块，用于将该两张图像在该选择模块选取的该目标融合区域进行融合，从而得到该两张图像的合并图像。

待合并的图像的重叠区域被划分成多个融合区域，通过确定该多个候选融合区域各自对应的光流矢量映射误差，能够对待合并图像在重叠区域内的子图像的光流矢量映射(或称光流场映射)误差进行估计，从而能够根据误差估计结果从候选融合区域中选择目标融合区域，将两张图像在目标融合区域进行融合，从而得到两张图像的合并图像，这样不但能够减少合并图像由于视差引起的模糊或重影，且能够节省图像合并的计算量。

结合第二方面，在第二方面的第一种可能的实现方式中，该融合模块具体用于：基于该光流矢量，获取两张重叠子图像分别对应在该两个视点的中间视点的映射图像，该中间视点的坐标值为该两个视点的坐标值的均值，该两张重叠子图像为在该重叠区域中的该两张图像各自的重叠子图像；将两张映射图像在该目标融合区域进行融合，从而得到融合子图像；将该两张图像中的除该两张重叠子图像之外的子图像和该融合子图像进行拼接，从而得到 该合并图像。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，该两张图像包括第一图像和第二图像，该第一图像对应第一视点，该第二图像对应第二视点，该确定模块具体用于：基于该光流矢量，获取该第一图像中的在该重叠区域的重叠子图像对应在该第二视点的图像；确定该对应在该第二视点的图像与该第二图像中的在该重叠区域的重叠子图像之间的第一遮挡图像；基于该光流矢量，获取该第一遮挡图像对应在该两个视点的中间视点的第二遮挡图像；根据在该第二遮挡图像中的该每个候选融合区域中的用于指示遮挡的区域的信息，确定该每个候选融合区域对应的光流矢量映射误差。

结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，该用于指示遮挡的区域包括用于指示遮挡的像素点，该确定模块具体用于：确定该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的像素点的像素值之和；将该像素值之和作为该每个候选融合区域对应的光流矢量映射误差。

结合第二方面、第二方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第二方面的第四种可能的实现方式中，该选择模块具体用于：将该至少两个候选融合区域中对应的光流矢量映射误差最小的候选融合区域确定为该两个图像的目标融合区域。

结合第二方面、第二方面的第一种至第三种可能的实现方式中的任一种可能的实现方式，在第二方面的第五种可能的实现方式中，该选择模块具体用于：将该至少两个候选融合区域中对应的光流矢量映射误差小于预设阈值的候选融合区域确定为该两个图像的目标融合区域。

结合第二方面、第二方面的第一种至第五种可能的实现方式中的任一种可能的实现方式，在第二方面的第六种可能的实现方式中，该至少两个候选融合区域的面积之和小于该重叠区域的面积。

第三方面，提供一种合并图像的装置，该装置包括处理器和存储器；该存储器用于存储代码；该处理器通过读取该存储器中存储的该代码，以用于执行第一方面提供的方法。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种合并图像的方法的示意性流程图。

图2是根据本发明又一实施例的与现有技术之间的融合效果对比图。

图3是根据本发明另一实施例的待合并的两张图像的展示图。

图4是根据本发明另一实施例的求第一遮挡图像的过程示意图。

图5是根据本发明另一实施例的合并图像的方法的最终合并图像的效果图。

图6是根据本发明又一实施例的由前景物体产生的遮挡图像的示意图。

图7是根据本发明又一实施例的重叠区域的候选融合区域的划分方法示意图。

图8是根据本发明再一实施例的重叠区域的候选融合区域的划分方法示意图。

图9是根据本发明再一实施例的与现有技术之间的融合效果对比图。

图10是根据本发明实施例的合并图像的装置的示意性框图。

图11是根据本发明实施例的合并图形的装置的示意图。

具体实施方式

为了描述的方便和简洁，本发明实施例中的方法以两张图像的合并过程为例，显而易见，本发明实施例中的方法还可以应用于多张图像合并的图像融合系统，也可以应用于视频领域的图像融合系统。

应理解，一般情况下，待合并的图像可以由相机阵列采集，也可以由其他图像采集设备获取，例如，本发明实施例中的待合并的两张图像可以是相机阵列中的相邻两个相机在同一场景中采集到的两张图像。待合并的图像可以从不同的视点，即不同的角度采集而得。由于这些图像从不同的视点采集而成，所以合并图像时，在图像的重叠区域会由于视差产生模糊或重影。视差是指从两个视点上观察同一个目标所产生的方向差异。合并图像的过程中应该尽量减少视差。另外，在合并图像的过程中，拼缝附近的物体可能出现重复或缺失，这种现象又称为鬼影。尤其当重叠区域 对应的子图像的场景中存在运动物体或前景物体时，在图像融合过程中可能会产生模糊或重影。在合并图像的过程中应该减少或避免由视差产生的模糊或重影。

图1示出了本发明实施例的合并图像的方法100的示意性流程图。如图1所示，该方法100包括：

S110，获取待合并的两张图像，该两张图像是分别从两个视点采集到的图像，该两张图像具有重叠区域；

S120，将该重叠区域划分出至少两个候选融合区域，该至少两个候选融合区域中的每个候选融合区域中存在将该两张图像的每张图像划分为不连通的两部分的线；基于该两张图像之间的光流矢量，确定该每个候选融合区域对应的光流矢量映射误差，其中，该每个候选融合区域对应的光流矢量映射误差用于指示在该每个候选融合区域中的，该两张图像各自的子图像，分别基于该光流矢量，对应在同一视点的图像之间的误差；

S130，根据该至少两个候选融合区域各自对应的光流矢量映射误差，从该至少两个候选融合区域中选取出该两个图像的目标融合区域；

S140，将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像。

本发明实施例中，待合并的图像的重叠区域被划分成多个融合区域，通过确定该多个候选融合区域各自对应的光流矢量映射误差，能够对待合并图像在重叠区域内的子图像的光流矢量映射(或称光流场映射)的误差进行估计，从而能够根据误差估计结果从候选融合区域中选择目标融合区域，将两张图像在目标融合区域进行融合，从而得到两张图像的合并图像，这样不但能够减少合并图像由于视差引起的模糊或重影，且能够节省图像合并的计算量。

应理解，上述每个候选融合区域对应的光流矢量映射误差可以包括两张图像中的其中一张图像对应在该每个候选融合区域的子图像基于光流矢量，映射至两张图像中的另一张图像对应的视点的光流矢量映射误差。例如，两张图像可以包括第一图像和第二图像，可以基于光流矢量将第一图像对应在每个候选融合区域的子图像映射至第二图像对应的视点，并将第一图像映射后的子图像与第二图像的对应的子图像之间的误差作为每个候选融合区域的光流矢量映射误差。相似的，也可以基于光流矢量，将第二图像对应在每 个候选融合区域的子图像映射至第一图像对应的视点，并将第二图像映射后的子图像与第一图像的对应的子图像之间的误差作为每个候选融合区域的光流矢量映射误差。每个候选融合区域可以考虑两个光流矢量映射误差中的其中一个光流矢量映射误差，从该至少两个候选融合区域中选取目标融合区域，也可以综合考虑两个光流矢量映射误差选取目标融合区域其中一张图像的光流矢量映射误差从该至少两个候选融合区域中选取最终的融合区域，本发明实施例对此不作具体限定。

应理解，该重叠区域被划分出至少两个候选融合区域，候选融合区域的数量取值可以为2-7个。上述两个图像可以各自对应一个视点，上述同一视点可以指待合并的两张图像各自的视点，也可以指待合并的两张图像各自对应的视点的中间的视点(或者说，中间视点)。应理解，上述两张图像之间的光流矢量可以包括两张图像中的每一张图像变换到另一张图像对应的视点的光流矢量。例如，待合并的两张图像可以包括第一图像和第二图像，第一图像和第二图像之间的光流矢量可以包括第一图像变换到第二图像对应的视点所采用的光流矢量，还可以包括第二图像变换到第一图像对应的视点所采用的光流矢量。

应理解，候选融合区域的光流矢量映射误差可以指示待合并图像的对应在候选融合区域的子图像经过光流矢量变换得到的变换结果的准确程度，变换结果的准确度越高，候选融合区域对应的光流矢量映射误差就越小。候选融合区域对应的光流矢量映射误差越小，则可以说明在该候选融合区域将两个图像进行融合产生的模糊或重影就越少，最终合并的图像的质量就越高。

可选地，当确定多个候选融合区域对应的光流矢量映射误差之后，可以根据该至少两个候选融合区域对应的光流矢量映射误差的大小，从至少两个候选融合区域中选取两个图像的目标融合区域，即选取两个待合并的图像进行融合的区域。通过对比不同候选融合区域对应的光流矢量映射误差的大小，可选取目标融合区域，以在保证融合质量的同时减小融合区域的大小，从而减少融合图像时的计算量，提高融合图像的速度。可选地，在选择目标融合区域时，可以选择至少两个候选融合区域中对应的光流矢量映射误差最小的候选融合区域为两个待合并图像的目标融合区域。例如，当两张图像包括第一图像和第二图像时，可以选择至少两个候选融合区域中的与第一图像的子图像进行光流矢量变换后对应的光流矢量映射误差最小的候选融合区域为 融合区域，也可以选择至少两个候选融合区域中的与第二图像的子图像进行光流矢量变换后对应的光流矢量映射误差最小的候选融合区域为融合区域。应理解，一般情况下，同一个候选融合区域对应的两个光流矢量映射误差的量级是相近的，而不同的候选融合区域对应的两个光流矢量映射误差的量级可以是差别较大的。所以，在选取光流矢量映射误差最小的候选融合区域时，可以只考虑候选融合区域对应的其中一个光流矢量映射误差的大小，也可以同时考虑候选融合区域对应的两个光流矢量映射误差的大小。

在本发明实施例中，通过选取光流矢量映射误差最小的候选融合区域为该两个图像的目标融合区域，并最终在目标融合区域对两张待合并图像进行融合，提高了合并图像的融合质量，减少了由于视差引起的模糊和重影。

可选地，在选择融合区域时，可以从该至少两个候选融合区域中选取光流矢量映射误差小于预设阈值的候选融合区域为目标融合区域，然后从目标候选融合区域中确定待合并的两个图像的融合区域。例如，当待合并的两张图像包括第一图像和第二图像时，选择目标融合区域时，可以选取至少两个候选融合区域中的与第一图像的子图像进行光流矢量变换后对应的光流矢量映射误差小于预设阈值的候选融合区域为目标候选融合区域，也可以选取至少两个候选融合区域中的与第一图像的子图像进行光流矢量变换后对应的光流矢量映射误差小于预设阈值的候选融合区域为目标融合区域，还可以选取至少两个候选融合区域中的与两张图像的子图像进行光流矢量变换后对应的两个光流矢量映射误差都小于预设阈值的候选融合区域为目标候选融合区域，即选取的目标候选融合区域对应的两个光流矢量映射误差都小于预设阈值。当小于预设阈值的候选融合区域不止一个时，可以从符合条件的候选融合区域中确定目标融合区域。当符合条件的候选融合区域只有一个时，将符合条件的候选融合区域为融合区域。可选地，预设阈值可以根据最终合并的图像的质量要求而设定，也可以根据经验来设定，本发明实施例并不限定于此。

在本发明实施例中，通过选取光流矢量映射误差小于预设阈值的候选融合区域为该两个图像的目标融合区域，并最终在目标融合区域对两张待合并图像进行融合，提高了合并图像的融合质量，减少了由于视差引起的模糊和重影。

例如，作为一个具体实施例，当至少两个候选融合区域为三个候选融合 区域时，可以首先计算中间的候选融合区域对应的光流矢量映射误差，由于一般情况下，根据经验，可认为两侧的候选融合区域的光流矢量映射误差小于中间的候选融合区域误差。当确定中间的候选融合区域对应的光流矢量映射误差后，可认为两侧的候选融合区域的光流矢量映射误差小于中间的候选融合区域的光流矢量映射误差。例如，当待合并的图像包括第一图像和第二图像时，可以设定M为第一图像在中间候选融合区域内的遮挡像素点的像素灰度值之和，可以设定N为第二图像在中间候选融合区域内的遮挡像素点的像素灰度值之和。可以将M和N确认为中间候选融合区域的光流矢量映射误差，并将M和N与预设阈值进行比较。当M和N都小于预设阈值时，可以确认中间候选融合区域为目标融合区域。因为在对图像进行融合时，最关心的是中间融合区域的融合效果，所以如果中间候选融合区域的光流矢量映射误差满足对合并图像质量的要求时，无需计算其他候选融合区域的光流矢量映射误差，从而减少计算光流矢量映射误差的工作量。若M与N中有任一项大于预设阈值时，不妨假设N＞M＞预设阈值，则需要选取两侧的候选融合区域中的其中一个候选融合区域作为目标融合区域。具体地，可以认为第二图像内的中间候选融合区域对应的子图像的光流矢量估计不准确，导致第二图像内的与中间候选融合区域对应的子图像通过光流矢量映射到第一图像视点的误差较大，所以需要尽量减少第二图像在融合结果中所占的比例。因此，可以选择靠近第二图像的候选融合区域为目标融合区域，最终的合并图像中，在目标融合区域中第一图像和第二图像所占的比重各为50％。而对于靠近第一图像的候选融合区域以及中间候选融合区域，采用第一图像的对应子图像经过光流矢量变换到中间视点后的第二映射子图像，第一图像所占的比重为100％。从而减少最终合并图像由于视差产生的模糊或重影，提高合并图像的处理速度。

可选地，在确定目标融合区域后，将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像。

可选地，作为一个实施例，在本发明实施例的合并图像的方法100中，该将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像，包括：基于该光流矢量，获取两张重叠子图像分别对应在该两个视点的中间视点的映射图像，该中间视点的坐标值为该两个视点的坐标值的均值，该两张重叠子图像为在该重叠区域中的该两张图像各自的重叠子图像；将两 张映射图像在该目标融合区域进行融合，从而得到融合子图像；将该两张图像中的除该两张重叠子图像之外的子图像和该融合子图像进行拼接，从而得到该合并图像。

在本发明实施例中，通过获取两张重叠子图像基于光流矢量对应在中间视点的映射图像，并将得到的映射图像在目标融合区域进行融合，从而得到基于光流矢量变换融合的融合子图像，最终获得合并图像，可以有效的减少合并图像由于视差引起的模糊或重影。

例如，待合并的两张图像可以包括第一图像和第二图像，可以根据第一图像和第二图像之间的光流矢量，将第一图像中的对应在融合区域的子图像变换至中间视点，将第二图像中的对应在融合区域的子图像变换至中间视点，并将变换到中间视点的两个子图像进行融合处理。其中，对两个子图像进行融合处理可以使用加权平均值法，又称为羽化方法。还可以使用配置中值滤波器的加权平均值法，即配置中值滤波器的羽化方法。可选地，在获取融合子图像之后，可以根据待合并的两张图像以及融合子图像，对待合并的图像进行合并处理，得到最终的合并图像。例如，待合并的图像包括第一图像和第二图像，以融合区域为界，对于重叠区域内的除融合区域之外靠近第一图像的第一区域，确定第一图像的对应在该第一区域内的子图像基于光流矢量变换，映射到中间视点后得到的第一映射子图像，对于重叠区域内的除融合区域之外靠近第二图像的第二区域，确定第二图像的对应在该第二区域内的子图像经过光流矢量变换、映射到中间视点后得到的第二映射子图像。然后将第一图像内除重叠区域之外的区域对应的子图像、第二图像内除重叠区域之外的区域对应的子图像、融合子图像、第一映射子图像以及第二映射子图像拼接在一起，得到最终合并的合并图像。

又例如，待合并的图像可以包括第一图像和第二图像，可以设定第一图像的第一映射子图像的像素点的坐标为(i，j)，该坐标距离第一图像的边缘为λ₁像素，距离第二图像的边缘为λ₂像素，第一图像内的对应在重叠区域的子图像映射到第一映射子图像对应的光流矢量为F(F_i,F_j),可以采用反向投影的方式，根据公式(1)确定将第一图像映射到中间视点的第三映射子图像的像素点的坐标。获取第二图像映射到中间视点得到的第四映射子图像的像素点的方法与之相应，为了描述的简洁和方便，此处不再赘述。

公式(1)为：

其中(B_i，B_j)表示第三映射子图像的像素点位置的坐标，也是融合子图像的像素点对应的位置的坐标。可以设定第一图像内的与融合子图像匹配的像素值为c₁，第二图像内的与融合子图像匹配的像素值c₂,则可以根据公式(2)，采用加权平均值法计算融合子图像的像素值。

公式(2)为：

图2示出了本发明实施例与现有技术之间的融合效果对比图。如图2所示，图2(a)出了采用加权平均值法得到的对应在重叠区域的子图像，图2(b)示出了采用本发明实施例的合并图像的方法得到的对应在重叠区域的子图像。从图2可以看出，与现有技术相比，本发明实施例的合并图像的方法可以有效减少由于视差产生的模糊或重影。

可选地，在本发明实施例中，将该两张映射图像在该目标融合区域进行融合，从而得到融合子图像的具体实现方法也可以采用配合中值滤波法的改进羽化方法来实现对第三映射子图像以及第四映射子图像之间的融合，中值滤波法主要利用中值滤波器处理重叠区域像素。将中值滤波器作用在边界附近的区域，当某个像素值与周围像素值的灰度值差别较大的时候，对这个像素点进行中值滤波，从而使它的值接近周围像素的值，从而能够消除光强的不连续问题。中值滤波法在场景存在运动目标的情景下，能够突出运动目标，保持原有背景。所以，本发明实施例中的配合中值滤波法的改进羽化方法能够消除模糊或重影，达到较好的图像合并效果。

作为一个实施例，本发明实施例的合并图像的方法100还包括：该两张图像包括第一图像和第二图像，该第一图像对应第一视点，该第二图像对应第二视点，该基于该两张图像之间的光流矢量，确定该至少两个候选融合区域中的每个候选融合区域对应的光流矢量映射误差，包括：基于该光流矢量，获取该第一图像中的在该重叠区域的重叠子图像对应在该第二视点的图像；确定该对应在该第二视点的图像与该第二图像中的在该重叠区域的重叠子图像之间的第一遮挡图像；基于该光流矢量，获取该第一遮挡图像对应在该两个视点的中间视点的第二遮挡图像；根据在该第二遮挡图像中的该每个候选融合区域中的用于指示遮挡的区域的信息，确定该每个候选融合区域对应 的光流矢量映射误差。

在本发明实施例中，首先获取第一图像在重叠区域的重叠子图像基于光流矢量变换对应在第二视点的图像，并获取该对应在第二视点的图像与第二图像在重叠区域的重叠子图像之间的第一遮挡图像，然后根据该第一遮挡图像获取对应在中间视点的第二遮挡图像，根据第二遮挡图像的用于指示遮挡区域的信息，确定每个候选融合区域对应的光流矢量映射误差，从而可以根据光流矢量映射误差选取目标融合区域。

应理解，上述第二遮挡图像在每个候选融合区域内的用于指示遮挡的区域的分布可以通过该第二遮挡图内的像素点的像素值表征，具体地，可以通过第二遮挡图像内的遮挡像素点与非遮挡像素点的分布来表征，例如，遮挡像素点越多，表示第二遮挡图像的遮挡区域越多，说明该每个候选融合区域对应的光流矢量映射误差越大。

还应理解，由于最后在合并图像过程中，需要把两张图像内的与融合区域对应的两张子图像通过光流矢量映射到中间视点，再进行融合。所以，与第一遮挡图像相比，根据第二遮挡图像确定的光流矢量映射误差可以更准确的指示光流矢量变换的准确程度，进而指示待合并的图像在候选融合区域内融合后得到的合并图像的质量好坏程度。

可选地，本发明实施例对于确定上述第一遮挡图像的方法不做限定，例如，可以采用最优化算法来确定上述第一遮挡图像，本发明实施例对采用的最优化算法不作具体限定。例如，可以采用根据图像分割(Graph-cut)法求能量函数最优结果的方法确定第一遮挡图像，也可以采用其他确定遮挡图的方法。

例如，可以采用根据图像分割(Graph-cut)法求能量函数最优结果的方法确定第一遮挡图像。图3示出了待合并的两张图像。如图3所示，待合并的图像可以为对应在左侧的第一图像和对应在右侧的第二图像。其中，可以定义I_L(x,y)表示第一图像内的对应在重叠区域的子图像，定义I_R(x,y)表示第二图像内的对应在重叠区域的子图像。其中，X＝(x,y)可以表示I_L(x,y)或I_R(x,y)中的像素点。W＝(u,v)用于表示从I_L(x,y)映射到I_R(x,y)对应视点采用的光流矢量，f(X)可以表示为X点的标签值。对I_L(x,y)经过光流矢量变换映射到I_R(x,y)的视点得到的第一映射子图可以表示为I_Lf(x,y)。可以根据公式(3)、公式(4)和公式(5)，采用Graph-cut法求解能量函数E[f(x)]的最优结果， 以得到I_Lf(x,y)与I_R(x,y)的第一遮挡图像，可以将该第一遮挡图像表示为△I I_Lf(x,y)。

其中，公式(3)、公式(4)和公式(5)分别为：

E[f(x)]＝E_data[f(x)]+E_smooth[f(x)] (3)

其中，E_data[f(x)]表示数据项，由I_Lf(x,y)和I_R(x,y)的对应坐标的像素值之间建立关系得到。β_occlusion表示遮挡的数据项惩罚值，γ_{occlusiondistance}表示遮挡的距离惩罚值。E_smooth[f(x)]表示平滑项，用于确保遮挡的准确性。标签值f(X)＝1表示遮挡像素点，f(X)＝0时表示非遮挡像素点。图4示出了求第一遮挡图像的过程示意图，如图4所示，图4(a)展示了第一图像内的对应在重叠区域的子图像I_L(x,y)，图4(b)展示了第一图像的第一映射子图像I_Lf(x,y)，图4(c)展示了I_Lf(x,y)与I_R(x,y)之间的第一遮挡图像△I I_Lf(x,y)。其中，图4(c)中的白色像素点代表遮挡像素点。在本发明实施例中，在确定第一遮挡图像后，可以根据光流矢量W(u,v),将第一图像的第一遮挡图像映射到中间视点，得到第二遮挡图，并根据第二遮挡图像中的遮挡区域分布，确定第一图像在各个候选融合区域对应的光流矢量映射误差，图5示出了本例中的合并图像的方法的最终合并图像的效果图，从图5中可以看出，本发明实施例的方法可以有效地减少由于视差产生的模糊或重影。

可选地，作为一个实施例，本发明实施例的合并图像的方法100中，该用于指示遮挡的区域包括用于指示遮挡的像素点，该根据该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的区域的分布，确定该每个候选融合区域对应的光流矢量映射误差，包括：确定该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的像素点的像素值之和；将该像素值之和作为该每个候选融合区域对应的光流矢量映射误差。

具体地，图6示出了由前景物体产生的遮挡图像的示意图，该前景物体可以是运动物体，其中，白色部分表示图像的背景，点状分布部分表示前景 物体，斜线部分表示图6(a)和图6(b)相比较产生的遮挡图像，如图6所示，遮挡图可以指示两张图像内由于存在运动物体而产生的差异的大小，也可以指示由于存在视差而导致的前景物体的差异的大小。遮挡图中的遮挡像素点越多，表示产生遮挡图的两张图像之内的前景物体或者流场数据的差异越大，则融合这两张图像时可能产生的模糊或重影现象就越严重。可选地，可以设定遮挡图的遮挡像素值为1，非遮挡像素值为0。则可以通过计算候选融合区域内的所有像素值之和来确定光流矢量映射误差。

可选地，作为一个实施例，本发明实施例的合并图像的方法100中，该至少两个候选融合区域的面积之和小于该重叠区域的面积。

可选地，图7和图8示出了重叠区域的两种候选融合区域的划分方法的示意图，其中斜线的部分表示候选融合区域。如图7所示，这些候选融合区域互相之间可以是无缝相接排布的，即这些候选融合区域占的区域面积之和等于重叠区域的面积。可选地，如图8所示，这些候选融合区域互相之间也可以是间隔排布的，即在这些候选融合区域之间还存在非候选融合区域区域，也可以理解为这些候选融合区域所占的区域面积之和小于重叠区域的面积。图9示出了本发明实施例与现有技术之间的融合效果对比图。如图9所示，图9(a)示出了现有技术中采用加权值法得到的对应在重叠区域的子图像，图9(b)示出了本发明实施例的候选融合区域间隔排布的合并图像的方法得到的对应在重叠区域的子图像。由图9可以看出，与现有技术相比，本发明实施例的候选融合区域间隔排布的合并图像的方法可以有效的减少由于视差产生的模糊或重影。而且由于候选融合区域采用了间隔排布的方法，所以可以减少计算光流矢量映射误差和融合图像时的计算量，提高合成图像的效率和处理速度。

上文结合图1至图9详细阐述了本发明实施例的合并图像的方法的具体实施例，下文将结合图10和图11，详细描述本发明实施例的合并图像的装置。

图10示出了根据本发明实施例的合并图像的装置1000的示意图，应理解，本发明实施例的装置1000中的各个模块的下述和其他操作和/或功能分别为了实现图1至图9中的各个方法的相应流程，为了简洁，在此不再赘述，如图10所示，该装置1000包括：

获取模块1010，用于获取待合并的两张图像，该两张图像是分别从两个 视点采集到的图像，该两张图像具有重叠区域；

确定模块1020，用于将该重叠区域划分出至少两个候选融合区域，该至少两个候选融合区域中的每个候选融合区域中存在将该两张图像的每张图像划分为不连通的两部分的线；基于该两张图像之间的光流矢量，确定该每个候选融合区域对应的光流矢量映射误差，其中，该每个候选融合区域对应的光流矢量映射误差用于指示在该每个候选融合区域中的，该两张图像各自的子图像，分别基于该光流矢量，对应在同一视点的图像之间的误差；

选择模块1030，用于根据该至少两个候选融合区域各自对应的光流矢量映射误差，从该至少两个候选融合区域中选取出该两个图像的目标融合区域；

融合模块1040，用于将该两张图像在该选择模块选取的该目标融合区域进行融合，从而得到该两张图像的合并图像。

本发明实施例中，待合并的图像的重叠区域被划分成多个融合区域，通过确定该多个候选融合区域各自对应的光流矢量映射误差，能够对待合并图像在重叠区域内的子图像的光流矢量映射(或称光流场映射)的误差进行估计，从而能够根据误差估计结果从候选融合区域中选择目标融合区域，将两张图像在目标融合区域进行融合，从而得到两张图像的合并图像，这样不但能够减少合并图像由于视差引起的模糊或重影，且能够节省图像合并的计算量。

可选地，作为一个实施例，该融合模块1040具体用于：基于该光流矢量，获取两张重叠子图像分别对应在该两个视点的中间视点的映射图像，该中间视点的坐标值为该两个视点的坐标值的均值，该两张重叠子图像为在该重叠区域中的该两张图像各自的重叠子图像；将两张映射图像在该目标融合区域进行融合，从而得到融合子图像；将该两张图像中的除该两张重叠子图像之外的子图像和该融合子图像进行拼接，从而得到该合并图像。

可选地，作为一个实施例，该两张图像包括第一图像和第二图像，该两张图像包括第一图像和第二图像，该第一图像对应第一视点，该第二图像对应第二视点，该确定模块具体用于：基于该光流矢量，获取该第一图像中的在该重叠区域的重叠子图像对应在该第二视点的图像；确定该对应在该第二视点的图像与该第二图像中的在该重叠区域的重叠子图像之间的第一遮挡图像；基于该光流矢量，获取该第一遮挡图像对应在该两个视点的中间视点的第二遮挡图像；根据在该第二遮挡图像中的该每个候选融合区域中的用于 指示遮挡的区域的信息，确定该每个候选融合区域对应的光流矢量映射误差。

可选地，作为一个实施例，该用于指示遮挡的区域包括用于指示遮挡的像素点，该确定模块1020具体用于：确定该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的像素点的像素值之和；将该像素值之和作为该每个候选融合区域对应的光流矢量映射误差。

可选地，作为一个实施例，选择模块1030具体用于：将该至少两个候选融合区域中对应的光流矢量映射误差最小的候选融合区域确定为该两个图像的目标融合区域。

可选地，作为一个实施例，选择模块1030还具体用于：将该至少两个候选融合区域中对应的光流矢量映射误差小于预设阈值的候选融合区域确定为该两个图像的目标融合区域。

可选地，作为一个实施例，该至少两个候选融合区域的面积之和小于该重叠区域的面积。

图11示出了根据本发明实施例的合并图像的装置1100的示意图，如图11所示，该装置1100包括：处理器1110，存储器1120，总线系统1130，其中该处理器1100和该存储器1120通过该总线系统1130相连，该存储器1120用于存储指令，该处理器1110用于执行该存储器1120存储的指令。

其中，该处理器1110用于：获取待合并的两张图像，该两张图像是分别从两个视点采集到的图像，该两张图像具有重叠区域；将该重叠区域划分出至少两个候选融合区域，该至少两个候选融合区域中的每个候选融合区域中存在将该两张图像的每张图像划分为不连通的两部分的线；基于该两张图像之间的光流矢量，确定该每个候选融合区域对应的光流矢量映射误差，其中，该每个候选融合区域对应的光流矢量映射误差用于指示在该每个候选融合区域中的，该两张图像各自的子图像，分别基于该光流矢量，对应在同一视点的图像之间的误差；根据该至少两个候选融合区域各自对应的光流矢量映射误差，从该至少两个候选融合区域中选取出该两个图像的目标融合区域；将该两张图像在该目标融合区域进行融合，从而得到该两张图像的合并图像。

本发明实施例中，待合并的图像的重叠区域被划分成多个融合区域，通过确定该多个候选融合区域各自对应的光流矢量映射误差，能够对待合并图像在重叠区域内的子图像的光流矢量映射(或称光流场映射)的误差进行估计，从而能够根据误差估计结果从候选融合区域中选择目标融合区域，将两 张图像在目标融合区域进行融合，从而得到两张图像的合并图像，这样不但能够减少合并图像由于视差引起的模糊或重影，且能够节省图像合并的计算量。

应理解，在本发明实施例中，该处理器1110可以是中央处理单元(Central Processing Unit，简称为“CPU”)，该处理器1110还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器1120可以包括只读存储器和随机存取存储器，并向处理器1110提供指令和数据。存储器1120的一部分还可以包括非易失性随机存取存储器。例如，存储器1120还可以存储设备类型的信息。

该总线系统1130除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。该总线系统1130还可以包括内部总线、系统总线和外部总线。但是为了清楚说明起见，在图中将各种总线都标为总线系统1130。

在实现过程中，上述方法的各步骤可以通过处理器1110中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以对应在随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质对应在存储器1120，处理器1110读取存储器1120中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

可选地，作为一个实施例，该处理器1110具体用于：基于该光流矢量，获取两张重叠子图像分别对应在该两个视点的中间视点的映射图像，该中间视点的坐标值为该两个视点的坐标值的均值，该两张重叠子图像为在该重叠区域中的该两张图像各自的重叠子图像；将两张映射图像在该目标融合区域进行融合，从而得到融合子图像；将该两张图像中的除该两张重叠子图像之外的子图像和该融合子图像进行拼接，从而得到该合并图像。

可选地，作为一个实施例，该两张图像包括第一图像和第二图像，该第一图像对应第一视点，该第二图像对应第二视点，该处理器1110具体用于：基于该光流矢量，获取该第一图像中的在该重叠区域的重叠子图像对应在该第二视点的图像；确定该对应在该第二视点的图像与该第二图像中的在该重 叠区域的重叠子图像之间的第一遮挡图像；基于该光流矢量，获取该第一遮挡图像对应在该两个视点的中间视点的第二遮挡图像；根据在该第二遮挡图像中的该每个候选融合区域中的用于指示遮挡的区域的信息，确定该每个候选融合区域对应的光流矢量映射误差。

可选地，作为一个实施例，该用于指示遮挡的区域包括用于指示遮挡的像素点，该处理器1110具体用于：确定该每个候选融合区域对应在该第二遮挡图像中的区域中的用于指示遮挡的像素点的像素值之和；将该像素值之和作为该每个候选融合区域对应的光流矢量映射误差。

可选地，作为一个实施例，该处理器1110具体用于：将该至少两个候选融合区域中对应的光流矢量映射误差最小的候选融合区域确定为该两个图像的目标融合区域。

可选地，作为一个实施例，该处理器1110具体用于：将该至少两个候选融合区域中对应的光流矢量映射误差小于预设阈值的候选融合区域确定为该两个图像的目标融合区域。

可选地，作为一个实施例，该至少两个候选融合区域的面积之和小于该重叠区域的面积。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以对应在一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上某一实施例中的技术特征和描述，为了使申请文件简洁清楚，可以理解适用于其他实施例，在其他实施例不再一一赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。