一种图像拼接方法及装置与流程
本发明涉及图像处理技术领域，尤其涉及一种图像拼接方法及装置。
背景技术：
为了获取全景图像，通常需要全景相机环360度拍摄多张照片，然后将这多张照片拼接(也可称为合成)为一张全景图像，因此，图像拼接技术在获取全景图像过程中占据了举足轻重的地位。
现有技术中，在进行图像拼接时，一般只是首先根据相机内参等参数确定出待拼接的左右两幅图像中的重叠区域，然后将左右两幅图像的重叠区域进行简单地叠加融合。但是，这种处理方法存在的缺陷是：由于实际应用中相机内参标定、图像拼接的配准过程中存在误差，待拼接的两幅图像的重叠区域不会完全重叠，因而导致叠加融合后的图像中产生鬼影图像，尤其是当视场中同时出现近景物体与远景背景时，现有这种方法将会使得近景物体出现横向压扁或远景背景出现横向拉长现象，严重影响观看效果。
综上所述，现有技术中的图像拼接方法图像的融合效果较差，拼接后得到的图像容易出现鬼影、重影、变形等现象。
技术实现要素：
本发明提供一种图像拼接方法及装置，用以提高图像拼接的质量，有效避免拼接后得到的图像出现鬼影、重影、变形等问题。
第一方面，本发明实施例提供一种图像拼接方法，包括：
获取待拼接的左图和右图的重叠区域，所述重叠区域包括左图重叠区域和右图重叠区域；
确定所述左图重叠区域到所述右图重叠区域的第一光流场，以及确定所述右图重叠区域到所述左图重叠区域的第二光流场；
根据所述第一光流场对所述左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据所述第二光流场对所述右图重叠区域进行偏移变换处理，得到右图变换图像；
根据所述左图变换图像及所述右图变换图像进行融合处理，得到重叠区域融合图像，从而根据所述重叠区域融合图像，得到所述左图和所述右图的拼接图像。
可选地，根据所述第一光流场对所述左图重叠区域进行偏移变换处理，得到左图变换图像，包括：根据所述第一光流场获取所述左图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述左图重叠区域的像素位置，得到左图变换图像；
根据所述第二光流场对所述右图重叠区域进行偏移变换处理，得到右图变换图像，包括：根据所述第二光流场获取所述右图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述右图重叠区域的像素位置，得到右图变换图像。
可选地，所述根据所述第一光流场获取所述左图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述左图重叠区域的像素位置，得到左图变换图像包括：
根据下列公式得到所述左图变换图像：
Iwarpl(i,j)＝Ileft(i-Flowl2r(i,j).y*Pl(j),j-Flowl2r(i,j).x*Pl(j))
其中：
i、j分别为竖直与水平方向上的坐标索引，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Ileft表示所述左图重叠区域，Flowl2r表示所述第一光流场，Flowl2r(i,j).y*Pl(j)为竖直方向上的像素位置偏移量，Flowl2r(i,j).y为(i,j)位置的光流场竖直方向分量，Flowl2r(i,j).x*Pl(j)为水平方向上的像素位置偏移量，Flowl2r(i,j).x为(i,j)位置的光流场水平方向分量，Pl(j)为左图位置系数，Pl(j)与j成正比；
所述根据所述第二光流场获取所述右图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述右图重叠区域的像素位置，得到右图变换图像包括：
根据下列公式得到所述右图变换图像：
Iwarpr(i,j)＝Iright(i-Flowr2l(i,j).y*Pr(j),j-Flowr2l(i,j).x*Pr(j))，
其中，i、j分别为竖直与水平方向上的坐标索引，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，Iright表示所述右图重叠区域，Flowr2l表示所述第二光流场，Flowr2l(i,j).y*Pr(j)为竖直方向上的像素位置偏移量，Flowr2l(i,j).y为(i,j)位置的光流场竖直方向分量，Flowr2l(i,j).x*Pr(j)为水平方向上的像素位置偏移量，Flowr2l(i,j).x为(i,j)位置的光流场水平方向分量，Pr(j)为右位置系数,Pr(j)与j成反比。
可选地，Pl(j)＝j/W，Pr(j)＝1-j/W，其中，W为所述左图变换图像和所述右图变换图像的宽度。
可选地，所述根据所述左图变换图像及所述右图变换图像进行融合处理，得到重叠区域融合图像包括：
对所述左图变换图像及所述右图变换图像进行加权求和处理，得到重叠区域融合图像。
可选地，所述对所述左图变换图像及所述右图变换图像进行加权求和处理，得到重叠区域融合图像包括：
根据下述公式得到所述重叠区域融合图像：
Ifusion(i,j)＝Iwarpl(i,j)*wl(j)+Iwarpr(i,j)*wr(j)，
其中，i、j分别为竖直与水平方向上的坐标索引，Ifusion表示所述重叠区域融合图像，Ifusion(i,j)为所述融合图像在(i,j)位置的像素值，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，wl(j)为左图融合权值，wr(j)为右图融合权值，W为所述左图变换图像和所述右图变换图像的宽度，n(i,j)为可变系数。
可选地，n(i,j)＝0，或者
n(i,j)＝1，或者
其中，c为通道数，k为通道编号，nmax为可变系数的最大值，Iwarpl(i,j,k)为所述左图变换图像在(i,j)位置的第k个通道的取值，Iwarpr(i,j,k)为所述右图变换图像在(i,j)位置的第k个通道的取值。
可选地，nmax的取值在1和10之间。
第二方面，本发明实施例提供一种图像拼接装置，包括：
获取单元，用于获取待拼接的左图和右图的重叠区域，所述重叠区域包括左图重叠区域和右图重叠区域；
光流场确定单元，用于确定所述左图重叠区域到所述右图重叠区域的第一光流场，以及确定所述右图重叠区域到所述左图重叠区域的第二光流场；
变换图像获取单元，用于根据所述第一光流场对所述左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据所述第二光流场对所述右图重叠区域进行偏移变换处理，得到右图变换图像；
拼接单元，用于根据所述左图变换图像及所述右图变换图像进行融合处理，得到重叠区域融合图像，从而根据所述重叠区域融合图像，得到所述左图和所述右图的拼接图像。
可选地，所述变换图像获取单元，具体用于：
根据所述第一光流场获取所述左图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述左图重叠区域的像素位置，得到左图变换图像；
根据所述第二光流场获取所述右图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述右图重叠区域的像素位置，得到右图变换图像。
可选地，所述变换图像获取单元，具体用于：
根据下列公式得到所述左图变换图像：
Iwarpl(i,j)＝Ileft(i-Flowl2r(i,j).y*Pl(j),j-Flowl2r(i,j).x*Pl(j))，
其中：
i、j分别为竖直与水平方向上的坐标索引，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Ileft表示所述左图重叠区域，Flowl2r表示所述第一光流场，Flowl2r(i,j).y*Pl(j)为竖直方向上的像素位置偏移量，Flowl2r(i,j).y为(i,j)位置的光流场竖直方向分量，Flowl2r(i,j).x*Pl(j)为水平方向上的像素位置偏移量，Flowl2r(i,j).x为(i,j)位置的光流场水平方向分量，Pl(j)为左图位置系数，Pl(j)与j成正比；
根据下列公式得到所述右图变换图像：
Iwarpr(i,j)＝Iright(i-Flowr2l(i,j).y*Pr(j),j-Flowr2l(i,j).x*Pr(j))，
其中，i、j分别为竖直与水平方向上的坐标索引，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，Iright表示所述右图重叠区域，Flowr2l表示所述第二光流场，Flowr2l(i,j).y*Pr(j)为竖直方向上的像素位置偏移量，Flowr2l(i,j).y为(i,j)位置的光流场竖直方向分量，Flowr2l(i,j).x*Pr(j)为水平方向上的像素位置偏移量，Flowr2l(i,j).x为(i,j)位置的光流场水平方向分量，Pr(j)为右位置系数,Pr(j)与j成反比。
可选地，Pl(j)＝j/W，Pr(j)＝1-j/W，其中，W为所述左图变换图像和所述右图变换图像的宽度。
可选地，所述拼接单元，具体用于：
对所述左图变换图像及所述右图变换图像进行加权求和处理，得到重叠区域融合图像。
可选地，所述拼接单元，具体用于：
根据下述公式得到所述重叠区域融合图像：
Ifusion(i,j)＝Iwarpl(i,j)*wl(j)+Iwarpr(i,j)*wr(j)，
其中，i、j分别为竖直与水平方向上的坐标索引，Ifusion表示所述重叠区域融合图像，Ifusion(i,j)为所述融合图像在(i,j)位置的像素值，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，wl(j)为左图融合权值，wr(j)为右图融合权值，W为所述左图变换图像和所述右图变换图像的宽度，n(i,j)为可变系数。
可选地，n(i,j)＝0，或者
n(i,j)＝1，或者
其中，c为通道数，k为通道编号，nmax为可变系数的最大值，Iwarpl(i,j,k)为所述左图变换图像在(i,j)位置的第k个通道的取值，Iwarpr(i,j,k)为所述右图变换图像在(i,j)位置的第k个通道的取值。
可选地，nmax的取值在1和10之间。
第三方面，本发明实施例提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一所述方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一所述方法。
第五方面，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一所述的方法。
本发明实施例，首先，确定出待拼接的左图和右图的左图重叠区域和右图重叠区域，并分别确定左图重叠区域到右图重叠区域的第一光流场，以及确定右图重叠区域到左图重叠区域的第二光流场；其次，根据第一光流场对左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据第二光流场对右图重叠区域进行偏移变换处理，得到右图变换图像；最后，根据左图变换图像及右图变换图像进行融合处理，得到重叠区域融合图像，从而根据重叠区域融合图像，得到左图和右图的拼接图像。本发明实施例，分别确定了第一光流场和第二光流场，并根据第一光流场将左图重叠区域变换为左图变换图像，根据第二光流场将右图重叠区域变换为右图变换图像，可使得变换得到的左图变换图像和右图变换图像近似相同，从而在根据左图变换图像和右图变换图像进行图像融合时，不会出现鬼影、重影、变形等问题，因而提高了图像拼接的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像拼接方法流程图；
图2为本发明实施例提供的图像拼接方法详细流程图；
图3(a)为本发明实施例提供的左图重叠区域示意图；
图3(b)为本发明实施例提供的右图重叠区域示意图；
图4(a)为本发明实施例提供的第一光流场示意图；
图4(b)为本发明实施例提供的第二光流场示意图；
图5(a)为本发明实施例提供的左图变换图像示意图；
图5(b)为本发明实施例提供的右图变换图像示意图；
图6为本发明实施例提供的融合图像示意图；
图7为使用现有技术得到的融合图像示意图；
图8为本发明实施例提供的图像拼接装置示意图；
图9为本发明实施例提供的电子设备示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合说明书附图对本发明实施例作进一步详细描述。
如图1所示，本发明实施例提供的一种图像拼接方法，包括：
步骤101、获取待拼接的左图和右图的重叠区域，所述重叠区域包括左图重叠区域和右图重叠区域；
步骤102、确定左图重叠区域到右图重叠区域的第一光流场，以及确定右图重叠区域到左图重叠区域的第二光流场；
步骤103、根据第一光流场对左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据第二光流场对右图重叠区域进行偏移变换处理，得到右图变换图像；
步骤104、根据左图变换图像及右图变换图像进行融合处理，得到重叠区域融合图像，从而根据重叠区域融合图像，得到左图和右图的拼接图像。
本发明实施例中，首先获取两幅待拼接的原始图像，一幅为待拼接的左图，一幅为待拼接的右图，待拼接的左图与待拼接的右图分别由两个相机(即两个摄像头)拍摄得到，这两个相机的视场角有一部分重叠，因此，所拍摄得到的左图和右图具有包含有相同图像内容的重叠区域，而拼接后的图像(以下称拼接图像)仅需保留一份该相同图像内容，因此，在进行图像拼接时需要对左图和右图的重叠区域进行处理，可以简单的理解成，将左图的重叠区域和右图的重叠区域合成为包含有上述相同图像内容的一个区域。
具体实施中，在拍摄左图和右图之前，需要对这两个相机进行内外参标定，从而根据所标定的内外参，确定出这两个相机所拍摄的图像的重叠区域的位置，其中，内参表示相机内部参数，如焦距、视场角、分辨率、畸变系数等。外参表示相机的相对位置及朝向等信息。在标定了内外参之后，根据所标定的内外参数可以确定出重叠区域在左图和右图上的位置，则在步骤101中，可根据该预先确定出的位置，获取到左图中的重叠区域和右图中的重叠区域。
具体的，内外参标定可采用现有技术公知的任意方式，本发明对此不做限定，例如，可采用张正友标定法，这里不再赘述。
为了进一步提升图像拼接质量，由于得到相机内参后，相机的畸变系数、焦距等可知，因此，在获取重叠区域之前，通常先根据相机的畸变参数和焦距等，对左图和右图进行畸变矫正、尺度变化等几何校正操作，可得到校正后的两幅图像，然后再进行拼接处理。可采用现有技术公知的校正方式对图像进行校正处理，本发明对此不做限定，这里不再赘述。
此外，在获取重叠区域之前，还可以对左图和右图两幅图像进行色彩亮度均衡化处理，可采用现有技术公知的任意方式进行色彩亮度均衡化处理，本发明对此不做限定，这里不再赘述，例如，可采用均值法或其他全局均衡算法来处理。
在上述步骤101中，对于待拼接的左图和右图，可根据预先根据相机内外参确定的重叠位置，提取出待拼接的左图和待拼接的右图的重叠区域，即得到左图重叠区域和右图重叠区域，亦即得到左图重叠区域的图像和右图重叠区域的图像。其中，左图重叠区域为待拼接的左图上的部分图像，右图重叠区域为待拼接的右图上的部分图像，左图重叠区域与右图重叠区域大小相同，且该两个区域上的图像内容相同，且相同的图像内容对应位置的像素值相同或相近。
为方便说明，本发明实施例中，左图重叠区域记为Ileft，右图重叠区域记为Iright。
上述步骤102中，根据左图重叠区域和右图重叠区域，计算得到左图重叠区域到右图重叠区域的第一光流场，以及计算得到确定右图重叠区域到左图重叠区域的第二光流场。
为方便说明，本发明实施例中，第一光流场，记为Flowl2r，第二光流场，记为Flowr2l。
其中，Flowl2r的大小与左图重叠区域的大小相同，且Flowl2r的每个元素为二维浮点坐标，用于表示左图重叠区域中与该元素对应的像素位置在右图重叠区域中的偏移量，具体地，包含x与y方向上的偏移量，也称为x与y方向上的分量。光流场计算方法可采用Horn-Schunck算法或Gunnar Farneback算法等，本发明对此不做限定。第一光流场的物理意义为，可用于记录左图重叠区域相对于右图重叠区域的偏移量。
其中，Flowr2l的大小与右图重叠区域的大小相同，且Flowr2l的每个元素为二维浮点坐标，用于表示右图重叠区域中与该元素对应的像素位置在左图重叠区域中的偏移量，具体地，包含x与y方向上的偏移量，也称为x与y方向上的分量。光流场计算方法可采用Horn-Schunck算法或Gunnar Farneback算法等，本发明对此不做限定。第二光流场的物理意义为，可用于记录右图重叠区域相对于左图重叠区域的偏移量。
上述步骤103中，根据得到的第一光流场对左图重叠区域进行偏移变换处理，得到左图变换图像，以及，根据第二光流场对右图重叠区域进行偏移变换处理，得到右图变换图像。
该步骤中，分别通过第一光流场和第二光流场对左图重叠区域和右图重叠区域进行偏移变换处理，可使得得到的左图变换图像和右图变换图像在对应位置的像素值基本相同，即左图变换图像和右图变换图像近似相同。
具体地，可通过下述方法得到左图变换图像和右图变换图像：
根据第一光流场获取左图重叠区域的像素位置偏移量，按照像素位置偏移量变换左图重叠区域的像素位置，得到左图变换图像，
以及，根据第二光流场获取右图重叠区域的像素位置偏移量，按照像素位置偏移量变换右图重叠区域的像素位置，得到右图变换图像。
从而，使得左图变换图像和右图变换图像近似相同。
下面给出一个具体的例子，并结合公式来说明如何得到左图变换图像：
可通过如下公式，得到左图变换图像。
Iwarpl(i,j)＝Ileft(i-Flowl2r(i,j).y*Pl(j),j-Flowl2r(i,j).x*Pl(j))……(1)
其中：
i、j分别为竖直与水平方向上的坐标索引，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Ileft表示所述左图重叠区域，Flowl2r表示所述第一光流场，Flowl2r(i,j).y*Pl(j)为竖直方向上的像素位置偏移量，Flowl2r(i,j).y为(i,j)位置的光流场竖直方向即y方向分量，Flowl2r(i,j).x*Pl(j)为水平方向上的像素位置偏移量，Flowl2r(i,j).x为(i,j)位置的光流场水平方向即x方向分量，Pl(j)为左图位置系数，Pl(j)与j成正比；
下面给出一个具体的例子，并结合公式来说明如何得到右图变换图像：
可通过如下公式，得到右图变换图像：
Iwarpr(i,j)＝Iright(i-Flowr2l(i,j).y*Pr(j),j-Flowr2l(i,j).x*Pr(j))……(2)
其中，i、j分别为竖直与水平方向上的坐标索引，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，Iright表示所述右图重叠区域，Flowr2l表示所述第二光流场，Flowr2l(i,j).y*Pr(j)为竖直方向上的像素位置偏移量，Flowr2l(i,j).y为(i,j)位置的光流场竖直方向即y方向分量，Flowr2l(i,j).x*Pr(j)为水平方向上的像素位置偏移量，Flowr2l(i,j).x为(i,j)位置的光流场水平方向即x方向分量，Pr(j)为右位置系数,Pr(j)与j成反比。
可选地，根据下列公式得到Pl(j)和Pr(j)：
Pl(j)＝j/W……(3)
Pr(j)＝1-j/W……(4)
其中，W为左图变换图像和右图变换图像的宽度。
当然，作为一种可选地实现方式，还可以是根据第一光流场和第二光流场分别对左图重叠区域和右图重叠区域进行像素值的修改，从而使得左图变换图像和右图变换图像近似相同。
紧接着，在上述步骤104中，对左图变换图像及右图变换图像进行融合处理，得到重叠区域融合图像，由于左图变换图像和右图变换图像近似相同，因而不会出现鬼影、重影、变形等问题，因而提高了图像融合的质量，进而，根据重叠区域融合图像，得到左图和右图的拼接图像，该拼接图像的质量也比较高。
可选地，通过下列方式得到重叠区域融合图像，包括：
对所述左图变换图像及所述右图变换图像进行加权求和处理，得到重叠区域融合图像。
其中，通过加权的方式进行求和处理得到重叠区域融合图像时，使用的权值可以是预先设定的固定值，也可以是动态求得的值，下面给出一种根据动态求得的权值计算得到重叠区域融合图像的方法，即根据下述公式得到重叠区域融合图像：
Ifusion(i,j)＝Iwarpl(i,j)*wl(j)+Iwarpr(i,j)*wr(j)……(5)
其中，i、j分别为竖直与水平方向上的坐标索引，Ifusion表示所述重叠区域融合图像，Ifusion(i,j)为所述融合图像在(i,j)位置的像素值，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，wl(j)为左图融合权值，
wr(j)为右图融合权值，
W为所述左图变换图像和所述右图变换图像的宽度，n(i,j)为可变系数。
使用上述方法求得的权值系数，可提高融合图像的质量及平滑性。
可选地，上述公式中的n(i,j)＝0，或者n(i,j)＝1，或者
其中，c为通道数，k为通道编号，nmax为可变系数的最大值，Iwarpl(i,j,k)为所述左图变换图像在(i,j)位置的第k个通道的取值，Iwarpr(i,j,k)为所述右图变换图像在(i,j)位置的第k个通道的取值。
其中，当n(i,j)统一为0时，上述公式(5)退化为均值加权；当n(i,j)统一为1时，上述公式(5)退化为线性距离加权；优选地，nmax的取值在1和10之间。
针对现有技术在全景相机拼接过程中遇到内外参误差、近景物体与远景背景同时出现的情况不能产生较好的拼接效果的问题，本发明实施例采用了光流场作为变换参考，并且使用自适应系数的距离加权融合策略，生成融合后的图像，去除了由于相机间视差的存在造成的重影，因而在拼接效果上有了较大的提升。
本发明实施例，首先，确定出待拼接的左图和右图的左图重叠区域和右图重叠区域，并分别确定左图重叠区域到右图重叠区域的第一光流场，以及确定右图重叠区域到左图重叠区域的第二光流场；其次，根据第一光流场对左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据第二光流场对右图重叠区域进行偏移变换处理，得到右图变换图像；最后，根据左图变换图像及右图变换图像进行融合处理，得到重叠区域融合图像，从而根据重叠区域融合图像，得到左图和右图的拼接图像。本发明实施例，分别确定了第一光流场和第二光流场，并根据第一光流场将左图重叠区域变换为左图变换图像，根据第二光流场将右图重叠区域变换为右图变换图像，可使得变换得到的左图变换图像和右图变换图像近似相同，从而在根据左图变换图像和右图变换图像进行图像融合时，不会出现鬼影、重影、变形等问题，因而提高了图像拼接的质量。
下面对本发明实施例提供的一种基于图像拼接方法做详细描述，如图2所示，包括：
步骤201、获取待拼接的左图和右图。
步骤202、获取待拼接的左图和右图的重叠区域，所述重叠区域包括左图重叠区域和右图重叠区域。
步骤203、确定左图重叠区域到右图重叠区域的第一光流场，以及确定右图重叠区域到左图重叠区域的第二光流场。
步骤204、根据第一光流场对左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据第二光流场对右图重叠区域进行偏移变换处理，得到右图变换图像。
具体地，根据上述公式(1)得到左图变换图像，以及根据上述公式(2)得到右图变换图像。
步骤205、根据左图变换图像及右图变换图像进行融合处理，得到重叠区域融合图像。
具体地，可根据上述公式(5)得到重叠区域融合图像。
步骤206、根据重叠区域融合图像，得到左图和所述右图的拼接图像。
本发明实施例，首先，确定出待拼接的左图和右图的左图重叠区域和右图重叠区域，并分别确定左图重叠区域到右图重叠区域的第一光流场，以及确定右图重叠区域到左图重叠区域的第二光流场；其次，根据第一光流场对左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据第二光流场对右图重叠区域进行偏移变换处理，得到右图变换图像；最后，根据左图变换图像及右图变换图像进行融合处理，得到重叠区域融合图像，从而根据重叠区域融合图像，得到左图和右图的拼接图像。本发明实施例，分别确定了第一光流场和第二光流场，并根据第一光流场将左图重叠区域变换为左图变换图像，根据第二光流场将右图重叠区域变换为右图变换图像，可使得变换得到的左图变换图像和右图变换图像近似相同，从而在根据左图变换图像和右图变换图像进行图像融合时，不会出现鬼影、重影、变形等问题，因而提高了图像拼接的质量。
下面结合附图对本发明实施例提供的上述图像拼接方法进行形象的说明。
本实施例中，首先获取左图重叠区域和右图重叠区域。
如图3(a)和图3(b)所示，分别为本发明实施例提供的左图重叠区域和右图重叠区域示意图。从图3(a)和图3(b)，可以看出两幅图像并不完全相同，尤其是图3(a)中的右上位置的乒乓球拍没有显示手柄，而图3(b)中的右上位置的乒乓球拍显示有手柄；以及图3(a)中的左下角位置有英文字母“DHS”，而图3(b)中的左下角位置的只有英文字母“S”，而没有显示“DH”。
接下来，计算第一光流场和第二光流场。
如图4(a)和图4(b)所示，分别为本发明实施例提供的第一光流场和第二光流场示意图。
接下来，采用前述公式(1)和公式(2)，得到左图变换图像和右图变化图像。
如图5(a)和图5(b)所示，分别为本发明实施例提供的左图变换图像和右图变换图像示意图。从图5(a)和图5(b)可以看出，经过第一光流场对左图重叠区域的变换，使得图5(a)中所示的左图变换图像中右上位置的乒乓球拍显示出了手柄，以及使得图5(b)中所示的由图变换图像中的左下角位置显示出了英文字母“DHS”(虽然不是很清晰)。
从图5(a)和图5(b)可看出，通过变换得到的左图变换图像和右图变换图像已经基本相同，即在对应位置上的像素值相同或相近。
然后，对左图变换图像和右图变换图像进行加权融合，得到融合图像。最后，利用融合图像，按照左图除重叠区域的图像部分、融合图像、右图除重叠区域的图像部分的顺序，将这三部分拼接在一起，形成拼接图像。
如图6所示，为本发明实施例提供的融合图像示意图，如图7所示，为使用现有技术得到的融合图像示意图，从图6和图7的对比可以很明显地看出，通过本发明实施例得到的图6所述的融合图像，没有鬼影、重影现象，且画面质量高，而图7所示的通过现有技术得到的融合图像，有鬼影、重影现象，画质也不是很清晰。
基于上述图示结果，可以看明显地看出，通过本发明实施例得到的融合图像，不会出现鬼影、重影、变形等问题，因而提高了图像拼接的质量。
基于相同的技术构思，本发明实施例还提供一种图像拼接装置，该装置可以是处理器，也可以是集成于处理器内部的处理单元，还是可以服务器等，如图8所示，包括：
获取单元801，用于获取待拼接的左图和右图的重叠区域，所述重叠区域包括左图重叠区域和右图重叠区域；
光流场确定单元802，用于确定所述左图重叠区域到所述右图重叠区域的第一光流场，以及确定所述右图重叠区域到所述左图重叠区域的第二光流场；
变换图像获取单元803，用于根据所述第一光流场对所述左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据所述第二光流场对所述右图重叠区域进行偏移变换处理，得到右图变换图像；
拼接单元804，用于根据所述左图变换图像及所述右图变换图像进行融合处理，得到重叠区域融合图像，从而根据所述重叠区域融合图像，得到所述左图和所述右图的拼接图像。
可选地，所述变换图像获取单元803，具体用于：
根据所述第一光流场获取所述左图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述左图重叠区域的像素位置，得到左图变换图像；
根据所述第二光流场获取所述右图重叠区域的像素位置偏移量，按照所述像素位置偏移量变换所述右图重叠区域的像素位置，得到右图变换图像。
可选地，所述变换图像获取单元803，具体用于：
根据下列公式得到所述左图变换图像：
Iwarpl(i,j)＝Ileft(i-Flowl2r(i,j).y*Pl(j),j-Flowl2r(i,j).x*Pl(j))，
其中：
i、j分别为竖直与水平方向上的坐标索引，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Ileft表示所述左图重叠区域，Flowl2r表示所述第一光流场，Flowl2r(i,j).y*Pl(j)为竖直方向上的像素位置偏移量，Flowl2r(i,j).y为(i,j)位置的光流场竖直方向分量，Flowl2r(i,j).x*Pl(j)为水平方向上的像素位置偏移量，Flowl2r(i,j).x为(i,j)位置的光流场水平方向分量，Pl(j)为左图位置系数，Pl(j)与j成正比；
根据下列公式得到所述右图变换图像：
Iwarpr(i,j)＝Iright(i-Flowr2l(i,j).y*Pr(j),j-Flowr2l(i,j).x*Pr(j))，
其中，i、j分别为竖直与水平方向上的坐标索引，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，Iright表示所述右图重叠区域，Flowr2l表示所述第二光流场，Flowr2l(i,j).y*Pr(j)为竖直方向上的像素位置偏移量，Flowr2l(i,j).y为(i,j)位置的光流场竖直方向分量，Flowr2l(i,j).x*Pr(j)为水平方向上的像素位置偏移量，Flowr2l(i,j).x为(i,j)位置的光流场水平方向分量，Pr(j)为右位置系数,Pr(j)与j成反比。
可选地，Pl(j)＝j/W，Pr(j)＝1-j/W，其中，W为所述左图变换图像和所述右图变换图像的宽度。
可选地，所述拼接单元804，具体用于：
对所述左图变换图像及所述右图变换图像进行加权求和处理，得到重叠区域融合图像。
可选地，所述拼接单元804，具体用于：
根据下述公式得到所述重叠区域融合图像：
Ifusion(i,j)＝Iwarpl(i,j)*wl(j)+Iwarpr(i,j)*wr(j)，
其中，i、j分别为竖直与水平方向上的坐标索引，Ifusion表示所述重叠区域融合图像，Ifusion(i,j)为所述融合图像在(i,j)位置的像素值，Iwarpl表示所述左图变换图像，Iwarpl(i,j)为所述左图变换图像在(i,j)位置的像素值，Iwarpr表示所述右图变换图像，Iwarpr(i,j)为所述右图变换图像在(i,j)位置的像素值，wl(j)为左图融合权值，wr(j)为右图融合权值，W为所述左图变换图像和所述右图变换图像的宽度，n(i,j)为可变系数。
可选地，n(i,j)＝0，或者
n(i,j)＝1，或者
其中，c为通道数，k为通道编号，nmax为可变系数的最大值，Iwarpl(i,j,k)为所述左图变换图像在(i,j)位置的第k个通道的取值，Iwarpr(i,j,k)为所述右图变换图像在(i,j)位置的第k个通道的取值。
可选地，nmax的取值在1和10之间。
本发明实施例，首先，确定出待拼接的左图和右图的左图重叠区域和右图重叠区域，并分别确定左图重叠区域到右图重叠区域的第一光流场，以及确定右图重叠区域到左图重叠区域的第二光流场；其次，根据第一光流场对左图重叠区域进行偏移变换处理，得到左图变换图像，以及根据第二光流场对右图重叠区域进行偏移变换处理，得到右图变换图像；最后，根据左图变换图像及右图变换图像进行融合处理，得到重叠区域融合图像，从而根据重叠区域融合图像，得到左图和右图的拼接图像。本发明实施例，分别确定了第一光流场和第二光流场，并根据第一光流场将左图重叠区域变换为左图变换图像，根据第二光流场将右图重叠区域变换为右图变换图像，可使得变换得到的左图变换图像和右图变换图像近似相同，从而在根据左图变换图像和右图变换图像进行图像融合时，不会出现鬼影、重影、变形等问题，因而提高了图像拼接的质量。
基于相同构思，参见图9，为本发明实施例提供的一种电子处理设备900的硬件结构示意图，如图9所示，包括：
一个或多个处理器910以及存储器920，图9中以一个处理器910为例。
执行图像拼接方法的电子设备还可以包括：输入装置930和输出装置940。
处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器920作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的图像拼接方法对应的程序指令/模块(例如，附图8所示的获取单元801、光流场确定单元802、变换图像获取单元803、拼接单元804)。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例图像拼接方法。
存储器920可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据列表项操作的处理装置的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器920可选包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至列表项操作的处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置930可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器920中，当被所述一个或者多个处理器910执行时，执行上述任意方法实施例中的图像拼接方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
基于相同的发明构思，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一项所述的图像拼接方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
基于相同的发明构思，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项所述的图像拼接方法。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！