基于卷积网络的图像拼接方法及装置与流程

本发明涉及计算机视觉、计算机图形学技术领域，特别涉及一种基于卷积网络的图像拼接方法及装置。

背景技术：

目前，图像拼接是计算机视觉与计算机图像学领域中一个重要且基础的问题，并且在超分辨率处理、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在虚拟现实领域中，可以通过图像拼接技术生成宽视角甚至是360度的环绕视角以使得观察者获得沉浸式感受，提升虚拟现实系统在视觉上的真实度；在无人驾驶领域，通过拼接双目摄像头拍摄到的图像可以获得具有更宽视角的路况信息，方便无人车寻路制导。

然而，现有的图像拼接技术仍然存在缺陷，通常无法即精确的处理场景视差问题又保证拼接的实时性。如果对场景进行精细的划分来处理视差，则难以实时的获得拼接结果；如果整幅图像求取变性，或者识别缝合线进行拼接，虽然能保证速度，但对于较大视差的情况下不能较好的配准。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于卷积网络的图像拼接方法，该方法不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。

本发明的另一个目的在于提出一种基于卷积网络的图像拼接装置。

为达到上述目的，本发明一方面实施例提出了一种基于卷积网络的图像拼接方法，包括以下步骤：利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。

本发明实施例的基于卷积网络的图像拼接方法，通过卷积网络确定待拼接的左图和右图，并获取基于初始运动场变形的左图和右图，通过判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，从而可以将卷积网络与图像拼接相结合，对左右图中像素逐一估计运动和颜色选择，不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。

另外，根据本发明上述实施例的基于卷积网络的图像拼接方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述获取待拼接的左右图像素与最终拼接结果图像素的对应关系，以得到初始运动场，进一步包括：基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系；将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。

进一步地，在本发明的一个实施例中，所述获取融合时左右图对应的颜色选择图，进一步包括：通过基于网络生成的运动场对所述左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构；将所述基于网络生成的运动场和所述目标运动场分别变形的左图和右图作为判别网络和vgg网络的输入，利用所述判别网络的中间层特征和所述vgg网络的中间层特征约束并生成所述颜色选择图。

进一步地，在本发明的一个实施例中，所述根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，进一步包括：在调整所述运动场生成网络和颜色选择图生成网络时，收敛所述运动场生成网络和颜色选择图；通过所述判别网络的损失和空间平滑约束调整所述运动场生成网络和颜色选择图生成网络。

进一步地，在本发明的一个实施例中，所述拼接结果为：

ioutput＝iwarped_l*wl+iwarped_r*wr，

其中，ioutput为所述拼接结果，iwarped_l和iwarped_r为所述卷积网络的输入，wl和wr为所述颜色选择图。

为达到上述目的，本发明另一方面实施例提出了一种基于卷积网络的图像拼接装置，包括：第一获取模块，用于利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；第二获取模块，用于获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；拼接模块，用于根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。

本发明实施例的基于卷积网络的图像拼接装置，可以通过卷积网络确定待拼接的左图和右图，并获取基于初始运动场变形的左图和右图，通过判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，从而可以将卷积网络与图像拼接相结合，对左右图中像素逐一估计运动和颜色选择，不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。

另外，根据本发明上述实施例的基于卷积网络的图像拼接装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述第一获取模块还用于基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系，以及将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。

进一步地，在本发明的一个实施例中，所述第二获取模块还用于通过基于网络生成的运动场对所述左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构，并将所述基于网络生成的运动场和所述目标运动场分别变形的左图和右图作为判别网络和vgg网络的输入，利用所述判别网络的中间层特征和所述vgg网络的中间层特征约束并生成所述颜色选择图。

进一步地，在本发明的一个实施例中，所述第二获取模块进一步用于在调整所述运动场生成网络和颜色选择图生成网络时，收敛所述运动场生成网络和颜色选择图，并判别网络通过所述判别网络的损失和空间平滑约束调整所述运动场生成网络和颜色选择图生成网络。

进一步地，在本发明的一个实施例中，所述拼接结果为：

ioutput＝iwarped_l*wl+warped_r*wr，

其中，ioutput为所述拼接结果，iwarped_l和iwarped_r为所述卷积网络的输入，wl和wr为所述颜色选择图。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于卷积网络的图像拼接方法的流程图；

图2为根据本发明一个实施例的基于卷积网络的图像拼接方法的网络训练的流程图；

图3为根据本发明一个具体实施例的基于卷积网络的图像拼接结果示意图；

图4为根据本发明一个实施例的基于卷积网络的图像拼接装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于卷积网络的图像拼接方法及装置，首先将参照附图描述根据本发明实施例提出的基于卷积网络的图像拼接方法。

图1是本发明一个实施例的基于卷积网络的图像拼接方法的流程图。

如图1所示，该基于卷积网络的图像拼接方法包括以下步骤；

在步骤s101中，利用卷积网络确定待拼接的左图和右图，并获取左图和右图与最终拼接结果图像素的对应关系，以得到左图和右图到最终拼接结果图的初始运动场。

也就是说，本发明实施例可以利用卷积网络，从而可以确定待拼接的左右图与最终拼接结果图像素的对应关系，并且估计左右图像素到拼接结果图的初始运动场。

进一步地，在本发明的一个实施例中，获取待拼接的左右图像素与最终拼接结果图像素的对应关系，以得到初始运动场，进一步包括：基于编码器-解码器的网络结构，使用待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到左图和右图与拼接结果图像素的对应关系；将对应关系作为目标运动场，并使用目标运动场约束网络生成结果。

可以理解的是，如图2所示，本发明实施例可以利用卷积网络，确定待拼接的左右图iinput_l，,iinput_r与最终拼接结果图ioutput像素的对应关系，从而估计左右图像素到拼接结果图的初始运动场fg。假定xl＝[xy]^t和xr＝[x`y`]^t分别是待拼接左右图中对应的一对像素点，则待拼接左右图分别对应的运动场fl，fr使得fl(xl)＝fr(xr)成立。本发明实施例的方法需要目标运动场ft来对运动场生成网络的运动场结果fn进行监督，ft，,fg各自包含左图对应的运动场fl和右图对应的运动场fr，h，w分别表示运动场的高和宽，f(i,j)表示运动场f位置(i,j)处的运动量，p表示使用p范数进行约束，则运动场生成网络的损失函数如下所示：

在步骤s102中，获取基于初始运动场变形的左图和右图，并通过图像特征和判别特征的约束，由卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图。

也就是说，本发明实施例可以计算基于运动场变形的左右图，并通过图像特征和判别特征的约束，由卷积网络求解在每个像素位置左右图颜色值对拼接结果图颜色值的选择，从而得到融合时左右图对应的颜色选择图。

进一步地，在本发明的一个实施例中，获取融合时左右图对应的颜色选择图，进一步包括：通过基于网络生成的运动场对左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构；将基于网络生成的运动场和目标运动场分别变形的左图和右图作为判别网络和vgg网络的输入，利用判别网络的中间层特征和vgg网络的中间层特征约束并生成颜色选择图。

可以理解的是，如图2所示，本发明实施例可以通过计算基于已收敛运动场生成网络得到的运动场fg变形后的待拼接左右图iwarped_l,iwarped_r，将iwarped_l,作为卷积网络的输入，由卷积网络求解在每个像素位置(i,j)处变形后左右图颜色值iwarped_r(i,j)对拼接结果图颜色值ioutput(i,j)的贡献，从而得到融合时变形后左右图对应的颜色选择图wg_l，。其中，用fg(i,j)x，fg(i,j)y分别表示运动场在(i,j)处运动的x分量及y分量，则根据fg对iinput_l的变形操作如下式所示，iinput_r的计算类似：

将iwarped_l,iwarped_r作为颜色选择图生成网络的输入，得到iwarped_l对应的颜色选择图wg_，iwarped_r对应的颜色选择图wg_r＝1-wg_l。

在步骤s103中，根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。

也就是说，本发明实施例可以根据判别网络和空间平滑约束来整体更新运动场和颜色选择图。

进一步地，在本发明的一个实施例中，根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，进一步包括：在调整运动场生成网络和颜色选择图生成网络时，收敛运动场生成网络和颜色选择图；通过判别网络的损失和空间平滑约束调整运动场生成网络和颜色选择图生成网络。

可以理解的是，如图2所示，本发明实施例可以根据判别网络和空间平滑约束来整体更新运动场生成网络和颜色选择图生成网络，从而使得最终的拼接结果ioutput效果更好。当两个网络分别收敛后，再通过最小化如下目标来整体调整两个网络：

-logd(ioutput)+γlossr(ioutput)，

其中，-logd(ioutput)是为了使网络获得更好的梯度表现而对logd(1-ioutput)进行的近似表示，表示整个网络结构生成的结果被判别网络判为假的概率。lossr(ioutput)是对保证ioutput空间平滑的约束项。

可选地，在本发明的一个实施例中，拼接结果为：

ioutput＝iwarped_l*wl+warped_r*wr，

其中，ioutput为拼接结果，iwarped_l和iwarped_r为卷积网络的输入，wl和wr为颜色选择图。

可以理解的是，考虑到输入图片变形后有部分区域对于最终融合是无效的，所以iwarped_l对应的最终的颜色选择图wl＝mo*wgl+ws_l，mo是表示iwarped_l与iwarped_r重叠区域ro的mask，ws_l是iwarped_l在ro之外区域的颜色选择情况，对应的最终的颜色选择图wr的定义类似，则经过两个网络后拼接的结果ioutput定义如下：

ioutput＝iwarped_l*wl+iwarped_r*wr，

颜色选择图生成网络需要借助vgg网络中间层的特征损失lossvgg_feature和判别网络中间层的特征损失lossd_eature来进行约束，目标是最小化αlossvgg_feature+βlossd_feature。

在本发明的一个具体实施例中，包含340对具有一定视差的左右图像对，图像分辨率为256*256，300对作为训练数据dtrain，40对作为测试数据dtest使用训练数据作为输入对整个网络结构进行训练，当网络收敛时，再将测试数据输入网络可以实时得到左右图像对的一个拼接结果，拼接结果的分辨率为264*296，例如，如图3所示，根据本发明实施例的方法可以将图中的一对左右图进行拼接，得到图中所示的结果。其中，网络的训练具体包括以下内容：

(1)利用卷积网络，确定待拼接的左右图iinput_l,iinput_r与最终拼接结果图ioutput像素的对应关系，从而估计左右图像素到拼接结果图的初始运动场fg。运动场生成网络的目标是最小化所有左右图像对对应网络生成的运动场与目标运动场之间的l2范数距离：

(2)计算基于已收敛运动场生成网络得到的运动场fg变形后的待拼接左右图iwarped_l,iwarped_r，即

将iwarped_l,iwarped_r作为卷积网络的输入，最小化如下目标：

αlossvgg_feature+βlossd_feature，

求得到融合时变形后左图对应的颜色选择图wg_l，右图对应的颜色选择图wg_r＝1-wg_l，对iwarped_l,iwarped_r的内容区域加以约束，iwarped_l，iwarped_r对应的最终颜色选择图为wl，wr，即

则整个网络生成的拼接结果ioutput：

ioutput＝iwarped_l*wl+iwarped_r*wr，

(3)根据判别网络和空间平滑约束来整体更新运动场生成网络和颜色选择图生成网络。当两个网络分别收敛后，再通过最小化如下目标来整体调整两个网络：

-logd(ioutput)+γlossr(ioutput)。

综上，本发明实施例的方法对提升图像拼接质量和计算速度有较大意义，将左右图与拼接结果图像素间存在的潜在运动及颜色关系通过卷积网络来学习，获得更精细的运动变形估计，更真实的颜色融合；并通过使用训练好的网络保证计算的实时，在估计左右图与拼接结果图间像素的运动场时，使用目标运动场来监督运动场生成网络的学习，目标运动场对运动变形的逼近效果越好，运动场生成网络收敛后初始运动场的效果同样可以得到提升。本发明实施例的方法在估计颜色选择时，使用判别网络的特征来约束拼接结果的分布应当与真实场景图像的分布一致，同时使用vgg网络的特征对场景的特征进行提取来消除由于运动变形不准确造成的重影等，从而保证拼接结果的真实性。

根据本发明实施例提出的基于卷积网络的图像拼接方法，可以通过卷积网络确定待拼接的左图和右图，并获取基于初始运动场变形的左图和右图，通过判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，从而可以将卷积网络与图像拼接相结合，对左右图中像素逐一估计运动和颜色选择，不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。

其次参照附图描述根据本发明实施例提出的基于卷积网络的图像拼接装置。

图4是本发明一个实施例的基于卷积网络的图像拼接装置的结构示意图。

该基于卷积网络的拼接装置10包括：第一获取模块100、第二获取模块200和拼接模块300。

其中，第一获取模块100用于利用卷积网络确定待拼接的左图和右图，并获取左图和右图与最终拼接结果图像素的对应关系，以得到左图和右图到最终拼接结果图的初始运动场。第二获取模块200用于获取基于初始运动场变形的左图和右图，并通过图像特征和判别特征的约束，由卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图。拼接模块300用于根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。本发明实施例的拼接装置10可以通过卷积网络来求解一对存在视差的左右视角图像的拼接结果，使用第一获取模块和第二获取模块结构的网络分别逐像素的对运动和颜色选择进行估计，逐像素的运动估计可以更好的处理不同像素位置的不同视差水平，颜色选择的估计既能保证颜色信息的合理性也能保证最终的拼接结果更接近真实场景。

进一步地，在本发明的一个实施例中，第一获取模块100还用于基于编码器-解码器的网络结构，使用待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到左图和右图与拼接结果图像素的对应关系，以及将对应关系作为目标运动场，并使用目标运动场约束网络生成结果。

进一步地，在本发明的一个实施例中，第二获取模块200还用于通过基于网络生成的运动场对左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构，并将基于网络生成的运动场和目标运动场分别变形的左图和右图作为判别网络和vgg网络的输入，利用判别网络的中间层特征和vgg网络的中间层特征约束并生成颜色选择图。

进一步地，在本发明的一个实施例中，第二获取模块200进一步用于在调整运动场生成网络和颜色选择图生成网络时，收敛运动场生成网络和颜色选择图，并判别网络通过判别网络的损失和空间平滑约束调整运动场生成网络和颜色选择图生成网络。

进一步地，在本发明的一个实施例中，拼接结果为：

ioutput＝iwarped_l*wl+iwarped_r*wr，

其中，ioutput为拼接结果，iwarped_l和iwarped_r为卷积网络的输入，wl和wr为颜色选择图。

需要说明的是，前述对基于卷积网络的图像拼接方法的解释说明也适用于该实施例的基于卷积网络的图像拼接装置，此处不再赘述。

根据本发明实施例提出的基于卷积网络的图像拼接方法，通过将左右图与拼接结果图像素间存在的潜在运动及颜色关系通过卷积网络来学习，获得更精细的运动变形估计，更真实的颜色融合；并通过使用训练好的网络保证计算的实时，在估计左右图与拼接结果图间像素的运动场时，使用目标运动场来监督运动场生成网络的学习，目标运动场对运动变形的逼近效果越好，运动场生成网络收敛后初始运动场的效果同样可以得到提升。该方法在估计颜色选择时，使用判别网络的特征来约束拼接结果的分布应当与真实场景图像的分布一致，同时使用vgg网络的特征对场景的特征进行提取来消除由于运动变形不准确造成的重影等，从而保证拼接结果的真实性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。