一种无监督立体图像重定向方法

本发明涉及图像处理、立体视觉技术领域，尤其涉及一种无监督立体图像重定向方法。

背景技术：

立体图像能够提供沉浸式的视觉体验，受到工业界和学术界的广泛关注。随着不同立体显示设备的增长，需要在不同分辨率和目标纵横比的设备上显示立体图像和视频。立体图像重定向技术旨在智能地处理显示设备的多媒体内容，使其适应不同尺寸的屏幕，可以广泛应用于虚拟现实、人机交互等领域。

目前，2d图像重定向方法分为离散方法和连续方法。离散方法是通过去除或插入对图像贡献最小能量的像素以改变原始大小。但是，该方法往往会引起显著内容出现不连续伪影，导致视觉失真。相比之下，连续方法通过计算最优的非均匀网格变形实现图像缩放，该方法使用四边形网格或三角形网格来保持显著区域。然而，连续方法可能会导致显著性区域的变形。近年来，基于深度学习的2d图像重定向算法得到了发展。例如，cho等人提出了一种基于深度卷积神经网络的图像重定向方法，该方法利用编解码器模型学习注意力图，并设计基于内容感知的偏移层变形图像。lin等人提出了一个从粗到细的图像重定向框架，并在每个卷积层上利用均匀重采样将特征图重定向到目标大小。现有的基于深度学习的2d图像重定向模型表明，深度学习在理解图像显著性内容和提取感兴趣区域方面具有良好的性能。

与传统2d图像重定向相比，立体图像重定向不仅需要避免图像内容和形状失真，而且需要保证立体图像的视差一致性。立体图像重定向同样分为两类，即离散方法和连续方法。离散方法通过一致地去除左右图像中均匀区域的接缝，处理立体图像重定向问题。例如，utsugi等人和basha等人通过引入深度约束将2d图像的seam-carving算法扩展到立体图像重定向任务中。而连续方法则是通过优化立体图像中的变形网格，实现图像缩放。chang等人将立体图像重定向定义为能量最小化问题，并通过网格变形场中的稀疏立体对应关系处理左右图像变形。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法利用2d图像重定向技术处理立体图像，忽略了立体图像的视差信息，会导致显著区域变形不一致，进一步削弱3d场景的深度感知；现有的基于离散的立体图像重定向方法可能导致立体图像的形状和内容失真，而基于连续的立体图像重定向方法通常会导致立体图像的视差失真。

技术实现要素：

本发明提供了一种无监督立体图像重定向方法，本发明利用无监督深度学习方式，采用多级注意力生成模块提取高层特征，提取显著区域的信息，并利用无监督视点合成损失和立体循环一致性损失，保证立体图像的几何结构和深度信息，实现立体图像重定向，详见下文描述：

一种无监督立体图像重定向方法，所述方法包括以下步骤：

利用多级注意力生成模块获取立体图像的注意力图；

利用左右图像之间的视点间的相关性，构建视点合成损失；

利用立体图像在重定向前后的一致性，构建立体循环一致性损失；

基于视点合成损失、立体循环一致性损失构建总损失函数，通过总损失函数对无监督立体图像重定向进行训练，获得重定向后的立体图像。

其中，视点合成损失，用于促进生成具有精确的视点间关系的高质量目标立体图像；立体循环一致性损失，用于鼓励重建图像的显著信息和视差关系与对应的原始图像相似。

进一步地，所述视点合成损失为：

其中，h’和w’表示重定向后的立体图像的宽度和高度，dt(u,v)为目标立体图像的视差图，(u,v)为图像中的像素坐标，表示目标左图像的像素，表示目标右图像的像素，表示为通过图像变形获得的合成的目标左图像

所述立体循环一致性损失由内容一致性项和视差一致性项组成，立体循环一致性损失lsl定义如下：

lsl＝lcl+κldl

其中，lcl表示内容一致性项，ldl表示视差一致性项，κ表示形状一致性和深度一致性的权重参数；

视差一致性项用于构建变形后的重建立体图像与原始立体图像之间的视差约束，重建后的左右图像之间的视差接近原始左右图像之间的视差，视差一致性项ldl定义为：

其中，h为原始立体图像的宽度，w为原始立体图像的高度，为原始的左图像，为原始的右图像，和为将目标图像重新输入到所提出的无监督立体图像重定向模型中获得的重建的左右图像，(u,v)为图像中的像素坐标。

本发明提供的技术方案的有益效果是：

1、本方法在保留立体图像中显著对象结构的同时均匀缩放背景区域，并有效保持立体图像的视差一致性，获得高质量的重定向后的立体图像；

2、本发明以无监督的深度学习方式来解决立体图像重定向问题，通过无监督方式定位显著对象并学习立体关系，获得结构一致的目标立体图像，并保留三维场景的原始深度值。

附图说明

图1为一种无监督立体图像重定向方法的流程图；

图2为重定向后立体图像的深度失真得分对比结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明实施例设计了一种无监督立体图像重定向方法。该方法由三部分组成：多级注意力生成模块提取高层语义特征，获得对显著区域的信息提取；视点合成损失用于生成高质量的重定向的立体图像；立体循环一致性损失用于保证立体图像的几何结构和深度信息。该立体图像重定向方法实现了自适应地调整图像的分辨率，保持了图像中显著对象的结构和视差一致性关系，详见下文描述：

一种无监督立体图像重定向方法，参见图1，该方法包括以下步骤：

步骤1：利用多级注意力生成模块获取立体图像的注意力图；

为了获得图像中显著对象信息，本发明实施例设计了多级注意力生成模块获取图像的注意力图。该模块由基本特征提取网络和若干注意力模块组成，基本特征提取网络采用编解码结构，通过多个卷积层获取多层特征，并利用多个反卷积层恢复特征空间信息。编码器结构主要基于vgg-16捕获高级特征图，解码器网络对特征图进行上采样以保持输入图像的原始分辨率。此外，将三个卷积块注意力模型插入到基本特征提取网络的编码器中，以由粗到细的方式充分地学习显著对象。

具体地，将conv3-3、conv4-3和conv5-3生成的三个特征图与卷积块注意力模型进行融合生成注意力图。然后，对三个注意力图进行多个反卷积的上采样，将注意力图恢复到原始空间维度并进一步融合，生成最终的注意力图。在获取注意力图后，将注意力图输入到偏移层，实现立体图像在深度特征空间的重定向。

步骤2：利用左右图像之间的视点间的相关性，构建视点合成损失；

为了描述左右图像之间的视点间相关性，并进一步监督目标立体图像的视点间关系。本发明实施例将目标右图像及目标视差图进行变形，获得合成的目标左图像，并促进合成的目标左图像尽可能与立体图像中原目标左图像的内容和深度信息一致。假设表示目标左图像的像素，表示目标右图像的像素，表示为通过图像变形获得的合成的目标左图像

其中，视点合成损失函数lvl定义如下：

其中，h’和w’表示重定向后的立体图像的宽度和高度，dt(u,v)为目标立体图像的视差图，(u,v)为图像中的像素坐标。

步骤3：利用立体图像在重定向前后的一致性，构建立体循环一致性损失。

立体图像重定向的目标是保持视觉显著物体的原始形状，同时最小化视觉失真。此外，保持输入和输出立体图像之间的深度感知也是必要的。

为此，本发明实施例利用立体图像在重定向前后的一致性，设计立体循环一致性损失，保持立体图像的全局结构，并增强3d视觉体验。立体循环一致性损失由内容一致性项和视差一致性项组成。

立体循环一致性损失lsl定义如下：lsl＝lcl+κldl(2)

其中，lcl表示内容一致性项，ldl表示视差一致性项，κ表示形状一致性和深度一致性的权重参数。

1)内容一致性项

为了保持显著目标的形状结构，本发明实施例设计了内容一致性项来评估重建图像与原始图像之间的相似性。本发明实施例的目标是当修改原始立体图像的纵横比时，重建的立体图像应该与原始立体图像相似。在该项中，结构相似性(ssim)和l1范数结合起来作为内容一致性项，用于比较原始图像及其重建图像。内容一致性项lcl定义为：

其中，和表示原始的左右图像，h和w表示原始立体图像的宽度和高度，和表示将目标图像重新输入到所提出的无监督立体图像重定向模型中获得的重建的左右图像，s(·,·)表示结构相似性，η表示权重因子，为左图像的内容一致性项，为右图像的内容一致性项。

2)视差一致性项

为了保持立体图像的视差关系，获得与原始立体图像相似的3d视觉体验，本发明实施例设计了基于视差线索的视差一致性项。视差一致性项用于构建变形后的重建立体图像与原始立体图像之间的视差约束。具体来说，重建后的左右图像之间的视差应接近原始左右图像之间的视差。视差一致性项ldl定义为：

综上，利用总损失函数ltotal对无监督立体图像重定向模型(即由多级注意力生成模块，偏移层，视点合成损失和立体循环一致性损失构成的深度学习模型)进行训练，获得重定向后的立体图像。总损失函数ltotal由上述两项损失函数构成：

ltotal＝lsl+αlvl(6)

其中，lsl为立体循环一致性损失，该损失鼓励重建图像的显著信息和视差关系与对应的原始图像相似，lvl为视点合成损失，该损失促进生成具有更精确的视点间关系的高质量目标立体图像，α是权重因子。

图2列出了重定向后立体图像的深度失真得分对比结果，对比算法包括：wssdcnn方法和dps方法，其中wssdcnn方法是2d图像重定向算法，dps方法是立体图像重定向算法。深度失真越小，立体视觉体验越高。如图所示，wssdcnn方法引入了较大的深度失真，原因在于左图像和右图像之间缺少信息补充。另外，dps方法的深度失真结果高于本发明的结果，因为该方法无法在某些测试数据中保持几何一致性。从图2中可以看出，通过视点合成和立体循环一致性损失，该方法可以获得更好的重定向结果，并且具有精确的视点间关系和视差。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。