一种基于深度学习的立体图像重定向方法

技术特征：

1.一种基于深度学习的立体图像重定向方法，其特征在于，所述方法包括以下步骤：

利用交叉注意力提取模块获取左右图像的注意力图；

利用立体图像视差图的深度信息，构建视差辅助3d重要性图生成模块，生成左右图像的3d重要性图，将3d重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；

利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；

将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向进行训练，获得最终高质量的重定向立体图像。

2.根据权利要求1所述的一种基于深度学习的立体图像重定向方法，其特征在于，所述利用交叉注意力提取模块获取左右图像的注意力图具体为：

交叉注意力模块由通道注意力和空间注意力构成，每个通道注意力由一个最大池化层、两个卷积层、一个elu层和一个sigmoid层组成，每个空间注意力由两个卷积层、一个elu层和一个sigmoid层组成；

结合通道注意力和空间注意力，左右图像中每个交叉注意力模块的最终输出的加权特征图fi^l和fi^r如下所示：

其中

其中，和表示左右图像的输入特征图，和表示由输入特征图和通道注意力掩膜相乘得到的左右图像的通道级的特征图，fs^l和fs^r表示左右图像的交叉空间注意力掩膜，该掩膜是由左右图像的空间注意力掩膜相乘得到的，mc(·)表示通道注意力掩膜，ms(·)表示空间注意力掩膜，表示逐像素相乘。

3.根据权利要求1所述的一种基于深度学习的立体图像重定向方法，其特征在于，所述图像一致性损失用于促进反变换的左右图像与对应的原始图像具有相似的结构，图像一致性损失lr定义如下：

和

其中，和分别表示反变换的左右图像，两者均是通过将输出的目标立体图像重新送入所设计的深度网络，和分别表示原始左右图像，和分别表示重定向后的左右图像的3d重要性图，s^l(1/λ,·)和s^r(1/λ,·)分别表示在反变换纵横比1/λ条件下，对重定向后的左右图像的3d重要性图进行偏移映射操作；和分别表示重定向后的左右图像的注意力图，和分别表示重定向后的左右图像的视差图，||·||表示l1范数操作。

4.根据权利要求1所述的一种基于深度学习的立体图像重定向方法，其特征在于，所述视差一致性损失包括：视差重建项和视差细化项，视差重建项用于保留重定向立体图像的深度信息，视差细化项用于生成3d重要性图；

视差重建项lrec定义为：

其中，和分别表示反变换的左右图像的视差图；

视差细化项lref定义为：

其中，和分别表示原始左右图像的真实视差图；

将图像一致性损失lr和视差一致性损失ld结合，获得整体损失函数ltotal定义如下：

lall＝lr+τld

其中，τ表示相对权重。

技术总结
本发明公开了一种基于深度学习的立体图像重定向方法，所述方法包括：利用交叉注意力提取模块获取左右图像的注意力图；利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的3D重要性图，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向进行训练，获得最终高质量的重定向立体图像。本发明避免了图像内容失真并保持立体图像的视差一致性。

技术研发人员：雷建军;范晓婷;徐立莹;彭勃
受保护的技术使用者：天津大学
技术研发日：2020.12.22
技术公布日：2021.04.09