一种基于光流的3D视觉生成方法与流程

本发明涉及一种基于光流的全景拼接中的3d视觉生成方法。

背景技术：

全景3d视频是虚拟现实(vr)中最重要的部分之一。它给用户带来了非常好的沉浸式体验。而现阶段全景3d视频的制作和传统视频的制作方式不同，其制作成本非常高。首先对于全景视频的制作往往需要一套拍摄设备，这套拍摄设备通常是将多个相机均匀的排列在一个圆上。其次，全景的制作需要将多个相机的内容拼接成一张完整的图片。现在的拼接方法分为两种，一种是基于特征点匹配的拼接方法。该方法会从需要拼接的两张图片中寻找对应的特征点，并根据对应特征点的位置关系大致两幅图的位置关系，从而拼接。由于只需要考虑特征点之间的位置关系，而特征点的个数有限，所以其拼接速度相对较快。但是这种拼接方法只计算了图中的很少一部分点的对应关系，所以无法估计出物体的深度信息，进而无法通过这种拼接算法获得3d的视觉效果。另一种是基于光流的拼接方法。光流的概念是gibson在1950年首先提出来的。它描述了空间运动物体在观察成像平面上的像素运动的瞬间速度。简而言之，光流计算了每个像素点的移动，即对于需要拼接的两张图片，光流会计算两张图之间每个像素点的对应关系。而在物体速度恒定的情况下，距离越远，成像中点的运动越小。因此我们可以通过这个来估计物体的景深。获取景深的信息之后，根据人眼瞳距模拟人眼的视角，就能在vr设备上看到3d的视觉效果。

技术实现要素：
：

本发明的目的是为了解决现有全景拼接系统中无法生成3d效果或3d效果不佳的问题，而提出一种基于光流的3d视觉生成方法。

一种基于光流的3d视觉生成方法，包括以下步骤：

步骤1、采集视频的相机需要均匀的摆放在圆心为o的同一圆上，即假设相机在圆上的位置顺时针排序为1、2、……、n，其中n为相机数目，每个相邻相机与圆心的夹角均为：

与此同时，需要相邻相机拍摄到内容有50％以上的重叠区域。

步骤2、计算光流：

步骤2.1、假设采集的图片的大小为w×h，首先将每张图片平分为大小的，并令第i个相机的左边的半张图为li，右半张图为ri。

步骤2.2、分别计算ri和li+1的光流值，若i＝n,则计算rn和l1的光流值。其计算光流的方法可以采用卢卡斯-卡奈德(lucas–kanade)光流算法。

步骤3、3d效果生成：

在进行3d效果生成的时候，利用步骤2中得到的光流信息，按照如下方式处理：

设在步骤2中，ri中点p的光流大小为对于任意一点p，假设其在ri中的位置为(x,y)，则p与相机i正对方向的夹角为：

假定圆心o与p的距离为d，相机所在圆的圆心为r，相机i与p在圆心o处的夹角为θ1，相机i+1与p所在圆心o处的夹角为θ2，根据正弦定理可得：

而：

θ1+θ2＝η

我们可算出θ1的大小：

由此，我们同时也可计算出d：

另一方面，我们假定人眼的瞳距为d＝64mm，模拟左眼的位置在o与相机i的连线上，记为l，模拟右眼的位置在o与相机i+1的连线上，记为r，由于ol与or的长度相同，我们可以计算出ol和or的长度均为：

pl与o和相机i连线的夹角为α1，pr与o和相机i+1连线的夹角为β1，根据已经计算出的θ1、d以及ol和or的长度，可得：

因此，p在虚拟左眼视角中的坐标为：p在虚拟右眼的中的坐标为：通过此点对点的对应方式，能够模拟虚拟左眼和右眼的视图，从而生成3d视觉。

本发明具有以下效果：

本发明通过拼接过程中光流的值生成了双目的3d视觉，最终实现了能在头戴式vr眼镜或红蓝眼镜上观看的3d效果。

附图说明

图1为从相机视角转换为虚拟视角示意图；

图2为利用光流生成最终3d的效果；

图3为将图2中利用红蓝通道混合的3d效果，可以使用红蓝眼镜观看。

具体实施方式

具体实施方式一：

一种基于光流的3d视觉生成方法，包括以下步骤：

步骤1、采集视频的相机需要均匀的摆放在圆心为o的同一圆上，即假设相机在圆上的位置顺时针排序为1、2、……、n，其中n为相机数目，每个相邻相机与圆心的夹角均为：

与此同时，需要相邻相机拍摄到内容有50％以上的重叠区域。

步骤2、计算光流：

步骤2.1、假设采集的图片的大小为w×h，首先将每张图片平分为大小的，并令第i个相机的左边的半张图为li，右半张图为ri。

步骤2.2、分别计算ri和li+1的光流值，若i＝n,则计算rn和l1的光流值。

步骤3、3d效果生成：

在进行3d效果生成的时候，利用步骤2中得到的光流信息，按照如下方式处理：

设在步骤2中，ri中点p的光流大小为对于任意一点p，假设其在ri中的位置为(x,y)，则p与相机i正对方向的夹角为：

假定圆心o与p的距离为d，相机所在圆的圆心为r，相机i与p在圆心o处的夹角为θ1，相机i+1与p所在圆心o处的夹角为θ2，根据正弦定理可得：

而：

θ1+θ2＝η

我们可算出θ1的大小：

由此，我们同时也可计算出d：

另一方面，我们假定人眼的瞳距为d＝64mm，模拟左眼的位置在o与相机i的连线上，记为l，模拟右眼的位置在o与相机i+1的连线上，记为r，由于ol与or的长度相同，我们可以计算出ol和or的长度均为：

pl与o和相机i连线的夹角为α1，pr与o和相机i+1连线的夹角为β1，根据已经计算出的θ1、d以及ol和or的长度，可得：

因此，p在虚拟左眼视角中的坐标为：p在虚拟右眼的中的坐标为：通过此点对点的对应方式，能够模拟虚拟左眼和右眼的视图，从而生成3d视觉。

具体实施方式二：

本实施方式的步骤2.2所述的计算光流的方法可以采用卢卡斯-卡奈德(lucas–kanade)光流算法获得。

本发明提出了一种采用全景拼接中的光流信息生成3d视觉的方法。其最终生成效果具有有很好的立体效果。