一种面向智能手机的立体视频生成方法及辅助拍摄装置与流程

本发明涉及立体视频成像领域，特别是指一种面向智能手机的立体视频生成方法及辅助拍摄装置。

背景技术：

视觉是人类感知外部环境的重要信息来源，因此图像和视频在娱乐、教育、社交等各种应用场景中发挥重要作用。然而，普通图像和视频本质上是对三维世界的二维投影，成像过程中丢失了场景深度信息，因此普通图像和视频难以给观察者带来身临其境的感觉。近年来，立体(stereoscopy)视频成像技术得以迅速发展，极大地增强了场景的立体感和真实感。立体视频可以向观察者左、右眼呈现具有视差的左、右视图，这两个视图经过观察者大脑合成之后可以为观察者提供完整的场景深度线索。目前，人们可以借助虚拟现实眼镜(virtualrealityglasses)等辅助设备在智能手机上观看事先录制好的立体视频，为用户带来前所未有的沉浸感和极佳的影视欣赏体验。

现有的立体图像和立体视频获取技术大致可以分为以下四类：利用计算机视觉和图像处理方法从普通单摄像头视频中提取场景的深度信息，在此基础上生成具有视差的左、右视图；使用两个并排、且相对位置固定的摄像机同时进行拍摄；采用双镜头摄像机进行立体视频拍摄；采用单个摄像头结合辅助装置进行拍摄。这些技术手段各自存在成本高、结构复杂、操作困难等问题，无法满足一般消费者利用普通智能手机拍摄立体视频的需求。

针对现有技术中立体视频拍摄成本高、结构复杂、操作困难的问题，目前尚未有有效的解决方案。

技术实现要素：

有鉴于此，本发明实施例的目的在于提出一种面向智能手机的立体视频生成方法及辅助拍摄装置，能够使一般消费者利用普通智能手机拍摄立体视频，降低成本、简化结构、且便于操作。

基于上述目的，本发明实施例提供了一种面向智能手机的立体视频生成方法，包括：

构建立体视频辅助拍摄装置并将其安装在智能手机上；

标定立体视频辅助拍摄装置的安装参数；

使用智能手机计算投影几何变换矩阵与灰度补偿映射函数；

使用智能手机拍摄视频数据；

将拍摄的视频数据转化为立体视频。

在一些实施方式中，所述立体视频辅助拍摄装置包括用于获取场景虚像的不锈钢平面镜1，不锈钢平面镜1所在平面与手机0背面相垂直，不锈钢平面镜1所在平面与手机0背面相交于平面镜1内边缘，平面镜1内边缘与手机0侧边相垂直；同时，不锈钢平面镜1由平面镜固定架2固定，平面镜固定架2通过支架连接部件3连接至支架固定架4，支架固定架4通过手机连接部件5与智能手机0相连接，平面镜固定架2与支架连接部件3之间、支架固定架4与手机连接部件5之间以紧固件6固定或调节相对位置与角度。

在一些实施方式中，所述标定立体视频辅助拍摄装置的安装参数包括：

使用智能手机拍摄图像，其中，该图像对应的拍摄场景包含较丰富的纹理、颜色信息，并且不能是墙面、桌面等颜色单一的场景；

从该图像中提取多个稀疏特征点并进行特征点匹配，生成特征点匹配集合；

多次重复随机选取两对特征点进行匹配，生成上述特征点匹配确定的平面镜法向量估计；

根据多个法向量估计各分量的中值确定平面镜法向量作为安装参数。

在一些实施方式中，所述从该图像中提取多个稀疏特征点并进行特征点匹配，生成特征点匹配集合包括：

根据图像局部特征检测和描述算法从该图像中提取多个稀疏特征点和每个稀疏特征点的描述向量；

根据距离比测试特征匹配方法将每个稀疏特征点与该图像中的其他特征点进行匹配，生成匹配特征点对；

根据多个稀疏特征点对建立包括至少100个特征点对的特征点匹配集合。

在一些实施方式中，所述多次重复随机选取两对特征点进行匹配，生成上述特征点匹配确定的平面镜法向量包括：

根据特征点对的数量确定随机选取两对特征点进行匹配的次数；

每次随机选取两对特征点进行匹配，并根据两对特征点的图像坐标与智能手机摄像头的焦距长度生成上述特征点匹配确定的法向量。

在一些实施方式中，所述使用智能手机计算投影几何变换矩阵与灰度补偿映射函数包括：

根据视频帧的长度、宽度与平面镜的法向量生成图像变换矩阵；

根据智能手机摄像头的焦距长度获得特征点匹配集合中所有特征点对的一致性指标；

收集一致性指标大于预先指定阈值的所有特征点对，建立有效特征点匹配对集合；

获取有效特征点匹配对集合中每个特征点位置的图像灰度，并根据三次多项式曲线拟合算法与每个特征点位置的图像灰度拟合灰度补偿映射函数。

在一些实施方式中，所述使用智能手机拍摄视频数据时，手机横向侧边与水平面夹角不超过30度。

在一些实施方式中，所述将拍摄的视频数据转化为立体视频包括：

将视频数据按帧分解，并对每帧图像使用图像变换矩阵进行几何校正并裁切掉空白区域；

将每帧图像分割为相同大小左视图与右视图，并对右视图进行左右镜面变换；

根据灰度补偿映射对右视图中的每个像素进行颜色补偿；

根据立体视频观察方式适应性处理每一帧左视图与右视图，并将每一帧左视图与右视图合并为立体视频帧，再将所有立体视频帧合并为立体视频。

在一些实施方式中，所述立体视频观察方式包括以下至少之一：vr眼镜、红蓝眼镜、裸眼；所述根据立体视频观察方式适应性处理每一帧左视图与右视图，为根据立体视频观察方式指定的视频分辨率与纵横比对每一帧左视图与右视图进行适应性处理。

基于上述目的，本发明实施例提供了一种面向智能手机的立体视频辅助拍摄装置，包括用于获取场景虚像的不锈钢平面镜1，不锈钢平面镜1所在平面与手机0背面相垂直，不锈钢平面镜1所在平面与手机0背面相交于平面镜1内边缘，平面镜1内边缘与手机0侧边相垂直；同时，不锈钢平面镜1由平面镜固定架2固定，平面镜固定架2通过支架连接部件3连接至支架固定架4，支架固定架4通过手机连接部件5与智能手机0相连接，平面镜固定架2与支架连接部件3之间、支架固定架4与手机连接部件5之间以紧固件6固定或调节相对位置与角度。

从上面所述可以看出，本发明实施例提供的面向智能手机的立体视频生成方法仅需一个摄像头就能拍摄立体视频，因此可避免两个摄像头不同步导致的左右画面不协调问题，且本发明立体视频辅助拍摄装置具有结构简单、成本低廉、便于携带和易于使用等优点。因此，本发明方法和装置可以帮助普通消费者利用智能手机获取沉浸感较强的立体视频，丰富智能手机视频形式、提升拍摄和观赏乐趣。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的面向智能手机的立体视频生成方法的流程图；

图2为本发明提供的面向智能手机的立体视频生成方法中立体视频辅助拍摄装置的结构图；

图3为本发明提供的面向智能手机的立体视频生成方法的成像原理图；

图4为本发明提供的面向智能手机的立体视频生成方法的一个实施例中，平面镜法向量的估计分布图；

图5为本发明提供的面向智能手机的立体视频生成方法的一个实施例中，灰度补偿函数的拟合结果图；

图6为本发明提供的面向智能手机的立体视频生成方法的一个实施例中，加装立体视频辅助拍摄装置的智能手机拍摄的视频帧与几何矫正结果图；

图7为本发明提供的面向智能手机的立体视频生成方法的一个实施例中，几何矫正视频中切割获得的左视图、未经颜色补偿的右视图与颜色补偿后的右视图；

图8为本发明提供的面向智能手机的立体视频生成方法的一个实施例中，适合裸眼观察的交叉眼立体视频与适合采用vr眼镜观看的左右立体视频截图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

在本发明的一个实施例中，图1示出的是本发明提供的面向智能手机的立体视频生成方法的第一个实施例的流程示意图。

如图1所示，面向智能手机的立体视频生成方法包括：

步骤s101，构建立体视频辅助拍摄装置并将其安装在智能手机上；

步骤s103，标定立体视频辅助拍摄装置的安装参数；

步骤s105，使用智能手机计算投影几何变换矩阵与灰度补偿映射函数；

步骤s107，使用智能手机拍摄视频数据；

步骤s109，将拍摄的视频数据转化为立体视频。

在一些实施方式中，所述立体视频辅助拍摄装置包括用于获取场景虚像的不锈钢平面镜1，不锈钢平面镜1所在平面与手机0背面相垂直，不锈钢平面镜1所在平面与手机0背面相交于平面镜1内边缘，平面镜1内边缘与手机0侧边相垂直；同时，不锈钢平面镜1由平面镜固定架2固定，平面镜固定架2通过支架连接部件3连接至支架固定架4，支架固定架4通过手机连接部件5与智能手机0相连接，平面镜固定架2与支架连接部件3之间、支架固定架4与手机连接部件5之间以紧固件6固定或调节相对位置与角度。

在一些实施方式中，所述标定立体视频辅助拍摄装置的安装参数包括：

使用智能手机拍摄图像，其中，该图像对应的拍摄场景包含较丰富的纹理、颜色信息，并且不能是墙面、桌面等颜色单一的场景；

从该图像中提取多个稀疏特征点并进行特征点匹配，生成特征点匹配集合；

多次重复随机选取两对特征点匹配，生成上述特征点匹配确定的平面镜法向量；

根据多个特征点匹配法向量估计各分量的中值确定平面镜法向量作为安装参数。

在一些实施方式中，所述从该图像中提取多个稀疏特征点并进行特征点匹配，生成特征点匹配集合包括：

根据图像局部特征检测和描述算法从该图像中提取多个稀疏特征点和每个稀疏特征点的描述向量；

根据距离比测试特征匹配方法将每个稀疏特征点与该图像中的其他特征点进行匹配，生成匹配特征点对；

根据多个稀疏特征点对建立包括至少100个特征点对的特征点匹配集合。

在一些实施方式中，所述多次重复随机选取两对特征点进行匹配，生成上述特征点匹配确定的平面镜法向量包括：

根据特征点对的数量确定随机选取两对特征点进行匹配的次数；

每次随机选取两对特征点进行匹配，并根据两对特征点的图像坐标与智能手机摄像头的焦距长度生成上述特征点匹配确定的法向量。

在一些实施方式中，所述使用智能手机计算投影几何变换矩阵与灰度补偿映射函数包括：

根据视频帧的长度、宽度与平面镜的法向量生成图像变换矩阵；

根据智能手机摄像头的焦距长度获得特征点匹配集合中所有特征点对的一致性指标；

收集一致性指标大于预先指定阈值的所有特征点对，建立有效特征点匹配对集合；

获取有效特征点匹配对集合中每个特征点位置的图像灰度，并根据三次多项式曲线拟合算法与每个特征点位置的图像灰度拟合灰度补偿映射函数。

在一些实施方式中，所述使用智能手机拍摄视频数据时，手机横向侧边与水平面夹角不超过30度。

在一些实施方式中，所述将拍摄的视频数据转化为立体视频包括：

将视频数据按帧分解，并对每帧图像使用图像变换矩阵进行几何校正并裁切掉空白区域；

将每帧图像分割为相同大小左视图与右视图，并对右视图进行左右镜面变换；

根据灰度补偿映射对右视图中的每个像素进行颜色补偿；

根据立体视频观察方式适应性处理每一帧左视图与右视图，并将每一帧左视图与右视图合并为立体视频帧，再将所有立体视频帧合并为立体视频。

在一些实施方式中，所述立体视频观察方式包括以下至少之一：vr眼镜、红蓝眼镜、裸眼；所述根据立体视频观察方式适应性处理每一帧左视图与右视图，为根据立体视频观察方式指定的视频分辨率与纵横比对每一帧左视图与右视图进行适应性处理。

从上面所述可以看出，本发明实施例提供的面向智能手机的立体视频生成方法仅需一个摄像头就能拍摄立体视频，因此可避免两个摄像头不同步导致的左右画面不协调问题，且本发明立体视频辅助拍摄装置具有结构简单、成本低廉、便于携带和易于使用等优点。因此，本发明方法和装置可以帮助普通消费者利用智能手机获取沉浸感较强的立体视频，丰富智能手机视频形式、提升拍摄和观赏乐趣。

在本发明的另一个实施例中，所述面向智能手机的立体视频生成方法包括：

步骤s101，构建立体视频辅助拍摄装置并将其安装在智能手机上。

本发明实施例面向智能手机的立体视频辅助拍摄装置结构图如图2所示，包括：不锈钢平面镜1、平面镜固定架2、支架连接部件3、支架固定架4、手机连接部件5、紧固件6。其中，不锈钢平面镜1用于获取场景的虚像；平面镜固定架2用于固定平面镜1；支架连接部件3用于连接平面镜固定架2和支架固定架4；支架固定架4用于固定支架连接部件3；手机连接部件5用于将立体视频辅助拍摄装置固定在智能手机0上；紧固件6用于固定、调节固定架4和连接部件5的相对位置和角度。

本发明实施例采用的手机为iphone4s手机，其具体方法如下：首先，将立体视频辅助拍摄装置通过手机连接部件固定在手机背面；然后，通过各紧固件调节并固定平面镜、支架连接部件和支架固定架；确保平面镜所在平面与手机背面大致垂直，平面镜边缘尽可能贴合手机背面，平面镜与手机背面的相交线距离手机背面摄像头中心的距离保持在1～3毫米左右，且平面镜与手机背面的相交线与手机长边大致垂直。通过上述连接、固定、和调节方法，最终确保从手机中能够同时观察到范围大小基本相同的场景实像和虚像。

步骤s103，标定立体视频辅助拍摄装置的安装参数。

图3示出的是本发明实施例的面向智能手机的立体视频拍摄成像原理图。由于辅助拍摄装置的安装可能存在误差，平面镜法向量n与相机的x轴方向(即手机的长边方向)无法完全重合，因此在拍摄视频数据之前需要对立体视频辅助拍摄装置的平面镜法向量参数进行标定。标定过程仅需执行一次，标定完成后可以拍摄多次视频数据，直到人为对立体视频辅助拍摄装置进行了调节，或者光照条件或场景内容发生了较大变化的情况下才需重新进行标定。平面镜法向量标定的具体步骤如下：

首先，利用加装了立体视频辅助拍摄装置的智能手机拍摄一张图像，记为上述图像对应的拍摄场景需要包含较丰富的纹理、颜色信息，不能是墙面、桌面等是颜色单一的场景。

其次，利用sift图像局部特征检测和描述算法提取的稀疏特征点和每个特征点的描述向量。对于每个特征点，利用距离比测试特征匹配方法获取其在所有特征点(除去当前特征点自身)中的匹配特征点，距离比阈值τ的取值是0.6。记最终的特征点匹配数量为n，特征点匹配集合为其中，为图像特征点坐标(单位为像素)，图像坐标系原点位于图像中心，x轴沿图像长边指向右、y轴沿图像短边指向下。如果n＜100，则重新利用加装了立体视频辅助拍摄装置的智能手机拍摄一张图像，并重新执行本步骤。

再次，重复执行nit次平面镜候选法向量估计操作，第j次法向估计操作包含如下两个步骤(nit＝min(n(n-1)/2,1000)，j＝{1,2,…nit})：第一，随机选取两对特征点匹配，记为第二，计算由上述特征点匹配确定的法向量计算公式如下：

其中，f表示摄像头的焦距长度(单位为像素)，符号“×”表示向量的叉乘。

最后，计算平面镜最终法向量n，计算公式如下：

其中，符号“[·]k”表示向量的第k个元素。如果[n]1＜0，则令n←-n。图4示出的是平面镜法向量估计的一个实施例。从图4中可以看出，候选法向量估计中存在许多噪声和错误，但中间区域比较集中。

步骤s105，使用智能手机计算投影几何变换矩阵与灰度补偿映射函数。

首先，计算图像变换矩阵h，计算公式如下：

其中，w和h分别表示视频帧的宽度和高度(单位为像素)，r表示绕旋转轴(0,[n]3,-[n]2)^t旋转角度arccos([n]1)的旋转矩阵。

其次，灰度补偿映射函数估计，包含如下两个步骤：第一，获取有效特征点匹配对集合首先，令对有效特征点匹配对集合进行初始化。然后，按照如下公式计算每个特征点匹配对的一致性指标δ：

如果则将从中删除。其中，参数θ的取值是3°。记最终有效特征点匹配对集合第二，构建虚实灰度补偿映射函数：首先，创建nin个二元组其中，g(·)表示图像特征点所在位置的图像灰度值。采用三次多项式曲线拟合算法，根据二元组拟合灰度补偿映射函数s的取值区间是0～255，的取值区间是0～255。图5示出的是灰度补偿函数拟合结果的一个实施例。如图5所示，呈现非线性特性，且不同场景对应的各不相同。

步骤s107，使用智能手机拍摄视频数据。

采用加装了立体视频辅助拍摄装置的智能手机拍摄视频，参数标定完成后，在保持摄像头焦距和立体视频辅助拍摄装置各部件相对位置不变的情况下，利用智能手机摄像头拍摄视频数据，拍摄过程中手机的长边与水平面的夹角小于30°。

步骤s109，将拍摄的视频数据转化为立体视频。

对于拍摄视频的每一帧进行几何矫正、变换、裁切操作，获得立体视频帧的左右视图，并合成设备相关的立体视频，具体方法是：

首先，对于视频中的任意帧(记为)，按照如下步骤生成视频帧所对应的左右视图

第一，创建一个宽度为wp、高度为hp的几何矫正视频帧wp、hp分别由如下公式计算：

其中，u′ll＝h(-w/2,h/2,1)^t、u′ul＝h(-w/2,-h/2,1)^t、ul′r＝h(w/2,h/2,1)^t、u′ur＝h(w/2,-h/2,1)^t。图像中任意像素位置(m,n)的颜色值等于中像素位置的颜色值。其中，

本实施例采用的手机为iphone4s手机，视频帧的长宽比为4:3。图6左图为加装本发明辅助拍摄装置的智能手机拍摄的视频帧示例，从图6左图可以看出，由于安装误差特征点匹配的连线并不平行，因此不能通过简单的图像旋转实现几何矫正。图6右图为利用本发明方法实现的视频帧几何矫正结果，获得了几乎没有水平视差的视频帧。

第二，创建视频帧对应的左右视图和和分别对应于图像的左右两等分，然后对图像进行左右镜面变换。

第三，对于的每个像素，假定其rgb颜色值分别为r、g、b，则颜色补偿后该像素的rgb颜色值分别为其中t＝0.299r+0.587g+0.114b。图7为从几何矫正视频中切割获得的左视图和右视图示例，其中，左图为左视图，中图为未经颜色补偿的右视图，右图为颜色补偿后的右视图。从图7中可以看出，本发明颜色矫正方法可以有效的补偿光线反射损失。

然后，针对立体视频观察方式(比如：vr眼镜、裸眼观察、红蓝眼镜)，根据视频分辨率、纵横比等参数对左右视图和进行裁切，然后将每一帧左右视图合并为相应的立体视频帧，最后将所有立体视频帧合成为立体视频。图8展示了根据本发明方案所生成的长宽比为16：9的立体视频帧示例。其中，图8左图为适合裸眼观察的交叉眼(crosseye)立体视频，图8右图为适合采用vr眼镜观看的左右立体视频。

从上面所述可以看出，本发明实施例提供的面向智能手机的立体视频生成方法仅需一个摄像头就能拍摄立体视频，因此可避免两个摄像头不同步导致的左右画面不协调问题，且本发明立体视频辅助拍摄装置具有结构简单、成本低廉、便于携带和易于使用等优点。因此，本发明方法和装置可以帮助普通消费者利用智能手机获取沉浸感较强的立体视频，丰富智能手机视频形式、提升拍摄和观赏乐趣。

在本发明的又一个实施例中，面向智能手机的立体视频辅助拍摄装置结构图如图2所示，包括：不锈钢平面镜1、平面镜固定架2、支架连接部件3、支架固定架4、手机连接部件5、紧固件6。其中，不锈钢平面镜1用于获取场景的虚像；平面镜固定架2用于固定平面镜1；支架连接部件3用于连接平面镜固定架2和支架固定架4；支架固定架4用于固定支架连接部件3；手机连接部件5用于将立体视频辅助拍摄装置固定在智能手机0上；紧固件6用于固定、调节固定架4和连接部件5的相对位置和角度。

从上面所述可以看出，本发明实施例提供的面向智能手机的立体视频生成方法仅需一个摄像头就能拍摄立体视频，因此可避免两个摄像头不同步导致的左右画面不协调问题，且本发明立体视频辅助拍摄装置具有结构简单、成本低廉、便于携带和易于使用等优点。因此，本发明方法和装置可以帮助普通消费者利用智能手机获取沉浸感较强的立体视频，丰富智能手机视频形式、提升拍摄和观赏乐趣。