一种基于第一人称视角视频的动感数据生成方法及系统

本发明属于视频数据处理，涉及一种基于第一人称视角视频的动感数据生成方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、在通信、超高清、虚拟现实等新兴技术催生下，沉浸式视频行业迎来了井喷式的发展。动感座椅是由动感数据驱动，通过俯仰、侧滚和偏航三种回转动作来模拟真实空间中的运动效果，并且能够整合前庭运动、体感、振动触觉、听觉、风力技术来增加观看者的沉浸感。因此，动感座椅可以为用户在沉浸式视频的体验中提供更高水平的互动感和临场感。但由于在沉浸式视频播放时，动感座椅须获得与之对应的运动数据，因此需要一种有效的动感数据生成方法。

3、据发明人了解，在现有技术中，基于沉浸式视频的动感效果的制作仍依赖于人工创作且是高度劳动密集型的。目前，人们往往采用手工法和摇杆法来制作动感数据。手工法是由技术专家根据视频的内容，提前观看视频，同时通过手工编写或者通过3d软件编辑运动曲线来模拟视频对应的相机镜头的运动，还有运用模拟器输入的方式来获取动感座椅运动数据，并得到一份座椅和特效设备运行的动作参数文件。在视频播放时，把对应的参数文件内容传送到座椅，控制动感座椅跟随情节同步运动。摇杆法是由技术人员观看视频，同时操作六自由度摇杆，随着镜头的变化去摇动手中的摇杆，同时利用测量装置测量摇杆的运动轨迹，然后根据该轨迹生成相应的动感座椅运动数据。以上两种方法均需要专业的技术人员，耗费大量的人力，且效率低下，成本较高。从工业角度考虑，整个过程不能自动化和智能化，标准化执行难度较大。另外技术人员的观看感受具有个体差异性，获取的运动数据不统一，无法标准化。

技术实现思路

1、本发明为了解决上述问题，提出了一种基于第一人称视角视频的动感数据生成方法及系统，本发明处理效率高，且能够使用户在体验过程有更真实的体验。

2、根据一些实施例，本发明采用如下技术方案：

3、一种基于第一人称视角视频的动感数据生成方法，包括以下步骤：

4、获取视频图像信息，确定相机的内部参数；

5、提取相邻视频帧图像的特征点，估计相机运动，根据所获图像特征判断相机是否回到了之前访问过的环境区域，建立回环约束；

6、检测视频中镜头的抖动行为或静止行为，提供特殊效应生成的位置指令；

7、根据不同时刻测量的相机位姿，以及回环检测的信息，对其进行优化，得到全局一致的相机运动轨迹数据；

8、将生成的全局一致的相机运动轨迹数据映射到动感座椅的运动范围上作为主驱动信号，叠加特殊效应生成的位置指令，生成相应的动感数据。

9、作为可选择的实施方式，获取视频图像信息，确定相机的内部参数的具体过程为，将视频数据处理为帧图像，根据帧图像的帧宽度与帧高度，结合设置为定值的相机的焦距，确定相机的内部参数。

10、作为可选择的实施方式，提取相邻视频帧图像的特征点，估计相机运动的具体过程包括：通过检测图像局部像素灰度变化明显的地方提取fast角点并描述特征，并采用快速近似最近邻算法在相邻视频帧中进行特征点的匹配；剔除错误匹配对，并利用两幅图像的对极几何约束计算相机相对位姿，直到配对成功个数满足预定值。

11、作为可选择的实施方式，根据所获图像特征判断相机是否回到了之前访问过的环境区域，建立回环约束的具体过程包括将当前帧图像与已处理的视频帧图像逐一对比，并将一个相似度最高的图像加入回环候选帧集，快速完成粗检索，遍历所确定的回环候选帧集，求解当前帧与回环候选帧的相对相机位姿，并进行重投影匹配，确定匹配数量，最终确定回环。

12、作为可选择的实施方式，检测视频中镜头的抖动行为或静止行为，提供特殊效应生成的位置指令的具体过程包括检测视频中镜头的抖动行为，并利用特征匹配点的欧式距离判定相机在一定时间内是否发生移动，以判断镜头的静止行为。

13、作为可选择的实施方式，对相机位姿的优化过程包括：

14、将单个图像帧中对应三维世界中的多个地图点建立多个一元连接边，构成图结构；对于共视关键帧执行局部优化，将多个具有共视关系的关键帧所对应的地图点放入图结构中进行优化。

15、作为可选择的实施方式，对回环检测的信息的优化过程包括：

16、对检测到的回环约束信息执行本质图优化，将共视的关键帧和回环帧所对应的地图点加入图优化，在图结构中将回环始端和末端位姿连接，进行相机位姿优化；

17、将全局关键帧所对应的地图点加入图优化，得到全局相机优化位姿。

18、一种基于第一人称视角视频的动感数据生成系统，包括：

19、数据读取模块，被配置为获取视频图像信息，确定相机的内部参数；

20、视觉里程计模块，被配置为提取相邻视频帧图像的特征点，估计相机运动；

21、回环检测模块，被配置为根据所获图像特征判断相机是否回到了之前访问过的环境区域，建立回环约束；

22、特殊效应检测模块，被配置为检测视频中镜头的抖动行为或静止行为，提供特殊效应生成的位置指令；

23、后端优化模块，被配置为根据不同时刻测量的相机位姿，以及回环检测的信息，对其进行优化，得到全局一致的相机运动轨迹数据；

24、动感模拟模块，被配置为将生成的全局一致的相机运动轨迹数据映射到动感座椅的运动范围上作为主驱动信号，叠加特殊效应生成的位置指令，生成相应的动感数据。

25、作为可选择的实施方式，所述视觉里程计模块包括：

26、特征提取与匹配模块，被配置为提取图像特征，通过检测图像局部像素灰度变化明显的地方提取fast角点，并计算描述子，采用快速近似最近邻算法在相邻视频帧中进行特征点的匹配；

27、相机位姿初始估计模块，被配置为根据匹配点对剔除错误匹配对，并利用两幅图像的对极几何约束计算相机相对位姿。

28、作为可选择的实施方式，所述回环检测模块包括：

29、外观验证模块，被配置为将当前帧图像与已处理的视频帧图像逐一对比，并将一个相似度最高的图像加入回环候选帧集；

30、几何验证模块，被配置为遍历外观验证模块所确定的回环候选帧集，求解当前帧与回环候选帧的相对相机位姿，并进行重投影匹配，确定匹配数量，最终确定回环。

31、作为可选择的实施方式，所述后端优化模块包括：

32、位姿图优化模块，被配置为对单个图像帧中对应三维世界中的多个地图点建立多个一元连接边，构成图结构来优化相对相机位姿；

33、局部ba优化模块，被配置为将多个具有共视关系的关键帧所对应的地图点放入一个图结构进行优化；

34、本质图优化模块，为将共视的关键帧和回环帧所对应的地图点加入图优化，在图结构中将回环始端和末端位姿连接，进行相机位姿优化；

35、全局ba优化模块，被配置为将全局关键帧所对应的地图点加入图优化，并进行全局相机位姿优化。

36、与现有技术相比，本发明的有益效果为：

37、本发明可以从pov视频(第一人称视角视频)中自动获取动感数据，极大节省了动感效果的制作成本。

38、本发明添加了后端优化和回环检测的功能模块，降低对两个视频帧之间求解相机位姿所造成的累计误差，提高对相机全局运动轨迹估计的准确性。

39、本发明检测相机在运动中发生的抖动效应并将该效应叠加到相机运动的主驱动信号上，覆盖视频范围更广并提高用户在体验过程中的沉浸感以及满意度。