基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法与流程

本发明涉及一种基于人脸追踪和物件跟踪实现的以主角跟随视角观看虚拟现实视频的方法，尤其涉及一种虚拟现实和视频播放技术领域的人脸追踪和物件跟踪实现的以主角跟随视角观看虚拟现实视频的方法。

背景技术：

虚拟现实作为一种强烈带入感的视觉体验模式随着现代影音技术的飞速发展而逐渐受到人们追捧。其特点为提供360度全方位视角的视频信息给用户，用户通过特定硬件设备与虚拟现实视频播放器进行互动，实时输入视角控制信息从而实现视角的自由转换。

该观看模式虽然给用户以自主选择的空间，却也存在一些不足。加入用户期望对视频中出现的某个人物/物件进行跟踪观看，就需要用户自己不断通过给出动作实时追踪，这样既难做到平滑镜头播放效果，也很难保证目标一直处于视频中心位置，尤其是需要追踪快速移动的目标，用户甚至无法进行追踪观看，给视频观看带来一定的影响，用户体验有待提高。

技术实现要素：

对虚拟现实技术中存在的不足，本发明基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法，提出一种通过追踪技术实现对视频中出现的特定物件/人脸定位追踪，并通过该位置坐标计算出人眼视角的朝向和后续运动方向控制矢量信息，在视频播放模块中通过读取所述控制信息来逐帧建立3D影像数据矩阵，实时渲染视频数据实现对追踪目标的实时观看，并根据目标位置实时校正观影中心位置信息保证目标始终保持在播放画面中心的方法，通过允许用户设定目标物件/人物的方式，使用户除了选择自由视角模式之外还可以对关注的物件/人物进行自动实时追踪且不需要用户自己做出任何动作，既给用户提供舒适的观影效果，也避免了因视频中物件/人物运动过快或轨迹复杂而导致用户无法自主追踪的问题，大大提高了用户观影体验。

本发明解决其技术问题所采用的技术方案包括以下步骤：

播放模块3D建模步骤，播放模块根据设定参数进行3D建模。

优选的，所述参数包括用于确定远近关系和景深以及指导2D贴图和3D建模渲染的3D模型球面半径、用于确定摄像机朝向的方向矢量和用于确定前进方向的向上矢量。

向3D模型映射视频数据步骤，逐帧读取视频数据并投影到3D模型上。

视角参数计算步骤，根据用户的观影模式采取特定方式计算用户视角对应的控制参数。

优选的，所述步骤是指根据观看视角模式来选择不同的视角参数计算方式进行计算，该视角模式包括：自由视角模式和指定物件/人脸追踪模式。

优选的，在所述自由模式下，所述视角控制参数有用户通过特定设备直接输入。

优选的，在所述指定物件/人脸追踪模式下，通过追踪技术模块对指定物件/人脸进行追踪定位，确定其在3D模型中的三维坐标，并根据该坐标计算出视角的朝向矢量信息和前进方向矢量信息。

优选的，在所述朝向矢量信息的计算方法为连接目标与摄像机形成的直线为方向矢量的前进方向，朝向为摄像机到目标。

优选的，所述指定物件/人脸可以根据观看者的需要进行动态切换，具体的，当用户改变追踪对象时，所述追踪技术模块将立即改变追踪对象并进行对应计算从而得到新对象的视角信息实现视角转换过程。

播放视频步骤，根据视角控制参数对3D投影矩阵实时校正并进行视频播放。

优选的，所述步骤包括：根据视角控制信息重建3D投影矩阵和实时渲染校正播放中心并播放视频。

优选的，所述实时渲染校正播放中心的目的为保证被追踪物件/人物始终处于视频播放中心。

优选的，在每一帧视频播放完毕后将检查是否需要结束视频播放，并在需要继续播放的情况下读取下一帧视频信息重复播放过程，在需要结束视频播放时停止解析并销毁指定。

采用上述技术方案，本发明具有以下优点：

本发明涉及基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法，通过追踪技术实现对视频中出现的特定物件/人脸定位追踪，并通过该位置坐标计算出人眼视角的朝向和后续运动方向控制矢量信息，在视频播放模块中通过读取所述控制信息来逐帧建立3D影像数据矩阵，实时渲染视频数据实现对追踪目标的实时观看，并根据目标位置实时校正观影中心位置信息保证目标始终保持在播放画面中心，通过允许用户设定目标物件/人物的方式，使用户除了选择自由视角模式之外还可以对关注的物件/人物进行自动实时追踪且不需要用户自己做出任何动作，既给用户提供舒适的观影效果，也避免了因视频中物件/人物运动过快或轨迹复杂而导致用户无法自主追踪的问题，大大提高了用户观影体验。

附图说明

图1为本发明较佳实施方式的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法的步骤示意图。

图2为本发明较佳实施方式的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法的详细流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一个实施例，而不是全部实施例。基于本发明中的实施例，本领域的一般技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本发明保护的范围。

本发明实施例公开了基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法，参见图1所示，该方法包括：

步骤S1：视频播放模块进行3D建模；

步骤S2：视频播放模块逐帧读取视频数据投放到3D模型；

步骤S3：根据用户设定的播放模式计算播放视角所需的控制参数；

步骤S4：应用计算出来的控制参数进行实时渲染和视频播放；

本发明实施例中，通过追踪技术实现对视频中出现的特定物件/人脸定位追踪，并通过该位置坐标计算出人眼视角的朝向和后续运动方向控制矢量信息，在视频播放模块中通过读取所述控制信息来逐帧建立3D影像数据矩阵，实时渲染视频数据实现对追踪目标的实时观看，并根据目标位置实时校正观影中心位置信息保证目标始终保持在播放画面中心。

可见，通过允许用户设定目标物件/人物的方式，使用户除了选择自由视角模式之外还可以对关注的物件/人物进行自动实时追踪且不需要用户自己做出任何动作，既给用户提供舒适的观影效果，也避免了因视频中物件/人物运动过快或轨迹复杂而导致用户无法自主追踪的问题，大大提高了用户观影体验。

本发明实施例公开了基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法，参见图2，相对上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的，本实施例中基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法包含以下步骤：

S1：播放模块3D建模；

优选的，播放模块根据设定参数进行3D建模，所述参数包括用于确定远近关系和景深以及指导2D贴图和3D建模渲染的3D模型球面半径、用于确定摄像机朝向的方向矢量和用于确定前进方向的向上矢量。

S2：向3D模型映射视频数据；

优选的，逐帧读取视频数据并投影到3D模型上。

S3：视角参数计算；

优选的，通过执行步骤S31判断用户设置的观影模式，包括自由模式和追踪模式，若是自由模式则执行步骤S32，否则执行步骤S33、S34；

优选的，对于步骤S32，视频播放模块直接读取用户输入的视角位置控制信息，并应用该信息进行视屏播放；

优选的，步骤S32是指读取用户设定的目标物件/人物信息，并将该信息发送个追踪技术模块对目标进行追踪定位，计算出目标在3D模型中的坐标信息；

优选的，根据步骤S32得出的计算信息，执行步骤S33计算摄像机朝向和前进方向控制矢量信息；

优选的，如果用户在追踪观看过程中的发生追踪对象动态切换，步骤S32中所述追踪技术模块将立即改变追踪对象并进行对应计算从而得到新对象的视角信息实时完成追踪目标切换过程。

S4：播放视频；

优选的，根据步骤S3计算得出的视角控制参数执行步骤S41对3D投影矩阵进行重建；

优选的，对所述重建后的视频矩阵信息执行步骤S42实时渲染视频信息并校正目标在视频中的位置以保证追踪目标始终处于视频中心；

优选的，每一帧视频数据播放完毕后执行步骤S43判断视频播放是否结束，如果结束则执行步骤S44停止播放视频并销毁指定资源，否则执行步骤S2读取下一帧视频信息并重复上述处理过过程直至视频播放完成。

综上所述，通过执行步骤S1利用视频播放模块读取特定参数进行3D建模，接着执行步骤S2逐帧读取视频数据并投影到该3D模型上，通过步骤S31判断用户设置的观影模式，具体包括自由模式和追踪模式，对于自由模式执行步骤S32读取用户输入的视角控制信息作为视频播放所需的控制信息，对于追踪模式执行步骤S33利用追踪技术模块对目标物件/人脸进行实时定位并计算出其在3D模型中的坐标，根据该坐标值通过执行步骤S34计算出摄像机的朝向和前进方向控制矢量信息，将所述计算信息作为视频不放所需的控制信息，完成步骤S3之后执行步骤S41根据所述视频播放控制信息重建3D投影矩阵，最后执行步骤S42对视频数据进行实时渲染并根据所述控制信息实施校正视角中心保证目标始终处于视频播放中心，在每帧视频播放完毕后执行步骤S43判断视频播放是否结束，结束执行步骤S44停止视频数据解析并销毁特定资源，否则执行步骤S2读取下一帧数据重复上述处理过程直至视频播放结束。通过允许用户设定目标物件/人物的方式，使用户除了选择自由视角模式之外还可以对关注的物件/人物进行自动实时追踪且不需要用户自己做出任何动作，既给用户提供舒适的观影效果，也避免了因视频中物件/人物运动过快或轨迹复杂而导致用户无法自主追踪的问题，大大提高了用户观影体验。

以上所述仅为举例性，而非为限制性。本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。