视频处理系统、视频处理方法及装置与流程

本技术属于扩展现实，尤其涉及一种视频处理系统、视频处理方法及装置。

背景技术：

1、扩展现实(extended reality，xr)为一种记录、处理和展示虚拟和真实元素的环境融合及其交互行为的技术，被广泛应用于影视、广播以及直播娱乐制作等方面。相关技术中，主要通过摄影机追踪系统采集目标对象的真实视频，并将真实视频载入由图形引擎预先载入的3d虚拟环境，从而实现真实与虚拟元素之间的互动。然而上述融合技术仍存在面向大场景xr拍摄时，实拍视频画面与vr内容合成后边界错位等视觉穿帮等问题，影响最终所呈现的融合视频的效果，沉浸感较差，从而影响用户使用体验。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种视频处理系统、视频处理方法及装置，能够降低穿帮概率，提高虚拟现实融合效果，提高用户沉浸感，从而提高用户的使用体验。

2、第一方面，本技术提供了一种视频处理系统，该系统包括：

3、第一追踪单元；

4、视频采集设备，所述视频采集设备上设置有第二追踪单元，所述视频采集设备用于采集前景信息；

5、跟踪定位设备，所述跟踪定位设备用于采集所述第一追踪单元的第一位置信息和所述第二追踪单元的第二位置信息；

6、虚拟场景单元，用于生成虚拟场景；

7、处理单元，所述处理单元与所述跟踪定位设备电连接，用于基于所述第一位置信息和所述第二位置信息将所述前景信息和所述虚拟场景的位置坐标转换至同一坐标系；

8、显示设备，所述显示设备分别与所述视频采集设备、所述处理单元和所述虚拟场景单元电连接，所述显示设备用于显示所述前景信息和所述虚拟场景。

9、根据本技术的视频处理系统，通过设置第一追踪单元和第二追踪单元，以基于第一追踪单元的第一位置信息和第二追踪单元的第二位置信息将由视频采集设备采集的前景信息和由虚拟场景单元生成的虚拟场景的位置坐标转换至同一坐标系，能够降低穿帮概率，提高虚拟现实融合效果，提高用户沉浸感，从而提高用户的使用体验。

10、根据本技术的一个实施例，所述跟踪定位设备包括多个红外图像传感器，所述多个红外图像传感器均匀设置于所述视频采集设备运动空间的四周，且所述多个红外图像传感器的视场涵盖所述视频采集设备的运动范围。

11、根据本技术的视频处理系统，通过设置多个红外图像传感器进行捕捉，能够提高视频采集设备定位的稳定性，降低数据噪声所引起的xr视频抖动，进一步提高融合稳定性以及融合视频的质量。

12、根据本技术的一个实施例，所述第一追踪单元和/或所述第二追踪单元为被动反光单元。

13、根据本技术的一个实施例，还包括：

14、视频内容处理单元，所述视频内容处理单元分别与所述视频采集设备、所述跟踪定位设备和所述显示设备电连接；

15、同步控制设备，所述同步控制设备分别与所述视频采集设备、所述跟踪定位设备、所述视频内容处理单元和所述显示设备电连接，用于同步时间信息。

16、根据本技术的视频处理系统，通过设置同步控制设备以同步时间信息，能够使得最终所融合的前景信息和虚拟场景能够同步变化，进一步提高融合效果，提高用户沉浸感，从而提高用户的使用体验。

17、第二方面，本技术提供了一种视频处理方法，该方法应用于如第一方面的视频处理系统，该方法包括：

18、获取第一追踪单元的第一位置信息、第二追踪单元的第二位置信息、视频采集设备的第三位置信息和所述视频采集设备所采集的前景信息所对应的第四位置信息；所述第三位置信息和所述第四位置信息所在的坐标系相同；

19、基于所述第一位置信息、所述第二位置信息和所述第三位置信息中的至少两种，将所述第四位置信息转换至所述第一追踪单元所在的坐标系下的目标位置信息；

20、其中，所述第一追踪单元所在的坐标系与虚拟场景单元所生成的虚拟场景所在的坐标系相同。

21、根据本技术的视频处理方法，基于第一追踪单元的第一位置信息和第二追踪单元的第二位置信息将由视频采集设备采集的前景信息和由虚拟场景单元生成的虚拟场景的位置坐标转换至同一坐标系，能够降低穿帮概率，提高虚拟现实融合效果，提高用户沉浸感，从而提高用户的使用体验。

22、根据本技术的一个实施例，所述基于所述第一位置信息、所述第二位置信息和所述第三位置信息中的至少两种，将所述第四位置信息转换至所述第一追踪单元所在的坐标系下的目标位置信息，包括：

23、基于所述第三位置信息和所述第二位置信息之间的相对位姿，将所述第四位置信息转换至所述第二追踪单元所在坐标系下的第五位置信息；

24、基于所述第一位置信息和所述第二位置信息之间的相对位姿，将所述第五位置信息转换至所述目标位置信息。

25、根据本技术的一个实施例，在所述基于所述第一位置信息、所述第二位置信息和所述第三位置信息中的至少两种，将所述第四位置信息转换至所述第一追踪单元所在的坐标系下的目标位置信息之后，所述方法还包括：

26、基于所述目标位置信息，融合所述前景信息和所述虚拟场景，生成目标视频；

27、显示所述目标视频。

28、第三方面，本技术提供了一种视频处理装置，该装置应用于如第一方面的视频处理系统，该装置包括：

29、第一处理模块，用于获取第一追踪单元的第一位置信息、第二追踪单元的第二位置信息、视频采集设备的第三位置信息和所述视频采集设备所采集的前景信息所对应的第四位置信息；所述第三位置信息和所述第四位置信息所在的坐标系相同；

30、第二处理模块，用于基于所述第一位置信息、所述第二位置信息和所述第三位置信息中的至少两种，将所述第四位置信息转换至所述第一追踪单元所在的坐标系下的目标位置信息；

31、其中，所述第一追踪单元所在的坐标系与虚拟场景单元所生成的虚拟场景所在的坐标系相同。

32、根据本技术的视频处理装置，基于第一追踪单元的第一位置信息和第二追踪单元的第二位置信息将由视频采集设备采集的前景信息和由虚拟场景单元生成的虚拟场景的位置坐标转换至同一坐标系，能够降低穿帮概率，提高虚拟现实融合效果，提高用户沉浸感，从而提高用户的使用体验。

33、第四方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的视频处理方法。

34、第五方面，本技术提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的视频处理方法。

35、第六方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的视频处理方法。

36、本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

37、通过设置第一追踪单元和第二追踪单元，以基于第一追踪单元的第一位置信息和第二追踪单元的第二位置信息将由视频采集设备采集的前景信息和由虚拟场景单元生成的虚拟场景的位置坐标转换至同一坐标系，能够降低穿帮概率，提高虚拟现实融合效果，提高用户沉浸感，从而提高用户的使用体验。

38、进一步的，通过设置多个红外图像传感器进行捕捉，能够提高视频采集设备定位的稳定性，降低数据噪声所引起的xr视频抖动，进一步提高融合稳定性以及融合视频的质量。

39、更进一步的，通过设置同步控制设备以同步时间信息，能够使得最终所融合的前景信息和虚拟场景能够同步变化，进一步提高融合效果，提高用户沉浸感，从而提高用户的使用体验。

40、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。