一种LED虚拟拍摄中摄影机追踪方法和装置与流程

本技术涉及led虚拟制作，特别是涉及一种led虚拟拍摄中摄影机追踪方法和装置。

背景技术：

1、近年来，随着影视制作技术的进步，影视拍摄与制作方式也出现了巨大的变革与更新。例如，led屏幕出现了技术的极大提升，出现了具有更小的点间距、更少的扫描数、更高的刷新率与更广色彩空间覆盖的led屏幕；另外，unreal engine虚幻引擎在影视制作逐步发力，具有更强大的虚拟场景渲染算力与视觉效果；加之绿幕拍摄时期成熟的动作捕捉系统，催化出了基于led背景墙的电影虚拟化制作技术(以下简称“led虚拟制作”)。相关led虚拟制作技术影视剧集，例如《曼达洛人》、《登月第一人》等取得了艺术视觉效果与市场效益双丰收，进一步推动led虚拟制作技术成为当下影视制作的热点。

2、在led虚拟制作中，采用led作为背景墙，依靠led光照、实时摄影机追踪和实时渲染这三者的结合，实现前台演员和虚拟后台之间的无缝衔接。而在这之中，摄影机运动轨迹实时追踪系统作为虚拟与现实连接的关键一环，无论是对准确性还是实时性，都有着很高的要求。传统的摄影机追踪包括了光学追踪(optical tracking)、功能追踪(featuretracking)以及惯性追踪(inertial tracking)三种主流方式。目前led虚拟拍摄制作解决方案中大多采用基于红外光的光学式动作捕捉系统(简称“红外式动捕系统”)来实现摄影机运动轨迹的捕捉与追踪。红外式动捕系统不论是主动式还是被动式，均需要通过标记点+运动捕捉摄像头组合实现摄影机的定位追踪。

3、红外式动捕系统通过原有用于捕捉骨骼动作的动捕系统去实现摄影机单一刚性物体的运动轨迹，具有数据量丰富，技术成熟等优点。但是，此类动捕系统的缺点也很明显，即：成本往往过高，较浪费计算资源；系统内配套设备数量繁多，在虚拟制作中影响led屏幕的完整性；摄影机不可以超出动捕系统的标定边界。目前optitrack等动捕摄像追踪系统，通常具有以下缺点，价格高，基本上支持大空间定位的产品每平方米的价格为1万元人民币起；设备复杂，需要架设一定数量的发射设备或摄像机；易遮挡，遮挡之后无法发挥作用；数据处理量大。

技术实现思路

1、基于此，针对上述技术问题，提供一种led虚拟拍摄中摄影机追踪方法和装置，以解决依赖红外式动捕系统进行摄影机运动轨迹追踪的方式存在配套设备数量繁多，影响led屏幕的完整性的技术问题。

2、为了实现上述目的，本技术提供如下技术方案：

3、第一方面，一种led虚拟拍摄中摄影机追踪方法，应用于服务器，所述方法包括：

4、s1，实时获取激光雷达采集到的帧数据，所述激光雷达设置在搭建好的led虚拟拍摄影棚中的实体摄影机上，所述激光雷达配置有惯性测量单元；

5、s2，对获取到的每帧数据进行分离，分离出点云图像数据和惯性测量单元数据；

6、s3，根据每帧数据的点云图像数据，计算得到相应六自由度数据，所述六自由度数据包括三轴平移数据和三轴旋转角度数据；

7、s4，根据每帧数据的惯性测量单元数据，计算得到相应旋转角度数据；

8、s5，利用根据每帧数据的点云图像数据计算得到的相应六自由度数据以及根据惯性测量单元数据计算得到的相应旋转角度数据，计算得到摄影机实时运动数据；

9、s6，将所述摄影机实时运动数据发送给搭载有虚拟制作引擎的终端，以控制虚拟制作引擎中的虚拟摄影机。

10、可选地，步骤s3具体包括：

11、s31，获取当前帧的点云图像数据q，以及获取相应前一帧的点云图像数据p，

12、s32，对所述当前帧的点云图像数据q和相应前一帧的点云图像数据p进行降采样滤波，获得经过过滤后的当前帧的点云图像数据q′，以及经过过滤后的相应前一帧的点云图像数据p′，其中，u＜m，v＜n；

13、s33，计算经过过滤后的当前帧的点云图像数据q′与经过过滤后的相应前一帧的点云图像数据p′之间的旋转矩阵r与位移向量t，使得经过过滤后的当前帧的点云图像数据q′与经过过滤后的相应前一帧的点云图像数据p′对齐；

14、s34，将所述旋转矩阵r转换为欧拉角，所述旋转矩阵r对应的三个欧拉角与位移向量t组成了当前帧数据的相应六自由度数据。

15、进一步可选地，具体利用体素滤波器对所述当前帧的点云图像数据q和相应前一帧的点云图像数据p进行降采样滤波。

16、进一步可选地，步骤s33具体包括：

17、s331，在经过过滤后的当前帧的点云图像数据q′与经过过滤后的相应前一帧的点云图像数据p′中，按照预设的约束条件，寻找q′中与p′的最邻近点计算最优匹配参数(r(k)，t(k))，使得误差函数最小，即：

18、

19、其中，k指代迭代的次数；p′w指代当前帧的点云图像数据q′中第w个点；

20、s332，通过奇异值分解方式最大程度降低p′与q′相应点之间的距离来更新旋转矩阵r和位移向量t：

21、

22、其中，是旋转矩阵，是平移向量；

23、s333，交替执行步骤s331和步骤s332，迭代计算旋转矩阵r与位移向量t。

24、可选地，步骤s4具体包括：

25、s41，根据每帧数据的惯性测量单元数据中的陀螺仪数据，计算得到相应第一旋转角度；

26、s42，根据每帧数据的惯性测量单元数据中的加速度计数据，计算得到相应第二旋转角度；

27、s43，根据预先设定的权重值，对所述第一旋转角度和第二旋转角度进行加权计算，作为最终的相应旋转角度数据。

28、进一步可选地，利用公式(1)计算第一旋转角度：

29、

30、其中，是当前帧数据中陀螺仪测量的角速度，δt是当前帧数据与前一帧数据的时间差；

31、利用线性加速度和公式(2)、(3)计算第二旋转角度：

32、

33、θpitch＝-arctan(ay，az)     (3)

34、其中，为az的正负符号；

35、利用公式(4)计算最终的相应旋转角度数据：

36、

37、其中，α为第一旋转角度的权重值；当θ为pitch时，θaccl为θpitch；当θ为roll时，θaccl为θroll。

38、进一步可选地，步骤s5中计算得到摄影机实时运动数据具体是利用公式(5)、(6)计算得到的：

39、θcam＝γθimu+(1-γ)θlidar+λ1            (5)

40、tcam＝tlidar+λ2                  (6)

41、其中，γ为权重值；θimu为根据惯性测量单元数据计算得到的旋转角度数据，θlidar为根据六自由度数据计算得到的旋转角度数据，tlidar为根据六自由度数据计算得到的平移数据；λ1和λ2分别为激光雷达与实体摄影机之间旋转角度数据和平移数据的偏移量；

42、θlidar和tlidar具体是利用公式(7)、(8)计算得到的：

43、θlidar＝(atan2(mi3,m33)，arcsin(-m23),atan2(mzi,m22))   (7)

44、tlidar＝t      (8)

45、其中，mij为旋转矩阵r中的点，t为位移向量。

46、可选地，通过udp协议，将所述摄影机实时运动数据发送给搭载有虚拟制作引擎的终端。

47、可选地，所述激光雷达的型号为intel realsense l515。

48、第二方面，一种led虚拟拍摄中摄影机追踪装置，应用于服务器，所述装置包括：

49、数据获取模块，用于实时获取激光雷达采集到的帧数据，所述激光雷达设置在搭建好的led虚拟拍摄影棚中的实体摄影机上，所述激光雷达配置有惯性测量单元；

50、数据分离模块，用于对获取到的每帧数据进行分离，分离出点云图像数据和惯性测量单元数据；

51、六自由度数据计算模块，用于根据每帧数据的点云图像数据，计算得到相应六自由度数据，所述六自由度数据包括三轴平移数据和三轴旋转角度数据；

52、旋转角度数据计算模块，用于根据每帧数据的惯性测量单元数据，计算得到相应旋转角度数据；

53、实时运动数据计算模块，用于利用根据每帧数据的点云图像数据计算得到的相应六自由度数据以及根据惯性测量单元数据计算得到的相应旋转角度数据，计算得到摄影机实时运动数据；

54、实时运动数据发送模块，用于将所述摄影机实时运动数据发送给搭载有虚拟制作引擎的终端，以控制虚拟制作引擎中的虚拟摄影机。

55、本发明至少具有以下有益效果：

56、本发明实施例所提供的一种led虚拟拍摄中摄影机追踪方法中，通过将激光雷达采集到的每帧数据进行分离，得到相应点云图像数据和惯性测量单元数据，再分别根据每帧数据的点云图像数据和惯性测量单元数据计算得到六自由度数据和旋转角度数据，进而利用根据每帧数据的点云图像数据计算得到的相应六自由度数据以及根据惯性测量单元数据计算得到的相应旋转角度数据，计算得到摄影机实时运动数据，实现对摄影机的实时追踪；由于激光雷达综合了光学追踪(激光发射与采集器、振镜设备)以及惯性追踪(陀螺仪与加速度计)两种方式，通过独立一个设备便可实现对摄影机的实时追踪功能，免去了安装各类追踪摄像头的步骤，解决了当下动捕系统配套设备繁多、价格昂贵的问题；同时由于无需在虚拟制作现场安装各类支架，免去了led屏幕“开孔钻洞”的困扰，避免了对led屏幕的完整性产生影响。