摄像机位置和姿态的跟踪系统及方法与流程

本发明涉及广播电视领域，更具体地涉及一种摄像机位置和姿态的跟踪系统及方法。

背景技术：

基于蓝箱抠像技术的虚拟演播室作为电视节目制作的一种重要手段，目前已经被广泛应用于各类电视节目制作中，它的实质是将计算机制作的虚拟三维场景与实体摄像机现场拍摄的图像进行数字化的实时合成。在虚拟演播室节目制作过程中，确定实体摄像机的位置和姿态信息非常关键，为了保证在实体摄像机做推、拉、摇拍摄时由计算机制作的虚拟三维场景与实体摄像机拍摄的图像同步变化，避免出现实体摄像机拍摄的人或物漂浮在场景中的情况，虚拟场景中的虚拟摄像机需要实时地跟踪实体摄像机与实体摄像机保持同步。

目前实现虚拟演播室摄像机跟踪技术主要分为基于编码器和基于图像两大类，但都或多或少存在一些缺陷，制约了虚拟演播室的实际应用，现介绍如下：

1.基于旋转编码器的跟踪方法。其基本原理为对摄像机的云台及摇臂进行机械改造，通过加装齿轮连动编码器测量云台平摇、云台俯仰、摇臂平摇以及摇臂俯仰的旋转轴的旋转角度，从而换算成摄像机的位置和姿态参数。其优点为系统安全可靠，部分参数的测量精度高，计算量小。缺点是需要通过机械改造才能加装齿轮和编码器，某些云台或摇臂因为自身结构原因无法加装编码器，对于固定三脚架的云台拍摄系统，无法测量摄像机的位置参数。而跟踪精度又与云台、摇臂的臂长等特性相关，摇臂较长时易产生抖动，不能使用。

2.基于光图像的跟踪方法，又可分为两种：第一种，其基本原理为在云台或摄像机上安装多个标记点，然后在演播室安装1个或多个识别摄像机，拍摄标记点图像，通过图像处理获取标记点位置，从而计算出摄像机的位置和姿态参数。为了提高精度，一般需要安装多个识别摄像机，每个识别摄像机又需要配置对应的图像处理单元，成本较高且计算量大。第二种，其基本原理为在云台上安装识别摄像机，在演播室的天花板或者地上安装标记图像，识别摄像机拍摄标记图像，通过图像处理后计算出摄像机的位置和姿态参数。标记图像安装在天花板时对演播室层高要求较高且要求天花板不能有其它遮挡物体，标记图像安装在地面时容易被其它设备遮挡。而又因基于光图像的跟踪方法中的标记图像一般都采用可见光或者红外光生成，受环境光或热光源影响较大，抗干扰性也差。

鉴于此，有必要提供一种不需改造支撑设备结构且计算量小、精度高以及抗干扰能力强的跟踪系统以确定摄像机的位置和姿态，从而解决上述缺陷。

技术实现要素：

本发明的目的是提供一种摄像机位置和姿态的跟踪系统以解决上述缺陷。

本发明的另一目的是提供一种摄像机位置和姿态的跟踪方法以解决上述缺陷。

为了实现上述目的，一方面，本发明提供一种摄像机位置和姿态的跟踪系统，所述跟踪系统包括：发射装置、接收装置及数据处理装置，其中，所述发射装置用于发射同步信号及激光信号，所述激光信号包括交替发射的x轴激光信号和y轴激光信号；所述接收装置包括多个接收单元，所述多个接收单元安装在摄像机和/或用于支撑所述摄像机的支撑设备上，用于接收所述发射装置发射的所述同步信号及所述激光信号；所述数据处理装置与所述多个接收单元相连，用于根据预设参数以及每个所述接收单元所接收到的所述同步信号及所述激光信号确定所述摄像机的位置和姿态。

其进一步技术方案为：所述发射装置包括：同步信号发射单元，用于发射所述同步信号；激光信号发射单元，其包括转轴互相垂直的x轴激光发射器和y轴激光发射器；以及驱动电机，用于驱动所述x轴激光发射器和y轴激光发射器交替地进行x轴方向的扫射和y轴方向的扫射，以分别产生所述x轴激光信号和y轴激光信号。

其进一步技术方案为：所述预设参数包括电机频率、x轴激光发射器的视场角、y轴激光发射器的视场角以及所述多个接收单元之间的位置差；所述数据处理装置具体用于：根据所述接收单元所接收到的同步信号和x轴激光信号，确定所述接收单元接收到x轴激光信号的时间，将该时间作为第一时间，根据所述接收单元所接收到的同步信号和y轴激光信号确定所述接收单元接收到y轴激光信号的时间，将该时间作为第二时间；根据所述第一时间、电机频率、x轴激光发射器的视场角以及第一预设公式确定第一角度，根据所述第二时间、电机频率、y轴激光发射器的视场角以及第二预设公式确定第二角度；根据所述第一角度、第二角度以及所述多个接收单元之间的位置差确定所述摄像机的位置和姿态。

其进一步技术方案为：多个所述接收单元按非平面的空间结构安装在所述摄像机和/或所述支撑设备上。

其进一步技术方案为：所述多个接收单元均为光敏传感器。

其进一步技术方案为：所述数据处理装置包括fpga模块或专用高速电路模块。

其进一步技术方案为：所述支撑设备为云台、三角架、摇臂或导轨。

为了实现上述目的，另一个方面，本发明还提供了一种摄像机位置和姿态的跟踪方法，该方法包括：发射装置发射同步信号及激光信号，所述激光信号包括交替发射的x轴激光信号和y轴激光信号；接收装置的多个接收单元接收所述发射装置发射的所述同步信号及所述激光信号；其中，所述多个接收单元安装在摄像机和/或用于支撑所述摄像机的支撑设备上；数据处理装置根据预设参数以及每个所述接收单元所接收到的所述同步信号及所述激光信号确定所述摄像机的位置和姿态。

其进一步技术方案为：所述发射装置发射同步信号及激光信号的步骤包括：由同步信号发射单元发射同步信号；由驱动电机驱动转轴互相垂直的x轴激光发射器和y轴激光发射器交替地进行x轴方向的扫射和y轴方向的扫射，以分别产生所述x轴激光信号和y轴激光信号。

其进一步技术方案为：所述预设参数包括电机频率、x轴激光发射器的视场角、y轴激光发射器的视场角以及所述多个接收单元之间的位置差；所述数据处理装置根据预设参数以及每个所述接收单元所接收到的所述同步信号及所述激光信号确定所述摄像机的位置和姿态的步骤包括：根据所述接收单元所接收到的同步信号和x轴激光信号，确定所述接收单元接收到x轴激光信号的时间，将该时间作为第一时间，根据所述接收单元所接收到的同步信号和y轴激光信号确定所述接收单元接收到y轴激光信号的时间，将该时间作为第二时间；根据所述第一时间、电机频率、x轴激光发射器的视场角以及第一预设公式确定第一角度，根据所述第二时间、电机频率、y轴激光发射器的视场角以及第二预设公式确定第二角度；根据所述第一角度、第二角度以及所述多个接收单元之间的位置差确定所述摄像机的位置和姿态。

本发明实施例提供了一种摄像机位置和姿态的跟踪系统及方法。该系统中由于是将接收装置中多个接收单元安装在摄像机和/或用于支撑摄像机的支撑设备上，因此不需对支撑设备进行机械改造，而且便于固定及拆装。接收装置用于接收发射装置发射的同步信号及激光信号，因此不需要识别由可见光或者红外光生成的标记图像，受环境光或热光源的影响较小，抗干扰性较强。数据处理装置与多个接收单元相连，用于根据预设参数以及每个接收单元所接收到的同步信号及激光信号确定摄像机的位置和姿态，因不涉及图像处理，其使用的仅仅是时间参数确定摄像机的位置和姿态，计算量小且精度高。采用本发明提供的摄像机位置和姿态的跟踪系统，无需对现有支撑设备的结构进行改造，其具有计算量小、精度高以及抗干扰能力强等优点。

通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。

附图说明

图1为本发明的一种摄像机位置和姿态的跟踪系统一实施例的结构框图；

图2为图1所示跟踪系统中的发射装置一实施例的结构框图；

图3为图1所示跟踪系统中的接收装置一实施例的结构框图；

图4为图1所示跟踪系统中的数据处理装置一实施例的结构框图；

图5为图1所示跟踪系统中的数据处理装置又一实施例的结构框图；

图6为本发明的摄像机位置和姿态的跟踪方法一实施例的流程示意图；

图7为本发明的摄像机位置和姿态的跟踪方法一实施例的子流程示意图；

图8为本发明的摄像机位置和姿态的跟踪方法一实施例的另一子流程示意图；

图9为本发明的摄像机位置和姿态的跟踪方法一实施例的又一子流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，附图中类似的组件标号代表类似的组件。显然，以下将描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1至图5，本发明实施例所提供的摄像机位置和姿态的跟踪系统10包括：发射装置11、接收装置12及数据处理装置13。其中，所述发射装置11用于发射同步信号及激光信号，所述激光信号包括交替发射的x轴激光信号和y轴激光信号；所述接收装置12包括多个接收单元121，所述多个接收单元121安装在摄像机和/或用于支撑所述摄像机的支撑设备上，例如在本实施例中，在摄像机和支撑设备上均安装有所述接收单元121，用于接收所述发射装置11发射的所述同步信号及所述激光信号；所述数据处理装置13与所述多个接收单元121相连，用于根据预设参数以及每个所述接收单元121所接收到的同步信号及激光信号确定所述摄像机的位置和姿态。本实施例提供的摄像机位置和姿态的跟踪系统，因将所述多个接收单元121安装在摄像机和/或用于支撑摄像机的支撑设备上，因此不需改造支撑设备结构，而且便于固定及拆装。所述接收装置12用于接收所述发射装置11发射的所述同步信号及所述激光信号，因此无需如现有技术那样识别由可见光或者红外光生成的标记图像，受环境光或热光源的影响较小，抗干扰性较强。所述数据处理装置13与所述多个接收单元121相连，用于根据预设参数以及每个所述接收单元121所接收到的同步信号及激光信号确定所述摄像机的位置和姿态，因不涉及图像处理，其使用的仅仅是时间参数确定所述摄像机的位置和姿态，计算量小且精度高。

在某些实施例，例如本实施例中，所述发射装置11包括：同步信号发射单元111、激光信号发射单元112及驱动电机113。其中，所述同步信号发射单元111为同步信号发射器，用于发射所述同步信号。激光信号发射单元112包括转轴互相垂直的x轴激光发射器和y轴激光发射器。驱动电机113用于驱动所述x轴激光发射器和y轴激光发射器交替地进行x轴方向的扫射和y轴方向的扫射，以分别产生所述x轴激光信号和y轴激光信号。在本实施例中，所述发射装置11应安装在高于所述接收装置12的位置，以确保所述发射装置11发射的所述同步信号和所述激光信号不会被遮挡。同时为了避免激光对人体的危害及对环境的干扰，x轴激光发射器和y轴激光发射器分别产生的所述x轴激光信号和所述y轴激光信号均为符合classi标准的无害免控激光信号，抗干扰能力强。

在某些实施例，例如本实施例中，所述接收装置12包括多个所述接收单元121，多个所述接收单元121按非平面的空间结构安装在所述摄像机和所述支撑设备上。所述多个接收单元121均为光敏传感器。具体地，多个所述光敏传感器按非平面的空间结构安装在所述摄像机和所述支撑设备上，以确保所述摄像机旋转或者平移时，多个所述光敏传感器从各个角度接收到所述发射装置11发射的所述同步信号和所述激光信号。可理解地，在其它实施例中，多个所述接收单元121也可仅安装在所述摄像机上或者所述支撑设备上。其中所述接收单元121的数量为以可实现对所述摄像机位置和姿态进行计算的数量即可，例如选取三个或三个以上，则可以计算所述摄像机的位置坐标参数。若选取五个或五个以上，则可以计算所述摄像机的位置坐标参数和旋转坐标参数。其中，所述支撑设备可以为云台、三角架、摇臂或导轨等等可用于承载摄像机且方便实现摄像机进行旋转或平移的设备。

在某些实施例，例如本实施例中，所述数据处理装置13为fpga模块131。由于本实施例中摄像机位置和姿态的跟踪系统10不涉及图像处理，计算量较小，因而采用fpga模块131计算，可达到精度较高且速度较快的良好效果。在本发明的其它实施例，所述数据处理装置13也可采用专用高速电路模块132或类似功能的电路来实现，以达到类似的效果。

基于以上结构设计，所述数据处理装置13可根据预设参数以及每个所述接收单元121所接收到的所述同步信号及所述激光信号来确定所述摄像机的位置和姿态，其中，所述预设参数包括电机频率、x轴激光发射器的视场角、y轴激光发射器的视场角以及所述多个接收单元之间的位置差。在接收到所述同步信号及所述激光信号之后，所述数据处理装置13的数据处理过程如下：根据所述接收单元所接收到的同步信号和x轴激光信号，确定所述接收单元接收到x轴激光信号的时间，将该时间作为第一时间，根据所述接收单元所接收到的同步信号和y轴激光信号确定所述接收单元接收到y轴激光信号的时间，将该时间作为第二时间。在确定第一时间和第二时间之后，根据所述第一时间、电机频率、x轴激光发射器的视场角以及第一预设公式确定第一角度，根据所述第二时间、电机频率、y轴激光发射器的视场角以及第二预设公式确定第二角度。根据所述第一角度、第二角度以及所述多个接收单元121之间的位置差确定所述摄像机的位置和姿态。

参照图6，图6展示了本发明的一种摄像机位置和姿态的跟踪方法一实施例的流程示意图，该跟踪方法应用于上述跟踪系统，下面以该方法来进一步详细阐述本发明跟踪系统的具体工作原理。如图6所示，该方法包括以下步骤：

s21、发射装置11发射同步信号及激光信号。

在本发明中，是利用激光雷达测距原理来实现对待跟踪对象，也即摄像机进行位置跟踪，因此，首先需要由所述发射装置11向摄像机所在位置发射所述同步信号和所述激光信号，进而根据设于所述摄像机上的光敏传感器的信号接收情况来进行进一步的计算。

在一实施例中，例如本实施例中，请参阅图7，上述的步骤s21可包括以下步骤s211～s212。

s211、由同步信号发射单元111发射所述同步信号。

在本发明中，所述发射装置11包括同步信号发射单元111、激光信号发射单元112及驱动电机113。其中，所述同步信号发射单元111为同步信号发射器，用于发射所述同步信号至所述接收装置12，为所述接收装置12接收所述激光信号提供时间基准，从而计算所述接收接收装置12接收所述激光信号与所述同步信号的时间差。

s212、由驱动电机113驱动转轴互相垂直的x轴激光发射器和y轴激光发射器交替地进行x轴方向的扫射和y轴方向的扫射，以分别产生所述x轴激光信号和y轴激光信号。

在本发明中，所述驱动电机113驱动转轴互相垂直的所述x轴激光发射器和所述y轴激光发射器按固定的转速旋转。其中，所述x轴激光发射器产生所述x轴激光信号进行x轴方向的扫射时，所述y轴激光发射器不产生所述y轴激光信号也不进行y轴方向的扫射。所述y轴激光发射器产生所述y轴激光信号进行y轴方向的扫射时，所述x轴激光发射器不产生所述x轴激光信号也不用进行x轴方向的扫射。

s22、接收装置12的多个接收单元121接收所述发射装置11发射的所述同步信号及所述激光信号；其中，所述多个接收单元121安装在摄像机和/或用于支撑所述摄像机的支撑设备上。

在本发明中，所述多个接收单元121均为光敏传感器，所述光敏传感器按非平面的空间结构设于所述摄像机和/或用于支撑所述摄像机的支撑设备上，用来接收所述发射装置11发射的所述同步信号及所述激光信号。

s23、数据处理装置13根据预设参数以及每个所述接收单元121所接收到的同步信号及激光信号确定所述摄像机的位置和姿态。

在本发明中，所述数据处理装置13可根据预设参数以及每个所述接收单元121所接收到的所述同步信号及所述激光信号确定所述摄像机的位置和姿态。其中，所述预设参数包括电机频率、x轴激光发射器的视场角、y轴激光发射器的视场角以及所述多个接收单元之间的位置差。在接收到所述同步信号及所述激光信号之后，所述数据处理装置13的数据处理过程进一步详细阐述如图8所示，上述的步骤s23又可以包括步骤s231～s233。

s231、根据所述接收单元121所接收到的同步信号和x轴激光信号，确定所述接收单元121接收到x轴激光信号的时间，将该时间作为第一时间，根据所述接收单元121所接收到的同步信号和y轴激光信号确定所述接收单元121接收到y轴激光信号的时间，将该时间作为第二时间。

例如，假设该步骤中所述接收单元121接收到所述同步信号的时间为t1、接收到所述x轴激光信号的时间为tx2、接收到所述y轴激光信号的时间为ty2，则所述第一时间为delta_t1＝tx2-t1，第二时间为delta_t2＝ty2-t1。

s232、根据所述第一时间、电机频率、x轴激光发射器的视场角以及第一预设公式确定第一角度，根据所述第二时间、电机频率、y轴激光发射器的视场角以及第二预设公式确定第二角度。

例如，假设该步骤中所述电机频率为f，所述x轴激光发射器的视场角为fovx，所述y轴激光发射器的视场角为fovy，则可根据公式theta1＝delta_t1*f*fovx确定所述第一角度theta1，根据公式theta2＝delta_t2*f*fovy确定所述第二角度theta2，也即，所述第一预设公式为theta1＝delta_t1*f*fovx；所述第二预设公式为theta2＝delta_t2*f*fovy。

s233、根据所述第一角度、第二角度以及所述多个接收单元121之间的位置差确定所述摄像机的位置和姿态。

在本实施例中，该步骤可通过定义三个坐标系来确定所述摄像机位置和姿态，所述三个坐标系分别为世界坐标系g、光学坐标系c、本体坐标系b且所述世界坐标系g、光学坐标系c、本体坐标系b的坐标原点分别为og、oc、ob。其中，所述世界坐标系g为所述摄像机位置和姿态跟踪系统的绝对坐标系。所述光学坐标系c为所述发射装置11所在的坐标系。所述本体坐标系b为所述接收装置12所在的坐标系。

在一实施例中，请参阅图9，上述的步骤s233又可以包括步骤s2331～s2333。

s2331、根据第三预设公式确定所述世界坐标系g与所述本体坐标系b之间的位置关系。

该步骤中所述第三预设公式为其中，^bp为所述本体坐标系b下所述接收单元121的位置矩阵，其为已知变量。^gp为所述世界坐标系g下所述接收单元121的位置矩阵，其为未知变量。为所述本体坐标系b到所述世界坐标系g下的转换矩阵，其为未知变量。^gob为所述本体坐标系b的坐标原点到所述世界坐标系g的坐标原点的转换矩阵，其为未知变量。在本实施例中，选择3个所述接收单元121的位置矩阵即可求出^gp、^gob，从而确定所述世界坐标系g与所述本体坐标系b之间的位置关系。在其它实施例中，也可通过确定多于3个的所述接收单元121的位置矩阵来进行上述计算。

s2332、根据第四预设公式确定所述光学坐标系c与所述本体坐标系b之间的位置关系。

该步骤中所述第四预设公式为其中，^bp为所述本体坐标系b下所述接收单元121的位置矩阵，其为已知变量。^cp为所述光学坐标系c下所述接收单元121的位置矩阵，其为未知变量。为所述本体坐标系b到所述光学坐标系c下的转换矩阵，其为未知变量。^cob为所述本体坐标系b的坐标原点到所述光学坐标系c的坐标原点的转换矩阵，其为未知变量。在本实施例中，选择5个所述接收单元121的位置矩阵，再由所述第一角度theta1、所述第二角度theta2即可求出^cp、及^cob，从而确定所述光学坐标系c与所述本体坐标系b之间的位置关系。在其它实施例中，也可通过确定多于5个的所述单元121的位置矩阵来进行上述计算。

s2333、根据第五预设公式确定所述世界坐标系g与所述光学坐标系c之间的位置关系，计算所述摄像机在所述世界坐标系g下的位置和姿态。

该步骤中所述第五预设公式为其中，^gp为所述世界坐标系g下所述接收单元121的位置矩阵，其为已知变量。^cp为所述光学坐标系c下所述接收单元121的位置矩阵，其为已知变量。为所述光学坐标系c到所述世界坐标系g下的转换矩阵，其为未知变量。^goc为所述光学坐标系c的坐标原点到所述世界坐标系g的坐标原点的转换矩阵，其为未知变量。在本实施例中，根据所述第三预设公式所述第四预设公式以及所述本体坐标系b下所述多个接收单元121的位置差即可求出及^goc，从而确定所述摄像机在所述世界坐标系g下的位置和姿态。

综上所述，本实施例提供的摄像机位置和姿态的跟踪系统及方法，由于是将接收装置中多个接收单元安装在摄像机和/或用于支撑摄像机的支撑设备上，因此不需对支撑设备进行机械改造，而且便于固定及拆装。接收装置用于接收发射装置发射的同步信号及激光信号，因此不需要识别由可见光或者红外光生成的标记图像，受环境光或热光源的影响较小，抗干扰性较强。数据处理装置与多个接收单元相连，用于根据预设参数以及每个接收单元所接收到的同步信号及激光信号确定摄像机的位置和姿态，因不涉及图像处理，其使用的仅仅是时间参数确定摄像机的位置和姿态，计算量小且精度高。采用本实施例提供的摄像机位置和姿态的跟踪系统，不需改造支撑设备结构、计算量小、精度高以及抗干扰能力强。

以上结合最佳实施例对本发明进行了描述，但本发明并不局限于以上揭示的实施例，而应当涵盖各种根据本发明的本质进行的修改、等效组合。