本实用新型实施例涉及体感交互技术领域，特别是涉及一种深度相机和惯性测量单元相对姿态的标定系统。
背景技术：
随着计算机技术与互联网技术的迅猛发展，体感交互技术广泛应用于各行各业，例如体感游戏、人与机器人的交互等。体感交互技术中，准确捕捉人体姿态、动作等在一个统一的观察坐标系中的描述，是其他上层应用的关键。
多传感信息融合理论和技术是提升人体姿态和动作捕捉的范围和精度等指标的有效途径。而传感器之间的相对位姿标定则是多传感信息融合的基础。在应用深度相机与惯性测量单元来捕捉人体动作进而远程操纵机器人时，为融合深度相机和惯性测量单元的传感数据需先标定两传感器坐标系之间的相对姿态，即使用深度相机与惯性测量单元结合捕获人体运动信息时，如何用简易的方法获取深度相机与惯性测量单元相对姿态的准确描述。
技术实现要素：
本实用新型实施例的目的是提供一种深度相机和惯性测量单元相对姿态的标定系统，以提高标定深度相机与惯性测量单元相对姿态的准确性。
为解决上述技术问题，本实用新型实施例提供以下技术方案：
本实用新型实施例提供了一种深度相机和惯性测量单元相对姿态的标定系统，包括：
深度相机、惯性测量单元、位移信息获取模块及相对姿态标定模块；
其中，所述深度相机用于获取对象物体的三维空间信息，固定在待标定应用场景一侧，与所述位移信息获取模块通过有线相连；
所述惯性测量单元用于测量所述对象物体在三维空间中的角速度及加速度，相对所述深度相机自由移动，与所述位移信息获取模块相连；
所述信息获取模块与所述相对姿态标定模块相连，用于获取深度相机采集对象物体在任一方向按照预设的动作序列，进行有位移移动时的第一位移信息；及惯性测量单元在相应的同一时间段对所述对象物体采集的第二位移信息；
所述相对姿态标定模块用于根据所述第一位移信息与所述第二位移信息，利用标定原理，计算得到所述深度相机与所述惯性测量单元的相对姿态旋转矩阵。
可选的，所述惯性测量单元绑定于所述对象物体的运动部位，以实现随着所述对象物体移动而移动。
可选的，所述惯性测量单元为集成多轴加速度计、多轴陀螺仪或磁力计。
可选的，所述惯性测量单元与所述位移信息获取模块通过无线相连。
可选的，还包括：
相对姿态表示模块，与所述相对姿态标定模块相连，用于根据所述相对姿态旋转矩阵，将所述深度相机与所述惯性测量单元的相对姿态按照预设的姿态表示方式进行转化。
可选的，还包括：
显示器，与所述相对姿态标定模块相连，用于根据预设的姿态表示方式，显示所述深度相机与所述惯性测量单元的相对姿态。
本实用新型实施例提供了一种深度相机和惯性测量单元相对姿态的标定系统，包括深度相机、惯性测量单元、位移信息获取模块及相对姿态标定模块，其中，深度相机用于获取对象物体的三维空间信息，固定在待标定应用场景一侧，与位移信息获取模块通过有线相连；惯性测量单元用于测量对象物体在三维空间中的角速度及加速度，相对深度相机自由移动，与位移信息获取模块相连；信息获取模块与相对姿态标定模块相连，用于获取深度相机采集对象物体进行移动时的第一位移信息；及惯性测量单元在相应的时间段采集的第二位移信息；相对姿态标定模块用于根据上述位移信息，利用标定原理，计算得到深度相机与惯性测量单元的相对姿态旋转矩阵。
本申请提供的技术方案的优点在于，利用固定的深度相机与可自由移动的惯性测量单元记录对象物体在三维空间中进行移动时的位移信息，利用标定原理，根据这些位移信息计算得到深度相机与惯性测量单元的相对姿态旋转矩阵。整个相对姿态的标定过程易于操作、精度高、无需额外的标定辅助设备且为非接触式标定，有利于提升深度相机与惯性测量单元的相对姿态标定的效率与准确率，从而为机器人远程操纵和体感游戏设备校准等体感交互技术领域提供启发和准确的标定信息。
附图说明
为了更清楚的说明本实用新型实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实用新型实施例提供的一个示意性例子的框架示意图；
图2为本实用新型实施例提供的深度相机和惯性测量单元相对姿态的标定系统在一种具体实施方式下的结构示意图；
图3为本实用新型实施例提供的不同笛卡尔测量坐标系的示意图；
图4为本实用新型实施例提供的深度相机和惯性测量单元相对姿态的系统在另一种具体实施方式下的结构示意图。
图5为本实用新型实施例提供的另外一个示意性例子在具体的应用场景下的曲线示意图。
具体实施方式
为了使本技术领域的人员更好地理解本实用新型方案，下面结合附图和具体实施方式对本实用新型作进一步的详细说明。显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
本申请的发明人经过研究发现，对于使用深度相机与惯性测量单元结合捕获人体运动信息时，如何用简易的方法获取深度相机与惯性测量单元相对姿态的准确描述，亦即深度相机与惯性测量单元相对姿态的简易有效标定，目前的技术方案无法满足实际应用的需求。
现有技术的三种技术方案如下：一般相机与惯性测量单元的相对位姿标定，应用这种方法可以得到一个次优的解，但是需要标定板的辅助；深度相机与惯性测量单元采用扩展卡尔曼滤波器等智能算法来让两传感器上坐标系的相对位姿收敛于真实值，但是由于深度相机与惯性测量单元的位置关系是确定的，即是两传感器是安装在同一个平台上，更适用于机器人定位和导航；还有一种深度相机与惯性测量单元的位置关系不固定，即两者分别位于两个有相对运动的载体上，利用人工直接观察、估计的方法来标定二者的相对姿态，人工操作的不可避免的弊端，导致精度很难保证。
鉴于此，本申请通过获取固定在待标定应用场景一侧的深度相机，采集对象物体做刚体运动时的第一位移信息；获取与深度相机相对自由移动的惯性测量单元，在同一时间段采集的对象物体做刚体运动时的角速度及加速度，以获取对象物体在三维空间的第二位移信息；根据第一位移信息与第二位移信息，利用标定原理，计算得到深度相机与惯性测量单元的相对姿态旋转矩阵，以实现深度相机与惯性测量单元的相对姿态的标定。
基于上述本实用新型实施例的技术方案，下面首先结合图1对本实用新型实施例的技术方案涉及的一些可能的应用场景进行举例介绍，图1为本实用新型实施例提供的一个示意性例子的框架示意图。
如图1所示，一种深度相机和惯性测量单元相对姿态的标定系统中包括深度相机、惯性测量单元(Inertial measurement unit，IMU)，电脑。深度相机固定在应用场景的一侧，用于获取人身体部位运动的三维空间信息；惯性测量单元绑定在人身体的运动部位，用于在同一时间段测量人某一身体部位运动时的角速度及加速度，通过对角速度及加速度进行积分，得到当前的姿态信息；电脑分别与深度相机、惯性测量单元相连，用于获取深度相机采集对象物体在任一方向按照预设的动作序列，进行有位移移动时的第一位移信息；及惯性测量单元在相应的同一时间段对所述对象物体采集的第二位移信息；然后根据第一位移信息与第二位移信息，利用标定原理，计算得到深度相机与惯性测量单元的相对姿态旋转矩阵。
需要注意的是，上述应用场景仅是为了便于理解本申请的思想和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
在介绍了本实用新型实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图2，图2为本实用新型实施例提供的深度相机和惯性测量单元相对姿态的标定系统在一种具体实施方式下的结构示意图，本实用新型实施例可包括以下内容：
深度相机101、惯性测量单元102、位移信息获取模块103及相对姿态标定模块104。
深度相机101用于获取对象物体的三维空间信息，固定在待标定应用场景一侧，与所述位移信息获取模块103通过有线相连。
深度相机101固定在当前待标定的应用场景的一侧，例如，静置于人与机器人交互的场景中，深度相机101的固定位置可全方位捕捉到当前人的全部动作。
深度相机101为一种光学传感器，用于捕捉当前对象物体的三维空间信息，与普通相机不同的是，可获取对象物体的深度信息。深度相机指代但不限于基于双目视觉、结构光或飞行时间原理的可获取物体三维空间信息的光学传感器。
对象物体为满足刚体运动的对象，刚体运动也可以理解为保持长度，角度，面积等不变的仿射变换，即保持内积和度量不变。从坐标变换上看，旋转对应行列式为1的正交矩阵。例如人体各个部位的运动是刚体运动；而人整体的运动是非刚体运动。此外，刚体变换下，具有物理意义的量，如梯度，散度和旋度都保持不变。
举例来说，深度相机101可实时获取手心关节的空间位置，使用前后静止阶段的位置平均值相减即可获得位移向量，即第一位移信息。
惯性测量单元102，用于测量对象物体在三维空间中的角速度及加速度，相对深度相机101可自由移动，与位移信息获取模块103相连。与位移信息获取模块103可通过有线相连，也可为无线相连。
惯性测量单元102采集同一时间段采集的所述对象物体做刚体运动时的角速度及加速度，以获取所述对象物体在三维空间的第二位移信息。
惯性测量单元102相对深度相机101而言，为自由移动的，即深度相机静置于应用场景中，惯性测量单元不固定，可自由移动。可选的，可将惯性测量单元绑定于对象物体上，以使惯性测量单元随着对象物体运动而运动。例如，当对象物体为人的手部时，可将惯性测量单元绑定于人手部而随手部在空间运动。
惯性测量单元指代但不限于集成多轴加速度计、多轴陀螺仪和磁力计的可直接测量物体在三维空间中的角速度和加速度的传感器，对角速度和加速度积分即可获得物体在三维空间中的姿态信息，通过姿态信息可获得对象物体的位移信息。
信息获取模块103与相对姿态标定模块104相连，用于获取深度相机采集对象物体在任一方向按照预设的动作序列，进行有位移移动时的第一位移信息；及惯性测量单元在相应的同一时间段对所述对象物体采集的第二位移信息。
第二位移信息与第一位移信息为对同一个对象物体在按照同一动作序列进行运动时，在同一时间分别利用不同的采集工具获取得到的信息，即第一位移信息为深度相机捕捉的信息，第二位移信息为惯性测量单元捕捉的信息。
举例来说，惯性测量单元可获得手心运动的加速度信息与其相对于地磁坐标系的相对姿态信息，可构造惯性测量单元获得的位移向量，首先将加速度从惯性测量单元的坐标系I映射到地磁场坐标系G：
其中，AG是G中的加速度向量，是惯性测量单元坐标系与地磁场坐标系之间的相对姿态旋转矩阵，可通过惯性测量单元直接读取或者由角速度分量积分得到，AI是从惯性测量单元中读取的加速度向量，g是在G坐标系中的重力信息，取9.8m/s2，并按一定比例t转换为无量纲向量g＝[0，0，9.8·t]T。然后通过设定阈值对G中的合成加速度进行判断，获取运动段的启停点，再使用运动段每一时刻的加速度信息进行迭代，以求得位移量：
ViG表示i时刻的速度向量，Ti表示从i-1时刻到i时刻之间的时间间隔，每个周期系统读取数据的时间会有所浮动。先用加速度值迭代得到每个时刻的速度，进而求得i时刻的位移向量。如此迭代至运动段结束即可求得惯性测量单元在G坐标系下表示的位移向量
如果对惯性测量单元运动段检测失败，从而导致位移向量提取失败，则重新获取第一位移信息和第二位移信息。
相对姿态标定模块104用于根据所述第一位移信息与所述第二位移信息，利用标定原理，计算得到所述深度相机与所述惯性测量单元的相对姿态旋转矩阵。
基于刚体运动在不同笛卡尔测量坐标系下描述的不变性，即在深度相机建立三维坐标系C，惯性测量单元建立三维坐标系I，地磁场坐标系G中，请参阅图3所示，刚体运动描述为相同的。
标定求解目标是确定C与I之间的姿态转换关系9轴惯性测量单元中的地磁计在没有外部磁场干扰的情况下可以自动校准坐标系I与地磁场坐标系G之间的相对姿态信息，即为已知量。根据坐标系变换关系可知，对的求解问题可转化为对的求解，亦即确定深度相机在地磁场坐标系中的姿态描述
根据第一位移信息与第二位移信息构造标定求解模型，利用最小二乘法求解所述标定求解模型，以得到所述深度相机与所述惯性测量单元的相对姿态旋转矩阵，具体的可为：
根据多组所述第一位移信息对应的位移向量，构造第一位移向量矩阵；根据多组所述第二位移信息对应的位移向量，构造第二位移向量矩阵；
基于刚体运动在不同笛卡尔测量坐标系下描述的不变性，根据所述第一位移向量矩阵与所述第二位移向量矩阵构造标定求解模型；
根据预设算法求解所述标定求解模型，以得到所述深度相机与所述惯性测量单元的相对姿态旋转矩阵；
多组所述第一位移信息为所述深度相机多次采集，所述对象物体在任一方向按照预设的动作序列，进行有位移移动时的第一位移信息；多组所述第二位移信息为所述惯性测量单元在相应的同一时间段采集所述对象物体的第二位移信息。
动作序列为对象物体运动的轨迹，有明确的起始点和运动方向，需要能获取让空间中任意方向的一段位移信息和起止点的位置信息即可，可为有位移的直线运动，也可为曲线运动，这均不影响本申请的实现。例如，静止2s--运动--静止2s，其中手部静止2s旨在让传感器有充足的时间确定手部运动的起始和终止位置。
举例来说，手部在空间中以某一动作序列沿任意方向运动作为系统的输入，且手部运动三次；然后使用上位机软件分别记录惯性测量单元产生的加速度和欧拉角信息，深度相机中的手部位置信息，还有记录下数据的时间戳；利用深度相机和惯性测量单元同时获取同一人手部运动的位移向量；利用所得到的三组位移向量，可由下式可求得旋转矩阵：
其中，MG表示的是在地磁场坐标中任意3个位移向量组成的一个3×3的位移向量矩阵，它的形式为分别为地磁场坐标下任意的3×1位移列向量；同理，MC是深度相机的深度坐标系下的位移矩阵，表示形式与MG一样；是深度相机坐标系C与G之间的旋转矩阵。但由于传感器的测量数据总会存在偏差，因此根据上式求解出来的旋转矩阵有时会偏差很大。
基于刚体运动在不同笛卡尔测量坐标系下描述的不变性构造标定求解模型然后通过最小二乘法解算出深度相机和地磁场坐标系的惯性测量单元相对姿态旋转矩阵：
由图3所示坐标系变换关系可知惯性测量单元坐标系在深度相机坐标系中的姿态描述为：
其中，即是惯性测量单元板上坐标系与地磁场坐标系之间的相对姿态旋转矩阵，即利用上式可求得深度相机和惯性测量单元之间的相对姿态矩阵。
需要说明的是，位移信息获取模块及相对姿态标定模块可为计算机进行执行，指代但不限于具有计算能力的个人计算机或者嵌入式系统；深度相机与计算机有线连接，从而可实时向计算机传输数据；惯性测量单元与计算机有线或者无线连接，同样可实时向计算机传输数据；而深度相机和惯性测量单元之间无直接连接或者数据共享；计算机中安装有自行开发的上位机软件，负责获取和处理深度相机和惯性测量单元的数据，根据标定原理求解深度相机和惯性测量单元的相对姿态旋转矩阵。
在本实用新型实施例提供的技术方案中，利用固定的深度相机与可自由移动的惯性测量单元记录对象物体在三维空间中进行移动时的位移信息，利用标定原理，根据这些位移信息计算得到深度相机与惯性测量单元的相对姿态旋转矩阵。整个相对姿态的标定过程易于操作、精度高、无需额外的标定辅助设备且为非接触式标定，有利于提升深度相机与惯性测量单元的相对姿态标定的效率与准确率，从而为机器人远程操纵和体感游戏设备校准等体感交互技术领域提供启发和准确的标定信息。
在一种具体的实施方式中，由于不同的应用场景下，深度相机与惯性测量单元的相对姿态的表述方式不同，鉴于此，针对上述实施例，请参阅图4，本申请还提供了另外一个实施例，还可包括：
相对姿态表示模块105，与所述相对姿态标定模块104相连，用于根据所述相对姿态旋转矩阵，将所述深度相机与所述惯性测量单元的相对姿态按照预设的姿态表示方式进行转化。
姿态表示方式根据当前应用场景或用户的需求而定，本申请对此不做任何限定。
根据所述相对姿态旋转矩阵，将所述深度相机与所述惯性测量单元的相对姿态按照欧拉角姿态表示法进行转化，以实现旋转角、俯仰角和偏航角表示所述深度相机与所述惯性测量单元的相对姿态。
例如上述实例，标定过程完成后，输出的是由得到的欧拉角姿态表示法的3个参数，即旋转角、俯仰角和偏航角。
按照不同的表述方式进行转化，提升了本申请技术方案的适用性，有利于提升用户使用体验。
在一种具体的实施方式下，请参阅图4，本申请还提供了另外一个实施例，还可包括：
显示器106，与所述相对姿态标定模块104相连，用于根据预设的姿态表示方式，显示所述深度相机与所述惯性测量单元的相对姿态。
当然，当系统中包括相对姿态表示模块105时，显示器106也可与相对姿态表示模块105相连。
增加显示器，用户可更直观的深度相机与惯性测量单元的相对姿态描述信息，看到有利于用户使用体验。
为了本领域技术人员更清楚的明白本申请的技术方案，还提供了具体的实例，具体的可为：
操作者站在深度相机前，按照以下动作序列执行：手自然下垂--向前抬手，手心向前，手臂尽量平行--向前走一步--手自然放下。深度相机与惯性测量单元的数据传送到上位机，该软件负责管理与协调各传感器的运行，并记录每一时刻的传感器数据。图5中所示的曲线表示地磁场坐标系中Z轴方向上的空间位置信息，该信息由深度相机所测得的手心空间位置根据上面求得的相对姿态转换矩阵转换后所得。图5中的1、2、3阶段分别对应抬手、向前迈步、放下手等几个阶段，其他时段均为静止阶段。手抬起的位置以墙面的标记位为参考点，该标记位是根据实验者的臂长预先设置的。实验者手心到肩膀的长度约为63cm，当手臂抬起并尽量与地面平行，手心向前时，手心比肩膀高出约5cm，因此手部下垂的标记位与抬手后的标记位的垂直高度为68cm。从图中可知，实线所示是根据标定后的旋转矩阵将位置信息从深度坐标系转换地磁场坐标系，抬手后与抬手前的位置差在68到70cm之间，而放下手后的位置与抬手前的位置差为0.81cm，证明该标定结果可行。相比之下，虚线使用未经标定，人工读取的转换矩阵进行处理，垂直高度差在78到79cm之间，放下手后的前后位置偏差为5.42cm。标定过的结果明显优于未经标定的结果，突显出本实用新型的实际应用价值。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本实用新型的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本实用新型所提供的一种深度相机和惯性测量单元相对姿态的标定系统进行了详细介绍。本文中应用了具体个例对本实用新型的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本实用新型的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以对本实用新型进行若干改进和修饰，这些改进和修饰也落入本实用新型权利要求的保护范围内。