深度相机与主体设备的标定方法与系统与流程

本发明涉及计算机应用领域，尤其涉及一种深度相机与主体设备的标定方法与系统。

背景技术：

利用深度相机(3d相机)可以获取人体的深度图像，进一步利用深度图像可以识别出人体姿势或动作从而实现人机交互。比如目前比较常见的设备中，将深度相机(比如kinect,astra等)与主机设备(如游戏主机、智能电视等)相连，当人体对象处在深度相机的可测范围内，由深度相机获取含人体的深度图像，将深度图像传输到主机设备中，通过处理器对深度图像进行人体姿势或动作(如手势等)识别后，将识别到的手势与预设的主机指令对应后触发该指令以实现体感交互。

用户在与电视、机器人等主体设备在进行体感交互时，往往需要面对这些主体设备。一般深度相机被放置在主体设备上或与主体设备集成在一起，深度相机正面所在平面与主体设备正面所在平面是同一个平面，在进行体感交互时，面对主体设备的同时也面对了深度相机。但在其他的应用中，深度相机与主体设备分离且处在不同的方位，比如利用单个深度相机来控制处在不同位置上的多个主体设备等，此时当用户面对主体设备进行体感交互时，比如左右挥手，而深度相机所得到的深度图像中并非是左右挥手，这就使得在交互过程中用户意图与体感识别之间的差异。

技术实现要素：

为解决上述问题，本发明提出一种深度相机与主体设备的标定方法及系统，对深度相机的深度图像进行校正，确保用户与主体设备之间的交互能以更加直观的方式进行，以提高用户体感交互体验。

本发明提供一种深度相机与主体设备的标定方法，包括如下步骤：

s1.识别用于指示深度相机与主体设备相对位置的参数；

s2.根据所述参数，将深度相机得到的第一信息校正得到相对于主体设备的第二信息。

优选地，所述方法还包括：s3.根据所述第二信息进行体感交互。

优选地，所述参数包括深度相机与主体设备之间的夹角。

进一步地优选，所述夹角包括：与深度相机平行的第一平面和与主体设备平行的第三平面之间的第一夹角；与深度相机垂直的第二平面和与主体设备垂直的第四平面之间的第二夹角。

进一步地优选，所述夹角通过以下步骤进行计算：

s111.利用物体相对于主题设备移动第一向量；

s112.所述物体的移动被深度相机采集，获得相对于深度相机的第二向量；

s113.根据所述第一向量和所述第二向量计算出夹角。

优选地，所述第一/第二信息包括深度图像、姿势以及动作中的一种或多种。

进一步地优选地，所述步骤s2包括步骤：

s21.利用所述参数，计算出所述深度相机相对于所述主体设备的相对位置矩阵；

s22.利用所述相对位置矩阵将深度相机得到的第一深度图像/姿势/动作校正得到第二深度图像/姿势/动作。

优选地，所述步骤s3包括：

当第二信息为第二深度图像时，将第二深度图像转换成姿势或动作，将所述姿势或动作转换成所述主体设备可以识别的指令，再实现体感交互；

或当第二信息为第二姿势或动作时，将所述姿势或动作转换成所述主体设备可以识别的指令，实现体感交互。

优选地，所述主体设备包括电视、电脑、机器人等设备。

本发明还提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上所述的方法。

本发明的有益效果：通过先识别用于指示深度相机与主体设备相对位置的参数，识别出深度相机与主体设备之间的相对位置关系；再根据该参数，将深度相机得到的第一信息进行校正，转化为相对于主体设备的第二信息，能够确保用户与主体设备之间的交互能以更加直观的方式进行，提高用户体感交互体验。

附图说明

图1为本发明具体实施方式中体感交互场景示意图。

图2为本发明具体实施方式中深度相机与主体设备的标定系统结构示意图。

图3为本发明具体实施方式中深度相机与主体设备的标定方法流程示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

如图1所示，一种体感交互的场景示意图，图中深度相机与电视相连，深度相机被用来获取目标区域的深度图像。

目前深度相机主要有三种形式：基于双目视觉的深度相机、基于结构光的深度相机以及基于tof(时间飞行法)的深度相机。以下的说明中，无论哪种形式都可以被应用。

基于双目视觉的深度相机是利用双目视觉技术，利用处在不同视角的两个相机对同一空间进行拍照，两个相机拍摄出的图像中相同物体所在像素的差异与该物体所在的深度直接相关，因而利用图像处理技术通过计算像素偏差来获取深度信息。

基于结构光的深度相机通过向目标空间投射编码结构光图案，再通过相机采集目标空间含有结构光图案的图像，然后将该图像进行处理比如与参考结构光图像进行匹配计算等可以直接得到深度信息。

基于tof的深度相机通过向目标空间发射激光脉冲，激光脉冲经目标反射后被接收单元接收后并记录下激光脉冲的来回时间，通过该时间计算出目标的深度信息。

这三种方法中第一种一般采集彩色相机，因而受光照影响大，同时获取深度信息的计算量较大。后两种一般利用红外光，不受光照影响，同时计算量相对较小。在室内环境中，使用结构光或tof深度相机是更佳的选择。

图1中的电视一般意义上为智能电视或数字电视，可以看成是含有显示器、处理器以及诸多接口的计算设备，目前大多数的智能电视运行android操作系统。深度相机一般拥有usb等接口，用于与计算设备相连，还可以进行供电。图1中深度相机与电视连接，将获取到的深度图像传输到电视中，通过存储在电视中的软件对深度图像进行处理，比如图像去噪预处理、骨架提取等，进一步地将处理的结果变成相应的指令来控制电视中的应用程序，比如控制光标移动、选中、翻页等。

在一些实施例中，电视也可以是其他主体设备，比如显示器、电脑、机器人等。

在本具体实施方式中，以用户利用其手部来操控电视(主体设备)中图标的移动来实现体感交互为例进行说明。在这里仅以二维的光标移动的体感交互为例，目的在于阐述本发明原理的方便，并非限定，对于三维的或者其他体感交互方式也适用于本发明的原理。

传统的体感交互一般要求深度相机处在电视的前方或者上部固定，这样做的好处在于可以使得深度相机正面与电视的正面平行，然而也存在一些场景，如图1所示，深度相机与电视的位置分离且处在不同的方位，使得深度相机正面与电视正面之间有一定的夹角。用坐标系来表示，如图1中所示，电视所在的坐标系为xyz，电视正面与yz面平行；深度相机所在的坐标系为xyz，深度相机正面与yz面平行。若某一体感交互的目的是光标沿y正方向移动一定的距离。该距离对应到真实空间中的距离为d，按照用户的交互习惯，用户会正对着电视，并用手部由左往右移动距离d。若深度相机正面与电视正面平行设置的话，深度相机所获取的手部移动即为沿着y正方向移动，然而对于图1所示的情形下，深度相机所得到的手部移动将同时具有x及y分量，并且y分量对应的距离d要小于d。

以上说明针对二维情形，若对于三维情形，当需要将光标沿着向量1移动时，用户在真实空间中自然会沿着向量1移动，此时深度相机所识别到的向量2将会与向量1不同。换句话说，用户在真实空间中所执行的移动将与虚拟空间中的被控制对象的移动不能一一对应。这会严重降低用户的交互体验。

本具体实施方式中深度相机与主体设备的标定系统结构如图2所示，系统由主体设备和深度相机组成，其中主体设备包含处理器、存储器、接口单元，也可以包括显示器，显示器也可以是独立的设备通过接口与计算设备相连。深度相机中包含深度计算单元以及接口单元，深度相机中还包含有图像采集单元，对于结构光深度相机以及tof深度相机，图像采集单元包括光学投影仪以及图像传感器；而对于双目深度相机，图像采集单元包括两个图像传感器。计算设备与深度相机之间通过接口单元连接，该接口单元可以为usb等有线连接，也可以为wifi等无线连接。

深度相机采集到目标区域的图像后，由深度计算单元计算出目标区域的深度图像，根据不同原理的深度相机，其计算方式也有区别，以结构光深度相机为例。

结构光深度相机中结构光投影仪向空间中投影结构光图像，该图像由图像传感器采集后传给深度计算单元，由结构光图像计算深度图像是基于结构光三角法来实现的。以结构光图像为散斑图像为例，预先需要对采集一幅已知深度平面上的结构光图像为参考图像，然后深度计算单元利用当前获取的结构光图像与参考图像，通过图像匹配算法计算各个像素的偏离值(变形)，最后利用三角法原理可以计算出深度，计算公式如下：

其中，zd指三维空间点距离采集模组的深度值，即待求的深度数据，b是采集相机与结构光投影仪之间的距离，z0为参考图像离采集模组的深度值，f为采集相机中透镜的焦距，δ为像素的偏离值。其中参考图像、b以及f等参数预先要存储在存储器中。这里的存储器一般为flash闪存等非易失性存储器。可以理解的是，若深度相机被集成到计算设备中，该存储器与计算设备中的存储器可以指合二为一。

深度计算单元计算出目标区域的深度图像后，深度图像经由接口单元传输到计算设备中，深度图像可以被保存在存储器中也可以直接经由处理器进行实时的处理，处理的程序(如深度图像预处理、人体识别、骨架提取等)被预先保存在存储器中。处理器将调用这些程序对深度图像进行处理，最终可以输出控制其他应用程序的指令。

在本实施例中，为了解决前面提出的用户真实体感与虚拟操控对象不一致的问题，处理器需要对深度相机获取的深度图像进行进一步的处理。

回到图1中，问题产生的根本原因是由于深度相机的坐标系与电视的坐标系不一致的问题。

一种解决方案是将深度相机获取的在坐标系xyz中的第一深度图像转换为坐标系xyz中的第二深度图像；另一种解决方案也可以是先对深度图像进行进一步处理后得到姿势、或动作后再进行坐标转换。两种解决方案均能解决问题，相比之下前者需要更大的计算量。

为了将坐标进行转换，首先要建立两者之间的转化关系，即可以用于指示深度相机与主题设备相对位置的参数。本实施例中该参数为深度相机与主体设备之间的夹角，包括：与深度相机平行的第一平面和与主体设备平行的第三平面之间的第一夹角；或：与深度相机垂直的第二平面和与主体设备垂直的第四平面之间的第二夹角。

为了简化说明，假定两个坐标系之间仅存在沿z轴的转动，转动角度为θ，如图1中所示。因而问题转化为对转动角度θ的求解，为了得到θ，本实施例中采用了如图3所示的方法，具体如下：

首先，由应用程序在显示界面上定义出一个电视所在的坐标系中沿y轴正方向的第一向量，向量的起始与未端用一个虚拟手势标明，第一向量可以不用显示，该第一向量对应的长度为d。

其次，用户用手部从起始端虚拟手势向未端虚拟手势移动的过程中，深度相机分别记录下起始与未端的手势在深度图像中的三维坐标，该三维坐标在深度相机坐标系的xyz平面内的投影即为第二向量。

最后，根据深度相机实际测得的第二向量，就可以得到两个向量之间的夹角，该夹角即为转动夹角θ。

具体地，假如实际测得的第一向量表示为则第二向量可以表示为夹角计算公式为：

可以理解的是，除了利用手部沿电视所在的坐标系中的y轴方向移动，还可以利用手部沿电视所在的坐标系中的z轴方向移动，即相对电视做上下竖直移动，计算出与深度相机平行的平面和与主体设备平行的平面之间的夹角。

或者利用手部沿电视所在的坐标系中的x轴方向移动，即相对电视做推进/后退移动，计算出与深度相机垂直的平面和与主体设备垂直的平面之间的夹角。

可以理解的是，在三维情形下，也可以由该方法得到第一向量以及第二向量，两个向量之间的夹角会有三个分量，分别对应三个转动夹角。利用该夹角就可以得到坐标系变换矩阵公式，从而实现两个坐标系之间的转换，即由深度相机坐标系向主体对象坐标系之间的变换。

根据上面计算的参数，计算出所述深度相机相对于所述主体设备的相对位置矩阵，再将深度相机得到的第一深度图像/姿势/动作校正得到第二深度图像/姿势/动作。

当第二信息为第二深度图像时，将第二深度图像转换成姿势或动作，将所述姿势或动作转换成所述主体设备可以识别的指令，再实现体感交互；或当第二信息为第二姿势或动作时，将所述姿势或动作转换成所述主体设备可以识别的指令，实现体感交互。

计算设备中的存储器用于存储操作系统以及应用程序；处理器通过对深度图像的处理后发出相应的指令，通过该指令进一步控制应用程序。显示器用于应用程序的显示。

在上述实施例中，是利用手部移动一定距离来实现对深度相机与主体设备之间相对位置的计算，从而实现二者之间坐标系的标定。利用此种方式标定时，当主体设备和深度相机的位置固定后，只需要一次标定即可，且标定时对用户的头部与躯干没有要求，用户可以随意转动，只需要利用一部分部位即可实现标定。也可以通过其它方式来进行标定，比如将一个立方体的一个面正对着主体设备，而深度相机所获取的立方体的深度图像则会出现多个面，根据这一现象可以逆向推断出深度相机与主体设备之间的相对位置，该相对位置除了用夹角表示外，也可以利用其他参数来表示，在此不做限定。此种方式对用户的任何部位都没有限定，完全释放了用户的活动范围。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。