一种基于景深感知机制的机器人操控系统及其工作方法与流程

本发明涉及景深感知以及智能机器人技术领域，具体是一种基于景深感知机制的机器人操控系统及其工作方法。

背景技术：

目前，智能机器人行业发展迅猛，很多行业都离不开机器人的身影，包括一些高危险行业。但是，如何更好的与机器人进行交互，对机器人进行操控，是一个难题。传统意义上的机器人操控主要是通过遥控器，操作手柄等实现。但是随着机器人功能的不断增强以及机器人的越来越人性化的特点，利用传统的机器人操控方式对机器人进行操控，一来，操控方式单调乏味，二来，通过遥控器上的几个按钮也不能很好的发挥出机器人的所有潜能。因此，在机器人硬件能力得到加强的同时，机器人的软件控制能力也要进一步增强。

技术实现要素：

针对于上述现有技术的不足，本发明的目的在于提供一种基于景深感知机制的机器人操控系统及其工作方法，以解决现有技术中传统的机器人控制方式无法发挥机器人的所有潜能等问题。本发明通过充分利用景深信息采集设备具有抽象人体骨骼结构以及采集骨骼点坐标的特点，结合相应的数学模型和算法实现了对机器人的操控。

为达到上述目的，本发明的一种基于景深感知机制的机器人操控系统，包括：

机器人，其拥有类似于人体的骨骼关节，每个骨骼关节包含若干个相关的自由度，在各个骨骼关节的自由度的允许范围内，关节自由活动；

景深信息采集设备，其以自身为原点建立一个三维的空间坐标系，当人体处于其照射范围内时，即处于该空间坐标系之中；该景深信息采集设备将照射范围内的人体抽象为一个骨骼结构，该骨骼结构由若干个骨骼点构成，每个骨骼点由一组三维空间坐标进行标识；

处理终端，其能够与景深信息采集设备进行互联，同时获取景深信息采集设备采集到的骨骼点的坐标数据，能够运行基于参考位置的算法以将这些坐标数据转换为相应骨骼关节的自由度，能够运行基于双脚位置信息的状态机判断人体的行走方向，最终能够将自由度和行走方向信息通过无线连接传输到机器人的控制中心；机器人根据接收到的上述信息来执行相应的动作；

通信设备，用于处理终端与机器人的控制中心之间的信息传输。

优选地，上述的景深信息采集设备将人体抽象为一个骨骼结构，通过景深信息采集设备建立的空间坐标系，根据空间坐标来标识每个骨骼点的位置，从而确定每个骨骼点的形态。

优选地，上述的景深信息采集设备传输到处理终端的坐标数据含有环境噪声，采用滤波算法来滤除原始坐标数据中的环境噪声；滤除噪声后，处理终端根据双脚的相对位置关系和双臂的相对位置关系判断出是人体在行走还是人体在做出手臂的相关动作。

优选地，上述的处理终端判断情况具体包括如下：

a.当处理终端判断人体在行走时，处理终端启动基于双脚位置信息的状态机对人体的行走方向进行判断；

b.当处理终端判断人体的手臂在做动作时，处理终端运行基于参考位置的算法，将人体骨骼点的坐标信息转化为人体关节的自由度信息；

c.通过通信设备将方向信息以及自由度信息传输到机器人的控制中心。

优选地，上述的状态机包含两个转移条件，分别是abs(lz-lz)＞abs(rz-rz)，以及abs(lz-lz)＜abs(rz-rz)，其中lz和lz分别表示前一个状态左脚骨骼点到景深信息采集设备的距离和当前状态左脚到景深信息采集设备的距离，rz和rz分别表示前一个状态右脚骨骼点到景深信息采集设备的距离和当前状态右脚到景深信息采集设备的距离，abs表示对括号中的数值取绝对值。

优选地，上述的状态机包含五个状态，分别是左脚向前、左脚向后、右脚向前、右脚向后以及起始状态，其中，起始状态表示左脚和右脚到景深信息采集设备的距离相等。

优选地，上述基于参考位置的算法包括两部分，第一部分根据景深信息采集设备采集到的坐标数据得到骨骼点间的向量特征，进而根据向量间的夹角计算公式得到部分肘关节自由度和肩关节自由度，即肘关节翻滚角和肩关节翻滚角；第二部分根据构造出的参考点和参考平面计算出剩下的肘关节自由度和肩关节自由度，即肘关节偏航角和肩关节俯仰角。

本发明的一种基于景深感知机制操控机器人的工作方法，包括如下步骤：

1)景深信息采集设备将人体抽象为一个骨骼结构，同时采集每个骨骼点的坐标信息，并将坐标信息传输到处理终端；

2)处理终端运用滤波算法滤除坐标数据中的环境噪声；

3)处理终端根据双脚的相对位置关系和双臂的相对位置关系来判断当前的人体是在行走状态还是做出手臂动作。

4)处理终端判断出人体在做手臂动作，则运行基于参考位置的算法，运用景深信息采集设备提供的骨骼点坐标数据计算出肘关节自由度和肩关节自由度，即肘关节翻滚角、肩关节翻滚角、肘关节偏航角以及肩关节俯仰角；

5)处理终端将人体的行走方向信息以及人体的关节自由度信息通过无线连接传输到机器人的控制中心，机器人的控制中心根据上述接收到的信息驱动机器人模仿人体的动作。

本发明的有益效果：

本发明增加了人体行走方向的判别，有了这个方向信息，就可以控制机器人朝需要的方向行走，扩大了机器人的活动范围；

本发明运用基于参考位置的算法，可以高效、快速计算出自由度elbowyaw和自由度shoulderpitch，有了这两个自由度信息，机器人的关节的可控制的活动范围增大，使得机器人能够完成更多的动作，这是其它系统所不具备的。

附图说明

图1为系统场景示意图；

图2为计算肘关节自由度elbowyaw示意图；

图3a为计算肩关节自由度shoulderpitch的人体侧面示意图；

图3b为计算肩关节自由度shoulderpitch的人体正面示意图；

图4为判断人体行走方向的状态机示意图；

图5为机器人手臂关节自由度示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种基于景深感知机制的机器人操控系统，包括：

机器人，其拥有类似于人体的骨骼关节(可以理解为机器人的骨骼关节相当于人体的骨骼关节)，每个骨骼关节包含若干个相关的自由度，比如肘关节包含两个自由度，分别是elbowyaw(肘关节偏航角)、elbowroll(肘关节翻滚角)，肩关节包含两个自由度，分别是shoulderpitch(肩关节俯仰角)、shoulderroll(肩关节翻滚角)；在各个骨骼关节的自由度的允许范围内，关节自由活动。

景深信息采集设备，其以自身为原点建立一个三维的空间坐标系，当人体处于其照射范围内时，即处于该空间坐标系之中；该景深信息采集设备将照射范围内的人体抽象为一个骨骼结构，该骨骼结构由若干个骨骼点构成，每个骨骼点由一组三维空间坐标进行标识；如肘关节可以通过坐标(ex，ey，ez)来标识其位置。

处理终端，其能够与景深信息采集设备进行互联，同时获取景深信息采集设备采集到的骨骼点的坐标数据，能够运行基于参考位置的算法以将这些坐标数据转换为相应骨骼关节的自由度，能够运行基于双脚位置信息的状态机判断人体的行走方向，最终能够将自由度和行走方向信息通过无线连接传输到机器人的控制中心；机器人的控制中心根据接收到的上述信息来执行相应的动作。

通信设备，用于处理终端与机器人的控制中心之间的信息传输。

其中，上述的景深信息采集设备将人体抽象为一个骨骼结构，通过景深信息采集设备建立的空间坐标系，根据空间坐标来标识每个骨骼点的位置，从而确定每个骨骼点的形态。

其中，上述的景深信息采集设备传输到处理终端的坐标数据含有环境噪声，采用滤波算法滤除原始坐标数据中的环境噪声；滤除噪声后，处理终端根据双脚的相对位置关系和双臂的相对位置关系判断出是人体在行走还是人体在做出手臂的相关动作。

其中，上述的处理终端判断情况具体包括如下：

a.当处理终端判断人体在行走时，处理终端启动基于双脚位置信息的状态机对人体的行走方向进行判断；

b.当处理终端判断人体的手臂在做动作时，处理终端运行基于参考位置的算法，将人体骨骼点的坐标信息转化为人体关节的自由度信息；

c.通过通信设备将方向信息以及自由度信息传输到机器人的控制中心。

其中，上述的状态机包含两个转移条件，分别是abs(lz-lz)＞abs(rz-rz)，以及abs(lz-lz)＜abs(rz-rz)，其中lz和lz分别表示前一个状态左脚骨骼点到景深信息采集设备的距离和当前状态左脚到景深信息采集设备的距离，rz和rz分别表示前一个状态右脚骨骼点到景深信息采集设备的距离和当前状态右脚到景深信息采集设备的距离，abs表示对括号中的数值取绝对值。

其中，上述的状态机包含五个状态，分别是左脚向前、左脚向后、右脚向前、右脚向后以及起始状态，其中，起始状态表示左脚和右脚到景深信息采集设备的距离相等。

其中，上述基于参考位置的算法包括两部分，第一部分根据景深信息采集设备采集到的坐标数据得到骨骼点间的向量特征，进而根据向量间的夹角计算公式得到部分肘关节自由度和肩关节自由度，即肘关节翻滚角和肩关节翻滚角；第二部分根据构造出的参考点和参考平面计算出剩下的肘关节自由度和肩关节自由度，即肘关节偏航角和肩关节俯仰角。

在图2中，a点表示腕关节，b点表示肘关节，c点表示肩关节，d点表示两肩中心脖颈处的关节，景深信息采集设备得到这四个点的空间三维坐标，通常的方法根据点a、点b、点c的坐标信息，再根据向量间的夹角计算公式得到向量ba与向量bc的夹角，即肘关节的自由度elbowroll，但是根据这些信息却很难得出肘关节自由度elbowyaw的信息，缺少了自由度elbowyaw的信息就不能控制机器人手臂灵活运动。

基于参考位置的计算方法来计算自由度elbowyaw的信息。首先，选定了一个参考点a’，该参考点的特点在于它与点b和点c构成的平面a’bc始终与水平面垂直，并且ab＝a’b，∠a’bc＝∠abc，其中∠abc就是通常方法计算得到的自由度elbowroll，通过平面a’bc与平面abc的夹角来得到自由度elbowyaw。根据图1中的几何关系，可以得到点a’的空间坐标为：

(bx-|ba′|cosγsinα,by+|ba′|sinγ,bz-|ba′|cosγcosα)

其中(bx,by,bz)是点b的空间坐标，通过景深信息采集设备直接获取，而

γ＝∠a′bo2＝π/2+β-∠abc(1)

在确定了点a’的空间坐标后，得出平面a’bc的法向量m以及平面abc的法向量n，从而可以得到自由度elbowyaw为：

θelbowyaw＝π-＜m，n＞＝π-arccos((m·n)/|m||n|)(4)

图3a和图3b是计算肩关节自由度shoulderpitch的人体侧面和正面示意图，同图2相比，点a、点b、点c以及点d的含义是相同的，点e表示人体的脊柱关节。将人体的躯干视为一个参考平面，用手臂所在直线和该参考平面的夹角来计算自由度shoulderpitch。首先，由于点c、点d以及点e是已知的，根据平面法向量的性质和定理可以得到平面cde的法向量w，因此，得到自由度shoulderpitch为：

θshoulderpitch＝π/2-∠cbo＝π/2-arccos((cb·w)/|cb||w|)(5)

图4是判断人体行走方向的状态机示意图，其中a、b表示状态转移条件，其中条件a表示abs(lz-lz)＜abs(rz-rz)，条件b表示abs(lz-lz)＞abs(rz-rz)，其中lz和lz分别表示前一个状态左脚骨骼点到景深信息采集设备的距离和当前状态左脚到景深信息采集设备的距离，rz和rz分别表示前一个状态右脚骨骼点到景深信息采集设备的距离和当前状态右脚到景深信息采集设备的距离，abs表示取绝对值。状态s0表示起始状态，此时双脚距离景深信息采集设备同样远；状态s1表示迈左脚向前；状态s2表示迈右脚向前；状态s3表示迈左脚向后；状态s4表示迈右脚向后。

图5是机器人手臂关节自由度示意图，注意到肘关节自由度elbowyaw的特点，它控制着前臂绕手腕到手肘的连线旋转，正是该自由度的存在使得手臂可以自由运动。但是，景深信息采集设备将手腕和手肘分别抽象为了一个点，因此，根据景深信息采集设备获取的数据不能有效计算出自由度elbowyaw。为此，我们设计了图2中基于参考点的计算方法来估算自由度elbowyaw。

本发明的一种基于景深感知机制操控机器人的工作方法，包括如下步骤：

1)景深信息采集设备将人体抽象为一个骨骼结构，同时采集每个骨骼点的坐标信息，并将坐标信息传输到处理终端；

2)处理终端运用滤波算法滤除坐标数据中的环境噪声；

3)处理终端通过双脚的相对位置关系和双臂的相对位置关系来判断当前的人体是在行走状态还是做出手臂动作。

4)处理终端判断出人体在做手臂动作，则运行基于参考位置的算法，运用景深信息采集设备提供的骨骼点坐标数据计算出肘关节自由度和肩关节自由度，即肘关节翻滚角、肩关节翻滚角、肘关节偏航角以及肩关节俯仰角；

5)处理终端将人体的行走方向信息以及人体的关节自由度信息通过无线连接传输到机器人的控制中心，机器人的控制中心根据上述接收到的信息驱动机器人模仿人体的动作。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。