一种人形机器人模仿相似度评价方法与流程

本发明涉及人机交互技术领域，尤其涉及一种人形机器人模仿相似度评价方法。

背景技术：

近年来，机器人技术快速发展，并越来越广泛地应用于工业、医疗、科学研究、教育培训以及家庭日常生活等领域当中。与此同时，越来越复杂多样的应用环境对机器人的适应性和智能化提出了更高的要求。而机器人模仿学习技术可以提高机器人学习效率，提升机器人智能化程度，将开发者从繁重的编程工作中解脱出来。因此，对机器人模仿姿态与人体姿态的相似度进行恰当的评价，对于机器人模仿系统的优化具有重要的作用。当前一些研究使用主观评价的方法，该种方法需要发放问卷来搜集信息，过程较为繁琐，难以获取精确的量化评价指标。另外一些研究使用量化评价方法对机器人模仿相似度进行评价，这些方法大多基于关节角度或身体关键节点。而关节角度或者身体关键节点无法直接表征模仿或演示的姿态，因而难以有效评价人形机器人动作模仿的相似度。

技术实现要素：

为了解决现有技术中基于关节角度或身体关键节点无法直接表征机器人模仿或演示的姿态，而难以有效评价人形机器人动作模仿相似度的不足，本发明提供一种利用连杆向量对机器人与人体的姿态进行表征的人形机器人模仿相似度评价方法。

本发明的目的可以通过以下技术方案实现：

一种人形机器人模仿相似度评价方法，包括如下步骤：

1、通过深度摄像头获取人体骨骼节点的三维位置信息；

2、根据上述人体骨骼节点的三维位置信息构造人体骨骼向量，并依据人体骨骼向量以及机器人关节结构建立人体虚拟关节，形成人体骨骼模型；

3、建立基于人体骨骼模型各连杆的连杆参考坐标系；

4、利用转换矩阵将人体骨骼模型的连杆骨骼向量转移到其母连杆参考坐标系中；

5、根据机器人各关节角度及相应旋转矩阵计算机器人各连杆在其母连杆坐标系中的向量坐标；

6、根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆在其母连杆坐标系中的向量坐标计算人形机器人与人体姿态的相似度。

进一步地，所述人体骨骼节点是指骨骼中能够发生旋转的关节点以及骨骼末端节点。具体可包括：脊椎底部、脊椎中部、脊椎顶部、颈部、头部、左肩、左肘、左腕、左手、左手尖、左拇指、右肩、右肘、右腕、右手、右手尖、右拇指、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚。进一步地，所述机器人关节结构是指人形机器人结构中能够发生旋转的关节旋转轴数量及位置特点，建立人体虚拟关节是指在人体骨骼节点基础上，建立与机器人关节数量与类型相对应的虚拟关节，这些虚拟关节构成人体骨骼模型中的关节。从而便于后续姿态相似度的比对。

进一步地，人体骨骼模型定义如下：将躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、左脚、右上臂、右下臂、右手、右大腿、右小腿、右脚定义为连杆；将靠近躯干的连杆定义为远离躯干连杆的母连杆；将远离躯干的连杆定义为靠近躯干连杆的子连杆；将颈部、左肩、左肘、左腕、左髋、左膝、左踝、右肩、右肘、右腕、右髋、右膝、右踝定义为主关节；将人形机器人主关节所具有的不同自由度定义为该主关节的次关节；将靠近躯干的主关节或次关节定义为远离躯干的主关节或次关节的母关节；将远离躯干的主关节或次关节定义为靠近躯干的主关节或次关节的子关节；与一个关节相连的两个连杆中靠近躯干的连杆定义为该关节的母连杆，远离躯干的连杆定义为该关节的子连杆；将与一个连杆相连的两个关节中靠近躯干的关节定义为该连杆的母关节，远离躯干的关节定义为该连杆的子关节。

进一步地，所述依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型，具体包括：在人体骨骼模型中建立与人形机器人数量与类型相同的虚拟关节。根据一般人形机器人的关节特点，在初始姿态时，虚拟关节的次关节旋转轴与该关节的母连杆的骨骼向量共线或垂直，若两个次关节同属一个主关节，则两个次关节相互垂直。本发明只考虑主关节的次关节为一个或两个的情况。

进一步地，所述虚拟关节类型包括：翻滚、俯仰、偏航；所述初始姿态定义为双臂下垂的直立姿态。

进一步地，所述建立基于人体骨骼模型各连杆的连杆参考坐标系，具体包括：对于子关节是含有两个次关节的主关节的连杆，其参考坐标系的两个轴分别与两个子关节在初始关节角度时的旋转轴共线，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系；在初始姿态时，x轴指向人体骨骼模型的正前方，y轴指向人体骨骼模型的正左方，z轴指向人体骨骼模型的正上方。对于子关节是含有一个次关节的主关节的连杆，其参考坐标系的一个坐标轴与子关节的旋转轴共线，一个坐标轴与该连杆骨骼向量共线或垂直，另一个旋转轴与这两个轴构成的平面垂直，形成右手直角坐标系；在初始姿态时，x轴指向人体骨骼模型的正上方，y轴指向人体骨骼模型的正左方，z轴指向人体骨骼模型的正上方。连杆坐标系的坐标原点均位于连杆末端点，即连杆的子关节中心点处。

进一步地，所述将人体骨骼模型的连杆骨骼向量转移到其母连杆参考坐标系中，具体包括：利用转换矩阵rm将深度摄像头坐标系中的连杆骨骼向量转换到其母连杆的连杆坐标系中，转换矩阵rm为：

其中分别为在深度摄像头坐标系中与深度摄像头坐标系x轴、y轴、z轴正向同向的向量，分别为在深度摄像头坐标系中与目标连杆母连杆的连杆参考坐标系x轴、y轴、z轴正向同向的向量；

对于第k个用于计算姿态相似度的人体骨骼模型连杆，在其母连杆的连杆参考系中的连杆骨骼向量(列向量)为：

其中rmk为相应的转换矩阵，为在深度摄像头坐标系中的连杆骨骼向量。

进一步地，所述根据机器人各关节角度计算机器人各连杆在母连杆坐标系中的向量坐标，具体包括：令机器人各连杆在其母连杆坐标系中的初始姿态连杆向量坐标均为(0,0,1)^t，根据其母关节各次关节的旋转角度θmki，利用相应旋转矩阵r(θmki)，得到当前姿态的连杆向量坐标

其中，n为目标连杆母关节的次关节个数，i的数值越小表示该次关节在连杆‐关节链中越靠近母连杆。

进一步地，所述根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆在其母连杆坐标系中的向量坐标计算人形机器人与人形姿态的相似度，具体包括：根据转换坐标系后的连杆向量，利用人体骨骼模型连杆骨骼向量和相应机器人连杆向量的夹角的余弦值计算两连杆姿态的相关系数，之后计算各组连杆相关系数的算术平均值，得到机器人动作模仿的相似度指标。

本发明相对于现有技术，具有如下的有益效果：

1、建立了人体骨骼模型各连杆的连杆参考坐标系，可以精确地确定人体各连杆的姿态。

2、使用定量评价方法，可以得到机器人姿态与人体姿态相似度的精确量化指标。

3、使用连杆向量对机器人与人体的姿态进行表征是更加充分而有效的，可以得到更为准确的姿态相似度评价。

4、利用连杆在其母连杆坐标系中的连杆向量，可以有效评价局部姿态相似度。

附图说明

图1是本发明的一种人形机器人模仿相似度评价方法的流程图；

图2是由kinectii获取的人体骨骼节点名称及编号示意图；

图3是nao机器人与人体骨骼模型全身关节和连杆坐标系示意图。

具体实施方式

下面将结合本发明的实施例及附图对本发明作进一步的描述，但本发明的作用不限于此：

实施例

本发明公开了一种人形机器人模仿相似度的评价方法，使用kinectii作为深度摄像头，使用nao机器人作为人形机器人。

人形机器人模仿相似度评价方法的具体实施方式，实施的步骤流程图如图1所示，具体包括如下步骤：

s1、通过深度摄像头获取人体骨骼节点的三维位置信息；

使用kinectii摄像头来获取人体骨骼节点的三维信息，获取的各骨骼节点名称以及编号如图2所示。

s2、根据人体骨骼节点构建人体骨骼向量，并依据人体骨骼向量和机器人关节结构建立人体虚拟关节，形成人体骨骼模型；

根据人体骨骼节点的三维位置信息建立人体骨骼向量。设在深度摄像头坐标系中，由一个骨骼节点指向另一个骨骼节点的骨骼向量化为其中a为向量始端的骨骼节点的数字编号，b为向量末端的骨骼节点的数字编号，部分骨骼向量如图3所示。

根据nao机器人的关节结构特点，在人体骨骼模型中构建与nao机器人关节数量与类型一致的虚拟关节，由于nao机器人躯干下部的偏航俯仰关节由一个电机去驱动且左右对称，因此在此环节不予考虑。定义机器人与人体骨骼模型的初始状态为双臂下垂的直立姿态，此时相应的关节角度定义为初始关节角度，其中肩部俯仰角为其余关节角度均为0。在初始姿态时虚拟关节的旋转轴均与骨骼向量共线或垂直。

以左半身部分关节为例，如图3所示，构建人体骨骼模型虚拟关节，其余关节同理。

左肩俯仰关节是左肩翻滚关节的母关节，其旋转轴与向量共线，左肩翻滚关节的旋转轴位置随着左肩俯仰关节的变化而变化，其旋转轴与平面2‐5‐6的法向量共线，为：当左肩俯仰关节为初始角度时，左肩翻滚关节的旋转轴与左上躯干参考平面的法向量共线，为：

左肘偏航关节是左肘翻滚关节的母关节，其旋转轴与量共线。左肘翻滚关节的旋转轴位置随着左肘偏航关节的变化而变化，其旋转轴与平面5‐6‐7的法向量共线，为：当左肘偏航关节为初始角度时，左肘翻滚关节的旋转轴与平面2‐5‐6的法向量共线。

左髋翻滚关节是左髋俯仰关节的母关节，其旋转轴与左下躯干参考平面的法向量共线，为：左髋俯仰关节的旋转轴位置随着左髋翻滚关节的变化而变化，其旋转轴与由与构成的平面法向量共线。当左髋翻滚关节为初始角度时，左髋俯仰关节的旋转轴与向量共线。

左膝俯仰关节是左膝唯一的次关节，其旋转轴与平面17‐18‐19的法向量共线，为：

s3、建立基于人体骨骼模型各连杆的连杆参考坐标系；

以左半身部分连杆为例，如图3所示，构建人体骨骼模型连杆的连杆参考系，其余连杆同理。

左上躯干连杆参考系的x轴与左肩俯仰关节为初始角度时的左肩翻滚关节的旋转轴共线，指向连杆的正前方；y轴与左肩俯仰关节的旋转轴共线，指向连杆的正左方；z轴垂直于x‐y平面，指向连杆的正上方。其坐标原点位于骨骼节点5。

左大臂连杆参考系的x轴与左肘偏航关节为初始角度时的左肘翻滚关节的旋转轴共线，指向连杆的正前方；z轴与左肘偏航关节的旋转轴共线，指向连杆的正上方；y轴垂直于x‐z平面，指向连杆的正左方。其坐标原点位于骨骼节点6。

左下躯干连杆参考系的x轴与左髋翻滚关节的旋转轴共线，指向连杆的正前方；y轴与左髋翻滚关节为初始角度时的左髋俯仰关节的旋转轴共线，指向连杆的正左方；z轴垂直于x‐y平面，指向连杆的正左方。其坐标原点位于骨骼节点17。

左大腿连杆参考系的y轴与左膝俯仰关节的旋转轴共线，指向连杆的正左方；y轴与左大腿连杆骨骼向量共线，指向连杆的正上方；x轴垂直于y‐z平面，指向连杆的正前方。其坐标原点位于骨骼节点18。

连杆的正前方、正左方、正上方在连杆中的方位与初始姿态时连杆的正前方、正左方、正上方分别保持一致。

s4、将人体骨骼模型的连杆骨骼向量转换到其母连杆参考坐标系中；

为了将深度摄像头坐标系中的连杆骨骼向量转换到其母连杆的连杆坐标系中，构造转换矩阵rm为：

其中分别为在深度摄像头坐标系中与深度摄像头坐标系x轴、y轴、z轴正向同向的向量，分别为在深度摄像头坐标系中与目标连杆母连杆的连杆参考坐标系x轴、y轴、z轴正向同向的向量。

则对于第k个用于计算姿态相似度的人体骨骼模型连杆，在其母连杆的连杆参考系中的连杆骨骼向量(列向量)为：

其中rmk为相应的转换矩阵，为在深度摄像头坐标系中的连杆骨骼向量。

s5、根据机器人各关节角度计算机器人各连杆在其母连杆坐标系中的向量坐标；

令机器人第k个用于计算姿态相似度的连杆在其母连杆坐标系中的初始姿态连杆向量坐标为根据其母关节各次关节的旋转角度θmki，利用相应旋转矩阵r(θmki)，得到当前姿态的连杆向量坐标

其中，n为目标连杆母关节的次关节个数，i的数值越小表示该次关节在连杆‐关节链中越靠近母连杆。

s6、根据人体骨骼模型连杆在其母连杆坐标系中的骨骼向量坐标和机器人连杆坐标系中的向量坐标计算人形机器人与人体姿态的相似度。

进一步，根据所述步骤s6，机器人第k个连杆和人体骨骼模型第k个连杆的相关系数为:

在本实施例中，考虑躯干、头部、左上臂、左下臂、左手、左大腿、左小腿、右上臂、右下臂、右手、右大腿、右小腿等10个连杆，侧重局部相似度的人形机器人与人体姿态相似度指标为：

以上所述为本发明优选的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的发明构思或者技术方案加以等同替换或改变，都属于本发明专利的保护范围。