基于穿戴示教服视频的人体姿态机器人示教方法及装置与流程

本发明属于人体姿态的计算机视觉识别技术领域，更为具体地讲，涉及一种基于穿戴示教服视频的人体姿态机器人示教方法及装置。

背景技术：

机器人的动作实现，通常是依赖专业的程序设计人员编写动作功能和逻辑程序，把程序下载输入到机器人，然后机器人执行程序，如生产线上的组装机器人。但是在未来，需求广泛的服务机器人应用领域，会存在丰富的个性化业务需求，如家政机器人和娱乐表演机器人等，然而用户通常无法掌握复杂的编程，使得服务机器人使用受到了一定的限制。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于穿戴示教服视频的人体姿态机器人示教方法及装置，使用户无需掌握复杂的编程的情况下，可以对服务机器人进行个性化操控和使用。

为了实现上述发明目的，本发明基于穿戴示教服视频的人体姿态机器人示教方法，其特征在于，包括以下步骤：

(1)、穿戴示教服视频获取

示教人穿戴示教服进行示教，采用单目或多目摄像系统获取示教人的示教过程视频，该视频即为穿戴示教服视频；

(2)、人体姿态精细识别

使用视频目标识别和单目/多目视频图像同步融合算法，依据示教服，获取精确表征示教人的人体姿态变化过程的人体骨骼关节的时空点位演进序列(多维姿态时空姿态数据)和多维动力学参数；

(3)、机器人本地操作参数转换

把步骤(2)获得的人体骨骼关节的时空点位演进序列(多维姿态时空姿态数据)和多维动力学参数，转换为机器人本地操作参数或执行代码(机器人操控参数指令序列)。

一种基于穿戴示教服视频的人体姿态机器人示教装置，其特征在于，包括：

示教服，使用可伸缩材料制作而成，可贴身穿戴，紧贴人体肢体关节的部位具有相互区别的渐变不等宽或等宽色的关节色带环，示教服上设置对应关键人体肌肉(肌腱)的连接关节色带环的色带条，用于精细表征示教人的人体骨骼关节运动和肌肉运动形变；

示教视频采集模块，根据应用场景不同，可以是安装在机器人体上的摄像头，也可以是独立于机器人的一个外部摄像头或多个围绕示教人布设的摄像头组，用于获取穿戴示教服的示教人的连续视频即穿戴示教服视频；摄像头以有线也可以无线方式接入视频板卡，这些板卡可以在机器人体上，也可以配置在独立于机器人的本地计算机、边缘计算服务器等；具有支持多摄像头的多通道接口模块，对多路视频流进行时间同步采样形成图像序列；

人体姿态精细识别模块，是一组计算机视觉目标识别和图像融合功能算法，运行在机器人主机或本地/边缘计算服务器上，对示教视频采集模块所获取的穿戴示教服视频进行处理，获取精确表征示教人的人体姿态变化过程的人体骨骼关节的时空点位演进序列(多维姿态时空姿态数据)和多维动力学参数；

机器人操作数转换模块，是一组功能软件模块，可运行在机器人主机上也可运行在本地或边缘计算服务器上，根据获人体骨骼关节的时空点位演进序列(多维姿态时空姿态数据)和多维动力学参数，转换为机器人本地操作参数或执行代码；如果是在本地或边缘计算服务器上处理，设置下载工具把机器人本地操作参数或执行代码下载到机器人。

本发明的目的是这样实现的。

本发明基于穿戴示教服视频的人体姿态机器人示教方法及装置，通过获取示教人的示教过程视频，进而通过视频目标识别和视频图像同步融合算法获得人体骨骼关节的时空点位演进序列和多维动力学参数，然后机器人本地操作参数或执行代码，这样通过真人简单示教，机器人能习得动作过程和要领，复现用户个性化的作业任务，从而实现用户无需掌握复杂的编程的情况下，对服务机器人进行个性化操控和使用的发明目的。

附图说明

图1是本发明基于穿戴示教服视频的人体姿态机器人示教方法一种具体实施方式流程图；

图2是示教服一种具体实施方式示意图；

图3是本发明基于穿戴示教服视频的人体姿态机器人示教装置一种具体实施方式示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于穿戴示教服视频的人体姿态机器人示教方法一种具体实施方式流程图

在本实施例中，如图1所示，本发明基于穿戴示教服视频的人体姿态机器人示教方法，其特征在于，包括以下步骤：

步骤S1：穿戴示教服视频获取

示教人穿戴示教服进行示教，采用单目或多目摄像系统获取示教人的示教过程视频，该视频即为穿戴示教服视频。

在本实施例中，如图2所示，示教人穿戴的示教服由能紧贴示教人体表的强弹性面料制成，示教服上紧贴人体肢体关节的部位具有相互区别的渐变不等宽或等宽色的关节色带环，示教服上设置对应关键人体肌肉(肌腱)的连接关节色带环的色带条，用于精细表征示教人的人体骨骼关节运动和肌肉运动形变。同时，采用低成本的单目摄像头或多目摄像头同步拍摄示教人的示教过程视频。

步骤S2：人体姿态精细识别

使用视频目标识别和单目/多目视频图像同步融合算法，依据示教服，获取精确表征示教人的人体姿态变化过程的人体骨骼关节的时空点位演进序列和多维动力学参数。

基于人体形态学的骨骼和肌肉运动规律和原理，建立的多维多自由度时间-空间联动的多维时空坐标系，在此多维时空坐标系中，通过分析视频中色带条和色带环的空间位移和扭曲变化情况，基于人体运动学原理，推演计算示教人动作过程中关节、骨骼和肌肉的几何状态度量，运动力学数学模型表达及其模型参数，由此精细刻画人体姿态演变过程及该过程中人体骨骼刚体和关节柔体、肌肉柔体的状态和形变，进而得到人体骨骼关节的时空点位演进序列和多维动力学参数。

在本实施例中，多维时空坐标系基于人体形态学骨骼系或人体外形中的某一点或一点组作为参照锚点，也可基于示教应用现场工作台或环境的某些不动点构造参考锚点(比如：示教工作台的某个固定不动的物品、示教人的肩关节、肘关节等均可同时作为多维时空坐标系坐标原点锚)；此外，融合人体形态锚点(系)和工作现场锚点(系)的多维时空坐标系，维度为N(N≥3)；关节转动按横剖自由度和纵剖自由度设置2维正交自由运动表征；引入示教过程的穿戴示教服视频采集帧速率F，引入特定示教服务需求中考察的关节数目为M(M≥1)，构成NⅹMⅹ2ⅹF的多维时空坐标系(注：本发明所述的锚点，可理解为在本发明所述的多维时空坐标系中评测人体姿态刚体和柔体运动尺度的人体全局坐标系原点和肩部、髋部等各局部相对坐标系原点)。

穿戴示教视频帧速率F，是一个变量，比如30表示每秒采集30帧图像，可以是相等时间间隔周期采集F帧，也可以根据姿态演进细节快慢采用不等周期采集该F帧图像，体现在时间轴上采样时刻间隔均匀与否。

多维时空坐标系构建的精细刻画人体姿态演进的多维存储模型，多维时空坐标系中，在计算机存储设备中存储涉及视频序列识别所得到的关节柔体的位置、关节角度、速度，骨骼刚体的投影距离，肌肉柔体的角度，速度、投影距离等，这些变量值可以是在所述的时空坐标系中的绝对值或相邻时间序列图像周期的相对值；由数学角度理解，该存储模型是一种多层嵌套的矩阵，其原子元素可以是多维向量，由计算机处理角度，可以是一种多层嵌套的数组结构体或链表结构体，也可以是数据库的数据表形态。

多维动力学参数是由人体形态学原理和人体姿态机理约束的一组表征相关关节柔体、骨骼刚体、肌肉柔体关联关系的线性、非线性、微分混合的方程组，该方程组的变化反映人体姿态的时序演进过程中运动刚体和柔体的关联和约束，所述多维动力学参数可参考人体形态学和人体运动学理论，由示教视频图像序列分析统计提取得到，同时又用于逆向修正示教视频处理过程计算得的不良参数值。

步骤S3：机器人本地操作参数转换，把步骤(2)获得的人体骨骼关节的时空点位演进序列和多维动力学参数，转换为机器人本地操作参数或执行代码。

针对示教机器人的两种典型业务类型，即：姿态孪生和同境同工，分别设计机器人本地操作参数或执行代码。

姿态孪生业务中，机器人本地操作参数转换处理时，不考虑示教人身高体型与机器人体型形态尺寸之差异，仅在机器人动作能力(或称机器人的机械形态操控阈限)约束下，把示教人视频识别得来的人体姿态演进序列和多维动力学参数的存储数据，复现为机器人本地操作数逻辑，并能通过人工或适配机器人的编译中间件转换为机器人可执行的软件代码，此方法适用于示教姿态的机器复现用途。

在同境同工业务中，机器人本地操作参数转换处理时，须考虑示教人身高体型与机器人体型形态尺寸之差异，依据场景工作台和作业对象的不动点做参照系，在机器人动作能力约束下，以完成在示教人相同工作台相同作业对象的作业任务为目标，把示教习得人体姿态演进序列数据和多维动力学参数转换为机器人本地操作数，并能通过人工或适配机器人的编译中间件转换为机器人可执行的软件代码；在机器人所涉及的功能机械部件可变形伸缩的情况，按姿态孪生业务下的机器人本地操作参数转换处理。

示教服，使用可伸缩材料制作而成，可贴身穿戴，紧贴人体肢体关节的部位具有相互区别的渐变不等宽或等宽色的关节色带环，示教服上设置对应关键人体肌肉(肌腱)的连接关节色带环的色带条，用于精细表征示教人的人体骨骼关节运动和肌肉运动形变；

示教视频采集模块，根据应用场景不同，可以是安装在机器人体上的摄像头，也可以是独立于机器人的一个外部摄像头或多个围绕示教人布设的摄像头组，用于获取穿戴示教服的示教人的连续视频即穿戴示教服视频；摄像头以有线也可以无线方式接入视频板卡，这些板卡可以在机器人体上，也可以配置在独立于机器人的本地计算机、边缘计算服务器等；具有支持多摄像头的多通道接口模块，对多路视频流进行时间同步采样形成图像序列；

人体姿态精细识别模块，是一组计算机视觉目标识别和图像融合功能算法，运行在机器人主机或本地/边缘计算服务器上，对示教视频采集模块所获取的穿戴示教服视频进行处理，获取精确表征示教人的人体姿态变化过程的人体骨骼关节的时空点位演进序列(多维姿态时空姿态数据)和多维动力学参数；

机器人操作数转换模块，是一组功能软件模块，可运行在机器人主机上也可运行在本地或边缘计算服务器上，根据获人体骨骼关节的时空点位演进序列(多维姿态时空姿态数据)和多维动力学参数，转换为机器人本地操作参数或执行代码；如果是在本地或边缘计算服务器上处理，设置下载工具把机器人本地操作参数或执行代码(机器人操控参数指令序列)下载到机器人，复现示教作业。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。