一种机器人的视觉跟随控制方法及机器人的制作方法
【专利摘要】本发明涉及一种机器人的视觉跟随控制方法及机器人，传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元；数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。本发明可以快速识别跟随目标，完成对多人环境中跟随目标的有效辨识，在跟随过程中根据跟随目标的位置变化迅速做出反应，适应绝大多数的商用应用场景。
【专利说明】
一种机器人的视觉跟随控制方法及机器人
技术领域
[0001]本发明涉及机器人领域，特别涉及一种机器人的视觉跟随控制方法及机器人。
【背景技术】
[0002]随着机器人相关技术不断在生产生活领域的应用，人们对机器人的交互功能需求越来越高，机器人跟随技术是人机交互领域的重要组成部分，机器人跟随技术在机器人家用、商用以及军用多个领域都有重要的作用。目前的机器人跟随技术大部分存在两种缺陷，一是无法在多人环境下实现目标跟随，二手在跟随过程中无法与人进行有效的动作交互，本发明就是在这样的背景下诞生的，实现复杂环境跟随并为用户提供友好的跟随交互。
【发明内容】
[0003]本发明的目的在于提供一种机器人的视觉跟随控制方法及机器人，解决机器人应用过程中的跟随问题，重点解决多人环境下的目标跟随以及目标跟随过程中的动作识别问题。
[0004]本发明提供了一种机器人的视觉跟随控制方法，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元，所述控制方法包括:
[0005]步骤一:传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元；
[0006]步骤二:数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；
[0007]步骤三:运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。
[0008]步骤一中，传感器检测单元使用景深摄像头通过景深红外发射装置和接受装置生成红外线光编码图，最后算出深度图，通过深度图可以获得人物影像，人物骨架。
[0009]步骤二中包括目标位置，所述目标位置跟踪中需要进行目标识别，根据识别出来的人物进行编号，并对人物的骨骼比例进行记录。
[0010]步骤二中在完成人物识别之后根据人物的深度图像不断通过加权质心算法计算跟踪目标的质心，根据质心判断人物目标的位置变化，得到目标质心之后，转化为真实世界坐标系，计算目标距离机器人的距离和偏移角度，完成跟随目标位置的跟踪。
[0011 ]步骤二中包括目标动作识别，所述目标动作识别采用openni手势库和nite骨架相结合，可以识别目标动作，根据识别出来的动作获取执行命令。
[0012]步骤三中机器人根据跟随目标的距离和角度确定是否需要进行调整，如果偏离角度大于设定角度或者距离大于设定的跟随距离，就进行跟随。
[0013]步骤三中跟随开始前会利用通过深度图去生成环境路径地图进行路径规划，动态路径规划过程中会根据机器人的可行半径进行可行目标点搜索，如果没有可行路径控制机器人就保持静止，得到可行路径控制机器人就会根据目标的位置进行跟踪，并根据目标的位置变化不断调整运动轨迹。
[0014]步骤三中机器人根据用户的动作完成相应的操作，并在跟随过程中良好的交互。
[0015]一种具有上述控制方法的机器人。
[0016]本发明所述控制方法及机器人可以快速识别跟随目标，并可以完成对多人环境中跟随目标的有效辨识，在跟随过程中根据跟随目标的位置变化迅速做出反应，并可以根据用户的手势做出交互响应，实现了机器人复杂环境的跟随交互，能适应绝大多数的商用应用场景。
【附图说明】
[0017]图1是本发明所述控制方法流程图
【具体实施方式】
[0018]将结合附图描述根据本发明的恒压涨紧装置和履带式机器人的【具体实施方式】。下面的详细描述和附图用于示例性地说明本发明的原理，本发明不限于所描述的优选实施例，本发明的范围由权利要求书限定。
[0019]本发明所述一种机器人的视觉跟随控制方法，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元，如图1所示，所述控制方法包括:
[0020]步骤一:传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元;该种方法操作简单，获取的数据信息准确可靠。
[0021]步骤二:数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；
[0022]步骤三:运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。
[0023]步骤一中，传感器检测单元使用景深摄像头通过景深红外发射装置和接受装置生成红外线光编码图，最后算出深度图，通过深度图可以获得人物影像，人物骨架。景深摄像头使用xt1n通过景深红外发射和接受装置生成红外线光编码图，最后算出深度图，深度图通过openni和nite加工后可以获得人物影像，人物骨架。
[0024]步骤二中包括目标位置，所述目标位置跟踪中需要进行目标识别，根据识别出来的人物进行编号，并对人物的骨骼比例进行记录。目标位置跟踪首先需要进行目标识别，根据openni识别出来的人物进行编号，并对人物的骨骼比例进行记录，可以做到多人物环境中的人物目标区分。在跟踪目标从机器人视野消失和返回后可以通过骨骼比例比对继续进行目标跟踪，保证在多人环境中的稳定性，解决了大部分机器人视野受限后无法继续跟随的问题。
[0025]在完成人物识别之后根据人物的深度图像不断通过加权质心算法计算跟踪目标的质心，根据质心判断人物目标的位置变化，得到目标质心之后，转化为真实世界坐标系，计算目标距离机器人的距离和偏移角度，完成跟随目标位置的跟踪。目标动作识别采用openni手势库和nite骨架相结合，可以识别目标动作，根据识别出来的动作获取执行命令。可以识别目标抬手，挥手等动作以及众多的姿势识别，根据识别出来的动作传输给运动执行部分进行相应的处理。
[0026]步骤三中机器人根据跟随目标的距离和角度确定是否需要进行调整，如果偏离角度大于设定角度或者距离大于设定的跟随距离，就进行跟随。跟随开始前会利用通过深度图去生成环境路径地图进行路径规划，动态路径规划过程中会根据机器人的可行半径进行可行目标点搜索，如果没有可行路径控制机器人就保持静止，得到可行路径控制机器人就会根据目标的位置进行跟踪，并根据目标的位置变化不断调整运动轨迹。机器人根据用户的动作完成相应的操作，并在跟随过程中良好的交互。机器人跟随过程中需要的运动指令分为左转、右转、向前走、向左前走、向右前走等命令，运动指令可以控制机器人运动的具体时间和距离。
[0027]一种具有上述控制方法的机器人，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元:
[0028]所述传感器检测单元中，使用景深摄像头，传感器的景深摄像头使用xt1n通过景深红外发射和接受装置生成红外线光编码图，最后算出深度图，深度图通过openni和nite加工后可以获得人物影像，人物骨架。
[0029]所述数据处理控制单元中，数据处理层要完成目标位置的跟踪和目标动作的识别。目标位置跟踪首先需要进行目标识别，根据openni识别出来的人物进行编号，并对人物的骨骼比例进行记录，可以做到多人物环境中的人物目标区分。在跟踪目标从机器人视野消失和返回后可以通过骨骼比例比对继续进行目标跟踪，保证在多人环境中的稳定性，解决了大部分机器人视野受限后无法继续跟随的问题。在完成人物识别之后需要根据人物的深度图像不断通过加权质心算法计算跟踪目标的质心，根据质心判断人物目标的位置变化。得到目标质心之后，转化为真实世界坐标系，计算目标距离机器人的距离和偏移角度，完成跟随目标位置的跟踪。目标动作识别部分采用openni手势库和nite骨架相结合，可以识别目标抬手，挥手等动作以及众多的姿势识别，根据识别出来的动作传输给运动执行单元进行相应的处理。
[0030]所述运动执行单元:根据数据处理层得到的人物位置信息和用户动作对机器人进行运动指令控制。机器人跟随过程中需要的运动指令分为左转、右转、向欠揍、向左前走、向右前走等命令，运动指令可以控制机器人运动的具体时间和距离。运动机器人首先会根据跟随目标的距离和角度是否需要进行调整，如果偏离角度大于10度或者距离大于设定的跟随距离，就进行跟随。跟随开始前会利用通过深度图去生成环境路径地图进行路径规划，动态路径规划过程中会根据机器人的可行半径进行可行目标点搜索，如果没有可行路径机器人就静止，得到可行路径的话机器人就会根据目标的位置进行跟踪，并根据目标的位置变化不断调整运动轨迹。机器人的运动层获取到数据处理层发来的用户动作识别，根据用户的动作可以完成运动的开启、停止、方向调整、速度调整等操作，提供跟随过程中良好的交互。
[0031]如前所述，尽管说明中已经参考附图对本发明的示例性实施例进行了说明，但是本发明不限于上述各【具体实施方式】，还可以有许多其他实施例方式，本发明的范围应当由权利要求书及其等同含义来限定。
【主权项】
1.一种机器人的视觉跟随控制方法，其特征在于，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元，所述控制方法包括: 步骤一:传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元； 步骤二:数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令； 步骤三:运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。2.根据权利要求1所述的一种机器人的视觉跟随控制方法，其特征在于:步骤一中，传感器检测单元使用景深摄像头通过景深红外发射装置和接受装置生成红外线光编码图，最后算出深度图，通过深度图可以获得人物影像，人物骨架。3.根据权利要求1所述的一种机器人的视觉跟随控制方法，其特征在于:步骤二中包括目标位置，所述目标位置跟踪中需要进行目标识别，根据识别出来的人物进行编号，并对人物的骨骼比例进行记录。4.根据权利要求3所述的一种机器人的视觉跟随控制方法，其特征在于:步骤二中在完成人物识别之后根据人物的深度图像不断通过加权质心算法计算跟踪目标的质心，根据质心判断人物目标的位置变化，得到目标质心之后，转化为真实世界坐标系，计算目标距离机器人的距离和偏移角度，完成跟随目标位置的跟踪。5.根据权利要求3所述的一种机器人的视觉跟随控制方法，其特征在于:步骤二中包括目标动作识别，所述目标动作识别采用openni手势库和nite骨架相结合，可以识别目标动作，根据识别出来的动作获取执行命令。6.根据权利要求1所述的一种机器人的视觉跟随控制方法，其特征在于:步骤三中机器人根据跟随目标的距离和角度确定是否需要进行调整，如果偏离角度大于设定角度或者距离大于设定的跟随距离，就进行跟随。7.根据权利要求6所述的一种机器人的视觉跟随控制方法，其特征在于:步骤三中跟随开始前会利用通过深度图去生成环境路径地图进行路径规划，动态路径规划过程中会根据机器人的可行半径进行可行目标点搜索，如果没有可行路径控制机器人就保持静止，得到可行路径控制机器人就会根据目标的位置进行跟踪，并根据目标的位置变化不断调整运动轨迹。8.根据权利要求6所述的一种机器人的视觉跟随控制方法，其特征在于:步骤三中机器人根据用户的动作完成相应的操作，并在跟随过程中良好的交互。9.一种具有权利要求1-8任一所述控制方法的机器人。
【文档编号】G05D1/02GK105955251SQ201610136001
【公开日】2016年9月21日
【申请日】2016年3月11日
【发明人】王运志
【申请人】北京克路德人工智能科技有限公司