一种仿生四足机器人动作模仿的方法与流程

1.本发明涉及四足机器人动作模仿技术领域，特别涉及一种仿生四足机器 人动作模仿的方法。


背景技术：

2.现有技术提供的四足机器人已经取得了巨大的发展，但是当今想要快速 设计一款通用性强的控制器仍然具有不小的挑战且十分费时。通过模仿现实 中的动物来提高机器人的运动能力是一个不错的思路，模仿参考的运动可以 使机器人拥有各种灵活运动的能力，但这些动作要人为的去手动设计控制器 会较为困难。近些年随着强化学习领域的发展，越来越多的学者将强化学习 应用到机器人控制上但是由于仿真环境与物理环境的差异，很多在仿真引擎 中实现的动作比较难以在显示生活中复现。


技术实现要素：

3.本发明提供一种仿生四足机器人动作模仿的方法，提升了四足机器人运 动控制器设计的简便性，并且也提高了机器人的仿生程度。
4.为了实现上述目的，本发明提供以下技术方案：
5.一种仿生四足机器人动作模仿的方法，动作包括普通动作和行走动作， 具体步骤如下：
6.s1、用深度传感器采集的动物视频进行初步的动作数据提取；
7.s2、采用开源姿态跟踪工具leep，对一些关键点进行初步的跟踪，获得 原始运动数据；
8.s3、对原始的运动数据进行滤波和缩放，得到参考运动数据；
9.s4、针对普通动作，将参考运动数据经过动作重映射算法，输出带有运 动学约束的机器人关节角运动命令的动作重映方案；
10.s5、针对行走动作，选择动物行走视频，然后对视频中的动物进行动作 捕捉和提取；
11.s6、通过slip模型提取一些通过动作提取的数据进行定义的参数，使得 机器人的行走步态周期以及前进速度与动物能够相匹配；
12.s7、针对单个周期里的机器人行走轨迹，使用所述动作重映射方案，对 步态轨迹进行优化调整，最后输出与动物相似的行走步态。
13.优选的，所述用深度传感器采集的动物视频进行初步的动作数据提取， 主要获取一些动作行为表达合乎需求的视频图像，以提取有价值的的参考动 作。
14.优选的，所述采用开源姿态跟踪工具leep，可以对一些关键点进行初步 的跟踪，获得原始运动数据，首先创建一个骨架，用于定义想跟踪的点，然 后对一些帧进行标记，训练网络，去预测那些在没有标记过的帧上面的关键 点，最后获得整个视频里关键点的原始运动数据。
15.优选的，所述对原始的运动数据进行滤波和缩放，进行正运动学与逆运 动学分析，建立起关键点坐标和关节角度的联系，得到参考运动数据。
16.优选的，针对普通动作的模仿，在得到参考运动数据之后，经过动作重 映射算法，输出带有运动学约束的机器人关节角运动命令的动作重映方案。
17.优选的，所述slip模型是对四足机器人行走模型的简化，将行走问题分 为三个独立的问题。通过对这三个独立的问题进行分析，提取一些可以通过 动作提取的数据进行定义的参数，最后使机器人的行走步态周期以及前进速 度与动物能够相匹配。
18.通过实施以上技术方案，具有以下技术效果：本发明使用从视频中提取 动作数据，这种方法相比于从活体动物身上提取运动数据更为方便，快捷。 原始数据集更容易获得。本发明是基于非线性优化来实现动作重映射，相比 于已有的一些强化学习的方法，理论依据更为可靠，系统的鲁棒性更高，在 实际系统上部署也更为方便。采用的数据预处理方法有效地解决了数据存在 一定的噪声问题。通过将动作区分为普通动作和行走动作，有效地解决了只 依靠运动学四足机器人行走不平稳地问题。通过动作重映射、非线性优化等 方法，有效地实现了四足机器人对动物动作的模仿，减少了控制器的开发时 间。
附图说明
19.图1是本发明的提供的一种仿生四足机器人动作模仿的方法流程图；
20.图2是本发明的普通动作模仿流程图；
21.图3是本发明的行走动作的模仿流程图；
22.图4是本发明中非线性优化项中指数罚函数的示意图；
23.图5是本发明中非线性优化项中使机器人动作和动物动作尽可能相似的 函数的示意图，其中，中间项为两种动作误差尽可能小的项；两边为动作关 节角极限限制项；
24.图6是本发明中用到的弹簧倒立摆模型的示意图；
25.图7是本发明中在摆动相中动作模仿的示意图，其中，中间为和普通动 作类似的非线性优化函数，两端为位置约束。
具体实施方式
26.为了更好的理解本发明的技术方案，下面结合附图详细描述本发明提供 的实施例。
27.实施例一
28.如图1所示，可以理解，本实施例提供的一种仿生四足机器人动作模仿 的方法，动作包括普通动作和行走动作，具体步骤如下：
29.s1、用深度传感器采集的动物视频进行初步的动作数据提取；
30.s2、采用开源姿态跟踪工具leep，对一些关键点进行初步的跟踪，获得 原始运动数据；
31.s3、对原始的运动数据进行滤波和缩放，得到参考运动数据；
32.s4、针对普通动作，将参考运动数据经过动作重映射算法，输出带有运 动学约束的机器人关节角运动命令的动作重映方案；
33.s5、针对行走动作，选择动物行走视频，然后对视频中的动物进行动作 捕捉和提
取；
34.s6、通过slip模型提取一些通过动作提取的数据进行定义的参数，使得 机器人的行走步态周期以及前进速度与动物能够相匹配；
35.s7、针对单个周期里的机器人行走轨迹，使用所述动作重映射方案，对 步态轨迹进行优化调整，最后输出与动物相似的行走步态。
36.在本实施例中，进行初步的动作数据提取时，主要获取一些动作行为表 达尽量合乎需求的视频图像，方便提取有价值的的参考动作。比如行走，招 手、摇头等。其次，在选取要模仿的视频前，要确定该视频合乎需求，尽量 保证在拍摄面能获得最充足的信息。采用开源姿态跟踪工具leep，对一些关 键点进行初步的跟踪，获得原始运动数据。首先创建一个骨架，用于定义想 跟踪的点，然后对一些帧进行标记，训练网络，去预测那些在没有标记过的 帧上面的关键点，最后获得整个视频里关键点的原始运动数据。由于动物和 机器人在自由度，几何大小方面有许多差异，对于原始的运动数据，需要对 其进行滤波和缩放。想要精准的对机器人进行控制，就必须知道关节角的运 动数据。因此，要对机器人进行正运动学与逆运动学分析，建立起关键点坐 标和关节角度的联系，可以得到参考运动数据，可以作为运动重映射的输 入。
37.在本实施例中，动作的种类需分为普通动作和行走动作。对于普通动作 的模仿，这个模仿问题就被转化成优化问题。优化的目标是使机器人执行的 动作尽可能和动物的动作相似。机器人的物理限制则是优化问题的约束。本 文中构建了要优化的目标函数q(θ):
[0038][0039]
其中θ表示输出的运动，qc(θ)用于优化robot的轨迹末端位置，q
l
(θ)为 指数罚函数，用于限制robot关节角位置，σc和σ
l
为两个子函数的权重系数。
[0040]
qc(θ)子函数用于将动物的末端轨迹和机器人末端轨迹之间的误差尽可 能的减小。计算方法如下：
[0041][0042]
其中，i代表第i个时间，代表第i个时间时机器人上的末端轨迹位 置，代表第i个时间动物参考运动的末端轨迹位置。由于qc(θ)是关节角θ的 函数，而末端轨迹位置一般由此点的三维坐标表示，因此，需要将关节角θ替 换成末端轨迹位置来表示，于是，可以利用机器人的前向运动学公式将关节 角θ转换为末端坐标点。最终qc(θ)子函数可以写成
[0043][0044]
其中为将关节角转换为θ转换为末端位置坐标的函数。
[0045]
由于机器人和人相比，必然存在着关节角运动范围的差异，因此，必须 要对机器人的关节角运动范围加以约束。由于关节角约束的存在，机器人的 运动必然会和动物的运动存在差异。因此引入了指数罚函数qi(θ)，用于将机 器人的关节角限制在其可运动范围
内。其计算方法为
[0046][0047]
其中θ
max
和θ
min
代表关节角的最大值和最小值，k用来控制罚函数的约束 程度。如图4所示，当θ
max
为-60度，θ
min
为-90度，k取20时，qi(θ)随θi的 变化曲线图。从图中很明显可以看出，当θi接近关节角极限位置时，qi(θ)会突 然增大，越接近极限位置，增大的幅度越大。
[0048]
最后这个问题就变成了求解目标函数q(e)最小值的非线性最优化问题，目 前已经存在很多的求解方法和工具可以使用。如图7所示，为目标优化函数 q(e)的图解示意，其中，点划线为参考运动数据，实线为机器人的真实运动数 据。在关节角极限范围之内时，主要由qc(θ)子函数施加约束，当机器人运动 关节接近极限位置时，会由qi(θ)施加一种“隐形的推力”。
[0049]
在本实施例中，行走动作的模仿策略要比普通动作的模仿更为复杂，因 为它需要考虑到机器人行走时的动力学特性。对此，本实施例设计了一个针 对行走动作模仿的框架。首先，选择合适的动物行走视频(关键点无遮挡)， 然后对视频中的动物进行动作捕捉。主要对动物身上一些重要的点进行捕捉， 例如髋关节处和脚，是一定需要提取的点，因为这几个点直接关系到动物行 走模式的描述。行走动作模仿策略中，应用了经典的slip模型。所述slip 模型是对四足机器人行走模型的简化，将行走问题分为三个独立的小问题。 可以通过对这三个独立的小问题进行分析，提取一些可以通过动作提取的数 据进行定义的参数，最后使机器人的行走步态周期以及前进速度与动物能够 相匹配。为了保证行走动作模仿的相似性，这三项独立的控制策略哪一项对 腿部的运动模式影响最大是要考虑的。如图6所示，通过一些简单的观察可 知，前进速度的控制是首要考虑的，其公式中，前行速度v，站立阶段的持续 时间t，期望的前进速度vd都是影响运动模式的要素。
[0050]
在对动物行走的数据进行分析时，拥有的已知量仅为一组时间步以及每 个时间步对应的关键点空间位置坐标。四足动物行走的一个关键参数为腿的 飞行阶段占整个周期的比率，由于动物的行走参数仅从视频中提取，因此， 算法很难自动判断脚尖是否处于触地状态，对此，采用人工标注的方法解决 这个问题，在每条腿刚触地或是刚离地时，手动设置一个参数给以标记。但 是，对于行走动作的模仿，仅考虑机器人行走的稳定，行走的速度，站立阶 段的持续时间t，并不能较好地保证机器人模仿动物行走的高相似度。而机器 人单腿在站立阶段时，需要调整身体位姿，因此不适合去模仿动作。而机器 人单腿在飞行阶段时，只有刚离地和刚触地两个时间点的角度约束，其他时 间没有约束，因此可以对单腿的飞行阶段进行动作模仿。动作模仿问题可以 转化为非线性优化问题，于是单腿的飞行阶段模仿也是一个非线性优化问题， 与普通动作模仿不同的是，增加了初始时间和终末时间点的固定位置约束， 可以将其作为线性约束加入非线性优化方程中。
[0051]
单腿在摆动阶段的行走模仿示意图如图7所示，其中a为脚尖即将离地 时刻，b为脚尖刚触地时刻。因此，可以建立这一阶段的优化函数qw(θ)的表 达式：
[0052]qw
(θ)＝σcqc(θ)+σ
lql
(θ)
ꢀꢀꢀ
(18)
[0053][0054][0055]
其中有约束：θ
initial
＝θa,θ
final
＝θb.
[0056]
以上对本发明实施例所提供的一种仿生四足机器人动作模仿的方法进行 了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具 体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理 解为对本发明的限制。