一种用于外肢体抓握控制的人体技能学习方法及系统

1.本发明属于虚拟现实相关技术领域，尤其涉及一种用于外肢体抓握控制的人体技能学习方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.外肢体机器人是一种新型的可穿戴人体辅助设备，可以通过和人体的互助协作来提高人体活动、感知、操作等能力。它融合了可穿戴机器人和协作机器人的优点，可以依靠独立于人体四肢的结构，大大增强人体运动范围和能力，同时突破活动范围空间的限制，可以跟随人体移动。利用外肢体机器人来代替人类生产生活中的一些简单、重复的工作近年来越来越广泛地得到应用，例如汽车装配、食品包装和医疗辅助等等。
4.示教学习(learning from demonstration，lfd)是目前被广泛使用的一种简化机器人学习策略的有效方法，特别对于计算机编程能力不是很强的用户来说，它是十分重要的。示教学习能够极大地简化程序编写的复杂程度，使机器人在模仿人类行为的过程中很好地获得所期望的任务表现，其关键就是对人体运动轨迹进行处理、找到合适的方法迁移至机器人系统，并建立良好的控制模型。
5.而如何有效的得到人体运动轨迹是示教学习的首要任务，目前主要有以下几种方法：基于被动、主动标记和无标记系统的光学检测，测量线性加速度和角速度的惯性测量单元，依靠机械设备测量四肢的相对关节角度以及利用磁传感器和声波传感器等。使用惯性测量单元相比光学检测，成本低，没有遮挡问题，使用前不需要搭建复杂的基础设备；相比机械设备，不受设备的刚性约束；相比磁传感器等敏感元件，设备复杂程度低，不受温湿度等外界环境干扰。因此惯性测量单元往往被选择作为记录人体运动轨迹的装置，但大部分使用方式是对每个关节进行单独测量并处理，我们希望找到一种简化使用的方式。同时当前的示教学习范式大多只是由人的主观感受主导，缺乏与环境交互的反馈，找到合适的反馈调节手段能够更好的使人们进行技能示范。


技术实现要素：

6.为了解决上述问题，本发明提供一种用于外肢体抓握控制的人体技能学习方法及系统，让用户利用数据手套来进行示教学习，将人类抓握技能迁移到外肢体机器人。使用多种传感器采集数据，利用触觉信息结合振动反馈来进行调节，实现更加拟人化的抓握技能学习
7.为了实现上述目的，本发明的第一个方面提供，采用如下技术方案：一种用于外肢体抓握控制的人体技能学习方法，包括：
8.s1：获取人体手臂抓握过程中的姿态信息、运动信息并生成运动轨迹；
9.s2：基于示教学习建立人体手臂运动与外肢体运动的控制模型，通过控制模型，使
外肢体模仿人体手臂的运动；
10.s3：获取外肢体抓握过程中的触觉信息并反馈给人体手臂，人体手臂根据外肢体反馈的触觉信息进行姿态的调节；
11.s4：重复s1-s3，直至外肢体完成稳定的抓握；
12.s5：对人体手臂抓握过程中产生的多条运动轨迹进行学习得到学习轨迹，将学习轨迹及对应的姿态信息发送给外肢体，使外肢体能够适应环境变换。
13.进一步的，在所述s1中，通过数据手套获取人体手臂在抓握过程中的运动信息，具体包括：
14.设置在数据手套五指弯曲侧的弯曲度传感器，用于获取人体手臂运动中的弯曲度信息；
15.设置在数据手套背面的惯性测量单元，用于获取人体手臂运动中的空间运动信息。
16.进一步的，所述数据手套还包括设置在数据手套五指指尖处的振动电机，所述振动电机用于产生外肢体在抓握过程中的触觉反馈。
17.进一步的，在所述s2中，根据弯曲传感器所获取的包括最大和最小弯曲度在内的全部测量值映射到[0,1]的区间，将外肢体末端手指关节位置保持竖直和完全弯曲的姿态全部映射至[0,1]的区间，基于同样状态的表达建立人体手臂弯曲度和外肢体弯曲度的对应关系，外肢体根据所述对应关系模仿人体手臂的弯曲度；
[0018]
建立惯性测量单元测量的空间运动数据与外肢体末端空间运动的映射关系，通过学习比例调节机制调节映射的比例，外肢体通过学习比例调节的映射关系模仿人体手臂的空间运动。
[0019]
进一步的，将佩戴数据手套保持水平稳定时刻作为运动示范的开始时刻，从开始时刻对相等时间间隔内的位置坐标x、y、z轴的加速度进行积分得到位移变化量δx，对方向坐标φ、θ、γ轴的角速度进行积分得到角度变化量δa；
[0020]
将δx、δa分别对应外肢体末端相等时间间隔内，在笛卡尔空间中坐标的位置变化量δxr、方向变化量δar，学习比例调节为：
[0021]
δxr＝αδx
[0022]
δar＝βδa
[0023]
其中，α、β∈[0,n]，n为常数。
[0024]
进一步的，在所述s3中具体包括：
[0025]
基于外肢体末端测量的接触力和数据手套指尖的振动电机的振动程度建立对应关系；
[0026]
分别采集人体手臂抓握物体时五指的接触力，将其作为外肢体接触力阈值；
[0027]
判断外肢体末端测量的接触力是否超过阈值；
[0028]
若外肢体末端测量的接触力超过阈值，根据上述所建立的对应关系控制振动电机的振动程度；
[0029]
人体手臂根据振动电机的振动程度调整手指姿态。
[0030]
进一步的，在所述s5中，基于概率运动原语对人体手臂抓握过程中产生的多条运动轨迹进行学习得到学习轨迹发送给外肢体，具体包括：
[0031]
利用基函数矩阵和权向量表示演示轨迹的线性模型；
[0032]
根据线性模型利用最小二乘法计算权向量；
[0033]
根据权向量计算得到轨迹概率分布；
[0034]
结合外部环境中的变量信息得到环境变量和权重的联合分布；
[0035]
基于环境变量和权重的联合分布计算环境变量的概率分布，根据环境变量的概率分析得到期望轨迹；
[0036]
通过将得到的期望轨迹和演示轨迹进行比较，相似度最大的期望轨迹为外肢体的学习轨迹。
[0037]
本发明的第二个方面提供一种用于外肢体抓握控制的人体技能学习系统，包括：
[0038]
数据手套，其用于获取人体手臂的运动信息；
[0039]
外肢体，具有多自由度的机械手，所述机械手五指的末端分别设置有传感器，用于检测触觉信息；
[0040]
反馈模块，其用于根据外肢体的机械手的触觉信息反馈至人体手臂，人体手臂根据外肢体的触觉反馈信息调整人体手臂的姿态；
[0041]
控制模块，其用于基于示教学习建立人体手臂与外肢体的控制模型，通过控制模型，使外肢体模仿人体手臂的运动及姿态；
[0042]
学习模块，其用于对人体手臂抓握过程中产生的多条运动轨迹进行学习得到学习轨迹发送给外肢体，使外肢体能够适应环境变换。
[0043]
本发明的第三个方面提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
[0044]
本发明的第四个方面提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
[0045]
本发明的有益效果是：
[0046]
本发明的方法通过让用户利用数据手套来进行示教学习，将人类抓握技能迁移到外肢体机器人，使用多种传感器采集数据，利用触觉信息结合振动反馈来进行调节，实现更加拟人化的抓握技能学习，为日后机器人学习策略的发展提供一个更好的建议。
附图说明
[0047]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0048]
图1是外肢体整体的学习策略示意图；
[0049]
图2是示教流程示意图；
[0050]
图3是外肢体控制策略流程示意图；
[0051]
图4(a)是数据手套背面示意图；
[0052]
图4(b)是数据手套正面示意图；
[0053]
图4(c)分别是触觉值-时间示意图和振动程度-时间示意图；
[0054]
图5是本发明的人体手臂与外肢体的环境设置示意图。
具体实施方式
[0055]
下面结合附图与实施例对本发明作进一步说明。
[0056]
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0057]
本发明的整体构思：
[0058]
首先用户佩戴数据手套，早保持水平稳定后开始采集数据并发送给外肢体，当人手在空间发生运动时，外肢体也随着运动，当外肢体的末端接触到物体时触觉信息进行反馈，人手指尖的振动电机根据外肢体的触觉反馈产生相应的振动，使的人手根据振动反馈做出相应的姿态调节，最终实现外肢体模仿人体完成抓握的全过程。
[0059]
实施例一
[0060]
如图1-5所示，本实施例提供一种用于外肢体抓握控制的人体技能学习方法，包括以下步骤：
[0061]
s1：获取人体手臂抓握过程中的姿态信息、运动信息并生成运动轨迹；
[0062]
s2：基于示教学习建立人体手臂运动与外肢体运动的控制模型，通过控制模型，使外肢体模仿人体手臂的运动；
[0063]
s3：获取外肢体抓握过程中的触觉信息并反馈给人体手臂，人体手臂根据外肢体反馈的触觉信息进行姿态的调节；
[0064]
s4：重复s1-s3，直至外肢体完成稳定的抓握；
[0065]
s5：对人体手臂抓握过程中产生的多条运动轨迹进行学习得到学习轨迹，将学习轨迹及对应的姿态信息发送给外肢体，使外肢体能够适应环境变换。
[0066]
在所述s1中，为有效得到人体抓握的运动轨迹，设计了一款满足要求的数据手套，如图4(a)-图4(b)所示，其中a为指尖张贴的振动电机，b为五指侧张贴的弯曲度传感器，c为背面放置的imu，d为外肢体机械臂，e为机械臂末端的五指手；1代表外肢体机械臂末端的笛卡尔坐标信息，2代表五指手末端的触觉信息，3代表五指手的姿态信息。
[0067]
在本实施例中，在数据手套的五指弯曲侧分别张贴弯曲度传感器，以测量人手在运动过程中的弯曲度信息。
[0068]
在数据手套的五指指尖处张贴振动电机，通过外肢体运动过程中接触力的大小产生振动，使示教者根据振动程度做出相应的姿态改变。
[0069]
在数据手套的背面设置一个惯性测量单元(inertial measurement unit，imu)，惯性测量单元用于测量并记录人手在运动过程中的空间运动信息，空间运动信息包括加速度、角速度和角度信息。
[0070]
在所述s2中，外肢体对人体运动轨迹的学习，利用数据手套测量的数据作为学习的输入，具体包括人手弯曲度信息的学习和人体手臂空间运动信息的学习。
[0071]
对于人手弯曲度的学习，将弯曲度传感器的测量值包括最大值和最小值在内全部映射至[0,1]区间，同样的将外肢体末端手指关节位置保持竖直和完全弯曲的姿态数据全部映射在[0,1]区间，人手的弯曲程度和外肢体的弯曲程度在具有同样的状态表达后，即可将人手的弯曲状态映射到外肢体末端。
[0072]
对于人体手臂空间运动信息的学习，假设人手在合适的范围内运动可以概括为外
肢体完成抓握学习的所有运动空间：
[0073]
首先将人手佩戴数据手套后保持水平稳定的时刻作为运动示范的开始时刻，从开始时刻开始对相等时间间隔内的位置坐标x、y、z轴的加速度进行积分得到位移变化量δx，对方向坐标φ、θ、γ轴的角速度进行积分得到角度变化量δa。δx、δa分别对应外肢体末端相等时间间隔内在笛卡尔空间中坐标的位置变化量δxr、方向变化量δar。
[0074]
利用学习比例调节对外肢体的位置变化量δxr、方向变化量δar进行比例的调节：
[0075]
δxr＝αδx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0076]
δar＝βδa
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0077]
其中，α、β∈[0,n]，n为常数，具体数值由用户根据实际情况进行选取。
[0078]
对于不同的需求中α、β可选取不同的值：在运动前中期，需要人手在合适范围内运动而外肢体在较大的范围内运动，α、β可都选取较大的值；在运动后期，需要外肢体在较小的范围内运动，α、β可都选取较小的值；在运动过程中，人手运动可能会到达一些令用户继续运动不变的位置，若水平前伸不便，则可以增大α，若向一侧倾斜不便，则可以增大β等。
[0079]
如图2和图4(c)所示，在所述s3中，通过获得触觉反馈让外肢体的抓握演示有一个更好的效果，通过找到外肢体末端接触力的大小与数据手套电机振动强度合适的对应关系，使人手可以根据振动反馈实时的调整手臂姿态，使的外肢体能够实现更稳定的抓握。
[0080]
在本实施例中，首先采集人手抓握物体时五指各接触力并记录其中i∈[1,5]代表5个手指，然后将其作为外肢体接触的阈值，将外肢体检测的接触力的力值与手套指尖的振动电机的振动程度建立一个对应关系，如下式所示：
[0081][0082]
其中，为外肢体检测接触力力值，α是比例增益项，其值为常数，vi为振动程度。
[0083]
当产生接触力后，振动开始，检测的力值与阈值偏差较大时，人手感受的振动度增大，进而人手做出姿态的相应的调节以减小振动，当振动度微小甚至为0时，则说明已完成稳定的抓取，单次示教完成，然后将所有的示教后的轨迹进行学习后，根据选择的环境变量进行复现。
[0084]
如图3和图5所示，4为7do-f的外肢体机械臂，5为设计的数据手套，6为待抓握的圆柱形物体。在所述s5中，利用promps概率运动原语来对记录下来的人手多条轨迹进行学习，每条轨迹的时间步长用t表示，记为运动时间。
[0085]
s5-1：利用基函数矩阵φ和权向量ω来表示演示轨迹τ的线性模型：
[0086]
τ＝φω+ε
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0087]
其中，ε为轨迹噪声，轨迹噪声ε为均值为0且方差为δ2的高斯噪声。
[0088]
基函数φ由m个基函数组成，使用归一化高斯函数作为基函数，第i个基函数用高斯函数的中心和方差表示如下：
[0089]
[0090][0091]
其中，bi为所定义的函数，t为时间步长，ci为高斯函数的中心，h为高斯函数的方差。
[0092]
s5-2：使用最小二乘法计算权向量ω：
[0093]
ω＝(φ
t
φ)-1
φ
t
τ
ꢀꢀꢀ
(7)
[0094]
权向量ω上的概率分布p(ω)也是高斯分布：
[0095]
p(ω)＝n(μ
ω
,σw)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0096]
其中，μ
ω
为平均值，σ
ω
为方差。
[0097]
s5-3：轨迹分布p(τ)是通过将权向量ω边缘化来计算得到的：
[0098]
p(τ)＝fp(τ|ω)p(ω)dω
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0099]
因为p(ω)是高斯分布，p(τ)可简化为下式：
[0100]
p(τ)＝n(μ
τ
,σ
τ
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0101]
其中，μ
τ
＝φμ
ω
，σ
τ
＝δ2+φσ
ω
φ
t
。
[0102]
在本实施例中希望学习结果能够适应外部环境为变量的任务，这样的环境变量可以是物体的多种属性，如物体的重量、物体的位置等，用到的方法是学习环境和权重的联合分布p(c,ω)，c定义为环境变量：
[0103]
p(c,w)＝n(μn,σn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0104]
其中，
[0105][0106]
μc为环境变量的高斯分布的平均值，σn为环境和权重联合分布的方差，其中的σ
ωω
、σ
ωc
、σ
cω
、σ
cc
分别为下标所示相乘矩阵的方差。
[0107]
对于某一环境变量c，可以计算概率分布为：
[0108]
p(ω|c)＝n(μ
ω|c
,σ
ω|c
)
ꢀꢀꢀꢀꢀꢀꢀ
(12)
[0109]
其中，
[0110]
然后求解以下方程计算条件概率分布：
[0111]
p(τ|c)＝n(μ
τ|c
,σ
τ|c
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0112]
其中，μ
τ|c
＝φμ
ω|c
[0113]
σ
τ|c
＝δ2+φσ
ω|c
φ
t
[0114]
φ
t
为基函数矩阵φ的转置，这样得到的均值μ
τ|c
的值就是期望轨迹。
[0115]
通过上述方案，可以从相同环境的多条演示轨迹中得到最优的学习轨迹，同时也可以适应当环境信息发生变化时，学习能够用于新环境的轨迹。
[0116]
手部的抓取姿态由学习得到的最优轨迹μ
τ|c
与演示轨迹τ做相似度比较，寻找相似度最大的轨迹的演示姿态作为本次学习轨迹的对应抓取姿态，比较方法为：
[0117][0118]
其中，n为轨迹长度，αk、βk分别为μ
τ|c
和τ上的点。
[0119]
将所得到的最相似的轨迹对应的抓握姿态作为新轨迹的抓握姿态，最终将轨迹μ
τ|c
与抓握姿态xg发送至外肢体，使得外肢体完成仿人抓取。
[0120]
本发明让用户利用数据手套来进行示教学习，将人类抓握技能迁移到外肢体机器人。使用多种传感器采集数据，利用触觉信息结合振动反馈来进行调节，实现更加拟人化的抓握技能学习。
[0121]
实施例二
[0122]
本实施例提供了一种用于外肢体抓握控制的人体技能学习系统，包括：
[0123]
数据手套，其用于获取人体手臂的运动信息；
[0124]
外肢体，具有多自由度的机械手，所述机械手五指的末端分别设置有传感器，用于检测触觉信息；
[0125]
反馈模块，其用于根据外肢体的机械手的触觉信息反馈至人体手臂，人体手臂根据外肢体的触觉反馈信息调整人体手臂的姿态；
[0126]
控制模块，其用于基于示教学习建立人体手臂与外肢体的控制模型，通过控制模型，使外肢体模仿人体手臂的运动及姿态；
[0127]
学习模块，其用于对人体手臂抓握过程中产生的多条运动轨迹进行学习得到学习轨迹发送给外肢体，使外肢体能够适应环境变换。
[0128]
实施例三
[0129]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的一种用于外肢体抓握控制的人体技能学习方法中的步骤。
[0130]
实施例四
[0131]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的一种用于外肢体抓握控制的人体技能学习的步骤。
[0132]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0133]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0134]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本发明的保护范围之内。