结合多传感器外骨骼助力系统及其检测助力方法与流程

1.本发明涉及机器人外骨骼技术领域，尤其涉及结合多传感器外骨骼助力系统及其检测助力方法。


背景技术：

2.机器人外骨骼助力目前已经运动在多个领域上，但是如何准确的识别人体的步态，并根据步态将人－机间的作用力趋近为零，使得穿戴者感受到的来自外骨骼的阻力最小，这是当下急需解决的问题，为此我们提出结合多传感器外骨骼助力系统及其检测助力方法。


技术实现要素：

3.本发明的目的是提供结合多传感器外骨骼助力系统及其检测助力方法。
4.为了实现上述目的，本发明采用了如下技术方案：结合多传感器外骨骼助力系统，包括，上层人机交互力控制器，人机作用力输入至上层人机交互力控制器，再由上层人机交互力控制器输出转化为外骨骼关节的位移转动量，作为底层控制器的参考输入，进行运动的闭环跟踪；底层控制器，人体的运动意图和趋势通过传感器映射到外骨骼的底层控制器进行跟随运动，上层人机交互力控制器的输出端接入底层控制器的输入端；下肢骨骼，包括了惯性测量单元、角度传感器、压力传感器、柔性驱动器、力矩传感器sea、dsp处理器以及模糊控制器，惯性测量单元用于检测肢体的角度、角速度和加速度信息，角度传感器用于测量下肢关节的角度，压力传感器用于采集足底压力分布，柔性驱动器用于检测肢体的力矩，配合算法实现对操控力的柔顺控制，力矩传感器sea用于识别人体行走的四种步态；优选的，力矩传感器sea检测人与外骨骼在接触点处的作用力或力矩，利用非线性滑膜控制方法实现外骨骼跟随人运动，使人施加的力小，实现外骨骼随动及助力功能，人机之间相互作用力与穿戴者的运动速度之间的关系表示为：计算得出使人机系统稳定且能降低人机之间的作用力的极点数值，其中为人机之间相互作用力；为隐式马可夫模型的状态向量；为人与外骨骼接触点处的力矩；为人与外骨骼在接触点处的作用力；为外骨骼当前速度；为运动速度。
5.优选的，惯性测量单元、角度传感器、压力传感器检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型，包括，将七个步态周期定义为隐式马可夫模型的状态向量，即：
为七个步态周期，其中 为负荷反应期，为为站立中间期，为支撑相末期，为摆动前期，为摆动相早期，为摆动相中期，为摆动相末期；定义观测向量，包括双脚的角速度和角加速度、右腿膝盖和小腿的角度，即其中，为六维向量，表示隐马尔可夫模型在t时刻的观测特征，其中为右脚的角速度，为右脚的角加速度，为左脚的角速度，为左脚的角加速度，为右腿膝盖的角度，为右小腿的角度；这些选定的特征能够代表步态阶段，建立了一个具有7个状态，对应7个步态阶段的隐马尔可夫模型；包括以上状态向量和观察向量，隐式马可夫模型还包括初始状态概率向量：状态转移概率矩阵：观测状态转移概率矩阵：其中，是时刻处于状态的概率；和是不同步态阶段的状态向量；是在时刻处于状态条件下在时刻转移到状态的概率；是在时刻处于状态的条件下生成观测特征的概率；为隐式马可夫链的状态；和为不同步态阶段，均为自然数；为解码的步态阶段；模型建立完毕之后，以上参数采用 baum
–
welch 算法进行训练，训练之后的模型则具备了通过观测向量来检测步态相位的功能。
6.优选的，将穿戴者的运动速度至人－机间的传递函数简化为一阶环节，该传递函数的极点为由于、因此中的极点位于函数左半平面，此时整个人机系统是稳定的，并且在合理范围内增大，有助于降低人机之间的作用力，提升系统的带宽，当
过大时，导致系统失稳，其中为第个关节的极点，为处于时刻时人与外骨骼在接触点处的虚拟刚度，为第个关节的控制器的虚拟刚度。
7.优选的，底层控制器包括髋关节编码器、主控板、电池以及髋关节编码器；其中，电池分别与髋关节编码器、主控板、电机电性连接，主控板用于信息的处理，电池用于驱动柔性驱动器。
8.优选的，上层人机交互力控制器通过惯性测量单元和髋关节编码器实现外骨骼状态的切换。
9.优选的，惯性测量单元、角度传感器、压力传感器、柔性驱动器以及力矩传感器sea检测的信息均作为人机作用力输入至上层人机交互力控制器。
10.优选的，电池为惯性测量单元、角度传感器、压力传感器、柔性驱动器以及力矩传感器sea提供电源。
11.优选的，步态模糊的情况下，模糊控制器给出有效的自动控制方法，且dsp处理器用于大量信息的收发。
12.优选的，结合多传感器外骨骼助力系统检测助力方法，包括如下步骤：a.惯性测量单元、角度传感器、压力传感器检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型；b.训练之后的模型则具备了通过观测向量来检测步态相位的功能；c.无法获得被控对象清晰数学模型的时候，模糊控制器给出有效的自动控制方法，用于检测肢体的力矩的柔性驱动器和dsp处理器，需要对传感器反馈回来的多个数据信息做出快速、及时、准确的分析与判断，配合算法实现对操控力的柔顺控制；d.力矩传感器sea识别人体行走的四种步态。
13.本发明至少具备以下有益效果：本方案采用基于sea的人－机交互方式进行识别步态，且在模糊步态的情况下可以给出较为有效的自动控制方法。下肢外骨骼助力系统的信号分析处理单元需要对传感器感知系统反馈回来的多个数据信息做出快速、及时、准确的分析与判断，协同控制目标是使人－机间的作用力趋近为零，从而使外骨骼协同穿戴者完成相应的工作时，使得穿戴者感受到的来自外骨骼的阻力最小。
附图说明
14.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明的系统控制框图；图2为力矩传感器sea状态识别切换原理图；图3为rnn循环神经网络的示意图；图4为外骨骼随动助力sat人机交互系统控制图；图5为本发明定义的神经网络结构图；图6为一个步态周期各关节角度值的示意图；
图7为步行运动示意图；图8为tensorflow核心组件示意图；图9为本发明的结构框图。
16.图中：100、上层人机交互力控制器；200、底层控制器；201、髋关节编码器；202、主控板；203、电池；204、电机；300、下肢骨骼；301、惯性测量单元；302、角度传感器；303、压力传感器；304、柔性驱动器；305、力矩传感器sea；306、dsp处理器；307、模糊控制器。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.参照图1-9，结合多传感器外骨骼助力系统，包括，上层人机交互力控制器100，惯性测量单元301、角度传感器302、压力传感器303、柔性驱动器304以及力矩传感器sea305检测的信息均作为人机作用力输入至100，人机作用力输入至上层人机交互力控制器100，再由上层人机交互力控制器100输出转化为外骨骼关节的位移转动量，作为底层控制器的参考输入，进行运动的闭环跟踪；底层控制器200，人体的运动意图和趋势通过传感器映射到外骨骼的底层控制器200进行跟随运动，上层人机交互力控制器100的输出端接入底层控制器200的输入端，底层控制器200包括髋关节编码器201、主控板202、电池203以及髋关节编码器201；其中，电池203分别与髋关节编码器201、主控板202、电机204电性连接，主控板202用于信息的处理，电池203用于驱动柔性驱动器304；下肢骨骼300，包括了惯性测量单元301、角度传感器302、压力传感器303、柔性驱动器304、力矩传感器sea305、dsp处理器以及模糊控制器307，惯性测量单元301用于检测肢体的角度、角速度和加速度信息，角度传感器302用于测量下肢关节的角度，压力传感器303用于采集足底压力分布，其中，惯性测量单元301、角度传感器302、压力传感器303检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型，如图4所示，包括，将七个步态周期定义为隐式马可夫模型的状态向量，即：将七个步态周期定义为隐式马可夫模型的状态向量，即：为七个步态周期，其中 为负荷反应期，为为站立中间期，为支撑相末期，为摆动前期，为摆动相早期，为摆动相中期，为摆动相末期；定义观测向量，包括双脚的角速度和角加速度、右腿膝盖和小腿的角度，即其中，为六维向量，表示隐马尔可夫模型在t时刻的观测特征，其中为右脚
的角速度，为右脚的角加速度，为左脚的角速度，为左脚的角加速度，为右腿膝盖的角度，为右小腿的角度；这些选定的特征能够代表步态阶段，建立了一个具有7个状态，对应7个步态阶段的隐马尔可夫模型；包括以上状态向量和观察向量，隐式马可夫模型还包括初始状态概率向量：状态转移概率矩阵：观测状态转移概率矩阵：其中，是时刻处于状态的概率；和是不同步态阶段的状态向量；是在时刻处于状态条件下在时刻转移到状态的概率；是在时刻处于状态的条件下生成观测特征的概率；为隐式马可夫链的状态；和为不同步态阶段，均为自然数；为解码的步态阶段；模型建立完毕之后，以上参数采用 baum
–
welch 算法进行训练，训练之后的模型则具备了通过观测向量来检测步态相位的功能；柔性驱动器304用于检测肢体的力矩，配合算法实现对操控力的柔顺控制，力矩传感器sea305用于识别人体行走的四种步态；步态模糊的情况下，模糊控制器307给出有效的自动控制方法，且dsp处理器306用于大量信息的收发其中，力矩传感器sea305检测人与外骨骼在接触点处的作用力或力矩，利用非线性滑膜控制方法实现外骨骼跟随人运动，使人施加的力小，实现外骨骼随动及助力功能，如图4所示，人机之间相互作用力与穿戴者的运动速度之间的关系表示为：其中为人机之间相互作用力；为隐式马可夫模型的状态向量；为人与外骨骼接触点处的力矩；为人与外骨骼在接触点处的作用力；为外骨骼当前速度；为运动速度。
19.将穿戴者的运动速度至人－机间的传递函数简化为一阶环节，该传递函数的极点为由于、因此中的极点位于函数左半平面，此时整个人机系统是稳定的，并且在合理范围内增大，有
助于降低人机之间的作用力，提升系统的带宽，当过大时，导致系统失稳，其中为第个关节的极点，为处于时刻时人与外骨骼在接触点处的虚拟刚度，为第个关节的控制器的虚拟刚度。
20.上层人机交互力控制器100获得了步态相位后，底层控制算法可以用经典先进的各种算法来实现精确稳定快速力控；步行周期指行走过程中一侧足跟着地至该侧足跟再次着地时所经过的时间，或者定义为一次运动重复事件中两次相同动作连续出现之间的时间间隔。每一侧下肢有其各自的步行周期，每一个步行周期分为支撑相和摆动相两个阶段。从脚跟开始着地到该脚的脚趾离地为支撑相，从脚趾离地到脚跟再次着地的阶段为摆动相。
21.支撑相约占步态周期的60％，摆动相约占40％。在一个步行周期中，有两个双腿支撑阶段，即负荷反应期和摆动前期，约各占12％。在一个行走步态周期中，在双腿支撑阶段，身体的重量将从一条腿转移到另一条腿；一个步态周期内各个关节角度的变化曲线如图6所示，其中横轴表示一个步态周期的百分比，纵轴表示躯干、髋关节、膝关节、踝关节在矢状面运动是变化的角度；考虑到与测角器或足底压力开关相比，本实施例尝试利用力矩传感器sea305来识别人体行走的四种步态，分清步态，可以使随动助力控制系统调用不同状态下的动力学模型，更好地控制外骨骼机器人；状态机切换原理图如图2所示，由状态1（双腿随动）、状态2（左腿助力）和状态3（右腿助力）三个状态组成。状态机通过躯干imu信息及髋关节编码器信息，来实现各个状态之间的切换。
22.（一）起始位状态1，当前状态为状态1，且同时满足如下四个条件时，状态机切换为状态2，即从双腿随动模式切换为左腿助力，右腿随动模式：1）左右髋关节角度差绝对值大于阈值1；2）躯干角度小于阈值2；3）左髋关节角度小于阈值3；4）左髋关节角度出现极小值时。
23.（二）当前状态为状态1，且同时满足如下四个条件时，状态机切换为状态3，即从双腿随动模式切换为右腿助力，左腿随动模式：1）左右髋关节角度差绝对值大于阈值1；2）躯干角度小于阈值2；3）右髋关节角度小于阈值3；4）右髋关节角度出现极小值时。
24.（三）当前状态为状态2，且同时满足如下两个条件时，状态机切换为状态1，即从左腿助力，右腿随动模式切换为双腿随动模式：1）左髋关节角度大于阈值4；2）左髋关节角度出现极大值。
25.（四）当前状态为状态3，且同时满足如下两个条件时，状态机切换为状态1，即从右
腿助力，左腿随动模式切换为双腿随动模式：1）右髋关节角度大于阈值4；2）右髋关节角度出现极大值。
26.为了使随动助力技术具有预测人体步态下一个状态的位置从而施加控制力的能力，利用rnn循环神经网络预测人体运动步态，如图3所示，x是一个向量，它表示输入层的值；s是一个向量，它表示隐藏层的值；u是输入层到隐藏层的权重矩阵；o也是一个向量，它表示输出层的值；v是隐藏层到输出层的权重矩阵。将模型简图展开，循环神经网络原理在于其隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵w就是隐藏层上一次的值作为这一次的输入的权重。也因此rnn具有一定的memory能力数据来源：本次训练用cga人体运动步态数据中的脚踝、膝盖、髋部三个部位关节的角度数据总数：源数据共106帧数据，每帧之间间隔约0.14秒，为了更好的训练，使用样条插值得到1502帧数据，每帧之间间隔约为0.001s数据划分：训练集：测试集＝8.5:1.5设ｔ时刻的脚踩角度为输入输出其中，bd（backdelay）为预设的输入的维度，因为初始时候需要一定数量的数据基础才好进行预测，因此设置bd以使时间序列数据以入栈出栈的形式形成输入，在rnn中，单次喂入数据组数为预设的batchsize，因此实际过程中需要t时刻之前bd*batchsize帕的累计，以推测预设的t时刻之后fd（forward delay）帕输出。本次设置batchsize=10，加入bd=5，fd=10，则本次rnn+lstm的学习任务为：利用t时刻前5*10=50帧数据预测，t+10时刻的角度值。
27.定义神经网络结构如图5，第一层输入全连接层，提取时间序列输入的特征，此处神经元节点数与输入维度相同，为bd个神经元节点。
28.第二层基于lstm的rnn循环网络层，即隐藏层，此处设置神经元节点数为200。
29.第三层为输出全连接层，将特征拟合到维度，此处设置神经元节点数为50，为了防止过拟合，设置随机丢弃神经元节点的概率dropout probability为0.5。
30.迭代次数为200，初始学习率为0.0008。
31.步态识别系统是基于tensorflow开放源代码软件库，用python语言开发。tensorflow是一个基于数据流编程（dataflow programming）的符号张量数学系统，被广泛应用于各类机器学习（machine learing）算法的编程现，可以轻松地将计算工作部署到多种平台（cpu、gpu、tpu）和设备（桌面设备、服务器集群、移动设备、边缘设备等），如图8，分布式tensorflow的核心组件包括：分发主机（distributedmaster）、数据流执行器（dataflow executor/worker service）、内核应用（kernel implemenatation）和设备层（device layer）/网络层（networking layer）；
系统主要模块如下：（一）原始图像标注：data/get_img.py功能：读取原始图像进行标注，人工标注图像上关节点坐标，生成label.txt文件记录文件及各个标注的关节点的坐标。
32.（二）数据预处理：image_precheatment.py功能：根据label.txt文件读取原始图像进行标准化、缩放图像等操作，再根据记录的关节坐标，生成置信图，最后将训练数据整理保存在tfrecord文件中，便于之后读取训练。
33.（三）训练参数设置：config.py功能：记录和调整图像大小、学习率等参数。
34.（四）模型训练：train.py功能：读取tfrecord文件中训练数据进行训练。
35.目前正在用不同背景的行走步态图像学习训练建模，期望增加实验样本数量达到99.9%以上理论估计值，目前实验调试正在进行中。
36.上层人机交互力控制器100通过惯性测量单元301和髋关节编码器201实现外骨骼状态的切换。
37.电池203为惯性测量单元301、角度传感器302、压力传感器303、柔性驱动器304以及力矩传感器sea305提供电源。
38.本实施例中，还提供一种结合多传感器外骨骼助力检测助力方法，包括如下步骤：a.惯性测量单元301、角度传感器302、压力传感器303检测的肢体的角度、角速度、加速度、下肢关节的角度和足底压力分布信息建立学习模型；b.训练之后的模型则具备了通过观测向量来检测步态相位的功能；c.无法获得被控对象清晰数学模型的时候，模糊控制器307给出有效的自动控制方法，用于检测肢体的力矩的柔性驱动器304和dsp处理器306，需要对传感器反馈回来的多个数据信息做出快速、及时、准确的分析与判断，配合算法实现对操控力的柔顺控制；d.力矩传感器sea305识别人体行走的四种步态，分清步态，可以使sat随动助力控制系统调用不同状态下的动力学模型，更好地控制外骨骼机器人。
39.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。