基于实时地形识别的外骨骼助力系统

1.本发明涉及机器人技术领域，特别涉及基于实时地形识别的外骨骼助力系统。


背景技术：

2.近年来，可穿戴柔性外骨骼的进步越来越受到关注，随着最新的技术进步，可穿戴柔性外骨骼不再局限于实验环境或固定应用场景，例如基于跑步机的步态训练等；越来越多的可穿戴外骨骼已应用于协助日常生活中行动不便的人，这就需要增强对复杂环境的适应能力，同时实时地对环境进行预测并提供助力是未来外骨骼系统走向民用的一个必经环节。
3.目前大部分外骨骼系统主要还是在离线情形下进行的，一方面离线情形下可变因素少，控制的环境种类差异性小，对地形做分类以及预测准确率高等特点，助力与控制都相对而言较易于实现，但是未来外骨骼系统要走出实验室，迈向民用等更为普通的场合，对于环境以及地形的实时识别就显得尤为重要了，同时能够在复杂环境下对于不同的地形做出预测，反馈到外骨骼控制器，可以使得外骨骼更加主动地自适应环境的变化，使得外骨骼系统对于复杂的环境具有更好的鲁棒性与适应性。


技术实现要素：

4.本发明主要解决的技术问题是提供了基于实时地形识别的外骨骼助力系统，其实时采集周边环境信息,进而进行识别与划分，并在不同的地形下提供不同的助力曲线，进而可以实现在复杂动态环境中实时调整下肢运动的助力策略，对复杂环境具有更好的鲁棒性与适应性。
5.为解决上述技术问题，本发明采用的一个技术方案是：提供基于实时地形识别的外骨骼助力系统，其中，包括：
6.采集模块，用于实时采集周边环境信息且实时处理与分类；
7.识别预测模块，用于根据所述采集执行模块传输的信息进行分析预测；
8.助力控制模块，用于根据所述识别预测模块传送的信号驱动与协助控制下肢的运动。
9.作为本发明的一种改进，所述采集模块包括：
10.传感器单元，用于采集周边环境信息；
11.控制单元，用于接收所述传感器单元采集的信息且对其进行处理。
12.作为本发明的进一步改进，所述传感器单元包括用于捕获视频流的深度摄像机和用于测量髋关节的角度和角速度信息的惯性测量单元。
13.作为本发明的更进一步改进，所述控制单元包括stm32控制板及用于通信的蓝牙模块和通信模块。
14.作为本发明的更进一步改进，所述识别预测模块包括多头自注意力单元、多层感知单元和层归一化单元，所述多头自注意力单元将接收的信息进行分割，并行执行注意功
能，然后每个头的输出值被连接并线性投影以形成最终的输出。
15.作为本发明的更进一步改进，所述识别预测模块还包括用于进行图像处理与地形预测及基于vit方法进行环境信息分类的ai处理单元。
16.作为本发明的更进一步改进，所述ai处理单元内设有tx2模型。
17.作为本发明的更进一步改进，所述助力控制模块包括：
18.驱动单元，用于接收所述控制单元的信号进行工作；
19.协助运动单元，用于接收所述驱动单元的信号协助控制下肢的运动。
20.作为本发明的更进一步改进，所述驱动单元包括驱动器、减速器、鲍登线、绑缚、绳索和负载。
21.作为本发明的更进一步改进，所述下肢的运动包括髋关节及膝关节的运动。
22.本发明的有益效果是：与现有技术相比，本发明实时采集周边环境信息,进而进行识别与划分，并在不同的地形下提供不同的助力曲线，进而可以实现在复杂动态环境中实时调整下肢运动的助力策略，对复杂环境具有更好的鲁棒性与适应性。
附图说明
23.图1为本发明的整体系统实物图；
24.图2为本发明的地形识别的分类方法-vit原理图；
25.图3为本发明的控制框图；
26.图4为本发明的运用技术路线图；
27.图5为本发明在不同地形下的助力曲线跟踪图；
28.图6为本发明的多模融合流程框图；
29.附图标记：1-笔记本，2-绑带，3-负载，4-惯性测量单元，5-鲍登线，6-rgb深度相机，7-背带，8-绑缚，9-执行器，10-树莓派，11-管子。
具体实施方式
30.专利名称为基于地形判断的主动助力控制方法、装置及外骨骼机器人(申请号cn202010806976.3)的发明申请专利，其公开了获取激光雷达向前扫描地面得到的地面轮廓点云数据，基于地面轮廓点云数据建立前方地面轮廓分布；根据前方地面轮廓分布与地形识别模型识别前方的地面轮廓类型，根据前方的地面轮廓类型确定人体运动步态模式；根据地面轮廓点云数据与前方的地面轮廓类型估计前方的地形轮廓参数，根据前方的地形轮廓参数与人体运动步态模式估计人体关节运动轨迹；根据人体关节运动轨迹确定外骨骼的主动助力策略；该主动助力控制方法使外骨骼能够准确感知判断人体前方的路面地形、并根据不同的地形选择最佳的助力策略，辅助使用者实现在复杂环境和昏暗环境下的安全行走；虽然探测的精度高，但是其传感本身的造价高昂，对于外骨骼整体的成本提升会很大，同时激光雷达的视觉域存在“盲区”，基于旋转的方式在外骨骼系统上也不太便于安装，这对于后面的建图会有一定的影响。
31.请参照图1至图6，本发明的基于实时地形识别的外骨骼助力系统，包括：
32.采集模块，用于实时采集周边环境信息且实时处理与分类；
33.识别预测模块，用于根据所述采集执行模块传输的信息进行分析预测；
34.助力控制模块，用于根据识别预测模块传送的信号驱动与协助控制下肢的运动。
35.在本发明内，实时采集周边环境信息,进而进行识别与划分，并在不同的地形下提供不同的助力曲线，进而可以实现在复杂动态环境中实时调整下肢运动的助力策略，对复杂环境具有更好的鲁棒性与适应性。
36.其中，采集模块包括：
37.传感器单元，用于采集周边环境信息；
38.控制单元，用于接收传感器单元采集的信息且对其进行处理。
39.在本发明内，传感器单元包括用于捕获视频流的深度摄像机和用于测量髋关节的角度和角速度信息的惯性测量单元。
40.在本发明内，控制单元包括stm32控制板及用于通信的蓝牙模块和通信模块。
41.具体地讲，如图1中的(a)部分主要是上层感知层，它包含了视觉部分以及实时控制部分以及科学计算用的计算机，主要的作用就是实时采集周边环境信息，并实时处理与分类。图中的(b)部分主要包括绑带2、深度相机6、鲍登线5、imus(惯性测量单元)4、绑缚8、负载3以及驱动器(执行器)9组成。图中的(c)部分主要是下层控制层，主要包括微控制器的方法控制，生成不同的助力曲线进而控制绳索进行动作。传感器单元主要用于采集外部环境的特征信息，它主要由深度摄像机6和两个6轴imus4组成，深度相机安装在腰部，以往的研究表明，这部分相对其他位置安装更为稳定，在行走过程中干扰较小。rgb-d深度相机6以60hz的频率捕获视频流，并将信息实时提供给tx2(或树莓派)以进行地形分类，imus4主要用于通过控制器局域网(can)测量髋关节的角度和角速度信息。控制单元主要由stm32控制板、蓝牙模块和通信模块组成。通过这些模块，传感器单元收集到的信号经过加窗和滤波后传输给驱动器，该驱动器主要由两台无刷电机组成。
42.在本发明内，识别预测模块包括多头自注意力单元、多层感知单元和层归一化单元，多头自注意力单元将接收的信息进行分割，并行执行注意功能，然后每个头的输出值被连接并线性投影以形成最终的输出；识别预测模块还包括用于进行图像处理与地形预测及基于vit方法进行环境信息分类的ai处理单元；ai处理单元内设有tx2模型。具体地讲，msa数学原理简单可以描述为：
[0043][0044]
识别预测模块的调参可以简述如下：在训练过程中，使用adam算法作为优化器，学习率为2-e5，权值衰减为0.0005，其余的其他重要参数设置为，beta1，beta2为0.99，momentum为0.9，最大的epoch可设置为5，batch size大小可设置为64。
[0045]
如图2所示，本发明采用的是vit方法，识别预测模块包括msa(多头自注意力)，mlp(多层感知机)以及ln(层归一化)三大组件，通过将图片进行划分进入模型，经过编码，解码之后可以预测与分类，此种模型随着数据集的增大后续的性能优势会更加的得以彰显。
[0046]
在本发明内，助力控制模块包括：
[0047]
驱动单元，用于接收控制单元的信号进行工作；
[0048]
协助运动单元，用于接收驱动单元的信号协助控制下肢的运动。
[0049]
其中，驱动单元包括驱动器、减速器、鲍登线、绑缚、绳索和负载。
[0050]
在本发明内，下肢的运动包括髋关节及膝关节的运动。
[0051]
具体地讲，助力控制模块为控制的核心，控制策略主要是通过改变力的振幅和相位来实现的，人体的下肢关节在行走过程中产生扭矩，这是所需要的力，如图3所示，图3中上层的(a)图主要是通过imus获取加速度与角加速度信息，可以用来划分步态与意图预测，可以检测到不同的助力曲线下的步态位姿等信息，作为控制输入反馈信息；图3的中层的(b)图主要就是驱动执行器的控制策略，通过导纳控制结合位置反馈的方式构成闭环，进而对外骨骼系统进行综合的控制；图3中下层的(c)图主要就是视觉反馈的环境地形信息，通过算法实时对地形进行预测并反馈到驱动执行主控单元，构成闭环。
[0052]
在本发明内，为了防止关节损伤造成的损伤力过大，实际控制扭矩需要有一定的裕度，如将其设置在理论值的80％左右，导纳控制的思想就是于一个特定的力输入，通过应用额外的驱动控制来修改受控对象的响应速度，从而使整个系统的输入和输出响应满足期望的设计。
[0053]
本发明通过在导纳控制结合位置控制的方式期望能够在不同的地形下进行不同的助力。
[0054]
本发明的具体实验可以参照如下：
[0055]
第一步，通过深度相机在6种不同地形(水平地面、楼梯、下坡、坡道、下坡和其他)下采集视频流；
[0056]
第二步，通过间隔固定频率(这里设置为60hz)将视频流转化成rgb彩色图像，并进行筛选与标签制作；
[0057]
第三步，根据vit方法对图片进行分类，并将训练好的模型下载到tx2模型中；
[0058]
第四步，通过实时采集到的图片对环境进行地形识别与分类，并在不同的地形环境下采用不同的助力策略；
[0059]
最后，实验者使用本发明在6种不同的地形下进行测试，并分别在每个地形下来回进行5组测试。
[0060]
图5为在不同上下坡以及平地地形下人体的运动轨迹跟踪效果图示，可以看出，在本发明的预测下可以实现准确的跟踪效果，同时在不同的地形下，对于地形的判别准确率统计可以参见图4所示，识别的精度在97.6％左右。
[0061]
本发明配备深度相机6，实时采集周边环境信息，比如平地、上下坡、上下楼梯、其他等不同的环境，通过vit方法进行识别与划分，并在不同的地形下提供不同的助力曲线，进而可以实现外骨骼在复杂动态环境中实时调整髋关节的助力策略，对复杂环境具有更好的鲁棒性与适应性；譬如在平地切换上楼梯(或者类似的情形)时，在状态切换前夕对髋关节提供一个合适的助力，而在下楼梯切换成平地(或者类似的情形)时，在状态切换后做短暂延时后取消对髋关节的助力，使其按照正常步态在平地上行走。
[0062]
本发明通过深度相机实时获取周边环境信息并反馈给tx2模型，tx2模型根据不同的图片信息作为输入，通过内部方法模型进行识别分类，将不同的地形结果反馈给到主控单片机，单片机驱动控制髋关节电机的输出转距，随后通过行程减速器进行减速，减速器的输出轴与传动齿轮固定，传动齿轮带动固定在导轨滑块机构上的绳索进行往复运动，从而为髋关节提供不同的助力。
[0063]
本发明具备如下优点：
[0064]
1)实时性，先前环境与分类大多是基于离线环境，本发明目标是基于在线实时预
测；
[0065]
2)准确率高，vit分类法在大规模数据集上有优势，预测的准确率高，训练速度快；
[0066]
3)成本可控，结合深度相机(或ccd)器件扩大了视觉域，同时成本可控；
[0067]
4)鲁棒性，使用位置控制结合导纳控制的方式提供助力，具有较好的自适应性与鲁棒性；
[0068]
5)方法创新性，控制方法上有创新(基于导纳控制+结合位置控制)，总体性能上有提升。
[0069]
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。