一种基于人机协作的智能机器人数字孪生动态避障方法

本发明属于人机协作场景避障，具体涉及一种基于人机协作的智能机器人数字孪生动态避障方法。

背景技术：

1、在复杂的装配环境中，智能机器人需要具备智能的感知、决策、行动能力，以适应动态变化的场景，如避开移动的障碍物、快速做出反应等，动态避障技术已成为智能机器人研究中的重要问题。

2、数字孪生技术能够提供实时的环境数据、仿真模拟和决策支持，为动态避障提供新的方法和工具。

3、因此如何结合数字孪生技术解决智能机器人在复杂动态环境下的避障问题成为当前亟需解决的问题。

技术实现思路

1、本发明为了解决现有技术中存在的上述至少一个技术问题，提供了一种基于人机协作的智能机器人数字孪生动态避障方法。

2、本发明采用如下的技术方案实现：一种基于人机协作的智能机器人数字孪生动态避障方法，包括以下步骤：

3、s1：进行物理实体空间位置的设定，包括深度相机、装配机器人和装配者的位置；

4、s2：构建装配机器人数字孪生模型和装配者数字孪生模型；

5、s3：在数字空间内建立装配机器人数字孪生模型和装配者数字孪生模型的避障策略；

6、s4：采用改进的blazepose算法进行装配者姿态的实时检测，并将实时的姿态信息返回对应的装配者数字孪生模型进行虚实同步；

7、s5：装配机器人数字孪生模型根据装配者数字孪生模型的姿态变化、避障策略进行避障并实时反馈至物理空间。

8、优选地，装配者数字孪生模型构建包括下述步骤：通过三维建模软件构建人体基本框架的虚拟模型，并在该虚拟模型中设置个关键点信息；根据人体构造将关键点间使用铰链连接约束，进行装配者数字孪生模型的搭建。

9、优选地，装配者数字孪生模型中的关键点包括鼻、左眼内侧、左眼、左眼外侧、右眼内侧、右眼、右眼外侧、左耳、右耳、嘴左侧、嘴右侧；左肩、右肩、左肘、右肘、左踝、右踝、左大拇指关节、右大拇指关节、左食指一指关节、右食指一指关节、左食指二指关节、右食指二指关节、左臀、右臀、左膝、右膝、左脚踝、右脚踝、左脚跟、右脚跟、左脚尖、右脚尖。

10、优选地，避障策略包括下述步骤：

11、s31：定义装配者数字孪生模型的最小接触范围，在装配者数字孪生模型的各关节处添加最小接触圆柱体；

12、s32：分别建立装配机器人数字孪生模型、装配者数字孪生模型的空间坐标系；在装配机器人数字孪生模型中建立末端执行器的空间坐标系，在装配者数字孪生模型中建立手部的空间坐标系；

13、s33：建立装配机器人数字孪生模型的空间坐标系与末端执行器的空间坐标系的d-h关系矩阵；

14、s34：在数字空间内设置触碰关系，装配机器人数字孪生模型自动规避装配者所在区域的最小接触圆柱体。

15、优选地，装配者数字孪生模型中头部的最小接触范围大于5cm且小于10cm；装配者数字孪生模型中四肢的最小接触范围大于3cm且小于5cm；最小接触圆柱体的半径与对应位置处的最小接触范围的取值一致。

16、优选地，步骤s34中，设置装配机器人的末端执行器轨迹为空间点到点控制，通过b样条曲线进行避障轨迹的规划。

17、优选地，使用改进的blazepose算法进行装配者姿态检测的步骤包括：

18、s41：通过深度相机采集装配现场中装配者的人体姿态图像，在采集的图像中进行关键点位置的手动标注，并制作成装配者姿态检测数据集；

19、s42：搭建改进的blazepose神经网络模型，包括主干模块、热力图模块、检测模块、定位模块和三维位置调整模块；装配者的人体姿态图像作为改进的blazepose神经网络模型的输入层，输出层为装配者姿态的关键点信息；

20、s43：将装配者姿态检测数据集输入改进的blazepose神经网络模型中进行模型训练；并将训练好的blazepose神经网络模型在python环境中进行布置；

21、s44：通过深度相机拍摄装配区域，改进的blazepose神经网络模型输出装配者姿态的关键点信息至装配者数字孪生模型，实现两者间的虚实同步。

22、优选地，改进的blazepose神经网络模型的主干模块用于提取输入层的装配者的人体姿态图像的特征信息并将调整后的图像输入至热力图模块；热力图模块用于输出装配者在拍摄区域中的局部位置并将热力图输入至检测模块；定位模块用于提取输入层的装配者的人体姿态图像的特征信息并通过三维位置调整模块输入至检测模块；三维位置调整模块用于结合定位模块中的装配者位置信息对原有检测模块中提取到的装配者位置信息进行调整；检测模块通过softer-nms非极大值算法提取到装配者所在区域，输出可视化的装配者姿态的关键点信息。

23、优选地，定位模块与原有检测模块得到的装配者姿态的第个关键点的定位空间误差的表达式为：

24、

25、式中，为定位模块检测到的装配者姿态的第个关键点的定位坐标，为原有检测模块检测到的装配者姿态的第个关键点的定位坐标；

26、当时，取用原有检测模块检测到的装配者姿态的定位坐标作为输出基准；当时，取用定位模块检测到的装配者姿态的定位坐标作为输出基准，通过三维位置调整模块中的调整矩阵将定位模块检测到的装配者姿态的定位坐标反馈到检测模块中。

27、优选地，改进的blazepose神经网络模型的损失函数的表达式为：

28、

29、式中，为预选框中存在目标的概率；为真实存在目标的概率；为预选框距离真实目标预测的偏移距离；为标定框距离真实目标预测的偏移距离，为的需要调整的定位距离，为需要调整的定位距离；为分类参数；为回归参数；为定位参数；为调整参数；为分类损失；为回归损失；为定位模块中添加新的定位损失；为装配者的人体姿态图像的数量；

30、定位模块中添加新的定位损失的表达式为：

31、

32、式中，为距离比例因子；为定位模块与原有检测模块得到的装配者姿态的第个关键点的定位空间误差；为正态分布函数。

33、与现有技术相比，本发明的有益效果是：

34、本发明通过构建装配机器人数字孪生模型和装配者数字孪生模型和避障策略，利用深度相机、改进的blazepose算法进行装配者姿态的实时检测，将实时的姿态信息返回装配者数字孪生模型进行虚实同步，装配机器人数字孪生模型根据装配者数字孪生模型的姿态变化、避障策略进行避障并实时反馈至物理空间，达到在复杂动态环境下的动态避障的目的，提高人机协作的效率和安全性。

技术特征：

1.一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：装配者数字孪生模型构建包括下述步骤：通过三维建模软件构建人体基本框架的虚拟模型，并在该虚拟模型中设置个关键点信息；根据人体构造将关键点间使用铰链连接约束，进行装配者数字孪生模型的搭建。

3.根据权利要求2所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：装配者数字孪生模型中的关键点包括鼻、左眼内侧、左眼、左眼外侧、右眼内侧、右眼、右眼外侧、左耳、右耳、嘴左侧、嘴右侧；左肩、右肩、左肘、右肘、左踝、右踝、左大拇指关节、右大拇指关节、左食指一指关节、右食指一指关节、左食指二指关节、右食指二指关节、左臀、右臀、左膝、右膝、左脚踝、右脚踝、左脚跟、右脚跟、左脚尖、右脚尖。

4.根据权利要求2所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：避障策略包括下述步骤：

5.根据权利要求4所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于： 装配者数字孪生模型中头部的最小接触范围大于5cm且小于10cm；装配者数字孪生模型中四肢的最小接触范围大于3cm且小于5cm；最小接触圆柱体（4）的半径与对应位置处的最小接触范围的取值一致。

6.根据权利要求4所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：步骤s34中，设置装配机器人（2）的末端执行器（5）轨迹为空间点到点控制，通过b样条曲线进行避障轨迹的规划。

7.根据权利要求4所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：使用改进的blazepose算法进行装配者姿态检测的步骤包括：

8.根据权利要求7所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：改进的blazepose神经网络模型的主干模块用于提取输入层的装配者（1）的人体姿态图像的特征信息并将调整后的图像输入至热力图模块；热力图模块用于输出装配者（1）在拍摄区域中的局部位置并将热力图输入至检测模块；定位模块用于提取输入层的装配者（1）的人体姿态图像的特征信息并通过三维位置调整模块输入至检测模块；三维位置调整模块用于结合定位模块中的装配者位置信息对原有检测模块中提取到的装配者位置信息进行调整；检测模块通过softer-nms非极大值算法提取到装配者（1）所在区域，输出可视化的装配者姿态的关键点信息。

9.根据权利要求8所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：定位模块与原有检测模块得到的装配者姿态的第个关键点的定位空间误差的表达式为：

10.根据权利要求9所述的一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于：改进的blazepose神经网络模型的损失函数的表达式为：

技术总结
本发明属于人机协作场景避障技术领域，解决了数字孪生技术与智能机器人在复杂动态环境下避障技术结合的问题。提供了一种基于人机协作的智能机器人数字孪生动态避障方法，包括以下步骤：进行物理实体空间位置的设定；构建装配机器人数字孪生模型和装配者数字孪生模型；在数字空间内建立装配机器人数字孪生模型和装配者数字孪生模型的避障策略；采用改进的Blazepose算法进行装配者姿态的实时检测，并将实时的姿态信息返回对应的装配者数字孪生模型进行虚实同步；装配机器人数字孪生模型根据装配者数字孪生模型的姿态变化、避障策略进行避障并实时反馈至物理空间。本发明能够在复杂动态环境下动态避障，提高人机协作的效率和安全性。

技术研发人员：张宇廷,王宗彦,李梦龙,高沛,贺全玲
受保护的技术使用者：中北大学
技术研发日：
技术公布日：2024/4/8