基于数字孪生的个性化人机协作装配安全检测与预警方法

本发明涉及人机协作安全控制的，特别是基于数字孪生的个性化人机协作装配安全检测与预警方法。

背景技术：

1、随着智能制造的不断深入推进，要求人和机器人之间的协作任务越来越频繁，需要人和机器人在共享空间的协作也更加紧密，传统的人机协作环境越来越不适应现在的生产需要，新型的以人为中心的智能人机协作模式应运而生。人本制造作为未来智能制造发展的重要方向，强调将人放在制造的中心位置，关注员工的安全和健康，提高生产效率和质量。人机协作装配作为典型的以人为中心的制造环节，在解决装配过程中存在安全隐患、质量问题和效率低下等问题的基础上也要以人为中心，通过人与机器设备的紧密协作提高生产效率和质量的同时也考虑人类因素和价值。

2、针对以上问题，数字孪生技术在人机协作装配领域得到了广泛的应用。数字孪生技术通过对真实物体进行高精度的建模，生成精确的数字模型，通过数据模拟物理实体的运行状态，利用虚实交互反馈，数据融合分析、决策迭代优化等手段连接物理世界和现实世界，为制造业提供了一种高效、精准、安全、可靠的生产方式。同时数字孪生技术可以实现对装配人员状况、工作环境、机械臂状况等多个方面的关注和分析，通过智能化和自适应性的技术手段，提高装配过程的人性化，为解决以上问题提供了理论与技术基础。

技术实现思路

1、针对现有人机协作装配过程中存在的安全隐患，效率低下和缺乏融合人的特点等问题，本发明提出了一种基于数字孪生的个性化人机协作装配安全检测与预警方法，首先建立了个性化的数字孪生体模型作为碰撞检测的预测模型，解决了个体差异对模型的影响，然后提出了一种个性化碰撞安全配置，充分考虑到人-机-环各方面因素，最后建立了数字孪生人机协作安全装配预警孪生系统，提高了检测的实时性装配的效率，可实时在线可视化监控装配过程的安全。

2、为了达到上述目的，本发明的技术方案是这样实现的：

3、一种基于数字孪生的个性化人机协作装配安全检测与预警方法，包括以下步骤：

4、s1、根据物理空间的装配场景对影响装配效率和装配安全的因素进行分类整理：针对人机协作装配作业现场，从人-机-环三个维度对协作过程中可能会导致危险情况的因素进行调查分析，得到各个影响因素产生的原因，涉及的物理对象，与装配安全的相关性，最后考虑因素之间的相似性，进行分类处理。

5、s2、对人机协作装配作业现场的相关信息进行实时采集，包括对人体运动学数据的采集、环境的信息采集、当前人物状态和当前任务状态信息的采集以及机器人关节和末端运动数据的采集。

6、s3、对采集到的人体运动数据进行优化处理，得到人体关节点骨架模型，再将该模型导入到unity中，进行包围盒处理，并根据人的个体差异性据建立个性化的数字孪生人体碰撞检测模型，同时对机械臂进行包围盒处理得到机器的碰撞检测模型。

7、s4、根据s2中采集到的环境信息、当前人物状态和当前任务状态信息以及机器人关节和末端运动数据，计算出人机碰撞检测的安全阈值和碰撞阈值。

8、s5、建立机械臂与人体碰撞检测模型在世界坐标系下的坐标系转换关系，得到世界坐标系下机器臂各轴与人体骨架坐标的相对位姿关系，进行人机碰撞安全距离检测。

9、s6、搭建数字孪生人机协作安全装配预警孪生系统，实现人-机交互物理场景与虚拟场景的交互共融，并通过数字孪生技术进行可视化展示和预警与反馈控制。

10、进一步地，步骤s1具体为：

11、s1.1、从人的维度进行分析，涉及到的物理对象为装配工人，影响安全的因素主要来源于当前人员的工作状态，包括工作和休息时间占比、当前和累计的工作强度等。

12、s1.2、从机器的维度进行分析，涉及到的物理对象为协作机械臂本体和所装配的工件，影响安全的因素主要来源于机械臂当前的运动状态和当前任务的负荷程度，其中机械臂运动状态包括速度、加速度。

13、s1.3、从环境的维度进行分析，涉及到的物理对象为当前的装配环境，影响安全的因素主要来源于当前环境的光照和噪声水平。

14、进一步地，步骤s2具体为：

15、s2.1、将kinect2.0深度相机布置在机器人左前方1.5m处，利用kinect2.0相机的深度传感器检测人体周围环境和捕捉人的图像，通过kinect 2.0相机提供的sdk软件开发工具包以每秒30帧的频率对场景中出现的人体进行骨骼提取并生成人体骨骼信息的数据流，调用相关的api获取骨骼数据，数据包含人体25个骨骼关节点在kinect2.0相机坐标下的三维坐标信息，完成对人体运动学数据的采集。

16、s2.2、启动kinect2.0相机的彩色摄像头和麦克风阵列，分别设置适当的图像分辨率、帧率和适当的采样率、声道数，通过对获取的彩色图像和音频数据进行处理和分析，提取光照信息和噪声信息，完成对环境的信息采集。

17、s2.3、将c920相机布置在机器人右前方2m处，并将c920相机连接到计算机的usb接口上，安装logitech webcam software软件驱动程序，设置相机的分辨率、帧率、对比度、亮度参数，使用相机实时采集装配区域的图像信息，将捕捉到的图像数据保存计算机中，使用计算机视觉和图像处理技术，完成对人物工作状态和任务状态信息的采集。

18、s2.4、利用集成在机器人关节和末端的运动数据传感器和力矩传感器采集机器人关节和末端运动数据，主要包括采集关节角度、末端位姿、力矩、速度、加速度等，将采集到的物理量转化为电信号，通过usb串口通信协议将数据传输到计算机。

19、进一步地，步骤s3具体为：

20、s3.1、对s2.2中获取人体25个骨骼关节点的数据进行卡尔曼滤波优化处理，去除采集数据过程中存在的噪声与误差，并对缺失的关节点进行预测，预测过程如下：

21、预测过程：

22、(1)计算k时刻状态变量

23、

24、(2)计算k时刻误差协方差

25、

26、更新过程：

27、(3)计算卡尔曼增益

28、

29、(4)由观测变量更新估计量

30、

31、(5)更新误差协方差

32、

33、其中：k为骨骼帧状态帧数；xk为关节点的状态向量；uk为输入控制量；f为状态转移矩阵,b为干扰输入矩阵，h为观测矩阵，与系统状态有关；zk为观测向量，具体为传感器对关节的观测值；wk为输入噪声向量；q为观测噪声向量；kk为卡尔曼增益矩阵；分别为先验、后验误差协方差。

34、s3.2、优化后的数据包含人体25个骨骼关节点准确的三维坐标信息，首先将人体视为由刚性骨骼和铰链关节所组成的铰接系统，躯干和四肢则为相邻骨骼关节点连接而成，结合人体部位之间的链接特征，得到人体关节点骨架模型。

35、s3.3、在unity中使用内置的3d建模工具创建人体模型并用avatar创建骨骼结构，在avatar mask中定义可动的关节，并将人体关节点骨架模型绑定到avatar上，得到基于关节点的人体模型。

36、s3.4、根据人体在结构上的几何特征，对s3.2中人体模型进行包围盒处理，各相邻关节点之间的骨骼用不同半径的胶囊体包围盒包络，其中胶囊体轴线两端点分别对应相邻骨骼关节点的坐标(x,y,z)，半径r为包络该处模型的最小半径，以此得到由24个胶囊体包络的人体模型。

37、根据人的形体特征和运动学知识进一步简化人体模型，将身体分成头、躯干、四肢、手、脚几个部位，其中手臂分为前臂和后臂，腿分为大腿和小腿，每个部位采用一个包围盒包络，由于手部运动的随机性且手部关节点的观测误差较大，因此将采集到的手部wrist、thumb、hand、handtip四个关节点用一个胶囊体进行包络，简化后的人体模型如图2所示由14个胶囊体包络组成。

38、s3.5、对s3.3中的包围盒模型进行个性化处理，使其能适应不同的人体型。

39、s3.6、对机械臂模型根据其每个轴线和关节处也进行相应包围盒处理，用最小半径的胶囊体对机械臂的臂杆进行包络，作为机械臂的碰撞检测模型。

40、进一步地，步骤s3.5具体为：

41、s3.5.1、首先建立一个标准的人体模型，该模型数据依据平均人体数据且具有标准的身高h(m)和体重w(kg)，然后对该模型进行最小包围盒包络处理,得到14个不同部位的标准包围盒尺寸(r1，r2，r3…ri)，再根据输入的身高h体重w数据，采用标准体重计算公式和身高体重指数bmi计算来计算该人体相对于标准人体的身高体重比例系数k：

42、计算该人体的bmi：

43、bmi＝w/h2

44、计算该人体相对于标准人体的身高体重比例系数：

45、k＝(该人体的bmi/标准bmi)0.5

46、s3.5.2、对于每个部位的包围盒，根据部位的标准尺寸和比例系数，计算出该部位的自适应尺寸r0：

47、r0＝kri

48、自适应尺寸包含胶囊体包围盒的半径和长度，将每个部位的自适应尺寸应用到该部位对应的包围盒中，完成包围盒自适应调整，基于以上方式得到个性化的数字孪生人体碰撞检测模型。

49、进一步地，步骤s4具体为：

50、s4.1、假设无外界因素影响的情况下人和机器的安全阈值为a0、碰撞阈值为p0，根据s1中工人工作状态、工作环境、机械臂运动状态三者分别对a0和p0的影响情况进行权重分析，然后根据三者对a0和p0的分别作用结果综合计算得到实时碰撞阈值p碰和安全阈值a安，碰撞阈值的计算公式如下：

51、p碰＝p1k1+p2k2+p3k30

52、其中p1、p2、p3分别为工人工作状态、工作环境、机械臂运动状态三者对p0作用的影响结果；k1、k2、k3分别为三者的权重，k1＝0.6、k2＝0.2、k3＝0.2。

53、p1、p2、p3的计算公式为：

54、pi＝p0ki

55、其中i＝1，2，3；k1、k2、k3分别工作状态影响指数、工作环境影响指数、机械臂运动状态影响指数。

56、s4.2、安全阈值a安的计算公式如下：

57、a安＝a1k1+a2k2+a3k3

58、其中a1、a2、a3分别为工人工作状态、工作环境、机械臂运动状态三者对a0作用的影响结果；k1、k2、k3分别为三者的权重，k1＝0.6、k2＝0.2、k3＝0.2。

59、a1、a2、a3的计算公式为：

60、ai＝a0ki

61、其中i＝1，2，3；k1、k2、k3分别工作状态影响指数、工作环境影响指数、机械臂运动状态影响指数。

62、本发明所给出的权重仅仅是参考，具体的权重可以结合实际情况和具体场景进行评估和调整。另外计算人机之间的安全阈值和碰撞阈值的方法需要考虑多个因素，本发明仅对s1中的影响因素进行分析，其他影响因素过程类似。

63、进一步地，步骤s5具体为：

64、s5.1、定义机械臂的坐标系为世界坐标系，将机械臂碰撞检测模型与人体碰撞检测模型置于世界坐标系下，二者相对位姿态关系求解如下：

65、xc＝rxw+t

66、其中是机械臂模型在世界坐标系下的坐标向量，是三维骨架包围盒模型在世界坐标系下的坐标向量，r、t分别代表旋转、平移矩阵。

67、s5.2、根据相对位姿关系，计算出人和机器各胶囊体包围盒轴线间的最小距离，过程如下：

68、简化过后人体包围盒模型由14个胶囊体组成，取胶囊体轴线和连接的关节处构成的运动链称之为人体运动链iα，同样的取机械臂胶囊体轴线和关节构成的运动链称之为机械臂运动链iβ，分别从两条运动链中提取任意两条单链和，α1(x1，y1，z1)和α2(x2，y2，z2)为线段iα的两个端点，β1(x3，y3，z3)和β2(x4，y4，z4)为线段iβ的两个端点，则在两条线段中任意点的置可表示为：

69、αi＝α1+λα，βi＝β1+λβ

70、其中λα和λβ为线段的比例系数，α＝α1-α2，β＝β1-β2。

71、根据计算空间线段间距离的方法，可得到两条空间线段间的最小距离为：

72、dmin＝min||αi-βi||2

73、当λα，λβ(0，1】时，线段间最小距离为dmin＝min||αi-βi||2，当λα，λβ不在(0，1】内时则需要分别求α1、α2到β的最短距离d1、d2，和β1、β2到α的最短距离d3、d4，对比四个最小距离中最小值即为两条线段的最小距离dmin。

74、s5.3、根据求取空间中两线段间最小距离的原理，可以通过如图3所示的方式计算出人体运动链和机器人运动链在空间中的最小距离，首先导入人体和机械臂的运动链，初始化空间线段和空间点，分别各取一条运动链进行最短近距离计算，然后更新运动链直至遍历所有运动链，迭代结束输出最小的值即为空间最短距离，然后减去该运动链上两包围盒半径即为人机碰撞的最短距离。

75、进一步地，步骤s6具体为：

76、s6.1、搭建的数字孪生人机协作安全装配预警孪生系统包括人机协作装配的物理空间、虚拟空间和相关通信接口构成组成。

77、物理空间包括工作人员、机器人、工作环境、状态检测传感器、报警器；虚拟空间包括控制器模块、数字化模型模块、物理驱动引擎模块和服务模块；二者之间通过交换机连接pc机实现数据连通。其中pc机控制机器人启动、停止和加减速，交换机用于物理系统中现场总线的互联互通和提高数据传送速度，状态检测传感器对交互环境进行数据采集，报警器用于在装配发生危险情况时提醒工作人员。

78、虚拟空间的数字化模型模块包括工作人员、机器人、工作环境的孪生模型，物理驱动引擎模块通过数据驱动数字化模型，服务模块包括状态分析模块、碰撞检测模块和预警反馈模块。

79、其中物理空间中设备的运行数据通过通信接口传送给虚拟空间，虚拟空间中通过物理引擎驱动模块用数据驱动虚拟模型，对现实物理空间进行模拟，并由服务模块实时计算人机间的最小距离，判断人机危险情况，并给出不同控制方案，基于虚拟空间优化的结果，给物理空间总控制器下达最优管控指令，保障人机装配安全，以此实现人-机交互物理场景与虚拟场景的交互共融。

80、s6.2、在数字孪生人机协作安全装配预警孪生系统中，由物理空间得到的数据驱动虚拟空间数字化模型运行，再由服务模块实时对人员状态进行分析得到碰撞阈值和安全阈值、实时计算人机模型之间的最短距离，并判断该距离与安全阈值和碰撞阈值之间的大小关系，若该距离大于等于安全阈值，则装配作业处于安全状态，若该距离小于碰撞阈值，则装配作业处于危险状态，若处于两者之间则处于半危险状态。而后根据不同情况控制机器人和报警器做出不同反应，处于安全状态时机器人正常工作；处于危险状态时给机器人发出停止信号，机器人停止工作，并且报警系统发出强烈警告；处于半危险状态时给机器人发出减速信号，机器人减速运行或者重新规划路径，并且报警系统发出警告信号。

81、相对于现有技术，本技术具有如下有益效果：

82、1.本发明从人-机-环三个维度对影响装配效率和安全的因素进行分类整理，可以更全面地考虑人、机、环三个方面的因素，识别更多的潜在危险因素和风险点，并能够针对性地进行安全改进，提高了对装配过程中的全面风险识别能力，减少被忽视的安全隐患；

83、2.本发明采用多种传感器的方式对人、机、环三个方面的数据进行准确全面的采集，为人机协作装配作业提供全面的实时信息支持，有助于提高装配作业的效率、精确度和安全性；

84、3.本发明建立了个性化的人体碰撞检测模型，在进行碰撞检测时，充分考虑到人的个体胖瘦差异性，没有将人视为标准的模型，一定程度上增加了碰撞检测的准确性和适应性；

85、4.本发明在进行碰撞处理时，设计了一种个性化的安全配置，首先分析了多个维度对装配安全的影响因素，根据采集到的数据设计出一种可变的碰撞阈值，使得装配过程更具个性化，增加了碰撞检测的准确性；

86、5.本发明在进行人机碰撞安全距离检测时，采用了基于人体三维骨架和机械臂关节骨架的方法来计算人机间的碰撞安全距离，能够更精准的计算人机之间的距离和接触点以及更准确地评估碰撞风险，包括夹伤、撞击等风险；

87、6.本发明采用了数字孪生技术，通过物理空间的数据驱动虚拟空间的数字化模型，对物理空间进行模拟，并根据模型间最短距离控制物理空间做出不同的预警反馈，实现了装配虚实场景的交互共融和可视化，保障人机协作装配安全的同时提高了效率。