基于数字孪生的制造车间有效工时可解释性计算方法

本发明涉及属于生产管理领域和数字孪生领域，特别是指基于数字孪生的制造车间有效工时可解释性计算方法。

背景技术：

1、工时是每个制造车间计算工人劳动时间、制定劳动定额、编制各项计划、衡量劳动生产率发展水平的重要的计量单位，并且工人的工时计算是企业管理的一个关键环节，直接关系到生产效率、成本控制、员工绩效等多个方面。对制造企业来说，制造车间工人工时准确高效的计算是非常重要的，通过有效地进行工时管理，企业能够更好地应对市场需求变化，更好地规划和优化人力资源，提高生产效率。

2、传统的制造车间工时的计算往往需要工作人员耗费大量时间去记录工时以及工作的内容，对工人的有效工时统计困难。随着科技的快速发展，出现了许多对车间工人工时的计算方法，比如制造执行系统mes(manufacturing execution system)中的人员绩效管理模块，为工人上岗离岗(非上班下班)刷卡记时，统计工人有效工作时间，有助于确保准确记录工时，避免因手工记录而引起的错误。也有通过机器视觉对工人进行人脸识别考勤计时，通过视觉检测工人在工作岗位的时间来计算有效工时等等。通过这些方法得到了工人的有效工时，但是也存在着一些工人打完卡不工作，在工作岗位上偷懒，而现有的视觉检测也存在受到光照、物体遮挡、环境变化等因素造成的检测误差，会导致所计算的工人的有效工时不够精确。

技术实现思路

1、针对上述背景技术中存在的不足，本发明提出了一种基于数字孪生的复杂制造车间有效工时可解释性计算方法，解决了现有车间对工人的有效工时难以准确判定的问题。

2、本发明的技术方案的实现如下：

3、一种基于数字孪生的制造车间有效工时可解释性计算方法，具体步骤如下：

4、s1.建立车间工作人员的信息数据库：利用mysql数据库建立每个工人的信息数据表格，并对工人按照不同工作任务进行分类，便于管理信息。

5、s2.在unity中建立制造车间的虚拟场景，对车间的工人、各种设备、房屋等用三维软件3dmax进行建模，再进行渲染及转换为fbx格式后导入unity中，将设备、房屋按车间布局在unity中布置到准确的位置。将工人的模型按其工作任务进行分类并存放到相应的文件夹中，将它们都设置成预制体，便于通过实例化命令在虚拟车间中进行创建。

6、s3.采用双目相机与uwb超宽带设备识别并动态追踪车间工人以获取工人信息。

7、s4.将步骤s3获取到的工人信息导入到步骤s1建立的信息数据库中：将通过机器视觉方法获取的工人的三维坐标、时间戳以及分配的id信息和通过uwb超宽带设备获取的工人的身份id信息、三维坐标以及时间戳信息分别输入到信息数据库中对应的表格中。

8、s5.将信息数据库中通过机器视觉和uwb超宽带设备获取的三维坐标数据通过欧式距离法配对后再通过加权平均法进行融合得到更加真实的三维坐标，最后存储到信息数据库中。

9、s6.在unity中通过mysql.data插件和脚本建立unity与mysql信息数据库的连接，通过脚本获取并将融合后的三维坐标传给对应的工人模型，在三维虚拟场景中实时映射车间工人的移动轨迹，对有效工时进行可视化解释。

10、s7.根据s5中融合后的三维坐标数据以及身份信息判断工人在正常工作时间内是否进入车间工作区域：通过判断在世界坐标系下工人三维坐标是否在车间工作区域边界处坐标范围内，对未进入工作区域的工人，进行步骤s8，对进入安全区域的工人，进行步骤s9。

11、s8.计算工人在正常工作期间处于非工作区域的时间：通过工人时间戳信息计算其在正常工作期间在非工作区域的时间t0，设置一个时间阈值t，当t0超过所设定的阈值t时，对其外出行为进行记录到信息数据库对应的表格中，并在虚拟场景中通过弹窗提示管理人员。

12、s9.通过工人的时间戳变化来计算其处于工作区域的工时t1：在正常工作期间，从判断工人的三维坐标在工作区域范围的那一刻开始计时，期间离开工作区域的那一刻暂停计时，直到其回到工作区域范围内的那一刻继续计时，直到工作结束，记录其处于工作区域的工时总和，计为工作时间t1。

13、s10.通过姿态估计来分析工人在工作区域时的非工作行为占用时间：对进入到工作区域的工人进行二次识别，判断非工作行为，记算这些行为所占的时间总和，计为无效工作时间t2。

14、s11.计算有效工时：将工作时间t1减去无效工作时间t2得到工人有效工时t3。

15、s12.将车间工人的有效工时、无效工时等信息通过信息数据库反馈到unity三维虚拟场景中。通过ui text、ui image组件和脚本来实现通过点击工人三维模型弹出窗口显示该工人身份id、工作类型、有效工时t3、无效工时t2，外出记录等信息。更直观的向管理人员展示出工人的工作状态以及有效工作时间，便于管理人员对车间人员的管理，提高车间生产效率。

16、进一步地，步骤s1中信息数据表格包括员工身份、三维坐标及对应的时间戳、工作任务、有效工时、无效工时、外出记录等信息；工作任务包括包装、检测、加工。

17、进一步地，步骤s3具体为：

18、s3.1对时间进行同步：将双目相机和uwb超宽带设备都通过电脑连接到网络，通过ntp协议将电脑与一个ntp服务器进行通信；将ntp服务器连接到准确的时间源，并通过ntp协议将时间信息提供给双目相机和uwb超宽带设备。保证双目相机和uwb超宽带设备的时间戳同步，从而确保它们在时间上保持一致。

19、s3.2：通过双目相机对车间人员进行识别跟踪并获取他们在相机坐标系下的三维坐标、时间戳等信息。具体步骤如下：

20、s3.2.1标定相机：通过matlab中的stero camera cailbrator工具箱对双目相机进行标定，得到双目相机的畸变参数和内外参数，再对yolov5代码中对应的参数进行替换。

21、s3.2.2制作数据集：对车间不同工人进行不同角度进行拍照，使用labellmg进行图片的标注，制作车间工人的数据集。

22、s3.2.3获取信息：把通过双目相机进行测距中的计算物体深度的代码段加入并结合yolov5目标识别源码中输出物体坐标框的代码段，在检测到工人后，使用deepsort为其分配唯一的身份id信息(在向信息数据库输入三维坐标数据时可以通过不同id输入到不同表格)，通过对检测框范围内图像进行立体视觉处理，对目标检测框中心点(x，y)处附近的点云数据找到满足一定深度范围的点p，得到点p的深度信息z，最终得到工人的三维坐标(x，y，z)并记录对应的时间戳。

23、s3.3：通过uwb超宽带设备对车间人员进行识别跟踪以及获取他们的身份id信息、三维坐标、时间戳等信息。具体步骤如下：

24、s3.3.1布置基站及标签：在车间部署好uwb基站，并在每位工人身上各自佩戴一个uwb标签，每个标签包含唯一的标识符，作为工人的身份id信息，用于身份识别。

25、s3.3.2获取工人的三维坐标数据；基站负责接收从标签实时发送的uwb信号并记录对应的时间戳，通过测量信号的飞行时间来计算标签与基站之间的距离，基于距离信息和基站的位置，然后使用三角测量法计算工人的三维坐标。

26、进一步地，步骤s5具体为：

27、s5.1.将信息数据库中通过两种方法获取的三维坐标数据进行配对。

28、s5.2.对相互配对的两组三维坐标数据进行融合。

29、进一步地，步骤s5.1具体为：

30、s5.1.1转换坐标系：利用平移和旋转矩阵将相机坐标系和uwb坐标系下的三维坐标转换到同一世界坐标系下，然后将三维坐标数据的单位都转化为米，确保单位相同。

31、s5.1.2计算距离：使用欧氏距离法计算每组uwb所测三维坐标数据与每组机器视觉所测三维坐标数据的距离。

32、s5.1.3配对坐标：对于每组uwb所测三维坐标数据，找到由机器视觉所测三维坐标数据中与其空间距离最接近的数据，从而进行配对。

33、进一步地，步骤s5.2具体为：

34、s5.2.1去除异常值：以一组三维坐标数据为例，首先，对每个坐标维度(x、y、z三个维度)分别计算均值μ和方差σ2。均值μ表示数据在该维度上的中心位置，方差σ2表示数据在该维度上的分散程度，对于每个坐标数据点(x、y、z)，计算其在每个坐标维度上与均值的差异度。使用z分数来表示，计算如公式(1)所示：

35、

36、其中，z是z分数，x是坐标数据点的值，μ是均值，σ是方差的平方根。为了判断坐标数据点是否为异常值，需要设置一个阈值z，当z分数的绝对值大于阈值z时，坐标数据点被认为是异常值，当某个坐标中检测到异常值，对其进行删除。

37、s5.2.2分配权重：由于由uwb方法获取的三维坐标数据较为精确，为其分配较高的权重。

38、s5.2.3融合计算：对每组三维坐标数据，将其值与相应的权重相乘，以计算加权值。例如，对于配对的两个三维坐标(x1,y1,z1)和(x2,y2,z2)，其加权值分别为ω1(x1,y1,z1)、ω2(x2,y2,z2)，其中ω1，ω2是分配给坐标(x1,y1,z1)，(x2,y2,z2)的权重。将两个数据组的加权值分别相加，得到两组的加权总和ω1(x1,y1,z1)+ω2(x2,y2,z2)，将加权总和除以权重的总和，以获得最终的加权平均结果，即融合后的三维坐标。计算如公式(2)所示：

39、

40、最后将融合后的三维坐标数据存储到信息数据库中。

41、进一步地，步骤s6具体为：

42、s6.1建立连接：在unity中通过mysql.data插件以及脚本连接到mysql信息数据库，以便获取信息。

43、s6.2读取信息：在unity中通过脚本检测信息数据库中每个工人的身份id信息，将每个工人融合后的三维坐标信息读取到unity中，再存入到独立的数组中。

44、s6.3对移动轨迹虚拟映射：在虚拟车间运行过程中，当检测到数组中有三维坐标数据时，遍历数组，先将工人预制体实例化在第一个三维坐标位置，然后按数组中三维坐标顺序依次进行移动，实现对工人轨迹的虚拟映射，对有效工时进行可视化解释。

45、相比于现有技术，本发明的优点在于：

46、1)数字孪生(digital twin，dt)技术能够精准刻画和分析物理对象的行为并进行三维可视化的实时动态显示，具有复杂行为的可解释性。通过建立unity3d软件与mysql数据库的连接，在unity虚拟车间场景中通过脚本实时地对数据库中工人的三维坐标信息变化进行获取，并将其附加给工人模型，实时的对物理车间的工人的移动轨迹进行精准刻画，进行可视化解释，让管理者更直观的了解工人去向。

47、2)通过点击虚拟车间中工人的模型弹出ui窗口，通过脚本实时更新工人各种信息(身份id信息、有效工时、工作效率、外出记录等)，管理人员可以更直观快速的了解车间工人的工作情况，及时对车间任务进行调整分配，提高车间生产效率。

48、3)该方法集成了uwb和机器视觉技术的优点。一方面，uwb定位在室内环境中有较高的精度，在光照不良的环境下也不受影响，可以弥补机器视觉技术的不足。另一方面，视觉定位也可以弥补uwb定位时由于金属障碍物造成信号衰减而产生的误差。两种方法互相弥补，得到员工更加真实的坐标，减少了在利用坐标计算工人在工作区域有效工时的误差。

49、4)通过姿态估计对处于工作区域的工人进行二次识别，判断工人在工作区域的一些非工作行为，比如休息，玩手机等，将这些非工作行为所占用的工作时间从工时中减去，可以计算出工人更加真实的有效工时，通过更准确地计算工人的有效工时，企业可以更好地规划和优化资源，包括人力资源和时间资源。