基于计算机视觉的工作效率评价方法、系统、设备及介质

1.本发明涉及计算机视觉领域，特别涉及一种基于计算机视觉的工作效率评价方法、系统、设备及介质。


背景技术：

2.基础设施建设巨大的拉动了我国的内需水平，产生了大量工作岗位，为gdp增长做出了重要贡献。对于建筑建设工程，投入与产出比是人们关注的重点问题，由此引发人们对施工效率的关注，任何工作的工作效率都将直接影响最终成本与产出，所以对工程施工效率的监测、管控与评价一直是人们关注的焦点问题。
3.我国工程建造行业的经济体量巨大，一直是经济建设和社会发展的支柱性产业。但据统计，建筑业产值增速和产值利润率均呈走低趋势，同时在严峻的市场竞争环境下，建筑企业的利润空间受到了进一步的压缩。主要原因为工程建设行业长期存在的行业特性，如行业发展方式粗放、建筑工人技能素质不高、监管体系不完善和技术装备落后等问题。
4.在工程建造行业面临严峻的市场形势的情况下，通过国家大力提倡的计算机视觉技术实现施工人员队伍的自动化管理，可以有效提高施工效率和企业利润率，并有利于减少施工现场安全事故的发生。其中实现施工人员管理自动化的关键任务是实现对现场建筑工人的劳动状态信息进行获取，如现场工人的位置、工人的数量、劳动量与进度、工人的安全状态、劳动时间和效率等信息。
5.华南理工大学2019年硕士学位论文《基于计算机视觉的建筑工人劳动状态分析》一文根据人在执行特定工作时肢体之间夹角的变化规律进行工人工作状态的识别，通过改进dtw算法区分工人是否为工作状态，进一步由“总工程量/(劳动人数
×
劳动时间)”规则进行施工效率的评价。该论文提出的方法从人的姿态识别角度解决了工人工作状态的判别。
6.大连理工大学2019年硕士学位论文《基于智能移动终端采集数据的工人活动识别与管理研究》一文将工人的姿态、动作以及行为进行分类与识别，基于识别结果将工人工作属性区别定义为无工作、辅助工作以及有效工作，进而对工人的“有效工作率”进行计算与评价。该论文对工作属性的的区别定义一定程度上解决了对工人工作效率评价的问题，但对不同工种需要使用不同判别方法，判别复杂性较高。
7.太原理工大学2020年公开的发明《一种基于改进yolov3的人员在岗状态检测方法》(申请公布号：cn111860152a)提出了一种基于yolov3改进而来的名为ilf
‑
yolov3的算法，提升了检测精度与召回率，通过人员姿态识别进而可对工人工作状态现象进行判别与检测。但由于其标注过程复杂，且无法实现多种复杂场景下的工人状态识别，实际操作性较弱。
8.2019年公开的发明《分析作业人员的手工作业的状态的装置与方法以及程序》(申请公布号：cn111565293a)提出了一种利用计算机视觉技术判断作业人员的手工作业状态的方法。该发明可以有针对性的对特定工作状态进行判别，但对工作的普适性较低。
9.浙江大华技术股份有限公司2020年公开的发明《人员状态检测的方法、系统、设备
和计算机设备》(申请公布号：cn111860152a)提出了一套使用计算机视觉技术的软、硬件平台用于在岗人数数量的检测与识别。该方法通过对人员身份的确认实现了人员离岗时间的统计。该技术的不足在于并未考虑目标的位置信息以及无法对群体行为和活动类型进行判别。
10.目前，国内外学者对施工现场的效率管理与评价方法的关注点，主要在于施工效率的影响因素、改善方法、量化方法及评价模型等方面。对改善方法的研究，大多仅局限于具有特殊环境的地区或特定的工程类型，不具有普适性。对影响因素的研究，主要的分析角度呈两极化趋势：一是针对国家政策、政府支持力度、企业管理制度、员工培训制度等方面的分析，这类分析太过宏观，实操性不强；二是针对特殊环境影响和特殊工艺流程的研究，这类分析由于内容和场景的局限性，泛化性弱。
11.总结现有评估方法而言，对于施工现场的效率评估，现阶段的评价方法主要从工作量与完成时间方面进行考虑，这类方对具体工作人员的工作专注度不能给出较好的评价。


技术实现要素：

12.针对现有技术存在的施工现场的效率评估效果不好的问题，本发明的目的在于提供一种基于计算机视觉的工作效率评价方法、系统、设备及介质。
13.为实现上述目的，本发明的技术方案为：
14.一方面，本发明提供一种基于计算机视觉的工作效率评价方法，包括以下步骤，
15.获取施工现场的视频图像；
16.通过深度学习模块从所述视频图像中识别出工人，再通过行人重识别模块识别出工人的工种，确定工人的工种信息；
17.对工人进行持续地识别和捕捉，记录工人的工作信息，所述工作信息至少包括位置信息；
18.根据工人的工种信息获取预设判断条件，再根据工人的工作信息以及所述预设判断条件，判断工人是否为工作状态；
19.根据工作状态或者非工作状态的持续时间以及预设的标准工作时间，确定工人的工作效率。
20.优选的，所述根据工人的工种信息获取预设判断条件，再根据工人的工作信息以及所述预设判断条件，判断工人是否为工作状态的步骤为：
21.检测某一工种的工人的位置处于该工种对应的工作区域之外的时间是否超过第一阈值，是则判断为非工作状态，且超出第一阈值之外的时长为非工作状态持续时间。
22.另一种优选的，所述根据工人的工种信息获取预设判断条件，再根据工人的工作信息以及所述预设判断条件，判断工人是否为工作状态的步骤为：
23.检测某一工种的工人的移动路径位于该工种对应的工作路径区域之外的时间是否超过第二阈值，是则判断为非工作状态，且超出第二阈值之外的时长为非工作状态持续时间。
24.另一种优选的，所述根据工人的工种信息获取预设判断条件，再根据工人的工作信息以及所述预设判断条件，判断工人是否为工作状态的步骤为：
25.检测工种群聚的持续时间是否超过第三阈值，是则判断为非工作状态，且超出第三阈值之外的时长为参与工种群聚的工人的非工作状态持续时间。
26.优选的，所述工种群聚通过以下步骤判断：
27.检测是否存在相互之间的距离小于第四阈值的多个工人；
28.判断所述多个工人是否属于不同工种，是则判断所述多个工人为工种群聚。
29.优选的，所述工作路径区域通过以下步骤确定：
30.根据工种信息确定对应的各个工作要素的位置；
31.将所述各个工作要素相互之间进行连线；
32.将各条连线向外扩展一定的距离以形成带状区域，所述带状区域的集合为所述工作路径区域。
33.进一步的，所述工作信息还包括姿态信息，且所述姿态信息的类别包括行走、蹲、静止站立和其他，所述方法还包括以下步骤：
34.判断工人的姿态信息属于行走、蹲、静止站立中某一类别的时间是否超过第五阈值，是则判断为异常状态，且超出第五阈值的时长为异常状态持续时间；
35.根据人工对异常状态的修正结果，确定工人的工作状态或者非工作状态的持续时间，进而确定工人的工作效率。
36.另一方面，本发明还提供一种基于计算机视觉的工作效率评价系统，包括
37.获取模块，所述获取模块用于获取视频图像以及用于根据工种信息确定预设判断条件；
38.深度学习模块，所述深度学习模块用于从所述视频图像中识别出工人；
39.行人重识别模块，所述行人重识别模块用于确定工人的身份和工种；
40.捕捉和记录模块，所述捕捉和记录模块用于持续地识别和捕捉工人，并记录工人的工作信息；
41.判断模块，所述判断模块用于根据工人的工作信息以及所述预设判断条件，判断工人是否为工作状态；以及
42.计算模块，所述计算模块用于根据工人的工作状态或者非工作状态的持续时间以及预设的标准工作时间，计算工人的工作效率。
43.又一方面，本发明提供一种电子设备，包括
44.存储有可执行程序代码的存储器；以及
45.与所述存储器耦合的处理器；
46.其中，所述处理器调用所述存储器中存储的所述可执行程序代码时，执行如上所述的基于计算机视觉的工作效率评价方法。
47.再一方面，本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器运行时执行如上所述方法的步骤。
48.采用上述技术方案，本发明的有益效果在于：
49.1、由于计算机视觉技术、深度学习技术和行人重识别技术的实施，使得能够对施工现场中的工人的身份、工种以及位置信息，从而能够根据各个工种在施工作业时被限定的工作区域、路径以及工人的位置信息来判断该工种的工人的工作状态，进而获得工作效率，另外还能够基于各个工种施工时的位置以及是否存在协同工作关系，判断工人是否存
在群聚现象，进而获得工人的工作状态以及工作效率；
50.2、本发明方案区别现有评价方式无法对人员的怠工现象进行客观评价，结合施工现场工人工作规律，通过将工人位置信息、工人工作路径信息、工人群聚与否情况以及工人姿态信息的分析结果作为人员是否处于工作状态的判别依据，进行客观评价，评价结果具有准确性与高效性；
51.3、依据本发明提出的评价方法，可对劳务雇佣关系进行优化，具体体现在基于识别结果，通过减少非工作时间的方法获得完成工作的劳动力资源需求量。
附图说明
52.图1为本发明实施例一中基于计算机视觉的工作效率评价方法的流程图；
53.图2为实施例一中基于工作区域的工人非工作状态判断示意图；
54.图3为实施例一中基于工作区域的工人非工作状态判断过程示意图；
55.图4为实施例一中基于工作路径区域的工人非工作状态判断示意图；
56.图5为实施例一中基于工作路径区域的工人非工作状态判断过程示意图；
57.图6为实施例一中基于工种群聚的工人非工作状态判断示意图；
58.图7为实施例一中基于工种群聚的工人非工作状态判断过程示意图；
59.图8为本发明实施例一中另一种基于计算机视觉的工作效率评价方法的流程图；
60.图9为本发明一种基于计算机视觉的工作效率评价系统的结构示意图；
61.图10为本发明一种电子设备的结构示意图。
具体实施方式
62.下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
63.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示对本发明结构的说明，仅是为了便于描述本发明的简便，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
64.对于本技术方案中的“第一”和“第二”，仅为对相同或相似结构，或者起相似功能的对应结构的称谓区分，不是对这些结构重要性的排列，也没有排序、或比较大小、或其他含义。
65.另外，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个结构内部的连通。对于本领域的普通技术人员而言，可以根据本发明的总体思路，联系本方案上下文具体情况理解上述术语在本发明中的具体含义。
66.实施例一
67.一种基于计算机视觉的工作效率评价方法，如图1所示，包括以下步骤，
68.步骤s1、获取施工现场的视频图像；
69.步骤s2、通过深度学习模块从视频图像中识别出工人，再通过行人重识别模块识别出工人的工种，确定工人的工种信息；
70.步骤s3、对工人进行持续地识别和捕捉，记录工人的工作信息，该工作信息至少包括位置信息；
71.步骤s4、根据工人的工种信息获取预设判断条件，再根据工人的工作信息以及预设判断条件，判断工人是否为工作状态；
72.步骤s5、根据工作状态或者非工作状态的持续时间以及预设的标准工作时间，确定工人的工作效率。
73.使用时，在需要进行工人工作效率评价的施工现场架设多组图像采集设备，图像采集设备包括但不限于带有稳定装置的高清数码相机、工业相机、视频监控相机等。图像采集设备的数量与布置方式依据现场环境，以覆盖工人可能出现的区域为目标。
74.图像采集设备持续工作，将采集到的视频图像(现场图像)信息经由图像传输设备传送至运行有本方法的设备中；再通过深度学习方法，对视频图像中的人物进行识别，再经由行人重识别技术识别出人物的特征信息，进而对某一工人的身份信息进行记录；再对该名工人进行持续的识别与捕捉，从而获取其工作信息，本实施例中，工作信息为其位置信息，其位置信息最终输出为带有坐标的记录。
75.再通过对某一工种工人的位置信息进行分析，配合本发明预设的一种或者多种判断条件，即可判断工人的工作状态。例如：
76.1、以某一工种工人的工作区域作为判断条件。则判断方法为，检测某一工种的工人的位置处于该工种对应的工作区域之外的时间是否超过第一阈值，是则判断为非工作状态，且超出第一阈值之外的时长为非工作状态持续时间。
77.因为在现实中，某一工种的工作活动范围是确定的，根据上述规律，首先预先划定出该工种的工作区域，再获取该工种的某一工人实时所处位置信息，当该工人实时位置超出所划定该工种的工作区域以外则开始计时，若计时时间未达设定的时间阈值，工人的实时位置便重新回到所划定的工作区域内则认为工人仍然始终处于工作状态；若计时时间达到或超过设定的第一阈值，工人的实时位置仍处于划定的工作区域以外，则认定工人处于非工作状态，如图2所示。
78.基于上述的方法，以8小时工作制为例，设置第一阈值为10分钟。如图3所示，为混凝土浇筑工人的工作区域与工作路径，若工人在工作时间内进行正常工作，且无突发情况，出现如下现象：此工人由于个人事物离开工作场地1次，持续70分钟，后再次返回工作岗位继续工作，其他时间均在工作岗位正常工作。
79.通过上述判断方法的判断，该工人离开工作区域，且时长超过第一阈值，将其进行非工作状态标记。最终该工人当天效率为：1
‑1×
(70
‑
10)/60/8
×
100％＝87.5％。
80.2、以某一工种的工人的工作路径区域作为判断条件。则判断方法为，检测某一工种的工人的移动路径位于该工种对应的工作路径区域之外的时间是否超过第二阈值，是则判断为非工作状态，且超出第二阈值之外的时长为非工作状态持续时间。
81.其中，上述的工作路径区域通过以下步骤确定：根据工种信息确定对应的各个工作要素的位置；将各个工作要素相互之间进行连线；将各条连线向外扩展一定的距离以形成带状区域，带状区域的集合即为上述的工作路径区域。
82.因为现实中，某一工种工作中需要使用的原料材料、仪器设备、工作场地与工作对象一般是固定的，因此，在工作时间，该工种的工人应紧密围绕原料材料、仪器设备、工作场地与工作对象，在其中穿梭行进，即工人的移动路径应仅出现在上述几个因素的连线附近。将各个因素用直线连接，每条直线分别向两侧各扩展若干米形成带状区域，该区域即为认定的工作路径区域。若工人在工作时间内的位置出现在该工作路径区域内，则认为该工人处于工作状态；若工人在工作时间内的位置出现在该工作路径区域外，则认为该工人处于非工作状态，如图4所示。
83.另外，应当注意的是，使用本方法时应排除可能的突发情况，如：工人短期如厕、临时至办公区域以及操作配电箱等其他设备。排除可能的突发情况的方法包括2个：(1)根据数理统计方法，依照日常工人出现上述突发情况的日均时间，将统计出的每日工人非工作时间减去上述突发情况日均时间；(2)将包括办公室、卫生间等因素标出，并使用本评价方法相同的与其他因素连线并向两侧扩充得到特定区域的方法将出现在此区域的移动路径从非工作状态删除。
84.基于以上方法，以8小时工作制为例，第二阈值设置为10分钟，各工作要素之间连线的扩展距离为2米。如图5所示，为钢筋捆扎工人的工作区域与使用设备(工作要素)位置点位以及路径。若工人在工作时间内进行正常工作，暂无突发情况，出现如下现象：此工人由于个人事务离开工作岗位路径范围，但仍然处于划定的工作区域内，持续130分钟，后再次返回工作岗位继续工作，其他时间均在工作岗位正常工作。
85.通过上述判断方法的判断，该工人离开工作路径区域，且时长超过第二阈值，将其进行非工作状态标记。最终该工人当天效率为：1
‑1×
(130
‑
10)/60/8
×
100％＝75％。
86.3、以工种群聚作为判断条件。则判断方法为，检测工种群聚的持续时间是否超过第三阈值，是则判断为非工作状态，且超出第三阈值之外的时长为参与工种群聚的工人的非工作状态持续时间。
87.其中，工种群聚的判断步骤为：检测是否存在相互之间的距离小于第四阈值的多个工人；判断上述的多个工人是否属于不同工种，是则判断该多个工人为工种群聚。
88.实施工种群聚判断时，在对每位工人进行定位与工种判别的基础上；通过定位信息检测每一位工人(中心人)距离最近的另外3名工人(环绕人)，并计算与此3名工人的直线距离与第四阈值的关系，若距离小于第四阈值则称环绕人为群聚人；若有大于等于4名工人互为群聚人，且这几名工人的工种不唯一，则判定这几名工人存在群聚现象，如图6所示。
89.基于上述的方法，以8小时工作制为例，第三阈值设置为10分钟，第四阈值设置为1米。如图7所示，为砌筑工人与钢筋捆扎工人的工作区域与使用设备位置点位以及路径。若工人在工作时间内进行正常工作，暂无突发情况，出现如下现象：两工种各2名工人，共4人，由于个人原因聚集在一起，相互之间距离小于1m，但均处于各自工作区域内，持续时间250分钟，后再次返回工作岗位继续工作，其他时间均在工作岗位正常工作。
90.通过上述判断方法的判断，该4名工人均出现工种群聚现象，且时长超过第三阈值，将其均进行非工作状态标记。最终该4名工人当天效率均为：1
‑1×
(250
‑
10)/60/8
×
100％＝50％。
91.可以理解的是，上述三种基于位置信息的判断工人是否处于工作状态的方法，既可以单独实施，也可以联合实施，而通常情况下是顺序实施，即，先判断工人是否处于工作
区域，再判断工作的移动路径是否处于工作路径区域内，再判断不同种的工人是否存在工种群聚现象。工人在一段时间(一个工作日)内，经过以上三种判断方法判断后分别得出的非工作状态的时间的和，即为一天中的非工作状态的总时间值，计算该总时间占标准工作时间的百分比，该百分比与100％的补数即为工人的工作效率。
92.工人的工作效率计算方法如公式：
[0093][0094]
式中：η表示工作效率；t表示标准工作时间；k表示工人在标准工作时间内超出区域阈值的总次数；t
n
表示工人在标准工作时间第n次超出区域阈值的持续时间；t0表示时间阈值。其中，区域阈值代表的是上述三种判断方法下的工作区域、工作路径区域和工种群聚，时间阈值代表的是上述三种判断方法下的第一阈值、第二阈值和第三阈值。
[0095]
在另一实施例中，上述的工作信息除了位置信息外，还包括姿态信息。姿态信息通过深度学习技术对工人的姿态进行识别获得，其中工人的姿态被分为行走、蹲、静止站立和其他共四类，相应的，姿态信息的类别也包括行走、蹲、静止站立和其他。
[0096]
因此，本发明的方法在上述实施例的基础上，还继续提供了一种基于姿态信息判断工人工作状态的步骤，如图8所示，包括有：
[0097]
步骤s6，判断工人的姿态信息属于行走、蹲、静止站立中某一类别的时间是否超过第五阈值，是则判断为异常状态，且超出第五阈值的时长为异常状态持续时间；
[0098]
步骤s7、根据人工对异常状态的修正结果，确定工人的工作状态或者非工作状态的持续时间，进而确定工人的工作效率。
[0099]
即，在通过深度学习算法对工人的位置信息进行持续识别和记录的过程中，也对工人的姿态信息进行同步的识别和记录，从而获得上述的工人的姿态信息，该姿态信息作为辅助判断方式，在上述基于位置信息的一种或者多种判断方法使用过后，通过姿态信息进行识别和判断，当工人的姿态在一段时间内(例如一个工作日)属于行走、蹲、静止站立中某一类型的时间过长(超过第五阈值)时，则可以认定该工人出现异常，标记为异常状态，并有人工对视频进行观看和筛选，确定异常状态具体是属于突发事件、工作状态还是非工作状态，并根据人工确定结果，并通过上述的公式(1)即可计算获得工人的工作效率。另外，异常状态的人工核对结果还可以作为经验数据为今后扣除工人非工作状态中的突发事件时间提供依据。
[0100]
实施例二
[0101]
一种基于计算机视觉的工作效率评价系统，如图9所示，包括
[0102]
获取模块，获取模块用于获取视频图像以及用于根据工种信息确定预设判断条件；
[0103]
深度学习模块，深度学习模块用于从视频图像中识别出工人；
[0104]
行人重识别模块，行人重识别模块用于确定工人的身份和工种；
[0105]
捕捉和记录模块，捕捉和记录模块用于持续地识别和捕捉工人，并记录工人的工作信息；
[0106]
判断模块，判断模块用于根据工人的工作信息以及预设判断条件，判断工人是否为工作状态；以及
[0107]
计算模块，计算模块用于根据工人的工作状态或者非工作状态的持续时间以及预设的标准工作时间，计算工人的工作效率。
[0108]
实施例三
[0109]
一种电子设备，如图10所示，包括
[0110]
存储有可执行程序代码的存储器；以及
[0111]
与存储器耦合的处理器；
[0112]
其中，处理器调用存储器中存储的可执行程序代码时，执行实施例一中基于计算机视觉的工作效率评价方法的步骤。
[0113]
实施例四
[0114]
一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器运行时执行如实施例一中公开的方法的步骤。
[0115]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0116]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0117]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0118]
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。