工牌识别方法、装置及电子设备与流程

1.本发明涉及图像识别技术领域，尤其涉及一种工牌识别方法、装置及电子设备。


背景技术：

2.为统一员工形象，企业会为所有员工制作发放工牌，工牌是该员工在所属企业的唯一标识。除此之外，为保障企业的信息安全，员工的工牌需要分为不同的等级，只有具有相应等级的员工才允许进入对应的区域，工牌等级一般是根据工牌绳或工牌卡的颜色进行区分。因此，识别员工是否佩戴工牌，以及员工所佩戴的工牌绳和工牌卡颜色是保障员工形象是否统一，和员工是否违规进入超权限等级区域的重要一步。


技术实现要素：

3.本发明的目的在于提供一种工牌识别方法，能够实时检测员工是否佩戴工牌及其佩戴的工牌颜色，以便于企业有效管理员工的工牌佩戴情况。
4.为实现上述目的，本发明提供一种工牌识别方法，包括如下步骤：读取视频流，从所述视频流中提取待检测的图像；将待检测的图像输入训练好的工牌识别模型中，所述工牌识别模型用检测框标记出待检测的图像中的正面行人区、背面行人区及工牌区；在待检测的图像中划定目标识别区域，根据所述目标识别区域及预设的筛选算法，提取出能够用于匹配的正面行人区及工牌区；计算提取出的每一工牌区相对提取出的各个正面行人区的匹配面积比及匹配距离，当一工牌区与一正面行人区之间具有最大的匹配面积比且具有最小的匹配距离时，将该工牌区与该正面行人区进行匹配；所述匹配面积比为一工牌区的检测框与一正面行人区的检测框的交集的面积和该工牌区的检测框的面积的比值，所述匹配距离为一工牌区的检测框的底边中点与一正面行人区的检测框的中心点的距离；建立工牌样本库，所述工牌样本库中包括多张具有不同颜色标签的工牌样本图，用knn算法比较提取出的各个工牌区与各个工牌样本图的像素值，选出与该工牌区的像素值最接近的工牌样本图，并判定该工牌区中的工牌颜色为该工牌样本图对应的颜色。
5.可选地，所述预设的筛选算法具体包括：剔除背面行人区；判断各个正面行人区的检测框的底边中点是否落入目标识别区域，若是则提取该正面行人区，否则剔除该正面行人区；判断所述各个工牌区的检测框的底边左端点、右端点及中点中是否至少有一个落入目标识别区域，若是则提取该工牌区，否则继续下一步；判断剩余的各个工牌区的检测框是否位于已被提取的正面行人区中，若是则继续下一步，否则剔除该工牌区；将剩余的各个工牌区的检测框向下扩大n倍，判断扩大后的检测框的底边左端点、
右端点及中点中是否至少有一个落入目标识别区域，若是则提取该工牌区，否则剔除该工牌区，n大于4；可选地，所述匹配面积比的计算公式为：；其中，p
ij
为第i个工牌区相对于第j个正面行人区的匹配面积比， ci∩mj表示第i个工牌区的检测框与第j个正面行人区的检测框交集的面积，ci表示第i个工牌区的检测框的面积；所述匹配距离的计算公式为：d
ij
=；其中，d
ij
为第i个工牌区相对于第j个正面行人区的匹配距离，和表示第i个工牌区的检测框的底部的中心点坐标，和表示第j个正面行人区的检测框的中心点坐标。
6.可选地，所述建立工牌样本库，所述工牌样本库中包括多张具有不同颜色标签的工牌样本图具体包括：提供多个工牌样本，将所述多个工牌样本在同一背景下摆放成同一形状；拍摄所述在同一背景下摆放成同一形状的多个工牌样本，得到原始样本图；将所述原始样本图裁剪成同一尺寸，并为其标注颜色标签，得到包括多张具有不同颜色标签的工牌样本图的工牌样本库。
7.可选地，用knn算法比较提取出的各个工牌区与各个工牌样本图的像素值，选出与该工牌区的像素值最接近的工牌样本图，并判定该工牌区中的工牌颜色为该工牌样本图对应的颜色具体包括：将提取出的各个工牌区以及各个工牌样本图均缩放至第一尺寸；确定各个工牌区及各个工牌样本图的像素值；计算每一工牌区与各个工牌样本图的像素值之间的距离；将每一工牌区与各个工牌样本图的像素值之间的距离从小到大进行排序，得到排名前k个的距离，k为大于2的正整数；确定所述前k个的距离对应的工牌样本图的颜色，并将出现次数最多的工牌样本图的颜色判定为该工牌区的颜色。
8.可选地，所述工牌样本图的颜色标签包括颜色名称及颜色序号。
9.可选地，工牌包括工牌卡及与工牌卡相连的工牌绳，所述工牌区为工牌卡区或工牌绳区。
10.可选地，当与一工牌区具有最大的匹配面积比的正面行人区和与该工牌区具有最小匹配距离的正面行人区为不同的正面行人区时，则认定该工牌区匹配出错，停止为该工牌区匹配正面行人区。
11.本发明还提供一种工牌识别装置，包括：读取模块，用于读取视频流，从所述视频流中提取待检测的图像；
识别模块，用于将待检测的图像输入训练好的工牌识别模型中，通过所述工牌识别模型用检测框标记出待检测的图像中的正面行人区、背面行人区及工牌区；提取模块，在待检测的图像中划定目标识别区域，根据所述目标识别区域及预设的筛选算法，提取出能够用于匹配的正面行人区及工牌区；匹配模块，计算提取出的每一工牌区相对提取出的各个正面行人区的匹配面积比及匹配距离，当一工牌区与一正面行人区之间具有最大的匹配面积比且具有最小的匹配距离时，将该工牌区与该正面行人区进行匹配；所述匹配面积比为一工牌区的检测框与一正面行人区的检测框的交集的面积和该工牌区的检测框的面积的比值，所述匹配距离为一工牌区的检测框的底边中点与一正面行人区的检测框的中心点的距离；颜色识别模块，建立工牌样本库，所述工牌样本库中包括多张具有不同颜色标签的工牌样本图，用knn算法比较提取出的各个工牌区与各个工牌样本图的像素值，选出与该工牌区的像素值最接近的工牌样本图，并判定该工牌区中的工牌颜色为该工牌样本图对应的颜色。
12.本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
13.本发明的有益效果：本发明提供一种工牌识别方法，通过将待检测的图像输入训练好的工牌识别模型中，识别出待检测的图像中的正面行人区、背面行人区及工牌区，并根据目标识别区域及预设的筛选算法，提取出能够用于匹配的正面行人区及工牌区，再计算提取出的每一工牌区相对提取出的各个正面行人区的匹配面积比及匹配距离，并将相互之间具有最大的匹配面积比且具有最小的匹配距离的工牌区与正面行人区进行匹配，再通过knn算法比较工牌区与工牌样本库的工牌样本图的像素值，确定工牌区中的工牌的颜色，实现对员工是否佩戴工牌及其佩戴的工牌颜色的实时监测，提升企业对员工的工牌佩戴的管理效率及准确性。
附图说明
14.为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
15.附图中，图1为本发明的工牌识别方法的流程图；图2至图4为本发明的工牌识别方法的一实施例中的步骤s3的示意图；图5为本发明的工牌识别装置的示意图；图6为本发明的电子设备的示意图。
具体实施方式
16.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
17.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，
本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
18.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
19.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
20.请参阅图1至图4，在本发明的一实施例中，提供一种工牌识别方法，包括如下步骤：步骤s1、读取视频流，从所述视频流中提取待检测的图像；具体地，所述视频流一般为需要进行工牌识别的场所内的监控视频，当监控视频内有人出现时，从视频流中提取待检测的图像。
21.步骤s2、将待检测的图像输入训练好的工牌识别模型中，所述工牌识别模型用检测框标记出待检测的图像中的正面行人区、背面行人区及工牌区。
22.具体地，所述工牌识别模型为yolov5s深度神经网络，其训练过程包括：收集图像样本，手动为所述图像样本进行标注，标注的内容包括正面行人、背面行人及工牌，对带有类别标签的图像样本进行包括格式转换及数据增强在内的数据预处理，将处理后的图像样本属于所述工牌识别模型，以对所述工牌识别模型进行训练，最终得到能够检测正面行人区、背面行人区及工牌区的模型。
23.其中，正面行人是指面对摄像头的人或侧身但能看到前胸的人，背面行人是指背对摄像头的人或侧身但无法看到前胸的人。
24.步骤s3、结合图2至图4，在待检测的图像中划定目标识别区域，根据所述目标识别区域及预设的筛选算法，提取出能够用于匹配的正面行人区及工牌区。
25.如图2至图4所示，所述目标识别区域由用户进行制定， a1区域为所述目标识别区域；在本发明的一些实施例中，工牌包括工牌卡及与工牌卡相连的工牌绳，此时步骤s3中提取的所述工牌区可以是工牌卡区，也可以是工牌绳区，也可以是同时提取工牌卡区和工牌绳区，如图2及图4所示，c1区域为工牌绳区，c2区域为工牌卡区。
26.具体地，所述预设的筛选算法具体包括：剔除背面行人区；判断各个正面行人区的检测框的底边中点是否落入目标识别区域，若是则提取该正面行人区，否则剔除该正面行人区；判断所述各个工牌区的检测框的底边左端点、右端点及中点中是否至少有一个落入目标识别区域，若是则提取该工牌区，否则继续下一步；判断剩余的各个工牌区的检测框是否位于已被提取的正面行人区中，若是则继续下一步，否则剔除该工牌区；将剩余的各个工牌区的检测框向下扩大n倍，判断扩大后的检测框的底边左端点、
右端点及中点中是否至少有一个落入目标识别区域，若是则提取该工牌区，否则剔除该工牌区，n大于4。
27.需要说明的是，设置所述步骤s3对正面行人区及工牌区进行筛选的原因为：在实际应用场景中，远距离的人其特征模糊不清，分辨出其工牌佩戴情况或工牌绳、工牌卡颜色信息的难度很大，因此不需要或不能够对远距离的人进行识别。除此之外，对于背面行人，也不需要对其进行识别。所以本发明在用工牌识别模型获取所有的正面行人区、背面行人区及工牌区后，还需要用一个筛选机制对正面行人区、背面行人区及工牌区进行筛选，只保留近距离的正面行人区和工牌区，而为了定义哪些属于近距离的正面行人区及工牌区和哪些属于远距离的正面行人区及工牌区，本发明的需要指定一个目标识别区域，当正面行人区及工牌区在所述目标识别区域内时，就认为其属于近距离需要提取保留，否则就属于远距离，需要剔除。
28.进一步地，如图2所示，结合实际场景考虑，如图2及图4所示，对于正面行人区的筛选可以通过判断各个正面行人区的检测框的底边中点是否落入目标识别区域，若是则认为其属于近距离并提取该正面行人区，否则认为其属于远距离并剔除该正面行人区。
29.而对于工牌区，其可能出现三种状态，第一种如图2所示，该工牌区完全落入目标识别区域内，第二种如图3所示，虽然工牌区在目标识别区域外但其落在已经被提取的正面行人区内，第三种如图4所示，工牌区在目标识别区域外且不在已经被提取的正面行人区内；对于工牌区的第一种及第二种状态，应当认定为该工牌区属于近距离，需要提取保留，对于工牌区的第三种状态，应当认定为该工牌区属于远距离，应当剔除，判断时首先判断各个工牌区是否属于第一种状态，接着判断提取了第一种状态的工牌区之后剩余的工牌区是否属于第二种状态，最后剔除不属于第一种和第二种状态的工牌区，具体地判断方法为：首先，判断各个正面行人区的检测框的底边中点是否落入目标识别区域，若是则提取该正面行人区，否则剔除该正面行人区；接着，判断所述各个工牌区的检测框的底边左端点、右端点及中点中是否至少有一个落入目标识别区域，若是则提取该工牌区，否则继续下一步；判断剩余的各个工牌区的检测框是否底边左端点、右端点及中点中是否至少有一个位于已被提取的正面行人区中，若是则继续下一步，否则剔除该工牌区；将剩余的各个工牌区的检测框向下扩大n倍，判断扩大后的检测框的底边左端点、右端点及中点中是否至少有一个落入目标识别区域，若是则提取该工牌区，否则剔除该工牌区，n大于4。
30.具体地，在如图2至图4所示的实施例中，对于工牌绳区c1，n等于6，工牌卡区c2，n等于7。
31.至此，本发明通过筛选算法提取出了能够进一步地进行颜色识别的工牌区及与工牌区匹配的正面行人区。
32.步骤s4、计算提取出的每一工牌区相对提取出的各个正面行人区的匹配面积比及匹配距离，当一工牌区与一正面行人区之间具有最大的匹配面积比且具有最小的匹配距离时，将该工牌区与该正面行人区进行匹配；所述匹配面积比为一工牌区的检测框与一正面行人区的检测框的交集的面积和该工牌区的检测框的面积的比值，所述匹配距离为一工牌区的检测框的底边中点与一正面行人区的检测框的中心点的距离。
33.具体地，所述步骤s4中所述的工牌区及正面行人区均为经过步骤s3筛选之后提取出的工牌区及正面行人区。
34.考虑到实际识别场景，对于工牌区与正面行人区之间的关系，通常包括以下三种，第一种为所有正面行人区域互不遮挡，第二种正面行人区域间存在相互遮挡，导致一个工牌区出现在多个正面行人区中，第三种为正面行人区域间存在相互遮挡，导致多个工牌区出现在一个正面行人区中，综合考虑以上三种实际识别场景，本发明采用了匹配面积比和匹配距离共同作用来进行工牌区与正面行人区的匹配，也即是当一工牌区与一正面行人区之间具有最大的匹配面积比且具有最小的匹配距离时，将该工牌区与该正面行人区进行匹配。
35.具体地，所述匹配面积比的计算公式为： ；其中，p
ij
为第i个工牌区相对于第j个正面行人区的匹配面积比， ci∩mj表示第i个工牌区的检测框与第j个正面行人区的检测框交集的面积，ci表示第i个工牌区的检测框的面积；进一步地，所述匹配距离的计算公式为：d
ij
=；其中，d
ij
为第i个工牌区相对于第j个正面行人区的匹配距离，和表示第i个工牌区的检测框的底部的中心点坐标，和表示第j个正面行人区的检测框的中心点坐标。
36.考虑到实际场景的复杂性，有一定的概率会出现，与一工牌区具有最大的匹配面积比的正面行人区和与该工牌区具有最小匹配距离的正面行人区为不同的正面行人区时，此时需要认定该工牌区匹配出错，停止为该工牌区匹配正面行人区，并剔除该工牌区不再对其进行后续操作。
37.经过步骤s4，得到了正面行人区与工牌区的一对一匹配结果，接下来就是如何识别工牌区的颜色。
38.步骤s5、建立工牌样本库，所述工牌样本库中包括多张具有不同颜色标签的工牌样本图，用knn算法比较提取出的各个工牌区与各个工牌样本图的像素值，选出与该工牌区的像素值最接近的工牌样本图，并判定该工牌区中的工牌颜色为该工牌样本图对应的颜色。
39.其中，需要说明的是，工牌样本库中的工牌样本图需要满足的要求包括：首先，是不同颜色的工牌样本需要在同一背景下拍摄；其次是，工牌样本拍摄需要将所有的工牌样本摆放成一致的形状，一般就是如员工正常佩戴时的形状一样；接着是，工牌样本图的尺寸应当保持一致；最后就是，工牌样本图的应该具有对应的颜色标签，所述颜色标签包括颜色名称及颜色序号，具体来说就是工牌样本图命名需以颜色和颜色序号来命名，如green_1、green_2，也就是说第一个绿色工牌样本图，第二个绿色工牌样本图。
40.对于每一种颜色的工牌样本图均可以设置多个，原因在于，同一个颜色的工牌样本图因工牌的制作效果、工牌的新旧程度、拍摄的环境变化等因素可能会存在色差，因此需要设置对于同一种颜色的工牌样本图可以设置多个，因避免因色差导致的颜色深浅影响最
终的颜色识别结果。
41.最终，所述建立工牌样本库，所述工牌样本库中包括多张具有不同颜色标签的工牌样本图具体包括：提供多个工牌样本，将所述多个工牌样本在同一背景下摆放成同一形状；拍摄所述在同一背景下摆放成同一形状的多个工牌样本，得到原始样本图；将所述原始样本图裁剪成同一尺寸，并为其标注颜色标签，得到包括多张具有不同颜色标签的工牌样本图的工牌样本库。
42.需要说明的是，用knn算法比较提取出的各个工牌区与各个工牌样本图的像素值，选出与该工牌区的像素值最接近的工牌样本图，并判定该工牌区中的工牌颜色为该工牌样本图对应的颜色具体包括：将提取出的各个工牌区以及各个工牌样本图均缩放至第一尺寸；确定各个工牌区及各个工牌样本图的像素值；计算每一工牌区与各个工牌样本图的像素值之间的距离；将每一工牌区与各个工牌样本图的像素值之间的距离从小到大进行排序，得到排名前k个的距离，k为大于2的正整数；确定所述前k个的距离对应的工牌样本图的颜色，并将出现次数最多的工牌样本图的颜色判定为该工牌区的颜色。
43.进一步地，在本发明的一些实施例中，工牌区的颜色分析，具体是将由工牌识别模型获取的工牌区域与工牌样本图做knn（k-nearest neighbor，最邻近算法）分析，得出工牌区域的颜色，详细步骤包括：对工牌样本图进行预处理，将所有工牌样本图缩放到224*224的大小，获取第i个颜色的第j个工牌样本图的像素值v
ij
，将工牌区缩放到224*224大小，工牌区的像素值为vc，计算每一工牌区的像素值和各个工牌样本图的像素值的距离d（vc，v
ij
），将距离进行排序，选出前k个最小的距离，将前k个中出现次数最多的颜色赋予此工牌区域，例如k等于3，前三个最小距离对应的工牌样本图为green_1、green_2和gray_1，则认定该工牌区的颜色为绿色（green）。
44.至此，本发明待检测的图像顺利识别出正面行人区，与该正面行人区匹配的工牌区及工牌区颜色，此时用户可以根据需要设置相应的报警或是记录规则，例如，当某一区域出现不属于该区域的工牌颜色的员工是发出报警并记录等。
45.请参阅图5，本发明还提供一种工牌识别装置，包括：读取模块10，用于读取视频流，从所述视频流中提取待检测的图像；识别模块20，用于将待检测的图像输入训练好的工牌识别模型中，通过所述工牌识别模型用检测框标记出待检测的图像中的正面行人区、背面行人区及工牌区；提取模块30，在待检测的图像中划定目标识别区域，根据所述目标识别区域及预设的筛选算法，提取出在所述目标识别区域范围内的正面行人区及工牌区；匹配模块40，计算提取出的每一工牌区相对提取出的各个正面行人区的匹配面积比及匹配距离，当一工牌区与一正面行人区之间具有最大的匹配面积比且具有最小的匹配距离时，将该工牌区与该正面行人区进行匹配；所述匹配面积比为一工牌区的检测框与一正面行人区的检测框的交集的面积和该工牌区的检测框的面积的比值，所述匹配距离为一工牌区的检测框的底边中点与一正面行人区的检测框的中心点的距离；
颜色识别模块50，建立工牌样本库，所述工牌样本库中包括多张具有不同颜色标签的工牌样本图，用knn算法比较提取出的各个工牌区与各个工牌样本图的像素值，选出与该工牌区的像素值最接近的工牌样本图，并判定该工牌区中的工牌颜色为该工牌样本图对应的颜色。
46.请参阅图6，本发明还提供一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
47.综上所述，本发明提供一种工牌识别方法，通过将待检测的图像输入训练好的工牌识别模型中，识别出待检测的图像中的正面行人区、背面行人区及工牌区，并根据目标识别区域及预设的筛选算法，提取出能够进行识别的正面行人区及工牌区，再计算提取出的每一工牌区相对提取出的各个正面行人区的匹配面积比及匹配距离，并将相互之间具有最大的匹配面积比且具有最小的匹配距离的工牌区与正面行人区进行匹配，再通过knn算法比较工牌区与工牌样本库的工牌样本图的像素值，确定工牌区中的工牌的颜色，实现对员工是否佩戴工牌及其佩戴的工牌颜色的实时监测，提升企业对员工的工牌佩戴的管理效率及准确性。
48.以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。