一种煤矿井下弱特征人员身份识别新方法与流程

本发明属于计算机视觉，具体涉及一种煤矿井下弱特征人员身份识别新方法。

背景技术：

1、矿井人员精准定位和身份识别技术，可有效预警违章行为、遏制井下超员生产，避免或减少煤矿事故发生。然而，目前井下人员监控研究大多仅止步于检测阶段，以区间定位为主，缺乏对区间群体人员个人身份的分类和识别；基于普通人脸识别的身份确认方法，由于矿井低照度、强光扰及高粉尘等特殊环境和井下人员劳保用品佩戴、脸部煤灰等原因，在违章人员身份识别等应用方面仍具有局限性。

2、井下人员重识别技术作为人员身份信息确认的重要手段，为矿井弱特征人员的身份识别提供了解放方案。然而，矿井内部结构环境复杂，受井下低照度、高尘雾等环境影响，视觉图像采集困难、人员信息获取不到位，如何利用井下人员重识别技术高效准确区分井下工作人员身份信息是目前亟需解决的重要问题。

技术实现思路

1、本发明的目的在于提供一种煤矿井下弱特征人员身份识别新方法，能够提高煤矿井下弱特征人员的重识别能力，有效减少对存储的需求，提高系统效率，可以实现数据集成和分析，提高安全管理的水平。

2、为实现上述目的，本发明一种煤矿井下弱特征人员身份识别新方法，包括以下步骤：

3、步骤一：通过检测摄像头获取煤矿井下弱特征人员的视频流数据；

4、步骤二：对所述视频流数据进行处理，截取出井下人员图像，构建井下弱特征人员重识别数据集；

5、步骤三：将所述数据集图像进行预处理，包括图像增强和噪声消除；

6、步骤四：利用机器学习算法建立人员重识别模型，包括卷积神经网络和标签平滑及优化；

7、步骤五：使用增量式学习方法定期更新人员重识别模型，以适应新的井下弱特征人员图像数据；

8、步骤六：对井下弱特征人员进行身份重识别，并输出其识别结果。

9、作为本发明进一步的方案：对所述视频流数据进行处理并构建井下弱特征人员重识别数据集，具体包括以下步骤：

10、利用opencv与gstreamer从网络摄像头中拉取视频流提供实时的视频预览和采集功能；

11、通过多线程的方式进行数据采集；

12、使用目标检测算法faster-rcnn生成候选框，截取人员图像。

13、作为本发明进一步的方案：对所述图像数据进行预处理是利用双鉴别式生成对抗网络对所述图像数据进行图像增强，包括用于对低照度图像进行增强的生成器和用于对增强后的图像进行真假判别的鉴别器。

14、作为本发明进一步的方案：所述生成器是将所述图像数据进行特征提取和上采样；

15、在特征提取部分包括卷积和最大池化操作，减少需要训练的参数，获得不同尺度的特征图；

16、在上采样部分，通过反卷积完成不同尺寸的图像复原，最终输出增强后的图像。

17、作为本发明进一步的方案：所述鉴别器是将所述生成器增强后图像进一步处理，同时采用全局鉴别器和局部鉴别器：

18、全局鉴别器用于提高全局低照度图像的自适应能力，并在全局范围内改善光照强度；

19、局部鉴别器通过在增强后图像和正常亮光照图像中随机选取局部小块进行真假判别，从而增强模型对光照不均匀图像得认知能力，在局部范围内改善光照。

20、作为本发明进一步的方案：利用机器学习算法建立人员重识别模型，具体包括以下步骤：

21、利用restnet-50对输入预处理后的人员图像进行特征提取，包括全局特征与局部特征；

22、利用k最近邻方法获取全局和局部特征的互补性得分；

23、运用特征互补性得分进行标签平滑与标签优化，以减少图像噪声并增强特征的识别能力。

24、作为本发明进一步的方案：运用特征互补性得分进行标签平滑与标签优化，以减少图像噪声并增强特征的识别能力，具体包括以下步骤：

25、计算全局特征和局部特征的k最近邻之间的jaccard相似度来衡量互相相似程度，得到特征互补性得分；

26、利用标签平滑根据相应的特征互补性得分来优化每个局部特征标签；

27、借助局部特征的预测，引导全局特征从局部特征中捕捉可靠的细粒度信息，利用更可靠的信息来完善标签。

28、作为本发明进一步的方案：使用增量式学习方法定期更新人员重识别模型，具体包括以下步骤：

29、持续收集新的井下弱特征人员图像数据，包含新的人员、新的姿势、新的环境条件等；

30、对于新采集的数据，进行与初始数据集相似的预处理步骤，确保数据的质量和一致性；

31、将新数据与初始数据集合并，并使用迁移学习方法对模型进行更新；

32、评估更新后的模型，使用测试数据集进行准确性和性能的验证，指导进一步的模型优化与调整。

33、作为本发明进一步的方案：所述迁移学习方法对模型进行更新的过程为：

34、根据新任务的样本数量和多样性来决定是否冻结初始模型的权重，若样本较少，冻结参数可以防止过拟合；

35、使用较小的学习率对新添加的层进行训练，避免破坏初始模型已学习的知识，对于微调层，采取稍大的学习率。

36、与现有技术相比，本发明的有益效果如下：

37、1、本发明提高了煤矿井下弱特征人员的重识别能力，采用基于特征互补性得分的标签平滑与标签优化方法，能更准确的识别和匹配井下弱特征人员的身份；

38、2、本发明有更低的存储需求，传统方法通常需要存储大量的训练数据和模型参数，本发明使用增量式学习方法，可以更新模型而无需重新训练整个模型，从而减少了对存储的需求，提高了系统效率；

39、3、本发明能够实现数据集成和分析，将重识别的人员数据上传至平台进行集成和分析，为煤矿安全管理提供科学的数据支持，提高了安全管理的水平。

技术特征：

1.一种煤矿井下弱特征人员身份识别新方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，对所述视频流数据进行处理并构建井下弱特征人员重识别数据集，具体包括以下步骤：

3.根据权利要求1所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，对所述图像数据进行预处理是利用双鉴别式生成对抗网络对所述图像数据进行图像增强，包括用于对低照度图像进行增强的生成器和用于对增强后的图像进行真假判别的鉴别器。

4.根据权利要求3所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，所述生成器是将所述图像数据进行特征提取和上采样；

5.根据权利要求3所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，所述鉴别器是将所述生成器增强后图像进一步处理，同时采用全局鉴别器和局部鉴别器：

6.根据权利要求1所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，利用机器学习算法建立人员重识别模型，具体包括以下步骤：

7.根据权利要求6所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，运用特征互补性得分进行标签平滑与标签优化，以减少图像噪声并增强特征的识别能力，具体包括以下步骤：

8.根据权利要求1所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，使用增量式学习方法定期更新人员重识别模型，具体包括以下步骤：

9.根据权利要求8所述的一种煤矿井下弱特征人员身份识别新方法，其特征在于，所述迁移学习方法对模型进行更新的过程为：

技术总结
本发明公开了一种煤矿井下弱特征人员身份识别新方法，包括以下步骤：通过检测摄像头获取煤矿井下弱特征人员的视频流数据；对所述视频流数据进行处理，截取出井下人员图像，构建井下弱特征人员重识别数据集；将所述数据集图像进行预处理，包括图像增强和噪声消除；利用机器学习算法建立人员重识别模型，包括卷积神经网络和标签平滑及优化；使用增量式学习方法定期更新人员重识别模型，以适应新的井下弱特征人员图像数据；对井下弱特征人员进行身份重识别，并输出其识别结果。本发明能够提高煤矿井下弱特征人员的重识别能力，有效减少对存储的需求，提高系统效率，可以实现数据集成和分析，提高安全管理的水平。

技术研发人员：赵作鹏,缪小然,高宇蒙,闵冰冰,胡建峰,胡帅,赵强,唐婷
受保护的技术使用者：江苏比特达信息技术有限公司
技术研发日：
技术公布日：2024/1/15