一种基于人体姿态识别的打钻视频退杆计数方法与流程

1.本发明涉及智能图像识别的技术领域，尤其是一种基于人体姿态识别的打钻视频退杆计数方法。


背景技术：

2.随着井下视频监控的普及，智能图像识别在煤矿中的应用越来越广泛。智能图像识别技术借用矿井摄像仪采集的数字图像，通过内嵌入摄像机的智能化算法或后端服务器算法进行运算分析，实现对视频内容的感知，进而根据设定的规律，判断识别相应目标并进行相应报警。由于智能视频识别采用了无接触式检测，因此智能视频识别具备检测范围广、检测成本低等优势，且能24小时不间断工作，这使得工作效率大大提高。
3.但现在大多煤矿井下依然靠地面人为回看录像的方式对打钻退杆进行计数，井下为工人准备的手动计数按钮使用频率也较少，无法进行计数；同时往往每段视频录像都长达1～2小时，且煤矿井下工作环境恶劣，光线昏暗，工作人员需要时刻集中精力回看录像，长期连续工作后，极易出现因疲劳而造成的漏检、误检。
4.虽然现在也有一些智能视频分析进行自动钻杆计数，但效果却不是很理想，其中最主要的原因是，这些方法往往都是截取工人取钻杆前后几帧的图片，并通过神经网络提取工人拿取钻杆时瞬间的特征，一旦视频中检测到工人手触碰到末端钻杆即进行+1计数。但往往实际工作作业时会出现工人手扶钻杆、错位重叠等现象，并未真正取下，此时如果依然计数就会造成误检。


技术实现要素：

5.本发明要解决的技术问题是：为了克服现有技术中存在的不足，提供一种基于人体姿态识别的打钻视频退杆计数方法，通过人体姿态识别来检测工人取下钻杆这一连续动作，自动计算出工人取出钻杆的数量，从而提高智能视频分析钻杆计数的准确率。
6.本发明解决其技术问题所采用的技术方案是：一种基于人体姿态识别的打钻视频退杆计数方法，具体步骤如下：
7.步骤1、数据采集：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据；
8.步骤2、数据预处理及标签制作：视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理；
9.步骤3、训练具有人体关键点检测功能的alphapose模型；
10.步骤4、检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数；同时，检测人，对检测到的人进行人体骨骼关键点检测，并记录人体关键点的坐标；
11.步骤5、后端服务器算法通过检测工人是否抓取钻杆和是否有搬运动作联合判断实际获取的钻杆：判断手部关键点坐标与钻杆框选区域是否有重合，当手部关键点坐标与钻杆框选区域没有重合，则重复步骤4；当手臂关键点坐标与钻杆框选区域有重合，则通过
全身关键点运动轨迹判断是否存在搬运钻杆的动作；当通过全身关键点运动轨迹判断不存在搬运钻杆的动作，则钻杆数保持不变；当通过全身关键点运动轨迹判断存在搬运钻杆的动作，则在已取钻杆数量的基础上加1。
12.进一步具体地限定，上述技术方案中，在步骤4中，框的相关参数包括框的中心点位置、框的长度以及框的高度。
13.进一步具体地限定，上述技术方案中，在步骤4中，人体关键点的坐标包括人体头部的坐标、人体肩部的坐标、人体手部的坐标、人体膝盖部的坐标以及人体脚部的坐标。
14.进一步具体地限定，上述技术方案中，在步骤2中，采用labelimg工具对采集到的图片数据打标签，每一类相同的图片打上对应类别的标签。
15.本发明的有益效果是：本发明的一种基于人体姿态识别的打钻视频退杆计数方法，具有以下优点：
16.一、可通过分析视频录像直接对钻杆数量进行计数，避免长时间段、高强度的人工计数；
17.二、通过检测工人是否抓取钻杆并分析人体运动轨迹是否有搬运动作，对打钻退杆数量进行精确计数，拥有极高的准确率；
18.三、适用于对原先矿下打钻面通用的摄像仪进行改造方案，只需在后端服务器上智能分析录像即可，改造成本低，施工步骤简单。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本发明的算法流程图；
21.图2是本发明的原理示意图；
22.图3是本发明的算法效果示意图一；
23.图4是本发明的算法效果示意图二；
24.图5是本发明的算法效果示意图三。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.见图1、图2、图3、图4和图5，本发明的一种基于人体姿态识别的打钻视频退杆计数方法，包括前端矿用本安摄像仪、环网和后端服务器，其中的前端矿用本安摄像仪具备自动对焦、强光抑制、补光灯等功能。前端矿用本安摄像仪至少400万像素，防护等级为ip67，供电电压范围为dc17v～19v。后端服务器的算法采用具有人体关键点检测功能的alphapose模型，对钻杆和人体骨骼关键点同时进行检测，再通过分析人体运动轨迹判断是否搬取钻
杆，以达到准确计数。前端矿用本安摄像仪安装于井下打钻工作面，用于记录打钻退杆时的录像。通过万兆环网将前端矿用本安摄像仪采集到的数据传到地面，数据通过后端服务器进行算法分析，检测视频中工人获取钻杆数量，以达到自动计数的功能。
27.见图2，该基于人体姿态识别的打钻视频退杆计数方法，具体原理是：首先井下摄像仪获取退杆录像，然后工业环网传输数据，最终后端算法处理完成智能计数。
28.见图1，该基于人体姿态识别的打钻视频退杆计数方法，具体步骤如下：
29.步骤1、数据采集：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据。
30.步骤2、数据预处理及标签制作：视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理。实验中采用labelimg工具对采集到的图片数据打标签，每一类相同的图片打上对应类别的标签。如矿井中的设备被标记为“machine”，人物被标记为“person”，目标物钻杆被标记为“object”等。人体关键点标签采用ms coco数据集中的keypoint evaluation。
31.步骤3、训练具有人体关键点检测功能的alphapose模型。
32.步骤4、检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数，框的相关参数包括框的中心点位置、框的长度以及框的高度；同时，检测人，对检测到的人进行人体骨骼关键点检测，并记录人体关键点的坐标，人体关键点的坐标包括人体头部的坐标、人体肩部的坐标、人体手部的坐标、人体膝盖部的坐标以及人体脚部的坐标。
33.步骤5、后端服务器算法通过检测工人是否抓取钻杆和是否有搬运动作联合判断实际获取的钻杆，避免漏检和误检：判断手部关键点坐标与钻杆框选区域是否有重合，当手部关键点坐标与钻杆框选区域没有重合，则重复步骤4；当手臂关键点坐标与钻杆框选区域有重合，则通过全身关键点运动轨迹判断是否存在搬运钻杆的动作；当通过全身关键点运动轨迹判断不存在搬运钻杆的动作，则钻杆数保持不变；当通过全身关键点运动轨迹判断存在搬运钻杆的动作，则在已取钻杆数量的基础上加1。
34.例如算法检测到钻杆后，输出钻杆的boundingbox坐标为(x1,y1,x2,y2)，其中x1,y1为物体框左上角坐标，x2,y2为物体框右下角坐标。框的中心点和框的长高即可计算得出。同理，人的人体关键点坐标也是一组(x，y)的位置坐标，后续通过坐标间的逻辑判断即可进行检测。文中提到的是否重合，即坐标或boundingbox间iou是否超过阈值。
35.其中，后端服务器算法的细节分为以下几部分：
36.(1)stn(空间变换网络)：stn的全称为spatial transformer network，中文含义为空间变换网络。对于不规则的人体图像输入，通过stn操作之后，得到准确人的框。输入候选区域，用于获取高质量的候选区域。即对视频流中的人体图片数据进行锚定画框。由于在视频流中的人物一直在移动，因此通过解码得到的人体图片数据具有曲折性，即不规则形，本发明中采用stn对图片数据进行操作，允许神经网络学习如何对输入图像执行空间变换，以增强模型的几何不变性。
37.stn为2d的仿射变换，定义如下：
[0038][0039]
其中，i表示图片数据中第i个坐标点；s表示新的坐标名称；t表示原始坐标名称；为变换后坐标，具体地，为变换后人物图像数据中的横坐标，为变换后人物图像数据中的纵坐标；为变换前坐标，具体地，为变换前原始人物图像数据中像素点的横坐标，为变换前原始人物图像数据中像素点的纵坐标，1代表2d仿射变换前人物图像数据中像素点的的竖坐标默认数值；θ1、θ2以及θ3为变换参数。
[0040]
(2)sppe(单人姿态估计)：sppe的全称为single person pose estimat or，中文含义为单人姿态估计。
[0041]
(3)sdtn(空间逆变换网络)：将估计的姿态映射回原始的图像坐标。std n的全称为spatial transformer networks，中文含义为空间逆变换网络。
[0042]
sdtn的定义如下：
[0043][0044]
其中，γ1、γ2以及γ3为变换参数，γ1、γ2以及γ3与θ1、θ2以及θ3的关系如下：
[0045]
[γ
1 γ2]＝[θ
1 θ2]
‑1ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0046]
γ3＝
‑1×
[γ
1 γ2]θ3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0047]
(4)pose
‑
nms：消除额外的估计到的姿态。pose
‑
nms的全称为parametric pose nonmaximum suppression，中文含义为参数姿态非最大抑制，此处可以理解为消除额外的估计到的姿态。
[0048]
定义：令第i个姿态由m个关节点组成，其中，i和m均为大于等于1的正整数，第i个姿态的集合，定义为：
[0049][0050]
其中k为location，location表示关节定位点；c为socre。，score表示当前定位点的位姿得分。
[0051]
消除过程：score最高的姿态作为基准，重复消除接近基准姿态的姿态，直到剩下单一的姿态。消除准则：消除标准用于重复消除剩余姿态，消除准则为：
[0052]
f(pi,pj|λ,η)＝1[d(pi,pj|λ,λ)≤η] (5)
[0053]
其中，f表示消除准则，当输出为1，则删除当前姿态pi，反之保留；pi与pj分别表示不同的姿态；λ表示姿态距离度量的参数集；η表示阈值；d表示姿态距离度量；λ表示平衡姿态距离和空间距离的权重；f(.)整体表示姿态点消除准则；d(
·
)整体表示姿态距离度量函数，姿态距离度量函数d(
·
)包括姿态距离和空间距离，若d(
·
)不大于η，则上面f(
·
)的输出为1，表明由于p
i
和基准姿态p
j
过于相似，因而p
i
需要被消除。其定义如下：
[0054]
d(pi,pj|λ)＝k
sim
(pi,pj|σ1)+λh
sim
(pi,pj|σ2) (6)
[0055]
其中，k
sim
表示软匹配函数，即不同特征之间的相似度；σ1和σ2分别表示学习规则，即梯度的初始化。λ＝{σ1,σ2,λ}
[0056]
姿态距离用于消除和其他姿态太近且太相似的姿态，假定p
i
的bbox是b
i
，bbox表示姿态p
i
选定框的位置信息。其定义为如下的soft matching公式(不同特征之间score的相似度)：
[0057][0058]
其中，i、j表示不同的姿态点；c表示集合；is witnin表示如果位姿p
j
的中心点在以的box中时，应进行清除；otherwise表示反之不予清除；为中心在的box，并且每个坐标为原始坐标b
i
的1/10；box表示与位姿p
i
坐标同中心的框，其长度与宽度均为p
i
姿态框坐标的1/10。
[0059]
得到具体人体关键点定位后，再根据其运动轨迹判定是否有搬运动作。
[0060]
本发明的目的是在后端智能分析打钻退杆录像视频，通过人体姿态识别来检测工人取下钻杆这一连续动作，自动计算出工人取出钻杆的数量，而不是只识别工人手取钻杆这2
‑
3帧的特征，从而提高智能视频分析钻杆计数的准确率。本发明的优点是：(1)可通过分析视频录像直接对钻杆数量进行计数，避免长时间段、高强度的人工计数；(2)通过检测工人是否抓取钻杆并分析人体运动轨迹是否有搬运动作，对打钻退杆数量进行精确计数，拥有极高的准确率；(3)适用于对原先矿下打钻面通用的摄像仪进行改造方案，只需在后端服务器上智能分析录像即可，改造成本低，施工步骤简单。
[0061]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。