基于openpose的滑雪场危险动作识别方法及系统

1.本发明涉及运动分析技术领域，具体涉及基于openpose的滑雪场危险动作 识别方法及系统。


背景技术：

2.伴随着滑雪运动在大众视角中逐渐升温，滑雪普及度大幅度提高，越来越 多的人开始接触滑雪这项运动。与一般的运动不同，滑雪时由于速度快，平衡 不容易掌握等因素，更加容易出现摔倒和相撞等危险行为。由于滑雪对身体的 平衡及身体肌肉力量有着较高的要求，滑行的不规范和一些失误极易造成安全 事故的发生。同时雪场雪道环境的不稳定因素也是造成伤亡发生的一个重要原 因。如雪道上人较多时较易发生滑行相撞事件，特别是高速相撞极易造成受伤。 对于在滑雪场中出现的危险行为进行及时的监测，对初学者来说是十分重要的。 但是一般滑雪场内练习滑雪的人数远多于教练的人数，教练以及安全员难以注 意到全部的人，因此在滑雪场内，当滑雪者发生危险动作时监控系统的自动处 理、及时发出警报非常有意义。


技术实现要素：

3.针对上述的缺陷，本发明提供基于openpose的滑雪场危险动作识别方法及 系统。
4.实现上述目的，本发明提供如下技术方案：
5.基于openpose的滑雪场危险动作识别方法，包括：
6.获取在滑雪场上人的动作视频，对视频进行分帧处理，得到视频帧；
7.通过openpose模型对视频帧进行分析，得到视频帧的关键信息；
8.判断关键信息是否条件成立，若是，则为发生危险动作，否则未发生。
9.本方法的进一步改进在于：所述通过openpose模型对视频帧进行分析，得 到视频帧的关键信息包括：
10.通过基于卷积神经网络的vgg-19作为模型的主干网络来提取输入图像的 底层特征；
11.将提取到的特征依次输入到两个并行操作的卷积神经网络结构中，其中一 个卷积神经网络使用nms来生成置信度图，通过设置置信阈值来实现对人体 关键点的定位操作，另一个卷积神经网络使用局部区域亲和算法，通过提取出 的人体关键点之间的相互作用以组成肢体；
12.对这两个卷积神经网络的处理结果进行汇总，并且采用匈牙利算法进行姿 态组合，最终实现人体姿态估计的功能。
13.本方法的进一步改进在于：所述亲和度算法具体为：运算置信度的步骤如 下：
14.运算图像上某点q在肢体c上的置信向量，这里将其记为ac(q)；
15.根据ac(q)的结果来判定点q是否在肢体c上，若在则其结果就等于肢体c 的单位向量a，否则其被判定为零向量，具体公式为：
[0016][0017]
0≤a*(q-b
i1
)≤lc[0018]
|av*(q-b
i1
)|≤wc；
[0019]
通过运算人体关键点i1与i2连接线之间的所有点的置信向量的定积分来计 算肢体c的置信度θc，公式如下：
[0020][0021]
本方法的进一步改进在于：所述判断关键信息是否条件成立，若是，则为 发生危险动作，否则未发生具体为：
[0022]
判断以下至少一个关键信息是否条件成立，若是，则为发生危险动作，否 则未发生；其中，关键信息包括：
[0023]
鼻尖、膝盖和脚部连线距离缩短速度超过阈值；
[0024]
人体姿势纵向连线与地面的夹角小于阈值；
[0025]
人体姿态发生变化，头部关键点与地面距离小于脚部关键点与地面的距离 超过阈值。
[0026]
本方法的进一步改进在于：所述判断关键信息是否条件成立，若是，则为 发生危险动作，否则未发生还包括：
[0027]
若某人有两个以上的关键点与另一人(或几人)的相同关键点之间的距离 小于预先设置的关键点阈值，则判定为两人以上发生了相撞。
[0028]
本方法的进一步改进在于：所述鼻尖、膝盖和脚部连线距离缩短速度超过 阈值具体为：
[0029]
确定鼻尖的位置s0(x0,y0)左右膝关节位置s9(x9,y9)、s
12
(x
12
,y
12
) 以及左右脚的位置s
10
(x
10
,y
10
)s
13
(x
13
,y
13
)分别连线，当两条连接线的长度 减少速度大于预先设定的阈值时判定为摔倒，连接线分为两段，一部分为膝盖 与脚部的连线，另一部分为头部与膝盖的连线；关键点之间的距离为：y1＝y
0-y9， y2＝y
9-y
10
。
[0030]
本方法的进一步改进在于：所述人体姿势纵向连线与地面的夹角小于阈值 具体为：
[0031]
两条人体纵向线的角度由此判断：将s0(x0,y0)、s
10
(x
10
,y
10
)连接，人 体倾角为：
[0032]
另一条头部与脚部的连接线角度：
[0033][0034]
基于openpose的滑雪场危险动作识别系统，包括：
[0035]
视频帧获取模块，用于获取在滑雪场上人的动作视频，对视频进行分帧处 理，得到视频帧；
[0036]
openpose视频帧分析模块，用于对视频帧进行处理，得到视频中每一帧图 像中人体骨架关节点的关键信息；
[0037]
危险动作分析判断模块，用于判断关键信息是否条件成立，若是，则为发 生危险动作，否则未发生。
[0038]
本系统的进一步改进在于：所述危险动作分析判断模块，具体用于判断以 下至少一个关键信息是否条件成立，若是，则为发生危险动作，否则未发生； 其中，关键信息包括：
[0039]
鼻尖、膝盖和脚部连线距离缩短速度超过阈值；
[0040]
人体姿势纵向连线与地面的夹角小于阈值；
[0041]
人体姿态发生变化，头部关键点与地面距离小于脚部关键点与地面的距离 超过阈值。
[0042]
基于openpose的滑雪场危险动作识别系统，包括：
[0043]
存储器，用于存储计算机程序；
[0044]
处理器，用于执行所述存储器中存储的计算机程序以实现如上述所述的基 于openpose的滑雪场危险动作识别方法的步骤。
[0045]
与现有技术相比，本发明提供的基于openpose的滑雪场危险动作识别系统 有益效果如下：
[0046]
在滑雪场内装备上本发明，可以最大范围的对场内的滑雪人员的行为进行 监测，在识别到存在危险动作时，能够及时通过及时通过系统识别并发出提示， 帮助工作人员及时定位相关人员的位置。减少受伤人员等待救助的时间，降低 由于等待时间过长而造成的二次伤害。
附图说明
[0047]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
下面将结合附图对本发明做进一步的说明，附图中：
[0049]
图1是本发明的openpose处理图片的示意图；
[0050]
图2是本发明的各个关键点的示意图；
[0051]
图3是本发明的基本流程图的示意图。
具体实施方式
[0052]
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。显 然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。
[0053]
本实施例结合附图对本发明进行详细说明：
[0054]
openpose人体姿势识别项目是由卡内基梅隆大学(cmu)开发的基于卷积 神经网络和监督学习开源库。2017年，卡内基梅隆大学的研究人员发布了 openpose人体骨骼识别
系统的源代码，实现了在视频监控下对目标的实时跟 踪。它可以在彩色视频中捕捉人体骨骼信息，并在场景中提供关节信息。如附 图1所示，视频中的一帧照片经过openpose处理后得到人体骨架图。
[0055]
openpose处理后的视频不仅能得到人体骨架图，也能够获取相应关节点的 坐标位置。
[0056]
本发明的基于openpose的滑雪场危险动作识别方法一实施例的流程图，包 含如下步骤：
[0057]
一种基于openpose的滑雪场危险动作识别方法，包含以下步骤：
[0058]
步骤一、利用监控摄像头获取视频，将获取到的视频文件保存下来，利用 matlab对保存的视频进行分帧，将得到每一帧图片输入到openpose当中。利用 openpose对视频帧进行分析，得到视频中每一帧的关键点信息。
[0059]
步骤二、基于步骤一得到的人体骨架的关键点信息进行下面的危险动作条 件判断，若是满足一下条件之一，则判断为发生危险动作：
[0060]
(1)鼻尖、膝盖和脚部连线距离缩短过快，超过预设值。
[0061]
(2)人体姿势纵向连线与地面的夹角小于预设值，头部关键点与脚部关键点 的水平位置过近。
[0062]
(3)人体姿态发生变化，头部关键点与地面距离小于脚部关键点与地面的距 离(或者两只脚部的距离差过大)。
[0063]
进一步的基于opespose的滑雪场危险动作识别方法，还包括以下步骤：
[0064]
步骤三、判断是否有两人及以上的碰撞发生，若是两人的有两个及以上的 关键点距离小于预先设置的关键点阈值，并且其中一个人或者以上的人体姿态 在短时间内发生了较大的变化，则判定为发生了相撞。
[0065]
进一步的基于opespose的滑雪场危险姿态动作识别方法，提前设置的人体 关键点距离缩短时间判断：
[0066]
确定鼻尖的位置s0(x0,y0)左右膝关节位置s9(x9,y9)、s12(x12,y12) 以及左右脚的位置s10(x10,y10)、s13(x13,y13)分别连线，当两条连接线 的长度减少速度大于预先设定的阈值时判定为摔倒，连接线分为两段，一部分 为膝盖与脚部的连线，另一部分为头部与膝盖的连线。关键点之间的距离为： y1＝y
0-y9，y2＝y
9-y
10
。
[0067]
进一步的基于openpose的滑雪场危险动作识别方法两条人体纵向线的角度 由此判断：将s0(x0,y0)、s10(x10,y10)连接，人体倾角为：另一条头部与脚部的连接线角度：
[0068]
除了单人滑雪时可能出现的摔倒这种危险情况，两个人相撞这种情况也是 有可能会出现的，为了避免因两个人相撞造成的险情，对于多人的相撞这种危 险行为也是需要进行及时的预防。双人相撞的情况可认为三种：两个人站立相 撞、一个人站立一个人摔倒然后相撞、两个人都摔倒然后相撞。其中一个人站 立一个人摔倒然后相撞、两个人都摔倒然后相撞这两种情况可以被单人摔倒检 测出来，两个人都是站立状态然后发生碰撞这种
情况需要单独设置检测情况。 对于站立相撞的情况，同样采取对于关键点距离的检测，检测的关键点设置为 s1,与另外一个人的任意两个关键点之间距离小于阈值，判定为两个人发生了碰 撞，两人以上的碰撞采取类似的方式，将某一个人的s1,关键点设定为定点，检 测与其他躯体的距离，判断是否发生碰撞。
[0069]
进一步的基于openpose的滑雪场危险动作识别方法，在进行人体关键点计 算的时候，步骤如下：使用基于卷积神经网络的vgg-19作为模型的主干网络来 提取输入图像的底层特征；然后，将提取到的特征依次输入到两个并行操作的 卷积神经网络结构中，其中一个卷积神经网络使用nms来生成置信度图，通过 设置置信阈值来实现对人体关键点的定位操作。另一个卷积神经网络使用局部 区域亲和算法，通过提取出的人体关键点之间的相互作用以组成肢体；接下来， 对这2个卷积神经网络的处理结果进行汇总，并且采用匈牙利算法进行姿态组 合，最终实现人体姿态估计的功能。
[0070]
进一步的基于openpose的滑雪场危险动作识别方法，在进行人体关键点计 算的时候，使用的亲和度算法流程如下：计算置信度的步骤如下：首先，计算 图像上某点q在肢体c上的置信向量，这里将其记为ac(q)；然后，根据ac(q) 的结果来判定点q是否在肢体c上，若在则其结果就等于肢体c的单位向量a， 否则其被判定为零向量。下面一系列公式用于判断q点是否在肢体c上，若均 成立则在，否则不在。
[0071][0072]
0≤a*(q-b
i1
)≤lc[0073]
|av*(q-b
i1
)|≤wc[0074]
最后，通过计算人体关键点i1与i2连接线之间的所有点的置信向量的定 积分来计算肢体c的置信度θc，公式如下
[0075][0076]
摔倒或者碰撞发生后，如果人能够在较短的时间内自行站起，则不需要进 行紧急处理，例如进行报警。大部分的摔倒识别都集中在对摔倒过程的分析上， 很少考虑到人体摔倒后自行站立的过程。根据对判别条件的分析，人体在摔倒 后，如果在一段时间内，人体纵向中心线与地面的倾斜角不小于预设角度即可 认为摔倒者重新站立，预设角度可以与上述的临界角度相同，即为30
°
。判断 人摔倒后能否站起的关键是减少不必要的报警，因为有时摔倒并不会对人体造 成严重伤害。
[0077]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保 护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。