一种人体动作捕捉和分类的方法及系统与流程

1.本发明涉及人体行为检测技术领域，具体而言，涉及一种人体动作捕捉和分类的方法及系统。


背景技术：

2.在智能安防领域，对于视频的应用与处理，人们往往是在事情发生之后才调取视频，而且是通过人眼从海量视频中筛查特定目标，缺乏实时性和高效性。
3.智能安防系统的产生，将传统的被动识别变为了主动识别，通过动作特征提取、动作识别、连续动作分割等任务，视频动作分析技术使得电脑能够模拟人脑对视频中的人体动作进行分析和理解，自动地识别出人体动作。
4.然而，视频动作分析当今仍然是一个具有挑战性的课题，识别任务中涉及的复杂的时空关系建模，有两个基本步骤：一是空间的动作评价，比如：帧级的动作识别，二是时间的动作路径生成，比如：视频级的动作识别。一方面，由于动作种类的多样性和人类行为的复杂变化，很难产生有意义的帧级动作建议和判别；另一方面，实际在每一帧的潜在动作区域总数内的视频持续时间呈指数增长，这对动作分析造成了很大难度。


技术实现要素：

5.鉴于此，本发明的目的在于提供一种人体动作捕捉和分类的方法及系统，实时性地提供智能安防监控范围内人体危险动作的预警能力，及时高效地管控公共场所危险行为，减少事后检索监控视频的技术难度和时间复杂度。
6.本发明提供一种人体动作捕捉和分类的方法，包括以下步骤：
7.s1、选用监控摄像头作为视频流采集硬件，将监控范围内视频流数据传输进来；
8.s2、选择人体骨骼点提取的神经网络模型；
9.s3、对静态特征和动态特征进行拼接融合得到人体动作的融合特征；
10.在进行上述静态特征和动态特征的特征提取后，在保证原始动作特征最大程度保留的情况下，较大程度上降低了数据维度；在特征融合时，将静态特征中的第一帧舍弃以达到对特征进行融合处理后，对人体动作的描述更加的全面，对于单一特征中存在的不足，特征融合后可以起到互补的效果，对人体动作得到全面的表述；
11.s4、选择人体动作分类的模型，用分类器进行人体动作识别分类；
12.s5、将所述动作识别分类的结果与预先设置的危险动作作对比分析，进行危险动作判别与危险动作报警。
13.进一步地，所述s5步骤的所述危险动作判别与危险动作报警之后还包括：
14.当出现危险动作时，将危险动作类别、发生时刻、图片或短视频数据存储到系统，方便后续查验监控数据，方便下一步多个监控范围多路视频流的大数据分析等工作的开展。
15.进一步地于，所述s5步骤的所述危险动作判别与危险动作报警的方法包括：
16.判断是否出现危险动作，如所述动作识别分类的结果与预先设置的危险动作对比分析成功，则表示该监控范围内出现危险动作，系统立即发出危险动作报警；
17.如所述动作识别分类的结果与预先设置的危险动作对比分析不成功，则表示该监控范围内未出现危险动作，系统不报警。
18.进一步地，所述选择人体骨骼点提取的神经网络模型的方法包括：选择openpose模型作为人体骨骼点提取模型，考虑到系统处理的实时性要求，所以选择了openpose模型作为人体骨骼点提取模型。
19.进一步地，所述s3步骤的所述对静态特征和动态特征进行拼接融合得到人体动作的融合特征的方法包括：
20.通过人体骨架模型简化以及静态特征和动态特征的建立，经过特征融合，使得原始骨骼数据中的60维数据降低为由11个肢体夹角、8个重要关节点的相对距离、人体模型中所有13个关节点的关节动能以及11个肢体夹角的角加速度构成的43维数据。
21.进一步地，所述s4步骤的所述选择人体动作分类的模型，用分类器进行人体动作的识别分类的方法包括：
22.不同的分类算法对分类的结果有一定的差异；动作的识别分类是人体动作识别问题中最主要的部分，选择一个与特征相匹配而且识别分类准确率高的分类器是人体动作识别的一大核心问题；考虑到结果准确率和系统处理实时性等需求，所以选择基于空间维度和时间维度的神经网络模型，作为人体动作分类模型。
23.本发明还提供一种人体动作捕捉和分类的系统，执行上述所述的人体动作捕捉和分类的方法，包括：
24.视频流采集模块：用于视频流采集，选用监控摄像头作为视频流采集硬件，将监控范围内视频流数据传输进来；
25.人体骨骼点提取模块：用于选择人体骨骼点提取的神经网络模型；
26.动作特征提取模块：对静态特征和动态特征进行拼接融合得到人体动作的融合特征；
27.动作分类模块：用于选择人体动作分类的模型，用分类器进行人体动作识别分类；
28.危险动作判别与报警模块：将所述动作识别分类的结果与预先设置的危险动作作对比分析，进行危险动作判别与危险动作报警。
29.进一步地，所述人体动作捕捉和分类的系统，还包括：
30.数据存储模块：用于当出现危险动作时将危险动作类别、发生时刻、图片或短视频数据存储到系统。
31.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的人体动作捕捉和分类的方法的步骤。
32.本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的人体动作捕捉和分类的方法的步骤。
33.与现有技术相比，本发明的有益效果在于：
34.本发明将监控范围内视频流进行实时动作分析，一旦出现预设危险动作立即发出报警，实时性强；预设危险动作的设置步骤简单方便，只需少量采集该动作视频；多路视频
流同时分析，相较于传统的人眼检索，高效快捷；视频采集硬件通用性好，相较于专用于kinect深度相机的方案，性价比得到很大提高。
附图说明
35.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
36.在附图中：
37.图1为本发明一种人体动作捕捉和分类的方法的流程图；
38.图2为本发明实施例计算机设备的构成图；
39.图3为本发明实施例人体动作捕捉和分类的方法的流程框图；
40.图4为本发明实施例人体骨架模型的简化示意图。
具体实施方式
41.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和产品的例子。
42.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
43.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
44.下面结合附图对本发明实施例作进一步详细说明。
45.本发明实施例提供一种人体动作捕捉和分类的方法，参见图1所示，包括如下步骤：
46.s1、选用监控摄像头作为视频流采集硬件，将监控范围内视频流数据传输进来；
47.本发明实施例中，选用安防领域常用的监控摄像头作为视频流采集硬件；
48.s2、选择人体骨骼点提取的神经网络模型；
49.优选地，选择openpose模型作为人体骨骼点提取模型，考虑到系统处理的实时性要求，所以本发明实施例选择了openpose模型作为人体骨骼点提取模型；
50.s3、对静态特征和动态特征进行拼接融合得到人体动作的融合特征；
51.在进行上述静态特征和动态特征的特征提取后，通过人体骨架模型简化以及静态特征和动态特征的建立，图4为本发明实施例人体骨架模型的简化示意，经过特征融合，使得原始骨骼数据中的60维数据降低为由11个肢体夹角、8个重要关节点的相对距离、人体模
型中所有13个关节点的关节动能以及11个肢体夹角的角加速度构成的43维数据；在保证原始动作特征最大程度保留的情况下，较大程度上降低了数据维度；在特征融合时，将静态特征中的第一帧舍弃以达到对特征进行融合处理后，对人体动作的描述更加的全面，对于单一特征中存在的不足，特征融合后可以起到互补的效果，对人体动作得到全面的表述；
52.s4、选择人体动作分类的模型，用分类器进行人体动作识别分类；
53.具体地，不同的分类算法对分类的结果有一定的差异；动作的识别分类是人体动作识别问题中最主要的部分，选择一个与特征相匹配而且识别分类准确率高的分类器是人体动作识别的一大核心问题；考虑到结果准确率和系统处理实时性等需求，所以本发明实施例选择基于空间维度和时间维度的神经网络模型，作为人体动作分类模型。
54.s5、将所述动作识别分类的结果与预先设置的危险动作作对比分析，进行危险动作判别与危险动作报警；
55.所述危险动作判别与危险动作报警的方法包括：
56.判断是否出现危险动作，如所述动作识别分类的结果与预先设置的危险动作对比分析成功，则表示该监控范围内出现危险动作，系统立即发出危险动作报警；
57.如所述动作识别分类的结果与预先设置的危险动作对比分析不成功，则表示该监控范围内未出现危险动作，系统不报警。
58.所述s5步骤的所述危险动作判别与危险动作报警之后还包括：
59.当出现危险动作时，将危险动作类别、发生时刻、图片或短视频数据存储到系统，方便后续查验监控数据，方便下一步多个监控范围多路视频流的大数据分析等工作的开展。
60.本发明实施例人体动作捕捉和分类的方法的流程参见图3所示；
61.本发明实施例还提供一种人体动作捕捉和分类的系统，执行上述所述的人体动作捕捉和分类的方法，包括：
62.视频流采集模块：用于视频流采集，选用监控摄像头作为视频流采集硬件，将监控范围内视频流数据传输进来；
63.人体骨骼点提取模块：用于选择人体骨骼点提取的神经网络模型；
64.动作特征提取模块：对静态特征和动态特征进行拼接融合得到人体动作的融合特征；
65.动作分类模块：用于选择人体动作分类的模型，用分类器进行人体动作识别分类；
66.危险动作判别与报警模块：将所述动作识别分类的结果与预先设置的危险动作作对比分析，进行危险动作判别与危险动作报警。
67.所述人体动作捕捉和分类的系统还包括：
68.数据存储模块：用于当出现危险动作时将危险动作类别、发生时刻、图片或短视频数据存储到系统。
69.本发明实施例将监控范围内视频流进行实时动作分析，一旦出现预设危险动作立即发出报警，实时性强；预设危险动作的设置步骤简单方便，只需少量采集该动作视频；多路视频流同时分析，相较于传统的人眼检索，高效快捷；视频采集硬件通用性好，相较于专用于kinect深度相机的方案，性价比得到很大提高。
70.本发明实施例还提供一种计算机设备，图2是本发明实施例提供的一种计算机设
备的结构示意图；参见附图图2所示，该计算机设备包括：输入装置23、输出装置24、存储器22和处理器21；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例提供的人体动作捕捉和分类的方法；其中输入装置23、输出装置24、存储器22和处理器21可以通过总线或者其他方式连接，图2中以通过总线连接为例。
71.存储器22作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例所述的人体动作捕捉和分类的方法对应的程序指令；存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
72.输入装置23可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出装置24可包括显示屏等显示设备。
73.处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人体动作捕捉和分类的方法。
74.上述提供的计算机设备可用于执行上述实施例提供的人体动作捕捉和分类的方法，具备相应的功能和有益效果。
75.本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的人体动作捕捉和分类的方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
76.当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的人体动作捕捉和分类的方法，还可以执行本发明任意实施例所提供的人体动作捕捉和分类的方法中的相关操作。
77.结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
78.以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、
等同替换、改进等，均应包含在本发明的保护范围之内。