基于HRNet深度学习的姿态、行为分析模块及分析方法与流程

本发明涉及人体姿态、行为分析技术领域，特别是涉及基于hrnet深度学习的姿态、行为分析模块及分析方法。

背景技术：

随着人工智能的发展与应用，人体姿态、行为分析得到了广泛关注，它在医疗、教育、审讯等领域均有着广阔的应用前景，识别的准确度和快速性直接影响了后续的视频分析系统，目前的行为分析主要是通过分析目标图像或视频，检测出人体的骨骼关节点位置信息，通过逻辑判断来识别人体动作，因此如何高效准确的检测人体关键点已经成为了行为分析领域的重中之重；

目前的人体关键点检测方法主要是在分类卷积神经网络结构的基础上，通过引入上采样操作和/或组合空洞卷积减少降采样次数来提升表征的分辨率，进而来弥补空间精度的损失，但是现有的技术存在以下问题：在这类网络结构中，最终的高分辨表征主要来源于两个部分：第一是原本的高分辨率表征，但是由于只经过了少量的卷积操作，其本身只能提供低层次的语义表达；第二是低分辨率表征通过上采样得到的高分辨率表征，其本身虽然拥有很好的语义表达能力，但是上采样本身并不能完整地弥补空间分辨率的损失。所以，最终输出的高分辨率表征所具有的空间敏感度并不高，很大程度上受限于语义表达力强的表征所对应的分辨率。

技术实现要素：

本发明的目的在于提供基于hrnet深度学习的姿态、行为分析模块及分析方法，以解决背景技术中提出的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于hrnet深度学习的姿态、行为分析模块，包括视频流获取模块，人体侦测模块，人体图片处理模块，人体关键点侦测模块，关键点信息处理模块和姿态、行为分析模块，所述视频流获取模块进行视频流获取，利用所述人体侦测模块对视频流中的图像进行人体侦测，并由人体图片处理模块裁剪出符合要求的人体图片，然后将符合要求的人体图片放入所述人体关键点侦测模块进行检测，得到身体各部位关键点的位置，利用所述关键点信息处理模块选出人体关键点中置信度大于设定阈值的点，最后由姿态、行为分析模块将关键点信息进行分类识别以及姿态预测。

所述基于hrnet深度学习的姿态、行为分析方法，包括如下步骤：

step1：获取视频流；

step2：对视频流中的图像利用目标侦测网络(yolov3)进行人体侦测，得到图像中的所有人体的位置信息以及预测置信度；

step3：选出人体预测中置信度较高的人体位置信息，根据位置信息裁剪出所有符合要求的人体图片；

step4：将裁剪出的人体图片处理后放入关键点检测模型(hrnet)进行人体关键点检测，得到图像中每个人身体各部位的关键点的位置以及预测置信度；

step5：选出人体关键点中置信度大于设定阈值的点，使用此点表示人的关键点位置；

step6：将提取的关键点信息输入预先训练好的分类器中进行分类识别以及姿态预测。

优选地，所述step4中包含以下步骤：

step7：将裁剪出的人体图片处理成192×256像素分辨率，并保留原始图片位置信息以及缩放比例；

step8：选择学习率、优化器(lookahead)，修改网络模型(卷积层、激活函数等信息)，使用gpu训练hrnet网络模型，经过迭代生成模型文件；

step9：对模型进行剪枝等优化操作，保证模型精度的同时，增加模型的推理速度；

step10：根据hrnet模型获取的人体关键点热图信息，获取人体关键点位置信息以及置信度。

优选地，所述step5中包含以下步骤：

step11：获取hrnet获取的人体关键点位置信息；

step12：结合原图人体的位置信息，获得相对于原图的人体关键点位置信息；

step13：根据关键点位置信息初步判断人体姿态。

优选地，所述step1中视频流的获取方式包括视频读入或摄像头。

优选地，所述step4中人体关键点检测包括人体眼部、肩部和胯部。

优选地，所述姿态(行为)分析方法基于计算机运行，所述计算机包括计算机显示器、计算机处理器和计算机存储器，所述计算机处理器与计算机存储器电性连接。

本发明具有以下有益效果：

本发明基于hrnet深度学习的姿态、行为分析模块及分析方法将人体图像导入hrnet模型，图像被自动压缩为192×256像素分辨率；网络模型采用重复的多尺度融合的方式，并行连接高分辨率到低分辨率的子网，利用相同深度和相似级别的低分辨率表示来提高高分辨率表示，使得高分辨率表示对于姿态的估计也很充分，预测的热图在空间上更精确。

本发明基于hrnet深度学习的姿态、行为分析模块及分析方法采用了优化器lookahead，模型的收敛速度和模型的精确度有了明显的提升，同时，优化了网络模型，降低了运算成本，提高了模型推理速度；对人体骨骼关键点进行快速准确识别，快速实现目标检测的同时又获得了远优于其它模型的准确率，具有更强的鲁棒性和泛化能力，更加适合工程应用环境。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于hrnet深度学习的姿态、行为分析方法的方法流程图；

图2为本发明的一种基于hrnet深度学习的姿态、行为分析模块的系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-2所示：本发明为一种基于hrnet深度学习的姿态、行为分析模块，包括视频流获取模块，人体侦测模块，人体图片处理模块，人体关键点侦测模块，关键点信息处理模块和姿态、行为分析模块，视频流获取模块进行视频流获取，利用人体侦测模块对视频流中的图像进行人体侦测，并由人体图片处理模块裁剪出符合要求的人体图片，然后将符合要求的人体图片放入人体关键点侦测模块进行检测，得到身体各部位关键点的位置，利用关键点信息处理模块选出人体关键点中置信度大于设定阈值的点，最后由姿态、行为分析模块将关键点信息进行分类识别以及姿态预测。

基于hrnet深度学习的姿态、行为分析方法，包括如下步骤：

step1：获取视频流；

step2：对视频流中的图像利用目标侦测网络(yolov3)进行人体侦测，得到图像中的所有人体的位置信息以及预测置信度；

step3：选出人体预测中置信度较高的人体位置信息，根据位置信息裁剪出所有符合要求的人体图片；

step4：将裁剪出的人体图片处理后放入关键点检测模型(hrnet)进行人体关键点检测，得到图像中每个人身体各部位的关键点的位置以及预测置信度；

step5：选出人体关键点中置信度大于设定阈值的点，使用此点表示人的关键点位置；

step6：将提取的关键点信息输入预先训练好的分类器中进行分类识别以及姿态预测。

其中，step4中包含以下步骤：

step7：将裁剪出的人体图片处理成192×256像素分辨率，并保留原始图片位置信息以及缩放比例；

step8：选择学习率、优化器(lookahead)，修改网络模型(卷积层、激活函数等信息)，使用gpu训练hrnet网络模型，经过迭代生成模型文件；

step9：对模型进行剪枝等优化操作，保证模型精度的同时，增加模型的推理速度；

step10：根据hrnet模型获取的人体关键点热图信息，获取人体关键点位置信息以及置信度。

其中，step5中包含以下步骤：

step11：获取hrnet获取的人体关键点位置信息；

step12：结合原图人体的位置信息，获得相对于原图的人体关键点位置信息；

step13：根据关键点位置信息初步判断人体姿态。

其中，step1中视频流的获取方式包括视频读入或摄像头。

其中，step4中人体关键点检测包括人体眼部、肩部和胯部，形成头部及肢体的支点，提升检测效果。

其中，姿态(行为)分析方法基于计算机运行，计算机包括计算机显示器、计算机处理器和计算机存储器，计算机处理器与计算机存储器电性连接，操作运行准确率高、运行效率高，使用便捷。

本发明采用高分辨率深度神经网络(high-resolutionnetwork，hrnet)，在网络整个过程中始终保持高分辨率表征，逐步引入低分辨率卷积，并且将不同分辨率的卷积并行连接；同时，本方案通过不断在多分辨率表征之间进行信息交换，来提升高分辨率和低分辨率表征的表达能力，让多分辨率表征之间更好地相互促进，hrnet与先前的分类卷积神经网络有着基础性的区别：先前的分类将分辨率从高到低的卷积串行连接，hrnet则是并行连接。

本发明中，姿态识别技术在智能监控、人机交互、视频序列理解、医疗健康、教育等众多领域扮演着越来越重要的角色；在教育领域中，为了分析学生和老师的教学行为，获得教学质量的反馈和指导，这可以通过基于深度学习网络实时分析摄像头的视频流来实现。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。