用户姿态的识别方法、装置、电子设备及存储介质与流程

本发明涉及人工智能，特别是涉及一种用户姿态的识别方法、一种用户姿态的识别装置、一种电子设备以及一种计算机可读存储介质。

背景技术：

1、随着网络技术的发展，通过服务器进行数据处理、网络通信等已经成为重要的方式，保证服务器的稳定运行是保证数据处理、网络通信等的基础。其中，在机房中可以部署有多个服务器，在机房中作业需要严格按照相应的作业规范。然而，在实际中，存在部分工作人员不遵守作业规范，从而在作业过程中，容易对机房设备造成破坏，进而影响机房的稳定运行。

技术实现思路

1、本发明实施例是提供一种用户姿态的识别方法、装置、电子设备以及计算机可读存储介质，以解决或部分解决无法对进入机房的用户的用户姿态进行识别的问题。

2、本发明实施例公开了一种用户姿态的识别方法，应用于机房管理设备，所述机房管理设备包括至少一个图像采集传感器，所述方法包括：

3、获取所述图像采集传感器采集的视频流；

4、若从所述视频流中识别出进入机房的目标用户，则从所述视频流中提取显示有所述目标用户的目标视频帧；

5、获取所述目标用户在所述目标视频帧中的区域尺寸以及分辨率，并根据所述区域尺寸与所述分辨率对所述目标用户进行模型提取，获得所述目标用户对应的人体关键点；

6、获取所述目标用户的用户属性，并根据每个目标视频帧对应的所述用户属性和所述人体关键点对所述目标用户进行姿态识别，输出所述目标用户的用户姿态。

7、在一些可行的实现方式中，所述若从所述视频流中识别出进入机房的目标用户，则从所述视频流中提取显示有所述目标用户的目标视频帧，包括：

8、获取针对所述视频流的姿态识别模型，所述姿态识别模型至少包括特征提取网络、与所述特征提取网络连接的编码器、与所述编码器连接的感知查询层以及与所述感知查询层连接的解码器；

9、将所述视频流输入所述特征提取网络，获得视频流对应的多层级特征表示；

10、将所述多层级特征表示输入所述编码器进行转换，获得图像流；

11、将所述图像流输入所述感知查询层进行筛选，获得预设数量的图像特征；

12、将所述图像特征输入所述解码器进行迭代优化，获得显示有进入机房的目标用户的目标视频帧，并在所述目标视频帧中添加针对所述目标用户的目标框。

13、在一些可行的实现方式中，所述根据所述区域尺寸与所述分辨率对所述目标用户进行模型提取，获得所述目标用户对应的人体关键点，包括：

14、获取针对所述目标框的人体姿态算法，所述人体姿态算法包括轻量化姿态算法以及深度姿态算法，所述轻量化姿态算法和所述深度姿态算法用于对人体姿态进行识别；

15、将区域尺寸小于或等于第一预设阈值，和/或，分辨率小于或等于第二预设阈值的目标框作为第一标注框，并采用所述轻量化姿态算法对所述第一标注框中的第一用户进行关键点检测，获得所述第一用户对应的人体关键点；

16、将区域尺寸大于所述第一预设阈值，且，分辨率大于所述第二预设阈值的目标框作为第二标注框，并采用所述深度姿态算法对所述第二标注框中的第二用户进行关键点检测，获得所述第二用户对应的人体关键点。

17、在一些可行的实现方式中，所述根据每个目标视频帧对应的所述用户属性和所述人体关键点对所述目标用户进行姿态识别，输出所述目标用户的用户姿态，包括：

18、获取针对所述目标用户的姿态识别模型；

19、将每个目标视频帧对应的所述用户属性和所述人体关键点输入所述姿态识别模型进行姿态识别，输出所述目标用户的用户姿态。

20、在一些可行的实现方式中，所述姿态识别模型至少包括特征映射层、与所述特征映射层连接的图卷积网络和时间卷积网络、与所述图卷积网络和所述时间卷积网络连接的平均池化层、与所述平均池化层连接的全连接层以及softmax层，所述将每个目标视频帧对应的所述用户属性和所述人体关键点输入所述姿态识别模型进行姿态识别，输出所述目标用户的用户姿态，包括：

21、将每个目标视频帧对应的所述用户属性和所述人体关键点输入所述特征映射层进行特征映射，获得对应的五维矩阵，所述五维矩阵由视频数据量、关节特征向量、所述目标视频帧的数量、关节的数量以及所述目标用户的用户数量；

22、采用所述图卷积网络对所述关节特征向量与所述关节的数量进行空间维度变换，获得所述目标用户中关节之间的空间关联特征；

23、采用所述时间卷积网络对所述视频数据量与所述目标视频帧的数量进行时间维度变换，获得所述目标视频帧之间的时间关联特征；

24、采用所述平均池化层对所述空间关联特征和所述时间关联特征进行整合，获得融合特征；

25、将所述融合特征输入所述softmax层进行特征分类，输出所述目标用户的用户姿态。

26、在一些可行的实现方式中，所述获取所述目标用户的用户属性，包括：

27、将所述目标用户所属的目标视频帧输入预设的行人识别模型，获得所述目标用户的用户属性；

28、其中，所述用户属性至少包括性别、年龄、朝向、配饰、是否持物、包饰类型、上衣风格、下衣风格、是否为短袖上衣、是否为长袖上衣、是否为长外套、是否为长裤、是否为短裤、是否为裙子、是否穿鞋中的一种。

29、在一些可行的实现方式中，还包括：

30、将所述用户姿态与饮酒用户姿态进行匹配；

31、若匹配成功，则输出针对所述目标用户的饮酒提示信息；

32、若匹配失败，则不执行任何处理。

33、本发明实施例还公开了一种用户姿态的识别装置，应用于机房管理设备，所述机房管理设备包括至少一个图像采集传感器，所述装置包括：

34、视频流获取模块，用于获取所述图像采集传感器采集的视频流；

35、视频帧提取模块，用于若从所述视频流中识别出进入机房的目标用户，则从所述视频流中提取显示有所述目标用户的目标视频帧；

36、关键点识别模块，用于获取所述目标用户在所述目标视频帧中的区域尺寸以及分辨率，并根据所述区域尺寸与所述分辨率对所述目标用户进行模型提取，获得所述目标用户对应的人体关键点；

37、姿态识别模块，用于获取所述目标用户的用户属性，并根据每个目标视频帧对应的所述用户属性和所述人体关键点对所述目标用户进行姿态识别，输出所述目标用户的用户姿态。

38、在一些可行的实现方式中，所述视频帧提取模块具体用于：

39、获取针对所述视频流的姿态识别模型，所述姿态识别模型至少包括特征提取网络、与所述特征提取网络连接的编码器、与所述编码器连接的感知查询层以及与所述感知查询层连接的解码器；

40、将所述视频流输入所述特征提取网络，获得视频流对应的多层级特征表示；

41、将所述多层级特征表示输入所述编码器进行转换，获得图像流；

42、将所述图像流输入所述感知查询层进行筛选，获得预设数量的图像特征；

43、将所述图像特征输入所述解码器进行迭代优化，获得显示有进入机房的目标用户的目标视频帧，并在所述目标视频帧中添加针对所述目标用户的目标框。

44、在一些可行的实现方式中，所述关键点识别模块具体用于：

45、获取针对所述目标框的人体姿态算法，所述人体姿态算法包括轻量化姿态算法以及深度姿态算法，所述轻量化姿态算法和所述深度姿态算法用于对人体姿态进行识别；

46、将区域尺寸小于或等于第一预设阈值，和/或，分辨率小于或等于第二预设阈值的目标框作为第一标注框，并采用所述轻量化姿态算法对所述第一标注框中的第一用户进行关键点检测，获得所述第一用户对应的人体关键点；

47、将区域尺寸大于所述第一预设阈值，且，分辨率大于所述第二预设阈值的目标框作为第二标注框，并采用所述深度姿态算法对所述第二标注框中的第二用户进行关键点检测，获得所述第二用户对应的人体关键点。

48、在一些可行的实现方式中，所述姿态识别模块具体用于：

49、获取针对所述目标用户的姿态识别模型；

50、将每个目标视频帧对应的所述用户属性和所述人体关键点输入所述姿态识别模型进行姿态识别，输出所述目标用户的用户姿态。

51、在一些可行的实现方式中，所述姿态识别模型至少包括特征映射层、与所述特征映射层连接的图卷积网络和时间卷积网络、与所述图卷积网络和所述时间卷积网络连接的平均池化层、与所述平均池化层连接的全连接层以及softmax层，所述姿态识别模块具体用于：

52、将每个目标视频帧对应的所述用户属性和所述人体关键点输入所述特征映射层进行特征映射，获得对应的五维矩阵，所述五维矩阵由视频数据量、关节特征向量、所述目标视频帧的数量、关节的数量以及所述目标用户的用户数量；

53、采用所述图卷积网络对所述关节特征向量与所述关节的数量进行空间维度变换，获得所述目标用户中关节之间的空间关联特征；

54、采用所述时间卷积网络对所述视频数据量与所述目标视频帧的数量进行时间维度变换，获得所述目标视频帧之间的时间关联特征；

55、采用所述平均池化层对所述空间关联特征和所述时间关联特征进行整合，获得融合特征；

56、将所述融合特征输入所述softmax层进行特征分类，输出所述目标用户的用户姿态。

57、在一些可行的实现方式中，所述姿态识别模块具体用于：

58、将所述目标用户所属的目标视频帧输入预设的行人识别模型，获得所述目标用户的用户属性；

59、其中，所述用户属性至少包括性别、年龄、朝向、配饰、是否持物、包饰类型、上衣风格、下衣风格、是否为短袖上衣、是否为长袖上衣、是否为长外套、是否为长裤、是否为短裤、是否为裙子、是否穿鞋中的一种。

60、在一些可行的实现方式中，还包括：

61、姿态匹配模块，用于将所述用户姿态与预设异常用户姿态进行匹配；

62、提示输出模块，用于若匹配成功，则输出针对所述目标用户的异常提示信息；

63、执行模块，用于若匹配失败，则不执行任何处理；

64、其中，所述异常用户姿态至少包括饮酒用户姿态、抽烟用户姿态、攻击姿态、摔倒姿态中的一种。

65、本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

66、所述存储器，用于存放计算机程序；

67、所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。

68、本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。

69、本发明实施例包括以下优点：

70、在本发明实施例中，可以应用于机房管理设备，机房管理设备包括至少一个图像采集传感器，通过获取图像采集传感器采集的视频流，若从视频流中识别出进入机房的目标用户，则从视频流中提取显示有目标用户的目标视频帧，接着获取目标用户在目标视频帧中的区域尺寸以及分辨率，并根据区域尺寸与分辨率对目标用户进行模型提取，获得目标用户对应的人体关键点，然后获取目标用户的用户属性，并根据每个目标视频帧对应的用户属性和人体关键点对目标用户进行姿态识别，输出目标用户的用户姿态，从而通过对用户姿态进行识别，机房管理设备可以实时监测和识别进入机房的用户的姿态，有利于提高机房的安全性和管理效率。