行为类别的识别方法和装置与流程

本公开涉及计算机视觉领域，尤其涉及一种行为类别的识别方法和装置。

背景技术：

1、在一些场景中，用户对象的一些行为可能对场景内的安全生产、安全作业或安全经营等具有重要的影响，需要及时制止。比如，在智能加油站场景中，加油过程中打电话、抽烟等行为对加油员、顾客以及加油站的安全都会造成极大的威胁。因此，为了保障这些场景下的安全性，如何识别场景内的危险行为，以对执行危险行为的对象进行及时制止是非常重要的。

2、但是，目前场景内的用户对象的行为主要依靠人工监控和识别，人工监控和识别用户对象的行为的方式需要消耗巨大的人力和物力，并且，人工监控可能导致场景内行为监控的误报和漏报，准确性和时效性较差。

技术实现思路

1、本公开的目的旨在至少在一定程度上解决上述技术问题之一。

2、为此，本公开的第一个目的在于提出一种行为类别的识别方法，通过获取用于指示目标对象的全局动作的第一特征和用于指示目标对象的局部动作的第二特征，并对第一特征进行行为类别分数预测得到的第一得分和对第二特征进行行为类别分数预测得到的第二得分进行加权求和，得到目标得分，从而，根据目标得分预测目标对象所属的目标行为类别，实现了无需人工监控目标对象的行为，节省了人力和物力，并且根据骨架拓扑结构所指示的目标对象的骨架的多个维度的特征进行行为类别识别，提高了场景内目标对象的行为识别的准确性和时效性。

3、本公开的第二个目的在于提出一种行为类别的识别装置。

4、本公开的第三个目的在于提出一种电子设备。

5、本公开的第四个目的在于提出一种计算机可读存储介质。

6、为达上述目的，本公开第一方面实施例提出了一种行为类别的识别方法，包括：获取骨架拓扑结构；其中，所述骨架拓扑结构是对待识别图像中的目标对象进行关节关键点检测，并对各关节关键点进行连接得到的；获取所述骨架拓扑结构所指示的所述目标对象的骨架的第一特征和第二特征，其中，所述第一特征用于指示所述目标对象的全局动作，所述第二特征用于指示所述目标对象的局部动作；分别对所述第一特征和所述第二特征进行行为类别分数预测，以得到第一得分和第二得分；对所述第一得分和所述第二类别得分进行加权求和，以得到目标得分；根据所述目标得分，预测所述目标对象所属的目标行为类别。

7、为达上述目的，本公开第二方面实施例提出了一种行为类别的识别装置，第一获取模块，用于获取骨架拓扑结构；其中，所述骨架拓扑结构是对待识别图像中的目标对象进行关节关键点检测，并对各关节关键点进行连接得到的；第二获取模块，用于获取所述骨架拓扑结构所指示的所述目标对象的骨架的第一特征和第二特征，其中，所述第一特征用于指示所述目标对象的全局动作，所述第二特征用于指示所述目标对象的局部动作；第一预测模块，用于分别对所述第一特征和所述第二特征进行行为类别分数预测，以得到第一得分和第二得分；加权模块，用于对所述第一得分和所述第二类别得分进行加权求和，以得到目标得分；第二预测模块，用于根据所述目标得分，预测所述目标对象所属的目标行为类别。

8、为达上述目的，本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述第一方面实施例所述的行为类别的识别方法。

9、为了实现上述目的，本公开第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上第一方面实施例所述的行为类别的识别方法。

10、根据本公开实施例的第五方面，提供一种计算机程序产品，包括：计算机程序，所述计算机程序被处理器执行时实现如本公开第一方面实施例所述的行为类别的识别方法。

11、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

技术特征：

1.一种行为类别的识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取所述骨架拓扑结构所指示的目标对象的骨架的第一特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述坐标矩阵进行池化操作，以得到池化矩阵，包括：

4.根据权利要求2所述的方法，其特征在于，所述第一时空图卷积网络中的任一网络层对所述任一网络层的输入执行以下操作：

5.根据权利要求2所述的方法，其特征在于，获取所述骨架拓扑结构的所指示的所述目标对象的骨架的第二特征，包括：

6.根据权利要求5所述的方法，其特征在于，采用第二时空图卷积网络包括多个时空图卷积层，所述将所述第二邻接矩阵和所述坐标矩阵输入至第二时空图卷积网络中，以得到第二时空图卷积网络输出的所述第二特征，包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述第二邻接矩阵和所述坐标矩阵输入至所述多个时空图卷积层，以得到所述多个时空卷积层中最后一个时空图卷积层输出的时空特征矩阵，包括：

8.根据权利要求1所述的方法，其特征在于，所述根据所述目标得分，预测所述目标对象所属的目标行为类别，包括：

9.一种行为类别的识别装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的行为类别的识别方法。

技术总结
本公开提出一种行为类别的识别方法和装置，其中方法包括：获取骨架拓扑结构；其中，骨架拓扑结构是对待识别图像中的目标对象进行关节关键点检测，并对各关节关键点进行连接得到的；获取骨架拓扑结构所指示的目标对象的骨架的第一特征和第二特征，其中，第一特征用于指示目标对象的全局动作，第二特征用于指示目标对象的局部动作；分别对第一特征和第二特征进行行为类别分数预测，以得到第一得分和第二得分；对第一得分和第二得分进行加权求和，以得到目标得分；根据目标得分，预测目标对象所属的目标行为类别，由此，无需人工监控目标对象的行为，节省了人力和物力，提高了场景内目标对象的行为识别的准确性和时效性。

技术研发人员：杨秀中,邱忠祥,刘春慧,黄丽达,李志鹏,王晓萌,秦阳阳
受保护的技术使用者：北京辰安科技股份有限公司
技术研发日：
技术公布日：2024/1/15