动作识别方法及装置、车辆控制方法及装置与流程

本申请涉及计算机，具体涉及一种动作识别方法及装置、车辆控制方法及装置。

背景技术：

1、随着信息技术的发展，越来越多的应用场景需要识别目标对象(比如人体)的行为动作，以实现智能交互或者智能控制。相关技术中，通常会通过传感器识别或者图像识别的方式进行动作识别。

2、然而，传感器识别的方式需要目标对象佩戴相应的传感器，因而较为不便。图像识别的方式会受到光照等因素的影响，因而导致动作识别结果不准确。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请实施例提供了一种动作识别方法及装置、车辆控制方法及装置。

2、第一方面，本申请实施例提供了一种动作识别方法，包括：获取目标图像帧，目标图像帧中包含目标对象；基于目标图像帧，确定在目标图像帧中目标对象的骨骼关键点；基于目标图像帧中目标对象的骨骼关键点，确定目标对象的动作对应的第一空间位置特征；确定目标对象的动作对应的周期性特征，周期性特征包括在目标图像帧之前的历史图像帧中，目标对象的动作对应的第二空间位置特征；基于第一空间位置特征和周期性特征，识别目标对象的动作。

3、在一种可能的实施方式中，确定目标对象的动作对应的周期性特征，包括：基于目标图像帧中目标对象的骨骼关键点，提取第一中间特征；基于注意力机制和目标图像帧中目标对象的骨骼关键点，提取第二中间特征，第二中间特征包括基于注意力机制和历史图像帧中目标对象的骨骼关键点，提取的第二空间位置特征；将第一中间特征和第二中间特征进行融合，得到目标对象的动作对应的周期性特征。

4、在一种可能的实施方式中，基于第一空间位置特征和周期性特征，识别目标对象的动作，包括：将第一空间位置特征和周期性特征进行融合，得到目标对象对应的动作特征；确定至少一个动作特征样本；基于目标对象对应的动作特征、以及至少一个动作特征样本，识别目标对象的动作，动作特征样本是基于完整动作对应的多幅图像帧确定的。

5、在一种可能的实施方式中，确定至少一个动作特征样本，包括：获取至少一个动作各自对应的动作视频，每个动作视频中包括完整动作对应多幅图像帧；基于至少一个动作各自对应的动作视频，确定至少一个动作各自对应的第一空间位置特征和周期性特征；将每个动作对应的第一空间位置特征和周期性特征进行融合，得到动作对应的动作特征样本。

6、在一种可能的实施方式中，在获取目标图像帧之后，该方法还包括：确定目标图像帧中目标对象的身份信息；其中，基于第一空间位置特征和周期性特征，识别目标对象的动作，包括：基于第一空间位置特征和周期性特征，从与目标对象的身份信息对应的多个预设动作中确定目标对象的动作。

7、第二方面，本申请实施例提供了一种车辆控制方法，包括：基于第一方面或第一方面任一种可能的实施方式所提及的动作识别方法，确定目标图像中的目标对象的动作；确定与目标对象的动作对应的车辆控制指令；基于车辆控制指令，控制目标车辆。

8、第三方面，本申请实施例提供了一种动作识别装置，包括：获取模块，用于获取目标图像帧，目标图像帧中包含目标对象；第一确定模块，用于基于目标图像帧，确定在目标图像帧中目标对象的骨骼关键点；第二确定模块，用于基于目标图像帧中目标对象的骨骼关键点，确定目标对象的动作对应的第一空间位置特征；第三确定模块，用于确定目标对象的动作对应的周期性特征，周期性特征包括在目标图像帧之前的历史图像帧中，目标对象的动作对应的第二空间位置特征；识别模块，用于基于第一空间位置特征和周期性特征，识别目标对象的动作。

9、第四方面，本申请实施例提供了一种车辆控制装置，包括：第一确定模块，用于基于第一方面或第一方面任一种可能的实施方式所提及的动作识别方法，确定目标图像中的目标对象的动作；第二确定模块，用于确定与目标对象的动作对应的车辆控制指令；控制模块，用于基于车辆控制指令，控制目标车辆。

10、第五方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于执行第一方面和第二方面所述的方法。

11、第六方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行第一方面和第二方面所述的方法。

12、本申请实施例提出的动作识别方法，可以先获取包含目标对象的目标图像帧，然后基于目标图像帧，确定在目标图像帧中目标对象的骨骼关键点，继而基于目标图像帧中目标对象的骨骼关键点，确定目标对象的动作对应的第一空间位置特征，并确定目标对象的动作对应的周期性特征，最后基于第一空间位置特征和周期性特征，识别目标对象的动作。

13、由于骨骼关键点并非图像本身的颜色特征，其不易受到光照等外界环境因素的影响，因此，基于骨骼关键点确定目标对象的动作特征，能够极大规避外界环境因素对识别精度的影响。此外，由于通常情况下，一个动作是由多种姿态组成的连贯行为，因此，结合历史图像帧中目标对象的动作特征识别目标对象的动作的方式，能够极大地提升识别准确度。

技术特征：

1.一种动作识别方法，其特征在于，包括：

2.根据权利要求1所述的动作识别方法，其特征在于，所述确定所述目标对象的动作对应的周期性特征，包括：

3.根据权利要求1或2所述的动作识别方法，其特征在于，所述基于所述第一空间位置特征和所述周期性特征，识别所述目标对象的动作，包括：

4.根据权利要求3所述的动作识别方法，其特征在于，所述确定至少一个动作特征样本，包括：

5.根据权利要求1或2所述的动作识别方法，其特征在于，在所述获取目标图像帧之后，所述方法还包括：

6.一种车辆控制方法，其特征在于，包括：

7.一种动作识别装置，其特征在于，包括：

8.一种车辆控制装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至5任一项所述的动作识别方法，或执行上述权利要求6所述的车辆控制方法。

10.一种电子设备，其特征在于，包括：

技术总结
本申请提供了一种动作识别方法及装置、车辆控制方法及装置，涉及计算机技术领域。该动作识别方法包括：获取目标图像帧，目标图像帧中包含目标对象；基于目标图像帧，确定在目标图像帧中目标对象的骨骼关键点；基于目标图像帧中目标对象的骨骼关键点，确定目标对象的动作对应的第一空间位置特征；确定目标对象的动作对应的周期性特征，周期性特征包括在目标图像帧之前的历史图像帧中，目标对象的动作对应的第二空间位置特征；基于第一空间位置特征和周期性特征，识别目标对象的动作。本申请基于骨骼关键点确定目标对象的动作特征，并结合历史图像帧中目标对象的动作特征识别目标对象的动作，能够极大地提升识别准确度。

技术研发人员：王赛,杨波,刘春霞,王东虎,尹岫,苏家瑞
受保护的技术使用者：北京茵沃汽车科技有限公司
技术研发日：
技术公布日：2024/1/16