单目标姿态估计方法、装置以及电子设备

本申请涉及计算机视觉，具体而言，本申请涉及一种单目标姿态估计方法、装置以及电子设备。

背景技术：

1、目标姿态估计是指从二维图像或视频对目标的关键点进行定位，以准确理解目标的行为。目标姿态估计在许多领域都有广泛的应用，可以帮助我们更好地理解和控制物体和运动，其精度对下游任务的效果有着重要的影响，例如，现代生物学的一个重要课题是理清神经活动和行为之间的关系，而姿态估计是其中重要一步，准确的姿态估计可以保证行为-神经活动分析的精细度。

2、因此姿态估计需要足够的准确度，然而，目前的姿态估计方法都是基于卷积神经网络实现的，卷积运算本身存在一定的局限性，只能捕获一定范围内的图像特征关系，无法建立起超出卷积核范围的像素点之间的关系，导致出现点漂现象，目标关键点检测准确率不高，姿态估计的准确性较低；此外，一些用于姿态估计的模型参数较多、训练成本高。

3、由上可知，现有技术中存在姿态估计准确性较低、模型训练成本高的技术问题。

技术实现思路

1、本申请提供了一种单目标姿态估计方法、装置以及电子设备，可以解决相关技术中存在的姿态估计准确性较低、模型训练成本高的技术问题。所述技术方案如下：

2、根据本申请的一个方面，一种单目标姿态估计方法，包括：获取目标的待处理图像；对所述待处理图像中感受野范围内的图像特征进行学习，得到至少一个局部特征图；所述局部特征图反映了待处理图像在不同位置的局部特征；基于至少一个所述局部特征图，建立所述待处理图像中超过感受野范围的图像特征之间的联系，得到全局特征图；通过各所述局部特征图与所述全局特征图进行的特征融合，得到关键点信息图；基于所述关键点信息图进行所述目标的姿态估计，得到姿态估计结果；所述姿态估计结果包括所述目标在所述待处理图像中的关键点位置。

3、根据本申请的一个方面，一种单目标姿态估计装置，包括：图像获取模块，用于获取目标的待处理图像；局部特征图获取模块，用于对所述待处理图像中感受野范围内的图像特征进行学习，得到至少一个局部特征图；所述局部特征图反映了待处理图像在不同位置的局部特征；全局特征图获取模块，用于基于至少一个所述局部特征图，建立所述待处理图像中超过感受野范围的图像特征之间的联系，得到全局特征图；特征融合模块，用于通过各所述局部特征图与所述全局特征图进行的特征融合，得到关键点信息图；姿态估计模块，用于基于所述关键点信息图进行所述目标的姿态估计，得到姿态估计结果；所述姿态估计结果包括所述目标在所述待处理图像中的关键点位置。

4、在一示例性实施例中，所述局部特征图是调用cnn网络得到的；所述cnn网络包括至少一个残差模块、至少一个卷积层、以及至少一个池化层；所述局部特征图获取模块包括：初始特征提取单元，用于通过所述残差模块，对所述待处理图像进行初始特征提取，得到初始特征图；二次特征提取单元，用于通过所述卷积层和/或池化层，对所述初始特征图进行二次特征提取，得到多个局部特征图。

5、在一示例性实施例中，所述全局特征图是调用transformer网络得到的；所述全局特征图获取模块包括：展平单元，用于将至少一个所述局部特征图展平为一维向量；位置嵌入单元，用于对所述一维向量进行位置嵌入后输入所述transformer网络学习所述待处理图像中长距离像素点的依赖关系，得到所述全局特征图。

6、在一示例性实施例中，所述位置嵌入单元包括：融合子单元，用于为所述一维向量中每个元素分配相应的的位置嵌入向量，并将所述位置嵌入向量与所述一维向量融合，得到包含位置信息的所述一维向量；transformer子单元，用于将包含位置信息的所述一维向量输入所述transformer网络，使得所述transformer网络利用位置信息来学习所述待处理图像中不同位置的像素点之间的关系，得到所述全局特征图。

7、在一示例性实施例中，所述特征融合模块包括：图像联结单元，用于将所述局部特征图和全局特征图进行图像联结，得到目标特征图；关键点信息图获取单元，用于对所述目标特征图进行卷积操作，得到所述关键点信息图。

8、在一示例性实施例中，所述关键点信息图包括关键点热图和关键点位置优化图；所述姿态估计模块包括：关键点位置识别单元，用于根据所述关键点热图和关键点位置优化图，识别所述目标在所述待处理图像中的关键点位置，得到所述姿态估计结果。

9、在一示例性实施例中，所述关键点位置识别单元包括：最大值索引确定子单元，用于确定各所述关键点热图的最大值索引；搜索子单元，用于搜索所述关键点位置优化图在所述最大值索引处的数值；关键点位置获取子单元，用于根据所述最大值索引和所述关键点位置优化图在所述最大值索引处的数值，得到所述目标的关键点位置。

10、在一示例性实施例中，所述关键点信息图还包括由各所述关键点位置按照骨架关系连接形成的骨架图；所述单目标姿态估计装置还包括：类别预测模块，用于根据所述骨架图对所述目标的类别进行预测，得到所述目标的类别。

11、根据本申请的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的单目标姿态估计方法。

12、根据本申请的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的单目标姿态估计方法。

13、根据本申请的一个方面，一种计算机程序产品，计算机程序产品包括计算机可读指令，计算机可读指令存储在存储介质中，电子设备的一个或多个处理器从存储介质读取计算机可读指令，加载并执行该计算机可读指令，使得电子设备实现如上所述的单目标姿态估计方法。

14、本申请提供的技术方案带来的有益效果是：在上述技术方案中，获取目标的图像，对图像中感受野范围内的图像特征进行学习，得到局部特征图(可以反映待处理图像在不同位置的局部特征)，再对图像中超过感受野范围的图像特征之间的联系进行学习，得到全局特征图，根据局部特征图与全局特征图得到关键点信息图，最后基于关键点信息图进行姿态估计。分别对待处理图像不同的特征进行学习，得到多个具有不同侧重特征的特征图，结合这些特征图来获取关键点信息图，进而实现对目标的姿态估计，克服了现有技术方案中只能捕获待处理图像中一定范围内的图像特征关系的不足，建立超出感受野范围的长距离图像特征的联系，减轻了点漂现象，提高姿态估计的准确性，并且本申请方案简单易行，模型训练量不高，减小了训练成本。

技术特征：

1.一种单目标姿态估计方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述局部特征图是调用cnn网络得到的；所述cnn网络包括至少一个残差模块、至少一个卷积层、以及至少一个池化层；

3.如权利要求1所述的方法，其特征在于，所述全局特征图是调用transformer网络得到的；

4.如权利要求3所述的方法，其特征在于，所述对所述一维向量进行位置嵌入后输入所述transformer网络学习所述待处理图像中长距离像素点的依赖关系，得到所述全局特征图，包括：

5.如权利要求1所述的方法，其特征在于，所述通过各所述局部特征图与所述全局特征图进行的特征融合，得到关键点信息图，包括：

6.如权利要求1所述的方法，其特征在于，所述关键点信息图包括关键点热图和关键点位置优化图；

7.如权利要求6所述的方法，其特征在于，所述根据所述关键点热图和关键点位置优化图，识别所述目标在所述待处理图像中的关键点位置，得到所述姿态估计结果，包括：

8.如权利要求1至7任一项所述的方法，所述关键点信息图还包括由各所述关键点位置按照骨架关系连接形成的骨架图；

9.一种单目标姿态估计装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：至少一个处理器以及至少一个存储器，其中，

技术总结
本申请提供了一种单目标姿态估计方法、装置以及电子设备，涉及计算机视觉技术领域。其中，单目标姿态估计方法包括：获取目标的待处理图像；对所述待处理图像中感受野范围内的图像特征进行学习，得到至少一个局部特征图；所述局部特征图反映了待处理图像在不同位置的局部特征；基于至少一个所述局部特征图，建立所述待处理图像中超过感受野范围的图像特征之间的联系，得到全局特征图；通过各所述局部特征图与所述全局特征图进行的特征融合，得到关键点信息图；基于所述关键点信息图进行所述目标的姿态估计，得到姿态估计结果；所述姿态估计结果包括所述目标在所述待处理图像中的关键点位置。本申请解决了相关技术中姿态估计准确性较低、模型训练成本高的技术问题。

技术研发人员：唐国令,韩亚宁,蔚鹏飞
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：
技术公布日：2024/1/15