一种图像处理方法及装置、设备、存储介质与流程

本申请涉及图像处理技术，尤其涉及一种图像处理方法及装置、设备、存储介质。

背景技术：

1、目前，手势检测的方案包括：方案一、先基于运动检测估计图像的运动区域即手势所在的大致区域，再基于估计的运动区域预测手势所在的精确区域；方案二、基于第一阶段神经网络估计手势的大致区域，再基于第二阶段的神经网络根据估计的大致区域预测手势所在的精确区域。其中，方案一需要进行运动检测，因此，手势检测的精确度依赖于运送检测的精度，预测精度无法得到保证，方案二中，需要借助两阶段的网络模型，因此，手势检测的实施复杂度高。

技术实现思路

1、本申请实施例提供一种图像处理方法及装置、设备、存储介质，能够降低方案的实施复杂度。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种图像处理方法，所述方法包括：

4、将第一图像输入对象检测模型，得到所述对象检测模型输出的至少一个输出特征图，所述至少一个输出特征图包括：第一特征图和第二特征图，所述第一图像的内容包括有目标对象；所述第一特征图表征不同坐标点为所述目标对象的关键点的概率，所述第二特征图表征不同坐标点为所述目标对象的关键点的情况下目标对象在所述第一图像中占用的区域的大小；

5、基于所述第一特征图确定第一位置信息，并基于所述第一位置信息和所述第二特征图确定第二位置信息，所述第一位置信息表征所述目标对象的关键点在所述第一特征图中的位置，所述第二位置信息表征所述目标对象在所述第一图像中占用的区域的大小；

6、根据所述第一位置信息和所述第二位置信息，确定所述目标对象在所述第一图像中占用的目标区域。

7、第二方面，本申请实施例提供一种图像处理装置，包括：

8、预测模块，用于将第一图像输入对象检测模型，得到所述对象检测模型输出的至少一个输出特征图，所述至少一个输出特征图包括：第一特征图和第二特征图，所述第一图像的内容包括有目标对象；所述第一特征图表征不同坐标点为所述目标对象的关键点的概率，所述第二特征图表征不同坐标点为所述目标对象的关键点的情况下目标对象在所述第一图像中占用的区域的大小；

9、第一确定模块，用于基于所述第一特征图确定第一位置信息，并基于所述第一位置信息和所述第二特征图确定第二位置信息，所述第一位置信息表征所述目标对象的关键点在所述第一特征图中的位置，所述第二位置信息表征所述目标对象在所述第一图像中占用的区域的大小；

10、第二确定模块，用于根据所述第一位置信息和所述第二位置信息，确定所述目标对象在所述第一图像中占用的目标区域。

11、第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述电子设备实现的图像处理方法中的步骤。

12、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述电子设备实现的图像处理方法中的步骤。

13、本申请实施例提供的图像处理方法、装置、设备及存储介质，将第一图像输入对象检测模型，得到所述对象检测模型输出的至少一个输出特征图，所述至少一个输出特征图包括：第一特征图和第二特征图，所述第一图像的内容包括有目标对象；所述第一特征图表征不同坐标点为所述目标对象的关键点的概率，所述第二特征图表征不同坐标点为所述目标对象的关键点的情况下目标对象在所述第一图像中占用的区域的大小；基于所述第一特征图确定第一位置信息，并基于所述第一位置信息和所述第二特征图确定第二位置信息，所述第一位置信息表征所述目标对象的关键点在所述第一特征图中的位置，所述第二位置信息表征所述目标对象在所述第一图像中占用的区域的大小；根据所述第一位置信息和所述第二位置信息，确定所述目标对象在所述第一图像中占用的目标区域，从而对目标对象的关键点进行检测，以将第一图像中目标对象看做一个点，并基于检测的关键点和区域的大小确定目标对象所在的目标区域，从而通过单阶段的检测模型对目标对象进行检测，从而降低方案实施的复杂度。

技术特征：

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一特征图的尺寸小于所述第一图像的尺寸，所述至少一个输出特征图还包括：第三特征图，所述第三特征图表征不同坐标点对应的位置偏移量；所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述第一特征图的通道数为第一数量，所述第一数量为所述对象检测模型能够检测的目标对象的类型的数量；所述方法还包括：

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述标签包括：第一标签和第二标签，所述第一标签表征不同的坐标点为对应的样本图像中所述目标对象的关键点的概率，所述第二标签表征对应的样本图像中所述目标对象占用的区域的大小；对应的，所述预测信息中包括：第一预测信息和第二预测信息，所述第一预测信息表征预测的对应的样本图像中不同的坐标点为所述样本图像中目标对象的关键点的概率，所述第二预测信息表征预测的对应的样本图像中所述目标对象占用的区域的大小；所述基于所述标签集合和所述预测信息集合，确定感知损失，包括：

6.根据权利要求5所述的方法，其特征在于，所述标签还包括：第三标签，所述第三标签表征对应的样本图像的第一回归框，所述第一回归框为样本图像中目标对象所占用的区域；所述基于所述标签集合和所述预测信息集合，确定感知损失，还包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述第三标签和所述第三预测信息，确定第三损失，包括：

8.根据权利要求5所述的方法，其特征在于，所述第一标签表征参考图像中不同坐标点为对应的样本图像中所述目标对象的关键点的概率，所述参考图像是对应的样本图像尺寸缩小后的图像，所述标签还包括：第四标签，所述第四标签表征所述参考图像中不同坐标点相对于样本图像中对应的坐标点的偏移量，所述预测信息还包括：第四预测信息，所述第四预测信息为预测的所述参考图像中不同坐标点相对于样本图像中对应的坐标点的偏移量；所述基于所述标签集合和所述预测信息集合，确定感知损失，还包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.一种图像处理装置，其特征在于，包括：

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至9任一项所述图像处理方法中的步骤。

12.一种计算机可读存储介质，存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，实现权利要求1至9任一项所述的图像处理方法中的步骤。

技术总结
本申请公开了一种图像处理方法及装置、设备、存储介质，其中，将第一图像输入对象检测模型，得到所述对象检测模型输出的至少一个输出特征图，所述至少一个输出特征图包括：第一特征图和第二特征图；基于所述第一特征图确定第一位置信息，并基于所述第一位置信息和所述第二特征图确定第二位置信息，所述第一位置信息表征所述目标对象的关键点在所述第一特征图中的位置，所述第二位置信息表征所述目标对象在所述第一图像中占用的区域的大小；根据所述第一位置信息和所述第二位置信息，确定所述目标对象在所述第一图像中占用的目标区域。

技术研发人员：刘松
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/1/22