一种对象处理方法、装置、存储介质及电子设备与流程

本说明书涉及计算机，尤其涉及一种对象处理方法、装置、存储介质及电子设备。

背景技术：

1、诸如元宇宙、数字孪生等虚拟场景在近年来得到了广泛的关注入，在元宇宙、数字孪生等场景下最为关键的进行虚拟对象的驱动，使得虚拟对象在诸如元宇宙等虚拟场景中可以如实体对象在真实物理世界中一样自然地运动和交流。

技术实现思路

1、本说明书提供了一种对象处理方法、装置、存储介质及电子设备，所述技术方案如下：

2、第一方面，本说明书提供了一种对象处理方法，所述方法包括：

3、获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

4、基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；

5、获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

6、基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

7、第二方面，本说明书提供了一种对象处理装置，所述装置包括：

8、图像获取模块，用于获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

9、关键点确定模块，用于基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数

10、搜索调整模块，用于获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

11、驱动处理模块，用于基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

12、第三方面，本说明书提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

13、第四方面，本说明书提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

14、本说明书一些实施例提供的技术方案带来的有益效果至少包括：

15、在本说明书一个或多个实施例中，电子设备通过从获取的实体对象图像中确定针对虚拟对象的多个关键点以及关键点的不确定性参数，以区分多个基础关键点以及多个第一参考关键点，然后基于虚拟对象对应的虚拟对象图像和实体对象图像对多个不确定性程度高的第一参考关键点进行区域搜索调整，可以得到针对第一参考关键点的第二参考关键点，从而就可以基于基础关键点和第二参考关键点对虚拟对象进行对象驱动处理。整个对象处理过程可以摆脱高精度传感监测器件的依赖仅需基于易获取的实体对象图像和虚拟对象图像实现，通过区分不确定性程度不同的基础关键点和第一关键点，对于不确定性程度高的第一参考关键点基于虚拟对象图像来进行不确定性调整，可得到精度较高的关键点辅助虚拟对象驱动，优化了虚拟对象驱动的流程，极大的提升了对象驱动的便捷性。

技术特征：

1.一种对象处理方法，所述方法包括：

2.根据权利要求1所述的方法，所述从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，包括：

3.根据权利要求2所述的方法，所述方法还包括：

4.根据权利要求3所述的方法，所述基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，包括：

5.根据权利要求1所述的方法，所述基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，包括：

6.根据权利要求1所述的方法，所述基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点，包括：

7.根据权利要求6所述的方法，所述通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理得到所述虚拟对象图像中的目标关键点区域，包括：

8.根据权利要求7所述的方法，所述基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，包括：

9.根据权利要求7所述的方法，所述基于所述第一局部区域以及所述第二局部区域确定区域相似度，包括：

10.根据权利要求9所述的方法，所述方法还包括：

11.根据权利要求1所述的方法，所述基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理之前，还包括：

12.根据权利要求11所述的方法，所述基于所述实体对象图像对所述多个基础关键点和所述多个第二参考关键点进行全局误差预测处理，得到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值，包括：

13.根据权利要求12所述的方法，所述方法还包括：

14.根据权利要求13所述的方法，所述基于所述预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失，包括：

15.一种对象处理装置，所述装置包括：

16.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～15任意一项的方法步骤。

17.一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由处理器加载并执行如权利要求1～15任意一项的方法步骤。

18.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～15任意一项的方法步骤。

技术总结
本说明书公开了一种对象处理方法、装置、存储介质及电子设备，其中，方法包括：从实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，基于关键点的不确定性参数从多个关键点中确定多个基础关键点以及多个第一参考关键点，基于虚拟对象对应的虚拟对象图像和实体对象图像对多个第一参考关键点进行区域搜索调整，可以得到针对第一参考关键点的第二参考关键点，从而基于基础关键点和第二参考关键点对虚拟对象进行对象驱动处理。

技术研发人员：曹佳炯
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/12