对象的处理方法和电子设备与流程

本技术涉及虚拟现实、增强现实方面的三维重建领域，具体而言，涉及一种对象的处理方法和电子设备。

背景技术：

1、目前，随着神经渲染技术的发展，以虚拟现实（virtual reality，简称为vr）或增强现实（augmented reality，简称为ar）为代表的沉浸式体验正在成为未来视频和未来电商等新型应用的重点发展路径，而这些应用的关键是虚拟形象的创建。

2、在相关技术中，通常是使用标准渲染方法合成虚拟形象，但是，该方法训练速度较慢，训练时间较长，极大限制了虚拟形象的制作速度，仍存在在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种对象的处理方法和电子设备，以至少解决在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

2、根据本技术实施例的一个方面，提供了一种对象的处理方法。该方法可以包括：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

3、根据本技术实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

4、根据本实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：响应作用于虚拟现实vr设备或增强现实ar设备的操作界面上的图像输入指令，在vr设备或ar设备的呈现画面上展示真实世界中目标对象的图像数据；响应作用于操作界面上的渲染指令，驱动vr设备或ar设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

5、根据本实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

6、根据本实施例的另一方面，还提供了另一种对象的表面神经渲染方法。该方法可以包括：采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

7、根据本技术实施例的一个方面，提供了一种对象的处理装置。该装置可以包括：第一采集单元，用于采集位于真实世界中的目标对象的图像数据；第一重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第一渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；第一输出单元，用于至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

8、根据本技术实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：显示单元，用于响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；第二输出单元，用于响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

9、根据本实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：展示单元，用于响应作用于vr设备或ar设备的操作界面上的图像输入指令，在vr设备或ar设备的呈现画面上展示真实世界中目标对象的图像数据；驱动单元，用于响应作用于操作界面上的渲染指令，驱动vr设备或ar设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

10、根据本实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：调取单元，用于通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；第二重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第二渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；第三输出单元，用于通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

11、根据本实施例的另一方面，还提供了另一种对象的表面神经渲染装置。该装置可以包括：第二采集单元，用于采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；第三重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第三渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

12、根据本技术实施例的另一方面，还提供了一种电子设备，电子设备可以包括存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，上述计算机可执行指令被处理器执行时，实现上述任意一项的对象的处理方法。

13、根据本技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，在程序运行时执行上述任意一项的对象的处理方法。

14、根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的对象的处理方法。

15、在本技术实施例中，采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。也即，在本技术实施例中，基于目标对象的网格模型，对目标对象的外表面（又可以称为模型表面）进行神经渲染，得到外观模型，从而可以忠实地捕捉真实世界物体并保留逼真的物体外观，可以将捕获到的外观模型输出至渲染管线中，进而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

16、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本技术进行举例和解释，并不构成对本技术的限定。