一种模型训练的方法、装置、存储介质及电子设备与流程

本说明书涉及计算机领域，尤其涉及一种模型训练的方法、装置、存储介质及电子设备。

背景技术：

1、随着图像处理技术的发展，人们对图像处理的需求也更多样化，例如，根据目标物体的二维图像构建目标物体的三维模型，而如何高效且准确的构建目标物体的三维模型是一个亟待解决的问题。

2、基于此，本说明书提供一种模型训练的方法，用于在准确构建物体三维模型的同时，保证构建物体三维模型的效率。

技术实现思路

1、本说明书提供一种模型训练的方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供一种模型训练的方法，包括：

4、获取样本物体的原始二维图像和所述样本物体的位姿信息；

5、将所述原始二维图像输入编码器，得到所述编码器的输出结果，并基于所述输出结果确定所述原始二维图像对应的特征；

6、将所述位姿信息及所述特征输入三维重构模型，得到所述三维重构模型输出的重构三维数据；

7、根据第一重构二维图像及所述原始二维图像，确定所述三维重构模型的损失，并根据所述损失对所述三维重构模型进行参数调整；其中，所述第一重构二维图像基于所述重构三维数据得到；

8、响应于满足训练完成条件，得到训练后的三维重构模型。

9、可选地，将所述原始二维图像输入编码器，得到所述编码器的输出结果，并基于所述输出结果确定所述原始二维图像对应的特征，具体包括：

10、将所述原始二维图像输入编码器，得到所述编码器输出的所述原始二维图像的初始特征数据；

11、将所述初始特征数据输入特征转换模型，得到所述特征转换模型输出的所述初始特征数据的特征向量，作为所述原始二维图像的特征。

12、可选地，根据第一重构二维图像及所述原始二维图像，确定所述三维重构模型的损失，具体包括：

13、对所述特征进行二次编码；

14、将二次编码后的特征输入解码器，确定所述解码器输出的所述原始二维图像的第二重构二维图像；

15、根据第一重构二维图像、所述第二重构二维图像及所述原始二维图像，确定所述三维重构模型的损失。

16、可选地，根据第一重构二维图像、所述第二重构二维图像及所述原始二维图像，确定所述三维重构模型的损失，具体包括：

17、根据第一重构二维图像及所述原始二维图像，确定所述三维重构模型的第一损失；

18、根据所述第二重构二维图像及所述原始二维图像，确定所述三维重构模型的第二损失；

19、根据所述第一损失及所述第二损失，确定所述三维重构模型的损失。

20、可选地，根据所述损失对所述三维重构模型进行参数调整，具体包括：

21、根据所述损失，调整所述特征转换模型及所述三维重构模型的参数。

22、可选地，根据所述损失对所述三维重构模型进行参数调整之后，所述方法还包括：

23、根据所述损失，调整所述编码器及所述解码器的参数。

24、可选地，所述编码器及所述解码器组成自编码器或变分自编码器；所述三维重构模型包括神经辐射场模型。

25、本说明书提供了一种模型训练的方法，所述方法包括：

26、获取待重建物体的目标二维图像及所述待重建物体的目标位姿信息；

27、将所述目标二维图像输入编码器，得到根据所述编码器的目标输出结果，并基于所述目标输出结果确定所述目标二维图像进行编码得到的目标特征；

28、将所述目标位姿信息及所述目标特征输入训练完成的三维重构模型，得到所述训练完成的三维重构模型输出的所述待重建物体的目标重构三维数据，其中，所述三维重构模型是采用上述模型训练的方法训练得到的。

29、本说明书提供了一种模型训练的装置，所述装置包括：

30、数据获取模块，用于获取样本物体的原始二维图像和所述样本物体的位姿信息；

31、特征确定模块，用于将所述原始二维图像输入编码器，得到所述编码器的输出结果，并基于所述输出结果确定所述原始二维图像对应的特征；

32、输出确定模块，用于将所述位姿信息及所述特征输入三维重构模型，得到所述三维重构模型输出的重构三维数据；

33、模型训练模块，用于根据第一重构二维图像及所述原始二维图像，确定所述三维重构模型的损失，并根据所述损失对所述三维重构模型进行参数调整；其中，所述第一重构二维图像基于所述重构三维数据得到；

34、模型获取模块，用于响应于满足训练完成条件，得到训练后的三维重构模型。

35、可选地，所述特征确定模块具体用于，将所述原始二维图像输入编码器，得到所述编码器输出的所述原始二维图像的初始特征数据；将所述初始特征数据输入特征转换模型，得到所述特征转换模型输出的所述初始特征数据的特征向量，作为所述原始二维图像的特征。

36、可选地，所述模型训练模块具体用于，对所述特征进行二次编码；将二次编码后的特征输入解码器，确定所述解码器输出的所述原始二维图像的第二重构二维图像；根据第一重构二维图像、所述第二重构二维图像及所述原始二维图像，确定所述三维重构模型的损失。

37、可选地，所述模型训练模块具体用于，根据第一重构二维图像及所述原始二维图像，确定所述三维重构模型的第一损失；根据所述第二重构二维图像及所述原始二维图像，确定所述三维重构模型的第二损失；根据所述第一损失及所述第二损失，确定所述三维重构模型的损失。

38、可选地，所述模型训练模块具体用于，根据所述损失，调整所述特征转换模型及所述三维重构模型的参数。

39、可选地，所述模型训练模块具体用于，根据所述损失，调整所述编码器及所述解码器的参数。

40、可选地，所述编码器及所述解码器组成自编码器或变分自编码器；所述三维重构模型包括神经辐射场模型。

41、本说明书提供了一种模型训练的装置，所述装置包括：

42、信息获取模块，用于获取待重建物体的目标二维图像及所述待重建物体的目标位姿信息；

43、编码模块，用于将所述目标二维图像输入编码器，得到根据所述编码器的目标输出结果，并基于所述目标输出结果确定所述目标二维图像进行编码得到的目标特征；

44、重构模块，用于将所述目标位姿信息及所述目标特征输入训练完成的三维重构模型，得到所述训练完成的三维重构模型输出的所述待重建物体的目标重构三维数据，其中，所述三维重构模型是采用上述模型训练的方法训练得到的。

45、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练的方法。

46、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练的方法。

47、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

48、在本说明书提供的模型训练的方法中，获取样本物体的原始二维图像和所述样本物体的位姿信息，将所述原始二维图像输入编码器，得到所述编码器的输出结果，并基于所述输出结果确定所述原始二维图像对应的特征，将所述位姿信息及所述特征输入三维重构模型，得到所述三维重构模型输出的重构三维数据，根据第一重构二维图像及所述原始二维图像，确定所述三维重构模型的损失，并根据所述损失对所述三维重构模型进行参数调整；其中，所述第一重构二维图像基于所述重构三维数据得到，响应于满足训练完成条件，得到训练后的三维重构模型。

49、从上述方法中可以看出，本方法通过上述方法对模型进行训练后，仅需要将一张目标物体的原始二维图像及位姿信息输入该模型，即可得到该目标物体的重构三维图像，提高了构建目标物体三维模型的准确率，及构建目标物体三维模型的效率。