一种训练数据的生成方法、装置、电子设备及存储介质与流程

本技术涉及数据处理，具体而言，涉及一种训练数据的生成方法、装置、电子设备及存储介质。

背景技术：

1、随着网络技术不断发展，神经网络也应用在各个领域，对神经网络的训练需要大量高质量的样本数据，目前，是采用激光雷达来获取三维点云数据即原始图像，然后通过对激光雷达和相机进行标定来获取深度图，在具体的实现过程中，原始图像和该深度图无法对齐，深度存在错位，如何解决深度图和原始图像之间存在错位的问题，是目前急需解决的问题。

技术实现思路

1、本技术的目的在于提供一种训练数据的生成方法、装置、电子设备及存储介质，通过本技术的实施例的技术方案，通过获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据，本技术代替了激光雷达作为场景数据来源，采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。

2、第一方面，本技术提供了一种训练数据的生成方法，包括：

3、获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；

4、对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；

5、对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；

6、根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；

7、将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据。

8、本技术通过采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。

9、可选地，所述对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型，包括：

10、采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；

11、根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；

12、采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；

13、对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型。

14、由于通常情况下采集数据时受到尺寸、重量、使用场景的限制，以及为了避免联合标定造成的误差，本技术通过采集图像数据，并使用基于图像数据的三维重建的方式获取场景模型，代替了激光雷达作为场景数据来源，采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量、高成本的设备，做到了灵活、快速的数据采集。

15、可选地，所述对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息，包括：

16、采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；

17、采用三角化算法，将所述优化后的三维点云数据转换三维网格；

18、将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格。

19、可选地，所述采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息，包括：

20、采用捆绑调整算法，分别对所述三维空间点和所述相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，所述相机位姿信息至少包括相机位置信息和相机姿态信息。

21、本技术采用三维重建算法使用一系列相机照片和位置信息来创建三维模型，利用特征点提取与匹配算法，可以建立两两图像之间的对应关系，然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将特征点恢复为三维空间中的点，在该过程中可以使用优化算法，如捆绑调整，对相机位姿和恢复后的三维点云进行优化调整，使其更加精确，最后使用三角化技术将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型，同时输出捆绑调整优化后的相机位姿。

22、可选地，所述根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图，包括：

23、将所述优化后的三维模型和优化后的相机姿态信息，输入到所述预设渲染软件，生成与所述初始图像数据对应的深度图，其中，所述预设渲染软件至少包括ue或unity中的任一种。

24、本技术使用ue、unity等引擎渲染输出深度图，代替了激光雷达点云投影以及深度补全，减少了深度补全造成的深度图错误填充等问题。

25、第二方面，本技术提供了一种训练数据的生成装置，包括：

26、获取模块，用于获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；

27、构建模块，用于对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；

28、优化模块，用于对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；

29、生成模块，用于根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；

30、确定模块，用于将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据。

31、本技术通过采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。

32、可选地，所述构建模块用于：

33、采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；

34、根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；

35、采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；

36、对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型。

37、通过由于通常情况下采集数据时受到尺寸、重量、使用场景的限制，以及为了避免联合标定造成的误差，本技术通过采集图像数据，并使用基于图像数据的三维重建的方式获取场景模型，代替了激光雷达作为场景数据来源，采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量、高成本的设备，做到了灵活、快速的数据采集。

38、可选地，所述优化模块用于：

39、采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；

40、采用三角化算法，将所述优化后的三维点云数据转换三维网格；

41、将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格。

42、可选地，所述优化模块用于：

43、采用捆绑调整算法，分别对所述三维空间点和所述相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，所述相机位姿信息至少包括相机位置信息和相机姿态信息。

44、本技术采用三维重建算法使用一系列相机照片和位置信息来创建三维模型，利用特征点提取与匹配算法，可以建立两两图像之间的对应关系，然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将特征点恢复为三维空间中的点，在该过程中可以使用优化算法，如捆绑调整，对相机位姿和恢复后的三维点云进行优化调整，使其更加精确，最后使用三角化技术将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型，同时输出捆绑调整优化后的相机位姿，

45、可选地，所述生成模块用于：

46、将所述优化后的三维模型和优化后的相机姿态信息，输入到所述预设渲染软件，生成与所述初始图像数据对应的深度图，其中，所述预设渲染软件至少包括ue或unity中的任一种。

47、本技术使用ue、unity等引擎渲染输出深度图，代替了激光雷达点云投影以及深度补全，减少了深度补全造成的深度图错误填充等问题。

48、第三方面，本技术提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的训练数据的生成方法。

49、第四方面，本技术提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的训练数据的生成方法。

50、第五方面，本技术提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的训练数据的生成方法。