图像增强方法、图像处理方法、计算机设备及存储介质与流程

本发明涉及图像处理，具体涉及一种图像增强方法、图像处理方法、计算机设备及存储介质。

背景技术：

1、在对车辆进行自动驾驶控制时通常会通过感知模型感知车辆周围的障碍物等信息，再根据感知的结果规划车辆的行驶路径，控制车辆按照规划好的行驶路径自动驾驶。其中，感知模型可以采用图像训练得到，在训练感知模型之前可以对图像进行数据增强，以扩充图像的数量。

2、目前，常规的图像增强方法主要是对图像进行水平/垂直翻转、缩放、旋转和变色等或者是对图像进行风格迁移。但是，通过这些方法进行数据增强得到的图像只能包含原来图像所呈现场景中的场景信息，无法包含此场景以外的场景信息。例如，对只包含轿车的图像进行风格迁移形成的增强图像，其场景信息仍然只包含轿车，无法包含卡车等未出现过的场景信息。如果采用上述增加图像训练感知模型，感知模型将无法准确地感知出卡车等未出现过的场景信息，从而降低了感知模型的泛化能力，最终影响车辆自动驾驶的安全性和可靠性。

3、相应地，本领域需要一种新的技术方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何丰富图像的场景信息，特别是增加原始图像未出现过的场景信息的技术问题的图像增强方法、图像处理方法、计算机设备及存储介质。

2、在第一方面，提供一种图像增强方法，所述方法包括：

3、根据真实场景中静态场景的二维图像，获取所述静态场景的三维重建信息；

4、根据预设虚拟物体的二维图像，获取所述预设虚拟物体的三维重建信息；

5、对所述静态场景的三维重建信息与所述预设虚拟物体的三维重建信息进行融合；

6、将融合的结果渲染成二维图像作为增强图像。

7、在上述图像增强方法的一个技术方案中，所述获取所述静态场景的三维重建信息，包括：根据所述静态场景的二维图像，获取所述静态场景的第一神经辐射场；

8、所述获取所述预设虚拟物体的三维重建信息，包括：根据预设虚拟物体的二维图像，获取所述预设虚拟物体的第二神经辐射场。

9、在上述图像增强方法的一个技术方案中，所述获取所述静态场景的第一神经辐射场，包括：

10、获取所述静态场景的多视角二维图像；

11、对所述静态场景的多视角二维图像进行神经辐射场重建，以获取所述静态场景的第一神经辐射场。

12、在上述图像增强方法的一个技术方案中，所述获取所述预设虚拟物体的第二神经辐射场，包括：

13、构建所述预设虚拟物体的虚拟模型；

14、获取所述虚拟模型的多视角二维图像；

15、对所述虚拟模型的多视角二维图像进行神经辐射场重建，以获取所述虚拟物体的第二神经辐射场。

16、在上述图像增强方法的一个技术方案中，所述对所述静态场景的三维重建信息与所述预设虚拟物体的三维重建信息进行融合，包括：

17、将所述第一神经辐射场嵌入到所述第二神经辐射场，以实现融合。

18、在上述图像增强方法的一个技术方案中，所述将所述第一神经辐射场嵌入到所述第二神经辐射场，包括：

19、设定所述第一神经辐射场的嵌入位姿；

20、根据所述嵌入位姿，将所述第一神经辐射场嵌入到所述第二神经辐射场。

21、在第二方面，提供一种图像处理方法，所述方法包括：

22、采用第一方面提供的图像增强方法，得到多个不同的增强图像作为图像样本；

23、采用所述图像样本对图像处理模型进行模型训练；

24、采用训练好的图像处理模型对输入图像进行图像处理。

25、在上述图像处理方法的一个技术方案中，所述图像处理模型至少包括物体识别跟踪模型和/或自动驾驶感知模型。

26、在第三方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述图像增强或图像处理方法的技术方案中任一项技术方案所述的方法。

27、在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像增强或图像处理方法的技术方案中任一项技术方案所述的方法。

28、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

29、在实施本发明提供的图像增强方法的技术方案中，可以根据真实场景中静态场景的二维图像获取静态场景的三维重建信息，根据预设虚拟物体的二维图像获取预设虚拟物体的三维重建信息，对静态场景与预设虚拟物体的三维重建信息进行融合，使得融合的结果同时包含这两种三维重建信息，最后将融合的结果渲染成二维图像作为增强图像。通过上述实施方式，可以在真实场景的静态场景中增加未曾出现过的场景信息（即虚拟物体的场景信息），丰富了图像的场景信息。

30、在实施本发明提供的图像处理方法的技术方案中，可以上述图像增强方法得到多个不同的增强图像作为图像样本，采用这些图像样本对图像处理模型进行模型训练，最后采用训练好的图像处理模型对输入图像进行图像处理。通过上述实施方式，可以提高图像处理模型进行图像处理的泛化能力。

技术特征：

1.一种图像增强方法，其特征在于，所述方法包括：

2.根据权利要求1所述的图像增强方法，其特征在于，

3.根据权利要求2所述的图像增强方法，其特征在于，所述获取所述静态场景的第一神经辐射场，包括：

4.根据权利要求2所述的图像增强方法，其特征在于，所述获取所述预设虚拟物体的第二神经辐射场，包括：

5.根据权利要求2所述的图像增强方法，其特征在于，所述对所述静态场景的三维重建信息与所述预设虚拟物体的三维重建信息进行融合，包括：

6.根据权利要求5所述的图像增强方法，其特征在于，所述将所述第一神经辐射场嵌入到所述第二神经辐射场，包括：

7.一种图像处理方法，其特征在于，所述方法包括：

8.根据权利要求7所述的图像处理方法，其特征在于，所述图像处理模型至少包括物体识别跟踪模型和/或自动驾驶感知模型。

9.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的图像增强方法或者执行权利要求7至8中任一项所述的图像处理方法。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至6中任一项所述的图像增强方法或者执行权利要求7至8中任一项所述的图像处理方法。

技术总结
本发明涉及图像处理技术领域，具体提供一种图像增强方法、图像处理方法、计算机设备及存储介质，旨在解决如何丰富图像的场景信息的问题。为此目的，本发明提供的丰富包括根据真实场景中静态场景的二维图像获取静态场景的三维重建信息，根据预设虚拟物体的二维图像获取预设虚拟物体的三维重建信息，对静态场景的三维重建信息与预设虚拟物体的三维重建信息进行融合，将融合的结果渲染成二维图像作为增强图像。通过上述丰富，可以在真实场景的静态场景中增加未曾出现过的场景信息，丰富了图像的场景信息。

技术研发人员：胡泽宇,谢晨,杨海波,李龙辉
受保护的技术使用者：光轮智能（北京）科技有限公司
技术研发日：
技术公布日：2024/1/16