场景颜色差异检测方法、装置、电子设备和存储介质与流程

本技术涉及计算机，具体而言，涉及一种场景颜色差异检测方法、装置、电子设备和存储介质。

背景技术：

1、神经辐射场(neural radiance fields，nerf)实际上是一种隐式的三维场景表示，之所以是隐式的原因在于nerf不能像点云、网格那样以直接的三维模型让人看见。

2、将不同相机视角的照片以及对应的该相机视角的外参和内参输入nerf网络中进行训练，以更新nerf网络的权重，根据输入的位置坐标和nerf网络的权重计算得到场景空间中的点的密度值和颜色值，在此基础上，通过对场景进行渲染，从而得到新视角的模拟图。

3、然而，目前尚未存在基于nerf网络对不同场景进行颜色差异检测的方案。

技术实现思路

1、有鉴于此，本技术实施例提供了一种场景颜色差异检测方法、装置、电子设备和存储介质，以基于nerf模型对不同场景进行颜色差异检测。

2、第一方面，本技术实施例提供了一种场景颜色差异检测方法，包括：

3、根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像；其中，所述第一三维重建模型和所述第二三维重建模型为：具有同一模型坐标系的三维模型；

4、计算所述第一渲染图像的像素点和所述第二渲染图像中对应像素点之间的像素点颜色差；

5、根据所述像素点颜色差，从所述第一渲染图像的像素点中确定第一像素点，以及从所述第二渲染图像的像素点中确定第二像素点；

6、根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测。

7、在一可选的实施方式中，所述根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测，包括：

8、获取所述多个第一采样点的权重值和所述多个第二采样点的权重值；

9、根据所述多个第一采样点的权重值，对所述多个第一采样点的颜色值进行加权运算，得到所述第一像素点的第一加权颜色参数；

10、根据所述多个第二采样点的权重值，对所述多个第二采样点的颜色值进行加权运算，得到所述第二像素点的第二加权颜色参数；

11、根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测。

12、在一可选的实施方式中，所述获取所述多个第一采样点的权重值和所述多个第二采样点的权重值，包括：

13、根据各第一采样点和下一个第一采样点之间的距离以及所述各第一采样点的密度，获取所述各第一采样点的不透明度；

14、根据所述各第一采样点的不透明度以及所述各第一采样点在所述第一像素点的采样射线上的累计透明度，计算所述各第一采样点的权重值；

15、根据各第二采样点和下一个第二采样点之间的距离以及所述各第二采样点的密度，获取所述各第二采样点的不透明度；

16、根据所述各第二采样点的不透明度以及所述各第二采样点在所述第二像素点的采样射线上的累计透明度，计算所述各第二采样点的权重值。

17、在一可选的实施方式中，所述根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测，包括：

18、根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点；

19、根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测。

20、在一可选的实施方式中，所述根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测，包括：

21、分别对所述第一三维重建模型的第一模型空间和所述第二三维重建模型的第二模型空间进行体素划分，得到多个第一空间体素和多个第二空间体素；

22、根据各第一空间体素中所述第一目标采样点的数量，和各第二空间体素中所述第二目标采样点的数量，对所述第一场景和所述第二场景进行颜色差异检测。

23、在一可选的实施方式中，所述根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点，包括：

24、对所述第一加权颜色参数进行行累加处理，得到第一累加颜色参数；

25、对所述第二加权颜色参数进行行累加处理，得到第二累加颜色参数；

26、依次计算所述第一累加颜色参数和所述第二累加颜色参数的行差异；

27、根据所述行差异，从所述多个第一采样点中确定所述第一目标采样点，以及从所述多个第二采样点中确定所述第二目标采样点。

28、在一可选的实施方式中，所述根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像之前，所述方法还包括：

29、获取采用目标相机采集的所述第一场景的第一场景图像和所述第二场景的第二场景图像；

30、对所述第一场景图像和所述第一场景图像进行混合；

31、采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合；

32、从所述相机参数集合中确定所述第一场景图像的相机参数和所述第二场景图像的相机参数；

33、根据所述第一场景图像和所述第一场景图像的相机参数进行模型训练，得到所述第一三维重建模型；

34、根据所述第二场景图像和所述第二场景图像的相机参数进行模型训练，得到所述第二三维重建模型。

35、第二方面，本技术实施例还提供了一种场景颜色差异检测装置，包括：

36、获取模块，用于根据指定视角，采用第一场景的第一三维模型和第二场景的第二三维模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像；其中，所述第一三维模型和所述第二三维模型为：具有同一模型坐标系的三维模型；

37、计算模块，用于计算所述第一渲染图像的像素点和所述第二渲染图像中对应像素点之间的像素点颜色差；

38、确定模块，用于根据所述像素点颜色差，从所述第一渲染图像的像素点中确定第一像素点，以及从所述第二渲染图像的像素点中确定第二像素点；

39、检测模块，用于根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测。

40、在一可选的实施方式中，所述检测模块，具体用于：

41、获取所述多个第一采样点的权重值和所述多个第二采样点的权重值；

42、根据所述多个第一采样点的权重值，对所述多个第一采样点的颜色值进行加权运算，得到所述第一像素点的第一加权颜色参数；

43、根据所述多个第二采样点的权重值，对所述多个第二采样点的颜色值进行加权运算，得到所述第二像素点的第二加权颜色参数；

44、根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测。

45、在一可选的实施方式中，所述检测模块，具体用于：

46、根据各第一采样点和下一个第一采样点之间的距离以及所述各第一采样点的密度，获取所述各第一采样点的不透明度；

47、根据所述各第一采样点的不透明度以及所述各第一采样点在所述第一像素点的采样射线上的累计透明度，计算所述各第一采样点的权重值；

48、根据各第二采样点和下一个第二采样点之间的距离以及所述各第二采样点的密度，获取所述各第二采样点的不透明度；

49、根据所述各第二采样点的不透明度以及所述各第二采样点在所述第二像素点的采样射线上的累计透明度，计算所述各第二采样点的权重值。

50、在一可选的实施方式中，所述检测模块，具体用于：

51、根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点；

52、根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测。

53、在一可选的实施方式中，所述检测模块，具体用于：

54、分别对所述第一三维重建模型的第一模型空间和所述第二三维重建模型的第二模型空间进行体素划分，得到多个第一空间体素和多个第二空间体素；

55、根据各第一空间体素中所述第一目标采样点的数量，和各第二空间体素中所述第二目标采样点的数量，对所述第一场景和所述第二场景进行颜色差异检测。

56、在一可选的实施方式中，所述检测模块，具体用于：

57、对所述第一加权颜色参数进行行累加处理，得到第一累加颜色参数；

58、对所述第二加权颜色参数进行行累加处理，得到第二累加颜色参数；

59、依次计算所述第一累加颜色参数和所述第二累加颜色参数的行差异；

60、根据所述行差异，从所述多个第一采样点中确定所述第一目标采样点，以及从所述多个第二采样点中确定所述第二目标采样点。

61、在一可选的实施方式中，所述获取模块，还用于：

62、获取采用目标相机采集的所述第一场景的第一场景图像和所述第二场景的第二场景图像；

63、所述装置还包括：

64、混合模块，用于对所述第一场景图像和所述第一场景图像进行混合；

65、所述计算模块，还用于采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合；

66、所述确定模块，还用于从所述相机参数集合中确定所述第一场景图像的相机参数和所述第二场景图像的相机参数；

67、所述装置还包括：

68、训练模块，用于根据所述第一场景图像和所述第一场景图像的相机参数进行模型训练，得到所述第一三维模型；

69、所述训练模块，还用于根据所述第二场景图像和所述第二场景图像的相机参数进行模型训练，得到所述第二三维模型。

70、第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的场景颜色差异检测方法。

71、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的场景颜色差异检测方法。

72、本技术提供了一种场景颜色差异检测方法、装置、电子设备和存储介质，其中，该方法包括：根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取指定视角下的第一渲染图像以及第二渲染图像，计算第一渲染图像的像素点和第二渲染图像中对应像素点之间的像素点颜色差，根据像素点颜色差，从第一渲染图像的像素点中确定第一像素点，以及从第二渲染图像的像素点中确定第二像素点，根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测。实现了基于三维重建模型对不同场景进行颜色差异检测，进而实现对不同场景进行物体差异检测。