一种图像深度估计方法及电子设备与流程

本技术涉及图像处理，尤其涉及一种图像深度估计方法及电子设备。

背景技术：

1、目前，电子设备（例如，手机）的相机提供有图像虚化的功能。图像虚化是根据图像的深度信息，对图像进行虚化处理，以实现图像中的一部分画面清晰，另一部分画面模糊的视觉效果。目前主要采用获取双目深度估计算法获取图像的深度信息。

2、然而，使用双目深度估计算法存在获取的深度信息不准确的问题。基于错误的深度信息对图像进行虚化处理可能出现图像中需要模糊处理的拍摄对象清晰（例如，背景清晰），图像中需要清晰显示的拍摄对象模糊（例如，拍摄主体模糊）等问题，导致虚化处理后的图像的视觉效果（或者说图像的虚化效果）较差。

技术实现思路

1、本技术实施例提供一种图像深度估计方法及电子设备，在不同的拍摄场景下都能够获取较准确的深度信息，提高了图像深度估计方法的鲁棒性，进而实现较好的图像虚化效果。

2、为达到上述目的，本技术的实施例采用如下技术方案：

3、第一方面，提供了一种图像深度估计方法，该方法应用于包括图像传感器的电子设备，该方法可以包括：响应于用于启动图像虚化功能的第一操作，采集双目图像；双目图像包括两帧图像；根据双目图像，获取拍摄场景的场景信息；在场景信息符合双目深度估计条件的情况下，采用双目深度估计算法对双目图像进行深度估计，得到第一深度图；在场景信息不符合双目深度估计条件的情况下，基于单目深度估计算法和双目图像中的单目图像，得到第二深度图；单目图像为双目图像包括的两帧图像中的任一帧图像。

4、其中，双目深度估计条件用于指示以下至少一项：双目图像中的拍摄对象清晰、以及双目图像中的拍摄对象相同。

5、可以理解的是，电子设备响应于图像虚化功能的第一操作，可以对拍摄场景采集双目图像；再根据双目图像获取拍摄场景的场景信息。由于双目图像中的拍摄对象不清晰、以双目图像中的拍摄对象的位置变化等都会导致双目深度估计算法获取的深度信息出错，因此，电子设备可以判断场景信息是否符合双目深度估计条件。进而，在场景信息符合双目深度估计条件的情况下，表示双目图像中的拍摄对象清晰和/或双目图像中的拍摄对象相同（包括双目图像中的拍摄对象的位置相同），则采用双目深度估计算法确定的深度信息准确度较高。其次，在场景信息不符合双目深度估计条件的情况下采用双目深度估计算法确定深度信息的出错率较高，因此，基于单目深度估计算法确定深度信息；相较于采用双目深度估计算法，基于单目深度估计算法确定的深度信息的准确度更高。

6、综上所述，采用本方案，在不同的拍摄场景下都能够获取较准确的深度信息，提高了图像深度估计方法的鲁棒性。

7、结合第一方面，在一种可能的实现方式中，第一深度图包括的第一深度信息和第二深度图包括的第二深度信息均为绝对深度信息。该方法还包括：响应于第一操作，采集飞行时间tof深度图。上述基于单目深度估计算法和双目图像中的单目图像，得到第二深度图，包括：采用单目深度估计算法对单目图像进行深度估计，得到第三深度图；第三深度图包括的第三深度信息为相对深度信息；根据tof深度图，对第三深度图进行转换，得到第二深度图。

8、可以理解的是，电子设备响应于第一操作，除了采集双目图像，同时获取tof深度图。如果是光线较亮、以及拍摄对象近似处于静止状态的拍摄场景，则电子设备可以采用双目深度估计算法获取较准确的深度信息。如果是光线较暗的拍摄场景和拍摄对象处于运动状态的拍摄场景，电子设备不采用双目深度估计算法获取深度信息，而基于单目深度估计算法获取深度信息。也就是说，在不同的拍摄场景下电子设备采用不同的深度估计算法，当拍摄场景发生变化时电子设备可以切换所采用的深度估计算法，例如，从双目深度估计算法切换到单目深度估计算法，或者从单目深度估计算法切换到双目深度估计算法。其中，双目深度估计算法获取的是绝对深度信息，单目深度估计算法获取的是相对深度信息，绝对深度信息和相对深度信息是不同维度的深度信息。当电子设备基于不同维度的深度信息对图像进行虚化处理时，与拍摄主体的距离相同的拍摄对象的模糊程度不同（或者说虚化程度不同），会导致用户感知到与相机相同距离的拍摄对象的虚化程度发生变化。

9、对此，电子设备可以利用tof深度图，将采用单目深度估计算法获取的相对深度信息转换为绝对深度信息。转换后的绝对深度信息和双目深度估计算法获取的绝对深度信息都可以表示拍摄对象和相机之间的真实距离，即转换后的绝对深度信息和双目深度估计算法是相同维度下的深度信息。那么，电子设备切换所采用的深度估计方法时不会发生与拍摄主体的距离相同的拍摄对象的虚化程度不同的情况。用户感受不到与相机相同距离的拍摄对象的虚化程度发生变化，可以实现双目深度估计算法和单目深度估计算法的无感切换。

10、结合第一方面，另一种可能的实现方式中，上述根据tof深度图，对第三深度图进行转换，得到第二深度图，包括：根据tof深度图和第三深度图，确定目标转换参数；目标转换参数用于将相对深度信息转换为绝对深度信息；利用目标转换参数，对第三深度图中的第三深度信息进行转换，得到第二深度图。

11、该实施方式描述了根据tof深度图对第三深度图进行转换的一种实现方式。

12、结合第一方面，另一种可能的实现方式中，上述根据tof深度图和第三深度图，确定目标转换参数，包括：对tof深度图和第三深度图进行像素点匹配，得到多个像素点对；多个像素点对中的每个像素点对包括：tof深度图中的一个像素点和第三深度图中的一个像素点；根据多个像素点对中各个像素点对的tof深度信息和第三深度信息，以及预设目标函数，确定使预设目标函数最小化的目标转换参数。

13、其中，预设目标函数用于表示tof深度信息和转换后的深度信息之间的差值的平方和，转换后的深度信息是利用目标转换参数对第三深度信息进行转换得到的。

14、可以理解的是，本技术实施例中的电子设备从tof深度图和相对深度图中确定匹配的多个像素点对，利用多个像素点得到将相对深度信息转换为第二绝对深度信息的目标转换参数，也就是说，本方案利用多个像素点对实现将相对深度信息转换为第二绝对深度信息。相较于将整个tof深度图和相对深度图输入到一个网络模型中，以使该网络模型基于整个tof深度图和相对深度图将相对深度信息转换为绝对深度信息，本方案只利用多个像素点对实现将相对深度信息转换为第二绝对深度信息，对tof深度图的分辨率和准确度要求较低，对采集tof深度图的tof传感器的性能要求也较低。本方案采用性能较低的tof传感器的成本较小。

15、结合第一方面，另一种可能的实现方式中，场景信息包括：亮度指数和拍摄场景中拍摄对象的运动信息；亮度指示的数值大小和拍摄场景的亮度高低成反比；拍摄对象的运动信息用于表示拍摄对象在双目图像中的位移量。双目深度估计条件包括：亮度指数小于预设亮度阈值，以及拍摄对象的运动信息小于预设位移阈值。

16、可以理解的是，拍摄场景的亮度较低导致采集的双目图像中的拍摄对象不清晰。拍摄场景中拍摄对象处于运动状态导致双目图像中的拍摄对象不一样，例如，拍摄对象在双目图像中的位置发生偏移。而双目图像中的拍摄对象不清晰、以及双目图像中的拍摄对象不一样都会导致双目深度估计算法获取的深度信息出错，因此，电子设备可以获取亮度指数和拍摄对象的运动信息等场景信息，并判断亮度指数和拍摄对象的运动信息等场景信息是否符合双目深度估计条件。该双目深度估计条件包括：亮度指数小于预设亮度阈值，以及拍摄对象的运动信息小于预设位移阈值。亮度指数小于预设亮度阈值表示拍摄场景的亮度较高，拍摄对象的运动信息小于预设位移阈值表示拍摄场景中拍摄对象处于近似静止状态。进而，在场景信息满足该双目深度估计条件的情况下，拍摄场景的亮度较高，拍摄对象处于近似静止状态，都不会影响双目深度估计算法确定深度信息的准确度，即采用双目深度估计算法确定的深度信息准确度较高。

17、结合第一方面，另一种可能的实现方式中，上述方法还包括：对第一深度图或第二深度图进行高斯平滑和差分操作，得到高斯差分后的图像；基于高斯差分后的图像，对单目图像进行虚化处理，得到虚化后的图像。

18、可以理解的是，采用本方案，在不同的拍摄场景下都能够获取较准确的深度信息。利用准确的深度信息对图像进行虚化处理，可以准确确定出距离拍摄主体较近的拍摄主体以及距离拍摄主体较远的前景和背景。进而可以实现图像中的拍摄主体清晰，以及前景和背景模糊的视觉效果，即实现了较好的图像虚化效果。

19、结合第一方面，另一种可能的实现方式中，上述基于高斯差分后的图像，对单目图像进行虚化处理，得到虚化后的图像，包括：确定单目图像中的拍摄主体；拍摄主体是电子设备响应于第二操作所确定的，或者是基于电子设备启动的拍摄模式确定的，或者是电子设备默认的；基于高斯差分后的图像中的像素值，对单目图像中除拍摄主体所在的区域以外的其他区域进行虚化处理，得到虚化后的图像。

20、该实施方式描述了对单目图像进行虚化处理的一种实现方式。

21、结合第一方面，另一种可能的实现方式中，上述基于高斯差分后的图像中的像素值，对单目图像中除拍摄主体所在的区域以外的其他区域进行虚化处理，得到虚化后的图像，包括：根据高斯差分后的图像中与其他区域对应的像素点的像素值，对单目图像中的其他区域进行不同程度的模糊处理，得到虚化后的图像，以使虚化后的图像中的距离拍摄主体越远的区域的模糊程度越高。

22、该实施方式描述了对单目图像进行虚化处理的一种实现方式。

23、第二方面，提供了一种电子设备，该电子设备包括：处理器、存储器和通信接口。存储器和通信接口与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。其中，当处理器执行计算机指令时，使得该电子设备执行如上述第一方面中任一项所述的图像深度估计方法。

24、第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令。当计算机指令在电子设备上运行时，使得该电子设备执行如上述第一方面中任一项所述的图像深度估计方法。

25、第四方面，提供了一种包含计算机指令的计算机程序产品，当该计算机指令在电子设备上运行时，使得电子设备执行如上述第一方面中任一项所述的图像深度估计方法。

26、第五方面，提供了一种装置（例如，该装置可以是芯片系统），该装置包括处理器，用于支持电子设备实现上述第一方面所述的图像深度估计方法。在一种可能的设计中，该装置还包括存储器，该存储器，用于保存电子设备必要的程序指令和数据。该装置是芯片系统时，可以由芯片构成，也可以包含芯片和其他分立器件。

27、其中，第二方面至第五方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。