电子设备、控制电子设备的方法以及计算机可读存储介质与流程

1.本技术涉及一种电子设备、一种控制电子设备的方法以及一种计算机可读存储介质。


背景技术：

2.目前，一种技术被广泛传播，即从具有景深较深的相机，如智能手机的相机，拍摄的图像中，人为地生成具有位于被摄物的前景或背景的物体的虚化图像的照片，如用数字单镜头反光相机(dslr)拍摄的照片。
3.如果使用景深较深的相机拍摄照片，如智能手机的相机，可能会得到一个从短距离部分到长距离部分的焦点图像。因此，通过图像处理产生了虚化图像，在虚化图像中，需要引起注意的部分变得更加清晰，而该部分的前景和背景则变得模糊。
4.在这种产生人工虚化图像的技术中，采用了一种基于深度信息产生虚化图像的方法，该深度信息是利用通过双目立体视觉所拍摄的立体图像获得的。
5.然而，取决于物体表面的纹理，深度计算可能会失败，导致没有产生虚化。
6.例如，如果双目立体图像的图案没有沿极线的明显变化，或者，图像具有重复的图案，就不能准确地计算深度，使产生的虚化不合适。
7.由于目前可用的智能手机系统在立体处理方面属于黑盒子，用于这种系统的算法不能直接改进。因此，与立体处理有关的深度信息需要根据输入的立体图像和输出的深度信息来改进。此外，如果不能从立体图像和距离传感器得到合适的结果，就不容易确定可能有深度信息错误的部分应该放在前景中还是背景中。


技术实现要素：

8.本发明旨在解决上述技术问题中的至少一个问题。据此，本发明需要提供一种电子设备和控制电子设备的方法。
9.本发明提供一种电子设备，包括：
10.主相机模块，用于对被摄物拍摄照片以得到主相机图像；
11.从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；
12.距离传感器模块，通过利用光线，得到所述被摄物的深度信息；以及
13.图像信号处理器，控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像，
14.其中，所述图像信号处理器用于基于主相机图像和从属相机图像进行匹配处理得到立体图像，根据主相机图像和所述深度信息校正立体图像的深度信息，从而得到校正的深度信息；
15.所述图像信号处理器基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到所述带有虚化的相机图像。
16.在一些实施例中，所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(tof)深度信息作为所述深度信息。
17.在一些实施例中，所述图像信号处理器执行不确定区域预估处理，以估计所述主相机图像的不确定区域，对所述不确定区域来说，对所述主相机图像和所述从属相机图像的匹配处理无法实施，以此得到所述主相机图像的不确定区域的不确定区域信息，以及
18.所述图像信号处理器执行深度校正，以基于所述tof深度信息来校正与所述不确定区域有关的部分深度信息，从而得到校正的深度信息。
19.在一些实施例中，在深度校正的过程中，所述图像信号处理器利用与所述不确定区域有关的部分tof深度信息替换与所述不确定区域有关的部分深度信息，从而得到所述校正的深度信息。
20.在一些实施例中，在深度校正的过程中，
21.所述图像信号处理器，通过将参考区域相对于目标区域移动预设移动量，对所述主相机图像进行自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度；
22.所述图像信号处理器检测一个区域，并将所述区域标记为所述不确定区域中的低纹理区域，在所述区域中，相对于所述预设移动量的相似度的变化小于预设值；以及
23.所述图像信号处理器检测出另一个区域，并将所述另一个区域标记为所述不确定区域中的重复图案区域，在所述另一个区域中，具有多个相对于所述预设运动量的相似度峰值。
24.在一些实施例中，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的平均值的或基于相对于所述预设运动量的相似度的模式值的频率等于或大于预设的标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述重复图案区域。
25.在一些实施例中，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的所述平均值的或基于相对于所述预设运动量的相似度的所述模式值的所述频率小于所述标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述低纹理区域。
26.在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器进一步根据所述相似度的变化幅度对所述低纹理区域进行分类。
27.在一些实施例中，在自相关计算中，采用平方差之和(ssd)的方法、绝对差之和(sad)的方法或归一化交叉相关(ncc)的方法来，计算相似度。
28.在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在所述主相机图像中的极线方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
29.在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在与所述主相机图像中的所述极线的正交方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
30.在一些实施例中，在进行所述深度校正的过程中，
31.所述图像信号处理器对所述主相机图像的区域进行标注，并根据所述深度信息获取每个标注区域的区域深度信息；
32.所述图像信号处理器基于所述tof深度信息获取每个标记区域的区域tof深度信息；以及
33.所述图像信号处理器比较每个标记区域的所述区域tof深度信息和所述区域深度信息，如果所述区域深度信息和所述区域tof深度信息之间的差值等于或大于预设值，则所述图像信号处理器利用所述区域tof深度信息替换所述标记区域的所述深度信息。
34.在一些实施例中，在深度校正的过程中，如果所述区域深度信息和所述区域tof深度信息之间的差值小于所述预设值，则所述图像信号处理器不会用所述区域tof深度信息替换所述标记区域的所述深度信息。
35.在一些实施例中，在深度校正的过程中，
36.所述图像信号处理器参考对应于所述标记区域中每个像素的深度信息，并计算对应于所述标记区域的所述深度信息的平均值，从而得到所述区域深度信息；以及
37.所述图像信号处理器参考对应于所述标记区域中每个像素的tof深度信息，并计算对应于所述标记区域的所述tof深度信息的平均值，从而得到所述区域tof深度信息。
38.在一些实施例中，在深度校正的过程中，所述图像信号处理器将没有所述tof深度信息的所述主相机图像的非检测区域的深度信息替换为根据用户指令用于校正的深度信息，从而得到所述校正的深度信息。
39.在一些实施例中，电子设备进一步包括：
40.显示模块，用于显示预设信息；
41.输入模块，用于由用户操作；以及
42.主处理器，用于控制所述显示模块和所述输入模块；
43.其中，在深度校正的过程中，
44.所述图像信号处理器在所述显示模块上显示关非检测区域的信息；并且
45.所述图像信号处理器将所述用户指定的非检测区域的深度信息替换为用于校正的深度信息，所述用于校正的深度信息是由用户指示的，并且是基于用户输入至所述输入模块的关于所述非检测区域的所述深度信息的指令。
46.在一些实施例中，所述图像信号处理器通过执行所述主相机图像和所述从属相机图像的匹配处理来得到立体深度信息；以及
47.所述图像信号处理器执行融合处理，将所述立体深度信息和被摄物区域信息融合，从而得到所述主相机图像的所述深度信息，其中，所述被摄物区域信息是通过从所述主相机图像中提取所述被摄物的区域而得到的。
48.在一些实施例中，所述主相机模块包括聚焦于所述被摄物的第一镜头、检测通过所述第一镜头输入的图像的第一图像传感器、以及驱动所述第一图像传感器的第一图像传感器驱动器；以及
49.所述从属相机模块包括聚焦于所述被摄物的第二镜头、检测通过所述第二镜头输入的图像的第二图像传感器、以及驱动所述第二图像传感器的第二图像传感器驱动器。
50.在一些实施例中，所述电子设备为智能手机。
51.在一些实施例中，由所述距离传感器模块检测的所述tof深度信息的分辨率低于
基于所述主相机图像和所述从属相机图像获得的所述立体图像的所述立体深度信息的分辨率。
52.本发明还提供一种控制电子设备的方法。电子设备包括：主相机模块，用于对被摄物拍摄照片以得到主相机图像；从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；距离传感器模块，通过利用光线，得到所述被摄物的深度信息；以及图像信号处理器，用于控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像；
53.该方法包括：
54.通过所述图像信号处理器，对所述主相机图像和所述从属相机图像进行立体处理得到立体图像，基于所述主相机图像和所述深度信息，对立体图像的深度信息进行校正，从而得到校正的深度信息；以及
55.通过所述图像信号处理器，基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到具有虚化的相机图像。
56.在一些实施例中，所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(tof)深度信息作为所述深度信息。
57.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序由处理器执行时，所述计算机程序实现一种用于控制电子设备的方法。该方法包括：
58.通过图像信号处理器，对被摄物的主相机图像和被摄物的从属相机图像进行立体处理得到立体图像，基于主相机图像和深度信息，对立体图像的深度信息进行校正，从而得到校正的深度信息；以及
59.通过所述图像信号处理器，基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到具有虚化的相机图像。
60.在一些实施例中，所述深度信息是飞行时间(tof)深度信息。
附图说明
61.本发明的实施例的这些和/或其他方面和优点，将从参照附图的以下描述中变得明显和更容易理解。
62.图1是本发明的实施例提供的电子设备100的示意性配置的电路图。参考标号101a和101b描述了被摄物(目标对象)，例如，是人；
63.图2是用于生成图1所示的电子设备100的相机图像的数据流的示例性示意图；
64.图3是用于校正图1所示的电子设备100中的深度信息的流程的示例性示意图；
65.图4a是由图1所示的电子设备100拍摄的主相机图像的一个示例性示意图；
66.图4b是与图1所示的电子设备100拍摄的主相机图像相对应的tof深度信息的一个示例性示意图；
67.图5a是与图1所示的电子设备100拍摄的主相机图像对应的深度信息的一个示例性示意图；
68.图5b是通过基于非校正深度信息对主相机图像进行虚化处理而获得的具有虚化
的相机图像的一个示例性示意图；
69.图6是在图1所示的电子设备100中进行不确定区域预估处理的流程示意图；
70.图7是图6所示的不确定区域预估处理的流程中的自相关计算模型的示意图；
71.图8a是参考区域相对于被标记为低纹理区域的不确定区域中的目标区域(region of interest)的运动与从自相关中获得的相似性之间关系的示例性示意图；
72.图8b是参考区域相对于被标记为重复图案区域的不确定区域中的目标区域的运动与从自相关计算中获得的相似性之间关系的示例性示意图；
73.图9a是被标记为低纹理区域的不确定区域的示例性示意图；
74.图9b是被标记为重复图案区域的不确定区域的示例性示意图；
75.图10是图6所示的不确定区域预估处理中融合操作流程的示例性示意图；
76.图11a是频率(特征值)与纹理标记之间关系的示例性示意图；
77.图11b是相似度的差异与清晰纹理或低纹理之间关系的示例性示意图；
78.图12是图3所示的深度信息校正处理的示例性示意图；
79.图13是图12所示的用户指令的具体流程的示例性示意图；
80.图14是在显示模块上显示非检测区域的示例性示意图；
81.图15是，在用户将用于校正非检测区域的深度信息设置为"近"值(将该区域设置为被摄物的前景)的情况下，相机图像的示例性示意图；以及
82.图16是，在用户将用于校正的深度信息设置为"远"值(将该区域设置为被摄物的背景)的情况下，相机图像的示例性示意图。
具体实施方式
83.本发明的实施方案将被详细描述，实施例的示例将在附图中被说明。相同或相似的元件以及具有相同或相似功能的元件在全文描述中用相似的参考标号表示。本文参照附图描述的实施例是解释性的，其目的是说明本发明的内容，但不应被解释为限制本发明。
84.图1是本发明的实施例提供的电子设备100的示意性配置的电路图。参考标号101a和101b描绘了被摄物(目标对象)，例如是人。然而，图1示例性地展示了垂直条纹、水平条纹和棋盘式纹理。
85.如图1所示，例如，电子设备100包括立体相机模块10、距离传感器模块20以及图像信号处理器30。图像信号处理器30控制立体相机模块10和距离传感器模块20，并处理从相机模块10获取的相机图像数据。
86.立体相机模块10包括，例如，主相机模块11和从属相机模块12，用于双目立体观察，如图1所示。
87.如图1所示，主相机模块11包括，例如，能够聚焦于被摄物的第一镜头11a、检测通过第一镜头11a输入的图像的第一图像传感器11b、以及驱动第一图像传感器11b的第一图像传感器驱动器11c。
88.主相机模块11获取例如被摄物101a和101b的主相机图像。
89.如图1所示，从属相机模块12包括，例如，能够聚焦于被摄物的第二镜头12a、检测通过第二镜头12a输入的图像的第二图像传感器12b、以及驱动第二图像传感器12b的第二图像传感器驱动器12c。
90.例如，从属相机模块12获取被摄物101a和101b的从属相机图像。
91.距离传感器模块20通过使用光线获取被摄物101a和101b的深度信息。特别地，例如，距离传感器模块20，通过向被摄物101a和101b发射脉冲光，并检测来自被摄物101a和101b的反射光，来获得飞行时间(tof)深度信息(tof深度值)作为深度信息。
92.由距离传感器模块20检测的tof深度信息的分辨率低于基于主相机图像和从属相机图像获取的立体图像的立体深度信息的分辨率。
93.图像信号处理器30，例如，控制主相机模块11、从属相机模块12和距离传感器模块20，根据在主相机模块11获得的主相机图像、在从属相机模块12获得的从相机图像、以及在距离传感器模块20获得的tof深度信息，得到相机图像。该相机图像为具有虚化的主相机图像。
94.此外，如图1所示，例如，电子设备100包括全球导航卫星系统(gnss)模块40、无线通信模块41、codec 42、扬声器43、麦克风44、显示模块45、输入模块46、惯性导航单元(imu)47、主处理器48和存储器49。
95.gnss模块40测量，例如，电子设备100的当前位置。
96.无线通信模块41执行，例如，与互联网的无线通信。
97.codec 42双向执行编码和解码，使用预设的编码/解码方法，例如图1所示。
98.扬声器43，例如，根据由codec 42解码的声音数据输出声音。
99.麦克风44，例如，根据输入的声音向codec 42输出声音数据。
100.显示模块45显示预设信息。
101.输入模块46接收用户的输入。
102.imu 47检测，例如，电子设备100的角速度和加速度。
103.主处理器48控制全球导航卫星系统(gnss)模块40、无线通信模块41、codec42、扬声器43、麦克风44、显示模块45、输入模块46和imu 47。
104.存储器49存储了图像信号处理器30控制立体相机模块10和距离传感器模块20所需的程序和数据、获得的图像数据、以及主处理器48控制电子设备100所需的程序和数据。
105.例如，存储器49包括具有存储在其上的计算机程序的计算机可读存储介质。当计算机程序由主处理器48执行时，计算机程序实现用于控制电子设备100的方法。例如，该方法包括：通过图像信号处理器30，基于主相机图像和通过使用光线获得的被摄物的深度信息(tof深度信息)，校正立体图像的深度信息，立体图像通过对被摄物101a和101b的主相机图像和被摄物101a和101b的从属相机图像进行立体处理而获得，以此获得校正的深度信息；通过图像信号处理器30，基于校正的深度信息对主相机图像进行虚化处理，以此获得具有虚化的相机图像。
106.具有上述配置的电子设备100在本实施例中为移动电话，如智能手机，但也可以是其他类型的包括摄像模块的电子设备。
107.图2是用于生成图1所示的电子设备100的相机图像的数据流的示例性示意图
108.如图2所示，例如，图像信号处理器30控制主相机模块11、从属相机模块12和距离传感器模块20，根据在主相机模块11获得的主相机图像201、在从属相机模块12获得的从相机图像202、以及在距离传感器模块20获得的tof深度信息203，得到相机图像。该相机图像为具有虚化的主相机图像201。
109.图像信号处理器30通过对主相机图像201和从属相机图像202的匹配处理(立体处理)x1获得立体深度信息204，例如图2所示。
110.图像信号处理器30还通过对被摄物(人)的区域进行ai处理(图像处理)x2，提取界定主相机图像201中的被摄物区域的人物区域信息(被摄物区域信息)205。
111.图像信号处理器30通过对立体深度信息204和提取的人物区域信息(被摄物区域信息)205进行组合处理x3，进一步获得与主相机图像201有关的深度信息206。
112.图像信号处理器30还执行不确定区域预估处理y1，以估计主相机图像201中的不确定区域，并获取与主相机图像201中估计的不确定区域相关的不确定区域信息207。对该不确定区域来说，无法对主相机图像201和从属摄像机图像202执行匹配处理x1。
113.图像信号处理器30还执行深度校正y2，用于基于tof深度信息203校正对应于不确定区域的深度信息206的一部分，以获得校正的深度信息208。
114.更详细地说，在深度校正y2中，图像信号处理器30用对应于不确定区域的tof深度信息203的一部分替换上述的对应于不确定区域的深度信息206的部分，以获得校正的深度信息208。
115.关于没有检测到tof深度信息的非检测区域(例如，被摄物的前景和背景)，图像信号处理器30可以在深度校正y2中通过将非检测区域的深度信息替换为符合用户指令的校正深度信息来获得校正的深度信息208。
116.如上所述，图像信号处理器30通过基于主相机图像201和tof深度信息203校正深度信息206来获得校正的深度信息208，该深度信息206基于对主相机图像201和从属摄像机图像202执行匹配处理(立体处理、交叉关联处理)y1所获得的立体图像。
117.然后，图像信号处理器30基于获得的校正深度信息208对主相机图像201进行虚化处理x4，以获得具有虚化的相机图像209。
118.现在将描述控制具有上述配置和功能的电子设备100的示例性方法。特别地，下面将描述用于获取具有合适虚化的相机图像的电子设备100的示例性流程。
119.图3是用于校正图1所示的电子设备100中的深度信息的流程的示例性示意图。图4a是由图1所示的电子设备100拍摄的主相机图像的一个示例性示意图。图4b是与图1所示的电子设备100拍摄的主相机图像相对应的tof深度信息的一个示例性示意图。图5a是与图1所示的电子设备100拍摄的主相机图像对应的深度信息的一个示例性示意图。图5b是通过基于非校正深度信息对主相机图像进行虚化处理而获得的具有虚化的相机图像的一个示例性示意图。
120.例如图3所示，图像信号处理器30通过控制主相机模块11、从属相机模块12和距离传感器模块20来获取主相机图像(图4a)、深度信息和tof深度信息(图4b)(步骤s31)。图4b展示了在检测到tof深度信息的检测区域中，较亮的部分表示物体较近，还展示了没有检测到tof深度信息的非检测区域较灰暗。
121.然后，图像信号处理器30执行不确定区域预估处理，用于估计不能对主相机图像11和从属相机图像12进行立体处理的不确定区域(步骤s32)。
122.然后，图像信号处理器30通过基于tof深度信息校正对应于不确定区域的深度信息(图5a)的一部分来获得校正的深度信息(步骤s33)。
123.与不确定区域相对应的深度信息部分例如是没有深度值的部分，或没有值但使用
周围部分的深度值插值的部分。
124.图像信号处理器30基于校正的深度信息在主相机图像上进行虚化处理，以获得具有虚化的相机图像209。
125.例如图5b所示，使用非校正深度信息对主相机图像进行虚化处理，得到的具有虚化的相机图像可能在应该具有虚化的部分没有虚化。
126.下面将描述图3所示的不确定区域预估处理示例性流程。
127.图6是在图1所示的电子设备100中进行不确定区域预估处理的流程示意图。
128.图7是图6所示的不确定区域预估处理的流程中的自相关计算模型的示意图。图8a是参考区域相对于被标记为低纹理区域的不确定区域中的目标区域(region of interest)的运动与从自相关中获得的相似性之间关系的示例性示意图。图8b是参考区域相对于被标记为重复图案区域的不确定区域中的目标区域的运动与从自相关计算中获得的相似性之间关系的示例性示意图。图9a是被标记为低纹理区域的不确定区域的示例性示意图。图9b是被标记为重复图案区域的不确定区域的示例性示意图。
129.例如图6所示，在图3所示的不确定区域预估处理(步骤s32)中，图像信号处理器30以主相机图像的参考区域相对于目标区域(region of interest)预设移动量进行自相关计算，从而计算出目标区域和参考区域之间的相似度(特征值)(步骤s61)。
130.如图7特别所示，在不确定区域预估处理中，图像信号处理器30对主相机图像进行自相关计算，其中，是以参考区域相对于目标区域在极线方向上，移动了预设移动量，来进行计算的，从而计算目标区域和参考区域之间的相似程度(特征值)。极线是指平行立体图像的极线。
131.在进行不确定区域预估处理的过程中，计算自相关计算中的相似度时，可采用平方差之和(ssd)的方法、绝对差之和(sad)的方法或归一化交叉相关(ncc)的方法。
132.图像信号处理器30检测一个区域，该区域中，计算的相似度相对于预设移动量的变化小于预设值(步骤s62)，并将该区域标记为包括在不确定区域中的低纹理区域。
133.例如，如果在一个区域中，一个频率(特征值)小于在不确定区域预估处理中设置的预设标签参考值，则图像信号处理器30将该区域标记为包括在不确定区域中的低纹理区域(图8a和图9a)。其中，该频率(特征值)是基于相对于预设移动量的相似度峰值的间隔的平均值或峰值的模式值。
134.图像信号处理器30可以进一步根据不确定区域预估处理中相似度的变化(相似度的低点的深度变化)的大小对低纹理区域进行分类。
135.图像信号处理器30还检测一个区域，在该区域中，在计算的相对于预设运动量的相似度中存在多个峰值(步骤s63)，并将该区域标记为包括在不确定区域中的重复图案区域。
136.例如，如果在一个区域中，一个频率(特征值)等于或高于(大于)在不确定区域预估处理中设置的预设标签参考值，则图像信号处理器30将该区域标记为包括在不确定区域中的重复模式区域(图8b和9b)。其中，该频率(特征值)是基于相对于预设运动量的相似度峰值的间隔的平均值或峰值的模式值。
137.如果在一个区域中，一个频率(特征值)小于标签参考值，则图像信号处理器30将该区域标记为包括在不确定区域中的上述低纹理区域。其中，该频率(特征值)是基于相对
于预设运动量的相似度峰值的间隔的平均值或峰值的模式值。
138.然后，图像信号处理器30将标记的重复图案区域和低纹理区域融合(步骤s64)。
139.图10是图6所示的不确定区域预估处理中组合操作流程的示例性示意图。图11a是频率(特征值)与纹理标记之间关系的示例性示意图。图11b是相似度的差异与清晰纹理或低纹理之间关系的示例性示意图。
140.例如图10所示，在图6所示的不确定区域预估处理中的融合流程(步骤s64)中，图像信号处理器30，通过在与极线正交的方向上将参考区域相对于目标区域按预设移动量移动，来对主相机图像进行自相关计算，从而计算目标区域和参考区域之间的相似度(特征值)(步骤s101)。
141.如果图像信号处理器30的处理时间需要减少，可以省略在与极线正交的方向上的自相关计算。
142.然后，图像信号处理器30根据在上述自相关计算中计算出的相似度，来计算特征值(频率)(步骤s102)，将不确定区域中具有相似特征值的像素连接起来，对不确定区域中的连接的像素组进行分类(图11a)，并对该像素组进行标记(步骤s103)。
143.如上所述，特征值，即频率，是根据相似程度的峰值之间的间隔的平均值或峰值的模式值来计算的。低纹理区域是根据相似度的低点深度来标记的。清晰的纹理区域被提前从自相关计算中排除(图11b)。
144.下面将描述图3所示的深度信息校正处理流程的一个示例。图12是图3所示的深度信息校正处理的示例性示意图。
145.如图12所示，在深度校正过程中，图像信号处理器30根据深度信息针对主相机图像的每个标记区域获取区域深度信息(步骤s121)。
146.例如，图像信号处理器30可以参考对应于标记区域中的像素的深度信息(深度值)，并计算对应于标记区域的深度值的平均值，从而获得区域深度信息。
147.图像信号处理器30基于tof深度信息进一步获取标记区域的区域tof深度信息(步骤s122)。
148.例如，图像信号处理器30可参考标记区域的像素的tof深度信息(tof深度值)，并计算对应于标记区域的tof深度值的平均值，从而获得区域tof深度信息。
149.然后，图像信号处理器30将区域深度信息与标记区域的tof深度信息进行比较。
150.如果区域深度信息和区域tof深度信息之间的差值等于或高于(大于)预设值，，则图像信号处理器30用区域tof深度信息替换对应于标记区域的深度信息(校正对应于标记区域的深度信息)，如步骤s123所示。
151.因此，如果深度信息和tof深度信息之间的差值在某不确定的区域中是显著的，那么该深度信息被替换为tof深度信息。
152.如果在深度校正中，区域深度信息和区域tof深度信息之间的差值不等于或不大于预设值，则图像信号处理器30不采用区域tof深度信息替换标记区域的深度信息(不校正标记区域的深度信息)。
153.在深度校正中，图像信号处理器30然后显示没有检测到tof深度信息的非检测区域的信息(步骤s124)。
154.在深度校正中，图像信号处理器30然后根据用户的指令(步骤s125)将对应于没有
检测到tof深度信息的主相机图像的非检测区域的深度信息替换为用于校正的深度信息(步骤s126)，从而获得校正的深度信息。
155.如上所述，没有tof深度信息的非检测区域可以显示在电子设备的显示器上，并根据用户的指令被处理。
156.图13是图12所示的用户指令的具体流程的示例性示意图。图14是在显示模块上显示非检测区域的示例性示意图。图15是，在用户将用于校正非检测区域的深度信息设置为"近"值(将该区域设置为被摄物的前景)的情况下，相机图像的示例性示意图。图16是，在用户将用于校正的深度信息设置为"远"值(将该区域设置为被摄物的背景)的情况下，相机图像的示例性示意图。
157.在图13所示的用户指令的流程中，电子设备100的显示模块45上显示没有检测到tof深度信息的非检测区域(例如，被摄物的前景或背景)的信息(步骤s131)。
158.例如图14所示，非检测区域被显示在电子设备100的显示模块45上。
159.用户输入指令，指定非检测区域，对于该区域的深度信息应该被校正，同时输入另一指令，与用于校正该非检测区域的深度信息有关(步骤s133)。
160.例如，如果用户移动图14所示的输入模块(触摸面板)46的光标45a，就会输入用于校正非检测区域的深度信息的指令。
161.根据用户对输入模块46关于有关非检测区域的深度信息的指令的输入，图像信号处理器30将用户指定的非检测区域的深度信息更新为用户指示的用于校正的深度信息(步骤s134)。
162.例如，用户用图14所示的输入模块(触摸面板)46上的光标45b输入校正完成(步骤s135)。
163.如果用户为校正非检测区域的深度信息设置一个"近"值(将该区域设置为被摄物的前景)，例如图15所示，作为前景区域的非检测区域与被摄物区域之间的边界，在作为深度校正结果获得的相机图像中，变得清晰。
164.如果用户为校正非检测区域的深度信息设置一个"远"值(将该区域设置为被摄物的背景)，例如图16所示，作为背景区域的非检测区域与被摄物区域之间的边界，在作为深度校正结果获得的相机图像中，变得模糊。
165.如上所述，本发明的一个方面提供了一种电子设备，包括：主相机模块，拍摄被摄物的照片以获得主相机图像；从属相机模块，拍摄被摄物的照片以获得从属相机图像；距离传感器模块，向被摄物发射脉冲光并检测来自被摄物的反射光，以获得飞行时间(tof)深度信息；以及图像信号处理器，控制主相机模块、从属相机模块和距离传感器模块以获得相机图像。该相机图像是基于主相机图像、从属相机图像和tof深度信息得到的，且具有虚化的主相机图像。
166.图像信号处理器通过对深度信息进行校正，得到校正的深度信息，并且基于校正的深度信息对主相机图像进行虚化处理，获得具有虚化的相机图像。其中，基于主相机图像和tof深度信息，对主相机图像和从属摄像机图像进行立体处理，得到立体图像。基于该立体图像，获得上述深度信息。
167.图像信号处理器获取与主相机图像的不确定区域有关的不确定区域信息，并基于tof深度信息对不确定区域的深度信息进行深度校正，从而获得校正的深度信息。其中，不
或“一些实施例”是指与该实施例或示例有关的特定特征、结构、材料或特性被包括在本发明的至少一个实施例或示例中。因此，上述短语在本说明书中的出现不一定是指本发明的同一个实施例或示例。此外，特定的特征、结构、材料或特性可以以任何合适的方式组合在一个或多个实施例或示例中。
177.在流程图中描述的或在此以其他方式描述的任何过程或方法可被理解为包括一个或多个模块、字段或部分可执行指令的代码，用于实现过程中的特定逻辑功能或步骤。本发明的一个优选实施例的范围包括其他实施方案，其中本领域的技术人员应理解，功能可以以所示或讨论的顺序以外的顺序实现，包括与本发明基本相同的顺序或相反的顺序。
178.本文以其他方式描述的逻辑和/或步骤或在流程图中显示的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定顺序表格，可以在任何计算机可读介质中具体实现，以便由指令执行系统、装置或设备使用(例如基于计算机的系统、包括处理器或能够从指令执行系统、装置和设备获得指令并执行该指令的其他系统)，或与指令执行系统、装置和设备融合使用。就本说明书而言，"计算机可读介质"可以是任何适应于包括、存储、通信、传播或转移将由指令执行系统、装置或设备使用或与之融合的程序的装置。计算机可读介质的更具体的示例包括但不限于：具有一条或多条导线的电连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤设备和便携式光盘只读存储器(cdrom)。此外，计算机可读介质甚至可以是纸或其他适当的介质，能够在上面打印程序，这是因为，例如，纸或其他适当的介质可以被光学扫描，然后在必要时用其他适当的方法进行编辑、解密或处理，以电子的方式获得程序，然后可以将程序存储在计算机存储器中。
179.应该理解的是，本发明的每一部分可以由硬件、软件、固件或其组合来实现。在上述实施例中，多个步骤或方法可由存储在存储器中的软件或固件实现，并由适当的指令执行系统执行。例如，如果由硬件实现，同样在另一个实施例中，步骤或方法可由本领域已知的下列技术之一或组合实现：具有实现数据信号逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的特定应用集成电路、可编程门阵列(pga)、现场可编程门阵列(fpga)等。
180.本领域的技术人员应理解，本公开的上述示例性方法中的全部或部分步骤可通过用程序指挥相关硬件来实现。这些程序可以存储在计算机可读存储介质中，当在计算机上运行时，这些程序包括本发明的方法实施例中的一个步骤或组合的步骤。
181.此外，本发明的实施例的每个功能单元可以集成在一个处理模块中，或者这些单元可以是物理上独立的存在，或者两个或多个单元集成在一个处理模块中。该集成模块可以以硬件的形式实现，也可以以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立的产品出售或使用时，集成模块可以存储在计算机可读存储介质中。
182.上述存储介质可以是只读存储器、磁片、cd等。
183.尽管已经展示和描述了本发明的实施方案，但本领域的技术人员应当理解，这些实施方案是解释性的，不能被理解为限制本发明的内容，在不脱离本发明范围的情况下，可以对实施方案进行改变、修改、替代和变化。