生成全聚焦图像的方法和装置与流程

1.本发明构思涉及图像处理，更具体地，涉及生成全聚焦图像的方法和装置。


背景技术：

2.在相机成像时，可通过全聚焦成像来实现对目标对象的各细节均清晰的成像，以便得到细节清晰的全聚焦图像。由于全聚焦图像可以向用户和/或终端提供目标对象的清晰的细节，因此，全聚焦图像可以满足用户和/或终端的各种需求。
3.通常，全聚焦图像可通过下面的方法来生成：使用扫描对焦的方式采集不同对焦距离的图像；将图像序列进行配准对齐的预处理后，使用清晰度算子检测出不同对焦距离下成像最清晰的图像区域，其中，一幅图像中的清晰区域表示区域内的物体位于该幅图像对焦距离的景深范围内；最后将图像序列中的清晰的区域提取出并融合起来，以生成全聚焦图像。
4.然而，在上面的生成全聚焦图像的方法中，拍摄物体需要在扫描拍摄多帧图像的过程中保持相对静止，无法拍摄运动物体的全聚焦图像，且拍摄和生成图片的过程耗时较长。


技术实现要素：

5.提供本发明构思内容来以简化的形式介绍在一些示例实施例中进一步描述的构思的选择。本发明构思的内容不意在标识要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
6.生成全聚焦图像的方法和装置被提供。
7.在一些示例实施例中，提供一种生成全聚焦图像的方法，所述方法可包括：基于使用相位检测图像传感器拍摄场景，获得场景图像和相位检测图像；基于相位检测图像和指示深度与模糊核分布的特定(或，可选地，预先建立或存储的)映射关系，确定模糊核；通过使用模糊核对场景图像进行去模糊处理，生成全聚焦图像。
8.在一些示例实施例中，场景图像可通过相位检测图像传感器的感测光强的像素来获得，相位检测图像通过相位检测图像传感器的相位检测像素来获得。
9.在一些示例实施例中，相位检测图像可包括深度图像和与深度图像对应的置信度图像，其中，确定模糊核的步骤可包括：基于置信度图像对深度图像进行修正，以修正深度图像中的具有低于阈值的置信度的深度值；基于修正后的深度图像和所述映射关系来确定模糊核。
10.在一些示例实施例中，基于修正后的深度图像和所述映射关系来确定模糊核的步骤可包括：基于对修正后的深度图像进行上采样来生成具有场景图像的分辨率的深度图像；基于具有场景图像的分辨率的深度图像和所述映射关系来确定模糊核。
11.在一些示例实施例中，生成全聚焦图像的步骤可包括：通过将模糊核应用于特定(或，可选地，预定的)模糊核卷积模型，对场景图像进行去模糊处理，以生成全聚焦图像。
12.在一些示例实施例中，所述映射关系基于以下步骤来建立(例如，预先建立)：在不同的深度下，基于相位检测图像传感器采集点光源的图像获得模糊核图像；通过对模糊核图像进行插值或对模糊核图像进行拟合来建立指示深度与模糊核分布的映射关系。
13.在一些示例实施例中，提供一种生成全聚焦图像的装置，所述装置可包括：存储器，存储可执行的指令；处理器，被配置为执行可执行的指令以使处理器：基于使用相位检测图像传感器拍摄场景，获得场景图像和相位检测图像；基于相位检测图像和预先建立的指示深度与模糊核分布的映射关系，确定模糊核；基于使用模糊核对场景图像进行去模糊处理，生成全聚焦图像。
14.在一些示例实施例中，场景图像可通过相位检测图像传感器的感测光强的像素来获得，相位检测图像可通过相位检测图像传感器的相位检测像素来获得。
15.相位检测图像可包括深度图像和与深度图像对应的置信度图像，其中，处理器可被配置为执行可执行的指令以：基于置信度图像对深度图像进行修正，以修正深度图像中的具有低于阈值的置信度的深度值；基于修正后的深度图像和所述映射关系来确定模糊核。
16.在一些示例实施例中，处理器可被配置为执行可执行的指令以：基于对修正后的深度图像进行上采样来生成具有场景图像的分辨率的深度图像；基于具有场景图像的分辨率的深度图像和所述映射关系来确定模糊核。
17.在一些示例实施例中，处理器可被配置为执行可执行的指令以：基于将模糊核应用于特定的(或，可选地，预定的)模糊核卷积模型，对场景图像进行去模糊处理，以生成全聚焦图像。
18.在一些示例实施例中，所述映射关系可基于以下步骤来建立(例如，预先建立)：在不同的深度下，基于相位检测图像传感器采集点光源的图像获得模糊核图像；基于对模糊核图像进行插值或对模糊核图像进行拟合来建立指示深度与模糊核分布的映射关系。
附图说明
19.图1是示出根据一些示例实施例的生成全聚焦图像的装置的框图；
20.图2是示出根据一些示例实施例的生成全聚焦图像的方法的流程图；
21.图3是示出根据一些示例实施例的强度归一化后的模糊核的示意图；
22.图4是示出根据一些示例实施例的基于相位检测图像确定模糊核的方法的流程图；
23.图5是示出根据一些示例实施例的权重函数的示意图；
24.图6是示出根据一些示例实施例的基于修正后的深度图像确定模糊核的方法的流程图；
25.图7是示出根据一些示例实施例的电子装置的框图；
26.图8是示出根据一些示例实施例的相位检测图像传感器的像素结构的示意图。
27.贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。
具体实施方式
28.提供下面的一些示例实施例以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本技术的发明构思之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不受限于在此阐述的那些顺序，而是除了必须以特定的顺序发生的操作之外，可如在理解本技术的发明构思之后将是清楚地那样被改变。此外，为了增加的清楚和简明，可省略在理解本技术的公开之后已知的特征的描述。
29.将理解，这里描述的“通过”执行另一操作或子操作执行的操作可以“基于”另一操作或子操作被执行，使得操作可基于可单独包括另一操作或子操作或组合包括另一操作或子操作的操作和/或子操作的集合来执行。
30.在此描述的特征可以以不同的形式来实现，而不应被解释为受限于在此描述的示例。相反，已提供在此描述的示例，以仅示出在理解本技术的发明构思之后将是清楚的实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
31.图1是示出根据一些示例实施例的生成全聚焦图像的装置的框图。
32.参照图1，生成全聚焦图像的装置100可包括存储器110和处理器120。在一些示例实施例中，装置100还可包括诸如图7中所示的相机710的相位检测图像传感器(例如，内部相位检测图像传感器)。然而，将理解，示例实施例不限于此，并且在一些示例实施例中，相位检测图像传感器(例如，包括在相机710中)可位于装置100的外部，因此可不作为装置100的一部分被包括(例如，装置100可不包括任何内部相位检测图像传感器)。例如，相位检测图像传感器可以是图7中所示的相机710，并且装置100可与相机710连接，并且可包括作为图7的处理器720的处理器。相机710可位于同一电子装置700中的装置100外部，或者位于彼此通信结合的单独电子装置中。相位检测图像传感器可具有各种形式的像素结构。在一个示例中，相位检测图像传感器可具有如图8中所示的像素结构。图8中的像素结构也可称为全双像素(all dual pixel)结构。参照图8，左相位检测像素l可以通过微透镜收集到来自微透镜右侧的光线，右相位检测像素r可以通过微透镜收集到来自通过微透镜左侧的光线。虽然图8示出相位检测图像传感器的像素结构的示例，但是本发明构思不限于此，相位检测图像传感器也可具有包括相位检测像素的其他任意像素结构。
33.尽管在图1中未示出，但是生成全聚焦图像的装置100可与外部存储器连接和/或与外部装置(也称为远程装置)进行通信。图1示出的生成全聚焦图像的装置100可包括与一些示例实施例相关联的组件。因此，对于本领域普通技术人员将清楚的是，在生成全聚焦图像的装置100中还可包括除了图1中示出的组件之外的其他通用组件。
34.这里，生成全聚焦图像的装置100可利用诸如个人计算机(pc)、服务器装置、移动装置、嵌入式装置等的各种类型的装置来实现。详细地，生成全聚焦图像的装置100可以是和/或可被包括在可拍摄图像和/或处理图像的智能电话、平板装置、增强现实(ar)装置、物联网(iot)装置、自动驾驶车辆、机器人装置或医疗装置中，但不限于此。
35.存储器110存储在生成全聚焦图像的装置100中处理的各种数据。例如，存储器110可存储在生成全聚焦图像的装置100中已处理或将被处理的数据。在一些示例实施例中，存储器可存储在处理器120中可执行的指令(例如，可存储可执行的指令)。此外，存储器110可存储将由生成全聚焦图像的装置100驱动的应用或驱动器。
36.例如，存储器110可包括随机存取存储器(ram)(诸如，动态随机存取存储器(dram)或静态随机存取存储器(sram))、只读存储器(ram)、电可擦除可编程只读存储器(eeprom)、cd-rom、蓝光光盘、光盘存储装置、硬盘驱动器(hdd)、固态驱动器(ssd)或闪存。
37.处理器120可控制生成全聚焦图像的装置100的总体功能。例如，处理器120通常可通过执行存储在存储器110中的程序(例如，执行存储在存储器110中的程序和/或可执行的指令)，来控制生成全聚焦图像的装置100。处理器120可被实现为包括在用于处理数据的设备100中的中央处理器(cpu)、图形处理器(gpu)或应用处理器(ap)，但不限于此。例如，存储器110可存储可执行的指令，处理器120可被配置为执行存储在存储器110中的可执行的指令，以实现和/或执行根据任何示例性实施例的装置100的任何功能、任何方法(例如，如这里所述的用于生成全聚焦图像的任何方法)、其任何组合等。
38.处理器120可从存储器110读取数据(例如，诸如场景图像和相位检测图像的图像数据)或将数据写入存储器110，并通过使用读取的数据/写入的数据来生成全聚焦图像。例如，当指令(这里也称为可执行的指令)在处理器中被执行时，处理器可被配置为：通过使用相位检测图像传感器拍摄场景，获得场景图像和相位检测图像；基于相位检测图像和特定的(或，可选地，预先建立的或存储的)指示深度与模糊核分布的映射关系，确定模糊核；并通过使用模糊核对场景图像进行去模糊处理，生成全聚焦图像。如这里所述，“深度与模糊核分布”可理解为表示例如如图3中所示的“深度”(例如，深度值)和“模糊核”之间的分布，使得映射关系中的不同深度(例如，深度值)可对应于不同的模糊核(例如，可与不同的模糊核相关联)。因此，给定深度可应用于映射关系的分布，以确定与分布中的给定深度相关联(例如，对应于分布中的给定深度)的特定模糊核。通常，模糊核可被理解为矩阵。当清晰图像与模糊核卷积后会使清晰图像变成模糊图像，因此，为了获得清晰图像，可确定卷积核，并使用确定的卷积核来从模糊图像恢复并得到清晰图像。
39.也就是说，生成全聚焦图像的装置100可仅基于使用相位检测图像传感器拍摄的一帧图像(例如，基于该一帧图像而生成的场景图像和相位检测图像)就能够生成全聚焦图像。因此，生成全聚焦图像的装置100可节省生成生成全聚焦图像的时间。例如，全聚焦图像的装置100可以避免扫描对焦的过程。此外，生成全聚焦图像的装置100可扩展应用场景。例如，全聚焦图像的装置100可以针对运动物体的场景来生成全聚焦图像。
40.因此，基于根据任何示例性实施例生成全聚焦图像(例如，基于使用基于相位检测图像和指示深度与模糊核分布的特定(或，可选地，预先建立的或存储的)映射关系确定的模糊核对场景图像进行去模糊)，装置100可基于更快地生成全聚焦图像来展现提高的图像处理性能。此外，基于根据任何示例性实施例生成全聚焦图像，装置100可(例如，基于避免扫描聚焦的处理)利用更少的计算资源，从而提高装置100的操作性能和/或提高操作效率(例如，提高的生成全聚焦图像的速度和/或减少资源消耗)，提高资源利用率和/或减少装置100的功耗。此外，如上所述，基于根据任何示例性实施例生成全聚焦图像，装置100可基于被配置为扩展应用场景(例如，针对移动对象的场景生成全聚焦图像)而展现提高的性能。此外，将理解，根据任何示例性实施例的执行生成全聚焦图像的方法可提供上述提高的结果(例如，以提高的速度、提高的操作性能、题号的效率、减少的资源利用、减少的功耗等生成全聚焦图像)。
41.装置100可包括显示装置(例如，发光二极管(led)或有机led(oled)屏幕)，处理器
120可配置为使显示装置显示生成的全聚焦图像，从而(例如，基于由于装置100根据任何示例性实施例生成全聚焦图像而更快地向用户提供生成的全聚焦图像)向由装置100支持的用户提供根据任何示例性实施例生成全聚焦图像的前述益处。
42.装置100可包括有线通信接口和/或无线网络通信收发器，处理器120可被配置为经由收发器将生成的全聚焦图像发送到装置100外部的外部装置(例如，远程装置)，从而向由外部装置支持的用户提供根据任何示例实施例生成全聚焦图像的前述益处。
43.在一些示例实施例中，装置100可与另一个装置一起包括在电子装置(例如，图7中所示的电子装置700)中，该另一装置被配置为利用图像作为输入来执行操作(例如，通过环境导航电子装置)。
44.在下文中，将参照图2至图7对处理器120执行的生成全聚焦图像的示例进行描述。
45.图2是示出根据一些示例实施例的生成全聚焦图像的方法的流程图。应当理解，图2中所示的方法可以由根据任何示例性实施例的包括例如图1中所示的装置100的任何装置例如基于执行存储在存储器110中的可执行的指令的处理器120实现。
46.参照图2，在操作s210中，处理器可通过(例如，基于控制相位检测图像传感器的处理器120)使用相位检测图像传感器拍摄场景，获得场景图像和相位检测图像。
47.相位检测图像传感器可以包括被配置为感测入射光的光强度的像素(这里也称为用于感测光强度的像素)。这里，场景图像可通过相位检测图像传感器的感测光强的像素(例如，基于由相位检测图像传感器的感测光强的像素生成的电信号)来获得。仅作为非限制性的示例，相位检测图像传感器的感测光强的像素可以是rgb像素或者yuv像素。然而，发明构思本发明构思的感测光强的一个或多个像素不限于此，也可以是其他用于感测光强的像素。此外，相位检测图像传感器可以包括相位检测(pd)像素，相位检测图像可通过相位检测图像传感器的相位检测(pd)像素(例如，基于由相位检测图像传感器的相位检测(pd)像素生成的电信号)来获得。
48.在一些示例实施例中，场景图像和相位检测图像的生成可以在相位检测图像传感器内部的处理器或者相位检测图像传感器外部的处理器(例如，图1中的处理器120)来执行。例如，通过使用相位检测图像传感器拍摄场景而生成的一帧数据可被转换为场景图像和相位检测图像。
49.在操作s220中，处理器可基于相位检测图像和特定(或，可选地，预先建立的或存储的)指示深度与模糊核分布的映射关系(例如，指示不同的深度并进一步指示对应于单独的各自(例如，不同)深度的单独的各自模糊核的映射关系)，确定(例如，选择)模糊核。
50.通常，在拍摄场景的过程中，可由于各种因素(例如，物体运动、相机抖动或者物体失焦等)而导致图像(例如，捕获或获得的场景图像)模糊。图像模糊一般被看作清晰图像与模糊核进行卷积而得到模糊图像的过程。因此，模糊核可用于消除或者减少图像的模糊。
51.在一些示例实施例中，为了获得指示深度与模糊核分布的映射关系，可首先在不同的深度下基于相位检测图像传感器采集点光源的图像获得模糊核图像，然后通过对模糊核图像进行插值或对模糊核图像进行拟合来建立指示深度与模糊核分布的映射关系。
52.例如，假定固定离焦深度下，模糊核具有空间一致性，可以在不同的离焦位置使用现有的刃边法得到模糊核图像。从原理上，模糊核可以视为点光源通过成像系统后的模糊图像，但是在实际测量中，一般使用其他间接的测量方法(例如，刃边法)测量其他图像后通
过计算来得到等效点光源的成像，从而得到模糊核。此外，本发明的生成模糊核图像的方法可不限于刃边法，也可使用其他任何现有的方法来获得。通过上面的方法，可以得到不同深度下的模糊核图像。仅作为示例，模糊核的图像可如图3所示。然后，可通过对模糊核图像进行插值或拟合来得到所有深度下的模糊核图像。当得到所有深度下的模糊核图像时，指示深度与模糊核分布的映射关系被建立。因此，当深度与模糊核分布的映射关系和深度已知(例如，深度已知并且映射关系已知)时，可以确定(例如，选择)适用于特定深度的像素的去模糊的模糊核。上面虽然描述了建立指示深度与模糊核分布的映射关系的示例，但本发明构思不限于此，也可以使用其他方法来建立指示深度与模糊核分布的映射关系。
53.另外，相位检测图像可包括深度信息(例如，深度值)。因此，基于相位检测图像和特定(或，可选地，预先建立的或存储的)指示深度与模糊核分布的映射关系，可快速地确定(例如，选择)模糊核，从而减少了计算量并节省了计算时间，同时保证确定的模糊核的准确性和减少操作时间、提高操作速度、提高操作效率、减少计算资源利用、减少功耗和/或处理时间，以执行根据任何示例实施例、其任何组合等的生成全聚焦图像的方法。映射关系以及对应于映射关系中的深度的多个模糊核可存储在存储器110中。可基于将深度信息应用于映射关系来确定模糊核，并且可从多个模糊中选择确定的模糊核。
54.后面将结合图4和图6对确定模糊核的方法进行更详细地描述。
55.在操作s230中，处理器可基于通过使用模糊核(例如，在s220确定(例如，选择)的模糊核)对场景图像进行去模糊处理，生成全聚焦图像。
56.在一些示例实施例中，处理器可通过将模糊核应用于特定(或，可选地，预定的)模糊核卷积模型，对场景图像进行去模糊处理，以生成全聚焦图像。
57.仅作为示例，特定(或，可选地，预定的)模糊核卷积模型可包括典型的模糊核卷积模型。求解去模糊过程可以看作优化目标函数的过程。例如，一个带l2正则项的去模糊模型可以用等式(1)表示，并结合等式(2)进行求解：
[0058][0059]
k(x，y，dr)*i
all
(x，y)＝∫∫k(x-α，y-β，dr(α，β))i
all
(α，β)dαdβ
ꢀꢀ
等式(2)
[0060]
在上面的等式(1)和(2)中，可表示去模糊后的全聚焦图像(即，全聚焦图像的最优解)，i
all
(x，y)是可表示全聚焦图像(即，全聚焦图像的所有可能解)，dr可表示具有与场景图像的分辨率相同的分辨率的深度图像，k(x，y，dr)可表示指示深度为dr时的模糊核，x可表示图像中的像素的横坐标，y可表示图像中的像素的横坐标，i(x，y)可表示场景图像，可表示梯度，γ可表示可调的正则系数，η可表示可调的正则系数。
[0061]
在一个示例中，可通过变分法(variational method)来求解去模糊。求解去模糊可被视为确定泛函极值的问题，并可通过求解欧拉-拉格朗日方程(euler-lagrange equation)来执行。
[0062]
例如，设计如下的泛函：
[0063][0064]
可通过以下步骤来求解上述泛函的极值，其中，dr的初始值为通过相位检测像素
得到的深度分布，i
all
的初始值为通过感测光强的像素得到的像素值分布：步骤1.：求解欧拉-拉格朗日方程中的以由求解并得到
[0065]
步骤2.：求解欧拉-拉格朗日方程中的以由求解并得到
[0066]
步骤3：重复步骤2和步骤3，直到泛函j(i
all
，dr)收敛。
[0067]
泛函j(i
all
，dr)收敛时的解可对应于去模糊后的全聚焦图像。
[0068]
虽然上面示出了一个典型的模糊核卷积模型，但是本发明构思不限于此，预定的模糊核卷积模型也可以是任意其他模糊核卷积模型。
[0069]
由于可以快速地确定(例如，选择)模糊核并将模糊核应用于特定(或，可选地，预定的)模糊核卷积模型，因此可以改善去模糊过程中的费时且效果不确定，从而与生成全聚焦图像相关联地提高性能(例如，精度、速度)、效率(例如，减少资源和/或功耗)等。另外，可以根据相位检测图像传感器的特点(例如，pd图像的分辨率较高)及最终图像效果的需求，保持模糊核的初始值不变，只优化i
all
(x，y)。
[0070]
图3是示出根据一些示例实施例的强度归一化后的模糊核的示意图。
[0071]
在图3中，不同的深度可对应于不同的模糊核。例如，深度1可对应于第一模糊核，深度2可对应于第二模糊核，深度3可对应于第三模糊核，深度4可对应于第四模糊核。这里，图3中的模糊核的强度经过归一化处理。请注意，虽然图3示出强度归一化后的模糊核的示例，但本发明的模糊核不限于此，也可以具有其他形式。因此，如这里所述的深度和模糊核分布可表示深度和模糊核的分布，其中，不同的深度可对应于不同的模糊核。
[0072]
图4是示出根据一些示例实施例的确定(例如，选择)模糊核的方法的流程图。将理解，图4中所示的方法可由根据任何示例性实施例的包括例如图1中所示的装置100的任何装置例如基于执行存储在存储器110中的可执行的指令的处理器120来实现。图4中所示的方法可以作为执行图2中所示的操作s220的一部分来执行。
[0073]
在一些示例实施例中，相位检测图像(例如，在图2中示出的方法中的s210获得的相位检测图像)包括深度图像和与深度图像对应的置信度图像。
[0074]
在操作s410中，处理器可通过置信度图像对深度图像进行修正，以修正深度图像中的具有低于阈值的置信度的深度值。
[0075]
这里，深度图像和与深度图像对应的置信度图像可通过使用现有方法基于pd像素的原始数据输出而得到。针对深度图像d和对应的置信度图像c，置信度可表示深度的可信程度，例如，置信度为0可表示计算的深度完全不可信，置信度为1可表示计算的深度准确。每个深度像素d(x,y)都对应了一个置信度c(x,y)，其中，x可表示深度图像的横坐标，y可表示深度图像的纵坐标。深度图像和与深度图像对应的置信度图像的计算过程可以在相位检测图像传感器的处理器上进行，也可以在终端(例如，移动电话)自身的处理器(例如，应用处理器)上进行。
[0076]
在一些示例实施例中，处理器可通过使用图像的去坏点处理来将深度图像中的置信度不高的像素点修正，因此，可以准确校正深度图像中的数据。
[0077]
例如，处理器可通过下面的等式(3)来修正深度图像：
[0078]dr
(x，y)＝w(c(x，y))
×
d(x，y)+(1-w(c(x，y)))
×
f(d(x
′
，y'))
ꢀꢀ
等式(3)
[0079]
在等式(3)中，dr(x，y)可表示修正后的深度图像，(x’,y’)是(x，y)的邻域像素(例如，仅作为示例，如果选择3x3的像素区域，那么中心点为(x,y),周围的8个点就是邻域像素(x',y'))，d(x,y)是修正前的深度图像，c(x,y)是与深度图像对应的置信度图像。
[0080]
此外，w()可以是基于置信度的权重函数。图5是根据一些示例性实施例的权重函数的示意图。权函数w()可以可被调整的函数，并且置信度越大，权重越大。例如，w()可以是如图5所示的分段线性函数。然而，图5中示出的w()仅是示例，本发明构思不限于此。
[0081]
f()可以是用于执行图像的去坏点处理的修正函数。例如，去坏点处理可包括使用像素点周围8个点的均值滤波。然而，均值滤波仅是示例，本发明构思的去坏点处理不限于均值滤波，也可以包括其他去坏点处理。
[0082]
在操作s420中，处理器基于修正后的深度图像和特定(或，可选地，预先建立的)指示深度与模糊核分布的映射关系(例如，指示与单独的各自深度对应的单独或不同的模糊核的分布)来确定(例如，选择)模糊核。
[0083]
处理器可从修正后的深度图像获得深度信息(例如，深度值)，因此，处理器可基于深度信息和特定(或，可选地，预先建立的)指示深度与模糊核分布的映射关系来确定与深度信息对应的模糊核。在一些示例实施例中，这里的指示深度与模糊核分布的映射关系可以参照图3描述的指示深度与模糊核分布的映射关系。
[0084]
在一些示例实施例中，指示深度和模糊核的分布的映射关系可根据经验开发，并可作为数据库(诸如，将深度值与相应模糊核关联的查找表)被存储。相应的模糊核可存储在数据库中，或者可单独存储在单独的数据库中。因此，确定模糊核可包括访问查找表并对查找表应用深度(例如，深度值)，以确定和/或选择与查找表中的应用的深度相关联的相应模糊核。
[0085]
由于可使用通过修正后的深度图像获得更准确的深度信息来确定模糊核，因此，模糊核被更准确地确定。
[0086]
下面结合图6对操作s420进行更具体地描述。
[0087]
图6是示出根据一些示例实施例的确定模糊核的方法的流程图。将理解，图6中所示的方法可由根据任何示例性实施例的包括例如图1中所示的装置100的任何装置例如基于执行存储在存储器110中的可执行的指令的处理器120来实现。
[0088]
参照图6，在操作s610中，处理器可通过对修正后的深度图像进行上采样来生成具有场景图像的分辨率的深度图像。
[0089]
在相位检测图像传感器中，感测光强的像素的分辨率通常与pd像素的分辨率不同。也就是说，场景图像的分辨率可与深度图像的分辨率不同。因此，为了实现场景图像与深度图像之间的更好匹配，处理器可通过使用上采样算法对修正后的深度图像进行上采样来生成具有场景图像的分辨率的深度图像。
[0090]
在一些示例实施例中，上采样算法可以是超分算法(例如，双三次插值算法)。在另一个示例中，上采样算法可以是利用场景图像作为参考信息进行上采样的上采样算法(例如，具有保边效果的导向滤波算法)。然而，本发明构思不限于此，上采样算法也可以是任意其他采样算法。
[0091]
在操作s620中，处理器可基于具有场景图像的分辨率的深度图像和特定(或，可选地，预先建立的或存储的)指示深度与模糊核分布的映射关系来确定模糊核。
[0092]
处理器可从具有场景图像的分辨率的深度图像获得深度信息(例如，深度、深度值等)，因此，处理器可基于深度信息和特定(或，可选地，预先建立的或存储的)指示深度与模糊核分布的映射关系(例如，查找表)来确定与深度信息对应的模糊核。此外，由于从具有场景图像的分辨率的深度图像获得的深度信息可与场景图像匹配，因此，可在不需要额外处理的情况下直接使用深度信息和指示深度与模糊核分布的映射关系来确定模糊核。在一些示例实施例中，这里的指示深度与模糊核分布的映射关系可以参照图3描述的指示深度与模糊核分布的映射关系。
[0093]
由于可在不需要额外处理的情况下直接使用深度信息和指示深度与模糊核分布的映射关系来确定模糊核，因此，减少了计算时间，从而提高执行方法的装置的操作性能、操作效率等。
[0094]
图7是示出根据一些示例实施例的电子装置的框图。
[0095]
参照图7，电子装置700可包括相机710和处理器720。例如，电子装置700可应用于或安装在机器人装置(诸如，无人驾驶飞机和高级驾驶员辅助系统(adas))、智能tv、智能电话、医疗装置、移动装置、图像显示装置、测量装置、iot装置以及任何其它各种类型的电子装置。
[0096]
相机710可包括相位检测图像传感器，并可被配置为拍摄(例如，获得)图像(例如，场景图像)。处理器720可执行与参照图1描述的由处理器120执行的操作类似的操作。例如，处理器720可通过使用相位检测图像传感器拍摄场景，获得场景图像和相位检测图像；基于相位检测图像和特定(或，可选地，预先建立的)指示深度与模糊核分布的映射关系，确定模糊核；并通过使用模糊核对场景图像进行去模糊处理，生成全聚焦图像。例如，在一些示例实施例中，电子装置700可包括图1中所示的装置100，其中，处理器720可以是装置100的处理器120。相机710可位于电子装置700内的装置100的外部，使得相机710和装置100是包括在电子装置700内并在电子装置700内在它们之间通信结合的独立装置，其中，装置100可不包括任何内部相位检测图像传感器。在一些示例实施例中，相机710可位于电子装置700内的装置100的内部。
[0097]
上面描述的一个或多个方法可被编写为在计算机上可执行的程序(例如，作为可执行的指令)，并且可通过使用非瞬时(例如，非暂时性)计算机可读记录介质实现在操作该程序的通用数字计算机上。可使用各种装置将在上述方法中使用的数据的结构记录在计算机可读记录介质上。计算机可读记录介质可包括存储介质(例如，存储器)，诸如，磁存储介质(例如，rom、ram、通用串行总线(usb)、软盘、硬盘等)、光学记录介质(例如，光盘(cd)-rom、数字通用光盘(dvd)等)等。
[0098]
根据一些示例实施例，生成全聚焦图像的装置可仅基于使用相位检测图像传感器拍摄的一帧图像(例如，基于该一帧图像而生成的场景图像和相位检测图像)就能够生成全聚焦图像。因此，生成全聚焦图像的装置可节省生成生成全聚焦图像的时间，从而基于根据任何示例性实施例的任何方法生成全聚焦图像来展现提高的操作性能、提高的操作效率等。例如，全聚焦图像的装置可以避免扫描对焦的过程，从而在生成全聚焦图像中减少操作时间、减少功耗、减少计算资源的使用、其任何组合等。此外，生成全聚焦图像的装置可扩展应用场景。例如，全聚焦图像的装置100可以针对运动物体的场景来生成全聚焦图像。
[0099]
根据一些示例实施例，基于包括深度信息的相位检测图像和特定(或，可选地，预
先建立的或存储的)指示深度与模糊核分布的映射关系，可快速地确定模糊核，从而减少了计算量并节省了计算时间，同时保证确定的模糊核的准确性，这可提高与实现根据任何示例实施例的用于生成全聚焦图像的方法的装置相关联的操作性能、操作效率等。
[0100]
根据一些示例实施例，由于可以快速地确定模糊核并将模糊核应用于特定(或，可选地，预定的)模糊核卷积模型，因此可以改善去模糊过程中的费时且效果不确定，这可提高与实现根据任何示例实施例的用于生成全聚焦图像的方法的装置相关联的操作性能、操作效率等。
[0101]
根据一些示例实施例，由于可使用通过修正后的深度图像获得更准确的深度信息来确定模糊核，因此，模糊核被更准确地确定，这可提高与实现根据任何示例实施例的用于生成全聚焦图像的方法的装置相关联的操作性能、操作效率等。
[0102]
根据一些示例实施例，可通过使用上采样算法对修正后的深度图像进行上采样来生成具有场景图像的分辨率的深度图像，来实现场景图像与深度图像之间的更好匹配，这可提高与实现根据任何示例实施例的用于生成全聚焦图像的方法的装置相关联的操作性能、操作效率等。
[0103]
根据一些示例实施例，由于从具有场景图像的分辨率的深度图像获得的深度信息可与场景图像匹配，因此，可在不需要额外处理的情况下直接使用深度信息和指示深度与模糊核分布的映射关系来确定模糊核，这可提高与实现根据任何示例实施例的用于生成全聚焦图像的方法的装置相关联的操作性能、操作效率等。由于可在不需要额外处理的情况下直接使用深度信息和指示深度与模糊核分布的映射关系来确定模糊核，因此，减少了计算时间，这可提高与实现根据任何示例实施例的用于生成全聚焦图像的方法的装置相关联的操作性能、操作效率等。
[0104]
在一些示例实施例中，电子装置700可是车辆(诸如，汽车、自动车辆、无人驾驶车辆等)，并且可包括处理器720(并且还可包括图1中所示的存储器110，因此可包括装置100)和高级驾驶辅助系统(adas)。电子装置700的处理器120和/或装置100可将生成的全聚焦图像传送给adas，并且adas可基于处理全聚焦图像通过环境执行电子装置700的导航(可包括控制电子装置700的驾驶)。这种导航可包括控制电子装置700的驱动元件(包括车辆转向控制、油门控制、制动控制等)。因此，基于处理器120/装置100，根据任何示例性实施例生成全聚焦图像，以提高精度和生成速度，如本文所述，ada可以改进的精度和改进的响应时间执行电子装置700的导航，从而使得电子装置700能够以改进的置信度、改进的安全性等在环境中导航。
[0105]
如本领域中传统的，可以根据执行所描述的一个或多个功能的框来描述和示出一些示例实施例。在本文中可以被称为单元或模块等的这些块由模拟和/或数字电路(诸如，逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现，并且可以可选地由固件和/或软件驱动。例如，电路可以实现在一个或多个半导体芯片中，或者实现在诸如印刷电路板等的基板支撑件上。构成块的电路可以由专用硬件实现，或者由处理器(例如，一个或多个编程的微处理器和相关联的电路)实现，或者由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合实现。在不脱离本发明构思的范围的情况下，一些示例实施例的每个块可以物理地分成两个或更多个相互作用和离散的块。同样地，在不脱离本发明构思的范围的情况下，一些示例实施例
的框可以物理地组合成更复杂的框。实施例的一个方面可以通过存储在非暂时性存储介质(例如，固态驱动(ssd)存储器)内并由处理器(例如，中央处理单元(cpu))执行的指令来实现。
[0106]
如这里所述，根据任何示例性实施例的任何装置、系统、块模块、单元、控制器、电路和/或其部分(包括但不限于装置100、存储器110、处理器120、电子装置700、相机710、处理器720等)可包括处理电路(诸如，包括逻辑电路的硬件)、硬件/软件组合(诸如，执行软件的处理器)或其组合的一个或多个实例，也可包括在处理电路(诸如，包括逻辑电路的硬件)、硬件/软件组合(诸如，执行软件的处理器)或其组合的一个或多个实例中，和/或可由处理电路(诸如，包括逻辑电路的硬件)、硬件/软件组合(诸如，执行软件的处理器)或其组合的一个或多个实例实现。例如，处理电路更具体地可包括但不限于中央处理单元(cpu)、算术逻辑单元(alu)、图形处理单元(gpu)、应用处理器(ap)、数字信号处理器(dsp)、微型计算机、现场可编程门阵列(fpga)和可编程逻辑单元、微处理器、专用集成电路(asic)、神经网络处理单元(npu)、电子控制单元(ecu)、图像信号处理器(isp)等。在一些示例性实施例中，处理电路可包括存储指令的程序的非暂时性计算机可读存储装置(例如，存储器)(例如，固态驱动器(ssd))和被配置为执行指令的程序以实现由任何装置、系统、块模块、单元、控制器、电路和/或其部分根据任何示例实施例和/或其任何部分执行的功能和/或方法的处理器(例如，cpu)。
[0107]
虽然本发明构思包括特定的示例，但是在理解本技术的发明构思之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其它示例中的类似特征或方面。如果描述的技术以不同的次序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或被其它组件或它们的等同物替换或补充，则可实现合适的结果。因此，发明构思的范围不是由上面描述的特定示例实施例限定，而是由权利要求及它们的等同物限定，并且在权利要求及它们的等同物的范围内的所有变化应被解释为包括在发明构思中。