本文包含的详细描述或图示而变得清楚或明显的本发明的任何其 它优点和目标都在本发明的范围之内。
【附图说明】
[0029] 本领域技术人员根据下列对优选实施例的描述和附图将想到其它目标、特征和优 点，附图中：
[0030] 图1是根据现有技术图示的对于相同场景具有不同聚焦区域的所捕捉图像的快 照。
[0031] 图2是描绘根据本发明的实施例的捕捉可重聚焦图像集的示例性方法的流程图。
[0032] 图3是描绘根据本发明的实施例的将场景分块(tile)成邻接块的图示。
[0033] 图4是描绘根据本发明的实施例的拍摄最优化技术的图像处理系统的框图。
[0034] 图5是图示根据本发明的实施例的场景的基于对象的分割的快照。
[0035] 图6是根据本发明的实施例的图像捕捉系统的框图。
[0036] 图7是描绘根据本发明的实施例的利用不同的照度来重聚焦的图像的快照。
[0037] 图8是描绘根据本发明的示例性实施例的全景模式中的重聚焦的图像的快照。
[0038] 图9是描绘根据本发明的实施例的重聚焦图像中的皿R效果的图像的快照。
[0039] 虽然本发明的特定特征在一些图中示出且在其它图中没有示出，但运仅是为了方 便而为，因为每个特征可依照本发明与其它特征中的任何一个或全部组合。
【具体实施方式】
[0040] 本发明提供了用于捕捉可重聚焦图像集的方法和系统。在下列对本发明的实施例 的详细描述中，参照形成本发明的一部分的附图，并且附图中借助图示的方式示出了可实 践本发明的具体实施例。足够详细地描述了运些实施例W使得本领域技术人员能够实践本 发明，并且将会理解，可利用其它实施例并且可在不脱离本发明范围的情况下作出改变。因 此，下列详细描述不应W限制性的意义来看待，并且本发明的范围仅由所附权利要求定义。
[0041] 当今市场中可买到的图像捕捉设备（即存在于数字相机、智能电话、平板中的相 机）中的大部分都具备在拍摄图片前明确设定聚焦区域的能力。本发明提供了从用户空间 控制的触摸W聚焦的特征。此特征是定制应用。此外，本发明提供了一种通过使用捕捉场景 的所有深度信息的一系列图像来模拟重聚焦效果的方法。因此，本发明提供了利用如下事 实的图像捕捉方法和系统：从用户/应用空间可控制触摸W聚焦并且重聚焦可通过相同场 景的所捕捉数量的照片来模拟，其中每个照片表示焦点对准的场景中的至少一个区域。当 最优数量的照片被捕捉且充分捕捉时，此捕捉系统框架变得更鲁棒。
[0042] 图2是描绘根据本发明的实施例的由捕捉系统捕捉可重聚焦图像集的示例性过程 的流程图。在步骤202,将视场分割成多个栅格。例如，当输入图像被输入到捕捉系统时，整 个输入图像被分割成MXN块的栅格。对MXN的选择可由用户根据要求来配置。在示例性实 施例中，M和N的值基于存在于输入图像中的对象的典型大小来确定。因此，在运种情况下，M 和N的值可能会是5X4。接下来，定义名为"blockNum"的变量来指示将被明确设定为焦点的 块。最初地，WockNum的值被假定为一。在步骤204,一给定区域被设定为在焦点上并且与每 个区域相对应的图像被捕捉。另外，在步骤206,计算与多个栅格中的每一个相关联的锐度 水平。在步骤208,基于阔值来识别锐利的一个或多个区域并且对标记为锐利或具有相同锐 度水平的一个或多个区域拍摄单个图像。在步骤210,检验所有非锐利区域的图像是否都被 捕捉。如果并不是所有非锐利区域的图像都被捕捉，则在步骤212识别至少一个非锐利区 域，并且重复步骤204至210。一旦与所有区域相对应的图像都被捕捉，就在步骤214终止过 程。
[0043] 因此，序列中的每个块在使图像焦点对准的情况下捕捉至少一个图像。因此，每个 块并且进而所述块中的每个像素被唯一地映射到所捕捉的图像序列当中的与该特定块相 对应的最佳聚焦图像。
[0044] 根据本文的实施例，如果对于图像的一个或多个区域，图像装置中的自动聚焦失 败，则提供可选的后处理W用于创建自动聚焦效果。取决于用户的需要，相机捕捉系统还使 用拍摄最优化技术(shot optimization technique)执行对图像的预处理W确定焦点对准 的其它块。拍摄最优化技术减少了对于每个场景所要求捕捉的图片数量。运进而减少了捕 捉时间，从而增强了用户体验。
[0045] 拍摄最优化技术W每个图像为基础工作。另外，拍摄最优化技术提供关于图像中 在相同深度平面中的所有其它区域的信息。例如，当一区域被明确设定为焦点时，拍摄最优 化技术提供关于该场景中的也焦点对准的所有其它区域的信息。因此，拍摄最优化技术明 确避免了再次对于那些区域捕捉另外的图像，从而创建了描绘该场景的最优数量的图片。 从重聚焦的视角，拍摄最优化技术解释为序列中的每个区域具有完全焦点对准的至少一个 图像。
[0046] 在捕捉与所识别的一个或多个区域中的每一个相关联的图像后，用户还可根据捕 捉的序列技术使用最佳焦点对准估计(best in focus estimation)对所捕捉的图像执行 后处理深度估计过程。根据本发明的实施例，根据捕捉的序列方法的最佳焦点对准估计确 定在已捕捉的图像集当中的提供最佳聚焦的图像。采用此技术来使重聚焦所要求的深度图 变得更好。该方法给其中像素焦点对准的场景中的每个像素准确地分配所捕捉的序列中的 唯一图像。其也考虑到了如下区域:在所述区域中，相机自动聚焦可能失败从而可能没有可 靠的焦点估计。
[0047] 在步骤210,所捕捉的图像与深度信息一起被打包为单个多媒体文件格式。该多媒 体文件格式对应于用户所期望的任何文件格式。例如，多媒体文件格式对应于急速连拍重 聚焦（burst shot refocus，BSR)格式。
[0048] 图3是描绘根据本发明的实施例的将场景分块成邻接块的图像的图示。如图3中所 示，用户希望捕捉的整个场景的帖被划分成MXN块的栅格。MXN被估计为所遇到的对象的 典型大小。在运种情况下，基于在捕捉场景时遇到的对象的典型大小，将MXN估计为5X4。 在将整个场景划分成MXN块的栅格之后，基于栅格的位置给每个栅格分配一数字。在将数 字分配给MXN个块中的每个栅格时，使用自动聚焦特征分别对每个栅格(也被称为块)进行 聚焦W得到每个栅格的深度水平。在相同深度水平的一个或多个栅格被识别并且被捕捉在 覆盖所有焦点对准的栅格的单个照片中。例如，栅格8和栅格9处于相同深度平面，从而由单 个图像而非两个单独的图像来表示。单个图像由焦点对准的栅格8中的对象和栅格9中的对 象组成。另外，对其它块拍摄额外的照片，并且运些图像被组合W得到可重聚焦图像。另一 方面，如果确定MXN块中的每个栅格处于不同的深度水平，并且没有两个栅格处于相同深 度水平，则分别捕捉每个栅格，并且分别生成M X N个图像。
[0049] 本文的实施例目的在于基于如下假定减少照片的数量:最自然的序列在相同深度 平面中有(MXN块中的）多于一个块。
[0050] 根据另一实施例，本发明提供一种根据所捕捉的场景的称为最佳焦点对准估计的 深度估计技术。覆盖用户想要捕捉的整个场景的MXN个块中的每个区域和MXN个块的像素 将被唯一地映射到被捕捉来描述场景的图像序列中的单个图像。(MXN个块中的）一区域可 能会由于捕捉设备的任何变更或有两个对象处于不同深度而没有焦点对准。在运样的情况 下，在特定块被设定为焦点对准的情况下捕捉的图像不能被假定为是用于重建重聚焦效果 的准确图像。例如，块14有两个对象，即焦点对准的玩具车和明显焦点没对准的钥匙链的一 部分。因此，如果仅依赖在先前部分中被捕捉系统设定为焦点对准的区域，则该图像将被标 记为使钥匙链的那个部分焦点对准的图像。但是显然，与焦点对准的区域20相对应的图像 对于表示运些区域将更准确。
[0051] 另外，本文提供的焦点估计假定所捕捉的图像序列具有用于对于任意给定区域选 择至少一个图像来焦点对准的所有信息。当提供了图像集时对于考虑中的区域擅染