最锐利 的（最佳焦点对准的）图像一直是一个挑战。考虑中的区域与在先前部分中提及的区域不 同。典型地，考虑中的区域是基于期望的用户交互的模式来确定的。例如，如果用户将使用 触摸界面操作重聚焦应用，则考虑中的区域将对应于使用触摸界面的交互的平均面积。使 用具有基于鼠标的界面的重聚焦应用的用户将具有甚至更精细的交互面积，从而考虑中的 区域将更小。运里提出的最佳焦点对准估计技术考虑到了所有运些因素并且提出了可配置 的解决方案。执行运种最佳焦点对准估计所设及的步骤描述如下。
[0052]首先，使用任意边缘检测操作获得所有图像的边缘图P，其中，j叫1，N]。例如，一 个运样的边缘检测操作可W是高斯-拉普拉斯滤波技术。其次，边缘图像P被划分成每个大 小为pXq个像素的块。令在图像中有R个区域。然后，设定考虑中的区域r = l。接下来，对于 每个图像计算给定区域r的第一阶能量。随后，对于给定区域具有最高能量的图像被选择用 于该区域的深度索引(Wr)。
[0054] 然后，将考虑中的区域递增1，即r = r+l。每次在r递增时确定r的值W检查r是否等 于R，即，图像中的区域总数。如果r的值小于或等于R，则过程被路由到为区域r+1计算第一 阶能量的前一步骤，直到对于图像中的所有区域R都计算了深度索引为止。从而此技术将为 图像中的每个区域提供使该区域焦点对准的图像索引。
[0055] 图4是描绘根据本发明的实施例的拍摄最优化技术的图像处理系统的框图。本文 的实施例通过利用如下事实解决了检测图像中的焦点的问题：与锐利区域相比，模糊区域 一般缺乏高频分量从而对随后的低通滤波不敏感。运里，使用绝对差的总和来将从原始图 像获得的边缘图与从图像的经严重低通滤波的版本获得的边缘图进行比较。另外，选择性 的阔值化提供了清楚地焦点对准的区域。根据图4,输入图像的亮度分量被输入到低通滤波 器402。输入图像被滤波并且低通滤波器402的输出被输入到边缘检测器404曰。边缘检测器 404a产生边缘图：与经低通滤波的版本相对应的额外地，输入图像也被直接馈送到 另一边缘检测器404bW获得与输入图像相对应的边缘图ledge。分别与输入图像和经低通滤 波的图像相对应的两个边缘图ledge和被输入到二元单元406。二元单元406根据ledge 巧/'iSl之间的绝对差的归一化总和产生二元图Ibin，其中，
[0057]在W上公式中，索引（x，y)表示图像中的像素并且Eth表示阔值因子(凭经验设定为 5)。先前部分中所定义的二元图像Ibin的每个区域或块中的总和能量被计算，并且那些低于 或高于特定阔值Sth的区域被阔值单元408宣布为焦点对准的区域。阔值被按经验确定W确 保误报不会发生。运通过公式2给出：
[0059]在本发明的实施例中，漏掉焦点对准的区域的检测是可接受的，但误报不可接受。 换句话说，漏掉对焦点对准的区域的检测还好，但将没有焦点对准的区域分类为焦点对准 的区域可能导致丢失数据。有可能被捕捉来描述场景的图像中的任何一个都没有使一特定 区域焦点对准，运从重聚焦的视角看是不利的。另一方面，如果区域包含有强相对边缘，贝U 假定漏掉是可接受的。
[0060] 在本发明的实施例中，捕捉系统提供另一种用于从所捕捉的序列估计最佳焦点对 准图像的方法。在此方法中，在步骤一，整个场景被分成MXN块的栅格。M和N的值是可配置 的。合理估计将是所遇到的对象的典型大小，从而M=5和N = 4按经验看起来是合理选择。在 步骤二，blockNum被设定为一，其中blockNum表示将被明确设定为焦点的块。在步骤S，考 虑a来描绘焦点对准的区域，并且a被设定为N化L(空）。在步骤四，与WockNum相对应的块被 设定为焦点对准，并且捕捉该块的图片。在步骤五，使用上文提及的拍摄最优化技术执行对 所捕捉块的预处理W确定其它焦点对准的块。并且用被检测为焦点对准的所有区域来更新 曰。在步骤六，blockNum被设定为blockNum+1。在步骤屯，确定blockNum是否是块a的一部分。 如果是，则其指示blockNum已经焦点对准，并且过程跳至步骤六。如果否，则在步骤八，确定 WockNum是否小于或等于M*N。如果是，则过程跳至步骤S。如果否，则在步骤九，执行对所 捕捉图像的后处理深度估计。在步骤十，所捕捉的图像与深度信息一起被打包为多媒体文 件格式。
[0061] 图5是图示根据本发明的实施例的场景的基于对象的分割的快照。用此方法，采用 快速场景扫描技术来检测场景中最显著的对象。运里，随机重叠块对于捕捉场景中的所有 显著对象来说是足够的。显著度检测的方法在图像处理文献中广泛定义。当给定图像中的 最显著区域被识别出来时，相机捕捉应用被设定为明确聚焦在运些对象中的每一个上，并 且对运些对象中的每一个拍摄照片。根据图5,包括用户想要捕捉的对象的块被用X标志标 注。运些块对应于图中所示出的图像的显著区域。因此，运些块中的每一个被设定为焦点并 且对于运些区域中的每一个捕捉照片。运里，有五个块与显著区域相对应，从而获得包含焦 点对准的用户感兴趣的对象的5个图像。
[0062] 图6是根据本发明的实施例的图像捕捉系统的框图。根据图6,输入场景被输入到 实时场景分析单元602中。实时场景分析单元602将输入图像的整个场景分割成MXN块的栅 格，并且将blockNum设定为等于一。运对应于实时场景分析单元602的输出。blockNum指示 将被明确设定为焦点的块。实时场景分析单元602的输出被馈送到焦点设定和捕捉单元604 中，其中焦点设定和捕捉单元604获得分割后的MXN块的栅格W及blockNum= 1。焦点设定 和捕捉单元604然后将与blockNum相对应的块设定为焦点对准并且拍摄图片。然后焦点设 定和捕捉单元604使用如上所述的拍摄最优化技术执行预处理W确定焦点对准的其它块。 焦点设定和捕捉单元604的输出被馈送到焦点更新单元606。焦点更新单元606检测与 blockNum相对应的块是否已经焦点对准。如果是，则焦点更新单元606将blockNum的值递增 1。然后，确定blockNum的值W检查其是否小于或等于M X N的值。如果blockNum被确定为小 于或等于MXN的值，则相应块被设定为焦点并且被拍摄图片。例如，考虑在将blockNum的值 递增1之后，blockNum的值是13。在运种情况下，确定blockNum的值是否<=MXNd运里，M X N 的值是20。因此，blockNum的值小于MXN的值，即13<20。因此，块13被设定为焦点并且被拍 摄图片。进行此过程直到MXN块的栅格中的所有块都被设定为焦点并被拍摄照片。一旦MX N栅格的所有块都完成，则焦点设定和捕捉单元604的输出就被馈送到后处理深度分析单元 608。后处理深度分析单元608如上所述根据所捕捉的场景执行最佳焦点对准估计。然后，后 处理深度分析单元608的输出被馈送到打包单元610,在那里捕捉的图像与深度信息一起被 打包为多媒体文件格式。
[0063] 图7是描绘根据本发明的示例性实施例的利用不同的照度来重聚焦的图像的快 照。在图7中，检测对视场中具有相关联的照度水平的感兴趣的对象的重聚焦动作。然后，基 于检测来变化该对象的相关联的照度水平。图（a)图示了焦点被设定到窗户的图像，而图 (b)图示了焦点在靠垫上的图像。运里，窗户和靠垫处于相同的深度水平。因此，用户能够变 化所捕捉图像的照度W突出其感兴趣的对象。
[0064] 图8是描绘根据本发明的示例性实施例的全景模式中的重聚焦的图像的快照。在 图8中，用户基于拍摄最优化技术拍摄重聚焦照片，其中可重聚焦图像集在全景模式中捕 捉。在所捕捉的全景图像中可对与视场相关联的每个对象个别聚焦。在此图中，全景图像包 括诸如标记笔、鼠标、线缆和CPU的对象。用户可将焦点改变到全景图像中任何感兴趣的对 象上。例如，用户可根据其兴趣对笔或线缆或者监视器重聚焦。此外，用户可实现重聚焦W 使得在W后的阶段可对每个对象个别聚焦。
[0065] 图9是描绘根据本发明的示例性实施例的重聚焦图像中的HDR效果的图像的快