本发明涉及自动聚焦系统，尤其涉及一种电子设备自动聚焦于感兴趣区域(roi)的机制。
背景技术：
自动聚焦相机是本领域众所周知的。在相关技术的相机中，取景器显示相机的视场(fov)，并且fov中的区域是聚焦区域。尽管自动聚焦相机广泛使用，但是相关技术的自动聚焦仍具有其不足。
自动聚焦相机的一个具体缺点是fov中焦点区域是趋于固定的。通常，焦点区域朝着fov的中心定位，该位置不能修改。尽管这样的配置可能适用于要捕获的图像的对象在fov的中心的大多数情况，但是偶尔用户可能希望捕获其中对象偏离fov中心或位于不同于fov中心的位置的图像。在这种情况下，由于相机仅自动聚焦于上述聚焦区域，而不管对象的位置如何，所以在拍摄图像时对象趋于模糊。
在相关技术的系统和方法中，相机使用基于点或基于网格的区域，将对比度比较与焦点扫描(多重捕获)结合以确定用于自动聚焦的区域。这些方法昂贵而且不是没有缺陷，因为这些方法为区域而不是对象提供焦点代码(focalcode)，并且大多偏向于相机的fov中心。此外，这些方法可能最终聚焦于场景中除视觉上更突出的对象之外的对象上，并且需要用户努力将相机聚焦于那些视觉上突出的对象上。此外，相关技术的系统和方法由于聚焦在错误的对象上、不能聚焦于移动的对象、缺少与对象相对应的自动聚焦点、低对比度水平、不准确的触摸区域以及不能聚焦于离相机太近的对象上而容易出错。
将以上信息呈现为背景信息仅仅是为了帮助理解本公开。并未确定和断言上述任何内容是否可应用作关于本公开的现有技术。
技术实现要素：
解决问题的方案
本文中技术方案提供了一种电子设备自动聚焦于感兴趣区域(roi)的方法。该方法包括：在电子设备中从视场(fov)中的至少一个候选roi提取至少一个特征；基于至少一个特征来显示针对至少一个候选roi的至少一个标记；接收对至少一个标记被显示的至少一个roi中的至少一个候选roi的选择；以及根据选择来聚焦于至少一个roi。
本发明的有利效果
因此，本公开提供了显示至少一个候选roi的标记以自动聚焦于roi的方法和系统。
附图说明
根据以下结合附图的描述，本公开的某些实施例的上述和其它方案、特征和优点将会变得更加清楚，图中：
图1示出了在根据本文中公开的示例实施例的用于自动聚焦于感兴趣区域(roi)的电子设备中包括的各种单元或组件；
图2a是示出了根据本文中公开的示例实施例的由电子设备自动聚焦于roi的方法的流程图；
图2b是示出了根据本文中公开的示例实施例的由电子设备自动聚焦于roi的方法的另一个流程图；
图2c是示出了根据本文中公开的示例实施例的由电子设备自动聚焦于roi的方法的另一个流程图；
图2d是示出了根据本文中公开的示例实施例的由电子设备自动聚焦于roi的方法的另一个流程图；
图3a是示出了根据本文中公开的示例实施例的由电子设备自动聚焦于具有最高权重的候选roi的方法的流程图；
图3b是示出了根据本文中公开的示例实施例的确定至少一个候选roi的方法的流程图；
图3c是示出了根据本文中公开的示例实施例的计算至少一个候选roi的权重的方法的流程图；
图4a至图4c示出了根据本文中公开的示例实施例的使用存储的图像的特征数据来计算至少一个候选roi的权重的示例；
图5a至图5b示出了根据本文中公开的示例实施例的识别基于相位的焦点代码的示例；
图6a至图6c示出了根据本文中公开的示例实施例的显示针对至少一个候选roi的至少一个标记的示例；
图7a至图7d示出了根据本文中公开的示例实施例的显示至少一个候选roi以供用户选择的示例；
图8a至图8c示出了根据本文中公开的示例实施例的显示候选roi以及选择框以供用户选择的示例；
图9a和图9b示出了根据本文中公开的示例实施例的自动聚焦于具有最高权重的roi的示例；
图10示出了根据本文中公开的示例实施例的利用捕获来进行微距拍摄的示例；以及
图11示出了实现根据本文中公开的示例实施例的由电子设备自动聚焦于roi的方法和系统的计算环境。
具体实施方式
本文中示例实施例提供了一种电子设备自动聚焦于感兴趣区域(roi)的方法。该方法包括：在电子设备中从视场(fov)中的至少一个候选roi提取至少一个特征；基于至少一个特征来显示针对至少一个候选roi的至少一个标记；接收对至少一个标记被显示的至少一个候选roi中的至少一个roi的选择；以及根据选择来聚焦于至少一个roi。
相应地，本文中示例实施例提供了一种由电子设备自动聚焦于roi的方法。该方法包括由电子设备中的传感器根据rgb图像、深度和基于相位的焦点代码，确定传感器的fov中的至少一个候选roi。此外，该方法包括显示针对至少一个候选roi的至少一个标记。
相应地，本文中示例实施例提供了一种用于自动聚焦于roi的电子设备。该电子设备包括传感器和处理器，并且传感器从电子设备中的视场(fov)中的至少一个候选roi提取至少一个特征，使得基于至少一个特征来显示针对至少一个候选roi的至少一个标记，接收对至少一个标记被显示的至少一个候选roi中的至少一个roi的选择，以及根据选择来聚焦于至少一个roi。
相应地，本文中示例实施例提供了一种用于自动聚焦于roi的电子设备。该电子设备包括处理器，被配置为根据rgb图像、深度和基于相位的焦点代码，确定传感器的fov中的至少一个候选roi。此外，处理器被配置为显示针对至少一个候选roi的至少一个标记。
因此，本文中示例性实施例提供了一种计算机程序产品，包括记录在非临时性计算机可读存储介质上的计算机可执行程序代码，该计算机可执行程序代码在被执行时引起包括确定传感器的fov中的至少一个候选roi和至少一个候选roi的深度的动作。此外，计算机可执行程序代码在被执行时引起包括显示针对至少一个候选roi的至少一个标记的动作，其中标记指示至少一个候选roi的深度。
因此，本文中示例性实施例提供了一种计算机程序产品，包括记录在非临时性计算机可读存储介质上的计算机可执行程序代码，该计算机可执行程序代码在被执行时引起包括根据rgb图像、深度和基于相位的焦点代码来确定传感器的fov中的至少一个候选roi的动作。此外，计算机可执行程序代码在被执行时引起包括显示针对至少一个候选roi的至少一个标记的动作。
当结合以下描述和附图考虑时，将更好地领会和理解文中示例实施例的这些和其他方面。应当理解，尽管以下描述表明了示例实施例和它的多个特定细节，但是以下描述是用于说明的目的，而不是为了限制。在不脱离本发明的精神的前提下，可以在文中示例实施例的范围内做出多种改变和修改，且文中示例实施例包括所有这样的修改。
参考在附图中示出的和在以下描述中详述的非限制性的示例实施例，更全面地解释文中所述示例实施例及其多种特点和有优势的细节。为了避免不必要地混淆本文中示例实施例，省略对公知组件和处理技术的描述。此外，本文中说明的各种示例实施例不必是相互排他的，一些示例实施例可以与一个或多个其他示例实施例组合，以形成新的示例实施例。除非另有说明，否则本文中使用的术语“或”是非排他性的。本文中的示例仅旨在便于理解实现示例实施例的方式并使本领域技术人员能够实现示例实施例。因此，所述示例不应被理解为限制本文中示例实施例的范围。
本文中示例实施例的主要目的是提供一种由电子设备自动聚焦于roi的机制。
本文中示例实施例的另一个目的是提供一种机制，用于在电子设备中从视场(fov)中的至少一个候选roi中提取至少一个特征；基于至少一个特征来显示针对至少一个候选roi的至少一个标记；接收对至少一个标记被显示的至少一个候选roi中的至少一个roi的选择；以及根据选择来聚焦于至少一个roi。
本文中示例实施例的另一个目的是提供一种机制，用于确定至少一个候选roi的深度，并基于至少一个特征来计算针对至少一个候选roi的权重，其中至少一个标记指示所述至少一个候选roi的深度、至少一个特征和权重中的至少一个。
本文中示例实施例的另一个目的是提供一种机制，用于根据红绿蓝(rgb)图像、深度和基于相位的焦点代码来确定传感器的fov中的至少一个候选roi。
本文中示例实施例的另一个目的是提供一种机制，用于显示针对至少一个候选roi的至少一个标记。
本文中示例性实施例的另一个目的是提供一种机制，用于使用对基于诸如风景、动物、人等内容而分类的不同类型的图像的统计。
本文中示例实施例的另一个目的是提供一种机制，用于检测传感器的fov中的第一对象的深度、传感器的fov中的第二对象的深度以及传感器的fov中的第三对象的深度。
本文中示例实施例的另一个目的是提供一种机制，用于当第一对象的深度小于第二对象的深度和第二对象的深度时，在fov中将第一对象排序为高于第二对象和第三对象。
本文中示例实施例公开了一种由电子设备自动聚焦于roi的方法。该方法包括：确定传感器的fov中的至少一个候选roi；从至少一个候选roi中提取多个特征；基于多个特征中的至少一个特征来计算至少一个候选roi的权重；以及基于权重来显示针对至少一个候选roi的至少一个标记。
本文中示例实施例公开了一种由电子设备自动聚焦于roi的方法。该方法包括确定传感器的fov中的至少一个候选roi和至少一个候选roi的深度。此外，该方法包括显示针对至少一个候选roi的至少一个标记，其中标记指示至少一个候选roi的深度。
在示例实施例中，显示针对至少一个候选roi的至少一个标记包括从每个候选roi提取多个特征。此外，该方法包括通过聚合这些特征来计算针对每个候选roi的权重。此外，该方法包括基于权重显示针对至少一个候选roi的至少一个标记。
在示例实施例中，特征包括区域方差、颜色分布、面部特征、区域尺寸、类别分数、焦距、包括在至少一个候选roi中的对象的速度、对象的尺寸、对象的类别以及所存储的图像的特征数据。
在示例实施例中，确定传感器的fov中的至少一个候选roi包括检测rgb图像、相位数据和基于相位的焦点代码。此外，该方法包括识别包括在rgb图像中的多个聚类。此外，该方法包括根据与聚类相对应的基于相位的焦点代码来对聚类中的每一个进行排序。此外，该方法包括根据多个聚类的基于相位的焦点代码和阈值焦点代码值来确定至少一个候选roi。确定至少一个候选roi包括根据基于相位的焦点代码和阈值焦点代码值，将聚类中的至少一个设置为候选roi。
在示例实施例中，将rgb图像分割成多个聚类包括从rgb图像提取多个聚类。此外，该方法包括将聚类中的每一个与基于相位的焦点代码相关联。此外，该方法包括基于多个聚类的颜色和相位深度(例如，基于颜色和相位深度相似性)(例如，使用上述聚类和相关数据))来分割rgb图像。
本文中的另一个示例实施例公开了一种由电子设备自动聚焦于roi的方法。该方法包括根据rgb图像、深度和基于相位的焦点代码中的至少一个，确定传感器的fov中的至少一个候选roi。此外，该方法包括显示针对至少一个候选roi的至少一个标记。
在示例实施例中，该方法包括基于与每个候选roi相关联的权重来显示至少一个标记。
在示例实施例中，至少一个标记指示至少一个候选roi的深度。
在示例实施例中，该方法还包括接收基于所述至少一个标记对至少一个候选roi的选择；以及通过聚焦所选择的至少一个候选roi来捕获fov。
在示例实施例中，随着相机传感器的进步，相位传感器与互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)阵列结合。相位传感器(被配置用于根据两相或四相的相位检测(pd))可以提供其中焦点代码与每个深度相映射的场景的伪深度(或相位数据)。此外，pd与rgb图像以及焦点代码映射一起可用于识别图像中不同深度处的一个或多个对象(例如，包括对象的或对应于对象的候选roi)。由于每个帧的数据可实时获得，而不需要对相机(或传感器)配置进行任何附加改变，所以该数据可以用于在静止图像和视频捕获中的基于对象的聚焦。
在具有多个景深(dof)(即，深度)的静止捕获和微距模式中，用户可能必须执行多个位置或镜头调整以识别最佳或接近最佳焦深，用于产生其中期望对象是焦点的图像。通过使用pd和rgb图像数据，所提出的方法可以向用户显示对象以及与对象相对应的唯一焦点代码。此外，用户可以选择最佳对象以聚焦，从而减少用户努力。
在示例实施例中，对象信息可以用于根据显著性加权机制(例如，图像中的最佳候选roi)来自动确定要聚焦的对象，从而帮助用户捕获视频，而在相关技术的机制中，当场景改变、对象移出fov或者fov中的对象移动到不同的深度时，相机进入焦点扫描模式(例如，多重捕获)的情况下进行连续自动聚焦。
在相关技术的系统和方法中，相机使用基于点的或基于网格的区域，其中执行对焦比较结合焦距扫描以确定自动聚焦区域。由于这些系统和方法提供每个区域不是每个对象的焦点代码，并且大多偏向于相机fov的中心，这些系统和方法是昂贵的，并不是完全的免故障。这些系统和方法不能聚焦于场景中视觉上更显著的对象，并且需要用户努力。
与相关技术的系统和方法不同，所提出的方法提供了一种鲁棒且简单的机制，用于自动聚焦于电子设备中的roi。此外，在所提出的方法中，roi检测是基于对象的，其比基于网格或基于区域的roi检测更准确。此外，所提出的方法向用户提供关于fov中的所有对象的深度的信息。此外，所提出的方法提供基于每个对象的特征对感兴趣对象进行加权，并且基于相对于对象特征(或特点)的相关性来自动确定要聚焦于哪个对象。
现在参考附图，其中在所有附图中相似的附图标记始终表示对应特征，示出了示例实施例。
图1示出了在根据本文中公开的示例实施例的用于自动聚焦于roi的电子设备中包括的各种单元或组件；
参考图1，电子设备100包括传感器102、控制器(即处理器)104、存储单元106和通信单元108。电子设备100可以是例如膝上型计算机、台式计算机、相机、录像机、移动电话、智能电话、个人数字助理(pda)、平板电脑、平板手机等。为了便于解释，传感器102可以包括或可以不包括用于处理图像和/或计算的处理器。
在示例实施例中，传感器102和/或控制器104可以在传感器102的fov中检测rgb图像、相位数据(例如，伪深度或深度)和基于相位的焦点代码。包括其自己的处理器的传感器102可以处理rgb图像、相位数据和基于相位的焦点代码中的任何一个，或者备选地，向控制器104发送rgb图像、相位数据和基于相位的焦点代码中的任何一个进行处理。例如，传感器102或控制器104可以从rgb图像提取多个聚类，并将聚类中的每一个与基于相位的焦点代码相关联。此外，传感器102或控制器104可基于颜色和相位深度相似性将rgb图像分割和/或标识成多个聚类，并且根据基于相位的焦点代码对聚类中的每一个进行排序。此外，传感器102或控制器104可以根据多个聚类的基于相位的焦点代码和阈值焦点代码值来确定至少一个候选roi。例如，传感器102或控制器104可以根据与聚类相对应的基于相位的焦点代码中的哪一个低于阈值焦点代码值，将一个或多个聚类设置为候选roi，但是不限于此。例如，传感器102或控制器104可以根据基于相位的焦点中的哪一个高于预定阈值焦点代码值，或者根据基于相位的焦点代码中的哪一个在焦点代码值的范围内，将一个或多个聚类设置为候选roi。在示例实施例中，候选roi是对象。在另一个示例实施例中，候选roi包括多个对象。
此外，传感器102或控制器104可以从每个候选roi中提取至少一个特征，并基于特征(例如通过聚合特征)来计算每个候选roi的权重。在示例实施例中，特征可以包括区域方差、颜色分布、面部特征、区域尺寸、类别分数、焦距、包括在至少一个候选roi中的对象的速度、对象的尺寸、对象的类别以及所存储的图像的特征数据中的至少一个。当对象(通常是一个人或多个人)快速移动，例如跳跃或跑步时，对象的速度可能是重要的。在这种情况下，快速移动的对象应该被设置为候选roi。对象类别的典型示例是包括在候选roi中的对象是人类、动物、其组合、或不移动的东西。用户可能比不动的东西更重视运动对象，反之亦然。
另外，用户可能能够设置、选择和/或分类用于自动聚焦功能的一个或多个特征。例如，在专业模式下，用户可以在预览屏幕上看到不同的景深，并且用户可以选择其中一个深度来进行静态捕获。此外，在自动模式中，通过依赖于对象面部、颜色分布、焦点代码和区域方差的排序逻辑，自动选择检测到的roi中的最显著对象。
在另一个实施例中，在设置模式下，用户可以选择对象的尺寸和对象的类别作为最重要的标记，并且控制器可以控制预览屏幕来显示基于包含在候选roi中的对象的尺寸和对象的类别的标记。用户也能够设置标记预览模式。例如，用户可以限制标记的数量，并将任何特定颜色分配给不同标记中的每一个。用户可以以各种方式设置和/或选择预览模式。例如，在用户输入模式下，在具有高分标记的对象显示在预览屏幕上之后，通过用户输入来捕获候选roi。备选地，在自动预览模式下，当具有高分标记的对象被确定为在预览屏幕上显示时，可以自动捕获候选roi。在另一个实施例中，在用户输入模式中，用户可以选择多个对象中的任何优选对象，并且所选对象将成为候选roi。所选对象将通过用户的捕获命令输入而被捕获。
此外，传感器102或控制器104可以基于与每个候选roi相关联的权重来显示针对每个候选roi的至少一个标记。在示例实施例中，候选roi的标记可以指示候选roi的深度、至少一个特征和计算出的权重中的至少一个。在示例实施例中，标记可以是颜色代码、数字、选择框、字母表字母等。
在另一个示例实施例中，传感器102或控制器104可以根据rgb图像、深度和基于相位的焦点代码，确定传感器的fov中的至少一个候选roi。此外，传感器102或控制器104可以引起显示针对每个候选roi的至少一个标记。在示例实施例中，传感器102或控制器104可以基于与每个候选roi相关联的权重，显示针对每个候选roi的至少一个标记。基于诸如面部检测数据、焦点代码和对象属性(诸如候选roi的熵、颜色饱和度等)的特征来计算权重。
存储单元106可以包括一个或多个计算机可读存储介质。存储单元106可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘，光盘，软盘，闪存或电可编程只读存储器(eprom)或电可擦除和可编程rom(eeprom)存储器的形式。另外，在一些示例实施例中存储单元106可以是非暂时性存储介质。术语“非暂时性”可以指示不是实现为载波或传播信号的存储介质。然而，术语“非暂时性”不应被解释为表示存储单元106是不可移动的。在一些示例实施例中，存储单元106可以比存储器存储更多的信息。在某些示例实施例中，非暂时性存储介质可以存储可随时间变化的数据(例如，随机存取存储器(ram)或高速缓存))。通信单元108可以在这些单元之间进行内部通信，并在外部与网络进行通信。
与相关技术的系统和方法不同，所提出的机制可以使用相位数据(或伪深度数据)或红外(ir)数据来执行基于对象的候选roi识别。此外，所提出的机制可基于从候选roi的特征(诸如面部检测数据、焦点代码、以及诸如熵、颜色饱和度等的对象属性)导出的权重来自动选择候选roi。提议的机制可以实施以涵盖两种情况：(1)具有位于不同深度的各部分的单个对象，以及(2)多个对象位于相同深度。
在示例实施例中，所提出的机制可以由具有根据基于相位或基于深度的自动聚焦机制的图像或视频获取能力的电子设备100来实现。传感器102(或相机的捕获模块)可以捕获包括候选roi的图像，使得候选roi处于焦点(例如，在正确的、期望的或最优的焦点设置)传感器。
图1示出了电子设备100中包括的各种单元，但是应当理解，其他实施例不限于此。在其他示例实施例中，与图1相比，电子设备100可以包括附加的或更少的单元。此外，图1中的单元的标签或名称仅用于说明性目的，并不限制公开的范围。一个或多个单元可以被组合在一起以在电子设备100中执行相同或基本类似的功能。
图2a是示出了根据本文所公开的示例实施例的由电子设备自动聚焦于roi的方法的流程图。
参照图2a，方法200a包括确定传感器102的fov中的至少一个候选roi和该至少一个候选roi的深度的操作202a。在示例实施例中，传感器102可以确定传感器102的fov中的至少一个候选roi和该至少一个候选roi的深度。在另一个示例实施例中，控制器104可以确定传感器102的fov中的至少一个候选roi和该至少一个候选roi的深度。
方法200a还包括显示针对每个候选roi的至少一个标记的操作204a。候选roi的标记可以指示候选roi的深度。在示例实施例中，传感器102可以显示针对每个候选roi的至少一个标记。在另一个示例实施例中，控制器104可以显示针对每个候选roi的至少一个标记。候选roi的标记可以指示候选roi的深度。
与相关技术的系统和方法不同，所提出的机制可以执行关于“n”个对象的候选roi检测，其不同于用于自动聚焦的基于网格或基于区域的候选roi检测机制。
可以按照所呈现的顺序、按照不同顺序或同时地执行方法200a中的各种动作、行为、块、操作等。此外，在一些示例实施例中，可以在不脱离本公开的范围的情况下省略、添加、修改、跳过一些动作、做法、块、操作等。
图2b是示出了根据本文中公开的示例实施例的由电子设备100自动聚焦于roi的方法的流程图。
参考图2b，方法200b包括根据rgb图像、深度和基于相位的焦点代码来确定传感器102的fov中的至少一个候选roi的操作202b。在示例性实施例中，传感器102可以根据rgb图像、深度和基于相位的焦点代码来确定传感器102的fov中的至少一个候选roi。在另一个示例实施例中，控制器104可以根据rgb图像以及深度和基于相位的焦点代码中的至少一个来确定传感器102的fov中的至少一个候选roi。
方法200b包括显示针对每个候选roi的至少一个标记的操作204b。在示例实施例中，传感器102可以引起显示针对每个候选roi的至少一个标记。传感器102可以引起基于与每个候选roi相关联的权重来显示针对每个候选roi的至少一个标记。在另一个示例实施例中，控制器104可以引起显示针对每个候选roi的至少一个标记。控制器104可以引起基于与每个候选roi相关联的权重来显示针对每个候选roi的至少一个标记。候选roi的标记可以指示候选roi的深度，但不限于此。
可以按照所呈现的顺序、按照不同顺序或同时地执行方法200b中的各种动作、行为、块、操作等。此外，在一些实施例中，可以在不脱离本公开的范围的情况下省略、添加、修改、跳过一些动作、做法、块、操作等。
图2c是示出了根据本公开的实施例的由电子设备自动聚焦于roi的方法的流程图。
参考图2c，方法200c包括在电子设备中从传感器的视场(fov)的至少一个候选roi中提取至少一个特征的操作202c。该方法还包括：操作204c，基于至少一个特征来显示针对至少一个候选roi的至少一个标记；操作206c，接收对至少一个标记被显示的至少一个roi中的至少一个候选roi的选择。方法200c还包括根据选择聚焦于至少一个roi的操作208c。
可以按照所呈现的顺序、按照不同顺序或同时地执行方法400中的各种动作、行为、块、操作等。此外，在一些示例实施例中，可以在不脱离本公开的范围的情况下省略、添加、修改、跳过一些动作、做法、块、操作等。
图2d是示出了根据本公开的实施例的由电子设备自动聚焦于roi的方法的流程图。
参考图2d，方法200d包括确定视场(fov)中的至少一个候选roi的深度的操作202d。该方法还包括从至少一个候选roi中提取至少一个特征的操作204d，基于至少一个特征来计算至少一个候选roi的权重的操作206d，基于至少一个特征和/或计算的权重来显示针对至少一个候选roi的至少一个标记的操作208d，以及接收对至少一个标记被显示的至少一个roi中的至少一个候选roi的选择的操作210d。方法200d还包括通过聚焦于根据选择而确定的至少一个roi来捕获fov的操作212d。
图3a是示出了根据本公开实施例的由电子设备自动聚焦于具有最高权重的候选roi的方法的流程图。
参考图3a，方法300a包括检测场景的rgb图像、相位数据和基于相位的焦点代码的操作302a。传感器102或控制器104可以检测场景的rgb图像、相位数据和基于相位的焦点代码。
方法300a还包括确定传感器102的fov中的至少一个候选roi的操作304a。在示例实施例中，传感器102可以确定传感器102的fov中的至少一个候选roi。在另一个示例实施例中，控制器104可以确定传感器102的fov中的至少一个候选roi。该方法还包括确定候选roi的数量是否大于或等于1的操作306a。在操作306a，如果所确定的候选roi的数量不大于或等于1，则方法300a进行到使用场景的中心作为用于自动聚焦的候选roi的操作308a。在示例实施例中，传感器102可以使用场景的中心作为用于自动聚焦的候选roi。在另一个示例实施例中，控制器104可以使用场景的中心作为用于自动聚焦的候选roi。
在操作306a，如果所确定的候选roi的数量大于等于1，则方法300a进行到确定是否启用用户模式自动检测的操作310a。用户模式自动检测还可以分为两种模式，即(1)roi自动加权模式和(2)基于用户选择的roi自动聚焦模式。
在操作310a，如果确定没有启用用户模式自动检测，则方法300a进行到显示候选roi以及与每个候选roi相对应的标记以供用户选择的操作312a。在示例实施例中，传感器102可以显示候选roi以及与每个候选roi相对应的标记以供用户选择。在另一个示例实施例中，控制器104可以显示候选roi以及与每个候选roi相对应的标记以供用户选择。方法300a可以基于标记对候选roi进行排序，但是排序不限于此。例如，可以基于候选roi的深度或显著性权重来导出排序。标记中的每一个可以是颜色编码或形状编码的。
在操作310a，如果确定启用用户模式自动检测，则方法300a进行到计算候选roi的权重的操作314a。在示例实施例中，传感器102可以计算候选roi的权重。在另一个示例实施例中，控制器104可以计算候选roi的权重。在操作314a之后，方法300a可以进行到自动聚焦于具有最高权重的候选roi的操作316a。在示例实施例中，传感器102可以使用具有最高权重的候选roi来进行自动聚焦。在另一个示例实施例中，控制器104可以使用具有最高权重的候选roi来进行自动聚焦。
可以按照所呈现的顺序、按照不同顺序或同时地执行方法400中的各种动作、行为、块、操作等。此外，在一些实施例中，可以在不脱离本发明的范围的情况下省略、添加、修改、跳过一些动作、做法、块、操作等。
图3b是示出了根据本文中公开的示例实施例的确定至少一个候选roi的方法的流程图。
参考图3b，方法300b包括从rgb图像提取多个聚类的操作302b。这里也可以被称为超级像素的聚类可以是包括在rgb图像中的像素的聚类。在示例实施例中，传感器102可以从rgb图像提取多个聚类。在另一个示例实施例中，控制器104可以从rgb图像提取多个聚类。
方法300b包括将聚类中的每一个与基于相位的焦点代码相关联的操作304b。在示例实施例中，传感器102可以将聚类中的每一个与基于相位的焦点代码相关联。在另一个示例实施例中，控制器104可以将聚类中的每一个与基于相位的焦点代码相关联。方法300b包括基于多个聚类的颜色和相位深度(例如基于颜色和相位深度相似性)将rgb图像分割成多个聚类的操作306b。在示例实施例中，传感器102可以基于多个聚类的颜色和相位深度(例如基于颜色和相位深度相似性)将rgb图像分割成多个聚类。在另一个示例实施例中，控制器104可以基于多个聚类的颜色和相位深度(例如基于颜色和相位深度相似性)将rgb图像分割成多个聚类。
方法300b包括根据与聚类相对应的基于相位的焦点代码，对聚类中的每一个进行排序的操作308b。在示例性实施例中，传感器102可以根据基于相位的焦点代码对聚类中的每一个进行排序。在另一个示例实施例中，控制器104可以根据基于相位的焦点代码对聚类中的每一个进行排序。方法300b包括根据多个聚类的基于相位的焦点代码和阈值焦点代码值来确定至少一个候选roi的操作310b。例如，传感器102或控制器104可以根据基于相位的焦点代码中的哪一个低于阈值焦点代码值，将一个或多个聚类设置为候选roi，但是不限于此。例如，传感器102或控制器104可以根据基于相位的焦点代码中的哪一个高于阈值焦点代码值，或者根据基于相位的焦点代码中的哪一个在焦点代码值的范围内，将一个或多个聚类设置为候选roi。
在示例实施例中，在执行上述操作302b至308b之后，结合图3所描述的那样执行操作306a。
可以按照所呈现的顺序、按照不同顺序或同时地执行方法300b中的各种动作、行为、块、操作等。此外，在一些实施例中，可以在不脱离本公开的范围的情况下省略、添加、修改、跳过一些动作、做法、块、操作等。
图3c是示出了根据本文中公开的示例实施例的计算每个候选roi的权重的方法300c的流程图。
参考图3c，方法300c包括从每个候选roi提取一个或多个特征的操作302c。在示例实施例中，传感器102可以从每个候选roi中提取一个或多个特征。在另一个示例实施例中，控制器104可以从每个候选roi中提取一个或多个特征。
方法300c包括例如通过聚合这些特征来计算每个候选roi的权重的操作304c。在示例实施例中，传感器102可以通过聚合这些特征来计算每个候选roi的权重。在另一个示例实施例中，控制器104可以通过聚合这些特征来计算每个候选roi的权重。在示例实施例中，特征可以包括区域方差、颜色分布、面部特征、区域尺寸、类别分数、焦距以及所存储的图像的特征数据中的至少一个。
在一个示例实施例中，可以基于相对于rgb图像的面部大小或相对于帧大小的面部大小，针对包括在rgb图像中的面部计算面部特征权重(wf)。此外，诸如微笑等的附加特征可以影响(例如，增加或减少)为面部计算的权重。权重可以归一化为0-1的值。
在示例性实施例中，基于每个roi的颜色与背景颜色不同的程度来计算颜色分布权重(wc)。初始，使用直方图(hb)根据非候选roi的区域的颜色分布是使用下面的等式1来确定的：
等式1
在示例实施例中，区域方差(wr-)可以被定义为roi方差与全局图像方差之比。区域方差可以归一化为0-1的值。
在示例实施例中，焦距(wfd)可以基于分配给roi的归一化权重0-1。或者，焦距(wfd)可以基于分配给roi的焦点代码0-1。在焦距(wfd)中，“1”可以指示roi靠近传感器102。
在示例实施例中，可以通过使用下面的等式2组合上述权重来针对每个候选roi计算权重：
等式2
在等式2中，β用于设置0-1的面部优先级值。在一个示例中，β值越低，面部优先级越高。
可以按照所呈现的顺序、按照不同顺序或同时地执行方法300c中的各种动作、行为、块、操作等。此外，在一些实施例中，可以在不脱离本公开的范围的情况下省略、添加、修改、跳过一些动作、做法、块、操作等。
图4a至图4c示出了根据本公开的各种实施例的使用所存储的图像的特征数据来计算至少一个候选roi的权重的示例。如图4a所示，传感器102的fov中的花位于深度“d1”处，传感器102的fov中的动物位于深度“d2”处，并且传感器102的fov中的人位于在深度“d3”传感器。此外，如果“d1”＜＜“d2”＜＜“d3”，并且花的大小远大于动物的大小和人的大小(作为动物与人的组合大小)，花将被排序为高于人和动物两者(例如，被分配高于人和动物两者的权重)，并且传感器102将根据深度“d1”进行聚焦。
参考图4b，如果“d1”＜＜“d2”以及人与动物的组合尺寸比花的尺寸小得多，则将动物的权重和人的权重相加作为针对“d2”的权重。此外，如果针对“d2”的权重＞针对“d1”的权重，则传感器102将根据深度“d2”进行聚焦。
参考图4c，由于对象的分类是计算权重的最重要因素，因此在由用户设置或选择分类以向人施加更多权重的情况下，传感器102的fov中的人位于深度d1。fov中的动物被给予第二权重，因此位于深度d2处。花被赋予第三权重，因此位于深度d3处。传感器102基于面部/身体识别算法识别人的面部或身体。
图5a至图5b示出了根据本公开示例实施例的识别基于相位的焦点区域的示例。参考图5a和图5b，fov中的焦点区域“a”、“b”和“c”具有离相机不同的距离(即，具有不同的焦点代码值)。相位数据中的值指示聚焦区域的焦点区域中的对象与相机之间的相应距离。当前聚焦所在的焦点区域被分配最高的焦点代码值，并且剩余的焦点区域被分配对与相机的相对距离进行指示的焦点代码值或者被分配与当前聚焦所在的焦点区域不同的焦点代码值。这些值可以用来改善聚类性能。通过将相位数据与焦点代码结合，可以使用相位数据将深度值分配给fov中的每个聚类。
图6a至图6c示出了根据本公开各种实施例的显示每个候选roi的至少一个标记的示例。
参考图6a至图6c，图6a显示了场景。图6b示出了相同的场景和当前的聚焦区域，但是场景由像素来表示，这些像素被分配了相对于与像素相对应的焦点代码的深度值。另外，如图6c所示，fov中的焦点区域在与相机的不同距离处，并且区域中的对象与相机之间的距离由“a”、“b”、“c”和“d”表示。当前聚焦的焦点区域被分配最高的焦点代码值，并且剩余的焦点区域被分配对与当前聚焦的焦点区域的相对距离加以指示的焦点代码值或被分配与当前聚焦的焦点区域不同的焦点代码。
图7a至图7d示出了根据本公开各种实施例的显示至少一个候选roi以供用户选择的示例。
参考图7a，通过使用相位数据和rgb图像，可以识别具有唯一焦点代码的不同深度的候选roi(即，对象)。确定的候选roi连同与候选roi相对应的选择框一起显示给用户。用户可以例如经由选择框选择候选roi中的任何一个以便传感器102或控制器104聚焦。
参考图7b，例如通过聚合这些特征，基于每个候选roi的特征来计算每个候选roi的权重。在计算每个候选roi的权重之后，可以相对于深度以升序排列候选roi。然而，示例实施例不限于此，并且可以相对于深度以降序排列候选roi。如图7c中的示例所示，当用户选择候选roi的选择框(表示为“a”)时，与所选候选roi的选择框相比，剩余候选roi的选择框被不同地显示(例如，非所选候选roi的选择框被改变为与所选候选roi的选择框的颜色不同的颜色)。如图7d的示例所示，对于具有相同权重的任何两个或更多个候选roi(即，相对于深度分配了相同排序的候选roi)，这些两个或更多个候选roi的选择框也将是相同的(例如，具有相同颜色、形状、大小、线条粗细等的选择框)。
图8a至8c示出了根据本文中公开的示例实施例的显示候选roi以供用户选择的示例。如图8a所示，显示候选roi以及选择框(例如标记)，并且用户可以例如经由选择框来选择候选roi中的任何一个以便传感器102或控制器104聚焦。如图8b所示，用户选择候选roi802，并且所选候选roi802的选择框和未选候选roi的选择框被彼此不同地颜色编码。如图8c所示，当用户选择候选roi时，除了位于与所选候选roi相同深度的任何未选候选roi之外，所选候选roi的选择框与未选候选roi的选择框被不同地颜色编码。例如，与所选候选roi具有相同深度的未选候选roi的选择框可以与所选候选roi的选择框相同。因此，所选候选roi以及与所选候选roi处于相同深度的任何未选roi的颜色编码不同于其他roi。上述示例不限于此，并且可以根据颜色、形状、尺寸、线条粗细等来区分选择框。
图9a和图9b示出了根据本文中公开的示例实施例的自动聚焦于具有最高权重的roi的示例。
参考图9a，传感器102检测传感器102的fov中的场景的rgb图像、相位数据和基于相位的焦点代码。此外，传感器102确定传感器102的fov中的候选roi。如果用户模式自动检测被启用，则传感器102从每个候选roi中提取一个或多个特征，并且基于特征(例如，通过聚合特征)来计算针对每个候选roi的权重。如图9b所示，传感器102聚焦于具有最高权重的候选roi。如上所述，检测rgb图像、相位数据和基于相位的焦点代码、确定候选roi、提取特征、计算权重以及聚焦于具有最高权重的候选roi也可以由控制器104执行。
图10示出了根据本公开实施例的具有图像捕获的微距拍摄的示例。
参考图10，从图像中提取可以聚焦于的不同区域(例如，由1002、1004和1006表示的区域)的备选用户界面(ui)，并与主图片分离地显示给用户以便选择。此外，边框或指示符可以与包括在主图片中的区域1002、1004和1006一起显示(例如，与区域重叠或在区域旁边)，以指示不同区域相对于场景位于何处。
图11示出了根据本文中公开的示例实施例的实现由电子设备自动聚焦于roi的方法和系统的计算环境。
参考图11，计算环境1102包括配备有控制器1104和算术逻辑单元(alu)1106的至少一个处理单元1108、存储器1110、存储单元1112、多个网络设备1116和多个输入输出(i/o)设备1114。处理单元(或处理器)1108负责并且可以处理本文中描述的示例实施例的指令。处理单元1108可以根据处理单元1108从控制器1104接收的命令来处理指令。此外，可以借助于alu1106来计算执行指令所涉及的任何逻辑和算术运算。
整个计算环境1102可以包括多个同质或异质核、多个不同种类的中央处理单元(cpu)、特殊媒体和其他加速器。此外，多个处理单元1108可以位于单个芯片上或多个芯片上。
用于实现本文中描述的本公开示例实施例的指令和代码可以存储在存储器单元1110或存储单元1112中或两者中。可以从存储器单元1110或存储单元1112取出指令并由处理单元1108执行指令。
在任意硬件实现的情况下，多种网络设备1116或外部i/o设备1114可以与该计算环境相连并支持该实现。
可以通过在至少一个硬件设备上运行并执行网络管理功能以控制元件的至少一个软件程序来实现本文公开的示例实施例。图中示出的元件包括可以由硬件设备或者硬件设备与软件单元的组合中的至少一个来实现。
以上对具体示例实施例的描述充分揭示了本文中示例实施例的通用性质，从而其他技术人员通过应用现有知识，能够在不背离总体构思的前提下，针对各种应用，容易地对本公开的示例实施例进行修改或调整，因此，这种调整和修改应该且意图被包括在所公开的示例实施例的等同物的意义和范围内。可以理解，本文中使用的短语和术语用于描述目的而不是限制。因此，尽管本文中已经从示例实施例方面来描述了示例实施例，但是本领域的技术人员将认识到，可以在本文中描述的示例实施例的精神和范围内对示例实施例进行修改。