对焦点确定方法及装置与流程

本发明涉及自动对焦技术领域，更具体地涉及一种对焦点确定方法及装置。

背景技术：

目前，大多数的数码相机以及诸如智能手机和平板电脑等配备摄像头的便携式智能设备都具有自动对焦装置，其通过利用对比度等方法，使得在用户指定的对焦点区域附近的图像更锐利。

然而，由于对焦点是用户根据经验事先指定，往往导致在用户经验不足的情况下所拍摄的图像质量并不理想。此外，由于不同的构图要求不同的对焦点，因此用户需要在不同的对焦设置间进行切换，这严重影响了用户的抓拍等操作。此外，在抓拍一些快速运动物体的时候，用户也很难在非常短的时间内完成对焦操作。此外，在对焦一些比较远且较小的物体时，很容易出现用户指定的对焦点不精确的情况。

因此，需要一种能够准确地确定对焦点的方法及装置。

技术实现要素：

考虑到上述问题而提出了本发明。本发明提供了一种活体检测方法及装置，通过采用随机动作序列并且通过组合图像传感器采集的图像和非图像传感器采集的信息，可以提高活体检测的精度。

根据本发明一方面，提供了一种对焦点确定方法，包括：获取取景范围的取景图像；识别取景图像中的显著性区域；以及在所识别的显著性区域中提取至少一个对焦点。

根据本发明另一方面，提供了一种对焦点确定装置，包括：图像获取部件，用于获取取景范围的取景图像；显著性区域识别部件，用于识别取景图像中的显著性区域；以及对焦点提取部件，用于在所识别的显著性区域中提取至少一个对焦点。

根据本发明又一方面，提供了一种电子设备，包括：处理器、存储有程序指令的存储装置、输入装置以及摄像头，其中，所述输入装置接收拍摄指令，所述摄像头响应于所述拍摄指令采集取景范围的取景图像，所述存储装置中存储的程序指令在被所述处理器执行时，获取取景范围的取景图像；识别取景图像中的显著性区域；以及在所识别的显著性区域中提取至少一个对焦点，所述摄像头按照所述至少一个对焦点执行对焦操作并拍摄图像。

根据本发明再一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的对焦点确定方法，并且用于实现根据本发明实施例的对焦点确定装置。

根据本发明实施例的对焦点确定方法及装置，通过识别取景图像中的显著性区域以及在所识别的显著性区域中提取至少一个对焦点，可以在一定程度上保证所选择的对焦点的准确性，从而保证对焦的准确性。进一步地，本发明通过利用神经网络自动确定对焦点，避免了繁琐的对焦点选择或切换操作，有利于用户进行抓拍等操作，并且可以避免由于用户误操作造成的对焦错误。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本发明实施例的对焦点确定方法的示意性流程图；

图2是根据本发明实施例的识别取景图像中的显著性区域的示意性流程图；

图3是根据本发明第一实施例的在连续拍摄图像的情况下提取对焦点的示意性流程图；

图4A、图4B、图4C和图4D分别是根据本发明实施例中的取景图像、显著性识别图片、二值化的显著性图片以及对焦点确定图片；

图5是根据本发明实施例的对焦点确定装置的示意性框图；

图6是根据本发明实施例的显著性区域识别部件的示意性框图；

图7是根据本发明实施例的对焦点提取部件的示意性框图；以及

图8是根据本发明实施例的电子设备800的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现本发明实施例的对焦点确定方法100。根据本发明实施例，所述对焦点确定方法可以在云端实现或者可以在配备有摄像头的便携式智能设备处实现。

在步骤S110，获取取景范围的取景图像。如图4A所示，示出了根据本发明实施例的对焦点确定方法100所获取的取景图像，即输入图像。

在步骤S120，识别取景图像中的显著性区域。根据本发明实施例的一个示例，利用机器学习模型识别取景图像中的显著性区域，例如，利用神经网络识别取景图像中的显著性区域。通过模型训练，使得神经网络能够学习到图片中哪些物体的显著性更高，例如通常认为人、车要比墙壁、天空、草地、远处建筑物的显著性更高。此外，还可以利用其他方法(例如关键区域聚焦方法等)识别显著性区域，在此并不进行限定。其中，采用机器学习模型例如神经网络识别显著性区域，相对于其他识别显著性区域的方法，可以使识别更加智能。

此外，根据本发明实施例，还可以依据不同的显著性定义训练多种模型供用户选择，例如“人脸优先”的显著性模型、“文字优先”的显著性模型等。

在步骤S130，在所识别的显著性区域中提取至少一个对焦点。

在所述对焦点确定方法在便携式智能设备处实现的情况下，在所述便携式智能设备上配备的摄像头采集取景范围的取景图像，然后所述摄像头利用在步骤S130处提取的对焦点对所述取景范围进行对焦并拍摄图像。

在所述对焦点确定方法在云端实现的情况下，在所述便携式智能设备上配备的摄像头采集取景范围的取景图像，所述便携式智能设备将所述取景图像传送到云端，即云端在步骤S110获取取景范围的取景图像，云端将在步骤S130中提取的对焦点传送至所述便携式智能设备，然后由便携式智能设备上配备的摄像头按照所述对焦点进行对焦并拍摄图像。

在本发明实施例中，在利用在提取的对焦点对所述取景范围进行对焦并拍摄图像的过程中，对焦点的选择可以由智能设备自动实现。通过自动选择对焦点，可以避免繁琐的对焦点选择或切换操作，有利于拍摄者进行抓拍等操作，并避免拍摄者误操作造成的对焦错误。然而，在一个具体示例中，对焦点可以由拍摄者通过操作进行选择。通过人为选择对焦点，可以让操作者根据实际需要或个人喜好选择对焦点，有利于拍摄出令拍摄者满意的图像。

根据本发明实施例，通过自动确定对焦点，避免了繁琐的对焦点选择或切换操作，有利于用户进行抓拍等操作，并且可以避免由于用户误操作造成的对焦错误。

图2示出了根据本发明实施例的识别取景图像中的显著性区域的示意性流程图。

在步骤S210，利用取景图像生成显著性识别图片。在所述显著性识别图片中，每个像素的灰度值代表该像素的显著性。

根据本发明实施例，可以利用神经网络计算取景图像的图像域梯度，然后根据所述图像域梯度，生成所述显著性识别图片。

如图4B所示，示出了根据本发明实施例的利用图4A所示的取景图像生成的显著性识别图片。

在步骤S220，将所述显著性识别图片二值化，得到二值化的显著性图片。如图4C所示，示出了根据本发明实施例的利用图4A所示的取景图像生成的二值化的显著性图片。

在步骤S230，将所述二值化的显著性图片中的至少一个连通区域作为显著性区域。在如图4C所示的二值化的显著性图片中包括三个连通区域，将这三个连通区域作为如图4A所示的取景图像中的显著性区域。

在识别出取景图像中的显著性区域之后，对于所述二值化的显著性图片中的每个连通区域，提取一个对焦点。作为示例，对于所述二值化的显著性图片中的每个连通区域，对该连通区域中的各点坐标求平均值，并将所述平均值作为该连通区域所对应的对焦点的坐标。如图4D所示，示出了根据本发明实施例的利用图4A所示的取景图像提取的对焦点。

根据本发明实施例，在连续拍摄图像的情况下，对于每帧图像都要先确定对焦点然后再按照所确定的对焦点进行对焦。在此情况下，可以利用历史对焦点信息对当前预测的对焦点进行平滑操作。

如图3所示，示出了在连续拍摄图像的情况下提取对焦点的示意性流程图。

在步骤S310，在所识别的显著性区域中提取至少一个预测对焦点。作为示例，所识别的显著性区域包括至少一个连通区域，在每个连通区域中提取一个预测对焦点，例如，可以对该连通区域中的各点坐标求平均值，并将所述平均值作为该连通区域所对应的预测对焦点的坐标。

在步骤S320，对于每个预测对焦点，在预定半径的邻域中查找与该预测对焦点对应的历史对焦点，所述历史对焦点为上一次拍摄的对焦点。

在步骤S330，对于每个预测对焦点，利用与该预测对焦点对应的历史对焦点对该预测对焦点进行平滑处理，从而得到与该预测对焦点对应的对焦点。

作为示例，在当前的取景图像中提取了n个预测对焦点q1、q2、…、qn，在最近一次拍摄中采用了m个对焦点p1、p2、…、pm。对于每个预测对焦点qi，在半径为r的邻域中查找与其对应的历史对焦点。如果对于一个预测对焦点在半径为r的邻域中没有找到与其对应的历史对焦点，则将该预测对焦点直接作为对焦点。如果对于一个预测对焦点在半径为r的邻域中查找到与其对应的历史对焦点，则利用该历史对焦点对该预测对焦点进行平滑处理。

例如，对于预测对焦点qi，在半径为r的邻域中查找到与其对应的历史对焦点pj，可以按照以下方式进行平滑处理：qi’＝a*qi+(1-a)*pj，其中a为平滑系数，其可以在1到0.7的范围内取值，例如a的具体取值可以为例如0.9、0.8等。

根据本发明实施例，基于神经网络给出的显著性区域进行对焦点选择，不仅可以实现基于人脸检测的对焦点选择，而且还可以实现基于文字检测的对焦点选择、基于物体检测的对焦点选择等等。

图5示出了根据本发明实施例的对焦点确定装置的示意性框图。根据本发明实施例的对焦点确定装置可以在配备有摄像头的便携式智能设备处实现，或者可以在云端实现。

根据本发明实施例的对焦点确定装置500包括图像获取部件510、显著性区域识别部件520以及对焦点提取部件530。

所述图像获取部件510用于获取取景范围的取景图像。所述图像获取部件510可以从便携式智能设备配备的摄像头处获取该取景图像。

所述显著性区域识别部件520用于识别取景图像中的显著性区域。根据本发明实施例，所述显著性区域识别部件520利用机器学习模型识别取景图像中的显著性区域，作为示例，所述显著性区域识别部件520利用神经网络识别取景图像中的显著性区域。

对焦点提取部件530用于在所识别的显著性区域中提取至少一个对焦点。

在所述对焦点确定装置500在便携式智能设备处实现的情况下，在所述便携式智能设备上配备的摄像头采集取景范围的取景图像，所述图像获取部件510获取所述摄像头采集的取景图像，并且所述对焦点提取部件530将所提取的至少一个对焦点反馈给所述摄像头，然后所述摄像头利用所述至少一个对焦点对所述取景范围进行对焦并拍摄图像。

在所述对焦点确定装置500在云端实现的情况下，在所述便携式智能设备上配备的摄像头采集取景范围的取景图像，所述便携式智能设备将所述取景图像传送到在云端实现的所述图像获取部件510，云端将所述对焦点确定装置530提取的至少一个对焦点传送至所述便携式智能设备，然后由便携式智能设备上配备的摄像头按照所述至少一个对焦点进行对焦并拍摄图像。

图6示出了根据本发明实施例的显著性区域识别部件的示意性框图。

所述显著性区域识别部件520包括显著性图片生成部件5210、二值化部件5220以及显著性区域提取部件5230。

所述显著性图片生成部件5210用于利用取景图像生成显著性识别图片，其中，在所述显著性识别图片中，每个像素的灰度值代表该像素的显著性。

根据本发明实施例，所述显著性图片生成部件5210可以利用神经网络计算取景图像的图像域梯度，并且根据所述图像域梯度生成所述显著性识别图片。如图4B所示，示出了所述显著性图片生成部件5210利用图4A所示的取景图像生成的显著性识别图片。

所述二值化部件5220用于将所述显著性识别图片二值化，得到二值化的显著性图片。如图4C所示，示出了二值化的显著性图片。

所述显著性区域提取部件5230用于将所述二值化的显著性图片中的至少一个连通区域作为显著性区域。在如图4C所示的二值化的显著性图片中包括三个连通区域，将这三个连通区域作为如图4A所示的取景图像中的显著性区域。

对于所述二值化的显著性图片中的每个连通区域，对焦点提取部件530提取一个对焦点。作为示例，对于所述二值化的显著性图片中的每个连通区域，对焦点提取部件530对该连通区域中的各点坐标求平均值，并将所述平均值作为该连通区域所对应的对焦点的坐标。如图4D所示，示出了从取景图像中提取的对焦点。

根据本发明实施例，在连续拍摄图像的情况下，对于每帧图像都要先确定对焦点然后再按照所确定的对焦点进行对焦。在此情况下，可以利用历史对焦点信息对当前预测的对焦点进行平滑操作。

如图7所示，示出了根据本发明实施例的对焦点提取部件的示意性框图。

所述对焦点提取部件530包括预测对焦点提取部件5310、历史对焦点查找部件5320、以及平滑处理部件5330。

预测对焦点提取部件5310用于在所识别的显著性区域中提取至少一个预测对焦点。作为示例，所识别的显著性区域包括至少一个连通区域，预测对焦点提取部件5310在每个连通区域中提取一个预测对焦点。所识别的显著性区域可以为在二值化的显著性图片中识别的显著性区域。例如，对于每个连通区域，预测对焦点提取部件5310可以对该连通区域中的各点坐标求平均值，并将所述平均值作为该连通区域所对应的预测对焦点的坐标。

历史对焦点查找部件5320用于对于每个预测对焦点，在以该预测对焦点为中心的预定半径的邻域中查找与该预测对焦点对应的历史对焦点，所述历史对焦点为上一次拍摄的对焦点。

对于每个预测对焦点，在查找到与该预测对焦点对应的历史对焦点的情况下，平滑处理部件5330利用与该预测对焦点对应的历史对焦点对该预测对焦点进行平滑处理，从而得到与该预测对焦点对应的对焦点。

作为示例，在当前的取景图像中提取了n个预测对焦点q1、q2、…、qn，在最近一次拍摄中采用了m个对焦点p1、p2、…、pm。对于每个预测对焦点qi，在半径为r的邻域中查找与其对应的历史对焦点。如果对于一个预测对焦点在半径为r的邻域中没有找到与其对应的历史对焦点，则将该预测对焦点直接作为对焦点。如果对于一个预测对焦点在半径为r的邻域中查找到与其对应的历史对焦点，则利用该历史对焦点对该预测对焦点进行平滑处理。

例如，对于预测对焦点qi，在半径为r的邻域中查找到与其对应的历史对焦点pj，可以按照以下方式进行平滑处理：qi’＝a*qi+(1-a)*pj，其中a为平滑系数，其可以在1到0.7的范围内取值，例如a的具体取值可以为例如0.9、0.8等。

根据本发明实施例，基于神经网络给出的显著性区域进行对焦点选择，不仅可以实现基于人脸检测的对焦点选择，而且还可以实现基于文字检测的对焦点选择、基于物体检测的对焦点选择等等。

如图8所示，示出了根据本发明实施例的电子设备800的示意性框图。

电子设备800包括一个或多个处理器802、一个或多个存储装置804、输入装置806、输出装置808、摄像头810，这些组件通过总线系统812和/或其它形式的连接机构(未示出)互连。应当注意，图8所示的便携式智能设备800的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置804可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器802可以运行所述程序指令，以实现上文所述的本发明实施例中(由处理器实现)的对焦点确定功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置806可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置808可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像头810可以拍摄图像，并且将所拍摄的图像存储在所述存储装置804中以供其它组件使用。

根据本发明实施例，用户通过输入装置806向摄像头810发出要拍摄的指令，然后由所述摄像头810采集取景范围的取景图像。

根据本发明实施例，通过处理器802运行在存储器804中存储的程序指令来执行根据本发明实施例的对焦点确定方法100，并且实现根据本发明实施例的对焦点确定装置500。

根据本发明实施例，在每次拍摄过程中确定了对焦点之后，都将所确定的对焦点存储在所述存储装置804中，以供在下次拍摄中对焦点平滑处理使用，即，对于下次拍摄提供该下次拍摄的上一次拍摄的历史对焦点信息。

所述电子设备800可以为照相机，或者可以为配备有摄像头的便携式智能设备，例如智能手机、平板电脑、笔记本电脑等。

此外，根据本发明实施例，还提供了一种云端设备，该云端设备包括一个或多个处理器以及一个或多个存储装置，在所述存储装置中存储了程序指令，在所述程序指令被所述处理器运行时用于执行本发明实施例的对焦点确定方法的相应步骤，并且用于实现根据本发明实施例的对焦点确定装置中的相应模块。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的对焦点确定方法的相应步骤，并且用于实现根据本发明实施例的对焦点确定装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

根据本发明实施例的对焦点确定方法及装置、电子设备以及存储介质，通过识别取景图像中的显著性区域以及在所识别的显著性区域中提取至少一个对焦点，相对于传统的事先人为指定对焦点的方法，可以在一定程度上保证所选择的对焦点的准确性，从而保证对焦的准确性。并且，可以通过利用神经网络自动确定对焦点，避免了繁琐的对焦点选择或切换操作，有利于用户进行抓拍等操作，并且可以避免由于用户误操作造成的对焦错误。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。