用于利用自校准的自动聚焦的方法和系统的制作方法
【专利说明】用于利用自校准的自动聚焦的方法和系统
【背景技术】
[0001] 诸如数码相机之类的数字图像处理设备使用自动特征来提高图像（例如，数码相 机上的预览屏幕以及所记录的图像和所录制的视频）的质量。自动特征包括3A特征，所述 3A特征指的是自动白平衡（AWB)、自动聚焦（AF)以及自动曝光控制（AEC)。自动聚焦是相 对于图像传感器或其它图像捕捉介质对透镜位置的自动调整，以获得锐利的、清晰的图像。
[0002] 透镜的移动是由照相机致动器或电动机所控制的，假设是音圈电动机（VCM)致动 器，其将电流转换为运动。透镜的位置和所应用的电流（单位为毫安）线性地成比例。为 了执行计算以将透镜放置在特定位置，必须确定的是，应当应用多少电流以使透镜移动到 该位置。由于对照相机设备和容纳照相机的设备（当以智能手机的部分为例时）的制造期 间可能发生的制造公差和/或其它错误，用于将透镜移动到相同的期望位置的电流量可能 随着设备的不同而不同。因此，开发了分别校准每个设备的算法。这包括应用充足的电流 以将透镜放置在接近于照相机中的近机械端的第一位置，并且然后将透镜放置在接近于照 相机内的远机械端的第二位置，其中距远机械端和近机械端的距离是已知的。然后，用于获 得沿着透镜的运动范围的其它重要位置的电流，可以根据这两个位置进行内插。
[0003] 因此，常规的校准过程是冗长的、劳动密集的和耗时的，这增加了每个照相机设备 的成本。当低成本设备制造商通常不想为其照相机设备进行工厂校准时，校准数据的缺乏 可能严重危害自动聚焦性能并且消极地影响聚焦速度和准确性，这是由于AF可能需要遍 及整个VCM的取值范围进行扫描以找到最优的焦距对准位置。
[0004] 另一方面，即使执行了校准，也不能保证所有设备都包含正确的校准信息。结果在 很大程度上取决于自动聚焦校准算法和校准设置。校准可能导致错误的参数，所述错误的 参数可能误导自动聚焦算法而使透镜移动到不想要的位置，这可能导致比根本不进行校准 更差的结果，或者甚至可能导致自动聚焦功能的完全失效。
【附图说明】
[0005] 本文所描述的材料以示例的方式而不是以限制的方式在附图中示出。为了说明的 简单和清楚，图中所示出的元件不必需按比例进行绘制。例如，为了清楚起见，可以相对于 其它元件来扩大某些元件的尺度。此外，在认为适当的地方，附图标记在附图之间重复以用 于指示相应的或类似的元件。在附图中：
[0006] 图1是示出了在图像捕捉设备上的透镜的位置的示意图。
[0007] 图2是示出了透镜位移与应用到透镜电动机的电流之间的关系的图。
[0008] 图3是示出了生产线校准值的图。
[0009] 图4是示出了根据本文说明书的图像捕捉设备上的自动聚焦的基本自校准过程 的示意性流程图。
[0010] 图5是示出了图像捕捉设备上的自动聚焦的自校准过程的流程图。
[0011] 图6是示出了图像捕捉设备上的自动聚焦的自校准过程的另一流程图。
[0012] 图7A是焦距值直方图的表格。
[0013] 图7-12是示出了本文所描述的自校准过程的自校准缓冲区的表格。
[0014] 图13是示出了在真无穷远透镜位置的周围所观察到的数据的高斯混合模型的 图。
[0015] 图14是示出了指示真无穷远估计的最终透镜位置的可能性的S状弯曲权重函数 的图。
[0016] 图14A是示出了无穷远位置与聚焦锐度的关系曲线的图。
[0017] 图15是示出了在图像捕捉设备上用于捕捉视频序列的自动聚焦的自校准过程的 流程图。
[0018] 图16是示出了在图像捕捉设备上用于捕捉静态图片的自动聚焦的自校准过程的 流程图。
[0019] 图17是用于提供自动聚焦的自校准过程的运转中的示例性系统的说明性示图。
[0020] 图18是示例性系统的说明性示图。
[0021] 图19是另一例性系统的说明性图；以及
[0022] 图20示出了另一示例性设备，所有都是根据本公开内容的至少某些实现方式来 安排的。
【具体实施方式】
[0023] 现在参考附图对一个或多个实现方式进行描述。当讨论特定配置和布局时，应当 理解进行该讨论仅出于示例性目的。在不脱离本说明书的精神和范围的情况下，相关领域 技术人员将会认识到可以采用其它配置和布局。对相关领域技术人员来说显而易见的是， 也可以将本文所描述的技术和/或布局用于除本文所描述之外的各种其它系统和应用。
[0024] 尽管在下文的说明书中阐述了显现在例如诸如片上系统（SoC)架构之类的架构 中的各种实现方式，但是本文所描述的技术和/或布局的实现方式并不受限于特定架构和 /或计算系统，并且可以由任何架构和/或计算系统出于类似的目的来实现。例如，采用诸 如多个集成电路（1C)芯片和/或封装之类的各种架构，和/或诸如成像设备、数码相机、智 能手机、网络摄影机、视频游戏面板或控制台、机顶盒等等的各种计算设备和/或消费性电 子（CE)设备，可以实现本文所描述的技术和/或布局。此外，尽管在下文的说明书中可以 阐述诸如逻辑实现方式、类型和系统部件的相互关系、逻辑划分/集成选择等等的大量的 特定细节，但是在没有这些特定细节的情况下，也可以实施所要求保护的主题。在其它实例 中，为了不使本文所公开的材料难以理解，诸如例如控制结构和全部软件指令序列之类的 某种材料可以不详细示出。可以将本文所公开的材料实现在硬件、固件、软件或其任意组合 中。
[0025] 本文所公开的材料也可以被实现为存储在机器可读介质或存储器上的指令，其可 以由一个或多个处理器读取和执行。机器可读介质可以包括以机器（例如，计算设备）可 读的形式存储或传送信息的任意介质和/或机制。例如，机器可读介质可以包括只读存储 器（ROM);随机存取存储器（RAM);磁盘存储介质；光存储介质；闪速存储器设备；电学的、 光学的、声学的或其它形式的传播信号（例如，载波、红外信号、数字信号等等）以及其它。 在另一形式中，诸如非暂时性计算机可读介质之类的非暂时性物，可以与上述示例中的任 何示例或除了不包括暂时的信号本身的示例之外的其它示例一起使用。其包括除了信号本 身之外的、可以以"暂时"方式临时保持数据的那些元件，诸如RAM等。
[0026] 在本说明书中对"一个实现方式"、"一实现方式"、"一示例性实现方式"等的引用 指示所描述的实现方式可以包括特定特征、结构或特性，但是不必每个实现方式都包括该 特定特征、结构或特性。而且，这样的短语不必指代相同的实现方式。此外，无论本文是否 明确描述，当结合实现方式来描述特定特征、结构或特性时，认为结合其它实现方式来影响 这样的特征、结构或特性在本领域技术人员的知识范围内。
[0027] 用于提供利用自校准的自动聚焦的系统、物品和方法。
[0028] 如上所述，很多数码相机和具有这样的照相机的设备提供诸如3A特征之类的自 动控制特征，其中3A特征包括自动聚焦（AF)、自动曝光控制（AEC)和自动白平衡（AWB)。本 文相关的，自动聚焦（AF)使用校准算法来确定透镜在特定电流水平下的位置，以使得能够 通过应用相应的电流来将透镜驱动到期望的位置。本文应当注意的是，取决于上下文，术语 校准和自校准可互换地使用。
[0029] 参考图1，提供了诸如相机之类的图像捕捉（或成像）设备10,包括诸如专用数码 相机之类的移动照相机、安装在智能手机上的照相机或很多其它类型的照相机。图像捕捉 设备10可以被认为是具有透镜12和由传感器16形成的成像平面14的光学系统。透镜12 安装在传感器16附近的透镜致动器18上。透镜12捕捉来自兴趣对象20的光，并且使其 聚焦在传感器16。当对象被聚焦到"无穷远"时，从成像平面14到透镜12的距离被称为焦 点长度或焦距（f)，并且常规地指定以毫米为单位。要捕捉位置越接近透镜12的对象，越远 离传感器16来移动透镜12,并且距离之间的关系可以通过以下公式来确定：
[0031] 其中SJP 32分别是从对象20到透镜的距离和从透镜到传感器的距离。因此，焦 距（f)设定了距离SJPS2之间的比率以及设定了透镜与成像平面14之间的理想距离。当 对象相比无穷远更接近相机时，透镜相比无穷远透镜位置更加远离传感器并且朝着成像设 备的前面的方向、朝着对象20的方向移动。在本示例中，举一个随机的示例，可以将透镜12 放置在位置12a，在位置12a处从对象20到透镜12的距离（SD可以是10厘米。焦距（f) 还决定设备10的高度，这是因为在传感器16处的图像高度与实际对象的高度成比例，并且 遵循由焦距所设定的比率。因此，焦距越长，在传感器平面14处用于适合整个图像的高度 越高。根据一种形式，成像设备10的焦距（f)从3毫米到5毫米范围内变化，而透镜的工 作范围（全光学范围）R在远机械挡22和近机械挡24之间变化0. 2毫米到0. 5毫米，其中 近和远指的是从透镜到对象的距离。致动器18可以具有用于控制透镜移动的电动机，其将 能量转换为运动。例如，音圈电动机（VCM)将电力转换为运动。能够使用包括压电电动机 或步进电动机在内的其它类型的电动机。
[0032] 参考图2,根据一种形式，透镜位移与对透镜进行移动所需要的电驱动电流之间的 关系是线性的，并且在图2020上示出了该关系的一个示例。图200示出了沿着纵轴的、单 位为毫米的透镜位移，以及沿着图的横轴的VCM数字到模拟转换器（DAC)值。VCM DAC码 值（或本文称为VCM DAC值或仅VCM值）与所应用的电流（单位为毫安）线性地成比例。 这样固定的DAC到毫安的映射可以以诸如由图像设备制造商所提供的查找表的形式来提 供。VCM值越大，产生的透镜的位移越大。图中的不同曲线反映不同的图像设备方向，以使 得：与当图像设备向下指时以及图像设备的水平（或垂直）位置落入两个极端之间的情形 相比，当图像设备（或者具体地，透镜）向上指时需要相对较大的电流来移动透镜。因此， 在所示出的示例中，当相机向下指时，在大约150VCM DAC处，透镜将开始移动，当相机垂直 时，在大约250VCM DAC处，透镜将开始移动，以及当相机向上指时，在大约325VCM DAC处， 透镜将开始移动。这是由于使控制透镜的弹簧伸长或缩短的重力取决于相机模块方向而发 生。
[0033] 在对应于FAR(无穷远）机械挡的、被称为可控性的开始（S0C)的VCM码值处，透镜 的运动开始。在对应于NEAR(宏）端的可控性的结束（E0C)位置处，透镜移动停止。S0C、 E0C和无穷远（INF)位置的定位知识对于精确的、稳健的以及快速的自动聚焦的功能性很 重要。在生产线上的机械变化可能导致设备与设备针对这些值的显著偏差。因此，如上所 述，常规地对在生产线的大部分照相机执行自动聚焦校准。
[0034] 同样如所提到的，在音圈透镜致动器上的透镜位移与驱动电流之间的关系几乎是 线性的，这使得致动器输入值中的任何改变在输出中产生相应的线性改变。因此，对于常规 的校准，执行针对两个位置的校准是足够的，该两个位置是：接近于FAR机械挡22的第一位 置和接近于NEAR机械挡24的第二位置。一旦经校准的值、焦距和相对位置偏移量是已知 的，则所有其它所需要的位置（S0C、E0C、无穷远位置、1米、50厘米、10厘米等等）能够简单 地通过使用图像设备软件中的线性内插法/外推法来计算。
[0035] 参考图3,图300示出了两点基于设备的校准，其所示出的透镜位移和VCM DAC值 与图200相同，除了这里示出了使用第一和第二位置302和304两个位置的校准之外。常 规地在工程生产线（或者照相机供应商的线或者设备制造线）上通过针对任意目标（如在 一个示例中放置在1米和10厘米校准位置（302,304))运行自动聚焦算法并且找到最优焦 点对准位置来执行一次（one-time)自动聚焦校准。换言之，校准算法找到最优的VCM码 值，该对象在针对该VCM码值的校准位置是焦点对准的。一旦找到针对两个校准位置的VCM DAC值，对应于任何其它位置的VCM值能够通过在该两个校准点（302, 304)之间进行内插/ 外推来计算。可以针对很多单独的图像捕捉设备执行该操作。
[0036] 如上所述，然而，这些初始的、两点逐个设备的工厂校准可能是高成本和耗时的， 并且无论如何常规的校准仍然可能导致不正确的校准信息，然而省略校准可能是不适当的 并且可能消极地影响聚焦速度和准确性。
[0037] 为了避免所有这些缺点，本公开内容提供了所开发的自校准自动聚焦过程，以在 出现以下情况时，改善自动聚焦算法的功能性和性能：（1)未执行或缺少工厂上的自动聚 焦校准，（2)生产线上执行的自动聚焦校准不准确，和/或（3)在包括最小调焦距离的其它 数据之间的自动聚焦调整不正确时。本文所公开的自动聚焦自校准算法是无监督学习过 程，其根据在一次但最好是很多次自动聚焦迭代期间所收集的测量数据来迭代地估计未知 的聚焦范围参数（S0C、E0C和无穷远位置）。可以将校准数据存储在存储器处，其在自动聚 焦循环期间并且在一种每次执行自动聚焦循环的情况下，随着在特定次数所新收集的数据 而被更新。
[0038] 参考图4,针对自动聚焦的示例性过程400可以用于为自校准操作建立时序。过 程400还可以称为自动校准循环，其中成像设备分析自动聚焦数据并且确定透镜位置设定 以安置透镜并且记录视频序列的帧或单个静态照片。在所示出的实现方式中，过程400可 以包括一个或多个操作、功能或动作，如由均匀编号的操作402到412中的一个或多个操作 所示出。以非限制性示例的方式，本文可以分别地参考图1和图18其中相应的示例性图像 捕捉设备10和1800来描述过程400。
[0039] 过程400可以包括从存储器读取校准数据402,并且存储器可以是二进制文件，并 且该操作可以包括基于该文件中的数据来设定初始聚焦范围参数。
[0040] 如果具有校准数据的文件不在设备的存储器上（相机第一次开启），那么基于存 储在非易失性存