自动自适应图像锐化的制作方法
【专利摘要】本发明描述用于最初校准图像俘获装置的技术。根据一个方面，所述校准包含校准图像滤波器的参数以用于分辨所俘获图像。所述方法包含接收测试目标的所俘获图像及使用一组初始参数分辨所述所俘获图像。在未将所述所俘获图像与所述测试目标匹配的情况下，确定所述所分辨图像的锐度索引。使用所述锐度索引来最小化用于确定用于供所述图像俘获装置使用的参数的成本函数。
【专利说明】自动自适应图像锐化
【技术领域】
[0001]一个方面涉及用于校准图像俘获装置中的图像传感器的系统和方法。更具体来说，方面涉及操作以校准并存储图像传感器参数的自适应图像锐化系统和方法。
【背景技术】
[0002]用图像俘获装置(例如数字静态照相机等)俘获的图像信息可能易受由于以下各者产生的噪声影响:图像传感器的物理限制、来自照明源的干扰等等。随着小型图像俘获装置(例如移动无线通信装置等)的风行度增长，此情形变得更盛行。此类装置中的图像传感器模块的大小的减小外加增加的像素大小一般导致每一图像内所俘获的噪声的量的增加。
[0003]在不同型号系列的数字照相机(包含形成为移动装置的部分的小型数字照相机)当中，图像质量可大大变化。小型数字照相机经历归因于(例如)装置的光学组件的变化而产生的性能的变化。这些变化可导致无法预测的图像质量，且因此，光学组件的制造商试图通过照相机校准及滤波来最小化类似照相机之间的此类变化。
[0004]为了从小型数字照相机(例如蜂窝式电话照相机等)产生商业上可接受的图像品质，通常在工厂或在使用期间校准照相机，且接着使用基于此校准的滤波操作产生高质量的最终图像。滤波操作可经设计以通过减少所俘获图像的伪影及/或增加边缘锐度来提高图像质量。校准照相机以确定用于特定照相机的适当后处理程序的过程一般被称作“照相机调谐”。通常，每当在数字照相机中使用新透镜和/或传感器时，重复照相机调谐。
[0005]在照相机校准期间，通常通过图像信号处理流水线来处理所俘获图像以便输出高质量图像。图像信号处理流水线一般具有用于调整所俘获图像的各种分量的一组参数。照相机中的所俘获图像的图像锐度一般取决于对这些参数的校准。
[0006]可调整所述参数以补偿影响所俘获图像的分辨率和质量的任何数目个因素。所述因素可涉及图像大小、照相机的分辨能力(即，12兆像素、8兆像素等)、所俘获图像环境的亮度级，或针对照相机单元自身的组件的各种组合。举例来说，所述参数可用以调整以用于照相机单元中的高质量透镜和低质量传感器的特定组合，及可用以调整以用于照相机单元中的低质量透镜和高质量传感器的特定组合。其它参数可用于低质量透镜与高质量传感器的组合。
[0007]—些常规系统使用这些参数的手动优化以便校准照相机。在手动优化期间，技术人员在各种条件下俘获若干图像。技术人员接着手动地调谐各种参数以便达到优化结果。因此优化结果是基于技术人员的判断和技术。不幸的是，执行校准的不同技术人员实现不同结果。最后，手动过程由于所需的样本图像的数目和在达到优化结果之前执行的调谐的反复次数而为非常耗时的。
[0008]其它常规系统执行所俘获图像与测试目标之间的匹配操作以便评估所俘获图像的锐度并相应地调整参数。用图像传感器来俘获若干测试图像且根据一组参数来对所述若干测试图像进行滤波。将经滤波的或所分辨的所俘获图像中的每一者与测试目标进行匹配。接着基于所匹配的测试目标的比较来分析所分辨图像的锐度达标。由于所分辨图像中的每一者与测试目标直接匹配，因此执行对准过程以便将所分辨图像与测试目标直接映射起来。在对准期间将所分辨图像上的若干参考点映射到测试目标上的参考点，使得可评估所分辨图像。然而，此过程也为耗时的。举例来说，对于5兆像素分辨率照相机，过程可能需要高达8小时来确定图像传感器参数。另外，此过程一般需要大量测试目标以便配置图像传感器的各种参数。
【发明内容】
[0009]本发明的系统、方法和装置各自具有若干创新方面，所述创新方面中的单一者并不仅仅负责本文中所揭示的所要属性。
[0010]根据一个方面，揭示一种最初校准图像俘获装置的方法。所述方法包含接收至少一个测试目标的所俘获图像，分辨所述所俘获图像，以及基于所述所分辨图像确定至少一个锐度索引。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述方法进一步包含基于所述至少一个锐度索引确定成本函数，最小化所述成本函数以确定锐度参数，以及存储所述锐度参数以供所述图像俘获装置使用。
[0011]根据另一方面，揭示一种用于最初校准图像俘获装置的设备。所述设备包含用于接收至少一个测试目标的所俘获图像的装置、用于分辨所述所俘获图像的装置，以及用于基于所述所分辨图像确定至少一个锐度索引的装置。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述设备进一步包含用于基于所述至少一个锐度索引确定成本函数的装置、用于最小化所述成本函数以确定锐度参数的装置，以及用于存储所述锐度参数以供所述图像俘获装置使用的装置。
[0012]根据另一方面，揭示一种非暂时性计算机可读媒体，其具有存储于其上的代码，所述代码在经执行时执行方法。通过所述经执行的代码执行的所述方法包含接收至少一个测试目标的所俘获图像，分辨所述所俘获图像，以及基于所述所分辨图像确定至少一个锐度索引。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述方法进一步包含基于所述至少一个锐度索引确定成本函数，最小化所述成本函数以确定锐度参数，以及存储所述锐度参数以供图像俘获装置使用。
[0013]根据另一方面，揭示一种用于最初校准图像俘获装置的设备。所述设备包含:滤波器，其经配置以接收所俘获图像及分辨所述所俘获图像；以及参数确定模块。所述参数确定模块经配置以基于所述所分辨图像确定至少一个锐度索引。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述参数确定模块经进一步配置以基于所述至少一个锐度索引确定成本函数，最小化所述成本函数以确定锐度参数，以及存储所述锐度参数以供所述图像俘获装置使用。
[0014]在随附图式和以下描述中阐述本说明书中所描述的标的物的一个或一个以上实施方案的细节。其它特征、方面和优点将从所述描述、图式以及从权利要求书变得显而易见。
【专利附图】
【附图说明】
[0015]图1为说明用于俘获图像信息的示范性图像俘获装置的框图。
[0016]图2说明根据一些示范性实施方案的自适应空间滤波器的各种组件的框图。[0017]图3说明根据一些示范性实施方案的参数存储模块30的组件的框图。
[0018]图4说明根据一些示范性实施方案的确定锐度参数的方法的流程图。
[0019]图5说明根据一些示范性实施方案的倾斜边缘测试目标的实例。
[0020]图6说明根据一些示范性实施方案的纹理测试目标的实例。
[0021]图7说明根据一些示范性实施方案的计算纹理MTF的方法的流程图。
[0022]图8说明不同频率下的倾斜边缘MTF和纹理MTF的实例曲线图。
[0023]图9说明根据一些示范性实施方案的倾斜边缘MTF和纹理MTF的曲线图。
[0024]图10说明根据一些示范性实施方案的确定成本函数的权重的方法1000。
【具体实施方式】
[0025]一个方面是一种用于执行不需要对准过程以将所俘获图像映射到目标的自动自适应图像锐化的系统和方法。如本文中所使用，“目标”是具有经设计以校准照相机的特定特征的物理或打印图像。举例来说，目标可具有黑暗和明亮区，或倾斜和笔直边缘。目标通常经配置以使得可在校准期间分析目标的所俘获图像的特定特征。系统一般可包含自适应锐化滤波器(ASF)模拟器作为自适应空间锐化块的部分。ASF模拟器可包含用于调整所俘获图像的各种分量的一组参数。可将样本图像和一组初始参数用作ASF模拟器的输入。ASF模拟器可接着基于所述组初始参数输出图像。可基于用于在未将用照相机俘获的所分辨图像与测试目标进行匹配的情况下最大化所俘获图像的锐度的过程来评估图像。举例来说，可执行所分辨图像的频域分析以便校准图像传感器参数。可由系统基于频域分析的结果来进一步调整所述参数。可接着将经优化的参数存储在照相机中以用于分辨所俘获图像。
[0026]在一个实施例中，用图像俘获装置在未进行ASF滤波的情况下俘获测试目标或一组测试目标。接着将图像发射到自动参数优化系统，所述自动参数优化系统使用ASF基于一组初始参数分辨所俘获图像。可接着计算在ASF的输出处的所分辨图像的成本函数。成本函数一般可包含对来自测试目标的所分辨的所俘获图像的锐度评估，下文将更详细地描述此情形。系统可接着基于成本函数的最小化确定是否已达到优化停止准则。如果已达到优化停止准则，那么输出经优化的参数作为用于供照相机的ASF使用的所存储参数。如果成本函数未得到最小化，那么未达到优化停止准则，且更新所述参数并将所述参数反馈到ASF模拟器。ASF模拟器继续基于反馈处理所俘获图像，直到成本函数得到最小化为止。
[0027]现参看图1，现在将更详细地描述示范性图像俘获装置10。如图1中所展示，图像俘获装置10包含图像传感器12、自适应空间图像滤波器(ASF)模拟器14、图像处理器16、存储器18、显示器20、参数确定模块30以及参数存储单元32。
[0028]如本文中所使用的图像俘获装置10包含(例如)电子照相机、录像机、网络照相机、建置到便携式或移动计算机中的照相机，包含(但不限于)蜂窝式电话、智慧型电话、便携式媒体播放器、个人数字助理、膝上型计算机或平板计算机。图像俘获装置10可以是数字照相机，例如数字摄像机、数字静态图像照相机或所述两者的组合。图像俘获装置10可以是独立装置(例如独立照相机等)，或可集成于另一多用途装置(例如无线通信装置等)中。图像俘获装置10可经装备以俘获彩色像、黑白像或两者。在本发明中，术语“图像”或类似术语可互换地指视频或静态图片。
[0029]图像俘获装置10包含用于俘获外部图像的图像传感器12。图像传感器12可为(例如)电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)传感器等等。图像传感器12可耦合到图像处理器16以将所俘获图像发射到图像处理器16。图像处理器16可经配置以对所接收的所俘获图像执行各种后处理操作以便输出高质量图像。
[0030]再参看图1，图像处理器16进一步耦合到存储器18和显示器20。图像处理器16控制从图像传感器12接收的数字图像的处理、存储及显示。存储器18可配置为任何存储媒体装置。举例来说，系统存储器18可包含磁盘驱动器(例如软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器等)，或固态存储器(例如，快闪存储器、RAM、ROM,和/或EEPR0M)。存储器18也可包含多个存储器单元，且所述存储器单元中的任一者可经配置而在图像俘获装置10内，或可在图像俘获装置10外部。举例来说，存储器18可包含ROM存储器，其含有存储在图像俘获装置10内的系统程序指令。存储器18也可包含经配置以存储所俘获图像的存储卡或高速存储器，其可从照相机卸除。
[0031]图像处理器16可经进一步配置以控制显示器20以将所俘获图像显示给用户。显示器20可在成像装置10外部或可为成像装置10的部分。显示器20也可经配置以在俘获图像之前为用户提供取景器，或可经配置以显示存储在存储器中或最近由用户俘获的所俘获图像。
[0032]图像俘获装置10也包含参数确定模块30和参数存储单元32。参数确定模块30经配置以校准及确定待供ASF模拟器14和图像处理器16使用的参数，且将所确定参数存储到参数存储单元32以供图像处理器16使用。可将用图像传感器12俘获的图像发送到ASF模拟器14或图像处理器16。如果图像俘获装置10未经校准，或需要更新校准，那么将所俘获图像发送到ASF模拟器14，使得可通过参数确定模块30来优化ASF参数。一旦确定了参数，便将参数存储到参数存储单元32以供图像处理器16使用。
[0033]图1中所说明的特征可通过硬件或软件组件的任何合适组合来实现。关于单元的不同特征的描绘希望突出显示图像俘获装置10的不同功能方面，且未必暗示这些单元必须通过单独的硬件或软件组件来实现。确切地说，与一个或一个以上单元相关联的功能性可集成在共同硬件或软件组件内。举例来说，ASF模拟器14和参数确定模块30可提供在图像俘获装置10外部，使得ASF模拟器14和参数确定模块30可经配置以确定用于多个图像俘获装置10的参数。
[0034]其它方面可将ASF模拟器卸载到外部系统。对于外部ASF模拟器和参数确定模块，用图像俘获装置的图像传感器来俘获图像，且在未进行滤波的情况下用图像俘获装置处理所述图像。接着将未经滤波的或未经分辨的图像传送到已耦合到参数确定模块的外部ASF模拟器，以用于基于一组初始参数对所接收的图像进行滤波。可将所述组初始参数存储到远程本地参数存储单元中。参数确定模块可接着将所确定的锐度参数传送到图像俘获装置的参数存储单元。
[0035]现在将参看图2更详细地描述ASF模拟器14。图2说明根据一些示范性实施方案的自适应空间滤波器的各种组件的框图。ASF模拟器14经配置以模拟由图像俘获装置的图像处理器16执行的滤波操作。因此，ASF模拟器14的组件也对应于图像俘获装置16的图像处理器单元16中所含有的自适应空间滤波器。因此，所属领域的技术人员将认识到，ASF模拟器14的组件的描述也适用于图像处理器16中所含有的ASF的组件。
[0036]ASF模拟器14对所俘获图像中的一者或一者以上执行后处理程序以获得对应的所分辨图像。举例来说，ASF模拟器14可经配置以执行自适应空间滤波操作，例如题为“用于对图像信息进行滤波的自适应空间滤波器(ADAPTIVE SPATIAL FILTER FOR FILTERINGIMAGE INFORMATION)” ( “江”)的美国公开专利申请案第2008/0031538号中所描述的滤波操作范围当中的任一范围，所述申请案以引用的方式并入本文中。此自适应空间滤波器(其可具有大量参数)可经配置以减少噪声，同时找到边缘锐度与伪影产生之间的最优平衡。
[0037]根据一些示范性实施方案，首先将所俘获图像发送到ASF模拟器14中的平滑滤波器202。平滑滤波器202可对应于应用于整个图像的3X3低通滤波器。实例平滑滤波器可对应于根据以下方程式I的平滑滤波器:
[0038]
【权利要求】
1.一种最初校准图像俘获装置的方法，其包括: 接收至少一个测试目标的所俘获图像； 分辨所述所俘获图像； 基于所述所分辨图像确定至少一个锐度索引，其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定； 基于所述至少一个锐度索引确定成本函数； 最小化所述成本函数以确定锐度参数；以及 存储所述锐度参数以供所述图像俘获装置使用。
2.根据权利要求1所述的方法，其中所述所俘获图像是接收到固态存储器中。
3.根据权利要求1所述的方法，其中存储所述锐度参数包括将所述锐度参数存储在所述图像俘获装置中的存储器中。
4.根据权利要求1所述的方法，其中确定所述至少一个锐度索引是由所述图像俘获装置外部的处理器来执行。
5.根据权利要求1所述的方法 ，其中所述图像俘获装置为无线电话。
6.根据权利要求1所述的方法，其中所述至少一个锐度索引是通过在频域中分析所述所分辨图像来确定。
7.根据权利要求1所述的方法，其中所述至少一个锐度索引包含多个锐度索引，且其中所述成本函数包含对应于所述多个锐度索引中的每一者的多个加权系数。
8.根据权利要求7所述的方法，其进一步包括通过以下操作来确定所述多个加权系数:俘获纹理测试目标的图像；以及基于所述锐度参数分辨所述纹理测试目标的所述所俘获图像。
9.根据权利要求1所述的方法，其中所述至少一个索引包含至少第一锐度索引和第二锐度索引，且其中所述第一锐度索引对应于倾斜边缘模块化传递函数MTF且所述第二锐度索引对应于纹理模块化传递函数MTF。
10.根据权利要求1所述的方法，其中所述至少一个锐度索引包含多个锐度索引，且其中所述多个锐度索引中的每一锐度索引对应于倾斜边缘锐度项、过度锐化测量项、纹理锐度项及噪声项中的至少一者。
11.根据权利要求1所述的方法，其中所述至少一个测试目标包含倾斜边缘测试目标和枯叶测试目标。
12.根据权利要求1所述的方法，其中最小化所述成本函数包含评估所述所分辨图像的锐度。
13.根据权利要求1所述的方法，其进一步包括基于所述成本函数确定一组经更新的参数；以及基于所述组经更新的参数分辨所述图像。
14.根据权利要求13所述的方法，其进一步包括执行基于经更新的参数分辨所述图像的一序列反复；以及基于所述序列反复确定所述锐度参数。
15.根据权利要求1所述的方法，其进一步包括将初始参数输入到锐化滤波器；以及基于所述初始参数分辨所述所俘获图像。
16.一种用于最初校准图像俘获装置的设备，其包括: 用于接收至少一个测试目标的所俘获图像的装置；用于分辨所述所俘获图像的装置； 用于基于所述所分辨图像确定至少一个锐度索引的装置，其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定； 用于基于所述至少一个锐度索引确定成本函数的装置； 用于最小化所述成本函数以确定锐度参数的装置；以及 用于存储所述锐度参数以供所述图像俘获装置使用的装置。
17.根据权利要求16所述的设备，其中所述设备为无线电话。
18.根据权利要求16所述的设备，其中用于接收所俘获图像的所述装置为存储器。
19.根据权利要求16所述的设备，其中用于分辨所述所俘获图像的所述装置包括自适应空间滤波器ASF模拟器。
20.根据权利要求16所述的设备，其中用于确定至少一个锐度索引的所述装置包括用于计算纹理锐度索引和倾斜边缘锐度索引中的至少一者的指令。
21.根据权利要求16所述的设备，其中用于确定成本函数的所述装置包括用于基于所述至少一个锐度索引的总和确定成本函数的指令。
22.根据权利要求16所述的设备，其中用于最小化成本函数的所述装置包括用于基于质量阈值和更新滤波参数的反复次数最小化所述成本函数的指令。
23.根据权利要求16所述的设备，其中用于存储所述锐度参数的所述装置包括存储器。
24.根据权利要求16所述的设备，其中用于确定所述至少一个锐度索引的所述装置包括用于在频域中分析所述所分辨图像的指令。
25.根据权利要求16所述的设备，其中所述至少一个锐度索引包含多个锐度索引，且其中所述成本函数包含对应于所述多个锐度索引中的每一者的多个加权系数。
26.根据权利要求25所述的设备，其进一步包括用于确定所述多个加权系数的装置，其中用于确定所述多个加权系数的所述装置包含: 用于俘获纹理测试目标的图像的装置；以及 用于基于所述锐度参数分辨所述纹理测试目标的所述所俘获图像的装置。
27.根据权利要求16所述的设备，其中所述至少一个索引包含至少第一锐度索引和第二锐度索引，且其中所述第一锐度索引对应于倾斜边缘模块化传递函数MTF且所述第二锐度索引对应于纹理模块化传递函数MTF。
28.根据权利要求16所述的设备，其中所述至少一个锐度索引包含多个锐度索引，且其中所述多个锐度索引中的每一锐度索引对应于倾斜边缘锐度项、过度锐化测量项、纹理锐度项及噪声项中的至少一者。
29.根据权利要求16所述的设备，其中所述至少一个测试目标包含倾斜边缘测试目标和枯叶测试目标。
30.根据权利要求16所述的设备，其中最小化所述成本函数包含评估所述所分辨图像的锐度。
31.根据权利要求16所述的设备，其进一步包括用于基于所述成本函数确定一组经更新的参数的装置；以及用于基于所述组经更新的参数分辨所述图像的装置。
32.根据权利要求 31所述的设备，其进一步包括执行基于经更新的参数分辨所述图像的一序列反复；以及基于所述序列反复确定所述锐度参数。
33.一种非暂时性计算机可读媒体，其具有存储于其上的代码，所述代码在经执行时执行包括以下各者的方法: 接收至少一个测试目标的所俘获图像； 分辨所述所俘获图像； 基于所述所分辨图像确定至少一个锐度索引，其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定； 基于所述至少一个锐度索引确定成本函数； 最小化所述成本函数以确定锐度参数；以及 存储所述锐度参数以供图像俘获装置使用。
34.一种用于最初校准图像俘获装置的设备，其包括: 滤波器，其经配置以接收所俘获图像及分辨所述所俘获图像；以及 参数确定模块，其经配置以: 基于所述所分辨图像确定至少一个锐度索引，其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定； 基于所述至少一个锐度索引确定成本函数； 最小化所述成本函数以确定锐度参数；以及 存储所述锐度参数以供所述图像俘获装置使用。
35.根据权利要求34所述的设备，其中所述参数确定模块经进一步配置以通过在频域中分析所述所分辨图像确定所述至少一个锐度索引。
36.根据权利要求34所述的设备，其中所述至少一个锐度索引包含多个锐度索引，且其中所述成本函数包含对应于所述多个锐度索引中的每一者的多个加权系数。
37.根据权利要求34所述的设备，其进一步包括经配置以俘获至少一个测试目标的图像的传感器。
38.根据权利要求37所述的设备，其中所述传感器经进一步配置以俘获纹理测试目标的图像，其中所述滤波器经进一步配置以基于所述锐度参数分辨所述纹理测试目标的所述所俘获图像，且其中所述参数确定模块经进一步配置以基于所述纹理测试目标的所述所分辨图像确定所述多个加权系数。
39.根据权利要求34所述的设备，其中所述至少一个索引包含至少第一锐度索引和第二锐度索引，且其中所述第一锐度索引对应于倾斜边缘模块化传递函数MTF且所述第二锐度索引对应于纹理模块化传递函数MTF。
40.根据权利要求34所述的设备，其中所述至少一个锐度索引包含多个锐度索引，且其中所述多个锐度索引中的每一锐度索引对应于倾斜边缘锐度项、过度锐化测量项、纹理锐度项及噪声项中的至少一者。
41.根据权利要求34所述的设备，其中所述至少一个测试目标包含倾斜边缘测试目标和枯叶测试目标。
42.根据权利要求34所述的设备，其中最小化所述成本函数包含评估所述所分辨图像的锐度。
43.根据权利要求34所述的设备，其中所述参数确定模块经进一步配置以基于所述成本函数确定一组经更新的参数，且其中所述滤波器经配置以基于所述组经更新的参数分辨所述图像。
44.根据权利要求43所述的设备，其中所述滤波器经进一步配置以执行基于经更新的参数分辨所述图像的一序列反复，且所述参数确定模块经配置以基于所述序列反复确定所述锐度参数。
45.根据权利要求3 4所述的设备，其中所述设备为无线电话。
【文档编号】H04N5/232GK103688537SQ201280034289
【公开日】2014年3月26日 申请日期:2012年6月15日 优先权日:2011年7月11日
【发明者】江晓云, 羽田江里 申请人:高通股份有限公司