确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置的制造方法

确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置的制造方法
【专利摘要】本发明涉及确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置。一种方法和装置能够确定用于具有各种视场的多相机设备的镜头阴影校正。根据可能的实施例，能够使用具有用于多相机设备的第一镜头的第一相机来拍摄平场图像。能够对于第一相机断定第一镜头阴影校正比。能够对于具有用于多相机设备的第二镜头的第二相机确定第二镜头阴影校正比。第二相机能够具有与第一相机不同的视场。第二镜头阴影校正比能够基于第一镜头阴影校正比并且能够基于由第一相机获得的平场图像。
【专利说明】
确定用于具有各种视场的多相机设备的镜头阴影校正的方法 和装置
技术领域
[0001] 本公开针对一种确定用于具有各种视场的多相机设备的镜头阴影校正（lens shading correction)的方法和装置。
【背景技术】
[0002] 目前，便携式设备，诸如移动电话、平板设备、数码相机、多媒体设备、和其他类型 的计算和电子设备通常包括用来拍摄数字图像的数码相机设备。数码相机包括镜头和图像 传感器。在操作图像传感器中产生的一个问题是需要执行镜头阴影校正。图像传感器通常 具有感光像素 (photo-sensitive pixel)的二维阵列。相机镜头能够是将光聚焦在图像传 感器的单个像素上的单镜头或微透镜阵列。然而，相机镜头中的各种缺陷产生阴影效果。一 种常见的阴影效果是图像在中心更亮，并且在像素阵列的边缘处亮度降低。更普遍的是，将 存在由光学组件中的光学元件导致的、跨像素阵列的阴影的二维变化以及难以跨图像传感 器的视场均匀地投影图像。未校正的阴影效果能够导致终端用户可辨别的、整个图像的强 度的不期望变化。镜头阴影校正算法用来校正图像传感器中的阴影。使用经验数据来确定 用来调整各个像素的增益的增益校正函数的系数以便补偿镜头阴影。
[0003] -些便携式设备包括面对同一方向的多个数码相机。具体地，多相机系统中的每 一相机具有彼此不同的场景的视场。在这种系统中的多数码相机能够通过同一场景的不同 视场来产生多个图像，并且能够将多个图像合并成一个图像。不幸的是，在没有匹配算法的 情况下，当合并来自多个相机的图像时，应用于多相机设备中的不同相机的不同镜头阴影 校正导致不完美。由此，存在对于确定用于具有各种视场的多相机设备的镜头阴影校正的 方法和装置的需要。
【附图说明】
[0004] 为了描述能获得本公开的优点和特征的方式，通过引用在附图中示出的其具体实 施例，呈现本公开的描述。这些附图仅描绘本公开的示例实施例，并且因此不被认为限制其 范围。
[0005] 图1是根据可能实施例的系统的示例图示；
[0006] 图2是根据可能实施例的装置诸如移动设备的示例框图；
[0007] 图3是根据可能实施例的系统的示例图示；
[0008] 图4是图示根据可能实施例的装置的操作的示例流程图；
[0009] 图5是根据可能实施例，当第二相机具有比第一相机更窄的视场时，没有任何镜头 阴影校正，第一相机衰减(fall-off)像素轮廓(pixelprofile)和第二相机衰减轮廓的示例 曲线图；
[0010] 图6是根据可能实施例，当第二相机具有比第一相机更宽的视场时，没有任何镜头 阴影校正，第一相机衰减像素轮廓和第二相机衰减轮廓的示例曲线图；
[0011] 图7是根据可能实施例，当第二相机具有比第一相机更窄的视场时，由第一校正平 场(flat-field)图像产生的第一相机衰减像素轮廓和由第二未校正平场图像产生的第二 相机衰减轮廓的示例曲线图；并且
[0012] 图8是根据可能实施例，当第二相机具有比第一相机更宽的视场时，由第一校正平 场图像产生的第一相机衰减像素轮廓和由第二未校正平场图像产生的第二相机衰减轮廓 的示例曲线图。
【具体实施方式】
[0013] 实施例提供确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置。 能够在多相机设备中的每两个相机上，一次执行镜头阴影校正的匹配算法。对于每两个相 机，能够具有第一相机和第二相机。根据可能的实施例，能够使用具有用于多相机设备的第 一镜头的第一相机来拍摄平场图像。能够对于第一相机，断定第一镜头阴影校正比。能够对 于具有用于多相机设备的第二镜头的第二相机，确定第二镜头阴影校正比。第二相机能够 具有与第一相机不同的视场。第二镜头阴影校正比能够基于第一镜头阴影校正比，并且能 够基于从第一相机获得的平场图像。
[0014] 图1是根据可能实施例的系统100的示例图示。系统100能够包括移动设备110和场 景120。移动设备110能够包括多相机系统130。移动设备110能够是包括多相机系统130的任 何类型的移动电话、智能电话、平板设备、数码相机、膝上计算机或其他类型的便携式计算 和/或电子设备。在该示例实施例中，多相机系统130能够包括能拍摄数字图像的两个相机 140和150。多相机系统130还能够包括多于两个相机。第一相机140能够包括第一镜头142和 第一图像传感器144。类似地，第二相机150能够包括第二镜头152和第二图像传感器154。第 二相机150能够具有与第一相机140不同的视场。例如，第一相机140能够具有宽视场并且能 够拍摄场景120的第一图像160并且第二相机150能够具有更窄视场并且能够与第一相机 130拍摄第一图像160同时拍摄场景120的第二图像170。第二图像170能够具有比第一图像 160更窄的视场。替代地，第二图像170能够具有比第一图像160更宽的视场。为实现这样，第 一镜头142能够具有与第二镜头152不同的特性，诸如不同焦距。镜头142和152能够按不同 物理形状和尺寸具有不同特性，并且也能够通过采用多个镜头来实现不同视场而具有不同 特性。
[0015] 例如，多相机系统130能够包括广角相机和远摄相机（telephoto camera)。术语 "广角"和"远摄"在相机之间是相对的，并且当与其他设备上的相机相比时，每一相机可以 或可以不被认为广角或远摄。广角相机能够拍摄具有比远摄相机更宽视场的图像并且远摄 相机能够以比广角相机更窄的视场拍摄图像。采用多相机系统130的装置110能够合并每一 场景的广角图像和远摄图像来提供变焦(zoomed)图像，其能够是比数字变焦图像更好的图 像，并且假定相同变焦比，能够与光学变焦图像不相上下。镜头阴影校正也能够应用于图 像。例如，在没有镜头阴影校正的情况下，在合并过程期间，广角图像的像面和远摄图像的 像面不匹配。
[0016]图像可以由CMOS相机传感器上的多通道、诸如四通道RGrGbB或RGBC组成。对于每 一图像的每一通道，像面能够来自平场图像，并且像素轮廓能够来自像面的对角截面。通过 对每一图像的适当镜头阴影校正，在合并过程期间，能够每一通道地匹配广角图像的像面 和远摄图像的像面。当镜头阴影校正比对于两个图像是高的时，诸如> = 80%，与每一图像 的中心相比，噪声能够在每一图像的四个角部处高得多。在每一通道的合并处理期间，在与 其中广角图像的噪声较低的广角图像的合并像素坐标处，远摄图像的四个角部能够具有更 高噪声。这是因为当增加四个角部处的信号来校正镜头渐晕(vignetting)时，镜头阴影校 正在两个图像的四个角部处通过更高增益放大像素信号。同时，在每一图像的四个角部处， 也更多地放大图像中的噪声。在低光照下，在整个图像上噪声更高，因此，在镜头阴影校正 后，在四个角部处的噪声水平能够更糟。这能够使其难以在每一通道的远摄图像的四个角 部周围生成平滑的合并图像区。实施例能够根据噪声水平和像素轮廓，通过提供在每一通 道的广角图像和远摄图像上匹配镜头阴影校正的方法和装置来解决该问题和其他问题。例 如，实施例能够提供在广角图像和远摄图像之间降低和匹配噪声水平的解决方案。
[0017] 在一些实现中，在镜头阴影校正前，能够分别对于广角图像和远摄图像在整个图 像的每一通道中应用非径向降噪滤波器。这能够在其得到放大前降噪。在镜头阴影校正后， 能够分别对于广角图像和远摄图像在整个图像的每一通道中应用径向降噪滤波器。这能够 在像素信号得到放大后，更积极地降低角部处的噪声。在协调跨所有光亮级（Iightlevel) 的每一通道的每一降噪滤波器期间，能够匹配用于广角和远摄相机的强度来在同一光亮级 具有类似的信噪比（SNR)。
[0018] 图2是根据可能实施例的装置200诸如移动设备110的示例框图。装置200能够包括 外壳210、外壳210内的控制器220、联接到控制器220的音频输入和输出电路230、联接到控 制器220的显示器240、联接到控制器220的收发器250、联接到收发器250的天线255、联接到 控制器220的用户接口 260、联接到控制器220的存储器270以及联接到控制器220的网络接 口 280。装置200还能够包括至少两个相机，诸如第一相机291和第二相机295,其能够分别等 同于第一相机140和第二相机150。装置200能够执行实施例中所述的方法。
[0019] 显示器240能够是取景器、液晶显示器(IXD)、发光二极管(LED)显示器、等离子显 示器、投影显示器、触摸屏或显示信息的任何其他设备。收发器250能够包括发射机和/或接 收机。音频输入和输出电路230能够包括麦克风、扬声器、变换器或任何其他音频输入和输 出电路。用户接口 260能够包括小键盘、键盘、按钮、触摸板、操纵杆、触摸屏显示器、另一附 加显示器、或可用于提供在用户和电子设备之间的接口的任何其他设备。网络接口 280能够 是通用串行总线端口、以太网端口、红外发射机/接收机、USB端口、IEEE 1392端口、WLAN收 发器、或能够将装置连接到网络或计算机的以及能够传送和接收数据通信信号的任何其他 接口。存储器270能够包括随机存取存储器、只读存储器、光学存储器、闪存、可移除存储器、 硬盘驱动器、高速缓存、或能够联接到无线通信设备的任何其他存储器。
[0020] 装置2 0 0或控制器2 2 0可以实现任何操作系统，诸如M i c r 〇 s 〇 f t Windows?、UNIX?、或LINUX?、Andr〇id?或任何其他操作系统。装置操作软件可 以以任何编程语言、例如诸如C、C++、Java或Visual Basic编写。装置软件还可以运彳丁在应 用框架、诸如例如Jaya⑩框架、.N ΕΤΦ框架、或任何其他应用框架上。软件和/或操作系统 可以存储在存储器270中或者在装置200上其他处。装置200或控制器220还可以使用硬件来 实现公开的操作。例如，控制器220可以是任何可编程处理器。公开的实施例还可以实现在 通用或专用计算机、编程微处理器或微处理器、外围集成电路元件、专用集成电路或其他集 成电路、硬件/电子逻辑电路(诸如分立元件电路）、可编程逻辑设备(诸如可编程逻辑阵列、 现场可编程门阵列）等上。通常，控制器220可以是能够操作电子设备并且实现公开的实施 例的任何控制器设备或处理器设备或设备。网络接口280能够是有线通信接口，诸如通用串 行总线接口、串行线接口、并行线接口、以太网接口或其他有线接口；能够是光学接口，诸如 红外接口；能够是无线接口，诸如Bluetotyth?接口、Wi-Fi接口、无线局域网接口、蜂窝网接 口、卫星网接口、无线广域网接口；或能够是任何其他接口或接口的组合。
[0021] 第一相机291能够包括第一镜头292、第一传感器293和第一相机存储器294。第二 相机295能够包括第二镜头296、第二传感器297和第二相机存储器298。第二相机295能够具 有与第一相机291不同的视场。在操作中，第一相机192能够经由第一镜头292和第一传感器 293拍摄第一图像。第二相机295能够拍摄第二图像。存储器294、298和270中的任何一个能 够包括基于第一相机291的第一镜头阴影校正比的第一镜头阴影校正表和基于第二镜头阴 影校正比的第二镜头阴影校正表。第二镜头阴影校正比能够基于第一镜头阴影校正比并且 基于使用第一相机拍摄的平场图像。第二镜头阴影校正比还能够基于公开的实施例中的其 他元件。根据可能的实施例，第一相机存储器294能够包括第一镜头阴影校正表，并且第二 相机存储器298能够包括第二镜头阴影校正表。控制器220能够基于第一镜头阴影校正表而 向第一图像提供镜头阴影校正以产生校正的第一图像，基于第二镜头阴影校正表而向第二 图像提供镜头阴影校正以产生校正的第二图像，并且将校正的第一图像与校正的第二图像 合并来产生合并图像。控制器220还能够输出合并的图像用于在显示器240上显示、用于在 存储器270中存储、用于经由收发器250或网络接口 280而传送到另一设备、和/或以其它方 式输出合并图像。
[0022]图3是根据可能的实施例的系统300的示例图示。系统300能够包括装置310(诸如 相机标定装置）、相机360、和测试物370(诸如扩散板、对比图、灰度卡、光源、或能够用于相 机标定的任何其他物体）。装置310能够包括输入330、控制器320、存储器350、和至少一个输 出341和/或342。输出341能够将数据从控制器320输出到存储器350,并且输出342能够将数 据从控制器320输出到装置310的外部。装置310或控制器320可以实现任何操作系统，诸如 Microsoft Windows?、UNIX?、或I」NUX<Android?、或任何其他操作系统。装置操 作软件可以以任何编程语言诸如例如C、C++、Java或Vi sual Basic编写。装置软件还可以运 行在应用框架诸如例如Java?框架、.NET?框架或任何其他应用框架上。软件和/或操作 系统可以存储在存储器350中或者装置310上其他处。装置310或控制器320还可以使用硬件 来实现公开的操作。例如，控制器320可以是任何可编程处理器。公开的实施例还可以实现 在通用或专用计算机、编程微处理器或微处理器、外围集成电路元件、专用集成电路或其他 集成电路、硬件/电子逻辑电路(诸如分立元件电路）、可编程逻辑设备(诸如可编程逻辑阵 列、现场可编程门阵列)等上。通常，控制器320可以是能够操作电子设备并且实现公开的实 施例的任何控制器设备或处理器设备或设备。
[0023]在操作中，输入330能够接收使用具有用于多相机设备诸如设备110、多相机系统 130、和/或任何其他多相机设备的第一镜头362的第一相机360拍摄的平场图像。控制器320 能够断定用于第一相机360的第一镜头阴影校正比。控制器320能够断定用于第一相机的第 一镜头阴影校正比来实现在平场图像的渐晕的校正和平场图像的角部噪声的改善之间的 最佳折衷(optimal trade-off)。例如，能够选择第一镜头阴影校正比，使得在应用镜头阴 影校正后，指定的颜色通道实现感兴趣的每一光源或光亮级的期望镜头阴影校正。
[0024]控制器320能够确定用于多相机设备的第二相机的第二镜头阴影校正比。第二相 机能够具有与第一相机不同的视场。多相机设备中的每一相机能够包括镜头和图像传感 器。第一和第二相机镜头能够具有不同焦距，因为第一相机能够使用具有第一焦距的镜头 来产生第一图像，而第二相机能够使用具有与第一焦距不同的第二焦距的镜头来产生第二 图像。例如，第一相机能够有具有第一视场的镜头，而第二相机能够有具有比第一视场更窄 的第二视场的镜头，或反之亦然。镜头的焦距可不同，因为镜头可以具有不同物理特性，可 以包括多个镜头，可以具有到相关图像传感器的不同距离，可以利用反射镜，或可以基于任 何其他特性而具有不同焦距。
[0025]第二镜头阴影校正比能够基于第一镜头阴影校正比并且基于由第一相机获得的 平场图像。第二镜头阴影校正比能够基于第一镜头阴影校正比来将第二校正的平场图像的 第二像面与第一校正的平场图像的第一像面匹配。例如，使用第二镜头阴影校正表的第二 校正的平场图像的第二像面能够与使用第一镜头阴影校正表的第一校正的平场图像的第 一像面匹配。
[0026]例如，为了确定第二镜头阴影校正比，控制器320能够基于第一镜头阴影校正比和 由第一相机获得的平场图像，来生成第一相机的校正的平场图像。控制器320能够确定在特 定像素坐标处的第一相机的校正的平场图像的衰减像素轮廓比。然后，控制器320能够基于 确定的在特定像素坐标处的衰减像素轮廓比，来确定用于第二相机的第二镜头阴影校正 比。多相机设备还能够包括多于两个相机并且多相机中的每一个相机的镜头校正比能够基 于第一镜头校正比，诸如基于确定的在特定像素坐标处的衰减像素轮廓比。
[0027] 根据可能实施例，控制器320能够通过确定与将由第二相机拍摄的第二图像的边 缘的像素坐标对应的、在第一相机的校正的平场图像的特定像素坐标处的衰减像素轮廓的 像素强度(y)，来确定衰减像素轮廓比，其中当第二图像的区域叠加在第一相机的校正的平 场图像上时，第二图像的边缘在平场图像的边缘内。然后，控制器320能够基于像素强度(y) 来确定第一相机的校正的平场图像的衰减像素轮廓比。当第一相机具有比第二相机更宽的 视场并且第二相机的视场的角部在第一相机的视场内时，能够使用该实施例。
[0028] 根据本实施例的可能实现，像素强度能够是第一像素强度。衰减像素轮廓比能够 是在第一相机的校正的平场图像的衰减像素轮廓的第一像素强度(y)与在第一相机的校正 的平场图像的衰减像素轮廓的中心处的第一相机的校正的平场图像的第二像素强度（Io) 之间的比。然后，控制器320能够基于第一和第二像素强度，来确定第一相机的校正的平场 图像的衰减像素轮廓比。
[0029] 根据另一可能实施例，控制器320能够通过确定在与将由第二相机拍摄的第二图 像的边缘对应的特定像素坐标处，沿着第一相机的校正的平场图像的衰减像素轮廓的延伸 的位置处的像素强度(y)，而确定衰减像素轮廓比。然后，控制器320能够基于像素强度(y)， 而确定第一相机的校正的平场图像的衰减像素轮廓比。当第一相机具有比第二相机更窄的 视场并且第二相机的视场的角部在第一相机的视场外时，能够使用该实施例。
[0030] 根据本实施例的可能实现，像素强度(y)能够是第一像素强度。衰减像素轮廓比能 够是第一相机的校正的平场图像的衰减像素轮廓的延伸的第一像素强度(y)与在第一相机 的校正的平场图像的衰减像素轮廓的中心处的第一相机的校正的平场图像的第二像素强 度（Io)之间的比。然后，控制器320能够基于第一和第二像素强度而确定第一相机的校正的 平场图像的衰减像素轮廓比。
[0031]输出341或340能够输出第二镜头阴影校正比。例如，输出341能够将第二镜头阴影 校正比输出到本地存储器，诸如RAM、固态存储器、硬盘驱动器、或该装置本地的任何其他存 储器。输出342还能够将第二镜头阴影校正比输出到另一设备，诸如在使用多相机设备的设 备上的存储器、多相机设备中的存储器、或在第二相机中的存储器。输出342能够在局域网 上、在广域网上进一步将第二镜头阴影校正比输出到显示器，或输出到接收第二镜头阴影 校正比的输出的任何其他元件。例如，控制器320能够基于第一镜头阴影校正比而生成第一 镜头阴影校正表，并且能够基于第二镜头阴影校正比而生成第二镜头阴影校正表。然后，控 制器320能够将第一镜头阴影校正表和第二镜头阴影校正表存储在存储器350中或存储到 外部存储器。控制器320还能够存储第二镜头阴影校正比，无需将其以表格存储在存储器 中。存储器能够在相机模块中（诸如在第二相机的相机模块中）、能够在控制器320中、能够 在装置310中、能够在相机模块存储器中、能够在使用多相机系统的设备上的存储器中、能 够在云中，或能够在可用于使用多相机系统的设备的其他地方。存储器能够是一次编程 (OTP)存储器、能够是可编程只读存储器（PROM)、能够是电可擦除可编程只读存储器 (EEPROM)存储器、能够是现场可编程只读存储器(FPROM)存储器、能够是闪存、能够是光学 存储器、能够是硬盘驱动器、和/或能够是能存储表的任何其他存储器。
[0032]图4是图示根据可能实施例的装置、诸如装置310的操作的示例流程图400。在410， 流程图400能够开始。在420,能够使用具有用于多相机设备的第一镜头的第一相机来拍摄 平场图像。
[0033] 图5是根据可能实施例，当第二相机具有比第一相机更窄的视场时，没有任何镜头 阴影校正，第一相机衰减像素轮廓510和第二相机衰减轮廓520的示例曲线图500。对于每一 图像的每一通道，像面来自平场图像，并且在曲线图500中显示的像素轮廓来自像面的对角 截面。第一衰减像素轮廓的峰值能够具有像素值(Io)并且像面的对角截面的边缘能够具有 像素值( yi)，示出产生衰减像素轮廓的渐晕效果。像素坐标(X1)能够与沿着第二相机衰减像 素轮廓520由第二相机拍摄的第二图像的边缘对应。
[0034] 图6是根据可能实施例，当第二相机具有比第一相机更宽的视场时，没有任何镜头 阴影校正，第一相机衰减像素轮廓610和第二相机衰减轮廓620的示例曲线图。对于每一图 像的每一通道，像面来自平场图像，并且在曲线图600中显示的像素轮廓来自像面的对角截 面。第一衰减像素轮廓的峰值能够具有像素值(Io)并且像面的对角截面的边缘能够具有像 素值(y 2)，示出产生衰减像素轮廓的渐晕效果。像素坐标(X2)能够与沿着第二相机衰减像素 轮廓620由第二相机拍摄的第二图像的边缘对应，并且像素坐标( X3)能够与沿着第一相机 衰减像素轮廓610由第一相机拍摄的第一图像的边缘对应。
[0035] 在430,能够对于第一相机断定第一镜头阴影校正比。能够通过以下而断定 (ascertain)第一镜头阴影校正比：基于设计参数生成它、通过将其接收为输入、通过从表 获得它、通过执行计算、通过执行模拟、或通过用于断定第一镜头阴影校正比的任何其他操 作。能够对于第一相机断定第一镜头阴影校正比以便实现在平场图像的渐晕的校正与平场 图像的角部噪声的降低之间的最佳折衷。例如，能够选择第一镜头阴影校正比，使得在镜头 阴影校正后，指定的颜色通道实现感兴趣的每一光源或光亮级的期望镜头阴影校正。在 440,能够基于第一镜头阴影校正比和平场图像，来生成第一相机的校正的平场图像。在 450，能够生成校正的平场图像的衰减像素轮廓。
[0036] 在460,能够确定在两个像素坐标处的像素强度。根据可能实现，能够在沿着来自 第一相机的校正的平场图像的衰减像素轮廓的位置处内插像素强度。例如，能够在与将由 第二相机拍摄的第二图像的边缘的像素坐标对应的第一相机的校正的平场图像的衰减像 素轮廓的特定像素坐标(X)处，确定校正的平场图像的衰减像素轮廓的像素强度(y)。当第 二图像的区域叠加在第一相机的校正的平场图像上时，第二图像的边缘能够在平场图像的 边缘内。例如，由第二相机拍摄的第二图像的边缘的像素坐标能够是叠加在第一相机的视 场上并且以其为中心的第二相机的更窄视场的像素坐标。两个像素坐标能够包括以第一像 素强度的形式的像素强度(y)并且能够包括第二像素强度(Io)。
[0037] 图7是根据可能实施例，当第二相机具有比第一相机更窄的视场时，用于该实现的 校正的平场图像710的第一相机衰减像素轮廓的示例曲线图700。在该实现中，像素强度 (y3)能够是在诸如与在由第二相机拍摄的第二图像的边缘的曲线图500中的像素坐标(X1) 对应的特定像素坐标(X1)处的第一像素强度，并且衰减像素轮廓比能够是在第一相机的校 正的平场图像的衰减像素轮廓的第一像素强度(y 3)与在第一相机的校正的平场图像的衰 减像素轮廓的中心处的第一相机的校正的平场图像的第二像素强度(Io)之间的比值。根据 该实现，第一相机能够是具有第一视场的相机，而第二相机能够是具有比第一视场更窄视 场的相机。相应的像素坐标能够是在来自第一和第二相机的图像当以彼此为中心时被合并 后，在由第二相机拍摄的更窄视场第二图像的边缘处的各自的坐标。能够使用任何适当的 内插方法。能够使用第二图像的每一边缘的多个像素坐标并且能够平均多个像素坐标的衰 减像素轮廓比。
[0038] 根据另一可能实现，能够在与将由第二相机拍摄的第二图像的边缘对应的特定像 素坐标处的沿着第一相机的校正的平场图像的衰减像素轮廓的延长的位置处，确定像素强 度(y)。在该实现中，由第二相机拍摄的第二图像的边缘的像素坐标能够是叠加在第一相机 的视场上并且以其为中心的第二相机的视场的像素坐标，其中第二相机的视场的边缘能够 在第一相机的视场的边缘外。
[0039] 图8是根据可能实施例，当第二相机具有比第一相机更宽的视场时，用于该实现的 校正的平场图像810的第一相机衰减像素轮廓的示例曲线图800。像素强度(y 4)能够是第一 像素强度并且衰减像素轮廓比能够是在从由第一相机拍摄的第一图像的边缘(X3)延伸的 第一相机的校正的平场图像的衰减像素轮廓的(诸如与将由第二相机拍摄的第二图像的边 缘的曲线图600中的像素坐标(X 2)对应的)延伸特定像素坐标(X2)的第一像素强度(y4)与在 第一相机的校正的平场图像的衰减像素轮廓的中心处的第一相机的校正的平场图像的第 二像素强度（I Q)之间的比值。
[0040] 根据该实现，第一相机能够是具有第一视场的相机并且第二相机能够是具有比第 一视场更宽的第二视场的相机。能够从第一相机的校正的平场图像的衰减像素轮廓外推沿 着第一相机的校正的平场图像的衰减像素轮廓的延长的位置(X 2)和相应的像素强度(y4)。 能够使用任何有用的外推方法。根据可能实现，能够使用迭代方案。例如，在确定第一镜头 阴影校正后，能够找到数学函数诸如多项式函数来建模第一相机的校正的平场图像的衰减 像素轮廓或像面。然后，能够找到在用于从第二相机拍摄的第二图像的衰减像素轮廓的边 缘处的外推点。例如，假定两个相机的规格，能够定位在第二图像的边缘处的像素坐标。该 外推点能够提供用于第二图像的校正比的第一推测。该平场图像能够是第一平场图像，并 且能够通过校正比的第一推测而获得第二相机的第二平场图像。能够在第一平场图像和第 二平场图像之间比较像素轮廓或像面。如果在合并像素坐标处的两个像素轮廓或两个像面 的差高于阈值，那么能够相应地调整第二图像的镜头阴影校正比。能够执行进一步迭代直 到该差满足期望要求为止。
[0041]回到流程图400,在470,能够在特定像素坐标处确定第一相机的校正的平场图像 的衰减像素轮廓比。该衰减像素轮廓能够是诸如由于镜头渐晕从图像的中心向图像的边缘 衰减的像素亮度的轮廓。例如，能够基于在两个像素坐标处确定的像素强度，而确定第一相 机的校正的平场图像的衰减像素轮廓比。
[0042]在480,能够对于具有用于多相机设备的第二镜头的第二相机，确定第二镜头阴影 校正比，其中第二相机能够具有与第一相机不同的视场，并且其中第二镜头阴影校正比能 够基于第一镜头阴影校正比且基于由第一相机获得的平场图像。第二镜头阴影校正比能够 基于第一镜头阴影校正比来将第二校正的平场图像的第二像面与第一校正的平场图像的 第一像面匹配。例如，能够将使用第二镜头阴影校正表的第二校正的平场图像的第二像面 与使用第一镜头阴影校正表的第一校正的平场图像的第一像面匹配。能够基于在特定像素 坐标处的确定的衰减像素轮廓比，而对于第二相机确定第二镜头阴影校正比。例如，能够基 于第一像素强度(y)对于第二像素强度（Io)的比，而在特定像素坐标(X)处，确定衰减像素 轮廓比。这样基于第一像素强度(y)和第二像素强度（Io)确定的像素轮廓衰减比能够是用 于第二图像的镜头阴影校正比。例如，该比能够是y/I〇*l〇〇%，其能够是第二图像的镜头阴 影校正比。
[0043]在以上第一实现中，第二图像的校正比能够高于用于具有比第二图像更宽视场的 第一平场图像的期望第一镜头阴影校正比。例如，假定具有较窄视场的相机，如果期望镜头 阴影校正比对于具有较宽视场的相机能够是约80%。那么，测量的镜头阴影校正比对于具 有较窄视场的相机能够是约85~86%。
[0044] 在以上第二实现中，第二图像的校正比能够低于用于具有比第二图像更窄视场的 第一平场图像的期望校正比。例如假定具有更窄视场的相机，如果期望镜头阴影校正比对 于具有更窄视场的相机为约86%，那么测量的镜头阴影校正比对于具有更宽视场的相机能 够为约80~81 %。
[0045] 多相机设备能包括多于两个相机并且多个相机中的每一个的相机的镜头校正比 能够基于第一镜头校正比。能够逐个单元或使用经典校准来执行该方法，其中经典方法能 够确定用于一对镜头的镜头阴影校正比，并且在生产中，将相同镜头阴影校正比用于每一 对镜头。
[0046]在490,能够将第一和第二镜头阴影校正比或表存储在存储器中。例如，能够基于 第一镜头阴影校正比生成第一镜头阴影校正表，并且能够将该第一镜头阴影校正表存储在 存储器中。能够基于第二镜头阴影校正比生成第二镜头阴影校正表并且能够将该第二镜头 阴影校正表存储在存储器中。另外，多个表能够用于多个各自的颜色通道。此外，能够对于 多个不同光源执行流程图400的步骤。例如，多个光源能够包括荧光光源、钨光源、太阳光 和/或其他光源。能够使用各自的表来存储用于多个光源的镜头阴影校正比或表。在495,流 程图400能够结束。
[0047] 流程图400能够在用于多相机设备的镜头阴影校正的协调期间执行。然后，能够对 于实时处理生成查找表(LUT)。应理解到，尽管如图中示出特定步骤，但能够取决于实施例 而执行各种另外或不同的步骤，并且能够取决于实施例而重新排列、重复或完全除去特定 步骤中的一个或多个步骤。而且，在执行其他步骤时，能够同时在正在进行或继续基础上重 复所执行的一些步骤。此外，能够由不同元件或在公开的实施例的单个元件中执行不同步 骤。
[0048] 公开的实施例能够提供用于确定用于具有各种视场的多相机设备的镜头阴影校 正的方法和装置。关于镜头阴影校正比，一些镜头的光敏感度(light sensitivity)能够朝 向视场的边缘减小。这能够被认为敏感度衰减。不同算法能够使用镜头阴影校正比来校正 敏感度的这种变化，其中能够取决于从图像的中心到像素位置的距离而放大每一像素值。 能够基于期望协调目标而对于第一相机选择第一镜头阴影校正比。通常，协调目标能够是 找出在渐晕的校正和角部噪声的改善之间的最佳平衡。算法能够和第一镜头阴影校正比一 起使用来生成校正的平场图像。然后，能够基于第一镜头阴影校正比，诸如基于第一相机的 校正的平场图像，而对于第二相机确定镜头阴影校正比，该校正的平场图像基于使用镜头 阴影校正比来生成校正的平场图像的算法。
[0049] 能够在编程处理器上实现该公开的方法。然而，控制器、流程图和模块还可以实现 在通用或专用计算机、编程微处理器或微控制器以及外围集成电路元件、集成电路、硬件电 子或逻辑电路(诸如分立元件电路）、可编程逻辑器件等上。通常，可以使用能够实现图中所 示的流程图的有限状态机存在其上的任何设备来实现本公开的处理器功能。
[0050] 尽管通过其具体实施例描述了本公开，但显然的是，许多替代、修改和变型对于本 领域的技术人员来说将是显而易见的。例如，在其他实施例中，可以互换、添加或替代实施 例的各种部件。而且，每一图形的全部元件对于公开的实施例的操作不是必要的。例如，公 开的实施例的领域的技术人员将使得能够通过简单地采用独立权利要求的元件而制造和 使用本公开的教导。因此，如在此阐述的本公开的实施例旨在示例而不是限制。在不背离本 公开的精神和范围的情况下，能够做出各种改变。
[0051] 在本文档中，关系术语诸如"第一"、"第二"等可以仅用来将一个实体或动作与另 一实例或动作区分，而不一定要求或暗示在这些实体或动作之间的任何这些实际关系或次 序。清单后面的短语"至少一个"定义为意指清单中的元件的一个、一些或全部，但不一定全 部。术语"包括"、"组成"或任何其他其变型旨在覆盖非排它性包括，使得包括元件的清单的 过程、方法、制品或装置不是仅包括那些元件，而是可以包括这些过程、方法、制品或装置未 明确列出或所固有的其他元件。由"一"、"一个"等在前的元件在没有更多约束的情况下，不 排除在包括该元件的过程、方法、制品或装置中存在另外的相同的元件。而且，术语"另一" 定义为至少第二个或更多个。如在此所使用的术语"包括"、"具有"等定义为"包括"。此外， 背景部分撰写为在提交时的一些实施例的上下文的发明人的自己的理解并且包括现有技 术方面的任何问题和/或在发明人自己的工作中经历的问题的发明人的自己的认知。
【主权项】
1. 一种方法，包括： 使用具有用于多相机设备的第一镜头的第一相机而拍摄平场图像； 断定用于所述第一相机的第一镜头阴影校正比；以及 确定用于第二相机的第二镜头阴影校正比，所述第二相机具有用于所述多相机设备的 第二镜头，其中所述第二相机具有与所述第一相机不同的视场，并且其中所述第二镜头阴 影校正比基于所述第一镜头阴影校正比并且基于由所述第一相机获得的所述平场图像。2. 根据权利要求1所述的方法，进一步包括： 基于所述第一镜头阴影校正比而生成第一镜头阴影校正表； 将所述第一镜头阴影校正表存储在存储器中； 基于所述第二镜头阴影校正比而生成第二镜头阴影校正表；以及 将所述第二镜头阴影校正表存储在所述存储器中。3. 根据权利要求1所述的方法，其中，所述第二镜头阴影校正比基于所述第一镜头阴影 校正比来使第二校正的平场图像的第二像面与第一校正的平场图像的第一像面匹配。4. 根据权利要求1所述的方法，进一步包括执行用于多光源的所述拍摄、断定和确定。5. 根据权利要求1所述的方法，其中，断定第一镜头阴影校正比包括断定用于所述第一 相机的第一镜头阴影校正比来实现在所述平场图像的渐晕的校正与所述平场图像的角部 噪声的改善之间的最佳折衷。6. 根据权利要求1所述的方法，进一步包括： 基于所述第一镜头阴影校正比和由所述第一相机获得的所述平场图像而生成所述第 一相机的校正的平场图像；以及 确定在特定像素坐标处的所述第一相机的校正的平场图像的衰减像素轮廓比， 其中，确定所述第二镜头阴影校正比包括基于确定的在所述特定像素坐标处的衰减像 素轮廓比而确定用于所述第二相机的所述第二镜头阴影校正比。7. 根据权利要求6所述的方法，进一步包括： 确定在所述第一相机的校正的平场图像的衰减像素轮廓的所述特定像素坐标处的所 述校正的平场图像的像素强度，所述特定像素坐标与将由所述第二相机拍摄的第二图像的 边缘的像素坐标对应，其中当所述第二图像的区域叠加在所述第一相机的校正的平场图像 上时，所述第二图像的边缘在所述平场图像的边缘内， 其中，确定所述衰减像素轮廓比包括基于所述像素强度而确定所述第一相机的校正的 平场图像的衰减像素轮廓比。8. 根据权利要求7所述的方法， 其中，所述像素强度包括第一像素强度， 其中，所述衰减像素轮廓比是在所述第一相机的校正的平场图像的衰减像素轮廓的所 述第一像素强度与在所述第一相机的校正的平场图像的衰减像素轮廓的中心处的所述第 一相机的校正的平场图像的第二像素强度之间的比。9. 根据权利要求6所述的方法，进一步包括： 确定在所述特定像素坐标处的沿着所述第一相机的校正的平场图像的衰减像素轮廓 的延伸的位置处的像素强度，所述特定像素坐标与将由所述第二相机拍摄的第二图像的边 缘对应， 其中，确定所述衰减像素轮廓比包括基于所述像素强度而确定所述第一相机的校正的 平场图像的衰减像素轮廓比。10. 根据权利要求9所述的方法， 其中，所述像素强度包括第一像素强度， 其中，所述衰减像素轮廓比是在所述第一相机的校正的平场图像的衰减像素轮廓的延 伸的所述第一像素强度与在所述第一相机的校正的平场图像的衰减像素轮廓的中心处的 所述第一相机的校正的平场图像的第二像素强度之间的比。11. 一种装置，包括： 输入，所述输入被配置为接收使用具有用于多相机设备的第一镜头的第一相机而拍摄 的平场图像； 控制器，所述控制器被配置为断定用于所述第一相机的第一镜头阴影校正比，并且确 定用于第二相机的第二镜头阴影校正比，所述第二相机具有用于所述多相机设备的第二镜 头，其中所述第二相机具有与所述第一相机不同的视场，并且其中所述第二镜头阴影校正 比基于所述第一镜头阴影校正比并且基于由所述第一相机获得的所述平场图像；以及 输出，所述输出被配置为输出所述第二镜头阴影校正比。12. 根据权利要求11所述的装置， 其中，所述控制器被配置为基于所述第一镜头阴影校正比而生成第一镜头阴影校正 表，并且基于所述第二镜头阴影校正比而生成第二镜头阴影校正表;并且 其中，所述装置进一步包括存储器，所述存储器被配置为存储所述第一镜头阴影校正 表和所述第二镜头阴影校正表。13. 根据权利要求11所述的装置，其中，所述第二镜头阴影校正比基于所述第一镜头阴 影校正比来使第二校正的平场图像的第二像面与第一校正的平场图像的第一像面匹配。14. 根据权利要求11所述的装置，其中，所述控制器被配置为断定用于所述第一相机的 所述第一镜头阴影校正比来实现在所述平场图像的渐晕的校正与所述平场图像的角部噪 声的改善之间的最佳折衷。15. 根据权利要求11所述的装置，其中，所述控制器被配置为： 基于所述第一镜头阴影校正比和由所述第一相机获得的所述平场图像而生成所述第 一相机的校正的平场图像， 确定在特定像素坐标处的所述第一相机的校正的平场图像的衰减像素轮廓比，以及 基于确定的在所述特定像素坐标处的衰减像素轮廓比而确定用于所述第二相机的所 述第二镜头阴影校正比。16. 根据权利要求15所述的装置，其中所述控制器被配置为： 确定在所述第一相机的校正的平场图像的衰减像素轮廓的所述特定像素坐标处的所 述校正的平场图像的像素强度，所述特定像素坐标与将由所述第二相机拍摄的第二图像的 边缘的像素坐标对应， 其中当所述第二图像的区域叠加在所述第一相机的校正的平场图像上时，所述第二图 像的边缘在所述平场图像的边缘内，并且 基于所述像素强度而确定所述第一相机的校正的平场图像的衰减像素轮廓比。17. 根据权利要求16所述的装置， 其中，所述像素强度包括第一像素强度， 其中，所述衰减像素轮廓比是在所述第一相机的校正的平场图像的衰减像素轮廓的所 述第一像素强度与在所述第一相机的校正的平场图像的衰减像素轮廓的中心处的所述第 一相机的校正的平场图像的第二像素强度之间的比。18. 根据权利要求15所述的装置，其中，所述控制器被配置为： 确定在所述特定像素坐标处的沿着所述第一相机的校正的平场图像的衰减像素轮廓 的延伸的位置处的像素强度，所述特定像素坐标与将由所述第二相机拍摄的第二图像的边 缘对应，并且 基于所述像素强度而确定所述第一相机的校正的平场图像的衰减像素轮廓比。19. 根据权利要求18所述的装置， 其中，所述像素强度包括第一像素强度， 其中，所述衰减像素轮廓比是在所述第一相机的校正的平场图像的衰减像素轮廓的延 伸的所述第一像素强度与在所述第一相机的校正的平场图像的衰减像素轮廓的中心处的 所述第一相机的校正的平场图像的第二像素强度之间的比。20. -种装置，包括： 具有第一镜头的第一相机，所述第一相机被配置为拍摄第一图像； 具有第二镜头的第二相机，所述第二相机具有与所述第一相机不同的视场，所述第二 相机被配置为拍摄第二图像； 存储器，包括： 基于所述第一相机的第一镜头阴影校正比的第一镜头阴影校正比校正表，以及 基于第二镜头阴影校正比的第二镜头阴影校正比校正表，其中所述第二镜头阴影校正 比基于所述第一镜头阴影校正比并且基于使用所述第一相机拍摄的平场图像；以及 控制器，所述控制器被配置为基于所述第一镜头阴影校正表而对所述第一图像提供镜 头阴影校正来生成校正的第一图像，基于所述第二镜头阴影校正表而对所述第二图像提供 镜头阴影校正来生成校正的第二图像，并且将所述校正的第一图像与所述校正的第二图像 合并来生成合并图像。
【文档编号】G06T5/00GK106067953SQ201610256413
【公开日】2016年11月2日
【申请日】2016年4月22日 公开号201610256413.5, CN 106067953 A, CN 106067953A, CN 201610256413, CN-A-106067953, CN106067953 A, CN106067953A, CN201610256413, CN201610256413.5
【发明人】拜-埃尔·W·理查兹
【申请人】摩托罗拉移动有限责任公司