专利名称：用于景深渲染的模糊函数建模的制作方法
技术领域：
本发明总体上涉及图像捕获装置，更具体地涉及相机景深渲染。2.
背景技术：
摄影镜头和相机的孔径光阑对到达图像传感器(或感光胶片)的光照量进行控制。光圈控制与快门速度控制相结合，调节在捕获图像时的曝光程度。应认识到的是，利用较快的快门速度或在弱光条件下捕获图像需要较大光圈来获得正确曝光。相反，较小的光圈用于强光条件和较慢的快门速度来获得正确曝光。镜头光圈通常表达为f数，其为焦距与有效光圈直径的比。镜头常常提供f数可被设为的一组标记的“f光阑”。较低的f数表示较大光圈开口。“一个f光阑”的变化是指在f数的七(例如，约1.41)倍的变化并且对应于在捕获图像时通过镜头传递的光强度的两倍的变化。虽然小型至中型相机由于其轻重量、便携性和低成本已变得极其普遍，但它们通常具有非常有限的光圈大小的缺点。为了通过这些小光圈镜头提供充分照明，人们一直在追求更加敏感的图像传感器以允许以较快的快门速度或在较低的照明条件下使用这些小相机。然而，获得充分的照明以捕获图像并不能使得小光圈镜头等效于常规大光圈镜头。因此，需要一种能增加相机镜头系统的镜头光圈而不增加相机镜头系统的大小或成本的设备和/或方法。在本发明中满足了这些需要和其它需要，本发明克服了先前开发的相机系统和方法的缺陷。
发明内容
本发明为一种相机设备和方法，其克服了具有有限物理光圈大小的相机系统的其它缺点。在本发明中应认识到的是，当人们限于使用低光圈镜头时就失去了较大光圈镜头所提供的大部分控制。特别是对于使用浅焦技术的能力而言，在这种技术中，利用小景深来聚焦图像的单个平面而使其余图像平面保持失焦。浅焦通常用于相对于图像的一部分而强调图像的另一部分。在摄影师的行话中，失焦的区域通常被称作“散景(bokeh)”，其为拍摄图像的失焦区域的主观审美品质的日文术语。应意识到的是，小光圈镜头基本上限于仅提供整个图像对准焦点的深焦。控制焦深(例如，从深到浅)常常用于人像摄影，以使拍摄对象与其相应背景隔离，并消弱否则可能会转移观察者注意力的不重要的细节。在本文中描述了一种提供景深渲染的设备和方法，其甚至允许小光圈相机提供以前只能通过使用大光圈相机系统才可实现的结果。该系统的目的是当利用物理上较小的光圈捕获图像时，模拟较大光圈的失焦效果。术语“数字光圈”或“数字光圈大小”在本文中用于指模拟的光圈大小，该模拟光圈大小大于相机设备的物理光圈可实现的光圈大小。为了模拟浅焦效果，本发明的实施例利用基于模糊变化与光圈变化之间关系的模糊函数模型。该模型用于估计以两个不同光圈拍摄的两个图像之间产生的模糊差异。然后基于该模糊差异通过模糊化图像来产生失焦效果。
响应于在至少两个不同的焦点位置捕获至少两张图片，来确定模糊差异。在两个焦点位置之间的距离优选地为大约一个景深。通过在较清晰图像与匹配较模糊图像所需的模糊核心之间的多次卷积来确定两个焦点位置的图片之间的模糊差异。然后通过将拍摄对象置于固定距离处，以从最小焦距到无限远的每一个景深捕获一个图像，然后计算每两张相邻图片之间的模糊差异，来获得模糊匹配曲线。图像的散焦模糊被定义为在图像与相应的对焦图像之间的模糊差异。图像的散焦模糊为从对焦位置到图像拍摄位置的迭代次数之和，且可由匹配曲线中理想镜头的
5=-W2来确定，其中k为斜率且I为捕获图像的镜头位置的迭代次数。本发明的设备和方法优选地基于理想镜头，尽管其以某些方式不同于物理相机镜头。具体而言，实际镜头易产生光学伪像和失真，且其匹配曲线可能含噪音且不一致。与此不同的是，理想镜头提供平滑的直的(线性)匹配曲线且具有对于不同的光圈来说是恒定的相对于景深(DOF)的斜率。理想镜头的模糊函数应遵循高斯分布。本发明应能以多种方式来实施，包括但不限于下文的描述。本发明的一个实施例为一种设备，其对捕获的图像进行景深渲染以模拟使用较大光圈将会产生的失焦效果，该设备包括(a)成像元件，具有光圈且被配置成以焦点设置来捕获数字图像；(b)计算机处理器和相关联的存储器，其耦合到成像元件且被配置成处理从成像元件接收的数字图像；以及(C)处理器上的可执行程序，用于(c) (i)使用相同的光圈设置在不同的焦点位置捕获至少两个图像，(c) (ii)将图像分割成子图像块，(c) (iii)基于该成像元件的作为迭代次数与镜头焦点位置之间关系的匹配曲线，确定图像的子图像块之间的模糊差异；(c) (iv)确定图像的子图像块之间的散焦模糊，以及(c) (v)通过响应于所确定的图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化图像的子图像块，以生成模拟利用更大光圈所得的图像。应理解的是，当模糊差异为零时，卷积次数为零。该设备生成利用所述成像元件以第一光圈设置捕获的数字图像，该数字图像看起来就像是以大于第一光圈设置的第二光圈设置而捕获的。根据本发明，响应于检测到给定的图像条件集合，例如响应于被捕获图像内的人脸检测，来选择数字光圈大小为超过该设备可实现的物理光圈大小。在优选的实施方式中，响应于在设备的焦点范围捕获图像序列以建立迭代次数与镜头焦点位置之间的关系，而将匹配曲线保存在设备的存储器中。可通过将对焦、第一位置与第二位置之间的间隔中的迭代次数求和、根据匹配曲线来确定图像的散焦模糊量。应理解的是，所述匹配曲线的斜率与f数的平方成反比。在至少一实施方式中，由
权利要求
1.一种用于在捕获的图像上进行景深渲染以模拟使用较大光圈将会产生的失焦效果的设备，包括 具有光圈且被配置成以焦点设置来捕获数字图像的成像元件，所述光圈具有物理光圈大小； 计算机处理器，与存储器相关联，耦合到所述成像元件且被配置成处理从所述成像元件接收的数字图像；以及 所述计算机处理器上的可执行程序，用于 使用相同的光圈设置在焦点位置捕获至少一成对图像，所述成对图像的焦点位置不同， 将所述成对图像分割成子图像块， 基于所述成像元件的作为迭代次数与所述焦点位置之间关系的匹配曲线，确定所述成对图像的子图像块之间的模糊差异， 确定所述成对图像的子图像块之间的散焦模糊，以及 通过响应于所确定的所述成对图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化所述成对图像的子图像块，从而生成模拟利用较大光圈所得的图像。
2.根据权利要求I所述的设备，其中，所述设备生成用所述成像元件以第一光圈设置所捕获的数字图像，所述数字图像看起来就像是以大于所述第一光圈设置的第二光圈设置所捕获的。
3.根据权利要求I所述的设备，其中，通过在所述设备的焦点范围捕获图像序列以建立迭代次数与所述焦点位置之间的关系，所述匹配曲线被保存在所述设备的存储器中。
4.根据权利要求I所述的设备，其中，图像的散焦模糊量能够通过将在对焦、第一位置与第二位置之间的间隔中的迭代次数求和、根据所述匹配曲线来确定。
5.根据权利要求I所述的设备，其中，所述匹配曲线的斜率与f数的平方成反比。
6.根据权利要求I所述的设备，其中，所述散焦模糊由下式给出5 = ^s/= ^ks2 =^-I2，其中所述散焦模糊B根据迭代次数I、离对焦位置的景深(DOF)s 2 2 2k和匹配曲线的斜率k来确定。
-\ 2
7.根据权利要求I所述的设备，其中，由公式AA = τγ-1 B1 = -j- -I B1给出所述模糊差异，其中B1和B2为在第一光圈A1和第二光圈A2 (f数)将产生的模糊级别，且h为限定光圈变化范围的常数。
8.根据权利要求I所述的设备，其还包括用户界面，所述用户界面在所述设备上具有至少一个用户输入控制，所述至少一个用户输入控制被配置成选择超过所述设备能够实现的物理光圈大小的数字光圈大小，或者选择将所述数字光圈大小设置为超过所述设备能实现的物理光圈大小的操作模式。
9.根据权利要求I所述的设备，还包括响应于检测到给定的图像条件集合，选择超过所述设备能实现的物理光圈大小的数字光圈大小。
10.根据权利要求I所述的设备，还包括响应于检测到给定的图像条件集合，选择超过所述设备能实现的物理光圈大小的数字光圈大小；并且 其中所述数字光圈大小是响应于被捕获的图像内的人脸检测而被选择的。
11.根据权利要求I所述的设备，其中，所述模糊化子图像块通过使用二维高斯模糊滤镜执行。
12.根据权利要求I所述的设备，其中，所述模糊化子图像块包括使用通过二维高斯模糊滤镜执行的增强的模糊效果，该二维高斯模糊滤镜具有由C^auss =(5〗-我)4所给出的方差^iuss，其中B1为所捕获的图像的子图像块的散焦模糊，B2为模拟图像的对应子图像块的散焦模糊，σ 为模糊核K的方差，且参数Y控制增强的模糊效果。
13.一种对捕获的图像进行景深渲染以模拟通过使用比所述设备可实现的物理光圈更大的物理光圈将会产生的散焦效果的设备，所述设备包括 具有物理光圈且被配置成以焦点设置来捕获数字图像的成像元件，所述光圈具有物理光圈大小； 计算机处理器和存储器，耦合到所述成像元件且被配置成处理从所述成像元件接收的数字图像；以及所述计算机处理器上的可执行程序，用于 检测用户输入来选择数字光圈大小，或者选择与使用所述数字光圈大小相关联的模式； 使用相同的光圈设置在焦点位置捕获至少一成对图像，所述成对图像的焦点位置不同， 将所述成对图像分割成子图像块， 基于所述成像元件的作为迭代次数与所述焦点位置之间关系的匹配曲线，来确定所述成对图像的子图像块之间的模糊差异， 确定所述成对图像的子图像块之间的散焦模糊，以及 通过响应于所确定的所述成对图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化所述图像的子图像块从而生成所得图像； 其中所得图像以超过所述设备能实现的物理光圈大小的表观数字光圈大小而生成。
14.根据权利要求13所述的设备，其中，所述设备由所述成像元件以第一光圈设置生成数字图像输出，所述数字图像输出看起来就像是以大于所述第一光圈设置的第二光圈设置所捕获的。
15.根据权利要求13所述的设备，其中，通过在所述设备的焦点范围捕获图像序列以建立迭代次数与所述焦点位置之间的关系，所述匹配曲线被保存在所述设备的存储器中。
16.根据权利要求13所述的设备，其中，根据所述匹配曲线，图像的散焦模糊量能被计算为在对焦位置、第一位置与第二位置之间的间隔中的迭代次数之和。
17.根据权利要求13所述的设备，其中，所述匹配曲线的斜率与f数的平方成反比。
18.根据权利要求13所述的设备，其中，所述散焦模糊B由 给 出，且根据迭代次数I，离对焦位置的景深(DOF) s和匹配曲线的斜率k来确定。
19.根据权利要求13所述的设备，其中，由公式
20.根据权利要求13所述的设备，还包括用户界面，所述用户界面具有在所述设备上的至少一个用户输入控制，所述至少一个用户输入控制被配置成选择超过所述设备可实现的物理光圈大小的数字光圈大小，或者选择包括选择超过所述设备能实现的物理光圈大小的数字光圈大小的操作模式。
21.根据权利要求13所述的设备，其中，所述模糊化子图像块通过使用二维高斯模糊滤镜来执行。
22.根据权利要求13所述的设备，其中，所述模糊化子图像块包括使用通过二维高斯模糊滤镜执行的增强的模糊效果，该二维高斯模糊滤镜具有由tr〗auss =($ -尽)所给出的方差i^auss，其中B1为所捕获的图像的子图像块的散焦模糊，B2为模拟图像的对应子图像块的散焦模糊，Cr〖为模糊核心K的方差，且参数Y控制增强的模糊效果。
23.一种用于捕获图像的方法，其模拟比相机设备内的成像元件可实现的物理光圈大小更大的光圈，包括 使用所述相机设备的相同光圈设置在焦点位置捕获至少一成对图像，所述成对图像的焦点位置不同， 将所述成对图像分割成子图像块； 基于所述成像元件的作为迭代次数与所述焦点位置之间关系的匹配曲线，来确定所述成对图像的子图像块之间的模糊差异； 确定所述成对图像的子图像块之间的散焦模糊；以及 通过响应于所确定的所述成对图像之间的模糊差异的、利用模糊核心的卷积来模糊化所述成对图像的子图像块从而生成所得图像； 其中所得图像以超过所述相机设备可实现的所述物理光圈大小的表观数字光圈大小而生成。
24.根据权利要求23所述的方法，还包括检测用户输入以选择数字光圈大小或者与使用所述数字光圈大小相关联的模式，所述数字光圈大小超过在所述相机设备上可实现的物理光圈大小。
全文摘要
一种景深渲染的方法和设备，其模拟以较小光圈捕获的图像的较大光圈。在以较小光圈捕获图像时，景深渲染对利用具有较大光圈的相机可实现的失焦效果进行选择性模拟。模糊函数模型是基于模糊变化与光圈变化之间的关系而创建。该模型用于确定以两个不同光圈拍摄的两个图像之间产生的模糊差异。然后基于模糊差异，通过在渲染处理中模糊化图像而产生失焦效果。
文档编号H04N5/232GK102812496SQ201180008642
公开日2012年12月5日 申请日期2011年2月15日 优先权日2010年3月22日
发明者咖兹·阿力, 李平山 申请人:索尼公司