专利名称：变焦拍摄装置图像融合技术的制作方法
变焦拍摄装置图像融合技术背景技术
已经开发用于通过处理和组合来自两个镜头(其具有两个不同的固定焦距或视场)的图像而产生变焦拍摄装置图像的技术(参见2009年12月30日提交的国际专利申请PCT/US2009/069804)。来自较长焦距(例如，窄视场)镜头的图像可产生最终图像的中心部分，而较短焦距(例如，宽视场)镜头可产生最终图像的剩余部分。数字处理可调整这两个部分来产生相当于来自具有中间焦距的镜头的图像的单个图像。尽管该过程可使两个固定镜头能够仿效变焦镜头的效果，最终图像的两个部分之间的分界线可以是可见并且分散的。
本发明的一些实施例可参考下列说明和用于图示本发明的实施例的附图而更好理解。在图中: 图1示出根据本发明的实施例具有两个镜头(其具有不同的视场)的装置。
图2A、2B示出根据本发明的实施例图像如何可从每个镜头所接收的原始图像来构造。
图3A、3B示出根据本发明的实施例在中间带内的测量。
图4示出根据本发明的实施例在合成图像中融合像素的方法的流程图。
具体实施方式
在下列说明中，阐述许多具体细节。然而，理解可在没有这些具体细节的情况下实践本发明的实施例。在其它实例中，未详细示出众所周知的电路、结构和技术以便不混淆对该说明的理解。
对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的引用指示这样描述的本发明的实施例可包括特定特征、结构或特性，但是不是每个实施例必须包括该特定特征、结构或特性。此外，一些实施例可具有对其它实施例描述的特征中的一些、全部或没有这样的特征。
在下列说明和权利要求中，可使用术语“耦合”和“连接”连同它们的派生词。要理解这些术语不规定为是彼此的同义词。相反，在特定实施例中，“连接”用于指示两个或以上的元件彼此直接物理或电接触。“耦合”用于指示两个或以上的元件彼此共同操作或相互作用，但它们可直接物理或电接触或可不直接物理或电接触。
如在权利要求中使用的，除非另外规定，使用序数形容词“第一”、“第二”、“第三”等来描述共同元件，这仅指示指代类似元件的不同实例，并且不意在暗指这样描述的元件必须在时间上、空间上采用排序或任何其它方式处于给定的序列中。
本发明的各种实施例可在硬件、固件和软件中的一个或任何组合中实现。本发明还可实现为包含在计算机可读介质中或上的指令，其可被一个或多个处理器读取和执行来实现本文描述的操作的性能。计算机可读介质可包括用于存储采用可由一个或多个计算机读取的形式的信息的任何机构。例如，计算机可读介质可包括有形存储介质，例如但不限于只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质；光存储介质；闪速存储器装置，坐寸O
本发明的各种实施例关于在图像上使用的融合技术，图像从来自具有窄视场的固定镜头(在本文称为“窄视场镜头”)的第一数字化图像和来自具有宽视场的固定镜头(在本文称为“宽视场镜头”)的第二数字化图像来创建。在该文献中，术语“窄”和“宽”意指相对于彼此，而不意指任何外部参考或工业标准。在该文献内，“图像”是代表视觉图片的像素值的集合。这些像素典型地被认为设置在矩形阵列中来获得容易理解的图像与图片之间对应性，但其它实施例可使用像素的其它设置。即使图像未被显示，处理像素可描述为好像图像被显示一样，其中例如“内部”、“外部”、“变焦”、“缩小” “放大”等术语描述处理该数据将如何影响视觉图片(如果其被显示的话)。
一旦已经从两个镜头获得图像，其中由窄视场镜头描绘的场景的全部或至少一部分是由宽视场镜头描绘的场景的子集，合成图像可通过使用来自窄视场图像的像素形成合成的内部分(例如，中心部分)并且使用来自宽视场图像的像素形成合成的外部分而形成。内和外部分可重叠来形成中间部分。该中间部分内的像素可通过处理来自窄视场图像的像素与来自宽视场图像的关联像素而得出，以采用减少内和外部分之间的视觉不连续的方式逐渐从内部分过渡到外部分。
图1示出根据本发明的实施例具有两个镜头(其具有不同的视场)的装置。在一些实施例中，装置110可主要是拍摄装置，而在其它实施例中装置110可以是多功能装置，其包括拍摄装置的功能性。一些实施例还可包括光源140 (例如闪光灯)，用于照亮正被拍照的场景。尽管镜头120和130在装置110上的特定位点示出，它们可位于任何可行的地方。在优选实施例中，每个镜头可具有固定视场，但在其它实施例中，镜头中的至少一个可具有可变视场。在一些实施例中，两个镜头的光轴可近似平行，使得来自每个镜头的图像将以场景中的相同点或附近为中心。备选地，窄视场图像可以不在宽视场图像中心的场景部分为中心。通过两个镜头捕获的数字图像可采用仿效通过具有中间视场(其处于这两个镜头的视场之间)的镜头捕获的图像这样的方式组合和处理。通过适当的处理，该组合图像可仿效由具有可变视场的变焦镜头产生的图像。该技术的另一个优势是最终图像可在图片的某些部分中示出比单独用宽视场镜头将可能具有的更多细节，但仍将包含初始场景中比单独用窄视场镜头将可能具有的更多内容。
图2A、2B示出根据本发明的实施例如何可从每个镜头所接收的两个原始图像构造合成图像。在一些实施例中，原始图像可以是个体静态图像，但在其它实施例中，可使用来自视频序列的个体帧。观看的实际场景从这些图中省略以避免图中过度的混乱，并且仅示出图像的各种区域。在图2A中，图像的外部分可从宽视场镜头得出，而图像的内部分可从窄视场镜头得出。因为两个初始图像的“尺度”不同(例如，用宽视场镜头捕获的场景中的对象将比用窄视场镜头捕获的相同场景显得小)，这两个图像可被配准来获得相同的尺度。如本文使用的，“图像配准”牵涉裁剪宽视场图像以及对剩余像素过采样来增加用于描绘该部分的场景的像素的数量。在一些实施例中，图像配准还可牵涉对窄视场图像降采样来减少用于描绘该部分的场景的像素的数量。术语“重采样”可用于包括过采样和/或降采样。当场景中的给定对象由两个图像中近似相同数量的像素描绘时，这两个图像可视为配准。在其中两个镜头具有固定视场的实施例中，可预先确定裁剪和重取样的量。如果任一个或两个镜头具有可变视场，裁剪和重取样的量可以是变化的。一旦被配准，通过使用来自配准的窄视场图像的像素形成合成图像的内部分并且使用来自配准的宽视场图像的像素形成合成图像的外部分，来自两个图像的像素可组合而形成合成图像。合成图像然后应该始终以相同的尺度描绘连续场景。然而，因为涉及重采样的各种光学因素和/或不同的光传感器可已经用于采集图像中的每个这一事实，两个部分之间的不连续在内和外部分之间的边界(示出为虚线)处可以是可见的。这些不连续可采用未对准的形式，和/或采用色差、売度差和/或对比差的形式。
如在图2B中示出的，中间部分可通过使内和外部分重叠并且使用重叠区域作为中间部分而创建。然后合成图像可由以下组成:外带A，其具有从宽视场图像得出的像素(通过裁剪和过采样);内带B，其具有从窄视场图像得出的像素(采用或不采用裁剪和/或降采样);以及中间带C，其具有从来自宽视场和窄视场图像两者的像素的组合(如适合的话，在那些像素已经被裁剪和/或重取样后)得出的像素。在该中间带中的图像部分然后可“融合”来产生从外带到内带的逐渐过渡。在该文献内，术语“融合”指示通过改变从窄视场图像得出的像素以及从宽视场图像得出的像素的相对影响而产生逐渐过渡来创建最终像素值。如果这样的融合在足够大的空间距离上发生，则对准差、色差、亮度差以及对比差可变得难以肉眼检测并且因此不易察觉。
中间带、内带和外带相对于彼此的大小可取决于各种因素，并且在一些实施例中可动态变化。在其它实施例中，这些相对大小可是固定的。中间带示出为具有中空矩形形状，但可具有任何其它可行的形状，例如但不限于环形圈。在一些实施例中，中间带中的每个像素可被单独处理，而在其它实施例中，多像素组可在一起被处理。在包含多要素像素(例如，由红色、蓝色和绿色要素或黄色、品红和青色要素组成的彩色像素)的一些实施例中，每个要素可与该像素中的其它要素分开被处理。在该文献(其包括权利要求)内，描述为在像素上进行的任何处理可单独在像素内的个体要素上进行，并且逐要素过程应该被说明和/或权利要求所包含。
在一个实施例中，接近内带的中间带中的每个像素可被处理以便产生与如果它在内带中则将具有的值几乎相同的值(即，仅从窄视场图像得出)。采用相似的方式，接近外带的中间带中的每个像素可被处理以便产生与如果它在外带则将具有的值几乎相同的值(即，仅从宽视场图像得出)。随着每个像素的位点较远离内带并且较接近外带，它可采用较少地受从窄视场图像得出的像素影响而较多地受从宽视场图像得出的关联像素影响这样的方式被处理。
图3A、3B示出根据本发明的实施例的中间带内的测量。在一个实施例中，用于产生中间带中每个像素的值的公式可以是:Pf - (X *Pw) + {l —X: * Pu 其中Pf是最终像素值， Pw是从宽视场图像得出的关联像素值， Pn是从窄视场图像得出的关联像素值， X是在O和I之间、与内带和外带之间的像素的相对空间位置相关的值。在一个实施例中，X可跨从内带到外带的距离而线性变化(即，代表分数距离)，而在其它实施例中它可非线性变化(即， 在中间带的边界附近比在该带的中间部分慢或快地变化)。
在该示例中，在内带和中间带之间的边界处X=O，而在外带和中间带之间的边界处X=I。
在一些实施例(例如，其中中间带具有如在图3A中示出的中空矩形形状)中，X可指示相对水平或垂直距离。可需要在拐角(例如，“D”)通过考虑水平和垂直测量确定X值来做出调整。在其它实施例(例如，其中中间带是如在图3B中示出的环形)中，X可指示离中心的相对径向距离。在一些实施例中，X可随着从中间带到外带的距离而线性变化。在其它实施例中，X可随该距离非线性地变化。在一些实施例中，X可对于多要素像素的不同要素(例如，不同的颜色)采用不同的方式变化。这些只是对中间带中的特定像素可确定X值的方式中的一些。主要考虑是X指示跨内带和外带之间的中间带测量的每个像素的相对位置。
图4示出根据本发明的实施例在合成图像中融合像素的方法的流程图。在图示的实施例中，在410装置可捕获两个图像，一个通过窄视场镜头并且一个通过宽视场镜头，其中由窄视场镜头捕获的场景中的至少一部分是由宽视场镜头捕获的场景的子集。在一些实施例中，两个图像都可采用非压缩的数字化格式存储来等待进一步的处理。
在420，可调整两个图像的尺度使得它们都反映相同的尺度。例如，可使用先前描述的通过裁剪和重采样的图像配准方法使得来自一个图像的场景的给定部分由它在另一图像中近似相同数量的像素表示。在一些实例中，可采用该方式仅对宽视场图像剪裁/过采样。在其它实例中，还可对窄视场图像裁剪和/或降采样。为了决定要裁剪和重采样多少，在一些实施例中首先确定最终图像的视场和像素尺寸可以是必要的。在其它实施例中，这可被预先确定。
在430，可通过将修改的宽视场图像的外部分与(修改或未修改的)窄视场图像组合来创建合成图像。这两个部分可被限定使得它们重叠来形成包含来自二者的对应像素的中间带。在一些实施例中，该中间带的大小和位点可被固定和预先确定。在其它实施例中，该中间带的大小和/或位点可是变化的，并且通过自动过程或由用户确定。
在440，可确定用于在中间带中融合像素的算法。在一些实施例中，将仅存在一个算法，并且可跳过该步骤。在其它实施例中，可存在自动或由用户从其中选择的多个算法。在一些实施例中，可在相同处理期间并行或相继使用多个算法。
在450，算法可用于处理中间带中的像素。结合内带和外带中的像素，这些像素然后可在460产生最终图像。在470，该最终图像然后可被转换成图片以供在屏幕上显示(例如，以供拍照人员查看)，但最终图像可备选地发送到打印机，或被简单地保存以供在稍后的时间使用。在一些实施例中，用户可检查装置的显示器上的最终图像并且决定是否需要使用相同的算法或不同的算法来进一步处理图像。
在一些实施例中，这里描述的融合过程可未产生令人满意的最终图像改进，并且如果可以预测到该确定，可(自动或由用户)做出不使用融合过程的决定。在一些情形中，合并宽视场图像和窄视场图像(采用或不采用融合)可未产生令人满意的最终图像改进，并且可(自动或由用户)做出不组合这两个初始图像的决定。如果这些情形中的任一个是真实的，则可按原样使用初始图像中的一个，可采用一些方式修改初始图像中的一个，或两个图像可都不使用。
前面的说明意在为说明性而非限制性的。本领域内技术人员将想到变化形式。那些变化形式意在包括在本发明的各种实施例中，本发明的各种实施例仅受下列权利要求的范围所限制。
权利要求
1.一种方法，其包括: 通过组合外带的像素、内带的像素以及位于所述外带与内带之间的中间带的像素来创建数字图像，所述外带的像素由来自第一镜头的第一图像得出，所述内带的像素由来自第二镜头的第二图像得出，所述中间带包含通过处理从第一图像和第二图像得出的像素而产生的像素； 其中所述中间带中的像素在所述内带和外带之间融合。
2.如权利要求1所述的方法，其中所述中间带具有环形形状。
3.如权利要求1所述的方法，其中所述中间带具有中空矩形形状。
4.如权利要求1所述的方法，其中所述中间带中的像素用相当于Pf= (K * Pw) + (1-X Pn的公式处理，其中Pw代表来自所述宽视场镜头的像素值，Pn代表来自所述窄视场镜头的像素值，X与所述内带和外带之间的Pf的相对空间位置相关，并且O 〈 X 〈 I。
5.如权利要求1所述的方法，其中: 所述中间带中的每个像素包含多个要素；并且 特定像素中的每个要素与所述特定像素中的其它要素分开处理。
6.如权利要求1所述的方法，其中所述第一镜头是宽视场镜头，并且所述第二镜头是窄视场镜头。
7.一种设备，其包括: 具有处理器、存储器、光传感器、宽视场镜头和窄视场镜头的装置，所述装置用于: 通过所述宽视场镜头接收场景的第一图像并且通过所述窄视场镜头接收所述场景的第二图像； 对所述第一图像裁剪和降采 样来产生第三图像； 处理所述第二图像来产生第四图像，其中所述第三图像中的对象具有与所述第四图像中的相同对象相同的尺度； 将所述第三图像的外部分与所述第四图像组合来形成合成图像，其中所述第三图像的部分与所述第四图像的部分重叠来形成中间带；以及 在所述中间带内，处理来自所述第三图像的每个像素与来自所述第四图像的对应像素以产生所述中间带中的最终像素； 其中所述处理每个像素包括融合。
8.如权利要求7所述的设备，其中所述中间带具有环形形状。
9.如权利要求7所述的设备，其中所述中间带具有中空矩形形状。
10.如权利要求7所述的设备，其中所述中间带中的至少一些像素用相当于Pf= {X * Fw) ( (1-X )* Pn的公式处理，其中Pw代表来自所述第三图像的像素值，Pn代表来自所述第四图像的对应像素值，X与所述中间带的内外边界之间的Pf的相对空间位置相关，并且O〈 X〈 I。
11.如权利要求7所述的设备，其中: 所述中间带中的每个像素包含多个要素；并且 特定像素中的每个要素与所述特定像素中的其它要素分开处理。
12.如权利要求7所述的设备，其中所述装置包括用于无线通信的无线电设备。
13.一种物品，包括: 计算机可读存储介质，其包含指令，所述指令在由一个或多个处理器执行时导致执行操作，所述操作包括: 通过组合外带的像素、内带的像素以及位于所述外带与内带之间的中间带的像素来创建数字图像，所述外带的像素由来自第一镜头的第一图像得出，所述内带的像素由来自第二镜头的第二图像得出，所述中间带包含通过处理从第一图像和第二图像得出的像素而产生的像素； 其中所述中间带中的像素在所述内带和外带之间融合。
14.如权利要求13所述的物品，其中所述中间带具有环形形状。
15.如权利要求13所述的物品，其中所述中间带具有中空矩形形状。
16.如权利要求13所述的物品，其中所述中间带中的像素用相当于Pf = (X * Pw) —- X > * Pn的公式处理，其中Pw代表来自所述宽视场镜头的像素值，Pn代表来自所述窄视场镜头的像素值，X与所述内带和外带之间的Pf的相对空间位置相关，并且O〈 X〈 I。
17.如权利要求13所述的物品，其中: 所述中间带中的每个像素包含多个要素；并且 特定像素中的每个要素与所述特定像素中的其它要素分开处理。
18.如权利要求13所述的物品，其中所述第一镜头是宽视场镜头，并且所述第二镜头 是窄视场镜头。
全文摘要
在通过将来自第一镜头的外带与来自第二镜头的内带组合而创建的数字图像中，这两个带可在中间带中融合在一起，中间带通过处理来自外带和内带两者的像素而创建。融合可通过创建中间带中的像素而执行，中间带中的像素随着中间像素的位点从外带过渡到内带而逐渐地较少受到来自第一镜头的像素的影响并且逐渐地较多受到来自第二镜头的像素的影响。图像配准可用于在融合前获得相同的尺度。
文档编号H04N5/225GK103109524SQ201180045666
公开日2013年5月15日 申请日期2011年9月26日 优先权日2010年9月24日
发明者H.K.尼施哈拉 申请人:英特尔公司