原生的三色图像和高动态范围图像的制作方法
【专利摘要】多种实现提供包括例如RGB图像和/或HDR图像的彩色图像。在一种具体的实现中，使用捕获自多个传感器的颜色值的第一集合创建彩色图像。彩色图像的多个像素位置具有针对捕获自所述多个传感器的三种颜色的颜色值。透镜组件将光传到所述多个传感器。使用捕获自所述多个传感器的颜色值的第二集合创建HDR图像。另一实现包括透镜组件和被布置为通过透镜组件接收光的多个传感器。能够聚集捕获自所述多个传感器的颜色值的第一集合，以针对多个像素位置提供三种颜色值。能够对捕获自多个传感器的颜色值的第二集合进行内插，以提供HDR图像。
【专利说明】原生的二色图像和局动态范围图像
[0001]相关申请的交叉引用
[0002]本申请要求享有2012年5月18日递交的标题为“Apparatus to ProvideNative RGB and High Dynamic Range Images with a Single Lens” 的美国临时申请N0.61/688，657的优先权，在这里针对所有目的通过引用将其内容加入。
【技术领域】
[0003]所描述的实现涉及图像捕获和/或处理。各种具体实现涉及捕获和/或处理原生的三色图像和高动态范围(“HDR”)图像。
【背景技术】
[0004]电影制作者和其它内容创作者在捕获内容方面有一系列可用的选择。一种选择是使用红-绿-蓝(“RGB”)图像。RGB图像可以是例如经过内插处理的或原生的。另一选择是使用HDR图像。通常，内容创作者期望在内容的不同部分中使用不同类型的图像。例如，电影制作者可能期望使用HDR图像拍摄电影中的一些选择的场景。为了实现该期望，内容创作者通常不得不针对每种类型的图像使用不同的摄像机。例如，电影制作者可使用第一摄像机来捕获原生的RGB图像并使用第二摄像机和第三摄像机来捕获HDR图像。
【发明内容】
[0005]根据一般的方面，使用从多个传感器捕获的颜色值的第一集合创建彩色图像。彩色图像的多个像素位置具有针对三种颜色的颜色值。三种颜色值是从多个传感器捕获的，以及透镜组件将光传到多个传感器。使用从多个传感器捕获的颜色值的第二集合创建HDR图像。
[0006]根据另一个一般的方面，一种装置包括透镜组件和被布置为通过透镜组件接收光的多个传感器。可对从多个传感器捕获的颜色值的第一集合进行聚集，以针对多个像素位置提供三种颜色值。可对从多个传感器捕获的颜色值的第二集合进行内插，以提供HDR图像。
[0007]在以下的附图和【具体实施方式】中对一个或多个实现的细节进行描述。即使通过一种具体的方式进行了描述，应该清楚的是，也可以通过各种方式来进行配置或实现。例如，实现可被执行为方法或实现为装置(比如被配置为执行一组操作的装置或存储了用于执行一组操作的指令的装置)或实现于信号中。结合附图和权利要求考虑以下【具体实施方式】，其它方面和特征将是明显的。
【专利附图】
【附图说明】
[0008]图1提供了示出摄像机的示例的框图；
[0009]图2提供了示出三个RGB传感器的示例的示意图；
[0010]图3提供了示出图2中的三个RGB传感器进行组合的示例的示意图；
[0011]图4示出了用于形成原生的RGB图像的处理的示例的流程图；
[0012]图5提供了示出图2中的传感器2和3进行组合的示例的示意图；
[0013]图6提供了示出将在图5中的组合的更大版本的四个像素位置中对颜色进行内插的示例的示意图；
[0014]图7提供了针对在图6中将被内插的每个颜色示出可在内插中使用的四个像素位置的示例的示意图；
[0015]图8提供了示出用于形成HDR图像的处理的示例的流程图；
[0016]图9提供了示出用于形成原生的RGB图像和HDR图像的处理的示例的流程图；
[0017]图10提供了示出发送系统的示例的框图；
[0018]图11提供了示出接收系统的示例的框图。
【具体实施方式】
[0019]本申请中的至少一个实现涉及一种用于使用相同的透镜组件(在本申请中经常简称为透镜)创建原生的RGB图像和HDR图像的方法和装置。在所述实现中，透镜组件将光传至三个传感器，以及捕获自三个传感器的数据用来生成原生的RGB图像和HDR图像两者。在一种实现中，具体地，本申请描述如何通过使用三个传感器和提出的3X2X4矩阵(参见图2)(而不是经典的2X2 Bayer矩阵)使得摄像机能够使用单个透镜组件在相同设备内提供原生的RGB以及非常高质量的HDR图像。
[0020]Bayer矩阵(或“Bayer图案”)是一种滤镜图案，其通常具有25%的红、50%的绿和25%的蓝。Bayer图案通常是2 X 2矩阵，它们按照需要进行重复(也被称为拼接(tile))以覆盖具体的分辨率。以下通过图2中的传感器I的最上方的2X2部分示出了一个示例。该2X2部分一个红(位于第一行第二列)、两个绿(位于第一行第一列和第二行第二列)和I个蓝(位于第一行第一列)。Bayer图案传感器一般指使用bayer图案对进入传感器的光进行过滤的传感器。在多种实现中，通过本领域技术人员熟知的方式将Bayer图案应用或附加到传感器。
[0021]“原生的RGB”(或“完全原生的RGB”)图像指的是所捕获的数据针对图像中的每个像素或基本上每个像素包括红色组分、绿色组分和蓝色组分的图像。颜色组分还被称为“颜色值”或“值”。在多种实现中，针对红、绿和蓝中的每一个，颜色值是从O到255的8比特整数。
[0022]术语“原生的”指的是所有组分(例如R、G和B)是捕获的，与例如被内插的相对照。结果，术语“原生的”可以应用到其它类型的图像，比如原生的三色图像指的是被捕获的任意三种颜色。其它示例包括原生的YUV图像.
[0023]HDR图像指的是与通常的可能情况相比在最亮和最暗区域之间具有更大的动态范围的图像。动态范围通常涉及图像的亮度值的范围。
[0024]具有高动态范围的源内容经常会经历在亮区域或暗区域中丢失细节。HDR图像能够提供一些这种丢失的细节。通常，通过将在不同的亮度水平下捕获的组分图像(或图像的一部分)缝合(stitch)在一起来生成HDR图像。
[0025]许多实现产生实际不增加可表现的亮度值(例如，通过8比特值来表现亮度，而不管是否使用HDR处理)的范围的HDR图像。然而，这些实现中的一些使用处理技巧(例如过滤)来将某一范围的亮度值(例如高亮度值)移动到可以更好的表现亮度中的差别的不同的亮度范围。例如，高亮度经常可以使传感器饱和，从而整个区域具有在亮度范围的高亮度端处或附近的给定亮度值(例如255)。一些实现应用滤镜来降低亮度，并且结果是亮度值不再集中在单一数值(255)附近，而是扩散到一定的范围。从而，得以提供更多的细节。
[0026]可使用三个传感器捕获完全原生的RGB图像，其中每个传感器独立地捕获红、绿和蓝信息。在透镜组件和传感器之间应用分束器机构，从而，通常地，每个传感器针对三原色中的每一种颜色接收相同量的亮度。
[0027]通过使用这种设备，看起来不太可能创建HDR图像，至少如果到达每个传感器的亮度水平相同的话不太可能。为了具有多个亮度值，需要具有不同的亮度水平的多个三传感器设备。然而，使用多个设备是昂贵且不现实的。
[0028]还可使用单个透镜组件在使用装备有Bayer类型有色滤镜的三个传感器的单个设备内通过在每个传感器的前方应用多个中性(neutral)密度(“ND”)滤镜来创建HDR图像。这种设备本身就具有很大的价值。然而，如果使用这种系统，则不太可能使用同一设备获得原生RGB图像，这是因为Bayer图案要求像素内插并且不能在针对每个像素的完全原生RGB组合中进行组合。也就是说，即使存储三个Bayer图案,这三个Bayer图案也是相同的。添加第二和第三个Bayer图案传感器不会提供任何附加或新的信息。反而，第二和第三Bayer图案传感器重复来自第一 Bayer图案传感器的颜色信息。从而，给定的像素位置不会从第二和第三Bayer图案传感器获得任何新的颜色信息。结果，使用Bayer图案传感器，没有任何像素位置具有多于一种颜色值，并且根据定义不是原生RGB。反而，将针对给定的颜色的所捕获的颜色值用于内插算法中，以便为所有像素位置提供内插颜色值(针对给定颜色)。
[0029]然而，内插不会导致原生RGB，这是因为内插的颜色值并不是捕获的颜色值。
[0030]然而，本申请中描述的各个实现提供了使得电影制作者(或其它内容创作者)能够在相同设备(通常是摄像机)内使用单个透镜组件获得HDR和原生RGB能力两者。与使用两个或更多不同的单一目的摄像机相比，这一能力使得这些类型的效果(HDR和原生RGB)更能负担得起并且更高产。
[0031]参见图1，示出了允许对HDR图像和原生RGB图像两者都进行捕获的摄像机100。摄像机100包括透镜组件110。透镜组件110包括(在一些实现中)单个透镜。然而，其它实现在透镜组件110中包括多个透镜。
[0032]透镜组件110将光传到分束器115。分束器115将光传到三个传感器，包括第一传感器120、第二传感器130和第三传感器140。所传播的光可根据不同的实现而有所不同。然而，在至少一种实现中，将光等量地传到传感器120、130和140中的每一个。
[0033]摄像机100包括布置在分束器115和第一传感器120之间的ND滤镜145。ND滤镜145在不同的实现中具有不同的过滤强度。ND滤镜如所熟知的一样基本均等地降低和/或修改所有波长或颜色的光的强度。其它滤镜用于不同的实现中，但非ND滤镜通常将对由下游传感器(比如第一传感器120)捕获的颜色有所影响。
[0034]由传感器120、130和140捕获的数据提供到下游设备。摄像机100中的下游设备被示为处理器或存储设备150。对摄像机100的一些实现只捕获数据，并且在这种实现中，下游设备是存储设备150。其它实现同样或附加地对所捕获的数据执行一些处理，并且在这种实现中，下游设备是处理器150或组合处理器和存储设备150。
[0035]摄像机100还能够选择性地移除和插入ND滤镜145。这一控制由双向箭头160指示。可通过具有供摄像机操作者移除和插入ND滤镜145的插槽或具有用来将ND滤镜145从对射向传感器I 120的光进行滤波的位置移入和移出的位于摄像机100内部的转轴(hinge)来实现这种控制。
[0036]在将ND滤镜145从摄像机100移除的情况下，摄像机100能够捕获可用来创建原生RGB图像的数据，下文将结合图2-4进行详述。此外，在将ND滤镜145插入摄像机100的情况下，摄像机100能够捕获可用来创建HDR图像的数据，下文将结合图2和5-8进行详述。结合图6-9描述了用来选择性地捕获用于在生产原生RGB图像或HDR图像时使用的数据的能力。
[0037]如上所述，为了在摄像机中提供完全原生RGB和HDR，图1的实现使用具有分束器机构115的三个传感器120、130和140，其中分束器机构115将入射光分成三个均等强度的光束。可见，摄像机100与只包括单个传感器的标准摄像机有所不同。
[0038]此外，摄像机100与只使用经典单个传感器、2X2 Bayer图案的标准摄像机有所不同。反而，摄像机100使用新的三传感器、3X2X4有色像素图案。
[0039]参见图2，示出新的3X2X4图案。“3 X 2X4”中的“3”反映出图2中包括3个传感器图案(包括第一传感器图案210、第二传感器图案220、第三传感器图案230)这一事实。“2X4”反映出通过重复的2X4矩阵(或图案)来描述传感器图案210、220和230这一事实。从而，第一传感器图案210 (传感器图案220和230也类似)将在整个传感器上重复。
[0040]例如，在摄像机100的一种实现中，第一传感器图案210在整个第一传感器120上重复，并且第一传感器图案210充当将具有对应于第一传感器图案210上所示的颜色的波长的光传到第一传感器120的滤镜。具体地，在这一实现中，第一传感器图案210包括左上部分215，其中用G来表示“绿”，第二传感器图案220包括用R来表示“红”的左上部分225，以及第三传感器图案包括用B来表示“蓝”的左上部分235。在这一实现中，(i)第一传感器120将在由左上部分215所覆盖的区域中接收绿光，(ii)第二传感器130将在由左上部分225所覆盖的区域中接收红光，(iii)第三传感器140将在由左上部分235所覆盖的区域中接收蓝光。在多种实现中，传感器120、130和140的由左上部分215、225和235分别覆盖的区域将对应于由传感器120、130和140捕获的图像中的像素。
[0041]应该清楚的是，实际上通过重复的2X2图案来描述第一传感器图案210。然而，为了方便，使用了 2X4的区域，这是因为第二传感器图案220和第三传感器图案230是通过图2中所示的2X4区域描述的。还应清楚的是，第一传感器图案210是Bayer图案。从而，在这种实现中，由包括2X2Bayer图案的3X2X4图案来替代标准摄像机的2X2 Bayer图案。
[0042]参见图3，再次示出了三个传感器图案210、220和230。图3还包括组合图案310。在组合图案310中，三个传感器图案210、220和230的相应位置被组合。“组合”指的是聚集或集中或聚合来自三个传感器图案210、220和230的颜色值。从而，传感器图案210、220和230的左上部分215、225和235中的每一个中的颜色值分别被包括在组合图案310的左上部分315中。左上部分315列出了 GRB，这是因为其包括(组合)了来自第一传感器图案210的左上部分215的G、来自第二传感器图案220的左上部分225的R和来自第三传感器图案230的左上部分235的B。
[0043]左上部分215、225和235均从入射在透镜组件110上的源图像的相同区域(“左上”区域)捕获光。从而，被摄像机录制的源图像的“左上”区域由三个传感器210、220和230分别以绿、红和蓝来捕获。组合图案310通过在左上部分315中列出GRB反映了这一事实。
[0044]组合图案310的其它部分是通过类似地方式得到的。具体地，从三个传感器图案210,220和230中的相应位置得到的颜色值在组合图案310的相应位置中进行组合。通过检验组合图案310，清楚的是，组合图案310的每个位置都具有红、绿和蓝三原色。从而，通过对由三个传感器120、130和140(分别具有传感器图案210、220和230)中的每一个捕获的图像进行组合，能够生成原生RGB图像。
[0045]可在例如处理器150中执行对单个传感器图像进行组合以形成原生RGB图像的处理。这一处理包括例如将针对每个像素位置的所有红、绿和蓝颜色值都集中到数据结构中，所述数据结构可被访问以显示得到的原生RGB图像。从而，如上所述，通过使用例如采用这-3X2X4图案的有色像素大小滤镜来组合三个传感器值，可以看出，每个组合的像素具有对R、G和B的一个捕获，因此提供了原生RGB捕获。
[0046]其它实现使用与图3中所示不同的第二传感器图案和第三传感器图案。多种实现使用多种传感器图案中的可被组合以提供标准Bayer图案所丢失的颜色的任意图案(如传感器图案210中所示的一样)。多种实现不针对所有的传感器模式使用三色传感器图案，比如通过将来自第二传感器图案220的G(或R、或B)放入第三传感器图案230中。另一实现可使用2 X 2传感器图案来完成，其中第二传感器图案只是第二传感器图案220的上半部分，第三传感器图案只是第三传感器图案230的上半部分。
[0047]参见图4，提供了用于形成原生的RGB图像的处理400。上文中已经基本上参照图2-3描述了用于形成原生RGB图像的处理。现在，针对一般处理提供具体的处理流程。
[0048]处理400包括不使用任何ND滤镜从三个传感器捕获传感器数据(410)。在至少一种实现中，操作410由移除了 ND滤镜145的摄像机100来执行。在一种这样的实现中，通过分别经由传感器图案210、220和230从传感器120、130和140捕获图像数据来执行操作410。
[0049]处理400包括组合所捕获的传感器数据以形成原生RGB图像(420)。继续以上参照操作410讨论的实现，通过例如组合来自传感器120、130和140的所捕获的图像数据以形成原生RGB图像来执行操作420。
[0050]参见图5-8 (以及之前描述的图1-3)，现在描述用于创建HDR图像的一个或多个实现。多个这种实现可在将ND滤镜145插入摄像机100的情况下由摄像机100执行。
[0051]在一些实现中，认为具有第一传感器图案210的第一传感器120是“自主”传感器。这是由于具有第一传感器图案210的第一传感器120可被用来生成内插RGB图像。这源自第一传感器图案210是经典Bayer图案的一个版本并且可像本领域已知的那样通过像素内插提供完全(但不是原生的)RGB图像这一事实。
[0052]在一些实现中，认为第二传感器130和第三传感器140是“补充”传感器。这是由于可通过补充的方式对分别从使用传感器图案220和230的传感器130和140捕获的图像进行组合，以内插完全分辨率图像。在多种实现中，这些捕获的图像的组合使得与不对所捕获的图像进行组合的情况下的可能相比能够更好地内插(例如，针对所有三种颜色进行五点内插)。
[0053]然而，其它实现将第二传感器130用作自主传感器并且对第二传感器130进行内插以生成经过内插的完全RGB图像。类似地，在多种实现中，第三传感器140用作自主传感器并且进行内插以生成经过内插的完全RGB图像。
[0054]参见图5，再次示出了传感器图案220和230。此外，提供了作为传感器图案220和230的组合的组合图案510。例如，组合图案510的左上部分515列出了代表“红”和“蓝”的颜色值RB。之所以包括了左上部分515的“R”，是因为第二传感器220的左上部分225列出了颜色值R。之所以包括了左上部分515的“B”，是因为第三传感器230的左上部分235列出了颜色值B。通过类似的方式得到组合图案510的其它部分。具体地，来自两个传感器图案220和230中的相应位置的颜色值在组合图案510的相应位置中进行组合。
[0055]参见图6，提供了扩展图案600。扩展图案600包括重复出现两次的组合图案510。可见，组合图案510的第一次出现包括扩展图案600的左边两列，组合图案510的第二次出现包括扩展图案600的右边两列。
[0056]扩展图案600包括内部位置620、630、640和650，其均对应于各种实现中的单独像素。本例中的“内部”位置是非边缘像素的像素位置。检验内部位置620-650，可以看出每个内部位置都具有两个颜色值。从而，为了产生完全RGB图像,为内部位置620-650内插一个颜色值。如图所示，(i)针对内部位置620，内插G，(ii)针对内部位置630，内插B，(iii)针对内部位置640，内插R，(iv)针对内部位置650，内插G。可以针对所有位置继续这一标识丢失的颜色值的方式。此外，通过更多次重复(拼接)组合图案510，扩展图案600的尺寸可增加，以对应任意尺寸的传感器。
[0057]参见图7，提供了扩展图案600的四个不同版本，这四个版本指示内插策略。四个版本包括(i)对应于内部位置620的第一内插图案720，(ii)对应于内部位置630的第二内插图案730，(iii)对应于内部位置640的第三内插图案740，(iv)对应于内部位置650的第四内插图案750。
[0058]如内插图案720-750中的每一个所示，在左、右、上和下方向紧邻的位置中存在内部位置620-650所丢失的颜色值。针对内插图案720，通过圆圈722、724、726和728示出了这一点，其中在相应的位置(例如像素)强调了 G。针对内插图案730，通过圆圈732、734、736和738示出了这一点，其中在相应的位置强调了 B。针对内插图案740，通过圆圈742、744、746和748示出了这一点，其中在相应的位置强调了 R。针对内插图案750，通过圆圈752、754、756和758示出了这一点，其中在相应的位置强调了 G。
[0059]清楚的是，至少针对内插图案730和740，可以在包括对角线相邻的位置的所有相邻位置中在丢失的颜色值附近划圆圈。也就是说，例如，在内插图案730中，围绕内插位置630的所有八个相邻位置都具有B颜色值。这同样适用于内插图案740，其中围绕内插位置640的所有八个相邻位置都具有R颜色值。
[0060]然而，同样清楚的是，即使针对扩展图案600 (基于组合图案510)的更大版本以及内插图案720、730、740和750的更大版本，所有的内部位置都将在其邻近的左、右、上和下方的位置中存在其丢失的颜色值。
[0061]从而，能够对从具有组合图案510的一个版本的传感器捕获的图像中的所有内部位置使用公共内插算法。公共内插算法可以基于例如左、右、上和下方的相邻位置。一种这样的内插算法是五点像素内插算法，其可被用来内插丢失的颜色值。然而，任何使用左、右、上和下方的四分相邻位置的算法都可被使用。
[0062]与使用Bayer图案相比，这一实现(使用图5-7的图案)的好处在于，针对R、G和B中的每个丢失的像素值，完全五点图案对于像素内插是可用的。作为对比，当使用Bayer图案时，只有在针对G时，完全五点图案对于像素内插才是可用的，针对R和B则不是。与只使用Bayer图案相比，使得完全五点图案针对所有三种颜色对于像素内插都是可用的将导致更高质量的内插图像。可通过使用单个内插算法来实现这一质量，与使用多个内插算法的实现相比，这同样提供了复杂度的优点。这一比较涉及使用Bayer图案的单个传感器，但即使所使用的三个传感器都具有Bayer图案，结果也会是一样的，这是因为Bayer图案将是相同的且不会提供任何附加颜色信息。
[0063]在HDR的情况中，虽然多个场景能够在应用了不同的ND滤镜的情况下捕获整个亮度范围，但至少一个具体实现允许创新的可能性。第一传感器图案210(至少在与第二传感器图案220和第三传感器图案230的组合相比较时)具有较低的分辨率，这是因为其使用经典的Bayer方案内插像素。因此，第一传感器图案210可与高值ND滤镜(滤除亮度)一起使用，以便在图像的通常将使传感器饱和的高亮度区域中提供清楚的像素(即，在一个范围内分布具有有用亮度信息的像素值，使得观看者能够看见细节和差别)。此外，第二传感器图案220和第三传感器图案230的组合(不使用任何ND滤镜)能够提供设置摄像机所针对的高分辨率的“参考”图像。由于两个传感器图案220和230用来捕获这一“参考”图像，所以可以生成组合图案510，而且完全五点像素内插针对所有三种原色都是可用的。
[0064]在这一具体实现中，基于三个捕获的图像生成了较低分辨率的图像和较高分辨率的“参考”图像。这两种不同分辨率的图像然后进行组合，以形成HDR图像。这一组合的HDR图像将具有更高的亮度，并且与使用三个不同的Bayer类型传感器相比具有更高的分辨率。由于ND滤镜使得能够对更大的亮度范围进行有意义地捕获并且为图像提供更多的有用亮度信息，所以提供了更高的亮度。由于(与能够使用Bayer图案的标准内插相比)经过改进的内插，所以提供了更高的分辨率。
[0065]参见图8，提供了用于形成HDR图像的处理800。上文中参照图5_7基本上描述了用于形成HDR图像的处理。现在，针对一般处理提供具体的处理流程。
[0066]处理800包括从三个传感器捕获传感器数据，其中将一个ND滤镜应用到传感器之一 (810)。在至少一种实现中，由插入了 ND滤镜145的摄像机100来执行操作810。在一种这样的实现中，通过分别经由传感器图案210、220和230从传感器120、130和140捕获图像数据来执行操作810，其中ND滤镜145插入于分束器115和第一传感器120之间。
[0067]处理800包括对从ND过滤传感器捕获的图像数据进行内插以形成输出的高亮度区域(“HLA”)数据(820)。“数据”可以是例如整个帧的全部或一部分。“高亮度区域”指的是原始源内容的在ND过滤之前具有高亮度值的区域。当然，这些区域在原始源内容的ND过滤版本中与ND过滤版本的其余部分相比同样具有高亮度值。通常，HLA “数据”被认为是HLA的原始颜色值的重映射，从而这些值占用可用的动态范围的更大部分。
[0068]ND滤镜将降低输入的源内容的总体亮度，这将降低传感器所捕获到的颜色值。这一降低通常引起输入的源内容的低颜色值被压缩到传感器的动态范围的低端。这一降低通常还引起输入的源内容的高颜色值在传感器的动态范围上扩散。
[0069]继续上文中参照操作810讨论的实现，由例如处理器150来执行操作820。在这一实现中，处理器150执行例如用于Bayer图案图像的标准内插算法。对通过第一传感器图案210从第一传感器120捕获的图像或数据进行内插。在这种实现中，输出的图像是整个内插的图像。在这一实现中，HLA数据是内插的图像的一部分。
[0070]处理800包括组合从其它传感器捕获的数据(830)。继续上文中参照操作810-820讨论的实现，由例如处理器150来执行操作830。在这一实现中，处理器150对通过传感器图案220和230从传感器130和140捕获的图像数据进行组合。在传感器130或140之前没有使用任何ND滤镜，但在其它实现中使用具有各种强度的ND滤镜。结果是具有由组合图案510指示的颜色的值的图像或图像数据。
[0071]处理800包括对来自操作830的组合传感器数据进行内插，以形成低亮度区域(“LLA”)数据(840)。“数据”可以是例如整个图像的一部分或简单地是数据的独立集合。“低亮度区域”指的是原始源内容的具有低亮度值的区域，如果没有任何ND滤镜的话，其也是捕获的图像数据。在通常的实现中，LLA将具有使用传感器的动态范围有效地表现的颜色值。
[0072]继续上文中参照操作810-830讨论的实现，由例如处理器150来执行操作840。在这一实现中，处理器150如图7所讨论的那样执行例如五点内插算法，以便产生针对最终HDR图像的参考图像。在这一实现中，LLA数据是参考图像的一部分。
[0073]处理800包括合并HLA数据和LLA数据，以形成HDR图像(850)。HLA数据包括针对原始内容源的具有高亮度的部分的重映射(由于ND滤镜)颜色值。LLA数据包括针对原始内容源的具有低亮度的部分的颜色值。合并这两个数据集合提供具有标识原始源内容的低亮度部分和原始源内容的高亮度部分两者的颜色值。此外，由于ND滤镜，通常在大的动态范围上表示高亮度部分，从而对于观看者来讲，高亮度部分的细节是更加可见的。
[0074]继续上文中参照操作810-840讨论的实现，由例如处理器150来执行操作850。处理器150可以通过多种方式执行操作850中的合并。在一种实现中，处理器150确定原始内容源的哪部分是“高”亮度区域，比如天空或窗外的景色。这些标识的区域包括例如具有高于特定阈值的平均亮度的对象或特征。所述实现然后从这些“高”亮度位置提取HLA数据并且将所提取的数据拷贝到LLA数据的共位位置。其它实现从LLA数据(非高亮度区域或所标识的低亮度区域)提取数据并将其拷贝到HLA数据中以形成HDR图像。其它实现从LLA数据和HLA数据都提取数据，并在新的图像中合并两个提取。
[0075]在多个实现中，HLA数据和/或LLA数据包括整个帧。然而，在其它实现中，HLA数据和/或LLA数据只是帧的一小部分。
[0076]参见图9，提供了用于形成原生的三色图像和HDR图像的处理900。在多种实现中，三色图像是RGB图像。然而，如本申请中所讨论的一样，在不同的实现中使用其它颜色。上文中参照图2-8基本上描述了用于形成这两种图像的处理的示例。现在，针对一般处理提供具体的处理流程。
[0077]处理900包括从多个传感器和单个透镜组件创建原生三色图像(910)。在至少一种实现中，操作910包括使用从多个传感器捕获的颜色值的第一集合创建RGB图像。在这一实现中，RGB图像的多个像素位置具有针对R、G和B的颜色值，其中所述颜色值是从多个传感器捕获的，以及单个透镜组件将光传到多个传感器。
[0078]在另一实现中，使用移除了 ND滤镜145的摄像机100来执行操作910，其中传感器图案210,220和230分别用于传感器120、130和140。摄像机100使用例如处理400执行操作910。
[0079]处理900包括从多个传感器创建HDR图像(920)。在至少一种实现中，操作920包括使用从多个传感器捕获的颜色值的第二集合创建HDR图像。在一些这种实现中，HDR图像包括高亮度区域组分和低亮度区域组分。
[0080]在另一实现中，由插入了 ND滤镜145的摄像机100来执行操作920，其中传感器图案210,220和230分别用于传感器120、130和140。摄像机100使用例如处理800执行操作920。处理900能够使用相同的传感器集合创建原生RGB图像和HDR图像两者。应该清楚的是，这也使得单个摄像机(包括传感器的集合和单个透镜组件)能够被用来捕获原生RGB和HDR图像两者。这种摄像机具有用来选择性地捕获用于在生成原生RGB图像或HDR图像时使用的数据的能力。
[0081]实现了涉及向处理900添加附加特征的多种实现。处理900的一些变形包括以下实现中的一个或多个特征。
[0082]在另一实现中，对处理900进一步进行限定，以使得所述多个传感器包括被配置为获得多种颜色且使用具有彼此不同的颜色图案的滤镜的三个传感器。
[0083]在另一实现中，对处理900进一步进行限定，以使得三种不同的颜色图案包括:⑴包括红(“R”)、绿(“G”)和蓝(“B”)的第一图案，(ii)包括R、G和B的第二图案，
(iii)包括R、G和B的第三图案。
[0084]在另一实现中，对处理900进一步进行限定，以使得创建HDR图像包括对颜色值的第二集合进行内插以使得HDR图像的多个像素位置具有R、G和B。
[0085]在另一实现中，对处理900进一步进行限定，以使得创建HDR图像包括对颜色值的第二集合进行内插以使得HDR图像的所有内部像素位置具有R、G和B。
[0086]在另一实现中，对处理900进一步进行限定，以使得HDR图像包括具有从第一图像中的相应位置得到的像素值的高亮度区域组分，以及包括具有从第二图像中的相应位置得到的像素值的低亮度区域组分。
[0087]在另一实现中，对处理900进一步进行限定，以使得(i)多个传感器包括Bayer图案传感器，(?)颜色值的第二集合包括从Bayer图案传感器捕获的颜色值，(iii)创建HDR图像包括创建高亮度区域组分，以及(iv)创建高亮度区域组分包括对从Bayer图案传感器捕获的颜色值的第二集合中的颜色值进行内插。
[0088]在另一实现中，对处理900进一步进行限定，以使得(i)多个传感器包括第一传感器和第二传感器，(?)第一和第二传感器被配置为获得多种颜色，(iii)创建HDR图像包括创建低亮度区域组分，以及(iv)创建低亮度区域组分包括从第二集合聚集捕获自第一传感器和第二传感器的R、G和B颜色值，以形成可使用五点算法内插的R、G和B图案。
[0089]在另一实现中，对处理900进一步进行限定，以使得创建低亮度区域组分还包括使用五点算法对所形成的R、G和B图案进行内插。
[0090]在另一实现中，对处理900进一步进行限定，以使得创建高亮度区域组分还包括在多个传感器中的至少一个前使用中性密度滤镜。
[0091]在另一实现中，对处理900进一步进行限定，以使得(i)多个传感器包括第一传感器、第二传感器和第三传感器，(?)第一传感器、第二传感器和第三传感器被配置为获得多种颜色，以及(iii)创建彩色图像还包括针对至少所述多个像素位置从第一集合聚集捕获自第一传感器、第二传感器和第三传感器的R、G和B颜色值。
[0092]在另一实现中，对处理900进一步进行限定，以使得第一传感器是Bayer图案传感器。
[0093]在另一实现中，对处理900进一步进行限定，以使得多个传感器包括不多于三个传感器。
[0094]在另一实现中，对处理900进一步进行限定，以使得颜色值的第一集合与颜色值的第二集合重叠。
[0095]在另一实现中，对处理900进一步进行限定，以使得三种颜色是相加色。
[0096]在另一实现中，对处理900进一步进行限定，以使得⑴三种颜色是R、G和B，以及(ii)彩色图像是RGB图像。
[0097]在另一实现中，由包括透镜组件和多个传感器的摄像机执行处理900。
[0098]在另一实现中，提供了一种装置，该装置包括被共同配置为执行处理900或处理900的变形的一个或多个处理器。
[0099]在另一实现中，提供了一种装置，该装置包括用于执行处理900或处理900的变形的操作的结构。所述结构包括例如一个或多个处理器。
[0100]在另一实现中，提供了一种处理器可读介质。处理器可读介质存储用于使得一个或多个处理器共同执行处理900或处理900的变形的指令。
[0101]在另一实现中，装置包括透镜组件和被布置为通过透镜组件接收光的多个传感器。可对从多个传感器捕获的颜色值的第一集合进行聚集，以针对多个像素位置提供三种颜色值。可对从多个传感器捕获的颜色值的第二集合进行内插，以提供HDR图像。所述装置可被用来执行例如处理900或处理900的变形。
[0102]在一种变形中，多个传感器包括第一传感器、第二传感器和第三传感器。第一传感器被配置为使用三色图案获得三种颜色。第二传感器使用与第一传感器的图案不同的三色图案。第三传感器使用与第一传感器的图案和第二传感器的图案不同的三色图案。
[0103]在一种变形中，HDR图像包括(i)高亮度区域组分，具有从第一图像中的相应位置得到的像素值，(ii)低亮度区域组分，具有从第二图像中的相应位置得到的像素值。第一传感器图案使得能够对从第一传感器捕获的颜色值进行内插，以针对高亮度区域组分的所有内部像素提供R、G和B颜色值。第二传感器图案和第三传感器图案使得能够对从第二传感器和第三传感器捕获的颜色值进行聚集并使用五点算法进行内插，以针对低亮度区域组分的所有内部像素提供R、G和B颜色值。第二传感器图案和第三传感器图案使得能够对从第一传感器、第二传感器和第三传感器捕获的颜色值进行聚集，以针对RGB图像的所有内部像素提供捕获的R、G和B颜色值。
[0104]在一种变形中，第二传感器图案是3/8的R、2/8的G和3/8的B。
[0105]在一种变形中，第三传感器图案是3/8的R、2/8的G和3/8的B。
[0106]在一种变形中，第二传感器图案和第三传感器图案进行组合，以提供从Bayer图案丢失的颜色。
[0107]在一种变形中，第一传感器的三色图案是Bayer图案。
[0108]在一种变形中，装置包括布置在透镜组件和多个传感器之一之间的中性密度滤镜。
[0109]在一种变形中，装置包括布置在透镜组件和第一传感器之间的中性密度滤镜。
[0110]在一种变形中，三种颜色是R、G和B，以及可对颜色值进行聚集以形成RGB图像。
[0111]图10提供了示出在处理和发送图像的过程中使用的发送系统的示例的框图。参见图10，示出了一种视频发送系统或装置1600，其中上述特征和原理可以应用到该视频发送系统或装置1600。视频发送系统或装置1600可以是例如头端或用于使用多种媒介(比如卫星、电缆、电话线或陆地广播)中的任意一种发送信号的发送系统。视频发送系统或装置1600还(或备选地)可被用来例如提供用于存储的信号。可以在因特网或一些其它网络上提供所述发送。视频发送系统或装置1600能够生成并递送例如视频内容和其他内容(比如元数据)。还应清楚的是，图10中的方框除了提供了视频发送系统或装置的框图之外，还提供了视频发送处理的流程图。
[0112]视频发送系统或装置1600从处理器1601接收输入的视频。在一种实现中，处理器1601简单地向视频发送系统或装置1600提供视频图像，比如来自节目的图像。然而，在另一实现中，作为备选或附加，处理器1601向视频发送系统或装置1600提供来自其它源的内容。处理器1601还可向视频发送系统或装置1600提供元数据，其中元数据与例如一个或多个输入的图像有关，并且可以包括例如对用来编码所述数据的编码方法的描述。
[0113]视频发送系统或装置1600包括编码器1602和能够发送编码信号的发射机1604。编码器1602从处理器1601接收视频信息。视频信息可包括例如视频图像和/或其它内容。编码器1602基于视频和/或其它信息生成编码信号。在多种实现中，编码器1602是源编码器、信道编码器、或源编码器和信道编码器的组合。在多种实现中，编码器1602是例如AVC编码器(本申请中其它地方已定义)。
[0114]编码器1602可以包括子模块，其中包括例如用于接收多段信息并将其聚集到用于存储或发送的结构化格式中的聚集单元。所述多段信息可包括例如编码或未编码的视频、其它内容、元数据或信息、以及多种元素(比如运动向量、编码模式指示符和句法元素)。在一些实现中，编码器1602包括处理器1601并因此执行处理器1601的操作。
[0115]发射机1604从编码器1602接收编码信号并在一个或多个输出信号中发送编码信号。发射机1604可以是例如适于发送具有表示编码图像和/或与之相关的信息的一个或多个比特流的节目信号。通常的发射机执行诸如以下中的一项或多项的功能:提供纠错编码(作为备选或附加，其可在编码器1602中执行)，交织信号中的数据(作为备选或附加，其可在编码器1602中执行)，对信号中的能量进行随机化，以及使用调制器1606将信号调制到一个或多个载波上。发射机1604可以包括天线(未示出)或与天线对接。此外，发射机1604的实现可限于调制器1606。
[0116]视频发送系统或装置1600还通信耦合到存储单元1608。在一种实现中，存储单元1608耦合到编码器1602并且可选地向发射机1604提供存储的比特流。在另一实现中，存储单元1608耦合到发射机1604并存储来自发射机1604的比特流。来自发射机1604的比特流可包括例如已经由发射机1604进一步处理的一个或多个编码比特流。在不同的实现中，存储单元1608是标准DVD、蓝光盘、硬盘或一些其它存储设备中的一个或多个。
[0117]图10还包括用户接口 1610和显示器1620，两者都通信耦合到处理器1601。处理器1601通信耦合到用于接受来自例如操作者的输入的用户接口 1610。处理器1601通信耦合到用于显示例如数字图像的显示器1620。在多种实现中，在由处理器1601处理之前、期间和/或之后，对图像进行显示。
[0118]在多种实现中，显示器1620包括用户接口 1610。一种实现针对用户接口 1610和显示器1620都使用触摸屏。
[0119]图11提供了示出在接收和处理图像的过程中使用的接收系统的示例的框图。参见图11，示出了一种视频接收系统或装置1700，其中上述特征和原理可以应用到该视频接收系统或装置1700。视频接收系统或装置1700可被配置为通过多种媒介(比如卫星、电缆、电话线或陆地广播)接收信号。可以在因特网或一些其它网络上接收信号。还应清楚的是，图11中的方框除了提供了视频接收系统或装置的框图之外，还提供了视频接收处理的流程图。
[0120]视频接收系统或装置1700可以包括例如手机、计算机、平板、路由器、网关、机顶盒、电视或接收编码视频并提供例如用于显示(例如，向用户显示)、处理或存储的解码视频信号的其它设备。从而，视频接收系统或装置1700可将其输出提供到例如电视屏幕、手机屏幕、平板屏幕、计算机显示器、计算机(用于存储、处理或显式)或一些其它的存储、处理或显式设备。
[0121]视频接收系统或装置1700能够接收并处理视频信息。视频信息可以包括例如视频图像、其它内容和/或元数据。视频接收系统或装置1700包括用于接收编码信号(比如本申请的实现中描述的信号)的接收机1702。接收机1702可以接收例如⑴为节目中的图像序列提供编码层的信号，或(ii)从图10的视频发送系统1600(例如从存储单元1608或发射机1604)输出的信号。
[0122]接收机1702可以是例如适于接收具有表示编码图像(例如视频图像或深度图像)的多个比特流的节目信号。通常的接收机执行诸如以下中的一项或多项的功能:接收经过调制和编码的数据信号，使用解调器1704对来自一个或多个载波的数据信号进行解调，对信号中的能量进行去随机化，解交织信号中的数据(作为备选或附加，其可在解码器中执行)，对信号进行纠错解码(作为备选或附加，其可在解码器中执行)。接收机1702可以包括天线(未示出)或与天线对接。接收机1702的实现可限于解调器1704。
[0123]视频接收系统或装置1700包括解码器1706。在多种实现中，解码器1706是源解码器、信道解码器、或源解码器和信道解码器的组合。在一种实现中，解码器1706包括图1中的信道解码器155和源解码器160。
[0124]接收机1702向解码器1706提供接收的信号。由接收机1702提供到解码器1706的信号可包括一个或多个编码比特流。解码器1706输出解码信号，比如包括视频信息、其他内容或元数据的解码视频信号。解码器1706可以是例如AVC解码器(本申请中其它地方已定义)O
[0125]视频接收系统或装置1700还通信耦合到存储单元1707。在一种实现中，存储单元1707耦合到接收机1702，以及接收机1702接入来自存储单元1707的比特流和/或将所接收的比特流存储到存储单元1707。在另一实现中，存储单元1707耦合到解码器1706，以及解码器1706接入来自存储单元1707的比特流和/或将解码比特流存储到存储单元1707。在不同实现中，从存储单元1707接入的比特流包括一个或多个编码比特流。在不同的实现中，存储单元1707是标准DVD、蓝光盘、硬盘或一些其它存储设备中的一个或多个。
[0126]在一种实现中，将来自解码器1706的输出视频提供到处理器1708。在一种实现中，处理器1708是被配置用于呈现解码数字图像的处理器。在一些实现中，解码器1706包括处理器1708并且因此执行处理器1708的操作。在其它实现中，处理器1708是下游设备(比如机顶盒或电视)的一部分。
[0127]图11还包括用户接口 1710和显示器1720，两者都通信耦合到处理器1708。处理器1708通信耦合到用于接受来自例如家中的用户或电缆集线器处的操作者的输入的用户接口 1710。处理器1708通信耦合到用于显示例如数字图像的显示器1720。在多种实现中，在由处理器1708处理之前、期间和/或之后，对图像进行显示。
[0128]在多种实现中，显示器720包括用户接口 1710。一种实现针对用户接口 1710和显示器1720都使用触摸屏。此外，进一步的实现将用户接口 1710和/或显示器1720包括在视频接收系统1700中。
[0129]在多种实现中，图10-11能被用来执行处理400、800和/或900中的全部或部分以及关于处理900所描述的任意附加特征。在多种这样的实现中，处理器1601和/或1708能够接收来自摄像机的图像信息或可被集成到摄像机中。
[0130]在多种实现中，显示器1620和/或显示器1720包括以下中的一项或多项:计算机显示器、膝上显示器、平板显示器、手机显示器、电视显示器、或本申请中提及的或本领域已知的任意其它类型的显示器，其中包括可在任意表面(比如墙壁、屋顶、地板或走廊)上可见的投影显示器。
[0131]在多种实现中，用户接口 1610和/或用户接口 1710包括以下中的一项或多项:鼠标、追踪板、键盘、触摸屏、用于接受由处理器1601和/或处理器1708解译的语音命令的麦克风、远程控制、收集、远程或本地的单独计算机、或本申请中提及的或本领域已知的任意其它输入设备。
[0132]在多种实现中，存储设备1608和/或存储设备1707包括本申请中提及的或本领域已知的存储设备中的任意存储设备。
[0133]在多种实现中，编码器1602包括AVC或H.264编码器(本申请中其它地方已定义)、用于任意其它标准的编码器、或本申请中提及的或本领域已知的任意其它编码设备。
[0134]在多种实现中，发射机1604包括任意集成电路的输出管脚、通用异步接收机/发射机(UART)、广播发射机、卫星发射机、电缆发射机或本申请中提及的或本领域已知的任意其它发送设备。发射机1604可以例如适于发送具有表示编码图像和/或与之相关的信息的一个或多个比特流的节目信号。通常的发射机执行诸如以下中的一项或多项的功能:提供纠错编码(作为备选或附加，其可在编码器1602中执行)，交织信号中的数据(作为备选或附加，其可在编码器1602中执行)，对信号中的能量进行随机化，以及使用调制器将信号调制到一个或多个载波上。发射机1604可以包括天线(未示出)或与天线对接。此外，发射机1604的实现可限于调制器。
[0135]本申请提供了多个附图，包括图2_3和5_7中的不意图、图4和8_9中的流程图以及图1和图10-11中的框图。如在下面的示例中简要说明的一样，这些附图中的每一个为多个实现提供公开。
[0136]作为第一示例，注意到示意图确定地示出多个传感器图案。然而，还应清楚的是，示意图描述一个或多个处理流程。例如，至少图3和5还描述了从各个传感器确定组合图案的处理。此外，至少图6-7还描述了内插丢失的颜色值的处理。
[0137]作为第二示例，注意到流程图确定地描述了流程处理。然而，还应清楚的是，流程图提供用于执行流程处理的系统或装置的功能方框之间的互连。例如，图8还呈现了用于执行处理800的功能的框图。例如，(i)参考元素810还表示用于执行捕获传感器数据的功能的方框，(?)参考元素820表示用于执行内插功能的方框，以及(iii)元素810和820之间的互连表示用于捕获传感器数据的组件和用于在捕获的传感器数据上执行内插的组件之间的耦合。通过描述该系统/装置可以类似地解释图8的其它方框。
[0138]作为第三示例，注意到框图确定地描述装置或系统的功能方框的互连。然而，还应清楚的是，框图提供对各种处理流程的描述。例如，图1还呈现了用于执行包括图1的方框的功能的各种处理的流程图。例如，(i)传感器120、130和140还表示用于执行捕获传感器数据的处理操作的方框，(ii)ND滤镜145还表示用于执行中性密度过滤的处理操作的方框，以及(iii)ND滤镜145和第一传感器120之间的互连表示将过滤的图像提供到传感器进行数据捕获的处理操作。通过描述该流程处理可以类似地解释图1的其它方框。
[0139]从而，本文提供了多种实现。但应该注意的是，还设想了所描述的实现的变形以及附加应用，并认为它们都在本公开的范围内。此外，所描述的实现的特征和方面可以适于其它实现。
[0140]作为一些设想的变形的一个示例，一些实现在单个摄像机中包括两个不同的传感器阵列。传感器的第一阵列用来捕获用于生成原生RGB图像的数据。传感器的第二阵列用来捕获用于生成RGB图像的数据。分束器可被控制为将光指向传感器的第一阵列或传感器的第二阵列。
[0141]作为一些设想的变形的另一示例，一些实现向图1的配置添加一个或多个传感器。一个或多个添加的传感器捕获用来生成HDR图像或用来生成原生RGB图像(但不生成两者)的数据。
[0142]作为一些设想的变形的另一示例，一些实现提供是原生RGB和HDR两者的输出图像。这通过例如在图1的配置中使用第四传感器来实现。第四传感器是例如Bayer图案传感器，并且与传感器130和140 —起使用，以产生原生RGB图像。传感器120用来提供将被插入到例如从其它三个传感器创建的原生RGB图像中的高亮度区域组分。
[0143]作为一些设想的变形的另一示例，一些实现可提及自动化的或可自动执行的特征。然而，这种实现的变形不是自动化的和/或不自动地执行特征中的全部或一些。
[0144]作为一些设想的变形的另一示例，一些实现是在数字图像的语境中描述的。例如，传感器120、130和140能够捕获数字图像数据。然而，其它实现使用传感器来捕获可以以模拟格式存储和/或处理的模拟数据。当然，在多种实现中还将模拟信息转换为数字信息。
[0145]作为一些设想的变形的另一示例，在多种实现中，传感器图案颜色指示应用于像素。然而，在其它实现中，颜色指示应用于另一大小的区域，比如子像素、分区、宏块或切片。
[0146]一些实现能够选择性地插入或移除ND滤镜。一个这样的实现是摄像机100，其可以选择性地移除和插入ND滤镜145。通过例如使用允许用户人工插入和移除ND滤镜145的插槽来完成插入和/或移除(即对滤镜的控制)。在另一实现中，ND滤镜145集成到摄像机100，摄像机100包括用于控制集成的ND滤镜145的开关(例如人工的或电子的)。开关通过例如将集成的ND滤镜145的位置放置在第一传感器120之前或不在之前来进行操作。其它实现还提供了与ND滤镜不同的滤镜，该滤镜也通过类似的方式来控制。
[0147]多种实现描述了提供HDR图像，其中在相同时间点捕获所有亮度组分。例如对使用摄像机100的操作410的实现将通常针对传感器120、130和140中的每一个在相同时间点在传感器120、130和140处捕获图像数据。从而，通常的实现将使用来自第一传感器120的图像数据来生成高亮度区域数据，并且将使用来自传感器130和140的图像数据来生成低亮度区域数据。然而，由于高亮度区域数据和低亮度区域数据是从在相同时间点捕获的图像数据生成的，所以高亮度区域数据和低亮度区域数据也与相同时间点相关联。然而，其它实现在不同的时间点捕获针对HDR图像的图像数据。类似地，对于多个实现，为了产生原生RGB图像而捕获的图像数据是在相同时间点捕获的，但对于其它实现则是在不同时间点捕获的。
[0148]本申请中描述的一些实现和特征可用于AVC标准、和/或具有MVC(多视图视频编码)扩展的AVC(附录H)、和/或具有SVC(可缩放视频编码)扩展的AVC(附录G)。此外，这些实现和特征可用于另一标准(现有的或将来的)的语境中或用于不涉及标准的语境中。注意的是，AVC指的是现有的国际标准组织/国际电子技术委员会(“IS0/IEC”移动图像专家组_4( “MPEG-4”))部分10高级视频编码(“AVC”)标准/国际电信联盟电信部(“ ITU-T” ) H.264推荐(本文中，被称作“H.264/MPEG-4AVC标准”或其变形，比如“AVC标准'“H.264标准”或简单地是“AVC”或“H.264”)。
[0149]对本原理的“一个实施例”或“实施例”或“一个实现”或“实现”以及其它的变形的提及意味着结合实施例描述的具体特征、结构、特性等被包括在本原理的至少一个实施例中。从而，短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任意其它变形在说明书中的多个地方的出现不必都指相同的实施例。
[0150]此外，本申请或其权利要求可提及“确定”多段信息。确定信息可包括例如以下中的一项或多项:估计信息、计算信息、预测信息或从存储器获取信息。
[0151]此外，本申请或其权利要求可提及“访问”多段信息。访问信息可包括例如以下中的一项或多项:接收消息、获取信息(例如存储器)、存储信息、处理信息、发送信息、移动信息、拷贝息、擦除息、计算息、确定息、预测息或估计息。
[0152]此外，本申请或其权利要求可提及“接收”多段信息。接收与“访问”一样都是广义的术语。接收信息可包括例如以下中的一项或多项:访问信息或获取信息(例如从存储器)。
[0153]此外，在诸如以下各项的操作期间通常都会涉及“接收”:存储信息、处理信息、发送信息、移动信息、拷贝信息、擦除信息、计算信息、确定信息、预测信息或估计信息。
[0154]多种实现提及“图像”和/或“图片”。术语“图像”和“图片”在本文中可互换使用，并且是广义的术语。“图像”或“图片”可以是例如帧或字段的全部或部分。术语“视频”指的是图像(或图片)序列。图像或图片可包括例如多种视频组分中的任意一个或它们的组合。这种组分或它们的组合包括例如亮度、色度、(YUV或YCbCr或YPbPr中的)Y、(YUV中的)U、(YUV 中的)V、(YCbCr 中的)Cb、(YCbCr 中的)Cr、(YPbPr 中的)Pb、(YPbPr 中的)Pr、(RGB中的)红、(RGB中的)绿、(RGB中的)蓝、S-视频以及任意这些分量的正值或负值。“图像”或“图片”还(或备选地)可指多种不同类型的内容，其中包括例如通常的二维视频、2D视频图片的视差图、对应于2D视频图片的深度图、或边缘图。“图像”或“图片”还指例如由传感器捕获的数据集合或指在对这样的数据集合进行处理后的输出。这种处理包括例如对数据集合进行过滤、对数据集合进行内插和/或将数据集合与另一数据集合合并。
[0155]此外，许多实现可以提及“帧”。然而，这种实现被假定为同样地适用于“图片”或“图像”。此外，各种实现提供不同于RGB图像的图像。具体地，多个实现使用不同于RGB的三个相加色的集合。例如，红、绿和蓝具有特殊的频率，其它实现将这些频率移位到与红、绿和蓝不同的三个不同颜色。还由其它的实现只将一种或两种颜色移位。在这些实现中，三种颜色仍能加在一起来产生其它颜色(正如一般使用RGB进行的那样)。还有其它的实现使用相减色，并且这种实现不使用RGB，而是使用例如CMY (青、品红、黄)。还有其它的实现基于色差，并且这种实现不使用RGB，而是使用例如YUV或YPbPr。
[0156]“深度图”、“视差图”或“边缘图”或类似的术语也是广义的术语。图一般指例如包括特殊类型的信息的图。然而，图可以包括未由其名称所指示的其它类型的信息。例如，深度图通常包括深度信息，但还可包括其它信息(比如视频或边缘信息)。
[0157]本应用在多个实现中提及了“编码器”和“解码器”。应该清楚的是，编码器可以包括例如一个或多个(或不包括任何)源编码器和/或一个或多个(或不包括任何)信道编码器，以及一个或多个(或不包括任何)调制器。类似地，应清楚的是，解码器可以包括例如一个或多个(或不包括任何)调制器以及一个或多个(或不包括任何)信道编码器和/或一个或多个(或不包括任何)源编码器。
[0158]应认识到，“/”、“和/或”和“......中的至少一个”中任一个的使用，例如在“A/
B”/“A和/或B”和“A和B中的至少一个”的情况下，意在包括仅选择第一个所列选项(A)、仅选择第二个所列选项(B)、或选择两个选项(A和B)。作为另一示例，在“A、B和/或C”以及“A、B和C中的至少一个”以及“A、B或C中的至少一个”的情况下，这样的表示意在包括仅选择第一个所列选项(A)、仅选择第二个所列选项(B)、仅选择第三个所列选项(C)、仅选择第一个和第二个所列选项(A和B)、仅选择第一个和第三个所列选项(A和C)、仅选择第二个和第三个所列选项(B和C)、或选择所有三个选项(A和B和C)。对于本领域和相关领域的普通技术人员来讲显而易见的是，所列的选项的数量是可以扩展的。
[0159]此外，许多实现可以在处理器(例如，后处理器或预处理器)中实现。在多种实现中，本申请中讨论的处理器包括被统一配置为执行例如处理、功能或操作的多个处理器(子处理器)。例如，在多种实现中，处理器150、1601和1708以及诸如编码器1602、发射机1604、接收机1702和解码器1706的其它处理组件可以包括多个被统一配置为执行该组件的操作的子处理器。
[0160]本文描述的实现可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现的语境中进行讨论(例如，仅讨论了方法)，所讨论的特征的实现同样可以以其他形式来实现(例如，装置或程序)。装置可以以例如合适的硬件、软件和固件来实现。方法可以例如以诸如处理器之类的装置来实现，所述处理器指的是一般的处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，例如，计算机、蜂窝电话、平板电脑、便携式/个人数字助理(“PDA”)以及便于在终端用户之间传送信息的其他设备。
[0161]本文描述的各种过程和特征的实现可以体现在多种不同的设备或应用中。这种设备的示例包括编码器、解码器、后处理器、预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、电视、机顶盒、路由器、网关、调制解调器、膝上计算机、个人数字电脑、平板电脑、蜂窝电话、PDA以及其他通信设备。应清楚，设备可以是移动的和甚至安装在移动车辆中的。
[0162]此外，方法可以由处理器执行的指令来实现，这样的指令(或由实现产生的数据值)可以存储在处理器可读介质上，例如，集成电路、软件载体或其他存储设备，例如，硬盘、压缩盘(“CD”)、光盘(例如，DVD，通常称作数字通用盘或数字视频盘)、随机存取存储器(“RAM”)、或只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或其组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以表征为用于执行处理的设备和包括处理器可读介质的设备(如，存储设备)，所述可读介质具有用于执行所述处理的指令。此外，除了指令之外或代替指令，处理器可读介质可以存储由实现产生的数据值。
[0163]本领域技术人员将清楚，实现可以产生多种信号，所述信号被格式化以承载可以例如存储或发送的信息。信息可以包括例如用于执行方法的指令或者由上述实现之一产生的数据。例如，信号可以被格式化以将用于执行平滑操作的代码作为数据来承载，或将通过执行平滑操作而产生的实际平滑后的立体视频序列作为数据来承载。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或格式化为基带信号。格式化可以包括例如对数据流进行编码并用编码的数据流来调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的那样，可以在多种不同的有线或无线链路上传输信号。信号可以存储在处理器可读介质上。
[0164]描述了多种实现。然而，将理解的是，可以做出各种修改。例如，可以对不同实现的元素进行组合、补充、修改或移除以产生其他实现。此外，本领域技术人员将理解，可以用其他结构和过程来替代所公开的过程，相较于所公开的实现，得到的实现将至少以大致相同的方式执行大致相同的功能以达到大致相同的结果。因此，本申请覆盖这些和其他实现。
【权利要求】
1.一种方法，包括: 使用捕获自多个传感器的颜色值的第一集合创建彩色图像，其中彩色图像的多个像素位置具有针对三种颜色的颜色值，三种颜色值是从所述多个传感器捕获的，以及透镜组件将光传到所述多个传感器；以及 使用捕获自所述多个传感器的颜色值的第二集合创建高动态范围“HDR”图像。
2.根据权利要求1所述的方法，其中所述多个传感器包括被配置为获得多种颜色且使用具有彼此不同的颜色图案的滤镜的三个传感器。
3.根据权利要求1-2中的任一项所述的方法，其中三个不同的颜色图案包括:(i)包括红“R”、绿“G”和蓝“B”的第一图案，(ii)包括R、G和B的第二图案，(iii)包括R、G和B的第二图案。
4.根据权利要求1-3中的任一项所述的方法，其中创建HDR图像包括对颜色值的第二集合进行内插以获得针对HDR图像的多个像素位置的R、G和B。
5.根据权利要求1-4中的任一项所述的方法，其中创建HDR图像包括对颜色值的第二集合进行内插以获得针对HDR图像的所有非边缘像素位置的R、G和B。
6.根据权利要求1-5中的任一项所述的方法，其中HDR图像包括: 高亮度区域组分，具有从第一图像中的相应位置得到的像素值；以及 低亮度区域组分，具有从第二图像中的相应位置得到的像素值。
7.根据权利要求6所述的方法，其中: 所述多个传感器包括Bayer图案传感器， 颜色值的第二集合包括捕获自Bayer图案传感器的颜色值， 创建HDR图像包括创建高亮度区域组分，以及 创建高亮度区域组分包括对捕获自Bayer图案传感器的颜色值的第二集合中的颜色值进行内插。
8.根据权利要求6或7所述的方法，其中 所述多个传感器包括第一传感器和第二传感器， 第一和第二传感器被配置为获得多种颜色， 创建HDR图像包括创建低亮度区域组分，以及 创建低亮度区域组分包括从第二集合聚集捕获自第一传感器和第二传感器的R、G和B颜色值，以形成能够使用五点算法内插的R、G和B图案。
9.根据权利要求8所述的方法，其中: 创建低亮度区域组分还包括使用五点算法对所形成的R、G和B图案进行内插。
10.根据权利要求7-9中的任一项所述的方法，其中创建高亮度区域组分还包括在所述多个传感器中的至少一个传感器前使用中性滤镜。
11.根据权利要求1-10中的任一项所述的方法，其中: 所述多个传感器包括第一传感器、第二传感器和第三传感器， 第一传感器、第二传感器和第三传感器被配置为获得多种颜色，以及 创建彩色图像还包括针对至少所述多个像素位置从第一集合聚集捕获自第一传感器、第二传感器和第三传感器的R、G和B颜色值。
12.根据权利要求11所述的方法，其中第一传感器是Bayer图案传感器。
13.根据权利要求1-12中的任一项所述的方法，其中所述多个传感器包括不多于三个传感器。
14.根据权利要求1-13中的任一项所述的方法，其中颜色值的第一集合与颜色值的第二集合重叠。
15.根据权利要求1-14中的任一项所述的方法，其中三种颜色是相加色。
16.根据权利要求1-15中的任一项所述的方法，其中: 三种颜色是R、G和B，以及 彩色图像是RGB图像。
17.根据权利要求1-16中的任一项所述的方法，其中所述方法由包括所述透镜组件和所述多个传感器在内的摄像机来执行。
18.一种方法，包括: 使用捕获自多个传感器的颜色值的第一集合创建红-绿-蓝“RGB”图像，其中RGB图像的多个像素位置具有针对捕获自所述多个传感器的红“R”、绿“G”和蓝“B”的颜色值，以及透镜组件将光传至所述多个传感器；以及 使用捕获自所述多个传感器的颜色值的第二集合创建高动态范围“HDR”图像。
19.一种装置，包括一个或多个处理器，该一个或多个处理器共同被配置为执行: 使用捕获自多个传感器的颜色值的第一集合创建彩色图像，其中彩色图像的多个像素位置具有针对三种颜色的颜色值，三种颜色值捕获自所述多个传感器，以及透镜组件将光传至所述多个传感器；以及 使用捕获自所述多个传感器的颜色值的第二集合创建HDR图像。
20.一种装置，包括: 用于使用捕获自多个传感器的颜色值的第一集合创建彩色图像的装置，其中彩色图像的多个像素位置具有针对三种颜色的颜色值，三种颜色值捕获自所述多个传感器，以及透镜组件将光传至所述多个传感器；以及 用于使用捕获自所述多个传感器的颜色值的第二集合创建HDR图像的装置。
21.一种具有存储在其上的指令的处理器可读介质，所述指令用于使得一个或多个处理器共同执行: 使用捕获自多个传感器的颜色值的第一集合创建彩色图像，其中彩色图像的多个像素位置具有针对三种颜色的颜色值，三种颜色值捕获自所述多个传感器，以及透镜组件将光传至所述多个传感器；以及 使用捕获自所述多个传感器的颜色值的第二集合创建HDR图像。
22.—种装置，包括: 透镜组件；以及 多个传感器，被布置为通过所述透镜组件接收光，其中: 能够聚集捕获自所述多个传感器的颜色值的第一集合，以提供针对多个像素位置的三种颜色值，以及 能够对捕获自多个传感器的颜色值的第二集合进行内插，以提供HDR图像。
23.根据权利要求22所述的装置，其中: 所述多个传感器包括第一传感器、第二传感器和第三传感器， 第一传感器被配置为使用三色图案获得三种颜色， 第二传感器使用与第一传感器的图案不同的三色图案，以及 第三传感器使用与第一传感器的图案和第二传感器的图案不同的三色图案。
24.根据权利要求23所述的装置，其中: HDR图像包括⑴高亮度区域组分，具有从第一图像中的相应位置得到的像素值，以及(?)低亮度区域组分，具有从第二图像中的相应位置得到的像素值， 第一传感器图案使得能够对捕获自第一传感器的颜色值进行内插，以便为高亮度区域组分的所有内部像素提供R、G和B颜色值， 第二传感器图案和第三传感器图案使得能够对捕获自第二传感器和第三传感器的颜色值进行聚集并使用五点算法进行内插，以便为低亮度区域组分的所有内部像素提供R、G和B颜色值，以及 第二传感器图案和第三传感器图案使得能够对捕获自第一传感器、第二传感器和第三传感器的颜色值进行聚集，以便为RGB图像的所有内部像素提供捕获的R、G和B颜色值。
25.根据权利要求23-24中的任一项所述的装置，其中: 第二传感器图案是3/8的R、2/8的G和3/8的B。
26.根据权利要求23-25中的任一项所述的装置，其中: 第三传感器图案是3/8的R、2/8的G和3/8的B。
27.根据权利要求23-26中的任一项所述的装置，其中: 第二传感器图案和第三传感器图案进行组合，以提供Bayer图案缺失的颜色。
28.根据权利要求22-27中的任一项所述的装置，其中: 第一传感器的三色图案是Bayer图案。
29.根据权利要求22-28中的任一项所述的装置，还包括布置在所述透镜组件和所述多个传感器之一之间的中性滤镜。
30.根据权利要求23-29中的任一项所述的装置，还包括布置在所述透镜组件和第一传感器之间的中性滤镜。
31.根据权利要求22-30中的任一项所述的装置，其中: 三种颜色是R、G和B，以及能够对颜色值进行聚集以形成RGB图像。
【文档编号】H04N5/235GK104285434SQ201380025073
【公开日】2015年1月14日 申请日期:2013年5月17日 优先权日:2012年5月18日
【发明者】皮尔·休斯·鲁蒂埃, 蒂埃里·博雷尔 申请人:汤姆逊许可公司