定实施例与用于估计与图4的视图相关联的视差信息 的候选视差值相关联的代价函数；
[0045] 图7图表式地示出了根据本发明的特定实施例实施估计图3的视图的至少一部分 的视差信息的方法的装置；
[0046] 图8示出了根据本发明的特定实施例估计图3的视图的至少一部分的视差信息的 方法。
【具体实施方式】
[0047]将参照确定与场景的第一视图的一个或多个像素相关联的视差信息的特定实施 例描述本发明。第一视图有利地属于包括根据不同的视角的相同场景的多个视图的矩阵， 多个视图产生于对用全光相机获取的原始图像的解复用。矩阵中不同于第一视图的视图被 称为第二视图。这些视图有利地没有去马赛克，即，至多一个单一色彩分量（属于色彩空 间，如RGB色彩空间）与第一和第二视图的每个像素相关联。在第一步中，将第一视图的第 一像素块的色彩模式与视图矩阵中属于包括第一视图的行或列的一个或多个第二视图的 一个或多个第二像素块的色彩模式相比较。在第二步中，选择其色彩模式至少部分地与第 一块的色彩模式相匹配的第二块，并且通过使用所选的第二块和第一块来确定与第一块相 关联（即与第一块的居中像素相关联）的视差信息。
[0048]使用第二视图和第一视图中至少部分地匹配的像素块使得能够以高品质估计在 被解复用但没有被去马赛克的视图上的视差。
[0049]图1示出了根据本发明的特定的和非限制的实施例的全光相机1。全光相机1由 与光传感器阵列13(也被称为图像传感器阵列13)相关联的透镜布置组成。光传感器阵列 13包括大量（m个）以X列和Y行的矩阵的形式被排列的光传感器131、132、133到lm，m 与X乘以Y相对应。每个光传感器与用光传感器阵列获取的场景的原始图像的一个像素相 对应，每个像素覆盖场景的一部分（也被称为一个点）。为了说明的目的，光传感器阵列13 被示出有相对少量的光传感器131到lm。当然，光传感器的数量不限于图1的说明，而可以 扩展至任意数量的光传感器，例如数千或数百万光传感器，例如1240万像素，一个像素与 一个光传感器相对应（如与4088x3040像素/光传感器的矩阵或阵列相对应）。与单一微 透镜光学地相关联的多个光传感器中的每个光传感器能够获取表示根据一个视角的场景 的一个像素的原始数据。色彩滤波阵列（CFA) 12被布置在光传感器阵列13上。CFA12通 常在光传感器阵列上布置RGB(红色、绿色和蓝色）色彩滤波器，RGB布置以拜耳滤波马赛 克的形式为例。根据预定的模式（在拜耳滤波的示例中，该模式包括50%绿色、25%红色和 25%蓝色，这样的模式也被称为RGBG、GRGB或RGGB模式），一个色彩滤波器（红色、绿色或 蓝色滤波器）有利地与一个光传感器相关联。透镜布置包括主要的透镜10 (也被称为主透 镜）和小透镜阵列11，小透镜阵列11包括多个（n个）微透镜111、112、ln，n是大于或等于 2的正整数。微透镜lll、112、ln以每个微透镜与多个光传感器光学地相关联这样的方式被 布置。微透镜与光传感器的光学关联意味着穿过给定微透镜的光线至少到达一个与此给定 微透镜光学地相关联的光传感器。与一个微透镜光学地相关联的光传感器的数量与用全光 相机1获取的场景的视图的数量相对应。为了说明的目的，小透镜阵列11被示出有相对少 量的微透镜，但是微透镜的数量可以扩展至多达数千或者甚至一百万或数百万微透镜。为 了获得不同的视图，原始图像（即用光传感器阵列13获取的色彩传感器数据）被解复用然 后被去马赛克。在解复用步骤后，RGB图像数据值在每个视图的每个像素位置处被获得。
[0050]间隙有利地在小透镜阵列11和设定色彩滤波阵列12/传感器阵列13之间被形 成。间隙可以由空气、具有指数n(例如玻璃层）的光学材料、或者包括至少一层空气层和 至少一个光学材料层的多层组成。使用玻璃层形成间隙的优势在于使小透镜阵列在每个位 置都与光传感器阵列保持相同的距离并且当需要的时候减少此距离。如果d是小透镜阵列 的输出与光传感器阵列之间根据纵轴的距离，那么在小透镜阵列和传感器阵列之间具有由 具有指数n(n> 1，例如n= 1.5)的光学材料组成的层使得能够将距离设置为d/n而不用 修改d。通过适应/修改形成间隙的层的光学材料的指数，适应/修改表示小透镜阵列和 光传感器阵列之间的距离的参数而不用修改距离d是可能的。根据一个实施例，小透镜阵 列11被放置和调整在距离光传感器阵列13大约一个焦距f(即焦距±5% )处，其中f?是 微透镜的焦距。小透镜阵列11聚焦在主透镜10的相平面并且小透镜阵列11的微透镜聚 焦在无穷远处。根据另一实施例，为了增加或最大化空间分辨率，即为了实现微透镜图像的 更清晰的、更高的空间分辨率，微透镜聚焦在由全光相机1的全光光学透镜内的主透镜创 建的图像上并且聚焦在小透镜阵列11前面（即在小透镜阵列11和主透镜10之间），而不 是聚焦在主透镜它本身上。根据此实施例，小透镜阵列11可以位于距光传感器阵列13的 距离大于f或小于f处。例如，小透镜阵列11可以被放置在距光传感器阵列13的距离为 4/3f处，或被放置在距光传感器阵列13的距离是f的倍数的处其它距离，例如0. 5f、l. 5f 或 3/4f。
[0051] 当然，在光传感器阵列13上的色彩滤波器的布置不限于RGGB模式。根据变体，预 定的模式可以是绿色滤波器之一被修改为"翠绿色"的RGBE模式（针对一块四色滤波器）； 可以是具有一个"青色"滤波器、两个"黄色"滤波器和一个"品红色"滤波器的CYYM模式 (针对一块四色滤波器）；可以是具有一个"青色"滤波器、一个"黄色"滤波器、一个"绿色" 滤波器和一个"品红色"滤波器的CYGM模式；可以是具有一个"红色"滤波器、一个"绿色" 滤波器、一个"蓝色"滤波器和一个"白色"滤波器的RGBW模式，一些布置是可能的（例如， 被布置在一块四色滤波器上，左上角滤波器为"白色"、右上角滤波器为"红色"、左下角滤波 器为"蓝色"以及右下角滤波器为"绿色"；或者被布置在一块4x4色彩滤波器上，第一行为 "白色"、"蓝色"、"白色"、"绿色"，第一行下面的第二行为"蓝色"、"白色"、"绿色"、"白色"，第 二行下面的第三行为"白色"、"绿色"、"白色"、"红色"以及第三行下面的第四行为"绿色"、 "白色"、"红色"、"白色"）。
[0052] 图2示出了根据本发明的特定的和非限制的实施例用全光相机1获取的原始图 像2。原始图像2由像素的矩阵形成，像素的数量与用于获取原始图像2的光传感器阵列 的光传感器的数量相对应。一个单一色彩分量与图像的每个像素相关联。在图2的非限制 的示例中，与每个像素相关联的单一色彩分量是R、G或B(红色、绿色或蓝色）。与原始图 像的给定像素相关联的单一色彩分量取决于与用于获取到达光传感器的光的数量的光传 感器相关联的色彩滤波器。光的数量用表示水平的值表达，如用8位（与像素相关联的值， 被包括在〇和255之间）或10位（被包括在0和1023之间的值）或更多位对该值进行编 码。表示到达与色彩滤波器相关联的光传感器的光的数量的值与原始图像（与光传感器相 对应）的像素相关联并且该值表示与像素相关联的色彩分量（与色彩滤波器相对应）的水 平。图2上示出的色彩模式是RGGB(红色、绿色、绿色、蓝色），即对于以两行两列排列的4 像素（21到24)块来说，左上角像素21与红色色彩分量相关联，右上角像素22与绿色色彩 分量相关联，左下角像素23与绿色色彩分量相关联以及右下角像素24与蓝色色彩分量相 关联。当然，色彩模式依赖于CFA的色彩滤波器的布置并且可能与上述色彩模式不同。图 2上示出了一组微透镜201、202、203、204、211、221和2n。每个微透镜201到2n与原始图 像的多个像素光学地相关联，所述多个像素与光传感器阵列的对应的光传感器（与小透镜 阵列的微透镜光学地相关联）相对应。每个微透镜201到2n都具有圆形的形式，所有微透 镜201到2n有利地具有相同的半径。至于通过小透镜阵列优化光传感器阵列的覆盖范围， 微透镜201到2n有利地以五点梅花形布置被排列，因此减少了不与微透镜光学地相关联的 光传感器的数量。相同数量的像素（或光传感器）与每个微透镜相关联，例如可以包括的2 像素（或光传感器）到多达几十或者甚至一百或数百像素（或光传感器）之间的像素（或 光传感器）。与微透镜光学地相关联的像素（或光传感器）的数量也不限于整数而且可以 扩展至非整数，例如X+1/2或X+1/3,其中X是整数。
[0053] 微透镜的形式也不限于圆形。微透镜也可以采取正方形、矩形、六边形的形式或采 取任何其它形式。<