专利名称：使用二进制传感器确定颜色信息的制作方法
使用二进制传感器确定颜色信息
背景技术：
二进制图像传感器可包括例如被设置成二维阵列的、多于IO9个单独的光学检测器。每个单独的光学检测器具有两种可能的状态未曝光的“黑色”状态和曝光的“白色”状态。因此，单独的检测器不重现不同的灰度梯度。图像的局部亮度例如可以由白色像素的局部空间密度确定。二进制图像传感器的单独的光学检测器的尺寸可以小于由数码照相机的成像光学器件所提供的聚焦点的最小尺寸。然而，由于大的数据量，存储或传送这样的二进制数字图像可能是困难的或不可能的。最终得到的图像数据甚至可能如此之大，以致于在数码照相机或甚至在台式计算机上存储和处理二进制数字图像变为不实际的。所以，对于实际的解决方案，需要一种改进二进制数字图像传感器的可应用性的解决方案。
发明内容
现在发明了借其缓和上述问题的改进的方法和实施所述方法的技术设备。本发明的各种方面包括方法、设备、服务器、客户端和包括存储在其中的计算机程序的计算机可读介质，其特征在于独立权利要求中所阐述的内容。本发明的各种实施例在附属权利要求中公开。二进制像素是仅仅具有两种状态的像素，当像素被曝光时的白色状态和当像素未被曝光时的黑色状态。二进制像素在它们的顶部具有滤色器，滤色器的设置在某种程度上是已知的。利用诸如最大似然估计那样的统计方法的设置可被用来确定进入的光的颜色以产生输出图像。因此，所述方法可以结合二进制像素阵列被用来从由二进制像素阵列记录的输入图像产生图像。按照第一方面，提供了一种用于产生输出像素值的方法，包括接收二进制像素值，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成；通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计；和使用所述估计形成输出像素值。按照一个实施例，所述方法还包括把所述二进制像素暴露在通过被叠加在所述二进制像素上的滤色器的光中，所述光穿过光学装置，并从所述二进制像素的输出形成所述二进制像素值。按照一个实施例，所述方法还包括使用似然估计和最小平方估计的组的至少一个形成所述估计，以及迭代地提炼所述估计。按照一个实施例，所述方法还包括使用所述二进制像素值和关于所述滤色器的信息形成所述估计函数。按照一个实施例，所述方法还包括使用多个所述输出像素值形成输出图像。按照第二方面，提供了一种设备，包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和计算机程序代码被配置成通过所述至少一个处理器，使得设备接收二进制像素值，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成；通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计；和使用所述估计形成输出像素值。按照一个实施例，所述设备还包括计算机程序代码，被配置成通过处理器，使得设备把所述二进制像素暴露在通过被叠加在所述二进制像素上的滤色器的光中，所述光穿过光学装置，并从所述二进制像素的输出形成所述二进制像素值。按照一个实施例，所述设备还包括计算机程序代码，被配置成通过处理器，使得所述设备使用似然估计和最小平方估计的组的至少一个形成所述估计，以及迭代地提炼(refine)所述估计。按照一个实施例，所述设备还包括计算机程序代码，被配置成通过处理器，使得设备使用所述二进制像素值和关于所述滤色器的信息形成所述估计函数。按照一个实施例，所述设备还包括计算机程序代码，被配置成通过处理器，使得设备使 用多个所述输出像素值形成输出图像。按照一个实施例，所述设备还包括用于形成图像的光学装置、用于检测所述图像的二进制像素的阵列、和所述二进制像素组。按照一个实施例，所述设备还包括被叠加在二进制像素的阵列上的至少一个滤色器，所述滤色器以非对准、不规则、随机、和未知的叠加的组中的至少一种方式被叠加在所述二进制像素阵列上。按照第三方面，提供了一种系统，包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和计算机程序代码被配置成通过所述至少一个处理器，使得系统接收二进制像素值，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成；通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计；和使用所述估计形成输出像素值。按照一个实施例，系统包括图像获取单元，被配置成形成所述二进制像素值，并且包括用于形成图像的光学装置和用于检测所述图像的二进制像素阵列，以及图像处理单元，包括图像处理器，被配置成通过使用多个所述二进制像素值并且使估计函数最佳化而估计所述图像的颜色。按照第四方面，提供了一种存储在计算机可读介质上的并且在数据处理设备中可执行的计算机程序产品，其中所述计算机程序产品包括用于接收二进制像素值的计算机程序代码段，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成；用于通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计的计算机程序代码段；和用于使用所述估计形成输出像素值的计算机程序代码段。按照一个实施例，所述计算机程序产品还包括用于使用多个所述输出像素值形成输出图像的计算机程序代码段。按照第五方面，提供了一种设备，包括处理装置、存储器装置、用于接收二进制像素值的装置，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成；用于通过使用一组所述二进制像素值并且使估计函数最佳化形成所述光的颜色的估计的装置；和用于使用所述估计形成输出像素值的装置。
在下面，将参照附图更详细地描述本发明的各种实施例，其中图Ia显示二进制图像；图Ib显示作为曝光量的函数的白色像素的密度；图2a显示女孩的灰阶图像；图2b显示女孩的二进制图像；
图3a显示对于单个像素的白色状态的概率；图3b显示白色状态的概率与波长的相关性；图4显示用于获取颜色信息的、在二进制像素阵列的顶部上的Bayer矩阵型滤色器；图5显示用于形成输出像素的、在二进制像素阵列的顶部上的随机滤色器；图6显示成像设备的框图；图7显示用于从二进制像素形成输出像素的颜色信号单元；图8显示用于确定覆盖二进制像素阵列的滤色器布局的布置；
图9显示用于利用覆盖二进制像素阵列的滤色器确定进入光的颜色的布置；图10显示通过统计方法确定光的颜色值；图11显示用于二维随机变量的似然函数1140 ；图12a显示具有逐段恒定的滤色器值的滤色器马赛克(mosaic)；图12b显示具有平滑改变的滤色器值的滤色器马赛克；图13a, 13b,和13c显示示例的滤色器的红色Xk、绿色Xe和蓝色Xb分量；图14a显示二进制像素阵列的示例的曝光；图14b显示用于二进制像素阵列的示例的滤色器设定；图14c显示二进制像素阵列的示例的曝光；图15显示用于通过统计方法确定光的颜色值的方法；以及图16显示用于通过统计方法确定光的颜色值的方法。
具体实施例方式在下面，将在二进制像素阵列的情境中描述本发明的几个实施例。然而，应当指出，本发明不限于二进制像素阵列。事实上，开发了具有在其中通过部分不确定的过程把输入像素值映射到输出像素值的任何环境中广泛应用的不同示例性实施例。参照图la，在示例性实施例中应用的图像传感器可以是被设置成提供二进制图像IMGl的二进制图像传感器。图像传感器可包括二维阵列的光检测器，以使得每个光检测器的输出只具有两种逻辑状态。所述逻辑状态在这里被称为“黑色”状态和“白色”状态。图像传感器可被初始化，以使得所有的检测器可以初始地处在黑色状态。单独的检测器可以通过把它暴露到光中而被切换到白色状态。因此，由图像传感器提供的二进制图像IMGl可以包含像素P1，它们分别处在黑色状态或处在白色状态。表述“白色像素”和“像素是白色的”是指处在白色状态的像素。表述“黑色像素”相应地是指处在黑色状态的像素。这些表述不是像素的颜色的指示，它们仅仅描述像素是否由于光而被激活(白色状态或“被照射”)，或像素是否保持未激活(黑色状态或“未被照射”)。像素Pl可以按行和列被设置，S卩，输入图像頂Gl的每个像素Pl的位置可以由各个列的索引k和各个行的索引I规定。例如，图Ia所示的像素Pl (3，9)是黑色，像素Pl (5，9)是白色。二进制光检测器例如可以通过提供具有非常高的转换增益(低电容)的传统的(比例)光检测器而被实施。其它可能的方法包括使用雪崩或碰撞离子化来提供像素中的增益或量子点的使用。
图Ib显示作为光学曝光量H的函数的对于白色像素Pl的密度D的估计。曝光量H以对数尺度呈现。密度D是指在图像MGl的一部分内的白色像素Pl的数目与在所述部分内像素Pl的总数的比值。密度值100%是指在所述部分内的所有的像素都处在白色状态。密度值0%是指在所述部分内的所有的像素都处在黑色状态。光学曝光量H正比于光强度和曝光时间。在零曝光量H下，密度D是0%。密度随增加曝光量而增加，直至密度开始饱和接近上限100%为止。预定的像素Pl从黑色到白色的转换是随机现象。当所述部分包含大数目的像素Pl时，在图像頂Gl的所述部分内的白色像素的实际密度遵循图Ib的曲线。在单独的像素的情形下，图Ib的曲线也可以被解译为代表对于其中在预定的光学曝光量H后，预定像素Pl的状态从黑色状态转换成白色状态的情形的概率(也见图3a 和 3b)。当曝光曲线的斜率A D/A log (H)足够高时(大于或等于预定值)，输入图像IMGl被适当地曝光。典型地，这个条件在曝光量H大于或等于第一预定的极限HLOW并小于或等于第二预定的极限HHIGH时达到。因此，当曝光量H小于第一预定的极限HLOW时，输入图像可能被欠曝光，并且当H大于第二预定的极限HHIGH时，输入图像可能被过曝光。当曝光量H小于第一极限HLOW或大于第二极限HHIGH时，输入图像MGl的信号噪声比或输入图像頂Gl的较小部分的信号噪声比可能是不可接受地低。在那些情形下，为了提高信号噪声比，减小实际的空间分辨率可能是可接受的。二进制图像的一部分的曝光状态取决于在所述部分内白色和/或黑色像素的密度。因此，输入图像IMGl的一部分的曝光状态可以例如根据在所述部分内白色像素Pl的密度而被估计。在图像的一部分内的白色像素的密度取决于在所述部分内黑色像素的密度。输入图像MGl的一部分的曝光状态也可以例如通过使用以前由同一个图像传感器获取的另外的输入图像頂Gl而被确定。输入图像MGl的一部分的曝光状态也可以例如通过使用由另外的图像传感器获取的另外的图像而被估计。可被用于确定曝光状态的另外的图像传感器也可以是模拟传感器。模拟图像传感器包括单独的光检测器，它们被设置成提供除黑色和白色以外的不同的灰度级。由模拟图像传感器获取的图像的不同的部分也可以被确定为欠曝光、适当地曝光或过曝光。例如，当由模拟图像传感器获取的图像的一部分中几乎所有的像素的亮度值大于90%时，所述图像部分可被归类为过曝光。例如，当由模拟图像传感器获取的图像的一部分中几乎所有的像素的亮度值小于10%时，所述图像部分可被归类为欠曝光。当像素的相当的部分具有在10%到90%的范围内的亮度值时，则图像部分可以是相应地被适当地曝光。图2a通过例子以灰度阶显示女孩的图像。图2b显示对应于图2a的图像的二进制图像。图2b的图像具有大的像素尺寸以便强调黑色和白色像素结构。事实上，组成图2b的图像的二进制像素常常小于组成图2a的图像的输出像素。图2b的几个二进制像素可以对应于图2a的一个模拟像素。图2b上处在白色状态的二进制像素的密度可以具有与在图2a上的模拟像素的灰度阶亮度的对应性。图3显示对于单个二进制像素的曝光或状态改变的概率，即，单个预定的像素的状态从黑色状态改变到白色状态的概率。在图Ib上，显示了作为强度H的函数的、与黑色像素相比较的白色像素的密度。对应地，参照图3a，像素具有处在白色状态的概率，并且这个概率是强度的函数。例如，当光学曝光量是氏时，像素Pl(l，l)具有处在白色状态的50%概率，并且当光学曝光量是H2时，像素Pl (2，I)具有处在白色状态的50%概率。如上所述，光学曝光量H与光强度和曝光时间成比例。不同的像素可以具有不同的概率曲线，即，它们在进入光的相同的强度H下可以具有处在白色状态的不同的概率。图3b显示作为击打在滤色器与二进制像素的组合上的光的波长的函数的单个二进制像素的状态改变概率。在图3b中，假设各个二进制像素可以具有加到它们的顶部的滤色器，以使得进入光的某个颜色波段能够通过。在这样的设置中，当不同的二进制像素被暴露到具有相同的强度但不同的波长(颜色)的光时，其可以具有处在白色状态的不同的概率。例如，在图3b中，像素Pl (5，5)响应于具有实质上对应于蓝色的波长的光。当进入光的波长不同于蓝色时，像素Pl (5,5)具有处在曝光 (白色)状态的较低的概率。同样地，像素Pl (5，2)响应于具有实质上对应于绿色的波长的光的，并且像素Pl (2，2)响应于具有实质上对应于红色的波长的光。在二进制像素的顶部上的滤色器可以设法用作为带通滤色器，由此，下面的像素仅仅响应于在某个颜色波段中的光，例如红色、绿色或蓝色或任何其它颜色或波长的光。然而，滤色器可能是故意地或偶然地有缺陷的，带通滤色器可能“泄漏”，这样，也让其它颜色通过。作为波长的函数的像素被曝光的概率可能不是像图3b中对于蓝色像素(实线)、绿色像素(虚线)和红色像素(点划线)的钟形函数那样的规则形状的函数。事实上，概率函数可能是不规则的，它可以具有几个最大值，并且它可以具有平坦的尾部(即，具有不可忽略的幅值的长尾部)，这样，例如红色像素在蓝色光中被曝光的概率实际上不是零，而可以是例如3%，10%或30%或甚至更高。不同的颜色的像素的状态改变概率函数实质上可以是非重叠的，如图3b上的情形那样，这样，单个颜色的光具有曝光实质上相同的颜色而不是其它颜色的像素的概率。状态改变概率函数也可以重叠，这样，在红色与绿色波长之间的光具有曝光红色像素Pl (2,2)和绿色像素Pl(5，2) 二者的相当大的概率。状态改变概率函数也可以随不同的像素而变化。图4显示用于形成输出像素的、在二进制像素阵列的顶部上的Bayer矩阵型滤色器。在图4中的二进制像素Pl (k，I)的像素坐标对应于图3b，并产生输入图像頂Gl。Bayer矩阵是具有滤色器的设置，滤色器在常规布局中被放置在光传感器的顶部，其中每隔一个的滤色器是绿色，并且每隔一个的滤色器以交替的方式是红色或蓝色。所以，如图4所示，实际上50%的滤色器是绿色(用向下对角线纹理显示)，实际上25%的滤色器是红色(用向上对角线纹理显示)，和实际上25%的滤色器是蓝色(用交叉图案纹理显示)。在其中Bayer矩阵被放置在二进制像素阵列的顶部的设置中，单独的滤色器FR，FG和FB可以覆盖单个二进制像素，或多个二进制像素，例如4个二进制像素、9. 5个二进制像素、20. 7个二进制像素、100个二进制像素、1000个二进制像素或甚至更多。如果二进制输入像素的中心之间的距离在宽度上是wl并且在高度上是hl，则单独Bayer矩阵滤色器的中心之间的距离在宽度上可以是w4并且在高度上是h4，由此w4 > wl并且h4 > hi。因此,滤色器可以覆盖几个二进制像素。单独滤色器可以是紧密间隔的，它们可以在其间具有间隙(在其间留有一个区域，让所有的颜色通过)，或它们可以互相重叠。滤色器可以是方形、矩形、六角形或任何其它形状。图像MGl的二进制像素可以形成对应于输出图像MG2的像素P2(i，j)的组GRP(i，j)。这样，可以形成在输入图像頂Gl与输出图像MG2之间的映射。组GRP(i，j)可包括具有不同颜色的滤色器的二进制像素。所述组可以具有相同的尺寸，或它们可以具有不同的尺寸。所述组可以是规则的形状，或它们可以具有不规则的形状。所述组可以互相重叠，它们可以互相相邻，或它们可以在各个组之间具有间隙。在图4中，作为例子，对应于图像MG2的像素P2(l，l)的组GRP (I，I)覆盖图像頂Gl的64 (8 X 8)个二进制像素，也就是，组GPR(1，I)包括像素Pl (I，1)-P1 (8，8)。组GRP(1，j)的边界可以与滤色器FR，FG，FB的边界一致，但这并不是必须的。组边界也可以相对于Bayer矩阵滤色器的边界位移和/或不对准。以此方式，图像MGl的组GPR(i，j)可被用来形成图像MG2中的像素P2(i，j)。像素P2(i，j)的中心之间的距离在宽度上可以是w2并且高度上是h2。输出像素P2可以分别具有《2和h2的尺寸，或它们可以更小或更大。
图5显示用于形成输出像素的、在二进制像素阵列的顶部上的随机滤色器。如对于图4那样，图像MGl包括二进制像素Pl (k，I)，它可被分组成组GRP (i，j)，这些组对应于图像MG2中的像素P2(i，j)，并且图像MGl和MG2的设置是与图4中相同。然而，与图4不同，图5的滤色器FG，FR和FB不是规则形状的或以规则的布置被设置。滤色器可以具有不同的尺寸，并可以以随机方式被放置在二进制像素的顶部。滤色器可以互相间隔开地放置，它们可以互相相邻，或它们可以互相重叠。滤色器可以在滤色器之间留有空间，这可以让所有的颜色或波长的光通过，或替换地，实质上根本不让光通过。某些像素Pl (k，I)可以是不起作用的像素PZZ，它们被永久地堵塞(jam)在白色(曝光的)状态或黑色(未曝光的)状态，或另行给出不良好地取决于进入光的强度的错误信号。像素Pl(k，I)可以具有对于处在白色状态的不同的概率函数作为进入光的强度的函数。像素Pl (k，I)可以具有对于处在白色状态的不同的概率函数作为进入光的波长的函数。这些特性可以是由于像素本身的缺陷或重叠的滤色器的缺陷。例如，滤色器可以具有不同于红色、绿色和蓝色的颜色。对于如图5所示的布置，组GPR(i，j)可包括变化的数目的、具有绿色G滤色器、红色R滤色器或蓝色B滤色器的二进制像素。而且，不同的红、绿和蓝二进制像素可以不同地放置在不同的组GPR(i，j)中。红、绿和蓝像素和不带有滤色器的像素的平均数实质上跨各个组GPR(i，j)可以是相同的，或红、绿和蓝像素和不带有滤色器的像素的平均数(密度)可以按照已知的或未知的分布跨各个组GPR(i，j)变化。图6显示成像设备的框图。参照图6，成像设备500可包括成像光学器件10和用于获取物体的二进制数字输入图像頂Gl的图像传感器100，和信号处理单元(S卩，颜色信号单元)CSU1，被设置用于根据输入图像MGl提供输出图像MG2。成像光学器件10可以是例如聚焦透镜。输入图像頂Gl可以描绘物体，例如风景、人脸、或动物。输出图像MG2可以描绘相同的物体，但以较低的空间分辨率或像素密度。图像传感器100可以是包括二维阵列的光检测器的二进制图像传感器。检测器可以被例如以大于10000列和大于10000行设置。图像传感器100可包括例如大于IO9个单独的光检测器。由图像传感器100获取的输入图像IMGl可包括以例如41472列和31104行设置的像素(图像数据大小I. 3* IO9比特，S卩，I. 3GB，或160兆字节)。对应的输出图像MG2可以具有较低的分辨率。例如，对应的输出图像MG2可包括例如以2592列和1944行设置的像素(图像数据大小约为5 IO6像素，对于每个颜色R、G、B每个像素8比特，总的数据大小I. 2 .IO8比特，即，约120MB，或15兆字节)。因此，图像尺寸可以例如减小10( =I. 3 109/1. 2 IO8)倍。二进制输入图像IMGl的数据大小例如可以大于或等于对应的输出图像IMG2的数据大小的4倍，其中数据大小例如可以用为了描述图像信息所需要的比特的总数来指示。如果需要较高的数据减小，则输入图像IMGl的数据大小可以大于对应的输出图像IMG2的数据大小的10倍，20倍，50倍，或甚至100或1000倍。成像设备500可包括输入存储器MEMl、用来存储输出图像MG2的输出存储器MEM2、用于存储诸如神经网络系数或权重或其它数据的与图像处理有关的数据的存储器MEM3、用于例如存储用于数据处理算法和其它程序和数据的计算机程序代码的工作存储器MEM4、显示器400、用来控制成像设备500的操作的控制器220、和用来接收来自用户的命令的用户接口 240。
输入存储器MEMl可以至少临时存储输入图像IMGl的像素Pl的至少几行或列。因此，输入存储器可以被设置成存储输入图像IMGl的至少一部分，或它可被设置成存储整个输入图像頂G1。输入存储器MEMl可被设置成例如驻留于与图像传感器100相同的模块中，以便图像传感器的每个像素可以具有一个、两个或多个可操作地连接到图像传感器像素、用于存储由图像传感器记录的数据的存储位置。信号处理器CSUl可被设置来处理由图像传感器100获取的像素值MGl。处理可以通过例如使用神经网络或其它方式进行，并且在处理中可以使用来自存储器MEM3的系数或权重。信号处理器CSUl可以把它的输出数据，例如输出图像MG2，存储到MEM2或MEM3 (图上未示出)。信号处理器CSUl可以独立地工作，或它可以由控制器220 (例如通用处理器)进行控制。输出图像数据可以从信号处理单元200和/或从输出存储器MEM2经由数据总线242被发送到外部存储器EXTMEM。信息可以例如经由互联网和/或经由移动电话网被发送。存储器MEM1、MEM2、MEM3、和/或MEM4在物理上可以位于同一个存储器单元中。例如，存储器MEM1、MEM2、MEM3、和/或MEM4可以被在在同一个部件中分配存储器区域。存储器1￡] 1、]\^]\12、]\^]\0、]\^]\14、和/或MEM5也可以在物理上与各处理单元相关地定位，例如，以便存储器MEMl与图像传感器100相关地定位，存储器MEM3与信号处理器CSUl相关地定位，以及存储器MEM3和MEM4与控制器20相关地定位。成像设备500还可包括显示器400，用于显示输出图像MG2。另外，输入图像MGl也可以被显示。然而，由于输入图像IMGl的尺寸可能非常大，因此可以一次只有小部分的输入图像以完全分辨率被显示。成像设备500的用户可以使用接口 240，例如用于选择图像获取模式、曝光时间、光学变焦(即，光学放大)、数字变焦(即，数字图像的剪辑)、和/或输出图像IMG2的解析。成像设备500可以是带有图像传感器的任何设备，例如，数码照相机或数字摄像机、便携式或固定电子设备，如移动电话、笔记本电脑或台式计算机、摄像机、电视机或屏幕、显微镜、望远镜、汽车或摩托车、飞机、直升飞机、卫星、舰船或植入物(如眼睛植入物)。成像设备500还可以是在任何上述设备中使用的模块，由此成像设备500可以例如借助于有线或无线连接，或光连接，以固定的或可拆卸的方式可操作地连接到所述设备。设备500也可以省略具有图像传感器。在设备500中存储来自另一个设备的二进制像素的输出并且仅仅处理二进制图像頂Gl也是可行的。例如，数码照相机可以存储原始格式的二进制像素以供随后的处理。原始格式图像頂Gl然后可以在设备500中立即或在以后时间进行处理。所以，设备500可以是具有用于处理二进制图像頂Gl的装置的任何设备。例如，设备500可以是移动电话、笔记本电脑或台式计算机、摄像机、电视机或屏幕、显微镜、望远镜、汽车或摩托车、飞机、直升飞机、卫星、舰船或植入物(如眼睛植入物)。设备500还可以是在任何的上述设备中使用的模块，由此成像设备500可以例如借助于有线或无线连接或光连接以固定的或可拆卸的方式可操作地连接到所述设备。设备500可被实施为计算机程序产品，其包括用于从原始图像确定输出图像的计算机程序代码。设备500还可被实施为服务，其中各种部件和处理能力都位于网络中。所述服务能够处理原始的或二进制图像MGl以便形成输出图像MG2给所述服务的用户。处理还可以分布在几个设备之间。控制单元220可被设置来控制成像设备500的操作。控制单元220可被设置来发送信号到图像传感器100，例如，以便设置曝光时间，以便启动曝光，和/或以便重新设置图像传感器100的像素。控制单元220可被设置来发送信号到成像光学器件10，例如用于执行聚焦，用于光学变焦，和/或用于调节光学孔径。由于按照本发明的图像处理，输出存储器MEM2和/或外部存储器EXTMEM可以比没有进行所述图像处理存储更大数目的输出图像頂G2。替换地或此外，存储器MEM2和/或EXTMEM的尺寸比没有进行所述图像处理的更小。经由数据总线242的数据传输速率也可以被降低。由于在信号处理器CSUl中的处理，可以实现这些优点而在图像分辨率上没有可见的损失。图7显示用于从二进制像素形成输出像素的颜色信号单元CSU1。颜色信号单元或信号处理器CSUl可以具有对应于输入图像MGl中的像素Pl的大数目的输入，例如16，35，47，64，280，1400，4096，10000或更多。例如，输入可以对应于组GRP (i，j)的二进制像素并且可以是从像素Pl (m+0, n+0)到Pl (m+7, n+7)的二进制值，二进制值指示所对应的像素是否被曝光(相应地，是白色还是黑色状态)。在图7上，标号m和n可以规定输入像素组GRP(i,j)的左上角的坐标，它被馈送到颜色信号单元CSUl的输入。例如，当对于组GRP(1，I)进行处理时，为了计算输出像素P2(l，l)的颜色值，可以把输入像素Pl (1，I)，Pl (2，I)，Pl (3，I)…Pl (6，8)，Pl (7，8)和Pl (8，8)的值(即，状态)馈送到颜色信号单元CSUl的64个不同的输入。颜色信号单元或信号处理器CSUl可以取其它数据作为输入，例如，与组GRP (i，j)的处理有关的数据PARA(i，j)或与所有的或某些组的处理有关的一般数据。它可以通过组合这些数据成输入值Pl而使用这些数据PARA，或数据PARA可被用来控制颜色信号单元CSUl的工作参数。颜色信号单元可以具有例如3个输出，或任何其它数目的输出。输出像素P2(i，j)的颜色值可以通过确定例如三个不同的输出信号用于红色分量的\(1，j)，用于 绿色分量的Se(i，j)，用于蓝色分量的5^1，j)而被规定。输出可以对应于输出像素P2(i，j)，例如，输出可以是输出像素的颜色值红、绿和蓝。颜色信号单元CSUl可以对应于一个输出像素，或更大数目的输出像素。颜色信号单元CSUl还可以提供对应于与RGB系统不同的颜色系统的输出信号。例如，输出信号可以规定用于CMYK系统(青色、洋红、黄色、基本色)或YUV系统(亮度、第一色度、第二色度)的颜色值。输出信号和滤色器可以对应于同一个颜色系统或不同的颜色系统。因此，颜色信号单元CSUl还可包括计算模块，用于提供从第一颜色系统到第二颜色系统的转换。例如，图像传感器100可以被覆盖以红、绿和蓝滤色器(RGB系统)，但颜色信号单元CSUl可以提供按照YUV系统的三个输出信号。颜色信号单元CSUl可以为每个输出像素P2提供两个、三个、四个或更多的不同的
颜色信号。图8显示用于确定覆盖二进制像素阵列的滤色器布局的布置。改变二进制像素Pl(k, I)的状态的概率可以是进入的光的强度的函数，正如先前在图3a和3b的情景中所 解释的。而且，二进制像素Pl (k，I)可以具有在二进制像素的顶部上的滤色器F(k，1)，正如在图4和5的情景中所解释的。由于滤色器的不规则的形状和尺寸和/或由于滤色器与二进制像素阵列的未知的对准，在二进制像素Pl (k，I)的顶部上的滤色器F(k，I)的颜色(或一些滤色器的颜色)是未知的。未知的滤色器值在图8中已经用问号标记出。例如，在已经在二进制像素阵列的顶部上制造滤色器阵列后，不能立即知道哪个Bayer矩阵元素覆盖在哪个二进制像素的顶部(如在图4中)，或在不规则的设置中哪个滤色器在哪个二进制像素的顶部(如在图5中)。滤色器阵列关于其颜色也可以是不规则的，即，滤色器单元的颜色不一定正好是打算的颜色。也有可能滤色器的位置和颜色可能随时间改变，例如，由于机械或物理磨损，或由于暴露于光线。为了确定滤色器F(k，I)的颜色值，已知颜色的光束LBO或已知的输入图像可以通过滤色器阵列加到二进制像素阵列。二进制像素的输出，即，二进制像素对于已知输入的响应，然后可被用来确定滤色器阵列的信息。例如，像素阵列可以被暴露到不同颜色的输入光束LBO或不同的输入图像几次。二进制像素的输出可被记录和处理。例如，二进制像素Pl (k，I)可被分组成各个组GRP (i，j)，正在图4和5的情景中所解释的，并且每个组GRP(i，j)的信息可以分开地处理。这将在后面解释。图9显示用于用覆盖二进制像素阵列的滤色器确定进入的光的颜色的布置。这时，存在有关于滤色器F(k，I)的某些信息，例如，单独滤色器可能是已知的，或与二进制像素的组GRP(i，j)有关的不同的红、绿、蓝滤色器的数目可能是已知的。也可能是仅仅从二进制像素阵列Pl (k，I)到输出像素阵列P2(i，j)的变换是已知的或至少部分已知的。滤色器阵列F(k，I)的信息可包括关于滤色器颜色的信息、关于不起作用的像素的信息和/或关于不具有相关的滤色器的像素的信息。关于滤色器F(k，l)的信息现在可被用来确定进入光LBl的信息。例如，进入光可以由透镜系统形成，所以可以在图像传感器100上形成图像。当进入光穿过滤色器F(k，I)到二进制像素阵列Pl (k，I)时，它使得某些二进制像素被曝光(处在白色状态)。因为光LBl穿过滤色器，因此由曝光的二进制像素形成的图像IMGl具有关于光的强度以及击中每个二进制像素的光LBl的颜色的信息。当图像IMGl通过使用关于滤色器F (k，I)的信息而被变换成图像頂G2时，例如，通过把二进制像素分组为组GRP (i，j)以便形成图像MG2的像素P2(i，j)，颜色信息可以从光LBl被译码，并且图像MG2的每个像素可被分配一组亮度值，对于每个颜色分量R，G，B 一个亮度值。换句话说，由照相机光学器件在具有叠加的滤色器的二进制像素阵列上产生的图像可以根据击中像素的光的颜色和在像素的顶部上的滤色器F(k，I)的颜色使得二进制像素激活。例如，当蓝光击中蓝色滤色器F(k，I)时，当光穿过滤色器时，光的强度不会减小太多。所以，在蓝色滤色器下面的二进制像素可以具有高的处在白色状态(被曝光)的概率。另一方面，当蓝光击中红色滤色器F(k，I)时，光的强度会可以被更大程度地减小。所以，在红色滤色器下面的二进制像素可以具有低的处在白色状态(被曝光)的概率。因此，当较大的组的二进制像素GRP(i，j)暴露在某种颜色的光时，比如说蓝色，与具有另外的颜色(红色和绿色)的滤色器的那些像素相比较，更多的具有对应的滤色器(例如，蓝色)的二进制像素将被激活到白色状态。单独二进制像素的这个曝光值(白色/黑色)可被颜色信号单元CSUl使用来形成输出图像IMG2。图10显示通过统计方法确定光的颜色值。在系统中，可以有二进制数值的传感器 的二维阵列BINARR 1010，在二进制传感器上叠加滤色器。每个滤色器的光谱响应假设是固定的，并且至少在某种程度上是已知的。滤色器可以通过使用神经网络或通过诸如使用像不同颜色光的已知的输入数据的最大似然估计的统计方法，而被确定。当二进制像素阵列BINARR 1010被暴露到光时，它从二进制像素产生输出信号1015，它可被馈送到统计模块STATM0D 1020。统计模块然后可被操作，以使得BINARR的输出被用来计算输出像素1035的值。这个计算可以对于每个输出像素P2顺序进行或并行进行以便用于多个输出像素P2的输入像素值在模块STATM0D 1020中同时被使用。统计模块可以具有例如 16-128,64-400，180-1000，500-90000，10000-1 百万或 10-100 亿个输入或更多。输出模块OUTPUT 1030然后可以输出像素P2或使用像素P2形成图像。统计模块例如可以使用模拟或数字电子装置而电子地形成，并且所述电子装置可包括在模块外部的或嵌入到神经网络的存储器。统计模块可以借助于计算机程序代码被形成。统计模块也可以借助于适用于光计算的光学部件而光学地形成。在贝叶斯框架中，估计的和测量的变量被认为是随机变量。假设X是我们想要根据得到其测量值I的测量的变量Y进行估计的随机变量。X的概率分布被称为先验分布，因为它描述进行测量之前我们对于变量的知识。条件概率密度函数L(X) =P(Y = y|X =x)被称为似然函数-它描述在给定测量值y下，值x多大多大可能性用于X。条件概率密度函数P(X = x|Y = y)被称为后验分布，因为它描述测量之后我们对于变量的知识。可以取决于我们具有的概率分布的信息量使用X的不同的估计量。如果没有进行测量，估计量X可以仅仅根据X的以前的分布。如果进行了一次测量或几次测量但没有关于X的以前的信息可用，则估计量可以根据似然函数L (x)-为此，可以使用最大似然(ML)估计量。如果以前的数据和测量数据都是可用的，则可以使用基于后验分布的估计量，诸如最大后验(MAP)估计量和后验平均值。对于击中位置ij的光的颜色的最大似然估计是似然函数的模，即，使得测量的数据最可能的值。进入的光线的颜色可被认为是随机变量，因此，在NXN二进制阵列的情形下，有N2个随机变量(每个具有例如3或4个颜色分量)。我们列举随机变量为Xu，其中i和j是在I和N之间(包括I和N)。我们可以假设，二进制传感器是小的，并且二进制传感器阵列的尺寸与由光的衍射引起的艾里斑(Airy disk)的尺寸是可比的或小于其尺寸。因此把在传感器上的光子分布建模为均匀空间泊松过程可能是合理的。图11显示用于二维随机变量的似然函数1140作为例子。令随机变量的尺度是R1110和G 1120，因此随机变量X可以取值(r，g)，其中例如r和g是在0与I之间，包括0和I。在这个示例的情形下，似然L 1130是在点1170处具有一个局部和全局最大值1160的函数，这样，X的G值可以是xG并且X的R值可以是xK。当似然被迭代地最大化时，变量X可以具有初始值1175，这样，似然取值1150。在一次迭代后，X的值是1180，似然取值1155。最后，当迭代结束时，变量X已经达到最大似然估计1170，并且似然L达到最大值1160。 图12a显示具有逐段恒定的滤色器值的滤色器马赛克。作为例子，我们考虑其中三个不同的滤色器1230、1235和1240形成逐段恒定的区域的情形。在图中，区域具有不规则的形状。区域还可以具有规则形状或部分不规则形状。由滤色器1230、1235和1240覆盖的面积可以是相同的，或可以是不同的。滤色器例如可以是红、绿、蓝滤色器。绿滤色器的面积可以大于红和蓝滤色器的面积，例如，绿滤色器的面积可以等于红和蓝滤色器合在一起的面积。在像素上也可以有三个以上的滤色器，例如四个、五个、六个、十个或一百个。也可以只有两个滤色器。滤色器颜色可以例如通过神经网络或通过统计方法被确定。图12b显示具有平滑改变的滤色器值的带有三个不同部件1250，1255和1260的滤色器马赛克(mosaic)。(灰度阶图像不能精确地重现颜色，对于进一步的定义可参考图13a-13c)。单独的滤色器可以具有两个或多个颜色的混合，并且对于单个颜色，滤色器的透射率(亮度)可以是部分的(不仅仅是零或完全的)。再次地，滤色器颜色可以例如通过神经网络或通过统计方法而被确定。图13a, 13b和13c显示示例的滤色器的红Xk、绿Xe和蓝Xb分量。滤色器值的范围可以是对于一个滤色器从0到1，其中0是指滤色器不让该颜色的光通过，以及I是指滤色器让该颜色的光全部通过。在图13a中，在角落处的像素上的滤色器(其中k，l < 4)基本上是红色，对于红色光有不同的透射率。在图13b中，滤色器(其中I = 8和3<k<8)基本上是绿色，并且具有对于绿色光的高的透射率。最后，在图13c上，滤色器(其中3 < k，
I< 8)基本上是蓝色，并且对于蓝色光具有变化的透射率。例如，滤色器k = 4，I = 7对于蓝色和绿色二者具有透射率，所以也可以有传送通过多种颜色的光的滤色器。这可能是由于例如两个滤色器是在像素的顶部上互相相邻的，或由于重叠滤色器。在每个二进制传感器上叠加的滤色器的类型可以是已知的，或滤色器的足够的信息可以是以其他方式可用的。光的颜色值可以从二进制传感器的输出矩阵被确定。对于在传感器阵列中存在的每种滤色器类型，可以计算出光照和未光照的传感器的数目。在给定传感器信息后，这可以允许我们写出对于颜色值的似然函数。对于颜色值的最大似然估计可以通过使得似然函数最大化而得出。我们现在可以假设滤色器的颜色特性是已知的。我们的任务是在给定曝光的二进制像素阵列后，确定光的RGB值，我们假设对于每个颜色R，G和B，有Ny个传感器，其中N’ Y个被照明，Y G {G，B，R}。现在NK+Ne+NB = N2。用于颜色强度\ Y的似然函数是L(XY\NY,Ny) = (I - e-\Y/N、NlY/N、NY — N1y ,在这种情形下，在给定传感器输出后，可以如下地找到用于RGB值入。入e，^的最大似然估计我们想要找出使得似然函数最大化的X Y的值。最大值可以通过关于X Y对方程进行微分和令结果等于零而找出
权利要求
1.一种用于产生输出像素值的方法，包括 -接收二进制像素值，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成， -通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计，以及 -使用所述估计而形成输出像素值。
2.按照权利要求I的方法，还包括 -将所述二进制像素暴露到通过被叠加在所述二进制像素上的滤色器的光，所述光已经通过光学布置，以及 -从所述二进制像素的输出形成所述二进制像素值。
3.按照权利要求I或2的方法，还包括 -使用似然估计和最小平方估计的组的至少一项形成所述估计，以及 -迭代地提炼所述估计。
4.按照权利要求1，2或3的方法，还包括 -使用所述二进制像素值和关于所述滤色器的信息形成所述估计函数。
5.按照权利要求I到4的任一项的方法，还包括 -使用多个所述输出像素值形成输出图像。
6.一种设备，包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和计算机程序代码被配置成，通过所述至少一个处理器，使得所述设备至少执行以下的操作 -接收二进制像素值，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成， -通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计，以及 -使用所述估计形成输出像素值。
7.按照权利要求6的设备，还包括计算机程序代码，被配置成通过所述处理器，使得所述设备至少执行以下的操作 -将所述二进制像素暴露到通过被叠加在所述二进制像素上的滤色器的光，所述光已经通过光学布置，以及 -从所述二进制像素的输出形成所述二进制像素值。
8.按照权利要求6或7的设备，还包括计算机程序代码，被配置成通过所述处理器，使得所述设备至少执行以下的操作 -使用最大似然估计和最小平方估计的组的至少一项形成所述估计，以及 -迭代地提炼所述估计。
9.按照权利要求6，7或8的设备，还包括计算机程序代码，被配置成通过所述处理器，使得所述设备至少执行以下的操作 -使用所述二进制像素值和关于所述滤色器的信息形成所述估计函数。
10.按照权利要求6-9的任一项的设备，还包括计算机程序代码，被配置成通过所述处理器，使得所述设备至少执行以下的操作 -使用多个所述输出像素值形成输出图像。
11.按照权利要求6-10的任一项的设备，还包括 -用于形成图像的光学布置， -用于检测所述图像的二进制像素的阵列，以及 -所述二进制像素的组。
12.按照权利要求6-11的任一项的设备，还包括 -被叠加在二进制像素阵列上的至少一个滤色器，所述滤色器是以非对准、不规则、随机和未知叠加的组中的至少一种的方式被叠加在所述二进制像素阵列上。
13.—种系统，包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和计算机程序代码被配置成，通过所述至少一个处理器，使得所述系统至少执行以下的操作 -接收二进制像素值，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成， -通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计，以及 -使用所述估计而形成输出像素值。
14.按照权利要求13的系统，其中所述系统包括 -图像获取单元，被配置成形成所述二进制像素值，并且包括用于形成图像的光学布置和用于检测所述图像的二进制像素的阵列，以及 -图像处理单元，包括图形处理器，被配置成通过使用多个所述二进制像素值并且使估计函数最佳化而估计所述图像的颜色。
15.一种计算机程序产品，其被存储在计算机可读介质上并且在数据处理设备中可执行，其中所述计算机程序产品包括 -用于接收二进制像素值的计算机程序代码段，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成， -用于通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计的计算机程序代码段，以及 -用于使用所述估计形成输出像素值的计算机程序代码段。
16.按照权利要求15的计算机程序产品，其中所述计算机程序产品还包括 -用于使用多个所述输出像素值形成输出图像的计算机程序代码段。
17.—种设备,包括 -处理装置， -存储器装置， -用于接收二进制像素值的装置，所述二进制像素值已经利用具有滤色器的二进制像素通过施加光而形成， -用于通过使用一组所述二进制像素值并且使估计函数最佳化而形成所述光的颜色的估计的装置，以及 -用于使用所述估计形成输出像素值的装置。
全文摘要
本发明涉及通过使用二进制像素形成图像。二进制像素是仅仅具有两种状态的像素，当像素被曝光时的白色状态和当像素未被曝光时的黑色状态。二进制像素在它们的顶部具有滤色器，滤色器的设置在某种程度上是已知的。利用统计方法的设置可被用来确定进入的光的颜色以产生输出图像。因此，所述方法可以结合二进制像素阵列被用来从由二进制像素阵列记录的输入图像产生图像。
文档编号H04N1/48GK102667863SQ200980163082
公开日2012年9月12日 申请日期2009年12月23日 优先权日2009年12月23日
发明者M·维金科斯基, T·玛基-玛蒂南, T·里萨 申请人:诺基亚公司