专利名称：使用具有空间变化阈值的二进制传感器阵列的强度估计的制作方法
技术领域：
本发明的示例性和非限制性的实施方式一般地涉及成像系统、方法、装置和计算机程序，并且更具体地，涉及使用由光传感器的阵列构成的光传感器阵列的成像系统，该光传感器的阵列产生二进制输出信号。
背景技术：
该部分旨在提供权利要求中所描述的本发明的背景或上下文。这里的描述可以包括可能被追寻的概念，但不必是之前已经被想到、实现或描述的那些概念。因此，除非在这里相反地指示，在这部分所描述的内容并不是本申请的说明书和权利要求书的现有技术，并且不会因为包括在此而被承认是现有技术。最近已经感兴趣用小的二进制光电传感器的二维阵列替代传统的(XD(电荷稱合器件)光电传感器。这方面可以参考例如E. R. Fossum, What to do withSub-Diffraction-Limit(SDL)Pixels A Proposal for a Gigapixel Digital FilmSensor，Proc. of the 2005 IEEE Workshop on Charge-Coupled Devices and AdvancedImage Sensors,Karuizawa,日本，2005 年 6 月；L Sbaiz，F. Yang，E. Charbon，S. Siisstrunk，M.Vetterli, The gigavision camera，Proc. of IEEE International Conference onAcoustics，Speech and Signal Processing (ICASSP)，2009，第 1093-1096 页；以及L. Sbaiz, F. Yang, E. Charbon, S. Siisstrunk, M. Vetterli, Image reconstruction ingigavision camera, ICCV workshop 0MNIVIS 20090由于相比较于传统的光电传感器(例如CCD光电传感器)，二进制光电传感器的尺寸小，可以合理地假定二进制传感器阵列的传感器单元的数目(例如，16-256个单元)小于爱里斑的传感器单元(例如，可以位于爱里斑的尺寸内)的数目。因此，可以合理的假定传感器阵列上的光子分布可以建模为同质二维空间泊松过程。任务接着变为确定在给定二进制传感器阵列的输出下的光强度。二进制传感器是仅具有两个状态的简单传感器初始为零，并且检测到的光子的数目超过某个预定的阈值，状态改变为一。现有技术的二进制传感器系统已经仅考虑固定阈值的二进制传感器。
发明内容
根据本发明的示例性实施方式，上述和其他的问题被克服，并且其他优势被实现。
在其第一方面中，本发明的示例性实施方式提供一种设备，其包括包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中光吸收激活值位于一个值范围内。该设备进一步包括与存储器连接的处理器，该存储器包括计算机程序代码，其中存储器和计算机程序代码被配置成与处理器一起，使得该设备至少执行基于阵列的电输出来估计照射该阵列的光强度。在其另外的方面中，本发明的示例性实施方式提供一种方法，其包括提供包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中光吸收激活值位于一个值范围内；以及基于阵列的电输出来估计照射该阵列的光强度。实施方式的进一步例子提供在所提交的权利要求I到30中。
在下面的具体实施方式
中，当结合附图阅读时，本发明的示例性实施方式的上述和其他方面将变得更为明显，其中图IA示出示例性二进制传感器阵列的顶视图；图IB示出二进制传感器的激活；
图2图形地绘出关于强度被激活的传感器数目的期望值；图3图形地绘出关于强度被激活的传感器数目的期望值的导数；图4绘出用于实现图IA的光传感器的接收器的一个合适和非限制性类型的电路；图5示出可以被构建为包括根据本发明的示例性实施方式的图像传感器的装置的框图；图6是示出根据本发明的示例性实施方式的方法的操作以及包括在计算机可读存储器上的计算机程序指令的执行的结果的逻辑流程图。
具体实施例方式本发明的示例性实施方式涉及数字照相机光传感器技术，并且更具体地，涉及更具体地，涉及具有指数级很高数目的像素(“位单元”)的二进制类型传感器(“接收器”)，数目可能超过10亿(“千兆”，IXlO9)。如上所指出，“二进制”意味着每个此类的传感器或接收器单元可以仅具有两个可能的值零(未曝光的)或一(曝光的)。本发明的示例性实施方式也涉及所谓的亚衍射极限传感器或接收器。这意味着投射在接收器上的图像并不是极为平滑，而是相比较于传感器元件的尺寸而言或多或少“模糊”。本发明的示例性实施方式考虑比先前已经考虑过的更为一般的情形，其中阵列中的每个二进制传感器具有固定然而任意的阈值。阵列中的每个二进制传感器的阈值可以假定为初始未知。在下面的描述中考虑两种不同的情形。在第一个情形中，假定可以获得一些训练数据，即，测试二进制传感器阵列并且光强度值以及二进制传感器阵列的相应输出被记录。阵列中每个二进制传感器的阈值接着可以使用例如贝叶斯推理来确定。在第二情形中，假定无法获得训练数据。该第二情形可以进一步划分成两个子情形，在第一子情形中(本发明的示例性实施方式最为感兴趣)，阈值的概率质量函数是已知的或至少被近似。在第二子情形中，不知道关于阈值的任何情况。本发明的示例性实施方式从事并且解决使用有限二进制传感器阵列来估计光子强度的问题。相比较于使用同质二进制传感器的阵列，提供了具有空间变化阈值的二进制传感器的阵列。可以对图IA做出参考，该图IA用于示出二进制传感器2的示例性阵列I的顶视图。传感器2以由1和7轴定义的规则网格图案来安排(在该非限制性实施方式中)。总计有N个传感器，其中N具有例如大约IO6到大约IO9或更大范围内的值。与阵列I关联的是读取电子电路3的框图，该电子电路3配置成对传感器2进行寻址并且读取传感器值，以及数据处理器4，其与体现为存储器5的数据存储介质连接。存储器5存储计算机软件程序(Prog) 6,当由数据处理器4执行时，使得经由读取电子电路3接收到的传感器输出被处理。在图IA中示出的各种组件 可以包括图像捕获(照相机)芯片、芯片组或模块8，其可以以单机的方式使用，或者可以并入进另一个装置或设备中。在图5中示出一个示例性实施方式，其中图IA的照相机模块8可以形成并入进用户设备(例如，并入进蜂窝电话)的照相机28的所有或一部分。图IB示出一些二进制传感器2的激活的例子。传感器F和H没有被激活，因为没有光子在它们上撞击。传感器B、C、D和G被激活(即，假设逻辑一状态)，因为它们接收(吸收)数目等于或大于它们各自的阈值的光子。传感器A和E保持不活跃(即保持在逻辑零状态)，因为它们接收(吸收)数目小于它们各自的阈值的光子。假设每个二进制传感器2的阈值固定但未知的情形。此外，假设可以获得训练数据。首先，训练数据用于求解(或估计，取决于数据的数量)每个二进制传感器2的阈值。接着，给定曝光的二进制传感器阵列I的输出，使用二进制传感器2的阈值和它们的方位(位置)的知识来估计强度。假设在二维阵列I中存在N个传感器2，数目从I到N。第i个二进制传感器的状态Si是贝努里随机变量，并且传感器i的阈值Ti是离散正随机变量。进一步假设具体二进制传感器2的状态独立于其他传感器2的状态。我们的第一个任务是确定每个传感器的阈值，给定训练数据的集合S，包括二进制传感器的输出0/}，以及相应的强度入u)，其中i =1，...，N，并且j = 1，...，|S|。每个传感器2的阈值独立于其他传感器的阈值来确定。给定传感器i的阈值Ti = \和光强度\，传感器i被激活的概率是
-I n Ar -APiSi = \\ ti,X) = \-^j~——
yt=0
o从上面接着可以将针对阈值Ti的似然函数写为PiSi I Ti = O = = 11 m = 0 I,
j其中Si是对应于第i个传感器的S的子集。可以使用例如最大似然估计来估计传感器i的阈值Ti的后验模式。假设传感器2的阈值彼此独立。如果相邻传感器的阈值不是独立的，则马尔可夫随机域的理论可以用于加速学习(例如，参见G. Winkler,图像分析，随机域和马尔可夫链蒙特卡洛法施普林格，2003)。现在假定针对所有i = 1，. . .，N确定第i个二进制传感器的阈值T”给定二进制传感器阵列I的输出(\)^，下一个步骤是估计光子强度。如前，针对强度、的似然函数可以写为P((Sj)% I A) = YlPiSi = 11A)" PiSi = 01 A)1'"
卜Io
针对强度入的估计现在可以通过使用例如具有先验分布
权利要求
1.一种设备，包括 包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中所述光吸收激活值位于一个值范围内；以及 与存储器连接的处理器，该存储器包括计算机程序代码，其中所述存储器和计算机程序代码被配置成与所述处理器一起，使得该设备至少执行基于所述阵列的电输出来估计照射所述阵列的光强度。
2.根据权利要求I所述的设备，其中估计使用训练数据来确定每个传感器的所述光吸收激活阈值，并且基于所述阵列的所述电输出，使用所述传感器的确定的光吸收激活阈值和它们的位置来估计所述强度。
3.根据权利要求2所述的设备，其中估计使用贝叶斯方法。
4.根据权利要求2所述的设备，其中估计使用前馈神经网络，其中所述训练数据用于训练所述神经网络以从所述阵列的所述电输出估计强度。
5.根据权利要求I所述的设备，其中估计使用所述阵列的所述电输出来确定被激活的传感器的数目以及概率质量函数，以确定所述传感器的所述光吸收激活阈值的分布。
6.根据权利要求5所述的设备，其中估计所述强度使用最大似然估计。
7.根据权利要求I所述的设备，其中N位于大约IO6到大约IO9或更大的范围中。
8.根据权利要求I所述的设备，其中所述光吸收激活值位于大约I到大约4的值的范围内。
9.根据权利要求I所述的设备，体现为用户设备中的照相机。
10.一种方法，包括 提供包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中所述光吸收激活值位于一个值范围内；以及 基于所述阵列的电输出来估计照射所述阵列的光强度。
11.根据权利要求10所述的方法，其中估计使用训练数据来确定每个传感器的所述光吸收激活阈值，并且基于所述阵列的电输出，使用所述传感器的确定的光吸收激活阈值和它们的位置来估计所述强度。
12.根据权利要求11所述的方法，其中估计使用贝叶斯方法。
13.根据权利要求11所述的方法，其中估计使用前馈神经网络，其中所述训练数据用于训练所述神经网络以从所述阵列的电输出估计强度。
14.根据权利要求10所述的方法，其中估计使用所述阵列的所述电输出来确定被激活的传感器的数目以及概率质量函数，以确定所述传感器的所述光吸收激活阈值的分布。
15.根据权利要求14所述的方法，其中估计所述强度使用最大似然估计。
16.根据权利要求10所述的方法，其中N位于大约IO6到大约IO9或更大的范围中。
17.根据权利要求10所述的方法，其中所述光吸收激活值位于大约I到大约4的值的范围内。
18.根据权利要求I所述的方法，其在体现为用户设备中的照相机模块中执行。
19.一种设备,包括 多个亚衍射极限光传感器，其中每个传感器具有用于将所述传感器的输出状态从第一状态向第二状态切换的关联激活阈值，并且其中至少一些所述传感器的激活阈值是不同的；以及 用于通过根据所述传感器的所述激活阈值的分布来解释所述多个传感器的输出状态，来测量入射在所述多个传感器上的光的装置。
20.根据权利要求19所述的设备，其中用于通过解释所述多个传感器的输出状态来测量入射在所述多个传感器上的光的装置将输出状态的空间分布转换成光强度的空间分布。
21.根据权利要求19或20所述的设备，进一步包括存储预定的分布，该预定的分布将所述多个传感器的每个映射到关联的激活阈值，其中用于通过解释所述多个传感器的输出状态来测量入射在所述多个传感器上的光的装置使用存储的所述传感器的激活阈值的预定分布。
22.根据权利要求19、20或21所述的设备，其中所述传感器是二进制传感器，该二进制传感器具有作为输出状态的仅所述第一状态和所述第二状态。
23.根据权利要求19到22的任意一项所述的设备，其中用于测量入射在所述多个传感器上的光的装置确定所述激活阈值的空间分布。
24.根据权利要求19到23的任意一项所述的设备，其中所述激活阈值被控制。
25.根据权利要求24所述的设备，其中以电方式来主动地控制所述激活阈值。
26.根据权利要求19到25的任意一项所述的设备，其中以规则的网格来布置所述多个传感器。
27.根据权利要求19到26的任意一项所述的设备，其中所述多个传感器包括多于IO6个传感器。
28.根据权利要求19到27的任意一项所述的设备，其中用于通过解释所述多个传感器的输出状态来测量入射在所述多个传感器上的光的装置包括处理器和包括计算机程序的存储器。
29.—种设备,包括 用于通过根据多个亚衍射极限光传感器的激活阈值的分布来解释所述多个亚衍射极限光传感器的输出状态以测量入射在多个亚衍射极限光传感器上的光的装置，其中每个传感器具有用于将所述传感器的输出状态从第一状态切换到第二状态的关联激活阈值，其中至少一些所述传感器的激活阈值是不同的。
30.一种计算机程序，当加载进处理器时，使得所述处理器 通过根据所述多个亚衍射极限光传感器的激活阈值的分布来解释所述多个亚衍射极限光传感器的输出状态以测量入射在多个亚衍射极限光传感器上的光，其中每个传感器具有用于将所述传感器的输出状态从第一状态切换到第二状态的关联激活阈值，其中至少一些所述传感器的激活阈值是不同的。
全文摘要
一种设备，其包括包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中光吸收激活阈值位于一个值范围内。该设备进一步包括与存储器连接的处理器，该存储器包括计算机程序代码，其中存储器和计算机程序代码被配置成与处理器一起，使得该设备至少执行基于阵列的电输出来估计照射该阵列的光强度。
文档编号G01J1/18GK102741670SQ201080062859
公开日2012年10月17日 申请日期2010年12月22日 优先权日2009年12月23日
发明者M·维金科斯基, S·科斯基南, T·玛基-玛蒂南, T·里萨 申请人:诺基亚公司