专利名称：图像传感装置内用于图像数据本征处理的方法和电路的制作方法
技术领域：
本发明的背景1.本发明的领域本发明一般地涉及图像处理领域。更具体地，本发明涉及图像或活动视频压缩。
2.相关技术的说明当前的技术状态，图像采集器件的制造和设计经常应用CCD(电荷耦合器件)技术。这类器件以电信号反映出环境或景像，电信号是与景像中存在之光线的彩色和/或强度成比例的。CCD图像采集器件利用小的光电单元产生出电信号，电信号是与由景像投射到光电单元上的入射光相关联的。成像器件内包含此类光电单元的一个二维阵列，从而能够捕获和存储整个聚焦景像的一系列信号。新近，开发了CMOS(互补金属氧化物半导体)成像器件，在功能上可给出与CCD器件同样类别的输出信号，但往往成本和复杂性要低些。一般成像器件的例子包括有扫描仪、活动视频摄像机和数字静止图像摄影机。
许多种这样的成像器件无论是基于CMOS或是CCD技术，都设计成符合于称为NTSC(美国国家电视制式委员会)的传输标准。NTSC的一个限制在于，图像的传输不应是逐行地扫描(成像器阵列的)各行，而是奇数行与偶数行分开地传输的。这种奇数行和偶数行的分别处理，通常称为隔行扫描。NTSC信号中光强度信息编码成模拟电压电平，彩色信息编码于彩色载波频率的相位和幅度中，如此等等。当为了图像处理将NTSC信号转送至一个计算机系统时，计算机系统利用一个信号变换器将模拟的已编码信息变换成亮度和色度的数字值，用于所传输的图像。对于图像的数字表示，最通常地应用的亮度-色度格式为周知的YCrCb(一个数字彩色系统称之为CCIR 601彩色空间，CCIR是国际无线电咨询委员会的缩略词)。从NTSC变换至YCrCb时实质上是串行的，并由于串行处理特性，有大量可供商品应用的微处理器。随后的图像处理也以串行方式实施。对于占优势的串行数据处理，一个值得注意的例外是Intel的MMX(TM)技术，它是基于应用SIMD(单指令多数据)处理的处理器。为了结合成像器件配套地应用此类处理器，对于使用来采集数字图像值的光电单元，进行并行处理是有利的。此外，数字光电元件实际应用中的一个关键因素是模拟光电元件部分的积分时间比较长，使应用速度比较慢，从而数字化的方法较简单。对于活动视频，它涉及某些本征的串行运算，诸如对每个像素作出差值计算(对于像素之间和/或帧之间的差值进行编码，而不是对原来数值进行编码)，这有助于采用一种结构，它使得此类计算可以在成像器件上实现，而不是严格地通过一个主处理器来实现。
本发明概要公开了一种装置，它包含一个模拟光电元件，适应于捕获入射在其上面的光能，成为一个模拟信号，还包含一个连接至光电元件上的取样-保持放大器，适应于存储该模拟信号，又包含一个数字变换器，连接在该放大器上，将模拟信号变换成数字值，该数字值与光能的大小成比例。
附图的简要说明从下面对附图的说明中，本发明之方法和装置的目的、特性和优点将是显见的，其中
图1示明了在本发明中应用的一个数字光电元件。
图2是通常的串行成像器的一个简化框图。
图3示明了使图像差值更有效的一种结构。
图4示明了本发明的一个实施例。
图5示明了按照本发明一个实施例中的每像素模拟差值产生电路。
图6示明了按照本发明一个实施例中的每像素数字差值产生电路。
本发明的详细说明本发明的一个方面涉及对于应用在成像阵列中以采集景像的每个光电单元予以增强。不再是应用一种纯模拟的光电元件，在以CMOS技术制造的器件中采用模拟和数字信号之组合将是有利的。按照本发明的一个实施例，可以嵌入一个带有变换电路的模拟光电元件，以形成一个数字光电元件。数字光电元件将入射光产生的模拟信号变换成数字代码，可将它在数字域内进行图像处理。如图6中所示，这种数字光电单元阵列可以应用在成像器件中构成一种数字图像处理系统。
图1示明了在本发明中应用的一种数字光电元件。
模拟光电元件110从成像的景像上面捕获入射的光能。模拟光电元件110根据一个积分时间T进行工作，该时间T随环境光情况变化。积分时间短于使光电元件饱和所需的时间。在光电元件上积累的电荷输入给取样和保持放大器120。当光电元件泄放其电荷时，计数器140复位，并开始计数下一个积分时间。计数器140由压控振荡器(VCO)130驱动。VCO 130上有一个由先前获得的电荷设立的输入电平，该电荷是已存储在取样和保持放大器120中的。VCO 130可控制计数器140计数增加的速率。模拟光电元件上的光强愈大，由VCO 130驱动的计数器140计数愈快。在一个具体的电荷积分期间，计数器140向上计数，并在复位之前将其计数值传送至寄存器150上。寄存器150中的数字值，也即计数器140的最终值，反映出前一个积分期间像素的光强值。对于活动图像系统，寄存器150内包含图像中一“帧”的像素。下一帧的光电荷值在取样和保持电路120内，而计数器140产生着下一帧的数字值。寄存器150内保持住像素值，直至它输出作为图像的一部分，或者用于进一步的处理。由于各个光电单元并行地工作，所以组成图像像素阵列的每个数字光电单元可以由同一个定时和控制序列来调整，定期地输出一个完整帧。
为了保证计数器的动态范围与光电单元的动态范围相匹配，可配置取样和保持放大器来合适地缩放对于VCO 120的输入。由于被采集的景像中环境光有高低的差别，这种动态范围可能不匹配。由景像环境光之电荷引起的积分时间变动保证了采集的图像具有正常的对比度。为了调整VCO 120的动态范围以匹配模拟光电元件，可以将一个全局缩放电压160作用到阵列中每个数字光电单元的取样和保持放大器上，它使每个光电单元中的VCO部分一致地适应一种动态范围，它符合于当前的环境光情况。图1的增强式数字光电元件可以应用在一个串行处理成像器件中，或者应用于并行式图像处理结构中。
图2是一个通常的串行成像器件的简化方框图。
如上面所指出，诸如MPEG的活动视频压缩应用了差值方法来编码接连的图像数据帧。在采集两帧或者完全成像之后，对相应像素之间的差值进行计算，然后对该差值进行编码。这能做到应用最少数目的比特来编码高度相关的或是有冗余的图像特征。例如，在视频会议期间，从一帧图像到下一帧图像，所采集图像的背景可能只有很小的变化，或者完全没有变化。这种情况下，不必在接连的帧上传输整个背景部分，而可以只传输相继帧之间的像素差异。图2中，CCD成像器件内应用的串行成像单元将一个完整帧的像素信息向外移出，然后，在能计算出第一差值帧之前移位另一个完整帧。因此，这种常规的方法要求采集和存储两个(或多个)完整的图像帧，以产生代表其差值的第三帧。对第一帧也即“关键”帧作出采集和数字化，接连的一帧同样地处理。然后，对数字化的两帧求差值，产生一个差值帧。为了在常规的图像求差值装置中减小延时和计算量，可应用类似于图3的结构。
图3示明一种使图像求差值效率较高的结构。成像器件的常规设计中，在接连采集的两帧已采集到和数字化之后，再进行求差。为了改善这种常规的设计，如果在完成数字化之前进行模拟求差，可以大大地减少计算量。图3中的并行移位求差装置利用了移位来达到形成图像差值数据的目的。
考虑8个示例的模拟光电单元A31、A32、A33、A34、A35、A36、A37和A38。各个光电单元在景像中的固定位置上捕获模拟的光强值。这些光强值由光电单元在其积分时间内积累的电荷量来代表。不象图1中的数字光单元那样，光电单元A31、…、A38并不给出数字化的输出。实际中，存储的电荷在积分周期的结束时刻送出(在一个给定的帧瞬时下所有光电单元的积分周期是相同的)，去往一个对应的移位单元。对于每一行模拟光电单元，有着两行移位单元。一行移位单元存储第一帧(“关键”帧)的光电单元输出，而第二行的移位单元存储下一帧的光电单元输出。每行移位单元串行地输出光电单元数据。
用于关键帧输出的移位单元行标记为S32、S34、S36、S38、S40、S42、S44和S46。用于关键帧之紧后面一帧的移位单元输出存储行标记为S31、S33、S35、S37、S39、S41、S43和S45。当成像结构第一次初始化时，全部移位单元均存储空值或零强度值。采集到第一图像帧时，每个模拟光电单元A31、…、A38将建立电荷，它们代表了入射在景像中各个光电单元上具体位置处的光强。这组信号传输至移位单元行S31、S33、…、S46上。这行移位单元用于该瞬间的关键帧，它们本是未填充电荷的。现在并不输出这第一帧的数据，在结构上，要等待到采集下一帧时再输出。当模拟光电单元A31、…、A38采集到下一图像帧时，如图3中所示，前一帧的信号首先从移位单元S31、S33、…、S45分别传输至移位单元S32、S34、…、S46的一行上。然后，在第二帧的积分周期结束时，信号从模拟光电单元A31、…、A38传输至移位单元S31、S33、…、S45上。在该瞬间，两个移位单元行中都包含图像帧信息。存储有第一帧的移位单元行S32、S34、…、S46移位向外，它代表了关键帧输出312。关键帧输出312同时向差分运算放大器310的一个输入端移位。
存储在移位单元S31、S33、…、S45内的当前帧信号移位至差分运算放大器310的另一个输入端上。差分运算放大器310产生模拟信号的差值帧输出314，它是前一帧(关键帧)减去当前帧的结果。在进行存储或处理之前，模拟信号差值帧输出314和关键帧输出312两者可以先数字化。由于串行移位工作只能够逐像素地输出模拟的关键帧和当前帧之输出，所以整个的当前帧和关键帧必须首先移位到输出端，再移位到差分运算放大器310上。当串行移位工作完成以及关键帧和当前帧的最后像素输出/处理后，存储在移位单元S31、S33、…、S45中的当前帧便并行地移位入S32、S34、…、S46行，它由此变成了下一个关键帧。
这个设计的优点主要在于，传输出去进行数字化的只是模拟的差值帧输出，而不是两个完整的图像帧。取决于进一步要执行的下行线路处理，差值帧输出314和/或关键帧输出312可以数字化。常规的设计中，要在采集两个完整的模拟光电单元信息帧并且分别地移位出去之后，再实现数字化和求差值。图3的结构中，关键帧312和对于下一帧的差值(差值帧输出314)是同时移位到输出端的。
图3的实施例中，在由模拟光电单元采集另一帧之前，尽管是同时地移位，但仍然需要输出完整的关键帧和差值帧。按照本发明的另一个实施例，图4中示出了对此结构的进一步改进。
图4示明本发明的一个实施例。
图4的实施例中，将当前帧立即移位出去，通过运算放大器420又进行再生和反馈。
图4的结构中，由N+1个模拟光电单元A0、A1、…、AN的阵列采集当前图像帧，然后并行地分别去往移位单元C0、C1、…、CN。移位单元C0、C1、…、CN以CN到C0的级联(斗链)形式移位出采集的帧数据。如图中所示，由运算放大器420再生该当前帧数据，并反馈至移位单元阵列SN、…、S0上。由于将再生的当前帧反馈，所以在当前帧与移位单元阵列S0、…、SM移位出的前一帧之间可求出差值。当前帧与前一帧之间的求差值可由运算放大器410来实现，产生出逐像素的差值帧输出。这种串行成像系统预定的优点在于，它提供出当前帧和差值帧时不需等待到采集完整个帧的像素数据之后。一般地说，在能够产生差值帧之前，必须将第一帧和第二帧这两帧都采集到。图4的结构排除了串行成像上的这样一种限制。运算放大器410和420虽未详细示明，但本技术领域内的熟练技术人员是能够设计的，不过运算放大器420应具有放大整体信号的能力，而运算放大器410应具有给出两个信号之差值的能力。
图5示出了按照本发明一个实施例的一种每像素求差值的电路。
图5的实施例，可基于一个关键帧来传输多个差值帧。成像装置首先在图像输出端上采集和传输关键帧，这里并未对像素求差值。该关键帧通过移位单元S51、S52、…、S54移位出，又反馈入模拟保持寄存器阵列H51、H52、…、H54。在反馈和输出之前，每个像素先通过再生放大器R5，它使像素的电荷水平再生，以避免在传输延时中的损耗。将当前帧送入保持寄存器H51、…、H54的这种反馈可以确保，当下一帧被采集时，该当前帧可作为“前一帧”供应用。随着这样地存储入完成的帧，便可能计算一个差值帧，并将此差值在下一个帧周期上传输。
为了做到这一点，每个模拟保持寄存器H51、H52、H53和H54的输出分别连接至差分运算放大器O51、O52、O53、和O54的一个输入端。当前帧由模拟光电单元A51、A52、A53和A54分别采集，它们的输出分别去往差分运算放大器O51、O52、O53和O54的另一个输入端。当传输关键帧之后，在输出端上，可以传输出每一个随后的帧，作为由放大器O51、O52、O53和O54计算出的、相对于前一帧或关键帧的差值。可以向输出端传输出任何数目的、随后的“差值”帧，直至所需的下一个关键帧到来。对于每一个移位单元S51、S52、S53和S54的输入，或者是由模拟光电单元A51、A52、A53和A54分别采集的原来的整个帧(当需要一个关键帧时，或者是由运算放大器O51、O52、O53和O54分别给出的差分输出。
一个选择信号(未示出)传送给模拟复用器M51、M52、M53和M54组中的每一个，它按照使用用户的需要使合适的关键帧数据(帧A51、A52、A53和A54)或差值帧数据(O51、O52、O53和O54)分别去到移位单元S51、S52、S53和S54。如图中所示，其它的移位单元行和类似的结构可以一个接一个地一起连接起来。
图6示明了按照本发明一个实施例的一种每像素数字差值产生电路。
图6的实施例，可基于一个关键帧来传输多个差值帧。成像装置首先在图像输出端上采集和传输关键帧，这里并未对像素求差值。由数字光电单元(像素)D61、D62、D63和D64采集的初始关键帧在输出总线600上输出。同时，数字像素D61、D62、D63和D64分别馈送至一系列数字保持寄存器H61、H62、H63和H64上。当前帧送入保持寄存器H61、…、H64的这种反馈可以保证，当下一帧被采集时，该当前帧可作为“前一帧”供应用。随着这样地存储入完成的帧，便可能计算一个差值帧，并将此差值在下一个帧周期上传输。
为了做到这一点，每个数字保持寄存器H61、H62、H63和H64的输出分别连接至减法单元S61、S62、S63和S64的一个输入端。当前帧由数字光电单元D61、D62、D63和D64采集，它们的输出分别去往减法单元S61、S62、S63和S64的另一个输入端。在关键帧之后，图像输出端上每个随后的帧是以减法单元S61、S62、S63和S64所计算的、相对于前一帧的差值进行传输的。可以向输出端传输出任何数目的、随后的“差值”帧，直至所需的下一个关键帧。
根据申请人/用户的需要，输出总线可传输或是关键帧像素(来自D61、D62、D63和D64)，或是差值帧像素(来自减法单元S61、S62、S63和S64)。基于所需的模式，是关键帧还是差值帧，将一个选择信号(未示出)传送至数字复用器M61、M62、M63和M64之每一个上，由此，如图中指明地选通关键帧像素(来自各别的D61、D62、D63和D64)或是差值帧像素(来自各别的S61、S62、S63和S64)的路由。类似于由M61、M62、M63和M64提供的输出信号，其它的数字输出信号可以重复地构成，用于每个所希望的像素。
这里给出的示例性实施例仅仅是示明本发明的原理，不应当认作为是对本发明范畴的限制。实质上，本发明的原理可以应用于广泛范围的系统内，以实现这里所说明的优点，并实现其它优点或者又满足其它的目的。
权利要求
1.一种系统，包含有一个数字光电元件阵列；多个数字保持寄存器，所述数字光电元件阵列中的每个数字光电元件的输出连接至相应的数字保持寄存器；多个减法单元，各个减法单元的第一输入连接至一个数字光电元件，各个减法单元的第二输入连接至与所述第一输入相连的所述数字光电元件的所述相应的数字保持寄存器；以及多个数字复用器，各个数字复用器的第一输入连接至所述多个减法单元中的一个减法单元，各个数字复用器的第二输入连接至相应的数字光电元件，所述相应的数字光电元件与连接至所述数字复用器的第一输入的所述减法单元相连。
2.权利要求1的系统，还包括输出总线，所述多个数字复用器中的各个数字复用器的输出连接至所述输出总线。
3.权利要求2的系统，其特征在于发送至所述多个数字复用器中的各个数字复用器的选择信号选择来自所述数字光电元件阵列的信号或者来自所述多个减法单元的信号。
4.权利要求3的系统，其特征在于所述选择信号选择来自所述数字复用器阵列的信号导致传送所述数字光电元件阵列的关键帧数据。
5.权利要求3的系统，其特征在于所述选择信号选择来自多个差分运算放大器的信号导致传送所述数字光电元件阵列的差值帧数据。
6.一种方法，包括将来自数字光电元件阵列中的各个数字光电元件的信号传送至多个寄存器中的一个相应寄存器；确定来自所述数字光电元件阵列中的各个数字光电元件的信号与来自用于所述数字光电元件的所述多个寄存器中的所述相应寄存器的信号之间的差；以及从以下选项中选择一组信号来自所述数字光电元件阵列的信号，或者所确定的来自所述数字光电元件阵列中的各个数字光电元件的信号与来自所述数字光电元件的所述多个寄存器中的所述相应寄存器的信号之间的差。
7.权利要求6的方法，还包括传送所述选择的那组信号至总线。
8.权利要求7的方法，还包括发送一个选择信号来确定所述选择的那组信号。
9.权利要求8的方法，其特征在于，如果所述选择信号选择来自所述数字光电元件阵列的信号，则这种选择导致传送所述数字光电元件阵列的关键帧数据。
10.权利要求8的方法，其特征在于，如果所述选择信号选择来自所述数字光电元件阵列中的各个数字光电元件的信号与来自所述多个寄存器中的所述相应寄存器的信号之间的差，则这种选择导致传送所述数字光电元件阵列的差值帧数据。
11.一种装置，包括一个数字光电元件，所述数字光电元件的输出代表一个图像区域的光强，作为像素值；一个保持寄存器，它连接至所述数字光电元件，所述保持寄存器从所述数字光电元件接收所述像素值；一个减法单元，它连接至所述数字光电元件和所述保持寄存器，所述减法单元求出所述数字光电元件的当前像素值与存储在所述保持寄存器中的所述数字光电元件的上一像素值之差；一条输出总线；以及一个复用器，它连接至所述减法单元和所述数字光电元件，所述复用器选择性地将所述减法单元的输出和所述数字光电元件的像素值之一提供给所述输出总线。
12.权利要求11的装置，其特征在于，如果选择所述数字光电元件的像素值，则在所述总线上传送所述像素值，作为一部分关键帧数据。
13.权利要求12的装置，其特征在于，如果选择所述减法单元的输出，则在所述总线上传送所述输出，作为一部分差值帧数据。
全文摘要
一种装置，包含有一个模拟光电元件，适应于捕获入射在它上面的光能量，给出模拟信号；一个取样和保持放大器，连接于光电元件上以存储模拟信号；以及一个数字变换器，连接于所述放大器上，该变换器将模拟信号变换成数字值，其数字值正比于光能量的大小。
文档编号H04N5/376GK1525737SQ20041000480
公开日2004年9月1日 申请日期2000年5月2日 优先权日1999年5月7日
发明者P·E·马蒂森, P E 马蒂森 申请人:英特尔公司