专利名称：具有修剪功能的图像传感器的制作方法
背景技术：
该发明适用于图像传感器，尤其是连接到象通用串行总线(USB)上的摄像机。
获得并贮存静物以及视频数字照片的能力变得越越来重要。数字图像可在计算机上操作，还可以通过互联网传送。数字视频摄像机因其高昂的成本而限制了它的广泛使用，照像机能降低成本而被人乐于接受。
图1是一个典型的视频摄像机的高级方框图，光线通过一个镜头10接收并传送给一组传感器阵列12，如电荷耦合设备(CCD)阵列。所检测的信号然后传送到一个模拟的前端电路14，放大并处理信号，使之转化成数字形式。经过数字化处理的信号然后贮存在帧缓冲存储器16里。
处理电路18以数字形式处理图像，或许是一个程序处理器或者是一个特定应用集成电路(ASIC)。处理电路把图像数据传送到总线20以使传送到计算机上。
用于连接到计算机的外设的一个总线标准是USB。因为USB是一条串行总线，以及它与多个外设是时间共享的事实，因此传送给计算机的数据带宽会受限制。这样，处理电路18就会对所要传送的数据进行压缩以减少要传送的数字位的数量，也会进行一些处理，象缩放，修剪和过滤。一个典型的图像格式是普通的内部变换格式CIF，它提供352个像素×288行，每个像素又由24比特位来表示，其中红、绿、蓝色(RGB)各占8位，要在总线发送的数据是一个相当大的数量。一般讲，压缩技术需要将数据从24减少到大约每像素3或4位。
图2是典型的CCD阵列12方框图。由图可见，它包括一组排成行、列的光电二极管22阵列，若干垂直的移位寄存器24，用以从光电二极管接收数值，每个光电二极管都用一个图像进行充电(charge up)。这些垂直的寄存器下载进一个水平的移位寄存器26，通过输出回路28连续将数据转移出去。
图3形象地表示了CCD阵列12的高级时序控制。若干有规则间距的水平传送脉冲30将这些行同步(clock)到水平移位寄存器26。以单个水平输送脉冲35为例放大进行说明。对于每一个这样的脉冲，运用时间脉冲37整行数据被连续地同步取出集成电路块，且全部数据都被同步取出，下一行就会被转移掉并通过另一条水平传送脉冲同步出垂直移位寄存器并进入水平移位寄存器，当数据传送完毕后，新一组的时钟信号37又会连续地将新的数据同步出行28，这个过程自动重复至整个图像输送完毕。同时，新的图像又会对光电二极管电容充电，立即由垂直传送脉冲32贮存在垂直的移位寄存器上。然后过程重复，水平输送脉冲将每条线路移进水平移位寄存器26上，以便随后将线路中所有的比特位移出。
一旦一条线路被装载进水平移位寄存器26，整条线路必须在下一条水平输送脉冲前被卸载。否则，移位寄存器里的数据将被覆盖，这条线的图像也会消失。同时，水平输送脉冲需要精确地计时维护以保证在读下一个图像前输出行。否则，如果所有行在分配的时间内被读出，也会丢失图像。因此，回过来再看图1，缓冲存储器16需要贮存至少一个从CCD阵列来的完整的帧(图像的所有行)。一般讲，帧缓冲存储器可通过处理电路18异步进行访问以便执行压缩、修剪等。另外，处理电路18也会其访问总线20后从缓冲存储器访问数据。
有些应用不需要帧缓冲器，象NTSC标准，承担着从摄像到电视的传送。因为这些数据可以通过一个专用信道传送，根本不需要帧缓冲器，也不必有共享总线。
对于USB，这里有几个总线访问模式有控制模式、海量传送模式和等时模式。等时模式用于传送视频数据，涉及外设与总线协商以获得一个带宽。因为总线和其他外设共享，带宽将受到限制。最大保证带宽是1k字节/ms，如果总线拥挤，将提供小于该带宽的带宽。另外，由于总线不稳，经过总线何时发送这些字节的时序会有所不同。所以，帧缓冲存储器还会提供一个缓冲功能，使处理电路适应总线的时序并获取有价值数据。
发明概要该发明图像传感器可以只输出图像的需要部分。这样，图像在产生的同时即可修剪，消除了从图传感器来的不需要数据的产生。这就减少了要进行的数字处理的数据存储要求，降低或消除对缓冲存储器的需要。
在一个实施例中，一个含有CCD阵列的硅片集成电路块包括一定数量的寄存器，能对每个帧编程以确认哪行应该读取。第一个寄存器贮存读取开始前跳过的行的数量，第二个寄存器贮存要读取的行的数量。在每一行内，集成电路块由时间脉冲控制以迅速地在图像的需要修剪部分前后读取数据。有效数据在一个较慢的时钟速率下读取并同时(on the fly)进行处理。
该发明可用于不带缓冲存储器的的视频摄像机。缓冲存储器的取消降低了摄像机成本和尺寸。本发明是通过使总线控制器向时序产生器提供信号来控制何时提供水平传送脉冲来完成该项功能的，因此，除了在CCD集成电路块说明中提到的有规则间距的输送脉冲，它们也可以非规则间距输送脉冲，以和USB时序保持一致。给CCD的输送脉冲的时序也考虑总线控制器里一条完整水平行的缓冲空间可用性。
给CCD的水平输送脉冲时序也受帧速率和压缩速率等的影响，它们影响贮存在总线控制器的缓冲器里的数据，以及在下一次总线访问前存储在缓冲区中的数据量。在总线控制器缓冲器中的一行存储能力可以确保在下一个水平传送脉冲之前整行都可以被传送出该CCD。
通过消除帧缓冲器，该发明使CCD和模拟前端电路结合成单一的硅集成电路块。在一个实施例中，时序发生器也集成到同一个集成电路块上。
若想更详细地了解该发明的本质和优点，还要结合下列附图进行描述。
附图主要描述图1是先有技术的视频摄像系统的方框图解；图2是先有技术的CCD阵列的方框图解；图3是先有技术的CCD集成电路块的时序图解；图4是按照本发明的一个实施例的视频摄像系统的框图；图5是按照本发明提供给CCD阵列脉冲的时序图；图6是图4的DSP的一个实施例的图解；图7是说明按照本发明的修剪的一个图像传感器阵列的图解；图8是在帧读取过程中不同时序事件的时序图解；图9是说明提供两个不同的、对应于背景中被修剪的部份的管道(pipeline)或图像数据信道的图解；图10是按照本发明的图解传感器集成电路块的方框图解。
发明的详细描述图4是一个应用该发明的摄像机的方框图。该系统包括一个镜头10和一组传感器阵列，象CCD组件12，如图1所示，连接到USB20上。
从CCD集成电路块来的信号提供给模拟前端40，包括差分放大器或相关双倍采样器(CDS)42，它们将模拟信号提供给一个自动增益控制电路AGC 44，然后这些数据又提供给一个模一数转换器ADC46。
这些数字化的信号，不必贮存到帧缓冲存储器里，而是直接提供给数字处理电路48。它们先被输送到视频数字信号处理器50进行压缩、修剪、缩放和其他功能如过滤等。一经处理，这些数字数据输送到一个行缓冲器52。行缓冲器52贮存着来自CCD集成电路块12的水平移位寄存器的单行数据。
从行缓冲器52来的数据被提供给一个包含总线控制缓冲器56和一个总线控制器58的总线接口。更可取的是，总线控制缓冲器56能以最大可能速率或2k字节贮存两个USB帧，取决于帧速率，压缩速率等，它可以变化到10行甚至15到20行，如果发生毁坏现象。
总线控制器58在线路60上提供关一个控制信号给时序发生器62，时序发生器62在线路64上提供时钟信号给CCD集成电路块12。时钟信号64包括在图3中所描述的水平和垂直传送脉冲。垂直输送脉冲如先有技术那样进行提供，并周期性地从CCD阵列装载充电值。水平输送脉冲波要随着下列电路的处理以及数据到USB的传送进行调整以便匹配数据从CCD阵列的读出。
在一个实施例中，模拟前端40和时序发生器62集成到(和CCD阵列12一样)相同的半导体集成电路块基底411。帧缓冲器的取消使单个集成电路直接与数字处理线路联接起来。这样就使结构更紧凑，较少需要昂贵的摄像机。
图5说明在线路64上提供的水平传送脉冲的时序。如图所示比特位根据需要被信息处理电路成组同步出来，而不是一个连续的脉冲流。当发出第一组的三行(line)66以后，会有一个时间停顿，同时处理这些像素并输送给总线，然后又提供下一组两行68。这也许会根据帧缓冲器的可用性和输送到USB的数据的时序产生一个间歇。如图所示的，下一个传送的是单行69，接下来是由一些脉冲70输送的由四行组成的一组。当整个图像输送完毕后，提供一条垂直的输送脉冲72。图5的例子是一个简单阐述，请注意因为水平脉冲是在两条垂直脉冲之间提供。为了显出缝隙，脉冲更近一些提供。这样，讯速地提供小组脉冲以便以该电路所能处理的尽可能快的速度将像素数据发送出去。在一个实施例中，一个完整的图像被一系间隔很近的脉冲同步出来，在下一个垂直输送脉冲产生前处理完毕。如果处理在下一个脉冲之前不完全，会产生间歇，该间歇符合处理时序和USB的可用性。这样，水平脉冲可以全部连续提供，只是比先有技术的速率快得多，并且垂直脉冲以后的成组脉冲的时序会被调整为正好在下一个垂直脉冲前或后，以适应处理过程和总线时序。
图6表示图4的一个具体的视频DSP 50的主要组件。第一模块74是一个电路，从CCD提供的感光镶嵌幕中提取YUV信息。然后是调整器76，它转换图像以适应X和Y。最后，一个压缩电路78压缩数据。各个元件包括局部的存储器以贮存正在处理的数据。一般地，2行缓冲器服务于电路74，而单行缓冲器服务于调整器76，并且另一个单行缓冲器是服务于压缩电路76。该发明也包括这些内部指定的缓冲器，也消除了对DSP外部帧缓冲器的需要。内部DSP行缓冲器足够小以便按照其逻辑集成到同一集成电路中。
在实验中，当视频摄像机工作时，总线控制器58会和USB协商以便在带宽上保证每毫秒获得足够量的数据，一且决定了带宽的数量，帧速率，尺寸和压缩速率通过处理电路48编入程序以符合可利用的带宽度。这将决定在整个USB每个转换器上从总线控制缓冲器56中读出的行的数量，以及从CCD阵列12中读出行的速率。
更具体地讲，时序发生器62自动产生水平输送脉冲，除非被总线控制器禁止。时序发生器以一个比先有技术更快的速率产生脉冲，随后压缩但不抑制脉冲，并且通过抑制适当数量的脉冲来扩展脉冲。
图7说明一个带有修剪区域82的图像传感器阵列80，在先有技术中，整个图像80被送到信号处理电路，它能提出和修剪区82对应的像素以便在修剪操作中处理。在这个发明中，并不是从图像传感器读取整个图像，而是从一行84开始读取，跳过上面的那些行，读取过程在行86处停止。显而易见，这样大大地减少了所处理的数据量，从而也减少必需的贮存空间。
另外，对于每行来说，简单地读取整行是最经济的，不必调整起始位置，这样会需要另外的电路。运用这个方法，到像素88前的所有像素都会以极高的速率读取和丢弃。目标区域中的像素(像素88到像素90)随后同步而出进行处理。像素90和图像末尾之间的像素又一次以快速率同步而出，并再一次地被丢弃。
图8是一个典型的帧持续时间的时序方框图，分t1～t6不同的时间段(t1是帧开始处)。时序发生器将产生时序信息给该阵列，然后它们或者脱离(locate off)集成电路块或者集成到图像传感器电路本身，集成电路块带有寄存器，贮存某些控制时序的参数。
寄存器里贮存有5个主要的参数，控制传感器读取的连续性。
1、TimeToFirstLine(到第一行时间)从曝光结束(从光电区到阵列的传送)到开始读取第一行的时钟周期数，[t2]。
2、SkippedLines(跳过行数)在激活从这些行读取前要跳过的行数。它可以用于两种方式作为针对行的一个起始位置或者作为计数器。
3、TargetLines(目标行数)为进一步处理读取的行数，跳过行数和目标行数的组合定义了目标带(感兴趣区域)，消除了在修剪区域的时间开销。
4、TimeToNextLine(到下一行的时间)从一个目标行的最后像素到下一个目标行的第一黑像素的时钟周期数，该参数用于扩展在时间上对目标行的读取。
5、TimeToNextFrame(到下一帧的时间)从最后的行序列到下一帧(光电区传送)的开始的时钟周期数[t6]。
下列固定参数是传感器参数PixelsPerLine一行内所有像素数量(黑色的、激活的)(t4)LinesPerFrame一帧内所有行的数量SkipTime跳过一行所需的时间(应尽可能地小)(t3)*TransferTime充电图像数据从光电区传送进垂直寄存器的时间开销(t1)(*)PixelClock传感器(像素)时钟频率，最好是12MHz。
帧速率用下式表示1/帧速率=PixelClock*[TransferTime+TimeToFirstLine+(LinesPerFrame-AvtiveLines)*SkipTime+TargetLines*(PixelsPerLines+TimeToNextLine)+TimeToNextFrame]在一个实施例中，t2和t6具有PixelClock周期的分辨率以确保最大的灵活性。最小的话，或者t2或者t6具有这种分辨率，使得对整个帧时间具有一个时钟周期的分辨率，而对其它的变量则可以具有相对粗糙的分辨率。这样可以给计数器节省一些位数。
为了使帧速率达到10fps和60fps之间，以及为了满足某些处理/软件后端的需要，在一个实施例中编程参数一般在下列范围内1、TimeToFirstLine高至5ms(*)2、SkippedLines:0～LinesPerFrame-13、TargetLines:1～LinesPerFrame4、TimeToNextLine高至5ms(*)5、TimetoNextFrame高至5ms(*)(对于低帧速率更大)(*)最小值以便使帧速率尽可能地高。
编程接口寄存器通过一个I2C接口程序化，寄存器是双倍缓冲的，可使一个激活的寄存器只在帧边界处改变，在整个帧时间上保持寄存器数值的连续性。
在一个实施例中，I2C接口特征是在1MHz时运行，以确保在帧持续时间内及时传送所有的参数。
在一个实施例中，并不是只发送图7中的修剪区82，区域82可以比整个传感器阵列80更频繁地发送。例如，修剪区包括有移动的图像区域，这些地方比提供背景的图像的其余部分更频繁地更新。例如，区域82可以每秒发送100个帧，而整个区域可能每秒发送25个帧，结果是区域82每输送四次才发送一次整个帧。
图9是利用该发明的一个方面的系统的方框图。图像传感器92给数字信号处理器(DSP)电路94提供数据，其分别处理背景和修剪区域。背景可以通过作为第一信道的一个输送管道96间歇地输送而移动区域82可以通过第二管道98进行输送。它们可以作为两个独立的信息信道在一个USB上进行发送。这样，本发明使帧尺寸和帧速率在两种不同的形式间切换。
图10是一个半导体集成电路块100的一个实施例。一个传感器阵列102给一个移位寄存器104提供数据，该寄存器通过一个输出电路106被连续地同步出来。该电路在标准的CCD阵列里建立。该发明也在同一个集成电路块上加了一个时序发生器108，而不是通过外界产生时序。同时还有一个传感器阵列控制电路110，不仅是给传感器阵列提供控制信号，也给集成电路块100的其他元件提供信号。(控制线路并不显示出来以避免使图像复杂化)。一组寄存器12贮存用于序列化传感器连续读出的参数，就象上面描述的那样。每一个寄存器是两个寄存器，提供双倍的缓冲。这样，数据在第一个寄存器就能被读取，而且在第二个寄存器内的前一个数据被用于处理当前的帧。一旦当前的帧读取完成，第一个寄存器的数据被传送到第二个寄存器，或直接用于下一个帧，同时双倍缓冲寄存器的另一半可被装载用于随后的帧时序。最好用I2C总线114，使用调用一个数据和一条控制线的标准I2C规范。
该发明的另一方面，集成电路块100上设置有处理传感器数据的其它模拟电路。特别地，一个相关双倍采样器(CDS)116连接在输出端106。一个自动增益控制(AGC)电路118与CDS116相连。最后，模-数转换器(ADC)170将像素数据转换成数字形式，通过一条输出线122输送，进行数字处理，比如通过如图9所示的DSP94。
本技术领域内的人应明白，本发明可以以其它特定的形式实现而不会脱离本质特征。例如，不是快速地读取一行中不想要的像素数据，可以设置CCD的水平移位寄存器的多个输出。虽然在每个像素位置处具有输出会增加电路和线路路由，但可增加例如大约每10-20像素的输出粗略分辨率，该精细的分辨率可以通过改变时钟读出速率而获得。因此前面的描述是说明性的，而非限制性的，本发明的范围由下面权利要求限定。
权利要求
1.一种操作图像传感器的方法，包括步骤如下在所选的第一行开始读取所述的传感器，该行可不是第一行；在所选的第二行结束读取所述的传感器，该行可不是所述图像传感器的最后一行。
2.如权利要求1的方法，还包括步骤在所选的第一行选择起始和结束的位置；以不同于所选的起始和结束位置之外的数据的读取速率的速率读取所述的起始和结束位置之间的数据。
3.如权利要求2的方法，其中在所述起始和结束位置之外的数据是在每次读取起始和结束位置之间数据时进行读取，但它们的读取时钟频率不同。
4.如权利要求2的方法，其中在所述起始和结束位置之外的数据在读取起始和结束位置之间的某些数据时不被读取。
5.如权利要求1的方法，还包括步骤将所述数据转换成数字格式；以及将上述数字格式的数据直接传送给一个数字信号处理电路，而不必在帧缓冲器中进行中间存储。
6.如权利要求1的方法，还包括步骤在一个视频数字信号处理器(DSP)中处理从所述图像传感器读取的图像数据，所述的处理包括将图像进行压缩；将处理的图像数据提供给一个总线；以及将一个时钟信号提供给所述图像传感器，以便以对应于总线上数据传送速率的速率传送来自所述图像传感器阵列的图像数据，以便不使用用于存储所述图像的整个帧的帧缓冲存储器。
7.一种操作图像传感器的方法，包括步骤在所选的第一行开始读取所述的传感器，该行可不是第一行；在所选的第二行结束读取所述的传感器，该行可不是所述图像传感器的最后一行；在上述所选的第一行内选择开始和停止位置；以不同于所选的起始和结束位置之外的数据的读取速率的速率读取所述的起始和结束位置之间的数据，其中在所述起始和结束位置之外的数据是在每次读取起始和结束位置之间数据时被读取的，但它们的读取时钟频率不同；把所述数据转换为数字格式；以及将上述数字格式的数据直接传送给一个数字信号处理电路，而不必在帧缓冲器中进行中间存储。
8.一种图像传感器，包括一个图像检测单元阵列；第一寄存器，用于贮存信息以识别上述阵列的开始读取行，该行可不是第一行；第二寄存器，用于贮存指示要读取的上述阵列的多个行的信息。
9.如权利要求8的图像传感器，其中所述的寄存器是双缓冲寄存器。
10.如权利要求8的图像传感器，还包括到上述寄存器的I2C接口。
11.如权利要求8的图像传感器，还包括第三寄存器，用于贮存从上述图像检测单元曝光结束到开始读出第一行的多个时钟周期；第四寄存器，用于贮存从一个目标行的最后一个像素到下一个目标行的第一个像素的多个时钟周期；第五寄存器，用于贮存从一个帧读取的最后一行到下一个帧开始的多个时钟周期，以及一个控制电路，用于以所述寄存器规定的速率读取在所述位置间的数据。
12.如权利要求8的图像传感器，还包括一个时序发生器，用于提供一个时钟信号给上述传感器阵列，以便以对应于总线上数据传送速率的速率传送来自所述图像传感器阵列的图像数据，以便不使用用于存储所述图像的整个帧的帧缓冲存储器。
13.一种图像传感器，包括在一个硅基底上的图像检测单元阵列；在上述硅基底上的第一寄存器，用于贮存信息以识别上述阵列的开始读取行，该行可不是第一行；在上述硅基底上的第二寄存器，用于贮存指示要读取的上述阵列的多个行的信息；以及在所述硅基底上的时序发生器，用于提供一个时钟信号给上述传感器阵列，以便以对应于通用串行总线(USB)上数据传送速率的速率传送来自所述图像传感器阵列的图像数据，以便不使用用于存储所述图像的整个帧的帧缓冲存储器。
全文摘要
一种只输出期望的图像部份的图像传感器(102),该图像在其产生时进行必要的修剪,避免从图像传感器中产生对应于不需要的图像部份的数据,因此减少了数字处理的存储要求,减少或消除了对帧缓冲存储器的需要。在一个优选实施例中,一个包含CCD阵列(102)的单一硅芯片(102)包括多个寄存器(112),这些寄存器可以对每一个帧进行编程以便指示就在读出哪一个行。在每个行内,芯片(100)可由时序脉冲控制以便在所期望的被修剪的图像部份之前或后快速地读出数据,并将快速读取的数据简单地丢弃,而实际期望的数据可以用较慢的时钟速率读出以便在读取时进行处理。
文档编号H04N3/15GK1311952SQ99808133
公开日2001年9月5日 申请日期1999年6月9日 优先权日1998年6月9日
发明者马克·苏, 米切尔·诺克罗斯, 乔治斯·奥伯格, 里米·齐默尔曼 申请人:罗技电子股份有限公司