专利名称：用于同时多视角成像器的方法和装置的制作方法
技术领域：
本发明涉及高分辨率成像器的设计，尤其涉及一种同时输出宽范围窗口和高分辨率窗口的成像器。
背景技术：
通常期望提供通过摄像机记录的宽视角和高分辨率的场景。这在现有技术中是通过两种摄像机来实现的结合电动平台使用的广角摄像机和高分辨率摄像机。这些方法的缺点是由第二摄像机和诸如旋转平台的辅助硬件引起的额外成本。
一些现有技术发明涉及到成像系统。由Smith提出的美国专利5926218示教了一种具有用来产生取景器图像的第一低分辨率传感器和用来产生高分辨率图像的第二高分辨率图像传感器的摄像机。由Braun提出的美国专利5532737公开了一种摄像机系统，其中放置多个摄像机用于经由镜系统来接收不同视角的相同图像。由McCollough提出的美国专利5065024描述了一种红外成像系统。该系统能够改变视角。可交换地使用许多检测器来提供变化的视角。由Zwirn提出的美国专利5023719示教了一种从红外摄像机提供多个实时图像的方法。
发明内容
本发明的主要目的是提供一种有效和完全可制造的成像器结构。
本发明的另一目的是提供一种通过使用单个摄像机而不需要电动平台来产生宽视角和高分辨率的方法。
本发明的再一目的是提供一种通过使用单个传感器阵列产生多个视角的方法。
本发明的又一目的是提供一种通过过滤和子抽样并通过使用多个模数转换器根据单个传感器阵列产生多个视角的方法。
本发明的又一目的是提供一种不需要分离的处理器的方法。
本发明的又一目的是提供一种能够产生多个视角而不需要光学系统的电动平台的成像器。
根据本发明的目的，实现了一种根据传感器像素阵列产生两视角图像的方法。所述方法包括提供传感像素阵列。通过依次产生多个数字数据流来产生阵列数字数据流，每个数字数据流对应于所述阵列中的所述传感像素的块。任何所述块中的全部所述传感像素是同时抽样的。根据所述阵列数字数据流产生第一和第二数字视频流。所述第一和第二数字视频流分别包括所述阵列的第一和第二视角。所述第一数字视频流的每个像素对应于过滤的和子抽样的多于一个所述传感像素抽样的组合。
而且根据本发明的方面，实现一种具有第一和第二视角的成像装置。所述装置包括传感像素阵列和多个模数转换器。还包括通过依次产生多个数字数据流来产生阵列数字数据流的装置，每个数字数据流对应于所述阵列中的所述传感像素的块。任何所述块中的全部所述传感像素是由所述模数转换器同时抽样的。第一视角读取块根据所述阵列数字数据流产生第一数字视频流。所述第一数字视频流包括所述阵列的第一视角。所述第一数字视频流的每个像素对应于过滤的和子抽样的多于一个所述传感像素抽样的组合。第二视角读取块根据所述阵列数字数据流产生第二数字视频流。所述第二数字视频流包括所述阵列的第二视角。
在形成本说明的资料部分的附图中，示出了下列附图图1图解说明了一种示出多视角成像器的方框图的本发明最优实施例；图2图解说明了示出宽视角和窄视角处理的优选实施例；图3以方框图形式图解说明了示出用于并行读取交错的像素的小块的系统的优选实施例；图4以方框图形式图解说明了示出用于并行读取非交错、或平铺的像素的小块的系统的优选实施例；图5以流程图形式图解说明了示出用于过滤交错的像素读取的系统的优选实施例；和图6以流程图形式图解说明了示出用于过滤平铺的像素读取的系统的优选实施例。
具体实施例方式
本发明的优选实施例公开了一种新颖的成像方法和装置。成像器根据单个传感器阵列而不需要电动光学器件或平台就可提供窄和宽视角。本领域的技术人员应当清楚，在不背离本发明的范围的情况下可以应用和扩展本发明。
现在参考图1至6，下面来图解说明和讨论本发明的多视角成像器。尤其参看图1，示出了本发明的多视角成像器的优选实施例的方框图。该装置包括像素传感器阵列100、ADC块102中的多个模数转换器116、以及两个窗口读取块104和114。像素传感器阵列100是现有技术中众所周知的包括材料(诸如半导体材料)的元件，用于将入射光转换成电信号。像素传感器阵列100包括大量的单个像素，从而可以解码入射光中的图像。典型地，每个像素产生与入射光的强度成正比的模拟电压。通过使用并行模数转换器(ADC)块102将模拟成像器像素值转换成数字值。并行ADC块102具有大量并行的模数转换器(ADC)子块106，每个模数转换器子块用于转换像素传感器阵列100中的像素的子集、或块。在图1中示出了八个ADC子块116。ADC块102中的并行ACD子块116的使用使高分辨率成像器能够被快速读取，例如在2K×2K像素的情况下。而且，使用越多的并行ACD子块116，会进行更多的并行处理，每个ADC子块116可以以更低的时钟频率运行。时钟频率越低，从每个ADC子块116获得的精度就越高。
模数转换器同时对块中的每个像素进行抽样(在这种情况下为一次八个像素)，以便对于该块而产生数字流。随后来自ADC块102的数字流被发送到两组或更多组的窗口读取块104和120。ADC块102对像素块依次抽样，从而根据帧的周期基础对整个像素阵列100进行数字转换。在抽样的每个帧上，所产生的块数字流的累积序列(作为ADC块102的并行输出)形成整个阵列的阵列数字流。
图1示出了两个窗口读取块，第一窗口读取块104和第二窗口读取块114。每个“窗口”对应于像素传感器阵列的视角。第一窗口读取块104控制第一视角，第二窗口读取块114控制第二视角。每个窗口读取块104和114可以包括多个子块，例如过滤器/子抽样器108、子窗口选择器110、时分复用器112、以及重新定时器122。然而，窗口读取块104和114不必包含所有的这些块。在图1所示的示例中，第一窗口读取块104示出了所有的子块过滤器/子抽样器106、子窗口选择器108、时分复用器110、以及重新定时器112。窗口读取块104和114的输出118和120是表示以光栅扫描顺序位于指定子窗口的像素值的抽样的顺序流。
窗口读取电路104和114控制从成像器输出的窗口。通常人们期望成像器不输出所有的像素值。例如，对于每帧以30帧/秒输出2K×2K像素的高分辨率成像器应当以126兆赫(MHz)进行读取和处理。这种计算能力需要昂贵的硬件。而且，这种分辨率的视频与大多数现有的监视器、录像机、以及处理装置不兼容，大多数现有装置的VGA分辨率为648×480。子窗口选择器110控制将被输出到第一数字视频流118的像素传感器阵列100的子窗口。窗口位置规格线124和126确定将被选择的窗口。窗口读取块104和114的目的是允许以期望的分辨率输出成像器范围的选择区域，该选择区域可能大于期望的分辨率。
参考第一窗口读取块104来解释窗口读取块的操作。首先由过滤器/子抽样器108读取来自ADC 116的并行块数字流。该块包括过滤电路，用于对像素值(可能是并行的)进行数字空间过滤并随后对其进行子抽样。过滤的目的是最小化图像中的空间混淆，该空间混淆可能是由子抽样而引起的。过滤器/子抽样器108在一个或多个并行通道111上输出抽样。过滤器/子抽样器108起到类似视频标量片(video scalar chip)的用途，但是对于处理速度的原因，在标准的实践中，必须使用并行输入流而不是顺序流来实现过滤器/子抽样器。而且，重要的是，在一些情况下通过使用流水线过滤阶段来实现过滤器/子抽样器108，而不是对其仅使用仅一个阶段。如果成像器电路太大而不能安装在单个芯片中而必须将成像器电路拆分到两个芯片，或者如果期望成像器使用现有的过滤芯片，则期望那样的多阶段设计。
将过滤器/子抽样器108的输出发送到子窗口选择器110，该子窗口选择器选择包含在期望的子窗口中的那些抽样。随后通过时分复用器112处理来自子窗口选择器110的输出，该时分复用器将来自并行流的选择的抽样交插进入单个顺序流，在该单个顺序流中抽样以光栅顺序出现。子窗口选择器110允许通过使用窗口位置规格线124来外部指定子窗口。这种规格可以由操作员或自动程序来提供，并且可以对每一帧进行变化。通过以逐帧地移动子窗口，得到数字全景/仰角(pan/tilt)机构制。重新定时器块122将从时分复用器112输出的数字像素流转换成定时格式，该定时格式与诸如数字转换器或录像器的标准装置的视频输入兼容。如果利用了子窗口选择器110，则仅需要重新定时器122，因为子窗口选择器110的输出的定时取决于关于像素传感器阵列的子窗口的位置。
现在参考图2，示出了上述设计的更具体的实施例。高分辨率数字全景/仰角成像器具有例如2560×1920像素的像素传感器阵列200和两个图像读取器，即，宽视角(WFOV)读取器218和窄视角(NVOF)读取器240。这些图像读取器218和240、或数字视频流分别对应于WFOV块204和NFOV块214。
WFOV视频输出218是整个成像器视角的视频流，但以较低抽样的分辨率，尤其是640×480抽样，或者近似每4个像素抽样一次。这个数量的抽样比2560×1920抽样的处理在计算上便宜，如果对于每个像素以1抽样的最高比率对WFOV进行抽样，则产生2560×1920抽样。为了产生这个输出，WFOV窗口读取块204包括过滤器/子抽样器206和时分复用器208。子窗口选择器和重新定时器不是必需的，因为WFOV输出218往往覆盖传感器阵列200的整个图像范围。NFOV读取器240最好是成像器的典型640×480抽样的子窗口，该子窗口是以原始最大抽样率而获得的，例如对于阵列200中的每个像素的1抽样。因此，NFOV窗口读取块214由子窗口选择器226、时分复用器228、以及重新定时器230简单组成。保留原始像素分辨率，从而不需要过滤器/子抽样器。
在这种情况下，使用并行的八个ADC 216将模拟像素转换成数字值。如果ADC以20MHz运行，这意味着可以以小于33毫秒一帧的时间读取整个2560×1920像素阵列。过滤器/子抽样器的设计极大地取决于空间模式，根据该空间模式ADC读取成像器上的像素值。在图3和4中示出了两种基本的读取器设计。
尤其参考图3，ADC 316被排列用来对小块320数字化，在该情况下，测量4×2像素，每个ADC并行处理块320中的分离像素，从而通过不同的ADC读取交错的像素。这种类型的设计称作交错式ADC设计。参考图4，每个ADC 416负责一组非交错像素410，从而每个ADC 416有效地成像图像平铺显示(image tile)。这种类型的设计称作平铺式ADC设计。每个ADC对一行的一部分或一列的一部分进行抽样，如图所示的1×m抽样。
对于交错式ADC和平铺式ADC设计，过滤器/子抽样器都应用一组并行的过滤电路。对于图3所示的交错式ADC设计，每个ADC 316连接到块或相邻的过滤器320中的像素318，当读取先前的相邻块时也读取和存储任意值。现在参考图5，象征性地示出了过滤图3的交错4×2读取器的设计。块500包括像素502、504、506、508、510、512、514和516的4×2阵列。使用了3×3可分离的过滤器，该过滤器子抽样器包括六个过滤电路。过滤器包括过滤器A 530、B 532、C 534、D 536、E 538和F 540。过滤器A-D执行3抽头(3-tap)水平过滤，而过滤器E和F执行3抽头垂直过滤。每个过滤电路可以包括对过滤器抽头加权倍乘、求和、取整、限幅和缩放的电路。过滤器E 538和F 540的输出539和541是过滤器/子抽样器块的输出。这种设计按照因子2来执行水平和垂直子抽样。很明显，如果使用更多相邻的过滤器，或期望不同的抽样比，则必须改变这种连接。示出了周围像素542、544、546、520、522、524、和526，以及过滤器模块558和562。注意，使用延迟模块550、552、556、560和564来合并周围像素值。
现在参考图6，象征性地示出了平铺式ADC过滤器/子抽样器设计。在图4中示出了平铺式设计。再次参考图6，对于每个平铺显示601-608，存在过滤电路611-618和子抽样器621-628。这种设计是顺向的，尽管需要特别注意处理毗邻的两个平铺显示的边缘。
如上所述，在某些情况下，可以使用流水线过滤阶段来实现过滤器/子抽样器块，而不是仅使用单个阶段来实现它。如上所述，当执行过滤的电路太大而不能安装在成像器芯片上时，可能会出现这种情况。当期望使用大量垂直邻近的过滤电路来过滤图像时会出现那种情况。由于包含在过滤器中的每个附加垂直行包括线延迟，因此规定电路数量的过滤器的垂直范围必须实现该过滤。因此，期望使用多阶段过滤器设计，该设计在多阶段过滤器/子抽样器中进行操作。例如，假设期望操作在每个方向上具有k个抽头的过滤器。对于(k-1)w个存储元件的总数，将这种过滤器应用到宽度为w的全分辨率图像需要k-1个延迟线。根据该过滤器，通过首先以全图像分辨率应用具有m+1个抽头的过滤器能够近似它。这里假设k和n为奇数，假设m为偶数。那样的设计将需要总数为mw+(w/2)个存储元件。尤其，可选择满足等式n+n-1+m＝k的n。在这种情况下，随后用于延迟线的存储元件的总数应当是(k/4+3m/4+1/4)w，该总数取决于k的具体值，并且m基本上是可以省略的。例如，如果k＝11和m＝2以及n＝5，则对于延迟线，这将需要仅4.5w，而不是10w个存储元件。
另一点要注意的是，过滤器/子抽样器的多阶段实现是时分复用器可以是多阶段中的一个阶段的一部分。当用于实现后面阶段的一个阶段的电路的时钟频率是足够快而能够处理其中抽样在时间复用的流内的流的抽样率，这一点是很有用的。例如，考虑这样一个问题，即将11抽头过滤器应用到帧大小为w×h和以因子4进行子抽样的成像器。根据所期望的过滤器，这个问题被分解为两个阶段。第一阶段采用3抽头过滤器，并使用因子2来进行子抽样。第二阶段采用9抽头过滤器，并通过另一个因子2来进行子抽样。如果用于第二阶段的电路能够以比率(w/2)×(h/2)×f来处理顺序数据，其中f是成像器的帧频，则可以仅使用单个过滤器来实现第二阶段。因此，可以将时分复用器放置在第一阶段的输出处以构造顺序流。
再次参考图2，示出了NFOV窗口读取块214。在这个块中，子窗口选择器226从A/D块202中取出并行数据流，并且选择包含在期望的子窗口中的像素。随后时分复用器228以光栅顺序输出那些选择的像素，并且重新定时器230对那些信号重新定时，以便与向NFOV输出线240输出的帧时间的开始一致。所期望的子窗口可以通过操作员或通过自动程序使用NFOV窗口位置规格线238来外部指定，并对于每帧是可以变化的。通过逐个帧地移动子窗口，人们得到数字全景/仰角机制。
那种系统的一个示例性应用是成像系统，该成像系统监视WFOV输出图像，以便检测和跟踪移动并随后指定NFOV窗口，从而NFOV窗口位于移动对象的位置或预定位置。随后可以将NFOV发送到监视器用以人检查，可以进一步由附加自动机制处理。可以是特殊用途的如此的附加机制是“不变形(unwarping)”电路。安全摄像机中的普通实践是使用一种最大化由摄像机例如在“鱼眼”中成像的角度量的成像结构。不幸的是，这些成像结构通常导致极度失真的图像。尽管人难以解译这些失真的图像，但是对于自动计算程序仍能够对那些图像进行操作。例如，如果自动装置检测到失真的图像中的运动，并且安排NFOV窗口从失真的图像中读取合适的子窗口，则可以使用后续处理来使这种失真“不变形”，从而产生对感兴趣的移动对象成像的未失真的高分辨率窗口。
可以通过使用许多不同的物理形式来实现上述的成像器设计。第一，模拟成像器块200可以由能够转换成数字值的任何传感技术组成。第二，并行ADC块202的内部结构可以变化。第三，可以在与成像器块200相同的芯片上或分离的芯片上实现窗口读取块，并且窗口读取块内的不同组件可以位于相同的芯片或不同的芯片中。而且，执行过滤器/子抽样器206、子窗口选择器226、以及时分复用器208和228的电路不必分离存在，而可以合并在一个集成设计中。
现在来概括本发明的优点。提供了一种有效和完全可制造的成像器结构。实现了一种使用单个摄像机而不需要电动平台来产生宽视角和高分辨率的方法。所述产生多视角的方法使用单个传感器阵列。所述根据单个传感器阵列产生多视角的方法是通过过滤和子抽样，以及通过使用多个模数转换器来实现的。所述方法不需要分离的处理器。实现了一种能够产生多视角而不需要电动平台的成像器。
如优选实施例中所示，对于现有技术，本发明的新颖的方法和装置提供一种有效并可制造的替换物。
尽管参考本发明的优选实施例特别示出和描述了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下可以在形式和细节上做出各种变化。
权利要求
1.一种根据传感器像素阵列产生两视角图像的方法，所述方法包括提供传感像素的阵列；通过依次产生多个数字数据流来产生阵列数字数据流，每个数字数据流对应于所述阵列中的所述传感像素的块，其中任何所述块中的全部所述传感像素被同时抽样；和根据所述阵列数字数据流产生第一和第二数字视频流，其中所述第一和第二数字视频流分别包括所述阵列的第一和第二视角，并且其中所述第一数字视频流的每个像素对应于过滤的和子抽样的多于一个所述传感像素抽样的组合。
2.根据权利要求1所述的方法，其中所述第一视角包括整个所述阵列。
3.根据权利要求2所述的方法，其中每个所述传感像素块包括n×m阵列，并且其中所述n和m中的每一个大于一。
4.根据权利要求2所述的方法，其中所述过滤步骤包括所述块数字数据流的多抽头水平过滤和多抽头垂直过滤。
5.根据权利要求2所述的方法，其中所述过滤包括对过滤器抽头加权倍乘、求和、取整、限幅、或缩放。
6.根据权利要求2所述的方法，其中所述子抽样步骤是在所述阵列的列方向或行方向上执行的。
7.根据权利要求2所述的方法，其中每个所述传感像素块包括1×m阵列，并且其中所述m中的每一个大于一。
8.根据权利要求2所述的方法，其中所述第二视角包括所述整个阵列的一部分。
9.根据权利要求8所述的方法，其中所述第二数字视频流的每个像素对应于单个所述传感像素抽样。
10.根据权利要求8所述的方法，其中关于所述整个阵列，所述第二视角的位置是可移动的。
11.根据权利要求10所述的方法，其中关于所述整个阵列，所述第二视角的所述位置对于每帧是可移动的。
12.根据权利要求8所述的方法，还包括步骤将所述第二数字视频流重新定时为视频帧的首端。
13.一种根据传感器像素阵列产生两视角图像的方法，所述方法包括提供传感像素阵列；通过依次产生多个数字数据流来产生阵列数字数据流，每个数字数据流对应于所述阵列中的所述传感像素的块，其中任何所述块中的全部所述传感像素被同时抽样；和根据所述阵列数字数据流产生第一和第二数字视频流，其中所述第一和第二数字视频流分别包括所述阵列的第一和第二视角，其中所述第一数字视频流的每个像素对应于过滤的和子抽样的多于一个所述传感像素抽样的组合，其中所述第一视角包括整个所述阵列，其中所述第二视角包括所述整个阵列的一部分，并且其中所述第二视角的位置关于所述整个阵列是可移动的。
14.根据权利要求13所述的方法，其中每个所述传感像素块包括n×m阵列，并且其中所述n和m中的每一个大于一。
15.根据权利要求14所述的方法，其中所述过滤步骤包括所述块数字数据流的多抽头水平过滤和多抽头垂直过滤。
16.根据权利要求14所述的方法，其中所述过滤包括对过滤器抽头加权倍乘、求和、取整、限幅、或缩放。
17.根据权利要求14所述的方法，其中所述子抽样步骤是在所述阵列的列方向或行方向上执行的。
18.根据权利要求13所述的方法，其中每个所述传感像素块包括1×m阵列，并且其中所述m中的每一个大于一。
19.根据权利要求13所述的方法，其中所述第二视角的每个像素对应于单个所述传感像素抽样。
20.根据权利要求13所述的方法，其中关于所述整个阵列，所述第二视角的所述位置对于每帧是可移动的。
21.根据权利要求13所述的方法，还包括步骤将所述第二数字视频流重新定时为视频帧的首端。
22.一种具有第一和第二视角的成像器，所述成像器包括传感像素阵列；多个模数转换器；通过依次产生多个数字数据流来产生阵列数字数据流的装置，每个数字数据流对应于所述阵列中的所述传感像素的块，其中任何所述块中的全部所述传感像素由所述模数转换器同时抽样；根据所述阵列数字数据流产生第一数字视频流的第一视角读取块，其中所述第一数字视频流包括所述阵列的第一视角，并且其中所述第一数字视频流的每个像素对应于过滤的和子抽样的多于一个所述传感像素抽样的组合；以及根据所述阵列数字数据流产生第二数字视频流的第二视角读取块，其中所述第二数字视频流包括所述整个阵列的第二视角。
23.根据权利要求22所述的成像器，其中所述第一视角包括整个所述阵列。
24.根据权利要求23所述的成像器，其中每个所述传感像素块包括n×m阵列，并且其中所述n和m中的每一个大于一。
25.根据权利要求24所述的成像器，其中所述过滤包括所述块数字数据流的多抽头水平过滤和多抽头垂直过滤。
26.根据权利要求24所述的成像器，其中所述过滤包括对过滤器抽头加权倍乘、求和、取整、限幅、或缩放。
27.根据权利要求24所述的成像器，其中所述子抽样是在所述阵列的列方向或行方向上执行的。
28.根据权利要求22所述的成像器，其中每个所述传感像素块包括1×m阵列，并且其中所述m中的每个大于一。
29.根据权利要求22所述的成像器，其中所述第二视角包括所述整个阵列的一部分。
30.根据权利要求29所述的成像器，其中所述第二数字视频流的每个像素对应于单个所述传感像素抽样。
31.根据权利要求29所述的成像器，其中所述第二视角的位置关于所述整个阵列是可移动的。
32.根据权利要求31所述的成像器，其中关于所述整个阵列，所述第二视角的所述位置对于每帧是可移动的。
33.根据权利要求29所述的成像器，其中所述第二视角读取块将所述第二数字视频流重新定时为视频帧的首端。
全文摘要
实现了一种根据传感器像素阵列产生两视角图像的方法和装置。所述方法包括提供传感像素的阵列。通过依次产生多个数字数据流来产生阵列数字数据流，每个数字数据流对应于所述阵列中的所述传感像素的块。任何所述块中的全部所述传感像素被同时抽样。根据所述阵列数字数据流产生第一和第二数字视频流。所述第一和第二数字视频流分别包括所述阵列的第一和第二视角。所述第一数字视频流的每个像素对应于过滤的和子抽样的多于一个所述传感像素抽样的组合。
文档编号H04N5/225GK1697484SQ20041004454
公开日2005年11月16日 申请日期2004年5月12日 优先权日2003年12月23日
发明者兰伯特·E·威克森, 古特曾·S·范德沃尔, 罗宾·M·A·道森, 纳撒尼尔·J·麦卡弗里 申请人:戴洛格半导体公司