具有非均匀图像分辨率的数码相机的制作方法

专利名称：具有非均匀图像分辨率的数码相机的制作方法
技术领域：
本发明涉及数字成像领域，尤其涉及在给定视场中捕获场景的数码相机。 黄景技术相机是通过将图像或场景光学地投影到焦平面中的感光器件上来将其捕获的 装置。胶片相机在一段时间内将置于焦平面上的光敏胶片曝光成投影图像，以便于 记录该图像。多年来，静态和动态胶片相机使用了各种胶片尺寸和纵横比。虽然在 相机的早期，通常将胶片按尺寸切割，但是目前大多数胶片被设置成胶片带，该胶 片带在相机内前进以将未使用部分置于焦平面。相机内的蒙板器件防止来自投影图 像的光将蒙板外的胶片曝光。基本上所有的蒙板(和之前的切割胶片)都是矩形或 正方形的。较新的数码相机以与胶片类似的方式使用光电元件的光敏阵列。与胶片一样， 该阵列位于焦平面上，并在一段时间内曝光成投影图像以便于捕获该图像。然而， 不同于胶片的是该阵列可保持固定。 一旦用阵列捕获了图像，它就可存储在计算机 存储器中并记录在任何数字介质上。光电元件阵列一般被制成矩形，其长短边之间的比例通常为3: 4。然而，感 兴趣的图像可能并不是3: 4的矩形，且常常根本就不是矩形。传统胶片和数码相 机通过仅将帧的一部分用于图像、并基本上将帧(诸如胶片或存储器)的剩余部分 浪费在其不感兴趣的部分上，来捕获感兴趣的非矩形图像。
现有的相机一般具有包含超过1百万像素、通常为5百万或以上像素的光电元件。甚至在目前的消费市场上，也难以找到超过l千万像素的静态相机。各个像素 可提供单个点的彩色或黑白分辨率，且各个像素常常能表示几百万种色彩之一。因此，在原始格式中，每像素24-位的六百万像素光电元件对每帧捕获图像可能需要 18百万字节数据。一些现有相机可以通过稀释像素或通过合并相邻像素来可编程地改变图像的 分辨率。数据压縮技术可用于减小各个帧所需的数据量。例如，对于运动图像，代 表运动图像专家组的MPEG是用于以数字压縮格式对音频-视觉信息(例如电影、 视频、音乐)编码的标准系列的名称。对于静态图片，JPEG格式是可用的。JPEG 压縮了摄影彩色深度的图形，这使图像更小。使用任一这些技术，在加入压缩的同 时图像质量变差。无论如何，JPEG和MPEG类的压縮需要强大的数据处理能力。因此，为便于 以期望的分辨率捕获感兴趣的图像，相机需要较大的存储器和用于在该存储器中存 储帧数据的大带宽数据传输。或者，当一些(通常是可编程的)分辨率或清晰度的 损失是可以接受的时，相机仍需要用于压縮的、在相机最高帧速率持续可用的强大 数据处理能力。需要这样的相机，它能减少所需的存储器和带宽，却仍然能提供感兴趣的图像 而不会有非期望的清晰度损失。发明内容在一实施方式中，本发明提供了用于隔离表示视场的多个部分的数字数据的系 统。该系统包括适于提供对应于视场的至少一个部分的数字表示的传感器元件阵 列，以及适于隔离由该阵列提供的数字表示的非均匀分布子集的选择器。缓冲器被 提供以保存被隔离的数字表示。本发明可使活动像素在帧中非对称分布，而且活动 像素在帧中的分布可以是非连续的和/或可编程的。在本发明的另一实施方式中，用于隔离表示随时间变化的视场的多个部分的数 字数据的系统包括:提供对应于给定时间视场的至少一个部分的多个数字表示的传 感器元件阵列，以及用于隔离由阵列提供的给定时间的多个数字表示的非均匀分布子集的选择器，该隔离是根据在可编程查询表中编程的一组值进行的。 在另一实施方式中，本发明提供了一种获取具有非均匀分辨率的数字图像的方法，包括以下步骤提供具有均匀间隔的光电传感器元件的阵列，曝光该阵列，使该阵列提供均匀间隔光电传感器元件的每一个的数字表示，以及从该阵列的第一区域选出第一区域内传感器元件的数字表示的第一子集，其中该第一子集在第一区域 上具有小于最大分辨率的第一平均分辨率。然后选择阵列的第二区域内传感器元件的数字表示的第二子集，该第二子集在第二区域上具有第二平均分辨率。在该配置 中，第一平均分辨率不等于第二平均分辨率。本发明还可使用反射镜和光电传感器元件线性阵列来实践，其中通过旋转反射 镜、或者移动阵列来使视场随时间流逝投射到线性阵列上。在镜子旋转时从阵列中 获取多组值，各组值包括其量少于线性阵列的均匀间隔光电传感器元件的数目的数 字表示。来自阵列的多组值的至少两组包括入射到不同传感器上的光的数字表示。 在本实施方式中，稀释可在镜子分辨率之间或阵列移动之间改变，以动态地改变图 像的局部分辨率。以高于焦点对准视场部分的密度对焦点未对准视场部分进行采 样，且可通过平均来至少部分地修正散焦模糊。旋转镜可以是双面的、且在旋转轴 上方置中。光学路径可通过至少一个平面镜折叠，以防止线性阵列导致视场前沿障 碍。旋转镜可以是绕其轴旋转的多面棱镜。该镜可被定位成反射视场的一部分以捕 获相机附近的静态场景，且位于局域场景中的已知固定物体可用于校准和失真校正 目的。还可通过提供分别具有旋转镜的一对相机，两个旋转镜使用同一马达和旋转 轴，且一个相机相对于另一个偏移90度，来实施旋转镜实施方式。在旋转镜实施 方式中，线性阵列和旋转轴通常为水平。在这一方面，可将相机安装在移动车辆上， 并用来检査车辆前的区域。本发明的旋转镜实施方式可通过在相机后设置依次将一 对立体图像反射到旋转镜上的两个镜子来提供立体相机。本发明也可以具有适于提供视场一部分的数字表示的至少一个传感器的数码 相机的形式提供。该相机包括使视场内的位置入射到传感器上的光学系统。设置具 有对应于各个位置的可编程值的蒙板，该值可被编程为接受值或拒绝值。选择器适 于如果对应于位置的值被编程为接受值则接受数字表示，而如果对应于位置的值 被编程为拒绝值则拒绝数字表示。提供存储器用于存储各个被接受的数字表示，被 接受的数字表示表示视场内彼此非均匀分隔的位置。根据本发明的数码相机可包括一种以可变分辨率对线性阵列采样使至少一些
扫描线被稀释而不必处理的机制。可使扫描线内像素的稀释和图像内扫描线的稀释 同步，以限定图像至少一个子区域的期望两维像素密度。该稀释可由来自二元査询 表的、指定待获取线和各条线中待获取像素的信息来控制。该稀释可对应于场景子 区域中的预定感兴趣程度。査询表的内容可对应于在任何给定倾斜角和方位上相机 与场景之间的期望距离。查询表的内容可至少部分地根据在先图像的图像内容来决 定，并可对应于视频运动检测系统的结果。二元查询表与场景的几何结构的对应性 可基于场景的初步图像分析和根据视场中物体角度尺寸对到物体的距离的估计。査 询表可在各帧之间改变，以将场景中至少一个运动物体保留在较高分辨率下。本发明的数码相机还包括多个线性阵列，它们大致共线地交错排布以产生具有 更多数量像素的阵列。交错线性阵列的线性和连续性的误差可根据校准表中的校准 偏移来补偿。本发明的相机可用于各种应用。例如，它可用于通过用相机扫描起飞和降落带 来监控机场的这些带，该相机定位在带的至少一端上，且查询表被编程为以大体上 均匀的分辨率来覆盖带的大体梯形外貌。相机还可以用于生产线上产品的自动光学 检查。此外，本发明的相机可用作交通控制数码相机，它放大牌照和驾驶员头部的 至少之一、随后预测它们在视场中的期望位置。本发明的相机还用于获得径赛的视 频图像，其中竞赛者在沿直线的平行跑道中比赛，跑道成像为具有均匀宽度和线性 垂直比例的平行垂直带。它可用于视频球跟踪系统，其中球区域的分辨率随相机与 球距离的增加而增加。对于其中较窄的垂直光束与扫描线的方向同步的旋转镜扫描 相机，相机还可用于照明系统中。垂直光束可由线性光源、透镜、和机械链接于相 机的旋转镜的旋转镜产生。本发明可用于提供具有至少三个隅角镜反射镜的栅格的 反光镜和光学阻挡至少一个所述隅角反射镜以产生各种可识别反射图案的装置。本 发明的数码相机可用于提供物体部分特征的高分辨率图像的传输的视觉监视系统。 在这种监视系统中，数码相机可用于反复使视场以第一分辨率成像。然后图像处理 系统可用于识别图像中的物体，且内容分析系统可设置成预测在物体的几何环境中 的何处是部分特征的期望位置。然后可编程查询表可编程为将高分辨率分配在将出 现图像中那些特征的期望位置。由这种监视系统识别的物体可以是人体且特征可以 是脸。或者，被识别的物体可以是车辆且特征可以是牌照。本发明的相机还可用于 提供帮助用户在视场中通过视觉寻找物品。在这些实施方式中，除相机外，系统还
可包括安装在相机附近的可编程视觉定点装置、以及能够识别物品在相机图像中的 出现的图案识别系统。可提供定点控制器用于对视觉定点装置编程以视觉屏蔽被识 别目标。这些物品可以是例如组件的部件，而视场是用户前面的组件。物品或者可 以是印刷文字，而视场是用户面前的文档。这样，相机和定位器可以封装在台灯的 头部内。应该理解，上面的概括描述以及下面的详细描述都是示例性和说明性的，并旨 在根据权利要求提供对本发明的进一步说明。本发明的附加特征和优点会在下文的 描述中列出，并通过该描述部分地显而易见，或者可通过实施本发明而获知。本发 明的目的和其它优点可通过所写说明书和其权利要求书以及附图中特别指出的结 构实现和达到。


包括在内以提供对本发明的进一步理解、且结合其中并组成本说明书的一部分 的

了本发明的诸实施方式，并与说明书一起用于解释本发明至少一个实施 方式的原理。在附图中图1A示出横向矩形图像。 图1B示出纵向矩形图像。图2A示出栅栏的非矩形场景。 图2B示出道路的非矩形场景。 图2C示出泳池的非矩形场景。 图2D示出军营边界的非矩形场景。图3A-3D示出根据本发明一实施方式对应于图2A-2D感兴趣图像的蒙板。 图4A示出根据本发明一实施方式具有均匀稀释度的正面栅栏场景的查询表的示图。图4B示出根据本发明一实施方式具有非均匀稀释度的正面栅栏场景的査询表。图5A示出由相机透镜投射的正面栅栏场景。图5B示出由根据本发明一实施方式的成像系统预处理之后的同一正面栅栏场
里 眾。图6A示出使用安装其中的安全相机得到的列车车厢的侧面剖视图。 图6B示出图6A的列车车厢沿线AA的平面剖视图。 图7A示出由安全相机看到的内部场景。图7B示出由根据本发明一实施方式的图象预处理器使用的査询表的示图。 图8A是获取具有中场和周围物体的图像的相机的平面图。 图8B是在图8A图像周围看到的物体的表示。 图8C是在图8A图像中场看到的物体的表示。 图9A-9B示出根据本发明一实施方式的场景扫描仪的两个视图。 图IO示出根据本发明一实施方式的选择查询表的过程的示意图。 图IIA示出根据本发明一实施方式的三个线性阵列交错的俯视图。 图11B示出根据本发明一实施方式的三个线性阵列以增大角度覆盖模式交错 的前视图。图11C示出根据本发明一实施方式的三个线性阵列以增大垂直分辨率和获取 速度模式交错的前视图。图12A示出根据本发明一实施方式的与一镜子一起工作、以将垂直分辨率延 伸到单个阵列能力之外的三个线性阵列的交错。图12B示出根据本发明一实施方式用查询表实现三个线性阵列的交错。图13根据本发明一实施方式的电子电路的高级框图。图14A-14D示出根据本发明一实施方式的分辨率分布的不同方案。图15A-15C是根据本发明一实施方式的经稀释图像的视觉显现的表示。图16示出根据本发明一实施方式的具有可变分辨率的扫描线。图17示出根据本发明一实施方式的具有可变分辨率的扫描线的实现。图18是根据本发明一实施方式的相机中电子元件的高级框图。图19是根据本发明一实施方式的处理单元中电子元件的高级框图。图20是交通控制相机的简化示图。图21A、 21B、 21C示出根据本发明一实施方式的铁轨和铁轨监视应用。 图22A和22B示出根据本发明一实施方式的游泳池和游泳池监视应用。 图23是根据本发明一实施方式的球追踪应用。 实施方式的用于图像回放的投影仪。 图25是根据本发明一实施方式的用于校准相机的隅角反射镜。 图26是根据本发明一实施方式的用于校准相机的隅角反射镜阵列。 图27A、 27B示出旋转镜相对于轴的位置。图28A、 28B、 28C示出根据本发明一实施方式的直线跨越场景进行校准的使用。图29A、 29B示出根据本发明一实施方式的点目标在校准相机中的使用。 图30示出根据本发明一实施方式的使用多边形的相机的扇形应用。 图31是示出根据本发明一实施方式的在扇形实现中镜子的角度与相机视角之 间关系的曲线图。图32示出根据本发明一实施方式的双面镜在增大角度覆盖中的使用。 图33示出根据本发明一实施方式的允许相机以大于180度的角度观看的光学 装置。图34A和34B示出根据本发明一实施方式的用于变焦多个目标的相机。 图35示出根据本发明一实施方式的相机的立体实现。图36A和36B示出根据本发明一实施方式的用于在脸部识别系统内加强脸部 分辨率的相机。图37示出根据本发明一实施方式的桌面文档处理的相机。 图38A是安装在船桅杆上的相机。图38B是根据本发明一实施方式的用于补偿相机倾斜的方法的示意图。 图39A和39B示出根据本发明一实施方式的用于使用角度调整成反射相机杆 底部附近的物体的镜子的方法。
具体实施方式
现在将详细参照本发明的较佳实施方式，其示例将在附图中说明。为了清 晰起见，在附图中提供的本发明的各个视图中，相应特征被连续标号。参看图1A。示出了比例为3: 4的矩形场景。帧5是水平或横向取向的。 这是图像的普通比例，且很多相机被制造成提供该比例的帧。图2示出另一矩 形场景，这次具有4: 3的比例。帧10为垂直或纵向取向。横向和纵向之间的
选择是使用传统相机通常可用的视场形状的唯一选择。现在参看图2A，示出包括栅栏20的场景。栅栏20占据帧21的相对较小 部分。如果栅栏是帧21中仅有的感兴趣的图像(例如如果视图来自仅监视栅 栏的安全相机)，则帧21内对应于视场22的像素是必要的，而帧21内不对 应于视场22的像素则是没有关系的。在图2B中，示出包括从帧25的底部延伸到地平线的道路24的场景。该 道路24占据帧25的相对较小部分。如果道路24是帧25中仅有的感兴趣的图 像(例如如果视图来自仅监视道路的交通相机)，则帧25内对应于视场26的 像素是必要的，而帧25内不对应于视场26的像素是没有关系的。参看图2C，示出由任意安放的相机拍摄的包括游泳池28的场景。该池28 占据帧29的一部分。如果池28是帧29中仅有的感兴趣的图像(例如视图来 自用于监视游泳者的相机)，则帧29内对应于视场30的像素是必要的，而帧 29内不对应于视场30的像素是没有关系的。在图2D中，示出包括沙漠中营地32的场景。该营地32的任意边界仅仅 占据视场的一小部分。如果营地32的边界是帧33中仅有的感兴趣的图像(例 如如果视图来自用于监视营地32边界的安全相机)，则帧33内对应于视场34 的像素是必要的，而帧33中不对应于视场34的像素是没有关系的。参看图3A-3D，示出对应于图2A-2D的场景中四个感兴趣图像的蒙板。现在参看图4A，示出査询表50的图解表示。表50中的各个单元表示视场 中的方位和仰角。在一实施方式中，查询表50中的各个单元对应于线性CCD 阵列中的一个或多个单元。仰角的最大垂直分辨率由线性CCD阵列的分辨率 确定，且方位的最大水平分辨率由反射镜的轴编码器的分辨率确定(下文中详 细描述)。根据本发明一实施方式，査询表被配置成适应通过使用本发明的成 像系统观看直栅栏得到的透视图。线52、 54示出在通过成像系统观看时栅栏 的上下边界。透视图使图像60的中心(以及因此栅栏的中心)呈现为最大。 类似地，透视图使图像的边缘62、 63 (以及从成像系统查看的直栅栏的部分) 较小。査询表具有作了标记要进行处理的多个像素(通过标出像素示出)。为 说明目的，标记24个等间距列的每一列中的9个像素以便于处理。查询表50 的结果是要提供被处理成提供均匀分辨率的栅栏视图的图像(在该说明性示例
中，9个像素高)，而不管来成像系统的立体视图如何。应该注意，线性阵列的逻辑尺寸并不局限于单个线性阵列部件的分辨率。 两个或多个阵列可层叠或交错以提高分辨率，或者加速响应。此外，交错阵列 不需要物理共线或连续，因为电子元件可通过偏移校准来调节其位置的微小差 别。参看图4B，示出线性阵列的另一查询表64。查询表64中列的数目和每列 中像素的数目与图4A的查询表50中列的数目和每列中像素的数目相同。然而， 与图4A不同，在图4B中列的密度和像素沿各个列的分布并不均匀。在该示例 性实施方式中，视场70、 72、 74的某些区域具有较高密度并且如下文中将详 细讨论的对场景中某些元素提供"放大"，而场景66、 67、 68的其它区域用 作场景的"背景"并具有均匀的分辨率。注意，区域66、 67、 68、 70、 72、 74 可以但不必具有矩形形状。査询表64将产生被处理成提供特定放大区域的图 像，而不管成像系统的均匀(即未放大的)的分辨率。应该注意，不需要使用 每个像素列，任何列中的像素数目也不需要是恒定的。现在参看图5A，它表示垂直于成像系统的长栅栏76的成像系统视图。为 了说明，人物图形82出现在沿栅栏的若干位置。当该图形位于栅栏80、 84的 边缘时，由于成像系统的透视它对相机呈现得较小。应用用图4A中示出的査 询表50，像素密度在对应于栅栏80、 84边缘的场边缘中较高，而在对应于人 物图形82的位置的视图中心60处较低。在一实施方式中，沿站立的人图像的 像素数目通常与人物图形82出现在栅栏76的七个位置的每一个相同。当根据 本发明一实施方式处理图像时，所有出现的人物图形呈现相同的大小和分辨 率。图5B示出本发明一实施方式中使用査询表50 (图4A)从栅栏76 (图5A) 获得的图像。由于以与物体距离相关的密度由像素对图像取样，覆盖目标高度 的像素数目显现为恒定，且因此目标的图像19呈现相同大小。由于在对准远 程物体时成像系统面对更多的噪音和畸变的事实，远程图像中仅有的视觉缺陷 是它们的对比度看来打了折扣。然而，对于图案识别和图象处理算法，整个场 景的物体19比例的大致均匀是很有用的。因此，在本发明一实施方式中，成 像系统及其处理器提供通过根据距相机的距离来对像素进行可编程稀释而呈
现基本均匀比例的场景的能力。现在参看图6A和图6B，图6A中示出了天花板上安装有安全相机102的 列车车厢100的横截面视图，而图6B示出列车车厢100内部的平面视图。在 本发明的该示例性实施方式中，安全相机102用于监视列车车厢IOO的内部。安全相机102附加于列车100的一个较高位置。在一实施方式中，安全相 机102安装于车厢100的天花板的中心。在这样安装相机102时，由线104示 出的视场较靠近相机、位于相机正下方，其中从相机102到所监视内部的距离 小于车厢IOO的内部高度，而在靠近车厢IOO终端处线104示出的视场距相机 102较远，且为车厢IOO长度的一半。相机102的典型安全应用是检测乘客遗留的物品。这种物品是安全隐患。 用于辨别物品的图案识别算法的细节是在本领域公知的，在此不再赘述。本文 公开的系统和方法允许获得视场内具有足够分辨率以允许识别感兴趣物品的 图像。在一实施方式中，所公开的系统和方法提供了从相机到可能遗留物品的大 多数位置的视线。显然在车厢中存在不在相机102视线内的区域。这种区域主要包括在座位 之间的地板和椅背阻挡相机102视线的位置。此外，因为感兴趣的物品可能位 于视场中的任何位置，所以相机102和不同感兴趣物品之间的距离存在较大不 同，例如， 一些感兴趣的物品可能比其它的更靠近相机102达四倍多。相机102 可看到一些物品110、 112，而看不到其它物品108，因为它们藏在椅背的后面。 由于这些问题，使用单个固定相机来监视遗留在列车中的物品是不切实际的。现在参看图7A，示出了内部场景，其中显示了从安装在天花板附近的相机 (未示出)看到的内部120。内部120包括相机可直接看到的架子130。为说 明目的，从相机的观察位置看，实物122挡住了位于实物122后面的区域126。 因此，从安全相机的角度不能直接看到一个或多个位于实物122后面的物品。 类似地，实物124阻挡了相机直接査看位于其后面的区域128。在列车或其它小的内部区域的环境内，可在将隐蔽物体暴露给相机的位置 安装小镜子。因此，虽然区域126、 128被阻挡在安全相机的直接视野之外， 但是镜子132、 134用来从另一角度观看被阻挡的区域。如图7A所示，出于实
用性考虑，镜子132、 134比它们所暴露的场景部分小得多。然而，如果它是 凸面的，则小镜子可反射较大物体。因此，区域126、 128可暴露在相机下， 尽管从相机的观察位置看，它们会发生畸变且尺寸明显减小。畸变源于镜子凸 面的形状，而尺寸的减小是由镜子的凸面形状和物体与相机的距离造成的。即 使镜子132不是凸面的，如在镜子132中反射可见的区域126显现为与相机的 距离等于相机距镜子132的距离加镜子132距区域126的距离。结果，区域126 中感兴趣物体的图像可能会太小，以致于不能在来自安全相机的图像中恰当辨 认。图7B示出査询表，它被设置成通过对因镜子132、 134的凸面形状引入的 畸变进行校正而修改由图7A的安全相机产生的图像。此外，该査询表可对区 域126、 128距相机的明显距离进行校正。应该注意，在所述示例中，为了简 单起见，査询表已作了修改以适应镜子132、 134，而基本上没有对图像剩余部 分进行适当的查询表的考虑。如图所示，像素在较大百分比的场景中均匀分布， 如可以在某些区域136、 140、 146中看到的。具有水平方向上更密像素的栏138、 142包含更稠密的区域144、 148，从而反映了增大的垂直像素密度对应于镜子 134、 132的位置。在包含更稠密区域144、 148的栏138、 142中，像素沿栏分 布成适应像素更稠密的区域144、 148。结果是覆盖对应于镜子位置的区域144、 148的像素密度比覆盖直接视线区域的像素密度高得多，从而创建了比传统相 机有效得多地覆盖场景的图像，并提供经改进图像来进行较佳图象处理和决策。因此，在需要格外清晰度的区域中像素密度可得到提高。此外，像素密度 可以是非均匀的，以校正因例如相机的透视和/或镜子或透镜的形状引起的图像 畸变。例如，如上所述，像素分布可以是非均匀的，以适应由距离引起的比例差异。在一实施方式中，查询表中的像素密度被调节成如果在由相机看到的场 景的不同位置上存在许多相同的物体(诸如网球)，所有物体将以大致相同数 目的像素成像。换言之，对于靠近相机的物体，应使用与远离相机的物体相同 数目的像素；类似地，对在远端凸面镜中看到的网球后部应使用与在相机视场 中直接看到的网球前部相同数目的像素。图4A和7B中所示的查询表说明了该 原理。本发明是允许分布像素密度以适应各种需要的通用系统和方法。在一实施方式中，如在图4B的査询表中部分示出的，场景66、 67、 68的一些区域分配 到第一像素密度，而场景的其它区域分配到更高像素密度70、 72、 74。在一实 施方式中，场景的一些区域没有得到像素密度，因为它们不包含任何感兴趣的 东西。在一实施方式中，像素密度在场景中变化以适应特定要求、或期望的图 像清晰度、或期望的图像补偿。现在参看图8A-C，呈现一示图来示出对由相机和场景的各个部分之间距离 的较大差异造成的图像光学散焦的补偿。如参照图8A-C描述的本发明一般相 关于特写场景，其中视场内的物体可靠近相机，并由于场景超出相机的景深而 显现在焦点之外。取决于包括透镜类型和质量、光圈开孔的许多因素，相机能 够捕捉基本上聚焦在距透镜最小和最大距离之间的图像。该范围被称为景深。 在场景中的所有物体都位于景深内的场景中，整个场景是聚焦的，从而不存在 散焦问题。然而，在一些应用中，相机定位、照明、透镜或其它因素可导致部 分图像在离焦或散焦的。此外，在诸如生产工艺中的自动光学检査的一些应用 中，相机可定位成靠近场景，从而为了聚焦，场景的最近区域需要不同于场景 最远区域的光学设置。然而，在相机扫描时调节光学设置既不是所期望的也不 实用。根据本发明的一个实施方式，相机150正在扫描由线151表示的视场，以 获取图像。点155在视场内并相对靠近相机150，而点153在视场内并相对远 离相机150。预先调节相机的焦点以在点153处提供清晰的聚焦图像。在场景 该部分的物体156会以良好的质量和聚焦成像。然而，对相机150使用相同设 置，位于点155的类似物体160会更大且散焦。然而，因为物体160的图像由 于更靠近相机而具有更多像素，所以可通过对相邻像素的值取平均值来产生物 体160的较低分辨率的图像。在图8A和8B中示出的示例中，覆盖一个像素的 物体158的一部分在表示物体160时覆盖3x3 = 9个像素，从而可对这9个像 素取平均值来定义以更接近于物体158单个像素质量的质量来表示该区域的一 个像素的值。因此，物体160的散焦可通过冗余像素来进行至少部分的补偿。 最后，如上所述，根据本发明一实施方式，可通过使用该平均处理以大致相同 数目的像素使物体156、 160成像。根据本发明另一实施方式，为了适应点155附近的散焦，以更高像素密度 和因此更多数量的像素使物体160 (在场景的点155附近)成像。换言之，放 弃了像素稀释，且附加像素用于更详细地采样物体160。在示图中，物体156 (在场景的点153附近)用9个像素(3 x 3)釆样，在应用于物体160 (在场 景的点155附近)时以相同的像素密度158、 162用81个像素(9x9)采样物 体160。换言之，为了适应点155附近的散焦，在该实施方式中不将场景的点 153附近的像素稀释到约9个像素以允许物体156、 160的每一个用大致与上述 相同数目的像素成像，而是用9个以上像素(可以是全部的81个像素)采样。 然后所采样的图像通过结合由图8C中深色线161示出的相邻像素的较大元像 素组进行处理；因此得到了更清晰、更聚焦的图像，在縮放之后该图像含有与 物体156大致相同数目的像素。现在参看图9A和9B，两个示意图示出用于实现本发明的场景扫描器201。 图9A示出该场景扫描器201的一个视图，而图9B示出沿图9A中线AA获取 的场景扫描器201的视图。底座200支撑电子部件202中的线性CCD阵列204。 镜子210由支架214可旋转地支撑，从而它可以在平行于CCD阵列的轴上沿 箭头211的方向旋转。镜子210反射光束216、 205穿过成像透镜208，该成像 透镜208将聚焦光束206发送到线性CCD 204上。当镜子210旋转时，CCD 扫描视场。马达234旋转支架214并因此旋转镜子210，同时轴编码器(未示 出)记录镜子210的精确角度位置。通过围绕轴旋转镜子210并继续对入射到 阵列204上的光取样来形成图像。如下所述，可选择性地稀释CCD的输出。现在关注图10，它示出了图像稀释的过程。诸如可从加拿大安大略省 Waterloo的Dalsa购买的IT-P4-6144型线性CCD阵列的线性图像传感器阵列 240，或覆盖200-1100 nm范围、并可从佛罗里达Dunedin的Ocean Optics Inc. 购买的作为线性阵列检测器的红外线性阵列通过透镜逐行扫描图像一如本申 请中以上所述一并将连续输出信号馈送给模数转换器242。所采样的数字值序 列244被馈入根据预定义查询表246稀释信号的稀释电路(未示出)。在一实 施方式中，如商用数码相机提供的、图象处理输入所需的每行的像素数目为 1000个像素。这允许在创建输入图像时线性阵列输出的l:8稀释。为了简便起 见，稀释方案可由指定线性阵列204每次扫描所需像素的査询表246确定。在一实施方式中，单个线性阵列输出表示镜子210 (图9)的特定方向、 并因此表示所扫描场景的特定方位角的数据。通过对场景中各个区域分配所需 分辨率，场景扫描器201的控制器可对线性阵列204的每次扫描和因此对各个 方位角分配所需的像素稀释方案，并以査询表246的内容表示该方案。在一实施方式中，表中的列数等于图像中扫描线的数目，而表中的行数等 于线性阵列204中像素的数目。表246包含二进制数据，即表中各个单元的值 不是"0"就是"1"。在一实施方式中，列中"1"表示对于本次扫描对应 于"1"的该像素是稀释处理中所输出的图像中需要的。在各个列中，1的数目 等于从稀释处理输出的图像中特定行的垂直分辨率。表246还在处理中用作解释输入图像的图例，从而指示对应于各个像素的方位和高度。监视旋转镜的角度检测机构(未示出)追踪瞬时方位的获取。在本发明一 实施方式中，角度检测机构假设镜子以恒定速度旋转、并取决于轴编码器的分 辨率每一次旋转都可多次从轴编码器获得触发。使用高频稳定脉冲发生器，角度检测机构贯穿镜子210的旋转插补镜子210的角度。该技术可以比图像的水 平分辨率更高、且一般高10倍的分辨率插补镜子210的角度。在一实施方式中， 一维査询表(未示出)对镜子每个角度位置都可包含一 位置。这种一维查询表可编程为在表示图像所需方位的位置为"1"，而在 表示需要稀释掉的方位的位置为"0"。在一实施方式中，在该一维表中"1" 的数目等于图像中垂直扫描线的数目，也等于该图像的查询表246中列的数目。 在镜子旋转且场景被逐行反射穿透透镜206到线性阵列204上时， 一维査询表 通过表示镜子210的角度位置的脉冲索弓l。当所索引的一维査询表位置包含"l" 时，査询表246的列被索引到下一个位置，且获得一条扫描线。然后控制器252 从表246中提取所索引的列250，并使用该列内容从扫描线中删除不需要的像 素254，从而产生其固定长度等于输入分辨率的"经稀释"扫描线256，该"经 稀释"扫描线将从图像稀释过程输出。换言之，选定列的选定像素构成进一步 处理的图像258。结果是由图像稀释过程输出的图像仅包含表示所扫描场景各 个区域的期望分辨率的那些像素。虽然像素稀释的讨论呈现为相关于线性阵列，但是它同样适用于二维CCD
阵列，包括高分辨率二维阵列。应该理解，在X和Y维度中应用本申请中示出的特定稀释机制、或者所选定的结合权利要求所述的方法和系统使用的其它稀 释机制落在本发明的精神和范围内。具体地，应该理解，不管选定实施稀释的具体方法或装置为何，申请人认为使用稀释来允许选择CCD阵列像素的子集 用于通信、存储和/或处理在本文一些权利要求的范围和精神内。二维CCD阵 列上选定像素的稀释可以是任意的，并可将线性CCD阵列用于与本文所说明 的相同的目的和应用。参看图IIA，它是三个线性阵列交错以增强角度覆盖的俯视图。三个图像 获取组件268、 264、 266 (类似于上述的场景扫描器201)被安装成使其旋转 镜彼此靠近地同轴放置。在一实施方式中，三个旋转镜绕同一轴262、并由同 一马达272旋转。各个场景扫描器的典型覆盖角度在120至160度之间。三个 扫描器的相关方向可通过各种方式调节，例如，如图IIB所示或如图IIC所示。在图11B中，示出场景扫描器的旨在作360度覆盖的交错镜组件的侧视图。 在该相关配置中，三个扫描器取向为彼此成120度。然后该组件提供扇区之间 有一些交叠的360度覆盖。该模式对其中相关物体可在任何方位出现的监视和 安全应用非常有价值。在图11C中，示出了场景扫描器的旨在加强特定方向覆盖的交错镜组件 287的侧视图。在该相关配置中，三个扫描器取向为同一方向。然后该组件提 供与单个扫描器相同的覆盖，但是在一实施方式中可提供快3倍的再访时间， 或者在另一实施方式中可提供高3倍的水平分辨率。作为单个扫描器中典型再 访时间，使用目前相对价格合理的现货供应线性阵列为每秒4帧，将该速率增 至三倍则得到每秒12帧的帧速率，进入了可认为是视频速率的范围。对于本 领域技术人员显而易见的是可添加附加镜子/阵列组合以进一步增强水平分辨 率和/或帧速率。例如具有12个镜子的场景扫描器提供2倍的水平分辨率和每 秒24帧。其它组合也是可能的。现在参看图12A。图12示出三个交错线性阵列302、 306、 314。阵列302、 306、 314交错以增大场景扫描器的分辨率。印刷电路300包含具有活性像素线 304的线性阵列传感器单元302。类似地，同一或另一印刷电路306、 312包含 分别具有有源像素行311、 316的线性阵列309、 314。该器件的物理结构在不 破坏像素行连续性的情况下不允许两个器件串联。因此，在一实施方式中，两个相似阵列302、 306可以某一平移308和某一平行交叠310交错。器件300 和306的输出对应于查询表中的两个平行列。在图中，第三线性阵列312也与 前两个阵列302、 306交错，但是由于机械组件的不精确，第三线性阵列312 不平行于其它阵列。因为阵列的相对取向是固定的且不变的，根据本发明的査 询表可被校准以补偿偏移和歪斜，并因此补偿该缺陷取向的机械对齐。对本领 域技术人员显而易见的是可使用将已知校准场景提供给场景扫描器的输出对 校准补偿电路进行编程。现在参看图12B。图12B示出三个交错阵列在查询表上的投影。可以看出 单条扫描线320对应于表中单元的交错设置。行314对应于顶部阵列300，行 316对应于中间阵列306，且行318对应于底部倾斜阵列312。因为根据本发明 的查询表被逐列地读取，所以表中两个垂直邻近像素可可以如本文所述地包括 在两条不同的扫描线中。图13示出本发明系统一实施方式的简化示意性框图。场景扫描仪1300的 镜子旋转(1301)，且光学器件用于将光聚焦在CCD阵列1302上。CCD阵列 1302逐行扫描图像，并将数据传送给内嵌处理器1305中的数据获取电路1303。 内嵌处理器中的图象处理器1304将所获取的图像行稀释成仅包含相关像素。 然后，经处理的图像被传送到检查或其它处理例程，或者在检查监视器1306 上向人显示。例如，而非限制，由内嵌处理器1305输出的经处理图像可传送 到图案或脸部识别装置或运动检测装置(仅列举若干)。图14A-14D示出本发明的一些可能的可编程分辨率分布功能。在这些图 中，外部矩形1310、 1320、 1330、 1340表示由相机(未示出)覆盖的场景， 以及相对应的查询表区域。场景中任何区域的灰度电平(暗度)表示该区域中 的成像分辨率，根据表中标记单元的密度确定。在一实施方式中，每条扫描线 的像素数目都保持恒定，但是附图被简化了，因此它们未示出当在给定扫描 线(或列)的一部分内分辨率从平均值增大(或减小)时，则该扫描线(或列) 的其它部分不得不相应地从平均值减小(或增大)。图14A示出分辨率减小的均匀分布。作为示例，考虑包含10,000个像素的 线性阵列和期望分辨率为l，OOOx 1,000像素、在整个帧采样IO，OOO次的场景。
换言之，虽然原始分辨率是100百万像素，但是期望图像分辨率仅为1百万像素。为了适应带宽限制，会需要这样的约束。如图所示，在每条扫描线中原始内容每10个像素减少9个，且每10列减少9列。换言之，通过从行l开始并 简单地在整个图像上包括每IO条扫描线的1条、并从每条所包括的线中的每 10个像素选择1个像素来实现减少。图14B示出一种高精度模式，其中获得包括帧1320的20%的子场景320。 再次考虑包含10,000个像素的线性阵列和在帧上采样IO，OOO次的场景。子场 景由2,000个像素的正方形区域(在各个方向为10,000的20% ).组成。假设与 以上相同的提供l，OOO x l，OOO图像的约束，当获得2条线中的1条线和每条线 中2个像素之一时它可构成。为说明性目的，考虑第一扫描线是编号460/10,000 的扫描线一使用上述方法，可捕捉到接下来1000条偶数线的每一条上相同的 1,000个像素，直到扫描线2458。在该实施方式中，相机并未覆盖整个场景， 场景的大部分未被包括在输出图像中。图14C示出放大相机帧1330的一个子区域322，而不会看不到整个场景的 另一种方法。查询表可被编程为在整个场景中选择低分辨率的线，并增加感兴 趣子场景322上的密度。应该清楚，如以上图14B所示，感兴趣区域的形状不 需要是矩形。图14D示出与图14C类似的情形，但是其中感兴趣的高亮区域324已移到 了新位置。该图简化了本发明系统动态修改査询表内容的能力。该表可在逐帧 基础上以指定方式、或作为实时图象处理的结果进行更新。在本发明一实施方 式中，使用视频运动检测软件(这种VMD-1可从纽约州Niagara Falls的 Advantage Security systems购买)来检测所扫描图像中的运动区域。通过更新 查询表可以更高分辨率扫描这种区域，以在运动区域中更加密集地选择像素和 扫描线。查询表可在每一帧之后更新，以在相机一直扫描整个场景时保持以高 分辨率跟踪运动物体。在本发明一实施方式中，查询表的内容在运行过程中动态地更改，以便于调节图像上的分辨率分布。图像的分辨率分布可根据以下考虑中的任一个更 改增强检测到运动的区域的分辨率；减小未检测到运动的区域的分辨率；增 加根据其以往内容(未引起注意的遗留的包)达到感兴趣条件的区域的分辨率;
更改场景中由操作者指出的区域的分辨率；更改检测到颜色改变的区域的分辨 率；在操作者请求下实时更改区域的分辨率。现在参看图15A-15C，其中背景灰度电平表示图像分辨率，较深表示较高 分辨率，较浅表示较低分辨率。图15A表示用均匀分辨率342 (虽然小于阵列 的总的可用分辨率)获得的帧340，其中场景包括物体344。有了场景扫描器 的限制和因像素稀释导致的任何损失，物体344将与在帧340中显现的输出一 样地准确再现。图15B示出以在帧346上非均匀的分辨率获得的帧346，该帧 包括多个较高和较低分辨率区域348、 350、 352、 354、 356、 358、 360、 361。 帧346的较大百分比使用均匀的平均分辨率348。其它区域350、 356具有高于 平均值的分辨率，而另一些区域352、 354、 358、 360具有低于平均值的分辨 率。在本发明一实施方式中，各条扫描线中的相关像素对于给定图像保持恒定， 因此一些区域352、 254、 358、 360具有较低分辨率以适应同一扫描线上需要 较高分辨率的区域250、 365。图15C示出如在均匀分辨率帧364中显示的、使 用图15B区域的分辨率扫描的场景中物体362的显现。在平均分辨率区域348 中成像的物体362的部分366会以类似的比例和位置再现。对应于区域350、 356的以较高分辨率成像的部分370、 372显现为放大。对应于区域352、 354、 358、 360的以较低分辨率成像的部分374显现为按比例縮小。该畸变可以是期 望的和有意的。参看例如图5A、 5B。因此，在一实施方式中，以较低像素稀 释(即较高像素密度)扫描的区域会显现为放大，而以较高像素稀释(即较低 像素密度)扫描的区域会显现为按比例縮小。在一实施方式中，尽管是以非均匀像素分辨率扫描的，但图像仍按比例显 示。用于提供按比例显示的一种方法是如此实现的通过使用用于选择像素的 查询表将畸变图像中各个像素的坐标映射到其场景中的初始位置。虽然图像中 的一些像素可能会丢失、而图像中其它像素可能被复制，但所得图像仍然恰当 地按比例显现。用于提供按比例显示的另一方法是将畸变图像中的像素绘制 到靠近其初始位置的目标坐标，然后使用混合技术来填充任何空白坐标，之后 结合映射成坐标的像素来适应目标图像或显示的分辨率。总之，使用非均匀分 辨率扫描场景提供了畸变图像(即在均匀分辨率显示器上将显现畸变的图像)，然后可将该畸变图像处理成归一化其显现(即在均匀分辨率显示器上不呈现畸
变的图像)，这样以高于平均值的分辨率扫描的图像部分比以低于平均值的分 辨率扫描的图像部分显现得更详细。畸变图像的类似后处理可用于格式化通过例如凸面镜或广角透镜的畸变 透镜观看的扫描场景的一部分。在一实施方式中，场景扫描器通过向包括由透 镜所致的最小图像的场景部分提供最高像素密度并产生图像来补偿透镜畸变。 当在均匀分辨率显示器上显示时，包含被透镜畸变的区域的图像部分将显现为 无畸变，而至少不含有图像的透镜畸变区域的一部分将显现为畸变。应用上述 技术，场景可无畸变(因分辨率改变引入)地查看，而在由场景扫描器捕捉的、 分别对应于较高或较低相关像素密度的部分中具有较高或较低分辨率，但是由 透镜引起的畸变仍被再次引入。在一实施方式中，图像可进一步处理成包括镜 子的区域被再次归一化、且镜子显现为反射无畸变图像。在一实施方式中，初 始査询表可被用作归一化在镜子中反射的图像的基础。现在关注图16，进一步描述关于单条垂直扫描线的分辨率分布。场景382 的垂直线被分割成三个部分381、 384、 386，其中两个部分381、 384为低分辨 率而一部分386为高分辨率。表示场景382的行的扫描线392以高像素密度389 表示部分386的场景，且以较低像素密度388、 390表示其它部分381、 384的 场景。在均匀分辨率显示器上显示扫描线392，图像部分看起来像图像行400， 且高分辨率部分显现为放大。在一实施方式中，可反向使用用于从线性阵列382中为扫描线392选择像素的查询表(未示出)，因此允许将扫描线392中各个 像素映射到其初始位置，然后经补偿的扫描线394将恢复正确比例，使高分辨 率区域396和低分辨率区域398在其正确比例和位置上。因此，图像分割线402 将现正确比例和位置。应该理解，虽然图16示出的补偿对场景的按比例可视 化是有用的，但较佳地通常是以其增强分辨率处理图像。现在关注图17，示出本发明一实施方式的一个说明性示例，并因此更详细 地提供在该实施方式中运用可变分辨率的方法。场景的垂直条纹410 (未示出) 成像在线性阵列424上。图17中的纹理表示条纹410的图形内容。在该说明 性示例中，所示条纹的某一部分418旨在以较低分辨率成像、并因此其像素以 l:4的比率稀释。其它部分416、 420旨在以中等分辨率成像、并因此以1:2的 比率稀释。最后，场景的一部分418旨在以较高分辨率成像并不加稀释。 线性阵列424上的数字"0"和"1"表示査询表426的对应于条纹410的 列。数字426的二进制值表示是否将传送与其相对应的像素以在该条纹中处理-"1"表示该像素将被传递以作处理；而"0"表示该像素将被忽略。选定像素，即在查询表426的列中使"1"与其关联的像素，被采样到图 像缓冲器428。在一实施方式中，图像缓冲器428可具有比线性阵列低得多的 分辨率。在一实施方式中，图像缓冲器428的分辨率被选择为保证给定的最大 产量，例如阻止输出超过常规成像系统的处理能力。一旦图像数据在缓冲器428 中，则它可通过成像系统(未示出)处理；在一实施方式中，表示图像中所有 条纹的缓冲器在所有缓冲器具有图像数据之后得到处理。如上所述，经处理的图像可与430中一样逐行显示，且由于非均匀稀释场 景会按比例畸变。高分辨率部分418将在显示中表示为放大部分432，显示它 比相机看到的尺寸更大。该畸变是有意的，且在一实施方式中，它旨在场景中 创建均匀的物体分辨率，而不是其它类型相机常见的均匀角度分辨率。为了获得按比例图像，经处理的图像必须畸变以补偿稀释畸变。在本发明 一实施方式中，这种畸变可通过根据查询表的相应列将经处理图像432的各个 像素投影在显示器434中的一个或一个以上像素上来实现。在一实施方式中， 被稀释图像的第一像素显示为输出显示中列的第一像素；然后，对于所发现的 各个"0"，在输出显示上重复前一像素，但是当遇到"1"时，则在输出显示 上显示来自列的相应像素，且对剩余列重复进行该过程。标号436表示复制4 次以表示4个像素的选定像素，而标号438表示在输出显示上复制两次的选定 像素。通过遵循概算法，来自初始场景的所有经稀释像素可通过复制其选定邻 像素来替换。在一实施方式中，用显示中对应于"1"查询值的最近像素的复 制像素填充显示中对应于"0"査询值的像素。在一实施方式中，使用通过考 虑多个邻近像素值确定像素的值的混合函数来填充显示中对应于"0"査询值 的像素。通过进一步稀释一些选定像素可创建更低分辨率的输出图像。现在参看图18。图18是根据本发明一实施方式的场景扫描器中电子器件 的高级框图。定位控制块472具有连续监视旋转镜的位置和角速度、并计算下 一个镜子位置的寄存器。定位控制块472的输出由功率驱动器468接收，以移 动连接于镜子的马达452。编码线470同步将当前位置提供给定位控制块472。
定位控制块472还同步计时块456。计时块456产生系统所需的计时信号并按 需提供信号474。定位控制块472将当前角度476 (已知当前编码位置和马达速度时插值的) 输出给行稀释块478和査询表480。阵列454由可提供所用特定阵列454器件 必需的计时信号的计时发生器456激活。阵列454的输出发送到输入放大器块458。然后来自输入放大器块458的 所得经调节输出被传送到模数转换器460。然后，表示整行阵列454的数字数 据由像素稀释块461接收。块461从査询表块480得到行蒙板数据，并将表示 选定像素的数字数据输出到数据缓冲器462。数据缓冲器462将表示选定像素 的数据存储在由地址指针块486指定的地址中。地址指针块486使用角476来 解析当前地址。在一实施方式中，如果行稀释块478指示当前行为"0"或无 活性，则在选定像素的数据存储于由地址指针块486指定的地址中之前将表示 选定像素的数据丢弃。在一实施方式中，地址指针块476还使用来自行稀释块 478的输出来解析当前地址，其中行稀释块478指示当前行为"0"或无活性， 且由地址指针块486指定的地址是被丢弃的缓冲区。行稀释块478至少基于当 前角度476和查询表480指示行的状态(活性/无活性)。通信接口 464允许修改查询表480、并提供接口以通过通信链接487读取 存储在数据缓冲器462中的数据。在一实施方式中， 一些块456、 461、 462、 464、 472、 478、 480、 486被 实现为在场可编程门阵列(或FPGA)中编程，如图18中450所示。现在关注图19，示出根据本发明一实施方式的图象处理和缓冲系统的功能 框图。双向通信接口 484被设置成允许数据通过通信链接487传送，因此使图 18中示出的系统与图19中示出的系统相互连接。通信块486可从通信接口 484 接收诸如图像的数据，且通信块486将所接收的数据存储在缓冲器488、 490 中。在一实施方式中，缓冲器488、 490包括双或交互缓冲器， 一个用于接收 新图像而另一个用于保存前一图像直到它可被处理或传输。块定序器(Tile Sequencer) 500和分析器492比较前一和当前图像中的块以及状态标记块494 上的信号差异。在一实施方式中， 一些块486、 492、 494、 498、 500和502被实现为在场 可编程门阵列(或FPGA)中编程，如图19中481所示。在一实施方式中，FPGA 481可直接与PCI总线496通过接口连接，因此可与PC或其它装置(未示出) 通过PCI接口块498连接。FPGA 481中的计时发生器块502可产生允许完全同步运行必需的计时信号现在关注图20，示出沿路512定位的、用于监视驾驶员是否遵守交通规则 的交通控制相机514。由于本申请所说明的常规分辨率限制，传统交通控制相 机具有相对较短范围的相对较窄视场516。如图所示，常规相机只能覆盖路的 相对较短部分518。这适于例如检测驾驶员在部分518中的超速行驶。然而，根据本发明一实施方式，交通控制相机514可具有可选择分辨率和 最高达360度的覆盖率。因此，被覆盖区域520可在角度、在范围或两种上得 到扩展，且相机可以更好的性能在道路的大得多的部分中覆盖交通530、 532。因为相机514的范围大于常规相机的范围，所以如果在360度范围内运行， 相机514也可捕捉相邻道路510中的交通526、 528，因此增加了相机514位置 的效用。因为相机可从一个帧到另一个帧地控制其分辨率，且由于牌照和驾驶 员的位置可很容易地在驶近车辆的轮廓中确定、且其在下一帧中的位置可通过 插补来准确估计，所以当与运动或物体检测器软件或硬件耦合时，相机可记录 超速车辆、或者在位于路口的红绿灯为红色时行驶的车辆，该记录通常有四个 图像的序列两个图像是彼此相距几秒拍摄的远景，示出车辆在行驶且可任选 地指示其速度；牌照的可读分辨率图片(即变焦)；以及挡风玻璃一侧驾驶员 的可识别分辨率图像(即变焦)，从而提供有助于辨别违规时驾驶车辆的人的 图像。在一实施方式中，在置于装有红绿灯的路口中或该路口附近时，本发明的 相机可识别红绿灯信号状态。本发明的相机可被编程以检测驶近路口的车辆的 速度和位置，并使用公知的制动距离表确定驶近路口的车辆可能在红灯时进入 路口的时间。基于该事件的检测，本发明的相机不仅可记录交通违规，而且还可设置信号灯或警报器，以提醒从其它方向驶近路口的车辆停下，并因此避免 与违章车辆相撞。本发明相机的在所有驶近方向提供这种警报和响应的能力是其准确确定视场中物体的位置和速度的结果。
现在关注图21A-21C。图21A示出安装在火车头(未示出)前部以査看火 车前方轨道624的相机(未示出)的视场622。如图中可见，在由线N表示的 沿轨道的一距离处，轨道在视场622中显现得比由线F表示的沿轨道的一距离 处更宽。图21B示出水平线F上分辨率的说明性分布，其中示出线上大部分的 相对较低的分辨率632，但是通过使用在水平轴上调节分辨率的能力，轨道宽 度634上的分辨率可以很高。类似地，图21C示出线N上的分辨率说明性分布。 分辨率在线的一部分638上较低，而在对应于轨道624的场景部分上增大。在 本发明一实施方式中，分辨率分布被调节成每个枕木分配到均匀数目的像素， 从而给予铁轨长距离的良好覆盖。长距离高分辨率覆盖的重要性在于如果相 机在轨道上检测到物体，则火车驾驶员可得到使他能够停下火车的早期警告。现在关注图22A和22B,示出具有8个泳道646的奥林匹克游泳池644的 远景图642。注意，在透视图642中，池的远端和最远的游泳者650比池的近 端和最近游泳者648小。还注意到垂直比例不是线性的。虽然透视图642是人 们习惯的观看例如游泳比赛的方式，但本发明的场景扫描器可提供如图22B所 示的清晰得多和信息更多的比赛。图22B示出帧652，其中分辨率分布被配置 成池653的顶部端与帧652的顶部附近对齐，且池655的近端与帧652的底部 边缘附近对齐。分辨率垂直分布，从而垂直比例654与游泳者距池顶端的距离 呈线性。该成像的视觉效果是所有的游泳者656大小相同，且他们在帧中的相 对垂直位置相对准确地表示他们在池中的相对位置。该应用是使用根据本发明 一实施方式的相机来将场景从其自然透视图转换成有益于观看者的正色摄影 图像的典型示例。相同机制可用于测绘应用，例如航空摄影学中的正射影。现在关注图23。图23示出了使用本发明一实施方式的相机的特性追踪在 弹道中飞行的物体的一般方法。在本发明一实施方式中，相机用于追踪球，例 如高尔夫球、棒球、篮球、足球或其它民用甚至军事抛射物。为说明目的，高 尔夫球场在图23中示出。球662发射到朝远距离洞664的弹道中。相机被定 位成能覆盖球轨道的初始部分。期望球最初穿过的子视场用高分辨率像素684 覆盖。在一实施方式中，场景扫描器中镜子的旋转方向取向为使扫描光束覆盖 球的飞行方向。这确保球的图像得到延伸、且它将显现得比其真实尺寸更长。 在一实施方式中，覆盖角度限于50度，且多角镜(如下所述)用于提供较高
帧速率。在一实施方式中，处理器获取球在高分辨率区域684中时的几个图像， 并且通过物体识别和计算，球的期望轨道通过计算其初始运动的角度和速度来 确定。在一实施方式中，如果它能从在高分辨率区域684中取得的图像确定， 则辅助数据可用于计算球662的期望轨道，包括例如风速(由风指示器提供) 或旋转。相机还被指定为获取对期望球通过或停留的可见视场部分670、 672、 674、 680、 682、 686的高分辨率覆盖。在一实施方式中，关于球的期望轨道的 信息可被计算并提供给覆盖该事件的其它相机，例如处于能更好观察球的着陆 680的位置的相机。在一些应用中，需要在黑暗或弱光条件下成像。虽然场景可被人为照亮(对 任何相机都可如此)，但是在本发明一实施方式中，所扫描区域可设置有交叠 照明线，从而增加照明效率并减小所需的光源瞬时输出。图24示出与本发明相关联的有价值的线投影仪。外壳690包含强光源692， 例如线性卤素灯或LED阵列、或在幻灯片投影仪中使用的任何灯。光通过反射 器694、和可以是圆透镜、圆柱棱镜、或诸如可从加利福尼亚州San Diego的 Computer modules Inc.购买的Lighline 9135的捆扎成形的光纤光学器件的导光 器696转换成均匀、垂直的强光束。垂直光束698由与马达702啮合的可垂直 关联镜700反射，并向外壳外投射到场景704。在一实施方式中，外壳安装在相机顶部，且在考虑视差的情况下将两个旋 转镜对齐，从而场景的同一垂直线被照亮并被扫描。在一实施方式中，两个器 件之一的镜子被机械链接于另一个器件的镜子，它们都由同一马达转动，因此 确保光投影仪和相机之间的良好的机械对齐和光学同步(进行视差调节)。在 本发明一实施方式中，两个镜子可联合为一个加长镜子，其一部分用于扫描而 一部分用于照明。后一方法可能减小移动部件的数目、减小成像所需的功率、 并减小在制造或处理后必须对相机进行的机械调节。应该注意，本文描述且结 合本发明实施方式使用的扫射光束相对于光扫过要照明区域的当前照明方法 具有额外的优点。在现有系统中，因为使用全帧相机进行光扫射，入侵者可将 扫射光用作在任何给定时间相机所瞄准位置的指示，然后入侵者可尝试在扫射 之间实行入侵。使用本发明实施方式，投射光束以与镜子扫描的相同速率横穿 场景，通常为至少每秒4次，这对于在扫射之间实行入侵而言可能太快了。此
外，在使用更高速率阵列或附加阵列时，镜子/光扫射速度可大大增加。现在参看图25。能在场景中定位校准点并容易地在图像中识别它们是有益 的。这有助于相机的校准并处理非有意振动。隅角镜724定位于场景中任何位 置的杆716上。隅角镜724的三个表面718、 720、 722是内侧反光的并且彼此 垂直。由隅角镜724的三个表面718、 720、 722形成的开口通常朝向相机。来 自线投影仪的投射光由三个镜子反射并直接反射回相机。对于给定照明强度和 距相机的给定距离，由隅角镜724向相机反射的光的量基本上仅仅取决于镜子 724的开口尺寸。通过使用各种尺寸的反射镜并将它们定位在场景中不同的关 键点，可获得大致均匀的反射。因为校准镜子的位置可以是己知的且不会变化，它们通过使用数字图象处 理领域公知的传统"图幅伸縮"("rubbersheeting")和变形(morphing)方 法来校正图像的相移和畸变。在一实施方式中，校准镜也可用于监视投影仪的 适当运行、以及所监视场景的全部或部分的可视条件(例如雾、模糊)。在一实施方式中，畸变的校准和校正是通过使用自然产物进行的，该自然 产物在图中可识别、并已知是表示场景中的静物的，诸如像黑色树皮、黑色地 面上白色石头、交叉路口、杆的顶部的高对比度物体。现在关注图26，示出具有隅角镜栅格的块725，其中一些隅角镜728是打 开且活性的而一些隅角镜728被挡住且因此是非活性的。当块725大致朝向相 机、且线投影仪在工作时，活性镜会在图像中显现为相对较强的闪光，而被挡 住的镜子730则不会反射光。由于在该块中存在16个隅角反射器，所以可在 块725上作出65,536种可能的组合(即2的16次方)。在一实施方式中，某 些隅角反射器将为了配准而总是打开。例如，在一实施方式中，四个隅角镜总 是打开并用作配准正方形。另外12个镜子提供由块725作出的超过4,000个独 特组合。 一个或多个块725可放置在由相机覆盖的区域，用于校准该相机的图 像。在一实施方式中，可用其中的两个镜子编码纠错的校验和。如对本领域技 术人员显而易见的，以上实施方式可进行组合，并仍能提供超过1,000个具有 纠错的单独编码目标725。应该理解，由于光直接反射到相机上，相机在白天 以及黑夜都可见到镜子718、 720、 722。还应理解，隅角镜的活性尺寸可通过 部分阻挡开口来控制，从而远端镜子具有比近端镜子更宽的开口。
如上所述，包括结合以上图9A-9B的描述，根据本发明一实施方式的场景 扫描器的一个概念是线性CCD阵列接收由旋转镜反射的线图像并通过光学元 件聚焦。如图9A-9B所示，镜子的反射表面定位在旋转轴上，以便于在旋转中 保持镜子与目标之间的固定光径。然而，如果相机用于远离相机到光学无限范 围的场景，则该限制并不适用。在该应用中，镜子的反射表面不必位于旋转轴 上，且该偏移不会损害图像质量且不会使其散焦。现在关注图27A-27B。图27A示出支架731的反射表面732置于马达736 的旋转轴中心734。图27B示出支架738的反射表面不以旋转轴742为中心。 该实施方式具有这样的主要优点它使旋转反射镜具有一个以上的活性面，例 如反射面740。在一实施方式中，支架的两侧都具有反射面，从而允许场景扫 描器至少部分取决于固定器738的厚度，覆盖两个约150度或以上的扇区。在 另一实施方式中，使用了两个以上表面，从而允许相机在角度覆盖与帧速率之 间权衡，并如下文图30公开地提供视频图像。现在关注图28A-28C。图28A示出横贯视场750中的感兴趣场景764、悬 挂在两个杆756和758之间的大致直的物品，诸如绳、线或链。另一直的物品 在不同的方向上悬挂在杆760和762之间。高分辨率区域768和770位于直物 附近以确保其在图像中的识别。图28B示出图像中两个物品772、 774由于相 机的振动的放大表示。图中物品772、 774的位置与其在场景中的已知位置776、 778相比较，并计算对应点780、 782、 784、 786的点对点偏移。然后该偏移提 供畸变矢量，用于对齐图像并消除因相机振动导致的畸变。因为根据本发明一实施方式的相机对视场进行逐行扫描，且每个振动周期 的线的数目通常很大(诸如，每个周期1,000条线)，所以下一条线的期望偏 移可根据多条最近线的偏移的外插来计算。在一实施方式中，这种计算用作对 査询表的过程中(on-the-fly)调节的基础，该调节用来适应期望偏移并预先阻 止畸变。这种预见畸变仅用于逐行依次扫描图像的相机，而不可能用于同时捕 捉场景的两维阵列。在一实施方式中，相机的光学器件聚焦在无限远、且距相机5米或以上的 物体是在光学上无限远的；在这种相机中，水平校准物品可以是悬挂于相机前 约5米且在不同高度上的相对较短的线。场景包含自然或人工的诸如地平线、 海滨、建筑物顶、十字路等大致水平物品处，对本领域技术人员显而易见的是 预见畸变的方法不限于人为校准物品，并可将场景中任何大致水平的物品用于畸变检测和/或消除。图28C示出直的校准物品的长度可用色彩788、 790、 792 标记为一维条形码，以识别沿线的点并增加校准的精度。除了用色彩标记外， 直校准物品的长度可用反射表面标记或者用诸如隅角镜的物品装饰，以识别沿 线的点并增加校准的精度。在本发明一实施方式中，相机用于监视其中视场很平和很宽的海滨地带。 各条垂直扫描线的选定像素位于水平线在各个角度的表观高度。现在关注图29A和29B。图29A示出图26所示的包含用于相机的校准和 振动补偿的隅角镜的场景。为说明目的，隅角镜块由行投影仪(未示出)从相 机的方向照射，并将照射光反射回相机。来自镜子块的反射光在图像上显现为 通常为4x4像素的栅格，其中配准目标(一般是隅角镜)总是出现且其余镜 子用作目标的识别。因为一旦在图像中出现目标的位置就可很容易地确定，所 以可将较高分辨率的小区域分配给它们，从而其在帧中的位置可高精度地确 定。图29B示出这样的情形由于相机的移动，目标810的表观位置从其已知 位置808偏移。该偏移可在视场中定义为从目标的表观位置至参考位置的矢量。 在一实施方式中，该矢量对多个周期取平均值。在一实施方式中，该矢量对其 中不存在例如风或运动的己知外部影响的周期取平均值。这些矢量可适用通过 图幅伸縮(rubbersheeting)或形变(morphing)的标准处理来配准图像。在一实施方式中，由环境光照明的可视目标可用作目标。这种目标可做成 诸如4 x 4个正方形的棋盘状，并可以与隅角镜相同的方式使用、并用于相同 目的。使用棋盘来反射环境光非常适于良好照明的场景，例如白天捕捉的场景。对于各种应用，可能期望结合本发明实施方式使用能够提供更高帧速率的 相机，诸如每秒24帧或更高的视频帧速率。现在关注图30。图30示出具有多角镜822的场景扫描器820。在一实施 方式中，使用了八角镜，然而，对于本领域技术人员显而易见的是该多角镜可 包含任何数目的表面。该多角镜的各个表面用作单个镜子，并将进入相机的垂 直线图像反射成由透镜828投射在线性CCD阵列830上的垂直线图像。当镜
子826的活性表面旋转到其扇区834的终端之外时，下一表面将取代它并进行 另一场景扫描。使用多角镜，镜子系统的一次旋转创建场景较窄扇区的多次扫 描。在一实施方式中，八角镜822覆盖大约60度的扇区，从而八角镜每旋转 一次就提供八个图像。由于根据本发明一实施方式的系统的处理带宽可允许每 秒旋转4次，该八角镜可提供每秒32帧，这超出了活动视频的要求。还应注 意，可添加额外的线性阵列(未示出)来使用同一多角镜822覆盖不同视场。 在一实施方式中， 一个不同视场基本上相邻于由阵列830捕获的视场，从而得 到较大视场的两个相邻、接近相邻或略有重叠的图像。现在关注图31。图31示出表示根据本发明一实施方式使用八角镜的相机 的覆盖的一个示例的曲线图。水平轴表示以度为单位的多角镜的角度位置。垂 直轴表示以度为单位的被反射光束进入相机的方向。注意，被反射光束以镜子 表面旋转量的两倍改变其方向。线836示出镜子的角度和入射光束角度之间的 关系。因为许多镜子不能使用其最边缘，所以在一实施方式中，忽略线的边缘 836。标记"打开"和"关闭"表示本发明一实施方式中循环的使用和未使用 部分。在一实施方式中，仅约2/3的八角镜循环得到使用，提供约60度的有效 覆盖扇区。因此，根据本发明一实施方式使用八角镜的相机以与上文应用中描 述的每秒4帧的150度覆盖率大致相同的处理带宽，每秒32帧地呈现60度扇 区。现在关注图32。根据本发明一实施方式，示出一种装置来说明获得360度 覆盖率的方法。阵列842设置在基底840上。透镜844将光束聚焦在阵列842 上。在两个旋转位置846和850上示出双面镜。在位置846，光束848被反射， 且在镜子的这个表面激活时，覆盖扇区856。在位置850，光束852被反射， 且在镜子的这个表面激活时，覆盖扇区858。如图所示，两个扇区的总覆盖远 大于180度，只剩下两个较窄的扇区， 一个在阵列824对面而另一个相邻于阵 列824并位于其后。因为覆盖率大于180度，在与第一相机有旋转偏移处运行 的第二相机可捕捉图像的其余部分。在一实施方式中，单个相机设置有彼此旋 转偏移约90度、且彼此纵向偏移约一个阵列的物理尺寸的两个阵列，且单个 双面镜选择为具有足够将光反射到由同一单个马达转动的两个阵列上的尺寸。 注意，如果两个同样的相机安装成彼此叠加，共用一个马达和一个旋转轴，且
彼此成90度地旋转，则未被两个相机之一覆盖的区域将落在另一个相机有效扇区的中心，从而整个360度都被覆盖。现在关注图33。根据本发明一实施方式，示出一种装置以说明在场景扫描 器中获得正面覆盖的方法。外壳860包含有线性CCD阵列862，该阵列接收由 旋转镜868反射、然后由固定镜子866反射、并由透镜864聚焦的图像872。 整个光学组件倾斜，从而覆盖光束大致水平。固定镜子866可由用于相同目的 的棱镜代替。该光学配置可与单面镜、双面镜、或多角镜结合使用。现在关注图34A-34B，示出根据本发明一实施方式的系统全景扫描场景、 同时以高分辨率(变焦)详细追踪至少一个物体的能力。对本领域技术人员显 而易见的是，可施加任何数目的完全独立的高分辨率区域可被施加，每个高分 辨率区域可具有其自己的形状、大小和分辨率，并可在包含不同像素分布的帧 之间交替变换。图34A-34B中示出一个示例。图34A示出具有包含两个感兴趣 物品一即人区域876和猫区域878—的场景874的屏幕872。操作者(未示出) 可在人周围标记一个感兴趣区域880、并在猫周围标记另一个感兴趣区域882。 根据本发明一实施方式，在该示例的情形中，场景扫描器交替扫描帧274、人 区域876、以及猫区域878。由三次扫描得到的图像用于产生图34B示出的图 像。帧274继续以均匀分辨率扫描、并显示为屏幕884的一部分886，人区域 876以系统或操作者指定的分辨率扫描，并显示为屏幕884的一部分888，而 猫区域878以系统或操作者指定的分辨率扫描，并显示为屏幕884的一部分 890。这独特地使操作者在紧密监视两个放大的感兴趣区域888、 890的同时注 视总的场景。应该注意，该能力可由单个相机实现，而非使用常规相机实现所 需的三个单独相机。根据本发明一实施方式，具有八角镜的场景扫描器用于提 供图像，其中光学相机能以每秒32帧的速率扫描一系统，或者操作者可对感 兴趣的区域分配一工作循环，例如对一部分886使用每秒两帧，而对其它部分 888、 890使用每秒15帧。在所述示例中，这种方法可提供包含感兴趣物品的 部分888、 890的流畅得多(因此清晰得多)的运动图像。在本发明一实施方 式中，感兴趣的运动物品的跟踪(如本领域中公知的)可用于使放大区域保持 显示感兴趣物品。用这种方法，在操作者关注屏幕的其它部分时系统可继续跟 踪感兴趣的物品。在一实施方式中，用于跟踪感兴趣的运动物品的块可与分配
给这些物品用以跟踪物品的查询表块相联接。现在关注图35，示出根据本发明一实施方式的相机的配置。该配置可在不 存在超出单个旋转镜的额外运动部分的情况下在视场中提供物品的立体图像。 在该描述中，"底部"和"顶部"指定说明性附图中的位置，它可对应于或者不对应于相机或物体的实际位置。相机外壳900包含线性CCD阵列902及其 基底903、聚焦由双面旋转镜(示出其两个位置)卯8、 910反射的图像的透镜 904。当镜子旋转时，镜子的底部表面将一系列垂直图像行从场景反射到CCD 阵列上。覆盖角度920较大并可达150度。然而，镜子的顶部表面反射来自相 机顶部的垂直图像行，且两个大致平坦、固定、倾斜的镜子912、 916将场景 反射在旋转镜子上。因为两个固定镜子912、 916彼此相距有限距离，所以它们反射到旋转镜 上的两个图像并不相同且表示场景的一对立体图像。当视场中检测到感兴趣物体922、且操作者或系统期望得到其立体图像时， 系统使用其由俯视图像得到的方位和高度、并计算物体将由两个固定镜子912、 916之一反射的正确方位和高度。然后该系统创建査询表以具有两个大致梯形 的高分辨率区域，它们覆盖两个固定镜子914、 916的每一个的期望感兴趣物 品在其中出现的图像区域914、 918。然后，相机会在旋转镜的上表面侧激活时 获取一对立体图像，且系统可将两个梯形图像变形成常规的矩形立体图像。现在关注图36A和36B，示出根据本发明一实施方式的相机用于可根据先 前帧中另一相对较大运动物品的出现预测给定帧中其在视场中的位置识别相 对较小的运动物品，且特别地，作为示例，识别运动中人的脸部。通过图案识 别软件进行识别一般需要高分辨率，因为彼此比较类似的物体之间必须存在差 别。对整个图像实施高分辨率可能不切实际，并且由于图像中脸部区域在运动， 也不可能对图像内的特定区域分配高分辨率的点。本发明一实施方式的相机的 可编程分辨率能够在脸部期望出现的帧的位置中准备高分辨率点，并在捕捉图 像前完成。图像940以即使系统已获知其脸部也不可能足以识别人的脸部的图 像分辨率示出在视场中运动的两个人942、 944。然而，可以选定分辨率检测到 他们的大致身体轮廓(躯干、腿、胳膊)。当在图像中检测到人942、 944的 身体时，软件计算宽松地围绕身体的边界矩形946、 948。然后系统相关于人体
矩形估计一般示为较小边界矩形950和952的人头部的正常位置，并计算这些 期望头部矩形的坐标。在一实施方式中，系统假设脸部位于下一帧中与当前帧的头部矩形相同的 区域内(这假设两个连续帧之间的人的运动很小)。在一实施方式中，系统使 用来自两个连续帧的头部位置的估计来预测下一帧中头部边界矩形的位置。在 另一情形中，系统可在下一帧的区域956和958中编程较高的局部分辨率。当 采集下一帧时，区域956和958将具有比平均值高得多的分辨率，而人960和 962的脸部将以高分辨率获取、并对于人类操作者和软件而言更易于识别。反 复地，基于对下一或后续帧中脸部位置的预测来采集人身体960和962。在一 实施方式中，然后分配一个帧来加强各个已定位脸部，同时分配一个帧来继续 识别身体和预测脸部位置。用这种方法，系统可适应性地定位人、并以足够细 节捕获脸部，以便脸部识别算法运算。应该理解，对于相同的处理带宽，使用相机的这些方法创建了用于脸部识 别的更好数据。应该注意，由于被相机记录的人仅被怀疑犯罪或违规，并未在 事件之前被相机记录，通常安全相机记录用于调查而非警报目的。 一般而言， 调査者尝试在视频记录中识别脸部或其它细节，并常常发现由于较差分辨率而 导致图像模糊。本发明的相机的自动检测脸部区域(即使未对脸部进行识别) 并在所记录的视频流中存储脸部的高分辨率静态图像的能力是有益的，因为它 使调查者能查看嫌疑犯的清晰图像。现在关注图37，示出根据本发明一实施方式的文档处理相机的应用。用户 980坐在书桌982前阅读报纸、杂志或书籍996。包括台灯986的系统置于报 纸996附近。根据本发明一实施方式，除了可任选地具有一个或多个用于照亮 阅读表面的发光元件988外，系统的头部还安装有相机990，以及诸如用3D Systems (美国加利福尼亚州的Valencia)立体光刻机实现的数字取向激光指示 器992。当用户翻到新的一页时，相机用其高分辨率相机扫描该页并将图像的数字 表示发送到处理器998。在一实施方式中，更新速率可以较低，例如每秒一次 扫描。在一实施方式中，可通过分析第一校准帧来调节分辨率分布，以将高分 辨率分配给该页的文字区域，且用所分配的分辨率进行第二次扫描。第二次扫 描的图像使用OCR软件(未示出)转换成文字，该OCR软件是公知的、具有 合理但非完美精度。在一实施方式中，用户数据库999具有与用户相关的关键词。这些关键词 可由用户通过使用标准用户界面输入到数据库中。然后系统在经转换文字中寻 找关键字，且如果找到，则激光指示器通过用来自激光指示器992的激光束划 下划线或画圈来高亮这些词。然后，用户查看他阅读的文档上的高亮词，使他 关注与其具体相关的信息。应该注意，该相机存在聚焦问题，因为页的中心比页的边缘更靠近相机。 在一实施方式中，该聚焦问题可通过以上结合图8所述的方法解决，从而图像 的所有部分都在焦点上。还应该注意，在本发明一实施方式中，也可通过以与 所描述的用来归一化由图7凸面镜反射的图像相同的方法编程查询表以补偿页 面距相机的变化距离，来解决由于打开书籍中弓形页面造成的图像不规则。此 外，激光束可用于在图像中创建用以确定面对相机的各个页面的形状的参考 点，并因此有助于归一化图像的过程。在一实施方式中，相机捕捉由用户做出 的标记，例如指示要保存的文字片断、或要翻译或解释的术语的标记。需要用 户看到的文本和图形输出可发送到激光指示器，以向用户提供有效的产物。例 如，可响应于用户对翻译的请求用激光绘出翻译。现在关注图38A-38B。图38A示出安装在诸如湖或海的水域1004中的船 1002的桅杆1008顶部的根据本发明一实施方式的相机1006。在一实施方式中， 根据本发明的相机1006补偿在其安装在船1002的桅杆1008的顶部时可发现 的显著倾斜。根据一实施方式，相机被配置成覆盖360度，并提供船1002和 地平线之间的海面以及小部分天空的图像。如果相机未被机械固定，则相机视 场中地平线1014的表观高度会随船1002在水1004中来回倾斜而明显地上下 移动。这样垂直视场1010-1012应足够大以适应船1002的倾斜，且在一实施方 式中，垂直视场1010-1012应足够大以适应船1002最严重的期望倾斜。仅有垂 直视场的一部分将任何给定时刻相关，且360度图像上的大部分会含有地平线 上的天空或船1002附近的水，对于本示例它们都是不感兴趣的。根据本发明 一实施方式的相机1006动态变焦感兴趣的区域，如图38B所示，该区域在本 示例中是地平线之上和之下的较窄的垂直部分。矩形1018表示相机的360度 视场，从而矩形左边缘和右边缘表示相同的方位。当相机倾斜时，随着相机镜子的转动地平线1022出现变化的高度。在相机位于其最低仰角的方位处，地 平线在帧1024中位于其最高位置，而在相机位于其最高仰角的方位处，地平 线在帧1026中位于其最低位置。在一实施方式中，相机1006的帧速率显著高 于船的倾斜速率，因而视场中地平线的显现通常是反复的，循环之间仅仅存在 微弱的偏移。因为下一帧中地平线的位置是可以预测的一通过先前帧的图象处 理，其中通过海洋颜色和天空颜色之间的对比识别地平线，或者通过船载回转 仪报告船倾斜一相机在视场上分配高分辨率条纹1020，这包括期望的视场。在 一实施方式中，期望视场包括地平线上小的天空条纹，位于小的天空条纹上以 调节预测误差的窄边缘、和位于地平线以下覆盖白天和夜间航海的感兴趣水面 部分的较宽垂直扇区。因此，根据本发明一实施方式，便宜的、未加固定的、 可靠的相机可提供围绕显著倾斜平台的360度场景的高分辨率图像。在一实施方式中，高分辨率条纹1020在均匀分辨率显示器上显示，地平 线1022显示为水平线，从而提供水体的像不倾斜一样获取的矩形的360度视 图。虽然上文在倾斜方面进行了描述，但是在本发明一实施方式中，相机可补 偿倾斜(即摇晃)、颠簸(pitch)和/或偏航(yaw)。在一实施方式中，相机 用于飞机上，并补偿摇晃、颠簸、偏航、和爬升或下降中的任一个或全部。现在关注图39A-39B,公开了根据本发明一实施方式的用于在安全、地形 或后勤阻止将校准目标设置在场景中时将它们嵌入视场中的方法。根据本发明 一实施方式，相机1030安装在位于站点1034周边附近的杆1032上，用来监 视视场1038。地形、或诸如栅栏或墙的物理障碍1036阻止如上所述的在视场 中设置校准目标，包括与图25和26相关的讨论。在相机1030由于风或其它 因素摇摆或振动时，靠近相机定位并通过连接元件1042刚性连接于相机1030 的固定镜子1040与相机1030 —起摇摆和振动。镜子1040跨越相机1030视场 的顶部定位、但位于其中，从而视场顶部相对较小的部分是从靠近杆的地面反 射的。在一实施方式中，杆的高度为几米以上，因此地面距相机的光学距离足够 大以使地面靠近通常适于聚焦在无限远的相机1030的焦点。
现在将可以是上述对比和/或反射类型的校准目标1046置于可由镜子1040 反射到相机1030视场中的杆附近的地面区域的地面上。目标1046可朝上取向。 这些目标1046可由相机1030通过镜子1040捕捉，并提供图象处理器(未示 出)来校准图像的畸变和偏移。在一实施方式中，相关于图24描述的照明投 影仪可与相机同轴使用，类似的镜子可安装在投影仪上以将照明光束的一部分 导向地面上所述的校准条纹。照明条纹可首先用于标记校准条纹使目标安置并 固定在相机覆盖区域内的合适位置。 一旦目标被安装，照明条纹将照亮目标、 并增强它们对相机和图象处理的可视性。图39B示出由相机看到的校准条纹1048。取决于镜子1040的几何形状和 对齐，该条纹显现为弯曲或笔直，。目标1050的位置是预先知道的，或者在 较长时段上进行平均以定义参考位置。因为相机捕捉的目标1052的瞬时位置 由于风和机械干涉而移动，所以由图象处理器将其与参考位置比较，且误差矢 量被分配给各个目标。然后将平移和角偏移用于校正图像，其中各个目标的偏 移用于在其位置附近校正扫描线。对本领域技术人员显而易见的是视场中除顶部外的一部分可通过相同的 方法反射到地面上以达到相同的目的和效果。此外，视场的多个部分可反射到 地面上相同或不同的目标处。在本发明一实施方式中，镜子位于视场的底部和 顶部，并对齐以指向地面的类似条纹，从而一组校准目标被反射到视场的两个 不同部分。虽然通过参考其具体实施方式
对本发明进行了详细描述，但对本领域技术 人员显而易见的是在不背离本发明的精神和范围的情况下可以进行各种改变 和更改。因此，本发明旨在覆盖本发明的更改和改变，只要其落在所附权利要 求书及其等同的范围内即可。
权利要求
1.一种隔离表示一个视场的多个部分的数字数据的系统，所述系统包括传感器元件阵列，适于提供对应于所述视场的至少一部分的多个数字表示；选择器，适于隔离出由所述阵列提供的所述多个数字表示的一非均匀分布子集；以及缓冲器，用于保存所述被隔离的数字表示。
2. 如权利要求l所述的系统，其特征在于，所述传感器元件阵列是线性传 感器元件阵列，且所述视场的至少一部分是所述视场的线。
3. 如权利要求2所述的系统，还包括使所述视场的多条线入射到所述线性 阵列上的运动元件。
4. 如权利要求3所述的系统，其特征在于，所述选择器还包括适于隔离出 所述视场的线的一子集的线选择器。
5. 如权利要求3所述的系统，其特征在于，所述运动元件是旋转反射镜。
6. 如权利要求l所述的系统，还包括反映所述非均匀分布子集的査询表。
7. 如权利要求6所述的系统，其特征在于，所述查询表可被动态地更改。
8. 如权利要求7所述的系统，其特征在于，所述查询表是二元査询表，且 其中所述査询表中多个条目的每一个对应于所述视场的一部分。
9. 一种隔离表示随时间改变的视场的多个部分的数字数据的系统，所述系 统包括-传感器元件阵列，适于提供对应于给定时刻所述视场的至少一部分的多个 数字表示；选择器，适于隔离出由所述阵列在给定时刻提供的多个所述数字表示的一 非均匀分布子集，所述隔离基于在可编程查询表中编程的一组值进行。
10. 如权利要求9所述的系统，其特征在于，所述阵列是线性阵列，且所 述视场的至少一部分是所述视场的线，所述系统还包括旋转反射镜，用于使所述视场的多条线入射在所述线性阵列上； 编码器，用于确定所述镜子的角度位置；线获取器，用于激活所述选择器来基于所述可编程査询表隔离所述数字表 示，并用于在帧缓冲区中对应于所述反射镜的角度的位置处存储所述被隔离数 字表示。
11. 如权利要求io所述的系统，其特征在于，所述可编程査询表可被动态地更改。
12. 如权利要求11所述的系统，还包括场景检查器，且其中所述可编程査 询表基于来自所述场景检査器的信号来动态地更改。
13. 如权利要求12所述的系统，其特征在于，所述场景检查器可检测所述 视场中的预定义特征，且所述可编程查询表被动态地改变以增加所述视场的检 测到所述特征的区域中的分辨率。
14. 如权利要求12所述的系统，其特征在于，所述场景检査器在所述视场 中检査线性运动物体的出现，且如果发现线性运动物体，则使用至少一个表示 所述视场的后续帧缓冲区来检测所述物体的速率。
15. 如权利要求14所述的系统，其特征在于，所述场景检查器估计所述物 体的预定义子区域在所述视场的后续帧中的位置，且所述可编程査询表被动态 地更改，以增加所述视场的对应于所述后续帧中子区域的估计位置的区域中的 分辨率。
16. 如权利要求15所述的系统，其特征在于，所述线性运动物体是车辆， 且所述预定义子区域对应于所述车辆的牌照。
17. 如权利要求9所述的系统，还包括缓冲器，用于接收和存储所述多个数字表示的非均匀分布子集；以及 通信接口，用于允许对所述查询表的更改，并提供接口以读取存储在所述 缓冲器中的数据。
18. 如权利要求17中所述的系统，其特征在于，所述通信接口可通过通信 链路来访问，从而存储在所述缓冲器中的所述多个数字表示可被远程读取，且 所述査询表可被远程更改。
19. 一种获取具有非均匀分辨率的数字图像的方法，所述方法包括以下步骤提供包括均匀间隔的光电传感器元件的阵列，所述传感器元件的间距表示 所述阵列最大分辨率的倒数；曝光所述阵列，使所述阵列提供各个所述均匀间隔光电传感器元件的数字 表示；从所述阵列的第一区域中选择所述第一区域内所述传感器元件的数字表 示的第一子集，其中所述第一子集在第一区域上具有小于最大分辨率的第一平 均分辨率；从所述阵列的第二区域中选择所述第二区域内所述传感器元件的数字表 示的第二子集，其中所述第二子集在所述第二区域上具有第二平均分辨率，且 其中所述第一平均分辨率不等于所述第二平均分辨率。
20. —种使用运动元件和包括多个均匀间隔的光电传感器元件的线性阵列 来获取具有非均匀分辨率的数字图像的方法，所述阵列适于提供入射到各个传 感器元件上的光的数字表示，所述方法包括以下步骤移动所述运动元件，从而使视场随时间流逝入射到所述线性阵列上； 当所述元件运动并使所述视场入射到所述线性阵列上时，从所述阵列获取多组值，每一组值包括多个数字表示，其数量少于所述线性阵列的均匀间隔光电传感器元件的数目；以及其中，来自所述阵列的多组值中的至少两组值包括入射到不同传感器组上的光的数字表示。
21. 如权利要求20所述的方法，还包括用于在照明线入射到所述线性阵列 上时将其投射到所述视场的一部分上的光投射器。
22. 如权利要求20所述的方法，其特征在于，来自所述阵列的所述多组值 的每一组包含相同数目的值。
23. 如权利要求22所述的方法，其特征在于，在获取所述多组值的步骤中 使用查询表。
24. —种在具有均匀间隔像素的数字显示器上显示如权利要求23所述地 获取的所述数字图像的方法，所述方法包括在所述数字显示器上映射所述数字 图像中的各个值，从而使各个值在所述数字显示器上基本上对应于其原始位置 视场的位置中显示。
25. 如权利要求24所述的显示数字图像的方法，其特征在于，在所述数字 显示器上映射所述数字图像中的各个值的所述步骤包括至少使用所述査询表 来在所述数字显示器上定位所述数字图像中的各个值。
26. 如权利要求20所述的方法，其特征在于，所述运动元件是镜子，且移动所述元件的所述步骤包括旋转所述镜子。
27. 如权利要求26所述的方法，还包括用于在照明线入射到所述线性阵列 上时将照明线投射到所述视场的一部分上的光投射器，且其中所述照明线在所 述反射镜上被反射以投射到所述视场的所述部分上。
28. —种使用在多个列的每一列中和多个行的每一行中包括多个均匀间隔 的光电传感器元件的两维阵列来获取具有非均匀分辨率数字图像的方法，所述 阵列适于提供入射到各个传感器元件上的光的数字表示，所述方法包括从所述 阵列中获取表示视场的一组值，所述一组值包括多个数字表示，其数量少于所 述线性阵列的均匀间隔光电传感器元件的数目，其中所述一组值包含在所述多 个列的给定一列和所述多个行的给定一行中的传感器元件的数字表示，且其中 所述一组值不包含在所述多个行的不同行中所述多个列的给定列中的传感器 元件的数字表示。
29. —种数码相机包括至少一个传感器，适于提供视场一部分的数字表示；光学系统，使所述视场内的多个位置入射到所述至少一个传感器上； 蒙板，具有对应于所述多个位置的每一个的可编程值，其中所述值可被编程为接收值或拒绝值；选择器，适于如果对应于所述位置的所述值被编程为接收值则接受数字 表示，且如果对应于所述位置的所述值被编程为拒绝值则拒绝数字表示；以及缓冲器，用于保存各个所接受的数字表示，其中所接受的数字表示代表所 述视场内彼此非均匀间隔的位置。
30. 如权利要求29所述的数码相机，还包括通信接口，用于允许对所述蒙 板的更改，并用于提供接口以读取存储在所述缓冲器中的数据。
31. 如权利要求30所述的数码相机，其特征在于，所述通信接口可通过通 信链路来访问，从而存储在所述缓冲器中的数据可被远程读取且所述蒙板可被 远程更改。
32.如权利要求29所述的数码相机，其特征在于，所述光学系统包括至少 一个成像透镜，所述成像透镜被定位成将所述视场成像在所述至少一个传感器上。
全文摘要
本发明提供了隔离表示视场的多个部分的数字数据的系统。可用数码相机形式提供的该系统包括适于提供对应于视场至少一部分的数字表示的传感器元件阵列、和适于隔离由阵列提供的数字表示的非均匀分布子集的选择器。该隔离可基于在可编程查询表中编程的一组值进行。提供了缓冲器，以保存被隔离的数字表示。
文档编号H04N5/225GK101156434SQ200580022501
公开日2008年4月2日 申请日期2005年4月29日 优先权日2004年5月1日
发明者伊兹哈克·庞摩拉兹, 吉迪恩·米勒, 雅各布·伊莱泽 申请人:雅各布·伊莱泽;伊兹哈克·庞摩拉兹;吉迪恩·米勒