用于摄录图像的摄像机芯片、摄像机和方法

专利名称：用于摄录图像的摄像机芯片、摄像机和方法
技术领域：
本发明涉及如权利要求1前述部分所述用于摄录图像的摄^^机芯
片，如权利要求10前述部分所述的电子摄像机，如权利要求ll前述 部分所述用于光学的形状采集的方法，如权利要求13前述部分所述用 于摄录多个图像的方法，如权利要求26前述部分所述用于采用多个摄 像机摄录多个图像的方法，以及如权利要求33前述部分所述用于摄录 多个图像的方法。 问题的提出
如今已有多种测量原理，采用这些测量原理可以通过光学方法采 集物体的三维形状。这些原理包括三角测量原理(激光剖面法、条带 投影、立体成像方法、摄影测量法、遮光成形)、干涉测量方法(激光 干涉法、白光千涉法、全息方法)和运行时间方法(光源的高频调制)。 所有这些方法的共同点是必须摄录多个摄像机图像，以形成单个的三 维图像。在大多数这些方法中这些图像不能同时被摄录，而必须一个 接一个地摄录。与此相反，传统的照相二维摄录仅采集一个图像。尤 其在工业图像处理中的图像采集也是如此。
主要困难在于，在采用光学三维传感器时自然需要多个摄像机摄 录。这意味着对被测物体的每个点，每个三维传感器必须确定三个未 知数
-检测物体点的位置，以下称为形状，
-检测物体的局部反射，它在下面被称为质地(黑/白)，以及 -在每个点处环境光的局部亮度。
为了确定三个未知数，通常需要三个等式，对于三维的形状采集 三个摄像机图像与检测物体的局部亮度有关，并且这三个摄像机图像 用三种不同的照明情况被摄录。在二维方法中这是不需要的，因为这 里形状、质地和环境光的所有影响之和一起在一个图中再现。如果总的环境光可被遮闭，未知数的数量可减小到两个。于是只
需要具有两个不同照明情况的两个图像，以釆集检测物体的三维外形。 已进行在三维方法中用单个摄像机图像获得所有必要信息的尝
试。 一个这样的方法是空间相移法。其应用局限于干涉法和条带投影。 在此方法中不同的照明情况通过一种干涉图样或条紋图样来实现，这 些区域具有不同的照明强度。在三个相邻的图像点上可以自动地采集 三个不同的照明情况，由此可以求出三个未知数。但这种方法不能应 用于遮光成形，特别是不能用于光度学立体成像和光度学探伤仪(见
WO2004051186, DE102005013614 )，也不能用于运行时间方法，因为 这里物体在不同时间从不同方向被照明，从而不可能同时摄录多个照 明情况。
对于许多应用，特别是对于工业图像处理中的应用，重要的是同 时或接近同时地记录所有图像信息。在运动中的检测物体也应当能无 运动弥散地被测量和检测。为此摄像机曝光时间被减至最小或选择闪 光灯照明。这些摄像机被配置一个用于控制曝光时间的所谓电子快门。 摄像机芯片的所有像点(像素)同时在一段预定的时间内光敏感地被 接通。典型的曝光时间达到数毫秒至数微秒以下。与曝光相联系，完 成摄像机芯片的读出过程。啄光可以远快于读出，读出通常持续数毫 秒。图像摄录周期与摄像机芯片的曝光和读出有关。图像摄录周期长 度在此由读出时间确定，它比曝光持续的时间更长。长的图像摄录周 期使图像重复频率减小，图像重复频率为每秒可被摄录的图像数量。 图像重复频率同样地由读出时间确定。专门设计且昂贵的高速摄像机 是例外，它们例如可以每秒摄录数千幅图像。光学三维方法具有一个 致命的缺点。 一系列图像、例如4幅图像的摄录时间达到80毫秒(例 如每幅图像摄录需20毫秒)，而不是几个微秒的曝光时间，这是二维 方法的千倍还多。
因此本发明的目的在于提供一种光学的三维传感器，它允许短得 多的摄录时间。此传感器被称为"单拍三维传感器"。
本发明的任务还在于提供一种用于光学形状采集的摄像机和方法，它仅需要很短的曝光时间。 解决方案
为了解决上述任务，本发明提供了一种摄像机芯片、 一种摄像机 和方法，它们普遍适用于光学三维方法，并可在最短时间内摄录更多 图像。
下面借助附图详细说明本发明。附图中
图la是一个具有多个像素组的摄像机芯片的原理图lb是快门信号的示例性时间过程；
图2a至d是具有4个快门和4个照明的光度学探伤原理图2e是具有4个快门和4个照明的光度学立体成像原理图3a至d是具有4个快门和4个照明的条带投影方法原理图3e是具有4个快门和4个照明的干涉测量原理图4a是一个略加改变的摄像机芯片部分区域的示意图4b是快门信号的示例性时间过程；
图5示出摄像机芯片C的一个实施例；
图6是示出快门信号和照明信号的时间控制的图示；
图7示出摄像机芯片C的一个略加改变的实施例；
图8a至d是在检测物体直线运动时具有4个照明和4个摄像机芯
片行的光度学探伤原理图8e是在检测物体旋转运动时具有4个照明和4个摄像机芯片行
的光度学探伤原理图9a上图作为检测物体表面上位置的函数的4个激活的摄像机
芯片行的时间进程；下图对应的激活照明；
图9b简要示出用于存储读出的摄像机芯片区域的存储区；


图10a是用于在一个存储区存储读出的摄像机芯片区域的略加改
变的示意图10b是用于说明在摄录不同图像时摄像机芯片行激活的时间和 空间过程的示意图，下图是对应的激活照明；
图10c是用于在一个存储区存储读出的摄像机芯片区域的示意图lla示出在检测物体直线运动时光度学立体成像的原理图； 图lib示出在检测物体旋转运动时光度学立体成像的原理图； 图12a至d示出在检测物体直线运动时条带投影方法的原理图； 图12e示出在检测物体旋转运动时条带投影方法的原理图； 图13a示出在检测物体直线运动时干涉检测的原理图； 图13b示出在检测物体旋转运动时干涉检测的原理图； 图14a示出在检测物体直线运动时白光干涉方法的原理图； 图14b示出在检测物体旋转运动时白光干涉方法的原理图； 图15示出两个摄像机垂直设置在检测物体所处平面之上的结构； 图16a至d示出在检测物体旋转运动时采用4个照明和一行的光 度学探伤略加改变的原理图；以及
图16e示出在一个高的光敏感度行摄像机中光度学探伤的原理图。
新式的摄像机芯片
按照本发明，在电子摄像机K摄录图像时采用专门构造的摄像机 芯片C，它们例如以CD或CMOS工艺制造。
图la示出一个具有多个像素P的摄像机芯片C的一个示意剖面。 单个的像素P在这里组合成〗象素组Pl， P2， P3和P4。这些^f象素组 PI至P4由不同的电子快门信号SI, S2， S3, S4控制，即光敏感地 接通。这里每一个像素组PI至Pn恰好对应于一个快门SI至Sn。单 个像素P相互间以一个间距Ax或Ay排列。这个间距最好选择得很小， 以获得像素P的平面覆盖排列，从而得到摄像机芯片面积的大的收益 率。
在下面的图中只示出摄像机芯片C的某些像素或像素组PI至 Pn。可以想像，相应图样不仅在水平方向上而且在垂直方向上继续伸 展，直至达到所希望的像素数P,例如两兆像素。这些像素被对应于 快门Sn。 一个电子快门被理解为一个曝光控制，它可在一段特定的时 间内将像素P切换为光敏感的或不敏感的。以这种方法，不同像素组Pl至Pn中相邻的像素P可在很快的时间序列内用不同的图像曝光。 当所有像素组Pl至Pn都相继被曝光时，摄像机芯片C才被读出。读 出时在摄像机芯片C的部分区域中存在多个图像，就像被快门相继切 换为可曝光的像素组一样。由于读出过程确定了图像周期，即曝光时 间与读出时间之和，并从而确定了图像重复频率，即每秒摄录的图像 数，以这种方式可以在最短的时间内摄录更多的图像，而不需要在每 个曝光过程之后等待一个相对长时间的读出过程。
图lb示出不同快门信号的时间过程，这里t为时间轴。快门信号 是在某个特定时间间隔At上的矩形脉冲。被称为照明的光源与快门信 号同步，例如照明Bl与快门SI同步，照明B2与快门S2同步等等。 例如快门SI被切换为激活20微秒，然后是S2， S3和S4分别激活20 微秒。仅在80微秒后，在相应4个相邻像素中有4个在不同时刻且以 不同照明情况摄录的图像，它们按一种已知的三维方法、例如遮光成 形方法而获得，并且接着可从摄像机芯片被读出。特别是具有4个照 明的光度学立体成像和光度学探伤也可具有优点地被应用(见 WO2004051186, DE102005013614 )。理论上为了产生三维图像，两个 照明就足够了。然而采用4个照明是优选的，因为这样摄录对于干扰-例如照明系统中的偏差或亮度公差-不敏感。
图2a至2d示出具有4个照明B1至B4的光度学探伤的应用。光 度光探伤是一种光学的三维测量方法。它是光度学立体成像法与探伤 法的结合。此方法适合于镜面的、有光泽的和无光泽的表面。为此， 一个适当成形的散射体，例如一个半球，从不同方向被照明。这个散 射体又照明检测物体。对于每个照明方向分别有 一个摄像机图像被摄 录。不同图像的分析类似于在光度学立体成像方法中那样。此方法在 WO2004051186中被详细说明。
图2a至2d的上半部分示出结构的侧视图。 一个摄像机K在此通 过散射体S中的一个开口垂直对准检测物体G。被对准到检测物体G 上的摄像机K的视场这里用两条直线Ll和L2表示。用Bl至B4标 明的圆在此表示照明。由侧视图看不到的是，照明B1和B2交错地安置到图平面中。亮色表示的照明是激活的。
图2a至2d的下半部分示出结构的俯视图。在这些视图中没有示 出摄像机，以便能看到检测物体G。亮色表示的圆是此刻激活的照明。 摄像机芯片C的像素图样剖面A被投影到检测物体G上，以便说明 各个照明Bl至B4与摄像机芯片C的同步。亮色的方格表示被一个快 门Sn激活的一个像素组Pn的各个像素P，这意味着其被切换为光敏 感。在此图中可看到散射体S的下边缘。
如图2a下半部分所示，首先照明B1、像素组P1和快门S1是激 活的。在预定的曝光时间之后照明切换为B2,这意味着照明B1被关 断而B2被接通。相应地，像素组P2和快门S2被激活，如图2b中所 示。图2c和2d示出此过程如何继续对照明C3和B4进行。
图2e示出光度学立体成像的应用。由此图可见，在此方法中不应 用散射体，且照明B1至B4至检测物体有更大的距离。其它都与对前 面附图的说明相同。亮色的圆表示的照明是激活的。为了简化，图中 仅示出了第一阶段中激活的照明Bl，其它的照明与其类似。
图3a至3d示出采用4种不同的照明情况的条带投影方法的应用， 这些照明情况由一个条带投影仪产生，条带投影仪将一个条带图样投 射到检测物体G上。图的上半部分示出结构的侧视图。其中一个摄像 机K垂直对准检测物体G，并且摄像机K的视场用直线Ll和L2示 出。摄像机K左边邻近处是条带投影仪。条带投影仪的投影域在此用 直线L3和L4示出。条带投影仪以一个相对于检测物体G不等于90。 的角度被安置。
在图3a至3d的下半部分示出结构的俯视图。在这些图中未示出 摄像机K和条带投影仪，只有摄像机芯片C的像素图样剖面A形式
物体G上，以便说明照明情况Bn与摄像机芯片C的同步。摄像机芯 片C的像素剖面A具有各个像素P。亮色的方格表示被快门Sn激活 的像素组Pn的像素P，这意味着其被切换为光敏感。
这里示出的正弦形条带图样(其它形式也是可能的)由一个初始图样通过相移0°、 90。、 180°和270。而形成。如箭头1所示，图样在 相移时向左移动规定的角度，这意味着亮色条带的移动。
图3a中示出在相位位置0。下的条带图样，它被投影到物体G上。 这时像素组Pl和快门Sl是激活的。如图3b所示，在相移90°时#>素 组P2通过快门S2被切换为光敏感的。对于180°和270。的相移，像素 组P3和P4相应有效，如图3c和3d所示。每个像素组通过条带图样 的移位接受另一个照明情况。
也可以设想具有其它条带周期的条带图样，对此更大数量的像素 组是有意义的。
其它例如干涉、白光干涉和其它光学形状采集方法的应用也是可 以想像的。
图3e示出激光干涉方法的应用。这种配置具有一个激光器L， 一 个分光器T(半透镜)， 一个固定的镜P, —个检测物体G和一个摄像 机K，此外还有两个透镜I1和I2。由激光器L发出的特定波长的射 线一方面通过分光器T射到检测物体G的表面上，另一方面射到镜面 P上。射线被检测物体G的表面反射并重又到达分光器。照射到镜面 P上的射线同样反射回分光器。在分光器中两个射线相互叠加。摄像 机K被如此定向，使得叠加后的光照射到它上面。由于至检测物体G 的光与至固定镜P的光所走过的路径长度不同，在此光程差为激光波 长的0, 1， 2， 3， 4，…倍时，在分光器中叠加(干涉)时形成亮条 紋(结构性干涉)；在光程差为激光波长的0.5， 1.5, 2.5，…倍时叠加 时形成暗条纹(解构性干涉)。由亮条紋和暗条纹的分布(干涉条紋) 可以推断出检验物体G的形状。
下面在x方向的位移称为水平位移，而在y方向上的位移称为相 对于图像平面的垂直位移。
图4a示出一个具有4个像素组Pl至P4的摄像机芯片C的示意 剖面图。在此图中可看到灰色背景区，它仅用于形象化，技术上无作 用。每个像素组Pn的每个像素P位于一个这样的灰色背景区中。在 灰色区域左上角是像素Pl。在灰色区域右上、右下和右下角是像素P2至P4。第一像素组包括所有灰色区的所有像素P1，第二像素组包 括所有灰色区的所有像素P2，如此类推。 一个像素组Pl至P4的所 有像素P同时被一个快门Sl至S4控制。由图4a可见，4个不同的像 素组Pl至P4的位置在像素组之间略有变化。例如像素组P2相对于 像素组Pl在x方向上移动一个像素间距Ax。对应地，像素组P3相对 于像素组Pl在x方向上移动一个像素间距Ay，而像素组P4相对于像 素组Pl在x方向上移动一个像素间距Ax并在y方向上移动一个像素 间距Ay。有价值的是，由像素组P1至P4所采集的所有4个图像在一 个公共的像素网格中被记录。相邻像素P-即一个灰色背景区的像素-的中心点M被提供为参考点。
作为替代，也可以选择其它参考点，例如来自像素组P1或P2等 的像素P的位置。通过内插，由来自像素组P1的像素P的也被称为 灰度值的测量值计算出在参考点处、例如在参考点M处的值，对于其 它的像素组P2至P4也同样如此。对于其它数目的像素组也可进行内 插。出于时间原因，这种计算最好在为此配置的摄像机硬件上进行， 作为替代，也可以在一个所连接的计算机上完成。
作为替代，也可以预先给定其它的时间图样。图4b示出4个快门 Sl至S4的时间过程。将各个像素组Pn切换为光敏感的快门信号表示 为在特定时间间距At上的矩形脉沖。时间轴用t表示。例如像素组P1 至P4相继啄光At-2微秒，且这个过程重复进行，直至达到20微秒的 总瀑光时间。这样，相继像素组的膝光的时间间隔仅为2微秒。以上 时间选择和重复次数仅作为例子，它们可以几乎任意地变化。例如也 可采用正弦形或其它调制的快门信号。较小的曝光时间的好处在于， 在各个像素组Pn的曝光之间检测物体向前运动得较少。每个像素组 Pn的总啄光时间虽然相同，但由于检测物体运动引起的像素组Pn之
间的位置模糊而变得更小。
作为替代，也可以选择更小或更大数目的像素组。图5示出一个 具有简化设计、即采用只有两个像素组Pl和P2的摄像机芯片C的示 意剖面图。像素组Pl的一个像素P与另 一像素组P2的像素P相邻，如在图5中用灰色背景区所表示的那样。连接线表示每个像素组PI 和P2由两个不同的快门Sl和S2控制。由于与交织模式(跳行)摄 像机芯片很相似，这种交织模式摄像机芯片可根据本发明作微小变动。 与交织模式的区别在于，在交织模式中偶数行和奇数行以 一个时间差 被瀑光，此时间差对应于图像重复频率或该频率的一半。这意味着， 当已摄录的图像由偶数行读出时，例如控制奇数行的快门才被激活。 反过来，当图像由奇数行读出时，控制偶数行的快门才被激活。摄像 机C必须加以改动，快门时间不等于整个图像周期，即不等待曝光和 读出，而仅为膝光时间，并且正好在偶数行或奇数行的曝光之后，相 应的另一快门将另一行切换为光敏感的。按照本发明，时间差仅等于 快门时间的持续期，它可能比包括曝光和读出的总图像周期的千分之 一还小。
作为替代，还可以将现有的交织摄像机C与 一个专门的照明时间 控制结合起来应用。图6举例示出快门信号S1和S2的时间过程，它 们把像素组P1和P2切换为光敏感的，图6还示出相应的照明Bl和 B2在时间t内的激活。快门信号和激活的照明表示为矩形脉沖。时间 轴t的比例尺并不对应于其它图的时间轴的比例尺。照明Bl例如在像 素组P1的快门信号快结束之前激活一段很短的时间。 一旦像素组P2 的曝光开始，照明1就被禁用，并且照明B2同样被激活一段很短的 时间。照明被激活的时间最好可以比图像周期(即照明时间与读出时 间之和)短很多，例如几个微秒至几个毫秒。建议不同的照明情况B1 和B2直接地先后进行。这里像素组Pl摄录照明情况Bl下的检测物 体G，而像素组P2摄录照明情况B2下的检测物体G。在两个像素组 Pl和P2先后被膝光后摄像机芯片C可被读取。
作为替代，在一个新的摄像机芯片设计中也可如上所述构成更大 数量的像素组Pl至Pn。特别是数量为2x2=4(如图la所示)，3x3=9， 4x4=16等等，因为分别相邻的像素可以组合在一个正方形平面内，并 且在x方向和y方向有分别相等的内插间隔，由于对称性，这简化了 参考点的计算。图7示出一个具有3x3个像素组Pl至P9的摄像机芯片C的剖面。 不同像素组P1至P9的相邻像素P用灰色背景表示。为清楚起见，图 中没有示出快门S1至S9的引线。
作为替代，为了简化摄像机芯片C的生产，有意义的是，具有自 身的快门信号的像素组不是排列成正方形，而是排列成2xl， 3xl， 4x 等像素的组，也就是行方式的。其优点在于， 一个快门信号恰好对应 配置给摄像机芯片C的一行，并且摄像机芯片C的连线布局设计简单。 一个对于2xl像素组Pl和P2的这种排列在图5中示出。对于3xl， 4xl等像素组，排列相应扩展。
另 一个替代方案是像素组pn的矩形排列，例如2x3， 3x4或其它 的边长比的矩形。也可以是8个像素组P1至P8在一个3x3网格中的 排列，其中一个网格点，例如中心点不被使用，那里例如可设置一个
参考点，周围各个像素组P1至P8中的像素P被内插到这个点上。也 可以设想非对称的排列。
上述解决方案大都从以下想法出发建立一种新式的摄像机芯片 设计或者对已有的设计加以改动。 一个例外是交织摄像机芯片C的应 用，其中偶数行和奇数行在不同时刻被曝光。因此只需要相应适配照 明激活，如图6所示。
下面介绍其它的解决方案，它们无需改变摄像机芯片的设计。 用于矩阵摄像机或具有多个行的行摄像机的方法 采用一个普通的平面矩阵摄像机芯片，它仅与一个快门Sl —起工 作，可以以很密集的时.间顺序摄录多个摄像机图像(数量n)，比几个 毫秒快得多。这乍看起来似乎是有矛盾的，因为这样短的图像周期， 或者由此导致的很高的图像重复频率在传统的矩阵摄像机芯片应用方 法中是不可能达到的。
按照本发明，需要被检测的物体首先用总共n个照明中的一个第 一照明Bl被照明，整个摄像机芯片C借助于快门Sl曝光，并且只有 摄像机芯片C的一个部分区域被读出，特别是摄像机芯片C的特定数 量的行Z1至Zn或列或其一部分被读出。另外，上面只谈到行，但上面所述对于列以及行或列的一部分同样有效。
一个或多个行被读出， 最好读出的行数等于用不同照明摄录的图像数或者是其数倍。作为特 殊情况， 一个或多个照明也可以是暗的，并且/或者一个或多个照明是 相同的。
图8a至8d上半部分示出用于光度学探伤仪的结构的侧视图。附 图中同样的部件具有相同的标号，如果它在前面说明的图中已出现的 话。同样，亮色的圆表示被激活的照明，暗色的圆表示未被激活的照 明。由图可见，检测物体G具有标志X，此标志与检测物体G同步地 在箭头1的方向上运动。4个区域L5至L8表示摄像机在检测物体G 上的视场，其中区域L5至L8分别在摄像机芯片C的一行Z1至Z4 上。
图8a至8d的下半部分示出该结构的俯视图。图中未示出摄像机 K,摄像机芯片C的像素网格剖面A仅被部分投影到检测物体G上， 用以说明摄像机芯片C是如何与照明Bl至B4同步的。
如图8a所示，开始时照明B1被激活，并且行Z1至Z4被曝光和 读出。一个作为例子选用的检测物体G的标志X在这个运动时刻位于 行Z4的区域中。然后发生至第二照明的转换，并且摄像机芯片C的 一个部分区域又被读出，最好这个部分区域与前面用Bl照明的情况 下祐:才聂录的部分区域相同。检测物体G和标志X —起在这个间隔时间 段内已向前运动了一段距离。现在标志X例如位于行Z3的区域内， 如图8b所示。
如图8c至8d所示，上述过程重复进行，直至达到n个照明数。 然后进行下一系列的n个照明和读出过程，直至达到所希望的重复次 数。其中检测物体G相对于摄像机运动，使得检测物体或其部分的表 面逐渐地被拖动对准。这种运动可以有不同的形式，例如具有恒定速 度和方向的直线运动。对于旋转对称的物体(该物体的外表面应被检 测)，它以恒定的旋转速度绕对称轴旋转。
这里未示出的另 一方案是检测物体G的运动除了旋转外同时还沿 着旋转轴进行检测物体G的进给运动。检测物体G表面上的一点描述了一个螺线形轨道。摄像机芯片c的行在此必须如此被对准，使得它
垂直于这个螺旋线。这种运动的优点是在多个转动内长圓柱形构件也 可完整地被采集。也可以是多个独立的受检物被一个挨一个排列起来
并连续地被检测。
图8e举例示出用于光度学探伤仪方法的结构，然而这里与图8a 至8d不同，示出了一个在箭头1的方向上旋转的检测物体G。圆锥 体L5至L8表示摄像机的视场，或者在检测物体G上摄像机芯片C 的各行Zl至Z4的记录位置。
检测物体G在摄录过程中继续运动一个特定的距离或者一个特定 的旋转角。速度、旋转速度、摄录时刻和/或读出时刻最好如此选择， 使得检测物体G相对于摄像机K在不同记录之间运动 一个像素间距或 像素间距的整数倍。这例如可以通过一个与运动相耦合的传感器、例 如旋转传感器来实现，它相应给出摄录时刻或读出时刻，使得电机的 容差不会产生负面影响。
图9a上半部分示出被行Zl至Z4所记录的检测物体G的位置(纵 轴)，它作为时间(水平轴)的函数。
图9a下半部分示出哪个照明Bl至B4被激活。这些照明相继被 激活，行Z1至Z4同时被切换为光敏感的。在每一次曝光过程之后， 行Zl至Z4被读出。
行Zl至Zn在时间上先后记录检测物体G的不同位置。行数和 照明的数量例如选为n=4。其它的n值也是可以的。
读出的图像区(这里是行至Z4 )被传送给计算单元R并在那 里被保存在一个存储器中。同时按规定图样完成存储。
图9b示出一个这种存储图样的示意图，它被设置在一个粗线框示 出的存储区中。这里各个小格Z1至Z4表示摄像机芯片C的行Z1至 Z4在特定的照明情况下从检测物体G相应的表面区域记录下的测量 值。测量值存储顺序按照照明而排列。首先是行Z1至Z4用Bl照明 并被存储在存储器中，然后行Zl至Z4用B2曝光并在存储器中向下 移动一行。这个过程对所有4个照明重复进行。接着重新开始与最前面的存储相接的存储过程。这里一个灰色背景的存储区分别得到一个
图像，该图像是在照明Bl， B2， B3或B4下摄录的。被摄录的检测 物体G表面这里在箭头O的方向上前进。图中在每一列下面给出了相 应的用来对检测物体表面照明的照明Bl至B4。行Z1至Z4被如此存 储在存储器中，使得检测物体G表面上的同一标记X排列在一个水平 行中。这里形成所谓的对应行，它们对应于不同照明情况下检测物体 表面的相同位置。在图中用K示出在照明Bl至B4时相应行的例子。 在这个例子中"对应"意味着照明Bl下的行Z4，照明B2下的Z3， B3下的Z2及B4下的Z1描述检测物体G的同一个区域，例如标志X。 它们是相同像素的数据，即对于每个照明Bl至B4相同表面区域的数 据。这是特别有优点的，因为这样不需要中间值的内插。这意味着较 小的计算开销和时间花费。此外可以避免内插时出现的错误。这样的 错误尤其是在图像中有清晰的亮度过渡时出现，这些区域常常是最感 兴趣的。
用不同照明摄录的行在图9b中水平地相邻排列。这个二维图用于 概括对应行如何最可理解地被示出。当然，存储介质中的这些存储区 也可以其它形式排列。例如，这些行在存储器中的排列也可设想为直 线的。在最简单情况下，摄像机的这些行从一次记录到另一次记录直 接先后线性地存入存储器，并且相应行借助于它们的间距配置在存储 器中。存储器中的所有这些不同排列与所示的存储器排列是等同的， 只要可以给出相应的存储器区。这对于后面示出存储器的附图同样有 效。
与图9a和9b不同，偏移也可以等于像素间隔的数倍，例如两倍。 在这种情况下分别读出8行。在计算单元的存储器中的排列最好如图 10a那样。在那里示出了一个存储器图样示意图。同样，各个小格Z1 至Z8表示摄像机芯片C的行Zl至Z8在特定的照明情况下从检测物 体G的相应表面区域记录的信息。被摄录的检测物体G表面在箭头O 的方向上前进。
在这种方法中达到的读出时间比读出整个矩阵摄像机芯片时典型地小100至1000倍，因为只有矩阵摄像机芯片的部分区域被读出。100 倍相当于400行中只有4行被读出的情况，1000倍相当于2000行中 只有2行被读出的情况。由于这个原因，对n-2的方案是特别感兴趣 的。
图10b上半部分示出摄像机芯片C的两行Zl和Z2所采集的检 测物体G表面上的位置(纵轴)，它作为时间(水平轴)的函数。
图10b下半部分以矩形脉冲示出照明B1和B2,它们交替被激活。 如图10b上半部分所示，检测物体向前移动摄像机芯片C的一个行间 距，行Z1和Z2被重新切换为可曝光的，并且第二照明B2被激活。
图10c示出应用两行Zl和Z2时在一个非常示意性的存储器中的 相应存储器图样。同样，检测物体G表面的信息在小格Zl和Z2中 表示。检测物体G的表面也在箭头O的方向上运动。对应行K示出 了在不同照明Bl和B2下摄录的检测物体G的相同表面区相邻排列 在一个水平行中。
其它的应用例在图11a至14b中示出。图lla示出光度学立体成 像方法的应用和检测物体G的直线运动。这个运动在箭头1方向上。 相对于光度学探伤方法，这里没有散射体，并且照明B1至B4相对于 检测物体G以更大的距离排列。在图lla的上半部分中摄像机K的视 场由区域L5至L8表示，它们代表摄像机芯片C的各行。与在前面各 图中相同的部分用相同的标号表示。
图llb示出应用光度学立体成像方法与检测物体G作旋转运动相 结合的情况。检测物体在箭头1方向上围绕旋转轴3旋转。
在图12a中本发明所述方法被应用于已知的条带投影方法和检测 物体G直线运动的情况。
图12a上半部分示出结构的侧视图。摄像机K的视场由区域L5 至L8表征，其中这些单个的区域表示摄像机芯片C的各行Z1至Z4 的视场。 一个条带投影仪SP用一个条带图样照射检测物体G的一个 区域，此区域由直线L3和L4表征。最好条带投影仪以正弦调制照射， 照射强度取决于在检测物体G上的位置。检测物体G最好在箭头1的方向上均速直线运动。
图12a下半部分示出结构的俯视图。其中示出了检测物体G、投 影到此物体上的条带图样和摄像机芯片C的行Z1至Z4的视场投影。
在图12a中示出标志X首先处于Z4的区域中，然后如图12b 所示那样处于行Z3的区域中，再后来处在行Z2的区域中和处在行 Zl的区域中，如图12c或12d所示。
在条带投影情况下，条带图样可以从一个时间段到另 一个时间段 改变相位和条带间距(这对应于不同的照明Bl至Bn)，但具有优点 的是这不是必需的。检测物体的运动使得标志X在不同的时刻抵达条 带图样的不同区域中(在条带模块的不同相位位置上)。具有优点的是， 如此选择条带间距，使得在n个运动步之后恰好走过一个条周期，即 一个亮条紋和一个暗条紋。在给出的例子中n=4。从而标志X在行Z4 中以相位0。 (Bl)被摄录，在行Z3中以相位卯。(B2)被摄录，在 Z2中以180。 (B3)及在Zl中以270° ( B4 )被摄录。运动自动产生 一个适当的相移，在其它方法中产生它总是很麻烦的。
本发明所述方法的特别的优点在于，可以应用特别简单且廉价的、 具有静止不变的条带模块和高条带对比度的投影仪。在这种情况下， n个照明时间上的先后被n个照明在空间上的相邻所代替。照明的每 个相位位置-例如O。，卯。，180。， 270°,它们在空间上相邻出现-对应 于一个照明Bn。必要时一个或多个其它这样的具有不同条带间距的投 影仪可以被应用，以排除不同条带之间的模糊性。这种模糊性是由于 条带图样是正弦形-暗和亮的条紋周期性重复-而产生的。这些投影仪 也可以分别投射唯一的图样并且相继被激活。如果条带周期多于n个 相邻的行，则也可以用多于一个像素的相应间距读出n行。本发明的 另一优点在于，在不同相位位置的图像记录之间的时间极短，并且可 以抑制振动对测量的影响。这样，由于图像记录持续时间非常短，装 置的振动对图像记录没有负面影响，因此不要求测量装置的振动稳定 性。
图12e示出应用在条带投影仪中且检测物体G在箭头1的方向上绕旋转轴3旋转运动的情况下的本发明所述方法。与前面图中相同的 部分用相同的标号表示。
图13a示出应用已知干涉检测方法时的本发明所述方法，这种方 法特别适合于光学上有光泽的表面，因为可以釆集非常精细的结构， 表面粗糙度小于可见光的波长，即小于约0.5微米。
在图13a的上半部分可以看到一个时间相干的光源，例如一个4皮 用作光源的激光器L。摄像机K的视场对准检测物体G。区域L5至 L8代表摄像机芯片C的行Zl至Z4的记录区域。 一个标志X位于行 Z4的区域内。检测物体在箭头1的方向上运动。从激光器L发出的 特定波长的射线一方面通过分光器T照射到检测物体G的表面，另一 方面照射到镜面P上。射线在检测物体G的表面上被反射且重又照射 到分光器T上。入射到镜面P上的射线也被反射回分光器T。在分光 器T中这两个射线相互叠加。摄像机K如此对准，使得叠加的光照射 到它上面。由于到检测物体G的光和到固定的镜P的光经过不同长度 的路径，在光程差为激光波长的0， 1， 2， 3， 4，…倍时在分光器T 中的叠加(干涉)得到亮紋条(结构性干涉)，而在光程差为激光波长 的0.5， 1.5， 2.5，…倍时叠加得到暗条紋(解构性干涉)。由亮和暗(干 涉条紋)的分布可以推断出检测物体G的三维结构。
图13a的下半部分示出检测物体G以及摄像机芯片C的行Z1至 Z4和所产生的千涉图样的俯视图。此外在图中还可看到检测物体表面 的标志X，在这里它位于行Z1的区域中。
如上所述，这里示出的Michelson千涉仪作为干涉仪类型的例子， 其它的类型-如Mach-Zehnder干涉仪和许多其它的干涉仪-同样是可 能的。虽然形成干涉条紋的机制完全不同于条带投影仪的机制，本发 明所述方法几乎可以1:1地从条带投影仪转换成干涉仪。这里也可以 通过适当地选择条带周期(例如通过倾斜镜面P或检测物体的G的平 面)来适配于n行的间距，使得在此n行中相移的强度值被采集，对 于n=4，在行Z4中为0。， Z3中为卯。，Z2中为180°， Zl中为270°。 这里也得到了明显的简化和成本降低，因为可以利用不带相移装置的静态干涉仪。在此情况下n个照明的时间先后被n个照明空间上的相 邻所代替。照明的每个相位位置-例如0°， 90°， 180°， 270。，它们空 间上相邻-对应于一个照明Bn。对于测量设备或干涉仪的振动的敏感 性明显降低了。这样，由于图像摄录迅速地完成，可能由环境影响而 引起的振动对图像记录没有负面影响。
作为替代，也可以例如由一个或多个其它的具有不同波长的光源 实现不同的条带间距(多波长干涉仪)。这些光源可以在短时间内切换 间距，特別是如果它是半导体激光器的话。
图13b示出对于检测物体G在箭头1的方向上绕旋转轴3作旋转 运动的应用以及从基本上旋转对称的检测物体G上采集的情况，这种 釆集对于干涉检测法是不能或很难实现的。与前面的图相同的部分以 相同的标号表示。
图14a示出用于已知白光干涉测量方法的本发明所述方法，它适 用于光学上有光泽的表面，但是也适用于光学上无光泽的表面，即粗 糙度大于约0.5微米的表面。
在图14a上半部分中示出一个光源LQ， 一个摄像机K， 一个分 光器T以及一个镜P。摄像机K的视场对准到检测物体G上，检测物 体在箭头l方向上运动。光源LQ例如可以包括LED、白炽灯或类似 光源。多个波长有助于干涉现象的产生。如果两个光路径-即从分光器 T至镜P并返回以及从分光器T到检测物体G并返回-是等长的，则 出现最大亮度。通常必须以非常小的步长(例如波长的四分之一)移 动镜P或检测物体G，以均衡两条路径。亮度变化被摄像机釆集。
在这种方法中条带周期最好也如此选择，使得例如4行Zl至Z4 对应一个条带周期，其它的数量也是可以的。由于在白光干涉仪中从 一个条紋到下一个条紋时条紋对比度增加或减小，这里有意义的是记 录多于一个的条紋并读出例如100x4行。条紋对比度的最大值表明了 标志位于运动平面之上什么高度上。本发明所述方法的优点在于，不 需要相移装置，从而结构可以简单且廉价地实现，由于快速的图像记 录，振动的影响被抑制。这里n个照明的时间先后也被n个照明的空间相邻所代替。照明 的每个相位位置-它们空间上相邻出现-对应于一个照明。此外白光干 涉测量适用于测量基本上旋转对称的物体的表面。图17b以侧视图和 俯视图示出一个结构，其中一个旋转对称的检测物体G在箭头1的方 向上绕旋转轴3旋转。
代替矩阵摄像机，也可釆用专用的摄像机K，其摄像机芯片C只 有较少的行。例如对具有2， 3， 4直至约100行的摄像机和芯片是特 别感兴趣的。这种摄像机属于行摄像机与矩阵摄像机之向的过渡。
具有n=3行的这种摄像机是作为彩色摄像机提供的。这里每一行 具有一个自己的颜色滤光器。更适合于本发明所述方法的是具有三行 的黑白摄像机，它同样是市场上可获得的。这种摄像机的特点在于， 相邻行的间距等于一行内像素间距的数倍，例如8倍。检测物体可以 从一次记录到下一次记录移动一个行间距，于是本发明所述方法像所 说明的那样被实施。但是具有优点的是，检测物体从一次记录到下一 次记录只运动一个像素间距。对于这种情况，具有优点的是，在切换 到下一个照明之前对于8个记录有n=3个照明被切换为激活。此过程 等效于在一个行间距对应于一个像素间距的芯片中8n=24行被读出。 存储器中图像的排列可有利地按图10a和24行进行。作为替代，也可 以只利用三个摄像机行中的n=2个。这样存储器中的排列最好对应于 图10a和16行。
也可利用具有更多行数的其它摄像机，例如它包括96或IOO行。 这种摄像机经常按照TDI方法(时间延迟积分)被利用。然而这种摄 像机有些也能被用作矩阵摄像机(面积模式)。这些专用摄像机可以具 有优点地用于本发明所述方法，特别是如果它们作为矩阵摄像机工作 的话。通常这里行间距等于或接近像素间距，就像通常其它面摄像机 那样。
用于多个矩阵摄像机的方法
此外还可设想其它的方案，其中利用分别只具有一个快门S的标 准矩阵摄像机，并且仍实现一个时间上紧密的图像序列。为此n个摄像机Kl至Kn的立体排列如此改变，使得它能满足这个目的。摄像 机Kn的摄像机芯片C这里不像通常的那样同时被曝光，而是具有小 的时间偏移。按照本发明，此时间偏移相对于图像重复频率非常短。 此时间偏移最好等于摄像机芯片C的膝光持续期。n个照明Bl至Bn 如此被控制，使得在摄像机K1用快门Sl曝光的同时实现第一个照明 Bl,在摄像机K2用快门S2曝光的同时实现第二个照明B2，直至在 摄像机Kn用快门Sn膝光的同时实现照明Bn。作为替代，也可以使 照明被激活的时间比爆光时间更短。这里n=2也是特别感兴趣的方案。 紧跟在摄像机Kn的摄像机芯片C被照明Bn曝光之后，下一个 摄像机Bn的摄像机芯片C用下一个照明Bn膝光。这个过程重复进 行。在摄像机Kn的一个摄像机芯片C的曝光之后，摄像机芯片C的 一部分被读出。对应行-即不同摄像机芯片C的在不同照明情况下被摄 录的行-这里在考虑摄像机Kn差异的条件下相应排列在一个存储器 中。
初看起来这个尝试误入了歧途，因为在立体排列中存在(通常只 是试图)从摄像机Kl至Kn图像的一个偏移。由于这个偏移，测量 信号通常将产生所谓的差异，即空间深度。差异的每个变化意味着被 测量检测物体的高度差别，并且此变化被尽可能精确地确定。对于本 发明的方法，情况与此相反，差异被尽可能最小化并保持恒定。这是 通过以下方法实现的这些摄像机以尽可能小的相互间距被安置。
图15示出一个具有两个摄像机K1和K2的结构。这两个摄像机 最好以它们的轴相互平行定向。检测物体G放在一个垂直于摄像机 K1和K2的光轴的平面内。特别具有优点的是，如果检测物体G是基 本平坦的，并且通过一个总是在这个平面中的(例如机械的)装置引导。
差异在图像的所有区域内只是一定数量像素距离的恒定偏移。最 好摄像机的间距如此被精确调整，使得所述差异为像素间距的整数倍。 从而实现无需内插就能获得对应的像素。作为替代，也可以自由选择 间距或者也可自由确定摄像机轴的指向。然而在此情况下内插是需要的，以获得对应的像素，即记录检测物体G表面相同位置的像素。 如果应用多于两个的摄像机，它们可以排成一行或排列在一个平
面中。例如4台摄像机可以设置成一个正方形的2x2阵列，它使得间
距最小。如果两台摄像机在一个分光器之上精确相等地对准检测物体
G,则可实现差异为零的特殊情况。
用于一个摄像机和多个旋转的方法。
所有这些解决方案的共同之处在于， 一系列图像可以以小的时间 间隔被摄录，特别是被检测物体是运动的情况。对于检测物体G旋转 的特殊情况，例如要采集一个旋转对称的检测物体的外表面时，另一 个替代方法是检测物体G在旋转运动的同时用摄像机芯片C的一行 Zl扫描，同时第一个照明Bl被激活，
图16a至16d示出本发明所述方法对于例如具有4个照明Bl至 B4的光度学探伤仪的应用。与前面图中相同的部分用相同的标号表 示。
图16a至16d上半部分示出光度学探伤仪结构的侧视图。图16a 至16d上半部分中区域L9表示对准到检测物体G上的行Z1的视场。 检测物体G在箭头1的方向上绕旋转轴3旋转。此外标志X处于旋转 的检测物体G上。亮色圆表示激活的照明。
图16a至16d下半部分示出该结构的俯视图，但图中未示出摄像 机K。由图可见检测物体G的表面片段，摄像机K的摄像机芯片C 的行Zl示意性地投影到其上，从而可描述照明Bl至B4与行1之间 的同步。
也可以采用其它的方法，例如光度学立体成像法、条带投影法和 干涉测量方法。如图16b所示，在一次完整的旋转之后不再是照明Bl、 而是照明B2被激活。在另一次旋转之后切换到下一个照明B3,并且 在下一次旋转之后切换到照明B4,如图16c和16d所示。所希望的照 明情况数量可以改变。这里重要的是，在每次旋转时与前次旋转恰好 重合的单个行被采集。这例如可以由一个旋转传感器实现。
特别具有优点的是一个行摄像机、特别是一个高度光敏感的行摄像机被用于本发明所述方法。这种已知的高度光敏感的行摄像机通过
电荷移动在多行上跟踪检测物体G的标志X,并从而实现啄光相加效 果。此技术被称作TDI技术(时间延迟积分)。
图16e示出应用上述这种摄像机的本发明所述方法。在图16e下 半部分中摄像机K的摄像机芯片C的 一 个行图样被投影到检测物体G 上。从右向左的电荷聚积用变化的灰色表示。本发明的这种方案的特 别的优点在于，在行摄像机应用中大多数情况下小的光照典型地可以 提高到100倍，且同时缩短了曝光时间，而且检测物体可以高速移动。 从而大大降低了采集或检测时间以及釆集或检测成本。
权利要求
1.用于摄录图像的摄像机芯片(C)，其特征在于，像素组(P1，P2，...)可以借助于快门信号(S1，S2，...)在不同时间曝光。
2. 如权利要求1所述的摄像机芯片(C ),其特征在于，像素組(Pl， P3，…)可在与图像重复频率相比更短的时间序列内被膝光。
3. 如以上权利要求中任一项所述的摄像机芯片(C )，其特征在于， 具有四个像素组(P1， P2， P3和P4),它们可借助于快门信号(Sl， S2， S3和S4)在不同时刻曝光。
4. 如权利要求1或2所述的摄像机芯片(C)，其特征在于，具有 两个像素组(Pl和P2)，它们可借助于快门信号(Sl和S2)在不同 时刻曝光。
5. 如以上权利要求中任一项所述的摄像机芯片(C)，其特征在于， 摄l象机芯片(C)可以交织模式工作。
6. 如以上权利要求中任一项所述的摄像机芯片(C )，其特征在于， 像素组(P1， P2,…)中的像素可分别排列成矩形或正方形的形状。
7. 如以上权利要求中任一项所述的摄l象机芯片(C )，其特征在于， 像素组(Pl至Pn)的数目是一个自然数的平方，例如4， 9， 16等。
8. 如以上权利要求中任一项所述的摄像机芯片(C)，其特征在于， 该摄像机芯片只包括少数的行，最好是两行至四行。
9. 如以上权利要求中任一项所述的摄像机芯片(C )，其特征在于， 该摄像机芯片是黑白芯片。
10. 具有至少一个如以上权利要求中任一项所述摄像机芯片(C) 的电子摄像机(K)。
11. 用于借助于如权利要求1至9中任一项所述摄像机芯片(C ) 并借助如权利要求IO所述摄像机(K)进行光学的形状采集的方法， 所述摄像机在与图像重复频率相比更短的时间序列内摄录特定数量的 图像。
12. 如权利要求ll所述的方法，其特征在于，通过内插由各个像素組(P1， P2，…)的相邻像素P的测量值计算出公共参考点处的值。
13. 用于在应用n个不同照明的情况下用至少一个摄像机(K) 在短的时间序列内摄录一个检测物体(G)的多幅图像的方法，其特 征在于，照明(Bl至Bn)在时间上先后地和/或空间上相邻地^皮驱动， 并且对于每个被激活的照明(Bl至Bn)， 一个摄像机芯片(C)的一 定数目的n行(Zl至Zn)或其数倍最好分别被同时读出。
14. 如权利要求11至13中任一项所述的方法，其特征在于，行 (Zl至Zn)的测量值被传送到一个计算单元(R)，并在那里相继排列在一个存储器中，使得每个照明情况(Bl至Bn)下检测物体(G) 的相同位置的记录排列在对应的存储区中。
15. 如权利要求11至14中任一项所述的方法，其特征在于，摄 像机(K)是矩阵摄像机，其摄像机芯片(C)分别只部分地被读出。
16. 如权利要求11至15中任一项所述的方法，其特征在于，摄 像机(K)的摄像机芯片(C)仅包括少数行，最好约100行，或者最 好是2至4行。
17. 如权利要求11至14中任一项所述的方法，其特征在于，摄 像机(K)是通常的行摄像机。
18. 如权利要求11至17中任一项所述的方法，其特征在于，检 测物体(G)相对于摄像机(K)运动。
19. 如权利要求18所述的方法，其特征在于，检测物体(G)作 直线运动。
20. 如权利要求18所述的方法，其特征在于，检测物体(G)作 旋转运动。
21. 如权利要求18所述的方法，其特征在于，检测物体(G)作 螺旋运动0
22. 如权利要求18至21中任一项所述的方法，其特征在于，运 动速度和/或读出过程的时间点如此选择，使得检测物体(G)在两个 读出过程之间运动一个像素间距或其整数倍。
23. 如权利要求11至22中任一项所述的方法，其特征在于，读出的行(Z1至Zn)在计算单元(R)中按相应激活的照明(Bl至Bn) 被分开。
24. 如权利要求11至23中任一项所述的方法，其特征在于，可 以给出在照明(Bl至Bn)下物体(G)的相应区域。
25. 如权利要求11至24中任一项所述的方法，其特征在于，不 需要图像数据的内插。
26. 用于应用n个不同的照相(Bl至Bn)并采用多个摄像机(Kl 至Kn)在短的时间序列内摄录一个物体(G)的多幅图像的方法，其 特征在于，照明(Bl至Bn)相继被激活，并且摄像机(Kl至Kn) 分别用快门(Sl至Sn)同步于照明地被曝光，其中相应的下一个摄 像机(Kn )的摄像机芯片(C )紧跟在前一个摄像机(Kn )的摄像机 芯片(C)的曝光之后被曝光。
27. 如权利要求26所述的方法，其特征在于，摄像机的差异保持 最小。
28. 如权利要求26或27所述的方法，其特征在于，所述差异保 持恒定。
29. 如权利要求26至28中任一项所述的方法，其特征在于，摄 像机(Kl至Kn)的差异等于像素间距的整数倍。
30. 如权利要求26至29中任一项所述的方法，其特征在于，摄 像机(Kl至Kn)的差异为零。
31. 如权利要求26至30中任一项所述的方法，其特征在于，检 测物体(G)在一个近似垂直于摄像机(Kl至Kn)光轴的平面中被 引导。
32. 如权利要求26至31中任一项所述的方法，其特征在于，多 个摄像机的光轴近似相互平行。
33. 用于应用n个不同的照明(Bl至Bn)并采用一个摄像机(K) 摄录一个在旋转运动中的检测物体(G)的多幅图像的方法，其特征 在于，分别对旋转的检测物体(G)的至少一次完整的旋转激活照明(Bl至Bn)。
34. 如权利要求33所述的方法，其特征在于，采用高度光敏感的 行摄像机。
35. 如权利要求11至34中任一项所述的方法，其特征在于，该 方法与光度学探伤方法结合使用。
36. 如权利要求11至34中任一项所述的方法，其特征在于，该 方法与光度学立体成像方法结合使用。
37. 如权利要求11至34中任一项所述的方法，其特征在于，该 方法与条带投影方法结合使用。
38. 如权利要求11至34中任一项所述的方法，其特征在于，该 方法与干涉测量方法结合使用。
39. 如权利要求11至34中任一项所述的方法，其特征在于，该 方法与白光干涉测量方法结合使用。
40. 如权利要求11至34中任一项所述的方法，其特征在于，该 方法与立体成像方法结合使用。
全文摘要
本发明涉及一种用于摄录图像的摄像机芯片(C)。它的特征是可借助于快门信号(S1，S2，…)在不同的时间对图像组(P1，P2，…)曝光。
文档编号H04N5/335GK101305601SQ200680041736
公开日2008年11月12日 申请日期2006年11月10日 优先权日2005年11月10日
发明者C·瓦格纳 申请人:奥比·奥马特和鲍姆加特纳两合公司