运动的对象流的检测的制作方法

文档序号:31849247发布日期:2022-10-19 00:35阅读:40来源:国知局
运动的对象流的检测的制作方法
运动的对象流的检测
1.本发明涉及一种根据权利要求1和15的主题的用于检测运动的对象流的相机设备和方法。
2.在工业应用中,相机以各种方式用于自动检测对象属性,例如用于检查或测量对象。在此,记录对象的图像并根据任务通过图像处理方法进行评估。相机的另一个应用是读取代码。借助于图像传感器记录具有位于其上的代码的对象,在图像中识别代码区域并随后对该代码区域进行解码。基于相机的读码也可以轻松应对一维条形码以外的其它代码类型,这些代码类型与矩阵码一样也被构造成二维的并提供更多信息。原则上,打印地址的自动文本检测(ocr,optical character recognition,光学字符识别)或手写字体的自动文本检测也是对代码的读取。读码器的典型应用领域是超市收银台、自动包裹识别,邮件分拣、机场行李托运和其它物流应用。
3.常见的检测情况是将相机安装在传送带上方。对象流在传送带上的相对运动期间,相机记录图像并根据所获得的对象属性启动进一步的处理步骤。这些处理步骤例如包括:在作用于所传送对象的机器上适配于具体对象的进一步处理,或者通过在质量控制的框架内将某些对象从对象流中排除或将对象流分类成多个子对象流,来改变对象流。如果相机是基于相机的读码器,则根据所附的代码来识别对象以便进行正确的分类或类似的处理步骤。
4.越来越多的更强大的图像传感器可供使用,因此可以用很少的相机覆盖例如传送带宽度的大范围。然而,在对象高度不同的情况下,总会出现景深范围不足以以足够的清晰度记录视场中的所有对象的情况。原则上,聚焦调节器在这里提供了一条出路。然而,为此需要快速的记录序列,因为否则待记录的对象将不再被记录到或至少不再以正确的视角被记录到。在大型图像传感器的情况下,无法实现所需的高记录频率,因为产生的数据比两个记录之间可以处理的数据更多。较小的图像传感器将在这方面有所帮助,但这样做会牺牲用几个相机或理想情况下用单个相机覆盖大区域的预期优点。
5.原则上,可以用小光圈和额外的照明来扩展景深范围,以补偿光损失,从而补偿较差的信噪比。然而,这将使已经强大的照明变得更加昂贵。此外,这不会减少数据负载。此外,可以考虑使用具有超宽纵横比的图像传感器,利用该图像传感器可以覆盖传送带,而不会过度增加数据量。然而,这种奇异的图像传感器是不可用的,或者至少会显著地限制关于对图像传感器重要的其他因素的选择。此外,即使在传送方向上,大的可视范围也具有其优点,而超宽的图像传感器则失去了这些优点。
6.ep 1 645 838 b1和ep 1 645 839 b1分别公开了一种用于监控传送带上的运动对象的设备。测距仪或激光扫描仪位于相机的上游,并且利用其数据确定感兴趣的区域(roi,region of interest),图像数据的后续评估限于该区域。在此,使用线阵相机(zeilenkamera),其图像行被组合成图像。因此,所有图像数据首先产生,然后才减少。矩阵相机只是顺便提及,而没有解释如何处理其图像数据。在这种形式中,矩阵相机与线阵相机相比仅加剧了数据量的问题,因为图像行甚至经常被冗余地检测。
7.在de 20 2006 020 599 u1中,使用预先测量的几何数据,以便确定感兴趣的区
域,然后以比非感兴趣的区域更高的分辨率检测感兴趣的区域。在一个实施方式中的区别在于,在感兴趣的区域中比在非感兴趣的区域中更完整地评估图像数据,于是这仅得出ep 1 645 838 b1和ep 1 645 839 b1的另一变型。可替代地,在非感兴趣的区域中例如仅评估每第三行或每第十行。因此,只有当线阵相机的整个视场一致地是非感兴趣的区域时,才能获得较少的数据。此外,该方法根本无法转移到矩阵相机。
8.ep 2 693 363 a1描述了一种相机系统,其利用预先检测的几何数据来互补地聚焦多个相机。这基于在多个相机中对对象进行冗余检测,因此不适用于尽可能地仅一个相机覆盖待检测的对象流的整个宽度的系统。此外,由于冗余,总数据量甚至再次成倍增加。
9.从ep 3 537 339 a2中已知一种相机,在该相机中集成了根据光飞行方法原理的光电距离传感器。其数据用于多种功能,其中还包括根据从距离值获得的高度轮廓确定感兴趣的区域。然而,感兴趣的区域被视为附加信息,或者在可能的处理步骤中将图像裁剪成感兴趣的区域。因此,待处理的数据要么根本没减少,要么仅在稍后的处理步骤中减少。
10.us 9 237 286 b2提出了一种图像传感器,其允许高效节能地读取子图像。在此,在引言中提及了术语感兴趣的区域(roi),但是该文献未涉及应用,而是在硬件层面上阐述了图像传感器。
11.因此,本发明的目的在于进一步改进运动的对象的流的检测。
12.该任务通过根据权利要求1和15的用于检测运动的对象流的相机设备和方法来实现。相机设备利用图像传感器记录与其相对运动的对象的图像数据。优选地,图像传感器覆盖从俯视图看的大部分或整个宽度,或者从侧面视角看覆盖流的高度以及运动方向上的一定长度,因此优选地具有分辨率通常为几百万像素的矩阵布置中的多个光接收元件或像素。几何检测传感器测量对象几何形状。测量与对象的相应距离的距离传感器尤其适合于此。由此,可以在知道几何检测传感器在相对运动过程中的位置和姿态的情况下,在运动方向上并且优选也横向于运动方向产生高度轮廓
13.控制和评估单元使用几何检测传感器的测量数据来确定(例如,具有对象的)至少一个感兴趣的区域、对象面或其它与相机设备相关的结构。然后,图像数据的进一步评估限于感兴趣的区域(“cropping裁剪”)。如果测量数据包含强度信息或颜色信息,则可替代地或补充地,非纯几何信息(例如,亮度、颜色或对比度)可用于确定感兴趣的区域。为了根据几何数据确定图像传感器的平面中的感兴趣区域,图像传感器和几何检测传感器优选地彼此校准,并且进行相应的变换。
14.本发明基于以下基本思想:将图像传感器中的源处的图像数据直接限制在至少一个感兴趣的区域上。图像传感器具有配置单元并且因此提供配置可能性,以便能够仅读取图像数据的可调节部分或子区域。控制和评估单元利用该配置可能性,以便使图像数据的待读取的部分适配于至少一个感兴趣的区域。特别地,恰好读取形成感兴趣的区域的那些像素或像素行。然而,这仅优选地与像素精度相一致,可以考虑感兴趣的区域的缓冲区或裁切的子区域,以及仅共同地允许或限制对某些像素组的访问的受限配置可能性。与感兴趣的区域无关的图像数据甚至不必被读取。
15.本发明的优点在于,从一开始就将图像数据简化为基本要素。这在图像处理链的许多地方都有很大的优势。节省了数据传输的带宽、存储和计算资源以及处理时间。这不涉及质量损失,因为非感兴趣的区域无论如何都不包含与应用相关的信息。因此,克服了开篇
所描述的较少或仅一个相机覆盖对象流的整个宽度或高度的缺点。结合聚焦调节器,可以确保所有感兴趣的区域在至少一个记录中被清晰地成像。
16.优选地,控制和评估单元被设计用于在记录之间调节至少一个感兴趣的区域和/或图像数据的读取的部分。具有感兴趣的结构的对象相对于相机设备处于相对运动中,使得感兴趣的区域在图像传感器的平面中的位置不断变化。此外,对象离开可视范围,并且新的对象进入。调整将考虑到这一点。因此,图像传感器或其配置单元优选地提供动态重新配置的可能性,优选地具有低于记录周期的短响应时间。调整可以但不一定必须在每次单独记录之后进行。此外,控制和评估单元可以在调整时得出结论,先前的配置对于下一次记录来说仍然是合适的,特别是通过使用一定的缓冲区来确定和读取感兴趣的区域,该缓冲区对于两次或多次记录之间的短时间段来说是足够的。
17.优选地,控制和评估单元优选地具有预处理单元,以便从图像传感器读取图像数据并预处理,其中预处理单元被设计成使得读取和预处理图像传感器的记录的完整的图像数据需要完整的预处理时间,并且其中图像传感器以在两次记录之间允许比完整的预处理时间更短的时间的(特别是灵活的)记录频率操作。优选地,预处理单元包括至少一个fpga(field programmable gate array现场可编程门阵列)、至少一个dsp(digital signal processor数字信号处理器)、至少一个asic(application specific integrated circuit专用集成电路)、至少一个vpu(video processing unit视频处理单元)或至少一个神经处理器,并且执行诸如均衡(entzerren)、亮度调节、二值化、分割、找出代码区域等的预处理步骤。为了读取和预处理图像传感器的完整图像,预处理单元需要完整的处理时间,25ms是纯粹便于理解的数值示例。这以虚拟式表达,因为根据本发明,不读取完整的图像数据。尽管如此,这描述了预处理单元的硬件资源,例如数据传输的带宽、计算能力或存储容量。
18.优选地,图像传感器的记录周期被设置成比完整预处理时间短。换言之,记录频率高到使得预处理单元无法再处理完整的图像数据。在完整的预处理时间为25ms的示例中,最大仍能承受的记录频率为40hz,但是图像传感器以例如50-100hz或更高的较高频率操作。预处理之后可以进一步进行图像处理步骤,如代码读取,即使在流水线结构的情况下该图像处理步骤也需要更多的时间。这还提高了专门读取与感兴趣的区域相关联的图像数据的优点。记录频率可以是灵活的。一旦读取了图像数据的配置部分,就可以记录下一张图像,并且为此所需的时间与当前确定的感兴趣的区域的大小有关。在此,灵活的记录频率保持高于对应于完整的预处理时间的记录频率。
19.优选地,配置单元被设计用于选择图像行。由此,所读取的图像数据不是完全精确地与感兴趣的区域适配,该感兴趣的区域仅利用行的宽度的一部分。为此,图像传感器的硬件及其用于读取的控制器进行了简化。从读取开始在整个图像处理链中的处理时间随着未选择的图像行线性地减少。在此,在不限制一般性的情况下,假设图像传感器的行方向横向于传送方向布置。也可以设想另一种可替代方案,其中列扮演行的角色,反之亦然,这不应在语言上单独区分。
20.优选地,配置单元被设计用于选择矩形的子区域。因此,不仅可以排除整行,而且还可以在行方向上直接在图像传感器中的源处对感兴趣的区域进行裁剪。图像传感器的硬件结构和控制稍加复杂,但被读取和待处理的图像数据更精确地减少。
21.优选地,控制和评估单元被设计用于仅从图像传感器读取根据图像传感器的景深
范围内的感兴趣的区域记录的图像数据的一部分。只有在图像数据清晰记录的情况下,进一步的图像处理链才能实现其功能。可以存在至少一个另外的感兴趣的区域,其位于景深范围之外并且其图像数据甚至不被读取。在此,进一步的处理步骤,特别是试图解码代码,很可能只会浪费时间,而不能达到期望的结果。优选地,聚焦调节器确保感兴趣的区域位于景深范围中。然而,单独这样并不能解决这个问题,因为在可视范围内可能存在多个对象,其高度差迫使视场的一部分超出每个景深范围。然后,尽管进行了聚焦调节,但仍产生了未清晰记录的感兴趣的区域。
22.优选地,控制和评估单元被设计用于针对景深范围之外的感兴趣的区域确定合适的景深范围,并且为了随后的记录重新聚焦到合适的景深范围上。因此,如果感兴趣区域的图像数据因为会模糊而不得不被忽略或者根本不被读取,则存在快速补偿的可能性。为此,利用随后的记录之一,优选紧随其后的记录,在重新聚焦之后,现在在景深范围中重新记录先前被忽略的感兴趣的区域,然后也读取该被忽略的感兴趣的区域。如果即使是两个不同的景深范围也不足以清晰地记录所有感兴趣的区域,则可以迭代该方法。由于通过有针对性地仅读取感兴趣的区域,特别是仅清晰记录的感兴趣的区域而减小的图像数据,可以实现高得多的记录频率。因此,至少在对象离开可视范围之前,进一步的记录在场景几乎没有变化的情况下及时地进行。此外,基于几何检测传感器的测量数据,可以及时规划焦点位置的顺序,以便足够频繁地清晰记录每个感兴趣的区域。例如,如果还有足够的时间,如在两个不同高度的对象不完全紧密地彼此跟随的情况下,那么在针对另一对象和与其相关的感兴趣的区域转换焦点位置之前,在当前的焦点位置还可考虑至少一个另外的记录。
23.优选地,控制和评估单元被设计用于基于图像传感器的景深范围来确定至少一个感兴趣的区域。在某种程度上,这与最后阐述的方法相反。它不是在根据其他标准找到的感兴趣的区域中根据焦点位置进行选择,而是焦点位置本身以非常简单的方式定义了感兴趣的区域。可以读取足够清晰记录的所有内容,因此可用的图像数据绝不会过早地被丢弃。然后,根据更复杂的标准(如边缘、对比度或对象表面)对感兴趣的区域进行可能的更具体的确定。如果景深范围优选地还被改变,如在摆动的焦点位置的情况下那样,则始终确保每个结构在短周期中至少被清晰地记录和读取一次。
24.优选地,控制和评估单元被设计用于在图像数据中识别代码区域,并读取该代码区域的代码内容。因此,相机设备成为用于根据各种标准的条形码和/2d代码必要时也用于文本识别(ocr,optical character reading,光学字符读取)的基于相机的读码器。在代码读取应用中,特别重要的是所有代码区域都被足够清晰地记录下来。同时,代码区域仅占总面积的一小部分。因此,将图像数据提前裁剪到代码区域或至少可能携带代码的对象是特别有效的。
25.优选地,几何检测传感器被设计成距离传感器,特别是根据光飞行时间法原理的光电距离传感器。距离传感器首先测量对象到几何传感器的距离,但是这可以在知道距离传感器的位置和姿态的情况下换算成对象例如在传送带上方的高度。因此,至少在运动方向上产生高度轮廓。如果距离传感器是有空间分辨率的,则还检测横向于运动方向的高度轮廓。术语“高度轮廓”基于图像传感器的俯视图,从另一视角有意义地检测相应的轮廓。光学原理,特别是光飞行时间法适用于在相机系统中测量距离。
26.优选地,几何检测传感器与图像传感器集成到相机中。这产生了特别紧凑的系统,
并且直接从与图像数据相当的视角检测几何检测传感器的测量数据。可替代地,几何检测传感器布置在外部并且与流反向地被布置在图像传感器上游,以便在记录图像数据之前测量对象。在此,几何检测传感器例如是测量距离的激光扫描仪。
27.优选地,相机设备具有用于确定流的速度的速度传感器。例如,速度传感器是传送带处的编码器。优选地,控制和评估单元被设计用于基于几何检测传感器的测量数据和/或图像数据来确定流的速度。为此,例如,在时间上跟踪特定结构,例如对象边缘。位移矢量可以与时间差相关,以估计速度。可以通过对整个高度轮廓或整个图像区域的附加相关性更精确地确定光流。然后,不需要额外的速度传感器或增加额外的速度传感器。速度信息可用于转换流运动方向上的位置,特别地上游几何检测传感器的测量数据可以与图像传感器的位置相关。
28.优选地,相机被固定地装配在传送装置处,该传送装置沿传送方向传送对象。这是相机非常常见的工业应用。对象的流的帧数据是已知的并且简化了图像处理,例如传送方向,并且至少在可预期的间隔内还简化了速度,并且通常还简化了待检测对象的类型和粗略几何形状。
29.优选地,相机设备具有用于从上方记录流的至少一个图像传感器和/或用于从侧面记录流的至少一个图像传感器。在本说明书中,从上方进行的检测通常是指导思想,但也存在从侧面进行检测的类似情况,其中对象间距现在变化不是由于对象高度而是由于对象的横向定位。因此,在任何情况下都可以从不同的角度来理解上面提到的视角描述。特别优选地,由多个图像传感器从多个视角检测对象,特别是在代码读取时,其中不能总是保证代码位于上侧或完全位于特定的一侧。这里,有时使用术语顶部读取、侧面读取和底部读取。但后者不会导致景深范围方面的问题。相反,例如必须在传送带中创建窗口或间隙,以便能够完全感知对象。此外,视角通常是混合形式的,即没有直接的俯视图或侧视图,而是有倾斜的分量,如侧前,侧后,前上或后上。优选地,每个视角仅设置一个图像传感器,该图像传感器相应地单独覆盖对象流的高度或宽度。
30.根据本发明的方法可以用类似的方式进一步发展并同时显示出类似的优点。这种有利的特征在从属于独立权利要求的从属权利要求中示例性地但非穷尽地进行了描述。
附图说明
31.下面将示例性地基于实施方式并参考附图对本发明的其他特征和优点进行更详细的阐述。在附图中:
32.图1示出了具有集成距离传感器的相机的示意性截面图;
33.图2示出了相机装配在传送带处的示例性应用的三维视图;
34.图3示出了装配在传送带处的相机和外部距离传感器的可替代实施例的三维视图;
35.图4示出了距离传感器和相机的可视范围的示意性截面图;
36.图5示出了图像传感器的示意图,其具有对应于感兴趣的区域的被配置用于读取的图像行;
37.图6示出了类似于图5的示意图,其具有在图像行之内的待读取的像素的附加配置;
38.图7示出了在景深范围有限的情况下检测两个对象的示意性截面图;
39.图8示出了具有配置用于读取的子区域的图像传感器的示意图,该子区域对应于根据图7的景深范围中的感兴趣的区域;
40.图9示出了相对于图7在景深范围改变的情况下检测两个对象的示意性截面图;以及
41.图10示出了类似于图8的示意图,但现在具有对应于在图9中处于景深范围中的感兴趣的区域的配置的子区域。
42.图1示出了相机10的示意性截面图。来自检测区域14的接收光12射到具有聚焦调节器18的接收光学器件16上,接收光学器件16将接收光12引导到图像传感器20上。优选地,接收光学器件16的光学元件被构造成由多个透镜和其他光学元件(例如,光圈、棱镜等)构成的物镜,但是为了简化,在这里仅由一个透镜表示。聚焦调节器18仅示意性地示出,并且例如可以通过机械地移动接收光学器件16或图像传感器20的元件实现移动的偏转反射镜或液体透镜。执行机构例如基于马达、活动线圈或压电元件。优选地,图像传感器20具有像素元件的矩阵排列,该像素元件具有百万像素量级的高分辨率,例如1200万像素。配置单元22允许配置图像传感器20的读取逻辑,因此允许动态可调地选择从图像传感器20读取的像素行或像素区域。
43.为了在相机10的记录期间用发射光24照亮检测区域14,相机10包括可选的照明单元26,其在图1中以简单光源并且没有发射光学器件的形式示出。在其他实施方式中,将多个光源(例如,led或激光二极管)例如围绕接收路径环形地布置,这些光源也可以是多色的,并且可以成组地或单独地控制,以适配照明单元26的参数,例如照明单元26的颜色、强度和方向。
44.除了用于检测图像数据的实际图像传感器20之外,相机10还具有光电距离传感器28,其利用光飞行时间法(tof,time of flight)来测量与检测区域14中的对象的距离。距离传感器28包括具有tof发射光学器件32的tof光发射器30和具有tof接收光学器件36的tof光接收器34。因此,tof光信号38被发射并再次接收。光飞行时间测量单元40确定tof光信号38的飞行时间,并由此确定与对象的距离,tof光信号38在该对象上被反射回来。
45.优选地,tof光接收器34具有多个光接收元件34a或像素,是有空间分辨的。因此,不仅检测单个距离值,而且还检测有空间分辨的高度轮廓(深度图、3d图像)。在此,优选地,仅设置相对少量的光接收元件34a并从而提供高度轮廓的小的横向分辨率。2
×
2像素或者甚至1
×
2像素就已经足够了。当然,具有n
×
m像素(n,m》2)的更高的横向分辨率能够实现更复杂和更准确的评估。但tof光接收器34的像素数量保持相对较低,例如,几十、几百或几千像素或n,m≤10、n,m≤20、n,m≤50或n,m≤100,与图像传感器20的常规百万像素分辨率相去甚远。
46.距离传感器28的结构和技术纯粹是示例性的。在进一步的描述中,距离传感器28被视为用于几何测量的封装模块,其在检测对象或等待询问时周期性地提供测量数据,例如距离值或高度轮廓。在此,可以设想另外的测量数据,尤其是强度的测量。借助于光飞行时间法进行光电距离测量是众所周知的,因此将不详细解释。两种示例性的测量方法是利用周期性调制的tof光信号38的光混合探测(photomischdetektion)和利用脉冲调制的tof光信号38的脉冲飞行时间测量。在此,还存在高度集成的解决方案,其中tof光接收器34与
光飞行时间测量单元40或其至少一部分(例如,用于飞行时间测量的tdc(time-to-digital-converter时间数字转换器)被安置在共同的芯片上。构造成spad(singel-photon avalanche diode单光子雪崩二极管)光接收元件34a的矩阵的tof光接收器34特别适用于此。tof光学器件32、36仅象征性地示出为代表任何光学器件(如微透镜阵列)的相应的单透镜。
47.控制和评估单元42与聚焦调节器18、图像传感器20及其配置单元22、照明单元26和距离传感器28连接,并且负责相机10中的控制任务、评估任务和其他协调性任务。控制和评估单元基于距离传感器28的测量数据确定感兴趣的区域,并且根据感兴趣的区域通过图像传感器的配置单元22配置图像传感器20。控制和评估单元从图像传感器20读取如此配置的子区域的图像数据,并且对其进行进一步的图像处理步骤。优选地,控制和评估单元42能够找到图像数据中的代码区域并进行解码,由此使相机10变成基于相机的读码器。
48.优选地,读取和第一预处理步骤(例如,均衡,分段,二值化等)在预处理单元44中进行,该预处理单元44例如包括至少一个fpga(field programmable gate array现场可编程门阵列)。可替代地,优选至少预处理的图像数据经由接口46被输出,并且另外的图像处理步骤在上级的控制和评估单元中进行,其中,实际上可以设想任意的工作分配。根据距离传感器28的测量数据,可以控制其他功能,特别是导出聚焦调节器18的期望焦点位置或图像记录的触发时间点。
49.相机10由外壳48保护,该外壳在接收光12入射的前部区域中被前窗50封闭。
50.图2示出了相机10装配在传送带52处的可能应用。相机10在此和下文中仅还作为符号示出,而不再显示其已经根据图1阐述的结构,仅距离传感器28还作为功能块示出。传送带52将对象54传送通过相机10的检测区域14,如由箭头56所示。对象54可以在其外表面上携带代码区域58。相机10的任务是检测对象54的属性,并且在作为读码器的优选应用中识别代码区域58、读取附着在其上的代码、对其进行解码、并且将其与相应的所属对象54相关联。
51.优选地,相机10的视场在全宽度上以及在一定长度上覆盖对象54的流。可替代地,使用附加的相机10,该相机的可视范围相互补充,以实现全宽度。在此,优选在任何情况下,设置较小的重叠。示出的从上方看到的透视图在许多情况下是特别合适的。可替代地,为了更好地检测对象侧面,特别是附着在侧面的代码区域60,优选地从不同的视角使用附加相机10(未示出)。在此,从上方或侧面倾斜的横向视角以及混合视角是可能的。
52.在传送带52上可以设置用于确定进给或速度的编码器(未示出)。可替选地,传送带可靠地以已知的运动曲线运动,相应的信息由上级控制器传递,或者控制和评估单元通过跟踪确定的几何结构或图像特征来确定速度本身。利用速度信息,在不同的时间点和在不同的传送位置记录的几何信息或图像数据可以沿传送方向组合并且相互关联。特别地,因此优选地也使读取的代码信息与承载所属的代码58,60的对象54相关联。
53.图3示出了在传送带52上具有相机10的设备的可替代实施例的三维视图。代替内部的距离传感器28,或者作为其补充,在此在与传送方向相反的方上设置了上游的外部几何检测传感器62,例如激光扫描仪。如上所述,基于速度信息,几何检测传感器62的测量数据可转换为相机10的位置。因此,基于内部距离传感器28的下面的描述可以转移到具有外部几何检测传感器62的情况上,而无需对其特别提及。
54.图4示出了相机10在对象流上方的示意性截面图,对象流在此仅由单个的对象54表示。距离传感器28的光轴64与相机10的光轴66成一定的角度。因此,距离传感器28的视场68位于相机10的视场或检测区域14的前方。因此,距离传感器28稍早感知到对象54,并且其测量数据在记录时已经可用。
55.为了从一开始就减少待处理的图像数据,控制和评估单元42根据距离传感器28的测量数据将其检测区域14和图像传感器20的相应区域划分为相关部分和非相关部分。相关部分对应于感兴趣的区域(roi,region of interest)。在图4中,为此示出了不同阴影的子视场70、72,具有对象54的较暗的相关的子视场70和不具有对象54的较亮的两部分非相关的子视场72。
56.图5以图像传感器20的示意性俯视图示出了相关的划分。感兴趣的区域74的粗框行中的像素对应于相关的子视场70,非感兴趣的区域76的其余像素对应于非相关的子视场72。属于感兴趣的区域74的行由控制和评估单元42通过配置单元22来选择,并且仅读取和进一步处理这些像素的图像数据。
57.再次参考图4阐述示例性的评估,利用该评估从距离传感器28的测量数据中找到感兴趣的区域74的像素。距离传感器28在时间点t首次检测到高度为h的对象54。根据距离传感器28相对于图像传感器20的相对位置和姿态以及传送速度确定触发时间点t1,在该触发时间点,对象54已经移动到检测区域14中。对象54的长度由距离传感器28直到时间点t1的测量数据确定。例如,距离传感器28以重复率f操作。对象54的长度对应于具有该重复率的检测次数。要记住的是,通过传送速度可以将沿传送方向的位置和长度直接换算成时间。因此,在已知相机10和距离传感器28或外部几何检测传感器62的相应位置和姿态的情况下,借助距离传感器28确定的对象长度可以在考虑对象高度的情况下,以三角函数方式转换为图像传感器20上的相关图像行。
58.在传送运动的过程中,根据图4的相关子区域70与传送方向相反地移动,或图5中的图像传感器20上的感兴趣的区域74向下移动。第一图像触发可以在时间上如此调整,使得对象54的前边沿位于检测区域14的边缘上并且因此位于图像传感器20的最上面的行中。图像传感器20可以被重复地、动态地重新配置,以便多次记录对象54或其他感兴趣的结构,例如对象上的代码区域58、60。
59.图6示出了图像传感器20的像素可替代地划分成待读取的区域和非待读取的区域。与图5相反,在此取消了感兴趣的区域74只允许包括整行的边界条件。由此,待读取和待处理的图像数据又进一步减少。配置单元22相应地更灵活,并且还允许排除行内的像素。优选地,这仍然意味着没有单独的像素选择,这将导致过高的电路耗费,但可以选择如所示的矩形子区域。为了能够合理地选择行内的像素,从而横跨对象54的流,距离传感器28应优选地提供横向分辨率,从而连续地提供对象54的、沿传送方向和横向于传送方向的有分辨率的轮廓。
60.图7以示意性截面图示出了不同高度的两个对象54a-54b位于检测区域14中的情况。通过借助聚焦调节器18调节焦点位置78,可以移动由dof(depth of field景深)上限和dof下限80a-80b包围的景深范围。相应的焦点位置78的景深范围取决于各种因素,特别是接收光学器件16,但是例如也取决于解码方法,因为在代码读取时获得足够的图像清晰度的决定性因素是代码是否可读。例如,控制和评估单元42可以访问具有预先通过模拟、建模
或经验确定的景深范围的查找表。
61.因此,控制和评估单元42基于距离传感器28的测量数据和关于一焦点位置78的景深范围的信息已知必须如何改变焦点位置78以便清晰地记录对象54a-54b中的一个。只要存在景深范围适合于所有对象54a-54b的焦点位置78,就可以借助于配置单元22为两个或更多个对象54增加待读取的行的数量或在图像传感器20上创建待读取的另一感兴趣区域74。对于多个对象54a-54b来说,单次记录可能就足够了,其中重复记录仍然是可能的,对于每个对象54a-54b的单独记录也是可能的。
62.然而,在图7的情况下,对象54a-54b的高度差异太大,不存在两个对象54a-54b都位于景深范围内的焦点位置78。控制和评估单元42必须做出决定并且首先聚焦于较高的对象54b。
63.图8示出了针对这种情况借助于配置单元22设置的图像传感器20的示意性俯视图。仅读取对应于较高的、清晰记录的对象54b的感兴趣的区域74。对于矩形子区域可替代地,可以配置和读取整个向右和向左扩展的图像行。本身存在对应于较低对象54a的另一感兴趣的区域82,并且控制和评估单元42通过评估距离传感器28的测量数据已知该另一感兴趣的区域。然而,由于在另一感兴趣区域82中无论如何都不能预期有足够清晰的图像数据,因此这些图像数据如同非感兴趣的区域76那样被处理并且不被读取。在较低的对象54a仍处于景深范围内的高度差较小的情况下,如果配置单元22提供该功能,或者两个感兴趣的区域74,82被共同的感兴趣的区域包围,则可以配置和读取两个感兴趣的区域74,82,。
64.图9和图10示出与图7和图8互补的情况。现在,焦点位置78和相关联的景深范围被调整到较低的对象54a上。相应地,读取较低的对象的图像数据,并且直接在图像传感器20中丢弃较高的对象54b的图像数据以及对象54a-54b之间和旁边的区域。
65.因此,可以针对较高的对象54b产生具有焦点位置78的第一记录,并且只要较低的对象54a还处于检测区域14中,就在重新聚焦并从而将焦点位置78调整到校对的对象54a之后紧接着产生第二记录。控制和评估单元42甚至基于距离传感器28的测量数据及时地获知所描述的冲突情况并且可以提前计划。
66.在可替代的实施方式中,焦点位置78周期性地(例如,通过阶跃函数或振荡)被改变。产生多个记录,使得景深范围总体上覆盖整个可能的距离范围,优选地不包括传送平面本身,只要不预期完全平坦的对象54。根据距离传感器28的测量数据分别配置在当前焦点位置78被清晰记录的感兴趣的区域74。因此,焦点位置78分别确定感兴趣的区域74。确保每个结构都被清晰地记录,而不清晰的图像数据甚至不会被读取。
67.因此,根据本发明,实现了大图像传感器20的优点,而不会触发不再可管理的数据泛滥。同时,解决了单个大的记录中高度差异很大的多个连续的对象54a-54b的图像数据模糊的问题。因此,可以利用图像传感器20至少在其视角(例如从上方或从侧面)方面,单独覆盖对象54的流,或至少覆盖尽可能大的一部分对象流。
68.而常规地,预处理单元必须读取所有图像数据,以便在必要时才丢弃感兴趣的区域之外的图像数据。预处理通常在读取期间在流水线结构中即时进行,使得读取和预处理在时间要求方面实际上相同地看待。对于高分辨率的图像传感器20,这需要例如25ms的处理时间并且因此将记录频率或帧率限制为40hz。更复杂的图像处理步骤(例如,解码)会加剧这种情况,可能的记录频率会进一步降低。如果两个高度非常不同的对象彼此靠近,那么
在重新聚焦后进行第二记录可能为时已晚。而根据本发明,从一开始就减少图像数据量,以便仅读取相关的图像区域。减少数据负载本身就是一个优点,因为它可以节省资源或更有针对性地使用资源。因此,相机10选择性地变得更便宜或更有效。此外,消除了与完整图像的处理时间相对应的记录频率的严格限制。因此,记录频率可以整体地或甚至根据情况灵活地提高。因此,即使在两个紧密相继的对象54a-54b的高度大不相同的情况下,也可以在重新聚焦之后及时地进行第二次记录,如关于图7-图10所述的那样。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1