光传感器模块、用于运行光传感器模块的方法和用于制造光传感器模块的方法与流程

文档序号:17120886发布日期:2019-03-15 23:47阅读:181来源:国知局
光传感器模块、用于运行光传感器模块的方法和用于制造光传感器模块的方法与流程

本发明从根据独立权利要求的类别的一种设备或一种方法出发。本发明的主题也是一种计算机程序。



背景技术:

光传感器模块可以实现成由多个多通道的宏单元构成的传感器阵列。



技术实现要素:

在所述背景下,借助在此提出的方案提供根据独立权利要求所述的一种光传感器模块、一种用于运行光传感器模块的方法、一种用于制造光传感器模块的方法,还提供一种使用这些方法中的至少一种的设备,以及最后提供一种相应的计算机程序。通过在从属权利要求中列举的措施能够实现独立权利要求中说明的设备的有利的扩展方案和改善方案。

提出一种具有以下特征的光传感器模块:

传感器层,该传感器层具有多个2至5个不同的传感器单元,其中,这些传感器单元分别实施用于检测不同的光特征,和/或,这些传感器单元具有不同的转换特性(wandelcharakteristik)和/或具有不同的探测容量,其中,传感器像素以行和列布置;

信号处理单元,该信号处理单元用于处理传感器像素的传感器信号,其中,每列的传感器像素通过至少一个读取线路与信号处理单元能够导电地连接,所述至少一个读取线路分别分配给不同的光特征或转换特性或传输特性,并且每行的传感器像素通过至少一个选择线路与信号处理单元能够导电地连接,其中,信号处理单元构造用于通过选择线路逐行地选择传感器像素,以便通过读取线路对所述传感器像素进行读取。

根据一种实施方式,传感器层具有多个传感器单元,其中,这些传感器单元分别具有至少两个传感器像素(根据一种实施方式至少五个传感器像素),所述传感器像素分别用于检测不同的光特征或传输特性或转换特性,其中,所述传感器像素以列和行布置。也可以设想,传感器单元的两个或多个传感器像素具有相同的光特征或传输特性或转换特性,以便例如冗余地对这些特征或特性进行检测。在此,检测相同的光特征或传输特性或转换特性的传感器像素例如可以具有不同的尺寸。

“传感器层”例如可以理解为由半导体材料构成的层或者由有机材料和半导体材料构成的混合层。“传感器单元”例如可以理解为五通道的、光敏的宏单元(也称为宏像素)。“传感器像素”可以理解为传感器单元的单个元件。传感器单元例如可以分别具有一个较大的主像素和四个较小的附加像素。附加像素例如可以围绕主像素对称地布置。因此,附加像素也可以称为卫星单元。根据一种实施方式,传感器像素也称为传感器单元。“光特征”例如可以理解为波长或颜色、偏振或时间强度分布。“转换特性”可以理解为强度信号到电信号的线性转换或对数转换。

在此提出的方案基于以下认知:通过逐行地选择并且逐列地读取光传感器模块(例如用于机器视觉的传感器阵列布置)的传感器像素,可以显著降低用于(尽管以高分辨率)生成图像信号的数据率。此外,通过各个传感器像素分别检测不同的光特征,可以提高光传感器模块的识别准确度。

能够测量的光特征反映照明与周围环境中的对象的表面的相互作用。偏振现象、颜色现象以及由于越来越多出现的脉冲光源而引起的强度调制尤其是特别适用于对对象进行分类的特性。

因此特别有利的是,借助合适的光传感器模块(如在此描述的方案的主题)等位地(ortsgleich)以其他特征检测这些特性,以便因此可以将对象的不同特征的整体与该对象联系起来并且简化对情况的识别,所述情况例如是经调制的照明、湿的行车道或进行反射的建筑物立面,或者也简化了通过比较对象特征(例如宽频带反射率、反射或偏振的光谱成分)来区分对象与其相应的背景。

根据一种实施方式,所述感器单元中的每个构造有一个主像素和至少一个附加像素(根据不同的实施方式例如具有两个、三个、四个、五个或六个附加像素)作为传感器像素。在此,主像素的面积大于一个附加像素的相应面积。由此可以提高光传感器模块的效率。也可设想,主像素的更大面积通过互联相同类型的更多的传感器像素来实现,这些传感器像素例如具有相同的光特征或传输特性或转换特性。在此,各个传感器像素充当大的传感器像素并且还被共同地操控和读取。在此,传感器像素的形状例如可以任意地选择成矩形、圆形或十字。

如果使用多于一个附加像素,那么附加像素可以围绕主像素对称地布置。由此,可以将传感器像素均匀地布置在传感器层中。

根据另一实施方式,主像素可以构型成十字,该十字将传感器单元划分成四个象限。在此,在四个象限中的每个中可以分别布置有这种情况下的四个附加像素中的一个。由此,可以尽可能节省空间地实现传感器单元。

有利的是,主像素构造用于检测亮度(尤其宽频带亮度)。由此,借助光传感器模块可以实现特别灵敏的亮度检测。

光传感器模块可以具有信号处理层。在此,信号处理单元可以布置在信号处理层中。在半导体技术(“堆叠”或“混合键合”)的方法中,信号处理层和传感器层例如可以彼此组合成机械耦合和电耦合的层复合物(lagenverbund)。由此,可以使光传感器模块高效且成本有利地小型化。

传感器像素可以布置在至少一个第一行和第二行中。第一行可以比第二行具有更多数量的能够通过选择线路选择的传感器像素。

附加地或替代地,传感器像素可以布置在至少一个第一列和第二列中。在此,第一列可以比第二列具有更多数量的能够通过读取线路读取的传感器像素。由此,能够将传感器像素灵活地布置在传感器层中。

此外,在此描述的方案提供一种用于运行根据以上实施方式中的一种所述的光传感器模块的方法,其中,该方法包括以下步骤:

通过选择线路逐行地选择传感器像素;

通过读取线路读取通过选择线路所选择的传感器像素的传感器信号。

根据一种实施方式,在读取的步骤中,基本上同时读取传感器单元的传感器信号。

这种实施方式提供以下优点:可以在没有传感器信号的复杂缓存的情况下实现传感器单元的传感器信号的读取。由此,不需要单独的存储器元件或不必要的计算容量。可以要么时间偏移地、要么几乎同时地实现对整个传感器行的读取,所述传感器行又包含多个传感器单元。这取决于所选择的图像传感器的操控/连接。要么可以在模拟域中,通过在求和点中互联读取线路、与所连接的电容电容耦合等来实现各个单元的信号的组合。在此,也可以通过引入可控放大环节或偏移环节来实现加权的互联。同样可以在ad转换之后,通过(例如用于累加、除法、乘法的)计算器执行信号的组合。在此,“基本上同时”意味着:显然,出现小的时间偏移也是可能的,所述小的时间偏移在读取/采样各个传感器信号时产生并且对于本领域技术人员来说是已知的。

此外,可以设想一种实施方式,在该实施方式中,同时寻址多个行并且同时读取传感器单元的传感器像素,尤其可以同时寻址图像传感器的3行或5行。由此,同样可以省去缓存。

根据另一实施方式,该方法可以包括在使用传感器信号的情况下生成图像信号的步骤。在此,尤其可以在不对传感器信号进行缓存的情况下生成图像信号。由此,可以特别高效地生成图像信号。

根据该方法的另一实施方式,时间偏移地读取定义的像素组和/或单元组合。在此,整个图像传感器或所有可用的传感器像素例如可以划分成两个或多个像素组或单元组合。有利的是,这些像素组或单元组可以检测所探测的辐射的相同特征(例如亮度值和/或色度值)。这可以通过相应地选择各个传感器像素来实现。可以与图像传感器的读取频率无关地选择不同像素组和/或单元组合的读取之间的时间偏移。该值可以是任意大小的并且可以在图像传感器运行期间改变。为此,可以设置单独的单元。

此外,在此提出的方案提供一种用于制造光传感器模块的方法,其中,该方法包括以下步骤:

构造如下层复合物:该层复合物由具有多个传感器单元的传感器层构成,其中,传感器单元分别具有至少两个传感器像素,所述至少两个传感器像素分别用于检测不同的光特征或者具有不同的转换特性,其中,传感器像素以行和列布置,并且该层复合物由信号处理层构成,该信号处理层具有用于处理传感器像素的传感器信号的信号处理单元,其中,每列的传感器像素通过至少一个读取线路与信号处理单元能够导电地连接,所述至少一个读取线路分别分配给不同的光特征,并且每行的传感器像素通过至少一个选择线路与信号处理单元能够导电地连接,其中,信号处理单元构造用于通过选择线路逐行地选择传感器像素,以便通过读取线路对所述传感器像素进行读取。

这些方法例如可以以软件或硬件或以软件和硬件的混合形式(优选在传感器模块的处理层中)实现。为此,该处理主要是为了压缩信息并且将传输通道释放到(entlasten)控制设备,因此根据一种实施方式,与传感器层相关联地处理数据。

此外,在此提出的方案提供一种设备,该设备构造用于在相应的装置中执行、操控或实现在此提出的方法的变型方案。通过本发明的这种设备形式的实施变型方案,也可以快速且高效地解决本发明所基于的任务。

为此,该设备可以具有:至少一个用于处理信号或数据的运算单元、至少一个用于存储信号或数据的存储器单元、至少一个用于从传感器读取传感器信号或用于将数据信号或控制信号输出到执行器的至传感器或执行器的接口和/或至少一个用于读取或输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器或类似物,其中,所述存储器单元可以是闪存、eprom或磁性存储器单元。通信接口可以构造用于无线地和/或有线地读取或输出数据,其中,可以读取或输出有线数据的通信接口例如可以电学地或光学地从相应数据传输线路中读取所述数据或将所述数据输出到相应的数据传输线路中。

在此,设备可以理解为电设备,所述电设备处理传感器信号并且根据所述传感器信号输出控制信号和/或数据信号。所述设备可以具有可以以硬件形式和/或软件形式构造的接口。在硬件形式的构造中,所述接口例如可以是所谓的系统专用集成电路的一部分,该部分包含所述设备的各种各样的功能。然而也能够实现,所述接口是独立的集成电路或至少部分地由分立的构件组成。在软件形式的构造中,所述接口可以是软件模块,所述软件模块例如和另外的软件模块存在于微控制器上。

也有利的是一种计算机程序产品或具有程序代码的计算机程序,所述程序代码能够存储在机器可读的载体或存储介质上,例如半导体存储器、硬盘存储器或光学存储器并且用于尤其当所述程序产品或程序在计算机或设备上实施时,执行、实现和/或操控根据上面所描述的实施方式中任一项所述的方法的步骤。

根据一种实施方式,在传感器模块(=传感器层和信号处理层的复合物)中进行信息压缩。这通常借助μc、dsp或可编程可训练的或自学习神经网络实现。设置用于压缩的元件或构件也称为链路网络(verknüpfungsnetzwerk)。减少数据量并且编码几个特征(例如偏振)用于传输。因此,也可以借助软件将所述方法步骤分配到所连接的系统计算机上。

附图说明

本发明的实施例在附图中示出并且在以下说明书中进一步阐述。附图示出:

图1示出用于正确重构而所需的阵列中的采样值的示意图;

图2在图1中的阵列中示出用于正确信号重构而所需的最小宏单元的示意图;

图3示出根据本发明的一种实施例的光传感器模块的示意图;

图4示出根据一种实施例的光传感器模块中的示例性信号处理环节的示意图;

图5示出根据一种实施例的光传感器模块的横截面的示意图;

图6示出图3中的宏传感器单元的示意图;

图7示出根据一种实施例的超级传感器单元的示意图;

图8示出根据一种实施例的光传感器模块的示意图;

图9示出根据一种实施例的寻址的宏单元的示意图;

图10示出根据一种实施例的寻址的超级单元的示意图;

图11示出根据一种实施例的用于同时寻址超级单元的寻址方案的示意图;

图12示出根据一种实施例的用于借助卫星单元的重叠寻址来寻址超级单元的寻址模式的示意图;

图13示出根据一种实施例的光传感器模块的示意图;

图14示出根据一种实施例的用于运行光传感器模块的方法的流程图;

图15示出根据一种实施例的设备的示意图;

图16示出根据一种实施例的用于制造光传感器模块的方法的流程图;

图17在常规的4通道阵列中示出最小滤波器核的示意图;

图18示出一种最小模糊圆的示意图;

图19示出光传感器模块的一种读取方案;

图20示出光传感器模块的另一读取方案;

图21示出光传感器模块的另一读取方案;

图22示出光传感器模块的另一读取方案;

图23示出光传感器模块的另一读取方案;

图24示出光传感器模块组件的示意性结构。

在本发明的有利的实施例的以下描述中,对于不同附图中示出的并且作用相似的元件使用相同的或相似的附图标记,其中,省去对这些元件的重复性描述。

具体实施方式

通常,现代图像传感器由各个传感器单元的正交网格构成,这些传感器单元根据应用情况而配备有或不配备有彩色滤波阵列(简称cfa),以便分离不同的光谱通道。

例外的是具有竖直布置的接收器元件的三维集成传感器,根据该布置的制造商也称为“foveon式”结构(“foveon”-likestructure)。

为了重构采样信号需要评估多个采样点。

在标准颜色传感器中,宏单元通常由重复布置在阵列中的n个基本单元构成。这些宏单元的通道数量n决定了可以采样到的不同光特征的最大数量。

因为典型的阵列形状是正交网格,所以在一个或多个元件的奇数个光特征的情况下被加倍。

对于标准拜尔图案(standard-bayer-pattern)而言,通道1到4例如按如下方式被占用:

1=红色

2=绿色

3=绿色

4=蓝色

其他已知的颜色系统是:

1=青色

2=黄色

3=黄色

4=品红色

或:

1=红色

2=无色(光谱宽频带开通的滤波器)

3=nir(近红外)

4=绿色

为了产生允许无损重构连续原始信号的采样,在每个采样空间方向上,针对每个采样特征应考虑至少两个采样点。

传感器阵列的采样空间在两个阵列维度中的每个中的空间频率(ortsfrequenz)和维度时间上延伸。

可采样的最小空间频率是采样相同信号大小的两个单元的最小间距的两倍,所述单元在图1中例如是具有相同数字的单元。

图1示出用于正确重构而所需的阵列100中的采样值的示意图。在此示出由相同类型的相邻传感器单元撑开的各种基本三角形。

最大的中心距离作为对角像素间距的两倍出现。因此,通道中的每个中的最小无损待重构的空间频率由对角像素间距的四倍给出。

图2在图1中的阵列中示出用于正确信号重构而所需的最小宏单元的示意图。

因为应给出所有光特征的条件,所以在正交网格的情况下得出八边形的形状,该八边形的顶点分别由每个通道的两个基本单元的重心所占据。这在图2中示出。

在设计传感器时,需要找到光灵敏度、空间分辨率、应用相关的光特征、传输带宽与成本之间之间的良好平衡。

在给定的过程中,高的光灵敏度通过较大的传感器单元实现。可以通过增大的阵列(即更多数量的传感器单元)来提高空间分辨率。通过尽可能精细、良好地与应用相协调地分解和重构光特征来实现对诸如颜色或偏振方向的重要相关的光特征的测量。传输带宽基本上通过由传感器所传输的用于后处理的信息数量所确定,这通常是每像素12位。成本在很大程度上受传感器总面积的影响,这分别与确定的技术水平相关。

以下描述的方案现在提供如下可能性:在相同的分辨率下采样直至五个光特征,并且为了更高的重构质量或更高的分辨率,通过可扩展的操控按具体情况改变所述光特征。

此外,可选的原位信息压缩(in-situ-informationsverdichtung)还允许将输出端上的数据带宽减小到所需的最小大小,因为数据的压缩从像素网格转换到匹配于信息内容的信息网格。

以下描述的方案例如允许,借助对开始提及的光特征的同样高分辨率的测量来产生高分辨率的强度图或灰度值图。

为了在专用的光学分辨率的情况下(也就是说,在由光学器件的设计得出的模糊圆的情况下)实现这一点,有利的是,针对每个待检测的光特征,将感器像素对称地置入传感器单元中。

图3根据一种实施例示出一种光传感器模块300的示意图。光传感器模块300包括具有多个传感器单元304的传感器层302,所述传感器单元分别具有用于检测不同光特征的五个传感器像素1、2、3、4、5。传感器像素1、2、3、4、5以列和行彼此上下布置或彼此并排布置,其中,附图标记1至5分别代表一个测量通道。图3示出用于五通道采样的布置。根据一种实施例,传感器像素1、2、3、4、5也称为传感器单元。

根据该实施例,传感器像素5实现成十字形的主像素,该主像素将传感器单元304分别划分成四个(在此基本上相同大小的)象限。剩余的四个传感器像素1、2、3、4分别实现成附加像素,所述附加像素具有比主像素5小得多的传感器面积。附加像素1、2、3、4中的每个布置在传感器单元304的象限中的一个中,从而得出附加像素1、2、3、4围绕主像素5的对称布置。主像素5例如构造用于检测亮度。

每个传感器单元304的五个传感器像素分别实施成不同的光传感器类型。

可用于检测不同光特征的传感器类型例如可以是:用于测量每种光颜色(超过10种)的能量的对于青色品红色黄色、r、g、b、clear可见的cfa,或者对于nir、fir、uv或特定的带通特性(叶绿素特性)不可见的xfa,以及用测量四个偏振自由度中的偏振(参见两个实施方案中的斯托克斯-琼斯矢量)的干涉滤波器(水平、竖直、对角线左、对角线右),或则波长微结构(金属网格、tiox薄膜等)。分割像素方案(具有拐点的大二极管和小二极管)、dcg像素(具有多个拐点的双重或多重的转换增益)或对数像素(具有精确对数特性的光伏模式)适用于在具有多个传输特性的“高动态范围”上检测强度。时间上的强度变化过程(对于在时间上与帧时间不相关的采样的两种实施类型)可以借助脉冲光测量像素(pwm门集成)或阵列相移读取方案(在时间上推导相邻地或彼此交织的行的时间上延迟的采样过程)实现。

由以上提及的可能性的排列组合得出数千种可能的变型方案。在此提出的方案能够实现检测五个局部的时间参数,并且在适当操控的情况下检测两个时间参数。

如此实现特别有利地读取宏单元或超级单元,使得同时地或几乎同时地读取宏单元或超级单元的所有传感器像素或信号。这些信号可以在重构单元或链路网络中进一步处理,而无需缓存。由此,可以显著降低用于信号重构的存储器容量的需求。

为了完全或部分地避免缓存,需要传感器阵列与模拟或数字的信号处理单元之间的并行通信。

在此,所示数量的四个附加像素1、2、3、4是示例性选择的。根据一种替代实施例,可以使用至少一个附加像素1、2、3、4,换言之,通常可以使用任意适当数量的附加像素1、2、3、4。

图4根据一种实施例示出光传感器模块300中的示例性信号处理环节的示意图。在此示出传感器层302(例如由n×m个基本单元构成的传感器阵列)以及具有信号处理单元402的信号处理层400,该信号处理单元由第一模块404和第二模块406构成,该第一模块用于模拟信号处理和模拟数字转换,该第二模块用于在宏单元的i×k个元素上进行传感器信号处理。在第三模块408中,在光传感器模块300外部进行图像数据再处理。如在下文中更详细描述的那样,信号处理装置400(也称为信息压缩单元)与传感器层302能够导电地连接。

如图4中所说明的分区尤其可以以堆叠晶片技术实现。

图5根据一种实施例示出光传感器模块300的横截面的示意图,所述光传感器模块例如是以上根据图3和图4所述的光传感器模块。在此示出传感器层302和信号处理层400,所述传感器层和信号处理层通过接口借助数千个连接结合成层复合物。

传感器层302形式的与信号处理层400形式的两个电路部分之间的连接例如通过晶片键合实现,该信号处理层用于模拟和数字信号预处理。尤其有利的是,针对每个阵列的列存在多个读取线路,这允许在传感器信号预处理中使沿着列检测的所有采样的光特征与信号重组单元分离地进行。

图6示出图3中的传感器单元304的示意图。传感器单元304实现成最小的五通道宏单元。

图7根据一种实施例示出一种传感器单元304的示意图。与图6不同,传感器单元304在此实现成最佳的五通道宏单元。在此示出两行的n个可寻址元素(3和4)、一行的n/2个可寻址的元素(5)以及两行的n个可寻址元素(1和2)。

通过巧妙地设计信号处理单元的操控电路,能够实现以下有利的寻址模式。

根据一种实施例,通道5被设计成亮度通道,其中,通道1至4例如能够实现:由具有一个无色像素的三个颜色单元或具有两个无色像素的两个颜色通道的组合进一步求取亮度。视传感器单元中的面积分布而定,中央通道5可以构造成5至10倍更灵敏的传感器像素。根据一种实施例,与置于角落中的附加像素相比,主像素5具有约五倍更大的面积。

根据另一实施例,附加像素1至4实施成主像素5的分割像素,所述分割像素例如在被单独读取之后通过浮动扩散再填充(umladen)主像素5。

由这些模拟互联得出的传感器信号使宏像素中包含的所有信号电荷被平均化,并且因此得到特别低噪声的信号。

例如可以使用互联的选项来在信号弱时放弃处理几个光特征,以便提高灵敏度。

图8示出光传感器模块300的示意图,所述光传感器模块例如是之前根据图3至图7所描述的光传感器模块。在此示出用于五通道布置的寻址模式。如在图8中可以看出的那样,传感器单元304的各个传感器像素以多个经编号的行和列布置。在此,每列的传感器像素通过分配给传感器像素的相应光特征的至少一个读取线路800电接通。为了便于看出,在图8中仅标记五个读取线路800,以便读取在列中彼此上下布置的传感器单元304中的每个的五个通道。

类似地,每行的各个传感器像素分别通过选择线路802电接通。选择线路802和读取线路800与信号处理单元连接,该信号处理单元构造用于通过选择线路802逐行地选择传感器像素并且通过相应的读取线路800读取和处理所选的传感器像素的相应传感器信号。

例如如此实现最小宏单元的寻址,使得在没有缓存的情况下直接处理传感器信号。

通过信号处理单元例如同时选择行4、5、6的选择线路802,由此,这些行的所有寻址的传感器单元304(为清楚起见,在图8中仅示例性地借助附图标记304标注一个3行的模块)驱动其相应的读取线路800。如果每个奇数列有两个读取线路800可供使用,则将最小宏单元的五个值分别通过五个读取线路800传输到信号处理单元中,并且在那里组合成复合图像信息。因此,由五个12位强度信号产生如下高动态的匹配于应用的信号值:该信号具有12位亮度信号、16位颜色信号和2位调制值或偏振值。这具有如下优点:在芯片输出端的传输带宽较小的情况下,存在更高的可用信号内容。

可选的后处理单元例如构造用于针对每个读取通道采取自身的增益调整或偏移/增益校正。

图9根据一种实施例示出光传感器模块300的或寻址的宏单元的示意图。光传感器模块300基本上相应于以上根据图3所描述的光传感器模块。在此示出具有所寻址的最小宏单元304的光传感器模块(之前也称为传感器单元)。根据一种实施例,单个单元1、2、3、4、5也称为传感器单元,5个单元的共同寻址称为宏单元,并且17个单元的互联称为超级单元(也称为最佳单元)。

图10根据一种实施例示出光传感器模块300的或寻址的宏单元的示意图。与图9不同,在此示出最佳的五通道宏单元304的寻址。宏单元304也称为超级单元,这意味着考虑直至17个单个单元。这种寻址更复杂一些,但允许在最小模糊圆的情况下完全重构四个特性通道和一个亮度通道。图10例如说明如图7中所示那样的最佳宏单元的寻址模式。在这种模式中,要么应非破坏电荷地读取传感器单元,要么应针对三行缓存数字化信号,以便能够针对每个宏图像点由17个采样值实现理想重构。

在图11中示出为此所需的寻址方案。

图11根据一种实施例示出光传感器模块300的或用于借助卫星单元的重叠寻址来寻址超级单元的寻址方案的示意图。与图8不同,图11中所示的用于五通道布置的寻址方案包括:五个具有低输入负载的选择线路802以及双重的八个读取线路800。为清楚起见,未示出所有的读取线路800。

在这种寻址中,相同类型的单元已经在读取线路上被混合,因为每列和每个单元类型仅有一个读取线路可供使用。由此导致高效的结构,但导致了受限的后处理可能性。

图12根据一种实施例示出光传感器模块300的示意图。与图11不同,图12示出一种用于五通道布置的寻址方案,该寻址方案具有三个选择线路802,所述选择线路分别寻址四簇(vierer-cluster)。

图13根据一种实施例示出光传感器模块300的示意图。在此,例如在时刻t0分析处理n个读取线路800中的17个读取线路。在时刻t0寻址的选择线路802并行地选择相应传感器单元的附加像素1、2、3、4。

图14根据一种实施例示出方法1400的流程图。例如可以在使用之前根据图4至13所描述的信号处理单元的情况下执行用于运行光传感器模块的方法1400,所述光传感器模块例如是之前根据图3至图13所描述的光传感器模块。在此,在步骤1410中,通过一个或多个选择线路逐行地选择以列和行布置的传感器单元的传感器像素。在步骤1420中,响应于步骤1410中的选择,通过一个或多个读取线路读取所选的传感器像素的传感器信号,通过所述读取线路,所选的传感器像素逐列地彼此连接。根据一种实施例,在此基本上同时读取不同的传感器像素(尤其宏单元或超级单元的传感器像素)的传感器信号。

图15根据一种实施例示出设备1500的示意图。之前根据图4至图14所描述的信号处理单元例如可以是设备1500的部件。设备1500包括选择单元1510,该选择单元构造用于通过输出相应的选择信号1515、通过相应的选择线路逐行地选择光传感器模块的待读取的传感器像素。读取单元1520构造用于响应于该选择、通过相应的读取线路读取所选的传感器像素的相应传感器信号1525。可选的生成单元1530构造用于在使用传感器信号1525的情况下生成图像信号1535,而不缓存传感器信号1525。

图16根据一种实施例示出方法1600的流程图。用于制造光传感器模块(例如之前根据图3至图15所描述的光传感器模块)的方法1600包括步骤1610,在该步骤中,由具有传感器单元的传感器层和具有传感器处理单元的信号处理层例如以堆叠晶片技术构成复合层。在此,传感器层的传感器单元的传感器像素以行和列彼此布置。此外,每列的传感器像素通过分别分配给不同光特征的至少一个光线路与信号处理单元能够导电地连接,并且每行的传感器像素通过至少一个选择线路与信号处理单元能够导电地连接。

在下文中,以另一表达方式再次描述在此提出的方案的不同实施例。

附加像素1至4中的一个例如具有对角线向右倾斜的极滤波器(pol-filter)。这种布置使得可以隐没平行于行车道表面或平行于垂直建筑物立面的偏振光。

根据另一实施例,传感器像素中的一个实施成模拟本地单元存储电容。由此,可以增大信号中的一个的动态范围。

传感器像素中的一个可以构造用于传递来自邻接传感器像素的信号。

信号处理单元例如构造用于读取相对于主像素5时移地读取附加像素1至4。时移例如用于确定调制“世界照明(weltbeleuchtung)”。为此,使用由两个时间偏移的采样时刻构成的重构亮度信号的差。

可选地,信号处理单元构造用于取决于情况地调整主像素5的阵列与附加像素1至4的阵列之间的相移,以便例如降低经调制的照明(电网频率50/60赫兹)的影响。

在此描述的方案具有以下优点。

对不同光特征(例如亮度、颜色或其他不可见的光谱通道或偏振)的探测在时间上并行地进行,并且该探测关于作为主像素5的大且灵敏的亮度传感器点空间对称地进行,并且该探测能够被分配给该主像素。因此,可以借助传感器单元检测直至五个特征。

通过例如在连接在前面的可编程链路网络中适当地组合光特征,该链路网络用于处理简单的宏单元信息和超级单元信息,可以减少从高分辨率的传感器单元传输至信号处理单元(例如连接在后面的计算机视觉处理装置)的数据量。

光特征的探测例如与强度信号对称地测量并且例如可以作为光分量被分配给中央强度值。在此,在适当分析处理的情况下,可以与宽频带信号相关地、由2至4个频带限界的光谱通道获得光谱分布。

通过在芯片上结构化的、像素选择性的偏振滤波器的适当分布,尤其可以从宽频带敏感的传感器像素中提取出光特征“偏振”,并且建立周围环境的偏振地图。这对于识别偏振面(例如湿的行车道)是特别有利的。

如果后续的传输通道的数据速率是受限的,则根据图4描述的对不同光信号特征的测量数据的组合或加权和减少是有意义的。

通常,数字/模拟转换的数据速率将会相应于特征信号乘以光传感器的数量。然而现在也能够实现,在确定的应用中压缩地存储几个光特征并且因此将多个光传感器测量转换成光信号的采样点。

在此,例如可能的是,以信息理论上恒定的信噪比来压缩光强度。

然而,也可能的是,将不同的12位频谱通道的三个光传感器中的颜色信息编码成两个分别8位宽的通道。

因此,根据信号质量和取决于应用的要求能够实现,借助简单的算术运算显著压缩靠近传感器的带宽。

此外,其他实施例是:使用对数光传感器来调整线性光传感器的曝光时间,并且以低的位分辨率由几个偏振传感器计算琼斯或斯托克斯参数,计算特定的光谱通道——例如用提取于植物特定特征的叶绿素探测(几位可能是足够的,例如对于植物的直至十个检测阶段而言两至三位是足够的),计算红外通道或紫外通道以及计算颜色。

这里的核心思想仍然是:在考虑应用要求和不同光特征传感器的信息内容的情况下,尽可能基于传感器地降低数据速率。在此,降低针对每个图像点的数据速率(例如从针对rggb的3×12位降低到针对强度、u、v的12+8+8位),而且减少用于反映空间分辨信息而所需的图像点的数量。

为此,视实施例而定,光传感器模块300按如下方式实现。

光传感器模块(也称为图像传感器阵列)具有多个单个传感器元件(之前称为传感器像素),这些单个传感器元件构造用于测量不同的光特征。光传感器模块例如实施成五通道阵列,该五通道阵列具有关于亮度通道对称布置的四个传感器像素。在此,较小一些的传感器像素嵌入在较大的传感器像素之间。这些传感器像素能够单独地寻址或者与中央传感器像素同时地寻址。该传感器像素可以具有不同实施的像素传输特性。较大传感器像素例如对数地或准对数地设计用于强度测量,并且较小的传感器像素例如线性地设计用于颜色测量,反之亦然。宏像素数据能够被并行地读取用于直接处理,而无需缓存存储器。光传感器模块尤其以堆叠晶片技术构造,以便能够实现将各个传感器像素的传感器信号直接处理成经压缩的复合信息,例如,像素具有12位亮度、14位颜色信息、2位偏振信息、3位红外或紫外分量和1位调制指数,并且这在光学空间分辨率相同的情况下用于亮度和其他光学特性。

因此,在此提出的方案能够通过传感器单元304的相应布置和针对光特征的符合重构的采样的相应信号预处理来实现可扩展的分辨率控制和各种光特的空间分辨检测,所述光特征例如是不同波长或颜色、极化、(在超过六十年的动态范围上)线性和对数的强度或时间上的强度变化过程形式的光子能量。在此,信号处理单元402尤其也用于信号压缩。

在此,如此选择采样点的分布,使得在尽可能小的光学模糊圆中实现多个光特征的采样,这些光特征可以被分配给输出像点。

此外,在此描述的方案能够实现宏像素304(之前也称为宏单元或超级单元)的可变寻址,以便处理具有不同优化目标的信号组,所述优化目标例如是高分辨率亮度信号或多个光学特征的采样一致性重构。

通过在此描述的方案,例如可以在面积、带宽和制造开销的方面特别高效地实现用于机器视觉的传感器,该传感器将满足空间分辨方面的要求。

图17示出常规4通道阵列中的最小滤波器核心1700的示意图,用于以4r的延伸正确采样四通道阵列布置。

图18示出成像光学器件的最小模糊圆1800的示意图,借助该光学系统可以保持所有通道的采样条件。

图17和18示出不根据本发明的布置中的(不利的)关系。使用根据在此所述方案所描述的结构导致,在总面积较小的情况下得到类似的或改善的质量。

以下描述其他示例性的传感器寻址结构和方法,由此在不同的传感器网格布置的情况下实现了传感器像素组的可变组合。在持续运行中,这种分组和基础后处理能够被简单地再配置,使得视情况而定,可以产生不同的采样特性。通过传感器寻址和经匹配地的读取,提供了带有匹配于情况的控制和信号预处理的图像传感器。通过匹配传感器的采样特性,可以执行将采样的单个信号压缩成如下信息:所述信息可以在序列计算器中以较小的带宽被处理。

寻址结构尤其能够实现:使传感器单元与不同的集成阶段组和读取阶段组互联,而且由相同或不同的通道(具有不同光信息的单元,例如光子能量、偏振、集成相位层等)构成的传感器像素互联用于信号改善,或者由信号组合组成新的复合信息。

这些新的复合信息尤其是能够在后处理阶段以较低数据带宽进行传输和处理的混合信息。

在此,寻址的实施方案匹配于所基于的网格形状(正交形状、六边形形状、三角形形状、菱形形状)以及可区分的传感器通道的数量。

在此,可以以不同方式实现同时进行读取的多个传感器单元的互联:

·模拟地在传感器或宏单元中(通过将传感器单元直接彼此连接的可寻址的传输门);

·模拟地在传感器或宏单元中(通过传输门的寻址,该传输们能够实现将电荷从传感器单元运输到由多个单元馈电的电容上);

·在读取线路上(其方式是:将单元的开关晶体管输出放大器接入到共同的读取线路上);

·模拟地在采样和保持阶段;

·数字地在数字计算器中,该计算器获得宏单元的信号作为输入并且实施可编程/可选择的算术运算。

根据5通道传感器300来描述接下来的传感器寻址结构和操控/读取示例。然而,所述传感器寻址结构和操控/读取示例能够容易地转移到其他的传感器类型和结构上。

图3中示出的5通道设计300是传感器单元的重复图案,该重复图案允许多达5个个体化不同设计的传感器像素类型。以下可能性及其组合例如可以考虑作为传感器像素类型:

1.大的中央传感器像素(在图6或图7中的5),例如可以是以下类型:

a)hdr线性亮度=例如具有大全阱的完整pin二极管;

b)分割线性亮度=通过开关分离的2个部分二极管或具有连接的传输电容的1个二极管;

c)对数亮度=光伏模块中的单元;

d)线性/对数亮度=具有可切换状态的二极管(参见nit)

2.外围的“卫星传感器像素”或附加像素(图6或图7中的1、2、3、

4)可以具有以下类型:

a)rbgc:红色、绿色、蓝色、无色;

b)rgcnir:红色、绿色、近红外地、无色;

c)rbcpolhcpolv:红色、绿色、水平偏振无色、竖直偏振无色

d)由之前提到的单元类型或其衍生物构成的各个排列。

在图6中示出的传感器单元304(该传感器单元相应于图3中所示的传感器的传感器布置的区段)称为宏单元。图7中所示的传感器单元称为超级单元。在观察图3中的整个传感器布置的情况下,宏单元和超级单元都以有规律的方式重复。宏单元具有五个不同的传感器像素。超级单元由总共17个传感器像素构成。如果传感器像素如此设计,使得所述传感器像素允许对居中布置的单元5的特征(例如亮度信息)进行重构,则实现了低至宏单元大小的1.5倍的空间频率的采样一致性重构。

为了读取5通道传感器300,考虑多种寻址类型。

在图19中示出如下寻址模式:在该寻址模式中,依次地/时间偏移地分别通过三个寻址线路1901检测各个宏单元,所述寻址线路竖直地寻址宏单元的三个部分区域。对于最上面的宏单元1902来说,这相应于最上面的三行。最简单的寻址是线性累进寻址,在该示例中,这种寻址检测两个或一个单元类型。

所寻址的传感器像素的数量根据区域而变化。行1和行3寻址的传感器像素分别是行2的两倍。这种模式在每3行之后重复,即以3为模。

在读取三行之后,可以开始计算由宏单元的五个数值构成的组合。在五行之后,可以将复数值的计算扩展到超级单元环境。在这种模式中,针对每行和每个宏单元同时交替地需要一个或两个读取线路,以便将单元信息传输到信号处理单元中。对于行1、3、4、6、7、9需要两个读取线路,并且对于行2、5、8等需要一个读取线路。

在图20中示出另一寻址方案,在该寻址方案中,每个宏单元同时通过三个寻址线路2001进行寻址。在此,每个寻址线路检测宏单元的三个竖直部分区域中的一个,这三个部分区域在图20中相应于行4至6。

针对每个宏单元,通过五个并联的读取线路2002进行读取,以便能够分离宏单元的处于一列中的单元1、2、3、4、5。寻址以3为模每三行进行跳跃。宏单元的五个单个单元1、2、3、4、5的数据通过五个并行线路2002传递至信号处理单元。可以直接对由宏单元的五个数值构成的组合进行计算,而无需对所读取的数据进行缓存。

图21示出另一寻址方案,在该寻址方案中,每个超级单元同时通过五个地址线路2101进行寻址。在此,每个寻址线路检测宏单元中的五个部分区域/传感器像素中的一个,并且分别检测处于该宏单元上方和下方的相邻宏单元中的两个部分区域/传感器像素。在图21中,这是行3至7。

在寻址时,分别激活三个新的寻址线路,并且保留两个已经寻址的行。在图21中,超级单元的寻址围绕行5(分别在行5上方两行和行5下方两行)进行寻址。为了借助超级单元寻址接下来的行,省去对行3至行5的选择,并且添加行8至行10的寻址。

针对每个超级单元,通过九个读取线路读取超级单元的值,所述读取线路读取行3至7中的前三列的黑色标记的传感器像素(图21)。为了计算超级单元组合,需要在相同的行中分别包含两个邻接的相邻单元中的四个线路。为此需要用于存储(数字信号)或缓冲(在模拟信号情况下)的附加结构,以便提供两个行的重叠信号分量。由超级单元的各个传感器像素的17个量值的组合实现超级单元内容的计算。

图22中示出另一寻址方案,在该寻址方案中,时间偏移地读取定义的像素组和/或单元组合。在此,整个图像传感器或所有可用的传感器像素例如可以划分成两个或多个像素组或单元组合。有利的是:像素组或单元组可以检测所探测到的辐射的相同特征(例如亮度值)。这可以通过相应地选择各个传感器像素来实现。

在这种所谓的“在相移模式中寻址”的情况下,分别通过寻址达到在相位中组合的像素组或传感器单元。在此有利的是,分别对称地布置经寻址的像素组或传感器单元。对于这种寻址方案,5通道传感器300划分成两个传感器单元组,在这种情况下分别是在图22a)和b)中黑色标记的“相位1”单元2201和“相位2”单元2202。

在“相位1”单元2201与“相位2”单元2202的寻址之间,寻址时钟的时钟例如偏移可编程的时间t延时,该时间的大小例如可以在几个行时间(读取一行的时间)直至几百个行时间的范围内。由此产生如下信号:这些信号覆盖相同的宏单元区域但是在不同时刻被采样。

因为视各个传感器像素的设计而定,例如可以由两个传感器单元组求取亮度信号,所以能够实现产生时间导数信号,该时间导数信号不取决于传感器300的帧速率,而是取决于延时环节,该延时环节确定处于“相位1”单元2201与“相位2”单元2202之间的时间t延时。

也可能的是,在传感器300运行期间改变时间t延时,从而在“相位1”单元2201与“相位2”单元2202之间存在不同的延时。由此,例如可以确保检测到脉冲式的光标记。在没有时间延时采样的情况下,所述光标记由于图像传感器300的受限的读取速度或传感器采样与光源频率之间的不利的相位位置可能无法被检测到。

在图23中示出另一寻址方案,在该寻址方案中,将两个或多个传感器像素的寻址线路彼此电连接。

为此,在图23中针对每个宏单元,分别将传感器像素1的传感器像素5的寻址线路彼此连接。所组合的传感器像素称为分割像素,在这种实施例中,所述分割像素与各个传感器像素和/或传感器单元组合。如果从剩余的行元素的寻址中去除这些硬连线的(festverdrahtet)分割像素,则对于高动态传感器单元与简单单元和/或传感器像素或其信号的结合来说,分割像素元件或借助分割像素读取的信号能够被组合。

在图24中示出可以在硬件侧实现寻址和读取方案的示例性布置。优选地,在此示出的摄像机的机械构件可以借助“堆叠晶片”技术实现。

该结构由由传感器单元2402构成的阵列组成,所述传感器单元由可编程的地址复用器2401所寻址。借助可编程的地址复用器2401可以从所有存在的传感器像素中选择出任意的传感器像素,并且在不同时刻对这些传感器像素进行寻址。被寻址的传感器像素或传感器单元、以及对这些传感器像素或传感器单元进行寻址的时间都可以任意地改变和/或被编程。借助读取线路复用器2403,在确定的时间读取确定的传感器像素或传感器单元,并且将所读取的信号分配到任意数量的信号预处理网络和/或信号预处理单元2404上。这些信号预处理网络2404可以是可编程的或可训练的。也可以给这些多个信号预处理网络2404相继地或并行于读取线路复用器2403地提供所读取的信号和/或信息。借助这些信号预处理网络2404,能够处理简单的宏单元信息和超级单元信息。通过这些信号预处理网络2404,能够产生在时间上和/或在空间上滤波的并且在应用方面组合的低带宽信号。

优选地,寻址单元2401的复用器实施成可加载的移位寄存器。例如可以借助如下模式加载这些移位寄存器:该模式接下来将会循环地进行,直至需要和/或加载其他的寻址模式。寻址2401和信号预处理单元2404通过同样集成在一起的且未示出的微控制器进行控制。

也可以在信号预处理单元2404中就已经处理和产生混合信息(例如各个信道中的集成混合信号),例如:

(亮度)+(极滤波的亮度)或

(亮度)-(极滤波的亮度),或

(透明通道中的亮度(图6中的传感器像素5))-(所求取的由多个光谱通道的总和构成的亮度(图6中的传感器像素1、2、3、4))。

通过使用所描述的寻址方案和读取方案得出多种优点。基础信号可以匹配于情况地并且直接地在传感器中进行压缩,所述基础信号可以大量地并且以高采样速率产生,从而使信息内容匹配于相应的情况和识别任务,并且可以降低后处理单元的数据速率。此外,也能够实现对采样信号进行时间上的和空间上的低通滤波。此外,借助所述方案和所属结构可以产生与后续分类过程具有更高相关性的组合信号。此外,所提出的结构在信号预处理单元2404中包含“可编程的、可训练的或进行学习的”元件,所述元件匹配于宏单元或超级单元的信号的预处理。

通过结构、寻址方案和读取方案产生的另一重要优点是在产生点/在信号处理单元2404中压缩信息。由此,可以显著降低传输速率。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1