专利名称：用于实现来自彩色镶嵌成像器的全色响应的方法及设备的制作方法
技术领域：
本发明涉及彩色成像器在机器视觉系统中的使用。更特定来说，本发明涉及使用彩色成像 器来形成供机器视觉处理的单色图像。
背景技术：
传统上，此项技术中由其基础技术(即，用于电荷耦合装置的CXD或用于互补金属 氧化物半导体的CMOS)指代的焦点平面阵列固态成像器的市场一直以来受以CCD或CMOS 传感器作为主要组件的摄像机的市场的推动。通常，用于播音室广播、电子新闻采集(ENG) 及消费者摄录机(其中摄像机及走带机构或磁盘驱动记录器集成到单个小型封装中)的摄 像机全部提供彩色信号。此信号通常通过两种方法中的任一种产生。第一种方法通常应用于专业级装备及较高级消费者装备中。对于此方法，传入图 像穿过视频透镜，且接着穿过双色棱镜组。所述双色棱镜组是三个棱镜的组合件，其中的两 个棱镜具有双色(色带选择)涂层。第一棱镜将具有将一个色带(通常是蓝色)反射到第 一 CCD或类似成像器且通过剩余色彩的表面。第二棱镜将具有将第二色带(通常是绿色) 反射到第二 CCD或类似成像器的表面。第三棱镜将接受信号的平衡(在此情况下是红色色 带)，且将其透射到第三CXD或类似成像器。如果第三棱镜上存在涂层，那么所述涂层通常 是用以拒绝CCD可能对其敏感且被认为是不合需要的带外光(举例来说，红外光)的涂层。 用以拒绝红外(IR)光的此涂层可替代地放置于棱镜组的前部处，或并入到保护窗口中或 并入到透镜中。注意，在此第一方法中，CCD或类似传感器中的每一者部署为其全色彩光谱 响应完好，因为色彩分离是在双色棱镜组中完成。此外，所述传感器中的每一者以其全固有 分辨率获取图像数据，从而产生表示来自所成像场景的三种色彩的三个全分辨率图像。第二种方法通常用于较低级装备(例如，成本较低的ENG系统及/或极小型ENG 系统)中及大多数消费者级摄录机系统中。此处，使用单个CCD或类似成像器。彩色镶嵌 滤光器与固态成像器集成在一起，借此通过对应色带滤光器覆盖成像器阵列的每一图片元 素(像素)。图1显示彩色镶嵌滤光器13的图示，其显示示范性红色12、绿色14及蓝色 16滤色器元件。通常，一半的像素将与主要透射绿色图像分量的色带滤光器相关联，四分 之一的像素将与主要透射蓝色图像分量的色带滤光器相关联，且四分之一的像素将与主要 透射红色图像分量的色带滤光器相关联。此类型的滤光器有时称作拜耳(Bayer)滤光器。 作为有意折中，此系统偏向绿色光谱以最好地满足人类观察者。人类对绿色光最为敏感但 对蓝色光及红色光较不敏感。绿色分量携载最多人类对其尤其敏感的关于人脸的信息。注 意，在此方法中，彩色镶嵌滤光器与固态成像器不可分离，因为所述滤光器在制造过程期间 与传感器中的离散感光元件精确对准，且必须保持对准以适当地履行性能。图2显示附接 有彩色镶嵌滤光器的现有技术固态视频传感器的示意图，其显示附接有彩色镶嵌滤光器22 的传感器20、任选IR阻挡滤光器24、光学组合件26及通过电缆28附接到传感器的控制器 30。
包含机器视觉的二级产业与广播、ENG及消费者摄录机产业相比是相对小的视频 传感器及相机用户。因此，制造商通常不特定针对这些二级市场制造传感器且因此这些应 用必须依赖针对其它用途所制造的传感器。机器视觉应用为获得良好结果而常常需要高速 处理及高敏感度、高分辨率和低成本传感器。出于这些原因及其它原因，机器视觉应用通常 使用单色传感器，其中来自所成像景象的图像数据以灰色阴影渲染。为实现单色成像，机器 视觉应用有时使用经开发用于三通道双色棱镜组专业装备中的传感器。此因为不需要处理 色彩信息而产生高速处理，因为整个传感器可用于感测宽带照射而产生高敏感度且因为使 用所有图片元素或像素而产生高分辨率。然而，此并非是低成本解决方案，因为这些传感器 成本通常比大量生产的彩色镶嵌传感器高得多。彩色镶嵌传感器因其低成本而可期望用于机器视觉应用。作为永久附接到滤色器 的结果，这些传感器不像单色传感器性能那么好，通常需要额外处理来消除色彩信息，由此 形成单色图像。由于这些相机经设计以产生色彩信息，因此通常将来自这些传感器的图像 数据作为三个单独(红色、绿色及蓝色)图像传输或以许多可用色彩格式中的一者对其进 行编码。此处理的一个结果是降低分辨率，因为必须组合空间上分离的红色、绿色及蓝色像 素以形成单个单色像素，由此降低空间分辨率。另外，滤色器降低每一像素敏感度，因此需 要对场景施加更长的曝光时间及/或更多的光能，其中的任一者均是不期望的。固态成像器对IR的敏感度众所周知。已开发了用于同时进行可见光及红外成 像的方法及设备。举例来说，美国专利第3，806，633号多光谱数据传感器及显示系统 (Multispectral Data Sensor and Display System)论述了一种具有光学器件的双重传 感器布置以产生表现为可见光图像记录的IR图像。美国专利第4，651，001号具有堆叠 式单元结构的可见光红外成像装置(Visible Infrared Imaging Device with Stacked CellStructure)试图使用新型传感器架构产生同时的可见光图像与红外图像。美国专利 第5，555，464号用于CCD相机的红色光/近红外滤光(Red/Near-Infrared Filtering for CCDCameras)利用固态传感器获取可见光及红外数据的能力，其中使用新型镶嵌滤色器代 替标准滤光器以不仅接纳可见光而且接纳IR光。所有这些方法除产生IR图像外还产生彩 色图像或产生IR数据或IR数据与可见光数据组合的假彩色图像，所有这些情况均倾向于 对机器视觉目标(即廉价、快速、高分辨率处理)产生不利影响。CCD、CMOS及类似传感器现在存在其它主要市场，例如使用彩色镶嵌滤光器类型 的彩色传感器的数码相机及蜂窝式移动电话。这些开发已导致可应用于机器视觉系统的 成本大幅降低的传感器的可用性且由此降低此类系统的成本。美国专利第7，235，775号 用于处理红外及可见光谱中的发射的红外成像设备(Infrared ImagingApparatus for Processing Emissions in Infrared and Visible Spectrum)中显不一禾中使用这些低成本 传感器来使IR数据成像的系统。其中所描述的系统从传感器移除IR滤光器，用仅通过IR 数据的滤光器代替所述IR滤光器。接着，所述系统依赖可见光彩色镶嵌滤光器来在IR响 应中形成单独三个峰且由此形成IR波长区域中的三个光谱带的假彩色图像。此方法不能 通过使用彩色镶嵌传感器获取IR数据来解决所述主要问题中的两个问题。首先，所述系统 必须处理三个单独图像，此并非是优于标准可见光处理的改进。其次，所获取的三个假彩色 图像相对于传感器的潜在分辨率具有降低的分辨率，因为其在空间上被多路复用。因此，显然由于上述限制彩色镶嵌传感器已不符合与机器视觉相关联的特别要求。因此，仍需要成本降低的传感器，所述传感器可通过获得来自经彩色镶嵌滤光的固态成 像器的全色响应而应用于机器视觉应用。
发明内容
本发明是一种用于模拟来自彩色镶嵌视频传感器的全色响应的方法及设备。在本 发明的一个实施例中，检查描绘多色视频传感器随波长而变的响应的一组色度响应曲线， 从而识别所述色度响应曲线的其中多色视频传感器对每一波长具有大致一致的响应的区 域。图3是显示典型彩色镶嵌滤光器的光谱响应的曲线图40。此曲线图显示蓝色滤光器 42、绿色滤光器44及红色滤光器36的量子效率百分比随波长而变的响应。注意所有三个 滤光器在光谱的IR部分中的一致响应。此波长区域是在IR波长带中，在从约700纳米到 1000纳米的波长中，中心为约850纳米。在市场上可购得的相机中，此波长区域通常被阻 挡以防止IR辐射到达传感器且不利地影响图像。本发明移除此IR滤光器且任选地用阻挡 可见光且通过IR辐射的滤光器代替所述IR滤光器。在本发明中，从此波长区域选择一或 多个波长且用所识别区域内的选定波长照射将通过多色视频传感器成像的成像场景，由此 从与所述成像场景相关的传感器获取IR数据。图4中显示根据本发明构造的系统的示意 图，其显示附接有彩色镶嵌滤光器52的传感器50、任选IR通过滤光器54、光学组合件56、 将传感器50连接到控制器60的电缆58以及照射源62，照射源62的电缆64操作地将照射 源62连接到控制器60。
图1是具有镶嵌滤光器的现有技术图像传感器的示意2是现有技术彩色镶嵌固态相机的示意图。图3是显示镶嵌滤光器的三种色彩的光谱响应的曲线4是使用彩色镶嵌传感器的单色机器视觉系统的示意图
具体实施例方式图1显示与(XD或CMOS固态成像器对准的彩色镶嵌滤光器10的标准拜耳色块。 其指示示范性红色12、绿色14及蓝色16滤光器元素。将此类型的滤光器适当应用于固态 成像传感器需要所述滤光器的每一色彩区段与传感器中的单个有效图片元素对准。此使得 每一传感器元素或像素将仅暴露于一种经过滤的色彩。此需要所述滤光器精密地与所述传 感器对准并永久附接到所述传感器。通过分析图示，显而易见，对于借助绿色照射体的帮助 形成的图像来说，所述图像将以实质上等效多色传感器的二分之一的分辨率形成，且对于 蓝色或红色照射体来说，所得图像将是等效多色成像器的分辨率的四分之一。对于机器视觉来说，常见做法是控制照射器，以获得光的最优几何图形及光的定 时(频闪或闪光应用)。用于这些应用的大多数实际照射体常常是通常是波长仅跨越数纳 米的准单色发光二极管(LED)照明设备。虽然白色LED可用于至少两种不同技术(三色及 次级发射类型)中，但任一者均不可用于各种封装类型及样式的更多已确立单色LED中。此 外，即使合适的宽带照射可用，但情况常常是研究的是对象的形式而不是对象的色彩，且如 果呈现色彩信息(例如，通过使用彩色成像器及宽带照射体)，那么其可呈现计算时必须过滤掉或忽略的伪信息。图2显示包含附接有彩色镶嵌滤光器22的固态传感器20的典型现有技术彩色镶 嵌固态视频系统。光经由光学组合件26进入所述系统；穿过任选IR滤光器24以阻挡IR 光到达所述传感器，且接着穿过彩色镶嵌滤光器22到达固态传感器20。由传感器20形成 的图像数据经由电缆28传输到控制器30供处理。大多数但并非所有彩色镶嵌成像器含有 IR滤光器。IR滤光器的目的是在场景中过滤掉来自IR辐射的将使成像器的色彩响应失真 的外来信息。对于大多数商业应用来说，目标是准确的色彩保真度，而不是最大敏感度或分 辨率。由于IR滤光器并不需要永久精确对准，因此其通常在彩色镶嵌滤光器22的顶部上 附接到传感器20的外表面或包含于光学组合件中。不管IR滤光器位于系统中何处，通常 可移除所述IR滤光器且视需要用另一类型的滤光器代替所述IR滤光器。图3是显示典型彩色镶嵌滤光器的光谱响应的曲线图40。此曲线图显示蓝色滤 光器42、绿色滤光器44及红色滤光器36的量子效率百分比随波长而变的响应。通过分析 此图像可看出所有带在红外区域中均具有“泄漏”。通常，借助拒绝此“带外”辐射的光学 滤光器来解决此泄漏。然而，本发明利用此泄漏。在优选实施例中，在最高点及最接近匹配 的响应度处选择照射体。此匹配的响应度通常出现在700纳米与1000纳米之间。在本发 明的一个实施例中，以850纳米照射将导致大致全色响应。还发生以下情况此色彩是常见 LED类型且可容易地用于各种各样的封装及大小中。此类装置通常基于半导体材料砷化铝 镓，其具有对应于以850纳米或接近850纳米发射的带隙。图4显示根据本发明构造的系统。本发明实施例使用市场上可购得的彩色镶嵌成 像器50或基于附接有彩色镶嵌滤光器52的彩色镶嵌成像器50的相机。近全色响应是借助 所述成像器或相机通过移除IR阻挡滤光器及任选地用通过选定波长的IR辐射且阻挡可见 光的滤光器54代替所述IR阻挡滤光器来实现。在优选实施例中，使用特定波长范围的准 单色照射器62，具体来说是对应于其中所有三个色彩通道大致相等的成像器的光谱响应的 波长范围或其子集。在此情况下，所述波长范围在700纳米与1000纳米之间。特定来说， 使用约850纳米的波长。在优选实施例中，在其中对所有三个色彩通道的响应大致相等的 范围内的相对响应度峰值处选择准单色照射器。在控制器60的控制下，经由电缆64连接 到控制器60的照射器62在适当时间且借助一或多个选定波长照射场景(未显示)。所述 场景经由光学组合件56成像，所述光学组合件56包括一或多个透镜，所述透镜操作以聚焦 由照射器62发射且由场景(未显示)反射且成像于传感器50上、穿过彩色镶嵌滤光器52 及任选IR通过滤光器54的IR辐射。由传感器50如此获取的图像数据经由电缆58传输 到控制器60供进一步处理。在本发明的实施例中，初始处理涉及从通过传感器传输到控制器的三个伪彩色图 像形成单个单色图像。注意，可以各种方式对色彩信息进行编码。最简单的方式是RGB格 式，其中传输与其传感器区的减小取样相比具有减小分辨率的三个单独图像。其它编码 (例如，YUV或NTSC)也是可行的且将与此方法一起使用，尽管可能降低空间分辨率或动态 范围。此初始处理通过在具有与原始实际大小传感器的相同维度的2D阵列中填充来自三 个伪彩色图像的数据来形成单色图像。根据从原始传感器上获取特定像素的位置将来自 “红色”、“蓝色”及“绿色”图像的数据放置于单色图像阵列中，由此形成与原始传感器具有 相同固有分辨率的单色图像。此外，由于用选定为由所有三种色彩同等透射的IR光照射场
6景，因此所述系统对光的敏感度最大化。本发明的另一实施例进一步处理数据以移除彩色镶嵌传感器对经过滤的IR数据 的响应中的任何不一致。可设想，彩色镶嵌滤光器/传感器组合中的不同色彩可对IR辐射 产生不同响应。由于本发明取决于具有来自传感器的一致响应而不考虑滤光器，因此响应 中的此差异可通过借助选定IR光波长测量传感器的动态范围上的响应且基于所述响应计 算校正因数来消除。这些因数可加或可乘且由控制器应用于每一像素，此取决于其是通过 哪一滤色器获取的，以消除或减小彩色镶嵌滤光器的各种色彩之间的响应不一致性。所属领域的技术人员将显而易见，在不背离本发明的基本原理的情况下可对本发 明的上述实施例的细节作出许多改变。因此，本发明的范围应仅由所附权利要求书确定。
权利要求
一种模拟来自多色视频传感器的全色响应的经改进方法，所述多色视频传感器具有色度响应曲线且包含滤色器及可能的红外滤光器，所述彩色视频传感器操作以使成像场景成像且获取图像数据，所述数据被传输到控制器，所述改进包括识别所述色度响应曲线的其中所述多色视频传感器对每一波长具有大致一致的响应的区域；借助所述所识别区域内的波长照射所述多色视频传感器的所述成像场景及；从所述多色视频传感器获取与所述成像场景相关的所述数据，将所述所获取的数据传输到所述控制器并将所述数据组合成单色图像。
2.根据权利要求1所述的方法，其进一步包括如果在所述大致一致的响应区域上存在任何差异，那么确定响应中的差异，及；基于所述所确定的差异将校正应用于所述数据。
3.根据权利要求1所述的方法，其中所述滤色器是具有红色、绿色及蓝色滤光器组件 的拜耳滤光器。
4.根据权利要求1所述的方法，其中通过从所述彩色视频传感器移除所述红外滤光器 来改进所述对每一波长的大致一致响应。
5.根据权利要求1所述的方法，其中通过将可见光滤光器添加到所述彩色视频传感器 来改进所述大致一致的响应。
6.根据权利要求1所述的方法，其中所述照射包含在约700纳米到1000纳米之间的波长。
7.根据权利要求1所述的方法，其中所述照射包含约850纳米的波长。
8.一种用于模拟来自多色视频传感器的全色响应的经改进系统，所述多色视频传感器 包含具有色度响应曲线的滤色器且其可具有相关联的红外滤光器，所述彩色视频传感器操 作以使成像场景成像且获取图像数据，及控制器，所述控制器操作以处理所述数据，所述改 进包括与所述色度响应曲线的大致一致响应区域匹配的照射源。
9.根据权利要求8所述的系统，其中所述滤色器是具有红色、绿色及蓝色滤光器组件 的拜耳滤光器。
10.根据权利要求8所述的系统，其中所述对每一波长的大致一致响应通过从所述彩 色视频传感器移除所述红外滤光器来改进。
11.根据权利要求8所述的系统，其中所述对每一波长的大致一致响应通过将可见光 滤光器添加到所述彩色视频传感器来改进。
12.根据权利要求8所述的系统，其中所述照射源包含在约700纳米到1000纳米之间 的波长。
13.根据权利要求8所述的系统，其中所述照射源包含约850纳米的波长。
全文摘要
本发明呈现一种用于实现来自低成本彩色成像器的单色响应的方法及设备。在此方法及设备中，通过固态传感器利用对红外(IR)光的带外响应来产生单色图像。所述单色图像是通过从所述传感器移除IR阻挡滤光器并借助来自LED的IR辐射照射将要成像的场景而产生。从所述LED发射的波长与对应于其中所述传感器对IR光的响应相对均衡的区域的一或多个波长匹配，尽管彩色镶嵌滤光器永久地附接到所述传感器。
文档编号H04N9/70GK101878653SQ200880118235
公开日2010年11月3日 申请日期2008年12月5日 优先权日2007年12月5日
发明者利奥·鲍德温 申请人:电子科学工业有限公司