利用坏像素检测和校正的红外成像器非均匀性校正的制作方法

文档序号:12515547阅读:439来源:国知局

本发明总体上涉及诸如数字摄像机之类的数字成像器的技术领域,并且更具体而言,涉及用于汽车视觉系统(例如,汽车夜视系统)的摄像机头。



背景技术:

数字摄像机越来越多地用于驾驶员辅助系统或车辆安全系统中的机动车辆中。摄像机例如用于监测车辆的内部。可以使用通过这些内部摄像机所获得的信息,以便收集关于座椅占用的信息、用于安全带提醒系统或气囊展开系统的信息。内部摄像机通常还可以用于驾驶员状态监测,并且特别是用于驾驶员的生命体征监测,这种用途随着诸如紧急制动、车道保持和电子呼叫系统之类的高级驾驶员辅助系统的普及而增加,其可以通过考虑来自驾驶员状态和行为的输入而被增强。此外,这样的乘员监测设备也可以实现多种舒适功能。

在其它应用中,数字摄像机用于监测车辆周围环境,以便在驾驶员停放他的车辆时辅助驾驶员,或者以便识别和定位车辆轨迹附近的物体、动物或人。后者系统的一个示例是例如汽车夜视系统,其辅助驾驶员检测黑暗中的障碍物,特别是人。

诸如夜视摄像机系统之类的摄像机系统包括摄像机头和通过数据链路连接被连接到摄像机头的主处理器单元,该摄像机头包括实际成像器。摄像机头在车辆中被布置在适当的位置,以使得感兴趣的区域位于成像器的视场内。对于夜视系统,摄像机头可以例如布置在车辆的后视镜单元中。

例如在夜视系统中使用的红外成像器在像素域上具有非均匀像素偏移误差分布,并且同时具有卡在基本上恒定的强度水平的多个坏像素。在成像器的寿命期间,可能出现新的死像素。为了实现包含红外成像器的夜视摄像机的最佳用户可接受性,必须实施无快门非均匀性校正以及新形成的死像素的检测和校正。

为了补偿像素误差,现有技术成像器首先使用死像素处理,然后使用非均匀性校正。两个操作都需要实施空间中值滤波器,但是以不同级别(level)的视频流。

文献“A new algorithm for detecting and correcting bad pixels in infrared images”;Andrés David Restrepo Girón and Humberto Loaiza Correa; VOL.30No.2,AUGUST 2010(197-207)说明了例如死像素的检测和校正,这两个操作主要基于使用当前处理的像素的邻域的中值。

文献“Scene-Based Nonuniformity Correction Technique for Focal-Plane Arrays Using Readout Architecture”;Balaji Narayanan,Russell C.Hardie and Robert A.Muse;Applied Optics,Vol.44,Issue 17,pp.3482-3491(2005)说明了基于读出放大器非均匀性校正的非均匀性校正,随后是像素级非均匀性校正。像素级非均匀性校正主要基于使用当前处理的像素的邻域的中值。



技术实现要素:

技术问题

本发明的一个目的是提供一种更具成本效益的成像器。该目的通过根据权利要求1所述的本发明来实现。

发明概述

一种摄像机系统,包括:用于记录图像数据并将所述图像数据转换为数字图像信号的至少一个成像器单元;以及视频处理单元,该视频处理单元可操作地连接到所述至少一个成像器单元,该视频处理单元用于从所述至少一个成像器单元接收所述数字图像信号,并且用于生成经校正的视频输出信号。视频处理单元包括死像素校正单元和随后的非均匀偏移误差校正单元。死像素校正单元被配置用于校正经确认的死像素(即,来自成像器单元的已知卡在基本上恒定水平的那些像素)的信号。在与死像素校正单元相关联的经确认的死像素的图中参考这些经确认的死像素。经确认的死像素的图例如最初在成像器的生产结束时生成,并被存储在非易失性存储器中。非均匀偏移误差校正单元被配置用于校正所述数字图像信号中的读出放大器非均匀性和像素级非均匀性。根据本发明,所述非均匀偏移误差校正单元还被配置用于与所述像素级非均匀性校正同时进行新的死像素检测。

因此,本发明的主要特征在于对计算上开销大的处理部分(中值滤波器)的输出的双重使用。该输出用于剩余像素偏移非均匀性校正并且同时用于新的死像素检测。

在本发明的优选实施例中,所述非均匀偏移误差校正单元包括读出放大器偏移校正子单元和随后的像素剩余偏移非均匀性校正子单元,所述像素剩余偏移非均匀性校正子单元被配置用于计算所述经校正的视频输出信号并在第一输出端处输出所述经校正的视频输出信号,并且计算在经处理的视频帧中检测到的新的死像素的列表并在第二输出端处输出该新的死像素的列表。

首先将来自成像器的数字视频流馈送到死像素校正单元,然后馈送到非均匀偏移误差校正单元,该非均匀偏移误差校正单元被分为两部分,读出放大器偏移校正子单元和随后的像素剩余偏移非均匀性校正子单元。像素剩余偏移校正子单元同时用于死像素检测。同时使用像素剩余偏移校正子单元来消除对单独的死像素检测单元的实施,从而节省成本。

可以将新的死像素的列表直接馈送到所述经确认的死像素的图中。然而,在优选实施例中,将所述新的死像素的列表馈送到死像素置信度评估单元中,所述死像素置信度评估单元被配置用于确认多个经处理的帧上的新的死像素,并且被配置用于输出经确认的新的死像素的列表,所述经确认的新的死像素的列表被馈送到所述经确认的死像素的图中。

所述像素级非均匀性校正和所述新的死像素检测优选地基于使用与当前处理的像素相邻的像素的中值。该邻域可以优选地从与当前处理的死像素相比较而言连接到相同的读出放大器的像素中选择。

应当意识到,对于本发明,通过在具有坏像素检测的非均匀性校正中使用计算上开销最高的计算的输出来解决保持低成本的问题,即,两次使用像素邻域的中值滤波器,一次用于非均匀性校正,一次用于新的坏像素检测。益处是不需要两次实施中值滤波器,而是在处理的视频流的不同级别上进行操作。

附图说明

现在将参考附图1通过示例的方式说明本发明的优选实施例,图1示出了根据本发明的教导的摄像机系统的示例性实施例的简化电路图。

具体实施方式

参考图1,附图标记1表示输出数字视频流的成像器,该数字视频流被馈送到死像素校正单元2中。具有经校正的死像素的视频流在死像素校正单元2的输出端处被馈送到读出放大器偏移校正单元3。视频流在读出放大器偏移校正单元3的输出端处被馈送到像素级非均匀性校正和死像素检测单元4中。

像素级非均匀性校正和新的死像素检测单元4具有两个输出,最终的视频输出8以及在当前帧中检测到的新的死像素的列表。该列表包含每个新检测到的死像素的坐标,并被馈送到新的死像素置信度评估单元5中。新的死像素置信度评估单元5最终输出新检测到的死像素的列表,该列表倍馈送到确认的死像素列表非易失性存储器6中。确认的死像素的列表在确认的死像素列表非易失性存储器6的输出端再次被馈送到死像素校正单元2中。

在成像器1或包含成像器1的整个夜视摄像机的生产结束时,由测试系统在生产线上生成死像素的初始列表。该初始列表存储在非易失性存储器6中。

死像素校正单元2使用来自成像器1的视频流以及来自非易失性存储器6的确认的死像素的列表作为输入。确认的死像素的列表中的每个像素被其直接邻域中的像素的组合替换。为了随后的读出放大器非均匀性校正的最佳性能,应当从与当前处理的死像素相比较而言连接到相同读出放大器的像素中选择邻域。例如,如果成像器1的读出放大器中的每一个连接到像素阵列的一列,则邻域应当限于位于包含当前处理的死像素的列中的像素。优选地,死像素正上方的像素和死像素正下方的像素、或死像素正上方的两个像素和死像素正下方的两个像素被定义为邻域。计算邻域的平均值或中值,并用于替换当前处理的死像素。

由于死像素的数量低,通常低于像素总数的1%,因此上述操作不需要大量的处理能力。

读出放大器偏移校正单元3优选以下面的方式实施。为了简单起见,假设读出放大器连接到成像器列。

首先,计算每列i的平均值Cmean_i。

然后,对这些列平均值Cmean_i进行时间滤波,优选地利用一阶IIR(无限脉冲响应)低通滤波器进行滤波,得到Cmeanfiltd_i。

然后,对于每列i,计算W个左侧和右侧相邻滤波列平均值Cmeanfiltd_j的平均值或中值Cneighbormean_i(i-W<=j<=i+W且j≠i),通常W在1与5之间。

然后,对于每列i,通过取Cmeanfiltd_i与Cneighbormean_i之间的差来计算估计的列偏移Coffset_i:

Coffset_i=Cmeanfiltd_i-Cneighbormean_i

随后对于每一列i,从列i中包含的所有像素中减去该列偏移值,从而从像素中去除由于读出放大器引起的偏移。

像素级非均匀性校正和新的死像素检测单元4优选地以以下方式实施:

对于每个像素p_ik(i是当前像素的列索引,k是当前像素的行索引),计算其邻域的中值M_ik。例如,使用当前处理的像素围绕的形成具有中心孔的正方形的8或24个像素来计算中值M_ik。

然后,计算M_ik与当前像素p_ik之间的差D_ik:

D_ik=p_ik-M_ik

然后,对所有的D_ik进行时间滤波,优选地利用一阶IIR(无限脉冲响应)低通滤波器,得到Dfiltered_k。这是估计的像素偏移。

然后,对于每个像素,从像素p_ik中减去该估计的像素偏移值Dfiltered_k,从而在像素级上去除偏移。结果是最终校正的图像帧,构成最终视频输出8。

对于新的死像素检测,重复使用差Dfiltered_k。将每个Dfiltered_k与预定义的正阈值和负阈值进行比较。如果任何Dfiltered_k高于正阈值或低于负阈值,则作为新的死像素将坐标i和k传送到新的死像素置信度评估单元5。如果存在多于一个新的死像素,则传送新的死像素坐标的列表。

新的死像素置信度评估单元5检查新的死像素的正确性。每个死像素的i,k坐标对保存在置信度列表中。除了坐标之外,该列表还针对每个条目包含初始被设置为零的置信度计数器。如果检测到已经在置信度列表中的新的死像素,则置信度计数器增加1。在当前帧中未检测到的位于列表中的任何死像素的置信度计数器减小1。将列表中其置信度计数器高于某个预定义水平ConfThr的所有像素的i,k坐标传送到确认的死像素列表非易失性存储器6中。考虑到场景通常随时间变化,该过程确保具有极值的场景的像素不被认为是死像素。对于50帧每秒的帧速率,ConfThr通常在10与100000之间,优选地为500。

然后将确认的死像素列表非易失性存储器6再次传送到死像素校正单元2中。

通常,上述单元2至6在FPGA、ASIC、DSP或片上系统的视频处理引擎内部实施,其中,单元6也可以实施为专用芯片外存储器。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1