专利名称：增大图像传感器有效动态范围的系统和方法
发明
背景技术：
领域本发明概括而言涉及数字图像处理领域。本发明具体涉及提供一种将不同曝光时拍摄的同一景色的多幅图像的信息通过数字图像处理进行组合，增大图像传感器有效动态范围的系统和方法。
背景技术：
许多应用需要分析图像，提取信息。例如，使用视觉的可移动机器人(“机器视觉”的一种形式，下面更加详细地描述)采集并分析一系列数字图像，寻找包括路标和障碍物在内的物体，以便设计其运动。计算机和人分析来自安全系统的图像，保证一切均按部就班。通过寻找物体或图案，或通过比较不同时间拍摄的类似图像，分析来自卫星的图像。通常，图像中较大的对比度(即动态范围)增加了可从该图像提取出的信息，因为更好地限定了边缘和其他细节。在机器视觉中，这种更高的对比度能简化边缘检测和物体定位。
人类视觉系统具有很宽的动态范围，并且非常善于从同时包含极亮和极暗区域的景色中提取信息。不过，高对比度常常抑制其它图像传感器，如数码相机或模拟相机的动态范围，使相当大的区域饱和或者太暗。对于数字图像而言，饱和区域是包含最大亮度或接近最大亮度象素的区域，而暗区域为包含最小亮度或接近最小亮度象素的区域。一般，由曝光过量产生饱和区域，由曝光不足产生暗区域。通常极难有效地分析饱和区域和暗区域。高价照相机一般具有更大动态范围，不过对于许多应用而言价格过高。
曝光控制是调节图像对比度的一种方法。当前的自动曝光系统通常非常精确。典型自动曝光系统使用相机内的反射光曝光计，检测光强，并将照相机的快门速度和/或光圈电调节至最佳曝光设置。通常使用光电池作为曝光计，其中硅光电二极管最为常用。图像传感器一般具有其自己的曝光计。
虽然这些光平均曝光控制系统在选择正确的额定曝光时做得很好，不过许多图像仍然包含曝光过度(饱和)和曝光不足(暗)区域。例如在包含光源的照相图像中，该图像的大部分可能呈现出正确曝光，不过靠近光源的区域常常曝光过度(饱和)，呈现出亮白色，缺少细节。
当前市场上某些数码相机具有增强的自动曝光系统。一种这类系统允许使用者通过一次按下开关(称为托架)，三次曝光自动拍摄同一张相片。然后使用者可以选择三次曝光中最佳的拍摄。这些系统还使使用者可选择三次曝光的范围。不过，图像中的局部亮区和暗区仍然使之不可能通过任何一次曝光有效地拍摄整幅图像。一般，摄影师使用外部光源或闪光灯，通过增大景色的动态范围来提高图片对比度。
机器视觉指系统(即机器)通过分析一幅图像或一系列图像，产生有关对什么进行成像的有用的描述，以便完成给定任务。例如，机器视觉可包括从一幅图像提取出面部特征，以便将图像中的人与面部特征数据库匹配，或者根据两个立体图像确定到物体的距离，从而机器人决定它可以向前移动多远而不碰到该物体。下面为可采用机器视觉处理的应用的例子1.确定环境地图，以便机器人自主地走来走去，而不会撞上物体；2.识别图像的人，判断是谁处于某一位置；3.在多幅图像中跟踪对象，确定所述对象在图像中所处的位置(例如，确定足球在图像中所处的位置，从而可以替换为图像中足球形状的广告)；4.确定对象的位置，方向和大小，从而可由机器自动操纵(例如，机器臂需要从组装线中拾取物体，并且所述物体可以为任何一种形状并且处于传送带上不同位置/方向)；5.在多幅图像中跟踪物体，判断它在周围环境中所处的位置(例如，即将到来的物体的视觉特性，位置，速度和轨迹，判断它是导弹还是飞机)；以及6.分析医疗图像，为了寻找可能的患病区域。
在机器视觉应用中，其中一个例子为机器人技术，观察所有区域均具有足够大对比度的整个景色，识别和分析其中所包含的特征的能力是有利的。在视觉机器人技术中，机器人通过识别物体，开放空间，图案，墙壁等，导航通过外界环境。机器人视觉的一种实际实现方式是采用两个照相机获得立体视觉，确定到物体的距离。缺少足够大动态范围的曝光不良图像，可导致机器人迷路或者不能适当地定位和避开诸如开放楼梯间的物体或者危险物。从而，视觉机器人和图像传感与处理技术需要增大图像传感器的有效动态范围。有效动态范围的这种增大将有助于除了上述机器人应用以外的多种应用。
发明内容
本发明涉及一种通过计算机控制曝光(电或机械)增大图像传感器有效动态范围的系统和方法。本发明通过不同曝光条件下图像传感器采集的多幅图像的数字处理，克服了上述传统和增强型自动曝光系统的局限性。
本发明的一个方面包括一种有效增大图像传感器动态范围的方法，包括获得不同曝光时拍摄的景色的多幅图像，根据表示亮度的象素值，从多幅图像的一幅选定图像中搜索曝光过度区域和曝光不足区域，分析多幅图像中以更低曝光拍摄的其他图像中与所选定图像中曝光过量区域空间相应的部分，分析多幅图像中以更高曝光拍摄的其他图像中与所选定图像中曝光不足区域空间相应的部分，并用机器视觉应用程序对至少一个所分析部分进行处理。该方法还包括其中所述图像传感器为数码相机。该方法还包括其中所述部分可以重叠，不重叠，或者为重叠与不重叠组合。
本发明另一方面包括一种有效增大图像传感器动态范围的方法，包括获得景色的图像，分析所述图像识别出一个或多个太亮或太暗的区域，其中任何一个区域包括多个象素，对于任何识别为太亮的区域，获得减少曝光图像，对于任何识别为太暗的区域，获得增加曝光图像，并对该图像一个或多个适当曝光区域，和减少和/或增加曝光图像中一个或多个适当曝光区域进行处理。该方法还包括其中所述图像传感器为数码相机。该方法还包括其中该区域可以为重叠，不重叠，或者为重叠与不重叠的组合。该方法还包括如果所述图像传感器可具有更低曝光设置，则以减少曝光获得另一幅图像。该方法还包括如果所述图像传感器可具有更高曝光设置，则以增加曝光获得另一幅图像。该方法还包括在任何区域的平均象素值只要不处于选定限度内时重复获得减少曝光图像和/或获得增加曝光图像元素。
该方法还包括分析减少和/或增加曝光图像中的适当曝光区域，识别出一个或多个太亮或太暗的子区域，对于任何识别为太亮的子区域，获得另一幅减少曝光图像，对于任何识别为太暗的子区域，获得另一幅增加曝光图像，并处理所述适当曝光的区域和减少和/或增加曝光图像中一个或多个适当曝光的子区域。该方法还包括其中所述图像传感器安装在可移动机器人上，并且对于多个搜索包括路标和障碍物在内的对象的场景重复该方法，以便设计可移动机器人的运动。该方法还包括其中所述照相机包括CCD或CMOS探测器。
本发明又一方面包括一种计算机程序存储介质，保存处理器执行增大图像传感器动态范围的方法时所执行的指令，包括获得景色的基础图像，分析该基础图像，识别出一个或多个太亮或太暗的区域，其中任何一个区域包括多个象素，对于任何识别为太亮的区域，获得一幅减少曝光图像，对于任何识别为太暗的区域，获得增加曝光图像，并处理所述基础图像和减少和/或增加曝光图像中一个或多个适当曝光的区域。该存储介质还包括其中所述图像传感器为数码相机。该存储介质还包括其中所述区域可以重叠，不重叠，或为重叠与不重叠的组合。
本发明再一方面包括一种用于有效增大图像传感器动态范围的图像传感系统，包括通过不同曝光多次采集景色的图像获得多幅图像的装置，和将所述图像分割成多幅图像区域的装置，其中每个区域表示一个选定的动态范围，并且其中用机器视觉应用程序处理所述多幅图像区域中的一个或多个。
该系统还包括其中所述图像传感器为数码相机。该系统还包括其中所述图像传感系统包括至少两个相互补偿的图像传感器。该系统还包括其中所述机器视觉应用程序利用来自所述至少两个图像传感器的图像部分确定从照相机系统到被成像物体或特征的距离和/或方向。该系统还包括其中所述图像传感系统产生合成图像，用于包括物体识别与定位，边缘检测和图案识别在内的特征提取。该系统还包括其中所述图像传感系统产生合成图像，用于包括物体识别与定位，边缘检测和图案识别在内的特征提取。该系统还包括其中所述区域可重叠，不重叠，或者为重叠与不重叠的组合。
本发明另一方面包括一种有效增大图像传感器动态范围的方法，包括通过多次不同曝光采集景色的图像而获得多幅图像，将所述图像分割成多幅图像区域，其中每个区域代表一个选定的动态范围，并用机器视觉应用程序处理所述多幅图像区域中的任何一个或多个。该方法还包括其中所述图像传感器为数码相机。
本发明另一方面包括一种用于有效增大图像传感器动态范围的图像采集系统，包括用于获得景色的多幅图像，其中每个图像具有不同曝光量的装置，和用于获得多幅图像区域，其中每个图像区域包含所述多幅图像中具有良好动态范围的特定图像部分的装置，其中用机器视觉应用程序处理所述多幅图像区域中的任何一个或多个。
还包括一种用于将该系统从一个位置移动到另一位置，以便采集不同景色的图像的装置。该系统还包括其中所述图像传感器为数码相机。该系统还包括其中所述图像传感系统包含至少两个相互补偿的图像传感器。该系统还包括其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分确定从所述照相机系统到被成像对象或特征的距离和/或方向。该系统还包括其中所述成像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。该系统还包括其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
本发明又一方面包括一种有效增大图像传感器动态范围的方法，包括获得在不同照明条件下拍摄的景色的多幅图像，根据表示亮度的象素值在所述多幅图像的一幅图像中搜索曝光过量和曝光不足部分，再次分析与所述多幅图像中在不同照明条件下拍摄的其他图像中空间相关部分相应的选定图像中的曝光过量部分和曝光不足部分，并用机器视觉应用程序处理至少一个该再次分析部分。该方法还包括其中所述图像传感器为数码相机。该方法还包括其中所述位置可重叠，不重叠，或者为重叠与不重叠的组合。该方法还包括其中所述不同照明条件包括一个或多个闪光灯。
本发明另一方面包括一种有效增大一个或多个图像传感器动态范围的图像传感系统，包括用于在不同照明条件下多次采集景色的图像，以便获得多幅图像的装置，和用于将所述图像分割成多幅图像区域的装置，其中每个图像区域代表一个选定的动态范围，其中用机器视觉应用程序处理所述多幅图像区域中的任何一个或多个。
该系统还包括其中所述一个或多个图像传感器为一个或多个数码相机。该系统还包括其中所述不同照明条件包括使用一个或多个闪光灯。该系统还包括其中所述图像传感系统包含至少两个相互补偿的图像传感器。该系统还包括其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分确定从该照相机系统到被成像对象或特性的距离和/或方向。该系统还包括其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。该系统还包括其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
结合附图理解，参照下面的详细说明，将更好地理解本发明的上述和其他方面，特征和优点。这些附图和相关说明用于说明本发明的某些实施例，并未限制本发明的范围。
图1A为利用一个单一图像传感器的图像传感与处理系统的一个实施例的图示。
图1B为利用安装在可移动机器人上的多个图像传感器的图像传感与处理系统的一个实施例的图示。
图2为通过图像传感器自动曝光系统选择正常曝光时拍摄的景色的数字图像，作为基础图像。
图3为图像传感与处理系统一个实施例中的模块系统图。
图4为图像传感与处理系统另一实施例中的模块系统图。
图5为图像传感与处理系统中递归曝光过程步骤的一个实施例的流程图。
图6为图5中所示寻找亮区域(FindBrightRegions)过程步骤的一个实施例的流程图。
图7为图5中所示寻找暗区域(FindDarkRegions)过程步骤的一个实施例的流程图。
图8为图6和7中所示处理区域(ProcessRegion)过程步骤的一个实施例的流程图。
图9为图2中所示基础图像景色的数字图像，不过在更低曝光强度时拍摄。
图10为图2中所示基础图像景色的数字图像，不过在更高曝光强度时拍摄。
图11为使用每个图像的最佳曝光部分，由图2、图9和图10的图像拼接在一起的合成图像。
具体实施例方式
某些实施例的下列详细描述表现出对本发明特定实施方式的多种表述。不过，可由权利要求限定和覆盖的多种不同方式实施本发明。在本说明中，将附图中的相同元件赋予相同附图标记。
本发明的一个实施例提供了一种通过组合同一景色在不同曝光条件下拍摄的不同图像的多幅图像的信息，增大图像传感器有效动态范围的机制。该实施例包括一个或多个图像传感器，例如数码相机，能足够长时间地保持有效固定，以便获得同一景色的多幅图像。这种数字成像过程一般不会花费较长时间，因为计算机通常可在不到一秒的时间内完成该过程。从而，在多个实施例中，所述图像传感器可以是便携式的，并放置在地面上，处于三脚架上或者集成在可移动机器人中。其他实施例可具有其它结构的图像传感器。可由计算机控制最初曝光设置。不过，还可以使用自动曝光系统获得基础，即第一幅图像。曝光控制可以是电或机械的，并且可以利用计算机控制光圈。
某些实施例还包括计算机，对该图像传感器采集的图像进行数字图像处理。该图像传感器和计算机例如通过常用的可存取的计算机存储器或经过网络连接通信，交换数据。在一个实施例中，计算机可以包括具有图像传感器外壳内必要部件的印刷电路板。在移动机器人技术的情形中，机器人通常包括至少一个计算机，一驱动系统和一图像传感器，所述图像传感器为例如具有曝光控制机制的照相机。
在一个实施例中，从图像传感器系统拍摄景色的称作基础图像的照相图像开始所述过程。搜索该基础图像，寻找饱和或接近饱和的区域。对于每个饱和或接近饱和的区域，连续以更低(例如更暗)曝光采集同一景色的附加图像，直至前一饱和区域的平均象素值接近象素值范围的中间值。对于每个黑色(即曝光不足)或接近黑色的区域，连续以更高(例如更亮)曝光采集附加图像，直至前一黑色区域的平均象素值接近象素值范围的中间值。
递归曝光是一种进一步分割图像曝光不良区域的方法。不同曝光时的附加图像不必整个区域都具有良好的对比度。可以使用多幅图像的部分提供一系列合在一起能覆盖整个感兴趣区域的图像片段。
在另一实施例中，并非递归调节曝光，并根据需要拍摄尽可能多的照片来改善图像，计算机可操纵图像传感器在不同曝光时同时或相继拍摄预定数量的照片。在该实施例中，并非使每个区域的曝光最佳，而是计算机从所述一系列图像中选择每个区域的最佳曝光。所述计算机控制的图像传感器可以包括专业图像传感装置，在不同曝光下自动拍摄一定数目的照片。
在白天从户外通过门口往里看暗室拍摄图像的例子中，典型的自动曝光图像传感系统选择用于建筑物外部的适当曝光。不过，在这种情形中，房间内的物体和/或特征显得很黑(即曝光不足)。在一个实施例中，计算机图像处理系统分析该图像，并确定门口内所有东西都是暗的。在更高曝光时再次拍照，并再次分析该图像的门口部分。如果该图像的平均象素值依然低于预先确定的阈值，则计算机继续操纵该图像传感系统在不同的更高曝光下拍摄另外的图像，直至门内的区域被充分曝光，或者该图像传感器已经达到了最大曝光设置。
根据这种递归曝光技术，获得总体上针对每个图像区域包含足够对比度的一系列图像。图像分割技术有多种实施方式。例如，在一个实施例中，通过每幅图像中正确和充分曝光的特定象素跟踪该区域。或者，可以使用多种可能的形状划分该区域，例如矩形，多边形，椭圆形，曲线形(即通过两点或多点的平滑曲线，通常由数学公式产生)等。在本实施例中，可由特定应用程序分析每幅图像的适当曝光部分。在利用机器视觉的一个实施例中，所分割的区域可以重叠，或者甚至包含任何图像中均未正常曝光的空间。通过这种方法，机器人使用其所能获得的全部信息，不过由于图像处理算法的统计性，它不能100％地对所有给定景色起作用。
在另一实施例中，如某些例如立体视觉应用所需的，该系统利用多个图像传感器，例如数码相机。可以独立地对每个照相机采集的图像进行曝光分析，或者对于来自不同照相机的图像中的相应区域，可以选择曝光相同。
在另一实施例中，可使用灯或闪光灯改变图像之间的对比度。图像处理应用程序通常不限于可见光光谱。例如，使用互补金属氧化物半导体(CMOS)装置获取图像的照相机，可以工作于红外光区域，从而可使用红外区域中的曝光设置。由于人眼不能看到红外光，照相机系统可以具有人眼看不见的光源或闪光灯。可利用使用电荷耦合装置(CCD)获取图像的其他照相机。
在又一实施例中，并非所有的照片都是针对同一景色拍摄的。当图像传感器或景色不能保持固定时产生这种情况，诸如每个图像属于稍稍不同的景色。本实施例显然需要执行更多的图像处理，由于物体和特征在图像中处于不同位置，计算机必须将每张照片中的物体和特征相互联系起来。本领域中存在相关技术，如用于匹配图像中物体的光流。在另一实施例中，使用模拟照相机作为图像传感器，要求在不同曝光下拍摄全部图像，并在执行曝光分析技术之前以数字格式扫描到计算机中。
在利用机器视觉应用程序的实施例中，计算机执行的图像处理算法分别分析每个子区域，或者在多个图像传感器应用的情形中分别分析相应的子区域。在人对图像进行分析的实施例中，计算机算法可以将多幅图像的正确曝光区域拼接成一幅图像。虽然这种拼接图像可能不连贯，不过该图像的多个区域适当曝光，从而可以对整个图像中的物体和/或特征进行处理。所述适当曝光区域可以重叠，不重叠，或者为重叠与不重叠的组合。
在利用立体视觉的一个实施例中，例如在基于机器人技术的视觉中，计算机将来自其一个图像传感器的图像中的物体和/特征与来自另一图像传感器的图像中的相应物体和/或特征进行匹配。可使用对象和/或特征在每个图像中的相对位置，确定机器人相对该物体和/或特征的距离和方向。在本实施例中，适当曝光区域是其中物体和/或图像具有足够大对比度的区域，从而在两个立体图像传感器的图像之间可以匹配。
图1A为利用单个图像传感器101的图像传感与处理系统的一个实施例的图示。在该实施例中，图像传感器101通过电缆104与计算机102相连。虽然可以使用以数字格式获取图像的任何图像传感器，不过目前广泛使用的一类图像传感器为数码相机。对于诸如立体视觉的应用，可以使用多个图像传感器101。图1A中所示的电缆104可以为多种接口电缆中的一种或多种，例如串口电缆(例如RS-232，EIA-232或RS-422)，并口电缆，USB(通用串行总线)接口电缆，网络接口电缆(例如以太网或TCP/IP)，或者任何其他能连接多个装置允许在所述装置之间进行数据通信的电缆。在其他实施例中，使用模拟照相机图像传感器101，使用传统照相软片格式获得图像。将照相软片图像扫描成数字格式，并由计算机102保存。不过，与使用图像传感器直接以数字格式获取图像相比，这种方法更加麻烦和费时。
图1A中所示的实施例中计算机102为台式个人电脑(PC)，不过在其他实施例中，计算机102也可以为例如专用印刷电路板或仅具有图像处理所需硬件的单个集成电路。在另一些实施例中，图像传感器101与计算机102可以集成为一个机器或装置，从而可能消除连接它们的电缆104。在又一些实施例中，可由无线链路取代图1A中所示的电缆104。
图1A表示安装在三脚架103上的图像传感器101，例如照相机，三脚架广泛地应用于照相技术中，用于在采集图像的同时固定照相机101和使照相机101的移动最小。使用三脚架103有利于保证除了改变曝光以外，图像基本相同。图1A还表示包含物体105的景色的示例，物体105可以处于布景中，例如在本例中为灯和桌子。用于多图像处理的典型物体为具有静物105的布景，在相当短的时间周期内获得所述布景。不过，此处所述的图像处理技术可以应用于在不同时刻拍摄的照片，具有在不同图像中照明不同的附加优点。递归曝光技术还可应用于物体和/或特征在多幅图像中处于不同位置的动态景色。在这种情况下，需要额外的处理来使在图像之间改变位置的物体相互关联。
图1B为利用安装在可移动机器人装置110上的多个图像传感器101的图像传感与处理系统的一个实施例的图示。图1B表示出具有两个图像传感器101的机器人110，不过还可以考虑到仅具有一个图像传感器101(如图1A所示)或者具有多于两个图像传感器101(该结构未示出)的其他实施例。图1B中所示的两个图像传感器101能在几乎同一时刻或在不同时刻，用相同或不同曝光条件拍摄布景中物体105的多幅图像。
在图1B所示的一个实施例中，一个或多个照相机101可以安装在可移动机器人110上，在这种情形中，对于多个景色重复图像处理方法，寻找包括路标和障碍物在内的物体105，以便设计机器人110的运动。本申请人共同悬而未决的专利申请美国专利申请第09/449,177中描述了可移动机器人110。
图2为图像传感器101的自动曝光系统选择的标准曝光下拍摄的景色的数字图像，用作基础图像200。基础图像200的许多区域正常曝光，并且在照片中很清晰，例如悬挂在门上的衬衫210。在图2所示的基础图像200中，还可以看出衬衫上的图案和窗户阴影上的印痕。不过，灯220后面的区域饱和(即过亮或曝光过量)，而门230后面的空间和窗户240则太暗(即曝光不足)。在图2所示的基础图像200示例中，灯220后面的区域是唯一过亮的区域。
图3为图像传感与处理系统一个实施例中模块300的系统图。在本实施例中，包括采集多幅图像模块310。模块310与图像区域分割模块320进行数据通信。模块320还与机器视觉处理模块330进行数据通信。数据通信可以采用多种形式，包括例如常用的可存取计算机存储器或网络连接，仅指出几种。对于与机器视觉处理算法有关的更多信息，参见例如B.K.P.Horn，“Robot Vision”，MIT press和McGraw-Hill(1986)，Klette，Schluns & Koschan，“ComputerVision”，Springer-Verlag Singapore Pte.Limited(1998)，Duda & Hart，“Pattern Classification and Scene Analysis”，John Wiley & Sons(1973)和S.E.Umbaugh，“Computer Vision and Image Processing”，PrenticeHall(1998)。
图4为图像传感与处理系统另一实施例中模块400的系统图。在本实施例中，包括采集多幅图像模块310(参见图3)。模块310与图像区域模块410进行数据通信。模块410还与机器视觉处理模块330(参见图3)进行数据通信。模块330还与运动模块420进行数据通信。运动模块420指挥系统从一个位置移动到另一位置，以便获得不同景色的图像。数据通信可以采用上面参照图3所述的多种形式。
图5为图像传感与处理系统中递归曝光过程500步骤一个实施例的流程图。如图5所示，从开始步骤502开始该递归曝光过程500。在开始步骤502之后，该递归曝光过程500进入寻找亮区域寻找亮区域(FindBrightRegions)过程510。执行下面关于图6更加详细描述的FindBrightRegions过程510，获得基础图像200的过亮(饱和)区域220。在FindBrightRegions过程510之后，递归曝光过程500进入寻找暗区域(FindDarkRegions)过程520。执行下面参照图7更加详细描述的FindDarkRegions过程520，获得基础图像200的过暗(曝光不足)区域230，240。在FindDarkRegions过程520之后，递归曝光过程500进入将所有区域发送给图像处理程序的步骤530。这种图像处理程序的一个例子为光流分析。关于光流分析的更多信息，参见例如F.Bergholm和S.Carlsson，“A“theory”ofoptical flow”，Computer Visions，Graphics，and Image ProcessingImage Understanding，vol.53，pp.171-188，1992年3月；还参见S.Baker和T.Kanade，“Super Resolution Optical Flow”，tech.reportCMU-RI-TR-99-36，Robotics Institute，Carnegie Mellon University，1999年10月。在步骤530之后，在结束步骤540结束该递归曝光过程500。
图6为图5中所示FindBrightRegions过程510步骤一个实施例的流程图。过亮区域是其中足够数量象素组的值大于指定阈值的区域。这种过亮区域的一个例子为其中各象素均饱和的区域。如图6所示，在开始步骤602开始FindBrightRegions过程510。在开始步骤602之后，FindBrightRegions过程510执行判断步骤610。如果在该判断步骤610判断结果为不存在另一组太亮的象素，则在结束步骤640结束FindBrightRegions过程510。然而，如果在判断步骤610判断结果为存在另一组太亮象素，则该FindBrightRegions过程510进入产生包含饱和象素的新区域的步骤620。可由例如多边形，象素阵列(压缩或未压缩)或链码表示所述区域。在步骤620之后，该FindBrightRegions过程510进入处理区域(ProcessRegion)过程630，下面将参照图8对其进行更加详细的描述。
图7为图5中所示FindDarkRegions过程520步骤一个实施例的流程图。过暗区域是其中平均象素值小于指定阈值的区域。一个例子为其中各象素均具有零亮度即为黑色的区域。如图7所示，在开始步骤702开始FindDarkRegions过程520。在开始步骤702之后，该FindDarkRegions过程520进入判断步骤710。如果在判断步骤710判断结果为不存在另一组太暗象素，则在结束步骤730结束该FindDarkRegions过程520。然而如果在判断步骤710判断结果为存在另一组太暗的象素，则该FindDarkRegions过程520进入用于产生包含暗象素的新区域的步骤720。在步骤720之后，该FindDarkRegions过程520进入下面将要参照图8更加详细描述的ProcessRegion过程630。回到图2中所示的示例性基础图像200，该窗户240和通过门230的区域为使用ProcessRegion过程630再次处理的暗区域的例子。
图8为图6和图7中所示ProcessRegion过程630步骤一个实施例的流程图。在本实施例中，分析每个太亮或太暗的区域，并使用图8所示的ProcessRegion过程630在不同曝光下产生新图像。如图8所示，在开始步骤802开始该ProcessRegion过程630。在开始步骤802之后，该ProcessRegion过程630进入判断步骤810。如果在判断步骤810判断结果为新图像中相应的区域太亮，则该ProcessRegion过程630进入判断步骤820。如果在判断步骤820判断结果为图像传感器101，例如照相机，处于最暗(即最低)曝光，则在结束步骤880结束该ProcessRegion过程630。不过，如果在判断步骤820判断结果为图像传感器101并非处于最低曝光，则该ProcessRegion过程630进入降低曝光步骤830，降低图像传感器101的曝光设置。
有多种可用于确定曝光减少量的算法。例如，在一个实施例中，使用二维表格查找，输入量为当前区域中的平均象素值和当前曝光设置。本实施例表格查找的输出为新的曝光设置。在一替代实施例中，计算新的曝光设置，使新曝光设置与前次曝光设置的比值基本上等于所需平均象素值与当前平均象素值的比值。在某些实施例中，可通过多种技术例如，改变图像传感器101接收光的时间，改变图像传感器101透镜口径的尺寸，改变亮度(例如黑色)设置，改变对比度(例如增益)设置，使用稳定光源或闪光灯照射景色，或者其他前获取或后获取曝光技术，增强图像的曝光。
在步骤830之后，该ProcessRegion过程630进入采集图像步骤840，在一个实施例中采集图像步骤包括图像传感器101通过与采集前一幅图像相同的方式，但用不同曝光设置采集新图像。在步骤840之后，该ProcessRegion过程630进入判断步骤810。在步骤830处减小照相机曝光设置和步骤840采集新图像之后，重复该过程直到平均象素值处于可接受范围内(如上面与判断步骤810和850有关的描述)或者由于照相机曝光设置处于其最小或最大值(如上面与判断步骤820和860有关的描述)而不可能进行更多补偿。在重复该过程的最终结果为平均象素值处于可接受范围内的情况下，对于图像中该区域递归执行该过程(如图8中步骤510和520的递归执行所示，上面结合图6和7进行了描述)。换句话说，使用与先前检查基础图像200相同的过程，通过FindBrightRegions过程510检查该区域获得太亮象素组，通过FindDarkRegions过程520获得太暗象素组。虽然有可能每个象素均具有唯一的理想曝光，不过通过少数几次曝光，大多数图像最佳。在另一实施例中，在较大的不同曝光范围内采集景色的多幅图像，并在获取图像后发生的图像处理之前进行保存。在本实施例中，图像处理如上所述，不过在步骤840采集图像，检索并处理最接近于对应于所需曝光的图像。
不过，如果在判断步骤810中判断结果为该区域不太亮，则该ProcessRegion过程630进入判断步骤850。如果在判断步骤850判断结果为该区域太暗，则该ProcessRegion过程630进入判断步骤860。如果在判断步骤860判断结果为该图像传感器处于最亮曝光，则在结束步骤882结束该ProcessRegion过程630。然而，如果在判断步骤860判断结果为该图像传感器并非处于最亮曝光，则该ProcessRegion过程630转到增加曝光步骤870。
可使用多种算法确定曝光的增加量。在一个实施例中，使用二维表格查找，其输入为当前区域中的平均象素值和当前曝光设置。本实施例中表格查找的输出为新的曝光设置。在另一实施例中，计算新曝光设置，使新曝光设置与前次曝光设置的比值基本上等于所需平均象素值与当前平均象素值的比值。
在步骤870之后，该ProcessRegion过程630进入采集图像步骤840。在步骤840之后，如上所述，该ProcessRegion过程630执行判断步骤810。
不过，如果在判断步骤850判断结果为该区域并非太暗，则该ProcessRegion过程630进入上面结合图6描述的FindBrightRegions过程510。在FindBrightRegions过程510之后，该ProcessRegion过程630执行上面结合图7描述的FindDarkRegions过程520。在FindDarkRegions过程520之后，在结束步骤884结束该ProcessRegion过程630。图8中的结束步骤880，882，884代表相同的结束处理指令，不过表示成三个分离步骤仅仅为了简化图8的描绘。
图9为图2中所示基础图像200景色的数字图像900，不过在更低曝光强度时拍摄。在图像900中，基础图像200(参见图2)的过亮区域220被适当曝光，如区域910所示。而图像900的其余较低曝光区域920未经处理，观察图9发现，图像900的区域920曝光不足，从而对于识别大部分物体和/或特征的图像处理而言太暗。
图10为图2中所示基础图像200的数字图像1000，不过在更高曝光强度时拍摄。在新图像1000中，基础图像200的过暗区域230，240被适当曝光，分别如区域1010，1020所示。不过，观察图10发现，图像1000的大多数其余区域1030曝光过量，从而对于识别大多数物体和/或特征的图像处理而言太亮。
图11为使用每幅图像200，900和1000的最佳曝光部分，将图2，图9和图10的图像拼接在一起的合成图像1100。在一个实施例中，处理了过亮和过暗区域，该图像可用于取决于图像处理的应用。在利用机器视觉的应用的实施例中，通常计算机分析独立发生在各图像的适当曝光区域。本发明有不需要合成图像的实施例，图11表示如果产生这种合成图像1100时的有效图像。在该实施例中，使用三个曝光图像200，900和1000，合成图像1100的大部分区域1130来自于基础图像200。基础图像200中的过亮区域220被图9中所示曝光不足图像900的适当曝光区域910取代。基础图像200的过暗区域230，240分别被图10中所示曝光过量图像1000的适当曝光区域1010和1020取代。在一个实施例中，因为仅使用三次曝光而未经历进一步图像处理，合成图像1100有可能不连贯，不过如图11所示，与最初的基础图像200相比，在合成图像1100的所有区域中均能看到多得多的细节。
在其他实施例中，获得附加曝光，产生类似环形的子区域，其中对于一系列图像显示出逐渐增大的环。在这些实施例中，区域之间的亮度过渡更加平滑。在又一些实施例中，其中允许图像传感器移动的动态景色或场合，需要更多的图像处理，不过可以通过与上述相同的方式进行分析和处理。在这些实施例中，在不同图像之间区域形状可以稍有不同。
虽然上面的详细说明表示、描述并指出当应用于多个实施例时本发明的新颖特征，不过应该理解，本领域技术人员在不偏离本发明目的的条件下，可以对所述装置或方法的形式和细节进行多种省略，替代和改变。本发明的范围由所附权利要求表示，并非由上面的描述表示。所有属于权利要求的等效含义和范围的改变均包含在其范围之内。
权利要求
1.一种有效增大图像传感器动态范围的方法，所述方法包括获得不同曝光下拍摄的景色的多幅图像；根据表示亮度的象素值，搜索所述多幅图像的一选定图像，获得曝光过量和曝光不足区域；分析所述多幅图像中在更低曝光时拍摄的其他图像中与所选定图像的曝光过量部分空间相应的部分；分析所述多幅图像中在更高曝光时拍摄的其他图像中与所选定图像的曝光不足部分空间相应的部分；以及用机器视觉应用程序处理至少一个所述经过分析的区域。
2.根据权利要求1所述的方法，其中所述图像传感器为数码相机。
3.根据权利要求1所述的方法，其中所述部分可以重叠，不重叠，或者为重叠或不重叠的组合。
4.一种有效增大图像传感器动态范围的方法，所述方法包括获得景色的一幅图像；分析所述图像，识别出一个或多个太亮或太暗的区域，其中任何一个所述区域包括多个象素；对于任何一个识别为太亮的区域，获得一幅减少曝光图像；对于任何一个识别为太暗的区域，获得一幅增加曝光图像；以及对所述图像的一个或多个适当曝光区域，和所述减少和/或增加曝光图像的一个或多个适当曝光区域进行处理。
5.根据权利要求4所述的方法，其中所述图像传感器为数码相机。
6.根据权利要求4所述的方法，其中所述区域可以重叠，不重叠，或者为重叠或不重叠的组合。
7.根据权利要求4所述的方法，还包括如果所述图像传感器可具有更低曝光设置，则在减少曝光时获得另一图像。
8.根据权利要求4所述的方法，还包括如果所述图像传感器可具有更高曝光设置，则在增加曝光时获得另一图像。
9.根据权利要求4所述的方法，其中只要任何区域的平均象素值不处于选定范围之内，则重复获得减少曝光图像和/或获得增加曝光图像元素。
10.根据权利要求4所述的方法，还包括分析所述减少和/或增加曝光图像中的适当曝光区域，识别出一个或多个太亮或太暗的子区域；对于任何识别为太亮的子区域，获得另一减少曝光图像；对于任何识别为太暗的子区域，获得另一增加曝光图像；以及对所述适当曝光的区域和所述减少和/或增加曝光图像中一个或多个适当曝光的子区域进行处理。
11.根据权利要求4所述的方法，其中所述图像传感器安装在可移动机器人上，并且对多个景色重复所述方法寻找包括路标和障碍物在内的对象，以设计可移动机器人的运动。
12.根据权利要求5所述的方法，其中所述照相机包括CCD或CMOS传感器。
13.一种计算机程序存储介质，保存处理器执行增加图像传感器动态范围的方法时所执行的指令，所述方法包括获得景色的基础图像；分析所述基础图像，以识别出一个或多个太亮或太暗的区域，其中任何一个所述区域包括多个象素；对于任何识别为太亮的区域，获得减少曝光图像；对于任何识别为太暗的区域，获得增加曝光图像；以及对所述基础图像和所述减少和/或增加曝光图像中一个或多个适当曝光区域进行处理。
14.根据权利要求13所述的存储介质，其中所述图像传感器为数码相机。
15.根据权利要求13所述的存储介质，其中所述区域可重叠，不重叠，或者为重叠与不重叠的组合。
16.一种用于有效增大图像传感器动态范围的图像传感系统，包括使用不同曝光多次采集景色图像，获得多幅图像的装置；以及将所述图像分割成多幅图像区域的装置，其中每个区域代表一个选定的动态范围，并且其中用机器视觉应用程序对所述多个图像区域中的任何一个或多个进行处理。
17.根据权利要求16所述的系统，其中所述图像传感器为数码相机。
18.根据权利要求16所述的系统，其中所述图像传感系统包括至少两个相互补偿的图像传感器。
19.根据权利要求18所述的系统，其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分，确定从所述照相机系统到被成像对象或特征的距离和/或方向。
20.根据权利要求16所述的系统，其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
21.根据权利要求19所述的系统，其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
22.根据权利要求16所述的系统，其中所述区域可以重叠，不重叠，或者为重叠或不重叠的组合。
23.一种有效增大图像传感器动态范围的方法，所述方法包括使用不同曝光多次采集景色的图像，以便获得多幅图像；将所述图像分割成多幅图像区域，其中每个区域代表一个选定的动态范围；以及用机器视觉应用程序对所述多幅图像区域中的任何一个或多个进行处理。
24.根据权利要求23所述的方法，其中所述图像传感器为数码相机。
25.一种用于有效增大图像传感器动态范围的图像采集系统，所述系统包括用于采集景色多幅图像的装置，每个图像具有不同曝光；以及用于获得多幅图像区域的装置，其中每个区域包含来自所述多幅图像的具有良好动态范围的特定图像部分，并且其中用机器视觉应用程序对所述多幅图像区域中的任何一个或多个进行处理。
26.根据权利要求25所述的系统，还包括用于将所述系统从一个位置移动到另一位置，以便采集不同景色图像的装置。
27.根据权利要求25所述的系统，其中所述图像传感器为数码相机。
28.根据权利要求25所述的系统，其中所述图像传感系统包括至少两个相互补偿的图像传感器。
29.根据权利要求28所述的系统，其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分，确定从所述照相机系统到被成像对象或特征的距离和/或方向。
30.根据权利要求25所述的系统，其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
31.根据权利要求29所述的系统，其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
32.一种有效增大图像传感器动态范围的方法，所述方法包括获得不同照明条件下拍摄的景色的多幅图像；根据表示亮度的象素值，搜索所述多幅图像中一幅图像，获得曝光过量和曝光不足部分；再次分析所选择图像中与所述多幅图像在不同照明条件下拍摄的其他图像中空间相关部分相应的曝光过量部分和曝光不足部分；以及用机器视觉应用程序对至少一个所述再次分析部分进行处理。
33.根据权利要求32所述的方法，其中所述图像传感器为数码相机。
34.根据权利要求32所述的方法，其中所述部分可以重叠，不重叠，或者为重叠与不重叠的组合。
35.根据权利要求32所述的方法，其中所述不同照明条件包括一个或多个闪光灯。
36.一种用于有效增大一个或多个图像传感器动态范围的图像传感系统，所述系统包括在不同照明条件下多次采集景色的图像，以便获得多幅图像的装置；以及将所述图像分割成多幅图像区域的装置，其中每个区域代表一个选定的动态范围，并且其中用机器视觉应用程序对所述多幅图像区域中的任何一个或多个进行处理。
37.根据权利要求36所述的系统，其中所述一个或多个图像传感器为一个或多个数码相机。
38.根据权利要求36所述的系统，其中所述不同照明条件包括使用一个或多个闪光灯。
39.根据权利要求36所述的系统，其中所述图像传感系统包含至少两个相互补偿的图像传感器。
40.根据权利要求39所述的系统，其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分，确定从所述照相机系统到被成像对象或特征的距离和/或方向。
41.根据权利要求36所述的系统，其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
42.根据权利要求40所述的系统，其中所述图像传感系统产生合成图像，用于包括目标识别与定位，边缘检测和图案识别在内的特征提取。
全文摘要
本发明提供一种通过(电或机械)控制多幅图像的曝光(830，870)，并根据不同曝光设置的多幅图像(200，900，1000)的适当曝光区域(910，1010，1020，1130)有选择地形成合成图像(1100)而增大图像传感器(101)动态范围的系统和方法。所述系统和方法的某些实施例利用图像处理技术(320，410)确定不同曝光设置，并可形成有选择的合成图像。机器视觉应用程序(330)可直接使用所述正确曝光的区域。
文档编号H04N5/235GK1611064SQ02808351
公开日2005年4月27日 申请日期2002年3月15日 优先权日2001年3月16日
发明者布雷特·A·沃勒克, 哈维·A·科塞尔克 申请人:幻影自动化机械公司