具有直方图扩展的机动车辆相机装置的制作方法

本发明涉及一种操作机动车辆照相机装置的方法。照相机装置的环境的原始图像由照相机装置的图像传感器提供。通过图像处理装置，基于直方图扩展从原始图像生成输出图像。本发明还涉及用于执行该方法的照相机装置以及具有照相机装置的机动车辆。

背景技术：

在通过图像传感器生成原始图像中，该原始图像可能具有不期望的低动态范围。如果原始图像例如具有像素，其每个像素值由8位颜色值或8位光度值或亮度值的表示，因此，每种颜色或亮度的每个像素实际上总共可以具有256种不同的值，例如从0到255的像素值。在图像传感器的原始图像中，相应地具有像素值最小的最暗像素，以及像素值最大的最亮像素。由最暗像素和最亮像素限制的值区间表示原始图像的动态范围。例如，如果最暗像素具有亮度值为30，最亮像素具有亮度值为120，则原始图像具有从30到120的动态。低于从0扩展到255(8位像素值)的最大的可能动态范围。

为了改善动态范围，直方图是已知的，其通过扩展函数从原始图像的每个像素的相应输入像素值逐一输出输出图像的相应像素的像素值确定。然后，可以进一步使用输出图像而不是原始图像。在现有技术中，已知设计扩展函数，使得在示例中的值为30的最暗像素被映射到值0。在示例中的值120的最亮像素被映射到最大可能像素值，例如255。在最暗像素和最亮像素之间，则通过扩展函数进行内插，例如通过线性内插或所谓的s曲线。通过直方图扩展，与原始图像相比，输出图像中的图像对比度提高。

在使用机动车辆的照相机设备中，图像对比度不是在所有情况下都至关重要的。已经观察到通过借助于直方图扩展来改善图像对比度的图像区域的可识别性的情况。这就意味着机动车辆的驾驶员不能再使用照相机装置作为辅助以例如停放汽车。特别地，已经确定，在特别低的环境光照下，即如果机动车辆的环境的亮度低于预定阈值，则通过直方图扩展，原始图像中已经相对较暗的图像区域被直方图扩展进一步变暗。然后，驾驶员不能再识别输出图像中的图像细节。

当前的视觉系统可以使图像的直方图拉伸作为简单的启用禁用功能。

本发明基于使照相机装置中的直方图扩展适应于捕获情况的目的。

该目的由独立权利要求的主题解决。根据从属权利要求的特征，本发明的有利发展是显而易见的。

技术实现要素：

根据本发明，提供了一种用于操作机动车辆的照相机装置的方法。通过例如黑/白图像传感器或彩色图像传感器或红外图像传感器的照相机装置的图像传感器提供照相机装置的环境的原始图像。原始图像可以例如表示车辆外部或车辆内部的环境区域。图像传感器也可以是产生原始图像序列的视频图像传感器。这里，可以针对每个原始图像分别执行该方法。原始图像可以例如具有x×y像素的尺寸，其中x和y各自可以例如在40至600的范围内。

通过图像处理装置从原始图像生成输出图像。图像处理装置可以例如是集成在相机外壳中的控制器或电路。图像处理装置可以例如具有dsp(数字信号处理器)或微控制器。图像处理装置从原始图像的每个像素的相应输入像素值确定输出图像的相应像素的每一个输出像素值。这里，相应的意思是像素可以具有相同的图像坐标或像素坐标。图像处理装置使用直方图拉伸或直方图扩展的拉伸功能或扩展功能。如已经描述的，扩展函数可以例如是线性或直扩展函数或s曲线函数。

在根据本发明的方法中，根据环境的亮度获取照相机装置的至少一个参数值。因此，至少一个参数值与环境的亮度相关。根据至少一个获取的参数值，设置扩展功能中输出像素值的至少一个限制值。因此，例如可以设定最大值和/或最小值。换句话说，输出图像具有像素，其中最暗像素和/或最亮像素分别受到在最暗像素的情况下底部的限制值的限制，或在最亮像素的情况下顶部相应的限制值的限制。

本发明还涉及适用于执行根据本发明的方法的实施例的用于机动车辆的照相机装置。对此，照相机装置具有用于提供原始图像的呈现或成像照相机装置的环境的图像传感器。此外，照相机装置具有用于从原始图像生成输出图像的图像处理装置，其中基于直方图扩展生成输出图像。这里，照相机装置执行根据本发明的方法的实施例。

通过本发明，产生的优点是，基于根据环境亮度的至少一个参数值，生成原始图像的捕获情况的光照是低或高被发出信号。相应地，然后，可以通过极限值来调节直方图扩展使得出现以下情况。如果环境的亮度的亮度值小于预定的最小值，则通过大于零的极限值，特别止原始图像中已经非常暗的图像区域在输出图像中显得更暗。类似地，通过小于最大值的对应限制值，可以防止原始图像的亮图像区域更亮而在输出图像中曝光过度，并因此难以识别细节。

在本发明的实施例中，扩展函数的极限值设置为使得输出图像的像素值的直方图具有小于像素值的最大可能动态范围的动态范围。因此，避免了图像对比度的最大化，这在初始描述的方式中一些曝光情况中可能是不利的。

在本发明的一个实施例中，限制值设置为独立于原始图像的输入像素值的直方图。换句话说，原始图像的动态范围对极限值没有任何影响。因此，有利地，确保输出图像的像素的最小亮度。

在本发明的一个实施例中，通过扩展函数，作为输入像素值，将原始图像的像素的亮度值和/或颜色值分别成像到输出图像的对应像素的输出像素值。对亮度值(即像素的光亮度)应用扩展函数具有即使使用曲线扩展函数也可以避免颜色失真的优点。对颜色值使用扩展函数具有原始图像的像素的像素值(指颜色值红色，绿色，蓝色(rgb))不必被昂贵地转换的优点。

在本发明的实施例中，由极限值确定输出像素值的最小值。换句话说，设置输出图像的所有像素的最小亮度。因此，出现的优点是，对于亮度值小于最小亮度的环境亮度，输出图像的所有像素至少具有最小值。

其中，优选地，最小值设定得越大环境越暗。换句话说，存在小于环境亮度的第二亮度值的环境亮度的第一亮度值。然后，将第一最小值设定为大于用于设定第二亮度值的第二最小值的第一亮度值。

可以根据至少一个参数值连续设定极限值。然而，在优选实施例中，极限值逐步切换。因此，出现的优点为，在切换步骤之间直方图扩展不改变其成像行为。这有利于下游图像处理算法的收敛行为。

在一个实施例中，第一切换步骤在环境的亮度为从0.3勒克斯到0.8勒克斯的范围内。优选地，第二切换步骤在从环境亮度为从1.5勒克斯到2.5勒克斯的范围内。第三切换步骤可以为从8勒克斯到12勒克斯的范围内。在第三或进一步切换步骤中，优选地，根据极限值是最小亮度还是最大亮度，将极限值设定为最小值或最大值。优选地，最小值为0，即以较高亮度值的最后切换步骤执行直方图扩展，使得输出图像的像素值的直方图具有最大动态范围。

在本发明的实施例中，指示亮度的至少一个参数值包括亮度传感器的传感器值。换句话说，通过亮度传感器直接测量环境的亮度。此时，亮度传感器的采集范围被引导到环境中。通过该实施例，出现的优点为，关于环境中亮度的信息直接与传感器值一起出现。

在本发明的实施例中，至少一个参数值包括在生成原始图像时调整的曝光周期。曝光期间的另一个名称也是关闭时间或快门速度。曝光的单位例如为1/100秒或1/80秒。

在一个实施例中，至少一个参数值包括在生成原始图像时调整的图像传感器增益。图像传感器增益的另一个名称也是增益或iso值。iso值的示例为100iso，200iso，3.400iso。

在本发明的实施例中，至少一个参数值包括在生成原始图像时调整的快门值。快门值的另一个名称也是光圈值。光圈值的示例为f5和f11。

曝光周期，增益和光圈值的捕获参数的上述三个参数值具有在例如通过曝光控制生成原始图像时已经确定的优点。这种曝光控制可以是存在于常规照相机装置中的提供自动曝光调节的装置。因此，上述三个参数通常已经存在于通常的照相机类型中，并且不必单独确定设置极限值。

另一个出现的优点为，如果获取图像传感器的温度，则根据获取的温度设定极限值。因此，可以掩蔽或减少输出图像中的图像传感器的传感器噪声。

本发明还涉及机动车辆。根据本发明的机动车辆具有根据本发明的照相机装置的至少一个实施例。根据本发明的机动车辆可以例如配置为乘用车或卡车或客车。照相机装置可以例如配置为停车辅助或夜视辅助，或者也可以设置在机动车辆内部用于观察机动车辆的后座上的乘客。

附图说明

在下文中，描述了本发明的实施例。显示：

图1是用于说明根据现有技术的直方图扩展的图，

图2是根据本发明的机动车辆的实施例的示意图，

图3是用于说明根据本发明的方法的直方图扩展的图，

图4是用于说明该方法的图，其中，区别于图3，设定限定值，

图5是具有原始图像的示例性直方图的图。

具体实施方式

以下说明的实施例是本发明的优选的实施例。然而，在本实施例中，所述实施例的各部件各自表示考虑为彼此独立地本发明的各个特征，其各自独立地开发本发明，并且因此也被认为是以单独的方式或所示的组合之外的本发明的组件。此外，所描述的实施例还可以由已经描述的本发明的进一步特征补充。

在图1中，示出了现有技术中已知的直方图扩展。示出了输入直方图hi，即可以由相机传感器的原始图像的像素的像素值形成的直方图。在所示的示例中以及在另外的示例中，假设每个像素可以具有可以在0至255的范围内的像素值，即8位像素值。像素值可以例如是像素的光亮度值li或色调值。最小亮度值由lmin表示。最大亮度值由lmax表示。原始图像的动态范围di由亮度值lmin和lmax定义。

输入直方图hi可以以图5所示的方式形成。在图5中，呈现如何确定原始图像的输入光亮度值li，对于0到255之间的每个可能光亮度值，确定这些像素的数c(计数)，其具有对应的光亮度值li。因此，输入直方图hi结果。

在图1中，例如，如何通过扩展函数1可以将输入光亮度值li映射到输出光亮度值lo，以通过原始图像的每个像素的像素值的像素转换从原始图像为输出图像的对应像素产生像素值。因此，出现输出图像。该输出图像具有取决于扩展函数1的输出直方图ho。

根据现有技术，选择扩展函数1，使原始图像的最小亮度值lmin映射到最小光亮度值0。原始图像的最大亮度值lmax被映射到最大可能的光亮度值，这里255。为了更好的取向，识别功能2也注册在图中。通过扩展函数1，输出直方图ho具有全动态范围dmax的光亮度值。换句话说，最大动态范围dmax包括值0和值255。

在图2中，示出了机动车辆3，其可以例如是乘用车。机动车辆3可以具有包括照相机传感器5和图像处理装置6的照相机装置4。照相机传感器5的拍摄范围7可以例如被取向到机动车辆3的环境8中，例如到机动车辆3的前部区域(如图所示)或(未示出)到机动车辆3的后部区域或机动车辆3的车辆内部。以本身已知的方式，图像传感器5可以适于生成单个原始图像r的图像序列。为了生成原始图像r以捕获环境8，可以设置曝光周期s(快门速度)，光圈a(光圈)和/或图像传感器增益或增益g，其然后代表原始图像r的捕获参数。在所示示例中，在环境8的原始图像r中，位于机动车辆3前方的道路9，房屋10和树11被成像。在所示示例中，假设原始图像r相对较暗。换句话说，环境8中的亮度可以相对较低，例如可以发生在夜间驾驶或在隧道驾驶中。由此，对于原始图像r的输入直方图hi的结果也如图2所示。光亮度值li没有达到这里可以假定为255的最大可能的光亮度值。

可以由图像处理装置6提供直方图扩展12。直方图扩展12例如可以由图像处理装置6的处理器的程序模块实现。处理器6可以例如是数字信号处理处理器(dsp)。直方图扩展可以包括可以具有限制值l(限制)作为参数的参数化扩展函数13。通过扩展函数13，以已经联系图1中的扩展函数1所描述的方式，可以从原始图像r生成输出图像i。这里，输出图像i可以具有大于原始图像r的整体亮度的整体亮度。输出直方图ho也示例性地在图2示出输出图像i的输出光亮度值lo。这里，扩展函数13的极限值l构成输出直方图ho的直方图值的最小值。

在机动车辆3中，提供了将输出图像i发送到另外的车辆部件14。车辆部件14可以例如是诸如屏幕的显示装置。然后，机动车辆3的驾驶员可以在显示装置上观看输出图像i并从而看到环境8。然而，车辆部件14例如也可以是可以帮助驾驶员驾驶机动车辆3的驾驶员辅助系统。例如，车辆部件14然后可以包括图像识别装置，通过该图像识别装置，可以在输出图像i中识别道路8和/或房屋10和/或树11，即通常是对象。

在图3和图4中，对于两种捕获情况说明直方图扩展12的操作。

为此，在图3和图4中，每个与已经联系图1所解释的相同的方式，示出了原始图像r的输入直方图hi和直方图扩展12之后的输出图像i的输出直方图ho。通过以将极限值l作为曲线参数的扩展函数13执行直方图扩展12。在所示示例中，极限值l是输出图像i的像素的输出光亮度值lo的最小值。换句话说，通过极限值l，可以确定扩展函数13的下极限u的纵坐标设定或纵坐标位移15。在扩展函数13中，可以设定下极限u的横坐标位置16和扩展函数13的上极限o的横坐标位置17，使得作为横坐标值的下极限u对应于输入直方图hi的最小值lmin，以及上极限o的横坐标值17对应于输入直方图hi的最大值lmax。

在机动车辆3中，极限值l可以根据环境8的亮度或根据与亮度相关的参数值(例如曝光周期s和/或增益g)来设定。对此，曝光周期s或增益g可以例如从图像传感器5发送到图像处理装置6，如图2所示。在所示的示例中，对于环境亮度值b1，通过由图像处理装置6将限制值l设置为值l1产生关闭周期s和/或增益g的值。相应地，从下极限l1延伸到最大值(这里为255)的输出直方图ho的结果因此具有小于最大动态范围dmax的动态范围do。

在图4中，示出了捕获情况，其中捕获情况的亮度值b2小于图3所示的捕获情况的亮度值b1。换句话说，它是以较低的亮度捕获原始图像r。通过图像处理装置6，在该示例中，例如通过切换操作18将极限值相应地从值l1切换到大于值l1的值l2。因此，输出直方图ho的动态范围do减小。

因此，极限应用于调整成像器看到的环境的光照水平的直方图的拉伸。可以通过监视图像的曝光和增益控制来确定场景的光照水平，基于这些读数，我们可以调整图像的直方图拉伸极限，以在非常低的光照下给出更亮的图像，并且在光照水平稍高一点下给出较低的亮度和较高的对比度。

直方图拉伸增加了图像的对比度。可以在系统上启用或禁用直方图拉伸。启用应用在最大到最小灰度级的图像的直方图拉伸。极限可以应用于直方图的尺度。图像处理装置可基于成像器的曝光增益(换句话说，基于成像器看到的场景的光照水平)动态地在直方图上应用极限。通过限制直方图的较低水平，我们可以使图像在非常低的光照水平下变亮(减少对比度)。这样做的副作用就是在10勒克斯的光照水平，光照水平增加了图像。

本发明将在非常低的光照(增亮图像)的直方图的较低水平提供极限，但是随场景变亮动态地更新极限，

因此保持场景的对比度。

本发明的期望效果是在非常低的光照水平(约0.5勒克斯)处具有极限l2，并且读取成像器的曝光和增益控制动态地更新直方图在光照水平为2勒克斯的极限1。然后，一旦图像的曝光增益是对应于光照水平-10lux或更高的值(例如当不再需要图像的增亮时)，切换到无极限直方图拉伸图像(对比度增加到最大的可能)。

期望成就的示例用例：

在非常低的光照水平(0.5勒克斯)(曝光和增益值将高)，我们想应用直方图a(极限l2)。在0.5勒克斯，无极限直方图拉伸具有高对比度，但图像不是很亮。我们想应用具有极限2的直方图a。这应用像素可以是多暗的极限，将较暗的光亮度值拉到较亮的光亮度值。本发明的期望效果是在非常低的光照水平下具有极限2的直方图(增亮图像)。我们只能在不减小对比度太多在一定程度上增亮)。

在更高的光照水平(2勒克斯)(曝光和增益值将小于0.5勒克斯)，我们想应用直方图b(限制l1)：在2勒克斯，无极限直方图拉伸提供了一个高对比度但仍然有点暗的图像。我们想使用具有极限1的直方图b，使图像稍微增亮的同时保持高对比度水平。

要动态更新直方图极限，我们使用图像的增益和曝光值：

图像曝光＝e

图像增益＝g

极限1曝光/增益阈值＝e1或g1

限制2曝光/增益阈值＝e2或e2

无极限＝e3或g3

直方图拉伸极限＝l

示例逻辑：

ife>e1org>g1

{

l＝limit_j

}

elseife>e2org>g2

{

l＝limit_2

}

elseife>e3org>g3

{

l＝nolimit＝0

}

此外，本发明可以响应于成像器温度来调节极限，以减轻噪声对极限计算的影响。

总的来说，该示例示出了如何通过本发明提供具有动态限制的直方图扩展，以根据图像传感器曝光周期和/或图像传感器增益来调整限制。