车辆摄相机系统的制作方法

本公开内容涉及一种车辆摄相机系统。

背景技术

越来越多的车辆配备有摄相机来检测车道标志、障碍物、标牌、基础设施、其他车辆、行人等。摄相机例如可以用于增强安全车辆操作和/或在自动驾驶期间引导车辆。虽然当前的摄相机适合其预期的用途，但当前的摄相机有待改进。

关于高动态范围(hdr)成像，使用单个摄相机拍摄的多个图像会被处理并且合并成单个hdr合成图像。多个图像中的每一个图像通常具有不同光量下的不同曝光值(ev)，例如第一图像正常被曝光，第二图像曝光不足以及第三图像曝光过度。图像被对准并且然后组合以获得最终图像。这样对多个图像的hdr处理在计算上是繁重的，特别是对于以高速行驶的自动车辆系统。例如，本教示有利地包括用于促进hdr处理和增强车辆摄相机系统的对象检测能力的摄相机系统和方法。本领域技术人员将认识到，除了本文中阐述的内容以外，本教示还提供了许多附加的优点和意想不到的结果。

技术实现要素：

本公开内容的目的是提供一种用于利用hdr摄相机系统来创建高动态范围(hdr)图像的方法。

本公开内容的另一目的是提供一种高动态范围成像系统。

根据本公开内容的一个方面，提供了一种用于利用hdr摄相机系统创建高动态范围(hdr)图像的方法。该方法包括：利用hdr摄相机系统的摄相机捕获多个摄相机曝光；从多个摄相机曝光的第一子集创建第一hdr图像，第一子集中的每个摄相机曝光具有不同的曝光值；以及从多个摄相机曝光的第二子集创建第二hdr图像，第二子集包括来自第一子集的至少一个曝光以及比第一子集中的曝光更近捕获的至少一个附加曝光，第二子集中的每个曝光具有不同的曝光值。

根据本公开内容的另一方面，一种高动态范围(hdr)成像系统包括：摄相机，其被配置成捕获区域的多个摄相机曝光；以及控制模块，其被配置成：从多个摄相机曝光的第一子集创建第一hdr图像，第一子集中的每个摄相机曝光具有不同的曝光值；以及从多个摄相机曝光的第二子集创建第二hdr图像，第二子集包括来自第一子集的至少一个曝光以及比第一子集中的曝光更近捕获的至少一个附加曝光，第二子集中的每个曝光具有不同的曝光值。

根据本公开内容，可以加速从多个摄相机曝光创建hdr图像，以用于输入到任何合适的对象检测模块，并且促进hdr处理并增强车辆摄相机系统的对象检测能力。

附图说明

本文中描述的附图仅用于说明所选实施方式的目的，而非所有可能的实现，并且不旨在限制本公开内容的范围。

图1示出了根据本教示的包括在示例性车辆中的摄相机系统；

图2a示出了根据本教示的具有不同曝光值的多个摄相机曝光以及选择多个摄相机曝光组以创建多个hdr图像；

图2b示出了根据本教示的具有不同曝光值的附加摄相机曝光以及选择多个摄相机曝光组以创建多个hdr图像；

图3示出了根据本教示的用于确定摄相机曝光的最佳数目以创建高动态范围(hdr)图像的方法；

图4示出了根据本教示的用于创建训练hdr图像数据的训练模型的方法；以及

图5示出了根据本教示的用于选择摄相机曝光以用于从具有不同曝光值的多个摄相机曝光创建hdr图像的方法。

贯穿附图的多个视图，对应的附图标记指示对应的部分。

具体实施方式

现在将参照附图更全面地描述示例性实施方式。

首先参照图1，附图标记10示出根据本教示的高动态范围(hdr)摄相机或成像系统。hdr摄相机系统10通常包括hdr摄相机20和控制模块30。虽然hdr摄相机系统10被示出为包括在客运车辆40中，但是hdr摄相机系统10可以包括在任何合适类型的车辆中。例如，hdr摄相机系统10可以包括在任何合适的休闲车辆、公共交通车辆、建筑车辆、军用车辆、摩托车、建筑设备、采矿设备、船只、飞行器等中。此外，hdr摄相机系统10可以与任何合适的非车辆应用一起使用，以增强hdr摄相机20对感兴趣的对象成像的能力。hdr摄相机系统10可以被称为hdr成像系统。

hdr摄相机20可以是能够对感兴趣的对象成像的任何合适的摄相机。例如，hdr摄相机20可以是任何合适的可见光摄相机。摄相机类型可能包括pc网络摄相机、诸如gige和usb3摄相机的工业摄相机、傻瓜摄相机以及高级dslr摄相机。这也可以包括对诸如ir(红外)、nir(近红外)、fir(远红外)、swir(短波红外)和lwir(长波红外)的光谱的不同区域进行成像的摄相机。hdr摄相机20可以安装在车辆40周围的任何合适的位置处，例如在车辆40的车顶上、在车辆40的前部处、在车辆40的挡风玻璃上等。尽管本文中描述的示例性系统包括单个摄相机20，但hdr摄相机系统10可以包括任何合适数量的摄相机20。

如本文中进一步说明的，控制模块30接收由hdr摄相机20捕获的多个曝光(有时称为摄相机曝光或图像曝光)，并且选择多个曝光来组合成单个hdr图像。在包括下面的限定的本申请中，术语“模块”可以用术语“电路”替换。术语“模块”可以指执行代码的处理器硬件(共享的、专用的或组)和存储有处理器硬件执行的代码的存储器硬件(共享的、专用的或组)的一部分或包括处理器硬件和存储硬件。该代码被配置成提供本文中描述的模块、控制器和系统的特征。术语存储硬件是术语计算机可读介质的子集。术语计算机可读介质不包含通过介质(例如在载波上)传播的暂态电信号或电磁信号；因此，术语计算机可读介质被认为是有形的和非暂态的。非暂态计算机可读介质的非限制性示例是非易失性存储器装置(例如闪速存储器装置、可擦除可编程只读存储器装置或掩模只读存储器装置)、易失性存储器装置(例如静态随机存取存储器装置或动态随机存取存储器装置)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)以及光存储介质(例如cd、dvd或蓝光光盘)。

由hdr摄相机20捕获的多个曝光中的至少两个曝光具有不同的曝光值，曝光值基于曝光中的光量而变化。例如，如图2a所示，以附图标记50a-50l示出了由hdr摄相机20捕获的多个摄相机曝光。曝光50a-50l按时间顺序排列。因此，曝光50a在曝光50b之前被hdr摄相机20捕获。曝光50c在曝光50b被捕获之后并且在曝光50d被捕获之前由hdr摄相机20捕获。在曝光50a-50k中的每个曝光被捕获之后，曝光50l被hdr摄相机20捕获。

曝光50b具有曝光值0，因此是基准曝光。曝光50e、50h和50k也具有曝光值0，因此也是基准曝光。曝光50a具有曝光值-1，这指示曝光50a具有较少的光或比基准曝光50b更暗。曝光50a可以具有比基准曝光50b更少的任何合适的光量，例如，基准曝光50b的一半的光量。曝光50c具有曝光值+1，这指示曝光50c比基准曝光50b具有更多的光。曝光50c可以具有比基准曝光50b的光更大的任何合适的光量，例如，基准曝光50b的两倍的光量。曝光50f、50i和50l各自具有曝光值+1，因此各自具有与曝光50c相似的光量。曝光50d、50g和50j各自具有曝光值-1，因此各自具有与曝光50a相似的光量。

如本文中进一步说明的，控制模块30将具有不同曝光值的曝光50a-50l中的两个或更多个组合成单个hdr图像。在图2a的示例中，具有不同曝光值的曝光50a-50l中的三个被组合成单个hdr图像。具体地，由控制模块30将曝光50a、50b和50c组合成单个hdr图像52a。因此，曝光50a、50b和50c是多个摄相机曝光50a-50l的第一子集。该第一子集中的这些曝光50a、50b和50c中的每一者具有不同的曝光值。

在创建第一hdr图像52a之后，控制模块30创建第二hdr图像52b。第二hdr图像52b包括第一子集中的曝光50b和曝光50c中的至少一个，并且利用具有与50a的曝光值相同的曝光值的最近捕获的曝光50d来替换至少曝光50a。因此，在图2a的示例中，第二hdr图像52b包括曝光50b和50c，并且用最近捕获的曝光50d替换曝光50a。在一些应用中，第二hdr图像52b可以包括曝光50c、曝光50d和曝光50e。因此，曝光50d和曝光50e可以分别替换曝光50a和曝光50b。

控制模块30还被配置成创建第三hdr图像52c，该第三hdr图像52c在图2a的示例中包括曝光50c、50d和50e。由控制模块30创建的第四hdr图像52d包括曝光50d、50e和50f。如本文中进一步说明的，控制模块30可以将hdr摄相机20配置成捕获包括任何合适数量的曝光值的任何合适数量的曝光。此外，控制模块30可以被配置成创建包括任何合适数量的曝光的hdr图像，并且保持从一个hdr图像到下一个hdr图像(例如从hdr图像52a到hdr图像52b)的任何合适数量的曝光。

图2b示出了控制模块30将hdr摄相机20配置成捕获与图2a的曝光50a-50l相比包括附加曝光值的多个摄相机曝光60a-60l的示例。具体地，除了包括上述的曝光50a-50l的曝光值以外，还包括曝光值-2和+2。例如，曝光60a具有曝光值-2，这指示曝光60a与具有曝光值为-1的曝光60b相比更暗，例如是曝光60b的两倍暗。具有曝光值为+2的曝光60e与具有曝光值为+1的曝光60d相比更亮。例如，曝光60e的光可以包括两倍于曝光60d的光。曝光60f包括曝光值为-2，并且比具有曝光值为-1的曝光60g更暗，例如是曝光60g的两倍暗。曝光60j具有曝光值+2，因此与曝光60i相比具有更多的光，例如两倍于曝光60i的光。曝光60k具有曝光值-2，因此与具有曝光值为-1的曝光60l相比具有更少的光，例如光量是具有曝光值为-1的曝光60l的光量的一半。

在图2b的示例中，控制模块30被配置成根据曝光60a-60l创建hdr图像62a-62e，曝光60a-60l在图2b中按照时间顺序从左到右排列。hdr图像62a-62e中的每一个hdr图像包括具有不同曝光值的五个曝光。具体地，控制模块30被配置成创建包括曝光60a-60e的第一hdr图像62a，曝光60a-60e构成多次曝光60a-60l的第一子集。控制模块30被配置成创建第二hdr图像62b，该第二hdr图像62b包括用于创建hdr图像62a的曝光60a-60e中的至少一者。在所示的示例中，控制模块30根据曝光60b-60f创建hdr图像62b。更近捕获的曝光60f替换曝光60a。控制模块30还被配置成形成hdr图像62c、62d和62e，其中每一个hdr图像都包括用于创建先前hdr图像的四个曝光再加上一个更近捕获的曝光，该一个更近捕获的曝光的曝光值与被替换的先前捕获的hdr图像的最早曝光的曝光值相同。尽管图2b的示例示出了由用于创建前一hdr图像的四个曝光加上单个更近捕获的曝光形成的hdr图像62a-62e，但控制模块30可以被配置成使用用于创建之前的hdr图像的任何合适数量的曝光加上任何合适数量的更近捕获的曝光来创建hdr图像。

通过创建保留来自先前创建的hdr图像的至少一个曝光的hdr图像，控制模块30可以有利地加速创建来自多个摄相机曝光的hdr图像，以用于输入到任何合适的对象检测模块32，例如车道检测模块。例如，当车辆40以高速度行驶时，由hdr摄像机20捕获的曝光必须被快速处理成hdr图像以用于输入到车道检测模块，使得对象检测系统可以容易地识别车道标记的位置。

继续参照图1、图2a和图2b，并且另外参照图3，现在将描述根据本教示的方法110，用于设置包括在由控制模块30创建的每个hdr图像(例如hdr图像52a-52d和hdr图像62a-62e)中的摄相机曝光的数量。首先参照图3的块112，控制模块30访问包括训练图像数据的训练模型。训练模型可以以任何合适的方式提供，例如由hdr成像系统10的开发者、制造商、分销商等提供。训练模型可以以任何合适的方式生成，例如通过图4所示的方法210来生成。

参照图4的方法210的块212，以任何合适的方式(例如由hdr成像系统10的开发者、制造商、分销商等)捕获针对通常遇到的各种类型的场景的多个训练hdr图像。例如，可以在不同的条件(例如不同的光和可见度条件)下针对如下的场景中的每一个场景捕获3000个图像：正常场景；下雨场景；下雪场景；晴天场景；多云场景；隧道进入场景；以及隧道离开场景。参照块214，训练hdr图像中的每一个训练hdr图像被转换成任何合适的格式，以使得能够从每一个训练hdr图像中提取各种特征。例如，可以将训练hdr图像的彩色版本转变成灰度图像，对灰度图像执行多个高斯模糊，并且对高斯模糊进行差分。训练hdr图像中的每一个训练hdr图像也可以从彩色版本转换成色调、饱和度和明度(hsv)图像。

在块216处，从每一个训练hdr图像的每个摄相机曝光中提取各种特征。可以提取任何合适的特征，例如以下中的一个或更多个：每个训练hdr图像中的曝光的数目(块218a)；每个训练hdr图像的每个曝光之间经过的时间(218b)；针对每个训练hdr图像的每个曝光的一个或更多个平面的均值和/或标准偏差(218c)。示例性平面包括红绿蓝色平面一起、红色平面、蓝色平面、绿色平面、色调平面、饱和度平面和明度平面(valueplane)。参照块220，以任何合适的方式评估每个训练hdr图像(组合的训练hdr图像和/或用于创建训练hdr图像的每个曝光)的图像质量。例如，每个训练hdr图像(组合的训练hdr图像和/或用于创建训练hdr图像的每个曝光)可以由hdr成像系统10的开发者、制造商、分销商等对质量(例如好的或坏的质量)进行观察并且分级。分级可以发生在方法210期间的任何合适的时间处，并且不需要如图4所示的那样发生在块222之前。在从每个训练hdr图像的每个曝光已经提取上述特征或任何其他合适的特征之后，方法210进行到块222，其中，特征和图像分级被用于训练利用任何合适的算法(例如随机森林算法)训练图像数据的模型。

重新参照图3的方法110，在控制模块30访问训练图像数据(例如根据图4的方法210创建和训练的图像数据)的训练模型之后，控制模块30进行到图3的块114。在块114处，控制模块30从hdr摄相机20取回实时摄相机曝光并且从其创建测试hdr图像，包括任何合适数量的曝光，例如图2a所示的曝光50a-50l中的三个，或图2b所示的曝光60a-60l中的五个。参照块116，控制模块30根据捕获到的场景(例如正常场景、下雨场景、晴天场景、多云场景、隧道进入场景或隧道离开场景)来对测试hdr图像进行分类。在块118处，例如以与先前结合块214对训练hdr图像的描述所说明的方式相同方式来准备测试hdr图像，以用于从测试hdr图像中提取特征。然后，从测试hdr图像中(例如从测试hdr图像的每个曝光中)提取相关特征。可以提取任何合适的特征，例如至少方法210的块216a、216b和216c中详述的特征。

在块120处，将提取的测试hdr图像的特征与训练图像数据的训练模型的训练图像的特征进行比较。在块122处，识别具有与测试hdr图像(和相同场景)的特征最相似的特征并且具有如在块220处所评估的满意的图像质量的训练hdr图像。参照块124，控制模块30被设置成使得由此创建的hdr图像由如下数目的曝光(例如图2a的示例中的三个摄相机曝光或图2b的示例中的五个摄相机曝光)组成，该曝光数目与在块122处被确定为与测试hdr图像最相似的训练hdr图像中包括的曝光数目匹配。因此，控制模块30将有利地创建其清晰度最适合于目前条件的hdr图像。例如，方法110可以例如由控制模块30定期执行，以确保随着环境条件改变而生成最高质量的hdr图像。

参照图5，示出了根据本教示的用于创建具有如下数目的曝光的hdr图像的方法310，该数目与用于创建被确定为与测试hdr图像最相似(如方法110的块124处确定的那样)的训练hdr图像的曝光数目匹配。尽管方法310被描述为使用本教示的系统10以及方法110和210，但方法310可以使用任何其他合适的系统和方法来执行。

首先参照方法310的块312，捕获多个摄相机曝光，例如曝光50a-50l(图2a)或曝光60a-60l(图2b)。参照块314，控制模块30或任何其他合适的模块从多个摄相机曝光的第一子集创建第一hdr图像(例如图2a的hdr图像52a或图2b的hdr图像62a)曝光。第一子集中的每个摄相机曝光具有不同的曝光值。参照块316，控制模块30或任何其他模块从多个摄相机曝光的第二子集创建第二hdr图像(例如图2a的hdr图像52b或图2b的hdr图像62b)。第二子集包括来自第一子集中的曝光的至少一个曝光以及比第一子集的曝光更近捕获的至少一个附加曝光。第二子集中的每个曝光具有不同的曝光值。通过创建从先前创建的hdr图像中保留至少一个曝光的hdr图像，本教示可以有利地加速从多个摄相机曝光中创建hdr图像，以用于输入到任何合适的对象检测模块，例如车道检测模块。例如，当车辆以高速度行驶时，由hdr摄相机捕获的曝光必须被快速处理成hdr图像，以用于输入到车道检测模块，使得对象检测系统可以容易地识别车道标记的位置。

为了说明和描述的目的已提供了对实施方式的前述描述。这并不旨在是穷尽性的或限制本公开内容。特定实施方式的各个元件或特征通常不限于该特定实施方式，而是在适用的情况下是可互换的，并且可以在所选择的实施方式中使用，即使没有具体示出或描述。特定实施方式的各个元件或特征也可以通过多种方式变化。这些变化不被视为偏离本公开内容，并且所有这些修改旨在被包括在本公开内容的范围内。

提供了示例性实施方式，使得本公开内容将是透彻的，并且将向本领域技术人员充分地传达该范围。阐述了许多具体细节，例如特定部件、装置和方法的示例，以提供对本公开内容的实施方式的透彻理解。对于本领域技术人员明显的是，不需要采用具体细节，该示例性实施方式可以以许多不同的形式呈现，并且细节和实施方式都不应被解释为限制本公开内容的范围。在一些示例性实施方式中，未详细描述公知的处理、公知的装置结构和公知的技术。

本文中所使用的术语仅用于描述特定示例性实施方式的目的，而不旨在是限制性的。如本文中所使用的，单数形式的“一”、“一个”和“该”也可以旨在包括复数形式，除非上下文另有明确指出。术语“包括”、“包含”、“含有”和“具有”是包容性的，因此指定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组合。本文中描述的方法步骤、处理和操作不应被解释为必须要求它们以所讨论或示出的特定顺序执行，除非被特别地标识了执行的顺序。还应当理解，可以采用附加的或可替选的步骤。

当元件或层被称为在另一元件或层“上”、“啮合至”、“连接至”或“耦接至”另一个元件或层时，其可以直接在该另一元件或层上、直接啮合至、连接至或耦接至该另一元件或层，或者可能存在中间元件或层。相对地，当元件被称为直接在另一元件或层“上”、“直接啮合至”、“直接连接至”或“直接耦接至”另一个元件或层时，可能不存在中间元件或层。用于描述元件之间的关系的其他词语应当以类似的方式来解释(例如，“在……之间”与“直接在……之间”、“相邻”与“直接相邻”等)。如本文中所使用的，术语“和/或”包括一个或更多个相关列出的项目的任意组合和所有组合。

尽管术语第一、第二、第三等可以在本文中用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应受这些术语的限制。这些术语可以仅用于将一个元件、部件、区域、层或部分与另一个区域、层或部分区分开来。诸如“第一”、“第二”和其他数字术语的术语在本文中使用时不意味着序列或顺序，除非上下文明确指出。因此，下面讨论的第一元件、第一部件、第一区域、第一层或部分在不脱离示例性实施方式的教示的情况下可以被称为第二元件、第二部件、第二区域、第二层或部分。

为了便于描述，本文中可以使用诸如“内”、“外”、“下”、“下方”、“以下”、“上方”、“以上”等的空间相对术语，以描述一个元件或特征与另一个(或多个)元件或特征的关系，如图所示。空间相对术语可以旨在包括除了图中所描绘的取向以外的装置在使用或操作中的不同取向。例如，如果图中的装置翻转，则被描述为在其他元件或特征“下方”或“以下”的元件将被定向为在所述其他元件或特征“上方”。因此，示例术语“下方”可以包括上方和下方两个方向。该装置可以以其他方式定向(旋转90度或以其他方向)，并且本文中所使用的空间相对描述符被相应地解释。

尽管已经通过示例的方式描述了车辆摄相机系统的实施方式、配置、方面，但是应当理解，本公开内容的实施方式、配置、方面不限于以上描述的各个实施方式、各个配置以及各个方面。例如，通过适当组合在不同实施方式、配置和方面中公开的技术部分获得的实施方式、配置、方面被包括在本公开内容的实施方式、配置和方面的范围内。