带有原始图像信号接口的汽车摄像机的制作方法

本发明涉及一种摄像机系统，它尤其可在车辆中用作驾驶员辅助系统和自动驾驶的传感器系统。

背景技术：

已知带摄像机头无自身图像处理装置的摄像机系统，该系统将一原始图像数据流提供给一控制装置(ecu(电子控制单元))。外部控制装置或中央控制装置对原始图像数据进行处理。已可供使用的全景环视摄像系统根据这一原理工作。

已知作为替代选择的是具有自身图像处理装置的智能摄像机，其中，原始图像数据流仅在内部生成，而不提供给一外部接口使用。在此，输出的是从图像处理装置获得的、例如有关目标的数据。

在用于自动驾驶的系统解决方案框架中，当前正在考虑冗余方案，其中，图像处理在多处同时进行。这导致高要求的硬件耗用量以及由此导致相关的高成本费用。同时，ad(自动驾驶)系统也应具有adas(辅助驾驶)系统装置一尽可能高的重复使用率，因为未来几年中，这些解决方案的市场份额也将大大高于ad(自动驾驶)系统。预计2025年，此类摄像机系统中只有约10％到20％是ad(自动驾驶)系统。2020年投放市场的首个ad(自动驾驶)系统，没有或只有极小的这类协同作用。对后续解决方案(从2021年起)，必须通过包括对adas(辅助驾驶)和ad(自动驾驶)图像处理功能的共同验证等进行成本费用的优化。

技术实现要素：

本发明的一项任务是提供一种既可用于adas(辅助驾驶)也可用于ad(自动驾驶)的智能摄像机。

该解决方案的出发点是，智能摄像机的设计方式使其成为一冗余方案的固定组成部分，因为它可在内部处理原始图像数据，但也可输出原始图像数据，以便能在其他地方对原始图像数据进行处理。

根据本发明的摄像机装置包括图像传感器(图像拍摄传感器、成像器)，集成处理单元，例如soc(片上系统)以及输出接口，例如lvds(低压差分信号)接口。该摄像机装置适用于在车辆中作为驾驶员辅助系统和(或)自动驾驶的传感器系统的固定组成部分。摄像机装置包括分离器(信号分离器)，它从图像传感器读取原始图像信号(或原始图像数据、原始数据或图像原始数据)，然后将图像数据既提供给集成处理单元也提供给输出接口，以传输到外部处理单元。集成处理单元设置(或配置)用于通过处理所提供的原始图像信号来确定第一目标数据。摄像机装置优选为设置在车辆中的前置摄像机，即检测区域朝前的车载摄像机。

本发明的优点是能实现自动驾驶领域中简化的冗余方案，该冗余方案同时具有与驾驶员辅助系统的协同效应，由此可降低成本费用。

同时，所提出的解决方案能使这类智能摄像机的图像处理soc(片上系统)不会因原始图像数据的提纯处理/精细处理(ausschleifen)造成过载。否则，通常情况下尤其是soc(片上系统)外部存储器所需带宽会过载，这会导致图像处理的性能下降，或在极端情况下不能完成图像处理，因为最大存储器带宽不足以进行图像处理和图像原始数据的提纯处理。

根据一优选设计方案，图像传感器经由点对点式连接装置(尤其是csi-2(摄像机串行接口2))输出其原始图像信号。集成处理单元通过点对点式连接装置读取原始图像信号。分离器是图像传感器和集成处理单元之间的数据路径中的点对点式连接装置分离器。csi-2(摄像机串行接口2)是一串行连接的标准，它仅允许点对点式连接，即(与总线系统相反)仅在两方之间的连接。mipi联盟的正式名称是“mipi摄像机串行接口2”(mipi＝移动行业处理器接口)。使用csi-2(摄像机串行接口2)时，分离器是一csi-2(摄像机串行接口2)分离器。

分离器优选将原始图像信号传输给一序列化装置，该序列化装置将原始图像信号转换为序列化信号并将它们提供给外部输出接口。序列化装置尤其对数据进行格式和电气转换，使数据从csi-2(摄像机串行接口2)转换为两线lvds(低压差分信号)连接。

在一有益的设计方案中，序列化装置集成在分离器中。

外部输出接口优选设置成使原始图像信号作为lvds(低压差分信号)输出。必要时存在的序列化装置特定用于外部输出接口。例如gmsl(美信集成产品(maximintegrated)吉比特多媒体串行链路)或fpd-linkii(ti)可用作外部输出接口。lvds(低压差分信号)涉及物理传输层，并适用于两种接口“格式”。

集成处理单元优选经由i²c(集成电路总线)数据总线将用于控制图像传感器的控制指令直接传输给图像传感器。i2c(集成电路总线)是一种串行总线系统，具有相对较低的传输速度，例如将模数转换器、eeprom(电可擦可编程只读存储器)等组件连接到微控制器(μc)或片上系统(soc)。主机适配器可与所有其他参与者沟通或从其他参与者处获取数据。

有益的方式是将分离器设置用于处理原始图像信号，并将处理后的原始数据传输给集成处理单元。一种处理方式例如可实施图像传感器的像素合并。像素合并是将相邻像素合并为较大单位，例如分别可将两个水平相邻像素合并成一宽像素，或分别将两个垂直相邻像素合并成一高像素。相对于最大分辨率的图像(未经像素合并的图像)，像素合并降低分辨率，由此可更快地对图像进行进一步的处理。有益的是一种2x2像素合并，其中将形成一像素正方形的四个相邻像素进行合并，与此相应，还可实现其中9个像素合并的3x3像素合并等等。

在此，分离器可优选设置用于向输出接口和/或序列化装置传输原生的、即未经处理的原始图像信号。

根据另一有益的结构形式，集成处理单元可将用于控制图像传感器的控制指令传输到分离器，而分离器设置用于对控制指令进行调整适配，并将调整适配后的控制指令传输给图像传感器。例如，soc(片上系统)可要求成像器以像素合并模式工作。但是，分离器对控制指令以如下方式调整适配，即，控制指令通知成像器其应以未经像素合并的方式工作，因为分离器要将成像器的高分辨率传输到序列化装置。然后，分离器接管输出到soc(片上系统)的像素合并，并将处理(像素合并)后的原始数据传输给soc(片上系统)。

此外，本发明的主题是用于以高成本效率生产摄像机装置的基本设计的多个不同配置结构，这些不同配置结构包括至少一组根据本发明所述的摄像机装置和另一组无分离器并且无输出接口的摄像机装置。优选使用成本费用优化的摄像机装置的印刷电路板的配置选项，使摄像机的大部分(昂贵的)组件可无改变地用于所有其他变型中。根据配置选项，分离器和输出接口作为附加组件焊接到未加改变的电路板上。

本发明的另一主题还涉及一种用于驾驶员辅助系统和自动驾驶的车载传感器系统，其中，该传感器系统包括至少一个根据本发明所述的摄像机装置和外部处理单元。

车载传感器系统的外部处理单元优选设置用于通过对摄像机装置的输出接口提供的原始图像信号的处理确定第二目标数据。

附图说明

下面详细解释实施方式、其他方面以及附图。其中，

图1展示根据现有技术在不使用智能摄像机的情况下用于自动驾驶的冗余方案，

图2展示用于自动驾驶的新冗余方案，

图3展示在智能摄像机的第一种变型中的解决方案，

图4展示在智能摄像机的第二种变型中的解决方案，

图5展示在智能摄像机的第三种变型中的解决方案，

图6展示在智能摄像机的第四种变型中的解决方案，以及

图7展示在无原始数据输出的配置选项中的智能摄像机。

具体实施方式

图1示意性展示不使用智能摄像机的ad(自动驾驶)的“经典”冗余方案。

检测区域朝前的第一前置摄像头11经由lvds(低压差分信号)将检测到的图像数据作为原始数据传输到包括第一图像处理单元12的第一控制装置10。第一控制装置10与第一电源16电气连接，并经由第一车辆接口18输出数据用于其他车辆控制装置。附加的第一传感器32可将数据提供给第一控制装置10。

检测区域朝前的第二前置摄像头21借助lvds(低压差分信号)与包括第二图像处理单元的第二控制装置20相连接。第二控制装置20与第二电源26电气连接，并经由第二车辆接口28输出数据用于其他车辆控制装置。附加的第二传感器34可将数据提供给第二控制装置20。由此，第一控制装置和第二控制装置(10、20)是冗余的，但所有部件必须双重设置。

图2示意性展示用于ad(自动驾驶)的替代选择冗余方案。如图1所示，设有第二控制装置20，其包括集成图像处理单元22、lvds(低压差分信号)输入端、第二电源26、第二车辆接口28和与附加的第二传感器34连接的连接装置。与“经典”冗余方案的区别在于检测区域朝前的智能摄像机100通过lvds(低压差分信号)将原始图像数据传输给第二控制装置20，此外，在集成图像处理单元(101)中，例如在soc(片上系统)上通过处理原始图像数据来确定目标数据。所确定的目标数据被传输到没有图像处理单元的变化后的第一控制装置14。变化后的第一控制装置14与第一电源16、第一车辆接口18和附加的第一传感器32的连接保持不变。

换句话说，为了能在智能摄像机和第二ecu(电子控制单元，电子控制装置)中同时进行图像处理，智能摄像机优选通过一外部接口将其成像器的原始数据无改变地提供给该ecu(电子控制单元)。外部接口优选是lvds(低压差分信号)接口。

由于成像器与智能摄像机中处理单元的接口是一点对点式连接装置(csi-2(摄像机串行接口2))，因此无法简单利用成像器的原始信号。作为替代，在这连接装置中插入一智能硬件器件(分离器或“csi-2(摄像机串行接口2)分离器”)，该智能硬件器件从成像器中读取原始信号，并在必要时对其进行处理，然后提供给智能摄像机的处理单元(soc(片上系统))和外部lvds(低压差分信号)接口的序列化装置使用。

从soc(片上系统)的角度来看，这一附加硬件器件是透明的，即对处理单元而言，似乎直接与成像器相连接。

下面参照图3到图6更详细地解释这种智能摄像机是如何构建的。

图3示意性地展示智能摄像机100的第一示例性实施例。图像拍摄传感器(以下称为成像器)110检测图像数据并将其作为原始信号经由一点对点式连接装置(csi-2(摄像机串行接口2))传输给分离器130(“csi-2(摄像机串行接口2)分离器”)，分离器130从成像器110读取原始信号，然后将其提供给集成处理单元120(soc(片上系统))和一序列化装置140作为原生成像器原始数据使用。序列化装置通过外部lvds(低压差分信号)接口输出成像器原始数据。集成处理单元对原生成像器原始数据进行分析评估，并同时确定经由can(区域网络)、can-fd(弹性数据率的控制器区域网络)、flexray或以太网输出给车辆网络的目标数据。另一方面，集成处理单元120或soc(片上系统)经由i²c(集成电路总线)数据总线向成像器110发送控制指令。

图4示意性展示智能摄像机102的第二实施例。第二实施例与第一实施例的区别在于，这里序列化装置142被集成到分离器132中，由此使分离器132直接经由lvds(低压差分信号)输出成像器原始数据。

图5示意性展示智能摄像机104的第三实施例。它与第一实施例的区别在于，分离器134对原始数据进行处理，并将处理后的成像器原始数据经由csi-2(摄像机串行接口2)输出给一变型的集成处理单元124。该变型的集成处理单元124对处理后的成像器原始数据进行分析评估，并同时确定经由can(区域网络)、can-fd(弹性数据率的控制器区域网络)、flexray或以太网输出给车辆网络的目标数据。另一方面，变型的集成处理单元124经由i²c(集成电路总线)数据总线将控制指令传输给分离器134。分离器134对控制指令进行调整适配，相应调整适配后的控制指令经由i²c(集成电路总线)数据总线传输给成像器110。

某些情况下，智能摄像机中的soc(片上系统)的处理性能低于并联连接的外部ecu(电子控制单元)的处理性能(参照根据图2所示方案)。尤其在高分辨率成像器的情况下，可能有必要还必须通过“csi-2(摄像机串行接口2)分离器”对用于智能摄像机soc(片上系统)的成像器原始图像数据流进行处理(即，例如降低分辨率，减小图像区域或降低帧频)，同时将处理后的成像器图像数据无变化地转发给外部接口。

图6示意性展示第四智能摄像机106的实施例。该实施例与第三实施例的区别在于，这里序列化装置146被集成在分离器136中，由此使分离器136经由lvds(低压差分信号)输出成像器原始数据。

图7展示无原始数据输出的智能摄像机108的不同配置。在此省却了智能硬件器件138和序列化装置148(虚线框)。该不同配置允许以一种成本经济合理的方式共同生产带原始数据输出或无原始数据输出的变型。