图像采集系统的制作方法

本申请涉及人工智能技术领域，特别是涉及一种图像采集系统。

背景技术：

伴随着汽车产业的技术升级，特别是人工智能技术的深入，无人驾驶车辆逐渐出现在交通出行中，为日常生活带来了巨大便利。其中，感知系统是无人驾驶车辆获得外部环境特征，进行车辆决策、控制的信息基础。目前无人驾驶的感知系统主要通过位置、图像、声音等信号感受周遭环境，并将多种感知数据进行融合。

无人驾驶车辆的感知系统主要包含云端和车端两个部分，其中云端包含高精地图绘制，深度学习模型训练，模拟、数据存储等。车端的感知系统是基于计算机和多传感器的系统。在硬件层面上，多种传感器直接地或通过接口设备间接地接入计算机系统；在软件层面上，传感器被抽象为机器人操作系统下的外设，并为应用算法所调用。车载相机是无人驾驶感知系统的重要单元，特别是在自动驾驶分级中的自动级别较高阶段如l4，l5，相机的数量一般配置8台以上、像素2mega以上。并且多路相机的图像数据需要预加工处理，例如环视拼接、矫正去畸变、图像加时间戳等。针对于上述需求，需要开发车载系统相机采集器。

鉴于无人驾驶技术初期，感知系统的硬件设备的形态集成度较低，功能各异的传感器接入分立的接口设备，再进一步将数据接入中控计算机内，设备的通用性差，平台可迁移性差，系统的升级周期长。

技术实现要素：

本申请提供了一种图像采集系统，提高无人驾驶车辆感知系统的硬件设备的集成度，提升硬件设备的通用性和可迁移性，缩短系统升级周期。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例提供了一种图像采集系统，包括图像采集pcie卡载板和相机信号链路子卡；

所述图像采集pcie卡载板与中央计算单元通过pcie接口相连，所述相机信号链路子卡通过板卡连接器连接在所述图像采集pcie卡载板上，各图像采集设备通过并行部署的设备连接器与所述相机信号链路子卡相连；所述图像采集pcie卡载板和所述相机信号链路子卡均为标准pcie槽宽度；

所述相机信号链路子卡用于将不同标准的信号链路的图像数据转化为相匹配的接口数据上传给所述图像采集pcie卡载板；所述图像采集pcie卡载板用于按照图像处理指令对接收到的图像数据执行相应操作，所述图像处理指令为图像处理或图像存储或图像输出。

可选的，所述图像采集pcie卡载板为基于系统级芯片的fpga作为主控的电路板；

所述fpga包括嵌入式处理器和可编程逻辑单元，所述嵌入式处理器用于运行内核系统，并包括多个硬核外设接口；所述可编程逻辑单元用于支持固件下载逻辑配置、例化各功能接口ip、调用图像处理算法执行图像处理操作。

可选的，所述图像采集pcie卡载板还包括串化器电路，所述可编程逻辑单元还用于将所述图像数据通过mipid-phy发送接口发送至所述串化器电路，以使所述图像数据被串化后再输出。

可选的，所述嵌入式处理器包括内存控制器和固态存储器；

所述嵌入式处理器通过所述内存控制器与内存单元进行数据通讯；所述固态存储器存储所述系统级芯片的系统镜像和所述fpga运行时需要的加载逻辑。

可选的，所述相机信号链路子卡用于将所述图像处理发送至所述可编程逻辑单元，所述图像采集pcie卡载板进一步用于将所述图像数据经所述fpga内部总线传输至所述嵌入式处理器，所述嵌入式处理器通过sata接口将所述图像处理存储至固态硬件中。

可选的，所述板卡连接器包括触发信号接口和参数配置信号接口；所述图像采集pcie卡载板还用于当接收全球导航卫星系统的定位信号，基于所述定位信号的时间信息通过所述板卡连接器同步触发各图像采集设备进行图像采集。

可选的，所述图像采集pcie卡载板为标准pcie单槽宽度，所述相机信号链路板为标准pcie单槽宽度；所述图像采集pcie卡载板和所述相机信号链路板组合后形成标准pcie板卡双槽宽度。

可选的，所述板卡连接器具有mipi接口，所述相机信号链路子卡包括多个设备连接器和多个解串化器电路，每个设备连接器唯一对应一个解串化器电路；

所述解串化器电路用于将通过相应设备连接器发送的高速串行图像信号数据转化为mipi接口类型数据，以将所述图像数据通过mipi接口经由所述板卡连接器发送至所述图像采集pcie卡载板。

可选的，所述相机信号链路子卡还包括多个图像处理器，每个图像处理器与相应的解串化器电路相连，用于对所述解串化器电路输出图像数据进行相应的图像处理操作。

可选的，所述设备连接器为fakra连接器。

本申请提供的技术方案的优点在于，图像采集pcie卡载板和相机信号链路子卡均采用pcie标准卡形式，从而可以适配各种形态的中央处理单元，包含车载工控机环境，程序调试的桌面pc机环境，或进行大规模数据训练处理的服务器云环境。采用板载相机链路处理板的形式，可以实现单一载板适配不同信号链路标准的图像采集设备，适配、升级更加方便，有效提高了无人驾驶车辆感知系统的硬件设备的集成度，提升硬件设备的通用性和可迁移性，缩短系统升级周期。图像采集pcie卡载板上搭载相机信号链路子卡，相机信号链路子卡中的各设备连接器并行部署，不仅可适配不同串化高速链路如gmsl、fpd-link、thine等标准的相机，提升图像采集器的适用范围，还可以灵活增减图像采集设备，可以根据相机的应用和数量变化而调整系统升级的周期，提升硬件适配算法升级的灵活性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像采集系统的一种具体实施方式结构图；

图2为本发明实施例提供的图像采集pcie卡载板的一种具体实施方式结构图；

图3为本发明实施例提供的相机信号链路子卡的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种图像采集系统在一种实施方式下的结构示意图，本发明实施例可包括以下内容：

一种图像采集系统可包括图像采集pcie卡载板11和相机信号链路子卡12。相机信号链路子卡12通过板卡连接器13连接在图像采集pcie卡载板11上，板卡连接器13可为高密度连接器，所谓高密度连接器包括产品本身高密度，及连接器针脚数量多，可支持的信号链路多；还包括数据传输效率高、能保证高速信号传输的完整性且可处理差分信号，高密度连接器例如可为fmc(fpgamezzaninecard，fpga中间层板卡)连接器。此外，高密度连接器的接口可为mipi(mobileindustryprocessorinterface)接口，可将系统内部接口标准化，从而减少系统设计的复杂程度和增加设计灵活性。接口设备还具有一定的数据整合、加工功能，已经具备数据计算功能和性能，甚至很多接口单元或称为接口盒即是一套完整的嵌入式系统或称为域控制器，具备整合融入中央计算单元的特征。相机信号链路子卡12上并行部署多个设备连接器121，每个设备连接器可连接一个图像采集设备如相机，图像采集设备对应的信号链路标准可均不同，设备连接器的个数可根据实际应用场景进行灵活增加和删减。设备连接器例如可为fakra连接器，提升图像采集设备与板卡的安装稳定性。相机信号链路子卡12可适配不同串化高速链路如美信公司为主的gmsl，德州仪器公司的fpd-link，罗姆公司的rohm，哉英公司的thine等标准的相机，提升的图像采集器的适用范围。图像采集pcie卡载板11可根据串化链路需求适配不同的相机信号链路子卡12，确保系统的灵活性。串化链路指设备指fakra连接器和解串化链路之间的信号，fakra连接器外接相机，这些信号链路有不同的标准，包含fpd-link、rohm、thine等。

本申请的图像采集pcie卡载板11与中央计算单元0通过pcie(peripheralcomponentinterconnectexpress，高速串行计算机扩展总线标准)接口相连，图像采集pcie卡载板11将处理后的图像数据可以通过pcie接口上传至系统主机，图像采集系统同中央计算单元整合成为无人驾驶车辆的图像感知计算一体系统。中央计算单元0可包含车载工控机环境，程序调试的桌面pc机环境或进行大规模数据训练处理的服务器云环境等，这均不影响本申请的实现。

为了提高图像采集系统的硬件集成度，图像采集pcie卡载板11和相机信号链路子卡12均为标准pcie槽宽度，例如图像采集pcie卡载板可为标准pcie单槽宽度，相机信号链路板可为标准pcie单槽宽度；图像采集pcie卡载板和相机信号链路板组合后形成标准pcie板卡双槽宽度。此外，图像采集pcie卡载板11和相机信号链路子卡12的板宽、板厚度等均要符合标准pcie的要求。

在本实施例中，相机信号链路子卡12用于将不同标准的信号链路的图像数据转化为相匹配的接口数据上传给图像采集pcie卡载板11，例如接口为mipi，则相机信号链路子卡12将高速串行信号数据转化为mipi标准的数据。图像采集pcie卡载板11用于将接收到的图像数据按照图像处理指令执行相应操作，图像处理指令可以为以下任意一项或任意组合：图像处理或图像存储或图像输出。

在本发明实施例提供的技术方案中，图像采集pcie卡载板和相机信号链路子卡均采用pcie标准卡形式，从而可以适配各种形态的中央处理单元，包含车载工控机环境，程序调试的桌面pc机环境，或进行大规模数据训练处理的服务器云环境。采用板载相机链路处理板的形式，可以实现单一载板适配不同信号链路标准的图像采集设备，适配、升级方便，有效提高无人驾驶车辆感知系统的硬件设备的集成度，提升硬件设备的通用性和可迁移性，缩短系统升级周期。图像采集pcie卡载板上搭载相机信号链路子卡，相机信号链路子卡中的各设备连接器并行部署，不仅可适配不同串化高速链路如gmsl、fpd-link、thine等标准的相机，提升的图像采集器的适用范围，还可以灵活增减图像采集设备，可以根据相机的应用和数量变化而调整系统升级的周期，提升硬件适配算法升级的灵活性。

在上述实施例中，对于图像采集pcie卡载板11的结构并不做限定，本实施例中给出图像采集pcie卡载板11在一种实施方式下的内部结构示意图，请参阅图2，可包括如下内容：

图像采集pcie卡载板11可为基于soc(systemonchip，系统级芯片)的fpga(field－programmablegatearray，现场可编程门阵列)为主控的电路板。当然，图像采集pcie卡载板11也包括fpga和arm处理器，fpga中只包含可编程逻辑单元，这均不影响本申请的实现。

由于fpga具有接口资源丰富，配置灵活性好等特性，图像采集系统还需要对各功能模块进行管理、监控功能或者是实时调节各参数，可将可编程逻辑单元与嵌入式处理器均集成在fpga芯片中，也即fpga可包括嵌入式处理器和可编程逻辑单元，举例来说，芯片型号xilinx的ultrascale+系列产品即是此类soc-fpga的架构，包含arm核的处理器单元和可编程逻辑部分。嵌入式处理器用于运行内核系统，如可以运行linux内核系统，并包括多个硬核外设接口，如与内存单元进行通信的内存控制器，网络控制器，存储控制器等。可编程逻辑单元可用于支持固件下载逻辑配置、例化各种功能接口ip，调用图像处理算法执行图像处理操作。例如图2所示的固态存储器的ip(internetprotocol，网际互连协议)、usb(universalserialbus，通用串行总线)ip、mac(mediaaccesscontrol，媒体访问控制层)ip。

嵌入式处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。还可以采用dsp(digitalsignalprocessing，数字信号处理)硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。

为了便于及时检测采集图像是否为所需求数据，或者是对图像数据进行某些图像处理操作，作为本实施例的一种实施方式，图像采集pcie卡载板11还可包括串化器电路，串化器电路可将图像数据被串化处理，可编程逻辑单元还用于将图像数据通过mipid-phy发送接口发送至串化器电路，以使图像数据被串化后再输出。此外，图像数据通过可编程逻辑单元中的mipid-phy发送接口，再串化发出，原始图像输出的功能可以作为车载系统软件进行硬件在环测试，提高车载系统软件软件的调试、测试效率。

如图2所示，嵌入式处理器还可包括内存控制器、固态存储器、网络和调试接口等包含加载和外部通讯的功能接口。嵌入式处理器通过内存控制器与内存单元进行数据通讯；固态存储器存储系统级芯片的系统镜像和fpga运行时需要的加载逻辑。内存单元是嵌入式处理器侧的主存储器，运行操作系统和应用的程序的主要存储空间。固态存储器例如可为e.mmc，其存储soc的系统镜像并包含fpga运行时需要的加载逻辑。

内存单元可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。内存单元还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，内存单元至少用于存储以下计算机程序，其中，该计算机程序被加载并执行之后，能够实现前述任一实施例公开的图像采集系统中图像处理方法的相关步骤、功能模块管理方法以及fpga运行逻辑。另外，内存单元所存储的资源还可以包括操作系统和数据等，存储方式可以是短暂存储或者永久存储。其中，操作系统可以包括windows、unix、linux等。数据可以包括但不限于图像采集系统涉及到的计算过程中所生成的数据等。

作为本实施例的另外一种实施方式，相机信号链路子卡12可用于将图像处理发送至可编程逻辑单元，图像采集pcie卡载板11进一步用于可将图像数据经fpga内部总线如axb总线传输至嵌入式处理器，嵌入式处理器通过sata(serialadvancedtechnologyattachment，串行ata)接口将图像处理存储至固态硬件中，如图2所示的m.2流盘中，从而实现数据备份、数据测试以及数据采集等功能应用。

可以理解的是，图像采集pcie卡载板11对图像处理可包括两种模式，一种是一直进行图像处理，另一种是自定义触发，所谓的自定义触发是指预先设置何时进行数据采集并进行相应的数据处理，例如在高峰期和事故频发时段，可触发相机360°采集周围环境数据。作为一种可选的实施方式，为了支持自定义触发模式，板卡连接器13可包括触发信号接口和参数配置信号接口如gpio；图像采集pcie卡载板11还可用于当接收全球导航卫星系统的定位信号，基于定位信号的时间信息通过板卡连接器同步触发各图像采集设备进行图像采集。在本实施例中，图像采集pcie卡载板11的图像触发控制信号可包含：接收gnss(globalnavigationsatellitesystem，全球导航卫星系统)的pps(precisepositioningservice，精确定位服务)和gprmc(推荐定位信息)信息，通过gnss的时间信息同步触发相机曝光。

本申请还提供了相机信号链路子卡12在一种实施方式下的结构框架示意图，请参阅图3，可包括：

相机信号链路子卡12可包括多个设备连接器和多个解串化器电路，每个设备连接器唯一对应一个解串化器电路；解串化器链路可将相机串化链路的高速串行信号转化为相匹配接口数据。若板卡连接器的接口为mipi接口，解串化器电路可用于将通过相应设备连接器发送的高速串行图像信号数据转化为mipi接口类型数据，以将所述图像数据通过mipi接口经由板卡连接器发送至图像采集pcie卡载板11。

可以理解的是，图像处理器可后置在图像采集pcie卡载板11的fpga中，也可前置在图像采集设备中，若前置在图像采集设备中，图像采集设备功耗大且成本高，会导致整个无人驾驶车辆成本增加。而若后置在fpga，会使得fpga的结构更加复杂。作为一种可选的实施方式，相机信号链路子卡12还可包括多个图像处理器，每个图像处理器与相应的解串化器电路相连，用于对解串化器电路输出图像数据进行相应的图像处理操作，如对图像进行去畸变、环形拼接等处理。

在本实施例中，图像采集系统的信号数据流为：

若相机信号链路子卡12包括图像处理器，图像采集设备如相机所采集的图像数据传入相机信号链路子卡12的解串化器，解串化器对图像数据进行处理后将其输入至图像处理器，图像处理器通过高密度连接器的例化mipid-phy传入至图像采集pcie卡载板11的fpga的可编程逻辑单元。若相机信号链路子卡12不包括图像处理器，图像采集设备如相机所采集的图像数据传入相机信号链路子卡12的解串化器，解串化器对图像数据进行处理后可直接通过mipi接口上传至图像采集pcie卡载板11的fpga的可编程逻辑单元中，fpga的该接口单元可以将图像数据分发至存储单元如可编程逻辑部分的内存颗粒)，或进行图像处理如进行加时间戳，去噪，去畸变，环视拼接等或进行运算。

当然，图像采集pcie卡载板11和相机信号链路子卡12还可包括诸如用于执行时钟频率检测的时钟模块和供电的电源模块，所属领域技术人员可根据实际需要添加所需求的功能模块，或者是删减上述提到的功能模块，这均不影响本申请的实现。

上述图像采集系统可应用在高精地图采集技术领域、无人驾驶车载图像采集域控制器和无人驾驶算法仿真平台。应用于高精地图采集：目前应用于无人驾驶的高精地图是包含多传感器的数据融合的地图，该系统适配相机和计算主机，作为高精地图的图像数据采集硬件平台，承担高精地图图像采集任务。应用于无人驾驶车载图像采集域控制器：主要应用该硬件平台的图像采集、控制功能。根据算法要求，向主机端传输图像数据流。应用于无人驾驶算法仿真平台：仿真算法的输入信息可以是标准测试数据集，或通过流盘保存的实际采集道路数据。通过系统图像处理通过pcie接口输出至主机进行系统测试、仿真和训练，或直接通过图像输出接口进行软件的硬件在环测试。

最后还需要说明的是，目前无人驾驶实际道路测试里程不足是无人驾驶技术实现落地的障碍之一，测试车厂进行道路测试里程远远不足。讲道路数据迁移至云上，需要将整体车载测试环境迁移至云，进行云上道路环境的虚拟测试和仿真测试。是为解决无人驾驶训练和路测的方案。上述图像采集系统的形态即是基于云上环境开发设计的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种图像采集系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。