一种车载辅助驾驶全景图像系统及获取全景图像的方法与流程

本发明涉及一种汽车辅助驾驶领域，尤其涉及一种车载辅助驾驶全景图像系统以及全景图像获取方法。

背景技术：

随着电子技术的高速发展，使得汽车辅助驾驶领域的进步日新月异，目前最普及的可视化辅助驾驶为车载360度环视，这种技术很方便的解决了驾驶员对车身周围环境几米范围内的死角无法观察的问题，该技术的具体实施方法采用在车前、车两侧以及车后安装广角摄像头的方式来获取车身四周的完整视场，通过mcu或者dsp配合前期标定好的摄像头安装位置参数及广角摄像头光路畸变参数进行各个摄像头的图像校正和图像融合来实现360度的环视影像的生成，并传输到显示屏进行实时显示。

目前的车载360度环视系统在极大程度上解决了驾驶员通过肉眼无法观察到车身周围几米的盲区，对基本驾驶如倒车、转弯、通过狭窄道路、观察高度较小的障碍物等得到了极好的解决，但是由于车辆型号的差异性及安装的局限性使得车身周围的摄像头只能安装在几个特定的位置如车头前挡、车侧后视镜下方、车尾车牌框上部等，这几个位置的局限性使得摄像头视场采集到的有效数据区域主要包含地面及高度在其安装位置以上1~2米左右的范围内，而无法完整获取车身周围的景物信息，对应更进一步的辅助驾驶感受和自媒体时代行车娱乐及更全面的行车周围环境信息记录还存在不足。同时各个摄像头安装相对独立，导致其独立工作时候的同步性无法保证，造成移动载体上多个摄像头采集的图像相关区域发生错位。

目前汽车辅助驾驶还处于发展阶段，无论是360度环视还是前置和后置行车记录仪都在尝试着完成某种特定的功能，如360环视的主旨在于解决驾驶员对于车辆周围近距离范围内的视线盲区，而前置和后置行车记录仪是为了记录行车时前后的环境信息，但正是因为各种产品的主旨差异性导致了其联动性和采集图像的同步性较差，对于车辆周围完整图像及辅助驾驶信息的获取即使搭配多个主旨不同的产品还不够。

技术实现要素：

为克服上述技术问题，本发明提供一种车载辅助驾驶全景图像系统，包括：车顶图像采集装置、环车图像采集装置以及车内图像处理装置，所述车顶图像采集装置和所述环车图像采集装置分别通过以太网物理接口收发组件经以太网与所述车内图像处理装置连接；其中，所述车顶图像采集装置，用于采集车辆视场上半球图像数据信息，并将所述图像数据信息通过以太网传输到车内图像处理装置；所述环车图像采集装置，用于同步采集车辆的左侧、右侧、前面和后面视场的图像数据信息，并将所述图像数据信息通过以太网传输到车内图像处理装置；所述车内图像处理装置，控制所述车顶图像采集装置和环车图像采集装置同步进行图像数据的采集，并将接收到的图像数据信息进行图像融合。

优选地，所述车顶图像采集装置包括至少两个摄像头和车顶图像预处理组件，所述车顶图像预处理组件分别与所述至少两个摄像头和所述以太网物理接口收发组件分别电连接，其中：所述至少两个摄像头设置于车辆的车顶鲨鱼鳍立面上，用于对各自视场的图像进行同步拍摄；所述车顶图像预处理组件能够对所述至少两个摄像头拍摄到的图像数据信息进行缓存、预处理以及排序。

优选地，所述车顶图像采集装置包括两个摄像头，所述两个摄像头分别安装于所述鲨鱼鳍左侧和右侧立面上，所述左侧和右侧立面的夹角小于40度。

优选地，所述车顶图像采集装置包括两个摄像头，所述两个摄像头分别安装于所述鲨鱼鳍左侧、右侧立面与后侧立面的连接位置处。

优选地，所述车顶图像采集装置包括三个摄像头，所述三个摄像头分别安装于所述鲨鱼鳍的左侧、右侧和后侧立面上。

优选地，所述排序的方式为所述车顶图像采集装置的摄像头拍摄的图像数据按照所述摄像头的排列顺序和其各自分别获取的以太网数据包的时间顺序进行顺序轮循。

优选地，所述环车图像采集装置包括摄像头、环车图像预处理组件，所述环车图像预处理组件分别与所述摄像头和所述以太网物理接口收发组件电连接；其中：所述环车图像预处理组件能够对所述摄像头拍摄到的其视场范围内的图像数据信息进行缓存和预处理。

优选地，所述车内图像处理装置包括处理组件，所述处理组件与所述以太网物理接口收发组件电连接，能够产生控制所述环车图像采集装置和车顶图像采集装置的摄像头进行同步拍摄的控制指令，并对接收到的所述环车图像采集装置和车顶图像采集装置传输的图像数据信息进行图像融合处理。

优选地，所述控制指令包括系统全局时间，所述环车图像预处理组件和车顶图像预处理组件根据系统全局时间产生摄像头图像采集时序，使摄像头对其视场图像进行同步采集。

优选地，所述系统全局时间至少包括所述车内图像处理装置发送控制指令的时间以及其设定的所述车顶图像采集装置和所述环车图像采集装置的各摄像头图像采集时序的修正时间。

优选地，所述处理组件根据车顶图像采集装置传输的所述摄像头的图像数据信息的排序规则进行所述摄像头的图像数据信息的拆分，再进行图像融合处理。

优选地，所述车载辅助驾驶全景图像系统为基于fpga的系统。

本发明还提供一种上述的车载辅助驾驶全景图像系统的获取全景图像的方法，包括以下步骤：控制指令的发送步骤，车内图像处理装置生成含有系统全局时间的控制指令，并将所述控制指令发送至车顶图像采集装置和环车图像采集装置；控制指令的解析步骤，所述车顶图像采集装置和环车图像采集装置分别对接收到的所述控制指令进行解析，解析出所述系统全局时间；摄像头的同步工作步骤，所述车顶图像采集装置和环车图像采集装置根据解析获取的系统全局时间产生各摄像头的图像采集时序，所述各摄像头同时对各自视场图像进行采集；图像数据预处理步骤，所述车顶图像采集装置和环车图像采集装置分别对各自摄像头获取的图像数据进行预处理，并分别发送至所述车内图像处理装置；图像数据融合步骤，所述车内图像处理装置对接收到的图像数据进行图像融合。

优选地，所述摄像头的同步工作步骤中还包括系统全局时间的校正步骤；所述系统全局时间至少包括所述车内图像处理装置发送控制指令的时间以及其设定的所述车顶图像采集装置和所述环车图像采集装置的各摄像头采集时序的修正时间；在所述系统全局时间的校正步骤中，所述车顶图像采集装置和环车图像采集装置分别校正其分别接收到的所述车内图像处理装置发送控制指令的时间。

优选地，在所述图像数据预处理步骤中，所述车顶图像采集装置包括至少两个摄像头，所述车顶图像采集装置对所述至少两个摄像头采集的图像数据按照其各自分别获取的以太网数据包的时间顺序进行排序。

本发明提供的车载辅助全景图像系统，实现了车辆行车可视辅助驾驶及信息记录功能一体化，具体的具有以下优势：

1、通过由车内图像处理装置提供统一的系统全局时间信息给车顶全景图像采集装置和环车图像采集装置，由这两个装置根据系统全局时间同步信息自主产生驱动高清摄像头cmos的采集时序，可以从真正意义上实现各个摄像头采集图像帧的同步性，使得各个摄像头采集到的图像具有同时性，大大简化和避免了由于各个摄像头采集图像帧不同步带来的后继处理的麻烦，使得车辆在各种速度下多摄像头采集的图像融合误差大大减小，使得后继辅助驾驶的图像处理数据更真实有效。

2、在车顶全景图像采集装置和环车图像采集装置中明确提出避免使用图像压缩功能同时采用千兆phy（以太网物理接口），使得图像传输的实时性大大提高，使图像数据从采集端到处理端的延时极大减小，同时也满足高清图像数据的传输带宽要求，这使得各个摄像头融合后的数据对于辅助驾驶更具备实时性，大大提高了辅助驾驶的准确和安全性。

3、车顶全景图像采集装置位于车辆鲨鱼鳍位置，大大减少了安装难度，同时位于鲨鱼鳍立面的各个高清广角摄像头可以毫无死角的覆盖车辆视场的上半球、后半球及前半球的中远距离区域。

附图说明

图1为本发明涉及的车载辅助驾驶全景图像系统结构示意图；

图2为本发明涉及的车顶图像采集装置采集图像的视场范围示意图；

图3为本发明涉及的车载辅助驾驶全景图像系统获取图像的流程图；

图4为本发明涉及的顺序轮循方法的示意图；

图5为本发明涉及的时间同步方法获取平均时延的方法示意图。

具体实施方式

下面根据附图所示实施方式阐述本发明。此次公开的实施方式可以认为在所有方面均为例示，不具限制性。本发明的范围不受以下实施方式的说明所限，仅由权利要求书的范围所示，而且包括与权利要求范围具有同样意思及权利要求范围内的所有变形。

如图1所示，本发明涉及的车载辅助驾驶全景图像系统1为基于fpga（现场可编程门阵列）的系统，适合高速信号处理及多类型高速信号的传输，该系统包括车顶图像采集装置2、环车图像采集装置3以及车内图像处理装置4，其中车内图像处理装置4能够通过以太网分别与车顶图像采集装置2和环车图像采集装置3相连，车内图像处理装置4通过以太网与外围设备相连接。

如图1所示，车顶图像采集装置2负责采集车辆视场上半球图像的信息，并将获取的图像信息数据通过以太网传输到车内图像处理装置4。具体的，车顶图像采集装置2包括若干摄像头21、车顶图像预处理组件22以及以太网物理接口收发组件（phy）23，其中摄像头21均为广角高清摄像头，并设置于车顶鲨鱼鳍位置上，能够减少安装难度，摄像头21至少设置2个，负责采集车辆视场上半球的图像信息，能够毫无死角的覆盖车辆视场的上半球、后半球及前半球的中远距离区域（如图2的示意图所示），例如当摄像头21设置2个时，优选每个摄像头的视角均大于200度，分别安装于车顶鲨鱼鳍的两个夹角小于40度的立面（左侧面和右侧面）上，此时两摄像头的镜头光轴的夹角不小于140度，以保证能获得完整的视野。或者，当鲨鱼鳍不满足左右立面夹角小于40度的要求时，或者鲨鱼鳍的形状会对摄像头的视野造成遮挡时，两摄像头可设置于两个对称的立面（左侧面和右侧面）的后侧位置处，即设置于两个对称的立面与第三立面（后侧面）的连接位置处；当摄像头21设置3个时，每个摄像头的视角选择大于120度即可，普通广角镜头都可以使用，且3个摄像头分别安装于鲨鱼鳍的左侧、右侧和后侧的立面上，用于完整采集车辆视场上半球的图像信息。车顶图像预处理组件22为fpga处理装置。车顶图像采集装置2通过以太网物理接口收发组件（phy）23接收车内图像处理装置4的控制命令，能够根据该控制命令解析出系统全局时间，并根据该系统的系统全局时间产生摄像头的图像采集时序送入摄像头21，使得各摄像头21可以与车辆上的其他摄像头同步工作，同时各摄像头21分别对其各自的视场图像进行采集。之后各摄像头21采集的各视场图像数据同时送入车顶图像预处理组件22，车顶图像预处理组件22对上述图像数据进行缓存，并对该图像数据进行预处理获取相应的图像统计参数，同时对上述图像数据进行排序；在该过程中，车顶图像预处理组件22不对上述的预处理图像数据进行压缩，而直接将未压缩的预处理后的图像数据和图像统计参数信息通过以太网物理接口收发组件（phy）23传输到车内图像处理装置4。因为从车顶图像采集装置向外部装置传输的数据为未压缩的图像数据，传输图像数据量较大，所以以太网物理接口收发组件（phy）23均配置为千兆级的物理接口，以满足图像数据的传输需求。

如图1所示，环车图像采集装置3负责采集车辆四周视场的图像信息，并将获取的图像数据信息通过以太网传输到车内图像处理装置4。具体的，环车图像采集装置3包括第一环车图像采集装置31、第二环车图像采集装置32、第三环车图像采集装置33以及第四环车图像采集装置34子装置，分别位于车辆前面、后面、左侧和右侧用于获取车辆四周视场的图像信息。环车图像采集装置3的各子装置的结构和功能分别相同，具体的第一至第四环车图像采集装置分别包括摄像头311～341、环车图像预处理组件312～342以及以太网物理接口收发组件（phy）313～343；其中，摄像头311～341均为广角高清摄像头，环车图像预处理组件312～342均为fpga处理组件。上述子装置根据车辆本身的结构进行安装，优选地，摄像头311设置在车前保险杠下方，摄像头321设置在车辆后保险杠下方或者车标下方，摄像头331和341分别设置在车辆侧面后视镜下方，且摄像头311～341视场均为向斜下方方向，以保证能拍摄到车底轮胎和车底盘边框，同时可以拍摄到车身侧面离车渐远的地面。下面以第一环车图像采集装置的结构和功能为例进行说明。

第一环车图像采集装置31通过以太网物理接口收发组件（phy）313接收车内图像处理装置4的控制命令，能够根据该控制命令解析出系统全局时间，并根据该系统全局时间产生摄像头的图像采集时序送入摄像头311，使得摄像头311可以与车辆上的其他摄像头同步工作，同时摄像头311对其负责的车辆前面的视场图像进行采集。之后摄像头311采集的视场图像数据同时送入环车图像预处理组件312，环车图像预处理组件312对上述图像数据进行缓存，并对该图像数据进行预处理获取相应的图像统计参数；在该过程中，环车图像预处理组件312不对上述的预处理图像数据进行压缩，而直接将未压缩的预处理后的图像数据和图像统计参数信息通过以太网物理接口收发组件（phy）313传输到车内图像处理装置4。因为从第一环车图像采集装置向外部装置传输的数据为未压缩的图像数据，传输图像数据量较大，所以以太网物理接口收发组件（phy）313均配置为千兆级的物理接口，以满足图像数据的传输需求。

车顶图像采集装置2和环车图像采集装置3的摄像头均为高清广角摄像头，均由高清cmos和广角光学镜头组成，且型号相同，通常高清cmos的图像采集具有标准图像采集时序，例如720p@30（指高清720线逐行扫描，帧率是每秒30帧）、720p@60（指高清720线逐行扫描，帧率是每秒60帧），其像素分辨率为1280×720，由于高清cmos的图像采集时序可以自己生成，也可以采用外部装置强制送入的方式获取，但是当高清cmos自己生成图像采集时序时，由于各高清cmos器件的差异会导致不同摄像头的图像采集时序不同步使得各个摄像头采集到的图像帧的不同步，从而使得安装在同一个移动载体（车辆）上的多个摄像头拍摄到的图像之间出现错位，所以本发明的高清cmos的图像采集时序采用外部强制送入的方式使得摄像头采集到的图像帧实现同步。在后述说明书中会具体说明车顶图像采集装置2和环车图像采集装置3的各摄像头实现同步的方法。

如图1所示，车内图像处理装置4能够通过以太网接收其他的装置传输的数据并负责将车顶图像采集装置2和环车图像采集装置3的图像数据进行处理、显示以及存储，并能够控制其他装置（车顶图像采集装置2、环车图像采集装置3和其他外围设备）的工作。具体的，车内图像处理装置4包括处理组件41、存储组件42、显示组件43及若干以太网物理接口收发组件（phy）44，其中，处理组件41为fpga处理装置，能够生成系统全局时间及对车顶图像采集装置2、环车图像采集装置3的控制指令，通过以太网物理接口收发组件（phy）44发送至车顶图像采集装置2和环车图像采集装置3，同时接收上述装置发送来的图像数据；处理组件41能够根据车顶图像采集装置2传输的各摄像头数据的排列规则进行各个摄像头数据的拆分，并将车顶图像采集装置2的图像数据进行融合、缓存处理；同时还能够根据环车图像采集装置3的各子装置的分布位置对其各自采集到的图像数据进行融合、缓存处理；此外，处理组件41还能够对上述图像数据进行特征识别等自动辅助驾驶的图像处理。上述处理组件41获取的融合的图像能够根据用户或者系统的显示需求在显示组件43上进行实时显示；同时，处理组件41将上述获取的融合图像进行压缩，压缩后的图像根据乒乓操作写入存储组件42中。另外，车内图像处理装置4还可以通过以太网与其他的外围设备5进行通信，根据与外围设备电连接的控制装置（未图示）的指令将指定的图像数据及处理结果发送到指定的外围设备，该外围设备根据该数据信息进行相应处理或操作。以太网物理接口收发组件（phy）44的数量与车顶图像采集装置2、环车图像采集装置3中配制的以太网物理收发组件（phy）的数量以及外围设备的数量相对应，或者更多，其也相应的配置为千兆级的物理接口，以满足图像数据的传输需求。

图3为本发明涉及的车载辅助驾驶全景图像系统获取全景图像的方法流程图，车辆在电源开启状态下，车内图像处理装置4生成对车顶、环车图像采集装置进行控制的、含有系统全局时间的控制指令，并通过以太网分别向车顶图像采集装置2和环车图像采集装置3发送该控制指令，该控制指令包括系统全局时间信息（步骤s1）。车顶图像采集装置2和环车图像采集装置3接收到控制指令后，分别进行解析，解析出系统全局时间，以使得车顶图像采集装置2和环车图像采集装置3都在由车内图像处理装置4定制的时间域下工作，该系统全局时间的传递可以采用ieee公知以太网协议gptp或者1588协议（步骤s2）。车顶图像采集装置2和环车图像采集装置3根据解析获取的全局时间产生高清cmos图像采集时序并将该采集时序送入摄像头，使得各摄像头进行同步工作，分别同时对各自的视场图像进行采集（步骤s3）。车顶图像采集装置2的车顶图像预处理组件22对各摄像头21获取的图像数据进行缓存，并进行预处理以获取各自图像的统计参数，同时对各摄像头21获取的图像数据进行排序，排序的方式为各摄像头21的图像数据按照摄像头排列顺序以及各摄像头获取以太网数据包的时间顺序进行顺序轮循；环车图像采集装置3的各子装置的环车图像预处理组件对摄像头获取的图像数据分别进行缓存，并进行预处理以获取图像数据的统计参数（步骤s4）。在步骤s4中的顺序轮循方式以图4为例进行说明，图4中环车图像采集装置2包括至少三个摄像头21（分别标记为摄像头1、摄像头2和摄像头3），摄像头1、2和3获取的图像数据分别以多个数据包的形式进行缓存及标记，分别标记为数据包1、数据包2、数据包3等，最终以摄像头1数据包1、摄像头2数据包1、摄像头3数据包1、摄像头1数据包2……的规律进行排序，此种排序方法能够最大限度的减少内置缓存资源的占用。之后车顶图像采集装置2和环车图像采集装置3将步骤s4中未压缩的预处理后的图像数据和统计参数等信息通过以太网发送至车内图像处理装置4（步骤s5）。车内图像处理装置4根据车顶图像采集装置2传输的各摄像头数据的排列规则进行各个摄像头数据的拆分，并将车顶图像采集装置2的图像数据进行融合、缓存处理；车内图像处理装置4根据环车图像采集装置3的各子装置的分布位置对其各自采集到的图像数据进行融合、缓存处理（步骤s6），本申请采用的图像融合方式均为公知的图像数据融合方法，以此便实现环车图像采集装置3图像数据和车顶图像采集装置2图像数据的360度环视。融合处理后的图像数据根据需求显示于显示组件43上，并通过公知压缩技术和文件系统存入存储组件42，或者直接存储于外部存储设备上（步骤s7）。

此外，融合处理后的图像数据可以根据外部主控设备的显示需求按照车顶图像采集装置2对应的图像融合数据或者环车图像采集装置3对应的图像融合数据在显示器上显示。车内图像处理装置根据外围主控设备的指令也可以从存储组件42或者外部存储设备直接读取对应的数据并传递给外围设备。

在系统工作期间，车内图像处理装置4产生其内部主时钟（本地时钟）以及产生系统内各装置需要同步的主时间，车顶和环车图像预处理组件根据各自的本地时钟产生本地时间，由于各个装置的本地时钟必然存在不一致性，因此其各自的本地时间与主时间必然产生随真实时间增大而逐步增大的误差。因此系统设置每隔一段时间t，车内图像处理装置4就发送一次控制命令告知车顶和环车图像预处理组件需要同步的主时间。在步骤s3中，采用的时间同步的方法为时间粗同步方法，即车内图像处理装置4通过控制命令对车顶和环车图像预处理组件发送此时车内图像处理装置4的时间time1并告知车顶和环车图像预处理组件在时间time2开始进行各个摄像头采集时序的修正，车顶和环车图像预处理组件接收到控制命令后将本地时间更改为time1，并在time2对摄像头采集时序进行同步修正。本申请所涉及的系统全局时间至少包括车内图像处理装置发送控制指令的时间和车顶和环车图像预处理组件需要同步的时间。

由于车内图像处理装置是在发出控制命令时认为的时间为time1，而车顶和环车图像预处理组件接收到控制命令时认为的时间为time1’，该时间time1’与time1必存在一定的时间差（即后文所涉及的平均时延），这是由于各个装置之间存在由于传输链路的延时导致的时间差，这个时间差根据具体物理链路可能会在微秒甚至毫秒级，对各个摄像头采集图像的同步性会造成一定的影响，因此需要对time1进行精确校正获取时间time1’。获取平均时延的过程示意图如图5所示，车内图像处理装置4每隔一段时间（如1秒），对车顶和环车图像预处理组件发送pdelay_req数据包，其中记录了从车内图像处理装置发出此数据包的时间t1；车顶和环车图像预处理组件接收到pdelay_req数据包后记录接收到的时间t2，并对车内图像预处理组件发送pdelay_resp数据包，其中记录了接收到pdelay_req的时间t2；接着再对车内图像预处理组件发送pdelay_resp_follow_up数据包，其中记录了pdelay_respq发送的时间t3；车内图像处理装置接收到pdelay_resp数据包时记录接收到的时间t4，则可根据如下的公式计算出物理链路在这几次通讯中产生的平均延时d，并通过d对本地时间time1进行微调修正，使得各个装置的时间同步达到极高的精度。上述平均时延d的计算公式如下：

tir=t2-t1；

tri=t4-t3；

d=(tir+tri)/2=((t4-t1)-(t3-t2))/2。

经过对时间time1微调修正后，使得车顶和环车图像预处理组件对各自的时钟分别进行同步调整，再由车顶和环车图像预处理组件根据车内图像处理装置4设定的同步时间time2开始各自在约定的工作时钟频率下产生的高清cmos时序具有同步性，传输到其对应的摄像头cmos中最多产生纳秒级的线延时，从而使得整个系统的摄像头采集的图像延时在纳秒级，这使得车辆在120km/h的情况下由线延时和各装置微秒级的同步差异导致的图像错位小于毫米级。以车辆运行速度为120km/h为例进行计算如下：设系统由公知授时协议导致的同步差异在20微秒，线延时在纳秒级忽略不计，车速120km/h换算为33333mm/s，两者相乘得出图像错位小于0.6mm。

在上述实施方案中车载辅助驾驶全景图像系统为基于fpga的系统，其内部的处理装置或组件均为fpga装置，以适应高速信号处理和传输，但不限于此。还可以选择现有的处理速度较快的dsp代替系统中的fpga装置，但是采用dsp时需要通常需要搭配其他的外围设备如以太网交换芯片并配合多个dsp实现，造成系统整体成本较高，结构复杂，所以本申请优选的实施方式为基于fpga的车载辅助驾驶全景图像系统。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。