一种自动泊车系统图像获取方法与流程

本发明涉及信息技术领域，尤其涉及一种自动泊车系统图像获取方法。

背景技术：

无人驾驶视觉图像采集器一般分为一个前置摄像头和四个广角摄像头组成。前置摄像头功能包括：车道线检测、障碍物识别、交通标志牌识别、可通行空间计算、交通信号灯识别、定位功能(需安装双目摄像头或三目摄像头)。360环视摄像头采用广角镜头，安装车辆前方、车辆左右后视镜下和车辆后方，安装方式朝向地面，主要用于车身5～10米内的障碍物检测、自主泊车时的库位线识别等。

目前，摄像头模组采用可编程(in-systemprocessing，isp)芯片配合彩色图像采集器的方式，将前后左右四个方向周围环境图像直接传到控制主机进行处理。这种处理方法要求控制主机需同时处理4个方向图像及超声波雷达输出信息，计算量大。而且四个方向摄像头没有进行时间同步，不利于实现快速，准确泊车。

技术实现要素：

本发明基于现有技术缺陷，提供一种自动泊车系统的图像获取方法，用于解决360环视同轴电缆对视频传输速率的限制。

本发明实施例提供了一种自动泊车系统的图像获取方法，所述图像获取方法包括：

主控制器接收自动泊车指令，根据所述自动泊车指令生成唤醒指令和触发指令；所述主控制器将所述唤醒指令发送给无人驾驶车辆的摄像头模组，并将所述触发指令发送给无人驾驶车辆的处理器；所述摄像头模组包括一个或多个图像采集器；

所述处理器根据所述触发指令配置每个所述图像采集器工作在触发模式下；

所述主控制器根据自动泊车指令，生成图像采集控制信号，发送给各图像采集器；

每个所述图像采集器根据所述图像采集控制信号对所述无人驾驶车辆的外部环境图像进行图像采集，生成第一图像数据，并写入到内存中；

所述处理器根据校正像素索引坐标从所述内存中读取所述第一图像数据，并对所述第一图像数据进行畸变校正处理，得到第二图像数据；

所述处理器对所述第二图像数据进行高斯滤波处理，得到第三图像数据；

所述处理器对所述第三图像数据进行伽马校正处理，得到第四图像数据；

所述处理器获取基准图像处理坐标系的预设信息，基于所述基准图像处理坐标系确定所述第四图像数据对应的原点坐标并确定所述第四图像数据对应的参考坐标轴，所述参考坐标轴包括x方向和y方向的坐标轴；

所述处理器对所述第四图像数据中的每个像素点进行计算，根据一个像素点的灰度值与该像素点x方向卷积因子的卷积绝对值与该像素点的灰度值与该像素点y方向卷积因子的卷积绝对值之和，计算所述一个像素点的灰度梯度绝对值；

所述处理器对所述像素点的灰度梯度绝对值进行判定处理，如果所述像素点的灰度梯度绝对值大于预设阈值，则确定所述像素点为边缘点；如果像素点的灰度梯度绝对值小于等于所述预设阈值，则确定所述像素点为非边缘点；根据所述判定处理后的全部像素点得到二进制编码的第五图像数据；

所述处理器将所述第五图像数据发送给串行-解串处理单元，通过所述串行-解串处理单元对所述第五图像数据进行串行-解串处理，得到自动泊车图像采集处理数据。

优选的，在所述每个所述图像采集器根据所述图像采集控制信号对所述无人驾驶车辆的外部环境图像进行图像采集之前，所述方法还包括：

所述主控制器根据图像采集器标定参数，计算出校正像素索引坐标写入所述内存中。

优选的，所述处理器根据校正像素索引坐标从所述内存中读取所述第一图像数据，并对第一图像数据进行畸变校正处理，得到第二图像数据具体为：

所述处理器按照所述校正像素索引坐标从所述内存中读取所述第一图像数据，并在所述读取过程中基于所述校正像素索引坐标对所述第一图像数据进行重新排序，得到所述第二图像数据。

进一步优选的，所述处理器根据校正像素索引坐标从所述内存中读取所述第一图像数据，并对第一图像数据进行畸变校正处理，得到第二图像数据具体包括：

所述处理器在所述处理器的内部存储单元中生成第一缓存区；

所述处理器从所述内存中读取所述校正像素索引坐标存储到所述第一缓存区，并且所述处理器从内存中读取所述第一图像数据存储到所述第一缓存区；

所述处理器从所述第一缓存区中读取所述第一图像数据，基于所述校正像素索引坐标对所述第一图像数据进行校正处理，得到所述第二图像数据。

优选的，所述处理器对所述第二图像数据进行高斯滤波处理，得到第三图像数据具体为：

所述处理器在所述处理器的内部存储单元中生成第二缓存区；

所述处理器按行读取所述第二图像数据，并基于nxn高斯模板，对所述第二图像数据进行多次逐行缓存，每次缓存(n-1)行到所述第二缓存区中；其中，n＝3或5；

将一次所述第二缓存区的缓存数据的灰度值与从内存中读取的第n行图像数据的灰度值采用nxn高斯模板进行计算，并根据多次计算的结果，得到所述第三图像数据。

优选的，所述处理器对所述第三图像数据进行伽马校正处理，得到第四图像数据具体为：

所述处理器根据f(i)＝i^γ对所述第三图像数据的每个像素点的灰度值进行变换处理；

其中，i为像素点的灰度值，i为整数，0≤i≤255，γ为变换因子，0.05＜γ＜5；

所述处理器根据所述变换处理后的全部像素点的数据得到所述第四图像数据。

优选的，所述方法还包括：将所述自动泊车图像采集处理数据输出给所述主控制器。

优选的，所述处理器为现场可编程门阵列fpga芯片。

优选的，所述图像采集器的个数为4。

本发明实施例提供的一种自动泊车系统的图像获取方法采用的摄像头模组，以触发模式进行控制，对无人驾驶车辆周围环境图像数据进行采集，并经过处理器对采集的图像数据依次进行畸变校正、高斯滤波、伽马校正和分割处理后经串行-解串处理得到自动泊车图像采集处理数据。本发明采用摄像头模组采用触发模式进行控制，使得图像采集器只在泊车时由图像采集命令触发图像采集操作，其他时间处于休眠，这种触发模式进行控制的方式降低了整车功耗。并且各图像采集器同步进入触发模式，保证主控制器接收到的图像实现时间同步。摄像头模组输出为二进制图像，能降低电缆传输数据量。并且处理器在内部对采集到的图像数据进行依次进行畸变校正处理和分割处理，滤除了大量的图像背景，降低了主控制器的运算量，减少了泊车时间，并提高了泊车准确度。

附图说明

图1为本发明实施例提供的自动泊车系统的图像获取方法流程图；

图2为本发明实施例提供的对图像数据进行畸变校正的方法流程图；

图3为本发明实施例提供的自动泊车系统的一个具体实例的结构示意图。

具体实施方式

本发明提供的自动泊车系统的图像获取方法，减小了数据处理的运算量，可以降低泊车系统对控制器计算能力的要求，实现低成本、快速、安全自动泊车。

下面将参考附图并结合实施例来详细说明本申请。

图1为本发明实施例提供的自动泊车系统的图像获取方法流程图，如图1所示，包括：

步骤101，主控制器接收自动泊车指令，根据自动泊车指令生成唤醒指令和触发指令；主控制器将唤醒指令发送给无人驾驶车辆的摄像头模组，并将触发指令发送给无人驾驶车辆的处理器。

本发明实施例中优选的选用现场可编程门阵列芯片(fpga)为处理器。

具体的，当无人驾驶车辆需要泊入车位时，车辆的控制设备会向主控制器发送自动泊车指令，主控制器根据自动泊车指令生成唤醒指令发送给摄像头模组，将摄像头模组从休眠状态唤醒；同时，主控制器根据自动泊车指令生成触发指令，并将触发指令发送给无人驾驶车辆的处理器；其中，主控制器为控制车辆整体运行和操作的控制器；摄像头模组包括一个或多个图像采集器。本发明实施例的优选方案中，摄像头模组采用的是360环视摄像头模组，此摄像头模组为系统可编程(in-systemprogramming，isp)芯片配合彩色图像传感器的方式，并且采用吉比特多媒体串行链路(gigabitmultimediaseriallink，gmsl)与主控制器连接，包括装设于无人驾驶车辆不同位置的多个图像采集器；在优选实施例中，可以为设置于无人驾驶车辆前后左右四个方向的4个广角摄像头。

步骤102，处理器根据触发指令配置每个图像采集器工作在触发模式下。

处理器接收到触发指令，根据触发指令对摄像头模组的每个图像采集器进行配置，将图像采集器配置在触发模式下。在本发明实施例的优选方案中，触发模式选用正常模式的触发模式，即trigger的触发模式进行触发。当处理器接收到主控制器发送的图像采集控制信号时，图像采集器处于工作模式，否则图像采集器处于休眠模式。这种采用触发模式的方法，使得整车控制系统的耗电降低。

步骤103，主控制器根据自动泊车指令，生成图像采集控制信号，发送给各图像采集器。

每个图像采集器根据图像采集控制信号对无人驾驶车辆的外部环境图像进行图像采集，生成第一图像数据，并写入到内存中；

具体的，当主控制器接收到自动泊车指令，就根据自动泊车指令生成图像采集控制信号并发送给摄像头模组的每个图像采集器，图像采集器接收到图像采集控制信号时开始进行图像采集；

图像采集器采集的是无人驾驶车辆当前所处位置的外部环境的图像，比如泊车位附近围绕车辆的周边环境图像。周边环境图像可以具体包括车道线、停车标志杆、车辆所处周边的建筑物，以及其他无人驾驶车辆周边的物体和/或标识。本发明实施例优选的方案中，内存为ddr4。

步骤104，图像采集器根据图像采集控制信号对无人驾驶车辆的外部环境图像进行图像采集，生成第一图像数据，并将第一图像数据写入到内存中。

具体的，图像采集器采集车辆所在周边环境的图像，对采集到的图像进行数字化处理，得到第一图像数据。

步骤105，处理器根据校正像素索引坐标从内存中读取第一图像数据，并对第一图像数据进畸变校正处理，得到第二图像数据。

具体的，校正像素索引坐标是由主控制器根据图像采集器标定参数计算得出的。这个校正像素索引坐标在执行本发明得图像获取方法之前就写入内存中。

在第一图像数据写入内存后，处理器按照校正像素索引坐标从内存中读取第一图像数据，并在读取过程中基于校正像素索引坐标对第一图像数据进行重新排序，得到第二图像数据。

在一个具体实施例中，处理过程如下：

步骤1051，处理器在处理器的内部存储单元中生成第一缓存区。第一缓存区为处理器内部存储容量大小一定的高速缓存区，也就是常说的cache。比如，本发明实施例优选的方案中，采用fpga在内部存储单元中生成一定存储容量大小的先进先出(firstinputfirstoutput，fifo)缓存区。在本例中，设缓存区的大小为n，其中，n的取值根据fpga当前可分配的内部存储单元空间的大小决定，n小于fpga当前可分配的内部存储单元空间的大小。第一缓存区用于存储处理器从内存读取的数据，当处理器要对数据做处理时直接从第一缓存区读取，而不是从内存中读取。由于从内存中直接读取写入数据的速度小于直接从内部缓存区读取写入的速度，在多次读取写入数据的时候，采用直接从内部缓存区读取写入的方式减小了处理时间，提高了图像数据处理效率。

步骤1052，处理器从内存中读取校正像素索引坐标存储到第一缓存区。

具体的，处理器从内存中将图像采集前写入内存的校正像素索引读取出来，保存到第一缓存区，然后测量第一缓存区剩余空间大小f，用于之后从内存中读f大小的第一图像数据保存到第一缓存区。f<n。

步骤1053，处理器从内存中读取第一图像数据存储到第一缓存区。

具体的，在本实施例优选的方案中，处理器从内存读取f大小的第一图像数据到第一缓存区。

步骤1054，处理器基于校正像素索引坐标对第一图像数据进行校正处理，也就是重新排序，得到第二图像数据。其中，重新排序，是对图像数据的像素位置按照校正索引坐标重新排列。在本发明实施例的优选方案中，fpga按照校正索引坐标对第一图像数据进行读取，读取过程中将图像数据中的像素位置按照校正像素索引进行校正。重新排序前的图像数据是畸变图像数据，经过重新排序后得到的第二图像数据是无畸变或经畸变修正处理后的图像数据。

另外，处理器从第一缓存区读取第一图像数据是分次读取处理的，每次读取一定数据量的数据进行处理，直到第一图像的所有数据都处理完。根据处理结果得到第二图像数据。

步骤106，处理器对第二图像数据进行高斯滤波处理，得到第三图像数据。

具体的，处理器在处理器的内部存储单元中生成第二缓存区；第二缓存区的生成与第一缓存区的原理相同，也是处理器内部大小一定的高速缓存区，其生成的过程与第一缓存区生成的过程一致。第二缓存区用作完成高斯滤波的数据缓存。

处理器按行读取第二图像数据，并基于nxn高斯模板，对第二图像数据进行多次逐行缓存，每次缓存(n-1)行到第二缓存区中；

将一次第二缓存区的缓存数据的灰度值与从内存中读取的第n行图像数据的灰度值采用nxn高斯模板进行计算，并根据多次计算的结果，得到第三图像数据。

本实施例中优选的采用n＝3或5的高斯模板；例如，在一个例子中采用n＝3，也就是处理器基于3x3高斯模板，对第二图像数据进行多次逐行缓存，每次缓存2行到第二缓存区中，然后从内存中读取第3行图像数据，将第三行图像数据的灰度值和第二缓存区中2行图像数据的灰度值采用3x3高斯模板进行计算处理，经过计算的处理后得到3行处理后的图像数据；对内存中的所有图像数据依次进行相同的计算，得到多个处理后的图像数据，根据多次计算的结果，得到第三图像数据。

步骤107，处理器对第三图像数据进行伽马校正处理，得到第四图像数据。

具体的，处理器根据f(i)＝i^γ对第三图像数据的每个像素点的灰度值进行变换处理；其中，i为像素点的灰度值，i为整数，0≤i≤255，γ为变换因子，0.05＜γ＜5；例如，本实例中取为经过多次测量确定的值。

处理器根据变换处理后的全部像素点的数据得到第四图像数据。

步骤108，处理器对第四图像进行分割处理，得到第五图像数据。

具体的，在本发明实施例的优选方案中，采用sobel算子边缘检测算法对第四图像进行分割处理。

首先，处理器获取基准图像处理坐标系的预设信息，基于基准图像处理坐标系确定第四图像数据对应的原点坐标并确定第四图像数据对应的参考坐标轴，参考坐标轴包括x方向和y方向的坐标轴；

其次，处理器对第四图像数据中的每个像素点进行计算，根据一个像素点的灰度值与该像素点x方向卷积因子的卷积绝对值与该像素点的灰度值与该像素点y方向卷积因子的卷积绝对值之和，计算一个像素点的灰度梯度绝对值；

sobel算子在x方向和y方向的卷积因子为：

图像中某个像素点的灰度梯度绝对值近似等于图像灰度值分别与x方向和y方向卷积因子卷积绝对值之和:

|g|＝|gx|+|gy|

gx为图像灰度数据与x方向卷积因子的卷积；gy为图像灰度数据与y方向卷积因子的卷积。

再次，处理器对像素点的灰度梯度绝对值|g|进行判定处理，如果像素点的灰度梯度绝对值大于预设阈值，则确定像素点为边缘点，值为1；如果像素点的灰度梯度绝对值小于等于预设阈值，则确定像素点为非边缘点，值为0。其中，预设阈值是主控制器写入的特定值，该特定值是根据车辆所处的外部环境确定的值。例如，根据不同颜色的车道线，不同的光照条件等进行判断后确定的阈值。处理器经过对像素的灰度梯度数据进行判定，滤除经判定为非边缘点的像素点，只保留经判定为边缘点的像素点。

最后，根据判定处理后的全部边缘点的像素点组成的图像数据得到二进制编码的第五图像数据。经过分割处理后第五图像数据，滤除了非边缘点数据，只保留了边缘点像素的数据，并且为二进制图像数据，减小了图像数据量，从而降低了处理器和之后对图像数据进行处理的主控制器的运算量。

步骤109，处理器将第五图像数据发送给串行-解串处理单元，通过串行-解串处理单元对第五图像数据进行串行-解串处理，得到自动泊车图像采集处理数据。

具体的，处理器将第五图像数据与行同步信号、帧同步信号发送到串行芯片进行串行处理。之后经同轴电缆将图像数据传输到另一端连接的解串芯片进行解串处理，得到自动泊车图像采集处理数据。并将自动泊车图像采集处理数据输出给主控制器。

在本发明具体实施例的优选方案中，分割处理输出第五图像数据与行同步信号，帧同步信号连接到串行芯片max96705进行串行处理。然后经过同轴电缆传输到解串芯片max9282中进行解串处理，最终得到自动泊车图像采集处理数据。

为了更好的理解本发明提供的自动泊车系统的图像获取方法，下面以一个具体的自动泊车系统的实施结构进行说明。如图3所示：

当摄像头模组中的图像采集器(图中sensor)接收到图像采集控制信号时，各图像采集器接收到图像采集控制信号开始进行图像采集，生成第一图像数据；处理器(图中fpga)根据校正像素索引坐标从内存中读取第一图像数据，并对第一图像数据进行畸变校正处理，得到第二图像数据；处理器对第二图像数据进行高斯滤波处理，得到第三图像数据；处理器对第三图像数据进行伽马校正，得到第四图像数据；处理器对第四图像数据进行分割处理，得到第五图像数据；处理器将第五图上数据发送给串行处理单元(图中max96705)经过串行处理后经同轴电缆(图中coax)传输到解串处理单元(图中max9282)进行处理，得到自动泊车图像采集处理数据，发送给主控制器(图中控制主机)。

本发明实施例提供的一种自动泊车系统的图像获取方法采用360环视摄像头模组，该摄像头模组采用gmsl与主控制器连接的方式，并采用触发的方式，使得图像采集器只在泊车时由图像采集控制信号触发图像采集操作，其他时间处于休眠，采用这种触发模式进行控制的方式降低了整车功耗。摄像头模组的多个图像采集器同步进入触发模式，保证主控制器接收到的图像实现时间同步。图像采集器采集的数据经过处理后输出为二进制图像，能降低电缆传输数据量。并且处理器在内部对采集到的图像数据进行依次进行畸变校正处理和分割处理，滤除了大量的图像背景，降低了主控制器的运算量，从而减少了泊车时间，并提高了泊车准确度。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。