一种用于自动驾驶系统的图像处理装置及图像采集系统的制作方法

1.本公开涉及自动驾驶技术领域，尤其涉及一种用于自动驾驶系统的图像处理装置及图像采集系统。


背景技术：

2.随着自动驾驶技术的迅速发展，高清高帧率且低延时的高动态范围的图像的需求也越来越多。目前，视频数据流通常是基于rtsp(real time streaming protocol，实时流传输协议)传输，而高清视频流采用上述方法的传输延时比较大，例如，1080p的视频流传输的延时会在200ms左右，对于8m的数据的传输延时会更高。为此，有必要提高图像视频的实时性，降低传输延时。


技术实现要素：

3.有鉴于上述存在的技术问题，本公开提出了一种用于自动驾驶系统的图像处理装置及图像采集系统。本公开的技术方案如下：
4.根据本公开实施例的一方面，提供一种用于自动驾驶系统的图像处理装置，所述图像处理装置包括图像预处理单元、压缩处理单元和缓存单元，所述图像预处理单元与所述压缩处理单元通讯连接，所述压缩处理单元与所述缓存单元连接，所述图像预处理单元包括依次连接的基于现场可编程逻辑门阵列构建的图像接收模块、图像存储模块和中断信号发生模块；所述压缩处理单元包括依次连接的中断信号接收模块、图像压缩模块和图像数据传输模块；
5.所述图像接收模块用于接收目标图像信息；所述图像存储模块用于在所述图像接收模块接收到所述目标图像信息的情况下，将所述目标图像信息存储至所述缓存单元；所述中断信号发生模块用于在所述图像存储模块将所述目标图像信息存储至所述缓存单元的情况下，向所述中断信号接收模块发送中断信号；
6.所述图像压缩模块用于在所述中断信号接收模块接收到所述中断信号的情况下，从所述缓存单元中读取所述目标图像信息，并对所述目标图像信息进行压缩处理，得到压缩图像信息；所述图像数据传输模块用于将所述压缩图像信息传输至图像显示装置。
7.可选的，所述图像预处理单元还包括同步曝光控制模块，所述同步曝光控制模块用于发送图像采集信号以触发图像采集装置进行图像采集。
8.可选的，所述同步曝光控制模块包括定位信号接收子模块和采集信号生成子模块，所述定位信号接收子模块与所述采集信号生成子模块连接，所述采集信号生成子模块与所述图像采集装置中的图像传感器连接，所述定位信号接收子模块用于接收由定位系统发送的定位信号，所述采集信号生成子模块用于根据所述定位信号，生成图像采集信号并将所述图像采集信号发送至所述图像传感器，以使所述图像传感器在接收到所述图像采集信号的情况下进行光电转换得到目标图像信息，所述图像采集信号的频率大于预设频率。
9.可选的，所述图像存储模块包括图像格式变换子模块和图像存储子模块，所述缓
存单元包括多个缓冲区，所述图像格式变换子模块与所述图像接收模块连接，所述图像存储子模块与所述中断信号发生模块连接，所述图像格式变换子模块用于在所述图像接收模块接收到所述目标图像信息的情况下，对所述目标图像信息进行格式转换处理，得到目标格式下的目标图像信息；所述图像存储子模块用于根据预设存储顺序确定所述多个缓冲区中当前的目标存储缓冲区，并将所述目标格式下的目标图像信息存储至所述当前的目标存储缓冲区；所述图像压缩模块用于在所述中断信号接收模块接收到所述中断信号的情况下，根据预设读取顺序确定所述多个缓冲区中当前的目标读取缓冲区，从所述目标读取缓冲区中读取所述目标图像信息，并对所述目标图像信息进行压缩处理，得到压缩图像信息。
10.可选的，所述图像预处理单元与压缩处理单元通过总线连接。
11.可选的，所述图像预处理单元还包括图像寄存器配置模块，所述图像寄存器配置模块用于与所述图像采集装置连接，所述图像寄存器配置模块用于将寄存器信息写入所述图像采集装置中图像传感器以进行寄存器信息配置。
12.根据本公开实施例的另一方面，提供一种用于自动驾驶系统的图像采集系统，所述图像采集系统包括上述的图像处理装置和图像采集装置，所述图像采集装置包括图像传感器和光学镜头，所述光学镜头用于采集目标区域的光信号，所述图像传感器用于对所述光学镜头采集到的光信号进行光电转换，得到目标图像信息。
13.可选的，所述图像传感器的帧同步触发信号端与所述图像处理装置中同步曝光控制模块连接。
14.可选的，所述图像采集装置还包括图像信号处理器，所述图像信号处理器用于对所述目标图像信息进行预设任务处理并将处理后的目标图像信息发送至所述图像处理装置，所述图像传感器与所述图像信号处理器连接，所述图像信号处理器与所述图像处理装置连接。
15.可选的，所述图像传感器与所述所述图像信号处理器之间通过差分信号串行传输，所述图像信号处理器与所述图像处理装置之间通过差分信号串行传输。
16.本公开的实施例提供的技术方案至少带来以下有益效果：
17.通过基于现场可编程逻辑门阵列构建的图像接收模块、图像存储模块和中断信号发生模块并行运算，可以提高各个模块运算速度，其次，通过缓存单元，可以将图像预处理过程和图像压缩过程分离处理，避免等待另一处理过程，减少等待时间，另外，通过将图像压缩传输，可以减少数据传输量，降低传输带宽要求，从而提高图像传输速度，降低传输延时，提高图像视频的实时性。
18.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
20.图1是根据一示例性实施例示出的一种用于自动驾驶系统的图像处理装置的框图；
21.图2是根据一示例性实施例示出的一种用于自动驾驶系统的图像采集系统的示意
图；
22.图3是根据一示例性实施例示出的一种用于自动驾驶系统的图像采集系统的结构框图。
具体实施方式
23.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
24.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
25.请参阅图1-图2，图1是根据一示例性实施例示出的一种用于自动驾驶系统的图像处理装置的框图，图2是根据一示例性实施例示出的一种用于自动驾驶系统的图像采集系统的示意图，如图1所示，图像处理装置包括图像预处理单元、压缩处理单元和缓存单元，图像预处理单元与压缩处理单元通讯连接，压缩处理单元与缓存单元连接，图像预处理单元可以包括依次连接的基于现场可编程逻辑门阵列构建的图像接收模块、图像存储模块和中断信号发生模块；压缩处理单元可以包括依次连接的中断信号接收模块、图像压缩模块和图像数据传输模块。
26.在一个具体的实施例中，图像预处理单元与压缩处理单元之间可以通过总线连接，从而可以进一步提高数据传输速度，降低传输延时；具体的可以是采用axi(advanced extensible interface，高级可扩展接口)协议总线。压缩处理单元可以通过总线访问存储单元。
27.图像接收模块可以用于接收目标图像信息，图像存储模块可以实时监测图像接收模块对于目标图像信息的接收情况，图像存储模块可以在监测到图像接收模块接收到目标图像信息的情况下，将目标图像信息存储至缓存单元，具体地，缓存单元可以是内存，例如可以是双倍速率同步动态随机存储器；中断信号发生模块可以用于在图像存储模块将目标图像信息存储至缓存单元的情况下，向中断信号接收模块发送中断信号。具体地，图像存储模块在目标图像信息存储完成后，可以向中断信号发生模块发送控制信号，以使中断信号发生模块向中断信号接收模块发送中断信号。
28.在一个具体的实施例中，图像接收模块可以与图像采集装置连接，图像采集装置可以将采集到的图像信息作为目标图像信息传输给图像接收模块。图像存储模块可以通过图像预处理单元与压缩处理单元之间的通讯连接，将目标图像信息存储至与压缩处理单元连接的缓存单元中。缓存单元可以用于缓存目标图像信息。具体地，可以在图像存储模块完成目标图像信息的存储时，向中断信号接收模块发送中断信号。
29.图像压缩模块可以实时监测中断信号接收模块对于中断信号的接收情况，图像压缩模块可以在监测到中断信号接收模块接收到中断信号的情况下，从缓存单元中读取目标图像信息，并对目标图像信息进行压缩处理，得到压缩图像信息；图像数据传输模块可以用
于将压缩图像信息传输至图像显示装置。
30.在一个具体的实施例中，中断信号接收模块可以用于接收中断信号发生模块发送的中断信号。压缩图像信息可以是指对目标图像信息进行压缩处理后的图像信息。图像显示装置可以通过根据压缩图像信息对目标图像信息对应的目标图像进行展示。通过对目标图像信息进行压缩处理，可以提高传输速度，降低传输带宽要求。
31.在上述实施例中，通过基于现场可编程逻辑门阵列构建的图像接收模块、图像存储模块和中断信号发生模块并行运算，可以提高各个模块运算速度，其次，通过缓存单元，可以将图像预处理过程和图像压缩过程分离处理，避免等待另一处理过程，减少等待时间，另外，通过将图像压缩传输，可以减少数据传输量，降低传输带宽要求，从而提高图像传输速度，降低传输延时，提高图像视频的实时性。
32.在一个可能的实施方式中，图像采集装置可以包括图像传感器。图像预处理单元还可以包括同步曝光控制模块，同步曝光控制模块可以包括定位信号接收子模块和采集信号生成子模块，定位信号接收子模块与采集信号生成子模块连接，采集信号生成子模块与图像采集装置中图像传感器的帧同步触发信号端连接，同步曝光控制模块可以用于发送图像采集信号以触发图像采集装置进行图像采集。其中，定位信号接收子模块可以用于接收由定位系统发送的定位信号，采集信号生成子模块可以用于根据定位信号，生成图像采集信号并将图像采集信号发送至图像传感器，以使图像传感器在接收到图像采集信号的情况下进行光电转换得到目标图像信息。通过同步曝光控制模块控制图像传感器的帧同步触发信号端，可以减少图像传输帧与帧之间的时间同步晃动。
33.在一个具体的实施例中，图像采集信号的频率可以大于预设频率。定位系统发送的定位信号和图像采集信号可以是脉冲信号，采集信号生成子模块可以在定位信号的上升沿对应的时刻起始的一秒内生成具有预设数量脉冲的图像采集信号，图像采集信号的起始脉冲的上升沿与定位信号的上升沿对应；具体地，预设数量脉冲的范围可以是大于20个脉冲。通过同步曝光控制模块控制图像传感器的帧同步触发信号端并将图像采集信号的频率大于预设频率，可以在提高图像视频的实时性的同时，实现精准的曝光采样。
34.在一个可能的实施方式中，图像存储模块可以包括图像格式变换子模块和图像存储子模块，缓存单元可以包括多个缓冲区，图像格式变换子模块与图像接收模块连接，图像存储子模块与中断信号发生模块连接，图像格式变换子模块可以用于在图像接收模块接收到目标图像信息的情况下，对目标图像信息进行格式转换处理，得到目标格式下的目标图像信息，具体地，目标格式可以是yuv422格式；图像存储子模块可以用于根据预设存储顺序确定多个缓冲区中当前的目标存储缓冲区，并将目标格式下的目标图像信息存储至当前的目标存储缓冲区，其中，当前的目标存储缓冲区可以是指对于目标格式下的目标图像信息图像存储子模块在多个缓冲区中具体所要存储的缓冲区；图像压缩模块可以用于在中断信号接收模块接收到中断信号的情况下，根据预设读取顺序确定多个缓冲区中当前的目标读取缓冲区，从目标读取缓冲区中读取目标图像信息，并对目标图像信息进行压缩处理，得到压缩图像信息，其中，当前的目标读取换缓冲区可以是指图像压缩模块当前所要读取的缓冲区。
35.可以理解的是，本实施例中的压缩方式可以是采用h264压缩，由于h264压缩仅支持yuv422格式，通过对目标图像信息进行格式转换处理以使目标图像信息的格式支持上述
压缩方式。
36.在一个具体的实施例中，缓存单元可以包括两个缓冲区，分别为缓冲区a和缓冲区b。目标图像信息可以包括第一目标图像信息和第二目标图像信息。在图像接收模块接收到第一目标图像信息的情况下，图像格式变换子模块可以对第一目标图像信息进行格式转换处理，得到目标格式下的第一目标图像信息。图像存储子模块可以根据预设存储顺序确定多个缓冲区中当前的目标存储缓冲区；具体地，预设存储顺序可以是a、b、a、b、a
…
；根据预设存储顺序可以确定当前的目标存储缓冲区为缓冲区a。在确定当前的目标存储缓冲区后，可以将目标格式下的第一目标图像信息存储至该目标存储缓冲区(即缓冲区a)，并在存储完成后，由中断信号发生模块向中断信号接收模块发送中断信号；中断信号发送完成后，图像格式变换子模块可以开始对图像接收模块接收到的第二目标图像信息进行格式转换处理。中断信号接收模块接收到上述中断信号后，图像压缩模块根据预设读取顺序确定多个缓冲区中当前的目标读取缓冲区；具体地，预设读取顺序可以是a、b、a、b、a
…
；根据预设读取顺序可以确定当前的目标读取缓冲区为缓冲区a。在确定当前的目标读取缓冲区后，图像压缩模块可以从当前的目标读取缓冲区(即缓冲区a)中读取出第一目标图像信息，并对第一目标图像信息进行压缩处理，可以得到第一目标图像信息对应的压缩图像信息。
37.在第二目标图像信息的格式转换处理完成后，图像存储子模块可以根据预设存储顺序确定当前的目标存储缓冲区为缓冲区b，并将目标格式下的第二目标图像信息存储至缓冲区b中；在存储完成后，由中断信号发生模块向中断信号接收模块发送中断信号；中断信号发送完成后，图像格式变换子模块可以开始对图像接收模块接收到的下一目标图像信息进行格式转换处理。中断信号接收模块接收到上述中断信号后，图像压缩模块根据预设读取顺序确定当前的目标读取缓冲区为缓冲区b，从缓冲区b中读取出第二目标图像信息，并将第二目标图像信息进行压缩处理，可以得到第二目标图像信息对应的压缩图像信息。
38.在上述实施例中，通过缓存单元、中断信号发送模块和中断信号接受模块将图像的接收及格式转换过程与图像的压缩过程分离，可以提高图像处理效率，另外通过缓存单元设置多个缓冲区，可以避免出现待压缩的图像信息被新的图像信息存储覆盖的情况。
39.在一个可能的实施方式中，图像预处理单元还包括图像寄存器配置模块，图像寄存器配置模块可以与图像采集装置中的图像传感器连接，图像寄存器配置模块可以通过将寄存器信息写入图像传感器中，以完成图像传感器的配置过程；在图像传感器的配置完成后，可以通过图像采集装置进行图像采集。
40.请参阅图2-图3，图2是根据一示例性实施例示出的一种用于自动驾驶系统的图像采集系统的示意图，图3是根据一示例性实施例示出的一种用于自动驾驶系统的图像采集系统的结构框图，如图2-图3所示，图像采集系统包括图像处理装置和图像采集装置，图像采集装置包括图像传感器和光学镜头，光学镜头可以用于采集目标区域的光信号，其中，目标区域可以是指光学镜头正对的图像采集区域；图像传感器可以用于对光学镜头采集到的光信号进行光电转换得到光信号对应的电信号，得到目标图像信息。
41.在一个可选的实施例中，图像采集装置还包括图像信号处理器，图像信号处理器与图像处理装置连接，图像传感器与图像信号处理器连接，图像信号处理器可以用于对目标图像信息进行预设任务处理并将处理后的目标图像信息发送至图像处理装置。具体地，图像信号处理器可以与图像处理装置中图像预处理单元的图像接收模块连接，图像传感器
与图像信号处理器之间通过差分信号串行传输，图像信号处理器与图像处理装置之间通过差分信号串行传输。图像信号处理器可以进行的预设任务处理可以包括自动曝光控制、自动增益控制、自动白平衡、色彩校正、祛除坏点等。通过图像信号处理器可以进一步提高图像的质量，实现对高分辨率和高帧率的图像信号处理。另外，通过图像信号处理器也可以匹配不同的图像传感器。
42.在本实施例中，图像传感器所使用的场景为低于50kmph，图像传感器可以是卷帘式快门星光级传感器。通过采用卷帘式快门星光级传感器作为图像传感器可以具有全局式快门方式、封装小、镜头可更换和具有外同步触发模式，可以在低照度环境下仍可以保证良好的成像效果，减小硬件的重量，降低系统整体的体积和功耗，可以应对小体积的场景需求；另外可以基于图像传感器的外同步触发方式，通过图像传感器的帧同步触发信号端与图像处理装置中同步曝光控制模块连接，图像传感器和图像信号处理器所需的时钟可以通过图像预处理单元提供，可以实现精确的图像曝光时间控制。
43.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
44.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。