ADAS上基于ISP的图像预处理系统及方法与流程

本发明属于图像处理技术领域，更具体地，涉及一种adas上基于isp的图像预处理系统及方法。

背景技术：

adas系统是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。

adas系统中一个重要的组成部分是图像处理，典型图像处理方法是摄像头捕捉到数据后传给图像处理器，图像处理器对捕捉到的数据做简单处理，之后传给辅助驾驶的算法处理器，算法处理器会根据图像信息控制汽车做相应动作。

图像处理器传送的数据单一，通常是固定分辨率，固定格式排列，固定颜色。而算法处理器在不同的场景对图像规格有不同的使用需求，由于当前收到的图像是固定规格，所以有时候甚至需要算法处理器再对图像做二次处理才能满足使用要求，这样就降低了算法处理器的效率。

在现有的adas系统中，图像处理工作会交由算法处理器做，图像处理器只经过简单处理，传送固定规格的图像数据给算法处理器，这样大大增加了算法处理器的负荷，另外用算法处理器做图像处理，增加了开发难度，拖长了开发周期。

因此，有必要提供一种adas上基于isp的图像预处理系统，在减小开发难度的同时减轻算法处理器的负荷。

技术实现要素：

本发明利用图像处理器对原始图像数据进行多个规格处理，生成算法处理器所需要的规格的图像，从而减轻算法处理器的工作，进而提高了算法处理器的效率。

根据本发明的一方面，提出了一种adas上基于isp的图像预处理系统，该系统包括：图像传感器，用于获得原始图像数据；图像处理器，其通信连接于所述图像传感器，获取所述原始图像数据，对所述原始图像数据进行多个规格处理；算法处理器，其通信连接于所述图像处理器，依据应用场景获取相应规格的图像数据并进行运算分析。

优选地，所述图像处理器包括图像处理单元和isp缓存，所述图像处理器获取所述原始图像数据，对所述原始图像数据进行多个规格处理包括：

1)将所述原始图像数据传输到所述isp缓存；

2)所述图像处理单元调用规格处理算法，对每一个原始图像数据进行多个规格处理，获得多个规格处理后的图像数据。

优选地，进一步包括：

所述原始图像数据分批次传输到所述isp缓存中；

所述图像处理单元为多个，每一个图像处理单元内设置唯一一种规格处理算法，每一个所述图像处理单元调用其相应的规格处理算法对传输到所述isp缓存中的每一个原始图像数据进行规格处理。

优选地，进一步包括多个存储单元，所述多个规格处理后的图像数据按照规格分别存储在所述存储单元内。

优选地，所述算法处理器依据应用场景分别访问多个存储单元，从中获取规格处理后的图像数据进行运算分析。

优选地，对所述原始图像数据进行规格处理包括：二值化处理、灰度化处理和分辨率调整。

优选地，所述图像处理器为arm处理器。

优选地，所述应用场景包括：车道线识别、障碍物识别和红绿灯识别，利用二值图进行所述车道线识别；利用灰度图进行所述障碍物识别；利用yuv422p图进行所述红绿灯识别。

优选地，所述图像传感器包括：cis传感器和ccd传感器。

优选地，通过所述图像传感器将所述光学图像转换为数字信号，获得所述原始图像数据。

根据本发明的另一方面，提出了一种adas上基于isp的图像预处理方法，该方法包括：

获得原始图像数据；

图像处理器对所述原始图像数据进行多个规格处理，将规格处理后相同规格的图像数据存储于同一个存储单元；

算法处理器依据应用场景访问与之对应的存储单元，获取相应规格的图像数据并进行运算分析。

优选地，所述图像处理器包括图像处理单元和isp缓存，所述图像处理器对所述原始图像数据进行多个规格处理包括：

1)将所述原始图像数据传输到所述isp缓存；

2)所述图像处理单元调用规格处理算法，对每一个原始图像数据进行多个规格处理，获得多个规格处理后的图像数据。

优选地，进一步包括：

所述原始图像数据分批次传输到所述isp缓存中；

所述图像处理单元为多个，每一个图像处理单元内设置唯一一种规格处理算法，每一个所述图像处理单元调用其相应的规格处理算法对传输到所述isp缓存中的每一个原始图像数据进行规格处理。

本发明的有益效果在于：利用图像传感器获得原始图像数据，然后通过图像处理器对原始图像数据进行多个规格处理，将规格处理后相同规格的图像数据存储于同一个存储单元，算法处理器依据应用场景访问与之对应的存储单元，获取相应规格的图像数据并进行运算分析，图像处理器通过分担算法处理器关于规格处理的工作，提高了算法处理器的效率。

本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的adas上基于isp的图像预处理系统的示意图。

图2示出了根据本发明的adas上基于isp的图像预处理方法的流程图。

图3示出了根据本发明的图像处理器处理原始图像数据的流程图。

图4示出了根据现有技术的adas系统的图像处理分工示意图。

图5示出了根据本发明的adas系统的图像处理分工示意图。

具体实施方式

下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

实施例1

图1示出了根据本发明的adas上基于isp的图像预处理系统的示意图。

如图1所示，在该实施例中，根据本发明的adas上基于isp的图像预处理系统可以包括：图像传感器101，用于获得原始图像数据；图像处理器102，其通信连接于图像传感器101，获取原始图像数据，对原始图像数据进行多个规格处理；算法处理器103，其通信连接于图像处理器102，依据应用场景获取相应规格的图像数据并进行运算分析。

该实施例利用图像处理器对原始图像数据进行多个规格处理，生成算法处理器所需要的规格的图像，从而减轻算法处理器的工作，进而提高了算法处理器的效率。

图3示出了根据本发明的图像处理器处理原始图像数据的流程图。

在一个示例中，如图3所示，图像处理器102包括图像处理单元和isp缓存，图像处理器102获取原始图像数据，对原始图像数据进行多个规格处理包括：

步骤301，将原始图像数据传输到isp缓存；

步骤302，图像处理单元调用规格处理算法，对每一个原始图像数据进行多个规格处理，获得多个规格处理后的图像数据。

在一个示例中，进一步包括：原始图像数据分批次传输到所述isp缓存中；图像处理单元为多个，每一个图像处理单元内设置唯一一种规格处理算法，每一个所述图像处理单元调用其相应的规格处理算法对传输到所述isp缓存中的每一个原始图像数据进行规格处理。

具体地，一帧帧的原始图像数据组成视频数据，视频数据通过专用接口传输到图像处理器(imagesignalprocessor，isp)102的isp缓存，图像处理器102中有多个处理单元，规格处理是在isp中的几个单元中进行的。先是把图像的一部分加载到isp缓存，isp缓存有限，所以只能一部分一部分加载。然后图像处理单元会根据不同的需求调用不同的算法实现对图像的处理，处理后的图像同样放到isp缓存，之后借助dma(directmemoryaccess)把isp缓存处理好的这部分拷贝到存储单元，算法处理器(algorithmprocessor，ap)103就可正常使用了。

在本实施例中，原始图像数据通过mipicsi接口传输到isp缓存。csi接口为相机串行接口，是移动产业处理器接口联盟(mobileindustryprocessorinterface，mipi)制定的一种接口规范，通常从coms传感器、视频编码器和其它视频输出设备收集数据。

在一个示例中，进一步包括多个存储单元，多个规格处理后的图像数据按照规格分别存储在存储单元内。

在一个示例中，算法处理器依据应用场景分别访问多个存储单元，从中获取规格处理后的图像数据进行运算分析。

具体地，按照规格设置存储单元，存储单元可以是算法处理器内部设置的，也可以是图像预处理系统中独立设置的。将相同规格的图像数据存储在同一个存储单元，算法处理器103内设置有已经编译好的图像信息分析程序，该程序依据应用场景调用不同的图像分析函数进行分析，在函数调用时可以获得相应的存储单元的地址，依据地址可访问到相应的存储单元，获得分析该应用场景所需要的规格的图像。

在一个示例中，对原始图像数据进行规格处理包括：二值化处理、灰度化处理和分辨率调整。

图4示出了根据现有技术的adas系统的图像处理分工示意图，图5示出了根据本发明的adas系统的图像处理分工示意图。

如图4所示，左边的圆isp代表图像处理器102，isp内部的圆块代表图像处理器102要做的事情；右边的圆ap代表算法处理器103，ap内部的圆块代表算法处理器103要做的事情。可以看到，图像处理器102传送图像单一，很多工作要算法处理器103完成。

为了减轻算法处理器103的工作，我们利用图像处理器102对原始的图像数据进行规格处理，进而提升了算法处理器103的效率，如图5所示，左边isp即图像处理器102，右边ap即算法处理器103，根据不同的场景(车道线识别，障碍物识别等)，图像处理器102准备了不同规格的图像供算法处理器103使用。算法处理器103需要使用图像时，只需一次拷贝即可得到自己想要的图像规格，无需再做其他的处理。

在一个示例中，所述应用场景包括：车道线识别、障碍物识别和红绿灯识别，利用二值图进行所述车道线识别；利用灰度图进行所述障碍物识别；利用yuv422p图进行所述红绿灯识别。

在一个示例中，图像传感器101包括：cis传感器和ccd传感器。

具体地，ccd传感器是电荷耦合器件传感器，成像靠电子的积累，图像传输是通过电荷的转移来实现；cis传感器是互补金属氧化物半导体，其图像信息通过电压传输得到。

在一个示例中，图像传感器101又被称为感光元件，是摄像头的关键零部件，通过图像传感器101将光学图像转换为数字信号，获得原始图像数据。摄像头出来的数据格式一般为raw或yuv，不同摄像头yuv排列也不同。虽然ispic商有很多家，不过多数isp均有能力对摄像头传送过来数据做处理。

在一个示例中，图像处理器102为arm处理器。

具体地，arm处理器广泛的应用于系统设计，其指令长度固定，执行效率高，成本低。

本实施例利用图像传感器获得原始图像数据，然后通过图像处理器对原始图像数据进行多个规格处理，将规格处理后相同规格的图像数据存储于同一个存储单元，算法处理器依据应用场景访问与之对应的存储单元，获取相应规格的图像数据并进行运算分析，图像处理器通过分担算法处理器关于规格处理的工作，提高了算法处理器的效率。

应用示例

为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。

算法处理器利用二值图进行车道线识别，利用灰度图进行障碍区识别，利用yuv422p格式的图进行红绿灯识别，其中，不同规格的图分别处于不同的存储单元，下面以车道线识别为例。

首先，图像传感器将光学图像转换为数字信号，获得原始图像数据；然后，图像处理器对原始图像数据进行多个规格处理，将规格处理后的图像按照规格分类，分别存储在存储单元内，所以二值化后的图像是存储于同一个存储单元；算法处理器调用车道线识别算法进行车道线识别，在调用相关的函数时，获取到存储单元的地址，从而找到存放二值图像的存储单元，从中获取二值图像并进行图像信息的分析，辅助控制汽车。

本发明提供的方案实施前，由于大多图像处理由算法处理器ap来做，算法处理器ap对图像整个处理流程大约在15bps，实施该方案后，算法处理器ap对图像处理速率达40bps。

本应用示例利用图像传感器获得原始图像数据，然后通过图像处理器对原始图像数据进行多个规格处理，将规格处理后相同规格的图像数据存储于同一个存储单元，算法处理器依据应用场景访问与之对应的存储单元，获取相应规格的图像数据并进行运算分析，图像处理器通过分担算法处理器关于规格处理的工作，提高了算法处理器的效率。

实施例2

图2示出了根据本发明的adas上基于isp的图像预处理方法的流程图。

如图2所示，根据本发明的实施例，提供了一种adas上基于isp的图像预处理方法，该方法包括：

步骤201，获得原始图像数据；

步骤202，图像处理器对原始图像数据进行多个规格处理，将规格处理后相同规格的图像数据存储于同一个存储单元；

步骤203，算法处理器依据应用场景访问与之对应的存储单元，获取相应规格的图像数据并进行运算分析。

在一个示例中，图像处理器包括图像处理单元和isp缓存，图像处理器对原始图像数据进行多个规格处理包括：

1)将原始图像数据传输到isp缓存；

2)图像处理单元调用规格处理算法，对每一个原始图像数据进行多个规格处理，获得多个规格处理后的图像数据。

在一个示例中，进一步包括：原始图像数据分批次传输到isp缓存中；图像处理单元为多个，每一个图像处理单元内设置唯一一种规格处理算法，每一个图像处理单元调用其相应的规格处理算法对传输到isp缓存中的每一个原始图像数据进行规格处理。

本实施例利用图像传感器获得原始图像数据，然后通过图像处理器对原始图像数据进行多个规格处理，将规格处理后相同规格的图像数据存储于同一个存储单元，算法处理器依据应用场景访问与之对应的存储单元，获取相应规格的图像数据并进行运算分析，图像处理器通过分担算法处理器关于规格处理的工作，提高了算法处理器的效率。

本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。