多摄像头适配的车载视觉感知系统的制作方法

本发明涉及于车载视觉感知技术领域，特别涉及一种多摄像头适配的车载视觉感知系统。

背景技术：

近年来，随着汽车驾驶辅助技术的日益成熟，各种汽车辅助功能被越来越多地应用在量产汽车上。汽车驾驶辅助技术是汽车由“机械化”向“智能化”发展的一个必经的技术阶段；其可以为驾驶员驾驶行为提供安全保障，同时提高车辆行驶的舒适性、安全性、燃油经济性。在驾驶辅助技术和无人驾驶技术中，环境感知是其重要的核心组成部分。环境感知技术指车辆通过包括摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的相关信号对周围环境进行感知，为车辆的控制决策提供重要依据。其中，相较于其他环境传感器，摄像头可以提供更加丰富的环境信息，并且价格低廉、性能可靠，常被认为是无人驾驶环境感知技术的一个不可替代的方向。

由摄像头一种传感器组成的环境感知系统被统称为车载视觉系统。车载视觉系统的功用有很多，包括行车记录、防撞预警、acc、车道检测等。现有的车载视觉系统只提供单一功能。如果驾驶员期望实现多种驾驶辅助功能，则往往需要在车辆上安装多套不同功能种类的车载视觉系统，不可避免的造成了硬软件经济成本的大量浪费。同时多种类车载视觉系统的兼容问题和数据冗余问题，也极大的影响了车载视觉系统的稳定性、安全性以及经济性。

现有车载视觉感知系统中，摄像头种类繁杂，包括红外/纯可见光摄像头、定焦/变焦摄像头、普通/广角摄像头、单目/双目摄像头、平面/立体摄像头等等。这些摄像头各有各的强调优势，但在功能处理方面又有一定相似之处。现有车载视觉系统并未对多个种类的摄像头进行适配，以适用于多种不同种类的摄像头。

综上所述，现有车载视觉感知系统在多类别摄像头适配和多模块功能集成化处理方面具有缺陷，需要改进。

技术实现要素：

有鉴于此，本发明的目的在于提供一种多摄像头适配的车载视觉感知系统，为驾驶辅助技术以及无人驾驶技术提供更加稳定、更加安全、更加功能集成化的车载视觉技术。

本发明的多摄像头适配的车载视觉感知系统，包括：

车载摄像头信号传输单元，用于车载硬件感光元器件的信号转换及信号传输；

dsp处理单元，与车载摄像头信号传输单元相连，用于车载摄像头数字信号的信号滤波及a/d转换；

摄像头类型判断单元，与摄像头类型判断单元相连，用于识别车载摄像头的硬件类型并为系统功能提供摄像头类型信息；

视觉数据存储单元，与dsp处理单元相连，用于储存车载摄像头数据作为行车记录，储存图像预处理结果数据作为传感器融合的数据接口；

图像信息预处理单元，与摄像头类型判断单元及视觉数据存储单元相连，用于将摄像头数据根据摄像头类型进行预处理，对图像进行去雾-优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割。

进一步，该系统还包括图像处理单元，所述图像处理单元与图像信息预处理单元相连；所述图像处理单元包括：

路面估计单元，用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类；

视觉里程计单元，用于根据去雾优化处理数据/灰度图像数据，对车辆行驶进行相对位姿解算；

图像特征计算单元，用于对去雾优化处理数据、灰度图像数据进行视觉特征解算，包括特征检测、特征描述，计算特征分别为haar、hog、fast、orb、brief或者lbp，特征实际解算种类由摄像头处理需求指定；

视觉地图构建单元，用于针对brief特征建立视觉特征地图库，与视觉里程计融合为视觉环境slam，对视觉地图进行优化处理，进行实时回环检测；

图像识别单元，用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别；

图像追踪单元，用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配，计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置；以及

视觉特征库储存单元，用于储存图像特征计算单元解算出的视觉特征数据，存储方式为依时序下3d结构重建的特征库储存方式，为视觉地图构建单元提供计算数据接口。

进一步，该系统还包括系统后端，所述系统后端与图像处理单元相连；所述系统后端包括：

结构化道路构建单元，用于利用路面估计单元、视觉地图构建单元、图像识别单元解算结果搭建结构化道路模型，优化模型结果；

行驶环境检测单元，用于根据路面估计单元、视觉地图构建单元、图像识别单元、图像追踪单元数据解算结果，检测自车辐射范围l米内行驶环境变化；以及

系统数据交互接口单元用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取及传感器数据融合决策级数据提取提供数据接口。

进一步，所述l为100-200。

进一步，所述摄像头类型判断单元包括：

车载视觉信号输入模块，用于提供摄像头类型判断数据接口，将dsp处理单元处理结果信号、红外线发生器信号输入车载摄像头类型判断单元；

摄像头类型判断模块，用于判断摄像头类型，其包括红外/纯可见光摄像头判断模块、摄像头数量检测模块、摄像头广角检测模块及摄像头视野检测模块；以及

摄像头类型信息输出模块，用于输出摄像头判断结果。

进一步，该系统还包括：

车载视觉信息输入单元，设在摄像头类型判断单元与图像信息预处理单元之间，用于传输摄像头类型信息及摄像头安装位置信息数据；以及

车载视觉信号输入单元，设在摄像头类型判断单元与图像信息预处理单元之间，用于传输原有摄像头数据。

本发明的有益效果：本发明的多摄像头适配的车载视觉感知系统，可以适配多种摄像头类型，完成车载视觉的多种模块化功能；在这个过程中，工程人员只需极少的人工作业以及人工干预，节省了大量的人力、时间成本；本发明可以实现包括红外摄像头、单目摄像头、单目广角摄像头、双目立体摄像头、双目图像拼接摄像头、多镜头图像拼接全景摄像头在内的多种摄像头类型的适配，并且建立一种通用型的车载视觉处理方案，为汽车驾驶辅助系统提供多样兼容性视觉方案，同样可以减少多种车载视觉搭载的时间成本以及经济成本。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的结构框图；

图2为发明的摄像头类型判断单元的结构框图；

图3为本发明的图像信息预处理单元及图像信息预处理单元的结构框图；

图4为单个车载红外摄像头图像处理线程流程图；

图5为单个车载纯可见光摄像头图像处理线程流程图；

图6为多摄像头全景图像差异化处理流程图；

图7为双目立体视觉图像差异化处理流程图；

图8为单目广角摄像头图像差异化处理流程图。

具体实施方式

本车载视觉感知系统包括：车载视觉硬件/软件系统前端、车载视觉摄像头类型判断单元、图像预处理单元、图像处理单元、车载视觉系统后端。

其中，车载视觉硬件/软件系统前端包括车载摄像头硬件安装布置、更换，车载摄像头感光元器件信号转换、a/d转换、数字信号处理dsp，摄像头红外发生器工作状态；车载视觉摄像头类型判断单元包括摄像头红外检测、摄像头数目判断、摄像头广角检测、摄像头视野检测；图像预处理单元包括摄像头内参数标定、图像去雾、图像香农熵检测、图像分割、图像信号灰度化、图像二值化；图像处理单元包括路面估计、特征检测、视觉里程计、视觉地图、行人识别、行人追踪、车辆识别、车辆追踪、车道线识别、交通标识识别；车载视觉系统后端包括车辆定位、结构化道路构建、驾驶环境状态检测，车载视觉系统后端最终为驾驶员/无人驾驶汽车提供驾驶行为安全警示、控制决策依据、数据融合视觉特征、数据、决策接口。

该车载视觉系统的实际功能是判断摄像头类型；根据摄像头类型，对摄像头的相关信号进行处理；并最终输出可以被车载控制决策单元直接使用的数据，或者对驾驶员行驶行为进行安全警示；为信息融合提供数据、特征、决策接口；于此同时，对摄像头处理过程中产生的相关重要结果和摄像头原始数据进行储存。

通过车载视觉感知系统：

第一、判断车载视觉摄像头种类，涵盖摄像头类型有：1)红外摄像头-纯可见光摄像头；2)单目视觉摄像头-多目视觉摄像头；3)单目广角摄像头-单目普通摄像头；4)双目立体摄像头-双目图像拼接摄像头-两个单目普通摄像头；5)多目全景摄像头-多个单目普通摄像头。

第二、根据车载视觉摄像头类型以及图像数据，完成图像预处理。包括图像进行去雾-优化处理、香农熵检测、灰度化、二值化、基于边缘检测的图像分割。

第三、根据车载视觉摄像头类型、图像数据以及图像预处理解算结果，完成图像处理。包括路面估计、特征检测、视觉里程计、视觉地图、行人识别、行人追踪、车辆识别、车辆追踪、车道线识别、交通标识识别。

第四、根据车载视觉摄像头类型、图像数据以及图像处理解算结果，完成车载视觉系统后端功能实现，包括车辆定位、结构化道路构建、驾驶环境状态检测。

第五、本车载视觉系统最终为驾驶员/无人驾驶汽车提供驾驶行为安全警示、控制决策依据、数据融合视觉特征、数据、决策接口。

下面参照说明附图以及实施例对本发明进行详尽地说明：

图1为本发明的结构框图，详细列出系统相关组成单元，包括：车载摄像头信号传输单元111、dsp处理单元112、摄像头类型判断单元113、视觉数据存储单元114、图像信息预处理单元115、路面估计单元116、视觉里程计单元120、图像特征计算单元121、视觉地图构建单元122、图像识别单元123、图像追踪单元124、视觉特征库储存单元125、结构化道路构建单元130、行驶环境检测单元131、系统数据交互接口单元132。

其中，车载摄像头信号传输单元111用于车载硬件感光元器件信号转换、信号传输。dsp处理单元112用于完成车载摄像头数字信号处理包括信号滤波、a/d转换。摄像头类型判断单元113负责识别车载视觉多种摄像头适配模块化系统的硬件类型，为车载模块化系统功能提供摄像头类型信息。视觉数据存储单元114用于储存车载摄像头数据作为行车记录，储存图像预处理结果数据作为传感器融合的数据接口，存储数据包括：原有摄像头数据、摄像头去雾-优化数据、摄像头灰度数据、摄像头二值化数据、摄像头香农熵监测数据。图像信息预处理单元115用于将摄像头数据根据摄像头类型进行预处理，对图像进行去雾-优化处理、香农熵检测、灰度化、二值化、基于边缘检测的图像分割。路面估计单元116用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类，主要功能包括；路面附着系数估计，路面变化估计、结构化/非结构化道路分类、道路材质大类分类。视觉里程计单元120用于根据去雾优化处理数据/灰度图像数据，对车辆行驶进行相对位姿解算。图像特征计算单元121用于对去雾优化处理数据、灰度图像数据进行视觉特征解算，主要功能包括特征检测、特征描述，计算特征分别为haar、hog、fast、orb、brief、lbp，特征实际解算种类由摄像头处理需求指定。视觉地图构建单元122用于针对brief特征建立视觉特征地图库，与视觉里程计融合为视觉环境slam，对视觉地图进行优化处理，进行实时回环检测。图像识别单元123用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别。图像追踪单元124用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配，计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置。视觉特征库储存单元125用于储存图像特征计算单元121解算出的视觉特征数据，存储方式为依时序下3d结构重建的特征库储存方式，为视觉地图构建单元122的计算前端，为其提供计算数据接口。结构化道路构建单元130用于利用路面估计单元116、视觉地图构建单元122、图像识别单元123解算结果搭建结构化道路模型，优化模型结果。行驶环境检测单元131用于根据路面估计单元116、视觉地图构建单元122、图像识别单元123、图像追踪单元124数据解算结果，检测自车辐射范围l米(l可为100-200，优选为150)内行驶环境变化，包括路面、车辆、行人、交通标识、车道线、障碍物状态变化信息；其中，自车辐射范围两米内摄像头视野遮挡范围内行驶环境变化，根据优化估计理论ekf方法进行估计。系统数据交互接口单元132用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取、传感器数据融合决策级数据提取等，提供数据接口。

图2为发明的摄像头类型判断单元的结构框图，包括：车载视觉信号输入模块21、摄像头类型判断模块22及摄像头类型信息输出模块23。

其中，车载视觉信号输入模块21指将dsp处理单元112处理结果信号、红外线发生器信号输入车载摄像头类型判断单元113，提供摄像头类型判断数据接口。

摄像头类型判断模块22，包括：红外/纯可见光摄像头判断模块221、摄像头数量检测模块、摄像头广角检测模块223、摄像头视野检测模块。其中红外/纯可见光摄像头判断模块221中判断方案为：a)检测红外线发生器信号，b)检测夜视/无可见光环境视觉图像数据信号。摄像头数量检测模块，根据摄像头图像数据，检测摄像头个数。摄像头个数包括：单摄像头222、双摄像头224、多摄像头226。检测为双摄像头224和多摄像头226情况后，对摄像头进行双摄像头视野检测模块225、多摄像头视野检测模块227，检测方式为图像局部特征匹配、局部图像香农熵比较、局部图像像素匹配。多摄像头视野检测模块227检测结果判断是否为全景拼接摄像头、双摄像头视野检测模块225检测是否为双目立体摄像头。单摄像头222继续进行摄像头广角检测模块223输出结果为：1)是否为广角摄像头、2)摄像头广角数值。

摄像头类型信息输出模块23，对本系统输出摄像头判断结果：1)是否为红外摄像头、2)摄像头个数、3)是否为全景摄像头、4)全景摄像头图像拼接图像输出、5)是否为双目立体摄像头、6)是否为单目摄像头、7)摄像头广角数值输出。

图3为本发明的图像信息预处理单元及图像信息预处理单元的结构框图，如图所示，车载视觉信息输入单元311包括摄像头类型信息311a、摄像头安装位置信息311b。摄像头类型信息311a输出摄像头类型信息输出模块23步骤结果。摄像头安装位置信息311b包括：车载摄像头安装高度、单摄像头车载安装方向设定、多摄像头系统车载安装方向设定，车载视觉信息输入311综合摄像头类型信息311a、摄像头安装位置信息311b，判断摄像头车载位置。

车载视觉信号输入单元312传输原有摄像头数据。

图像预处理32为图像信息预处理单元115的实际功能模块，包括：摄像头内参数标定321、图像预处理功能模块322。摄像头内参数标定312方案有两种：1)人工输入摄像头内参数值；2)根据车载视觉信息输入311、车载视觉信号输入312，对摄像头进行自标定。图像预处理功能模块322包括：图像去雾-优化322e、图像灰度化322a、图像二值化322b、图像香农熵检测322c、图像分割322d。图像预处理功能模块322数据储存，并为图像处理模块提供数据接口。

车载视觉图像处理功能模块33包括：路面估计331、特征处理332、视觉识别333、视觉里程计334、视觉地图构建335、视觉追踪336。特征处理332包括：图像检测332a、特征描述332b，计算特征分别为haar、hog、fast、orb、brief、lbp，解算结果为视觉识别333、视觉里程计334、视觉地图构建335、视觉追踪336提供解算数据以及解算特征。视觉识别333包括：车辆识别333a、行人识别333b、车道线识别333c、交通标识识别333d。视觉追踪336包括车辆追踪336a、行人追踪336b、车道线追踪336c。其中，路面估计331、特征处理332、视觉识别333、视觉里程计334、视觉追踪336图像数据为图像去雾-优化322e数据、图像灰度化322a数据以及图像二值化322b数据，根据摄像头内参数标定312、车载视觉信息输入311所提供的相关数据进行处理，具体处理流程如图4、5、6、7、8所示。

车载视觉功能模块34包括：结构化道路构建341、行驶环境状态检测342、车辆定位343。车载视觉图像处理功能模块34解算数据为：自车辐射范围三维环境坐标系、路面估计331数据结果、视觉识别333数据结果、视觉地图构建335数据结果、视觉里程计334数据结果、视觉追踪336数据结果。

车载视觉模块系统与外部接口模块35包括信息融合351、行驶安全警示352、控制决策353。信息融合351为外部数据融合提供融合数据(视觉数据存储单元114提供)、融合特征(特征处理332提供)、融合决策(车载视觉功能模块34)。行驶安全警示352、控制决策353根据车载视觉功能模块34解算结果对驾驶员行驶安全进行警示或针对无人驾驶智能车辆进行控制。

图4所示为单个车载红外摄像头图像处理线程流程图，图中工作流程起始触发条件为车载视觉信息输入311判断车载视觉系统为红外摄像头。单个红外摄像头数据41为车载视觉信号输入312数据。

本系统对红外图像数据进行图像储存421a、摄像头内参数标定422b。图像储存421a储存红外摄像头原始数据以及二值化数据。本系统同时多线程进行：图像数据二值化431b、特征计算441、香农熵检测432c、图像分割433d、路面估计442e。图像数据二值化431b二值化数据用于图像储存421a以及特征计算441中orb特征描述部分、brief特征计算部分。香农熵检测432c、图像分割433d为图像预处理功能模块322，可作用于全景图像检测、主动视觉功能拓展接口。路面估计442e直接用于结构化道路构建472q。特征计算441解算结果用于车辆识别451f、行人识别452g、车道线识别453h、交通标识识别454i、视觉里程计455g、视觉地图构建456k。车辆识别451f、特征计算441解算数据以及单个红外摄像头数据41用于车辆追踪461m。行人识别452g、特征计算441解算数据以及单个红外摄像头数据41用于行人追踪462n。特征计算441解算数据以及单个红外摄像头数据41用于车道线追踪463p。视觉里程计455g、视觉地图构建456k解算数据用于车辆定位464。车道线识别453h、交通标识识别454i、车道线追踪463p、视觉地图构建456k、路面估计442e解算结果用于结构化道路构建472q。车辆识别451f、行人识别452g、车辆追踪461m、行人追踪462n解算结果用于行驶环境状态检测471。

图5所示为单个车载纯可见光摄像头图像处理线程流程图，图中工作流程起始触发条件为车载视觉信息输入311判断车载视觉系统为纯可见光摄像头。单个纯可见光摄像头数据51为车载视觉信号输入312数据。

本系统对红外图像数据进行图像储存521a、摄像头内参数标定522。图像储存521a储存纯可见光摄像头原始数据、灰度化数据以及二值化数据。视觉图像灰度化531b后，将灰度图像数据进行图像储存521a，并进行下一步骤。

本系统同时多线程进行：图像数据二值化541c、特征计算551、香农熵检测542d、图像分割543e、路面估计552f。图像数据二值化541c二值化数据用于图像储存521a以及特征计算551中orb特征描述部分、brief特征计算部分。香农熵检测542d、图像分割543e为图像预处理功能模块322，可作用于全景图像检测、主动视觉功能拓展接口。路面估计552f直接用于结构化道路构建582r。特征计算551解算结果用于车辆识别561g、行人识别562h、车道线识别563i、交通标识识别564j、视觉里程计565k、视觉地图构建566m。车辆识别561g、特征计算551解算数据以及单个纯可见光摄像头数据51用于车辆追踪571n。行人识别562h、特征计算551解算数据以及单个纯可见光摄像头数据51用于行人追踪572p。特征计算551解算数据以及单个纯可见光摄像头数据51用于车道线追踪573q。视觉里程计565k、视觉地图构建566m解算数据用于车辆定位574。车道线识别563i、交通标识识别564j、车道线追踪573q、视觉地图构建566m、路面估计552f解算结果用于结构化道路构建582r。车辆识别561g、行人识别562h、车辆追踪571n、行人追踪572p解算结果用于行驶环境状态检测581。

图6是多摄像头全景图像差异化处理流程图。摄像头判别为多摄像头全景61，车载视觉信息输入311判断车载视觉系统为全景图像。对于纯可见光摄像头则将摄像头1至摄像头n原始数据图像、二值化图像、灰度图像、全景特征以及结构化道路解算结果进行拼接，完成图像拼621以及结构化道路构建结果拼接622。对于红外摄像头则将摄像头1至摄像头n原始数据图像、二值化图像、全景特征以及结构化道路解算结果进行拼接，完成图像拼621以及结构化道路构建结果拼接622。

图7是双目立体视觉图像差异化处理流程图。摄像头判别为双目立体视觉71，车载视觉信息输入311判断车载视觉系统为双目立体视觉。则，根据左右摄像头数据计算视觉特征空间三维坐标72，同时根据双目立体视觉算法完成视觉里程计731、视觉地图构建732、结构化道路构建733。

图8是单目广角摄像头图像差异化处理流程图。摄像头判别为单目广角摄像头81，车载视觉信息输入311判断车载视觉系统为单目广角摄像头。对单目广角摄像头进行广角摄像头畸变矫正82，并输出矫正摄像头信号数据83。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。