车辆行驶辅助系统及其方法
【技术领域】
[0001] 本发明设及车辆行驶辅助系统及其方法，尤其设及一种车辆在道路上行驶时辨别 空间且准确识别行驶道路的车辆行驶辅助系统及其方法。
【背景技术】
[0002] 目前，车辆普遍都搭载有识别周边状况并提供该信息，用来辅助车辆行驶，为驾驶 员提供便利的系统。
[0003] 通过识别空间来识别车辆行驶道路的技术有很多种。
[0004] 目前，一般通过利用光电二极管收集影像、收集窄带影像数据的收集装置、提取分 界线的装置等辅助车辆行驶。
[0005] 但由于运些装置的可处理范围有限，因此在运用方面受到限制。例如，由于不处理 可视光线之外的频带（<400nm，〉700nm)，因此可利用频带有限，并且由于受到频带的限制， 因此还有色域窄、用于提取分界线及识别客体的资源有限的问题。
[0006] 并且，由于用于提取分界线及识别客体的资源受限，因此无论采用多么优秀的后 处理算法都受到处理色域数据的限制，因此识别性能有限，尤其对道路行驶环境起到不利 作用。道路行驶环境W无彩色为主，因此限于可视光线区域时空间识别能力不足在所难免。
[0007] 分割道路影像时，对渐青与水泥部分的分割精确度极低。
[0008] 目前还有一种获取Ξ维空间信息的装置，但为了获取Ξ维空间信息，现有的Ξ维 空间信息获取装置需要在车辆上安装雷达传感器、可测深度摄像头（T0Fcamera)、立体摄 像头、红外线摄像头、超声波传感器、激光等多种传感器和摄像头，由于使用大量设备，因此 具有费用上升的问题。
[0009] 并且，由于深度地图值epthmap)与RGB摄像头之间的像素信息互异，因此融合 RGB摄像头与Ξ维的空间信息时信号/影像处理复杂度上升，需要高度化算法，因此会造成 软件负荷上升，难W实现实时处理。
[0010] 对于车辆而言，如果摄像头与传感器或摄像头与摄像头的位置不固定，而是处于 移动的环境，那么整合难度将进一步上升，需要极其复杂的算法，因此处理时间相应增多， 准确度也大幅下降。
[0011] 因此需要一种比较简单且准确度更高的系统。
【发明内容】
[0012] 本发明的目的在于提供一种提高道路行驶用影像摄像头的空间识别功能，通过有 效提取轮廓线W准确识别行驶道路，从而能够辅助车辆行驶的车辆行驶辅助系统及其方 法。
[0013] 本发明的车辆行驶辅助系统，其特征在于包括：宽带摄像头，其拍摄车辆周边并输 入影像；地图生成部，其根据所述宽带摄像头输入的所述影像生成深度地图值epthMap); 图像生成部，其根据所述宽带摄像头输入的所述影像生成GNF(由Green、NIR2及FIR构成 的）图像；W及宽带图像生成部，其根据所述深度地图值epthMap)与所述GNF图像生成用 于Ξ维地图的宽带图像数据，其中所述宽带摄像头输入包括具有不同波长的四个信道的信 息的所述影像。 阳014] 本发明的特征在于所述宽带摄像头输入包括绿色（Green)、800皿频带的近红外 线（NearInfrared1 ;NIRl)、900nm频带的近红外线（NearInfrared2 ;NIR2)及远红外线(FarIn化ared;FIR)的所述四个信道的信息的所述影像。
[0015] 并且，本发明的车辆行驶辅助系统的工作方法包括：从宽带摄像头接收包括四个 信道的信息的影像的步骤；地图生成部根据所述影像的各信道的信息生成深度地图值epth Map)的步骤；图像生成部根据所述影像生成GNF图像的步骤；W及宽带图像生成部结合所 述深度地图值巧thMap)与所述GNF图像生成宽带图像数据的步骤。
[0016] 本发明的车辆行驶辅助系统及其方法在车辆行驶时能够利用少量摄像头轻松识 别道路及障碍物，因此能够大幅提高对可行驶区域的识别性能，容易实现车辆用导航仪的 定位，提高驾驶员监控摄像头的生物识别能力，从而能够通过提高行驶辅助装置的性能提 高驾驶员便利性。
【附图说明】 阳017] 图1为本发明的车辆行驶辅助系统的构成的框图；
[0018] 图2为本发明的车辆行驶辅助系统的摄像头的构成的示意图；
[0019] 图3为W概念方式显示根据本发明一个实施例的受光元件的结构的示意图；
[0020] 图4至图6C为说明利用图2所示摄像头识别道路的识别方法的示意图；
[0021] 图7为本发明的车辆行驶辅助系统处理影像时提取宽带图像数据的数据流的示 意图；
[0022] 图8为说明图7中宽带图像数据的提取方法的示意图；
[0023] 图9为说明利用图7的不同波长的信号生成图像的举例示意图；
[0024] 图10为本发明的车辆行驶辅助系统检测障碍物的实施例的示意图；
[0025] 图11为本发明的车辆行驶辅助系统检测行人的实施例的举例示意图； 阳0%] 图12为显示本发明的车辆行驶辅助系统的构成的示意图；
[0027] 图13为本发明的Ξ维全域地图（3DGlobalmap)生成方法的流程图；
[0028] 图14至图16为说明车辆行驶时拍摄的影像、宽带图像及Ξ维全域地图的举例示 意图。
【具体实施方式】
[0029] 参照附图及结合附图详细说明的W下实施例可明确本发明的优点、特征及其达成 方法。但是，本发明并非限定于W下公开的实施例，而是W不同的多种形态实现，本实施例 仅使本发明的公开更加完整，是为了使本发明所属技术领域的普通技术人员能够容易理解 本发明的范畴而提供的，本发明由技术方案的范畴所定义。在说明书全文中相同的附图标 记表示相同的构成要素。
[0030] 图1为本发明的车辆行驶辅助系统的构成的框图。
[0031] 如图1所示，车辆包括宽带摄像头120、地图生成部130、图像生成部140、宽带图像 生成部150、数据处理部160、障碍物检测部170、行驶部180、通信部190、数据部195及控制 车辆的所有动作的控制部110。
[0032] 并且，车辆包括用于驱动车辆的发动机或电机、变速器等构件，还可W包括多个传 感器，但W下省略有关此部分的说明。
[0033] 并且，车辆包括具有根据驾驶员的操作输入预定信号的多个开关的输入装置（未 示出）、输出电动车辆的当前状态动作信息的输出装置（未示出）、方向盘、油口、制动器等 用于驾驶的操作构件。
[0034] 其中，输入装置包括按照车辆行驶状态控制方向指示灯、尾灯、头灯、雨刷等构件 的动作的多个开关、按键等。
[0035] 输出装置包括显示信息的显示部、输出音乐、效果音及警报音的扬声器、车辆仪表 盘及各种状态灯。输出装置输出速度信息、车灯开启情况等有关当前车辆动作的所有状态 信息。尤其，输出装置在车辆发生异常时输出相应的警报，可W通过显示部输出预定图像。 在此，车辆可W通过音响或语音警报音、警报灯、警报消息、警报图像中的至少一种方式输 出警报。
[0036] 数据部195存储有关车辆行驶的行驶数据、用于判断车辆是否异常的基准数据、 车辆行驶过程中生成的数据。并且，数据部195存储宽带摄像头120输入的影像、处理影像 的过程中生成的数据、Ξ维的图像数据、从影像提取的障碍物相关信息。
[0037] 行驶部180按照通过操作装置接收的输入及控制部110的控制命令控制使得车辆 各构成工作，W使车辆移动且按驾驶员的操作行驶。行驶部180根据控制命令直接控制发 动机、变速器，制动器等构件的驱动。
[0038] 通信部190包括多个通信模块，用于车辆与外部之间收发数据。尤其在利用Ξ维 地图自适应巡航的过程中，通信部190与向车辆提供信息的服务器（未示出）进行通信。
[0039] 控制部110根据输入装置的转换操作进行控制W使预定车灯开启，或控制方向指 示灯开启和关闭，根据对油口或制动器的操作控制车辆加速或减速。并且，控制部110感测 车辆异常，并使输出装置输出相应的警报。
[0040] 宽带摄像头120拍摄车辆周边并输入影像。在此，宽带摄像头120包括广角透镜。 并且，宽带摄像头120输入包括四个信道的颜色信息的影像。
[0041] 地图生成部130分析宽带摄像头120输入的影像并生成深度地图值巧thMap)。
[0042] 图像生成部140分析宽带摄像头120输入的影像并生成GNF图像。
[0043] 宽带图像生成部150分析地图生成部130的数据与图像生成部140的数据生成Ξ 维的地图模板（template)。
[0044] 数据处理部160分析宽带摄像头120生成2. 5维的结构体。在此，数据处理部160 根据2. 5维的结构体判断车辆位置并映射到Ξ维地图。
[0045] 障碍物检测部170通过分析宽带摄像头120输入的影像检测障碍物。
[0046] 控制部1