用于控制车辆的狭窄道路行驶的装置和方法与流程

本申请基于2016年12月14日向韩国知识产权局提交的韩国专利申请No.10-2016-0170213并且要求其优先权，该申请的全部内容通过引用结合于此。

技术领域

本发明通常涉及车辆控制系统，尤其是涉及控制车辆的狭窄道路行驶的装置和方法。

背景技术：

驾驶员常常不得不在由于道路特征和周围物体等所导致的狭窄道路上驾驶。例如，由于有许多车辆在居民区的街巷里停车，在那里，停车位窄小，驾驶员可能不得不在狭窄的道路上驾驶。没有经验的驾驶员在驾驶通过狭窄的区域时，可能由于驾驶不熟练和缺乏驾驶经验而容易发生碰撞，相应地，可能在狭窄道路上驾驶时感觉不舒服。

相应地，需要这样的驾驶员支持系统，其可以提高驾驶员在车辆经过狭窄道路时的驾驶控制能力。为实现这一目标，提供了各种狭窄道路识别系统，而传统的狭窄道路识别系统包括，例如，激光雷达装置或超声传感器。但是，4线激光雷达对位于车辆的物体的识别能力有限，因为它通常安装在车辆的下部。此外，超声传感器识别远距离物体的能力有限，因为它只能识别近距离物体。

技术实现要素：

本发明提供了用于控制车辆的狭窄道路行驶的装置和方法，当车辆在狭窄道路上行驶时，基于深度地图和高度地图，所述用于控制车辆的狭窄道路行驶的装置和方法可以识别可行驶区域和物体，并确定车辆是否安全地通过狭窄道路，以使得车辆能够安全地通过狭窄道路。

本发明的技术目标不限于上述的技术目标，而其他未提及的技术目标将从以下描述中对本领域的技术人员变得更易理解。

根据本发明实施方案，本发明提供了用于控制车辆的狭窄道路行驶的装置，其包括：图像变换单元，其利用位于车辆所行驶道路的前方图像中的物体的深度信息来生成深度地图，并且通过变换所生成的深度地图来生成前方图像的高度地图；地图分析单元，其识别物体，并基于所生成的高度地图来计算道路的可行驶区域；确定单元，其基于所计算的可行驶区域来确定道路是否为狭窄道路，当道路确定为狭窄道路时，确定车辆是否能够通过所述狭窄道路；信号处理单元，其基于车辆是否能够通过狭窄道路的判断，来控制车辆在狭窄道路上的行驶。

此外，根据本发明实施方案，本发明提供了用于控制车辆的狭窄道路行驶的方法，其包括：利用位于车辆所行驶道路的前方图像中的物体的深度信息来生成深度地图；通过变换所生成的深度地图来生成前方图像的高度地图；识别物体，并基于所生成的高度地图来计算道路的可行驶区域；基于所计算的可行驶区域来确定道路是否为狭窄道路；当道路确定为狭窄道路时，确定车辆是否能够通过所述狭窄道路；基于车辆是否能够通过狭窄道路的确定，来控制车辆在狭窄道路上的行驶。

附图说明

通过接下来的详细描述结合附图，本发明的上述和其他目的、特征和优点将变得更加清楚：

图1是显示了根据本发明实施方案的用于控制车辆的狭窄道路行驶的装置的配置的方框图；

图2A至图7是显示了根据本发明实施方案的装置的工作的视图；

图8是显示了根据本发明实施方案的用于控制车辆的狭窄道路行驶的方法的工作的流程图；以及

图9是显示了执行根据本发明实施方案的方法的计算系统的方框图。

应当理解的是，以上参照的附图并不一定按比例地绘制，而是图示性地简化呈现各种优选的特征以显示本发明的基本原理。本发明的具体设计特征(包括例如，具体尺寸、方向、位置和外形)将部分地由具体所要应用和使用的环境来确定。

具体实施方式

在下文中，本发明的具体实施方案将参照附图进行详细描述。在整个说明书中，应该注意的是，相同或相似的附图标记表示相同或相似的元素，即使它们是在不同的附图中提供的。此外，在对本发明的以下描述中，为使本发明的主题更清楚，将省略在本文中包括的已知功能和配置的详细描述。

在本文中使用的术语只用于描述具体实施方案，而不意图用于限制本发明。正如本文中所使用的，单数形式“某一个”、“一个”和“该”意图用来同样包括复数形式，除非上下文明确表示不包括复数形式。还将进一步理解当在本明书中使用术语“包括”和/或“包括了”时，指明存在所述特征、整体、步骤、操作、元件和/或组件，但是不排除存在或加入一种或更多种其他的特征、整体、步骤、操作、元件、组件和/或其群体。正如本文所使用的，术语“和/或”包括一种或更多种相关列举项的任何和所有组合。

此外，在本文中当描述当前本发明的部件时，可能会用到诸如第一、第二、A、B、(a)、(b)等术语。这些术语只用于区分元素和其他元素，而元素的本质、序列、顺序和数量不受术语的限制。此外，除非另外定义，否则在本文中所使用的所有术语，包括技术或科学术语，都具有与本发明所属技术领域的技术人员通常所理解的相同的含义。在通常使用的词典中定义的术语应该被解释为具有与相关技术的上下文含义相一致的含义，除非在本发明的说明书中明确定义，否则不应被解释为理想或过于正式的含义。

应当理解的是，本文中所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆，包括各种舟艇、船舶，航空器等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如，源于非化石能源的燃料)。正如本文所提到的，混合动力车辆是具有两种或更多种动力源的车辆，例如汽油动力和电力动力两者的车辆。

此外，应该理解一个或更多个以下的方法或者其中的方面，可以由至少一个控制单元运行。术语“控制单元”可以指包括存储器和处理器的硬件装置。存储器配置为存储程序指令，并且处理器特别地程序化以运行程序指令来进行下面进一步描述的一个或更多个过程。此外，如同本领域技术人员可以领会的那样，应该理解下面的方法可以由包括控制单元的装置结合一个或更多个其他组件执行。

此外，本发明的控制单元可以实施为非易失性计算机可读介质，所述非易失性计算机可读介质包括由处理器或控制器等运行的可执行的程序指令。计算机可读介质的示例包括但不局限于：ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡以及光学数据存储装置。电脑可读记录介质也可以分布遍及计算机网络，以使程序指令以分布式的形式(例如，通过远程信息处理服务器或者控制器局域网(CAN))存储和运行。

现在参照所公开的实施方案，图1是显示了根据本发明实施方案的用于控制车辆的狭窄道路行驶的装置的配置的方框图。

根据本发明的用于控制车辆的狭窄道路行驶的装置100可以在车辆中实施。例如，装置100可以通过利用安装于车辆的一个或更多个控制单元来实现，并且/或者可以实施为单独的装置，其通过单独的连接单元来连接至车辆的控制单元。

参照图1，用于控制车辆的狭窄道路行驶的装置100可以包括：控制单元110、接口单元120、传感器单元130、通信单元140、存储单元150、图像变换单元160、地图分析单元170，确定单元180以及信号处理单元190。在这里，控制单元110可以处理在用于控制车辆的狭窄道路行驶的装置110的元件之间传送的信号。

接口单元120可以包括：输入单元，其接收来自于驾驶员的控制命令；输出单元，其输出用于控制车辆的狭窄道路行驶的装置100的工作状态和结果。在这里，输入单元可以包括按钮，也可以包括鼠标、操纵杆(joystick)、旋钮(jog shuttle)和手写笔。此外，输入单元可以包括呈现在显示器上的软键。

输出单元可以包括显示器，也可以包括声音输出单元，例如扬声器。当触摸传感器(例如触摸膜，触摸片，或触摸板)设置于显示器时，显示器可以作为触摸屏来工作，并且可以实施为输入单元和输出单元集成的形式。例如，显示器可以包括液晶显示器(LCD)，薄膜晶体管液晶显示器(TFT-LCD)，有机发光二极管(OLED)，柔性显示器，场发射显示器(FED)以及3D显示器中的至少一种。

传感器单元130可以包括一个或更多个传感器，传感器检测车辆周围的物体，并测量到物体的距离。例如，传感器单元130可以包括摄像机或可以测量深度信息的激光雷达装置。当然，此外，还可以应用任何可以检测物体并测量距离(例如：深度)的传感器。

在这里，摄像机是可以拍摄车辆周围的图像的装置，例如，其可以是设置在车辆的前部的立体摄像机。摄像机120可以向控制单元110传送通过拍摄车辆的前方来获得的立体图像(例如：“前方图像”)。然后，控制单元110可以存储从摄像机120传送到存储单元140的立体图像，并可以将立体图像传送到地图分析单元170。

通信单元140可以包括通信模块，所述通信模块支持与设置于车辆的电子部件和/或控制单元的通信接口。例如，通信模块可以包括支持车辆网络通信(例如控制器局域网(CAN)通信、本地互连网络(LIN)通信或Flex-Ray通信)的模块。

此外，通信模块可以包括用于无线互联网连接的模块或用于短距离通信的模块。例如，无线网络技术可以包括无线LAN(WLAN)、无线宽带(WiBro)、Wi-Fi或全球微波接入互操作性(WiMax)，短距离通信技术可以包括蓝牙、ZigBee、超宽带(UWB)、射频识别(RFID)以及红外通信技术(IrDA)。

存储单元150可以存储操控用于控制车辆的狭窄道路行驶的装置100所必需的数据和/或算法。存储单元150可以存储由传感器单元130所测量的信息，例如，摄像机的前方立体图像(即：“前方图像”)，以及前方图像中的物体(或称为“前方物体”)的位置和深度信息。此外，存储单元可以通过利用传感器单元130所测量的信息来分析狭窄道路，可以识别出可行驶的区域，并且可以存储控制命令和/或用于确定车辆是否会通过狭窄道路的算法。例如，存储单元150可以包括存储介质，例如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)和电可擦可编程只读存储器(EEPROM)。

图像变换单元160可以从传感器单元130的摄像机获得前方2D图像，并且可以通过利用位于从摄像机或激光雷达装置获得的前方图像中的物体(即，“前方物体”)的深度信息来生成深度地图。此外，图像变换单元160可以通过利用前方物体的位置和深度信息，将深度地图变换为高度地图，将参照图2A至图2C对其进行更详细地讨论。

如图2A至图2C所示，基于由摄像机或传感器识别的前方物体的深度信息，图像变换单元160可以将图2A的前方2D图像变换为如图2B所示的深度地图，反过来，通过利用前方物体的2D位置和深度信息，图像变换单元160可以将图2B的深度地图变换为如图2C所示的3D高度地图。

在这里，图像变换单元160可以将深度地图变换为3D点云，反过来，可以将3D点云变换为高度地图。也就是说，基于前方2D图像和前方物体的深度信息，图像变换单元160可以识别前方物体的3D位置信息，并且基于所识别的3D位置信息，图像变换单元160可以将深度地图变换为3D点云。

然后，通过利用立体三角测量技术，图像变换单元160可以识别在2D图像中呈现的物体的深度信息，将参照图3对其进行更详细地讨论。

如图3所示，根据立体三角测量技术，点cl和cr是立体图像(即，左图像Ileft和右图像IRight)的图像中心点；点Ol和Or是摄像机的中心点，并对应于立体图像的图像中心点cl和cr；点Pl和Pr是左图像Ileft和右图像IRight中相互对应的点；点P检测为连接点Pl和Pr与摄像机的中心点Ol和Or的直线的交点。然后，图像变换单元160可以提取从P到摄像机的竖直距离，以作为深度(Z)信息。

在图3中，深度(Z)信息可以如公式1中所定义。

[公式1]

在公式1中，f表示摄像机的焦距，B表示左摄像机和右摄像机之间的距离，d表示左摄像机和右摄像机之间的视差。

通过这种方式，基于根据从2D图像获取的深度信息所识别的3D位置信息，图像变换单元160可以将深度地图变换为3D点云。此外，图像变换单元160可以将3D点云映射至具有特定尺寸的网格，并且通过计算3D点云的平均值以及叠加网格的高度信息，图像变换单元160可以生成高度地图。图4A和图4B更详细地描述了从3D点云生成高度地图的过程。

参照图4A和图4B，通过将对应于3D点云的(X，Y)坐标的点映射至具有特定尺寸的网格的(I，J)坐标，图像变换单元160可以生成高度地图。这里，I表示高度地图的X轴坐标，J表示高度地图的Y轴坐标，I和J可以如公式2和公式3中所定义。

[公式2]

[公式3]

在公式2和公式3中，P.cloud表示3D点云的坐标，Xrange min表示X坐标范围的最小值，Xrange max表示X坐标范围的最大值，Yrange min表示Y坐标范围的最小值，Yrange max表示Y坐标范围的最大值，Grid Size表示高度地图的一个网格的尺寸。在3D点云的Z轴中呈现的高度信息可以通过当其被映射至高度地图时的平均高度来表示。在这里，通过利用映射至高度地图网格的3D点云的计数网格地图和高度网格地图，图像变换单元160可以计算平均高度。

映射至高度地图网格的3D点云的计数网格地图和高度网格地图可以如公式4和公式5所定义。

[公式4]

Count Grid Map(I,J)＝Count Grid Map(I,J)+1

[公式5]

Height Grid Map(I,J)＝Height Grid Map(I,J)+P.Cloud(Z)

在公式4和公式5，P.Cloud(I，J)表示映射至高度地图的3D点云的坐标，Count表示3D点云映射至(I，J)坐标的计数网格地图，P.Cloud(Z)表示3D点云的Z轴值。

相应地，图像变换单元160可以通过利用公式4和公式5来计算平均高度地图，如公式6所示。

[公式6]

与此同时，当3D点云被映射至高度地图时，未映射的坐标可以在高度地图的整数坐标中生成。在这种情况下，通过如图4A和图4B所示对坐标向下取整，对应的坐标可以映射至高度地图的整数坐标。

地图分析单元170通过分析由图像变换单元160所生成的高度地图，来识别可行驶区域和车辆前方的物体。然后，通过提取位于高度地图中最低位置处的点，地图分析单元170可以估算道路表面。当道路表面对应于平坦道路时，通过利用随机样本一致算法(RANSAC)，地图分析单元170可以推导出表示位于高度地图中最低位置处的点的平面公式。

地图分析单元170根据在高度地图中所估算的道路表面，来识别车辆的可行驶区域，并将高于道路表面的点识别为物体。在这里，地图分析单元170可以在前方图像上呈现可行驶区域和高度地图上的物体，将参照图5A和图5B对其进行更详细地描述。

如图5A和图5B所示，地图分析单元170在图5A所示的前方图像和图5B所示的高度地图上呈现了可行驶区域和从高度地图识别的物体。确定单元180基于地图上所识别的可行驶区域来确定狭窄道路。

图6A至图6C描述了确定道路是否狭窄的过程。如图6A所示，确定单元180将可行驶区域变换为包括0和1的二值区域。通过将图6B所示的距离变换(DT)算法应用于图6A所示的可行驶区域所对应的二值区域，地图分析单元170可以确认从可行驶区域的中心点到周边物体的距离。

从可行驶区域的中心点到周边物体的距离代表了以可行驶区域的中心点为参考点的圆的最大半径。相应地，通过连接可行驶区域的中心点，确定单元180可以提取可行驶区域的中轴。当然，如图5B所示，在高度地图的相应区域内，确定单元180可以在所提取的可行驶区域的中轴上呈现信息。然后，呈现在可行驶区域的中轴上的值可以加倍，以使得确定单元180可以确认可行驶区域的道路宽度。

通过将包括后视镜的车辆的总宽度和所确认的可行驶区域的道路宽度进行比较，确定单元180可以确定车辆是否可以通过狭窄道路。如果确定单元180判断车辆不能通过狭窄道路，信号处理单元190可以通过显示屏来输出警告消息，或者通过扬声器或蜂鸣器来输出警告声音。

同时，如果确定单元180识别车辆可以通过狭窄道路，通过如图7所示在前方图像上显示可行驶区域，信号处理单元190使得驾驶员可以识别可行驶区域。在这里，信号处理单元190可以根据可行驶区域的中轴来控制车辆的驾驶。

现在将详细描述根据本发明的装置的工作流程。

图8是显示了根据本发明实施方案的用于控制车辆的狭窄道路行驶的方法的工作的流程图。

如图8所示，当车辆进入狭窄道路(S100)，用于控制车辆的狭窄道路行驶的装置100从立体摄像机或激光雷达装置获取前方图像上的深度地图，并基于前方图像上的深度地图来生成高度地图(S110)。

此后，通过分析基于高度地图的狭窄道路轮廓(S120)，用于控制车辆的狭窄道路行驶的装置100可以识别前方物体和可行驶区域(S130和S140)。

然后，用于控制车辆的狭窄道路行驶的装置100可以呈现已经在步骤S110生成的高度地图中识别的前方物体和可行驶区域的信息。

基于已经在步骤S130和S140识别的物体和可行驶区域，用于控制车辆的狭窄道路行驶的装置100确定车辆是否可以通过狭窄道路(S150)，如果确定车辆可以通过狭窄道路，装置100可以在前方图像上显示可行驶区域(S160)。

用于控制车辆的狭窄道路行驶的装置100继续显示可行驶区域直至车辆完全通过狭窄道路，如果车辆完全通过狭窄道路(S170)，则装置100可以终止相关的工作。

与此同时，如果在步骤S150确定车辆不能通过狭窄道路，用于控制车辆的狭窄道路行驶的装置100通过输出警告消息来通知驾驶员这一事实(S180)。

根据本发明实施方案的装置100可以实施为独立硬件装置的形式，也可以以装置100作为至少一个处理器包括在另一个硬件装置(例如，微处理器或通用计算机系统)的形式驱动。

图9是显示了执行根据本发明实施方案的方法的计算系统的方框图。

如9图所示，计算系统1000可以包括通过总线1200来连接的至少一个处理器1100、存储器1300、用户接口输入装置1400、用户接口输出装置1500、存储区1600以及网络接口1700。

处理器1100可以是中央处理器(CPU)或半导体器件，其处理存储在存储器1300和/或存储区1600中的指令。存储器1300和存储区1600可以包括各种易失性存储介质或非易失性存储介质。例如，存储器1300可以包括只读存储器(ROM)和随机存取存储器(RAM)。

相应地，本发明的实施方案所涉及的方法或算法的步骤可以直接由处理器1100执行的硬件、软件模块或它们的组合来实现。软件模块可以位于存储介质(即，存储器1300和/或存储区1600)上，诸如RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、可移动磁盘或者CD-ROM。示例性存储介质连接至处理器1100，处理器1100可以从存储介质读取信息，并可以在存储介质中写入信息。在另一种方法中，存储介质可以与处理器1100集成。处理器与存储介质可以位于专用集成电路(ASIC)中。ASIC可以位于用户终端中。在另一种方法中，处理器和存储介质可以作为单独的部件存在于用户终端。

根据本发明，通过在狭窄道路上行驶期间基于深度地图和高度地图来识别可行驶区域和物体，并确定车辆是否可以安全地通过狭窄道路，车辆可以安全地通过狭窄道路。相应地，驾驶员的便利可以得到改善。

以上描述是对本发明技术精神的简单示例，在不偏离本发明的基本特征的情况下，本发明所属技术领域的技术人员可以本发明进行各种修正和改进。因此，本发明公开实施方案不对本发明的技术精神进行限制，而是说明性的，本发明的技术精神的范围不局限于本发明的实施方案。本发明的范围应该由权利要求来解释，并且可以理解的是，在同等范围内的所有技术精神都在本发明范围之内。