基于用户输入的车辆控制系统及其方法与流程

相关申请的引用

本申请基于2016年5月26日向韩国知识产权局提交的韩国专利申请第10-2016-0064923号并且要求该韩国专利申请的优先权的权益，其全部公开内容通过引用结合于此。

本公开内容涉及基于用户输入的车辆控制系统及其方法，并且更具体地，涉及通过应用由用户输入的感兴趣区域信息执行车辆控制的技术。

背景技术：

根据诸如超声波传感器、照相机、雷达等的传感器技术的发展，诸如自动停车系统、停车辅助系统等的各种先进的驾驶员辅助系统(adas)安装在车辆中，这些先进的驾驶员辅助系统通过识别车辆周围的障碍物执行车辆控制或者提供警告。

这种adas通过识别障碍物或者周围车辆控制或者引导车辆以允许车辆避免碰撞。因为一些障碍物(例如，路缘石、水坑等)可能具有低的高度，一些障碍物(例如，铁丝网)可能难以在传感器的特性上得到识别，并且一些障碍物(诸如水路或者坡道)可能无法通过传感器识别，并且另外，因为危险区域不能通过现有的超声波传感器得到识别，所以存在当这些障碍物和危险区域出现在车辆的路径上时存在事故可能性的问题。

技术实现要素：

已提出本公开内容以解决在现有技术中出现的上述问题，同时保持由现有技术实现的优点不受影响。

本公开内容的一方面提供一种基于用户输入的车辆控制系统及其方法，其能够通过接收来自用户的有关由用户视觉识别的障碍物或者危险区域以及与其他车辆的位置关系的信息并且将所接收的信息应用至车辆控制来执行安全且准确的车辆控制并且增加用户的便利。

然而，本公开内容的目的不局限于上述目的，并且本领域中的技术人员从以下说明中可以清楚地理解上文未描述的其他目的。

根据本公开内容的示例性实施方式，基于用户输入的车辆控制系统包括：用户信息输入设备，接收来自用户的感兴趣区域；车辆移动信息计算器，计算车辆的移动信息；以及车辆位置关系跟踪器，基于感兴趣区域和车辆的移动信息执行车辆控制。

车辆控制系统可以进一步包括图像坐标转换器，该图像坐标转换器将接收自用户的感兴趣区域的图像坐标转换为世界坐标。

图像坐标转换器可以通过将车辆的移动信息添加至针对车辆位置的世界坐标和感兴趣区域的世界坐标计算车辆移动之后的车辆位置的世界坐标和感兴趣区域的世界坐标。

车辆位置关系跟踪器可以通过比较车辆移动之后的车辆位置的世界坐标与感兴趣区域的世界坐标之间的相对距离控制车辆。

车辆位置关系跟踪器可以执行控制以避免车辆与感兴趣区域之间的碰撞。

感兴趣区域可包括传感器没有感测到的障碍物。

车辆控制系统可以进一步包括获取车辆周围的图像数据的图像获取器。

用户信息输入设备可以在屏幕上显示由图像获取器获取的图像数据，并且通过用户在屏幕上显示的图像数据当中的触摸接收感兴趣区域。

车辆控制系统可以进一步包括图像合成器，该图像合成器从图像获取器的图像数据合成车辆的前图像、后图像、及侧图像。

用户信息输入设备可以在屏幕上显示由图像合成器合成的图像数据，并且通过用户在屏幕上显示的图像数据当中的触摸接收感兴趣区域。

根据本公开内容的另一示例性实施方式，基于用户输入的车辆控制方法包括：在屏幕上显示车辆周围的图像数据；通过来自用户的输入在显示的屏幕上指定感兴趣区域；以及通过应用感兴趣区域执行车辆控制。图像数据在屏幕上的显示中，车辆的前、后、侧图像数据可以合成并且显示。

在感兴趣区域的指定中，感兴趣区域可以通过屏幕上的触摸或者拖曳方式接收。

在感兴趣区域的指定中，感兴趣区域的图像坐标可以变为世界坐标。

通过应用感兴趣区域执行车辆控制可包括：计算车辆的移动信息；并且通过考虑车辆的移动信息根据感兴趣区域与车辆之间的距离执行车辆控制。

通过应用感兴趣区域执行车辆控制可以进一步包括：通过比较感兴趣区域与车辆之间的距离警告碰撞。

附图说明

从以下结合附图进行的详细描述中，本公开内容的以上和其他目的、特征以及优点将更加显而易见。

图1是根据本公开内容的示例性实施方式的基于用户输入的车辆控制系统的配置示图。

图2是示出了根据本公开内容的示例性实施方式的基于用户输入的车辆控制方法的流程图。

图3a是根据本公开内容的示例性实施方式的用于用户输入的屏幕的说明性视图。

图3b是根据本公开内容的示例性实施方式的用户通过输入点输入的说明性视图。

图3c是根据本公开内容的示例性实施方式的通过用户输入设置感兴趣区域的说明性视图。

图4a是根据本公开内容的示例性实施方式当车辆移动时通过用户输入的感兴趣区域的设置屏幕的说明性视图。

图4b是通过应用图4a的感兴趣区域的设置执行车辆控制的说明性视图。

图5是示出了根据本公开内容的示例性实施方式通过应用用户输入设置的感兴趣区域警告碰撞风险的实例的示图。

图6是示出了根据本公开内容的示例性实施方式的针孔类型的投影模型的示图。

图7是示出了根据本公开内容的示例性实施方式的响应于车辆的移动跟踪用户输入区域与车辆之间的位置关系的实例的示图。

图8是根据本公开内容的示例性实施方式的基于用户输入实现车辆控制技术的计算机系统的配置示图。

具体实施方式

在下文中，将参照示意图详细描述本公开内容的一些示例性实施方式。值得注意的是，在附图中的每一个的组件的设定参考标号中，相同组件虽然在不同的附图中示出，但将由相同的参考标号表示。此外，在描述本公开内容的示例性实施方式中，在众所周知的结构或功能可不必要地使理解本公开内容的示例性实施方式变得晦涩的情况下，将不会详细描述它们。

在描述本公开内容的示例性实施方式的组件中，能够使用诸如第一、第二、a、b、(a)、(b)等术语。这些术语仅用于将组件与其他组件区分。因此，对应组件的性质、顺序、序列等不由这些术语限制。另外，除非另有规定，否则要理解的是，在本说明书中使用的所有术语(包括技术和科学术语)具有与本领域的技术人员理解的意义相同的意义。应该理解，词典定义的术语与现有技术的上下文内部的含义相同，除非本申请清楚地另有说明，那么它们不应该理想地或者过度地被正式解释。

本公开内容公开了通过当车辆周围的图像信息提供至屏幕时考虑感兴趣区域并且用户将感兴趣区域(例如，障碍物、危险区域等)输入在屏幕上来执行车辆控制的技术。

在下文中，将参考图1至图8详细描述本公开内容的示例性实施方式。

图1是根据本公开内容的示例性实施方式的基于用户输入的车辆控制系统的配置示图。

根据本公开内容的示例性实施方式的基于用户输入的车辆控制系统包括图像获取器110、图像合成器120、用户信息输入设备130、图像坐标转换器140、车辆移动信息计算器150、以及车辆位置关系跟踪器160。

图像获取器110获取车辆周围的图像。在该情况下，图像获取器110可包括布置在车辆的前面、后面、以及侧面的照相机。

图像合成器120合成由图像获取器110获取的多个图像以因此配置例如图3a中的屏幕。在该情况下，图3a示出了通过扩大示出车辆的后面的图像为屏幕的主要部分所获取的屏幕，并且在屏幕的右侧示出显示车辆周围的另一图像。在该情况下，合成图像不限于在图3a中示出的屏幕，并且可以根据用户的便利多样地配置。

用户信息输入设备130可以通过在图像合成器120合成并显示的图像或者由图像获取器110获取但不是合成的图像当中的区域触摸接收感兴趣区域。本文中，用户信息输入设备130可以实现为将屏幕显示为诸如触摸板、触摸屏等的触摸显示器并且接收用户的触摸。另外，感兴趣区域可包括难以被超声波传感器、雷达传感器等检测到的高度低的障碍物(例如，路缘石、水坑等)，难以在传感器的特性上被识别的障碍物(例如，铁丝网)，或者诸如水路、坡道等的危险区域。图3b是根据本公开内容的示例性实施方式的用户通过输入点输入的说明性视图，并且图3c是根据本公开内容的示例性实施方式的通过用户输入设置的感兴趣区域的说明性视图。即，图3b是车辆倒车时的目标位置通过用户输入任意改变的实例，显示与选择为图像中的点坐标输入10的点的距离。图3c示出用户设置障碍物20作为感兴趣区域的实例，诸如路缘石、水路、坡道等的障碍物的位置被照相机图像确认，但是难以被传感器检测到。

图像坐标转换器140将用户通过用户信息输入设备130输入的位置信息转换为世界坐标并且生成虚拟障碍物。

在该情况下，通过用户信息输入设备130输入的感兴趣区域的输入图像坐标被定义为pi(ix，iy)，并且上述图像坐标是指相邻的几个像素坐标束，不是一个坐标。通过照相机模型计算的上述输入图像坐标获取的感兴趣区域的世界坐标是pw(wx，wy，wz＝0)，该世界坐标变为在假设pc是原点的状态下计算的pi的世界坐标。

另外，车辆的世界坐标是pc(cx，cy，cz＝0)，通过连接对应于在用户输入时与车辆的位置有关的车辆的各个角的四个坐标形成的四边形的内部被设置为车辆的世界坐标，并且上述世界坐标可以根据车辆的移动更新。

图像坐标转换器140通过应用用户输入图像坐标pi(ix，iy)至如图6中的针孔类型的投影模型(照相机模型)计算pi的世界坐标pw(wx，wy，wz＝0)，并且pw(wx，wy，wz＝0)变成在假设pc是原点的状态下计算的pi的世界坐标。

输入坐标在车辆移动之后变化的世界坐标定义为mw(mx，my，mz＝0)，并且可以通过将车辆的移动值添加至最初设置pw计算得到上述世界坐标。

因此，图像坐标转换器140计算作为用户输入图像坐标的世界坐标pw，初始化车辆的世界坐标pc，并且然后添加车辆的移动信息(n)至用户输入图像坐标的世界坐标和车辆的世界坐标的每一者，因此计算mw+n、pc+n。在该情况下，因为在作为用户输入图像坐标的世界坐标pw移动之后的坐标是mw(mx，my，mz＝0)，所以用户输入图像坐标的世界坐标在车辆移动多至n之后变为mw+n。在此，n是指顶视图像的帧的数目。

图像坐标转换器140将车辆移动之后的世界坐标mw+n、pc+n传送至车辆位置关系跟踪器160。

车辆移动信息计算器150计算车辆移动信息。

车辆位置关系跟踪器160使用根据车辆移动的车辆移动信息和通过用户输入的感兴趣区域信息跟踪车辆位置关系。即，车辆位置关系跟踪器160通过比较在车辆移动之后的用户输入图像坐标的世界坐标mw+n与车辆的改变的位置的世界坐标pc+n之间的相对距离执行车辆控制。

因而，车辆位置关系跟踪器160跟踪车辆与感兴趣区域之间的位置关系，并且在车辆与感兴趣区域之间可能出现碰撞的可能性的情形下可以执行警告。

在下文中，将参考图2详细地描述根据本公开内容的示例性实施方式基于用户输入的车辆控制方法。

首先，图像获取器110获取车辆周围的图像数据并且图像合成器120合成多个图像数据(前面、后面、右面、以及左面)，因此在用户信息输入设备130的屏幕上显示合成图像(s101)。

因此，用户信息输入设备130将用户在屏幕上显示的图像当中触摸的区域接收作为感兴趣区域(s102)。在该情况下，用户输入的感兴趣区域可以通过用户手指的拖曳或者触摸指定，如图3a、3b及3c。另外，屏幕上显示的图像可包括图像合成器120合成的图像或者通过图像获取器110获取的但未合成的图像。

图像坐标转换器140将用户手指指定的感兴趣区域转换为世界坐标(s103)。在该情况下，当假设用户指定的用户输入图像坐标是pi(ix，iy)，那么按照照相机模型计算的pi的世界坐标变为pw(wx，wy，wz＝0)。在该情况下，作为车辆的世界坐标pc(cx，cy，cz＝0)被初始化。

此后，车辆移动信息计算器150计算车辆移动信息(s104)。

此后，图像坐标转换器140将车辆移动信息添加至用户输入图像坐标的世界坐标以及车辆位置的世界坐标，并且将车辆移动之后的用户输入图像坐标的世界坐标mw+n以及车辆移动之后的车辆位置的世界坐标pc+n传送至车辆位置关系跟踪器160。车辆位置关系跟踪器160使用根据车辆移动的车辆移动信息和通过用户输入的感兴趣区域信息跟踪车辆位置关系。即，车辆位置关系跟踪器160通过比较车辆移动之后的用户输入图像坐标世界坐标mw+n与车辆的改变的位置的世界坐标pc+n之间的相对距离执行车辆控制(s105)。

图7是示出了根据本公开内容的示例性实施方式响应于车辆的移动跟踪用户输入区域与车辆之间的位置关系的实例的示图。参考图7，虚拟障碍物60由用户输入设置，并且车辆位置关系跟踪器160计算移动61之后的车辆100与虚拟障碍物60之间的距离。另外，车辆位置关系跟踪器160可以根据车辆移动计算与虚拟障碍物60的距离62，因此执行碰撞警告。

图4a是根据本公开内容的示例性实施方式当车辆移动时通过用户输入的感兴趣区域30的设置屏幕的说明性视图，图4b是通过应用图4a的感兴趣区域30的设置执行车辆控制的说明性视图。

如图4a所示，在从图像屏幕确认在车辆倒车时在倒车方向上存在阻碍物的情况的情形下，如果用户通过用手触摸其中存在阻碍物的区域来设置感兴趣区域，车辆位置关系跟踪器160通过考虑用户直接设置的感兴趣区域执行改变倒车方向的控制。如图4b所示，可以看到，通过应用用户的感兴趣区域改变车辆的移动方向。

图5是示出了根据本公开内容的示例性实施方式通过应用由用户输入设置的感兴趣区域警告碰撞风险的实例的示图。参考图5，在停车时存在难以被超声波传感器等识别的栅栏40或者铁丝网50的情形下，可以执行车辆控制，因此在碰撞风险时发布警告或者车辆在通过用户的触摸或者拖拽将图像屏幕上的栅栏40或者铁丝网50设置为感兴趣区域并且将栅栏40或者铁丝网50设置为虚拟障碍物避免上述障碍物的同时可以停车。

图8是根据本公开内容的示例性实施方式的基于用户输入实现车辆控制技术的计算机系统的配置示图。

参照图8，计算系统1000可包括：通过总线1200连接的至少一个处理器1100、存储器1300、用户界面输入设备1400、用户界面输出设备1500、存储装置1600以及网络接口1700。

处理器1100可以是中央处理器(cpu)或对存储器1300和/或存储装置1600中存储的指令执行处理的半导体器件。存储器1300和存储装置1600可包括各种类型的易失性或非易失性存储介质。例如，存储器1300可包括只读存储器(rom)和随机存取存储器(ram)。

因此，通过结合本说明书所公开的示例性实施方式描述的各种组件执行的方法中的步骤或者算法和/或功能可以硬件、软件模块或由处理器1100执行的硬件和软件模块的组合直接实现。软件模块可以驻留在诸如以下的存储介质中(即，存储器1300和/或存储装置1600)：随机存取存储器(ram)存储器、闪速存储器、只读存储器(rom)存储器、可擦除可编程只读存储器(eprom)存储器、可电擦除可编程只读存储器(eprom)存储器、寄存器、硬盘、可移动磁盘或光盘只读存储器(cd-rom)。

说明性存储介质可耦接至处理器1100并且处理器1100可以从存储介质读取信息并将信息写入存储介质。可替代地，存储介质还可与处理器1100集成。处理器和存储介质还可以驻留于专用集成电路(asic)内。asic还可以驻留在用户终端内。可替代地，处理器和存储介质还可以作为单个组件驻留于用户终端内。

如上所述，根据本公开内容的示例性实施方式，用户直接输入有关用户视觉识别的障碍物或者危险区域的信息，并且将信息应用至车辆控制，因此可以执行更安全的车辆控制并且增加用户的便利。

在上文中，虽然已参考示例性实施方式及附图描述了本公开内容，但是本公开内容不限于此，在不背离在以下权利要求书中要求保护的本公开内容的精神和范围的前提下，可由本公开内容所属领域的技术人员作出各种修改和改变。

图中的每个元件的符号

160：车辆位置关系跟踪器

110：图像获取器

120：图像合成器

130：用户信息输入设备

140：感兴趣区域图像坐标转换器

150：车辆移动信息计算器