专利名称：用于产生行进车辆的驾驶员辅助信息的设备和方法
技术领域：
本发明涉及总的来说涉及一种用于产生行进车辆的驾驶员辅助信息的设备和方法，更具体地说，涉及一种用于产生行进车辆的驾驶员辅助信息的设备和方法，从而驾驶员可通过车道识别和车辆检测容易地识别道路情况和行进车辆所有方向上的邻近车辆的位置。
背景技术：
当车辆进行时，由于粗心驾驶、较差的可见度等原因，频繁地发生追尾事故。也就是说，当下雨天或夜间驾驶时，在长距离驾驶中，由于较差的可见度、驾驶员的专心程度不够等原因，会发生由车道偏离造成的交通事故以及与行进车辆的追尾事故。这种交通事故通常由于驾驶员的粗心而发生。如果驾驶员能够预先2到3秒估计出这种状况并适当地处理所述状况，则所述事故可减少50％以上或者可成为轻微事故。为了防止这种追尾，可提供驾驶员辅助系统，该系统可通过车辆检测意识到车辆间位置和速度，并且可提供诸如车辆间碰撞警告、碰撞避免、巡航控制(cruise control)等信息。这种驾驶员辅助系统能够提供行进信息或危险警告并通过主动干涉来防止安全事故，从而驾驶员可更加便利和安全地驾驶车辆。对于这种驾驶员辅助系统，已经研究了包括后停车警告系统、车道偏离警告系统、困倦驾驶警告系统等的辅助信息产生系统以及车道偏离防止系统、智能巡航控制系统等，它们能够执行主动驾驶操控和速度控制。
为了提取车道或邻近车辆信息，如上所述的传统驾驶员辅助系统使用各种方法，这些方法用于从相机检测前方车道，用于从相机检测前方车辆，用于通过使用雷达检测前方车辆，用于通过使用安装在用于后方监视的侧镜处的相机检测侧方/后方的车辆，用于通过使用侧超声波传感器检测侧方的车辆等。提取的关于主要车道和车辆的信息用于产生有效信息，可通过各种方法将所述有效信息发送到驾驶员以用于估计行进车辆和车道的相对位置，用于估计车道偏离时间点，用于估计与邻近车辆的相对距离和相对速度，以及用于通过使用估计的信息来估计车辆间碰撞。此外，警告声音、警告灯、方向盘或驾驶员座位的震动等已经被用作用于向驾驶员报告提取的有效信息的接口(interface)。除了用于报告危险状况的手段之外，用于连续显示行进状况的方法已经使用各种方法，这些方法用于显示行进车辆的位置和距离以及直路前方的车辆，用于显示关于通过包括相机、雷达和激光的传感器处理提取的道路线型(road shape)信息的车辆信息，用于同时重叠显示通过从地图数据库产生的道路信息提取的车辆的位置和距离信息等。
如上所述的传统驾驶员辅助系统已要求精确的环境识别和适当的信息传送，但是其主要仅监视关于道路偏离或车辆前方或侧方/后方的车辆间碰撞状况的信息，并且仅向驾驶员传送有限的信息。因此，例如，由于车辆中可能的障碍，所以所述系统具有固有的缺陷。对于所有方向的环境识别，需要适当的传感器布置以通过使用最小数量的传感器来去除车辆的盲点，前方、后方、右侧/左侧信息必须被交换和整合，而不仅是被组合。向主要仅通过传统的简单界面监视前方状况的驾驶员传送关于所有方向的合成信息方面存在限制，其中，所述合成信息诸如前方/后方/右侧/左侧车道条件、相应的车辆条件、与邻近车辆的距离、速度、碰撞或非碰撞等。
由于现有技术显示行进车辆状态和道路情况，而且还在不考虑提取道路信息的情况下通过曲率信息仅提取道路的线型，所以不可能意识到关于右侧/左侧车道的信息。也就是说，传统车道识别技术(即，关于从图像进行车道识别的技术)仅通过使用车道和道路的亮度差来提取车道部分，并通过反透视处理计算车道的斜度(slope)以计算车道的曲率，或者通过利用遮蔽(mask)进行的边缘检测来提取车道部分，并计算短距离和长距离中的各个斜度以计算车道的曲率。尽管可任意地将各种距离看作长距离和短距离，但是作为这里所使用的，认为短距离小于或等于20米，并认为长距离大于20米。此外，所述技术通过这种车道识别来估计车道的线型和车辆对于车道的位置，并通过使用语音来警告车道偏离。然而，由于这种车道识别方法没有自适应地处理车道图像或亮度方面的改变，因此不会容易地提取车道候选，车道识别系统的整体性能会降低，并且需要大量时间来对图像执行反透视处理。
具有曲率的道路由于透视效应的原因在短距离被看作具有恒定斜度的直线和具有较小曲率的曲线，但是所述道路在长距离中具有较大的曲率。此外，在长距离中，基于车道条件，车道候选与短距离情况相比有所不足。因此，难以通过以下处理来精确地估计曲率仅利用短距离信息来估计车道的整体曲率，或通过使用预置的曲率值检测长距离中的车道候选并由此计算曲率。为了精确地估计车道的曲率，有必要提供这样一种方法，其能够找出短距离中车道的精确位置，计算位于长距离的车道候选的曲率，将其与短距离车道的位置进行比较，并精确地找出位于长距离以及短距离的车道。
当车辆行驶到车道上或者车道由于道路废弃的原因而废旧或模糊时，有必要提供一种能够基于关于清楚的车道的信息和车道宽度信息来估计车道的方法。此外，有必要提供以下处理来代替车道检测制定车道与相机之间的关系，由此精确地计算车道与车辆之间的位置关系。可基于车道的线型和车道与车辆之间的位置关系来估计车道检测时间点。然而，当车辆从中线偏离或驶向路边时，安全事故的可能性通常会增加。考虑到这一点，有必要将虚线车道与实线车道区分开，需要使用前方/后方车道识别的整合来进行噪声消除以便处理道路情况随着背灯或十字路口而不同的情况。
同时，为了通过使用地图数据库来产生道路信息，位置测量手段应该是精确的，但是其通常仅可用于已经建立了地图数据库的道路。难以将位置测量手段应用于使用位置和方向信息来代替车道与车辆的近似位置关系的驾驶员辅助系统。此外，由于传统驾驶员辅助系统仅监视行进车辆的前方，所以难以克服这种系统的限制。
发明内容
因此，实现本发明以解决现有技术中出现的上述问题，本发明提供一种用于产生行进车辆的驾驶员辅助信息的设备和方法，从而驾驶员可通过车道识别和车辆检测容易地识别道路和行进车辆所有方向上的邻近车辆周围的环境。
本发明还提供一种设备和方法，该设备和方法能够精确地识别直线车道和曲线车道、实线车道或虚线车道，甚至能够在由于行进车辆行驶到车道上或车道的废旧而看不见车道时，精确地识别车道。
根据本发明的一方面，提供一种用于产生行进车辆的驾驶员辅助信息的设备，所述设备包括至少一个图像接收器，其安装在行进车辆上以用于拍摄前方/后方图像，其中，图像接收器提供拍摄的前方/后方图像；至少一个超声波信号接收器，其安装在行进车辆上，其中，超声波信号接收器发出超声波信号，并在超声波信号从另一车辆反射回来之后基于超声波信号的返回时间计算距离信息；车道识别器，用于从前方/后方图像检测车道，确定检测的车道是否是实线车道和虚线车道之一，并合成前方/后方车辆的识别结果以产生道路的图像；车辆识别器，用于通过使用车道识别器的车道识别结果将道路区域设置为感兴趣的区域，通过使用图像和超声波信号来检测车辆，通过使用从由超声波信号接收器接收的超声波信号获得的距离来检测车辆，基于距离的改变来确定车辆的行进趋势，并输出车辆在车辆坐标系统中的位置；以及环境重构单元，用于通过将由车辆识别器检测的车辆应用于由车道识别器重构的图像来产生驾驶员辅助信息。
根据本发明的另一方面，提供一种通过行进车辆来产生驾驶员辅助信息的方法，所述行进车辆包括至少一个图像接收器，其安装在行进车辆上以用于拍摄前方/后方图像，图像接收器提供拍摄的前方/后方图像；至少一个超声波信号接收器，其安装在行进车辆上，超声波信号接收器发出超声波信号，并在超声波信号从另一车辆反射回来之后基于超声波的返回时间计算距离信息；所述方法包括从前方/后方图像检测车道；确定检测的车道是否是实线车道和虚线车道之一；合成前方/后方车辆的识别结果以产生道路的图像；通过使用车道识别结果将道路区域设置为感兴趣的区域，并通过使用图像和超声波信号来检测车辆；通过使用从由超声波信号接收器接收的超声波信号获得的距离来检测车辆，基于距离的改变来确定车辆的行进趋势，并输出车辆在车辆坐标系统中的位置；以及通过将检测的车辆应用于重构的图像来产生驾驶员辅助信息。
通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中 图1是示出根据本发明的具有超声波传感器、相机和速度检测器的车辆的示图； 图2是根据本发明的行进车辆的驾驶员辅助信息产生器的框图； 图3是图2中的车道识别器的框图； 图4A、图4B和图4C是示出根据本发明的行进车辆的驾驶员辅助信息的示图； 图5是示出根据本发明通过识别行进车辆的前方/后方车道进行道路重构的流程图； 图6是示出根据本发明的车道识别的流程图； 图7是示出根据本发明的用于车道识别的处理的屏幕； 图8A、图8B和图8C是根据本发明通过重构车道识别结果获得的屏幕； 图9是示出根据本发明的用于侧方车辆识别的处理的流程图； 图10是示出根据本发明的侧方车辆识别处理的屏幕； 图11是示出根据本发明的用于基于车道和车辆识别来产生行进车辆的驾驶员辅助信息的处理的流程图； 图12A、图12B和图12C是示出根据本发明的通过车道和车辆识别产生的行进车辆的驾驶员辅助信息的屏幕；以及 图13是示出根据本发明的用于碰撞警告的处理的流程图。
具体实施例方式 以下，将参照附图来描述说明本发明的优选实施例。应注意到尽管相同的部件在不同的附图中示出，但是通过相同的标号来指示它们。此外，在下面的附图中，当对这里包含的已知功能和配置的详细描述会模糊本发明的主题时，在此省略对它们的详细描述。
本发明提供一种用于形成包括相机和超声波传感器的传感器系统的方法，所述传感器系统用于去除车辆的盲点，通过前方/后方车道识别、前方/后方车辆检测、右侧/左侧车辆检测以及前方/后方车辆信息与右侧/左侧车辆信息的组合来去除盲点，并识别所有方向上的环境，由此产生用于观察产生的道路和车辆信息的鸟瞰图像，并当存在碰撞危险时提供警告功能。此外，本发明提供一种方法，该方法用于当检测车道时通过使用安装在车辆上的相机来同时识别和合成车道以便在鸟瞰图像中绘制车道，并在鸟瞰图像中绘制包括实线车道和虚线车道的车道，从而驾驶员可容易地确定驾驶员的车辆是否已经偏离车道。
根据本发明的行进车辆的示例包括驾驶员辅助信息产生器，如图1所示，其具有2个相机、8个超声波传感器、一个监视器、扬声器、处理器和速度检测器。可按照需要变化相机、超声波传感器和监视器的实际数量。
将参照图2来描述具有驾驶员辅助信息产生器的行进车辆产生驾驶员辅助信息的操作，图2示出根据本发明的驾驶员辅助信息产生器。驾驶员辅助信息产生器包括传感器接收器200，其具有前方/后方图像接收器202和超声波信号接收器204、车道识别器210、车辆识别器230、环境重构单元220和碰撞警告产生器240。前方/后方图像接收器202从相机和超声波传感器接收图像，超声波信号接收器204接收超声波信号。车道识别器210识别行进车辆周围的车道，车辆识别器230识别行进车辆周围的车辆以及行进车辆周围的障碍。环境重构单元220从检测的车道和车辆将道路和车辆重构为诸如三维(3D)鸟瞰图像的图像，碰撞警告产生器240确定在车辆中间是否发生任何碰撞。
传感器接收器200是用于识别车辆周围的车道并用于确定在行进车辆周围是否存在其它车辆的装置，如上所述，传感器接收器200包括前方/后方图像接收器202和超声波信号接收器204。前方/后方图像接收器202指示相机，其拍摄道路上的车道和车辆的图像，并将拍摄的图像提供给车道识别器210和车辆识别器230。前方/后方图像接收器202从每个安装在行进车辆周围以便拍摄大约45°角内的圆周环境的相机获得例如320×240大小的图像。超声波信号接收器204指示声纳传感器(超声波传感器)，其在大约10m的超声波范围内发出超声波信号，测量直到发出的超声波信号返回超声波传感器的时间。当另一车辆存在于行进车辆周围时，超声波信号接收器204可基于发出的超声波信号从所述另一车辆反射并随后由超声波传感器捕获的时间来计算与所述另一车辆的距离。如图1所示，超声波信号接收器204包括8个超声波传感器，并连续扫描每个超声波传感器，其中，所述8个超声波传感器安装在行进车辆周围的各个位置，用于测量在行进车辆周围通常最多10m的范围之内与障碍的距离。
车道识别器210使用反透视变换，通过与铺设道路和车道中示出的黑-白-黑图案进行匹配，去除从自前方/后方图像接收器202输入的图像检测的车道候选的透视效应，并重新产生车道候选。然后，车道识别器210通过使用短距离中车道的斜度来估计车道的方向，通过逼近长距离中的曲率来识别车道，并输出车道在车辆坐标系统中的等式。作为这里所使用的，如先前所述，认为短距离小于或等于20米，认为长距离大于20米。
将参照图3来描述车道识别器210。根据本发明的车道识别器210包括前方/后方车道识别单元212，用于从自前方/后方图像接收器202输入的图像识别车道；实线/虚线确定单元214，用于检测车道是实线车道还是虚线车道；以及车道识别合成和重构单元216，用于合成前方/后方车道的识别结果，并将合成结果重构为诸如鸟瞰图像的图像。
车辆识别器230通过使用车道识别器210的车道识别结果将道路区域设置为感兴趣的区域，并通过使用图像和超声波信号来检测车辆。可在白天和夜间实现前方/后方车辆的识别。在白天，车辆识别器23通过使用出现在车辆与道路之间的阴影图案来检测车辆候选，并通过利用车辆的右侧/左侧边缘组成(edge component)和关于车辆宽度的预备知识来识别车辆。在夜间，车辆识别器230通过车辆的头灯和尾灯来提取和识别图像。车辆识别器230通过使用从3个超声波传感器获得的距离来检测右侧/左侧车辆，通过使用距离的改变来确定车辆的行进趋势，并输出车辆在车辆坐标系统中的位置。
环境重构单元220通过合成代表车道和车辆位置的车道等式来确定车道是实线还是虚线。当车道是实线时，环境重构单元220将车道看作道路的边缘，对此，已经不再添加车道。当车道是虚线时，环境重构单元220添加一个车道，并随后设置车道的数量。为了防止驾驶员由于重构道路的曲率方面的频繁改变而感到混乱，环境重构单元220通过根据道路的曲率变化来量化道路的线型以产生道路模型。此外，环境重构单元220在产生的道路的车道上布置车辆，并形成诸如3D道路图像的图像，在所述图像中，驾驶员可容易地调整视野。然后，环境重构单元220促使通过显示单元250将道路图像显示在屏幕上。如图4C所示，可将通过环境重构单元220形成的车辆和道路图像显示在屏幕上。图4A示出由前方相机拍摄的图像，图4B示出由后方相机拍摄的图像。
碰撞警告产生器240通过使用在行进车辆的车道上行进的前方/后方车辆的距离和相对速度来估计所述车辆之间的碰撞时间(TTC，Time To Collision)。在碰撞时间区域被分为警告区域和危险区域之后，产生碰撞警告。
在本发明中，将描述以下处理，通过该处理驾驶员辅助信息产生器的环境重构单元220将由车道识别器210识别的车道和由车辆识别器230识别的邻近车辆重构为道路的诸如鸟瞰图像的图像。将参照图5到图8C来描述驾驶员辅助信息产生器通过车道识别器210执行车道识别的处理，将参照图9来描述驾驶员辅助信息产生器获得关于由车辆识别器230识别的邻近车辆的信息(即，侧方车辆识别和行进信息)的处理。此外，将参照图11来描述重构识别的车道和车辆以产生行进车辆的驾驶员辅助信息的处理。
将参照图5来描述车道识别器210执行行进车辆的前方/后方车道的识别以及环境重构单元220重构道路的处理。
在步骤500，车道识别器210从前方/后方图像接收器202接收前方/后方图像。在步骤502，车道识别器210从接收的图像识别车道。将参照图6来描述通过步骤502从自前方/后方图像接收器202输入的图像识别车道的操作。当在步骤600从前方/后方图像接收器202输入车辆的前方或后方图像时，车道识别器210在步骤602根据图像的亮度改变来提取车道候选。然后，车道识别器210在步骤604产生提取的车道候选的直方图，并在步骤606确定邻近于行进车辆的车道的位置。通常，现有技术基于车道图像来计算车道的斜度。然而，由于本发明仅通过使用直方图来确定车道的位置，所以车道的斜度不必要。在步骤608，车道识别器210计算位于长距离的车道候选的曲率。当需要时，车道识别器210还可计算位于短距离的车道候选的曲率。在步骤610，车道识别器210通过使用在步骤608计算的曲率来识别长距离车道。现有技术基于车道的斜度来计算车道的曲率，但是本发明实际上计算曲率以将计算出的曲率应用到车道识别。
在步骤504，车道识别器210确定检测的车道是实线还是虚线。在步骤506，车道识别器210合成前方/后方车辆的识别结果并将合成的结果重构为诸如鸟瞰图像的图像。在步骤508，车道识别器210将在步骤506重构的图像显示在屏幕上。
现在将描述用于确定车道是实线还是虚线的操作。车道识别器210通过使用以下事实从输入图像确定实线和虚线对于实线，只有亮部分连续出现，但是对于虚线，暗部分和亮部分周期性地出现。如图7所示，由R指示通过车道搜索结果获得的车道所在的区域，由Li指示实际绘制车道的区域，然后通过计算区域R和Li的比率来确定获得的车道是实线还是虚线。当以虚线的形式绘制车道时，暗部分和亮部分周期性地出现在区域R中。然而，当以实线的形式绘制车道时，只有亮部分连续出现在区域R中。如等式(1)所示，计算区域R和Li的比率以确定实线率(Solid Rate)值。
当实线率值大于阈值时，所述车道为实线。当实线率值小于或等于阈值时，所述车道是虚线。
通过这种方式，通过经由等式(1)使用车道的亮度来确定车道是实线还是虚线，从而可根据道路和邻近亮度来任意确定车道的类型。考虑到这一点，在本发明中，基于从自前方/后方图像接收器202输入的图像中的前方图像获得的车道来确定车道的类型，并基于从自前方/后方图像接收器202输入的图像中的后方图像获得的车道来确定车道的类型。作为确定的结果，当所述两种类型的车道彼此不一致时，基于以下三个条件来确定车道的类型。
(1)当只有前方图像的车道识别成功时，将从前方图像获得的车道的类型和曲率应用于后方图像。
(2)当只有后方图像的车道识别成功时，将从后前方图像获得的车道的类型和曲率应用于前方图像。
(3)当两种类型的车道不同时，按原样保持现有类型的车道。
当识别的车道信息没有连续超过5帧与道路车道的重构类型一致时，在重构道路时修改车道的类型。
然后，确定车道的类型并重构道路。现在将描述用于重构道路的处理。本发明使用道路模型。也就是说，预先产生普通道路模型，将准备的道路模型与通过输入图像获得的车道进行比较。然后，具有最接近从图像获得的车道的值的道路模型被用于重构车道。
如以下由等式(2)所示，将指示从图像获得的车道的曲率的值“a”与车道曲率R＝[-0.00125，-0.00115，...，0.00115，0.00125]的元素进行比较，所述R是预先准备的一组道路模型。然后，如等式(3)所示，确定属于值“a”的边界值Bn1和Bn2，如等式(4)所示，计算Bn1和Bn2的平均值，并确定将被应用于重构道路的值“A”。
通过这种方式，即使在每帧中获得的车道略微不同，但是车道值在边界值Bn1和Bn2的范围之内改变，当道路被重构时，也执行到恒定值的建模。
f(y)＝ax2+bx+c...(2) if a＞R(i-1)and a＜R(i) Bn1＝R(i-1)，Bn2＝R(i)...(3) A＝(Bn1+Bn2)/2...(4) 在通过图像的识别中，由于误差会误报长距离中道路的车道。因此，当不经改变地反映识别的结果时，曲率立刻发生相当程度地改变，由此，向右方向弯曲的道路会突然变更为向左方向弯曲的道路，这将导致不自然的变更。也就是说，当在当前帧中识别的车道与先前帧中获得的车道相比，由于车道识别处理中的误差或道路的快速变更而出现超过阈值的改变时，当将其反映到用于重构道路的道路模型时，重构的道路会立刻发生相当程度地改变，这将导致驾驶员的混乱。因此，在本发明中，为了防止发生混乱，当识别的道路的变化超过在先前图像中确定的边界值Bn1和Bn2的范围时，如等式(5)所示，不考虑变化情况，将最接近已经用于道路重构的道路模型的邻近模型用于接下来的道路重构，从而可最小化会由异常车道识别造成的道路重构的误差。例如，当从图像获得的车道曲率R的值从-0.00125改变到0.00125时，从-0.00125逐步增加到-0.00115、...、0.00115、0.00125的车道曲率被反映以进行道路重构，而不是利用较陡的车道曲率来重构另一道路。
if(a＜Bn1) Bn1＝R(i-2)，Bn2＝R(i-1) else if(a＞Bn2) Bn1＝R(i)，Bn2＝R(i+1) ...(5) FL(Y)＝AX2+0·X-1.7 FR(Y)＝AX2+0·X+1.7...(6) if left lane is a dot lane FLL(Y)＝AX2+0·X-3.4 if right lane is a dot lane FRR(Y)＝AX2+0·X+3.4 ...(7) 当通过上面的等式(4)确定将被用于道路重构的参数A时，通过上面的等式(6)来确定将被用于道路重构的右侧车道和左侧车道。当将被用于道路重构的车道是虚线车道时，另一车道存在于邻近于行进车辆正沿其行进的车道。因此，当等式(6)中的FL(Y)是虚线车道时，如等式(7)所示，另外以实线车道的形式产生FLL(Y)。此外，当等式(6)中的FR(Y)是虚线车道时，如等式(7)所示，另外以实线车道的形式产生FRR(Y)，从而可类似于行进车辆正在其中行进的道路环境来重构道路。通过这种方式，在本发明中，当一侧的车道看不见时，可通过使用关于对侧车道的信息来估计所述看不见的车道。也就是说，为了减少由道路的快速改变造成的驾驶员阻碍因素，实现对邻近模型的逐渐改变。可在图8A到图8C中示出如上所述的重构前方/后方车辆的识别结果的示例。图8A示出从前方/后方图像接收器202输入的前方图像，图8B示出从前方/后方图像接收器202输入的后方图像。车道识别器210从如图5和图6所示的前方图像和后方图像来检测车道，并可显示基于行进车辆404的重构图像，诸如3D鸟瞰视图形式的图像。
将参照图11来描述用于获得关于通过车辆识别器230识别的邻近车辆(侧方车辆)的识别和行进信息的处理，以及用于通过重构识别的车道和车辆来产生行进车辆的驾驶员辅助信息的处理。在本发明的前方/后方车辆检测方法中，通过使用车道识别器210的车道识别结果将道路区域设置为感兴趣的区域，并通过使用图像和超声波信号来检测车辆。可在白天和夜间实现前方/后方车辆的识别。在白天，通过使用出现在车辆与道路之间的阴影图案来检测车辆候选，并通过利用车辆的右侧/左侧边缘组成和关于车辆宽度的预备知识来识别车辆。在夜间，通过车辆的头灯和尾灯来提取和识别图像。此外，通过使用从3个超声波传感器获得的距离来检测右侧/左侧车辆，通过使用距离的改变来确定车辆的行进趋势。
参照图9，在步骤900，从如图1所示安装在车辆右侧的3个声纳(即，超声波传感器)和安装在车辆左侧的3个超声波传感器接收超声波信号。也就是说，图2的超声波信号接收器204接收超声波信号。然后，超声波信号接收器204将接收的超声波信号输出到车辆识别器230。在步骤902，车辆识别器230通过使用从超声波信号获得的距离信息来检测车辆。当从一个或多个超声波检测到车辆时，车辆识别器230在步骤906通过根据时间的推移判断是否已经检测到超声波来确定在侧边车道行进的车辆的行进趋势。如等式(8)所示，通过包括0和1的比特流来表示从安装在车辆侧方的3个超声波传感器输出的超声波信号。当车辆存在时，如果距离值少于3m，则将比特流设置为1。否则，比特流具有值0。例如，参照图10的图像，当左侧车辆追上行进车辆时，比特流从
增加到[111]，随后从[111]减少到[100]。车辆识别器230通过比特流的连续增加和减少来确定侧方车辆的行进趋势。
b＝[s1 s2 s3]，si∈
...(8) 车辆识别器230在步骤906确定车辆的行进趋势，并与前方/后方识别器协作来执行车辆检测。当侧方车辆被超过时，通过后方车辆识别来检测相应车道的车辆。在相对的情况下，通过前端车辆识别来检测车辆。当车辆消失并且从行进车辆的前方/后方看不见所述车辆时，假设该车辆存在于盲点，直到检测到该车辆才产生车辆候选。此外，当由前方或后方车辆识别器检测的车辆从右侧/左侧区域逐渐消失时，因为该车辆存在于右侧/左侧的短距离区域中，所以直到侧方车辆识别器检测到该车辆才产生车辆候选。
参照图11，在步骤10和12，环境重构单元220通过如图5和图6所示的车道识别处理来确定车道是实线车道还是虚线车道，并估计道路模型。为了在步骤14按照新设置的道路模型来布置车辆，环境重构单元220将先前车道与车辆之间的关系应用于新的道路模型，并布置通过如图9所示的前方/后方车辆检测处理和侧方车辆检测处理检测的车辆。在步骤16，环境重构单元220通过对前方/后方车辆使用开放图形语言(OpenGL)来显示经度方向距离，并通过对右侧/左侧车辆使用OpenGL来显示纬度方向距离。此外，环境重构单元220不同地表示每个车道中的车辆模型的颜色，并重构3D图像，在该3D图像中，驾驶员可容易地调整视野。可如图12A到图12C所示重构的道路和车辆的布置示例。图12C示出在行进车辆行进在单向双车道上的状况下，通过图12A的前方图像和图12B的后方图像重构的道路和车辆的示例。
在屏幕上显示如上所述的通过车道和车辆识别处理重构的行进车辆的驾驶员辅助信息的同时，也可将关于行进车辆与检测到的车辆之间的碰撞的信息通知给用户。现在将参照图13来描述用于碰撞警告的操作。
在本发明中，车辆间距离使用连续5次的平均距离以便减少反透视变换的误差。在步骤30，碰撞警告产生器240通过使用获得的图像之间的时间差以及与先前图像的距离差来估计相对速度。如等式(9)所示，可从先前帧中的车辆间距离dt-1与当前帧中的车辆间距离dt之间的差，以及获得的图像之间的时间差Δt来计算车辆间的相对速度v。
在步骤32，如等式(10)所示，碰撞警告产生器240从当前距离和相对速度估计行进车辆与检测的车辆之间的TTC。
在步骤34，碰撞警告产生器240以特定方式根据警告区域和危险区域向行进车辆警告TTC。将警告区域设置为车辆在制动距离(breaking distance)之内行进的区域。在警告区域中，可预先设置输出用于吸引注意的语音消息。将危险区域设置为车辆在-2到0秒的TTC之内行进的区域，可设置输出连续警告声音。
如上所述，本发明可基于能够去除行进车辆周围的盲点的传感器系统和能够确切地检测车道和车辆的方法将行进环境重构为鸟瞰图像，并当存在碰撞可能性时给出碰撞警告。因此，由于驾驶员可容易地意识到关于盲点的信息，所以驾驶员可通过对邻近车辆的位置和相对速度的检测以及冲突警告在焦虑减轻的状态下对盲点进行操作，并可方便安全地驾驶车辆。此外，本发明基于可应用于包括车道的线型、曲率、损耗等的各种道路环境的车道识别方法，整合前方/后方车辆的识别结果，提高车道识别的稳定性，并将实线车道与虚线车道区分，从而可向驾驶员提供危险程度的变化。此外，当车辆从车道偏离时，可输出语音警告并将道路的车辆位置重构为鸟瞰图像，从而因为驾驶员能够看一眼就意识到车辆状态，所以可提供稳定性和便利性。
尽管为了示例性目的描述了本发明的优选实施例，但是本领域的技术人员将认识到在不脱离如权利要求中公开的本发明的范围和精神的情况下，可进行各种修改、添加和替换，其中，所述权利要求包括其等同物的全部范围。
权利要求
1、一种用于产生行进车辆的驾驶员辅助信息的设备，所述设备包括
至少一个图像接收器，其安装在行进车辆上以用于拍摄前方/后方图像，其中，图像接收器提供拍摄的前方/后方图像；
至少一个超声波信号接收器，其安装在行进车辆上，其中，超声波信号接收器发出超声波信号，并在超声波信号从另一车辆反射回来之后基于超声波的返回时间计算距离信息；
车道识别器，用于从前方/后方图像检测车道，确定检测的车道是否是实线车道和虚线车道之一，并合成车辆的识别结果以产生道路的图像；
车辆识别器，用于通过使用车道识别器的车道识别结果将道路区域设置为感兴趣的区域，通过使用图像和超声波信号来检测车辆，通过使用从由超声波信号接收器接收的超声波信号获得的距离来检测车辆，基于距离的改变来确定车辆的行进趋势，并输出车辆在车辆坐标系统中的位置；以及
环境重构单元，用于通过将由车辆识别器检测的车辆应用于由车道识别器重构的图像来产生驾驶员辅助信息。
2、如权利要求1所述的设备，还包括显示单元，用于显示由环境重构单元产生的驾驶员辅助信息。
3、如权利要求1所述的设备，其中，当从图像接收器接收到前方/后方图像时，车道识别器根据图像的亮度改变来提取车道候选，产生提取的车道候选的直方图，确定邻近于行进车辆的车道的位置，计算位于长距离的车道候选的曲率，通过使用计算的曲率来识别长距离车道，由此从前方/后方图像检测车道，其中，长距离是大于便于确定长距离和短距离的预置距离。
4、如权利要求3所述的设备，其中，在通过计算的曲率来识别长距离车道步骤中，当在当前图像帧中计算的曲率与在先前帧中计算的曲率相比出现超过阈值的改变时，使用在一组车道曲率中从当前计算的曲率逐步增加的曲率来代替使用在当前图像帧中计算的曲率。
5、如权利要求1所述的设备，其中，车道识别器通过计算区域R和Li的比率的实线率来判断用于确定所述车道是实线还是虚线的亮度，其中，R指示包括车道的区域，Li指示在区域R中实际绘制车道的部分，使用以下等式来计算实线率
其中，当实线率值大于阈值时，所述车道为实线。当实线率值小于或等于阈值时，所述车道是虚线。
6、如权利要求1所述的设备，其中，车道识别器识别出另一车道存在于邻近于行进车辆正沿其行进的车道，并且当将被用于重构图像的车道是虚线时在所述另一车道中产生实线车道。
7、一种通过行进车辆来产生驾驶员辅助信息的方法，所述行进车辆包括至少一个图像接收器，其安装在行进车辆上以用于拍摄前方/后方图像，图像接收器提供拍摄的前方/后方图像；至少一个超声波信号接收器，其安装在行进车辆上，超声波信号接收器发出超声波信号，并在超声波信号从另一车辆反射回来之后基于超声波的返回时间计算距离信息，所述方法包括以下步骤
从前方/后方图像检测车道；
确定检测的车道是否是实线车道和虚线车道之一；
合成前方/后方车辆的识别结果以产生道路的图像；
通过使用车道识别结果将道路区域设置为感兴趣的区域，并通过使用图像和超声波信号来检测车辆；
通过使用从由超声波信号接收器接收的超声波信号获得的距离来检测右侧/左侧车辆，基于距离的改变来确定车辆的行进趋势，并输出车辆在车辆坐标系统中的位置；以及
通过将检测的车辆应用于重构的图像来产生驾驶员辅助信息。
8、如权利要求7所述的方法，还包括显示产生的驾驶员辅助信息。
9、如权利要求7所述的方法，其中，从前方/后方图像检测车道的步骤包括
当从图像接收器接收到前方/后方图像时，根据图像的亮度改变来提取车道候选；
产生提取的车道候选的直方确定邻近于行进车辆的车道的位置，并计算位于长距离的车道候选的曲率；以及
通过使用计算的曲率来识别长距离车道，其中，长距离是大于便于确定长距离和短距离的预置距离。
10、如权利要求9所述的方法，其中，在通过计算的曲率识别长距离车道的步骤中，当在当前图像帧中计算的曲率与在先前帧中计算的曲率相比出现超过阈值的改变时，使用在一组车道曲率中从当前计算的曲率逐步增加的曲率来代替使用在当前图像帧中计算的曲率。
11、如权利要求7所述的方法，其中，在确定检测的车道是实线还是虚线的步骤中，通过计算区域R和Li的比率的实线率来判断用于确定所述车道是实线还是虚线的亮度，其中，R指示包括车道的区域，Li指示在区域R中实际绘制车道的部分，使用以下等式来计算实线率
其中，当实线率值大于阈值时，所述车道为实线。当实线率值小于或等于阈值时，所述车道是虚线。
12、如权利要求7所述的方法，其中，在确定检测的车道是否是实线车道和虚线车道中的一个的步骤之后，识别出另一车道存在于邻近于行进车辆正沿其行进的车道，并且当将被用于重构图像的车道是虚线时在所述另一车道中产生实线车道。
全文摘要
一种用于产生行进车辆的驾驶员辅助信息的方法。所述方法可基于能够去除行进车辆周围的盲点的传感器系统和能够确切地检测车道和车辆的方案将行进环境重构为图像，并当存在碰撞可能性时给出碰撞警告。此外，所述方法基于可应用于包括车道的线型、曲率、损耗等的各种道路环境的车道识别方法，整合前方/后方车辆的识别结果，提高车道识别的稳定性，并将实线车道与虚线车道区分，从而可向驾驶员提供细化的危险程度。此外，当车辆从车道偏离时，可输出语音警告并将道路的车辆位置重构为图像。
文档编号G01S15/58GK101101333SQ20071012811
公开日2008年1月9日 申请日期2007年7月6日 优先权日2006年7月6日
发明者金光洙, 吴世永, 金镇湲, 朴相哲, 金三龙, 柳泳雨, 姜桢宽 申请人:三星电子株式会社, 浦项工科大学校产学协力团