监视车辆的盲点的方法及使用该方法的盲点监视器与流程

文档序号:17442205发布日期:2019-04-17 04:54阅读:353来源:国知局
监视车辆的盲点的方法及使用该方法的盲点监视器与流程

本发明涉及一种监视车辆盲点的方法及使用该方法的盲点监视器;更具体而言,涉及如下的方法及使用该方法的盲点监视器:(a)如果从处于驾驶状态的监视车辆获取后视频图像,则从后视频图像获取至少一个特征映射,(b)获取与位于后视频图像中的一个或多个对象相对应的m个建议框,(c)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算,获取特征向量,特征向量的每一个对应于m个建议框中的每一个,(d)将与m个建议框中的每一个相对应的特征向量的每一个输入到第一fc层,以获取(d-1)与m个建议框中的每一个相对应的第一种类(class)中的每一者的第一分类分数中的每一个,以确认对象是否是被监视车辆,以及(d-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个,以确认对象的姿势,(e)通过参照第一分类分数,在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框,(f)通过参照与n个建议框中的每一个相对应的回归信息,获得n个边界框,n个边界框中的每一个对应于n个建议框中的每一个,(g)通过参照第二分类分数,确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势,以及(h)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势,确定偶然车辆是否位于监视车辆的盲点中。



背景技术:

对象车辆的每一侧具有侧视镜,并且在其舱室的前部中央具有后视镜,用于驾驶员改变车道所需的侧面和后面的良好视野。

虽然侧视镜用于观察其每一侧和后面,但是对象车辆具有驾驶员不能看到附近车辆或与其非常接近的任何其他对象的盲点。

这已经成为一个问题,因为如果驾驶员在没有看到附近车辆的情况下改变车道,则可能与在盲点中的附近车辆发生事故。

为了防止这样的问题,驾驶员有时将凸面镜放置在侧视镜的角部上,这使得驾驶员能够看到盲点。

然而,即使将凸面镜加到侧视镜上时,驾驶员也必须用自己的眼睛看到盲点来改变车道,这给驾驶员带来了更大的压力,并且可能存在即使驾驶员改变自己的头部位置通过凸面镜仍然无法看到的一部分盲点。

为了防止这种情况,最近提出了一种盲点监视系统,其旨在通过利用位于监视车辆后部的传感器向驾驶员提供关于位于盲点或接近盲点的被监视车辆的检测的信息来防止在驾驶员改变车道时发生事故。特别地,使用视觉传感器的盲点监视系统通常采用能够基于视觉信息检测对象的各种算法。

然而,这些算法可能显示出受外部环境、对象形状以及系统结构限制的受限的检测率。由于准确的检测需要许多视觉处理,所以计算负担非常重。因此,由于有限的处理资源,在嵌入式系统中实时检测可能是困难的。

作为使用视觉传感器检测被监视车辆的一个示例,存在一种通过运动矢量表示视觉像素的移动的光流方法。然而,使用光流方法识别被监视车辆的算法很大程度上依赖于背景状态和视觉噪声的变化,并且需要巨大的计算负荷,因此,不容易进行被监视车辆的实时检测。

此外,以往的使用视觉传感器的盲点监视系统存在错误警报的问题,因为系统对位于盲点中的被监视车辆给出无意识警告,而没有考虑监视车辆和被监视车辆的驾驶环境。

例如,在弯道上跟随监视车辆在同一车道的被监视车辆被错误地检测为位于盲点中,并且在车道的相对侧沿相反方向行驶的被监视车辆也被错误地检测为位于盲点中。



技术实现要素:

本发明的一个目的是解决所有的上述问题。

本发明的另一个目的是容易地检测位于盲点中的偶然车辆。

本发明的又一个目的是检测位于盲点中的偶然车辆而无需考虑驾驶环境。

本发明的又一个目的是提供一种算法,该算法对于检测位于盲点中的偶然车辆需要较少的计算。

本发明的又一个目的是实时检测位于盲点中的偶然车辆,而无需考虑背景状态和视觉噪声的变化。

本发明的又一个目的是使用卷积神经网络(cnn)精确地检测位于盲点中的偶然车辆。

本发明的再一个目的是根据监视车辆和被监视车辆的驾驶环境检测位于盲点中的偶然车辆。

根据本发明的一个方面,提供一种监视车辆的盲点的方法,包括以下步骤:(a)如果从处于驾驶状态的监视车辆获取后视频图像,则盲点监视器从后视频图像获取或支持另一装置从后视频图像获取至少一个特征映射;(b)盲点监视器执行或支持另一装置执行以下处理:(i)获取与位于后视频图像中的一个或多个对象相对应的m个建议框,(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算,获取特征向量,特征向量中的每一个对应于m个建议框中的每一个,(iii)将与m个建议框中的每一个相对应的特征向量中的每一个输入到第一fc层中,以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个,以确认对象是否是被监视车辆,以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个,以确认对象的姿势;(c)盲点监视器执行或支持另一装置执行以下处理:(i)通过参照第一分类分数,在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框,(ii)通过参照与n个建议框中的每一个相对应的回归信息,获取n个边界框,n个边界框中的每一个对应于n个建议框中的每一个,(iii)通过参照第二分类分数,确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势,以及(iv)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势,确定偶然车辆是否位于监视车辆的盲点中。

根据本发明的另一方面,提供了一种监视车辆的盲点的盲点监视器,包括:通信部,用于获取或支持另一装置获取后视频图像或其对应的至少一个特征映射,其中从处于驾驶状态的监视车辆获取后视频图像;处理器,用于执行或支持另一装置执行以下处理:(i)通过使用从通信部获取的特征映射或通过对从通信部获取的后视频图像映射应用一个或多个卷积运算计算出的特征映射,获取与位于后视频图像中的一个或多个对象相对应的m个建议框,(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算,获取特征向量,特征向量的每一个对应于m个建议框中的每一个,(iii)将与m个建议框中的每一个相对应的特征向量的每一个输入到第一fc层中,以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个,以确认对象是否是被监视车辆,以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个,以确认对象的姿势;(iv)通过参照第一分类分数,在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框,(v)通过参照与n个建议框中的每一个相对应的回归信息,获取n个边界框,n个边界框中的每一个对应于n个建议框中的每一个,(vi)通过参照第二分类分数,确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势,以及(vii)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势,确定偶然车辆是否位于监视车辆的盲点中。

根据本发明的再一方面,提供了一种监视车辆的盲点的方法,包括以下步骤:(a)如果从处于驾驶状态的监视车辆获取后视频图像,则盲点监视器从后视频图像获取或支持另一装置从后视频图像获取至少一个特征映射;(b)盲点监视器执行或支持另一装置执行以下处理:(i)获取与位于后视频图像中的一个或多个对象相对应的m个建议框,(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算,获取特征向量,特征向量的每一个对应于m个建议框中的每一个,(iii)将与m个建议框中的每一个相对应的特征向量的每一个输入到第一fc层中,以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个,以确认对象是否是被监视车辆,以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个,以确认对象的姿势;(c)盲点监视器执行或支持另一装置执行以下处理:(i)通过参照第一种类中的每一者的第一分类分数,在m个建议框中,将特定建议框确定为包括被监视车辆,(ii)通过参照第二种类中的每一者的第二分类分数,在特定建议框中选择被确定为包括姿势与监视车辆的行驶方向对应的至少一个特定被监视车辆的i个建议框,(iii)通过参照与i个建议框中的每一个相对应的回归信息,获取与i个建议框中的每一个相对应的i个边界框中的每一个,以及(iv)确定在i个边界框中是否存在位于监视车辆的盲点中的至少一个边界框,由此确定至少一个偶然车辆是否位于盲点中。

根据本发明的又一方面,提供一种监视车辆的盲点的盲点监视器,包括:通信部,用于获取或支持另一装置获取后视频图像或其对应的至少一个特征映射,其中从处于驾驶状态的监视车辆获取后视频图像;处理器,用于执行或支持另一装置执行以下处理:(i)通过使用从通信部获取的特征映射或通过对从通信部获取的后视频图像映射应用一个或多个卷积运算计算出的特征映射,获取与位于后视频图像中的一个或多个对象相对应的m个建议框,(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算,获取特征向量,特征向量的每一个对应于m个建议框中的每一个,以及(iii)将与m个建议框中的每一个相对应的特征向量的每一个输入到fc层中,以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个,以确认对象是否是被监视车辆,以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个,以确认对象的姿势;(iv)通过参照第一种类的每一者的第一分类分数,在m个建议框中,将特定建议框确定为包括被监视车辆,(v)通过参照第二种类的每一者的第二分类分数,在特定建议框中选择被确定为包括姿势与监视车辆的行驶方向对应的至少一个特定被监视车辆的i个建议框,以及(vi)通过参照与i个建议框中的每一个相对应的回归信息,获取与i个建议框中的每一个相对应的i个边界框的每一个,以及(vii)确定i个边界框中是否存在位于监视车辆的盲点中的至少一个边界框,由此确定至少一个偶然车辆是否位于盲点中。

另外,还提供可被计算机读取的用于存储计算机程序以执行本发明的方法的可记录介质。

附图说明

用于说明本发明的示例实施例的以下的附图仅是本发明的示例实施例的一部分,本领域的技术人员可以在不付出创造性劳动的情况下基于附图获得其他图。

图1是示意性示出根据本发明的一个示例实施例的盲点监视系统的框图;

图2是示意性示出具有根据本发明的一个示例实施例的盲点监视系统的监视车辆的图;

图3是示意性示出根据本发明的一个示例实施例的执行盲点监视的卷积神经网络的框图;

图4是示意性示出根据本发明的一个示例实施例的盲点监视方法的框图;

图5是示意性示出关于根据本发明的一个示例实施例的在执行盲点监视中使用的被监视车辆姿势的每一种类的图;

图6是示例性示出根据本发明的一个示例实施例的执行盲点监视的处理的图;

图7a和7b是示例性示出根据本发明的一个示例实施例的根据监视车辆的驾驶环境的盲点监视的图。

具体实施方式

下面参考示作可实施本发明的具体实施例示例的附图和图示对本发明进行详细说明,以使本发明的目的、技术方案和优点变得清楚。这些实施例被充分详细地描述,以使本领域技术人员能够实施本发明。

此外,在本发明的详细说明和权利要求中,术语“包括”及其变型不旨在排除其他的技术特征、添加物、部件或步骤。本发明的其他目的、益处和特征将部分地通过说明书并且部分地通过本发明的实施例披露给本领域的技术人员。下面的实施例和附图将提供作为示例,但它们不旨在限制本发明。

此外,本发明涵盖本说明书中指出的示例实施例的所有可能的组合。应该理解的是,本发明的各种实施例虽然不同,但不一定是相互排斥的。例如,在不脱离本发明的精神和范围的情况下,可以在其他实施例中实施本文结合一个实施例描述的特定特征、结构或特性。另外,应该理解的是,在不脱离本发明的精神和范围的情况下,可以修改每个公开的实施例中的各元件的位置或布置。因此,以下的详细描述不应被视为具有限制意义,本发明的范围仅由所附权利要求限定,并与权利要求的等同物的全部范围一起被适当地解释。在附图中,在所有的图中相同的附图标记表示相同或相似的功能。

为了使本领域技术人员容易地实施本发明,在下面参照附图对本发明的示例实施例进行详细说明。

首先,图1是示意性示出根据本发明的一个示例实施例的盲点监视系统的框图。参照图1,盲点监视系统可以包括盲点监视器(bsm)100和监视车辆200。作为参考,盲点监视器100可以安装在监视车辆200上,但是不限于此。此外,通过参考图1,视觉传感器10(例如相机)被示出为与盲点监视器100通信,然而,其可以包括在盲点监视器100或监视车辆200中。

盲点监视器100可以检测位于监视车辆的盲点或接近盲点的另一车辆,即被监视车辆。作为示例,盲点监视器100可以通过使用相机分析从监视车辆获取的至少一个后视频图像来确定偶然车辆是否位于盲点中。

然后,通过参照关于转向系统的信息以及从盲点监视器100发送的信息,可以防止监视车辆200在朝向偶然车辆被确定为所位于的盲点的方向上改变车道,或者可以允许警报系统警告驾驶员偶然车辆处于盲点中的事实。特别地,在监视车辆200是自主车辆的情况下,可以通过参照关于驾驶环境的信息和关于从盲点监视器100接收到的盲点中的偶然车辆的信息来确定是否在驾驶的同时改变车道。

此外,盲点监视器100可以包括通信部110和处理器120,通信部110使用视觉传感器10从处于驾驶状态的监视车辆200获取后视频图像,处理器120通过分析所获取的后视频图像来确定偶然车辆是否在处于驾驶状态的监视车辆200的盲点中。在此,在图2中可以看到,安装在监视车辆200的任意位置上的视觉传感器10可以捕获其后视图的视频,并且可以包括光学传感器,例如电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)或图像捕获装置。

根据本发明的一个示例实施例,处理器120可以执行以下处理:(i)从所获取的后视频图像中获取至少一个特征映射,(ii)获取与后视频图像中的至少一个对象相对应的m个建议框,(iii)对特征映射上的与m个建议框相对应的每个区域应用池化运算,以及(iv)获取与m个建议框中的每一个相对应的特征向量的每一个。进一步,处理器120可以将与m个建议框中的每一个相对应的特征向量的每一个输入到第一fc层中,以获取(i)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个,以确认对象是否是被监视车辆,(ii)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个,以确认对象的姿势。之后,处理器120可以执行以下处理:(i)通过参照第一分类分数,在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框,(ii)通过参照与n个建议框中的每一个相对应的车辆的回归信息,获取n个边界框,n个边界框中的每一个对应于n个建议框中的每一个,(iii)通过参照第二分类分数,确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势,以及(iv)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势,确定偶然车辆是否位于监视车辆200的盲点中。也就是说,通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势,盲点中的被监视车辆可以被分类为偶然车辆或者不为偶然车辆。在此,第一种类可以用于确定被检测的对象是什么。例如,第一种可以包括车辆类、行人类、摩托车类和犬类等。此外,车辆的回归信息可以是与通过回归获得的第一种类中的车辆类相对应的信息。

在下面通过参照图3和图4来更具体地说明用于监视偶然车辆是否位于监视车辆的盲点中的方法。

首先,通过参照图3,在步骤s10中,盲点监视器100的通信部110可以经由通信部110从处于驾驶状态的监视车辆200上安装的视觉传感器10中获取监视车辆200的后视频图像,并且盲点监视器100的处理器120可以从所获取的后视频图像中获取至少一个特征映射。

作为一个示例,在步骤s21中,处理器120可以执行或支持另一装置执行以下处理:(i)将后视频图像输入到卷积层中,该卷积层能够对后视频图像应用至少一个卷积运算,然后(ii)经由卷积层获取特征映射。

在此,在填充(pad)设定为零的条件下,处理器120可以通过以预定步幅滑动的滤波器对后视频图像或其相对应的特征映射应用或支持另一装置应用卷积运算。填充用于调整卷积层的输出的大小,步幅是滤波器移位的量。换言之,处理器120可以对从其中获取的后视频图像或其相应的特征映射应用卷积运算以减小它们的大小。与此相反,在填充设定在某个非零值的情况下执行卷积的条件下,处理器120可以执行以下处理:(i)获取大小与后视频图像的大小相同的至少一个特征映射,(ii)通过应用池化运算来缩小所获取的特征映射的大小,以及(iii)通过重复卷积和池化来创建具有至少一个预定大小的至少一个附加特征映射。

作为参考,处理器120可以在从视觉传感器10获取的每个后视频图像的整个区域上或者在与设定为后视频图像上的盲点的区域相对应的一部分图像上使用卷积层执行卷积。

处理器120可以获取与后视频图像中的对象相对应的m个建议框。作为一个示例,在步骤s22中,处理器120可以输入或支持另一装置输入特征映射到区域建议网络(rpn)中,以获取与后视频图像中的对象相对应的m个建议框。

在下文中,在步骤s23中,处理器120可以执行以下处理:(i)将池化运算应用于特征映射上的与m个建议框相对应的每个区域,以及(ii)获取与m个建议框中的每一个相对应的特征向量中的每一个。

作为一个示例,处理器120可以执行以下处理:(i)将特征映射的与m个建议框中的每一个相对应的每个部分输入到感兴趣区域(roi)池化层中,(ii)对所述每个部分应用最大池化或平均池化运算,从而获取与m个建议框中的每一个相对应的特征向量中的每一个。

进一步,在步骤s25中,处理器120可以输入或支持另一装置输入特征向量的每一个到步骤s24中的第一fc层中,以获取第一种类中的每一者的第一分类分数中的每一个。

进一步,在步骤s27中,处理器120可以获取第二种类中的每一者的第二分类分数中的每一个。在此,第二种类可以用于确定被监视车辆的姿势,该被监视车辆的姿势可以对应于从监视车辆200看到的被监视车辆的视图。

作为一个示例,通过参照图5,第二种类的细节可以如下示出。从监视车辆200看到的被监视车辆的视图可以是(a)的情况下的后面、(b)的情况下的右后面、(c)的情况下的右面、(d)的情况下的右前面、(e)的情况下的前面、(f)的情况下的左前面、(g)的情况下的左面以及(h)的情况下的左后面。

除此之外,在步骤s26中,处理器120可以通过经由第二fc层对特征向量应用回归运算来获取与m个建议框中的每一个相对应的第一种类中的每一者的回归信息。

接下来,通过参照图4,当在图3中在步骤s200中获取用于检测被监视车辆的第一分类分数和第一种类中的每一者的回归信息以及用于确定被监视车辆的姿势的第二分类分数的条件下,处理器120可以执行以下处理:(i)在步骤s300中,通过参照第一分类分数和第一种类中的每一者的回归信息,确定位于监视车辆200的盲点中的被监视车辆,以及(ii)通过参照根据第二分类分数推断出的位于盲点中的被监视车辆的姿势,确定偶然车辆是否位于监视车辆200的盲点中。

具体地,处理器120可以执行以下处理:(i)通过参照第一分类分数在m个建议框中选择n个建议框,(ii)通过参照与n个建议框中的每一个相对应的车辆的回归信息,获取n个边界框,n个边界框中的每一个对应于n个建议框中的每一个,以及(iii)检测位于后视频图像中的被监视车辆。

此外,具体地,在步骤s300中,处理器120可以确定与位于后视频图像中的被监视车辆相对应的n个边界框中的盲点中的k个边界框。在步骤s400,如果k个边界框中的至少一个中的被监视车辆的姿势对应于监视车辆正在行驶的方向,则处理器120可以确定偶然车辆位于盲点中。

详细地,参照图6,处理器120可以执行以下处理:(i)通过参照第一分类分数和车辆的回归信息来检测位于监视车辆200的盲点中的被监视车辆310和320,(ii)确定检测到的被监视车辆310和320的姿势。例如,如果被监视车辆的姿势对应于如图5的(d)、(e)或(f)中的前面、左前面或右前面,则处理器120可以确定被监视车辆310正行驶在与监视车辆200相同的方向上,因此确定被监视车辆310为位于盲点中的偶然车辆。与此相反,如果被监视车辆320的姿势对应于如图5的(a)、(b)、(c)、(g)或(h)中的后面、右后面、右面、左面或左后面,则处理器120可以确定被监视车辆320正行驶在与监视车辆200不同的方向上,因此确定被监视车辆310为不是偶然车辆。换句话说,虽然被监视车辆位于盲点中,但是处理器120可以确定被监视车辆不是偶然车辆,因为被监视车辆正行驶在与监视车辆200相反的方向上。

进一步,如果(i)k个边界框中的第一边界框被确定为位于远离(apartfrom)监视车辆200的左后区域中形成的盲点中,并且(ii)被监视车辆的视图对应于前面或左前面,则处理器120可以确定偶然车辆不位于盲点中。类似地,如果(i)k个边界框中的第二边界框被确定为位于远离监视车辆200的右后方区域中形成的盲点中,并且(ii)被监视车辆的视图对应于前面或右前面,则处理器120可以确定偶然车辆不位于盲点中。

换句话说,如图7a所示,如果处于驾驶状态的监视车辆200在左弯道路上并且被监视车辆300在同一车道上跟随监视车辆200,则被监视车辆300可以被确定为位于监视车辆200的左后区域中的盲点中。然而,由于从图7b中可以看出被监视车辆300的姿势对应于如图5中的(e)或(f)中的前面或左前面,因此处理器120可以执行确认被监视车辆300不是偶然车辆的处理。

类似地,如果处于驾驶状态的监视车辆200在右弯道路上并且被监视车辆在同一车道上跟随监视车辆200,则被监视车辆可被确定为位于监视车辆200的右后方区域中形成的盲点中。然而,由于被监视车辆的姿势对应于如图5的(d)或(e)的右前面或前面,因此处理器120可以执行确认被监视车辆300不是偶然车辆的处理。

处理器120还可以执行或支持另一装置执行以下处理:(i)计算第一重叠率(n个边界框中的成对重叠率),然后将n个边界框中的被确认为具有等于或大于第一阈值的第一重叠率的特定边界框确定为对应于单个相同的被监视车辆,(ii)计算第二重叠率(特定边界框以及它们的各个相对应的建议框之中的成对重叠率),然后将具有第二重叠率中的最大比率的某个边界框确定为包括单个相同的被监视车辆。

作为一个示例,(i)可以计算与第二边界框重叠的第一边界框的第一重叠率,以及(ii)如果计算出的第一重叠率等于或大于第一阈值,则可以计算与第一建议框重叠的第一边界框的第二重叠率和与第二建议框重叠的第二边界框的第三重叠率。然后,如果第二重叠率被确定为大于第三重叠率,则第一边界框可以被确定为包括被监视车辆。

这里,可以通过将与第一边界框和第二边界框的交集相对应的区域除以与第一边界框和第二边界框的并集(union)相对应的区域来计算第一重叠率。此外,可以通过将与第一边界框和第一建议框的交集相对应的区域除以与第一边界框和第一建议框的并集相对应的区域来计算第二重叠率。此外,可以通过将与第二边界框和第二建议框的交集相对应的区域除以与第二边界框和第二建议框的并集相对应的区域来计算第三重叠率。

作为另一示例,处理器120可以执行以下处理:(i)计算第一重叠率,以及(ii)将n个边界框中的被确认为具有小于第二阈值的第一重叠率的特定边界框确定为包括各个被监视车辆。这里,第一阈值和第二阈值可以彼此相同与彼此不同。

同时,如上所述,通过参照第一分类分数和车辆的回归信息,将被监视车辆确定为位于监视车辆200的盲点中,然后,通过参照被监视车辆的姿势,将被监视车辆确定为位于盲点中的偶然车辆。然而,作为另一示例,可以通过参照第一分类分数和第二分类分数,将被监视车辆确定为在与监视车辆200相同的方向上行驶,然后,通过参照关于行驶在相同方向上的被监视车辆的车辆的回归信息,将被监视车辆确定为位于盲点中的偶然车辆。

换句话说,处理器120可以执行以下处理:(i)通过参照第一分类分数,在m个提议框中将特定建议框确定为包括被监视车辆,(ii)通过参照第二分类分数,在特定建议框中选择被确定为包括姿势与监视车辆200的行进方向对应的至少一个被监视车辆的i个建议框。然后,处理器120可以执行以下处理:(i)通过参照与i个建议框中的每一个相对应的车辆的回归信息,获取与i个建议框中的每一个相对应的i个边界框中的每一个,以及(ii)确定在i个边界框中是否存在位于监视车辆的盲点中的至少一个边界框,从而确定至少一个偶然车辆是否位于盲点中。

接下来,参照图4,通过将关于位于盲点中的偶然车辆的信息发送到控制单元,处理器120可以支持监视车辆200的控制单元以防止监视车辆200在朝向偶然车辆被确定为所位于的盲点的方向上改变车道。

在此,如果驾驶员想要改变车道并且偶然车辆被检测为位于驾驶员想要移动到的车道上的盲点中,则通过参照关于监视车辆200的转向系统的信息,监视车辆200的控制单元可以允许警报系统警告驾驶员偶然车辆位于盲点中的事实,并且可以允许驾驶员避免可能由于改变车道而引起的危险情况。此外,如果监视车辆200是自主车辆,则控制单元可以通过参照关于驾驶环境的信息和关于偶然车辆是否位于盲点中的信息允许自主车辆安全地改变车道。

在上文中,针对单侧说明了对盲点中的偶然车辆的确认的处理,然而,可以通过对监视车辆200的另一侧的车道中的盲点进行相同的步骤来执行在两侧的每个盲点中的偶然车辆的确认。

同时,盲点监视器可以包括cnn,cnn能够通过使用预先调整的至少一个卷积参数、至少一个第一分类参数、至少一个第二分类参数以及至少一个回归参数执行卷积、第一分类、第二分类和回归的操作。

此外,盲点监视器可以分成几个装置以执行其功能,然而,为了方便,本说明书描述实现为单个装置的盲点监视器。

根据本发明的盲点监视器可以包括卷积层、rpn和fc层等的一部分。

本发明具有通过使用cnn准确地检测位于盲点中的偶然车辆的效果。

本发明具有准确地检测位于盲点中的偶然车辆而不考虑监视车辆的驾驶环境的另一效果。

本发明还具有通过较少的计算实时地检测位于盲点中的偶然车辆而不考虑背景状态和视觉噪声的变化的另一效果。

本发明还具有根据监视车辆和被监视车辆的驾驶环境检测位于盲点中的偶然车辆的又一效果。

本发明还具有通过使用能够同时执行车辆检测和姿势分类的单个检测网络而以最少的计算过滤相反方向的车道上的车辆而不需要车道检测的另一效果,这与导致更多计算和因缺失的车道引起不准确检测的过滤车道方向相反方向上的车道中的车辆的以往的方法相反。

如上所述的本发明的实施例可以通过可记录到计算机可读介质的各种计算机装置以可执行程序命令的形式实施。计算机可读介质可以单独地或组合地包括程序命令、数据文件和数据结构。记录到介质的程序命令可以是为本发明专门设计的部件,或者可以对于计算机软件领域的技术人员可用。计算机可读介质包括诸如硬盘、软盘和磁带的磁介质、诸如cd-rom和dvd的光学介质、诸如光盘的磁光介质、以及诸如rom、ram和专门设计用于存储和执行程序命令的闪存的硬件装置。程序命令不仅包括由编译器生成的机器语言代码,还包括由计算机执行的可被解释器等使用的高级代码。上述的硬件装置可以不仅仅用作用于执行本发明的动作的软件模块,在相反的情况下它们能够同样使用。

如上所述,已经通过诸如详细的部件、有限的实施例和附图的特定事项对本发明进行了说明。它们仅仅是为了帮助更全面地理解本发明。然而,本领域技术人员将理解的是,在不背离下面的权利要求书中限定的本发明的精神和范围的情况下,可以从说明书中进行各种改变和变更。

因此,本发明的思想不应局限于所说明的实施例,下面的专利权利要求以及包括与专利权利要求等同或等效的变化的所有内容都属于本发明的思想范畴。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1