车辆车道定位的制作方法

文档序号:11251320阅读:508来源:国知局
车辆车道定位的制造方法与工艺

本公开总体上涉及车辆领域,更具体地涉及用于车辆车道定位的系统和方法。



背景技术:

车辆的位置可以以若干方式获取,包括全球导航卫星系统(gnss)或全球定位系统(gps)接收器、航位推算系统(deadreckoningsystem)和/或计算轮胎转数以确定距已知的起始参考点的距离的惯性导航系统。然而,这些技术缺乏可以确定车道标记与道路边缘之间的车辆定位的精度。



技术实现要素:

根据本发明,提供一种系统,该系统包含具有处理器和存储器的计算机,该存储器存储可由处理器执行的指令,该指令包括执行下列操作的指令:

接收来自固定到车辆的视频数据源的视频数据;

接收来自固定到车辆的lidar数据源的光检测和测距(lidar)数据;

将视频数据发送到回归神经网络(rnn)以识别道路特征,回归神经网络(rnn)包括将来自第一层的反馈提供至第二层的反馈元件;

将视频数据发送到动态卷积神经网络(dcnn)以识别特征;

将lidar数据发送到rnn以识别特征;

将lidar数据发送到dcnn以识别特征;

将rnn输出值和dcnn输出值发送到softmax决策网络以对rnn输出值和dcnn输出值进行聚合;

根据softmax输出来确定车辆在道路上的车辆位置定位;

将道路上的车辆位置定位与来自一组训练数据图像的图像进行比较以确定误差率;

根据误差率来确定用于rnn和dcnn的权重值的变化;

将权重值的变化应用于rnn和dcnn;以及

至少根据车辆的车辆位置定位来至少控制车辆的转向、制动和加速。

根据本发明的一个实施例,其中视频数据源至少是固定到车辆的摄像机或该组训练数据图像。

根据本发明的一个实施例,其中lidar数据源至少是固定到车辆的lidar图像捕获装置和该组训练数据图像。

根据本发明的一个实施例,其中特征包括车道标记、路沿和道路边缘中的至少一个。

根据本发明的一个实施例,其中计算机对rnn输出值和dcnn输出值进行聚合以产生softmax输出值。

根据本发明的一个实施例,计算机从视频数据中提取视频帧图像,并且从lidar数据中提取lidar帧图像。

根据本发明的一个实施例,计算机将视频帧图像和lidar帧图像转换成机器可读图像。

根据本发明的一个实施例,计算机将机器可读图像发送到rnn输入和dcnn输入。

根据本发明的一个实施例,存储器进一步存储将用于rnn和dcnn的权重值存储在存储器中的指令。

根据本发明,提供一种系统,该系统包含具有处理器和存储器的计算机,该存储器存储可由处理器执行的指令,该指令包括执行以下操作的指令:

接收来自固定到车辆的摄像机的视频数据;

接收来自固定到车辆的lidar图像捕获装置的光检测和测距(lidar)数据;

将视频数据发送到回归神经网络(rnn)以识别道路特征,回归神经网络(rnn)包括使来自第一层的信号能够被反馈回第二层的反馈元件;

将视频数据发送到动态卷积神经网络(dcnn)以识别道路特征;

将lidar数据发送到rnn以识别特征;

将lidar数据发送到dcnn以识别特征;

将rnn输出值和dcnn输出值发送到softmax决策网络以至少根据rnn输出值和dcnn输出值来确定softmax输出;

根据softmax输出来确定车辆在道路上的车辆位置定位;以及

至少根据车辆的车辆位置定位来至少控制车辆的转向、制动和加速。

根据本发明的一个实施例,其中特征至少包括车道标记、路沿和道路边缘。

根据本发明,提供一种方法,该方法包含:

接收来自车辆上的视频数据源的视频数据;

接收来自车辆上的lidar数据源的光检测和测距(lidar)数据;

将视频数据发送到回归神经网络(rnn)以识别道路特征,回归神经网络(rnn)包括使来自第一层的信号能够被反馈回第二层的反馈元件;

将视频数据发送到动态卷积神经网络(dcnn)以识别道路特征;

将lidar数据发送到rnn以识别道路特征;

将lidar数据发送到dcnn以识别道路特征;

将rnn输出值和dcnn输出值发送到softmax决策网络以至少根据rnn输出值和dcnn输出值来确定softmax输出;

根据softmax输出来确定车辆在道路上的车辆位置定位;

将道路上的车辆位置定位与来自一组训练数据图像的图像进行比较以确定误差率;

根据误差率来确定用于rnn和dcnn的权重值的变化;

将权重值的变化应用于rnn和dcnn;以及

至少根据车辆的车辆位置定位来至少控制车辆的转向。

根据本发明的一个实施例,该方法进一步包含至少控制车辆的加速和制动。

根据本发明的一个实施例,其中视频数据源至少是固定到车辆的摄像机或该组训练数据图像。

根据本发明的一个实施例,其中lidar数据源至少是固定到车辆的lidar图像捕获装置和该组训练数据图像。

根据本发明的一个实施例,其中道路特征至少包括车道标记、路沿和道路边缘。

根据本发明的一个实施例,该方法进一步包含通过对rnn输出值和dcnn输出值进行聚合来确定softmax输出。

根据本发明的一个实施例,该方法进一步包含从视频数据中提取视频帧图像和从lidar数据中提取lidar帧图像。

根据本发明的一个实施例,该方法进一步包含将视频帧图像和lidar帧图像转换成机器可读图像。

根据本发明的一个实施例,该方法进一步包含将用于rnn和dcnn的权重值存储在存储器中。

附图说明

图1是具有可以控制和监测自主车辆的各种系统的各种计算机硬件部件的示例性自主车辆的框图;

图2是可以对车辆周围的特征进行分类的示例性实时道路识别系统的示意图;

图3是具有四层的示例性回归神经网络(recurrentneuralnetwork)的示意图;

图4是示例性动态卷积神经网络(dynamicconvolutionalneuralnetwork)的各部分的图示;

图5是可以由车辆的计算机实施的示例性过程的流程图;

图6是可以由车辆的计算机实施的第二示例性过程的流程图。

具体实施方式

实时道路识别系统

图1的图示是具有连接到并且通过运动控制计算机7的各种车辆计算机模块的自主车辆或半自主车辆的示例性车辆计算机系统60的示意图,运动控制计算机7也可以被称为电子控制单元(ecu)。运动控制计算机7可以负责监测和控制其他计算机控制器。运动计算机7具有至少一个处理器并且可以具有各种类型的永久和瞬时存储器以存储计算机指令、寄存器值、临时变量和永久变量。此外,运动控制计算机7总体上可以包括用于例如经由可佩戴设备、用户设备和/或车辆内的人机界面交换数据(例如,来自和到乘员)的指令,车辆内的人机界面可以是交互式语音应答(ivr)系统、包括触摸屏或诸如此类的图形化用户界面(gui)等中的一个或多个。

运动控制计算机7被连接到导航计算机9、制动控制计算机11、发动机和马达控制计算机13、转向计算机15和遥测单元(telemetricunit)19。导航计算机9可以接收例如来自全球导航卫星系统(gnss)的信号以确定车辆的地理位置,或者在替代方案中,导航计算机9可以部署用于确定地理位置的航位推算系统。

制动控制计算机11可以监测和控制车辆的制动器以及影响车辆的停止的任何参数。发动机和马达控制计算机13可以连同车辆的动力传动系统一起监测和控制发动机和马达。转向控制计算机17可以监测和控制车辆的转向系统,以及生成转向配置文件,该转向配置文件可以被发送到运动控制计算机7以在规划路线和操纵时使用。遥测单元19或诸如此类被提供用于例如以已知的方式向网络(未示出)发送信息和从网络接收信息。车辆可以与其他网络或车辆通信,并且可以包括无线网络技术,例如蜂窝、无线保真(wi-fi)、蓝牙、近场通信(nfc)、有线和/或无线分组网络等。

图2是实时道路识别系统48的示意图,该实时道路识别系统48可以对车辆周围的道路特征进行分类,例如,系统48可以确定道路的路沿和车道标记(例如左车道标记)。系统48可以独立于车辆的导航系统而确定车辆在道路上的定位。道路特征从来自光检测和测距(lidar)图像捕获装置50的传感器数据和从来自视频数据源(例如,摄像机或图像捕获装置52)的图像数据中进行提取。来自lidar装置50的lidar数据和来自视频图像捕获装置52的图像数据由回归神经网络(rnn)54和动态卷积神经网络(dcnn)56两者进行处理。rnn54和dcnn56的输出然后通过柔性最大值传输函数(softmax)决策网络(sdn)58进行处理和聚合。sdn58的输出然后被应用于车辆计算机系统60,该车辆计算机系统60进而可以操作自主车辆。

如已知的,lidar装置50是发射强烈聚焦光束并且测量由传感器检测到反射所花费的时间的远程感测单元。该信息被用于计算距对象的范围或距离。以这种方式,lidar类似于雷达(无线电检测和测距),除了它是基于激光的离散脉冲。一组三维坐标(例如,一组x、y、z坐标)或对象的纬度、经度和高度根据发射与返回激光脉冲之间的时间差、脉冲被“激发(fired)”的角度以及传感器的绝对位置来计算。

视频图像捕获装置52可以是以电子方式捕获图像的任何类型的摄像机,例如安装在前格栅上的摄像机或挡风玻璃摄像机。视频图像捕获装置52还可以是立体摄像机系统,其允许视频图像捕获装置52获得深度感知。另外,视频图像捕获装置52可以被调整用于不可见辐射,即,用于改善夜视和感测的红外线。

回归神经网络54是一类人工神经网络,其中该网络具有使来自一个层的信号能够被反馈回到当前层的反馈元件。具有四个层的示例性回归神经网络54在图3中示出。网络54具有一系列作为输入层以接收来自lidar装置50和视频图像装置52的数据的输入神经元12、14、16、18。第一层被连接到第一中间神经元层20,第一中间神经元层20被连接到第二神经元层22。第二神经元层被连接到输出神经元层24。中间神经元层20、22也被称为隐藏层。

上文中的术语“神经元”是指已知的人工神经元,其接收表示树突的一个或多个输入并且将它们加和以产生表示神经元轴突的输出。每一个节点的加和可以被加权,并且加和通过称为激活函数或传递函数的非线性函数进行传递。传递函数通常具有s形形状(sigmoidshape),但是它们还可以采取其他非线性函数的形式,例如分段线性函数或阶梯函数。非线性函数的目的是使人工神经元的输出为“真”或“假”、或“1”或“0”。

反馈路径21、23可以在隐藏层中提供,其可以乘以固定的权重值1。因此,反馈形成神经网络54的内部存储器状态,其允许神经网络54呈现动态瞬时行为。因此,神经网络54可以将值或状态存储到存储器中,并且稍后在处理信息时使用所存储的值和状态。

回归神经网络54可以被设计成处理分布在神经元网络上的模式化信息。例如,图像作为独立像素的集合是无意义的;为了理解图像,回归神经网络54可以处理从lidar装置50和视频装置52接收到的输入的空间模式。在空间模式的背景内,来自每一个像素的信息可以获取含义。在时域(temporal)处理期间,同样也是如此。例如,不具有其伴随像素的单个像素可以表现为简单无意义的灰度像素。图像的像素的集合形成信号的特有时域模式,其中它可以区分其他所存储的图像。

动态卷积神经网络56是使用相同神经元的许多相同副本的一类人工网络。动态卷积神经网络56可以用较少数量的参数来表示计算量大的模型。图4示出了可以在动态卷积神经网络56中部署的示例性动态卷积神经网络过程68。

在卷积过程68中,输入图像70具有卷积应用在输入图像70上以产生卷积图像72的过滤器71。卷积过程68将过滤器71值与输入图像70的值进行排序和/或组合。它可以被认为是具有查看输入图像70的离散部分并且对离散部分执行一些数学处理以产生卷积图像72的小窗口。

非线性阶段可以被部署以将偏差或权重引入到卷积图像72中以产生非线性图像74。权重可以通过非线性函数(例如,传递函数)来应用,非常类似于来自以上的回归神经网络54的权重。传递函数通常具有s形形状,但是它们也可以采取其他非线性函数的形式,例如分段线性函数或阶梯函数。

在池化阶段(poolingstage)中,与卷积过程中的处理非常相似,池化过滤器75有条理地处理非线性图像74,以寻找可能包含可以被抽取(decimated)或降采样(downsampled)的不变量置换的区域。不变量置换(invariantpermutation)可以是多余或与非线性图像74不相关的像素,例如,邻近由视频图像捕获装置52内的噪声模数转换过程生成的明确定义的边界的额外像素。池化阶段的输出是特征映射76。

回归神经网络54和动态卷积神经网络56的输出由softmax决策网络58进行处理。如已知的,softmax决策网络58确定回归神经网络54和动态卷积神经网络56的输出值是否在期望的范围内。例如,动态卷积神经网络54的池化阶段具有0.21的数据值,该数据值在系统48的可接受的数据范围之外,当池化阶段数据值是在0.0和0.1之间时,系统48的可接受的数据范围默认为“0”数据值,并且当池化数据值是在0.9和1.0之间时,系统48的可接受的数据范围默认为“1”。softmax决策网络58可以确定0.21的数据值是异常的并且将数据值改变为“0”以允许系统48使用。

softmax决策网络58的输出被发送到车辆计算机系统60。车辆计算机系统60结合导航计算机9可以有效地自主操作车辆的加速器、制动器和转向装置并且通过检测左车道标记和右车道标记以及将车辆保持在两者之间来使车辆在道路上有效地行驶。

过程流程图

图5是说明示例性过程100的流程图,该示例性过程100可以由车辆计算机系统60来执行以处理注入到lidar装置54和视频捕获装置52中的一组训练数据图像以学习道路特征,例如车道标记、路沿和道路边缘。训练数据图像是具有所识别的道路特征的一组图像。因此,车辆计算机系统60可以对该组训练数据图像的道路特征进行分类,将车辆计算机系统60分类与实际训练数据图像所识别的道路特征进行比较,并且进而训练神经网络以能够实时识别道路特征。该组训练数据图像连同关于训练数据图像的一组训练数据可以包含例如所识别的道路特征(例如车道标记、路沿和道路边缘)的“真实世界”图像的许多图像。

过程100开始于框105,在框105中,将一组训练数据图像呈现给lidar数据源(例如lidar捕获装置50)和视频捕获装置52二者,或者通过将训练数据图像注入到位于lidar捕获装置50和视频捕获装置52中的图像处理设备中。换句话说,训练数据图像物理上位于每一个装置的每一个透镜的前方,或者训练数据图像的数字化版本绕过透镜被直接应用到每一个装置的成像软件或硬件。

接下来在框110中,从视频帧数据中提取视频帧图像并且从lidar帧数据中提取lidar帧图像,训练数据图像的视频帧数据和lidar帧数据从lidar捕获装置50和视频捕获装置52中的每一个中进行提取。该组帧图像可以是例如由lidar捕获装置50和视频捕获装置52捕获的冻结图像。

接下来,在框115中,车辆计算机系统60将这组帧图像转换成道路的机器可读图像,并且进一步去除不是道路的图像的部分或整个图像。例如,地平线以上的图像可以被丢弃,因为天空的图像对于确定道路上车辆位置定位没有帮助。

接下来,在框120中,将机器可读图像发送到回归神经网络(rnn)54和动态卷积神经网络(dcnn)56。回归神经网络54和动态卷积神经网络56上面进行了讨论。

接下来,在框125中,将回归神经网络54和动态卷积神经网络56的输出应用于softmax决策网络(sdn)58。softmax决策网络(sdn)58上面进行了讨论。

接下来,在框130——框130可以在框125或框145之后——中,车辆计算机系统60将softmax决策网络(sdn)58的输出与关于这组训练数据图像中的每一个图像的训练数据进行比较,并且确定图像确定的统计精度。如上所述,这组训练数据图像可以包含例如所识别的道路特征(例如车道标记、路沿和道路边缘)的“真实世界”图像的许多图像。

接下来,在框135中,调整神经网络的权重以减小sdn预测/分类与地面实况之间的误差率。

接下来,在框140中,训练算法确定识别所识别的道路特征的误差率是否在预定的统计上可接受的标准内,例如,误差率是定义训练数据与网络的输出之间的最小误差的可调的阈值参数,超过该阈值参数,由网络提供的近似值被认为是可接受的。如果误差率不可接受,则过程在框145中继续,否则过程100继续到框150。

在框145中,相应地调整神经网络的权重,例如,将调整后的权重值应用于第二中间神经元层22、第一中间层20和反馈路径23。神经网络中的权重值的应用可以是例如每当神经元22产生到输出神经元24的输出时应用的简单乘数。然后,该过程返回到框120以执行图像与具有改变的权重值的道路特征测试图像的另一个比较。

在框150中,将具有确定的可接受的误差的权重存储在车辆计算机系统60的存储器中以供稍后使用或存储在神经元的寄存器存储器中,并且过程100结束。

图6是说明示例性过程200的流程图,该示例性过程200可以由车辆计算机系统60执行以用于通过以下方式来确定车辆在道路上的位置:捕获车辆周围的lidar图像和视频图像、在经训练的回归神经网络54和经训练的动态卷积神经网络56中处理lidar图像和视频、然后在softmax决策网络58中做出关于神经网络54、56的输出的决策。车辆计算机系统60可以根据具有一组真实图像的道路特征(例如车道标记、路沿和道路边缘)来确定车辆的位置,并且确定车辆在车道中的相对位置。

过程200开始于框205,在框205中,lidar捕获装置50和视频捕获装置52可以捕获其周围道路的前向图像(相对于车辆)。

接下来,在框210中,车辆计算机系统60接收来自lidar图像捕获装置50和视频捕获装置52的视频和lidar图像的帧,并且从视频和lidar图像中提取帧数据。

接下来,在框215中,车辆计算机系统60将帧数据呈现给经训练的回归神经网络54和经训练的动态卷积神经网络56。回归神经网络54和动态卷积神经网络56上面进行了讨论。

接下来,在框220中,将回归神经网络54和动态卷积神经网络56的输出应用于softmax决策网络(sdn)58。softmax决策网络(sdn)58上面进行了讨论。

接下来,在框225中,车辆计算机系统60基于sdn58的输出来确定相对于道路边缘和右和左车道标记的车辆位置,并且在车辆决策中利用该信息,例如,如果sdn58确定道路正在转弯,则将指示自主车辆转弯并且遵循道路的曲率。

接下来,在框230中,运动控制计算机7接收来自导航计算机9的车辆的地理位置。运动控制计算机7向制动控制计算机11发送如由运动控制计算机7结合导航计算机9所确定的通过在适当的时间致动制动机构来使车辆减速的指令。发动机和马达控制计算机13将如由运动控制计算机7结合导航计算机9所确定的在适当的时间通过使马达、发动机加速和减速并且控制车辆的变速器来使车辆加速和减速。转向计算机15将如运动控制计算机7结合导航计算机9所确定的在必要时完成车辆的适当的右转和左转以及使车辆恢复到直线行驶,并且,在行程结束时过程200结束。

结论

如本文所使用的,修饰形容词的副词“大体上”是指由于材料、加工、制造、传感器测量、计算、处理时间、传输时间等缺陷,形状、结构、测量值、值、计算值等可以偏离准确描述的几何结构、距离、测量值、值、计算值等。

计算设备——例如本文所讨论的那些——总体上各自包括由一个或多个计算设备——例如以上说明的那些——可执行的并且用于实施上述过程的框或步骤的指令。计算机可执行指令可以由计算机程序来编译或解释,该计算机程序采用多种编程语言和/或技术创建,这些编程语言和/或技术包括但并不限于单独地或组合的javatm、c、c++、c#、visualbasic、python、javascript、实际抽取与汇报语言(perl)、超文本标记语言(html)、超级文本预处理语言(php)等。通常,处理器(例如,微处理器)如从存储器、计算机可读介质等接收指令,并且执行这些指令,由此实施一个或多个过程,包括本文所描述的一个或多个过程。这样的指令或其他数据可以采用各种计算机可读介质来存储和传送。计算设备中的文件总体上是存储在计算机可读介质——例如存储介质、随机存取存储器等——上的数据的集合。

计算机可读介质包括参与提供数据(例如,指令)的任何介质,该数据可以由计算机读取。这样的介质可以采用多种形式,包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他永久性存储器。易失性介质包括典型地构成主存储器的动态随机存取存储器(dram)。计算机可读介质的常规形式包括,例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、只读光盘存储器(cd-rom)、数字化视频光盘(dvd)、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、随机存取存储器(ram)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、闪速电可擦除可编程只读存储器(flash-eeprom)、任何其他存储器芯片或内存盒、或者计算机可读取的任何其他介质。

关于本文所描述的介质、过程、系统、方法等,应当理解的是,虽然这样的过程等的步骤被描述为按照一定的顺序排列发生,但这样的过程可以采用以本文所描述的顺序之外的顺序执行所描述的步骤来进行实施。进一步应当理解的是,某些步骤可以同时执行,可以添加其他步骤,或者可以省略本文所描述的某些步骤。换言之,本文的系统和/或过程的描述提供用于说明某些实施例的目的,并且不应被解释为限制所公开的主题。

相应地,应当理解的是,以上说明书旨在是说明性而不是限制性的。通过阅读以上说明书,除了提供的示例外,许多实施例和应用对本领域技术人员而言都是显而易见的。本发明的范围应参照所附和/或包括在非临时专利申请中的权利要求连同这样的权利要求所享有的全部等效范围来确定,而不是参照以上说明书来确定。可以预期和预料的是,未来的发展将发生在本文所讨论的领域中,并且所公开的系统和方法将被结合到这样的未来的实施例中。总之,应当理解的是,所公开的主题能够进行修改和变化。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1