一种图像定位方法、系统和装置与流程

文档序号:13913698阅读:248来源:国知局

本发明涉及计算机图像处理领域,特别涉及一种图像定位方法、系统和装置。



背景技术:

定位是一种来确定车辆在环境中的准确位置的操作,定位结果的准确度会影响很多与位置有关的操作,例如自动驾驶领域中的路线规划、障碍物规避等决策操作。定位对于自动驾驶车辆的导航非常重要。通过自动驾驶车辆上的图像采集设备采集到的图像数据和距离和位置测量设备采集到的距离数据来确定车辆的位置,定位结果的准确度可能会不太理想,gps定位设备的误差为10米,而自动驾驶技术要求的误差为1厘米至10厘米,这样的差距显然不满足路线规划以及障碍物规避等控制操作。从而,在相关技术中存在图像定位处理存在定位结果不准确、精度低的问题。



技术实现要素:

鉴于上述问题,提供了一种图像定位方法、装置和系统,用以解决现有技术中图像定位处理存在定位结果不准确、精度低的问题。

根据本申请的一个方面,一些实施例中提供了一种图像定位方法,包括:

车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;

对所述至少一帧实时图像数据进行语义分割,得到至少一帧语义标签图像数据;

查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;

将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比;

根据对比结果和所述地图数据,确定所述车辆的位置。

在本申请的多个实施例中,所述方法还包括:接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据;识别出所述至少一帧语义标签图像数据中的物体;根据所述实时位置数据和所述至少一帧语义标签图像数据,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据,得到至少一帧结果语义标签图像数据;则,将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比,包括:将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。

在本申请的多个实施例中,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据,包括:根据所述实时位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。

在本申请的多个实施例中,所述方法还包括:接收并保存测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签数据和所述地图数据。

在本申请的多个实施例中,所述测试车辆中的地图构建装置预先生成所述至少一帧基线语义标签数据和所述地图数据,包括:所述地图构建装置接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据;接收来自所述测试车辆的位置和距离测量装置的获取的所述驾驶环境中的物体的测试位置数据;对所述至少一帧测试图像数据进行语义分割,识别出所述驾驶环境中的物体,得到所述至少一帧基线语义标签图像数据;根据所述测试位置数据,删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据;根据所述至少一帧基线语义标签图像数据和所述测试位置数据,建立所述驾驶环境的地图;建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。在本申请的多个实施例中,删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应数据,包括:根据所述测试位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据。

在本申请的多个实施例中,所述方法还包括:确定预定数据内所述车辆的多个位置;根据所识别出来的多个位置之间的差别,确定所述车辆的速度。

在本申请的多个实施例中,所述方法还包括:根据所识别出来的所述车辆的多个位置,确定所述车辆的行驶路径。

根据本申请的另一个方面,一些实施例中提供了一种图像定位装置,包括:

接收模块,用于接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;

图像处理模块,用于对所述至少一帧实时图像数据进行语义分割,识别出所述驾驶环境中的物体,得到至少一帧语义标签图像数据;

定位模块,用于查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比;根据对比结果和所述地图数据,确定所述车辆的位置。

在多个实施例中,所述接收模块还用于:接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据;所述图像处理模块还用于:根据所述实时位置数据和所述至少一帧语义标签图像数据,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据,得到至少一帧结果语义标签图像数据;则,所述定位模块将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比,包括:将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。

在多个实施例中,所述图像处理模块,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据,包括:根据所述实时位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。

在多个实施例中,所述接收模块还用于:接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签数据和所述地图数据;所述装置还包括存储模块,用于保存所述至少一帧基线语义标签数据和所述地图数据。

在多个实施例中,所述定位模块还用于:确定预定时间内所述车辆的多个位置;根据所识别出来的多个位置之间的差别,确定所述车辆的速度。

在多个实施例中,所述定位模块还用于:根据所识别出来的所述车辆的多个位置,确定所述车辆的行驶路径。

根据本申请的另一个方面,一些实施例中提供了一种图像定位装置,包括:一个处理器和至少一个存储器,所述至少一个存储器中存储有至少一条机器可执行指令,所述处理器执行所述至少一条指令,以实现:

接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;

对所述至少一帧实时图像数据进行语义分割,识别出所述驾驶环境中的物体,得到至少一帧语义标签图像数据;

查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;

将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比;

根据对比结果和所述地图数据,确定所述车辆的位置。

在多个实施例中,所述处理器执行所述至少一条指令还实现:接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据;根据所述实时位置数据和所述至少一帧语义标签图像数据,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据,得到至少一帧结果语义标签图像数据;则,所述处理器执行所述至少一条指令实现将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比,包括:将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。

在多个实施例中,所述处理器执行所述至少一条指令实现删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据,包括:根据所述实时位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。

在多个实施例中,所述处理器执行所述至少一条指令还实现:接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签数据和所述地图数据;所述至少一个存储器还用于保存所述至少一帧基线语义标签数据和所述地图数据。

在多个实施例中,所述处理器执行所述至少一条指令还实现:确定预定时间内所述车辆的多个位置;根据所识别出来的多个位置之间的差别,确定所述车辆的速度。

在多个实施例中,所述处理器执行所述至少一条指令还实现:根据所识别出来的所述车辆的多个位置,确定所述车辆的行驶路径。

根据本申请的另一个方面,一些实施例中提供了一种图像定位系统,包括:测试车辆中的地图构建装置和自动驾驶车辆中的图像定位装置;

所述地图构建装置用于:接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据;接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据;对所述至少一帧测试图像数据进行语义分割,识别出所述驾驶环境中的物体,得到所述至少一帧基线语义标签图像数据;根据所述测试位置数据,删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据;根据所述至少一帧基线语义标签图像数据和所述测试位置数据,建立所述驾驶环境的地图;建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系;

所述图像定位装置用于:接收并保存来自所述测试车辆的所述驾驶环境的所述至少一帧基线语义标签数据和所述地图数据;车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;对所述至少一帧实时图像数据进行语义分割,识别出所述驾驶环境中的物体,得到至少一帧语义标签图像数据;查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比;根据对比结果和所述地图数据,确定所述车辆的位置。

根据本申请提供的技术方案,将驾驶环境的语义标签图像数据作为定位操作的输入,而不是将原始图像数据作为定位操作的输入,语义分割所识别出来的物体与其它因素之间不具有相关性,相比于相关技术中将实时获取的驾驶环境的原始图像与预先获取的驾驶环境的图像进行对比,本申请中将语义标签图像数据与基线语义标签数据进行对比能够得到准确性较高的相对位置,进而通过与基线语义标签数据对应的地图数据得到实际位置,能够得到准确度高、可靠性高的车辆位置。从而能够解决相关技术中图像定位处理存在的定位结果不准确、精度低的问题。

附图说明

附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。

图1a为本申请多个实施例中提供的一种图像定位系统的示意图;

图1b为本申请多个实施例中提供的测试车辆的地图构建装置的工作流程图;

图2a为本申请多个实施例中提供的一种图像定位方法的流程图;

图2b为本申请多个实施例中提供的另一种图像定位方法的流程图;

图3为图2a或图2b所示方法的后续处理流程图;

图4为本申请多个实施例中提供的一种图像定位装置的应用环境示意图;

图5为本申请多个实施例中提供的一种图像定位装置的结构框图;

图6为本申请多个实施例中提供的一种图像定位装置的结构框图;

图7为本申请多个实施例中提供的一种地图构建装置的结构框图;

图8为本申请多个实施例中提供的一种地图构建装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

在相关技术中,在进行图像定位处理时,通常先实时地采集某个环境的图像,使用物体识别的技术识别出图像中的物体,然后将采集到的图像与预先保存的该环境的图像进行对比,根据对比结果确定物体的相对位置,值得注意的是,这里确定得到的是相对位置。后续再进行其它处理得到物体的确定的位置。

但是由于图像数据本身位置属性的准确度较低,根据对比得到的定位结果也不具有高度的准确性。并且是否能从图像数据中准确识别出物体的位置与很多因素存在强相关关系,例如是否与位置强相关、是否与光线明暗强相关,对于与位置强相关的物体能够较为准确的确定其位置,与位置若相关的物体无法准确的确定其位置,在充足的光线条件下,能够较为准确的识别物体的位置,在不充足的关系条件下,无法准确的确定物体的位置。也即,在相关技术中,存在图像定位处理存在定位结果不准确、精度低的问题。

针对相关技术中图像定位处理的定位结果不准确、精度低的问题,本申请的实施例中提出了一种图像定位的方法、装置和系统,用于解决该问题。本申请的实施例中对采集到的实时图像进行语义分割处理,得到语义标签图像数据。图像语义分割的目的在于,通过给图像中的每个像素标定一种语义类别,从而在图像中标识出与物体直接对应的图像区域,能够建立图像区域与物体的对应关系。不同于仅仅识别出图像中物体的物体识别技术,通过语义分割所识别出来的物体与其它因素之间不具有相关性,也即语义分割技术排除了图像物体识别的多种不确定性因素。并且,在本申请的实施例中,测试车辆预先获取并处理得到驾驶环境的基线语义标签图像数据,基线语义标签数据具有对应的地图数据,并在实时处理过程中,自动驾驶车辆将实时获取和处理得到驾驶环境的语义标签图像数据与该驾驶环境的基线语义标签图像数据进行对比,根据对比结果和基线语义标签数据所对应的地图数据,能够确定得到图像中物体的准确的位置。

下面对本申请的提供的图像定位的方法、装置和系统进行详细说明。

如图1a所示,本申请提供的图像定位系统包括测试车辆和自动驾驶车辆,本申请的多个实施例提供的图像定位方法可以分为两个阶段,第一个阶段为地图构建阶段,第二阶段为实时定位阶段。第一阶段由一个测试车辆获取多种环境的图像数据和距离数据,根据获取到的图像数据处理得到基线语义标签图像数据,根据获取到的图像数据和距离数据建立多种环境的地图,并建立多种环境中的每个环境的基线语义标签图像数据与该环境的地图之间的对应关系;自动驾驶车辆的图像定位装置预先获取并保存各个环境的基线语义标签图像数据、地图数据以及基线语义标签图像数据与地图数据的对应关系,以便于在第二阶段也即实时定位阶段中,自动驾驶车辆在行进的过程中根据预存的内容和自动驾驶车辆实时获取的数据来确定车辆的位置。

在测试车辆处理的多个环境中,以自动驾驶车辆将要经历的驾驶环境的处理为例,对测试车辆中的地图构建装置的工作原理、即地图构建阶段的原理进行说明,图1b中示出了测试车辆的地图构建装置的处理过程,包括:

步骤11、测试车辆中的地图构建装置接收来自测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据;

图像采集装置可以包括搭载在测试车辆上的至少一个摄像头,摄像头用于获取车辆的驾驶环境的视频数据,视频数据可以包括连续的或者不连续的至少一帧图像数据,为了保证地图构建的准确度,可以获取驾驶环境的连续的至少一帧图像数据,并且可以预定获取视频数据的时间长度,以获取足够的图像数据;

步骤12、地图构建装置接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据;

位置和距离测量装置可以是受激辐射光放大(激光)测距装置、光检测和测距(lidar)装置、声音导航和测距(声纳)装置、全球定位系统(gps)装置、无线电检测和测距(雷达)装置、或者其它类似的装置,测试位置数据可以是上述装置中的至少一个装置获取到的位置数据;

步骤13、对所述至少一帧测试图像数据进行语义分割,识别出所述驾驶环境中的物体,得到所述至少一帧基线语义标签图像数据;

使用语义分割方法进行图像物体识别,给图像中的每个像素标定一种语义类别,在图像中标识出与物体直接对应的图像区域,能够建立图像区域与物体的对应关系,所识别出来的物体与其它因素之间不具有相关性,也即语义分割技术排除了图像物体识别的多种不确定性因素;

在一个实施例中,为了得到准确度更高的地图构建结果,可以对至少一帧测试图像数据中的每一帧图像数据进行语义分割,在另一个实施例中,还可以对预定数量的图像数据进行语义分割;语义分割的方法可以是现有的方法,也可以是在本申请之后改进的方法,本申请不对语义分割的方法做具体限定;

步骤14、根据所述测试位置数据,删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据;

由于基线语义标签图像数据要作为后续自动驾驶车辆实时定位处理的数据参考,相对“干净”的数据更适合作为参考依据,并且减少在各阶段中处理的数据量,减少处理负担;具体可以在基线语义标签图像数据中删除与位置无关的物体所对应的数据,保留与位置有关的物体所对应的数据,与位置无关的物体可以是动态物体、暂态的物体、或者转瞬即逝的物体,例如:在空中飘落的树叶、道路上的杂物、行人、等等物体,与位置有关的物体可以是交通标识牌、道路两旁建筑物、等等物体;

其中,删除与位置无关的物体对应数据的操作包括如下处理过程(图中未示出):

步骤s141、根据所述测试位置数据,确定预定时间内所识别出来的物体的多个位置;

步骤s142、根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;

步骤s143、确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;

步骤s144、删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据;

根据上述处理过程所得到的基线语义标签图像数据不包括与位置无关的物体;

步骤15、根据所述至少一帧基线语义标签图像数据和所述测试位置数据,建立所述驾驶环境的地图;

其中所建立的驾驶环境的地图可以是三维模型或者三维地图;

建立地图的方法可以是是现有的方法,也可以是在本申请之后改进的方法,本申请不对地图构建的方法做具体限定;

步骤16、建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。

通过测试车辆中地图构建装置的上述处理,对图像数据进行语义分割处理,给图像中的每个像素标定一种语义类别,在图像中标识出与物体直接对应的图像区域,能够建立图像区域与物体的对应关系,排除图像数据的各种不确定性因素,从而为后续实时定位阶段的处理提供准确度更高的参考。并且建立驾驶环境的地图,建立驾驶环境的基线语义标签图像数据与驾驶环境的地图数据之间的对应关系,能够为后续实时定位阶段的定位处理提供准确的地图位置。

在实时定位阶段,自动驾驶车辆预先获取并存储驾驶环境的至少一帧基线语义标签图像数据、驾驶环境的地图、以及驾驶环境的地图与至少一帧基线语义标签图像数据的对应关系,并在车辆运行的过程中,根据实时获取到的驾驶环境的图像数据以及预先存储的上述数据,实时的确定得到车辆的位置,该位置来自于预先建立的地图数据,具有较高的准确性和可靠性。

下面对实时定位阶段中自动驾驶车辆的地图构建装置的工作原理进行说明。

图2a示出了本申请的多个实施例提供的一种图像定位方法的流程图,该方法包括如下处理过程:

步骤21、车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;

其中,车辆可以是一辆自动驾驶车辆(或称为无人驾驶车辆),图像生成设备可以是搭载在车辆上的至少一个摄像头,摄像头用于获取车辆的驾驶环境的视频数据,视频数据可以包括连续的或者不连续的至少一帧图像数据;

其中,在步骤21之前,图像定位装置还可以接收并保存测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签数据和所述地图数据;

步骤22、对所述至少一帧实时图像数据进行语义分割,识别出所述驾驶环境中的物体,得到至少一帧语义标签图像数据;

使用语义分割方法进行图像物体识别,给图像中的每个像素标定一种语义类别,在图像中标识出与物体直接对应的图像区域,能够建立图像区域与物体的对应关系,所识别出来的物体与其它因素之间不具有相关性,也即语义分割技术排除了图像物体识别的多种不确定性因素;

图像定位装置可以对至少一帧实时图像数据中的每一帧图像数据进行语义分割,也可以对预定数量的图像数据进行语义分割;可以对连续的预定数量的图像数据进行语义分割,也可以对随机抽取的预定数量的图像数据进行语义分割,也可以对预定方位角度的预定数量的图像数据进行语义分割,本申请不对图像的选取不做具体限定;语义分割的方法可以是现有的方法,也可以是在本申请之后改进的方法,本申请不对语义分割的方法做具体限定;

步骤23、查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;

其中,至少基线语义标签数据是来自于地图构建装置的,图像定位装置预先接收并保存测试车辆中的地图构建装置预先生成的至少一帧基线语义标签数据和对应的地图数据,其中至少一帧基线语义标签数据包括有上述驾驶环境的基线语义标签数据,以及与该驾驶环境对应的地图数据;

查找操作的方法可以是现有技术中的查找方法,也可以是在本申请之后改进的查找方法;

步骤24、将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比;

对比操作确定得到车辆在基线语义标签数据中的相对位置;

步骤25、根据对比结果和所述地图数据,确定所述车辆的位置;

由于已经确定得到车辆在基线语义标签数据中的相对位置,再根据基线语义标签数据与地图数据的对应关系,可以确定得到车辆在基线语义标签数据中的相对位置在地图数据中的实际位置。

从而在本申请的实施例中,将驾驶环境的语义标签图像数据作为定位操作的输入,而不是将原始图像数据作为定位操作的输入,语义分割所识别出来的物体与其它因素之间不具有相关性,并且在预先接收和保存的基线语义标签数据中,所识别出来的物体与其它因素之间不具有相关性;相比于相关技术中将实时获取的驾驶环境的原始图像与预先获取的驾驶环境的图像进行对比,本申请中将语义标签图像数据与基线语义标签数据进行对比能够得到准确性较高的相对位置,进而通过与基线语义标签数据对应的地图数据得到实际位置,能够得到准确度高、可靠性高的车辆位置。从而能够解决相关技术中图像定位处理存在的定位结果不准确、精度低的问题。

在上述图2a的处理基础上,本申请的实施例中还提出了一种图像定位方法,如图2b所示,该方法包括图像处理流程:

步骤201、车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;

步骤202、对所述至少一帧实时图像数据进行语义分割,识别出所述驾驶环境中的物体,得到至少一帧语义标签图像数据;

步骤203、接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据;

位置和距离测量装置可以是受激辐射光放大(激光)测距装置、光检测和测距(lidar)装置、声音导航和测距(声纳)装置、全球定位系统(gps)装置、无线电检测和测距(雷达)装置、或者其它类似的装置,位置数据可以是上述装置中的至少一个装置获取到的数据;

本申请不对上述步骤201和步骤203的执行顺序做具体限定,步骤201可以在步骤203之前执行,也可以在步骤203之后执行,步骤201和步骤203还可以同时执行;

步骤204、根据所述实时位置数据和所述至少一帧语义标签图像数据,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据,得到至少一帧结果语义标签图像数据;

步骤204包括如下处理过程(图中未示出):

步骤2041、根据所述实时位置数据,确定预定时间内所识别出来的物体的多个位置;

步骤2042、根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;

具体可以根据多个位置之间的差别、以及图像获取的时间,来确定物体的速度和速度矢量,确定的方法可以是现有方法、也可以是本申请之后改进的方法;

步骤2043、确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;

步骤2044、删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据,得到至少一帧结果语义标签图像数据;

根据上述处理过程所得到的语义标签图像数据不包括与位置无关的物体;

步骤205、查找并获取与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;

也可以查找并获取与所示至少一帧结果语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据;

步骤206、将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比;

步骤207、根据对比结果和所述地图数据,确定所述车辆的位置。

在如图2b的处理过程中,将语义标签图像数据中与位置无关的物体的数据删除,保留与位置有关的物体的数据,也即结果语义标签图像数据中包括的物体都是有位置有关的物体,这样的数据对于图像定位而言处理包括的都是有用的信息,从而有助于提高定位处理的准确性和可靠性,并且减轻处理负担。

在图2a和图2b所示处理过程的基础上,还可以进一步包括如图3所示的处理流程:

步骤31、图像定位装置确定预定时间内所述车辆的多个位置;

步骤32a、根据所识别出来的多个位置之间的差别,确定所述车辆的速度;

步骤32b、图像定位装置根据所识别出来的所述车辆的多个位置,确定所述车辆的行驶路径。

通过如图3所示的处理过程,可以进一步地确定得到车辆的速度,以及车辆的行驶路径。

基于相同的发明构思,本申请的多个实施例还提供了一种图像定位装置,该图像定位装置对应于上述的图像定位装置,应用在自动驾驶车辆中,如图4所示,该图像定位装置可以被用于车辆系统1001的控制系统150的环境中。在一个示例性实施例中,车辆105中包括一个控制系统150,该控制系统150具有一个图像定位装置400,该控制系统150能够如图1所示的架构和系统1001得到配置。但是,对于本领域的普通技术人员显而易见的是,本申请所描述和主张的图像定位装置400还能够被实施、配置以及使用在其它的多个应用和系统中。

参考图4,通过如图4示出了示例性的系统1001的框图,在一个示例性的实施例中,系统1001所包括的控制系统150和图像定位装置400能够得以实施。以下将详细描述这些构成。系统1001包括多个系统和多个构件,这些系统和构件能够生成和/或传输一个或多个源信息/源数据,系统1001还包括与车内控制系统150和图像定位装置400相关的多个服务。系统1001能够被安装在车辆105中。例如,安装在车辆105中的摄像头作为车辆子系统140中的一个装置,能够生成图像数据和计时数据,该图像数据和计时数据能够被控制系统150接收到。控制系统150以及在其中运行的图像定位装置400能够接收所输入的上述图像数据和计时数据。如下详述,图像定位装置400接收来自于车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;对至少一帧实时图像数据进行语义分割,识别出驾驶环境中的物体,得到至少一帧语义标签图像数据;查找并获取预存的与至少一帧语义标签图像数据对应的、驾驶环境的至少一帧基线语义标签数据,基线语义标签图像数据具有对应的驾驶环境的地图数据;将至少一帧语义标签图像数据与至少一帧基线语义标签数据进行对比;根据对比结果和地图数据,确定车辆的位置。该位置信息可以被自动车辆控制子系统使用,该自动车辆控制子系统是车辆子系统140中的另一个子系统。例如,自动车辆控制子系统能够使用车辆位置信息,在真实世界的驾驶场景中安全有效地为车辆105导航,同时避免障碍且安全地控制车辆。

在本申请提供的一个示例性实施例中,控制系统150能够与多个车辆子系统140进行数据通信,所有这些车辆子系统140常驻在使用者的车辆105中。一个车辆子系统接口141被用于促进控制系统150和多个车辆子系统140之间的数据通信。控制系统150包括一个数据处理器171以执行图像定位装置400,用以处理从一个或多个车辆子系统140接收到的图像数据。该数据处理器171能够与一个数据存储装置172合并设置,并作为控制系统150中的计算系统170的一部分。数据存储装置172能够被用于存储数据、存储处理参数、以及存储数据处理指令。处理模块接口165被用于促进数据处理器171和图像定位装置400之间的数据通信。在多个示例性实施例中,多个处理模块被配置为与图像定位装置400相类似的配置,并被数据处理器171执行。如图4中的虚线所示,图像定位装置400能被集成到控制系统150中,或者可选地被下载到控制系统150中。

控制系统150能够用于与广域网120进行数据的接收/发送,以及与和广域网相连接的网络资源122进行数据的接收/发送。可联网装置130和/或用户移动装置132能够用于通过网络120进行通信。可联网装置接口131能够被控制系统150使用,以促进控制系统150、以及通过可联网的装置130所连接的网络120之间的数据通信。相类似地,用户移动装置接口133能够被控制系统150使用,以促进控制系统150和通过用户移动装置132连接到的网络120之间的数据通信。以该种方式,控制系统150能够实时地通过网络120接入到网络资源122中。数据处理器171能够从网络资源122获取被数据处理器171所执行的多个处理模块、用于训练内部神经网络的数据内容、多个系统参数以及其它数据。

系统1001包括广域数据网络120。网络120为一个或多个传统广域数据网,例如因特网、一个蜂窝电话网络、卫星网络、寻呼网络、无线广播网络、游戏网络、wifi网络、点到点网络、ip电话(voip)网络等等。一个或多个这样的网络120能够将一个用户或者一个客户端系统连接到网络资源122,例如多个网站、多个服务器、多个中央控制网站,或者类似的网络资源。网络资源122能够生成和/或发布数据,该数据能够被车辆105通过车内可联网装置130或者用户移动装置132接收到。网络资源122也可以提供网络云服务,网络资源122能够支持在处理图像输入分析或者图像输出分析中进行计算或者辅助计算的函数。天线用于通过蜂窝、卫星、无线电或者其它传统的信号接收方案,将控制系统150和图像定位装置400连接到数据网络120。这样的蜂窝数据网络是当前可获得的(例如,verizontm,at&ttm,t-mobiletm,等等)。这样的基于卫星的数据网络或内容网络也是当前可获得的(例如,siriustm,hughesnettm,等等)。传统的广播网络也是为人熟知的,例如,多个am/fm无线网络、寻呼网络、uhf网络、游戏网络、wifi网络、点到点网络、ip电话(voip)网络,以及类似的网络。从而,如下详述,控制系统150和图像定位装置400能够通过可联网装置接口131接收基于网络的数据或内容,该可联网装置接口131用于连接可联网装置接收器130和网络120。以该种方式,控制系统150以及图像定位装置400能够支持车辆105其中的多个可连接网络的车内装置和系统。

如图4所示,控制系统150和图像定位装置400也能够接收来自用户移动装置132的数据、图像处理控制参数、以及训练内容,该用户移动装置132能够被设置在车辆105之中或靠近车辆105。用户移动装置132可以是标准移动装置,例如蜂窝电话、智能电话、个人数字助理(pad’s)、mp3播放器、平板计算装置(例如,ipadtm)、手提计算机、cd播放器、以及其它移动装置,用户移动装置132能够为控制系统150和图像定位装置400产生、接收和/或发送数据、图像处理控制参数以及内容。如图4所示,移动装置132也能够与网络云120进行数据通信。移动装置132能够从其自身内部的存储部件中获取数据和内容,也能通过网络120从网络资源122中获取数据和内容。此外,移动装置132自身可以包括一个gps数据接收器、多个加速计、多个wifi三角测量或者其它地理位置探测器或部件,这些部件能够被用于在任何时刻确定用户的实时地理位置。在任何情况下,如图4所示,控制系统150和图像定位装置400能从移动装置132接收数据。

继续参考图4,示例性实施例中的系统1001包括车辆可操作子系统140。在车辆105已实施的实施例中,许多标准车辆包括多个可操作子系统,例如,多个电子控制单元(ecus),支持对引擎、刹车、变速器、电子系统、排气系统、内部环境等等进行监视/控制的子系统。例如,在车辆可操作子系统140(例如车辆105的ecus)与控制系统150通过车辆子系统接口141进行通信的数据信号中,包括车辆105的一个或多个部件或者子系统的状态的信息。特别地,该数据信号能够从车辆可操作子系统140发送到车辆105的一个控制器局域网(can)总线,该数据信号能够通过车辆子系统接口141被控制系统150接收和处理。本申请描述的系统和方法能够实质性的被用于任何使用can总线、或者本申请所定义的使用类似的数据通信总线的机械化的系统,该系统包括但不限于工业装置、船只、卡车、机械装置或汽车;从而,这里使用的术语“车辆”包括任何上述机械化的系统。本申请描述的系统和方法的实施例也能够与任何配置有某种形式的网络数据通信的系统一起使用,但是,这样的网络通信不是必须的。

继续参考图4,示例性实施例中的系统1001以及其中的车辆可操作子系统140能够包括支持车辆105运行的多个车辆子系统。通常而言,车辆105可以是一个轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车。也可以是其它车辆。车辆105可以完全地或部分地以自动模式进行运行。例如,车辆105可以在自动模式下同时控制其自身,并且还可以被操作以确定车辆的当前状态以及车辆所处环境的当前状态,确定在该环境中的其它至少一个车辆的一个预测行为,确定上述其它至少一个车辆执行所述预测行为的可能性所对应信任等级,并且基于所确定的信息来控制车辆105。在处于自动驾驶模式下时,车辆105可以在无人交互的情况下运行。

车辆105可能包括各种车辆子系统,例如一个车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146、以及乘员接口子系统148。如上所述,车辆105还可以包括控制系统150、计算子系统170、以及图像定位装置400。车辆105或多或少地包括一些子系统,每个子系统可以包括多个单元。进一步地,车辆105的每个子系统和单元之间可以是互联的。从而,车辆105的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件,或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中,附加的功能性部件或者实体部件可以增加到如图4所示的示例中。

车辆驱动子系统142可以包括为车辆105提供动能的多个可操作部件。在一个示例性实施例中,车辆驱动子系统142可以包括一个发动机或电动机、多个轮子/轮胎、一个变速器、一个电子子系统、以及一个动力源。发动机或者电动机可以是如下装置的任意组合:一个内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些示例性实施例中,发动机可以将一种动力源转换为机械能。在一些示例性实施例中,车辆驱动子系统142可以包括多种发动机或电动机。例如,一个油电混合轿车可以包括一个汽油发动机和一个电动机,也可以包括其它的情况。

车辆105的多个轮子可以是标准车轮。车辆105的多个轮子可以是多种形式的轮子,包括一个独轮、双轮、三轮、或者一个四轮形式,例如轿车或卡车上的四轮。其它数量的轮子也是可以的,例如六轮或者更多的轮子。车辆105的任何组合的轮子可被操作为与其他轮子的旋转方向不同。轮子可以是至少一个与变速器固定连接的轮子,以及至少一个轮胎与轮子的边缘相匹配使得轮子与驾驶表面相接触。这些轮子可以包括金属与橡胶的结合,或者是其他物质的结合。变速器可以包括可被操作以将发动机的机械动力传送到轮子的单元。出于这个目的,变速器可以包括一个齿轮箱、一个离合器、一个差动齿轮,和多个传动轴。变速器也可以包括其它单元。传动轴可以包括与轮子相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆105的电子信号的单元。这些电子信号可用于启动车辆105中的多个灯、多个伺服机构、多个电动机,以及其它电子驱动或者控制的装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即,发动机或电动机能够将动力源转换为机械能。示例性地,动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆105的其它子系统提供能量。

车辆传感器子系统144可以包括多个传感器,这些传感器用于感应车辆105的环境和条件的信息。例如,车辆感应器子系统144可以包括一个惯性测量单元(imu)、一个全球定位系统(gps)收发器、一个雷达单元、一个激光测距仪/lidar单元(或其它距离测量装置)、以及一个或多个摄像头或图像捕捉装置。车辆传感器子系统144可以包括用于监视车辆105内部系统的多个感应器(例如,一个氧气(o2)监视器、一个油量表传感器、一个发动机油压传感器,等等)。还可以配置其它传感器。被包括在车辆传感器子系统144中的一个或多个传感器可以被单独驱动或者被集体驱动,以更新一个或多个传感器的位置、方向,或者这二者。

imu可以包括任何传感器的结合(例如加速器和陀螺仪),用于基于惯性加速来感应车辆105的位置变化和方向变化。gps收发器可以是任何用于估计车辆105的地理位置的传感器。出于该目的,gps收发器可以包括一个接收器/发送器以提供车辆105相对于地球的位置信息。雷达单元可以是使用无线电信号来感应车辆105所在环境中的对象的系统。在一些实施例中,除感应对象之外,雷达单元还可以用于感应接近车辆105的物体的速度和前进方向。激光测距仪或lidar单元(或者其它距离测量装置)可以是任何使用激光来感应车辆105所在环境中的物体的传感器。在一个示例性实施例中,激光测距仪/lidar单元可以包括位于其它系统部件中的一个或多个激光源、一个激光扫描仪、以及一个或多个探测器。激光测距仪/lidar单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。摄像头可以包括一个或多个用于捕捉车辆105所在环境的多个图像的装置。摄像头可以是静态图像摄像头或者动态视频摄像头。

车辆控制系统146用于控制对车辆105及其构件的操作。相应地,车辆控制系统146可以包括各种单元,例如一个转向单元、一个油门、一个刹车单元、一个导航单元和一个自动控制系统。

转向单元可以是任何调整车辆105前进方向的机械的组合。油门,例如可以被用于控制发动机的运转速度,进而控制车辆105的速度。刹车单元可以包括用于对车辆105进行减速的机械的组合。刹车单元可以以标准方式利用摩擦力来使轮胎减速。在其他实施例中,刹车单元可以将轮子的动能转化为电流。刹车单元也可以采用其它形式。导航单元可以是任何为车辆105确定驾驶路径或路线的系统。导航单元还可以在车辆105行进的过程中动态的更新驾驶路径。在一些实施例中,导航单元用于将来自图像定位装置400的数据、来自gps收发器的数据、以及一个或多个预定地图的数据结合起来,从而确定车辆105的驾驶路径。自动控制单元可以是一个用于识别、评估、以及避免或越过车辆105所在环境中的潜在障碍的系统。通常,自动控制单元可以用于在没有驾驶者的情况下控制车辆105,或者为驾驶者控制车辆提供辅助。在一些实施例中,自动控制单元用于将来自图像定位装置400的数据、gps收发器的数据、雷达数据、lidar数据、摄像头数据、以及来自其它车辆子系统的数据结合起来,来确定车辆105的驾驶路径或路线。车辆控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件。

乘员接口子系统148可以用于允许车辆105与外部传感器、其它车辆、其它计算系统和/或车辆105的一个乘员或者使用者之间的互动。例如,乘员接口子系统148可以包括标准视觉显示装置(例如,等离子显示器、液晶显示器(lcds),触屏显示器、头戴显示器,或其它类似的显示器),扬声器或其它音频输出装置,麦克风或者其它音频输入装置,导航接口、以及控制车辆105的内部环境(例如温度、风扇,等等)的接口。

在一个示例性实施例中,乘员接口子系统148可以提供为车辆105的使用者或乘员与其它车辆子系统进行互动的方式。视觉显示装置可以为车辆105的使用者提供信息。用户接口装置也可以通过触屏从使用者或者驾驶者那里接收输入。触屏可以通过电容感应、电阻感应或者表面声波处理,或者通过其它方式,来至少感应使用者手指的位置和手指移动中的一种。触屏可以感应到平行于触屏表面的手指运动或面状的手指运动,垂直于触屏表面的手指运动,或者以上皆有,也可以用于感应施加到触屏表面的压力水平。触屏可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明的导电层构成。触屏也可以具有其它形式。

在其他一些例子中,乘员接口子系统148可以为车辆105提供与其所在环境中的其它车辆进行通信的方式。麦克风可以用于从车辆105的使用者那里接收音频(例如,一个声音命令或者其它音频输入)。类似地,扬声器可以用于输出音频给车辆的使用者。在一个示例性的实施例中,乘员接口子系统148可以直接或者通过通信网络与一个或多个设备进行无线通信。例如,一个无线通信系统可以使用3g蜂窝通信,例如cdma、evdo、gsm/gprs、或者4g蜂窝通信,例如wimax或lte。可选地,无线通信系统可以与一个无线本地局域网(wlan)进行通信,例如,使用在一些实施例中,无线通信系统146可以直接与一个设备进行通信,例如,使用红外线路,蓝牙或者zigbee。其它无线协议,例如各种车载通信系统,也在本申请公开的范围之内。例如,无线通信系统可以包括一个或多个专用短程通信(dsrc)装置,这些装置会与车辆和/或路边站进行公开或私密的数据通信。

计算系统170能控制车辆105的部分或者全部功能。计算系统170可以包括至少一个数据处理器171(可以包括至少一个微处理器),数据处理器171执行存储在非易失性计算机可读介质中存储的处理指令,例如数据存储装置172。计算系统170也可以是多个计算装置,这些计算装置分布式地控制车辆105的个别部件或者个别子系统。在一些实施例中,数据存储装置172中可以包含被数据处理器171执行来实现车辆105的各种功能的处理指令(例如,程序逻辑),这些功能包括本申请所描述的附图中的功能。数据存储装置172还可以包括其它指令,包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制一个或多个车辆驱动子系统140、车辆感应器子系统144、车辆控制子系统146和乘员接口子系统148的指令。

除存储处理指令之外,数据存储设备172可以存储多种信息,包括存储数据,例如图像处理参数、训练数据、道路地图、和路径信息。在车辆105以自动方式、半自动方式和/或手动模式运行的期间,这些信息可以被车辆105和计算系统170所使用。

车辆105可以包括一个用户界面,该用户界面用于为车辆105的使用者或乘员提供信息,或者接收来自车辆105的使用者或者乘员的输入。用户界面可以控制或者使能控制交互式图像的内容和图层,该交互式图像可以显示在一个显示设备上。进一步地,用户界面可以包括一组乘员接口子系统148中的一个或多个输入/输出设备,例如显示设备、扬声器、麦克风、或者一个无线通信系统。

计算系统170可以根据从各种车辆子系统(例如,车辆驱动子系统142,车辆传感器子系统144,以及车辆控制子系统146)接收到的输入,或者从乘员接口子系统148接收到的输入,来控制车辆105的功能。例如,计算系统170可以使用来自车辆控制系统146的输入来控制转向单元,来避开由车辆传感器子系统144以及图像定位装置400检测到的障碍物。在一个示例性实施例中,计算系统170可以用来控制车辆105及其子系统的多个方面。

虽然图4中显示了集成到车辆105中的各种构件,例如车辆子系统140、计算系统170、数据存储设备172、控制系统150、以及图像定位装置400,这些部件中的一个或多个部件可以搭载到车辆105上或单独关联到车辆105上。例如,数据存储装置172可以部分或者全部地独立于车辆105存在。从而,车辆105能够以分离的或者集成的设备单元的形式而存在。构成车辆105的设备单元可以以有线通信或者无线通信的方式实现通信聚合。在多个示例性实施例中,进行数据通信的控制系统150和图像定位装置400可以被实施为一个集成的部件或者是分离的部件。在一个示例性实施例中,通过与移动装置132进行数据通信和/或通过网络120连接到网络资源122进行数据通信,控制系统150和/或图像定位装置400的软件部件能得到动态的更新、修改和/或扩展。控制系统150能够周期性地询问一个移动设备132或者一个网络资源122以进行更新,或者该更新能够推送给控制系统150。

在上述示例性实施例中,图像定位装置400可以包括一个与控制系统150进行通信的接口,如图4所示,如本申请所述的图像定位装置400通过该接口可以发送和接收数据。此外,图像定位装置400可以包括一个与控制系统150和/或系统1001的其它子系统进行通信的接口,通过该接口图像定位装置400可以从如上所述的各种数据源接收辅助数据。基于多个因素该辅助数据可以被用来扩展、修改或者训练图像定位装置400的操作,这多个因素包括使用者操作车辆的环境(例如,车辆的位置、具体目的地、行车方向、速度、时刻、车辆状态,等等),以及如本文所述的可以从本地和远程的多个资源获取到的其它多种数据。如上所述,图像定位装置400可以实施在系统和平台上,该系统和平台没有配置在车辆中、不是必须在车辆中使用的或者也不是必须与车辆一起使用的。

图5中示出了本申请多个实施例中提供的一种图像定位装置的结构框图,该图像定位装置可以是上述方法部分所述的图像定位装置,应用在自动驾驶车辆中,该图像定位装置包括:

接收模块501,用于接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;

图像处理模块502,用于对所述至少一帧实时图像数据进行语义分割,识别出所述驾驶环境中的物体,得到至少一帧语义标签图像数据;

定位模块503,用于查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比;根据对比结果和所述地图数据,确定所述车辆的位置。

在多个实施例中,接收模块501还用于:接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据;所述图像处理模块502,还用于:根据所述实时位置数据和所述至少一帧语义标签图像数据,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据,得到至少一帧结果语义标签图像数据;则,所述定位模块503查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,包括:查找并获取与所述至少一帧结果语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据;所述定位模块503将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比,包括:将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。

在多个实施例中,图像处理模块502删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据,包括:根据所述实时位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。

在多个实施例中,接收模块501还用于:接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签数据和所述地图数据;所述装置还包括存储模块(未在图中示出),用于保存所述至少一帧基线语义标签数据和所述地图数据。

在多个实施例中,定位模块503还用于:确定预定时间内所述车辆的多个位置;根据所识别出来的多个位置之间的差别,确定所述车辆的速度。

在多个实施例中,定位模块503还用于:根据所识别出来的所述车辆的多个位置,确定所述车辆的行驶路径。

基于相同的发明构思,本申请的多个实施例中还提供了一种图像定位装置,该图像定位装置对应于上述的图像定位装置,应用在自动驾驶车辆中,如图6所示,该装置包括:一个处理器601和至少一个存储器602,所述至少一个存储器中存储有至少一条机器可执行指令,所述处理器601执行所述至少一条指令,以实现:

接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据;对所述至少一帧实时图像数据进行语义分割,识别出所述驾驶环境中的物体,得到至少一帧语义标签图像数据;查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据;将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比;根据对比结果和所述地图数据,确定所述车辆的位置。

在多个实施例中,所述处理器601执行所述至少一条指令还实现:接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据;根据所述实时位置数据和所述至少一帧语义标签图像数据,删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据,得到至少一帧结果语义标签图像数据;则,所述处理器601执行所述至少一条指令实现查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据,包括:查找并获取与所述至少一帧结果语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据;所述处理器601执行所述至少一条指令实现将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比,包括:将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。

在多个实施例中,所述处理器601执行所述至少一条指令实现删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据,包括:根据所述实时位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。

在多个实施例中,所述处理器601执行所述至少一条指令还实现:接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签数据和所述地图数据;所述至少一个存储器还用于保存所述至少一帧基线语义标签数据和所述地图数据。

在多个实施例中,所述处理器601执行所述至少一条指令还实现:确定预定时间内所述车辆的多个位置;根据所识别出来的多个位置之间的差别,确定所述车辆的速度。

在多个实施例中,所述处理器601执行所述至少一条指令还实现:根据所识别出来的所述车辆的多个位置,确定所述车辆的行驶路径。

根据相同的发明构思,本申请多个实施例还提供了一种地图构建装置,该装置应用在测试车辆中,如图7所示,该装置包括:

接收单元,用于接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据;接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据;

图像处理单元702,用于对所述至少一帧测试图像数据进行语义分割,识别出所述驾驶环境中的物体,得到所述至少一帧基线语义标签图像数据;根据所述测试位置数据,删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据;

其中,图像处理单元702删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应数据,包括:根据所述测试位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据;

地图构建单元703,用于根据所述至少一帧基线语义标签图像数据和所述测试位置数据,建立所述驾驶环境的地图;建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。

根据相同的发明构思,本申请多个实施例还提供了一种地图构建装置,该装置应用在测试车辆中,如图8所示,该装置包括:一个处理器801和至少一个存储器802,所述至少一个存储器802中存储有至少一条机器可执行指令,所述处理器801执行所述至少一条指令,以实现:

接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据;接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据;对所述至少一帧测试图像数据进行语义分割,识别出所述驾驶环境中的物体,得到所述至少一帧基线语义标签图像数据;根据所述测试位置数据,删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据;根据所述至少一帧基线语义标签图像数据和所述测试位置数据,建立所述驾驶环境的地图;建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。

在多个实施例中,处理器801执行至少一条指令实现删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据,包括:根据所述测试位置数据,确定预定时间内所识别出来的物体的多个位置;根据所识别出来的物体的多个位置之间的差别,确定所述物体的速度和速度矢量;确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体;删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1