本申请是2017年5月26日提交的第15/607,061号美国专利申请的部分延续案；2017年5月26日提交的第15/607,067号美国专利申请的部分延续案；2017年5月26日提交的第15/607,070号美国专利申请的部分延续案；以及2017年5月26日提交的第15/606,796号美国专利申请的部分延续案；所有以上所述美国专利申请均以全文引用的方式并入本文。
一般地，本发明涉及用于机动车辆的感知系统；更具体地，涉及一种用于感知超出用于机动车辆的外部传感器的作用范围的广域的方法和系统。
背景技术
本部分中的陈述仅仅提供与本公开相关的背景信息，并且可构成或不构成现有技术。
高级驾驶员辅助系统(adas)用于机动车辆中以增强或选择性机动车辆系统或使其自动化，以便提高乘员安全性和操作者的驾驶性能。adas包括车辆控制器，其与车辆感知系统、车辆状态传感器和选择性机动车辆系统(诸如乘员安全系统和车辆控制系统)通信。车辆控制器分析感知系统和车辆状态传感器所采集的信息以向车辆控制系统提供指令，以便在车辆沿道路行驶时协助车辆避开且/或绕过障碍物。
车辆感知系统利用外部传感器来收集关于在机动车辆周围的区域的信息。外部传感器是机动车辆的眼睛和耳朵，使得感知系统能够感知在机动车辆周围的区域。典型外部传感器的实例包括激光器、雷达、声纳、超声、雷达以及光检测和测距(lidar)传感器。感知系统的有效性受外部传感器的有效范围限制。
因此，尽管当前感知系统实现了其预期目的，但仍需要一种用于感知超出外部传感器的有效范围的较广地理区域的新型且改进的方法和感知系统。
技术实现要素：
根据若干方面，公开一种生成广域感知场景图的方法。该方法包括以下步骤：识别关注地理区域；由位于该地理区域内的主单元上的主感知系统生成包括主单元周围的区域的虚拟表示的主感知场景图(主psg)；由位于该地理区域内的远程单元上的远程感知系统生成包括远程单元周围的区域的虚拟表示的远程感知场景图(远程psg)；将远程psg传送到主单元上的主感知系统；以及主感知系统融合主psg与远程psg，从而生成广域感知场景图(广域psg)。广域psg包括超出主单元周围的区域的所述地理区域的一部分的虚拟表示。
在本公开的额外方面，主单元和远程单元中的一者是在所述地理区域内漫游的车辆，而主单元和远程单元中的另一者是静止基础设施单元。
在本公开的另一个方面，通过利用车辆到一切(v2x)通信来进行将远程psg传送到主单元上的主感知系统的步骤。
在本公开的另一个方面，该方法进一步包括以下步骤：由位于所述地理区域内的各个位置的多个远程单元生成多个远程psg；将多个远程psg传送到主单元；以及主感知系统融合主psg与多个远程psg以生成广域psg，该广域psg包括所述地理区域的比主psg或远程psg中的任何单独一者要大的部分的虚拟表示。多个远程psg中的每一者包括相应远程单元周围的区域的虚拟表示。
在本公开的另一个方面，主单元是机动车辆，并且远程单元包括多个机动车辆和路边单元。
在本公开的另一个方面，主单元是被配置为在视觉上显示广域psg的便携式通信装置。
在本公开的另一个方面，便携式通信装置是头盔中的视觉显示器。
在本公开的另一个方面，该方法进一步包括以下步骤：使用无线通信将广域psg扩展到被配置为在视觉上显示广域psg的便携式通信装置。
在本公开的另一个方面，多个远程psg包括重叠区域。该方法进一步包括以下步骤：在地理区域内界定聚焦区；识别聚焦区内的重叠区域；以及融合重叠区域以在聚焦区内的重叠区域中获得较大的保真度和置信度水平。
在本公开的另一个方面，广域psg包括主psg或远程psg所提供的信息不足区域。该方法进一步包括融合地理区域的预载地图以补充具有信息不足区域的广域psg的区域的步骤。
根据若干方面，本发明公开了一种由机动车辆生成并使用广域感知场景图的方法。该方法包括以下步骤：通过具有有效传感器范围的至少一个外部传感器收集关于主机动车辆周围的区域的传感器信息；感知控制器处理所述传感器信息以生成包括主机动车辆周围的区域的虚拟模型的主感知场景图(主psg)；接收从主车辆近侧的至少一个远程单元发射的远程感知场景图(远程psg)；以及感知控制器融合主psg与远程psg，从而生成包括延伸超出主车辆的有效传感器范围的区域的虚拟模型的广域感知场景图(广域psg)。远程psg包括所述至少一个远程单元周围的区域的虚拟模型。
在本公开的额外方面，该方法进一步包括将广域psg发射到所述至少一个远程单元的步骤。
在本公开的另一个方面，该方法进一步包括将指令发射到所述至少一个远程单元的步骤。指令包括自主驾驶指令。
在本公开的另一个方面，通过利用车辆到一切(v2x)通信来执行接收远程psg和发射广域psg的步骤。
在本公开的另一个方面，进一步包括通过利用短程无线通信将广域psg扩展到便携式电子装置的步骤。
在本公开的另一个方面，便携式电子装置包括用于机动车辆操作者的显示护目镜。
根据若干方面，本发明公开了一种用于生成广域感知场景图(psg)的感知系统。该感知系统包括：人机接口(hmi)，其被配置为接收输入，其中输入包括地理区域的位置；接收器，其被配置为接收位于所述地理区域内的远程单元所生成的远程感知场景图(远程psg)，其中远程psg包括远程单元周围的区域的虚拟表示；主外部传感器，其被配置为收集关于位于所述地理区域内的主单元周围的区域的传感器信息；处理器，其被配置为处理所收集的传感器信息以(i)生成包括主单元周围的区域的虚拟表示的主感知场景图(主psg)并且(ii)融合远程psg与主psg以生成包括所述地理区域的一部分的广域感知场景图(广域psg)。
在本公开的额外方面，感知系统进一步包括用于将广域psg扩展到便携式电子装置的短程无线通信装置。
在本公开的额外方面，便携式电子装置是智能电话。
在本公开的另一个方面，感知系统进一步包括用于接收远程psg的车辆到一切(v2x)通信装置。
用于生成广域psg的方法和系统使得主机动车辆或主基础设施单元(各自可被称为主单元)能够感知超出主单元的外部传感器范围的较广地理区域。所公开的方法和系统使得主单元能够通过v2x通信将广域psg传送到远程车辆或远程基础设施(各自可被称为远程单元)，以使得远程单元能够感知超出远程单元的外部传感器范围的较广地理区域。可通过v2x通信在主单元与远程车辆之间传送指令，诸如用于将车辆导航通过如广域psg所表示的关注地理区域的车辆命令。
根据本文所提供的描述，其它好处和进一步的适用领域将变得明显。应当理解，所述描述和特定实例仅用于说明目的，而非旨在限制本公开的范围。
附图说明
本文所述的附图仅用于说明目的，而非旨在以任何方式限制本公开的范围。
图1是根据示例性实施方案的用于在机动车辆中生成并使用感知场景图(psg)的过程的功能图；
图2是根据示例性实施方案的感知系统和车辆状态决策逻辑(sdl)控制器的功能图；
图3是根据示例性实施方案的具有图2的感知系统和车辆sdl控制器的车辆；
图4是根据示例性实施方案的在关注地理区域内行驶的主车辆的图示；
图5是扩展到各种装置上的图4的广域感知场景图的图示；以及
图6示出了生成广域感知场景图的方法。
具体实施方式
以下描述在本质上仅仅是示例性的，并非旨在限制本公开、应用或使用。
感知场景图(psg)是包含表示机动车辆周围的空间体积和/或区域(包括在该空间体积和/或区域内的任何对象)的虚拟三维(3-d)模型的处理信息的数据结构。psg可被视为机动车辆周围的真实世界的基于视觉的图形结构。在psg中，从背景场景分离、表征并且相对于机动车辆定位对象。可跟踪并记录对象的移动。还可基于移动中的历史位置和趋势来预测对象的移动。
图1示出了用于生成感知场景图(psg)112的感知过程110以及具有状态决策逻辑(sdl)114的机动车辆使用psg112的功能图100。感知过程110发布psg112，并且车辆sdl114订阅psg112并从其提取处理信息。车辆sdl114使用所提取的信息作为用于执行多种车辆软件应用程序的输入。
感知过程110从框116开始，其中机动车辆的外部传感器采集关于机动车辆周围的空间体积(包括周围区域)的信息。周围区域包括与机动车辆相邻的区域、与机动车辆间隔开的区域以及位于车辆周围360度的区域。换句话说，周围区域包括车辆周围的位于传感器的有效范围和覆盖领域内的所有区域。
在框118中预处理所采集的原始外部传感器信息，并且在框120中从背景场景分离并检测对象。还确定每个对象相对于机动车辆的距离和方向。所采集的关于空间体积(包括在机动车辆周围的区域)的信息受外部传感器的视听范围限制。
在框122中，经由车辆到一切(v2x)通信将包含外部传感器的视听范围之内和/或之外的额外对象的信息的传入通信传送到机动车辆以补充在框120中所检测到的对象。v2x通信是从车辆向任何通信装置传递信息并且反之亦然，包括但不限于车辆到车辆(v2v)、车辆到基础设施(v2i)、车辆到行人(v2p)、车辆到装置(v2d)和车辆到电网(v2g)通信。在框124中，融合来自框116的由外部传感器采集的信息和来自框122的传送到机动车辆的信息，以增大所检测到的对象连同所述对象相对于机动车辆的距离和方向的置信度因数。来自框122的传送到机动车辆的信息可以是由类似配备的远程车辆或基础设施单元生成的远程感知场景图的形式。
在框126和128中，一旦各种信息被融合，便将所检测到的对象与数据库中的参考对象进行比较以识别对象的分类。分类类型包括但不限于车道标线、交通标志、基础设施、车辆、行人、动物和可在典型道路中发现的任何其它有生命或无生命对象等类型。一旦对所述对象进行了分类，便基于对象的移动中的历史位置和趋势来跟踪并预测对象的移动。
在框130，感知过程110部分地由场景检测架构(sds)控制。sds描述在特定时间点要搜索的框120中的对象和框126中的分类。在框142中，感知优先级管理器负责控制并管理在框118的感知预处理中执行哪些任务。例如，当车辆向后移动到停车位中，感知优先级管理器可在向指向车辆后面的传感器分配更大的处理能力。
生成psg112，其包含关于一组定位的对象、每个对象的种类以及每个对象与机动车辆之间的关系的信息。通过在框116中由外部传感器采集的信息和在框122中通过v2x通信接收的通信连续地更新psg112以反映机动车辆周围的相邻和非相邻空间体积和区域的实时变化。可将psg112的历史事件记录在感知控制器的存储器中以在稍后时间检索。
在框114中，车辆sdl(其可为机动车辆adas的一部分)订阅psg112以提取关于机动车辆的外部周围空间体积和区域的信息。车辆sdl114可处理psg112中包含的信息以在框132所示的人机界面(hmi)(诸如机动车辆的仪表板上的显示监视器或车辆的操作者佩戴的显示护目镜)上呈现并显示表示机动车辆周围的真实世界环境的虚拟三维景观。
车辆sdl114还可对从psg112提取的信息进行分析以管理框138中的车辆控制系统管理器的当前状态，并且控制该控制系统管理器转变到新状态。车辆sdl114接收来自框134的车辆状态传感器的信息以确定机动车辆的状态，诸如位置、速度、加速度、偏航、俯仰等。利用来自psg112的信息和来自框134的车辆状态传感器信息，车辆sdl114可执行框136中的软件应用程序中包含的例程，以向机动车辆控制系统管理器138发送指令来操作车辆控件140。
在车辆sdl114执行软件应用程序136中包含的例程时，软件应用程序136可能需要更高的保真度或与关注区域或聚焦区域144相关的信息。这将类似于车辆驾驶员在执行变道之前所采取的转头以查看是否存在车辆的动作。聚焦区域144界定在特定时间跨度期间对框136的软件应用程序重要的区域或空间体积。所需要的聚焦区域144被传送到框142中的感知优先级管理器，该优先级管理器又向指向所需要的聚焦区域144的传感器分配更大的处理能力。
图2示出了具有感知控制器202的感知系统200的功能图，该感知控制器202被配置为从车辆定位器204、多个外部传感器206和v2x接收器208接收信息。图2还示出了sdl控制器212的功能图，sdl控制器212被配置为从多个车辆状态传感器214接收车辆状态信息。sdl控制器212被配置为与车辆驾驶系统216、车辆安全系统218、车辆hmi220和车辆v2x发射器222通信。
感知控制器202包括感知处理器224和感知存储器226。感知处理器224处理从车辆定位器204、外部传感器206和v2x接收器采集的信息，并且执行感知存储器226中所存储的psg例程228，以在机动车辆静止或沿道路行驶时实时生成psg112。在感知存储器226中发布psg112的实时副本，以供需要关于车辆的周围的信息的各种系统使用。感知存储器226还包括参考数据库232，该参考数据库232包含用于与检测到的对象进行比较以对所检测到的对象进行分类的参考对象。参考数据库232包括参考对象中的每一者的几何形状和分类。感知存储器226还可包括预载地图以补充外部传感器206所采集的信息。
外部传感器206是能够检测机动车辆周围的物理对象和场景的传感器。外部传感器206包括但不限于雷达、激光器、扫描激光器、摄像头、声纳、超声波装置、lidar等。外部传感器206可安装在车辆的外部(诸如安装在车辆顶部的旋转式激光扫描仪)或安装在车辆内部(诸如安装在挡风玻璃后面的前置摄像头)。这些外部传感器206中的某些传感器被配置为测量所检测到的对象相对于机动车辆的位置和取向的距离和方向。感知控制器202对这些外部传感器206所获取的原始信息进行处理以确定所检测到的对象的分类、大小、密度和/或颜色。外部传感器206被配置为在收集所述信息时连续地更新其对感知控制器202的输出，以反映机动车辆周围的空间体积和区域中的实时变化。
车辆sdl控制器212包括sdl处理器234和sdl存储器236。sdl控制器212接收来自车辆状态传感器214的信息并且与诸如驾驶系统216、安全系统218、hmi220和v2x发射器222等各种车辆系统和部件通信。sdl处理器230对车辆状态传感器214所采集的信息进行处理并且订阅psg112以执行sdl存储器236中存储的软件应用程序，以向车辆系统216、218、220、222中的一者或多者发出指令。例程包括各种车辆软件应用程序238，还称为车辆app238，包括用于车辆驾驶和安全系统216、218的操作的例程。例如，车辆sdl控制器212可与控制车辆的减速、加速、转向、信号发送、导航和定位的车辆驾驶系统216通信。sdl存储器236还可包括软件应用程序，以呈现psg112中存储的信息以在hmi装置220(诸如在车辆的仪表板上的显示监视器)上显示。
sdl存储器236还可包括在特定时间跨度期间对软件应用程序238重要的区域或空间体积(还称为聚焦区域144)中需要较大保真度信息的软件应用程序238。sdl控制器212将所需要的聚焦区域144传送到感知控制器202。感知控制器202分配更大的处理能力来处理指向所需聚焦区域144的外部传感器206所收集的信息。
感知处理器224和sdl处理器230可为任何常规处理器，诸如市售cpu、专用asic或其它基于硬件的处理器。感知存储器226和sdl存储器236可为任何计算装置可读介质，诸如硬盘驱动器、固态存储器、rom、ram、dvd或能够存储感知处理器能够访问的信息的任何其它介质。虽然仅示出一个感知控制器202和一个sdl控制器212，但应当理解，车辆可包含多个感知控制器202和多个sdl控制器212。
感知控制器202和sdl控制器212中的每一者可包括一个以上处理器和存储器，并且该多个处理器和存储器不必容纳在相应控制器202、212内。因此，对感知控制器202、感知处理器和感知存储器226的提及包括对可并行地进行操作或不并行地进行操作的此类感知控制器202、感知处理器和感知存储器的集合的提及。类似地，对sdl控制器212、sdl处理器230和sdl存储器236的提及包括对可并行地进行操作或不并行地进行操作的sdl控制器212、sdl处理器230和sdl存储器236的集合的提及。
psg112中包含的信息被归一化到机动车辆，以将出车辆定位器204、外部传感器206和v2x接收器208抽象出来作为信息的来源。换句话说，将sdl控制器212与感知控制器202从车辆定位器204、外部传感器206和v2x接收器208接收的原始信息分离。针对机动车辆的外部环境，sdl控制器212提取psg112中存储的处理信息作为输入，以执行用于机动车辆的操作的软件应用程序238。sdl控制器212不看机动车辆的真实世界周围，而是只看感知控制器202所生成的真实世界周围的虚拟3d模型。这点的主要好处是，可以替换外部传感器206和外部传感器206的类型，而不需要更换sdl处理器230且/或升级sdl存储器236中包含的软件应用程序以适应不同外部传感器类型。psg112的实时副本可由感知控制器202发布，并且复制到sdl控制器212以及整个机动车辆的各种其它系统控制器和/或计算装置。这确保了如果感知控制器202和/或sdl控制器212中的一者或多者出故障，则各种其它系统控制器和/或计算装置将能够临时以“跛行回家”模式进行操作来将机动车辆导航到安全地区或区域中。
图3示出配备有图2的感知系统200和sdl控制器212的示例性陆用机动车辆300。出于说明性目的，示出了乘用型机动车辆；然而，机动车辆可为卡车、运动型多用途车、厢式货车、房车或任何其它类型的陆用车辆。应当理解，在不脱离本公开的范围的情况下，机动车辆还可为水用交通工具(诸如摩托艇)或空用交通工具(诸如飞机)。
机动车辆300包括多个摄像头302，其被配置为捕获机动车辆300周围的区域的图像。示例性机动车辆300包括前置摄像头302a、右侧摄像头302b、左侧摄像头302c和后置摄像头302d。前述摄像头302a至302d中的每一者被配置为捕获相应摄像头的视野或视觉覆盖区域中的可见光谱和/或光谱的不可见(例如，红外)部分中的视觉信息。
机动车辆300还包括围绕机动车辆的周边分布的多个测距传感器304，所述测距传感器被配置为检测围绕机动车辆的周围区域和空间体积中的对象，包括但不限于行人、交通标线、障碍物和地貌。周围区域包括车辆周围的位于传感器的有效范围和覆盖领域内的的所有区域，包括与机动车辆相邻的区域、与机动车辆间隔开的区域和位于机动车辆周围360度的区域。
图3示出安装在机动车辆300的周边的测距传感器304a至304f。测距传感器304a至304f中的每一者可包括能够检测对象与机动车辆之间的距离和方向的任何测距技术，包括雷达、lidar、声纳等。机动车辆300还可包括安装在车辆顶部的扫描激光器306，其被配置为扫描围绕车辆的空间体积以检测对象对于该空间体积的存在、方向和距离。
不同类型的外部传感器302、304、306中的每一者具有其自己的独特感测特性和有效范围。传感器302、304、306被放置在车辆上的选定位置处并且合作以收集关于在机动车辆周围的区域的信息。关于在机动车辆周围的区域的传感器信息可通过由能够扫描围绕机动车辆的空间体积的单个传感器(诸如扫描激光器)获得，或通过多个传感器的组合获得。来自传感器302、304、306的原始数据被传送到预处理器或直接传送到感知控制器202以进行处理。感知控制器202与车辆sdl控制器212通信，车辆sdl控制器212与各种车辆控制系统通信。
机动车辆300包括v2x接收器208和v2x发射器222或v2x收发器310。v2x收发器310可包括电路，该电路被配置为使用wi-fi和/或专用短程通信(dsrc)协议来与配备有v2v通信的其它车辆和配备有v2x通信的路边单元通信，以接收诸如车道封闭、与施工相关的车道变化、路面杂物和熄火车辆等信息。v2x接收器208和发射器222使得机动车辆300能够订阅其它类似配备车辆和/或路边单元生成的其它psg。v2x收发器310还使得机动车辆300能够将感知控制器202生成的psg112传送到其它类似v2x配备的车辆或基础设施单元。在v2x发射器310的范围内的类似配备的车辆或基础设施单元可订阅所发布的psg112。
机动车辆包括车辆定位器204(诸如gps接收器)，其被配置为从gps卫星接收多个gps信号以确定机动车辆的经度和纬度以及机动车辆的速度和机动车辆的行驶方向。机动车辆的位置、速度和行驶方向可与psg112融合以在psg112内虚拟地定位机动车辆。
图4示出在示例性关注地理区域402内行驶的示例性主车辆400的图示。主机动车辆400配备有图2的感知系统200，其包括图3的外部传感器302、304、306以及v2x接收器/发射器208、222。地理区域402包括延伸超出主车辆400的外部传感器302、304、306的有效范围的边界403。边界403的范围可基于主车辆操作者对地理区域的关注来确定。所述关注可包括自主地导航通过地理区域402、实况交通更新、事故通知和/或地理区域402的实时映射。
地理区域402包括第一道路404、大致垂直于第一道路404的第二道路406以及在第一道路404与第二道路406的接合点处的十字路口408。十字路口408包括引导第一道路404与第二道路406之间的车辆交通的交通灯410。人造基础设施(诸如建筑物412)和自然结构(诸如树木414)定位在沿第一道路404和第二道路406的各个位置处。
主车辆400被示出为在第一道路404内朝向十字路口408行驶。在地理区域402中还示出了多个远程单元，包括远程路边单元416和远程车辆418。第一远程路边单元416a被示出为定位在邻近第一道路404处，并且第二远程路边单元416b被示出为定位在邻近第二道路406处。第一远程车辆418a被示出为在相邻车道中在与主车辆400相同的方向上行驶。第二远程车辆418b被示出为在第二道路406中朝向十字路口408行驶。交通灯410、路边单元416和远程车辆418各自配备有与主车辆400相似的感知系统、外部传感器和v2x通信能力。
主车辆400的感知系统200生成在主车辆400周围的区域的主感知场景图(主psg)419。第一远程路边单元416a的感知系统生成第一远程路边单元416a周围的区域(包括第一道路404的邻近十字路口408的一部分)的第一远程感知场景图(第一远程psg)420a。第二路边单元416b的感知系统生成第二路边单元416b周围的区域(包括第二道路406的邻近十字路口408的一部分)的第二感知场景图(第二远程psg)420b。交通灯410的感知系统生成交通灯410周围的区域(包括十字路口408)的第三感知场景图(第三远程psg)420c。第一远程车辆418a的感知系统生成第一远程车辆418a周围的区域的第四感知场景图(第四psg)420d。第二远程车辆418b的感知系统生成第二远程车辆418b周围的区域的第五感知场景图(第五远程psg)420e。
利用v2x通信将第一、第二、第三、第四和第五远程psg(统称为“远程psg420”)传送到主车辆400的感知系统200。主车辆400的感知系统200接着融合远程psg420与主psg419以生成广域感知场景图(广域psg)422。广域psg422包括远程psg420中包含的信息，从而使主车辆400的感知延伸超出主车辆400的外部传感器302、304、306的有效范围。
尽管广域psg422表示地理区域402的超出主车辆400的外部传感器的传感器范围的更大区域，但其可能不包括整个地理区域402。这可能是由于该地理区域内没有足够的远程单元416、418来生成充足的远程psg420来表示整个关注地理区域402。为了补充远程单元416、418所采集的信息，感知系统200可融合补充信息(诸如地理区域402的预载地图或从先前所生成的感知场景图提取的信息)与远程psg420来生成表示整个关注地理区域402的广域psg422。期望从先前生成的感知场景图仅提取非高度时间相依的信息。非高度时间相依信息包括持久结构，诸如建筑物、树木和道路。
广域psg422可含有关于一组定位的对象、每个对象的种类以及每个对象与主机动车辆400之间的关系的信息。广域psg422被连续地更新，并且可记录广域psg422的历史事件。主psg419与远程psg420之间或在邻近远程psg420之间可存在重叠区域(通常称为“重叠区域424”)。使用附图标记424a、424b、424c来指示重叠区域的实例。重叠区域424可由于邻近感知场景图的重叠而含有高保真度信息。如果主车辆400需要重叠区域424中的高保真度信息，诸如当主车辆400指定在重叠区域(诸如重叠区域424b)内的聚焦区时，则可针对该特定重叠区域从广域psg422提取较高保真度信息。应当理解，聚焦区域不必邻近于主车辆400。
作为实例，主车辆400被示出为具有邻近于主车辆400的左后部(left-rearquarter)界定的示例性聚焦区域424b。在这个实例中，主车辆400的sdl控制器中的软件例程将向聚焦区域424b请求详细信息以检测在车辆盲点中的对象。这将类似于人类驾驶员在执行变道之前转头以查看是否存在车辆的动作。
在另一个实例中，主车辆400正在虚拟地操作或牵引相邻车道中位于主车辆后面的第一远程车辆418a。在这个实例中，第一远程车辆418a被配置成用于自主驾驶。主车辆400正借助于v2x通信将广域psg422传送或扩展到第一远程车辆418a。v2x通信可包括用于指导第一远程车辆418a航行于广域psg422所表示的地理区域的真实世界部分的自主驾驶命令。
图5示出了可利用存储在广域psg422中的信息的各种应用的实例。所述应用包括主车辆400通过利用v2x通信将广域psg422传送到类似配备的机动车辆418a、418b或路边单元416a，在hmi(诸如机动车辆的仪表板上的显示器502或头盔内的显示护目镜504)上呈现广域psg，或将广域psg扩展到便携式电子装置506(诸如智能电话或平板电脑)。便携式电子装置506可被编程为从广域psg422提取信息以在软件应用程序中使用或在便携式电子装置506的显示屏上呈现广域psg422。便携式电子装置506可位于机动车辆的乘客舱内或位于地理区域402之外。
广域psg422可呈现为表示关注地理区域402的真实世界环境的三维(3-d)模型。广域psg422中的对象可被呈现为包括诸如纹理、照明、阴影和颜色等细节。当在主机动车辆400行驶通过关注地理区域402时，随着新信息被融合到广域psg422，可连续地实时更新3-d模型的呈现。
图6示出了用于生成广域psg422的方法600的流程图。该方法始于步骤602。在步骤604中，识别关注地理区域。所述关注地理区域优选地为主单元位于其中或行驶通过的区域，诸如城镇或农村地区。主单元可包括主车辆或主基础设施单元，诸如路边单元。所述地理区域包括主单元周围超出主单元的外部传感器的有效范围的区域。
在步骤606中，主单元的外部传感器收集关于主单元周围的区域的信息。周围区域包括主单元周围在外部传感器的有效范围和覆盖领域内的所有区域，包括与主单元相邻的区域、与主单元间隔开的区域和位于主单元周围360度的区域。感知控制器处理所收集的传感器信息并且生成主感知场景图(主psg)。主psg包括由外部传感器检测的在主单元周围的区域的虚拟模型。
在步骤608中，主单元接收至少一个远程单元(诸如在所识别的地理区域内的远程车辆或远程基础设施单元)所生成的至少一个远程感知场景图(远程psg)。可通过利用v2x通信将远程psg传送到主单元。远程psg包括远程单元周围的区域的虚拟模型。
在步骤610中，主单元上的感知系统融合主psg与远程psg以生成广域感知场景图(广域psg)。广域psg包括所述地理区域的延伸超出主车辆的有效传感器范围的一部分的虚拟模型。可将主psg与远程psg之间或远程psg之间的重叠区域融合以在重叠区域中获得更大保真度和置信度水平。
在步骤612中，可将地理区域的预载地图或其它适用信息与广域psg融合以补充广域psg的区域(该处没有充分的信息来提供详细信息)以将广域psg扩展为覆盖整个关注地理区域。
在步骤614中，利用v2x通信将广域psg向外传送到类似配备的远程单元。广域psg变得能够由需要关于主单元周围环境的信息的各种车辆系统访问。所述方法在步骤616结束。
用于生成广域psg的方法和系统使得主单元能够感知超出主单元的外部传感器的有效传感器范围的较广地理区域。可将广域psg传送到类似配备的远程单元以使远程单元能够感知超出远程单元的有效传感器范围的较广地理区域。可通过利用v2x通信从主单元将指令(诸如用于将车辆导航通过如广域psg表示的关注地理区域的车辆命令)传送到远程单元。
本公开已经描述了特定优选实施方案及其修改。其他技术人员可在阅读并理解说明书后想到进一步的修改和更改。因此，意图是本公开不限于作为执行本公开所设想的最佳模式而公开的特定实施方案，而是本公开将包括属于所附权利要求书的范围内的所有实施方案。