无人驾驶车辆的感知信息展示方法、装置和电子设备与流程

本发明实施例涉及无人驾驶技术领域，具体涉及无人驾驶车辆的感知信息展示方法、装置和电子设备。

背景技术：

无人驾驶车辆是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。它集自动控制、体系结构、人工智能、视觉计算等众多技术于一体，是计算机科学、模式识别和智能控制技术高度发展的产物，也是衡量一个国家科研实力和工业水平的一个重要标志，在国防和国民经济领域具有广阔的应用前景。

目前，无法针对无人驾驶车辆感知功能的准确性进行有效评价，不利于技术的革新，无法满足无人驾驶车辆技术发展的需求。

技术实现要素：

本发明的至少一个实施例提供了一种无人驾驶车辆的感知信息展示方法、装置和电子设备，解决了目前无法针对无人驾驶车辆感知功能的准确性进行有效评价，不利于技术的革新，无法满足无人驾驶车辆技术发展的需求的问题。

第一方面，本发明实施例提出一种无人驾驶车辆的感知信息展示方法，包括：

获取无人驾驶车辆对周围环境的感测信息；

将所述感测信息转化为投影数据；

基于所述投影数据，在实际环境中形成影像，所述影像用于表示所述无人驾驶车辆所感测到的周围环境中事物的位置信息。

第二方面，本发明实施例还提出一种无人驾驶车辆的感知信息展示装置，包括：

感测信息获取模块，用于获取无人驾驶车辆对周围环境的感测信息；

投影数据转化模块，用于将所述感测信息转化为投影数据；

投影模块，用于基于所述投影数据，在实际环境中形成影像，所述影像用于表示所述无人驾驶车辆所感测到的周围环境中事物的位置信息。

第三方面，本发明实施例还提出一种电子设备，包括：处理器和存储器；

处理器通过调用存储器存储的程序或指令，用于执行上述任一方法的步骤。

第四方面，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质存储程序或指令，程序或指令使计算机执行上述任一方法的步骤。

本发明实施例中提供的无人驾驶车辆的感知信息展示方法，通过将所述感测信息转化为投影数据；基于所述投影数据，在实际环境中形成影像，所述影像用于表示所述无人驾驶车辆所感测到的周围环境中事物的位置信息。该方法的实质是将无人驾驶车辆对周围环境的感知结果投影到真实环境中，形成影像，便于后续工作人员可以基于影像和影像对应的实物，对无人驾驶车辆感知功能具有直观的感受，进而对感知功能的准确性进行有效评价，解决了目前无法针对无人驾驶车辆感知功能的准确性进行有效评价，不利于技术的革新，无法满足无人驾驶车辆技术发展的需求的问题，达到了便于工作人员后续对无人驾驶车辆感知功能的准确性进行有效评价的目的。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种无人驾驶车辆的感知信息展示方法的流程图；

图2为利用本发明提供的无人驾驶车辆的感知信息展示方法形成的影像与实物的对比图；

图3为本发明实施例提供的另一种无人驾驶车辆的感知信息展示方法的流程图；

图4为本发明实施例提供的一种将规划路线投影在实际环境中的示意图；

图5为本发明实施例提供的一种无人驾驶车辆的感知信息展示装置的结构框图；

图6是本申请实施例提供的一种电子设备的结构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

针对现有技术中无法针对无人驾驶车辆感知功能的准确性进行有效评价，不利于技术的革新，无法满足无人驾驶车辆技术发展的需求的问题，本公开实施例提供一种无人驾驶车辆的感知信息展示方案。该方案可以将无人驾驶车辆对周围环境的感知结果投影到真实环境中，形成影像，便于后续工作人员可以基于影像和影像对应的实物，对无人驾驶车辆感知功能具有直观的感受，进而对感知功能的准确性进行有效评价的目的。

为了使无人驾驶车辆能够进行自动驾驶，无人驾驶车辆往往具有感知功能、规划功能以及控制功能。感知功能是自动驾驶的基础。感知功能主要用于从无人驾驶车辆所处环境中收集信息，并从中提取有利于实现自动驾驶的相关信息，例如车道线的位置、障碍物的位置、无人驾驶车辆自身在环境中的位置等。规划功能用于为了使无人驾驶车辆到达某一目的地而作出的一些有目的性的决策的过程，其主要表现为规划出从出发地到达目的地且同时回避障碍物的路线。控制功能用于控制无人驾驶车辆精准地执行规划好的动作，如控制无人驾驶车辆沿规划路线行驶。

图1是本发明实施例提供的一种无人驾驶车辆的感知信息展示方法的流程图。该方法可以由无人驾驶车辆来执行，该方法包括以下步骤：

s110、获取无人驾驶车辆对周围环境的感测信息。

本步骤的实现方法为，利用无人驾驶车辆上的摄像头、雷达以及定位系统中至少一个获取无人驾驶车辆对周围环境的感测信息。

其中，摄像头可以包括单目摄像机、双目摄像机、三目摄像机和环视摄像机中至少一个。雷达可以包括激光雷达传感器、毫米波雷达传感器和超声波雷达传感器中至少一个。定位系统可以包括gps定位系统和/或北斗定位系统。

可选地，感测信息包括无人驾驶车辆自身位置信息和/或位于无人驾驶车辆周围事物的位置信息。

其中，无人驾驶车辆周围事物的位置信息可以包括：位于无人驾驶车辆周围环境中的其他车辆的位置信息、行人的位置信息、道路边界的位置信息和车道线的位置信息中的至少一个。

s120、将感测信息转化为投影数据。

s130、基于投影数据，在实际环境中形成影像，影像用于表示无人驾驶车辆所感测到的周围环境中事物的位置信息。

影像可以为2维的影像，也可以为3维的影像。若影像为2维的影像，可选地，无人驾驶车辆上设置有投影设备(如灯光设备)，利用投影设备在实际环境中形成影像。

可选地，投影设备安装于无人驾驶车辆的车顶上，且在无人驾驶车辆上安装多个投影设备。示例性地，在无人驾驶车辆上安装4个投影设备，4个投影设备分别用于在无人驾驶车辆的前、后、左、右四个方向形成投影，每个投射设备可投影的范围为90度，4个投影设备共同实现360度的投影。

可选地，投影设备包括出光面，出光面与地面的夹角可调。出光面与地面的夹角不同，在地面形成的影像的实际位置(即地理位置)也不同。因此，可选地，投影数据包括出光面与地面的夹角值。在执行s120时，基于在s110中得到的感测信息，确定投影设备出光面与地面的夹角值。在执行s130时，调整出光面与地面的夹角等于夹角值，利用投影设备在无人驾驶车辆周围的地面上投射出影像。

图2为利用本发明提供的无人驾驶车辆的感知信息展示方法形成的影像与实物的对比图。在图2中，实线图形表示实际环境中事物的真实位置，虚线表示基于本发明提供的无人驾驶车辆的感知信息展示方法形成的投影，即无人驾驶车辆所感知的事物的位置。在执行s110时，所获取的无人驾驶车辆对周围环境的感测信息，包括道路边界真实位置a1、道路双向车道的分界线真实位置b1以及无人驾驶车辆自身真实位置c1。在执行完s120和s130后，无人驾驶车辆将所感测到的道路边界投影在实际环境中形成影像a2，即a1与a2对应；无人驾驶车辆将所感测到的道路双向车道的分界线投影在实际环境中形成影像b2，即b1与b2对应；无人驾驶车辆将所感测到的无人驾驶车辆自身位置投影在实际环境中形成影像c2，即c1与c2对应。

对比a1与a2，可以对无人驾驶车辆对其周围事物的感知性能进行评价。同样地，对比b1与b2也可以对无人驾驶车辆对其周围事物的感知性能进行评价。

对比c1与c2，可以对无人驾驶车辆感知功能中的定位功能进行评价。

因此，上述方案的实质是，将无人驾驶车辆对周围环境的感知结果投影到真实环境中，形成影像，便于后续工作人员可以基于影像和影像对应的实物，对无人驾驶车辆感知功能具有直观的感受，进而对感知功能的准确性进行有效评价的目的，便于技术的革新，以及满足无人驾驶车辆技术发展的需求。

上述方法不仅适用于对处于静止状态的无人驾驶车辆的感知功能进行准确性评价，还适用于对处于运动状态的无人驾驶车辆的感知功能进行准确性评价，可以满足目前无法对运行中的无人驾驶车辆的感知功能准确性评价的不足。

在上述技术方案中，若影像为2维的影像，其本质上为形成在地面上的光斑。光斑的具体形状可以为多边形、圆形、点形或线形等，本申请对此不作限制。可选地，光斑的具体形状为与其所代表的事物在地面的垂直投影的形状相同或相似。例如，图2中，在实际中道路边界为线性，与其对应的投影的形状也为线性。无人驾驶车辆的形状近似为长方形，与其对应的投影的形状也近似为长方形。这样便于提高后续对感知功能的准确性进行有效评价的可信度。

可选地，若利用灯光设备在实际环境中形成影像，该灯光设备包括多个光源，在执行s130时，通过选择不同的光源组合，以形成与其所代表的事物在地面的垂直投影的形状相同或相似的光斑。在执行s130时，通过调整各光源的位置以及方向等，以形成与其所代表的事物在地面的垂直投影的形状相同或相似的光斑。

图3为本发明实施例提供的另一种无人驾驶车辆的感知信息展示方法的流程图。该方法包括以下步骤：

s210、在无人驾驶车辆行驶的过程中，实时获取无人驾驶车辆对周围环境的感测信息。

s220、实时将感测信息转化为投影数据。

s230、在无人驾驶车辆行驶的过程中，基于投影数据，实时地在实际环境中形成影像，影像用于表示无人驾驶车辆所感测到的周围环境中事物的位置信息。

这样设置的实质是，在无人驾驶车辆行驶的过程中，随着无人驾驶车辆周围环境的变化，不断地变换着投影的影像。上述方法尤其有利于对处于运行状态的无人驾驶车辆的感知功能进行准确性评价，可以填补目前无法对运行中无人驾驶车辆的感知功能进行准确性评价的空白。

在上述技术方案的基础上，可选地，在s230之后，还包括：利用道路监控摄像头对无人驾驶车辆所形成的影像，以及影像所对应的实物进行图像采集，形成图像采集结果；基于图像采集结果对无人驾驶车辆的功能进行评价。这样设置的好处是，可以代替工作人员对无人驾驶车辆的性能进行评价，减轻工作人员的工作量。

在上述技术方案的基础上，可选地，在无人驾驶车辆感知功能的准确性符合要求的前提下，无人驾驶车辆基于对周围环境的感测信息，生成规划路径。无人驾驶车辆还可以将该规划路径投影在实际环境中，形成规划路径影像。图4为本发明实施例提供的一种将规划路线投影在实际环境中的示意图。示例性地，在图4中，a1和e均为无人驾驶车辆。无人驾驶车辆a1生成规划路线，并将该规划路线投影在实际环境中，形成规划路线影像d。后续技术人员可以基于划路线影像d判断该规划路线是否满足路线规划的基本要求，进而达到对无人驾驶车辆的规划功能进行稳定性和正确性的评价的目的。其中，示例性性地，路线规划的基本要求包括规划路线与障碍物的最小距离要求，变道要求等。若图4中，规划路线影像d与无人驾驶车辆e的最小距离不符合路线规划的基本要求中规划路线与障碍物的最小距离要求，则该无人驾驶车辆的规划功能正确性差。若规划路线影像d包括不必要的变道，这该无人驾驶车辆的规划功能的稳定性较差。

进一步地，感测信息包括无人驾驶车辆自身位置信息，在无人驾驶车辆将该规划路径投影在实际环境中形成规划路径影像之后，控制无人驾驶车辆沿该规划路径行驶。在无人驾驶车辆沿该规划路径行驶的过程中，将无人驾驶车辆所感测到的自身位置信息投影在实际环境中，后续技术人员可以基于无人驾驶车辆实际位置和规划路线影像，对无人驾驶车辆的控制功能进行准确性评价。例如，若无人驾驶车辆实际位置未严格按照规划路线影像所示出的路线行驶，或者说，无人驾驶车辆偏离规划路线影像，说明无人驾驶车辆的控制功能准确性较差。

图5为本发明实施例提供的一种无人驾驶车辆的感知信息展示装置的结构框图。参见图5，该无人驾驶车辆的感知信息展示装置包括：感测信息获取模块510、投影数据转化模块520以及投影模块530。

感测信息获取模块510，用于获取无人驾驶车辆对周围环境的感测信息；

投影数据转化模块520，用于将所述感测信息转化为投影数据；

投影模块530，用于基于所述投影数据，在实际环境中形成影像，所述影像用于表示所述无人驾驶车辆所感测到的周围环境中事物的位置信息。

进一步地，感测信息获取模块510，用于利用所述无人驾驶车辆上的摄像头、雷达以及定位系统中至少一个获取无人驾驶车辆对周围环境的感测信息。

进一步地，所述感测信息包括无人驾驶车辆自身位置信息和/或位于所述无人驾驶车辆周围事物的位置信息。

进一步地，所述无人驾驶车辆上设置有投影设备，所述投影设备包括出光面，所述出光面与地面的夹角可调；

所述投影数据包括出光面与地面的夹角值；投影数据转化模块520用于根据所述感测信息，确定所述出光面与地面的夹角值；

投影模块530，用于调整所述出光面与地面的夹角等于所述夹角值，利用所述投影设备在所述无人驾驶车辆周围的地面上投射出影像。

进一步地，感测信息获取模块510，用于在所述无人驾驶车辆行驶的过程中，实时获取无人驾驶车辆对周围环境的感测信息；

投影数据转化模块520，用于实时将所述感测信息转化为投影数据；

投影模块530，用于在所述无人驾驶车辆行驶的过程中，基于所述投影数据，实时地在实际环境中形成影像。

进一步地，该无人驾驶车辆的感知信息展示装置还包括路径投影模块，该路径投影模块用于基于所述感测信息，形成规划路径；

将所述规划路径投影在实际环境中。

进一步地，所述感测信息包括无人驾驶车辆自身位置信息；该无人驾驶车辆的感知信息展示装置中投影模块530，用于在所述无人驾驶车辆沿所述规划路径行驶的过程中，将所述无人驾驶车辆所感测到的自身位置信息投影在实际环境中。

本申请实施例所提供的无人驾驶车辆的感知信息展示装置可执行本申请任意实施例所提供的无人驾驶车辆的感知信息展示方法，具备执行方法相应的功能模块和有益效果，在此不再赘述。

图6是本申请实施例提供的一种电子设备的结构框图。参见图6，该电子设备包括：至少一个处理器601、至少一个存储器602和至少一个通信接口603。电子设备中的各个组件通过总线系统604耦合在一起。通信接口603，用于与外部设备之间的信息传输。可理解，总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图6中将各种总线都标为总线系统604。

可以理解，本实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

在一些实施方式中，存储器602存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用业务。实现本申请实施例提供的无人驾驶车辆的感知信息展示方法的程序可以包含在应用程序中。

在本申请实施例中，处理器601通过调用存储器602存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器601用于执行本申请实施例提供的无人驾驶车辆的感知信息展示方法各实施例的步骤。

本申请实施例提供的无人驾驶车辆的感知信息展示方法可以应用于处理器601中，或者由处理器601实现。处理器601可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例提供的无人驾驶车辆的感知信息展示方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成方法的步骤。

该电子设备还可以包括一个实体部件，或者多个实体部件，以根据处理器601在执行本申请实施例提供的无人驾驶车辆的感知信息展示方法时生成的指令，实现对无人驾驶车辆的控制。不同的实体部件可以设置到无人驾驶车辆内，或者无人驾驶车辆外，例如云端服务器等。各个实体部件与处理器601和存储器602共同配合实现本实施例中电子设备的功能。

本申请实施例还提供一种包含计算机可读存储介质，该计算机可读存储介质存储程序或指令，该程序或指令使计算机执行行时用于执行一种无人驾驶车辆的感知信息展示方法，该方法包括：

获取无人驾驶车辆对周围环境的感测信息；

将所述感测信息转化为投影数据；

基于所述投影数据，在实际环境中形成影像，所述影像用于表示所述无人驾驶车辆所感测到的周围环境中事物的位置信息。

可选的，该计算机可执行指令在由计算机处理器执行时还可以用于执行本申请任意实施例所提供的无人驾驶车辆的感知信息展示方法的技术方案。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。

虽然结合附图描述了本申请的实施方式，但是本领域技术人员可以在不脱离本申请的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。