用于呈现智能驾驶仿真场景的方法、设备和介质与流程

1.本发明涉及智能驾驶仿真技术领域，并且更具体地涉及一种用于呈现智能驾驶仿真场景的方法、可移动电子设备和计算机存储介质。


背景技术：

2.目前，在针对智能驾驶功能进行路试之前，通常会构建仿真测试场景并在构建的仿真场景中预先对智能驾驶算法进行仿真测试，以验证算法的置信度和可行性。仿真测试有助于节约路试成本并实现智能驾驶功能的校准和优化。传统的仿真软件多是基于个人计算机的单机版本，通常具有功能复杂、设计传统以及使用不便等缺陷。
3.此外，现有的智能驾驶仿真场景数据库基于特定的openscenraio格式。然而，这种传统的场景格式存在一定的弊端，例如，openscenrio为多层嵌套语言规则且必须经过编译和适配来对接不同的程序语言，因此，不具备专业开发背景的工程师在编辑场景时需要耗费大量的时间成本，这为仿真场景的搭建以及智能驾驶算法的验证的实施带来了很大的挑战。


技术实现要素：

4.本发明的实施例提供了一种用于呈现智能驾驶仿真场景的方法、可移动电子设备和计算机存储介质，以便能够在移动场景下，以游戏化的场景设计方式搭建并呈现仿真场景，从而简化仿真场景的搭建难度并提升车辆进入路试环节的效率。
5.按照本发明的第一方面，提供一种用于呈现智能驾驶仿真场景的方法，包括：a、基于用户指令，从仿真场景数据库中获取待测试仿真场景；b、解析所述待测试仿真场景并以可视化的方式呈现所述待测试仿真场景中的场景元素，其中所述场景元素包括地图、动态元素和静态元素；以及c、响应于由可移动电子设备检测到的人机交互手势，替换所述待测试仿真场景中的场景元素或配置所述场景元素的参数，并且以可视化的方式呈现更新后的仿真场景。
6.作为以上方案的替代或补充，根据本发明一实施例的方法还包括：d、从云端下载待测试的智能驾驶算法，利用所述待测试仿真场景或所述更新后的仿真场景对所述智能驾驶算法进行验证，并且以可视化的方式呈现验证过程。
7.作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述仿真场景数据库包括典型地图场景、基于实车在环测试的路试数据生成的路试场景、以及基于真实交通数据生成的真实交通场景。
8.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤b包括：b1、将所述待测试仿真场景拆解为一个或多个场景元素；b2、以图形化或模型化的方式呈现所述一个或多个场景元素的标识；以及b3、以标签或对话框的形式显示所述一个或多个场景元素的默认参数。
9.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤c包括以下各
项中的一项或多项：c1、响应于由所述可移动电子设备检测到的第一人机交互手势，利用本地元素库中的所选元素替换所述待测试仿真场景中的相应场景元素，并以可视化的方式呈现所选元素的标识和默认参数；c2、响应于由所述可移动电子设备检测到的第二人机交互手势，更改相应场景元素的默认参数，所述默认参数包括初始位置、启动速度、启动方向以及传感器配置参数；以及c3、响应于由所述可移动电子设备检测到的第三人机交互手势，设置相应场景元素的路径点以生成行驶轨迹。
10.作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述人机交互手势包括接触式手势或非接触式手势，并且以可视化的方式呈现所述场景元素包括：在所述可移动电子设备的显示界面上以图形化的方式呈现所述场景元素；或在接近于所述可移动电子设备的显示界面的三维空间中以模型化的方式呈现所述场景元素。
11.作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述接触式手势和非接触式手势包括拖拽、点击、长按、捏合、旋转。
12.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤c进一步包括：c4、将所述更新后的仿真场景转换为场景脚本并添加至所述仿真场景数据库。
13.根据本发明的第二方面，提供一种可移动电子设备，包括：手势检测模块，其配置成检测用户对所述可移动电子设备做出的人机交互手势；场景构建模块，其配置成：基于用户指令，从智能驾驶仿真场景数据库中获取待测试仿真场景，解析所述待测试仿真场景以生成一个或多个场景元素，其中所述场景元素包括地图、动态元素和静态元素，响应于由所述手势检测模块检测到的人机交互手势，替换所述待测试仿真场景中的场景元素或配置所述场景元素的参数，以生成更新后的仿真场景；显示模块，其配置成以可视化的方式呈现所述场景元素。
14.作为以上方案的替代或补充，根据本发明一实施例的设备还包括：仿真模块，其配置成从云端下载待测试的智能驾驶算法，利用所述待测试仿真场景或所述更新后的仿真场景对所述智能驾驶算法进行验证。
15.作为以上方案的替代或补充，在根据本发明一实施例的设备中，所述场景构建模块进一步配置成执行以下操作中的一项或多项：响应于由所述手势检测模块检测到的第一人机交互手势，利用本地元素库中的所选元素替换所述待测试仿真场景中的相应场景元素；响应于由所述手势检测模块检测到的第二人机交互手势，更改相应场景元素的默认参数，所述默认参数包括初始位置、启动速度、启动方向以及传感器配置参数；响应于由所述手势检测模块检测到的第三人机交互手势，设置相应场景元素的路径点以生成行驶轨迹；以及将所述更新后的仿真场景转换为场景脚本并添加至所述仿真场景数据库。
16.作为以上方案的替代或补充，在根据本发明一实施例的设备中，所述人机交互手势包括接触式手势或非接触式手势，并且所述显示模块进一步配置成：在所述可移动电子设备的显示界面上以图形化的方式呈现所述场景元素；或在接近于所述可移动电子设备的显示界面的三维空间中以模型化的方式呈现所述场景元素。
17.根据本发明的第三方面，提供一种计算机存储介质，所述计算机存储介质包括指令，所述指令在运行时执行根据本发明第一方面所述的方法中的任意一项。
18.首先，根据本发明的一个或多个实施例的用于呈现智能驾驶仿真场景的方案能够使用户在移动场景下通过简单的人机交互手势（诸如，接触式手势或非接触式手势）、以游
戏化的方式实现智能驾驶仿真场景的搭建，从而降低了场景编辑的复杂度和开发门槛，进而提高了车辆进入路试环节的效率。
19.其次，根据本发明的一个或多个实施例的用于呈现智能驾驶仿真场景的方案利用可视化的方式向用户实时呈现搭建中的仿真场景（例如，在显示界面上以图形化的方式呈现场景元素、或在接近于显示界面的三维空间中以模型化的方式呈现场景元素）。相比于传统的脚本编辑方式，该方案不仅能够通过图形化或模型化的语言使场景搭建更加轻量化，同时具有较强的实时反馈性，从而提升了用户的操作体验。
附图说明
20.本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。在所述附图中：图1为根据本发明的一个或多个实施例的用于呈现智能驾驶仿真场景的方法10的示意性流程图；图2为根据本发明的一个实施例的更改场景元素的默认参数的示意图；以及图3为根据本发明的一个或多个实施例的可移动电子设备30的示意性框图。
具体实施方式
21.以下具体实施方式的描述本质上仅仅是示例性地，并且不旨在限制所公开的技术或所公开的技术的应用和用途。此外，不意图受在前述技术领域、背景技术或以下具体实施方式中呈现的任何明示或暗示的理论的约束。
22.在实施例的以下详细描述中，阐述了许多具体细节以便提供对所公开技术的更透彻理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他实例中，没有详细描述公知的特征，以避免不必要地使描述复杂化。
23.诸如“包含”和“包括”之类的用语表示除了具有在说明书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
24.在下文中，将参考附图详细地描述根据本发明的各示例性实施例。
25.图1为按照本发明的一个或多个实施例的用于呈现智能驾驶仿真场景的方法10的示意性流程图。需要说明的是，不同于现有技术中基于个人计算机的仿真测试方案，方法10的实施主体可以是任何具有手势检测功能的可移动电子设备，包括但不限于：诸如智能手机、平板电脑、笔记本电脑之类的可移动终端，诸如智能手表、智能钥匙之类的便携式电子设备。方法10的实施主体还可以是与上述可移动电子设备以有线或无线的方式连接且具备信息处理能力的其他电子设备。
26.如图1所示，在步骤s110中，基于用户指令，从仿真场景数据库中获取待测试仿真场景。
27.在可移动电子设备本地或者与该可移动电子设备连接的（例如，以有线或无线的方式）、具备存储功能的设备或服务器中设有仿真场景数据库，其预存有多个用于构建智能
驾驶（例如，自动驾驶或辅助驾驶）仿真场景的仿真场景模板，包括用户先前存储的已编辑模板和预设模板。示例性地，仿真场景数据库包括：典型地图场景，例如，十字路口、匝道汇流、环道绕行、笔直高速场景、双弯道地图场景等；基于实车在环测试的路试数据生成的路试场景，例如，泊车场景、入库场景、充电场景、自动换电场景等；以及真实交通场景，其通过从真实交通场景数据中提取指定场景要素，并将指定场景要素的取值样本赋值给逻辑场景中对应指定场景要素，生成测试场景，使得测试场景中的参数能够真实反映原始场景要素的概率分布。
28.示例性地，在步骤s110中，响应于由用户输入的针对已有场景的编辑指令或自定义场景搭建指令，从仿真场景数据库中获取由用户选定的待测试仿真场景或预设模板。
29.在步骤s120中，解析待测试仿真场景并以可视化的方式呈现待测试仿真场景中的场景元素。
30.可选地，步骤s120包括将待测试仿真场景拆解为一个或多个场景元素，其中场景元素包括地图、动态元素和静态元素。示例性地，地图指代高精地图的2d或3d路网信息，包括诸如道路线、车道线、车道标线、交通标牌、交通灯、护栏、路肩之类的道路信息以及诸如道路方向、限速信息之类的交通信息等。示例性地，动态元素包括本车以及动态交通参与者，例如，行人、其他车辆（例如，机动车辆、非机动车辆）等。示例性地，静态元素包括障碍物、道路周边元素以及环境影响因素（例如，光照条件、天气情况、雨水情况）等。
31.可选地，可以向用户呈现拆解后的一个或多个场景元素。例如，可以以图形化或模型化的方式向用户呈现一个或多个场景元素的标识（例如，2d图像或3d模型），还可以以标签或对话框的形式向用户显示一个或多个场景元素的默认参数，例如，初始位置、启动速度、启动方向以及传感器配置参数等。需要说明的是，上述标识以及默认参数既可以平面的方式在可移动电子设备的显示界面上呈现，还可以借助于空中显示（aerial display）技术在接近于可移动电子设备的显示界面的三维空间中呈现。空中显示指代将2d图像或3d模型投影到接近显示设备的三维空间中，使得用户可以在不查看显示设备的显示屏的情况下将场景元素或仿真场景可视化。
32.在步骤s130中，响应于由可移动电子设备检测到的人机交互手势，替换待测试仿真场景中的场景元素或配置场景元素的参数，并且以可视化的方式呈现更新后的仿真场景。
33.示例性地，人机交互手势可以是与可移动电子设备的显示界面接触的接触式手势或不与之接触的非接触式手势。上述接触式手势和非接触式手势可以包括拖拽、点击、长按、捏合、旋转等。在一个示例中，可移动电子设备设置有用户可以通过触控的方式操作的显示界面（例如，显示屏），可移动电子设备可以检测作用于显示界面的人机交互手势并识别相关手势信息，例如，手势的类型、作用于显示界面的初始位置和结束位置、手势轨迹、操作时长、与手势对应的场景元素的标识或参数等。在另一个示例中，可移动电子设备设有非接触式手势（例如，空中手势）识别功能，例如，可移动电子设备可以通过图像识别、电磁感应、激光测距、超声波测距、红外感应等技术检测用户的手部形状以及运动状态，以识别相关手势信息。
34.可选地，步骤s130包括：响应于由可移动电子设备检测到的第一人机交互手势，利用本地元素库中的所选元素替换待测试仿真场景中的相应场景元素，并以可视化的方式呈
现所选元素的标识和/或默认参数。示例性地，用户可以先点击待测试仿真场景中的默认本车元素，此时，显示界面中的本地元素库将显示已有的车辆模型的标识，接着用户可以通过将所选车辆模型的标识拖拽至默认本车元素的位置，以实现针对默认本车元素的替换。应理解，上述第一人机交互手势可以指代仅一个手势操作，也可以指代多个连续手势操作的集合（例如，先点击、后拖拽）。
35.可选地，步骤s130包括：响应于由可移动电子设备检测到的第二人机交互手势，更改相应场景元素的默认参数。示例性地，用户可以通过点击、长按、旋转等手势设置本车或动态交通参与者的初始位置、启动速度、启动方向。参考图2中示出的示例，用户可以通过长按上滑或长按下滑手势来调解本车的启动速度，在停止滑动后确认启动速度；用户还可以通过转动方向锚点标识来改变本车的启动方向。在另一个示例中，用户可以通过拖拽手势将相应传感器添加至本车模型，通过旋转欧拉角坐标方向球的标识来调整传感器角度，并通过滑动手势改变传感器的具体坐标位置。
36.可选地，步骤s130进一步包括：响应于由可移动电子设备检测到的第三人机交互手势，设置相应场景元素的路径点以生成行驶轨迹。在一个示例中，用户可以通过连续点击的方式依次添加场景中的本车或动态交通参与者的路径锚点，当开启自主吸附主路路网功能后，所添加的路径控制点会自动对齐主路中心，用户只需设置控制点之间的间距以及最后一个控制点的位置即可完成依附主路的行驶路径。
37.应理解的是，在完成场景元素的替换、或场景元素的参数设置、或场景元素的行驶轨迹之后，可以图形化或模型化的方式向用户呈现更新后的仿真场景，例如，可以平面的方式在可移动电子设备的显示界面上呈现更新后的仿真场景的2d图像或3d模型，还可以借助于空中显示技术在接近于可移动电子设备的显示界面的三维空间中呈现更新后的仿真场景的2d图像或3d模型。可选地，还可以将更新后的仿真场景转换为场景脚本并添加至仿真场景数据库，以供后续应用到其他平台。
38.可选地，在步骤s140中，从云端下载待测试的智能驾驶算法，利用待测试仿真场景或更新后的仿真场景对智能驾驶算法进行验证，并且以可视化的方式呈现验证过程。可选地，还可以在验证结束之后自动生成仿真测试报告并通过云端进行分享。
39.一方面，方法10能够使用户在移动场景下通过简单的人机交互手势（诸如，接触式手势或非接触式手势）、以游戏化的方式实现智能驾驶仿真场景的搭建，从而降低了编辑场景的复杂度和开发门槛，进而提高了车辆进入路试环节的效率。另一方面，方法10利用可视化的方式向用户实时呈现搭建中的仿真场景，相比于传统的脚本编辑方式，该方案不仅能够通过图形化或模型化的语言使场景搭建更加轻量化，同时具有较强的实时反馈性，提升了用户的操作体验。
40.现在参考图3，图3为根据本发明的一个或多个实施例的可移动电子设备30的示意性框图。示例性地，可移动电子设备30可以包括但不限于：诸如智能手机、平板电脑、笔记本电脑之类的可移动终端，诸如智能手表、智能钥匙之类的便携式电子设备。如图3所示，可移动电子设备30包括手势检测模块310、场景构建模块320以及显示模块330。
41.手势检测模块310可用于检测用户对可移动电子设备30做出的人机交互手势，例如，与显示界面330接触的接触式手势或不与之接触的非接触式手势，包括拖拽、点击、长按、捏合、旋转等。关于人机交互手势的检测的描述可参考关于图1中步骤s130的详细描述，
此处不再赘述。
42.场景构建模块320可用于：基于用户指令，从智能驾驶仿真场景数据库中获取待测试仿真场景；解析待测试仿真场景以生成一个或多个场景元素，其中场景元素包括地图、动态元素和静态元素；响应于由手势检测模块310检测到的人机交互手势，替换待测试仿真场景中的场景元素或配置场景元素的参数，以生成更新后的仿真场景。可选地，场景构建模块320还可用于执行以下操作中的一项或多项：响应于由手势检测模块310检测到的第一人机交互手势，利用本地元素库中的所选元素替换待测试仿真场景中的相应场景元素；响应于由手势检测模块310检测到的第二人机交互手势，更改相应场景元素的默认参数，默认参数包括初始位置、启动位置、启动方向以及传感器配置参数；响应于由手势检测模块320检测到的第三人机交互手势，设置相应场景元素的路径点以生成行驶轨迹；以及将更新后的仿真场景转换为场景脚本并添加至仿真场景数据库。关于场景构建的描述可参考关于图1中步骤s110-s130的详细描述，此处不再赘述。
43.显示界面330可用于以可视化的方式呈现场景元素。可选地，显示界面330可用于以图形化的方式呈现场景元素，或在接近于显示界面330的三维空间中以模型化的方式呈现场景元素。关于场景元素的呈现的描述可参考关于图1中步骤s120-s130的详细描述，此处不再赘述。
44.可选地，可移动电子设备30还可以包括仿真模块340，可用于从云端下载待测试的智能驾驶算法，利用待测试仿真场景或更新后的仿真场景对智能驾驶算法进行验证。
45.另外，如上所述，本发明也可以被实施为一种计算机存储介质，在其中存储有用于使计算机执行如图1所示的方法10的程序。在此，作为计算机存储介质，能采用盘类（例如，磁盘、光盘等）、卡类（例如，存储卡、光卡等）、半导体存储器类（例如，rom、非易失性存储器等）、带类（例如，磁带、盒式磁带等）等各种方式的计算机存储介质。
46.在可适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本发明提供的各种实施例。而且，在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合部件。在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。另外，在可适用的情况下，预期的是，软件部件可以被实现为硬件部件，以及反之亦然。
47.根据本发明的软件（诸如程序代码和/或数据）可以被存储在一个或多个计算机存储介质上。还预期的是，可以使用联网的和/或以其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文中标识的软件。在可适用的情况下，本文中描述的各个步骤的顺序可以被改变、被组合成复合步骤和/或被分成子步骤以提供本文中描述的特征。
48.提供本文中提出的实施例和示例，以便最好地说明按照本发明及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。