对虚拟驾驶环境生成交通场景的方法及装置与流程

本发明涉及以自动驾驶车辆的学习为目的的虚拟驾驶环境，更详细地，涉及为使上述自动驾驶车辆进行学习、测试及检验而生成虚拟驾驶环境中的交通场景的方法及装置。

背景技术：

现今的车辆逐渐配更多的驾驶辅助系统，尤其，汽车可配备自动驾驶、盲点监测器、自动泊车、自动导航等的辅助驾驶系统。但是，测试或检验自动驾驶及自动辅助系统非常复杂，有可能需要长时间的道路驾驶测试(例如，几百万个小时和几百万英里)。自动驾驶及驾驶辅助系统的更新需进行重新检验，还考虑到需根据车辆种类单独进行检验，因而测试及检验所需的时间和精力将成倍增加。

并且，充分确保用于使自动驾驶汽车的自动驾驶系统及驾驶辅助系统进行学习的学习数据方面也存在困难。

因此，提出了在对实际驾驶情况虚拟化的虚拟驾驶环境中驾驶的自动驾驶汽车的自动驾驶系统及使驾驶辅助系统进行学习、测试及检验的方法。

为了在虚拟驾驶环境中运行自动驾驶汽车的自动驾驶系统以及使驾驶辅助系统进行学习、测试及检验，需在虚拟驾驶环境中提供与周边信息相关的场景。

但是，在现有的虚拟驾驶环境中，仅提供与特定交通情况相关的场景，因而存在无法提供实际驾驶环境般的多种多样、精致的场景的问题。

技术实现要素：

本发明的一目的在于，使如上所述的问题全部得到解决。

本发明的再一目的在于，能够在虚拟驾驶环境中生成实际驾驶环境般的多种多样、精致的场景。

本发明的另一目的在于，可通过数据增强来在虚拟驾驶环境生成多种多样、精致的交通场景。

用于实现如上所述的本发明的目的并实现后述的本发明的特征效果的本发明的特征结构如下。

根据本发明的一实施方式，本发明提供一种方法，生成至少一个虚拟驾驶环境中的至少一个交通场景，其特征在于，包括：步骤(a)，在获取参照之前交通数据和详细交通数据而生成的驾驶数据的状态下，交通场景生成装置执行如下的流程，即，通过向情况分析器输入上述驾驶数据来使上述情况分析器从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器输入上述驾驶数据来使上述车辆信息抽取器从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程，参照上述驾驶环境信息和上述车辆状态信息来生成包含上述驾驶事件的基于驾驶序列的顺序性交通日志的流程，上述之前交通数据为与通过基于影像的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的离散交通数据相对应的元数据，上述详细交通数据为与从在实际驾驶环境中驾驶的一个以上的数据收集车辆的一个以上的传感器收集的顺序性交通数据相对应的元数据；以及步骤(b)，上述交通场景生成装置通过向场景增强网络输入上述顺序性交通日志，来使上述场景增强网络将至少一个关键事件利用成至少一个条件，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行如下的流程，即，生成上述交通场景的流程，参照预设的参照交通信息来检验上述交通场景的流程，在确定为上述交通场景有效的情况下将上述交通场景映射到虚拟驾驶环境的交通模拟器的流程。

在一实施例中，在包括长短时记忆(lstm，longshort-termmemory)的生成器将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器的状态的情况下，上述交通场景生成装置使上述场景增强网络通过上述生成器来将预测交通日志生成为与之相对应的之后动作，由此通过上述生成器生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。

在一实施例中，上述交通场景生成装置执行如下的流程：以使辨别器对上述顺序性交通日志与上述预测交通日志之间进行区分的方式使上述辨别器进行学习；以及通过策略梯度(policygradient)来使上述生成器的至少一个参数达到最佳化，上述策略梯度利用参照上述顺序性交通日志、上述预测交通日志及上述条件来生成的上述辨别器的至少一个奖励(reward)。

在一实施例中，在上述步骤(b)中，若确定为上述交通场景无效，则上述交通场景生成装置参照进行检验的上述流程来变更上述条件，由此生成至少一个变更后的条件，通过使上述场景增强网络利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。

在一实施例中，上述交通场景生成装置从顺序性数据抽取上述关键事件，或从关键事件数据库抽取上述关键事件。

在一实施例中，上述顺序性交通日志分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹及交通信号变化信息。

在一实施例中，上述基于影像的高级驾驶辅助系统执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别(tsr，traffic-signrecognition)、车道检测、车道线检测、碰撞时间(ttc，time-to-collision)预测以及相对速度预测中的至少一个。

在一实施例中，上述车辆状态信息包含上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置及上述自主车辆的制动器状态中的至少一个。

根据本发明的另一实施方式，本发明提供一种交通场景生成装置，用于生成至少一个虚拟驾驶环境中的至少一个交通场景，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，运行用于执行流程(i)及流程(ii)的上述指令，在上述流程(i)中，在获取参照之前交通数据和详细交通数据而生成的驾驶数据的状态下，通过向情况分析器输入上述驾驶数据来使上述情况分析器从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器输入上述驾驶数据来使上述车辆信息抽取器从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程，参照上述驾驶环境信息和上述车辆状态信息来生成包含上述驾驶事件的基于驾驶序列的顺序性交通日志的流程，上述之前交通数据为与通过基于影像的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的离散交通数据相对应的元数据，上述详细交通数据为与从在实际驾驶环境中驾驶的一个以上的数据收集车辆的一个以上的传感器收集的顺序性交通数据相对应的元数据，在上述流程(ii)中，通过向场景增强网络输入上述顺序性交通日志，来使上述场景增强网络将至少一个关键事件利用成至少一个条件，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行如下的流程，即，生成上述交通场景的流程，参照预设的参照交通信息来检验上述交通场景的流程，在确定为上述交通场景有效的情况下将上述交通场景映射到虚拟驾驶环境的交通模拟器的流程。

在一实施例中，在包括长短时记忆的生成器将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器的状态的情况下，上述处理器使上述场景增强网络通过上述生成器来将预测交通日志生成为与之相对应的之后动作，由此通过上述生成器生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。

在一实施例中，上述处理器执行如下的流程：以使辨别器对上述顺序性交通日志与上述预测交通日志之间进行区分的方式使上述辨别器进行学习；以及通过策略梯度来使上述生成器的至少一个参数达到最佳化，上述策略梯度利用参照上述顺序性交通日志、上述预测交通日志及上述条件来生成的上述辨别器的至少一个奖励。

在一实施例中，在上述流程(ii)中，若确定为上述交通场景无效，则上述处理器参照进行检验的上述流程来变更上述条件，由此生成至少一个变更后的条件，通过使上述场景增强网络利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。

在一实施例中，上述处理器从顺序性数据抽取上述关键事件，或从关键事件数据库抽取上述关键事件。

在一实施例中，上述顺序性交通日志分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹及交通信号变化信息。

在一实施例中，上述基于影像的高级驾驶辅助系统执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别、车道检测、车道线检测、碰撞时间预测以及相对速度预测中的至少一个。

在一实施例中，上述车辆状态信息包含上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置及上述自主车辆的制动器状态中的至少一个。

除此之外，还提供可对用于实施本发明的方法的计算机程序进行记录的计算机可读记录介质。

本发明具有如下的效果，可基于实际驾驶数据来生成虚拟驾驶环境中的精致的交通场景。

并且，本发明具有如下的效果，可通过对特定交通情况的离散数据及顺序性数据进行增强，来在虚拟驾驶环境中生成多种交通场景。

附图说明

为了在对本发明的实施例进行说明的过程中得到使用，附图中所示的内容仅属于本发明的多个实施例中的一部分，对于本发明所属技术领域的普通技术人员(以下称为“普通技术人员”)而言，可在不进行发明性作业的情况下，基于这些附图来得到其他附图。

图1为简要示出本发明一实施例的用于生成虚拟驾驶环境中的至少一个交通场景的交通场景生成装置的图。

图2为简要示出本发明一实施例的用于生成上述虚拟驾驶环境中的上述交通场景的场景生成方法的图。

图3为简要示出在本发明一实施例的用于生成上述虚拟驾驶环境中的上述交通场景的上述方法中增加至少一个条件的流程的图。

图4及图5为简要示出在本发明一实施例的用于生成上述虚拟驾驶环境中的上述交通场景的上述方法中学习场景增强网络的流程的图。

具体实施方式

后述的对于本发明的详细说明将参照将可实施本发明的特定实施例作为例示来示出的附图，以明确本发明的多个目的、多个技术方案及多个优点。将以可使普通技术人员充分实施本发明的方式详细说明这些实施例。

并且，在本发明的详细说明及权利要求范围中，术语“包括”及其变形形态并不意味着排除其他多个技术特征、多个附加物、多个结构要素或多个步骤。普通技术人员可从本说明书理解本发明的其他多个目的、多个优点及多个特性中的一部分，并可从本发明的实施过程中理解一部分。以下的例示及附图将作为实例来提供，并不用于限定本发明。

尤其，本发明包括本说明书中提出的多个实施例的所有可行的组合。本发明的多种实施例虽然互不相同，但不能理解为互相排斥。例如，在本说明书中记载的特定形状、结构及特性可在不脱离本发明的思想及范围的情况下可从一实施例替换为其他实施例。并且，应理解为，所公开的各个实施例中的单个结构要素的位置或配置可在不脱离本发明的思想及范围的情况下得到变更。因此，后述的详细说明并不局限于限定性的含义，只要适当说明，包括与发明要求保护范围所主张的范围等同的所有范围在内，本发明的范围仅限定于发明要求保护范围。附图中的相似的附图标记在多个层面表示相同或相似的功能。

本发明中所提及的各种图像可包括与柏油马路或非柏油马路相关的图像，在此情况下，可包括在道路环境中出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机等的飞行器、其他障碍物)，但并不一定限定于此，在本发明中涉及的各种图像还可以是与道路无关的图像(例如，非柏油马路、小胡同、空地、海、湖、江、山、树丛、沙漠、天空、与室内相关的图像)，在此情况下，可包括在非柏油马路、小胡同、空地、海、湖、江、山、树丛、沙漠、天空、与室内相关的环境中出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机等的飞行器、其他障碍物)，但并不限定于此。

本说明书中提供的本发明的标题及摘要用于提供便利，并不限定实施例的范围或解释实施例的含义。

以下，为使本发明所属技术领域的普通技术人员轻松实施本发明，将参照附图详细说明本发明的优选实施例。

图1为简要示出本发明一实施例的用于生成虚拟驾驶环境中的至少一个交通场景的交通场景生成装置的图。参照图1，上述交通场景生成装置100可包括：存储器110，存储用于生成上述虚拟驾驶环境中的上述交通场景所需的指令；以及处理器120，执行以与存储于上述存储器110的上述指令相对应的方式生成虚拟驾驶环境中的上述交通场景的流程。

具体地，上述交通场景生成装置100可以为典型的利用计算装置(例如，计算机处理器、存储器、存储装置、输入装置、输出装置或可包括其他现有计算结构要素的装置；路由器、开关等的电子通信装置；网络附属存储(nas)及存储区域网络(san)等的电子信息存储系统)和计算机软件(即，使上述计算装置以特定方式起到功能的指令)的组合实现所需系统性能的。

上述计算装置的上述处理器可包括(mpu，microprocessingunit)或(cpu，centralprocessingunit)、高速缓冲存储器(cachememory)、数据母线(databus)等。或者，上述计算装置还可包括操作系统及实现特定目的应用程序的软件结构。

但是，并不排除上述计算装置100包括用于实施本发明的媒体(medium)、处理器、存储器或整合其他计算结构要素的综合处理器的情况。

参照图2，如下说明利用以如上所的方式构成的本发明一实施例的交通场景生成装置100来生成上述虚拟驾驶环境中的上述交通场景的方法。

首先，上述交通场景生成装置100可获取之前交通数据和详细交通数据，或能够以使其他装置获取之前交通数据和详细交通数据的方式提供支持。

在此情况下，上述之前交通数据可以为车辆事故等的很难从实际驾驶环境中获取的数据，可以为利用当前的基于计算机影像技术的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的元数据。另一方面，上述高级驾驶辅助系统可执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别、车道检测、车道线检测、碰撞时间预测以及相对速度预测中的至少一个。

而且，上述详细交通数据可以为通过在实际驾驶环境中行驶的车辆的一个以上的传感器收集的元数据，一个以上的传感器例如有激光雷达(lidar)、雷达(radar)、摄像头、全球定位系统(gps)装置等。

另一方面，上述之前交通数据可以为离散交通数据，上述详细交通数据可以为顺序性交通数据。

接着，上述交通场景生成装置100可通过参照上述之前交通数据及上述详细交通数据来获取驾驶数据。作为一例，上述驾驶数据可以为从与上述车辆的输入传感器相对应的上述全球定位系统装置、上述激光雷达、上述雷达、上述摄像头等获取的信息，可以为与上述车辆相关的上述驾驶数据。

而且，上述交通场景生成装置100可执行如下的流程，即，通过向情况分析器130输入上述驾驶数据来使上述情况分析器130从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器140输入上述驾驶数据来使上述车辆信息抽取器140从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程。在此情况下，如普通技术人员周知，上述自主车辆可意味着对象车辆，例如，可意味着在本发明的上述虚拟驾驶环境中行驶的车辆。

作为一例，上述情况分析器130可从上述驾驶数据获取对象检测信息、距离预测信息、交通标志识别信息、车道检测信息、车道线检测信息、碰撞时间预测信息、相对速度预测信息等中的至少一部分。

并且，上述车辆信息抽取器140可抽取上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置、上述自主车辆的制动器状态等中的至少一个。

接着，上述交通场景生成装置100可通过参照由上述情况分析器130提供的上述驾驶环境信息和由上述车辆信息抽取器140提供的上述车辆状态信息来生成包括上述驾驶事件的基于驾驶序列的顺序性交通日志。

作为一例，上述交通场景生成装置100可通过将借助上述情况分析器130获取的上述驾驶环境信息映射到借助上述车辆信息抽取器140获取的上述车辆状态信息来生成图像框架。在此情况下，上述图像框架可以为离散数据及顺序性数据，这可以为驶入隧道或桥梁事件、车道变更事件、驶出隧道或桥梁事件等的特定事件发生前后的上述驾驶数据。

而且，上述交通场景生成装置100可通过对上述离散数据及顺序性数据中所包括的上述驾驶事件进行后处理(post-processing)来生成作为离散性、顺序性二次加工数据的一个以上的顺序性交通日志。

在此情况下，上述顺序性交通日志可分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹、交通信号变化信息等。

之后，上述交通场景生成装置100可将上述顺序性交通日志变换为顺序性元数据。

即，上述交通场景生成装置100可通过使至少一个顺序性元转换器对包含在上述顺序性交通日志的借助上述情况分析器130及上述车辆信息抽取器140抽取的数据进行编码，来使至少一个交通模拟器识别所编码的上述数据。

接着，上述交通场景生成装置100通过向场景增强网络150输入上述顺序性交通日志，来使上述场景增强网络150将至少一个关键事件利用成至少一个条件，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行生成上述交通场景的流程。

作为一例，可在包括长短时记忆的生成器151将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器151的状态的情况下，上述场景增强网络150通过上述生成器151来将一个以上的预测交通日志生成为与之相对应的之后动作，由此通过上述生成器151生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。

参照图3，上述场景增强网络150可通过向上述生成器151输入至少一个隐藏代码z(latentcode)和至少一个关键事件y，来使上述生成器151生成与上述初始交通日志相对应的上述预测交通日志，以使上述预测交通日志与上述驾驶环境内的上述关键事件相对应。

在此情况下，也可从顺序性数据抽取上述关键事件，或者还可从存储多种关键事件的关键事件数据库160检索特定关键事件。

作为一例，上述关键事件可以为紧急情况下的急停、岔路口上的交通信号变化等的驾驶事件中的特定驾驶事件，可设定信号灯在上述岔路口由绿灯变为红灯等多种条件，根据这种关键事件及上述多种条件，上述生成器151可生成如同上述实际驾驶情况般的多种交通场景。

另一方面，上述场景增强网络150可形成如下的结构，即，通过使生成上述交通场景的上述生成器151和对上述交通场景进行评价的辨别器152互相并列配置、进行竞争学习，来使上述生成器生成能够达到蒙蔽上述辨别器的水平的精致数据。

上述场景增强网络150可通过利用作为基于策略的强化学习算法的策略梯度来使上述生成器151进行学习，上述策略梯度因由至少一个状态和至少一个动作构成而便于进行上述离散数据建模，可基于奖励来部分获取随机策略(stochasticpolicy)。并且，可在策略梯度算法中利用蒙特卡洛梯度策略强化算法(montecarlopolicygradient)。在此情况下，上述蒙特卡洛策略梯度可以为利用(i)转出(roll-out)策略及(ii)蒙特卡洛树搜索(mcts，montecarlotreesearch)来生成上述随机策略的学习方法，上述转出策略为可从当前状态预测之后状态的网络中的一个，上述蒙特卡洛树搜索为飞地毯式(non-exhaustive)搜索算法中的一个。作为一例，上述状态可设定为令牌(token)，上述动作可设定为赋予之后令牌的动作，可将上述生成器151设定为代理(agent)。通过上述辨别器152确定的标签可建模成上述奖励，从而可使上述生成器151进行学习。在此情况下，上述生成器151可在循环神经网络(rnn，recurrentneuralnetwork)内利用没有梯度消失(vanishinggradient)问题的至少一个长短时记忆，上述辨别器152可利用卷积神经网络(cnn)。

即，参照图4及图5，上述场景增强网络150可通过向上述辨别器152输入由上述生成器151生成的上述预测交通日志及上述顺序性交通日志来使上述辨别器152确定其输入数据是真实数据还是虚假数据，利用上述辨别器152的一个以上的输出来使上述辨别器152进行学习，从而使上述辨别器152区分上述顺序性交通日志和上述预测交通日志。

并且，在使上述辨别器152进行学习之后，在包括上述长短时记忆的上述生成器151将上述顺序性交通日志中的上述初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器151的状态的情况下，上述场景增强网络150通过上述生成器151来将上述预测交通日志生成为与之相对应的之后动作，通过向上述辨别器152输入上述顺序性交通日志、上述预测交通日志及上述条件，来使上述辨别器152输出用于对上述预测交通日志是否以与上述顺序性交通日志及上述条件符合的方式生成进行表示的至少一个奖励。而且，上述场景增强网络150可通过参照利用上述奖励的上述策略梯度来使上述生成器151进行学习。

接着，上述交通场景生成装置100可执行参照预设的参照交通信息来检验上述交通场景的流程。

在此情况下，上述交通场景生成装置100可通过对最低限度的预设的交通规则信息和上述交通场景进行比较来确定上述交通场景是否有效。作为一例，若上述交通场景包括高速公路驶入事件以及提出上述交通场景内的所有事件在上述高速公路上的驾驶过程中产生并参照交通法规数据库，则在上述高速公路上存在违反交通信号的上述交通规则信息的情况下，与上述交通信号有关的事件为无效的。

而且，若确定为所生成的上述交通场景有效，则上述交通场景生成装置100可将上述交通场景映射到上述虚拟驾驶环境的上述交通模拟器。

另一方面，若确定为上述交通场景无效，则上述交通场景生成装置100执行如下的流程，即，通过参照如上所述的检验流程来变更上述条件，由此生成至少一个变更后的条件，可使上述场景增强网络150利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。

如上所述，本发明生成对于特定交通情况的静态数据和上述顺序性数据，生成作为上述虚拟驾驶环境内的周边信息的与对象车辆及行人等有关的上述交通场景，可将所生成的上述交通场景映射到上述虚拟驾驶环境的上述交通模拟器，可利用虚拟驾驶情况下生成的上述交通场景。

并且，以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序指令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序指令、数据文件、数据结构等，或者可以包括它们的组合。上述计算机可读记录介质中记录的程序指令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读记录介质可包括硬盘、软盘及磁带等的磁介质(magneticmedia)、cd-rom、dvd等的光记录介质(opticalmedia)、软盘(flopticaldisk)等的磁光介质(magneto-opticalmedia)及只读存储器(rom)、随机存取存储器(ram)、闪存等的以存储并执行程序指令的方式特别构成的硬件装置。程序指令不仅包括通过编译器制造的机器语言代码，还包括通过使用解析器等来由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。

以上，通过具体结构要素等的特定事项、限定性实施例及附图来说明了本发明，但这仅用于对更全面地理解本发明提供帮助，本发明并不限定于上述实施例，只要是本发明所属技术领域的普通技术人员，就可根据这种记载实施多种修改及变形。

因此，本发明的思想并不限定于以上说明的实施例，所述的发明要求保护范围、以与发明要求保护范围等同或等价的方式变形的所有实施方式全部属于本发明的思想范畴。