一种感知模拟方法和装置与流程

本发明涉及智能交通领域，特别涉及一种感知模拟方法和装置。

背景技术

在很多技术领域中都会进行控制模拟操作，也即对现实场景进行模拟，并在模拟的场景中根据模拟的输入数据对一些控制功能进行模拟得到控制结果，以学习训练控制功能、将得到的控制功能应用于现实控制中。

例如，在自动驾驶领域(或称为无人驾驶领域)中，通常会根据感知数据和地图数据对现实环境创建一个虚拟环境，感知数据中包括传感器数据和摄像头数据。在该虚拟环境中，可以模拟自动驾驶车辆的行为，并进行多种控制功能的模拟，例如路线规划模拟、碰撞规避模拟，最后将模拟得到的控制功能应用在实际的自动驾驶车辆中。其中，这些控制功能都是基于虚拟环境中的虚拟的感知数据得到的。

但是在具体的应用中发现，在基于虚拟的感知数据进行控制模拟时，控制模拟结果通常与现实的实际状态不符，模拟结果无法直接应用于实际应用。

也即，在现有技术中存在无法基于虚拟的感知数据进行有效的、高仿真的控制模拟的问题。

技术实现要素：

有鉴于此，本发明提供了一种感知模拟方法和装置，用以解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。

根据本申请的一个方面，提供了一种感知模拟方法，包括：

获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；

根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；

将模拟感知数据提供给车辆运动规划系统。

在一些实施例中，该方法还包括：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。

在一些实施例中，根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。

在一些实施例中，根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。

在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。

在一些实施例中，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。

在一些实施例中，感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。

根据本申请的一个方面，提供了一种感知模拟装置，包括：一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令实现：

获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；

根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；

将模拟感知数据提供给车辆运动规划系统。

在一些实施例中，处理器执行至少一条机器可执行指令还实现：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；

根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。

在一些实施例中，处理器执行至少一条机器可执行指令实现根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。

在一些实施例中，处理器执行至少一条机器可执行指令实现根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。

在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。

在一些实施例中，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。

在一些实施例中，感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。

根据本申请的一个方面，提供了一种感知模拟装置，包括：

获取模块，用于获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；

处理模块，用于根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；

输出模块，用于将模拟感知数据提供给车辆运动规划系统。

在一些实施例中，所述装置还包括建模模块，用于预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；

根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。

在一些实施例中，建模模块根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。

在一些实施例中，处理模块根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。

在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。

在一些实施例中，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。

在一些实施例中，感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。

根据本申请实施例提供的技术方案，对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟得到的虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制模拟，得到的模拟结果更为有效、保真度更高，使得控制模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1a为本申请实施例提供的感知模拟方法的处理流程图；

图1b为图1a中步骤12的处理流程图；

图2为本申请实施例提供的感知模拟装置的结构框图；

图3为本申请实施例提供的感知模拟装置的另一结构框图；

图4为本申请实施例提供的感知模拟装置的另一结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在现有技术中，对自动驾驶车辆的相关控制功能进行模拟，可以在一个虚拟环境中基于虚拟的感知数据，对车辆的控制功能进行模拟。但是在具体应用中发现，虚拟的感知数据通常都是较为理想、精度较高的数据，基于这样的虚拟感知数据对控制功能进行模拟、并将模拟得到的控制功能应用在现实场景中时，会发现模拟控制的结果通常与现实的实际状态不符、无法直接应用于实际应用。

本申请实施例对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制规划模拟，得到的模拟结果更为有效、保真度更高，使得控制规划模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

图1a中示出了本申请实施例提供的感知模拟方法的处理流程图，该方法包括如下处理过程：

步骤11、获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据。

其中，虚拟环境是对一个真实的现实环境的数据表达，也即虚拟环境是根据多种数据建立起来的、对一个现实环境的虚拟表达，多种数据通常包括地图数据和感测数据，感测数据中通常包括摄像头数据、传感器数据(例如激光雷达数据、全球定位系统数据、声纳数据、雷达数据，或者类似的数据)。

虚拟感知数据可以是虚拟环境中的一个模拟感测装置输出的感测数据，虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据，根据具体应用场景的需求，还可以包括上述传感器数据中的其它类型数据。

步骤12、根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据。

在一些实施例中，如图1b所示，预先建立模拟感知模型的处理包括如下过程：

步骤121、预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；

其中，所述虚拟环境是该现实环境的数据表达；

历史真实数据(groundtruth)至少包括历史的传感器数据、摄像头数据和人工标定数据，历史真实数据是一个现实环境的真实的数据表达；也即，历史真实数据表达了一个现实环境的准确实际的位置和状态，以及该环境中的物体的真实位置和状态，

传感器数据中可以包括以下至少一种：激光雷达数据、全球定位系统数据、声纳数据、雷达数据，或者类似的数据。

感知系统输出数据包括现实感知处理模块对现实感测装置获取的所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头。

感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。

传感器噪声至少包括以下之一：传感器的物理约束(例如传感器器件本身的物理范围)、传感器工作范围(例如传感器的配置范围)、传感器工作能力限制；

摄像头噪声至少包括以下之一：摄像头的物理约束(例如摄像头器件本身的物理范围)、摄像头工作范围(摄像头的配置情况)、摄像头工作能力限制；

其中，工作能力限制至少包括以下之一：与工作时间相关的限制(例如与传感器或者摄像头的白天操作模式和夜晚操作模式有关的限制，交通高峰期对摄像头采集图像造成大量遮蔽的限制)、与工作地点相关的限制(例如特定地点对摄像头的遮挡的限制)、与无人驾驶车辆的速度相关的限制(例如过高的车速造成传感器采集数据失真的限制)、与自然环境相关的限制。例如，

感知处理模块的处理噪声至少包括以下之一：

感知数据处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；

感知数据处理模块执行的车辆定位处理中的噪声；

感知数据处理模块执行的车道检测处理中的噪声；

感知数据处理模块执行的物体分类处理中的噪声；

感知数据处理模块执行的物体定位处理中的噪声；

感知数据处理模块中的图像处理模块生成的数据中的错误。

步骤s122、根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。

具体可以通过训练神经网络的方法、统计学方法或者机器学习的方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。

可见通过上述步骤，可以建立一种真实无差错的数据也即历史真实数据和具有感知噪声的数据也即感知系统输出数据之间的对应关系，该对应关系通过模拟感知模型来表达。

根据该模拟感知模型和作为输入的虚拟感知数据，就可以得到输出的模拟感知数据，该模拟感知数据具有感知噪声。也即，将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的具有感知噪声的模拟感知数据。

可见在本申请的实施例中，通过建立一种无差错的真实数据和真实世界的感知系统得到的具有感知噪声的感知数据之间的对应关系，并通过模拟感知模型表达该对应关系；在虚拟环境中，对无差错的虚拟感知数据进行处理，通过预先建立的模拟感知模型将虚拟感知数据映射为具有感知噪声的模拟感知数据，能够得到与现实世界的感知系统的输出相类似或等同的感知数据。

本申请实施例模拟得到的感知噪声是模拟的整个感知系统的工作噪声，感知系统包括感测装置和感知处理模块，感知噪声中包括传感器噪声、摄像头噪声、和/或感知处理模块的处理噪声，根据预先建立模拟感知模型时选择的感测数据，感知噪声中还可以包括其它类型的噪声。也即本申请实施例可以模拟整个感知系统、多种感测装置的工作噪声。

可见，本申请实施例能够模拟整个感知系统的、多种类型的感知噪声，相比于现有技术中的虚拟感知数据，包括感知噪声的模拟感知数据能够更加真实地模拟现实的感知系统的工作输出，从而本申请实施例能够在虚拟环境中提供保真度更高的感知数据。

步骤13、将模拟感知数据提供给车辆运动规划系统。

车辆运动规划系统根据包括感知噪声的模拟感知数据进行工作，相比于现有技术中根据虚拟感知数据进行工作，能够基于更接近、等同于现实或者可替代现实的感知数据进行工作，从而能够进行更有效、仿真度更高的控制规划模拟。从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。

基于相同的发明构思，本申请实施例还提供了一种感知模拟装置。

图2示出了本申请实施例提供的感知模拟装置的结构框图，该装置包括一个处理器21和至少一个存储器22，至少一个存储器22中存储有至少一条机器可执行指令，处理器21执行至少一条机器可执行指令实现：

获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；

根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；

将模拟感知数据提供给车辆运动规划系统。

在一些实施例中，处理器21执行至少一条机器可执行指令还实现：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。

在一些实施例中，处理器21执行至少一条机器可执行指令实现根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。

在一些实施例中，处理器21执行至少一条机器可执行指令实现根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。

在本申请的实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。

传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。

感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。

根据本申请实施例提供的感知模拟装置，对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制规划模拟，得到的模拟结果更为有效、保真度更高，使得控制规划模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。

基于相同的发明构思，本申请实施例还提供了一种感知模拟装置。

图3示出了本申请实施例提供的感知模拟装置的结构示意图，该装置包括：

获取模块31，用于获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；

处理模块32，用于根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；

输出模块33，用于将模拟感知数据提供给车辆运动规划系统。

在一些实施例中，处理模块32根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。

在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。

基于图3所示的装置，本实施例还提供了另一种感知模拟装置，如图4所示，该装置还包括建模模块34。

建模模拟34用于：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。

在一些实施例中，建模模块34根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。

根据本申请实施例提供的感知模拟装置，对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制规划模拟，得到的模拟结果更为有效、保真度更高，使得控制规划模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。