使用辅助输入通过生成式对抗网络来细化合成数据的制作方法

1.发明领域

本发明大体涉及公式化逼真训练数据用于训练机器学习模型的领域，并且更具体地涉及使用辅助输入通过生成式对抗网络来细化(refining)合成数据。

2.相关技术

注解和标记图像训练数据(例如，静止图像或视频)的相关部分以用于训练机器学习模型的过程可能是乏味的、耗时的且昂贵的。为了减少这些注解和标记负担，可以使用合成数据(例如，由游戏或其他图形引擎生成的虚拟图像)。注解合成数据是更直接的，因为注解是生成合成数据的直接副产品。

技术实现要素：

本发明扩展到用于使用辅助输入通过生成式对抗网络来来细化合成数据的方法、系统和计算机程序产品。

本发明的各方面包括使用生成式对抗网络(“gan”)来细化合成数据。细化的合成数据可以比原始合成数据更逼真地渲染。细化的合成数据还保留用于训练机器学习模型的注解元数据和标记元数据。可以扩展gan以使用辅助信道作为细化器(refiner)网络的输入，从而提供关于增加合成数据的逼真性的提示。合成数据的细化增强了合成数据在附加应用中的使用。

在一个方面中，gan用于将合成(或虚拟)图像(例如，由游戏引擎生成的图像)细化为更逼真的细化合成(或虚拟)图像。更逼真的细化合成图像保留用于训练机器学习模型的合成图像的注解元数据和标记元数据。辅助输入被提供给细化器网络以提供关于更逼真细化的合成图像看起来如何的提示。辅助输入可以有助于将正确的纹理应用于合成图像的不同区域。辅助输入可以包括语义图(例如，有助于图像分割)、深度图、对象之间的边缘等。合成图像的细化增强了合成图像的使用以用于解决计算机视觉中的问题，包括与自主驾驶相关的应用，诸如图像分割、识别可驾驶路径、对象跟踪和对象三维(3d)姿势估计。

语义图、深度图和对象边缘确保将正确的纹理应用于合成图像的不同区域。例如，语义图可以将合成图像分割成多个区域并识别每个区域的内容，诸如来自树木的树叶或绿色建筑物的侧面。深度图可以基于对象距相机的距离来区分合成图像中的每个图像区域看起来如何，诸如不同的细节/纹理的水平。对象边缘可以限定合成图像中的不同对象之间的过渡。

因此，本发明的各方面包括一种图像处理系统，其细化合成(或虚拟)图像以改善合成(或虚拟)图像的外观并且提供更高质量(例如，更逼真)的合成(或虚拟)图像以用于训练机器学习模型。当机器学习模型的训练完成时，机器学习模型可以与自主车辆和驾驶员辅助车辆一起使用，以准确地处理和识别由车辆相机和传感器捕获的图像内的对象。

生成式对抗网络(gan)可以使用机器学习来训练基本上彼此比赛(即，彼此对抗)的两个网络，即鉴别器网络和生成器网络。训练鉴别器网络以区分真实数据实例(例如，真实图像)和合成数据实例(例如，虚拟图像)并将数据实例分类为真实的或合成的。训练生成器网络以产生鉴别器网络将其分类为真实数据实例的合成数据实例。当鉴别器网络无法评估任何数据实例是合成的还是真实的时，就达到了战略均衡。可能是生成器网络从不直接观察真实数据实例。相反，生成器网络接收关于如通过鉴别器网络的参数间接所见的真实数据实例的信息。

在一个方面中，鉴别器网络区分真实图像和合成(或虚拟)图像，并将图像分类为真实或合成(或虚拟)。在这方面中，训练生成器网络以产生合成(或虚拟)图像。gan可以扩展到包括细化器网络(可以或可以不替代生成器网络)。细化器网络观察合成(或虚拟)图像并生成合成(或虚拟)图像的变体。合成(或虚拟)图像的变体旨在表现出与真实图像的类似性增加的特性，同时保留注解元数据和标记元数据。细化器网络尝试细化合成(或虚拟)图像，使得鉴别器网络将细化的合成(或虚拟)图像分类为真实图像。细化器网络还试图保持输入合成(或虚拟)图像与细化的合成(或虚拟)图像之间的类似性(例如，规范化特性)。

可以扩展细化器网络以接收附加信息，所述附加信息可以作为合成过程的一部分而生成。例如，细化器网络可以接收以下中的一个或多个：语义图(例如，有助于图像分割)、深度图、对象之间的边缘等。在一个方面中，细化器网络接收将合成(或虚拟)图像的像素级语义分割编码作为输入的辅助图像。在另一方面中，细化器网络接收将合成(或虚拟)图像的内容的深度图编码作为输入的辅助图像。在又一方面中，细化器网络可以接收对合成(或虚拟)图像中的对象之间的边缘进行编码的辅助图像。

例如，合成(或虚拟)图像可以包括来自树的树叶。语义分割可以指示合成(或虚拟)图像的包括树叶的部分实际上是树叶(并且不是例如绿色建筑物的侧面)。深度图可以用于根据距相机的距离来区分树叶看起来如何。边缘可以用于区分合成(或虚拟)图像中的不同对象。

可以从在鉴别器网络的训练期间使用的真实图像的数据集中提取辅助数据。从真实图像的数据集中提取辅助数据可以包括使用与相机数据流同步的传感器，诸如激光雷达。对于表示语义分割的辅助数据，可以手动或通过语义分割模型来执行分割。然后可以将gan公式化为有条件的gan，其中鉴别器网络以所提供的辅助数据作为条件。

因此，gan可以利用辅助数据流(诸如语义图和深度图)来帮助确保正确的纹理被正确地应用于合成(或虚拟)图像的不同区域。gan可以生成具有增加的逼真性的细化的合成(或虚拟)图像，同时保留用于训练附加模型(例如，计算机视觉、自主驾驶等)的注解和/或标签。

附图说明

参考以下描述和附图将更好地理解本发明的具体特征、方面和优点，其中：

图1示出计算装置的示例性框图。

图2示出有助于使用辅助输入来细化合成数据的示例性生成式对抗网络。

图3示出使用辅助输入通过生成式对抗网络来细化合成数据的示例性方法的流程图。

图4示出使用辅助输入通过生成式对抗网络来细化合成数据的示例性数据流。

具体实施方式

图1示出计算装置100的示例性框图。计算装置100可以用于执行各种程序(诸如本文所讨论的程序)。计算装置100可以用作服务器、客户端或任何其他计算实体。计算装置100可以执行如本文所述的各种通信和数据传递功能，并且可以执行一个或多个应用程序(诸如本文描述的应用程序)。计算装置100可以是各种计算装置中的任何一种，诸如移动电话或其他移动装置、台式计算机、笔记本计算机、服务器计算机、手持计算机、平板计算机等。

计算装置100包括：一个或多个处理器102，一个或多个存储器装置104，一个或多个接口106，一个或多个大容量存储装置108，一个或多个输入/输出(i/o)装置110，和显示装置130，其全部耦接到总线112。处理器102包括执行存储在存储器装置104和/或大容量存储装置108中的指令的一个或多个处理器或控制器。处理器102还可以包括各种类型的计算机存储介质，诸如高速缓冲存储器。

存储器装置104包括各种计算机存储介质，诸如易失性存储器(例如，随机存取存储器(ram)114)和/或非易失性存储器(例如，只读存储器(rom)116)。存储器装置104还可以包括可重写rom，诸如闪存。

大容量存储装置108包括各种计算机存储介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存)等。如图1所描绘，特定的大容量存储装置是硬盘驱动器124。各种驱动器也可以包括在大容量存储装置108中，以使得能够从各种计算机可读介质进行读取和/或对其进行写入。大容量存储装置108包括可移动介质126和/或不可移动介质。

i/o装置110包括允许将数据和/或其他信息输入到计算装置100或从计算装置100检索所述数据和/或其他信息的各种装置。示例性i/o装置110包括光标控制装置、键盘、小键盘、条形码扫描仪、传声器、监测器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、相机、镜头、雷达、ccd或其他图像捕获装置等。

显示装置130包括能够向计算装置100的一个或多个用户显示信息的任何类型的装置。显示装置130的示例包括监测器、显示终端、视频投影装置等。

接口106包括允许计算装置100与其他系统、装置或计算环境以及人交互的各种接口。示例性接口106可以包括任何数量的不同网络接口120，诸如与以下的接口：个人区域网络(pan)、局域网(lan)、广域网(wan)、无线网络(例如，近场通信(nfc)、蓝牙、wi-fi等网络)和互联网。其他接口包括用户接口118和外围装置接口122。

总线112允许处理器102、存储器装置104、接口106、大容量存储装置108和i/o装置110彼此通信，以及与耦接到总线112的其他装置或者部件通信。总线112表示几种类型的总线结构中的一种或多种，例如系统总线、pci总线、ieee1394总线、usb总线等。

图2示出有助于使用辅助输入来细化合成数据的示例性生成式对抗网络(gan)200。可以使用计算装置100的部件来实现生成式对抗网络(gan)200。

如所描绘，gan200包括生成器201、细化器202和鉴别器203。生成器201可以生成并输出包括合成图像数据和注解的虚拟图像。合成图像数据可以表示道路场景的图像。注解用道路场景的地面实况数据对合成图像数据进行注解。注解可以是生成合成图像数据的副产品。在一个方面中，生成器201是游戏引擎。

然而，合成图像数据可能缺乏足够的逼真性，尤其是对于更高分辨率的图像和/或包含更复杂对象的图像。人类观察者通常可以区分真实图像与游戏引擎生成的虚拟图像。

这样，细化器202可以访问虚拟图像并细化虚拟图像以改善逼真性。细化器202可以从生成器201接收虚拟图像。细化器202可以访问辅助数据，例如像图像分割、深度图、对象边缘等。细化器202可以基于辅助数据将虚拟图像细化(变换)为细化的虚拟图像。例如，细化器202可以使用辅助数据的内容作为提示来改善虚拟图像的逼真性而不更改注解。细化器202可以输出细化的虚拟图像。

鉴别器203可以从细化器202接收细化的虚拟图像。鉴别器203可以将细化的虚拟图像分类为“真实的”或“合成的”。当图像被分类为“真实的”时，鉴别器203可以使细化的虚拟图像可用于训练其他神经网络。例如，鉴别器203可以使被分类为“真实的”细化的虚拟图像可用于训练计算机视觉神经网络，包括与自主驾驶相关的那些。

当图像被分类为“合成的”时，鉴别器203可以生成反馈参数以用于进一步改善细化的虚拟图像的逼真性。鉴别器203可以将反馈参数发送到细化器202和/或生成器201。细化器202和/或生成器201可以使用反馈参数来进一步改善先前细化的虚拟图像的逼真性(可以进一步参考辅助数据)。可以将进一步细化的虚拟图像发送到鉴别器203。可以基于辅助数据和/或反馈参数来进一步细化(变换)虚拟图像，直到鉴别器203将虚拟图像分类为“真实的”(或者直到在执行指定数量的细化之后没有可能进一步改善逼真性等)。

图3示出使用辅助输入通过gan200来细化合成数据的示例性方法300的流程图。将相对于gan200的部件和数据来描述方法300。

生成器201可以生成表示道路场景的图像(例如，道路的图像、高速公路的图像、州际公路的图像、停车场的图像、交叉路口的图像等)的虚拟图像211。虚拟图像211包括合成图像数据212和注解213。合成图像数据212可以包括虚拟图像211中的像素的像素值。注解213用道路场景的地面实况数据对合成图像数据进行注解。生成器201可以输出虚拟图像211。

方法300包括访问表示道路场景图像的合成图像数据，合成图像数据包括注解，注解用道路场景的地面实况数据对合成图像数据进行注解(301)。例如，细化器202可以访问在驾驶期间可能遇到的场景(例如，交叉路口、道路、停车场等)的虚拟图像211，包括合成图像数据212和注解213。方法300包括访问用于图像的一个或多个辅助数据流(302)。例如，细化器202可以从辅助数据221访问以下中的一个或多个：图像分割222、深度图223和对象边缘224。

图像分割222可以将虚拟图像211分割成多个区域并识别每个区域的内容，诸如来自树木的树叶或绿色建筑物的侧面。深度图223可以基于对象距相机的距离来区分虚拟图像211中的每个图像区域看起来如何，诸如不同的细节/纹理的水平。对象边缘224可以限定虚拟图像211中的不同对象之间的过渡。

方法300包括使用一个或多个辅助数据流的内容作为提示来细化合成图像数据，从而细化合成图像数据以改善图像的逼真性而不更改注解(303)。例如，细化器202可以使用以下中的一个或多个的内容作为提示：图像分割222、深度图223和对象边缘224，以便将虚拟图像211细化(变换)成细化的合成图像数据212。细化器202可以将合成图像数据211细化为细化的合成图像数据212而不更改注解213。细化的合成图像数据212可以相对于合成图像数据211改善场景的逼真性。

在一个方面中，图像分割222包括在对虚拟图像211的像素级语义分割进行编码的辅助图像中。在另一个方面中，深度图223包括在对虚拟图像211的内容的深度图进行编码的另一个辅助图像中。在又一个方面中，对象边缘224包括在对虚拟图像211中的对象之间的边缘进行编码的又一个辅助图像中。因此，细化器202可以使用一个或多个辅助图像来将合成图像数据211细化成细化的合成图像数据212。

在一个方面中，生成器201生成辅助数据221作为生成虚拟图像211的副产品。在另一个方面中，从用于训练鉴别器203的真实图像的数据集中提取辅助数据221。

方法300包括输出细化的合成图像数据，所述细化的合成图像数据表示道路场景的细化的图像(304)。例如，细化器202可以输出在驾驶期间可能遇到的场景的细化的虚拟图像214。细化的虚拟图像214包括细化的合成图像数据216和注解213。

鉴别器203可以访问细化的虚拟图像214。鉴别器203可以使用细化的合成图像数据216和注解213对细化的虚拟图像214进行图像类型分类217。图像类型分类217将细化的虚拟图像214分类为“真实的”或“合成的”。如果鉴别器203将细化的虚拟图像214分类为“真实的”，则鉴别器203可以使细化的虚拟图像214可用于训练其他神经网络，诸如计算机视觉神经网络，包括与自主驾驶相关的那些。

在另一个方面中，如果鉴别器203将细化的虚拟图像214分类为“合成的”，则鉴别器203可以生成图像反馈参数218以用于进一步改善细化的虚拟图像214的逼真性。鉴别器203可以将图像反馈参数218发送到细化器202和/或生成器201。细化器202和/或生成器201可以使用图像反馈参数218来进一步改善细化的虚拟图像214的逼真性(可能进一步参考辅助数据221)。可以将进一步细化的虚拟图像发送到鉴别器203。细化器202和/或生成器201可以基于辅助数据221和/或图像反馈参数218(或附加的其他反馈参数)进一步细化(变换)细化的虚拟图像214。图像细化可以继续，直到鉴别器203将进一步细化的虚拟图像(从细化的虚拟图像214进一步细化)分类为“真实的”(或者直到在执行指定数量的细化之后没有可能进一步改善逼真性等)。

图4示出使用辅助输入通过生成式对抗网络来细化合成数据的示例性数据流400。生成器401生成虚拟图像411、图像分割图像433和深度图图像423。细化器402使用图像分割图像433和深度图图像423的内容(例如，作为提示)将虚拟图像411细化(变换)为细化的虚拟图像414。细化的虚拟图像414的逼真性可以相对于虚拟图像411得到改善。鉴别器403将细化的虚拟图像414分类为“真实的”或“合成的”

在一个方面中，一个或多个处理器被配置成执行指令(例如，计算机可读指令、计算机可执行指令等)以执行多个所描述的操作中的任何操作。一个或多个处理器可以从系统存储器访问信息和/或将信息存储在系统存储器中。一个或多个处理器可以使信息在不同格式之间变换，例如像虚拟图像、合成图像数据、注解、辅助数据、辅助图像、图像分割、深度图、对象边缘、细化的虚拟图像、细化的合成数据、图像类型分类、图像反馈参数等。

系统存储器可以耦接到一个或多个处理器并且可以存储由一个或多个处理器执行的指令(例如，计算机可读指令、计算机可执行指令等)。系统存储器还可以被配置成存储由所描述的部件生成的多个其他类型的数据中的任何一种，例如像虚拟图像、合成图像数据、注解、辅助数据、辅助图像、图像分割、深度图、对象边缘、细化的虚拟图像、细化的合成数据、图像类型分类、图像反馈参数等。

在以上公开中，已经参考了附图，所述附图形成了本发明的一部分，并且其中通过图示的方式示出可以实践本公开的具体实现方式。应当理解的是，在不脱离本公开的范围的情况下，可以利用其他实现方式并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可能未必包括特定的特征、结构或特性。此外，这些短语不一定指的是相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，所服从的是，无论是否明确描述，结合其他实施例影响这些特征、结构或特性在本领域技术人员的知识范围内。

本文公开的系统、装置和方法的实现方式可以包括或利用专用或通用计算机，其包括计算机硬件，例如像本文所讨论的一个或多个处理器和系统存储器。本公开范围内的实现方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括ram、rom、eeprom、cd-rom、固态驱动器(“ssd”)(例如，基于ram)、闪存、相变存储器(“pcm”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置、或可用于以计算机可执行指令或数据结构的形式存储所需程序代码手段并可由通用或专用计算机访问的任何其他介质。

本文公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当信息通过网络或另一个通信连接(硬连线、无线或硬连线或无线的组合)传递或提供给计算机时，计算机正确地将连接视为传输介质。传输介质可以包括网络和/或数据链路，其可用于以计算机可执行指令或数据结构的形式承载所需程序代码手段并可由通用或专用计算机访问的。上述的组合也应当包括在计算机可读介质的范围内。

例如，计算机可执行指令包括在处理器上执行时致使通用计算机、专用计算机或专用处理装置执行特定功能或功能组的指令和数据。例如，计算机可执行指令可以是二进制文件、诸如汇编语言的中间格式指令、或甚至是源代码。尽管用结构特征和/或方法动作专用的语言描述了主题，但应当理解的是，所附权利要求书中限定的主题不必限于上述特征或动作。而是，所描述的特征和动作被公开为实现权利要求的示例性形式。

本领域技术人员将理解的是，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括内置或其他车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、平板、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路、或硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器的存储装置中。

此外，在适当的情况下，本文描述的功能可以在以下中的一个或多个中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可以被编程为执行本文描述的系统和程序中的一个或多个。在整个说明书和权利要求中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，可以通过不同的名称来引用部件。本文档无意区分名称不同但非功能性的部件。

应当注意的是，以上讨论的传感器实施例可以包括计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置成在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中被提供用于说明的目的，而不是限制性的。如相关领域的技术人员将知道的，本公开的实施例可以在其他类型的装置中实现。

本公开的至少一些实施例涉及计算机程序产品，其包括存储在任何计算机可用介质上的这种逻辑(例如，以软件的形式)。这种软件在一个或多个数据处理装置中执行时致使装置如本文所述的那样进行操作。

虽然上面已经描述了本公开的各种实施例，但是应当理解的是，它们仅以示例的方式呈现并且不是限制。对于相关领域的技术人员明显的是，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节方面的各种改变。因此，本公开的广度和范围不应受任何上述示例性实施例的限制，而应当仅根据以下权利要求及其等同物来限定。已经出于说明和描述的目的呈现了前面的描述。其并非旨在穷举或将本公开限制于所公开的精确形式。鉴于上述教导，许多修改和变化都是可能的。此外，应当注意的是，任何或所有的上述替代性实现方式可能以期望的任何组合使用以形成本公开的附加混合实现方式。

根据本发明，提供了一种用于细化训练数据用于机器学习模型的方法，所述方法具有：访问表示道路场景图像的合成图像数据，所述合成图像数据包括地面实况数据注解；访问辅助数据；使用所述辅助数据作为提示来生成细化的合成图像数据以改善所述合成图像数据的逼真性而不更改所述注解；以及输出所述细化的合成图像数据。

根据实施例，本发明的特征还在于访问辅助数据包括访问对应于所述图像的一个或多个辅助数据流。

根据实施例，本发明的特征还在于访问一个或多个辅助数据流包括访问以下中的一个或多个：所述图像的语义图像分割数据、所述图像的深度图数据、或所述图像的边缘数据。

根据实施例，本发明的特征还在于访问辅助数据包括访问所述图像的像素级语义分割。

根据实施例，本发明的特征还在于访问辅助数据包括访问深度图，所述深度图基于对象与相机相距的距离来限定所述图像中的对象的不同细节水平。

根据实施例，本发明的特征还在于访问辅助数据包括访问限定所述图像中的对象之间的边缘的边缘数据。

根据本发明，提供了一种用于细化训练数据用于机器学习模型的方法，所述方法具有：访问表示道路场景图像的合成图像数据，所述合成图像数据包括注解，所述注解用所述道路场景的地面实况数据对所述合成图像数据进行注解；访问用于所述图像的一个或多个辅助数据流；使用所述一个或多个辅助数据流的内容作为提示来细化所述合成图像数据，从而细化所述合成图像数据以改善所述图像的逼真性而不更改所述注解；以及输出所述细化的合成图像数据，所述细化的合成图像数据表示所述道路场景的细化的图像。

根据实施例，本发明的特征还在于接收指示所述细化的图像缺乏足够逼真性的反馈，所述反馈包括用于进一步细化所述细化的图像的一个或多个参数；使用所述参数来进一步细化所述细化的合成图像数据，进一步细化所述细化的合成图像数据进一步改善所述细化的图像的逼真性而不更改所述注解；以及输出所述进一步细化的合成图像数据，所述进一步细化的合成图像数据表示所述道路场景的进一步细化的图像。

根据实施例，本发明的特征还在于访问用于所述图像的一个或多个辅助数据流包括访问以下中的一个或多个：所述图像的语义图像分割或所述图像的深度图。

根据实施例，本发明的特征还在于访问用于所述图像的一个或多个辅助数据流包括访问所述图像的像素级语义分割。

根据实施例，本发明的特征还在于访问用于所述图像的一个或多个辅助数据流包括访问深度图，所述深度图基于对象与相机相距的距离来限定对象的不同细节水平。

根据实施例，本发明的特征还在于访问用于所述图像的一个或多个辅助数据流包括访问限定所述图像中的对象之间的边缘的边缘数据。

根据实施例，本发明的特征还在于从其他图像数据中提取所述一个或多个辅助数据流。

根据实施例，本发明的特征还在于从其他图像数据中提取所述一个或多个辅助数据流包括从与相机数据流同步的传感器中提取辅助数据流。

根据实施例，本发明的特征还在于使用所述细化的合成图像数据来训练所述机器学习模块，所述机器学习模块用于车辆的自主驾驶。

根据本发明，提供了一种计算机系统，所述计算机系统具有：一个或多个处理器；耦接到一个或多个处理器的系统存储器，所述系统存储器存储可由所述一个或多个处理器执行的指令；并且所述一个或多个处理器执行存储在所述系统存储器中的所述指令以细化训练数据用于机器学习模型，包括以下：访问表示道路场景图像的合成图像数据，所述合成图像数据包括注解，所述注解用所述道路场景的地面实况数据对所述合成图像数据进行注解；访问用于所述图像的一个或多个辅助数据流；使用所述一个或多个辅助数据流的内容作为提示来细化所述合成图像数据，从而细化所述合成图像数据以改善所述图像的逼真性而不更改所述注解；以及输出所述细化的合成图像数据。

根据实施例，本发明的特征还在于所述一个或多个处理器执行所述指令以访问一个或多个辅助数据流包括所述一个或多个处理器执行所述指令以访问以下中的一个或多个：所述图像的语义图像分割数据、所述图像的深度图数据、或所述图像的边缘数据。

根据实施例，本发明的特征还在于所述一个或多个处理器执行所述指令以便：接收指示所述细化的图像缺乏足够逼真性的反馈，所述反馈包括用于进一步细化所述细化的图像的一个或多个参数；使用所述参数来进一步细化所述细化的合成图像数据，进一步细化所述细化的合成图像数据改善所述细化的图像的逼真性而不更改所述注解；以及输出所述进一步细化的合成图像数据，所述进一步细化的合成图像数据表示所述道路场景的进一步细化的图像。

根据实施例，本发明的特征还在于所述一个或多个处理器执行所述指令以便从与相机数据流同步的传感器中提取辅助数据流。

根据实施例，本发明的特征还在于所述一个或多个处理器执行所述指令以便使用所述细化的合成图像数据来训练所述机器学习模块，所述机器学习模块用于车辆的自主驾驶。