生成合成图像数据的方法和装置与流程

本申请涉及数据增强领域，特别涉及一种生成合成图像数据的方法和装置。

背景技术：

1、随着人工智能(ai)和深度学习(dl)技术的最新发展，已突出和涌现出大量高级驾驶辅助系统(adas)应用。大部分ai和dl算法是基于监督式学习的，需要使用地面实况边界框的大量标注且需要对标注数据进行训练和测试。然而，数据标注是非常冗长和耗时的工作。此外，对于一些特定用例而言，数据必须被重新收集和再次标注。例如，当目标场景是十字路口a时，其数据不同于从十字路口b收集的标注数据集，从而对于针对十字路口a的路侧感知任务需要再次收集并标注数据，这导致需要重新收集和标注数据，否则针对不同的场景在执行路侧感知任务时会缺少经标注的数据。

2、因此，基于上述方式来评估和发展路侧感知模块是极其昂贵或甚至难以实施的，从而希望提供一种改进的技术方案来解决现有技术中的上述问题。

技术实现思路

1、针对以上问题，本申请旨在提出一种用于生成合成图像数据的方法和装置及计算机程序产品，以降低收集和标注数据的成本且同时能提供增强的标注数据。

2、根据本申请的一个方面，提供了一种生成合成图像数据的方法，包括：接收来自第一数据源的背景图像；确定所述背景图像中的目标区域和待生成的目标对象的参数；根据所述待生成的目标对象的参数从第二数据源获取所述待生成的目标对象的标注数据，所述第二数据源不同于所述第一数据源；以及基于所述待生成的目标对象的标注数据，在所述背景图像的目标区域中生成所述目标对象的图像，以获得合成图像数据。

3、根据本申请的另一个方面，提供了一种生成合成图像数据的装置，包括：接收模块，用于接收来自第一数据源的背景图像；确定模块，用于确定所述背景图像中的目标区域和待生成的目标对象的参数；获取模块，用于根据所述待生成的目标对象的参数从第二数据源获取所述待生成的目标对象的标注数据，所述第二数据源不同于所述第一数据源；以及生成模块，用于基于所述待生成的目标对象的标注数据，在所述背景图像的目标区域中生成所述目标对象的图像，以获得所述合成图像数据。

4、本申请还提供了一种生成合成图像数据的装置。所述装置包括：至少一个处理器；以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使得所述至少一个处理器实施上文所述的用于生成合成图像数据的方法。

5、本申请还提供了一种生成合成图像数据的计算机程序产品。所述计算机程序产品包括计算机程序，所述计算机程序被至少一个处理器执行以用于实施上文所述的用于生成合成图像数据的方法。

6、根据本申请提出的合成图像数据生成方法可以在无需收集额外的路侧标注数据的情况下，基于路侧背景图像和车侧标注数据，能够利用设置的参数通过3d重构来生成针对不同场景的合成数据，从而在针对不同的场景执行路侧感知任务时能提供多样性的增强的数据(例如采用生成的合成数据而不必是收集的数据)且能够降低数据收集和标注成本。

技术特征：

1.一种生成合成图像数据的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其中，所述第一数据源包括来自道路侧的图像，以及所述第二数据源包括来自车辆侧的标注数据。

3.根据权利要求1所述的方法，其中，

4.根据权利要求1所述的方法，其中，在所述背景图像中的所述目标区域中生成所述目标对象的图像还包括：

5.根据权利要求4所述的方法，其中，确定所述待生成的目标对象在所述目标区域的插入位置进一步包括：

6.根据前述权利要求中任一项所述的方法，其中，基于所述待生成的目标对象的标注数据，在所述背景图像中的所述目标区域中生成所述目标对象的图像还包括：

7.根据权利要求6所述的方法，其中，对所述目标对象进行3d重构，生成所述目标对象的图像进一步包括：

8.根据权利要求7所述的方法，其中，所述3d模型是从模型库中检索到的，或是利用无监督深度学习通过以下操作生成的：

9.根据权利要求1所述的方法，还包括：基于所述待生成的目标对象的标注数据确定所述目标对象的特征信息；以及基于所述特征信息来生成所述目标对象的图像，

10.一种生成合成图像数据的装置，其特征在于，包括：

11.根据权利要求10所述的装置，其中，所述第一数据源包括来自道路侧的图像，以及所述第二数据源包括来自车辆侧的标注数据。

12.根据权利要求10所述的装置，其中，所述确定模块进一步被配置用于确定所述目标区域的范围和/或位置以及确定所述待生成的目标对象的类别。

13.根据权利要求10所述的装置，其中，所述生成模块进一步被配置为：

14.根据权利要求13所述的装置，其中，所述确定模块进一步被配置为：

15.根据前述权利要求中任一项所述的装置，其中，所述生成模块进一步被配置为：

16.根据权利要求15所述的装置，还包括：3d模型获取模块，用于获取3d模型，

17.根据权利要求16所述的装置，其中，所述3d模型是从模型库中检索到的，或是利用无监督深度学习通过以下操作生成的：

18.根据权利要求10所述的装置，还包括：特征信息确定模块，其被配置为基于所述待生成的目标对象的标注数据确定所述目标对象的特征信息，

19.一种生成合成图像数据的装置，其特征在于，包括：

20.一种生成合成图像数据的计算机程序产品，包括计算机程序，所述计算机程序被至少一个处理器执行以用于实施根据权利要求1至9中任一项所述的方法。

技术总结
本申请提出了一种生成合成图像数据的方法，包括：接收来自第一数据源的背景图像；确定所述背景图像中的目标区域和待生成的目标对象的参数；根据所述待生成的目标对象的参数从第二数据源获取所述待生成的目标对象的标注数据，所述第二数据源不同于所述第一数据源；以及基于所述待生成的目标对象的标注数据，在所述背景图像中的目标区域生成所述目标对象的图像以获得所述合成图像数据。

技术研发人员：王磊臣,M·P·察普夫,何宇杰
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/3/11