样本数据处理方法、相关设备及存储介质与流程

本技术涉及数据处理，尤其涉及一种样本数据处理方法、相关设备及存储介质。

背景技术：

1、计算机视觉技术(computer vision，cv)计算机视觉是一门研究如何使机器“看”的科学。

2、随着cv行业不断蓬勃发展，cv已经在自动驾驶行业取得了不错的效果，然而，目前大多数技术研究人员重点还是主要关注算法与硬件，很少有人去专门解决数据本身的问题，导致在一些恶劣场景下cv的能力仍不可靠。

3、例如，雾天、雨天、雪天以及黑夜的室外cv表现能力通常较差，导致比如视觉为主导的自动驾驶在该场景下表现一般。

4、为了让计算机视觉模型更好地学习和理解参数，就必须保证数据的平衡，然而特殊场景(例如特殊天气)下的训练数据较少，虽然当前自动驾驶模型中的cv算法已经有了很大的提升，学术界已经领先于工业界很大距离，但是受限于特殊场景中训练数据的缺乏，因此，对于特殊场景下自动驾驶模型的训练数据需求很大。

技术实现思路

1、本技术实施例提供了一种样本数据处理方法、相关设备及存储介质，可以丰富预设场景下的样本数据。

2、第一方面，本技术实施例提供了一种样本数据处理方法，其包括：

3、针对预设的对象数据集中的各目标对象图像，将所述目标对象图像分别添加至预设的背景数据集中各背景图像的预设掩膜区域内，得到多个第一图像，并记录所述目标对象图像的目标添加位置，所述背景数据集包括多种预设场景下的所述背景图像及各背景图像对应的掩膜区域，所述目标对象图像携带有目标对象标签；

4、对各所述第一图像中的所述预设掩膜区域分别进行图像融合修复处理，得到多个第二图像；

5、根据所述目标对象标签以及所述目标添加位置分别对各所述第二图像进行自动标注处理，得到多个目标样本数据；其中，多个所述目标样本数据用于对预设的自动驾驶模型进行训练。

6、第二方面，本技术实施例还提供了一种样本数据处理装置，所述样本数据处理装置包括收发模块以及处理模块，其中：

7、所述收发模块，用于获取对象数据集以及背景数据集；

8、所述处理模块，用于针对所述对象数据集中的各目标对象图像，将所述目标对象图像分别添加至所述背景数据集中各背景图像的预设掩膜区域内，得到多个第一图像，并记录所述目标对象图像的目标添加位置，所述背景数据集包括多种预设场景下的所述背景图像及各背景图像对应的掩膜区域，所述目标对象图像携带有目标对象标签；对各所述第一图像中的所述预设掩膜区域分别进行图像融合修复处理，得到多个第二图像；根据所述目标对象标签以及所述目标添加位置分别对各所述第二图像进行自动标注处理，得到多个目标样本数据；其中，多个所述目标样本数据用于对预设的自动驾驶模型进行训练。

9、在一些实施例中，所述处理模块在执行所述将所述目标对象图像分别添加至预设的背景数据集中各背景图像的预设掩膜区域内，得到多个第一图像步骤时，具体用于：

10、将所述目标对象图像分别复制至各所述背景图像的预设掩膜区域内；

11、确定所述目标对象图像的边缘像素点以及所述背景图像中与所述边缘像素点重叠的背景像素点；

12、在各所述背景图像中，对所述边缘像素点与所述背景像素点进行像素加权平均处理，得到多个所述第一图像。

13、在一些实施例中，所述处理模块在执行所述将所述目标对象图像分别复制至各所述背景图像的预设掩膜区域内步骤之前，还用于：

14、对所述目标对象图像进行图像增强处理，得到多个候选目标图像，所述图像增强处理包括尺度变换处理、旋转处理以及翻转处理中的至少一个；

15、所述将所述目标对象图像分别复制至各所述背景图像的预设掩膜区域内，包括：

16、针对各所述候选目标图像，将所述候选目标图像分别复制至各所述背景图像的预设掩膜区域内。

17、在一些实施例中，所述处理模块在执行所述对所述目标对象图像进行图像增强处理，得到多个候选目标图像步骤之前，还用于：

18、建立所述目标对象图像与所述背景图像的对应关系；

19、根据所述对应关系对所述目标对象与所述背景图像进行归一化处理；

20、所述针对各所述候选目标图像，将所述候选目标图像分别复制至各所述背景图像的预设掩膜区域内，包括：

21、针对各所述候选目标图像，基于所述对应关系将所述候选目标图像分别复制至各所述背景图像的预设掩膜区域内。

22、在一些实施例中，所述处理模块在执行所述对各所述第一图像中的所述预设掩膜区域分别进行图像融合修复处理，得到多个第二图像步骤时，具体用于：

23、针对各所述第一图像，确定所述预设掩膜区域的第一亮度、第一对比度以及第一饱和度，以及确定与所述预设掩膜区域上的所述目标对象图像的第二亮度、第二对比度以及第二饱和度；

24、根据所述第一亮度、第一对比度、第一饱和度、第二亮度、第二对比度以及第二饱和度对所述预设掩膜区域分别进行图像融合修复处理，得到多个所述第二图像。

25、在一些实施例中，所述处理模块在执行所述将所述目标对象图像分别添加至预设的背景数据集中各背景图像的预设掩膜区域内，得到多个第一图像步骤之前，还用于：

26、获取不同目标对象分别对应的多张初始图像，所述目标对象包括行人、机动车以及非机动车；

27、对各所述初始图像中所述目标对象对应的图像进行裁剪，得到多张所述目标对象图像；

28、为各所述目标对象图像分别添加对应的所述目标对象标签，构造所述对象数据集。

29、在一些实施例中，所述背景图像为包含车道图像的背景图像，在一些实施例中，所述处理模块在执行所述将所述目标对象图像分别添加至预设的背景数据集中各背景图像的预设掩膜区域内，得到多个第一图像步骤之前，还用于：

30、获取多种预设场景下的所述背景图像，多种所述预设场景包括雾天道路场景、雨天道路场景、雪天道路场景以及黑夜道路场景；

31、对所述背景图像中的道路图像进行分割标注，并确定所述道路图像对应的所述预设掩膜区域，构建所述背景数据集。

32、第三方面，本技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

33、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。

34、相较于现有技术，本技术实施例提供的方案中，一方面，本技术预设有多种预设场景下的背景图像，以及多种目标对象图像，并将目标对象图像添加至背景图像中的预设掩膜区域内，并对添加目标对象图像的背景图像进行融合修复等图像处理，从而合成得到预设场景下的目标样本数据，可见，通过本方案可以丰富预设场景下的样本数据；另一方面，本技术后续可使用目标样本数据用于对预设的自动驾驶模型进行训练，加入预设场景下的样本数据对模型进行训练，使得训练数据更加均衡，提高自动驾驶模型的对图像识别的准确率。