一种图像数据增强方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种图像数据增强方法、装置、电子设备及存储介质。

背景技术：

1、目标检测是计算机视觉中的一个重要任务，它的目的是在图像中定位和识别不同类别的物体。目标检测的应用场景很多，例如自动驾驶、人脸识别、视频监控等。然而，目标检测的性能受到图像采集条件的影响，例如光照、天气、季节等。在不同的光照条件下，图像的颜色、对比度、纹理等特征会发生变化，导致目标检测器的泛化能力下降。而且，夜间场景的目标样本数据获取比白天的时候更是困难得多，夜间场景的目标样本数据不足是影响目标检测器的性能精度的最重要原因。

2、为了提高目标检测器在夜间场景下的性能，一种常见的方法是使用数据增强技术，即通过对训练数据进行变换或合成，增加数据的多样性和难度。数据增强技术可以分为传统的方法和基于深度学习的方法。传统的方法包括旋转、裁剪、缩放、翻转、噪声添加、颜色变换等操作；基于深度学习的方法包括生成对抗网络(gan)和图像到图像翻译网络(image-to-image translation)，这些方法可以利用神经网络学习图像之间的映射关系，从而生成具有夜间风格或属性的新图像。

3、然而，以上两种方法在实践中都无法有效提升目标检测器的性能，因为传统方法的操作虽然可以改变图像的几何形状或像素值，但简单的改变并不能将将白天图像转为有效的夜间图像；基于深度学习的方法改变了图像的语义内容，偏离了原本的场景语义。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种图像数据增强方法、装置、电子设备及存储介质，能够准确进行图像数据增强。

2、一方面，本发明实施例提供了一种图像数据增强方法，包括：

3、获取目标场景的图片数据集；图片数据集包括目标场景的日间图片和夜间图片；

4、基于图片数据集进行分割识别，得到目标场景中所有物体的掩膜对；掩膜对包括日间掩膜和夜间掩膜；

5、根据掩膜对所对应的图像部分的图像值，得到目标场景中各个物体的图像参数；

6、基于各个物体的掩膜对的图像参数，得到转换参数；

7、通过转换参数对待处理的目标日间图片进行数据增强，得到目标夜间图片。

8、可选地，图像值包括像素值、颜色通道的值、颜色分量值和灰度值；图像参数包括对比度、亮度、色调、饱和度和噪声；根据掩膜对所对应的图像部分的图像值，得到目标场景中各个物体的图像参数，包括：

9、基于对掩膜对所对应的图像部分中像素值的极值计算，得到目标场景中各个物体的对比度；

10、对掩膜对所对应的图像部分的所有像素值进行累加求和，进而对累加求和的结果进行平均计算，得到目标场景中各个物体的对比度；

11、基于掩膜对所对应的图像部分中各个颜色通道的值，计算得到目标场景中各个物体的色调；

12、基于对掩膜对所对应的图像部分中颜色分量值的极值计算，得到目标场景中各个物体的饱和度；

13、基于掩膜对所对应的图像部分的灰度值进行结构相似性指数计算，得到目标场景中各个物体的噪声。

14、可选地，颜色通道包括红色通道、绿色通道和蓝色通道；基于掩膜对所对应的图像部分中各个颜色通道的值，计算得到目标场景中各个物体的色调，包括：

15、基于掩膜对所对应的图像部分中各个颜色通道的值，结合反三角函数计算得到目标场景中各个物体的色调；

16、其中，色调的表达式为：

17、

18、式中，h表示色调；arctan表示反三角函数中的反正切函数；r表示红色通道的值；g表示绿色通道的值；b表示蓝色通道的值。

19、可选地，基于掩膜对所对应的图像部分的灰度值进行结构相似性指数计算，得到目标场景中各个物体的噪声，包括：

20、基于日间掩膜及夜间掩膜所对应的图像部分的灰度值，分别得到日间掩膜所对应的图像部分的第一平均值和第一标准差以及夜间掩膜所对应的图像部分的第二平均值和第二标准差；

21、基于第一平均值和第二平均值，得到日间掩膜及夜间掩膜所对应的图像部分的协方差；

22、根据第一平均值、第一标准差、第二平均值、第二标准差和协方差，通过结构相似性指数计算得到目标场景中各个物体在日间掩膜及夜间掩膜所对应的图像部分的噪声；

23、结构相似性指数计算的表达式为：

24、

25、式中，ssim(x,y)表示噪声；x和y分别表示日间掩膜及夜间掩膜所对应的图像部分；μx表示第一平均值；μy表示第二平均值；σx表示第一标准差；σy表示第二标准差；σxy表示协方差；c1和c2均为常数。

26、可选地，图像参数包括第一图像参数和第二图像参数，第一图像参数包括日间掩膜所对应的图像部分对应的第三图像参数以及夜间掩膜所对应的图像部分对应的第四图像参数，第三图像参数和第四图像参数均包括对比度、亮度、色调和饱和度，第二图像参数包括噪声，转换参数包括第一差异系数和第二差异系数；基于各个物体的掩膜对的图像参数，得到转换参数，包括：

27、基于目标场景中各个物体的第三图像参数和第四图像参数，得到第一差异系数；

28、基于目标场景中各个物体的第二图像参数，得到第二差异系数。

29、可选地，基于目标场景中各个物体的第三图像参数和第四图像参数，得到第一差异系数，包括：

30、基于目标场景中各个物体的第三图像参数和第四图像参数进行第一累加平均计算，得到第一差异系数；第一差异系数包括对比度差异系数、亮度差异系数、色调差异系数和饱和度差异系数；

31、其中，第一差异系数的表达式为：

32、

33、式中，xo表示第一差异系数；xod表示第三图像参数；xon表示第四图像参数；n表示目标场景中物体的数量。

34、可选地，基于目标场景中各个物体的第二图像参数，得到第二差异系数，包括：

35、基于目标场景中各个物体的第二图像参数进行第二累加平均计算，得到第二差异系数；其中，第二差异系数的表达式为：

36、

37、式中，sso表示第二差异系数；ssoi表示目标场景中第i个物体的第二图像参数；n表示目标场景中物体的数量。

38、另一方面，本发明实施例提供了一种图像数据增强装置，包括：

39、第一模块，用于获取目标场景的图片数据集；图片数据集包括目标场景的日间图片和夜间图片；

40、第二模块，用于基于图片数据集进行分割识别，得到目标场景中所有物体的掩膜对；掩膜对包括日间掩膜和夜间掩膜；

41、第三模块，用于根据掩膜对所对应的图像部分的图像值，得到目标场景中各个物体的图像参数；

42、第四模块，用于基于各个物体的掩膜对的图像参数，得到转换参数；

43、第五模块，用于通过转换参数对待处理的目标日间图片进行数据增强，得到目标夜间图片。

44、另一方面，本发明实施例提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现上述图像数据增强方法。

45、另一方面，本发明实施例提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现上述图像数据增强方法。

46、本发明实施例通过获取目标场景的图片数据集；图片数据集包括目标场景的日间图片和夜间图片；基于图片数据集进行分割识别，得到目标场景中所有物体的掩膜对；掩膜对包括日间掩膜和夜间掩膜；根据掩膜对所对应的图像部分的图像值，得到目标场景中各个物体的图像参数；基于各个物体的掩膜对的图像参数，得到转换参数；通过转换参数对待处理的目标日间图片进行数据增强，得到目标夜间图片。本发明实施例通过对日间图片和夜间图片的分割识别，结合相应的图像处理得到转换参数，进而基于转换参数能够将日间图片生成具有夜间特征的新图像，可以有效地扩充训练数据集，提高目标检测器在夜间条件下的性能。