图像处理方法和数据集扩充方法、存储介质和电子设备与流程

1.本技术涉及计算机图像处理应用领域，具体涉及一种图像处理方法和装置。本技术同时还涉及一种图像数据集的扩充方法和装置，一种图像分割模型的训练方法，以及一种视频会议的背景图像处理方法和一种视频直播中视频数据的处理方法，计算机存储介质和电子设备。


背景技术：

2.随着人工智能技术的不断发展，深度学习被广泛的应用在各个领域中。深度学习可以理解为机器学习的一个分支，指以深度神经网络和大量数据为基础的一种人工智能算法，然而，深度学习要达到较好的学习效果，需要通过对大量的样本数据进行训练而获得，那么样本数据量的多少也成为影响神经网络模型性能的原因之一。
3.现有技术中，在面对应用于图像处理的神经网络模型中，由于图像数据集欠缺或者合成图像质量低，均会导致模型性能差。


技术实现要素：

4.本技术提供一种图像处理方法，以解决现有技术中由于图像融合质量差的问题。
5.本技术提供一种图像处理方法，包括：
6.从第一数据集获取包括目标图像要素的第一图像；
7.从第二数据集获取第二图像；
8.对所述第一图像和所述第二图像进行白平衡处理，获得与所述第一图像对应的第一白平衡图像和与所述第二图像对应的第二白平衡图像；
9.将所述第一白平衡图像和所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
10.在一些实施例中，所述对所述第一图像和所述第二图像进行白平衡处理，获得与所述第一图像对应的第一白平衡图像和与所述第二图像对应的第二白平衡图像，包括：
11.根据所述第一图像的rgb三通道均值，确定所述第一图像的灰度均值；
12.根据所述第二图像的rgb三通道均值，确定所述第二图像的灰度均值；
13.根据所述第一图像的灰度均值，确定所述第一图像的rgb三通道增益系数；
14.根据所述第二图像的灰度均值，确定所述第二图像的rgb三通道增益系统；
15.根据所述第一图像的原像素rgb三通道值和所述第一图像的rgb三通道增益系数对所述第一图像的像素进行调整，获得所述第一白平衡图像；
16.根据所述第二图像的原像素rgb三通道值和所述第二图像的rgb三通道增益系数对所述第二图像的像素进行调整，获得所述第二白平衡图像。
17.在一些实施例中，所述根据所述第一图像的像素rgb三通道值和所述第一图像的rgb三通道增益系数对所述第一图像的像素进行调整，获得所述第一白平衡图像，包括：
18.根据所述第一图像的像素rgb三通道值和所述第一图像的rgb三通道增益系数的
乘积，获得rgb三通道像素值；
19.根据所述rgb三通道像素值调整所述第一图像的原像素rgb三通道值；
20.将调整后的图像确定为所述第一白平衡图像。
21.在一些实施例中，所述根据所述第二图像的原像素rgb三通道值和所述第二图像的rgb三通道增益系数对所述第二图像的像素进行调整，获得所述第二白平衡图像，包括：
22.根据所述第二图像的像素rgb三通道值和所述第二图像的rgb三通道增益系数的乘积，获得rgb三通道像素值；
23.根据所述rgb三通道像素值调整所述第二图像的原像素rgb三通道值；
24.将调整后的图像确定为所述第二白平衡图像。
25.在一些实施例中，所述将所述第一白平衡图像、所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像，包括：
26.获取所述第一图像的掩膜图像；
27.对所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
28.在一些实施例中，所述将所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像，包括：
29.将所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像采用拉普拉斯金字塔融合方式进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
30.在一些实施例中，所述将所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像采用拉普拉斯金字塔融合方式进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像，包括：
31.对所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像分别构建高斯金字塔，获得所述第一白平衡图像的第一高斯金字塔、所述第二白平衡图像的第二高斯金字塔以及所述掩膜图像的第三高斯金字塔；
32.根据所述第一高斯金字塔、所述第二高斯金字塔以及所述三高斯金字塔分别构建与所述第一高斯金字塔对应的第一拉普拉斯金字塔，与所述第二高斯金字塔对应的第二拉普拉斯金字塔，与所述第三高斯金字塔对应的第三拉普拉斯金字塔；
33.分别对所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔以及所述第三拉普拉斯金字塔中对应的图像层进行融合，生成新的拉普拉斯图像金字塔；
34.对所述新的拉普拉斯图像金字塔进行重构，生成所述目标融合图像。
35.在一些实施例中，所述对所述新的拉普拉斯图像金字塔进行重构，生成所述目标融合图像，包括：
36.将所述新的拉普拉斯图像金字塔的顶层图像开始依次进行上采样，生成采样图像；
37.将所述采样图像确定为所述目标融合图像。
38.在一些实施例中，还包括：
39.对所述第一白平衡图像和所述第二白平衡图像进行数据增强处理，获得第一增强
图像和第二增强图像；
40.所述将所述第一白平衡图像和所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像，包括：
41.将所述第一白平衡图像的第一增强图像和所述第二白平衡图像的第二增强图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
42.本技术还提供一种图像处理装置，包括：
43.第一获取单元，用于从第一数据集获取包括目标图像要素的第一图像；
44.第二获取单元，用于从第二数据集获取第二图像；
45.第一处理单元，用于对所述第一图像和所述第二图像进行白平衡处理，获得与所述第一图像对应的第一白平衡图像和与所述第二图像对应的第二白平衡图像；
46.第二处理单元，用于将所述第一白平衡图像和所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
47.本技术还提供一种图像数据集的扩充方法，包括：
48.获取根据上述图像处理方法生成的目标融合图像；
49.根据目标融合图像扩充图像数据集。
50.在一些实施例中，所述根据所述目标融合图像扩充图像数据集，包括：
51.将所述目标融合图像作为图像分割模型的训练数据，存储到所述图像数据集中。
52.本技术还提供一种图像数据集的扩充装置，包括：
53.获取单元，用于获取根据上述图像处理方法生成的目标融合图像；
54.扩充单元，用于根据所述目标融合图像扩充图像数据集。
55.本技术还提供一种图像分割模型的训练方法，包括：
56.根据上述图像数据集的扩充方法中扩充的图像数据集，获取图像数据；
57.将所述图像数据作为图像分割模型的训练参数，输入到所述图像分割模型中进行训练，获得训练后的图像分割模型；其中，所述训练后的图像分割模型能够将输入到所述图像分割模型中的图像数据分割出前景图像或者背景图像。
58.本技术还提供一种视频会议的图像处理方法，包括：
59.获取视频会议中的视频会议图像；
60.将所述视频会议图像输入到图像分割模型中进行学习，识别出所述视频会议图像中的人体图像；其中，所述图像分割模型为采用上述图像数据集的扩充方法获得的图像数据集中的图像数据作为训练数据，训练的模型；
61.对所述人体图像区域范围以外的图像进行虚化或者进行替换。
62.本技术还提供一种视频直播中视频数据的处理方法，包括：
63.获取视频直播中的直播画面图像；
64.将所述直播画面图像输入到图像分割模型中进行学习，识别出所述直播画面图像中的人体图像；其中，所述图像分割模型为采用上述图像数据集的扩充方法获得的图像数据集中的图像数据作为训练数据，训练的模型；
65.对所述人体图像区域范围以外的图像增加预设信息。
66.本技术还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
67.所述程序在被读取执行时，执行如上所述的图像处理方法的步骤；或者，执行如上所述的图像数据集的扩充方法的步骤；或者，执行如上所述的图像分割模型的训练方法的步骤；或者，执行如上所述的视频会议的图像处理方法的步骤；或者，执行如上所述的视频直播中视频数据的处理方法的步骤。
68.本技术还提供一种电子设备，包括：
69.处理器；
70.存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如上所述的图像处理方法的步骤；执行如上所述的图像数据集的扩充方法的步骤；或者，执行如上所述的图像分割模型的训练方法的步骤；或者，执行如上所述的视频会议的图像处理方法的步骤；或者，执行如上所述的视频直播中视频数据的处理方法的步骤。
71.与现有技术相比，本技术具有以下优点:
72.本技术提供的一种图像处理方法，能够从不同的数据集获取第一图像和第二图像以及所述第一图像的掩膜图像，所述第一图像可以是包括目标图像要素的图像。之后通过对所述第一图像和第二图像的白平衡处理使得二者能够减小由于拍摄环境不同而导致后期融合时图像边界以及色调上存在差异。将所述第一白平衡图像和所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像，从而能够提高图像融合处理的效率和目标融合图像的图像质量，避免融合图像的边界化和融合图像色彩差异化的缺陷。
73.本技术提供的一种图像数据集的扩充方法，能够从不同的数据集获取第一图像和第二图像以及第一图像的掩膜图像，所述第一图像可以是包括目标图像要素的图像。之后通过对所述第一图像和第二图像的白平衡处理使得二者能够减小由于拍摄环境不同而导致后期融合时图像边界以及色调上存在差异。将所述第一白平衡图像和所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像，从而能够提高图像融合处理的效率和目标融合图像的图像质量。由于目标融合图像是通过来源不同的数据集的图像生成而得，因此，能够为图像分割模型提供丰富的、高质量且真实的训练数据对图像数据集进行扩充，以保证图像分割模型训练的需求，并且能够保证图像分割模型训练后模型对图像分割的性能要求。
附图说明
74.图1是本技术提供的一种图像处理方法实施例的流程图；
75.图2是本技术提供的一种图像处理装置实施例的结构示意图；
76.图3是本技术提供的一种图像数据集的扩充方法实施例的流程图；
77.图4是本技术提供的一种图像数据集的扩充方法实施例的原理结构示意图；
78.图5是本技术提供的一种图像数据集的扩充装置实施例的结构示意图；
79.图6是本技术提供的一种图像分割模型的训练方法实施例的流程图；
80.图7是本技术提供的一种视频会议的图像处理方法实施例的流程图；
81.图8是本技术提供的一种视频直播中视频数据的处理方法实施例的流程图；
82.图9是本技术提供的一种电子设备实施例的结构示意图。
具体实施方式
83.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
84.本技术中使用的术语是仅仅出于对特定实施例描述的目的，而非旨在限制本技术。在本技术中和所附权利要求书中所使用的描述方式例如：“一种”、“第一”、和“第二”等，并非对数量上的限定或先后顺序上的限定，而是用来将同一类型的信息彼此区分。
85.结合上述背景技术可知，本技术提供的一种图像数据集的扩充方法技术方案的构思来源于现有技术中在进行图像分割时，由于图像分割模型训练时由于图像数据缺少，而导致图像分割模型不论是应用还是在技术上的发展均受到阻碍。为了解决该问题，本技术提供的技术构思是可以将不同数据集中的图像数据进行合成，将合成后的图像数据对图像分割模型的数据集进行扩充，从而丰富图像分割模型数据集的数据量。对于图像分割模型或者神经网络模型而言，图像质量的高低也是影响模型性能一个重要指标，因此，在分别通过两个数据集的图像数据进行融合时，也需要考虑到融合后图像质量的问题，故此，本技术提供一种图像数据集的扩充方法，能够在扩充图像数据集的同时保证扩充图像数据集的图像质量，避免由于图像质量导致模型训练受到干扰而导致性能下降。
86.基于上述内容，下面首先将对本技术提供的一种图像处理方法实施例进行描述，请参考图1和图2所示，图1是本技术提供的一种图像处理方法实施例的流程图。所述图像处理方法实施例包括：
87.步骤s101：从第一数据集获取包括目标图像要素的第一图像；
88.所述步骤s101的目的是从第一数据集中获取第一图像。
89.所述步骤s101中的第一数据集可以是深度学习任务中已有数据集；所述第一图像可以是包括有目标图像要素的图像，所述目标图像要素可以是根据图像分割模型所需要的图像要求确定，例如：对人像分割模型而言，需要的包括有人像要素的图像，则目标图像要素可以是人像(可以是人体全部或人体部分图像)，也就是说目标图像要素可以理解为是人体图像；如果是对动物或建筑物等进行分割的模型，目标图像要素则可以是动物图像或建筑物图像等，当然，目标图像要素是可以图像要素的部分信息也可以全部信息。
90.在本实施例中以人像图像作为举例进行说明。
91.从图像角度理解，所述目标图像要素也可以理解为是目标前景图像，对于目标图像为人像而言，前景图像应该为人像信息，因此，第一图像可以理解为是包括人像信息的前景图像。
92.步骤s102：从第二数据集获取第二图像；
93.所述步骤s102的目的在于获取第二图像。
94.在本实施例中，所述第二图像可以从所述第二数据集中获取。所述第二数据集与所述第一数据集为不同的图像数据集，如果根据所述第一图像为包括人像的前景图像，所述第二图像则可以理解为是背景图像。
95.所述步骤s101中的第一数据集和所述步骤s102中的第二数据集可以是分类识别数据集、例如：coco、imagenet、pascal voc、label me、sun、caltech、corel5k等；人脸数据集，例如lfw(labeled faces in the wild：户外脸部检测数据库)、vgg face dataset等；
行人检测数据集等。
96.在本实施例中，所述第一图像的获取可以通过上述coco数据集获取目标图像要素为人像的图像；所述第二图像也可以是从上述数据集，或者其他数据集中获取的图像。从图像处理角度理解，所述目标图像要素可以理解为是人像，所述第一图像则可以理解为是人像为前景图像的第一图像。相应地，所述第二图像可以是背景图像。
97.步骤s103：对所述第一图像和所述第二图像进行白平衡处理，获得与所述第一图像对应的第一白平衡图像和与所述第二图像对应的第二白平衡图像；
98.所述步骤s103的目的在于对第一图像和第二图像进行前期处理，因为，不论是来自同一个数据集还是不同数据集的图像数据均存在色调不一致的情况，因此，需要对所述第一图像和所述第二图像进行颜色校正，以避免因为色调问题而造成神经网络模型性能问题。
99.在本实施例中，主要是通过白平衡处理实现图像颜色校正。具体实现过程可以包括：
100.步骤s103-1：根据所述第一图像的rgb三通道均值，确定所述第一图像的灰度均值；
101.步骤s103-2：根据所述第二图像的rgb三通道均值，确定所述第二图像的灰度均值；
102.步骤s103-3：根据所述第一图像的灰度均值，确定所述第一图像的rgb三通道增益系数；
103.步骤s103-4：根据所述第二图像的灰度均值，确定所述第二图像的rgb三通道增益系统；
104.步骤s103-5：根据所述第一图像的原像素rgb三通道值和所述第一图像的rgb三通道增益系数对所述第一图像的像素进行调整，获得所述第一白平衡图像；
105.步骤s103-6：根据所述第二图像的原像素rgb三通道值和所述第二图像的rgb三通道增益系数对所述第二图像的像素进行调整，获得所述第二白平衡图像。
106.其中，所述步骤s103-1中所述第一图像的rgb三通道均值为和步骤s103-2中的第一图像的灰度均值和所述第二图像的灰度均值可以采用如下公式：
[0107][0108]
其中，为rgb三通道的灰度均值。
[0109]
所述步骤s103-3和步骤s103-4中的rgb三通道增益系数可以采用如下公式：
[0110][0111][0112][0113]
其中，kr为r通道的增益系数，kg为g通道的增益系数，kb为b通道的增益系数。不同
的图像可以采用不同的下标标识。
[0114]
所述步骤s103-5具体实现过程可以包括：
[0115]
步骤s103-51：根据所述第一图像的像素rgb三通道值和所述第一图像的rgb三通道增益系数的乘积，获得rgb三通道像素值；
[0116]
步骤s103-52：根据所述rgb三通道像素值调整所述第一图像的原像素rgb三通道值；
[0117]
步骤s103-53：将调整后的图像确定为所述第一白平衡图像。
[0118]
所述步骤s103-6的具体实现过程可以包括：
[0119]
步骤s103-61：根据所述第二图像的像素rgb三通道值和所述第二图像的rgb三通道增益系数的乘积，获得rgb三通道像素值；
[0120]
步骤s103-62：根据所述rgb三通道像素值调整所述第二图像的原像素rgb三通道值；
[0121]
步骤s103-63：将调整后的图像确定为所述第二白平衡图像。
[0122]
即：可以通过von kries对角模型，例如采用下述公式对所述第一图像和第二图像的原像素rgb三通道值进行调整：
[0123]
p(r
′
)＝p(r)
×
kr；
[0124]
p(g
′
)＝p(g)
×
kg；
[0125]
p(b
′
)＝p(b)
×
kb；
[0126]
通过上述内容对所述第一图像和第二图像进行白平衡处理，获得第一白平衡图像和第二白平衡图像。
[0127]
步骤s104：将所述第一白平衡图像和所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像；
[0128]
所述步骤s104中的目的在于生成一个能够将目标图像要素融合到所述第二图像中的目标融合图像。也就是说，将第一图像中的前景人像图像融合到第二图像提供的背景图像中。
[0129]
对于所述步骤s104生成目标融合图像可以采用图像融合技术。为达到较好的图像融合效果，在节约操作时间成本的同时，能够避免融合图像存在边界差异而导致融合图像质量较低的问题。
[0130]
在本实施例中，所述步骤s104具体实现可以包括：
[0131]
步骤s104-1：获取所述第一图像的掩膜图像；
[0132]
所述掩膜图像(mask)是针对第一图像中目标图像要素进行遮挡而形成的图像，即：掩模图像是由0和1组成的一个二进制图像。当在某一功能中应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。在本实施例中，掩膜图像可以与第一图像尺寸相同，在掩膜图像中目标区域像素值为1，非目标区域像素值为0，以便从第一图像中根据掩膜图像提取目标图像要素的像素值。因此，在获取所述第一图像后，通过对第一图像中目标图像要素的遮挡即可获得所述掩膜图像。所述掩膜图像的获取时机没有具体限制，例如：可以在获取所述第一图像时，即对第一图像进行掩膜处理，以便获取所述掩膜图像，也可以生成所述目标融合图像时，获取掩膜图像。
[0133]
步骤s104-2：将所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像采
用拉普拉斯金字塔融合方式进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
[0134]
结合图4所示，所述步骤s104-2的具体实现过程可以包括：
[0135]
步骤s104-21：对所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像分别构建高斯金字塔，获得所述第一白平衡图像的第一高斯金字塔、所述第二白平衡图像的第二高斯金字塔以及所述掩膜图像的第三高斯金字塔。所述高斯金字塔为最基本的图像塔。
[0136]
所述步骤s104-21的具体实现过程可以是，分别对所述第一白平衡图像、第二白平衡图像以及掩膜图像进行下采样卷积操作，进而能够分别获得针对所述第一白平衡图像的高斯金字塔图像、第二白平衡图像的高斯金字塔图像，掩膜图像的高斯金字塔图像。下面以第一白平衡图像为例进行获得第一高斯金字塔过程的说明：
[0137]
将第一白平衡图像作为高斯金字塔图像的最底层图像g0，即第0层图像，利用高斯核(n
×
n)对最底层图像进行卷积，然后对卷积后的图像进行下采样(去除偶数行和列)得到与最底层图像相邻且位于最底层图像的上一层图像g1，将图像g1作为输入，重复g0时的卷积和下采样操作得到位于g1上的上一层图像g2，反复迭代多次，形成的金字塔形图像数据结构，即为第一高斯金字塔。如下公式表示：
[0138]gi
＝down(g
i-1
)；
[0139]
其中，down为下采样函数，gi表示第i层的高斯图像。基于上述内容可以理解，下采样可以通过抛去图像中的偶数行和偶数列来实现，从而使得图像的长宽各减少二分之一，面积减少四分之一。
[0140]
同理，可以对第二白平衡图像也进行下采样获得第二高斯金字塔，对所述掩膜图像进行下采样获得第三高斯金字塔。
[0141]
步骤s104-22：根据所述第一高斯金字塔、所述第二高斯金字塔以及所述三高斯金字塔分别构建与所述第一高斯金字塔对应的第一拉普拉斯金字塔，与所述第二高斯金字塔对应的第二拉普拉斯金字塔，与所述第三高斯金字塔对应的第三拉普拉斯金字塔；
[0142]
所述步骤s104-22中的拉普拉斯金字塔可以理解是残差图像结构的金字塔。即：在高斯金字塔的运算过程中，图像经过卷积和下采样等相关操作会丢失部分高频细节信息，描述高频细节信息的则为拉普拉斯金字塔。
[0143]
所述步骤s104-22的具体实现过程可以是用高斯金字塔的每一层图像减去其相邻上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为拉普拉斯金字塔的图像结构。换言之，即对高斯金字塔中的图像层3先进行上采样(放大图像，也可以称之为图像插值)，获得采样后与图像层2尺寸相同的图像a，再对图像a进行下采样(缩小图像，即降采样)，获得与图像层3尺寸相同的模糊处理后的a’，将a’和a之间的差值形成的图像称为差值图像(残差图像)即为拉普拉斯图像。也就是说，拉普拉斯金字塔就是记录高斯金字塔每一级上采样后再下采样与采样前的差异。即，如下公式：
[0144]
li＝g
i-u
p
(down(gi))；
[0145]
其中，li表示拉普拉斯金字塔图像，u
p
表示上采样，gi表示第i层的高斯图像，down(gi)可以理解为是g
i+1
，即第i+1层的高斯图像。
[0146]
公式也可以表示为：li＝g
i-u
p
(g
i+1
)；
[0147]
通常情况下，高斯金字塔顶层的图像与拉普拉斯顶层图像相同。
[0148]
步骤s104-23：分别对所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔以及所述第三拉普拉斯金字塔中对应的图像层进行融合，生成新的拉普拉斯图像金字塔；
[0149]
所述步骤s104-23的具体实现过程可以是根据第三拉普拉斯金字塔，即掩膜图像的拉普拉斯金字塔，将第一拉普拉斯金字塔的图像和第二拉普拉斯金字塔的图像进行相加，其中掩膜图像是为了确定融合部分，在本实施例中是第一图像中的人像部分为掩膜部分。相加后的结果即为一个新的拉普拉斯图像金字塔。
[0150]
步骤s104-24：对所述新的拉普拉斯图像金字塔进行重构，生成所述目标融合图像。
[0151]
所述步骤s104-24的重构目的在于根据新的拉普拉斯金字塔构建出最终的目标融合图像，构建的过程可以包括：
[0152]
步骤s104-241：将所述新的拉普拉斯图像金字塔的顶层图像开始依次进行上采样，生成采样图像；
[0153]
步骤s104-242：将所述采样图像确定为所述目标融合图像。
[0154]
以上是对步骤s104实现过程的描述，由于高斯金字塔和拉普拉斯金字塔属于现有技术，因此，上述描述过程较为概要。
[0155]
为能够提供更多的图像数据来扩充图像数据集，本实施例中，还可以通过对第一白平衡图像和第二白平衡图像进行数据增强处理，对图像数据进行增强处理的目的是用于生成更多的图像数据，从而能够提高进行图像融合时的泛化能力，通常图像数据增强的常用方法有：弹性形变、图像模糊、图像旋转、加入噪声等。因此，步骤s104具体实现可以包括：
[0156]
步骤s104-31：将所述第一白平衡图像的第一增强图像和所述第二白平衡图像的第二增强图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
[0157]
基于所述步骤s104-31在进行图像融合处理时还可以根据数据增强处理后的图像进行融合处理，从而能够获得更多的目标融合图像。
[0158]
上述是对本技术提供的一种图像处理方法实施例的描述，通过本技术提供的图像处理方法实施例，能够将两个不同背景的图像进行融合，即：将所述第一图像中的目标图像要素融合到所述第二图像中，从而能够减小图像融合时融合区域的边界差异以及融合图像与背景图像之间的色彩差异，提高融合图像的质量以及图像融合处理的效率。
[0159]
以上是对本技术提供的一种图像处理方法实施例的具体描述，本实施例中通过从不同数据集获取不同图像数据，对两个不同图像数据经过白平衡处理使二者在环境差异缩小，之后通过图像金字塔进行图像融合，生成目标融合图像，从而能够使得目标融合图像避免由于原图像环境差异而导致目标图像要素融合到背景图像中质量较低，边界明显、色彩差异较大等问题。
[0160]
结合上述内容，与前述提供的一种图像处理方法实施例相对应，本技术还提供一种图像处理装置实施例，请参看图2，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
[0161]
请参考图2所示，图2是本技术提供的一种图像数据集的扩充装置实施例的结构示
意图，该装置实施例包括：
[0162]
第一获取单元201，用于从第一数据集获取包括目标图像要素的第一图像；
[0163]
所述第一获取单元201的具体实现过程可以参考上述步骤s101的具体内容，此处不再重复赘述。
[0164]
第二获取单元202，用于从第二数据集获取第二图像；
[0165]
所述第二获取单元202的具体实现过程可以参考上述步骤s102，此处不再重复赘述。
[0166]
第一处理单元203，用于对所述第一图像和所述第二图像进行白平衡处理，获得与所述第一图像对应的第一白平衡图像和与所述第二图像对应的第二白平衡图像；
[0167]
所述第一处理单元包括：第一确定子单元、第二确定子单元、第三确定子单元、第四确定子单元、第一获得子单元和第二获得子单元。
[0168]
所述第一确定子单元，用于根据所述第一图像的rgb三通道均值，确定所述第一图像的灰度均值；
[0169]
所述第二确定子单元，用于根据所述第二图像的rgb三通道均值，确定所述第二图像的灰度均值；
[0170]
所述第三确定子单元，用于根据所述第一确定子单元中的所述第一图像的灰度均值，确定所述第一图像的rgb三通道增益系数；
[0171]
所述第四确定子单元，用于根据所述第一确定子单元中的所述第二图像的灰度均值，确定所述第二图像的rgb三通道增益系统；
[0172]
所述第一获得子单元，用于根据所述第一图像的原像素rgb三通道值和所述第三确定子单元中所述第一图像的rgb三通道增益系数，对所述第一图像的像素进行调整，获得所述第一白平衡图像。所述第一获得子单元，包括：计算子单元、调整子单元和确定子单元；所述计算子单元，用于根据所述第一图像的像素rgb三通道值和所述第一图像的rgb三通道增益系数的乘积，获得rgb三通道像素值；所述调整子单元，用于根据所述计算子单元中获得的rgb三通道像素值调整所述第一图像的原像素rgb三通道值；所述确定子单元，用于将所述调整子单元中调整后的图像确定为所述第一白平衡图像。
[0173]
所述第二获得子单元，用于根据所述第二图像的原像素rgb三通道值和所述第四确定子单元中的所述第二图像的rgb三通道增益系数，对所述第二图像的像素进行调整，获得所述第二白平衡图像。所述第二获得子单元，包括：计算子单元、调整子单元和确定子单元；所述计算子单元，用于根据所述第二图像的像素rgb三通道值和所述第二图像的rgb三通道增益系数的乘积，获得rgb三通道像素值；所述调整子单元，用于根据所述计算子单元中获得的rgb三通道像素值调整所述第二图像的原像素rgb三通道值；所述确定子单元，用于将所述调整子单元中调整后的图像确定为所述第二白平衡图像。
[0174]
关于所述第一处理单元203具体实现过程中涉及的详细技术内容可以参考上述步骤s103，此处不再重复赘述。
[0175]
第二处理单元204，用于将所述第一白平衡图像和所述第二白平衡图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像；
[0176]
所述第二处理单元204具体可以包括：获取子单元和处理子单元；
[0177]
所述获取子单元，用于获取所述第一图像的掩膜图像；具体参考步骤s104-1的内
容，此处不再重复赘述。
[0178]
所述处理子单元，用于通过将所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像采用拉普拉斯金字塔融合方式进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。具体可以包括：第一构建子单元，第二构建子单元，融合子单元以及重构子单元。
[0179]
所述第一构建子单元，用于对所述第一白平衡图像、所述第二白平衡图像以及所述掩膜图像分别构建高斯金字塔，获得所述第一白平衡图像的第一高斯金字塔、所述第二白平衡图像的第二高斯金字塔以及所述掩膜图像的第三高斯金字塔；
[0180]
所述第二构建子单元，用于根据所述第一高斯金字塔、所述第二高斯金字塔以及所述三高斯金字塔分别构建与所述第一高斯金字塔对应的第一拉普拉斯金字塔，与所述第二高斯金字塔对应的第二拉普拉斯金字塔，与所述第三高斯金字塔对应的第三拉普拉斯金字塔；
[0181]
所述融合子单元，用于分别对所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔以及所述第三拉普拉斯金字塔中对应的图像层进行融合，生成新的拉普拉斯图像金字塔；
[0182]
所述重构子单元，用于对所述新的拉普拉斯图像金字塔进行重构，生成所述目标融合图像。
[0183]
所述重构子单元可以包括：上采样子单元和确定子单元。
[0184]
所述上采样子单元，用于将所述新的拉普拉斯图像金字塔的顶层图像开始依次进行上采样，生成采样图像；
[0185]
所述确定子单元，用于将所述采样图像确定为所述目标融合图像。
[0186]
为能够提供更多的图像数据来扩充图像数据集，本实施例中，还可以包括：增强单元，用于对所述第一白平衡图像和所述第二白平衡图像进行数据增强处理，获得第一增强图像和第二增强图像。
[0187]
所述第二处理单元具体可以根据所述增强单元中的所述第一白平衡图像的第一增强图像，所述第二白平衡图像的第二增强图像以及所述掩膜图像进行图像融合处理，生成将所述目标图像要素融合到所述第二图像中的目标融合图像。
[0188]
关于所述第二处理单元204具体实现过程中涉及的详细技术内容可以参考上述步骤s104，此处不再重复赘述。
[0189]
为提升图像数据集中图像数据的数据量，为图像分割模型的训练提供大量的训练样本数据，以提高人像分割模型的训练性能。结合上述内容，本技术还提供一种图像数据集的扩充方法，请参考图3和图4所示，图3是本技术提供的一种图像数据集的扩充方法实施例的流程图；图4是本技术提供的一种图像数据集的扩充方法实施例的原理结构示意图。
[0190]
如图3所示，本技术图像数据集的扩充方法实施例，包括：
[0191]
步骤s301：获取根据上述图像处理方法生成的目标融合图像；
[0192]
关于步骤s301的具体实现过程可以参考上述步骤s101-步骤s104，此处不再重复赘述。
[0193]
步骤s302：根据目标融合图像扩充图像数据集。
[0194]
所述步骤s302的具体实现过程可以是将所述目标融合图像作为图像分割模型的
训练数据，存储到所述图像数据集中。
[0195]
根据上述内容，在本实施例中，第一图像采用的人像，因此，步骤s302中的图像分割模型可以是人像分割模型。
[0196]
所述图像分割模型可以应用到视频会议、视频直播以及人像识别等相关的应用场景下。通过本技术提供的图像数据集的扩充方法实施例，能够从不同数据集获取不同图像数据，对两个不同图像数据经过白平衡处理使二者在环境差异缩小，之后通过图像金字塔进行图像融合，生成目标融合图像，已将目标融合图像作为图像扩充数据提供给图像分割模型所需的图像数据集，由于所述目标融合图像能够避免由于原图像环境差异而导致目标图像要素融合到背景图像中质量较低，边界明显、色彩差异较大等问题，从而能够避免图像分割模型在采用低质量融合图像而导致模型性能变差的问题，提升图像分割模型的分割效率与质量。
[0197]
以上是对本技术提供的一种图像数据集的扩充方法实施例的具体描述，与前述提供的一种图像数据集的扩充方法实施例相对应，本技术还提供一种图像数据集的扩充装置实施例，请参看图5，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
[0198]
如图5所示，图5是是本技术提供的一种图像数据集的扩充装置实施例的结构示意图，该实施例包括：
[0199]
获取单元501，用于获取根据上述的图像处理方法生成的目标融合图像；所述获取单元501的具体内容参考上述步骤s101到步骤s104的具体描述，此处不再重复赘述。
[0200]
扩充单元502，用于根据所述目标融合图像扩充图像数据集。
[0201]
所述扩充单元502具体可以包括存储子单元，用于将所述目标融合图像作为图像分割模型的训练数据，存储到所述图像数据集中。关于所述扩充单元501的具体实现过程可以参考上述步骤s302的内容。
[0202]
以上是对本技术提供的一种图像数据集的扩充装置实施例的描述，对该装置实施例的理解可以参考上述相对应的方法实施例的描述，此处不再重复性赘述。
[0203]
结合上述内容，本技术还提供一种图像分割模型的训练方法，如图6所示，图6是本技术提供的一种图像分割模型的训练方法实施例的流程图，该训练方法实施例，包括：
[0204]
步骤s601：根据上述提供的图像数据集的扩充方法中扩充的图像数据集，获取图像数据；
[0205]
所述步骤s601的目的在于从图像数据集中获取图像数据，所述图像数据集是基于上述步骤s101到步骤s104中提供的图像处理方法获得的处理后的目标融合图像，根据步骤s301到步骤s302通过目标融合图像扩充图像数据集，扩充后的图像数据集相比扩充前图像数据集中的图像数据量更多，扩充后的图像数据集能够为图像分割模型提供大量的图像训练参数。
[0206]
步骤s602：将所述图像数据作为图像分割模型的训练参数，输入到所述图像分割模型中进行训练，获得训练后的图像分割模型；其中，所述训练后的图像分割模型能够将输入到所述图像分割模型中的待分割图像数据分割出前景图像或者背景图像。
[0207]
在本实施例中，所述前景图像可以是人体图像，也就是图像分割模型能够将待分割图像数据分割出人体图像或背景图像，或者人体图像和背景图像。
[0208]
结合上述内容，本技术还提供一种视频会议的图像处理方法，如图7所示，该视频会议的图像处理方法实施例，包括：
[0209]
步骤s701：获取视频会议中的视频会议图像；
[0210]
步骤s702：将所述视频会议图像输入到图像分割模型中进行学习，识别出所述视频会议图像中的人体图像；其中，所述图像分割模型为采用上述提供的图像数据集的扩充方法获得的图像数据集中的图像数据作为训练数据，训练获得的模型；
[0211]
步骤s703：对所述人体图像区域范围以外的图像进行虚化或者进行替换。
[0212]
结合上述内容，本技术还提供一种视频直播中视频数据的处理方法，如图8所示，所述视频直播中视频数据的处理方法实施例，包括：
[0213]
步骤s801：获取视频直播中的直播画面图像；
[0214]
步骤s802：将所述直播画面图像输入到图像分割模型中进行学习，识别出所述直播画面图像中的人体图像；其中，所述图像分割模型为采用上述提供的图像数据集的扩充方法获得的图像数据集中的图像数据作为训练数据，训练的模型；
[0215]
步骤s803：对所述人体图像区域范围以外的图像增加预设信息。所述预设信息可以展示在所述直播画面的指定区域，或者展示在所述直播画面人体图像区域以外的区域。且所述预设信息可以随着人体图像区域范围的变化而变化，也就是说，图像分割模型可以实时的对输入的直播画面图像进行学习识别，实时的确定人体图像的区域范围。
[0216]
基于上述内容，本技术还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
[0217]
所述程序在被读取执行时，执行如上述本技术提供的图像处理方法的步骤；或者，所述程序在被读取执行时，执行如上述本技术提供的数据集的扩充方法的步骤；或者，所述程序在被读取执行时，执行如上述本技术提供的图像分割模型的训练方法的；或者，所述程序在被读取执行时，执行如上述本技术提供的视频会议的图像处理方法的步骤；或者，所述程序在被读取执行时，执行如上述本技术提供的视频直播中视频数据的处理方法的步骤。
[0218]
如图9所示，图9是本技术提供的一种电子设备实施例的结构示意图，所述电子设备实施例包括：处理器901和存储器902；
[0219]
所述存储器902用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器901读取执行时，执行如上述本技术提供的图像处理方法的步骤；或者，所述程序在被读取执行时，执行如上述本技术提供的图像数据集的扩充方法的步骤；或者，所述程序在被读取执行时，执行如上述本技术提供的图像分割模型的训练方法的步骤；或者，所述程序在被读取执行时，执行如上述本技术提供的视频会议的图像处理方法的步骤；或者，所述程序在被读取执行时，执行如上述本技术提供的视频直播中视频数据的处理方法的步骤。
[0220]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0221]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0222]
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数
据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0223]
2、本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0224]
本技术虽然以较佳实施例公开如上，但其并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此本技术的保护范围应当以本技术权利要求所界定的范围为准。