图像处理方法、装置、存储介质和电子设备与流程

文档序号:28945574发布日期:2022-02-19 08:46阅读:70来源:国知局
图像处理方法、装置、存储介质和电子设备与流程

1.本公开涉及数据处理技术领域,尤其涉及一种图像处理方法、装置、存储介质和电子设备。


背景技术:

2.图像处理的相关技术中,常常会涉及利用预先构建的图像处理网络从待处理图像中提取图像特征,然后再基于待处理图像的图像特征生成处理后的图像。
3.为了提高图像处理网络提取图像特征的效率,减少图像处理网络的计算量,在涉及图像处理网络的图像处理技术中往往会对待处理图像进行下采样以获得分辨率较低的下采样图像,然后再用图像处理网络从下采样图像中提取图像特征。
4.现有的这种处理方法产生的处理后的图像,往往会出现空间维度(即空域)上的连续性差的问题,其中空域的连续性差表现为一个处理后的图像中局部区域相邻像素之间的过渡和原有的待处理图像不一致。


技术实现要素:

5.本公开提供一种图像处理方法、装置、存储介质和电子设备,以至少解决相关技术中处理后的图像在空域上连续性差的问题。本公开的技术方案如下:
6.根据本公开实施例的第一方面,提供一种图像处理方法,包括:
7.获取待处理图像;
8.将所述待处理图像输入图像处理网络,得到所述待处理图像的图像特征;
9.对所述待处理图像的图像特征的每个元素与所述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征;所述元素的相邻元素包括:位于所述待处理图像的图像特征中的以所述元素为中心的预设范围内的元素;
10.根据所述待处理图像的空域平滑图像特征,生成所述待处理图像对应的处理后的图像。
11.可选地,在一个实现方式中,所述将所述待处理图像输入图像处理网络,得到所述待处理图像的图像特征之后,还包括:
12.对所述待处理图像的图像特征的每个元素与所述元素的对应元素进行平滑处理,得到所述待处理图像的时域平滑图像特征;所述元素的对应元素包括:所述待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与所述元素相同位置的元素,或者,所述待处理图像在时域上相邻的前一个图像的图像特征中与所述元素相同位置的元素;
13.其中:所述对所述待处理图像的图像特征的每个元素与所述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征,包括:对所述待处理图像的时域平滑图像特征的每个元素与所述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征。
14.可选地,在一个实现方式中,所述对所述待处理图像的图像特征的每个元素与所
述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征之后,还包括:
15.对所述待处理图像的空域平滑图像特征的每个元素与所述元素的对应元素进行平滑处理,得到所述待处理图像的时域平滑图像特征;所述元素的对应元素包括:所述待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与所述元素相同位置的元素,或者,所述待处理图像在时域上相邻的前一个图像的空域平滑图像特征中与所述元素相同位置的元素;
16.其中:所述根据所述待处理图像的空域平滑图像特征,生成所述待处理图像对应的处理后的图像,包括:根据所述待处理图像的时域平滑图像特征,生成所述待处理图像对应的处理后的图像。
17.可选地,在一个实现方式中,所述对所述待处理图像的图像特征的每个元素与所述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征,包括:
18.根据所述图像特征所包含的特征图的属性,确定所述特征图的平滑核的尺寸;
19.将所述图像特征的每一个特征图的每一个元素和所述平滑核的中心对齐,并将每一个所述元素更新为所述平滑核所覆盖的所有元素的算术平均值或加权平均值;
20.将更新后的所有特征图的集合作为所述待处理图像的空域平滑图像特征。
21.可选地,在一个实现方式中,所述根据所述图像特征所包含的特征图的属性,确定所述特征图的平滑核的尺寸,包括:
22.根据所述特征图的尺寸、预设的最大平滑核尺寸和预设的最小平滑核尺寸的比较结果,确定所述特征图的平滑核的尺寸;
23.或者,计算所述特征图的梯度值,并根据所述特征图的梯度值计算得到所述特征图的平滑核的尺寸。
24.可选地,在一个实现方式中,所述对所述待处理图像的图像特征的每个元素与所述元素的对应元素进行平滑处理,得到所述待处理图像的时域平滑图像特征,包括:
25.将所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的图像特征,进行加权平均,得到所述待处理图像的时域平滑图像特征。
26.可选地,在一个实现方式中,所述对所述待处理图像的空域平滑图像特征的每个元素与所述元素的对应元素进行平滑处理,得到所述待处理图像的时域平滑图像特征,包括:
27.将所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的空域平滑图像特征,进行加权平均,得到所述待处理图像的时域平滑图像特征。
28.可选地,在一个实现方式中,还包括:
29.响应于所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或图像特征的相似度不小于相似度阈值,执行将所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的图像特征,进行加权平均,得到所述待处理图像的时域平滑图像特征;
30.响应于所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或图像特征者的相似度小于相似度阈值,将所述待处理图像的图像特征作为所述待处理图像的时域平滑图像特征。
31.可选地,在一个实现方式中,还包括:
32.响应于所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或空域平滑图像特征的相似度不小于相似度阈值,执行将所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的空域平滑图像特征,进行加权平均,得到所述待处理图像的时域平滑图像特征;
33.响应于所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或空域平滑图像特征的相似度小于相似度阈值,将所述待处理图像的空域平滑图像特征作为所述待处理图像的时域平滑图像特征。
34.可选地,在一个实现方式中,所述根据所述待处理图像的空域平滑图像特征,生成所述待处理图像对应的处理后的图像,包括:
35.对所述待处理图像的空域平滑图像特征包含的所有特征图求和,得到一个平滑特征图,并对所述平滑特征图进行系数插值,得到所述待处理图像的图像增强特征;其中,所述待处理图像的图像增强特征的尺寸和所述待处理图像的尺寸一致;
36.针对所述待处理图像的每一个像素点,根据所述待处理图像的图像增强特征中与所述像素点对应的元素,调整所述像素点的像素值,得到调整后的像素点,并将所有调整后的像素点组合为处理后的图像。
37.根据本公开实施例的第二方面,提供一种处理图像装置,包括:
38.获取单元,被配置为获取待处理图像;
39.处理单元,被配置为将所述待处理图像输入图像处理网络,得到所述待处理图像的图像特征;
40.第一平滑单元,被配置为对所述待处理图像的图像特征的每个元素与所述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征;所述元素的相邻元素包括:位于所述待处理图像的图像特征中的以所述元素为中心的预设范围内的元素;
41.生成单元,被配置为根据所述待处理图像的空域平滑图像特征,生成所述待处理图像对应的处理后的图像。
42.可选地,在一个实现方式中,还包括:
43.第二平滑单元,被配置为对所述待处理图像的图像特征的每个元素与所述元素的对应元素进行平滑处理,得到所述待处理图像的时域平滑图像特征;所述元素的对应元素包括:所述待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与所述元素相同位置的元素,或者,所述待处理图像在时域上相邻的前一个图像的图像特征中与所述元素相同位置的元素;
44.其中:所述第一平滑单元执行对所述待处理图像的图像特征的每个元素与所述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征时,被配置为:对所述待处理图像的时域平滑图像特征的每个元素与所述元素的相邻元素进行平滑处理,得到所述待处理图像的空域平滑图像特征。
45.可选地,在一个实现方式中,还包括:
46.第三平滑单元,被配置为对所述待处理图像的空域平滑图像特征的每个元素与所述元素的对应元素进行平滑处理,得到所述待处理图像的时域平滑图像特征;所述元素的对应元素包括:所述待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与所述
元素相同位置的元素,或者,所述待处理图像在时域上相邻的前一个图像的空域平滑图像特征中与所述元素相同位置的元素;
47.其中:所述生成单元执行根据所述待处理图像的空域平滑图像特征,生成所述待处理图像对应的处理后的图像时,被配置为:根据所述待处理图像的时域平滑图像特征,生成所述待处理图像对应的处理后的图像。
48.可选地,在一个实现方式中,所述第一平滑单元,包括:
49.确定单元,被配置为根据所述图像特征所包含的特征图的属性,确定所述特征图的平滑核的尺寸;
50.更新单元,被配置为将所述图像特征的每一个特征图的每一个元素和所述平滑核的中心对齐,并将每一个所述元素更新为所述平滑核所覆盖的所有元素的算术平均值或加权平均值;
51.获得单元,被配置为将更新后的所有特征图的集合作为所述待处理图像的空域平滑图像特征。
52.可选地,在一个实现方式中,所述确定单元,包括:
53.第一确定子单元,被配置为根据所述特征图的尺寸、预设的最大平滑核尺寸和预设的最小平滑核尺寸的比较结果,确定所述特征图的平滑核的尺寸;
54.或者,第二确定子单元,被配置为计算所述特征图的梯度值,并根据所述特征图的梯度值计算得到所述特征图的平滑核的尺寸。
55.可选地,在一个实现方式中,所述第二平滑单元,包括:
56.第一加权平均单元,被配置为将所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的图像特征,进行加权平均,得到所述待处理图像的时域平滑图像特征。
57.可选地,在一个实现方式中,所述第三平滑单元,包括:
58.第二加权平均单元,被配置为将所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的空域平滑图像特征,进行加权平均,得到所述待处理图像的时域平滑图像特征。
59.可选地,在一个实现方式中,还包括:
60.第一控制单元,被配置为响应于所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或图像特征的相似度不小于相似度阈值,控制所述第一加权平均单元执行将所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的图像特征,进行加权平均,得到所述待处理图像的时域平滑图像特征;
61.还被配置为响应于所述待处理图像的图像特征,与所述前一个图像的时域平滑图像特征或图像特征者的相似度小于相似度阈值,将所述待处理图像的图像特征作为所述待处理图像的时域平滑图像特征。
62.可选地,在一个实现方式中,还包括:
63.第二控制单元,被配置为响应于所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或空域平滑图像特征的相似度不小于相似度阈值,控制所述第二加权平均单元执行将所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或者所述前一个图像的空域平滑图像特征,进行加权平均,得到所述待处理
图像的时域平滑图像特征;
64.还被配置为响应于所述待处理图像的空域平滑图像特征,与所述前一个图像的时域平滑图像特征或空域平滑图像特征的相似度小于相似度阈值,将所述待处理图像的空域平滑图像特征作为所述待处理图像的时域平滑图像特征。
65.可选地,在一个实现方式中,所述生成单元,包括:
66.生成子单元,被配置为对所述待处理图像的空域平滑图像特征包含的所有特征图求和,得到一个平滑特征图,并对所述平滑特征图进行系数插值,得到所述待处理图像的图像增强特征;其中,所述待处理图像的图像增强特征的尺寸和所述待处理图像的尺寸一致;
67.调整单元,被配置为针对所述待处理图像的每一个像素点,根据所述待处理图像的图像增强特征中与所述像素点对应的元素,调整所述像素点的像素值,得到调整后的像素点,并将所有调整后的像素点组合为处理后的图像。
68.根据本公开实施例的第三方面,提供一种电子设备,包括:
69.处理器;
70.用于存储所述处理器可执行指令的存储器;
71.其中,所述处理器被配置为执行所述指令,以实现如本公开实施例第一方面的任意一项提供的图像处理方法。
72.根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例第一方面的任意一项提供的图像处理方法。
73.根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品被执行时,用于实现本公开实施例的第一方面所提供的任意一项图像处理方法。
74.本公开的实施例提供的技术方案至少带来以下有益效果:
75.通过对待处理图像的图像特征的每个元素与元素的相邻元素进行平滑处理,得到待处理图像的空域平滑图像特征,获得的空域平滑图像特征中的元素趋近于相邻元素,从而改善根据空域平滑图像特征产生的处理后的图像在空域上的连续性。
76.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
77.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
78.图1是根据一示例性实施例示出的一种现有的图像处理方法处理前的图像和处理后的图像的对比示意图;
79.图2是根据一示例性实施例示出的一种图像处理方法的流程图;
80.图3是根据一示例性实施例示出的另一种现有的图像处理方法获得的视频中连续的两个处理后的图像的示意图;
81.图4是根据一示例性实施例示出的另一种图像处理方法的流程图;
82.图5是根据一示例性实施例示出的一种利用空域平滑方法对图像特征进行处理的方法的流程图;
83.图6是根据一示例性实施例示出的一种利用时域平滑方法对图像特征进行处理的方法的流程图;
84.图7是根据一示例性实施例示出的再一种图像处理方法的流程图;
85.图8是根据一示例性实施例示出的一种基于本公开提供的图像处理方法处理后的图像和处理前的图像的对比示意图;
86.图9是根据一示例性实施例示出的另一种基于本公开提供的图像处理方法获得的视频中连续的两个处理后的图像的示意图;
87.图10是根据一示例性实施例示出的一种处理图像装置的框图;
88.图11是根据一示例性实施例示出的另一种处理图像装置的框图;
89.图12是根据一示例性实施例示出的又一种处理图像装置的框图;
90.图13是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
91.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
92.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
93.本公开所提出的方法,可以适用于任意一种通过预先训练的图像处理网络对待处理图像进行处理的图像处理任务,包括但不限于图像增强,图像的风格化,图像修复等。
94.如背景技术中的说明,现有的利用图像处理网络而实现的图像处理方法中,为了减少图像处理网络的计算量,往往会先对待处理图像进行下采样,得到对应的下采样图像,然后将下采样图像输入图像处理网络,以获得待处理图像的图像特征,最后结合待处理图像的图像特征和待处理图像生成处理后的图像。这种方法会导致处理后的图像在空域上的连续性比原有的待处理图像差。
95.其中,空域的连续性差可以表现为处理后的图像中的某些区域的过渡不自然(或者说和原有的待处理图像不一致)。空域连续性差的一种表现可以参考图1。图1左侧为待处理图像,图1右侧为对待处理图像进行图像的风格化处理后得到的处理后的图像。可以发现,待处理图像中的两个矩形框的区域内,除建筑物以外的背景像素的颜色基本一致,而在处理后的图像中,位于相同位置的两个矩形框的区域内,背景部分则出现了显著的不自然的边界。
96.针对上述问题,本公开提出一种图像处理方法,通过对图像处理网络输出的图像特征进行平滑处理,改善根据图像特征生成的处理后的图像在空域上的连续性。
97.图2是根据一示例性实施例示出的一种图像处理方法的流程图,如图2所示,图像处理方法,包括以下步骤。
98.在步骤s21中,获取待处理图像。
99.上述待处理图像可以包括一个独立的静态图像,例如,在某个场景下拍摄得到的一张照片,或者用户通过绘图软件绘制的图画,均属于独立的静态图像。
100.待处理图像还可以指代一段待处理视频中的每一个图像帧。例如,若需要对一段视频进行图像增强,假设这段视频包含1000个图像帧,则可以将其中的每一个图像帧均作为待处理图像,利用本公开任一实施例所提供的图像处理方法逐一处理待处理视频的每一图像帧,从而得到每一个图像帧对应的处理后的图像,最后,所有的处理后的图像依据待处理视频中对应的图像帧的顺序组合,就构成经过图像增强之后的处理后的视频。
101.在步骤s22中,将待处理图像输入图像处理网络,得到待处理图像的图像特征。
102.上述图像处理网络,是根据特定的图像处理任务,利用对应的多个训练样本预先训练得到的神经网络。
103.例如,若需要利用本实施例提供的方法对待处理图像进行图像增强,则用于训练神经网络的每一个训练样本,均包括一个原始图像和一个采用其他方式对原始图像进行图像增强得到的增强图像。
104.若需要利用本实施例提供的方对待处理图像进行图像的风格化处理,则每一个训练样本,均包括一个原始图像和一个采用其他方式对原始图像进行风格化处理后得到的风格化图像。
105.图像处理网络输出的待处理图像的图像特征一般包含n个特征图,n是图像处理网络的通道的数量,图像处理网络的每一个通道对应一个特征图。每一个特征图可以认为是一个w行h列的特征矩阵,构成每一个特征矩阵的各个数字,就相当于该特征矩阵(或者说特征图)的元素,w和h为预设的正整数,其具体的取值由图像处理网络的结构参数决定,而神经网路的结构参数可以在确定图像处理网络的结构时根据经验设定。图像特征包含的每个特征图的元素,则取决于图像处理网络的模型参数以及待处理图像中各个像素点的像素值,对于一个训练好的图像处理网络,其模型参数唯一确定,因此,图像处理网络输出的图像特征的每个特征图的元素,取决于待处理图像中各个像素点的像素值,换言之,图像特征包含的元素的值,反映了待处理图像中对应像素点的像素值。
106.在步骤s22中,用于提取待处理图像的图像特征的图像处理网络,可以包括若干个卷积层,每一个卷积层均设置有若干个通道,每个通道对应于一个卷积核,每一个卷积核可以认为是一个m行m列的矩阵,m为预先设定的图像处理网络的结构参数,每一个卷积核中元素的取值,就是在训练图像处理网络时需要确定的模型参数,一个图像处理网络训练完成之后,其中每一个卷积核的每个元素的取值就唯一确定。
107.每一个卷积层均用于利用自身的卷积核对输入进行卷积运算,其中,第一个卷积层的输入可以是待处理图像,也可以是对待处理图像进行下采样之后得到的下采样图像,第二个及以后的每一个卷积层的输入可以是前一个卷积层的输出,也可以是前一个卷积层的,经过池化层池化之后的输出,最后一个卷积层的输出,就作为图像处理网络输出的待处理图像的图像特征,图像特征包含的特征图的数量,就等于最后一个卷积层的通道数。
108.本公开提供的方法所用的图像处理网络,可以基于任意一种现有的图像处理网络的结构建立,利用大量训练样本对图像处理网络进行训练的方法也可以参考现有的任意一种图像处理网络的训练方法,此处不再详述。
109.包括图像增强,图像的风格化在内的多种图像处理任务,既可以使用训练好的图
像处理网络完成,也可以不使用图像处理网络,而采用其他的算法来完成。一般的,采用除图像处理网络以外的其他算法往往会需要对待处理图像循环地进行处理,通过多次循环找到一个最优的结果作为处理后的图像,而利用图像处理网络进行处理,只需要将待处理图像输入图像处理网络,然后经过图像处理网络的每一卷积层逐一进行计算,就可以获得处理后的图像。因此,在图像处理任务中,使用图像处理网络处理图像可以显著的提高图像处理的效率,从而在短时间内就可以获得大量的待处理图像对应的处理后的图像。
110.在步骤s23中,对待处理图像的图像特征的每个元素与元素的相邻元素进行平滑处理,得到待处理图像的空域平滑图像特征。
111.步骤s23中,对于一个图像特征的任意一个元素而言,该元素的相邻元素包括:位于这个图像特征中的以该元素为中心的预设范围内的元素。其中,预设范围的大小可以在进行平滑处理时,根据该元素所属的特征图的属性确定。
112.如步骤s23所述的,对一个图像特征的每个元素和该元素的相邻元素进行平滑处理,可以认为是,利用空域平滑方法对这个图像特征进行平滑处理。
113.空域平滑方法,可以是:针对每一个特征图中的任意一个元素a,获得元素a的值以及这个特征图中以元素a为中心的一定范围内的其他元素,然后计算获得的所有元素的加权平均值或算术平均值,并将元素a的值更新为计算得到的加权平均值或算术平均值,由此完成对元素a的基于空域平滑方法的平滑处理。通过对一个特征图中的每一个元素重复上述处理过程,就可以获得这个特征图对应的空域平滑特征图,对一个图像特征的所有特征图执行上述处理过程,得到每一个特征图对应的空域平滑特征图,所有空域平滑特征图的组合,就是这个图像特征对应的空域平滑特征。
114.结合图1所示的对比示意图,处理后的图像的某些局部区域出现不自然的过渡(即空域的连续性较差),可以认为是由于处理后的图像中,该区域内某些像素点的像素值和相邻的像素点的像素值之间的差值过大造成的,而原有的待处理图像中并不存在空域的连续性较差的问题,因此,可以认为局部区域内相邻像素点的像素值的差值过大,是因为图像处理网络输出的待处理图像的图像特征中,对应区域的元素相差过大。
115.通过将图像特征的每个特征图中的元素,更新为一定范围内多个相邻元素的算术平均值或加权平均值,可以使处理后得到的空域平滑特征中,每个元素均一定程度上趋近于相邻元素。因此,相比于图像处理网络直接输出的图像特征,利用空域平滑方法处理后得到的空域平滑特征中每两个相邻元素之间的差值会小于未利用空域平滑方法处理的图像特征中对应元素的差值。进一步的,根据空域平滑特征生成的处理后的图像中,每两个相邻像素点的像素值的差值也会小于,根据原有的图像特征生成的图像中对应的像素值的差值。反映在宏观的图像上,根据空域平滑特征生成的处理后的图像在空域上的连续性就优于根据图像处理网络输出的未经过空域平滑方法处理的图像特征生成的图像。
116.在步骤s24中,根据待处理图像的空域平滑图像特征,生成待处理图像对应的处理后的图像。
117.本实施例提供的图像处理方法,利用空域平滑方法对图像处理网络输出的图像特征进行处理,得到对应的空域平滑图像特征,由于空域平滑图像特征中,每一个元素,均是原本的未经过处理的图像特征中对应位置的元素和其相邻元素的加权平均值或算术平均值。相比于未经过处理的图像特征,空域平滑图像特征中每个元素均更接近于该元素的相
邻元素,因此,根据空域平滑图像特征生成的处理后的图像在空域上的连续性会更接近于原本的待处理图像,也就是相比于直接用未经过空域平滑方法处理的图像特征生成的处理后的图像在空域上有更好的连续性。
118.如前文所述,图像处理方法可以用于处理视频,得到由连续的若干帧处理后的图像组成的处理后的视频。将图像处理网络用于处理视频时,一方面组成处理后的视频的处理后的图像可能会出现前述空域的连续性差的问题,另一方面处理后的视频在播放时还可能会出现时域的连续性差的问题。
119.请参考图3,当采用现有的处理方法对一段视频中连续的若干个图像帧均进行图像的风格化处理时,就可能出现如图3所示的现象,图3左侧为视频中前一个图像帧被处理后得到的处理后的图像,右侧为视频中后一个图像帧被处理后得到的处理后的图像。
120.观察图3可以发现,原视频中前后两个图像帧所展示的内容基本一致,而两个处理后的图像的同一位置的矩形框内出现了不同形状的亮斑,若处理后的视频包含的每一帧处理后的图像均在不同的位置出现不同形状的亮斑,则播放处理后的视频时不同形状的亮斑会交替出现和消失,使得观众观察到部分区域出现闪烁,这种在视频播放过程中出现的闪烁,就是处理后的图像时域的连续性差的表现。
121.为了解决处理视频时出现的时域的连续性差的问题,本公开又一实施例提供了一种图像处理方法,请参考图4,该方法可以包括以下步骤:
122.在步骤s41中,获取待处理图像。
123.本实施例的目的在于改善利用图像处理网络处理得到的处理后的视频时域的连续性较差的问题,因此,步骤s41中的待处理图像指代待处理视频中的每一帧图像。利用本实施例的方法处理待处理视频的过程可以是,首先以待处理视频的第一帧图像作为待处理图像,利用本实施例提供的方法处理得到相应的第一帧处理后的图像,然后再利用本实施例提供的方法处理待处理视频的第二帧图像,得到第二帧处理后的图像,以此类推,最后将所有处理后的图像按顺序组合,就得到处理后的视频。
124.在步骤s42中,将待处理图像输入图像处理网络,得到待处理图像的图像特征。
125.在步骤s43中,分别利用空域平滑方法和时域平滑方法对待处理图像的图像特征进行平滑处理,得到待处理图像的平滑图像特征。
126.可选的,在步骤s43中,可以先对待处理图像的图像特征利用空域平滑方法进行平滑处理,得到这个待处理图像的空域平滑图像特征,然后再利用时域平滑方法对这个待处理图像的空域平滑图像特征进行平滑处理,得到这个待处理图像的时域平滑图像特征,并将处理得到的时域平滑图像特征作为这个待处理图像的平滑图像特征。
127.在这种方式中,步骤s43的执行过程可以是,首先以图2对应的实施例中步骤s23所述的空域平滑方法对待处理图像的图像特征进行平滑处理,得到待处理图像的空域平滑图像特征。
128.获得待处理图像的空域平滑图像特征后,利用时域平滑方法对待处理图像的空域平滑图像特征进行平滑处理,即可得到待处理图像的时域平滑图像特征。
129.利用时域平滑方法对空域平滑图像特征进行平滑处理的方法可以是:
130.对待处理图像的空域平滑图像特征的每个元素与元素的对应元素进行平滑处理,得到待处理图像的时域平滑图像特征。
131.待处理图像的空域平滑图像特征中一个元素的对应元素,可以指代,待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与该元素位于相同位置的元素,或者也可以指代,待处理图像在时域上相邻的前一个图像的空域平滑图像特征中与该元素位于相同位置的元素。
132.其中,当待处理图像是待处理视频中的第一帧图像时,可以不执行上述时域平滑方法,而直接以待处理图像的空域平滑图像特征作为待处理图像的时域平滑图像特征。
133.可选的,可以先对待处理图像的图像特征利用时域平滑方法进行平滑处理,得到待处理图像的时域平滑图像特征,再对待处理图像的时域平滑特征利用空域平滑方法进行平滑处理,得到待处理图像的空域平滑图像特征,并将待处理图像的空域平滑图像特征作为这个待处理图像的平滑图像特征。
134.其中,利用时域平滑方法对待处理图像的图像特征进行平滑处理的过程,可以是:对待处理图像的图像特征的每个元素与该元素的对应元素进行平滑处理,得到待处理图像的时域平滑图像特征。
135.一个待处理图像的图像特征中的元素的对应元素,可以指代,这个待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与这个元素位于相同位置的元素,或者可以指代,这个待处理图像在时域上相邻的前一个图像的图像特征中与元素相同位置的元素。
136.当待处理图像是待处理视频中的第一帧图像时,可以直接将待处理图像的图像特征作为这个待处理图像的时域平滑特征。
137.利用空域平滑方法对待处理图像的时域平滑图像特征进行平滑处理的方法,与前述图2对应的实施例的步骤s23类似,对时域平滑图像特征中的每个元素和该元素的相邻元素进行平滑处理即可,完成对时域平滑图像特征的每个元素的平滑处理后得到的空域平滑图像特征,就是依次经过时域平滑方法和空域平滑方法处理的,待处理图像的平滑图像特征。
138.在步骤s44中,根据待处理图像的平滑图像特征生成处理后的图像。
139.与前述空域平滑方法类似,本公开的时域平滑方法中所述的对一个元素和该元素的对应元素进行平滑处理,具体可以是,基于预设的权重对该元素和该元素的对应元素进行加权平均,并将该元素更新为加权平均得到的元素。
140.进一步的,结合前文对元素以及元素的对应元素的说明,利用时域平滑方法对待处理图像的图像特征进行平滑处理,可以理解为,对待处理图像的图像特征,和待处理视频中位于待处理图像的前一帧的图像的图像特征(或者前一帧的图像的时域平滑图像特征)中每两个位于相同位置的元素按预设的权重进行加权平均,将加权平均后的元素作为待处理图像的时域平滑图像特征中对应位置的元素。上述过程,也可以理解为,按预设的权重对待处理图像的图像特征,和待处理视频中位于待处理图像的前一帧的图像的图像特征(或者前一帧的图像的时域平滑图像特征)进行加权平均,将加权平均后得到的图像特征,作为待处理图像的时域平滑图像特征。
141.类似的,利用时域平滑方法对待处理图像的空域平滑图像特征进行平滑处理,也可以理解为,按预设的权重对待处理图像的空域平滑图像特征,和待处理视频中位于待处理图像的前一帧的图像的空域平滑图像特征(或者前一帧的图像的时域平滑图像特征)进
行加权平均,将加权平均后得到的图像特征,作为待处理图像的时域平滑图像特征。
142.参考图3,与空域的连续性差类似的,前后相邻的两个处理后的图像在时域上的连续性差,也可以认为是由前后两个处理后的图像中相同位置的像素点的像素值之间的差距过大导致的,而前后两个处理后的图像中像素点的像素值差值过大,又是由于前后两个图像的图像特征中相同位置的元素的差距过大导致的。
143.通过对待处理视频中每两帧前后相邻的图像的图像特征执行上述时域平滑方法,可以使待处理视频中,后一帧图像的时域平滑特征中的元素,趋近于前一个帧图像的时域平滑特征中的元素,从而减小根据时域平滑特征生成的前后两帧相邻的处理后的图像中相同位置的像素点的像素值的差值,进而避免连续的播放处理后的图像时出现闪烁的现象。
144.进一步的,由于步骤s43中分别利用时域平滑方法和空域平滑方法对待处理图像的图像特征进行处理,因此,最后得到的平滑图像特征,相比于图像处理网络直接输出的图像特征,既在空域上有较好的连续性,同时在时域上也具有较好的连续性。
145.下面请参考图5,图5是根据一示例性实施例示出的一种基于空域平滑方法对图像特征进行处理的方法的流程图,该方法可以包括以下步骤:
146.在步骤s51中,从图像特征中取出一个特征图并确定平滑核尺寸。
147.如前文所述,一个图像特征可以包括多个特征图(数量取决于图像处理网络的通道数),而空域平滑方法是对一个特征图内的相邻元素进行平滑处理,因此图像特征存在多个特征图时,需要逐一利用空域平滑方法处理其中的每一个特征图。
148.平滑核是一个满足以下条件的矩阵:
149.行数和列数均等于平滑核尺寸p,且p为大于1的奇数,矩阵中所有元素均为正数,且所有元素的和等于1。
150.如图5所示,图中的图像特征包含四个特征图,图中的平滑核是一个3行3列的矩阵,即平滑核尺寸为3。
151.在步骤s52中,利用平滑核扫描特征图的每一个元素,并更新被扫描的元素。
152.在一个特征图中每一个元素均被平滑核扫描,并且对应的值被更新之后,就得到这个特征图对应的空域平滑特征图。
153.扫描并更新完一个特征图之后,若待处理图像的图像特征中还有未处理的特征图,则继续执行步骤s51和步骤s52,直至获得待处理图像特征中的所有特征图对应的空域平滑特征图为止,所有空域平滑特征图的组合,就是待处理图像的空域平滑图像特征。
154.在步骤s51中,平滑核尺寸可以基于下述三种方法中的任意一种,结合特征图的属性确定。
155.第一种确定平滑核尺寸的方法是,将特征图的高(即特征图的行数)h和宽(即特征图的列数)w代入下述公式(1):
156.z=min[p1,max(p2,a
×
min(w,h))]
[0157]
其中,a为预设的系数因子,p1为预设的最大平滑核尺寸,p2为预设的最小平滑核尺寸。若上述公式(1)的结果z为奇数,则直接将z作为步骤s51中确定出来的平滑核尺寸p,若z不是奇数,则确定一个不大于z,且与z的差值最小的奇数作为平滑核尺寸p。
[0158]
结合图5,图5中特征图的行数和列数均为5,即上述公式中w和h均为5。
[0159]
第二种确定平滑核尺寸的方法是:
[0160]
首先利用下述公式(2)计算特征图的梯度值y:
[0161][0162]
上述公式中,x
i,j
表示表示特征图中第i行,第j列的元素。
[0163]
公式(2)的意思是,针对除特征图的最后一行和最后一列的元素以外的每一个元素,计算该元素和该元素下方的第一个元素的差值的绝对值,以及计算该元素和该元素右侧的第一个元素的差值的绝对值,将两个绝对值相加并求平均,将得到的结果作为该元素的梯度。
[0164]
最后,计算特征图中所有梯度的算术平均值,得到的结果就是这个特征图的梯度值。
[0165]
以图5的特征图为例,对于元素a11,计算a11和a12的差值的绝对值,以及a11和a21的元素的差值的绝对值,然后对两者求平均,得到的结果为a11的梯度。
[0166]
针对除最后一行(即a51至a55),最后一列(即a15至a45)的元素以外的每一个元素均可以按上述方法计算得到对应的梯度,最后计算所有梯度的算术平均值,得到的结果就是图5中的特征图的梯度值y。
[0167]
然后将特征图的梯度值y代入下述公式(3):
[0168]
z=min[p1,max(p2,b*y/mean)]
[0169]
其中,a为预设的系数因子,p1为预设的最大平滑核尺寸,p2为预设的最小平滑核尺寸。若上述公式(1)的结果z为奇数,则直接将z作为步骤s51中确定出来的平滑核尺寸p,若z不是奇数,则确定一个不大于z,且与z的差值最小的奇数作为平滑核尺寸p。
[0170]
公式(3)中mean为特征图的所有元素的均值,计算公式如下述公式(4)所示:
[0171][0172]
第三种确定平滑核尺寸的方法可以是,在利用空域平滑方法对一个特征图进行平滑处理时,可以不确定一个固定的平滑核尺寸,而是逐一确定被扫描的元素,然后,针对每一个被扫描的元素,利用前述公式(2)所示的计算特征图中单个元素的梯度的方法,计算这个被扫描的元素的梯度,然后根据这个被扫描的元素的梯度确定一个合适的平滑核尺寸,再基于确定尺寸后的平滑核所覆盖的元素更新被扫描的元素。
[0173]
也就是说,在用空域平滑方法对一个特征图进行平滑处理时,其平滑核尺寸可以根据被扫描的元素的梯度实时的进行调整。
[0174]
利用空域平滑方法对图像特征的每一个特征图进行平滑处理时,若平滑核的尺寸过大,会导致整个特征图的元素趋于相同,使得后续根据图像特征生成的处理后的图像的处理效果较差,而平滑核的尺寸过小又会导致平滑效果较差,以致于不能有效的改善处理后的图像在空域上的连续性,因此,需要根据特征图的尺寸或者梯度值选取一个合适的梯度值,以便处理后的图像既有显著的处理后的效果,又在空域上有良好的连续性。
[0175]
步骤s52中利用平滑核扫描特征图中的一个元素,是指,将平滑核的中心元素和被扫描的元素对齐,此时平滑核的其他元素会分别和被扫描的元素周围的其他元素对齐,也就是平滑核会覆盖被扫描的元素周围的其他元素。
[0176]
更新被扫描的元素,是指,将特征图中被平滑核覆盖的每一个元素均和平滑核中对齐的元素相乘,然后将所有的乘积累加得到一个数值,并将得到的数值作为更新后的元素。
[0177]
若平滑核的一部分位于特征图之外,则可以认为位于特征图之外的这部分平滑核的元素对应的特征图中的元素为0。
[0178]
当平滑核的所有元素均相等时,上述更新过程可以认为是,计算特征图中被平滑核覆盖的所有元素的算术平均值,然后将被扫描的元素更新为计算得到的算术平均值。这一处理过程可以认为是对特征图中被平滑核覆盖的所有元素进行均值滤波。
[0179]
当平滑核的所有元素不完全相等时,上述更新过程可以认为是,以平滑核中对应的元素作为权重,对特征图中被平滑核覆盖的所有元素计算加权平均值,然后将被扫描的元素更新为计算得到的加权平均值。这一处理过程可以认为是对特征图中被平滑核覆盖的所有元素进行高斯滤波。
[0180]
以图5为例,对特征图中的元素a11进行扫描时,平滑核覆盖了a11,a12,a21,a22四个元素,若进行均值滤波,则可以将a11,a12,a21,a22四个元素求和,然后用得到的和除以9,最后得到计算结果就是更新后的元素,即右侧空域平滑特征图中的b11。对元素a44进行扫描和更新的过程同理,将a33,a34,a35,a43,a44,a45,a53,a54,a55求和,用得到的和除以9,最后得到的计算结果就是右侧空域平滑特征图中的b44。
[0181]
从上述计算过程可以发现,更新后的元素包含原本的特征图中相邻元素(也就是被扫描时平滑核覆盖的其他元素)的一部分分量,因此,可以认为,相比于原有的特征图,用空域平滑方法处理后的空域平滑特征图中每个元素均在一定程度上趋近于相邻的元素,从而使根据多个空域平滑特征图组成的空域平滑特征生成的处理后的图像在空域上具有良好的连续性,避免处理后的图像出现不自然的过渡。
[0182]
如图4对应的实施例所述,待处理图像是一段待处理视频中的一帧图像时,可以先利用空域平滑方法对待处理图像的图像特征进行平滑处理,然后在利用时域平滑方法对空域平滑方法处理得到的空域平滑图像特征进行平滑处理,得到待处理图像的时域平滑图像特征,这种情况下,利用空域平滑方法对图像特征进行平滑处理的方法与图5所示的方法一致。
[0183]
在另一种情况中,也就是先利用时域平滑方法对待处理图像的图像特征进行平滑处理,得到时域平滑图像特征,然后再利用空域平滑方法对时域平滑图像特征进行平滑处理,得到空域平滑图像特征时,可以将图5所示的方法中被处理的对象,也就是待处理图像的图像特征,替换为待处理图像的时域平滑图像特征,然后执行图5所示的方法的对应步骤,由此可以得到利用空域平滑方法对待处理图像的时域平滑图像特征进行平滑处理后的空域平滑图像特征。
[0184]
图6是根据一示例性实施例示出的一种利用时域平滑方法对图像特征进行处理的方法的流程图,请参考图6,基于时域平滑方法对每一个图像特征进行处理的方法包括:
[0185]
需要说明的是,由于时域平滑方法只有在将本公开提供的图像处理方法应用于处理待处理视频时才会执行,为了方便理解本公开提供的时域平滑方法,本实施例以一段由连续的多帧待处理图像组成待处理视频为例,说明利用本公开提供时域平滑方法逐一对待处理视频中的每一帧待处理图像的图像特征(或空域平滑图像特征)进行处理的过程。
[0186]
在步骤s61中,将第一帧待处理图像的图像特征确定为第一帧待处理图像的时域平滑图像特征。
[0187]
在步骤s62中,将第二帧待处理图像确定为当前待处理图像。
[0188]
在步骤s63中,检测当前待处理图像的图像特征是否满足相似度条件。
[0189]
步骤s63的相似度条件,可以是当前待处理图像的图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征之间的相似度是否小于预设的相似度阈值。
[0190]
若当前待处理图像的图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征之间的相似度大于或等于预设的相似度阈值,则检测出当前待处理图像满足相似度条件,执行步骤s64。
[0191]
若当前待处理图像的图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征之间的相似度小于相似度阈值,则检测出当前待处理图像不满足相似度条件,执行步骤s65。
[0192]
在步骤s64中,基于预设的权重对当前待处理图像的图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征进行加权平均,得到当前待处理图像的时域平滑图像特征。
[0193]
在本公开的其他可选的实施例中,步骤s64也可以替换为,基于预设的权重,对当前待处理图像的图像特征,和当前待处理图像的前一帧待处理图像的图像特征进行加权平均。换言之,也就是在执行步骤s64所述的加权平均时,不用前一帧待处理图像的,利用时域平滑方法进行平滑处理后得到的时域平滑图像特征进行平滑处理,而是直接使用前一帧待处理图像的,未利用时域平滑方法进行平滑处理的图像特征进行加权平均。
[0194]
若上述加权平均时利用前一帧待处理图像的图像特征进行加权平均,则前述步骤s63中的相似度条件,可以对应的替换为:
[0195]
当前待处理图像的图像特征和当前待处理图像的前一帧待处理图像的图像特征之间的相似度是否小于预设的相似度阈值。
[0196]
设当前待处理图像是待处理视频的第t帧待处理图像,t大于或等于1,小于或等于待处理视频包含的帧的总数,当前待处理图像的前一帧为第t-1帧,将待处理图像的时域平滑图像特征记为cd,待处理图像的图像特征记为cn,并分别以下角标表示对应的是待处理视频的第几帧待处理图像的时域平滑图像特征和图像特征,即第t帧待处理图像的图像特征记为cn
t
,第t帧待处理图像的时域平滑图像特征记为cd
t
,第t-1帧待处理图像的时域平滑图像特征记为cd
t-1
,则步骤s64可以用下述公式(5)表示:
[0197]
cd
t
=lam
×
cn
t
+(1-lam)
×
cd
t-1
[0198]
其中lam为步骤s64中预设的权重。
[0199]
进一步的,考虑到任意一帧待处理图像的图像特征和时域平滑图像特征的维度相等,即图像特征和时域平滑图像特征均包括k个对应的特征矩阵(也可以称为特征图),每个特征矩阵均包括h行w列的元素,并用cd
t
(k,i,j)表示第t帧待处理图像的时域平滑图像特征中的第k个特征矩阵的第i行,第j列的元素,其他图像特征和时域平滑图像特征类似,则公式(5)可以写为下述公式(6):
[0200]
cd
t
(k,i,j)=lam
×
cn
t
(k,i,j)+(1-lam)
×
cd
t-1
(k,i,j)
[0201]
其中,k的取值范围是上限为k,下限为1的闭区间,其中,i的取值范围是上限为h,
下限为1的闭区间,j的取值范围是上限为w,下限为1的闭区间。
[0202]
也就是说,步骤s64是指,针对当前待处理图像的图像特征,和前一帧待处理图像的时域平滑图像特征,对这两个特征中属于同一位置的元素进行加权平均,得到当前待处理图像的时域平滑图像特征中对应位置的元素。
[0203]
在步骤s65中,将当前待处理图像的图像特征确定为当前待处理图像的时域平滑图像特征。
[0204]
在步骤s66中,若当前待处理图像不是最后一帧待处理图像,将后一帧待处理图像确定为当前待处理图像。
[0205]
步骤s66执行结束后,返回执行步骤s63,直至执行步骤s66之前,当前待处理图像是最后一帧待处理图像为止,换言之,也就是直至获得待处理视频的每一帧待处理图像的时域平滑图像特征为止。
[0206]
步骤s66是指,将执行步骤s66之前的当前待处理图像的后一帧待处理图像,确定为新的当前待处理图像。
[0207]
参考图6,若执行步骤s66之前当前待处理图像是待处理视频的第2帧待处理图像,则执行步骤s66时,将第2帧的后一帧,即第3帧待处理图像确定为当前待处理图像,若执行步骤s66之前当前待处理图像是待处理视频的第3帧待处理图像,则执行步骤s66时,将第3帧的后一帧,即第4帧待处理图像确定为当前待处理图像,以此类推。
[0208]
对于前述步骤s64,在获得当前待处理图像的时域平滑图像特征时,也可以不仅考虑当前待处理图像和当前待处理图像的前一帧待处理图像,而是可以进一步的检测当前待处理图像的后一帧待处理图像是否满足相似度条件,若当前待处理图像的后一帧待处理图像满足相似度条件,则步骤s64可以变更为,基于预设的权重对当前待处理图像的图像特征,当前待处理图像的后一帧待处理图像的图像特征,以及当前待处理图像的前一个图像帧的时域平滑图像特征,也就是共计三个图像特征进行加权平均,将得到的结果作为当前待处理图像的时域平滑图像特征。
[0209]
获得待处理视频的每一帧待处理图像的时域平滑图像特征之后,若后续不需要用空域平滑方法对待处理图像的时域平滑图像特征进行处理,则可以直接将每一帧待处理图像的时域平滑图像特征确定为这一帧待处理图像的平滑图像特征,若后续需要用空域平滑方法对每一帧待处理图像的时域平滑图像特征进行处理,则将空域平滑方法处理后得到的空域平滑图像特征确定为每一帧待处理图像的平滑图像特征。
[0210]
对于待处理视频中任意两帧前后相邻的待处理图像,若后一帧待处理图像的图像特征满足相似度条件,那么可以认为这两帧待处理图像的内容高度相似,通过对待处理视频中的每两帧前后相邻且高度相似的待处理图像的图像特征执行上述时域平滑方法,可以使后一帧待处理图像的时域平滑图像特征中的每一个元素,趋近于前一帧待处理图像的时域平滑图像特征中相同位置的元素,从而增强根据时域平滑图像特征生成的前后两个相邻的处理后的图像在时域上的连续性,避免或者减弱处理后的图像组合得到的处理后的视频在播放时出现的异常的闪烁。
[0211]
在步骤s63中,检测当前待处理图像的图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征的相似度是否小于相似度阈值时,将当前待处理图像记为待处理视频中的第t帧待处理图像,沿用前文步骤s64的标记,当前待处理图像的图像特征和当
前待处理图像的前一帧待处理图像的时域平滑图像特征的相似度可以采用下述公式(7)计算得到:
[0212][0213]
其中,d
t
表示当前待处理图像的图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征的相似度。
[0214]
可选的,考虑到上述相似度可能无法准确表示当前待处理图像的图像特征和前一帧待处理图像的时域平滑图像特征的相似度,可以先将上述相似度除以当前待处理图像对应的归一化系数dg
t
,得到归一化相似度d
t
/dg
t
,用归一化相似度和相似度阈值进行比较,并根据比较结果判断当前待处理图像的图像特征是否满足相似度条件。
[0215]
当前待处理图像对应的归一化系数dg
t
的计算公式如下述公式(8)所示:
[0216]
dg
t
=sig
×dt-1
+(1-sig)
×
dg
t-1
[0217]
也就是说,当前待处理图像对应的归一化系数dg
t
,等于前一帧待处理图像的归一化系数dg
t-1
和前一帧待处理图像对应的相似度d
t-1
的加权平均值,其中sig为预设的权重,sig是一个小于1的实数。
[0218]
对于待处理视频中第一帧待处理图像,其对应的归一化系数dg1相似度d
t
均设定为1。
[0219]
如图6所示的方法,除了可以直接对每一帧待处理图像的图像特征进行处理以外,也可以针对分别对每一帧待处理图像的图像特征的每一个特征图单独进行处理。
[0220]
例如,假设每一个图像特征有k个特征图,那么,图6所示的方法,可以是,首先将第一帧待处理图像的图像特征的第一特征图确定为第一帧待处理图像的第一时域平滑特征图,然后从第二帧待处理图像开始,逐一检测每一帧待处理图像的图像特征的第一特征图,和前一帧待处理图像的时域平滑图像特征的第一时域平滑特征图之间的相似度是否小于相似度阈值。
[0221]
对于相似度大于或等于相似度阈值的待处理图像,对该帧待处理图像的图像特征的第一特征图,和该帧的前一帧待处理图像的时域平滑图像特征中的第一时域平滑特征图进行加权平均,并将加权平均的结果作为该帧待处理图像的时域平滑图像特征的第一时域平滑特征图。
[0222]
在获得待处理视频的每一帧待处理图像的第一时域平滑特征图之后,重复上述方法,以获得待处理视频的每一帧待处理图像的第二时域平滑特征图,第三时域平滑特征图,以此类推,直至获得待处理视频的每一帧待处理图像的每一个时域平滑特征图,然后在将同一帧待处理图像的多个时域平滑特征图组合为该帧待处理图像的时域平滑图像特征。
[0223]
采用这种方式处理时,上述公式(6)可以改写为公式(9):
[0224]
cd
t,k
(i,j)=lam
×
cn
t,k
(i,j)+(1-lam)
×
cd
t-1,k
(i,j)
[0225]
即,将当前待处理图像的图像特征的第k个特征图中的元素,和前一帧待处理图像的时域平滑图像特征的第k个特征图中对应位置的元素进行加权平均,得到当前待处理图像的时域平滑图像特征中第k个时域平滑特征图的对应位置的元素。
[0226]
类似的,可以将公式(7)改写为下述公式(10):
[0227][0228]
公式(10)用于,在利用如图6所示的时域平滑方法逐一处理每帧待处理图像的图像特征中的第k个特征图时,计算得到当前待处理图像的图像特征的第k个特征图和前一帧待处理图像的时域平滑图像特征的第k个时域平滑特征图之间的相似度d
t,k

[0229]
对应的,针对第k个特征图执行图6所示的方法时,前述归一化系数也变更为dg
t,k
,其计算公式如下述公式(11):
[0230]
dg
t,k
=sig
×dt-1,k
+(1-sig)
×
dg
t-1,k
[0231]
公式(11)表示,针对第k个特征图执行图6所示的方法,当前待处理图像的在第k个特征图上的归一化系数dg
t,k
等于前一帧待处理图像的图像特征在第k个特征图上的相似度d
t-1,k
和前一帧待处理图像的图像特征在第k个特征图上的归一化系数dg
t-1,k
的加权平均值。同理,第一帧待处理图像的图像特征在每一个特征图上的归一化系数和相似度均设定为1。
[0232]
需要说明的是,如图6所示的基于时域平滑方法对图像特征进行处理的方法,也可以用于处理利用空域平滑方法处理后得到的空域平滑图像特征。
[0233]
将图6所示的方法用于处理利用空域平滑方法处理后得到的空域平滑图像特征的场合,也就是在对待处理视频进行处理时首先利用空域平滑方法对待处理视频包含的待处理图像的图像特征进行平滑处理,得到对应的空域平滑图像特征,然后再对待处理图像的空域平滑图像特征执行时域平滑方法的场合。如图6所示的实施例中的步骤可以进行如下替换:
[0234]
前述实施例中步骤s61可以替换为,将第一帧待处理图像的空域平滑图像特征确定为第一帧待处理图像的时域平滑图像特征。
[0235]
步骤s63可以替换为,检测当前待处理图像的空域平滑图像特征是否满足相似度条件,相似度条件可以是:
[0236]
可以是当前待处理图像的空域平滑图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征之间的相似度是否小于预设的相似度阈值。
[0237]
步骤s64可以替换为,基于预设的权重对当前待处理图像的空域平滑图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征进行加权平均,得到当前待处理图像的时域平滑图像特征。
[0238]
对应的,在当前待处理图像的空域平滑图像特征不满足相似度条件的情况下,步骤s65可以替换为,将当前待处理图像的空域平滑图像特征确定为当前待处理图像的时域平滑图像特征。
[0239]
可选的,前述步骤s64中,对当前待处理图像的空域平滑图像特征和前一帧待处理图像的时域平滑图像特征进行加权平均,也可以替换,对当前待处理图像的空域平滑图像特征和前一帧待处理图像的空域平滑图像特征进行加权平均,对应的,步骤s63中的相似度条件,可以是,当前待处理图像的空域平滑图像特征和当前待处理图像的前一帧待处理图像的时域平滑图像特征之间的相似度是否小于预设的相似度阈值。
[0240]
上述对于图6所示的方法中对应步骤的替换,是因为在处理待处理视频时,时域平
滑方法和空域平滑方法的执行顺序的变更而引起的,利用时域平滑方法进行平滑处理时处理对象的变更,替换后的步骤的具体执行过程均与图6所示的实施例中对应步骤的执行过程一致,只需要相应的将处理对象进行替换即可,此处不再赘述。
[0241]
在其他可选的实施例中,利用时域平滑方法对待处理图像的图像特征进行平滑处理时,也可以不执行如前述实施例的步骤s63所述的检测相似度的步骤,以及后续不满足相似度条件的情况下执行的步骤s65,而是直接执行步骤s64,也就是将当前待处理图像的图像特征和前一帧待处理图像的时域平滑图像特征进行加权平均,将加权平均的结果作为当前待处理图像的时域平滑图像特征。
[0242]
执行如步骤s63所述检测相似度的步骤的效果在于,当待处理视频中前后两帧待处理图像的内容区别较大,或者说前后两帧待处理图像的内容不相似时,这种情况若控制后一帧待处理图像的时域平滑特征趋近于前一帧待处理图像的时域平滑特征,就会导致后续基于时域平滑特征生成的后一个处理后的图像特征出现大量的干扰,导致最后生成后一帧待处理图像对应的处理后的图像无法还原出原本的待处理图像中的内容,因此,可以在检测出当前待处理图像的图像特征满足相似度条件之后再将当前待处理图像的图像特征和前一帧待处理图像的时域平滑特征进行加权平均,若不满足相似条件,则可以重置当前待处理图像的时域平滑特征,使当前待处理图像的时域平滑特征和当前待处理图像的图像特征一致,从而避免最后生成的处理后的图像的内容和原本的待处理图像的内容差别过大的问题。
[0243]
在利用时域平滑方法对待处理图像的图像特征(或者空域平滑图像特征)进行平滑处理时,把步骤s64中对当前待处理图像的图像特征(或者空域平滑图像特征)和前一帧待处理图像的时域平滑图像特征进行加权平均,替换为,对当前待处理图像的图像特征(或者空域平滑图像特征)和前一帧待处理图像的图像特征(或者空域平滑图像特征)进行加权平均的效果在于:
[0244]
在原本的处理方法,也就是将当前待处理图像的图像特征(或者空域平滑图像特征)和前一帧待处理图像的时域平滑图像特征进行加权平均,就意味着处理待处理视频的过程中,要用时域平滑方法对待处理视频的后一帧待处理图像的图像特征(或者空域平滑图像特征)进行平滑处理,就必须等待对前一帧待处理图像的图像特征(或者空域平滑图像特征)执行的时域平滑方法结束,获得前一帧待处理图像的时域平滑图像特征,导致用时域平滑方法处理整个待处理视频时,一次只能处理待处理视频中的一帧待处理图像的图像特征(或者空域平滑图像特征),处理速度较慢。
[0245]
而替换后,用时域平滑方法对待处理视频中任意一帧待处理图像的图像特征(或者空域平滑图像特征)进行平滑处理,就不需要依赖于前一帧待处理图像经过时域平滑方法处理后的处理结果,即不必等待前一帧待处理图像的时域平滑图像特征,这样,在计算资源充足的情况下,可以同时用时域平滑方法对待处理视频中多帧待处理图像的图像特征(或者空域平滑图像特征)进行平滑处理,由此可以提高用时域平滑方法处理待处理视频的速度。
[0246]
需要说明的是,在本公开实施例所提供的方法中,在执行时域平滑方法时,具体是对当前待处理图像的空域平滑图像特征和前一帧待处理图像的时域平滑图像特征进行加权平均,还是对当前待处理图像的空域平滑图像特征和前一帧待处理图像的空域平滑图像
特征进行加权平均,可以不做限定。
[0247]
一方面,可以在开始处理待处理视频时,可以任意指定本次处理过程中按前一种加权平均的方式,或者按后一种加权平均的方式执行时域平滑方法。若指定前一种加权平均的方式,在处理待处理视频的每一帧图像时,均对当前待处理图像的空域平滑图像特征和前一帧待处理图像的时域平滑图像特征进行加权平均,若指定后一种加权平均的方式,在处理待处理视频的每一帧图像时,均对当前待处理图像的空域平滑图像特征和前一帧待处理图像的空域平滑图像特征进行加权平均。
[0248]
另一方面,也可以不预先指定加权平均的方式,这种情况下,在视频处理过程中,若当前帧的待处理图像的前一帧同时存在未经过时域平滑的图像特征(或者空域平滑图像特征),和经过时域平滑的时域平滑图像特征,则可以从这两种图像特征中选择任意一种用于对当前帧的待处理图像的图像特征(或者空域平滑图像特征)进行加权平均,进一步可选的,也可以在逐一对当前帧的待处理图像的图像特征(或者空域平滑图像特征)的元素进行加权平均时,对其中一部分元素,使用前一帧的未经过时域平滑的图像特征(或者空域平滑图像特征)的元素进行加权平均,对另一部分元素,则使用前一帧的经过时域平滑的时域平滑图像特征的元素进行加权平均。
[0249]
相比于前述后一种加权方式,以及在处理过程中任意变更加权方式的方案,指定在整个视频处理过程中统一按前一种加权方式执行时域平滑方法,可以获得更好的时域平滑效果。具体的,时域平滑方法实质是通过加权平均的方式,使后一帧处理后的图像中的像素趋近于前一帧处理后的图像中对应位置的像素,从而减弱时域上的闪烁的现象。统一按前一种加权平均的方式执行时域平滑方法,可以让后一帧的时域平滑图像特征的元素更接近于前一帧的时域平滑图像特征的对应位置的元素,使得后一帧处理后的图像的像素更接近于前一帧处理后的图像中对应位置的元素,进而获得更好的时域平滑效果。
[0250]
最后以一段待处理视频的处理过程为例说明本公开提供的图像处理方法。在确定一段待处理视频之后,这段待处理视频的每一帧图像都相当于一帧待处理图像,首先,可以将待处理视频的每一帧待处理图像均输入图像处理网络,得到每一帧待处理图像的图像特征。
[0251]
随后,可以首先利用如图6所示的时域平滑方法对每一帧待处理图像的图像特征进行平滑处理,从而得到每一帧待处理图像的时域平滑图像特征。具体处理过程参考图6,此处不再详述。
[0252]
获得每一帧待处理图像的时域平滑图像特征后,可以利用如图5所示的空域平滑方法对每一帧待处理图像的时域平滑图像特征进行平滑处理,得到每一帧待处理图像的空域平滑图像特征,并且,将每一帧待处理图像的空域平滑图像特征,作为这一帧待处理图像的平滑图像特征。
[0253]
最后,对每一帧待处理图像,利用这一帧待处理图像的平滑图像特征生成这一帧待处理图像对应的一帧处理后的图像,将每一帧处理后的图像依据对应的待处理图像在待处理视频中的顺序进行组合,就可以得到待处理视频对应的处理后的视频。
[0254]
根据具体的图像处理任务的不同,本公开任一实施例中所述的针对待处理图像,根据待处理图像对应的平滑图像特征,生成待处理图像对应的处理后的图像的具体执行过程也不同。
[0255]
在一部分图像处理任务中,需要利用平滑图像特征对原本的待处理图像进行调整,从而获得处理后的图像。
[0256]
例如,图像增强任务就是这种图像处理任务。图像增强主要是通过调整待处理图像中各个像素点的像素值,以有目的的增强图像在某方面的特征,从而改善视觉效果。
[0257]
本公开提供的图像处理方法用于处理图像增强任务时,根据待处理图像对应的平滑图像特征,生成待处理图像对应的处理后的图像的具体执行过程可以是:
[0258]
将待处理图像的平滑图像特征包含的每一个特征图进行累加,得到待处理图像对应的一个平滑特征图(相当于一个矩阵)。
[0259]
然后对平滑特征图进行系数插值,以增大平滑特征图的尺寸,使得插值得到的图像增强特征(也可以理解为一个矩阵)和待处理图像的尺寸一致。系数插值是一种现有的增大图像的分辨率的方法,在本公开中,其基本工作原理可以是,针对平滑特征图中的任意两个位于同一行或者位于同一列的前后两个元素,将这两个元素代入预设的插值公式,然后将插值公式输出的计算结果作为这两个元素之间的新元素,由此完成对这两个元素的一次系数插值。在对整个平滑特征图进行系数插值以获得待处理图像的尺寸一致的图像增强特征,可以根据平滑特征图和待处理图像之间尺寸的差距,对平滑特征图中的一部分元素(例如,指定的若干行或者若干列的元素)重复进行多次系数插值,直至获得待处理图像的尺寸一致的图像增强特征为止。
[0260]
例如,对第一行和第二行中每两个位于同一列的元素进行系数插值,从而在原有的第一行和第二行之间新增一行元素,然后可以继续在原有的第一行和新增的第二行之间重复上述过程。
[0261]
由于图像增强特征的尺寸和待处理图像一致,图像增强特征的每一个元素均对应于待处理图像中同一位置的像素点,因此,可以针对待处理图像的每一个像素点,利用图像增强特征中与这个像素点对应的元素调整这个像素点的像素值,得到调整后的像素点,所有像素点均被调整之后,所有调整后的像素点就组成处理后的图像。
[0262]
可选的,上述调整的过程可以是,对于待处理图像的像素点,将该像素点的像素值,和图像增强特征中对应的元素相乘,将得到的乘积作为该像素点的调整后的像素值,由此得到调整后的像素点。
[0263]
在其他的图像增强的方法中,也可以将原本的像素值和对应的元素相加,或者相除,本公开对此不做限定。
[0264]
在另一部分图像处理任务中,可以直接将平滑图像特征合并成一个处理后的低分辨率图像,然后对处理后的低分辨率图像进行系数插值,得到和待处理图像的分辨率一致的处理后的图像。
[0265]
例如,对图像的风格化处理就是这一类图像处理任务。图像的风格化,是指,通过调整图像中各个像素点的像素值,以获得具有特定的艺术效果的风格化图像。当本公开提供的方法用于执行图像的风格化任务时,可以直接对平滑图像特征求和得到低分辨率的风格化图像,然后对低分辨率的风格化图像进行系数插值,得到和待处理图像的分辨率一致的风格化图像。
[0266]
本公开的另一示例性实施例还提供了一种图像处理方法,请参考图7,该方法可以包括以下步骤:
[0267]
在步骤s71中,利用图像处理网络提取得到每一个待处理图像的图像特征。
[0268]
步骤s71的具体执行过程可以参考图4对应的实施例中的步骤s41和步骤s42。
[0269]
在步骤s72中,针对每一个待处理图像,根据待处理图像的图像特征生成一次处理后的图像。
[0270]
步骤s72的具体过程可以参考步骤44。
[0271]
在步骤s73中,向用户显示每一个一次处理后的图像,并获得用户的对任意一个或多个一次处理后的图像的反馈。
[0272]
其中,若多个待处理图像是相互独立的静态图像,则步骤s73中向用户显示一次处理后的图像,可以是,确定一个间隔时长,针对每一个一次处理后的图像,在显示设备上持续显示这个一次处理后的图像,直至持续时间达到设定的间隔时长为止,再切换显示下一个一次处理后的图像。例如,可以设定间隔时长为60秒,则每一个一次处理后的图像均持续显示60秒,然后切换至下一个一次处理后的图像,再继续显示60秒。
[0273]
若前述多个待处理图像是一个待处理视频中连续的多帧待处理图像,则步骤s73中向用户显示一次处理后的图像,可以是,将所有一次处理后的图像依据待处理视频中对应的帧的顺序组合为一次处理后的视频,并以较低的视频播放速度播放一次处理后的视频,例如若正常速度下待处理视频可以播放20秒,则播放一次处理后的视频时可以用正常速度的四分之一播放,也就是说,一次处理后的视频将播放80秒。
[0274]
在步骤s74中,对每一个存在异常的一次处理后的图像的图像特征进行平滑处理,得到对应的平滑图像特征。
[0275]
任意一个一次处理后的图像是否存在异常,可以根据用户的反馈决定。
[0276]
例如,一次处理后的图像是多个相互独立的静态图像时,用户可以在任意一个一次处理后的图像中采用包括绘制矩形框在内的多种方式在一次处理后的图像中标记处存在不自然的过渡的区域,若用户对某个一次处理后的图像进行了标记,则将这个一次处理后的图像确定为存在异常的一次处理后的图像。
[0277]
多个一次处理后的图像组成一次处理后的视频并播放时,用户可以在观察到不自然的过渡或者闪烁时暂停视频播放,然后在暂停的画面中采用包括绘制矩形框在内的多种方式在当前显示的一次处理后的图像中标记处存在不自然的过渡或闪烁的区域。
[0278]
进一步的,若用户在存在异常的一次处理后的图像中标记出上述存在异常(即存在不自然的过渡或闪烁)的区域,那么,在执行步骤s74时,可以依据用户标记的区域确定出,对一次处理后的图像中存在异常的区域有影响的一部分图像特征,在利用空域平滑方法,以及时域平滑方法对对应的图像特征进行平滑处理时,只对这部分对一次处理后的图像中存在异常的区域有影响的图像特征进行平滑处理,而不对其他的图像特征进行平滑处理。
[0279]
在步骤s75中,针对每一个待处理图像的平滑图像特征,根据平滑图像特征生成二次处理后的图像。
[0280]
步骤s75的具体执行过程和前述步骤s34类似,不再详述。
[0281]
对于前述步骤s74,若用户在一次处理后的视频中标记出某帧一次处理后的图像存在异常,那么,在对图像特征进行平滑处理时,首先检测这个存在异常的一次处理后的图像的图像特征是否满足相似度条件,若满足,则从这个一次处理后的图像开始,逐一检测之
前的每一帧待处理图像的图像特征是否满足相似度条件,直至检测到位于这个存在异常的一次处理后的图像之前,且不满足相似度条件的一帧图像为止,然后以这一帧不满足相似度条件的待处理图像作为前述图6对应的实施例中的第一帧待处理图像,以执行如图6所示的用时域平滑方法处理每一帧待处理图像的图像特征的方法。
[0282]
一方面,当存在多个待处理图像的情况下,可能只有一部分待处理图像对应的图像特征会导致对应的处理后的图像出现时域和空域上连续性差的问题,而其他待处理图像的图像特征可能不存在这样的问题,本公开通过先获得一次处理后的图像并基于用户反馈确定存在异常的一次处理后的图像的方式,避免对不会导致时域和空域的连续性变差的图像特征进行处理,从而减少了本申公开提供的图像处理方法所消耗的计算资源。
[0283]
进一步的,在用户标记出一次处理后的图像中存在异常的区域的前提下,本实施例可以进一步识别出对存在异常的区域存在影响的一部分图像特征,并且只对这部分图像特征进行平滑处理,进一步减少处理图像时消耗的计算资源。
[0284]
为了直观的理解本公开提供的方法的有益效果,图8示出了基于本公开提供的图像处理方法处理后的图像和处理前的图像的对比示意图,图9示出了基于本公开提供的图像处理方法获得的视频中连续的两个处理后的图像的示意图。
[0285]
请参考图8,并结合图1,图8和图1均是对处理前的图像进行图像的风格化处理,可以发现,基于本公开提供的方法处理得到的图8右侧的处理后的图像中,两个矩形框内背景部分均未出现如图1中的不自然的过渡,而是与处理前的图像类似,即背景部分基本一致。
[0286]
请参考图9,并结合图3,图9和图3均是对视频中前后帧图像进行图像的风格化处理后得到的连续的两个处理后的图像。可以发现,相比于图3,图9中前后两个处理后的图像的矩形框中,亮斑均已消失。
[0287]
结合上述附图,可以发现,本公开提供的图像处理方法可以有效的改善通过图像处理网络处理后的图像在时域和空域上的连续性。
[0288]
图10是根据一示例性实施例示出的一种处理图像的装置的框图。该装置可以包括:
[0289]
获取单元1001,被配置为获取待处理图像;
[0290]
处理单元1002,被配置为将待处理图像输入图像处理网络,得到待处理图像的图像特征;
[0291]
第一平滑单元1003,被配置为对待处理图像的图像特征的每个元素与元素的相邻元素进行平滑处理,得到待处理图像的空域平滑图像特征。
[0292]
元素的相邻元素包括:位于待处理图像的图像特征中的以元素为中心的预设范围内的元素。
[0293]
生成单元1004,被配置为根据待处理图像的空域平滑图像特征,生成待处理图像对应的处理后的图像。
[0294]
本公开的实施例提供的技术方案至少带来以下有益效果:
[0295]
第一平滑单元通过对图像特征进行平滑处理,使获得的空域平滑图像特征中的元素趋近于相邻元素,从而改善根据空域平滑图像特征产生的处理后的图像在空域上的连续性。
[0296]
可选的,第一平滑单元1003,包括:
[0297]
确定单元,被配置为根据图像特征所包含的特征图的属性,确定特征图的平滑核的尺寸。
[0298]
更新单元,被配置为将图像特征的每一个特征图的每一个元素和平滑核的中心对齐,并将每一个元素更新为平滑核所覆盖的所有元素的算术平均值或加权平均值。
[0299]
获得单元,被配置为将更新后的所有特征图的集合作为待处理图像的空域平滑图像特征。
[0300]
可选的,确定单元可以包括:
[0301]
第一确定子单元,被配置为根据特征图的尺寸、预设的最大平滑核尺寸和预设的最小平滑核尺寸的比较结果,确定特征图的平滑核的尺寸;
[0302]
或者,第二确定子单元,被配置为计算特征图的梯度值,并根据特征图的梯度值计算得到特征图的平滑核的尺寸。
[0303]
可选的,生成单元,包括:
[0304]
生成子单元,被配置为对待处理图像的空域平滑图像特征包含的所有特征图求和,得到一个平滑特征图,并对平滑特征图进行系数插值,得到待处理图像的图像增强特征;其中,待处理图像的图像增强特征的尺寸和待处理图像的尺寸一致;
[0305]
调整单元,被配置为针对待处理图像的每一个像素点,根据待处理图像的图像增强特征中与像素点对应的元素,调整像素点的像素值,得到调整后的像素点,并将所有调整后的像素点组合为处理后的图像。
[0306]
图11是根据一示例性实施例示出的一种处理图像的装置的框图,该装置可以包括:
[0307]
获取单元1101,被配置为获取待处理图像。
[0308]
处理单元1102,被配置为将待处理图像输入图像处理网络,得到待处理图像的图像特征。
[0309]
第二平滑单元1103,被配置为对待处理图像的图像特征的每个元素与元素的对应元素进行平滑处理,得到待处理图像的时域平滑图像特征。
[0310]
元素的对应元素包括:待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与元素相同位置的元素,或者,待处理图像在时域上相邻的前一个图像的图像特征中与元素相同位置的元素。
[0311]
第一平滑单元1104,被配置为对待处理图像的时域平滑图像特征的每个元素与元素的相邻元素进行平滑处理,得到待处理图像的空域平滑图像特征。
[0312]
元素的相邻元素包括:位于待处理图像的图像特征中的以元素为中心的预设范围内的元素。
[0313]
生成单元1105,被配置为根据待处理图像的空域平滑图像特征,生成待处理图像对应的处理后的图像。
[0314]
可选的,第二平滑单元,包括:
[0315]
第一加权平均单元,被配置为将待处理图像的图像特征,与前一个图像的时域平滑图像特征或者前一个图像的图像特征,进行加权平均,得到待处理图像的时域平滑图像特征。
[0316]
可选的,第二平滑单元还包括:
[0317]
第一控制单元,被配置为响应于待处理图像的图像特征,与前一个图像的时域平滑图像特征或图像特征的相似度不小于相似度阈值,控制第一加权平均单元执行将待处理图像的图像特征,与前一个图像的时域平滑图像特征或者前一个图像的图像特征,进行加权平均,得到待处理图像的时域平滑图像特征;
[0318]
还被配置为响应于待处理图像的图像特征,与前一个图像的时域平滑图像特征或图像特征者的相似度小于相似度阈值,将待处理图像的图像特征作为待处理图像的时域平滑图像特征。
[0319]
图12是根据一示例性实施例示出的一种处理图像的装置的框图,该装置可以包括:
[0320]
获取单元1201,被配置为获取待处理图像。
[0321]
处理单元1202,被配置为将待处理图像输入图像处理网络,得到待处理图像的图像特征。
[0322]
第一平滑单元1203,被配置为对待处理图像的时域平滑图像特征的每个元素与元素的相邻元素进行平滑处理,得到待处理图像的空域平滑图像特征。
[0323]
元素的相邻元素包括:位于待处理图像的图像特征中的以元素为中心的预设范围内的元素。
[0324]
第三平滑单元1204,被配置为对待处理图像的空域平滑图像特征的每个元素与元素的对应元素进行平滑处理,得到待处理图像的时域平滑图像特征。
[0325]
元素的对应元素包括:待处理图像在时域上相邻的前一个图像的时域平滑图像特征中与元素相同位置的元素,或者,待处理图像在时域上相邻的前一个图像的空域平滑图像特征中与元素相同位置的元素。
[0326]
生成单元1205,根据待处理图像的时域平滑图像特征,生成待处理图像对应的处理后的图像。
[0327]
可选的,第三平滑单元,包括:
[0328]
第二加权平均单元,被配置为将待处理图像的空域平滑图像特征,与前一个图像的时域平滑图像特征或者前一个图像的空域平滑图像特征,进行加权平均,得到待处理图像的时域平滑图像特征。
[0329]
可选的,第三平滑单元还包括:
[0330]
第二控制单元,被配置为响应于待处理图像的空域平滑图像特征,与前一个图像的时域平滑图像特征或空域平滑图像特征的相似度不小于相似度阈值,控制第二加权平均单元执行将待处理图像的空域平滑图像特征,与前一个图像的时域平滑图像特征或者前一个图像的空域平滑图像特征,进行加权平均,得到待处理图像的时域平滑图像特征;
[0331]
还被配置为响应于待处理图像的空域平滑图像特征,与前一个图像的时域平滑图像特征或空域平滑图像特征的相似度小于相似度阈值,将待处理图像的空域平滑图像特征作为待处理图像的时域平滑图像特征。
[0332]
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0333]
图13是根据一示例性实施例示出的一种用于执行前述图像处理方法的电子设备的框图,该电子设备包括处理器1301,和用于存储所述处理器可执行指令的存储器1302。
[0334]
其中,处理器1301被配置为执行所述指令,以实现如本公开任一实施例提供的图像处理方法。
[0335]
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由图13所示的电子设备的处理器1301执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0336]
在示例性实施例中,还提供一种计算机程序产品,该计算机程序产品被执行时,用于实现本公开任一实施例提供的图像处理方法。
[0337]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
[0338]
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1