图像处理方法及装置、电子设备及存储介质与流程

文档序号:25612835发布日期:2021-06-25 15:23阅读:79来源:国知局
图像处理方法及装置、电子设备及存储介质与流程

1.本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、电子设备及存储介质。


背景技术:

2.在图像处理领域中,通常采用对除特定对象所覆盖的像素点区域(下文将称为背景区域)进行虚化处理的方式,突出该特定对象。例如,假设特定对象为人像,那么通过对图像中除人像区域之外的区域进行虚化处理,可突出人像,并弱化背景区域。但目前的方法对图像的虚化效果不佳。


技术实现要素:

3.本申请提供一种图像处理方法及装置、电子设备及存储介质。
4.第一方面,提供了一种图像处理方法,所述方法包括:
5.获取待处理图像;
6.提取所述待处理图像的颜色通道得到第一图像,提取所述待处理图像的亮度通道得到第二图像;
7.对所述第一图像进行虚化处理得到第三图像,并对所述第二图像进行虚化处理得到第四图像;
8.合并所述第三图像和所述第四图像,得到所述待处理图像的虚化图像。
9.在该方面,由于第三图像为对待处理图像的颜色通道进行虚化处理得到的图像,第四图像为对待处理图像的亮度通道进行虚化处理得到的图像,图像处理装置通过合并第三图像和第四图像,可得到既对待处理图像的颜色通道进行虚化处理又对待处理图像的亮度通道进行虚化处理得到的图像,从而降低色块的程度和光晕的程度,提升待处理图像的虚化图像的虚化效果。
10.结合本申请任一实施方式,所述对所述第一图像进行虚化处理得到第三图像,并对所述第二图像进行虚化处理得到第四图像,包括:
11.获取第一模糊核和第二模糊核;其中,所述第一模糊核对应的第一比值和所述第一图像对应的第二比值相等,所述第一比值为所述第一模糊核的尺寸与所述第二模糊核的尺寸的比值,所述第二比值为所述第一图像的尺寸与所述第二图像的尺寸的比值;
12.使用所述第一模糊核对所述第一图像进行虚化处理,得到所述第三图像;
13.使用所述第二模糊核对所述第二图像进行虚化处理,得到所述第四图像。
14.在该种实施方式中,由于第一比值与第二比值相等,图像处理装置使用第一模糊核对第一图像进行处理以及使用第二模糊核对第二图像进行处理,可提升对颜色通道的虚化处理与对亮度通道的虚化处理的一致性,进而降低色块的程度和光晕的程度,从而提升待处理图像的虚化效果。
15.结合本申请任一实施方式,所述第一模糊核通过对所述第二模糊核进行下采样处
理得到。
16.在该种实施方式中,由于第一模糊核通过对第二模糊核进行下采样处理得到,图像处理装置在通过滑动第一模糊核和第二模糊核,完成对第一图像和第二图像的虚化处理的过程中,可提升对待处理图像中每个像素点的颜色通道的虚化处理和亮度通道的虚化处理的一致性。进而可提升对待处理图像的颜色通道的虚化处理和对待处理图像的亮度通道的虚化处理的一致性,从而提升待处理图像的虚化图像的虚化效果。
17.结合本申请任一实施方式,所述第一模糊核的形状和所述第二模糊核的形状相同。
18.在对图像的背景区域进行虚化同时,还在背景区域中添加光斑,可增加趣味性,丰富图像的多样性。
19.在该种实施方式中,由于模糊核的形状将影响虚化后的图像中的光斑的形状,在第一模糊核的形状和第二模糊核的形状相同的情况下,可使第三图像中的光斑的形状与第四图像中的光斑的形状相同,进而提升对颜色通道的虚化处理与对亮度通道的虚化处理的一致性,进而降低色块的程度和光晕的程度,从而提升待处理图像的虚化效果。
20.结合本申请任一实施方式,所述待处理图像包括前景对象;
21.所述使用所述第一模糊核对所述第一图像进行虚化处理,得到所述第三图像,包括:
22.使用所述第一模糊核对第一待虚化像素点区域进行虚化处理,得到所述第三图像;所述第一待虚化像素点区域为所述第一图像中除所述前景对象覆盖的像素点区域之外的像素点区域;
23.所述使用所述第二模糊核对所述第二图像进行虚化处理,得到所述第四图像,包括:
24.使用所述第二模糊核对第二待虚化像素点区域进行虚化处理,得到所述第四图像;所述第二待虚化像素点区域为所述第二图像中除所述前景对象覆盖的像素点区域之外的像素点区域。
25.在该种实施方式中,图像处理装置在计算待虚化像素点的像素点邻域中像素值的均值时,只考虑第一待虚化区域内的像素点的像素值,而不考虑前景区域内的像素点的像素值。这样,可降低前景区域内的像素点的像素值对均值的影响。进而在将均值作为待虚化像素点的像素值时,可降低待虚化像素点的语义信息与第一待虚化像素点区域内的像素点的语义信息的差异。
26.因此,图像处理装置通过对第一待虚化像素点区域进行虚化处理,完成对第一图像的虚化处理,可提升对第一图像的虚化效果,得到第三图像。图像处理装置通过对第二待虚化像素点区域进行虚化处理,完成对第二图像的虚化处理,可提升对第二图像的虚化效果,得到第四图像。
27.结合本申请任一实施方式,所述前景对象为人物。
28.第二方面,提供了一种图像处理装置,该装置包括:
29.获取单元,用于获取待处理图像;
30.提取单元,用于提取所述待处理图像的颜色通道得到第一图像,提取所述待处理图像的亮度通道得到第二图像;
31.虚化处理单元,用于对所述第一图像进行虚化处理得到第三图像,并对所述第二图像进行虚化处理得到第四图像;
32.合并单元,用于合并所述第三图像和所述第四图像,得到所述待处理图像的虚化图像。
33.结合本申请任一实施方式,所述虚化处理单元,用于:
34.获取第一模糊核和第二模糊核;其中,所述第一模糊核对应的第一比值和所述第一图像对应的第二比值相等,所述第一比值为所述第一模糊核的尺寸与所述第二模糊核的尺寸的比值,所述第二比值为所述第一图像的尺寸与所述第二图像的尺寸的比值;
35.使用所述第一模糊核对所述第一图像进行虚化处理,得到所述第三图像;
36.使用所述第二模糊核对所述第二图像进行虚化处理,得到所述第四图像。
37.结合本申请任一实施方式,所述第一模糊核通过对所述第二模糊核进行下采样处理得到。
38.结合本申请任一实施方式,所述第一模糊核的形状和所述第二模糊核的形状相同。
39.结合本申请任一实施方式,所述待处理图像包括前景对象;
40.所述虚化处理单元,用于:
41.使用所述第一模糊核对第一待虚化像素点区域进行虚化处理,得到所述第三图像;所述第一待虚化像素点区域为所述第一图像中除所述前景对象覆盖的像素点区域之外的像素点区域;
42.使用所述第二模糊核对第二待虚化像素点区域进行虚化处理,得到所述第四图像;所述第二待虚化像素点区域为所述第二图像中除所述前景对象覆盖的像素点区域之外的像素点区域。
43.结合本申请任一实施方式,所述前景对象为人物。
44.第三方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
45.第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
46.第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
47.第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
48.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
49.为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
50.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
51.图1为本申请实施例提供的一种图像处理方法的流程示意图;
52.图2为本申请实施例提供的一种模糊核示意图;
53.图3a为本申请实施例提供的另一种模糊核示意图;
54.图3b为本申请实施例提供的一种被虚化像素点邻域示意图;
55.图4a为本申请实施例提供的另一种被虚化像素点邻域示意图;
56.图4b为本申请实施例提供的另一种模糊核示意图;
57.图5a为本申请实施例提供的一种第一图像示意图;
58.图5b为本申请实施例提供的一种第二图像示意图;
59.图6a为本申请实施例提供的一种第一模糊核示意图;
60.图6b为本申请实施例提供的一种第二模糊核示意图;
61.图7为本申请实施例提供的一种圆形模糊核示意图;
62.图8为本申请实施例提供的一种三角形模糊核示意图;
63.图9为本申请实施例提供的一种图像处理装置的结构示意图;
64.图10为本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
65.为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
66.本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
67.应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。
68.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包
含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
69.在图像处理领域中,通常采用对除特定对象所覆盖的像素点区域(下文将称为背景区域)进行虚化处理的方式,突出该特定对象。例如,假设特定对象为人像,那么通过对图像中除人像区域之外的区域进行虚化处理,可突出人像,并弱化背景区域。
70.图像通常包含颜色通道和亮度通道。由于对颜色通道的虚化处理复杂且耗时较长,在目前的方法中,为简化图像的虚化处理过程以及提升虚化处理的速度,通常只对亮度通道进行虚化处理,而不对颜色通道进行虚化处理,或对亮度通道进行复杂的虚化处理,而对颜色通道进行简单的虚化处理,其中,简单是相较于对亮度通道所做的虚化处理的复杂度而言的。这就导致对颜色通道的虚化处理与对亮度通道的虚化处理不一致,进而导致在对图像进行虚化处理得到的虚化图像中,易出现色块和光晕。且颜色通道的虚化处理与亮度通道的虚化处理的差异越大,色块的程度和光晕的程度越大,其中,色块的程度与色块的大小呈正相关,色块的程度还与色块的亮度呈正相关,色块的程度还与色块的数量呈正相关,光晕的程度与光晕的大小呈正相关,光晕的程度还与光晕的亮度呈正相关,光晕的程度还与光晕的数量呈正相关。
71.基于此,本申请实施例提供了一种技术方案,以降低虚化图像中色块的程度和光晕的程度,从而提升虚化效果。
72.本申请实施例的执行主体为图像处理装置,其中,图像处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,图像处理装置可以是以下中的一种:手机、计算机、服务器、平板电脑。
73.应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种图像处理方法的流程示意图。
74.101、获取待处理图像。
75.本申请实施例中,待处理图像可以是任意图像。例如,待处理图像可以包含人物;又例如,待处理图像可以包含车辆。本申请对待处理图像所包含的内容不做限定。
76.在一种获取待处理图像的实现方式中,图像处理装置接收用户通过输入组件输入的待处理图像获取待处理图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
77.在另一种获取待处理图像的实现方式中,图像处理装置接收终端发送的待处理图像获取待处理图像。可选的,终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
78.在又一种获取待处理图像的实现方式中,图像处理装置装载有摄像组件,其中,摄像组件包括摄像头。图像处理装置通过使用摄像组件采集包含待分割对象的图像作为待处理图像。
79.在又一种获取待处理图像的实现方式中,图像处理装置从获取到的视频流中选取一帧图像作为待处理图像。
80.102、提取上述待处理图像的颜色通道得到第一图像,提取上述待处理图像的亮度
通道得到第二图像。
81.本申请实施例中,待处理图像的颜色通道包括待处理图像在yuv色彩空间模式下的色度信息,待处理图像的亮度通道包括待处理图像在yuv色彩空间模式下的亮度信息。即颜色通道包括u通道的信息和v通道的信息,亮度通道包括y通道的信息。
82.图像处理装置通过提取出u通道的信息和v通道的信息得到第一图像,通过提取出y通道的信息得到第二图像。
83.可选的,在待处理图像的色彩空间模式不是yuv色彩空间模式的情况下,图像处理装置先将待处理图像的色彩空间模式转换为yuv色彩空间模式,得到中间图像。再提取出中间图像中的u通道和v通道得到第一图像,提取出中间图像中的y通道得到第二图像。
84.例如,在待处理图像为rgb图像的情况下,图像处理装置将待处理图像的色彩空间模式转换为yuv色彩空间模式,得到中间图像。提取出中间图像的u通道和v通道得到第一图像,提取出中间图像的y通道得到第二图像。
85.103、对上述第一图像进行虚化处理得到第三图像,并对上述第二图像进行虚化处理得到第四图像。
86.本步骤中,图像处理装置通过对第一图像进行虚化处理,实现对待处理图像的颜色通道进行虚化处理,得到第三图像。图像处理装置通过对第二图像进行虚化处理,实现对待处理图像的亮度通道进行虚化处理,得到第四图像。即在本实施中,图像处理装置既对待处理图像的颜色通道进行虚化处理,又对待处理图像的亮度通道进行虚化处理。
87.104、合并上述第三图像和上述第四图像,得到上述待处理图像的虚化图像。
88.将第三图像作为一个通道的图像、将第四图像作为一个通道的图像,合并第三图像和第四图像,可得到一张包含第三通道和第四通道的图像,即待处理图像的虚化图像。
89.由于第三图像为对待处理图像的颜色通道进行虚化处理得到的图像,第四图像为对待处理图像的亮度通道进行虚化处理得到的图像,图像处理装置通过合并第三图像和第四图像,可得到既对待处理图像的颜色通道进行虚化处理又对待处理图像的亮度通道进行虚化处理得到的图像,从而降低色块的程度和光晕的程度,提升待处理图像的虚化图像的虚化效果。
90.作为一种可选的实施方式,图像处理装置在执行步骤103的过程中执行以下步骤:
91.1、获取第一模糊核和第二模糊核。
92.本步骤中的模糊核(包括第一模糊核和第二模糊核)可以是包含至少两个参数的二维矩阵。例如,图2所示为尺寸为3*3的模糊核,其中,a、b、c、d、e、f、g、h、i均为模糊核的参数。
93.使用模糊核对像素点邻域进行处理,可将该像素点邻域中的像素值进行加权平均,从而使像素点模糊,其中,像素值的权重为模糊核中与该像素值对应的参数。为表述方便,下文将被模糊核处理的像素点邻域称为被虚化像素点邻域。
94.例如,使用图3a所示的模糊核对图3b所示的被虚化像素点邻域中的像素点e进行虚化处理,得到的像素点e的像素值(下文将称为虚化后的像素值e)满足下式:虚化后的像素值e=(参数a
×
像素点a的像素值+参数b
×
像素点b的像素值+参数c
×
像素点c的像素值+参数d
×
像素点d的像素值+参数e
×
像素点e的像素值+参数f
×
像素点f的像素值+参数g
×
像素点g的像素值+参数h
×
像素点h的像素值+参数i
×
像素点i的像素值)/9。
95.又例如,图4a所示的被虚化像素点邻域为基于像素点d构建的像素点邻域,使用图4b所示的模糊核对图4a所示的被虚化像素点邻域中的像素点d进行虚化处理后得到的像素点d的像素值(下文将称为虚化后的像素值d)满足下式:虚化后的像素值d=(参数a
×
像素点a的像素值+参数b
×
像素点b的像素值+参数c
×
像素点c的像素值+参数d
×
像素点d的像素值)/4。
96.本步骤中,第一模糊核对应的第一比值和第一图像对应的第二比值相等,其中,第一比值为第一模糊核的尺寸与第二模糊核的尺寸的比值,第二比值为第一图像的尺寸与第二图像的尺寸的比值。
97.例如,第一图像的尺寸为100*100,第二图像的尺寸为25*25,即第二比值为4。那么第一比值也为4(如第一模糊核的尺寸为4*4,第二模糊核的尺寸为1*1)。
98.在一种获取第一模糊核的实现方式中,图像处理装置接收用户通过输入组件输入的第一模糊核获取第一模糊核。
99.在另一种获取第一模糊核的实现方式中,图像处理装置接收终端发送的第一模糊核获取第一模糊核。
100.在一种获取第二模糊核的实现方式中,图像处理装置接收用户通过输入组件输入的第二模糊核获取第二模糊核。
101.在另一种获取第二模糊核的实现方式中,图像处理装置接收终端发送的第二模糊核获取第二模糊核。
102.2、使用上述第一模糊核对上述第一图像进行虚化处理,得到上述第三图像。
103.图像处理装置使用模糊核在第一图像上滑动,可完成对第一图像的虚化处理,即完成对待处理图像的颜色通道的虚化处理,得到第三图像。
104.3、使用上述第二模糊核对上述第二图像进行虚化处理,得到上述第四图像。
105.图像处理装置使用模糊核在第二图像上滑动,可完成对第二图像的虚化处理,即完成对待处理图像的亮度通道的虚化处理,得到第四图像。
106.由于第一比值与第二比值相等,图像处理装置使用第一模糊核对第一图像进行处理以及使用第二模糊核对第二图像进行处理,可提升对颜色通道的虚化处理与对亮度通道的虚化处理的一致性,进而降低色块的程度和光晕的程度,从而提升待处理图像的虚化效果。
107.作为一种可选的实施方式,第一模糊核通过对第二模糊核进行下采样处理得到。由于第一图像中的像素点与待处理图像中的像素点一一对应,第二图像中的一个像素点与第一图像中的至少两个像素点对应,第二图像中的一个像素点与第一图像中的至少两个像素点对应。因此,在第一模糊核通过对第二模糊核进行下采样处理得到的情况下,使用第一模糊核对第一图像进行处理,并使用第二模糊核对第二图像进行处理,可提升对颜色通道的虚化处理与对亮度通道的虚化处理的一致性,进而降低色块的程度和光晕的程度,从而提升待处理图像的虚化效果。
108.例如,图5a所示为第一图像,图5b所示为第二图像,图6a所示为第一模糊核,图6b所示为第二模糊核。其中,图5a中的像素点a、像素点b、像素点e和像素点f,与图5b中的像素点a对应;图5a中的像素点c、像素点d、像素点g和像素点h,与图5b中的像素点b对应;图5a中的像素点i、像素点j、像素点m和像素点n,与图5b中的像素点c对应;图5a中的像素点k、像素
点l、像素点o和像素点p,与图5b中的像素点d对应。
109.假设像素点a与待处理图像中的参考像素点1对应,像素点b与待处理图像中的参考像素点2对应,像素点c与待处理图像中的参考像素点3对应,像素点d与待处理图像中的参考像素点4对应,即像素点a携带参考像素点1的颜色信息,像素点b携带参考像素点2的颜色信息,像素点c携带参考像素点3的颜色信息,像素点d携带参考像素点4的颜色信息。若将参考像素点1、参考像素点2、参考像素点3和参考像素点4所构成的像素点区域称为参考像素点区域。像素点a所携带的亮度信息为参考像素点区域的亮度信息。
110.图像处理装置在使用第一模糊核对第一图像进行处理的过程中,在第一模糊核所对应的像素点区域包括像素点a、像素点b、像素点e和像素点f的情况下,图像处理装置将计算像素点a的像素值、像素点b的像素值、像素点e的像素值和像素点f的像素值的加权平均值。
111.图像处理装置在使用第二模糊核对第二图像进行处理的过程中,在第二模糊核所对应的像素点区域包括像素点a的情况下,图像处理装置将计算像素点a的加权平均值。
112.由于图6b中的第二模糊核通过对图6a中的第一模糊核进行下采样处理得到,参数e为参数q、参数r、参数s和参数t的平均值。因此,图像处理装置使用第一模糊核对第一图像进行处理,并使用第二模糊核对第二图像进行处理,可提升对参考像素点区域的颜色通道的虚化处理和对参考像素点区域的亮度通道的虚化处理的一致性。
113.同理,图像处理装置在通过滑动第一模糊核和第二模糊核,完成对第一图像和第二图像的虚化处理的过程中,可提升对待处理图像中每个像素点的颜色通道的虚化处理和亮度通道的虚化处理的一致性,进而提升对待处理图像的颜色通道的虚化处理和对待处理图像的亮度通道的虚化处理的一致性,从而提升待处理图像的虚化图像的虚化效果。
114.作为一种可选的实施方式,第一模糊核的形状和第二模糊核的形状相同。本申请实施例中,模糊核的形状可以是任意形状。例如,模糊核的形状可以是图7所示的圆形。又例如,模糊核的形状可以是图8所示的三角形。应理解,上述示例中的圆形是“类圆形”,上述示例中的三角形为“类三角形”。
115.在对图像的背景区域进行虚化同时,还在背景区域中添加光斑,可增加趣味性,丰富图像的多样性。由于模糊核的形状将影响虚化后的图像中的光斑的形状,在第一模糊核的形状和第二模糊核的形状相同的情况下,可使第三图像中的光斑的形状与第四图像中的光斑的形状相同,进而提升对颜色通道的虚化处理与对亮度通道的虚化处理的一致性,进而降低色块的程度和光晕的程度,从而提升待处理图像的虚化效果。
116.例如,假设第一模糊核的形状和第二模糊核的形状均为圆形,在通过执行步骤104得到的虚化图像中,光斑的形状也为圆形。
117.可选的,用户可通过向图像处理装置设置第一模糊核的形状和第二模糊核的形状,设置光斑的形状。
118.在一种可能实现的方式中,图像处理装置在执行步骤1之前,还执行以下步骤:获取模糊核形状和模糊核模板;依据该模糊核形状,调整该模糊核模板的参数,得到形状为该模糊核形状的第一模糊核和形状为该模糊核形状的第二模糊核。上述模糊核模板可以是矩形矩阵。调整模糊核模板的参数可以是,将模糊核模板中的部分参数设置为0,并使非0参数构成的形状为模糊核形状。
119.例如,用户想要圆形光斑,可向图像处理装置输入圆形光斑的指令。图像处理装置在接收到该指令的情况下,确定模糊核形状为圆形。图像处理装置进而可通过调整模糊核模板的参数,得到形状为圆形的第一模糊核。图像处理装置并可通过调整模糊核模板的参数,得到形状为圆形的第二模糊核。
120.基于本申请实施例提供的技术方案可完成对待处理图像的虚化处理,这样,在使用成像设备采集待处理图像时,无需调整成像设备的光圈值,即可取得虚化效果。可选的,图像处理装置通过调节第一模糊核的尺寸和第二模糊核的尺寸,可取得不同程度的虚化效果。具体的,成像设备的光圈值越大,在成像设备采集到的图像中,虚化程度越高。图像处理装置通过使第一模糊核的尺寸和第二模糊核的尺寸同时增大,可提升待处理图像的虚化程度。即为取得大光圈值的虚化效果,可使第一模糊和的尺寸和第二模糊核的尺寸同时增大。
121.可选的,为提升光斑效果,图像处理装置在使用第一模糊核对第一图像进行处理之前,还执行以下步骤:获取高亮像素值阈值;从待处理图像中确定像素值超过该高亮像素值阈值的像素点,作为第一高亮像素点;从第一图像中确定与该第一高亮像素点对应的像素点,作为第二高亮像素点;将该第二高亮像素点的像素值映射为第一值,得到第五图像,其中,该第一值大于第一图像的最大像素值。
122.上述高亮像素值阈值用于区分高亮像素点和非高亮像素点,其中,高亮像素点为亮度高的像素点,非高亮像素点为亮度低的像素点。具体的,在本申请实施例中,像素值超过高亮像素值阈值的像素点为高亮像素点,像素值未超过高亮像素值阈值的像素点为非高亮像素点。该高亮像素值阈值可依据实际需求进行设置,本申请对高亮像素值阈值的具体取值不做限定。
123.上述第一图像的最大像素值为第一图像的像素值的取值范围中的最大值。例如,第一图像的像素值的取值范围为0至300,那么第一图像的最大像素值为300。
124.图像处理装置通过将第二高亮像素点的像素值映射为第一值,可提升第一图像中的高亮像素点和非高亮像素点的区分度。且由于第一值大于第一图像的最大像素值,通过将第二高亮像素点的像素值映射为第一值,还可增大第二高亮像素点的像素值,这样,在图像处理装置使用第一模糊核对非高亮像素点的像素点邻域进行处理时,若非高亮像素点的像素点邻域包括第二高亮像素点,可增大非高亮像素点的像素值,进而提高光斑的显著程度,从而提升光斑的效果。
125.在得到第五图像后,图像处理装置在使用第一模糊核对第一图像进行处理的过程中执行以下步骤:使用第一模糊核对第五图像进行处理,得到第三图像。
126.可选的,图像处理装置在使用第二模糊核对第二图像进行处理之前,还执行以下步骤:从第二图像中确定与上述第一高亮像素点对应的像素点,作为第三高亮像素点;将该第三高亮像素点的像素值映射为第二值,得到第六图像,其中,该第二值大于第二图像的最大像素值。
127.上述第二图像的最大像素值为第二图像的像素值的取值范围中的最大值。例如,第二图像的像素值的取值范围为0至100,那么第二图像的最大像素值为100。
128.图像处理装置通过将第三高亮像素点的像素值映射为第二值,可提升第二图像中的高亮像素点和非高亮像素点的区分度。且由于第二值大于第二图像的最大像素值,通过将第三高亮像素点的像素值映射为第二值,还可增大第三高亮像素点的像素值,这样,在图
像处理装置使用第二模糊核对非高亮像素点的像素点邻域进行处理时,若非高亮像素点的像素点邻域包括第三高亮像素点,可增大非高亮像素点的像素值,进而提高光斑的显著程度,从而提升光斑的效果。
129.在得到第六图像后,图像处理装置在使用第二模糊核对第二图像进行处理的过程中执行以下步骤:使用第二模糊核对第二图像进行处理,得到第六图像。
130.作为一种可选的实施方式,待处理图像包括前景对象。本申请实施例中,前景对象所覆盖的像素点区域为不需要进行虚化处理的像素点区域。例如,假设前景对象为人物,那么通过对待处理图像进行虚化处理,可将除人物所覆盖的像素点区域之外的像素点区域虚化。
131.在待处理图像包括前景对象的情况下,图像处理装置在执行步骤2的过程中执行以下步骤:
132.4、使用上述第一模糊核对第一待虚化像素点区域进行虚化处理,得到上述第三图像。
133.本步骤中,第一待虚化像素点区域为第一图像中除前景对象覆盖的像素点区域(下文将称为前景区域)之外的像素点区域。
134.可选的,图像处理装置在执行步骤4之前,可通过对第一图像进行前景对象分割处理,确定第一图像中的前景区域和第一待虚化像素点区域。
135.上述前景对象分割处理指,确定图像中语义信息为前景对象的像素点。例如,在前景对象为人像的情况下,通过对图像进行人像分割处理,可确定图像中语义信息为人像的像素点,进而将人像像素点与非人像像素点区分开。并将人像像素点区域作为前景区域,将非人像像素点区域作为第一待虚化像素点区域。
136.因为图像处理装置在使用第一模糊核对待虚化像素点进行处理的过程中,将计算第一模糊核所对应的像素值的加权平均值,并将该加权平均值作为待虚化像素点的像素值。所以在待虚化像素点为第一待虚化像素点区域内的像素点,且第一模糊核所对应的像素值包括前景区域内的像素点的像素值的情况下,经第一模糊核的处理,前景区域内的像素点的像素值将影响待虚化像素点的像素值。由于前景区域内的像素点的语义信息与待虚化像素点的语义信息的差异较大,在待虚化像素点的像素值受到前景区域内的像素点的像素值的影响的情况下,待虚化像素点的语义信息将发生较大的变化,进而降低待处理图像的虚化效果。
137.例如(例1),假设像素点a为待虚化像素点,像素点a的像素点邻域包括像素点a、像素点b、像素点c、像素点d、像素点e和像素点f。其中,像素点a和像素点b均为第一待虚化像素点区域内的像素点,像素点c、像素点d、像素点e和像素点f均为前景区域内的像素点,像素点a的像素值为180,像素点b的像素值为200,像素点c的像素值为15,像素点d的像素值为20,像素点e的像素值为10,像素点f的像素值为18。
138.若计算像素点邻域中所有像素值的均值,那么均值=(180+200+15+20+10+18)/6=73.8。显然,均值的大小与第一待虚化像素点区域内的像素点的像素值差距较大。若将均值作为待虚化像素点的像素值,待虚化像素点的语义信息与第一待虚化像素点区域内的像素点的语义信息相差较大。这显然会降低背景虚化效果。
139.在本步骤中,图像处理装置在计算待虚化像素点的像素点邻域中像素值的均值
时,只考虑第一待虚化区域内的像素点的像素值,而不考虑前景区域内的像素点的像素值。这样,可降低前景区域内的像素点的像素值对均值的影响。进而在将均值作为待虚化像素点的像素值时,可降低待虚化像素点的语义信息与第一待虚化像素点区域内的像素点的语义信息的差异。
140.例如,在例1中,若在计算像素点邻域的像素值均值时,不考虑前景区域内的像素点的像素值,那么均值=(180+200)/2=190。显然,均值的大小更接近第一待虚化像素点区域内的像素点的像素值,从而提升第一图像的背景虚化效果。
141.在待处理图像包括前景对象的情况下,图像处理装置在执行步骤3的过程中执行以下步骤:
142.5、使用上述第二模糊核对第二待虚化像素点区域进行虚化处理,得到上述第四图像。
143.本步骤中,第二待虚化像素点区域为第二图像中除前景对象覆盖的像素点区域之外的像素点区域。与步骤4所取得效果相同,图像处理装置通过执行步骤5可提升第二图像的背景虚化效果。
144.可选的,图像处理装置在执行步骤5之前,可通过对第二图像进行前景对象分割处理,确定第二图像中的前景区域和第二待虚化像素点区域。
145.基于本申请实施例提供的技术方案,本申请实施例还提供了一种可能的应用场景。用户在外出旅游时通过手机拍摄得到一张风景图像,但由于在拍摄图像时恰巧有游客入镜,因此该风景图像中包含了游客。手机使用本申请实施例提供的技术方案对该风景图像进行背景虚化处理,可突出用户,且可降低色块的程度和光晕的程度,提升背景虚化效果。
146.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
147.上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
148.请参阅图9,图9为本申请实施例提供的一种图像处理装置的结构示意图,该装置包括:获取单元11、提取单元12、虚化处理单元13、合并单元14,其中:
149.获取单元11,用于获取待处理图像;
150.提取单元12,用于提取所述待处理图像的颜色通道得到第一图像,提取所述待处理图像的亮度通道得到第二图像;
151.虚化处理单元13,用于对所述第一图像进行虚化处理得到第三图像,并对所述第二图像进行虚化处理得到第四图像;
152.合并单元14,用于合并所述第三图像和所述第四图像,得到所述待处理图像的虚化图像。
153.结合本申请任一实施方式,所述虚化处理单元13,用于:
154.获取第一模糊核和第二模糊核;其中,所述第一模糊核对应的第一比值和所述第一图像对应的第二比值相等,所述第一比值为所述第一模糊核的尺寸与所述第二模糊核的尺寸的比值,所述第二比值为所述第一图像的尺寸与所述第二图像的尺寸的比值;
155.使用所述第一模糊核对所述第一图像进行虚化处理,得到所述第三图像;
156.使用所述第二模糊核对所述第二图像进行虚化处理,得到所述第四图像。
157.结合本申请任一实施方式,所述第一模糊核通过对所述第二模糊核进行下采样处理得到。
158.结合本申请任一实施方式,所述第一模糊核的形状和所述第二模糊核的形状相同。
159.结合本申请任一实施方式,所述待处理图像包括前景对象;
160.所述虚化处理单元13,用于:
161.使用所述第一模糊核对第一待虚化像素点区域进行虚化处理,得到所述第三图像;所述第一待虚化像素点区域为所述第一图像中除所述前景对象覆盖的像素点区域之外的像素点区域;
162.使用所述第二模糊核对第二待虚化像素点区域进行虚化处理,得到所述第四图像;所述第二待虚化像素点区域为所述第二图像中除所述前景对象覆盖的像素点区域之外的像素点区域。
163.结合本申请任一实施方式,所述前景对象为人物。
164.本实施例中,获取单元11可以是数据接口,提取单元12、虚化处理单元13和合并单元14均可以是图形处理器处理器。
165.在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
166.图10为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
167.处理器21可以是一个或多个图形处理器(graphics processing unit,gpu),在处理器21是一个gpu的情况下,该gpu可以是单核gpu,也可以是多核gpu。可选的,处理器21可以是多个gpu构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
168.存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random access memory,ram)、只读存储器(read

only memory,rom)、可擦除可编程只读存储器(erasable programmable read only memory,eprom)、或便携式只读存储器(compact disc read

only memory,cd

rom),该存储器用于相关指令及数据。
169.输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
170.可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的待处理图像,又或者该存储器22还可用于存储通过处理器21得到的虚化图像等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
171.可以理解的是,图10仅仅示出了一种图像处理装置的简化设计。在实际应用中,图像处理装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
172.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
173.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
174.在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
175.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
176.另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
177.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatile disc,dvd))、或者半导体介质(例如固态硬盘(solid state disk,ssd))等。
178.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程
可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read

only memory,rom)或随机存储存储器(random access memory,ram)、磁碟或者光盘等各种可存储程序代码的介质。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1