图像处理方法和装置、电子设备、存储介质与流程

文档序号:15115888发布日期:2018-08-07 20:08阅读:136来源:国知局

本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、装置、电子设备、存储介质。



背景技术:

随着科技的发展,电子设备的照相功能正在逐步提高。由于电子设备不能辨别出外界环境光的颜色,电子设备所看到的白色物体在不同光源下颜色不同,有些偏黄或红色,有些偏蓝色。因此,电子设备往往需要根据光源来调整色彩,使最终影像能呈现人眼所看到的白色,此调整即称为白平衡。白平衡是描述红、绿、蓝三基色混合生成后白色精确度的一项指标。

传统的拍照方式对图像都需要进行白平衡处理。但是,传统的对图像进行白平衡处理的方式会影响图像的自然度,从而影响图像的拍摄效果。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、电子设备、存储介质,可以解决图像拍摄效果不佳的问题。

一种图像处理方法,包括:

获取待处理图像,将所述待处理图像输入至人工智能ai图像分割模型进行分割处理,得到分割后的图像区域;所述ai图像分割模型根据人像图像和场景图像训练得到;

识别所述分割后的图像区域的类别,根据所述图像区域的类别进行相应的白平衡处理。

一种图像处理装置,包括:

图像获取模块,用于获取待处理图像,将所述待处理图像输入至人工智能ai图像分割模型进行分割处理,得到分割后的图像区域;所述ai图像分割模型根据人像图像和场景图像训练得到;

图像处理模块,用于识别所述分割后的图像区域的类别,根据所述图像区域的类别进行相应的白平衡处理。

一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请各个实施例中的图像处理方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请各个实施例中的图像处理方法的步骤。

上述图像处理方法、装置、电子设备、存储介质,通过获取待处理图像,将待处理图像输入至人工智能ai图像分割模型进行分割处理,得到分割后的图像区域,ai图像分割模型根据人像图像和场景图像训练得到,识别分割后的图像区域的类别,根据图像区域的类别进行相应的白平衡处理。由于对图像中的区域进行ai分割,再根据分割后的图像进行白平衡处理,充分考虑了图像的内容,对不同的内容采用不同的白平衡参数进行处理,从而可以避免图像拍摄效果不佳的问题,使照片的画面更加自然。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的架构示意图;

图2为一个实施例中图像处理方法的流程图;

图3为一个实施例中分割场景区域和人像区域的方法流程图;

图4为一个实施例中对场景区域和人像区域进行处理的方法流程图;

图5为一个实施例中对包含有场景区域和人像区域进行处理的流程示意图;

图6为一个实施例中对图像使用ai图像分割模型进行分割的方法流程图;

图7为一个实施例中对包含有白色区域进行处理的流程示意图;

图8为一个实施例中对曝光参数值进行调整的方法流程图;

图9为一个实施例中对图像曝光参数进行调整的流程示意图;

图10为一个实施例中图像处理装置的结构框图;

图11为一个实施例中图像处理模块的结构框图;

图12为一个实施例中图像获取模块的结构框图;

图13为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。

在一个实施例中,如图1所示,提供了一种电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等非易失性存储介质,或随机存储记忆体(random-access-memory,ram)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现本申请各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信,比如可用于同服务器进行通信。

本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种图像处理方法,以应用于上述电子设备来举例说明,如图2所示,该方法包括如下步骤:

步骤202,获取待处理图像,将待处理图像输入至人工智能ai图像分割模型进行分割处理,得到分割后的图像区域,ai图像分割模型根据人像图像和场景图像训练得到。

其中,待处理图像是指通过电子设备拍摄采集的需要处理的图像。待处理图像可以包含有人像、场景等内容。

电子设备可以获取通过摄像头拍摄采集的需要处理的图像,获取到需要处理的图像后,电子设备可以对获取的待处理图像进行扫描。具体的,电子设备可以通过自身的扫描装置将待处理图像的电信号转换成数字图像信号,根据转换的数字图像信号,电子设备可以得到待处理图像中的人像、场景等内容。

人工智能ai(artificialintelligence)分割,是指利用神经网络技术将输入的图像分割成多个区域。电子设备可以对获取的待处理图像进行处理,具体的,电子设备根据获取的图像内容,利用全卷积神经网络fcn(fullyconvolutionalnetworks)对图像进行分割,可以得到分割后的多个图像区域。例如,电子设备获取的图像内容中包括有人像和场景,电子设备可以对图像进行人工智能ai分割,最终得到分割后的人像区域和场景区域。

电子设备在获取待处理图像后,可以将该待处理图像输入至人工智能ai图像分割模型,待处理图像经过人工智能ai图像分割模型处理后,电子设备可以得到分割后的图像区域。其中,人工智能ai图像分割模型是根据人像图像和场景图像训练得到的。例如,当获取到的待处理图像中内容包括有人像图像内容和场景图像内容时,电子设备可以得到通过人工智能ai图像分割模型处理后的人像图像区域和场景图像区域。

步骤204,识别分割后的图像区域的类别,根据图像区域的类别进行相应的白平衡处理。

图像区域的类别可以是该图像区域为人像区域、场景区域,还可以是该图像中存在白色区域以及不存在白色区域。电子设备中可以存储有类别对应表,电子设备可以在类别对应表中查找到图像区域类别对应的白平衡处理方式,查找到之后可以根据该白平衡处理方式对对应的图像区域类别进行处理。例如,当图像区域的类别为该图像区域是场景区域时,电子设备可以在类别对应表中查找场景区域对应的白平衡处理方式是将白平衡参数调整为6000-7000k,电子设备可以将白平衡参数调整到6000-7000k后对场景区域进行白平衡处理。其中,k在单位上是热力学温标,也是国际温标,k的中文翻译是开或者开尔文。

通过扫描待处理图像将待处理图像输入至人工智能ai图像分割模型进行分割处理,得到分割后的图像区域,ai图像分割模型根据人像图像和场景图像训练得到,识别分割后的图像区域的类别,根据图像区域的类别进行相应的白平衡处理。由于对图像中的区域进行分割,再根据分割后的图像进行白平衡处理,充分考虑了图像的内容,对不同的内容采用不同的白平衡参数进行处理,从而可以避免图像拍摄效果不佳的问题,使照片的画面更加自然。

在一个实施例中,提供的一种图像处理方法还可以包括生成ai图像分割模型的过程,具体包括:分别获取人像图像样本集和场景图像样本集,分别对人像图像样本集和场景图像样本集进行训练,得到ai图像分割模型。

人像图像样本集中的图像中包含有人像区域,电子设备可以对人像图像样本集进行训练。同样的,场景图像样本集中的图像包含有场景区域,电子设备还可以对场景图像样本集进行训练。

电子设备分别对人像图像样本集和场景图像样本集训练完成后,可以得到ai图像分割模型。ai图像分割模型可以区分出图像中的区域是人像区域还是场景区域。即,将待处理图像输入ai图像分割模型中,电子设备可以区分出分割后得到的区域是人像区域还是场景区域,电子设备还可以使用ai图像分割模型分别对图像中的人像区域或者场景区域进行分割。训练得到的ai图像分割模型可以识别出待处理图像中的人像或场景,具体的,ai图像分割模型还可以识别出不同的场景。例如,待处理图像中包含有蓝天和草地两个场景,ai图像分割模型在识别出蓝天场景和草地场景后,还可以对蓝天场景和草地场景进行分割,电子设备可以得到分割后的蓝天场景区域和草地场景区域。

通过分别获取人像图像样本集和场景图像样本集,分别对人像图像样本集和场景图像样本集进行训练,得到ai图像分割模型。根据得到的ai图像分割模型,输入图像之后,电子设备可以快速准确的区分出分割后的区域是人像区域还是场景区域,提高了电子设备区分分割后区域的效率和准确率。

如图3所示,在一个实施例中,提供的一种图像处理方法还可以包括分割场景区域和人像区域的过程,具体步骤包括:

步骤302,将待处理图像输入至ai图像分割模型,得到分割后的人像区域和分割后的场景区域。

电子设备在获取到待处理图像后,可以将待处理图像输入到训练好的ai图像分割模型。ai图像分割模型可以对待处理图像进行分割。ai图像分割模型是通过分别对人像图像样本集和场景图像样本集训练得到的,因此,将待处理图像输入ai图像分割模型后,可以得到分割后的人像区域和分割后的场景区域。

步骤304,获取分割后的场景区域的内容信息。

场景区域的内容信息可以是该场景区域的亮度、饱和度、色调以及彩度等与场景区域图像效果相关的参数信息。电子设备可以获取通过ai图像分割模型分割后得到的场景区域,电子设备还可以获取该场景区域的内容信息。例如,电子设备可以获取该场景区域的亮度、饱和度、色调以及彩度等信息。

步骤306,查找与场景区域中的内容信息对应的处理方式。

场景区域的每一项内容信息都对应有一种处理方式,例如,当获取的场景区域的亮度为0.1时,对应的处理方式是对该场景区域所在的图像进行白平衡处理,具体的处理方式可以是对该图像中的场景区域使用白平衡参数为2000k的方式进行处理,而对该图像中的人像区域使用白平衡参数为5000k的方式进行处理。再比如,当获取的场景区域的亮度为0.2时,该亮度值对应的处理方式是将该图像中场景区域的亮度值调为0.3,将该图像中人像区域的亮度调为0.5。具体的,场景区域的内容信息对应的处理方式可以以处理方式表的形式存储在数据库中,也可以存储在本地电子设备上。

电子设备在获取分割后的场景区域的内容信息后,可以在处理方式表中查找到与内容信息对应的处理方式,电子设备还可以在存储的本地信息中查找与内容信息对应的处理方式。

步骤308,根据处理方式对分割后的人像区域和场景区域进行对应的处理。

电子设备在查找到与内容信息对应的处理方式后,还可以根据该处理方式分别对分割后的人像区域和场景区域进行与处理方式对应的处理。例如,电子设备查找到的处理方式是将人像区域的亮度调到0.5,将场景区域的白平衡参数调到3000k,则电子设备可以将人像区域的亮度以及场景区域的白平衡参数调节到对应的数值。

通过将待处理图像输入至ai图像分割模型,得到分割后的人像区域和分割后的场景区域,获取分割后的场景区域的内容信息,查找与场景区域中的内容信息对应的处理方式,根据处理方式对分割后的人像区域和场景区域进行对应的处理。将图像分割为人像区域和场景区域,并通过获取场景区域的内容信息分别对人像区域和场景区域进行处理,综合考虑人像和场景的信息,有针对的对人像区域和场景区域进行处理,从而可以使图像中的人像区域更加自然,并提高了图像的拍摄效果。

在一个实施例中,提供的一种图像处理方法还可以包括对场景区域和人像区域进行处理的过程,如图4所示,具体包括:

步骤402,获取分割后的各个图像。

分割后的各个图像是指将图像输入到ai图像分割模型后,由ai图像分割模型输出的各个区域的图像。例如,由ai图像分割模型输出的图像包括人像区域的图像和场景区域的图像。电子设备可以获取到分割后的各个区域的图像。

步骤404,若分割后的图像为场景图像,则按照第一预设方式对场景图像进行白平衡处理,得到处理后的场景图像。

第一预设方式可以是预先设置好的对场景图像进行白平衡处理的方式。具体的,第一预设方式可以根据不同的场景图像进行设置。电子设备可以对分割后的场景图像进行识别,电子设备可以根据识别出的不同场景结果设置第一预设方式。例如,当场景图像为蓝天时,第一预设方式可以是将蓝天场景图像的白平衡参数调整为5000k,将蓝天场景图像的亮度调整为0.3。

ai图像分割模型可以判断出分割得到的图像是人像区域图像还是场景区域图像。当判断出分割后的图像是场景图像时,电子设备可以按照第一预设方式对场景图像进行白平衡处理,处理之后,电子设备还可以获取到处理后的场景图像。

步骤406,若分割后的图像为人像图像,则按照第二预设方式对人像图像进行白平衡处理,得到处理后的人像图像。

第二预设方式可以是预先设置好的对人像图像进行白平衡处理的方式。具体的,第二预设方式可以根据人像图像中不同的肤色进行设置。例如,当人像图像的肤色为烛光下的肤色时,第二预设方式可以是将人像图像的白平衡参数调整为8000k,将人像图像的亮度调整为0.5。

ai图像分割模型可以判断出分割得到的图像是人像区域图像还是场景区域图像。当判断出分割后的图像是人像图像时,电子设备可以按照第二预设方式对人像图像进行白平衡处理,处理之后,电子设备还可以获取到处理后的人像图像。

步骤408,将处理后的场景图像与处理后的人像图像结合,得到结合后的图像。

电子设备还可以将处理后的场景图像与处理后的人像图像结合。具体的,图像的结合方式可以是直接将场景图像与人像图像进行拼凑,电子设备拼凑图像时可以采用的人像抠图技术,根据算法从场景中抠出人像,电子设备在对场景图像和人像图像分别处理后,再将场景图像与人像图像匹配到一起。图像的结合方式还可以是,直接将处理后的场景图像与处理后的人像图像展示在该场景图像和该人像图像原来的位置。电子设备还可以得到结合后的图像。

步骤410,输出结合后的图像。

电子设备在得到结合后的图像之后,可以将结合后的图像输出。具体的,输出的方式可以是展示该结合后的图像,还可以是将该结合后的图像存储在电子设备中。

通过获取分割后的各个图像,若分割后的图像为场景图像,则按照第一预设方式对场景图像进行白平衡处理,得到处理后的场景图像,若分割后的图像为人像图像,则按照第二预设方式对人像图像进行白平衡处理,得到处理后的人像图像,将处理后的场景图像与处理后的人像图像结合,得到结合后的图像,输出结合后的图像。分别对人像图像和场景图像进行白平衡处理,可以得到结合后的拍摄效果更好的图像。

在一个实施例中,如图5所示,以图像中包含有场景和人像内容为例,电子设备在获取到待处理图像后,可以根据图像中的内容对图像进行ai场景分割。电子设备对图像进行ai场景分割后,还可以获取到分割后的场景区域和人像区域。电子设备可以分别获取到分割后的场景区域和人像区域的亮度、饱和度、色调及彩度等参数信息,电子设备可以根据这些参数信息分别对场景区域和人像区域进行对应的处理。电子设备还可以将处理后的场景区域与人像区域进行结合,再输出结合后的图像。

在一个实施例中,提供的一种图像处理方法还可以包括判断图像中是否存在白色区域的过程,具体包括:判断待处理图像中是否存在白色区域,当待处理图像中存在白色区域时,对待处理图像进行白平衡处理,当待处理图像中不存在白色区域时,对待处理图像采用ai图像分割模型进行分割。

电子设备还可以对待处理图像中的是否存在白色区域进行判断。具体的,判断待处理图像中是否存在白色区域的方式可以是图像中个像素点对应的rgb值。rgb色彩模式是一种颜色标准,是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,rgb即是代表红、绿、蓝三个通道的颜色。其中,白色的rgb值可以为(255,255,255)。电子设备可以获取待处理图像中各个像素点的rgb值,当电子设备获取到的rgb值中有(255,255,255)时,表示待处理图像中存在白色区域。

当电子设备判断出待处理图像中存在白色区域时,电子设备可以对该待处理图像进行白平衡处理。当电子设备判断出待处理图像中不存在白色区域时,电子设备可以对该待处理图像采用ai图像分割模型进行分割。例如,电子设备判断出待处理图像中存在有蓝天和草地两个场景,电子设备可以采用ai图像分割模型对待处理图像进行分割,电子设备可以得到分割后的蓝天场景和草地场景。

通过判断待处理图像中是否存在白色区域,当待处理图像中存在白色区域时,对待处理图像进行白平衡处理,当待处理图像中不存在白色区域时,对待处理图像进行ai分割。通过判断图像中是否存在白色区域,再根据判断结果对图像进行对应的处理,可以是图像的处理效果更好。

如图6所示,在一个实施例中,提供的一种图像处理方法还可以包括对图像采用ai图像分割模型进行分割的过程,具体过程为:

步骤602,获取连续预设数量的帧图像。

预设数量可以是用户自定义的,例如,预设数量可以是5帧图像,也可以是10帧图像。具体的,预设数量的帧图像是连续时间内的帧图像。电子设备可以获取连续预设数量的帧图像,例如,当预设数量为5帧时,电子设备可以获取连续5帧的帧图像。

步骤604,使用ai图像分割模型对连续预设数量的帧图像进行分割,得到各个帧图像分割后的各个场景图像。

电子设备获取的连续预设数量的帧图像中,每一帧图像可以包括各个场景,例如,电子设备获取的连续预设数量的帧图像中可以有蓝天场景,还可以有绿草场景。电子设备可以使用ai图像分割模型对连续预设数量的帧图像进行分割。例如,在包含有蓝天场景和绿草场景的连续预设数量的帧图像中,电子设备使用ai图像分割模型对各个帧图像进行分割,可以得到分割后的对应预设数量的蓝天场景图像,还可以得到对应预设数量的分割后的绿草场景图像。

步骤606,将各个场景图像进行比对。

这里的各个场景图像是指对预设数量的帧图像进行分割后的场景图像,电子设备可以将分割后得到的对应的预设数量的场景图像进行比对。电子设备可以将获得的场景图像分割为图像块,再对图像块一一进行比对。

步骤608,当各个场景图像中存在相同的各个场景图像时,将相同的场景图像作为分割后的图像区域。

电子设备可以得出场景图像的比对结果,当比对结果为存在相同的各个场景图像时,电子设备可以将相同的各个场景图像输出。具体的,电子设备可以以输出的相同的各个场景图像中的场景为依据,将相同的场景图像作为分割后的图像区域,再对输出的相同的场景图像进行白平衡处理。

步骤610,当不存在相同的各个场景图像时,则重新获取下一组连续预设数量的帧图像,对下一组连续预设数量的帧图像采用ai图像分割模型进行分割。

电子设备得到的对比结果是不存在相同的各个场景图像时,电子设备可以重新获取下一组帧图像。具体的,重新获取的帧图像也可以是连续预设数量的帧图像。

电子设备重新获取下一组连续预设数量的帧图像后,可以按照上述步骤604对重新获取的帧图像采用ai图像分割模型进行分割。电子设备还可以对分割后的重新获取的连续帧图像进行比对。

通过获取连续预设数量的帧图像,使用ai图像分割模型对连续预设数量的帧图像进行分割,得到各个帧图像分割后的各个场景图像,将各个场景图像进行比对,当各个场景图像中存在相同的各个场景图像时,将相同的场景图像作为分割后的图像区域,当不存在相同的各个场景图像时,则重新获取下一组连续预设数量的帧图像,对下一组连续预设数量的帧图像采用ai图像分割模型进行分割。通过对连续预设数量的帧图像进行分割和比对,电子设备可以输出相同的各个场景图像,从而更加方便的对输出的各个场景图像进行白平衡处理。

在一个实施例中,如图7所示,电子设备在获取待处理图像后,可以判断待处理图像中是否存在白色区域,当存在白色区域时,电子设备可以对待处理图像进行白平衡处理。当待处理图像中不存在白色区域时,电子设备可以获取连续预设数量的帧图像,以预设数量为5帧图像为例,如图7所示,电子设备可以使用ai分割对连续5帧图像进行分割,得到各个帧图像分割后的各个场景图像。电子设备还可以将分割后得到的对应的5帧场景图像进行比对,当连续5帧图像中不存在相同的场景图像时,电子设备可以重新获取连续5帧场景图像并使用ai分割再次对获取的这5帧场景图像进行分割。当获取的5帧图像都存在相同的场景时,电子设备可以得到该相同的场景,并确定该场景为目标场景,电子设备可以根据该场景进行白平衡处理,电子设备在进行白平衡处理后,可以将处理后的图像输出。

在一个实施例中,如图8所示,提供的一种图像处理方法还可以包括对曝光参数值进行调整的过程,如图所示,具体包括:

步骤802,当各个场景图像中存在相同的场景图像时,获取相同的各个场景图像的图像信息。

其中,场景图像的图像信息可以是图像的背景光线信息、图像中的环境光线信息以及图像中场景的颜色信息等。

当各个场景图像中存在相同的场景图像时,电子设备在输出相同的各个场景图像后,还可以获取相同的各个场景图像的图像信息。例如,电子设备输出的相同的场景图象为演唱会舞台的场景图像,电子设备可以获取演唱会取态场景图像中背景光线信息和图像中的环境光线信息为较暗光线,图像中场景的颜色信息为黑色。

步骤804,根据图像信息查找对应的曝光参数值。

电子设备可以按照曝光参数值对应表查找与图像信息对应的曝光参数值。曝光参数值对应表可以是存储在电子设备中的预先设置好的一张对应表,对应表上可以记载每个图像信息对应的具体曝光参数值。例如,图像信息可以是背景光线信息为较暗光线,该图像信息在曝光参数值对应表中对应的曝光参数值曝光量为30%。

步骤806,按照曝光参数值对相同的各个场景图像的曝光量进行调整,以及将调整后的场景图像作为分割后的图像区域。

电子设备获取到对应的曝光参数值后,可以根据曝光参数值相应的对曝光量进行调整。具体的,电子设备可以调整镜头孔径、传感器曝光时间、传感器模拟增益以及传感器数字增益等。电子设备可以将调整后的场景图像作为分割后的图像区域。

通过当各个场景图像中存在相同的场景图像时,获取相同的各个场景图像的图像信息,根据图像信息查找对应的曝光参数值,按照曝光参数值对相同的各个场景图像的曝光量进行调整,以及将调整后的场景图像作为分割后的图像区域。可以避免简单的依赖检测环境光线导致的曝光不足或过曝的情况。

在一个实施例中,如图9所示,电子设备在获取待处理图像后,可以开启ai场景分割模式对待处理图像进行分割。电子设备可以获取连续预设数量的帧图像,以预设数量为5帧图像为例,如图9所示,电子设备可以使用ai分割对连续5帧图像进行分割,得到各个帧图像分割后的各个场景图像。电子设备还可以将分割后得到的对应的5帧场景图像进行比对,当连续5帧图像中不存在相同的场景图像时,电子设备可以重新获取连续5帧场景图像并使用ai分割再次对获取的这5帧场景图像进行分割。当获取的5帧图像都存在相同的场景时,电子设备可以得到该相同的场景,并确定该场景为目标场景。电子设备可以获取相同的各个场景图像的图像信息,电子设备可以按照曝光参数值对应表查找与图像信息对应的曝光参数值,电子设备还可以按照曝光参数值对相同的各个场景图像的曝光量进行调整。具体的,电子设备可以调整镜头孔径、传感器曝光时间、传感器模拟增益以及传感器数字增益等。电子设备可以输出调整了曝光参数后的图像。

在一个实施例中,提供了一种图像处理方法,实现该方法的具体步骤如下所述:

首先,电子设备可以分别获取人像图像样本集和场景图像样本集,分别对人像图像样本集和场景图像样本集进行训练,得到ai图像分割模型。人像图像样本集中的图像中包含有人像区域,电子设备可以对人像图像样本集进行训练。同样的,场景图像样本集中的图像包含有场景区域,电子设备还可以对场景图像样本集进行训练。电子设备分别对人像图像样本集和场景图像样本集训练完成后,可以得到ai图像分割模型。ai图像分割模型可以区分出图像中的区域是人像区域还是场景区域。即,将待处理图像输入ai图像分割模型中,电子设备可以区分出分割后得到区域是人像区域还是场景区域。

接着,电子设备可以获取待处理图像,将待处理图像输入至人工智能ai图像分割模型进行分割处理,得到分割后的图像区域,ai图像分割模型根据人像图像和场景图像训练得到。电子设备可以获取通过摄像头拍摄采集的需要处理的图像,获取到需要处理的图像后,电子设备可以对获取的待处理图像进行扫描。具体的,电子设备可以通过自身的扫描装置将待处理图像的电信号转换成数字图像信号,根据转换的数字图像信号,电子设备可以得到待处理图像中的人像、场景等内容。电子设备还可以判断待处理图像中是否存在白色区域,当待处理图像中存在白色区域时,对待处理图像进行白平衡处理,当待处理图像中不存在白色区域时,对待处理图像采用ai图像分割模型进行分割。当电子设备判断出待处理图像中存在白色区域时,电子设备可以对该待处理图像进行白平衡处理。当电子设备判断出待处理图像中不存在白色区域时,电子设备可以对该待处理图像采用ai图像分割模型进行分割。

电子设备还可以获取连续预设数量的帧图像。预设数量可以是用户自定义的,例如,预设数量可以是5帧图像,也可以是10帧图像。具体的,预设数量的帧图像是连续时间内的帧图像。电子设备可以获取连续预设数量的帧图像,例如,当预设数量为5帧时,电子设备可以获取连续5帧的帧图像。电子设备还可以使用采用ai图像分割模型对连续预设数量的帧图像进行分割,得到各个帧图像分割后的各个场景图像。电子设备还可以将各个场景图像进行比对。当存在相同的各个场景图像时,电子设备可以将相同的各个场景图像输出,并根据相同的各个场景图像中的场景对相同的各个场景图像进行白平衡处理。当不存在相同的各个场景图像时,电子设备可以重新获取下一组帧图像。具体的,重新获取的帧图像也可以是连续预设数量的帧图像。

电子设备还可以获取相同的各个场景图像的图像信息。电子设备在输出相同的各个场景图像后,还可以获取相同的各个场景图像的图像信息。例如,电子设备输出的相同的场景图象为演唱会舞台的场景图像,电子设备可以获取演唱会取态场景图像中背景光线信息和图像中的环境光线信息为较暗光线,图像中场景的颜色信息为黑色。电子设备还可以按照曝光参数值对应表查找与图像信息对应的曝光参数值。曝光参数值对应表可以是存储在电子设备中的预先设置好的一张对应表,对应表上可以记载每个图像信息对应的具体曝光参数值。电子设备获取到对应的曝光参数值后,可以根据曝光参数值相应的对曝光量进行调整。具体的,电子设备可以调整镜头孔径、传感器曝光时间、传感器模拟增益以及传感器数字增益等。

其次,电子设备还可以根据内容将待处理图像按照预设条件进行人工智能ai分割,得到分割后的图像区域。预设条件是指预先设置好的,用于对图像进行分割的依据。人工智能ai(artificialintelligence)分割,是指利用神经网络技术将输入的图像分割成多个区域。电子设备可以对获取的待处理图像进行处理,具体的,电子设备根据获取的图像内容,利用全卷积神经网络fcn对图像进行分割,可以得到分割后的多个图像区域。

接着,电子设备还可以将待处理图像输入至ai图像分割模型,得到分割后的人像区域和分割后的场景区域。电子设备还可以获取分割后的场景区域的内容信息,再查找与场景区域中的内容信息对应的处理方式。电子设备还可以根据处理方式对分割后的人像区域和场景区域进行对应的处理。

电子设备在查找到与内容信息对应的处理方式后,还可以根据该处理方式分别对分割后的人像区域和场景区域进行与处理方式对应的处理。例如,电子设备查找到的处理方式是将人像区域的亮度调到0.5,将场景区域的白平衡参数调到3000k,则电子设备可以将人像区域的亮度以及场景区域的白平衡参数调节到对应的数值。

接着,电子设备还可以识别分割后的图像区域的类别,根据图像区域的类别进行相应的白平衡处理。图像区域的类别可以是该图像区域为人像区域、场景区域,还可以是该图像中存在白色区域以及不存在白色区域。电子设备中可以存储有类别对应表,电子设备可以在类别对应表中查找到图像区域类别对应的白平衡处理方式,查找到之后可以根据该白平衡处理方式对对应的图像区域类别进行处理。例如,当图像区域的类别为该图像区域为场景区域时,电子设备可以在类别对应表中查找场景区域对应的白平衡处理方式是将白平衡参数调整为6000-7000k,电子设备可以将白平衡参数调整到6000-7000k后对场景区域进行白平衡处理。其中,k在单位上是热力学温标,也是国际温标,k的中文翻译是开或者开尔文。

最后,电子设备还可以获取分割后的场景区域的内容信息。场景区域的内容信息可以是该场景区域的亮度、饱和度、色调以及彩度等与场景区域图像效果相关的参数信息。电子设备可以获取通过ai图像分割模型分割后得到的场景区域,电子设备还可以获取该场景区域的内容信息。电子设备可以查找与场景区域中的内容信息对应的处理方式。电子设备在获取分割后的场景区域的内容信息后,可以在处理方式表中查找到与内容信息对应的处理方式。电子设备还可以根据处理方式对分割后的人像区域和场景区域进行对应的处理。电子设备在查找到与内容信息对应的处理方式后,还可以根据该处理方式分别对分割后的人像区域和场景区域进行与处理方式对应的处理。例如,电子设备查找到的处理方式是将人像区域的亮度调到0.5,将场景区域的白平衡参数调到3000k,则电子设备可以将人像区域的亮度以及场景区域的白平衡参数调节到对应的数值。

应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图10为一个实施例的图像处理装置的结构框图。如图7所示,该装置包括:

图像获取模块1010,用于获取待处理图像,将待处理图像输入至人工智能ai图像分割模型进行分割处理,得到分割后的图像区域,ai图像分割模型根据人像图像和场景图像训练得到。

图像处理模块1020,用于识别分割后的图像区域的类别,根据图像区域的类别进行相应的白平衡处理。

在一个实施例中,图像获取模块1010还可以用于分别获取人像图像样本集和场景图像样本集,分别对人像图像样本集和场景图像样本集进行训练,得到ai图像分割模型。

在一个实施例中,图像处理模块1020还可以用于将待处理图像输入至ai图像分割模型,得到分割后的人像区域和分割后的场景区域,获取分割后的场景区域的内容信息,查找与场景区域中的内容信息对应的处理方式,根据处理方式对分割后的人像区域和场景区域进行对应的处理。

在一个实施例中,如图11所示,图像处理模块1020包括:

分割图像获取模块1022,用于获取分割后的各个图像。

场景图像处理模块1024,用于若分割后的图像为场景图像,则按照第一预设方式对场景图像进行白平衡处理,得到处理后的场景图像。

人像图像处理模块1026,用于若分割后的图像为人像图像,则按照第二预设方式对人像图像进行白平衡处理,得到处理后的人像图像。

图像结合模块1028,用于将处理后的场景图像与处理后的人像图像结合,得到结合后的图像,输出结合后的图像。

在一个实施例中,图像获取模块1010还可以用于判断待处理图像中是否存在白色区域,当待处理图像中存在白色区域时,对待处理图像进行白平衡处理,当待处理图像中不存在白色区域时,对待处理图像采用ai图像分割模型进行分割。

如图12所示,在一个实施例中,图像获取模块1010包括:

帧图像获取模块1012,用于获取连续预设数量的帧图像。

ai分割模块1014,用于使用ai图像分割模型对连续预设数量的帧图像进行分割,得到各个帧图像分割后的各个场景图像。

图像比对模块1016,用于将各个场景图像进行比对。

场景图像输出模块1018a,用于当各个场景图像中存在相同的各个场景图像时,将相同的场景图像作为分割后的图像区域。

帧图像重新获取模块1018b,用于当不存在相同的各个场景图像时,则重新获取下一组连续预设数量的帧图像,对所述下一组连续预设数量的帧图像采用ai图像分割模型进行分割。

在一个实施例中,图像处理模块1020还可以用于当各个场景图像中存在相同的场景图像时,获取相同的各个场景图像的图像信息,获取相同的各个场景图像的图像信息,根据图像信息查找对应的曝光参数值,按照曝光参数值对相同的各个场景图像的曝光量进行调整。

上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图13为一个实施例中图像处理电路的示意图。如图13所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图13所示,图像处理电路包括isp处理器1340和控制逻辑器1350。成像设备1310捕捉的图像数据首先由isp处理器1340处理,isp处理器1340对图像数据进行分析以捕捉可用于确定和/或成像设备1310的一个或多个控制参数的图像统计信息。成像设备1310可包括具有一个或多个透镜1312和图像传感器1314的照相机。图像传感器1314可包括色彩滤镜阵列(如bayer滤镜),图像传感器1314可获取用图像传感器1314的每个成像像素捕捉的光强度和波长信息,并提供可由isp处理器1340处理的一组原始图像数据。传感器1320(如陀螺仪)可基于传感器1320接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器1340。传感器1320接口可以利用smia(standardmobileimagingarchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外,图像传感器1314也可将原始图像数据发送给传感器1320,传感器1320可基于传感器1320接口类型把原始图像数据提供给isp处理器1340,或者传感器1320将原始图像数据存储到图像存储器1330中。

isp处理器1340按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,isp处理器1340可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

isp处理器1340还可从图像存储器1330接收图像数据。例如,传感器1320接口将原始图像数据发送给图像存储器1330,图像存储器1330中的原始图像数据再提供给isp处理器1340以供处理。图像存储器1330可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像传感器1314接口或来自传感器1320接口或来自图像存储器1330的原始图像数据时,isp处理器1340可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1330,以便在被显示之前进行另外的处理。isp处理器1340从图像存储器1330接收处理数据,并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp处理器1340处理后的图像数据可输出给显示器1370,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,isp处理器1340的输出还可发送给图像存储器1330,且显示器1370可从图像存储器1330读取图像数据。在一个实施例中,图像存储器1330可被配置为实现一个或多个帧缓冲器。此外,isp处理器1340的输出可发送给编码器/解码器1360,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1370设备上之前解压缩。编码器/解码器1360可由cpu或gpu或协处理器实现。

isp处理器1340确定的统计数据可发送给控制逻辑器1350单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1312阴影校正等图像传感器1314统计信息。控制逻辑器1350可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1310的控制参数及isp处理器1340的控制参数。例如,成像设备1310的控制参数可包括传感器1320控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1312控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及透镜1312阴影校正参数。

本实施例中运用图13中图像处理技术可实现上述图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1