人脸图像增强方法、装置、计算机设备和存储介质与流程

文档序号:21369036发布日期:2020-07-04 04:45阅读:287来源:国知局
人脸图像增强方法、装置、计算机设备和存储介质与流程

本申请涉及计算机技术领域,特别是涉及一种人脸图像增强方法、装置、计算机设备和存储介质。



背景技术:

随着计算机技术的发展,出现了计算机视觉技术。计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(opticalcharacterrecognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

在计算机视觉技术中包括图像增强技术,图像增强可应用于人脸图像,将图像增强应用于人脸图像是指增强人脸图像中的有用信息,改善人脸图像的视觉效果。

传统技术中,在对人脸图像进行增强时,通常通过调整人脸图像的对比度和亮度进行增强或者利用通道转换,转换到hsv(hue,saturation,value,色调,饱和度,亮度)通道中,对代表饱和度的s通道和亮度的v通道进行增强。

然而,采用传统的人脸图像增强方式,会让人脸图像中的人脸肤色变得偏黄甚至更暗,且在亮和暗的区域会出现过暗和过曝,存在处理过度的问题。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够准确对人脸图像进行处理的人脸图像增强方法、装置、计算机设备和存储介质。

一种人脸图像增强方法,所述方法包括:

获取待处理人脸rgb(red,green,blue,红色,绿色,蓝色)图像;

对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图;

对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图;

根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像;

对目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像;

根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

一种人脸图像增强装置,所述装置包括:

获取模块,用于获取待处理人脸rgb图像;

分割模块,用于对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图;

均衡模块,用于对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图;

重构模块,用于根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像;

校正模块,用于对目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像;

处理模块,用于根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取待处理人脸rgb图像;

对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图;

对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图;

根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像;

对目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像;

根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取待处理人脸rgb图像;

对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图;

对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图;

根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像;

对目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像;

根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

上述人脸图像增强方法、装置、计算机设备和存储介质,通过对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图,对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图,根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像的方式,对待处理人脸rgb图像中单通道图像分别进行限制对比度自适应直方图均衡处理,利用限制对比度自适应直方图均衡处理应用在rgb通道图像上会造成颜色的变化和失真,使得到的目标人脸rgb图像中的人脸肤色变白,进而通过对目标人脸rgb图像中单通道图像分别进行校正的方式,对目标人脸rgb图像中被过度调亮的暗区域进行调整,增强对比度,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。整个过程,通过对待处理人脸rgb图像进行限制对比度自适应直方图均衡处理以及校正,能够实现准确地根据人脸图像的特点进行人脸图像增强处理,得到视觉效果好的增强的人脸图像。

附图说明

图1为一个实施例中人脸图像增强方法的应用环境图;

图2为一个实施例中人脸图像增强方法的流程示意图;

图3为一个实施例中人脸图像增强方法的示意图;

图4为另一个实施例中人脸图像增强方法的示意图;

图5为另一个实施例中人脸图像增强方法的流程示意图;

图6为又一个实施例中人脸图像增强方法的流程示意图;

图7为一个实施例中人脸图像增强装置的结构框图;

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

本申请实施例提供的方案涉及人工智能的计算机视觉等技术,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的人脸图像增强方法,可以应用于如图1所示的应用环境中。其中,终端102存储有待处理人脸rgb图像。终端102获取待处理人脸rgb图像,对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图,对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图,根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像,对目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

在一个实施例中,如图2所示,提供了一种人脸图像增强方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤202,获取待处理人脸rgb图像。

其中,人脸rgb图像是指通过红(r)、绿(g)、蓝(b)三个颜色通道表示的人脸图像。比如,人脸rgb图像具体可以是拍摄的人脸照片。又比如,人脸rgb图像具体也可以是从视频文件中截取到的视频帧。

具体的,终端存储有拍摄的人脸照片、视频文件等,可以将拍摄的人脸照片作为待处理人脸rgb图像,也可以从视频文件中截取包括人脸图像的视频帧作为待处理人脸rgb图像。

步骤204,对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图。

其中,单通道是指rgb通道中的r通道、g通道以及b通道,单通道图像即是指r通道图像、g通道图像以及b通道图像。图像块集合中包括多个图像块,图像块是指将单通道图像进行分割后,得到的一小块图像,即单通道图像的一部分。与各图像块对应的直方图是指与各图像块对应的灰度直方图,用于表示各预设灰度级在图像块中出现的次数。比如,在直方图中,可以用横轴表示各预设灰度级,用纵轴表示各预设灰度级在图像块中出现的次数。

具体的,终端会根据预设分割参数对待处理人脸rgb图像中单通道图像分别进行分割,将单通道图像分割为多个图像块,得到与单通道图像对应的图像块集合。其中,预设分割参数是指用于对单通道图像进行分割的参数,通过预设分割参数可以将单通道图像分割为多个图像块,预设分割参数可按照需要自行设置。比如,当将预设分割参数设置为k1*k2时,可将单通道图像分割为k1*k2个的图像块。在得到图像块集合后,终端会将图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合,并统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,将各预设灰度级按照顺序排列作为横轴,将各预设灰度级的像素个数作为纵轴,得到与各图像块对应的直方图。其中,像素归一化是指将图像的每个像素值都转换为0到1之间的数值。比如,像素归一化可以通过将图像的每个像素值都除以最大像素值得到,其中的最大像素值可以为255。灰度也就是所谓的色阶或灰阶,是指亮度的明暗程度。预设灰度级是指预先设置的灰度等级。比如,预设灰度级具体可以为256级。各预设灰度级的像素个数是指各预设灰度级在图像块中出现的次数。

步骤206,对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图。

其中,对与各图像块对应的直方图进行均衡处理是指让直方图的分布更均衡。

具体的,在得到与各图像块对应的直方图后,终端会根据预设分割参数和各预设灰度级,对与各图像块对应的直方图进行均衡处理,让直方图的分布更均衡,得到与各图像块对应的目标直方图。

步骤208,根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像。

其中,进行像素值重构是指对各目标图像块中的像素点的像素值进行调整。

具体的,根据与各图像块对应的目标直方图,得到各图像块中各预设灰度级的新的像素值,根据各预设灰度级的新的像素值去计算各预设灰度级的均衡像素值,并根据均衡像素值对各图像块进行均衡调整,根据均衡调整后的各图像块,得到与单通道图像对应的目标图像块集合。在得到目标图像块集合后,终端会获取与单通道图像对应的图像块集合中各图像块的位置信息,根据位置信息对目标图像块集合中各目标图像的各像素点的像素值进行重新计算,得到重构后的各目标图像块,根据重构后的各目标图像块,得到重构后的单通道图像,根据重构后的单通道图像,得到目标人脸rgb图像。其中,各图像块的位置信息是指各图像块在对应的单通道图像上的相对位置信息。比如,各图像块的位置信息具体可以是图像块分布在单通道图像的左上角。

步骤210,对目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像。

其中,进行校正是指对被过度调亮的暗区域进行调整,增强对比度。

具体的,终端会对目标人脸rgb图像中单通道图像进行预处理,得到单通道图像中各预设灰度级的像素个数,再根据预设校正系数对各预设灰度级的像素个数进行校正,得到校正后的单通道图像。

步骤212,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

其中,增强的人脸图像是指综合校正后的单通道图像得到的、与待处理人脸rgb图像对应的处理图像。

具体的,终端会根据校正后的单通道图像,得到单通道图像中各像素点的像素值,进而根据单通道图像中各像素点的像素值进行通道组合,重构增强的人脸图像。

上述人脸图像增强方法,通过对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图,对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图,根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像的方式,对待处理人脸rgb图像中单通道图像分别进行限制对比度自适应直方图均衡处理,利用限制对比度自适应直方图均衡处理应用在rgb通道图像上会造成颜色的变化和失真,使得到的目标人脸rgb图像中的人脸肤色变白,进而通过对目标人脸rgb图像中单通道图像分别进行校正的方式,对目标人脸rgb图像中被过度调亮的暗区域进行调整,增强对比度,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。整个过程,通过对待处理人脸rgb图像进行限制对比度自适应直方图均衡处理以及校正,能够实现准确地根据人脸图像的特点进行人脸图像增强处理,得到视觉效果好的增强的人脸图像。

在一个实施例中,步骤对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图包括:

根据预设分割参数,对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合;

对图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合;

统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,得到与各图像块对应的直方图。

具体的,终端会根据预设分割参数k1*k2,对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,在图像块集合中包括k1*k2个图像块。在得到图像块集合后,终端会通过将图像块集合中各图像块的像素值都除以最大像素值的方式,对图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合,并统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,将各预设灰度级按照顺序排列作为横轴,将各预设灰度级的像素个数作为纵轴,得到与各图像块对应的直方图。

本实施例中,根据预设分割参数对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,对图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合,并统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,得到与各图像块对应的直方图,实现了对与各图像块对应的直方图的获取。

在一个实施例中,步骤对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图包括:

根据预设分割参数和各预设灰度级,得到各图像块的像素值均值;

根据像素值均值和预设限度值,计算各图像块的剪切极限值;

根据与各图像块对应的直方图,获取各图像块的各预设灰度级的像素个数,比对像素个数和剪切极限值,根据比对结果对与各图像块对应的直方图进行剪切,并统计各图像块的目标极限值像素总数;

根据目标极限值像素总数和各预设灰度级,得到各预设灰度级的待均分像素值;

根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整,得到与各图像块对应的目标直方图。

其中,各图像块的像素值均值是指图像块中像素个数均分到各预设灰度级的平均值,可通过公式计算得到,其中h和w是指图像块的宽和高方向的像素个数,可根据预设分割参数得到,与预设分割参数相对应,h与k1对应,w与k2对应,ngray表示灰度级数,可由各预设灰度级得到。预设限度值是指预先设定的用于计算各图像块的剪切极限值的参数,可按照需要自行设置。比如,根据预先实验的实验效果可将预设限度值设定为0.3。剪切极限值是指用于对于各图像块对应的直方图进行剪切的参数值,可通过公式nmax=nthreshold×nave计算得到,其中的nthreshold是指预设限度值,nave是指像素值均值。

其中,各预设灰度级的像素个数是指各预设灰度级在图像块中出现的次数。对与各图像块对应的直方图进行剪切是指根据比对结果将直方图中超出剪切极限值的部分剪切出来,作为目标极限值像素总数。目标极限值像素总数是指直方图中被剪切出来的像素总数。各预设灰度级的待均分像素值是指要均分到各预设灰度级的像素个数,可通过公式计算得到,其中ncut_sum是指目标极限值像素总数,ngray表示灰度级数,可由各预设灰度级得到。

具体的,终端会根据预设分割参数和各预设灰度级,计算得到各图像块的像素值均值,再根据像素值均值和预设限度值,计算各图像块的剪切极限值,根据与各图像块对应的直方图,获取各图像块的各预设灰度级的像素个数,比对各预设灰度级的像素个数和剪切极限值,当像素个数大于剪切极限值时,根据剪切极限值对该预设灰度级对应的像素个数进行剪切,当像素个数小于剪切极限值时,不进行剪切,并统计各图像块的目标极限值像素总数,即各预设灰度级被剪切出来的像素个数的总和。在得到目标极限值像素总数后,终端会根据目标极限值像素总数和各预设灰度级,计算各预设灰度级的待均分像素值,根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整,得到与各图像块对应的目标直方图。

在一个实施例中,举例对与图像块对应的直方图进行剪切进行说明。如图3所示,3-1为与图像块对应的直方图,在3-1中①表示计算得到的图像块的剪切极限值,终端根据剪切极限值对与图像块对应的直方图进行剪切,统计得到的图像块的目标极限值像素总数为区域②(3-1中的阴影部分)所对应的像素个数,在得到目标极限值像素总数后,终端会根据目标极限值像素总数和各预设灰度级,得到各预设灰度级的待均分像素值(即区域③,3-2中的阴影部分),根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整(即将超过剪切极限值的部分再次剪切(区域④,3-2中剪切极限值以上的部分)),得到与各图像块对应的目标直方图(3-2的直方图剪切区域④后得到的直方图)。

本实施例中,根据预设分割参数和各预设灰度级对与各图像块对应的直方图进行剪切,并根据统计得到的各图像块的目标极限值像素总数得到各预设灰度级的待均分像素值,根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整,得到与各图像块对应的目标直方图,能够实现对与各图像块对应的目标直方图的获取。

在一个实施例中,步骤根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整包括:

根据各预设灰度级的像素个数和待均分像素值,得到各预设灰度级的待比对像素值;

当待比对像素值小于剪切极限值时,将预设灰度级的像素个数调整为待比对像素值;

当待比对像素值大于剪切极限值时,将预设灰度级的像素个数调整为剪切极限值。

其中,各预设灰度级的待比对像素值是指各预设灰度级的像素个数和待均分像素值之和,用于与剪切极限值进行比对,确定各预设灰度级的像素个数。

具体的,终端会根据各预设灰度级的像素个数和待均分像素值,计算得到各预设灰度级的待比对像素值,当待比对像素值小于剪切极限值时,由于其未超过剪切极限值,会将预设灰度级的像素个数调整为待比对像素值,当待比对像素值大于剪切极限值时,由于其超过剪切极限值,会将预设灰度级的像素个数调整为剪切极限值。

本实施例中,根据各预设灰度级的像素个数和待均分像素值,得到各预设灰度级的待比对像素值,通过比对各预设灰度级的待比对像素值和剪切极限值,能够实现对预设灰度级的像素个数的调整。

在一个实施例中,步骤根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合包括:

根据与各图像块对应的目标直方图,获取各图像块中各预设灰度级的目标像素个数;

根据目标像素个数,计算在各图像块中各预设灰度级出现的概率;

根据各预设灰度级出现的概率,得到各预设灰度级的均衡像素值;

根据各预设灰度级的均衡像素值,得到均衡调整后的各图像块;

根据均衡调整后的各图像块,得到与单通道图像对应的目标图像块集合。

其中,各预设灰度级的目标像素个数是指在目标直方图中各预设灰度级的像素个数,可通过目标直方图直接得到。各预设灰度级出现的概率是指各预设灰度级的像素个数占各预设灰度级的像素个数总和的比例,可通过公式0≤rk≤1,k=0,1,...,l-1计算得到,其中,nk表示预设灰度级为rk的像素个数,n表示各预设灰度级的像素个数总和,l表示预设灰度级数。各预设灰度级的均衡像素值是指根据各预设灰度级出现的概率和预设变换函数计算得到的、用于对图像块进行均衡调整的像素个数。其中,预设变换函数为0≤rk≤1,k=0,1,...,l-1,sk表示均衡像素归一化值,nk表示预设灰度级为rk的像素个数,n表示各预设灰度级的像素个数总和,l表示预设灰度级数,均衡像素值等于均衡像素归一化值与在进行像素归一化时确定的最大像素值的乘积。

具体的,终端可直接根据与各图像块对应的目标直方图,获取各图像块中各预设灰度级的目标像素个数,根据目标像素个数计算出各图像块中各预设灰度级出现的概率,根据各预设灰度级出现的概率和预设变换函数,计算得到各预设灰度级的均衡像素值,在得到各预设灰度级的均衡像素值后,根据各预设灰度级的均衡像素值对各图像块进行均衡调整,调整各图像块的对比度,得到均衡调整后的各图像块,图像块集合的分割情况和均衡调整后的各图像块,拼接得到与单通道图像对应的目标图像块集合。

本实施例中,根据与各图像块对应的目标直方图,获取各图像块中各预设灰度级的目标像素个数,根据目标像素个数,计算得到各预设灰度级的均衡像素值,进而可以根据各预设灰度级的均衡像素值,得到均衡调整后的各图像块,根据均衡调整后的各图像块,得到与单通道图像对应的目标图像块集合,能够实现对与单通道图像对应的目标图像块集合的获取。

在一个实施例中,步骤对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像包括:

获取与单通道图像对应的图像块集合中各图像块的位置信息;

将各图像块的几何中心作为参考点,根据位置信息和参考点,确定各目标图像块中与各像素点对应的相邻参考点数;

根据与各像素点对应的相邻参考点数,对各像素点进行线性插值;

根据线性插值后的各像素点,得到重构后的各目标图像块;

根据重构后的各目标图像块,得到目标人脸rgb图像。

其中,与各像素点对应的相邻参考点数是指与各像素点相邻的参考点的个数,可由各图像块中各像素点的位置信息和参考点的位置信息得到。举例说明,如图4所示,在图4中包括a、b、c、d4个参考点以及a、b、c、d4个像素点,由图示可得到像素点a的相邻参考点数为1,像素点b和像素点c的相邻参考点数为2,像素点d的相邻参考点数为4。线性插值是指插值函数为一次多项式的插值方式,其在插值节点上的插值误差为零,线性插值包括双线性插值、单线性插值等。

具体的,终端会获取与单通道图像对应的图像块集合中各图像块的位置信息,将各图像块的几何中心作为参考点,根据位置信息确定图像块在单通道图像中的位置,根据图像块在单通道图像中的位置以及参考点,确定各目标图像块中与各像素点对应的相邻参考点数,根据各像素点的相邻参考点数,对各像素点进行线性插值,得到线性插值后的各像素点,根据线性插值后的各像素点,得到重构后的各目标图像块。其中,根据各像素点的相邻参考点数,对各像素点进行线性插值包括:当像素点的相邻参考点数为4时,对像素点进行双线性插值,当像素点的相邻参考点数为2时,对像素点进行单线性插值。当像素点的相邻参考点数为1时,将相邻参考点的像素值作为像素点的像素值。

举例说明,对图4中的像素点d进行双线性插值:设像素点d的坐标为p(x,y),4个相邻参考点的坐标分别为a(xa,ya)、b(xb,yb)、c(xc,yc)、d(xd,yd),对应的像素值分别为ga(i),gb(i),gc(i),gd(i),则双线性插值后的像素点d的像素值gp(i)的计算公式为:gp(i)=a[bga(i)+(1-b)gb(i)]+(1-a)[bgd(i)+(1-b)gc(i)],其中且xa=xd,xb=xc;ya=yb,yc=yd。举例说明,对图4中的像素点b进行单线性插值:设像素点d的坐标为q(x,y),像素点b的相邻参考点为a(xa,ya)、b(xb,yb),对应的像素值分别为ga(i),gb(i),则单线性插值后的像素点b的像素值gq(i)的计算公式为:其中的yb=ya。

本实施例中,根据图像块集合中各图像块的位置信息以及作为参考点的各图像块的几何中心,确定了各目标图像块中与各像素点对应的相邻参考点数,根据与各像素点对应的相邻参考点数,对各像素点进行线性插值,根据线性插值后的各像素点,得到重构后的各目标图像块,能够实现对重构后的各目标图像块的获取。

在一个实施例中,步骤对目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像包括:

对目标人脸rgb图像中单通道图像进行像素归一化,得到归一化后单通道图像中各预设灰度级的像素个数;

根据预设校正系数对各预设灰度级的像素个数进行校正,得到校正后的单通道图像。

其中,预设校正系数是指用于对各预设灰度级的像素个数进行校正的校正值。比如,校正方式具体可以为gamma校正,则预设校正系数为gamma校正中的gamma值。预设校正系数可按照需要自行设置。比如,当校正方式为gamma校正时,根据预先实验的实验效果可将预设校正系数设定为1.05。

具体的,终端会对目标人脸rgb图像中单通道图像进行像素归一化,通过统计得到归一化后单通道图像中各预设灰度级的像素个数,根据预设校正系数对各预设灰度级的像素个数进行校正,根据校正后的各预设灰度级的像素个数,得到校正后的单通道图像。举例说明,当采用gamma校正时,可通过公式i'=iγ对各预设灰度级的像素个数进行校正,其中,i为输入的各预设灰度级的像素个数,i'为校正后的各预设灰度级的像素个数,γ为预设校正系数。

本实施例中,根据预设校正系数对各预设灰度级的像素个数进行校正,通过进行校正,能够对目标人脸rgb图像中单通道图像中过度提亮的暗区域进行调整,增强对比度,得到校正后的单通道图像。

本申请还提供一种应用场景,该应用场景应用上述的人脸图像增强方法。具体的,该人脸图像增强方法在该应用场景的应用如下:

用户通过终端拍摄人脸照片或者录制视频文件,从拍摄的人脸照片或者录制的视频文件中选择待处理人脸rgb图像,终端响应用户选择获取待处理人脸rgb图像,根据预设分割参数,分别对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,对图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合,统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,得到与各图像块对应的直方图,根据预设分割参数和各预设灰度级,得到各图像块的像素值均值,根据像素值均值和预设限度值,计算各图像块的剪切极限值,根据与各图像块对应的直方图,获取各图像块的各预设灰度级的像素个数,比对像素个数和剪切极限值,根据比对结果对与各图像块对应的直方图进行剪切,并统计各图像块的目标极限值像素总数,根据目标极限值像素总数和各预设灰度级,得到各预设灰度级的待均分像素值,根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整,得到与各图像块对应的目标直方图,根据与各图像块对应的目标直方图,获取各图像块中各预设灰度级的目标像素个数,根据目标像素个数,计算在各图像块中各预设灰度级出现的概率,根据各预设灰度级出现的概率,得到各预设灰度级的均衡像素值,根据各预设灰度级的均衡像素值,得到均衡调整后的各图像块,根据均衡调整后的各图像块,得到与单通道图像对应的目标图像块集合,获取与单通道图像对应的图像块集合中各图像块的位置信息,将各图像块的几何中心作为参考点,根据位置信息和参考点,确定各目标图像块中与各像素点对应的相邻参考点数,根据与各像素点对应的相邻参考点数,对各像素点进行线性插值,根据线性插值后的各像素点,得到重构后的各目标图像块,根据重构后的各目标图像块,得到目标人脸rgb图像,对目标人脸rgb图像中单通道图像进行像素归一化,得到归一化后单通道图像中各预设灰度级的像素个数,根据预设校正系数对各预设灰度级的像素个数进行校正,得到校正后的单通道图像,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

本申请还另外提供一种应用场景,该应用场景应用上述的人脸图像增强方法。具体地,该人脸图像增强方法在该应用场景的应用如下:

终端通过已安装的应用软件(如图像处理软件,视频处理软件等)获取终端内存储的待处理人脸rgb图像,根据预设分割参数,分别对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,对图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合,统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,得到与各图像块对应的直方图,根据预设分割参数和各预设灰度级,得到各图像块的像素值均值,根据像素值均值和预设限度值,计算各图像块的剪切极限值,根据与各图像块对应的直方图,获取各图像块的各预设灰度级的像素个数,比对像素个数和剪切极限值,根据比对结果对与各图像块对应的直方图进行剪切,并统计各图像块的目标极限值像素总数,根据目标极限值像素总数和各预设灰度级,得到各预设灰度级的待均分像素值,根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整,得到与各图像块对应的目标直方图,根据与各图像块对应的目标直方图,获取各图像块中各预设灰度级的目标像素个数,根据目标像素个数,计算在各图像块中各预设灰度级出现的概率,根据各预设灰度级出现的概率,得到各预设灰度级的均衡像素值,根据各预设灰度级的均衡像素值,得到均衡调整后的各图像块,根据均衡调整后的各图像块,得到与单通道图像对应的目标图像块集合,获取与单通道图像对应的图像块集合中各图像块的位置信息,将各图像块的几何中心作为参考点,根据位置信息和参考点,确定各目标图像块中与各像素点对应的相邻参考点数,根据与各像素点对应的相邻参考点数,对各像素点进行线性插值,根据线性插值后的各像素点,得到重构后的各目标图像块,根据重构后的各目标图像块,得到目标人脸rgb图像,对目标人脸rgb图像中单通道图像进行像素归一化,得到归一化后单通道图像中各预设灰度级的像素个数,根据预设校正系数对各预设灰度级的像素个数进行校正,得到校正后的单通道图像,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

在一个实施例中,如图5所示,通过一个流程图对本申请的人脸图像增强方法进行说明。

终端获取输入的rgb图像帧(即本申请中的待处理人脸rgb图像),对rgb图像帧中单通道图像分别进行clahe(contrastlimitedadaptivehistogramequalization,限制对比度直方图均衡)处理,得到目标rgb图像帧(即本申请中的目标人脸rgb图像),对目标rgb图像帧中单通道图像分别进行gamma校正,得到gamma校正后的单通道图像,根据gamma校正后的单通道图像,输出已实现图像增强的图像帧(即本申请中的得到增强的人脸图像)。其中进行clahe处理,得到目标rgb图像帧包括:对rgb图像帧中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图,对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图,根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标rgb图像帧。

在一个实施例中,如图6所示,通过一个最详细的实施例对本申请的人脸图像增强方法进行说明,该实施例包括以下步骤:

步骤602,获取待处理人脸rgb图像;

步骤604,根据预设分割参数,对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合;

步骤606,对图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合,统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,得到与各图像块对应的直方图;

步骤608,根据预设分割参数和各预设灰度级,得到各图像块的像素值均值;

步骤610,根据像素值均值和预设限度值,计算各图像块的剪切极限值;

步骤612,根据与各图像块对应的直方图,获取各图像块的各预设灰度级的像素个数,比对像素个数和剪切极限值,根据比对结果对与各图像块对应的直方图进行剪切,并统计各图像块的目标极限值像素总数;

步骤614,根据目标极限值像素总数和各预设灰度级,得到各预设灰度级的待均分像素值;

步骤616,根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整,得到与各图像块对应的目标直方图;

步骤618,根据与各图像块对应的目标直方图,获取各图像块中各预设灰度级的目标像素个数;

步骤620,根据目标像素个数,计算在各图像块中各预设灰度级出现的概率;

步骤622,根据各预设灰度级出现的概率,得到各预设灰度级的均衡像素值;

步骤624,根据各预设灰度级的均衡像素值,得到均衡调整后的各图像块;

步骤626,根据均衡调整后的各图像块,得到与单通道图像对应的目标图像块集合;

步骤628,获取与单通道图像对应的图像块集合中各图像块的位置信息;

步骤630,将各图像块的几何中心作为参考点,根据位置信息和参考点,确定各目标图像块中与各像素点对应的相邻参考点数;

步骤632,根据与各像素点对应的相邻参考点数,对各像素点进行线性插值;

步骤634,根据线性插值后的各像素点,得到重构后的各目标图像块;

步骤636,根据重构后的各目标图像块,得到目标人脸rgb图像;

步骤638,对目标人脸rgb图像中单通道图像进行像素归一化,得到归一化后单通道图像中各预设灰度级的像素个数;

步骤640,根据预设校正系数对各预设灰度级的像素个数进行校正,得到校正后的单通道图像;

步骤642,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。

应该理解的是,虽然图2、5、6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、5、6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图7所示,提供了一种人脸图像增强装置,该装置可以采用软件模块或硬件模块,或者是2者的结合成为计算机设备的一部分,该装置具体包括:获取模块702、分割模块704、均衡模块706、重构模块708、校正模块710和处理模块712,其中:

获取模块702,用于获取待处理人脸rgb图像;

分割模块704,用于对所述待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据所述图像块集合,得到与各图像块对应的直方图;

均衡模块706,用于对所述与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图;

重构模块708,用于根据所述与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对所述目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像;

校正模块710,用于对所述目标人脸rgb图像中单通道图像分别进行校正,得到校正后的单通道图像;

处理模块712,用于根据所述校正后的单通道图像,进行通道组合得到增强的人脸图像。

上述人脸图像增强装置,通过对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合,根据图像块集合,得到与各图像块对应的直方图,对与各图像块对应的直方图进行均衡处理,得到与各图像块对应的目标直方图,根据与各图像块对应的目标直方图,得到与单通道图像对应的目标图像块集合,对目标图像块集合中各目标图像块进行像素值重构,得到目标人脸rgb图像的方式,对待处理人脸rgb图像中单通道图像分别进行限制对比度自适应直方图均衡处理,利用限制对比度自适应直方图均衡处理应用在rgb通道图像上会造成颜色的变化和失真,使得到的目标人脸rgb图像中的人脸肤色变白,进而通过对目标人脸rgb图像中单通道图像分别进行校正的方式,对目标人脸rgb图像中被过度调亮的暗区域进行调整,增强对比度,根据校正后的单通道图像,进行通道组合得到增强的人脸图像。整个过程,通过对待处理人脸rgb图像进行限制对比度自适应直方图均衡处理以及校正,能够实现准确地根据人脸图像的特点进行人脸图像增强处理,得到视觉效果好的增强的人脸图像。

在一个实施例中,分割模块包括:

分割单元,用于根据预设分割参数,对待处理人脸rgb图像中单通道图像分别进行分割,得到与单通道图像对应的图像块集合;

归一化单元,用于对图像块集合中各图像块进行像素归一化处理,得到归一化后的图像块集合;

统计单元,用于统计归一化后的图像块集合中各图像块中各预设灰度级的像素个数,得到与各图像块对应的直方图。

在一个实施例中,均衡模块包括:

像素值均值计算单元,用于根据预设分割参数和各预设灰度级,得到各图像块的像素值均值;

剪切极限值计算单元,用于根据像素值均值和预设限度值,计算各图像块的剪切极限值;

剪切单元,用于根据与各图像块对应的直方图,获取各图像块的各预设灰度级的像素个数,比对像素个数和剪切极限值,根据比对结果对与各图像块对应的直方图进行剪切,并统计各图像块的目标极限值像素总数;

待均分像素值计算单元,用于根据目标极限值像素总数和各预设灰度级,得到各预设灰度级的待均分像素值;

像素个数调整单元,用于根据待均分像素值对各图像块中各预设灰度级的像素个数进行调整,得到与各图像块对应的目标直方图。

在一个实施例中,像素个数调整单元包括:

待比对像素值计算组件,用于根据各预设灰度级的像素个数和待均分像素值,得到各预设灰度级的待比对像素值;

第一比对组件,用于当待比对像素值小于剪切极限值时,将预设灰度级的像素个数调整为待比对像素值;

第二比对组件,用于当待比对像素值大于剪切极限值时,将预设灰度级的像素个数调整为剪切极限值。

在一个实施例中,重构模块包括:

目标像素个数计算单元,用于根据与各图像块对应的目标直方图,获取各图像块中各预设灰度级的目标像素个数;

概率计算单元,用于根据目标像素个数,计算在各图像块中各预设灰度级出现的概率;

均衡像素值计算单元,用于根据各预设灰度级出现的概率,得到各预设灰度级的均衡像素值;

均衡调整单元,用于根据各预设灰度级的均衡像素值,得到均衡调整后的各图像块;

组合单元,用于根据均衡调整后的各图像块,得到与单通道图像对应的目标图像块集合。

在一个实施例中,重构模块包括:

位置信息获取单元,用于获取与单通道图像对应的图像块集合中各图像块的位置信息;

参考点计算单元,用于将各图像块的几何中心作为参考点,根据位置信息和参考点,确定各目标图像块中与各像素点对应的相邻参考点数;

插值单元,用于根据与各像素点对应的相邻参考点数,对各像素点进行线性插值;

重构单元,用于根据线性插值后的各像素点,得到重构后的各目标图像块;

处理单元,用于根据重构后的各目标图像块,得到目标人脸rgb图像。

在一个实施例中,校正模块包括:

预处理单元,用于对目标人脸rgb图像中单通道图像进行像素归一化,得到归一化后单通道图像中各预设灰度级的像素个数;

校正单元,用于根据预设校正系数对各预设灰度级的像素个数进行校正,得到校正后的单通道图像。

关于人脸图像增强装置的具体限定可以参见上文中对于人脸图像增强方法的限定,在此不再赘述。上述人脸图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种人脸图像增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1