图像处理的方法和装置与流程

文档序号:15201421发布日期:2018-08-19 12:34阅读:194来源:国知局

本发明涉及电子技术领域,尤其涉及一种图像处理的方法和装置。



背景技术:

随着电子产品和图像处理技术的发展越来越快速,使得用户对人脸拍摄图像的拍摄效果要求也越来越高。

由于实际应用环境的复杂性,尤其在非理想光照条件下和用户不配合(视角变化、表情变化、饰物乃至化妆)的情况下,大多数人脸识别系统存在识别性能下降的问题。

在诸多影响人脸识别性能的因素中,环境光照的变化是人脸识别领域最具挑战性的难题。当识别的环境光照和注册时的环境光照不同时,往往会引起人脸识别的性能大大下降。



技术实现要素:

本发明实施例提供一种图像处理的方法和装置,以至少解决现有技术中的一个或多个技术问题。

第一方面,本发明实施例提供了一种图像处理的方法,包括:

在红外图像中确定出包括脸部的第一区域;

在彩色图像中确定出与所述第一区域对应的第二区域;

根据所述第一区域和所述第二区域的像素参数,在所述第二区域中确定出待调整子区域;

根据所述第一区域和/或所述第二区域的像素参数,调整所述待调整子区域中的像素参数。

结合第一方面,本发明实施例在第一方面的第一种实现方式中,所述在彩色图像确定出与所述第一区域对应的第二区域,包括:

在彩色图像中确定出与所述第一区域的像素位置对应的第二区域。

结合第一方面,本发明实施例在第一方面的第二种实现方式中,所述第一区域包括多个第一子区域,所述第二区域包括多个第二子区域,根据所述第一区域和所述第二区域的像素参数,在所述第二区域中确定出待调整子区域,包括:

比较各所述第一子区域与所述第一区域的亮度均值,得到各第一亮度差;

比较各所述第二子区域与所述第二区域的亮度均值,得到各第二亮度差;

根据各所述第一亮度差和各所述第二亮度差,在所述第二区域中确定出所述待调整子区域。

结合第一方面,本发明实施例在第一方面的第三种实现方式中,根据所述第一区域的像素参数,调整所述待调整子区域中的像素参数,包括:

在所述第一区域中,确定出与所述待调整子区域位置对称的第一对称子区域;

根据所述第一对称子区域的亮度参数,对应地调整所述待调整子区域的亮度参数。

结合第一方面、第一方面的第一种实现方式或第一方面的第二种实现方式或第一方面的第三种实现方式,本发明实施例在第一方面的第四种实现方式中,根据所述第二区域的像素参数,调整所述待调整子区域中的像素参数,包括:

在所述第二区域中,确定出与所述待调整子区域位置对称的第二对称子区域;

根据所述第二对称子区域的亮度参数和/或rgb分量,对应地调整所述待调整子区域的亮度参数和/或rgb分量。

第二方面,本发明实施例提供了一种图像处理的装置,包括:

第一区域确定模块,用于在红外图像中确定出包括脸部的第一区域;

第二区域确定模块,用于在彩色图像确定出与所述第一区域对应的第二区域;

待调整子区域确定模块,用于根据所述第一区域和所述第二区域的像素参数,在所述第二区域中确定出待调整子区域;

调整模块,用于根据所述第一区域和/或所述第二区域的像素参数,调整所述待调整子区域中的像素参数。

结合第二方面,本发明实施例在第二方面的第一种实现方式中,所述第二区域确定模块还用于在彩色图像确定出与所述第一区域的像素位置对应的第二区域。

结合第二方面,本发明实施例在第二方面的第二种实现方式中,所述第一区域包括多个第一子区域,所述第二区域包括多个第二子区域,所述待调整子区域确定模块包括:

第一比较子模块,用于比较各所述第一子区域与所述第一区域的亮度均值,得到各第一亮度差;

第二比较子模块,用于比较各所述第二子区域与所述第二区域的亮度均值,得到各第二亮度差;

确定子模块,用于根据各所述第一亮度差和各所述第二亮度差,在所述第二区域中确定出所述待调整子区域。

结合第二方面,本发明实施例在第二方面的第三种实现方式中,所述调整模块包括:

第一对称子区域确定子模块,用于在所述第一区域中,确定出与所述待调整子区域位置对称的第一对称子区域;

第一调整子模块,用于根据所述第一对称子区域的亮度参数,对应地调整所述待调整子区域的亮度参数。

结合第二方面、第二方面的第一种实现方式或第二方面的第二种实现方式或第二方面的第三种实现方式,本发明实施例在第二方面的第四种实现方式中,所述调整模块包括:

第二对称子区域确定子模块,用于在所述第二区域中,确定出与所述待调整子区域位置对称的第二对称子区域;

第二调整子模块,用于根据所述第二对称子区域的亮度参数和/或rgb分量,对应地调整所述待调整子区域的亮度参数和/或rgb分量。

第三方面,本发明实施例提供了一种图像处理的装置,包括:

所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中,图像处理的装置的结构中包括处理器和存储器,所述存储器用于存储支持图像处理的装置执行上述第一方面中图像处理的方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述图像处理的装置还可以包括通信接口,用于图像处理的装置与其他设备或通信网络通信。

第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储图像处理的装置所用的计算机软件指令,其包括用于执行上述第一方面中图像处理的方法为图像处理的装置所涉及的程序。

上述技术方案中的一个技术方案具有如下优点或有益效果:利用包括脸部的红外图像对应的调整彩色图像的像素参数,可以对彩色图像的像素参数进行补充,以便于利用调整后的准确的进行脸部识别。

上述技术方案中的另一个技术方案具有如下优点或有益效果:利用红外图像和/或彩色图像的亮度,可以确定出彩色图像中哪些区域例如脸部的哪个具体位置需要调整,进而调整彩色图像的像素参数,可以改善环境光照对图像的不良影响,进一步提高脸部识别的性能。

上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。

图1示出根据本发明一实施例的图像处理的方法的流程图。

图2a和图2b示出根据本发明一实施例的图像处理的方法中第一区域、第二区域的示意图。

图3示出根据本发明另一实施例的图像处理的方法的流程图。

图4a和图4b示出根据本发明另一实施例的图像处理的方法中子区域的示意图。

图5示出根据本发明一实施例的图像处理的装置的结构框图。

图6示出根据本发明另一实施例的图像处理的装置的结构框图。

图7示出根据本发明另一实施例的图像处理的装置的结构框图。

图8示出根据本发明另一实施例的图像处理的装置的结构框图。

图9示出根据本发明另一实施例的图像处理的装置的结构框图。

具体实施方式

在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。

图1示出根据本发明一实施例的图像处理的方法的流程图。如图1所示,该方法可以包括:

s110:在红外图像中确定出包括脸部的第一区域。

在本实施例中,可以使用红外相机拍摄得到目标对象的红外图像,采用彩色相机拍摄得到目标对象的彩色图像。红外图像和彩色图像可以包括目标对象的脸部。红外图像是通过“测量”物体向外辐射的热量而获得的图像,通常是呈现人脸温度的灰度图。

例如,对红外图像进行人脸识别,可以得到包括人脸的第一区域,并确定该第一区域在红外图像上包括的像素的位置。

s120:在彩色图像中确定出与所述第一区域对应的第二区域。

彩色图像的每个像素由红(r)、绿(g)、蓝(b)分量构成,通过r、g、b三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。因此,彩色图像也可以称为rgb图像。

在一种示例中,可以采用红外相机和彩色相机在相同位置采用相同拍摄角度拍摄目标对象。这样目标对象的同一部位在红外图像和彩色图像的像素位置相同。当然,如果目标对象的同一部位在初始拍摄的红外图像和彩色图像的像素位置不相同,可以计算得到目标对象的同一部位在这两种图像的像素位置的对应关系。因此,在红外图像中确定出第一区域后,可以根据第一区域的像素位置,在彩色图像中确定出与所述第一区域的像素位置对应的第二区域。第二区域通常也包括目标对象的人脸。

例如:如图2a和图2b所示,在红外图像的第一区域包括位置为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)的四个像素点连接而成的区域。在彩色图像中,可以将位置为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)的四个像素点连接而成的区域,作为第二区域。

s130:根据所述第一区域和所述第二区域的像素参数,在所述第二区域中确定出待调整子区域。

在红外图像中,可以将第一区域划分得到多个子区域,在彩色图像中也可以将第二区域划分得到多个子区域。然后根据各子区域的像素的亮度、rgb分量等参数,来确定需要对第二区域的哪个子区域进行调整。

例如,如果第二区域的某个子区域的亮度明显低于彩色图像(或第二区域)的亮度均值,可以将该子区域确定为待调整子区域。

再如,如果第二区域的某个子区域的某个r、g、b分量与彩色图像(或其他子区域)的r、g、b分量相比,明显异常,可以将该子区域确定为待调整子区域。

确定出的待调整子区域的数量可能为一个,也可能为多个,本实施例不作限定。如果确定出多个待调整子区域,可以对这些待调整子区域分别进行调整,或者将多个位置相邻的待调整子区域当前一个完整的待调整子区域进行调整。

s140:根据所述第一区域和/或所述第二区域的像素参数,调整所述待调整子区域中的像素参数。

在本发明实施例中,调整待调整子区域中的像素参数的方式有多种,可以根据实际情况来确定。

例如,如果图像中所包括的目标对象的人脸左右对称,待调整子区域处于右脸,可以根据该子区域在对称位置(处于红外和/或彩色图像上的左脸)的像素参数,来调整这个待调整子区域的像素参数。

再如,如果待调整子区域处于人脸的下巴,可以根据该子区域在人脸的诸如额头、脸颊等其他位置的像素参数,来调整这个待调整子区域的像素参数。

再如,还可以根据红外和/或彩色图像上的整个人脸区域(第一区域和/或第二区域)的像素参数的均值等,来调整待调整子区域的像素参数。

本发明实施例利用包括脸部的红外图像对应的调整彩色图像的像素参数,可以对彩色图像的像素参数进行补充,以便于利用调整后的准确的进行脸部识别。

图3示出根据本发明另一实施例的图像处理的方法的流程图。如图3所示,s110、s120、s130、s140的含义可以参见上述实施例的相关描述,在此不再赘述。

与上述实施例的不同之处在于,将第一区域、第二区域分别划分出多个子区域后,所述第一区域包括多个第一子区域,所述第二区域包括多个第二子区域,s130可以包括:

s210、比较各所述第一子区域与所述第一区域的亮度均值,得到各第一亮度差;

s220、比较各所述第二子区域与所述第二区域的亮度均值,得到各第二亮度差;

s230、根据各所述第一亮度差和各所述第二亮度差,在所述第二区域中确定出所述待调整子区域。

例如,红外图像的第一区域亮度均值为100,第一子区域a1的亮度为80,二者的第一亮度差为20。彩色图像的第二区域的亮度均值110,第二子区域b1(假设b1与a1位置对应)的亮度为50,二者的第二亮度差为60。假设第二亮度差与第一亮度差的差值阈值为30。本例中第二亮度差的与第一亮度差的差值为40,大于差值阈值,则可以认为第二子区域b1为待调整子区域。

需要说明的是,尽管以亮度作为示例介绍了确定待调整子区域的方式如上,但本领域技术人员能够理解,本发明应不限于此。事实上,可根据实际应用场景灵活设定待调整子区域的确定方式,只要能够从图像中确定出待调整子区域即可。例如,还可以根据彩色图像的像素的亮度和/或rgb分量来确定待调整子区域。

在一种可能的实现方式中,调整待调整子区域亮度参数方式有多种,示例如下。

方式一、s140可以包括:

s310、在所述第一区域中,确定出与所述待调整子区域位置对称的第一对称子区域;

s320、根据所述第一对称子区域的亮度参数,对应地调整所述待调整子区域亮度参数。

具体而言,如图4a和图4b所示,确定出待调整子区域b1后,可以在红外图像中确定出于待调整区域位置对称的第一对称子区域a2。例如,可以根据b1在彩色图像的位置,先在红外图像中找到对应的区域a1,再根据a1找到对称区域a2。根据a1找a2的方法有多种,例如可以将图像的中心线(和/或中心点)作为对称轴来确定a1对称的a2,也可以根据例如将第一区域的中心线作为对称轴来确定a1对称的a2,或者根据脸部的鼻子确定中心线后再以中心线作为对称轴来确定a1对称的a2,也可以采用其他可行方式。

方式二、s140可以包括:

s410、在所述第二区域中,确定出与所述待调整子区域位置对称的第二对称子区域;

s420、根据所述第二对称子区域的亮度参数和/或rgb分量,对应地调整所述待调整子区域亮度参数和/或rgb分量。

具体而言,如图4a所示,确定出待调整子区域b1后,可以在彩色图像中确定出于待调整区域位置对称的第二对称子区域b2。根据b1找b2的方法可以参见上述根据a1找a2的方法。

本发明实施例利用红外图像和/或彩色图像的亮度,可以确定出彩色图像中哪些区域例如脸部的哪个具体位置需要调整,进而调整彩色图像的像素参数,可以改善环境光照对图像的不良影响,提高脸部识别的性能。

进一步地,还可以利用红外图像和/或彩色图像的亮度、rgb分量等,调整彩色图像的像素参数,使得彩色图像更加符合脸部的特征,提高脸部识别的性能。

图5示出根据本发明一实施例的图像处理的装置的结构框图。参照图5,该装置包括:

第一区域确定模块510,用于在红外图像中确定出包括脸部的第一区域。

第二区域确定模块520,用于在彩色图像确定出与所述第一区域对应的第二区域。

待调整子区域确定模块530,用于根据所述第一区域和所述第二区域的像素参数,在所述第二区域中确定出待调整子区域。

调整模块540,用于根据所述第一区域和/或所述第二区域的像素参数,调整所述待调整子区域中的像素参数。

在另一个实施例中,参照图6,待调整子区域确定模块530,还可以包括:

第一比较子模块610,用于比较各所述第一子区域与所述第一区域的亮度均值,得到各第一亮度差。

第二比较子模块620,用于比较各所述第二子区域与所述第二区域的亮度均值,得到各第二亮度差。

确定子模块630,用于根据各所述第一亮度差和各所述第二亮度差,在所述第二区域中确定出所述待调整子区域。

在另一个实施例中,参照图7,调整模块540可以包括:

第一对称子区域确定子模块710,用于在所述第一区域中,确定出与所述待调整子区域位置对称的第一对称子区域;

第一调整子模块720,用于根据所述第一对称子区域的亮度参数,对应地调整所述待调整子区域的亮度参数。

在另一个实施例中,参照图8,调整模块540还可以包括:

第二对称子区域确定子模块810,用于在所述第二区域中,确定出与所述待调整子区域位置对称的第二对称子区域;

第二调整子模块820,用于根据所述第二对称子区域的亮度参数和/或rgb分量,对应地调整所述待调整子区域的亮度参数和/或rgb分量。

本发明实施例的装置中各模块的功能可以参见上述方法的相关描述,在此不再赘述。

图9示出根据本发明另一实施例的图像处理的装置的结构框图。如图9所示,该图像处理的装置包括:存储器910和处理器920,存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的图像处理的方法。所述存储器910和处理器920的数量可以为一个或多个。

该图像处理的装置还包括:

通信接口930,用于与外界设备进行通信,进行数据交互传输。

存储器910可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。

如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(isa,industrystandardarchitecture)总线、外部设备互连(pci,peripheralcomponent)总线或扩展工业标准体系结构(eisa,extendedindustrystandardcomponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1