一种图像处理方法及装置与流程

文档序号:15230751发布日期:2018-08-21 19:24阅读:179来源:国知局

本申请涉及计算机技术领域,尤其涉及一种图像处理方法及装置。



背景技术:

随着图像处理技术的发展,具有拍摄(比如拍照或摄像)功能的终端对于拍摄到的图像具有图像处理功能。终端对拍摄到的图像经过图像处理后可在拍摄预览界面实时显示。所述图像处理可包括美颜处理,比如美白、磨皮等。

对于拍摄到的图像,如果人脸上有与周围皮肤亮度相差较大的目标特征,比如人脸上的黑痣或痘痘,可以通过终端中的美颜功能去除该目标特征。但是,目前用于去除图像中人脸上的黑痣或痘痘等目标特征的图像处理算法技术实现较为复杂、效率低。

由此可见,提供一种高效的图像处理方案以去除图像中人脸上的黑痣或痘痘等目标特征是目前业界需要解决的问题。



技术实现要素:

第一方面,本申请实施例提供一种图像处理方法及装置,该方法包括:

获取第一图像;

检测得到所述第一图像中的人脸,确定所述人脸中的目标特征的检测区域,所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度;

针对所述目标特征检测区域,根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较,确定出所述人脸上的第一目标特征;其中,所述检测模板为m×n像素块,所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素,所述第一像素用于对应待检测像素,所述多个第二像素用于对应待检测像素周围的像素,m和n均为大于1的整数。

本申请实施例提供一种图像处理装置,包括:

预处理模块,用于获取第一图像,检测得到所述第一图像中的人脸,确定所述人脸中的目标特征的检测区域,所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度;

目标检测模块,用于针对所述目标特征检测区域,根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较,确定出所述人脸上的第一目标特征;其中,所述检测模板为m×n像素块,所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素,所述第一像素用于对应待检测像素,所述多个第二像素用于对应待检测像素周围的像素,m和n均为大于1的整数。

本申请实施例提供一种图像处理设备,包括:

显示器;

存储器,用于存储计算机程序指令;

处理器,耦合到所述存储器,用于读取所述存储器存储的计算机程序指令,并作为响应,执行本申请实施例中任意一种图像处理方法。

本申请实施例提供一个或多个计算机可读介质,所述可读介质上存储有指令,所述指令被一个或多个处理器执行时,使得图像处理设备执行本申请实施例中任意一种图像处理方法。

本申请的上述实施例中,获取第一图像;检测得到第一图像中的人脸,确定该人脸中目标特征的检测区域;在目标特征的检测区域内,根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较,确定出该人脸上的第一目标特征,缩小了目标特征的检测范围,进而提高了目标特征的检测速度,降低了误检发生的概率,提高了目标特征检测的准确性。

第二方面,本申请实施例还提供了另一种图像处理方法及装置,该方法包括:

获取视频帧序列中的第一视频帧;

若所述第一视频帧为关键检测帧,则检测得到所述第一视频帧中人脸上的目标特征,并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置;其中,所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧,所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度;

若所述第一视频帧不是关键检测帧,则根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置,确定所述第一视频帧中人脸上的目标特征,其中,所述第二视频帧为所述第一视频帧的前一视频帧;

对所述目标特征所在的区域进行肤色填充。

本申请实施例提供一种图像处理装置,包括:

获取模块,用于获取视频帧序列中的第一视频帧;

控制模块,用于判断所述获取模块获取的第一视频帧是否为关键检测帧,其中,所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧,若是,触发第一处理模块,否则,触发第二处理模块;

所述第一处理模块,用于检测得到所述第一视频帧中人脸上的目标特征,并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置,其中,所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度;

所述第二处理模块,用于根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置,确定所述第一视频帧中人脸上的目标特征,其中,所述第二视频帧为所述第一视频帧的前一视频帧;

填充模块,用于对所述目标特征所在的区域进行肤色填充。

本申请的上述实施例中,若视频帧序列中的第一视频帧为关键检测帧,则检测得到第一视频帧中的人脸,确定该人脸中目标特征的检测区域,在人脸中目标特征的检测区域内,根据检测模板确定人脸上的目标特征,并确定检测出的目标特征与该人脸中的人脸关键点之间的相对位置,否则,根据视频帧序列中的第一视频帧的前一视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置,确定第一视频帧中人脸上的目标特征,并对所确定的目标特征所在的区域进行肤色填充,实现了对视频序列中相邻关键帧之间每个视频帧中目标特征的跟踪检测,并去除每个视频帧中的目标特征,且跟踪方法运算量小、对跟踪对象的要求低、易于实现。

附图说明

本申请的实施例通过示例而非限制的方式示出在所附附图中,类似的附图标记表示类似的元素。

图1为本申请实施例图像处理装置100的结构示意图;

图2为本申请实施例第一种图像处理方法的流程示意图;

图3为本申请实施例第一种检测模板的示意图;

图4为本申请实施例第二种检测模板的示意图;

图5为本申请实施例人脸轮廓点与器官点的示意图;

图6为本申请实施例检测区域掩膜示意图;

图7为本申请实施例对第一目标特征进行肤色填充的方法流程示意图;

图8为本申请实施例肤色填充区域网格化示意图;

图9为本申请实施例目标特征肤色填充效果示意图;

图10为本申请实施例图像处理装置1000的结构示意图;

图11为本申请实施例第二种图像处理方法的流程示意图;

图12a为本申请实施例第二视频帧中目标特征的位置示意图;

图12b为本申请实施例第一视频帧中估计得到的目标特征的位置示意图;

图13为本申请实施例提供的图像处理设备的结构示意图。

具体实施方式

虽然本申请的概念易于进行各种修改和替代形式,但是其具体实施例已经通过附图中的示例示出并且将在本文中详细描述。然而,应当理解,没有意图将本申请的概念限制为所公开的特定形式,而是相反,意图是覆盖与本申请以及所附权利要求一致的所有修改、等同物和替代物。

说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用,指示所描述的实施例可包括特定特征、结构或特性,但是每个实施例可以或可以不必包括特定特征、结构或特性。此外,这样的短语不一定指的是相同的实施例。进一步地,认为在本领域技术人员的知识范围内,当结合实施例描述特定特征、结构或特性时,结合无论是否明确描述的其它实施例影响这样的特征,结构或特性。另外,应当理解,以“a,b和c中的至少一个”的形式包括在列表中的项目可以表示(a);(b);(c);(a和b);(a和c);(b和c);或(a,b和c)。类似地,以“a,b或c中的至少一个”的形式列出的项目可以表示(a);(b);(c);(a和b);(a和c);(b和c)或(a,b和c)。

在一些情况下,所公开的实施例可以在硬件、固件、软件或其任何组合中实现。所公开的实施例还可以被实现为由一个或多个暂时性或非暂时性机器可读(例如,计算机可读)存储介质携带或存储的指令,其可以由一个或多个处理器读取和执行。机器可读存储介质可以体现为用于以机器可读形式(例如,易失性或非易失性存储器、介质盘或其他介质)存储或传输信息的任何存储设备,机制或其他物理结构的设备)。

在附图中,一些结构或方法特征可以以特定布置和/或顺序示出。然而,应当理解,可能不需要这样的具体布置和/或排序。相反,在一些实施例中,这些特征可以以与说明性附图中所示不同的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示这种特征在所有实施例中都是需要的,并且在一些实施例中可以不包括或可以与其他特征组合。

本申请实施例中,目标特征为人脸皮肤上具有一定形状的区域,且该区域的亮度与周围皮肤的亮度相差较大的特征,包括黑痣、痘痘和色斑等。

本申请实施例可应用于具有拍摄(比如拍照或摄像)功能的终端,比如,该终端可以是:智能手机、平板电脑、笔记本电脑、个人数字助理(personaldigitalassistant,pda)、智能穿戴设备或类似设备。

下面结合附图对本申请实施例进行详细描述。

如图1所示,本申请实施例提供的一种图像处理装置100包括预处理模块101和目标检测模块102。图像处理装置100可处理单张图像,也可处理视频序列中的视频帧。

图像处理装置100中,预处理模块101用于获取第一图像,检测得到第一图像中的人脸,确定该人脸中的目标特征的检测区域,该目标特征为该人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度。目标检测模块102用于在预处理模块101所确定的目标特征检测区域内,根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较,确定出该人脸上的第一目标特征。

以智能手机为例,智能手机中图像处理装置100从图像采集装置(比如该智能手机上配置的相机拍摄镜头或摄像头)中获取待处理图像,检测该待处图像中的目标特征,对检测出的目标特征进行肤色填充,并将处理后的图像发送给显示装置,以使显示装置显示处理后的图像。这样,当用户使用智能手机拍摄人物照片或视频时,所拍摄得到的照或视频片可通过图像处理装置100进行美颜处理,美颜处理后的照片或视频显示在预览页面中,从而实现实时的美颜处理。

可选地,本申请实施例所使用的检测模板为m×n像素块,该像素块中包括一个位于所述像素块中部的第一像素以及分布于该像素块边缘的多个第二像素,第一像素用于对应待检测像素,所述多个第二像素用于对应待检测像素周围的像素,m和n均为大于1的整数。其中,m和n的取值越大,目标特征检测的准确性越高,而目标特征的检测速度越慢,因此,m和n的取值需要综合考虑目标特征检测的准确性和检测速度。

作为一个例子,图2示例性地示出了一个5×5的检测模板,第一像素为该像素块的中心像素,第二像素包括以第一像素为中心,半径为3个像素的离散圆上的12个像素,其中,灰色的圆点表示第一像素,黑色的圆点表示第二像素。

作为另一个例子,图3示例性地示出了一个为7×7的检测模板,第一像素为该像素块的中心像素,第二像素包括以第一像素为中心,半径为4个像素的离散圆上的16个像素。

图4示例性地示出了本申请实施例中的一种图像处理流程,该流程可由上述图像处理装置100执行。该流程可包括以下步骤:

步骤401~步骤402:获取第一图像,检测得到第一图像中的人脸,确定该人脸中目标特征的检测区域。可选地,步骤401和步骤402通过图像处理装置100中预处理模块101实现。

具体地,拍摄得到第一图像。其中,第一图像可以是视频序列中的一个视频帧,也可以是单张图像。比如,可以是拍摄得到的一张照片,也可以是拍摄得到的一段视频序列中的一个视频帧。

可选地,步骤402中,对第一图像进行人脸检测,得到人脸轮廓点与器官点;根据该人脸轮廓点与该器官点,确定人脸中目标特征的检测区域。其中,该检测区域为在该人脸轮廓特征点所描绘的人脸区域内,排除该器官点所描绘的器官所在区域,比如,该检测区域可以是人脸区域内排除眼睛、嘴和眉毛区域的人脸部分。以目标特征为黑痣为例,一般情况下,由于人脸上眼睛、嘴和眉毛区域一般不会存在黑痣,因此,确定检测区域时排除眼睛、嘴和眉毛区域,这样在检测目标特征时只需对该检测区域进行检测,提高了目标特征的检测速度。

作为一个例子,进行人脸检测后得到如图5所示的人脸轮廓点与器官点,其中,圆圈表示人脸轮廓点,黑点表示器官点。根据得到的人脸轮廓点与器官点生成如图6所示检测区域的掩膜(mask),其中该掩膜是一个二值图,用白色(即灰度值为255)表示需要检测的区域,用黑色(即灰度值为0)表示不需要检测的区域。黑色区域包括两部分,一部分是第一图像的背景区域,即人脸以外的区域,另一部分是人脸的器官区域,包括眼睛、嘴和眉毛所在的区域。

步骤403:针对目标特征的检测区域,根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较,确定出该人脸上的第一目标特征。

具体地,针对检测区域内的任一待检测像素,执行:将检测模板中第一像素与待检测像素对齐,根据该检测模板中的第二像素,确定检测区域中相应位置的像素的亮度值,若确定该待检测像素的亮度值小于检测区域中相应位置的每个像素的亮度值,且后者减去前者的差值均大于设定阈值,则确定该待检测像素为第一目标特征所在区域内的像素,根据被检测为第一目标特征所在区域内的像素,得到该检测区域内的目标特征。其中,该设定阈值可以根据仿真结果或者经验值确定。该实施方式中,检测人脸上目标特征的方法简单、所需计算时间短,能够对特征目标进行实时检测,并且当检测区域中与第二像素对应的每个像素的亮度值与待检测像素的亮度值的差值均大于设定阈值时,确定待检测像素为目标特征所在区域内的像素,对目标特征所在区域内的像素检测的要求更严格,进一步提高了目标特征检测的准确性。

其中,确定第一图像中像素的亮度值的方法包括但不限于以下两种方法:方法一、将第一图像转化为灰度图,此时,第一图像中像素的亮度值可以用该像素的灰度值表示。方法二、用像素的rgb值中r值、g值和b值的加权平均值表示该像素的亮度值。

可选地,根据所有满足条件的像素的分布特征(位置关系)确定第一目标特征所在的区域,将分布较集中的满足条件的像素所在的区域确定为第一目标特征所在的区域。

可选地,在一些实施例中,可采用图像分层方式来检测特征目标。具体地,确定第一图像的人脸中的检测区域后,构建第一图像的图像金字塔,其中,该图像金字塔的层数d1为检测模板中第二像素所描绘的区域的尺寸,d2为检测模板所能检测的目标特征的最大尺寸,β为图像金字塔相邻两层之间的缩放倍数。针对该图像金字塔的每一层图像,在所确定的目标特征检测区域内,将检测模板中第一像素与待检测像素对齐,根据该检测模板中的每个第二像素,确定该检测区域中相应位置的每个像素的亮度值,若该待检测像素的亮度值icenter以及该检测区域中相应位置的每个像素的亮度值满足icircle-icentre>ε,其中,icircle表示该检测区域中相应位置的任意一个像素的亮度值,ε表示设定阈值,则确定该待检测像素为目标特征所在的区域内的像素。将从该图像金字塔的每一层图像中获得的目标特征所在的区域内的像素进行合并,得到该检测区域内的第一目标特征。

可选地,为了剔除误检测出的目标特征(如眼镜框的边缘或颜色较深的皱纹),进一步提高目标特征检测的准确性,确定出人脸上的第一目标特征之后,可以通过以下三种方式对检测出的第一目标特征进行过滤:

方式一、检测得到第一目标特征的边缘像素的梯度方向,统计每个梯度方向对应的像素个数,并计算该像素个数的方差,若方差大于设定阈值,则过滤掉第一目标特征,其中,该方差的预设阈值的范围可以是[0.1,0.3]。具体地,确定出人脸上的人脸上的第一目标特征之后,通过边缘检测算法(如sobel边缘检测算法),检测出第一目标特征的边缘上的像素,根据该像素统计第一目标特征的边缘的梯度方向直方图,并计算该直方图中各个柱状图表示的像素个数的方差,若该方差大于预设阈值,则过滤掉第一目标特征。例如,假设所要检测的目标特征为黑痣或痘痘,由于黑痣或痘痘的形状接近于圆形,而眼镜框或皱纹的形状接近于长条形,因此黑痣或痘痘的边缘的梯度方向直方图接近于平均分布,即黑痣或痘痘的边缘的梯度方向直方图中每个梯度方向对应的像素个数的差异较小,而眼镜框或皱纹的边缘的度方向直方图在长边的方向上有明显的分布,即眼镜框或皱纹的边缘的度方向直方图中长边的方向上对应的像素个数较多,其他方向上对应的像素的个数较少。

方式二、使用基于目标特征样本训练得到的分类器,对检测出的第一目标特征进行过滤。其中,该分类器根据目标特征样本(正样本)和可能被检测为目标特征的误检测特征(如眼镜框、皱纹等)样本训练得到,该分类器可以为支持向量机(supportvectormachine,svm)分类器或adaboost分类器。

方式三、若第一图像为视频序列中的一个视频帧,可以基于对该视频帧的前一个视频帧中与第一目标特征对应的目标特征的跟踪结果,对第一目标特征进行过滤。具体地,获取视频帧序列中的第二视频帧中的第二目标特征与人脸关键点之间的相对位置,其中,第二视频帧为第一视频帧的前一视频帧,第二目标特征与第一目标特征对应,例如按照相同的规则对视频序列中每个视频帧中确定出的目标特征根据该目标特征在人脸中的位置进行编号,相邻两个视频帧中编号一致的目标特征互相对应。根据第二视频帧中第二目标特征与人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置,预估第一视频帧中人脸上的第一目标特征的位置。若预估出的人脸上第一目标特征的位置与确定出的人脸上第一目标特征的位置的差异大于预设值,则过滤掉第一视频帧中的第一目标特征,其中该预设值可以根据仿真结果或经验值确定。

可选地,确定出该人脸上的第一目标特征之后,对确定出的第一目标特征所在的区域进行肤色填充,以去除人脸上检测出的目标特征。其中,第一目标特征所在的区域肤色填充过程可以通过图像处理装置100中的肤色填充模块103实现。

可选地,如图7所示,对确定出的第一目标特征所在的区域进行肤色填充包括以下步骤:

步骤701:针对确定出的第一目标特征,确定肤色填充区域。其中,肤色填充区域大于第一目标特征所覆盖的区域,以保证得到的采样点的不包括第一目标特征边界上的像素,实现对目标特征所在区域的正确填充,例如肤色填充区域的边界与目标特征的边界之间的距离为设定个数个像素。

步骤702:对肤色填充区域边界上的像素进行间隔采样得到采样点,根据该采样点将该肤色填充区域网格化,一条网格线与该肤色填充区域边界上的两个交叉点分别为该采样点中的两个采样点。优选地,可以对肤色填充区域边界上的像素进行等间隔采样得到采样点。

步骤703:针对任意一个网格线交叉点,根据每个采样点与该交叉点的距离分别确定每个采样点的权重,确定所有采样点的颜色值与对应的权重的第一加全权均值,根据第一加权平均值设置交叉点的颜色值,其中,一个采样点对应的权重与该采样点到交叉点的距离成反比。

步骤704:针对每个网格内的任一待填充像素,根据网格的每个顶点与待填充像素的距离分别确定每个顶点的权重,确定每个顶点的颜色值与对应的权重的第二加权平均值,根据所述第二加权平均值设置待填充像素的颜色值,其中,一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。

例如,图8所示的肤色填充区域中顶点为a、b、c、d的网格中的待填充像素o的颜色值co=w1ca+w2cb+w3cc+w4cd,其中,ca、cb、cc、cd分别为a、b、c、d点的颜色值,w1、w2、w3、w4分别为a、b、c、d点的权重,若o点到a、b、c、d点的距离分别la、lb、lc、ld且满足lb>lc>ld>la,则w2<w3<w4<w1。

该实施方式中,根据肤色填充区域边界上的所有采样点的颜色值的第一加权平均值确定肤色填充区域中网格线交叉点的颜色值,再根据网格顶点的颜色值的第二加权平均值确定网格内部待填充像素的颜色值,使得肤色填充区域中各像素的颜色过渡自然,提高了用户体验,且肤色填充方法简单,所需计算时间少,能够对肤色填充区域进行实时填充。

可选地,对确定出的第一目标特征所在的区域进行肤色填充之后,将肤色填充后的第一图像进行显示,其中,肤色填充后的第一图像的显示可以通过图像处理装置100中的显示模块104实现。图9示例性地示出了肤色填充后的效果。如图所示,对确定出的黑痣所在的区域进行肤色填充,去除人脸上的黑痣,使得第一图像中人脸图像更加美观。

本申请实施例中,获取第一图像;检测得到第一图像中的人脸,确定该人脸中目标特征的检测区域;在目标特征的检测区域内,根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较,确定出该人脸上的第一目标特征,缩小了目标特征的检测范围,进而提高了目标特征的检测速度,降低了误检发生的概率,提高了目标特征检测的准确性。

如图10所示,本申请实施例提供的图像处理装置1000包括获取模块1001、控制模块1002、第一处理模块1003、第二处理模块1004和填充模块1005。图像处理装置1000可处理视频序列中的视频帧。

图像处理装置1000中,获取模块1001,用于获取视频帧序列中的第一视频帧。控制模块1002,用于判断获取模块1001获取的第一视频帧是否为关键检测帧,其中,该关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧,若是,触发第一处理模块1003,否则,触发第二处理模块1004。第一处理模块1003,用于检测得到第一视频帧中人脸上的目标特征,并确定检测出的目标特征与该人脸中的人脸关键点之间的相对位置。第二处理模块1004,用于根据该视频帧序列中的第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置,确定第一视频帧中人脸上的目标特征,其中,第二视频帧为第一视频帧的前一视频帧。填充模块1005,用于对所确定出的目标特征所在的区域进行肤色填充。

如图11所示,本申请实施例第二种图像处方法包括以下步骤:

步骤1101:获取视频帧序列中的第一视频帧。具体地,步骤1101通过图像处理装置1000中的获取模块1001实现。

具体地,拍摄得到视频帧序列中的第一视频帧。

步骤1102:判断第一视频帧是否为关键检测帧,其中,该关键检测帧包括该视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧,若是,执行步骤1103,否则,执行步骤1104。具体地,步骤1102通过图像处理装置1000中的控制模块1002实现。

步骤1103:检测得到第一视频帧中人脸上的目标特征,并确定检测出的目标特征与该人脸中的人脸关键点之间的相对位置。具体地,步骤1103通过图像处理装置1000中的第一处理模块1003实现。

其中,检测得到第一视频帧中人脸上的目标特征的方法参见步骤402和步骤403的描述,此处不再赘述。需要说明的是,步骤402和步骤403所描述的目标特征检测方法只是举例说明,任何能够检测得到第一视频帧中人脸上的目标特征的方法均适用于本申请实施例。

可选地,人脸关键点的数量至少为3个。其中,人脸关键点可以是对第一图像进行人脸检测时得到的器官点。

步骤1104:根据视频帧序列中的第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置,确定第一视频帧中人脸上的目标特征,其中,第二视频帧为第一视频帧的前一视频帧。具体地,步骤1104通过图像处理装置1000中的第二处理模块1004实现。

实施中,根据视频帧序列中的第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置,确定第一视频帧中人脸上的目标特征,实现了对视频帧序列中人脸上的目标特征的跟踪,且运算量小、对跟踪对象的要求低(跟踪对象可以不是特征不变的角点)、易于实现。

具体地,图12a为第二视频帧,图12b为第一视频帧,a,b,c为人脸中的人脸关键点,s为第二视频帧中检测出的目标特征,a的坐标为(xa,ya),b的坐标为(xb,yb),c的坐标为(xc,yc),s的坐标为(xs,ys),且a,b,c和s的坐标满足以下关系:

其中,w1,w2,w3为s的坐标系数。若第一视频帧不是关键检测帧,根据第一视频帧中人脸关键点a,b,c,以及根据第二视频帧确定的s的坐标系数w1,w2,w3,估计第二视频帧中目标特征s在第一视频帧中的位置s’。

可选地,若第一视频帧不是关键检测帧,则判断第一视频帧中的人脸姿态与第三视频帧中的人脸姿态的差异,若该差异大于设定阈值,则检测得到第一视频帧中人脸上的目标特征,并确定检测出的目标特征与人脸中的人脸关键点之间的相对位置,其中,第三视频帧为第一视频帧的前一个关键检测帧,以避免第一视频帧中人脸大角度偏转导致人脸关键点定位不准确,使得根据第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及关键点的位置得到的第一视频帧中人脸上的目标特征误差较大。其中,该设定阈值根据仿真结果确定,检测得到第一视频帧中人脸上的目标特征的方法参见步骤402和步骤403的描述,此处不再赘述。

步骤1105:对所确定的目标特征所在的区域进行肤色填充。具体地,步骤1105通过图像处理装置1000中的填充模块1005实现。

其中,对所确定的目标特征所在的区域进行肤色填充的具体过程参见步骤701-步骤704的描述,此处不再赘述。

可选地,对所确定出的目标特征所在的区域进行肤色填充之后,将肤色填充后的第一视频帧进行显示,其中,肤色填充后的第一视频帧的显示通过图像处理装置1000中的显示模块1006实现。

基于相同的技术构思,本申请实施例还提供了一种图像处理设备1300,该设备1300可实现图4或图11所示的流程。

如图13所示,本申请实施例提供的一种图像处理设备1300包括:显示器1301、存储器1302和处理器1303。

其中,显示器1301用于显示获取到的图片(或视频),和/或显示肤色填充后的图片(或视频)。存储器1302具体可包括内部存储器和/或外部存储器,比如随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。处理器1303可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器1303与其他各模块之间存在数据通信连接,比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥,具体由处理器1303代表的一个或多个处理器和存储器1302代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器1303负责管理总线架构和通常的处理,存储器1302可以存储处理器1303在执行操作时所使用的数据。

本申请实施例揭示的流程,可以应用于处理器1303中,或者由处理器1303实现。在实现过程中,前述实施例描述的流程的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。

具体地,处理器1303,耦合到存储器1302,用于读取存储器1302存储的计算机程序指令,并作为响应,执行本申请实施例中任意一种图像处理方法。

基于相同的技术构思,本申请实施例还提供了一个或多个计算机可读介质,该可读介质上存储有指令,该指令被一个或多个处理器执行时,使得设备执行本申请实施例中任意一种图像处理方法。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1