图像处理方法、装置、电子设备及计算机可读存储介质与流程

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术：

在通过照相机等成像设备采集人物图像时，往往会注意捕捉眼神光，拍摄时在人的眼球上形成的光斑可称为眼神光，眼神光可使拍摄出来的人物图像更为生动、传神。

技术实现要素：

本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，可使图像的人物更为生动传神，提高图像的视觉显示效果。

一种图像处理方法，包括：

对待处理图像进行人脸识别，确定人脸区域；

采集所述人脸区域的特征点，并根据所述特征点定位眼部区域；

检测所述眼部区域中是否包含眼神光，若包含，则对所述眼神光进行增强处理；

若不包含，则在所述眼部区域中添加眼神光图形。

一种图像处理装置，包括：

识别模块，用于对待处理图像进行人脸识别，确定人脸区域；

眼部定位模块，用于采集所述人脸区域的特征点，并根据所述特征点定位眼部区域；

眼神光检测模块，用于检测所述眼部区域中是否包含眼神光；

增强模块，用于若所述眼部区域中包含眼神光，则对所述眼神光进行增强处理；

添加模块，用于若所述眼部区域中不包含眼神光，则在所述眼部区域中添加眼神光图形。

一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

上述图像处理方法、装置、电子设备及计算机可读存储介质，对待处理图像进行人脸识别，确定人脸区域，采集人脸区域的特征点，并根据特征点定位眼部区域，检测眼部区域中是否包含眼神光，若包含，则对眼神光进行增强处理，若不包含，则在眼部区域中添加眼神光图形，可以加强眼部区域的眼神光或自动添加眼神光图形，使图像的人物更为生动传神，提高图像的视觉显示效果。

附图说明

图1为一个实施例中电子设备的框图；

图2为一个实施例中图像处理方法的流程示意图；

图3为一个实施例中判断眼部区域是否包含眼神光的流程示意图；

图4为一个实施例中在眼部区域添加眼神光图形的流程示意图；

图5为一个实施例中检测光源方向的流程示意图；

图6为一个实施例中将人脸区域划分为若干子区域的示意图；

图7为一个实施例中计算视线方向的流程示意图；

图8为另一个实施例中在眼部区域添加眼神光图形的流程示意图；

图9为一个实施例中图像处理装置的框图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中电子设备的框图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中，存储器可包括非易失性存储介质及处理器。电子设备的非易失性存储介质存储有操作系统及计算机程序，该计算机程序被处理器执行时以实现本申请实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力，支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图2所示，在一个实施例中，提供一种图像处理方法，包括以下步骤：

步骤210，对待处理图像进行人脸识别，确定人脸区域。

电子设备可获取待处理图像，待处理图像可以是电子设备通过摄像头等成像设备采集的可在显示屏预览的预览图像，也可以是已经生成并存储的图像。电子设备可对待处理图像进行人脸识别，确定待处理图像中的人脸区域。电子设备可提取待处理图像的图像特征，并通过预设的人脸识别模型对图像特征进行分析，判断待处理图像中是否包含人脸，若包含，则确定对应的人脸区域。图像特征可包括形状特征、空间特征及边缘特征等，其中，形状特征指的是待处理图像中局部的形状，空间特征指的是待处理图像中分割出来的多个区域之间的相互的空间位置或相对方向关系，边缘特征指的是待处理图像中组成两个区域之间的边界像素等。

在一个实施例中，人脸识别模型可以是预先通过机器学习构建的决策模型，构建人脸识别模型时，可获取大量的样本图像，样本图像中包含有人脸图像及无人图像，可根据每个样本图像是否包含人脸对样本图像进行标记，并将标记的样本图像作为人脸识别模型的输入，通过机器学习进行训练，得到人脸识别模型。

步骤220，采集人脸区域的特征点，并根据特征点定位眼部区域。

电子设备可采集人脸区域的特征点，特征点可用于描述人脸区域中五官的位置及形状等信息，每个特征点可包含有坐标值，特征点的坐标值可用特征点对应的像素位置进行表示，例如特征点的坐标值为对应的像素位置第x行第y列等。

电子设备可先粗略采集人脸区域的特征点，并通过预设的分析模型对粗略采集的特征点进行分析，分析模型可通过迭代的方式校正采集的特征点，逐步减少采集的特征点的坐标值与待处理图像中人脸区域的真实五官特征点的误差，最后可输出得到人脸区域中精准的特征点，精准的特征点可组成人脸区域的脸部轮廓及五官轮廓。电子设备可根据输出的精准的特征点定位人脸区域中的眼部区域。

步骤230，检测眼部区域中是否包含眼神光，若是，则执行步骤240，若否，则执行步骤250。

电子设备可检测眼部区域中是否包含眼神光。可选地，电子设备可先获取眼部区域中的瞳孔区域，并获取瞳孔区域中各个像素点的亮度信息，可预先设定眼神光的亮度区间，若瞳孔区域中包含多个亮度信息在预设的亮度区间的像素点，则可确定眼部区域中包含眼神光，并可将亮度信息在预设的亮度区间的像素点定义为眼神光。可以理解地，电子设备也可获取瞳孔区域中各个像素点的色彩值，根据色彩值检测是否包含眼神光，其中，色彩值可指的是像素点在rgb(红、绿、蓝)、hsv(色调、饱和度、明度)等颜色空间的值，可预先设定眼神光的色彩值范围，并将色彩值落入预设的色彩值范围的像素点定义为眼神光。

步骤240，对眼神光进行增强处理。

若眼部区域中包含眼神光，电子设备可对眼神光进行增强处理，可提高被定义为眼神光的像素点的亮度，使眼部区域的眼神光更加明显，也可调整眼神光的透明度及大小，将眼神光放大，使人物更加生动传神。

步骤250，在眼部区域中添加眼神光图形。

若眼部区域中没有包含眼神光，则电子设备可在眼部区域中添加眼神光图形。在一个实施例中，电子设备可检测待处理图像的光源方向，并根据光源方向在眼部区域中添加眼神光图形，其中，光源方向指的是待处理图像中光源发射光线的方向。电子设备可根据待处理图像的光源方向在眼部区域中选取添加区域，并在添加区域添加眼神光图形。可选地，电子设备可在眼部区域的瞳孔区域中选取与光源方向相对一致的添加区域，例如，光源方向为右上方，视线方向也是向右上看，则可选取瞳孔区域的右上方为添加区域。眼神光图形可以是由用户预先选择的形状，例如月牙形、圆形、矩形等，也可分析光源类型，根据光源类型选择眼神光图像，例如白炽灯可选择矩形，太阳光可选取圆形等

在本实施例中，对待处理图像进行人脸识别，确定人脸区域，采集人脸区域的特征点，并根据特征点定位眼部区域，检测眼部区域中是否包含眼神光，若包含，则对眼神光进行增强处理，若不包含，则在眼部区域中添加眼神光图形，可以加强眼部区域的眼神光或自动添加眼神光图形，使图像的人物更为生动传神，提高图像的视觉显示效果。

如图3所示，在一个实施例中，步骤230检测眼部区域中是否包含眼神光，包括以下步骤：

步骤302，根据特征点获取眼部区域的瞳孔区域。

电子设备可根据特征点对眼部区域进行边缘检测，得到眼部区域的眼眶边缘及瞳孔边缘，其中，边缘可用于表明一个特征区域的终结和另一个特征区域的开始，通常可存在于目标与目标、目标与背景、区域与区域等之间。可选地，边缘检测可采用多种边缘检测算子，例如robertscross算子，prewitt算子，sobel算子，kirsch算子，罗盘算子等。

电子设备可计算眼部区域对应的灰度图像的一阶或二阶导数，通过一阶或二阶导数可找到灰度值发生阶跃性变化或屋脊变化等的像素点。电子设备对眼部区域进行边缘检测，可先对眼部区域进行滤波处理，减小眼部区域中的噪声给边缘检测带来的误差。进行滤波降噪后，电子设备可对眼部区域中灰度值有显著变化的像素点进行增强，并可根据灰度值的一阶导数的梯度幅值阈值来检测眼部区域中的边缘点，再对边缘的像素点进行定位，获取边缘像素点的位置或方向等信息。

步骤304，生成瞳孔区域的亮度直方图，并根据亮度直方图判断瞳孔区域是否包含眼神光。

电子设备检测眼部区域的眼眶边缘及瞳孔边缘后，可根据瞳孔边缘获取瞳孔区域，可获取瞳孔区域中各个像素点的亮度信息，并对瞳孔区域中各个像素点的亮度信息进行统计，生成瞳孔区域的亮度直方图，亮度直方图描述了瞳孔区域中的像素点在各亮度级别中的分布情况。电子设备获取瞳孔区域中各个像素点的亮度信息，可将亮度信息转化为对应的亮度级别，可选地，在亮度直方图中，可包含有0～255共256个亮度级别，可统计瞳孔区域中属于每个亮度级别的像素点的数量，并生成亮度直方图。

电子设备可根据生成的亮度直方图判断瞳孔区域是否包含眼神光，可根据亮度直方图中像素点的亮度分布进行判断。当瞳孔区域的亮度直方图中在预设级别以上的亮度级别中分布有大于预设数量的像素点，即说明瞳孔区域中包含有一部分亮度高的像素点，则可判断瞳孔区域中包含眼神光，若亮度直方图中在预设级别以上的亮度级别中没有分布大于预设数量的像素点，几乎所有的像素点均分布在较低的亮度级别，则可判断瞳孔区域中不包含眼神光。

在一个实施例中，若眼部区域中包含眼神光，电子设备可检测瞳孔区域中与相邻像素点的亮度差值大于预设值的像素点，确定眼神光的边缘，可根据眼神光的边缘获取眼神光区域，并对属于眼神光区域中的像素点进行增强处理。

在本实施例中，可根据瞳孔区域的亮度直方图判断是否包含眼神光，可准确检测出眼部区域包含的眼神光并进行增强处理，可使图像的人物更为生动传神，提高图像的视觉显示效果。

如图4所示，在一个实施例中，步骤250在眼部区域中添加眼神光图形，包括以下步骤：

步骤402，根据人脸区域检测待处理图像的光源方向。

电子设备检测待处理图像的光源方向，可选地，电子设备可获取人脸区域的亮度信息，根据人脸区域的亮度信息检测待处理图像的光源方向。在一个实施例中，电子设备可根据人脸区域的亮度信息分析人脸区域的亮暗区域分布，并根据亮暗区域分布估计光源方向。例如，当人脸区域中的暗区域分布较少时，可估计光源方向为正对着人脸方向，当人脸区域中的暗区域分布在左侧、亮区域分布在右侧时时，可估计光源方向为右方等，通常光源的方向与亮区域分布的方向较为一致。

步骤404，根据眼部区域的特征点计算视线方向。

眼部区域的特征点可包括用于组成眼睛轮廓及瞳孔轮廓的特征点，电子设备可通过特征点获取眼部区域的眼眶边缘及瞳孔区域。视线方向可包括三个视角及三个方向，三个视角可包括仰视、平视及俯视，三个方向可包括向左看、向右看、向中间看。在一个实施例中，电子设备可根据眼眶边缘计算眼部轮廓大小，通过眼部轮廓大小先区分视角，再根据瞳孔区域在眼部区域中的位置区分方向，从而得到视线方向。

在一个实施例中，电子设备也可根据眼部区域的特征点获取眼部区域的上眼眶边缘及内外角点，根据上眼眶边缘及内外角点确定圆心，并计算眼睑的圆心角，通过该圆心角区分视角，不同视角可对应不同的圆心角范围，例如，可设定圆心角在85度～95度为平视，小于85度为俯视，大于95度为仰视等，但不限于此。电子设备区分视角后，可根据确定的圆心与瞳孔区域的中心建立主轴，根据主轴相对垂直方向的偏差值计算区分方向，从而得到视线方向。可以理解地，也可采用其他方式计算视线方向，并不仅限于上述方式。

步骤406，根据光源方向及视线方向在眼部区域中添加眼神光图形。

电子设备可根据待处理图像的光源方向及人脸的视线方向在眼部区域中选取添加区域，并在添加区域添加眼神光图形。可选地，当光源方向与视线方向一致时，电子设备可在眼部区域的瞳孔区域中选取与光源方向相对一致的添加区域，例如，光源方向为右上方，视线方向也是向右上看，则可选取瞳孔区域的右上方为添加区域。在一个实施例中，若光源方向与视线方向不一致，可分别设置不同的权重，根据权重选取添加区域，例如，可设置光源方向的权重为7，视线方向的权重为3，根据光源方向与视线方向对应的权重计算添加区域在瞳孔区域的相对位置。光源方向与视线方向的权重可以是预先设置的，也可根据待处理图像的光线强度、人脸的偏转角度等进行确定，例如光线强度较高时，可设置光源方向的权重较高，但不限于此。

在本实施例中，若眼部区域不包含眼神光，则可根据光源方向及视线方向在眼部区域中添加眼神光图形，使图像中的人物更为生动传神，提高图像的视觉显示效果。

如图5所示，在一个实施例中，步骤402根据人脸区域检测待处理图像的光源方向，包括以下步骤：

步骤502，将人脸区域划分为若干子区域。

电子设备可按照预设方式将人脸区域划分为若干子区域，可预先根据实际需求设定划分的方式及子区域的个数等，例如，可将人脸区域划分为四个子区域，电子设备可根据人脸区域的特征点定位鼻子区域，并以鼻子区域为中线，竖直将人脸区域划分为左右两个部分，再以鼻子区域的鼻翼部位为中线，水平将人脸区域划分为上下两个部分，从而将人脸区域划分为四个子区域，但不限于此。

步骤504，提取各个子区域的亮度信息并进行比较，得到比较结果。

电子设备可提取人脸区域中的各个子区域的亮度信息，可分别计算各个子区域的平均亮度，并将平均亮度作为对应子区域的亮度信息。电子设备可将各个子区域的亮度信息进行比较，判断子区域的亮度信息大小，得到比较结果，其中，比较结果中可包含有各个子区域的亮度大小关系。

步骤506，根据比较结果确定待处理图像的光源方向。

电子设备可根据比较结果获取人脸区域中亮度信息较大的子区域，其中，亮度信息较大的子区域可指的是亮度信息比相邻的其他子区域大的子区域。电子设备可根据亮度信息较大的子区域在人脸区域中的分布位置确定待处理图像的光源方向，例如，亮度信息较大的子区域位于人脸区域的右上方，则可确定光源方向为右上方，亮度信息较大的子区域位于人脸区域的左下方，则可确定光源方向为左下方等。

图6为一个实施例中将人脸区域划分为若干子区域的示意图。如图6所示，电子设备可将人脸区域划分为四个子区域，分别为子区域610、子区域620、子区域630及子区域640，可提取四个子区域的亮度信息并进行比较，判断四个子区域的亮度信息高低。电子设备可根据比较结果确定待处理图像的光源方向，例如，若子区域610的亮度信息比其他子区域大，由于子区域610位于人脸区域的右上方，则可确定光源方向为右上方；若子区域640的亮度信息比其他子区域大，由于子区域640位于人脸区域的左上方，则可确定光源方向为左上方等。当各个子区域的亮度信息的差值在预设范围内，且亮度信息均大于预设第一阈值，说明人脸区域中各个子区域的亮度信息相差较小且亮度较高，则可确定光源方向为正对人脸区域方向。当各个子区域的亮度信息的差值在预设范围内，且亮度信息均小于预设第二阈值时，说明人脸区域中各个子区域的亮度信息相差较小且亮度较低，则可确定光源方向为背对人脸区域的方向，也即逆光方向。

在本实施例中，可根据人脸区域中各个子区域的亮度信息检测光源方向，可使检测的光源方向更为准确，使添加的眼神光更自然、生动。

如图7所示，在一个实施例中，步骤404根据眼部区域的特征点计算视线方向，包括以下步骤：

步骤702，根据特征点检测眼部区域的眼眶边缘及瞳孔区域。

电子设备可根据特征点对眼部区域进行边缘检测，得到眼部区域的眼眶边缘及瞳孔边缘。

步骤704，获取瞳孔区域的瞳孔中心。

电子设备检测眼部区域的眼眶边缘及瞳孔边缘后，可根据瞳孔边缘获取瞳孔区域，可选取瞳孔区域的瞳孔中心，瞳孔中心可以是瞳孔区域的中心点。

步骤706，分别计算瞳孔中心与各个不同方位的眼眶边缘的距离。

在一个实施例中，眼眶边缘可包括上眼眶边缘、下眼眶边缘、内眼眶边缘及外眼眶边缘等不同方位的眼眶边缘，其中，内眼眶边缘指的是靠近鼻子部分的眼眶边缘，内眼眶边缘可以是一个特征点，用于表示内眼角的位置；外眼眶边缘指的是远离鼻子部分的眼眶边缘，外眼眶边缘也可以是一个特征点，用于表示眼尾或外眼角的位置，内眼眶边缘及外眼眶边缘可以是上眼眶边缘及下眼眶边缘的交界点。

电子设备可分别计算瞳孔中心与各个不同方位的眼眶边缘的距离，可分别计算瞳孔中心与上眼眶边缘、下眼眶边缘、内眼眶边缘及外眼眶边缘等的距离。

步骤708，根据瞳孔中心与各个不同方位的眼眶边缘的距离确定视线方向。

电子设备计算瞳孔中心与各个不同方位的眼眶边缘的距离后，可根据瞳孔中心与各个不同方位的眼眶边缘的距离比值确定视线方向。进一步地，电子设备可计算瞳孔中心与上眼眶边缘的距离和与下眼眶边缘的距离比值，再计算瞳孔中心与内眼眶边缘的距离和与外眼眶边缘的距离比值，根据两个距离比值确定视线方向，不同的视线方向可对应不同的距离比值范围。

在一个实施例中，电子设备计算瞳孔中心与各个不同方位的眼眶边缘的距离后，可通过预设的视线检测模型计算视线方向，该视线检测模型可通过机器学习进行构建。构建视线检测模型时，可通过对大量的标记有视线方向的样本图像进行学习，逐步确定不同的视线方向对应的距离比值范围。

在本实施例中，可通过计算瞳孔中心与各个不同方位的眼眶边缘的距离计算视线方向，可使检测到的视线方向更为准确，使添加的眼神光更自然、生动。

如图8所示，在一个实施例中，步骤406根据光源方向及视线方向在眼部区域中添加眼神光图形，包括以下步骤：

步骤802，根据光源方向及视线方向在瞳孔区域中选取添加区域。

电子设备可根据待处理图像的光源方向及人脸的视线方向在眼部区域中选取添加区域，并在添加区域添加眼神光图形。可选地，电子设备可预先在瞳孔区域中划分多个固定的添加区域，再根据光源方向及视线方向从划分的多个固定的添加区域中进行选取。添加区域也可以是不固定设置的区域，电子设备也可根据光源方向及视线方向进行选取，当光源方向与视线方向一致时，电子设备可在眼部区域的瞳孔区域中选取与光源方向相对一致的添加区域；当光源方向与视线方向不一致，可分别设置不同的权重，根据权重计算添加区域在瞳孔区域的相对位置，从而选取添加区域。

步骤804，计算添加区域相对于瞳孔中心的偏移角度。

电子设备选取添加区域后，可计算添加区域相对于瞳孔中心的偏移角度，其中，该偏移角度可指的是添加区域与瞳孔中心所在的水平线或竖直线所成的夹角及方向。例如，电子设备选取的添加区域位于瞳孔区域的右上方，该添加区域相对于瞳孔中心的偏移角度为向右上偏45度等，但不限于此。

步骤806，获取与偏移角度匹配的眼神光模板，并根据眼神光模板在添加区域添加眼神光图形。

不同的偏移角度可匹配不同的眼神光模板，眼神光模板中可定义有眼神光的形状、颜色、透明度及大小等参数。电子设备可获取与偏移角度匹配的眼神光模板，并根据眼神光模板中定义的眼神光的形状、颜色、透明度及大小等参数在添加区域添加眼神光图形。例如，添加区域相对于瞳孔中心的偏移角度为向右上偏45度，其对应的眼神光模板中可定义眼神光的形状为月牙形，透明度为50％等，添加区域相对于瞳孔中心的偏移角度为0，也即，添加区域位于瞳孔中心，则其对应的眼神光模板中可定义眼神光的形状为圆形，透明度为30％等，但不限于此。

在一个实施例中，电子设备在瞳孔区域的添加区域中添加眼神光图形时，可获取眼部区域的眼白区域，并提取眼白区域的色彩值，其中，色彩值指的是像素点在rgb(红、绿、蓝)、hsv(色调、饱和度、明度)等颜色空间的值。电子设备可将提取的眼白区域的色彩值作为眼神光的颜色参数，根据眼白区域的色彩值及眼神光模板在添加区域中添加眼神光图形。

在本实施例中，可根据光源方向及视线方向在瞳孔区域中选取添加区域，并根据添加区域的位置选取不同的眼神光模板添加眼神光图形，可使图像中的人物更为生动传神，提高图像的视觉显示效果。

在一个实施例中，上述图像处理方法，还包括：根据特征点识别人脸区域的人物表情；根据人物表情选取眼神光模板，并根据光源方向及视线方向在眼部区域中添加与眼神光模板匹配的眼神光图形。

电子设备采集人脸区域的特征点，可根据特征点识别人脸区域的人物表情，可通过预设的表情识别模型分析特征点，识别人脸区域的人物表情，其中，表情识别模型可预先通过机器学习进行构建。在一个实施例中，电子设备可预先构建表情识别模型，可获取大量的样本图像，每个样本图像中可标记有人物表情。可选地，人物表情可包含大笑、微笑、严肃、宁静、悲伤、哭等。电子设备可将样本图像作为表情识别模型的输入，通过机器学习等方式进行训练，构建表情识别模型。

在一个实施例中，电子设备进行训练时，可将每个样本图像映射到高维特征空间，训练得到代表各个样本图像的脸部特征点的支持向量集，形成表情识别模型中各个用于判断特征点所属的人物表情的判别函数。电子设备采集待处理图像中人脸区域的特征点后，将特征点输入表情识别模型，表情识别模型可将人脸区域的特征点映射到高维特征空间，并根据各个判别函数确定人脸区域的人物表情。

不同的人物表情可匹配不同的眼神光模板，眼神光模板中可定义有眼神光的形状、颜色、透明度及大小等参数。电子设备识别人物表情后，可选取与人物表情匹配的眼神光模板，根据待处理图像的光源方向及人物的视线方向在瞳孔区域中选取添加区域后，再根据眼神光模板在添加区域中添加眼神光图形。例如，识别的人物表情为微笑，则对应的眼神光模板中可定义眼神光为月牙形，透明度为50％等，识别的人物表情为严肃，其对应的眼神光模板中可定义眼神光为矩形，透明度为55％等，但不限于此。

在本实施例中，可根据人物表情选取眼神光模板添加眼神光图形，可使图像中的人物更为生动传神，提高图像的视觉显示效果。

在一个实施例中，在步骤210对待处理图像进行人脸识别，确定人脸区域之前，还包括以下步骤：

步骤(a)，若存在连续拍摄的多帧图像，根据多帧图像中人眼状态选取睁眼图像。

连续拍摄的图像是指从同一方位、同一角度、不间断快速拍摄的图像。通常情况下，连续拍摄的图像相似度较高。上述连续拍摄的多帧图像可为电子设备拍摄获取的图像，也可为电子设备通过网络传输获取的图像。电子设备在获取连续拍摄的多帧人脸图像后，可提取人脸图像中人脸特征点，例如人脸的五官特征点。电子设备可根据人脸特征点标记人脸特征的位置信息，例如根据人脸的眼球特征点识别眼部区域。在获取人脸区域的特征点后，电子设备可提取人脸中人眼特征，再根据人眼特征确定睁眼图像。上述睁眼图像是图像中人眼均处于睁眼状态的图像。上述人眼特征可包括：眼球形状、眼球位置、眼球面积、眼神方向、瞳孔高度和眼白面积等。电子设备中可预设人眼特征对应的判断条件，在获取上述人眼特征后，电子设备可将人眼特征与预设的判断条件一一比对，判断人脸图像是否为睁眼图像。例如，当检测到人脸图像中人脸的眼球面积大于第一阈值，判定人脸处于睁眼状态，则上述图像为睁眼图像。或当检测到人脸图像中人脸的瞳孔高度在预设范围内，判定人脸处于睁眼状态，则上述图像为睁眼图像。

步骤(b)，若多帧图像中存在多帧睁眼图像，合成多帧睁眼图像，将合成后图像作为待处理图像。

当上述连续拍摄的多帧图像中存在多帧睁眼图像时，电子设备可将上述多帧睁眼图像合成，将合成后图像作为待处理图像。通过图像合成，可降低图像中噪声，提高图像的质量。

步骤(c)，若多帧图像中存在一帧睁眼图像，将一帧睁眼图像作为待处理图像。

若连续拍摄的多帧图像中仅存在一帧睁眼图像，可将该一帧睁眼图像作为待处理图像，并在该待处理图像中添加眼神光图形。

在本实施例中，若存在连续拍摄的多帧图像，根据多帧图像中人眼状态选取睁眼图像作为待处理图像，可提高图像的质量，使图像的视觉显示效果更好。

在一个实施例中，提供一种图像处理方法，包括以下步骤：

步骤(1)，对待处理图像进行人脸识别，确定人脸区域。

可选地，在步骤(1)之前，还包括：若存在连续拍摄的多帧图像，根据多帧图像中人眼状态选取睁眼图像；若多帧图像中存在多帧睁眼图像，合成多帧睁眼图像，将合成后图像作为待处理图像；若多帧图像中存在一帧睁眼图像，将一帧睁眼图像作为待处理图像。

步骤(2)，采集人脸区域的特征点，并根据特征点定位眼部区域。

步骤(3)，检测眼部区域中是否包含眼神光。

可选地，步骤(3)，包括：根据特征点获取眼部区域的瞳孔区域；生成瞳孔区域的亮度直方图，并根据亮度直方图判断瞳孔区域是否包含眼神光。

步骤(4)，若眼部区域中包含眼神光，则对眼神光进行增强处理。

步骤(5)，若眼部区域中不包含眼神光，则在眼部区域中添加眼神光图形。

可选地，步骤(5)，包括：根据人脸区域检测待处理图像的光源方向；根据眼部区域的特征点计算视线方向；根据光源方向及视线方向在眼部区域中添加眼神光图形。

可选地，根据人脸区域检测待处理图像的光源方向，包括：将人脸区域划分为若干子区域；提取各个子区域的亮度信息并进行比较，得到比较结果；根据比较结果确定待处理图像的光源方向。

可选地，根据眼部区域的特征点计算视线方向，包括：根据特征点检测眼部区域的眼眶边缘及瞳孔区域；获取瞳孔区域的瞳孔中心；分别计算瞳孔中心与各个不同方位的眼眶边缘的距离；根据瞳孔中心与各个不同方位的眼眶边缘的距离确定视线方向。

可选地，根据光源方向及视线方向在眼部区域中添加眼神光图形，包括：根据光源方向及视线方向在瞳孔区域中选取添加区域；计算添加区域相对于瞳孔中心的偏移角度；获取与偏移角度匹配的眼神光模板，并根据眼神光模板在添加区域添加眼神光图形。

在本实施例中，对待处理图像进行人脸识别，确定人脸区域，采集人脸区域的特征点，并根据特征点定位眼部区域，检测眼部区域中是否包含眼神光，若包含，则对眼神光进行增强处理，若不包含，则在眼部区域中添加眼神光图形，可以加强眼部区域的眼神光或自动添加眼神光图形，使图像的人物更为生动传神，提高图像的视觉显示效果。

如图9所示，在一个实施例中，提供一种图像处理装置900，包括眼部定位模块910、眼部定位模块920、眼神光检测模块930、增强模块940及添加模块950。

识别模块910，用于对待处理图像进行人脸识别，确定人脸区域；

眼部定位模块920，用于采集人脸区域的特征点，并根据特征点定位眼部区域。

眼神光检测模块930，用于检测眼部区域中是否包含眼神光。

增强模块940，用于若眼部区域中包含眼神光，则对眼神光进行增强处理。

添加模块950，用于若眼部区域中不包含眼神光，则在眼部区域中添加眼神光图形。

在本实施例中，对待处理图像进行人脸识别，确定人脸区域，采集人脸区域的特征点，并根据特征点定位眼部区域，检测眼部区域中是否包含眼神光，若包含，则对眼神光进行增强处理，若不包含，则在眼部区域中添加眼神光图形，可以加强眼部区域的眼神光或自动添加眼神光图形，使图像的人物更为生动传神，提高图像的视觉显示效果。

在一个实施例中，眼神光检测模块930，包括区域获取单元及生成单元。

区域获取单元，用于根据特征点获取眼部区域的瞳孔区域。

生成单元，用于生成瞳孔区域的亮度直方图，并根据亮度直方图判断瞳孔区域是否包含眼神光。

在本实施例中，可根据瞳孔区域的亮度直方图判断是否包含眼神光，可准确检测出眼部区域包含的眼神光并进行增强处理，可使图像的人物更为生动传神，提高图像的视觉显示效果。

在一个实施例中，添加模块950，包括光源方向检测单元、视线计算单元及添加单元。

光源方向检测单元，用于根据人脸区域检测待处理图像的光源方向。

视线计算单元，用于根据眼部区域的特征点计算视线方向。

添加单元，用于根据光源方向及视线方向在眼部区域中添加眼神光图形。

在本实施例中，若眼部区域不包含眼神光，则可根据光源方向及视线方向在眼部区域中添加眼神光图形，使图像中的人物更为生动传神，提高图像的视觉显示效果。

在一个实施例中，光源方向检测单元，包括划分子单元、比较子单元及确定子单元。

划分子单元，用于将人脸区域划分为若干子区域。

比较子单元，用于提取各个子区域的亮度信息并进行比较，得到比较结果。

光源确定子单元，用于根据比较结果确定待处理图像的光源方向。

在本实施例中，可根据人脸区域中各个子区域的亮度信息检测光源方向，可使检测的光源方向更为准确，使添加的眼神光更自然、生动。

在一个实施例中，视线计算单元，包括边缘检测子单元、中心获取子单元、距离计算子单元及视线确定子单元。

边缘检测子单元，用于根据特征点检测眼部区域的眼眶边缘及瞳孔区域。

中心获取子单元，用于获取瞳孔区域的瞳孔中心。

距离计算子单元，用于分别计算瞳孔中心与各个不同方位的眼眶边缘的距离。

视线确定子单元，用于根据瞳孔中心与各个不同方位的眼眶边缘的距离确定视线方向。

在本实施例中，可通过计算瞳孔中心与各个不同方位的眼眶边缘的距离计算视线方向，可使检测到的视线方向更为准确，使添加的眼神光更自然、生动。

在一个实施例中，添加单元，包括选取子单元、偏移计算子单元及添加子单元。

选取子单元，用于根据光源方向及视线方向在瞳孔区域中选取添加区域。

偏移计算子单元，用于计算添加区域相对于瞳孔中心的偏移角度。

添加子单元，用于获取与偏移角度匹配的眼神光模板，并根据眼神光模板在添加区域添加眼神光图形。

在本实施例中，可根据光源方向及视线方向在瞳孔区域中选取添加区域，并根据添加区域的位置选取不同的眼神光模板添加眼神光图形，可使图像中的人物更为生动传神，提高图像的视觉显示效果。

在一个实施例中，上述图像处理装置900，除了包括眼部定位模块910、眼部定位模块920、眼神光检测模块930、增强模块940及添加模块950，还包括图像选取模块及合成模块。

图像选取模块，用于若存在连续拍摄的多帧图像，根据多帧图像中人眼状态选取睁眼图像。

合成模块，用于若多帧图像中存在多帧睁眼图像，合成多帧睁眼图像，将合成后图像作为待处理图像。

图像选取模块，还用于若多帧图像中存在一帧睁眼图像，将一帧睁眼图像作为待处理图像。

在本实施例中，若存在连续拍摄的多帧图像，根据多帧图像中人眼状态选取睁眼图像作为待处理图像，可提高图像的质量，使图像的视觉显示效果更好。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括isp处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由isp处理器1040处理，isp处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器1040。传感器1020接口可以利用smia(standardmobileimagingarchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给isp处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。

isp处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

isp处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给isp处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，isp处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。isp处理器1040还可从图像存储器1030接收处理数据，对上述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1080，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，isp处理器1040的输出还可发送给图像存储器1030，且显示器1080可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，isp处理器1040的输出可发送给编码器/解码器1070，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1080设备上之前解压缩。

isp处理器1040处理图像数据的步骤包括：对图像数据进行vfe(videofrontend，视频前端)处理和cpp(camerapostprocessing，摄像头后处理)处理。对图像数据的vfe处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的cpp处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，cpp可使用不同的编解码器来处理预览帧和记录帧。

isp处理器1040处理后的图像数据可发送给美颜模块1060，以便在被显示之前对图像进行美颜处理。美颜模块1060对图像数据美颜处理可包括：美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中，美颜模块1060可为电子设备中的cpu(centralprocessingunit，中央处理器)、gpu或协处理器等。美颜模块1060处理后的数据可发送给编码器/解码器1070，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1080设备上之前解压缩。其中，美颜模块1060还可位于编码器/解码器1070与显示器1080之间，即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器1070可为电子设备中cpu、gpu或协处理器等。

isp处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数以及isp处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)，或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

在本实施例中，运用图10中图像处理技术可实现上述的图像处理方法。

在一个实施例中，提供一种电子设备，包括存储器及处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

对待处理图像进行人脸识别，确定人脸区域；

采集人脸区域的特征点，并根据特征点定位眼部区域；

检测眼部区域中是否包含眼神光，若包含，则对眼神光进行增强处理；

若不包含，则在眼部区域中添加眼神光图形。

在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的图像处理方法。

在一个实施例中，提供一种包含计算机程序的计算机程序产品，当其在电子设备上运行时，使得电子设备执行时实现上述的图像处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。