专利名称：一种面向整体特征分析的人脸图像可逆几何归一化方法
技术领域：
本发明涉及一种人脸图像几何归一化方法，特别涉及一种人脸图像处理领域的基于二次仿射变换的人脸图像可逆几何归一化方法。
背景技术：
随着计算机和多媒体技术的发展和社会的不断进步，安全监控、可视通信、医学影像、卫星遥感、电子娱乐、计算机视觉等各种领域对高质量图像和视频提出了广泛的需求，高质量的图像/视频能够提供更丰富的信息和更真实的视觉感受，是很多实际应用的基础。空间分辨率指图像中存储的信息量，是衡量图像细节表现力的重要指标。真实世界的连续场景本身具有丰富的信息，但是受到成像设备、成像环境、噪声等各种因素的影响，由成像设备获取的数字图像通常是低分辨率图像，难以满足不断提高的实际应用要求。尤其是来自于各种手持设备、车载视频采集设备、无线视频传感器网络以及恶劣自然条件下的视频监控设备等的图像/视频，在分辨率上通常难以令人满意。因此，图像/视频超分辨率(Super-Resolution, SR)技术已成为近年来图像处理领域的一个研究热点。人脸是图像处理与分析中的重要对象，针对人脸图像的超分辨率复原引起了广泛的关注。针对人脸图像，基于整体人脸特征分析的方法得到了很好的实验结果。这类方法将人脸图像作为一个整体进行特征分析。对成对的高分辨率人脸图像和相应的低分辨率人脸图像构成的样本库进行PCA(Principle Component Analysis)或ICA(Idendity ComponentAnalysis)分析。通过PCA将人脸整体分解为不同的特征脸的线性组合。样本库表现为一组低分辨率特征脸和对应的高分辨率特征脸进行PCA分解后的本征脸集合。超分辨率复原即首先将低分辨率人脸分解为若干个低分辨率特征脸的线性组合，得到组合系数。然后将这组系数直接应用到对应的高分辨本征脸上，组合出新的高分辨率人脸。这类方法能够得到分辨率较高的结果，但是重建结果的人脸效果好坏很大程度上依赖样本库中图像是否很好的几何归一化。现实中人脸大小不一、五官位置更是因人而异，因此面向整体特征的人脸图像几何归一化就起到了关键作用，是决定超分辨复原后图像结果的一项重要因素。现有的方法通常通过对双眼位置的归一化实现的。即经过对人脸图像的全局旋转、按比例缩放以及裁剪使得人眼的坐标位置固定。这样做仍会使没有对齐的鼻子和嘴复原后产应明显膺像，问题并没有得到根本的解决。同时，这些方法通常不考虑几何归一化对人脸个性化比例特征的改变。输入图像一经修改就破坏了原始的人脸个性化比例特征。
发明内容
本发明的目的在于，通过基于二次仿射变换的方法实现可逆的人脸图像几何归一化，根据人脸标准几何结构的定义，分别采用全局仿射变换、局部仿射变换和图像边缘融合
三种方法。本发明是采用以下技术手段实现的
—种基于二次仿射变换的人脸几何归一化方法，由视频采集设备将人脸图像采集，将目标图像的光学信号转化为数字图像信号，存储在采集设备存储器中；计算机通过现有的USB、红外接口读入图像，在处理器中进行基于二次仿射变换的人脸几何归一化；所述的归一化结果可以以数据库的形式存放并直接存储在本地硬盘，或通过网络存储设备或进行网络存储；所述的归一化方法主要包括人脸标准几何结构定义，全局仿射变换步骤，局部仿射变换步骤和图像边缘融合步骤。所述全局仿射变换步骤中，人脸图像按照人脸的标准结构定义(图I)标注后，进行全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致；所述局部仿射变换步骤中，针对嘴区域进行几何位置归一化。主要步骤为嘴区域 划分，局部旋转和缩放以及变换后的嘴区域；所述图像边缘融合步骤中，针对全局变换图像与局部变换图像进行边缘的融合，达到形成标准几何归一化人脸图像；图像归一化方法包括下述步骤从数据库中读入采集后的人脸图像；由6个特征点坐标及其相对位置描述人脸图像，选取P1 P6(其对应坐标为(X1,Y1) (X6，y6))，分别对应左眼中心、右眼中心、鼻尖、左侧嘴角，嘴中心和右侧嘴角坐标；计算特征点之间相对位置关系F = (d, r1； r2, r3)。其中，
_5] d = ^(X1 -X2)2 +(y, -y2f(I)=^Tl(2)
ar2 = y5 2(3).3=^ = ^(4)
aa即d为双眼中心之间的欧式距离，Γι为双眼连线到鼻尖的垂直距离与d的比值；r2为鼻尖到嘴中心点的距离与d的比值，r3为嘴中心点到嘴角距离与d的比值。人脸图像的长和宽定义为2d，眼睛中心距最近的图像边缘为O. 5d ；通过对人脸图像样本库特征点标注并求统计平均得到针对不同人种人脸图像的标准结构参数F ；对人脸标准结构定义后的图像进行全局仿射变换，通过全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致；进行局部仿射变换针对嘴区域进行几何位置归一化。主要步骤为嘴区域划分，局部旋转和缩放以及变换后的嘴区域与原图像的边缘融合。嘴部局部图像与全局图像边缘融合，完成人脸图像几何归一化；几何归一化后的人脸图像存入数据库中，并在本地进行存储或通过网络存储设备进行远程传输等操作；逆归一化过程与上述的几何归一化过程相反，先从局部逆仿射开始，再到全局逆仿射；
前述全局仿射变换步骤如下对于输入的人脸图像，进行人工特征点(P1 P6)标注，根据P1和P2坐标计算全局图像旋转角度，如式(5)所示
,ry2 - 、a = arctg(-)
X2-X1 (5)其中，α为P1与P2连线与水平线的角度。对图像进行角度为θ = -α的旋转。旋转前后对应的坐标如式(6)所示rU(c^ !b:!|S；]
i L 111 rtf技# j(6)定义旋转后图像的左上角为新的坐标系统原点，则坐标原点相对于原图像原点还进行了平移，设原图像的宽和高分别为W和H，则，进行逆时针旋转的图像坐标变换关系如式⑵所示
X = xcos^+ ysin^< ,
[y = -xcos^ + _ycos^ + fF sin^(7)其中(X，y)为原图像坐标，(X’，γ，)为旋转后的图像坐标。类似地，顺时针旋转图像与原图像对应的坐标关系为
I .Y' = · ;cr - ν ；η# — λ
V = -^,cc Sr — ; '；Ci r(8)旋转后的图像双眼特征点处于同一水平线。计算横向和纵向缩放比例系数，并进行裁剪，使得双眼坐标和鼻尖的纵坐标与人脸标准几何结构一致。横向和纵向缩放比例系数分别如式(9)、(10)所示Sh= U1 2-x' ^ /d (9)Sy = (y' 3~y/ i)/rid(10)其中，坐标点X' pX' 2、y' 1和太3为旋转后的特征点坐标，!■1和(1为公式(2)定义的标准结构参数，即d为双眼中心之间的欧式距离，Γι为双眼连线到鼻尖的垂直距离与d的比值。为了确保归一化的可逆性，参数α和横向与纵向缩放系数的比值S = Sh/Sv作为逆变换参数保存。前述局部仿射变换，针对嘴部区域几何归一化具体步骤如下采用矩形划定嘴区域，矩形的长和高分别如式(11)、(12)所示w = B1 (X6-X4)(11)h = a2 (y5-y3)(12)矩形的左上角顶点坐标如式(13)所示(X。，y。)= (x5-w/2, (y5+y3)/2) (13)将矩形左下角和右下角三角区排除在嘴区之外。三角区的两条直角边分别为w/4和h/4。通过对CAS-PEAL-R1数据库的测试，选取B1 = I. 7，a2 = I. I ;通过特征点P4 P6坐标计算嘴区的局部旋转角度如式(14)所示
权利要求
1.一种面向整体特征分析的人脸图像可逆几何归一化方法，由视频采集设备将人脸图像采集，将目标图像的光学信号转化为数字图像信号，存储在采集设备存储器中；计算机通过现有的USB、红外接口读入图像，在处理器中进行基于二次仿射变换的人脸几何归一化；所述的归一化结果可以以数据库的形式存放并直接存储在本地硬盘，或通过网络存储设备或进行网络存储；所述的归一化方法主要包括人脸标准几何结构定义，全局仿射变换步骤，局部仿射变换步骤和图像边缘融合步骤； 所述全局仿射变换步骤中，人脸图像按照人脸的标准结构定义后进行全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致； 所述局部仿射变换步骤中，针对嘴区域进行几何位置归一化，主要步骤为嘴区域划分，局部旋转和缩放以及变换后的嘴区域； 所述图像边缘融合步骤中，针对全局变换图像与局部变换图像进行边缘的融合，达到形成标准几何归一化人脸图像； 图像归一化算法包括下述步骤 从数据库中读入采集后的人脸图像； 由6个特征点坐标及其相对位置描述人脸图像，选取P1 P6 (其对应坐标为(X1, yi) (x6, y6))，分别对应左眼中心、右眼中心、鼻尖、左侧嘴角，嘴中心和右侧嘴角坐标； 计算特征点之间相对位置关系F = (d, r1； r2, r3);其中， d = ^(xx-X2)2 +(^1 -y2f (I) (2)r2-y~^(3) a X5-X4 X6-X5“、 r3 = ~^~ = ~^~(4) aa 即d为双眼中心之间的欧式距离，r:为双眼连线到鼻尖的垂直距离与d的比值；r2为鼻尖到嘴中心点的距离与d的比值，r3为嘴中心点到嘴角距离与d的比值；人脸图像的长和宽定义为2d，眼睛中心距最近的图像边缘为0. 5d ； 通过对人脸图像样本库特征点标注并求统计平均得到针对不同人种人脸图像的标准结构参数F ； 对人脸标准结构定义后的图像进行全局仿射变换，通过全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致； 进行局部仿射变换针对嘴区域进行几何位置归一化；主要步骤为嘴区域划分，局部旋转和缩放以及变换后的嘴区域与原图像的边缘融合； 嘴部局部图像与全局图像边缘融合，完成人脸图像几何归一化； 几何归一化后的人脸图像存入数据库中，并在本地进行存储或通过网络存储设备进行远程传输等操作；逆归一化过程与上述的几何归一化过程相反，先从局部逆仿射开始，再到全局逆仿射。
2.根据权利要求I所述的一种面向整体特征分析的人脸图像可逆几何归一化方法，其特征在于所述的全局仿射变换，具体步骤如下 2. I :对于输入的人脸图像，进行人工特征点(P1 P6)标注，根据P1和P2坐标计算全局图像旋转角度，如式(5)所示
3.根据权利要求I所述的一种面向整体特征分析的人脸图像可逆几何归一化方法，其特征在于所述的局部仿射变换，针对嘴部区域几何归一化具体步骤如下 3.I :采用矩形划定嘴区域，矩形的长和高分别如式(11)、(12)所示 W = H1 (X6~X4)(H) h = a2 (y5-y3)(12) 矩形的左上角顶点坐标如式(13)所示
4.根据权利要求I所述的一种面向整体特征分析的人脸图像可逆几何归一化方法，其特征在于所述的全局变换图像与局部变换图像进行边缘的融合，具体步骤如下 .4.I :建立标记图像Label ;标记图像大小为2dX 2d ; .4.2 :对图像每个像素点以数值O 3标记；图像所有标记值初始化为O ;划定嘴区后，处于嘴区的相应位置像素，标记图像取值为I ;经过局部旋转、缩放和平移后，新的嘴区覆盖的区与相应的标记图像标记值为2 ;这样标记图像的具体含义为取值O的位置为局部变换为涉及的像素区域；取值为I的区与为属于原嘴区，且不被新嘴区所覆盖的像素；取值为2的像素为新嘴区域且不与原嘴区域重合的位置；区值为3的像素位置为新嘴区与原嘴区重合的位置； 对于O区像素，直接采用全局图像中的像素作为为最终的归一化图像像素； 对与2区像素，由于局部仿射变换后新嘴区覆盖了原始像素点，因此将新嘴区的像素直接代替覆盖的原图像素点； . 3区为新的嘴区域与原图像非嘴区与的重合部分，采用加权平均的方法得到融合结果，以避免图像中出现明显的边缘赝像；权值定义如下以局部仿射变换后的P5(x5，Y5)为中心构造二维高斯函数如式(16)所示 一制 (16) 其中i = x-x5, i = y-y5,均为局部图像中的图像坐标:wj、2' -::n . C,C;)),Or =hml(2,, -r. )，Wm = wXSm和hm = hXSm分别为局部仿射变换后嘴部图像的宽和闻; 重叠区(i，j)的合成像素如式(17)所示
全文摘要
本发明公开了一种面向整体特征分析的人脸图像可逆几何归一化方法，采用基于二次仿射变换的方法，首先进行全局仿射即对人脸图像按照人脸的标准结构定义进行全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致。将图像裁剪为2d×2d大小。然后通过局部仿射变换针对嘴区域进行几何位置归一化。最后利用图像边缘融合达到最终形成标准几何归一化人脸图像。逆归一化过程即根据逆变换参数将标准结构人脸图像通过二次仿射逆变换恢复到几何归一化之前的几何结构特征，以便保持不同人脸特征点的个性化拓扑结构。经过几何归一化的人脸图像可用于基于整体特征的人脸分析，如用于人脸图像的超分辨率重建，人脸识别等。
文档编号G06K9/00GK102663361SQ20121009659
公开日2012年9月12日 申请日期2012年4月1日 优先权日2012年4月1日
发明者卓力, 夏青, 李晓光, 李风慧 申请人:北京工业大学