一种人脸视频图像的漫画式动画生成方法
【专利摘要】一种人脸视频图像的漫画式动画生成方法，读入待处理人脸视频并对其提取关键帧得到读入关键帧图像并对其进行插图画处理得到插图画图像；读入插图画图像并对其进行人脸特征定位，得到面部特征点集合，并根据面部特征点计算人脸面部各部位的比例，对人脸进行特征发现；对插图画图像进行整体变形得到图像fti(x,y)；对图像fti(x,y)进行局部夸张得到最终漫画图像；对S～逐帧进行处理得到具有漫画效果的关键帧序列图像；读入关键帧序列D，在每两个关键帧之间采用交叉分解法进行中间帧生成，即得。本发明采用整体和局部相结合的方法，使生成的漫画具有喜感且不失原有的神韵，解决了现有漫画风格不一致、面部位置比例失调的问题，使生成的插图画更加自然、富有艺术感。
【专利说明】—种人脸视频图像的漫画式动画生成方法
【技术领域】
[0001]本发明属于数字图像处理【技术领域】，涉及一种人脸视频图像的漫画式动画生成方法。
【背景技术】
[0002]目前人脸漫画生成技术仅对人脸进行简单的漫画合成，但与艺术家手绘效果相t匕，对特定风格的人脸夸张与合成不太成熟，虽然提出了许多方法，但都有不尽人意的地方，大多数无法应用于实际需求以形成有特色的人脸漫画动画。
[0003]人脸漫画绘制的关键技术可以概括为:肖像的自动生成和肖像的变形夸张。肖像自动生成大致可以分为基于图像的人脸肖像绘制、基于人脸检测的人脸肖像绘制两大类，虽然可以生成特定风格的人脸图像，但脸部仍有较大冗余，立体感欠缺，具有一定的局限性，因此还不能生动的描绘人脸。肖像的变形夸张大致可以分为四类:基于人机交互的方法；基于样本模板的方法；基于绘画规则的方法；基于统计学习的方法。基于人机交互的方法对于缺乏经验的普通用户很难操作。基于样本模板的方法只能代表平均水平，不能夸张的表现出人脸特征。基于绘画规则的方法和基于统计学习的方法工作量大耗时长。这些方法都能在一定的程度上生成具有漫画效果的人脸图像，但没有考虑到人脸整体的比例关系，使得夸张失去了原有的神韵，艺术感欠缺，较难获得满意的处理结果。
【发明内容】
[0004]本发明的目的是提供一种人脸视频图像的漫画式动画生成方法，使生成的插图画更加自然、富有艺术感。
[0005]本发明所采用的技术方案是，一种人脸视频图像的漫画式动画生成方法，具体按照以下步骤实施:
[0006]步骤I,读入待处理的人脸视频S = (F1 (χ, y)，F2 (x, y)，…，Fn(x, y)},并对其提取关键帧得到歹={./;(.r,y), /；(.r,y),...,(x, j)}，其中η为人脸视频帧序列的长度,m为提取的关键帧的个数；
[0007]步骤2，读入关键帧图像4(1，7)，并对其进行插图画处理得到插图画图像f/ U，y)；
[0008]步骤3，读入插图画图像f/ (x, y)，并对其进行人脸特征定位，得到面部特征点集合P = (X1, Y1, X2, y2,…，xp, yp),并根据面部特征点计算人脸面部各部位的比例,对人脸进行特征发现；
[0009]步骤4，对插图画图像f/ (x，y)进行整体变形，得到图像fti(x，y)；
[0010]步骤5，对图像fti(x，y)进行局部夸张，得到最终漫画图像fpi(x，y)；
[0011]步骤6，对及逐帧进行处理，得到具有漫画效果的关键帧序列图像:D ={fpi (χ, y)，fp2 (χ, y)，…，fpm (χ, y) I ；
[0012]步骤7，读入关键帧序列D，在每两个关键帧之间采用交叉分解法进行中间帧生成，即得到人脸视频图像的漫画式动画序列图像。
[0013]本发明的特点还在于，
[0014]步骤I的具体方法为，设待处理的人脸视频图像序列为S= (F1 (x, y),F2(x, y),...，Fn(x，y)}，对S采用双阈值算法进行关键帧提取，得到关键帧序列图像
【权利要求】
1.一种人脸视频图像的漫画式动画生成方法，其特征在于，具体按照以下步骤实施: 步骤1，读入待处理的人脸视频S = (F1 (X，y)，F2 (X，y)，…，Fn(x, y)},并对其提取关键帧得到5 =η为人脸视频帧序列的长度，m为提取的关键帧的个数； 步骤2，读入关键帧图像4(1，7)，并对其进行插图画处理得到插图画图像f/ (x, y)；步骤3，读入插图画图像f/ (x, y)，并对其进行人脸特征定位，得到面部特征点集合P=(X1, Yi, X2, y2,..., Xp, yp)，并根据面部特征点计算人脸面部各部位的比例，对人脸进行特征发现； 步骤4，对插图画图像f/ (x, y)进行整体变形，得到图像fti(x，y)； 步骤5，对图像fti(x，y)进行局部夸张，得到最终漫画图像fpi(x，y)； 步骤6，对穿逐帧进行处理，得到具有漫画效果的关键帧序列图像为:D ={fPi (x，y)，fp2 (χ, y)，…，fpm (χ, y) I ； 步骤7，读入关键帧序列D，在每两个关键帧之间采用交叉分解法进行中间帧生成，即得到人脸视频图像的漫画式动画序列图像。
2.根据权利要求1所述的人脸视频图像的漫画式动画生成方法，其特征在于，步骤I的具体方法为，设待处理的人脸视频图像序列为S = (F1 (x, y),F2(x, y),...，Fn(x，y)}，对S采用双阈值算法进行关键帧提取，得到关键帧序列图像S = {/；(Λ% V),./；(X, V),...,./；?(.V, V)}。
3.根据权利要求1或2所述的人脸视频图像的漫画式动画生成方法，其特征在于，步骤2的具体方法为， 步骤2.1，对图像fi(x，y)进行USM锐化处理，按照式(I)求锐化后的图像为t (x，y)；
IHx, V) =./； {X, V) * g(x, V) \t(^, v) = (1 + d)j\(χ,少’)-{d-1])h(x, v)^ ； 式⑴中g(x，y) = exp(-(x2+y2)/202)，σ为平滑尺度参数；d取4.0，是调整从fi(x，y)中减去的平滑图片的量；n取0.3，是调整用经验系数； 步骤2.2，遍历锐化后的人脸图像t(x，y)的每个像素，将128作为全局阈值，大于阈值的像素设置为255,在O和阈值之间的像素设置为该像素值的σ次方,等于O的像素值不变，。取值为1.21，得到插图画图像f/ (x，y)。
4.根据权利要求3所述的人脸视频图像的漫画式动画生成方法，其特征在于，步骤3的具体方法为: 步骤3.1，将步骤2中得到的f/ (x, y)，使用Adaboost算法进行人脸检测，确定出人脸区域；然后使用基于主动形状模型ASM的开源的人脸特征部位检测软件STASM对人脸面部区域特征点进行定位，得到面部特征点集合P = (X1, Y1, x2,12,..., Xp, yp)，其中P =1，2，…，77; 步骤3.2，根据点集P计算人脸面部各部位的比例，包括人脸宽width = X12-Xtl，人脸长length = y6_y14，人眼宽eyew = χ3(ι-χ34,人嘴巴宽度mouthw = X65-X59,与嘴巴同一水平的脸部宽度facew = X9-X3,人脸长宽比kf = length/width,人眼宽度占同一水平脸部宽度比值ke = eyew/width,嘴巴宽度占同一水平脸部宽度的比值km = mouthw/facew,人脸三庭中的上庭长为 top = J22-Jli,中庭长为 middle = y55-y22，下庭长为 bottom = y6-y55 ； 步骤3.3，特征发现:设标准人脸长宽比为5/4，并设df = kf-5/4，df为人脸长宽比与标准人脸长宽比的偏离度，如果df < 0.073，为宽脸；如果0.073 ^ df < 0.18，为长脸；否则为标准脸； 设对于长脸分为以下四种情况:a、三庭等长，即三庭长度两两做差，误差均小于2 ;b、上庭长，即 top > middle 且 top > bottom ;c、中庭长，即 middle > top 且middle > bottom ；d、下庭长，即 bottom > top 且 bottom > middle ； 设标准人眼宽占同一水平脸部宽比值为3/10，并设de = ke-3/10, de为人眼宽占同一水平脸部宽比值与标准值的偏离度，如果-0.5<de< -0.4，为小眼睛，否则为大眼睛； 设标准嘴巴宽度占同一水平脸部宽比值为丨/^并设七二匕-丨/^七为嘴巴宽度占同一水平脸部宽比值与标准值的偏离度，如果-0.07 < dm < -0.05，为小嘴巴，否则为大嘴巴。
5.根据权利要求4所述的人脸视频图像的漫画式动画生成方法，其特征在于，步骤4的具体方法为: 根据不同的脸型及三庭情况，对插图画图像f/ (χ, y)进行整体变换得到图像fti (χ, y)，变换方法是使用双线性插值和仿射变换，具体的变换情况如下: 步骤4.1，如果是宽脸，则对脸部进行整体压缩，即保持图像宽度不变，高为源图像的0.618 倍； 步骤4.2，如果是长脸且是三庭等长的情况，则对脸部进行整体拉伸，保持图像宽度不变，高为源图像的1.618倍； 步骤4.3，如果是长脸且上庭长的情况，对图像整体进行纵向梯形上底长拉伸，SP对图像进行四点仿射变换，具体是将f/ (x, y)的四个顶点分别为(0，0)、(width, 0),(O, length)、(width, length)图像变换到(O,0)、(width, 0)、(0.2Xwidth, length)、(0.8Xwidth, length)构成的梯形区域中，剩余部分用白色填充； 步骤4.4，如果是长脸且中庭长的情况，对图像整体进行申字拉伸，即上三分之一下底长拉伸，中三分之一均勻拉伸，下三分之一上底长拉伸，具体是:上三分之一下底长拉伸是将四个顶点分别为(0，0)、(width, 0)、i^-xlcngth、V3；{width,-xlength 构成的图像区域变换到四点为(0.2 X width, 0)、(0.8 X width, 0)、V3 JO,χ length 1、{ width, length丨构成的区域；中三分之一均勻拉伸是将四个顶V^J V 3J(I^ ( IΛ ( 2λ ( 2A点分另|J 为 I length、 width, —xlength 、 Ql^xlength、 width, —length\ 3 )3 y V 3 J V 3 Jf I^ f I^构成的图像区域变换到的四点为Oqx/ra挪 、u'idth.-xlength 、
VJ V 3J
构成的区域；下三分之一上底长拉伸是将四个顶点分别为
构成的图像区域变换到的四点为
构成的区域； 步骤4.5，如果是长脸且下庭长的情况，则对图像整体进行整体纵向梯形下底长拉伸，即对图像进行四点仿射变换，具体是将f/ (x, y)的四个顶点分别为(0，0)、(width，O)、(0，length)、(width, length)变换到(0.2 X width, O) > (0.8 X width, O) > (0，length)、(width, length)构成的梯形区域中，剩余部分用白色填充。
6.根据权利要求5所述的人脸视频图像的漫画式动画生成方法，其特征在于，步骤5的具体方法为: 步骤5.1，根据步骤4中整体变换前后的四点对应坐标，计算出整体变换中所采用的仿
射变换用的变换矩阵
步骤5.2，从特征点集合P中分别找出整体变换前的眼睛和嘴巴的上、下、左、右四点坐标构成的矩形区域； 步骤5.3，找出整体变形后的眼睛和嘴巴所在的矩形区域，具体为:对于宽脸情况，保持原眼睛和嘴巴矩形区域宽度不变，高变为原来的0.618倍；对于长脸且三庭等长的情况，保持原眼睛和嘴巴矩形区域宽度不变，高变为原来的1.618倍；对于梯形拉伸和申字拉伸情况，根据式(2)计算变换后的坐标:
式(2)中(x，y)为变换前的坐标，(X' ,Y')为变换后的坐标，求变换后的四个点的外接矩形，作为整体变形后的眼睛和嘴巴所在的矩形区域； 步骤5.4，得到了整体变换后的眼睛和嘴巴所在的矩形区域坐标，对眼睛和嘴巴所对应的矩形区域进行拉伸或压缩，以实现这些区域的局部夸张变形；对于大眼睛或大嘴巴，保持矩形宽度不变，将矩形的长除以0.8 ;对于小眼睛或小嘴巴，保持矩形宽度不变，将矩形的长乘以0.8 ;实现了对眼睛和嘴巴这些局部区域的夸张变形，得到最终的漫画图像fpi (χ，y)。
7.根据权利要求1所述的人脸视频图像的漫画式动画生成方法，其特征在于，步骤6的具体方法为对歹逐帧进行处理，即对于输入的40^，7)，40^7)，"％乙0^7)逐一进行步骤2至步骤5的处理,分别得到对应的fpl(x, y), fp2 (x, y),…，fpm(x, y),即具有漫画效果的关键巾贞序列为:D = {fpl (x, y), fp2 (x, y),...，fpm(x, y)}。
8.根据权利要求6所述的人脸视频图像的漫画式动画生成方法，其特征在于，步骤7的具体方法为，读入关键帧序列D，在每两个关键帧采用交叉分解方法进行中间帧生成，计算公式如式(3):
Fpu(x, y) = (l-t)fpi (x, y) +tfp(i+1) (x, y) (3) 式⑶中Fpu(x，y)为在关键巾贞fpi(x, y)和关键巾贞fp(i+1) (x, y)之间生成的中间巾贞图像，其中t的取值是从O到I。
【文档编号】G06T13/40GK104200505SQ201410427423
【公开日】2014年12月10日 申请日期:2014年8月27日 优先权日:2014年8月27日
【发明者】张二虎, 刘梦琨 申请人:西安理工大学