专利名称：个人三维形象互动试妆信息数据处理方法及装置的制作方法
技术领域：
本发明涉及一种试妆信息数据处理方法及装置，尤其是涉及一种个人三维形象互动试妆信息数据处理方法及装置。
背景技术：
随着互联网的发展与普及，电子商务网站日益成为商品销售的重要渠道，网上购物的方式也日益为广大网民接受。然而，与个人形象息息相关的商品，需要用户亲身体验才能做出购买决定的商品如化妆品、服装等依然需要技术对在线体验的支持。在此需求下，近年来，各种在线体验式电子商务网站层出不穷，而此类技术成功的关键在于对用户体验过程模拟的逼真度。虚拟形象体验的感觉是否真实，首要的关键点在于形象是否是自己的形象。用模特的形象体验效果不能满足用户的需求，用户需要知道自己试用以后的效果。现有技术中，有能捕捉人脸动态图像进行化妆模拟的技术(比如，可参照日本专利申请公开“特开2003-44837”和中国专利申请公开“CN 101371272A”)。但是，这些方法是对动态图像中的每一桢做人脸特征追踪，计算量大，多以终端机或终端软件形式应用，无法以B/S软件形式应用于网络终端，应用范围有限。而且在终端应用中用户实时拍摄时一旦离开摄像头区域或者姿势不够正面就会失效。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种促进产业发展、 可应用于网络终端、应用范围更广、体验更加真实、同时不受时间、地点和终端条件限制的个人三维形象互动试妆信息数据处理方法及装置。本发明的目的可以通过以下技术方案来实现—种个人三维形象互动试妆信息数据处理方法，其特征在于，包括以下步骤1)客户端获取用户照片信息，并将其传输给服务器；2)服务器中的人脸特征定位单元对用户照片信息检测人脸位置，并判断是否检测成功，若为是，执行步骤3)，若为否返回步骤1)；3)服务器中的人脸特征定位单元采用可变形状模型(ASM)检测算法来定位并提取人脸特征点信息；4)服务器中的3D形象重建单元采用基于三维人脸特征数据库计算三维特征点， 并采用基于标准模型的曲面变形算法建立三维人脸模型；5)服务器将照片作为纹理映射到三维人脸模型中；6)客户端通过flash来渲染3D模型，并通过模型形变方法来驱动3D模型模拟真人动作，通过客户端的显示单元来输出真人模拟形象信息；7)用户在客户端选择化妆物品，服务器中的化妆处理单元根据选择的化妆物品信息和人脸特征点的位置信息，将化妆物品准确叠加到模型纹理图片上，更新3D形象渲染，并通过显示单元显示处理后的3D形象信息。所述的步骤幻中的可变形状模型(ASM)检测算法如下31)模型初始定位对于人脸图像，采用人脸检测算法来确定照片中是否有人脸以及人脸的位置，根据得到的初始位置并通过角度θ旋转、尺度s缩放以及位置t的平移将平均形状模型放到照片中，得到初始的形状
权利要求
1.一种个人三维形象互动试妆信息数据处理方法，其特征在于，包括以下步骤1)客户端获取用户照片信息，并将其传输给服务器；2)服务器中的人脸特征定位单元对用户照片信息检测人脸位置，并判断是否检测成功，若为是，执行步骤3)，若为否返回步骤1)；3)服务器中的人脸特征定位单元采用可变形状模型(ASM)检测算法来定位并提取人脸特征点信息；4)服务器中的3D形象重建单元采用基于三维人脸特征数据库计算三维特征点，并采用基于标准模型的曲面变形算法建立三维人脸模型；5)服务器将照片作为纹理映射到三维人脸模型中；6)客户端通过flash来渲染3D模型，并通过模型形变方法来驱动3D模型模拟真人动作，通过客户端的显示单元来输出真人模拟形象信息；7)用户在客户端选择化妆物品，服务器中的化妆处理单元根据选择的化妆物品信息和人脸特征点的位置信息，将化妆物品准确叠加到模型纹理图片上，更新3D形象渲染，并通过显示单元显示处理后的3D形象信息。
2.根据权利要求1所述的一种个人三维形象互动试妆信息数据处理方法，其特征在于，所述的步骤3)中的可变形状模型(ASM)检测算法如下31)模型初始定位对于人脸图像，采用人脸检测算法来确定照片中是否有人脸以及人脸的位置，根据得到的初始位置并通过角度θ旋转、尺度s缩放以及位置t的平移将平均形状模型放到照片中，得到初始的形状X = M(s,0)X + tX2' = M(0,s)[X2] + t =32)特征点法线方向上搜索 利用训练得到的局部灰度模型，对每-X20y2oΧ20Χ2(η~])~y2(n-\)少 2(/7-1)Χ2(η-\)1 0 0 11 00 1\S COS θssine txJlnxAS _-个特征点使其沿法线方向在一定范围内进行搜索，在该范围内的每一个点计算其规格化灰度导数向量与训练得到该点的平均规格化灰度导数向量的马氏距离，从中选取距离最小的候选点作为最佳匹配点，对模型的每一个特征点都进行最佳匹配点的搜索，得到了一个新的形状向量X'；33)用形状模型对进行近似表达，由于每个特征点搜索后得到的形状无法在新的正交基下直接表示，只能得到最小误差意义上的近似表示，将X向X'作对齐运算得到仿射变换的四个参数(1+ds，d θ，dtx, dty)，进一步得到形状参数的变化值db = PtPPt (M(0(1 + ds)Yl，-(θ + d0))[M{s, Θ)[Χ] + dX-dt]-X)34)形状合理性的约束，形状参数bi的变化范围应在±3^范围内才能具有较合理的性质，因此要对b+db进行判断，对于不在该范围的bi将其变换到范围内，利用最终得到的形状参数b+db计算出重构的形状；35)重复32) 34)的步骤进行循环，当两次相邻循环的形状向量的欧式距离小于等于设定的阈值时，认为其收敛，迭代结束。
3.根据权利要求1所述的一种个人三维形象互动试妆信息数据处理方法，其特征在于，所述的步骤3)中的人脸特征点信息包括人脸轮廓点信息、眼睛轮廓点信息、鼻子轮廓点信息、嘴巴轮廓点信息、眉毛轮廓点信息。
4.根据权利要求1所述的一种个人三维形象互动试妆信息数据处理方法，其特征在于，所述的步骤4)中的基于标准模型的曲面变形算法如下经过步骤3)的处理，获得一般人脸模型的三维特征点Smf和照片人脸的三维特征点 Sobj,通过它们的对应关系将一般人脸模型Sm。-弹性变形为特定人脸模型，选择薄板样条插值算法(TPS)，该算法是一种径向基插值函数，TPS的基函数为U(r) =r2logr2，其中r = ||Pi-(x，y，z) ||，(x, y, z)为待插值点的三维坐标，Pi为特征点，根据Smf与S。w的对应关系，计算出径向基插值函数的系数，得到TPS 插值函数为
5.根据权利要求1所述的一种个人三维形象互动试妆信息数据处理方法，其特征在于，所述的步骤6)中的模型形变方法具体如下基于面部运动编码系统FACS设立44个基本动作单元，每个基本动作单元控制一个或几个人脸特征点在三维空间的位移，将不同的基本动作单元组合，产生各种表情，并使用 TPS对三维特征点进行插值变形，实现表情变化。
6.根据权利要求1所述的一种个人三维形象互动试妆信息数据处理方法，其特征在于，所述的步骤7)中的化妆物品包括眼镜、发型、首饰、化妆品，所述的眼镜、发型、首饰的图片加载后根据人脸特征点的位置直接叠加到模型纹理图片上，所述的化妆品按照影响区域和颜色合成颜色图层后根据人脸特征点的位置叠加到模型纹理图片上。
7.一种个人三维形象互动试妆信息数据处理装置，其特征在于，包括客户端、服务器、 通信网络，所述的客户端包括互联网终端、移动终端、零售终端，并且均设有显示单元，所述的服务器包括人脸特征定位单元、3D形象重建单元、化妆处理单元、三维人脸特征数据库、 化妆物品数据库，所述的客户端通过通信网络与服务器连接，所述的人脸特征定位单元、3D 形象重建单元、化妆处理单元依次连接，所述的3D形象重建单元与三维人脸特征数据库连接，所述的化妆处理单元与化妆物品数据库连接。
8.根据权利要求7所述的一种个人三维形象互动试妆信息数据处理装置，其特征在于，所述的通信网络为internet、通信总线或无线网络。
全文摘要
本发明涉及一种个人三维形象互动试妆信息数据处理方法及装置，包括客户端、服务器、通信网络，所述的客户端包括互联网终端、移动终端、零售终端，并均设有显示单元，所述的服务器包括人脸特征定位单元、3D形象重建单元、化妆处理单元、三维人脸特征数据库、化妆物品数据库，所述的客户端通过通信网络与服务器连接，本装置工作流程包括1)客户端获取用户照片信息，并将其传输给服务器等7个步骤。与现有技术相比，本发明具有可同时在互联网终端、移动终端、零售终端触摸屏实现跨媒体应用服务、促进产业更加智能化发展、应用服务范围更广、个性化体验更加真实、不受时间、地点和终端条件的限制等优点。
文档编号G06T17/00GK102262788SQ20101018373
公开日2011年11月30日 申请日期2010年5月24日 优先权日2010年5月24日
发明者卢晓康, 涂意 申请人:上海一格信息科技有限公司