基于人脸相似度匹配的明星脸装扮推荐方法
【技术领域】
[0001] 本发明涉及基于人脸相似度匹配的明星脸装扮推荐方法，属于计算机视觉技术和 多媒体技术领域。
【背景技术】
[0002] 随着手机、平板电脑等移动设备性能的提升，移动设备的智能化也成了学术界与 工业界的研究热点。移动智能终端上图像传感器的性能提升也给移动平台上的视觉应用提 供了更好的硬件条件支撑。同时，随着人脸分析技术的进步，移动终端的人脸识别、表情识 另IJ、属性分析等移动应用在人们的生活中已经崭露头角。另外，基于内容的图像信息检索技 术也逐渐成熟，各大搜索引擎也加入了"以图搜图"的功能。人脸识别技术和基于内容的信 息检索技术的进步，使得自动化的相似脸检索成为可能。相似脸检索在娱乐搜索、犯罪监视 等方面具有很高的应用价值。
[0003] 人脸配准是在一幅人脸图像中自动地定位出人脸各个器官的准确位置以及人脸 的外轮廓，是人脸图像处理与分析的基础与前提，不精确的关键点定位往往会引起"误配 准灾难"。近年来，国内外学者提出了许多种人脸配准方法，大体上可以分为基于参数化 模型的方法和基于回归的方法。基于级联回归的方法在自然条件下的人脸库上表现优 越，且模型简单、速度快，备受研究者的关注。该方法主要依赖局部描述的稳健性能，通过 级联回归器拟合复杂的非线性映射，能够有效定位人脸关键点的坐标。SDM(Supervise Descent Model)采用快速SIFT特征，通过最小二乘回归实现关键点快速配准。LBF(Local Binary Feature)利用二值特征，进一步提高了配准速度。RCPR(Robust Cascade Pose Regression)通过显式的回归遮挡信息，增强了级联回归模型在局部遮挡情况下的鲁棒性。
[0004] 关于图像检索，上个世纪九十年代之后，基于内容的图像检索（CBIR)被提出，并 渐渐成为人们关注的焦点。基于内容的图像检索可以在没有人工参与的情况下自动提取并 描述图像的特征和内容，并利用这些特征构建索引，通过计算查询图像的特征与库中各图 像特征之间的距离，按相似度匹配出相似的图像。高效的索引机制是图像检索的关键，图像 哈希作为一种优良的图像单向压缩技术，是近年来图像检索领域的研究热点。
[0005] 随着基于内容的图像检索逐渐成为研究热点，国内外已经出现了一些成型的系 统。2009年底，谷歌公司推出了名为Goggles的基于内容的图像检索系统，该系统用于 手机等移动互联终端，开创了在移动终端上使用CBIR系统的先河。该系统的使用方法很 简单，用户只需上传手机等移动设备中的照片至Goggles进行检索即可。通过谷歌高端 的图像检索系统，可实现景物、图书、条形码和名片等内容的检索，并面向所有互联网用户 开放。MindGems公司开发了一种基于内容的图像检索系统，起名为Visual Similarity Duplicate Image Finder(VSDIF)，一般用于商业用途。与谷歌的图像检索系统相比，它对 输入的待查询图像提取基于内容的特征并采用哈希降维的方式降低检索运算的时间复杂 度以达到快速匹配相似或者相同的图像的目的，釆用颜色、纹理、形状特征表征图像实现检 索，具有较高的鲁棒性。另外像是微软、eBay、IBM、Virage也研发了各自的图像检索系统。
[0006] 对于移动平台的图像检索目前也出现了一些应用软件，例如：淘宝的随手拍，可以 一定程度上完成相似服装的检索与推荐功能。目前，基于移动平台的大规模相似脸检索还 处于探索阶段，如何设计速度快、存储小的相似脸检索算法是学术界和工业界研究的热点 问题。
【发明内容】
[0007] 本发明所要解决的技术问题是：提供一种基于人脸相似度匹配的明星脸装扮推荐 方法，计算复杂度低，占用空间小，检索效率高，且检索结果更符合人的视觉感官认识。
[0008] 本发明为解决上述技术问题采用以下技术方案：
[0009] 基于人脸相似度匹配的明星脸装扮推荐方法，包括以下步骤：
[0010] 步骤1，获取人脸的训练样本和测试样本，对训练样本和测试样本做标准化处理， 标注训练样本的关键点，并计算训练样本的平均脸；
[0011] 步骤2,利用稀疏级联回归模型对训练样本做人脸配准，过程如下：对步骤1标准 化处理后的训练样本进行人脸检测，得到人脸位置的矩形框，将步骤1得到的平均脸映射 到人脸位置的矩形框中，得到人脸关键点的初始位置，在人脸关键点初始位置的周围提取 多尺度的SIFT特征，并将SIFT特征拉成列向量作为当前人脸的特征向量，根据上述提取的 SIFT特征利用回归方法回归当前人脸的特征向量与步骤1标注的关键点之间的残差，当相 邻两次得到的残差之间的差值小于预设阈值时，回归结束，得到训练好的稀疏级联回归模 型；
[0012] 步骤 3,根据以下 7 个角度：-45°、-30°、-15°、0°、15°、30°、45°，对训练样 本进行划分，得到7个子训练样本，对每个子训练样本，单独建立形状字典和纹理字典；
[0013] 步骤4,对标准化处理后的测试样本进行人脸检测，得到人脸位置的矩形框，将步 骤1得到的平均脸定位到该矩形框中，得到测试样本人脸关键点的初始位置，用步骤2训练 好的稀疏级联回归模型对测试样本人脸关键点的初始位置做级联回归，得到测试样本人脸 关键点的定位；将测试样本在训练样本的形状字典中进行稀疏重构，得到与测试样本脸型 相似的人脸样本，将测试样本在上述与测试样本脸型相似的人脸样本的纹理字典中进行稀 疏重构，得到与测试样本的脸型和五官均相似的明星脸；
[0014] 步骤5,将测试样本和步骤4得到的与测试样本的脸型和五官均相似的明星脸都 分解成独立的三层：人脸结构层、皮肤细节层、颜色层，将与测试样本的脸型和五官均相似 的人脸样本的皮肤细节层、颜色层采用图像合成技术合成到测试样本上，且测试样本的人 脸结构层保持不变，完成装扮推荐。
[0015] 优选的，步骤1所述关键点的个数为68个。
[0016] 优选的，步骤2所述回归方法为稀疏约束的最小二乘回归。
[0017] 优选的，步骤2所述预设阈值为0· 01 %。
[0018] 优选的，步骤3所述建立形状字典的过程为：将子训练样本中每个样本的人脸形 状作为形状字典的原子，得到形状字典。
[0019] 优选的，步骤3所述建立纹理字典的过程为：将子训练样本中每个样本的人脸图 像做归一化处理，提取每个人脸图像上每个关键点的多尺度联合特征，利用稀疏投影矩阵 对多尺度联合特征进行降维，得到纹理字典。
[0020] 优选的，步骤5所述图像合成技术为transfer技术。
[0021] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0022] 1、本发明基于人脸相似度匹配的明星脸装扮推荐方法，在级联回归模型的基础上 引入稀疏约束，不但能够压缩模型存储空间，降低配准算法的内存开销，同时能够筛选鲁棒 的局部特征，使得配准算法定位精度更高。
[0023] 2、本发明基于人脸相似度匹配的明星脸装扮推荐方法，在高维局部纹理特征描述 中引入稀疏投影，可以有效的降低特征维度，同时稀疏投影矩阵本身内存占用率极低。
[0024] 3、本发明基于人脸相似度匹配的明星脸装扮推荐方法，根据级联形状和纹理特 征，在大规模数据库上进行基于稀疏重构的相似脸检索，先通