基于化妆的视频图片结合的教学方法及装置与流程

本申请涉及通信领域，尤其涉及一种基于化妆的视频图片结合的教学方法及装置。

背景技术：

化妆，也可以叫化装。是运用化妆品和工具，采取合乎规则的步骤和技巧，对人体的面部、五官及其他部位进行渲染、描画、整理，增强立体印象，调整形色，掩饰缺陷，表现神采，从而达到美化视觉感受的目的。化妆，能表现出人物独有自然美；能改善人物原有的形色质，增添美感和魅力；能作为一种艺术形式，呈现一场视觉盛宴，表达一种感受。视频教学即通过视频的方式对学生进行教学，视频教学具有可重复、费用低的优点，

对于化妆来说，其分为好几个步骤，化妆的学员一般一边看学习视频一边在边上进行化妆的试炼，现有的方式这两个步骤是完全脱节的，即视频学习的播放步骤与化妆试炼的步骤无法同步，从而使得学员的学习效果差，用户体验差。

技术实现要素：

本申请提供一种基于化妆的视频图片结合的教学方法。能够使得化妆的试炼与学习视频同步，可以提高学员的学习效果，提高用户体验。

第一方面，提供一种基于化妆的视频图片结合的教学方法，所述方法包括如下步骤：

获取待上妆的图片数据，显示图文上妆步骤；

通过人脸识别算法和精准的五官定位算法从所述图片数据中确定用户在图片数据操作的特征点的ID；

从预先存储的教学视频从提取出于所述ID对应的视频文件；

播放所述ID对应的视频文件。

可选的，所述方法还包括：

当用户对所述图片数据完成上妆以后，将上妆后的图片在朋友圈分享。

可选的，所述方法还包括：

获取用户在图片数据进行上妆时采用的化妆品，将该化妆品对应的购买链接推送至该用户。

可选的，所述通过人脸识别算法和精准的五官定位算法从所述图片数据中确定用户在图片数据操作的特征点的ID具体，包括：

通过haar分类器来实现初步定位所述图片数据中的人脸区域，然后再在所述人脸区域的图片中找到模型的匹配点，对模型特征点周围的纹理信息进行采样，对比图片和模型训练集的纹理，在设定搜索范围内找到纹理最接近的点即认为是特征点，提取该特征点的ID。

可选的，所述对比图片和模型训练集的纹理，在设定搜索范围内找到纹理最接近的点即认为是特征点具体包括：

如对比图片和模型训练集的纹理得到该图片的纹理为粗糙的尺度纹理，增加设定搜索范围，如对比图片和模型训练集的纹理得到该图片的纹理为细致的尺度纹理，对设定搜索范围不变，并进行细致的搜索。

第二方面，提供一种基于化妆的视频图片结合的教学装置，所述装置包括：

获取单元，用于获取待上妆的图片数据，显示图文上妆步骤；

处理单元，用于通过人脸识别算法和精准的五官定位算法从所述图片数据中确定用户在图片数据操作的特征点的ID；从预先存储的教学视频从提取出于所述ID对应的视频文件；

播放单元，用于播放所述ID对应的视频文件。

可选的，所述装置还包括：

分享单元，用于当用户对所述图片数据完成上妆以后，将上妆后的图片在朋友圈分享。

可选的，所述装置还包括：

推送单元，用于获取用户在图片数据进行上妆时采用的化妆品，将该化妆品对应的购买链接推送至该用户。

可选的，所述处理单元具体，用于通过haar分类器来实现初步定位所述图片数据中的人脸区域，然后再在所述人脸区域的图片中找到模型的匹配点，对模型特征点周围的纹理信息进行采样，对比图片和模型训练集的纹理，在设定搜索范围内找到纹理最接近的点即认为是特征点，提取该特征点的ID。

可选的，所述处理单元具体，用于如对比图片和模型训练集的纹理得到该图片的纹理为粗糙的尺度纹理，增加设定搜索范围，如对比图片和模型训练集的纹理得到该图片的纹理为细致的尺度纹理，对设定搜索范围不变，并进行细致的搜索。

本发明提供的技术方案能够实现图片上妆与上妆视频的同步，所以其具有效果好，用户体验度高的优点。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种基于化妆的视频图片结合的教学方法的流程示意图；

图2是一种基于化妆的视频图片结合的教学装置的结构图；

图3为本申请提供的一种终端设备的硬件结构示意图。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本发明作进一步详细描述。

参阅图1，图1为本发明提供的一种基于化妆的视频图片结合的教学方法，该方法由终端设备完成，该终端设备具体可以为：计算机、服务器、平板电脑、智能手机等设备，该方法如图1所示，包括如下步骤：

步骤S100、获取待上妆的图片数据，显示图文上妆步骤；

上述图片数据可以通过下述方式来获取，例如通过自拍方式来获取，当然还可以通过其他方式来获取，例如直接从相册里面调取相应的图片等方式。

步骤S101、通过人脸识别算法和精准的五官定位算法该图片数据中确定用户在图片数据操作的特征点的ID；

上述人脸识别算法例如，特征脸方法等。

上述步骤S101的实现方法具体可以包括：

目前通用的人脸特征点定位算法，主要有三种模型：基于Active Cont

our Model(Snake，主动轮廓模型)；基于Active Shape Model(ASM，主动形状模型)；基于Active Appearance Model(AAM，主动表观模型)。

由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法，我们采用的是自己改进的ASM模型来做人脸的关键特征点定位。ASM是基于统计学习模型的特征点提取的一种方法，跟大多数统计学习方法一样，也包括训练(train)和匹配(fit)两部分，也就是形状建模(build)和形状匹配(fit)。

ASM的训练包括两个部分：

1、建立形状模型：该部分由以下几个步骤组成

1.1搜集N个训练样本：这个步骤我们收集n个含有人脸面部区域的样本图片。

1.2手动记录下每个训练样本中的k个关键特征点：

如上图所示，对于训练样本中的任意一个图片而言，需要记录下77个关键特征点的位置坐标信息，并将它们保存在单独的文本文件中，以备后面的步骤使用。

1.3构建训练集的形状向量：

将一个样本中标定的77个关键特征点坐标组成一个形状向量，如此一来，n个训练样本，就构成了n个形状向量。

1.4形状归一化：

这个步骤的目的是对前面手动标定的人脸形状进行归一化对齐操作，从而消除样本中人脸由于不同角度、距离远近、姿态变换等外界因素造成的非形状干扰，从而使得点分布模型更加有效。这个步骤采用Procrustes方法进行归一化，简单的说，就是把一系列的点分布模型通过适当的平移、旋转、缩放变换，在不改变点分布模型的基础上对齐到同一个点分布模型上，从而改变获取的原始数据杂乱无章的状态，减少非形状因素的干扰。具体步骤如下：

(1)将训练样本中的所有人脸模型对齐到第一个人脸模型

(2)计算平均人脸模型

(3)将所有人脸模型对齐到平均人脸模型

(4)重复(2),(3)直到收敛

1.5将对齐的新增向量进行PCA处理

2、为每个特征点构建局部特征。

经过以上所有步骤的结果就得到了一个ASM模型。

模型在图像中的匹配

在通过样本集进行训练得到的ASM模型建立后，即可进行ASM匹配，也就是我们通常做的关键点定位。我们通过haar分类器来实现初步定位图像中的人脸位置，然后再在该区域的图像中找到模型的匹配点，对模型特征点周围的纹理信息进行采样，对比图像和模型训练集的纹理，找到纹理最接近的点即认为是特征点。为了提高搜索的效率，利用了多分辨率搜索周围像素纹理，对于粗糙的尺度，搜索范围大，对于细致的尺度，进行细致的搜索，提高了匹配的效率。

2.2肤色模型建立技术

肤色检测的目的是为了解决不同人，不同肤色搭配不同的化妆效果作用。

常用的线性彩色空间有RGB、归一化RGB(rgb)HSV、YCbCr、YIQ、YES、CIE颜色系统的XYZ空间和LUV等。由CCD相机拍摄的彩色照片是具有R、G、B三个颜色分量的图像。RGB颜色空间的三个颜色分量与亮度成正比，各个颜色分量之间存在很强的相关性，不适于作为肤色检测空间。通常把图像从RGB空间变换到YCbCr空间，以减小亮度对肤色检测的影响。YCbCr颜色空间具有亮度-色度分离的优点，具有较好的肤色的聚类特性，且受光照的影响较小，较容易建立光照强度自适应的肤色模型。

我们在YCbCr颜色空间那立不同分类的肤色样本，建立粉白色、青色、象牙白、驼色等主流的肤色样本库，利用机器学习的原理对特征库进行训练，以达到一个理想的分割算法。

2.3自创磨皮美白算法

目前可以做磨皮的保边滤波主要有以下几种：表面模糊、双边滤波、导向滤波、选择性模糊算法等，这些算法简单，在效果上各有千秋，在不同肤色的人脸上表现也不尽人意，塑料感强，感觉不真实，看上去很假等问题始终无法彻底解决。

我们的算法在人脸精准五观识别的基础上，融合了以上这些算法的优点设计出来一个针对人脸的磨皮美白算法，通过人脸识别精准定位的五观，对人脸上的斑点使用高返差保留算法进行计算，根据周围皮肤进行肤色智能重建，使皮肤看上去细腻有光泽，对于非人脸区域进行局部锐化，以达到整个图片更加清晰的效果。

步骤S102、从教学视频从提取出于该ID对应的视频文件；

上述步骤S102中的ID可以通过下述方式来获得，对人脸中的特征点分配不同的ID，对视频文件的时间轴分段打点标记ID。该点即为人脸的特征点。

上述上妆步骤包括但不限于护肤、隔离、粉底、遮瑕、阴影、高光、散粉、腮红、眉毛、眼影、眼线、睫毛、口红、妆扮等：这里的教学视频可以包括上述步骤对应的视频片段，例如，护肤对于护肤视频，隔离对应隔离视频，粉底对应粉底视频等等，然后按顺序连续排列即为整体的视频，这样在播放时，即能够准确提取片段视频，也可以整体播放。

步骤S103、播放该ID对应的视频文件。

上述播放的步骤可以采用现有的播放步骤，本发明并不限制上述播放的具体方式。

本发明提供的技术方案能够实现图片上妆与上妆视频的同步，所以其具有效果好，用户体验度高的优点。

可选的，上述方法在步骤S103之后还可以包括：

当用户对图片数据完成上妆以后，将上妆后的图片在朋友圈分享。

其分享的方式包括多种，例如微信分享、微博分享等等分享的方式。

可选的，上述方法还可以包括：

获取用户在图片数据进行上妆时采用的化妆品，将该化妆品对应的购买链接推送至该用户，对此，可以提高用户的体验度以及商品推广的精确度。

可选的，上述通过人脸识别算法和精准的五官定位算法该图片数据中确定用户在图片数据得到特征点的ID具体可以为：

通过haar分类器来实现初步定位图片中的人脸区域，然后再在该人脸区域的图片中找到模型的匹配点，对模型特征点周围的纹理信息进行采样，对比图像和模型训练集的纹理，在设定搜索范围内找到纹理最接近的点即认为是特征点，提取该特征点的ID。为了提高搜索的效率，利用了多分辨率搜索周围像素纹理，对于粗糙的尺度纹理，增加设定搜索范围，搜索范围大，对于细致的尺度纹理，对设定搜索范围不变，并进行细致的搜索，提高了匹配的效率。

参阅图2，图2提供一种基于化妆的视频图片结合的教学装置200，所述装置包括：

获取单元201，用于获取待上妆的图片数据，显示图文上妆步骤；

处理单元202，用于通过人脸识别算法和精准的五官定位算法从所述图片数据中确定用户在图片数据操作的特征点的ID；从预先存储的教学视频从提取出于所述ID对应的视频文件；

播放单元203，用于播放所述ID对应的视频文件。

可选的，所述装置还包括：

分享单元204，用于当用户对所述图片数据完成上妆以后，将上妆后的图片在朋友圈分享。

可选的，所述装置还包括：

推送单元205，用于获取用户在图片数据进行上妆时采用的化妆品，将该化妆品对应的购买链接推送至该用户。

可选的，处理单元202具体，用于通过haar分类器来实现初步定位所述图片数据中的人脸区域，然后再在所述人脸区域的图片中找到模型的匹配点，对模型特征点周围的纹理信息进行采样，对比图片和模型训练集的纹理，在设定搜索范围内找到纹理最接近的点即认为是特征点，提取该特征点的ID。

可选的，处理单元202具体，用于如对比图片和模型训练集的纹理得到该图片的纹理为粗糙的尺度纹理，增加设定搜索范围，如对比图片和模型训练集的纹理得到该图片的纹理为细致的尺度纹理，对设定搜索范围不变，并进行细致的搜索。

参阅图3，图3为本发明提供的一种终端设备300，该终端设备可以为部署在互联网系统中的一个节点，互联网系统还可以包括：物联网终端和无线接入控制器，该终端设备300包括但不限于：计算机、服务器等设备，如图3所示，该终端设备300包括：处理器301、存储器302、收发器303和总线304。收发器303用于与外部设备(例如互联系统中的其他设备，包括但不限于：中继器，核心网设备等)之间收发数据。终端设备300中的处理器301的数量可以是一个或多个。本申请的一些实施例中，处理器301、存储器302和收发器303可通过总线系统或其他方式连接。关于本实施例涉及的术语的含义以及举例，可以参考图3对应的实施例，此处不再赘述。

其中，存储器302中可以存储程序代码。处理器301用于调用存储器302中存储的程序代码，用于执行如图1所示的步骤：

可选的，处理器301、收发器303，还可以用于执行如图1所示实施例中的步骤以及步骤的细化方案以及可选方案。

需要说明的是，这里的处理器301可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。

存储器303可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器303可以包括随机存储器(RAM)，也可以包括非易失性存储器(non-volatile memory)，例如磁盘存储器，闪存(Flash)等。

总线304可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

该用户设备还可以包括输入输出装置，连接于总线304，以通过总线与处理器301等其它部分连接。该输入输出装置可以为操作人员提供一输入界面，以便操作人员通过该输入界面选择布控项，还可以是其它接口，可通过该接口外接其它设备。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例所提供的内容下载方法及相关设备、系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。