一种美妆拍照方法和装置与流程

本发明涉及图像处理技术领域，特别涉及一种美妆拍照方法和装置。

背景技术：

随着智能移动设备的普及和拍照功能的完善，越来越多的人选择智能移动设备进行日常的拍摄，使用美颜模式美化拍摄效果。

当前的主流技术是通过滤镜美化整个画面，仅仅是对照片的美化，虽然可以分享给他人照片，但并非真实的美颜.

市场上有部分美妆应用，可以提供美妆的功能，但是只是查看一些已有产品的效果，需要用户自己在列表中选择并且选择有限。

已有的实现通常仅是通过问卷调查了解用户习惯或者外置装备确认皮肤状态，根据调查结果或皮肤状态推荐美妆效果。

现有实现中的美妆应用虽然可以提供推荐功能并查看使用效果，但是步骤繁琐，必须用户自主选择产品查看效果，并且单次拍摄只能查看一个产品的上妆效果，不能组合查看多个类型的产品，无法自主学习和推荐。

已有的模式不提供推荐功能，或者只能根据问卷调查结果或者外置装备的测量结果推荐，不能自主搜集用户的喜好和习惯，推荐用户满意的美妆效果。

技术实现要素：

有鉴于此，本申请提供一种美妆拍照方法和装置，能够增强设备的拍照功能，并提高用户体验。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种美妆拍照方法，所述方法包括：

当拍照设备处于美妆模式拍照时，进行人脸识别，并定位美妆区域；

当接收到用户输入的美妆方式为一键美妆时，在本地数据库中确定该用户使用美妆模式拍照次数是否大于第一预设阈值，如果是，选择该用户使用次数最多的美妆效果并显示在定位的美妆区域上；否则，根据人脸识别结果在云端数据库中进行匹配，选择与该用户人脸最匹配的用户使用次数最多的美妆效果并显示在定位的美妆区域上；

接收到用户输入的拍照指令时，进行拍照并存储叠加美妆效果的照片。

一种美妆拍照装置，所述装置包括：识别单元、接收单元、处理单元、拍照单元和存储单元

所述识别单元，用于当处于美妆模式拍照时，进行人脸识别，并定位美妆区域；

所述接收单元，用于接收用户输入的美妆方式；接收用户输入的拍照指令；

所述处理单元，用于当所述接收单元接收到用户输入的美妆方式为一键美妆时，在本地数据库中确定该用户使用美妆模式拍照次数是否大于第一预设阈值，如果是，选择该用户使用次数最多的美妆效果；否则，根据所述识别单元获得的人脸识别结果在云端数据库中进行匹配，选择与该用户人脸最匹配的用户使用次数最多的美妆效果；

所述显示单元，用于将所述处理单元选择的美妆效果显示在定位的美妆区域上；

所述拍照单元，用于当所述接收单元接收到用户输入的拍照指令时，进行拍照；

所述存储单元，用于存储所述拍照单元拍摄的叠加美妆效果的照片。

由上面的技术方案可知，本申请中，通过人脸识别技术，在用户使用一键美妆拍照时，如果用户使用美妆拍照次数达到一定阈值时，为该用户选择已使用过次数最多的美妆效果显示给用户；否则，从云端数据库中为该用户选择与该用户人脸最匹配的用户使用次数最多的美妆效果。该技术方案能够自动为用户提供适合用户喜好和面部特点的美妆效果，进而增强设备的拍照功能，并提高用户体验。

附图说明

图1为本申请实施例中美妆拍照流程示意图；

图2为本申请实施例中使用一键美妆模式拍照流程示意图；

图3为本申请实施例中手动美妆流程示意图；

图4为本申请实施例中进入美妆模式示意图；

图5为本申请实施例中进入美妆模式后美妆方式选择示意图；

图6为本申请实施例中护肤产品推荐流程示意图；

图7为本申请实施例中美妆产品推荐流程示意图；

图8为本申请实施例中推荐产品的示意图；

图9为本申请实施例中护肤建议推荐流程示意图；

图10为本申请实施例中美妆建议推荐流程示意图；

图11为本申请实施例中美妆建议示意图；

图12为本申请实施例中产品和建议同时显示的方式；

图13为本申请实施例中应用于上述技术的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本申请实施例中提供一种美妆拍照方法，通过人脸识别技术，在用户使用一键美妆拍照时，如果用户使用美妆拍照次数达到一定阈值时，为该用户选择已使用过次数最多的美妆效果显示给用户；否则，从云端数据库中为该用户选择与该用户人脸最匹配的用户使用次数最多的美妆效果。该技术方案能够自动为用户提供适合用户喜好和面部特点的美妆效果，进而增强设备的拍照功能，并提高用户体验。

下面结合附图，详细说明本申请实施例中美妆拍照过程。

参见图1，图1为本申请实施例中美妆拍照流程示意图。具体步骤为：

步骤101，当拍照设备处于美妆模式拍照时，进行人脸识别，并定位美妆区域。

当拍照设备处于美妆模式拍照时，即同不使用美妆，也就是一般拍照，或美颜拍照等其他拍照的区别。

拍照设备在处于美妆模式拍照时，先对拍照对象进行灰度识别，确定人脸局部灰度纹理特征，通过hog、haar或lbp特征进行人脸检测，并利用graphcut或者grabcut图像分割算法确定头部的轮廓；即将人的头部从镜头中的整个图像中定位出来。头部包括：五官、脸部轮廓、头发等。

拍照设备端存储并维护人脸对齐算法的数据训练集。当头部轮廓确认以后，通过asm/aam等人脸对齐算法，输入获取的头部的灰度纹理特征，与样本数据训练集中的特征点进行逼近模拟，输出拍照对象的头部的特征点信息，编码获取二进制文件，即头部的特征点数据。

拍照设备根据特征点数据，进行人脸匹配，以及根据特征点标定的区域，进行后续美妆效果的叠加。

数据训练集是由人工事先采集多张人脸图像，并对特征点进行标注获取的二进制文件。在用户使用后，添加用户特征点数据至数据训练集中，进一步提高下次使用人脸对齐算法的效率和精确度。

步骤102，当拍照设备接收到用户输入的美妆方式为一键美妆时，在本地数据库中确定该用户使用美妆模式拍照次数是否大于第一预设阈值，如果是，执行步骤103；否则，执行步骤104。

步骤103，该拍照设备选择该用户使用次数最多的美妆效果并显示在定位的美妆区域上，执行步骤105。

当用户使用美妆模式拍照次数大于第一预设阈值时，使用本地数据库中存储的相关信息为用户提供美妆效果，实现该步骤需要在用户每次使用美妆拍照时将用户使用的美妆效果存储，以及使用对应美妆效果的次数。

这样就能根据用户的喜好为该用户推荐美妆效果。

步骤104，该拍照设备根据人脸识别结果在云端数据库中进行匹配，选择与该用户人脸最匹配的用户使用次数最多的美妆效果并显示在定位的美妆区域上。

云端数据库中维护大量用户已使用过的美妆效果，以及使用对应美妆效果的次数。

根据人脸识别结果，如特征点数据，在云端数据库中进行匹配，匹配与该用户人脸最接近的用户，即与当前拍照的人脸相似度最大的人脸，则将该用户使用次数最多的美妆效果推荐给当前拍照的用户。

步骤105，该拍照设备接收到用户输入的拍照指令时，进行拍照并存储叠加美妆效果的照片。

本申请实施例中给出了美妆拍照，以及产品推荐、护肤建议的详细实现过程：

首先针对美妆拍照的两种方式：“一键美妆”和“手动美妆”，分别进行描述。

第一种，一键美妆：

参见图2，图2为本申请实施例中使用一键美妆模式拍照流程示意图。具体步骤为：

步骤201，当拍照设备处于美妆模式拍照时，进行人脸识别，并定位美妆区域。

步骤202，当拍照设备接收到用户输入的美妆方式为一键美妆时，在本地数据库中确定该用户使用美妆模式拍照次数是否大于第一预设阈值，如果是，执行步骤203；否则，执行步骤208。

步骤203，该拍照设备选择该用户使用次数最多的美妆效果。

步骤204，该拍照设备将选择的美妆效果显示在定位的美妆区域上。

步骤205，该拍照设备确定第一预设时间内是否接收到用户输入的拍照指令，如果是，执行步骤211；否则，执行步骤206。

步骤206，该拍照设备确定是否存在比当前选择的美妆效果使用次数次多的美妆效果，如果是，执行步骤207；否则，执行步骤208。

步骤207，该拍照设备选择比当前使用美妆效果使用次数次多的美妆效果，执行步骤204。

步骤208，该拍照设备确定云端数据库中的使用美妆的用户的个数是否大于第二预设阈值，如果是，执行步骤209；否则，执行步骤211。

步骤209，该拍照设备根据人脸识别结果在云端数据库中进行匹配，选择与该用户人脸最匹配的用户使用次数最多的美妆效果并显示在定位的美妆区域上。

步骤210，该拍照设备确定第一预设时间内是否接收到用户输入的拍照指令，如果是，执行步骤212；否则，执行步骤211。

步骤211，该拍照设备在云端数据库中按照预设随机函数为当前拍照的用户生成美妆效果并显示在定位的美妆区域上。

步骤212，该拍照设备进行拍照并存储叠加美妆效果的照片。

第二种，手动美妆：

参见图3，图3为本申请实施例中手动美妆流程示意图。具体步骤为：

步骤301，当拍照设备处于美妆模式拍照时，进行人脸识别，并定位美妆区域。

步骤302，当该拍照设备接收到用户输入的美妆方式为手动美妆时，打开并显示面部特征列表。

步骤303，当该拍照设备接收到用户选择的面部特征时，显示对应的面部特征所对应的美妆效果。

步骤304，当该拍照设备接收到用户选择的面部特征对应的美妆效果时，针对该面部特征生成美妆效果并显示在定位的美妆区域上。

步骤305，该拍照设备接收到用户输入的拍照指令时，进行拍照并存储叠加美妆效果的照片。

上述两种方式，无论使用哪种方式拍照，都需要在本地数据库中记录使用所述美妆效果的次数，以备本申请为该用户拍照时，推荐美妆效果；并将本用户使用所述美妆效果的次数上传到云端数据库中，以备为与该用户相似度大的用户在拍照时，提供美妆效果。

参见图4，图4为本申请实施例中进入美妆模式示意图。图4中，通过选择的方式为用户提供选择。

当用户使用拍照设备进行拍照时，若点击，或触摸美妆模式选项时，则进入美妆拍照模式。

参见图5，图5为本申请实施例中进入美妆模式后美妆方式选择示意图。图5中给出一种“一键美妆”，以及“手动美妆”的选择方式，当用户点击或触摸一键美妆时进入一键美妆模式，自动为用户显示美妆效果；当用户选择头部部位列表选项中的任一选项，如脸、眼睛，眉毛、鼻子、头发等，则在美妆效果选项的位置显示针对选择的部位显示对应的美妆效果，如果对应的美妆效果较多，可以采用分页显示的方式，每页显示几个美妆效果，可以由用户自行设置；选择某一个效果后，显示在对应的人脸区域。

当选择多个部位进行美妆时，将每个部位的美妆效果都显示在对应的位置。

图4和图5仅给出一种模式选择示意图，具体实现不限于图中所给出的实现方式。

本申请实施例中，用户在使用叠加美妆效果进行拍照，并存储时，还可以为用户提供是否查看建议和产品的提示。

在具体实现时，可以为用户显示护肤建议、护肤产品，以及美妆建议和美妆产品的查看询问。

用户可以选择其中一项查看，也可以同时选择多项查看。

当拍照设备提示用户是否查看下述参数之一或任意组合对应的信息：护肤建议、护肤产品，美妆建议、美妆产品。

当第二预设时间内未接收到用户输入的请求时，关闭提示。

下面针对护肤建议、护肤产品，美妆建议和美妆产品的推荐实现分别进行描述：

参见图6，图6为本申请实施例中护肤产品推荐流程示意图。具体步骤为：

步骤601，当拍照设备接收到用户输入的查看护肤产品的请求时，关闭提示，并对当前存储的照片对应的未叠加美妆效果的图片检测面部状态。

步骤602，当该拍照设备使用检测出的面部状态的各参数值与数据库中存储的面部状态的各参数值进行比较。

步骤603，该拍照设备若确定存在面部状态的任一参数值不一致，则将不一致的面部状态的参数作为关键字，搜索护肤产品，并以链接列表的形式为用户显示搜索到的护肤产品。

用户可以根据需要打开某一产品的链接，进入购买该产品的页面，也可以关闭当前显示的内容。

参见图7，图7为本申请实施例中美妆产品推荐流程示意图。具体步骤为：

步骤701，当拍照设备接收到用输入的查看美妆产品的请求时，关闭提示。

步骤702，该拍照设备将当前存储的照片叠加的美妆效果对应的面部特征作为关键字，搜索美妆产品。

如当前美妆效果中针对唇部进行了美妆，则搜索唇部对应的美妆产品。

步骤703，该拍照设备通过图像识别，在搜索出的美妆产品中识别出与美妆效果对应的面部特征最匹配的美妆产品。

在具体实现时，也可以选择n个与美妆效果图像匹配的美妆产品。

步骤704，该拍照设备将识别出的美妆产品以链接列表的形式为用户显示美妆产品，并在数据库中存储该美妆效果对应的美妆产品。

本步骤中该拍照设备将识别出的美妆产品以链接列表的形式为用户显示美妆产品时，确定云端数据库中是否存在该美妆效果对应的美妆产品列表，如果存在，则将云端数据库中存储的美妆效果对应的美妆产品和识别出的美妆产品一同以产品链接列表的形式显示给用户。

本申请具体实现时，云端数据库可以预先为每种美妆效果配置美妆产品链接列表，也可以是为每个用户根据美妆效果搜索美妆产品并推荐后，将选择的美妆产品的产品链接与对应的美妆效果绑定存储，或者两种结合使用。

如果同时在链接列表中显示云端数据库中存储的美妆产品，以及为用户搜索的美妆产品时，可以将所有确定的都显示，也可以分别在两种获取美妆产品的方式中选择几个进行显示，哪些美妆产品显示在前，哪些美妆产品显示在后，均不作具体限制，也可以根据实际应用配置具体显示顺序。

参见图8，图8为本申请实施例中推荐产品的示意图。图8中给出的可以是护肤产品，也可以是美妆产品的推荐，针对不同的部位给出不同的产品推荐。

参见图9，图9为本申请实施例中护肤建议推荐流程示意图。具体步骤为：

步骤901，当拍照设备接收到用户输入的查看护肤建议的请求时，关闭提示，并对当前存储的照片对应的未叠加美妆效果的图片检测面部状态。

步骤902，该拍照设备使用检测出的面部状态的各参数值与数据库中存储的面部状态的各参数值进行比较。

步骤903，该拍照设备若确定存在面部状态的任一参数值不一致，则为用户提供达到数据库中的对应面部状态的参数值的护肤建议，并显示。

比如确定用户的皮肤的色差低于数据库中存储的皮肤的标准值，则提示用户注意清洁、注意防晒、保证睡眠等。

比如两颊区域豆痘印数高于存储的标准值，提示注意补水保湿等。

参见图10，图10为本申请实施例中美妆建议推荐流程示意图。具体步骤为：

步骤1001，当拍照设备接收到用户输入的查看美妆建议的请求时，关闭提示。

步骤1002，该拍照设备根据当前存储的照片叠加的美妆效果为用户提供美妆建议，并显示。

云端数据库预先存储每种美妆效果对应的美妆建议。

如根据美妆效果确定用户选择的是暖色调的唇色，提示可选用暖色调的唇膏；用户选择亮白类型的肤色，提示可以选择购买亮白色类型的粉底等。

参见图11，图11为本申请实施例中美妆建议示意图。图11中给出了一种美妆建议的示意，具体实现时，不限于图11中所示显示方式。

参见图12，图12为本申请实施例中产品和建议同时显示的方式。在具体实现时，如果用户同时输入了查看产品和建议的请求时，则根据用户输入的请求为用户同时显示相关内容，如果一页不能显示，可以分页显示，每页显示几条信息，用户均可自己设定。

基于同样的发明构思，本申请还提出一种美妆拍照装置。参见图13，图13为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：识别单元1301、接收单元1302、处理单元1303、显示单元1304、拍照单元1305和存储单元1306；

识别单元1301，用于当处于美妆模式拍照时，进行人脸识别，并定位美妆区域；

接收单元1302，用于接收用户输入的美妆方式；接收用户输入的拍照指令；

处理单元1303，用于当接收单元1302接收到用户输入的美妆方式为一键美妆时，在本地数据库中确定该用户使用美妆模式拍照次数是否大于第一预设阈值，如果是，选择该用户使用次数最多的美妆效果；否则，根据识别单元1301获得的人脸识别结果在云端数据库中进行匹配，选择与该用户人脸最匹配的用户使用次数最多的美妆效果；

显示单元1304，用于将处理单元1303选择的美妆效果显示在定位的美妆区域上；

拍照单元1305，用于当接收单元1302接收到用户输入的拍照指令时，进行拍照；

存储单元1306，用于存储拍照单元1305拍摄的叠加美妆效果的照片。

较佳地，

处理单元1303，进一步用于选择该用户使用次数最多的美妆效果并显示在定位的美妆区域上之后，当第一预设时间内所述接收单元未接收到用户输入的拍照指令时，选择该用户使用次数次多的美妆效果；或，已不存在该用户使用过的美妆效果时，根据人脸识别结果在云端数据库中进行匹配，选择与该用户人脸最匹配的用户使用次数最多的美妆效果并显示在定位的美妆区域上；

拍照单元1305，进一步用于所述接收单元等待用户指令；直到接收到用户输入的拍照指令时，进行拍照。

较佳地，

处理单元1303，进一步用于选择与该用户人脸最匹配的用户使用次数最多的美妆效果并由显示单元1304显示在定位的美妆区域上之后，当所述接收单元在第一预设时间内未接收到用户输入的拍照指令时，在云端数据库中按照预设随机函数为当前拍照的用户生成美妆效果；

显示单元1304，用于将处理单元1303选择的美妆效果显示在定位的美妆区域上。

较佳地，，

处理单元1303，进一步用于在根据人脸识别结果在云端数据库中进行匹配之前，确定云端数据库中使用美妆的用户的个数是否大于第二预设阈值，如果是，根据人脸识别结果在云端数据库中进行匹配；否则，在云端数据库中按照预设随机函数为当前拍照的用户生成美妆效果并触发显示单元1304显示在定位的美妆区域上。

较佳地，

显示单元1304，用于当所述接收单元接收到用户输入的美妆方式为手动美妆时，打开并显示面部特征列表；当所述接收单元接收到用户选择的面部特征时，显示对应的面部特征所对应的美妆效果；当所述接收单元接收到用户选择的面部特征对应的美妆效果时，针对该面部特征生成美妆效果并显示在定位的美妆区域上。

较佳地，

存储单元1306，进一步用于存储叠加美妆效果的照片时，在本地数据库中记录使用对应美妆效果的次数；并将本用户使用所述美妆效果的次数上传到云端数据库中。

较佳地，

显示单元1304，进一步用于存储单元1306存储叠加美妆效果的照片时，提示用户是否查看下述任一参数或任意组合：护肤产品、护肤建议、美妆产品、美妆建议；

处理单元1303，用于当所述接收单元在第二预设时间内未接收到用户输入的请求时，关闭提示。

较佳地，

处理单元1303，进一步用于当所述接收单元接收到用户输入的查看护肤产品的请求时，关闭提示，并对当前存储的照片对应的未叠加美妆效果的图片检测面部状态；使用检测出的面部状态的各参数值与数据库中存储的面部状态的各参数值进行比较；若存在面部状态的任一参数值不一致，则将不一致的面部状态的参数作为关键字，搜索护肤产品，并触发显示单元1304以链接列表的形式为用户显示搜索到的护肤产品。

较佳地，

处理单元1303，进一步用于当接收单元1302接收到用输入的查看美妆产品的请求时，关闭提示，将当前存储的照片叠加的美妆效果对应的面部特征作为关键字，搜索美妆产品；通过图像识别，在搜索出的美妆产品中识别出与美妆效果对应的面部特征最匹配的美妆产品；并触发显示单元1304将识别出的美妆产品以链接列表的形式为用户显示美妆产品，触发存储单元1306在数据库中存储该美妆效果对应的美妆产品。

较佳地，

处理单元1303，进一步用于显示单元1304将识别出的美妆产品以链接列表的形式为用户显示美妆产品之前，确定云端数据库中是否存在该美妆效果对应的美妆产品列表，如果是，触发显示单元1304将云端数据库中存储的美妆效果对应的美妆产品和识别出的美妆产品一同以产品链接列表的形式显示给用户；否则，触发显示单元1304将识别出的美妆产品以链接列表的形式为用户显示美妆产品。

较佳地，

处理单元1303，进一步用于当接收到用户输入的查看护肤建议的请求时，关闭提示，并对当前存储的照片对应的未叠加美妆效果的图片检测面部状态；使用检测出的面部状态的各参数值与数据库中存储的面部状态的各参数值进行比较；若存在面部状态的任一参数值不一致，则为用户提供达到数据库中的对应面部状态的参数值的护肤建议，并触发显示单元1304显示。

较佳地，

处理单元1303，进一步用于当所述接收单元接收到用户输入的查看美妆建议的请求时，关闭提示，并根据当前存储的照片叠加的美妆效果为用户提供美妆建议，并触发显示单元1304显示；其中，云端数据库预先存储每种美妆效果对应的美妆建议。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

综上所述，本申请通过人脸识别技术，在用户使用一键美妆拍照时，如果用户使用美妆拍照次数达到一定阈值时，为该用户选择已使用过次数最多的美妆效果显示给用户；否则，从云端数据库中为该用户选择与该用户人脸最匹配的用户使用次数最多的美妆效果。该技术方案能够自动为用户提供适合用户喜好和面部特点的美妆效果，进而增强设备的拍照功能，并提高用户体验。

并且可以根据人脸识别结果确定用户的面部状态，为用户提供适合用户的护肤建议、护肤产品；根据用户拍照选择的美妆效果为用户提供适合用户的美妆建议和美妆产品。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。