一种移动终端的照片匹配方法与流程

本发明涉及一种照片查询比对应用领域，尤其涉及一种移动终端的照片匹配方法。

背景技术：

随着手机、平板电脑等移动设备性能的提升，移动设备的智能化成了学术界与工业界的研究热点。移动智能终端上图像传感器的性能提升也给移动平台上的视觉应用提供了更好的硬件条件支撑。同时，随着人脸分析技术的进步，移动终端的人脸识别、表情识别、属性分析等移动应用在人们的生活中崭露头角。另外，基于图像的信息检索技术也逐渐成熟，各大搜索引擎也加入了“以图搜图”的功能。人脸识别技术和基于图像的信息检索技术的进步，使得自动化的相似脸检索成为可能。相似脸检索在娱乐搜索、犯罪监视等方面具有很高的应用价值。

现有的一些寻找最相似的照片的方法，源于脸部五官特征对比的应用，匹配方式单一，即只通过比较脸部五官特征来匹配相似脸，不能进行精准匹配，基于用户精准地比对找出与自己最相似的照片心理，如何提供一种与照片库进行精准匹配，找出与用户相似的照片是本领域技术人员要解决的技术问题。

技术实现要素：

本发明提供了一种移动终端的照片匹配方法，以解决现有不能精准地将用户图像与照片库进行匹配，并找出与用户最相似的照片的技术问题。

本发明提供了一种移动终端的照片匹配方法，该方法包括如下步骤：

获取用户图像,所述用户图像至少包括用户的面部；

识别所述用户图像的信息，所述信息包括，所述用户图像的五官信息以及通过所述五官信息获得的用户面部角度信息；

将所述用户图像的信息与照片库中图像的信息进行比对；

推送照片库中与所述用户图像匹配程度最高的图像。

进一步的，识别所述用户图像的信息前，还包括对所述用户图像进行美颜处理。

进一步的，通过所述五官信息获得用户面部角度信息的方法包括，

获取瞳孔位置，计算所述瞳孔位置连线与水平方向的夹角；

获取鼻部位置，计算所述鼻部位置与面部轮廓四周的距离以及各距离之间的比例关系。

进一步的，将所述用户图像的信息与照片库中图像的信息进行比对前还包括，识别所述用户图像的拍摄姿势信息，通过识别所述用户图像中用户轮廓确定所述拍摄姿势信息。

进一步的，将所述用户图像的信息与照片库中图像的信息进行比对前还包括，识别所述用户图像的性别信息和/或年龄信息。

进一步的，识别所述用户图像的性别信息包括，判断所述用户图像中的头发长短和/或喉结位置轮廓。

进一步的，识别所述用户图像的年龄信息包括，识别所述用户图像的面部皱纹和/或眼角沉度和/或面部肌肤情况。

进一步的，将所述用户图像的信息与照片库中图像的信息进行比对前还包括，识别所述用户图像的地理位置信息。

本发明还提供一种移动终端，包括显示模块、摄像模块以及用于存储所述摄像模块的拍摄画面的图像存储模块，还包括：

用户图像获取模块，用于通过所述摄像模块或所述图像存储模块获取用户图像；

数据分析处理模块，用于对所述用户图像的信息进行识别，所述数据分析处理模块包括五官信息识别模块和用户面部角度识别模块；

信息比对模块，用于将所述用户图像的信息与照片库中图像的信息进行比对；

照片推送模块，用于推送照片库中与所述用户图像匹配程度最高的图像。

进一步的，所述用户面部角度信息识别模块包括，用于获取瞳孔位置并计算所述瞳孔位置连线与水平方向的夹角的瞳孔位置计算模块，以及用于获取鼻部位置，计算所述鼻部位置与面部轮廓四周的距离以及各距离之间的比例关系的鼻部位置计算模块。

进一步的，所述数据分析处理模块还包括拍摄姿势识别模块，所述拍摄姿势识别模块通过识别所述用户图像中用户轮廓确定所述拍摄姿势信息。

进一步的，所述数据分析处理模块还包括性别判断模块和/或年龄识别模块，所述性别判断模块用于识别所述用户图像的性别信息，所述年龄判断模块用于识别所述用户图像的年龄信息。

进一步的，所述数据分析处理模块还包括位置识别模块，所述位置识别模块用于识别所述用户图像的地理位置信息。

本发明的有益效果：

本发明提供的一种照片匹配的方法以及移动终端，具体是通过识别获取到的用户图像中用户的五官信息和面部角度信息，然后将用户的五官信息和面部角度信息与照片库中图像的相对应信息进行比对，从照片库中找出与用户图像匹配程度最高的图像，通过在比对五官信息的基础上，还增加比对面部角度信息这一比对因子，从而帮助用户从照片库中精准地找出与自身最相似的照片。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一种照片匹配方法的流程图。

图2为本发明一种移动终端模块框架图。

具体实施方式

现通过具体实施方式结合附图的方式对本发明做出进一步的阐释说明。

需要说明的是：本实施例中的任何技术特征、任何技术方案均是多种可选的技术特征或可选的技术方案中的一种或几种，为了描述简洁的需要本文件中无法穷举本发明的所有可替代的技术特征以及可替代的技术方案，也不便于每个技术特征的实施方式均强调其为可选的多种实施方式之一，所以本领域技术人员应该知晓：可以将本发明提供的任一技术手段进行替换或将本发明提供的任意两个或更多技术手段或技术特征互相进行组合而得到新的技术方案。本实施例中的任何技术特征以及任何技术方案均不限制本发明的保护范围，本发明的保护范围应该包括本领域技术人员不付出创造性劳动所能想到的任何替代技术方案以及本领域技术人员将本发明提供的任意两个或更多技术手段或技术特征互相进行组合而得到的新的技术方案。

图1为本发明一种照片匹配方法的步骤流程图。

如图1所示，本发明一种照片匹配方法，包括如下步骤：

步骤一获取用户图像,所述用户图像至少包括用户的面部；

通过摄像模块获取用户图像,该图像至少包括用户的面部，具体指包括用户的完整五官特征，五官特征具体指眼、耳、鼻、眉、口特征，在本发明较佳实施例中，该摄像模块为智能手机本身所具有的摄像头，该用户图像可以是即时通过摄像模块拍摄的，也可以是用户之前已经保存在本地上或者是存储在云端的图像。

步骤二识别所述用户图像的信息，所述信息包括，所述用户图像的五官信息以及通过所述五官信息获得的用户面部角度信息；

识别所获取到的用户图像信息，包括五官信息以及通过五官信息获得的面部角度信息，识别五官信息具体是指识别用户图像中眼睛大小、耳朵大小、鼻子高低、眉毛浓密、嘴巴大小情况，面部角度信息是指所获取图像的面部所在平面与摄像装置所在平面之间的角度关系，包括水平夹角和竖直夹角，水平夹角的获取是通过首先将五官位置定位，获取瞳孔位置，然后计算瞳孔位置连线与摄像装置的水平中心线的夹角而获得的，竖直夹角的获取首先是通过将五官位置定位，获取鼻部位置，然后计算所述鼻部位置与面部轮廓四周的距离以及各距离之间的比例关系，进而获得图像的面部所在平面与摄像装置所在平面之间的竖直夹角的，比如，在获取到的图像与拍摄装置的水平和竖直中心线都重合的情况下，所获取图像瞳孔位置的连线与摄像装置的水平中心线的夹角是为零的，认为图像是的拍摄高度是平拍，所获取图像的鼻部位置与面部轮廓左右两侧的距离比为1:1，鼻部位置到面部上轮廓的距离与面部下轮廓的距离比为2:1，此时获得图像的面部所在平面与摄像装置所在平面之间的竖直夹角也是为零的，认为图像的拍摄方向是正面拍摄，通过计算所获取图像的瞳孔位置连线与水平方向的夹角的具体值，以及鼻部位置与面部轮廓四周的距离以及各距离之间的比例值获取图像的面部角度信息。

步骤三将所述用户图像的信息与照片库中图像的信息进行比对；

将用户图像的五官信息和面部角度信息与照片库中图像的信息进行接近度比对，五官信息比对具体是比较通过在面部五官位置添加标识，比较重合度，以及分别比较五官的特征，具体指眼睛大小、耳朵大小、鼻子高低、眉毛浓密、嘴巴大小情况的重合度对比，面部角度信息比对具体是比较所获取图像的瞳孔位置连线与水平方向的夹角与照片库中图像的人物的瞳孔位置连线与水平方向的夹角的接近程度，以及比较两图像中鼻部位置与面部轮廓上下与左右距离之间的比例值的接近程度，五官特征重合度高，两图像中人物的瞳孔位置连线与水平方向的夹角以及两图像中鼻部位置与面部轮廓上下与左右距离之间的比例值越接近，两图像的匹配程度最高，即此时照片库中的图像即是与用户最相似的图像，其中在比对过程中五官信息与面部角度信息所占的比重是用户可以自行选择设置的，也可以默认的。

其中照片库中包括通俗理解的明星照片，同时还包括历史人物的照片、网络表情还有动漫人物照片，其中一个形象可以有多张照片，对应不同的场景，比如说一个明星具有多张照片，对应不同年龄阶段、拍摄角度、拍摄姿势、地点信息，照片库的照片来源可以是本地的，也可以是云端获取的，或者是两种来源方式结合组成的。

步骤四推送照片库中与所述用户图像匹配程度最高的图像。

推送照片库中与用户图像的面部五官和面部角度信息接近程度最高的照片，默认推送最高匹配程度的，同时也存储的其他相似照片，比如说可以按照相似程度的高低进行排序，以便用户根据相似程度的高低查看以及进行选择性地分享。

该实施例首先获取具有用户完整五官特征的图像，然后通过人脸识别技术识别所获取图像的五官位置和特征值，根据五官位置比例识别所获取图像的面部角度信息，进而得到拍摄角度信息，随后将所识别的信息分别照片库中图像的对应信息进行对比，得到与用户图像匹配程度最高的照片，最后推送该具有最高匹配度的照片。

通过此实施例，用户在匹配与自己最相似的照片的时候，不光只是匹配五官特征的相似程度，还包括比较面部拍摄角度的接近程度，帮助用户更加精准地找出照片库中与自己相似的照片。

此外，在识别用户图像的五官信息和面部角度信息前，对用户图像进行美颜处理，用户通过美颜功能来调节美化自己的图像，获得用户满意的图像，随后再对用户图像的五官信息和面部角度信息进行识别，从照片库中再寻找与经过美颜处理的用户图像匹配程度最高的照片，通过事先将用户的图像进行美颜处理，可以帮助用户查找与美颜过的自己匹配程度最高的照片，这种情况下匹配结果更能受到用户的喜爱。

此外，增加识别用户图像的拍摄姿势信息，即除了比对用户图像与照片库中图像的五官特征和面部角度的接近程度外，还考虑两图像中人物的拍摄姿势是否相同，具体是通过将人物造型进行线条化处理而进行比较的，根据线条走向重合度高低的比较来识别拍摄姿势的相似程度，通过增加拍摄姿势这一比对因子，帮助用户寻找不仅面部五官特征相似、拍摄时面部角度相接近，还与自己拍摄姿势相同的照片，使得匹配结果更加精准和充满趣味，比如，用户摆一个竖起大拇指的pose,就匹配与用户五官相似、拍摄时面部角度相接近且拍摄时摆的造型都相同的照片，五官特征、拍摄角度、拍摄姿势三项信息的重合度越高，认为照片就越相似。

此外，增加识别用户图像的性别信息和/或年龄信息，即除了比对用户图像与照片库中图像的五官特征、面部角度的接近程度、拍摄姿势信息以外，还考虑比较用户与照片库的图像中人物的性别是否相同和/或年龄是否想接近，性别具体是通过图像中用户的头发长短和/或喉结是否突出来判断，一般来讲，用户的头发长和/或没有喉结将给出该用户为女性的判断结果，反之，将给出该为男性的判断结果，年龄是通过图像中用户的面部皱纹和/或眼角沉度和/或面部肌肤情况来识别的，其中面部皱纹具体是通过面部肤色的均匀程度来识别，面部肤色越不均匀，给出年龄越大的识别结果，眼角沉度具体是通过眼部周围肤色的均匀度来识别，面部肌肤是通过面部肤色的明亮程度以及各部位的均匀程度来识别，一般而言，面部肤色越明亮、均匀，给出年龄越小的识别结果，反之给出年龄越大的识别结果，通过增加识别性别和年龄信息，可以帮助用户寻找不仅与相似的图像，更进一步可以找到性别相同、年龄相仿的相似照片，定义为亲密度高的照片，即是具有高亲密度的照片，亲密度是在相似度的基础上，考虑两图像中人物的性别和年龄，一般而言，在具有高相似度的基础上，若是性别相同和/或年龄相仿，则认为是具有高亲密度的照片，通过增加识别性别和年龄这两个因子，可以帮助用户找到与自己性别相同、年龄相仿的最亲密的相似照片，比如某个用户已经通过五官特征、面部角度和拍摄姿势信息已经找到与自己相似的照片，但是想进一步寻找与自己是同性的且年龄相差在一个较小范围的图像，此时就可以增加性别和年龄两个因子，帮助用户实现该目的。

此外，增加识别用户图像获取时的位置信息，即在比对两图像的五官特征、面部角度、拍摄姿势、性别以及年龄信息以外，还通过比对用户图像获取时的位置与照片库中图像对应人物的位置标签，寻找位置接近的图像，二者之间的地理位置越接近，认为二者的亲密度越高，反之，认为亲密度越低，照片库中图像对应人物的位置标签可以是人物的出生地或者是照片拍摄地，比如，某个用户想寻找与自己具有高相似度、且照片的拍摄地点也相近的明星照片，就可以增加考虑地位信息这一比对因子，帮助用户寻找到目标明星照片。

通过上述实施例可以帮助用户从照片库中寻找具有高相似度和高亲密度的照片，具体的，相似度是考虑五官信息、面部角度信息和拍摄姿势信息三个因子，其中在具体的使用中三者的权重关系和取舍用户可以自己调节，亲密度是在相似度的基础上，增加考虑性别信息、年龄信息以及位置信息的匹配度，重合度越高越亲密，其中各个比对因子的权重和取舍均是用户可以根据自己的需求进行调节和选择的。

图2为本发明一种移动终端系统模块架构图。

该移动终端系统包括显示模块201、摄像模块202以及用于存储所述摄像模块的拍摄画面的图像存储模块203，还包括：

用户图像获取模块204，用于通过所述摄像模块或所述图像存储模块获取用户图像；

用户图像获取模块204通过摄像模块202获取用户图像,该图像至少包括用户的面部，具体指包括用户的完整五官特征，五官特征具体指眼、耳、鼻、眉、口特征，在本发明较佳实施例中，该摄像模块为智能手机本身所具有的摄像头，该用户图像可以是即时通过摄像模块拍摄的，也可以是用户之前已经保存在本地上或者是存储在云端的图像。

数据分析处理模块205，用于对所述用户图像的信息进行识别，所述数据分析处理模块包括五官信息识别模块208和用户面部角度识别模块209；

数据分析处理模块205识别所获取到的用户图像信息，通过五官信息识别模块208识别五官信息以及通过用户面部角度识别模块209识别通过五官信息获得的面部角度信息，五官信息具体是指识别用户图像中眼睛大小、耳朵大小、鼻子高低、眉毛浓密、嘴巴大小情况，面部角度信息是指所获取图像的面部所在平面与摄像装置所在平面之间的角度关系，包括水平夹角和竖直夹角，水平夹角的获取是通过首先将五官位置定位，获取瞳孔位置，然后计算瞳孔位置连线与摄像装置的水平中心线的夹角而获得的，竖直夹角的获取首先是通过将五官位置定位，获取鼻部位置，然后计算所述鼻部位置与面部轮廓四周的距离以及各距离之间的比例关系，进而获得图像的面部所在平面与摄像装置所在平面之间的竖直夹角的，比如，在获取到的图像与拍摄装置的水平和竖直中心线都重合的情况下，所获取图像瞳孔位置的连线与摄像装置的水平中心线的夹角是为零的，认为图像是的拍摄高度是平拍，所获取图像的鼻部位置与面部轮廓左右两侧的距离比为1:1，鼻部位置到面部上轮廓的距离与面部下轮廓的距离比为2:1，此时获得图像的面部所在平面与摄像装置所在平面之间的竖直夹角也是为零的，认为图像的拍摄方向是正面拍摄，通过计算所获取图像的瞳孔位置连线与水平方向的夹角的具体值，以及鼻部位置与面部轮廓四周的距离以及各距离之间的比例值获取图像的面部角度信息。

信息比对模块206，用于将所述用户图像的信息与照片库中图像的信息进行比对；

信息比对模块206将通过五官信息识别模块208识别到的用户图像的五官信息和由用户面部角度识别模块209识别到的面部角度信息与照片库中图像的信息进行接近度比对，五官信息比对具体是比较通过在面部五官位置添加标识，比较重合度，以及分别比较五官的特征，具体指眼睛大小、耳朵大小、鼻子高低、眉毛浓密、嘴巴大小情况的重合度对比，面部角度信息模块209包括瞳孔位置计算模块210和鼻部位置计算模块211，瞳孔位置计算模块210用于获取瞳孔位置并计算所述瞳孔位置连线与水平方向的夹角，鼻部位置计算模块211用于获取鼻部位置，计算所述鼻部位置与面部轮廓四周的距离以及各距离之间的比例关系，比对具体是比较所获取图像的瞳孔位置连线与水平方向的夹角与照片库中图像的人物的瞳孔位置连线与水平方向的夹角的接近程度，以及比较两图像中鼻部位置与面部轮廓上下与左右距离之间的比例值的接近程度，五官特征重合度高，两图像中人物的瞳孔位置连线与水平方向的夹角以及两图像中鼻部位置与面部轮廓上下与左右距离之间的比例值越接近，两图像的匹配程度最高，即此时照片库中的图像即是与用户最相似的图像，其中在比对过程中五官信息与面部角度信息所占的比重是用户可以自行选择设置的，也可以默认的。

其中照片库中包括通俗理解的明星照片，同时还包括历史人物的照片、网络表情还有动漫人物照片，其中一个形象可以有多张照片，对应不同的场景，比如说一个明星具有多张照片，对应不同年龄阶段、拍摄角度、拍摄姿势、地点信息，照片库的照片来源可以是本地的，也可以是云端获取的，或者是两种来源方式结合组成的。

照片推送模块207，用于推送照片库中与所述用户图像匹配程度最高的图像；

照片推送模块207推送照片库中与用户图像的面部五官和面部角度信息接近程度最高的照片，默认推送最高匹配程度的，同时也存储的其他相似照片，比如说可以按照相似程度的高低进行排序，以便用户根据相似程度的高低查看以及进行选择性地分享。

此外，数据分析处理模块205还包括拍摄姿势识别模块212，拍摄姿势识别模块212通过识别所述用户图像中用户轮廓确定所述拍摄姿势信息，具体是通过将人物造型进行线条化处理而进行比较的，根据线条走向重合度高低的比较来识别拍摄姿势的相似程度，通过增加拍摄姿势这一比对因子，帮助用户寻找不仅面部五官特征相似、拍摄时面部角度相接近，还与自己拍摄姿势相同的照片，使得匹配结果更加精准和充满趣味。

此外，数据分析处理模块205还包括性别判断模块213和/或年龄识别模块214，性别判断模块213用于识别所述用户图像的性别信息，年龄判断模块214用于识别所述用户图像的年龄信息，性别具体是通过图像中用户的头发长短和/或喉结是否突出来判断，一般来讲，用户的头发长和/或没有喉结将给出该用户为女性的判断结果，反之，将给出该为男性的判断结果，年龄是通过图像中用户的面部皱纹和/或眼角沉度和/或面部肌肤情况来识别的，其中面部皱纹具体是通过面部肤色的均匀程度来识别，面部肤色越不均匀，给出年龄越大的识别结果，眼角沉度具体是通过眼部周围肤色的均匀度来识别，面部肌肤是通过面部肤色的明亮程度以及各部位的均匀程度来识别，一般而言，面部肤色越明亮、均匀，给出年龄越小的识别结果，反之给出年龄越大的识别结果。

此外，数据分析处理模块205还包括年龄识别模块214，位置识别模块215用于识别所述用户图像的地理位置信息，即在识别两图像的五官特征、面部角度、拍摄姿势、性别以及年龄信息以外，还通过用户图像获取时的位置与照片库中图像对应人物的位置标签，寻找位置接近的图像，二者之间的地理位置越接近，认为二者的亲密度越高，反之，认为亲密度越低，照片库中图像对应

人物的位置标签可以是人物的出生地或者是照片拍摄地，比如，某个用户想寻找与自己具有高相似度、且照片的拍摄地点也相近的明星照片，就可以增加考虑地位信息这一比对因子，帮助用户寻找到目标明星照片。

通过本发明的实施，至少存在以下有益效果：

本发明提供的一种照片匹配的方法以及移动终端，具体是通过识别获取到的用户图像中用户的五官信息和面部角度信息，然后将用户的五官信息和面部角度信息与照片库中图像的相对应信息进行比对，从照片库中找出与用户图像匹配程度最高的图像，通过在比对五官信息的基础上，还增加比对面部角度信息这一比对因子，从而帮助用户从照片库中精准地找出与自身最相似的照片。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换，而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。