基于三维立体图像的人脸对比系统、方法及移动终端与流程

本发明涉及三维模型处理领域，尤其是一种基于三维立体图像的人脸对比系统，一种基于三维立体图像的人脸对比方法，以及一种能够基于三维立体图像来实现人脸对比的移动终端，所述移动终端如手机、平板、可穿戴设备等。

背景技术：

整容是透过外科手术改善外貌，通常指脸部整型，如割双眼皮、埝下巴、隆鼻、嫩唇、造酒窝、矫正牙齿、除皱、除痘、种睫毛、脱毛等，藉以增强自信。随着现代医学技术的进步，医学整容开始风靡，越来越多的人参与其中。

然而，整形美容存在一定的风险，若整容手术失败或没有达到预想的效果时，其造成的后果是很难补救的，并不能做不好再修改直到用户满意为止，为克服该缺陷，可通过三维整形扫描仪采集用户的局部或全身的三维数据，生成原始三维立体模型，并基于该原始三维立体模型进行相应的编辑调整，以达到用户预期的整形效果，并给用户相应的整形建议，使用户能在整形手术前看到整形后效果。但由于专业的三维整形扫描仪，价格昂贵，用户想要查看自己整形后的效果，一般需要前往相关整形医疗机构。

为满足用户的需求，方便用户了解自己整形后的效果，或者满足用户的娱乐需求，多种应用于手机、平板等智能移动终端的模拟整容app流行起来，用户可直接通过模拟整容app对自己的照片进行编辑处理，以模拟整容手术，使用方便操作简单。但现有的模拟整容app一般是对用户上传照片或当前拍摄照片进行处理，基于二维图片进行模拟整容，并不能生成用户的三维立体模型，用户不能直接对模型进行操作，从多角度、多方面进行逼真的模拟整容，用户体验较差。

另外，经调研分析，大多数用户都有与明星进行人脸对比的心理需求，想知道自己与明星的差别具体在哪些部位，并且想知道具体的差异数据，而目前并没有相应的技术支持或产品实现。

技术实现要素：

本发明的发明目的在于：针对上述存在的问题，提供一种基于三维立体图像的人脸对比系统，一种基于三维立体图像的人脸对比方法，以及一种能够基于三维立体图像来实现人脸对比的移动终端，所述移动终端如手机、平板、可穿戴设备等。

方案一：基于三维立体图像的人脸对比系统。

针对本发明的一个方面，本发明提出了一种基于三维立体图像的人脸对比系统，该人脸对比系统主要包括三维重建单元、人脸对比单元、显示单元、对比数据库和被设置于移动终端上的三维扫描器。

所述三维扫描器，用于采集用户的人脸三维信息和人脸图像。

所述三维重建单元，根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型输出至所述显示单元进行显示。

所述人脸对比单元，用于将所述第一人脸三维模型与所述对比数据库中存储的第二人脸三维模型进行对比，判定所述第一人脸三维模型与所述第二人脸三维模型之间的差异信息，并将所述差异信息输出至所述显示单元进行显示。

进一步的，本发明人脸对比系统中，所述对比数据库可包括存储有明星人脸三维模型的明星数据库，相应的，所述第二人脸三维模型包括明星人脸三维模型，人脸对比单元将用户的第一人脸三维模型与明星人脸三维模型进行对比，判定用户人脸与明星人脸之间的差异信息。

进一步的，本发明人脸对比系统中，所述对比数据库也可包括存储有好友共享的好友人脸三维模型的好友数据库，相应的，所述第二人脸三维模型包括好友人脸三维模型，人脸对比单元将用户的第一人脸三维模型与好友人脸三维模型进行对比，判定用户人脸与好友人脸之间的差异信息。

当然，所述对比数据库可同时包括明星数据库和好友数据库。

方案二：基于三维立体图像的人脸对比方法。

针对本发明的另一个方面，本发明提出了一种基于三维立体图像的人脸对比方法，该人脸对比方法主要包括以下步骤：

人脸扫描步骤：通过移动终端上的三维扫描器，采集用户的人脸三维信息和人脸图像；

三维重建步骤：根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型进行显示；

人脸对比步骤：将所述第一人脸三维模型与对比数据库中存储的第二人脸三维模型进行对比，判定所述第一人脸三维模型与所述第二人脸三维模型之间的差异信息；

显示步骤：将所述差异信息和所述第一人脸三维模型融合显示。

进一步的，人脸对比步骤中包括：明星对比模式，当接收到用户选择的与明星的人脸模型进行比较的对比指令时，从所述对比数据库中调用明星人脸三维模型作为所述第二人脸三维模型，将所述第一人脸三维模型与明星人脸三维模型进行对比，判定两者之间的差异信息。

进一步的，人脸对比步骤中包括：好友对比模式，当接收到用户选择的与好友的人脸模型进行比较的对比指令时，从所述对比数据库中调用好友共享的好友人脸三维模型作为所述第二人脸三维模型，将所述第一人脸三维模型与好友人脸三维模型进行对比，判定两者之间的差异信息。

方案三：基于三维立体图像的人脸对比移动终端。

针对本发明的另一个方面，本发明提出了一种基于三维立体图像的人脸对比移动终端，该人脸对比移动终端主要包括：

处理器；

三维扫描器，其连接到所述处理器，用于采集用户的人脸三维信息和人脸图像；

显示屏，其连接到所述处理器；

存储器，其连接到所述处理器，用于存储计算机程序；

所述存储器和计算机程序被配置成利用所述处理器使得所述移动终端执行至少方案二的任一项实施方式所述的人脸对比方法中所包含的步骤。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1）本发明系统利用移动终端上设置的三维成像扫描器，对用户的脸部进行三维扫描，并将用户的人脸三维模型与数据库中的人脸三维模型进行对比，确定两者的差异信息，并将差异信息与用户的人脸三维模型进行融合显示。本发明既能满足用户的心理需求，具有一定的娱乐性，又能为模拟整形美容提供技术支持，而且操作方式简单方便，移动性强，不受场地限制，用户能够对三维模型进行控制操作，可从多个角度反应差异信息，显示方式直观明了，既适用于电脑端操作，也适用于独立在移动终端上操作。

2）用户可将人脸对比app安装在移动终端上，直接在移动终端上运行人脸对比app，调用移动终端上的三维扫描器采集人脸三维图像，再在移动终端上进行后续的三维处理和对比处理，最后将人脸三维图像和差异信息融合显示。用户还可通过网络访问人脸对比平台服务器，获取服务器上的人脸三维模型，或者上传自己的人脸三维模型，还可以将对比结果分享至平台服务器或第三方服务器。

3）本发明可实现将用户的人脸三维模型与明星的人脸三维模型进行对比，判断用户与明星之间的脸部差异，满足用户的心理需求，具有较好的娱乐性。本发明还可将用户的人脸三维模型与好友的人脸三维模型进行对比，判断用户与好友之间的脸部差异，具有较好的社交互动性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明中人脸对比系统的系统示意框图。

图2为本发明中人脸对比方法的流程示意图。

图3为本发明中人脸对比移动终端的电路示意框图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

方案一：人脸对比系统。

如图1所示，本发明提出了一种基于三维立体图像的人脸对比系统。

实施例1.1，本发明人脸对比系统主要包括：三维重建单元、人脸对比单元、显示单元、对比数据库和被设置于移动终端上的三维扫描器，所述移动终端包括手机、平板、可穿戴设备等。

所述三维扫描器，用于采集用户的人脸三维信息和人脸图像。本发明中所述的三维扫描器为固设在移动终端上的图像采集器。若移动终端采用基于双目视觉的三维立体技术，则所述图像采集器包括双目摄像头。若移动终端采用基于光度立体视觉的三维立体技术，则所述图像采集器包括摄像头和光源，如采用可见光摄像头和可见光点光源，或可见光摄像头和面光源（将显示屏作为光源），也可采用红外光摄像头和红外光点光源。若移动终端采用基于结构光的三维立体技术，则所述图像采集器包括摄像头和结构光投射器。

所述三维重建单元，根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型输出至所述显示单元进行显示。该三维重建单元还可被配置成：根据三维扫描器的类型，如根据三维扫描器的端口或人脸三维信息的类型，判断三维扫描器的类型，调用相应的算法进行三维重建。

所述人脸对比单元，用于将所述第一人脸三维模型与所述对比数据库中存储的第二人脸三维模型进行对比，判定所述第一人脸三维模型与所述第二人脸三维模型之间的差异信息，并将所述差异信息输出至所述显示单元进行显示。所述差异信息一般包括差异区域和该差异区域的差异数据，也可包括相似度信息、优劣势信息。

实施例1.2，在实施例1.1的基础上，本发明系统还可包括特征区域划分单元，特征区域划分单元的输入端与三维重建单元连接，接收第一人脸三维模型，并根据第一人脸三维模型的特征点划分特征区域，其输出端与人脸对比单元的输入端连接，便于人脸对比单元在将第一人脸三维模型与第二人脸三维模型进行对比时，将存在差异的特征区域标记为差异区域，并计算每个差异区域的差异数据。

所述特征区域可包括眼部区域、眉毛区域、鼻部区域、嘴部区域、脸颊区域、下巴区域、额头区域和耳部区域中的多种组合，可是根据系统需求确定划分为哪几个区域，可以是用户根据自己的需求指定待对比的特征区域，并且本发明中的特征区域均为三维特征区域，可从多个角度采集数据、判断差异。

当然，还可根据实际需求进一步细分特征区域。

1、眼部区域，可包括眼皮区域、眼角区域、眼袋区域、泪沟区域、眼周区域等等多种组合，可根据实际需求进行细分。

①眼皮区域，可用于采集眼皮数据，确定用户是单眼皮还是双眼皮。

②眼角区域，可用于采集内眼角数据和外眼角数据，确定双眼间距和眼睛宽度，还可采集眼睑数据。

③眼袋区域，可用于采集眼袋数据，判断是否有眼袋及眼袋的尺寸，还可根据眼袋尺寸和位置判断是否为卧蚕，眼袋是下眼睑浮肿，是一种水肿现象，而卧蚕是紧贴眼睑下缘像“蚕宝宝”的约四到七毫米带状隆起物，也叫肌性眼袋，卧蚕呈椭圆形，线条圆润流畅，眼袋近三角形，线形如袋状。

④泪沟区域，可用于采集泪沟数据，确定用户是否有泪沟及泪沟的尺寸；泪沟是从内眼角开始延伸到下眼睑靠近鼻侧的凹沟，泪沟较为严重的话，甚至延伸到脸颊，脸上存在泪沟后，容易显老，年龄越大泪沟越明显。

⑤眼周区域，可用于采集鱼尾纹数据、黑眼圈数据等。

2、眉毛区域，可用于采集眉毛区域，识别用户的眉型，一般没有必要进一步细分该区域。

3、鼻部区域，可包括鼻头区域、鼻梁区域、人中区域等多种组合，可用于判断鼻型，如识别驼峰鼻、鹰钩鼻、歪鼻、朝天鼻、低鼻、宽鼻等。

①鼻头区域，可用于采集鼻基底数据及如鼻尖高度、形状、黑头等鼻尖数据，其中鼻基底，即鼻下端与上唇相连的基底部分，可分为鼻小柱基底、鼻翼基底和鼻孔基底。

②鼻梁区域，可用于采集鼻梁宽度和长度。

③人中区域，可用于采集人中尺寸数据，人中，位于鼻小柱基底与唇谷之间，人中过长会显老。

4、嘴部区域，可用于采集唇形数据、嘴角数据、上下嘴唇厚度数据等。

5、脸颊区域，可用于采集脸型数据、酒窝数据、脸颊饱满度、皮肤数据等等，皮肤数据可如皱纹、肤色、色斑、痤疮等数据。

6、下巴区域，可用于采集下巴形状、尺寸等数据。

7、额头区域，可用于采集额头宽度、额头饱满度、皱纹、发际线等数据。

8、耳部区域，可用于采集耳型、耳垂、耳朵位置、尺寸等数据。

实施例1.3，在实施例1.1或实施例1.2的基础上，本发明系统还包括差异状况判定单元，在通过对比处理，确定差异区域后，还可通过差异状况判定单元进行评级和/或评分处理。一般的，差异状况判定单元根据差异信息确定所述第一人脸三维模型与第二人脸三维模型之间的差异区域及该差异区域相应的差异数据，判定该差异区域的差异等级/评分。

其评级评分规则可以是根据第一人脸三维模型与第二人脸三维模型之间的差异度来评定，该差异值可以是差异区域中的最大差异值，也可以是差异区域中的平均差异值，当然还可以是其他方式求得的差异值。差异状况判定单元将各个差异区域的差异度与预设的差异阈值进行比较，若差异度落入某差异阈值区间，则为该差异区域赋予该差异阈值区间相应的等级或分值。

评级评分规则还可以是根据判断是否适合整容来进行评级评分，根据差异区域的差异度，差异区域与相邻特征区域之间的关联，如轮廓、形状、大小等因数，判断差异区域是否适合整容，并将整容适合度与整容适宜阈值进行比较，对差异区域进行评级评分，越适合整容的区域，其等级越高，评分越高。

进一步的，还可根据各个差异区域的差异等级/评分计算第一人脸三维模型和第二人脸三维模型的相似度，差异等级越高、差异评分越高，相似度越高。

还可将第一人脸三维模型和第二人脸三维模型的数据与标准数据进行比较，判断第一人脸三维模型的差异区域处相对于第二人脸三维模型的优劣势信息，如检测用户人脸三维模型的眼部区域时，判定用户的眼部包含双眼皮，而选定的第二人脸三维模型为单眼皮，根据标准数据中记录的眼皮优劣势数据，指示出差异区域的优劣势信息，标准数据可由服务商预先设置好，也可采集用户的喜好来动态更新。如由于目前双眼皮更被大众喜爱，服务商预先设定双眼皮优于单眼皮；也可以是根据用户对单眼皮和双眼皮的喜爱程度，所述喜爱程度可根据用户的点赞数据、打分数据等提取。

进一步的，还根据差异等级/评分对差异区域进行区别显示，显示方式包括文字标注显示、颜色区别显示、虚实线显示等等。

文字标注显示，如在用户的第一人脸三维模型的差异区域上做文字标引，标出差异等级、差异数据等差异信息，还可列出建议、提示、相似度等其他信息。

颜色区别显示，如在用户的第一人脸三维模型的差异区域上填充不同的颜色，根据冷暖色渐变的效果，对不同差异度/整容适合度的差异区域加以区别显示。

虚实线显示，如将用户的第一人脸三维模型以实线显示，将对比数据库中的第二人脸三维模型以虚线显示，通过实线和虚线的重叠显示，可直观地表示出两个模型的轮廓区别。

当然，在显示时还可融合多种显示方式，以为用户提供更丰富的信息和更直观的效果，进一步的，还可增设显示控制开关，用户可根据自己的需求，选择开启和关闭差异信息显示功能。

实施例1.4，在实施例1.1~1.3任一项的基础上，所述对比数据库包括存储有明星人脸三维模型的明星数据库，相应的，所述第二人脸三维模型可包括明星人脸三维模型。

用户在采集自己的人脸三维模型后，可以在对比数据库中浏览已上传的明星的人脸三维模型，用户选择某位明星的人脸三维模型后，系统自动将用户的人脸三维模型与明星的人脸三维模型进行对比分析，并在显示界面上示出差异信息，用户可通过本系统直观地详细地了解自己脸部与明星脸部之间的区别，了解自己与明星脸部间的具体差异信息、相似度或优劣势信息等等，还可对人脸三维模型进行操作，从多个角度查看区别状况。

实施例1.5，在实施例1.1~1.4任一项的基础上，所述对比数据库也可包括存储有好友人脸三维模型的好友数据库，相应的，所述第二人脸三维模型可包括好友人脸三维模型。

用户在采集自己的人脸三维模型后，可以在对比数据库中浏览好友已上传的且公开的人脸三维模型，用户选择某位好友的人脸三维模型后，系统自动将用户的人脸三维模型与好友的人脸三维模型进行对比分析，并在显示界面上示出差异信息，用户可通过本系统直观地详细地了解自己脸部与好友脸部之间的区别，了解自己与明星脸部间的具体差异信息、相似度或优劣势信息等等，还可对人脸三维模型进行操作，从多个角度查看区别状况。

实施例1.6，在实施例1.1~1.5任一项的基础上，本发明系统还包括共享单元，用于对用户的第一人脸三维模型设定权限后，共享至网络数据库，以供用户的好友调用，还可用于将人脸对比结果分享至平台服务器或第三方服务器。

需说明的是，本发明提出了一种基于三维立体图像的人脸对比系统，该系统中的各个单元、器件可以集成在同一个装置中，形成如方案三所提出的移动终端，其中，显示单元可为移动终端的触摸显示屏；对比数据库可利用移动终端的存储器；三维扫描器为固设在移动终端的图像采集器，若基于双目视觉进行三维重建，则包括双目摄像头，若基于光度立体匹配进行三维重建，则包括摄像头和与摄像头配合的点光源，若基于结构光进行三维重建，则包括摄像头与摄像头配合的结构光投影器，等等；另外，三维重建单元和人脸对比单元可为移动终端中的程序模块，其功能由移动终端的处理器调用存储器中的计算机程序以实现，也可以是移动终端中的硬件模块，如与移动终端的核心处理器协同工作的微处理器。

本发明所述系统中的各个单元、器件也可以是分别设置在不同的装置中，由多个装置组成，如由前端设备移动终端和后端设备服务器组成，具有三维扫描功能的移动终端通过无线或有线的通信方式与后端服务器连接，其中，三维重建单元、人脸对比单元、显示单元和对比数据库可集中设置在一个服务器上，也可以分布设置在多台服务器上，也可以根据实际情况将部分单元模块配置在移动终端中，另一部分单元模块配置在服务器上，其具体实施方式灵活多样，可根据实际情况而定。

方案二：基于三维立体图像的人脸对比方法。

如图2所示，针对本发明的另一个方面，本发明提出了一种基于三维立体图像的人脸对比方法，本发明方法可基于方案一或方案三中各单元、器件来实现。

实施例2.1，所述人脸对比方法主要包括以下步骤：

人脸扫描步骤：通过移动终端上的三维扫描器，采集用户的人脸三维信息和人脸图像；

三维重建步骤：根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型进行显示；

人脸对比步骤：将所述第一人脸三维模型与对比数据库中存储的第二人脸三维模型进行对比，判定所述第一人脸三维模型与所述第二人脸三维模型之间的差异信息；

显示步骤：将所述差异信息和所述第一人脸三维模型融合显示。

所述差异信息一般包括差异区域和该差异区域的差异数据，也可包括相似度信息、优劣势信息等等。显示方式主要包括文字标注显示、颜色区别显示、虚实线显示等等。

实施例2.2，在实施例2.1的基础上，进一步的，所述三维重建步骤和人脸对比步骤之间还包括：特征区域划分步骤，根据第一人脸三维模型的特征点划分特征区域；之后，在人脸对比步骤中，将第一人脸三维模型与第二人脸三维模型进行对比，把存在差异的特征区域标记为差异区域，并确定每个差异区域的差异数据。

所述特征区域可包括眼部区域、眉毛区域、鼻部区域、嘴部区域、脸颊区域、下巴区域、额头区域和耳部区域中的多种组合，可是根据系统需求确定划分为哪几个区域，可以是用户根据自己的需求指定待对比的特征区域。

实施例2.3，在实施例2.1或实施例2.2的基础上，进一步的，人脸对比步骤之后还包括：差异状况判定步骤，将每个差异区域的差异数据与预设的差异参考数据进行比较，确定每个差异区域的差异等级和/或差异评分。其评级评分规则可参考方案一中记载的内容。

实施例2.4，在实施例2.1~2.3任一项的基础上，进一步的，根据差异等级或差异评分对每个差异区域设定标签和/或色块，并将标签和/或色块显示在第一人脸三维模型的相应特征区域上。

实施例2.5，在实施例2.1~2.4任一项的基础上，进一步的，所述人脸对比方法还包括共享步骤：首先对用户的第一人脸三维模型设定权限，然后将第一人脸三维模型共享至网络数据库，以便于用户的好友调用。所述共享步骤还可以将用户的人脸对比结果分享至共享平台，提供基于图像分享的社交服务。

实施例2.6，在实施例2.1~2.5任一项的基础上，进一步的，人脸对比步骤中包括明星对比模式：当接收到用户选择的与明星的人脸模型进行比较的对比指令时，从所述对比数据库中调用明星人脸三维模型作为所述第二人脸三维模型，将所述第一人脸三维模型与明星人脸三维模型进行对比，判定两者之间的差异信息。

实施例2.7，在实施例2.1~2.6任一项的基础上，进一步的，人脸对比步骤中包括好友对比模式：当接收到用户选择的与好友的人脸模型进行比较的对比指令时，从所述对比数据库中调用好友共享的好友人脸三维模型作为所述第二人脸三维模型，将所述第一人脸三维模型与好友人脸三维模型进行对比，判定两者之间的差异信息。

方案三：基于三维立体图像的人脸对比移动终端。

针对本发明的另一个方面，本发明提出了一种基于三维立体图像的人脸对比移动终端，本发明所提出的移动终端可为手机、平板、可穿戴设备等，可用于执行方案二所述的人脸对比方法。

如图3所示，本发明所提出的移动终端主要包括：处理器、显示屏、存储器和设置在移动终端本体上的三维扫描器。

其中，所述处理器分别与显示屏、存储器和三维扫描器信号连接；所述三维扫描器用于采集用户的人脸三维信息和人脸图像；所述存储器用于存储计算机程序；所述存储器和计算机程序被配置成利用所述处理器使得所述移动终端执行至少方案二的任一项实施方式所述的人脸对比方法中所包含的步骤。

所述三维扫描器可为双目立体采集器、光度立体采集器、结构光立体采集器和tof立体采集器中的任意一种。

所述计算机程序可被封装成人脸对比app，用户将人脸对比app安装在具有三维扫描器的移动终端后，处理器运行该app，可通过三维数据端口控制三维扫描器采集用户的人脸三维图像，然后再执行相应的三维处理和对比处理，然后通过显示端口，将人脸三维图像和差异信息融合显示。

进一步的，所述移动终端还包括通信模块，所述通信模块的一端与处理器电性连接，其另一端通过网络与平台服务器数据连接，用于与平台服务器进行数据交互，访问存储于平台服务器的第二人脸三维模型等数据，还可用于共享用户数据至平台服务器上或其他第三方平台服务器。

进一步的，所述存储器还可以包括用户数据库，用于存储第一人脸三维模型，便于用户查看和操作已存储的人脸模型。

进一步的，所述存储器还可以用于存储第二人脸三维模型，如包括明星数据库和好友数据库，便于用户利用移动终端以离线的方式完成人脸对比操作，节省用户联网处理流量。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。