鼻子或者眼睛。此时，修改部分的边界线可以自动修正以适应用户的脸部模型。
[0035]图2是描述根据本发明的示例性实施例的虚拟整形手术SNS服务过程的流程图。
[0036]参考图2，根据本发明的示例性实施例，采用便携式相机从左至右或者从右至左捕获用户的脸部图像(SlOO)。捕获的图像可以是移动的图片或者一系列连贯的图像。
[0037]随后，通过分析捕获的图像之间的相互关系生成用户的3D脸部模型(SlOl)。在这个过程中，首先生成3D点云，并且随后再次生成3D脸部网格。此时，通过将可逐部分地修正的3D脸部标准模型与3D脸部网格匹配，生成可逐部分地修正的用户3D脸部模型。
[0038]此时，还生成脸部皮肤纹理图以表达用户的脸部皮肤。随后，将3D脸部模型的网格和脸部皮肤纹理图存储至3D脸部模型数据库(S102)。随后，用户决定是否就整形手术向专家咨询(S103)。如果用户想要向专家咨询，用户将他的/她的3D脸部模型向专家或者专家群开放(S104)。随后，专家通过使用用户向其开放的3D脸部模型实施虚拟整形手术，并且随后将虚拟整形手术的结果发送给要求了该服务的用户(S105)。
[0039]另一方面，如果用户决定不向专家咨询，用户检查是否有其他人的3D脸部模型是共享的(S106)。如果存在有其他人共享的3D脸部模型，用户可以实施模拟，将他的/她的脸的某部分用开放的其他人的脸的相应部分替换(S107)。如果发现没有其他人的3D脸部图像，用户可以采用模板实施模拟，将他的/她的脸的某部分用系统提供的单个的脸部部分替换(S108)。此时，修改部分的边界线可自动修正以适应用户的脸部轮廓。随后，虚拟整形手术的结果可视地显示在用户一侧的监视器上(S109)。
[0040]图3是描述根据本发明的示例性实施例的用于单个脸部部分的虚拟整形手术模拟方法的流程图。
[0041]参考图3，从用户的脸部选择要经受虚拟整形手术的主题脸部部分，诸如鼻子、眼睛或者下巴等，并且也选择将用于替换用户的主题脸部部分的目的脸部部分(S200)。由于形成主题脸部部分和目标脸部部分的3D顶点(vertex)的坐标值可以不同，因此实施标准化来对其进行调整(S201)。
[0042]随后，目标脸部部分的网格相应于主题脸部部分上的标记而被对齐(S202)。这里，标记可定义为在整形手术过程中不变的某些点。
[0043]之后，确定主题脸部部分和目标脸部部分的匹配是要关于主题脸部部分的边界、关于目标脸部部分的边界线，或者关于介于两个边界线之间的中间值而被执行(S203)。
[0044]随后，关于设定的边界线消除主题脸部部分的网格，将目标脸部部分的网格合成到主题脸部部分的网格之上(S204)。此时，需要执行自动修正以对齐边界线。随后，由于用户的脸部的曲线轮廓和合成的边界部分可能会不光滑，所以通过改变两个连接的网格之间的法向向量执行使边界线光滑的表面弯曲过程(S205)。
[0045]尽管结合附图对本公开的示例性实施例进行了描述，本领域技术人员应当理解，本发明可以在不改变其必要的特征或者本发明的主旨的基础上以多种方式实现。因此，应当理解上文描述的示例性的实施例不是限制性的，而仅是所有方面中的示例。本公开的范围由以下的权利要求表达，而不是由详细的描述表达，而且其应当被解释为从权利要求和其等价物概念的含义和范围获得的所有改变和修正都包括在本发明的范围内。
【主权项】
1.一种虚拟整形手术社交网站服务(SNS)服务装置，用于提供虚拟整形手术服务，该装置包括: 三维(3D)脸部模型生成单元，配置成通过使用来自便携式相机的图像生成3D脸部模型； 3D脸部模型数据库管理单元，配置成存储和管理所述3D脸部模型以及虚拟整形手术的结果，使得所述3D脸部模型以及所述虚拟整形手术的结果在SNS (社交网络服务)上与人共孚; 虚拟整形手术模拟单元，配置为允许用户通过使用在所述SNS上其他人共享的脸部模型的某脸部部分直接实施虚拟整形手术的模拟；以及 社交网络服务单元，配置成允许所述用户在SNS上与人共享所述模拟的结果，或者将所述用户连接至要咨询的专家。2.如权利要求1所述的虚拟整形手术SNS服务装置， 其中所述3D脸部模型生成单元配置成接收来自所述便携式相机的所述用户脸部图像，通过分析所述用户的一系列脸部图像来生成3D点云，并且生成3D脸部网格和皮肤纹理图。3.如权利要求1所述的虚拟整形手术SNS服务装置， 其中所述3D脸部模型生成单元配置成通过将可以逐部分地修正的3D脸部标准模型与所述3D脸部网格匹配，以生成可以逐部分地修正的所述3D脸部模型。4.如权利要求1所述的虚拟整形手术SNS服务装置， 其中所述社交网络服务单元配置成指定某人或者某人群作为用户3D脸部数据库中存储的个人的3D脸部模型的开放范围。5.如权利要求1所述的虚拟整形手术SNS服务装置， 其中所述虚拟整形手术模拟单元配置成通过使用向所述用户开放的3D脸部模型信息，或者通过使用由系统提供的模板，提供修正所述用户的3D脸部模型的某部分的模拟。6.如权利要求1所述的虚拟整形手术SNS服务装置， 其中虚拟整形手术是针对所述虚拟整形手术模拟单元内单独的脸部部分执行的，并且此时，自动修改修正部分的边界以适应所述用户的所述脸部模型。7.一种使用虚拟整形手术SNS服务装置提供虚拟整形手术服务的方法，所述方法包括: 通过使用来自便携式相机的图像生成3D脸部模型； 存储所述生成的3D脸部模型； 设置用户的3D脸部模型的开放范围，使得所述3D脸部模型可与整形外科的专家或者社交网络服务上的人们共享； 通过所述共享的3D脸部模型向整形手术的专家就虚拟整形手术咨询； 实施虚拟整形手术，其中用户采用其他人的共享的3D脸部模型的相应部分或者基本上由所述装置提供的3D脸部模型的相应部分替换所述用户的某部分；以及在所述社交网络服务上与人们共享所述虚拟整形手术的结果。8.如权利要求7所述的方法， 其中所述通过使用来自所述便携式相机的图像生成所述3D脸部模型的过程包括: 接收多个移动的图片或者连续的图像； 通过分析所述多个图像之间的相互关系生成3D点云； 生成3D脸部网格； 通过将可逐部分修改的3D脸部标准模型与所述3D脸部网格匹配，生成可逐部分修改的3D脸部模型；以及 生成用于表达所述用户的脸部皮肤的脸部皮肤纹理图。9.如权利要求7所述的方法， 其中设置所述用户的所述3D脸部模型的所述开放范围使得所述3D脸部模型可与专家或者所述社会网络上的人们共享的过程包括: 设置所述用户所述的3D脸部模型与朋友或者朋友群共享，或者与所述用户就整形手术要咨询的专家或者专家群共享。10.如权利要求7所述的方法， 其中通过使用所述共享的3D脸部模型向整形手术的专家就虚拟整形手术咨询的过程包括所述专家通过采用所述用户的所述共享的3D脸部模型实施虚拟整形手术模拟，并且将表现整形手术后他的/她的外貌的结果提供给所述用户的过程。11.如权利要求7所述的方法， 其中，在实施虚拟整形手术的过程中用户采用其他人的所述共享的3D脸部模型的相应部分，或者基本上由所述装置提供的所述3D脸部模型的相应部分替换用户某部分，该过程包括: 检查是否存在其他人的任何共享的3D脸部模型； 如果存在有其他人的任何共享的3D脸部模型，实施将所述用户的脸的某部分采用那个人的相应脸部部分替换的模拟；并且 如果没有发现其他人的3D脸部模型，通过使用系统提供的用于各脸部部分的模板，实施替换所述用户的某部分的模拟。12.如权利要求7所述的方法， 其中，在实施虚拟整形手术的过程中用户采用其他人的所述共享的3D脸部模型的相应部分，或者基本上由所述装置提供的所述3D脸部模型的相应部分替换所述用户的某部分，该过程包括: 选择要经受虚拟整形手术的所述用户的主题脸部部分以及要替换所述主题脸部部分的目标脸部部分； 将形成所述主题脸部部分和所述目标脸部部分的网格的三维顶点的坐标值标准化； 将所述目标脸部部分的网格关于所述主题脸部部分的标记对齐； 匹配所述主题脸部部分和所述目标脸部部分之间的边界线；以及 对所述边界线实施表面弯曲过程。
【专利摘要】本发明公开一种用于提供虚拟整形手术社交网络服务的方法和装置，该装置包括：三维(3D)脸部模型生成单元，配置成通过来自便携式相机的图像产生3D脸部模型；3D脸部模型数据库管理单元，配置成存储和管理3D脸部模型以及这些3D脸部模型的虚拟整形手术的结果，并且在SNS(社交网络服务)上将虚拟整形手术的结果与人共享；虚拟整形手术模拟单元，配置为允许用户通过使用朋友的共享的脸部模型的特定脸部部分，或者通过使用已知的艺人的特定脸部的部分，直接实施虚拟的整形手术；以及社交网络服务单元，配置成允许用户在SNS上与人共享模拟的结果，或者连接至用户想要咨询的专家。
【IPC分类】G06T17/00, G06Q50/22
【公开号】CN104952106
【申请号】CN201410589202
【发明人】金钟旻, 李尚纪, 金万洙, 安敏虎
【申请人】特里库比奇有限公司
【公开日】2015年9月30日
【申请日】2014年10月28日
【公告号】US20150272691