眼镜虚拟试戴方法、装置及系统的制作方法
【专利摘要】本发明涉及图像处理【技术领域】，具体涉及一种眼镜虚拟试戴方法、装置及系统。本发明实施例提供的方法，根据获得的人脸图像建立三维坐标系，将选取的预建立的三维眼镜模型定位于预建立的三维人脸模型上，再将三维人脸模型定位于三维坐标系中的人脸图像模型上，并缩放三维人脸模型使得三维人脸模型与三维坐标系中的人脸图像模型相匹配，显示三维眼镜模型及人脸图像模型。通过本发明实施例提供的眼镜虚拟试戴方法、装置及系统，使得用户不需要实际试戴眼镜就可以很直观且逼真展示出佩戴眼镜后的效果，提高了眼镜试戴效率。此外，也改善了眼镜资源重复可能带来的浪费问题，降低了成本，减少了库存压力。
【专利说明】眼镜虚拟试戴方法、装置及系统
【技术领域】
[0001]本发明涉及图像处理【技术领域】，具体而言，涉及一种眼镜虚拟试戴方法、装置及系统。
【背景技术】
[0002]眼镜通常是近视、斜视、散光、老光、太阳镜、防辐镜、功能镜等眼疾患者及人们在工作生活中，用以进行视力校正或正常用眼的工具。随着人们对美的不断追求，眼镜已经作为一种装饰品被眼疾患者和非眼疾患者使用，由此，如何挑选出合适的眼镜以使得用户佩戴眼镜后更具美感显得尤为重要。
[0003]传统方法是让用户(眼镜试戴者)先后实际试戴多副眼镜，以使用户感受不同眼镜带来的不同美感。目前提出了一种新的方法，就是拍摄用户佩戴每一副眼镜后的照片，然后将多张照片在同一显示器上并列显示，以更直观地对比佩戴不同眼镜带来的不同美感，进而选出更合适的眼镜。但是，用户试戴多副眼镜、试戴后拍摄照片，给用户和工作人员都带来较大的工作量，同时消耗大量时间。
【发明内容】
[0004]本发明实施例的目的在于提供一种眼镜虚拟试戴方法、装置及系统，以降低用户挑选眼镜的工作量和时间消耗，节省成本，减少存货压力，让有限的资源得到更好的利用。
[0005]本发明提供的一种眼镜虚拟试戴方法，应用于眼镜虚拟试戴系统，所述眼镜虚拟试戴系统包括眼镜虚拟试戴装置、三维眼镜模型数据库，所述三维眼镜模型数据库中存储有多个预建立的三维眼镜模型，所述方法包括:
[0006]所述眼镜虚拟试戴装置获得包含有用户整个脸部的人脸图像；
[0007]从所述人脸图像中提取所述用户整个脸部的面部特征，根据提取的所述整个脸部的面部特征，以所述整个脸部的中心点为中心，建立人脸的三维坐标系，得到人脸图像模型；
[0008]将从所述三维眼镜模型数据库中预选取的三维眼镜模型定位于预建立的三维人脸模型上；
[0009]通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的所述人脸图像模型上；
[0010]缩放所述已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与所述三维坐标系中的所述人脸图像模型相匹配；
[0011]通过隐藏所述缩放后的三维人脸模型，将所述三维坐标系中的人脸图像模型和所述三维眼镜模型进行显示。
[0012]结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述眼镜虚拟试戴系统还包括摄像头和显示器，所述眼镜虚拟试戴装置获得包含有用户整个脸部的人脸图像，包括:
[0013]所述眼镜虚拟试戴装置接收所述摄像头摄取的包含有用户整个脸部的人脸图像，所述摄像头摄取的包含有用户整个脸部的人脸图像为在所述显示器中的大小不低于80像素的人脸图像。
[0014]作为一种实施方式，所述摄像头为异地摄像头，所述摄像头将获取的用户整个脸部的人脸图像远程发送给所述眼镜虚拟试戴装置。
[0015]结合第一方面的第一种可能方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述摄像头摄取的包含有用户整个脸部的人脸图像在所述显示器中的大小不低于300像素。
[0016]结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述将行所述三维眼镜模型数据库中预选取的三维眼镜模型定位于预建立的三维人脸模型上，包括:
[0017]所述眼镜虚拟试戴装置将所述三维眼镜模型中两个镜框的中心的连线的中点与所述三维人脸模型中两个瞳孔的连线的中点对齐；
[0018]将所述三维眼镜模型中两个镜框的中心的连线竖直下移3?6个像素差。
[0019]结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的所述人脸图像模型上，包括:
[0020]通过三维注册获取所述已佩戴有所述三维眼镜模型的三维人脸模型在三维坐标系中的坐标点，使得所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线与所述三维坐标系中的人脸图像模型的两个瞳孔的连线对齐，且所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线的中点与所述三维坐标系中的人脸图像模型的两个瞳孔的连线中点对齐。
[0021]第二方面，本发明实施例还提供了一种眼镜虚拟试戴装置，应用于眼镜虚拟试戴系统，所述眼镜虚拟试戴系统包括三维眼镜模型数据库，所述三维眼镜模型数据库中存储有多个预建立的三维眼镜模型，所述装置包括:
[0022]人脸图像获得单元，用于获得包含有用户整个脸部的人脸图像；
[0023]三维坐标系建立单元，用于从所述人脸图像中提取所述用户整个脸部的面部特征，根据提取的所述用户整个脸部的面部特征，以所述用户整个脸部的中心点为中心，建立人脸的三维坐标系；
[0024]三维眼镜模型定位单元，用于将从三维眼镜模型数据库中预选取的三维眼镜模型定位于预建立的三维人脸模型上；
[0025]三维人脸模型定位单元，用于通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上；缩放所述已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与所述人脸图像模型相匹配；
[0026]显示单元，用于通过隐藏所述缩放后的三维人脸模型，将所述人脸图像模型和所述三维眼镜模型进行显示。
[0027]结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述眼镜虚拟试戴系统还包括摄像头和显示器，所述人脸图像获得单元具体用于:
[0028]接收所述摄像头摄取的包含有用户整个脸部的人脸图像，所述摄像头摄取的包含有用户整个脸部的人脸图像为在所述显示器中的大小不低于80像素的人脸图像。
[0029]结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述三维眼镜模型定位单元具体用于:
[0030]将所述三维眼镜模型中两个镜框的中心的连线的中点与所述三维人脸模型中两个瞳孔的连线的中点对齐；
[0031]将所述三维眼镜模型中两个镜框的中心的连线竖直下移3?6个像素差。
[0032]结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述三维人脸模型定位单元通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上，包括:
[0033]通过三维注册获取所述已佩戴有所述三维眼镜模型的三维人脸模型在三维坐标系中的坐标点，使得所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线与所述三维坐标系中的人脸图像模型的两个瞳孔的连线对齐，且所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线的中点与所述三维坐标系中的人脸图像模型的两个瞳孔的连线中点对齐。
[0034]第三方面，本发明实施例还提供了一种眼镜虚拟试戴系统，包括摄像头、显示器、眼镜虚拟试戴装置、三维眼镜模型数据库，其中，
[0035]所述摄像头用于摄取包含有用户整个脸部的人脸图像，传输给所述眼镜虚拟试戴装置；
[0036]所述三维眼镜模型数据库用于存储多个预建立的三维眼镜模型；
[0037]所述眼镜虚拟试戴装置用于接收所述包含有用户整个脸部的人脸图像，从所述人脸图像中提取所述用户整个脸部的面部特征，根据提取的所述用户整个脸部的面部特征，以所述用户整个脸部的中心点为中心，建立人脸的三维坐标系，得到人脸图像模型；将预选取的三维眼镜模型定位于预建立的一个三维人脸模型上；通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的所述人脸图像模型上；缩放所述已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与所述人脸图像模型相匹配；通过隐藏所述缩放后的三维人脸模型，将所述人脸图像模型和所述三维眼镜模型进行显示；
[0038]所述显示器用于显示三维坐标系中，隐藏所述缩放后的三维人脸模型后的所述人脸图像模型和所述三维眼镜模型。
[0039]通过本发明实施例提供的眼镜虚拟试戴方法、装置及系统，根据摄取的真实人脸图像建立人脸的三维坐标系，将佩戴三维眼镜模型后的三维人脸模型与三维坐标系中的人脸相对齐，再隐藏三维人脸模型仅显示人脸图像模型和三维眼镜模型，使得眼镜“真实的”戴在人脸上，实现眼镜虚拟试戴，即不需要用户实际试戴眼镜就可以很直观且逼真展示出佩戴眼镜后的效果，省去了用户一副一副的试戴不同眼镜带来的麻烦和时间消耗，也避免了在眼镜试戴过程中因试戴大量不同的眼镜而造成的不舒适感。而且，用户也可以不用到达眼镜店进行试戴，只需在远程将摄取的人脸图像传输至眼镜虚拟试戴装置即可，为用户提供了极大的便利。
[0040]另一方面，通过眼镜虚拟试戴，改善了眼镜资源重复可能带来的浪费问题。商家可以通过眼镜虚拟试戴系统就不需要将所有的眼镜都进回店内，每款眼镜只需要进货其中的一部样品即可进行有目标的定制销售，既节省了用于存放更多眼镜的空间成本，减少了库存压力，同时又减少了滞销产品带来的资源浪费。
【专利附图】
【附图说明】
[0041]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042]图1示出了本发明实施例提供的眼镜虚拟试戴系统的组成结构；
[0043]图2示出了本发明实施例提供的眼镜虚拟试戴方法的流程；
[0044]图3示出了本发明实施例提供的一种眼镜虚拟试戴装置的组成结构；
[0045]图4示出了本发明实施例提供的又一种眼镜虚拟试戴装置的组成结构；
[0046]图5为摄取的人脸图像示意图；
[0047]图6为三维人脸模型定位于三维坐标系中的人脸上的示意图；
[0048]图7为最终显示的试戴效果图。
【具体实施方式】
[0049]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]眼镜不仅作为一种校正视力的工具，还作为一种装饰品，被越来越多的人的使用，很多未患有眼疾的年轻人佩戴眼镜或嵌有透明塑料片的镜架来让自己更漂亮，因此，用户都会特别用心的挑选合适的眼镜。目前，作为一种较好的实现方式，用户通过亲自佩戴多个不同的眼镜，每佩戴一个眼镜就拍摄一张照片，然后将多张照片在电脑上并列显示，以便于用户更直观的对比不同眼镜的佩戴效果。虽然通过这种方式能够让用户挑选出更合适的眼镜，但是工作量较大，用户试戴的眼镜越多，工作人员的工作量就越大，因此眼镜销售店需要增添更多的工作人员，造成人力成本的大幅增加。对于用户而言，也消耗了大量的时间，且在一段时间内试戴大量的眼镜可能会给用户造成不舒适感。基于上述现状，本申请发明人经过长时间研究，最终提出了本发明实施例提供的眼镜虚拟试戴方法、装置及系统。
[0051]图1示出了本发明实施例提供的眼镜虚拟试戴系统的组成结构。参阅图1，本发明实施例提供的眼镜虚拟试戴系统包括摄像头100，显示器200，眼镜虚拟试戴装置300。摄像头100用于摄取人脸图像，所述人脸图像中包含有用户(即眼镜试戴者)的整个面部。眼镜虚拟试戴装置300用于对摄像头100摄取的人脸图像进行图像处理，建立人脸的三维坐标系；将佩戴有三维眼镜模型的三维人脸模型定位于三位坐标系中的人脸图像模型上。显示器200用于对摄像头100摄取的人脸图像和眼镜虚拟试戴装置300的处理结果进行显示，显示眼镜模型和人脸图像模型合成的三维图像，使得三维眼镜模型“真实的”戴在“真实的人脸”上。
[0052]图2示出了本发明实施例提供的眼镜虚拟试戴方法的流程。参阅图2，本发明实施例提供的眼镜虚拟试戴方法，应用于眼镜虚拟试戴系统，所述眼镜虚拟试戴系统包括眼镜虚拟试戴装置，该方法包括:
[0053]步骤SlOl:眼镜虚拟试戴装置获取人脸图像，该人脸图像包含有用户的整个脸部。
[0054]本步骤中，人脸图像可以通过像素较高，例如800万像素以上的摄像头(摄像机)摄取，然后将摄取到的人脸图像传输给眼镜虚拟试戴装置。摄像头在进行人脸图像摄取时，摄像头可以安装于显示器上，即摄像头与显示器位于同一位置。为了进行图像处理，摄像头摄取的人脸图像在显示器上显示时的大小不低于80像素。较佳的，摄像头摄取的人脸图像在显示器上显示时的大小不低于300像素，以便于眼镜虚拟试戴装置对人脸图像进行处理，即用户与摄像头之间的距离保持30-50cm。此外，为了便于后期处理，在进行人脸图像摄取时，用户的视线水平，正对摄像头，即摄取的人脸图像为用户脸部正对摄像头所摄取的人脸图像。摄取的人脸图像如图5所示。
[0055]所述摄像头也可以为异地摄像头，所述摄像头将获取的用户整个脸部的人脸图像远程发送给所述眼镜虚拟试戴装置，即用户可以将预先摄取的人脸图像远程发送给眼镜虚拟试戴装置进行图像处理，使得用户不用到眼镜店进行人脸图像摄取。如果用户在远程实现眼镜虚拟试戴，则需要将存储有三维眼镜模型的三维眼镜模型数据库存储在用户可以访问的服务器中，才能便于用户在远程进行三维眼镜模型选取。
[0056]步骤S102:眼镜虚拟试戴装置接收摄像头传输的人脸图像后，通过Sobel算法进行边缘检测，检查每个像素的领域，量化灰度变化的值从而确定边缘的位置和方向，从而从人脸图像中提取用户整个脸部的面部特征，根据提取的用户整个脸部的面部特征，以用户整个脸部的中心点为中心,建立人脸的三维坐标系,得到人脸图像模型。
[0057]摄像头采集的数字图像可以存储为数组，数组中的每一个元素(像素)的值即是图像点的灰度。将人脸图像中的整个脸部可以用图像坐标系表示，人脸图像中的每个像素的坐标分别是该像素在数组中的列数和行数。将图像坐标系用成像平面坐标系表示，再将平面坐标系转换为摄像机坐标系。通过三维注册，根据摄像机的参数建立摄像机坐标系与世界坐标系的联系，建立人脸的三维坐标系，获得用户整个面部在三维坐标系中的坐标点，显示得到人脸图像模型。从人脸图像中提取用户整个脸部的面部特征，进而根据面部特征建立人脸的三维坐标系为现有技术(人脸识别技术)，此处不做细述。
[0058]步骤S103:将从三维眼镜模型数据库中预选取的三维眼镜模型定位于三维人脸模型上。
[0059]具体实现时，三维眼镜模型数据库中预存储有眼镜店内所有的眼镜的三维眼镜模型。三维眼镜模型通过3Dmax建模得到，每一个三维眼镜模型都是超过6万个面的高清模型。为了便于增加新的三维眼镜模型，可以设置外部资源路径，将三维眼镜模型动态加载于三维眼镜模型数据库。
[0060]三维人脸模型只有一个，针对不同的用户，每试戴一副三维眼镜模型就将三维眼镜模型定位于三维人脸模型上。在将三维眼镜模型定位于三维人脸模型上时，将三维眼镜模型中两个镜框的中心的连线的中点与三维人脸模型中两个瞳孔的连线的中点对齐。三维人脸模型的建立亦为现有技术，此处不做细述。
[0061]实际的，眼镜的镜架通过鼻托安放在鼻梁上，因其自身重力影响会自然下垂2?4mm,即是说镜架的两个镜框的中心的连线与人眼通孔的连线不在一条水平线上。在虚拟试戴时，为了保持试戴效果的真实性，较佳的，在确定三维眼镜模型在三维人脸模型上的水平视线瞳高时，通常把镜架的镜框高度的二分之一再加上2?4mm，即是说，将三维眼镜模型中两个镜框的中心的连线竖直下移3?6个像素差(2?4mm换算为标准的像素差为3?6个像素差)。
[0062]步骤S104:通过三维注册，获取三维人脸模型和三维眼镜模型在三维坐标系中的坐标点，使得已佩戴有三维眼镜模型的三维人脸模型的两个瞳孔的连线与三维坐标系中的人脸的两个瞳孔的连线对齐，且已佩戴有三维眼镜模型的三维人脸模型的两个瞳孔的连线的中点与三维坐标系中的人脸图像模型的两个瞳孔的连线中点对齐，将已佩戴有三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上。当已佩戴有三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上后，显示器中显示的效果是三维人脸模型上佩戴有三维眼镜模型，如图6所示(图中阴影填充部分为三维人脸模型)。三维注册是视觉增强现实技术中的一个重要方面，三维注册可以采用平面标志作为定位基准，较好的采用立体标志物作为定位基准，三维注册为现有技术，此处亦不做细述。
[0063]步骤S105:缩放已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与三维坐标系中的人脸图像模型相匹配。
[0064]为了提高眼镜试戴的真实性，需要缩放(压缩或拉伸)三维眼镜模型或三维人脸模型。具体实现时可以采取三种实施方式。a)以三维人脸模型的大小为标准，将三维眼镜模型根据三维人脸模型的大小进行匹配与缩放；b)以三维眼镜模型的大小为标准，当三维坐标系中的人脸与三维人脸模型的大小相匹配时将三维人脸模型连同三维眼镜模型显示出来；c)根据用户的人脸位置与摄像头的距离，实时计算出当前摄取的人脸图像中面部与三维人脸模型之间的比值，并且将该比值与三维眼镜模型标准大小量相乘，实时得到三维眼镜模型的大小。
[0065]由于第一种方式虽然可以将每个三维眼镜模型匹配到三维人脸模型上并获得较好的显示效果，但是这种方式没有办法真实的反映出三维眼镜模型本身的大小，当其定位在三维坐标系中的人脸上时的大小必将与真实的眼镜试戴效果不一样，或大或小。第三种方式可以具有较真实的效果，但是实现速度相对较慢。
[0066]本实施例中，采用第二种实施方式，预制的三维眼镜模型与真实的眼镜的大小相同，将预先设置好大小的三维眼镜模型定位在三维人脸模型上，再缩放已佩戴有三维眼镜模型的三维人脸模型，使得已佩戴有三维眼镜模型的三维人脸模型与三维坐标系中的人脸图像模型相匹配。
[0067]步骤S106:隐藏缩放后的三维人脸模型，仅显示三维坐标系中的人脸图像模型和三维眼镜模型，即显示人脸图像模型和三维眼镜模型合成的三维图像，使得三维眼镜模型如同“真实的”戴在人脸上，如图7所示。
[0068]为了更多角度的展现佩戴眼镜的效果，进行眼镜虚拟试戴时，用户可以自由转动脸部(在第一次进行人脸图像摄取时用户脸部要正对摄像头，以便于正确建立起三维坐标系)。由于三维眼镜模型在三维坐标系中已拥有注册的坐标点，因此在三维坐标系中的人脸图像模型转动时，三维眼镜模型会随着人脸图像模型同步转动。具体实现时，将三维坐标系中人脸的瞳孔连成一条直线，当人脸图像模型转动时，根据瞳孔直线的距离计算出其与水平直线的夹角，从而确定三维眼镜模型需要转动的角度，以实现与人脸图像模型同步转动。
[0069]通过本发明实施例提供的眼镜虚拟试戴方法，根据摄取的真实人脸图像建立人脸的三维坐标系，将佩戴三维眼镜模型后的三维人脸模型与三维坐标系中的人脸图像模型相对齐，再隐藏三维人脸模型仅显示人脸图像模型和三维眼镜模型合成的三维图像，实现眼镜虚拟试戴，使得三维眼镜模型“真实的”戴在“真实的人脸”上，不需要用户实际试戴眼镜就可以很直观且逼真展示出佩戴眼镜后的效果，省去了用户一副一副的试戴不同眼镜带来的麻烦和时间消耗，也避免了在眼镜试戴过程中因试戴大量不同的眼镜而造成的不舒适感。
[0070]此外，针对传统的眼镜试戴方式，商家需要进货每一个眼镜款式且每一个眼镜款式也要进货几副大小不同的眼镜，因此商家需要较大的空间用以存储眼镜，而且也可能滞销造成库存压力，资源浪费。通过本发明实施例提供的眼镜虚拟试戴方法、装置及系统，三维眼镜数据库中存储有所有眼镜的三维眼镜模型，用户只需要从中选取三维研究模型进行试戴，选中后定制即可，商家不需要将所有的眼镜都进回店内，只需要进货其中的部分样品即可进行有目标的定制销售，既节省了用于存放更多眼镜的空间成本，减少了库存压力，同时又减少了滞销产品带来的资源浪费。
[0071]图3示出了本发明实施例提供的眼镜虚拟试戴装置。参阅图3，本发明实施例提供的眼镜虚拟试戴装置，包括:
[0072]人脸图像获得单元201，用于获得包含有用户整个脸部的人脸图像。摄像头摄取到包含用户整个脸部的人脸图像后传输至人脸图像获得单元201，并在显示器中显示。所述包含有用户整个脸部的人脸图像在显示器中的大小不低于80像素，较佳的，包含有用户整个脸部的人脸图像在显示器中的大小不低于300像素。
[0073]三维坐标系建立单元202，用于从所述人脸图像中提取所述整个脸部的面部特征，根据提取的用户整个脸部的面部特征，以用户整个脸部的中心点为中心，建立人脸的三维坐标系，通过三维注册获得整个脸部在三维坐标系中的坐标点，显示得到人脸图像模型。
[0074]三维眼镜模型定位单元203，用于将预选取的三维眼镜模型定位于三维人脸模型上。三维眼镜模型数据库中预存储有眼镜店内所有的眼镜的三维眼镜模型，三维眼镜模型的大小与实际眼镜的大小一致。三维人脸模型只有一个，针对不同的用户，每试戴一副三维眼镜模型就将三维眼镜模型定位于三维人脸模型上。在将三维眼镜模型定位于三维人脸模型上时,将三维眼镜模型中两个镜框的中心的连线的中点与三维人脸模型中两个瞳孔的连线的中点对齐。
[0075]由于实际中眼镜的镜架通过鼻托安放在鼻梁上，因其自身重力影响会自然下垂2?4_，因此在虚拟试戴时，为了保持试戴效果的真实性，较佳的，在确定三维眼镜模型在三维人脸模型上的水平视线瞳高时，通常将三维眼镜模型中两个镜框的中心的连线竖直下移3?6个像素差。
[0076]三维人脸模型定位单元204，用于通过三维注册，获取三维人脸模型和三维眼镜模型在三维坐标系中的坐标点，使得已佩戴有三维眼镜模型的三维人脸模型的两个瞳孔的连线与三维坐标系中的人脸图像模型的两个瞳孔的连线对齐，且已佩戴有三维眼镜模型的三维人脸模型的两个瞳孔的连线的中点与三维坐标系中的人脸图像模型的两个瞳孔的连线中点对齐，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上，显示器中显示的效果是三维人脸模型上佩戴有三维眼镜模型。
[0077]三维人脸模型定位单元204还用于在已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上后，缩放已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与三维坐标系中的人脸图像模型相匹配。
[0078]显示单元205，用于通过隐藏缩放后的三维人脸模型，将三维坐标系中的人脸图像模型和三维眼镜模型进行显示，即显示人脸图像模型和三维眼镜模型合成的三维图像，使得三维眼镜模型如同“真实的”戴在“真实的人脸”上。
[0079]通过本发明实施例提供的眼镜虚拟试戴装置，实现眼镜虚拟试戴，可以使得三维眼镜模型“真实的”戴在“真实的人脸”上，不需要用户实际试戴眼镜就可以很直观且逼真展示出佩戴眼镜后的效果，省去了用户一副一副的试戴不同眼镜带来的麻烦和时间消耗，极大的方便了用户和眼镜店家工作人员。
[0080]参阅图4，本发明实施例还提供了一种眼镜虚拟试戴装置500，包括:处理器400，存储器401，总线402和通信接口 403，所述处理器400、通信接口 403和存储器401通过总线402连接；
[0081]其中，存储器401用于存储程序404 ;处理器400，用于执行存储器401中的程序404;其中，处理器400通过通信接口 403接收数据流。
[0082]在具体实现中，程序404可以包括程序代码，所述程序代码包括计算机操作指令。在具体实现中，程序404可以包括程序代码，所述程序代码包括计算机操作指令。
[0083]处理器400可能是一个中央处理器CPU，或者是特定集成电路ASIC (Applicat1nSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
[0084]参见附图3，程序404可以包括:
[0085]人脸图像获得单元201，用于获得包含有整个脸部的人脸图像。
[0086]三维坐标系建立单元202，用于从所述人脸图像中提取所述整个脸部的面部特征，根据提取的所述整个脸部的面部特征，以所述整个脸部的中点为中心，建立人脸的三维坐标系。
[0087]三维眼镜模型定位单元203，用于将预选取的三维眼镜模型定位于三维人脸模型上。
[0088]三维人脸模型定位单元204，用于通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸上；缩放所述已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与所述人脸相匹配。
[0089]显示单元205，用于隐藏所述缩放后的三维人脸模型，促使所述人脸和所述三维眼镜模型进行显示。
[0090]本发明实施例所提供的进行数据处理的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0091]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0092]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0093]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0094]显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。软件类发明可有这段话，否则删除。
[0095]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。本领域技术人员基于本发明中的实施例给出的启示，在没有做出创造性劳动的前提下，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种眼镜虚拟试戴方法，其特征在于，应用于眼镜虚拟试戴系统，所述眼镜虚拟试戴系统包括眼镜虚拟试戴装置、三维眼镜模型数据库，所述三维眼镜模型数据库中存储有多个预建立的三维眼镜模型，所述方法包括: 所述眼镜虚拟试戴装置获得包含有用户整个脸部的人脸图像； 从所述人脸图像中提取所述用户整个脸部的面部特征，根据提取的所述整个脸部的面部特征，以所述整个脸部的中心点为中心，建立人脸的三维坐标系，得到人脸图像模型； 将从所述三维眼镜模型数据库中预选取的三维眼镜模型定位于预建立的三维人脸模型上； 通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的所述人脸图像模型上； 缩放所述已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与所述三维坐标系中的所述人脸图像模型相匹配； 通过隐藏所述缩放后的三维人脸模型，将所述三维坐标系中的人脸图像模型和所述三维眼镜模型进行显示。
2.根据权利要求1所述的方法，其特征在于，所述眼镜虚拟试戴系统还包括摄像头和显示器，所述眼镜虚拟试戴装置获得包含有用户整个脸部的人脸图像，包括: 所述眼镜虚拟试戴装置接收所述摄像头摄取的包含有用户整个脸部的人脸图像，所述摄像头摄取的包含有用户整个脸部的人脸图像为在所述显示器中的大小不低于80像素的人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述摄像头摄取的包含有用户整个脸部的人脸图像在所述显示器中的大小不低于300像素。
4.根据权利要求1所述的方法，其特征在于，所述将从所述三维眼镜模型数据库中预选取的三维眼镜模型定位于所述预建立的三维人脸模型上，包括: 所述眼镜虚拟试戴装置将所述三维眼镜模型中两个镜框的中心的连线的中点与所述三维人脸模型中两个瞳孔的连线的中点对齐； 将所述三维眼镜模型中两个镜框的中心的连线竖直下移3?6个像素差。
5.根据权利要求1所述的方法，其特征在于，所述通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的所述人脸图像模型上，包括: 通过三维注册获取所述已佩戴有所述三维眼镜模型的三维人脸模型在三维坐标系中的坐标点，使得所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线与所述三维坐标系中的人脸图像模型的两个瞳孔的连线对齐，且所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线的中点与所述三维坐标系中的人脸图像模型的两个瞳孔的连线中点对齐。
6.一种眼镜虚拟试戴装置，其特征在于，应用于眼镜虚拟试戴系统，所述眼镜虚拟试戴系统包括三维眼镜模型数据库，所述三维眼镜模型数据库中存储有多个预建立的三维眼镜模型，所述装置包括: 人脸图像获得单元，用于获得包含有用户整个脸部的人脸图像； 三维坐标系建立单元，用于从所述人脸图像中提取所述用户整个脸部的面部特征，根据提取的所述用户整个脸部的面部特征，以所述用户整个脸部的中心点为中心，建立人脸的三维坐标系； 三维眼镜模型定位单元，用于将从三维眼镜模型数据库中预选取的三维眼镜模型定位于预建立的三维人脸模型上； 三维人脸模型定位单元，用于通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上；缩放所述已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与所述人脸图像模型相匹配； 显示单元，用于通过隐藏所述缩放后的三维人脸模型，将所述人脸图像模型和所述三维眼镜模型进行显示。
7.根据权利要求6所述的装置，其特征在于，所述眼镜虚拟试戴系统还包括摄像头和显示器，所述人脸图像获得单元具体用于: 接收所述摄像头摄取的包含有用户整个脸部的人脸图像，所述摄像头摄取的包含有用户整个脸部的人脸图像为在所述显示器中的大小不低于80像素的人脸图像。
8.根据权利要求6所述的装置，其特征在于，所述三维眼镜模型定位单元具体用于: 将所述三维眼镜模型中两个镜框的中心的连线的中点与所述三维人脸模型中两个瞳孔的连线的中点对齐； 将所述三维眼镜模型中两个镜框的中心的连线竖直下移3?6个像素差。
9.根据权利要求6所述的装置，其特征在于，所述三维人脸模型定位单元通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的人脸图像模型上，包括: 通过三维注册获取所述已佩戴有所述三维眼镜模型的三维人脸模型在三维坐标系中的坐标点，使得所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线与所述三维坐标系中的人脸图像模型的两个瞳孔的连线对齐，且所述已佩戴有所述三维眼镜模型的三维人脸模型的两个瞳孔的连线的中点与所述三维坐标系中的人脸图像模型的两个瞳孔的连线中点对齐。
10.一种眼镜虚拟试戴系统，其特征在于，包括摄像头、显示器、眼镜虚拟试戴装置、三维眼镜模型数据库，其中， 所述摄像头用于摄取包含有用户整个脸部的人脸图像，传输给所述眼镜虚拟试戴装置； 所述三维眼镜模型数据库用于存储多个预建立的三维眼镜模型； 所述眼镜虚拟试戴装置用于接收所述包含有用户整个脸部的人脸图像，从所述人脸图像中提取所述用户整个脸部的面部特征，根据提取的所述用户整个脸部的面部特征，以所述用户整个脸部的中心点为中心，建立人脸的三维坐标系，得到人脸图像模型；将预选取的三维眼镜模型定位于预建立的一个三维人脸模型上；通过三维注册，将已佩戴有所述三维眼镜模型的三维人脸模型定位于所述三维坐标系中的所述人脸图像模型上；缩放所述已佩戴有三维眼镜模型的三维人脸模型，使得缩放后的三维人脸模型与所述人脸图像模型相匹配；通过隐藏所述缩放后的三维人脸模型，将所述人脸图像模型和所述三维眼镜模型进行显示； 所述显示器用于显示三维坐标系中，隐藏所述缩放后的三维人脸模型后的所述人脸图像模型和所述三维眼镜模型。
【文档编号】G06T17/00GK104408764SQ201410624844
【公开日】2015年3月11日 申请日期:2014年11月7日 优先权日:2014年11月7日
【发明者】邵林喜 申请人:成都好视界眼镜有限公司