用于获取一副眼镜的图像的设备和方法与流程

1.本发明涉及针对光学器件的增强现实模拟的领域，并且更具体地涉及多副眼镜的虚拟试镜的领域。


背景技术：

2.在虚拟试镜的领域中，已知使用增强现实来允许客户远程试戴先前以3d建模的若干副眼镜。
3.然而，为了使这种类型的试镜成为可能，针对每副眼镜都需要事先进行3d建模工作。存在不同的建模技术：手动、通过修改cad模型、通过图像获取、通过3d扫描等
…
，但使用这些技术通常需要使用许多资源(工具、时间
…
)。例如，在通过图像获取进行3d建模的情况下，有必要的是，一方面，在特定条件(亮度、该副眼镜的定位等)下、在若干角度(从前面看的该副眼镜的图像，镜腿的图像)下捕获多副眼镜的图像，并且另一方面，通过复杂建模工具处理这些图像需要该领域合格人员的干预。
4.关于图像捕获阶段，已经存在允许捕获物体图像的若干便携式和低成本设备(例如便携式照相亭)。虽然这种类型的设备以其易于使用而出名，但它不适用于一副眼镜型产品(无法进行精确定位
…
)。
5.关于图像处理阶段，对复杂建模工具的需要以及对该领域合格人员的干预的需要会导致配镜师/眼镜专业人员的明显成本。
6.此外，一副眼镜的3d建模是需要大量时间的过程，在新型号的多副眼镜到达商店与它们可用于其虚拟试镜之间存在明显的时间滞后。
7.还已知设备或方法，诸如美国专利申请us2014/043332、us2016/327814和us2015/055085中描述的那些方法。然而，这些设备或方法不令人满意。


技术实现要素：

8.因此，本发明的目的是克服上述缺点并且提出用于获取多副眼镜的图像的设备和方法，其成本非常低，使用简单且快速，从而允许可用于由在该领域不合格的人进行增强现实试镜的图像的获取。
9.根据本发明，因此提供了一种用于获取一副眼镜的图像的设备，该设备包括由具有已知形状和尺寸的轮廓限定的平坦表面，所述平坦表面的显著之处在于它在其周边上至少包括：
[0010]-矫直装置，
[0011]-大小参考，
[0012]
在中心中：
[0013]-具有均匀非反射颜色的获取区域，所述获取区域包括旨在支撑所述副眼镜的镜腿的至少两个开口，以及表示佩戴者的瞳孔的至少一个位置标记，以便促进所述获取区域中的眼镜镜片的高度定位。
[0014]“矫直装置”是用于获得物体的完美正面图像的装置，有两种类型，在图像捕获的上游使用的那些：例如用于定位图像获取装置的支撑件；在图像捕获的下游使用的那些：用于处理图像并移除透视效果的标记。
[0015]“大小参考”是具有已知大小的装置，该已知大小允许找到图像的物体的大小比例。
[0016]“佩戴者”是将该副眼镜戴在其脸上的个人。
[0017]
优选地，平坦表面具有矩形形状的轮廓并且具有比色图案。
[0018]
有利地，矫直装置和大小参考是标记已知尺寸的所述轮廓的黑框。
[0019]
优选地，比色目标定位在黑框与获取区域之间。
[0020]
优选地，开口包括颜色调整装置，其颜色与获取区域的颜色相同，从而允许所述开口适应不同类型的眼镜镜腿。
[0021]“调整装置”是指用于将开口的周边限于足以使该副眼镜的镜腿通过的唯一空间的所有装置。
[0022]
甚至更优选地，调整装置包括至少两个u形覆盖件、矩形形状的覆盖件，该u形覆盖件的开口的宽度可根据眼镜的镜腿的宽度而变化，并且这些覆盖件旨在设置在开口的前部处以便限制它们的表面。
[0023]
有利地，获取区域包括编码识别装置，其允许获得关于所述设备的信息。
[0024]
本发明还涉及用于使用如前所述的设备来获取一副眼镜的图像的方法，其显著之处在于它至少包括以下步骤：
[0025]
a)专业人员终端上的识别阶段：
[0026]
a1)在专业人员终端的输出外围设备上显示获取网页，
[0027]
a2)专业人员的识别，
[0028]
b)获取阶段：
[0029]
b1)在设备(1)的获取区域上放置一副眼镜，
[0030]
b2)使用专业人员终端的图像获取外围设备来捕获支撑该副眼镜的设备(1)的平坦表面的图像，
[0031]
b3)获取编码识别装置，
[0032]
c)图像处理阶段，
[0033]
c1)提取该副眼镜的镜架，
[0034]
c2)将该副眼镜的裁剪图像和该副眼镜的特征发送到虚拟试镜服务器，
[0035]
c3)由服务器从裁剪图像生成眼镜的3d模型，
[0036]
c4)由专业人员终端生成虚拟试镜网页，
[0037]
d)试镜阶段：
[0038]
d1)将虚拟试镜网页发送到客户终端，
[0039]
d2)使用客户终端的图像获取外围设备来捕获客户的面部的图像或从照片库加载客户的面部的图像，
[0040]
d3)将眼镜的3d模型嵌入在客户的面部的图像上以形成试镜图像，
[0041]“编码识别装置”是特定于该副眼镜的代码或视觉装置。(例如qr码)
[0042]“一副眼镜的裁剪图像”是该副眼镜的图像，从其完全移除图像的背景，仅保留该
副眼镜部分。
[0043]
优选地，在步骤a2之后，存在步骤a3：在服务器上存在的目录中搜索该副眼镜的3d模型，并且：
[0044]-如果目录中不存在该副眼镜：在步骤c3之后，存在步骤c3'：将该副眼镜的3d模型保存在服务器上的目录中，
[0045]-如果在目录中存在该副眼镜：不执行图像获取阶段和处理阶段并且从目录中的眼镜的3d模型执行试镜阶段。
[0046]
甚至更优选地，步骤c1包括以下子步骤：
[0047]
c11)矫直支撑该副眼镜的设备(1)的平坦表面的图像，
[0048]
c111)检测矫直装置，
[0049]
c112)透视校正，
[0050]
c113)提取包含该副眼镜的图像的区域，
[0051]
c12)裁剪该副眼镜的镜架，
[0052]
c121)移除彩色背景，
[0053]
c122)将分辨率标准化。
附图说明
[0054]
在下文描述了其他优点和特征。
[0055]
[图1]是根据本发明的设备的前视图。
[0056]
[图2]是根据本发明的设备和图像获取装置的概图。
[0057]
[图3]是根据本发明的方法的流程图。
[0058]
[图4]是根据本发明的设备的开口的具有2个自由度的2覆盖件系统类型的调整装置的示意图。
[0059]
[图5]是根据本发明的设备的开口的具有1个自由度的4覆盖件系统类型的调整装置的示意图。
[0060]
[图6]是根据本发明的设备的开口的3覆盖件系统类型的调整装置的示意图。
具体实施方式
[0061]
根据图1至图6，因此提供了用于获取一副眼镜的图像的设备1，该设备包括由具有已知形状和尺寸的轮廓2限定的平坦表面，所述平坦表面的显著之处在于它在其周边上至少包括：
[0062]-矫直装置3，
[0063]-大小参考4，以及
[0064]
在中心中：
[0065]-具有均匀非反射颜色的获取区域6，所述获取区域6包括旨在支撑所述副眼镜的镜腿的至少两个开口7、7'，以及表示佩戴者的瞳孔的至少一个位置标记8，以便促进所述获取区域6中的眼镜镜片的高度定位。
[0066]
无论佩戴者是谁，当佩戴眼镜时，他们的瞳孔在眼镜镜片处大致相同的高度。可以通过称为“视线”的线来体现该高度。
[0067]
根据该副眼镜的颜色选择获取区域6的颜色，目的是该副眼镜的颜色从获取区域6的背景颜色尽可能地突出。有利地，获取区域6的颜色是抗反射(哑光)背景颜色。在获取区域6的颜色方面的这些选择将促进裁剪。优选地，平坦表面具有矩形形状的轮廓2并且具有比色图案5。
[0068]
该平坦表面优选具有a4尺寸以便于运输，其可被设置有高度为10cm至15cm的支脚，以允许通过为该副眼镜的镜腿预留足够空间将其保持在水平位置。
[0069]
有利地，矫直装置3和大小参考4是标记已知尺寸的所述轮廓2的黑框。黑框具有已知尺寸(长度和宽度)的事实使得容易矫直未从正面正确拍摄的图像。事实上，当正面图像没有被正确拍摄时，在图像上测量的框架尺寸不再相同。然后可以扭曲图像以获得具有其初始尺寸的框架。因此校正了图像的若干参数(取向、透视、
…
)，因此允许获得设备1的完美前视图。若干其他装置可用于矫直目的，在某些情况下，图像获取装置可安装在特定支撑件上，该支撑件将允许调整其相对于平坦表面的定位并且控制视角。此外，该黑框还起到大小4或比例参考的作用，因为其真实尺寸是已知的。可使用其他大小4参考(刻度尺、棋盘格
…
)。最后，通过用黑色标记平坦表面的轮廓2，该框架完美地界定获取支撑件6并且促进图像的裁剪。
[0070]
优选地，比色图案5定位在黑框与获取区域6之间。它由图像获取装置捕获并且用作参考以校正在实际的物体颜色与图像中的物体颜色之间观察到的任何颜色偏差。所观察到的这些颜色偏差可具体地与照片捕获期间的照明相关。
[0071]
优选地，开口7、7'包括调整装置9、9a、9b、9c、9d、9e、9f、9g、9h、9i，其颜色与获取区域6的颜色相同，从而允许所述开口7、7'适应不同类型的眼镜镜腿。市场上的多副不同眼镜具有不同形状和厚度的镜腿，其可在镜架顶部处、在镜架高度的1/3-2/3处或在中间接合。为了能够支撑这些不同种类的镜腿，开口7、7'被设计有相当大的周长，针对矩形开口7、7'的周长约为30mm
×
30mm。这些开口7、7'的巨大大小可能在裁剪步骤期间导致困难，这就是使用其颜色与获取表面6的颜色相同的调整装置9、9a、9b、9c、9d、9e、9f、9g、9h、9i的原因。
[0072]
这些调整装置9、9a、9b、9c、9d、9e、9f、9g、9h、9i将开口7、7'仅限于足以使该副眼镜的镜腿通过的空间。甚至更优选地，调整装置9、9a、9b、9c、9d、9e、9f、9g、9h、9i包括：至少两个u形覆盖件9g、9h，其开口的宽度可取决于眼镜的镜腿的宽度而变化；以及覆盖件9i，其呈矩形的形状，并且旨在设置在开口7、7'的前部处以便限制它们的表面。这些覆盖件9g、9h的狭槽或开口可具有3种不同宽度(4mm、7mm或8mm)以便适应市场上的所有镜架。u形覆盖件9g、9h限制开口7、7'的高度和宽度，根据其形态，它们具有2个自由度。矩形覆盖件9i仅限制高度并且具有1个自由度。可考虑其颜色与获取区域6的颜色相同的其他调整装置9、9a、9b、9c、9d、9e、9f、9g、9h、9i，例如：
[0073]-纬纱：两根纬纱垂直叠加(也就是说，框架与另一个框架以90
°
取向)，
[0074]-松散材料：具有沙或凝胶类型，其中镜腿可能下沉，
[0075]-具有钮扣眼或星型狭槽的织物，
[0076]-具有2个自由度的覆盖件系统9、9a：每个开口7、7'可由两个覆盖件9、9a隐藏，第一l形9a和第二l形9b在顺时针方向上以90
°
翻转，
[0077]-4覆盖件系统9b、9c、9d、9e、9f，其具有1个自由度：呈齿9c、9d的形状的2个覆盖件
和呈棘轮9e、9f的形状的2个覆盖件，互补形状的各种覆盖件9b、9c、9d、9e、9f被定位成镜面状并且2乘2叠加，其余开口将具有菱形形状。
[0078]
有利地，获取区域6包括编码识别装置10，其允许获得关于所述设备1的信息。例如，该识别装置可以是qr码。例如，它允许知道设备1的尺寸。
[0079]
本发明还涉及用于使用如前所述的设备1来获取一副眼镜的图像的方法100，其显著之处在于它至少包括以下步骤：
[0080]
a)专业人员终端a1上的识别阶段p1：
[0081]
a1)在专业人员终端a1的输出外围设备上显示获取网页110，
[0082]
a2)专业人员的识别120，
[0083]
b)获取阶段p2：
[0084]
b1)在设备1的获取区域6上放置一副眼镜130，
[0085]
b2)使用专业人员终端a1的图像获取外围设备来捕获支撑该副眼镜的设备1的平坦表面的图像140，
[0086]
b3)获取编码识别装置10，150，
[0087]
c)图像处理阶段p3，
[0088]
c1)提取该副眼镜的镜架160，
[0089]
c2)将该副眼镜的裁剪图像和该副眼镜的特征发送到虚拟试镜服务器170，
[0090]
c3)由服务器从裁剪图像生成眼镜的3d模型180，
[0091]
c4)由专业人员终端al生成虚拟试镜网页190，
[0092]
d)试镜阶段p4：
[0093]
d1)将虚拟试镜网页发送到客户终端200，
[0094]
d2)使用客户终端的图像获取外围设备来捕获客户的面部的图像或从照片库加载客户的面部的图像210，
[0095]
d3)将眼镜的3d模型嵌入在客户的面部的图像上以形成试镜图像220。
[0096]
优选地，在cl，160和c2，170之间存在步骤c1'：
[0097]
提取质量的视觉验证。在该步骤期间，专业人员检查镜头、是否存在寄生反射、裁剪质量
…
还可以显示叠加在面部上的该副眼镜并且手动修改镜架的楔入(主要是高度)，而且可以手动修饰色度(饱和度等)。
[0098]
优选地，在步骤a2 120之后，存在步骤a3：在服务器上存在的目录中搜索该副眼镜的3d模型，并且：
[0099]-如果目录中不存在该副眼镜：在步骤c3 180之后，存在步骤c3'：将该副眼镜的3d模型保存在服务器上的目录中，
[0100]-如果在目录中存在该副眼镜：不执行图像获取p1和处理p2阶段并且根据目录中的眼镜的3d模型执行试镜阶段p4。
[0101]
专业人员终端a1和客户终端可以是计算机、平板计算机、或移动电话。可以认为其正在通过互联网进行通信。
[0102]
甚至更优选地，步骤c1 160包括以下子步骤：
[0103]
c11)矫直支撑该副眼镜的设备(1)的平坦表面的图像161，
[0104]
c111)检测矫直装置161a，
[0105]
c112)透视校正161b，
[0106]
c113)提取包含该副眼镜的图像的区域161c，
[0107]
c12)裁剪该副眼镜的镜架162，
[0108]
c121)移除彩色背景162a，
[0109]
c122)将分辨率标准化162b。
[0110]
整体矫直过程161如下：检测捕获图像上的黑框，扭曲图像以获得其尺寸与支撑件的黑框的那些尺寸相同的黑框，在黑框处修剪以获得已知尺寸的图像(具有框架尺寸的图像)，修剪感兴趣区域(感兴趣区域的公制大小是固定的并且取决于用于3d模型的网格)。用于该步骤的处理操作如下：形态过滤、自适应阈值化、轮廓检测、基于设备1的约束的轮廓选择、单应性。对于裁剪162，整个过程如下：从先前步骤中获得的图像，提取背景并且生成透明平面，在对分辨率的约束下重新设置图像的大小以获得最终纹理。用于提取的算法基于hsv颜色空间中的距离测量。取决于距离，在边界处通过抗锯齿斜坡的管理来应用阈值化。其他算法是潜在可用的：阈值化、分水岭、漫水填充、直方图反向投影、抓取切割、轮廓检测
…
[0111]
优选地，在步骤c12，162之后，存在自动校正步骤c13，其允许校正与捕获步骤b2，140相关的错误(所捕获的镜架不是水平的
…
)。在该步骤期间，裁剪的镜架可进行轻微旋转(使得该副眼镜良好地沿水平平面定位)或者水平居中。
[0112]
有利地，步骤c1，160由人工智能算法执行。对于某些类型的多副眼镜、一副太阳镜或具有隐形镜架的多副眼镜，裁剪步骤160可能被证明是非常困难的。因此可以想象，该步骤160由在多副眼镜的若干模型的目录上训练的人工智能算法执行。算法将因此越来越有效。在这种情况下，裁剪将由服务器执行并且不由专业人员终端a1执行。
[0113]
方法100还可提供提取眼镜镜片的步骤。该步骤界定眼镜镜片在一副眼镜上占据的区域，目的是在该区域处应用扭曲以便模拟眼镜镜片将具有的效果。事实上，取决于眼科医生所规定的矫正，眼镜镜片使其放置区域发生扭曲。因此，试镜的渲染将甚至更加逼真。本发明最后涉及用于获取图像的系统，其显著之处在于它至少包括：
[0114]-如上所述的图像获取设备1，
[0115]-与专业人员终端a1通信的客户终端，包括至少一个输入和输出外围设备，其至少允许实现如上所述的方法100的试镜阶段p4，
[0116]-与所述客户终端和服务器通信的专业人员终端a1，包括至少一个输入和输出外围设备，其允许至少实现如前所述的方法100的识别阶段p1、获取阶段p2、图像处理阶段p3的步骤c1、c2和c4，160、170、180，
[0117]-与专业人员终端a1通信的虚拟试镜服务器，所述服务器被设计为至少实现如前所述的方法100的图像处理阶段p3的步骤c3 180。
[0118]
专业人员终端a1和客户终端可以是计算机、平板计算机、或移动电话。可以认为系统的各个实体之间的通信通过互联网来建立。
[0119]
图像获取方法100与先前描述的图像获取设备1一起使用。然而，该方法可与本领域技术人员已知的任何类型的支撑件一起使用。
[0120]
根据本发明的用于获取多副眼镜的图像的设备1和方法100在眼镜的虚拟试镜中找到了特定应用。然而，显而易见，用于获取多副眼镜的图像的设备1和方法100可适于并且
用于其他类型的装备的图像获取。
[0121]
最后，不言而喻，刚描述的根据本发明的用于获取多副眼镜的图像的设备1和方法100的示例仅是特定说明，绝不是对本发明的限制。