捕获和显示外观的装置、系统和方法
【专利说明】捕获和显示外观的装置、系统和方法 相关申请的交叉引用
[0001] 本申请要求于2013年3月15日提出的美国申请No. 13/843,001以及于2012年 12月18日提出的美国临时申请No. 61/738, 957的优先权。以上列出的申请的全部公开内 容以引用的方式被并入本文。 背景 1.技术领域
[0002] 本发明一般涉及成像和显示系统，并且更具体地，涉及监视器和交互式显示器，例 如，在零售和/或服务的环境中，在医疗或家庭情况下，视频会议，游戏等等。【具体实施方式】 涉及制造类似如镜子的平板显示器。另一【具体实施方式】涉及制造平板显示器，其提供了用 户看着自己眼睛这样的视频以创建眼对眼的视频会议。 2.相关技术领域
[0003] 顾客可以购买消费制品，例如，服饰，如衣服（如衬衫、裤子、大衣等服装），以及鞋 子、玻璃和/或任何其它项目或产品（如化妆品，家具等等）。购物通常发生在购物设施， 例如，零售商店。在作出决定购买哪些制品之前，顾客可能会尝试各种制品（如服装，化妆 品）和/或利用其他背景制品（例如，家具）摆出姿势，并会在镜子前查看每次试用的用户 外观，该镜子可以位于例如零售商店的试穿区。例如，顾客可能会尝试第一制品（如西装）， 并在镜子前查看第一次试用的他/她的用户外观。然后，顾客可能尝试第二制品（如另一 件西装）。然后，客户可能需要从第一次试用记住他/她的用户外观，以便在第一制品和第 二制品之间进行内心的比较，从而估计两个制品中的哪个会是更适合顾客的。
[0004] 遗憾的是，由于顾客可能尝试许多制品和/或由于第二次试用可能发生在第一次 试用后的相当长的时间或者甚至发生在不同的商店，因此顾客可能无法回忆起每次试用时 的他/她的外观，因此可能需要反复重试以前试过的制品，如服装物品。这可能导致令人沮 丧和低效的购物体验。
[0005] 常规的镜子（即反射面）是用于个人实时地获取真实的自身外观的一种常见和最 可靠的工具。现有技术已围绕相机和屏幕的结合提出了一些替代方式来代替传统的镜子。 然而，这些技术并不令人信服，并且尚未被接受为个人的可靠图像，就好像他正看着常规镜 子中的自己。这主要是因为由相机生成的图像是与由镜子产生的图像非常不同的。
[0006] 当用户看着镜子中的自己时，他实际上看到的是他自己的反射，好像他是站在从 他到镜子的距离的两倍的距离处。这在图5A中示出，其中站在距离D1处的用户看到自己是 在距离等于两倍的D1处。类似地，如图5B所示，站在距离D2的用户将看到自己是在距离 2xD2处。此外，用户视场（F0V)的角度在用户改变距离（例如，越来越靠近镜子）时改变。 所述F0V受到从镜子到用户眼睛的镜面反射角度（0)限制，并且限定于镜子的所有边（对 于矩形或正方形镜子而言为四个边）上的可视图像边缘。在图5B中，竖直F0V的底部被示 出为角度（0)的两倍，其通过连接用户眼睛到镜子底部的线并反射到用户的鞋子而形成。 因此，如图5B所示，当用户接近镜时，F0V角度增大，这就是为什么用户继续看到相同大小 的反射（F0V1〈F0V2)，从而使用户实际上看到大致相同尺寸但更加近的自己。这是与相机的 一个显著区别，其中，随着用户越接近相机，他在图像中就看起来越大。这主要是因为，相机 的FOV是固定的并且主要取决于相机透镜的尺寸或焦距。
[0007] 要注意与镜子反射相关的其他现象。例如，当用户接近镜子时，他眼睛的反射将始 终保持在进入镜子的相同虚拟线上。相反，取决于相机的高度，随着用户变得更接近相机， 用户的眼睛可能会出现在不同的水平。不同于相机的另一个区别是，当一个人注视镜子时， 他的图像看起来被反转（例如，如果一个人抬起他的右手，那么在镜子中他的左手看起来 会抬起）。然而，镜子不再"交换"左和右，而是交换上和下。镜子将向前/向后轴线反转 (即，在镜子前的物体看起来是在镜子后），并且我们相对于前和后而限定了左和右。此外， 由于镜子中的图像是虚拟的，因此镜子可以比全身小，而用户仍然会看到其全身的反射。其 原因是，镜面反射（在图5A中，入射角度0等于反射角度0)可以在用户靠近镜子时增加 有效视场。此外，虽然镜子是二维的对象，但用户将看到自己的三维外观。
[0008] 出于至少上面提到的一些原因，到目前为止，还没有系统被提出来令人信服地模 仿镜子。模仿镜子可以在零售和其他领域中有许多应用，并且可以开启将真实生活体验与 虚拟生活体验结合的可能性，诸如在社交网络和其他移动技术上进行共享。
【发明内容】
[0009] 本发明的一些示范性实施方式包括能够进行外观比较的装置、系统和/或方法。
[0010] 根据本发明的一些示范性实施方式，能够进行外观比较的系统可以包括至少一个 交互式成像和显示站。该站可以包括例如：镜像显示装置（a mirror display device)，其 能够在镜像模式或显示模式中的一种或者两种模式下操作；成像装置，其用于从镜像显示 装置前的视场捕获一个或多个外观；和/或图像控制单元，其用于根据用户命令来选择所 述镜像显示装置的操作模式。镜像显示装置可以是平板电视的形式，其中，在镜像模式期 间，该电视将来自相机的经转置的实况视频馈送进行显示，而在显示模式期间，该电视将在 更早时间所取得的和由存储器获得的经转置的视频进行显示。
[0011] 根据本发明的一些示范性实施方式，所述图像控制单元可以包括输入装置以接收 用户命令。
[0012] 根据本发明的一些示范性实施方式，所述图像控制单元可以包括存储装置以存储 与一个或者多个外观对应的一个或者多个图像的数据。
[0013] 根据本发明的一些示范性实施方式，镜像显示装置能够被划分成可同时显示的至 少第一帧和第二帧。所述第一帧可以是在例如镜像模式和显示模式下可选择地操作的。所 述第二帧可以是在例如镜像模式下可操作的。
[0014] 根据本发明的一些示范性实施方式，所述成像装置能够捕获外观的三维图像。
[0015] 根据本发明的一些示范性实施方式，所述镜像显示装置能够以预先限定的顺序显 示外观的图像。
[0016] 根据本发明的一些示范性实施方式，所述图像控制单元能够例如基于从用户接收 到的用户识别数据来选择性地使用户能够访问授权给用户的外观的图像。
[0017] 根据本发明的一些示范性实施方式，至少一个交互式成像和显示系统可以包括能 够在网络上通信的两个或更多个交互式成像和显示站。例如，所述两个或者多个站能够以 表示外观图像的数据在彼此之间进行通信。
[0018] 根据本发明的一些示范性实施方式，所述图像控制单元可以控制所述镜像显示装 置，用于在例如显示模式期间显示与外观对应的一个或者多个图像。所述一个或者多个图 像可以包括例如一个或者多个镜像外观。所述镜像外观是通过将由相机获得的所述图像或 视频馈送转置以生成这样的图像和视频：它们在呈现在监控器上时，类似镜子内的外观。
[0019] 根据本发明的一些示范性实施方式，能够进行外观比较的方法可以包括：使用镜 像显示装置的镜像操作模式，能够可选择地在镜像模式或显示模式下操作；捕获与在所述 镜像显示装置前第一次试用的外观对应的图像；存储第一次试用的图像；选择所述镜像显 示装置的操作的显示模式；和/或获取第一次试用的图像并且将该图像显示在镜像显示装 置上。
[0020] 根据其它实施方式，提供了使用相机和平板屏幕显示器以创建令人信服的镜像外 观的方法和装置。
【附图说明】
[0021] 视为本发明的主题被特别地指出并在说明书的结论部分中被明确声明。然而，本 发明的操作的构造和方法与其特征和优势一起通过参考下述的详细描述同时结合附图将 会被最佳地理解，其中：
[0022] 图1是根据本发明的一些示范性实施方式能够进行外观比较的交互式系统的示 意图。
[0023] 图2A和2B是根据本发明的一些示范性实施方式使用交互式系统进行外观比较的 两个连续阶段的示意图。
[0024] 图3A、3B和3C是根据本发明的一些示范性实施方式使用交互式系统进行外观比 较的三个连续阶段的示意图。
[0025] 图4是根据本发明的一些示范性实施方式能够比较一个或多个用户外观的方法 的示意流程图。
[0026] 图5A和5B示意性地示出了镜反射。
[0027] 图6示出了一个实施方式，其具有在用户视线水平上的竖直阵列中的一个相机或 多个相机，以便获得低的图像失真。
[0028] 图7是表示在使用安装在屏幕上方并且水平指向的相机的情况下，当用户靠近镜 子或远离镜子移动时所发生现象的示意图。
[0029] 图8是表示一个系统的示意图，在该系统中，相机被定位在监控器屏幕的上方并 且向下倾斜。
[0030] 图9是本发明的一个实施方式的框图，其执行图像变换以生成模拟镜像的图像。
[0031] 图10A和10B是表示根据本发明的实施方式的校准过程的示意图。
[0032] 图11是表示根据本发明的一个实施方式的过程的框图。
[0033] 图12是表示根据本发明的一个实施方式用于执行校准和图像变换的模块和过程 的框图。
[0034] 图13示出了另一实施方式，其中校准和变换映射是在系统安装后在现场执行的。
[0035] 图14示出了用于从相机的图像提取数据的一个实施方式。
[0036] 图15示出了在其中执行来自n个相机的图像的拼接的一个实施方式。
[0037] 图16示出了一个实施方式，其用于最充分地呈现眼睛，模拟用户直视着镜子中的 自己。
[0038] 应当理解，为了简单和清楚地说明，在图中所示的要素无需精确地绘制，也无需按 比例绘制。例如，为了清楚起见，一些要素的尺寸可能相对于其他要素被放大，或者多个物 理组件包括在一个要素内。此外，在认为适当时，附图标记可以在附图之间重复以指示相应 的或类似的要素。应当理解，这些附图表示本发明的实施方式的实例，并且不旨在限制本发 明的范围。
【具体实施方式】
[0039] 在下面的描述中，将对本发明的各个方面进行说明。出于解释的目的，阐述了特定 的构造和细节，以便提供对本发明的彻底理解。然而，对于本领域技术人员，将显而易见的 是，本发明可以在没有本文所呈现的特定细节的情况下实施。此外，本发明的依赖于本领域 中的已知原则和实施方式的一些特征可以被省略或简化，以避免模糊本发明。
[0040] 本发明的某些示范性实施方式可包括交互式系统，该交互式系统使得用户能够比 较一种或多种外观，例如在如在下面所详细描述的不同外观之间进行比较。
[0041 ] 本文所用的术语"用户外观"可涉及试用消费制品时的顾客外观。所述制品可以 包括：例如服饰（如衣服、鞋、眼镜、外套、领带等等）；位于客户附近的制品（如家具）；以 及其它物品、制品、设计或产品（诸如化妆品、头饰、发型等等）。类似地，实施方式可以被用 于技术用途，例如对于想看到设计版本的时装设计师，可以供人们在家使用，创建家庭成员 的实际尺寸的永久画册等等。
[0042] 根据本发明的一些示范性实施方式，该系统可以包括成像装置和镜像显示装置， 该成像装置能够捕获用户外观，该镜像显示装置能够有选择地作为镜子或作为显示屏进行 操作。在处于镜像模式时，镜像显示装置可以使用户能够评估和/或查看消费制品的当前 试用的用户外观。如将在下面进一步描述的，这可以通过使用到平板显示器的实况视频馈 送来实现，其中该视频馈送在显现在屏幕上之前被修改，从而使其模拟镜子。在处于显示模 式时，镜像显示装置可以使用户能够评估和/或查看先前试用中的例如先前由成像装置所 捕获的一个或多个用户外观，例如，如在下面详细描述的。
[0043] 参考图1，其示意性地示出了根据本发明的一些示范性实施方式的交互式系统 100〇
[0044] 根据本发明的一些示范性实施方式，系统100可以包括交互成像和显示站110,该 交互成像和显示站110可以包括图像控制单元120、成像装置130 (例如，静态相机或视频相 机）以及镜像显示装置140(例如，平板显示器）。图像控制单元120可包括控制器121、网 络接口 122、存储装置123、输入装置124,所有这些要素都在下面详细描述。
[0045] 本发明的各方面是在作为外观比较系统（例如系统100)的独立单元的下述装置 的示范性实施方式的背景下进行描述：成像装置，例如成像装置130 ;镜像显示装置，例如 镜像显示装置140 ;和/或图像控制单元，例如图像控制单元120。然而，本领域的技术人员 将理解，本发明不局限于这一方面，并且根据本发明的其它实施方式，该系统可以包括成像 装置、镜像显示装置和/或图像控制单元的任何适当的构造、组合和/或配置。例如，系统 可以包括集成模块，该集成模块包括镜像显示装置、成像装置和/或图像控制单元。例如， 成像装置和/或图像控制单元可作为镜像显示装置的组成部分来实现。
[0046] 根据本发明的一些示范性实施方式，镜像显示装置140可被配置成和/或可以包 括组件和机制，使得镜像显示装置140可选择地操作在两种操作模式下。在操作的第一模 式（即"镜像模式"）中，镜像显示装置140可作为镜子进行操作。在操作的第二模式（即 "显示模式"）中，镜像显示装置140可作为显示屏进行操作。当镜像显示装置140在镜像 模式下操作时，系统1〇〇的用户111可以评估和/或查看消费制品的第一次试用的用户外 观，该用户外观可以由镜像显示装置140实时地反映。成像装置130可以捕获第一次试用 的用户外观的图像。所捕获的图像可以例如通过存储装置123进行存储，例如，如下所述。 然后用户111可以在镜像显示装置140之前摆出试用第二制品的姿势，并且成像装置130 可以捕获到第二次试用的用户外观的第二图像。用户能够使用设定成镜像模式的镜像显示 装置140实时地查看第二制品。当镜像显示装置140被切换到显示模式时，镜像显示装置 140可以被控制来显示一个或多个先前捕获的图像。凭借镜像显示装置140可选地在镜像 模式或显示模式下操作的能力，如在下面详细描述，用户111能够同时地或依次地在第一 次试用和第二次试用的用户外观之间进行比较。
[0047] 在例如图1、2六、28、3六和/或38中所示的本发明的一些示范性实施方式中，控制 器121可以控制装置140以在操作的显示模式期间显示外观的镜像图像。然而，本领域的普 通技术人员将理解，本发明并不限于这一方面，并且在其它实施方式中，控制器可以控制装 置140以在操作的显示模式期间显示任何与外观对应的其它图像，该外观如旋转的外观、 倒置的外观、基本上未改变的（例如正面的）外观、渲染的外观等等，例如，如下所述的。
[0048] 装置140可包括任何合适的构造和/或机制，以能够在第一和第二操作模式下可 选择地操作镜像显示装置140。例如，在一个实施方式中，装置140可包括液晶（LC)要素的 阵列，该液晶（