使用增强现实的对居住空间的实时设计的制作方法
【专利说明】使用増强现实的对居住空间的实时设计
[0001]背景
[0002]室内和室外居住空间的设计通常涉及在时间上高度分开的若干步骤。设计者用严苛的视角来审阅空间，作出关于要对该空间作出的改变的决定，购买商品，并随后重新设计该空间。在查看空间、作出设计决定以及查看经重新装饰的空间之间存在时间间隙。有了这一时间间隙，重新设计可能成为一个昂贵的过程，如果设计者(或设计者的顾客)出于多种原因中的任一种而不满意最终结果的话。
[0003]存在允许创建、编辑和查看居住空间的三维模型的一些软件工具。然而，此类工具仍然涉及对空间的精确测量以及将设计过程与查看实际空间分隔开。
【发明内容】
[0004]提供概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
[0005]显示器在包括居住空间的一场景的上下文中渲染模拟对象，这允许设计者基于现有布局来实时地重新设计居住空间。显示器可以提供场景的实况视频馈源，或者显示器可以是透明的或半透明的。实况视频馈源可以用半不透明方式来显示，从而对象可以被容易地覆盖在场景上而不会使查看者混淆。
[0006]—种计算机系统在显示器上渲染模拟对象，以使得模拟对象对于查看者而言表现为与场景中的实际对象处于基本上相同的地点。所显示的模拟对象可以通过各种用户姿势在显示器上在空间上被操纵。设计者可以用许多方式在视觉上模拟对空间的重新设计，例如，通过添加所选对象，或者通过移除或重新布置现有对象，或者通过改变那些对象的属性。此类对象还可与购物资源相关联以使得能够购买相关商品和服务，或者能够参与其他商业交易。
[0007]在以下描述中，对附图进行了参考，附图构成了实施方式的一部分且在其中作为示例示出了本发明技术的具体示例实现。可以理解，可以使用其他实施例并且可以做出结构改变而不背离本公开的范围。
[0008]附图简述
[0009]图1是用户查看在具有对应的实际对象的场景的上下文中的模拟对象的场景的解说。
[0010]图2是解说设计系统的示例实现的数据流程图。
[0011]图3是解说用于诸如图2中的设计系统的用户输入模块的示例实现的更详细的数据流程图。
[0012]图4是描述图2中系统的示例操作的流程图。
[0013]图5是描述对象识别系统的示例操作的流程图。
[0014]图6是用包括模拟对象的显示器来查看的场景的另一解说。
[0015]图7是在其中可以实现这样的系统的示例计算设备的框图。
【具体实施方式】
[0016]以下章节提供了其中可以实现本文描述的环境设计应用的示例操作环境。
[0017]参考图1，个体100查看场景102和显示器104。场景102可以是多种环境中的任一种，无论是室内(在建筑物中，诸如办公楼或家中)还是室外(诸如花园、草坪或阳台)。环境可以是商用或住宅。此类场景可包含个体可考虑作为场景的设计特征的一个或多个对象，诸如豕具、墙、艺术品、植物、地板等。
[0018]显示器104可以是透明显示器，从而允许个体透过显示器来查看场景102。显示器104还可显示场景的实况视频馈源，从而允许个体在场景的一部分的上下文中在显示器上查看场景的其余部分。这一实况视频馈源可以采用组合有头部跟踪和依赖于查看者的渲染的场景三维重构的形式，以使得场景的三维渲染与查看者在显示器透明的情况下会看到的场景相匹配。
[0019]实况视频馈源可以用半不透明方式来显示，从而对象可以被容易地覆盖在场景上而不会使查看者混淆。用半不透明的方式来显示场景可以用光学快门式透明显示器(诸如液晶显示器)来完成。或者，如果显示器是发射性的(诸如透明基板上的(OLED))，则使发射像素足够亮以自然地混入场景中并且变得可见。
[0020]计算机程序(未示出)生成并在在显示器区域108中显示模拟对象106。计算机程序可以在内置到显示器中的处理器上或者在连接到显示器的计算机上运行。模拟对象106对应于场景102中的对象，例如对象112。
[0021]—般来说，模拟对象由计算机根据场景的图像数据来定义。具体来说，场景的图像数据被接收到计算机中的存储器中。图像数据从与显示器104具有已知关系的一个或多个相机(未示出)接收。相机可以与显示器位于相同外壳上，或者可以位于包含场景102的环境中。计算机系统生成场景中的实际对象的模型，诸如由顶点、边和面定义的三维模型。这些模型从而是对应于场景中的实际对象的模拟对象。
[0022]模拟对象在显示器上被渲染和显示。如下文将更详细地描述的，这些模拟对象以及场景的任何实况视频馈源基于查看者相对于显示器的定向以及显示器相对于场景的定向来显示。从而，对查看者而言，模拟对象出现在显示器上就好像它们处于与场景中的实际对象基本上相同的地点。查看者定向和显示器定向可以通过各种各样的传感器和相机中的任一种来检测，如下文更详细地描述的。结果，当查看者移动时或者当显示器移动时，所显示的模拟对象以及场景的任何实况视频馈源被重新定向、缩放、渲染和显示，以维持模拟对象的外观与它们对应的实际对象重叠。
[0023]给定带有一个或多个模拟对象的显示器，所显示的对象可以通过各种用户姿势在显示器上在空间上被操纵。一种操纵是对对象的选择。如果显示器是触敏的或者支持使用指示笔，则可以通过个体用手指或指示笔来触摸对象来选择该对象。或者，基于成像的姿势检测界面可用于检测在显示器和场景之间的对象的姿势(例如手的姿势)。如果显示器是透明的或半透明的，则手可以透过显示器被看到，并且可以表现为直接在场景中操纵对象。
[0024]给定一所选对象，可以对该对象执行各种各样的其他操作。例如，设计者可以用许多方式在视觉上模拟对空间的重新设计。设计者可以例如添加所选对象、移动对象、重新布置现有对象、或改变那些对象的属性。
[0025]关于添加对象，如下文更详细地描述的，可以提供对象库，该对象库可被选择并且置于虚拟场景中。对象可以被置于场景中，并且接着被适当地缩放以适合场景。类似地，所选对象可以在场景中重新定位，并且接着被适当地缩放和旋转以适合场景。
[0026]关于改变对象的属性，如下文更详细地描述的，存在能够被操纵的对象的渲染的许多属性。例如，可以改变对象的颜色、纹理或其他表面属性(诸如反射率)或者可以改变影响对象外观的环境属性(诸如光照)。对象也可以随着时间推移来动画化。例如，对象根据其本质可以是可移动的、或者可以生长(诸如植物)。
[0027]给定这一上下文，支持此类设计应用的计算机系统的示例实现将结合图2更详细地来描述。
[0028]在图2中，一数据流程图解说了一示例实现。在这一设计应用的中心是渲染系统200，渲染系统200接收关于显示器姿态202和查看者姿态204的信息连同描述要被渲染的三维对象和场景的数据206。显示器姿态202定义显示器设备相对于场景的位置和定向。查看者姿态定义查看者相对于显示器设备的位置和定向。渲染系统200使用输入202、204和206来渲染显示，从而使得显示数据208在显示器210上被显示。