用于家庭自动化系统的基于三维虚拟房间的用户接口的制作方法

用于家庭自动化系统的基于三维虚拟房间的用户接口
1.相关申请本技术要求由robert p. madonna等针对“three dimensional virtual room-based user interface for a home automation system”于2019年9月11日提交的美国临时专利申请号62/898,941的权益，其内容通过引用全部并入本文。
技术领域
2.本公开总体上涉及设备控制，并且更具体地涉及用于控制家庭自动化系统中的设备的用户接口。


背景技术：

3.随着家庭和其他建筑物（structure）变得更大并且变得被填充更多的设备，设备控制变成了增加的挑战。在传统上，许多设备已由机械开关来控制。虽然机械开关可靠且节省成本，但是它们具有许多限制，尤其是当存在位于建筑物的相同房间中的许多设备时。例如，大房间可以包括大量的照明设备、显示设备、电子窗帘、加热通风和空调（hvac）设备等。为了控制所有这些设备，可能需要大量的机械开关。随着室内机械开关数量增加，可用性降低。机械开关通常未加标签，或者在被加标签的情况下，仅被标记有含义隐晦的描述（例如，“灯1”、“灯2”等）。用户可能被迫要记住房间中可用的许多机械开关中的哪一个控制哪一个设备。没有记住这个关系的用户通常必须依靠反复试验，翻转开关，直到它们发生在他们想要的结果上。
4.已经开发了多种类型的家庭自动化系统，该系统试图改进机械开关的缺陷。此类系统通常包括管理设备操作的一个或多个控制器。控制器可以经由用户接口设备而交互，该用户接口设备诸如专用触摸屏单元，该触摸屏单元提供用于控制设备的用户接口。用户接口可以包括触敏按钮或滑块的阵列，其中每个按钮或滑块控制设备或一组设备。
5.然而，此类以按钮为中心的屏幕上用户接口共享与机械开关许多相同的缺陷。虽然按钮和滑块示出在屏幕上，而不是像机械开关一样物理地存在，但是它们非常类似地操作。通过查看屏幕上的按钮或滑块，按钮或滑块所做的事情可能不是明显的。虽然可以提供标签，但是考虑到屏幕空间的约束，此类标签通常是短的且含义隐晦。虽然该标签对于配置该系统的安装者来说可能有意义，但是对于用户来说它可能具有很少的内在意义。类似于机械开关的情况，用户可能必须触摸每个屏幕上的按钮或滑动每个滑块，以通过反复试验来发现什么按钮或滑块实现了期望的结果。
6.最近，已开发了一种设备控制解决方案，该解决方案解决了机械开关和以按钮为中心的屏幕上用户接口的许多缺陷。这个解决方案提供了一种用户接口，该用户接口包括显示在触摸屏上的一个或多个固定视角二维（2-d）虚拟房间。每个虚拟房间示出了该建筑物的对应物理房间的2-d描绘。通过触摸屏幕上所示的固定视角2-d虚拟房间内的设备的描绘，用户可以指示该设备的状态改变，该状态改变由该物理房间中的家庭自动化系统来执行。当该设备的状态在物理房间中改变时，固定视角2-d虚拟房间的外观被更新以示出改变
的状态。
7.虽然这个类型的解决方案解决了机械开关和以按钮为中心的屏幕上用户接口的许多缺陷，并且表示显著的进步，但是它仍然可以改进。基于固定视角2-d虚拟房间的接口的一个问题是：它需要用户熟悉该建筑物的布局规划和每个房间的特定名称。可以在接口中向用户呈现多个不同的固定视角2-d虚拟房间，并且用户需要在它们当中进行选择。当用户在该建筑物周围移动，并且期望控制不同物理房间中的设备时，需要重复这个选择。如果用户不熟悉该建筑物的布局规划和每个房间被叫作什么，则他们可能需要诉诸于反复试验来选择正确的虚拟房间来使用以实现他们期望的改变。
8.基于固定视角2-d虚拟房间的接口的另一问题是：一些类型的状态改变可能要么不容易被表示，要么看起来不“自然”。根据现有技术，通过从相同的预先选择的视角捕获物理房间的不同状态中的多个2-d图像（例如，照片）来生成固定视角2-d虚拟房间，包括全无（all-off）2-d图像和特定于设备的图像，其中一个设备被激活并且所有其他设备被去激活。该多个图像中的不同一些被一起过滤，以生成具有处于不同状态组合中的设备的固定视角2-d虚拟房间。虽然此类过滤对于一些类型的状态改变（例如，一些照明状态改变）工作良好，但是它对于其他类型的状态改变（例如，彩色照明状态、媒体内容状态、电子窗帘位置、燃气壁炉火焰设置等）是不实际的，对于所述状态改变，通过组合少量的2-d图像无法良好地再现外观。例如，一些彩色照明设备能够产生大量的颜色（例如，32位颜色）。物理房间中的所有此类颜色的外观可能不容易通过一起过滤少量2-d图像来模拟；只是存在太多的可能性了。同样地，电视上的媒体内容状态（例如，通道、源、文件等）可能不容易通过一起过滤少量2-d图像来模拟；只是所需的信息不在那里。同样地，过滤并不始终是完全地重新创建多个设备如何交互以影响物理房间外观的细微差别（nuance）。例如，由电子窗帘位置引起的自然日光、来自照明设备的人造光、以及来自燃气壁炉火焰的环境光等的交互可能无法通过简单地一起过滤少量2-d图像来良好地再现。
9.基于固定视角2-d虚拟房间的接口的另一问题是：可能难以针对一些房间形状或设备布置来预先选择令人满意的视角。通常，安装者将预先选择少量的视角，从所述视角来捕获2-d图像，所述2-d图像以合理的大小、以最小的遮挡来示出多个设备。对于具有复杂形状、不同寻常的设备布置等的某些房间，可能难以或不可能预先选择很好地满足这些目标的少量视角。虽然仍然可以生成固定视角的、基于2-d虚拟房间的用户接口，但是其可用性可能会降低。
10.因此，需要一种用于控制家庭自动化系统的改进的基于虚拟房间的用户接口，该用户接口可以解决一些或所有这些问题。


技术实现要素：

11.在一个实施例中，提供了一种用于家庭自动化系统的基于用户可导航的三维（3-d）虚拟房间的用户接口。每个用户可导航的3-d虚拟房间示出了该建筑物的对应物理房间的基本上照片般逼真（photo-realistic）的描绘，包括该物理房间的边界（例如，墙壁、天花板、地板等）、该物理房间中存在的家具（例如，沙发、椅子、床、墙饰等）、以及该物理房间中存在的在该家庭自动化系统的控制下的设备（例如，照明设备、显示设备、电子窗帘、hvac设备和/或其他类型的设备）的基本上照片般逼真的描绘。用户可以使用显式导航命令（例如，
移动命令或节点选择）或隐式动作（例如，使用定位信标和/或取向传感器检测到的设备的移动）以在该用户可导航的3-d虚拟房间内导航，从而移动3-d空间中的虚拟相机以从不同视角来观看该虚拟房间。通过与该用户可导航的3-d虚拟房间内的设备的基本上照片般逼真的描绘进行交互（例如，触摸、点击等），用户可以指示对该物理房间中的对应设备的状态的改变。随着该物理房间中的设备的状态改变，3-d图形引擎可以动态地更新该用户可导航的3-d虚拟房间的外观以反映所述改变，使得用户在该虚拟房间中观看的事物将模仿他们在对应物理房间中的体验。与现有接口相比，用户可以更容易地导航该基于3-d虚拟房间的接口，这是因为他们可以通过3-d空间行进并且观察房间的关系。进一步地，利用3-d图形引擎，3-d虚拟房间可以能够示出先前难以表示的状态和外观效果。更进一步地，该3-d虚拟房间可以更加可适于各种房间形状和设备布置。
12.可以使用该物理房间的3-d网格模型和2-d图像来生成该基于用户可导航的3-d虚拟房间的用户接口。在示例过程中，安装者在物理房间中的多个位置处放置3-d相机，并且捕获多个重叠的2-d图像（例如，2-d全景图像）和3-d空间模型（例如，3-d网格）的集合。重叠的2-d图像（例如2-d全景图像）和3-d空间模型（例如，3-d网格）被导入到拼接应用（stitching application）中，该拼接应用将图像数据链接（即，拼接）到3-d空间模型中的对应位置。所拼接的2-d图像（例如，2-d全景图像）和3-d空间模型（例如，3-d网格）被导入到3-d建模应用中。安装者利用3-d建模应用来校正视觉伪像，并且利用命中区域来标记设备的描绘，该命中区域被映射到设备的属性和被识别用于改变设备状态的控制命令。安装者进一步利用3-d建模应用来将外观改变指派到与该属性和控制命令一致的设备的描绘。所指派的外观改变定义了当发出控制命令时外观应当如何被更新以与该物理房间中的改变一致。此后，所拼接的、经伪像校正的、经标记的、经外观指派的2-d图像和3-d空间模型（现在被称为虚拟房间）被导出到控制app，用户可以使用该控制app来控制该家庭自动化系统以及其设备。
13.当虚拟房间中的虚拟相机处于与2-d图像（例如，2-d全景图像）中的一个从其被捕获的位置相对应的位置处时，该控制app的3-d图形引擎可以显示来自2-d图像（例如，2-d全景图像）的数据，从而根据需要来在外观改变中进行添加。当虚拟相机移动通过与2-d图像（例如，2-d全景图像）的任何位置都不对应的位置时，该控制app的3-d图形引擎将可用的2-d图像与3-d空间模型（例如，3-d网格）混合（例如，改变其阿尔法通道和呈现层），并且显示经混合的数据，从而根据需要在外观改变中进行添加。
14.应当理解的是，可以实现多种附加特征和替代实施例。这个概述仅仅意图作为对阅读者的简要介绍，并且不指示或暗示本文中提到的示例覆盖本发明的所有方面、或者是本发明的必要或本质方面。
附图说明
15.下面的描述参考附图，在附图中：图1是可操作用于控制建筑物（例如，居住住所或商业建筑）的房间中的设备的家庭自动化系统的示例架构的框图；图2a是可以由控制app来显示的示例用户可导航的3-d虚拟房间的屏幕截图；图2b-2c是图2a的示例用户可导航3-d虚拟房间的屏幕截图，其图示了3-d空间中
的虚拟相机的自由移动以从不同视角来观看虚拟房间；图2d-2e是图2a的示例用户可导航3-d虚拟房间的屏幕截图，其图示了在使用导航节点的情况下3-d空间中的虚拟相机的移动以从不同视角来观看虚拟房间；图2f-2g是图2a的示例用户可导航3-d虚拟房间的屏幕截图，其图示了响应于与照明设备的描绘的用户交互而对照明设备的照明的改变；图2h-2i是图2a的示例用户可导航的3-d虚拟房间的屏幕截图，其图示了响应于与显示设备的描绘的用户交互而对显示设备的状态的改变；图2j-2l是图2a的示例用户可导航3-d虚拟房间的屏幕截图，其图示了响应于菜单中的选择而对照明设备的状态的改变；图2m是在更高分辨率下并且在没有视觉伪像的情况下的示例用户可导航的3-d虚拟房间的屏幕截图，其可以更接近地近似商业实现方式；图3是用于操作基于用户可导航的3-d虚拟房间的用户接口以控制家庭自动化系统的设备的示例步骤序列的流程图；以及图4是用于生成基于用户可导航的3-d虚拟房间的用户接口以控制家庭自动化系统的设备的示例步骤序列的流程图。
具体实施方式
16.定义如本文中所使用，术语“家庭自动化系统”应当被宽泛地解释成涵盖各种类型的家庭控制、“智能家庭”、和/或可以控制诸如居住住所或商业建筑之类的建筑物内的设备（例如，照明设备、显示设备、电子窗帘、hvac设备和/或其他类型的设备）的设备控制系统。
17.如本文中所使用，术语“物理房间”指代物理建筑物的内部部分、或与物理建筑物相关联的外部空间，其中一个或多个设备可以提供服务。
18.如本文中所使用，术语“虚拟房间”指代由物理建筑物的内部部分、或与物理建筑物相关联的外部空间的描绘来表示的物理房间的数字孪生体。
19.如本文中所使用，术语“移动设备”指代执行通用操作系统并且适于在人身上运送的电子设备。诸如智能电话之类的设备应当被视为移动设备。台式计算机、服务器、或其他主要固定的计算设备通常不应当被视为移动设备。
20.示例家庭自动化系统图1是家庭自动化系统的示例架构100的框图，该家庭自动化系统可操作用于控制建筑物（例如，居住住所或商业建筑）的房间中的设备。在该系统的核心处，是耦合到家庭中局域网（lan）（例如，诸如以太网之类的有线网络和/或诸如wi-fi之类的无线网络）150的主机控制器110。主机控制器可以包括硬件部件，诸如处理器、存储器和存储设备，其共同地存储和执行主机软件111，该主机软件111被配置成监视和控制设备112-124的操作，利用信标125，提供ui解释、系统管理和监视，与云服务180、远程控制140、移动设备160、以及用于控制该系统的其他电子设备165的同步，提供活动记录服务，提供活动预测服务和/或其他类型的功能。主机控制器110可以在其存储设备中维持家庭数据库130，所述家庭数据库130存储配置信息，包括关于由家庭自动化系统控制的设备112-124和设备能够提供的服务的信息、以及关于控制140、移动设备160、以及用于控制该系统的其他电子设备165的信息。
21.家庭自动化系统的设备112-124可以包括：照明设备112，诸如灯具、调光器模块等；接口设备113，诸如键区、开关、触摸屏等；安全性设备114，诸如家庭监视器/相机、运动传感器、家庭保健传感器、相关控制器等；音频设备116和视频设备118（统称为a/v设备），诸如显示设备（例如，电视、监视器等）、a/v设备控制器、媒体服务器、音频放大器、线缆箱等；电子门锁120；电子窗帘121以及在房间中产生运动的其他类型的电机操作式设备（例如，电视升降机、自动门等）等；hvac设备122，诸如恒温器控制的加热和冷却系统、燃气壁炉、全屋风扇等；互连设备124，诸如红外增强器、矩阵开关、信号扩展器等；以及其他类型的家庭自动化系统设备。设备112-124中的每一个可以与该建筑物的物理房间相关联（即，被配置成与其结合使用），并且由此被称为“在该房间中”。应当理解的是，当在这个上下文中使用时，术语“在
……
中”应当被解释成包括物理上驻留在房间内、或者驻留在其他地方（例如，远程装备机架）并且从此类远程位置向房间中提供服务的设备。
22.取决于实现方式，家庭自动化系统的设备112-124的通信能力可以变化。例如，设备中的至少一些可以包括lan接口（例如，以太网或wi-fi适配器）和/或无线个人区域网（wpan）接口（例如，蓝牙或蓝牙低能量（ble）适配器），以使得它们能够与主机控制器110和其他设备通信。同样地，一些设备可仅具有用于有线或点对点无线通信（例如，rs-232、rs-485、通用输入/输出（gpio）、红外（ir）等）的端口或收发器，并且使用此类技术与主机控制器110和其他设备进行通信。设备中的一些（例如，诸如红外增强器之类的互连设备）可以桥接不同类型的通信，例如包括wpan接口（例如，蓝牙或ble适配器）和点对点无线收发器（例如，ir收发器）两者、以及它们之间的桥接。进一步地，一些设备可以包括lan接口（例如，以太网或wi-fi接口），但是不被配置成直接通过家庭中lan 150与主机控制器110或家庭自动化系统的其他设备进行通信。替代地，它们可以访问互联网170和云服务180和/或第三方基础设施190，该互联网170和云服务180和/或第三方基础设施190继而可以与主机控制器110进行通信。应当理解的是，图1中所示的一些hvac设备122可以以这种方式进行通信。附加地或替代地，其他类型的设备112-124可以以这种方式进行通信。
23.家庭自动化系统可以包括多个定位信标，所述定位信标发射和接收wlan、wpan或其他无线信号（例如，蓝牙、ble、wi-fi、超宽带（uwb）、射频标识符（rfid）或其他信号），所述信号可用于确定远程控制140、移动设备160或其他电子设备165在该建筑物内的位置。可以使用接收信号强度（rss）以选择最接近的信标位置、基于多个信标位置和与之相关联的信号强度来执行三边测量和/或其他技术来确定位置。这些信标可以是独立的设备，诸如独立的信标125，或者被集成到提供其他功能的设备112-124中的一个或多个中。在一个实现方式中，信标被集成到照明设备112和键区中，并且照明设备112提供照明和定位功能两者，并且键区提供用户接口和定位功能两者。
24.用户可以使用远程控制140来控制家庭自动化系统的设备112-124。远程控制140可以包括触敏显示屏、物理按钮、通信接口（例如，ir、wpan等）、处理器、存储器和存储设备，该存储设备存储和执行被配置成与主机控制器110和云服务180对接的控制app。远程控制还可以包括取向传感器，该取向传感器与定位信标一起允许确定远程控制140关于该建筑物的位置和取向。远程控制140上的控制app可以呈现基于用户可导航的3-d虚拟房间的用户接口，除了其它功能之外，该用户接口用于控制家庭自动化系统100的设备112-124。
25.用户也可以使用移动设备160来控制家庭自动化系统的设备112-124。移动设备
160可以包括触敏显示屏、通信接口（例如，wi-fi、wpan等）、处理器、存储器和存储设备，该存储设备存储和执行被配置成与主机控制器110和/或云服务180对接的控制app 162。移动设备160还可以包括取向传感器，该取向传感器与定位信标一起允许确定移动设备160关于该建筑物的位置和取向。移动设备160上的控制app可以呈现基于用户可导航的3-d虚拟房间的用户接口，除了其它功能之外，该用户接口用于控制家庭自动化系统100的设备112-124。
26.更进一步地，用户可以使用另一电子设备165来控制家庭自动化系统的设备112-124，该另一电子设备165诸如平板计算机、诸如google glass
®ꢀ
hud之类的头戴式显示器（hmd）、专用触摸屏单元、电视和远程控制、计算机和鼠标、或其他类型的技术。电子设备165可以包括显示屏（例如，触敏、非触敏、hmd等）、输入设备、通信接口（例如，wi-fi、wpan等）、处理器、存储器和存储设备，该存储设备存储和执行被配置成与主机控制器110和/或云服务180对接的软件。
27.电子设备165还可以包括取向传感器，该取向传感器与定位信标一起允许确定电子设备165关于该建筑物的位置和取向。例如，在其中电子设备165是hmd并且信标是ble信标的实现方式中，可以通过ble三边测量来确定位置，并且可以通过头部移动来确定取向。控制app可以在hmd上呈现基于3-d虚拟房间的用户接口，该用户接口用于控制家庭自动化系统的设备112-124，并且用户可以利用hmd的输入设备来作出选择。
28.应该理解的是，电子设备165还可以包括一起操作的多个个体设备。例如，在其中电子设备165是电视和远程控制的实现方式中，控制app可以在电视的屏幕上呈现基于3-d虚拟房间的用户接口，并且可以在远程控制上接收选择（例如，通过在屏幕上移动光标来选择项目）。
29.远程控制140、移动设备160或电子设备165可以与主机控制器110通信以实现设备控制。一些设备（例如，移动设备160、电子设备165等）可以与云服务180以及其主机应用程序接口（api）182和移动api 184进行通信。除了其它功能之外，云服务180可以提供对家庭自动化控制的远程访问、家庭数据库130的持久性备份（将数据存储在配置数据库186中）、去往第三方基础设施的接口（经由第三方适配器188）、用户简档和使用跟踪（将数据存储在用户数据库189中）、用于空中更新的机制、主机崩溃报告和许可证管理。
30.基于用户可导航的3-d虚拟房间的用户接口的操作远程控制140、移动设备160或其他电子设备165上的控制app可以呈现基于3-d虚拟房间的用户接口，该用户接口用于控制家庭自动化系统100的设备112-124。该接口可以包括多个用户可导航的3-d虚拟房间，每个虚拟房间示出了该建筑物的对应物理房间的基本上照片般逼真的描绘。每个用户可导航的3-d虚拟房间可以包括该物理房间的边界（例如，墙壁、天花板、地板等）、该物理房间中存在的家具（例如，沙发、椅子、床、墙饰等）、以及该物理房间中存在的设备112-124（例如，照明设备、显示设备、电子窗帘和/或其他类型的设备）的基本上照片般逼真的描绘。设备112-124中的每一个可以具有许多可能的状态。取决于设备112-124，可以存在可能状态的二元集合（例如，无效的“关”状态和有效的“开”状态）或者更多的许多状态集合（例如，多个照明级别、颜色（例如，32位颜色）、色温（例如，3000k、5000k等）、媒体内容（例如，电视通道、源、个体媒体文件等）、位置、温度等）。
31.图2a-2m是可以由控制app显示的示例用户可导航的3-d虚拟房间的屏幕截图，该
虚拟房间对应于物理建筑物的开放式布局规划厨房和起居室。虽然图2a-2l的屏幕截图具有低分辨率，并且包含视觉伪像，但是应当理解的是，商业实现方式将优选地具有高分辨率，其中此类伪像被校正，使得它看起来基本上照片般逼真。图2m示出了更接近地近似商业实现方式的优选外观的示例。
32.图2a是可以由控制app显示的示例用户可导航的3-d虚拟房间的屏幕截图。用户可导航的3-d虚拟房间包括该物理房间的边界（诸如，地板210和墙壁212）、该物理房间的家具（诸如，沙发220、桌子和椅子222和炉子224）、以及该物理房间中的在家庭自动化系统100的控制下的设备（诸如，吊灯230、嵌入式罐式灯具232-238和电视239）的基本上照片般逼真的描绘。
33.用户可以使用显式导航命令或隐式动作在虚拟房间内导航，以移动3-d空间中的虚拟相机，以从不同视角来观看该虚拟房间。显式导航命令可以采取不同的形式。在一个实现方式中，显式导航命令可以采取移动命令的形式（例如，触摸手势，诸如触敏显示屏上的滚动、滑屏等、光标的移动等）。导航可以包括自由移动，其中该虚拟相机通过3-d空间自由地水平或垂直平移，并且在3d空间中自由地旋转到不同取向。
34.图2b-2c是图2a的示例用户可导航的3-d虚拟房间的屏幕截图，其图示了3-d空间中的虚拟相机的自由移动以从不同视角来观看该虚拟房间。可以显示移动图标240，当接收到移动命令（例如，滚动手势、光标移动等）时，所述移动图标240被移位。在这个示例中，该虚拟相机在图2b与图2c之间水平向前平移。
35.在另一实现方式中，显式导航命令可以采取节点选择的形式。多个预定义的节点可以被布置在预定位置处，并且在该虚拟房间中被表示为图标。响应于对节点的用户选择（例如，在触敏显示屏上的节点上的触摸、利用光标的选择等），该节点被选择，并且虚拟相机被移动（例如，“咬合（snap）”）到其位置。此类移动可以以“平滑”的方式示出，其中虚拟相机通过空间平移，并且该虚拟房间被连续地更新以图示该移动。每个节点可以与预定起始取向相关联。一旦在节点处，虚拟相机就可以响应于导航命令在3d空间中自由地旋转到不同取向。
36.图2d-2e是图2a的示例用户可导航的3-d虚拟房间的屏幕截图，其图示了在使用导航节点的情况下3-d空间中的虚拟相机的移动以从不同视角来观看该虚拟房间。显示了多个选择节点245、247，所述节点可以被选择（例如，触摸、点击等）。在这个示例中，在图2d中选择了选择节点245，这使得虚拟相机被平移到图2c中所示的视角。
37.隐式动作也可以采取多种形式。在一个实现方式中，隐式动作可以基于远程控制140、移动设备160或其他电子设备165的位置和取向，该位置和取向是使用定位信标（例如，以及它们的蓝牙、ble、wi-fi、uwb、rfid或其他信令）和取向传感器来确定的。用户可以通过在持有远程控制140、移动设备160或其他电子设备165的情况下在该物理房间中行走，从而自由地平移虚拟相机。用户可以通过旋转远程控制140、移动设备160或其他电子设备165来自由地旋转该虚拟房间。在电子设备是hmd的情况下，用户头部位置和取向可以被直接平移到该虚拟房间中的位置和取向。
38.通过与该用户可导航的3-d虚拟房间内的设备的基本上照片般逼真的描绘进行交互（例如，触摸、点击等），用户可以指示该物理房间中的对应设备的状态的改变。状态改变可以通过设备的可用状态来循环（例如，在二元状态之间，在大量可能的状态之间，等等）。
当设备的状态被改变时，控制app的3-d图形引擎（例如，unity
®
或unreal
®
图形引擎）动态地更新该用户可导航的3-d虚拟房间的外观以反映所述改变，使得用户在该虚拟房间内观看到的事物将模仿他们在对应物理房间内的体验。动态更新可以涉及改变其状态被改变的每个设备的照片般逼真的描绘的外观（例如，照明级别、颜色、色温、媒体内容、位置或其他视觉属性）。动态更新还可以涉及改变边界、家具、以及当前没有使其状态改变的其他设备的基本上照片般逼真的描绘的外观（例如，阴影和反射），以描绘状态改变对这些项目的影响。以这种方式，当状态被改变时，3-d图形引擎在该虚拟房间中模仿用户将在该物理房间中观察到的体验。
39.图2f-2g是图2a的示例用户可导航3-d虚拟房间的屏幕截图，其图示了响应于与照明设备的基本上照片般逼真的描绘的用户交互而对照明设备的照明的改变。在图2f中，用户与照明设备、具体地是嵌入式罐式灯具232的描绘进行交互（例如，触摸、点击等）。响应于此类交互，控制app使得家庭自动化系统100激活该物理房间中的嵌入式罐式灯具232。控制app的图形引擎进一步动态地更新该虚拟房间中的嵌入式罐式灯具232的描绘的外观，使得它看起来被照亮（例如，在其位置处强加虚拟光源），并且基于该改变来动态地更新边界（诸如，墙壁上的阴影和反射250）、家具（诸如，沙发上的阴影和反射254）以及其他设备（诸如，吊灯上的阴影和反射252）的描绘的外观，如图2g中所示。
40.图2h-2i是图2a的示例用户可导航的3-d虚拟房间的屏幕截图，其图示了响应于与该设备的基本上照片般逼真的描绘的用户交互而对显示设备的状态的改变。在这里，状态是媒体内容状态，即通道（例如，电视通道）。然而，应当理解的是，媒体内容状态可以采取其他形式，诸如源（例如，来自dvd、线缆盒等的信号）、媒体文件（例如，电影文件、tv节目文件等）等。在图2h中，用户与显示设备、具体地是电视239的描绘进行交互（例如，触摸、点击等）。响应于此类交互，控制app使得家庭自动化系统100改变该物理房间中的电视的通道，这里是从通道6到通道1。此类改变可以涉及通过多个中间通道来循环（例如，响应于重复的触摸、点击等）。控制app的图形引擎进一步动态地更新电视239的描绘的外观，使得该通道的实际媒体内容被显示在该用户可导航的3-d虚拟房间中的电视239内，如图1中所示。
41.除了对照明设备的照明的改变和对显示设备的状态的改变之外，应当记住的是，可以对其他类型的设备112-124进行各种各样的其他类型的状态改变。例如，响应于与电子窗帘的基本上照片般逼真的描绘的用户交互，控制app可以使得家庭自动化系统100激活窗帘的电机以改变窗帘位置（例如，打开或关闭窗帘）。控制app的图形引擎进一步动态地更新该虚拟房间中的电子窗帘的描绘的外观，使得它反映新的窗帘位置，并且基于该改变来动态地更新边界、家具和其他设备的描绘的外观（例如，由于更多或更少的自然光经由窗户进入房间而改变阴影和反射）。
42.同样地，响应于与燃气壁炉的基本上照片般逼真的描绘的用户交互，控制app可以使得家庭自动化系统100向电子点火和燃气供应系统发信号以调节火焰。控制app的图形引擎进一步动态地更新该虚拟房间中的燃气壁炉的描绘的外观，使得它反映改变的火焰状态，并且基于改变的火焰状态来动态地更新边界、家具和其他设备的外观（例如，由于壁炉中的火焰量而改变阴影和反射）。
43.当存在大量设备时，可能难以定位该虚拟房间中的期望设备的基本上照片般逼真的描绘。同样地，当存在针对设备的大量状态时，通过状态来循环可能是无效的或不切实际
的。在此类情况下，该用户可导航的3-d虚拟房间可以被配置成响应于与接口元素的用户交互来显示菜单。该菜单可以列出可以被控制的各种设备以及设备的状态。用户可以选择（例如，通过触摸、点击等）期望的设备和状态。控制app可以使得家庭自动化系统作出期望的状态改变，并且3-d图形引擎可以动态地更新该用户可导航的3-d虚拟房间的外观以反映所述改变，使得用户在该虚拟房间内观看的事物将模仿他们在对应物理房间内的体验。
44.图2j-2l是图2a的示例用户可导航3-d虚拟房间的屏幕截图，其图示了响应于菜单中的选择而对照明设备的状态的改变。在图2j中，用户与菜单接口元素260进行交互（例如，触摸、点击等）。响应于此类交互，控制app使得菜单270被显示，例如覆盖在该虚拟房间上，如图2k中所示。在这个示例中，菜单270包括该物理房间中的照明设备、以及此类设备的可能状态，诸如照明级别、颜色、色温等。用户选择照明设备，在这个示例中是嵌入式罐式灯具238，以及照明级别和颜色。然后，控制app使得家庭自动化系统以期望的颜色将嵌入式罐式灯具238照亮到期望级别。可以支持大量不同的颜色（例如，32位颜色）。控制app的图形引擎进一步动态地更新嵌入式罐式灯具238的描绘的外观，使得它看起来以期望的颜色被照亮到期望级别（例如，在其位置处强加虚拟光源），并且动态地更新该房间中的边界、家具和其他设备的描绘（例如，该描绘上的阴影和反射）的外观，如图2l中所示。当存在大量所支持的颜色（例如，32位颜色）时，通过观察具有不同颜色的虚拟房间来查看该房间将看起来是什么样子的能力可以极大地简化控制。
45.图2m是在更高分辨率下并且在没有视觉伪像的情况下的示例用户可导航的3-d虚拟房间的屏幕截图，其可以更接近地近似商业实现方式。如可以看到的，受控设备（诸如，电视239）、边界（诸如，墙壁）、家具（诸如，沙发）以及其他设备的描绘看起来是基本上照片般逼真的。应当理解的是，图2a-2l中所示的虚拟房间可以以这种方式出现。
46.图3是用于操作基于用户可导航的3-d虚拟房间的用户接口以控制家庭自动化系统100的设备112-124的示例步骤序列的流程图。图3中的步骤总结了上面更详细讨论的操作。在步骤310处，远程控制140、移动设备160或其他电子设备165上的控制app使用图形引擎以从由虚拟相机所定义的第一视角来呈现用户可导航的3-d虚拟房间。该用户可导航的3-d虚拟房间可以包括物理房间的边界（例如，墙壁、天花板、地板等）、该物理房间中存在的家具（例如，沙发、椅子、床、墙饰等）、以及该物理房间中存在的在家庭自动化系统100控制下的设备（例如，照明设备、显示设备、电子窗帘、hvac设备和/或其他类型的设备）的基本上照片般逼真的描绘。在步骤320处，控制app在远程控制140、移动设备160或其他电子设备165的显示屏（例如，触敏显示屏）上、在控制app中显示所呈现的用户可导航的3-d虚拟房间。
47.在步骤330处，控制app确定是否接收到任何显式导航命令（例如，移动命令或节点选择）或隐式动作（例如，对远程控制140、移动设备160或其他电子设备165的位置或取向的改变）。如果是，则在步骤340处，控制app响应于此通过更改虚拟相机的位置和/或取向来改变视角，并且执行循环回到步骤310，其中图形引擎从这个新的视角来重新呈现该虚拟房间。如果否，则执行进行到步骤350，其中控制app确定用户是否已经与该用户可导航的3-d虚拟房间内的设备的基本上照片般逼真的描绘进行了交互（例如，触摸、点击等）。如果是，在步骤360处，控制app使得家庭自动化系统100改变该物理房间中的设备的状态。进一步地，在步骤370处，控制app动态地更新该设备的基本上照片般逼真的描绘的外观（例如，照
明级别、颜色、色温、媒体、媒体内容、位置或其他视觉属性）以及该虚拟房间中的边界、家具和其他设备的基本上照片般逼真的描绘的外观（例如，阴影和反射）。执行然后循环回到步骤310，其中控制app的图形引擎利用这些新的外观来重新呈现该虚拟房间。
48.如果否，则执行进行到步骤380，其中控制app确定用户是否已经与菜单接口元素进行了交互（例如，触摸、点击等）。如果是，在步骤390处，显示被覆盖在该用户可导航的3-d虚拟房间上的菜单。在步骤395处，控制app确定是否已经在菜单中选择了设备和状态。如果是，执行循环到步骤360，其中控制app使得家庭自动化系统100改变该物理房间中的设备的状态。然后，在步骤370处，控制app基于所选状态来动态地更新所选设备的基本上照片般逼真的描绘的外观、以及该虚拟房间中的边界、家具和其他设备的基本上照片般逼真的描绘的外观。执行然后循环回到步骤310处，其中控制app的图形引擎从这些新的外观来重新呈现该虚拟房间。如果否，则控制app等待进一步的用户输入，并且执行循环回到步骤330。
49.基于用户可导航的3-d虚拟房间的用户接口的生成该基于3-d虚拟房间的用户接口通常是结合由在本地计算设备上和/或云中执行的配置应用所执行的数据收集和配置操作、以及由在远程控制140、移动设备160或其他电子设备165上执行的控制app的图形引擎所执行的呈现操作来生成的。图4是用于生成基于用户可导航的3-d虚拟房间的用户接口以控制家庭自动化系统的设备112-124的示例步骤序列的流程图。步骤410-480表示数据收集和配置操作，而步骤485-495表示呈现操作。
50.在步骤410处，安装者将3-d相机放置在物理房间中的多个位置处，并且捕获多个重叠的2-d图像（例如，2-d全景图像）和3-d空间模型（例如，3-d网格）的集合。3-d相机可以使用多种成像和扫描技术中的任一个，诸如单点激光扫描、线轮廓激光扫描、结构化光（非激光）检测、立体视觉等，以产生3-d空间模型。优选地，在捕获的时候，设备全部处于去激活或“关闭”状态中，以简化外观效果的稍后生成。
51.在步骤420处，将2-d图像（例如，2-d全景图像）和3-d空间模型（例如，3-d网格）从3-d相机导入到拼接应用，所述拼接应用可以在云中或在本地计算设备上执行。在一个实现方式中，该拼接应用可以是matterport
®
基于云的软件包。在步骤430处，安装者利用该拼接应用以将2-d图像（例如，2-d全景图像）和3-d空间模型（例如，3-d网格）拼接在一起，以将图像数据链接（即，拼接）到3-d空间模型中的对应位置。
52.在步骤440处，将所拼接的2-d图像和3-d空间模型导入到3-d建模应用中，该3-d建模应用可以在云中或在本地计算设备上执行。在一个实现方式中，该3-d建模应用可以是unity
®
或unreal
®ꢀ
3d开发平台。在步骤450处，安装者利用该3-d建模应用来校正视觉伪像。视觉伪像可由捕获和拼接过程中的多种因素而引起。例如，诸如显示屏或窗玻璃之类的反射表面通常无法很好地捕获，并且可能引入需要校正的视觉伪像。在步骤460处，安装者利用该3-d建模应用以利用命中区域（即，3-d命中框）来标记设备的描绘，并且将这些命中区域映射到家庭自动化系统100的设备属性和控制命令，以用于改变设备的状态。例如，照明设备可以利用围绕其外部范围的命中区域来标记，并且被映射到由某些照明控制命令控制的照明负载的照明属性（例如，以改变照明级别、颜色、色温等）。同样地，显示设备可以利用围绕其屏幕的命中区域来标记，并且被映射到由影响媒体内容状态（例如，通道、源、文件等）的某些控制命令控制的显示设备的显示属性。类似地，电子窗帘可以利用围绕其外部范围的命中区域来标记，并且被映射到由某些位置控制命令控制的电子窗帘的移动属性。
53.在步骤470处，安装者利用该3-d建模应用以将外观改变指派到与其属性和控制命令一致的设备的描绘。所指派的外观改变定义了当发出控制命令时该控制app的图形引擎应当如何更新设备的描绘来与该物理房间中发生的改变一致、以及外观改变应当如何影响该房间中的边界、家具和其他设备的外观。所指派的外观改变可以具有基于设备属性的类型和界限。在步骤480处，将经伪像校正的、经标记的、经外观指派的、所拼接的2-d图像和3-d空间模型（现在被称为虚拟房间）导出到控制app，以用于包括在基于用户可导航的3-d虚拟房间的用户接口中。
54.该虚拟房间由控制app的图形引擎来呈现。在步骤485处，控制app确定指示用户期望视角的虚拟相机是否处于与从其捕获2-d图像（例如，2-d全景图像）中的一个的位置相对应的位置处。如果是，则在步骤485处，控制app的图形引擎通过使用来自从那个位置捕获的2-d图像（例如，2-d全景图像）的数据来呈现该虚拟房间。如果否，则在步骤495处，控制app的图形引擎根据3-d空间模型（例如，3-d网格）来混合可用的2-d图像（例如，2-d全景图像）（例如，改变其阿尔法通道和呈现层），并且使用经混合的数据来呈现该虚拟房间。
55.总之，提供了一种用于控制家庭自动化系统的设备的基于用户可导航的3-d虚拟房间的用户接口。虽然上面的描述使用了某些特定示例，但是应当明显的是，可以对其进行多个修改和/或添加。例如，虽然上面讨论了远程控制140、移动设备160或其他电子设备165中的每一个可以具有触敏显示屏，并且可以利用手势和触摸来做出基于用户可导航的3-d虚拟房间的用户接口中的用户输入，但是应当理解的是，该接口可以适于非触敏显示器，并且可以经由定点设备和光标（例如，具有通过点击项目来进行的选择）或其他类型的输入设备来接收用户输入。
56.同样地，虽然上面描述了基于用户可导航的3-d虚拟房间的用户接口可以用于控制建筑物中的所配置的家庭自动化系统100，但是基于用户可导航的3-d虚拟房间的用户接口可以适于在销售或设置角色中在预览或预配置家庭自动化系统中使用。例如，可以在购买之前向用户示出使用用户可导航的3-d虚拟房间的建筑物中可以产生的效果。替代地，在该系统首次被安装或设置时的预配置过程期间，可以向用户示出可产生的可能效果。在此类情况下，在显示的时候，效果可能不会在该物理房间中实际产生。
57.进一步地，虽然上面讨论了用户可导航的3-d虚拟房间模仿物理房间的外观，并且讨论了各种类型的视觉外观，但是应当理解的是，外观也可以包括该物理房间中的体验的非视觉方面，诸如声音。在此类情况下，控制app可以在远程控制140、移动设备160和其他电子设备165的扬声器上播放正在该物理房间中播放的音频和/或模仿该物理房间中的环境声音的声音效果。例如，当用户激活电视239并将其改变到通道时，该通道的实际音频可以由远程控制140、移动设备160和其他电子设备165的扬声器伴随用户可导航的3-d虚拟房间的视觉显示来播放。同样地，当用户改变电子窗帘的位置时，模仿窗帘升起或降下的声音效果可以由远程控制140、移动设备160和其他电子设备165的扬声器伴随用户可导航的3-d虚拟房间的视觉显示来播放。
58.更进一步地，虽然上面讨论了该物理房间中的设备的状态可以响应于与该设备的基本上照片般逼真的描绘的用户交互（诸如，对该用户可导航的3-d虚拟房间中的设备的描绘进行用户触摸、点击等）而改变，但是应当理解，状态中的一些改变可以被配置成在预定义时间处触发或者响应于预定条件被满足而触发。在一个实施例中，用户可以与该系统交
互，以配置照明设备的照明级别、颜色和/或色温和/或其他状态，以遍及该天来动态地改变，从而提供昼夜节律照明。状态的此类改变可以至少部分地基于捕获室外环境的当前照明数据的室外传感器。该用户可导航的3-d虚拟房间中的照明设备、边界和家具的描绘的外观被更新，以反映由昼夜节律照明实现的改变的状态。
59.最后，应当理解的是，上面描述的步骤可以以硬件、软件（具体实施为包括软件的非暂时性电子设备可读介质）、固件或其组合来实现。非暂时性电子设备可读介质可以采取诸如随机存取存储器（ram）之类的存储器、诸如硬盘驱动器或闪存设备之类的磁盘、或其他有形存储介质的形式。一般而言，应当理解的是，上面的描述旨在仅以示例的方式来进行。