使用增强现实可视化的智能家居设备放置和安装的制作方法

使用增强现实可视化的智能家居设备放置和安装
1.分案说明
2.本技术属于申请日为2019年6月17日的中国发明专利申请201980024648.3的分案申请。
3.相关申请的交叉引用
4.本技术要求于2018年6月15日提交的美国临时申请序列no.62/685,806的权益和优先权，其全部公开内容通过引用合并于此。
技术领域
5.本专利说明书主要涉及智能家居设备的安装和放置。更具体地，本公开描述了添加增强现实视图以可视化由智能家居设备发射和/或捕获的不可见场的覆盖范围，从而优化区域中的设备放置。


背景技术：

6.智能家居设备正迅速成为现代家居体验的一部分。这些设备可以包括恒温器，键盘，触摸屏和/或其他用于控制环境系统(例如hvac系统或照明系统)的控制设备。智能家居环境还可以包括智能器具，诸如洗衣机、洗碗机、冰箱、垃圾桶等，它们与控制和/或监视设备接口连接，以增加提供给居住者的功能和控制的水平。包括相机、键盘、传感器、运动检测器、玻璃破碎传感器、麦克风等的安全系统也可以被安装作为智能家居体系结构的一部分。其他智能家居设备可能包括门铃、监视系统、危险检测器、智能灯泡、以及实际上可以经由有线/无线网络进行控制的任何其他电子设备。
7.这些智能家居设备中的每一个都可以包括具有视场的传感器。传感器的视场可以包括：可以检测到运动的范围、可以传输无线通信的范围、可以检测到烟雾的区域等等。在安装期间，用户可能期望各种传感器在他们的智能家居设备上的视场有效地捕获周围区域中的事件。


技术实现要素：

8.在一些实施例中，一种用于优化智能家居设备的放置的方法可以包括：由移动计算设备接收智能家居设备的位所，其中移动计算设备可以包括显示器和相机。该方法还可以包括渲染表示智能家居设备的视场的虚拟对象的视图，其中虚拟对象的视图可以基于与移动计算设备的位置相对应的位置来渲染。该方法可以另外包括：由移动计算设备在移动计算设备的显示器上显示表示智能家居设备的视场的虚拟对象的视图。
9.在一些实施例中，一种系统可以包括一个或多个处理器以及包括指令的一个或多个存储器设备，所述指令在被一个或多个处理器执行时使得一个或多个处理器执行操作，所述操作包括：由移动计算设备接收智能家居设备的位所，其中，移动计算设备可以包括显示器和相机。操作还可以包括渲染表示智能家居设备的视场的虚拟对象的视图，其中虚拟对象的视图可以基于与移动计算设备的位置相对应的位置来渲染。操作可以另外包括：由
移动计算设备在移动计算设备的显示器上显示表示智能家居设备的视场的虚拟对象的视图。
10.在一些实施例中，一种非暂时性计算机可读介质可以包括指令，所述指令在被一个或多个处理器执行时使得一个或多个处理器执行操作，所述操作包括：由移动计算设备接收智能家居设备的位所，其中移动计算设备可以包括显示器和相机。操作还可以包括渲染表示智能家居设备的视场的虚拟对象的视图，其中虚拟对象的视图可以基于与移动计算设备的位置相对应的位置来渲染。操作可以另外包括：由移动计算设备在移动计算设备的显示器上显示表示智能家居设备的视场的虚拟对象的视图。
11.在任何实施例中，以下特征中的一个或多个可以被以任何组合并入且不限于此。接收智能家居设备的位所可以包括：由移动计算设备的相机捕获智能家居设备的视图；和确定相对于移动计算设备的位所的智能家居设备的位所。接收智能家居设备的位所可以包括：接收移动计算设备的第一位置；接收相对于第一位置的移动计算设备的第二位置；以及使用第一位置作为智能家居设备的位所。接收智能家居设备的位所可以包括：在移动计算设备的显示器上接收手指点击输入；和基于移动计算设备的相机的视图和手指点击输入来确定智能家居设备的位所。虚拟对象可以包括远离智能家居设备的位置突出的锥体。从与移动计算设备在3d虚拟场景中的位置相对应的虚拟相机的视角，可以将虚拟对象渲染为虚拟3d场景的一部分。渲染虚拟对象的视图可以包括基于智能家居设备的视场内的障碍物来剪辑虚拟对象的视图的一部分。智能家居设备可以包括磁传感器，并且智能家居设备的视场可以包括其中磁传感器可以检测磁体的区域。智能家居设备可以包括无线电设备，并且智能家居设备的视场可以包括无线电设备的范围。智能家居设备可以包括运动传感器，并且智能家居设备的视场可以包括运动传感器可以在其中检测运动的区域。智能家居设备可以包括相机，并且智能家居设备的视场可以包括可以由相机捕获的区域。当用户和/或移动计算设备不在智能家居设备的视场中时，虚拟对象的视图可以以第一颜色渲染，并且当用户和/或移动计算设备在智能家居设备的视场中时，虚拟对象的视图可以以第二颜色渲染。对于视场的第一部分，可以以第一颜色渲染虚拟对象的视图，并且对于视场的第二部分，可以以第二颜色渲染虚拟对象的视图。虚拟对象的形状可以根据智能家居设备上的灵敏度设置而改变。方法/操作还可以包括：识别智能家居环境中的干扰智能家居设备的视场的来源；渲染表示由来源生成的干扰的区域的第二虚拟对象的视图；以及通过移动计算设备显示第二虚拟对象的视图和虚拟对象的视图。该方法/操作还可以包括：接收描述智能家居环境的至少一部分的信息；确定智能家居环境中应该或不应该安装智能家居设备的位所；渲染第二虚拟对象的视图，该视图表示智能家居环境中应安装或不应安装智能家居设备的位所；以及通过移动计算设备显示第二虚拟对象的视图和虚拟对象的视图。方法/操作还可以包括：在安装期间接收智能家居设备的视图；生成用于安装智能家居设备的指令的视图；和在安装期间在移动计算设备的显示器上显示层置在智能家居设备的视图上的用于安装智能家居设备的指令。方法/操作还可以包括：连接到第二计算设备；和通过第二计算设备从用户接收即时安装指令。
12.通过参考说明书的其余部分和附图，可以实现对本发明的本质和优点的进一步理解。还应注意，在以下公开内容和权利要求中可以描述其他实施例。
附图说明
13.图1是根据一些实施例的在其中将可应用本文进一步描述的设备、方法、系统、服务和/或计算机程序产品中的一个或多个的智能家居环境的示例。
14.图2a图示根据一些实施例的包括智能家居网络的代表性网络架构的简化框图。
15.图2b图示根据一些实施例的其中服务器系统与客户端设备和智能设备交互的简化的操作环境。
16.图3是图示根据一些实现方式的代表性智能设备的框图。
17.图4图示根据一些实施例的在智能家居环境中具有视场的相机形式的智能家居设备。
18.图5图示根据一些实施例的在智能家居环境中具有视场的危险检测器形式的智能家居设备。
19.图6图示根据一些实施例的在智能家居环境中具有视场的恒温器形式的智能家居设备。
20.图7图示根据一些实施例的在智能家居环境中具有视场的安全设备形式的智能家居设备。
21.图8图示根据一些实施例的在智能家居环境中具有相关联的视场的家居助理形式的智能家居设备。
22.图9图示根据一些实施例的具有通过移动设备观察智能家居环境901的移动设备的用户。
23.图10a图示根据一些实施例的可以在移动设备上渲染和显示的虚拟3d场景。
24.图10b图示根据一些实施例的可以如何使用移动设备的相机视觉地映射智能家居环境的几何形状。
25.图10c图示根据一些实施例的允许用户设计智能家居环境的布局的计算设备上的图形界面。
26.图11图示根据一些实施例的允许用户通过智能手机可视化危险检测器的视场的智能家居环境的视图。
27.图12图示根据一些实施例的具有可以通过智能手机可视化的相应视场的恒温器的另一示例。
28.图13图示根据一些实施例的包括在可视化过程中可能涉及的不同设备的架构。
29.图14图示根据一些实施例的具有多个智能家居设备的复杂智能家居环境。
30.图15a图示根据一些实施例的具有范围指示的视场。
31.图15b图示根据一些实施例的由于障碍物而改变的智能家居设备的视场。
32.图15c图示根据一些实施例的基于智能家居设备的灵敏度偏好调整的视场。
33.图15d图示根据一些实施例的用于优化智能家居设备的放置的方法的流程图。
34.图16图示根据一些实施例的具有用于安装智能家居设备的可视化的智能家居环境的可视化。
35.图17图示根据一些实施例的用于安装多个智能家居设备的增强现实可视化。
36.图18a图示根据一些实施例的在安装之前使用移动设备标记智能家居设备的潜在位所的方法。
37.图18b图示根据一些实施例的在安装之前通过移动设备对移动家居设备的建议位所的视图。
38.图19a图示根据一些实施例的测试视场的增强现实可视化。
39.图19b图示根据一些实施例的视场在检测到用户时可以如何改变。
40.图20图示根据一些实施例的移动设备可以如何接收内部墙壁信息的示例。
41.图21图示根据一些实施例的可以由可视化应用在安装过程期间估计、建模和/或可视化的附加环境元素。
42.图22a图示根据一些实施例的通过智能手机查看包括不可视干扰源的安装位所的视图。
43.图22b图示根据一些实施例的用于安装智能家居设备的方法的流程图。
44.图23图示根据一些实施例的在安装程序期间的恒温器的背板。
45.图24图示根据一些实施例的在通过智能手机的安装期间的智能家居设备的视图。
46.图25图示根据一些实施例的在安装过程期间可视化应用可以如何识别用户做出的错误。
47.图26图示根据一些实施例的检测到被不适当地修剪的电线的可视化应用的示例。
48.图27图示根据一些实施例的可视化应用可以如何检测何时暴露了太多布线。
49.图28图示根据一些实施例的检测到需要被重新修剪的电线的可视化应用。
50.图29图示根据一些实施例的检测到被插入正确的布线插座中但是不正确地就座的电线的可视化应用。
具体实施方式
51.在下面的详细描述中，出于解释的目的，阐述了许多具体细节以提供对本发明的各种实施例的透彻理解。本领域普通技术人员将认识到，本发明的这些各种实施例仅是示例性的，而不旨在以任何方式进行限制。受益于本公开的本领域技术人员将容易想到本发明的其他实施例。对于本领域技术人员将显而易见的是，可以在没有一些或所有这些具体细节的情况下实践本发明。在其他实例中，没有详细描述众所周知的细节，以免不必要地使本发明模糊。
52.另外，为了清楚目的，并未示出或描述本文所述实施例的所有常规特征。本领域普通技术人员将容易理解，在任何这样的实际实施例的开发中，可能需要许多实施例特定的决定来实现特定的设计目标。这些设计目标将在一个实施例与另一个之间以及在一个开发人员与另一个之间不同。此外，将意识到，这样的开发工作可能是复杂且耗时的，但是对于受益于本公开的本领域普通技术人员而言仍将是常规的工程工作。
53.图1图示根据一些实施例的示例智能家居环境100。智能家居环境100包括具有各种集成设备的建筑物150(例如，房屋、办公楼、车库或移动房屋)。将理解的是，设备还可以被集成到不包括诸如公寓、独立产权公寓或办公室空间的整个建筑物150的智能家居环境100中。此外，智能家居环境100可以控制和/或耦合到实际建筑物150外部的设备。确实，智能家居环境100中的若干设备不需要物理上在建筑物150内。例如，控制水池加热器114或灌溉系统116的设备可以位于建筑物150的外部。
54.术语“智能家居环境”可以指的是诸如单户住宅之类的家庭的智能环境，但是本教
导的范围不限于此。本教导还适用于但不限于复式、联排别墅、多单元公寓建筑、旅馆、零售店、办公楼、工业建筑、并且更一般地，任何居住空间或工作空间。类似地，尽管术语用户、顾客、安装者、房主、居住者、客人、房客、房东、维修人员等可以用来指代在本文所述的某些特定情况下活动的一个或多个人，但是相对于正在执行这种动作的一个人或多个人，这些参考不限制本教导的范围。因此，例如，在单户住宅的情况下，术语用户、客户、购买者、安装者、订户和房主可能经常指同一个人，因为户主通常是做出购买决定，购买单元，安装和配置单元以及为该单元的用户之一的人。但是，在其他情况下，例如房东-租户环境，就购买单元而言，客户可能是房东，安装者可能是本地公寓管理员，第一用户可能是房客，第二用户可能再次在远程控制功能方面是房东。尽管执行动作的人的身份可能与一个或多个实现方式提供的特定优点密切相关，但这种身份不应在随后的描述中解释为必然而将本教导的范围限制于具有那些特殊的身份的那些特定的个人。
55.所描绘的建筑物150包括多个房间152，这些房间152经由壁154至少部分地彼此分开。壁154可以包括内壁或外壁。每个房间可以进一步包括地板156和天花板158。设备可以安装在壁154、地板156或天花板158上，与壁154、地板156或天花板158集成和/或由其支撑。
56.在一些实现方式中，智能家居环境100的集成设备包括智能的多感测的网络连接的设备，其在智能家居网络中彼此无缝地集成和/或与中央服务器或云计算系统无缝地集成，以提供各种有用的智能家居功能。智能家居环境100可以包括一个或多个智能的多感测的网络连接的恒温器102(以下称为“智能恒温器102”)、一个或多个智能的网络连接的多感测危险检测单元104(以下称为“智能危险检测器104”)、一个或多个智能的多感测的网络连接的入口接口设备106和120(以下称为“智能门铃106”和“智能门锁120”)、一个或多个智能的多感测的网络连接的警报系统122(以下称为“智能警报系统122”)。尽管在图1中没有明确描述，智能家居环境100还可以包括其他监视系统，诸如婴儿监视系统、老人监视系统、残障监视系统等等。
57.在一些实现方式中，一个或多个智能恒温器102检测周围气候特征(例如，温度和/或湿度)并相应地控制hvac系统103。例如，相应的智能恒温器102包括环境温度传感器。
58.一个或多个智能危险检测器104可以包括指向各个热源(例如，炉子、烤箱、其他器具、壁炉等)的热辐射传感器。例如，厨房153中的智能危险检测器104可以包括指向炉子/烤箱112的热辐射传感器。热辐射传感器可以确定其指向的各个热源(或其一部分)的温度并可以提供相应的黑体辐射数据作为输出。
59.智能门铃106和/或智能门锁120可以检测人的接近或离开位所(例如，外门)，控制门铃/门锁定功能(例如，从便携式电子设备166-1接收用户输入以致动智能门锁120的闩拴)，经由音频或视觉设备宣布人的接近或离开，和/或控制安全系统上的设置(例如，当居住者离开和回来时激活或停用安全系统)。在一些实现方式中，智能门铃106可以包括相机118的一些或全部部件和特征。在一些实现方式中，智能门铃106包括相机118。
60.智能警报系统122可以(例如，使用内置ir传感器)检测个人在近距离内的存在，(例如，通过内置扬声器，或者通过将命令发送给一个或多个外部扬声器)发出警报，并向智能家居网络100内/外的实体或用户发送通知。在一些实现方式中，智能警报系统122还包括用于验证用户的身份的一个或多个输入设备或传感器(例如，键盘、生物特征扫描仪、nfc收发器、麦克风)、以及用于提供通知的一个或多个输出设备(例如显示器，扬声器)。在一些实
现方式中，智能警报系统122还可以被设置为“布防”模式，使得除非执行撤防动作，否则对触发条件或事件的检测将使警报响起。
61.在一些实现方式中，智能家居环境100可包括一个或多个智能的多感测的网络连接的壁开关108(以下称为“智能壁开关108”)以及一个或多个智能的多感测的网络连接的壁插头接口110(以下称为“智能壁插头110”)。智能壁开关108可以检测环境照明条件，检测房间占用状态，并控制一个或多个灯的功率和/或暗淡状态。在某些实例中，智能壁开关108还可以控制诸如吊扇的风扇的电源状态或速度。智能壁插头110可以检测房间或封闭空间的占用，并控制向一个或多个壁插头的供电(例如，使得如果没有人在家，则不向插头供电)。
62.在一些实现方式中，图1的智能家居环境100可以包括多个智能的多感测的网络连接的器具112(以下称为“智能器具112”)，诸如冰箱、炉子、烤箱、电视、洗衣机、烘干机、灯、立体声音响、对讲机系统、车库门开启器、落地风扇、吊扇、壁式空调、水池加热器、灌溉系统、安全系统、空间加热器、窗户空调单元、电动风管通风口等。在一些实现方式中，当插入时，器具可以诸如通过指示器具是什么类型来向智能家居网络宣告其自身，并且它可以自动与智能家居的控件集成。可以通过有线或无线通信协议来促进器具到智能家居的这种通信。智能家居还可以包括各种非通信的传统器具140，诸如旧型号的常规洗衣机/烘干机、冰箱等，它们可以由智能壁插头110控制。智能家居环境100可以进一步包括各种部分通信的传统器具142，诸如红外(“ir”)控制的壁式空调或其他ir控制的设备，其可以由智能危险检测器104、手持式遥控器、按键fob或智能壁开关108提供的ir信号来控制。
63.在一些实现方式中，智能家居环境100可以包括一个或多个网络连接的相机118，其被配置为在智能家居环境100中提供视频监视和安全性。相机118可以用于确定建筑物150和/或建筑物150中的特定房间152的占用，因此可以用作占用传感器。例如，可以处理由相机118捕获的视频以识别建筑物150中(例如，在特定房间152中)的居住者的存在。特定个体可以基于例如他们的外观(例如，身高、面部)和/或运动(例如，他们的步行/步态)来识别。相机118可以另外包括一个或多个传感器(例如，ir传感器、运动检测器)、输入设备(例如，用于捕获音频的麦克风)和输出设备(例如，用于输出音频的扬声器)。在一些实现方式中，相机118可各自被配置为在白天模式和弱光模式(例如，夜间模式)下操作。在一些实现方式中，相机118各自包括一个或多个ir照明器，用于在相机以弱光模式操作时提供照明。在一些实现方式中，相机118包括一个或多个室外相机。在一些实现方式中，室外相机包括附加特征和/或部件，诸如防风雨和/或太阳光线补偿。
64.智能家居环境100可以附加地或替代地包括一个或多个其他占用传感器(例如，智能门铃106、智能门锁120、触摸屏、ir传感器、麦克风、环境光传感器、运动检测器、智能夜灯170等)。在一些实现方式中，智能家居环境100可以(例如，在每个房间152中或其一部分中)包括射频识别(rfid)读取器，其基于位于或嵌入在居住者中的rfid标签来确定占用。例如，rfid读取器可以被集成到智能危险检测器104中，并且rfid标签可以被穿着在用户的衣服中以集成在诸如智能电话的手持设备中。
65.智能家居环境100还可以包括与物理家庭外部但在家庭的邻近地理范围内的设备的通信。例如，智能家居环境100可以包括水池加热器监视器114，该水池加热器监视器114将当前水池温度传达到智能家居环境100内的其他设备和/或接收用于控制水池温度的命
令。类似地，智能家居环境100可以包括灌溉监视器116，其传达关于智能家居环境100内的灌溉系统的信息和/或接收用于控制这种灌溉系统的控制信息。
66.借助于网络连接，图1的一个或多个智能家居设备还可以允许用户与设备交互，即使该用户不靠近该设备。例如，用户可以使用计算机(例如，台式计算机、膝上型计算机或平板计算机)或其他便携式电子设备166(例如，诸如智能电话的移动电话)与设备进行通信。网页或应用可以配置为从用户接收通信并基于该通信控制设备和/或向用户呈现有关设备操作的信息。例如，用户可以查看设备(例如炉子)的当前设定点温度，并使用计算机对其进行调整。用户可以在此远程通信期间位于建筑物中，也可以位于建筑物外部。
67.如上所述，用户可以使用网络连接的计算机或便携式电子设备166来控制智能家居环境100中的智能设备。在一些示例中，一些或全部居住者(例如，居住在家庭中的个人)可以在智能家居环境100中注册其设备166。可以在中央服务器上进行此类注册，以验证居住者和/或与家庭相关联的设备，并向居住者给与使用该设备的权限以控制家庭中的智能设备。居住者可以使用其注册的设备166来远程控制家庭的智能设备，诸如在居住者上班或度假时。当居住者实际上位于家庭内部时，诸如当居住者坐在家庭内部的沙发上时，居住者还可以使用其注册的设备来控制智能设备。应当认识到，代替注册设备166或除了注册设备166之外，智能家居环境100还可以推断出(1)哪些个人居住在家庭里并因此是居住者，以及(2)哪些设备166与那些个人相关联。这样，智能家居环境可以“学习”谁是居住者并允许与那些个人相关联的设备166控制家庭的智能设备。
68.在一些实现方式中，除了包含处理和感测能力之外，设备102、104、106、108、110、112、114、116、118、120和/或122(统称为“智能设备
””
或“智能家居设备”)能够与其他智能设备、中央服务器或云计算系统和/或其他网络连接的设备进行数据通信和信息共享。可以使用各种定制或标准无线协议(例如，ieee 802.15.4、wi-fi、zigbee、6lowpan、thread、z-wave、bluetooth smart、isa100.5a、wirelesshart、miwi等)和/或各种定制或标准有线协议(例如，以太网、homeplug等)中的任何一种、或任何其他合适的通信协议，包括截至本文档提交之日尚未开发的通信协议来执行数据通信。
69.在一些实现方式中，智能设备可以用作无线或有线中继器。在一些实现方式中，第一智能设备经由无线路由器与第二智能设备通信。智能设备可以进一步经由到诸如互联网162之类的网络的连接(例如，网络接口160)彼此通信。通过互联网162，智能设备可以与服务器系统164(也称为中央服务器系统和/或此处的云计算系统)进行通信。服务器系统164可以与与智能设备相关联的制造商、支持实体或服务提供商相关联。在一些实现方式中，用户能够使用智能设备本身来联系客户支持，而不需要使用其他通信装置，诸如电话或与互联网相连的计算机。在一些实现方式中，软件更新被自动从服务器系统164发送到智能设备(例如，当可用时，当购买时或以例行的间隔)。
70.在一些实现方式中，网络接口160包括常规网络设备(例如，路由器)，且图1的智能家居环境100包括集线器设备180，该集线器设备180直接地或经由网络接口160通信地耦合到网络162。集线器设备180可以进一步通信地耦合到上述智能的多感测的网络连接的设备的一个或多个(例如，智能家居环境100的智能设备)。这些智能设备中的每一个可选地使用至少在智能家居环境100中可用的一个或多个无线电通信网络(例如zigbee、z-wave、insteon、bluetooth、wi-fi和其他无线电通信网络)与集线器设备180进行通信。在一些实
现方式中，可以经由在智能电话、家居控制器、膝上型计算机、平板计算机、游戏控制台或类似的电子设备上运行的应用来控制集线器设备180和与集线器设备耦合/耦合至集线器设备的设备和/或与其交互。在一些实现方式中，这种控制器应用的用户可以查看集线器设备或耦合的智能设备的状态，配置集线器设备以与新引入家庭网络的智能设备进行互操作，调试新的智能设备，以及调整或查看连接的智能设备等的设置。在一些实现方式中，集线器设备扩展了低容量智能设备的能力以匹配相同类型的高性能智能设备的能力，集成了多种不同设备类型的功能，甚至跨不同的通信协议，并且被配置为简化新设备的添加和集线器设备的调试。在一些实现方式中，集线器设备180进一步包括本地存储设备，该本地存储设备用于存储与智能家居环境100的智能设备有关或由其输出的数据。在一些实现方式中，数据包括以下一项或多项：相机设备输出的视频数据、智能设备输出的元数据、智能设备的设置信息、智能设备的使用日志等。
71.在一些实现方式中，智能家居环境100包括本地存储设备190，其用于存储与智能家居环境100的智能设备有关的数据或由智能家居环境100的智能设备输出的数据。在一些实现方式中，数据包括以下一项或多项：相机设备(例如，相机118)输出的视频数据、智能设备输出的元数据、智能设备的设置信息、智能设备的使用日志等。在一些实现方式中，本地存储设备190经由智能家居网络可通信地耦合到一个或多个智能设备。在一些实现方式中，本地存储设备190经由有线和/或无线通信网络选择性地耦合到一个或多个智能设备。在一些实现方式中，当外部网络条件差时，本地存储设备190用于存储视频数据。例如，当相机118的编码比特率超过外部网络(例如，网络162)的可用带宽时，使用本地存储设备190。在一些实现方式中，本地存储设备190在将视频数据传递到服务器系统(例如，服务器系统164)之前临时存储来自一个或多个相机(例如，相机118)的视频数据。
72.在一些实现方式中，智能家居环境100包括服务机器人168，其被配置为以自主方式执行各种家庭任务中的任何一项。
73.图2a图示根据一些实现方式的包括智能家居网络202的代表性网络架构200的简化框图。在一些实现方式中，智能家居环境100中的智能设备204(例如，设备102、104、106、108、110、112、114、116、118、120和/或122)与集线器设备180结合以在智能家居网络202中创建网状网络。在一些实现方式中，智能家居网络202中的一个或多个智能设备204操作作为智能家居控制器。附加地和/或可替代地，集线器设备180操作作为智能家居控制器。在一些实现方式中，智能家居控制器比其他智能设备具有更多的计算能力。在一些实现方式中，智能家居控制器处理(例如，来自智能设备204、电子设备166和/或服务器系统164的)输入并且(例如，向智能家居网络202中的智能设备204)发送命令以控制智能家居环境100的操作。在一些实现方式中，智能家居网络202中(例如，网格网络中)的一些智能设备204是“发言人”节点(例如204-1)，而其他是“低功率”节点(例如204-9)。智能家居环境100中的一些智能设备由电池供电，而其他智能设备具有常规且可靠的电源，诸如通过连接到智能家居环境的壁154后面的电线(例如，连接至120v线电压电线)。具有常规和可靠电源的智能设备称为“发言人”节点。这些节点通常具备使用无线协议来促进与智能家居环境100中的各种其他设备以及与服务器系统164的双向通信的能力。在一些实现方式中，一个或多个“发言人”节点操作作为智能家居控制器。另一方面，由电池供电的设备是“低功率”节点。这些节点倾向于比发言人节点小，并且通常仅使用需要很少功率的无线协议(例如zigbee、zwave、
6lowpan、thread、bluetooth等)进行通信。
74.在一些实现方式中，一些低功率节点可能不能进行双向通信。这些低功率节点可能发送消息，但不能“监听”。因此，智能家居环境100中的其他设备，诸如发言人节点，不需要将信息发送到这些低功率节点。在一些实现方式中，一些低功率节点仅能够进行有限的双向通信。例如，其他设备只能在特定时间段内与低功率节点进行通信。
75.在一些实现方式中，智能设备可以用作低功率节点和发言人节点以在智能家居环境100中创建网状网络。在一些实现方式中，智能家居环境中的各个低功率节点可以有规律地发送出有关其感知内容的消息，以及智能家居环境中的其他低功耗节点——除了发出自己的消息外——可能转发这些消息，从而导致消息在整个智能家居网络202从节点传播至节点(例如，设备至设备)。在一些实现方式中，能够使用诸如ieee 802.11的相对高功率的通信协议进行通信的智能家居网络202中的发言人节点能够切换到相对功率通信协议诸如ieee 802.15.4以接收这些消息，将消息转换为其他通信协议，并将转换后的消息发送到其他发言人节点和/或服务器系统164(使用例如相对高功率的通信协议)。因此，使用低功率通信协议的低功率节点能够跨整个智能家居网络202以及通过因特网162向服务器系统164发送和/或接收消息。在一些实现方式中，网状网络使服务器系统164能够规律地从家庭中的大多数或所有智能设备接收数据，基于数据进行推断，促进智能家居网络202内外的设备之间的状态同步以及向一个或多个智能设备发送命令以在智能家居环境中执行任务。
76.发言人节点和一些低功率节点能够“监听”。因此，用户、其他设备和/或服务器系统164可以将控制命令传达给低功率节点。例如，用户可以使用电子设备166(例如，智能电话)通过互联网将命令发送到服务器系统164，服务器系统164随后将命令中继到智能家居网络202中的一个或多个发言人节点。发言人节点可以使用低功率协议来将命令传达给整个智能家居网络202中的低功率节点，以及传达给未直接从服务器系统164接收命令的其他发言人节点。
77.在一些实现方式中，作为智能设备204的示例的智能夜灯170是低功率节点。除了容纳光源之外，智能夜灯170还容纳诸如超声或被动ir传感器的占用传感器和诸如如测量室内光线的光敏电阻或单像素传感器的环境光传感器。在一些实现方式中，智能夜灯170被配置为在其环境光传感器检测到房间黑暗时以及当其占用传感器检测到有人在房间中时激活光源。在其他实现方式中，智能夜灯170仅被配置为在其环境光传感器检测到房间黑暗时激活光源。此外，在一些实现方式中，智能夜灯170包括低功率无线通信芯片(例如，zigbee芯片)，该低功率无线通信芯片规律地发送出关于房间的占用和房间中的光量的消息，包括与占用传感器检测房间中的人的存在一致的瞬时消息。如上所述，这些消息可以在智能家居网络202内从节点到节点(即，从智能设备到智能设备)无线地(例如，使用网状网络)发送，以及通过因特网162发送到服务器系统164。
78.低功率节点的其他示例包括智能危险检测器104的电池操作版本。这些智能危险检测器104通常位于无法访问恒定且可靠的功率的区域中，并且可以包括任何数量和类型的传感器，诸如烟雾/火灾/热传感器(例如，热辐射传感器)、一氧化碳/二氧化碳传感器、占用/运动传感器、环境光传感器、环境温度传感器、湿度传感器等。此外，智能危险检测器104可以诸如通过使用如上所述的网状网络将与各个传感器中的每个传感器相对应的消息发送到其他设备和/或服务器系统164。
79.发言人节点的示例包括智能门铃106、智能恒温器102、智能壁开关108和智能壁插头110。这些设备通常位于可靠电源附近并与之连接，并且因此可能包括更多耗电部件，诸如一个或多个能够以多种协议进行双向通信的通信芯片。
80.如以上参考图1所解释的，在一些实现方式中，图1的智能家居环境100包括集线器设备180，该集线器设备180直接地或经由网络接口160通信地耦合到网络162。集线器设备180还使用至少在智能家居环境100中可用的无线电通信网络通信地耦合到的一个或多个智能设备。无线电通信网络使用的通信协议包括但不限于zigbee、z-wave、insteon、euocean、thread、osian、bluetooth low energ等。在一些实现方式中，集线器设备180不仅转换从每个智能设备接收到的数据以满足网络接口160或网络162的数据格式要求，而且转换从网络接口160或网络162接收到的信息，以满足与目标智能设备相关联的各个通信协议的数据格式要求。在一些实现方式中，除了数据格式转换之外，集线器设备180还初步处理从智能设备接收到的数据或从网络接口160或网络162接收到的信息。例如，集线器设备180可以集成来自多个传感器/连接的设备(包括相同和/或不同类型的传感器/设备)的输入，对这些输入执行更高级别的处理-例如，评估整体环境并协调不同的传感器/设备之中的操作-和/或基于输入的收集和编程的处理为不同的设备提供指令。还应注意，在一些实现方式中，网络接口160和集线器设备180被集成到一个网络设备。本文描述的功能表示智能设备、在代表性电子设备(诸如智能电话)上运行的控制应用、集线器设备180以及经由互联网或其他广域网(wan)耦合到集线器设备的服务器的特定实现方式。该功能和相关操作的全部或一部分可以由所描述的系统的任何元素执行-例如，本文所述的由集线器设备的实现方式所执行的全部或部分功能可以在不同的系统实现方式中在整个或部分服务器、一个或多个连接的智能设备和/或控制应用或其不同组合上加以执行。
81.图2b图示代表性的操作环境，其中服务器系统164提供数据处理以监视和促进对由摄像机118捕获的视频流中的事件(例如，运动、音频、安全性等)进行查看。如图2b所示，服务器系统164从位于各种物理位所(例如，在图1的住宅、饭店、商店、街道、停车场和/或智能家居环境100内)的视频源222(包括相机118)接收视频数据。每个视频源222可以绑定到一个或多个查看者账户，并且服务器系统164将视频源222的视频监视数据提供给与查看者账户相关联的客户端设备220。例如，便携式电子设备166是客户端设备220的示例。在一些实现方式中，服务器系统164是向视频源和客户端设备220提供视频处理服务的视频处理服务器。
82.在一些实现方式中，每个视频源222包括一个或多个摄像机118，其捕获视频并将捕获的视频基本实时地发送到服务器系统164。在一些实现方式中，每个视频源222包括控制器设备(未示出)，该控制器设备用作一个或多个相机118和服务器系统164之间的中介。控制器设备从一个或多个相机118接收视频数据，可选地对视频数据执行一些初步处理，并代表一个或多个相机118将视频数据基本上实时地发送到服务器系统164。在一些实现方式中，每个相机具有其自身的机载处理能力，以在将处理后的视频数据(连同通过初步处理获得的元数据)发送到控制器设备和/或服务器系统164之前，对捕获的视频数据进行一些初步处理。
83.根据一些实现方式，每个客户端设备220包括客户端侧模块。客户端侧模块通过一个或多个网络162与在服务器系统164上执行的服务器侧模块通信。客户端侧模块提供用于
事件监视和查看处理的客户端侧功能并且与服务器侧模块通信。服务器侧模块提供用于针对每个驻留在各自的客户端设备220上的任意数量的客户端侧模块的事件监视和查看处理的服务器侧功能。服务器侧模块还提供用于针对包括任何数量的控制设备和相机118的任何数量的视频源222的视频处理和相机控制的服务器侧功能。
84.在一些实现方式中，服务器系统164包括一个或多个处理器212、视频存储数据库210、账户数据库214、到一个或多个客户端设备216的i/o接口以及到一个或多个视频源218的i/o接口。到一个或多个客户端216的i/o接口促进面向客户端的输入和输出处理。账户数据库214存储用于向视频处理服务器注册的查看者账户的多个简档，其中，相应的用户简档包括针对相应的查看者账户的账户凭证以及链接到相应的查看者账户的一个或多个视频源。到一个或多个视频源218的i/o接口促进了与一个或多个视频源222(例如，一个或多个相机118和相关联的控制器设备的组)的通信。视频存储数据库210存储从视频源222接收到的原始视频数据以及各种类型的元数据，诸如如运动事件、事件类别、事件类别模型、事件过滤器和事件掩码，以用于针对每个查看者账户的事件监视和查看的数据处理。
85.代表性客户端设备220的示例包括手持计算机、可穿戴计算设备、个人数字助理(pda)、平板计算机、膝上型计算机、台式计算机、蜂窝电话、智能电话、增强型通用分组无线服务(egprs)移动电话、媒体播放器、导航设备、游戏机、电视、遥控器、销售点(pos)终端、车载计算机、电子书阅读器、或这些数据处理设备或其他数据处理设备中的任何两个或多个的组合。
86.一个或多个网络162的示例包括局域网(lan)和诸如因特网的广域网(wan)。一个或多个网络162使用包括各种有线或无线协议，诸如以太网、通用串行总线(usb)、firewire、长期演进(lte)、全球移动通信系统(gsm)、增强型数据gsm环境(edge)、码分多址(cdma)、时分多址(tdma)、蓝牙、wi-fi、互联网协议语音(voip)、wi-max或任何其他合适的通信协议的任何已知的网络协议来实现。
87.在一些实现方式中，服务器系统164可以在一个或多个独立的数据处理装置或计算机的分布式网络上实施。在一些实现方式中，服务器系统164还采用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统164的基础计算资源和/或基础设施资源。在一些实现方式中，服务器系统164包括但不限于服务器计算机、手持式计算机、平板计算机、膝上型计算机、台式计算机、或者这些数据处理设备或其他数据处理设备的任何两个或多个的组合。
88.图2b中所示的服务器-客户端环境包括客户端侧部分(例如，客户端侧模块)和服务器侧部分(例如，服务器侧模块)两者。操作环境的客户端部分和服务器部分之间的功能划分可能在不同的实现方式中变化。类似地，视频源222和服务器系统164之间的功能划分可以在不同的实现方式中变化。例如，在一些实现方式中，客户端侧模块是瘦客户端，其仅提供面向用户的输入和输出处理功能，并将所有其他数据处理功能委托给后端服务器(例如，服务器系统164)。类似地，在一些实现方式中，视频源222中的相应一个是简单的视频捕获设备，其连续捕获视频数据并将其流送到服务器系统164，而对视频数据进行有限本地初步处理或不对视频数据进行本地初步处理。尽管从服务器系统164的角度描述了本技术的许多方面，但是由客户端设备220和/或视频源222执行的相应动作对于本领域技术人员将是显而易见的。类似地，可以从客户端设备或视频源的角度描述本技术的一些方面，并且由
smart、isa100.5a、wirelesshart、miwi等)，定制或标准有线协议(例如，以太网，homeplug等)中的任何一种和/或任何其他合适的通信协议，包括在本文档提交之日尚未开发的通信协议进行数据通信。
94.通信接口304包括例如能够使用各种定制或标准无线协议(例如，ieee 802.15.4、wi-fi、zigbee、6lowpan、thread、z-wave、bluetooth smart、isa100.5a、wirelesshart、miwi等)中的任何一种和/或各种定制或标准有线协议(例如，以太网、homeplug等)中的任何一种，或任何其他合适的通信协议，包括在本文档提交之日尚未开发的通信协议进行数据通信。
95.存储器306包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备；并可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器306或替代地存储器306内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实现方式中，存储器306或存储器306的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：操作逻辑320，其包括用于处理各种基本系统服务以及执行与硬件相关的任务的过程；经由一个或多个通信接口304(有线或无线)连接到一个或多个网络162的设备通信模块322，其用于连接到其他网络设备(例如，提供互联网连接的路由器的网络接口160、联网的存储设备、网络路由设备、服务器系统164等)并与之通信；输入处理模块326，其用于检测来自一个或多个输入设备314的一个或多个用户输入或交互，并解释检测到的输入或交互；用户接口模块328，其用于提供和显示用户接口，其中一个或多个设备(例如，智能设备204和/或智能家居环境100中的其他设备)的设置、捕获的数据和/或其他数据可以被配置和/或查看；一个或多个应用330，其用于由智能设备(例如游戏、社交网络应用、智能家居应用和/或其他基于web或非基于web的应用)的执行，其用于控制设备(例如执行命令，发送命令和/或配置智能设备204和/或其他客户端/电子设备的设置)，以及用于查看设备捕获的数据(例如，设备状态和设置、捕获的数据或有关智能设备204和/或其他客户端/电子设备的其他信息)；设备侧模块332，其提供用于设备控制、数据处理和数据查看的设备侧功能，包括但不限于：命令接收模块3320，其用于接收、转发和/或执行和用于操作智能设备204的指令控制命令(例如，来自客户端设备220、来自服务器系统164、来自在用户接口310上检测到的用户输入等)；数据处理模块3322，其用于处理由一个或多个输入(例如，输入设备314、图像/视频捕获设备318、位所检测设备316)、传感器(例如，内置传感器390)、接口(例如，通信接口304、无线电设备340)、和/或智能设备204的其他部件捕获和接收的数据，以及用于将处理后的数据准备并发送到设备以供查看(例如，客户端设备220供用户查看)；存储与设备(例如，智能设备204)相关联的数据的设备数据334包括，但不限于：存储与智能设备204上加载的用户账户有关的信息的账户数据3340，其中，此类信息包括缓存的登录凭证、智能设备标识符(例如，mac地址和uuid)、用户接口设置、显示偏好项、身份验证令牌和标签、密码密钥等；本地数据存储数据库3342，其用于选择性地存储与智能设备204相关的原始或处理后的数据(例如，相机118捕获的视频监控片段)；旁路模块336，其用于检测无线电设备340是否正在经由耦合到无线电设备340的各个天线传送信号，并经由旁路线路或放大器(例如，低噪声放大器)将无线电设备340相应地耦合到它们各自的天线；传输访问模块338，其用于(例如，基于检测到的控制信号和传输请求)准予或拒绝对一个或多个无线
电设备340的传输访问。
96.上述每个标识的元素可以存储在一个或多个前述存储器设备中，并且对应于用于执行上述功能的指令的集合。上面标识的模块或程序(即，指令的集合)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实现方式中被组合或以其他方式重新布置。在一些实现方式中，存储器306可选地存储以上标识的模块和数据结构的子集。此外，存储器306可选地存储以上未描述的附加模块和数据结构。
97.上文关于图1所述的许多智能家居设备可以具有或者与影响智能家居设备的操作、有效性和/或性能的不可视视场相关联。这些不可视视场可以由智能家居设备发射和/或被智能家居设备上的传感器接收。另外，这些不可视视场可以为整个家庭中的智能家居设备定义范围和/或放置策略。对于用户，问题在于，采用智能家居架构通常会涉及所有这些不可视视场的互连性，但是用户无法看到设备之间的这种交互。由于人眼看不到智能家居设备的连接性和覆盖范围，因此非专业用户很难优化智能家居系统中的智能家居设备的安装、调试和/或操作。
98.图4图示根据一些实施例的在智能家居环境402中具有视场404的相机118形式的智能家居设备。相机118可以包括可视和/或热光传感器，其接收来自智能家居环境402的光，以捕获智能家居环境402中的实时图像流。由相机118接收到的光的视场404可以由相机118的光圈、镜头和光敏接收器确定。当将相机118安装成监控系统或家庭安全系统的一部分时，通常将期望确保要监控的区域具有完整的相机覆盖范围。例如，图4中的相机11是门406的可接受视图。然而，相机118无法看到在相机118下方或后面的房间区域。在安装期间，用户难以知道房间的哪些部分对相机118不可视，因为视场404对于人眼是不可视的。在本公开之前，确定相机118的视场404是否充分覆盖要监控的区域的唯一方法是实际查看相机118的视频馈送。在没有激活相机和查看视频馈送的情况下，没有办法确定视场404的确切边界。
99.图5图示根据一些实施例的在智能家居环境502中具有视场504的危险检测器104形式的智能家居设备。危险检测器104可以包括多个不同的传感器，每个传感器都具有不同的视场。例如，危险检测器104可以包括运动检测器，运动检测器可以用于确定在智能家居环境502中的占用和/或激活危险检测器104上的夜灯特性。另外或可替代地，危险检测器104可以包括检测一氧化碳、烟雾和/或其他危险气体或状况的传感器。例如，烟雾检测器的视场可以被定义为烟雾源将触发危险检测器104的烟雾传感器的区域。在另一示例中，一氧化碳检测器的视场可以被定义为其中一氧化碳源将触发危险检测器104的一氧化碳传感器的区域。在另一示例中，视场可以包括可由危险检测器104的夜光特性照亮的区域。图5中的视场504表示作为示例的运动传感器的视场，诸如用于检测热体运动的无源红外(pir)传感器。运动传感器通常可以从视场504内的热体接收红外辐射。简而言之，每个传感器还可以具有其自己的视场，也可以将其称每个传感器的有效视场或响应视场。在下面描述的提供视场504的增强现实可视化的实施方式中，用户可能能够在不同传感器的视场之间切换。
100.如上文关于相机118所述的，危险检测器104的视场504是肉眼不可视的。在本公开之前，用户将无法确定智能家居环境502是否被一个或多个危险检测器正确地覆盖。例如，如果智能家居环境502代表走廊，则多个危险检测器104可能被安装在走廊的长度上，以在用户在黑暗中沿着走廊走动时提供自动夜灯照明。在另一示例中，用户可能希望知道如何
间隔危险检测器104以确保在智能家居环境502中容易检测到烟雾或一氧化碳。
101.图6图示根据一些实施例的在智能家居环境602中具有视场604的恒温器102形式的智能家居设备。恒温器102可以包括多个传感器，包括温度传感器、周围光传感器、pir运动传感器等，每个传感器都具有其自己的视场。图6中所示的视场604可以与恒温器102上的pir运动传感器相关联。恒温器102上的运动传感器的视场604可以朝着智能家居环境602的地板向下定向，以便更容易地检测用户接近恒温器102以便与恒温器102交互。恒温器102上的附加运动传感器可以向外定向到房间中，以检测用户在家中的存在。这两个运动传感器可以一起工作以检测占用和接近两者，并且可以基于用户是否存在和/或正在接近来控制恒温器102的用户界面。在另一示例中，恒温器102的视场还可以指恒温器102周围的三维区域，其中恒温器102的温度传感器检测周围温度。在安装期间，可能期望确保温度传感器的这种视场不与其他热辐射或散热物，诸如热管、hvac通风口、透过窗户的阳光等相交。
102.在安装恒温器102时，用户通常想要确保运动传感器的视场604指向智能家居环境602中将要存在用户或用户将要从其中接近恒温器102的有用区域。用户可能难以知道恒温器102应被安装以便优化视场604从而检测接近的查看者的高度。对于用户而言，他们也可能难以知道应在智能家居环境602中的何处安装恒温器102，以使用hvac系统最佳地检测和调节温度。当将恒温器102放置在可能受到外部热源(诸如入射阳光、加热孔、热管和其他热源)影响的位所时，可能导致恒温器102的温度传感器错误地估计智能家居环境602中的周围温度。在本公开之前，用户必须猜测恒温器102的传感器在哪里最有效，然后如果初始安装位所不是最佳的，则通过反复试验将恒温器102重新设置。
103.图7图示根据一些实施例的在智能家居环境702中具有视场704的安全设备706形式的智能家居设备。安全设备706可以包括多个不同的传感器，诸如运动检测器和/或磁传感器。磁传感器可以被配置成感测门406的侧面中的磁体以确定门何时被打开和/或关闭。门406中的磁体将被安全设备706检测到的有效范围可以被认为是安全设备706的视场704。如上所述，安全设备706的运动传感器也可以具有其自己的视场，该视场向外延伸到智能家居环境702中以检测热体的运动。安全设备706还可以配备有照明功能或夜灯，夜灯发射与将由夜灯照亮的区域相对应的视场。
104.当放置安全设备706时，用户需要确保安全设备706与安装在门406中的磁体足够接近，以使得安全设备706可以准确地确定门406是打开和/或关闭的。然而，安全设备706的有效范围(即，视场)对于人眼不可视。可替代地或附加地，门406中的磁体还可以与表示由磁体产生的大于阈值磁强度的磁场的视场相关联。同样地，用户通常将希望在整个智能家居环境702中具有带有运动检测器的多个安全设备706，以使它们能够准确地检测到入侵者或穿过智能家居环境702移动的其他热体。在本公开之前，用户无法确定这些视场何时在传感器之间重叠，从而使它们的放置效率低下，或者传感器之间留有间隙，因而在检测入侵者方面无效。
105.图8图示根据一些实施例的在智能家居环境802中具有相关联的视场806的家居助理804形式的智能家居设备。家居助理804可以包括多个不同的传感器和/或从其发射的不可视视场，每个传感器都可以具有它们自身的相关联的视场。例如，家居助理804可以包括麦克风，麦克风可以检测人的语音并且可以用来辨识对家居助理804的语音命令。麦克风传感器的视场(未示出)可以表示家居助手804能够准确地接收和解释高于某个分贝阈值的语
音命令的有效范围。
106.附加地或可替代地，家居助理804可以包括无线通信设备，诸如使用各种无线协议(例如，ieee 802.11、等)与其他计算设备和/或智能家居设备进行通信的无线电设备。家居助理804上的无线通信设备的有效范围也可以表示为视场806。理解视场806的形状和大小对于确定与家居助理804进行通信的其他电子设备在可以位于何处可能是很重要的。视场806可以包括其中无线通信效率可能较低的空位所。视场806还可以包括可以接收到强无线信号的位所。视场806还可以用于确定无线设备在超出范围之前可以隔开多远。在本公开之前，必须通过反复试验来确定家居助理804相对于发布语音命令的用户和/或家居助理804可以与之通信的其他计算设备的位所。
107.在上述每个示例中，提供一种可视化各种传感器的视场和/或不同智能家居设备实施例的发射的方式可以在环境中安装智能家居设备时提供有用的工具。另外，使视场可视化可以帮助用户分析现有安装并确定是否可以通过改变各种智能家居设备的位所来优化安装。当已知有关房屋的附加信息(诸如生热源、管道，电力等的位所)时，这种信息可以用于确定外部源是否正在干扰各种智能家居设备的传感器或广播。
108.在下文所述的实施方式中，通过使用带有相机的移动计算设备，可以向用户提供一个或多个智能家居设备的一个或多个视场的可视化。当用户将相机对准智能家居设备周围的区域时，移动计算设备上的电子显示器可以将三维对象渲染为环境的二维视图。三维对象可以表示相机捕获的任何智能家居设备的视场。在一些实施方式中，移动计算设备的显示器可以包括附加信息，诸如壁钉、布线、管道、热源、最佳安装位所、次优安装位所以及用于安装智能家居设备的指令。例如，用户可以将其智能手机上的相机对准安装在他们家中的具有运动检测器的安全设备。当通过手机显示器上的相机查看运动检测器时，手机可以渲染表示运动检测器的视场的对象。因而，用户可以准确地看到该运动检测器在他们家中的延伸范围。在另一示例中，用户可以通过他们的智能手机查看其家中的墙壁。通过智能手机查看墙壁可以增加显示应该在墙壁上的哪个位置安装恒温器以实现最佳的温度检测和占用检测的指令。在另一示例中，用户可以通过相机和他们手机的电子显示器查看智能门铃的布线。显示器可以呈现箭头和文字指令，其解释在安装过程中应将某些电线插入在哪个位置。这些实施方式和示例中的每一个都将在下面更详细地描述。
109.图9图示根据一些实施例的具有移动设备166的用户902通过移动设备166查看智能家居环境901。智能家居环境901包括危险检测器104。如上所述，危险检测器104可以包括多个传感器(包括烟雾传感器、一氧化碳传感器、光传感器、运动传感器和/或其他环境传感器)。危险检测器104还可以包括无线通信设备和灯。如上所述，这些传感器/设备中的每一个都可以具有其自己的视场。然而，该示例将关注向下延伸出危险检测器104的运动传感器的视场。因此，下面描述的用于可视化危险检测器104的运动传感器的视场的原理将被理解为适用于本文所述的任何其他智能家居设备以及本文所述的任何其他传感器和/或视场。
110.在安装了危险检测器104之后，用户902可能希望看到危险检测器104的运动检测器的视场。为此，用户902可以使用移动设备166，诸如pda、智能手机、智能手表、平板电脑计算机、膝上型计算机、和/或任何其他可访问相机和电子显示器的计算设备。为了查看智能家居环境901，用户902可以将移动设备166的相机对准他们希望查看的智能
家居环境901的部分。移动设备166的相机可以捕获智能家居环境901的视图，并将该视图显示在移动设备166的电子显示器上。在一些实施方式中，移动设备166的相机可以在移动设备166的指向远离用户的背面上，而电子显示器将位于移动设备166的指向用户的正面上。因此，用户可以像窗口一样“浏览”移动设备166来查看智能家居环境901的各个部分。在该示例中，用户902可以瞄准移动设备166，以使其视图捕获直接位于危险检测器104下方的区域。在本公开之前，如果从用户902前方移除了移动设备166，则用户902看到的移动设备166的电子显示器上的图像将与用户902的裸眼看到的图像相同。
111.图10a图示根据一些实施例的可以在移动设备166上渲染和显示的虚拟3d场景1001。虚拟3-d场景1001可以包括诸如危险检测器104的智能家居设备的位所。在一些实施例中，场景1001可以包括危险检测器的3-d模型或其他图形表示1006。可替代地，一些实施例可以简单地使用智能家居环境901中的危险检测器104的位所来生成场景1001中的视场的图形表示，没有危险检测器104的相应图形表示。图10a图示了危险检测器的图形表示1006以示出其位所，然而这种图形表示1006不是必需的。
112.虚拟场景1001还可以包括虚拟相机1002。虚拟相机1002可以基于智能家居环境901中的移动设备166的定向/位置来定向和/或定位。类似地，危险检测器1006在虚拟场景1001中的位所可以基于危险检测器104在智能家居环境901中的位置。在一些实施例中，虚拟场景1001还可以包括墙壁、地板、天花板、家具、入口/出口、光源、电源、家用电器、窗户、hvac通风口、布线、管道、卫生器具和/或智能家居环境901中可能存在的任何其他对象的表示。这些对象中的每一个都可以具有虚拟场景101中的相应3d虚拟模型，并且对于虚拟相机1002可能是可视的。在一些实施例中，移动设备166可以确定和/或存储移动设备166相对于智能家居环境901的墙壁、地板、天花板、出口、窗户等的位所，并且虚拟相机1002的位所可以位于虚拟场景1001中的相应位所。因而，虚拟场景1001可以是智能家居环境901的物理特征的近似表示，包括通过虚拟相机1002的位所近似得出的移动设备166的位所。
113.智能家居环境901的物理测量值和/或特征可以被存储在移动设备166上和/或从设备管理服务器下载。这些物理测量值和/或特征可以用于构建虚拟场景1001。例如，房屋的建筑平面图可以是公共可用的，并且可以由移动设备166和/或设备管理服务器检索。这些建筑平面图可以通过复制房屋的测量值、物理特征和定向来生成虚拟场景1001。移动设备166可以配备有位所确定硬件，诸如gps单元、加速度计、磁罗盘等，并且可以被配置成确定移动设备166的绝对位所。建筑平面图可以包括房屋的坐标，并且这些坐标可以与移动设备166的绝对位所结合使用，以将移动设备166放置在智能家居环境901中。这种位所信息可以用于将虚拟相机1002正确放置和/或定向在虚拟场景1001中。
114.在一些实施例中，移动设备166不需要确定智能家居环境901的绝对位所和其他细节。作为代替，移动设备166可以依赖于移动设备166相对于危险检测器104的当前位所。虚拟3d场景1001可以被构造成包括虚拟相机1002和危险检测器104的图形表示1006，而没有周围房间/环境的所有物理细节。可以使用多种不同的方法来确定危险检测器104的相对位所。在一些实施例中，可以使用电磁三角测量和/或信号强度分析来确定危险检测器104的相对位所。例如，危险检测器104和/或移动设备166之一可以发射电磁信号，诸如wi-fi信号，并且智能家居环境901中的一个或多个智能家居设备可以比较接收到的信号强度，从而三角测量发射设备的位所。在一些实施例中，可以基于移动设备166的位所和/或移动来确
定危险检测器104的相对位所。例如，用户902可以将移动设备166移动到危险检测器104在智能家居环境901中的位所，并且提供输入，诸如触摸屏上的按钮单击或手指轻击，从而将该位所标记为危险检测器104的位所。之后，当用户902将移动设备166移离所标记的位所时，移动设备166上的gps和/或加速度计可以记录远离危险检测器104的运动路径。这可以用于确定虚拟相机1002相对于危险检测器104的图形表示1006的相对位所和/或定向。在一些实施例中，用户可以使用/或移动设备166的相机和显示器来标记智能家居环境901中的位所。例如，用户可以将移动设备166的相机对准智能家居环境901中的天花板，并且敲击危险检测器104位于其中的所显示的图像中的位所。然后，移动设备166可以基于天花板高度和移动设备166的高度来计算危险检测器104的近似位所。可以估计、从建筑平面图检索、由用户902等等输入这些高度。在一些实施例中，可以使用计算机视觉技术辨识危险检测器104在图像中的形状通过移动设备106的相机捕获危险检测器104的相对位所。例如，用户902可以将移动设备166的相机对准危险检测器104，并且可以分析由相机捕获的结果图像并将其与危险检测器104的已知形状进行比较。在危险检测器104位于图像上时，危险检测器104在图像中的大小可以用于估计危险检测器104所处的位所距相机的距离。例如，随着危险检测器104在由相机捕获的图像中变小，移动设备166可以成比例地估计相机与危险检测器104之间的距离正在增大。另外，危险检测器104的图像的形状(偏斜、透视等)可以与移动设备166的定向结合使用，以确定危险检测器相对于移动设备166的定向。例如，可以借助于机载加速度计、罗盘和/或重心确定移动设备166的定向。危险检测器104在所捕获的图像中的形状可以用于确定移动设备102是位于危险检测器104的正下方还是位于危险检测器104的一侧。再次，这些方法中的任何一种都可以用于设置除了上文仅用作示例的危险检测器104之外的任何智能家居设备。
115.在一些实施例中，危险检测器104的位所和/或智能家居环境901的各种物理特征(诸如，墙壁、家具、天花板、地板等)的位所/定向可以通过许多不同的方法添加到虚拟环境中。在一些实施例中，可以使用红外投影仪和/或接收器(例如，技术)来映射智能家居环境。例如，移动设备166可以包括红外投影仪，红外投影仪用经编码的红外辐射“绘制”移动设备166前方的区域。移动设备166上的一个或多个红外接收器/相机可以捕获所反射的红外辐射并生成智能家居环境901的物理映射。可以通过比较红外反射中的对象的几何形状与这些典型家用物品的已知几何形状，辨识诸如椅子、桌子、墙壁、门等对象。可替代地或另外地，未辨识的对象可以具有基于红外映射而生成的几何形状，无需外部模型。在任何情况下，这些对象和/或几何形状都可以被放置在虚拟3d场景1001中。
116.图10b图示根据一些实施例的可以如何使用移动设备166的相机视觉地映射智能家居环境901的几何形状。在该示例中，用户902可以通过移动设备166的触摸屏向移动设备166提供识别诸如地板、拐角、墙壁、天花板、门等位所的输入。然后，移动设备166可以在3d虚拟场景1001中构造平面和/或3d几何形状，这些平面和/或3d几何形状近似于被移动设备166的相机视觉识别的这些平面和/或3d几何形状的位置。例如，智能手机166-2移动设备可以使其相机指向智能家居环境901中的房间的拐角1044。可以通过智能手机166-2视觉分析图像，以识别图像中的墙壁和地板1046之间的边界。然后，用户902可以在图像中选择与地板1046相对应的区域，因此识别地板。用户902还可以追踪地板1046和墙壁之间的边界1042。用户902还可以识别图像中的拐角1044。可替代地或附加地，软件可以被配备成自动
地检测和确定边界1042和/或拐角1044的位所，并且将地板1046、墙壁和/或天花板彼此区分开。在这些实施例中，用户可以通过移动相机来视觉追踪地板1046的边界，使得图像视觉追踪边界1042。在追踪边界1042并且辨识墙壁/地板/天花板的表面时，智能手机166-2可以在虚拟3-d场景1001中构造平面以形成房间。可以将智能手机166-2的相机在视觉上识别出的对象放置在来自在线库的虚拟3d场景1001中，智能手机166-2可以从设备管理服务器获得在线库。例如，当智能手机166-2捕获到椅子的图像时，计算机视觉算法可以识别图像中的椅子，并从椅子库中检索类似的椅子，该椅子库具有匹配的几何形状和/或纹理，并将椅子的3d模型放置在虚拟3d场景101中的相应位所处。
117.图10c图示根据一些实施例的允许用户设计智能家居环境901的布局的计算设备上的图形界面。在一些实施例中，虚拟3d场景1001可以由用户902使用建模和/或建筑设计软件技术来构建。例如，可以提供允许用户提供他们的房屋/房间的测量值并识别每个房间中存在的对象的位置和/或几何形状的应用。该应用可以在与移动设备166相同或不同的计算设备上执行。例如，如果移动设备166包括智能手机，则智能手机可以执行允许用户输入测量值并绘制其房屋的墙壁、门、窗户、楼梯等位所的应用。该应用还可以允许用户从对象库中选择诸如椅子、床、桌子等对象，并将其放置在每个房间的位所中。该应用可以允许用户从第三方服务或公共存储库下载建筑平面图。例如，可以将建筑布局1054下载到应用，并将其用作虚拟3d场景1001设计的起点。建筑布局1054可以原样使用，或者可以由用户通过附加信息进行扩充，诸如添加/放置家具和智能家居设备。在一些实施例中，软件可以在与移动设备166分开的计算设备(诸如膝上型计算机或台式计算机)上运行，然后转移到移动设备166。
118.重新参考图10a，一旦确定了虚拟相机1002的位所和危险检测器104的图形表示1006的位所，并且可选地将智能家居环境901的任何其他物理特征添加到虚拟3d场景1001，则可以添加3d对象以表示危险检测器104的三维视场。可以针对每种类型的智能家居设备以及针对每种设备的每种视场预定义视场对象1004。例如，针对危险检测器104的视场对象1004可以相应于危害检测器104的运动检测器，并且可以从相应于危险检测器104的视场对象库中选择。因而，针对相应于每个智能家居设备的不同视场的不同视场对象可以由智能家居设备的制造商预定义，并且通过用于可视化智能家居设备的安装/操作环境的应用(“可视化应用”)提供给用户。在一些实施例中，每个智能家居设备的视场对象都可以由用户使用由智能家居设备制造商提供的规格来生成或者由用户测量。例如，用户902可以知道危险检测器104的运动检测器具有大约15英尺的范围，视场为120
°
。然后，用户902可以将规格输入到应用中，并且该应用可以生成与这些规格相对应的视场对象1004。这允许本文所述的可视化技术与来自任何制造商的智能家居设备一起使用。
119.视场对象1004可以作为实体几何形状或3d模型存在于虚拟3d场景1001中。在一些实施例中，视场对象可以被简单地称为表示视场的“虚拟对象”。在一些实施例中，这种虚拟对象可以包括从虚拟3d场景中的智能家居设备的位所突出的锥体。在一些实施例中，视场对象1004可以是不透明的并且利用容易与周围环境区分的亮色(诸如黄色、橙色、红色等)着色。在一些实施例中，视场对象1004可以是透明的或半透明的，使得在渲染视场对象1004时，虚拟3d场景1001中的墙壁、地板、天花板、家具、门和/或其他对象在视场对象1004后面可视。视场对象1004的边界可以被着色为稍暗、稍亮或不同颜色，以强调相对于视场对象
1004的其余部分和虚拟3d场景1001的其余部分的边界。这可以有助于用户将视场对象1004的边界与显示器中的其他视觉元素区分开。对于距移动设备166最远的边界可能尤其如此，否则边界可能被视场对象1004本身的其余部分遮挡。
120.图11图示根据一些实施例的允许用户通过智能手机166-2可视化危险检测器104的视场1102的智能家居环境901的视图。可以从虚拟相机1002的角度将虚拟3d场景1001渲染成2d图像。这种渲染操作可以实时发生，以便将2d图像显示在智能手机166-2的显示器上，没有视觉上可察觉的延迟。例如，当用户在智能家居环境901周围平移智能手机166-2时，可以更新显示在智能手机166-2上的智能家居环境901的视图，使得用户感觉到好像他们在通过窗户看到智能家居环境901中一样。
121.视场对象1004已经被渲染成虚拟3d场景1001的一部分。在一些实施例中，渲染操作可以排除虚拟3d场景1001的除视场对象1004之外的所有元素。然后，可以将对视场对象1004的渲染与由移动设备166的相机捕获的实时图像合成。例如，代替显示危险检测器104的图形表示1006的渲染图像，智能手机166-2的显示器可以示出危险检测器104和周围环境的实际图像。在视场对象1004是透明的或半透明的实施例中，其可以被合成为在由相机捕获的图像的可视层顶部上的一层，并且在视场1102后面的智能家居环境901的元素可以通过所渲染的视场对象1004可视。例如，悬挂在图11中的墙壁上的图片1110可以通过显示器上的视场1102可视。如果视场1102被诸如红色的颜色遮挡，则可以通过视场1102的透明红色前景看到图片1110。
122.虽然虚拟3d场景1001的其他元素不需要显示在智能手机166-2上，但是它们在渲染操作期间仍然可以起到有用的作用。可以剪辑视场对象1004的形状，以使其不会延伸穿过虚拟3d场景1001中的墙壁、地板、家具等。例如，渲染操作的一部分可能会跟踪来自视场对象1004的来源(例如，危险检测器104的图形表示1006的运动检测器)的光线，并剪辑视场对象1004的被虚拟3d场景1001中的对象阻挡的任何部分。例如，视场对象1004将不会延伸穿过虚拟3d场景1001中的椅子。因而，当视场对象1004与显示器上的现实世界图像合成时，视场对象1004将不会延伸穿过智能家居环境901中的物理对象(例如，墙壁、家具等)。这从用户角度提供了智能家居设备可以“看到”的真实视图。
123.在智能手机166-2的显示屏上显示的可视化可以允许用户902视觉确定危险检测器104的视场1102的覆盖范围。例如，用户可以看到危险检测器104的运动检测器不会一直延伸到智能家居环境901的门。这可能引起用户902将危险检测器104移动到更靠近门的位所。在一些实施例中，可视化应用可以允许用户在不物理移动危险检测器104的情况下测试危险检测器104的新位所。例如，用户可以选择如在智能手机166-2上显示的危险检测器104并将危险检测器104的图像拖动到右侧。相应视场1102的渲染还将向右移动以保持附着在危险检测器104的已移动图像上。一些实施例可以渲染危险检测器104的图形表示1006，使得危险检测器104的渲染版本在新位置和/或在渐变/移动操作期间可视。作为代替，一些实施例可以将危险检测器104的实际图像滑动到新位所，用周围的背景颜色(例如，天花板的颜色)代替先前位所。当视场1102的覆盖范围令人满意时(例如，捕获了门)，用户可以标记在显示器上的危险检测器104的新位所的天花板上的图像中的位所。然后，用户可以通过显示器上的图像来查看危险检测器104的新位所以供参考。然后，用户可以使用铅笔在天花板的该位所进行物理标记，然后将危险检测器104移动到新位所。在移动危险检测器104之后，
用户然后可以通过智能手机166-2查看危险检测器104的新位所，以确保危险检测器104已经被移动到与图像中的标记相对应的正确位所，并且新位所已经移动了视场1102，因此它捕获了必要的信息。
124.图12图示根据一些实施例的具有可以通过智能手机166-2可视化的相应视场1202的恒温器102的另一示例。在该示例中，用户可以可视化恒温器102的其中一个运动检测器的视场1202。例如，用户可以从这种可视化确定恒温器102将检测到接近的用户，因为他们进门到达智能家居环境901。
125.在该示例中，来自危险检测器104的视场1102在智能手机166-2上不再可视。在包括超过一个智能家居设备的智能家居环境901中，可视化应用可以允许用户902在显示器中选择当前活动的智能家居设备。此外，可视化应用可以允许用户在可能源自单个智能家居设备的不同视场之间进行选择。例如，用户可以选择恒温器102(和/或取消选择危险检测器104)并选择恒温器102的接近(或第二)pir以进行显示。在一些实施例中，可视化应用可以在视觉上辨识在相机的视场内的智能家居设备，并且自动将可视化切换到已辨识的智能家居设备。例如，当用户向下平移智能手机166-2的相机并使其远离危险检测器104时，即使危险检测器104从相机的视场中移出，危险检测器104的视场1102也可以保持可视。然而，当恒温器102进入相机的视场时，可视化应用可以自动识别恒温器102的图像并切换到作为活动的智能家居设备的恒温器102而无需用户输入。当切换到恒温器102时，可视化应用可以移除危险检测器104的视场1102并激活恒温器102的视场1202。如将在下面更详细地所述的，一些实施例允许同时显示单个设备的多个视场，以及同时显示多个设备的多个视场。
126.图13图示根据一些实施例的包括可能在可视化过程中涉及的不同设备的架构。如上所述，可能发生许多处理操作以便在移动设备166上显示视场的可视化。这些操作可以包括设计房屋或房间的映射或3d环境，将映射或3d环境转换为虚拟3d场景1001，将视场对象1004添加到虚拟3d场景1001中，追踪移动设备166和/或所选择的智能家居设备的位所和/或定向，在虚拟3d场景1001中移动虚拟相机1002以相应于移动设备166在智能家居环境901中的位所和/或定向，基于房间在虚拟3d场景1001中的几何形状调整或剪辑视场对象1004，渲染虚拟3d场景1001的视图以从虚拟相机1002的视角生成虚拟3d场景1001的2d视图，并使得视场对象1004的至少一个渲染实时显示在移动设备166上以供用户查看。这些操作中的每一个都是可选的。此外，这些操作中的每一个都可以是图像捕获、处理和显示流水线的分段部分，并且这些操作中的每一个都可以由不同的设备执行。
127.图13示出了智能家居系统中的多个设备可以在图像捕获、处理和显示过程期间彼此如何通信。一个或更多智能家居设备1302可以通过wi-fi路由器和/或因特网与设备管理服务器164通信。设备管理服务器164也可以与多个移动设备通信，诸如智能手表166-1、智能电话166-2、可穿戴技术等。与智能家居设备3002一样，移动设备166可以通过wi-fi路由器、因特网、蜂窝网络和/或其他通信网络与设备管理服务器164通信。在一些实施例中，移动设备166也可以通过本地wi-fi网络或其他无线通信网络，诸如或与一个或更多智能家居设备1302直接通信。
128.可以在图13中所示的每个不同的计算设备处执行图像捕获、处理和显示流水线的不同部分。在一些实施例中，整个过程可以在移动设备166上执行。例如，智能手机166-2可以捕获房间的图像、生成虚拟3d场景、插入视场对象、追踪其相对于一个或多个智能家居设
备的位所、使用视场对象渲染场景的视图，以及在其显示屏上实时显示经渲染的图像。在其他实施例中，可以在设备管理服务器164处执行诸如渲染操作和使用虚拟3d场景的其他操作之类的操作。例如，智能手机166-2可以捕获环境的图像并将那些图像传输至设备管理服务器164。设备管理服务器164可以构建虚拟3d场景、插入视场对象并执行剪辑和渲染操作。然后，设备管理服务器164可以将2d图像流发送到智能手机166-2以进行实时显示。这有效地将较繁重的处理操作(例如，3d建模、渲染等)移动到服务器上，在服务器上可以获得更多处理能力。其他实施例可以在两个不同设备之间分开图像捕获和图像显示操作。例如，一个用户可以使用智能手机166-2捕获房间的视图，可以在任何设备上执行虚拟3d场景操作，并且可以在另一用户的智能手表166-1上显示经渲染场景的多个部分。这两个移动设备166可以处于不同位所，允许一个用户处于智能家居环境中，任何其他用户远程查看智能家居环境。其他实施例可以使用由一个或多个智能家居设备(诸如监控相机)捕获的图像，和/或在一个或多个智能家居设备1302上执行一些处理操作。总而言之，上述任何处理操作都可以被隔离为单独的功能，并在图13中的任何设备上单独地执行。然后，可以将每个功能的输入和/或输出传输到系统中的另一设备以执行后续操作，包括以任何组合且无限制地处理和显示图像。
129.如下文将更详述的，在智能家居设备1302、设备管理服务器164和/或移动设备166中的任何一个上运行的应用或过程都可以允许来自一个设备的用户和/或过程与其他设备上的用户和/或过程进行交互。例如，安装专业人员可以从个人计算设备登录到设备管理服务器164。当接收到来自用户的授权时，可以在智能家居设备安装过程中将安装专业人员的个人计算设备连接到用户的移动设备。这可以允许安装专业人员在安装过程中提供实时的即时帮助。另外，即时图像和可视化可以从移动设备166传输到安装专业人员的个人计算设备。安装专业人员还可以通过他们的个人计算设备提供输入(例如，显示屏上的绘图，箭头等)以被显示在用户的移动设备166上。在另一示例中，来自移动设备166的图像和/或可视化可以被上载到服务器164，并且服务器164可以处理这些图像从而为附加智能家居设备、安装程序、常见危险和错误等提出建议。
130.图14图示根据一些实施例的具有多个智能家居设备102、104的复杂智能家居环境1402。在本公开中从这一点出发，经渲染的视场504、604可以被包括为附图的一部分，而没有具体示出它们是通过移动设备的显示屏查看的。仅为了清楚起见这样做，并且应理解，在经历了诸如上文所述的那些处理操作之后，正在通过移动设备的显示器来查看描述智能家居环境中的视场对象的任何图像。例如，图14通过移动设备的视图示出了复杂的智能家居环境1402的视图，虽然所讨论的实际移动设备的轮廓在图14中不可视。
131.当存在多个智能家居设备时，可视化应用可以允许同时显示多个视场。在该示例中，与恒温器102的视场604同时示出了危险检测器104的视场504。可视化应用允许用户在可用于复杂智能家居环境1402的任何和/或所有视场中进行选择。这提供了允许用户能够看到视场如何相互重叠的好处。在该示例中，视场504、604相应于危险检测器104和恒温器102中的运动传感器。用户可能希望这些视场尽可能均匀地重叠，以使得由恒温器102检测到的用户也将被危险检测器104检测到。通过同时显示多个视场，用户可以移动智能家居设备102、104之一的安装位所，以使得视场504、604更加一致/完全重叠。
132.为了帮助这种操作，可视化应用可以允许用户选择不同的可视化特征。例如，当可
视化特征在设备上被显示时，用户能够为每个视场504、604选择颜色、阴影、透明性和/或其他视觉特征。具体地，可以以具有第一填充图案和/或第一透明性的第一颜色来显示危险检测器104的视场504，同时可以以具有第二填充图案和/或第二透明性的第二颜色来显示恒温器102的视场604。另外，当在相应的虚拟3d场景中渲染这些视场504、604时，可以将视场504、604的重叠的部分因为它们的相应视场对象在场景中彼此冲突而被识别。可以识别这两个视场对象的重叠体积，并且可以显示具有其自身的对应着色/填充/透明特征的重叠体积。例如，视场504、604的重叠体积1404可以以具有第三填充图案和/或第三透明性的第三颜色来显示。这可以用来在视觉上突出显示智能家居环境1402中视场重叠的区域。当放置多个智能家居设备(例如，多个危险检测器104、多个相机118或其组合)以确保在智能家居环境中有足够的传感器覆盖范围时，这可能尤其有利。一些实施例可以允许用户选择突出显示重叠的体积/区域的附加选项。例如，用户可以选择仅显示重叠体积的选项。在另一示例中，用户可以选择从显示器消除重叠体积的选项。在另一示例中，用户可以反转虚拟3d场景中的视场对象，以便在视场对象的外部渲染这些体积。然后，可以在移动设备上显示这些经渲染的体积，以具体显示智能家居设备102、104的视场504、604未覆盖的区域。在图14的示例中，这将反转所显示的图像，以使得视场504、604之外的区域将被阴影显示/突出显示，而视场504、604内部的区域将会很清楚。
133.为了在不同的视场504、604之间进行选择，通过其查看智能家居环境1402的移动设备可以通过显示器接收对设备和/或视场的选择。例如，用户可以通过单击或点击危险检测器104的图像和/或显示的视场504来选择危险检测器104的视场504。这种操作可以“关闭”其他视场(诸如恒温器102的视场604)的显示。为了在视场之间切换，用户然后可以单击或点击恒温器102的显示和/或恒温器102的视场604。这种操作可以“关闭”危险检测器104的视场504的显示并“打开”恒温器102的视场604。在一些实施例中，点击智能家居设备的图像和/或其相应的视场可以打开或关闭相应视场的视图。这允许用户通过点击/单击每个相应设备的图像来同时打开多个视场。然后，用户可以通过再次点击/单击所需的智能家居设备来对应地关闭视场。
134.图15a图示根据一些实施例的具有范围指示的视场604。通常，智能家居设备的大多数视场将具有与每个视场相关联的有效范围。例如，恒温器102的运动检测器可以具有6英尺的有效范围，而恒温器102上的第二运动检测器可以具有大约25英尺的有效范围。如先前附图所示的，视场的有效范围可以在移动设备上的图像中均匀显示。然而，视场的有效性通常会随着其远离智能家居设备而降低。例如，在25英尺范围内，移动探测器在15英尺处的有效性可能比在25英尺处更有效。即使仍然可以捕获图像，但是用相机捕获的图像可能足以检测面部特征或监控10英尺而不是15英尺处的婴儿。一些实施例考虑了视场质量的下降，并且将该信息显示为移动设备上的视场的一部分。
135.在一些实施例中，在移动设备上显示的经渲染的视场可以使用颜色、填充图案、透明性或其他视觉指示符将视场的强度传达给用户。当一些视场远离智能家居设备延伸时，它们可能会使用变化的色谱。例如，视场604可以在靠近恒温器102的地方被涂上红色阴影，然后随着其更远离恒温器102而在色谱上过渡为蓝色。随着一些视场移动远离智能家居设备，它们的透明性可能改变。例如，视场604在恒温器102附近可能是完全不透明的，并且随着移动远离恒温器102而变得更加透明。随着视场604移动远离恒温器102，颜色、透明度、强
度等这些过渡可以逐渐显示并且连续改变。
136.一些实施例可以量化视场1504的不同区域，以传达视场的哪些区域最有效。在图15a的示例中，视场604可以被划分为第一区域1504和第二区域1502。这些区域可以包括边界，该边界在视觉上将这两个区域分开，使得用户在查看显示器时可以容易在视觉上区分这两个区域。在一些实施例中，第一区域1504可以被认为是有效区域，而第二区域1502可以被认为是延伸区域。用户可以理解，视场604的有效区域对于检测预定规范内的运动是有效的，而视场604的延伸区域仍可以检测运动，尽管效率较低。为了生成该视图，可以将虚拟3d场景中的相应视场对象分段成多个体积。可以以第一颜色渲染在智能家居设备的有效范围内的体积部分，同时可以以第二颜色渲染在智能家居设备的延伸范围内的体积部分。可替代地或附加地，颜色的透明性和/或强度也可以不同地渲染。例如，有效区域可以比延伸区域更不透明。在图15a的示例中，第一区域1504可以具有与第二区域5002(例如，黄色、红色)不同的颜色(例如，绿色)。应注意，分成图15a中所示的两个区域仅是作为示例提供的，并不意味着限制。
137.其他实施方式可以使用超过两个区域，并且每个区域都可以包括变化的颜色、强度、图案、透明性和/或其组合以传达信息。例如，当第一区域1504远离恒温器102延伸时，第一区域1504可以包括从红色到蓝色的渐变。然后，第二区域可以从蓝色到深蓝色渐变，使得第一区域1504和第二区域1502之间的颜色过渡是连续的。然而，两个区域之间的边界仍然可以渲染出来，并且使用户可在视觉上感知。在图15a的示例中，第一区域1504和第二区域1502的颜色可以相同或具有渐变，但是可以显示线条1506以在视觉上将两个区域分开。
138.除了显示与智能家居设备相关联的视场之外，可视化应用还可以提供有助于安装智能家居设备的可视化。例如，一些智能家居设备可能需要安装在具有特定要求(诸如高度、定向、位置、位所等)的某些位所中。例如，可能需要将智能家庭相机放置在地面上方一定高度，以便捕获足够的光并具有足够的周围区域视场。用于安全系统的运动检测器还可能需要在墙壁上的一定高度范围内安装，以确保它可以充分检测到人类的存在，同时排除宠物的存在。一些智能家居设备可能包括环境传感器。这些智能家居设备可能需要安装在其他环境条件不会干扰这些环境传感器运行的位所。例如，可能需要将恒温器放置在不靠近任何其他热源(诸如热水管、加热器通风口、电加热、入射阳光以及可能干扰恒温器上的温度传感器的其他热源)的位所。危险检测器可能需要被放置在通风良好的位所，并且不在可能产生偶然烟雾的任何器具(诸如火炉或烤箱)的正上方。上述可视化应用可以用于可视化可以安全地安装这些类型和其他类型的智能家居设备的位所。
139.图15b图示根据一些实施例的由于障碍物而改变的智能家居设备的视场604。在该示例中，从智能家居设备(诸如恒温器102)发出视场604，以表示恒温器102上的运动传感器的视场。随着生成智能家居环境1501的虚拟3d场景，可以将智能家居环境1501中的不同对象添加到场景。可以使用上述任何方法检测和/或添加这些对象。例如，用户可以从家具对象库中选择物品并将它们放置在可视化应用内的房间中。可以使用计算机视觉算法在视觉上检测对象，通过发射/接收活动红外扫描对象，等等。
140.当在虚拟3d场景中检测到/添加了诸如表示橱柜1520的对象之类的对象时，用于智能家居设备的相应视场对象可以与该对象相交。在图15b的示例中，虚拟3d场景中的视场对象将与橱柜1520的3d模型在体积上相交。这可能导致发生许多操作。例如，可以剪辑视场
对象，以使其不与橱柜1520的3d模型的体积相交。一些实施例还可以使用光线跟踪算法或其他方法从视场对象剪辑附加区域，这些区域在被橱柜1520遮挡之后将不再对智能家居设备可视。也可以去除遮挡智能家居设备的视场的对象后面的这些附加体积区域。
141.如上所述，可以去除虚拟3d场景中的其他对象，使得仅在移动设备的显示器上渲染和合成视场对象。如图15b中所示，示出了视场604，使得其不延伸到橱柜1520的后面。由于这种渲染操作是实时完成的，因此用户可以在房间周围走动，并看到将被房间中的对象遮挡的区域。例如，用户可以走在橱柜1520后面并且看到这些区域不再处于视场604内。应注意，当基于智能家居环境1501中的其他对象剪辑视场对象时，本文所述的其他特征，诸如在用户进入视场时改变视场604和/或生成其他警报仍然可以保持活动状态。在另一示例中，房间中的墙壁/门/窗户也可以剪辑视场对象。这可以允许用户看到当门被打开时、当窗户被打开时等，视场如何改变。它还从视觉上提醒用户，视场对象可能不会延伸穿过诸如墙壁和地板之类的实体。在传感器的视场可以延伸穿过诸如电磁辐射、wi-fi信号、磁传感器等实体对象的一些实施例中，视场对象不需要被实体对象剪辑。作为代替，这些视场对象可能被会中断视场的对象或源剪辑。例如，金属门或导电片可能会干扰wi-fi信号或其他无线通信信号。可以通过干扰源以与图15b中的视场被实体对象视觉剪辑类似的方式，剪辑示出无线通信场范围的视场，但是考虑了电磁场的物理性质。
142.一些实施例可以包括允许用户基于遮挡对象打开/关闭剪辑操作的用户设置。例如，用户可能希望与可能会遮挡视场的任何对象无关地看到视场。这在用户最初放置智能家居设备时或者确定将对象放置在智能家居环境1501中的哪个位置时特别有用。
143.图15c图示根据一些实施例的基于智能家居设备的灵敏度偏好调整的视场。一些智能家居设备可能允许用户调整特定传感器的灵敏度。例如，如果安全系统传感器上的运动检测器无意中检测到家养宠物，则可以降低运动检测器的灵敏度。在另一示例中，当传感器在智能家居环境中无法相互通信时，可以增强wi-fi信号的强度。
144.当用户调整智能家居设备上的传感器的灵敏度、范围、形状和/或其他视场特性时，智能家居设备可以将新设置传输到移动设备，从而可以实时更新视场的可视化。可替代地或附加地，用户可以使用移动设备上的可视化应用来调整这些视场特性，并且可视化可以相应地实时改变。一些实施例还可以将在可视化应用中做出的调整传输到智能家居设备，使得可以通过移动设备远程更新其设置。
145.当可视化应用接收到新传感器特性时，可以对应地调整虚拟3d场景中相应视场对象的形状、大小、定向和/或其他特征。在图15c的示例中，运动检测器的灵敏度可能已经降低。这已经导致运动传感器的视场604的尺寸减小。具体地，视场对象的锥体半径已经减小，并且有效范围(例如，距恒温器102的距离)已经减小。这种特征可以允许用户手动调整视场对象的灵敏度，以根据需要捕获视场。例如，用户可以提高传感器的灵敏度，直到其视场与另一智能家居设备的视场重叠为止。
146.一些实施例还可以显示关于通过可视化应用改变传感器的灵敏度可能对智能家居设备的电操作具有的影响的信息。例如，显示器可以指示增加运动检测器的灵敏度可以将电池的寿命减少一定百分比。这使用户可以在能量效率和传感器灵敏度之间取得平衡。
147.图15d图示根据一些实施例的用于优化智能家居设备的放置的方法的流程图。该方法可以包括接收智能家居设备的位所(1550)。智能家居设备的位所可以在房间或封闭空
间(诸如住房、办公楼、仓库或任何其他商业/住宅封闭空间)的其他分区中。位所可以由诸如智能手机、平板计算机、增强现实设备、虚拟现实设备等移动设备来接收。位所可以作为移动设备本身的位所被接收。位所也可以作为来自提供位所信息的智能家居设备传输被接收，位所信息诸如gps坐标或者相对智能家居设备位所的位所。移动设备可以包括显示器和/或相机。可以从被智能家居设备的相机接收的图像接收智能家居设备的位所。例如，用户可以选择指示智能家居设备的位所的显示屏的一部分。移动设备还可以使用计算机视觉算法来辨识图像中的智能家居设备的形状，由此确定智能家居设备的位所。
148.该方法还可以包括渲染表示智能家居设备的视场的虚拟对象的视图(1552)。如上所述，视场可以包括智能家居设备上的传感器的响应区域，诸如将检测pir运动传感器的运动的区域。视场还可以包括其中可以由智能家居设备发送或接收传输或光的区域。例如，视场可以包括用于无线传输的电磁范围，用于磁传感器的范围，其中语音可以被麦克风准确地记录和辨识的范围，用于照相机的可视范围，其中可以检测到可能被智能家居设备接收的化学物质(诸如氡、一氧化碳或其他气体)的范围，和/或智能家居设备可以感知或受影响的任何其他环境条件。
149.可以基于与移动计算设备的位置相对应的位置来渲染虚拟对象的视图。例如，移动设备周围的环境的3d虚拟场景可以包括根据移动设备的实际位置而被定位的虚拟相机。虚拟对象可以包括插入到3d虚拟场景中以表示视场的透明实体对象或线框对象。可以渲染虚拟对象的视图，使得3d虚拟场景中的其他对象被去除。然后可以将虚拟对象合成或分层在图像之上，并且渲染的视角可以使得当通过移动设备查看时，虚拟对象作为对现实世界环境的增强现实添加而出现。
150.该方法还可以包括在移动设备上显示表示视场的虚拟对象的视图(1554)。虚拟对象的渲染和显示可以以交互帧速率实时发生，使得通过移动设备的相机捕获图像与在移动设备的显示器上显示合成图像之间的延迟小于大约1秒。该视图还可以实时更新，使得它在作为实时视频顺序显示的多个图像帧中更新。该方法还可以包括用于优化本公开中其他地方所述的智能家居设备的放置的任何其他特征。这些其他特征可以被以任何组合包括并且没有限制。
151.图16图示根据一些实施例的具有用于安装智能家居设备的可视化的智能家居环境1601的可视化。在该示例中，用户可能希望放置用于婴儿监控系统、安全系统和/或其他智能家居系统的相机。如上文详述的，移动设备上的可视化应用可以通过接收用户输入、视觉上扫描房间、使用ir扫描、接收建筑设计和/或对智能家居环境1601建模的任何方法，来获取和/或生成智能家居环境1601的3d模型的元素。
152.用户可以向可视化应用提供输入作为安装过程的一部分，指示他们正在放置特定智能家居设备(诸如相机)。在一些实施例中，安装过程可以包括在线注册过程，在线注册过程向上述设备管理服务器注册智能家居设备。可视化应用可以与监控和/或控制智能家居环境1601中的智能家居设备的一个或多个其他应用集成。例如，该应用可以包括用于调整恒温器的温度、控制安全系统、监控危险检测器和/或接收输入并将输出提供给其他智能家居设备的控件。在安装过程中，可视化应用可以响应于注册了相机或指示要将相机添加到本地智能家居网络而在设备管理应用中自动启动或运行。可替代地或附加地，用户可以启动可视化应用并且特别地请求用于安装特定智能家居设备的可视化。
153.相机的安装可以包括有关相机应被放置在智能家居环境1601中的位置的许多不同考虑事项。在该示例中，可视化应用将专门关注应安装相机的适当高度，尽管应理解，其他安装考虑事项也可以从增强现实可视化中受益，并且被考虑在本公开的范围内。在智能家居环境1601的虚拟3d场景中，应用可以再次将虚拟对象添加到虚拟3d场景中，以帮助可视化安装需求。在该示例中，代替放置视场对象，可视化应用可以沿着墙壁/天花板插入矩形、平面和/或其他表面，其指示可以安全地安装智能家居设备的位所。然后可以在移动设备的显示器上渲染这些表面并将其与智能家居环境1601的现实世界视图进行合成。图16示出了在显示了渲染的表面或对象的情况下通过移动设备的显示器所看到的内容。
154.与视场对象的情况一样，可以以不同的颜色渲染安装表面，以向用户指示用于安装的不同位所的适用性。在该示例中，可视化可以显示在智能家居环境1601的墙壁上渲染的区域1604。可以以指示将相机放置在这些区域1604中是合适的透明颜色(诸如透明绿色)渲染区域1604。这允许用户清楚地看到区域1604后面的墙壁。一些实施例还可以包括文本1606，文本1606相对于区域1604被渲染和显示并且向用户指示附加安装指令。在图16的示例中，文本1602指示在智能家居环境1601中应将相机放置在6英尺以上的安装指南。可视化还可以包括在移动设备的图像上渲染和覆盖的其他指令，诸如注册指令、初始化指令、开机指令、安全警告、用于操作智能家居设备的用户提示、连接到无线网络的指令、布线指令等。
155.图17图示根据一些实施例的用于安装多个智能家居设备的增强现实可视化。当用户要安装多个智能家居设备时，可视化应用可以同时和/或对应地显示每个智能家居设备的增强现实可视化。在该示例中，用户可能正在同一智能家居环境1701中安装相机和恒温器。如上所述，对于这些智能家居设备中的每一个，可视化应用都可以显示区域1604、1712，这些区域指示智能家居设备的最佳位置。区域1712可以指示用于放置恒温器的最佳高度，而区域1604可以指示用于放置相机的最佳高度。这些区域1604、1712中的每一个可以被不同地着色、加阴影等，以将它们彼此区分开。
156.除了显示用于最佳放置的区域1604、1712之外，一些实施例还可以显示智能家居设备的可视化1702、1720。例如，在区域1604内部，可视化应用可以插入相机的可视化1702。这不仅帮助用户在视觉上看到应该将相机安装在哪里，而且还允许用户在视觉上评估智能家居环境1701在相机处于推荐位所时的外观。一些实施例可以允许用户选择(例如，通过单击或手指点击)相机的可视化1702并将相机移动到智能家居环境1701中的新位所。如上所述，文本指示1704也可以作为增强现实可视化的一部分进行渲染，以基于场景、智能家居环境1701和/或特定智能家居设备的背景提供安装指令、警告、放置建议和其他相关信息。
157.当用户将可视化1702移动到用于安装的推荐区域1604以外时，一些实施例还可以给出视觉警告。例如，如果用户将可视化1702拖到推荐区域1604之外，则可视化应用中可能出现文本警告。可替代地或附加地，可以显示其他指示，诸如将区域1604的颜色或填充图案变为红色或使区域1604闪烁作为警告。一些实施例还可以显示区域1730，以抢先警告用户不要在该区域1730中安装智能家居设备。在该示例中，这样的区域1730可能在智能家居环境1701的门上方。将相机放置在此处可能使得相机难以检测/识别通过门进入的人，直到这个人已经处于智能家居环境1701中并且转过身来面对相机为止。可以设置区域1730的填充图案、透明性、颜色和/或其他视觉特征，使得在视觉上指示不应将相机放置在区域1730中。例如，区域1730可以被涂成红色，或者比区域1604更不透明，具有交叉阴影线填充图案、闪
光或闪烁等。一些实施例还可以在示出不应放置相机的区域1730中提供相机的可视化1706，以及警告用户的文本1708，提供关于为什么不应将相机放置在区域1730中的解释和/或将有助于用户理解为什么不建议区域1730来用于安装的其他信息。
158.类似地，可视化应用可以同时显示恒温器的可视化1720。连同恒温器的可视化1720一起，可视化应用也可以提供文本1710，文本1710被渲染成指示恒温器应放置在何处。尽管在图17中未明确示出，但是可以生成并渲染附加区域，其指示不应如上所述地放置恒温器的位置。
159.应注意，对于将由可视化应用生成的图17中所示的显示，实际上不需要安装照相机或恒温器。智能家居设备的可视化1702、1720仅是虚拟的，并且从3d虚拟场景渲染以用于显示。然而，本公开中其他地方所述的所有视场可视化也可以应用于在实际安装之前显示的虚拟智能家居设备。例如，可视化应用可以生成恒温器上的运动检测器之一的视场1724。这可以允许用户在安装智能家居设备之前看到它们的传感器的覆盖范围。可以渲染和显示文本指示符1722，其提供关于传感器的视场覆盖范围的信息。当存在多个智能家居设备时，一些实施例可以预先检测到虚拟3d场景中的视场对象不重叠。可以在这种预安装场景中生成文本警告，其指示用户缺乏重叠或突出显示智能家居环境1701的未被模拟中的智能家居设备覆盖的区域。
160.图18a图示根据一些实施例的在安装之前使用移动设备166标记智能家居设备的潜在位所的方法。如上所述，一些实施例不需要关于智能家居环境1801的任何详细的建筑平面图或其他信息。作为代替，这些实施例可以依赖于移动设备166的相对位所以及智能家居设备的位所或建议位所。该示例示出了甚至在安装智能家居设备之前使用移动设备166来标记智能家居设备的位所的一种方法。
161.在该示例中，用户可以使用他们的智能手机166-2来标记智能家居设备的位所或建议位所。例如，在安装恒温器时，用户可以将他们的智能手机166-2保持在图18a中所示的墙壁上的位所。然后，用户可以向智能手机166-2上的可视化应用提供输入(例如，使用手指点击)，以在虚拟3d环境中标记智能手机166-2的位所。此时，虚拟3d环境除了智能手机166-2的位所之外不需要包括任何信息。这允许用户简单地将他们的智能手机166-2保持在恒温器的建议位所，而无需标记墙壁、打孔或执行任何其他安装程序。
162.在墙壁上标记了位所之后，用户可以将智能手机166-2从墙壁上移动离开到可以通过智能手机166-2的显示器/相机观察到墙壁上的标记点的位所。随着智能手机166-2从墙壁上所标记的位所移动离开，可视化应用可以追踪智能电话166-to的相对运动。使用智能手机166-2的内部罗盘、陀螺仪、加速度计等，可视化应用可以生成虚拟相机相对于先前标记的智能家居设备在虚拟3d环境中的位所的虚拟3d环境中的位所。可视化应用然后可以插入例如恒温器的可视化102，并且插入与恒温器上的运动传感器的视场近似的视场对象。可以从与智能手机166-2在智能家居环境1801中的位所相对应的虚拟相机的视角来渲染包括恒温器的可视化102和相应的视场对象的虚拟3d环境的视图。
163.图18b图示根据一些实施例的在安装之前通过移动设备对移动家居设备的建议位所的视图。从虚拟3d环境渲染的2d图像可以包括恒温器的可视化102和从视场对象渲染的视场1302。这允许用户“浏览”其智能手机166-2上的显示器来确定建议位所处的恒温器的传感器覆盖范围，评估房间中的建议位所处的恒温器的外观和感觉，并评估在建议位所安
装恒温器可能会引起的任何问题。应理解，在本公开中所述的与恒温器的放置和/或视场的可视化相关的任何可视化技术都可以应用于图18a至图18b的示例。例如，视场1302可以包括可视化技术，可视化技术指示视场1302在各种范围内的有效性，视场1302与其他视场的重叠，在智能手机166-2上渲染和显示的安装指令或文本警告，所建议、推荐和/或不推荐的放置位所，等等。而且，恒温器和智能手机166-2的具体示例仅作为示例提供，并不意味着限制。其他实施例可以使用任何智能家居设备以及适于执行上述操作的任何计算设备。
164.图19a图示根据一些实施例的测试视场的增强现实可视化。有时，用户确定传感器的视场是否将足够地检测人类在视场内的运动/存在可能是有用的。例如，用户可能希望遍历运动检测器传感器的潜在或实际视场，以查看通过某个区域的普通通行是否将与视场体积相交。这种测试能力既可以应用于实际安装在智能家居环境1901中的恒温器102，也可以应用于在使用上文在图18a-18b中所述的实施例实际安装之前的智能家居环境1901中的潜在位所。
165.在图19a中，恒温器102已经被安装在智能家居环境1901中。用户902可以使用上述方法，通过其移动设备166可视化视场604。图19a中所示的视场604将仅通过移动设备166可视，但是在图19a中示出以说明用户将通过移动设备166看到的内容。在用户902与视场604相交之前，视场604可以具有第一组视觉特征，诸如第一颜色、第一透明性、第一填充图案、第一强度等等。
166.图19b图示根据一些实施例的视场604在检测到用户902时可以如何改变。当用户902向前走入视场604时，移动设备166可以在用户向前移动时追踪用户902的相对运动。这可以将虚拟相机在相应的虚拟3d场景中的位置前进到视场604中。当可视化应用模拟人类用户和视场604之间发生相交时，可视化应用可以改变物理特性和/或提供智能家居设备(例如，恒温器102)将有效地检测到用户902的其他指示。例如，视场604可以显示有第二组视觉特征，诸如第二颜色、第二透明性、第二填充图案、第二强度等等，以将其与以上关于图19a所述的第一组视觉特征区分开。附加地或可替代地，可视化应用可以提供其他指示符，诸如声音警报或蜂鸣声或文本指示符(例如“检测到！”)。可视化应用还可以使移动设备166振动或发出嗡嗡声。这些指示方法对于允许用户902在智能家居环境1901中走动并知道他们何时将被智能家居环境1901中的智能家居设备检测到而无需不断地观察或“浏览”他们的移动设备166是有用的。
167.一些实施例可以在虚拟3d场景中生成在虚拟相机后面移动的近似人体框架。这对于在人类用户902的框架将相交时，检测其中移动设备166的位置可能不与视场604相交的情况可能是有用的。例如，被配置成检测到图19b中的恒温器102的接近的运动检测器可以被向下定向，以检测人类用户的正在接近的下身躯干。这可能导致用户的脚在移动设备166将与视场604相交之前很久就与视场604相交。然而，通过在虚拟相机后面的虚拟3d场景中生成人体框架(其相应于移动设备166在智能家居环境1901中的位所)，可视化应用可以检测人体框架的体积与相应于恒温器的视场对象的体积之间的相交。当发生这种相交时，可以如上所述地改变经渲染图像中的视场604的视觉特征，以指示智能家居设备将检测到用户。
168.一些实施例可以使用基于移动设备166的位所来估计用户1902的相交的更简单过程。例如，代替在虚拟3d场景中生成人体框架，一些实施例可以代替地确定移动设备166沿
垂直方向的体积延伸何时将与视场对象相交。当移动设备166在视场对象的任何一部分之上或之下移动时，可视化应用可以改变所渲染的视场对象的可视特征，从而指示用户将被智能家居设备检测到。沿垂直方向的这种体积延伸对于相对于用户向上或向下定向的传感器很有用。对于相对于用户向左或向右定向的传感器，这种体积延伸也可以沿水平方向延伸。其他实施例可以在被配置成与传感器视场定向相交的方向上在虚拟3d场景中生成移动设备166的体积延伸。
169.除了将智能家居设备安装在智能家居环境中的某个位所使得视场不受阻碍之外，其他考虑事项也可能会影响安装过程中智能家居设备的放置。本文所述的可视化应用还可以显示可视化和/或警告，其帮助用户避免在可能不是最佳的位所安装智能家居设备。这可以包括热源或其他潜在的传感器干扰源的可视化，以及建议安装位所周围的墙壁的内部可视化。
170.图20图示根据一些实施例的移动设备可以如何接收内部墙壁信息的示例。这些实施例将移动设备166与扫描设备2002配对。扫描设备2002也可以被称为“智能支撑木查找器”。扫描设备2002可以使用不同的电子方法来感测墙壁内的支撑木和其他实体对象。例如，一些实施例可以检测传感器中的电容的变化以检测实体对象。扫描装置2002可以包括板，该板将检测当扫描装置2002在支撑木或其他障碍物上移动时发生的介电常数的变化。扫描设备2002的一些实施例可以包括小型雷达或微波系统，其发射电磁辐射，其具有由扫描设备2002中的传感器检测到的反射。
171.用户可以结合移动设备166，利用由扫描设备2002确定的信息来生成墙壁的内部视图，从而帮助安装智能家居设备。例如，用户可以将扫描设备2002放置在墙壁的一侧上，激活扫描设备2002，并且在墙壁上缓慢移动扫描设备2002。当扫描设备2002被激活时，扫描设备2002中的内部加速度计、陀螺仪，罗盘等可以从起始位所记录扫描设备2002的相对运动。随着扫描装置2002在墙壁上移动，这种运动可以分为多个时间间隔或时段。每个时间间隔都可以存储扫描设备2002的相对位所以及扫描设备的状态，该状态指示扫描设备2002是否正在检测墙壁中的支撑木或内部障碍物。可以将包括位所/运动、定时和/或内墙状态的这种数据流传输到移动设备166。
172.在从扫描设备2002接收到数据流之后，诸如智能手机166-2之类的移动设备166可以在虚拟3d场景中生成与墙壁内可能常见的墙壁支撑木、管道或其他障碍物相应的对象。因为移动设备166可以检测其自身位所和扫描设备2002的相对位所，所以在移动设备166上运行的可视化应用可以生成墙壁内的对象的3d支撑木对象、管道、通风道和/或其他3d模型。在一些实施例中，从扫描设备2002传输的数据流可以用于确定墙壁中的对象的宽度。可以将这些宽度与支撑木(例如，1.5英寸)、管道(例如，3英寸)、通风道(例如，12英寸)等的已知宽度进行比较，以通过它们的被感测的尺寸来识别墙壁中的对象。然后，可以将支撑木、管道、通风管等的相应模型从此类对象库插入到虚拟3d场景中。
173.一些实施例可以在不使用扫描装置2002的情况下生成墙壁的内部内容物的近似可视化。例如，可以使用公共支撑木间距来估计支撑木放置。中心相距16英寸的支撑木可以自动生成，从墙壁的一侧延伸到另一侧。一些实施例可以允许向移动设备166提供第一支撑木位所和/或支撑木间隔尺寸的用户输入。这允许用户使用传统的支撑木查找器来查找墙壁中的支撑木的位所，然后将这种信息输入到可视化应用中。然后，可视化应用可以基于三
维支撑木对象生成可视化，三维支撑木对象被添加到虚拟3d场景并进行渲染以便在移动设备166上查看。在一些实施例中，可以将建筑平面图加载到可视化应用中。这些建筑平面图可能包括支撑木、管道、通风管、电线、下水道通风口和其他内墙物品的位所。
174.在图20的智能手机166-2上示出了可视化应用的示例。在该示例中，多个支撑木2204已经被渲染并显示在墙壁中的被测位所处。这可以帮助用户在安装智能家居设备时避开支撑木位所(或击中支撑木位所)。例如，这可以帮助用户确定在安装过程中不需要使用干式墙锚或木螺钉。一些实施例还可以自动生成可以被假定安装在许多墙壁中的附加框架元件，诸如鞍形支撑木、短支撑木、顶板、底板等。在扫描设备2002未明确感测到这些附加框架元件或未将其以其他方式提供给可视化应用的情况下，可视化应用可以基于标准测量值、建筑规范和/或其他已知默认位所来估计这些附加框架元件将位于何处。然后，可视化应用可以将这些元件自动插入到虚拟3d场景中，并将其渲染为可视化的一部分。图20的示例示出了已经以标准高度自动添加到可视化中的水平阻挡支撑木2206。添加这些附加元件可能是可视化应用中的可以由用户打开/关闭或调整的一个选项。
175.图21图示根据一些实施例的可以由可视化应用在安装过程期间估计、建模和/或可视化的附加环境元素。图21中所示的视图可以被视为是穿过移动设备的视图。如上所述，墙壁内部的对象(诸如建筑支撑木2104)可以使用扫描设备来检测、由用户输入提供、使用公共测量值来估计、通过数字建筑平面图接收等等。在用户浏览移动设备时，墙壁内部的对象的可视化可以作为被移动设备捕获的相机图像上的复合重叠图像来渲染和显示。
176.在一些实施例中，可视化应用还可以在视觉上检测已知影响智能家居设备和/或其上的传感器的操作的所捕获图像中的附加对象。例如，可视化应用可以检测到将热/冷空气输送到智能家居环境2101的hvac通风口2110的存在。这可以通过使用计算机视觉和匹配算法，将hvac通风口2110的所捕获图像与hvac通风口的已知图像进行比较来实现。可替代地或附加地，用户可以选择在移动设备上显示的图像的一部分，并将所选择的对象指定为hvac通风口2110。例如，用户可以点击或单击显示在移动设备的显示屏上显示的hvac通风口2110的图像，之后，可视化应用可以生成与所选对象相关联的可视化。
177.在使用上述方法之一识别hav通风口2110之后，可视化应用可以在与hvac通风口2110相关的虚拟3d场景中生成效果对象。例如，可视化应用可以生成代表热空气的气体羽流，热空气会从hvac通风口2110上升。可替代地，可视化应用可以生成代表冷空气的气体羽流，冷空气被迫离开hvac通风口2110并沿着地板移动。可以使用用于在计算机动画中生成水气、雾或其他湍流空气模拟的已知技术来生成这种效果对象。然后，可以渲染效果对象以生成热空气羽流2108的2d图像重叠，2d图像重叠可以被显示在hvac通风口2110附近，如图21中所示。
178.hvac通风口2110仅用作示例，并不意味着限制。可以使用上述相同技术来辨识图像中的其他对象并在虚拟3d场景中生成相应的效果对象。在一些实施例中，窗户可以通过计算机视觉算法或通过用户选择来辨识，并且可以生成对可能通过窗户进入房间的日光进行建模的效果对象。使用移动设备上的罗盘和gps接收器，可视化应用可以估计窗户的位置和/或定向，并正确地对将通过窗户进入的阳光的方向和强度建模。可视化应用还可以生成日光在一天中以及一年中的不同时段将如何移动的动画。这可以为用户提供入射的阳光可能如何影响可能受到阳光影响的任何智能家居设备(诸如恒温器)的完整图片。
179.一些实施例还可以在视觉上辨识或接收智能家居环境2101中的其他对象的指示，并基于该识别来生成附加对象。例如，可视化应用可以在视觉上辨识或接收对一个或多个电插座2112的选择。基于电插座2112的位所，可视化应用可以生成3d对象，该3d对象表示在电插座2112之间行进的墙壁内的电线。这些3d对象可以在移动设备的显示器上被渲染并显示成墙壁内部的电线2106。相同的原理也可以应用于灯开关、调光器开关、电话插孔、同轴电缆插孔、以太网电缆插孔和/或将指示墙壁内布线的任何其他插座。这种可视化可以帮助用户确保他们不会意外钻入电线2106和/或以其他方式干扰现有的电气系统。另外，相同的原理可以应用于可以在智能家居环境2101的图像中在视觉上辨识的其他元素。例如，通过在视觉上辨识和/或接收对水槽的选择，可视化应用可以基于水槽的位所在墙壁内生成水管和/或排水管。通过在视觉上辨识和/或接收对壁炉的选择，可视化应用可以基于壁炉的位所生成在墙壁内向上延伸的壁炉烟道。
180.一些实施例可以使用配备有热成像仪和/或热成像相机的移动设备。这些实施例可以检测智能家居环境2101中的热信号和热辐射，并基于那些热图像生成对象。例如，热水管2102可能在墙壁内行进。尽管这是肉眼不可视的，并且可能基于其在用户上方的高度而使用扫描设备错过了，但是来自热水管2102的热辐射通常会辐射穿过墙壁，足以使其被移动设备166上的热成像相机接收到。可视化应用可以将热信号的形状和位置辨识成热水管2102，并在虚拟3d场景中生成表示热水管2102的3d对象，以在移动设备上渲染和显示。可替代地或附加地，当热信号与来自热源库的已知热信号不匹配时，作为代替，可视化应用可以基于热信号自身的形状来生成3d对象。3d对象可以作为墙壁上的未知热源显示在移动设备上。
181.图22a图示根据一些实施例的通过包括不可视干扰源的安装位所的智能手机166-2的视图。在该示例中，通过智能手机166-2可视的来自hvac通风口2110的热空气羽流2108的一部分在显示器上可视。另外，墙壁支撑木2104也作为经渲染的图像在智能手机166-2的显示器上可视。在一些实施例中，可视化应用还可以定位与任何干扰源(例如，热空气羽流2108)相距阈值距离的对象(例如，支撑木2104)之间的间隙，并且将这样的位所推荐给用户。在该示例中，可视化应用已识别出墙壁支撑木2104之间的空间，该空间离要安装恒温器的热空气羽流2108的距离足够远。因此，可视化应用可以渲染指示用于恒温器放置的可接受区域的区域2202以用于在智能手机166-2上显示。一些实施例还可以生成描述恒温器应如何放置/放置在哪里的文本。这种可视化可以结合上述可视化来生成，诸如那些建议将相机放置在某个高度以上，那些建议将恒温器放置在某些高度之间，那些建议将安全传感器放置在门附近等的可视化。那些安装约束可以与在图22a的墙壁/环境中识别的约束结合，以识别并生成用于安装的区域2202的可视化。
182.这种特征允许用户向可视化应用提供指示他们打算安装恒温器的输入。然后，用户可以通过智能手机166-2查看墙壁，并且可视化应用可以分析可视对象和/或生成视图内的内部墙壁对象。然后，可视化应用可以分析该区域，并且基于与干扰源之间的距离以及墙壁内的实体对象的位所来识别适当位所。因而，用户可以简单地浏览他们的智能电话166-2并立即看到用于安装他们的智能家居设备的最佳位所。
183.一旦可视化应用已经识别了安装位所，则可视化应用然后可以提供关于如何安装智能家居设备的附加信息。例如，许多智能家居设备可以包括多步骤安装程序，多步骤安装
程序包括：将智能家居设备安装在智能家居环境的墙壁/天花板上的某一位所；将智能家居设备连接到现有的布线和/或电气系统；打开智能家居设备并设置软件；将智能家居设备连接到无线网络；和/或授权智能家居设备在智能家居环境中正常运行。在购买智能家居设备时，用于这些安装的指令以及使用步骤通常以打印介质随智能家居设备一起提供。本文所述的实施例使用可视化应用和增强现实可视化来提供可以与实时客户支持可选地耦合的附加安装和设置指令。
184.图22b图示根据一些实施例的用于安装智能家居设备的方法的流程图。该方法可以包括捕获封闭空间一部分的现实世界视图(2250)。现实世界视图可以被移动设备上的相机捕获。封闭空间的一部分可以是本文列出的任何封闭空间类型的房间或其他细分。
185.该方法可以进一步包括确定封闭空间的该部分中的智能家居设备的一个或多个安装位所(2252)。安装位所可以基于智能家居设备的设备类型来确定。例如，相机设备可能最好安装在地面之上6英尺的位置。运动传感器设备最好安装在拐角里。恒温器最好安装在地面之上约5英尺的位置。如本文所述，位所也可以被确定为避开可能干扰智能家居设备的运行和/或安装的对象或环境。
186.该方法可以另外包括渲染指示一个或多个安装位所的一个或多个对象(2254)。该一个或多个对象可以包括线框、面板、实体对象、2d对象、文本描述和/或可以经渲染以指示用于安装的位所的任何其他虚拟对象。例如，一些按钮可以在应该安装智能家居设备的墙壁的一部分上以透明颜色覆盖面板。一些实施例可以包括指示应该在那里或者不应该在那里发生安装的文本。有人会包括示出可能会干扰智能家居设备的运行和/或安装的危险的文本或其他指示。一些实施例可以包括向用户说明应该在哪里进行安装的箭头或其他指令性对象。有人可能还会在某些位所显示视场对象，以帮助用户理解这种放置将如何影响智能家居设备的运行。
187.该方法还可以包括引起一个或多个对象的视图被显示在现实世界视图上(2256)。如上所述，经渲染的对象可以合成在被移动设备的相机捕获的现实世界视图的实时视图上。合成图像可以作为实时视频被显示在移动设备的显示屏上。
188.图23图示根据一些实施例的在安装程序期间用于恒温器的背板2302。恒温器的一些实施例可以包括背板2302和头部单元(未示出)。在安装期间，可以将背板与头部单元分离，并使用例如一对螺丝钉和内部气泡水平仪安装到墙壁上。可以将现有的hvac布线穿过背板2302中心的孔进行馈送，并且可以将单独的电线单独插入围绕该孔的布线插座中，每个插座都有推动片，推动片允许将电线插入相应的端口。恒温器背板2302的这一示例仅仅是可以如何安装智能家居设备的一个示例。为了简洁起见，在本公开中没有提供每个现有的智能家居设备的图，但是根据本公开，对于本领域的技术人员将显而易见的是，下文所述的这些相同原理可以适用于任何智能设备，而不仅仅是恒温器。
189.在将电线馈送通过背板2302中的中心孔之后，然后，用户可能需要借助于其外部绝缘层的颜色来识别电线，以确定应将它们插入背板2302上的哪个端口。这通常是一个充满用户错误的过程。例如，用户可能很难辨识电线的正确颜色，特别是对于色盲个人和/或相对较旧的电线。电线上的绝缘层也可能需要修剪到适当长度。修剪过短的绝缘层可能会阻止电线正确插入到布线插座中，而修剪过长的绝缘层则可能导致无意间短路，因为暴露的电线会与其他电线接触。在一些情况下，暴露电线的状况可能会退化或弯曲，以致无法正
确插入电线插座中。通过提供安装过程的增强现实视图的可视化应用可以解决这些和其他问题。
190.在图23的示例中，一些电线已经被插入布线插座2306-2和2306-3中。然而，电线2304-1、2304-2以及2304-3仍暴露并且未正确地连接。可视化应用可以识别不正确的布线情况，在电线被插入布线插座中之前检查电线的质量，帮助用户并进行正确放置，和/或提供其他指导，以确保安装过程正确完成，并且几乎任何用户都可以完成。
191.图24图示根据一些实施例的在通过智能手机166-2安装期间的智能家居设备的视图。如上所述，“通过”智能手机166-2的显示器查看智能家居设备可以包括使用智能手机166-2的相机捕获智能家居设备的图像，向图像添加视觉元素，以及在智能手机166-2的显示器上显示具有附加视觉元素的所捕获照片。同样可以使用具有显示屏的任何移动设备，并且提供智能手机166-2仅是作为一个特定示例。
192.为了生成附加视觉元素，一些实施例可以使用上述虚拟3d场景。具体地，这些实施例可以包括智能家居设备的3d模型，并且可以生成在所捕获的图像中识别出的或被添加到所捕获的图像以帮助安装过程的文本对象、箭头对象、虚拟布线图、虚拟电线和/或插座等。然后可以在移动设备的显示屏上实时渲染和显示这些3d模型，向用户展示如何进行。
193.在一些实施例中，使用实时渲染的虚拟3d场景可能不是完全必要的。例如，一些实施例可以使用二维图像处理技术来从所捕获图像中识别安装过程的物理元素。例如，计算机视觉算法可以用于在所捕获图像中识别电线2304-1。可以将被添加到所显示图像的任何文本2402、箭头和/或其他指令性元素添加为图像上的二维重叠。无需使用实时渲染的任何虚拟3d模型即可完成这种操作。是否使用2d或3d图像的选取可以基于安装情况的复杂性和智能家居设备的性质。例如，对于可以使用2d可视化和图像处理技术从前视图进行分析的恒温器背板2302，虚拟3d场景不需要用作选项。相反，对于例如用于安全系统的控制设备的复杂安装，使用上文详述的技术在增强现实中提供3d用户体验可能是有益的。
194.在图24中，用户可以通过智能手机166-2的显示屏查看恒温器背板2302。如图所示，用户已经使用所示的螺丝钉将背板2302固定在墙壁上，并且现有的布线已穿过中心孔馈送，并准备安装在背板2302的布线插座中。在通过视觉算法分析智能手机166-2的相机所捕获的图像时，可以通过它们的形状和它们在图像中的颜色来识别每条电线。例如，电线2304-1可以通过其形状识别为电线(长、连续、带有暴露的端部和有色外部绝缘层等)，并且可以基于绝缘层的颜色确定其作为接地线的功能。类似地，布线插座2306-1可以通过其形状、在背板2302上的位置和/或插座2306-1上的字母来识别，插座2306-1上的字母指示其是应该接收接地线2304-1的布线插座。可以通过将布线插座的形状和字母与已经存储的并针对每个特定恒温器或其他智能家居设备的已知布线插座模型库或虚拟签名来识别布线插座。
195.一旦已经识别了电线2304-1和布线插座2306-1，则可视化应用也可以确定电线2304-1未被安装在布线插座2306-1中。这可以通过在视觉上检测电线2304-1的暴露铜端部以及确定其离布线插座2306-1的端口的距离足够远来完成。一旦做出了这种确定，则可视化应用可以生成覆盖在所捕获图像上并显示在智能手机166-2的显示器上的布线指令。例如，一些实施例可以生成指示用户将电线2304-1插入布线插座2306-1中的文本2402。可以使用箭头2404和/或其他视觉指示符来为用户识别电线2304-1和布线插座2306-1。
196.一些实施例可以在用户开始将电线2304-1插入插座2306-1中时动态地改变显示。例如，当电线2304-1朝向插座2306-1移动时，箭头2404可以改变其位置，使得它们分别连续地指向电线2304-1和插座2306-1。这提供了动画，该动画确保在安装发生时用户正确地安装电线。在一些实施例中，可视化应用可以提供动画，该动画在用户实际执行将电线2304-1插入插座2306-1中之前向用户显示如何将电线2304-1插入插座2306-1中。例如，可以渲染三维电线和/或可以生成电线2304-1的二维视图，电线2304-1从其当前位所移动到布线插座2306-1的端口。这为用户提供了可视化，以便在用户实际执行该过程之前执行电线2304-1的安装。一些实施例还可以提供附加指示符，诸如从智能家居设备的扬声器播放的可听指令，从而为安装过程提供语音指令。例如，可以播放可听语音，要求用户“将黑线安装到g端口中”。这些可听指令可以存储在特定于智能家居设备或者通常适用于多个智能家居设备的通用安装步骤的库中。可以通过视觉检测图24中所示的未插入电线场景来触发播放这些可听指令。
197.在到目前为止所述的实施例中，电线2304-1和布线插座2306-1的识别以及文本2402和/或视觉指示符2404的生成已经由可视化应用本身自动执行并生成。然而，一些实施例可以使用可视化应用以通过上述设备管理服务器链接到即时客户服务代表。例如，当在安装期间捕获了智能家居设备的图像时，可以将该图像传输到位于远处的第二计算设备。该第二计算设备可以由安装专业人员、由技术助手或由另一普通用户来操作。例如，一个用户可以执行物理安装，而另一用户从远程位所(例如，在单独的房间中、在单独的建筑物中、在单独的状态下等)查看安装并提供指导和/或帮助。因而，可视化应用可以在安装过程期间提供即时链接以即时帮助。
198.在图24的示例中，可以假定第一用户正在手持智能手机166-2，第二用户正在第二计算设备上远程查看智能手机166-2捕获的图像。随着第二用户查看图像，他们可以在视觉上识别电线2304-1和/或插座2306-1，并向用户提供即时、口头指令，这些指令可以被第二计算设备上的麦克风捕获并传输给智能手机166-2。然后，智能手机可以在安装位所处的智能手机166-2的扬声器上广播第二用户所提供的口头指令。
199.在一些实施例中，第二计算设备可以允许第二用户将图形元素添加到在智能手机166-2上显示的图像。例如，第二计算设备可以包括控件和/或工具条，其允许第二用户添加文本和箭头，视觉圈出或突出显示在显示屏上所显示的区域，添加正确安装的电线的模型或图片，在安装过程中添加物理元件的模型的其他图像，等等。例如，第二用户可以键入在智能手机166-2上显示的文本2402，并绘制向用户显示如何将电线2304-1插入插座2306-1中的箭头2404。这可以通过即时口头/视频连接完成，使得第二用户可以引导第一用户完成安装过程。
200.这些实施例允许可以通过可视化应用的增强现实显示来实现的即时客户服务场景指导用户完成否则可能非常复杂且易于出错的安装过程。另外，可视化应用可以将与另一用户的即时交互与除了安装过程之外的其他情况的实时增强现实显示耦合在一起。例如，在已经安装了智能家居设备后，可以使用上述相同的技术来对设备操作进行故障排除。用户可以通过其移动设备查看智能家居设备，并在对设备的操作进行故障排除时接收实时的视觉和/或听觉指令和反馈。第二用户可以使第一用户浏览菜单，提供第一用户可以输入的设置和其他输入，和/或以先前将需要第二用户进行现场访问的方式给出任何其他指令。
无需让第一用户解释他们在显示屏上看到的内容，第二用户将在智能家居设备上即时查看显示屏，这可以消除混乱并要求第一用户以准确方式口头描述他们在视觉上看到的内容。
201.下面的附图提供了可视化应用可以如何协助安装、故障排除和/或客户服务场景的其他示例。将被添加到智能手机166-2的显示器的视觉和/或文本元素应被理解为由可视化应用自动生成，或者由查看智能手机166-2所捕获的图像的第二用户远程生成。因此，智能手机166-2显示和/或提供的任何信息都可以由可视化应用自动生成，无需使用计算机视觉算法、预先存在的库和/或如上所述的可视化的任何人为干扰。可替代地或另外，由智能手机166-2显示和/或提供的任何信息也可以由第二用户使用第二计算设备生成，第二计算设备连接到由智能手机166-2捕获的实时视频馈送。例如，文本2402和/或箭头2404可以由可视化应用自动生成，并且即时第二用户可以在显示屏上同时提供附加视觉指示符(例如，附加箭头)以及即时口头指示。因此，可视化应用的自动操作可以与来自第二用户的来自第二计算设备的实时交互实时地结合。同样地，这些示例仅将恒温器的背板2302和智能手机166-2用作示例，并不意味着是限制性的。本领域技术人员应根据本公开理解，可以使用任何移动设备将相同技术应用于任何类型的智能家居设备以提供可视化应用。
202.图25图示根据一些实施例的在安装过程期间可视化应用可以如何识别用户做出的错误。如上所述，可视化应用可以凭借不同电线的彩色绝缘层识别与不同电线相关联的功能。然后，可以使用每根电线的功能来确定用户是否将电线插入了正确的布线插座中。一些用户可能不希望在安装过程中有逐步的说明，因为他们可能喜欢自己给智能家居设备布线。然而，他们可能会从这种错误检查功能中受益，该功能可确保他们的安装是正确的。
203.在该示例中，如上所述，用户可以在有或没有增强现实可视化、文本、箭头和/或与另一用户的即时交互的帮助下，自行将电线插入布线插座2306-2中。当用户将智能手机166-2手持在智能家居设备2302的前面时，可视化应用可以分析由智能手机166-2的相机捕获的图像。具体而言，可视化应用可以凭借不同电线的颜色或其他视觉特征(诸如位所、长度、厚度、规格等)来识别不同的电线及其功能。然后，可视化应用可以通过比较电线的可视路径与布线插座的被检测位所确定是否正确插入了电线。
204.如果可视化应用确定电线已经被错误地插入至少一个布线插座中，则可视化应用可以生成错误消息。在该示例中，可视化应用可以生成指示指定的连接不正确的文本2502。可视化应用还可以生成箭头，以指示错误地连接的特定布线插座2306-2。虽然在图25中未明确示出，但是一些实施例可以提供附加指令，包括对错误的视觉/听觉/触觉指示(例如，嗡嗡声、振动等)。然后，一些实施例可以生成指示如何纠正布线错误的附加文本、箭头、动画、轮廓、突出显示等。例如，一些实施例可以显示箭头2504的动画，该动画从不正确的布线插座2306-2移动到正确的布线插座。一些实施例可以生成明确的文本，诸如“将这条线移动到y2布线插座”。
205.在一些实施例中，当可视化应用检测到布线或其他安装错误时，可视化应用可以通过第二计算设备联系第二用户。例如，可视化应用可以自动连接到第二计算设备上的安装专家。来自智能电话166-2的即时视频馈送以及所检测到的错误的细节和/或显示在显示屏上的文本2502和箭头2504可以被实时传输到第二计算设备。然后，第二用户可以通过即时音频和/或视频馈送与第一用户通信。例如，第二用户可以对第二计算设备的麦克风讲话，并且其口头指令可以通过移动手机166-2的扬声器进行传输和广播，以指导第一用户完
成安装过程以解决布线错误。在另一示例中，弹出窗口可以出现在智能手机166-2的显示器上，弹出窗口显示第二用户的即时视频，其解释如何纠正布线错误。在一些实施例中，这种与第二用户的连接可以是自动的，而在其他实施例中，当检测到布线错误时，这种与第二用户的连接可以被显示为选项。例如，可视化应用可以为第一位用户显示错误指示，然后在需要附加帮助以纠正布线错误的情况下提供连接到第二用户的选项。第一用户可以点击/单击可视化应用提供的帮助按钮，以连接到第二计算设备。
206.可视化应用也可以通过在视觉上分析布线、布线插座和/或由此可以进行的任何连接容易检测其它类型的错误。图26图示根据一些实施例的检测到被不适当地修剪的电线的可视化应用的示例。在该示例中，可视化应用可以在视觉上识别内部铜布线和电线的外部绝缘层之间的差异。为了将电线正确地安装到一个布线插座中，从安装中暴露的铜布线数量可能需要落入特定范围内，诸如在3/8英寸至1/4英寸之间。如果没有暴露足够多的铜电线，则电线可能无法正确就座在布线插座中。在完成安装后视觉检测可能很困难，因为在用户看来像是正确插入了电线，但是内部连接实际上不足。相反，如果暴露了太多的铜电线，则可能会与相邻的布线插座中的电线产生意外短路。
207.可视化应用可以在安装之前检测到这些情况中的任何一种，以警告用户并防止电气连接不足和/或意外短路的技术问题。如上所述，可视化应用可以使用计算机视觉算法检测和隔离个别电线的图像。可视化应用还可以基于颜色、规格、反射率和/或将绝缘层与铜布线区分开的其他视觉特征，来区分绝缘层和电线的内部铜布线。然后，可视化应用可以基于智能家居设备2302的已知尺寸来估计暴露的铜布线的测量值。例如，在安装过程开始时，用户可以指定正在安装的智能家居设备的特定类型。在该示例中，用户可以指定他们正在安装恒温器。基于该指示，可视化应用可以检索恒温器的背板2302的已知尺寸。基于背板2302的已知直径，可视化应用然后可以使用背板2302的已知尺寸与暴露的铜布线的相对长度之间的比例比较，以及由相机捕获的虚拟图像中的背板2302的直径来估计暴露的铜布线的长度。
208.如果确定没有暴露出足够多的铜布线，则可视化应用可以自动生成指示问题的文本2602、箭头或其他视觉/听觉/触觉警告。在该示例中，文本2602指示电线2304-2上没有暴露足够的布线。当将背板2302带入智能手机166-2的相机的视图中时，可以自动检测到这种错误。还可以响应于用户请求可视化应用检查安装过程来检测这种错误。当接收到来自用户的这种输入时，可视化应用可以如上所述地分析现有的布线连接以及尚未连接的任何电线的状态。
209.在一些实施例中，可视化应用可能检测到即使将电线插入布线插座后仍没有暴露出足够多铜布线的电线。例如，可以设计一些安装和/或布线插座，使得在插入电线之后，内部铜布线的至少一部分应最小化地暴露。可视化应用可以检测到在相机捕获的图像中没有视觉感知到这样的最小暴露，并且向用户生成警告，警告他们可能需要断开电线并修剪绝缘层，以确保电线正确地就座在布线插座内。
210.图27图示根据一些实施例的可视化应用可以如何检测何时暴露了太多布线。如上所述，电线暴露过多的技术问题在于相邻布线插座中的相邻电线可能会导致意外短路。使用类似于用于检测何时没有暴露足够多的铜线时的过程，可视化应用可以识别图像中的电线2304-3，并使用图像中对象(诸如，背板2302)的另一已知测量值，可视化应用可以估计在
电线2304-3上暴露的铜电线的长度。然后可以将估计的长度与可接受范围进行比较，在该可接受范围内，暴露的铜线量应下降以进行正确的安装。
211.如果铜布线的长度太长，可视化应用可以向用户生成文本2702、箭头、动画和/或其他视觉/听觉/触觉警告，其指示错误和/或提供有关如何纠正错误的指令。例如，一些实施例可以提供与视频的链接，视频演示了如何正确地修剪暴露的铜布线和/或如何适当地修剪外部安装。一些实施例可以提供到附加信息的链接，附加信息描述了问题以及可能由于不纠正错误而导致的可能后果(例如，短路)。一些实施例还可以自动连接到第二计算设备，使得第二用户可以提供即时指令。一些实施例可以生成控件，控件允许用户提供指示他们希望连接到第二计算设备以获得即时帮助的输入。
212.图28图示根据一些实施例的检测到需要被重新修剪的电线的可视化应用。除了检测铜布线的暴露之外，可视化应用还可以检查将被插入布线插座中的暴露布线的质量。例如，可视化应用可以检测暴露的铜布线的颜色，并且借助颜色和/或颜色图案，识别具有腐蚀或其他涂层的电线，这些腐蚀或其他涂层可能会阻止布线插座中的正确电连接。然后，可视化应用可以提供指令或到指令和/或即时帮助的链接，以指导用户如何清洁或重新修剪有问题的布线。
213.在该示例中，电线2304-3可能以可能难以将电线正确地插入相应的布线插座的方式压接或弯曲。可以通过追踪电线2304-3的视觉路径的计算机视觉算法检测到这种情况。如果图像中的视觉路径不够直或包含超过阈值量的曲线/弯曲，则可视化应用可以生成文本2802、箭头、动画和/或其他视觉/听觉/触觉指示，其警告用户存在错误。然后，可视化应用可以提供指令或指向指令/实时帮助的链接，以指导用户如何清洁或重新修剪有问题的布线。
214.图29图示根据一些实施例的检测到被插入正确的布线插座中但是不正确地就座的电线的可视化应用。在该示例中，电线可能在视觉上看起来被正确地插入布线插座2306-3中。然而，电线可能被以不正确的角度插入或以其他方式未正确地就座，使得无法在布线插座2306-3内进行可靠的电气连接。智能家居设备的一些实施例可以包括带有按钮控件的布线插座，按钮控件允许插入电线。例如，用户可以按下按钮控件，按钮控件将打开布线插座内部的连接器，并允许将电线插入其中。在释放按钮控件时，连接器会将电线夹紧在适当的位置，以便不重新接合按钮控件就不容易将电线取下。
215.在该示例中，电线的插入方式可能使按钮控件未正确释放并将电线夹紧就位。可视化应用可以通过将布线插座2306-3的按钮控件的视觉高度与相邻布线插座进行比较来检测这种情况。如果按钮控件的视觉高度显著低于相邻布线插座的按钮控件的视觉高度，则可视化应用可以警告用户电线可能未正确就座。可视化应用可以生成文本2902、箭头、动画和/或其他视觉/听觉/触觉指示，指示可能存在错误。如上所述，可视化应用还可以链接到描述如何纠正问题的视频、网页和/或即时指令。
216.在前面的说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的各种实施例的透彻理解。然而，对于本领域的技术人员将显而易见的是，可以在没有这些具体细节中的一些的情况下实践本发明的实施例。在其他情况下，以方框图形式示出公知的结构和设备。
217.前面的说明仅提供了例证性实施例，并且无意于限制本公开的范围、适用性或配
置。相反，例证性实施例的前述说明将为本领域技术人员提供用于实现例证性实施例的使能说明。应理解，在不脱离所附权利要求书所阐述的本发明的精神和范围的情况下，可以对元件的功能和布置做出各种改变。
218.在前述说明中给出了具体细节以提供对实施例的透彻理解。然而，本领域技术人员应理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统，网络，过程和其他组件可能已经被示为方框图形式的组件，以便不会在不必要的细节上模糊实施例。在其他实例中，可能已经示出了公知的电路、过程、算法、结构和技术，没有不必要的细节，以避免模糊实施例。
219.而且，应注意，各个实施例可能已经被描述为过程，过程被示出为流程图、流程视图、数据流程图、结构图或方框图。尽管流程图可能将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新安排操作顺序。流程在其操作完成时终止，但是可能具有图中未包括的其他步骤。过程可以相应于方法、函数、过程、子例程、子程序等。当过程相应于函数时，其终止可以相应于该函数返回到调用函数或主函数。
220.术语“计算机可读介质”包括但不限于便携式或固定存储设备、光学存储设备、无线信道以及能够存储、包含或携带指令和/或数据的各种其他介质。代码段或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任意组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，代码段可以耦合到另一个代码段或硬件电路。信息、自变量、参数、数据等可以通过任何合适的方式(包括内存共享、消息传递、令牌传递、网络传输等)传递、转发或传输。
221.此外，可以通过硬件、软件、固件、中间件、微码、硬件描述语言或其任意组合来实现实施例。当以软件、固件、中间件或微代码实现时，可以将执行必要任务的程序代码或代码段存储在机器可读介质中。处理器可以执行必要的任务。
222.在前述说明书中，参考本发明的特定实施例描述了本发明的各方面，但是本领域技术人员应认识到，本发明不限于此。上述本发明的各种特征和方面可以单独或共同使用。此外，在不脱离本说明书的更广泛的精神和范围的情况下，实施例可以在本文所述之外的任何数量的环境和应用中使用。因而，说明书和附图应被认为是说明性的而不是限制性的。
223.另外，出于说明的目的，以特定顺序描述了方法。应当理解，在替代实施例中，可以以与所描述的顺序不同的顺序来执行方法。还应当理解，上述方法可以由硬件部件执行，或者可以以机器可执行指令的序列来体现，所述机器可执行指令可以用于引起机器，诸如通用或专用处理器或用指令编程的逻辑电路执行这些方法。这些机器可执行指令可以存储在一个或多个机器可读介质上，诸如cd-rom或其他类型的光盘、软盘、rom、ram、eprom、eeprom、磁卡或光卡、闪存或适用于存储电子指令的机器可读介质的其他类型。可替代地，可以通过硬件和软件的组合来执行所述方法。