智能设备上的功率管理的系统和方法与流程

本发明总体上涉及相机设备，包括但不限于表征运动以管理相机设备上的功率。

背景技术：

家庭入口通道是通常与房屋居住者的安全和安心相关的敏感区域。为了安全和便利，房主和居住者有兴趣对其入口通道进行监视。一些现有的监视系统在安全相机的视野中检测人员，而一些在检测到这种情况时启动一般警报。但是，单一类型的警报并不适合所有检测到的人；有些人可能是受欢迎的客人、居住者、不受欢迎的访客或者仅仅是经过入口通道的人。

另外，与线路供电的相机相比，用电池操作的视频门铃和独立相机带来了明显的功率优化问题。例如，这种设备的形状因素通常禁止使用大容量电池。

准确地识别、分类和响应家庭访客是一个挑战。在减少能耗的同时，迫切需要用于发现、分类和响应访客的人类友好技术。

技术实现要素：

因此，需要具有用于实体(例如，人)以及事件识别、分类和呈现的更有效、准确和直观的方法的系统和/或设备。此类系统、设备和方法可选地补充或替代用于实体和事件识别、分类和/或呈现的常规系统、设备和方法。

如果家庭监控系统不采用某些辨别/识别和分类过程，则该系统的用户可能会受到有关不重要和琐碎事件的警报和通知的轰炸。触发此类警报通常需要利用无线网络，这可能会严重消耗电池供电的设备。而且，大量不必要或不完整的信息给用户带来了更大的负担，并使识别和响应重要事件变得更加困难。

例如，每次有人走在安装在家庭入口通道处的电池供电的相机前面时接收视频通知的用户可能无法快速和有效地区分路人和访客。此外，由电池供电的相机在传输视频通知时会消耗大量电能。因此，能够识别出检测事件何时是用户感兴趣的(例如，是由访客接近入口通道引起的)是有益的。

例如，不是在检测到运动的任何时间发送视频通知。电池供电的相机可以对运动进行分类，并发送邮递员已投递了邮件的文本通知以及在陌生人徘徊于该房屋时发送视频通知。这样，用户可以一目了然地看到事件的性质，并且通过不为琐碎或预期的事件发送不必要的视频数据，相机可以节省能量。

在一些实施方式中，视频门铃具有三个操作阶段。每个阶段都需要能量，这些阶段的叠加可用于计算操作门铃所需的总功率。基线阶段是操作的空闲阶段。该阶段在仍提供最少的功能的同时采用最低功率。加到基线功率上的是相机的有功功率。此阶段包括捕获和存储视频图像的附加功能。最后，传输阶段包括通过局域网传输视频数据。

在经由wi-fi传输视频数据的一些实施方式中，传输阶段使用的能量最多。为了最小化能量消耗，使用三种操作模式来传输视频数据。

模式1.捕获、存储和发送快照模式–在此模式下，运动事件触发相机设备上的视频片段的捕获和存储(而不会自动传输到远程服务器或客户端设备)。在一些实施方式中，事件为用户生成通知，例如，纯文本通知或具有运动事件的快照(或快照的动画)的通知。一旦用户接收到通知，用户就可以决定是否请求和查看存储在相机设备上的运动事件的附加视频数据。在一些实施方式中，如果用户未保存存储的片段，则根据存储或时间限制将其覆盖。

模式2.点播视频模式–在此模式下，用户偏爱实时(立即)传输视频数据。例如，针对特定类型的事件(例如，访客激活门铃)自动发送视频流。当用户响应事件(例如，经由门铃与访客互动)时，自动流式传输允许第一图像的低时延。在另一示例中，用户发起按需传输以检查门处的状态(例如，包裹的递送)。在此示例中，由于没有先前的事件触发捕获，因此，在发起请求之前，传输会导致增加的时延，并且不包含回滚视频。

模式3.查看模式–在此模式下，如果用户稍后要查看存储的片段，则可以使得他们浏览快照并选择感兴趣的快照事件以回放完整的视频片段。然后，将存储在相机中的视频片段发送给用户。

因此，通过仅选择性地发送用户优先认为为重要的那些实时图像来限制用于视频发送的功率量。用户有选择地决定哪些事件应触发自动传输，以及可以从相机设备处的历史记录中请求哪些事件。

在一方面，一些实施方式包括在具有存储器、一个或多个处理器和图像传感器的相机设备处执行的方法。该方法包括：(1)在停用相机设备的无线通信组件的同时：(a)利用图像传感器捕获包含运动事件的多个图像；(b)表征运动事件；(c)基于运动事件的表征，确定是否将视频数据发送到远程计算系统；(2)根据确定将视频数据发送到远程计算系统：(a)激活相机设备的无线通信组件；(b)经由无线通信组件建立到远程计算系统的无线连接；(c)经由建立的无线连接向远程计算系统发送视频信息。在一些实施方式中，基于视频数据的片段(例如，2、5或10秒片段)来表征运动事件。在一些实施方式中，远程计算系统是云服务器，例如，被配置为管理多个智能家居账户并将相机信息中继到一个或多个用户设备的云服务器。在一些实施方式中，远程计算系统是客户端设备，例如，相机设备被配置为将视频信息直接发送到客户端设备。

在另一方面，一些实施方式包括具有一个或多个处理器、图像传感器以及存储一个或多个指令的存储器的相机设备，所述指令在由一个或多个处理器执行时使相机设备执行包括以下步骤的操作：(1)在停用相机设备的无线通信组件的同时：(a)利用图像传感器捕获包含运动事件的多个图像；(b)表征运动事件；(c)基于运动事件的表征，确定是否将视频数据发送到远程计算系统；(2)根据确定将视频数据发送到远程计算系统：(a)激活相机设备的无线通信组件；(b)经由无线通信组件建立到远程计算系统的无线连接；(c)经由建立的无线连接向远程计算系统发送视频信息。在一些实施方式中，相机设备被配置为执行本文描述的任何方法。

在另一方面，一些实施方式包括存储一个或多个程序的非暂时性计算机可读存储介质，该一个或多个程序包括指令，当指令由具有一个或多个处理器、存储器和图像传感器的相机设备执行时，使相机设备执行包括以下步骤的操作：(1)在停用相机设备的无线通信组件的同时：(a)利用图像传感器捕获包含运动事件的多个图像；(b)表征运动事件；(c)基于运动事件的表征，确定是否将视频数据发送到远程计算系统；(2)根据确定将视频数据发送到远程计算系统：(a)激活相机设备的无线通信组件；(b)经由无线通信组件建立到远程计算系统的无线连接；(c)经由建立的无线连接向远程计算系统发送视频信息。在一些实施方式中，非暂时性计算机可读存储介质包括用于执行本文描述的任何方法的指令。

因此，为设备提供了用于监视和促进视频流中的事件和人员的查看的更加高效和有效的方法，从而提高了此类设备的准确性、有效性、效率和用户满意度，同时减少了功耗并延长了电池寿命。这样的设备和方法可以补充或替代用于事件和人员监视、呈现、响应和交互的常规系统和方法。

附图说明

为了更好地理解各种所描述的实施方式，应结合以下附图参考以下实施方式的描述，其中，在整个附图中，相似的附图标记指代相应的部分。

图1是根据一些实施方式的示例智能家居环境。

图2a是示出根据一些实施方式的包括智能家居网络的代表性网络架构的框图。

图2b是根据一些实施方式的其中服务器系统与客户端设备和智能设备交互的代表性操作环境。

图3a是示出了根据一些实施方式的代表性服务器系统的框图。

图3b示出了在一些实施方式中使用的各种数据结构。

图4a是示出了根据一些实施方式的代表性智能设备的框图。

图4b示出了在一些实施方式中使用的各种数据结构。

图4c是示出了根据一些实施方式的代表性智能设备的框图。

图5示出了根据一些实施方式的用于事件分析和分类的代表性系统架构。

图6是示出根据一些实施方式的代表性客户端设备的框图。

图7示出了根据一些实施方式的用于功率偏好的代表性用户界面。

图8a-8c示出了根据一些实施方式的代表性事件通知。

图9a-9c是示出根据一些实施方式的检测和响应运动事件的代表性方法的流程图。

在附图的几个视图中，相似的附图标记指代相应的部分。

具体实施方式

由于家庭监控系统检测到潜在的大量琐碎而无趣的运动事件，因此采用辨别/识别和分类来限制发送给用户的通知或警报的数量是有益的。这样的限制保存了智能设备的能量，并阻止了用户接收大量不需要的通知，从而可能使用户更难识别重要事件。

例如，并不是每次有人走到安装在家庭的入口通道处的相机前面时就通知用户，有益的是能够识别运动事件是由访客接近入口通道引起的还是仅由过路人引起的，并确定是否(i)将事件的视频数据发送给用户，(ii)存储视频数据以供以后检索，或(iii)忽略该事件。在此示例中，相机设备基于事件的分类发送文本、静止图像、动画图像或视频片段。这使得相机设备能够节省能量，并且使得用户能够更快和更有效地确定事件是否需要用户的任何动作或进一步检查。此外，用户可以一目了然地看到事件的性质，并请求更多细节(例如，事件的片段)和/或生成响应(例如，向有关部门报警或发起通信)。

因此，一些实施方式包括识别与检测到的访客有关的情境信息的电池供电的相机设备。在一些实施方式中，当访客按下门铃(或敲门或发出口头通告)时，相机设备向用户设备(有时在本文中也称为客户端设备)发送有访客通告(例如，按下门铃按钮或敲门声)的指示，并且用户设备会显示警报(或其他类型的通知)。在一些实施方式中，警报包括访客的视频片段(例如，gif)或静态图像。在一些实施方式中，如果相机设备感测到涉及接近的访客的运动事件，并且该访客在阈值时间内未发出通告(例如，未按下门铃或敲门)，则相机设备向用户的设备发送有尚未发出通告的访客的通知(有时在本文中称为未通告的访客)。在一些实施方式中，通知被直接发送到用户的设备，而在其他实施方式中，通知被发送到服务器系统(例如，云服务器)，该服务器系统将通知中继到用户的设备。

现在转向附图，图1是根据一些实施方式的示例智能家居环境100。智能家居环境100包括具有各种集成设备的建筑物150(例如，房屋、办公楼、车库或移动房屋)。将理解的是，设备还可以被集成到不包括整个建筑物150的智能家居环境100中，诸如公寓、共管公寓或办公室空间。此外，智能家居环境100可以控制和/或耦合到实际结构150外部的设备。确实，智能家居环境100中的若干设备不需要物理上位于建筑物150内。例如，控制泳池加热器114或灌溉系统116的设备可以位于建筑物150的外部。

应当理解，“智能家居环境”可以指的是诸如单户住宅之类的家庭的智能环境，但是本教导的范围不限于此。本教导还适用于但不限于复式住宅、联排别墅、多单元公寓楼、旅馆、零售店、办公楼、工业建筑，并且更一般地是任何居住空间或工作空间。

还应当理解，尽管术语“用户”、“客户”、“安装者”、“房主”、“居住者”、“客人”、“租户”、“房东”和“维修人员”等可以用来指代在本文描述的一些特定情况的情境下执行动作的一个或多个人，这些引用并不限制针对执行此类动作的一个人或多个人的本教导的范围。因此，例如，在单户居民住宅的情况下，术语“用户”、“客户”、“购买者”、“安装者”、“订户”和“房主”可能经常指同一个人，因为户主通常是做出购买决定、购买单元并且安装和配置单元的人，并且还是该单元的用户之一。但是，在其他场景下，诸如房东-租户环境，就购买该单元而言，客户可能是房东，就远程控制功能而言，安装者可能是本地公寓管理员，第一用户可能是租户，第二用户可能再次是房东。重要的是，尽管执行该动作的人的身份可能与一个或多个实施方式所提供的特定优势密切相关，但这种身份不应在随后的描述中解释为必然将本教导的范围限制为具有这些特定身份的特定的个人。

所描绘的建筑物150包括经由墙壁154至少部分地彼此隔开的多个房间152。墙壁154可以包括内墙壁或外墙壁。每个房间可以进一步包括地板156和天花板158。设备可以安装在墙壁154、地板156或天花板158上，与墙壁154、地板156或天花板158集成和/或由其支撑。

在一些实施方式中，智能家居环境100的集成设备包括智能、多感测、网络连接的设备，其在智能家居网络(例如，图2a的202)中彼此无缝集成和/或与中央服务器或云计算系统无缝集成，以提供各种有用的智能家居功能。智能家居环境100可以包括一个或多个智能、多感测、网络连接的恒温器102(以下称为“智能恒温器102”)、一个或多个智能、网络连接、多感测的危害检测单元104(下文称为“智能危害检测器104”)、一个或多个智能、多感测、网络连接的入口通道接口设备106和120(以下称为“智能门铃106”和“智能门锁120”)以及一个或多个智能、多感测、网络连接的警报系统122(以下称为“智能警报系统122”)。

在一些实施方式中，一个或多个智能恒温器102检测环境气候特征(例如，温度和/或湿度)并相应地控制hvac系统103。例如，相应的智能恒温器102包括环境温度传感器。

一个或多个智能危害检测器104可以包括针对各个热源(例如，炉灶、烤箱、其他电器、壁炉等)的热辐射传感器。例如，厨房153中的智能危害检测器104包括针对炉灶/烤箱112的热辐射传感器。热辐射传感器可以确定其针对的各个热源(或其一部分)的温度，并且可以提供相应的黑体辐射数据作为输出。

智能门铃106和/或智能门锁120检测人的接近或离开某个位置(例如，外门)，控制门铃/门锁定功能(例如，从便携式电子设备166接收用户输入以致动智能门锁120的门闩)，经由音频或视觉手段通告人员的接近或离开和/或控制安全系统上的设置(例如，以在居住者出入时激活或停用安全系统)。在一些实施方式中，智能门铃106和/或智能门锁120是电池供电的(例如，不是线路供电的)。在一些实施方式中，智能门铃106包括相机118的一些或全部组件和特征。在一些实施方式中，智能门铃106包括相机118。在一些实施方式中，智能门铃106包括嵌入在门铃106中的相机118。在一些实施方式中，智能门铃106包括安装在门铃106上或附近的相机。在一些实施方式中，智能门铃106包括未安装在门铃之中、之上或附近，而是安装在门铃106邻近的相机118。在一些实施方式中，智能门铃106包括两个或更多个相机118(例如，一个相机面向入口，而另一个相机面向访客)。在一些实施方式中，智能门铃106具有与摄像机118分离的相机(在本文中有时也称为门铃相机106)。出于本公开的目的，对门铃106的与视频相关的引用是指一个或多个与门铃106关联的相机。

智能警报系统122可以检测近距离内个人的存在(例如，使用内置的ir传感器)，发出警报(例如，通过内置的扬声器，或者通过将命令发送给一个或多个外部扬声器)，并向智能家居网络100内/外的实体或用户发送通知。在一些实施方式中，智能警报系统122还包括用于验证用户的身份的一个或多个输入设备或传感器(例如，键盘、生物特征扫描仪、nfc收发器、麦克风)，以及一个或多个输出设备(例如，显示器、扬声器)。在一些实施方式中，智能警报系统122也可以被设置为“布防”模式，使得触发条件或事件的检测引起警报响起，除非执行撤防动作。

在一些实施方式中，智能家居环境100包括一个或多个智能、多感测、网络连接的墙壁开关108(以下称为“智能墙壁开关108”)，以及一个或多个智能、多感测、网络连接的墙壁插座接口110(以下称为“智能墙壁插座110”)。智能墙壁开关108检测环境照明状况，检测房间占用状态，和/或控制一个或多个灯的通电和/或暗淡状态。在一些情况中，智能墙壁开关108还控制风扇(诸如吊扇)的通电状态或速度。智能墙壁插座110可以检测房间或封闭空间的占用，并控制对一个或多个墙壁插座的电力供应(例如，使得没人在家时不向该插座供电)。

在一些实施方式中，图1的智能家居环境100包括多个智能、多感测、网络连接的电器112(以下称为“智能电器112”)，诸如冰箱、炉灶、烤箱、电视机、洗衣机、烘干机、灯、立体声音响、对讲机系统、车库门开启器、落地扇、吊扇、壁挂式空调、泳池加热器、灌溉系统、安全系统、空间加热器、窗式空调装置和电动通风口等。在一些实施方式中，当插上插头接通电源时，电器可以诸如通过指示其是什么类型的电器来向智能家居网络通告其自身，并且它可以自动地与智能家居的控件集成。可以通过有线或无线通信协议来促进电器到智能家居的这种通信。智能家居还可以包括各种非通信的传统电器140，诸如旧的常规洗衣机/烘干机、冰箱等，它们可以由智能墙壁插座110控制。智能家居环境100可以进一步包括各种部分通信的传统电器142(诸如，红外(“ir”)控制的壁式空调或其他ir控制的设备)，其可以通过由智能危害检测器104或智能墙壁开关108提供的ir信号进行控制。

在一些实施方式中，智能家居环境100包括一个或多个网络连接的相机118，其被配置为在智能家居环境100中提供视频监控和安全性。在一些实施方式中，相机118由电池供电(例如，不是线路供电)。在一些实施方式中，如下面更详细地描述的，相机118被配置为选择性地耦合到一个或多个网络和/或选择性地捕获、存储、传输视频数据(例如，基于视场内运动的存在和特征)。在一些实施方式中，在低功率模式下，相机118使用始终开启或周期性开启的低功率传感器(诸如pir传感器)来检测正在接近的访客。

在一些实施方式中，相机118用于确定建筑物150和/或建筑物150中的特定房间152的占用，并因此用作占用传感器。例如，可以处理由相机118捕获的视频以识别建筑物150中(例如，在特定房间152中)居住者的存在。可以基于例如其外观(例如，身高、面部)和/或运动(例如，他们的步行/步态)来识别特定个体。相机118可以另外包括一个或多个传感器(例如，ir传感器、运动检测器)、输入设备(例如，用于捕获音频的麦克风)和输出设备(例如，用于输出音频的扬声器)。在一些实施方式中，相机118均被配置为以白天模式和低光照模式(例如，夜间模式)工作。在一些实施方式中，相机118均包括一个或多个ir照明器，用于在相机以低光模式工作时提供照明。在一些实施方式中，相机118包括一个或多个室外相机。在一些实施方式中，室外相机包括附加特征和/或组件，诸如防风雨和/或太阳光线补偿。

在一些实施方式中，智能家居环境100包括一个或多个网络连接的门铃106，其被配置为在智能家居环境100的入口通道附近提供视频监控和安全性。门铃106可选地用于确定访客的接近和/或存在。可选地基于例如其外观(例如，身高、面部)和/或运动(例如，他们的步行/步态)来识别特定个体。门铃106可选地包括一个或多个传感器(例如，ir传感器、运动检测器)、输入设备(例如，用于捕获音频的麦克风)和输出设备(例如，用于输出音频的扬声器)。在一些实施方式中，门铃106被配置为以高光模式(例如，白天模式)和低光模式(例如，夜间模式)工作。在一些实施方式中，门铃106包括一个或多个ir照明器，该ir照明器用于在相机以低光模式工作时提供照明。在一些实施方式中，门铃106包括一个或多个灯(例如，一个或多个led)，用于在低光状况下照亮门铃和/或向访客提供视觉反馈。在一些实施方式中，门铃106包括附加的特征和/或组件，诸如防风雨和/或太阳光线补偿。在一些实施方式中，门铃106由电池供电并且以低功率或高功率模式运行。在一些实施方式中，在低功率模式下，门铃106使用始终开启或周期性开启的诸如pir传感器之类的低功率传感器来检测接近的访客。在一些实施方式中，在检测到访客接近之后，门铃106切换到高功率模式以执行进一步的处理功能(如下所述)。

在一些实施方式中，智能家居环境100附加地或可替代地包括一个或多个其他占用传感器(例如，智能门铃106、智能门锁120、触摸屏、ir传感器、麦克风、环境光传感器、运动检测器、智能夜灯170等)。在一些实施方式中，智能家居环境100包括射频识别(rfid)读取器(例如，在每个房间152或其一部分中)，其基于位于居住者身上或嵌入在居住者体内的rfid标签来确定占用。例如，rfid读取器可以被集成到智能危害检测器104中。

在一些实施方式中，智能家居环境100包括物理家庭之外但在家庭的邻近地理范围内的一个或多个设备。例如，智能家居环境100可以包括泳池加热器监控器114，该泳池加热器监控器114将当前泳池温度传送至智能家居环境100内的其他设备和/或接收用于控制泳池温度的命令。类似地，智能家居环境100可以包括灌溉监控器116，其传送关于智能家居环境100内的灌溉系统的信息和/或接收用于控制这种灌溉系统的控制信息。

借助于网络连接，图1的一个或多个智能家居设备可以进一步允许用户与该设备进行交互，即使该用户不靠近该设备也是如此。例如，用户可以使用计算机(例如，台式计算机、膝上型计算机或平板电脑)或其他便携式电子设备166(例如，诸如智能电话的移动电话)与设备进行通信。网页或应用可以配置为从用户接收通信并基于该通信控制设备和/或向用户呈现有关设备操作的信息。例如，用户可以查看设备(例如，炉灶)的当前设定点温度，并使用计算机对其进行调节。用户可以在此远程通信期间位于建筑物中，也可以位于建筑物外部。

如上所述，用户可以使用连接网络的计算机或便携式电子设备166来控制智能家居环境100中的智能设备。在一些示例中，一些或全部居住者(例如，居住在家庭中的个人)可以向智能家居环境100注册他们的设备166。可以在中央服务器上进行这样的注册，以将居住者和/或设备认证为与家庭相关联，并向居住者授予使用该设备来控制家里的智能设备的权限。居住者可以使用其注册的设备166来远程控制家庭的智能设备，诸如在居住者上班或度假时。当居住者实际上位于家内部时，诸如当居住者坐在家内部的沙发上时，居住者还可以使用其注册的设备来控制智能设备。应当理解，代替注册设备166或除了注册设备166之外，智能家居环境100可以推断哪些个人居住在家庭中并且因此是居住者以及哪些设备166与那些个人相关联。这样，智能家居环境可以“了解”谁是居住者并且允许与那些个人相关联的设备166控制家庭的智能设备。

在一些实施方式中，除了包含处理和感测能力之外，设备102、104、106、108、110、112、114、116、118、120和/或122(统称为“智能设备”)能够与其他智能设备、中央服务器或云计算系统和/或其他网络连接的设备进行数据通信和信息共享。可以使用各种定制或标准无线协议(例如，ieee802.15.4、wi-fi、zigbee、6lowpan、thread、z-wave、智能蓝牙(bluetoothsmart)、isa100.5a、wirelesshart、miwi等)中的任何一种和/或各种定制或标准有线协议(例如，以太网、homeplug等)中的任何一种或任何其他合适的通信协议(包括截至本文档提交之日尚未开发的通信协议)来进行数据通信。

在一些实施方式中，智能设备用作无线或有线中继器。在一些实施方式中，第一智能设备经由无线路由器与第二智能设备通信。智能设备可以进一步经由到诸如互联网162之类的网络的连接(例如，网络接口160)彼此通信。通过互联网162，智能设备可以与服务器系统164(本文也称为中央服务器系统和/或云计算系统)通信。服务器系统164可以与与智能设备相关联的制造商、支持实体或服务提供商相关联。在一些实施方式中，用户能够使用智能设备本身来联系客户支持，而不需要使用其他通信手段，诸如电话或连接互联网的计算机。在一些实施方式中，软件更新被自动从服务器系统164发送到智能设备(例如，当可用时、购买时或以例行间隔)。

在一些实施方式中，网络接口160包括常规的网络设备(例如，路由器)，并且图1的智能家居环境100包括集线器设备180，其直接或经由网络接口160通信地耦合到网络162。集线器设备180进一步通信地耦合至上述智能、多感测、网络连接的设备(例如，智能家居环境100的智能设备)中的一个或多个。这些智能设备中的每一个可选地使用至少在智能家居环境100中可用的一个或多个无线电通信网络(例如zigbee、z-wave、insteon、蓝牙、wi-fi和其他无线电通信网络)与集线器设备180通信。在一些实施方式中，可以经由在智能电话、家用控制器、膝上型计算机、平板计算机、游戏控制台或类似电子设备上运行的应用来控制集线器设备和/或与集线器设备耦合的设备或与其交互。在一些实施方式中，这样的控制器应用的用户可以查看集线器设备或耦合的智能设备的状态，配置集线器设备以与新引入家庭网络的智能设备进行互操作，调试新的智能设备，以及调整或查看连接的智能设备的设置等。在一些实施方式中，集线器设备扩展了低能力智能设备的能力，以匹配相同类型的高能力智能设备的能力，集成了多种不同设备类型的功能——甚至跨越不同的通信协议，并且被配置为简化新设备的添加和集线器设备的调试。在一些实施方式中，集线器设备180进一步包括本地存储设备，该本地存储设备用于存储与智能家居环境100的智能设备有关或由其输出的数据。在一些实施方式中，数据包括以下一项或多项：由相机设备输出的视频数据、由智能设备输出的元数据、智能设备的设置信息和智能设备的使用日志等。

在一些实施方式中，智能家居环境100包括本地存储设备190，用于存储与智能家居环境100的智能设备有关的数据或由智能家居环境100的智能设备输出的数据。在一些实施方式中，数据包括以下一项或多项：由相机设备(例如，门铃106附带的相机)输出的视频数据、由智能设备输出的元数据、智能设备的设置信息和智能设备的使用日志等。在一些实施方式中，本地存储设备190经由智能家居网络(例如，智能家居网络202，图2a)通信地耦合到一个或多个智能设备。在一些实施方式中，本地存储设备190经由有线和/或无线通信网络选择性地耦合到一个或多个智能设备。在一些实施方式中，当外部网络状况差时，本地存储设备190用于存储视频数据。例如，当门铃106附带的相机的编码比特率超过外部网络(例如，网络162)的可用带宽时，使用本地存储设备190。在一些实施方式中，本地存储设备190在将视频数据传送到服务器系统(例如，服务器系统164)之前临时存储来自一个或多个门铃(例如，门铃106)的视频数据。

图2a是示出了根据一些实施方式的包括智能家居网络202的代表性网络架构200的框图。在一些实施方式中，智能家居环境100中的智能设备204(例如，设备102、104、106、108、110、112、114、116、118、120和/或122)与集线器设备180结合以在智能家居网络202中创建网状网络。在一些实施方式中，智能家居网络202中的一个或多个智能设备204用作智能家居控制器。附加地和/或可替代地，集线器设备180用作智能家居控制器。在一些实施方式中，智能家居控制器比其他智能设备具有更多的计算能力。在一些实施方式中，智能家居控制器处理输入(例如，来自智能设备204、电子设备166和/或服务器系统164的输入)并发送命令(例如，发送到智能家居网络202中的智能设备204)以控制智能家居网络100的操作。在一些实施方式中，智能家居网络202中(例如，在网状网络中)的一些智能设备204是“发言人”节点(例如，204-1)，而其他是“低功率”节点。节点(例如，204-9)。智能家居环境100中的一些智能设备由电池供电，而其他智能设备具有常规且可靠的电源，诸如通过连接至智能家居环境的墙壁154后面的布线(例如，至120v线电压线)。具有常规和可靠电源的智能设备称为“发言人”节点。这些节点通常配备有使用无线协议来促进与智能家居环境100中的各种其他设备以及与服务器系统164的双向通信的能力。在一些实施方式中，一个或多个“发言人”节点作为智能家居控制器工作。另一方面，由电池供电的设备是“低功率”节点。这些节点通常比发言人节点小，并且通常仅使用需要很少功率的无线协议(例如，zigbee、zwave、6lowpan、thread、蓝牙等)进行通信。

在一些实施方式中，一些低功率节点不能进行双向通信。这些低功率节点发送消息，但它们无法“监听”。因此，智能家居环境100中的其他设备，诸如发言人节点，不能将信息发送到这些低功率节点。

在一些实施方式中，一些低功率节点仅能够进行有限的双向通信。例如，其他设备只能在特定时间段内与低功率节点进行通信。

如所描述的，在一些实施方式中，智能设备用作低功率和发言人节点以在智能家居环境100中创建网状网络。在一些实施方式中，智能家居环境中的各个低功率节点定期发送出去关于它们正在感测的内容的消息，且智能家居环境中的其他低功率节点(除了发送自己的消息外)还转发消息，从而导致消息在整个智能家居网络202中从节点到节点(即，设备到设备)传播。在一些实施方式中，智能家居网络202中的发言人节点(能够使用相对高功率的通信协议(诸如ieee802.11)进行通信)能够切换到相对低功率的通信协议，诸如ieee802.15.4，以接收这些消息，将消息转换为其他通信协议，并将转换后的消息发送给其他发言人节点和/或服务器系统164(使用例如相对高功率的通信协议)。因此，使用低功率通信协议的低功率节点能够跨整个智能家居网络202以及通过互联网162向服务器系统164发送和/或接收消息。在一些实施方式中，网状网络使服务器系统164能够定期从家庭中的大多数或所有智能设备接收数据，基于数据进行推理，促进跨智能家居网络202内外的设备的状态同步以及向一个或多个智能设备发送命令以在智能家居环境中执行任务。

如所描述的，发言人节点和一些低功率节点能够“监听”。因此，用户、其他设备和/或服务器系统164可以将控制命令传送到低功率节点。例如，用户可以使用电子设备166(例如，智能电话)通过互联网将命令发送到服务器系统164，服务器系统164随后将命令中继到智能家居网络202中的一个或多个发言人节点。发言人节点可以使用低功率协议来将命令传送给整个智能家居网络202中的低功率节点，以及传送给未直接从服务器系统164接收到命令的其他发言人节点。

在一些实施方式中，作为智能设备204的示例的智能夜灯170(图1)是低功率节点。除了容纳光源之外，智能夜灯170还容纳诸如超声波或无源ir传感器之类的占用传感器以及诸如测量房间中的光的光敏电阻或单像素传感器之类的环境光传感器。在一些实施方式中，智能夜灯170被配置为在其环境光传感器检测到房间黑暗时以及当其占用传感器检测到有人在房间中时激活光源。在其他实施方式中，智能夜灯170仅被配置为在其环境光传感器检测到房间黑暗时激活光源。此外，在一些实施方式中，智能夜灯170包括低功率无线通信芯片(例如，zigbee芯片)，该低功率无线通信芯片定期发出关于房间的占用和房间中的光量的消息，包括与占用传感器检测到房间中有人的同时出现的即时消息。如上所述，这些消息可以在智能家居网络202内从节点到节点(即，从智能设备到智能设备)无线地(例如，使用网状网络)发送，以及通过互联网162发送到服务器系统164。

低功率节点的其他示例包括智能危害检测器104、相机118和门铃106等的电池供电版本。这些由电池供电的智能设备通常位于无法获得恒定且可靠的电力的区域，并且可选地包括任意数量和类型的传感器，诸如图像传感器、占用/运动传感器、环境光传感器、环境温度传感器、湿度传感器、烟雾/火灾/热传感器(例如，热辐射传感器)和一氧化碳/二氧化碳传感器等。此外，电池供电的智能设备可以诸如通过使用如上所述的网状网络将与各个传感器中的每个传感器相对应的消息发送到其他设备和/或服务器系统164。

发言人节点的示例包括线路供电的智能门铃106、智能恒温器102、智能墙壁开关108和智能墙壁插座110。这些设备位于可靠电源附近并与之连接，因此可以包括更多的功耗组件，诸如一个或多个能够以多种协议进行双向通信的通信芯片。

在一些实施方式中，智能家居环境100包括服务机器人168(图1)，该服务机器人168被配置为以自主方式执行各种家庭任务中的任何一项。

如以上参考图1所解释的，在一些实施方式中，图1的智能家居环境100包括集线器设备180，其直接地或经由网络接口160通信地耦合到网络162。集线器设备180进一步使用至少在智能家居环境100中可用的无线电通信网络通信地耦合到一个或多个智能设备。无线电通信网络使用的通信协议包括但不限于zigbee、z-wave、insteon、euocean、thread、osian和低功耗蓝牙(bluetoothlowenergy)等。在一些实施方式中，集线器设备180不仅转换从每个智能设备接收的数据以满足网络接口160或网络162的数据格式要求，而且转换从网络接口160或网络162接收的信息以满足与目标智能设备相关联的相应通信协议的数据格式要求。在一些实施方式中，除了数据格式转换之外，集线器设备180进一步处理从智能设备接收的数据或从网络接口160或网络162初步接收的信息。例如，集线器设备180可以整合来自多个传感器/连接的设备(包括相同和/或不同类型的传感器/设备)的输入，对这些输入执行更高级别的处理——例如，以评估整体环境并协调不同的传感器/设备之间的操作——和/或基于输入的集合和编程处理为不同的设备提供指令。还应注意，在一些实施方式中，网络接口160和集线器设备180被整合到一个网络设备。本文描述的功能表示智能设备、在代表性电子设备(例如，智能电话)上运行的控制应用、集线器设备180和经由互联网或其他广域网耦合到集线器设备的服务器的特定实施方式。该功能和相关操作的全部或一部分可以由所描述的系统的任何元件执行——例如，本文描述为由集线器设备的实施方式执行的全部或部分功能可以整体或部分地在服务器、一个或多个连接的智能设备和/或控制应用或其不同组合上以不同的系统实施方式执行。

图2b示出了代表性的操作环境，其中，服务器系统164提供数据处理，以监视和促进从智能设备204(诸如摄像机118或门铃相机106)捕获的数据查看事件(例如，运动、音频、安全性等)。如图2b所示，服务器系统164从位于各种物理位置(例如，住所、餐馆、商店、街道、停车场和/或图1的智能家居环境100内部或附近)的视频源222(包括相机118和/或门铃相机106)接收数据。在一些实施方式中，视频源222链接到一个以上的查看者账户(例如，多个用户账户可以订阅到单个智能家居环境)。在一些实施方式中，服务器系统164将视频源222的视频监控数据提供给与查看者账户相关联的客户端设备220。例如，便携式电子设备166是客户端设备220的示例。在一些实施方式中，服务器系统164包括视频处理服务器，该视频处理服务器向视频源和客户端设备220提供视频处理服务。在一些实施方式中，服务器系统164从一个或多个智能设备204接收非视频数据(例如，音频数据、元数据、数字数据等)。在一些实施方式中，非视频数据被分析以为由摄像机118和/或门铃相机106检测到的运动事件提供情境。在一些实施方式中，非视频数据指示音频事件(例如，由音频设备检测到)、安全事件(例如，由外围监控设备检测到)、危害事件(例如，由危害检测器检测到)或医疗事件(例如，由健康监测设备检测到)等已在智能家居环境100内发生。

在一些实施方式中，多个查看者账户链接到单个智能家居环境100。例如，智能家居环境100的多个居住者可以具有链接到智能家居环境的账户。在一些实施方式中，每个查看者账户与特定的访问级别相关联。在一些实施方式中，每个查看者账户具有个性化的通知设置。在一些实施方式中，单个查看者账户链接到多个智能家居环境100。例如，一个人可以拥有或占据或被指派以查看和/或管理多个智能家居环境100。在一些实施方式中，查看者账户对于每个智能家居环境都有不同访问级别和/或通知设置。

在一些实施方式中，视频源222中的每一个包括一个或多个摄像机118或门铃相机106，其捕获视频并将捕获的视频基本实时地发送到服务器系统164。在一些实施方式中，视频源222中的每一个包括一个或多个门铃相机106，其捕获视频并将捕获的视频实时地(例如，在1秒、10秒、30秒或1分钟内)发送到服务器系统164。在一些实施方式中，门铃106中的每一个包括摄像机，该摄像机捕获视频并将捕获的视频实时发送到服务器系统164。在一些实施方式中，视频源222包括控制器设备(未示出)，该控制器设备用作一个或多个门铃106与服务器系统164之间的中介。控制器设备从一个或多个门铃106接收视频数据，可选地对视频数据执行一些初步处理，并代表一个或多个门铃106(例如，实时)将视频数据和/或初步处理的结果发送到服务器系统164。在一些实施方式中，每个相机具有其自己的机载处理能力，以在将视频数据(例如，连同通过初步处理获得的元数据)发送到控制器设备和/或服务器之前，对捕获的视频数据执行一些初步处理。在一些实施方式中，一个或多个相机被配置为可选地本地存储视频数据(例如，用于以后用户请求时进行传输)。在一些实施方式中，相机被配置为对捕获的视频数据执行一些处理，并且基于该处理，基本实时地发送视频数据，在本地存储视频数据，或者忽略该视频数据。

根据一些实施方式，客户端设备220包括客户端模块或智能家居应用，诸如图6中的客户端侧模块628。在一些实施方式中，客户端模块通过一个或多个网络162与在服务器系统164上执行的服务器侧模块通信。客户端侧模块提供客户端侧功能，用于事件监视和查看处理以及与服务器侧模块的通信。服务器侧模块提供服务器侧功能，用于任意数量的客户端侧模块的事件监视和查看处理，每个客户端侧模块都驻留在各自的客户端设备220上。在一些实施方式中，服务器侧模块还提供用于任意数量的视频源222的视频处理和相机控制的服务器侧功能，该任意数量的视频源222包括任意数量的控制设备、相机118和门铃106。

在一些实施方式中，服务器系统164包括一个或多个处理器212、视频存储数据库210、账户数据库214、到一个或多个客户端设备216的i/o接口以及到一个或多个视频源218的i/o接口。到一个或多个客户端216的i/o接口促进面向客户端的输入和输出处理。账户数据库214存储用于向视频处理服务器注册的查看者账户的多个简档，其中，相应的用户简档包括针对相应的查看者账户的账户凭证以及链接到相应的查看者账户的一个或多个视频源。到一个或多个视频源218的i/o接口促进了与一个或多个视频源222(例如，一个或多个门铃106、相机118和相关联的控制器设备的组)的通信。视频存储数据库210存储从视频源222接收的原始视频数据以及各种类型的元数据，诸如运动事件、事件类别、事件类别模型、事件过滤器和事件掩蔽，以用于对每个查看者账户进行事件监视和查看的数据处理。

代表性客户端设备220的示例包括手持计算机、可穿戴计算设备、个人数字助理(pda)、平板计算机、膝上型计算机、台式计算机、蜂窝电话、智能电话、增强型通用分组无线电服务(egprs)移动电话、媒体播放器、导航设备、游戏机、电视机、遥控器、销售点(pos)终端、车载计算机、电子书阅读器或这些数据处理设备或其他数据处理设备中的任何两个或更多个的组合。

一个或多个网络162的示例包括局域网(lan)和诸如互联网的广域网(wan)。一个或多个网络162使用任何已知的网络协议来实现，包括各种有线或无线协议，诸如以太网、通用串行总线(usb)、firewire、长期演进(lte)、全球移动通信系统(gsm)、增强型数据gsm环境(edge)、码分多址(cdma)、时分多址(tdma)、蓝牙、wi-fi、互联网协议语音(voip)、wi-max或任何其他合适的通信协议。

在一些实施方式中，服务器系统164在一个或多个独立数据处理装置或计算机的分布式网络上实现。在一些实施方式中，服务器系统164还采用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统164的基础计算资源和/或基础设施资源。在一些实施方式中，服务器系统164包括但不限于服务器计算机、云服务器、分布式云计算系统、手持式计算机、平板计算机、膝上型计算机、台式计算机或这些数据处理设备或其他数据处理设备的任何两个或更多个的组合。

在一些实施方式中，服务器-客户端环境既包括客户端侧部分(例如，客户端侧模块)又包括服务器侧部分(例如，服务器侧模块)。在不同的实施方式中，操作环境的客户端和服务器部分之间的功能划分可能有所不同。类似地，在不同的实施方式中，视频源222和服务器系统164之间的功能划分可以不同。例如，在一些实施方式中，客户端侧模块是瘦客户端，其仅提供面向用户的输入和输出处理功能，并将所有其他数据处理功能委托给后端服务器(例如，服务器系统164)。类似地，在一些实施方式中，视频源222中的相应一个是简单的视频捕获设备，其连续捕获视频数据并将其流传输到服务器系统164，而对视频数据进行有限本地初步处理或不进行本地初步处理。尽管从服务器系统164的角度描述了本技术的许多方面，但是由客户端设备220和/或视频源222执行的相应动作对于本领域技术人员将是显而易见的。类似地，可以从客户端设备或视频源的角度描述本技术的一些方面，并且由视频服务器执行的相应动作对于本领域技术人员而言将是显而易见的。此外，一些方面可以由服务器系统164、客户端设备220和视频源222协作地执行。

在一些实施方式中，视频源222(例如，具有图像传感器的相机118或门铃106)将一个或多个视频数据流传输到服务器系统164。在一些实施方式中，一个或多个流包括分别由图像传感器捕获的原始视频的各个分辨率和/或帧速率的多个流。在一些实施方式中，多个流包括：具有某一分辨率和帧速率(例如，对应于由图像传感器捕获的原始视频)的“主要”流(例如，226-1)，以及一个或多个附加流(例如，226-2至226-q)。附加流可选地是与“主要”流相同的视频流，但是具有不同的分辨率和/或帧速率，或者是捕获“主要”流的一部分的流(例如，裁剪为包括视场的一部分或主要流的像素)，其分辨率或帧速率与“主要”流相同或不同。在一些实施方式中，主要流和/或附加流被动态编码(例如，基于网络状况、服务器工作状况、相机工作状况、流中数据的表征(例如，是否存在运动)和用户偏好等。

在一些实施方式中，将流226中的一个或多个从视频源222直接发送到客户端设备220(例如，而不路由到服务器系统164或由其处理)。在一些实施方式中，一个或多个流存储在门铃106(例如，在图4的存储器406中)和/或本地存储设备190处(例如，专用记录设备)，诸如数字视频记录器(dvr)。例如，根据一些实施方式，门铃106存储由相机记录的最近24小时的视频画面。作为另一示例，根据一些实施方式，门铃106存储由相机记录的多达24小时的视频画面(例如，多达24小时的运动事件数据)。在一些实施方式中，一个或多个流的部分被存储在门铃106和/或本地存储设备109处(例如，与感兴趣的特定事件或时间相对应的部分)。

在一些实施方式中，服务器系统164将视频数据的一个或多个流发送到客户端设备220，以促进用户的事件监视。在一些实施方式中，一个或多个流可包括相同视频馈送的各个分辨率和/或帧速率的多个流。在一些实施方式中，多个流包括与视频馈送相对应的、具有某一分辨率和帧速率的“主要”流，以及一个或多个附加流。附加流可以是与“主要”流相同的视频流，但具有不同的分辨率和/或帧速率，或者是以与“主要”流相同或不同的分辨率和帧速率显示“主要”流的一部分的流(例如，裁剪为包括视场的部分或主要流的像素)。

图3a是示出根据一些实施方式的服务器系统164的框图。服务器系统164包括一个或多个处理单元(cpu)302、一个或多个网络接口304(例如，包括到一个或多个客户端设备的i/o接口和到一个或多个电子设备的i/o接口)、存储器306以及用于互连这些组件(有时称为芯片组)的一条或多条通信总线308。存储器306包括高速随机存取存储器，诸如dram、sram、ddrsram或其他随机存取固态存储器设备；以及可选地，包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器306可选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器306或可替代地存储器306内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器306或存储器306的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

·操作系统310，包括用于处理各种基本系统服务和用于执行硬件相关任务的过程；

·网络通信模块312，用于经由一个或多个网络接口304(有线或无线)将服务器系统164连接到其他系统和设备(例如，客户端设备、电子设备以及连接到一个或多个网络162的系统)；

·服务器侧模块314，其提供用于设备控制、数据处理和数据查看的服务器侧功能，包括但不限于：

ο数据接收模块316，用于从电子设备接收数据(例如，来自门铃106的视频数据，图1)，并准备接收到的数据以供进一步处理并存储在数据存储数据库3160中；

ο设备控制模块318，用于生成和发送服务器发起的控制命令以修改电子设备(例如，智能家居环境100的设备)的操作模式，和/或接收(例如，从客户端设备220接收)并转发用户发起的控制命令以修改电子设备的操作模式；

ο数据处理模块320，用于处理电子设备提供的数据，和/或准备处理的数据并将其发送到设备以进行查看(例如，客户端设备220供用户查看)，包括但不限于：

□·视频处理器子模块322，用于处理(例如，分类和/或识别)接收到的视频流(例如，来自门铃106的视频流)内检测到的实体和/或事件候选者；

□·用户界面子模块324，用于与用户通信(例如，发送警报、时间轴事件等，以及接收用户编辑和区域定义等)；以及

□·实体识别模块326，用于分析和/或识别在智能家居环境内检测到的人；以及

·服务器数据库328，包括但不限于：

ο数据存储数据库330，用于存储与每个用户账户的每个电子设备(例如，每个门铃)相关联的数据，以及数据处理模型、处理后的数据结果和与数据相关联的其他相关元数据(例如，数据结果的名称、电子设备的位置、创建时间、持续时间、电子设备的设置等)，其中，(可选)与集线器设备180或智能设备相关联的所有或部分数据和/或处理被安全地存储；

ο账户数据库332，用于存储用户账户的账户信息，包括用户账户信息(诸如用户简挡334)、链接的集线器设备和电子设备的信息和设置(例如，集线器设备标识)、集线器设备特定的机密、相关用户和硬件特性(例如，服务层、设备模型、存储容量、处理能力等)、用户界面设置、数据查看偏好等，其中，关联的电子设备的信息包括但不限于一个或多个设备标识符(例如，mac地址和uuid)、设备特定的机密和显示的标题；

ο设备信息数据库336，用于存储与一个或多个设备相关的设备信息，诸如设备简挡338，例如，设备标识符和集线器设备特定的机密，而与相应的集线器设备是否已与任何用户账户相关联无关；

ο事件信息数据库340，用于存储事件信息，诸如事件记录342和情境信息，例如描述正在接近的访客周围情况的情境数据；

ο人员数据库346，用于存储关于检测到的和/或识别出的人员的信息，诸如检测到的人员的图像(例如，裁剪的头像)和该人员的特征表征数据；以及

ο表征数据348，例如，结合数据处理模块320，用于表征智能家居环境内的运动、人员和事件。

上面标识的元素中的每一个可以被存储在一个或多个前面提到的存储设备中，并且对应于用于执行上述功能的一组指令。上面标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器306可选地存储以上标识的模块和数据结构的子集。此外，存储器306可选地存储以上未描述的附加模块和数据结构(例如，用于链接客户端设备、智能设备和智能家居环境的账户管理模块)。

图3b示出了一些实施方式所使用的各种数据结构，包括事件记录342-i、用户简档334-j、设备简档338-k和表征数据348-m。事件记录342-i对应于事件“i”和事件“i”的数据。在一些实施方式中，事件“i”包括以下一项或多项：运动事件、危害事件、医疗事件、电力事件、音频事件和安全事件。在一些情况中，运动事件“i”的数据包括指示事件何时和/或如何开始的事件开始数据3422、事件片段数据3424、视频数据3426、指示事件何时和/或如何结束的事件结束数据3428、事件表征数据3430、情境信息数据3432、关联用户信息3436(例如，参与事件的用户和/或与其中发生事件的智能家居环境关联的用户)以及关联设备信息3438。事件记录342-i仅包括上述数据的子集。在一些情况中，事件记录342-i包括未示出的附加事件数据，诸如关于事件/运动掩蔽的数据。

事件开始数据3422包括日期和时间信息，诸如时间戳，并且可选地包括附加信息，诸如关于存在的运动量、运动开始位置、存在的音频量和音频的特性等的信息。类似地，事件结束数据3428包括日期和时间信息，诸如时间戳，并且可选地包括附加信息，诸如关于存在的运动量、运动开始位置、存在的音频量和音频的特性等的信息。

事件片段3424包括关于运动事件“i”的分段的信息。在一些情况中，事件片段与视频数据3426分开存储。在一些情况中，事件片段以与视频数据不同(更低)的显示分辨率存储。例如，事件片段可以可选地以480p或780p存储，视频数据可以以1080i或1080p存储。以较低的显示分辨率存储事件片段可使系统能够将较少的时间和资源用于检索和处理事件片段。在一些情况中，事件片段不是分开存储的，并且分段信息包括对视频数据3426的引用以及用于再现事件片段的日期和时间信息。在一些实施方式中，事件片段包括一个或多个音频片段(例如，对应于视频片段)。

事件表征数据3430包括关于事件特征的信息，诸如事件分类/类别、对象掩蔽、运动掩蔽、识别/辨识/跟踪的运动对象(有时也称为二进制大对象)、关于运动对象的特征(例如，对象颜色、对象尺寸、速度、大小变化等)的信息和关于感兴趣区域中的活动的信息等。

情境信息数据3432包括关于事件的情境信息，诸如关于访客的信息(例如，行为、衣着或大小特征)、关于接近定时的信息(例如，一天中的时间、亮度水平)、关于访客通告的信息(例如，按门铃、敲门及其相关定时)、有关计划的信息(例如，在时间上接近预定事件或在时间上接近智能家居环境的预定状态)、有关一个或多个用户的状态或位置等。

关联用户信息3436包括关于与事件关联的用户的信息，诸如在事件中识别出的用户和接收到事件通知的用户等。在一些情况中，关联用户信息3436包括对该用户的用户简档334的链接、指针或引用。关联设备信息3438包括关于事件中涉及的一个或多个设备的信息(例如，记录事件的门铃106)。在一些情况中，关联设备信息3438包括对该设备的设备简档338的链接、指针或引用。

用户简档334-j对应于与智能家居网络(例如，智能家居网络202)相关联的用户“j”，诸如智能设备204的用户、由智能设备204＝识别的用户、从智能设备204或从服务器系统164等接收通知的用户。在一些情况中，用户简档334-j包括用户偏好3342、用户设置3344、关联设备信息3346和关联事件信息3348。在一些情况中，用户简档334-j仅包括上述数据的子集。在一些情况中，用户简档334-j包括未示出的附加用户信息，诸如关于与用户“j”相关联的其他用户的信息和/或关于链接到该用户的智能家居环境的信息。

用户偏好3342包括由用户输入的显式用户偏好以及由系统(例如，服务器系统164和/或客户端设备220)确定的隐式和/或推断的用户偏好。在一些情况中，推断的用户偏好基于历史用户活动和/或其他用户的历史活动。用户设置3344包括关于用户“j”设置的设置的信息，诸如通知设置和设备设置等。在一些情况中，用户设置3344包括与用户“j”关联的设备的设备设置。

关联设备信息3346包括关于与用户“j”关联的设备(诸如用户的智能家居环境100内的设备和/或客户端设备220)的信息。在一些情况中，关联设备信息3346包括对相应设备简挡338的链接、指针或引用。关联事件信息3348包括有关与用户“j”相关联的事件的信息，诸如已识别用户“j”的事件、已通知用户“j”的事件和与用户“j”的智能家居环境100相对应的事件等。在一些情况中，关联事件信息3348包括对相应事件记录342的链接、指针或引用。

设备简挡338-k对应于与智能家居网络(例如，智能家居网络202)相关联的设备“k”，诸如相机设备118、门铃106和客户端设备220等。在一些情况中，设备简档338-k包括设备设置3382、关联设备信息3384、关联用户信息3386、关联事件信息3388和环境数据3390。在一些情况中，设备简档338-k仅包括以上数据的子集：在一些情况中，设备简档338-k包括未示出的附加设备信息，诸如关于设备“k”的当前状态的信息。

设备设置3382包括关于设备“k”的当前设置的信息，诸如定位信息和操作模式信息等。在一些实施方式和情况中，设备设置3382是用户特定的，并且由设备“k”的各个用户来设置。关联设备信息3384包括关于与设备“k”相关联的其他设备(诸如链接到设备“k”的其他设备和/或与设备“k”在同一智能家居网络中的其他设备)的信息。在一些情况中，关联设备信息3384包括对关联设备的相应设备简档338的链接、指针或引用。

关联用户信息3386包括关于与该设备关联的用户(诸如从该设备接收通知的用户、向该设备注册的用户和与该设备的智能家居网络关联的用户等)的信息。在一些情况中，关联用户信息3386包括对与关联的用户相对应的用户简档334的链接、指针或引用。

关联事件信息3388包括关于与设备“k”相关联的事件(诸如涉及设备“k”或由设备“k”捕获的历史事件)的信息。在一些情况中，关联事件信息3388包括对与关联事件相对应的事件记录342的链接、指针或引用。

环境数据3390包括关于设备“k”的环境的信息，诸如关于设备是在室外还是在室内的信息、关于环境的光照水平的信息、关于在环境中预期的活动量的信息(例如，关于设备是在私人住宅中还是繁忙的商业地产中的信息)和关于环境对象的信息(例如，相机的深度图信息)等。

表征数据348-m对应于由智能家居环境100内的设备检测到的事件“m”。如图3b所示，根据一些实施方式，表征数据348包括关联人员标识符3384、关联图像标识符3484、质量信息3486、姿势信息3488、定时信息3490、置信度信息3492、位置信息3494、身体特征信息3496和行为信息3498。在一些实施方式中，表征数据348包括未示出的附加数据，诸如检测到该事件的智能设备或传感器。在一些实施方式中，表征数据348仅包括所示数据的子集。

关联人员标识符3482包括由表征数据表示的每个人员的标签或其他标识符。在一些实施方式中，标签是由用户在查看相应图像时施加的。在一些实施方式中，标识符3482由系统根据表征数据348匹配或类似于与标识符相关联的其他表征数据的确定来分配。

关联图像标识符3484识别一个或多个图像，表征数据348是从该图像生成的。在一些实施方式中，在表征数据和图像之间存在一对一的映射，而在其他一些实施方式中，存在多对一或一对多的映射。在一些实施方式中，关联图像标识符3484包括用于一个或多个图像的指针或逻辑存储地址。

质量信息3486包括用于表征数据348的质量因子。在一些实施方式中，该质量因子基于下述中的一项或多项：图像的模糊性、图像的分辨率、在图像中可见的人的数量、人的多少特征在图像中可见以及人与捕获图像的相机之间的距离。

姿势信息3488标识每个检测到的人的姿势。在一些实施方式中，姿势信息3488包括关于捕获图像的相机与检测到的人之间的角度的信息。在一些实施方式中，姿势信息3488包括关于在图像中可见的人脸的一部分的信息。

定时信息3490包括关于何时相机捕获图像的信息。在一些实施方式中，定时信息3490指示捕获图像的一天中的时间、日期、月份、年份等。在一些实施方式中，表征数据348包括指示相机的操作模式和设置(例如，指示当捕获图像时相机是否处于低光模式)的相机的操作信息。在一些实施方式中，定时信息3490与相机的设备简挡338结合使用以确定在捕获图像时的相机的操作信息。

置信度信息3492指示相关联人员标识符3482准确的置信度。在一些实施方式中，置信度信息3492基于表征数据348和关联的人的其他表征数据之间的相似性。在一些实施方式中，置信度信息3492包括表征数据348的置信度分数。在一些实施方式中，根据确定置信度分数低于预定阈值，重新评估人的关联，并且/或者表征数据348和关联图像被标记为潜在地具有不正确的关联人员标识符3482。在一些实施方式中，将标记的表征数据348呈现给用户以进行确认或重新分类。

位置信息3494包括关于图像和/或检测到的人的位置的信息。在一些实施方式中，位置信息3494指示捕获图像的相机的位置。在一些实施方式中，位置信息3494标识捕获图像的相机。在一些实施方式中，位置信息3494指示在图像中捕获的智能家居环境的房间或部分。在一些实施方式中，位置信息3494指示图像的gps或基于坐标的位置。

身体特征信息3496包括关于检测到的人的身体特征的信息。在一些实施方式中，身体特征信息3496包括人的身体特征(例如，鼻子、耳朵、眼睛和头发)的表征。在一些实施方式中，身体特征信息3496包括关于人的语音、步态和/或姿势的信息。在一些实施方式中，身体特征信息3496包括关于人的尺寸(诸如人的眼睛或耳朵之间的距离或人的手臂或腿的长度)的信息。在一些实施方式中，身体特征信息3496包括关于人的年龄、性别和/或种族的信息。在一些实施方式中，身体特征信息3496包括关于人的衣着和/或配饰的信息(例如，人是否戴着帽子、眼镜、手套和/或戒指)。

行为信息3498包括关于所检测到的人的行为的信息。在一些实施方式中，行为信息3498包括关于检测到的人的情绪和/或举止的信息。

图4a是示出了根据一些实施方式的代表性智能设备204的框图。在一些实施方式中，智能设备204(例如，图1的智能家居环境100的任何设备)包括一个或多个处理单元(例如，cpu、asic、fpga、微处理器等)402、一个或多个具有无线电装置406的通信接口404、用户接口410、图像传感器418、传感器422、能量存储组件420、存储器426以及用于互连这些组件(有时称为芯片组)的一条或多条通信总线408。在一些实施方式中，用户接口410包括一个或多个输出设备412，其使得能够呈现媒体内容，包括一个或多个扬声器和/或一个或多个可视显示器。在一些实施方式中，用户接口410包括一个或多个输入设备414，包括便于用户输入的用户接口组件，诸如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏式输入板、手势捕捉相机或其他输入按钮或控件。在一些实施方式中，用于门铃106的输入设备414是触觉或触敏门铃按钮。此外，一些智能设备204使用麦克风和语音识别或相机和手势识别来补充或替换键盘。

传感器422包括例如一个或多个热辐射传感器、环境温度传感器、湿度传感器、红外(ir)传感器(诸如无源红外(pir)传感器)、接近传感器、距离传感器、占用传感器(例如，使用rfid传感器)、环境光传感器(als)、运动传感器424、位置传感器(例如gps传感器)、加速度计和/或陀螺仪。

在一些实施方式中，能量存储组件420包括一个或多个电池和/或电容器。在一些实施方式中，能量存储组件420包括功率管理集成电路(ic)。在一些实施方式中，能量存储组件420包括用于从经由智能设备的天线(例如，无线电装置406)接收的信号中收集能量的电路。在一些实施方式中，能量存储组件420包括收集由智能设备接收的热、振动、电磁和/或太阳能的电路。在一些实施方式中，能量存储组件420包括用于监测所存储的能量水平并基于所存储的能量水平的变化来调整操作和/或生成通知的电路。

通信接口404包括例如能够使用各种定制或标准无线协议(例如，ieee802.15.4、wi-fi、zigbee、6lowpan、thread、z-wave、智能蓝牙(bluetoothsmart)、isa100.5a、wirelesshart、miwi等)和/或各种定制或标准有线协议(例如，以太网、homeplug等)或任何其他合适的通信协议，包括截至本文件提交之日尚未开发的通信协议)中的任何一种进行数据通信的硬件。无线电装置406启用智能家居环境中的一个或多个无线电通信网络，并使智能设备204能够与其他设备通信。在一些实施方式中，无线电装置406能够使用各种定制或标准无线协议(例如，ieee802.15.4、wi-fi、zigbee、6lowpan、线程、z-wave、智能蓝牙(bluetoothsmart)、isa100.5a、wirelesshart、miwi等)中的任何一种进行数据通信。

存储器426包括高速随机存取存储器，例如dram、sram、ddrram或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器426或可替代地存储器426内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器426或存储器426的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

·操作逻辑429，包括处理各种基本系统服务和用于执行硬件相关任务的过程；

·通信模块430，用于耦合到经由一个或多个通信接口404(有线或无线)连接到一个或多个网络162的其他网络设备(例如，网络接口160，诸如提供互联网连接的路由器、网络存储设备、网络路由设备、服务器系统164、其他智能设备204、客户端设备220等)并与之通信；

·输入处理模块432，用于检测来自一个或多个输入设备414的一个或多个用户输入或交互，并解释检测到的输入或交互；

·用户界面模块434，用于提供和呈现用户界面，其中，可以配置和/或查看一个或多个设备(例如，智能设备204和/或智能家居环境100中的其他设备)的设置、捕获的数据和/或其他数据；

·一个或多个应用436，用于由智能设备(例如，游戏、社交网络应用、智能家居应用和/或其他基于web或非基于web的应用)执行，以控制设备(例如，执行命令、发送命令和/或配置智能设备204和/或其他客户端/电子设备的设置)以及用于查看设备捕获的数据(例如，设备状态和设置、捕获的数据或关于智能设备204和/或其他客户端/电子设备的其他信息)；

·设备侧模块438，其提供用于设备控制、数据处理和数据查看的设备侧功能，包括但不限于：

ο命令模块440，用于接收、转发和/或执行指令和控制命令(例如，来自客户端设备220、来自服务器系统164、来自在用户界面410上检测到的用户输入等)以操作智能设备设备204；以及

ο数据处理模块442，用于处理由一个或多个输入(例如，输入设备414、图像传感器418、传感器422、接口(例如，通信接口404、无线电装置440)和/或智能设备204的其他组件)捕获或接收的数据，用于准备处理后的数据并将其发送到远程设备(例如，客户端设备220)以供用户查看；

·相机模块444，用于操作图像传感器418和相关联电路，例如，用于基于来自一个或多个低功率传感器422的数据(例如，来自pir传感器或als的数据)来启用和禁用图像传感器418，相机模块444包括编码模块446，用于调整由图像传感器418捕获的原始图像数据的编码(例如，调整格式、分辨率和/或帧速率)；

·事件分析模块450，用于分析捕获的传感器数据，例如，以检测和/或识别接近的访客和情境信息，包括但不限于：

ο运动检测模块452，用于检测智能家居环境中的事件(例如，视频数据中的运动事件)，诸如正在接近的访客；以及

ο情境感测模块454，用于例如基于行为特征、定时信息和智能家居环境的状态来感测关于接近的访客的情境数据；

·能量管理模块448，用于例如通过基于能量存储组件420的能量水平和/或传感器422捕获的数据(例如，结合功率参数466)来激活和停用智能设备204的各个组件，管理智能设备204的能量使用；以及

·设备数据548，其存储与设备(例如，智能设备204)相关联的数据，包括但不限于：

ο账户数据460，存储与链接到智能设备204的用户账户有关的信息，例如，包括缓存的登录凭据、智能设备标识符(例如，mac地址和uuid)、用户界面设置、显示偏好、身份验证令牌和标签和密码密钥等；

ο本地数据存储462，用于选择性地存储与智能设备204相关联的原始数据或处理后的数据，诸如由图像传感器418捕获的事件数据和/或视频数据；

ο实体数据464，其存储与检测到的人和其他实体有关的信息，诸如表征信息(例如，表征信息348)和相关联的图像；

ο功率参数446，存储能量信息，诸如与能量存储组件420有关的信息(例如，估计的电池寿命)、智能设备204的功率设置，智能设备204的功率状态和智能设备204的用户的功率偏好等；

ο类别信息468，详细描述事件类别，以对由智能设备检测或涉及智能设备的事件进行分类(例如，结合事件分析模块450)；以及

ο用于由智能设备204检测到的或与智能设备204相关联的实体、人和/或事件的表征数据470(例如，由表征模块456生成或使用的数据)。

每个以上标识的元素可以被存储在一个或多个先前提到的存储设备中，并且对应于用于执行上述功能的一组指令。上面标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器426可选地存储以上标识的模块和数据结构的子集。此外，存储器426可选地存储上面未描述的附加模块和数据结构，诸如用于管理传感器422的操作的传感器管理模块。

图4b示出了一些实施方式所使用的各种数据结构，包括事件类别468、功率参数466和表征数据470-m。表征数据470-m类似于以上关于图3b描述的表征数据348-m。事件类别包括一个或多个未知人员事件4682(涉及一个或多个未知或无法识别的人的事件)、已知人员事件4684(涉及一个或多个已知人员的事件)、区域事件4686(涉及相机视场中定义的一个或多个感兴趣区域的事件)、动物事件4688(涉及一种或多种动物(诸如一个或多个宠物)的事件)、车辆事件4670(涉及一个或多个车辆(诸如汽车、摩托车和火车)的事件)、音频事件4672(涉及一个或多个检测到的声音的事件)、警报事件4674(涉及在智能设备处生成的警报的事件)和医疗事件4676(涉及智能设备检测到的医疗或健康问题的事件)。在一些实施方式中，针对特定事件的事件分类包括适用于该事件的每个事件类别468。例如，特定事件被分类为事件类别468的组合，诸如涉及具有一个或多个检测到的声音的车辆中的已知人员的事件。在一些实施方式中，每个事件类别468包括用于确定检测到的事件是否属于该类别的参数和/或算法。

功率参数466包括功率偏好4662、功率设置4664和功率统计4666中的一个或多个。在一些实施方式中，功率偏好4662包括从智能设备204的用户接收的一个或多个显式偏好和/或基于用户的活动的一个或多个隐式偏好。在一些实施方式中，功率偏好4662包括一个或多个默认偏好。在一些实施方式中，功率设置4664包括用于能量存储组件420的一个或多个设置、用于通信接口404的一个或多个设置和/或用于图像传感器的一个或多个设置。在一些实施方式中，至少一些功率设置4664由智能设备204的用户设置。在一些实施方式中，至少一些功率设置4664基于智能设备204的操作模式。在一些实施方式中，至少一些功率设置4664基于能量存储组件420的状态。

图4c是示出根据一些实施方式的智能设备204的框图。在图4c中，智能设备204包括低功率域488中的组件、高功率域480中的组件和高功率域482中的组件。低功率域488包括一个或多个传感器422(例如，pir传感器或als)和控制电路486。在一些实施方式中，控制电路486控制传感器422的操作和/或分析来自传感器422的数据484(例如，经由分析模块487)。在一些实施方式中，控制电路486基于对传感器数据484的分析来确定是否激活高功率域480和482中的电路。例如，控制电路486基于传感器数据484来确定在图像传感器418的视场中存在运动，并且使得图像传感器418和相关联的电路能够捕获运动的视频数据(例如，经由控制信号494)。

高功率域480包括一个或多个图像传感器418、相机控制器474和视频存储器478。在一些实施方式中，高功率域480中的组件在某些操作模式下被停用，以减少智能设备204的能量消耗。例如，在节能模式下，图像传感器418会被停用，直到传感器数据484指示在相机的视场内正在发生感兴趣的事情，或者用户向智能设备请求实时视频204。在一些实施方式中，响应于特定的触发，高功率域480中的组件被单独激活。例如，响应于用户请求查看存储在视频存储器478中的视频数据，视频存储器和相关联的访问电路被激活，而图像传感器418保持停用。在一些实施方式中，控制器474控制图像传感器418的操作和/或分析来自图像传感器418的视频数据472(例如，经由分析模块450)。在一些实施方式中，控制器474例如基于网络状况、视频存储器478中的存储空间、视频数据是否包括运动、一个或多个用户偏好、智能设备204的功率模式和服务器负载等来控制视频数据472的编码。在一些实施方式中，控制器474基于对视频数据472的分析来确定是否激活高功率域482中的电路。例如，控制器474基于视频数据484来确定在图像传感器418的视场中存在特定类型的运动，并且根据具有特定类型的运动，激活通信接口404以将编码的视频数据476-2传输到远程计算系统(例如，云服务器或客户端设备)。

高功率域482包括通信接口404和关联的电路(例如，无线电装置404、一个或多个接收器、一个或多个发射器和/或一个或多个收发器)。在一些实施方式中，通信接口404被配置为无线地耦合到局域网(例如，经由wi-fi)以将视频数据476-2和/或传感器数据484传输到远程计算系统。在一些实施方式中，在一些操作模式中停用高功率域482中的组件以减少智能设备204的能量消耗。例如，在省电模式中，停用无线电装置404直到传感器数据484或视频数据472指示发生了感兴趣的事件，这时激活无线电装置404以建立无线连接并发送关于感兴趣的事件的数据。在一些实施方式中，通信接口404维护一个或多个低功率连接(例如，消耗少于wi-fi连接的60％、40％或20％的连接)以从远程系统(例如，其他智能设备或服务器系统164)和/或智能设备204的用户接收更新和/或请求。在一些实施方式中，通信接口404间歇地(例如，周期地)建立连接(例如，wi-fi连接)以检查或接收来自远程系统(例如，其他智能设备或服务器系统164)和/或用户的更新和/或请求。在一些实施方式中，控制电路486被配置为经由控制信号490启用通信接口404。在一些实施方式中，控制器474被配置为经由控制信号492启用通信接口404。

图5示出了根据一些实施方式的包括视频源501、服务器系统164和客户端设备220的代表性系统架构500。在一些实施方式中，服务器系统164包括用于事件处理器505、事件分类器507、实体识别器326和面向用户的前端314的功能模块。事件处理器505获得事件候选者(例如，通过处理视频流504，或通过从视频源501接收事件开始信息，或通过检测用户按下门铃相机的门铃按钮)。在一些实施方式中，事件候选者包括运动事件候选者。在一些实施方式中，事件候选者包括音频事件候选者。在一些实施方式中，事件候选者包括用户按下门铃相机的门铃按钮。在一些实施方式中，事件候选者包括音频、电磁、嗅觉和/或视觉方面。在一些实施方式中，事件候选者包括运动事件、接近检测和通告检测。事件分类器507将事件候选者分类为不同的事件类别(例如，基于来自事件处理器和/或实体识别器的数据)。面向用户的前端314生成事件警报和通知，并促进由查看者通过客户端设备220上的查看界面对检测到的实体和事件的查看。面向用户的前端314还接收对事件和实体类别的用户编辑、警报和事件过滤器的用户偏好和感兴趣区域的区域定义等。事件分类器可选地基于面向用户的前端收到的用户编辑来修改事件分类模型和结果。实体识别器可选地基于面向用户的前端接收的用户编辑来修改实体分类和/或标签。服务器系统164还包括视频源数据数据库509、人员数据522、事件分类模型数据库510以及事件数据和事件掩蔽数据库511。在一些实施方式中，人员数据522包括人员数据库。在一些实施方式中，这些数据库中的每一个是服务器数据库316的一部分(例如，数据存储数据库330的一部分)。

服务器系统164从视频源501(例如，来自图2b的视频源222)接收一个或多个视频流504，并且可选地接收：事件候选信息502，诸如用于检测到的实体和事件的初步表征信息(例如，来自在门铃106处执行的处理的实体和事件元数据)；以及源信息503，诸如门铃106的设备设置(例如，门铃106的设备简挡338)。在一些实施方式中，事件处理器505与视频源501和/或智能家居环境的一个或多个其他设备通信，例如，以请求附加图像数据、音频数据和传感器数据，诸如视频流504的高清晰度图像或元数据。服务器系统向客户端设备220发送针对事件512的警报、针对检测到的人的警报524、事件时间线信息513和/或视频数据528(例如，与检测到的人和/或事件对应的静态图像或视频片段)。在一些实施方式中，警报512将访客接近事件与其他类型的运动事件区分开。在一些实施方式中，警报512将在门铃106处捕获的运动事件与由其他智能设备(例如，相机118)捕获的运动事件区分开。服务器系统164可选地从客户端设备220接收用户信息，诸如事件信息514(例如，对事件类别的编辑)和区域定义515，以及人员数据526(例如，检测到的人员的分类)。

数据处理管道实时(例如，在10秒、30秒或2分钟之内)处理从视频源501(例如，包括门铃106和可选的控制器设备)接收的视频信息(例如，实时视频馈送)和/或从视频源501中的一个或多个智能设备接收的音频信息以识别和分类在智能家居环境中发生的事件，并向与智能家居环境的查看者账户相关联的客户端设备220发送实时事件警报(例如，在10秒、20秒或30秒之内)和/或刷新的事件时间线(例如，在30秒、1分钟或3分钟之内)。数据处理管道还处理存储的信息(诸如，来自视频源501的存储的视频馈送)以根据需要重新评估和/或重新分类事件，诸如当获得关于事件的新信息时和/或当获得关于事件类别的新信息(例如，从用户获得了新的活动区域定义)时。

在智能设备处捕获视频和/或音频数据之后，对该数据进行处理以确定是否存在任何潜在的事件候选者或人员。在一些实施方式中，最初在智能设备(例如，视频源501、相机118或门铃106)处处理数据。因此，在一些实施方式中，智能设备向服务器系统164发送事件候选信息，诸如事件开始信息。在一些实施方式中，在服务器系统164处处理数据以用于事件开始检测。在一些实施方式中，视频和/或音频数据存储在服务器系统164上(例如，在视频和源数据数据库509中)。在一些实施方式中，视频/音频数据存储在与服务器系统164不同的服务器上。在一些实施方式中，在检测到运动开始之后，从存储器中(例如，从视频和源数据数据库509)检索视频流的相关部分。

在一些实施方式中，事件识别过程包括将视频流分割成多个片段，然后将每个片段内的事件候选者分类。在一些实施方式中，对事件候选者进行分类包括背景因素、实体检测和识别、每个运动实体的运动矢量生成、实体特征以及场景特征的聚合，以为事件候选者生成运动特征。在一些实施方式中，事件识别过程进一步包括：对每个片段进行分类；基于片段的分类来生成或更新事件日志；基于片段的分类来为事件生成警报；对完整的事件进行分类；基于完整的事件更新事件日志；并基于完整的事件为该事件生成警报。在一些实施方式中，分类基于确定事件发生在特定感兴趣区域内。在一些实施方式中，分类基于确定事件候选者涉及一个或多个感兴趣区域。在一些实施方式中，分类基于音频数据和/或音频事件表征。

事件分析和分类过程可以由智能设备(例如，视频源501)和服务器系统164协作地执行，并且任务的划分可以在不同的实施方式中针对不同的设备能力配置、功率参数和/或针对不同的网络、设备和服务器负载情况而变化。在服务器系统164将事件候选者分类之后，可以将事件检测和分类的结果发送到与智能家居环境相关联的查看者。

在一些实施方式中，服务器系统164存储每个视频源501的原始或压缩的视频数据(例如，在视频和源数据数据库509中)、事件分类模型(例如，在事件分类模型数据库510中)以及事件掩蔽和其他事件元数据(例如，在事件数据和事件掩蔽数据库511中)。在一些实施方式中，视频数据以一种或多种显示分辨率(诸如480p、780p、1080i和1080p等)存储。

在一些实施方式中，视频源501(例如，门铃106)经由一个或多个网络(例如，一个或多个网络162)将实时视频馈送发送到远程服务器系统164。在一些实施方式中，当视频数据被门铃106捕获时，视频数据的传输是连续的。在一些实施方式中，视频数据的传输与视频数据的内容无关，并且视频数据是从视频源501上传到服务器系统164进行存储，而不管是否已在视频数据中捕获了任何运动事件。在一些实施方式中，默认情况下，视频数据被存储在视频源501的本地存储设备中，并且仅与视频流中检测到的运动事件候选者相对应的视频部分被上传到服务器系统164(例如，实时地或根据用户要求)。

在一些实施方式中，视频源501动态地确定视频流将以什么显示分辨率被上传到服务器系统164。在一些实施方式中，视频源501动态地确定将要向服务器系统164上传视频流的哪些部分。例如，在一些实施方式中，根据当前服务器负载和网络状况，视频源501可选地在视频流的不包含任何运动事件候选者的其他部分之前优先上传与新检测到的运动事件候选者相对应的视频部分；或者视频源501以比视频流的其他部分更高的显示分辨率上传与新检测到的运动事件候选者相对应的视频部分。这种上传优先化有助于确保即使在网络状况和服务器负载均未达到最佳状态时，重要的运动事件也可以被实时检测到并向查看者发出警报。在一些实施方式中，视频源501实现两个并行的上传连接，一个用于上传由门铃106捕获的连续视频流，另一个用于上传与检测到的运动事件候选者相对应的视频部分。在任何给定时间，视频源501确定是否需要暂时中止连续视频流的上传，以确保为与新检测到的运动事件候选者相对应的视频片段的上传提供足够的带宽。

在一些实施方式中，与为运动事件处理而上传的视频片段相比，为云存储而上传的视频流具有更低的质量(例如，更低的分辨率、更低的帧速率、更高的压缩等)。

如图5所示，视频源501可选地包括视频门铃106和可选的控制器设备。在一些实施方式中，门铃106包括足够的机载处理能力以执行所有必要的本地视频处理任务(例如，针对运动事件候选者的提示点检测、视频上传优先化、网络连接管理等)，并且门铃106直接与服务器系统164通信，而没有任何控制器设备充当中介。在一些实施方式中，门铃106捕获视频数据并将视频数据发送到控制器设备以用于必要的本地视频处理任务。控制器设备可选地执行多个相机的本地处理任务。例如，在一个智能家居环境(例如，图1的智能家居环境100)中可能有多个相机，并且单个控制器设备从每个相机接收视频数据并处理该视频数据以检测来自每个相机的视频流中的运动事件候选者。控制器设备负责向从每个相机向服务器传输包含运动事件候选的视频段分配足够的传出网络带宽，然后使用剩余带宽将视频流从每个相机传输到服务器系统164。在一些实施方式中，连续的视频流被发送并存储在一个服务器处，而包含运动事件候选者的视频片段被发送到不同的服务器设备并在其处进行处理。

在一些实施方式中，智能设备向服务器系统164发送附加源信息503。该附加源信息503可以包括关于设备状态(例如，ir模式、ae模式、dtpz设置等)的信息和/或有关设备所处的环境(例如，室内、室外、夜间、白天等)的信息。在一些实施方式中，服务器系统164使用源信息503来执行事件检测、实体识别和/或对事件候选者进行分类。在一些实施方式中，附加源信息503包括来自视频源501(例如，门铃106)执行的视频处理(诸如分类、对象/实体识别和运动掩蔽等)的一个或多个初步结果。

在一些实施方式中，在检测到事件开始事件之后的视频部分被划分成多个片段。在一些实施方式中，分段继续直到获得事件结束信息(有时也称为“事件结束信号”)为止。在一些实施方式中，分段发生在服务器系统164内(例如，通过事件处理器505)。在一些实施方式中，分段包括生成重叠的片段。例如，每秒生成10秒的片段，以使新片段与先前片段重叠9秒。

在一些实施方式中，多个片段中的每个片段具有相同或相似的持续时间(例如，每个片段具有10-12秒的持续时间)。在一些实施方式中，第一片段的持续时间比后续片段的持续时间短。将第一片段保持较短允许进行实时的初始分类，并基于处理第一片段而发出警报。然后可以基于后续片段的处理来修改初始分类。在一些实施方式中，如果运动实体进入新的感兴趣区域，则生成新的片段。

在一些实施方式中，在事件处理器模块获得对应于事件候选者的视频部分之后，事件处理器505获得背景因素并执行运动实体检测识别、针对每个运动实体的运动矢量生成以及特征识别。一旦事件处理器505完成这些任务，事件分类器507就汇总所有信息，并生成针对运动事件候选者的分类。在一些实施方式中，事件处理器505和事件分类器507是视频处理模块3144的组件。在一些实施方式中，在提交运动事件候选者以进行事件分类之前，可选地执行误报抑制以拒绝一些运动事件候选者。在一些实施方式中，确定运动事件候选者是否为误报包括确定运动事件候选者是否发生在特定区域中。在一些实施方式中，确定运动事件候选者是否为误报包括分析运动事件候选者的重要性分数。运动事件候选者的重要性分数可选地基于与运动事件候选者、背景特征、运动矢量、场景特征、实体特征、运动特征和运动轨迹等有关的感兴趣区域。

在一些实施方式中，视频源501具有足够的处理能力以执行并且确实执行实体检测、人员识别、背景估计、运动实体识别、运动矢量生成和/或特征识别。

图6是示出了根据一些实施方式的与用户账户相关联的代表性客户端设备220的框图。客户端设备220通常包括一个或多个处理单元(cpu)602、一个或多个网络接口604、存储器606以及用于互连这些组件(有时称为芯片组)的一条或多条通信总线608。可选地，客户端设备还包括用户接口610和一个或多个内置传感器690(例如，加速度计和陀螺仪)。用户接口610包括一个或多个输出设备612，其使得能够呈现媒体内容，包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口610还包括一个或多个输入设备614，包括方便用户输入的用户接口组件，例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕捉相机或其他输入按钮或控件。此外，一些客户端设备使用麦克风和语音识别或相机和手势识别来补充或替换键盘。在一些实施方式中，客户端设备包括用于捕获图像的一个或多个相机、扫描仪或照片传感器单元(未示出)。可选地，客户端设备包括位置检测设备616，诸如gps(全球定位卫星)传感器或其他地理位置接收器，用于确定客户端设备的位置。

存储器606包括高速随机存取存储器，诸如dram、sram、ddrsram或其他随机存取固态存储器设备；并可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器606可选地包括远离一个或多个处理单元602定位的一个或多个存储设备。存储器606或可替代地存储器606内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器606或存储器606的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

·操作系统618，包括用于处理各种基本系统服务和用于执行硬件相关任务的过程；

·网络通信模块620，用于经由一个或多个网络接口604(有线或无线)将客户端设备220连接到其他系统和设备(例如，客户端设备、电子设备和连接到一个或多个网络162的系统)；

·输入处理模块622，用于检测来自一个或多个输入设备614之一的一个或多个用户输入或交互，并解释检测到的输入或交互；

·一个或多个应用624，用于由客户端设备执行(例如，游戏、社交网络应用、智能家居应用和/或其他基于web或非基于web的应用)，以控制设备(例如，向集线器设备和/或其他客户端或电子设备发送命令、配置设置等)，并用于查看由设备捕获的数据(例如，设备状态和设置、捕获的数据或与集线器设备或其他连接的设备有关的其他信息)；

·用于提供和显示用户界面的用户界面模块626，在其中，可以配置和/或查看用于一个或多个设备(例如，智能家居环境100中的智能设备204)的设置、捕获的数据和/或其他数据；

·客户端侧模块628，其提供用于设备控制、数据处理和数据查看的客户端侧功能，包括但不限于：

ο设备控制模块630，用于根据用户输入生成用于修改智能设备(以及可选的其他电子设备)的操作模式的控制命令；

ο视频分析模块632，用于分析捕获的视频数据，例如，以检测和/或识别人、物体、动物和事件，诸如先前关于视频分析模块442所描述的；

ο数据查看模块634，用于提供用于查看来自服务器系统164或视频源222的数据的用户界面，包括但不限于：

□·事件查看模块636，用于查看事件(例如，运动和/或音频事件)，并可选地启用用户对事件的编辑和/或更新；以及

□·人员查看模块638，用于查看有关检测到的人员和其他实体的数据和/或图像，并可选地启用用户对人员数据的编辑和/或更新；

ο呈现模块640，用于呈现用于与智能设备204和/或服务器系统164交互的用户界面和响应选项；以及

ο远程交互模块642，用于例如经由智能设备204和/或服务器系统164与远处的人(例如，智能家居环境100的访客)进行交互；以及

·客户端数据644，用于存储与用户账户和电子设备相关联的数据，包括但不限于：

ο账户数据646，用于存储与在客户端设备上加载的用户账户以及与该用户账户相关联的电子设备(例如，视频源501中的电子设备)有关的信息，其中，此类信息包括缓存的登录凭证、集线器设备标识符(例如，mac地址和uuid)、电子设备标识符(例如，mac地址和uuid)、用户界面设置、显示偏好、身份验证令牌和标签、密码密钥等；以及

ο本地数据存储数据库648，用于选择性地存储与电子设备(例如，诸如门铃106的视频源501的电子设备)相关联的原始或处理后的数据，可选地包括先前描述的实体数据。

每个以上标识的元素可以被存储在一个或多个先前提到的存储设备中，并且对应于用于执行上述功能的一组指令。上面标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，因此，这些模块的各个子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器606可选地存储以上标识的模块和数据结构的子集。此外，存储器606可选地存储以上未描述的附加模块和数据结构。

图7示出了根据一些实施方式的用于功率偏好的用户界面702。用户界面702包括多个通知相关的功率偏好710，其使用户能够为各种事件类型设置优选的通知类型。在图7的示例中，相机设备被设置为针对不涉及人的已知事件生成纯文本通知，针对涉及已知人员的已知事件生成静止图像通知，并针对未知人员的已知事件生成动画图像(例如，gif)。类似地，用户界面702还包括针对未知(无法识别的事件)的与通知相关的功率偏好。

不涉及人的已知事件的示例是通过宠物门离开的家庭宠物。例如，此事件的纯文本通知是一条文本，说明“发现斑点刚从他的门离开。”涉及已知人员的已知事件的示例是家庭成员下班回家。例如，此事件的静止图像通知是家庭成员的图像，带有文本来说明“约翰已经下班回家了”。涉及已知人员的已知事件的示例是投递人员放下包裹。例如，此事件的动画图像通知是留下包裹的投递人员的gif图像，带有文本来说明“您订购的鞋子已送达”。

用户界面702还包括多个低功率偏好712，其使用户能够限制视频数据传输以节省功率并延长电池寿命。在图7的示例中，将相机设备设置为在剩余电池寿命不到30％时将通知限制为动画图像(例如gif)。相机设备还设置为当剩余电池寿命不足20％时将通知限制为静止图像，而当剩余电池寿命不足10％时将通知限制为纯文本。

例如，基于图7中所示的偏好，响应于检测到涉及未知人员的未知事件，如果剩余电池寿命超过30％，则相机将向用户发送视频片段，如果剩余20％-30％，则相机将发送gif，如果剩余10％-20％，则相机将发送静止图像，而如果剩余少于10％，则相机将发送文本通知。在一些实施方式中，使用户能够限制视频数据的质量以节省能量，诸如分辨率和帧速率。

图8a-8c示出了根据一些实施方式的代表性事件通知。图8a示出了根据一些实施方式的事件通知802和806。事件通知802包括文本部分803和视频数据部分804。事件通知806仅包括文本部分803。在一些实施方式和情况中，视频数据部分804包括静止图像、动画图像集(例如gif)和/或视频片段。在一些实施方式中，基于一个或多个功率参数466来选择事件通知802或806。在一些实施方式中，基于功率偏好710和/或功率偏好712来选择事件通知802或806。根据一些实施方式，文本部分包括标识访客的信息(例如，“ups”、“迈克尔(michael)”和“陌生人”)，以及内容信息(例如，访客的通告消息的一部分)和/或活动信息(例如“留下一条消息”、“包裹已投递”和“助手让他进来”)。在一些实施方式中，事件通知包括静止图像(例如，所涉及的人的头像)和活动的视频片段(例如，人放下包裹)。

图8b示出了根据一些实施方式的事件通知808、810、812和814。事件通知808包括文本部分，该文本部分将事件分类(包裹投递)并给出有关事件的其他详细信息(将包裹识别为用户的鞋子订单)。在一些实施方式中，相机设备通过识别包裹上的标识符(例如，条形码或跟踪号等)来识别包裹。在一些实施方式中，投送人员将包裹识别到相机设备(例如，“放下您订购的女童子军饼干”)。在一些实施方式中，远程系统指示包裹对应于特定物品或订单(例如，投递服务通知智能家居特定包裹已被投递)。事件通知810包括文本部分，该文本部分对事件进行分类(遛狗人到来)并给出其他详细信息(计划的事件和助手准予进入)。事件通知812还包括文本部分，用于对事件进行分类(已知访客)并提供其他详细信息(莎朗的消息)。

事件通知814包括文本部分，用于对事件进行分类(未知访客)并提供其他详细信息(访客的消息)。事件通知814还包括使用户能够请求与事件相对应的视频数据的启示816和818。在一些实施方式中，在与事件相对应的视频数据存储在相机设备处的事件通知上提供启示。在一些实施方式中，在具有特定事件类型或类别(例如，事件涉及未知人员)的事件通知上提供启示。在一些实施方式中，事件通知包括视频部分(例如，示出事件的静止图像)和用于请求附加视频数据的一个或多个启示(例如，用于请求事件的视频片段的启示)。

在一些实施方式中，事件通知包括文本部分，用于指示运动事件的类别(例如，人事件类别)和运动事件发生的时间(例如，“12:32pm”或“10秒前”)。在一些实施方式中，事件通知被显示在客户端设备220的主屏幕或锁定屏幕上。在一些实施方式中，响应于用户对事件通知的选择，智能家居应用被打开或启动(例如，利用客户端侧模块628，图6)。在一些实施方式中，响应于事件通知的用户选择，显示视频监控用户界面。在一些实施方式中，事件通知的用户选择包括在客户端设备的触摸屏的与事件通知相对应的部分上的用户滑动手势。在一些实施方式中，事件通知的用户选择包括在触摸屏的与事件通知相对应的部分上的用户点击手势或双击手势。在一些实施方式中，事件通知包括附加信息，诸如与运动事件中涉及的智能设备有关的信息(例如，捕获运动事件的相机的名称)和/或与运动事件的持续时间有关的信息。在一些实施方式中，事件通知包括以下一项或多项：用于打开呈现(例如，推送)该通知的智能家居应用的启示、用于请求事件的视频数据的启示、用于发起事件的可视/音频回放的启示、用于忽略或取消通知的启示以及用于暂停通知的启示。

在一些实施方式中，呈现了具有多个事件通知的用户界面，每个事件通知对应于不同的事件。例如，呈现了一种用户界面，该用户界面包括与在12:10pm发生的运动事件相对应的事件通知和与在12:45pm发生的音频事件相对应的第二事件通知。在一些实施方式中，事件通知按时间顺序排序(例如，最新警报显示在顶部)。在一些实施方式中，事件通知按重要性排序。

图8c示出了根据一些实施方式的代表性事件通知。在一些实施方式中，图8c中所示的每个事件通知可选地包括视频数据(例如，视频数据部分804)和/或用于检索视频数据的启示或选项(例如，启示816和818)。在一些实施方式中，视频数据和/或视频请求启示的包含是基于与通知相对应的事件的类别、捕获该事件的相机设备的类型(例如，电池供电或线路供电的设备)和/或捕获事件的相机设备的功率参数(例如，功率偏好和/或剩余电池寿命)。在一些实施方式中，响应于用户选择图8c所示的通知之一，使用户能够查看或请求用于相应事件的视频数据。

事件通知820包括指示在12:32pm发生了涉及特定区域(区域a)的运动事件的文本消息。在一些实施方式中，特定区域是由智能家居应用的用户表示的感兴趣区域。在一些实施方式中，“区域a”是特定区域的用户定义的标题。事件通知822包括文本消息，该文本消息指示在12:32pm发生了可能涉及人的运动事件。因此，事件通知822传达关于运动事件的事件类别和该类别的置信度两者的信息。

事件通知824包括文本消息，该文本消息指示在特定时间段(12:32pm–12:35pm)期间发生了涉及人的运动事件。因此，事件通知824传达关于运动事件的事件类别和运动事件的持续时间两者的信息。根据一些实施方式，通知822被生成为针对特定运动事件的第一通知，并且通知824被生成为针对特定运动事件的第二或更新的通知。例如，通知822是基于运动事件的初始事件类别和相应置信度(诸如在分析运动事件的几秒钟(例如，5、10、15或30秒)后分配的事件类别)而生成的。在该示例中，在分析整个3分钟事件之后生成通知824。

事件通知826包括文本消息，该文本消息指示在特定时间(12:32pm)发生了涉及未知人员的运动事件。在一些实施方式中，未知人员包括无法识别的检测到的人员。例如，检测到人，但是不能经由面部识别或其他方式识别该人。在一些实施方式中，根据确定该人未被识别为具有满足特定标准的置信度分数的任何特定人来生成通知826。例如，所检测到的人被确定为置信度分数为48的已知人员“约翰”，并被确定为置信度分数为36的“保罗”。在此示例中，置信度分数低于置信度阈值60导致检测到的人未被识别为已知人员。因此，检测到的人不被识别为“约翰”或“保罗”，并且相应的文本消息说明“未知人员”。

事件通知828包括指示在特定时间(12:32pm)检测到活动的文本消息。在一些实施方式中，根据确定活动不包括特定实体或对象来生成通知828。在一些实施方式中，根据确定没有以足够的置信度(例如，高于预定置信度阈值)识别出运动事件中的特定实体或对象来生成通知828。

事件通知830包括文本消息，该文本消息指示在特定时间(12:32pm)检测到涉及特定动物(sparky狗)的活动。在一些实施方式中，通知830对应于在活动(例如，运动事件)中识别狗实体的实体检测和将狗实体识别为sparky狗的实体识别。在一些实施方式中，通知830对应于sparky狗的特定事件类别。

事件通知832包括文本消息，该文本消息指示在特定时间(12:32pm)发生了可能涉及车辆的音频事件。在一些实施方式中，音频事件包括由一个或多个麦克风(例如，智能设备204的一个或多个麦克风)检测到的事件。在一些实施方式中，由麦克风检测到的音频事件与来自相机的视频馈送的特定部分相关联。例如，由智能恒温器上的麦克风触发的音频事件与来自位于智能恒温器附近(例如，在同一房间或空间内)的相机的相机馈送相关联。因此，用户可以在检测到的音频事件紧接之前、期间和/或紧接之后请求和/或观看视频画面一段时间。在一些实施方式中，基于对来自一个或多个智能设备的信息(诸如来自相机的视觉数据或检测到的音频数据)的分析，确定音频事件可能涉及车辆。在一些实施方式中，通知832对应于满足特定标准的对象检测的置信度分数，诸如在特定置信度范围内。

事件通知834包括文本消息，该文本消息指示在特定时间(12:32pm)在特定感兴趣区域(区域a)内发生了涉及所识别的人(杰克)和未知人员的事件。在一些实施方式中，事件包括以下中的一个或多个：运动事件、音频事件和警报事件。在一些实施方式中，通知834指示被标示为“杰克”的人以高置信度被识别。在一些实施方式中，通知834指示未识别或未以足够高的置信度识别被标示为“未知人员”的人。例如，未知人员未被识别为具有高于置信度阈值的相应置信度分数的任何特定人。在一些实施方式中，通知834指示事件至少部分地在区域a内发生。在一些实施方式中，区域a对应于用户定义的感兴趣区域。在一些实施方式中，区域a对应于场景内的识别区域(例如，住宅的前门)。在一些实施方式中，通知834对应于涉及已知人员、未知人员和感兴趣区域的事件的事件类别。在一些实施方式中，通知834对应于多个事件类别，诸如用于涉及已识别人员的事件的事件类别、用于涉及未知人员的事件的事件类别以及用于涉及感兴趣区域的事件的事件类别。

在一些实施方式中，基于相应的事件类别来调整一个或多个通知呈现特性。例如，涉及未知人员的通知(诸如通知826)包括音频组件，而涉及已知实体的通知(诸如通知834)不包括音频组件。在一些实施方式中，基于相应的事件类别来调整一个或多个通知显示特性。例如，涉及感兴趣区域的通知(诸如通知820)包括彩色边框(例如，对应于特定感兴趣区域的颜色)，而不涉及感兴趣区域的通知(诸如通知822)包括黑色边框。在一些实施方式中，基于自检测到(或发生)事件以来的时间来调整一个或多个通知呈现特性。

图9a-9c是示出根据一些实施方式的检测和响应运动事件的方法900的流程图。在一些实施方式中，方法900由诸如相机118、智能门铃106或其他相机配备的智能设备204之类的相机设备执行。在一些实施方式中，方法900由智能设备204的组件(诸如能量管理模块448和事件分析模块450结合图像传感器418和通信接口404)执行。在一些实施方式中，本文描述的方法900的操作是可互换的，并且方法900的相应操作是由上述设备中的任何一个执行的。在一些实施例中，方法900由存储在非暂时性计算机可读存储介质中并且由设备的一个或多个处理器或控制器(诸如，处理器402、相机控制器474和/或控制电路486)执行的指令控制。为方便起见，下面将方法900描述为由相机设备执行。

在一些实施方式中，相机设备监视(902)场景(例如，利用一个或多个传感器422)。在一些实施方式中，相机设备使用一个或多个非图像传感器(诸如，pir传感器或als)监视场景。在一些实施方式中，相机设备利用低功率域中(例如，在低功率域488内)的一个或多个组件来监视场景。在一些实施方式中，相机设备在监视场景时禁用一个或多个高功率域(例如，高功率域480和482)。在一些实施方式中，相机设备以低功率模式(例如，低分辨率和/或低帧率模式)操作图像传感器(例如，图像传感器418)以监视场景。

在一些实施方式中，相机设备检测(904)场景内的运动。在一些实施方式中，代替运动，相机设备检测一个或多个声音(或其他传感器数据)，并基于对声音或其他传感器数据的分析来激活图像传感器。

在一些实施方式中，相机设备确定(906)所检测到的运动是否微不足道(例如，利用事件分析模块450和/或设备侧模块438)。在一些实施方式中：(1)响应于检测到运动，相机设备确定该运动是否是微不足道的运动；(2)根据确定所述运动不是微不足道的，所述相机设备激活所述图像传感器以捕获所述多个图像。在一些实施方式中，根据确定运动是微不足道的，相机设备放弃激活图像传感器和无线通信组件。

在一些实施方式中，根据确定运动不是微不足道的，相机设备激活(908)图像传感器电路(例如，高功率域480内的电路)。在一些实施方式中：(1)响应于检测到运动，相机设备激活图像传感器以捕获多个图像；以及(2)视频信息至少包括多个图像的子集。在一些实施方式中，根据确定运动不是微不足道的，相机设备以高功率模式(例如，高分辨率、高帧率模式)操作图像传感器。在一些实施方式中，相机设备响应于来自一个或多个远程设备的数据来激活图像传感器电路。例如，相机设备从远程运动传感器接收到相机设备的视场内存在不是微不足道的运动的通知，并且作为响应，相机设备激活了图像传感器电路。

相机设备捕获(910)运动事件的视频数据(例如，利用图像传感器418)。在一些实施方式中，在停用相机设备的无线通信组件的同时，相机设备利用图像传感器捕获包含运动事件的多个图像。在一些实施方式中，在捕获多个图像之前并且在停用图像传感器的同时，相机设备经由与图像传感器不同的运动传感器(例如，pir传感器、雷达或als)检测运动。

相机设备基于捕获的视频数据(例如，利用事件分析模块452)表征运动事件(912)。在一些实施方式中，基于来自其他传感器的多个图像和数据(例如，经由运动传感器检测到的运动)来表征运动事件。在一些实施方式中，表征运动事件包括确定运动事件是否涉及人。在一些实施方式中，相机设备确定运动是否涉及动物、宠物或车辆等。在一些实施方式中，表征运动事件进一步包括根据确定运动事件涉及人来确定该人是否是已知人员。

相机设备确定(914)运动事件是否是微不足道的(例如，运动事件是树随风摇曳、风扇移动或电视节目)。在一些实施方式中，相机设备基于运动事件的表征来确定是否将视频数据发送到远程计算系统。在一些实施方式中，基于视频数据的片段(例如2、5或10秒)来表征运动事件。在一些实施方式中，表征运动事件包括确定运动事件是否包括已知的(识别的)运动事件(例如，放下包裹、驾车驶过、树木移动等)。在一些实施方式中，表征运动事件包括确定运动事件是否包括朝向相机设备的移动，例如，人接近相机设备或家居环境相对于人经过该设备或家居环境。

在一些实施方式中，确定人正在接近相机设备包括确定人在距相机设备的阈值距离内。例如，如果在距相机设备的预定距离内检测到人，则将该人确定为正在接近的访客。例如，一旦访客位于相机设备的15英尺、10英尺或5英尺之内，便会启动观察窗口并获得情境信息。在一些实施方式中，响应于确定人正在接近相机设备而启动观察窗口包括响应于确定访客在去往相机设备的路线上(例如，已经进入通往相机设备的人行道、走廊或外围门)而启动观察窗口。

在一些实施方式中，基于情境信息来表征运动事件。在一些实施方式中，情境信息包括定时信息(例如，一天中的时间)，安装有相机设备的智能家居环境的状态(例如，用户在家)和用户是否期望运动(例如，孩子放学回家)等。

在一些实施方式中，情境信息包括在预定时间阈值期间检测到的通告事件(例如，门铃按钮被按下、敲门或口头通告)或者不存在检测到的通告事件。例如，与到达入口通道但徘徊超过30秒而没有按门铃或敲门的访客相比，在到达入口通道的5秒钟内按门铃的访客可能会保证来自智能家居环境的不同的响应。在一些实施方式中，门铃按下、敲门或口头通告是与已知访客相关联或以其他方式与已知访客相关联的门铃按下或敲门的预分配模式的一部分。例如，智能家居环境(例如，智能门铃)确定特定的访客总是以特定的方式并且以特定的力来敲门上的特定位置。在此示例中，智能家居环境将此类敲门属性与特定访客相关联。在另一个示例中，设置(例如，由用户手动设置或者经由机器学习来设置)特定访客的访客简档，以将特定的敲门模式、特定的门铃铃声模式或特定的口头通告与特定访客相关联。

在一些实施方式中，情境信息基于面部识别分析结果、访客的一种或多种行为特征、访客的一种或多种身体特征、访客的一种或多种衣着和/或配饰特征、访客接近入口通道的一天中的时间、访客接近入口通道的一周中的星期几、来自智能家居环境的音频数据、时间上接近预定事件、时间上接近智能家居环境的预定状态、用户的已知或未知状态、用户的预期或意外状态、用户的位置、用户的身份和/或一个或多个检测到的访客动作(例如，门铃激活、敲门、音频通告和/或访客与智能家居环境之间的任何其他互动)。在一些实施方式中，情境信息基于一个或多个检测到的访客动作的定时(例如，自从检测到或确定访客已接近或邻近入口通道以来，访客按门铃或敲门所需的时间，或者自从检测到或确定访客已经接近或邻近入口以来，访客一直徘徊多长时间而不按门铃或敲门)。

在一些实施方式中，情境信息包括访客的特征，诸如身高、性别和年龄等。在一些实施方式中，情境信息包括确定的访客的的生物特征。在一些实施方式中，如果一组访客一起接近入口通道，则情境信息包括访客的数量和/或所识别的在访客之间的互动。在一些实施方式中，情境信息包括关于访客是否持有任何物品和/或这种物品的标识(例如，盒子、撬棍或食物物品)的信息。在一些实施方式中，情境信息包括关于在智能家居附近(例如，在街区、一英里或十英里内)的任何活动或最近(例如，在最后一小时、一天或一周内)安全警报的信息。在一些实施方式中，情境信息包括关于智能家居的先前访客的信息(例如，先前访客是否是罪犯、推销员还是邻居)。

在一些实施方式中，情境信息包括音频数据，诸如口头通告(上面描述了其示例)或访客的对话。进一步的示例包括来自访客以外的来源(例如，吠叫犬、警笛或可能为访问提供背景的任何其他声音)的背景噪音。

在一些实施方式中，情境信息包括以上示例的任何组合。在一些实施方式中，情境信息的各个子集被加权，并且情境信息是情境信息的各个子集的加权组合。例如，亮度信息或一天中的时间信息可能比身份信息更重地被加权(例如，如果泳池清洁员在深夜接近入口通道，则一天中的时间信息与确定接近的访客的情境信息相关性更强，因此被更重地加权)。

在一些实施方式中，根据确定运动事件是微不足道的，相机设备停用(916)图像传感器电路。在一些实施方式中，根据确定不向远程计算系统发送视频数据，相机设备放弃激活无线通信组件。

在一些实施方式中，根据确定不将视频数据发送到远程计算系统，相机设备将多个图像存储在相机设备处(例如，在视频存储器478内)。例如，相机设备将视频数据存储一段预设的时间，直到被以后的视频数据覆盖，或者直到用户指示应该丢弃该视频数据或将其传输到另一个计算系统为止。

在一些实施方式中，在存储多个图像之后，相机设备(1)从相机设备的用户接收观看运动事件的请求；(2)响应于用户请求，将存储的多个图像发送到远程计算系统。例如，用户经由通知启示，诸如图8b中的启示818，来请求图像。在一些实施方式中，相机设备发送所存储的图像的子集，诸如单个静止图像或从图像生成的gif。

在一些实施方式中，相机设备被配置为将所有运动事件的视频数据发送到远程计算系统。例如，用户已经选择了偏好(例如，如图7所示)，以请求针对所有类型的事件的视频数据。在一些实施方式中，为了将视频数据发送到远程计算系统，相机设备在将数据发送到远程计算系统之前在本地存储视频数据，以便更有效地将数据发送到远程计算系统。例如，相机设备首先在本地存储视频数据，以确保将视频数据作为完整的分组传输到远程计算系统，从而减少了传输视频数据所需的时间量。在一些实施方式中，视频数据被本地存储并压缩，然后视频数据的压缩版本作为完整的数据分组(例如完整的wi-fi分组)传输到远程计算系统。

在一些实施方式中，根据确定运动事件不是微不足道的，相机设备继续捕获(918)运动事件的视频数据。例如，相机设备继续捕获视频数据，直到运动事件结束(例如，直到不再检测到运动)为止。在一些实施方式中，在捕获运动事件的图像之后，相机设备禁用图像传感器以节省功率。例如，在确定运动事件已经结束之后，相机设备禁用高功率域480中的组件。在一些实施方式中：(1)基于来自图像传感器的视频数据的片段来表征运动事件；以及，相机设备(a)基于运动事件的表征，确定是否继续从图像传感器捕获视频数据；(b)根据确定不继续捕获视频数据，禁用图像传感器以节省功率。在一些实施方式中，根据确定不继续捕获视频数据，相机设备启动向相机设备的用户发送通知。在一些实施方式中，一个或多个附加组件也被停用，诸如图像信号处理器、视频存储器和led等。

在一些实施方式中，根据确定将视频数据发送到远程计算系统，相机设备：(1)激活相机设备的无线通信组件；(2)经由无线通信组件建立与远程计算系统的无线连接；(3)经由已建立的无线连接将视频信息发送到远程计算系统。在一些实施方式中，远程计算系统包括云服务器。在一些实施方式中，远程计算系统包括客户端设备。

在一些实施方式中，视频信息包括关于运动事件的表征的信息以及多个图像的至少一个子集。例如，视频信息包括通知802的视频部分804中所示的图像和文本部分803中所示的信息。

在一些实施方式中，相机设备在发送视频信息之前，将视频数据存储在相机设备处，以便提高视频信息的无线传输的效率。在一些实施方式中，相机设备压缩视频数据并传输压缩的视频数据，从而提高无线传输的效率。例如，相机设备存储视频数据，直到事件结束，然后激活通信电路并发送视频数据。以此方式，相机设备可以充分利用无线连接并减少需要保持无线连接的时间。

在一些实施方式中，在发送视频信息之后，相机设备禁用无线通信组件以节省功率。例如，相机设备禁用无线通信组件，直到响应于新的感兴趣事件再次将其激活。

在一些实施方式中，相机设备确定(920)事件的类别(例如，类别“a”)(例如，利用表征模块456结合类别信息468和/或表征数据470)。在一些实施方式中，根据确定事件具有特定类别(例如，类别“a”)，相机设备：(1)激活(922)无线通信电路；(2)建立(924)与远程计算机的无线连接；(3)将实时视频流传输(930)到远程计算机。在一些实施方式中，远程计算机是诸如服务器系统164的云服务器(例如，配置为管理多个智能家居账户和环境的云服务器)(926)。在一些实施方式中，远程计算机是(928)客户端设备，诸如客户端设备220。

在一些实施方式中，相机基于相机设备的特定类别和一个或多个功率参数来确定是否将视频数据发送到远程计算系统。在一些实施方式中，一个或多个功率参数包括相机设备的剩余电池电量的量度。在一些实施方式中，相机设备(1)从相机设备的用户接收一个或多个功率偏好；(2)基于一个或多个功率偏好(例如，图7所示的用户偏好)来设置一个或多个功率参数。在一些实施方式中，一个或多个功率偏好包括针对一种或多种运动事件类型发送特定类型的视频数据的用户偏好。例如，发送用于涉及已知人员的运动的静止图像的用户偏好、发送用于涉及未知人员的已识别运动(投递包裹)的gif的用户偏好以及发送用于被确定为不是微不足道的未识别运动的视频流的用户偏好。在一些实施方式中，一个或多个功率偏好包括关于是否以省电模式进行操作的用户偏好。

在一些实施方式中：(1)相机设备包括门铃(例如，门铃106)；(2)确定是否将视频数据发送到远程计算系统是基于门铃是否在接近检测到的运动事件的时间内激活，例如在检测的运动的开始(或结束)的30秒、1分钟或2分钟内。

在一些实施方式中：(1)根据确定将视频数据发送到远程计算系统，相机设备确定要发送的多个图像的格式和数量；(2)视频信息包括确定格式的多个图像的确定数量。例如，发送静止图像、gif、低、中或高分辨率的视频和/或低、中或高帧速率的视频。作为另一个示例，发送图像的一部分(或一组图像)，诸如头像或涉及运动的帧的一部分。

在一些实施方式中，根据确定(932)事件具有特定类别(例如，类别“b”)，相机设备：(1)在相机设备处存储(934)运动事件的视频数据；(2)实例化(936)延迟时段；(3)激活(938)无线通信电路；(4)建立(940)到远程计算机的无线连接；(5)将至少一部分存储的视频数据传输(942)到远程计算机。在一些实施方式中：(1)根据确定向远程计算系统发送视频数据，相机设备确定是否延迟发送视频数据；以及(2)根据确定不延迟发送视频数据来激活无线通信组件。例如，迅速(实时或在2、5、10分钟内)发送视频数据。在一些实施方式中：(1)根据确定延迟发送视频数据，相机设备实例化延迟时段；(2)在延迟时段结束后激活无线通信组件。在一些实施方式中，延迟时段是预设的时间段。在一些实施方式中，延迟时段是到一天中的特定时间、星期几、每月的某天等。在一些实施方式中，延迟时段包括用户可以请求视频数据的存储时间段(例如，如果用户希望查看数据，则数据将存储两周(或直到被覆盖))。

在一些实施方式中，根据确定(9344)事件具有特定类别(例如，类别“c”)，相机设备：(1)激活(946)无线通信电路；(2)建立(948)与远程计算机的无线连接；(3)发起客户端设备的非视频事件通知(例如，文本通知，例如通知806)。

在一些实施方式中，根据确定不向远程计算系统发送视频数据，相机设备发起运动事件的文本通知的生成(例如，经由通信模块430结合通信接口404)，以发送给相机设备的用户(例如，与该设备链接的房主或账户持有人)。

尽管各个附图中的一些以特定顺序示出了多个逻辑阶段，但是不依赖于顺序的阶段可以被重新排序，并且其他阶段可以被组合或分解。尽管具体提到了一些重新排序或其他分组，但其他排序或分组对于本领域普通技术人员而言将是显而易见的，因此，本文呈现的排序和分组并非替代方案的详尽列表。此外，应当认识到，这些阶段可以以硬件、固件、软件或其任何组合来实现。

还应理解，尽管在一些情况中，术语第一、第二等在本文中用于描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元件和另一个元件。例如，在不脱离所描述的各种实施方式的范围的情况下，第一类别可以被称为第二类别，并且类似地，第二类别可以被称为第一类别。第一类别和第二类别都是类别，但是它们不一定是同一类别。

在本文的各种描述的实施方式的描述中使用的术语仅是出于描述特定实施方式的目的，并且不旨在进行限制。如在各种所描述的实施方式和所附权利要求的描述中所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。还应理解，本文所用的术语“和/或”是指并涵盖一个或多个相关联所列项目的任何和所有可能的组合。将进一步理解的是，当在本说明书中使用时，术语“包括(include)”、“包括(including)”、“包含(comprise)”和/或“包含(comprising)”规定了所述特征、整数、步骤、操作、元件和/组件的存在，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组。

如本文所用，取决于上下文，术语“如果”可选地解释为意指“何时”或“在……时”或“响应于确定”或“响应于检测到”或“根据确定……”。类似地，取决于上下文，短语“如果确定”或“如果检测到[所陈述的状况或事件]”可选地被解释为意指“在确定时”或“响应于确定”或“在检测到[所陈述的状况或事件]时”或“响应于检测到[陈述的状况或事件]”或“根据确定检测到[陈述的状况或事件]”。

为了说明的目的，已经参考特定实施方式描述了前述描述。然而，以上说明性讨论并非旨在穷举或将权利要求的范围限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。选择实施方式以便最好地解释权利要求及其实际应用所基于的原理，从而使本领域的其他技术人员能够最佳地使用具有适于所设想的特定用途的各种修改的实施方式。