计算机视觉系统的制作方法
发明背景
1.发明领域
本发明的领域涉及对在家庭环境或其他环境中检测到的人或对象提供实时数据分析的计算机视觉系统和方法。
本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对专利文件或专利公开进行传真机复制，如同其出现在专利和商标局专利文件或记录中，但是在其他方面无论如何都保留所有版权。
2.技术背景
近几年在计算机视觉研究方面已取得了巨大进步，并且许多团队现正在尝试基于所谓的智能视频分析部署应用。这些通常分为两个阵营：对摄像头内部进行非常简单的视频分析的阵营，以及对服务器进行复杂视频分析的阵营。然而，简单的视频分析太简单并且无法预测其在应用中具有大的价值，而复杂的分析通常是完全不可扩展和不经济的。
后者的原因在于最先进的视觉算法不适用于在cpu、gpu以及甚至专用视觉处理器上处理高分辨率视频：传输、存储以及尤其处理视频的成本是巨大的并且与用户数量、摄像头和分辨率成线性比例。
其他系统未能为在低成本和低功率传感器中实施的图像和视频处理提供准确和可预测的解决方案。本发明的方面解决了这些失败点。
家庭自动化/智能家居涉及存在于家庭中的各种设备或系统的本地和/或远程控制。今天的智能家居服务包括各种服务，举例来说，诸如自动门锁、能量监控设备、智能照明系统、娱乐系统、车辆检测系统等。
智能家居的连接设备必须能够监控、情境化并预测人类行为以及保证隐私。智能家居需要使人位于家庭的中心和控制之下。智能家居系统需要是功能丰富的、准确的、可预测的并能够解释人类行为。市场上现有的可用解决方案无法实现这样的需求。
3.现有技术讨论
对在家庭环境中检测到的人或对象提供数据分析的各种技术是可用的。示例是：
·pir传感器，其仅对准在其视野内的动作。当人们不在移动时，传感器失效，并且不给出关于存在的人数、他们的位置、他们的姿势或他们的身份的信息。传感器被任何种类的移动同等地触发。
·云摄像头，其需要将全帧视频传输到远程服务器并进行后续视频分析。由于必要算法的非常高的计算需求，这样的系统不是实时的并且是不可扩展的，因为存储和计算成本随着传感器的数量而线性增加。此外，它们不提供保证隐私的可能性。
·手势系统(诸如microsoftkinecttm)，其提供丰富的信息，但仅在近距离范围内，在相对狭窄的照明条件范围内可靠地工作，并且相对笨重且昂贵。
发明概述
第一方面是一种计算机视觉系统或引擎，其(a)从像素流生成人或其他对象的数字表示，并且(b)从该数字表示确定所述人或对象的属性或特性，并且(c)使得能够控制一个或多个联网设备或传感器。
可选特征包括以下特征，每个特征都可以与任何其他可选特征相结合。在下文中，术语‘引擎’还包括术语‘系统’。
·所述引擎从所述像素流输出实时元数据流，所述元数据描述所述引擎已经被训练来搜索的场景中的每个对象的瞬时属性或特性。
·所述引擎直接处理以rgb、yuv或其他编码格式的形式的原始图像传感器数据或视频数据。
·所述引擎是嵌入在设备中的基于asic的产品。
·所述引擎发送或使用那些属性或特性以使得能够控制一个或多个联网设备或传感器。
·所述引擎可以检测场景中的多个人并且连续跟踪或检测他们的轨迹、姿势、手势、身份中的一个或多个。
·所述引擎可以通过分析人的所述轨迹、姿势、手势、身份中的一个或多个来推断或描述该人的行为或意图。
·所述引擎执行场景的实时虚拟化，从场景提取对象并将它们的虚拟化表示分组在一起。
·所述引擎应用特征提取和分类以在每个视频帧中寻找具有已知特性的对象，或者应用卷积或递归神经网络或另一对象检测算法来这样做。
·所述引擎通过提取独立特性来检测人，所述特性包括以下中的一个或多个：头部、头部和肩部、手和全身，每个的取向不同，以使得个人的头部取向、肩部取向和全身取向能够针对可靠的人跟踪被独立评估。
·所述引擎连续地监控场景中的个人的运动并预测其下一个位置，以使得即使当被摄体暂时丢失或穿到另一个对象后面时也能够进行可靠跟踪。
·所述引擎将个人局部表示情境化，以在每个人移动通过多个位置中的多个传感器的环境时构建每个人的全局表示。
·所述引擎使用来自多个传感器的数据，每个传感器捕获环境的不同部分，以跟踪和显示移动通过该环境的对象，并在从单个传感器成像时形成不限于对象的全局表示。
·使用深度/距离估计来重建3d中对象的近似位置，以辅助来自多个传感器的所述全局表示的跟踪和构建的准确性。
·所述引擎操作为接口以使得能够控制智能家庭或办公室中的多个联网计算机启用的传感器和设备。
·数字表示符合api。
·数字表示包括定义广义的人的外观的特征向量。
·数字表示用于将人显示为标准化形状。
·数字表示用于将人显示为人的符号或简化表示。
·符号或简化表示是包括头部、身体、手臂和腿部的平面或二维形状。
·不同人的符号或简化表示使用不同的颜色进行区分。
·符号或简化表示是化身(avatar)。
·数字表示包括定义特定的人的外观的特征向量。
·人的数字表示用于分析或使得能够分析该人的轨迹、姿势、手势和身份中的一个或多个，并且智能家庭设备可以基于该分析对所述人的意图和/或需求作出响应并进行预测。
·数字表示不是图像，并且无法创建人的可以从中辨识该人的图像。
·所述引擎不输出连续的或流式的视频，而是输出定义个人的各种属性的元数据。
·所述引擎输出连续的或流式的视频并且还输出定义个人的各种属性的元数据。
·特性或属性包括轨迹、姿势、手势、身份中的一个或多个。
·特性或属性包括轨迹、姿势、手势和身份中的每一个。
·所述引擎与标准图像传感器一起工作，所述传感器与芯片级系统一起工作，所述芯片级系统生成能够创建人或其他对象的数字表示的实时数据。
·所述引擎与ip摄像头一起工作形成实时元数据流以伴随输出的视频流，从而逐帧提供视频内容的索引。
·所述引擎与使用视觉信息但从未在硬件级别形成图像或视频的智能传感器一起工作。
·系统构建家庭中的每个个人的虚拟化数字表示，包括每个人的：家中的轨迹，包括例如站和坐的动作；姿势，例如人所面向的方向，和/或他们所看向的方向；手势，例如人的手所进行的运动；和身份，即区分人和分配独特身份(例如，姓名)给每个人的能力。
·系统理解来自以下集合的广泛行为：计数房间中的人数、理解人的姿势、使用面部辨识数据识别人、确定人从哪里移动/移动到哪里、通过识别的个人提取特定的手势。
·从计算机视觉系统发送的数据的数据速率被限制或基于事件触发。
·多个计算机视觉系统将其数据发送到集线器，所述集线器存储和分析该数据，并且使得人的数字表示能够由计算机视觉系统构建，所述计算机视觉系统具有共享的和不同的视野，跟踪该人并同时辨识该人。
·所述集线器暴露开放的人级别的数字表示api，使得各种电器能够使用并且根据api中编码的数据进行控制。
·数字表示是在计算机视觉系统处或在集线器处或云中本地创建，或分发在计算机视觉系统和一个或多个集线器和所述云上。
·数字表示是使用实时元数据至该对象的轨迹、姿势(和可能身份)的每个对象的(例如，每个人的)的记录的重新格式化的‘跟踪记录’。
·跟踪记录存储在与视频数据库相关的mysql类型数据库中。
·数字表示包括距离人或对象或环境的部分的传感器的深度或距离的估计或测量。
·深度感测使用具有大约已知大小的校准对象，
·深度感测使用立体摄像头或结构光。
·数字表示包括面部辨识数据。
·传感器元数据被馈送到集线器、网关或控制器中，所述集线器、网关或控制器将事件推送到网络中的智能设备作为特定命令，并且区分在每个服务基础上创建的事件以允许每个服务从作为单一智能传感器的传感器组接收与其服务相关的不同数据。
·将事件流发送到云分析应用，举例来说，诸如基于云的数据监控、数据收集或学习服务。
·系统控制器所订阅的事件订阅服务从设备或传感器接收事件通知和数据。
·使用虚拟输出排队事件交换机，使得被推送到控制系统的事件可以通过服务标记类别来区分。
·系统从各个传感器输入的集合生成事件对象，其中每个事件对象还包含订户信息和服务类别。
·所述事件对象以json格式编码，使得它们可以直接在浏览器用户界面(bui)和web服务器上的基于javascript的软件中使用，或者被标准服务器侧编程语言或服务器应用编程接口(api)容易地解译。
·系统对所生成的事件进行排队，并且使用虚拟输出排队系统基于目的地和服务类别将其交换到输出通道中。
·数字表示涉及从以下列表中选出的其他物项：动物、宠物、无生命的对象、动态或移动的对象如汽车。
·使用手势辨识来实施控制(例如，在计算机视觉传感器处挥手以将其关闭；在光开关处挥手以将灯打开或关闭)。
·使用移动检测来实施控制(例如，接近房间并且其灯打开；接近沙发且电视打开)。
·语音控制系统可以被增强，因为语音命令可以被消除歧义，例如，可靠地识别为命令而不是背景噪声，因为当可以看到用户正在看给出命令时将被控制的麦克风或其他传感器或对象，并且还有仅当看到用户在看麦克风/对象时才可将语音控制系统设置为监控音频来增强隐私。
·系统或引擎可以被本地化在包括传感器的摄像头或其他设备中，或者在连接到该设备的集线器或网关中，或者在远程服务器中，或分发在这些的任何排列上。
·系统或引擎本地化在以下中的一个或多个中：(a)处理原始传感器数据的边缘层；(b)聚合层，其通过在时域和空间域中聚合和处理来自所述边缘层的数据来提供高级分析；(c)服务层，其处理与一个或多个系统控制器和最终客户的全部连接，以配置他们的家庭系统，并收集和分析所生成的数据。
本发明的其他方面(其也可以包括上面列出的任何可选特征)包括以下：
一种计算机视觉系统或引擎，其(a)从视频生成人或其他对象的数字表示或虚拟化表示，并且(b)从该数字表示确定所述人或对象的属性或特性，并且(c)使得能够控制一个或多个联网设备或传感器。
一种传感器，其包括嵌入式计算机视觉引擎，所述引擎(a)从像素流生成人或其他对象的数字表示，以及(b)从该数字表示确定所述人或对象的属性或特性。
一种包括传感器的电器，所述传感器又包括嵌入式计算机视觉引擎，所述引擎(a)从像素流生成人或其他对象的数字表示，以及(b)从该数字表示确定所述人或对象的属性或特性，以及(c)使得能够控制一个或多个联网设备或传感器。
一种智能家居或办公系统(和/或其他物理或逻辑环境)，其包括上文所述的一个或多个计算机视觉系统以及如上文所述的一个或多个传感器。
一种联网系统，其包括如上文所述的多个计算机视觉系统。
一种芯片级硬件或固件，其使计算机视觉引擎能够如上文所述进行操作。
一种方法，其使用如上文所述的计算机视觉系统来控制多个联网计算机启用设备。
在以下产品之一中体现如上文所述的方法或系统，其中一个或多个计算机视觉引擎是如上文所述：
·摄像头
·云摄像头
·智能门铃
·灯开关
·车库进入系统
·基于非摄像头传感器
·消防报警传感器或报警器
·电视
·恒温器
·咖啡机
·灯泡
·音乐流传送设备
·冰箱
·烤箱
·微波炉
·洗衣机
·任何智能设备
·任何可穿戴式计算设备
·智能手机
·平板计算机
·任何便携式计算设备
另一方面是一种用于智能家居或智能办公室的软件架构或系统，所述架构包括
(a)边缘层，其处理传感器数据；
(b)聚合层，其通过在时域和空间域中聚合和处理来自边缘层的数据来提供高级分析；
(c)服务层，其处理与一个或多个系统控制器和最终客户的全部连接，以配置他们的家庭系统，并收集和分析所生成的数据。
可选特征包括：以下特征，每个特征都可以与任何其他可选特征组合；以及上文列出的任何方面和可选特征。
·边缘层在嵌入传感器中的asic处或网关/集线器处处理原始传感器数据或视频数据。
·边缘层包括计算机视觉系统或引擎，所述系统或引擎(a)从像素流生成人或其他对象的数字表示，并且(b)从该数字表示确定所述人或对象的属性或特性，并且(c)使得能够控制一个或多个联网设备或传感器。
·边缘层可以检测场景中的多个人并且连续跟踪或检测他们的轨迹、姿势、手势、身份中的一个或多个。
·边缘层可以通过分析人的轨迹、姿势、手势、身份中的一个或多个来推断或描述该人的行为或意图。
·计算机视觉系统如上所述。
·计算机视觉系统使用立体摄像头或结构光。
·系统连续地分析其正在感测的每个人并将某些行为解释为事件。
·边缘层将来自原始传感器数据的实时元数据推送到聚合层。
·聚合层获得由边缘层产生的元数据并对其作进一步分析，将多个源的数据组合在一起以创建依据时间的变化的事件。
·聚合层解译了用于创建事件的一组规则。
·聚合层准备所述事件作为服务来递送，这包括在将事件数据传递到服务层之前调度驱动多类服务事件交换的算法。
·服务层允许系统与实时控制系统进行交互，所述实时控制系统订阅由服务层打包、递送和监控的事件服务。
·所有3层所述架构或系统包含在摄像头或其他传感器所连接的网关或集线器设备内，并且服务层的一部分在云中。
·边缘层的网关或集线器部件用于集中架构的一些管理部件，而不是将它们复制到所有摄像头/传感器本身中。
·摄像头或其他传感器包括边缘层的一些，并且边缘层的这些元件输出实时元数据；所述架构的所有3层均包含在摄像头或其他传感器所连接的网关或集线器设备内，并且服务层的一部分在云中。
·摄像头或其他传感器包括边缘层的一些，并且边缘层的这些元件输出实时元数据；架构的所有3层都在云中。
可以在以下任何市场部署实施：
·智能家居
·智能办公室
·智能城市
·健康保健
·环境控制
·零售/广告
·家居安防
·保险
·教育
另一个方面是芯片级硬件或固件计算机视觉引擎，其(a)从像素流生成人或其他对象的数字表示或虚拟化表示，以及(b)从该数字表示确定所述人或对象的属性或特性。
可选特征包括以下特征，其中每个特征可以与任何其他可选特征相结合：
·所述引擎从像素流输出实时元数据流，所述元数据描述引擎已经被训练来搜索的场景中的每个对象的瞬时属性或特性。
·所述引擎直接处理以rgb、yuv或其他编码格式的形式的原始图像传感器数据或视频数据。
·所述引擎是嵌入在设备中的基于asic的产品。
·引擎检测场景中的多个人，并连续跟踪或检测他们的轨迹、姿势、手势、身份中的一个或多个。
·引擎可以通过分析人的轨迹、姿势、手势、身份中的一个或多个来推断或描述该人的行为或意图。
·引擎执行场景的实时虚拟化，从场景提取对象并将它们的虚拟表示分组在一起。
·引擎应用特征提取和分类以在每个视频帧中寻找具有已知特性的对象，或者应用卷积或递归神经网络或另一对象检测算法来这样做。
·所述引擎通过提取独立特性来检测人，所述特性包括以下中的一个或多个：头部、头部和肩部、手和全身，每个的取向不同，以使得个人的头部取向、肩部取向和全身取向能够针对可靠的人跟踪被独立评估。
·所述引擎连续地监控场景中的个人的运动并预测其下一个位置，以使得即使当被摄体暂时丢失或穿到另一个对象后面时也能够进行可靠跟踪。
·所述引擎将个人局部表示情境化，以在每个人移动通过多个位置中的多个传感器的环境时构建每个人的全局表示。
·所述引擎使用来自多个传感器的数据，每个传感器捕获环境的不同部分，以跟踪和显示移动通过该环境的对象，并在从单个传感器成像时形成不限于对象的全局表示。
·使用深度/距离估计来重建3d中对象的近似位置，以辅助来自多个传感器的所述全局表示的跟踪和构建的准确性。
·数字表示符合api。
·数字表示包括定义广义的人的外观的特征向量。
·人的数字表示用于分析或使得能够分析该人的轨迹、姿势、手势和身份中的一个或多个，并且智能家庭设备可以基于该分析对所述人的意图和/或需求作出响应并进行预测。
·数字表示不是图像，并且无法创建人的可以从中辨识该人的图像。
·所述引擎不输出连续的或流式的视频，而是输出定义个人的各种属性的元数据。
·所述引擎输出连续的或流式的视频并且还输出定义个人的各种属性的元数据。
·特性或属性包括轨迹、姿势、手势、身份中的一个或多个。
·特性或属性包括轨迹、姿势、手势和身份中的每一个。
·所述引擎与标准图像传感器一起工作，所述传感器与芯片级系统一起工作，所述芯片级系统生成能够创建人或其他对象的数字表示的实时数据。
·所述引擎与ip摄像头一起工作形成实时元数据流以伴随输出的视频流逐帧提供视频内容的索引。
·所述引擎与使用视觉信息但从未在硬件级别形成图像或视频的智能传感器一起工作。
·系统构建家庭中的每个个人的虚拟化数字表示，包括每个人的：家里的轨迹，包括例如站和坐的动作；姿势，例如人所面向的方向，和/或他们所看向的方向；手势，例如人的手所进行的运动；和身份，即区分人和分配独特身份(例如，姓名)给每个人的能力。
·系统理解来自以下集合的广泛行为：计数房间中的人数、理解人的姿势、使用面部辨识数据识别人、确定人从哪里移动/移动到哪里、通过识别的个人提取特定的手势。
·从计算机视觉系统发送的数据的数据速率被限制或基于事件触发。
·数字表示是使用实时元数据至该对象的轨迹、姿势(和可能身份)的每个对象的(例如，每个人的)的记录的重新格式化的‘跟踪记录’。
·跟踪记录存储在与视频数据库相关的mysql类型数据库中。
·数字表示包括距离人或对象或环境的部分的传感器的深度或距离的估计或测量。
·深度感测使用具有大约已知大小的校准对象。
·深度感测使用立体摄像头或结构光。
·数字表示包括面部辨识数据。
·数字表示涉及从以下列表中选出的其他物品：动物、宠物、无生命的对象、动态或移动的对象如汽车。
·使用手势辨识来实施控制(例如，在计算机视觉传感器处挥手以将其关闭；在灯开关处挥手以将灯打开或关闭)。
·使用移动检测来实施控制(例如，接近房间并且其灯打开；接近沙发且电视打开)。
·语音控制系统可以被增强，因为语音命令可以被消除歧义，例如，可靠地识别为命令而不是背景噪声，因为可以看到用户正在看当给出命令时将被控制的麦克风或其他传感器或对象，并且还有仅当看到用户在看麦克风/对象时才可将语音控制系统设置为监控音频来增强隐私。
本发明的方面在称为arttm、alivetm和awaretm的平台中实施；这些平台中的每一个都使用称为spirittm的计算视觉引擎；spirit是asic中基于硬件的引擎，可以嵌入在传感器中。
art是创建家庭中的人的数字表示的平台，其可以用于控制智能家居设备的网络。它通常由以下各者组成：
·在一个或多个传感器中的asic中的嵌入式spirit引擎
·驻留在家庭集线器的软件应用
·驻留在云中的软件应用
对art方法的补充
·智能手机仍然是智能家居中的重要设备，但不再需要它作为所有设备的中央遥控器。代替“每个设备的应用”的是，智能手机成为一种配置基于art的系统的方法和一种由art使用的用户识别/个性化的方法。
·单纯的语音辨识在智能家庭中的潜力有限，但是结合art检测身份和意图的能力(即，针对特定设备的注意力)，语音辨识可能变成有效地作为家庭内某些设备的接口。
alive是用于递送新用户视频体验的平台和(可能)服务。它由以下中的一个或多个组成：
·智能手机内部的soc中的spirit引擎
·服务器内部的fpga中的spirit引擎
·智能手机上的alive软件应用
·服务器上的alive软件
aware是一个将人的行为转换为大数据的平台。它由以下各者组成：
·摄像头或传感器内部的soc中的spirit引擎
·和/或路由器或服务器中的fpga中的spirit引擎
·aware服务器，其包含数据库、业务逻辑和客户端应用的接口
附图简述
现在将参考以下内容，通过举例来描述本发明的多个方面，其中：
图1示出了集成在云中的系统架构的图。
图2示出了捕获原始图像传感器数据并将其转换成元数据流以被进一步分析和处理的方法。
图3示出了对于在60fps下的4k原始像素流，来自spirit引擎的压缩相比标准hevc压缩之间的比较。
图4示出了针对两个后续帧逐帧实时分析人的示例。
图5示出了实时分析视频帧内的一个以上的人的示例。
图6示出了用于在智能摄像头和智能传感器中实施spirit的架构的示例。
图7示出了与spirit随art智能传感器和art智能摄像头的实施的黑色图形相比较，标准视频摄像头的框图。
图8示出了alive平台的图。
图9示出了alive的不同元件。
图10示出了‘重影’的示例。
图11示出了其中实时提取视频帧内的各种参数的视频的屏幕捕获。
图12示出了其中在无约束环境中检测手势的视频的屏幕捕获。
图13示出了art中的不同部件。
图14示出了人的不同的可能的虚拟化数字表示(vdr，＝bna)的示例。
图15示出了在特定家庭环境中的art实施。
图16示出了家庭化身。
图17示出了示出本地集线器和本地电器之间存在的不同元件的图。
图18示出了表示部署在art中的准确性和可预测性的系统方法以便实时处理人的行为的图。
图19示出了中心art在家中的位置。
图20示出了并入art传感器的灯开关的图。
图21示出了应用于可扩展的家用cctv主张时当前ip摄像头的技术细节。
图22示出了cctv选项的可能分辨率和帧率。
图23示出了art安防系统所遵循的不同步骤。
图24示出了智能art应用的屏幕截图的示例。
图25是art3层软件架构的图。
图26是灵活架构选项1的图：集线器设备和云。
图27是灵活架构选项2的图：传感器、网关设备和云。
图28是灵活架构选项3的图：传感器和云。
图29是示出数据平面、控制平面和管理平面的分离的图。
图30是示出三个操作平面上的内部和外部接口的图。
图31是灵活架构选项3的图的其他示例：传感器和云。
图32示出了经由spirit启用的soc、摄像头cpu和集线器进行的art部署。
图33示出了如实施在aware平台中的spirit嵌入式架构的示例。
图34示出了aware云sdk平台的架构的示例。
图35示出了可以通过aware评估的不同距离的不同水平的姿势。
图36示出了摄像头已经安装在显示器上方的所提出的摄像头设置和相关联的感兴趣区域的示例。
图37示出了可能的aware实施的示例。
图38示出了从注视时间洞察计算的分析图。
图39示出了深入分析商店环境内的顾客行为的示例。
图40示出了用于智能零售的webgui的屏幕捕获的示例。
图41是具有集线器软件的智能家居架构的图。
图42是具有所示的更多房间和居住者的互联网连接的智能家居的图。
图43是具有能量控制系统的智能家居的图。
图44是具有4个控制系统的智能家居的图：能量、安全、安防和娱乐。
图45是集线器软件程序架构和部件的图。
图46是事件生成器模块架构和部件的图。
图47是事件交换机模块架构和部件的图。
图48是使用json表示法的房屋模型的图。
图49是以json表示法表示的事件的示例。
图50是以json表示法表示的事件规则的示例。
图51是具有至企业单一建筑物的应用的示例的图。
图52是具有至建筑物的企业园区的应用的示例的图。
图53是具有至城市街区的应用的示例的图。
图54是至智能家庭、企业园区和城市街区的同时应用的示例的图。
图55是来自传感器的原始数据的示例。
图56示出了传感器对象、组和追踪的示例。
图57是规则实施的图。
图58是规则排序的图。
图59是具有调度示例的图。
图60示出了已经实施art传感器的厨房环境的图像捕获。
图61示出了已经实施art传感器的厨房环境的图像捕获。
图62示出了保存在标准视频帧和art视频帧之间的典型信息的比较。
图63示出了智能门铃的使用情况的示例。
图64示出了将检测到的面部与已知库数据库进行比较时的步骤。
图65示出了由针对智能门铃使用情况辨识的对象触发的事件。
图66示出了art门铃系统的设置中所涉及的不同步骤。
图67示出了日常活动监控的使用情况示例。
图68示出了家庭内发生的实时场景的art系统演示。
图69示出了车辆内部的art的实施。
图70示出了直接与出租车公司的移动或web应用集成的art系统。
详述
本发明提出了一种可以连接到家庭、办公室或其他环境的视频启用系统。它是基于生成数据的高级计算机视觉技术，其实现场景解释而无需视频。相反，可以使用视觉感测来创建人或其他东西的数字表示。本发明具有多个独立方面和可选的实施特征，并且将依次描述每个方面和特征。
图1是具有对用于在智能家居和云解决方案中进行集成的整体系统架构的概述的图形。所述系统是基于spirit，spirit是一种嵌入式引擎，其分析输入图像，并将图像虚拟化成其数字表示，从而实现对场景的数字理解。spirit包括具有嵌入式固件的专用ip块。系统可以包括数据接收器和设备管理器(1)、数据库和存储装置(2)和智能家居接口(3)。
本发明的关键特征将在以下部分之一中进行描述：
1.spirit
2.alive
3.art
4.aware
5.基于json的事件生成和事件交换
6.市场调查和应用
7.使用情况示例
1.spirit
apical已经基于人类视觉系统开发了双核技术模型。assertive技术将人类视觉融入数字设备中，以在节省电力的同时到处创造自然、无缝的体验，而spirit技术模仿人类的视觉处理，使设备能够理解他们所看到的东西。
spirit架构相对于替代的基于软件的方法的性能优势，无论是以速度、功耗还是以成本来衡量，都是按数量级来衡量。spirit所基于的算法无法在任何其他现有的处理器架构上实时运行，包括为计算机视觉应用设计的处理器。spirit还颠覆了常规的工艺流程：传感器→图像处理器→视频编码器→视频解码器→视频分析。使用spirit，系统的任何其他部分都不需要或都没有作用：它们昂贵、消耗电力，实际上降低了准确性，并且可以删除。spirit采用了以前只能在超级计算机上使用的东西，并将其放在低成本、低功率的传感器中。
1.1spirit的概述
spirit在边缘完全实施最先进的计算机视觉和机器学习。它采用目前用于服务器群视频分析的最先进的技术，并将其嵌入在连接的传感器内部，以非常低的功率以空前的性能和准确性操作。
spirit可以从近处到远处并且实时定位和跟踪任何数量的人、他们的姿势和手势。spirit将从标准图像传感器流出的原始数据当作输入。
由于spirit的独特架构，只要传感器具有足够高的分辨率，对可以被同时监控的人数和其相关联特性就不存在限制，对距离传感器的距离也不存在任何限制。
spirit是一种嵌入式引擎，其将像素数据流转换为描述场景内感兴趣的对象的元数据以及其特性，如图2所示。例如，spirit与常规的cmos图像传感器耦合，其可以检测场景内的任何数量的人，并持续跟踪他们的姿势、轨迹和手势。它通过虚拟化的过程来实现，意味着从像素流中提取其已经被训练进行搜索的所有基本对象，并且进行提取，意味着对这些对象进行分组，确定诸如姿势的特性，分析其轨迹等。
spirit的输出是描述场景中每个对象的瞬时特性的元数据流，其格式为理想状况下适于后续数据分析的机器可读格式(如图2所示)。这个数据丰富但非常紧凑，并且与源像素流相比表现出微小的带宽。
因此，spirit可以被认为是数据压缩引擎，其能够实现数据流内的凸显信息的100,000：1压缩比，同时将其编码成允许有效的后续分析的形式。
图3示出了对于60fps下的4k的原始像素流，来自spirit引擎的压缩相比标准的hevc压缩之间的比较。虽然hevc压缩导致巨大和不可扩展的分析成本，但是由于其高压缩比，spirit提供了边际分析成本。
spirit实时操作，并且可以直接处理原始图像传感器数据。在几乎所有的常规分析在视频上运行时，为什么要处理原始数据？第一，因为原始数据包含最大量的信息，并且后续的图像处理可能通常只会使其降级。第二，因为这个数据可以被表征以传递可预测的准确性，而后续的图像处理可能使得这种表征不可能。第三，它消除了为支持视频的创建、编码和解码而对重型芯片上和芯片外基础架构的需求。第四，因为依靠视频基本上意味着隐私是不可能的。
1.2关键的技术特性
spirit的独特之处在于其能够实时地从流式传输像素数据提取所有凸显信息而无约束。这通过以下特性的组合来实现：
·实时操作(例如，在60fps下高达4k分辨率)。
·可以在每个视频帧中检测到无限数量的对象。
·对象可以是具有任何大小；它们可以例如从50×50像素变化到高达帧的分辨率。
·复杂的对象，如人，可以通过对多个组成对象(如身体部分)进行分组来组成。
·可以使用已知大小的校准对象从传感器位置估计实际距离。
·最先进的准确性和可预测性。
·可以同时搜索许多不同种类的对象。
·对原始像素数据或经处理数据的操作。
·低功率。
·低硅成本。
1.3用于人的分析的spirit
spirit可以被训练成搜索各种各样的对象。对于art，这些对象可以是例如人的组成部分：头部、上身、全身、手等的不同位置。
spirit采用新颖的方法进行人的分析。人通过多达16个独立特性的组合来检测，所述独立特性包括头部、头部和肩部以及不同取向的全身，以及手的另外模型。这种方法产生多种好处。
首先，与使用整个人的单一模型的方法相比，这种方法显著提高了人的检测和跟踪的准确性。所述方法对于部分遮挡具有鲁棒性，其中身体的一部分隐藏在另一个对象之后，并且不依赖于可能背朝传感器的人的取向。分组的方法使系统表现为对错误具有鲁棒性。
其次，其使得能够提取有关姿势的丰富信息。例如，可以独立地评估个人的头部取向、肩部取向和全身取向。
因为spirit可以在高帧率下操作，所以人的追踪变得可靠。spirit持续监控场景中个人的动作，并预测他们的下一个位置。这个分析结合引擎提取的其他信息，即使被摄体暂时丢失或行进到另一个对象后面，也可以进行可靠的跟踪。
图4示出了针对两个帧的序列跟踪人并逐帧实时分析人的示例。检测到人，并且提取头部的特性(头部分数和头部角度)和上身的特性(上身分数和上身角度)。人的id也与其相关联的置信水平被显示。
图5示出了另一个示例，其中在单帧内检测到一个以上的人。对人数没有限制，可以同时进行跟踪和分析多个人。帧中的像素数量指示实际上可以检测到的最小的身体部位。可以实时提取检测到的人的特性，举例来说，诸如：人被跟踪(1)、头朝向右(2)、上身朝右(3)、全身朝右(4)、头朝前(5)、上身朝前(6)、全身朝前(7)。
图4和图5中的注释是使用spirit的元数据生成，以便给出视觉参考。
1.4技术
spirit可以使用多种技术在每个视频帧中查找具有已知特性的对象。大多数现有的对象检测技术都是基于机器学习系统，其集中于特征提取和分类。spirit也可以使用深层学习技术，举例来说，诸如卷积或递归神经网络。spirit也可以使用混合机器学习技术或随机投影技术或另一种对象检测算法。
spirit可以用数千个其要搜索的对象的示例进行离线训练。spirit也有能力在一定程度上学习这些对象的变化。一旦其在给定视频帧中找到了对象，其便查找其他相关对象，将它们分组在一起，并且然后使用预测方法随时间跟踪它们。
spirit不被设计成对世界上的所有对象编索引。它被设计成检测、分类、跟踪和预测常见对象。apical认为这类对象不证自明是人是最重要的，但是apical已经表明可以准确地检测到动物、汽车和其他对象。
除了核心分析算法之外，spirit还建立在专有模块中，所述专有模块控制并表征图像传感器。因此，传感器不再被用作常规的成像设备：其变成一种经校准的传感器，对由spirit输出的虚拟化数据的质量产生可预测的影响。
1.5性能
spirit由于其算法设计和在专用硬件中的广泛实施而实现了空前的性能。与针对计算机视觉任务优化的处理器的低水平典型应用相比，这种设计实现了计算资源的近100％的利用。
spirit具有超过teraflop的同等计算性能，已经在一个非常紧凑和低功率的硅芯中实现了这一点，能够在几乎任何设备中实施。
此外，apical已经在图像传感器数据处理方面带来了十多年的经验，结果是，spirit在各种各样的使用场景中实现了分界水平的准确性和可预测性。
尽管spirit采用专用硬件，但是其通过其固件层保持为可以有效地进行编程。例如，不同的对象类型被预先训练并且作为向量被实时加载到引擎中，使得能够通过同一个核来检测、分类和跟踪诸如人、动物、汽车等的多种多样的对象。
1.6实施
spirit包括两个部件：
·硬件ip核，其执行主要图像分析功能，表示半导体芯片上的专用处理区域。
·在同一芯片上执行的嵌入式固件库，其在armm4类的处理器或同等处理器上运行。
由于spirit能够独特地处理像素流而无需任何常规的视频处理子系统，因此其实现如智能摄像头中所示的两类设备，其中视频在其被捕获和编码的同时进行虚拟化和提取；和智能传感器，其不包含视频子系统，而是从相同的传感器创建相同的数据。这在图6中示出。
在图7中，示出了标准视频摄像头、art智能传感器和art智能摄像头的框图。标准视频摄像头的框图可以包括处理图像传感器的输出的标准isp(图像信号处理)块和编码器。相比之下，art智能传感器可以包括spirit引擎块，而不需要isp块和编码器。art智能摄像头可以包括spirit引擎块以及后处理块和编码器。
1.7情境中的spirit
spirit使用了世界上最大的技术公司正试图部署在超级计算机上的相同类型的对象辨识和深度学习算法，但是将它们完全实施在连接的设备内部的一小块硅中，而不会受损。这是可能的，原因仅在于spirit的高度优化的基于硬件的设计，其实现了100％的芯片资源利用率。结果是性能的数量级高于当今最好的替代物，并且功率的数量级更低。
spirit改变智能系统的远景。取代需要将视频数据从设备传送到云，并以巨大的计算资源进行处理，由于网络流量、存储和计算成本以及隐私等所有相关联的问题，智能网络现在只需要传输、存储并处理虚拟化和提取的元数据，所述元数据已提供了场景中所有感兴趣对象的基线描述。
2.alive
alive是嵌入在智能手机和其他设备中的智能眼，其允许进行视频捕获、搜索和发布。alive自动逐帧记住视频的分量，同时能够忽略不重要的信息或数据。
2.1综述
alive是用于传递新的用户视频体验的平台和服务。图8中示出了alive平台的示例。它由以下各个中的一个或多个组成：
·智能手机或另一种设备(举例来说，诸如平板计算机或计算机)内部的soc中的spirit引擎。
·服务器内部的fpga中的spirit引擎，其可以连接到商业内容分发器或智能手机或另一种设备。
·智能手机或另一种设备(举例来说，诸如平板计算机或计算机)上的alive软件应用。
·服务器中的alive软件
alive实现以设备为中心和以服务为中心的商业模型：
·对于以设备为中心的模型，优点在于以更低的带宽传递更好的视频，
·对于以服务为中心的模型，优点在于经由可搜索性以及可能的新型视频分享方式使视频更有用。
关键特征的示例是单独地或组合地：
·在捕获时间实时地对视频编索引。
·自动捕获最好的镜头。
·焦点跟踪。
·优化的编码。
图9示出了alive的不同元件，其组合将静态图像和视频转变为元数据的最先进技术的基于硬件的对象分类和跟踪(a)与由基于服务器的sdk组成执行行为分析的微云(b)。
2.2‘重影’技术
图10示出了‘重影’的示例，“重影”是所采用的一种独特技术。所述系统不需要捕获或创建照片或视频，因为其将视频馈送自动地‘重影’成元数据，从而实现更轻量级的云。元数据仅保留视频剪辑中人的位置和移动，包括他们的手势、姿势和面对位置，并且还可以包括举例来说诸如面部辨识和识别符等其他信息。
技术依赖于元数据这个事实具有许多隐私含义。例如，可以基于如由用户设置的数字指纹(对于“面部辨识”)来确定个人的身份。不需要视频或静态图像，因为spirit传感器不捕获或创建视频，而是只是从场景创建元数据。
由于其也是基于spirit技术，所以alive引擎执行大量的数据压缩，因为更多的内容保留在设备上；其消除了对大量视频文件事务的需求，并降低了视频下载、视频搜索和在线编辑的成本。
alive可以提取各种元数据来进行场景解释。示例示于图11和图12中。
图11示出了视频的屏幕捕获，其中参数以高达4k60fps的速度实时逐帧提取。在这个场景中，可以提取诸如个人id、个人位置和诸如服装信息等特性的各种信息。还可以实时提取有关诸如草、叶子和天空的存在的场景的信息，并且可以直接在图像上将所述信息显示为注释。
图12示出了在非约束环境中的视频的另一个屏幕捕获，其中参数也被实时逐帧提取。任何数量的人都可以连同姿势和轨迹被准确跟踪。引擎可能能够提取人们用于面部辨识的最佳缩略图。手势也被实时检测和跟踪。
2.3alive生态系统
alive生态系统可能分为以下几类：
·手机应用/个人应用：对于个人实时视频内容编索引的嵌入式视频索引搜索功能、搜索和编辑功能。
·硬件加速：apicalacorns：作为许可的系统级芯片解决方案可用于手机，或作为数据中心电器可用于在线加速视频编索引。
·云视频应用：商业应用：使用新型视频文件分发系统操作的服务器，所述视频文件分发系统持续预期视频索引搜索请求。
alive可能提供以下功能：
·导向器：基于跟踪特定的人自动制作视频；捕获“最佳镜头”静态图像。
·编辑器：基于特定的人编辑视频，基于分析人的姿势删除不需要的部分，并将来自不同来源的视频拼接在一起，以创建蒙太奇。
·索引器：将元数据添加到描述谁在场和何时在场的视频文件。
·我的过滤器：当观看共享视频时，只显示具有感兴趣的人的视频或视频的部分。
·编码：spirit可以通过在源或转码阶段启用roi编码来产生减少的存储/带宽。
示例使用情况：
1.我在spirit启用的手机上拍摄视频。在捕获期间，(i)我的视频被自动地以所选的“导向器”风格制作，(ii)从视频中捕获一组最佳剧照，(iii)附上了启用编索引的元数据。全部上传到alive服务器。
2.我的朋友在非spirit手机上拍摄视频。(i)-(iii)在由spiritfpga上传到alive服务器时完成。
3.某些第三方内容(例如，足球比赛)通过spiritfpga流式传输，以创建编索引元数据。
4.索引器允许我对我的视频数据库搜索我关心的人，并直接走到他们出现的地方。
导向器可以对我的视频进行后期处理，以改善它们的外观。编辑器从我的朋友(基于地点和时间)查找类似的视频，并在其中找到感兴趣的人。然后，它通过寻找个人的特定姿势(例如，注视摄像头)而自动将多个视频剪切在一起来创建单个蒙太奇，然后在朋友之间共享。当我访问视频数据库‘我的过滤器’时，只向我显示我想看到的人的视频。朋友可以访问相同的内容，但是是使用他们自己的过滤器。
智能手机和互联网之间构建了一款新颖的混合微云应用。由于在捕获视频时对视频进行实时编索引，所以alive消除了解析大量视频找到过去的某人或某事的需要。所述解决方案可在消费者的设备上使用，嵌入式软件与微云应用组合。alive还带来了其中图像与人的互联网融合的许多社会方面。
云应用单独或组合地实现以下特征：
·视频内容被逐帧地实时拥有、捕获、标记和索引。
·视频可以由人员、姓名和活动编索引。
·视频内容被实时发布。
·不必要的场景的数字历史可以被擦除(谨慎地和实时地)。
·原子级别的控制，在帧内具有独特的数字签名。
·搜索一个或多个设备(例如，手机或平板计算机)上的视频。
·搜索具有非常特定的人、姿势和事物的视频或剪辑(例如，我想要能够轻松地找到我的家人的视频，并直接跳到最好的部分)。
·搜索个性化的过滤器，举例来说，诸如“我的亲人”。
·可行的真实视频混合。
·电影、游戏和动画创新者将客户逐帧引入到内容应用中。
·将我的生活世界与虚拟的世界混合，例如“我在莱德杯成为麦克罗伊或米克尔森”。
·搜索“朋友”的视频。
·搜索内容存档。
·新颖的货币化和广告机会。
alive逆转了为满足对哑视频(例如，脸书)的指数需求而构建过多的数据中心成本高昂的周期。
除了搜索个人内容，还可以搜索在线内容。内容制作人员能够捕获和标记视频，以便实时制作其档案。当视频被实时记录时，alive通过对视频编索引准备进行搜索，并且当视频被制作时构建元数据。
举例来说，可以从源视频流实时分析视频，并且可以通过apicalacorn-1000计算机创建元数据。元数据也可以直接从视频档案构建。
3.art
智能家居的传统观念(所有有名玩家目前的产品策略都以此为基础)在中心有一个很大的洞：人。
智能家居辩论的重点是机器对机器通信的竞争标准，以及搜索用于将设备连接到网络的目的。大部分辩论忽视了人成为系统的一部分的需求。
需要将人放在系统的中心。此外，除非系统可以以非常高的准确性和可预测性对人作出响应，否则行业的技术推动会遭受客户拒绝的风险。
从简单的运动检测器到先进的语音辨识系统的常规技术完全不适合这个问题。它们既不够准确又不是可预测的，也不提供任何东西，甚至接近解释人的行为和意图以提供实用的智能设备响应所需的丰富数据。
智能家居的集中需求是一种提取关于人的行为和意图的丰富信息并以一致的情景化和可预测的方式将这个信息传递到连接的设备的系统。
3.1综述
确切地，智能家居必须使人位于家庭的中心并处于家庭的控制之下。未来的智能家居系统必须是功能丰富的、准确的并能够解释人的行为和意图。隐私控制必须根深蒂固，并且不应形成任何图像。考虑到这些目标，art被设计成满足这些需求。这是未来智能家居的新愿景。
·art是基于spirit技术的智能家居的革命性架构。
·art使用先进的传感器来创建人自己的数字化身，智能家居网络中的设备对所述数字化身作出响应。
·art统一各种智能设备并使它们能够为每个人的需求提供无缝、准确和可预测的响应。
art是智能家居的新颖架构。art不仅提供了描述智能家居内人的行为的平台和协议，而且它提供了一个统一的方案，使各种设备能够向用户提供一致、准确和可预测的体验，并在用户在家中四处移动和与不同的智能设备交互时提供向用户表示数字世界的依据。art可以集成家用电器传感器，所述传感器与单一或多供应商解决方案进行交互操作。
图13示出了具有art平台的示例的图。art包括以下部件：
·art设备固件，其构建环境内每个人的数字表示，包括4个关键描述符：行为、姿势、手势和身份。
·art集线器固件，其将个人art局部表示情境化，以在每个人移动通过多个位置中的多个传感器的环境时构建每个人的全局表示。
·art服务器软件，其实施深度学习技术，使特定的art安装能够适应特定的环境和用户活动。
·apical的spirit引擎，其是一种嵌入在传感器或智能家用电器中的芯片级技术，生成人员建模所基于的主要实时数据。
这些部件一起实现从单个设备到由art传感器网络支持的完全集成的智能家居的整体智能家居路线图，其中每个单个设备能够衡量用户的意图并对其作出响应，art传感器网络持续监控其内您的日常生活模式并驱动您的环境对您的个人需求的响应。
art是用于集成在智能家居和云解决方案中的完全可销售架构解决方案。art支持本地家庭解决方案和云服务递送模型，具有丰富的数据分析功能来丰富客户服务递送体验。
如图14所示，人的虚拟化数字表示(vdr，＝bna)包括：
·轨迹
·姿势
·手势
·身份
通过分组和跟踪spirit引擎输出的元数据，在集线器上创建vdr。出于隐私的原因，可以基于用户设置的数字指纹(用于“人脸辨识”)来确定个人身份。不需要视频或静态图像，因为spirit传感器不捕获或创建视频，而是只是从场景创建元数据。
图15示出了art家庭环境的示例，其包括一个或多个artspirit启用的传感器。art使用一个或多个art传感器来创建每个人的数字表示。art然后使用此数字表示来分析轨迹、姿势、手势和身份，并提供智能家居设备可以响应并预测人的意图和需求的平台。
图16示出了使用spirit，也可以为以用户为中心的智能家居启用新的系统化身。art可以有效地创建家庭个人的视觉dna，并在设备和智能家居网络可以响应的家中创建工作化身。
3.2art如何工作？
使用来自原始传感器馈送的虚拟化数据spirit提取，art在家中构建每个人的虚拟化数字表示。此表示包括每个人的：
·家中的轨迹，包括例如站和坐的动作。
·姿势，例如人所面向的方向，以及(单独地)他们正在观看的方向。
·手势，例如，人的手所作的动作。
·身份，即区分人的能力和分配独特身份(姓名)给每个人。
为什么是这4个描述符？因为可以根据这4个描述符来描述任何相关的行为。例如，
·轨迹+姿势＝意图
智能家居理解：我的智能设备应该在我接近并注视它的时候醒来。
·手势+姿势＝焦点
智能家居理解：如果我也在注视它，那么智能灯开关应该对手势作出响应。
·身份+手势＝控制
智能家居理解：我想打开/关闭烟雾报警器，但是我不想让我的孩子这样做。
·轨迹＝流量/占用率
智能家居理解：家居能够知道星期几什么时候我下楼。
·轨迹+身份+(姿势)＝行为
智能家居理解：我的孩子花了太多时间坐在电视机前面(看电视)吗？
·异常轨迹+时间＝护理
智能家居理解：非特征性行为。
图17示出了art的设备api，通过api此表示可连续地用于任何连接的设备，诸如本地电器。这些实时api递送被称为art协议的人的标准化描述，不同的设备可以以统一和一致的方式对其作出响应。
可预测的准确性已经反复强调：没有它，稳定的和具响应性的智能家居将永远是不可能的，并且在相关市场上引入诸如语音辨识和手势检测等技术所遇到的问题将被放大到它们变成打断性故障的程度。art的构造在每个阶段以可预测准确性从原始数据分析向上构建，使apical能够单独验证特定电器的性能，并作为连接系统的部件。
图18示出了表示准确性和可预测性的系统性方法的图，所述方法被部署以便实时处理人的行为。art传感器或摄像头既并入了spirit硅芯片和art嵌入式固件，并且本质上又将来自图像传感器的原始数据转换为个人描述符，诸如轨迹、姿势、手势和身份。在更高层次上，art控制软件嵌入到art控制器中，其中个人描述符被进一步管理。总而言之，所有的传感器元数据被馈送到art控制器上，其中art控制器变成家庭的“art中心”。art固件使用专有协议来创建art事件。然后使用本地网络创建art事件，并且art固件能够定位多个设备选项。
art可以使用如在智能手机和家庭监控摄像头中所发现的常规的低成本图像传感器。art设备还可以保证不从系统中提取图像或视频，因为它们不会被生成。
art事件是在本地创建的。art控制功能的一个优点是，其在现有的家庭集线器(诸如安全面板、传感器、智能电视、wifi路由器、hem系统、游戏平台或灯泡等)中可以是看不到的。
art中心控制器将art事件推送到家庭的智能设备网络作为特定命令。art事件流可以被进一步发送到云分析应用，诸如基于云的数据监控、数据收集或学习服务。这在图19中示出。
原始传感器数据可以被处理并持续流式传输到apical集线器软件。art集线器软件在本地处理数据，并将心跳推向云。心跳可以包含多种服务，诸如“存在”、“辨识”、“移动”、“手势”和“心情”。心跳可以实时发送到特定的设备或设备控制器。可以将art心跳推送到本地智能设备网络作为特定命令。art然后能够控制或验证家庭网络上特定设备或电器的性能。这使得能够对智能设备进行以人为中心的控制。
3.3为什么是art？
art能够注射以下增强的智能：
·art总是知道你是谁。
·art在你到达时上电并且在你离开时断电。
·art直观地学习调整所有你喜欢的东西。
·art解决您发送给我的所有虚假警报。
智能设备必须了解某人是否在关注它，该人是否被授权与之进行交互，手势是否对应于该人，以及它是否以某种方式作出回应，使该人感到愉悦或激怒该人。包括智能家居的一组连接的设备必须能够监控、情境化并预测人们在家中移动时的行为。并且他们这样做时必须保证隐私，这意味着不生成任何图像，并且用户控制所收集的数据。
art传感器也可以被编程为辨识特定的人的手势而不是别人的手势。art持续分析房间里的每个人，并且将他们的行为解释为事件。art理解各种各样的行为，从计数房间中的人数，和通过所识别的个人根据具体手势确定他们从哪里开始移动/移动到哪里。传感器还可以跟踪人对传感器的响应方式，举例来说，诸如人是舒适还是不舒适。
然而，art不仅仅是为了方便连接的家庭。它为智能家居提供了新的视野。这不是关于聪明的设备寻找问题以解决。这是关于为您，位于其中心的所有人，提供一个可以了解您、回应您的需求并丰富您的日常生活体验的忠实伴侣。
spirit使用直接来自图像传感器的原始数据将其与依赖于视频的后处理的常规技术区分开来。这具有一些好处。第一，使用原始数据实现最高程度的准确性和可预测性。第二，系统成本和功耗大大降低，因为不需要生成、压缩和处理实际的视频。第三，因为没有创建视频，所以第三方不可能从个人的私人环境中提取图像。
3.4隐私
正如视觉是我们的主要意义，视频包含目前可用于分析人的行为的最丰富的数据。然而，视频中包含的数据的级别或粒度显然是不可调整的：它携带太多的信息。
例如，您可能会很乐意在前门上方安装视频摄像头，但是您可能不会在卧室或浴室中安装摄像头。关于谁可以访问您最亲密的数据的一般隐私问题此处非常适用，并且最近的事件(诸如黑小型摄像头)突显问题。用户知道，软件控制和加密本身就是脆弱的，特别是如果需要手动设置和维护：许多人在家庭wifi路由器上没有安防，不是因为他们不知道安防，而是因为设置并非总是可靠的。art在这个领域中的确有一件重要的事情：它使得能够使用视觉信息创建智能传感器，但至关重要的是在硬件层面上从不形成图像或视频。明确地，任何第三方都不可能从此类设备访问图像。当然，关于art提取的丰富行为信息如何影响隐私仍然存在一个重要的辩论。这是一个复杂度与web隐私相当的话题。
然而，由于art提供了高度结构化的行为层次描述，所以其提供了一个非常好的平台，其上构建用户完全控制其数据的系统。首先，因为所有数据可以在家庭网络内进行本地管理。其次，由于数据的粒度可以根据应用情况容易地进行适当的选择，从最简单的“家中有人”到更丰富的“迈克尔在客厅里以及正与照明系统交互”。
由于art还使用了spirit中使用的技术，所以也可以采用‘重影’技术(如图10所示)。因此，art使房主能够完全控制功能和隐私。在硬件层面上，spirit并没有创造出任何图像。spirit，如果由房主启用，那么选择面部特征测量。然后通过将数据与本地保持的一组面部测量进行比较来进行artid。
尽管art能够辨识个人这个事实，但是art也能够保证隐私，因为至少以下几点：
·art生态系统不创建任何种类的任何图像；art系统内不使用任何视频。
·art生成有关个人的丰富的数据，并且如果用户启用art，那么生成他们的身份。然而，关键点是，与视频摄像头不同，用户能够控制捕获多少数据。例如，无论个人身份是否被捕获，检测的粒度(“房间里有人”、“有人正走向厨房”、“迈克尔走向厨房”)
○一个很好的类比是iphone的指纹传感器。您不需要使用touchid来解锁iphone，并且如果您这样做，那么其不存储/传输指纹到云中。
○实际上，art为房主提供了具有“自加密隐私”的控制解决方案。
3.5art传感器位置
在家庭或办公环境内部存在大量可能的位置来放置智能art传感器。重要的是将传感器放置在最方便的可能的地方，使得传感器易于安装，并使得传感器提供最佳的可能的准确性。
可以并入传感器的位置的示例是例如在灯泡或灯开关上或与灯泡或灯开关相关。
灯开关可以存在非常方便的位置，其中可以并入spirit传感器，主要是由于以下原因：
·电源已经可用了，
·对于性能和准确性来说位置是理想的。
图20示出了并入以下元件的灯开关的图：
·透镜和传感器组件(1)，
·芯片(2)，其能够从传感器数据检测对象，其中所述芯片输出描述人、其位置、轨迹、身份和姿势的数据流，
·数据递送构件(3)，诸如无线传输器，其可以集成到芯片中，
·一个或多个irled(4)，
·照明控件(5)，
·以及指示器led(6)，其在检测芯片可操作和不可操作时显示不同的颜色(隐私指示器)。
另外，灯开关还可以并入物理快门以便覆盖部分或整个art传感器。这可能是为了隐私的原因而实施为附加安防，视频不被记录或分析。
特定地说，家庭自动化系统并入以下内容：
·如上所述连接到本地网络的一个或多个灯开关，
·驻留在连接到本地网络的另一设备上的软件应用，其能够解析来自一个或多个传感器的数据并生成关于环境中的人的信息，
·软件应用，其驻留在云上实现了这一点，
·其中信息由基于数据的时间序列事件组成，诸如“人进入房间”。
传感器可以是图像传感器，诸如常规拜耳cmos图像传感器。透镜可以优选地是广角的(高达180度)。照明控件可以是例如物理开关、变阻器、电容传感器等。irled在黑暗中提供场景照明。
3.6配置
art平台将房主置于中心位置，并控制他的智能家居。art家庭设置可以由整个家庭中的传感器网络组成，其中简单的传感器和id传感器[人辨识传感器]组合。art集线器也将并入在第三方集线器中，所述第三方集线器能够与云(根据情况)和其他智能设备进行通信。
设置程序：设置art系统可以由使用art应用的三个步骤组成-所有这些都在计算机、智能手机或智能平板计算机上进行。art应用设置为通过简单的设置程序指导房主，如下：
a)配置房主的家
房主将需要将art应用下载到例如智能手机或平板计算机上，他们将被提示遵循以下程序：
1)将传感器与智能手机配对，
2)art应用将指示业主走到有问题的房间的每个角落，以及相关的门、窗和其他感兴趣区域，
3)一旦一个房间已被配置，art应用则将提示房主移动到要配置的下一房间，
4)相邻配置的房间被连接(再次通过来自art应用的提示)，
5)安装智能门铃，并遵循art应用对进入和退出点的提示。
然后，将提示房主提供他或她的姓名和姓氏以及房屋名称。接下来，需要选择‘谁住在这里’按钮，具有拍摄完整的前面图像并输入图像的名称的选项。在art应用上选择‘谁住在这里’按钮，并拍摄完整的前面图片，并且然后命名图像。
b)使用art连接和配置智能设备
art系统与目前市场上的许多智能家居设备兼容，并且art可用于控制和管理完整的智能家居，将房主置于家庭中心并处于全面控制之下。
在art应用内，选择‘配置兼容设备’，art应用将列出兼容的设备。
以下步骤可以在art应用中配置设备：
1)从列表中选择设备，
2)选择设备所需的art控制的性质，
3)art应用将确认配置已成功。
可以配置到art应用的设备的示例包括但不限于：
·智能照明系统(个别灯)。
·hems。
·提醒。
·厨房电器。
·危险区域。
·车库门。
·智能门铃/入口门。
·婴儿/老人报警器。
·安防摄像头。
·宠物监控产品。
·av/媒体。
c)将您的art系统从配置切换到上线
一旦设备已被配置，最后一步则是在art应用上选择‘上线’。art系统现在将在线。
3.7传感器融合
为了提供一组甚至更丰富的信息，还可以使用由多个传感器提供的信息。
art传感器可以单独配置用于例如房间居住和光效率数据。它还可以与温度传感器结合配置，以便执行各种功能，诸如房间/家庭热评级、加热效率或对室间加热控制的手动引导。此外，它也可能与智能trv或与电源室的使用集成。
举另一个例子，也可以使用可穿戴设备并将其与视频相关联。
给出一个小示例：
·人进入房间，佩戴智能手表；
·面部传感器，作手势(例如，波)；
·spirit将智能手表检测到的运动与图像数据相关联和“配对”人(即，我们给予他们的id)。
所开发的方法相当于“配对”(根据wifi和蓝牙)，但在来自spirit的场景的背景下。这可能是所有尝试将视觉数据(和基于spirit的传感器)与其他类型融合的系统的重要部分。
重新配对可能会在连接断开时进行。也可以使用其他类别的设备，例如，驶过的汽车可以在图像数据与其自身的运动数据之间被识别。
art还可以与语音控制融合，以便增强语音致动控制系统的用户体验。
给出了使用现有亚马逊回声设备增强用户体验的示例：
·发光表示回声是‘清醒的’：
·只听人的意图，
·避免需要说“ok，alexa”。
·人脸辨识：
·alexa能够解决个人，
·自动登录到人的亚马逊帐户，
·定制升级销售优惠，
·个性化-回声可以播放你的播放列表。
·控制：
·回声忽略儿童的请求。
·手势
·控制回声音量或打开/关闭回声。
本质上，art提供桌面上的鼠标焦点的感测下的“焦点”，而像siri这样的语音辨识则提供同等的文本输入。这解决了区分语音并弄清楚一个口语单词是否指向设备的问题。
3.8artcctv安防
当前可用的ip摄像头与如图21所示的可扩展的家用cctv主张不兼容。因此，目前的cctv选项必须牺牲次优级别的分辨率和帧率，如图22所示。这部分是由于标准cctv系统的上传带宽限制。
art提出了一种独特的解决方案来使智能安全cctv摄像头具有显著的好处。art提供以下优点，使cctv安防能够进入云产品：
·art降低带宽负载要求。因此，云cctv存储变成现实。
·art实现自动裁切和缩放。
·art启用id和缩略图捕获。
·art实现汽车模型和牌照号码捕获。
art启用的cctv系统实现如表1所列的重要的消费者功能，从而引起快速产品采用。
表1.传统的cctv系统与artcctv系统之间的功能比较
图23示出了启用art安全系统的不同步骤的示例。首先，artcctv解决方案动态地保持每帧内选择性区域(或感兴趣区域)的分辨率。art然后基于内容动态调整有效的帧率，并基于用户控制管理流传输级别。然后将输出流馈送到art动态控制中以进行进一步优化，并且可在云中进行分析。
因此，可以完全去除图22中先前示出的上传带宽限制。
除了artcctv解决方案，art还可以为如表2所列的各种产品提供服务。
表2.art可以提供的服务和产品的清单。
在家庭内，应用的范围可以为从家庭安全、hems到护理和控制。并且art安全cctv可以进一步带来消除误报的优势，提供可行的流式传输速度，并推进功能，并且最终改变消费者体验。art启用的cctv系统实现重要的消费者功能，从而引起快速采用。
将消费者置于其连接环境中心的市场主导主张现在是可行的：
智能安防：
·实时数据，
·识别和通知，
·丰富的功能(id和牌照号码捕获)。
现有服务增强：
·智能hems，
·护理家庭提醒服务，
·视频功能-动态编码，
·第三方合伙模式。
使公司受益的第三方ott服务(服务提供商客户许可)，来自art传感器网络的事件数据流，例如：
·智能恒温器(例如，nest)，
·音乐流(例如，sonos)，
·谷歌，
·hue，
·xbox。
3.9art智能应用
ip安防摄像头的第一个客户问题仍然是错误的警报。举例来说，来自美国主要服务提供商的单一ip安防ui摄像头主张的虚假警报消息导致在3小时内检测到超过120个虚假警报，相当于24小时内超过1,000个虚假警报。
开发art智能应用以最小化虚假警报的数量。art智能传感器通过将‘人’置于家庭中心来改变消费者的体验，并且智能手机应用只是一种通信工具。
图24示出了art智能应用的屏幕截图的示例，其中仪表板让个人在他们不在时看到家庭环境内正在发生什么。可以使用多种功能，举例来说，诸如但不限于：
·监控器：通过观察不同的类别组看到现在家里在发生什么以及最近发生了什么。
·控制：从任何地方轻松控制您家中的灯、锁、电子设备、电器和其他连接设备。
·自定义：当您的需求变化时，将连接的设备设置为以新的方式工作。
通过art应用可用的特征包括：
1.身份
·手机应用(pa)使用前置摄像头捕获面部作为面部辨识(fr)的目标，
·pa告诉用户注视摄像头，并按下按钮来捕获面部，
·在设置期间，用户注视摄像头并作出手势来触发面部捕获。
2.视野
·pa向用户指示用户在房间中行走时其在摄像头的视野(fov)内的大致位置。
3.取向
·通过(a)加速度计或(b)检测到的人的相对取向(通常在90度旋转内)来建立摄像头的取向。
4.多摄像头校准
·建立同一人的不同视野之间的空间关系，
·人可以站在两台摄像头的fov内，按下pa上的按钮，指示系统在两个fov内定位同一人。
5.大致3d重构
·可以使用边缘检测来检测墙边缘/角落，并建立大致立方体的房间？
·然后与对象大小结合，执行大致3d重构？
3.10与传感器的自然交互
本发明的另一个重要方面是知道何时事物不被理解的能力。这可以通过与传感器交互的自然方式来实施。
例如，不需要走向art传感器来激活它，而是当被授权的人进入房间并且快速地瞥向传感器以便激活和访问art传感器时，可以自动地完成对art传感器的激活。这可以通过在人进入房间后就自动并实时跟踪来实施。从实时跟踪中，计算或估计面部的位置。可以从摄像头位置估计实际距离，实际距离可以然后用于得知面部的位置和人的位置。当面部出现在需要激活的传感器的范围内时，面部辨识引擎被激活。这可以使用一个或多个传感器来完成。
传感器也可以通过与授权人员的无缝交互来取消激活。api提供每个人在环境中的描述符。除此之外，它提供了预测能力，而不仅仅是重新格式化逐帧数据。
与传感器和传感器的接口的交互足够简单以供房主使用，无需进行必要的校准。
3.11软件架构
图25示出了art3层软件架构的图。支持art系统的软件架构将多个传感器的部署紧密建模在智能家居中的3层中：
·边缘层，其在传感器本身处处理原始传感器数据，并且是系统的核心引擎。边缘层创建并管理所有服务，处理外部接口并包括云应用。
·聚合层，其通过在时间和空间(包括多个传感器)域中聚合和处理数据来提供高级分析。聚合层收集多传感器数据，传递一类的服务交换，并管理边缘。
·服务层，其处理与智能家居控制器和终端客户的所有连接，以配置其家庭系统，并收集和分析所生成的数据。服务层收集单传感器数据，产生传感器元数据并控制设备的操作模式。
边缘层
边缘层由位于传感器智能家居网络边缘(就在传感器本身处)的嵌入式软件层组成。它也包含spirit。如前所述，spirit是一流的技术，其将来自场景的视频或原始传感器数据直接虚拟化为其所有重要特征的数字表示。然后将此虚拟化数据提取为对场景的数字理解。
例如，基于spirit的系统可以基于姿势、移动和身份实时监控场景内所有人的行为，分辨率高达4k。spirit包括具有嵌入式固件的专用硅ip块。
边缘层的其余部分执行必要的管理和控制功能，允许系统提供商监控系统的故障或改变传感器中的数据处理的行为。所有这些都是实时发生的，并且输出是一组被传入聚合层中的传感器元数据。
聚合层
聚合层获得由边缘层产生的元数据并对其作进一步分析，通常将多个源的数据组合在一起以依据时间创建事件。
此层甚至更复杂，因为其还可以解释用于创建事件的一组规则，即已经通过系统的用户的一套应用注入到系统中的规则。
最后，此层准备事件作为服务来递送，其包括在将事件数据传递到服务层之前调度驱动多类服务事件交换的算法。
服务层
服务层允许系统与外界交互。在这种情况下，外界可能是家庭或娱乐系统内的能量控制器。它也可以是家庭安全系统或消防和安全系统。这些实时控制系统订阅由服务层打包、递送和监控的事件服务。
最终用户或房主也可以使用服务层内的应用来输入有关其家庭设置的数据和参数。他们可以使用应用来为系统提供例如其环境的个人模型，或者为传感器数据与家庭中的其他系统的组合指定行为和规则。还有一些应用帮助房主建立系统，并使其走过所涉及的各个步骤，提示他们根据需要输入数据。
最后，服务层还包含可以从家庭“传递”数据并将其存储在云中的数据分析工具。从那里，它可以远程地通过一组web服务应用编程接口(api)进行分析。
3.12灵活的架构多个部署选项
重要的是，art架构足够灵活，以部署在各种物理分布式平台中。例如，并不是每个家庭都将具有将其连接到互联网的相同设备和网关。当然，每个家庭都将具有不同配置的传感器和可控的系统。
因此，架构被设计成使得模块化和内部接口设计允许发生各种分布。特定地说，如下文单独描述，在平台上分布软件有三个主要选项。
选项1：集线器设备和云
第一个选项示于图26中，并且其示出了整个系统的大部件如何自包含于单个apical集线器设备中。这在以下情况下尤其有用，传感器或摄像头已经安装，并且用户只想要使这些摄像头以更智能的方式工作，并馈送到下一代智能家居控制器中。
使用此选项，所有3层架构都包含在apical集线器设备内，服务层的一部分仍然保留在云中。请注意，在服务层中的内部接口被定义为web服务接口时，其如何轻松地准备软件以部署在此场景中，从而以“微服务”架构方法的模式有效地将内部软件模块互连。
选项2：传感器、家庭网关和云
第二选项示于图27中。此处，apicalspirit部件现在在asic(专用集成电路)内物理地嵌入传感器/摄像头设备本身中。硅设备包含边缘层功能，并在传感器本身处实时地将传感器数据处理成元数据。
边缘层的第二个部件然后位于家庭网关设备中。此设备可能属于第三方，诸如娱乐公司或能量公司。此部件将通过伙伴关系和共同开发部署，由此art软件驻留在运行设备的现有软件系统内的小型服务器的虚拟机上。
边缘层的网关或集线器部件用于集中架构的一些管理部件，而不是将它们复制到所有传感器自身上。它聚合故障和管理数据，并在将其推送到聚合层之前进行一些分析。
聚合层完全位于家庭网关设备中，从边缘层获取元数据，并分析和合成可以用作提供的各种服务的一部分的事件。还有一部分服务层驻留在该设备中，使得事件可以直接发送到家庭内的智能家居控制器，而不是通过互联网连接。
最终的服务层块类似于上述选项1所述，并且驻留在云中。请注意，原始传感器数据和元数据可以可选地“传递通过”聚合层并进入云服务层中进行存储和非实时分析和使用。此功能为最终用户和合作伙伴提供了验证和审核服务数据的手段，或简单地将数据记录在安全位置中。
选项3：仅传感器和云
可能存在一些情况，合作伙伴没有可本地使用的家庭网关或集线器设备来托管apical软件。在这种情况下，整个3层架构可以如选项3所示驻留在云中，如图28所示。请注意，传感器中仍然存在某个嵌入式硅和固件，所述固件充当边缘层的主要部分，但是边缘层管理和控制功能现在处于云中。
在这个场景下，第三方控制器的操作将取决于互联网连接使其成功运行并从服务层接收任何推送的服务事件。
在提供3个选项的情况下，大多数部署场景都被覆盖，并且软件架构具有内置的机构来扩展和覆盖各种市场使用情况。这种架构方法还使多个合作伙伴能够利用由apical集中设计、开发和支持的核心块的传感器ipr。例如，能量、安防、安全和娱乐提供商都可以利用类似的服务事件，并且从而在智能家居行业的预期使用寿命期间分摊支持该技术基础的成本，其在其第一代产品应该延续10年以上。
3.13art详细的软件架构
正交的3平面设计
架构的内部结构主要设计为模块化的，并且特定地说，与数据平面、控制平面和管理平面正交地分离。这些平面切穿3层架构，如图29所示。它们有效地表示每层中具有相似类型的功能的分组，使得可以支持每个平面的独立开发路线图。然而，架构的这个方面的主要原因是鲁棒性。
数据平面是接收原始传感器数据、将其处理成元数据并产生服务事件数据以推出到各种控制器的功能集合。控制平面表示一种实时参数化系统性能的手段，例如，调适请求的元数据类型或系统的性能。
如果第三方控制系统需要事件生产的高度鲁棒性，那么如果在控制平面上出现了问题，那么不应影响或降低数据平面的性能。这正是正交性的含义：尝试完全独立地操作以确保如果一个部件不管由于什么原因而降级，系统不会出现硬故障。
管理平面正在记录和分析系统内的性能监控点、故障检测和错误屏蔽和报告。它还负责记录和持续管理数据用于支持、审计和计费功能。它被设计为对其他2个平面进行独立操作，使得如果管理功能出现问题，则取决于数据的控制器仍然会接收到该数据而无硬系统故障。
跨多个硬件平台的可靠性和鲁棒性是一项具有挑战性的任务，特别是在涉及多个供应商时。已经作出这些架构选择来具体降低在智能家居中馈送重要安防、消防、安全和健康关键功能方面的硬故障风险。
具有明确定义的接口的模块化系统
系统的3层中的每一层被划分为子层。这将整个架构分解成图30所示的部件，其中还示出了三个操作平面上的外部接口和内部接口。部件通过系统中各种层、子层和平面的组合创建。
边缘层具有2个子层：
·边缘管理子层，其中包含该层的控制和管理功能。
·边缘设备子层，其驻留在传感器设备上。
聚合层具有3个子层：
·边缘接收器子层，其与边缘层进行通信并管理该接口及其性能，同时还对接收的元数据进行某种分析。
·分析和合成子层组合并分析关于一个或多个传感器随时间的元数据和环境信息以合成事件，然后将事件向上传递通过系统。
·服务准备子层将从分析和合成子层接收到的事件数据与元数据、服务规则和以客户为中心的环境数据组合，以产生、交换和递送服务事件。
服务层具有2个子层：
·集线器子层是位于家庭本身中的服务层的部分，驻留在由apical或第三方供应的家庭网关或集线器设备上，或已经执行现有功能的设备，诸如路由器、机顶盒或类似设备。
·云子层是服务层的位于通过互联网连接到家庭的数据中心云环境中的部分。
最后，有一系列明确定义的接口互连各种模块，使得每个模块可以使用隐藏于其他模块的方法来实现。这确保了复杂的系统可以具有单个部件开发的路线图，耦合尽可能少以便确保对智能家居行业中的市场条件和新想法的快速响应时间，在智能家居是新兴市场这个事实下尤其重要。
许多这些接口被设计为web服务接口，使得部件不一定必须驻留在相同的物理平台上，只要有标准的ip网络可用来连接它们即可，例如，家庭无线网络或互联网。
详细的架构部件
描述架构的每个层和平面可以包括若干选定的功能。功能的一些关键示例呈现在图31中。
数据平面内的服务层中存在的功能示例为：数据库管理系统(d1)；查询、搜索和检索api(d2)；离线分析应用和大数据工具(d3)；事件服务递送外部控制器(d4)；数据上传(d5)。
数据平面内聚合层中存在的功能的示例为：服务的事件生成(d6)、事件排队和交换(d7)、源融合(d8)、场景分析与合成(d9)、第三方插件api(即，面部辨识)(d20)、元数据预处理(d11)。
在数据平面内的边缘层中存在的功能的示例为：元数据提取和分析(d12)、外部传感器接口(d13)、数据上传(d14)、元数据提取和分析(d15)、数据上传(d16)。
控制平面内服务层中存在的功能示例为：控制和配置api和应用(c1)、控制和配置api(c2)、服务递送和数据上传配置(c3)。
控制平面内的聚合层中存在的功能的示例为：调度器控制(c4)、控制和配置api(c5)。数据处理参数和配置(c6)、环境模型控制参数(c7)、边缘接口配置(c8)、边缘层控制(c9)。
控制平面内的边缘层中存在的功能的示例为：控制和配置api(c10)、数据处理参数和配置(c11)、数据处理参数和配置(c12)。
管理平面内服务层中存在的功能的示例为：管理api和应用(m1)、管理聚合和边缘层(m2)、服务接口监控(m3)。
管理平面内聚合层中存在的功能的示例为：服务准备监控(m4)、管理api(m5)、分析与合成监控(m6)、边缘层管理(m7)、边缘接口监控(m8)。
管理平面内边缘层中存在的功能的示例为：管理api(m9)、更新管理器(m10)、自测和性能监控(m11)。
请注意，此图不表示所涉及的完整功能集，其他功能示例例如但不限于：数据持久性、数据库存储和较低级别的驱动器。
在功能可能潜在地跨越架构的两个或更多个部件的情况下，作出慎重的选择来重构该模块，使得其不再跨越多个部件。如此，可以将架构完整性保持为优于某些数据的复制或较低级别功能或库。
这里呈现图31来说明架构定义向下的下一层。从这个图应当清楚的是，为智能家居构建稳健的、可靠的和多供应商事件服务是相当复杂的并且被制成甚至更复杂，因为物理部署和底层平台可变性的多种可能的选项。然而，有了强大的架构特征和选择，art软件架构是为智能家居行业的长期未来而建立的。
3.14art部署
图32示出了具有经由spirit启用的soc、摄像头cpu和集线器进行的art部署的示例的图。
4.aware
4.1综述
aware是一个将人们的行为转化为大数据的平台。它由以下各者组成：
·摄像头或传感器内部的soc中的spirit引擎，
·和/或路由器或服务器中的fpga中的spirit引擎，
·aware服务器，其包含数据库、业务逻辑和客户端应用的接口。
图33示出了如实施在aware平台中的spirit嵌入式架构的图。aware图像处理硬件块包括配置块、控制器、过滤块和分类器块。过滤块和分类器块两者均向连接到dram和cpu的axi总线订阅，cpu包含aware固件。固件提取并传输元数据到api、网络、文件或数据库。
图34示出了aware云sdk平台的架构图。art设备可以将视频或元数据发送到位于服务器上的元数据数据库或视频数据库。他们还可以直接将元数据发送到执行分析的awaresdk平台(例如，场景、事件或多摄像头分析)。也可以执行搜索检索以及其他高级复杂的或第三方处理。aware云sdk平台还可以与客户应用或web界面进行通信。
本发明的一个重要方面是创建跟踪记录，所述记录是将实时元数据重新格式化为每个对象(每个人)的轨迹的记录；姿势(和可能身份)的记录。跟踪记录存储在任选地与视频数据库相关联的mysql型数据库中。
aware服务器执行以下伪实时功能：
·跟踪记录的数据库的填充，
·跟踪记录的后处理，其用于校正丢失的/交换的对象和多摄像头跟踪，
·向第三方应用提供更高级别的跟踪信息，
·自适应学习。
隐私：视频数据库是任选的。一些应用，如安全应用，需要它；其他的应用，如零售应用，则不需要它。
示例功能：
·计数人，测量人流，
·测量注视时间，
·设置基于事件的警报。
4.2应用
在零售广告中部署aware将使新的商业模式出现，诸如但不限于：
·新客户收入模式。
·实际视图/住宿指标。
·位置、广告系列、日间时间指标。
举例来说，客户与数字标牌的交互可以通过spirit启用的传感器进行分析。可以从传感器和监控器分析图像，例如，如下：
·实时测量客户响应。
·丰富的姿势/注视/注意力信息。
·从窗口到结帐跟踪客户。
·实时测试不同的广告系列。
·响应于注视时间，实时修改广告。
测量注视时间可能不仅仅需要面部检测。它还可能至少需要以下动作：
·跟踪每个人的位置和姿势。
·不断监测他们的头部位置。
·跟踪人们在注视之前和之后的行为。
aware能够评估不同距离处的不同姿势水平，如图35所示。在与摄像头相距短距离的情况下，aware可能检测到头部，而在较远的距离处，其可能能够检测到完整的人物。它还可以检测和测量注视时间以及显示器处的停留时间。
在图36中示出了所提出的摄像头设置和相关联的感兴趣的区域，其中摄像头已被安装在显示器上方。对于这种特定的设置，给出了针对不同姿势的检测区域的可能距离：
·摄像头设置：
–1920x1080分辨率
–90°fov
–安装成距离地面2.5米，在水平下方向下倾斜20°
·检测区域：
–“头部”检测：
·x最大，最小5.5m1.0m
·w最大，最小8.0m1.4m
–“上身”检测：
·x最大，最小9.5m1.0m
·w最大，最小13.5m1.5m
–“全人物检测”
·x最大，最小17.5m1.5m
·w最大，最小24.5m2.5m
检测区域是基于摄像头型号的假定设置和选择。实际结果也将受到摄像头、镜头和照明条件的质量和类型的影响，并且也可能会受到遮挡。
如图37所示，aware的几种实现是可能的，诸如嵌入在ip摄像头(a)、架设设备(b)或pci服务器卡(c)中。
如前面第3.8节所述，安全摄像头的局限性可以用art和aware来克服。
4.3aware分析
今天，少数昂贵的摄像头通常安装在非理想的位置。它们经常提供质量低且不是非常有用的数据。今天的系统也缺乏可扩展性。
aware的一个优点是，其由于提供高质量的数据的智能传感器网络而在零售领域实现范式转变，使得其可以捕获购物者的行为。这主要是因为aware使用方便且不引人注目的低成本传感器这个事实。它们还要求低带宽连接，安装简单，并且是完全可扩展的。
aware还提供对检测到的和跟踪的人的行为的实时分析。一些见解包括例如图38所示：
·通过按每天小时测量注视的人的数目来保持跟踪显示器意识。
·跟踪观察商店展示的通过人群的百分比。
·通过按注视持续时间(人/秒)分析注视频率来测量注视时间变化。
在商店环境内，可以深入分析客户行为，如图39所示。根据位于商店外部的传感器(a)，可以从测量注视时间提取大量信息，诸如：捕获消费者兴趣的窗口展示效率、客流量的平均注视时间、用于捕获消费者兴趣的最佳时间/日子。可以从位于商店消费者通道(b)内部的传感器进行分析，诸如客户通过商店‘入口到出口’的实时路径。因此，店内促销可以实时优化，并且可以分析商店区域的退货。特定地说，可以分析在特定区域(c)中的停留时间。
图40给出了用于智能零售的webgui的示例。人们当天计数，当前的人数与日平均注视时间一起显示。也可以显示平均注视时间的图表以及关于返回查看特定数字显示的总人数的统计。还显示了平均注视时间依据每天时间变化的图和行走经过的人的计数依据每天时间变化的图。
智能传感器通过检测、跟踪和分析消费者行为来实现实时了解消费者行为。然后，这可以实现调整的交互，其中实时呈现增强的服务，并且因此可以开发出高评级的个性化客户体验。
为营销主张提供可持续的个性化产品交互，在数字展厅中推动不容置疑的市场领先地位。可以保持优质服务来提高回报率，推动市场高速增长，并传递高水平的消费者价值和优质服务。
5.基于json的事件生成和事件交换
智能家居、智能建筑物和智能城市摄像头和传感器网络的基于json的事件生成和事件交换的方法和设备。
5.1背景
智能家居行业由销售用于家庭部署的传感器设备和控制器组成，所述控制器用于使用来自这些传感器的数据来控制家庭内的电器或设备。控制器可以是基于软件的，并且驻留在家庭内的设备或集线器设备内部，诸如电缆提供商集线器盒；或者软件可以驻留在通过互联网连接的数据中心中的服务器、基于云的控制器中。
这类智能家居系统的实际集成存在三个主要问题。第一个问题是一个商业问题，即如何定义传感器供应商与控制器供应商以及电器供应商之间的商业界限。当3个供应商类别中的每一个类别具有多于一个供应商时，这就成为一个特别严重的问题。例如，房主在第一年购买了能量监控系统，然后在第二年增加了安全系统。然而，两个系统应该优选地处理房主已经支付的相同的摄像头传感器。为了做到这一点，供应商必须商定可以对各种系统之间的交易进行审计的商业边界，以确保价值被分享，并且对价值的责任是明确的。
在一些情况下，单个供应商将尝试提供所有3类产品：传感器、控制器和电器。然而，同一供应商极不可能提供全部集成的能量、安全、安防和娱乐家庭系统。
加到上述问题的是一些传感器比其他传感器更为根本这个事实。例如，告诉你谁在房间里的传感器对于智能家居的许多不同的控制器和电器是有价值的。这些基本传感器应当只能在家中部署一次，并且房主应当不必为他们需要的每个不同可控制系统购买新的传感器集合。
此专利提出了如何在接口位于由一个供应商供应的一组基本传感器产品和各种系统控制器(诸如全部由不同供应商供应的能量、安全、安防和娱乐系统)之间的情况下如何解决商业接口问题。解决方案是创建系统控制器将订阅的事件订阅服务，并且因此从传感器系统接收事件通知和数据。
行业面临的第二个问题是各个供应商之间的技术接口。虽然标准出现缓慢，但是每个类别中都有大量可用的产品：传感器、控制器和电器。如果行业等待，直到每个供应商都同意每个设备之间的每个接口，那么极不可能实现解决方案。
在上文关于一个供应商销售基本传感器(基于摄像头)和另外四个供应商供应控制系统(能量、安全、安防、娱乐)给出的示例中，可以存在多个传感器，每个传感器与四类系统中的每一类系统进行通话。将需要存在于基于ip包的系统中的通信抖动量将需要在家庭wi-fi网络的带宽能力可能支持这种设置之前对其进行显著升级。
本专利将来自传感器的输出集中到集线器中，但是区分了基于每个服务创建的事件。这允许每个服务从作为单个智能传感器的传感器组接收与其服务相关的不同数据。这解决了技术接口问题，因为在集线器中只有一个基于标准的接口，但是其被设计成足够灵活以表示各种各样的事件类型以涵盖许多不同控制系统的要求。
例如，能量控制系统可能仅对家庭中的房间占用感兴趣，而娱乐系统可能对基于手势的个人居住者控制感兴趣。此专利解决了如何创建单个技术接口以将事件推送到具有显著不同的要求的控制器系统的问题。
房主和智能家居系统之间最常见的用户界面是经由web并且使用移动手机或计算机上的web浏览器。因此，此专利选择使用javascript对象表示法(json)来表示正在创建的事件。这是一种特定于编程语言javascript的基于标准的表示，并且将允许基于浏览器的图形用户界面的快速开发时间，因为事件数据将以所有浏览器的编程语言原生地表示：javascript。
最后，剩下的问题是能够提供与所提供的每个服务相关联的服务质量保证。例如，安全服务可能被认为比娱乐服务更优先。因此，在家庭wi-fi和ip网络上的带宽由于流量过多或发生故障而减少的情况下，重要的是家庭解决方案可以通过一类服务标记来区分被推送到控制系统的事件。此专利通过创建虚拟输出排队事件交换来解决这个最终问题。
虽然上述所有三个问题都是关于在单一家庭中应用解决方案进行说明，但是还有一些应用可以扩展到单一家庭之外。例如，诸如多层办公室或工厂建筑物等大型企业建筑物也可以利用这种解决方案，因为在任一种情况下，都会存在需要并行运行的多个系统，诸如安防、安全、消防安全、能量供应和通风。所描述的解决方案本质上可扩展到比家庭更大规模的建筑物。
除了单一建筑物之外，所描述的解决方案可固有地扩展到多个建筑物，诸如在园区或城市内，只要事件生成器和事件交换机位置被放置在集中的连接点处。此点必须足够靠近所讨论的建筑物，以避免控制系统响应事件的任何延迟问题。
在较大的建筑物案例和城市案例两者中，所述解决方案解决了上述三个问题，同时也解决了两个其他扩展问题。首先，随着使用事件的控制系统的数量增加，所描述的解决方案可以在保持足够的性能水平的同时进行扩展，以确保这些系统在已知的延迟和服务质量边界条件内工作。因此，此解决方案支持以与运行的正常运行时间有关保证放置的任何商业布置。
其次，随着传感器和事件的数量随着部署区域规模的增加而增加，可以通过事件和事件响应的优先级来优化网络利用率。这是因为可以在事件上实际部署多层类别的服务体系，以掩盖较低重要性的事件，并且从而在安全或紧急服务需要响应的那些关键和重要情况下减少竞争的网络资源的带宽使用。
此外，事件生成器可以显著地帮助消除误报，所述误报是传感器网络最初标记为值得注意的重要事件但是是事件生成器可以使用更高级别的知识来辨识为虚假警报的事件。
5.2发明声明
本发明由从各个传感器输入的集合生成事件对象的方法组成，其中每个事件对象还包含订户信息和服务类别。传感器通常散布在家庭周围、建筑物周围或城市周围，并使用ip有线或无线网络连接到事件生成器。所述事件对象以json格式编码，使得它们可以直接在浏览器用户界面(bui)和web服务器上的基于javascript的软件中使用，或者被标准服务器侧编程语言或服务器应用编程接口(api)容易地解译。
本发明还由一种设备组成，其使用虚拟输出排队系统，基于目的地和服务类别排列生成的事件并将其交换到输出通道。
组合的方法和设备一起使控制器能够订阅第三方事件生成系统，以便使其控制器更可靠并具有更大的功能。这转而为终端客户提供对许多区域的更多控制和灵活性：他们如何运行其智能控制系统，他们使用哪些供应商，随着时间的推移改变供应商的能力，并为他们提供其已经购买的传感器的更有效使用。当多个不同的智能系统运行时，它将最终通过重新使用资产和优化能量使用来降低每个系统的成本，这也是供应商的一个好处。
5.3本发明的优点
本发明描述了诸如报警系统的控制系统的供应商和诸如安防摄像头供应商的馈送控制系统的传感器网络的供应商之间的明确定义的接口。所述接口基于传感器网络发布和控制系统可以订阅的一组服务。这种方法的优点是，可以按照现收现付的方式或更传统的年度合同，由合同安排中的双方对服务进行货币化和审计。财务交易可以基于服务订阅，具有完全可追溯的审计跟踪和清晰的计费机制。因此，本发明使得多个供应商之间的商业关系能够以实际方式工作。
本发明的另一个优点是使最终用户能够在特定的部署场景中交换任何供应商。供应商停止其对服务的订阅，并且商业计费系统将立即作出响应，即使物理系统的停运可能还需要一些时间。一旦移除了服务订阅，交换系统将不再对该特定供应商的事件进行排队，从而在特定供应商设备被移除或更换时允许整个系统的平稳降级。
然后，这也为最终用户提供了一个优点，所述最终用户在整个架构的传感器侧或者控制系统侧都不被绑定到任何一个供应商。
本发明的另一个优点是可以出现新服务的速度。新服务可以很容易地添加到排队系统和事件生成系统中，并发布到控制系统以进行利用。这将减少完全自动化的传感器和控制自动化系统的经常是漫长的上市时间问题，在这种情况下，集成工作和计费设置通常可以在完成时占用大量的项目时间。
使用事件交换机来对服务进行排队和区分的方法具有显著的扩展优点，因为随着系统扩展，可以保留服务质量。如果计算平台足够强大，那么交换机中的端口数量可以通过权衡延迟而在不降低吞吐量或服务质量的情况下增加。所述设计也可以在硬件中实施，因为其是通常在大型互联网路由器内使用的封包交换机的变化。
通过使用传感器和控制网络设备的web服务接口，中央事件生成器和交换机可以容纳在通过互联网连接到传感器系统或控制系统的任何位置中。这种方法的优点是可以将事件生成器和交换机部署在内容分发网络上，从而跨多个服务器散布工作。
事件生成器和交换机系统内的内部接口被充分定义以分离内部程序，并用多个服务器之间的内部web服务接口对它们进行部署。这提供了将单个服务器或物理设备扩展到一组架设服务器的优点，其中每个服务器将其工作负载集中在整个系统的一个方面上。
本发明的另一个优点是传感器输出、事件规则生成、事件生成本身、服务发布、计费和订阅以及进入各个系统中的事件优先级排队的分离方面的模块化方法和设计。这是一个优点，因为系统是上述方案中许多不同系统、供应商和最终用户的汇合点，并且当这些部分之一需要改变或升级时，不应该涉及对整个系统的中断，其可能对高度的“正常运行时间”具有实时要求。这在任何中断可能对附近的人造成事故和健康威胁的情况下，对于安防和健康监测系统、应急和消防安全系统以及诸如流量控制等其他应用将是一个特别严格的要求。
使用json作为事件生成和事件排队的核心单元具有优于现有系统的几个优点。通常，在单一供应商的封闭系统中以专有方式实现事件生成，但是通过使用诸如json等标准数据互换格式，它允许多个供应商参与事件生成和使用。虽然xml也可以实现类似的结果，但是xml通常可以在输出数据大小上冗长，并且随着事件数量的增加，与json相比，计算和网络资源的使用效率将会不太有效。json也是用于web编程的原生数据互换格式，诸如客户端侧上的javascript和服务器侧上的node.js，但是也可以轻松地在任何服务器侧编程语言之间进行解译和交换，并以标准方式分布在ip网络上。
通常使用基于ip封包的交换机或基于以太网帧的交换机来实现交换，所述交换机将在传输层(osi网络模型中的层4或更低层)交换封包。本发明的优点在于在应用层处进行交换，使得无论部署基础传输交换技术，其都适用。这意味着围绕服务质量的行为和服务的部署的保证不依赖于特定交换机供应商已如何实施其交换机。虽然仍然需要较低级别的封包交换机，但是它们不直接参与应用层的交换。这允许应用层交换机的性能独立于封包级交换机进行改变、改进、开发、演进和设计，从而消除对性能级别的潜在的复杂的相互依赖性。最终，这个优点将实现能够更广泛部署的系统，同时在多个网络设计和实施场景中保持类似的性能级别。
本发明使用基于规则的系统来生成利用所涉及的物理建筑物和单个房间的一组模型以及基于时间和基于多传感器两者的一组规则的事件。这些规则在集中式web服务器和使用json格式的各种部署还有和web服务接口之间进行传达来控制交换。这种方法的优点是允许模型和规则随着时间的推移独立于传感器布局的演进而演进。
使用开放模型和基于规则的系统来触发事件并将其与环境相关联存在一个优点。发布传感器部署，并且传感器的物理位置可以使用json格式覆盖在物理模型上，使得可以在运行中创建对基于web的用户界面的快速创建以将事件的意义传达给最终用户。
例如，部署传感器的第一供应商可以构建物理环境的模型并将其发布在系统上。随后的供应商可以使用这个可用的模型，或将先前的传感器数据与其自己的数据组合，以提供覆盖在相同物理模型上的一组新的事件规则。
同样地，这样做的优点在于给予最终用户对事件生成规则的控制和控制提供在物理模型中的细节的能力，同时仍然允许开发人员在安装之前使用该部署的基于web的已发布规则来测试潜在的新添加。
5.4附图说明
第一组附图[图41-44]示出了在智能家居环境的情境下的本发明。第二组附图[图45-47]示出了本发明的详细的实施架构。接下去的一组附图[图48-50]示出了系统使用的各种json数据格式的示例。接下去的一组附图[图51-54]示出了本发明在超出单一家庭环境的规模的更大规模场景下的应用。接下去的一组附图[图55-59]示出了本发明的详细实施，其具有数据格式、算法、实际环境数据以及部署系统将如何操作的解释的示例。
图41：具有集线器软件的智能家居架构，这是家庭[101]图，其具有所示的单一房间[102]，其包含2个传感器[103]和一个居住者[104]。2个传感器无线地或通过电缆连接到家庭ip网络[105]，家庭ip网络是围绕用于将家庭连接到互联网的单一ip路由器的标准ip网络。有一种又无线地或通过电缆连接到集线器的称为家庭集线器硬件设备[106]的设备，并且这可能是独立设备，或者可以表示有线电视的机顶盒，或者诸如microsoftx-box的游戏设备或其他类似的家庭设备，诸如连接家庭ip网络的计算机。在此硬件设备内部的是作为本发明的实施方案的“集线器软件程序”[107]。
图42：示出有更多房间和居住者的互联网连接的智能家居，这是图42的扩展，具有不再描述的类似部件，诸如家庭、房间1和居住者、家庭ip网络和家庭集线器硬件和软件。此图示出了家庭连接到互联网[201、202]，其为作为本发明主题的“集线器软件程序”提供了替代位置。在此图中，集线器软件程序[204]位于作为连接到互联网[201]的云服务器运行的服务器上，诸如位于亚马逊数据中心内的服务器上。还有同样位于云基础设施中的某个地方的某个网络连接存储装置[205]，其可用于存储传感器数据以供将来审计或审查。为了说明本发明的实施方案的目的，第二房间被添加到家庭[207]，其包含3个多标记为数字3、4和5的传感器[206]。
在图41和图42两者中，房间中的传感器将原始传感器数据连续地馈送回到集线器软件程序其如本文所述处理的地方。
图43：具有能量控制系统的智能家居，此图是图41和图42的扩展，并且仅为了说明的目的，其在图的右侧[305]示出处于另一个情境下的房间2。请注意，这不是房子的第三个房间，而是其示出智能家居方程的另一侧，这是经处理的传感器数据投入的使用。在此处所示的场景中，标注有#2和#3的家庭居住者[306]在房间2中，其中具有一些标注有#2和#3的能量电器。现在有能量控制器，其既可以是硬件设备，也可以是软件，也可以是其任何组合[304]。它可以如所示位于与集线器软件程序相同的硬件设备中，或者其可以位于家庭内的不同硬件设备中。所述图还示出了能量控制器位于连接到互联网的云服务器上的可能性。传感器将原始数据发送到集线器软件程序其被处理并创建事件的地方。这些事件在网络上被推送到直接控制房间2所示能量电器的能量控制器。此系统允许能量控制器辨识居住者#2和#3在房间中，并且因此调整能量系统以根据他们自己的个人设置为那些居住者提供期望的温度，同时还优化其他参数，诸如家庭的总能量帐单。能量控制器的运行、居住者在这方面的偏好以及能量电器是为了说明的目的，并且本发明与那些设备或方法中所包含的技术不相关。所公开的发明和这类系统之间存在明确的界面，这是通过ip网络对集线器软件程序和能量控制器之间的基于json的数据交换形式的事件的推送。
图44：具有4个控制器系统的智能家居：能量、安全、安防和娱乐，此图是图43的扩展，其中示出了几个其他系统控制器，诸如娱乐控制器[401]、安防控制器[402]和家庭安全控制器[403]，它们位于经由互联网连接到家庭的云服务器中。这些控制器中的每一个以与上述图43中所描述的能量控制器相同的方式表现。他们都属于第三方服务提供商，并且他们各自从集线器软件程序接收向其推送的一系组事件。每个单独的系统可以具有其自身的位于家庭内也诸如所示的控制器[405,406,407]。控制器中的每个控制器，无论是在云中还是在家庭本身中，都可以具有其可以如由房间#1[408]中所示的[409,410,411]所示进行控制的设备。总体而言，请注意，此专利的范围限于位于家中合适的硬件设备上或位于云中经由互联网连接到家庭ip网络的合适的服务器上的集线器软件程序[404]。
图45：集线器软件程序架构和部件，此图示出了集线器软件程序[501]的主要架构部件，并直接涉及专利的权利要求。集线器软件有2个主要部分，它们是事件生成器模块[502]和事件交换机模块[503]。
左侧所示的事件生成器模块则具有4个部件，它们是(从左上方逆时针)管理模块[505]、传感器数据缓冲区[507]、事件生成器模块[509]和家庭模型与事件规则模块[508]。这些部件在下面的图46中单独处理，但是通常它们组合以产生单个事件，所述事件是人类可辨识的动作，诸如离开房间和进入另一个房间，由在特定时间段内组合的多个传感器输出的组合(如传感器数据输入[506]所示)而建立。由事件生成器模块[502]生成的每个事件具有与其相关联的独特规则，所述规则用于计算事件，并且所有事件与经由web服务连接模型向用户提供事件的一个或多个服务相关。
右侧示出的事件交换机模块则也具有4个部件，它们是(从左上角逆时针)调度器模块[512]、虚拟输出队列模块[517]、输出缓冲区模块[516]以及管理模块[514]。事件从事件生成器模块[511]传递给事件交换机，其中它们根据它们的订户和他们的服务类别排队。这意味着诸如家庭能量解决方案提供商的订户可以订阅或要求向其发送某些事件[515]。每个事件类型将被给予一类服务，使得在多个事件存在于在ip网络上竞争有限输出资源的队列中时，可以给予更重要的事件优先级。例如，安全相关服务可以被给予比娱乐相关服务更高的优先级。每类服务将具有已知的延迟和保证的服务级别(例如，预留的带宽能力)，以便在服务提供商和服务订户之间创建商业上可靠的接口，其中可以将第三方工程系统构件成具有足够的鲁棒性来向房主收取保证的服务级别服务的费用。
请注意，管理模块[505][514]与位于云中并经由互联网连接到集线器软件程序主机硬件[504][513]的管理服务器通信。这些是通过单独的web服务接口与数据流逻辑分离的单独通信通道。这些通道用于将更新的规则集、更新的订户信息和更新的房屋模型从基于数据中心云操作系统的管理系统传递到集线器软件程序。
图46：事件生成器模块架构和部件，这是上文在图45中所示的整个集线器软件程序左侧的事件生成器模块的更详细视图。事件生成器模块[601]具有4个部件模块，其中3个在此图中进行了描述。第四模块，即管理模块没有被更详细地描述，因为其主要由将持久性数据传达到管理服务器并接收其他3个模块所需的各种操作配置的更新的构件组成。
从右上角开始并顺时针移动，第一个模块是家庭模型和事件规则模块[602]。这包含两个数据集，家庭模型数据集[603]和事件规则数据集[607]。家庭模型数据集是家庭[604]、房间连接[605]和每个单独房间[606]的简化模型，其包含有关家中每个房间的大小、形状、内容和组成的信息，其格式是事件创建的规则可以用来确定期望事件发生(诸如房间之间的居住者的移动)。诸如此处所示的服务#1[608]的每个服务都包含一组事件计算规则。这些规则从多个传感器获得传感器数据，并在定义的时间段内以算法方式组合传感器数据，以确定模式并从那些模式创建事件，诸如居住者从一个房间到另一个房间的移动可能是能量控制器系统可以订阅的事件服务。规则存储在规则表[609]中，并且每个服务都有规则表。
右下角是事件生成器[613]。这包括规则排序器[614]和一组规则处理块[615]。规则排序器创建何时将计算每个规则的有序列表，使得其可以满足其特定的服务性能级别。规则处理块采用每个规则，并将其分解为按顺序执行的一系列计算。有多个块允许规则计算的“生产线”排序，以便优化处理时间。输出[616]是以javascript对象表示法(json)格式化的事件，然后其被发送到上述进一步描述的事件机。
在左下方的是传感器数据缓冲区[610]，其接收传感器数据块[612]，例如，呈xml文件的形式，并基于他们来自的传感器将它们排队。在等于可用存储器缓冲区的长度的时间段内，此队列基本上是每个传感器的二维数据矩阵[611]。缓冲区应该足够长以保持计算各种服务规则所需的足够数量的传入的传感器数据，这是考虑到了它们的预期时间帧，例如，从一个房间移动到另一个房间是可能需要多达20秒的事件，所以缓冲区应该能够保存值20秒的数据。
图47：事件交换机模块架构和部件，这是作为事件交换机模块[701]的集线器软件程序的第二个主要部件的详细视图。如在描述第一个主要部件时所提到的，存在由部件[701]的右上段表示的管理模块，所述管理模块执行数据持久性功能和此处未详细描述的操作、管理和维护(oam)功能。它还允许更新或修改此块内的调度算法。左上段是前一图中所示的调度器，并且还在下面的图中进一步给出更详细说明。
此图然后集中在部件[701]的左下段和右下段。左下角是虚拟输出队列集[702]，其从事件生成器接收json格式的事件，并将它们[703][709]排入虚拟输出队列缓冲区，以准备调度事件并将事件交换到输出fifo缓冲区[710]。它通过使用服务类别以按由调度器确定的特定顺序使事件出队[704]来实现这个。
在此图中，存在4个队列集，4个当前服务[705][706][707][708]中的每个具有一个队列集。在这些服务集中的每个中，然后将基于事件的服务类别来对事件进行排队。因此，事件是基于它们的目的地而有效地进行排队，所述目的地是订阅了事件服务的订户，并且在该目的地内，所发送的事件的顺序由服务类别确定。考虑到可能存在许多订户和仅一个或两个网络输出通道来传输事件，这必须有必要基于所应用的调度器规则和资源例如可用的带宽将排队的事件交换到那些输出通道。
图48：使用json表示法的房屋模型，此图是智能家居的基于json的数据模型的编码示例。首先赋予家庭一个名字，并且然后存在具有所描述的各种参数的房间对象阵列。赋予每个房间名字、形状、方向。然后，墙壁、地板和天花板被赋予单层或多层，并且描述了它们的尺寸，然后也隐含地提供房间的整体尺寸和体积。在这个示例中还提供了门道、窗户、对象和灯，但是所述模型本质上是可扩展到产生与物理家庭本身相关的智能事件可能需要的许多其他参数。最后，每个房间的连接阵列为模型提供了制定出每个房间连接到家中的每个其他房间的方式的能力。此模型使用json直接发送到事件生成模块的管理模块，并且可以在家庭随时使用托管在通过互联网访问的基于云的服务器中的在线管理界面更改时来更新。在此示例中，以整数或十进制数示出的尺寸均以米给出。可以包括说明测量单位的特定标头信息。
图49：json表示法中的事件，此图是一个代码片段，其示出了家庭中事件的基于json的数据格式。在这种情况下，所述事件是居住者变更房间，且所述服务称为“存在-a”。此事件生成服务具有服务类别2，因为其不被认为是安全或安防隐患，因为其是基于家中所辨识的居住者的正常的日常移动。在这种情况下，这个事件所报告的人是“房主”和“孩子1”。请注意，由于隐私原因，人们不必被命名来使系统成功操作。事实上，系统从来不需要知道居住者的姓名。尽管在这种情况下，居住者被赋予了相关的标题来将他们彼此区分。通常将使用面部的适当角度的快照来进行辨识，然后将所述快照发送到第三方面部辨识软件。
所述事件还列出了该事件的订户，这些信息允许它在事件交换机模块中的虚拟输出队列中正确地排队。在这种情况下，示出了5个订户，他们具有他们提供给智能家居的居住者的品牌名称和服务类型。所述事件示出了从大厅向厨房移动的两个居住者的开始和结束时间以及开始和结束位置。请注意事件如何是可读的，并且包含很少的技术细节，使得其可以容易地被许多不同的服务设计者和用户界面设计者解译。
图50：json表示法中的事件规则，此图示出了用于生成事件的基于json的数据规则的代码片段。每个服务可以具有许多不同的规则，并且随着服务被添加或移除，可以使用基于web的管理界面通过事件生成模块的管理模块来更新事件规则的列表。在这种情况下，所述规则被描述为“房间变更规则”，其在特定居住者在房间之间移动时简单地生成事件。
最初，赋予规则独特的id，即其所属的服务的名称和服务级别类别(2)。然后列出所述服务的订户。这有助于事件生成器调度规则计算，使得为正确的时隙计算正确的规则。它也是所生成的事件被赋予其订户列表使得其稍后可以在输出程序中排队的方式。
有包含列表和忽略的人员列表，使得某些居住者移动包括在规则计算或注释中。列出所涉及的传感器，并且最后给出时间窗。当然，可以以这种方式生成许多更复杂的规则。当事件被推送到订阅系统并且其涉及诸如能量控制面板或娱乐系统的tv屏幕的用户界面时，为了用户界面目的最后提供规则的人类可读描述。
图51：对企业单一建筑物的应用，本发明也可以应用于超过单一家庭大小的较大规模的建筑物。在此图中，示出了用于具有12个办公室[1114]和服务器机房[1111]的企业建筑物[1110]的解决方案。建筑物有其自身的内部ip网络[1108]，所述网络经由商业互联网连接[1105]连接到互联网[1104]。示出每个房间有2个传感器和1个居住者[1114]，并且所有传感器都经由10/100/1000以太网lan[1113]连接到内部ip网络[1108]。
在这种场景下，作为此专利的范围的集线器软件程序[1109]位于建筑物内服务器机房[1111]中的服务器[1112]上，或位于具有通过互联网连接到建筑物的网络存储装置[1101][1102][1103]的云服务器中。
单一订阅服务被示为位于云中的能量控制器[1106][1107]，其经由互联网接收事件并且可以远程控制建筑物中的能量系统。请注意，如果需要，能量控制器当然也可以驻留在建筑物的某处。无论集线器软件程序位于何处，或者无论订阅服务的能量控制器位于何处，只要它们经由ip网络彼此连接并且连接到所涉及的传感器，本发明的工作方式完全相同。
图52：对建筑物企业园区的应用，此图示出了本发明应用于建筑物的企业园区，此处其由主园区建筑物[1214]和第二较小的园区建筑物[1215]和第三小园区建筑物[1216]组成。每个建筑物都具有各种房间，其中传感器和居住者的形式与上述智能家居和智能建筑类似。每个建筑物也具有自己的建筑物ip网络[1208]，并且然后所有3栋建筑物都与ip园区网络[1217]互连。存在商业互联网连接[1205]，其经由园区广域网[1217]将所有建筑物连接到互联网[1204]。
集线器程序软件位于足够大以具有其自己的服务器机房[1209][1211][1212]的建筑物中的一个中，或者其位于云[1201][1202][1203]中。示出园区能量控制器[1206][1207]也位于云中，但是如之前所述一样，集线器程序软件和能量控制器两者都可以位于云或园区某处，只要它们经由ip网络或互联网连接在一起，并连接到传感器[1213]。
图53：对城市街区的应用，此图示出了本专利在具有5栋建筑物[1304][1305][1306][1307][1308]的城市街区(或街道)上的应用。最后3栋建筑物也具有前院区域或地段，它们也具有遍及[1309][1310][1311]分布的外部传感器或摄像头[1313]。
只要所有部件联网在一起，所有相同的应用想法与上述其他场景一样适用于此街道场景。对于外部摄像头/传感器，这实际上可能涉及通到互联网和所涉及的基于云的服务器的移动(无线)网络连接。
图54：在智能家居、企业园区和城市街区上的同时应用，此最终的应用图示出了相同的发明如何通过将云中的集线器软件程序的多个实例存储在一起[1406]而可以应用于上述所有场景。所述图示出了智能家居、智能企业建筑物、智能企业建筑物园区和街道或城市街区的场景[1401][1402][1403][1404]，所有这些都通过互联网连接回到托管每个集线器软件程序的一组服务器，并且然后还连接到一组合适的控制器[1408]。
请注意，可以添加可以充当多个集线器和控制器的集线器的主服务器，并且存在针对冗余示出的第二个这类主服务器[1407]。这些主服务器可能不只会聚合来自每个事件生成器的事件，并创建单一事件交换机，或者它们还可以充当位于初始组上方的多个事件生成器和事件交换机的第二层，并提供从所有连接位置到订户服务和控制器中的一组全局事件。
图55：来自传感器的原始数据，此图给出了由智能摄像头传感器产生的原始数据的示例，所述传感器用于跟踪人和对象在所描述的各种场景中的移动和位置。左侧是结构化的标准化xml文档架构[1501]，其描述了来自每个传感器的原始数据可如何被打包以传输回到集线器软件程序。当它到达那里时，其可以被解析，并且然后用于事件生成模块中的计算。
存在标头，其首先具有配置信息，然后在该位置处涉及多于1个传感器的情况下，则后接传感器识别符列表，并且所有传感器都可以将其数据添加到同一个xml文件中，以便高效地传输回到集线器软件程序。xml文件中的下一个是已经被发现的对象的列表，其中一些被放置到智能组中(例如，身体、头部和肩部的检测可能被组合以形成表示人的组)。最后，组可以经由跟踪分组方法在时间上从一个帧连接到下一个帧。
右侧是从电子商店部署中获得的真实xml传感器数据文件的示例。此示例示出了每个分组的信息如何捆绑到一个<设置>元素中，并且存在关于每个对象的详细信息，诸如其大小、检测期间使用的参数、其坐标、其角度(俯仰、滚动和横摆)、各种识别符等属性。
虽然xml由于其结构和可扩展性而非常适合于由每个传感器产生的工程级数据，但是所生成的事件必须以人类可读的形式结束，并且用在具有可能的最小大小的客户端-服务器架构中，并且因此事件然后如上文所述以json格式生成，而不是xml。
图56：传感器对象、组和跟踪示例，此图示出了智能传感器产生的并将馈送到集线器软件程序中的真实世界跟踪数据。示例是从由apical公司生产的智能摄像头传感器获得，其使用机器视觉技术来识别人[1601][1602][1603]，并且然后将其表示为具有元数据的“重影”形式[1604]，从而保留个人的隐私，同时允许将真实世界信息传递给集线器软件程序的事件生成器，以构建有用的服务。
图57：规则实施，此图给出了对于使用来自相邻房间中的两个传感器的原始传感器数据并算出居住者是否已经在房间之间移动了可以如何实施简单的规则的示例。左侧是两个房间[1701][1702]，这两个房间都具有摄像头传感器[1704][1705]，并且房间经由一个门道[1703]连接。最初，居住者在房间1中，但是经跟踪移向门[1706]。当居住者进入房间2并进入内部摄像头的视角中时，房间2中创建了新的跟踪[1707]。
所述图的右侧示出了使用伪代码逻辑的流程图的规则的伪代码图示。这个简单的房间变更规则试图在一段时间内匹配两个房间的跟踪，以查看一个房间的居住者是否确实已经移动到另一个房间。存在置信水平，如果面部辨识算法已经将房间1中的居住者匹配到房间2中的居住者并且评估了他们确实是已经更换房间的同一个人，那么置信水平与增加的结果相关联。
图58：规则排序，此图示出了本发明方法的重要部分，其是规则排序器。将提供与每个单独事件服务相关的规则的集合，且甚至针对其他订户不可用的单个订户解决方案专门实施一些规则。在集线器软件程序的主机系统可以使用有限的计算资源，所述计算资源应该进行优化，因为其可能驻留在没有大量可用存储器或计算能力可提供的现有家庭硬件设备上。因此，规则排序器检查可用于对它们进行计算的规则和资源，并创建用于计算优化的性能的规则的序列。规则排序器被设计成确保及时计算规则，以创建符合与订户的服务级别协议的事件。例如，如上所示，可能需要每3秒生成事件。规则定序器以足够的规则性将规则计算与其他规则合并，以便符合此服务要求。请注意，规则计算序列在时间段方面的粒度应远小于需要计算服务事件和对应规则的粒度。这将为规则排序器提供空间来将规则计算操作到可以及时满足所有服务需求的序列中。例如，事件可能各自需要1秒的粒度。规则排序器将按顺序对每个规则计算使用0.1秒的粒度。
图59：调度，此图示出了调度器如何与基于json的事件的虚拟输出排队系统[1901]一起运作，以便调度填充有合适事件的传输时隙来满足与订阅系统的服务级别协议。所述事件在调度器之前排队[1902]，并交换到输出端口，因此这被称为“输入排队交换”架构。事件首先按目的地(在这种情况下是订户系统)排队，然后在该订户系统内按该订户已经请求的各种事件的服务类别排队。为了进行说明，示出了3类服务[1901]。每个队列都填有少量事件，来演示调度系统的操作方式。
在这种场景下，只有一个输出端口，但是调度器可以同样处理多个输出端口并为每个端口调度时隙。调度器的任务是用事件填充时隙，使得履行围绕一类服务的服务级别协议。例如，每个时隙将对服务类别1使用多达可用资源的75％，然后基于事件的级别将其余资源给予给另外两类服务。一类服务级别2将总是被赋予例如服务类别级别3之前剩余的资源的25％。
调度器可以查看每个队列内的几个事件，以便作出决定，例如，在此示例中，使用2个事件的窗口。然后时隙[1905][1906][1907][1908]一个接一个地创建并通过调度器用事件填充以进行传输。所述时隙在那里帮助调度器满足其要求，但是当ip网络上的传输带宽变得可用时，事件则将在以每个时隙中的第一事件开始时一次传输一个事件。此处，第一时隙是75％填充有cos1事件，然后剩下的25％填充有cos2事件，所述事件均从每个队列中的前2个事件获得。第二个时隙开始填充cos1，但是接着没有更多的cos1事件来填充它。所以它然后移动到cos2事件，直到它们用完为止。在这一点上，调度器只查看每个队列中的2深事件，并且因此其用尽所有可用的cos2事件。因此，它移动到cos3来填充时隙2的其余部分。在时隙3中，调度器现在看起来更深入队列，并找到更多的cos2事件来开始填充时隙。请注意，任何队列中只有再多一个cos1，因此首先放置cos1事件，然后调度器移动到cos2事件。最后时隙4扫除队列中剩余的cos3事件。
请注意，接着更多事件将加入排队系统，并且调度器将继续工作，但是此示例时间上受约束，以便示出排队系统的完整清空程序。建立这样的调度算法有许多方法，并且这是基于每类服务的每个队列的循环的简单资源分配算法的一个示例。
5.5详述
假设上文描述了本发明的上下文、其解决的问题及其优点，那么这是图41[101]首先示出的集线器软件程序的操作方式的详细描述。这是本发明的实施方案，并且由组合的方法和设备组成。所述方法是用于生成事件并将其作为订阅服务供应的手段，所述设备是用于交换事件来进行分布以满足服务质量保证的手段。
用于生成事件并将其作为订阅服务供应的方法体现在图46所示的事件生成模块中。此模块的操作始于原始传感器元数据的到达，所述数据在家庭ip网络上从摄像头或传感器传输到容纳事件生成软件的设备。此原始传感器数据在缓冲区中排队，所述缓冲区通常被创建为二维数据阵列，其中一个维度表示时间，并且第二维度表示已经向集线器传输数据的每个单独的传感器。
注意，通常，单个传感器元数据可能与来自其他传感器的元数据不同步，并且因此可能存在正规化缓冲区内的元数据所需的处理块。这可以被实施为复制初始缓冲区的结构的第二缓冲区，并且正规化的元数据将出现在第二缓冲区中。正规化的数据现在准备好将规则应用于其以便创建事件。
事件生成器模块还包含软件功能块，以管理家庭模型和规则从基于云并经由家庭互联网连接而连接到集线器的一些集中式服务器的收集。这些模型和规则本质上是准静态的，并且偶尔与云服务器同步以确保一致性。家庭模型包含关于家庭房间的结构和内容的数据，并且事件规则包含如何产生事件的计算指令。
规则排序器是以家庭模型和事件规则读取并创建其在计算事件中的使用的有序实施的软件块。所述计算被应用于存储在缓冲区中的原始传感器元数据，并且输出是事件，其是包含关于应用规则的家庭区域的居住者的信息的小数据块。事件的示例是存在、移动、异常行为、手势等。
每个事件计算固有地是软件提供的服务的一部分，诸如存在服务。因此，每个事件都标记有适当的服务参考，这可能只是服务名称。它还标记有用户id，其表示将要利用构建的事件的客户或控制系统。
同样地，正在为已经申请该服务的客户计算每个事件，并且客户已经签署了服务级别协议，所述协议转化为该事件数据供应的服务质量。因此，服务质量值也与此模块的传出事件数据相关。
因此，现在，事件生成模块正在输出称为事件的数据块，其包含关于特定事件的相关信息。每个事件都标记有服务识别号和客户id，并且还具有服务质量。然后将此事件传递到本发明的第二个主块：可以交换事件流的设备，以便处理网络资源冲突，并确保每个服务遵守其与最终客户达成的规定的服务质量水平。
图47中示出了交换设备。它是虚拟输出排队交换机，这意味着其在交换机的输入侧处形成表示输出侧上的数据目的地的队列，或将存在的输出队列的虚拟表示。考虑到以这种方式排队的事件数据，可以构建交换机调度器，其充分控制交换结构资源，以确保每个事件及时交换通过结构并进入输出缓冲区以满足其服务级别协议。
因此，到达的每个事件基于作为订阅事件的实体id的最终用户目的地进行排队，并且然后在该队列内存在每类服务的一系列内部队列。因此，例如，如果存在3个客户和3类服务，那么虚拟输出队列中将存在9个队列。
出队功能从如图45所示的调度器块[512]中所包含的一组规则起作用。此调度器正在决定接下去清空哪个虚拟输出队列并且按怎样的时间比例，以及将出队的元素过滤到输出缓冲区[516]。输出缓冲区是fifo(先进先出)单一队列，然后将其排队的序列中的每个事件发送到作为每个事件内的数据元素包含的订阅客户的地址。此输出缓冲区不需要了解关于数据的任何其他东西，除了将队列中的下一个事件发送到标记的地址之外。
事件生成器和事件交换机模块两者都有其自己的管理功能，它们帮助将错误和警告报告给位于云中的服务器上的集中式管理系统，并经由家庭互联网连接与集线器软件进行通信。然后可以单独发生对任一模块的更新，包括潜在的软件更新以增强系统性能等，而不会干扰尚未更新的模块的现有版本。这些管理功能[505][514]示于图45中。
所述管理功能还监控通信通道的潜在错误，并且它们收集关于模块性能的统计资料，以便用于例如计费问题的审计。管理模块还可以用于执行内部监控功能，诸如将原始传感器元数据直接传输到非客户云服务器，绕过事件生成或事件交换的所有主要功能。然后，此数据将用于帮助进一步开发产品的研发计划，以改进性能、降低功耗、反馈到新的调度设计中或改进系统的技术实施或算法的任何方面。
对事件生成和事件交换模块的操作的上述描述也直接应用于图51、图52、图53和图54所示的应用领域。除了每个模块将需要处理的数据量以外，模块的操作将不改变。然而，所描述的架构是固有可扩展的，例如，虚拟输出排队交换机的调度算法通常可扩展到数百个端口，如其在诸如ciscocrs1的大规模互联网路由器的交换结构中的使用所证明。
所使用的数据结构和算法的示例在图48、图49、图50、图55、图57、图58和图59中给出。这些示例出了系统的每个重要数据部件或系统的数据处理算法的一个可能的实施。特定地说，json示例示出了可以如何将数据组织成逻辑块作为相关联阵列，准备直接转换为编码对象，以在基于javascript的浏览器用户界面内使用。这样应该可以使事件的元数据与视觉图像或视频的组合对于第三方web程序设计员更加直观，程序设计员必须基于家庭模型和参与每个特定部署的用户快速并持续地调适用户界面。通过将数据准备好以json表示法包装用于javascript动画或基于浏览器的用户应用的html5现代元素，将促进这种自由度。
算法的示例是基本的调度算法，诸如图59所示的时隙的创建。此示例可以用已知方法的大集合中的任何一种替代，来实施用于队列选择(诸如循环、随机、伪随机选择等)的调度算法。
家庭和房间的基于json的模型例如被设计成使得浏览器用户界面或任何web应用可以快速和容易地适于允许最终用户构建其特定的家庭模型。可能需要创建一系列快速变化的用户界面，以促进提取关于用户的家庭的相关信息并创建用于事件生成的合适模型的不同方法。请注意，通过形式化模型，它还允许已知的或以前生成的模型的机器与机器的通信，使得用户可以简单地选择接近自己的模型，例如其可能已经由邻居生成。
5.6协议示例
这个部分概述并介绍了art的架构和方法，其将允许apical与合作伙伴一起在商业上参与明确定义的技术和商业界面。
a)较低级传感器系统和apical集线器软件
包含apicalfpga的每个摄像头或传感器将持续的xml格式化原始数据流发送到家庭集线器。
在家庭集线器中的是apical软件应用。apical软件应用从多个传感器获得原始传感器数据，并自动地创建各种事件，如下：
具有3个事件的示例：
·事件类型1采用单一输入，并按70％精度立即输出存在事件。
·事件类型2接收多个输入，并使用2秒的窗口按95％精度输出存在事件。
·事件类型3接收多个输入，并使用10秒的窗口按99％精度输出运动事件。
软件自动计算这些事件，并将不同的事件排队到自己的队列中。
每个事件类型具有一个队列。
事件类型可以由4个准则定义：
-事件类型
-它使用的传感器的数量
-它操作所在的窗口或历史长度
-置信水平
当事件在fifo排队系统中发生时对事件进行排队，这些时间会在进入时标记事件，并为每个队列中的事件保留队列中需要的时间量。
b)更高级的apical集线器和apical云软件
以上所有都在背景中不断发生。
apical云软件可以与apical集线器软件进行通话，并设置一个有规则的时间间隔，在这个时间间隔之后将收集的所有数据格式化为文件，并使用ftp将所述文件发送到apical云软件。此数据供apical用于法律原因以及维护、调试和开发原因。
请注意，apical云软件还可以请求apical集线器将原始数据xml流连接到此文件中，并将原始数据和事件数据两者发送到云软件进行分析。
这可能对调试问题或难题非常有用。同时，存在几个更高级别的智能家居管理系统。例如，家庭娱乐系统，以及另一个用于家庭能量管理的系统。这些更高级别的系统中的每个可以通过使用基于restfulweb服务接口的apicalapi来订阅apical服务。这个订阅过程在apical云软件中处理。管理系统服务器出于计费目的保留所有订阅的记录。apical云软件告诉apical集线器软件哪个更高级别的系统已经订阅了哪些服务。apical云软件提供已订阅服务的更高级别的管理系统的集线器的本地ip地址。apical集线器软件协商流到该ip地址的ip单播流。
设置一组独特的队列，其包含更高级别的系统已订阅的所有事件。
c)服务类别
有一个高级服务的队列和一个尽力而为的服务的队列。
当存在传输排队冲突时，高级队列优先，从而有效地提供高级别的服务。
存在与排队系统相关联的已知延迟，其基本上是时间长度，超过所述时间长度不能保证已经排队等待该时间长度的事件将实际上被传输。
尽力而为的队列具有固定长度(例如，值2秒的数据)，并且如果缓冲区是满的，那么稍后到达的事件从排队系统中丢弃。
apical集线器软件可以向订户报告他们当前已经订阅的服务太多，并且如果要正确服务，则必须将服务放弃或将服务提升到高级别。
apical集线器软件应该注意在正在使用的家庭无线网络上可用的大致带宽。
家庭网络的基础协议或类型是不相关的，只要可以建立和维护tcp/ip连接或udp连接即可。
这可能适用于ieee802.11xxx或任何新型家庭无线网络，只要它们可以支持运行ip协议栈的设备。这几乎肯定是这样的情况。
d)更高级服务(apical合作伙伴)
订阅apical服务的每个更高级别的系统每月或每年为服务计费。
注意，使用恒定流的原因有3个，其中数据被推送到集线器，并且然后从集线器推送到更高级别的系统(诸如家庭能量管理系统)：
1.无论如何，将有必要为订阅的服务对系统(带宽、交换吞吐量等)制定大小，最佳的工程解决方案是在可用时发送事件对象，并让更高级别的系统撇开或摆脱它们不使用的系统。原因是您实际上正在运行连续的检查：检查链接是否正常运行，并且因此您的管理系统和您的合作伙伴生态系统具有告诉其一切正常的脉冲。如果您停止发送脉冲，那么您就无法知道系统是活的，其充当交叉检查。
2.推送系统对拉动系统的次要优点是，必须发生以请求从传感器或apical集线器“拉”离数据的双向通信水平比简单的推送模型复杂得多(且因此容易出错)。数据被推送，并且然后接收系统可以将其排队、将其转储或使用其，apical不会在意，并且不应该尝试设计该部分。
3.最后，集线器应该始终最初记录从传感器接收的所有数据。您会想知道一切都在最初部署的系统中运行。特定地说，在订阅的服务(例如，googlenest)不在使用您发送的每个事件对象的情况下，您也可以继续为直播服务计费。如果他们订阅24-7服务，那么您必须提供所述服务。同时，数据可以从文件中的集线器删除，并发回到您的云服务器。调试和交叉检查您初始部署的系统将非常宝贵，特别是在某个地方涉及到计费界面的情况下。
您将具有记录的“审计跟踪”，证明您的事件对象不断产生并且是准确的，这将是维持价值链的关键。
这对于需要在所有时间或全年工作的更高级别的服务来说可能是有用的。
例如，仅冬季服务是按需服务，其只有在外部温度下降到某一水平以下时才能打开。
那时，所述服务被添加到排队系统中。
每个事件在具有时间戳，并且在足够有规则的基础上生成时，将被异步地发送到订阅设备。
因此，最佳的工程和商业解决方案是提供服务水平的差异化，对将经历的最大延迟作出一些保证。这个最大延迟是通过从尽力而为的队列中丢弃事件来设计。
e)apical的软件定义的网络解决方案：事件对象交换机
apical集线器软件有效地成为纯粹在软件中实施的具有可预测行为的事件交换机。
因此，为家庭集线器市场实施软件定义的网络交换机的供应商可以采用apical的设计，并在硬件中实施排队系统。
f)在事件服务之上分层控制平面服务
apical可以提供进一步的服务水平，以在上述服务之上分层。
上述服务被设想为基于基于浏览器的用户界面，它们将事件接受为json格式化的对象。
浏览器或应用可以使用事件对象来帮助通过例如将事件数据叠加到实际视频流上来有效地与用户进行通信。
另一个有效的用途可能是指示家庭环境的模型内部的事件，即更高级别的服务已经以某种方式生成。
apical不需要知道事件的用途。
apical只是基于订阅保证一定的服务水平。
可以为将在实时控制系统中使用的事件提供新的服务类别。
在这类系统中，事件不用于驱动用户界面或通信系统。
而是，这类系统使用所述事件来控制其他机器做某事。
这类事件可以被赋予其自己的具有更同步的类型行为的服务类别。
例如，apical可以提供定期的心跳类型递送，其通过使用调度器来保证定期递送在控制系统中使用的那些事件来实现。
apical集线器软件会将来自这个队列的事件定期添加到出站流，从而对尽力而为的队列作出取舍以便这样做。
所有的apical集线器软件交换系统都可以基于封包交换技术进行设计，区别在于封包现在是以fifo方式排队的json对象。
g)json事件对象交换机
有效地，apical将具有一个服务感知json事件交换机，其是世界上第一个具有专有json事件对象的基于json事件的排队系统。
使用json事件对象的工程同步类型输出，其他工程团队可以令人信服地为家庭构建闭环控制系统。
例如，加热系统将具有一定的惯性来改变房屋温度，并且将需要常规的输入来驱动用于温度控制的基于pid的控制回路。
它将需要事件的同步脉冲，以便设计可靠的控制回路。
这是apical集线器软件为订阅可能提供的控制平面服务级别。
订户必须指定脉冲速率，并根据apical排队系统提供的内容支付更高的脉冲速率。
控制平面服务提供具有其自己的队列，但是将保留的带宽分离在其自身与高级服务之间。两者这样做都是以牺牲尽力而为的服务为代价。
在apical集线器软件的交换带宽达到例如其最大值的50％的情况下，可能明智的是实例化apical集线器软件的第二实例，如果通道带宽可以对其进行处理。
另选地，将必须增加局域无线网络带宽。
即使通道带宽增加，apical集线器软件交换机仍然可以达到处理限制，并可能需要重复。
在这种情况下，订户被简单地分配许多apical集线器软件交换机之一，他们的服务将从所述交换机供应。
这可能是通过允许虚拟服务分配来在未来扩展系统的好方法，并且apical可以在其管理系统内部决定哪些软件交换机将处理哪些服务组。
这对于服务的用户来说将是透明的，但将必须被标记给托管apical集线器软件交换机的集线器硬件设备的管理者。
h)json事件对象定义
json事件对象可能包含以下值：
事件统计阵列：[独特事件id、生成的时间事件、基于传感器的数量、每个传感器生成的原始数据的时间戳阵列、队列中花费的时间、用于计算的窗口长度、服务类别值、订阅数量、订阅id的阵列]
事件类型2d阵列：[存在、位置、手势、姿势、移动、心情]x[不同的人的独特id]，值被放置在阵列的每个元素中，而这些元素又可以是对象或阵列本身。
例如，阵列的位置元素可以是坐标、独特的房间id或与特殊选择的对象(诸如炊具、冰箱、电视遥控器等)的相对位置。
个人化身信息2d阵列：[估计的独特id、身高、体重、性别]x[家里不同的人]
注意：独特的人id可以由apical生成，不需要知道他们是谁、他们的名字等，如果需要，则可以在安全的更高级别的系统中的其他地方完成，例如，apical传递最佳的面部视图并且独特的id被返回。
然后，将此独特id添加到生成的事件中，并且较高级别的系统使用其来附加名称或面部到其，以便例如在浏览器上构建更个人的用户界面。
i)使用json的html5就绪接口
如果每个事件被创建为这样一个json对象，那么其可以直接用于使用javascript直接构建html5浏览器界面。
这将允许更快的上市时间、更快速的原型制作，因为其将在浏览器中被原生地辨识，而无需任何中间转译层。
这也是呈现坚持浏览器标准而非封闭的生态系统(诸如纯粹在iphone应用中)的移动、家庭和计算机设备两者上的用户界面的更实用和更广泛的方式。
j)apicalart管理系统
除了上述所有之外，apical系统还必须拥有其自己的进行的活动的管理和诊断平面。
这将需要小的预留的带宽通道，这可以在apical集线器软件中实施为具有在调度系统中可辨识的独特服务类别的小预留带宽。
此通道用于各种管理功能。
第一个功能是将订户信息发送到集线器软件，以便为该订阅创建一组新的队列。
k)计费和订阅模型
订阅将必须通知apical集线器软件各种信息元素，并且因此另一个json对象可能又是正确的选择。
例如，json对象可以包含所需服务的独特id、订户的id、订阅的服务级别、预期将到达或更新事件的速率以及可能事件的置信水平阈值。
另一个有趣的模型是让订户指示或说明订户有权访问哪些传感器。
想象一下这样的情形，某些更高级别的服务依赖于来自不同制造商的大量传感器类型。
每个传感器购买和每个更高级别的服务购买都具有使用特定传感器的相关联许可证。
apical集线器软件可以是足够智能的以基于新订户json对象下指示的许可区分传感器输入到事件计算器。
l)数据审计跟踪
下一个管理功能是定期拉出完整数据的文件以清除内部缓冲区。
例如，每5分钟将文件发送到apical云，以存储备份数据用于在将来的某个时间的合法和计费对帐。
这清除了本地缓冲区，使其在存储器需求和存储方面可以管理。
m)现场升级
下一个管理功能是对系统进行现场软件升级。
这也可以是通过使用排队系统中预留的管理通信通道将消息传递到传感器网络来升级传感器自身上的软件的方法。
n)错误和警告监控和屏蔽
下一个功能是将监控点统计信息传递到位于云软件或集线器软件中的管理模块。
然后这些监控点被传递通过掩码，以选择最重要的警告和错误，并将其传回云系统。
警告和错误也可能需要向处于适当位置的周围的更高级别的系统生成警告或旗标。
最后，计费信息必须确认订户正在积极地接收他们要求并处于正确的服务级别的服务。
系统中越往下，例如，越靠近执行这个的传感器，在家庭和家庭内的传感器越来越大的规模下将可以更容易地管理。
您想要的最后一件事是不断地上下云以执行所有错误和警告屏蔽以及对各种管理功能的解译。
还应该存在进入使用本地控制台的软件的辅助备份管理界面、命令行界面或类似的界面，使得在wifi和互联网连接关闭时可以在本地或通过房主的移动手机网络进行诊断。
另外，支持工程师将需要一种在某些支持情况下进入软件的方法，其中需要进行调试，但是由于缺乏互联网连接而无法执行，
6.市场调查和应用
智能网络可能允许通过生态系统控制具有spirit的智能设备。
市场调查
可以进行各种市场调查，诸如正在观看哪些电视节目、正在吃什么食物。此外，所述系统可以包括声音和语音辨识。一种方法是分析摄像头中的简单事物，并分析集线器中的复杂事物。
对于数据结构，存在与外界的接口。所述接口可以是api或可查询的数据库。举例来说，接口可以生成警报，即某人已经注视空调超过两秒。其他设备可能对此警报作出响应。如果满足一个或多个准则，则可能仅从摄像头发送跟踪记录。
医疗应用
apical的系统实时捕获人的移动，并且所述移动然后被医学分析软件使用，例如，用关于肌肉、骨骼和组织结构的医学信息编程，以向患者的医生给予反馈，使得医生可以快速地并客观地理解病人如何移动；这对于可能影响运动性能的新药物试验(例如，关节炎药物)或物理治疗患者以及还有个人化患者的恢复体验是重要的。
7.使用情况示例
art可以实现多项主张，并在家用舞台分为以下几个领域：
·家庭内的art：
○art控制
○arthems
○art护理
·家中的art安防。
art设置为根据房主的具体需求预期和响应于个人需求。art将迅速成为不可或缺的忠实伴侣，让家庭个人控制环境，并了解使生活顺利进行所需的信息。art通过智能设备网络使智能家居完全个性化。art是以用户为中心的智能家居的可扩展平台，以在边缘的高性能spirit计算机视觉为基础。
通过使用从spirit引擎提取的元数据，art在家庭中构建了每个个人的虚拟化数字表示，并且能够了解各种行为，诸如但不限于：
·计数房间里的人数，
·了解人的姿势，
·使用面部辨识数据识别人，
·确定人们从哪里移动/移动到哪里，
·通过识别的个人提取特定的手势。
列出了art的一些优点示例，使用情况示例为：
·art随着您在家中四处移动而预期需求：
未来的art智能家居将自我学习来预期您的需求。当您在家中四处移动时，art将在您进入房间之前进行预期；照明将调整到优选水平，您期望的视听设置将等待，房间将准备处于所需的温度。房间里的其他智能设备将会意识到您的即将到来，并且会做相应的准备，无论是咖啡机加热、调整房间的百叶窗还是运行您喜欢的电视频道。
art在您家中的智能传感器网络预期您的需求(并由您并通过您进行最终控制)，并与您家中的大量智能设备交互，确保您未来的家庭与您想要的一样智能和自动。
“您的闹钟响起了，且您开始来您的一天，这是一个典型的中周工作日。art已经意识到您已经按计划开始了您的一天(art知道这是打算的，闹钟之前在晚上已设定)。art已经将您的卧室/浴室的暖气编程在您的闹钟上，且现在预期您将在15分钟内到达厨房，并通过开启您的咖啡机准备您的即将到来。其他智能设备电视(对于cnn)、灯光、百叶窗、xxx、xxx都没有打开，除非art知道你要进入房间，art甚至可以适应您例程中最小的变化，例如，帮助您更换最小的儿子的尿布，因此您的平常早餐时间会延迟10分钟。”
“所有这个自动化不仅提供了显著的轻松生活(全部实时调整)，而且通过最优的能量使用，节省了运行家庭的物料成本”。
art将是一个有用和无价的虚拟助手，预期您的需求并对那些需求作出回应。art的辅助水平由您控制，其将尽可能地按您的意愿帮助您。
·art将帮助您更长时间地保持独立：
未来的art智能家居将为老龄化人口提供增加的独立性。art将使您能够控制您的适合财产的智能设备，并确保它们都通过您相互协调工作。art将了解您正常的日常例程、您的行为和您的身体健康。art可以根据您的具体要求进行定制，无论是手势控制、您的自动化功能(但不是您的伴侣或护理人员)，还是您使用art来简单知道您是正常的并遵循您典型的日常例程，并要求art保持您的朋友和家人知道这一点。所有这一切都是在没有侵入式视频捕获的情况下完成的，外部世界以许多当前技术解决方案的目前金鱼‘风格’的方式吸引着您的日常生活。
art生态系统将与所有智能设备(包括人员健康和健康设备)进行交互，其中这些设备将补充您身体健康的知识，以能够对您目前的情况进行完全不妥协的了解。
“唤醒art将会感觉到您‘起床走动’，进行您典型的日常例程。您的智能家居将回应您的下落；您的轮椅友好门提前打开(art预期您的典型的家庭移动)和您的厨房电器，无论是烤箱还是咖啡机都将已经在烹饪您的膳食或冲泡您的每日咖啡。art也会知道您是否独立全天候都在家中，并能够向任何在家或附近的人通知任何问题。art将能够纳入您测量的额外的生命体征，无论是血压、呼吸频率。art将能够通知您最准确的身体健康总结；您的生命体征，以及准确的身体移动；在没有助行器的情况下已经行走的步数，以及这是否是对前几天的改进...是的，很好。一天结束，在您已经就寝之后，art可以通知您最近的和最亲爱的，一切都很好，没有问题。”
art控制您的智能家居的能力，并且让您、您的亲朋好友知道您的健康和幸福是完全由您控制的。
art在您家中的智能传感器网络能够辨识和预期您的要求，并了解具体的变化日常例程，包括您的身心健康，art将您的其他智能数据点纳入其了解范围中。art可以了解何时您堕落、何时您感到困惑、何时您可能需要帮助，art也了解何时一切正常，您的一天如何且可与您的家人分享，以及更重要的是您这个信息。
·art将帮助您保护您的孩子安全：
未来的art智能家居将帮助对您提供家庭安全的心态。
art在您家中的智能传感器网络使您能够全天舒适地确保您的家人的安全和健康。art的生态系统最终由您并通过您控制，并确保您家庭中的大量智能设备，给予您随着您家庭成长您所寻求的舒适度。
在这些示例中，art可以被认为是守护天使，密切注视着您的左膀右肩，帮助保护您亲人的安全，当然不会消除父母的责任，而是在需要的时候帮助您。
存在大量的使用情况示例。例如，art还可以在您不在时帮助您照顾您的财产，或者也可以让您的孩子能够通过社交互动来学习和玩乐。
图60和图61示出了已经放置一个或多个art传感器的厨房环境的图像捕获的示例。分析由传感器生成的视频帧序列，并且连续地且实时地生成信息流。可以在事件触发的基础上提取人的数字表示。例如，厨房里首先检测到两个人。第二个人被识别为温迪，并且她的轨迹被提取为‘接近传感器’，第一个人被识别为乔治。然后将温迪记录为远离传感器移动。然后检测到第三个人和第四个人进入房间。最后，第四个人被识别为阿拉斯泰尔，并且以下手势：‘阿拉斯泰尔正在展示他的右手’被提取。
图62示出了保存在标准视频帧和art视频帧之间的典型信息的比较。使用art系统，只有选定的感兴趣区域(roi)已经被动态地保留在每个帧内，而不太有用的信息如背景已被去像素化。可以通过改变图像的其余部分去像素化的程度来动态地管理上传能力。在此示例中，每个人体周围的矩形已被保留，而其余的已被去像素化。
图63示出了通过art启用的智能门铃系统，其中将art启用的传感器放置在家庭入口门上或附近。所述系统能够实时检测接近的对象。所述系统是自学习的，并且因此不需要初始的校准设置。因此，系统能够在没有监督的情况下学习例如背景流量。不重要的信息诸如背景流量或环境运动可能不会被报告，并且可能被忽略。常规的行为诸如经过人和车被习得，且然后被识别为背景。检测并标记向门的任何接近。识别每个来访者，并向用户的移动设备发送推送通知。图64示出，当某人正在接近家时，系统可以检测到该人的面部，并且裁剪捕获的帧以提取检测到的面部的缩略图。所述系统可以采用一系列缩略图，并将其与其已知的数据库进行比较。
图65示出了在系统已辨识接近的人时所生成的事件的示例。系统可以经由附带缩略图的文本来警报所有者。它也可以例如发送邮递员到达并递送包裹的消息。
图66示出了设置art门铃系统的不同步骤的示例。安装后，系统配置有家庭id。以下是其中系统学习id和环境的30天自学习模式。然后，所述系统被设置并且可以由房主控制(管理普通警报之外的来访者的‘圈子’、每日/每周报告)。取决于特定家庭使用所需的服务(增加进一步的art复杂性、老年护理、多房间kx、娱乐控制)，还可以进一步增强系统。
也可以使用art系统通过仅保留关键细节(诸如仅人的面部的区域)来进一步减少负载。art能够将感兴趣的区域与特定的id相关联。因此，art还可以得知，特定的房主不需要保留某些信息。例如，狗的照片可能不需要每天保留和拍摄。因此，art能够提供大量的动态管理，其进一步降低服务提供商本地网络的负载。随着服务提供商管理的家庭数量的增加，这将是至关重要的。
art能够对人进行计数、识别他们并且还将其在已知和未知的之间进行区分。只有某些人能够使用预编程的特定手势来控制传感器。
总而言之，art将房主置于智能家居的中心，并扮演着考虑到一切的“忠实朋友”的角色。它还实施家中引入化身的独特方法。
可用特征的示例为但不限于：
·art认出您，并向您打招呼。
·art知道您的家人。
·art警告您有危险。
·art认识到跌倒、失速或爬行。
·art知道您什么时候开心。
·art对您的手势作出响应。
·art发现陌生人。
·art回顾并响应您的习惯。
·art构建有用的数据用于分析。
·art看着您的宠物。
art还提供优化能量管理的手段，充当智能安全控制，并针对所有智能家居设备有兴趣激活。不同玩家的一些好处或优点可以包括但不限于：
·实用程序提供商：
○品牌提升，
○主动指导，
○向增值关系服务提供(art业主)的过渡。
·绿色交易出售：
○认可的cap评级，
○扩大业主服务，
○优化的节能家居。
·住宅业主：
○缺勤期-坚持，
○监控宠物政策，
○了解物业上生活着的人数，
○确认禁区(阳台、游泳池)，
○特定租户行为-用电量、用水量(具有智能仪表)，
■绿色租户‘奖’，
○epc认证。
·商业业主：
○责任管理-拥有处所的人数，
○消防演习h&s-撤离确认，
○电梯系统-遵守最多人数。
图67示出了由art支持的护理监控的示例。art护理能够理解日常移动，诸如‘盖尔大约上午8点起床’(1)，‘盖尔在上午10点访问她的护理人员——待15分钟’(2和3)，‘盖尔和她的护理人员离开家’(4)，‘盖尔下午2点回来’(5)，‘盖尔下午看3小时电视’(6)。警报可以被设置和安排来确保具体的移动或信息是已知的，诸如‘盖尔在上午9:30时还未离开卧室’，‘护理人员没有来访’，‘护理人员只待了3分钟’，‘盖尔没有回家’或‘盖尔在晚上11:08离开家’。
图68示出了家庭内发生的实时场景的art系统演示。演示设置不使用任何基于云的系统。因此，演示的所有组成部分可以进入简报室，不依赖互联网访问或外部服务器软件，以使演示能够发生。基本部件是apical启用的摄像头传感器、apical集线器“中心”软件和可控电气设备，诸如灯开关。现有的apical服务器可能用于托管apical集线器中心软件。可以将直接馈送到服务器中的摄像头用作家庭的传感器。apical集线器中心软件的输出传输到演示设备控制器。此控制器可能不会物理上位于apical服务器中，并且只要通过某种描述的本地网络连接到apical集线器中心软件，其便可以位于任何位置。因此，apical集线器中心软件能够位于家中的任何第三方设备中，为客户提供实施灵活性。然而，它不必驻留在可控制的设备中或其控制器软件中。这确保了多个第三方控制系统可以使用软件产生的apical集线器心跳。
实时演示介绍：首先，诸如智能手机等移动设备可能拍摄房间内的两位主管的照片。这张照片拍摄的目的是使apical系统能够辨识两位主管，并将控制能力分配给仅其中一位主管，以便演示结合“手势”的“id”控制。调整演示设备控制器上的控制设置以反映授予一个主管而不授予另一个主管的权限。然后将摄像头指向主管，并要求他们相继依次作出手势。这被馈送到apical集线器中心软件，其创建了两个事件。第一个事件是在其作出手势时没有权限控制设备的主管。第二个事件是在其作出手势时有权限控制设备的主管。来自摄像头的原始传感器数据流在服务器内被转换为使用apicalfpga和嵌入式代码的xml流。此xml被发送到apical集线器中心软件——可以在同一服务器上运行的单独的应用。此软件可以在家中的任何设备上运行。apical集线器中心软件从“手势”和“id”服务的xml数据创建事件，并将其作为json对象推送到正在控制家庭设备(例如，灯或风扇等)的智能设备(手机、平板计算机或膝上型计算机)。心跳事件发送到设备控制器，其可以交叉检查其接收的每个事件的id。然后，它检查在演示开始时设置的本地规则，并且只有在从正确的主管接收到事件时才能打开设备来这样做。结果是，当房间中的其中一个客户主管作出一个手势灯或设备才打开，而当另一个客户主管作出相同的手势时灯或设备没有被打开。这清楚地表明id和手势事件生成串联工作，以允许进行智能家居控制。
在需要创建/装配的设备和软件方面演示存在三个主要组成部分：
1.现有的附接有摄像头的apical服务器，发挥作用以能够执行手势辨识，并且还全部可以实时使用第三方软件进行面部辨识。
2.apical集线器中心软件，其可以从fpga接收xml流，并将其转换成json格式的事件，将它们从网络端口推送到最终设备。
3.智能手机、平板计算机或膝上型计算机设备，它们与上述服务器联网。它包含某个控制软件，所述控制软件控制使用例如数模转换器卡、电源、开关和灯泡连接到其上的物理电气设备。控制器应用必须能够读取以json格式到达的事件的手势和id，并且保留一组规则以根据id允许或禁止手势。然后控制器必须在手势控制上起作用，并根据开关的当前状态打开或关闭灯。膝上型计算机和智能手机的组合在此可能与使用usb端口连接到膝上型计算机的dac卡一起工作。请注意，dac可以是raspberrypi控制板，例如用于演示目的。
此设置可能是使用基于智能手机或膝上型计算机的控制应用的任何现成的照明控制套件。可以创建接收json事件和进入控制器的接口的软件。这也可以使用膝上型计算机、控制电源开关(可以连接灯或任何电气设备)的dac卡来实施。服务器必须经由有线以太网电缆或wi-fi与照明控制器通信，所述照明控制器发送包含手势控制信息的json事件对象。此演示中的当前服务器包括连接馈送到fpga分析中的摄像头。
图69示出了车辆内部的art的实施。后向式摄像头可以位于车辆后视镜上或与车辆后视镜相关，使得其捕获乘客和驾驶员。art系统可以实时监控车辆内部，为所有乘客(包括驾驶员)提供护理和保护。
如图69所示的设置也可以用于诸如出租车等用于出租的运输车辆中。然后，art系统可以提供关于出租车驾驶员以及出租车乘客的各种有用信息。
由art系统提取的数据可以直接与出租车公司现有的移动或web应用集成。这在图70中示出，客户可以经由移动应用招呼出租车(1)，并且放置在后视镜周围的摄像头可以捕获乘客的视频、图像或缩略图(2)。图像/视频或缩略图和/或额外的数据可以从系统远程存储，诸如在安全云中(3)。它可以存储一段有限的时间(例如，30天)。可以提供增强的移动用户体验(4)，其中使用先前捕获的图像来更新移动应用。图像也可以在移动应用上自动或以特定的时间间隔刷新。因此，出租车公司‘知道’乘客在车上。此外，客户还知道出租车公司知道，以及art系统知道。
图像或视频上传到远程位置，诸如安全云中，它们通过其中支持3g和4g上传(逐帧)的spirit进行管理。所有乘客(包括驾驶员)都可以进行实时监控，并且车内人数随时可知。客户可以选择面部识别，并且因此可进行实时注册。
旅程的时间、图像和乘坐信息也可以与其他人共享，诸如希望访问乘客的健康状况的父母或监护人。因此，例如父母可能会得到通知乘客何时安全地在车上以及估计的到达时间。
可以收集驾驶员行为的详细认知，诸如位置、驾驶员驾驶了多长时间、汽车的加速度多快或测量方式、汽车的制动条件如何糟糕或平稳、汽车的转弯有多难或温和。根据这些数据，可以构建驾驶员行为的详细配置文件，使得可能例如：
·评价驾驶员，
·在t&c中包括可接受的行为，
·发展明星俱乐部——最佳驾驶员积分，
·佩戴‘带着自豪感的星星’。
这个应用对于乘坐者来说有几个好处，诸如安心、可用的详细的驾驶员历史、旅途中的零售记录或需要时的备份历史。驾驶员也可以受益于例如增强的历史、较低的保险成本、满意的乘坐者和较少被拒的乘坐者。
此外，在碰撞的情况下，可以利用前向摄像头，其了解道路状况和环境，诸如其他汽车和行人的接近以及其他重要信息。
下表中提供了art、aware和alive的使用情况的其他示例。
art使用情况示例：
表3：家庭安防(图63-图65)
表4：控制
表5.hems
表6：教育
表7：护理
表8：aware，零售
表9：其他使用情况：
注意
应当了解，上述布置仅仅是说明本发明的原理的应用。在不脱离本发明的精神和范围的情况下，可以设想出许多修改和替代布置。尽管已经结合目前被认为是本发明的最实际和优选的示例的示例特定地并详细地在附图中示出并在上文完全描述了本发明，但是本领域中的普通技术人员将明白，在不脱离本文所阐述的本发明的原理和概念的情况下，可以作出许多修改。
- 还没有人留言评论。精彩留言会获得点赞！