用于分布式系统的事务性非结构化数据驱动的顺序联合查询方法与流程

文档序号:17439433发布日期:2019-04-17 04:33阅读:210来源:国知局
用于分布式系统的事务性非结构化数据驱动的顺序联合查询方法与流程

本公开的实施例总体上涉及数据组织的方法,并且更具体地,涉及用于查询与分布式住宅系统、商业系统、和/或工业系统相关联的数据的系统和方法。

优先权要求

本申请要求以下临时专利申请的优先权及其利益:2016年6月23日提交的标题为“transactional-unstructureddatadrivensequentialfederatedquerymethodsfordistributedsystems”且序列号为us62/354,039的美国临时申请。上述专利申请的全部内容通过引用明确地并入本文。

背景

相关技术的描述

本申请要求以下临时专利申请的优先权及其利益:2016年6月23日提交的标题为“transactional-unstructureddatadrivensequentialfederatedquerymethodsfordistributedsystems”且序列号为us62/354,039的美国临时申请。上述专利申请的全部内容通过引用明确地并入本文。

物联网(iot)有望大规模地将元件(element)互联在一起。这些连接的元件可以包括设备、车辆、家庭、城市、和任何其他系统或系统集合,这些系统或系统集合包含使这些系统能够收集并交换数据的适用电子硬件、软件、传感器、和连接性。这种融合允许这样的大量数据在全球范围内被收集时转换成可执行的(actionable)信息。为了完成一项或更多项特定任务,系统之间形成了互动和合作。这些任务因应用的上下文和环境而异。例如,任务的范围可以从环境特征的感测和监测(例如单个房间的温度或湿度)到对整个建筑物或设施的控制和优化,以实现更大的目标,例如能源管理战略。

根据应用,连接的元件包括异构和/或同构硬件,其促进了感测、操作、致动、数据捕获、数据存储、数据处理和/或数据分析。每种类型的元件都包括唯一的数据结构,该唯一的数据结构详细描述了硬件自身的能力和/或测量的参数的数字表示。例如,温度传感器可以实现不同的硬件以促进温度测量。该硬件也可以相应地提供不同的数据参数、值、和/或操作单元(例如温度测量单元、时间格式、mac地址、ip地址、和/或cpu类型数据)。

数据结构单元、值、和参数复杂性因储存装置和组织分布而加剧,这些储存装置和组织分布可能存在于在多个存储库内的任意数量的存储器储存装置位置或混合数据结构中。此外,这种数据可访问性因试图统一跨跃(span)大的且不一致的时间段的数据集的可访问性、存储周期、基于状态的或非结构化的数据而变得复杂。因此,由于通过各种各样的可用的连接的元件及其相应的数据结构可以确切地获得大量的异构数据,高效地和有效地分析这些海量数据是一项严峻的挑战。

概述

本文讨论了促进处理并执行顺序联合查询的方法和系统,以用于识别并产生与住宅系统、商业系统、和/或工业系统相关联的或由住宅系统、商业系统、和/或工业系统生成的可访问的、可执行的、和可操作的数据。高效的和有效的数据处理增益是通过两部分顺序联合查询过程来实现的。在各个实施例中,顺序联合查询对事务性非结构化数据源(tuds)以及随后对上下文特征数据源(ccds)访问、过滤、处理、翻译、查询、和/或执行操作。tuds数据组织可以包括诸如时间序列id、时间和日期戳、和/或参数值的数据。此外,非结构化或多结构化数据也可以被包括在tuds内。ccds数据组织可以包括诸如协议、用途(usage)、物理量、或拓扑(topography)关系等数据,以及特定于应用(诸如数据中心、建筑物、或智能电网)的本体(ontology)。

公开了一种用于执行关于住宅系统、商业系统、和/或分布式系统中的信息的顺序联合查询的方法和系统。处理关于分布式系统的顺序联合查询的方法可以包括:接收顺序联合查询;将顺序联合查询解构为查询元素(element);基于查询元素识别事务性非结构化数据源(tuds)、上下文特征数据源(ccds)、和数据组织参数;基于数据组织参数从tuds生成tuds结果数据集;处理tuds结果数据集和数据组织参数以开发ccds查询;基于开发的ccds查询和数据组织参数,从ccds生成ccds结果数据集;基于ccds结果数据集和数据组织参数,生成最终顺序联合查询数据集;基于对最终顺序联合查询数据集和数据组织参数的处理,处理格式化的顺序联合查询数据集;以及将格式化的顺序联合查询数据集提供给关于动作的管理系统。

公开的原理考虑了:接收顺序联合查询是从用户和系统中的至少一个发起的。此外,接收顺序联合查询是来自于数据库、用户界面、和应用界面中的至少一个。

在公开的一些实施例中,查询元素是基于时间序列的。此外,时间序列查询元素是时间序列数据、时间序列状态数据、时间戳数据、和非结构化数据格式中的一种。

在公开的一些实施例中,利用了基于查询元素的多个上下文特征数据源(ccds)中的一个、事务性非结构化数据源(tuds)、和数据组织参数。此外,tuds结果数据集包括由连接的元件生成的操作异常数据。

公开的进一步实施例考虑了:其中,ccds结果集是基于上下文的数据。此外,基于上下文的数据是数据位置、数据操作、和数据源中的一种。此外,关于动作的管理系统是建筑物管理系统(bms)。

公开的原理考虑了一种存储用于处理关于分布式系统的顺序联合查询的计算机可执行指令序列的非暂时性计算机可读介质,该计算机可执行指令序列包括指示至少一个处理器执行以下动作的指令:接收顺序联合查询,将顺序联合查询解构为查询元素,基于查询元素识别事务性非结构化数据源(tuds)、上下文特征数据源(ccds)、以及数据组织参数,基于数据组织参数从tuds生成tuds结果数据集,处理tuds结果数据集和数据组织参数以开发ccds查询,基于开发的ccds查询和数据组织参数从ccds生成ccds结果数据集,基于ccds结果数据集和数据组织参数生成最终顺序联合查询数据集,基于对最终顺序联合查询数据集和数据组织参数的处理来处理格式化的顺序联合查询数据集,并且在处理器处将格式化的顺序联合查询数据集提供给关于动作的管理系统。

公开的原理考虑了:至少一个处理器还被配置为,接收顺序联合查询是从用户和系统中的至少一者发起的。此外,至少一个处理器还被配置为,来自于数据库、用户界面和应用界面中的至少一个。

在公开的一些实施例中,至少一个处理器还被配置为,其中,查询元素是基于时间序列的。此外,至少一个处理器还被配置为,其中,时间序列查询元素是时间序列数据、时间序列状态数据、时间戳数据、和非结构化数据格式中的一种。

公开的进一步实施例考虑了:至少一个处理器还被配置为,利用了基于查询元素的多个上下文特征数据源(ccds)、事务性非结构化数据源(tuds)、和数据组织参数中的一个。此外,至少一个处理器还被配置为,tuds结果数据集包括由连接的元件生成的操作异常数据。

公开的进一步实施例考虑了:至少一个处理器还被配置为,其中,ccds结果集是基于上下文的数据。另外,至少一个处理器还被配置为,基于上下文的数据是数据位置、数据操作、和数据源中的一种。此外,至少一个处理器还被配置为,关于动作的管理系统是建筑物管理系统(bms)。

附图简述

这些附图并非旨在按比例绘制。在附图中,在各个图中示出的每个相同或几乎相同的组分由划线数字表示。出于清楚的目的,并非每个组分都可以在每个图中被标记。在附图中:

图1示出了根据本公开的各个实施例的用于执行顺序联合查询的系统的方面;

图2示出了根据本公开的各个实施例的可以连接到用于执行顺序联合查询的系统的异构硬件连接的元件的方面;

图3示出了根据本公开的各个实施例的为执行顺序联合查询的系统提供数据的异构硬件连接的元件的示例性部署;

图4a示出了根据本公开的各个实施例的为执行顺序联合查询的系统提供数据的示例性数据组织结构;

图4b示出了根据本公开的各个实施例的为执行顺序联合查询的系统提供数据的示例性事务性非结构化数据源(tuds)数据组织结构;

图4c示出了根据本公开的各个实施例的为执行顺序联合查询方法的系统提供数据的示例性上下文特征数据源(ccds)数据组织结构;

图5示出了根据本公开的各个实施例的用于执行顺序联合查询的系统组分的框图;

图6a和图6b是示出根据本公开的各个实施例的执行顺序联合查询方法的流程图;

图7示出了根据本公开的各个实施例的用于执行顺序联合查询的数据组织和处理流程图的示例系统;

图8示出了根据本公开的各个实施例的用于执行顺序联合查询方法的示例性系统;

图9是根据本公开的实施例的处理系统的功能框图;

图10是根据图9的处理系统的处理存储系统的功能框图。

详细描述

本公开并不将其应用限于下面描述中阐述的或者由附图示出的组分的结构以及布置的细节。本公开能够具有其他实施例,并且能够以各种方式来被实践或被执行。另外,本文所用的措辞和术语是出于描述的目的,并且不应当被视为具有限制性。“包括(including)”、“包括(comprising)”、“具有”、“涉及”、及变型在本文中的使用意在是开放式的,即“包括但不限于”。

在物联网(iot)或更普遍的网络物理系统(cps)的新兴世界中,多种技术正在融合,这促进了感测、致动、数据捕获、存储、处理、和/或分析来自连接的元件大阵列的数据。可以使用现有网络基础设施来远程访问这些连接的元件,以促进高效的和有效的机器对机器(m2m)和人对机器(h2m)通信。在该通信期间,随着连接的元件的网络随着时间的推移而变化并收集数据,来自这些连接的元件以及外部源的海量数据将被生成、存储,并促进之前不可能的相关性。底层硬件和相对应的相关联数据结构的完全不同的异构本性加剧了组织、进行访问、分析、操作、和/或作用于连接的元件动态集的问题。

数据量、多样性、和速度都在以远远超出大多数计算系统使用可用方法来有效地和高效地组织并分析过去、现在、和未来数据以进行动作的能力的速度在增长。当前需要有能力来促进识别并分析数据模式、异常值和/或可能与当今连接的系统中在线可用的真实大量数据内的操作条件相关的条件。还需要将这些数据模式、异常值和/或条件与关于特定系统内离散连接的元件的可执行的信息点联系起来。应当理解,所公开的方法和系统不仅仅是可用数据的呈现,而是一种促进针对搜索并关联大量数据以向系统或用户提供通过自动化可以对其采取动作的可执行的信息的技术问题的数据集的组织的方法和系统。

自2012年以来,每天创建大约2.5艾字节(exabyte)(1018字节)的数据。这些数据大多本质上是事务性或非结构化的。示例包括文本、语音、视频、和/或测量数据,例如既没有设置数据结构也没有相关联的上下文的温度。日复一日增加的这种数据量通常被称为“数据湖”。

分布式住宅系统、商业系统、和/或工业系统将包含各种连接的元件,以提供关于特定设施的数据。这些连的接元件可以具有不同的硬件实现方式,这些硬件实现方式生成不同的值、单元、或参数,以向产生的数据提供上下文。连接的元件还可以具有特征数据,例如协议、用途、物理量、或拓扑关系、以及特定于应用(例如数据中心、建筑物、或智能电网)的上下文数据。

系统的实现方式的关键目标之一涉及促进数据模式、异常值和/或条件的识别和分析,并将它们与基础设施内的离散连接的元件联系起来。这可以通过实现两部分顺序联合查询过程来实现:首先查询事务性非结构化数据源,以及其次,使用来自第一查询的结果用于第二查询成为上下文特征数据源。更具体地说,该第一查询扩展地搜索被存储在事务性非结构化数据源中的大量数据值,以识别数据集内的操作异常。第二查询涉及处理事务性非结构化结果数据集,并准备查询上下文特征数据源,以提供与事务性非结构化结果数据集内识别的连接的元件相关联的操作特征/上下文。通过执行第二查询,系统/用户可以验证并确定数据模式、异常值和/或条件是否可接受,并且是否在操作容限内,或者是否是即将发生的设备故障的征兆。

该方法的示例应用可以包括但不限于:(1)管理建筑物hvac系统以确保居住者的舒适性,(2)维护办公室环境空气质量(其可以包括温度、湿度、和二氧化碳含量),并根据当前的天气条件动态调整办公室环境,(3)通过监测并控制日常操作、维护、和监督设施操作来管理工厂。这种应用的商业实施例可以被实现为家庭、建筑物、或工业自动化系统的一部分。

应当理解,本文描述的系统促进了在配置、特征、功能性、和/或终端用户应用方面的显著灵活性,并且尽管描述了几个示例,但是各种替代实施例配置和实现方式都是可能的。

图1示出了促进顺序联合查询100的生成和/或执行的系统的方面。用于执行顺序联合查询方法的系统可以包括一个或更多个处理系统110和云计算环境120。连接到云计算环境120的是各种建筑物类型,例如住宅、商业、和/或工业建筑物(分别为140、150、和160)。每个建筑物可以具有相关联的数据存储阵列(分别为130a、130b、和130n)。由于网络连接180,一个或更多个连接的元件(在图2中示出)与这些建筑物相关联,以允许系统各部分之间的数据交换。

对于包括用于顺序联合查询方法100的系统的建筑物的类型或数量没有暗示限制。例如,实施例可以包括住宅140和相关联的数据存储阵列130a、办公室建筑物150和相关联的数据存储阵列130b、或者工业设施160和相关联的数据存储阵列130n。每个建筑物可以维持与云计算环境120的网络连接180以及经由网络连接180从每个建筑物中的连接的元件到每个存储阵列。应当理解,用于顺序联合查询方法100的系统的各个部分促进协同定位(co-locate)或远程存储或处理解决方案。例如,用于住宅140的数据存储阵列130a可以位于住宅140本身内、在云计算环境120的外部但在附近、和/或分布在一个或更多个存储节点上。

在图1中示出的系统的一个实施例中,建筑物150包含一个或更多个连接的元件,该一个或更多个元件执行感测、致动、数据捕获、存储、或用于对建筑物150的监测或管理的处理。任何种类的连接的元件可以用于对云计算环境120、对系统的其他部分,在网络连接180上捕获、存储、处理数据、致动、和/或操作相关联的设备。这些连接的元件可以包括硬件、模块、和/或传感器。

例如,连接的元件、传感器、或硬件可以被配置用于检测温度、湿度、环境光、声音、烟雾、一氧化碳、二氧化碳、运动、非导电流体、导电流体、振动、能量、功率、电压、电流、或任何其他期望的特征、及其组合。连接的元件还可以操作、控制或联结(articulate)其它连接的元件、组分、和/或其它系统,例如打开灯、打开门或窗、移动窗帘、或触发门锁。连接的元件可以拥有处理来自其他连接的元件的数据或将数据从一个或更多个连接的元件传播到一个或更多个其他连接的元件的能力。这种硬件处理能力可以是通过传感器测量环境参数的补充或替代。任何数量的连接的元件可以以任何组合来部署,以监测或管理物理空间,包括例如壁橱、房间、住宅、商业建筑物、校园、办公室、散步场所(promenade)、工业装置、或任何其他期望的位置。

包含连接的元件的每个建筑物可以通过网络连接180最终连接到云计算环境120。该网络连接180允许通过能够以有线或无线连接方式连接到这样的环境的各种设备来对云计算环境120进行访问。从图1,这样的设备可以包括能够接收来自用户的输入或提供自主操作的一个或更多个处理系统110。一个或更多个相关联的数据存储阵列130a、130b、130n可以用于提供上下文特征数据、事务性非结构化数据、或两者的附加数据存储能力。应当理解,云计算环境120在提供到附加连接的元件或系统的附加通信路径的同时,不需要作为顺序联合查询方法的一部分。实施例考虑了自含式的(self-contained)、独立的、或分布式的系统。

图2示出了根据本公开的各个实施例的连接到用于执行顺序联合查询200的系统的异构硬件连接的元件的方面。在一个实施例中,建筑物150包含一种或更多种类型的连接的元件210、220、230、240,以用于监测或管理结构。这些连接的元件210、220、230、240经由有线网络连接250或无线网络连接260网络进行通信,并且使得来自每个连接的元件的数据结构经由网络连接180可用于云环境120。网络连接180可以包括有线和/或无线连接类型。

例如,这样的连接可以包括但不限于任何物理布线方法,诸如5类电缆(category5cable)、同轴电缆、光纤、铜线、双绞线、或任何其它物理介质,以传播电信号。无线连接可以包括但不限于个域网(pan)、局域网(lan)、wi-fi、蓝牙、蜂窝、全局网(global)、或基于空间的通信网络。在其他实施方式中,云环境120和任何其他云环境之间的访问是可能的。这些其他云环境被配置为与类似于云环境(例如现有的云环境120)的设备连接。应当理解,图中示出的和本文讨论的计算设备仅旨在是说明性的并且计算节点和云计算环境可通过具有可寻址或直接连接的任何类型的网络与任何类型的计算机化设备进行通信。

可以使用任何种类的连接的元件对云计算环境120、对系统的其他部分,在网络连接180上执行组织、访问、分析、以及操作或感测、致动、数据捕获、存储、或处理。因此,这些设备可以分别具有与每个设备相关联的不同数据参数、字段、单元、或通用整体数据结构。

例如,如图2所示,连接的元件210可以是连接的传感器,以测量二氧化碳,以用于监测建筑物150的空气质量并经由有线网络连接250进行通信。连接的元件可以被配置成获取数据并控制各种模块(例如连接的传感器)以检测环境光,并且致动器连接的元件220被实现成改变居住者(occupant)灯具的状态并且经由有线网络连接250进行通信。连接的元件可以是关于温度和湿度连接的元件230的连接的传感器,以监测建筑物150的环境,并经由无线网络连接260进行通信。最后,连接的元件240用作连接的网关,以经由它们相应的网络连接250、260与相关联的连接的元件210、220、230进行通信,处理每个元件的数据结构,并将其发送到网络连接180以用于传输到云环境120。应当理解,云计算环境120在提供到附加设备或系统的附加通信路径的时候,不需要作为顺序联合查询方法的一部分。其他实施例考虑了自含式的(self-contained)、独立系统、和/或分布式系统。

这些连接的元件不需要以任何方式被地理定位或逻辑分组以利用本公开的实施例。在地理上或逻辑上对连接的元件进行分组可以允许更经济的使用。可以实现地理分组(例如在公寓、家庭或办公室建筑物中),以及按功能来逻辑定位连接的元件。许多逻辑分组示例中的一个逻辑分组示例可以是定位被设计成靠近用于检测环境中的变化的被占用的位置感测温度的连接的端点。应当理解,连接的端点的分组也可以位于非常大的地理范围内,甚至全球范围内。这种全球操作可以通过位于全球任何数量设施中的网络来进行监测。

图3示出了根据本公开的各个实施例的为执行顺序联合查询的系统提供数据的系统300的异构硬件连接的元件的示例性部署。示出了具有(3)层的建筑物310。楼层(1)312、楼层(2)314、楼层(3)316被包含在建筑物310内。在图3中,每个楼层具有(3)个不同类型的连接的元件。例如,连接的元件可以是连接的传感器,以测量二氧化碳330、332、334,以用于监测建筑物310的空气质量,并经由有线网络连接进行通信。连接的元件可以是检测环境光的连接的传感器和改变居住者灯具状态的致动器340、342、344,并经由有线网络连接进行通信。连接的元件可以是关于温度和湿度的连接的传感器350、352、354,以监测建筑物310的环境,并经由无线网络连接进行通信。

给定图3中示出的配置,每个连接的元件可以具有上下文特征数据结构,其包括但不限于传感器特定信息(温度/湿度、二氧化碳和环境光)、地理信息(区域、楼层、建筑物)、和网络信息(mac地址、ip地址、有线、无线)。其它连接的元件信息以及与连接的元件本身的操作相关的信息可以是可用的。作为一个示例,在线或离线状态可以用于进一步添加到每个连接的元件的数据结构中。

此外,每个连接的元件可以具有事务性非结构化数据结构,其包括但不限于基于时间、状态、或非结构化被存储的传感器特定信息(在本示例中为温度/湿度值、二氧化碳、和环境光)。通过这种方式,每个连接的元件都有一个与之相关联的历史。该历史或“数据日志”可用于确定并识别特定连接的元件的时间数据中的趋势和/或操作特征。此外,对于特定地理空间、系统、和/或诸如建筑物的系统组的趋势和/或操作特征,可以分析来自各个连接的元件的历史的组合的数据。事务性非结构化数据的使用预计会随着时间增长,并因此,需要高效的查询处理,以允许对这种不断扩展的“数据湖”进行高效的和有效的查询。

促进处理并执行联合查询以识别并产生与住宅、商业、和/或工业系统相关联或由住宅、商业、和/或工业系统生成的可访问的、可执行的、和可操作的数据的方法和系统。通过执行两部分顺序联合查询,实现了促进对操作异常的识别,并将这些异常与基础设施内的离散连接的元件联系起来。该顺序联合查询是通过实现两部分顺序联合查询过程来实现的:首先查询事务性非结构化数据源,以及其次,使用来自第一查询的结果将第二查询开发成上下文特征数据源。通过按顺序执行这些查询,其中来自事务性非结构化数据源的结果生成了朝向上下文特征数据源的第二查询,从而创建了确定功能异常值的高效的和有效的方法。

图4a示出了根据本公开的各个实施例的为执行顺序联合查询的系统提供数据的系统400的示例性数据组织结构。如图4a中所示,一个或更多个处理系统110通过网络连接180发起顺序联合查询。查询在两部分中执行。首先,系统查询事务性非结构化数据源(tuds)410。在图4b中描述了tuds的示例。第二,来自tuds410查询的结果被处理并用于开发关于上下文特征数据源(ccds)420的查询。在图4c中描述了ccds的示例。一旦数据源上的处理完成,任何可执行的、可操作的数据结果和相对应的活动都在适当的物理位置(例如建筑物310)中被执行。作为一个示例,利用光传感器读数来确定校园的特定建筑物中哪些光传感器出了故障。这两个步骤通过处理该tuds结果数据集来简化搜索“数据湖”中可用的大量事务性非结构化数据,以识别数据趋势或异常,在提供连接的元件上下文之后,使用ccds来确定可执行的或可操作的数据和/或解决方案,在本示例中,这是确定功能异常值的高效的和有效的方法。

示例性tuds410和ccds420在所公开的顺序联合查询方法中都被顺序地利用,以产生可执行的结果。本公开的实施例考虑了:该数据可以被存储在单个数据阵列、多个数据阵列、本地、远程、基于云、或其中的任何组合上。

图4b示出了促进顺序联合查询的系统上的连接的元件和相关联的数据的示例性tuds410组织结构。存在用于顺序联合查询的系统的实施例,其中多个连接的元件向系统提供上下文特征数据和事务性非结构化数据。应当理解,该数据可以在特定系统内部(例如一系列湿度测量)、在系统外部(例如公用事业公司提供的功耗率)、或者两者都有。当所分析的每个连接的元件可以具有相关联的事务性非结构化数据以及上下文特征数据时,系统的特征促进了解决大量事务性非结构化数据的问题。应当理解,这两种类型的数据或数据源对于本公开的实施例都不是必需的。

该tuds410也可以包括几种数据类型。时间序列数据430可以包含几个数据字段,这些数据字段拥有时间序列id,或者用作识别ccds420中的设备的密钥某个唯一的标识符。此外,每个时间序列数据元素可以具有时间和日期戳(stamp),以识别特定时刻的数据包,和/或唯一的设备标识符。最后,参数值可以与存储一个或更多个数据值的时间序列数据元素相关联。时间序列数据430的示例可以包括来自温度传感器的测量结果,该测量结果可以随时间绘图和绘制以示出可视曲线。

时间序列状态数据440类似于时间序列数据430,然而,代替从传感器存储的数值参数,可以从光传感器捕获的诸如“开”或“关”状态。根据传感器或连接的元件可以捕获无限数量的状态,诸如“高”、“中”或“低”或分层状态机(hsm)中的多个状态中的任何一个。对于来自其他示例的时间序列数据中一种类型,没有暗指任何限制。

时间戳数据450也可以存在于事务性非结构化数据中,其中另外的非结构化数据可以具有相关联的时间戳。该数据类型的示例可以是在接收上加盖时间戳的电子邮件消息。这种事务性非结构化数据可以用于顺序联合查询中,以帮助系统的数据相关性。

非结构化数据460可以存在,其可以不具有相关联的时间,但是在顺序联合查询中可能非常有用,以帮助系统的数据相关性、分析、操作、和/或控制。该数据类型的示例可以是与社交媒体应用程序、图像、文本文件、或其他没有时间戳的文档相关联的数据。这种事务性非结构化数据可以与上下文特征数据结合使用,以形成系统的可执行的相关性。应当理解,“非结构化数据”还包括“多结构化数据”。换句话说,尽管数据结构不一致,但几个异构数据结构集合在一起。这种数据以多种格式存在,并且可以驻留在事务性和非事务性类型的系统中。通常,这些类型的数据指的是在创建数据时可能不具有定义的数据模型或以定义的方式组织的信息。

图4c示出了关于与系统相关联的连接的元件的示例性ccds420组织数据结构。应当理解,任何组合中的任何连接的元件类型可以存在于任何地理位置,并且包括在相应数据结构内的附加信息。示例性ccds420数据组织包括诸如协议、用途、物理量、或拓扑关系的参数,以及特定于应用、连接的元件、或特定于诸如数据中心、建筑物、或智能电网的位置的本体和/或上下文。

应当理解,虽然每个连接的元件可以具有相关联的上下文特征数据和事务性非结构化数据结构,但是连接的元件的数据结构的数量可以基于所涉及的硬件、特定配置、或应用而变化。一旦以该方式组织了连接的元件数据结构,就可以执行多维顺序联合分析,而无需物理系统和相关联的连接的元件是离散的或对其深入的了解。此外,上述只是数据的示例,并且不应当被视为以任何方式进行限制。

图5示出了根据本公开的各个实施例的组织、访问、分析、操作、和执行顺序联合查询的系统组件500的框图。用户和/或来自机器的自动化过程可以生成并提交顺序联合查询。用户或系统发起的查询可以在处理系统110处开始。在其他实现方式中,机器发起的查询必然地来源于系统中的任何其他过程。应当理解,发起顺序联合查询的方法并不相互排斥。在两种情况下,由联合查询处理器510处理的顺序联合查询是具有特定语法的结构化联合查询。在一个示例中,sql或任何其他事务性非结构化查询语言可以用于提供结构化查询语法。该语法结构可以包括各种数据源的使用、诸如匹配或绘图的操作、分配、聚合、或子查询。

顺序联合查询被接收到联合查询处理器510中,在图5中被示出为一系列模块,包括:查询解构(qd)功能模块520、数据源识别和处理(dsip)功能模块530、以及结果转换和过滤(rtf)功能模块540。此外,事务性非结构化数据源(tuds)410可以存储测量、参数、文本、时间戳、或与连接的元件相关联的其他数据、或与任何连接的元件不相关联的其他数据。该数据集的示例可以包括给定发电设施的所有用电数据。此外,还示出了上下文特征数据源(ccds)420,其可以存储与诸如建筑物310的结构中的连接的元件相关联的上下文特征数据。应当理解,两个数据源都可以驻留在相同物理设备上,或者在一个或多个系统上。

查询解码器(qd)520分析顺序联合查询并将其解构成查询元素。这些查询元素可以包括上下文数据或运算符,例如要使用的任何数据源的位置、数据的操作参数、要对结果执行的过滤、以及任何输出格式。

数据源识别和处理(dsip)功能模块530处理并利用查询元素,以分析查询元素,并基于解构的查询元素对翻译的数据源或从结果数据构建的查询执行操作。这些数据源可以包括tuds410、ccds420、和/或数据源的组合。在本文所述的示例中,首先查询tuds410,处理、翻译结果,并将其用于在ccds420上执行查询。由于tuds和ccds的数据存储范式(paradigm)不同,有必要根据目标数据源范式来处理查询。dsip能够根据目标的存储数据技术生成查询。数据存储技术公开了查询语言,如sparql、sql、mongodb查询等。

tuds查询将由数据源识别和处理(dsip)功能模块530来执行,并被发送550到tuds410。一旦查询完成,tuds结果数据将被返回555给数据源识别和处理(dsip)功能模块530。类似地,基于返回555的tuds查询数据结果开发的ccds查询将由数据源识别和处理(dsip)功能模块530来执行,并被发送560到ccds420。一旦查询完成,ccds结果数据将被返回565到数据源识别和处理(dsip)功能模块530。

一旦数据在tuds410和ccds420中被查询,由查询元素定义的结果被结果转换和过滤模块540处理和/或过滤并翻译成初始顺序联合查询中指定的格式。为翻译准备的数据格式示例可以包括csv、xml、json、或rdf。翻译的结果被发送回用于在相应环境中进行操作或动作的处理系统110,例如在建筑物310内执行的建筑物管理系统。

图6a和图6b是示出根据本公开的各个实施例的执行顺序联合查询的方法600的流程图。如所讨论,从用户或处理系统接收顺序联合查询610。这可以是来自用户的手动动作,来自另一个处理系统的自动动作,或者两者的某种组合。应当理解,不止一个数据源或连接的元件可以是顺序联合查询的目标。这包括内部系统和外部数据,例如来自“数据仓库(warehouse)”或“数据湖”的数据。应当理解,所公开的方法并不仅仅导致可用数据的呈现,还导致一种促进针对搜索并关联大量数据以向系统或用户提供通过自动化可以对其采取动作的可执行的信息的技术问题的数据集的组织的方法。

一旦被接收,顺序联合查询被解构成其复合查询元素620。这些查询元素可以包括要使用的任何数据源的位置、数据的操作参数、以及要对结果执行的任何过滤和/或处理。一旦被解构,就执行错误检查625,以确定正在请求什么顺序联合查询和对应的数据源类型,以及基于确定的查询元素是否可以满足这样的请求。如果所确定的查询元素不正确以支持所请求的查询类型,则该过程返回到接收顺序联合查询610输入元素以用于重新提交和/或重组顺序联合查询。

如果查询元素正确支持所请求的查询类型,则该方法通过识别事务性非结构化数据源(tuds)、上下文特征数据源(ccds)、和/或任何数据组织参数630来继续。在一个示例中,还执行验证635来验证数据源当前是否以顺序联合查询中指定的形式或位置而存在。此外,可以确定可用数据的类型和/或源是否适合于这种查询。例如,如果存在特定类型的上下文特征,或者如果存在多个事务性非结构化源,则可能需要进一步的逻辑。

一旦验证了635每个数据源,基于从顺序联合查询确定的数据组织参数来查询事务性非结构化数据集640。对事务性非结构化数据的该查询以诸如时间序列数据430、时间序列状态数据440、时间戳数据450、或非结构化数据460的格式来创建集中的tuds结果数据集。然后,可以处理该tuds结果数据集以开发tuds结果数据集,以获得tuda数据的上下文。这以时间高效的方式产生对系统用户(如建筑物管理员)和/或特定系统最有用的细化(refined)数据集。该流程从图6a继续到图6b的645。

一旦事务性非结构化查询创建了聚焦的数据集,该数据集就被转换成上下文特征源查询650。该数据集的格式可以包括被设计来表示连接的元件之间的关系的任何语义web语言。示例可以包括但不限于rdf、owl、jsonld、json、xml、或csv。应当理解,查询数据源的顺序是实现本文所述效率的重要方面。该顺序数据源排序方法(1)事务性非结构化源查询,随后是(2)上下文特征源查询,通过基本上集中步骤(2)数据查询以识别最终与步骤(1)中的事务性非结构化数据相关联的上下文特征数据,促进有效搜索扩展的tuds和上下文特征数据集。

根据来自上下文特征数据集的查询结果,基于来自数据源的结果和数据组织参数来提取结果数据集660。根据该结果数据集,将以上下文特征格式(例如owl、jsonld、json、xml、或csv)来创建细化数据集670。该结果数据集然后基于查询参数被处理和/或过滤,并被转换以形成最终数据集680。为翻译准备的数据格式示例可以包括csv、xml、json、或rdf。

然后验证该最终数据集685,以基于结果数据来确定可以采取什么动作、操作、或分析。如果这些动作被确定有效,则它们可以被发送给用户或管理系统,例如用于执行的建筑物管理系统。如果这些动作被确定无效,则处理返回到接收顺序联合查询695以进行重新提交。

图7示出了根据本公开的各个实施例的用于执行顺序联合查询的数据组织和处理流程图700的示例性系统。该系统的实施例示出了在从用户或处理系统输入时接收的顺序联合查询。顺序联合查询的创建可以是来自用户的手动动作,作为另一处理系统的一部分或从另一处理系统生成,或者两者的某种组合701。顺序联合查询可以利用诸如sql、odata、mongodb、sparql语言或任何其他语言来查询任何事务性非结构化数据源751,在图7中被示出为“系统1”。

一旦被接收,顺序联合查询被解构成其复合查询元素702。这些查询元素可以包括要使用的任何数据源的位置,例如“系统1”751内的事务性非结构化数据源(tuds)或“系统2”752内的上下文特征数据源(ccds)。数据的操作参数以及对结果要执行的任何过滤也可以被包括在查询元素中。

基于从初始顺序联合查询702解构的查询元素,在“系统1”751的tuds上执行查询703。系统接收704来自在“系统1”上执行的tuds查询的该基于事务性非结构化数据的结果,对其进行处理705,并将其翻译成上下文特征数据格式706,例如owl、jsonld、json、xml、或csv、或其他。

现在翻译成上下文特征数据格式706,这些结果作为查询707被注入“系统2”752的ccds。该查询可以被格式化为sparql或任何其他查询语言。该查询由“系统2”752处理708,并且结果709产生上下文特征数据格式的数据,但仅参考先前指定的事务性非结构化结果数据。正是在这里,通过该两部分、顺序联合查询过程,实现了高效的和有效的数据处理增益之一。以该顺序执行,系统促进了处理并执行顺序联合查询,用于以高效的和有效的方式来识别并进行与住宅系统、商业系统、和/或工业系统相关联或由住宅系统、商业系统、和/或工业系统生成的可访问的、可执行的、和可操作的数据。

来自对“系统2”752的ccds的查询的结果被返回到系统,并根据初始顺序联合查询参数进行处理和/或过滤710。最后,结果被翻译成请求的格式711,其可以包括csv、xml、json、rdf。该格式可以被人和/或机器用作生成和/或执行从所得结果(resultant)数据导出的动作的方法。

图8示出了图7中的实现工业建筑物设施和能量管理系统的处理步骤的工作示例800。示出的具有三个不同建筑物部分的工业建筑物810,包括:机械车间(machineshop)820、hvac房间830、和办公室空间840。每个不同的建筑物部分具有三个不同类型的连接的元件,包括测量二氧化碳传感器的连接的元件850、852、854的连接的传感器和检测照明连接的元件860、862、864的占用/致动的连接的传感器。连接的元件可以是用于功率测量的连接的传感器870、872、874,以监测建筑物810的各部分的能量消耗。这种系统还具有ccds880,用于收集具体关于建筑物810和其中包含的连接的元件的上下文特征数据。ccds880可以被包含在建筑物810内、位于远程位置、和/或基于云。此外,可以位于远程位置或基于云的tuds890也通过网络连接被连接到系统,以向系统提供事务性非结构化数据,包括例如以60hz周期性捕获的30天的电数据。

作为示例,可以执行顺序联合查询以确定建筑物810中哪些(如果有的话)连接的元件变得不可操作或以其他方式发生故障。在这种顺序联合查询中,用户或系统可以查询存储在tuds890中用于操作条件和/或异常的所有数据,例如离线状态或给定的时间长度。tuds890中的其他数据也可以被使用,例如测量、时间戳、id、状态(status)、状态(state)、和/或可以从另一数据源捕获或相关的其他数据。应当理解,在该tuds890数据记录中,不存在与单个连接的元件或建筑物810本身的上下文关系。当tuds结果数据集被注入ccds880以将tuds结果数据与特定连接的元件相关时,在顺序联合查询的第二步骤中实现关于特定相关的连接的元件的任何上下文或特征。

tuds结果数据集的历史比较可以指示,例如,哪些连接的元件先前按照在线状态或离散的温度/湿度测量的定义而定期地正常操作。例如,如果当前的tuds数据包含“离线”状态,或者建筑物810内的温度/湿度传感器报告了300%相对湿度下的1000摄氏度(明显错误的测量),但是之前报告了处于“在线”状态,并且测量数据更有可能关于室内环境,那么在该示例中,这样的数据可以是tuds结果数据集的一部分,以确定功能或操作异常值。然后处理包含这种功能异常值的tuds结果数据集,将其开发为查询,并且然后将其注入ccds880,以向建筑物810提供关于离散连接的元件的特定上下文。这产生了可以由用户和/或系统对其采取动作的ccds结果数据集。

例如,如果对建筑物810运行针对故障传感器的顺序联合查询,并且tuds890的查询确定具有特定id的一系列数据,这些数据包含“离线”状态以及相关联的测量数据、时间戳、id、或任何其他相关联的数据,则这些数据记录可以成为tuds结果数据集的一部分。在一个示例中,可以有三条数据记录,该三条数据记录可以各自指示唯一的id和功能状态,在该情况下,“离线”一段扩展的时间。然后,该tuds结果数据集被处理并作为查询被注入ccds880,以提供关于哪些离散传感器有问题的上下文,以及关于这些传感器的附加上下文。

在该示例中,ccds结果数据集可以指示“办公室空间”的特定连接的元件854、864、874报告“离线”状态。该进一步的上下文信息将提供这些传感器中的每一个传感器位于建筑物810的办公室空间840中的信息。此外,每个不同类型的连接的元件,包括测量二氧化碳的连接的传感器854、占用/致动的连接的传感器864、和功率测量的连接的传感器874,也具有与每个离散连接的元件相关的关联上下文特征信息。

通过对tuds识别的异常数据和特定传感器的相关联的特性的全面理解,可以进行修复这些独立连接的元件的操作。该类型的顺序联合查询允许维护操作员对于连接的传感器的非常大的且异构的分布,及时确定问题和后续动作,并相应地对其采取动作。

作为按该顺序查询并处理tuds890和ccds880的直接结果,系统或用户可以导出对环境的调查,以高效地和有效地查询大量数据,并促进了识别并分析可以与操作条件相关的数据模式、异常值和/或条件。存在利用该方法将这些数据模式、异常值和/或条件与关于特定系统内离散连接的元件的可执行的信息点联系起来的进一步的能力。

应当理解,有许多从tuds890导出并被注入ccds880的数据的使用的示例。虽然功能异常值的确定只是一个示例,但是与正在被监测的基础设施外部的其他tuds结合是可能的。通过这种方式,各种tuds源的组合可以被用于形成高级分析,并使结果与正在被监测的特定基础设施或系统联系起来。

通过这种方式,给定根据上下文特征数据类型数据确定的一个或更多个环境考虑,可以执行手动、自主、和/或控制动作。这种环境考虑通过异构连接的元件进行监测,并与大量事务性非结构化数据相关联。这些描述的系统和方法促进了处理并执行顺序联合查询,以识别并进行与住宅系统、商业系统、和/或工业系统相关联的或由住宅系统、商业系统、和/或工业系统生成的可访问的、可执行的、和可操作的数据。通过这两部分、顺序联合查询过程,实现了高效的和有效的数据处理增益。

应当理解,所公开的方法和系统不仅仅是可用数据的呈现,还是一种促进针对搜索并关联大量数据以向系统或用户提供通过自动化可以对其采取动作的可执行的信息的技术问题的数据集的组织的方法和系统。

在本公开的各个实施例中使用的任何处理系统可以是,例如基于英特尔pentium型处理器、摩托罗拉powerpc、sunultrasparc、惠普pa-risc处理器、或任何其他类型处理器的处理系统。

例如,本公开的各个实施例可以被实现为在诸如图9中所示的处理系统900上执行的专用软件。处理系统900可以包括连接至诸如磁盘驱动器、存储器、或用于存储数据的其它设备的一个或更多个存储器设备930的处理器920。存储器930一般用于在处理系统900的操作期间存储程序和数据。处理系统900还可以包括提供附加存储容量的储存装置系统950。处理系统900的组分可以通过互连机构940耦合,互连机构940可以包括一个或更多个总线(例如,集成于相同机器内的组分之间)和/或网络(例如,存在于独立离散机器上的组分之间)。互连机构940使通信(例如,数据、指令)能够在系统900的系统组分之间进行交换。

处理系统900还包括一个或更多个输入设备910(例如键盘、鼠标、轨迹球、麦克风、触摸屏),以及一个或更多个输出设备960(例如打印设备、显示屏、扬声器)。此外,处理系统900(除了互连机构940之外或作为其替代)可以包括将处理系统900连接至通信网络的一个或更多个接口(未示出)。

如图10中更详细地显示的,储存装置系统950一般包括在其中存储信号的计算机可读和可写的非易失性记录介质1010,该信号限定将由处理器执行的程序或将由程序处理的存储在介质1010上或介质1010中的信息,以执行一个或更多个与本文所述的实施例相关联的功能。介质可以是,例如磁盘或闪存。通常,在操作中,处理器使数据从非易失性记录介质1010中读取到允许处理器比访问介质1010更快地访问信息的另一存储器1020内。该存储器1020通常是易失性的、随机存取存储器,例如动态随机存取存储器(dram)或静态随机存取存储器(sram)。它可位于储存系统1000中(如所示)或存储器系统930中。处理器920通常操纵集成电路存储器930、1020内的数据,以及然后在处理完成之后将数据复制到介质1010。已知用于管理介质1010和集成电路存储器元件930、1020之间的数据移动的各种机制,并且本公开不限于此。本公开不限于特定的存储器系统930或储存装置系统950。

处理系统可以包括专门编程的专用硬件,例如专用集成电路(asic)。公开的方面可以在软件、硬件或固件或其任何组合中实现。此外,这样的方法、动作、系统、系统元件及其组分可被实现为上述处理系统的部分或作为独立组分。

尽管处理系统900以示例的方式被示出为在其上可实行公开的各方面的一种类型的处理系统,但应当理解,公开的方面并不限于在如图10中所示的处理系统上实现。公开的各方面可以在具有与图10中示出的不同结构或组件的一个或更多个计算机上进行实践。此外,本文(或在权利要求中)将公开的实施例的功能或过程描述为在处理器或控制器上执行,这种描述旨在包括使用多于一个处理器或控制器来执行功能的系统。

处理系统900可以是使用高级计算机编程语言的可编程的处理系统。处理系统900也可以使用专门编程的专用硬件来实现。在处理系统900中,处理器920通常是市场上可买到的处理器,例如可从intel公司购买的众所周知的pentium类处理器。许多其他处理器也是可用的。这种处理器通常执行操作系统,操作系统可以是例如可从微软公司购买的windows95、windows98、windowsnt、windows2000、windowsme、windowsxp、vista、windows7、windows10、或子代(progeny)操作系统、可从苹果电脑公司购买的macos系统x、或子代操作系统、可从sun微系统公司购买的solaris操作系统、或者可从各种来源购买的unix、linux(任何分布)、或子代操作系统。许多其他操作系统也可以被使用。

处理器和操作系统一起定义计算机平台,可以对该计算机平台用高级编程语言编写应用软件。应当理解,公开的实施例并不限于特定的处理系统平台、处理器、操作系统、或网络。此外,对本领域的技术人员应当明显的是,本公开不限于特定的编程语言或处理系统。此外,应当理解,还可使用其他合适的编程语言和其他合适的处理系统。

处理系统的一个或更多个部分可以分布在耦合到通信网络的一个或更多个处理系统(未示出)上。例如,如上所述,确定可用功率容量的处理系统可以远离系统管理器。这些处理系统也可以是处理系统的系统。例如,公开的各方面可以被分布于一个或更多个计算机系统当中,所述一个或更多个计算机系统被配置成给一个或更多个客户端计算机提供服务(例如,服务器),或者作为分布式系统的一部分执行总的任务。例如,公开的各方面可以在客户端-服务器或多层系统上执行,该多层系统包括分布在根据公开的各个实施例执行各种功能的一个或更多个服务器系统当中的组分。这些组分可以是使用通信协议(例如,tcp/ip)通过通信网络(例如,互联网)通信的可执行的中间的(例如,il)或解释的(例如,java)代码。例如,一个或更多个数据库服务器可以用于存储设备数据,例如预期功率损耗,其用于设计与本公开的实施例相关联的布局。

应当理解,公开并不限于在任何特定的系统或系统组上执行。此外,应当理解,公开并不限于任何特定的分布式结构、网络、或通信协议。

本公开的各个实施例可以使用诸如smalltalk、java、c++、ada、或c#(c-sharp)等面向对象编程语言进行编程。也可以使用其它的面向对象的编程语言。或者,可以使用功能、脚本、和/或逻辑编程语言,例如basic、fortran、cobol、tcl、或lua。公开的各方面可以在非编程环境(例如,以html、xml或其他格式创建的文件,当这些文件在浏览器程序的窗口中被查看时渲染图形用户界面(gui)的各个方面或执行其他功能)中被实现。公开的各个方面可以被实现为编程的或非编程的元素或其任何组合。

上述系统和方法的实施例通常被描述用于具有大量设备机架的相对较大的数据中心;然而,公开的实施例也可以用于较小的数据中心以及数据中心以外的设施。一些实施例也可以是地理上分布得不像特定体系结构的非常少量的计算机。

在上面讨论的本公开的实施例中,分析的结果被描述为被实时地提供。如本领域中的技术人员理解的,术语“实时”的使用并不意欲暗示结果是立即可用的,而更确切地,其是快速可用的,从而给设计者在短的时间段期间(诸如在几分钟内)尝试多个不同的设计的能力。

这样,已经描述了本公开的至少一个实施例的几个方面后,应理解,本领域的技术人员将容易想到各种变更、修改、和改进。这种变更、修改、和改进被认为是本公开的一部分,并且被认为是在本公开的精神和范围内。因此,前文的描述和附图仅仅是以示例的方式。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1