数据编配平台管理的制作方法

本发明涉及计算机系统，具体地涉及包括一组信息源的网络通信环境中的数据编配平台管理。

背景技术：

近年来，网络通信环境(例如，物联网网络、传感器网络和大数据网络)已经扩展到支持各种应用的功能。例如，网络通信环境可以包括用于监测自然现象(例如，温度、压力、湿度、降水和地震活动)、运输(例如，城市地图、交通流量和车辆停放)、工业生产率(例如，工厂效率和电力使用)和安全(例如，入侵检测和犯罪预防)等的传感器。随着网络通信环境的功能和应用的增加，适当配置这些传感器并正确解析它们提供的数据的开销也会增加。

本发明的方面涉及以下认识：在包含大量数据源(例如，传感器设备)的当前网络通信环境中，不同数据源可以以不同方式收集、格式化和传输原始数据。例如，一些数据传感器可以以二进制格式发送采集到的测量值，其他数据传感器可以以十六进制格式化测量值，还有一些数据传感器可以使用专有格式来构造原始数据。这样，用户必须手动配置每个数据源(例如，传感器设备)，解析由数据源收集的数据，并随后选择ai逻辑单元来处理所收集的数据。例如，专利文献1公开了一种用于从用户请求语义标签技术，以解析由物联网环境中的设备接收的数据。然而，专利文献1没有公开动态解析数据和确定合适ai逻辑单元来处理已解析数据的方法，因此必须依赖用户来获取用于解析网络通信环境中的传感器中摄取的原始数据所需的信息。

[引用列表]

[专利文献]美国专利申请公开号：us2015/0019714a1uspatentapplicationpublicationus2015/0019714a1。

技术实现要素：

因此，本发明的一个目的是解析从各种数据源摄取的原始数据，并动态地确定用于处理已解析数据的合适ai逻辑单元。

因此，本发明的方面涉及一种数据编配平台，其被配置为在没有用户干预的情况下，以动态和自动的方式解析从各种数据源摄取的原始数据。数据编配平台可以利用机器学习技术和数据解析字典，以便解析从任意一个数据源接收的数据。随后，机器学习模型可以管理对合理ai逻辑单元的选择，其基于与已解析数据相关联的属性来处理已解析数据。基于ai逻辑单元的处理结果，可以针对网络通信环境执行管理操作，以促进后续数据收集操作的性能、效率和可靠性。

本发明的方面涉及用于在包括一组信息源的网络通信环境中进行数据编配平台管理的计算机实现方法，该方法包括从该组信息源中摄取一组原始数据，使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性，使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的人工智能(ai)；以及使用所述ai逻辑单元处理该组已解析数据。

响应于该组已解析数据的生成，通过将该组已解析数据的该组属性与一组机器学习可用性标准进行比对，识别用于机器学习的该组已解析数据的第一子集；以及将该组已解析数据的第一子集路由到机器学习引擎。

本发明的方面涉及到通过所述机器学习引擎使用机器学习技术导出第一处理规则，所述机器学习技术被配置为通过一组ai逻辑单元对一组ai逻辑单元分析该组已解析数据的第一子集的属性组的子集，所述第一处理规则指示该组ai逻辑单元的第一ai处理单元以处理该组已解析数据的第一子集；以及通过使用所述第一处理规则构建机器学习模型，所述机器学习模型用于管理被配置为管理该组已解析数据管理的ai逻辑单元选择。

本发明的方面涉及到利用所述机器学习模型以确定对该组已解析数据进行处理的ai逻辑单元；以及通过所述数据解析词典利用该组信息源的一组信息源配置文件分析该组原始数据。

在本发明的方面中，该组原始数据包括该组信息源的第一信息源的信息源识别元素和一组内容数据；利用该组信息源配置文件进一步包括通过将所述第一信息源的信息源识别元素与该组信息源配置文件进行比较，确定与所述第一信息源对应的第一信息源配置文件；以及响应于确定对应于第一信息源的第一信息源配置文件，通过所述第一信息源配置文件对该组原始数据进行解析生成该组已解析数据。

在本发明的方面中，该组原始数据包括该组信息源的第一信息源的信息源识别元素和一组内容数据；利用该组信息源配置文件进一步包括通过将所述第一信息源的信息源识别元素与该组信息源配置文件进行比较，确定不存在与所述第一信息源对应的信息源配置文件；以及响应于确定不存在与所述第一信息源对应的信息源配置文件，使用所述机器学习引擎建立与所述第一信息源的信息源识别元素相关联的新信息源配置文件。

在本发明的方面中，该组内容数据包括以下数据中的一组或多组：一组文本数据、一组图像数据、一组音频数、一组视频数据、一测量值、一组生物识别数据，一组状态信息或一组位置信息。

在本发明的方面中，该组属性包括以下属性中的一种或多种：数据类型、语义因子、时间戳、度量单位、置信度值或严重性级别。

在本发明的方面中，通过所述ai处理单元处理该组已解析数据进一步包括：使用预测分析技术生成关于网络通信环境的一组候选预测上下文，该预测分析技术被配置为提取该组已解析数据和一组历史已解析数据之间的关系；以及响应于该组候选预测上下文的生成，为该组候选预测上下文分配一组置信度值

本发明的方面涉及通过将该组候选预测上下文的置信度值与置信度阈值进行比较，选择满足所述阈值置信度阈值的第一候选预测上下文；以及通过采用所述网络通信环境的数据编配平台管理引擎，执行基于所述第一候选预测上下文的管理操作。

本发明的方面涉及通过数据编配平台管理引擎构造数据处理流水线，所述数据处理流水线包括一组用于对该组已解析数据执行处理操作的ai逻辑单元。

本发明的方面涉及通过所述数据编配平台管理引擎以动态的方式并采用机器学习模型修改所述数据处理流水线，所述机器学习模型被配置为管理ai逻辑单元选择以处理该组已解析数据。

本发明的方面涉及在基于ai的数据存储系统中，基于该组属性，以输出数据类型存储该组已解析数据。

本发明的方面涉及以动态方式执行所述提取、所述生成、所述确定和所述处理中每一过程以简化数据编配平台管理。

本发明的方面涉及在没有用户干预的情况下以自动方式执行所述提取、所述生成、所述确定和所述处理中的每一过程。

本发明的方面涉及一种在包括一组信息源的网络通信环境中进行数据编配平台管理的系统，所述系统包括具有一组计算机可读计算机指令的存储器以及用于执行该组计算机可读指令的处理器，该组计算机可读指令包括从该组数据源摄取一组原始数据；通过使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性；使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的人工智能(ai)逻辑单元；以及使用所述ai逻辑单元处理该组已解析数据。

本发明的方面涉及一种在包括一组信息源的网络通信环境中进行数据编配平台管理的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有编入其中的程序指令，该计算机可读存储介质不是瞬时信号本身，该程序指令可由处理器执行以使该处理器执行一种方法，该方法包括从该组数据源摄取一组原始数据；通过使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性；使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的人工智能(ai)逻辑单元；以及使用所述ai逻辑单元处理该组已解析数据。

根据本发明的方面，该计算机程序产品被配置为响应于该组已解析数据的生成，通过将该组已解析数据的该组属性与一组机器学习可用性标准进行比对，识别用于机器学习的该组已解析数据的第一子集，以及将该组已解析数据的第一子集路由到机器学习引擎。

根据本发明的方面，在该计算机程序产品中，所述程序指令存储在数据处理系统中的计算机可读存储介质中，程序指令通过网络从远程数据处理系统下载。

根据本发明的方面，在该计算机程序产品中，所述程序指令存储在服务器数据处理系统中的计算机可读存储介质中，所述程序指令通过网络下载到远程数据处理系统，以在远程数据处理系统的计算机可读存储介质中使用。

[发明有益效果]

基于本发明，对从一组数据源摄取的原始数据解析，然后确定ai逻辑单元，其以动态方式处理已解析数据而无需用户干预，可以提高数据编配平台的灵活性，并且消除对手动设备配置的需要。

附图说明

本申请中的附图被并入说明书中并形成说明书的一部分。其示出了本发明的实施例，并且与说明书一起用于解释本发明的原理。附图仅是对某些实施例的说明，并不限制本发明的范围。

图1为基于一实施例的包括数据编配平台100的网络通信环境150的概念图；

图2示出了根据本发明的方面的网络通信环境200的高级系统架构；

图3为根据本发明的实施例的用于实现本发明的各种实施例的计算机系统300的高级框图；

图4为根据本发明实施例的数据编配平台管理的方法400的流程图；

图5为根据实施例的数据编配平台管理的方法500的流程图；

图6为根据本发明实施例的数据编配平台管理的方法600的流程图；

图7为根据实施例的用于数据编配平台管理的示例数据处理流水线750的示意图；

图8为示出根据实施例的数据编配平台管理的数据流水线850的示例图；

图9是示出根据实施例的数据编配平台的示例高级系统架构900的示意图。

具体实施方式

在下文中，将参考附图本发明的实施例进行描述。应当注意的是，这里描述的实施例并非基于权利要求限制本发明，可以理解的，关于实施例描述的每个元素及其组合对于实现本发明的各个方面并不是严格必要的。

以下的描述和相关附图中公开了各个方面。在不脱离本发明的范围的情况下，可以想出可选的方面。另外，本发明将不详细描述或者省略描述本发明的公知元素，以免模糊本发明的相关细节。

词语“示例性”和/或“示例”在本文中用于表示“用作示例、实例或说明”。这里描述为“示例性”和/或“示例”的任何方面不一定被解释为优选的或者优于其他方面。同样地，术语“本发明的方面”不要求本发明的所有方面包括所讨论的特征、优点或操作模式。

进一步地，许多方面要根据要由例如计算设备的元件执行的动作序列来描述。需要认知到的是，这里描述的各种动作可以由特定电路(例如，专用集成电路(asic))、一个或多个处理器执行的程序指令或两者的组合来执行。另外，这里描述的这些动作序列可以被认为完全收录在任何形式的计算机可读存储介质中，该计算机可读存储介质中存储有相应的一组计算机指令，这些计算机指令在执行时将使相关的处理器执行此处所述的功能。因此，本发明的各个方面可以以多种不同的体现形式，所有这些形式都被认为是在所要求保护的主题的范围内。

如这里所使用的，术语信息源可以用于指代任何对象，例如，硬件组件、软件元件、设备、传感器或人类用户，由该对象可以传送数据或信息。在实施例中，该组信息源可以包括一组数据编配设备。这里，数据编配设备可以指具有可寻址接口(例如，互联网协议(ip)地址、蓝牙(注册商标)标识符(id))、近场通信(nfcid等)的任何对象(例如，设备，传感器等)，其可以通过有线或无线连接向一个或多个其他设备传送信息。数据编配设备可以具有无源通信接口，例如快速响应(qr)代码、射频识别(rfid)标签、nfc标签等，或具有有源通信接口，例如调制解调器、收发器、发送器-接收器等。例如，数据编配设备可包括但不限于，计算机、医疗设备、生物传感器、交通信号灯、太阳能电池板、工厂机器、冰箱、烤面包机、烤箱、微波炉、冰柜、洗碗机、餐具、手动工具、洗衣机、干衣机、炉子、空调、恒温器、电视、灯具、真空吸尘器、洒水器、电表和煤气表等，只要这些设备配备有与网络通信环境通信的可寻址通信接口。数据编配设备还可以包括蜂窝电话、台式计算机、手提电脑、平板计算机和个人数字助手(pda)等。因此，除了通常不具有互联网连接的设备(例如，洗碗机等)之外，网络通信环境可以包括“早前”因特网可访问设备(例如，手机、台式计算机和手提电脑等)的组合。

参见附图，图1是基于一实施例的包括数据编配平台100的网络通信环境150的概念图。网络通信环境150可以包括数据编配平台100和信息源组120。

网络通信环境150可以是促进传感器、设备、建筑物、汽车、有机体、软件应用程序和其他利用数据编配平台的实体之间的数据获取、通信和连接的网络。例如，如图1所示，网络通信环境150可以包括具有多个信息源的信息源组120。例如，信息源组120可以指代在网络通信环境中生成数据或信息的信息源的集合，诸如设备、有机体、位置、软件等。作为示例的，如图1所示，信息源组120可以包括工厂生产管理系统、用于监控交通流量的传感器、社交网络服务(sns)平台、外部人工智能(ai)数据库、用于监控人体生物识别数据的传感器或各种其他设备或系统。数据编配平台100可以由软件或硬件实现，该软件或硬件自动且动态地监控、控制和管理网络通信环境150的设备、计算机系统、中间件、服务和其他元素。这里，数据编配平台100可以使用诸如iot(物联网)设备管理、ai数据处理、机器学习、大数据处理等方法来实现本发明的方面。作为具体示例，数据编配平台100可以应用于包括环境监测、基础设施管理、制造/要素管理，媒体、能量管理、医疗/保健、生物测定学、智能建筑/家居、交通、城市发展或消费者应用等领域。

图2示出了根据本发明的方面的网络通信环境200的高级系统架构。网络通信环境200可以包括多个数据编配设备，其包括电视210、室外空调单元212、恒温器214、太阳能电池板216和车辆218。

如图2所示，数据编配设备210-218被配置为通过物理通信接口或层与接入网络(例如，接入点225)进行通信，如图2所示的数据编配平台208和直接有线连接209。数据编配平台208可以符合无线因特网协议(ip)，例如ieee802.11。虽然图2示出了数据编配设备210-218通过数据编配平台208或直接有线连接209进行通信，每个数据编配设备可以通过有线、无线连接或两者进行通信。

因特网275包括多个路由代理和处理代理(为方便起见，未在图2中示出)。因特网275是互连计算机和计算机网络的全球系统，其使用标准因特网协议套件(例如，传输控制协议(tcp)和ip)在不同设备/网络之间通信。tcp/ip提供端到端连接，指定数据如何在目的地格式寻址、传输、路由和接收。

在图2中，计算机220直接连接到因特网275(例如，通过以太网(注册商标)连接或基于wi-fi或基于802.11的网络)。计算机220可以具有到因特网275的有线连接，例如与调制解调器或路由器的直接连接，在一个示例中，其可以对应于接入点225本身(例如，对于具有有线和无线wi-fi路由器)。计算机220可以是数据编配设备和/或包括管理数据编配网络/组的功能，例如网络/数据编配设备组210-218。作为示例，计算机220可以被配置为向用户提供图形用户界面以配置或设置数据编配平台208。虽然被示为台式计算机，但计算机220可以是膝上型计算机、平板计算机、pda、智能手机等。

接入点225可以经由例如光通信系统，例如fios、电缆调制解调器、数字用户线(dsl)调制解调器等)等连接到因特网275。接入点225可以使用标准因特网协议(例如，tcp/ip)与数据编配设备210-220和因特网275通信。

在图2中，数据服务器270被示为连接到因特网275。数据服务器270可以实施为多个结构上分离的服务器，或者可以对应于单个服务器。在一方面，数据服务器270是可选的(如虚线所示)，并且数据编配设备组210-220可以是对等(p2p)网络。在这种情况下，数据编配设备210-220可以直接通过数据编配平台208和/或直接有线连接209彼此通信。替代地或另外地，数据编配设备210-220中的一些或全部可以配置有独立于数据编配平台208和直接有线连接209的通信接口。例如，数据编配设备210-220中的一个或多个可以具有蓝牙或nfc接口，用于直接相互通信或与其他蓝牙或nfc设备通信。

如图2所示，无线通信系统200可以包括监管设备230，其可以可选地称为编配管理器230或编配管理设备230。这样，在以下描述使用术语“监管设备”230时，本领域技术人员可以理解的，任何关于对编配管理(iot组，大数据管理等)、组所有者或类似术语的引用可以指代监管设备230或提供相同或基本相似功能的另一物理或逻辑组件。。

在一实施例中，监管设备230通常可以观察、监控、控制或以其他方式管理网络通信环境200中的各种其他组件。例如，监管设备230可以与数据编配平台208通信以监控或管理网络通信环境200中各种数据编配设备210-220相关联的属性、活动或其他状态。监管设备230可以与因特网275有线或无线连接，并且可选地与数据服务器270有线或无线连接(如虚线所示)。监管设备230可以从因特网275和/或数据服务器270获得可以用于进一步监控或管理与各种数据编配设备210-220相关联的属性、活动或其他状态的信息。监管设备230可以是独立设备或数据编配设备210-220之一，例如计算机220。监管设备230可以是物理设备或在物理设备上运行的软件应用。监管设备230可以包括用户界面，该用户界面可以输出与监控的属性、活动或其他与数据编配设备210-220相关联的状态的相关信息，并接收输入信息以控制或以其他方式管理属性、活动或其他与此相关联状态。因此，监管设备230通常可以包括各种组件并且支持各种有线和无线通信接口以观察、监控、控制或以其他方式管理网络通信环境200中的各种组件。

图2中所示的网络通信环境200可以包括一个或多个无源数据编配设备205(与有源数据编配设备210-220形成对比)，其可以耦合到网络通信环境200或以其他方式成为网络通信环境200的一部分。通常，无源数据编配设备205可以包括条形码设备、蓝牙设备、射频(rf)设备、rfid标记设备、红外(ir)设备、nfc标记设备或任何其他合适的设备，当通过短程接口进行查询时，可以向其他设备提供其标识符和属性。有源数据编配设备可以对无源数据编配设备的属性的改变进行检测、存储、通信、行动和/或其他操作。

例如，无源数据编配设备205可以包括库存管理系统和库存物品，其各自具有rfid标签或条形码。库存管理系统和库存物品216可各自具有适用的扫描仪或读取器，其可读取rfid标签或条形码以检测何时已将无源数据编配设备205的库存物品添加或移除到库存管理系统。响应于库存管理系统检测到库存物品的移除，监管设备230可以接收与库存管理系统和库存物品216检测到的活动有关的一个或多个信号。然后，监管设备230可以推断出与库存项目相关的交易已完成(新库存货件到达、购买)。

尽管之前描述了无源数据编配设备205具有某种形式的rfid标签或条形码通信接口，但是无源数据编配设备205可以包括一个或多个设备或其他不具有这种通信能力的物理对象。例如，某些数据编配设备可以具有适用的扫描仪或读取器机构，其可以检测与无源数据编配设备205相关联的形状、大小、颜色和/或其他可观察特征，以识别无源数据编配设备205。以这种方式，任何合适的物理对象可以传达其身份和属性并且成为无线通信系统200的一部分，其可以通过监管设备230观察、监控、控制或以其他方式管理。此外，无源数据编配设备205可以耦合到或作为图2中的无线通信系统200的一部分，其以基本相似的方式进行观察、监视、控制或以其他方式管理。

图3描绘了根据本发明的实施例的用于实现本发明的各种实施例的计算机系统300的高级框图。这里公开的各种实施例的机制和装置同样适用于任何适当的计算系统。计算机系统300的主要组件包括一个或多个处理器302、存储器304、终端接口312、存储接口314、i/o(输入/输出)设备接口316和网络接口318，对于组件间通信，其都是通过存储器总线306、i/o总线308、总线接口单元309和i/o总线接口单元310直接或间接地进行通信耦合。

计算机系统300可以包含一个或多个通用可编程中央处理单元(cpus)302a和302b，这里统称为处理器302。在实施例中，计算机系统300可以包含多个处理器；替代地，在某些实施例中，计算机系统300可以是单cpu系统。每个处理器302执行存储在存储器304中的指令，并且可以包括一个或多个级别的板载缓存。

在本发明的实施例中，存储器304可以包括随机存取半导体存储器、存储设备或存储介质(易失性或非易失性)，用于存储或编码数据和程序。在某些实施例中，存储器304表示计算机系统300的全部虚拟存储器，并且还可以包括耦合到计算机系统300或经由网络连接的其他计算机系统的虚拟存储器。存储器304可以在概念上被视为单个单片实体，但是在其他实施例中，存储器304是更复杂的实现方式，诸如高速缓存和其他存储器设备的层级。例如，存储器可以存在于多级缓存中，并且这些缓存可以进一步按功能划分，使得一个缓存保持指令而另一个缓存保持非指令数据，其由处理器使用。存储器可以进一步分布并与不同的cpu或cpu组相关联，如所知的在任意一种所谓的非均匀存储器访问(numa)计算机体系结构中。

如本文件所讨论的，存储器304可以存储全部或一部分用于处理数据传输的各种程序、模块和数据结构。例如，存储器304可以存储数据编配平台管理应用350。在实施例中，数据编配平台管理应用350可以包括在处理器302上执行的指令或语句或由处理器302上执行的指令或语句解析的指令或语句以执行如以下进一步描述的功能。在某些实施例中，数据编配平台管理应用350以硬件实现，例如半导体设备、芯片、逻辑门、电路、电路板和/或其他物理硬件设备，以代替地或附加地基于处理器的系统。在本发明的实施例中，除了指令或语句之外，数据编配平台管理应用350还可以包括数据。

计算机系统300可以包括总线接口单元309以操作处理器302、存储器304、显示系统324和i/o总线接口单元310之间的通信。io总线接口单元310可以与i/o总线308耦合以向各种i/o单元传输数据和从各种i/o单元传输数据。i/o总线接口单元310通过i/o总线308与多个i/o接口单元312、314、316和318通信，这些单元也称为i/o处理器(iops)或i/o适配器(ioas)。显示系统324可包括显示控制器、显示存储器或两者。显示控制器可以向显示设备326提供视频、音频或两种类型的数据。显示存储器可以是用于缓冲视频数据的专用存储器。显示系统324可以与显示设备326耦合，例如独立显示屏、计算机监视器、电视或平板电脑或手持设备显示器。在一个实施例中，显示设备326可以包括用于呈现音频的一个或多个扬声器。可选地，用于呈现音频的一个或多个扬声器可以与i/o接口单元耦合。在可选的实施例中，由显示系统324提供的一个或多个功能可以在集成电路上实现，该集成电路还包括处理器302。此外，总线接口单元309提供的一个或多个功能可以在集成电路板实现，该集成电路包括处理器302。

i/o接口单元支持与各种存储设备和i/o设备的通信。例如，终端接口单元312支持一个或多个用户i/o设备320的附接，其可以包括用户输出设备(诸如视频显示设备、扬声器和/或电视机)和用户输入设备(诸如键盘、鼠标、键盘、触摸板、轨迹球、按钮、光笔或其他指点设备)。用户可以使用用户界面来操纵用户输入设备，以便向用户i/o设备320和计算机系统300提供输入数据和命令，并且可以通过用户输出设备接收输出数据。例如，用户界面可以通过用户i/o设备320呈现，例如通过显示设备显示、通过扬声器播放，或通过打印机打印。

存储接口314支持一个或多个磁盘驱动器或直接访问存储设备322(其通常是旋转磁盘驱动器存储设备，尽管它们可以替代地是其他存储设备，包括磁盘驱动器阵列，其作为主机的单个大型存储设备或固态驱动器，如闪存)的附接。在一些实施例中，存储设备322可以经由任何类型的辅助存储设备来实现。存储器304的内容或其任何部分可以根据需要存储到存储设备322并从存储设备322获取。i/o设备接口316为各种其他i/o设备或其他类型的设备提供接口，例如打印机或传真机。网络接口318提供从计算机系统300到其他数字设备和计算机系统的一个或多个通信路径；这些通信路径可以包括例如一个或多个网络330。

尽管图3中所示的计算机系统300示出了在处理器302、存储器304、总线接口309、显示系统324和i/o总线接口单元310之间提供直接通信路径的特定总线结构，在替代性的实施例中，计算机系统300可以包括不同的总线或通信路径，其可以以各种形式实现，例如分层、星形或网络配置中的点对点链路、多层级总线、并行和冗余路径，或任何其他适用类型的配置。此外，虽然i/o总线接口单元310和i/o总线308被示为单个相应单元，但是计算机系统300实际上可以包含多个i/o总线接口单元310和/或多个i/o。虽然图中示出了多个i/o接口单元，其将i/o总线308与运行到各种i/o设备的各个通信路径分开，但在其他实施例中，部分或所有i/o设备直接连接到一个或多个系统i/o总线。

在多个实施例中，计算机系统300是多用户大型机计算机系统、单用户系统或服务器计算机或类似设备，其几乎不具有或不具有直接的用户界面，但是接收来自其他计算机系统(客户端)的请求。在其他实施例中，计算机系统300可以为台式计算机、便携式计算机、膝上型或笔记本计算机、平板计算机、袖珍计算机、电话、智能电话或任何其他适用类型的电子设备。

图4是根据本发明实施例的数据编配平台管理的方法400的流程图。方法400的方面涉及确定人工智能(ai)逻辑单元以对从网络通信环境收集的一组数据执行处理操作。网络通信环境可以包括互连传感器、设备、车辆、建筑物、人、软件应用和其他对象的组或系统，以利用数据编配平台促进数据收集、通信和连接。数据编配平台可以包括一层软件和硬件组件，其被配置为促进计算机系统、中间件和服务的自动和动态实现、协调和管理。如本文件所述，数据编配平台可以利用各种技术中的一种或多种，包括物联网(iot)设备管理、基于ai的数据处理、机器学习引擎和大数据处理工具来实现这里所描述的方面。作为示例的，数据编配平台可以包括诸如环境监控、基础设施管理、制造/工厂管理、媒体、能源管理、医疗/卫生保健、生物统计、建筑/家居自动化、运输、城市规模开发、消费者应用等的应用。

本发明的方面涉及这样的认识：在一些情况下，从网络通信环境获取的数据的上下文、目标、重要性和其他因素(例如，数据的含义)可以基于来自的信息源而不同。因此，需要基于信息源的性质和属性对数据执行不同的处理操作。因此，本发明的方面涉及使用数据解析字典生成一组已解析数据，以及确定ai逻辑单元以自动方式对该组已解析数据执行处理操作。总而言之，基于从中收集数据的信息源确定ai逻辑单元可以与诸如数据实用性、数据可靠性和数据编配平台性能和效率之类的益处相关联。方法400可始于框401开始描述。

在实施例中，这里描述的摄取、生成、确定、处理和其他步骤均可以在框404处以动态方式执行。这里描述的步骤可以以动态方式执行以简化数据编配平台管理。例如，这里描述的摄取、生成、确定、处理和其他步骤可以实时、正在进行或即时发生。作为示例的，可以即时执行这里描述的一个或多个步骤(例如，可以基于数据特征来实时确定对一组已解析数据执行处理操作的ai逻辑单元。)以流程化(例如，促进、提升和增强)数据编配平台管理。其他执行这里描述的步骤的方法也是可能的。

在本发明实施例中，在框406处，这里描述的摄取、生成、确定、处理和其他步骤都可以以自动方式执行。这里描述的步骤可以在没有用户干预的情况下以自动方式执行。在本发明的实施例中，这里描述的摄取、生成、确定、处理和其他步骤可以由设置在本地计算设备(例如，网络节点)的持久存储设备中的内部数据编配平台管理模块来执行。在实施例中，这里描述的摄取、生成、确定、处理和其他步骤可以由远程计算设备或服务器(例如，可通过订阅、基于使用或者其他服务模型访问的服务器)托管的外部数据编配平台管理模块来执行。以这种方式，可以使用自动计算机器来执行数据编配平台管理的方面，无需手动操作。执行这里描述的步骤的其他方法也是可能的。

在框420处，可以摄取一组原始数据。可以从一组信息源中提取该组原始数据。通常，摄取可以包括检测、分析、感应、接收、收集、聚集、转换、导入或以其他方式从该组信息源捕获该组原始数据。该组信息源可以包括设备、人、位置、软件或产生与网络通信环境相关的数据的其他点。作为示例的，该组信息源可以包括部署在工厂环境中的制造执行系统(mes)、服务器的可编程逻辑控制器(plc)、人类用户输入、心脏监视器、相机、太阳能电池板、车辆等。在本发明的实施例中，摄取可以包括使用多个数据编配设备(例如，相机、麦克风、热像仪、运动传感器、温度计、光电探测器、气压计、比重计、电容传感器、加速度计和其他传感器)来聚合(例如，收集、捕获)来自网络通信环境(例如，家庭环境，医疗机构、工厂、办公楼、道路/公路)的该组原始数据，并将其传输到数据编配平台。

如在此所述的，该组信息源可用于摄取一组原始数据。该组原始数据可以包括由网络通信环境的信息源收集的结构化或非结构化信息的集合。例如，该组原始数据可以包括文本数据(例如，报告)、图像数据(例如，捕获的照片)、音频数据(例如，声音记录)、视频数据(例如，视频记录)、生物测定数据(例如，心率、心理状态)或其他指示状态的测量值(例如，温度测量、资源使用诊断)、位置(例如，实体的地理/空间位置的绝对或相对指示)、自动化过程(例如，排队等待自动执行的任务、操作、过程)、可操作的项目(例如，触发手动或者自动事件的参数状态或条件))或网络通信环境的其他方面。该组原始数据可以包括被动数据(例如，来自仅在被指示时收集数据的信息源的数据)、主动数据(例如，被配置为连续收集和发送数据的传感器/信息源)、或动态数据(例如，在传感器设备和软件应用之间的双向通信)。例如，该组原始数据可以包括对特定区域的空气体积中的颗粒密度的动态测量。

在实施例中，摄取该组原始数据可以包括配置该组数据编配设备以便以连续或进行中的方式将该组原始数据推送(例如，自动中继)到数据编配平台。在实施例中，摄取该组原始数据可以包括配置数据编配平台动态地从该组数据编配设备中获取(例如，请求)该组原始数据。作为示例的，摄取该组原始数据可以包括使用温度计来收集温度数据、使用气压计收集气压数据的以及使用湿度传感器收集电池制造设施的湿度数据，将数据实时地传输到数据编配平台以动态监视电池生产中的违规行为(例如，可能对电池生产产生负面影响的温度、湿度或压力的变化)。使用该组信息源摄取该组原始数据的其他方法也是可能的。

在本发明的实施例中，在框422处，该组原始数据可以包括用于该组信息源的第一信息源的信息源识别元素。通常，信息源识别元素可以包括标记、标签、名称、代码，字符序列或唯一地标识该组信息源中的特定信息源的其他属性。作为示例的，考虑一组信息源，其包括用于测量环境的不同特性(例如，湿度、温度、压力、发光)的数百个传感器。可以将12字符串形式的唯一标识元素分配给该组信息源中的每个单独的传感器。例如，该组信息源中的特定传感器可以包括“n3a54mi0554r”的信息源识别元素，其在该组信息源中是唯一。如在此所述，信息源识别元素可以包括在该组原始数据集中。例如，当从信息源摄取数据时，信息源可以被配置为捆绑包括其本身的信息源识别元素的一组元数据(例如，以使得可以追溯摄取原始数据的信息源)。其他类型的信息源识别元素也是可能的

在实施例中，在框424处，该组原始数据可以包括一组内容数据。通常，该组内容数据可以包括与网络通信环境的一个或多个方面有关的信息集合。在本发明的实施例中，该组内容数据可以包括一组文本数据(例如，观察的文本描述)、一组图像数据(例如，捕获的照片、生成的图像)、一组视频数据中的(例如，事件的视觉描绘)、测量值(例如，绝对或相对量的数字表示)、一组生物测定数据(例如，人类特征的测定和计算)、一组状态信息(例如，状态或条件)、或一组位置信息(例如，对象或人的绝对或相对位置)或其任何组合中的一个或多个。例如，该组内容数据可以包括交通拥堵的图像以及拥塞长度的测量值和发生拥塞的位置的地理坐标。其他类型的内容数据也是可能的。

在框440处，可以生成一组已解析数据，其指示网络通信环境的一组属性。可以使用被配置为分析该组原始数据的数据解析字典来生成该组已解析数据。通常，生成可以包括规划、创建、实例化、引起、组装、结构化、安排、组织或以其他方式建立指示网络通信环境的该组属性的该组已解析数据。该组已解析数据可以包括一组结构化信息，其定义、解释、描述或以其他方式上下文化该组原始数据。该组属性可以包括性质、特征、质量或其他因素，其表征网络通信环境的配置、组成、功能或用途。例如，在框464处，该组属性可以包括数据类型(例如，温度数据、电压数据，生物特征数据、库存数据)、语义因素(例如，数据的目的或重要性的指示；例如，正在收集特定数据集以监测地震活动中的异常情况)、时间戳(例如，数据是在2017年4月6日16:34时记录的)、测量单位(例如，伏特、米/每秒、摄氏度、节拍/每秒)、置信度值(例如，数据具有79％的准确可能性)、严重性级别(例如，低严重性、现代严重性、高严重性)等。

在本发明的实施例中，可以使用被配置为分析该组原始数据的数据解析字典来生成指示网络通信环境的该组属性的该组已解析数据。数据解析字典可以包括数据库、索引、知识库或其他词汇资源，其被配置为译码、定义、翻译、阐明或以其他方式从该组原始数据提取含义。在实施例中，生成可以包括基于从中摄取一组特定原始数据的信息源(例如，使用信息源识别元素，如下所述)，利用数据解析字典来识别一个或多个对应属性，该属性来定义、表征或上下文化该组特定原始数据。然后可以将所识别的属性映射到相应的原始数据组以编译数据包，该数据包包括原始数据组以及作为元数据附加的所识别的属性。作为示例，考虑这样的情况,动物园水族箱中的传感器收集到包括值“7.6”的一组原始数据。可以使用数据解析字典来分析该组原始数据，并且可以生成一组已解析数据，其指示“7.6”的值表示动物园水族箱中的水的ph数据。因此，可以将“测量单位-ph”的属性作为元数据附加到该组原始数据，并且可以将该组原始数据和该组元数据捆绑在一起以生成该组已解析数据。生成该组已解析数据的其他方法也是可能的。

在本发明的实施例中，在框462处，该组已解析数据可以存储在基于ai的数据存储系统中。该组已解析数据可以基于该组属性存储在基于ai的数据存储系统中通常，存储可以包括在基于ai的数据存储系统中保存、记录、收集、聚合、缓存或以其他方式保持该组已解析数据。基于ai的数据存储系统可以包括数据库管理系统(dbms)、数据存储库、云存储或其他数据保持方法，其被配置为使用ai工具来促进记录、搜索和取回所存储的数据。在实施例中，存储该组已解析数据可以包括使用机器学习技术来对已解析数据组进行分类并根据它们的属性对它们进行分组(例如，数据类型、语义因子、时间戳、测量单位、置信度值和严重性级别)。然后，分类后的已解析数据可以与它们对应的属性相关联地存储在数据存储系统中。例如，与相同语义因子(例如，地震活动异常检测)相关联的已解析数据组可以与指示该语义因子的标签相关联地存储在数据库的相同分区中以便于数据检索(例如，可以容易地搜索和返回所有与“地震活动异常检测”的语义因子相关的数据)。在基于ai的数据存储系统中存储该组已解析数据的其他方法也是可能的。

在框460处，可以确定用于对该组已解析数据执行处理操作的ai逻辑单元。可以使用被配置为分析网络通信环境的该组属性的数据编配平台管理引擎来确定ai逻辑单元。如在此所述，数据编配平台管理引擎可以包括硬件组件、软件模块，其被配置为监视、控制、分析、评估或以其他方式管理数据编配平台的硬件和软件元素。通常，确定可以包括决定、选择、检测、选择、识别或以其他方式确定ai逻辑单元以执行关于该组已解析数据的处理操作。本发明的方面涉及这样的认识：在某些情况下，可能需要选择适当的ai逻辑单元以基于数据的属性处理一组已解析数据。在此，ai逻辑单元可以指代模块、应用、例程、算法、脚本或其他基于ai的技术，其被配置为检查、发现、解释、转换或处理数据以导出含义或执行任务。作为示例的，ai逻辑单元可以包括自然语言处理技术、图像分析技术、预测分析、统计分析、规范分析、市场建模、网络分析、安全分析、风险分析、软件分析等。

在实施例中，确定ai逻辑单元可以包括使用数据编配平台管理引擎将与一组特定已解析数据集关联的属性组与一组表征各种可用ai逻辑单元的配置文件进行比较，将适用性得分分配给多个ai逻辑单元(例如，以指示该ai逻辑单元处理数据的合适度/适当性)，以及确定满足适用性得分阈值的一个或多个ai逻辑单元以对该组已解析数据执行处理操作。例如，考虑一组已解析数据与“数据格式：jpeg”和“数据类型：安全摄像机图像”的一组属性相关联。数据编配平台管理引擎可以将该组已解析数据与一组自然语言处理技术、统计分析技术、图像分析技术和情感分析技术的可用ai逻辑单元进行比较。在实施例中，数据编配平台管理引擎可以将适用性得分13分配给统计分析技术(例如，由于该组已解析数据不包括统计数据，统计分析可能不合适)，图像分析技术的适用性得分为89(例如，因为数据是图像，图像分析高度相关)，并且情感分析技术的适用性得分为“55”(例如，虽然可能适用，但安全图像的数据类型表示情绪分析的相关性较低)。因此，当ai逻辑单元处理该组已解析数据时，数据编配平台管理引擎可以选择满足适用性得分阈值的ai逻辑单元(例如，具有最高得分的ai逻辑单元，或者具有例如80或更高的适用性得分的ai逻辑单元)。确定ai逻辑单元以处理该组已解析数据的其他方法也是可能的。

在框480处，可以使用ai逻辑单元处理该组已解析数据。通常，处理可以包括使用ai逻辑单元对该组已解析数据进行分析、转换、调查、评估、修改或以其他方式执行操作。在实施例中，处理可以包括使用所确定的ai逻辑单元来向该组已解析数据添加或减去属性(例如，将附加测量值添加到表中)、更新该组已解析数据的现有属性的值(例如，根据新的测量结果更改表格中的现有记录)、使用该组已解析数据作为另一操作的输入(例如，使用时间值来计算速度)、从该组已解析数据中提取结论或推断(例如，已经发生异常电压值)、将该组已解析数据转换为另一种类型或格式(例如，将华氏温度值转换为摄氏温度值)等。特别地，处理可以包括执行统计分析技术、机器学习技术、数据优化技术、预测分析技术或其他适当的分析操作。作为示例的，处理可以包括使用回归分析技术来分析两组电压测量之间的统计关系。使用ai逻辑单元处理该组已解析数据的其他方法也是可能的。

考虑以下示例。包括字符序列“0b10101”的一组原始数据由具有信息源识别元素“scvlt24”的数据编配设备a摄取，并发送到数据编配平台。包括字符序列“0b10101”的一组原始数据由具有信息源识别元素“scvlt24”的数据编配设备a摄取，并发送到数据编配平台。如在此所述，可以使用数据解析字典来分析该组原始数据以生成一组已解析数据。特别地，例如，数据解析字典可以使用数据源识别元素“scvlt24”来识别设备a的信息源配置文件。基于信息源配置文件，数据解析字典可以确定设备a是测量电压值以及以二进制格式输出测量电压值的太阳能电池。因此，数据解析字典可以将指示“数据类型-太阳能电池测量”，“数据格式-二进制值”和“测量单位-伏特”的一组属性的一组元数据附加到该组原始数据，从而生成一组已解析数据。响应于该组已解析数据的生成，可以确定ai逻辑单元处理该组已解析数据。例如，可以将该组已解析数据与各种候选ai逻辑单元(例如，自然语言处理单元、图像分析单元、预测分析单元)进行比较，并确定被配置为导出测量电压值和历史电压值之间的关系(例如，以识别异常)的统计分析单元，其具有满足该组已解析数据的适用性得分阈值的适用性得分。因此，可以使用所确定的统计分析单元来处理该组已解析数据。管理该组已解析数据的其他方法也是可能的。

方法400在方框499处结束。如本文所述，方法400的方面涉及数据编配平台管理。方法400的方面可以提供与数据编配平台管理相关的性能或有效益处。作为示例的，自动确定ai逻辑单元以处理从一组信息源提取的特定数据组可以提高数据编配平台的灵活性，并且消除对手动设备配置的需要(例如，网络管理员不需要手动选择ai逻辑以登记特定信息来源)。总而言之，基于从中收集数据的信息源确定ai逻辑单元可以与诸如数据实用性、数据可靠性和数据编配平台性能和效率之类的益处相关联。

图5是示出根据实施例的数据编配平台管理的方法500的流程图。方法500的方面涉及利用机器学习模型和一组信息源配置文件来管理该组已解析数据的生成。在实施例中，方法500的一些方面可以与方法400的一些方面类似或相同，并且一些方面可以与这里描述的一种或多种方法互换使用。在实施例中，方法500可以在执行方法400之后执行。方法500可以在框501处开始。在框520处，可以使用一组信息源来摄取一组原始数据。在框524，可以导出一组处理规则。在框528，可以构建机器学习模型。在框532和534，可利用机器学习模型和一组信息源配置文件分析该组原始数据。

在实施例中，可以在框521处识别该组已解析数据的第一子集以用于机器学习。可以通过将该组已解析数据的一组属性与一组机器学习可用性标准进行比较来识别该组已解析数据的第一子集。通常，识别可以包括检测、发现、识别、区分或以其他方式确定用于机器学习的该组已解析数据的子集。在实施例中，已解析数据的子集可以包括该组已解析数据的一部分，其被确定为对训练机器学习引擎是相关、有益、有帮助的、有效或以其他方式有用的。如在此所述，可以使用一组机器学习可用性标准来识别已解析数据的子集。该组机器学习可用性标准可以包括参数、特征、条件、要求、规定或基准的集合，以评估用于机器学习的该组已解析数据的效用程度。作为示例的，该组机器学习可用性标准可以包括诸如具有特定属性的数据是否已经由机器学习引擎处理的因素(例如，具有新属性的数据，该数据可以与训练机器学习技术相关)，从其中摄取数据的信息源的类型(例如，光电检测器、加速度计、mes)、摄取数据的上下文因素(例如，数据被收集的原因)等。在实施例中，可以基于机器学习引擎的性质来构造该组机器学习可用性标准(例如，不同类型的机器学习引擎可以具有用于定义可用性的不同标准/基准)。作为示例的，考虑特定的机器学习引擎被配置为识别指示天气现象(例如，风暴、下雨、下雪、冰雹)的可能性的模式。可以摄取一组已解析数据，其指示在限定的时间段内的湿度水平、土壤氮浓度和地下水水平。因此，可以将该组已解析数据与该组机器学习可用性标准进行比较，并且当湿度水平与天气现象预测相关时，可以确定与湿度水平有关的该组已解析数据的子集可以是被识别为可以对机器学习有用的已解析数据的子集。识别用于机器学习的已解析数据的子集的其他方法也是可能的。

在实施例中，已解析数据的子集可以在框523被路由到机器学习引擎。通常，路由可以包括传输、发送、传送、引导、中继或以其他方式将已解析数据的子集转移到机器学习引擎。如在此所述，机器学习引擎可以包括硬件组件或软件模块，其被配置为分析、处理或以其他方式管理该组已解析数据以导出含义、提取推论、做出推论、形成结论、并基于观察自动学习和评估数据。作为示例的，机器学习引擎可以被配置为利用基于规则的学习技术、深度学习技术、降维方法、集成学习技术、基于实例的算法、回归分析、监督学习技术、贝叶斯网络、人工神经网络、决策树、聚类分析、异常检测、强化学习或这些和其他技术的组合。在实施例中，机器学习引擎可以在数据编配平台内部部署。在某些实施例中，机器学习引擎可以在外部部署到数据编配平台，并且可通信地连接到数据编配平台。在本发明实施例中，路由已解析数据的子集可以包括将已解析数据的子集编译到训练语料库中，并将其输出到机器学习引擎以促进机器学习模型的生成。将已解析数据的子集路由到机器学习引擎的其他方法也是可能的。

可以在框524处导出第一处理规则，第一处理规则指示该组ai逻辑单元的第一ai逻辑单元以处理该组已解析数据的第一子集。第一处理规则可以通过机器学习技术导出，其配置为基于一组ai逻辑单元，对该组已解析数据的第一子集的属性组的子集进行分析。通常，导出可以包括计算、提取、推断、计算，识别、推导、制定或以其他方式确定第一处理规则，该第一处理规则指示该组ai逻辑单元的第一ai逻辑单元以处理该组已解析数据的第一子集。第一处理规则可以包括原理、指南、公理、规定或其他规则，其建立该组已解析数据的一个或多个属性与一个或多个ai逻辑单元(或逻辑单元的类型)之间的关系。特别地，第一处理规则可以以{if：then}表达式的形式构造(例如，假使已解析数据的子集与“数据格式：文本数据的属性相关联，则使用自然语言处理技术的ai逻辑单元对其进行处理”)。在本发明实施例中，导出第一处理规则可以包括提取与已解析数据的子集相关联的属性组的子集与ai逻辑单元的一个或多个特性之间的关系。作为示例的，响应于与“数据格式-csv文件”，“数据类型-数据流量统计”和“语义因子-入侵检测监视”的属性的子集相关联的已解析数据的子集的接收，机器学习技术(例如，分类器系统、关联规则学习算法、人工免疫系统)可以基于可用ai逻辑单元池的特征(例如，特性、属性、质量)来分析属性的子集，并且导出第一规则，该规则定义具有“数据类型-数据流量统计”属性或“语义因子-入侵检测监视”属性的已解析数据组，使用被配置为执行方差分析(anova)的ai逻辑单元来处理。导出第一规则的其他方法也是可能的，该第一规则指示该组ai逻辑单元的第一ai逻辑单元以处理该组已解析数据的第一子集。

在本发明实施例中，在框528处，可以使用第一处理规则来构建机器学习模型。该机器学习模型可以被配置为管理ai逻辑单元的选择。通常，构建可以包括建立、创建、制定、组织、生成、组合、构造或以其他方式建立机器学习模型。机器学习模型可以包括与ai逻辑单元选择相关的累积规则的集合。机器学习模型可以被配置为在数据编配管理平台摄取和处理新数据时连续地添加、减去、修改和更新其中包含的规则。机器学习模型可以被配置为可由数据编配平台管理引擎访问以应用于ai逻辑单元的确定。在实施例中，构建机器学习模型可以包括以概率图形格式编译第一处理规则，第一处理规则与多个其他规则相关联。例如，每个规则可以以概率图形格式表示为特定ai逻辑单元与已解析数据子集的一个或多个属性之间的条件依赖关系。作为示例的，参考前面的示例，表示anova逻辑单元的节点可以链接到表示“数据类型-数据流量统计”属性和“语义因子-入侵检测监视”属性的节点。因此，当在数据编配平台中生成一组已解析数据时，机器学习模型可用于确定用于处理该组已解析数据的适当ai逻辑单元。构建机器学习模型的其他方法也是可能的。

在实施例中，在框532处，可利用机器学习模型确定ai逻辑单元以对该组已解析数据执行处理操作。通常，利用可以包括应用、采用、使用或以其他方式利用机器学习模型来确定ai逻辑单元。如在此所述，本发明的方面涉及动态地确定适用的ai逻辑单元以基于数据的属性处理特定数据组。因此，可以利用由机器学习引擎导出的处理规则构建的机器学习模型来促进智能ai逻辑单元的选择。在实施例中，利用机器学习模型可以包括将一组已解析数据的属性组与机器学习模型中建立的依赖关系进行比较，以及确定特定ai逻辑单元，以基于由机器学习模型定义的规则来处理该组已解析数据。作为示例的，参考前面的例子，如果与“数据类型-数据流量统计”属性相关联的一组已解析数据通过数据编配平台获取，则数据编配平台管理引擎可以应用机器学习模型来确定用于处理该组已解析数据的anova逻辑单元(例如，第一处理规则指示具有“数据类型-数据流量统计”属性的数据应由anova逻辑单元处理)。利用机器学习模型的其他方法也是可能的。

在实施例中，在框534处，数据解析字典可以利用该组信息源的一组信息源配置文件来分析该组原始数据。通常，利用可以包括应用、使用、采用或以其他方式利用用于分析该组原始数据的该组信息源配置文件。在实施例中，该组信息源配置文件可以包括描述、定义或表征该组信息源的类型、配置、设置和其他属性的数据或信息的集合。例如，该组信息配置文件可以指示信息源类型(例如，人类用户、mes、电压传感器)、制造商、型号、固件版本、数据收集特征(例如，收集什么类型的数据，数据收集率、延迟)、数据输出格式(例如，二进制、csv文件)或表征信息源的其他方面。在实施例中，特定信息源的信息源配置文件可以链接到该信息源的信息源标识元素。作为示例的，心跳传感器的信息源配置文件可以指示具有标识元素“bsensehbmon1384”的传感器由biosensorinc制造，具有型号hs524al#dqc，固件版本为1.62，被设置为每3秒收集一次心率频率测量值，并以csv格式输出测量数据。在实施例中，利用该组信息源配置文件可以包括配置数据解析字典以引用该组信息源配置文件，以便基于信息源的特征识别该组已解析数据的一组属性。例如，数据解析字典可以将信息源识别元素与信息源配置文件的集合进行比较，以识别对应于特定信息源的信息源配置文件，并利用信息源的特征来分析该组原始数据集和生成一组已解析数据。

在实施例中，可以将第一信息源的信息源标识元素与该组信息源配置文件进行比较，以在框538处确定是否存在与第一信息源相对应的第一信息源配置文件。通常，确定可以包括计算、制定、检测、计算、解析、识别或以其他方式确定是否存在与第一信息源相对应的第一信息源配置文件。如这里所述，确定可以包括将第一信息源的信息源标识元素与信息源配置文件的集合进行比较，以确定是否存在与信息源标识元素链接的信息源配置文件，其与对应于第一信息源的信息源标识元素相对应。具体地，比较可以包括搜索信息源配置文件的集合以获得信息源标识元素相关联的配置文件，该信息源标识元素满足第一信息源的信息源标识元素的相似性阈值(例如，匹配字符的数量)。当检测到与信息源识别元素相关联的信息源配置文件时，其中，该信息源识别元素满足关于第一信息源的信息源识别元素的相似性阈值，该方法可以在框542处继续生成该组已解析数据(例如，使用该组信息源配置文件)。如果没有检测到与信息源识别元素相关联的信息源配置文件，该信息源识别元素满足关于第一信息源的信息源识别元素的相似性阈值，则该方法可以继续在以方框544处建立新的信息源配置文件(例如，对应于信息源识别元素)。

在实施例中，响应于对应于第一信息源的第一信息源配置文件的确定，可以在框542处使用第一信息源配置文件生成该组已解析数据。通常，生成可以包括制定、创建、实例化、产生、组装、构造、安排、组织或以其他方式使用第一信息源配置文件分析该组原始数据来建立该组已解析数据。在实施例中，使用第一信息源配置文件生成该组已解析数据可以包括使用数据解析字典来引用该组信息源配置文件，以便基于信息源的特征来识别该组已解析数据的一组属性，以及使用该组属性来解释(例如，上下文化、从中导出含义)该组原始数据。作为示例的，响应于从具有信息源标识元素“stglumval14”的信息源接收一组原始数据，数据解析字典可以识别与“stglumval14”的信息源标识元素相关联的信息源配置文件，以及使用所识别的配置文件来确定识别元素“stglumval14”对应于与“数据类型-光度”和“测量单位-瓦特”的属性相关联的光度传感器。因此，数据解析字典可以使用从信息源配置文件识别的属性来分析该组原始数据并生成该组已解析数据。

在实施例中，响应于确定不存在对应于第一信息源的信息源配置文件定，可以在框544处使用机器学习引擎建立与第一信息源的信息源标识元素相关联的新信息源配置文件。通常，建立可以包括制定、创建、实例化、生成、组装、结构化、安排或以其他方式组织对应于第一信息源的新信息源配置文件。在实施例中，建立新的信息源配置文件可以包括在信息源简配置文件的集合中生成新的数据条目，其与第一信息源的信息源标识元素相关联。机器学习技术可以分析该组原始数据以导出表征信息源的一个或多个属性或信息源与网络通信环境交互的方式(例如，它收集的数据类型、被摄取的数据格式)，并将此数据添加到新创建的信息源配置文件中。当收集额外的原始数据时，在有关信息源的更多信息变得已知的情况下，机器学习技术可以继续更新新创建的信息源配置文件。建立新信息源配置文件的其他方法也是可能的。

请考虑以下示例，包括字符序列“0008.0a14.c.27”的一组原始数据由具有数据源标识元素“tempsensor18”的数据编配设备摄取，并发送到数据编配平台。如在此所述，可以使用数据解析字典来分析该组原始数据以生成一组解析数据。具体地，例如，数据解析字典可以访问信息源配置文件的集合以确定是否存在与源标识元素“tempsensor18”相对应的信息源配置文件。例如，数据解析字典可以将信息源识别元素“tempsensor18”与信息源配置文件的集合进行比较，并确定与信息源识别元素“tempsensor18”链接的信息源配置文件的存在(例如，存在与数据编配设备对应的配置文件)。在实施例中，信息源配置文件可以指示对应于数据源标识元素“tempsensor18”的数据编配设备是用于数据中心的服务器的温度传感器，以及从该温度传感器摄取的原始数据被格式化为字符序列，在该字符序列中前四位数字表示服务器所在的房间号，接下来的四位数字表示机架的机架标识符和位置，下一个字符表示测量值的测量单位，最后两位数字表示测量的温度值。基于该信息，数据解析字典可以解析原始数据字符序列“0008.0a14.c.27”表示服务器位于房间号8中的服务器机架a的第14位置，以及测量的温度值是27摄氏度。因此，数据解析字典可以基于标识数据编配设备的信息源配置文件所指示的信息来生成该组已解析数据。使用该组信息源配置文件来管理该组已解析数据的生成的其他方法也是可能的。

在框560处，可以确定ai逻辑单元。在框580处，可以使用ai逻辑单元处理该组已解析释数据。方法500在框599结束。如在此所述，方法500的方面涉及数据编配平台管理。方法500的方面可以提供与数据编配平台管理相关的性能或效率益处。作为示例的，利用机器学习模型和一组信息源配置文件可以促进原始数据的解析和用于数据处理的合适ai逻辑单元的动态选择总而言之，基于从中收集数据的信息源来确定ai逻辑单元可以与诸如数据实用性、数据可靠性和数据编配平台性能和效率之类的益处相关联。

图6示出了根据本发明实施例的数据编配平台管理的方法600的流程图。方法600的方面涉及利用预测分析技术来生成一组候选预测上下文，并基于一个或多个预测上下文执行关于网络通信环境的管理操作。在实施例中，方法600的一些方面可以与方法400或500的一些方面类似或相同，并且这些方面可以与这里描述的一种或多种方法互换使用。在实施例中，可以在执行方法400或500之后执行方法600。方法600可以在框601处开始。在框620处，可以使用一组信息源来摄取一组原始数据。在框640处，可以使用数据解析字典来生成一组已解析数据。在框660，可以确定ai逻辑单元对该组已解析数据进行处理。在框680，可以使用ai逻辑单元处理该组已解析数据。

在实施例中，可以在框682处基于网络通信环境生成一组候选预测上下文。可以使用预测分析技术生成该组候选预测上下文，该预测分析技术被配置为提取该组已解析数据与一组历史已解析数据之间的关系。通常，生成可以包括制定、创建、实例化、产生、组装、结构化、安排、组织或以其他方式建立该组候选预测上下文。在实施例中，该组候选预测上下文可以包括一组推理或论论述的潜在语句，其用于解释在网络通信环境中摄取该组原始数据的背景或情况。例如，该组候选预测上下文可以是解释原始数据中存在的模式的推论、假设或逻辑语句。如本文件所述，生成该组候选预测上下文可以包括使用预测分析技术(例如，线性回归模型、逻辑回归技术、时间序列模型、分类和回归树、神经网络、支持向量机、朴素贝叶斯、k-最近邻、地理空间预测建模)等，以基于一组历史已解析数据分析的一组已解析数据(例如，由数据编配平台存档的历史已解析数据)并识别解释当前已解析数据组的关系(例如，趋势、共享模式、差异)。基于该分析，预测分析技术可以针对该组已解析数据产生多个可能的基本原理(例如，预测上下文)。作为示例的，假设由特定太阳能电池收集的电压在每天的特定时间会经历大致相同幅度的降低的收集电压。基于相同太阳能电池的电压收集中一组历史已解析数据以及一组云阻塞(例如，防止太阳能收集的云)、、接线错误配置(例如，由于电缆的电阻引起的损耗)、污染损失(例如，由于覆盖太阳能电池的污垢、灰尘或雪引起的损失)，以及太阳跟踪损失(例如，太阳能电池的角度并非正确追随太阳的运动)的候选预测上下文，可以通过预测分析技术来分析太阳能电池的一组已解析数据。生成候选预测上下文集合的其他方法也是可能的。

在实施例中，响应于该组候选预测上下文的生成，可以在框684处为该组候选预测上下文分配一组置信度值。通常，分配可以包括分拨、确定、指定，分派或以其他方式分发该组候选预测上下文的该组置信度值。该组置信度值可以包括该组候选预测上下文中的每一个的可信度、可靠性或准确度的相对指示。例如，该组置信度值可以表示为0到100之间的整数值，其中较大的值表示较大的置信度，较低的值表示较小的置信度。在实施例中，分配该组置信度值可以包括计算表示特定候选预测上下文与该组历史已解析数据的模式和趋势之间的相关程度的值(例如，对于与历史已解析数据的模式具有更高程度的相关性的候选预测上下文，给其分配更高的置信水平)。作为示例的，参考前面的示例，可以为云阻塞的候选预测上下文分配45的置信水平(例如，尽管存在可能，云不太可能每天在同样的时间对收集电压减少相同的量)、为布线错误配置的候选预测上下文分配8的置信水平(例如，每天的特定时间不太可能发生布线故障)、可以为污染损失的候选预测上下文分配32的置信水平(例如，当太阳能电池被灰尘覆盖，可以预期电压收集中的定量减少)，可以为太阳追踪损失的候选预测上下文分配81的置信水平为(例如，太阳能电池的不正确追踪角度可以解释每天特定时间的电压收集减少的原因)。将该组置信度值分配给该组候选预测上下文的其他方法也是可能的。

在实施例中，可以在框686处选择第一候选预测上下文。可以通过将该组候选预测上下文的置信度值组与置信度阈值进行比较来选择第一候选预测上下文。通常，选择可以包括挑选、确定、选出、决定或以其他方式识别第一候选预测上下文。第一候选预测上下文可以包括特定候选预测上下文，其具有使一组特定已解析数据的背景条件合理化的最大可能性(例如，最高置信度)。如本文件所述，可以通过该组候选预测上下文的该组置信度值与置信度阈值之间的比较来选择第一候选预测上下文。置信度阈值可以包括预定基准、规定或要求，其指示该组候选预测上下文的最小可接受置信度。在实施例中，置信度阈值可以由数据编配平台的用户进行设置(例如，用户可以指定置信度阈值“80”)。在某些实施例中，置信度阈值可指示一候选预测上下文相对于其他候选预测上下文的最小可接受排名(例如，选择具有最高置信度值的候选预测上下文)。作为示例的，假设置信度阈值被设置为值85(例如，由用户设置)。因此，云阻塞的候选预测上下文的置信水平为45，布线错误配置候选预测上下文的置信水平为8，污染损失的候选预测上下文的置信水平为32，以及太阳追踪损失的候选预测上下文的置信水平为81，可以将上述置信水平分别与置信度阈值85进行比较，则可以选择太阳追踪损失的候选预测上下文的作为第一候选预测上下文(例如，因为它是唯一能够满足置信度阈值85的候选预测上下文，可以确定它是该组已解析数据的最可能上下文)。选择第一候选预测上下文的其他方法也是可能的。

在实施例中，可以在框688处基于第一候选预测上下文来执行关于网络通信环境的管理操作。可以使用数据编配平台管理引擎来执行管理操作。通常，执行可以包括启动、实施、实例化、实现、完成、颁布或以其他方式执行管理操作。管理操作可以包括促进数据编配平台的性能的动作、过程、程序、策略、活动或行为。作为示例的，管理操作可以包括重新配置数据编配设备(例如，更新固件、改变设置)、添加或移除数据编配设备(例如，移除故障传感器、安装新传感器)、提供通知(例如，向用户或网络管理员)、路由数据流量(例如，改变数据路由路径)等。在实施例中，可以基于第一候选预测上下文来选择对网络通信环境执行的管理操作。例如，在实施例中，数据编配平台管理引擎可以引用候选预测上下文和相关管理操作的数据库，并确定对第一候选预测上下文有效的管理操作。作为示例的，再次参考前面的示例，响应于选择太阳追踪损失的第一候选预测上下文，数据编配平台管理引擎可以参考候选预测上下文的数据库并选择管理操作以重新校准太阳能电池的角度。例如，准确地跟踪太阳的角度)。因此，数据编配平台管理引擎可以执行关于太阳能电池的管理操作，以促进数据编配平台的性能。执行管理操作的其他方法也是可能的。

方法600在框699结束。如本文件所述，方法600的方面涉及数据编配平台管理。方法600的方面可以提供与数据编配平台管理相关的性能或效率益处。作为实施例的，基于预测上下文并以动态方式关于数据编配平台执行管理操作可以促进对网络通信环境的状态的灵活、实时响应。总而言之，基于从中收集数据的信息源确定ai逻辑单元可以与诸如数据实用性、数据可靠性和数据编配平台性能和效率之类的益处相关联。

图7为根据实施例的用于数据编配平台管理的示例数据处理流水线750的示意图。图7的方面涉及构造包括一组ai逻辑单元的数据处理流水线750，以执行关于该组已解析数据的处理操作。.通常，构造可以包括构建，创建、制定、组织、生成、组成、构造或以其他方式建立数据处理流水线750。数据处理流水线750可以包括一系列通信连接的资产，其被配置为对由数据编配平台所摄取的数据执行各种处理操作。在实施例中，数据处理流水线750可以实现为操作图，其定义流计算环境中元组的执行路径。

如图7所示，数据处理流水线750可以包括用于对数据执行处理操作的一系列资产702至726。通常，资产可以包括ai逻辑单元，其被配置为对由数据编配平台摄取的数据执行预定的处理操作。在实施例中，数据处理流水线750的资产可以是各种软件模块和硬件组件的可视表示，其用于执行本文件所述的用于数据编配平台管理的方法的方面。例如，如图7所示，数据处理流水线750可以包括信息源资产702,722(例如，表示特定信息源、组或设备类的资产)、优化资产704,724(例如，用于从原始数据生成已解析数据组的资产)、存储资产706(例如，用于基于其属性临时存储已解析数据的资产)、处理资产708,712(例如，用于对已解析数据组进行归类、分类、转换和规范化的资产)、云分析资产710(例如，用于将统计或预测分析应用于已解析数据组的资产)、大数据资产714(例如，用于概括、标准化和共享来自数据的见解的资产)，以及机器学习资产726(例如，用于将机器学习技术应用于数据并构建机器学习模型的资产)。在实施例中，构造数据处理流水线750可以包括使用数据编配平台管理引擎自动生成推荐的一系列资产，以根据过去类似处理中使用的数据处理流水线对原始数据组进行处理。在某些实施例中，构造数据处理管线750可以包括向用户或网络管理员提供图形用户界面，并允许用户/管理员使用期望资产构建数据处理流水线750。构建数据处理流水线750的其他方法也是可能的。

图8为示出根据实施例的数据编配平台管理的数据流水线850的示例图。图8的方面涉及由数据编配平台管理引擎使用机器学习模型以动态方式修改数据处理流水线。如本文件所述，本发明的方面涉及使用机器学习模型来确定ai逻辑单元，从而以动态和自动方式处理已解析数据组。因此，在某些实施例中，数据编配平台管理引擎可以基于由机器学习模型确定的ai逻辑单元来修改数据处理流水线850。如图8所示，数据处理流水线可以包括信息源资产802,822、优化资产804,824、存储资产806、处理资产808,812,828、云分析资产810、大数据资产814和机器学习资产826。数据处理流水线850的资产802到828可以基本上对应于数据处理流水线750的资产，因此这里省略其详细描述。

在实施例中，修改数据处理流水线850可以包括修订、添加、减去、改变、调整、定制、校正、更新、重新配置或以其他方式改变数据处理流水线850。在实施例中，修改数据处理流水线850可以包括添加新资产(例如，新的ai逻辑单元)并通过数据处理流水线850重新路由数据流。特别地，如图8所示，可以将新的优化资产828添加到数据处理流水线850，并且可以修改数据流路径，使得来自优化资产808的数据被发送到机器学习资产826、优化资产828，并且最后到大数据资产814。作为示例的，优化资产808可以被配置为识别用于机器学习的一组已解析数据的子集(例如，使用一组机器学习可用性标准，如本文件所述)，并且将已解析数据的子集路由到机器学习资产826用于分析。随后，如本文所述，机器学习资产826可以确定将已解析数据的子集路由到优化资产828(例如，ai逻辑单元)以在被传送到大数据资产814之前经过处理。在实施例中，可以即时对数据流水线850进行修改(例如，可以基于已解析数据的性质实时添加额外的ai逻辑单元)。修改数据流水线850的其他方法也是可能的。

图9是示出根据实施例的数据编配平台的示例高级系统架构900的图。图9涉及用于实现本文描述的数据编配平台的各个方面的系统架构900。在实施例中，如本文所述，数据编配平台可以通信地连接到包括一组信息源(例如，传感器、用户、设备)的网络905(例如，网络通信环境，物联网网络)。在某些实施例中，可以使用管理设备990(例如，计算机、服务器、终端、移动设备)来配置、管理和构造系统架构900。系统架构900可以包括编配集线器920，其被配置为从网络905的信息源摄取数据(例如，原始数据组)。编配集线器920可以是被配置为监视、收集、组织和管理从网络905摄取的数据的软件模块或硬件组件。在实施例中，如本文件所述，编配集线器920可以被配置为使用一组设备属性数据和一组连接数据(例如，使用一组信息源配置文件)来映射原始数据，以便于解析该组原始数据。在某些实施例中，可以将该组原始数据直接发送到编配处理单元950以进行处理。例如，编配处理单元950可以被配置为执行数据流水线生成945以构造用于对该组原始数据执行处理操作的数据流水线。在某些实施例中，可以将该组原始数据直接发送到编配数据库980(例如，基于ai的存储系统)以进行存储和分类。参见图9，在某些实施例中，可以使用数据解析字典975(例如，词法资源配置为从原始数据集合中提取含义)来处理该组原始数据，以生成一组已解析数据。在实施例中，生成该组已解析数据可以包括利用一组获取状态数据976(例如，表征上下文的数据，该组原始数据在该上下文中摄取)和一组重新优化数据977(例如，定义过去数据如何经过优化和解析的数据))。随后，该组已解析数据可以经过数据标准化960以进行通用化和格式化。如本本文件所述，可以将该组已解析数据返回到编配集线器920以提供用于未来数据分析的反馈、发送到编配处理单元950以进行进一步处理(例如，确定管理动作)或存储在编配数据库980中。.其他类型的系统架构900也是可能的。

除了上述实施例之外，还可以预期具有更少操作步骤、更多操作步骤或不同操作步骤的其他实施例。而且，一些实施例可以以不同的顺序执行上述一些或全部操作步骤中。在实施例中，可以响应于其他操作步骤来执行一些操作步骤。

在前文中，参考了各种实施例。然而，应该理解的，本发明不限于具体描述的实施例。相反，所描述的特征和元素的任何组合，无论与不同的实施例相关是否，都被预期用于实现和实施本发明。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。因此，所描述的方面、特征、实施例和优点仅仅是说明性的，并且不被认为是所附权利要求的元素或限制，除非在权利要求中明确地陈述。

本发明可以是系统、方法和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(或介质)，其上具有计算机可读程序指令，用于使处理器执行本发明的方面。

计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备，电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字通用光盘(dvd)、记忆棒、软盘以及前述的任何合适的组合。这里使用的计算机可读存储介质不应被解释为瞬时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)或通过电线传输的电信号。

这里描述的计算机可读程序指令可以经由网络，例如，因特网、局域网、广域网和/或无线网络，从计算机可读存储介质下载到相应的计算/处理设备或外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、源代码或面向编程语言，例如java，smalltalk，c++等的对象。计算机可读程序指令可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上和部分地在远程计算机上执行或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以执行计算机可读程序指令。

这里参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的方面。可理解的，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令实现。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得当由计算机的处理器或其他可编程数据处理装置执行时，实现流程图和/或框图中的特定功能。

本发明的实施例可以通过云计算基础设施向终端用户提供。云计算通常是指将可扩展计算资源作为网络上的服务提供。更正式地，云计算可以被定义为提供计算资源与其底层技术架构(例如，服务器、存储和网络)之间的抽象概念的计算能力，实现对可配置计算资源共享池的便捷、按需网络访问，可以通过最少的管理工作或服务提供商交互快速配置和发布。因此，云计算允许用户访问“云”中的虚拟计算资源(例如，存储、数据、应用程序、甚至完整的虚拟化计算系统)，而不考虑用于提供计算资源的底层物理系统(或那些系统的位置)。。

本发明的实施例还可以作为与客户公司、非营利组织、政府实体、内部组织结构等的服务约定的一部分来递送。这些实施例可以包括配置计算机系统以执行和部署实现本文件描述的一些或所有方法的软件、硬件和web服务。这些实施例还可以包括分析客户端的操作、响应于分析创建建议、构建实现部分推荐的系统、将系统集成到现有过程和基础设施中、计量系统的使用、向系统的用户分配费用，以及计费系统的使用。

附图中的流程图和框图显示了根据本发明的各实施例的系统、方法和计算机程序产品可能实现的体系结构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意的是，框图和/或流程图中的每个框以及框图和/或流程图中的框的组合可以由专用硬件系统实现，其执行特定功能或动作或执行专用硬件和计算机指令的组合。

这里使用的术语仅用于描述特定实施例的目的，并不旨在限制各种实施例。如这里所使用的，单数形式“一”，“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。“一组”，“一组”，“一堆”等旨在包括一个或多个。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征，步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、步骤、操作、元素、组件和/或其组。

在先前对各种实施例的示例性实施例的详细描述中，参考了附图(其中相同的数字表示相同的元件)。这些实施例足够详细描述以使得本领域技术人员能够实施实施例，但是可以使用其他实施例，并且可以在不脱离各种实施例的范围的情况下进行逻辑，机械，电气和其他改变。

尽管以上通过实施例描述了本发明的实施方案，但这些实施例仅用于解释本发明，并且本发明的范围不限于此。因此，本发明可以以各种其他形式实现。