一种机器数据在线处理方法及系统与流程

本发明涉及机器数据在线处理技术领域，尤其涉及一种机器数据在线处理方法及系统。

背景技术：

随着互联网技术的广泛应用，在科技行业，以及传统行业与互联网行业的结合的大背景下，企业的机器数据的增长呈现指数级，这些数据含有宝贵的价值。

目前，机器数据采集和管理系统中，元数据通常有缺失定义的情况，比如设备模板，设备实例和设备模板的映射关系等，进而导致这些数据无法被识别。其中，元数据是一种关于数据的数据，一般是结构化数据(如存储在数据库里的数据，规定了字段的长度、类型等)。具体的，对于机器数据而言，元数据是指从机器数据中抽取出来的用于说明其特征、内容的结构化的数据。对此，现有技术中通常需要采用人工方式，实现对元数据的抽取和对所缺失元数据的添加，以保证系统中的各分布式组件能够准确地对采集到的机器数据进行实时分析、批量处理和查询等后续处理。但是这种方式不仅耗时耗力，效率比较低，而且容易出错，准确率差。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的机器数据在线处理方法及系统。

本发明的一个方面，提供了一种机器数据在线处理方法，包括:

对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；

对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；

读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；

提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

其中，所述方法还包括：

周期性地对所述有效数据目录中的数据添加固定标记；

定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。

其中，对所述异常消息队列中的异常机器数据进行分类，包括：

根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；

将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。

其中，在所述将所述元数据注册到元数据管理模块之后，所述方法还包括:

对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；

当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。

本发明的另一个方面，提供了一种机器数据在线处理系统，包括:

识别模块，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；

分类模块，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；

注册模块，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；

提取模块，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

其中，所述系统还包括：

标记模块，用于周期性地对所述有效数据目录中的数据添加固定标记；

数据导入模块，用于定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。

其中，所述分类模块，具体用于根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。

其中，所述标记模块，还用于在所述注册模块将所述元数据注册到元数据管理模块之后，对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。

此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

此外，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。

本发明实施例提供的机器数据在线处理方法及系统，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的一种机器数据在线处理方法的流程图；

图2为本发明实施例的另一种机器数据在线处理方法的流程图；

图3为本发明实施例的机器数据在线处理方法的具体实现原理示意图；

图4为本发明实施例的一种机器数据在线处理系统的结构示意图；

图5为本发明实施例的另一种机器数据在线处理系统的结构示意图；

图6为本发明实施例的计算机设备的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

本发明实施例提供的机器数据在线处理方法，实现了从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，解决了人工手动方式操作繁琐、效率低、容易出错的问题。

图1示意性示出了本发明一个实施例的机器数据在线处理方法的流程图。参照图1，本发明实施例的机器数据在线处理方法具体包括以下步骤：

s11、对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列。

元数据是一种关于数据的数据，一般是结构化数据(如存储在数据库里的数据，规定了字段的长度、类型等)。具体的，对于机器数据而言，元数据是指从机器数据中抽取出来的用于说明其特征、内容的结构化的数据。本发明实施例通过预先对实时采集的机器数据进行元数据识别，将无法识别元数据的异常机器数据缓存到异常消息队列。

s12、对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录。

本发明实施例中，具体通过以下方式实现对所述异常消息队列中的异常机器数据进行分类，具体如下：根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。

s13、读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识。

s14、提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

本发明实施例提供的机器数据在线处理方法，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。

在本发明的一个可选实施例中，参照图2，在步骤s14之后所述方法还包括以下步骤：

s15、周期性地对所述有效数据目录中的数据添加固定标记；

s16、定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。

本发明实施例中，在所述将所述元数据注册到元数据管理模块之后，所述方法还包括以下步骤：对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。

本发明实施例通过对第一异常目录中的异常数据定期进行重新处理，并且每次对注册失败的数据添加处理次数标记，当超过预设的上限值之后，将不再对相应数据进行处理。

图3为本发明实施例的机器数据在线处理方法的具体实现原理示意图。参见图3，本发明实施例提供的机器数据在线处理方法在具体实现过程中，本实施例中，通过对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列，将能够识别的正常数据缓存到正常消息队列，对于所述异常消息队列中的异常机器数据需要根据预设的数据过滤逻辑对其进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录，将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录，将异常消息队列中的数据格式非法而导致无法识别的异常数据存放在第二异常目录，周期性地读取所述第一异常目录中的异常数据，扫描文件中的数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，如果注册成功，则对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识，否则对所述第一异常目录中的没有成功标记为失败，并添加处理次数标记，对于失败的数据，会在下一次处理过程中重新尝试注册，当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取，具体的，这个过程可以重复执行3-5次，如果没有成功则不再继续重试。其中，异常数据中的数据会在元数据自动注册完成后，被成功补录到正常数据对应的有效数据目录中，对于无法成功补录的数据不作处理，仍然停留在异常目录中。对于有效数据目录中的数据，会被周期性地、批量地导入到最终的持久化目录中。

本发明实施例提供的机器数据在线处理方法，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，并且同步到系统的实时分析，批量处理，查询等各分布式组件，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图4示意性示出了本发明一个实施例的机器数据在线处理系统的结构示意图。参照图4，本发明实施例的机器数据在线处理系统具体包括识别模块401、分类模块402、注册模块403以及提取模块404，其中：

识别模块401，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；

分类模块402，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；

注册模块403，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；

提取模块404，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

在本发明的一个可选实施例中，如图5所示，所述系统还包括标记模块405和数据导入模块406，其中：

标记模块405，用于周期性地对所述有效数据目录中的数据添加固定标记；

数据导入模块406，用于定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。

本发明实施例中，所述分类模块402，具体用于根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。

本发明实施例中，所述标记模块405，还用于在所述注册模块将所述元数据注册到元数据管理模块之后，对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行重新读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例提供的机器数据在线处理方法及系统，能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，并且同步到系统的实时分析，批量处理，查询等各分布式组件，使得后续数据能够顺利被识别。本发明解决了人工手动方式操作繁琐、效率低、容易出错的问题，也无需配备大量的专业人员来操作，从而极大地提高了机器数据的处理效率和准确率，同时节省了人工成本。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

本实施例中，所述机器数据在线处理系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

图6为本发明实施例提供的计算机设备的示意图。本发明实施例提供的计算机设备，包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序，所述处理器502执行所述计算机程序时实现上述各个机器数据在线处理方法实施例中的步骤，例如图1所示的s11、对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；s12、对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；s13、读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；s14、提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。或者，所述处理器502执行所述计算机程序时实现上述各机器数据在线处理系统实施例中各模块/单元的功能，例如图4所示的识别模块401、分类模块402、注册模块403以及提取模块404。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述机器数据在线处理系统中的执行过程。例如，所述计算机程序可以被分割成识别模块401、分类模块402、注册模块403以及提取模块404，各模块具体功能如下：识别模块401，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；分类模块402，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；注册模块403，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；提取模块404，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图6仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。