大数据提取分析方法、装置、存储介质及服务器与流程

文档序号:15131475发布日期:2018-08-10 08:03阅读:212来源:国知局

本发明涉及大数据处理领域,特别涉及一种大数据提取分析方法、装置、存储介质及服务器。



背景技术:

现有技术中生产服务器不仅要接收外部设备的各种数据信息,并根据这些数据信息发出指示信号给各个外部设备,生产服务器还会对运行过程中满足一定条件的的运行结果数据以及原始数据进行提取、分析以及备份等处理。

但是,生产服务器对运行过程中满足一定条件的的运行结果数据以及原始数据进行提取、分析以及备份等处理会对占用服务器很大的cpu使用率,影响其对外部设备的正常控制。

因此,现有技术存在缺陷,急需改进。



技术实现要素:

本发明实施例提供一种大数据提取分析方法、装置、存储介质及服务器,可以减小生产服务器的压力提高生产服务器的运行效率。

本发明实施例提供一种大数据提取分析方法,用于模拟服务器中,所述方法包括以下步骤:

对生产服务器的第一数据进行复制,其中该第一数据包括系统数据以及运行数据;

根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行;

获取具有条件信息的数据获取请求;

根据所述条件信息从模拟系统中抽出目标数据。

优选地,所述对生产服务器的第一数据进行复制的步骤包括:

每隔预设时间段对生产服务器的第一数据进行复制。

优选地,所述对生产服务器的第一数据进行复制的步骤包括:

当获取到复制触发信号时,识别复制触发信号的种类;

当所述复制触发信号的为第一类时,对所述第一数据中的系统数据以及运行数据进行复制;

当所述复制触发信号的为第二类时,对所述第一数据中的运行数据进行复制。

优选地,所述条件信息包括所述条件信息包括:模拟运行结果特征、数据类型特征、时间特征以及地点特征中的一种或多种。

优选地,所述根据所述条件信息从模拟系统中抽出目标数据的步骤包括:

根据所述条件信息中的数据类型特征从所述模拟系统中抽出对应数据类型的第二数据;

根据所述条件信息中的时间特征从所述第二数据中筛选出第三数据;

根据所述模拟系统的模拟运行结果特征从所述第三数据中抽出目标数据。

一种大数据提取分析装置,包括:

复制模块,用于对生产服务器的第一数据进行复制,其中该第一数据包括系统数据以及运行数据;

模拟运行模块,用于根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行;

获取模块,用于获取具有条件信息的数据获取请求;

提取模块,用于根据所述条件信息从模拟系统中抽出目标数据。

优选地,所述复制模块用于每隔预设时间段对生产服务器的第一数据进行复制。

优选地,所述复制模块包括:

识别单元,用于当获取到复制触发信号时,识别复制触发信号的种类;

第一复制单元,用于当所述复制触发信号的为第一类时,对所述第一数据中的系统数据以及运行数据进行复制;

第二复制单元,用于当所述复制触发信号的为第二类时,对所述第一数据中的运行数据进行复制。

本发明实施例还提供一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行上述方法。

本发明实施例还提供一种服务器,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行上述方法。

由上可知,本发明通过对从生产服务器获取的原始数据进行模拟演练,并生成模拟演练的结果数据;获取将要提取的目标数据的条件信息;根据所述条件信息从所述原始数据以及所述结果数据中获取目标数据;对所述目标数据进行分析处理;从而实现对生产服务器中的数据的提取分析处理,可以降低对生产服务器的压力,提高生产服务器的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的大数据提取分析方法的流程示意图。

图2是本发明实施例提供的大数据提取分析装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。

本发明的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应当理解,这样描述的对象在适当情况下可以互换。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、服务器、系统不必限于清楚地列出的那些步骤或模块或单元,还可以包括没有清楚地列出的步骤或模块或单元,也可以包括对于这些过程、方法、装置、服务器或系统固有的其它步骤或模块或单元。

参考图1,图1为本发明实施例中的大数据提取分析方法的流程图。方法可以应用于模拟服务器中。在本实施例中,该方法包括以下步骤:

s101、对生产服务器的第一数据进行复制,其中该第一数据包括系统数据以及运行数据。

其中,该第一数据可以包括该构成该生产服务器的运行系统的系统数据以及该系统中运行的运行数据。该系统数据是每隔一断时间更新一次的,就像常用的操作系统一样。

在一些实施例中,该步骤s101包括:每隔预设时间段对生产服务器的第一数据进行复制。例如,可以每间隔12小时进行一次复次,后一次复制的内容全面覆盖前一次复制的内容。

在一些实施例中,该步骤s101包括:

s1011、当获取到复制触发信号时,识别复制触发信号的种类。

其中,该复制触发信号的种类根据预设生成。例如,系统设定是每周三对生产服务器的系统进行升级,因此,当周三时,模拟服务器的模拟系统同样需要进行更新,因此其生成的复制触发信号为第一类,其他时间生成的复制触发信号则为第二类。

s1012、当所述复制触发信号的为第一类时,对所述第一数据中的系统数据以及运行数据进行复制。

当所述复制触发信号的为第二类时,对所述第一数据中的运行数据进行复制。

s102、根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行。

该模拟服务器中设置有虚拟运行平台,其从生产服务器获取原始数据,并按照与生产服务器相同的演练逻辑,对该原始数据进行模拟演练。其中,该第一数据中的运行数据可以包括以下多种数据:影像数据、音频数据、图片数据、数字数据、文字数据、指纹数据等。

在一些实施例中,该步骤s102包括:

s1021、获取所述目标数据块要求满足的数据特征信息;

s1022、获取所述目标数据块要求满足的演练结果类型。

其中,该数据特征信息包括以下特征中的至少一种:数据类型特征、时间特征、地点特征、关键字特征。该演练结果类型可以是对原始数据进行识别的结果、加工的结果或者其他处理的结果。

s103、获取具有条件信息的数据获取请求。

优选地,所述条件信息包括所述条件信息包括:模拟运行结果特征、数据类型特征、时间特征以及地点特征中的一种或多种。

s104、根据所述条件信息从模拟系统中抽出目标数据。

其中,该目标数据可以是最开始的第一数据中的运行数据,也可以是运行数据经过模拟运行后产生的运行结果数据。

其中,可以根据现有的技术对提取出的目标数据进行备份、分类、关联、人工智能学习等处理。

例如,多个目标数据块的数据特征信息可以相同也可以不相同,多个目标数据块的演练模式不同,例如,可能有一些目标数据块是图片数据,有一些目标数据块是文字数据。而对图片数据的演练是识别对图片数据进行识别,而对文字数据的模拟演练是识别其中的关键字。

在一些实施例中,该步骤s104包括:

s1041、根据所述条件信息中的数据类型特征从所述模拟系统中抽出对应数据类型的第二数据;

s1042、根据所述条件信息中的时间特征从所述第二数据中筛选出第三数据;

s1043、根据所述模拟系统的模拟运行结果特征从所述第三数据中抽出目标数据。例如,该原始数据中包括有图片数据、文字数据以及视频数据。数据特征信息包括时间特征、数据类型特征、地点特征。在这里,该数据特征信息的筛选条件为xx年yy日zz时、图片数据以及地点位于天安门广场。而在本实施例中,模拟演练的类型为图片识别,运行结果类型的条件为:识别出待筛选图片中的黑色人种。

根据所述第二数据块的数据类型特征、时间特征以及地点特征以及所述第三数据块对所述多个目标数据块进行分组存储。

由上可知,本发明通过对从生产服务器获取的原始数据进行模拟演练,并生成模拟演练的结果数据;获取将要提取的目标数据的条件信息;根据所述条件信息从所述原始数据以及所述结果数据中获取目标数据;对所述目标数据进行分析处理;从而实现对生产服务器中的数据的提取分析处理,可以降低对生产服务器的压力,提高生产服务器的效率。

请参照图2,图2是本发明实施例中的一种大数据提取分析装置的结构图。该装置包括:

复制模块201,用于对生产服务器的第一数据进行复制,其中该第一数据包括系统数据以及运行数据;

模拟运行模块202,用于根据复制的第一数据在模拟服务器建立模拟系统并进行模拟运行;

获取模块203,用于获取具有条件信息的数据获取请求;

提取模块204,用于根据所述条件信息从模拟系统中抽出目标数据。

优选地,所述复制模块201用于每隔预设时间段对生产服务器的第一数据进行复制。

优选地,复制模块201包括:识别单元、第一复制单元以及第二复制单元。

其中,识别单元用于当获取到复制触发信号时,识别复制触发信号的种类。

其中,第一复制单元用于当所述复制触发信号的为第一类时,对所述第一数据中的系统数据以及运行数据进行复制。

其中,第二复制单元用于当所述复制触发信号的为第二类时,对所述第一数据中的运行数据进行复制。其中,该复制触发信号的种类根据预设生成。例如,系统设定是每周三对生产服务器的系统进行升级,因此,当周三时,模拟服务器的模拟系统同样需要进行更新,因此其生成的复制触发信号为第一类,其他时间生成的复制触发信号则为第二类。

本发明实施例还提供一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行上述实施例中的大数据提取分析方法。

本发明实施例还提供一种服务器,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行上述实施例中的大数据提取分析方法。

需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,该存储介质可以包括但不限于:只读存储器(rom,readonlymemory)、随机存取存储器(ram,randomaccessmemory)、磁盘或光盘等。

以上对本发明实施例所提供的大数据提取分析方法、装置、存储介质及服务器进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1