一种linux下服务器监测数据的处理方法与流程

本发明涉及服务器监测领域，尤其涉及一种linux下服务器监测数据的处理方法。

背景技术：

服务器压力测试过程中，需要监控各个测试数据在测试过程中的变化趋势，从而分析是否有部件压力测试中是否出现超阈值，或sensor异常。通常测试的方法都是待压力测试完成后查看sellog中是否有异常记录，但是无法观测测试过程中的数据变化，及sensor的变化过程。

如果在测试过程中，出现因系统外界因素或系统内在因素造成测试数据的存储装置中途测试数据丢失，使待压力测试完成后的sellog中的数据不完整，影响对测试结果的评价。而且服务器测试过程中，数据量较多，测试人员需要查看某一种，或某一类型的测试数据时，需要在sellog中筛选找出想要的文件，这样因测试数据未能有效的提炼而导致测试数据杂乱无章的排列到sellog中，影响对测试数据的使用。

技术实现要素：

为了克服上述现有技术中的不足，本发明提供一种linux下服务器监测数据的处理方法，方法包括：

开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；

按照预设的规则对每个测试文件信息的文件名进行标识，将标识后测试文件信息，按照预设的存储方式存储至数据库；

根据预设条件，调取数据库中存储标识的测试文件信息，并对调取的测试文件信息进行备份，将备份后的测试文件信息储存至备份存储器。

优选地，步骤持续的获取测试数据流，并遍历测试数据流的每个测试文件信息还包括：

从httprequest中获取测试数据流，使用while循环遍历整个测试数据流的每个测试文件信息。

优选地，步骤按照预设的规则对每个测试文件信息的文件名进行标识，将标识后测试文件信息，按照预设的存储方式存储至数据库还包括：

按照utf-8编码作为每个测试文件信息的文件名的名头作为标识，在每个测试文件信息上添加获取该测试文件信息的时间戳，并且将测试文件信息整理为csv数据格式，按照测试数据流的接收次序进行排序，排序后存储至数据库。

优选地，步骤按照预设的存储方式存储至数据库还包括：

根据预设时间段设置时间段存储文件夹，将预设时间段内获取的测试数据流存储至所述时间段存储文件夹内；

当达到预设时间段的终止时间点时，将所述时间段存储文件夹储存至数据库。

优选地，步骤按照预设的存储方式存储至数据库还包括：

在数据库中，根据测试数据流中每个文件的类型配置类型文件夹，根据接收文件的类型存储至相应的类型文件夹中。

优选地，步骤根据预设条件，调取数据库中存储标识的测试文件信息，并对调取的测试文件信息进行备份，将备份后的测试文件信息储存至备份存储器还包括：

设置备份时间点以及设置备份时间段；

当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段，调取在备份时间段内数据库所存储的测试文件信息，对备份时间段内数据库所存储的测试文件信息进行备份，并将备份文件储存至备份数据库。

优选地，步骤根据预设条件，调取数据库中存储标识的测试文件信息，并对调取的测试文件信息进行备份，将备份后的测试文件信息储存至备份存储器还包括：

设置备份时间点，设置备份时间段以及设置测试节点；

当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段和测试节点，调取在备份时间段内数据库所存储的由所述测试节点发送的测试文件信息，对测试文件信息进行备份，并将备份文件储存至备份数据库。

优选地，步骤根据预设条件，调取数据库中存储标识的测试文件信息，并对调取的测试文件信息进行备份，将备份后的测试文件信息储存至备份存储器还包括：

设置备份时间点，设置备份时间段以及设置备份测试文件类型；

当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段和备份测试文件类型，调取在备份时间段内数据库所存储的具有备份测试文件类型的测试文件信息，对测试文件信息进行备份，并将备份文件储存至备份数据库。

从以上技术方案可以看出，本发明具有以下优点：

本发明的测试文件捕获方法，更加合理高效的利用服务器的存储空间，避免资源的浪费，及时合理的文件备份可以防止资料的丢失，及时合理的文件备份可以防止资料的丢失，本发明实用性很高，可以直接嵌入的linux中，提高开发效率。

本发明实现在测试过程中，对基于用户的设置对测试数据，测试文件进行备份保存，当出现因外界因素或内在因素造成测试数据的存储装置中途测试数据丢失，避免使待压力测试完成后的sellog中的数据不完整，影响对测试结果的评价。

本发明可以设置备份时间点以及设置备份时间段；设置备份时间点，设置备份时间段以及设置测试节点；设置备份时间点，设置备份时间段以及设置备份测试文件类型；这样测试人员可以根据需要设置重点关注的，或者对测试结果有影响的数据进行提取备份，这样在备份数据库中调取相应的数据，便于测试数据的整理和规划。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为linux下服务器监测数据的处理方法流程图；

图2为linux下服务器监测数据的处理方法实施例流程图；

图3为linux下服务器监测数据的处理方法实施例流程图；

图4为linux下服务器监测数据的处理方法实施例流程图；

图5为linux下服务器监测数据的处理方法实施例流程图。

具体实施方式

本发明提供一种linux下服务器监测数据的处理方法，如图1所示，方法包括：

s1，开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；

其中，从httprequest中获取测试数据流，使用while循环遍历整个测试数据流的每个测试文件信息。

s2，按照预设的规则对每个测试文件信息的文件名进行标识，将标识后测试文件信息，按照预设的存储方式存储至数据库；

其中，按照utf-8编码作为每个测试文件信息的文件名的名头作为标识，在每个测试文件信息上添加获取该测试文件信息的时间戳，并且将测试文件信息整理为csv数据格式，按照测试数据流的接收次序进行排序，排序后存储至数据库。对每个测试文件信息的文件名进行统一标识便于后续对文件进行统一处理、排序、查询。处理方式可以包括对文件的备份，删除，修改，新增以及替换等等。当然本发明主要是对测试数据文件进行备份。

这里对抓取的测试数据整理，对不同节点的sensor标识前缀，如“101_”表示101节点的sensor。并加上时间戳将所有sensor整理为csv数据格式。

对csv数据格式可以通过excel等工具做出sensor随时间的变化曲线。实现数据的可视化。

这里的实现方式可以为如下方式：

s3，根据预设条件，调取数据库中存储标识的测试文件信息，并对调取的测试文件信息进行备份，将备份后的测试文件信息储存至备份存储器。

本发明中，linux下捕获sensor并完成数据整理的方法。在服务器测试中需要观测硬件sensor随测试时间的变化状态，可以通过该方法获取sensor状态，并整理数据为随时间变化的可视化曲线。对提高产品质量有一定的作用。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。

本发明提供实施例中，如图2所示，

s11，开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；当然这里可以从httprequest中获取测试数据流，使用while循环遍历整个测试数据流的每个测试文件信息。

s12，根据预设时间段设置时间段存储文件夹，将预设时间段内获取的测试数据流存储至所述时间段存储文件夹内；

s13，当达到预设时间段的终止时间点时，将所述时间段存储文件夹储存至数据库。其中，按照utf-8编码作为每个测试文件信息的文件名的名头作为标识，在每个测试文件信息上添加获取该测试文件信息的时间戳，并且将测试文件信息整理为csv数据格式，按照测试数据流的接收次序进行排序，排序后存储至数据库。

s14，根据预设条件，调取数据库中存储标识的测试文件信息，并对调取的测试文件信息进行备份，将备份后的测试文件信息储存至备份存储器。

计算机可读介质的计算机程序产品可以形成一部分，其可以包括包装材料。数据的计算机可读介质可以包括计算机存储介质，诸如随机存取存储器(ram)，只读存储器(rom)，非易失性随机存取存储器(nvram)，电可擦可编程只读存储器(eeprom)，闪存，磁或光学数据存储介质，和类似物。在一些实施例中，一种制造产品可包括一个或多个计算机可读存储媒体。

本发明提供实施例中，还可以根据各个测试节点来对数据进行处理。开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；当然这里可以从httprequest中获取测试数据流，使用while循环遍历整个测试数据流的每个测试文件信息。

在数据库中，根据预温度测试节点设置对应的节点存储文件夹，将所述温度测试节点发送的测试数据流存储至所述节点存储文件夹。这里按照utf-8编码将每个文件名进行统一标识，并按照测试数据流的接收次序进行排序，排序后存储至数据库。

根据预设条件，调取数据库中存储的测试文件信息，并对调取的测试文件信息处理，处理完成后更新数据库当前的存储状态。

当然不局限于温度测试节点，还可以包括网络端口通信速率测试节点，处理器数据处理量测试节点，硬盘读数据测试节点，硬盘存数据测试节点以及内存的测试等等。

本发明提供实施例中，开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；按照预设的规则对每个测试文件信息的文件名进行标识，将标识后测试文件信息，按照预设的存储方式存储至数据库；其中，在数据库中，根据测试数据流中每个文件的类型配置类型文件夹，根据接收文件的类型存储至相应的类型文件夹中。这里的文件类型可以包括：txt文件、doc文件、xls文件、ppt文件、docx文件、xlsx文件、pptx文件、jpg、png、pdf、tiff、swf、rar、exe、flv、rmvb文件等等。这里按照utf-8编码将每个文件名进行统一标识，并按照测试数据流的接收次序进行排序，排序后存储至数据库。

根据预设条件，调取数据库中存储标识的测试文件信息，并对调取的测试文件信息进行备份，将备份后的测试文件信息储存至备份存储器。

在一些实施例中，计算机可读存储介质可以包括非易失性介质。术语“非暂态”所述存储介质可以指示不包含在载波或传播信号。在某些实施例中，非临时性存储介质可以存储数据，它可以随时间改变(例如，ram或者高速缓存)中。

本发明提供实施例中，如图3所示，

s21，设置备份时间点以及设置备份时间段

s22，开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；

s23，按照预设的规则对每个测试文件信息的文件名进行标识，将标识后测试文件信息，按照预设的存储方式存储至数据库；

s24，当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段，调取在备份时间段内数据库所存储的测试文件信息，对备份时间段内数据库所存储的测试文件信息进行备份，并将备份文件储存至备份数据库。

这是基于预设备份时间点来实现对数据文件进行备份，预设备份时间点可以根据在某一时间段内接收的测试数据文件较为重要，或者在某一时间段内接收的测试数据文件需要在后期使用，为了防止丢失，或者后期清除数据文件时导致有用的测试数据文件被清除而影响使用，进行有效的备份。

本发明提供实施例中，如图4所示，

s31，设置备份时间点，设置备份时间段以及设置测试节点；

s32，开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；

s33，按照预设的规则对每个测试文件信息的文件名进行标识，将标识后测试文件信息，按照预设的存储方式存储至数据库；

s34，当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段和测试节点，调取在备份时间段内数据库所存储的由所述测试节点发送的测试文件信息，对测试文件信息进行备份，并将备份文件储存至备份数据库。

可以理解的是，系统可以同时或不同时接收多个温度测试节点，网络端口通信速率测试节点，处理器数据处理量测试节点，硬盘读数据测试节点，硬盘存数据测试节点以及内存的测试等等传输的数据文件，有些测试节点传输的数据文件，在某些时段接收的数据文件较为重要，或者在某一时间段内接收的数据文件需要在后期使用，为了防止丢失，或者后期清除数据文件时导致有用的数据文件被清除而影响使用，进行有效的备份。

本发明提供实施例中，如图5所示，

s41，设置备份时间点，设置备份时间段以及设置备份测试文件类型；

s42，开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；

s43，按照预设的规则对每个测试文件信息的文件名进行标识，将标识后测试文件信息，按照预设的存储方式存储至数据库；

s44，当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段和备份测试文件类型，调取在备份时间段内数据库所存储的具有备份测试文件类型的测试文件信息，对测试文件信息进行备份，并将备份文件储存至备份数据库。

可以理解的是，系统可以多种类型的测试文件信息，有些类型的测试文件信息在某些时段接收的数据文件较为重要，或者在某一时间段内接收的数据文件需要在后期使用，为了防止丢失，或者后期清除数据文件时导致有用的数据文件被清除而影响使用，进行有效的备份。

本发明提供实施例中，设置备份时间点以及设置备份时间段；开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；当然这里可以从httprequest中获取测试数据流，使用while循环遍历整个测试数据流的每个测试文件信息。

按照utf-8编码作为每个测试文件信息的文件名的名头作为标识，在每个测试文件信息上添加获取该测试文件信息的时间戳，并且将测试文件信息整理为csv数据格式，按照测试数据流的接收次序进行排序，排序后存储至数据库。

当然这里还可以采用在数据库中，根据预设测试节点设置对应的节点存储文件夹，将所述测试节点发送的测试数据流存储至所述节点存储文件夹。

当然这里还可以采用在数据库中，根据测试数据流中每个文件的类型配置类型文件夹，根据接收文件的类型存储至相应的类型文件夹中。

当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段，调取在备份时间段内数据库所存储的测试文件信息，对备份时间段内数据库所存储的测试文件信息进行备份，并将备份文件储存至备份数据库。

本发明提供实施例中，设置备份时间点，设置备份时间段以及设置测试节点；开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息。

按照utf-8编码作为每个测试文件信息的文件名的名头作为标识，在每个测试文件信息上添加获取该测试文件信息的时间戳，并且将测试文件信息整理为csv数据格式，按照测试数据流的接收次序进行排序，排序后存储至数据库。

当然这里还可以采用根据预设时间段设置时间段存储文件夹，将预设时间段内获取的测试数据流存储至所述时间段存储文件夹内；当达到预设时间段的终止时间点时，将所述时间段存储文件夹储存至数据库。

或者，在数据库中，根据测试数据流中每个文件的类型配置类型文件夹，根据接收文件的类型存储至相应的类型文件夹中。

或者，在数据库中，根据预设测试节点设置对应的节点存储文件夹，将所述测试节点发送的测试数据流存储至所述节点存储文件夹。

当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段和测试节点，调取在备份时间段内数据库所存储的由所述测试节点发送的测试文件信息，对测试文件信息进行备份，并将备份文件储存至备份数据库。

本发明提供实施例中，设置备份时间点，设置备份时间段以及设置备份测试文件类型；开启服务器测试程序，持续的获取测试数据流，并遍历测试数据流的每个测试文件信息；按照utf-8编码作为每个测试文件信息的文件名的名头作为标识，在每个测试文件信息上添加获取该测试文件信息的时间戳，并且将测试文件信息整理为csv数据格式，按照测试数据流的接收次序进行排序，排序后存储至数据库。

当然这里还可以采用根据预设时间段设置时间段存储文件夹，将预设时间段内获取的测试数据流存储至所述时间段存储文件夹内；当达到预设时间段的终止时间点时，将所述时间段存储文件夹储存至数据库。

或者，在数据库中，根据测试数据流中每个文件的类型配置类型文件夹，根据接收文件的类型存储至相应的类型文件夹中。

或者，在数据库中，根据预设测试节点设置对应的节点存储文件夹，将所述测试节点发送的测试数据流存储至所述节点存储文件夹。

当系统运行至设置的备份时间点时，启动备份，创建数据库连接，生成备份会话链接，根据设置的备份时间段和备份测试文件类型，调取在备份时间段内数据库所存储的具有备份测试文件类型的测试文件信息，对测试文件信息进行备份，并将备份文件储存至备份数据库。

可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明中对数据文件的处理不局限于备份，还可以包括删除，修改，替换等等。

本发明更加合理高效的利用服务器的存储空间，避免资源的浪费，及时合理的文件备份可以防止资料的丢失，本发明实用性很高，可以直接嵌入的linux中，提高开发效率。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。