专利名称：一种性能数据汇聚方法和装置的制作方法
技术领域：
本发明涉及数据采集技术领域，特别涉及一种性能数据汇聚方法和装置。
背景技术：
性能数据采集在数据统计，报表显示等地方被广泛的利用。通过性能数据的采集， 可以方便用户输出报表进行分析等，拥有十分重要的作用，例如，在网管系统中，对网络设备进行各项性能数据采集和分析，能够给网络管理人员提供充足、完整的运行数据，供管理人员根据网络运行状况制定合适的运行策略，使网络运行在最高效的状态下。由于性能数据采集涉及到非常大的数据量，如果直接使用原始数据，则运算效率会非常低，而且，需要占用的存储空间也很大。因此一般情况下，都会对性能数据进行汇聚处理，以提高运算效率，减小存储空间。性能数据主要分为两种，一种是可累计数据，例如数据流量数据，属于可累计的数据(即一段时间内的流量为子时段流量之和)；另一种是不可累计数据，例如在线用户数量等，以网管系统中采集在线用户数量为例，网管系统每15分钟读取一次实际的用户数量， 并记录下来作为原始数据。对于不可累计的数据，目前常用的汇聚方式为每隔一段时间将原始数据进行汇聚，例如，以前述网管系统采在线用户数量为例，采集到原始数据之后，计算一段时间(例如1小时)内原始数据的平均值或最大值作为该段时间的数据汇聚结果，从而可以减少网管系统保存的数据量。下面举例进行说明，假设采集到的原始数据为21，21，21，30，20，40，40，40，41，40，39，38，39，20，70，120，121，122，33，27，27，27，
27，28，28，28，28，28，33，33，34，35，36，25，37，38，5，24，26，25，26，25，25，26，26，26，26，32， 33，34，34，35，29，28，28，27，27，27，26，25，27，28，25，25，25，25，25，23。对上述原始数据，采用对每4个连续的原始值求取平均值的方法，得到的数据汇聚结果如图1所示，图1为原始数据与采用现有技术的数据汇聚方法得到的汇聚结果的对比示意图，其中实线为原始数据对应的曲线，虚线为采用现有技术的数据汇聚方法得到的数据汇聚结果对应的曲线。从图1中的两条曲线可以看出，现有技术的数据汇聚方法得到的数据汇聚结果与原始数据之间有较大的偏差，变形较大，数据准确度不高。由此可见，上述汇聚方式可以比较有效的减少数据量，实现也比较方便简单。但是在实际的应用中，这种汇聚方式得到的汇聚结果的精度不足，特别是当原始数据在短时间内出现了比较大的波动时，原始数据记录在经过汇聚处理后会出现变形，从而影响到数据的准确性。
发明内容
有鉴于此，本发明的目的在于提供一种性能数据汇聚方法，该方法能够提高数据汇聚精度。
为了达到上述目的，本发明提供了一种性能数据汇聚方法，该方法包括采集原始数据；对原始数据进行一阶导数处理，按照第一预设规则对该一阶导数处理结果进行修正得到中间数据；对中间数据进行一阶导数处理，按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号；根据所述位置序号提取原始数据中的主要特征数据得到数据汇聚结果。本发明还提供了一种性能数据汇聚装置，该装置包括数据采集单元，数据处理单元，数据提取单元；所述数据采集单元，用于采集原始数据；所述数据处理单元，用于对数据采集单元采集到的原始数据进行一阶导数处理， 并按照第一预设规则对该一阶导数处理结果进行修正得到中间数据；用于对中间数据进行一阶导数处理，按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号；所述数据提取单元，用于根据数据处理单元获取的原始数据中主要特征数据的位置序号提取原始数据中的主要特征数据得到数据汇聚结果。由上面的技术方案可知，本发明通过对原始数据求取一阶导数，并修正一阶导数处理结果得到中间数据，然后再对中间数据求取一阶导数，根据中间数据的一阶导数处理结果提取原始数据的主要特征数据，将提取得到的主要特征数据作为数据汇聚结果。本发明能够提高数据汇聚精度。
图1是原始数据与采用现有技术的数据汇聚方法得到的数据汇聚结果的对比示意图；图2是本发明实施例性能数据汇聚方法的流程示意图；图3是原始数据与应用本发明实施例性能数据汇聚方法得到的数据汇聚结果的对比示意图；图4是本发明实施例性能数据汇聚装置的结构示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例， 对本发明的技术方案进行详细说明。本发明的主要思想是对原始数据进行分析，得到能够代表原始数据的主要特征数据，将得到的主要特征数据作为原始数据的数据汇聚结果。参见图2，图2是本发明实施例性能数据汇聚方法的流程示意图，包括以下步骤步骤201、采集原始数据。这里，在对性能数据进行汇聚处理之前，首先要采集性能数据，作为数据汇聚处理的原始数据。步骤202、对原始数据进行一阶导数处理，按照第一预设规则对该一阶导数处理结果进行修正得到中间数据。本步骤中，首先对原始数据进行一阶导数处理，根据得到的一阶导数处理结果，可以确定原始数据的变化情况。所述对原始数据进行一阶导数处理的方法具体可以为计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结果。如果相邻两个原始数据的一阶导数值的绝对值比较大，则说明在采集该两个原始数据的时间段内性能发生了较大变化，反之，则说明在采集该两个原始数据的时间段内性能未发生太大的变化。因此，可以基于原始数据的变化情况对原始数据的一阶导数处理结果进行修正。 所述按照第一预设规则对该一阶导数处理结果进行修正得到中间数据的方法具体可以为 对于该一阶导数处理结果中的每个数值，如果该数值的绝对值大于预设阈值，且该数值为正值，则将该数值修改为1 ；如果该数值的绝对值大于预设阈值，且该数值为负值，则将该数值修改为-1 ；如果该数值的绝对值不大于预设阈值，则将该数值修改为0。这里，所述预设阈值可以根据数据汇聚程度和数据精度方面的具体需求设定，阈值越大，则数据汇聚程度越大，但是数据精度损失也越高；阈值越小，则数据汇聚程度越小， 但是数据精度损失也越低。步骤203、对中间数据进行一阶导数处理，按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号。这里，对中间数据进行一阶导数处理的方法与步骤202中对原始数据的一阶导数处理方法相同，均是计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结果。通过对中间数据进行一阶倒数处理，可以确定原始数据的连续上升或连续下降情况。对于原始数据的连续上升或连续下降情况，可以将连续上升或连续下降的中间变化点剔除。通过对原始数据的连续上升或连续下降情况的处理，可以确定最能够代表原始数据的特征的主要特征数据。所述按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号的方法具体可以为对于该一阶导数处理结果中的每个数值，如果绝对值大于0，则将该数值在该一阶导数处理结果中的位置序号加1后得到的位置序号记为原始数据中主要特征数据的位置序号；同时加入原始数据中的第一个数据(也称为首数据)和最后一个数据(也称为尾数据)在原始数据中的位置序号。步骤204、根据所述位置序号提取原始数据中的主要特征数据得到数据汇聚结果。这里，根据在步骤203得到的原始数据的主要特征数据的位置序号，可以将原始数据中相应位置处的数据提取出来，作为最终的数据汇聚结果。下面举例对上述方法进行说明。仍然以背景技术中举例时列出的原始数据为例进行说明，已经采集到的原始数据为21，21，21，30，20，40，40，40，41，40，39，38，39，20，70，120，121，122，33，27，27，27，
27，28，28，28，28，28，33，33，34，35，36，25，37，38，5，24，26，25，26，25，25，26，26，26，26，32， 33，34，34，35，29，28，28，27，27，27，26，25，27，28，25，25，25，25，25，23。
首先对原始数据进行一阶导数处理，每两个相邻数据中的后一个数据减去前一个数据得到如下的一阶导数处理结果0,0,9,-10,20,0,0,1,-1,-1,-1,1，-19，50，50，1，1,-89,-6,0,0,0,1,0,0,0,0,5, 0，1，1，1，-11，12，1，-33，19，2，-1，1，-1，0，1，0，0，0，6，1，1，0，1，-6，-1,0, -1,0,0, -1，-1， 2，1，-3,0,0,0,0, -2。再对一阶导数处理结果进行修正，假设预设阈值为5，如果大于5，则相应数据修改为1 ；如果小于-5，则相应数据修改为-1，否则，相应数据修改为0，修正后得到的中间数据如下0,0,1, -1,1,0,0,0,0,0,0,0, -1,1,1,0,0, -1, -1，0，0，0，0，0，0，0，0，0，0，0，0， 0, -1,1,0,-1,1，0，0，0，0，0，0，0，0，0，1,0,0,0,0, -1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0。然后对中间数据进行一阶导数处理，得到的一阶导数处理结果如下0,1, "2,2, -1,0,0,0,0,0,0, -1,2,0， -1,0, _1，0，1，0，0，0，0，0，0，0，0，0，0，0， 0, -1,2, -1，-1,2, -1,0,0,0,0,0,0,0,0,1，-1,0,0,0, -1，1，0，0，0，0，0，0，0，0，0，0，0，0，0， O0根据上述对中间数据的一阶导数处理结果，如果中间数据中的相邻两个数据之间的一阶导数值为0，则说明该两个相邻数据对应的原始数据是处于连续上升或连续下降的状态，因此，可以只保留绝对值大于0的一阶导数值的位置序号，得到如下结果2,3,4,5,12，13，15，17，19，32，33，34，35，36，37，46，47，51，52。然后将上述的各位置序号加1，同时再加上原始数据的首尾节点的位置序号，得到如下的位置序号序列1,3,4,5,6,13，14，16，18，20，33，34，35，36，37，38，47，48，52，53，68。最后，按照上述位置序号序列，提取原始数据中相应位置处的数据，得到最终的数据汇聚结果如下21，21，30，20，40，39，20，120，122，27，36，25，37，38，5，24，26，32，35，29，23。参见图3，图3是原始数据与应用本发明实施例性能数据汇聚方法得到的数据汇聚结果的对比示意图，其中，实线为原始数据对应的曲线，虚线为进行汇聚处理后的汇聚结果对应的曲线，可两条曲线可以看出，汇聚前后的曲线变化不大，说明汇聚结果与图1中采用现有技术的数据汇聚方法得到的汇聚结果相比，准确性有了较大改善。从以上的举例中可以看出，本发明中，在进行性能数据汇聚时，通过计算分析性能数据的特征，将其主要的特征数据保存下来，降低了普通数据汇聚时出现的数据精度较低和数据变形的情况，并且可以有效的达到性能数据汇聚的效果，且减少了数据量。以上对本发明实施性能数据汇聚的方法进行了说明，本发明还提供了一种性能数据汇聚装置。参见图4，图4是本发明实施例性能数据汇聚装置的结构示意图，该装置包括数据采集单元401，数据处理单元402，数据提取单元403 ；其中，数据采集单元401，用于采集原始数据；数据处理单元402，用于对数据采集单元401采集到的原始数据进行一阶导数处理，并按照第一预设规则对该一阶导数处理结果进行修正得到中间数据；用于对中间数据进行一阶导数处理，按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号；数据提取单元403，用于根据数据处理单元402获取的原始数据中主要特征数据的位置序号提取原始数据中的主要特征数据得到数据汇聚结果。所述数据处理单元402在对原始数据进行一阶导数处理时，用于计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结果；所述数据处理单元402在对中间数据进行一阶导数处理时，用于计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结^ ο所述数据处理单元402在按照第一预设规则对该一阶导数处理结果进行修正得到中间数据时，用于对于该一阶导数处理结果中的每个数值，如果该数值的绝对值大于预设阈值，且该数值为正值，则将该数值修改为1 ；如果该数值的绝对值大于预设阈值，且该数值为负值，则将该数值修改为-1 ；如果该数值的绝对值不大于预设阈值，则将该数值修改为0。所述数据处理单元402在按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号时，用于对于该一阶导数处理结果中的每个数值，如果绝对值大于0，则将该数值在该一阶导数处理结果中的位置序号加1后得到的位置序号记为原始数据中主要特征数据的位置序号；同时加入原始数据的首数据和尾数据在原始数据中的位置序号。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
权利要求
1.一种性能数据汇聚方法，其特征在于，该方法包括采集原始数据；对原始数据进行一阶导数处理，按照第一预设规则对该一阶导数处理结果进行修正得到中间数据；对中间数据进行一阶导数处理，按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号；根据所述位置序号提取原始数据中的主要特征数据得到数据汇聚结果。
2.根据权利要求1所述的方法，其特征在于，所述对原始数据进行一阶导数处理的方法为计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结果；所述对中间数据进行一阶导数处理的方法为计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结果。
3.根据权利要求1所述的方法，其特征在于，所述按照第一预设规则对该一阶导数处理结果进行修正得到中间数据的方法为对于该一阶导数处理结果中的每个数值，如果该数值的绝对值大于预设阈值，且该数值为正值， 则将该数值修改为1 ；如果该数值的绝对值大于预设阈值，且该数值为负值，则将该数值修改为-1 ；如果该数值的绝对值不大于预设阈值，则将该数值修改为0。
4.根据权利要求1所述的方法，其特征在于，所述按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号的方法为对于该一阶导数处理结果中的每个数值，如果绝对值大于0，则将该数值在该一阶导数处理结果中的位置序号加1后得到的位置序号记为原始数据中主要特征数据的位置序号；同时加入原始数据的首数据和尾数据在原始数据中的位置序号。
5.一种性能数据汇聚装置，其特征在于，该装置包括数据采集单元，数据处理单元， 数据提取单元；所述数据采集单元，用于采集原始数据；所述数据处理单元，用于对数据采集单元采集到的原始数据进行一阶导数处理，并按照第一预设规则对该一阶导数处理结果进行修正得到中间数据；用于对中间数据进行一阶导数处理，按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号；所述数据提取单元，用于根据数据处理单元获取的原始数据中主要特征数据的位置序号提取原始数据中的主要特征数据得到数据汇聚结果。
6.根据权利要求5所述的装置，其特征在于，所述数据处理单元在对原始数据进行一阶导数处理时，用于计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结果；所述数据处理单元在对中间数据进行一阶导数处理时，用于计算每对相邻数据中的后一个数据与前一个数据的差值，将该差值作为该对相邻数据的一阶导数处理结果。
7.根据权利要求5所述的方法，其特征在于，所述数据处理单元在按照第一预设规则对该一阶导数处理结果进行修正得到中间数据时，用于对于该一阶导数处理结果中的每个数值，如果该数值的绝对值大于预设阈值，且该数值为正值，则将该数值修改为1 ；如果该数值的绝对值大于预设阈值，且该数值为负值，则将该数值修改为-1 ；如果该数值的绝对值不大于预设阈值，则将该数值修改为0。
8.根据权利要求5所述的方法，其特征在于，所述数据处理单元在按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号时，用于对于该一阶导数处理结果中的每个数值，如果绝对值大于0，则将该数值在该一阶导数处理结果中的位置序号加1后得到的位置序号记为原始数据中主要特征数据的位置序号；同时加入原始数据的首数据和尾数据在原始数据中的位置序号。
全文摘要
本发明提供了一种性能数据汇聚方法和装置，该方法包括采集原始数据；对原始数据进行一阶导数处理，按照第一预设规则对该一阶导数处理结果进行修正得到中间数据；对中间数据进行一阶导数处理，按照第二预设规则获取该一阶导数处理结果对应的原始数据中主要特征数据的位置序号；根据所述位置序号提取原始数据中的主要特征数据得到数据汇聚结果。本发明能够提高数据汇聚精度。
文档编号H04L12/24GK102306198SQ20111028421
公开日2012年1月4日 申请日期2011年9月22日 优先权日2011年9月22日
发明者计光 申请人:杭州华三通信技术有限公司