一种数据信息采集、数据信息异常检测的方法和设备的制作方法
【专利摘要】本发明公开了一种数据信息采集、数据信息异常检测的方法和设备，通过预先设置的N个用于采集数据信息的时间周期，在对电信设备产生的数据信息进行采集时，按照设定的时间周期进行采集，方便引入了中间数据信息，有效地将海量的数据信息分成不同梯度的中间数据信息进行采集，这样中间数据信息为后续数据信息计算准确性验证提供了依据，为数据信息异常捕捉以及异常捕捉后的数据信息修正提供基础，提供了数据信息采集的效率和数据信息出现异常的判断效率；将中间数据信息持久保存，还保证了数据信息在逐级计算与查询中数据的读写分离，避免了大量数据信息进行高速运算时发生冲突，提高了数据信息计算的效率。
【专利说明】一种数据信息采集、数据信息异常检测的方法和设备
【技术领域】
[0001]本发明涉及数据信息处理领域，尤其涉及一种基于海量级数据的数据信息采集、数据信息异常检测的方法和设备。
【背景技术】
[0002]电信设备网管报表系统是基于采集不同设备的KPI (Key PerformanceIndicator，关键绩效指标)信息数据，并进行统计分析，得到设备的运行质量或者设备所在网络质量的系统。
[0003]随着电信系统的不断扩容，电信级设备的数量也越来越多，电信设备网管报表系统面对的设备数据呈现海量级趋势发展，这样对电信设备网管报表系统的数据处理能力提出了更高要求。
[0004]如何对庞大的电信系统中电信设备产生的海量级的数据信息进行有效采集成为亟需解决的问题。
[0005]同时，随着电信级设备的不断增加，利用现有的电信设备网管报表系统对产生的数据信息进行采集，无法避免地会出现数据信息的异常，如何在产生的海量级数据信息中有效地检测出数据信息出现的异常，也成为亟需解决的问题。
【发明内容】
[0006]本发明实施例提供了一种数据信息采集、数据信息异常检测的方法和设备，用于解决现有技术中海量级数据信息产生时，采集过程以及异常判断阶段存在采集与异常判断效率低的问题。
[0007]—种数据信息的采集方法，应用于电信设备网关报表系统中，包括:
[0008]从预先设置的N个用于采集数据信息的时间周期中，选择第一时间周期，其中，第N-1个时间周期的时间长度值小于第N个时间周期的时间长度值，N为不小于2的正整数；
[0009]根据选择的第一时间周期，采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息，并存储至所述电信设备网关报表系统。
[0010]所述方法还包括:
[0011]从预先设置的N个用于采集数据信息的时间周期中，选择第二时间周期，其中，所述第一时间周期的时间长度值小于所述第二时间周期的时间长度值；
[0012]根据选择的第二时间周期，将满足该第二时间周期的时间间隔内多个第一时间周期采集的数据信息进行计算，得到所述第二时间周期内产生的数据信息，并存储至所述电信设备网关报表系统。
[0013]所述预先设置的N个用于采集数据信息的时间周期至少包括以下的一种:
[0014]以设定的分钟长度值为时间周期、以设定的小时长度值为时间周期、以设定的天数为时间周期、以设定的周数为时间周期、以设定的月数为时间周期。
[0015]在采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息之后，所述方法还包括:
[0016]根据产生数据信息的维度类型不同，将采集到的数据信息划分成不同维度类型对应的数据子维度集；
[0017]其中，所述维度类型至少包括以下的一种:网元类型、站点类型、业务区域类型、监控区域类型、设备厂家类型、全网类型。
[0018]所述方法还包括:
[0019]针对得到的每一个维度类型对应的数据子维度集，根据产生数据信息的设备类型，确定每一个数据子维度集中不同设备类型在所述时间间隔内产生的数据信息；
[0020]其中，所述设备类型至少包括以下的一种:家庭级基站、企业级基站。
[0021]一种基于上述的数据信息采集方法对数据信息异常进行检测的方法，包括:
[0022]在数据信息采集的过程中，判断电信设备上报所述数据信息的时间是否与满足选择的时间周期的时间段相匹配；
[0023]在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段不相匹配，确定采集的数据信息出现异常。
[0024]所述方法还包括:
[0025]在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段相匹配时，对采集到的所述数据信息进行计算；
[0026]判断计算结果是否在预设的数值范围之内；
[0027]在确定计算结果不在预设的数值范围之内时，对选择的时间周期的时间段内采集的数据信息进行重新计算。
[0028]所述方法还包括:
[0029]判断重新计算的结果是否在预设的数值范围之内；
[0030]在确定计算结果不在预设的数值范围之内时，抽取选择的时间周期对应的连续设定数值个时间段内采集的数据信息，采用最小二乘法的方式对采集的数据信息进行修正。
[0031]所述方法还包括:
[0032]判断设定的时间周期内，电信设备上报所述数据信息的时间延迟度是否超过设定的时间长度；
[0033]在确定所述电信设备上报所述数据信息的时间延迟度超过设定的时间长度，触发对所述设定的时间周期内采集到的所述数据信息进行计算。
[0034]一种数据信息的采集设备，应用于电信设备网关报表系统中，包括:
[0035]第一选择模块，用于从预先设置的N个用于采集数据信息的时间周期中，选择第一时间周期，其中，第N-1个时间周期的时间长度值小于第N个时间周期的时间长度值，N为不小于2的正整数；
[0036]第一采集模块，用于根据选择的第一时间周期，采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息，并存储至所述电信设备网关报表系统。
[0037]所述设备还包括:
[0038]第二选择模块，用于从预先设置的N个用于采集数据信息的时间周期中，选择第二时间周期，其中，所述第一时间周期的时间长度值小于所述第二时间周期的时间长度值；[0039]数据信息计算模块，用于根据选择的第二时间周期，将满足该第二时间周期的时间间隔内多个第一时间周期采集的数据信息进行计算，得到所述第二时间周期内产生的数据信息，并存储至所述电信设备网关报表系统。
[0040]所述预先设置的N个用于采集数据信息的时间周期至少包括以下的一种:
[0041]以设定的分钟长度值为时间周期、以设定的小时长度值为时间周期、以设定的天数为时间周期、以设定的周数为时间周期、以设定的月数为时间周期。
[0042]所述设备还包括:
[0043]维度划分模块，用于在采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息之后，根据产生数据信息的维度类型不同，将采集到的数据信息划分成不同维度类型对应的数据子维度集；
[0044]其中，所述维度类型至少包括以下的一种:网元类型、站点类型、业务区域类型、监控区域类型、设备厂家类型、全网类型。
[0045]所述设备还包括:
[0046]设备数据产生模块，用于针对得到的每一个维度类型对应的数据子维度集，根据产生数据信息的设备类型，确定每一个数据子维度集中不同设备类型在所述时间间隔内产生的数据信息；
[0047]其中，所述设备类型至少包括以下的一种:家庭级基站、企业级基站。
[0048]一种基于上述的数据信息采集方法对数据信息异常进行检测的设备，包括:
[0049]第一判断模块，用于在数据信息采集的过程中，判断电信设备上报所述数据信息的时间是否与满足选择的时间周期的时间段相匹配；
[0050]异常确定模块，用于在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段不相匹配，确定采集的数据信息出现异常。
[0051]所述设备还包括:
[0052]计算模块，用于在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段相匹配时，对采集到的所述数据信息进行计算；
[0053]第二判断模块，用户与判断计算结果是否在预设的数值范围之内，并在确定计算结果不在预设的数值范围之内时，触发所述计算模块，对选择的时间周期的时间段内采集的数据信息进行重新计算。
[0054]所述设备还包括:
[0055]第三判断模块，用于判断重新计算的结果是否在预设的数值范围之内；
[0056]修正模块，用于在确定计算结果不在预设的数值范围之内时，抽取选择的时间周期对应的连续设定数值个时间段内采集的数据信息，采用最小二乘法的方式对采集的数据信息进行修正。
[0057]所述设备还包括:
[0058]第四判断模块，用于判断设定的时间周期内，电信设备上报所述数据信息的时间延迟度是否超过设定的时间长度；
[0059]所述计算模块，具体用于在所述第四判断模块确定所述电信设备上报所述数据信息的时间延迟度超过设定的时间长度，触发对所述设定的时间周期内采集到的所述数据信息进行计算。[0060]本发明有益效果如下:
[0061]本发明实施例通过预先设置的N个用于采集数据信息的时间周期，在对电信设备产生的数据信息进行采集时，按照设定的时间周期进行采集，方便引入了中间数据信息，有效地将海量的数据信息分成不同梯度的中间数据信息进行采集，这样中间数据信息为后续数据信息计算准确性验证提供了依据，为数据信息异常捕捉以及异常捕捉后的数据信息修正提供基础，提供了数据信息采集的效率和数据信息出现异常的判断效率；将中间数据信息持久保存，还保证了数据信息在逐级计算与查询中数据的读写分离，避免了大量数据信息进行高速运算时发生冲突，提高了数据信息计算的效率。
【专利附图】
【附图说明】
[0062]图1为本发明实施例一的一种数据信息采集的方法的流程示意图；
[0063]图2为N个时间周期中不同时间周期内采集数据信息展示结构图；
[0064]图3为本发明实施例二的一种对数据信息异常进行检测的方法的流程示意图；
[0065]图4为本发明实施例三的一种数据信息的采集设备的结构示意图；
[0066]图5为本发明实施例四的一种对数据信息异常进行检测的设备结构示意图。
【具体实施方式】
[0067]为了实现本发明的目的，本发明实施例提供了一种数据信息采集、数据信息异常检测的方法和设备，通过预先设置的N个用于采集数据信息的时间周期，在对电信设备产生的数据信息进行采集时，按照设定的时间周期进行采集，方便引入了中间数据信息，有效地将海量的数据信息分成不同梯度的中间数据信息进行采集，这样中间数据信息为后续数据信息计算准确性验证提供了依据，为数据信息异常捕捉以及异常捕捉后的数据信息修正提供基础，提供了数据信息采集的效率和数据信息出现异常的判断效率；将中间数据信息持久保存，还保证了数据信息在逐级计算与查询中数据的读写分离，避免了大量数据信息进行高速运算时发生冲突，提高了数据信息计算的效率。
[0068]需要说明的是，本发明各个实施例应用在电信设备网关报表系统，或者其他产生海量级数据信息的系统中，这里不做限定。
[0069]下面结合说明书附图对本发明各个实施例进行详细描述。
[0070]实施例一:
[0071]如图1所示，为本发明实施例一的一种数据信息采集的方法的流程示意图，所述方法包括:
[0072]步骤101:从预先设置的N个用于采集数据信息的时间周期中，选择第一时间周期。
[0073]其中，第N-1个时间周期的时间长度值小于第N个时间周期的时间长度值，N为不小于2的正整数。
[0074]在步骤101中，由于待采集的电信设备数量比较多，电信设备产生的数据信息量也比较大，为了有效地采集电信设备产生的数据信息，由现有的采集电信设备的源性能文件数据信息转换为利用N个用于采集数据信息的时间周期逐级传递而成。
[0075]其中，预先设置的N各用于采集数据信息的时间周期可以根据电信设备产生数据信息的时间确定，例如:划分成为小时周期、天周期、月周期等时间周期；还可以根据电信设备向电信设备网管报表系统上报数据信息的时间确定。
[0076]可选地，所述预先设置的N个用于采集数据信息的时间周期至少包括以下的一种:
[0077]以设定的分钟长度值为时间周期、以设定的小时长度值为时间周期、以设定的天数为时间周期、以设定的周数为时间周期、以设定的月数为时间周期。
[0078]或者，由以设定的分钟长度值为时间周期、以设定的小时长度值为时间周期、以设定的天数为时间周期、以设定的周数为时间周期以及以设定的月数为时间周期组合而成。
[0079]需要说明的是，设置的时间周期需要满足逐级变化的趋势，这样方便电信设备网管报表系统对采集到的不同时段的数据信息进行整合、或者计算处理。
[0080]步骤102:根据选择的第一时间周期，采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息，并存储至所述电信设备网关报表系统。
[0081]在步骤102中，在确定选择的第一时间周期之后，选择满足该第一时间周期的一个时间间隔，并米集选的的一个时间间隔内电信设备产生的数据信息。
[0082]例如:选择的第一时间周期为:以五分钟为时间周期，采集早上8:00-8:05之间电信设备产生的数据信息，如表1所示:
[0083]
【权利要求】
1.一种数据信息的采集方法，其特征在于，应用于电信设备网关报表系统中，包括: 从预先设置的N个用于采集数据信息的时间周期中，选择第一时间周期，其中，第N-1个时间周期的时间长度值小于第N个时间周期的时间长度值，N为不小于2的正整数；根据选择的第一时间周期，采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息，并存储至所述电信设备网关报表系统。
2.如权利要求1所述的方法，其特征在于，所述方法还包括: 从预先设置的N个用于采集数据信息的时间周期中，选择第二时间周期，其中，所述第一时间周期的时间长度值小于所述第二时间周期的时间长度值； 根据选择的第二时间周期，将满足该第二时间周期的时间间隔内多个第一时间周期采集的数据信息进行计算，得到所述第二时间周期内产生的数据信息，并存储至所述电信设备网关报表系统。
3.如权利要求1所述的方法，其特征在于，所述预先设置的N个用于采集数据信息的时间周期至少包括以下的一种: 以设定的分钟长度值为时间周期、以设定的小时长度值为时间周期、以设定的天数为时间周期、以设定的周数为时间周期、以设定的月数为时间周期。
4.如权利要求1所述的方法，其特征在于，在采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息之后，所述方法还包括: 根据产生数据信息的维度类型不同，将采集到的数据信息划分成不同维度类型对应的数据子维度集； 其中，所述维度类型至少包括以下的一种:网元类型、站点类型、业务区域类型、监控区域类型、设备厂家类型、全网类型。
5.如权利要求4所述的方法，其特征在于，所述方法还包括: 针对得到的每一个维度类型对应的数据子维度集，根据产生数据信息的设备类型，确定每一个数据子维度集中不同设备类型在所述时间间隔内产生的数据信息； 其中，所述设备类型至少包括以下的一种:家庭级基站、企业级基站。
6.一种基于权利要求1所述的数据信息采集方法对数据信息异常进行检测的方法，其特征在于，包括: 在数据信息采集的过程中，判断电信设备上报所述数据信息的时间是否与满足选择的时间周期的时间段相匹配； 在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段不相匹配，确定采集的数据信息出现异常。
7.如权利要求6所述的方法，其特征在于，所述方法还包括: 在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段相匹配时，对采集到的所述数据信息进行计算； 判断计算结果是否在预设的数值范围之内； 在确定计算结果不在预设的数值范围之内时，对选择的时间周期的时间段内采集的数据信息进行重新计算。
8.如权利要求7所述的方法，其特征在于，所述方法还包括: 判断重新计算的结果是否在预设的数值范围之内；在确定计算结果不在预设的数值范围之内时，抽取选择的时间周期对应的连续设定数值个时间段内采集的数据信息，采用最小二乘法的方式对采集的数据信息进行修正。
9.如权利要求7所述的方法，其特征在于，所述方法还包括: 判断设定的时间周期内，电信设备上报所述数据信息的时间延迟度是否超过设定的时间长度； 在确定所述电信设备上报所述数据信息的时间延迟度超过设定的时间长度，触发对所述设定的时间周期内采集到的所述数据信息进行计算。
10.一种数据信息的采集设备，其特征在于，应用于电信设备网关报表系统中，包括: 第一选择模块，用于从预先设置的N个用于采集数据信息的时间周期中，选择第一时间周期，其中，第N-1个时间周期的时间长度值小于第N个时间周期的时间长度值，N为不小于2的正整数； 第一采集模块，用于根据选择的第一时间周期，采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息，并存储至所述电信设备网关报表系统。
11.如权利要求10所述的设备，其特征在于，所述设备还包括: 第二选择模块，用于从预先设置的N个用于采集数据信息的时间周期中，选择第二时间周期，其中，所述第一时间周期的时间长度值小于所述第二时间周期的时间长度值； 数据信息计算模块，`用于根据选择的第二时间周期，将满足该第二时间周期的时间间隔内多个第一时间周期采集的数据信息进行计算，得到所述第二时间周期内产生的数据信息，并存储至所述电信设备网关报表系统。
12.如权利要求10所述的设备，其特征在于，所述预先设置的N个用于采集数据信息的时间周期至少包括以下的一种: 以设定的分钟长度值为时间周期、以设定的小时长度值为时间周期、以设定的天数为时间周期、以设定的周数为时间周期、以设定的月数为时间周期。
13.如权利要求10所述的设备，其特征在于，所述设备还包括: 维度划分模块，用于在采集满足该第一时间周期的每一个时间间隔内电信设备产生的数据信息之后，根据产生数据信息的维度类型不同，将采集到的数据信息划分成不同维度类型对应的数据子维度集； 其中，所述维度类型至少包括以下的一种:网元类型、站点类型、业务区域类型、监控区域类型、设备厂家类型、全网类型。
14.如权利要求13所述的设备，其特征在于，所述设备还包括: 设备数据产生模块，用于针对得到的每一个维度类型对应的数据子维度集，根据产生数据信息的设备类型，确定每一个数据子维度集中不同设备类型在所述时间间隔内产生的数据信息； 其中，所述设备类型至少包括以下的一种:家庭级基站、企业级基站。
15.一种基于权利要求1所述的数据信息采集方法对数据信息异常进行检测的设备，其特征在于，包括: 第一判断模块，用于在数据信息采集的过程中，判断电信设备上报所述数据信息的时间是否与满足选择的时间周期的时间段相匹配； 异常确定模块，用于在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段不相匹配，确定采集的数据信息出现异常。
16.如权利要求15所述的设备，其特征在于，所述设备还包括: 计算模块，用于在确定电信设备上报所述数据信息的时间与满足选择的时间周期的时间段相匹配时，对采集到的所述数据信息进行计算； 第二判断模块，用户与判断计算结果是否在预设的数值范围之内，并在确定计算结果不在预设的数值范围之内时，触发所述计算模块，对选择的时间周期的时间段内采集的数据信息进行重新计算。
17.如权利要求16所述的设备，其特征在于，所述设备还包括: 第三判断模块，用于判断重新计算的结果是否在预设的数值范围之内； 修正模块，用于在确定计算结果不在预设的数值范围之内时，抽取选择的时间周期对应的连续设定数值个时间段内采集的数据信息，采用最小二乘法的方式对采集的数据信息进行修正。
18.如权利要求16所述的设备，其特征在于，所述设备还包括: 第四判断模块，用于判断设定的时间周期内，电信设备上报所述数据信息的时间延迟度是否超过设定的时间长度； 所述计算模块，具体用于在所述第四判断模块确定所述电信设备上报所述数据信息的时间延迟度超过设定的时间长度，触发对所述设定的时间周期内采集到的所述数据信息进行计算。`
【文档编号】H04L12/26GK103490949SQ201310405119
【公开日】2014年1月1日 申请日期:2013年9月6日 优先权日:2013年9月6日
【发明者】曾巧文, 张锐, 傅锋, 唐华嶓, 陈亮, 唐锦坤, 李陇科 申请人:京信通信系统（中国）有限公司