一种应用系统性能数据采集方法与流程

本发明涉及技术领域，具体为一种应用系统性能数据采集方法。

背景技术：

综合网管需要采集gsm网络、传输网络、数据网络中的网元的性能，资源，告警信息。而其中gsm网络需采集的性能数据量最大。面对综合网管中大量的数据采集工作，在目前的网管系统中普遍是采用周期性采集的方式从各厂家电信设备、omc(操作维护中心)侧采集性能原始数据，但并不对电信设备的性能数据的完整性进行检测。另一种性能数据采集的方法是，实时对厂家设备侧性能数据的完整性进行检测，当检测出性能数据完整时，触发对性能数据的采集；

目前第一种方式由于采集周期不确定，会影响采集到的数据的完整性和及时性，第二中方式会加重网管系统的负荷，鉴于此，提出一种应用系统性能数据采集方法，在综合网管的数据采集中引入基于主动检测的主动采集能力，以解决现有性能数据采集技术存在的采集周期，数据完整性不易确定等问题。

技术实现要素：

本发明的目的在于提供一种应用系统性能数据采集方法，以解决上述背景技术中提出的性能数据采集技术存在的采集周期，数据完整性不易确定的问题问题。

为实现上述目的，本发明提供如下技术方案：一种应用系统性能数据采集方法，包括以下步骤；

步骤一、对应用系统中性能数据完整性进行检测；

s1、根据经验值生成性能数据完整性检测任务；

s2、执行已生成的检测任务，对应用系统性能数据的完整性进行检测；

s3、当检测出性能数据处于完整状态时，触发性能数据采集程序进行性能数据采集；

步骤二、根据检测出的应用系统性能数据处于完整性的时间对经验值进行修正；

步骤三、读取检测任务参数，判断性能数据是否完整，若是进入步骤四；否则进入步骤五；

步骤四、触发进行性能数据采集，并删除当前检测任务；

步骤五、判断检测任务执行是否超时，若否返回步骤三；若超时进入步骤六；

步骤六、生成触发强制采集的信息，并继续检测性能数据的完整性，进入步骤七；

步骤七、如果超过任务抛弃时间时性能数据仍然不完整，则终止并删除当前检测任务；

步骤八、数据采集触发单元在收到性能数据处于完整状态消息时，触发数据采集执行单元利用综合采集系统进行性能数据采集。

优选的，步骤一，s1中，具体的过程为：

s101、预置经验值及相关参考信息；

s102、编制性能数据检测任务的程序模板；

s103、根据经验值和性能数据检测任务的程序模板生成性能数据检测任务，每一个任务赋予一个唯一的任务序号存入任务池。

优选的，步骤一，s2中，其过程包括：读取检测任务参数，检测性能数据是否完整，给予性能数据是否为完整状态的标记。

优选的，步骤一，s3中，给予用于指示性能数据为完整状态的指示信息，以触发采集程序进行性能数据采集。

优选的，所述综合采集系统包括：

数据分发层，所述数据分发层用于将预处理过后的数据的转发工作，并对外提供订阅和分发的能力；

数据预处理模块，所述数据预处理模块与数据分发层连接，所述数据预处理模块用于把采集到的报告进行词法分析成为可以进行计算的标准格式，利用数据处理层进行语义层的计算；

数据缓存库，所述数据缓存库与数据分发层和数据预处理模块连接，所述数据缓存库用于缓存一定时间内采集的网元侧原始数据并负责定期清除和维护；

数据采集适配模块，所述数据采集适配模块与数据预处理模块连接，所述数据采集适配模块用于完成对网元接入协议的适配工作，支持文件，数据库接口协议的适配；

策略管理模块，所述策略管理模块与数据分发层、数据预处理模块和数据采集适配模块连接，所述策略管理模块用于策略配置管理、策略解释执行和策略执行监控工作；

主动检测模块，所述主动检测模块与策略管理模块连接，所述主动检测模块用于对原始数据进行检测发现完整性情况并主动触发采集。

优选的，所述综合采集系统还包括监控管理模块，所述监控管理模块与数据分发层、数据预处理模块和数据采集适配模块连接，所述监控管理模块用于对系统自身的运行状态的监控，包括线程运行状态，数据处理状态。

优选的，所述数据处理层用于完成数据的归一化，以及在时间、地域、网元等各种维度上的数据汇总工作，为上层应用提供不同维度和粒度的预处理数据，并实现网络告警的定位、重定义、告警屏蔽。

优选的，所述综合采集系统与数据管理系统和应用系统连接，所述数据管理系统用于对接收到的数据进行存储，并对数据进行整理、分类保存，可以根据需要打印出所需的各种报表，还可以根据需要对历史数据进行备份和调用，所述应用系统用于提供良好的人机界面，实现统计、报表、数据的备份功能。

优选的，所述数据采集系统还具备接入协议转换、接入服务的功能，完成网络系统的配置、性能、告警数据采集和网元操作等维护接口管理。

本发明提出的一种应用系统性能数据采集方法，有益效果在于：

1、本发明引入主动检测的主动采集能力，以解决现有性能数据采集技术存在的采集周期，数据完整性不易确定的问题，缩短了数据采集的时延，减轻了采集对网元的负荷，保障了数据采集的有效性和数据的完整性，应用效果良好；

2、本发明数据采集实现完成了一个具体采集任务中数据的提取、解析、运算和归一化入库的过程，保证数据的完备性，对系统中补采流程与文本性能数据解析模型进行了改进，提高了模块的通用性。

附图说明

图1为本发明所述一种应用系统性能数据采集方法的原理框图；

图2为本发明所述一种应用系统性能数据采集方法的综合采集系统原理框图；

图3为本发明所述一种应用系统性能数据采集方法的步骤一流程图；

图4为本发明所述一种应用系统性能数据采集方法的步骤一中s1的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种应用系统性能数据采集方法，包括以下步骤；

步骤一、对应用系统中性能数据完整性进行检测；

s1、根据经验值生成性能数据完整性检测任务；

s101、预置经验值及相关参考信息；

s102、编制性能数据检测任务的程序模板；

s103、根据经验值和性能数据检测任务的程序模板生成性能数据检测任务，每一个任务赋予一个唯一的任务序号存入任务池；

s2、执行已生成的检测任务，对应用系统性能数据的完整性进行检测；

读取检测任务参数，检测性能数据是否完整，给予性能数据是否为完整状态的标记；

s3、当检测出性能数据处于完整状态时，触发性能数据采集程序进行性能数据采集；

给予用于指示性能数据为完整状态的指示信息，以触发采集程序进行性能数据采集；

步骤二、根据检测出的应用系统性能数据处于完整性的时间对经验值进行修正；

步骤三、读取检测任务参数，判断性能数据是否完整，若是进入步骤四；否则进入步骤五；

步骤四、触发进行性能数据采集，并删除当前检测任务；

步骤五、判断检测任务执行是否超时，若否返回步骤三；若超时进入步骤六；

步骤六、生成触发强制采集的信息，并继续检测性能数据的完整性，进入步骤七；

步骤七、如果超过任务抛弃时间时性能数据仍然不完整，则终止并删除当前检测任务；

步骤八、数据采集触发单元在收到性能数据处于完整状态消息时，触发数据采集执行单元利用综合采集系统进行性能数据采集；

更具体的，综合采集系统包括：数据分发层、数据预处理模块、数据缓存库、数据采集适配模块、策略管理模块、主动检测模块和监控管理模块，数据分发层用于将预处理过后的数据的转发工作，并对外提供订阅和分发的能力；数据预处理模块与数据分发层连接，数据预处理模块用于把采集到的报告进行词法分析成为可以进行计算的标准格式，利用数据处理层进行语义层的计算；数据缓存库与数据分发层和数据预处理模块连接，数据缓存库用于缓存一定时间内采集的网元侧原始数据并负责定期清除和维护；数据采集适配模块与数据预处理模块连接，数据采集适配模块用于完成对网元接入协议的适配工作，支持文件，数据库接口协议的适配；策略管理模块与数据分发层、数据预处理模块和数据采集适配模块连接，策略管理模块用于策略配置管理、策略解释执行和策略执行监控工作；主动检测模块与策略管理模块连接，主动检测模块用于对原始数据进行检测发现完整性情况并主动触发采集；监控管理模块与数据分发层、数据预处理模块和数据采集适配模块连接，监控管理模块用于对系统自身的运行状态的监控，包括线程运行状态，数据处理状态；

进一步的，数据处理层用于完成数据的归一化，以及在时间、地域、网元等各种维度上的数据汇总工作，为上层应用提供不同维度和粒度的预处理数据，并实现网络告警的定位、重定义、告警屏蔽；

进一步的，数据采集系统还具备接入协议转换、接入服务的功能，完成网络系统的配置、性能、告警数据采集和网元操作等维护接口管理；

更具体的，综合采集系统与数据管理系统和应用系统连接，数据管理系统用于对接收到的数据进行存储，并对数据进行整理、分类保存，可以根据需要打印出所需的各种报表，还可以根据需要对历史数据进行备份和调用，应用系统用于提供良好的人机界面，实现统计、报表、数据的备份功能。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。