专利名称：一种智能电网海量数据流的分布式数据挖掘方法
技术领域：
本发明涉及一种智能电网海量数据流的分布式数据挖掘方法，能够有效的解决智
能电网数据流挖掘的实时性问题。
背景技术：
近年来，美、欧等不少国家都相继开展了智能电网的相关研究。 一时间，智能电网 一词成为国际上一个关于未来电网发展趋势的热门名词。智能电网是将电力与通信和计算 机控制连接在一起，以获取在供电可靠性、传输容量和客户服务等方面的巨大效益。与传统 电网相比，智能电网将进一步优化各级电网控制，构建结构扁平化、功能模块化、系统组态 化的柔性体系架构，通过集中与分散相结合，灵活变换网络结构、智能重组系统架构、最佳 配置系统效能、优化电网服务质量，实现与传统电网截然不同的电网构成理念和体系。
在这个完全自动化的供电网络中，每一个用户和节点都得到了实时的监控，并保 证了从发电厂到用户端电器之间的每一点上的电流和信息的双向流动，将为电力系统的运 行和管理提供空前海量的实时数据流，它们隐含着与故障及系统稳定有关的有用信息。虽 然现代信息处理技术在电力系统得到了广泛应用，但系统多针对历史数据，对精度重视较 多，而对响应时间关注较少，无法满足智能电网中信息快速实时处理的需求。因此对智能电 网中数据挖掘系统的实时性提出了更为严格的要求。而通过对智能电网中的海量数据流进 行分布式挖掘处理，能够为智能电网的实时运行与管理提供有效的决策支持。
发明内容
本发明所要解决的技术问题是，提供一种智能电网海量数据流的分布式数据挖掘 方法，利用这种方法进行数据流挖掘时，能够避免由于数据流量巨大而降低整个系统的性 能，提高运行效率，满足智能电网实时性的要求。 解决其问题所采用的技术方案是，一种智能电网海量数据流的分布式数据挖掘方 法，其特征是，所述的方法包含有将海量数据流按信息窗大小按序分割成不同的数据子 流；发送各数据子流至各数据预处理器；将各数据预处理结果分别进行数据流挖掘；将挖 掘得出的各个模式进行整合；输出整合后的模式结果。其中所述信息窗大小由具体的数据 预处理以及数据挖掘算法确定。其中所述模式整合，将各模式按所述序列进行排序整合。
—种智能电网海量数据流的分布式数据挖掘方法所涉及的系统包含有用以将海 量数据流分割成各数据子流的一数据分流器；对数据子流分别进行数据预处理的若干个数 据预处理器；对预处理后的数据进行数据流挖掘的若干个数据挖掘器；对挖掘后的模式进 行整合的一模式整合器。 其中所述数据分流器，数据子流的个数由数据流单位时间到达速率与信息窗大小 的比值确定。 其中所述若干个数据预处理器，可采用相关的数据预处理算法，在其运行完成后 需立即将结果传送至对应的数据挖掘器。
其中所述若干个数据挖掘器，可采用相关的数据挖掘算法，在其全部运行完成后 将结果发送至模式整合器。 本发明的一种智能电网海量数据流的分布式数据挖掘方法首先通过数据分流器 将实时到来的智能电网海量数据流分割成各数据子流，使用多台数据预处理器进行并行处 理，然后并行进行数据流挖掘，最后将各个模式重新整合输出，由于数据预处理与数据挖掘 的并行处理，大大提高了海量数据流挖掘的效率，可有效满足智能电网中海量数据流挖掘 的实时性要求。
图1为本发明的框架图； 图2为本发明中分流器的原理图； 图3为本发明中整合器的原理具体实施例方式
下面利用附图所示的实施例对本发明作进一步描述。 参照图l，本发明一种智能电网海量数据流的分布式数据挖掘方法，它包含有将 海量数据流按信息窗大小，采用一数据分流器按序分割成各数据子流；将各数据子流分别 发送至各数据预处理器；各数据预处理器分别进行数据预处理；对预处理后的数据采用若 干个数据挖掘器进行数据流挖掘；将若干个数据挖掘器挖掘得出的各个模式，采用一模式 整合器按所述序列进行整合；输出整合后的模式结果。
所述信息窗大小由具体的数据预处理以及数据挖掘算法确定。 所述数据分流器，数据子流的个数由数据流单位时间到达速率与信息窗大小的比 值确定。 所述若干个数据预处理器采用数据预处理算法，在其运行完成后将结果传送至对 应的数据挖掘器。 所述若干个数据挖掘器采用数据挖掘算法，在其全部运行完成后将结果发送至模 式整合器。 参照图2和3，智能电网中海量数据流到来时，首先通过数据分流器分割成若干个 数据包，假定智能电网数据流到来的速率为v(M/s)，所选取的数据流预处理与数据流挖掘 的信息窗大小为d(M/s)，则数据分流器将到来的数据流平均分割成n = v/d个，并将这若干 个数据子流分别发送至若干个数据预处理器。 第i (i = 1. . . n)个数据预处理器在接收到第i个数据子流后采用有关的数据流 预处理算法进行处理，并将结果发送至第i个数据流挖掘器。然后，等待下一时间第i个数 据子流的到来。 第i (i = 1. . . n)个数据挖掘器在接收到第i个数据子流后采用有关的数据流挖 掘算法进行数据流挖掘，并将挖掘所得出的模式发送至模式整合器。然后，等待下一时间第 i个数据子流的到来。 模式整合器将接收到的各模式按序号重新排列，等待所有模式均挖掘完毕后再统 一输出，此结果即是本时间段数据流挖掘的模式集合。
本发明的一种智能电网海量数据流的分布式数据挖掘方法所涉及的系统包含用 以将海量数据流分割成各数据子流的一数据分流器、对数据子流分别进行数据预处理的若 干个数据预处理器、对预处理后的数据进行数据流挖掘的若干个数据挖掘器、对挖掘后的 模式进行整合的一模式整合器。其中本发明实施例采用的数据分流器为浪潮英信若干 F5280服务器；数据预处理器为浪潮英信若干F5120服务器；数据挖掘器为浪潮英信若干 F5120服务器；模式整合器为浪潮英信若干F5280服务器，均为市售产品。但分流器、数据 预处理器、数据挖掘器和模式整合器并非唯一型号。数据分流器、数据预处理器、数据挖掘 器和模式整合器的各软件程序依据各自的功能和用途，采用信息自动化、计算机处理等技 术编制，其软件程序的编制是本领域技术人员所熟悉的技术。
权利要求
一种智能电网海量数据流的分布式数据挖掘方法，其特征是它包含有(1)将海量数据流按信息窗大小，采用一数据分流器按序分割成各数据子流；(2)将各数据子流分别发送至各数据预处理器；各数据预处理器分别进行数据预处理；(3)对预处理后的数据采用若干个数据挖掘器进行数据流挖掘；(4)将若干个数据挖掘器挖掘得出的各个模式，采用一模式整合器按所述序列进行整合；输出整合后的模式结果。
2. 根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征 是所述信息窗大小由具体的数据预处理以及数据挖掘算法确定。
3. 根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征 是所述数据分流器，数据子流的个数由数据流单位时间到达速率与信息窗大小的比值确 定。
4. 根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征是所述若干个数据预处理器采用数据预处理算法，在其运行完成后将结果传送至对应的 数据挖掘器。
5. 根据权利要求1所述的一种智能电网海量数据流的分布式数据挖掘方法，其特征 是所述若干个数据挖掘器采用数据挖掘算法，在其全部运行完成后将结果发送至模式整合為。
全文摘要
本发明一种智能电网海量数据流的分布式数据挖掘方法，其特点是它包含有将海量数据流按信息窗大小，采用一数据分流器按序分割成各数据子流；将各数据子流分别发送至各数据预处理器；各数据预处理器分别进行数据预处理；对预处理后的数据采用若干个数据挖掘器进行数据流挖掘；将若干个数据挖掘器挖掘得出的各个模式，采用一模式整合器按所述序列进行整合；输出整合后的模式结果。由于数据预处理与数据挖掘的并行处理，大大提高了海量数据流挖掘的效率，能有效满足智能电网中海量数据流挖掘的实时性要求。
文档编号G06F17/30GK101694667SQ200910217750
公开日2010年4月14日 申请日期2009年10月19日 优先权日2009年10月19日
发明者刘俊洲, 张亮, 曲朝阳, 李鹏, 王敬东, 程成, 董如意 申请人:东北电力大学;