一种基于规则和组件的电厂信息化数据的分类处理方法与流程

文档序号:13218187阅读:152来源:国知局
技术领域:本发明涉及计算机领域数据处理的方法,尤指一种通过规则和组件来分析处理电厂信息化数据的方法。

背景技术:
:随着电力行业信息化的不断深入和计算机技术的不断发展,电力行业的许多单位和部门的业务和生产都越来越依赖于计算机和软件,这样不仅能够提高工作效率,而且能够为企业生产运行和业务管理提供更高的可靠性和灵活性。但是由于行业信息化程度不同,以及电力行业工作环境的复杂性,目前电力行业存在多种类型数据、多种软件系统共存等问题,信息化数据的分析处理已经成为行业信息化进程中的关键问题,为电力行业数据处理提供一个具有较好可操作性和通用性的方法和框架也成为行业专家和学者关注的重点。电厂是电力行业的基础支撑节点,电厂信息化数据的多样性和复杂性是非常具有典型性的,许多电力行业数据的分析和处理都是以电厂信息化数据为基础,因此本发明以电厂信息化数据为研究对象。每个电厂由于发电方式和信息化程度的差别,需要处理的数据的类型和特性也多种多样,如火力发电厂、水力发电厂、风电厂、核电厂、生物质发电厂等需要处理不同的业务数据,而许多电厂又同时运行了设备运行控制系统、信息管理系统、汽车衡/轨道衡计量系统、燃料化验分析系统等,也导致数据的来源和存储格式复杂。目前电厂缺乏针对信息化数据的统一处理方法和框架,一般是采用各种不同的工具分别处理各类数据,所以本发明提出了一种基于规则和组件的电厂信息化数据的分类处理方法,能够基于应用需求对各种复杂多样的电厂信息化数据进行统一处理。

技术实现要素:
:本发明的主要目的在于提供一种基于规则和组件的电厂信息化数据的分类处理方法,充分考虑电厂信息化数据多样性和复杂性的特点,建立包含数据特性的分类模型,基于分类模型和应用需求确定支持数据处理的采集、分析处理、发送存储三个主要阶段的组件和规则,并通过任务来描述每一类数据的典型处理方法,组件、规则、任务都会维护到资源库中,便于这些资源的重用。本发明为电厂信息化数据的处理提供了一个具有较好灵活性和通用性的方法,也为基于电厂信息化数据的其他应用提供了支持。本发明的发明目的通过以下技术方案实现:一种基于规则和组件的电厂信息化数据的分类处理方法,包含以下步骤:步骤(1)根据电厂信息化数据的特性,建立分类模型;步骤(2)基于分类模型和应用需求,建立或从组件库中选择合适的组件;步骤(3)基于分类模型和应用需求,建立或从规则库中选择合适的规则;步骤(4)针对需要处理的数据,基于相应的组件和规则,创建或从任务库中选择合适的任务,提供具体参数启动任务,对电厂信息化数据进行处理。依据上述特征,所述的分类模型具有层次结构,可以根据应用需求和数据特性建立分类模型,模型中每个叶节点对应一类数据,非叶节点则描述了该类数据的某一特性。依据上述特征,所述的创建或在组件库中选择合适的组件的方法包括两个主要的阶段,第一阶段检索分类模型的各个节点,确定需要处理数据的相关特性,第二阶段基于已检索的数据特性,创建或在组件库中选择合适的组件。依据上述特征,所述的创建或在规则库中选择合适的规则的方法包含两个主要的阶段,第一阶段检索分类模型的各个节点,确定需要处理数据的相关特性,第二阶段基于已检索的数据特性和应用需求,创建或在规则库中选择合适的规则。依据上述特征,所述步骤(4)具体包含以下步骤:步骤(4.1)基于已确定的任务和应用需求,提供数据采集、分析处理、发送存储各个阶段使用的具体参数;步骤(4.2)创建任务执行空间,由任务执行引擎创建各个任务实例,完成所需组件实例化、规则加载等工作,启动一个实际的数据处理过程。附图说明:图1为本发明中电厂信息化数据的分类处理方法的总体示意图;图2为本发明中分类模型、资源库、数据处理任务的关系图。具体实施方式:下面结合附图对本发明作进一步的详细说明。如图1所示,描述了本发明提出的电厂信息化数据的分类处理方法的总体示意图,其中实线箭头表示信息化数据依次通过采集器、分析处理器、发送器,虚线箭头表示任务执行引擎对采集器、分析处理器和发送器的调度和规则控制,矩形箭头表示从组件库、规则库、任务库中选择输出合适的组件、规则、任务,新建立或在原有基础上修改的组件、规则、任务也会保存到资源库中。资源库用于保存数据处理的相关资源,支持组件、规则、任务的重用。本发明提出的分类处理方法的具体实施步骤如下:(1)建立分类模型通过对电厂信息化数据的特性进行分析,基于应用环境建立具有层次结构的分类模型,如图2所示,每一类具体的数据对应模型中的一个叶节点,非叶节点则表示了该类数据的某种特性,这样能够基于数据的类型和特性开展后续的工作。电厂信息化数据多样且复杂,如:每一类数据都具有不同的来源、存储格式、内容、去向等,分类模型是按照数据的特性和应用需求建立的,非叶节点封装了数据处理过程中需要使用的特性。电厂信息化数据的特性较多,需要根据需求选择分类模型中非叶节点所封装的特性,主要的特性涉及:数据的来源—数据来源于数据库、文件、用户报告、其他的系统接口或者网络中,数据可能是电厂的原始生产和业务数据,也可能是电厂信息系统的监控数据;数据的存储格式—数据可能保存到excel、word、txt等常用的文件中,也可能保存到需要特定工具才能操作的文件中;数据的内容—数据可能是文本、数字,也可能是特殊的模型;数据的去向—与数据的来源类似,处理后的数据可能需要保存到数据库、文件中等,也可能需要通过网络按照某种协议格式发送出去。(2)确定合适的组件基于分类模型中每种类型数据的特性,需要为整个数据处理过程确定合适的组件。当然如果组件库中没有合适的组件,也可以根据需求对原有组件进行修改,或者自定义一些新的组件,这些组件也将保存到组件库中。如图1和图2所示,整个数据处理过程分为三个主要阶段,每个阶段都可能需要相应的组件支持。第一阶段是数据采集,可以根据分类模型中数据的来源等相关特性,选择或创建合适的组件,如:数据来源于某数据库的表,则需要相应的数据库驱动组件来支持数据的采集;数据来源于网络接口监听,则需要该网络监听协议组件来支持数据的采集。第二阶段是数据分析处理,如果只是对数据进行简单的统计、关联、运算等操作,则可以不需要组件的支持,但是如果涉及到比较复杂的统计分析、数据挖掘或一些特殊的处理,则同样需要相关的组件支持,如:数据为文本内容,需要对其倾向性和敏感词语进行分析,则需要相应的文本分析组件来支持数据的分析处理。第三阶段是数据发送存储,这个阶段与第一阶段类似,同样需要根据数据的去向等相关特性,选择或创建合适的组件,如:数据处理后需要保存到某数据库的表,则需要相应数据库的驱动组件来支持数据的发送。(3)确定合适的规则根据应用需求,还需要基于分类模型为整个数据处理过程确定合适的规则。规则中封装了具体的业务逻辑,可以从规则库中选择,也可以创建或在原有基础上进行修改,新的规则也将保存到规则库中。如图1和图2所示,数据处理过程中的三个主要阶段都需要合适的规则进行控制。第一阶段是数据采集,创建或选择的采集规则中封装了使用组件进行数据采集的具体操作方法和流程,采集规则和相应组件组成采集器来负责数据的采集工作。第二阶段是数据处理分析,创建和选择的处理规则中封装了使用组件进行数据处理的逻辑和具体操作方法,处理规则和相应组件组成分析处理器负责数据的分析处理工作。第三阶段是数据发送存储,创建或选择的发送规则中封装了使用组件进行数据发送存储的具体操作方法和数据格式,发送规则和相应组件组成发送器来负责数据的发送存储工作。(4)建立数据处理任务电厂信息化数据是多种多样的,需要对每一种数据的采集、处理、发送存储过程都明确下来,才能够确保数据处理工作的正确性。这里对每一类数据建立相应的数据处理任务,同样可以从任务库中选择合适的任务,也可以根据需求创建或在原有基础上修改生成新的任务,当然新的任务同样会保存到任务库中。任务是基于分类模型封装了一类数据的完整处理方法,也就是任务中明确记录了数据处理的三个主要阶段中所确定的组件和规则,通常一个任务描述了一类电厂信息化数据的典型处理过程,如果后续需要处理同样的或者类似的一类数据,则能够直接重用相应的任务或者在原有任务基础上进行修改。(5)启动数据处理任务基于已经确定的任务,我们能够开始具体的数据采集处理过程,即启动一个数据处理任务。如图1和图2所示,启动数据处理任务包含两个阶段,第一阶段是提供具体的参数,也就是基于已经确定的任务提供具体的数据处理参数。如在数据采集或发送存储阶段中:采用数据库驱动组件,则一般需要提供数据库运行服务器的IP地址、数据库监听端口号、数据库服务名、数据库登录用户名/密码、存储数据的表名等;采用文件组件,则一般需要提供文件路径、文件名称、文件扩展名等;采用网络监听或发送组件,则一般需要提供监听协议名、监听端口、数据采样间隔等。而在数据分析处理阶段中:采用某种数据挖掘或数据分析算法的组件,则需要提供算法运行的一些条件参数和执行初始参数。第二阶段基于具体参数和相应任务,创建任务执行空间,由任务执行引擎(其中包含规则引擎)创建各个任务实例,实例化所需要的组件,并加载相应的规则来控制程序执行,完成整个数据采集、分析处理和发送存储的过程。下面给出一个火力发电厂的实例,结合该实例需要处理的信息化数据对本发明的具体实施方式做简要说明。采用本发明提出的方法,按照以上给出的实施步骤进行数据处理:(1)建立分类模型表1实例中所建立的数据分类模型分析该火力发电厂需要处理的信息化数据的特性,结合实际应用需求建立分类模型,这里为了简化实例,我们选择四种数据进行说明,如表1所示,由于根节点没有实际意义,这里列出根节点下面的各级节点及其表示的含义,一级节点封装了数据的来源特性,二级节点封装了数据的去向特性,三级节点封装了数据的处理特性,叶节点分别对应了四种不同类型的数据,每一种数据都应具有内部唯一的标识,保证模型检索时的正确性。(2)确定合适的组件基于分类模型和应用需求来确定整个数据过程中需要使用的组件。在数据采集阶段:主要检索分析模型一级节点的数据来源特性,由于四种类型的数据来源都不相同,因此分别需要Oracle数据库驱动组件、设备控制系统接口组件(软件接口组件)、Excel文件组件、Word文件组件的支持。在数据分析处理阶段:主要检索分析模型的三级节点的数据处理特性,前三种类型的数据只包含简单的数据关联和提取操作,不需要组件支持,最后一种数据需要进行复杂的文本信息分析,因此需要文本分析组件的支持。在数据发送存储阶段:主要检索分析模型的二级节点的数据去向特性,这里四种信息都需要保存到MySQL数据库中,因此这里需要MySQL数据库驱动组件的支持。(3)确定合适的规则基于分类模型和应用需求来确定整个数据过程中需要使用的规则。在数据采集阶段:四种类型的数据都使用了相应的组件进行采集,通过分析应用需求,规则中要明确写入如何使用组件进行数据采集,采集的具体数据内容。在数据分析处理阶段:通过分析应用需求,前两种数据需要规则来控制其关联,这里使用设备ID作为关联标识,第三种数据需要规则控制提取的关键信息,第四种数据需要规则控制组件的工作方式。在数据发送存储阶段:将四种类型的数据都保存到数据库中,规则中需要控制数据库驱动组件将数据写入到相应的表中。(4)建立数据处理任务基于前面步骤针对四类数据所确定的组件和规则,这里建立三个数据处理任务。第一个任务针包含了前两种数据,任务中将记录他们在数据采集、分析处理、发送存储三个主要阶段中确定的组件和规则。第二个、第三个任务与此类似,分别记录了第三种、第四种数据的数据处理信息。(5)启动数据处理任务针对需要采集的数据提供具体的参数信息。在数据采集阶段:第一种数据需要提供Oracle数据库地址、服务名、端口、用户名/密码、表名等参数,第二种数据需要根据软件接口的具体要求提供IP地址、用户名/密码、权限等参数,第三种和第四种数据类似,需要提供文件所在主机的地址、路径、文件名、文件扩展名等信息。在数据分析处理阶段:第四种数据需要提供文本分析的数据字典、情感分析关键词等参数。在数据发送存储阶段:四种数据都需要提供MySQL数据地址、服务名、端口、表空间名、表名、字段名等参数。基于这些已经提供的参数信息,启动多个实例化的任务,就可以开始具体的数据处理过程。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1