一种钢铁报表数据采集系统的制作方法

本申请涉及钢铁生产制造技术领域，尤其涉及一种钢铁报表数据采集系统。

背景技术：

报表作为一种辅助决策工具，帮助企业管理者快速掌握企业运营状况，是企业发展的强大驱动力，也是企业实施bi战略的基础。在钢铁行业中，企业信息化建设取得了长足发展，建立了完整的多级信息框架体系，例如生产制造执行mse系统、产品生命周期管理plm系统、企业资源计划erp系统、客户关系管理crm系统等。报表作为企业信息化系统的标配，尽管是各式各样，但随着市场变化和企业的不断发展，报表现有数据项或格式与企业目前实际需求不匹配的矛盾也日渐显现。报表的改变往往意味着软件的二次开发或系统数据集成整合，但在钢铁企业信息化建设过程中，由于缺乏整体规划，形成了越来越多的信息孤岛，例如二级系统分为多个独立的子系统，每套子系统会形成一个小的独立的网络；或者不同的系统源自不同的供应商，软件系统架构不同导致相互孤立。因此，报表数据分散在各个异构系统中，造成系统间集成困难，实施复杂且代价昂贵，成为限制钢铁企业实施bi战略的瓶颈。

技术实现要素：

本发明提供了一种钢铁报表数据采集系统，以解决或者部分解决钢铁数据系统的报表数据多源异构，导致报表数据集成困难的技术问题。

为解决上述技术问题，本发明提供了一种钢铁报表数据采集系统钢铁报表数据采集系统，包括报表数据采集配置模块和数据采集总线接口，报表数据采集配置模块包括报表数据信息项配置子模块和数据适配子模块：

报表数据信息项配置子模块，用于从源数据系统中确定待采集的报表数据信息项，并根据报表数据信息项，在目标数据库系统中自动创建对应的报表数据表；

数据适配子模块，用于确定源数据系统与报表数据表的连接定义和字段映射，连接定义用于配置源数据系统与报表数据表之间的连接关系，字段映射用于配置报表数据信息项与报表数据表的数据表字段之间的对应关系；

数据采集总线接口，用于根据连接定义和字段映射，自动将报表数据信息项从源数据系统中采集至报表数据表。

可选的，报表数据采集配置模块还包括：

数据采集频率配置子模块，用于确定从源数据系统采集报表数据信息项的时间频率；

数据采集总线接口，用于根据连接定义、字段映射和时间频率，自动将报表数据信息项从源数据系统中采集至报表数据表。

可选的，报表数据采集配置模块包括两个以上的数字适配子模块；

每个数据适配子模块对应于一种源数据系统与报表数据表的连接定义和字段映射方案。

可选的，数据采集总线接口通过反射机制调用数据适配子模块的类。

可选的，数据采集总线接口基于windows环境开发。

如上述的技术方案，源数据系统包括：钢铁生产数字系统以及ftp文件数据库系统、包括web接口的系统和自建系统中的至少一种。

进一步的，钢铁生产数字系统包括热轧生产制造执行mse系统以及产品生命周期管理plm系统、企业资源计划erp系统、客户关系管理crm系统中的至少一种。

通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：

本发明提供了一种钢铁报表数据采集系统，通过确定源数据系统中待采集的报表数据信息项，自动在目标数据库系统中创建报表数据表；然后根据连接定义和字段映射配置，自动将报表数据项从源数据系统中采集至报表数据表；从而实现了将报表数据从多源异构的钢铁生产数字系统中自动采集至目标数据库系统，解决了多源钢铁报表数据采集或集成困难，实施复杂的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的钢铁报表数据采集系统的示意图；

附图标记说明：

1、源数据库系统；2、报表数据采集配置模块；21、报表数据信息项配置子模块；22、数据适配子模块；23、数据采集频率配置子模块；3、数据采集总线接口；4、目标数据库系统。

具体实施方式

为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。在整个说明书中，除非另有特别说明，本文使用的术语应理解为如本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。除非另有特别说明，本发明中用到的各种设备等，均可通过市场购买得到或者可通过现有方法制备得到。

为了解决钢铁报表数据多源异构，难以采集的问题，本实施例提供了一种一种钢铁报表数据采集系统，如图1所示，包括报表数据采集配置模块2和数据采集总线接口3，报表数据采集配置模块2包括报表数据信息项配置子模块21和数据适配子模块22；

报表数据信息项配置子模块21，用于从源数据系统1中确定待采集的报表数据信息项，并根据报表数据信息项，在目标数据库系统4中自动创建对应的报表数据表；

数据适配子模块22，用于确定源数据系统1与报表数据表的连接定义和字段映射，连接定义用于配置源数据系统1与报表数据表之间的连接关系，字段映射用于配置报表数据信息项与报表数据表的数据表字段之间的对应关系；

数据采集总线接口3，用于根据连接定义和字段映射，自动将报表数据信息项从源数据系统1中采集至报表数据表。

具体的，随着钢铁流程数字化的不断发展，在钢铁企业的生产局域网中配备了各种生产制造执行系统(mse)、钢铁产品生命周期管理系统(plm)、客户关系管理系统(crm)以及各种自建数据系统等。这些数字系统中存储各类钢铁产品数据，并配备有不同类型的报表数据分析模块，基于自身数据库中的数据进行各类数据报表分析及可视化；报表数据并没有固定的结构，是根据实际分析需求，从源数据中提取相应的数据生成报表。目前的问题是，钢铁企业由于信息化建设过程中并没有整体规划，且不同数字系统由于供应厂商不同、软件架构不同、数据存储方式的不同等，造成各个数字系统之间数据相互孤立，形成数据孤岛，因此无法直接将多个数字系统中的报表数据集成至一个数据库中，因此无法实现跨工序、多来源的报表数据分析。本实施例中提供的钢铁报表数据采集系统，是以从多种数字系统中整合报表数据为目的，实现多源异构报表数据的自动整合和集成，以支撑全链条数据的报表分析需求。在本实施例中，源数据系统1代表拟采集的报表数据所属的各个数字系统；而目标数据库系统4代表自建的报表数据库系统，用于存储和管理各种报表数据，在目标数据库系统4下包括各种报表数据表，用于管理不同来源、不同类型的报表数据。

在本实施例中，可选的，源数据系统1包括：钢铁生产数字系统以及ftp文件数据库系统、包括web接口的系统和自建系统中的至少一种。进一步的，钢铁生产数字系统包括热轧生产制造执行mse系统以及产品生命周期管理plm系统、企业资源计划erp系统、客户关系管理crm系统中的至少一种。其中，包括web接口的系统是指早期创建的数据系统，其预留有web接口或通过二次开发构建了web接口，自建系统包括但不限于：理化数据检测系统、多尺度模拟仿真系统等产品与工艺研发数据系统。

直观起见，以源数据系统1中的热轧生产制造执行系统(mse)为例进行说明。热轧mse系统中采集并存储热轧钢卷在经历各个热轧工序，如加热、粗轧、精轧、卷取、精整时的热轧卷制造数据。数据类型包括文本型数据、数值类数据、图片类数据等。由于每个卷在不同工序的生产数据类型不同，因此热轧mse系统将每卷带钢在不同工序的生产数据存储至不同的dat文件中，例如，对于精轧段，一卷热轧钢卷的精轧数据通常存储在命名规则类似：“fm.卷号.dat”文件中，fm.dat文件中的数据组织形式和数据结构根据mse系统软件供应商的方案进行定义，对包括钢卷信息、热轧终轧温度曲线、卷取温度曲线、板形(宽度、厚度)曲线、精轧机架运行参数等各种生产原始数据进行统一存储；fm.dat文件中的数据和曲线可通过软件供应商提供的专用数据软件进行读取和可视化。

因此，为了实现对热轧mse系统报表数据的采集，首先需要根据实际报表数据分析需求，确定目标数据系统中拟采集mse系统中的哪些报表数据字段，建立相应的报表数据表，以存储从源数据系统1中采集的报表数据。以热轧mse系统中的精轧数据fm.dat为例，首先通过报表数据信息项配置子模块21配置从fm.dat中拟采集的报备数据信息项，如钢卷号、钢卷生产时间、终轧温度、卷取温度、轧制速度等；然后根据确定的数据信息项在fm.dat文件中的数据特征，如数据信息项的名称、数据信息项对应的数据类型等，确定精轧报表数据表中的各个数据表字段的属性定义，如字段名称、字段存储数据类型等；数据表字段的属性定义可根据fm.dat中对应数据信息项的信息类型进行自动识别和匹配，也可以根据报表数据分析需求进行手动配置。在配置完成后，报表数据信息项配置子模块21自动在目标数据库系统4中建立对应的精轧报表数据表。

接下来进行数据采集的数据适配设置。数据适配子模块22用于配置源数据系统1与报表数据表之间的数据连接定义和字段映射关系。其中，连接定义是确定某报表数据表其对应的源数据系统1中的数据表的连接关系。一种可选的连接定义方案是，根据源数据系统1中数据表的表信息和目标数据库系统4中的报表数据表的表信息，建立对应的连接关系。数据表的表信息中包括数据表的名称、数据表所属的数据库的名称、数据库和数据表的唯一标识id、数据库所在的服务器地址等。通常的，数据表的表信息是通过xml文件进行描述和存储的，数据适配子模块22可通过访问数据表的xml文件，建立源数据系统1与报表数据表的连接定义。

字段映射关系是确定源数据系统1中的报表数据信息项与报表数据表之间的字段属性映射关系。例如，在fm.dat文件中，终轧温度这一信息项的名称可能是fm.temperature；而在报表数据表中，对应的表字段的名称可能是“终轧温度”，即，源数据系统1中的报表数据信息项与报表数据表中的表字段无法直接对应，需要在数据适配子模块22中进行具体的定义，以保证报表数据表的表字段与源数据系统1中的报表数据信息项正确对应，为报表数据表采集正确的报表数据。

由于报表数据是根据具体分析需求进行配置和可视化的，而随着钢铁数字化的进一步发展，新的数据系统不断的在内网中部署应用，新的报表数据分析需求将持续出现，需要钢铁报表数据采集系统具备灵活的扩展能力。为了实现灵活扩展报表数据的采集，并提高数据适配设置的管理效率，可选的，报表数据采集配置模块2包括两个以上的数字适配子模块；每个数据适配子模块22对应于一种源数据系统1与报表数据表的连接定义和字段映射方案。如此，在后续的应用过程中，若部署了新的钢铁数字系统，或产生了新的报表分析需求时，可以创建新的数据适配子模块22，配置新增报表数据表与源数据系统1之间的连接定义和字段映射关系，从而提高数据适配的灵活性。

可选的，报表数据采集配置模块2还包括：数据采集频率配置子模块23，用于确定从源数据系统1采集报表数据信息项的时间频率；数据采集总线接口3，用于根据连接定义、字段映射和时间频率，自动将报表数据信息项从源数据系统1中采集至报表数据表。

即，为了节省实时数据采集对生产控制系统的影响，尤其是在现场机组高速排产时对系统资源的额外占用，可通过数据采集频率配置子模块23配置报表数据的采集频率或采集周期，如设置数据采集总线接口3每隔预设的时间段(如3小时，6小时，12小时等)进行新增报表数据的自动采集；或设置定时采集时间，如在每一天的24:00定时采集报表数据。

在完成报表数据采集配置模块2中的所有配置后，所有配置信息可采用xml文件或数据库表形式进行存储，配置信息可导出为xml文件进行复用。

由于钢铁生产是流程化控制，每时每刻均在产生新的数据，因此在数据适配子模块22中完成数据适配以后，数据采集总线接口3将根据连接定义和字段映射，自动将报表数据信息项从源数据系统1中实时采集至报表数据表。

可选的，为了方便技术人员使用，将目标数据库系统4，即报表数据库部署在windows平台，并通过公司内网(如工业标准的局域网)与源数据系统1建立通信连接。可选的，数据采集总线接口3基于windows环境开发；目标数据库系统4、报表数据采集配置模块2和数据采集总线接口3采用c#语言编译开发。数据采集总线接口3自动运行于目标数据库系统4的服务器后台，无需人工手动干预，实时监控报表数据采集配置模块2中的配置项，进行报表数据的自动采集。

为了能够快速、动态的部署和集成新的数据适配子模块，可选的，数据采集总线接口3通过反射机制调用数据适配子模块22的类。

具体的，钢铁报表数据采集系统会根据报表数据的需求不断扩展新的数据适配子模块，即新的数据适配器。数据采集总线接口程序通过运用反射机制进行编程设计，使得数据采集总线接口具备即插即用(hot-plugging)的特性。具体的，反射机制是运行时的动态获取，通过数据采集总线接口动态的加载数据适配子模块的类，在配置了新的数据适配子模块后，只需要更新class文件即可完成数据采集总线接口与新的数据适配子模块的集成。如此，数据采集总线接口自动实时的在线监控报表数据采集配置模块的设置，实现即插即用报表数据的采集。

总的来说，数据采集总线接口基于windows服务设计，结合反射机制实现即插即用，是实现新拓展报表数据适配器的快速、动态部署与集成的核心。

本实施例提供了一种钢铁报表数据采集系统，通过确定源数据系统中待采集的报表数据信息项，自动在目标数据库系统中创建报表数据表；然后根据连接定义和字段映射配置，自动将报表数据项从源数据系统中采集至报表数据表；从而实现了将报表数据从多源异构的钢铁生产数字系统中自动采集至目标数据库系统，解决了多源钢铁报表数据采集或集成困难，实施复杂的问题；

进一步的，通过基于windows服务和反射机制设计的数据采集总线接口能够即插即用的对新增报表数据进行快速集成，实现了报表数据采集自适应企业需求，在提高企业决策效率的同时，实施过程简单高效，开发成本低。

通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：

本发明提供了一种钢铁报表数据采集系统，通过确定源数据系统中待采集的报表数据信息项，自动在目标数据库系统中创建报表数据表；然后根据连接定义和字段映射配置，自动将报表数据项从源数据系统中采集至报表数据表；从而实现了将报表数据从多源异构的钢铁生产数字系统中自动采集至目标数据库系统，解决了多源钢铁报表数据采集或集成困难，实施复杂的问题。

尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。