一种基于热连轧生产流程的动态多主题数据仓库建立方法
【专利摘要】本发明提出一种基于热连轧生产流程的动态多主题数据仓库建立方法，该方法步骤如下：1业务数据提取；2业务数据可视化分析；3螺旋式动态构建数据仓库；4在线分析处理。本方法根据业务需求，在可视化数据分析的基础上，用户自主动态构建分析维度、分析主题，并在多主题数据仓库中进行分析和挖掘。本发明针对热连轧生产流程数据量庞大的特点，提供了数据可视化处理方法，使用户可以观察数据特征，挑选有价值的数据，解决了用户面对海量数据时出现盲需求的特点，基于生产流程动态建立多维度、多主题挖掘，满足了用户对现场数据完整性、数据仓库管理的高效性，满足了不断发展的业务需求。该方法同样适用于工业领域流程化生产类数据的数据仓库构建。
【专利说明】一种基于热连轧生产流程的动态多主题数据仓库建立方法
【技术领域】
[0001] 本发明涉及热连轧生产、数据仓库领域，特别是涉及一种基于热连轧生产流程的 动态多主题数据仓库建立方法。
【背景技术】
[0002] 热连轧生产流程伴随有海量的设计、实验、调试、现场生产等工程数据，以及大量 系统安装和调试经验知识等，这些数据是生产线设计、建设和轧制模型开发研究的重要参 考资料，长期以来这些数据一直零散存放，没有得到系统地整理，更加没有进行有效地分析 利用，所以，建立轧制模型基础数据库，对相关信息资源进行整理、管理和有效利用是一项 迫在眉睫的工作。
[0003] 面向冶金钢铁流程控制的集成建模与优化控制技术需求，针对"4V+1C"的数据特 点（英文全称Volume, Velocity, Variety, Value, Complexity的缩写）。利用数据仓库技 术为复杂的生产过程控制提供基于机理、数据和知识的集成建模方法，以及过程控制与优 化技术；实现面向钢铁流程控制，实现生产过程中数据、信息与知识的集成、融合以及动态 处理，建立管控一体化控制系统；研究基于模型的钢铁生产流程关键过程优化技术，实现设 备自动化控制、设备运行参数优化与在线调整；实现钢铁生产效率综合指标的管理与优化 控制以及与钢铁生产管理与数据仓库系统的有机整合。
[0004] 数据仓库是信息处理的基础，是面向对象、整合、永久并随时间变化的一个支持管 理决策的数据的集合。数据仓库系统包含了整合后的粒状历史数据，整合的数据使得用户 可以观察企业级的整体数据；而根据数据的粒状特性，用户依旧可以观察局部数据的特点， 反应真实情况。
[0005] 管理者的决策通常建立在结构化的记录基础上，但是，由于企业内部存在大量异 构数据，这些数据通常以文本的非结构化形式存在并且大量冗余，所以整合各种异构数据、 数据清洗，并进行分析挖掘支持决策是传统数据仓库面临的巨大困难。
[0006] 而处理数据仓库产生的海量数据也是传统数据仓库面临的问题。多维多主题数据 仓库是建立在海量数据基础上的，而大量数据会阻塞数据通道，阻碍用户进行业务分析，但 是这些数据中存在巨大分析价值，因此需要合理有效的存放这些重要数据。
[0007] 传统数据仓库系统，要求用户需求明确，分析主题事先确定。但是随着数据量的不 断增加，用户对数据的分析需求不甚明确、甚至盲需求，所以需要数据仓库提供探索性的开 发模式让用户进行操作，本发明利用螺旋式的构建方法完善数据仓库，根据业务、需求变化 增加分析主题，满足用户不断增长、明确的需求。
【发明内容】
[0008] 为了解决上述问题，本发明的目的是针对热连轧生产流程数据量庞大的特点，提 供了数据可视化处理方法，使用户可以观察数据特征，挑选有价值的数据，解决了用户面对 海量数据时出现盲需求的特点，基于生产流程动态建立多维度、多主题挖掘，满足了用户对 现场数据完整性、数据仓库管理的高效性，满足了不断发展的业务需求的基于热连轧生产 流程的动态多主题数据仓库建立方法。
[0009] 本发明的技术方案是：一种基于热连轧生产流程的动态多主题数据仓库建立方 法，该方法包括以下步骤：
[0010] 步骤1，业务数据提取：遍历业务数据库，同时提取业务数据的元数据构更新业务 数据的字段兀表和表兀表；
[0011] 步骤2,业务数据可视化分析：对业务数据库中的业务数据进行可视化处理，展示 业务数据的数学特征，为构建主题提供基础，主题以主题表的形式存放在数据仓库；其中， 业务数据为用户选择数据项对应的业务数据；
[0012] 步骤3,螺旋式动态构建数据仓库：根据步骤2中获得的业务数据可视化分析结 果，选择数据，构建个性主题表；从业务数据库选择字段构建个性维度表，并更新主题信息 表、维度信息表；
[0013] 步骤4,在线分析处理，用维度表及主题表构建业务分析模型，进行数据在线分析。
[0014] 进一步，所述数据仓库的元数据库包括业务数据的字段元表、表元表、主题信息表 和维度信息表，所述业务数据的字段元表、表元表、主题信息表和维度信息表用于实现数据 仓库数据与业务数据的同步，数据仓库的主题表字段、维度表字段通过业务数据的表元表 和字段元表访问到业务数据表中的数据，从而对数据进行相关操作；
[0015] 进一步，业务数据库由多个业务数据表构成，数据仓库通过业务数据库的字段元 表、表兀表和业务数据表的字段 映射。
[0016] 进一步，步骤2中所述业务数据的特征为业务数据的最值、中位数值或是与其他 数据项对应的数据的相关性。
[0017] 进一步，所述步骤3具体包括以下步骤：
[0018] 步骤3. 1，构建维度表，根据步骤1获得的维度信息表、业务数据表元表、业务数据 字段元表，确定维度表各项在业务数据数据库中的位置，从业务数据库提取相应数据构建 维度表；步骤3. 2,固定主题表的构建，根据主题信息表中已有的固定主题表字段信息，由 用户从业务数据库中指定字段项构建固定主题表，根据主题信息表字段提取业务数据创建 固定主题，其中固定主题在数据仓库中以固定主题表的形式存在；
[0019] 步骤3. 3,用户根据步骤2的业务数据可视化分析结果，根据业务数据分布进行选 择，确认选择数据后，更新主题信息表信息，根据业务数据字段元表、业务数据表元表定位 业务数据位置，提取数据，构建个性主题表。
[0020] 进一步，步骤3. 2中所述指定字段项为目标出口厚度、实测出口厚度、目标入口宽 度、实测出口宽度、钢卷号中的一项或多项。
[0021] 进一步，步骤3. 3中所述根据业务数据分布进行选择的数据包括正态分布、均匀 分布、数据重复率低、非空或与关键字段相关性强的数据。
[0022] 进一步，步骤4后还包括重复步骤2和步骤3添加个性维度表和个性主题表，螺旋 式扩展多主题数据仓库。
[0023] 本发明的工作原理是：从业务数据库中提取热连轧生产流程常用业务数据、分析 维度，并在多主题数据仓库中构建固定主题表和固定维度表；用户可以根据业务发展和自 身需求，通过企业仓库数据的可视化处理，选择具有分析价值的数据构建个性主题表，创建 个性维度表将数据在新的维度上进行上卷下钻，通过用户的探索操作实现多主题数据仓库 的动态创建。
[0024] 本发明的有益效果是：
[0025] 1.使用本发明，可以排除业务数据库中冗余的数据项，从大量数据项中提取具有 分析价值的数据项，为用户明确需求提供帮助；
[0026] 2.使用本发明可以实现对经验主题的动态创立，在业务数据提取的同时，根据经 验，提取热连轧生产流程中普遍关注的数据、维度构建固定主题表和固定维度表；
[0027] 3.使用本发明可以实现数据仓库的动态创立，根据用户对业务数据库数据的可视 化分析，自主提取具有分析价值的数据构建个性主题表以及个性维度表，并由多主题数据 仓库进行分析展示。
[0028] 4.使用本发明可以螺旋式完善数据仓库，用户根据业务发展以及需求变化，自主 选择数据进行展示，不断完善数据仓库内容，使仓库不断满足新阶段的要求。
[0029] 5.该方法同样适用于工业领域流程化生产类数据的数据仓库构建。
【专利附图】
【附图说明】
[0030] 图1本发明钢铁轧制流程的动态多主题数据仓库建立方法流程图。
[0031] 图2本发明钢铁轧制流程的动态多主题数据仓库业务数据库及可视化分析图。
[0032] 图3本发明钢铁轧制流程的动态多主题数据仓库主题定制的个性主题定制流程 图。
[0033] 图4本发明钢铁轧制流程的动态多主题数据仓库固定主题事实表构建。
[0034] 图5本发明钢铁轧制流程的动态多主题数据仓库个性主题事实表构建。
【具体实施方式】
[0035] 下面参考说明书附图描述根据本发明实施例的基于钢铁轧制流程的动态多主题 数据仓库的建立方法。
[0036] 本发明提供一种基于钢铁轧制流程的动态多主题数据仓库的建立方法，构建数据 仓库流程如图1所示，包括数据提取、数据可视化分析、动态构建多主体数据仓库等步骤， 完成从数据采集、数据入库、元数据库创建、数据仓库构建等。本例业务数据库存于oracle 数据库中，包含57456项数据项（数据项为轧制过程中产生的计算值、设定值和检测值）， 从业务数据库中提取业务数据（包括板坯基本信息、乳线数据、粗轧设定结果、粗轧修正结 果、精轧设定结果、精轧修正结果、板形数据、卷曲数据、层流冷却数据等），用户根据钢铁 轧制领域业务需求以及经验为已拥有的数据集（业务数据库）定制固有主题表时，选择相 应数据更新主题信息表，创建主题表时，根据主题信息表、业务数据字段元表、表元表定位 业务数据，提取数据构建主题表；当业务需求发生改变，用户可根据业务数据可视化分析， 观察业务数据的数据特征（最大值、最小值、中位数、与其他数据间相关性分析）自主选择 数据，并存入主题信息表，确认创建后根据主题信息表字段信息从业务数据库中提取数据 进行个性主题创建；从轧线数据中提取时间、班组、钢种等数据项，构建钢铁轧制领域普遍 使用的固定维度表，选择数据后将数据信息存入维度信息表，指定维度父-子关系，确认创 建后根据维度信息表从业务数据库提取对应数据构建维度表；当固定维度不能满足分析 需求时，用户可以从业务数据库中提取数据项并指定维度父-子关系构建个性维度表，并 更新维信息表；数据仓库将固定主题、个性主题在固定维度、个性维度进行分析挖掘，即将 固定主题、个性主题包含数据通过维度进行展示分析，例如各班组在一周内轧制钢卷的厚 度分布情况、某厂年产量等。上述主题表、字段元表、表元表、主题信息表统一存储于（如 Oracle)数据库中。
[0037] 主题的定制就是根据主题信息表建立主题表的过程。主题信息表是定制好的具有 多个固定主题（如：厚度主题、宽度主题、钢卷规格主题等）的归档主题集，每个主题包括若 干主题项，包含表名、列名以及主题名等相关数据。固定主题是通过已有的一些相关领域的 数据挖掘系统，继承他们已定制的归档好的比较完善的主题库（用户根据业务数据库不同 结构指定数据项与主题信息表字段对应），所有主题以数据表的形式存放于数据仓库中。个 性主题定制流程如下：用户选择业务数据库中的数据项，当用户选定一个数据表的数据项 时，进行数据的可视化分析（显示数据的最值、中位数值、与其他数据项的相关性分析），根 据实际需求选择是否使用该数据项；当用户选择数据并定制个性主题后，新主题项注册进 主题信息表，根据业务数据表的字段元表、业务数据表的表元表定位数据，从业务数据库中 提取数据构建相应主题事实表，即主题表；维度表的建立过程与主题表相同，维度相关数据 存入维度信息表中，根据相应业务数据表的字段元表、业务数据表的表元表进行定位，从业 务数据库中抽取相应数据构建维度的事实表，即维度表。
[0038] 基于上述方法，对钢铁轧制领域复杂数据集的数据可视化分析、构建主题、维度， 进而达到动态创建数据仓库的目的，其中具体方法流程如下：
[0039] 步骤1，业务数据提取：遍历业务数据库，同时生成业务数据的元数据更新业务数 据的字段兀表、业务数据表兀表。
[0040] 业务数据库由多个业务数据表构成，业务数据表如表1，在业务数据表的字段元表 (也称业务数据字段元表）、表元表（也称业务数据表元表）和业务数据表的字段之间通过 位置的一一映射方式，在操作数据时，通过业务数据字段元表、表元表映射字段的位置来操 作数据（提取数据构建主题表和维度表，可视化分析时对所选字段进行定位，显示该字段 的字段元表）。业务数据库的字段元表和表元表是定制主题的主要依据，是主题表字段、维 度表字段和业务数据表之间的主要联系，主题表字段、维度表字段通过业务数据表元表、字 段元表访问到业务数据表中的数据，从而对数据进行相关的语句操作。
[0041] 以业务数据库中表H)1_06_FMSC_DATA为例（业务数据表如表1所示），数据提取 时遍历业务数据表H)1_06_FMSC_DATA，提取表中数据，更新业务数据字段元表及表元表，如 表2、表3所不。
【权利要求】
1. 一种基于热连轧生产流程的动态多主题数据仓库建立方法，其特征在于，所述方法 包括以下步骤： 步骤1，业务数据提取：遍历业务数据库，同时提取业务数据的元数据构更新业务数据 的字段兀表和表兀表； 步骤2,业务数据可视化分析：对业务数据库中的业务数据进行可视化处理，展示业务 数据的数学特征，为构建主题提供基础，主题以主题表的形式存放在数据仓库；其中，业务 数据为用户选择数据项对应的业务数据； 步骤3,螺旋式动态构建数据仓库：根据步骤2中获得的业务数据可视化分析结果，选 择数据，构建个性主题表；从业务数据库选择字段构建个性维度表，并更新主题信息表、维 度信息表； 步骤4,在线分析处理，用维度表及主题表构建业务分析模型，进行数据在线分析。
2. 如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法，其 特征在于，所述数据仓库的元数据库包括业务数据的字段元表、表元表、主题信息表和维度 信息表，所述业务数据的字段元表、表元表、主题信息表和维度信息表用于实现数据仓库数 据与业务数据的同步，数据仓库的主题表字段、维度表字段通过业务数据的表元表和字段 元表访问到业务数据表中的数据，从而对数据进行相关操作。
3. 如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法，其 特征在于，业务数据库由多个业务数据表构成，数据仓库通过业务数据库的字段元表、表元 表和业务数据表的字段 映射。
4. 如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法，其 特征在于，步骤2中所述业务数据的特征为业务数据的最值、中位数值或是与其他数据项 对应的数据的相关性。
5. 如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法，其 特征在于，步骤3具体包括以下步骤： 步骤3. 1，构建维度表，根据步骤1获得的维度信息表、业务数据表元表、业务数据字段 元表，确定维度表各项在业务数据数据库中的位置，从业务数据库提取相应数据构建维度 表； 步骤3. 2,固定主题表的构建，根据主题信息表中已有的固定主题表字段信息，由用户 从业务数据库中指定字段项构建固定主题表，根据主题信息表字段提取业务数据创建固定 主题，其中固定主题在数据仓库中以固定主题表的形式存在； 步骤3. 3,用户根据步骤2的业务数据可视化分析结果，根据业务数据分布进行选择， 确认选择数据后，更新主题信息表信息，根据业务数据字段元表、业务数据表元表定位业务 数据位置，提取数据，构建个性主题表。
6. 如权利要求5所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法， 其特征在于，步骤3. 2中所述指定字段项为目标出口厚度、实测出口厚度、目标入口宽度、 实测出口宽度、钢卷号中的一项或多项。
7. 如权利要求5所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法，其 特征在于，步骤3. 3中所述根据业务数据分布进行选择的数据包括正态分布、均匀分布、数 据重复率低、非空或与关键字段相关性强的数据。
8.如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法，其 特征在于，步骤4后还包括重复步骤2和步骤3添加个性维度表和个性主题表，螺旋式扩展 多主题数据仓库。
【文档编号】G06F17/30GK104090960SQ201410332474
【公开日】2014年10月8日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】谢永红, 杜宏博, 张德政, 阿孜古丽·吾拉木, 谷晓轮, 赵利民 申请人:北京科技大学