基于数据仓库的易制毒化学品多维分析系统及实现方法与流程

本发明涉及一种基于数据仓库的易制毒化学品多维分析系统及实现方法，属于化学品监管技术领域。

背景技术：

易制毒化学品作为国家规定管制的可用于制造麻醉药品和精神药品的原料与配剂，既广泛应用于工农业生产和人民群众的日常生活，又可以在一定程度上成为不法分子制造毒品的材料。当前，易制毒化学品交易的信息量与数据量呈快速增长的态势，传统的操作型数据库所提供的数据分析功能在灵活性和观察角度方面具有局限性，已不能满足易制毒化学品交易中日益增长的数据分析需求。

当前，信息技术的潮流正沿着从在线事务处理向在线分析处理、从数据服务向信息与知识服务的方向发展。化学品监管领域亟需研究如何从大量的、类型复杂的易制毒化学品交易的数据中分析并获取有利于监管部门做出正确规划决策的信息。

技术实现要素：

针对现有技术中存在的问题，本发明提出一种基于数据仓库的易制毒化学品多维分析系统及实现方法，其能够对易制毒化学品的交易数据进行多维分析，从而为监管部门与用户企业提供有力的分析工具，方便其进行科学管理和决策制定。

为了实现上述目的，本发明提供如下技术方案：

一种基于数据仓库的易制毒化学品多维分析系统，其包括以下程序模块：

数据仓库模块，用于将易制毒化学品交易数据以多维数据立方体的形式组织存储；

数据控制模块，用于为用户提供多维分析操作，并将多维分析操作指令发送至数据模型模块；所述多维分析操作包括钻取、切片、切块和旋转；

数据模型模块，用于对易制毒化学品交易数据进行清洗整理，并将面向不同主题以及不同分析维度的交易数据通过不同的模型进行处理与度量，形成易制毒化学品监管多维分析模型；

数据视图模块，用于通过数据模型模块来响应数据控制模块的指令，对数据进行格式化处理，并以图形可视化的方式显示数据对比结果。

可选的，所述多维数据立方体的物理模型为雪暴模式，其物理模型包含时间维度、化学品维度、区域维度、机构维度、运输工具维度、库房维度共六个维度，以及购买事实、运输事实、入库事实、出库事实和库存事实共五个事实记录；其中：

所述时间维度具有五个聚合级别，从高到低分别为年、季、月、周、日；

所述化学品维度具有两个聚合级别，从高到低分别为化学品类别、化学品名称；

所述区域维度具有三个聚合级别，从高到低分别为省级、市级、县级；

所述机构维度具有四个聚合级别，从高到低分别为一级监管单位、二级监管单位、三级监管单位、涉及交易企业，该维度与区域维度关联；

所述运输工具维度具有两个聚合类别，从高到低分别为运输工具类型、运输工具名称，该维度与机构维度关联；

所述库房维度具有一个聚合级别，为库房标识，该维度与机构维度关联；

所述购买事实关联时间维度、化学品维度和机构维度，具有一个实际购买数量的度量指标；所述运输事实关联时间维度、化学品维度、机构维度、区域维度和运输工具维度，具有一个实际运输数量的度量指标；

所述入库事实关联时间维度、化学品维度、机构维度和库房维度，具有入库数量与损益数量两个度量的指标；

所述出库事实关联时间维度、化学品维度、机构维度和库房维度、具有一个出库数量的度量指标；

所述库存事实关联时间维度、化学品维度、机构维度和库房维度，具有一个当前库存数量的度量指标。

可选的，所述易制毒化学品监管多维分析模型包括基础数据层、操作数据层、响应数据层三个部分，其中：

基础数据层包含存储于数据仓库中的易制毒化学品监管分析数据源相关数据及其物理模型与元数据；

操作数据层包括多维分析逻辑模型定义、多维分析相关数据处理两部分；所述多维分析逻辑模型定义基于多维数据立方体模型，包括时间维度、化学品维度、区域维度、机构维度、库房维度五个逻辑维度及各维度级别的定义，以及购买事实、运输事实、入库事实、出库事实、库存事实五个事实及其度量指标的定义；所述多维分析相关数据处理基于多维分析逻辑模型定义，用于将所需数据从数据源中进行抽取和整合操作，从而以标准数据格式提交至响应数据层；

响应数据层用于接收数据控制模块的请求信息，并为请求信息匹配相应的多维分析逻辑模型及处理操作；还用于接收操作数据层返回的标准格式数据，并将其提交至数据视图模块，生成可视化图表。

本发明还提供一种上述系统的实现方法，其包括如下步骤：

步骤s200，分析原操作型易制毒化学品监督管理系统的业务流程及数据库结构，构建数据仓库模块，并通过etl工具将数据批量导入；

步骤s205，通过确定分析主题，构建包含多主题的易制毒化学品监管多维分析模型；

步骤s210，针对基于主题确定的易制毒化学品监管多维分析模型，通过维度及级别的分析，设计开发数据控制模块；

步骤s215，将数据控制集成至分析页面，设置触发条件，实现在同一页面上进行多维度、多层级的分析，为用户提供分析功能；最后将定义的集成页面发布，提供面向用户的易制毒化学品监管多维分析服务；

步骤s220，当用户在发布的分析页面通过数据控制模块提交交互式分析请求时，由数据控制模块获取用户的操作请求；

步骤s225，数据控制模块将用户操作请求提交至数据模型模块，数据模型模块对用户操作请求进行解析；

步骤s230，数据模型模块选择逻辑模型，并向数据仓库模块请求相应数据及元数据，生成具体的查询请求；

步骤s235，数据仓库模块响应数据查询请求，数据模型模块将查询获得的数据进行解析，并格式化为数据视图模块可解析的数据格式；

步骤s240，数据模型模块将格式化后的数据提交至数据视图模块，数据视图模块对数据进行可视化展现。

本发明还提供一种上述系统中易制毒化学品监管多维分析模型的实现方法，其包括以下步骤：

步骤s100，将从多个数据源获取的易制毒化学品监管分析数据进行数据清洗，筛除异常数据及测试数据，得到统一的易制毒化学品监管分析相关数据集；

步骤s105，将经过清洗的数据集按照设计的购买、运输、出库、入库、库存五个主题的数据立方体的组织结构进行相应的转换处理，并将转换后生成的维度数据、事实数据加载至数据仓库进行存储；

步骤s110，利用数据模型模块连接数据仓库，根据不同主题导入相应主题分析的相关维表与事实表的元数据信息；

步骤s115，通过数据模型模块，定义与各个物理数据结构相应的逻辑数据结构，逻辑数据结构保持物理数据结构原有的结构与关系，同时屏蔽不涉及分析的多余数据；

步骤s120，在逻辑维表的基础上，建立与逻辑维表相对应的逻辑维度及其层次级别，定义各个级别与逻辑数据结构间的映射关系；

步骤s125，在构建逻辑维表的基础上，定义各个主题涉及的逻辑维度层级上的度量规则；

步骤s130，定义返回至数据视图模块的数据结构，返回至数据视图模块的数据面向分析用户，以使数据视图模块以标准的交换数据格式对可视化内容进行展现。

从上面的叙述可以看出，本发明技术方案的有益效果在于：

1、本发明通过搭建与易制毒化学品监管业务相匹配的数据仓库，将分散的数据进行合并，并在经过清洗与处理的数据的基础上，将易制毒化学品交易历史数据进行统一、有效地组织存储，以便于从大量数据中获取知识；同时，为用户提供易制毒化学品交易数据的钻取、切片、切块、旋转等多维分析功能，并可对数据进行可视化展示。

2、本发明可以对已积累的大量易制毒化学品交易数据进行高效的存储组织与精准的知识提炼，本发明以数据仓库理论为研究基础，通过多维分析技术，能够为监管部门与用户企业提供从不同角度和层面分析、统计数据的在线工具，方便其更为科学地管理与制定决策。

3、本发明系统结构清晰，功能完备，易于实现，便于维护和扩展，为化学品监管技术领域提供了一种重要的实用工具。

附图说明

为了更加清楚地描述本专利，下面提供一幅或多幅附图。

图1为基于数据仓库的易制毒化学品多维分析系统的结构框图。

图2为以购买事实为主题的概念模型结构。

图3为以运输事实为主题的概念模型结构。

图4为以入库事实为主题的概念模型结构。

图5为以出库事实为主题的概念模型结构。

图6为以库存事实为主题的概念模型结构。

图7为易制毒化学品监管多维分析模型的逻辑模型结构。

图8为多维分析系统的实现方法流程图。

图9为易制毒化学品监管多维分析模型的实现方法流程图。

具体实施方式

为了便于本领域技术人员对本专利技术方案的理解，下面以具体案例的形式对本专利的技术方案做进一步的说明。

一种基于数据仓库的易制毒化学品多维分析系统，其包括以下程序模块：

数据仓库模块，用于将易制毒化学品交易数据以多维数据立方体的形式组织存储；

数据控制模块，用于为用户提供多维分析操作，并将多维分析操作指令发送至数据模型模块；所述多维分析操作包括钻取、切片、切块和旋转；

数据模型模块，用于对易制毒化学品交易数据进行清洗整理，并将面向不同主题以及不同分析维度的交易数据通过不同的模型进行处理与度量，形成易制毒化学品监管多维分析模型；

数据视图模块，用于通过数据模型模块来响应数据控制模块的指令，对数据进行格式化处理，并以图形可视化的方式显示数据对比结果。

可选的，所述多维数据立方体的物理模型为雪暴模式，其物理模型包含时间维度、化学品维度、区域维度、机构维度、运输工具维度、库房维度共六个维度，以及购买事实、运输事实、入库事实、出库事实和库存事实共五个事实记录；其中：

所述时间维度具有五个聚合级别，从高到低分别为年、季、月、周、日；

所述化学品维度具有两个聚合级别，从高到低分别为化学品类别、化学品名称；

所述区域维度具有三个聚合级别，从高到低分别为省级、市级、县级；

所述机构维度具有四个聚合级别，从高到低分别为一级监管单位、二级监管单位、三级监管单位、涉及交易企业，该维度与区域维度关联；

所述运输工具维度具有两个聚合类别，从高到低分别为运输工具类型、运输工具名称，该维度与机构维度关联；

所述库房维度具有一个聚合级别，为库房标识，该维度与机构维度关联；

所述购买事实关联时间维度、化学品维度和机构维度，具有一个实际购买数量的度量指标；所述运输事实关联时间维度、化学品维度、机构维度、区域维度和运输工具维度，具有一个实际运输数量的度量指标；

所述入库事实关联时间维度、化学品维度、机构维度和库房维度，具有入库数量与损益数量两个度量的指标；

所述出库事实关联时间维度、化学品维度、机构维度和库房维度、具有一个出库数量的度量指标；

所述库存事实关联时间维度、化学品维度、机构维度和库房维度，具有一个当前库存数量的度量指标。

可选的，所述易制毒化学品监管多维分析模型包括基础数据层、操作数据层、响应数据层三个部分，其中：

基础数据层包含存储于数据仓库中的易制毒化学品监管分析数据源相关数据及其物理模型与元数据；

操作数据层包括多维分析逻辑模型定义、多维分析相关数据处理两部分；所述多维分析逻辑模型定义基于多维数据立方体模型，包括时间维度、化学品维度、区域维度、机构维度、库房维度五个逻辑维度及各维度级别的定义，以及购买事实、运输事实、入库事实、出库事实、库存事实五个事实及其度量指标的定义；所述多维分析相关数据处理基于多维分析逻辑模型定义，用于将所需数据从数据源中进行抽取和整合操作，从而以标准数据格式提交至响应数据层；

响应数据层用于接收数据控制模块的请求信息，并为请求信息匹配相应的多维分析逻辑模型及处理操作；还用于接收操作数据层返回的标准格式数据，并将其提交至数据视图模块，生成可视化图表。

本发明还提供一种上述系统的实现方法，其包括如下步骤：

步骤s200，分析原操作型易制毒化学品监督管理系统的业务流程及数据库结构，构建数据仓库模块，并通过etl工具将数据批量导入；

步骤s205，通过确定分析主题，构建包含多主题的易制毒化学品监管多维分析模型；

步骤s210，针对基于主题确定的易制毒化学品监管多维分析模型，通过维度及级别的分析，设计开发数据控制模块；

步骤s215，将数据控制集成至分析页面，设置触发条件，实现在同一页面上进行多维度、多层级的分析，为用户提供分析功能；最后将定义的集成页面发布，提供面向用户的易制毒化学品监管多维分析服务；

步骤s220，当用户在发布的分析页面通过数据控制模块提交交互式分析请求时，由数据控制模块获取用户的操作请求；

步骤s225，数据控制模块将用户操作请求提交至数据模型模块，数据模型模块对用户操作请求进行解析；

步骤s230，数据模型模块选择逻辑模型，并向数据仓库模块请求相应数据及元数据，生成具体的查询请求；

步骤s235，数据仓库模块响应数据查询请求，数据模型模块将查询获得的数据进行解析，并格式化为数据视图模块可解析的数据格式；

步骤s240，数据模型模块将格式化后的数据提交至数据视图模块，数据视图模块对数据进行可视化展现。

本发明还提供一种上述系统中易制毒化学品监管多维分析模型的实现方法，其包括以下步骤：

步骤s100，将从多个数据源获取的易制毒化学品监管分析数据进行数据清洗，筛除异常数据及测试数据，得到统一的易制毒化学品监管分析相关数据集；

步骤s105，将经过清洗的数据集按照设计的购买、运输、出库、入库、库存五个主题的数据立方体的组织结构进行相应的转换处理，并将转换后生成的维度数据、事实数据加载至数据仓库进行存储；

步骤s110，利用数据模型模块连接数据仓库，根据不同主题导入相应主题分析的相关维表与事实表的元数据信息；

步骤s115，通过数据模型模块，定义与各个物理数据结构相应的逻辑数据结构，逻辑数据结构保持物理数据结构原有的结构与关系，同时屏蔽不涉及分析的多余数据；

步骤s120，在逻辑维表的基础上，建立与逻辑维表相对应的逻辑维度及其层次级别，定义各个级别与逻辑数据结构间的映射关系；

步骤s125，在构建逻辑维表的基础上，定义各个主题涉及的逻辑维度层级上的度量规则；

步骤s130，定义返回至数据视图模块的数据结构，返回至数据视图模块的数据面向分析用户，以使数据视图模块以标准的交换数据格式对可视化内容进行展现。

具体来说，如图1所示，一种基于数据仓库的易制毒化学品多维分析系统，其包括数据仓库模块100、数据模型模块200、数据控制模块300和数据试图模块400，其中：

数据仓库模块100基于oracle数据库平台，以面向主题的方式组织整合经过清洗的易制毒化学品交易数据，数据以多维数据立方体的形式组织存储，为多维分析提供高效、稳定的数据支持；

数据模型模块200响应数据控制模块300的请求，从数据仓库模块100获取所需数据，通过易制毒化学品监管多维分析模型对数据进行格式化处理，并将其封装为标准结构化数据(可采用json)，随后将具有标准格式的数据反馈至数据视图模块400；

数据控制模块300给予用户主题的选择、对以多维数据立方体形式的存储的数据进行钻取、切片、切块、旋转等操作，并将用户的选择与操作提交至数据模型模块200；

数据视图模块400通过对数据模型模块200反馈的标准格式数据的解析，为用户提供丰富的数据展现方式，包括表格、折线图、柱状图、饼状图等，使数据从多个角度、多个层级得以展现。

多维数据立方体的物理模型结构按照包括五个事实主题的雪暴模型进行组织实现。以购买事实为主题的概念模型结构如图2所示；以运输事实为主题的概念模型结构如图3所示；以入库事实为主题的概念模型结构如图4所示；以出库事实为主题的概念模型结构如图5所示；以库存事实为主题的概念模型如图6所示。概念模型结构涉及时间维度101、化学品维度102、区域维度103、机构维度104、运输工具维度105、库房维度106、购买事实107、运输事实108、入库事实109、出库事实110、库存事实111，其中：

时间维度101具有五个聚合级别，从高到低分别为年、季、月、周、日；

化学品维度102具有两个聚合级别，从高到低分别为某类化学品、化学品；

区域维度103具有三个聚合级别，从高到低分别为省级、市级、县级；

机构维度104具有四个聚合级别，从高到低分别为一级监管单位、二级监管单位、三级监管单位、涉及交易企业，与区域维度关联；

运输工具维度105具有两个聚合类别，从高到低分别为运输工具类型、运输工具，与机构维度关联；

库房维度106具有一个聚合级别，为库房，与机构维度关联；

购买事实107关联时间维度、化学品维度、机构维度，具有一个实际购买数量的度量指标；

运输事实108关联时间维度、化学品维度、机构维度、区域维度、运输工具维度，具有一个实际运输数量的度量指标；

入库事实109关联时间维度、化学品维度、机构维度、库房维度，具有入库数量与损益数量两个度量的指标；

出库事实110关联时间维度、化学品维度、机构维度、库房维度，具有一个出库数量的度量指标；

库存事实111关联时间维度、化学品维度、机构维度、库房维度，具有一个当前库存数量的度量指标。

易制毒化学品监管多维分析模型的总体逻辑模型结构如图7所示。物理模型作为逻辑模型的具体实现，包括时间维表dim_date121、化学品维表dim_chemical122、区域维表dim_area123、机构维表dim_org124、运输工具维表dim_vehicle125库房维表dim_depot126、购买事实表fact_buy127、运输事实表fact_tra128、入库事实表fact_in129、出库事实表fact_out130、库存事实表fact_stock131，其中：

时间维表dim_date121数据仓库表结构为：

化学品维表dim_chemical122数据仓库表结构为：

区域维表dim_area123数据仓库表结构为

机构维表dim_org124数据仓库表结构为：

运输工具维表dim_vehicle125数据仓库表结构为：

库房维表dim_depot126数据仓库表结构为：

购买事实表fact_buy127数据仓库表结构为：

运输事实表fact_tra128数据仓库表结构为：

入库事实表fact_in129数据仓库表结构为：

出库事实表fact_out130数据仓库结构为：

库存事实表fact_stock131数据仓库结构为：

上述多维分析系统的实现方法包括以下步骤(如图8所示)：

步骤s200，分析原操作型易制毒化学品监督管理业务流程及数据库结构，构建符合实际、高效可行的数据仓库模块100，并通过etl(extract-transform-load，一种数据仓库技术，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程)工具将数据批量导入；

步骤s205，通过确定分析主题，构建包含多主题的易制毒化学品监管多维分析模型；

步骤s210，基于主题确定的易制毒化学品监管多维分析模型，通过维度及其级别的分析，设计开发数据控制模块300；

步骤s215，开发者将数据控制集成至分析页面，设置触发条件，通过网页异步更新技术，实现在同一页面上进行多维度、多层级的分析，为用户提供全面、灵活的分析功能；最后将定义的集成页面发布，提供面向用户的易制毒化学品监管多维分析服务；

步骤s220，用户在发布的分析页面通过数据控制模块300提交交互式分析请求，数据控制模块300获取用户操作请求；

步骤s225，数据控制模块300将用户操作请求提交至数据模型模块200，数据模型模块200对用户操作请求进行解析；

步骤s230，数据模型模块200选择合适的逻辑模型，并向数据仓库模块100请求相应数据及元数据，生成具体的查询请求；

步骤s235，数据仓库模块100响应数据查询请求，数据模型模块200将查询获得的数据进行解析，并格式化为数据视图模块400可解析的数据格式；

步骤s240，数据模型模块200将格式化后的数据提交至数据视图400模块，数据视图模块400对数据进行可视化展现。

如图9所示，上述易制毒化学品监管多维分析模型的构建步骤如下：

步骤s100，将从数据源获取的易制毒化学品监管分析数据进行数据清洗，筛除异常数据及测试数据，得到统一的、高质量的易制毒化学品监管分析相关数据集；

步骤s105，将经过清洗的数据集按照设计的购买、运输、出库、入库、库存五个主题的数据立方体的组织结构进行相应的转换处理，并将转换后生成的维度数据、事实数据加载至数据仓库进行存储；

步骤s110，利用数据模型模块200，连接数据仓库，根据不同主题导入相应主题分析的相关维表与事实表的元数据信息；

步骤s115，通过数据模型模块200，定义与各个物理数据结构相应的逻辑数据结构，逻辑数据结构保持物理数据结构原有的结构与关系，但需要屏蔽一些不涉及分析的多余数据；

步骤s120，在逻辑维表的基础上，建立与逻辑维表相对应的逻辑维度及其层次级别，定义各个级别与逻辑数据结构间的映射关系；

步骤s125，在构建逻辑维表的基础上，定义各个主题涉及的逻辑维度层级上的度量规则；

步骤s130，定义返回至数据视图模块400的数据的格式化结构(可采用json)，返回至数据视图模块400的数据面向分析用户，通过转换为某标准交换数据格式，减少数据占用的物理空间及网络资源，提高效率，最终的数据视图模块400基于标准的交换数据格式对可视化内容进行展现。

总之，本发明通过建立基于易制毒化学品监管业务的数据仓库，实现了面向购买、运输、入库、出库、库存五个主题数据的统一、高效的组织存储方式，保证了数据的质量及分析的高效性。

本发明可为用户提供钻取、切片、切块、旋转等基本的基于数据仓库的灵活多变且高度可自定义的多维分析功能，方便用户做出决策。

此外，本发明还为用户提供了多层次、多角度的数据可视化功能，数据可通过表格、折线图、柱状图、饼状图等多种方式为用户展现，使数据展现更加直观。

需要指出的是，以上具体实施方式只是本专利实现方案的具体个例，没有也不可能覆盖本专利的所有实现方式，因此不能视作对本专利保护范围的限定；凡是与以上案例属于相同构思的实现方案，或是上述若干方案的组合方案，均在本专利的保护范围之内。