专利名称：基于联机分析的第三方物流数据处理方法
技术领域：
本发明涉及一种基于联机分析的第三方物流数据处理方法。
背景技术：
物流管理在今日的企业营运中越来越受到重视，原因在于它不但是低成本策略的根源之一，而且是企业在讲求“弹性”、“速度”、等条件时重要的策略工具之一。而第三方物流作为货主和客户的中间人，面对众多的货主和客户之间复杂的交叉关系，注定需要处理烦杂的出入货数据。而传统的电子商务管理平台只能操作一般的出入货数据事务处理，无法进行有效的决策分析。
在线联机分析处理(OLAP)是针对特定问题的联机分析和数据访问。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理人员对数据进行深入的观察。OLAP的目标是满足决策支持和特定多维环境特定的查询和报表的需求，它的核心技术是“维”这个概念，因此OLAP可以说是多维分析工具的集合。维是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维，如时间维和地理维。用户可以通过OLAP中的上卷、下钻、钻入、切片操作对物流数据进行多方面直观的观察。
发明内容为了克服已有第三方物流的管理方法的操作复杂、难以直观的观察海量货物存储及出入仓库的数据，从而难以做出相应的判断决策的不足，本发明提供一种操作简单，将在线分析(OLAP)技术应用于第三方物流系统，从而使得决策人员能够通过多维度的观查角度来更直观地观察数据的基于联机分析的第三方物流数据处理方法。
本发明解决其技术问题所采用的技术方案是一种基于联机分析的第三方物流数据处理方法，所述的方法主要包括以下步骤(1)、以第三方物流公司高级决策人员为联机分析处理的用户，确定需要分析的物流数据，包括出货数据、收货数据、配送数据，确定的维度时间维、货品维、仓库维，观察的度量值次数、总重量、总体积、总重量；时间维又分层次年、季、月、日；货品维又分货品类型、货品名称；仓库维又分仓库名、库区、库位；并确定各个数据在物流管理平台数据库中所存放的数据表格；(2)、在服务器端的XML文件中，将所述的维度、度量值和涉及到的表格等信息通过确定格式定义；(3)、系统通过XML文件中的定义，从物流管理平台数据库中取出数据，放入数据仓库子系统中，将从传统关系数据库中取出的数据，进行过虑、筛选后以多维立方体的形式存储所述的仓库子系统；(4)、当用户需要通过维度的概念观察数据时，用户通过浏览器观察数据，并且通过点击界面中的树形数据表格，进行上卷、下钻、钻入、切片操作；(5)、系统通过过虑器SERVLET接受用户操作后提交的HTTP表单，对接受的表单数据进行过虑与判断，对应到各相应的操作，从而触发相关的侦听器类，进行具体操作；(6)、系统根据表单数据，得知用户的操作，并且，生成数据仓库子系统能够识别的多维查询语言MDX，将生成的MDX语言提交给OLAP数据仓库子系统操作接口；(7)、数据仓库子系统从接口处接收到MDX查询语言，进行相应的数据读取操作；(8)、数据仓库子系统将数据返回给系统，系统将以组件(WEBCOMPONENT)的形式将数据表示出来，并数据发送给客户；(9)、客户通过浏览器接受数据，并对数据进行多维形式的观察和操作。
进一步，在所述的(3)中，第三方物流管理平台中的OLAP子系统通过JAVA语言编写。
再进一步，所述的系统采用B/S结构。即Browser/Server(浏览器/服务器)结构，是随着Internet技术的兴起，对C/S结构的一种变化或者改进的结构。在这种结构下，用户界面完全通过WWW浏览器实现，一部分事务逻辑在前端实现，但是主要事务逻辑在服务器端实现。从而能够使得用户通过系统自带的浏览器多人次同时观测数据。
更进一步，所述的(7)中，数据读取操作的具体步骤为(7.1)、数据仓库子系统对所需读取得数据进行判断；(7.2)、如果内存中已经缓存了该数据，则数据仓库子系统直接将数据的指针返回给系统；(7.3)、如果内存中没有，则数据仓库子系统将数据从硬盘中取得，放入内存中缓存；(7.4)、返回该数据的指针，并且剔除内存中没访问的老数据。
所述的(8)中，系统处理数据方法的具体步骤为(8.1)、数据以某个特定组件(WEBCOMPONENT)所定义的格式载入，并以XML协议的形式来存储数据；(8.2)、系统通过用户预先在XLST文件中定义的转换格式，将XML形式存储的数据转换为特定协议形式的数据表示方法；(8.3)、系统将已经转换为用户可以理解的协议格式的数据发送给客户。
本发明的工作原理是联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理(OLTP)明显区分开来。
OLAP工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。例如，一个企业在考虑产品的销售情况时，通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的多维数组则是OLAP分析的基础，可形式化表示为(维1，维2，……，维n，度量指标)，如(地区、时间、产品、销售额)。多维分析是指对以多维形式组织起来的数据采取切片(Slice)、切块(Dice)、钻取(Drill-down和Roll-up)、旋转(Pivot)等各种分析动作，以求剖析数据，使用户能从多个角度、多侧面地观察数据库中的数据，从而深入理解包含在数据中的信息。
应用联机分析处理与传统的联机事务处理区别在于联机分析处理主要通过多维的方式来对数据进行分析，查询和生成报表。而传统的电子商务管理平台使用的联机事务处理应用，主要是用来完成用户的事务处理。如民航订票系统，银行储蓄系统等，通常要进行大量的更新操作，同时对响应时间要求比较高。而联机分析系统应用主要是对用户当前及历史数据进行分析，辅助领导决策。其典型的应用有对银行信用卡风险的分析与预测，公司市场营销策略的制定等。主要是进行大量的查询操作，对时间的要求不太严格。
本发明将OLAP技术应用于第三方物流管理系统中，从而使得第三方物流公司的决策层人员能够针对出货、入货、配送等特定问题，以多维方式进行分析、查询、和报表。能够从更直观的特定角度观察数据，从高层次观测数据规律，从而更好的决策。并且系统采用B/S结构，使得只需系统自带的浏览器便可多人次同时观测数据。系统用JAVA语言编写的数据仓库，相对于传统的SQLSERVER自带的OLAP系统，能够运行于所有带JRE虚拟机的系统，从而提高了移植性。
本发明的有益效果主要表现在1、操作简单，将在线分析(OLAP)技术应用于第三方物流系统，从而使得决策人员能够通过多维度的观查角度来更直观地观察数据；2、采用B/S的系统结构使得用户只需通过浏览器便可在客户端多人同步观察；3、用JAVA编写的OLAP联机分析系统又同时具备了跨平台的特点，可运行于各类安装了JRE虚拟机的系统，从而解决了使用SQLSERVER2000中的多维分析工具只能运行于WINDOWS操作系统的局限性。
图1是在线分析系统的初始化流程图。
图2是在线分析系统的用户操作交互过程的流程图。
图3是在线分析系统的构架图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1、图2、图3，一种基于联机分析的第三方物流数据处理方法，所述的方法主要包括以下步骤(1)、第三方物流公司高级决策人员作为OLAP的用户，首先确定需要分析的物流数据，包括出货数据、收货数据、配送数据，然后确定通过哪些维度来观察需要的数据。并且确定维度的各层次、观察的度量值、数据在物流管理平台数据库中涉及到的表格。比如针对出货数据来说确定的维度有时间维、货品维、仓库维，观察的度量值出货次数、出货总重量、出货总体积、出货总重量；时间维又分层次年、季、月、日；货品维又分货品类型、货品名称；仓库维又分仓库名、库区、库位；对于收货数据、配送数据也采用类似的维度。
(2)、将根据需求设计好的维度、度量值、涉及到的表等信息，通过确定格式在服务器端的XML文件中定义。
(3)、系统通过XML文件中的定义，从物流管理平台数据库中取出数据，放入数据仓库子系统中。数据仓库子系统是按照用户的需求，将从传统关系数据库中取出的数据，进行过虑、筛选后以多维立方体的形式存储于数据仓库子系统中。数据仓库子系统中的海量数据存储于硬盘中，并且对大量频繁读取的数据以缓存的形式存储于内存中。数据仓库子系统以多维度立方体的形式存储数据，这样可以更方便的以维度的形式定位和读取数据。比如，在数据仓库子系统中用户可以通过MDX语言方便快捷的读取到地址维是杭州，时间维是2002年的数据，而不用通过SQL语言的GROUP关键字对关系数据库中的数据再次进行分组后读取。本系统中的数据仓库子系统通过JAVA语言编写，可以运行于任何装有JAVA虚拟机的系统，具有跨平台的特点。
(4)、当用户需要通过维度的概念观察数据时，用户通过浏览器观察数据，并且通过点击界面中的树形数据表格，进行上卷、下钻、钻入、切片操作。
(5)、系统通过过虑器SERVLET接受用户操作后提交的HTTP表单，对接受的表单数据进行过虑与判断，对应到各相应的操作，从而触发相关的侦听器类，进行具体操作。
(6)、系统根据表单数据，得知用户的操作，并且，生成数据仓库子系统能够识别的多维查询语言MDX。系统将生成的MDX语言提交给OLAP数据仓库子系统操作接口。如同通过SQL语言对SQLSERVER数据库进行操作。
(7)、数据仓库子系统从接口处接收到MDX查询语言，进行相应的数据读取操作。具体步骤为(7.1)、数据仓库子系统对所需读取得数据进行判断；(7.2)、如果内存中已经缓存了该数据，则数据仓库子系统直接将数据的指针返回给系统；(7.3)、如果内存中没有，则数据仓库子系统将数据从硬盘中取得，放入内存中缓存；(7.4)、返回该数据的指针，并且剔除内存中没访问的老数据。
(8)、数据仓库子系统将数据返回给系统，系统将以组件(WEBCOMPONENT)的形式将数据表示出来，并将数据发送给客户。具体的步骤为(8.1)、数据以某个特定组件所定义的格式载入，并以XML协议的形式来存储数据；(8.2)、系统通过用户预先在XLST文件中定义的转换格式，将XML形式存储的数据转换为特定协议形式的数据表示方法；(8.3)、系统将已经转换为用户可以理解的协议格式的数据发送给客户。
(9)、客户通过浏览器接受数据，并对数据进行多维形式的观察和操作。
参照图1，针对于对出货表的分析，系统的流程如下初始化阶段在服务器端新建CHUHUO.XML文件，文件中定义在关系数据库中对应的事实表wms_rels_task_item_t，维度时间维、货品维、仓库维。度量值出货次数、出货总重量、出货总体积、出货总重量。时间维又分层次年、季、月、日。货品维又分货品类型、货品名称。仓库维又分仓库名、库区、库位。然后启动WEB服务器，当用户第一次浏览OLAP子系统时，系统根据CHUHUO.XML文件定义，将SQLSERVER2000中wms_rels_task_item_t关系表中的数据取出，并且按照时间、仓库、货品三个维度存放于数据仓库中。
参照图2、图3，用户交互阶段的流程第一步、用户点击浏览器中的树状表格，确定数据的维度，比如1998年所有货品富日物流拥军库中的数据，参照表1
表1第二步、浏览器生成表单，发送回WEB服务器。
第三步、服务器端触发相应操作，如取1998年所有货品富日物流拥军库中的数据、展开时间维度到季度层次。并调用OLAP子系统接口进行操作。
第四步、如果是取数据操作，OLAP子系统接受浏览器传入的表单，并将其翻译为MDX语言。
第五步、OLAP子系统将生成的MDX语言传入数据仓库接口，调用其取出数据。
第六步、数据仓库以维度形式定位多维立体数据立方体中的几何数据集合，取出放入缓存。
第七步、数据仓库将用户需要的数据从缓存中返回OLAP子系统。
第八步、OLAP子系统接受到数据，并根据WEB组件的表现形式(如树状表格或图表)以不同格式的XML形式存储于OLAP子系统中。
第九步、根据用户预定义的XLST文件，将XML形式的数据转换为浏览器能够识别的HTML格式。
第十步、WEB服务器返回表单。
第十一步、客户端浏览器显示数据。
在线分析系统的结构，参照表2
表2参照图3，系统构架作为B/S结构的第三方物流管理平台的OLAP子系统，系统分为客户端和服务端。客户端是浏览器，以HTTP协议接受HTML格式的数据，然后在浏览器中表示。服务器端是第三方物流管理平台。参照表2，OLAP系统作为第三方物流管理平台的子系统，又分为四个模块数据源、数据仓库、业务处理、数据表示。
数据源指第三方物流管理平台的SQLSERVER2000数据库，记录了日常物流活动中的数据记录。如出入货品记录、客户记录、货主记录等。是数据仓库的数据来源。
数据仓库一个JAVA编写的平台通用的数据仓库，根据决策层人员预定义的决策需求将数据源中的数据按照需求取出，以多维度立方体形式存储于外存。并且以缓存的形式将比较频繁读取的数据存储于内存。
业务处理根据客户端发来的表单触发相应的操作，并且进行用户的指令，进行上卷、下钻、钻入、切片等操作。如果是从数据仓库取数据的操作，首先根据客户端发来的表单，生成数据仓库能够理解的MDX语句，然后将MDX语句发送给数据仓库接口，进行取数据操作。最后接收数据仓库发过来的多维数据，根据不同WEBCOMPONENT组件的表现形式，将数据以不同格式的XML形式存储于内存中。
数据表示采用XLST技术，即数据表示与数据的业务处理分开的思想。用户在服务器中以XLST文件形式预先定义数据在客户端的表示形式。然后OLAP系统在业务处理进行完成后，根据XLST文件的定义，生成特定WEBCOMPONENT的XLST转换器，利用转换器，将存储在XML形式中的数据转换为客户端能够接受的形式，如HTML格式。
权利要求
1.一种基于联机分析的第三方物流数据处理方法，所述的方法主要包括以下步骤(1)、以第三方物流公司高级决策人员为联机分析处理的用户，确定需要分析的物流数据，包括出货数据、收货数据、配送数据，确定的维度时间维、货品维、仓库维，观察的度量值次数、总重量、总体积、总重量；时间维又分层次年、季、月、日；货品维又分货品类型、货品名称；仓库维又分仓库名、库区、库位；并确定各个数据在物流管理平台数据库中所存放的数据表格；(2)、在服务器端的XML文件中，将所述的维度、度量值和涉及到的表格等信息通过确定格式定义；(3)、系统通过XML文件中的定义，从物流管理平台数据库中取出数据，放入数据仓库子系统中，将从传统关系数据库中取出的数据，进行过虑、筛选后以多维立方体的形式存储所述的仓库子系统；(4)、当用户需要通过维度的概念观察数据时，用户通过浏览器观察数据，并且通过点击界面中的树形数据表格，进行上卷、下钻、钻入、切片操作；(5)、系统通过过虑器SERVLET接受用户操作后提交的HTTP表单，对接受的表单数据进行过虑与判断，对应到各相应的操作，从而触发相关的侦听器类，进行具体操作；(6)、系统根据表单数据，得知用户的操作，并且，生成数据仓库子系统能够识别的多维查询语言MDX，将生成的MDX语言提交给OLAP数据仓库子系统操作接口；(7)、数据仓库子系统从接口处接收到MDX查询语言，进行相应的数据读取操作；(8)、数据仓库子系统将数据返回给系统，系统将以组件WEBCOMPONENT的形式将数据表示出来，并数据发送给客户；(9)、客户通过浏览器接受数据，并对数据进行多维形式的观察和操作。
2.如权利要求1所述的基于联机分析的第三方物流数据处理方法，其特征在于在所述的(3)中，第三方物流系统中的联机分析处理OLAP子系统通过JAVA语言编写。
3.如权利要求1所述的基于联机分析的第三方物流管理方法，其特征在于所述的系统采用Browser浏览器/Server服务器结构，用户通过系统自带的浏览器多人次同时观测数据。
4.如权利要求1-3之一所述的基于联机分析的第三方物流数据处理方法，其特征在于所述的(7)中，数据读取操作的具体步骤为(7.1)、数据仓库子系统对所需读取得数据进行判断；(7.2)、如果内存中已经缓存了该数据，则数据仓库子系统直接将数据的指针返回给系统；(7.3)、如果内存中没有，则数据仓库子系统将数据从硬盘中取得，放入内存中缓存；(7.4)、返回该数据的指针，并且剔除内存中没访问的老数据。
5.如权利要求1-3之一所述的基于联机分析的第三方物流数据处理方法，其特征在于所述的(8)中，系统处理数据方法的具体步骤为(8.1)、数据以某个特定组件所定义的格式载入，并以XML协议的形式来存储数据；(8.2)、系统通过用户预先在XLST文件中定义的转换格式，将XML形式存储的数据转换为特定协议形式的数据表示方法；(8.3)、系统将已经转换为用户可以理解的协议格式的数据发送给客户。
全文摘要
一种基于联机分析的第三方物流数据处理方法，将在线联机分析处理(OLAP)技术应用于第三方物流管理系统中，从而使得第三方物流公司的决策层人员能够针对出货、入货、配送等特定问题，以多维方式进行分析、查询和报表。能够从更直观的特定角度观察数据，从高层次观测数据规律，从而更好的决策。本发明相对于现有的联机事务处理方法，具有操作简单，将在线联机分析(OLAP)技术应用于第三方物流系统，从而使得决策人员能够通过多维度的观查角度来更直观地观察数据的优点。
文档编号G06F17/30GK1790397SQ20051006230
公开日2006年6月21日 申请日期2005年12月28日 优先权日2005年12月28日
发明者赵燕伟, 关斌, 杨丰玉, 吴斌, 朱磊 申请人:浙江工业大学