专利名称：供应链网络商业实证数据组织方法及系统的制作方法
技术领域：
本发明涉及一种组织供应链网络商业实证数据的方法及其数据处理系统，特别涉 及一种通过商户敏感信息隐藏技术获取和组织供应链网络商业实证数据，以及实现该方法 的数据处理计算机软硬件系统，可广泛应用于供应链管理教学软件、供应链优化软件及系 统，对供应链网络数理建模、商业智能系统的应用具有良好的经济效益及市场前景，属于商 业数据处理技术领域。
背景技术：
供应链网络是社会化大生产的产物，供应链管理是适应现代制造业、商业模式提 出的理论。所谓供应链，是指产品生产和流通过程所涉及的原材料供应商、生产商、批发商、 零售商以及最终消费者组成的供需网络。即由物料获取、物料加工，并将成品送到用户手中 这一过程所涉及的企业和企业部门组成的一个网络。近年来，我国供应链管理的理论和实践都取得了广泛而实质性的成果，供应链管 理的理论和方法对我国产业发展的贡献也越来越显著地体现出来。供应链管理已经从最初 学者的定性科学理论研究探讨，发展成为有利于企业日常经营、为企业降本增效的定量优
化工具。目前，世界上多家大型软件企业开发了供应链优化软件系统，如IBM的ILOG软件 系统，先进生产排程(APS)软件系统等。这些软件系统都以一定的供应链网络数理模型为 基础，对企业的资源、生产计划要求、约束条件等进行求解，以实现仓储设置、物流调度、生 产排程等实际业务逻辑，达到为企业降本增效的目的，产生了很好的经济效益和社会效应。一般情况下，供应链网络数理模型大多建立在一定的实证数据的基础之上，国外 的应链网络商业实证数据并不一定适应国内的企业现状和需求。因此，获取应链网络商业 实证数据是正确、合理建立供应链网络数理模型的必要前提条件。另一方面，供应链管理教学软件系统，真实的供应链管理案例往往具有更好的教 学效果，因此也需要采集和整理真实的应链网络商业实证数据。通常，就某个供应链优化客户企业来说，其自身内部的商业数据比较容易获得，而 企业之间的应链网络商业实证数据却很难获得；而对于供应链优化服务供应商来说，即使 掌握了应链网络商业实证数据，也不便于公开和传播。问题的关键在于供应链网络包含大 量的资金流、信息流、物流等商业数据，而每种数据又有各自大量的细化关联，这些数据很 多都涉及供应链网络中节点企业的内部商业信息，属于不同程度上的商业机密，而且每个 节点企业的源数据又没有标准格式，给数据的采集和组织造成很大的困难，尤其是动态的 历史数据采集更加困难。目前，应链网络商业实证数据的采集有以下三种方法(1)问卷调查方法通过设计纸质、电子的问卷，就某个经济领域或经济问题，对相关企业进行问卷调 查，以此收集商业数据信息。优点是数据有效性高，缺点是实效性低、准确性差；
(2)电子商务网站公开数据通过网络搜索引擎对B2B、B2C等电子网站进行网页“爬取”，然后通过整理异构数 据生成实证数据库。优点是数据实效性高，缺点是数据有效性低，对于一定的数理模型，需 要对原始数据进行整理和筛选；(3)购买商业化的案例数据库如CEIC企业资料数据库、CEIC经济数据库、CEIC行业数据库、Chndb中国商业数 据库等。优点是数据经过整理，有效性高、实效性好，缺点是价格昂贵，一般企业应用无法承 受。供应链网络商业实证数据的公开和传播也存在着难题，近年来随着我国对知识产 权、个人信息、商业机密保护的不断深入，相关的立法速度加快，相关执法的力度也大大增 强。例如2008年10月，国家税务总局印发了《纳税人涉税保密信息管理暂行办法》，其中 第三条明确规定对于纳税人的涉税保密信息，税务机关和税务人员应依法为其保密。除下 列情形外，不得向外部门、社会公众或个人提供(一 )按照法律、法规的规定应予公布的信息；( 二)法定第三方依法查询的信息；(三)纳税人自身查询的信息；(四)经纳税人同意公开的信息。因此一方面是国家、社会对商业信息的保密意识越来越强、法律越来越规范，另一 方面是供应链管理、优化对应链网络商业实证数据的大量需求。如何解决两者的矛盾，为我 国的社会化大生产优化供应链、创造更大的经济和社会价值？为此，本发明提供一种通过商户敏感信息隐藏技术获取和组织应链网络商业实证 数据，以及实现该方法的数据处理计算机软硬件系统，具有时效性高、有效性好、准确性高、 价格便宜的优点。该方法和系统，可广泛应用于供应链管理教学软件、供应链优化软件，对 供应链网络数理建模、商业智能系统的应用具有良好的经济效益及市场前景。
发明内容
本发明的首要目的在于提供一种通过商户敏感信息隐藏技术实现供应链网络企 业间商业实证数据获取和组织方法，使得既保证了商业信息不泄密，又能有效合理组织应 链网络商业实证数据。本发明的目的还在于提供一套实现该方法的信息处理软硬件计算机系统。为了解决上述技术问题，本发明是通过以下技术方案实现的本发明提供了一种应链网络商业实证数据组织方法，包括如下步骤获取供应链网络商业实证数据源经过供应链网络数据字典的识别和匹配，抽取有 效商业实证数据，主要包括商户名称、货物名称、交易资金、物流信息等；由于不同的供应链网络商业实证数据源的数据结构不同，需要进行异构数据迁 移，将有效商业实证数据整理成链表结构的资金流和物流数据结构；生成结构化的商业实证数据库；统计商业实证数据库中所有商户名称及货物名称，并按照某种规则给每一项分配 一个唯一编码，以此编码为一个节点，要求编码必须和原先信息不相关；行规一化处理，要求仅标示节点的权重，而无法复原原 始量化信息；生成商业数据库；以上步骤即为本发明提出的所谓商户敏感信息隐藏技术，该部分工作在法律允许 范围内，在数据源单位完成；经过上述处理，输出的是以节点编码为商业信息实体，以规一化权重为数量信息 的链表结构的资金流、物流数据库，可以看出已经隐藏了商户的所有商业信息，并且任何企 图从中复原原始信息的可能性都是不存在的，因此此类商业数据可以合法公布和传播；商业数据以关系型数据库方式组织存储，以记录序号为主键，同时每条记录都存 储指向前、后级关联项的序号，以此既可以利用现有商业关系型数据库组织数据，又可以方 便恢复链表结构；在应用这些商业数据时，分配行业角色信息，如供应商A、生产商A、分销商A等标 示链表中的节点，以量化的数据还原节点之间的权重，以实现更好的可读性和可理解性；也可以直接发布这些商业数据，供第三方供应链优化软件或供应链管理教学软件 使用。本发明中所涉及的商业数据仅是按照我国相关法律规定可以合法获取和对外公 布的数据，或者经过敏感信息隐藏技术处理之后可以合法对外公布的数据。本发明还提供了一种供应链网络实证数据组织的系统，该系统包括网页搜索引擎机群、电子商务商户数据接口服务器、财税数据接口服务器、异构数 据迁移服务器、商业实证数据库服务器、商户敏感信息隐藏服务器、商业数据库服务器，以 及应用服务器。其中网页搜索引擎机群、电子商务商户数据接口服务器、财税数据接口服务器为 供应链网络商业实证数据源支撑系统；异构数据迁移服务器用于存储获取的实证数据，结合供应链网络数据字典的识别 和匹配，抽取有效商业实证数据，并进行异构数据迁移，将有效商业实证数据整理成链表结 构的资金流和物流数据结构，最后生成结构化的商业实证数据库；商业实证数据库服务器用于存储结构化商业实证数据库；商户敏感信息隐藏服务器用于给商户名称及货物名称进行节点唯一编码，并对相 应的资金流和物流进行权重规一化处理；商业数据库服务器用于以关系型数据库方式组织存储的商业数据的链表结构；应用服务器用于分配行业角色信息、发布商业数据库。其中电子商务商户数据接口服务器、财税数据接口服务器、异构数据迁移服务器、 商业实证数据库服务器、商户敏感信息隐藏服务器属于所谓商户敏感信息隐藏技术支撑系 统，安装在数据源单位，并由数据源单位依法管理。本发明所提供的通过商户敏感信息隐藏技术实现供应链网络企业间商业实证数 据获取和组织方法，不仅仅适用于商业信息的获取和组织，还适用于与商业信息有着类似 保密需求的数据的公开和传播。
图1是本发明供应链网络商业实证数据组织方法的原理图；图2是本发明供应链网络商业实证数据组织系统的结构框图；图3是本发明供应链网络商业实证数据组织系统中具体实施例1中电子商务网页 数据获取结构图；图4是本发明供应链网络商业实证数据组织系统中具体实施例2中电子商务商户 数据、财税数据获取结构图；图5是本发明供应链网络商业实证数据组织方法中具体实施例3中供应链网络数 据字典生成原理图；图6是本发明供应链网络商业实证数据组织方法中具体实施例3中供应链网络数 据字典匹配、抽取有效商业实证数据原理图；图7是本发明供应链网络商业实证数据组织方法中具体实施例3中供应链网络节 点唯一编码原理图；图8是本发明供应链网络商业实证数据组织方法中具体实施例3中供应链网络权 重规一化原理图；图9是本发明供应链网络商业实证数据组织方法中具体实施例3中商业数据存储 结构图；图10是本发明供应链网络商业实证数据组织方法中具体实施例3中商业数据恢 复链状结构原理图；图11是本发明供应链网络商业实证数据组织方法中具体实施例3中分配行业角 色效果图。
具体实施例方式参考附图，下面将对本发明进行详细描述。如图1所示，本发明供应链网络商业实证数据组织方法，其主要步骤包括(1)获取供应链网络商业实证数据源(101)；(2)经过识别(106)维护供应链网络数据字典(107)；(3)经过匹配(108)抽取有效商业实证数据(102)，主要包括商户名称、货物名称、 交易资金、物流信息等；(4)将不同数据结构的有效商业实证数据，经过异构数据迁移(103)，整理成链表 结构的资金流和物流数据结构；(5)生成商业实证数据库(104)；(6)为每种商户名称及货物名称，进行节点唯一编码(109)，要求编码必须和原先 信息不相关；(7)对相应的资金流和物流进行权重规一化(105)处理，要求仅标示节点权重，而 无法复原原始量化信息；(8)生成商业数据库(110)；(9)虚线框内包含的以上步骤即为本发明提出的所谓商户敏感信息隐藏技术 (100)，该部分工作在法律允许范围内，在数据源单位完成；
(10)在应用这些商业数据时，可以通过分配行业角色信息(112)或者直接发布 (111)供第三方供应链优化软件或供应链管理教学软件使用。本发明中所涉及的商业数据仅是按照我国相关法律规定可以合法获取和对外公 布的数据，或者经过敏感信息隐藏技术处理之后可以合法对外公布的数据。如图2所示，本发明供应链网络商业实证数据组织系统，该系统包括网页搜索引擎机群(202)、电子商务商户数据接口服务器(203)、财税数据接口服 务器(204)、异构数据迁移服务器(205)、商业实证数据库服务器(206)、商户敏感信息隐藏 服务器(207)、商业数据库服务器(208)，以及应用服务器(209)。各组成部分的功能和作用如下网页搜索引擎机群(202)、电子商务商户数据接口服务器(203)、财税数据接口服 务器(204)组成竖虚线框内供应链网络商业实证数据源支撑系统(200)。其中网页搜索引 擎机群(202)由多台用于互联网网页搜索的PC机组成，优选联想扬天T4900V商用分体台 式机；电子商务商户数据接口服务器(203)用于连接电子商务网站数据库；财税数据接口 服务器(204)用于连接财税数据库，优选联想万全SD210X4机架式服务器。除公开数据外， 其他涉密数据都需在相应法律许可的情况下，按照法律程序获得；异构数据迁移服务器(205)用于存储获取的实证数据，抽取有效商业实证数据， 并进行异构数据迁移，整理成链表结构的资金流和物流数据结构，优选联想万全SD210X4 机架式服务器；商业实证数据库服务器(206)用于存储结构化商业实证数据库，优选联想 SureSAS212G2 存储系统；商户敏感信息隐藏服务器(207)用于给商户名称及货物名称进行节点唯编码，并 对相应的资金流和物流进行权重规一化处理，优选联想万全SD210X4机架式服务器；商业数据库服务器(208)用于以关系型数据库方式组织存储的商业数据的链表 结构，优选联想SureSAS212G2存储系统；应用服务器(209)用于分配行业角色信息、发布商业数据库。其中电子商务商户数据接口服务器(203)、财税数据接口服务器(204)、异构数据 迁移服务器(205)、商业实证数据库服务器(206)、商户敏感信息隐藏服务器(207)属于所 谓商户敏感信息隐藏技术支撑系统(201)，安装在数据源单位，并由数据源单位依法管理。如图3所示，本发明供应链网络商业实证数据组织系统的具体实施例1，采用网页 搜索引擎机群(202)获取电子商务网页数据，其中网页搜索引擎机群(202)由若干搜索引 擎计算机(302)组成，每个搜索引擎计算机(302)维护多个并发搜索线程，通过公网信道 (303)对互联网(300)中若干互联网电于商务网站服务器(301)的商业数据进行搜索和获 取。实施例1所获取的商业数据都是公开的数据，所以采用不加密的公网信道(303)。如图4所示，本发明供应链网络商业实证数据组织系统的具体实施例2，采用电子 商务商户数据接口服务器(203)和电子商务公司数据服务器(305)连接，或者财税数据接 口服务器(204)和财税数据服务器(306)连接，通过加密信道(304)互联，获取电子商务商 户数据、财税数据。实施例2所获取的商业数据需在法律允许的范围内，以法律允许的程序 和方式获得，采用加密信道(304)传输。如图5所示，本发明供应链网络商业实证数据组织方法的具体实施例3，采用生成的方法维护供应链网络数据字典，具体步骤为(1)以产品目录(401)和行业名录(402)为基础，生成原始行业词条(403)；(2)对获取数据进行实证数据源解析(404)，获取实体词条(405)，可以使用文本 语义分析、中文词语分割等相关算法实现；(3)在原始行业词条(403)中查找，判断是否已经存在(406)；(4)是，则选择忽略(408)，查找下一个实体词条(405)；(5)否，则选择添加新词条(407)；(6)由原始行业词条(403)作为种子，不断添加新词条(407)，生成供应链网络数 据字典(107)。如图6所示，本发明供应链网络商业实证数据组织方法的具体实施例3，采用供应 链网络数据字典匹配实现抽取有效商业实证数据，具体步骤为(1)分析商业数据源表单(410)，获得实体词条；(2)在供应链网络数据字典(107)中查找相关的实体词条，并建立一一对应关系， 如“美国微芯”、“PIC16F54”、“九阳豆浆”；(3)抽取量化数据，如 “8.00”、“1，000”、“8，000”；(4)以实体词条对应供应链节点，如“美国微芯”对应供应链节点1(411)、“九阳豆 浆”对应供应链节点2 (413)，量化数据对应权重，如“8，000”对应供应链权重(412)；(5)建立有向链表结构(414)。如图7所示，本发明供应链网络商业实证数据组织方法中具体实施例3，采用供应 链网络节点唯一编码隐藏商业信息。供应链网络数据字典(107)的每一项都有一个唯一编 码与之对应，生成实体词条编码字典(420)，节点唯一编码有多种技术可供选择，例如MD5 编码、散列编码等，要求无法还原原始信息；如图8所示，本发明供应链网络商业实证数据组织方法中具体实施例3，采用供应 链网络权重规一化隐藏量化信息，有多种技术可供选择，例如指数函数等，要求无法还原 原始信息。最终，供应链节点1(411)的“美国微芯”信息替换为唯一编码供应链节点1(421) 的“M0002”;供应链节点2(413)的“九阳豆浆”信息替换为唯一编码供应链节点2 (423)的 “M0003”;供应链权重(412)的“8，000”替换为规一化供应链权重(422)的“0.01”。如图9所示，本发明供应链网络商业实证数据组织方法中具体实施例3，采用关系 型数据库存出商业数据的表结构，以记录的序号(430)为主键，基本字段包括前级关联项 (431)、后级关联项(432)、前级权重(433)、后级权重(434)、关联序号(435)。如图10所示，本发明供应链网络商业实证数据组织方法中具体实施例3，通过搜 索关联序号(435)，恢复商业数据链状结构。如图11所示，本发明供应链网络商业实证数据组织方法中具体实施例3，分配行 业角色，根据实际需要，唯一编码供应链节点1(421)的“M0002”替换成分配角色供应链节 点1(521)的“供应商A”；唯一编码供应链节点2 (423)的“M0003”替换成分配角色供应链 节点2(523)的“生产商A”；规一化供应链权重(422)的“0. 01”替换成分配角色供应链权 重(522)的“7，000”。以便于理解和应用。注意到分配角色供应链节点1 (521)和供应链节点1 (411)已经完全不同；分配角色供应链节点2(523)和供应链节点2(413)已经完全不同；分配角色供应链权重(522)和 供应链权重(412)也在数量上没有关联性，因此实现了信息隐藏。 本发明供应链网络商业实证数据组织方法的具体实施例3所用数据不是现实数 据，仅为能清晰说明本发明特征所举的例子，处理过程也未经过优化处理。
权利要求
一种供应链网络商业实证数据组织方法，包括如下步骤获取供应链网络商业实证数据源经过供应链网络数据字典的识别和匹配，抽取有效商业实证数据；将不同结构的供应链网络商业实证数据源进行异构数据迁移，整理成链表结构的资金流和物流数据结构；生成结构化的商业实证数据库；统计商业实证数据库中所有商户名称及货物名称，并按照某种规则给每一项分配一个唯一编码，以此编码为一个节点，要求编码必须和原先信息不相关；对相应的资金流和物流进行规一化处理，要求仅标示节点的权重，而无法复原原始量化信息；生成商业数据库；商业数据以关系型数据库方式组织存储，以记录序号为主键，同时每条记录都存储指向前、后级关联项的序号，以此既可以利用现有商业关系型数据库组织数据，又可以方便恢复链表结构；在应用商业数据时，分配行业角色信息，也可以直接发布，供第三方供应链优化软件或供应链管理教学软件使用，其特征在于在获取商业实证数据时采用所谓商户敏感信息隐藏技术，为商户名称及货物名称进行节点唯一编码，对相应的资金流和物流进行权重规一化处理，从而达到敏感信息隐藏。
2.如权利要求1所述的供应链网络商业实证数据组织方法，其特征在于商业数据以 关系型数据库方式组织存储，以记录序号为主键，同时每条记录都存储指向前、后级关联项 的序号，方便恢复链表结构。
3.如权利要求1所述的供应链网络商业实证数据组织方法，其特征在于在应用商业 数据时，分配行业角色信息，以实现更好的可读性和可理解性。
4.一种供应链网络商业实证数据组织系统，包括网页搜索引擎机群、电子商务商户 数据接口服务器、财税数据接口服务器、异构数据迁移服务器、商业实证数据库服务器、商 户敏感信息隐藏服务器、商业数据库服务器，以及应用服务器，其中，网页搜索引擎机群、电子商务商户数据接口服务器、财税数据接口服务器为供应链网 络商业实证数据源支撑系统；异构数据迁移服务器用于存储获取的实证数据，结合供应链网络数据字典的识别和匹 配，抽取有效商业实证数据，并进行异构数据迁移，将有效商业实证数据整理成链表结构的 资金流和物流数据结构，最后生成结构化的商业实证数据库；商业实证数据库服务器用于存储结构化商业实证数据库；商户敏感信息隐藏服务器用于给商户名称及货物名称进行节点唯一编码，并对相应的 资金流和物流进行权重规一化处理；商业数据库服务器用于以关系型数据库方式组织存储的商业数据的链表结构；应用服务器用于分配行业角色信息、发布商业数据库。
5.如权利要求4所述的供应链网络商业实证数据组织系统，其特征在于采用电子商 务商户数据接口服务器和电子商务公司数据服务器连接，或者财税数据接口服务器和财税 数据服务器连接，通过加密信道互联，获取电子商务商户数据、财税数据。
6.如权利要求4所述的供应链网络商业实证数据组织系统，其特征在于电子商务商 户数据接口服务器、财税数据接口服务器、异构数据迁移服务器、商业实证数据库服务器、 商户敏感信息隐藏服务器属于所谓商户敏感信息隐藏技术支撑系统，安装在数据源单位， 并由数据源单位依法管理。
全文摘要
本发明提供一种通过商户敏感信息隐藏技术获取和组织供应链网络商业实证数据的方法及其数据处理系统，其主要特征在于对供应链网络节点进行节点唯一编码，对量化信息进行权重规一化，并以关系型数据库组织供应链网络数据链表结构，生成商业数据库无法恢复原始商业信息。该系统包括网页搜索引擎机群、电子商务商户数据接口服务器、财税数据接口服务器、异构数据迁移服务器、商业实证数据库服务器、商户敏感信息隐藏服务器、商业数据库服务器、应用服务器。时效性高、有效性好、准确性高、价格便宜，可广泛应用于供应链管理教学、优化软件及数理建模、商业智能，具有良好经济效益和市场前景。
文档编号G06Q30/00GK101950305SQ201010298499
公开日2011年1月19日 申请日期2010年9月30日 优先权日2010年9月30日
发明者傅培华, 朱安定 申请人:浙江工商大学