主数据管理平台的制作方法
【专利摘要】主数据管理平台，包括网络交换机，还包括应用服务器集群、数据库服务器集群和数据库存储器，通过网络交换机建立三个独立的网段，客户机的端口和应用服务器集群的用户接入侧端口部署在第一网段，应用服务器集群的数据请求侧端口和数据库服务器集群的数据响应侧端口部署在第二网段，数据库服务器集群的数据转发侧端口和数据库存储器的端口部署在第三网段。管理平台中的存储设备和服务器通过分级隔离的交换设备构建冗余通信链路，形成不同层面的信息交换网格，完全满足新业务开展带来的数据请求突发式增长。使得主数据在整个运行周期中的事务处理软件模块都可以平台的硬件架构为基础进行规模上、架构上和效率上的优化部署。
【专利说明】主数据管理平台
【技术领域】
[0001]本实用新型涉及一种数据处理系统硬件架构，特别是涉及一种事务处理系统的硬件架构。
【背景技术】
[0002]主数据管理平台主要用于大型企业内主数据的全生命周期管理，帮助企业实现物料、供应商、员工、客户、会计科目等数据的集中化管理，进行数据的提交、校验、审核等工作。同时，与多套集团级别的信息系统实现系统集成、数据共享，以服务的方式把统一的主数据发给企业范围内需要使用相应数据的业务系统，在分散的系统间保证数据的一致性，满足数据合规性的要求。目前，主数据管理平台采用两台POwer6P550服务器，分别作为数据库服务器和应用服务器，两台服务器使用双机互备方式运行，硬件配置基本能够满足日常业务需求。
[0003]随着总公司主数据管理平台的广泛使用，用户并发处理量、报表访问量逐渐增大，各集团级信息系统也对管理平台提出了更多的数据共享需求。未来短期内数据处理需求的增长量将极大的超过本系统可处理的极限值，为此需要通过优化软件数据处理方式和提升硬件的处理能力，来提升系统数据处理效率，以提高总的可处理数据量。例如，根据采办部数据清洗项目的需要，主数据管理平台在数据清洗项目期间会产生大量的数据业务，为此采办部清洗项目对主数据管理平台的数据处理能力提出了更高的要求。经统计，系统中有近160万条物料主数据需要处理，现有系统在硬件配置上难以满足数据清洗项目短时的大量数据处理的需求。
[0004]对服务器造成的压力已经逐渐显现，正常平台系统巡检时，两台服务器CPU平均利用率为60%、峰值为90%，内存交换区均利用率为70%、峰值为90%。但类似于物资数据清洗项目对主数据管理平台的处理能力提出了更高要求，同时平台的用户量也从上线初期的近100个用户增长到400多个用户。为了保障数据清洗项目的业务正常运转，以及客户端业务响应速度的及时性，考虑在原有服务器基础上重新配置和优化服务器资源以及事务处理流程，以适应对数据密集型管理特点的需要。
[0005]主数据管理平台每条数据的处理都要经过:提交、业务审批、专业审批、技术审批等流程。以技术审核阶段的一万条数据为例:
[0006]系统中每次可审批数据上限为1000条，所以需最少分10次审批处理
[0007]每批数据处理包括两个步骤:人工检查提交和系统自动查重和提交。
[0008]耗时比例为:10%和90%
[0009]每批数据耗时:20 - 30分钟
[0010]只有等第一批全部处理完后才能进行下一批数据审核，这样会使前台用户有很长的等待感受，也限制了每天的可提交批次。在软件层面随着新业务需求的增长，未来数据处理量的需求为> 10万条/周，而目前系统每周可处理数据能力上限为4万条/周；处理能力远远无法满足要求，必须通过优化软件来提高数据处理能力。根据现有软件工程技术，可以开发出后台队列功能，即，完成人工检查提交步骤后，就将所有数据的系统查询提交工作都转为后台处理，不占用前台数据处理时间，以便将这部分时间释放出来给前台用户提交下一批次数据，使得事务处理过程中的业务处理逻辑与数据处理独立，使得业务处理逻辑可以快速响应更多的前台用户需求。在后台数据处理完成时及时将数据结果反馈前台用户，从而提高主数据管理平台软件性能。
[0011]但是目前以双机互备方式配置在两台服务器上的数据库服务器和应用服务器受限于平台硬件架构的局限，考虑到软件服务器的可靠性，线程池、消息总线建立和响应优先级策略等平台系统软件的优化无法实现。
实用新型内容
[0012]本实用新型的目的是提供一种主数据管理平台，解决现有平台硬件架构无法适应软件优化的技术问题。
[0013]本实用新型的主数据管理平台，包括网络交换机，还包括应用服务器集群、数据库服务器集群和数据库存储器，通过网络交换机建立三个独立的网段，客户机的端口和应用服务器集群的用户接入侧端口部署在第一网段，应用服务器集群的数据请求侧端口和数据库服务器集群的数据响应侧端口部署在第二网段，数据库服务器集群的数据转发侧端口和数据库存储器的端口部署在第三网段。
[0014]由三个第一交换机作为第一网段交换节点，由一个第二交换机作为第二网段交换节点，由一个第三交换机作为第三网段交换节点；
[0015]应用服务器集群包括若干个应用服务器，数据库服务器集群包括若干个数据库服务器，作为数据库存储器的SAN，每个应用服务器包括三个数据端口，每个数据库服务器包括两个数据端口，应用服务器的第一数据端口连接第一网段中的第一个交换节点，应用服务器的第二数据端口连接第一网段中的第二个交换节点，应用服务器的第三数据端口连接第二网段交换节点，数据库服务器的第一数据端口连接第二网段交换节点，数据库服务器的第二数据端口连接第三网段交换节点，SAN的光通信端口与第三网段交换节点的光通信端口通过光缆连接。
[0016]在第一网段中的第一个交换节点和第二个交换节点上各部署一个DNS负载均衡服务器。
[0017]在第二网段交换节点上部署数据库管理服务器。
[0018]另一种连接方式中，包括应用服务器集群，由若干个应用服务器组成，包括数据库服务器集群，由若干个数据库服务器组成，还包括作为数据库存储器的SAN，DNS负载均衡服务器和数据库管理服务器，DNS负载均衡服务器包括一组数据端口，端口数量与应用服务器的数量相同，数据库管理服务器包括两组数据端口，第一组数据端口的端口数量与应用服务器的数量相同，第二组数据端口的端口数量与数据库服务器的数量相同；
[0019]每个应用服务器包括三个数据端口，每个数据库服务器包括三个数据端口，应用服务器的第一数据端口连接一个DNS负载均衡服务器的相应数据端口，应用服务器的第二数据端口连接另一个DNS负载均衡服务器的相应数据端口，应用服务器的第三数据端口连接数据库管理服务器第一组数据端口中的相应数据端口，数据库服务器的第一数据端口连接数据库管理服务器第二组数据端口中的相应数据端口，数据库服务器的第二数据端口连接网络交换机，数据库服务器的第三数据端口连接数据库存储器的相应数据端口。本实用新型的主数据管理平台，首先，通过设置两个服务器群，分别提升应用服务和数据库服务的计算能力和存储能力，将可能发生的严重硬件故障或系统级故障限制在事务处理过程中专业服务的单一服务器作用域内，使得专业服务的其他服务器上的事务处理过程不受影响。改善现有双机热备份方式一旦出现硬件故障，事务处理过程中所有专业服务器的性能直接受到影响的技术缺陷。管理平台中的存储设备和服务器通过分级隔离的交换设备构建冗余通信链路，形成不同层面的信息交换网格，完全满足新业务开展带来的数据请求突发式增长。同时为管理平台运用负载均衡技术思想优化软件结构建立可灵活配置的硬件基础，使得主数据在整个运行周期中的事务处理软件模块都可以平台的硬件架构为基础进行规模上、架构上和效率上的优化部署。
[0020]下面结合附图对本实用新型的实施例作进一步说明。
【专利附图】
【附图说明】
[0021]图1为本实用新型主数据管理平台中对应硬件架构的事务处理过程示意图；
[0022]图2为本实用新型主数据管理平台中对应事务处理过程的硬件架构示意图；
[0023]图3为本实用新型主数据管理平台中对应事务处理过程的另一种硬件架构示意图。
【具体实施方式】
[0024]如图1所示，在本实施例中将原有主数据管理平台中，在同一组硬件服务器中完成的事务处理流程，通过软件优化技术划分为用户请求、事务流程响应、数据响应和数据存储四个相对独立的事务过程，相应建立的硬件架构包括用户请求的客户机01、响应用户请求的应用服务器03、数据库服务器05和数据库存储器06，并通过网络交换机建立三个独立的网段，客户机01的端口和应用服务器03的用户接入侧端口部署在第一网段，应用服务器03的数据请求侧端口和数据库服务器05的数据响应侧端口部署在第二网段，数据库服务器05的数据转发侧端口和数据库存储器06的端口部署在第三网段。通过对各服务器与相应网段连接侧的计算性能扩展和带宽调整，就可以配合事务处理过程的优化，大幅改进主数据平台的处理能力，保证各种子系统优化手段可以灵活应用。
[0025]如图2所示，本实施例中，由三个第一交换机11作为第一网段交换节点，由一个第二交换机12作为第二网段交换节点，由一个第三交换机13作为第三网段交换节点。
[0026]还包括多个应用服务器03组成的应用服务器集群，多个数据库服务器05组成的数据库服务器集群，一个作为数据库存储器的SAN (storage area network),每个应用服务器03包括三个数据端口，每个数据库服务器05包括两个数据端口，应用服务器03的第一数据端口连接第一网段中的第一个交换节点，应用服务器03的第二数据端口连接第一网段中的第二个交换节点，应用服务器03的第三数据端口连接第二网段交换节点，数据库服务器05的第一数据端口连接第二网段交换节点，数据库服务器05的第二数据端口连接第三网段交换节点，SAN的光通信端口与第三网段交换节点的光通信端口通过光缆连接。主数据管理平台中各子系统业务处理流程可以根据优化需要，有针对性地调整各独立事务处理过程的系统资源，实现管理疲态的可伸缩性。
[0027]通过在第一网段中的第一个交换节点和第二个交换节点上各部署一个DNS负载均衡服务器02，可以为软件系统优化客户响应时间，动态分配忙时的各应用服务器03计算资源。当出现潜在硬件故障时，及时隔离故障硬件，降低数据损失。
[0028]通过在第二网段交换节点上部署数据库管理服务器04，使得数据库服务器05形成的数据库集群的综合管理可以单独部署在数据库管理服务器04上，降低数据库集群的系统管理负荷，同时使得系统管理实现单向透明，客户端不需要了解数据库的部署架构，减轻了应用服务器03系统管理负荷。
[0029]本实用新型的主数据管理平台，实现了数据库服务器集群和应用服务器集群，使得软件系统可以根据业务流程需要分步骤部署，使得软件系统面对大量用户的业务需求，可以充分完成本地负载均衡，有效地解决数据流量过大、网络负荷过重的问题。应用服务器的突发、并发处理能力和应用长时间可用性的极大提高。数据库服务器集群对于业务流程中可分离的后台队列处理过程的数据处理效率有极大提高，可以响应单位时间内更多的数据申请。
[0030]在应用服务器上可以同时部署的软件系统包括主数据管理平台的各项业务系统，部署定时任务应用服务，负责处理各系统数据定时同步、邮件等其他定时及后台处理的任务；还可以提供FTP服务，用于存储集群(SAN)下上传的附件；部署报表服务，负责提供报表统计和查询服务，快速形成客户端的格式化数据请求结果。利用DNS负载均衡服务器可以为客户端提供基于浏览器的互联网服务，兼容不同系统间的用户类型。数据库集群与SAN相结合，在数据库管理服务器的统一调度下，可以保持数据的完整性和一致性。
[0031]通过在本实用新型的硬件架构上完成的软件部署，与原有管理平台两种服务器双机热备方式比较相比较性能提升显著。
[0032]通过数据的处理过程示例，以技术审核阶段的一万条数据为例:
[0033]数据的处理过程示例，以技术审核阶段的一万条数据为例，原有主数据管理平台大约100用户，20至30用户同时在线:
[0034]由于系统中每次可审批数据上限为1000条，所以需最少分10次审批处理
[0035]每批数据处理主要包括两个步骤:人工检查提交和系统自动查重和提交。
[0036]耗时比例为:10%和90%
[0037]每批数据耗时:20-30分钟
[0038]只有等第一批全部处理完后才能进行下一批数据审核，这样会使前台用户有很长的等待感受，也限制了每天的可提交批次。
[0039]新的硬件架构形成后，主数据管理平台用户达到400用户，30至40用户同时在线.
[0040]每批数据处理包括两个步骤:人工检查提交和系统自动查重提交(净软件优化实现后台运行，不影响前台下步操作)。
[0041]耗时比例为:10%和90% (不占用前台操作时间)
[0042]每批数据耗时:2-3分钟(提高了 90%的前台数据处理效率)。
[0043]由此可见，本实用新型极大促进了软件系统的优化效率，为今后预计用户数增长到3000多人，同时在线人数达到500人提供了完善的技术支持。
[0044]如图3所示，在上述实施例基础上，包括的两个DNS负载均衡服务器02，每个DNS负载均衡服务器02包括一组数据端口，端口数量与应用服务器03的数量相同；包括的数据库管理服务器04包括两组数据端口，第一组数据端口的端口数量与应用服务器03的数量相同，第二组数据端口的端口数量与数据库服务器05的数量相同。
[0045]每个应用服务器03包括三个数据端口，每个数据库服务器05包括三个数据端口，应用服务器03的第一数据端口连接一个DNS负载均衡服务器02的相应数据端口，应用服务器03的第二数据端口连接另一个DNS负载均衡服务器02的相应数据端口，应用服务器03的第三数据端口连接数据库管理服务器04第一组数据端口中的相应数据端口，数据库服务器05的第一数据端口连接数据库管理服务器04第二组数据端口中的相应数据端口，数据库服务器05的第二数据端口连接网络交换机，数据库服务器05的第三数据端口连接数据库存储器06的相应数据端口。
[0046]通过负载均衡服务器02隔离了用户侧与应用服务侧，通过数据库管理服务器04隔离了应用服务侧与数据服务侧，使得本实施案例作为核心软件系统服务的硬件架构可以独立一体，并可以配合软件结构进行硬件层次的划分，DNS负载均衡服务器02与应用服务器03的连接方式可以满足对客户端数据请求规模增加的良好响应，数据库管理服务器04与应用服务器03和数据库服务器05的连接方式保证了在数据库管理服务器04部署事务管理软件可以保持软件事务处理过程的连续性，数据库服务器05通过交换机互连，以及数据库服务器05直连数据库存储器06保证了软件事务处理过程的一致性。
[0047]以上所述的实施例仅仅是对本实用新型的优选实施方式进行描述，并非对本实用新型的范围进行限定，在不脱离本实用新型设计精神的前提下，本领域普通技术人员对本实用新型的技术方案做出的各种变形和改进，均应落入本实用新型权利要求书确定的保护范围内。
【权利要求】
1.一种主数据管理平台，包括网络交换机，还包括应用服务器集群、数据库服务器集群和数据库存储器(06)，其特征在于:通过网络交换机建立三个独立的网段，客户机(01)的端口和应用服务器集群的用户接入侧端口部署在第一网段，应用服务器集群的数据请求侧端口和数据库服务器集群的数据响应侧端口部署在第二网段，数据库服务器集群的数据转发侧端口和数据库存储器(06)的端口部署在第三网段。
2.根据权利要求1所述的主数据管理平台，其特征在于:由三个第一交换机(11)作为第一网段交换节点，由一个第二交换机(12)作为第二网段交换节点，由一个第三交换机(13)作为第三网段交换节点； 应用服务器集群包括若干个应用服务器(03)，数据库服务器集群包括若干个数据库服务器(05)，作为数据库存储器的SAN，每个应用服务器(03)包括三个数据端口，每个数据库服务器(05)包括两个数据端口，应用服务器(03)的第一数据端口连接第一网段中的第一个交换节点，应用服务器(03)的第二数据端口连接第一网段中的第二个交换节点，应用服务器(03)的第三数据端口连接第二网段交换节点，数据库服务器(05)的第一数据端口连接第二网段交换节点，数据库服务器(05)的第二数据端口连接第三网段交换节点，SAN的光通信端口与第三网段交换节点的光通信端口通过光缆连接。
3.根据权利要求2所述的主数据管理平台，其特征在于:在第一网段中的第一个交换节点和第二个交换节点上各部署一个DNS负载均衡服务器(02)。
4.根据权利要求3所述的主数据管理平台，其特征在于:在第二网段交换节点上部署数据库管理服务器(04)。
5.根据权利要求1所述的主数据管理平台，其特征在于:包括应用服务器集群，由若干个应用服务器(03)组成，包括数据库服务器集群，由若干个数据库服务器(05)组成，还包括作为数据库存储器的SAN，DNS负载均衡服务器(02)和数据库管理服务器(04)，DNS负载均衡服务器(02)包括一组数据端口，端口数量与应用服务器(03)的数量相同，数据库管理服务器(04)包括两组数据端口，第一组数据端口的端口数量与应用服务器(03)的数量相同，第二组数据端口的端口数量与数据库服务器(05)的数量相同； 每个应用服务器(03)包括三个数据端口，每个数据库服务器(05)包括三个数据端口，应用服务器(03)的第一数据端口连接一个DNS负载均衡服务器(02)的相应数据端口，应用服务器(03)的第二数据端口连接另一个DNS负载均衡服务器(02)的相应数据端口，应用服务器(03)的第三数据端口连接数据库管理服务器(04)第一组数据端口中的相应数据端口，数据库服务器(05)的第一数据端口连接数据库管理服务器(04)第二组数据端口中的相应数据端口，数据库服务器(05)的第二数据端口连接网络交换机，数据库服务器(05)的第三数据端口连接数据库存储器(06)的相应数据端口。
【文档编号】H04L12/24GK203859771SQ201320816274
【公开日】2014年10月1日 申请日期:2013年12月10日 优先权日:2013年12月10日
【发明者】陈溯, 张扬, 李文湘, 刘朝晖, 李燕艳, 杜晓航, 施培培, 范维, 徐震, 王一繁, 王景, 洪为, 宋启宁, 孔庆娜, 黄嵚, 谢小兰, 迟初, 安伟 申请人:中国海洋石油总公司