本实用新型涉及铁路信息技术领域，尤其涉及一种用于铁路物流仓单管理的数据采集统计硬件平台。
背景技术：
铁路物流信息化通过运用计算机、网络等现代信息技术手段，改进工作流程和方式，提高铁路物流的工作效率、管理水平和服务水平。铁路物流企业在开展仓单质押等物流金融业务时，一方面要及时、准确的获取各货场、仓库的仓单信息，另一方面要对物流客户的历史、在运仓单进行统计分析，从而为质押风险评估提供决策支持。
现有的用于铁路物流仓单管理的数据采集统计硬件平台，多由一台应用服务器和一台数据库服务器构成。应用服务器供客户端计算机连接访问，提供数据采集和应用访问服务；数据库服务器与应用服务器相连接，负责存储数据。这种硬件方案在接入的客户端较少，采集的数据量不大时尚能满足需求，但当仓单数据量大、并发密集时，平台会出现响应缓慢甚至宕机的情况。
出现这种问题的原因是，现有的硬件平台只做应用服务器和数据库服务器一层划分，导致服务器同时执行多种不同类型的任务，引起性能下降。以应用服务器为例，单台应用服务器要同时处理数据采集和数据统计两种请求，而这两种请求具有不同的特点，对应用服务器的计算单元、存储单元的需求也不同。数据采集请求量大、频率高，单个请求占用CPU、内存资源少且释放很快；数据统计请求量相对少，但单个请求占用CPU、内存时间长。两类请求同时在一个应用服务器处理，数据统计请求的长连接占用资源不释放，数据采集请求得不到及时响应，导致请求队列不断增长，吞吐量下降。类似地，单台数据数据库同时处理采集数据写入请求(属于OLTP类型)和统计数据读出请求(属于OLAP类型)，也会出现类似的问题。此外，单台应用服务器与单台数据库服务器相连接的单一结构，使得有一个部件出现问题，整个平台都会不可用。需要注意的是，单纯增加应用服务器构建应用集群，可以使应用访问状况有所缓解，但单个应用服务器节点的性能效率仍然很低；而数据库服务器由于读写数据一致性的要求和限制，无法通过直接增加服务器的方式扩容。
技术实现要素：
针对现有技术的不足，本实用新型提供了一种新的数据采集统计硬件平台。该平台在原有应用和数据库服务器分离的基础上，对服务器做了进一步细分，使每个服务器承担类型相同、硬件资源需求相似的任务，从而提高单个服务器节点的性能效率；对服务器间的连接关系进行了优化，避免单点故障，从而提升平台整体的可用性。
为实现上述目的，本实用新型采用的技术方案如下：
一种数据采集统计硬件平台，包括负载均衡器、Web静态服务器、Web应用服务器、报表应用服务器、消息中间件服务器、数据处理服务器、数据库写服务器和数据库读服务器。其中，负载均衡器分别与Web静态服务器、Web应用服务器、报表应用服务器相连接；消息中间件服务器与数据处理服务器相连接；数据处理服务器与数据库写服务器相连接；数据库写服务器与数据库读服务器相连接；数据库读服务器分别与Web应用服务器和报表应用服务器相连接；数据库写服务器与Web应用服务器相连接。
负载均衡器，是一种把网络请求分发到不同服务器的硬件设备。负载均衡器统一接收、转发平台的客户端请求，将访问静态资源的请求分发给Web静态服务器，将访问动态资源的请求分发给Web应用服务器，将访问报表的请求分发给报表应用服务器，然后由这些服务器来处理相应的请求。
Web静态服务器，负责响应静态资源访问请求。静态资源主要指HTML、JavaScript、图片等不包括动态内容的文件。Web静态服务器不执行应用逻辑，无需与数据库服务器连接。Web静态服务器采用轻量级、高性能、多进程的设计，这些特点使其能够高效地处理静态请求。
Web应用服务器，负责处理动态数据请求，执行应用逻辑，需要连接数据库服务器。Web应用服务器处理静态资源的速度比较慢，所以将静态资源访问请求交给处理静态资源更快的Web静态服务器处理，Web应用服务器只处理动态请求。由于动态请求相对于静态请求占比很小，这种动静分离的结构能够有效利用两种服务器各自的优势，提升平台整体性能。
报表应用服务器，负责处理报表数据请求。报表数据请求是一种特定类型的动态数据请求，需要对数据库服务器进行大运算量、统计型的查询，请求占用的CPU、内存等资源多且时间长。将报表数据请求与其它动态请求分开，由单独的报表应用服务器处理，能够进一步分离负载，增大吞吐量。
消息中间件服务器，负责接收来自终端的数据采集请求，并转发给数据处理服务器。前述的静态请求、动态请求、报表请求是对平台应用的访问请求，以拉取数据为主，而数据采集请求则是以推送数据为主。数据采集请求轻量、高并发，对响应速度要求高，消息中间件的消息队列、异步处理机制能够很好的满足这些需求，所以平台使用独立的消息中间件服务器响应数据采集请求。
数据处理服务器，对接收的原始采集数据进行清洗、转换、规格化，加载到数据库服务器。在本平台的结构中，原始采集数据的接收和处理在不同的服务器上进行，既保证离散的数据采集请求得到快速响应，又使聚集起来的数据得到批量整合处理。
数据库服务器，负责组织、存储、管理平台的数据，保障数据的一致性和可靠性，实现数据的集中控制和访问。Web应用服务器、报表应用服务器、数据处理服务器都对数据库服务器有大量的读、写操作，其中：Web应用服务器以小数据量读写为主，数据连接多、单个事务短，对响应速度要求高；报表应用服务器以大数据量读为主，数据连接少，单个连接事务长、占用资源多，对相应速度要求相对不高；数据处理服务器则既有高频的小数据量写操作，也有低频的大数据量读写操作。以上不同类型的数据操作如果由单台数据库服务器处理，会导致缓存失效、资源冲突等情况出现，从而使数据库服务器成为整个平台的性能瓶颈。
本平台采用数据库读写分离的结构，使用相互独立的数据库写服务器和数据库读服务器分别处理不同类型的数据操作。其中，数据库写服务器主要负责处理平台的所有数据库写操作以及同一事务上下文中的读操作，数据处理服务器、Web应用服务器与数据库写服务器相连接；数据库读服务器只负责响应数据库读操作请求，Web应用服务器、报表应用服务器与数据库读服务器相连接。根据读请求类型的不同，还可以采用独立的数据库读服务器分别响应高频小数据量读请求和低频大数据量读请求，进一步分离负载。数据库写服务器通过其自带的同步机制向数据库读服务器同步数据，保证数据一致性。
本实用新型综合运用网络、服务器、数据库、中间件等技术，结合Web应用动静分离、数据库读写分离等思想，对服务器的角色以及服务器间的结构做出了新的设计，提出了一种适用于铁路物流仓单管理的数据采集统计硬件平台。与现有技术相比，其有益效果为：
(1)提升了性能和吞吐量。通过分离不同类型、特点的请求和处理，并对特定角色的服务器进行针对性的优化，使单个服务器执行同类型任务，减少了冲突，硬件资源得到了有效利用。
(2)提高了可用性。数据采集、Web应用、报表应用、数据库等在不同的服务器集群上运行，单点故障的风险大大降低。多数情况下，即使一台服务器出现问题，也不会导致平台整体不可用。
(3)增强了可扩展性。在不改变平台结构的情况下，通过向一个集群中增加服务器节点即可实现扩容，且几乎不会对其它集群造成影响。
需要说明的是，本实用新型提供的仅是一种数据采集统计平台的基础设施方案，不包括铁路物流仓单管理相关的具体的业务和数据处理软件。本实用新型通过改进服务器的定位和服务器间的结构解决平台在性能、可用性、可扩展性等方面的问题，所述技术方案涉及的都是已知硬件和软件，不包括计算机程序的改进，故称之为一种数据采集统计硬件平台。
附图说明
为了更清楚地说明本实用新型的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种数据采集统计硬件平台的具体实施方式的网络拓扑逻辑架构图。
具体实施方式
下面结合本实用新型实施例中的附图，对本实施新型中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
如图1所示，一种用于铁路物流仓单管理的数据采集统计硬件平台，包括负载均衡器、Web静态服务器、Web应用服务器、报表应用服务器、消息中间件服务器、数据处理服务器、数据库写服务器和数据库读服务器。其中，负载均衡器分别与Web静态服务器、Web应用服务器、报表应用服务器相连接；消息中间件服务器与数据处理服务器相连接；数据处理服务器与数据库写服务器相连接；数据库写服务器与数据库读服务器相连接；数据库读服务器分别与Web应用服务器和报表应用服务器相连接；数据库写服务器与Web应用服务器相连。以上服务器集中部署在企业的内部网络中，考虑到信息安全的需要，企业内部网络可划分内网和外网。外网是企业内部网络的DMZ区，接入互联网，放置负载均衡器、Web静态服务器、Web应用服务器、报表应用服务器；内网放置消息中间件服务器、数据处理服务器、数据库写服务器、数据库读服务器。内网与外网通过防火墙、入侵防御系统实现逻辑隔离。
负载均衡服务器，使用型号为F5BIG-IP LTM 1600的专用负载均衡硬件设备。采用F5双机热备部署方式，可以进一步提高网络流量和可用性。
Web静态服务器，使用型号为联想System x3650的x86架构PC服务器，处理器为1颗8核Intel Xeon E5，内存16GB；安装HTTP和反向代理软件Nginx。可部署多台构建Web静态服务器集群。
Web应用服务器，使用型号为联想System x3650的x86架构PC服务器，处理器为1颗8核Intel Xeon E5，内存32GB；安装Java EE应用服务软件Tomcat 8.0。可部署多台构建Web应用服务器集群。
报表应用服务器，使用型号为联想System x3650的x86架构PC服务器，处理器为1颗8核Intel Xeon E5，内存64GB；安装Pentaho Report报表查询软件，其提供的报表数据缓存机制能够避免对相同统计数据的重复查询；安装Pentaho Dashboard报表可视化软件，支持图表、仪表盘等多种报表展示形式。可部署多台构建报表应用服务器集群。
消息中间件服务器服务器，使用型号为联想System x3650的x86架构PC服务器，处理器为1颗8核Intel Xeon E5，内存32GB；安装消息中间件软件Apache ActiveMQ 5.14。利用ActiveMQ的消息队列机制消除高并发访问高峰，减轻数据处理服务器的压力，加快平台的响应速度。
数据处理服务器，使用型号为联想System x3850的x86架构PC服务器，处理器为4颗8核Intel Xeon E7，内存64GB；安装Kettle 6.0作为ETL工具。Kettle支持各种主流数据库，便于数据处理服务器与数据库服务器的对接。
数据库写服务器，使用型号为联想System x3850的x86架构PC服务器，处理器为4颗8核Intel Xeon E7，内存128GB；安装关系型数据库MySQL 5.7。
数据库读服务器，使用型号为联想System x3850的x86架构PC服务器，处理器为4颗8核Intel Xeon E7，内存128GB；安装关系型数据库MySQL 5.7。利用MySQL的主从复制(Master-Slave)机制，配置一台数据库写服务器和多台数据库读服务器，实现读写分离和数据同步。
如图1所示，本实施例说明了一种终端连接所述数据采集统计硬件平台的方式。终端分为应用访问终端和数据采集终端。
应用访问终端，可以但不限于桌面PC、移动PC、智能手机。本实施例采用B/S结构，应用访问终端浏览器通过互联网访问平台外网的服务器。
数据采集终端，可以但不限于手持扫码器、桌面扫描仪、智能手机。本实施例中，为保证数据传输的安全性，这些终端设备通过专线接入平台内网的服务器。
以上所披露的仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本实用新型的保护范围之内。