一种海量压缩文件的处理转发系统及方法与流程

本发明涉及文件压缩处理领域，具体涉及一种海量压缩文件的处理转发系统及方法。

背景技术：

现有的数据处理转发系统，常规的办法是使用系统的默认配置，并且接收数据的分区，是直接挂载在硬盘分区上面；然后对压缩文件进行解压，再读取解压后的文件进行处理，接着进行备份。这样的系统，能承载的并发量很低，容易因为频繁的磁盘i/o开销，导致系统整体负载过高，无法充分利用硬件的性能。

因此需要对现有的数据转发处理系统进行进一步的改进，提高系统的并发量以及硬件的性能。

技术实现要素：

为了解决上述技术问题，本发明的提供一种提高系统的并发量以及硬件的性能的海量压缩文件的处理转发系统及方法。

为实现上述目的，本发明采取的技术方案如下：一种海量压缩文件的处理转发系统，包括采集设备，centos服务器以及java处理程序，其中：

所述采集设备用于采集设备的设备数据，并将采集的设备数据发送给centos服务器；

所述centos服务器修改系统文件打开数后用于接收采集设备的采集数据；

所述centos服务器内安装有tmpfs文件系统，所述centos服务器接收设备数据的途径指向tmpfs文件系统，所述tmpfs文件系统接收数据后对数据进行压缩并使用mount-ttmpfs-psize＝46080mtmpfs$ftp_path命令挂载；

所述java处理程序对压缩数据直接读取、处理及转发，同时定时进行备份。

优选地，所述服务器上安装类型为basicserver的centos1810x86_64版本系统。

优选地，所述服务器采用x86架构的服务器。

一种海量压缩文件的处理转发方法，应用了上述的海量压缩文件的处理转发系统，其特征在于，该方法包括以下步骤：

s1:在服务器上安装类型为basicserver的centos1810x86_64版本系统；

s2:系统安装完成后，修改所述系统的内核限制，使其支持tcp高并发，然后再修改最大文件数限制，用于提升处理ftp并发数；

s3:完成系统内核修改后，再安装ftp服务端，用于接收采集设备的设备数据；

s4：ftp服务端安装完成后，再进行tmpfs文件系统挂载，将ftp接收的压缩数据的路径指向tmpfs文件系统，所述tmpfs文件系统接收数据后对数据进行压缩使用mount-ttmpfs-psize＝46080mtmpfs$ftp_path命令挂载；

s5:安装java8环境，打开java处理程序，所述java程序读取tmpfs文件系统中的数据，所述java处理程序使用java自带的api，直接读取压缩数据，不解压，读取字节数组；

s6:处理读取的内容，根据不同业务流程转发出去；

s7：转发完成后，使用java处理程序清理已处理的压缩文件。

优选地，所述服务器采用x86架构的服务器。

优选地，修改所述系统的内核限制即修改/etc/security/limits.conf文件，默认的软硬限制为1024，增加softnofile65536和hardnofile65536。

优选地，修改最大文件数限制即将单个用户可用的最大进程数量的软限制和硬限制都提升到65536，解除系统安全级别的并发数限制。

优选地，安装ftp服务端时可以使用yum安装或者编译安装。

优选地，java处理程序安装在临时目录中。

优选地，定时将所述压缩数据备份到磁盘。

本发明有益的技术效果：本发明利用x86服务器部署centos系统，通过修改系统最大文件打开数，利用tmpfs文件系统，接收存储压缩文件。再利用java处理程序，直接将压缩文件不解压，直接读取到i/o流中，通过i/o获取文件内容，经过相应的处理，转发出去。从接收到处理转发，压缩文件均在tmpfs文件系统中运行，极大的提高了处理性能。解决了因海量压缩小文件的并发处理导致cpu使用率高、磁盘io等硬件性能差的问题。

附图说明

图1为本发明系统的整体框架示意图。

图2为本发明方法的步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。

如图1所示，为实现上述目的，本发明采取的技术方案如下：一种海量压缩文件的处理转发系统，包括采集设备，centos(communityenterpriseoperatingsystem，中文意思是社区企业操作系统，centos是一个基于redhatlinux提供的可自由使用源代码的企业级linux发行版本)服务器以及java处理程序，其中：

所述采集设备用于采集设备的设备数据，并将采集的设备数据发送给centos服务器；

所述centos服务器修改系统文件打开数后用于接收采集设备的采集数据；

所述centos服务器内安装有tmpfs(临时文件系统，是一种基于内存的文件系统)文件系统，所述centos服务器接收设备数据的途径指向tmpfs文件系统，所述tmpfs文件系统接收数据后对数据进行压缩并使用mount-ttmpfs-psize＝46080mtmpfs$ftp_path($ftp_path是一个变量，指的是具体的接收路径，该指令的意思是意思是将$ftp_path目录挂载到tmpfs文件系统，挂载的空间大小是46080mb，空间大小可根据实际情况来调节)命令挂载(挂载类似于windows下面的盘符概念，把一个分区挂载到一个目录上，linux不支持盘符这种方式，这样才能对这个磁盘上面的文件进行操作。这个时候这个分区需要继承这个目录的目录级别。比如某个分区sda2，挂载到/usr/src里，这个时候这个sda2里面的aaa目录，现在就表示为/usr/src/aaa。如果他挂载到/var/www下面。sda2里面的aaa就变成了/var/www/aaa。这点也类似于windows的修改盘符，比如d:\aaa。把盘符修改为e，这个目录就成了e:\aaa，但他们还是一个东西。挂载后，你所修改的内容包括复制，删除，移动等，只要在这个被挂载的分区所包含的文件、目录，都会保存在这个分区里，而不是原来的目录里)；

所述java处理程序对压缩数据直接读取、处理及转发，同时定时进行备份，转发时根据数据的内容转发给相应的其他系统。

优选地，所述服务器上安装类型为basicserver(基本服务器)的centos1810x86_64版本系统。

优选地，所述服务器采用x86架构(thex86architecture，是微处理器执行的计算机语言指令集，指一个intel通用计算机系列的标准编号缩写，也标识一套通用的计算机指令集合)的服务器。

如图2所示，一种海量压缩文件的处理转发方法，应用了上述的海量压缩文件的处理转发系统，该方法包括以下步骤：

s1:在服务器上安装类型为basicserver的centos1810x86_64版本系统；

s2:系统安装完成后，修改所述系统的内核限制，使其支持tcp(transmissioncontrolprotocol传输控制协议是一种面向连接的、可靠的、基于字节流的传输层通信协议，由ietf的rfc793定义)高并发，然后再修改最大文件数限制，用于提升处理ftp(filetransferprotocol，文件传输协议)并发数；

s3:完成系统内核修改后，再安装ftp服务端，用于接收采集设备的设备数据；

s4：ftp服务端安装完成后，再进行tmpfs文件系统挂载，将ftp接收的压缩数据的路径指向tmpfs文件系统，所述tmpfs文件系统接收数据后对数据进行压缩使用mount-ttmpfs-psize＝46080mtmpfs$ftp_path命令挂载；此处用于解决在高并发的状态下，ftp接收文件对磁盘的高频开销导致的磁盘i/o性能瓶颈，否则会因为在接收海量文件时，造成了i/owait的死循环，进一步拖慢系统的运行。

s5:安装java8环境，打开java处理程序，java处理程序安装在临时目录中，所述java程序读取tmpfs文件系统中，这样在程序处理的过程中，不增加磁盘i/o的开销。常规处理压缩文件的方法是将压缩文件解压，然后再次读取压缩文件里面的内容，本发明的java处理程序使用java自带的api(applicationprogramminginterface，应用程序接口)，直接读取压缩数据，不解压，读取字节数组，减少处理流程，进一步提升处理性能。

s6:处理读取的内容，根据不同业务流程转发出去；

s7：转发完成后，使用java处理程序清理已处理的压缩文件。在需要备份的时候，则将压缩文件备份到本地磁盘，便于长时间存储。在整个接收转发的过程中，只有在需要备份时，压缩文件才会落地到本次磁盘，即需要磁盘i/o开销，相对于常规方法，很有效提升了处理性能。

所述服务器采用x86架构的服务器。修改所述系统的内核限制即修改/etc/security/limits.conf文件，默认的软硬限制为1024，增加softnofile(软限制)65536和hardnofile(硬限制)65536。

优选地，修改最大文件数限制即将单个用户可用的最大进程数量的软限制和硬限制都提升到65536，解除系统安全级别的并发数限制。

优选地，安装ftp服务端时可以使用yum安装或者编译安装，用于接收采集设备的数据。

本发明的方法及系统利用x86服务器部署centos系统，通过修改系统最大文件打开数，利用tmpfs文件系统，接收存储压缩文件。再利用java处理程序，直接将压缩文件不解压，直接读取到i/o流中。通过i/o获取文件内容，经过相应的处理，转发出去。从接收到处理转发，压缩文件均在tmpfs文件系统中运行，极大的提高了处理性能。解决了因海量压缩小文件的并发处理导致cpu使用率、磁盘io等硬件遇到的瓶颈。

本发明与其他发明相比，特殊性在于修改系统内核限制，并且使用tmpfs文件系统，优点在于提高了系统的ftp并发处理数，并充分压榨硬件的性能极限，这是其他类型的数据处理转发系统所不具备的特性。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。