本发明涉及一种数据管理系统，具体涉及一种面向集群架构的数据管理系统。
背景技术：
现在越来越的企业采用集群系统作为自己企业的IT建设，该系统中支持文件的上传下载、复制、移动、删除、查看文本文件内容等。然而随着时间的推挤，公司的业务数据不断增加，系统必须支持海量数据的并行查询，以及采用多样的处理规则来针对历史数据进行管理。否则，过多的数据会影响系统的日常使用，如检索速度过慢、存储空间不足、服务器资源消耗过大等问题，也会为企业的长远发展带来一定的困扰。
技术实现要素：
本发明的目的在于提供一种面向集群架构的数据管理系统，解决目前的集群系统中存在的历史数据管理混乱从而造成系统查询功能使用不便，服务器资源消耗过大等问题，达到支持海量数据查询、有效管理历史数据、减轻服务器负载的目的。
本发明通过下述技术方案实现：
一种面向集群架构的数据管理系统，包括数据检索系统、数据压缩系统、老化数据管理系统；
数据检索系统：首先根据不同的数据类型，建立各自的索引库；当用户检索时，根据用户的输入关键字，系统首先判定采用全文检索与索引检索分别需要走的步数，采用步数较少的方式作为该次检索采用的检索方式。
数据压缩系统支持根据不同的文件特点，系统经判定后采用不同的压缩方式；当预判文件压缩后的体积小于200M时，采用gzip压缩；当预判文件压缩后的体积大于200M时，采用lzo压缩；在传输数据的过程中，当传输的数据量过大以致影响传输效率时，采用snappy对传输的数据进行压缩；当文件长达一个月未被使用且占用空间较大时，采用bzip2压缩；
老化数据管理系统，首先根据数据老化因子判定数据是否属于老化数据，若数据被判定属于老化数据，则根据数据老化因子计算判定其老化数据类型，若判定属于重复类型的老化数据，则系统直接将重复数据删除；如果判定属于非重复类型的老化数据，则通过其数据老化因子的计算判定对其进行转移存储或压缩存储。
进一步的，老化数据管理系统中的数据老化因子包括重复率、保存时间、计算时间、计算次数。
进一步的，数据检索系统中的索引库，当所属数据类型的源数据有更新时，索引库随之自动更新。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种面向集群架构的数据管理系统，通过数据检索系统的设置，有效达到提升针对海量数据的查询效率与速度；
2、通过数据压缩系统的设置，根据数据不同类型采取不同的压缩方式，达到了释放系统空间，提升数据传输速率的目的；
3、通过老化数据管理系统的设置，有效清除并采取应对措施管理系统中的老化数据，提升了系统存储空间的使用效率，延长了系统的使用寿命。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
一种面向集群架构的数据管理系统，包括数据检索系统、数据压缩系统、老化数据管理系统；
数据检索系统：首先根据不同的数据类型，建立各自的索引库；当用户检索时，根据用户的输入关键字，首先判定采用全文检索与索引检索分别需要走的步数，采用步数较少的方式作为该次检索采用的检索方式。通过这种系统内部检索方式的判断与选择，大大提升了面对海量数据查询时的效率，减少了检索时间。
数据压缩系统支持根据不同的文件特点，系统经判定后采用不同的压缩方式；当系统预判文件压缩后的体积小于200M时，采用gzip压缩；当系统预判文件压缩后的体积大于200M时，采用lzo压缩；在传输数据的过程中，当传输的数据量过大以致影响传输效率时，采用snappy对传输的数据进行压缩；当文件长达一个月未被使用且占用空间较大时，采用bzip2压缩。针对文件不同的用途与特点，采取不同的压缩方式。保证了最大程度上节省存储空间，提升传输效率。
老化数据管理系统，首先根据数据老化因子判定数据是否属于老化数据，若数据被判定属于老化数据，则根据数据老化因子计算判定其老化数据类型，若判定属于重复类型的老化数据，则系统直接将重复数据删除；如果判定属于非重复类型的老化数据，则通过其数据老化因子的计算判定对其进行转移存储或压缩存储。
进一步的，老化数据管理系统中的数据老化因子包括重复率、保存时间、计算时间、计算次数。
进一步的，数据检索系统中的索引库，当所属数据类型的源数据有更新时，索引库随之自动更新。保证了索引库与源数据互相匹配，保证了采用索引检索时的检索效率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。