技术总结
本申请提供了一种文本压缩方法，该方法应用在HADOOP集群中，HADOOP集群中的多个机器节点可以使用计算框架MapReduce并行执行该文本压缩方法，该方法在MapReduce的Map阶段，从原始文本文件中，提取采样词组，在MapReduce的Reduce阶段，为每个采样词组设置其所对应的编码，采样词组与编码之间的对应关系可以作为映射函数，映射函数保存在关系数据库中。获得映射函数后，使用映射函数对原始文本文件进行整体压缩，获得压缩文件，并且在接收到待查询词组后，可以使用该映射函数，对待查询词组进行压缩后获得压缩词组，在压缩文件中，查找压缩词组。另外，本申请还提供了一种文本压缩装置。
技术研发人员：郭会;耿鹏
受保护的技术使用者：中国农业银行股份有限公司
文档号码：201610476295
技术研发日：2016.06.24
技术公布日：2016.12.07