技术总结
本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法，属于海量数据统计分析领域。本发明通过五方面来进行优化：引入lucene作为可选存储介质；对每个数据文件的检索字段增加bloomfilter索引(bf索引)；对不同检索场景的划分及最优存储介质的选择；在进行lucene检索场景时，将类SQL语句转换为lucene语句；对lucene存储介质和bf索引添加有效性的会话级设置。在检索时，首先判定bf索引会话级的有效性，通过bf索引缩小待检索数据文件列表，再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗，大幅度提升了海量数据的检索性能。
技术研发人员：王宇;徐晓燕;周渊;刘庆良;郑彩娟;王振宇;黄成;李斌斌;周游;刘斌斌
受保护的技术使用者：北京赛思信安技术股份有限公司;国家计算机网络与信息安全管理中心
文档号码：201610849786
技术研发日：2016.09.26
技术公布日：2017.03.08