技术总结
本发明涉及计算机技术领域，公开了一种日志数据的存储方法及系统，所述方法包括：将日志数据按照所属实体簇的不同划分为多个日志记录分片；将各个日志记录分片分别写入分布式消息队列的不同主题；采用多线程方式，将所述分布式消息队列的不同主题中存放的日志记录分片并行装载到分布式文件系统。本发明实施例提出的日志数据的存储方法及系统，不仅实现了日志数据的无丢失暂存与快速装载，而且还能够保证日志数据以方便查询的格式装载到数据仓库中。
技术研发人员：陈跃国;覃雄派;杜小勇;金国栋;丛一鸣;刘阳
受保护的技术使用者：中国人民大学
文档号码：201610797898
技术研发日：2016.08.31
技术公布日：2017.01.25