技术总结
本发明提供一种基于Storm流式计算框架多并发写文件的方法，包括：利用消息获取任务线程采集原始消息，并将所述原始消息发送给消息处理任务线程；通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中；通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过队列处理线程获取队列中的消息按批次发送给一异步线程池；通过异步线程池根据传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块。本发明还提供一种基于Storm流式计算框架多并发写文件的系统，提高写文件的速度。
技术研发人员：连城;林杰东;杨逸栩
受保护的技术使用者：福建富士通信息软件有限公司
文档号码：201610600236
技术研发日：2016.07.27
技术公布日：2016.12.07