技术总结
本发明公开了一种高吞吐数据流处理方法，通过异步数据接收的方式对数据接收和处理，使用少量的接收线程应对尽可能多的客户端发送请求，充分利用接收线程的cpu时间，提升系统整体吞吐率；对接收的数据通过无锁的任务调度方法尽可能快的将其送入业务处理线程进行处理，减少锁开销，保证数据处理的实时性；另外，由于数据接收是一种IO密集型操作，而数据处理是一种cpu密集型操作，将两层分离，分别运行在不同范围的cpu核上，保证数据的接收和处理过程互不干扰，不会出现数据处理线程长时间占用cpu，数据接收线程得不到系统调度运行的情况，而且，接收线程数和处理线程数比例可根据业务需求配置平衡，充分利用系统的cpu和内存资源。
技术研发人员：葛瑞海;张永铮;庹宇鹏
受保护的技术使用者：中国科学院信息工程研究所
文档号码：201611176110
技术研发日：2016.12.19
技术公布日：2017.06.13