技术特征：
技术总结
本发明公开了一种基于流程处理框架的大规模数据处理装置及方法，该装置包括：拓扑构建模块，用于根据XML配置文件构建数据处理拓扑；数据读取模块，用于从数据源读取带有标记的原始数据，并根据标记加载逻辑配置文件，得到附加逻辑配置的数据；数据处理模块，用于接收附加逻辑配置的数据，动态调用处理方法，生成处理结果并进行分流；聚合模块，用于接收分流的处理结果并进行聚合；存储模块，用于接收聚合结果，并将其存储到指定存储介质中。本发明基于流式处理框架，数据处理速度快，能够及时处理新增数据；新增的处理规则在Redis中配置即可动态调用，数据的插入方式多样；在不同场景下只需简单的配置修改即可使用，具有一定的应用前景。
技术研发人员：曾琰;陈敏;张圣栋
受保护的技术使用者：湖南星汉数智科技有限公司
技术研发日：2017.06.26
技术公布日：2017.10.03