技术特征：
技术总结
本发明公开了一种数据流处理方法及系统，属于大数据处理领域，方法包括：由Zookeeper集群确定若干Master节点中的一个作为主节点；由主节点提供对外接口以接收业务的上线请求，并为业务分配任务；由主节点根据多个Worker节点各自上报的当前状态信息，生成任务的配置信息并写入ZooKeeper集群中，配置信息包括指示被调度以执行任务的Worker节点的信息；Worker节点若监听到ZooKeeper集群中存在调度给自己的任务，则启动Flume服务进行执行。本发明实施例能够实现Master节点和Worker节点的高可用性，提升Flume服务的可用性，避免资源使用不均和浪费的问题；并且，能够极大地简化业务上下线操作，降低业务之间的相互影响。
技术研发人员：郭业俊;李浩;王志强;孙迁
受保护的技术使用者：苏宁易购集团股份有限公司
技术研发日：2019.01.18
技术公布日：2019.06.07