一种数据处理方法与流程

文档序号:11236699

本发明属于互联网数据处理方法设计技术领域,具体涉及一种可以加快处理效果和保证用户体验效果的数据处理方法。



背景技术:

随着互联网行业的发展,基于大量用户访问数据,避免网站奔溃成了各大互联网公司的主要研究方向,现有技术的对实时处理用户方式中,当出现一段时间内待处理的数据量突然增大超过当前应用的处理能力或处理过程中产生一些失败时,通常是通过在处理过程中慢慢排队处理或对失败的处理进行重试。这样的方式易导致当前处理过程被占用,后续产生的用户行为数据得不到实时处理的缺陷,影响用户体验。



技术实现要素:

本发明的目的在于提供一种可以及时处理新产生用户行为的数据,加快处理效率并提高用户体验舒适度的数据处理方法。

本发明技术方案的一种数据处理方法,包括以下步骤:

步骤一、获取当前的用户行为数据;

步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量,若否则启用第一数据处理应用处理所述用户行为数据,并结束流程,若是则执行步骤三;

步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中,将其余数据放入重试数据队列中;

步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理,并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理。

优选的,所述数据处理方法还包括以下步骤:

步骤五、实时获取数据处理的结果,并将处理失败的数据放入到重试数据队列中。

优选的,所述步骤二及步骤四中的数据处理包括数据的分析、筛选和/或存储。

优选的,所述第一数据处理应用和重试数据处理应用基于不同的硬件设备实施。

优选的,所述用户行为数据包括用户浏览网页产生的数据。

本发明技术有益效果:

本发明技术方案的一种数据处理方法,不会因为处理过程中的异常导致后续的用户行为数据得不到及时处理,确保在各种情形下用户的行为数据始终能够得到实时的处理和使用。

附图说明

图1为本发明一种数据处理方法结构示意图。

具体实施方式

为便于本领域技术人员理解本发明技术方案,现结合说明书附图对本发明技术方案做进一步的说明。

如图1所示,本发明技术方案的一种数据处理方法,包括以下步骤:

步骤一、获取当前的用户行为数据;

步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量,若否则启用第一数据处理应用处理所述用户行为数据,并结束流程,若是则执行步骤三;

步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中,将其余数据放入重试数据队列中;

步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理,并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理。

所述数据处理方法还包括以下步骤:

步骤五、实时获取数据处理的结果,并将处理失败的数据放入到重试数据队列中。

所述步骤二及步骤四中的数据处理包括数据的分析、筛选和/或存储。

所述第一数据处理应用和重试数据处理应用基于不同的硬件设备实施。

所述用户行为数据包括用户浏览网页产生的数据。

本发明技术方案在上面结合附图对发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种非实质性改进,或未经改进将发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围之内。

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1