分布式队列处理方法及系统的制作方法
【技术领域】
[0001] 本申请涉及计算机技术领域，特别涉及一种分布式队列处理方法及系统。
【背景技术】
[0002] 分布式队列是广泛应用于互联网中的消息异步处理机制，其运行在网络的一个或 多个节点之中，维护一组数据结构作为消息的存储、交换格式，并且提供了相应的消息管 理、访问等功能。消息发送者将消息发出，消息传输至队列并驻留在队列中，直到消息接收 者接收，从而保证了消息传输的可靠性。分布式队列对复杂的系统进行了解耦，发送者与接 收者无需建立直接联系，只要消息的数据结构不变，任何一方的变动将不会影响另一方。
[0003] 目前对于分布式队列中消息的处理，通常由业务程序直接从分布式队列下载数据 并处理，业务程序与分布式队列属于紧耦合。然而，由于没有存储处理数据，当数据处理失 败时，需要发送方重新向队列推送数据。
【发明内容】
[0004] 本申请实施例提供一种分布式队列处理方法，用于解决当数据处理失败时，需要 发送方重新向队列推送数据的问题。
[0005] 本申请实施例还提供一种分布式队列处理系统，用于解决当数据处理失败时，需 要发送方重新向队列推送数据的问题。
[0006] 为解决上述技术问题，本申请实施例提供：
[0007] -种分布式队列处理方法，包括：
[0008] 从队列服务器读取数据；
[0009] 处理所述数据；
[0010] 若所述数据处理失败，存储所述数据至重处理数据存储装置，供重新处理。
[0011] -种分布式队列处理系统，包括：
[0012] 数据读取装置，用于从队列服务器读取数据；
[0013] 数据处理装置，用于处理所述数据；
[0014] 重处理数据存储装置，用于当所述数据处理失败时，存储所述数据，供重新处理。
[0015] 与现有技术相比，本申请实施例具有以下有益效果：
[0016] 本申请实施例中，通过系统本身实现对处理失败的数据进行存储，供后续重新处 理。因此，避免当数据处理失败时，需要发送方重新向队列推送数据的发生，进一步保证系 统的安全可靠，且减少与发送方的交互。
【附图说明】
[0017] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018] 图1是本申请实施例提供的一种分布式队列处理方法的流程示意图；
[0019] 图2是本申请实施例提供的一种分布式队列处理系统的系统结构图；
[0020] 图3是本申请实施例提供的另一种分布式队列处理系统的系统结构图；
[0021] 图4是本申请实施例提供的一种分布式队列处理方法的流程详解图；
[0022] 图5是本申请实施例提供的一种分布式队列处理系统的结构示意图；
[0023] 图6是本申请实施例提供的另一种分布式队列处理方法的流程详解图；
[0024] 图7是本申请实施例提供的另一种分布式队列处理系统的结构示意图；
[0025] 图8是本申请实施例提供的另一种分布式队列处理方法的流程详解图；
[0026] 图9是本申请实施例提供的另一种分布式队列处理系统的结构示意图；
[0027] 图10是本申请实施例提供的另一种分布式队列处理方法的流程详解图；
[0028] 图11是本申请实施例提供的另一种分布式队列处理系统的结构示意图。 具体实施例
[0029]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及 相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一 部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030] 图1是本申请实施例提供的一种分布式队列处理方法的流程示意图。
[0031] 所述分布式队列处理方法的具体包括以下步骤：
[0032]SlOl :从队列服务器读取数据。
[0033] 本实施例中，执行主体可以为队列处理器。所述队列处理器从队列服务器读取数 据。
[0034] S102:处理所述数据。
[0035] 所述队列处理器处理从队列服务器读取到的数据。
[0036] S103:若所述数据处理失败，存储所述数据至重处理数据存储装置，供重新处理。
[0037] 所述队列处理器包括重处理数据存储装置，一种实施例中，所述重处理数据存储 装置可以为重处理数据存储目录。若数据处理失败，所述队列处理器将处理失败的数据存 储至重处理数据存储装置中，供重新处理。
[0038] 进一步的，对从队列服务器读取数据进行说明。从队列服务器读取数据至待处理 数据存储装置。所述分布式队列处理方法还包括：在所述数据处理成功后或所述数据存储 至重处理数据存储装置后，删除所述待处理数据存储装置中的所述数据。
[0039] 所述队列处理器包括待处理数据存储装置，一种实施例中，所述待处理数据存储 装置可以为待处理数据存储目录。所述队列处理器从队列服务器读取数据至待处理数据存 储装置。在数据处理成功后或数据存储至重处理数据存储装置后，删除待处理数据存储装 置中的数据。
[0040] 进一步的，所述分布式队列处理方法还包括：在从所述队列服务器读取数据前，访 问所述重处理数据存储装置。若所述重处理数据存储装置中有数据，从所述重处理数据存 储装置读取数据。对若所述数据处理失败，存储所述数据至重处理数据存储装置，供重新处 理进行说明。若所述数据处理失败，存储所述数据至处理失败数据存储装置，再将所述数据 从所述处理失败数据存储装置转存至所述重处理数据存储装置。
[0041] 所述队列处理器优先访问重处理数据存储装置，若所述重处理数据存储装置中有 数据，从所述重处理数据存储装置读取数据，而不再从所述队列服务器读取数据。若所述重 处理数据存储装置中没有数据，再从所述队列服务器读取数据。所述队列处理器包括处理 失败数据存储装置，一种实施例中，所述处理失败数据存储装置为日志目录。若所述数据处 理失败，所述队列处理器将处理失败的数据存储至处理失败数据存储装置，一定时间后，通 过人工或自动方式，再将处理失败的数据从处理失败数据存储装置转存至重处理数据存储 装直。
[0042] 进一步的，对从队列服务器读取数据进行说明。从队列服务器读取数据至重处理 数据存储装置。所述分布式队列处理方法还包括：在所述数据处理完成后，若所述数据处理 成功，删除所述重处理数据存储装置中的所述数据；若所述数据处理失败，将所述数据存储 在所述重处理数据存储装置中。
[0043] 所述队列处理器包括重处理数据存储装置，一种实施例中，所述重处理数据存储 装置可以为重处理数据存储目录、重处理数据服务器等。所述队列处理器从队列服务器读 取数据至重处理数据存储装置。在所述数据处理完成后，若数据处理成功，删除重处理数据 存储装置中的数据；若数据处理失败，将数据存储在重处理数据存储装置中。一定时间后， 所述队列处理器通过人工或自动方式执行重处理数据存储装置中存储的处理失败的数据。
[0044] 进一步的，所述分布式队列处理方法还包括：在处理所述数据后，将所述数据传送 至数据同步服务器；定时访问所述数据同步服务器