的任务失败数据的数据量;以及
[0092]基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目。
[0093]A4、如A3所述的数据处理方法，所述基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目包括:
[0094]如果所述至少部分消息队列中的特定消息队列中的任务失败数据的数据量大于第一阈值并且所述至少部分消息队列中的其他消息队列中的任务失败数据的数据量小于第二阈值，则将与所述其他消息队列相对应的消费者进程的数目减少特定数目并将与所述特定消息队列相对应的消费者进程的数目增加所述特定数目。
[0095]A5、如Al或A2所述的数据处理方法，所述数据处理方法进一步包括:
[0096]接收与特定消息队列相关的进程调整指令;以及
[0097]根据所述进程调整指令调整与所述特定消息队列相对应的消费者进程的数目。
[0098]A6、如Al所述的数据处理方法，所述利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据包括:
[0099]利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。
[0100]A7、如A6所述的数据处理方法，
[0101]所述数据处理方法进一步包括:
[0102]监测所述数据库的运行状态；
[0103]所述利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务包括:
[0104]当所述数据库的运行状态从异常状态转变为正常状态时，利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。
[0105]AS、如Al至A7任一项所述的数据处理方法，所述接收任务失败数据并对其进行分类包括:
[0106]接收所述任务失败数据并根据所述任务失败数据所指示的失败任务的类型对所述任务失败数据进行分类。
[0107]A9、如Al至AS任一项所述的数据处理方法，所述消息队列设置于内存中。
[0108]本发明实施例还公开了B10、一种数据处理装置，包括:
[0109]分类模块，用于接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；
[0110]存储模块，用于将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及
[0111]处理模块，用于利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。
[0112]BI 1、如BlO所述的数据处理装置，所述数据处理装置进一步包括分配模块，用于为所述消息队列平均分配消费者进程。
[0113]BI2、如BlO或BI I所述的数据处理装置，所述数据处理装置进一步包括:
[0114]队列监测模块，用于监测所述消息队列中的至少部分消息队列中的任务失败数据的数据量；以及
[0115]第一调整模块，用于基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目。
[0116]B13、如B12所述的数据处理装置，所述第一调整模块包括调整子模块，用于如果所述至少部分消息队列中的特定消息队列中的任务失败数据的数据量大于第一阈值并且所述至少部分消息队列中的其他消息队列中的任务失败数据的数据量小于第二阈值，则将与所述其他消息队列相对应的消费者进程的数目减少特定数目并将与所述特定消息队列相对应的消费者进程的数目增加所述特定数目。
[0117]B14、如BlO或Bll所述的数据处理装置，所述数据处理装置进一步包括:
[0118]接收模块，用于接收与特定消息队列相关的进程调整指令;以及
[0119]第二调整模块，用于根据所述进程调整指令调整与所述特定消息队列相对应的消费者进程的数目。
[0120]B15、如BlO所述的数据处理装置，所述处理模块包括执行子模块，用于利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。
[0121]B16、如B15所述的数据处理装置，
[0122]所述数据处理装置进一步包括数据库监测模块，用于监测所述数据库的运行状态；
[0123]所述执行子模块包括执行单元，用于当所述数据库的运行状态从异常状态转变为正常状态时，利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。
[0124]B17、如BlO至B16任一项所述的数据处理装置，所述分类模块包括分类子模块，用于接收所述任务失败数据并根据接收的任务失败数据所指示的失败任务的类型对所述接收的任务失败数据进行分类。
[0125]B18、如BlO至B17任一项所述的数据处理装置，所述消息队列设置于内存中。
【主权项】
1.一种数据处理方法，包括: 接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务； 将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及 利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。2.如权利要求1所述的数据处理方法，其特征在于，在所述利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据之前，所述数据处理方法进一步包括: 为所述消息队列平均分配消费者进程。3.如权利要求1或2所述的数据处理方法，其特征在于，所述数据处理方法进一步包括: 监测所述消息队列中的至少部分消息队列中的任务失败数据的数据量；以及 基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目。4.如权利要求3所述的数据处理方法，其特征在于，所述基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目包括: 如果所述至少部分消息队列中的特定消息队列中的任务失败数据的数据量大于第一阈值并且所述至少部分消息队列中的其他消息队列中的任务失败数据的数据量小于第二阈值，则将与所述其他消息队列相对应的消费者进程的数目减少特定数目并将与所述特定消息队列相对应的消费者进程的数目增加所述特定数目。5.如权利要求1或2所述的数据处理方法，其特征在于，所述数据处理方法进一步包括: 接收与特定消息队列相关的进程调整指令；以及 根据所述进程调整指令调整与所述特定消息队列相对应的消费者进程的数目。6.如权利要求1所述的数据处理方法，其特征在于，所述利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据包括: 利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。7.如权利要求6所述的数据处理方法，其特征在于， 所述数据处理方法进一步包括: 监测所述数据库的运行状态； 所述利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务包括: 当所述数据库的运行状态从异常状态转变为正常状态时，利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。8.如权利要求1至7任一项所述的数据处理方法，其特征在于，所述接收任务失败数据并对其进行分类包括: 接收所述任务失败数据并根据所述任务失败数据所指示的失败任务的类型对所述任务失败数据进行分类。9.如权利要求1至8任一项所述的数据处理方法，其特征在于，所述消息队列设置于内存中。10.—种数据处理装置，包括: 分类模块，用于接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务； 存储模块，用于将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及 处理模块，用于利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。
【专利摘要】本发明公开了一种数据处理方法和装置。该数据处理方法包括：接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。根据本发明实施例的数据处理方法和装置，将任务失败数据进行分类，由与任务失败数据所属类别相对应的消费者进程处理任务失败数据，这样可以提高对任务失败数据的处理速度，避免任务失败数据长期留存在消息队列中，从而可以缓解消息队列的存储压力。
【IPC分类】G06F17/30, G06F9/48
【公开号】CN105701257
【申请号】CN201610201846
【发明人】郭军
【申请人】北京奇虎科技有限公司, 奇智软件（北京）有限公司
【公开日】2016年6月22日
【申请日】2016年3月31日