消息队列的消费方法及装置与流程

本发明涉及通信技术领域，具体涉及一种消息队列的消费方法及装置。

背景技术：

目前，当业务前端生产者产生消息之后，通常是将待处理的消息存储于消息队列的消息分区中，然后交由后端的消费端进行处理。在现有技术中，每当消费端的消费任务启动时，默认根据之前记录的当前数据偏移进行消费。

但是，发明人在实现本发明的过程中发现，现有技术中的上述方式至少存在下述缺陷：由于消息队列中存储的消息数据会定期进行删除，一旦之前记录的当前数据偏移所对应位置的消息已被删除，则会导致消费失败现象，由此会影响整个数据处理系统的正常运行。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的消息队列的消费方法及装置。

根据本发明的一个方面，提供了一种消息对列的消费方法，包括：当消费任务启动时，获取所述消费任务对应的消息队列的最旧数据偏移；将所述消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较；当所述最旧数据偏移小于所述当前数据偏移时，根据所述当前数据偏移读取该消息队列中的消息数据；每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址更新所述预先存储的该消息队列的当前数据偏移。

可选地，当所述最旧数据偏移不小于所述当前数据偏移时，根据所述最旧数据偏移读取该消息队列中的消息数据。

可选地，所述消息队列具有多个消息分区，且所述预先存储的该消息队列的当前数据偏移包括：该消息队列的各个消息分区的当前数据偏移；所述获取所述消息队列的最旧数据偏移具体为：分别获取所述消息队列的各个消息分区的最旧数据偏移；所述将所述消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较的步骤具体为：分别将所述消息队列的各个消息分区的最旧数据偏移与预先存储的该消息队列相应的消息分区的当前数据偏移进行比较；所述根据该条消息数据对应的偏移地址更新所述存储的该消息队列的当前数据偏移的步骤具体为：根据该条消息数据对应的偏移地址更新该消息队列相应的消息分区的当前数据偏移。

可选地，所述根据该条消息数据对应的偏移地址更新所述预先存储的该消息队列的当前数据偏移的步骤具体包括：创建用于更新当前数据偏移的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；当该事务中包含的第一操作和第二操作都执行成功时，向后台数据库提交该事务；当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务。

可选地，所述获取所述消息队列的最旧数据偏移的步骤具体包括：与用于维护所述消息队列的队列服务器之间建立通信连接，通过所述通信连接获取所述消息队列的最旧数据偏移。

可选地，所述消息队列为分布式消息队列。

依据本发明的另一方面，提供了一种消息对列的消费装置，包括：获取模块，适于当消费任务启动时，获取所述消费任务对应的消息队列的最旧数据偏移；比较模块，适于将所述消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较；读取模块，适于当所述最旧数据偏移小于所述当前数据偏移时，根据所述当前数据偏移读取该消息队列中的消息数据；更新模块，适于每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址更新所述预先存储的该消息队列的当前数据偏移。

可选地，所述读取模块进一步适于：当所述最旧数据偏移不小于所述当前数据偏移时，根据所述最旧数据偏移读取该消息队列中的消息数据。

可选地，所述消息队列具有多个消息分区，且所述预先存储的该消息队列的当前数据偏移包括：该消息队列的各个消息分区的当前数据偏移；所述获取模块具体适于：分别获取所述消息队列的各个消息分区的最旧数据偏移；所述比较模块具体适于：分别将所述消息队列的各个消息分区的最旧数据偏移与预先存储的该消息队列相应的消息分区的当前数据偏移进行比较；所述更新模块具体适于：根据该条消息数据对应的偏移地址更新该消息队列相应的消息分区的当前数据偏移。

可选地，所述更新模块具体适于：创建用于更新当前数据偏移的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；当该事务中包含的第一操作和第二操作都执行成功时，向后台数据库提交该事务；当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务。

可选地，所述获取模块具体适于：与用于维护所述消息队列的队列服务器之间建立通信连接，通过所述通信连接获取所述消息队列的最旧数据偏移。

可选地，所述消息队列为分布式消息队列。

在本发明提供的一种消息队列的消费方法及装置中，每当消费任务启动时，能够获取到该消费任务对应的消息队列的最旧数据偏移，并将该消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较，只有在最旧数据偏移小于当前数据偏移时，才根据当前数据偏移读取该消息队列中的消息数据。由此可见，本申请中的方式能够判断出当前数据偏移所对应位置的消息是否已被删除，从而避免了消费失败的现象，提升了整个数据处理系统的可靠性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例一提供的一种消息队列的消费方法的流程示意图；

图2示出了本发明实施例二提供的一种消息队列的消费方法的流程示意图；

图3示出了本发明实施例三提供的一种消息队列的消费装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种消息队列的消费方法及装置，至少能够解决现有技术中默认根据之前记录的当前数据偏移进行消费所导致的消费失败的技术问题。

实施例一

图1示出了本发明实施例一提供的一种消息队列的消费方法的流程示意图，该方法包括：

步骤S110：当消费任务启动时，获取所述消费任务对应的消息队列的最旧数据偏移。

其中，消费任务是指：消费端读取并处理消息队列的任务。其中，一个消息队列可能对应一个或多个消费任务，一个消费任务也可能对应一个或多个消息队列。当一个消费任务启动时，获取该消费任务对应的消息队列的最旧数据偏移。其中，消费任务的启动包括消费任务第一次开启以及消费任务中断后的重启等各种情形。

步骤S120：将该消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较。

具体地，获取到该消息队列的最旧数据偏移之后，进一步获取预先存储的该消息队列的当前数据偏移，以便将最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较。其中，该消息队列的当前数据偏移可以通过多种方式进行存储，例如，可以由执行该消费任务的消费端存储在本地，也可以由专门的后台数据库负责存储，本发明对该消息队列的当前数据偏移的存储方式不做限定。

步骤S130：当最旧数据偏移小于当前数据偏移时，根据当前数据偏移读取该消息队列中的消息数据。

具体地，若最旧数据偏移小于当前数据偏移，则说明当前数据偏移所对应位置处的消息尚未删除，因此，当前数据偏移为有效偏移，相应地，可以根据当前数据偏移进行读取。例如，若最旧数据偏移为30，当前数据偏移为50，则从50开始读取消息队列中的消息数据。

步骤S140：每当从消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址更新预先存储的该消息队列的当前数据偏移。

通过本步骤能够动态更新记录的当前数据偏移，以确保每次消费任务启动时获取到的当前数据偏移的准确性。

由此可见，本申请中的方式能够判断出当前数据偏移所对应位置的消息是否已被删除，从而避免了消费失败的现象，提升了整个数据处理系统的可靠性。

实施例二

图2示出了本发明实施例二提供的一种消息队列的消费方法的流程示意图，如图2所示，该方法包括：

步骤S210：当消费任务启动时，获取该消费任务对应的消息队列的最旧数据偏移。

其中，消费任务是指：消费端读取并处理消息队列的任务。其中，一个消息队列可能对应一个或多个消费任务，一个消费任务也可能对应一个或多个消息队列。消费任务的启动包括消费任务第一次开启以及消费任务中断后的重启等各种情形。另外，在本实施例中，为了便于说明，仅以一个消费任务为例进行描述，在实际场景中，通常有多个消费任务并行执行，相应地，需要分别针对每个消费任务并行执行步骤S210及其后续的各个步骤，以实现多任务的并行处理。

当一个消费任务启动时，执行该消费任务的消费端负责获取该消费任务对应的消息队列的最旧数据偏移。具体地，本领域技术人员可以灵活通过各种获取最旧数据偏移，本发明对此不作限定。在本实施例中，为了确保获取到的最旧数据偏移的准确性，需由执行该消费任务的消费端与用于维护消息队列的队列服务器之间建立通信连接，通过该通信连接获取消息队列的最旧数据偏移。

具体地，发明人在实现本发明的过程中发现：在现有技术中，执行该消费任务的消费端仅在消费消息时，才会与用于维护消息队列的队列服务器建立一条用于读取消息的数据链路，由于该数据链路是在消息读取过程中建立的，因此，在消费任务刚刚启动时，该数据链路尚未建立，因而显然无法通过该数据链路获取队列服务器上存储的消息队列的最旧数据偏移，因此，在现有技术中，执行该消费任务的消费端显然无法根据队列服务器获取最旧数据偏移，由此导致现有技术中的消息消费方式无法获取到准确的最旧数据偏移，进而无法有效避免消息消费失败现象。在本发明中，发明人提出了如下改进方案：在执行该消费任务的消费端消费消息之前，与用于维护消息队列的队列服务器之间建立一条专用的通信连接，通过该专用的通信连接获取消息队列的最旧数据偏移，从而能够根据队列服务器获取到准确的最旧数据偏移。

步骤S220：将消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较，当最旧数据偏移小于当前数据偏移时，则执行步骤S230；当最旧数据偏移不小于当前数据偏移时，则执行步骤S240。

具体地，获取到该消息队列的最旧数据偏移之后，进一步获取预先存储的该消息队列的当前数据偏移，以便将最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较。其中，该消息队列的当前数据偏移可以通过多种方式进行存储，例如，可以由执行该消费任务的消费端存储在本地，也可以由专门的后台数据库负责存储，本发明对该消息队列的当前数据偏移的存储方式不做限定。

在本实施例中，为了提升当前数据偏移的准确性，解决由于消费端出现故障重启后所导致的本地存储的当前数据偏移丢失等问题，将当前数据偏移存储在后台数据库中，由后台数据库记录各个消费任务对应的消息队列的当前数据偏移。具体实现时，可以在后台数据库上设置偏移信息列表，该偏移信息列表中记录了各个消费任务的任务标识与各个消费任务对应的当前数据偏移之间的映射关系。该偏移信息列表随着消费任务的消费进度而动态更新。具体地，消费任务对应的消费端可以在任务启动时建立与后台数据库之间的通信连接，并通过该通信连接向后台数据库发送携带该消费任务的任务标识的请求信息，后台数据库根据接收到的请求信息中包含的任务标识，查询上述的偏移信息列表，若从该偏移信息列表中查询到了该任务标识对应的消费任务的当前数据偏移，则向该消费任务对应的消费端返回携带当前数据偏移的响应消息，当消费端接收到该响应消息时，确定获取当前数据偏移的操作结果为成功；若从该偏移信息列表中未查询到该任务标识对应的消费任务的当前数据偏移，则向该消费任务对应的消费端返回失败消息，当消费端接收到该失败消息时，确定获取当前数据偏移的操作结果为失败。通常情况下，偏移信息列表会记录所有消费任务对应的消息队列的当前数据偏移，但是，当一个消费任务首次启动时，该偏移信息列表可能尚未记录该消费任务对应的消息队列的当前数据偏移，因此，可能会出现未查询到当前数据偏移的情况，从而导致获取当前数据偏移的操作结果失败。

步骤S230：根据当前数据偏移读取该消息队列中的消息数据。

具体地，若最旧数据偏移小于当前数据偏移，则说明当前数据偏移所对应位置处的消息尚未删除，因此，当前数据偏移为有效偏移，相应地，可以根据当前数据偏移进行读取。例如，若最旧数据偏移为30，当前数据偏移为50，则从50开始读取消息队列中的消息数据。

通过当前数据偏移进行读取，能够有效防止重复消费的现象，由于在某些工程中，要求消息队列中的消息数据只能消费一次，一旦消息队列中的部分消息数据出现了重复消费的现象，则会对整个工程造成不可估量的损失，因此，通过当前数据偏移进行读取的方式尤其适用于严格限定消息的消费次数的应用场景中。

步骤S240：根据最旧数据偏移读取该消息队列中的消息数据。

其中，若最旧数据偏移不小于当前数据偏移，则说明当前数据偏移所对应位置处的消息已被删除，因此，当前数据偏移为无效偏移，相应地，可以根据最旧数据偏移进行读取。例如，若最旧数据偏移为80，当前数据偏移为50，则从80开始读取消息队列中的消息数据。

具体地，消息队列中存储的消息数据由负责维护该消息队列的队列服务器定期更新，更新操作具体包括：向消息队列中持续写入新的消息数据，以及定期删除消息队列中旧的消息数据。例如，假设消息队列中原本存储了100条数据，其对应的偏移地址为1-100，此时，消息队列的最旧数据偏移为1(即：消息队列中存储的数据中时间最早的数据的偏移为1)，消息队列的最大数据偏移为100(即：消息队列中存储的数据中时间最晚的数据的偏移为100)。经过一段时间后，消息队列中又新增了200条数据，该新增的200数据对应的偏移地址为101-300，与此同时，为了防止消息队列的存储空间不足，队列服务器删除了其中偏移为1-50的50条数据，相应地，消息队列的最旧数据偏移为51，消息队列的最大数据偏移为300。由此可见，消息队列的最旧数据偏移是动态变化的，小于最旧数据偏移的偏移地址所对应的消息已被删除，因此，小于最旧数据偏移的偏移地址为无效地址，因此，在本实施例中，为了防止由于消费端从无效地址处开始消费所导致的消费失败现象，需要将当前数据偏移与最旧数据偏移进行比较判断。其中，消息队列的有效数据范围是由上述的最旧数据偏移和最大数据偏移所界定的数据范围，例如，在上例中，消息队列的有效数据范围从最初的[1,100]变更为[51,300]。相应地，当获取到的当前数据偏移属于有效范围内时，例如，当消息队列的有效数据范围为[1,100]时，若读取到的当前数据偏移为49，则说明当前数据偏移属于有效范围内，因而根据当前数据偏移进行读取。当获取到的当前数据偏移不属于有效范围内时，例如，当消息队列的有效数据范围为[51,300]时，若读取到的当前数据偏移为49，则说明当前数据偏移不属于有效范围内，因而根据有效数据范围中的最旧数据对应的位置(即偏移地址为51的位置)进行读取。具体地，由于维护各个消息对列的队列服务器上准确而及时地记录了各个消息队列的有效数据范围，因此，在本实施例中，由消费端与队列服务器建立通信连接并获取最旧数据偏移的方式能够有效提升最旧数据偏移的准确性。

步骤S250：每当从消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址更新预先存储的该消息队列的当前数据偏移。

通过本步骤能够动态更新当前数据偏移，以确保每次消费任务启动时获取到的当前数据偏移的准确性。具体更新频率可由本领域技术人员灵活设定，例如，除了采用每读取一条消息数据即进行一次更新操作的方式之外，在本发明其他的实施例中，还可以采用每隔预设时间间隔更新一次当前数据偏移的方式，具体的时间间隔可根据业务类型灵活设定。例如，对于业务可靠性要求较高的情况，将时间间隔设置得较短，以保证当前数据偏移的及时更新；对于业务可靠性要求较低的情况，将时间间隔设置得较长，以降低设备负载及网络传输开销。

另外，以当前数据偏移存储在后台数据库中为例，发明人在实现本发明的过程中发现，在根据该条消息数据对应的偏移地址更新后台数据库中存储的该消息队列的当前数据偏移时，若仅向后台数据库中写入当前已读取消息所对应的偏移信息，而不写入该偏移信息所对应的具体消息内容，则一旦因传输异常等原因导致写入的偏移信息出现失效或错误时，无法及时发现并纠正，进而会导致重复消费甚至消费失败等现象。因此，在后台数据库中更新消息队列的当前数据偏移时，需要同时写入已读取的最新消息数据所对应的偏移地址以及该条消息数据的数据内容，以防止出错。但是，由于写入已读取的最新消息数据所对应的偏移地址以及写入该条消息数据的数据内容时涉及到两次操作，即使将这两次操作通过并行执行的线程同步完成，也依然可能出现其中的一次操作执行成功而另一次操作执行失败的异常情况。例如，假设写入已读取的最新消息数据所对应的偏移地址的操作的执行结果为成功，但是写入该条消息数据的数据内容的操作的执行结果为失败，而此时恰逢消费端因故重启，则重启后的消费端从后台数据库中获取到的当前数据偏移所对应的消息内容实际上还未消费成功，因此，若消费端根据获取到的当前数据偏移进行消费则会遗漏该偏移信息所对应的消息内容。又如，假设写入该条消息数据的数据内容的操作的执行结果为成功，但是写入已读取的最新消息数据所对应的偏移地址的操作的执行结果为失败，而此时恰逢消费端因故重启，则重启后的消费端从后台数据库中获取到的当前数据偏移实际上为已读取的最新消息数据的上一个数据所对应的偏移信息，因此，若消费端根据获取到的当前数据偏移进行消费则会导致重复消费现象。

为了解决上述问题，发明人通过下述方式实现在后台数据库中更新消息队列的当前数据偏移的操作过程：首先，创建用于更新当前数据偏移的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；然后，检测该事务中包含的第一操作和第二操作的执行结果，当该事务中包含的第一操作和第二操作都执行成功时，向后台数据库提交该事务；当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务，可选地，在回滚事务的同时，还可以重启相应的消费任务。由此可见，每当在后台数据库中更新消息队列的当前数据偏移时，需要为本次更新操作创建一个事务，该事务是一个并发控制的单位，也叫自定义的一个操作序列，操作序列中包含的各个操作属于一个不可分割的工作单位，只有当该操作序列中的所有操作全部执行成功时，该事务才算执行完毕；只要该操作序列中有一个操作未执行成功，就会导致该事务执行失败。相应地，本实施例中的后台数据库为支持事务的数据库。通过将用于写入该条消息数据对应的偏移地址的第一操作以及用于写入该条消息数据的数据内容的第二操作全部添加到用于更新的事务当中，能够确保只有在两种操作都执行成功时，才向后台数据库提交本次事务，只要两种操作中有一个操作未执行成功，则回滚该事务，并重启相应的消费任务，以确保更新操作的准确性，进而确保消费的准确性，有效避免重复消费的现象。由于消费任务每次重启后都会从没有被成功消费的地方开始消费，进而还确保了每个数据块被严格消费一次。

另外，与将当前数据偏移存储在消费端本地的方式相比，将当前数据偏移存储在后台数据库中还可以有效防止因消费端故障所导致的当前数据偏移丢失的问题。

通过上述的各个步骤即可确保消息队列的准确消费、并防止重复消费以及消费失败的现象。

另外，本领域技术人员还可以对上述实施例进行各种改动和变形。例如，可以将上述实施例中的各个步骤拆分成更多的步骤，或合并为更少的步骤，还可以调整各个步骤之间的执行顺序，甚至可以删减部分步骤或新增一些步骤，总之，本发明对具体的实现细节不做限定。

而且，在上述实施例中，是以消息队列为单位进行描述的，在实际情况中，一个消息队列往往具有多个消息分区，相应地，消费任务通过消费各个消息分区的方式实现对整个消息队列的消费，而且，一个消息队列还可能对应于多个消费任务，每个消费任务负责消费预定的一个或多个消息分区。此时，上述实施例中提到的消费任务对应的消息队列的当前数据偏移可以进一步细化为消费任务对应的消息分区的当前数据偏移。与之相应地，预先存储的该消息队列的当前数据偏移包括：该消息队列的各个消息分区的当前数据偏移；上述获取消息队列的最旧数据偏移的步骤具体为：分别获取消息队列的各个消息分区的最旧数据偏移；上述将消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较的步骤具体为：分别将消息队列的各个消息分区的最旧数据偏移与预先存储的该消息队列相应的消息分区的当前数据偏移进行比较；上述根据该条消息数据对应的偏移地址更新存储的该消息队列的当前数据偏移的步骤具体为：根据该条消息数据对应的偏移地址更新该消息队列相应的消息分区的当前数据偏移。另外，上述实施例中的消息队列可以采用分布式消息队列实现，从而更好地支持各类并行业务。

综上所述，通过本实施例中的消息队列的消费方法，一方面，能够由后台数据库记录各个消费任务对应的消息队列的当前数据偏移，从而根据后台数据库记录的当前数据偏移进行消费，实现防止重复消费的目的；另一方面，还能够从队列服务器中获取消息队列的有效数据范围，进而判断从后台数据库获取到的当前数据偏移是否属于有效数据范围之内，并在判断结果为否时根据有效数据范围进行消费，实现防止消费失败的目的。并且，在上述过程中，进一步利用事务来实现更新操作，从而有效提升了更新操作的准确性。

实施例三

图3示出了本发明实施例三提供的一种消息队列的消费装置的结构示意图，如图3所述，该消息对列的消费装置包括：

获取模块31，适于当消费任务启动时，获取所述消费任务对应的消息队列的最旧数据偏移；

比较模块32，适于将所述消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较；

读取模块33，适于当所述最旧数据偏移小于所述当前数据偏移时，根据所述当前数据偏移读取该消息队列中的消息数据；

更新模块34，适于每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址更新所述预先存储的该消息队列的当前数据偏移。

其中，所述读取模块33进一步适于：当所述最旧数据偏移不小于所述当前数据偏移时，根据所述最旧数据偏移读取该消息队列中的消息数据。

其中，所述消息队列具有多个消息分区，且所述预先存储的该消息队列的当前数据偏移包括：该消息队列的各个消息分区的当前数据偏移；所述获取模块31具体适于：分别获取所述消息队列的各个消息分区的最旧数据偏移；所述比较模块32具体适于：分别将所述消息队列的各个消息分区的最旧数据偏移与预先存储的该消息队列相应的消息分区的当前数据偏移进行比较；所述更新模块34具体适于：根据该条消息数据对应的偏移地址更新该消息队列相应的消息分区的当前数据偏移。

其中，所述更新模块34具体适于：创建用于更新当前数据偏移的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；当该事务中包含的第一操作和第二操作都执行成功时，向后台数据库提交该事务；当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务。

可选地，所述获取模块31具体适于：与用于维护所述消息队列的队列服务器之间建立通信连接，通过所述通信连接获取所述消息队列的最旧数据偏移。其中，所述消息队列为分布式消息队列。

上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述，此处不再赘述。

在本发明提供的一种消息队列的消费方法及装置中，每当消费任务启动时，能够获取到该消费任务对应的消息队列的最旧数据偏移，并将该消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较，只有在最旧数据偏移小于当前数据偏移时，才根据当前数据偏移读取该消息队列中的消息数据。由此可见，本申请中的方式能够判断出当前数据偏移所对应位置的消息是否已被删除，从而避免了消费失败的现象，提升了整个数据处理系统的可靠性。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的消息队列的消费装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了：A1、一种消息对列的消费方法，包括：

当消费任务启动时，获取所述消费任务对应的消息队列的最旧数据偏移；

将所述消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较；

当所述最旧数据偏移小于所述当前数据偏移时，根据所述当前数据偏移读取该消息队列中的消息数据；

每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址更新所述预先存储的该消息队列的当前数据偏移。

A2、根据A1所述的方法，其中，当所述最旧数据偏移不小于所述当前数据偏移时，根据所述最旧数据偏移读取该消息队列中的消息数据。

A3、根据A1或A2所述的方法，其中，所述消息队列具有多个消息分区，且所述预先存储的该消息队列的当前数据偏移包括：该消息队列的各个消息分区的当前数据偏移；

所述获取所述消息队列的最旧数据偏移具体为：分别获取所述消息队列的各个消息分区的最旧数据偏移；

所述将所述消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较的步骤具体为：分别将所述消息队列的各个消息分区的最旧数据偏移与预先存储的该消息队列相应的消息分区的当前数据偏移进行比较；

所述根据该条消息数据对应的偏移地址更新所述存储的该消息队列的当前数据偏移的步骤具体为：根据该条消息数据对应的偏移地址更新该消息队列相应的消息分区的当前数据偏移。

A4、根据A1-A3任一所述的方法，其中，所述根据该条消息数据对应的偏移地址更新所述预先存储的该消息队列的当前数据偏移的步骤具体包括：

创建用于更新当前数据偏移的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；

当该事务中包含的第一操作和第二操作都执行成功时，向后台数据库提交该事务；当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务。

A5、根据A1-A4任一所述的方法，其中，所述获取所述消息队列的最旧数据偏移的步骤具体包括：

与用于维护所述消息队列的队列服务器之间建立通信连接，通过所述通信连接获取所述消息队列的最旧数据偏移。

A6、根据A1-A5任一所述的方法，其中，所述消息队列为分布式消息队列。

本发明还公开了：B7、一种消息对列的消费装置，包括：

获取模块，适于当消费任务启动时，获取所述消费任务对应的消息队列的最旧数据偏移；

比较模块，适于将所述消息队列的最旧数据偏移与预先存储的该消息队列的当前数据偏移进行比较；

读取模块，适于当所述最旧数据偏移小于所述当前数据偏移时，根据所述当前数据偏移读取该消息队列中的消息数据；

更新模块，适于每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址更新所述预先存储的该消息队列的当前数据偏移。

B8、根据B7所述的装置，其中，所述读取模块进一步适于：当所述最旧数据偏移不小于所述当前数据偏移时，根据所述最旧数据偏移读取该消息队列中的消息数据。

B9、根据B7或B8所述的装置，其中，所述消息队列具有多个消息分区，且所述预先存储的该消息队列的当前数据偏移包括：该消息队列的各个消息分区的当前数据偏移；

所述获取模块具体适于：分别获取所述消息队列的各个消息分区的最旧数据偏移；

所述比较模块具体适于：分别将所述消息队列的各个消息分区的最旧数据偏移与预先存储的该消息队列相应的消息分区的当前数据偏移进行比较；

所述更新模块具体适于：根据该条消息数据对应的偏移地址更新该消息队列相应的消息分区的当前数据偏移。

B10、根据B7-B9任一所述的装置，其中，所述更新模块具体适于：

创建用于更新当前数据偏移的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；

当该事务中包含的第一操作和第二操作都执行成功时，向后台数据库提交该事务；当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务。

B11、根据B7-B10任一所述的装置，其中，所述获取模块具体适于：

与用于维护所述消息队列的队列服务器之间建立通信连接，通过所述通信连接获取所述消息队列的最旧数据偏移。

B12、根据B7-B11任一所述的装置，其中，所述消息队列为分布式消息队列。