一种基于Actor模型的数据处理重试方法
【技术领域】
[0001]本发明涉及大数据处理技术领域，特别是一种基于Actor模型的数据处理重试方法。
【背景技术】
[0002]随着云时代的来临，大数据也吸引了越来越多的关注，也产生了一系列的大数据处理技术与方法，其中流式处理是其中一种关键技术。在大数据的流式处理过程中，通常会依赖各种各样的外部服务，比如存储至NOSQL库、索引系统。当这些外部服务，出现异常情况下，数据将无法正常处理，导致数据无法进入下一处理环节，从而丢失宝贵的数据。
[0003]中国发明专利CN104317970A公开了一种基于数据加工中心的数据流式处理方法，所述数据加工中心预定义有包括数据校验、排序、聚合和分组的加工方法步骤，以及两个不同加工方法步骤之间的连接关系;数据加工中心还设置有用于连接数据源的数据源接入端口、用于连接用户界面的数据加工方法及流程定义接入端口、目标数据输出端口以及用于连接流程监控单元的加工流程监控接口；数据流式处理方法包括数据获取、流式处理配置、数据加工方法配置以及目标数据源的获得等步骤，用户可通过用户界面配置数据的获得等步骤，用户可通过界面配置数据加工方法和定义数据加工流程，从而得到相应的目标数据源。虽然，此发明利用大数据平台采用数据流式处理，可提高大数据处理速度，扩大可支持的数据加工方法种类范围;但是，无法再出现异常情况时，正常处理数据。
【发明内容】
[0004]本发明需要解决的技术问题提供一种在外部服务出现异常情况时，数据还能正常处理的大数据处理方法。
[0005]为解决上述的技术问题，本发明的一种基于Actor模型的数据处理重试方法，包括以下步骤，
[0006]步骤SlOl:数据处理，本数据处理环节Actor进行数据处理；
[0007]步骤S102:处理情况判断，判断数据处理后，处理情况是否正常，如果是，则进入步骤S107 ；如果否，则进入步骤S103 ；
[0008]步骤S103:判断是否有重试处理机会，判断处理情况异常的数据是否还有重试处理机会，如果否，则进入步骤S106;如果是，则进入步骤S104;
[0009]步骤S104:数据消息发送，将处理情况异常的数据消息发送至重试处理器；
[0010]步骤S105:重试数据处理，取出重试处理器中的数据发送至本数据处理环节Actor，返回步骤SlOl ；
[0011]步骤S106:丢弃消息，将没有重试处理机会的数据消息丢弃，不再将数据发送下一数据处理环节处理；
[0012]步骤S107:下一数据环节处理，数据处理情况正常的数据进入下一数据环节处理。
[0013]进一步的，所述步骤S104中将数据消息发送至重试处理器前更新待重试的重试次数以及降低延迟处理时间。
[0014]更进一步的，所述步骤S105中重试处理器根据数据延迟处理时间，取出带最短的延迟处理时间的数据，发送至本数据处理环节Actor。
[0015]更进一步的，所述步骤S105中重试处理器根据数据延迟处理时间的不同将数据存入到延迟队列中，从而从延迟队列中取出带最短延迟处理时间的数据。
[0016]采用上述方法后，本发明充分确保异常数据得到正确的处理；另外，通过延迟队列，确保数据重试的处理的优先级，保证急需处理的数据得到优先处理;利用Actor模型，保证待重试处理的数据与待处理数据，均能得到处理，确保数据的正常处理。
【附图说明】
[0017]下面将结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0018]图1为本发明一种基于Actor模型的数据处理重试方法的流程图。
【具体实施方式】
[0019]如图1所示，本发明的一种基于Actor模型的数据处理重试方法，包括以下步骤，
[0020]步骤SlO 1:数据处理，本数据处理环节Actor进行数据处理。利用Actor模型，保证待重试处理的数据与待处理数据，均能得到处理，确保数据的正常处理
[0021 ] 步骤S102:处理情况判断，判断数据处理后，处理情况是否正常，如果是，则进入步骤S107 ；如果否，则进入步骤S103。
[0022]步骤S103:判断是否有重试处理机会，判断处理情况异常的数据是否还有重试处理机会，如果否，则进入步骤S106;如果是，则进入步骤S104。
[0023]步骤S104:数据消息发送，更新待重试的重试次数以及降低延迟处理时间，将处理情况异常的数据消息发送至重试处理器。
[0024]步骤S105:重试数据处理，根据数据延迟处理时间，将数据存入到延迟队列中，从而从延迟队列中取出带最短延迟处理时间的数据发送至本数据处理环节Actor，返回步骤S101。通过延迟队列，确保数据重试的处理的优先级，保证急需处理的数据得到优先处理。
[0025]步骤S106:丢弃消息，将没有重试处理机会的数据消息丢弃，不再将数据发送下一数据处理环节处理。
[0026]步骤S107:下一数据环节处理，数据处理情况正常的数据进入下一数据环节处理。
[0027]虽然以上描述了本发明的【具体实施方式】，但是本领域熟练技术人员应当理解，这些仅是举例说明，可以对本实施方式作出多种变更或修改，而不背离发明的原理和实质，本发明的保护范围仅由所附权利要求书限定。
【主权项】
1.一种基于Actor模型的数据处理重试方法，其特征在于，包括以下步骤， 步骤SlOI:数据处理，本数据处理环节Actor进行数据处理； 步骤S102:处理情况判断，判断数据处理后，处理情况是否正常，如果是，则进入步骤S107 ；如果否，则进入步骤S103 ； 步骤S103:判断是否有重试处理机会，判断处理情况异常的数据是否还有重试处理机会，如果否，则进入步骤S106;如果是，则进入步骤S104 ； 步骤S104:数据消息发送，将处理情况异常的数据消息发送至重试处理器； 步骤S105:重试数据处理，取出重试处理器中的数据发送至本数据处理环节Actor，返回步骤SlOl; 步骤S106:丢弃消息，将没有重试处理机会的数据消息丢弃，不再将数据发送下一数据处理环节处理； 步骤S107:下一数据环节处理，数据处理情况正常的数据进入下一数据环节处理。2.按照权利要求1所述的一种基于Actor模型的数据处理重试方法，其特征在于:所述步骤S104中将数据消息发送至重试处理器前更新待重试的重试次数以及降低延迟处理时间。3.按照权利要求2所述的一种基于Actor模型的数据处理重试方法，其特征在于:所述步骤S105中重试处理器根据数据延迟处理时间，取出带最短的延迟处理时间的数据，发送至本数据处理环节Actor。4.按照权利要求3所述的一种基于Actor模型的数据处理重试方法，其特征在于:所述步骤S105中重试处理器根据数据延迟处理时间的不同将数据存入到延迟队列中，从而从延迟队列中取出带最短延迟处理时间的数据。
【专利摘要】本发明涉及大数据处理技术领域，特别是一种基于Actor模型的数据处理重试方法，包括以下步骤，步骤S101：数据处理；步骤S102：处理情况判断，判断数据处理后，处理情况是否正常，如果是，则进入步骤S107；如果否，则进入步骤S103；步骤S103：判断是否有重试处理机会，判断处理情况异常的数据是否还有重试处理机会，如果否，则进入步骤S106；如果是，则进入步骤S104；步骤S104：数据消息发送；步骤S105：重试数据处理，返回步骤S101；步骤S106：丢弃消息；步骤S107：下一数据环节处理。采用上述方法后，本发明充分确保异常数据得到正确的处理；另外，通过延迟队列，确保数据重试的处理的优先级，保证急需处理的数据得到优先处理；确保数据的正常处理。
【IPC分类】G06F17/30
【公开号】CN105677705
【申请号】CN201510995649
【发明人】曹志富
【申请人】湖南蚁坊软件有限公司
【公开日】2016年6月15日
【申请日】2015年12月28日