一种批量业务数据文件处理方法及装置与流程

本发明涉及电信领域，尤其涉及一种批量业务数据文件处理方法及装置。
背景技术：
：批量业务是指对某一业务一次操作产生多条业务结果的操作。通常是在一个业务办理中处理多条数据，产生多个结果的相同操作。在执行批量任务时，需要通过多个相同的进程同时工作。而针对需要新增的批量业务，传统方式是通过新增后台进程来实现(包括上传文件，开发前端页面的程序代码，开发解析文件的程序代码)。并且需要配置与新增进程的相关参数对应的程序代码(例如开发执行上述动作的时间对应的程序代码)。一旦遇到个性化复杂的业务，新增进程将会更加复杂，再加上执行与新增进程的相关参数的对应的程序代码。必然导致业务处理速度减慢，降低工作效率。而且对于工作人员的要求也较高，提高了工作成本。技术实现要素：为解决上述技术问题,本发明提供了一种批量业务数据文件处理方法及装置。第一方面，本发明提供了一种批量业务数据文件处理方法,该方法包括：获取批量业务数据文件；调用预配置的文件模板，将批量业务数据文件配置为可执行文件；获取文件执行时间；根据可执行文件和文件执行时间，生成执行计划并保存；按照执行计划执行可执行文件。本发明的有益效果是：通过预先配置的模板，将批量业务数据文件配置为执行文件。省去了大批量文件在执行之前还需要全部编写代码的过程，而是仅需要对文件模板之外的一小部分内容进行编写代码，从而降低人力和时间成本。配置文件执行时间，根据文件执行时间执行任务，可以尽量避免系统执行任务的高峰期，进一步加快执行任务的速度。进一步，获取批量业务数据文件后，方法还包括：对批量业务数据文件进行解析，获取批量业务数据文件的格式信息；获取对批量业务数据文件进行格式校验的指令信息；根据指令信息，对批量业务数据文件中的数据逐条进行格式校验。采用上述进一步的方案的有益技术效果在于，当获取批量业务数据文件后，实现对业务数据文件进行格式校验，将校验成功的业务数据文件和校验失败的业务数据文件分类存储。以便对校验证据的批量业务数据文件进行后续处理。而对于校验错误的批量业务数据文件则反馈给用户显示，提示用户校验错误，以便用户及时对校验错误的批量业务数据文件进行纠正。进一步，根据指令信息，对批量业务数据文件进行格式校验之后，方法还包括：调用预配置的业务校验指令，对批量业务数据文件中的数据逐条进行业务校验。采用上述进一步的技术方案的有益技术效果在于，在进行格式校验之后，则还需要对业务本身进行校验。即对批量业务数据文件中的数据逐条进行业务校验。在验证成功后生成可执行文件。进一步的，调用预配置的文件模板，具体包括：获取批量业务数据文件的功能和服务标识；根据批量业务数据文件的功能和服务标识，获取预配置的文件模板。采用上述进一步的技术方案的有益技术效果在于:在获取到批量业务文件后，实际还需要获取批量业务数据文件的功能和服务标识。例如，服务标识可以固话服务标识或者移动电话服务标识。根据服务标识和相应的业务数据文件的功能，调用适于该批量业务数据文件的模板。进一步的，根据可执行文件和文件执行时间，生成执行计划并保存，具体包括：对可执行文件设置优先级；根据可执行文件、可执行文件的优先级以及文件执行时间，生成执行计划并保存。采用上述进一步的技术方案的有益技术效果在于:将执行文件根据重要程度设置优先级。并且为优先级较高的批量业务数据文件配置较前的执行时间。以便于优先级高的批量业务数据优先传输。进一步的，按照执行计划执行可执行文件时，方法还包括：当可执行文件的执行时间与系统预先配置的统一执行大于或者等于预设数量执行文件的时间冲突时，若可执行文件的优先级高于预设阈值，则控制可执行文件的执行速度，延长可执行文件的执行时间；或者，若可执行文件的优先级低于预设阈值，则停止执行可执行文件，直至系统执行完成预设数量的执行文件后，重新启动执行可执行文件。采用上述进一步的方案的有益技术效果在于，当执行批量业务数据文件的优先级较高，而与其对应的执行时间处于系统处理批量业务数据文件高峰期时，为了避免和高峰期冲突，导致系统崩溃，可以适当控制该批量业务数据文件的处理速度，延长可执行文件的执行时间。从而在避免系统崩溃的前提下，保证该高优先级的批量业务数据文件的实时处理。若该批量业务数据文件的优先级较低时，则可以暂时停止处理。待系统高峰期过后，再重新启动执行。第二方面，本发明提供了一种批量业务数据文件处理装置，该装置包括：获取单元，用于获取批量业务数据文件；调用单元，调用预配置的文件模板，将批量业务数据文件配置为可执行文件；获取单元还用于，获取文件执行时间；处理单元，用于根据可执行文件和文件执行时间，生成执行计划并保存；按照执行计划执行可执行文件。上述方案的有益技术效果在于，通过预先配置的模板，将批量业务数据文件配置为执行文件。省去了大批量文件在执行之前还需要全部编写代码的过程，而是仅需要对文件模板之外的一小部分内容进行编写代码，从而降低人力和时间成本。配置文件执行时间，根据文件执行时间执行任务，可以尽量避免系统执行任务的高峰期，进一步加快执行任务的速度。进一步的，获取单元还用于，获取批量业务数据文件的功能和服务标识；调用单元还用于，根据批量业务数据文件的功能和服务标识，获取预配置的文件模板。采用上述进一步的方案的有益技术效果在于，在获取到批量业务文件后，实际还需要获取批量业务数据文件的功能和服务标识。例如，服务标识可以固话服务标识或者移动电话服务标识。根据服务标识和相应的业务数据文件的功能，调用适于该批量业务数据文件的模板。进一步的，处理单元具体用于，对可执行文件设置优先级；根据可执行文件、可执行文件的优先级以及文件执行时间，生成执行计划并保存。采用上述进一步的技术方案的有益技术效果在于，将执行文件根据重要程度设置优先级。并且为优先级较高的批量业务数据文件配置较前的执行时间。以便于优先级高的批量业务数据优先传输。进一步的，当可执行文件的执行时间与系统预先配置的统一执行大于或者等于预设数量执行文件的时间冲突时，若可执行文件的优先级高于预设阈值，则控制可执行文件的执行速度，延长可执行文件的执行时间；或者，若可执行文件的优先级低于预设阈值，则停止执行可执行文件，直至系统执行完成预设数量的执行文件后，重新启动执行可执行文件。采用上述进一步的技术方案的有益技术效果在于，当执行批量业务数据文件的优先级较高，而与其对应的执行时间处于系统处理批量业务数据文件高峰期时，为了避免和高峰期冲突，导致系统崩溃，可以适当控制该批量业务数据文件的处理速度，延长可执行文件的执行时间。从而在避免系统崩溃的前提下，保证该高优先级的批量业务数据文件的实时处理。若该批量业务数据文件的优先级较低时，则可以暂时停止处理。待系统高峰期过后，再重新启动执行。附图说明图1为本发明实施例提供的一种批量业务数据文件处理方法流程示意图；图2为本发明实施例提供的一种批量业务数据文件处理方法流程示意图；图3为本发明实施例提供的一种批量业务数据文件处理装置结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透切理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。图1为本发明实施例提供的一种批量业务数据文件处理方法流程示意图。具体如图1所示，该方法包括：步骤110，获取批量业务数据文件。具体的，批量业务一般均以文件形式上传。具体的获取方式可以通过用户上传，也可通过其他方式上传。步骤120，调用预配置的文件模板，将批量业务数据文件配置为可执行文件。步骤130，获取文件执行时间。具体的，获取我呢间执行时间，可以保证后续根据文件执行时间，执行可执行文件。使批量业务数据文件能够有条不紊的执行。步骤140，根据可执行文件和文件执行时间，生成执行计划并保存。生成执行计划后，系统可以自行根据文件执行时间，按照执行计划执行文件，也即是步骤150。而不需要人为干预，节省人力物力，降低工作成本。步骤150，按照执行计划执行可执行文件。本发明实施例提供的一种批量业务数据文件处理方法，通过预先配置的模板，将批量业务数据文件配置为执行文件。省去了大批量文件在执行之前还需要全部编写代码的过程，而是仅需要对文件模板之外的一小部分内容进行编写代码，从而降低人力和时间成本。配置文件执行时间，根据文件执行时间执行任务，可以尽量避免系统执行任务的高峰期，进一步加快执行任务的速度。进一步的，为了更加详细的说明本申请文件的执行过程。本发明实施例还提供了另一种批量业务数据文件处理方法，具体如图2所示，该方法包括：步骤110，获取批量业务数据文件。具体的，批量业务一般均以文件形式上传。具体的获取方式可以通过用户上传，也可通过其他方式上传。可选的，在获取批量业务数据文件后，还可以执行步骤111和步骤112。步骤111，获取批量业务数据文件的功能和服务标识。步骤112，根据业务数据文件的功能和服务标识，来确定预配置的文件模板。例如，服务标识可以为固话服务标识或者移动电话服务标识。根据服务标识确定是哪一类服务。然后根据功能调用与该类服务对应的配置模板。而配置模板可以是用户事先配置好的。进一步可取的，还可以包括步骤113-115。步骤113，对批量业务数据文件进行解析，获取批量业务数据文件的格式信息。步骤114，获取对批量业务数据文件进行格式校验的指令信息。步骤115，根据指令信息，对批量业务数据文件中的数据逐条进行格式校验。对批量业务数据文件进行校验后，将校验成功的业务数据文件和校验失败的业务数据文件进行分类存储，业务数据校验成功后，则可以进行后续步骤。而业务数据校验失败，则返回给用户展示，方便用户及时修改。进一步可选的，还可以包括步骤116，调用预配置的业务校验指令，对批量业务数据文件中的数据逐条进行业务校验。在步骤115中，仅仅是对业务数据的格式进行校验。而本步骤，则是对业务数据本身进行校验。校验成功后，后续可以生成可执行文件。步骤120，调用预配置的文件模板，将批量业务数据文件配置为可执行文件。步骤130，获取文件执行时间。具体的，获取文件执行时间，可以保证后续根据文件执行时间，执行可执行文件。使批量业务数据文件能够有条不紊的执行。步骤140，根据可执行文件和文件执行时间，生成执行计划并保存。生成执行计划后，系统可以自行根据文件执行时间，按照执行计划执行文件，也即是步骤150。而不需要人为干预，节省人力物力，降低工作成本。步骤150，按照执行计划执行可执行文件。可选的，在步骤执行过程中，很有可能批量业务数据文件执行的时间和系统执行业务的高峰时段相冲突。如果在高峰时段处理批量业务数据，不仅会增加业务执行的时间，还可能会造成系统崩溃。那么，在安排批量业务执行时间时，则需要尽量避免高峰时段。如果不可避免的，批量业务数据执行时间正好在高峰时段执行业务数据时，则需要进行相应的调整。首先，对可执行文件设置优先级。在步骤140中，则可以根据可执行文件、可执行文件的优先级以及文件执行时间，生成执行计划并保存。具体的，可执行文件的优先级可以根据业务数据文件的重要程度来设定。当当可执行文件的执行时间与系统预先配置的统一执行大于或者等于预设数量执行文件的时间冲突时，若可执行文件的优先级高于预设阈值，则控制可执行文件的执行速度，延长可执行文件的执行时间；或者，若可执行文件的优先级低于预设阈值，则停止执行可执行文件，直至系统执行完成预设数量的执行文件后，重新启动执行可执行文件。为优先级较高的批量业务数据文件配置较前的执行时间，以便优先级高的批量业务数据优先传输。当执行批量业务数据文件的优先级较高，而与其对应的执行时间处于系统处理批量业务数据文件高峰期时，为了避免和高峰期冲突，导致系统崩溃，可以适当控制该批量业务数据文件的处理速度，延长可执行文件的执行时间。从而在避免系统崩溃的前提下，保证该高优先级的批量业务数据文件的实时处理。若该批量业务数据文件的优先级较低时，则可以暂时停止处理。待系统高峰期过后，再重新启动执行。当然，在批量业务数据文件上传后，系统会统一记录每一条数据，将其存放于预先配置的配置表中，并根据可执行文件和执行时间生成执行计划，然后按照执行计划一条一条的执行数据。相较于现有技术中批量执行数据文件时统一批次上传，统一批次执行，增加了执行文件的缓冲时间。例如，现有技术中统一批次只能上传500条数据，而且必须在某一时间段内执行完毕后，才能继续上传500条批量业务数据文件，然后执行。而本申请文件中，则是将所有业务数据文件同时上传，然后存储至配置表。调用配置模板生成可执行文件，然后根据执行时间一条一条的执行。如此以来，不需要人工监视程序运行过程，不需要多次上传数据。而且，在执行过程中可以根据实际情况设置执行文件时间，延缓了执行文件批量执行时给系统造成的压力，避免了系统崩溃。而且，利用预先配置好的模板，可以适用于大部分批量业务数据文件，针对特殊的少部分批量业务数据文件对模板做适应调整，或者添加少部分程序代码。由此实现对批量业务数据文件的顺利执行，在节省人工成本的同时，提升了执行批量业务数据文件的速度。具体而言，本申请文件具有如下特点：统一部署，所有批量业务均采用统一部署，不需要针对每个批量业务单独开发新的后台进程处理批量业务。只要部署批量业务框架即可。替代了传统方式一个批量业务一个后台程序。统一管理，批量业务框架统一管理进程，线程。针对不同数量级别的业务可以进行统一管理。例如可以将同一类的业务放在一个批量业务进程中执行，对优先级比较高的业务像批量预开户等可以单独的另外的进程中，彼此执行互不影响，提高多并发处理效率。统一配置，包括：执行时间配置、停顿时间配置、执行时间的限制配置以及执行到期后处理方式配置。1、执行时间的配置通过执行时间的配置，可以有效的防止后台批量作业对营业高峰时大批量订单的产生造成的订单竣工缓慢，保证了营业单个业务的办理效率。2、停顿时间的配置针对高优先级别的批量业务，同样为了避免营业高峰和单个业务的主机资源争抢，通过批量业务停顿时间的配置。可以让高优先级任务略微缓慢的执行，配合执行时间的配置，可以更灵活的支撑批量业务的执行时间。配置在数据库中调整，实时生效。同时针对批量业务中涉及到发送开关机平台的业务可以通过该配置，可以对效率处理不高的平台减少批量订单的压力。3、执行时间的限制配置针对某些业务优先级别比较低的业务，可以通过执行时间的限制控制页面上选择的业务执行开始结束时间，避免低优先级任务因为人为失误造成的对其他业务的影响。4、执行到期后处理方式配置现在提供三种方式，延迟，继续执行，废弃。系统中每一个批量业务均会设置开始结束时间，当结束时间到期时，批量业务如果还没有执行完成，通过该配置可以选择性处理批量业务。“延迟”操作主要应用于如果批量业务执行结束时间到了营业高峰时间没有执行完成，也不能继续执行了，要延迟执行采用此方式。“继续执行”主要应用的场景是当设置的时间没有特别要求的时候可以采用此方式。“废弃”当到达指定的时间没有执行完，不再执行，此方式主要用于一异常的处理，正常时间设置的时间可以完成，但是没有完成在不再执行后续操作，此时则需要人工干预。此外，还可以包括支撑对订单业务以及非订单业务的配置。具体的，在生成执行计划后还需要对批量业务数据逐个创建订单。这种业务则可以成为订单业务。而有一些则为非订单业务。通过此配置，可以保证批量业务框架对crm全业务的支撑。下面，则附上利用本申请的上述实施例在执行批量业务之前或者执行过程中会生成的表格数据。表1：功能与功能文件关系表，主要用于确定功能服务对应的文件信息关系。从而确定根据批量业务数据文件的功能和服务标识，调用哪个校验服务的指令。表1表2：文件模板，主要用于记录每个业务文件需要下载的最大行数、文件标识、文件名称等基本信息。表2表3：文件列表：用于记录每一个文件中的多条数据。表3字段类型空说明file_idnumber(8)notnull文件标识column_idnumber(10)notnull列标识column_namevarchar2(128)notnull列英文简称min_lengthnumber(4)notnull最小长度max_lengthnumber(4)notnull最大长度column_data_typevarchar2(10)notnull列数据类型column_expressionvarchar2(128)notnull列正则表达式example_datavarchar2(60)示例数据column_ordernumber(4)notnull列序号is_nullvarchar2(1)notnull是否可空save_datevarchar2(20)notnull存储字段表4：批量业务后台执行过程记录表：主要用于调度程序执行轨迹表，从“未执行”到“执行完成”中间出现问题“终止执行”的轨迹表。表4字段类型空说明plan_codenumber(10)notnull执行计划编码exe_acceptnumber(18)notnull执行流水step_codenumber(4)notnull执行步骤step_numnumber(4)notnull执行序列号is_overvarchar2(2)notnull是否完成exe_right_numnumber(10)notnull执行完成数量exe_error_numnumber(10)notnull执行异常数量exe_star_timedatenotnull执行开始时间exe_end_timedatenotnull执行结束时间exe_numnumber(10)notnull执行总数量op_loginnumber(8)notnull操作人op_timedatenotnull操作时间op_acceptnumber(18)notnull操作流水op_codevarchar2(8)notnull操作代码remarkvarchar2(128)备注表5：批量业务后台执行表：根据表四状态流转到“执行中”的数据的执行结果存储在这个表里。表5字段类型空说明plan_codenumber(4)notnull执行计划编码exe_acceptnumber(18)notnull执行流水exe_right_numnumber(10)notnull正常执行数量exe_error_numnumber(10)notnull校验异常数量exe_order_numnumber(10)notnull订单处理完成数量order_right_numnumber(10)notnull订单处理成功数量order_error_numnumber(10)notnull订单创建失败数量exe_star_timedatenotnull执行开始时间exe_end_timedatenotnull执行结束时间exe_numnumber(10)notnull执行总数量op_loginnumber(8)notnull操作人op_timedatenotnull操作时间op_acceptnumber(18)notnull操作流水op_codevarchar2(8)notnull操作代码remarkvarchar2(128)备注表6批量业务后台执行明细表：表5的一个明细数据的记录，针对每条数据的一个处理。表6表7：批量业务后台执行计划表：是一个配置表，按照此配置要求配置后改批量程序会结合配置完成业务的执行。表7表8：执行步骤配置：是一个步骤的配置表，记录码值方便后续维护表8字段类型空说明step_codenumber(4)执行步骤编码step_namevarchar2(50)执行步骤名称step_svervarchar2(100)执行步骤服务step_timevarchar2(2)执行步骤时间相应地，本发明实施例还提供了一种批量业务数据文件处理装置。图3为本发明实施例提供的一种批量业务数据文件处理装置结构示意图。如图3所示，该装置包括：获取单元301，调用单元302以及处理单元303。获取单元301，用于获取批量业务数据文件。调用单元302，调用预配置的文件模板，将批量业务数据文件配置为可执行文件。获取单元301还用于，获取文件执行时间。处理单元303，用于根据可执行文件和文件执行时间，生成执行计划并保存。按照执行计划执行可执行文件。可选的，该装置还可以包括校验单元304，用于对批量业务数据文件进行解析，获取批量业务数据文件的格式信息；获取对批量业务数据文件进行格式校验的指令信息；根据指令信息，对批量业务数据文件中的数据逐条进行格式校验。进一步的，校验单元304还可以用于调用预配置的业务校验指令，对批量业务数据文件中的数据逐条进行业务校验。可选的，获取单元301还用，获取批量业务数据文件的功能和服务标识；根据批量业务数据文件的功能和服务标识，获取预配置的文件模板。处理单元303具体用于，对可执行文件设置优先级；根据可执行文件、可执行文件的优先级以及文件执行时间，生成执行计划并保存。处理单元303还用于，当可执行文件的执行时间与系统预先配置的统一执行大于或者等于预设数量执行文件的时间冲突时，若可执行文件的优先级高于预设阈值，则控制可执行文件的执行速度，延长可执行文件的执行时间；或者，若可执行文件的优先级低于预设阈值，则停止执行可执行文件，直至系统执行完成预设数量的执行文件后，重新启动执行可执行文件。本发明实施例提供的一种批量业务数据文件处理装置中各部件所执行的功能均以在上两个实施例所对应的批量业务数据文件处理方法中做了详细介绍，这里将不再赘述。本发明实施例提供的一种批量业务数据文件处理装置，通过预先配置的模板，将批量业务数据文件配置为执行文件。省去了大批量文件在执行之前还需要全部编写代码的过程，而是仅需要对文件模板之外的一小部分内容进行编写代码，从而降低人力和时间成本。配置文件执行时间，根据文件执行时间执行任务，可以尽量避免系统执行任务的高峰期，进一步加快执行任务的速度。读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。当前第1页12