异步数据处理方法和异步数据处理系统的制作方法
【技术领域】
[0001]本发明涉及数据处理领域，具体而言，涉及一种异步数据处理方法和异步数据处理系统。
【背景技术】
[0002]在信息自动化处理中，企业单位的内部数据和外部数据之间经常存在着不同步的情形，因此异步数据处理是准确执行业务流程的关键技术。例如，企事业单位在银行中的存款实际数目是通过“银行对账单”来反映的，企事业单位的出纳人员的一项重要日常工作就是照实将用户日记账定期与“银行对账单”进行核对，至少每月核对一次。
[0003]由于用户和银行的账务处理和入账时间不一样，往往发生双方账面不一致的情况，为了防止记账发生错误，正确反映银行存款的实际余额，用户必须定期将用户银行日记账与银行提供的对账单进行核对，并编制银行存款余额调节表。不同用户对于不同的用户对账的规则也不同，再加上一线电商用户订单量的剧增，势必在对账逻辑处理和海量数据上带来很大瓶颈。
【发明内容】
[0004]有鉴于此，本发明提供一种异步数据处理方法和相应的数据处理系统，用以核对用户日记账和银行对账单数据。
[0005]根据本发明的一个方面，提供一种异步数据处理方法，包括:建立比对规则，所述比对规则用于匹配用户数据和银行数据;在缓冲单元中存储用户数据和银行数据;从缓冲单元获取用户数据和银行数据;根据所述比对规则比较所述用户数据和所述银行数据，从而获得标记信息；以及根据所述标记信息生成表单。
[0006]优选地，所述用户数据为用户记账数据，所述银行数据为银行对账单数据，所述比对规则是用于匹配用户记账数据和银行对账单数据的对账规则。
[0007]优选地，所述建立对账规则包括针对所述用户账户建立所述对账规则。
[0008]优选地，所述针对用户账户建立对账规则包括:针对所述用户账户建立多个规则表达式。
[0009]优选地，所述针对用户账户建立对账规则还包括:指定所述多个规则表达式的执行顺序。
[0010]优选地，所述多个规则表达式执行精确匹配、模糊匹配和金额匹配中的至少一种。
[0011]优选地，所述比较所述用户数据和所述银行数据包括:将所述用户记账数据和所述银行对账单数据的属性字段代入到所述规则表达式，返回是否匹配的布尔值。
[0012]优选地，存储用户记账数据和银行对账单数据包括:与用户财务系统和目标银行支付系统建立连接;从所述用户财务系统和所述支付系统分别获得所述用户记账数据以及所述银行对账单数据；以及将所述用户记账数据以及所述银行对账单数据存入缓冲单元。
[0013]优选地，所述缓冲单元包括选自消息队列、内存、数据库和硬盘至少之一的缓冲区。
[0014]优选地，所述标记信息包括已达账标记和未达账标记。
[0015]优选地，所述表单包括余额调节表，未达账明细表、已达账明细表和用户余额表。
[0016]优选地，所述数据处理办法还包括:定期将匹配成功的所述用户记账数据和银行对账单数据归档。
[0017]根据本发明的另一方面，提供一种异步数据处理系统，包括:规则创建单元，用于建立比对规则，所述比对规则用于匹配用户数据和银行数据;缓冲单元，用于存储用户数据和银行数据;数据获取单元，用于从缓冲单元获取用户数据和银行数据;数据处理单元，用于根据所述比对规则比较所述用户数据和所述银行数据，从而获得标记信息；以及表单生成单元，用于根据所述标记信息生成表单。
[0018]优选地，所述用户数据为用户记账数据，所述银行数据为银行对账单数据，所述比对规则是用于匹配用户记账数据和银行对账单数据的对账规则。
[0019]优选地，所述建立对账规则包括针对所述用户账户建立所述对账规则。
[0020]优选地，所述规则创建单元针对所述用户账户建立多个规则表达式。
[0021]优选地，所述规则创建单元还指定所述多个规则表达式的执行顺序。
[0022]优选地，所述多个规则表达式执行精确匹配、模糊匹配和金额匹配中的至少一种。
[0023]优选地，数据处理单元包括:将所述用户记账数据和所述银行对账单数据的属性字段代入到所述规则表达式进行计算，并且返回是否匹配的布尔值。
[0024]优选地，所述缓冲单元执行以下步骤:与用户财务系统和目标银行支付系统建立连接;从所述用户财务系统和所述银行支付系统分别获得所述用户记账数据以及所述银行对账单数据；以及将所述用户记账数据以及所述银行对账单数据存入缓冲单元。
[0025]优选地，所述缓冲单元包括选自消息队列、内存、数据库和硬盘至少之一的缓冲区。
[0026]优选地，所述标记信息包括已达账标记和未达账标记。
[0027]优选地，所述表单包括余额调节表，未达账明细表，银行存款表和已达账表单。
[0028]优选地，所述数据处理系统还包括:定期将匹配成功的所述用户记账数据和银行对账单数据归档。
[0029]优选地，所述数据处理系统还包括:任务创建单元，用于创建定时启动所述数据处理系统的任务。
[0030]优选地，所述任务处理一个或多个所述用户账户的数据。
[0031 ] 优选地，所述任务创建单元记录所述任务启动时间，终止时间、运行结果以及运行次数。
[0032]优选地，所述数据处理系统还包括:人工处理单元，用于根据用户指令所述用户记账数据和银行对账单数据。
[0033]优选地，根据所述运行次数确定是否启动人工处理单元。
[0034]根据本发明实施例的异步数据处理方法和系统，将用户数据和银行数据存储在缓冲单元中，利用比对规则进行比较并生成调度表。该缓冲单元的使用可以减轻数据阻塞，从而克服逻辑处理和海量数据上的瓶颈。
[0035]在上述的比较步骤之后获得标记信息，因此可以在后续的数据处理中不再重复处理一部分相关数据，从而可以减少数据处理量，进一步减轻数据阻塞和提高数据处理效率。
[0036]该异步数据处理方法包括建立比对规则的步骤，因而可以灵活配置比对规则。由于比对规则的独立性，比对规则与业务耦合低，可以实现规则透明、易于理解、可扩展性高、便于维护。
[0037]通过设置比对规则进行数据比较，减少人工干预环节，提供效率。另外通过将数据处理系统设置在任务中运行，提高计算机工作效率。
【附图说明】
[0038]通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中:
[0039]图1是根据本发明实施例的异步数据处理方法的流程图；
[0040]图2是根据本发明实施例的数据处理系统的结构图；
[0041]图3是根据本发明另一实施例的数据处理系统的示意图。
【具体实施方式】
[0042]以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
[0043]附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
[0044]图1是根据本发明实施例的异步数据处理方法的流程图。所述数据处理方法包括步骤101-步骤107。
[0045]在步骤101中，针对用户账户建立对账规则。对账规则为用户账户设置的多个规则表达式，所述对账规则用于匹配用户记账数据和银行对账单数据。在对账规则里，指定用户记账数据和银行对账单数据对应关系，包括多个规则表达式，并指定上述规则表达式的执行顺序。可以通过可视化的规则配置页面输入对账规则。
[0046]在一个可选的实施例中，每个对账规则都包括一个规则主题和多个规则表达式组成。规则主题一般包含用户账号。规则表达式里表示用户记账数据和银行对账单数据的属性字段的对应关系。对账规则可以通过多个数据库表或配置文件保存。
[0047]在步骤102中，在缓冲单元中存储用户记账数据和银行对账单数据。在一个优选的实施中，缓冲单元与用户财务系统和目标银行支付系统建立连接，从所述用户财务系统和所述支付系统分别获得所述用户记账数据以及所述银行对账单数据，以及将所述用户记账数据以及所述银行对账单数据存入缓冲单元。所述缓冲单元包括选自消息队列、内存、数据库和硬盘至少之一的缓冲区。在消息队列和内存中存储的数据作为临时数据，例如用于spark基于内存计算处理。在数据库和硬盘中存储的数据作为持久性数据。
[0048]在步骤103中，从缓冲单元获取用户记账数据和银行对账单数据。
[0049]在步骤104中，根据对账规则比较用户记账数据和银行对账单数据。在本步骤中，首先获取对应的对账规则的表达式，以及根据表达式的执行顺序，然后根据表达式和执行顺序进行计算。在一个可选的实施例中，将用户记账数据和银行对账单数据的属性字段代入到所述规则表达式，返回是否匹配的布尔值，根据多个表达式的布尔值确定比较结果。在一个可选的实施中，根据布尔值的逻辑表达式，确定比较结果。
[0050]在步骤105中，判断数据匹配。在步骤103中，根据对账规则对用户记账数据和银行对账单数据进行比对，在本步骤中，对比对结果进行判断。
[0051 ]在步骤106中，匹配不成功的用户记账数据和银行对账单数据标记为未达账。
[0052]在步骤107中，匹配成功用户记账数据和银行对账单数据标记为已达账。
[0053]在步骤106-107中，标记匹配成功和匹配失败的用户日记账和银行对账单