本发明涉及数据采集、数据仓库、归并排序方法，特别涉及一种基于数据采集与对账的系统及方法。
背景技术：
：：1、目前的数据对账工作主要依托于人力与物力的堆砌，每天的对账工作需要在多个对账的表单中进行处理，手工工作量繁杂，只能依靠人力，缺乏有效的管理，在多个数据源之间进行处理时很容易造成差错，容错率极低，缺乏复杂情况下的有效应应急处理方式。2、系统建设目标是利用自动化手段建立功能齐全、操作实用，并与企业业务现状相适应的数据采集与对账系统，逐步满足各业务数据对账的需要，实现对账数据的传输流畅准确，安全高效，减少人工对账成本，提高业务数据对账的质量，防范风险，保障资金的安全。3、基于哈希表(hash-table)数据结构的比对算法表中元素没有排序，对账差异调平时需要元素是有序的，不能高效的进行比对排序。技术实现思路1、本发明要解决的技术问题是提供一种基于数据采集与对账的系统及方法。2、为了解决上述技术问题，本发明的技术方案为：3、一种基于数据采集与对账的系统，包括：4、数据采集接口模块，用于接收用户通过人机交互界面制定的配置采集规则；5、核对模块，用于根据所述配置采集规则对本系统数据和目标系统数据进行核对，所述本系统和所述目标系统为异构数据仓库。6、所述核对模块包括：7、任务分解单元，用于将数据核对任务分解成至少一个子任务，每一个子任务都与由至少一条指令组成的指令集相关联；8、操作单元，用于分别根据每组指令集，通过调用相应的采集指令从业务系统采集原始数据；9、报告分析单元，用于根据所述适配规则对所述数据进行动态适配处理，以生成本系统可识别的资源对象，所述本系统可识别的资源对象对应所述本系统的信息表的一部分，所述本系统的信息表的内容为待核对的本系统资源对象；10、数据组装单元：用于将每个子任务所对应生成的本系统可识别的资源对象进行组装，以生成待核对的业务系统资源对象，所述待核对的业务系统资源对象对应所述本系统的信息表；11、核对单元：用于根据所确定的核对数据项，将待核对的业务系统资源对象与本系统的信息表进行比对，并标注比对结果，然后根据核对规则进行数据同步处理。12、一种基于数据采集与对账系统的方法，包括以下步骤：13、步骤s1，接入业务系统，采集数据源，配置采集接口规则；14、步骤s2，通过步骤s1采集数据，传输至目标表；15、步骤s3，通过将不同源的数据采集加工成标准化或易于对账的数据，为对账系统数据对账做准备；16、步骤s4，通知对账系统，所需对账的源数据表在哪儿，归属哪个业务线；17、步骤s5，待对账数据和对账结果数据均存储在数据仓库表中，记录数据的插入时间以及插入序号；18、步骤s6，对账业务数据处理准实时进行，各接入渠道采集源数据，均按日期分区存储，并进行数据分片；19、步骤s7，确定业务系统数据源和本系统数据之间的关系；20、步骤s8，确定需要进行核对的数据，并在本系统内建立信息表；21、步骤s9，定时检查每一个对账作业，判断是否需要进行对账，如果是，则会生成一个对账任务；22、步骤s10，针对步骤s9生成的对账任务，分批将对账所需的参数，向步骤s8提交任务进行对账并输出结果。23、利用基于哈希表(hash-table)数据结构的比对算法对数据采集结果进行对账。24、所述信息表的内容为待核对的本系统资源对象，配置数据核对任务，并配置核对任务的触发类型和处理类型，为所述数据核对任务配置子任务，并将所述子任务与由至少一条指令组成的一组指令集做关联，配置指令的回复数据报文的适配规则，根据所述适配规则从业务系统动态提取数据，并将所提取的数据与所述信息表的信息内容做映射，配置核对规则，所述核对规则确定核对数据项。25、所述配置核对规则所需的配置项目为查询字段、对比字段、主键字段、数据源、查询范围、汇总条件、输出表。26、所述业务系统数据源和本系统数据之间的关系包括一对一、一对多及多对多的关系。27、与现有技术相比，本发明的有益效果为：28、1、本发明在数据仓库中，通过数据管道对各个业务线的业务数据进行etl抽取，并全部存储到对账系统集群，可以通过计算对数据进行加工处理。29、2、在对账系统集群中，通过通用化的设计，简洁的配置，高效率的比对，使得对账环节能够解决大多数业务线的通用的数据对账问题。30、3、开放对账结果查询接口，业务系统自主的进行调账，对差异数据进行对比调整。技术特征：1.一种基于数据采集与对账的系统，其特征在于，包括：2.根据权利要求1所述的基于数据采集与对账的系统，其特征在于，3.一种基于数据采集与对账系统的方法，其特征在于：包括以下步骤：4.根据权利要求3所述的基于数据采集与对账系统的方法，其特征在于：利用基于哈希表(hash-table)数据结构的比对算法对数据采集结果进行对账。5.根据权利要求3所述的基于数据采集与对账系统的方法，其特征在于：所述信息表的内容为待核对的本系统资源对象，配置数据核对任务，并配置核对任务的触发类型和处理类型，为所述数据核对任务配置子任务，并将所述子任务与由至少一条指令组成的一组指令集做关联，配置指令的回复数据报文的适配规则，根据所述适配规则从业务系统动态提取数据，并将所提取的数据与所述信息表的信息内容做映射，配置核对规则，所述核对规则确定核对数据项。6.根据权利要求5所述的基于数据采集与对账系统的方法，其特征在于：所述配置核对规则所需的配置项目为查询字段、对比字段、主键字段、数据源、查询范围、汇总条件、输出表。7.根据权利要求3所述的基于数据采集与对账系统的方法，其特征在于：所述业务系统数据源和本系统数据之间的关系包括一对一、一对多及多对多的关系。技术总结本发明涉及数据采集、数据仓库、归并排序方法，特别涉及一种基于数据采集与对账的系统，包括：数据采集接口模块，用于接收用户通过人机交互界面制定的配置采集规则；核对模块，用于根据所述配置采集规则对本系统数据和目标系统数据进行核对，所述本系统和所述目标系统为异构数据仓库。本发明还公开了一种基于数据采集与对账系统的方法。本发明在数据仓库中，通过数据管道对各个业务线的业务数据进行ETL抽取，并全部存储到对账系统集群，可以通过计算对数据进行加工处理。在对账系统集群中，通过通用化的设计，简洁的配置，高效率的比对，使得对账环节能够解决大多数业务线的通用的数据对账问题。技术研发人员：陈坤,章莉受保护的技术使用者：贵州多彩宝互联网服务有限公司技术研发日：技术公布日：2024/1/12