。
[0054]第四，升迀日志管理器。日志可以帮助系统处理各类运行时问题，帮助系统分析当前运行状态，升迀系统也不例外。通过升迀日志管理器收集的每次升迀操作的关键日志数据，升迀系统可以很方便的分析出当前操作是新增升迀还是覆盖升迀，并可以通过日志收集异常数据，进而为修复异常数据，定位数据或程序问题提供了依据。
[0055]综上所述，本发明技术方案具有以下效果:
1.为针对大数据量的数据升迀，充分利用内存空间，本发明技术方案采用数据库动态二次分页技术。现有的数据库分页技术每个数据页中查询的数据量是一定的，改为动态分页后，可以更有效利用预设的内存，根据实际数据情况可以有效减少分页次数，提高分页查询效率。
[0056]2.为了灵活支持各种升迀场景需求，使多种升迀方式可以灵活组合使用，本发明技术方案采用升迀方式管理器，这样在应对复杂多变的升迀场景时，就可以将多种升迀方式灵活组合，增强了升迀系统的业务支持范围，减少了升迀系统的二次开发。
[0057]3.为了能更好的结合已有新系统，减少开发成本，加快交付进程。本发明将升迀核心流程抽象成几个功能。其中，数据转换过程，将旧系统数据转换成新系统可识别的数据结构，这样就可以使用很多新系统的API，使新系统和升迀系统建立联系，并利用新系统的很多应用API来保证数据正确性。对比现有升迀系统和新系统往往相对比较孤立，这就造成在真正实施某个升迀项目时，针对新系统需要对原升迀系统进行大量开发，造成开发成本的浪费。
[0058]4.所有升迀均通过配置文件进行调度执行，并开放了多个接口，以适应不同升迀需求，进行快速数据升迀的二次开发。
[0059]最后应说明的是:以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种异构系统间数据升迀系统，其特征在于，包括动态分页控制器、升迀方式管理器、升迀核心处理器和升迀日志管理器； 所述动态分页控制器:采用动态二次分页对数据进行读取； 所述升迀方式管理器:选择每次升迀需要使用的升迀方式，并根据新旧系统的配置情况选择同步还是异步升迀，从而生成调度配置文件； 所述升迀核心处理器:根据升迀方式管理器生成的调度配置文件完成数据的处理； 所述升迀日志管理器:收集的每次升迀操作的关键日志数据。2.根据权利要求1所述的异构系统间数据升迀系统，其特征在于，所述动态分页控制器采用的动态二次分页具体为: 在一次分页时先将需要升迀的业务单据的所有表头主键ID存储到一张临时表中，再从临时表中分批读取一定数量的主键ID到内存中，在二次分页时，直接从内存中分批读取已缓存的主键ID，利用读取的主键ID从旧数据库中将实际业务数据读取到内存中。3.根据权利要求2所述的异构系统间数据升迀系统，其特征在于，上述从内存中分批读取已缓存的主键ID中，读取的主键ID数量是通过分析实际业务数据量动态计算后产生的。4.根据权利要求3所述的异构系统间数据升迀系统，其特征在于，升迀方式管理器管理的升迀方式，包括: 一次升迀:即升迀系统一次性将所有旧系统数据全部升迀到新系统中； 多次升迀:即将整体的升迀时间段拆分，根据拆分的升迀时间段多次进行数据升迀。5.根据权利要求4所述的异构系统间数据升迀系统，其特征在于，所述多次升迀，包括多次新增升迀和多次覆盖升迀， 所述多次新增升迀:即指定时间范围内，新系统的数据库中所有数据都是从旧系统中新增的； 所述多次覆盖升迀:即指定时间范围内针对已升迀过的历史单据进行同步更新，保证新旧系统数据的一致性。6.根据权利要求3所述的异构系统间数据升迀系统，其特征在于，所述升迀核心处理器，包括: 数据查询单元:通过读取需要升迀的业务单据的数据查询配置文件自动生成查询的sql语句，根据数据库动态分页中读取的具体主键ID，读取旧数据库中的业务单据明细，并将读取的数据传输给数据转换单元； 数据转换单元:通过旧系统单据表和新系统单据表各字段的映射关系表，将接收的数据查询单元的数据转换成新系统可识别的数据结构，以便充分利用新系统已开发的各种应用代码； 数据翻译单元:接收数据转换单元的数据，将转换后的数据中档案字段ID翻译成新系统的档案主键ID ； 数据处理单元:对数据翻译单元处理后的数据中进行后台字段填充并校验数据的正确性； 数据保存单元:对数据处理单元处理后的数据进行分类保存。7.根据权利要求6所述的异构系统间数据升迀系统，其特征在于，还包括:预警和修复单元:当数据翻译单元将档案字段ID翻译成新系统的档案主键ID前需要对旧系统中单据的档案字段进行分析，当旧系统中上记录的档案字段有误是，进行异常数据预警和修复。8.根据权利要求6所述的异构系统间数据升迀系统，其特征在于，所述数据转换单元中，旧系统单据表和新系统单据表各字段的映射关系表中的映射关系表为EXCEL表格。9.一种异构系统间数据升迀方法，其特征在于，包括: 采用动态二次分页对数据进行读取； 选择每次升迀需要使用的升迀方式，并根据新旧系统的配置情况选择同步还是异步升迀，从而生成调度配置文件； 根据生成的调度配置文件完成数据的升迀处理； 收集每次升迀操作的关键日志数据。10.根据权利要求9所述的异构系统间数据升迀方法，其特征在于，所述动态二次分页具体为: 在一次分页时先将需要升迀的业务单据的所有表头主键ID存储到一张临时表中，再从临时表中分批读取一定数量的主键ID到内存中，在二次分页时，直接从内存中分批读取已缓存的主键ID，其中，每次读取的已缓存的主键ID的数量是根据分析实际业务数据量动态计算，利用读取的主键ID从旧数据库中将实际业务数据读取到内存中。
【专利摘要】本发明公开了一种异构系统间数据升迁系统和方法，其中，异构系统间数据升迁系统包括动态分页控制器、升迁方式管理器、升迁核心处理器和升迁日志管理器；所述动态分页控制器：采用动态二次分页对数据进行读取；所述升迁方式管理器：选择每次升迁需要使用的升迁方式，并根据新旧系统的配置情况选择同步还是异步升迁，从而生成调度配置文件；所述升迁核心处理器：根据升迁方式管理器生成的调度配置文件完成数据的处理；所述升迁日志管理器：收集每次升迁操作的关键日志数据。系统中四个组件相互协作实现了保证数据完整性、一致性以及提高系统扩展性的优点。
【IPC分类】G06F17/30
【公开号】CN105426419
【申请号】CN201510735226
【发明人】于浩洋
【申请人】用友网络科技股份有限公司
【公开日】2016年3月23日
【申请日】2015年11月3日