应用级可靠的数据交换平台的制作方法
【技术领域】
[0001] 本发明涉及应用级可靠的数据交换平台。
【背景技术】
[0002] 数据交换平台在企业/政府在信息化的建设上已投入多年，送么多年的信息化建 设造就了各企业/政府均拥有了多套提供不同功能的系统，在系统应用的初期，企业/政府 的效率借助电脑化的运转得到了明显的提升，但随着系统应用的深入，各套系统产生的数 据越来越多，此时出现了如下现象：
[0003] 1、同样的数据在各套系统中出现、维护：
[0004] 在多套系统中不断出现重复的数据，例如人员的基本信息出现在各套系统中，系 统应用人员不得不在各套系统中重复的录入和维护送些基本信息。
[0005] 2、系统应用人员要在各套系统中切换来获取数据：
[0006] 当系统应用人员需要获取其他系统中的数据时，不得不登录到其他系统中，查询 到相关数据，人工提取其中的部分数据录入到需要用送些数据的系统中。
[0007] 3、只能手工来综合各套系统中的数据进行分析和统计：
[0008] 当需要获取几套系统的数据进行统计分析时，只能在各套系统中先查找出相关的 数据，最后手工的来进行统计和分析。
[0009] 在送样的现象下，在企业和政府的日常运转时出现了不少重复性的工作，大量的 数据分散在各套系统中，形成了"信息孤岛"。
[0010] 在数据越来越多的情况下，信息整合的需求显得越来越为迫切，企业/政府希望 多套系统的数据能够联系在一起，并可W共享，W提升企业的/政府的运转效率，业界各家 厂商对于送种现象开始提供各种各样的企业应用集成的产品。
[0011] 在进行信息整合的实现过程中，通常的实现步骤是：
[0012] 实现数据的整合，打通各套系统之间的数据通道；
[0013] 实现业务的整合，打通各套系统之间的业务处理；
[0014] 实现系统的整合，实现统一的口户；
[0015] 在送样一个漫长的Η步过程中，数据交换平台产品承担了第一步的重任，毕竟只 有在第一步完成的情况下才能继续后续的步骤，而送也正是数据交换平台产品所需承担的 重责，为了实现数据的整合，数据交换平台产品需提供如下功能：
[001引数据的可靠传输：
[0017] 数据需可靠的从系统A传输到系统Β或多个其他系统中，不论传输过程中出现应 用处理的异常还是网络异常、断电异常等状况，应做到尽可能的完成数据的传输，对于极端 出现的异常则应准确无误、清晰的告诉使用者数据传输在哪一步出现了异常，是什么异常， W及应如何进行处理。
[0018] 数据传输作为一个频繁进行的过程，需要做到高效的完成。
[0019] 各种应用在进行数据传输时会需要在传输的过程中进行一些业务的处理，送就要 求了数据传输的过程需要支持可定制化。
[0020] 数据的灵活转换：
[0021] 当数据从系统A传输到系统B或多个其他系统后，通常需要将数据进行转换才能 进入系统B或多个其他系统中，送个转换过程中包括各种各样的需求，有直接插入系统B的 数据库的需求、有调用系统B提供的接口的需求等，送些在数据交换平台上都需要给予支 持。
[0022] 基于数据整合的服务：
[0023] 在实现了数据的整合后，需要基于送些整合的数据生成新的报表、提供决策支持、 提供数据查询服务、开发新的应用的服务等，使得数据的整合发挥出极大的效用。
[0024] 所W要满足W下需求：
[0025] 1、数据上报的高效和稳定：
[0026] 于二代证的制作信息有出现阶段性高峰的现象，系统必须能保证在高峰期仍然完 成数据的及时上报，在数据上报的过程中，对于有异常状况导致上传未成功的数据都要給 予明确的提醒，W便人工进行修复。
[0027] 2、数据的实时交换：
[0028] 数据的实时交换要求提供高效的数据传输和处理的支撑。
[0029] 3、客户可自行维护数据上报和交换的规则：
[0030] 数据的上报和交换规则随着系统的运行会出现改变，因此客户要求后续可自行的 进行上报和交换规则的维护。
[0031] 对送些需求进行抽象，可W归纳为需要提供数据移植、数据定时交换W及实时交 换的支持，并且要求做到可视化的简易维护。
[0032] 4、数据移植：
[0033] 需提供可视化的工具来配置将数据从一个或多个数据源提取，进行自定义规则的 数据转换，最终写入一个或多个目标数据源中。
[0034] 移植的数据量通常都会比较的大，因此要求工具能自动的进行数据的分块读取、 并行转换和分块写入，保证数据移植的高效。
[0035] 同时为了保证数据移植过程中数据的一致性，要求工具能够对移植失败的数据进 行提醒，W人工进行规则的调整或手工修复。
[0036] 5、数据定时交换：
[0037] 需提供可视化的工具来配置定时将数据从一个或多个数据源提取，进行自定义规 则的数据转换，并将形成的标准格式的数据文件传到远程的一个或多个目的地，目的地在 接收到数据文件后根据配置的转换规则进行转换，并持久到一个或多个数据源中。
[0038] 定时交换的数据量会比较的大，因此要求在传输过程中能做到自动的分块传输。
[0039] 对于数据的传输而言，最高的要求在于数据传输的可靠性，要保证数据在正常情 况下100%的到且仅到一次，在异常情况下能有自动重试、通知等策略，对于重试失败的数 据传输应有明确的错误信息的说明。
[0040] 数据实时交换和定时交换不同的地方在于需要支持触发时的执行数据的转换和 传输。
[0041] 根据送样的分析，在此项目中，需要提供一套送样的数据交换平台来实现需求。
[0042] 可视化的数据转换工具，支持多种数据转换的规则W及自定义规则，高效、稳定的 完成数据的转换。
[0043] 数据传输平台，支持多种触发策略，与数据转换工具无缝集成，并保证数据传输的 高度可靠性W及高效，同时提供对于传输中节点管理和监控的支持。
[0044] 根据送样的分析，本发明所阐述的应用级可靠的数据交换平台需要提供如下功能 的支撑。
[0045] 提供可视化的工具来配置将数据从一个或多个数据源提取，进行自定义规则的数 据转换，最终写入一个或多个目标数据源中。
[0046] 工具根据移植的数据量的大小自动进行数据的分段提取、并行转换和分段持久， W保证数据移植高效完成。
[0047] 提供可视化的工具来配置交换执行的策略，包括触发策略和定时策略，在策略触 发后将数据从一个或多个数据源提取，进行自定义规则的数据转换，并将形成的标准格式 的数据文件传到远程的一个或多个目的地，目的地在接收到数据文件后根据配置的转换规 则进行转换，并持久到一个或多个数据源中。
[0048] 传输的过程中需根据数据量的大小自动的进行分段和压缩传输，同时接收时需检 查数据的完整性，W保证数据传输的高效性和稳定性。
[0049] 最为重要的是在数据的传输过程中必须保证数据传输应用级的可靠，含义是：
[0050] 正常情况下数据100%的到达并且应用处理完毕；
[0051] 异常情况下，如断电、网络断开等情况下，具备自动恢复、重试等策略，W保证数据 在一定的时间范围内碰到异常仍然是可成功发送和处理的；
[0052] 对于超出时间范围还是没有发送成功的数据，需要提供准确的数据发送失败原因 的描述。
[0053] 综上所述，特别需要应用级可靠的数据交换平台，W解决现有技术的不足。
【发明内容】
[0054] 本发明的目的是提供应用级可靠的数据交换平台，是承担了从一个或多个数据源 中提取数据，转换为标准格式的数据文件，并将数据可靠的传输到一个或多个目的地，目的 地再将数据进行转换W及相应的业务处理的过程。
[0055] 本发明为解决其技术问题所采用的技术方案是：
[0056] 应用级可靠的数据交换平台，该系统包括有四部分；交换中必、传输层、交换服务 层、交换接口层，交换服务层包含有数据传输模块、接收服务模块、发送服务模块、数据转化 服务模块、数据映射模块、转换节点安全控制模块；
[0057] 交换中必是负责数据的路由、存储W及对交换节点的管理；
[0058] 传输层是负责数据的传输，支持多种传输方式，包含通过MOM产品、基于SOAP协 议、HTTP协议等来实现数据的传输；
[0059] 交换服务层为数据交换平台提供的所有功能的服务，外部的功能都基于送些服务 来实现，例如数据压缩并不是所有数据都需要的，可W根据一定的规则配置，从而在运行时 根据规则选择相应的服务进行数据的发送和接收；
[0060] 接口层是提供给应用进行使用，包括有数据服务框架、数据映射工具和接口状态 服务；
[0061] 数据服务框架提供给应