牵引供电运营管理系统高可靠性数据传输系统及传输方法

牵引供电运营管理系统高可靠性数据传输系统及传输方法
【专利摘要】本发明公开了牵引供电运营管理系统高可靠性数据传输系统及传输方法，所述传输系统包括数据变更记录器、数据传输器、数据同步器以及传输和同步服务器；所述数据变更记录器用于产生数据变更记录；所述数据传输器用于传输数据变更记录器产生的数据变更记录，可将工区产生的数据变更记录上传到段部，或者将段部产生的数据变更记录下载到工区；所述数据同步器用于使数据变更记录写入实际的数据库业务表中，使两个子系统实现数据同步；所述传输和同步服务器为数据传输器和数据同步器提供服务，以支持数据变更记录的传输和同步。本发明采用上述系统结构，能够提高实现数据传输的可靠性和完整性。
【专利说明】牵引供电运营管理系统高可靠性数据传输系统及传输方法

【技术领域】
[0001]本发明涉及牵引供电运营管理系统领域，具体涉及牵引供电运营管理系统高可靠性数据传输系统及传输方法。

【背景技术】
[0002]牵引供电运营管理系统的应用范围包括铁路局供电科、铁路供电段段部机关和供电段管辖的变电所工区和接触网工区，绵延数百公里，在各级子系统之间需要交换大量高度结构化的数据，本来对通信链路的带宽和质量具有较高的要求。但目前在国内的铁路牵引供电行业中，段到工区、铁路局到段之间的通信链路的质量普遍很低(一般只能达到20Kbps/s)，而且由于靠近铁路，经常因为干扰而掉线；在供电段和铁路局之间，一般也只有低速的电话拨号链路，在这样一种链路条件下，显然很难实现整个系统的全实时联网运行和集中化数据存储。
[0003]牵引供电运营管理系统中各级子系统间数据的流动是双向的，既有从段部到基层工区的数据传输，也有从工区到段部的数据传输。从段部到工区的数据传输既有广播(所有工区都必须接收)、也有组播(只有接触网工区接收)和点到点(从段部传到某一个工区)的，情况复杂。日常的数据传输主要以变电所运营数据和接触网运营数据为主，数据量大(如对于变电所，每天需要上传十几张报表的数据量)，在低速拨号链路上传输时间较长。另外，由于牵引供电运营管理系统各级子系统间的通信链路通常是低速、不可靠的，传输数据时经常会出现中途断线情况，这样很可能会造成由于一个业务活动而产生的多条数据(本身应该是原子的)在传输时被分割开，前面的部分正确传输了，后面的部分由于断线而没有传输，如果前面部分的数据被实际写进了目标数据库，就会破坏业务活动的完整性。


【发明内容】

[0004]本发明的目的在于提供一种牵引供电运营管理系统高可靠性数据传输系统及传输方法，解决目前的牵引供电运营管理系统在传输数据时经常出现中途断线的情况，进而导致传输的数据不完整，影响整个系统可靠运行的问题。
[0005]本发明为实现上述目的，采用以下技术方案实现:牵引供电运营管理系统高可靠性的数据传输系统，包括数据变更记录器、数据传输器、数据同步器以及传输和同步服务器；
所述数据变更记录器用于产生数据变更记录；
所述数据传输器用于传输数据变更记录器产生的数据变更记录，可将工区产生的数据变更记录上传到段部，或者将段部产生的数据变更记录下载到工区；
所述数据同步器用于使数据变更记录写入实际的数据库业务表中，使两个子系统实现数据同步；
所述传输和同步服务器为数据传输器和数据同步器提供服务，以支持数据变更记录的传输和同步。
[0006]进一步地，还包括数据库执行引擎，所述数据库执行引擎用于调用数据变更记录器以记录业务逻辑产生的数据变更。
[0007]牵引供电运营管理系统高可靠性的数据传输方法，包括以下步骤:
(a)一端的子系统在业务过程产生相关的业务数据，并由数据变更记录器将本业务过程执行的数据变更以一种内部格式记录下来；
(b)数据变更被记录后，通过数据变更记录器，将数据变更记录写入数据变更记录表中；
(c)被写入数据变更记录的数据变更记录表并不立刻传输，当需要将数据变更记录传输到另一端子系统的数据变更记录表中时，才通过人工方式建立起传输链路，并启动传输变更过程；
(d)启动同步数据变更记录后，另一端子系统中的数据变更记录被写入实际的业务表中。
[0008]进一步地，将所述业务数据写入数据变更记录表中的具体过程为:
(al)业务逻辑进行数据库更新操作，数据库执行引擎采用调用数据变更记录器的方式来记录这些更新数据；
(a2)通过数据库执行引擎，将数据库更新记录同步到数据变更记录器中；
(a3)通过数据变更记录器，将数据变更记录写入数据变更记录表中。
[0009]进一步地，所述步骤(d)中的同步数据变更记录的具体过程为:
(dl)当数据传输器完成数据变更记录传输后，通过数据同步器将数据变更记录同步到传输和同步服务器；
(d2)将数据变更记录写入到实际的数据库业务表中。
[0010]进一步地，所述步骤(c)中的传输变更过程为工区或路局向段部上传或从段部下载数据变更记录。
[0011]进一步地，所述工区或路局向段部上传数据变更记录的具体过程为:
(ell)工区或路局将数据变更记录上传到数据传输器；
(cl2)本地业务逻辑通过数据传输器获得数据变更记录表；
(cl3)按业务对上传到数据传输器的数据变更记录进行打包，生成每个业务的数据变更记录；
(cl4)上传步骤(cl3)中生成的数据变更记录至传输和同步服务器；
(cl5)删除数据传输器上的数据变更记录。
[0012]进一步地，所述工区或路局从段部下载数据变更记录的具体过程为:
(c21)工区或路局从数据传输器下载数据变更记录；
(c22)本地业务逻辑通过数据传输器获得上次下载的最后状态；
(c23)传输和同步服务器从数据传输器下载数据变更记录索引；
(c24)对数据传输器上的每个数据变更记录生成索引号，并下载到传输和同步服务器；
(c25)将数据传输器上的数据变更记录保存至本地业务逻辑中；
(c26)对本地业务逻辑中的最后下载状态进行更新。
[0013]本发明与现有技术相比，具有以下优点及有益效果: (1)本发明在进行两个子系统间的数据传输时，首先将一个子系统的数据变更采用内部格式的方式记录下来，数据变更被记录后，并不立刻传输，而是在需要时，通过人工方式建立起传输链路并启动传输变更过程，将数据变更记录传输到另一端子系统的数据变更记录表中，另一端子系统的数据变更记录只在同步过程启动后，才被写入实际的业务表中，从而实现了两个子系统业务数据的一致和共享。
[0014](2)本发明通过一个独立的外部数据库执行引擎为业务活动在实际更新数据库的操作时提供服务，数据库执行引擎可以记录数据变更，为数据传输和同步做准备；此外，由于数据变更记录与数据库执行引擎同步工作，因此很容易在变更日志中记录业务发生的顺序、以及变更记录和业务之间的事务对照关系，为可靠地传输和同步数据奠定了基础；同时，也很好地实现了数据传输和同步功能与具体业务逻辑的独立。
[0015](3)本发明在进行数据传输时，不仅利用数据变更记录的产生顺序和业务之间的事务对照关系进行可靠传输，同时，将传输两端的最后状态进行记录，而在下载数据变更记录时，首先获得上次下载的最后状态，为断点续传提供了方便，从而避免了数据的重复上传或下载，确保数据的一致性。

【专利附图】

【附图说明】
[0016]图1为本发明的系统结构框图；
图2为本发明的数据传输过程结构示意图；
图3为记录数据变更记录时序图；
图4为上传数据变更记录时序图；
图5为下载数据变更记录时序图；
图6为同步数据变更记录时序图。

【具体实施方式】
[0017]下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0018]实施例:
如图1所示，本实施例所述的牵引供电运营管理系统高可靠性数据传输系统，包括数据变更记录器、数据传输器、数据同步器以及传输和同步服务器，数据变更记录器用于产生数据变更记录，该数据变更记录其实就是业务过程中产生的业务数据，业务数据以一种记录变更的方式被记录下来，完成记录工作的就是数据变更记录器，只是在记录的时候，要确保变更记录的顺序与原始业务发生的顺序完全一致，同时还要明确变更记录和原始业务活动之间的事务对照关系；数据传输器用于实现子系统间的数据变更记录传输，根据传输方向的不同，可将工区产生的数据变更记录上传到段部，或者将段部产生的数据变更记录下载到工区，在传输数据时，要利用数据变更记录的产生顺序和业务之间的事务对照关系进行传输，同时要记录数据传输两端的最后状态，这样，不仅可以确保传输可靠地进行，同时还有利于实现断点续传；数据同步器用于将数据变更记录写入实际的数据库业务表中，使两个子系统实现数据同步，在同步时，仍然要利用数据变更记录的产生顺序以及业务的事务对照关系，确保同步正常进行。传输和同步服务器为数据传输器和数据同步器提供服务，以支持数据变更记录的传输和同步，它可上传数据变更记录、下载数据变更记录索引和数据变更记录、将所有数据变更记录写进数据库中的实际业务表格中。
[0019]本实施例采用上述系统结构，通过数据变更记录器来记录业务过程中产生的数据变更，并通过数据传输器、数据同步器以及数据传输和同步服务器来实现数据的上传和下载，避免两个子系统直接进行数据传输，这对于通信链路为低速、不可靠的牵引供电运营管理系统来说，即使出现链路中断，也不会出现数据传输出错的问题，因为一端子系统产生的业务数据先是记录在数据变更记录器中，并不是产生了业务数据就直接传输给另一端的子系统，而是另一端的子系统需要，才搭建起传输链路进行传输，此次传输也只是将数据变更记录传输到另一端子系统的数据变更记录表中，并不马上写入另一端子系统的实际业务表中，而是要启动同步过程后，才将数据变更记录写入实际的业务表中，从而实现两个子系统业务数据的一致和共享，这样就实现了数据在不稳定传输链路上的可靠传输，尤其适应牵引供电运营管理系统中各个子系统间的数据传输，大大提高了数据传送的可靠性、完整性。
[0020]本实施例还包括数据库执行引擎，数据库执行引擎用于调用数据变更记录器以记录业务逻辑产生的数据变更。在牵引供电运营管理系统中，所有业务逻辑在进线实际更新数据库的操作时，该数据库执行引擎都会提供服务，数据变更记录器就像是数据库执行引擎的一个活动挂钩，如果当前业务逻辑产生的数据需要在子系统间传输和同步，数据库执行引擎就会调用数据变更记录器的相关方法来记录这些变更，以待传输和同步，由于数据变更记录器和数据库执行引擎同步工作，因此很容易在变更日志中记录业务发生的顺序、以及变更记录和业务之间的事务对照关系(事务是并发控制的基本单位，所谓事务，是一个操作序列，这些操作要么都执行，要么都不执行，它是一个不可分割的工作单位，事务是数据库维持数据一致性的单位，在每个事务结构时，都能爆出数据的一致性)，这就为可靠地传输和同步数据奠定了基础。此外，这种结构对于业务逻辑而言，它只需要在调用数据库执行引擎时声明数据是否需要传输和同步(可以动态配置)，而不在需要进行额外的处理，这就很好地实现了数据传输和同步功能与具体业务逻辑的独立，有利于传输系统的独立开发和运行。
[0021]在实际应用中，数据变更记录器、数据传输器、数据同步器、数据库执行引擎以及传输和同步服务器可采用类的方式进行定义，数据库执行引擎和数据变更记录器被封装成COM组件中的动态链接库文件，以供业务逻辑组件调用，传输和同步服务器内封装在独立的COM组件中，该组件提供传输和同步两个接口，被动地运行在段部中心服务器上，数据同步器有两种封装形式，在段部被封装成可执行文件，它周期性地利用同步接口来同步工区上传的数据，在各工区或路局被封装成动态链接库文件，每当工区或路局下载了段部数据就会被调用，以同步数据；数据传输器也被封装为动态链接库文件，但只部署在工区或路局，利用传输接口主动地从段部下载或向段部上传数据，段部不会主动发起数据传输，这样很好地实现了段部和工区(以及路局)的双向数据传输。本领域的技术人员在本说明书的教导下，很容易获得本部分提到的动态链接库文件以及可执行文件，并使之实现本发明中该文件想要实现的功能。
[0022]如图2所示，本实施例所述的牵引供电运营管理系统高可靠性数据传输方法，包括以下步骤:
(a)—端的子系统在业务过程产生相关的业务数据，并由数据变更记录器将本业务过程执行的数据变更以一种内部格式记录下来，所谓内部格式，是指对应于每个业务表中的每个字段，将变更的每条数据中的每个字段以一定的顺序存放起来，以便于同步，记录时通过事务控制变更顺序和对照关系。如图3所示，具体地，业务数据写入数据变更记录表中的具体过程为:
(al)业务逻辑进行数据库更新操作，数据库执行引擎采用调用数据变更记录器的方式来记录这些更新数据；
(a2)通过数据库执行引擎，将数据库更新记录同步到数据变更记录器中；
(a3)通过数据变更记录器，将数据变更记录写入数据变更记录表中。
[0023](b)数据变更被记录后，通过数据变更记录器，将数据变更记录写入数据变更记录表中，该数据变更记录表中包含原始业务数据，如日志、数据表等。
(c)被写入数据变更记录的数据变更记录表并不立刻传输，当需要将数据变更记录传输到另一端子系统的数据变更记录表中时，才通过人工方式(比如拨号上网)建立起传输链路，并启动传输变更过程，传输变更过程可分为工区或路局向段部上传和工区或路局从段部下载数据变更记录。
[0024]如图4所示，工区或路局向段部上传数据变更记录的具体过程为:
(ell)工区或路局将数据变更记录上传到数据传输器；
(cl2)本地业务逻辑通过数据传输器获得数据变更记录表；
(cl3)按业务对上传到数据传输器的数据变更记录进行打包，生成每个业务的数据变更记录；
(cl4)上传步骤(cl3)中生成的数据变更记录至传输和同步服务器；
(cl5)删除数据传输器上的数据变更记录。
[0025]如图5所示，工区或路局从段部下载数据变更记录的具体过程为:
(c21)工区或路局从数据传输器下载数据变更记录；
(c22)本地业务逻辑通过数据传输器获得上次下载的最后状态，通过获得的上次下载的最后状态，当传输链路再次接通、数据同步开启后，能够从上次传输的断电开始继续传输，即，可实现断点续传，提高低速链路的带宽利用率；
(c23)传输和同步服务器从数据传输器下载数据变更记录索引；
(c24)对数据传输器上的每个数据变更记录生成索引号，并下载到传输和同步服务器；
(c25)将数据传输器上的数据变更记录保存至本地业务逻辑中；
(c26)对本地业务逻辑中的最后下载状态进行更新。
[0026](d)启动同步数据变更记录后，另一端子系统中的数据变更记录被写入实际的业务表中，如图6所示，具体过程为:
(dl)当数据传输器完成数据变更记录传输后，通过数据同步器将数据变更记录同步到传输和同步服务器；
(d2)将数据变更记录写入到实际的数据库业务表中。
[0027]本实施例采用上述数据传输方法，在牵引供电运营管理系统领域属于独特的创新，与传统的数据传输方法不同，传统的数据传输方法是工区系统(或铁路局系统)直接建立传输链路，从供电段系统下载或者向供电段系统上传数据，这种直接传输的方式在低速、不可靠的链路环境上，经常容易出现链路断线，导致数据传输失败，数据传输不完整，传输效率低的问题。而本发明也在原有的低速、不可靠链路上进行数据传输，大致分为三步，第一步:记录数据变更，第二步:传输数据变更，第三步:同步数据变更，这三步巧妙地实现了两个子系统间的数据传输，由于记录数据变更、传输数据变更与同步数据变更在链路上做到了相对独立，并不要求三步要同时进行，这样也就确保了即使出现链路中断，也不影响两个子系统间的数据传输，只要建立起传输链路，数据传输和数据同步均可单独执行，同时还能实现断点续传，确保了数据的一致性和完整性，对于牵引供电运营管理系统来说，这样的数据传输方法具有巨大的应用价值。
[0028]以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
【权利要求】
1.牵引供电运营管理系统高可靠性数据传输系统，其特征在于:包括数据变更记录器、数据传输器、数据同步器以及传输和同步服务器； 所述数据变更记录器用于产生数据变更记录； 所述数据传输器用于传输数据变更记录器产生的数据变更记录，可将工区产生的数据变更记录上传到段部，或者将段部产生的数据变更记录下载到工区； 所述数据同步器用于使数据变更记录写入实际的数据库业务表中，使两个子系统实现数据同步； 所述传输和同步服务器为数据传输器和数据同步器提供服务，以支持数据变更记录的传输和同步。
2.根据权利要求1所述的牵引供电运营管理系统高可靠性数据传输系统，其特征在于:还包括数据库执行引擎，所述数据库执行引擎用于调用数据变更记录器以记录业务逻辑产生的数据变更。
3.牵引供电运营管理系统高可靠性数据传输方法，其特征在于:包括以下步骤: (a)一端的子系统在业务过程产生相关的业务数据，并由数据变更记录器将本业务过程执行的数据变更以一种内部格式记录下来； (b)数据变更被记录后，通过数据变更记录器，将数据变更记录写入数据变更记录表中； (c)被写入数据变更记录的数据变更记录表并不立刻传输，当需要将数据变更记录传输到另一端子系统的数据变更记录表中时，才通过人工方式建立起传输链路，并启动传输变更过程； (d)启动同步数据变更记录后，另一端子系统中的数据变更记录被写入实际的业务表中。
4.根据权利要求3所述的牵引供电运营管理系统高可靠性数据传输方法，其特征在于:将所述业务数据写入数据变更记录表中的具体过程为: (al)业务逻辑进行数据库更新操作，数据库执行引擎采用调用数据变更记录器的方式来记录这些更新数据； (a2)通过数据库执行引擎，将数据库更新记录同步到数据变更记录器中； (a3)通过数据变更记录器，将数据变更记录写入数据变更记录表中。
5.根据权利要求3所述的牵引供电运营管理系统高可靠性数据传输方法，其特征在于:所述步骤(d)中的同步数据变更记录的具体过程为: (dl)当数据传输器完成数据变更记录传输后，通过数据同步器将数据变更记录同步到传输和同步服务器； (d2)将数据变更记录写入到实际的数据库业务表中。
6.根据权利要求1所述的牵引供电运营管理系统高可靠性数据传输方法，其特征在于:所述步骤(c)中的传输变更过程为工区或路局向段部上传或从段部下载数据变更记录。
7.根据权利要求6所述的牵引供电运营管理系统高可靠性数据传输方法，其特征在于:所述工区或路局向段部上传数据变更记录的具体过程为: (ell)工区或路局将数据变更记录上传到数据传输器； (cl2)本地业务逻辑通过数据传输器获得数据变更记录表； (cl3)按业务对上传到数据传输器的数据变更记录进行打包，生成每个业务的数据变更记录； (cl4)上传步骤(cl3)中生成的数据变更记录至传输和同步服务器； (cl5)删除数据传输器上的数据变更记录。
8.根据权利要求6所述的牵引供电运营管理系统高可靠性数据传输方法，其特征在于:所述工区或路局从段部下载数据变更记录的具体过程为: (c21)工区或路局从数据传输器下载数据变更记录； (c22)本地业务逻辑通过数据传输器获得上次下载的最后状态； (c23)传输和同步服务器从数据传输器下载数据变更记录索引； (c24)对数据传输器上的每个数据变更记录生成索引号，并下载到传输和同步服务器； (c25)将数据传输器上的数据变更记录保存至本地业务逻辑中； (c26)对本地业务逻辑中的最后下载状态进行更新。
【文档编号】H04L29/08GK104320438SQ201410523753
【公开日】2015年1月28日 申请日期:2014年10月8日 优先权日:2014年10月8日
【发明者】陈林, 范红疆, 任雪涛, 刘毅 申请人:成都交大许继电气有限责任公司