一种跨安全区数据传输调度方法及系统与流程

本发明涉及一种跨安全区数据传输调度方法及系统，属于电力及计算机领域。

背景技术

国家电网公司从生产运行部门的实际需求出发，提出配电自动化主站系统应支撑横跨生产控制大区与管理信息大区，满足配电网的运行监控与运行状态管控需求，支撑配电网调控运行、生产运维，为配电网网精益化管理提供技术支撑。配电自动化主站横跨生产控制大区(简称“i区”)和管理信息大区(简称“iv区”)，i区与iv区间大量、随机地跨区数据传输，如何保证数据传输的实时、可靠性成为设计的关键。为此针对i区和iv区跨区数据传输方式不同，分别设计跨区数据传输调度方法，以保证数据传输的实时性、可靠性。

配电自动化跨区消息传输分成3个部分，①跨正向隔离装置和反向隔离装置数据传输；②在跨正向隔离装置之前各业务数据组织和调度；③在跨反向隔离装置之间各业务数据打包成文件、文件的调度。对于①中i区到iv区经正向隔离装置传输，采用socket方式，各厂家在实现跨正向隔离装置传输时自身保证其可靠性、数据完整性；①中从iv区到i区经方向隔离装置传输，采用文件方式，由方向隔离装置厂家提供的程序实现数据传输并保证其数据完整性。对于②中各业务数据实时性、重要性不同，在数据组织过程中进行数据传输、调度，其实质是典型的队列调度，目前针对队列调度算法有先进先出(fifo)、优先级队列(pq)、加权公平队列、基于分类的加权队列调度等方式。对于③中各业务数据组装成文件，在组装文件时需根据实时性能要求考虑文件大小、优先级调度。对于文件组装、优先调度目前暂未看到相关资料。

目前针对跨区数据的传输一般采用先到先服务(fcfs)调度策略，导致实时、安全关键性数据实时性、传输优先级得不到保证，特别是在在网络拥塞、广播风暴等恶劣情况下难以保证关键信息流的实时性、可靠性。造成传输延时抖动和丢包等问题。或者根据传统的“尽力而为”路由算法以及源、目的节点的位置，在不同虚拟链路上传输的数据量，但在网络通信过程中，数据流量的突变性很强，可能会造成虚拟链路分配流量的不合理，有的虚拟链路拥堵，有的虚拟链路空闲，各条虚拟链路的负载不均衡，网络资源无法合理利用，网络性能降低，服务质量得不到保证。

技术实现要素：

本发明提供一种跨安全区数据传输调度方法及系统，采用多套正反向隔离装置，建立多套虚拟通道，通过对虚拟通道性能监测，实现负载均衡；根据其实时性、重要性以及i区至iv和iv至i区跨区传输的数据特点，提出i区至iv根据数据传输优先级、虚拟联络qos的调度策略，iv至i区根据数据实时性、重要性确定其优先级、数据文件数量的文件传输调度策略，实现关键、实时性遥信变化、请求应答等数据实时传输，非安全关键性数据如断面数据、外部系统调用和对外提供服务等数据及时传输，保证其服务质量。

本发明的技术方案包括一种跨安全区数据传输调度方法，其特征在于，所述方法包括以下步骤：数据隔离，对配电自动化跨安全区的i区和iv区数据交互创建一套或多套正反向隔离装置，每套正反向隔离装置设置有虚拟通道；优化调度，包括数据划分及数据调度，其中，数据划分根据配电自动化跨安全区的i区和iv区数据交实时性、重要性及数据流特性进行划分；其中，数据调度根据数据划分的步骤对i区传输至iv区的数据及iv区传输至i区的执行动态调度策略，所述动态调度策略用于监控虚拟通道，根据监控信息进行调度优化；其中，所述i区为配电自动化主站生产控制大区，所述iv区为配电自动化主站管理信息大区。

根据所述的跨安全区数据传输调度方法，其特征在于，其中数据划分的步骤中的i区至iv区数据传输的数据划分及调度包括：根据i区至iv区数据传输实时性、qos要求及数据流特性，使用配电自动化主站将业务处理需要传输的数据划分成多个优先级，将优先级数据放入其对应优先级的队列。

根据所述的跨安全区数据传输调度方法，其特征在于，其中i区至iv区数据传输的数据优先级的划分包括但不限于：第一优先级，i区遥信类实时类数据实时传输至iv区，实时性高，需要满足行业规范实时响应时间；第二优先级，i区发送请求至iv区的数据，iv区针对请求进行响应并把请求结果经反向隔离传送至iv区，实时性高，需要满足行业规范实时响应时间；第三优先级，i区遥测类实时类数据实时传输至iv区，实时性高，需要满足行业规范实时响应时间；第四优先级，其他非实时类数据传输，包括非实时要求请求应答类、定周期类断面数据、非周期类数据，该类数据传输可以有延时或允许失败，提供友好的提示信息或采用重新传输。

根据所述的跨安全区数据传输调度方法，其特征在于，其中对i区传输至iv区的数据调度包括：s410，执行i区调度策略控，包括通过对虚拟通道进行监控并检测各优先级队列流量，执行调度处理，根据各优先级队列流量确定出列顺序，使用链路qos确定传输链路；s420，执行iv区数据组装与校验，包括当数据经正向隔离装置传输至iv区后，iv区对各链路传输过来的数据包，进行组包和进行数据完整性校验。

根据所述的跨安全区数据传输调度方法，其特征在于，其中步骤s410还包括：s411，当检测到任意高优先级队列流量异常，即超过流量阈值时，依次从最低优先级队列进行数据传输的抑制；s412，当检测到具有相接近的高优先级队列流量正常，即未超过流量阈值时，按照加权公平队列算,进行队列调度；s413，调度策略监测各虚拟链路的状态、传输速率、丢包率，确定传输采用的虚拟链路。

根据所述的跨安全区数据传输调度方法，其特征在于，其中步骤s410还包括：s421，对接收数据业务类别进行识别并根据其类别放入多个不同种类的缓冲区；s422，对多种不同种类缓冲区启动数据包组装与校验线程，对缓冲区中内容进行数据组装、数据完整性校验，并对校验成功的数据放入其相应的队列；s423，队列根据收到数据启动其配电自动化主站对应的业务，各业务对队列内容进行解析并启动相应功能。

根据所述的跨安全区数据传输调度方法，其特征在于，其中iv区至i区数据传输的优化调度包括：根据iv区至i区数据传输的实时性、重要性确定其优先级，并根据数据文件数量的文件传输调度策略；对关键、实时性遥信变化、请求应答等数据实时传输，非安全关键性数据如断面数据、外部系统调用和对外提供服务等数据及时传输

根据所述的跨安全区数据传输调度方法，其特征在于，其中iv区至i区数据传输的优先级划分包括：第一优先级，iv区传输至i区状变类高实时性数据；第二优先级，实时类请求和/或应答类的高实时性数据，即对i区发出请求或i区请求后iv进行应答结果；第三优先级，非实时类请求和/或应答非实时性数据，即对i区发出请求或对i区请求后iv进行应答结果，此类数据传输可以有延时或允许失败；第四优先级，定周期类断面的数据传输，包括延时或在数据流量超过限值时的数据传输，即在数据传输空闲时进行传输以免影响实时类数据传输性能；第五优先级，非周期临时类数据传输，包括但不限于启动或某些业务满足某种条件情况下触发，此类数据传输可以有延时或在数据流量超过限值时不进行传输。

根据所述的跨安全区数据传输调度方法，其特征在于，其中iv区至i区数据传输的数据调度包括：s911，将第一优先级至第五优先级对应的数据写入对应的文件夹；s912，对写入数据的文件夹进行实时检测；s913，确认状变类实时数据、实时类请求和/或应答类实时数据文件夹文件数量，当超过预设值时，发出通知，调度非实时类数据放慢或停止其数据文件写入对应文件夹；s914，检测状变类实时数据包流量和大小，并对小文件进行组装成大文件；s915，检测非实时类数据的文件大小,并对大文件进行切割；其中，非实时类数据包括非实时类请求和/或应答、定周期类断面数据、非周期临时类数据。

在一个优选的实施方案中，该方法还包括：使用反向隔离装置将iv区各文件夹的数据文件搬运至iv区对应的文件夹中。

在一个优选的实施方案中，该方法还包括：使用解析线程对各i区传入的文件夹中对应数据文件进行解析，并把解析结果写入响应的业务队列中，各业务对队列内容进行解析并启动相应功能。

根据上述任意方法的一种跨安全区数据传输调度系统，其特征在于，所述方法包括以下步骤：

数据隔离模块，用于使用一套或多套正反向隔离装置对配电自动化跨安全区的i区和iv区数据交互进行隔离，每套正反向隔离装置设置有虚拟通道；

优化调度模块，包括数据划分模块及数据调度模块；

其中，数据划分模块根据配电自动化跨安全区的i区和iv区数据交实时性、重要性及数据流特性进行划分；

其中，数据调度模块根据数据划分模块对i区传输至iv区的数据及iv区传输至i区的执行动态调度策略，所述动态调度策略用于监控虚拟通道，根据监控信息进行调度优化。

本发明的有益效果为：针对配电自动化跨安全区采用多套正反向隔离装置，建立多套虚拟通道，通多对虚拟通道性能监测，实现负载均衡；在分析配电自动化主站跨安全区网络中数据流特性，根据其实时性、重要性以及i区至iv和iv至i区跨区传输的数据特点，提出i区至iv根据数据传输优先级、虚拟联络qos的调度策略，iv至i区根据数据实时性、重要性确定其优先级、数据文件数量的文件传输调度策略，实现关键、实时性遥信变化、请求应答等数据实时传输，非安全关键性数据如断面数据、外部系统调用和对外提供服务等数据及时传输，保证其服务质量。

附图说明

图1所示为根据本发明的方法的总体流程图；

图2所示为根据本发明实施方案的跨安全i区至安全iv区数据传输调度流程示意图；

图3所示为根据本发明实施方案的i区调度方法示意图；

图4所示为根据本发明实施方案的跨安全iv区至安全i区数据传输调度流程示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

图1所示为根据本发明的方法的总体流程图。包括：

数据隔离，对配电自动化跨安全区的i区和iv区数据交互创建一套或多套正反向隔离装置，每套正反向隔离装置设置有虚拟通道；优化调度，包括数据划分及数据调度，其中，数据划分根据配电自动化跨安全区的i区和iv区数据交实时性、重要性及数据流特性进行划分；其中，数据调度根据数据划分的步骤对i区传输至iv区的数据及iv区传输至i区的执行动态调度策略，动态调度策略用于监控虚拟通道，根据监控信息进行调度优化；其中，i区为配电自动化主站生产控制大区，iv区为配电自动化主站管理信息大区。

图2所示为根据本发明实施方案的跨安全i区至安全iv区数据传输调度流程示意图。其包括：

业务数据分类：根据配电自动化主站业务分类，从i区至iv区数据传输可以分为4类：①i区遥信类实时类数据实时传输至iv区，实时性高，需要满足行业规范实时响应时间；②i区请求iv区数据，即i区发送请求至iv区，iv区针对请求进行响应并把请求结果经反向隔离传送至iv区，实时性高，需要满足行业规范实时响应时间；③i区遥测类实时类数据实时传输至iv区，实时性高，需要满足行业规范实时响应时间；④其他非实时类数据传输，主要包括非实时要求请求应答类、定周期类断面数据、非周期类数据，该类数据传输可以有延时或允许失败，提供友好的提示信息或采用重新传输。根据i区至iv区数据传输实时性、qos要求，配电自动化主站各业务把需要传输的数据分成4个优先级，放入其对应优先级的队列。

安全i区调度策略控制服务：通过检测各优先级队列流量，进行调度，即根据各优先级队列流量确定出列顺序，链路qos确定传输链路。

安全i区调度策略控制服务包括：当检测到优先级队列1或优先级队列2流量异常，即超过限值时，为保证实时性和关键信息传输要求，首先抑制优先级队列4的数据传输，其次抑制优先级队列3队列传输；当检测到优先级队列1或优先级队列2流量正常，即未超过其限值时，按照加权公平队列算法(wfq)进行队列调度；调度策略监测各虚拟链路的状态、传输速率、丢包率，确定传输采用的虚拟链路。

iv区数据组装与校验：当数据经正向隔离装置传输至iv区后，iv区对各链路传输过来的数据包，进行组包和进行数据完整性校验。主要包括：对接收数据业务类别进行识别并根据其类别放入不同种类的缓冲区；对不同种类缓冲区启动数据包组装与校验线程，对缓冲区中内容进行数据组装、数据完整性校验，并对校验成功的数据放入其相应的队列；队列根据收到数据启动其配电自动化主站对应的业务，各业务对队列内容进行解析并启动相应功能。

图3所示为根据本发明实施方案的i区调度方法示意图。其说明内容如图2说明中的安全i区调度策略控制服务。

图4所示为根据本发明实施方案的跨安全iv区至安全i区数据传输调度流程示意图。其包括：

业务数据分类：配电自动化主站iv区根据业务其传输到i区的数据，根据数据传输实时性要求分为5类：①根据定义需传输至i区状变类实时数据，实时性高，需要满足行业规范实时响应时间；②实时类请求/应答类实时数据，即对i区发出请求或i区请求后iv进行应答结果，实时性高，需要满足行业规范实时响应时间；③非实时类请求/应答，即对i区发出请求或对i区请求后iv进行应答结果，此类数据传输可以有延时或允许失败，提供友好的提示信息或采用重新传输。④定周期类断面数据传输，此类数据传输可以有延时或在数据流量超过限值时不传输，即在数据传输空闲时进行传输以免影响实时类数据传输性能。⑤非周期临时类数据传输，此类传输一般由认为启动或某些业务满足某种条件情况下触发，此类数据传输可以有延时或在数据流量超过限值时不进行传输。

调度策略控制服务：主要实现①对5类数据写入对应的文件夹；②对各文件夹数据文件数进行检测；③检测状变类实时数据、实时类请求/应答类实时数据文件夹文件数量，当超过其数量时，发出通知，调度非实时类(非实时类请求/应答、定周期类断面数据、非周期临时类数据)数据放慢或停止其数据文件写入对应文件夹，以保证实时类数据传输的性能；④检测状变类实时数据包流量和大小，并通知对小文件进行组装成大文件；⑤检测非实时类(非实时类请求/应答、定周期类断面数据、非周期临时类数据)的文件大小，对通知对大文件进行切割。

反向隔离装置数据传输：通过反向隔离装置厂家提供的客户端程序把iv区各文件夹的数据文件搬运至iv区对应的文件夹中。

i区数据解析：各解析线程对各文件夹中对应数据文件进行解析，并把解析结果写入响应的业务队列中，各业务对队列内容进行解析并启动相应功能。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文步骤的指令或程序时，本文的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。