一种基于调控云内外网数据交互系统和方法与流程

1.本发明涉及网络安全及架构领域，涉及一种内外网数据交互的方法，具体涉及一种基于调控云内外网数据交互系统和方法。


背景技术：

2.调控云是基于云计算理念设计，是面向主配电网调度控制及相关业务的云服务平台。随着调控云各类数据的传输，涉及到了越来越多的内外网数据交互问题；内网和外网的数据交互频繁，涉及的数据种类繁多，需要防范来自于外系统的安全问题。


技术实现要素：

3.本发明旨在提高调控云的数据交互系统传输不同数据的安全性和稳定性。
4.为实现上述技术目的，本发明采用以下技术方案。
5.提供一种基于调控云内外网数据交互系统，包括：设置在内网站点内的数据交互主机和云主机，以及设置在外网和内网之间的纵向网关机；所述数据交互主机和云主机通过内网连接；所述数据交互主机，用于部署数据交互平台，所述数据交互平台用于根据待交互的数据类型以及交互的源端和目的端，确定通过内网进行数据交互，或者利用纵向网关机在内网和外网之间实现映射完成数据交互，或者利用纵向网关机通过外网进行数据交互；所述云主机，用于部署调控云平台，所述调控云平台用于配置各站点数据交互主机中指定的存储目录，配置各数据交互主机执行的数据交互任务，还用于监控系统内各站点数据交互主机的状态。
6.进一步地，各站点部署的数据交互平台和调控云平台相同，并实现数据同步。
7.再进一步地，内网站点内还包括与数据交互主机连接的数据库，各站点的数据库采用磁盘阵列方式实现数据同步。
8.进一步地，所述数据交互系统还包括设置在外网的http服务端；所述纵向网关机上部署http客户端；所述数据交互主机通过数据交互平台提供dubbo服务方式，控制http客户端定时向外网http服务端发送选定数据类型的数据请求；所述纵向网关机解析外网http服务端响应所述选定数据类型的数据请求返回的数据并解析，将解析结果生成e格式文件并将e格式文件发送至数据交互主机；所述数据交互主机通过数据交互平台将e格式文件按照预设文件格式进行转换并存储。
9.进一步地，所述数据交互平台设置监控页面，所述监控页面用于根据源端和目标端显示数据交互通道数据交互的正常或异常状态。
10.进一步地，所述调度云平台上设置数据交互主机管理系统，若待交互的数据类型为数据库类数据，则数据交互主机管理系统向各站点数据交互主机发送执行该数据库数据
交互任务的标识，收到标识的数据交互主机执行该数据交互任务。
11.进一步地，若待交互的数据类型为文件，数据交互平台根据文件传输任务配置的源端信息、目标端信息以及发送周期，周期性的将源端文件发送到目标端；当源端和目标端均为内网传输时，通过内网交互；当源端和目标端一个在内网一个在外网时，则经过数据交互主机到纵向网关机的数据交互，完成内外网数据交互；当源端目标端均为外网时，由数据交互平台利用纵向网关机进行外网的数据交互。
12.进一步地，所述交互系统还包括设置在外网的气象外网主机，所述气象外网主机用于将气象数据交互到纵向网关机，通过纵向网关机传输到站点内设置的气象站点内网代理主机，通过气象站点内网代理主机发送到数据交互平台，以通过数据交互平台将e文件组装成产品，将e文件发送到指定的存储目录下，并将e文件的数据按要求导入到指定的数据库的表中。
13.第二方面，本发明提供了一种基于调控云内外网数据交互方法，包括：在内网站点内设置数据交互主机和云主机，所述数据交互主机与云主机通过内网连接；在所述数据交互主机上部署数据交互平台；云主机上部署调控云；在外网和内网之间设置纵向网关机；数据交互平台根据待交互的数据类型以及交互的源端和目的端确定通过内网进行数据交互，或者利用纵向网关机在内网和外网之间实现映射完成数据交互，或者利用纵向网关机进行外网的数据交互；调控云平台配置各站点数据交互主机中指定的存储目录，配置各数据交互主机执行的数据交互任务，还监控系统内各站点数据交互主机的状态。
14.进一步地，若系统内包括多个站点，则各站点部署的数据交互平台和调控云平台相同，并实现数据同步。
15.本发明所取得的有益技术效果：对外交互包含数据中台，气象外网等外部系统，为了保证数据交互的安全性，在对内和对外传输中，增加了一个纵向网关机，通过网关可以和外网连接；采用纵向网关机实现了内网和外网之间的纵向隔离，确保了数据交互过程中的安全性，保证了网络的安全；数据交互平台可和纵向网关机连接，平台又可和调控云内网所有数据连接，并在纵向网关机上部署一个服务，实现了平台即可和内网系统连接又可和外网系统连接的过程;本发明中数据交互平台部署通过多站点方式进行部署，当个站点设备出现问题后，另外一个站点设备可马上接管任务进行处理；保证了整个数据交互系统的安全性和稳定性。
附图说明
16.图1为本发明具体实施例提供的基于调控云内外网数据交互系统结构示意图。
具体实施方式
17.以下结合说明书附图和具体实施例对本发明做进一步详细说明。
18.实施例1：基于调控云内外网数据交互系统，如图1所示，包括:设置在内网站点内的数据交互主机和云主机，以及设置在外网和内网之间的纵向网关机；所述数据交互主机和云主机通过内网连接；所述数据交互主机，用于部署数据交互平台，所述数据交互平台用于根据待交互的数据类型以及交互的源端和目的端，确定通过内网进行数据交互，或者利用纵向网关机在内网和外网之间实现映射完成数据交互，或者利用纵向网关机通过外网进行数据交互；所述云主机，用于部署调控云平台，所述调控云平台用于配置各站点数据交互主机中指定的存储目录，配置各数据交互主机执行的数据交互任务，还用于监控系统内各站点数据交互主机的状态。
19.本实施例中，为了解决目前基于调控云地数据交互系统中数据交互运行为单站点，当站点出现问题，因没有备用站点，容易导致系统恢复慢等问题，具体实施例中，可在系统中配置多个站点，各个站点的配置相同，并实现数据同步。
20.可选地，如图1所示，所述系统中还可以另外部署一台纵向网关机，其配置与已有的纵向网关机配置相同，实现数据同步。
21.如图1所示，本实施例中交互平台网络架构采用ab双站点方式，其中a站点架设在56号院，b站点架构在32号院，ab站点间数据库采用磁盘阵列方式实现数据同步，保证了站点间数据同步的准确性和及时性。搭建两个网络，当一个站点出现问题时，另外一个站点自动接管任务。
22.a站点和b站点分别都设置了一台数据交换主机和一台云主机；系统还设置一个连接内外网的纵向网关机。其中两台数据交互主机上部署的数据交互平台需求网络一致。当一台数据交互平台主机出现故障时，另外一台自动接管任务进行处理，通过ab双站点方式，使数据交换机平台运行更加稳定可靠。
23.针对网络层，提供一台独立于ab站点的纵向网关机，纵向网关机的网络和ab站点互通，并且可和外部网络进行连接，包含可和数据中台、各地市、华北等地。ab站点内的内网，可和调控云内部网络进行连接，包含实时数据平台，运行数据平台、模型平台、大数据平台等。
24.当内网进行交互时，通过交换平台的网络直接即可进行交换；当只进行外部网络交换时，通过纵向网关机上的服务，可实现外网的数据交互；当内外网进行交互时，通过数据交互平台获取到内网数据，然后数据交互平台调用部署在纵向网关机的服务，将数据发送到外网，完成内外网的数据交互。
25.本实施例中，所述调控云平台还设置数据交互主机管理系统。当数据库类数据进行传输时，通过数据交互主机管理系统，判断运行节点位a还是b站点；数据交互主机管理系统向a站点的数据交互主机或b站点的数据交互主机发送执行该数据库数据交互任务的标识，收到标识的数据交互主机执行该数据交互任务。
26.a站点的数据交互主机或b站点的数据交互主机根据运行节点，去相应的数据库抽取数据，并组装为e格式，当目标端为内网数据时，通过平台将e格式数据直接发送给目标端，当目标端为外网时，通过平台控制的纵向网关机服务，将e格式文件发送给外端系统。
27.同样当e格式文件入库时，内外网e格式文件，通过不同的途径传输到数据交互平台，在根据数据交互平台的配置关系，将数据导入到数据库，数据库在通过磁盘阵列的方
式，实现ab站点间数据的快速同步。
28.当传输数据为文件时，数据交互平台根据文件传输任务配置的源端信息、目标端信息以及发送周期，周期性的将源端文件发送到目标端，当源端和目标端均为内网传输时，按正常内网sftp传输即可；当源端和目标表一个内网一个外网时，需要经过数据交互主机上的数据交互平台到纵向网关机的数据交互，完成内外网数据交互；当源端目标端均为外网时，只需要数据交互平台利用纵向网关机的传输服务，完成传输，无需将外网的数据再拿到内网，保证了网络的安全。
29.当传输数据为通用服务或者接口时，若为内网服务，数据交互平台正常内网传输即可，当外网进行申请时，数据交互平台会对申请的ip进行判断校验，只有注册审批过的ip才可通过纵向网关机的映射进行访问。当均为外网服务接口时，则在纵向网关机进行数据的调用和发布，保证内往外分开的同时，又能通过纵向网关机的映射实现内外网数据处理。
30.实施例2：在实施例1的基础上，本实施例中可选地，本实施例中所述交互系统还包括：设置在外网的http服务端；所述纵向网关机上部署http客户端。
31.其中数据交互主机上部署数据交互平台应用jar包，zookeeper程序，站点内设置的气象站点内网代理主机（见图中的气象a站点和气象b站点)上部署sftp通用服务，纵向网关机部署气象、雷电服务，通过zookeeper将所有服务连接在一起。
32.气象外网数据交互，先通过气象外网数据，将气象数据上传到气象外网主机，在通过纵向隔离，将电量e文件发送给内网数据交互主机，在通过内网数据交互主机发送到气象站点内网代理主机，再由数据交互平台任务配置，将气象站点内网代理主机e文件组装成产品，按定时推送的方式，将气象站点内网代理主机的e文件发送到调控云内部指定数据交互主机的指定目录下，然后通过数据交互平台e格式与数据库导入配置，将e文件的数据按要求导入到到指定的数据库的表中，最终在调控云气象测进行展示。
33.在其他实施例中，还可以利用本实施例提供的基于调控云内外网数据交互系统实现选定数据类型（如雷电数据）的数据交互，可选地，在外网部署一个http服务端，在纵向网关机部署一个http客户端，通过数据交互平台dubbo服务方式，控制客户端定时发送雷电数据请求，外网将雷电侧数据以json格式进行返回，然后由纵向网关机服务解析雷电侧报文，最终落地为e格式文件。在通过数据交互平台sftp通用服务，将雷电落地的e文件定时发送到交换平台主机，在由交换平台任务处理模块，将e格式到数据库转换模块，将雷电数据导入到调库云雷电表，供页面展示。
34.实施例3：在以上实施例的基础上，本实施例中，数据交互平台提供统一监控页面，其中每次传输都会新增一条源端到目标端的通道，当数据交互正常时，通道为正常绿色状态，当数据交互出现异常时，通道会显示红色，点击通道会显示相应的任务详情及异常信息。保证当传输任务出现异常时，能第一时间发现并解决，并对错误信息提供处理和忽略操作，当异常正常处理后，通道会自动变更为正常状态。并且提供所有源端、目标端一键检测功能，当网络出现异常时，通过一键检测可快速准确定位网络问题。
35.实施例4：与以上实施例提供的基于调控云内外网数据交互系统，相对应地，本实施例提供了一种基于调控云内外网数据交互方法，包括：
在内网站点内设置数据交互主机和云主机，所述数据交互主机与云主机通过内网连接；在所述数据交互主机上部署数据交互平台；云主机上部署调控云；在外网和内网之间设置纵向网关机；数据交互平台根据待交互的数据类型以及交互的源端和目的端确定通过内网进行数据交互，或者利用纵向网关机在内网和外网之间实现映射完成数据交互，或者利用纵向网关机进行外网的数据交互；调控云平台配置各站点数据交互主机中指定的存储目录，配置各数据交互主机执行的数据交互任务，还监控系统内各站点数据交互主机的状态。
36.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，具体工作过程，与本实施例提供的方法实施例中的过程相互对应，在此不再赘述。
37.随着冀北调控云各类数据的传输，涉及到了越来越多的内外网数据交互问题；内网和外网的数据交互频繁，需要防范来自于外系统的安全问题，并且数据传输运行为单站点，当站点出现问题，因没有备用站点，容易导致系统恢复慢等问题。本发明在对内和对外传输中，增加了一个纵向网关机，通过网关可以和外网连接；采用纵向网关机实现了内网和外网之间的纵向隔离，确保了数据交互过程中的安全性，保证了网络的安全；以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。