数据传输方法、电子设备及存储介质与流程

1.本技术涉及能源信息技术领域，特别涉及一种数据传输方法、电子设备及存储介质。


背景技术：

2.大力发展新能源是经济社会可持续发展的客观要求，对推进能源生产和消费革命、促进生态文明建设具有重要意义。据相关研究分析，新能源在2020年前后将在技术经济性上超过传统能源，当前电力系统将加速转变为新能源电力系统。电力系统面临发电侧的间歇性增加和需求侧的负荷特性变化两个转折点，“互联网+新能源”是智慧能源和能源互联网发展的重要形态，其中信息通信将起到重要的作用。电力系统运行和管理将更加强调通信技术对信息的泛在传输，以更好提升可观测性和可控性。
3.现有的面向能源互联网应用的网关系统主要是由一些成熟的技术框架构成，例如spring的gateway或者根据业务不同而通过一些简单的项目组成一个高并发的一个网关系统。然而，此类网关系统难以实现大量、高并发的数据传输，并且传输效率不佳，难以满足能源互联网应用的需求。


技术实现要素：

4.有鉴于此，本技术提供一种数据传输方法、电子设备及存储介质。
5.本技术实施方式的数据传输方法，用于服务端，包括：
6.接收应用端发送的报文任务；
7.根据所述报文任务所需字段内容填充报文，以生成报文信息；
8.根据所述报文信息的规约确定网络通信协议；
9.根据所述网络通信协议与网关通信；和
10.将所述报文信息发送至所述网关以通过网关发送至对应终端设备。
11.在某些实施方式中，在接收应用端发送的报文任务之前，所述数据传输方法还包括：
12.通过socket与所述应用端通信。
13.在某些实施方式中，所述根据所述报文任务所需字段内容填充报文，以生成报文信息，包括：
14.报文体组装处理；
15.根据验证程序判断报文体组装是否异常；
16.在报文体组装正确的情况下，进行链路数据分帧、扰码组装以及报文头组装处理以得到所述报文信息。
17.在某些实施方式中，在所述在报文体组装正确的情况下，链路数据分帧以及扰码组装处理之前，还包括：
18.在报文体组装异常的情况下，进行报文体组装异常处理以得到正确报文体。
19.在某些实施方式中，所述服务端基于netty框架实现与所述网关的通信。
20.本技术实施方式的数据传输方法，用于网关，包括：
21.接收服务端的网络通信协议；
22.根据所述网络通信协议与所述服务端通信；和
23.将所述服务端发送的报文信息发送至对应终端设备。
24.在某些实施方式中，所述网络通信协议基于netty框架开发得到。
25.在某些实施方式中，所述网关通过超文本传输协议与所述终端设备连接。
26.本技术的电子设备包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行所述的数据传输方法。
27.本技术还提供了一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被处理器执行时，使得所述处理器执行上述的数据传输方法。
28.本技术实施方式的数据传输方法、电子设备及计算机存储介质中，通过应用端来下发报文任务给服务端，服务端可以根据报文任务来生成报文信息以及配置与网关之间的网络通信协议，并根据网络通信协议生成对应的通信通道以实现和网关的通信，如此，可以使用字节流进行数据传输，能更好地处理大数据并发、数据传输、保证数据安全。并且，由于是通过应用端来下发报文任务，因此，可以针对不同用户，来实现自定义任务采集，优化了采集方案、采集任务，节约了流量。
29.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
30.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
31.图1是本技术某些实施方式的数据传输方法的流程示意图；
32.图2是本技术某些实施方式的服务端的模块示意图；
33.图3是本技术某些实施方式的数据传输方法的场景示意图；
34.图4-7是本技术某些实施方式的数据传输方法的流程示意图；
35.图8是本技术某些实施方式的网关的模块示意图。
具体实施方式
36.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
37.请参阅图1，本技术提供一种数据传输方法，用于服务端100，数据传输方法包括步骤：
38.01，接收应用端发送的报文任务；
39.02，根据报文任务所需字段内容填充报文，以生成报文信息；
40.03，根据报文信息的规约确定网络通信协议；
41.04，根据网络通信协议与网关通信；和
42.05，将报文信息发送至网关以通过网关发送至对应终端设备。
43.请参阅图2，本技术实施方式提供了一种服务端100。服务端100包括第一接收模块110、填充模块120、确定模块130、第一通信模块140和第一发送模块150。
44.其中，01可以由第一接收模块110实现，02可以由填充模块120实现，03可以由确定模块130实现，04可以由第一通信模块140实现，05可以由第一发送模块150实现。
45.或者说，第一接收模块110可以用于接收应用端发送的报文任务；填充模块120可以用于根据报文任务所需字段内容填充报文，以生成报文信息。确定模块130可以用于根据报文信息的规约确定网络通信协议；第一通信模块140可以用于根据网络通信协议与网关通信，第一发送模块150可以用于将报文信息发送至网关以通过网关发送至对应终端设备。
46.本技术还提供了一种电子设备，包括处理器和存储器，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现上述数据传输方法，也即是，处理器用于接收应用端发送的报文任务，并根据报文任务所需字段内容填充报文，以生成报文信息，根据报文信息的规约确定网络通信协议，根据网络通信协议与网关通信，将报文信息发送至网关以通过网关发送至对应终端设备。
47.本技术的数据传输方法、服务端和电子设备中，通过应用端来下发报文任务给服务端，从而服务端可以根据报文任务来生成报文信息以及配置与网关之间的网络通信协议，并根据网络通信协议生成对应的通信通道以实现和网关的通信，如此，可以使用字节流进行数据传输，能更好地处理大数据并发、数据传输、保证数据安全。并且，由于是通过应用端来下发报文任务，因此，可以针对不同用户，来实现自定义任务采集，优化了采集方案、采集任务，节约了流量。
48.在一些实施方式中，电子设备可以是手机、电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备或头显设备。
49.本实施方式以电子设备是电脑为例进行说明，也即是说，数据传输方法和服务端应用于但不限于电脑。服务端可以是预安装于电脑的硬件或软件，并在电脑上启动运行时可以执行数据传输方法。例如，服务端可以是电脑的底层软件代码段或者说是操作系统的一部分。
50.在一些实施方式中，服务端可以是电子设备的一部分。或者说，电子设备包括服务端。
51.在一些实施方式中，服务端可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。
52.在一些实施方式中，作为硬件，服务端可以是独立或者作为额外增加的外围元件加装到计算机或者计算机系统。服务端也可以集成到计算机或者计算机系统，例如，服务端是电子设备的一部分时，服务端可以集成到处理器上。
53.在一些服务端是电子设备的一部分部分的实施方式中，作为软件，服务端对应的代码段可以存储于存储器上通过处理器执行实现前述功能。或者说服务端包括前述的一个或多个程序，又或者说前述的一个或多个程序包括服务端。
54.请结合图3，网关100和服务端100通过远程通信实现两者之间的信息交换。在通信网中，通信双方在发送和接收数据时，必须遵循一些既定的规程，以保证数据的正确、可靠
传输。这些规程就简称为通信规约。通信规约包括的主要内容有代码(数据编码)、传输控制字符、传输报文格式、呼叫和应答方式、差错控制步骤、通信方式(指单工、半双工、全双工通信方式)、同步方式及传输速率等。
55.在本技术中，服务端100和终端设备可以为能源互联网中的分布式能量采集装置，也即是，本技术实施方式的数据传输方法应用于能源互联网。
56.需要说明的是，能源互联网是综合运用先进的电力电子技术、信息技术和智能管理技术,将大量由分布式能量采集装置,分布式能量储存装置和各种类型负载构成的新型电力网络、石油网络、天然气网络等能源节点互联起来,以实现能量双向流动的能量对等交换与共享网络。
57.服务端100可包括但不限于kafka、远程字典服务(remote dictionary server，redis)、zookeeper等平台。
58.本领域技术人员可以理解地，kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。kafka的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
59.redis是一个开源的使用ansi c语言编写、支持网络、可基于内存亦可持久化的日志型、key-value数据库，并提供多种语言的api。
60.zookeeper是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
61.应用端是指对服务端100进行控制的主站页面，用户可通过在应用端给服务端100下发报文任务，从而实现自定义任务采集。如此，可以灵活服务端100的采集任务配置。
62.网关可包括多个，多个网关可采用多节点部署。网关可包含有多种网络通信协议，并可采用动态配置协议以实现与服务端100的通信。也即是，网关可根据服务端100的网络通信协议而自动加载对应的配置协议，并生成对应的通信通道。
63.网关与服务端100之间的网络通信协议可以基于netty框架开发得到。netty是一个基于nio的客户、服务器端的编程框架。netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。netty相当于简化和流线化了网络应用的编程开发过程。
64.如此，在服务端100与网关之间，建立起一种唯一的通信约定，同时也保证数据传输的安全性，并且可以实现对内容的缩减，降低了网关与服务端100之间的io开销，提升了网关与服务端100之间传输数据的效率。
65.进一步地，在网关与服务端100之间实现通信之后，将报文信息发送至网关，可以实现字节流传输，大大降低网关与服务端100之间的io开销，提高传输效率。
66.网关可通过超文本传输协议实现与终端设备连接，从而将报文信息发送至终端设备，如此。通过网关实现了服务器与终端设备之间的数据传输。
67.需要说明的是，超文本传输协议(hyper text transfer protocol，http)是一个简单的请求-响应协议，它通常运行在tcp之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。
68.请参阅图4，在某些实施方式中，在某些实施方式中，步骤01之前，数据传输方法还包括：
69.06，通过socket与应用端通信。
70.请进一步地结合图2，在某些实施方式中，06可以由第一通信模块140实现。或者说，第一通信模块140可以用于通过socket与应用端通信。
71.在某些实施方式中，处理器可以用于通过socket与应用端通信。
72.需要说明的是，socket就是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。一个socket就是网络上进程通信的一端，提供了应用层进程利用网络协议交换数据的机制。套接字上联应用进程，下联网络协议栈，是应用程序通过网络协议进行通信的接口，是应用程序与网络协议栈进行交互的接口。如此，应用端可与服务端100通信，从而将报文任务发送至服务端100，从而控制服务端100与网关100通信。
73.请参阅图5，在某些实施方式中，步骤02包括子步骤：
74.021，报文体组装处理；
75.022，根据验证程序判断报文体组装是否异常；
76.023，在报文体组装正确的情况下，进行链路数据分帧、扰码组装以及报文头组装以得到所述报文信息。
77.请进一步地结合图2，在某些实施方式中，子步骤021-023可以由填充模块120完成。或者说，填充模块120可以用于报文体组装处理，根据验证程序判断报文体组装是否异常，以及在报文体组装正确的情况下，进行链路数据分帧、扰码组装以及报文头组装以得到所述报文信息。
78.在某些实施方式中，处理器可以用于报文体组装处理，并根据验证程序判断报文体组装是否异常，以及在报文体组装正确的情况下，进行链路数据分帧、扰码组装以及报文头组装以得到所述报文信息。。
79.需要说明的是，国际标准化组织(international organization for standardization，iso)于1984年发布了著名的iso/iec 7498-1标准，即开放式系统互联通信参考模型(open systeminterconnection reference model，osi)，简称为iso七层参考模型。iso七层参考模型从下到上分别为：第1层物理层、第2层数据链路层、第3层网络层、第4层传输层、第5层会话层、第6层表示层和第7层应用层，每一层使用其下层提供的服务，并向其上层提供服务；同一节点内相邻层之间通过接口通信；不同节点的同等层按照协议实现对等层之间的通信。第7、6、5、4层定义了应用程序的功能，下面3层即第3、2、1层主要面向通过网络的端到端的数据流。
80.数据发送时，每个层次接收到上层传递过来的数据后都要将本层次的控制信息加入数据单元的头部，一些层次还要将校验和等信息附加到数据单元的尾部，这个过程叫做封装。这个从上层到下层的过程，逐层执行直至将本端应用层报文封装入物理层比特流，并经过物理层传输通道，发送给接收端的物理层。
81.当数据到达接收端时，每一层读取相应的控制信息根据控制信息中的内容向上层传递数据单元，在向上层传递之前去掉本层的控制头部信息和尾部信息(如果有的话)，此过程叫做解封装。这个从下层到上层的过程，逐层执行直至将对端发送来的应用层产生的数据传输给本端的相应的应用进程。
82.iso七层参考模型中，每层封装后的数据单元的叫法不同，在第7层即应用层、第6层即表示层、第5层即会话层的协议数据单元统称为报文；第4层即传输层的协议数据单元称为数据段即segment，对应tcp/ip四层参考模型的第3层即运输层，tcp的数据单元称为报文段即segments，而udp协议的数据单元称为数据报即datagrams；第3层即网络层的协议数据单元称为数据包或分组即packet；第2层即数据链路层的协议数据单元称为数据帧即frame；第1层即物理层的协议数据单元称为比特流即bits。
83.报文信息是网络传输的单位，传输过程中会不断的封装成分组、包、帧来传输，封装的方式就是添加一些信息段，报文头以一定格式组织起来的数据。其中，报文体可以为服务端所要传输的数据，而链路数据分帧、扰码组装以及报文头组装则是对传输数据进行封装的过程，从而便于传输数据通过网络通信协议在服务端与网关之间进行传输。
84.还需要说明的是，需要根据报文的规约来填充报文信息。其中，报文的规约里面规定了一个报文长度以及其他业务所需的字段值。
85.请参阅图6，在某些实施方式中，步骤02还包括：
86.024，在报文体组装异常的情况下，进行报文体组装异常处理以得到正确报文体。
87.请进一步结合图2，在某些实施方式中，子步骤024和子步骤025可以由填充模块120实现，或者说，填充模块120可以用于在报文体组装异常的情况下，进行报文体组装异常处理以得到正确报文体。
88.在某些实施方式中，处理器可以用于在报文体组装异常的情况下，进行报文体组装异常处理以得到正确报文体。
89.如此，保证了报文体组装正确，从而能够生成正确的报文信息。
90.请结合图7，本技术实施还提供了一种数据处理方法，用于网关200，数据处理方法包括：
91.11，接收服务端的网络通信协议；
92.12，根据网络通信协议与服务端通信；和
93.13，将服务端发送的报文信息发送至对应终端设备。
94.请参阅图8，本技术实施方式还提供了一种网关200，网关200包括第二接收模块210、第二通信模块220和第二发送模块230。
95.步骤11可以由第二接收模块210实现，步骤12可以由第二通信模块220实现，步骤13可以由第二发送模块230实现。或者说，第二接收模块210可以用于接收服务端的网络通信协议，第二通信模块220可以用于根据网络通信协议与服务端通信，第二发送模块230可以用于将服务端发送的报文信息发送至对应终端设备。
96.本技术实施方式还提供了一种电子设备，包括处理器和存储器，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现上述数据传输方法，也即是，处理器用于接收服务端的网络通信协议，根据网络通信协议与服务端通信，将服务端发送的报文信息发送至对应终端设备。
97.本技术实施方式数据处理方法、网关200以及电子设备中，网关200通过根据服务端发送的网络通信协议来配置对应的配置协议，从而生成对应的通信通道，如此，网关200与服务端之间可以使用字节流进行数据传输，从而能更好地处理大数据并发、数据传输、保证数据安全。
98.在本技术中，网关200应用于能源互联网。需要说明的是，能源互联网是综合运用先进的电力电子技术、信息技术和智能管理技术,将大量由分布式能量采集装置,分布式能量储存装置和各种类型负载构成的新型电力网络、石油网络、天然气网络等能源节点互联起来,以实现能量双向流动的能量对等交换与共享网络。
99.网关200可包括多个，多个网关200可采用多节点部署。网关200可包含有多种网络通信协议，并可采用动态配置协议以实现与服务端的通信。也即是，网关200可根据服务端的网络通信协议而自动加载对应的配置协议，并生成对应的通信通道。
100.网络通信协议可包括多种，多种网络通信协议基于netty框架开发得到。需要说明的是，netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说，netty是一个基于nio的客户、服务器端的编程框架，使用netty可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户、服务端应用。
101.网关200可通过超文本传输协议实现与终端设备连接，从而将报文信息发送至终端设备，如此。通过网关200实现了服务器与终端设备之间的数据传输。
102.需要说明的是，超文本传输协议(hyper text transfer protocol，http)是一个简单的请求-响应协议，它通常运行在tcp之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。
103.本技术实施方式还提供了一种非易失性计算机可读存储介质，可读存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行上述的数据传输方法。
104.在一些实施方式中，计算机可读存储介质可以是内置在电子设备的存储介质，例如可以是存储器，也可以是能够插拔地插接在电子设备的存储介质，例如sd卡等。
105.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。