一种数据传输方法及系统与流程

本发明属于物联网，更具体地涉及物联网数据处理和数据传输的方法及系统。

背景技术：

1、随着无线通讯自组网技术的成熟，海量iot设备节点接入物联网以进行数据交换，iot设备通常包括传感器、执行器、智能家居、智能穿戴设备、工业自动化设备等。然而不同的iot设备通常采用不同的通信协议和接口，比如zigbee、z-wave、lora、wi-fi、蓝牙等，这些设备之间的数据格式和协议不统一，不能直接与大数据平台bdp进行通信。bdp不仅是物联网数据采集的平台，还包括多种数据源的采集、存储、处理和分析。它的目的是为企业提供全面的数据处理服务，支持实时数据采集、存储、处理和分析，提供准确、可靠、高效的数据服务，以便企业作出更好的决策。为了解决这个问题，需要将这些设备接入到iot网络中，并建立iot网关，实现iot设备与大数据平台之间的数据交换和通信。

2、现有的数据传输模式大致包括push模式和pull模式这两种，其中push模式还分为确认和不需确认这两种模式，是iot设备自己将数据推送到大数据平台，大数据平台按照推送数据的类型进行判断是否需要确认处理；pull模式则是通过大数据平台定期查询读取iot设备数据。在实际应用中，若是采用push模式则可能会导致信息的频繁发送和浪费带宽和资源的问题，此外这种传输模式还需要iot设备和大数据平台同时可达数据才能实现传输，若大数据平台判断还需要确认则还需传输确认帧，这种双向通讯的方式网络开销很大；若是采用pull模式则需要大数据平台进行额外的操作才能获取信息，并且一般设备端的缓存有限，因此数据打包大小需依赖iot设备支持的大小，导致大数据平台不能集中读取大批量数据导致交互次数增加，此外数据可达后才能解析，如果过程中丢失会导致之前的数据无法解析处理，因此通讯对网络的健壮性要求较高。

3、由此可见，现有数据传输方法及系统的方案设计还存在问题，无法实现大密度数据高效传输，数据在传输过程容易丢失，数据处理及传输策略有待优化。

技术实现思路

1、基于现有技术中存在的上述缺点和不足，本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本发明的目的之一是提供满足前述需求之一或多个的一种数据传输方法及系统。

2、为了达到上述发明目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种数据传输方法，包括以下步骤：

4、s1、数据平台预设若干参数组以得到配置参数包，并将所述配置参数包发送给智能网关；

5、s2、智能网关提取所述配置参数包中与多个iot设备分别对应的多个第一次打包类型参数组以及第一次传输周期参数组并发送至多个iot设备；

6、s3、多个iot设备基于各自接收到的第一次打包类型参数组以及第一次传输周期参数组，将同类型数据进行打包，并按相应传输周期对打包完成的数据包按周期性传输至智能网关；

7、s4、智能网关提取所述配置参数包中与其对应的第二次打包类型参数组以及第二次传输周期参数组，并基于与其对应的第二次打包类型参数组以及第二次传输周期参数组，将同类型数据包进行二次分类打包，并按相应传输周期对二次打包完成的数据包按周期性传输至数据平台。

8、通过上述技术方案，针对实际的数据传输过程设置一个对应的配置参数包，所述配置参数包含有多组指导数据传输和数据打包处理的参数组。个性化的配置参数包更适合实际的生产生活，实用性显著提升，并且多维度的参数组使得数据的传输的效率显著提升、数据丢失率显著降低。在策略上重点关注数据类型和传输时间节点这两个因素，设置有类型参数组和周期参数组使得数据的传输是分类打包和分时传输的，有效避免了传输冲突，进而减少了数据丢失，网络的总体传输效率显著提升。

9、作为一种优选的方案，步骤s3之后还包括以下步骤：

10、智能网关将预设反馈周期内接收到的所有数据包，按数据类型和iot设备传输周期进行标记，并将标记后的反馈数据包反馈给预设反馈周期内有数据传输至该智能网关的iot设备；

11、iot设备基于接收到的反馈数据包以及其自身在相应预设反馈周期内已打包完成的数据包判断是否传输成功，若否，则重新将在相应预设反馈周期内已打包完成的数据包在其下一传输周期进行重传。

12、通过上述技术方案，数据传输包括两部分，其一是iot设备传输至智能网关，其二是智能网关传输给数据平台，针对前者智能网关设置有信息确认反馈机制，通过对收到的数据包进行信息标记并反馈给iot设备，iot设备基于接收到的反馈数据包与自身的数据包匹配，若能匹配则说明iot设备已经将此数据包成功传输至智能网关，否则iot设备需要启动重传机制将对应的数据包再次传输。智能网关的反馈机制和iot设备的重传机制使得数据传输的稳定性显著提升，数据丢失率显著下降。

13、作为一种优选的方案，步骤s3与步骤s4中，所述iot设备以及智能网关基于实时网络畅通情况，将同类型数据或者同类型数据包打包成一个或多个。

14、通过上述技术方案，数据打包处理涉及到打包规格，需要说明的是本发明采用push模式传输数据，考虑到打包规格的影响因素主要为网络的畅通情况，而不同的时间和地区网络畅通情况有变化，设置有因时因地的打包规格。根据打包规格的不同分为小包多传和大包少传这两种传输方式，小包多传有效利用了带宽传输数据使得负载均衡，大包少传高效利用了网络效率，降低传输时延、减少数据损失率，提高吞吐量和数据传输效率。两种传输规格的选择更适合实际的生产生活，实用性显著提升。

15、作为一种优选的方案，步骤s2中，所述智能网关还提取所述配置参数包中的数据传输优先级参数组并发送至多个iot设备；

16、步骤s3与步骤s4中，所述iot设备以及智能网关还基于所述数据传输优先级参数组将打包完成的数据包按优先级进行传输。

17、通过上述技术方案，数据的类型很多并且不同的数据对不同的数据接收方的重要性也不同，针对实际应用场景中各类数据的重要性设置有对应的优先级别参数组，根据优先级别的顺序优先传输重要的数据，提高了网络的运行效率和性能，确保了数据的稳定传输和可靠性，从而提高了网络的可用性和用户体验。

18、作为一种优选的方案，步骤s4之后，还包括步骤：

19、若数据平台在各第二次传输周期参数组中限定的传输周期内接收到数据包，则反馈确认应答指令至与该传输周期对应的智能网关；

20、智能网关若未接收到数据平台反馈的确认应答指令，则重传未接收到数据平台反馈的确认应答指令对应的数据包。

21、通过上述技术方案，数据平台设置有传输反馈机制，只有接收到智能网关发送的数据包则才发送确认应答指令，智能网关基于是否收到确认应答指令判断对应的数据是否成功传输至数据平台，若没有收到确认应答指令，则智能网关启动重传机制将对应的数据包再次传输至数据平台。数据平台的反馈机制和智能网关的重传机制使得数据传输的稳定性显著提升，数据丢失率显著下降。

22、作为一种优选的方案，若智能网关重传次数达到预设次数后，仍未接收到数据平台反馈的确认应答指令，则将对应数据包暂存，并暂停与数据平台的数据传输。

23、作为一种优选的方案，若智能网关重传时间达到预设时间后，仍未接收到数据平台反馈的确认应答指令，则将对应数据包暂存，并暂停与数据平台的数据传输。

24、通过上述技术方案，针对智能网关的重传机制从次数和时间这两个不同方向设置有限制条件，智能网关多次重传或重传时段较长仍未成功，可以考虑当前的网络环境不满足数据传输的使用要求，必要的暂停数据传输可以减少连接中断或数据丢失的情况发生。

25、第二方面，本发明还提供一种数据传输系统，包括数据平台、至少一个智能网关以及多个iot设备；

26、所述数据平台与智能网关连接，所述智能网关与其对应的多个iot设备连接；

27、所述数据平台包括配置模块和第一发送模块，所述配置模块用于预设若干参数组以得到配置参数包，所述第一发送模块用于将所述配置参数包发送给所述智能网关；

28、所述智能网关包括第一接收模块、提取模块和第二发送模块，所述第一接收模块用于接收所述配置参数包，所述提取模块用于提取所述配置参数包中与多个iot设备分别对应的多个第一次打包类型参数组以及第一次传输周期参数组，所述第二发送模块用于将多个第一次打包类型参数组以及第一次传输周期参数组发送至多个iot设备；

29、所述iot设备包括第二接收模块、第一打包模块和第一传输模块，所述第二接收模块用于接收所述第一次打包类型参数组以及第一次传输周期参数组，所述第一打包模块基于所述第一次打包类型参数组将同类型数据进行打包，所述第一传输模块基于第一次传输周期参数组按相应传输周期对打包完成的数据包按周期性传输至所述智能网关；

30、所述第一接收模块还用于接收所述多个iot设备发送的数据包；

31、所述提取模块还用于提取所述配置参数包中与其对应的第二次打包类型参数组以及第二次传输周期参数组；

32、所述智能网关还包括第二打包模块和第二传输模块，所述第二打包模块基于与其对应的第二次打包类型参数组将同类型数据包进行二次分类打包，所述第二传输模块基于第二次传输周期参数组按相应传输周期对二次打包完成的数据包按周期性传输至所述数据平台；

33、所述数据平台还包括第三接收模块，所述第三接收模块用于接收所述智能网关传输的经过二次打包的数据包。

34、通过上述技术方案，所述智能网关起到分别连接iot设备和数据平台，具有聚合、处理、转发和安全保障等功能，通过设置所述智能网关实现了所述多个iot设备与所述数据平台之间的数据交换和通信。

35、作为一种优选的方案，所述智能网关包括标记模块和第一反馈模块；

36、所述标记模块，用于将预设反馈周期内接收到的所有数据包按数据类型和iot设备传输周期进行标记；

37、所述第一反馈模块，用于将标记后的反馈数据包反馈给预设反馈周期内有数据传输至该智能网关的iot设备；

38、所述第二接收模块还用于接收所述智能网关反馈的反馈数据包；

39、所述iot设备包括判断模块和第一重传模块；

40、所述判断模块，基于接收到的反馈数据包以及其自身在相应预设反馈周期内已打包完成的数据包判断是否传输成功；

41、所述第一重传模块，基于判断传输失败的判断结果重新将在相应预设反馈周期内已打包完成的数据包在其下一传输周期进行重传。

42、通过上述技术方案，设置有所述第一反馈模块和第一重传模块确保了数据包从所述多个iot设备传输至智能网关的过程的数据传输的稳定性，降低了数据的丢失率。

43、作为一种优选的方案，所述数据平台包括第二反馈模块，所述第二反馈模块，基于在各第二次传输周期参数组中限定的传输周期内接收到数据包，反馈确认应答指令至与该传输周期对应的智能网关；

44、所述第一接收模块，还用于接收所述数据平台反馈的确认应答指令；

45、所述智能网关包括第二重传模块，所述第二重传模块，基于未接收到数据平台反馈的确认应答指令，重传未接收到数据平台反馈的确认应答指令对应的数据包。

46、通过上述技术方案，设置有所述第二反馈模块和第二重传模块确保了数据包从所述智能网关传输至数据平台的过程的数据传输的稳定性，降低了数据的丢失率。

47、与现有技术相比，本发明具有以下益效果：

48、本发明的方法及系统，通过智能网关实现了iot设备与所述数据平台之间的数据交换和通信。在数据从iot设备传输至数据平台的正向过程设置有类型和周期参数，实现了分类打包和分时传输的，有效避免了传输冲突，进而减少了数据丢失，网络的总体传输效率显著提升；在反向的过程中设置有接收确认反馈机制和重传机制，保证了数据传输的稳定性，降低了数据的丢失率。

49、进一步地或者更细节的有益效果将在具体实施方式中结合具体实施例进行说明。