通信模块自动化物联网数据传输和云服务器系统的制作方法

1.本发明涉及通信模块技术领域，具体为通信模块自动化物联网数据传输和云服务器系统。


背景技术：

2.随着云计算商业模式的不断普及，已经出现提供云存储服务的运营商，主要表现在以下几种方式，以对象存储系统的方式对外提供云存储服务，除了提供存储空间外，对使用者提供可编程的对象访问接口供程序调用，用户可以以http或rest方式访问实际的数据，并且可以在不同用户之间进行分享，例如亚马逊aws的s3对象存储服务；个人网盘或终端数据同步的方式，个人用户在个人电脑或终端部署客户端软件，用户将云端的存储空间看做本地的一个存储盘进行数据存储访问，实际上数据可以存放在云端，或者云存储软件通过后台同步的方式将数据同步到云端。例如dropbox、icloud、酷盘、金山快盘提供的云数据同步或个人网盘等服务；以企业云存储服务的方式，企业用户在企业网络部署网关设备，企业内部用户像使用本地存储一样进行数据存储访问，但实际上数据可以存放在云端。例如nirvanix提供的企业nas云服务，这种云存储服务方式，通常包括云存储服务端和客户端，服务端主要实现海量数据存储，并且提供相关的访问接口；客户端在用户终端上实现数据的统一展现，实现与服务端的数据传输。。
3.如发明专利201580019534.1所公开的“数据传输系统、控制服务器以及数据传输方法”，其对通常包括云存储服务端和客户端，服务端主要实现海量数据存储，并且提供相关的访问接口；客户端在用户终端上实现数据的统一展现，实现与服务端的数据传输。由于网络环境复杂，在无线网络环境下，包括有线宽带、wifi、3g、grps/edge等无线网络，由于信号稳定性和带宽受限等问题，当传输较大文件时所需时间较长，甚至出现传输失败等情况，用户体验不好，同时其他文件压缩率有限，且没有有效地利用云存储后台的能力，其效果非常有限，为此我们提出通信模块自动化物联网数据传输和云服务器系统，能够传输较大文件较快，提高用户体验和有效利用云储存后台能力来解决此问题。


技术实现要素：

4.本发明的目的在于提供通信模块自动化物联网数据传输和云服务器系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.通信模块自动化物联网数据传输和云服务器系统，包括数据服务模块，所述数据服务模块的一端电性连接有数据服务选择模块，所述数据服务模块的一端电性连接有云存储客户端，数据服务选择模块接受所述数据服务模块的注册、监控所述数据服务模块的状态以及为所述云存储客户端分配相对应的所述数据服务模块，所述云存储客户端的一端电性连接有所述服务请求信息，所述数据服务模块包括数据传输子模块、特征值查询子模块、数据组合子模块和数据存储模块，所述数据服务模块的一端电性连接有云存储服务端，所
述云存储服务端包括特征值提取模块、数据传输模块和数据切片模块。
7.优选的，所述数据服务模块为多个，每一所述云存储客户端具有对应的所述数据服务模块，所述数据服务模块用于接收云存储客户端进行云存储待传输数据的特征值，根据所述特征值进行去重存储，包括：判断所述特征值是否保存在特征值数据库中，若存在，则根据所述特征值建立链接以备存储；若不存在，则通知所述云存储客户端需要传输所述待传输数据的原始数据切片；以及在获得所述云存储客户端传输的所述原始数据切片后，将所述特征值及原始数据切片保存在所述特征值数据库中，并将所述原始数据切片与所述特征值进行组合后保存；以及接收所述云存储客户端进行云存储访问发送的访问请求，根据所述访问请求，提取去重后的数据并进行数据重组，发送给所述云存储客户端。
8.优选的，所述云存储客户端第一次进行云存储之前，发送服务请求信息，所述数据服务选择模块根据所述服务请求信息，为所述云存储客户端分配相对应的所述数据服务模块，所述服务请求信息中包括所述云存储客户端的信息、所述待传输数据的文件名称和所述云存储客户端对所述待传输数据切片后获得的起始数据块号。
9.优选的，所述访问请求中包括的待访问数据的数据块信息，将去重后的所述特征值还原成原始数据，并与所述原始数据切片进行组合，获得所述待访问数据，所述数据服务模块根据所述访问请求，提取去重后的数据并进行数据重组。
10.优选的，所述数据传输子模块，用于从所述云存储客户端获得所述特征值和所述访问请求；特征值查询子模块，用于判断所述待传输数据的特征值是否保存在所述特征值数据库中；数据组合子模块，用于将所述待传输数据的特征值与原始数据切片进行组合，获得去重后的数据；以及根据所述访问请求，提取去重后的数据并进行数据重组，所述数据存储模块，用于保存去重后的数据。
11.优选的，所述云存储客户端向云存储服务端传输待传输数据时，所述云存储服务端从所述云存储客户端获得所述待传输数据的特征值，根据所述特征值进行去重存储，包括：判断所述特征值是否保存在特征值数据库中，若存在，则根据所述特征值建立链接以备存储；若不存在，则通知所述云存储客户端需要传输所述待传输数据的原始数据切片；以及在获得所述云存储客户端传输的所述原始数据切片后，将所述特征值及原始数据切片保存在所述特征值数据库中，并将所述原始数据切片与所述特征值进行组合后保存；当所述云存储客户端向所述云存储服务端发送访问请求时，所述云存储服务端根据所述访问请求，提取去重后的数据并进行数据重组，发送给所述云存储客户端。
12.优选的，所述特征值提取模块，用于在向云存储数据服务装置传输数据之前，提取待传输数据的特征值；数据传输模块，用于将所述待传输数据的特征值发送至所述云存储数据服务装置，以及用于向所述云存储数据服务装置发送访问请求；数据切片模块，用于在向所述云存储数据服务装置传输数据之前，对所述待传输数据进行切片，将所述待传输数据切分成多个数据块，使所述特征值提取模块根据所述数据块提取所述待传输数据的特征值；数据传输模块还用于：当所述云存储数据服务装置判断所述待传输数据的特征值未保存在特征值数据库中时，向所述云存储数据服务装置传输所述待传输数据的原始数据切片。
13.优选的，所述云存储客户端，用于在将待传输数据进行云存储之前，对所述待传输数据进行切片，提取所述待传输数据的特征值，所述访问请求中包括的待访问数据的数据
块信息，将去重后的所述特征值还原成原始数据，并与所述原始数据切片进行组合，获得所述待访问数据；云存储客户端发送服务请求信息，所述云存储服务端根据所述服务请求信息，为所述云存储客户端分配相对应的所述数据服务模块。
14.与现有技术相比，本发明提供了通信模块自动化物联网数据传输和云服务器系统，具备以下有益效果：
15.通过数据服务选择模块为云存储客户端选定对应的数据服务模块，以提供服务，当每一数据服务模块启动时，即向数据服务选择模块注册，数据服务选择模块定期收集各个数据服务模块的状态，根据各数据服务模块的负载情况(如cpu利用率、内存使用情况、连接数、网络带宽利用率等)及运行状态，为云存储客户端择优选择相对应的数据服务模块，从而能够充分利用云端云存储中的资源和能力，有效降低数据传输量，提升传输效率，提升用户体验；
16.通过数据服务模块出现故障时，正在进行传输的云存储客户端的数据传输模块重新发送服务请求(服务请求中带有客户端信息、文件名称、起始数据块编号等)数据服务选择模块，继续进行数据传输，若网络发生故障，将导致数据传输失败。当网络恢复后，云存储客户端可从当前数据块的编号开始继续进行传输，可以有效地降低后台云存储数据存储效率。
附图说明
17.图1为本发明结构流程示意图；
18.图2为本发明局部结构展示图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.如图1-2所示，本发明提供一种技术方案：通信模块自动化物联网数据传输和云服务器系统，包括数据服务模块，数据服务模块的一端电性连接有数据服务选择模块，所述数据服务模块的一端电性连接有云存储客户端，数据服务选择模块接受数据服务模块的注册、监控数据服务模块的状态以及为云存储客户端分配相对应的数据服务模块，通过数据服务选择模块为云存储客户端选定对应的数据服务模块，以提供服务，当每一数据服务模块启动时，即向数据服务选择模块注册。数据服务选择模块定期收集各个数据服务模块的状态，根据各数据服务模块的负载情况(如cpu利用率、内存使用情况、连接数、网络带宽利用率等)及运行状态，为云存储客户端择优选择相对应的数据服务模块，从而能够充分利用云端云存储中的资源和能力，有效降低数据传输量，提升传输效率，提升用户体验。
21.请参阅图1所示，为了判断特征值是否保存在特征值数据库中，数据服务模块为多个，每一云存储客户端具有对应的数据服务模块，数据服务模块用于接收云存储客户端进行云存储待传输数据的特征值，根据特征值进行去重存储，包括：判断特征值是否保存在特征值数据库中，若存在，则根据特征值建立链接以备存储；若不存在，则通知云存储客户端
需要传输待传输数据的原始数据切片；以及在获得云存储客户端传输的原始数据切片后，将特征值及原始数据切片保存在特征值数据库中，并将原始数据切片与特征值进行组合后保存；以及接收云存储客户端进行云存储访问发送的访问请求，根据访问请求，提取去重后的数据并进行数据重组，发送给云存储客户端。
22.请参阅图1所示，为了云存储客户端分配相对应的数据服务模块，云存储客户端第一次进行云存储之前，发送服务请求信息，数据服务选择模块根据服务请求信息，为云存储客户端分配相对应的数据服务模块，服务请求信息中包括云存储客户端的信息、待传输数据的文件名称和云存储客户端对待传输数据切片后获得的起始数据块号。
23.请参阅图1所示，为了访问请求中包括的待访问数据的数据块信息，访问请求中包括的待访问数据的数据块信息，将去重后的特征值还原成原始数据，并与原始数据切片进行组合，获得待访问数据，数据服务模块根据访问请求，提取去重后的数据并进行数据重组。
24.请参阅图2所示，为了判断待传输数据的特征值是否保存在特征值数据库中，数据传输子模块，用于从云存储客户端获得特征值和访问请求；特征值查询子模块，用于判断待传输数据的特征值是否保存在特征值数据库中；数据组合子模块，用于将待传输数据的特征值与原始数据切片进行组合，获得去重后的数据；以及根据访问请求，提取去重后的数据并进行数据重组，数据存储模块，用于保存去重后的数据。
25.如图1-2所示，本发明提供一种技术方案：通信模块自动化物联网数据传输和云服务器系统，云存储客户端的一端电性连接有服务请求信息，数据服务模块包括数据传输子模块、特征值查询子模块、数据组合子模块和数据存储模块，数据服务模块的一端电性连接有云存储服务端，云存储服务端包括特征值提取模块、数据传输模块和数据切片模块，通过数据服务模块出现故障时，正在进行传输的云存储客户端的数据传输模块重新发送服务请求(服务请求中带有客户端信息、文件名称、起始数据块编号等)数据服务选择模块，继续进行数据传输，若网络发生故障，将导致数据传输失败。当网络恢复后，云存储客户端可从当前数据块的编号开始继续进行传输，可以有效地降低后台云存储数据存储效率。
26.请参阅图1所示，为了云存储客户端向云存储服务端传输待传输数据从而判断特征值是否保存在特征值数据库中，云存储客户端向云存储服务端传输待传输数据时，云存储服务端从云存储客户端获得待传输数据的特征值，根据特征值进行去重存储，包括：判断特征值是否保存在特征值数据库中，若存在，则根据特征值建立链接以备存储；若不存在，则通知云存储客户端需要传输待传输数据的原始数据切片；以及在获得云存储客户端传输的原始数据切片后，将特征值及原始数据切片保存在特征值数据库中，并将原始数据切片与特征值进行组合后保存；当云存储客户端向云存储服务端发送访问请求时，云存储服务端根据访问请求，提取去重后的数据并进行数据重组，发送给云存储客户端。
27.请参阅图2所示，为了判断待传输数据的特征值未保存在特征值数据库中，特征值提取模块，用于在向云存储数据服务装置传输数据之前，提取待传输数据的特征值；数据传输模块，用于将待传输数据的特征值发送至云存储数据服务装置，以及用于向云存储数据服务装置发送访问请求；数据切片模块，用于在向云存储数据服务装置传输数据之前，对待传输数据进行切片，将待传输数据切分成多个数据块，使特征值提取模块根据数据块提取待传输数据的特征值；数据传输模块还用于：当云存储数据服务装置判断待传输数据的特
征值未保存在特征值数据库中时，向云存储数据服务装置传输待传输数据的原始数据切片。
28.请参阅图2所示，为了提取待传输数据的特征值，云存储客户端，用于在将待传输数据进行云存储之前，对待传输数据进行切片，提取待传输数据的特征值，访问请求中包括的待访问数据的数据块信息，将去重后的特征值还原成原始数据，并与原始数据切片进行组合，获得待访问数据；云存储客户端发送服务请求信息，云存储服务端根据服务请求信息，为云存储客户端分配相对应的数据服务模块。
29.工作原理：数据服务选择模块为云存储客户端选定对应的数据服务模块，以提供服务，当每一数据服务模块启动时，即向数据服务选择模块注册。数据服务选择模块定期收集各个数据服务模块的状态，根据各数据服务模块的负载情况(如cpu利用率、内存使用情况、连接数、网络带宽利用率等)及运行状态，为云存储客户端择优选择相对应的数据服务模块。
30.数据服务模块出现故障时，正在进行传输的云存储客户端的数据传输模块重新发送服务请求(服务请求中带有客户端信息、文件名称、起始数据块编号等)数据服务选择模块，继续进行数据传输，若网络发生故障，将导致数据传输失败。当网络恢复后，云存储客户端可从当前数据块的编号开始继续进行传输。
31.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
32.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。