去中心化大数据的采集方法及装置与流程

本发明涉及大数据采集技术领域，具体而言，涉及一种去中心化大数据的采集方法及装置。

背景技术：

大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理及处理的数据集合。

大数据分析是将所有数据进行统计及分析的技术，用于通过多个数据之间的已经或未知的关联性来进行获取或预测答案。

大数据分析技术在智慧城市及工业系统等场景有较高的应用价值，但是如智慧城市等场景细分为若干具体的应用场景，智慧交通、智慧农业及智慧水务等，在每个细分的应用场景均配置有适用或专用应用场景的传感设备。多个应用场景的传感设备一般是通过网关进行传感数据的采集，再将采集的传感数据通过中央处理平台整合及分析后发送到分布式计算机集群进行处理。

但是在应用场景较多且每个应用场景涉及的传感设备复杂时，中央处理服务器对大量的传感数据的处理效率低，分布式计算集群的处理性能无法充分发挥。

技术实现要素：

针对上述现有技术中存在的问题，本发明提供了一种去中心化大数据的采集方法及装置。

第一方面，本发明实施例提供了一种去中心化大数据的采集方法，其特征在于，应用于网关，所述方法包括：

采集传感器检测到的数据；

对所述数据进行处理，形成处理后数据；

利用对称加密密钥对处理后数据进行加密，形成加密文件；

选取预设的不对称加密公钥对所述对称加密密钥进行加密，并根据处理后数据的应用场景的编号生产头部文件，所述不对称加密公钥和头部文件形成组合文件；

将所述加密文件和组合文件传输给云存储服务器。

进一步的，对所述数据进行处理，形成处理后数据，包括：

将所述数据构建数据矩阵，并且降维所述数据矩阵为降维数据集，降维数据集为处理后数据。

进一步的，所述对称加密密钥是随机任意选取的。

第二方面，本发明实施例还提供了一种去中心化大数据的采集方法，应用于分布式服务器，所述方法包括：

下载所述云服务器上的加密文件和组合文件；

利用所述组合文件中的不对称加密公钥解密出对称加密密钥；

根据所述组合文件中头部文件中的编号，查找到与所述处理后数据匹配的服务器，并且利用所述对称加密密钥解密所述加密文件。

进一步的，根据所述组合文件中头部文件中的编号，查找到与所述处理后数据匹配的服务器，并且利用所述对称加密密钥解密所述加密文件，包括：

利用所述对称加密密钥将所述加密文件解密为降维数据集。

第三方面，本发明实施例还提供了一种去中心化大数据的采集装置，应用于网关，所述装置包括：

采集模块，用于采集传感器检测到的数据；

处理模块，用于对所述数据进行处理，形成处理后数据；

加密模块，用于利用对称加密密钥对处理后数据进行加密，形成加密文件；

组合模块，用于选取预设的不对称加密公钥对所述对称加密密钥进行加密，并根据处理后数据的应用场景的编号生产头部文件，所述不对称加密公钥和头部文件形成组合文件；

通信模块，用于将所述加密文件和组合文件传输给云存储服务器。

进一步的，所述处理模块，还用于将所述数据构建数据矩阵，并且降维所述数据矩阵为降维数据集，降维数据集为处理后数据。

第四方面，本发明实施例还提供了一种去中心化大数据的采集装置，所述装置包括：

下载模块，用于下载所述云服务器上的加密文件和组合文件；

解密密钥模块，用于利用所述组合文件中的不对称加密公钥解密出对称加密密钥；

解密模块，用于根据所述组合文件中头部文件中的编号，查找到与所述处理后数据匹配的服务器，并且利用所述对称加密密钥解密所述加密文件。

进一步的，所述解密模块还用于：

利用所述对称加密密钥将所述加密文件解密为降维数据集。

第五方面，本发明实施例提供了一种计算机存储介质，用于储存为第三方面和第四方面所述的装置所用的计算机软件指令。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种去中心化大数据的采集方法及装置，无需由中央服务器将网关采集的传感数据按照任务分配给不同的分布式服务器；使对传感数据的整合及分析，不受限中央服务器的性能；同时，网关及分布式服务器通过云储存服务器进行数据交互的过程中，通过对称加密算法及不对称加密算法的组合对传感数据进行加密，保证传感数据的真实性；同时网关采用边缘计算的设计思想对传感数据进行数据加工，在保证数据的分析价值的前提下对传感数据进行压缩，提高传输及存储效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例所提供的一种去中心化大数据的采集方法的流程图；

图2为本发明第二实施例所提供的一种去中心化大数据的采集方法的流程图；

图3为本发明第三实施例所提供的一种去中心化大数据的采集装置的结构框图；

图4为本发明第四实施例所提供的一种去中心化大数据的采集装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参见图1所示的一种去中心化大数据的采集方法的流程图，该方法应用于网关，具体包括如下步骤：

s101.采集传感器检测到的数据；

s102.对所述数据进行处理，形成处理后数据；

s103.利用对称加密密钥对处理后数据进行加密，形成加密文件；

s104.选取预设的不对称加密公钥对所述对称加密密钥进行加密，并根据处理后数据的应用场景的编号生产头部文件，所述不对称加密公钥和头部文件形成组合文件；

s105.将所述加密文件和组合文件传输给云存储服务器。

进一步的，对所述数据进行处理，形成处理后数据，包括：

将所述数据构建数据矩阵，并且降维所述数据矩阵为降维数据集，降维数据集为处理后数据。

进一步的，所述对称加密密钥是随机任意选取的。

实施例二

参见图2所示的一种去中心化大数据的采集方法的流程图，该方法应用于分布式服务器，具体包括如下步骤：

s201.下载所述云服务器上的加密文件和组合文件；

s202.利用所述组合文件中的不对称加密公钥解密出对称加密密钥；

s203.根据所述组合文件中头部文件中的编号，查找到与所述处理后数据匹配的服务器，并且利用所述对称加密密钥解密所述加密文件。

进一步的，根据所述组合文件中头部文件中的编号，查找到与所述处理后数据匹配的服务器，并且利用所述对称加密密钥解密所述加密文件，包括：

利用所述对称加密密钥将所述加密文件解密为降维数据集。

实施例三

对于前述实施例所提供的去中心化大数据的采集方法，本发明实施例提供了一种去中心化大数据的采集的装置，应用于网关，参见图3所示的一种去中心化大数据的采集的装置的结构框图，该装置包括如下部分：

采集模块31，用于采集传感器检测到的数据；

处理模块32，用于对所述数据进行处理，形成处理后数据；

加密模块33，用于利用对称加密密钥对处理后数据进行加密，形成加密文件；

组合模块34，用于选取预设的不对称加密公钥对所述对称加密密钥进行加密，并根据处理后数据的应用场景的编号生产头部文件，所述不对称加密公钥和头部文件形成组合文件；

通信模块35，用于将所述加密文件和组合文件传输给云存储服务器。

进一步的，所述处理模块32，还用于将所述数据构建数据矩阵，并且降维所述数据矩阵为降维数据集，降维数据集为处理后数据。

实施例四

对于前述实施例所提供的去中心化大数据的采集方法，本发明实施例提供了一种去中心化大数据的采集的装置，应用于分布式服务器，参见图4所示的一种去中心化大数据的采集的装置的结构框图，该装置包括如下部分：

下载模块41，用于下载所述云服务器上的加密文件和组合文件；

解密密钥模块42，用于利用所述组合文件中的不对称加密公钥解密出对称加密密钥；

解密模块43，用于根据所述组合文件中头部文件中的编号，查找到与所述处理后数据匹配的服务器，并且利用所述对称加密密钥解密所述加密文件。

进一步的，所述解密模块43还用于：

利用所述对称加密密钥将所述加密文件解密为降维数据集。

本发明实施例还提供了一种计算机存储介质，用于储存为上述实施例提供的装置所用的计算机软件指令。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

需要说明的是，在本发明所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。