一种大数据管理系统及方法与流程

本发明涉及大数据技术领域，具体涉及一种大数据管理系统及方法。

背景技术：

无线传感器网络是由大量无线传感器节点以自组织模式构成的网络，它具有传感器节点密度高、网络拓扑变化频繁以及节点功率、计算能力和数据存储能力较好等特点，使得无线传感器网络在环境监测军事、医疗健康、家庭智能监控和其他商业领域有着广泛的应用前景。然而，现有的无线传感器网络因传感器节点的能量有限，依然存在较多的缺陷。此外，无线传感器网络采集的数据构成的数据集合类似于大型的分布式数据库，需要由一个软件系统来进行管理。

技术实现要素：

针对上述问题，本发明提供一种大数据管理系统及方法。

本发明的目的采用以下技术方案来实现：

本发明第一方面实施例提供了一种大数据管理系统，该系统包括无线传感器网络和大数据管理平台，所述的无线传感器网络包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台；

所述大数据管理平台根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记，并通过报表形式展现已标记的感知数据。

在本发明第一方面的一种能够实现的方式中，所述大数据管理平台还将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。

本发明第二方面还提供了一种大数据管理方法，该方法包括：

大数据管理平台从无线传感器网络处接收感知数据，所述的无线传感器网络包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台；

所述大数据管理平台根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记；

所述大数据管理平台通过报表形式展现已标记的感知数据。

在本发明第二方面的一种能够实现的方式中，所述方法还包括：

所述大数据管理平台将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。

其中，在上述实施例的大数据管理系统及方法中，传感器节点采集的数据可以为各种数据格式，比如声音、温湿度、图像、视频等。

本发明上述实施例基于无线传感器网络实现了感知数据的有效采集以及发送至大数据管理平台进行处理，且基于大数据管理平台实现了异常数据的分析和管理。本发明上述实施例还采用hadoop技术实现了数据的部署和展示。采用无线传感器网络能够保障传感器设备的部署简单，不需要施工布线，减少成本及应用难度。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明一个示例性实施例的一种大数据管理系统的结构示意框图；

图2是本发明一个示例性实施例的一种大数据管理方法的流程示意图。

附图标记：

无线传感器网络1、大数据管理平台2。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本发明第一方面实施例提供了一种大数据管理系统，该系统包括无线传感器网络1和大数据管理平台2，所述的无线传感器网络1包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台2无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台2；

所述大数据管理平台2根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记，并通过报表形式展现已标记的感知数据。

在本发明第一方面的一种能够实现的方式中，所述大数据管理平台2还将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。

如图2所示，本发明第二方面实施例还提供了一种大数据管理方法，该方法包括：

s01大数据管理平台2从无线传感器网络1处接收感知数据，所述的无线传感器网络1包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台2无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台2；

s02所述大数据管理平台2根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记；

s03所述大数据管理平台2通过报表形式展现已标记的感知数据。

在本发明第二方面的一种能够实现的方式中，所述方法还包括：

所述大数据管理平台2将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。

其中，在上述实施例的大数据管理系统及方法中，传感器节点采集的数据可以为各种数据格式，比如声音、温湿度、图像、视频等。

本发明上述实施例基于无线传感器网络1实现了感知数据的有效采集以及发送至大数据管理平台2进行处理，且基于大数据管理平台2实现了异常数据的分析和管理。本发明上述实施例还采用hadoop技术实现了数据的部署和展示。采用无线传感器网络1能够保障传感器设备的部署简单，不需要施工布线，减少成本及应用难度。

在一个实施例中，传感器节点直接或者间接将采集的感知数据发送至对应的簇首，包括：

(1)传感器节点与对应簇首的距离未超过当前的距离阈值时，直接将采集的感知数据发送至对应的簇首；

(2)传感器节点与对应簇首的距离超过当前的距离阈值时，在其所在簇内相对于其距离簇首更近的传感器节点中，选择距离最近的传感器节点作为下一跳节点，将采集的感知数据发送至所述下一跳节点，以由下一跳节点转发所述采集的感知数据，直至所述采集的感知数据发送至对应的簇首；

所述距离阈值由簇首广播至簇内各传感器节点，簇首初始广播的距离阈值为：

式中，dt0(b)为簇首b初始广播的距离阈值，dmin0(b)为簇首b与其对应簇内最近的传感器节点的距离，dmin1(b)为簇首b与其对应簇内次近的传感器节点的距离，n(b)为簇首b对应簇内传感器节点的数量，s(b)为簇首b的通信距离。

本实施例中，传感器节点可以根据簇首广播的距离阈值在直接或者间接与簇首通信的模式中切换，相对于传统的所有传感器节点直接与簇首通信的方式，提高了簇内传感器节点与对应簇首之间路由的灵活性。

本实施例以距离阈值作为传感器节点选择直接或者间接的形式将采集的感知数据发送至对应的簇首的标准，并进一步给出了距离阈值的初始值，确保初始时有合适数量的传感器节点与其对应的簇首直接通信，保障了感知数据的可靠收集。

在一个实施例中，簇首每隔一个预设的周期δt0与其簇内的传感器节点进行信息交互，获取其簇内所有传感器节点的能量信息和位置信息，并根据所述能量信息和位置信息判断是否满足下列条件，若满足，所述簇首上调当前距离阈值，并将上调的当前距离阈值广播至其簇内所有传感器节点：

式中，qavg0(δt0)为在过去的一个预设的周期δt0内，与簇首距离未超过当前距离阈值的传感器节点所消耗能量的平均值；qavg1(δt0)为在过去的一个预设的周期δt0内，与簇首距离超过当前距离阈值的传感器节点所消耗能量的平均值；f(emin1-emin)为判断取值函数，emin为预设的传感器节点维持正常运作所需的最小能量值，emin0为与簇首距离未超过当前距离阈值的传感器节点的最小当前剩余能量，当emin1-emin≥0时，f(emin1-emin)＝1，当emin1-emin＜0时，f(emin1-emin)＝0；δ为预设的权重调整系数，δ的取值范围为[0.5，1]。

本实施例中，簇首每隔一个预设的周期δt0进行距离阈值是否更新的判断，并根据判断结果来执行距离阈值的更新操作，避免了无谓的阈值距离更新带来的能量消耗。

本实施例以簇内传感器节点的能量信息和位置信息作为衡量标准，相应地提出了判断机制，该机制使得与簇首距离未超过当前距离阈值的传感器节点中，存在传感器节点因当前剩余能量过低而不能维持正常运作，或者，与簇首距离未超过当前距离阈值的所有传感器节点，在过去的一个周期内消耗的能量的均值相对较大时，驱动簇首及时更新当前距离阈值，从而驱使簇内更多的传感器节点与簇首直接通信，实现以网络节点能量为基础的传感器节点通信模式的切换，有利于均衡簇内各传感器节点能量，进一步提高无线传感器网络1运行的稳定性。本实施例设置了权重调整系数δ，δ根据无线传感器网络1的具体情况进行设定，有利于根据网络情况调整簇内传感器节点的路由模式变换的速度。

在一个实施例中，所述簇首根据下列公式上调当前距离阈值：

式中，dt(b)′为簇首b更新后的距离阈值，dt(b)为簇首b更新前的距离阈值，m(b)为与其距离未超过当前距离阈值的传感器节点数量，s(b)为簇首b的通信距离；

当dt(b)′达到预设的距离上限或者更新次数达到预设的次数阈值时，停止距离阈值的更新。

本实施例进一步提出了距离阈值的更新公式，在进行距离阈值的更新时，本实施例考虑了传感器节点的实际部署情况，以与簇首距离未超过当前距离阈值的传感器节点的单位通信距离作为距离上调的基准，并以相对能耗差所占的权重作为距离阈值上调的比例系数，有利于使得上调后的距离阈值更加合适当前的网络情况，保障合适数量的传感器节点加入到与簇首直接通信的传感器节点集合中。

在一个实施例中，簇首与汇聚节点的距离未超过预设的距离上限时，直接将收集的感知数据发送至汇聚节点，若与汇聚节点的距离超过预设的距离上限时，簇首在相对于其距离汇聚节点更近的其他簇首中，选择距离最近的簇首作为下一跳节点。

本实施例能够保障簇首所接收的感知数据可靠地传输至汇聚节点，为后续的基于大数据的管理奠定良好的数据基础。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路、数字信号处理器、数字信号处理系统、可编程逻辑器件、现场可编程门阵列、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于随机存取存储器、只读内存镜像、带电可擦可编程只读存储器或其他光盘存储、磁盘存储介质或者其他磁存储系统、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。