物联网数据高效分析方法
【技术领域】
[0001] 本发明设及物联网，特别设及一种物联网数据高效分析方法。
【背景技术】
[0002] 物联网实现了用户对信息的传感、收集与感知。但利用物联网进行信息交换与通 信的过程中会产生海量的数据如射频数据、传感器数据等，该些数据不断的增多加大了用 户从中获取有用信息的难度。为了提高物联网的数据处理功能，现有技术结合应用云计算、 大数据技术，构建百万计算机集群的云模式，W分布式计算技术与存储机制，增强物联网的 计算功能。然而，现有的物联网在面对海量业务数据方面仍然不够快速地进行分析、处理、 存储、挖掘，从而无法实现有价值信息的快速提取，物联网商业决策因此尚未得到最快的服 务。
【发明内容】
[0003] 为解决上述现有技术所存在的问题，本发明提出了一种物联网数据高效分析方 法，包括：
[0004] 数据分析系统W化doop为平台，将物联网中的射频标签数据进行过滤、转换、合 并处理，并在分布式系统中保存；应用副本策略将数据文件的副本在不同节点上保存，将 Map/Re化ce的数据处理策略存储在策略存储节点中；
[0005] 主程序创建与管理要执行的任务，将任务分配至空闲状态的工作程序，工作程序 结合Map/Re化ce进行操作处理，然后通过主程序汇总最终结果并向用户反馈。
[0006] 优选地，所述包括数据层、处理策略层、处理层，数据层的名字节点用于接收用户 的请求，同时向用户返回存储数据的计算节点的IP地址，并向其它接收副本的计算节点发 送通知；数据分析处理的算法利用主程序来进行控制与管理，向相关节点传送算法实现计 算，处理层数据任务处理流程包括；①主程序查找空闲的计算节点，并将其放置在空闲节点 列表中；②主程序接收用户请求，并获取计算节点各个数据块中的存储信息；⑨主程序向 处理策略存储节点申请需要的处理策略，而后通过处理策略存储节点将所需算法传送给计 算节点；④在服务器中根据计算任务启动工作，将工作完成结果传送给主程序，主程序经过 汇总生成最终结果并反馈给用户。
[0007] 优选地，在上述处理层中，借助Map/Re化ce模式，只在Re化ce过程中需要将计算 结果传送给主程序，所述Map/Re化ce操作过程进一步包括：
[000引①依据预设参数将输入文件分割成预设大小的M块；
[0009] ②空闲工作程序接收到主程序分配的M个Map或R个Re化ce处理任务；
[0010] ⑨工作程序在处理Map任务时对处理数据进行读取，而后将键值对<key，value〉 传送给Map函数并产生中间结果，将其缓存在内存中，定时向本地硬盘传送缓存的中间结 果，W分区函数将其划分为R个区块，将本地硬盘所接收数据的位置信息通过主程序向 Re化ce函数传送；
[0011] ④依据主程序传送的文件信息，Re化ce工作程序通过远程读取方式来寻找相对应 的本地文件，有序排列文件中的中间key,再通过远程方式向执行的Re化ce发送信息；
[0012] ⑥根据key排序后的中间数据，Re化ce工作程序将key与相应的中间结果集传送 给Re化ce函数，并W最终输出文件来构造最后的结果；
[0013] ⑧完成全部的Map与Re化ce任务后，MapRe化ce返回用户程序的调用点，并通过 主程序来激活用户程序。
[0014] 优选地，所述数据处理策略包括关联规则算法，所述关联规则算法利用分布式存 储扫描数据库，查找频繁项集所获得的关联规则，在各个计算节点中并行进行扫描处理，由 此获得各计算节点上的局部频繁项集，然后利用主程序将实际的全局的支持度、频繁项集 统计与确定出来。
[0015] 本发明相比现有技术，具有W下优点：
[0016] 本发明提出了一种物联网数据高效分析方法，采用分布式处理方式实现物联网海 量数据的分析和挖掘，有效提高了物联网中的数据处理效率。
【附图说明】
[0017] 图1是根据本发明实施例的物联网数据高效分析方法的流程图。
【具体实施方式】
[0018] 下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描 述。结合该样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权 利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节 W便提供对本发明的透彻理解。出于示例的目的而提供该些细节，并且无该些具体细节中 的一些或者所有细节也可W根据权利要求书实现本发明。
[0019] 本发明的一方面提供了一种物联网数据高效分析方法。图1是根据本发明实施例 的物联网数据高效分析方法流程图。
[0020] 处理物联网海量数据挖掘中的射频标签动态异构数据，需要基于云计算技术与数 据挖掘技术，W化doop为平台，利用Map/Re化ce模式来实现数据挖掘处理。具体的操作流 程包括；①过滤、转换、合并物联网中的射频标签数据，在分布式系统中保存。应用副本策略 将数据文件的副本在同一机构的不同节点上保存。②主程序在执行任务中负责创建与管理 控制的任务，空闲状态的工作程序会得到相关分配任务且结合Map/Re化ce进行操作处理， 之后通过主程序汇总最终结果及向用户反馈结果。
[0021] 本发明的数据分析系统包括数据层、处理策略层、处理层。系统的主控节点是主程 序，任务是交互用户、调度与管理整个系统节点。系统Map/Re化ce化的数据处理策略被存 储在一部分的节点中，利于实现挖掘的高效性。在分布式存储系统中，由1个主节点、若干 计算节点构成，其中名字节点负责接收用户的请求，同时向用户返回存储数据的计算节点 的IP地址，并向其它接收副本的计算节点发送通知。
[0022] 数据分析处理中的算法都进行了Map/Re化ce化，算法都集成在系统处理策略层 的策略存储节点中。在使用过程中借助云计算平台，利用主程序来进行控制与管理，根据客 户需求向相关节点传送算法来计算。
[0023]处理层即任务调度层，主程序可调度系统中所有的分析程序。具体的数据任务 处理流程；①利用主程序查找空闲的计算节点，并将其放置在空闲节点列表中；②由主程 序来接收用户请求，并获取计算节点各个数据块中的存储信息；⑨主程序向处理策略存储 节点申请需要的处理策略，而后通过处理策略存储节点将所需算法传送给计算节点；④在 皿FS服务器中根据计算任务启动工作，将工作完成结果传送给主程序，主程序经过汇总生 成最终结果并反馈给用户，该过程因不必进行数据重组与传送，所W系统每一节点的计算 和存储的文件传输效率大大提高。
[0024]在上述处理层中，数据计算和存储的整合及迁移处理过程借助Map/Re化ce模式， 具体的实施策略是在本地计算机上进行操作，Map在每一节点上的操作都具有独立性且不 存在数据传输，只在Re化ce过程中需要将计算结果传送给主程序，利于实现计算和数据的 同步密集及计算向存储的迁移，数据传输时间大大加快。同时，结合应用文件副本策略，预 防出现节点失效时计算节点存有一个副本节点提供给主程序，该副本节点会实现计算迁移 (该过程中数据不会在计算节点间相互传递）并重新开启数据处理，如此不必重启全部的 工作，数据传输效率大大提高。
[0025]具体的Map/Re化ce操作过程如下；
[0026]①依据预设参数将输入文件分割成预设大小的M块；②执行程序包括主程序、工 作程序，其中Map操作有M个，Re化ce操作有R个，空闲工作程序接收到主程序分配的Map 或Re化ce处理任务；⑨工作程序在处理Map任务时会对处理数据进行读取，而后将键值对 <key，value〉传送给Map函数并产生中间结果，将其缓存在内存中，定时向本地