一种基于物联网的数据处理方法
【技术领域】
[0001]本发明涉及物联网，特别涉及一种基于物联网的数据处理方法。
【背景技术】
[0002]物联网是信息化时代发展的重要阶段，其特点主要是将物体与物体相互连接，并实现信息共享。物联网通过识别技术、信息采集等通信感知技术，被广泛整合于网络中。传感器网络是以物联网为基础，可以在不同时间、地点、环境等条件下，为终端用户提供有价值的信息。其中，传感器网络可以对外部传感器进行感知和检查，可以将设备更改，与无线和有线网络进行连接。在传感器网络中，必须配备性能比较高的系统平台。传感器需要存储感知数据、系统配置文件、可加载任务文件以及程序产生的临时数据等各类信息。传感节点采用闪存芯片作为这些信息的存储介质，而闪存异位更新的物理特性，要求所有应用程序维护闪存存储空间的全局信息；另外，涉及信息存储的应用程序都要实现文件的访问和管理功能，增加了应用开发复杂度。现有闪存数据库文件系统在设计时没有考虑传感器自身限制特征以及特殊应用场景，因此不适用于传感器网络。
【发明内容】
[0003]为解决上述现有技术所存在的问题，本发明提出了一种基于物联网的数据处理方法，包括:
[0004]利用ZigBee协调器对传感器获取的实时数据进行收集，在TCP/IP协议下将数据上传至数据库，Web服务器访问数据库中数据对移动设备进行显示。
[0005]优选地，所述数据库采用日志形式对文件进行结构化，采用主存、可擦写R0M、NAND闪存和串行存储器作为存储介质；其中所述可擦写ROM用于保存系统配置文件，所述NAND闪存以字节为最小读写单元且支持数据随机访问，保存操作系统镜像及可执行程序，所述串行存储器的存储空间划分为固定大小的块和页；
[0006]优选地，所述数据库采用日志形式对文件进行结构化，进一步包括:
[0007]将文件的信息和数据存储在独立的文件存储区，文件存储区为连续的闪存物理页面，空间的开始为文件头信息结构，用于保存文件相关信息，随后为文件数据存储区；当文件首次被修改时，为文件建立对应的日志，修改数据以页面为单位记录在日志中，然后还利用可擦写ROM存储文件的位置及目录等信息；数据库文件系统挂载后，仅在主存中新建空的文件结构数组和文件描述符数组，而不将文件信息加载到主存中；数据库文件系统中文件生命周期包括新建、修改与删除3个状态，通过可擦写ROM中的标记位记录当前文件所处状态，以对文件的管理，新建状态和修改状态时文件有效，删除状态时文件无效。
[0008]优选地，所述数据库文件系统对文件进行按名存取，并为用户提供文件功能接口包括新建、读写、删除，还提供了重命名、文件恢复和目录管理的扩展功能；
[0009]文件新建时，先申请文件描述符，然后在可擦写ROM中查找该文件名对应文件信息是否存在；若存在且有效，则将文件信息加载到主存中；否则，新建该文件；新建时系统先在闪存中申请默认大小的文件存储区，写入文件头信息，然后向主存中加载文件信息，最后在可擦写ROM中添加该文件的信息；
[0010]文件读写是以逻辑页为单位，写操作分为添加写和修改写；将文件添加写操作的数据直接添加到文件的结尾；如果数据大小超过文件存储区，则进行文件扩展操作:重新申请2倍于原来大小的文件存储区，将原文件数据读到新空间，更新文件在可擦写ROM和主存中信息；逻辑页的第I个字节为修改标识位，文件首次被修改时系统为该文件新建日志文件，修改数据以记录形式存储在日志中，日志中建立的索引表用于保存修改记录与原文件数据所在页面的映射关系；日志存储区被修改记录占满后，进行文件整合操作即重新申请同样大小的文件存储区，将原文件数据读到新空间，更新可擦写ROM和主存中信息，对于数据读取，先从文件中读出一个逻辑页，查看修改标识位，如果该页中数据已被修改，则到对应日志中读取修改后的数据；
[0011]文件删除时，闪存按块擦写特性使得文件存储区中的数据在文件删除时并不被擦除掉，而是在垃圾回收时被清理；把可擦写ROM中该文件的标识改为删除状态，文件信息仍然保存在可擦写ROM中。
[0012]本发明相比现有技术，具有以下优点:
[0013]本发明提出了一种基于物联网的数据处理方法，考虑传感器所在环境特征，具备较低的能耗和高效的读写访问效率，降低应用开发复杂度。
【附图说明】
[0014]图1是根据本发明实施例的基于物联网的数据处理方法的流程图。
【具体实施方式】
[0015]下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
[0016]本发明的一方面提供了一种基于物联网的数据处理方法。图1是根据本发明实施例的基于物联网的数据处理方法流程图。本发明构建物联网传感数据传输系统，实现以传感器网络为基本的数据采集、以网关通信作为数据传输，数据存储设备作为数据服务器、Web服务器为前端监控的数据显示平台。系统分为采集层、传输层、网络层、数据层、服务层，系统各层之间相互协调，完成各自的任务。采集层是在不同位置使用各类传感器进行数据获取，实时得到环境中各类数据值。传输层是以ZigBee协调器为传感器网络的接收设备，对传感器网中子节点获取的数据进行收集，并通过串行接口通信发送给网关。网络层实现的是TCP/IP协议下的Socket通信功能，将数据传至数据服务器。数据层是对数据的整理和存储操作。服务层是依靠移动设备客户端和Web服务器为主的终端显示。对于Web服务器而言，直接调用数据库中数据，在网页中显示出数据的动态变化，并对数据进行预警值的对比，及时反馈预警信息。
[0017]ZigBee自组网网络以一个节点作为协调器，其他节点作为子节点。网络中的每个子节点使多个ZigBee分配在时隙相同而频率不同的信道上，这样可以使协调器和多个ZigBee同时通信。利用频分多址使通道容量根据要求动态的进行交换，满足自组网的需求。协调器在加电以后，首先会建立一个无线网络，当网络建立完成并允许新设备加入时，子节点才可以申请加入网络，并分配地址给子节点。利用I个接收模块实现对多个不同频道上的发送模块进行点对多点通信。
[0018]将传感器连接在自组网设备的传感器I/O接口处，组成一个传感器网络中的末端子节点，独立的采集数据，并在自组网中将数据传输给协调器。这样就实现了数据传输网络和数据采集网络，实现对监控数据的采集和传输。例如，对于温度和湿度数据采集，采用含有已校准数字信号输出的温湿度复合传感器。传感器包括一个电容式聚合体测湿元件和一个能隙式测温元件，并与一个14位的A/D转换器以及串行接口电路在同一芯片上实现无缝连接。对于烟雾数据采集，使用的气敏材料是在清洁空气中电导率较低的SnO2，二氧化锡通过气体浓度改变导致导电率改变而产生微弱的电信号，再通过放大器对信号放大，再由A/D转换为数字信号。
[0019]系统以ARM平台为底层硬件，Linux内核系统为软件开发平台，可拓展的通信功能满足了各种通信系统之间的互联互通。基于ARM体系结构平台的搭建，采用嵌入式微处理器运行经裁剪的内核的系统模块组成的小型操作系统，由进程调度，内存管理，虚拟文件系统，网络接口，进程间通信五个子系统构成。ZigBee模块由协调器自动组网，终端节点自动入网，建立数据通信后采用周期定时发送消息，实现数据的实时传输。对于嵌入式设备网络，选择一种可靠的面向连接服务的数据流套接字(TCP/IP协议)，套接字的地址格式是一个IP地址和一个端口号，它实现了网关与服务器的端到端的通信。ZigBee模块支持USB供电和电池供电方式，可通过传感器I/O接口外扩多种传感器模块，并提供多种外设接口。传输数据的网关首先通过对ARM开发板烧写内核系统，然后在交叉编译的环境下编译程序，再将程序烧写入ARM开发板中。网关将数据通过路由器传输到主服务器中。实现数据的实时传输。
[0020]数据库作为信息存储的载体，使得数据得到了有序、高效的管理和维护。本发明的系统采用关系型数据库来存储数据，建立多个页表，来分类存储从各个传感器获取的数据信息。主服务器负责将接收到的数据分类汇总并写入数据库，为Web服务器的调用数据做准备。Web服务器则将数据进行处理、分析、统计、显示和预警等。系统通过路由设备接入互联网，这样，监控人员可在任何地点通过网络连接根据不同的权限登录监控平台，获取实时的现场数据。
[0021]其中，对于采集数据的存储，本发明进一步改进了传感器数据库文件系统。数据库文件系统采用改进的日志形式对文件进行结构化，综合利用节点各类存储介质保存文件相关信息，既快速索引定位文件在存储空间中的位置，又提供便捷的文件重命名、数据恢复等功能，同时具备较低的能耗。具有高效的读写访问效率，还保证系统对内存更小的空间占用。
[0022]传感器存储介质包括主存、可擦写R0M、NAND闪存和串行存储器。主存容量非常有限，因此要求数据库文件系统对主存空间占用尽量小。可擦写ROM用于保存系统配置文件。NAND闪存以字节为最小读写单元且支持数据随机访问，用于保存操作系统镜像及可执行程序，作为设备芯片内