专利名称：一种面向水利物联网的海量信息存储与处理方法
技术领域：
本发明涉及物联网服务层的数据处理领域，尤其是一种面向水利物联网的海量信息存储与处理方法。
背景技术：
水利物联网处在一个快速发展的阶段，随着传感器技术、嵌入式系统等新技术在物联网的广泛应用，对系统的处理能力、数据量等需求将都将飞速提高，从感知层传感器、传输网络到应用系统，大量的传感器数据信息、视频信息、音频信息以及调度、处理与控制信息需要进行记录和保存，涉及海量的数据信息存储与处理。针对于快速成长的数据量，需要借助灵活、可扩展的储存技术，根据应用的需要不断对系统进行升级以适应未来对海量数据的存储。同时存储技术还影响着数据的处理能力，集中式的存储方式会为系统网络数据传输产生较大的压力。目前，水利物联网应用发展迅速，应用范围不断扩大，涉及到的数据呈几何级数增加，形成海量数据，同时网络数据压力及大量远程数据调用而造成局部网络拥塞，如何解决解决海量数据的存储及处理已成了水利物联网发展的瓶颈问题。
发明内容
本发明要解决的技术问题是:为了克服上述中存在的问题，提供了一种面向水利物联网的海量信息存储与处理方法，其实现了针对大量的传感器数据信息、视频信息、音频信息以及调度与控制信息需要进行记录和保存等海量信息的存储与处理，满足了水利物联网的发展需要。本发明解决其技术问题所采用的技术方案是:一种面向水利物联网的海量信息存储与处理方法，具体步骤如下:a.建立一种基于可扩展网络存储技术(Network AttachedStorage:NAS)的存储结构模式，NAS技术是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便对不同主机和应用服务器进行访问的技术，是一种特殊的、能完成单一或一组指定功能的基于网络的存储设备；b.利用上述a中的存储结构模式通过自带的网络接口把存储设备直接连入到网络中，实现海量数据的网络共享，把应用程序服务器从繁重的I/o负载中解脱出来，它是新兴的面向网络存储模式的标志性设备。NAS技术解决了水利物联网不断增长的数据需求，可以根据不同阶段的数据存储需求对数据中心进行升级，以满足不同阶段应用发展的需要。同时分布式的存储方式便于对不同数据的异地管理，系统可以根基需要将存储设备分布在不同的地点，减少由于大数据量的远程数据传输而造成的网络拥塞。a中存储结构模式采用DAS与NAS相结合的混合存储结构模式，其由高速数据采集卡、数据记录服务器、磁带库、RAID磁盘阵列、网络设备、数据记录子系统组成，输入信号ECL到TTL电平的转换、串并转换、数据缓存、数据管理及高速PCI接口通过高速数据采集卡完成，采集后的数据通过数据记录服务器将数据经过主机PCI总线将数据实时记录在RAID磁盘阵列上，实时记录后的数据可以转存到磁带库中，还可以利用数据记录子系统通过千兆网络设备接口与外部进行数据的导入和导出。本发明的有益效果是:所述的一种面向水利物联网的海量信息存储与处理方法，解决随着所处理数据的容量不断提高、数据处理能力要求不断增强的问题，提高了水利物联网的海量数据储存和处理能力。
具体实施例方式现在本发明作进一步详细的说明。一种面向水利物联网的海量信息存储与处理方法，具体步骤如下:a.建立一种基于可扩展网络存储技术的存储结构模式，存储结构模式采用DAS与NAS相结合的混合存储结构模式，其由高速数据采集卡、数据记录服务器、磁带库、RAID磁盘阵列、网络设备、数据记录子系统组成，输入信号ECL到TTL电平的转换、串并转换、数据缓存、数据管理及高速PCI接口通过高速数据采集卡完成，采集后的数据通过数据记录服务器将数据经过主机PCI总线将数据实时记录在RAID磁盘阵列上，也就是说，在主机管理和调度下，数据流首先输入到高速数据记录卡，在完成接口匹配及速率调整后进行数据缓冲，然后经主机PCI总线将数据写入到RAID盘上，实时完成对数据的记录，高速数据记录服务器上设置多个缓冲区数据，并由数据管理模块来保证不同通道间的数据同步，实时记录后的数据可以转存到磁带库中，还可以利用数据记录子系统通过千兆网络设备接口与外部进行数据的导入和导出，在高速数据的记录系统设计中，高速数据在主机内部的传输受到计算机系统结构的影响，如果在高速数据传输系统的设计中忽略对现代微机系统内部数据传输通道结构的分析，会成为设计系统中的一道潜在的瓶颈，服务器作为系统架构的平台是必不可少的，它必须具有较强的处理能力和较强的I/O能力，才能够适应海量数据存储和交换的要求，磁盘阵列作为实时数据的存储介质，与高速服务器的接口采用SCSI以保证传输速度，RAID盘具有高速度、高可靠性，支持RAID硬盘具有热插拔功能。支持多种RAID模式，这些RAID功能保证了用户数据的高可用性，保证数据的高可靠性。同时磁盘阵列容量具有扩展性，支持后续任务的增加，易于扩容。数据记录子系统中提供的LT0-2磁带驱动器，作为数据备份设备，用于事后数据的转存。存储结构模式由于不同类型传感器在设计上的独立性，无论数据类型还是数据格式都没有一个统一的规范。从物联网数据记录系统的发展来看，随着所处理数据的容量不断提高，工作站的处理能力不断提高，存储技术也在不断更新。因此为了提高水利物联网的海量数据储存和处理能力，将采用DAS与NAS相结合的混合存储结构模式。直接连接存储(Direct Attached Storage, DAS)作为传统的存储方式,是指将存储设备直接连接至一台服务器上。NAS采用了专业化的操作系统用于网络文件的访问，这些操作系统既支持标准的文件访问，也支持相应的网络协议。NAS可以使应用层对于传感数据的调取和访问操作变得更为快捷，并且易于根据应用的不断扩展和传感器数量的增加向基础设施增加数据存储容量。由于NAS关注的是文件服务而不是实际文件系统的执行情况，所以NAS设备经常是自包含的，而且相当易于部署，可以根据监测和数据处理的需要将储存设备至于传感器数据源和信息计算处理设备之间，降低整个网络的数据传输压力。基于NAS的水利物联网将采用NFS (Sun)沟通Unix阵营和CIFS沟通NT与Unix，将所获取的海量传感数据及信息在储存设备在操作系统的“文件级”进行读写操作，访问请求将根据“文件句柄+偏移量”得出。而句柄作为比进程还要小的单元，更适用于进程之间通信和资源定位。NFS(网络文件系统)是Unix系统间实现磁盘文件共享的一种方法，支持应用程序在客户端通过网络存取位于服务器磁盘中数据的一种文件系统协议。具体来说NFS包括许多种协议，最简单的网络文件系统是网络逻辑磁盘，即客户端的文件系统通过网络操作位于远端的逻辑磁盘，如IBM SVD (共享虚拟盘)。现一般在Unix主机之间采用Sun开发的NFS(Sun)，它能够在所有Unix系统之间实现文件数据的互访，逐渐成为主机间共享资源的一个标准。CIFS(Common Internet File System,通用互联网文件系统)是由微软开发的,用于连接Windows客户机和服务器。经过Unix服务器厂商的重新开发后，它可以用于连接Windows客户机和Unix服务器，执行文件共享和打印等任务。它最早的由来是NetBIOS，这是微软开发的在局域网内实现基于Windows名称资源共享的API。之后，产生了基于NetBIOS的NetBEH协议和NBT(NetB10S 0VERTCP/IP)协议。NBT协议进一步发展为SMB (Server Message Block Protocol)和 CIFS 协议。其中 CIFS 用于 Windows 系统，而 SMB广泛用于Unix和Linux,两者可以互通。SMB协议还被称作Un Manager协议。CIFS可籍由与支持SMB的服务器通信而实现共享。微软操作系统家族和几乎所有Unix服务器都支持SMB协议/SMBBA软件包。与传统意义上的文件服务器相比，针对于水利物联网不断发展和数据快速增长的需要，NAS拥有更大的存储空间和相对低廉的价格，使NAS设备在性能价格比上具有明显的优势，并且NAS在安装、使用和管理等方面要相对简单得多，这也会为水利物联网后期的数据维护节省大量的管理和维护成本。NAS的扩展能力也是它的优势之一，这样它就可以满足物联网未来的发展需求。此外，由于NAS产品的部件都固化在系统内部，使它的可用性和安全性也要优于传统的文件服务器可以预见，随着NAS技术的不断深人，它将会完全取代传统意义上的文件服务器对于准备组建网络的用户来说，由于NAS已经是一部性能优越的文件服务器了，在网络中使用NAS设备意味着不必再布设传统意义上的文件服务器，只需要设置相应的应用服务器就可以了，同时NAS设备还可以与应用服务器进行很好的配合，达到提升网络整体性能的效果。对于需要充分借助现有网络资源的水利物联网多重异构网络来说，增加NAS设备并不仅仅是以较低的成本扩大了网络的存储空间，NAS设备可以与已有文件服务器配合使用，极大地利用了现有的资源。NAS也可以与多功能服务器配合使用，这样可以减轻服务器的工作压力，节省更多的时间进行其他应用，从而提高网络的性能。由于水利物联网系统直接应用于水资源监控、预警，对数据安全性、存储性能要求高，在系统存储方方面面需要有可扩展性和灵活性。同时，存储的数据存储时相对比较分散，数据管理逻辑上又彼此独立，并要求能够对物理分散的数据完成高速集中备份。因此选用DAS与NAS相结合的混合存储结构模式。选择磁盘阵列作为在线存储设备，LTO磁带库作为集中离线存储设备。以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
权利要求
1.一种面向水利物联网的海量信息存储与处理方法，其特征是具体步骤如下:a.建立一种基于可扩展网络存储技术的存储结构模式； b.利用上述a中的存储结构模式通过自带的网络接口把存储设备直接连入到网络中，实现海量数据的网络共享。
2.根据权利要求1所述的一种面向水利物联网的海量信息存储与处理方法，其特征是:a中存储结构模式采用DAS与NAS相结合的混合存储结构模式，其由高速数据采集卡、数据记录服务器、磁带库、RAID磁盘阵列、网络设备、数据记录子系统组成，输入信号ECL到TTL电平的转换、串并转换、数据缓存、数据管理及高速PCI接口通过高速数据采集卡完成，采集后的数据通过数据记录服务器将数据经过主机PCI总线将数据实时记录在RAID磁盘阵列上，实时记录后的数据可以转存到磁带库中，还可以利用数据记录子系统通过千兆网络设备接口与外部进行数据的导入和导出。
全文摘要
本发明涉及一种面向水利物联网的海量信息存储与处理方法，具体步骤如下a.设计一种基于可扩展网络存储技术的存储结构模式；b.利用上述a中的存储结构模式通过自带的网络接口把存储设备直接连入到网络中，实现海量数据的网络共享。所述的一种面向水利物联网的海量信息存储与处理方法，解决随着所处理数据的容量不断提高、数据处理能力要求不断增强的问题，提高了水利物联网的海量数据储存和处理能力。
文档编号H04L29/08GK103200252SQ20131010376
公开日2013年7月10日 申请日期2013年3月27日 优先权日2013年3月27日
发明者刘海滨, 顾顺清, 张雁东 申请人:江苏航天智联信息科技发展有限公司