专利名称：一种低成本高光谱海量数据并行处理系统的制作方法
技术领域：
本发明涉及一种低成本高光谱海量数据并行处理系统，用于高光谦海量 数据的快速处理，特别适用于对时效性要求较高的应用场合，属于高光语数 据处理与应用技术领域。
背景技术：
随着传感器空间分辨率、光谦分辨率的不断提高，高光语遥感显示了其 它遥感手段无法比拟的技术优势，它既对目标成像、又可以测量目标波谱特 征，实现目标特性的综合探测与识别，大大扩宽了遥感技术的应用领域。但 高光谱数据波段多、数据量大，处理系统的计算效率成为制约高光语载荷有 效应用的瓶颈。如对环境建模与评估、军事目标探测、森林火灾监测、生物 危机监测、化学污染和石油井喷监控，这些应用领域对系统响应时间非常敏 感，对处理系统的计算效率提出了非常高的要求。
并行计算技术发展至今，已成功解决部分数据密集型场合的应用问题， 在高光语海量数据处理领域也取得了初步成果，但仍存在以下三方面的缺
陷。首先，传统处理系统多采用对称多处理器(Symmetric Multiple Processor, SMP)、大规模并行处理机(Massively Parallel Processor, MPP )
架构，这类系统技术起点高、使用难度大、成本高，不适合技术、资金较薄 弱的部门使用。其次，海量数据处理对系统存储模块的性能要求较高，多采 用网络接入存储(Network Access Server, NAS)或存储区域网络(Storage Area Network, SAN)解决，由于NAS和SAN包含光纤、小型计算机系统 接口 ( Small Computer Systems Interface, SCSI)硬盘等高端设备，进一 步提高了系统的使用门槛。最后，高端处理系统多使用商业软件，购买各种 软件不仅费用高，且使用、维护难度大，对使用者的专业技能要求较高。针对上述问题，本发明提出一种低成本高光镨海量数据并行处理系统。
发明内容
本发明的目的在于提供一种低成本高光谱海量数据并行处理系统，以克 服现有高光谱数据处理系统成本过高的缺点，构建一种低成本、高计算效率、
高1/0带宽的高光谱海量数据并行处理系统。
本发明的技术解决方案是 一种低成本高光语海量数据并行处理系统， 由前端服务器、计算服务器、存储服务器、内部交换网络、外部交换网络、 键盘/显示器/鼠标切换器(即KVM切换器)、终端组成。其中，内部交换 网络为千兆以太网，连接前端服务器、计算服务器和存储服务器；外部交换 网络为百兆以太网，用户通过外部交换网络与前端服务器连接，用户经该外 部交换网络登录系统、传输数据；两套终端监视系统运行状态，计算服务器 和存储服务器通过键盘/显示器/鼠标切换器(即KVM切换器)共享一套终 端。
系统釆用Beowulf集群架构，前端服务器、.计算服务器、存储服务器内 各节点为个人电脑(PC)，并通过并行虚拟文件系统(Parallel Virtual File System, PVFS)实现数据的并行访问。
用户通过安全外壳协议访问前端服务器(5),使用文件传输协议与存储 服务器(6)进行数据传输。
前端服务器安装并行虚拟文件系统元数据服务(Metadata Server, mgr) 进程，存储服务器安装并行虚拟文件系统数据服务(I/O Server, iod )进程， 计算服务器安装并行虚拟文件系统库(Parallel Virtual File System Native API，libpvfs),前端服务器mgr进程生成数据索引目录，计算服务器通过 libpvfs与mgr进程交互，获取数据分布信息，然后与存储服务器iod进程建 立连接，读写远程数据。
软件系统基于Rocks软件包，实现并行计算、资源监测和作业管理功能。 首先在前端服务器上安装Rocks软件系统各功能模块，然后通过KickStart实现计算服务器、存储服务器操作系统和软件的自动化安装。计算服务器和
存储服务器通过简单文件传输协议(Trivial File Transfer Protocol, tftp)从 前端服务器获取安装配置文件，然后经网络文件系统(Network File System, NFS)下载软件包，安装结束后，计算服务器和存储服务器的信息被写入系 统数据库。
本发明的原理是利用PC、以太网等商用设备组建Beowulf集群，通 过Rocks实现系统的集中管理；使用PVFS软件包组建存储服务器，将大 文件分布地存储在各存储节点内，通过虚拟存储技术提高系统的数据访问能 力，消除l/0瓶颈；通过KVM切换器和两套终端设备监控系统资源状态， 一套终端直接连接在前端服务器，另一套终端通过KVM切换器在计算服务 器和存储服务器分时复用；外部用户通过百兆交换网络访问前端服务器、提 交处理任务，前端服务器根据系统的资源状态自动为用户请求分配作业和资 源。
本发明与现有技术相比的优点在于(1 )系统采用Beowulf集群架构， 通过PC、以太网等廉价设备组建并行处理平台，获得近似高端并行处理系 统的计算性能，同时最小化成本，降低高光谱海量数据地面处理系统研制的 前期投入。(2)通过PVFS緩解系统1/0瓶颈，存储服务器由IDE硬盘和 以太网等廉价硬件构成，避免了 NAS和SAN中光纤、SCSI硬盘使用难度 大、成本高的缺点。(3)使用Rocks软件包实现操作系统、各种应用软件 的自动安装、配置与维护，节省了高端系统中商业软件的开销，且避免了系 统管理过程中繁瑣的重复性工作，降低了使用门槛，对管理员和使用者无太 多专业知识要求。
图1为本发明的结构框架图2为本发明的系统软件配置示意图3为本发明的并行l/0访问示意图；图4为本发明的系统使用方法示意图。
具体实施例方式
如图1所示，本发明包括前端服务器5、计算服务器1、存储服务器6、 内部交换网络7、外部交换网络4、 KVM切换器2、终端3，其中内部交换 网络7为千兆以太网，连接前端服务器5、计算服务器1和存储服务器6; 外部交换网络4为百兆以太网，用户通过该网访问系统资源；系统包含两套 终端3，计算服务器1和存储服务器6通过KVM切换器2共享一套终端， 另一套终端连接前端服务器5。系统采用Beowulf集群架构，前端服务器5、 计算服务器1、存储服务器6内各节点为PC,实施过程中各节点包含主频 2.0G 64位单核心处理器、1G内存、80G硬盘和千兆以太网卡。
如图2所示，本发明的系统软件安装流程为前端服务器5安装Rocks 软件包，包括Linuxl喿作系统、并行计算软件包、资源监测软件、SUN网 格引擎(Sun Grid Engine, SGE)作业管理软件等，并设置主机名、IP地 址、域名等关键系统参数，开启节点安装服务51、 tftp服务52和NFS月良务 53;计算服务器1和存储服务器6内的子节点安装时，首先向节点安装服 务51发送安装请求，通过审核后从tftp服务52下载安装配置文件，然后根 据配置信息从NFS服务53下载相应的软件包进行安装，安装结束后向前端 服务器5发送信号以更新集群信息数据库54的内容；计算服务器1和存储 服务器6内的所有节点依次执行上述过程，直到所有节点完成安装。
如图3所示，本发明中采用PVFS解决海量数据存储问题。PVFS为计 算机领域的公知技术，是虚拟存储技术的一种实现方式，通过将文件分布地 存储在不同节点内提高数据读/写效率。前端服务器5安装PVFS元数据服 务进程mgr,生成真实数据的索引目录；存储服务器6内各节点安装I/O后 台服务iod进程，负责真实数据的传输；计算服务器1通过libpvfs库函数， 实现远程数据在本地的浏览和修改。计算服务器1首先通过libpvfs与mgr 交互，查找索引目录、获取远程数据的真实分布信息，然后与相应的iod进程建立连接，进行数据传输。如上所述，存储服务器6内各节点的本地存储 介质被整合为一个大容量、并发读写的虚拟硬盘，对外提供并行i/o服务。
如图4所示，本发明的系统使用方法为用户通过ssh服务55远程登 陆前端服务器5，经索引目录57浏览存储服务器6虚拟硬盘的内容，使用 FTP服务58向存储服务器6传输待处理数据；用户使用SGE作业管理系 统56向系统提交处理请求，SGE调用内部资源管理模块，根据计算服务器 1的工作状态将用户请求插入作业队列并分配计算资源；用户可通过SGE 作业管理系统56查询任务执行状态，完成后可通过FTP服务58将结果下 载到本地硬盘。
权利要求
1、一种低成本高光谱海量数据并行处理系统，其特征在于由前端服务器(5)、计算服务器(1)、存储服务器(6)、内部交换网络(7)、外部交换网络(4)、键盘/显示器/鼠标切换器(2)、终端(3)组成，内部交换网络(7)连接前端服务器(5)、计算服务器(1)和存储服务器(6)，用户通过外部交换网络(4)与前端服务器(5)连接，计算服务器(1)和存储服务器(6)通过键盘/显示器/鼠标切换器(2)共享一套终端(3)，另一套终端(3)连接前端服务器(5)；两套终端监视系统运行状态。
2、 根据权利要求1所述的低成本高光谱海量数据并行处理系统，其特征 在于所述的前端服务器(5)、计算服务器(1)、存储服务器(6)内各 节点为个人电脑。
3、 根据权利要求1所述的低成本高光语海量数据并行处理系统，其特征 在于所述的内部交换网络(7)釆用千兆以太网，外部交换网络(4)采用 百兆以太网。
4、 根据权利要求1所述的低成本高光i普海量数据并行处理系统，其特征 在于用户通过安全外壳协议访问前端服务器(5),使用文件传输协议与 存储服务器(6)进行数据传输。
5、 根据权利要求1所述的低成本高光谱海量数据并行处理系统，其特征 在于所述的前端服务器(5)安装并行虚拟文件系统元数据服务进程，存 储服务器(6)安装并行虚拟文件系统数据服务进程，计算服务器(1 )安装 并行虚拟文件系统库。
6、 根据权利要求1或5所述的低成本高光谘海量数据并行处理系统，其 特征在于所述的前端服务器(5)元数据服务进程生成数据索引目录，计 算服务器(1)通过数据服务进程与元数据服务进程交互，获取数据分布信 息，然后与存储服务器(6)并行虚拟文件系统数据服务进程建立连接，读 写远程数据。
7、 根据权利要求1所述的低成本高光谱海量数据并行处理系统，其特征 在于软件系统基于Rocks软件包，首先在前端服务器(5)上安装Rocks 软件系统各功能模块，然后通过KickStart实现计算服务器(1)、存储服务 器(6)内各节点操作系统和软件的自动化安装。
8、 根据权利要求1或7所述的低成本高光谱海量数据并行处理系统，其 特征在于计算服务器(1 )和存储服务器(6)使用简单文件传输协议，从 前端服务器(5)获取安装配置文件，然后经网络文件系统下栽软件包，安 装结束后，计算服务器(1)和存储服务器(6)的信息被写入系统数据库。
全文摘要
一种低成本高光谱海量数据并行处理系统，由前端服务器、计算服务器、存储服务器、内部交换网络、外部交换网络、键盘/显示器/鼠标(Keyboard Video Mouse，KVM)切换器、终端组成，内部交换网络连接前端服务器、计算服务器和存储服务器，用户通过外部交换网络与前端服务器连接，两套终端监视系统运行状态，系统采用Beowulf集群架构，通过虚拟存储技术提供数据的并行访问，实现并行计算、资源监测和作业管理功能。本发明具有计算效率高、I/O带宽高、成本低等优点，对高光谱地面运营系统的研制具有重要价值。
文档编号H04L29/08GK101621537SQ20091008980
公开日2010年1月6日 申请日期2009年7月24日 优先权日2009年7月24日
发明者娜 李, 维 王, 超 董, 贾国瑞, 赵慧洁 申请人:北京航空航天大学