一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法与流程
本发明属于环境监测评价和数据挖掘技术领域，特别是涉及面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法。
背景技术：
湖泊富营养化引起的一个普遍现象是：在适宜的水文气象条件下，许多浮游植物，尤其是那些具有浮力或运动能力的藻类，会发生异常增殖，并聚集形成表面水华，进而引发一系列严重的生态环境问题，包括：水体透明度下降，溶解氧减少，水生动植物死亡，水体散发异味，生物多样性下降，通过食物链损害人类健康等。这种由富营养化和蓝藻异常增殖引起的生态灾害在全球范围内的持续扩张已经对许多著名的湖泊生态系统的生态健康和可持续发展构成了巨大的威胁，包括：美国伊利湖，加拿大温尼伯湖，欧洲的波罗的海，非洲维多利亚湖及日本的琵琶湖等。不过，尽管湖泊蓝藻灾害非常的严重，但是直到目前还没有办法彻底解决此问题。在此前提下，做好蓝藻灾害监测和预防工作是减轻此生态灾害，减少社会经济损失的关键。
目前，已经有不少有关蓝藻监测的技术方法研究报道。中国专利申请201410023795.8提出的“一种大型浅水湖泊蓝藻水华modis卫星高精度监测方法”是利用遥感技术来监测蓝藻水华。在没有云层覆盖影响下，这种方法最多只能提供每天一次数据。如果遇到云层覆盖，则不能提供有效数据。但是，研究已证明水华的形成和消失过程可以仅持续数个小时。而遥感技术的采样频率显然不能准确反映水华的快速的动态实时变化。相似地，中国专利申请201020219363.1提出的“用于蓝藻监测的浮标”实时监测虽然能够以高时间分辨率记录与蓝藻灾害相关的环境因子变化过程，但是该技术仅能提供设备所在点的水环境信息，这显然也不能有效记录呈现空间高度分异的蓝藻水华面状信息。杨宏伟等公开了一种“基于物联网技术的太湖蓝藻水华预警平台”，该平台基于多源数据，根据物联网的四层内涵设计，能够实现未来3天蓝藻水华预警区域的发生概率的预测，并通过internet发布信息；但从其设计框架及文字说明来看，该技术存在主要问题为：(1)并未包括卫星接收天线，其获取的数据并非实时的卫星遥感数据，因此该平台不能实现自动实时获取卫星遥感数据的功能；(2)自动监测站仅详细描述了叶绿素传感器的设置，对其他仪器设备的监测指标、布置方式和参数设定并未提及，也没有介绍实时监控、供电和安全等功能；(3)该技术仅提及了蓝藻生物量模型，并不具有营养盐循环、沉积物侵蚀悬浮和溶解氧动态等与藻类生命过程密切相关的生态过程的模拟功能；(4)该技术还存在不能充分发掘监测产生的数据价值的缺点。遥感和自动监测均可以产生海量的有关蓝藻灾害的数据。但是现有技术并不能充分利用这部分数据为湖泊研究和管理服务，更不能为普通公众提供有价值的、可读性强的蓝藻灾害信息。因此，为了更加及时准确的获得蓝藻灾害信息，并充分提升这些信息的价值，既需要测控系统采集时空连续的与蓝藻相关数据，也需要具有高效的数据分析和处理技术和方法，包括数据统计分析、数据同化、模型预测、参数的实时校正、灾害评估和灾害信息发布等。只有建立蓝藻灾害立体监控和数据挖掘系统和方法，才能满足经济社会发展和生态环境保护对蓝藻灾害监测和预防工作的需求。
技术实现要素：
本发明目的在于克服现有技术的不足，提供一种面向蓝藻灾害的立体监控及数据挖掘系统和方法。采用本发明提供的系统和方法，针对湖泊蓝藻水华时空变化大的问题，通过集成卫星遥感、自动监测和人工巡测技术收集实时蓝藻灾害数据，并利用数据库、数据同化和数值模型等方法开展数据挖掘，实现自动、实时和准确的采集、处理和提取蓝藻灾害信息，为快速、及时和准确的应对蓝藻灾害提供有价值的和辨识度高的监测和预防信息，以便能最终实现将灾害引起社会经济和生态环境损失降低到最小的根本目标。
为实现上述技术目的，本发明采用如下技术方案：
一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统，包括监测子系统和数据处理子系统；
所述监测子系统用于采集待监测数据；包括利用遥感进行监测的遥感监测子系统、利用自动监测站进行监测的自动监测子系统和人工采集待监测数据的人工巡测子系统；
所述遥感监测子系统包括卫星数据接收天线、计算机和供电系统，所述供电系统用于为耗电装置供电，卫星数据接收天线接收卫星数据，并向计算机传输，通过计算机进行遥感反演处理后，将处理后的数据通过互联网传输至数据处理子系统；
所述自动监测子系统为多个自动监测站通过无线网络连接形成的监测网络，单个自动监测站由水面支撑系统、供电系统、安全警示系统和数据采集系统组成；所述水面支撑系统为自动监测站硬件装置的承重结构；所述供电系统用于为自动监测站的耗电装置供电；所述安全警示系统用于安全警示，防止自动监测站遭受意外破坏；所述数据采集系统用于采集包括从气象仪器、水文仪器、水质仪器和视频仪器中获取的待监测数据，并将采集的数据通过无线网络传输到数据处理子系统；
水面支撑系统是整个系统的承重结构，可以是浮标体、栈桥或水上平台。支撑系统上部出露于水面，下部固定于湖底，起到支撑整个系统结构的功能。供电系统固定在水面支撑系统上，通过电缆为其他耗电设备提供电力。安全警示系统固定在水面支撑系统之上，包括航标灯、荧光带和警示标语等。
所述人工巡测子系统为人工采集数据，并将数据通过互联网传输至数据处理子系统；
所述数据处理子系统用于接收和处理监测子系统获取的数据；包括服务器、阵列机、计算机、计算工作站、硬件防火墙、路由器、网线和供电设备；服务器采用双机热备模式，两台服务器和用于数据存储的阵列机通过三叉电缆实现心跳连接，所有计算机、服务器和计算工作站均通过网线与硬件防火墙相连，硬件防火墙通过连接路由器与外网连通；
本发明中，服务器采用双机热备的模式，将中心服务器安装成互为备份的两台服务器，并且在同一时间内只有一台服务器运行。当其中运行着的一台服务器出现故障无法启动时，另一台备份服务器会迅速的自动启动并运行。计算工作站主要用于三维数值模型的运算。硬件防火墙主要用于保护整个系统免受攻击，路由器则是为整个系统提供网络服务。上述这些设备将被放置在机柜中，机柜电源与不间断供电电源相连接。正常情况下，所有设备由外接电源供电。在外接电源意外间断时，由不间断供电电源提供整个系统的电力供应。
数据处理子系统接收数据后，对接收的数据进行数据备份和数据处理，获取湖泊蓝藻灾害的预测指标和风险评估，并通过公共平台发布。
本发明还提供了一种面向蓝藻灾害的立体监控和数据挖掘方法，具体包括如下步骤：
(1)通过遥感监测、自动监测和人工巡测三种途径获取与待监测湖泊蓝藻灾害相关的监测指标数据，包括气象指标、水文指标、水质指标和视频影像，获取的数据通过互联网传输至数据中心；
其中，所述遥感监测指通过卫星遥感实时监测；遥感监测数据采集由卫星接收天线接收卫星信号，并传送到遥感处理计算机中，由卫星数据反演软件生成各项遥感指标，此后，这些数据通过局域网内计算机共享功能实现向服务器数据中心发送；
所述自动监测指由多个自动监测站通过无线网络连接形成监测网络，对待监测指标进行监测；自动监测则通过配置的各类传感器收集气象、水文和水质指标及视频，并由通信模块通过商用通信网络向服务器数据中心发送，并由安装在服务器端的商业软件完成数据接收；
所述人工巡测指通过人工方式进行指标检测；人工巡测是指在规定的时间内通过对预先设定的监测站点开展现场数据和水样采集，并将水样送到实验室检测相关指标，人工巡测数据由人工通过网站上载到服务器数据中心；
传送至服务器的遥感监测、自动监测和人工巡测数据以特定的文件命名方式存储在服务器数据中心中，以方便各类数据处理程序对原始数据的识别；
其中，适用遥感监测指标体系确定方式为：基于水温和水色等水质指标对卫星携带的光学传感器发射和接收光谱的影响，选取既与蓝藻灾害密切相关的，也能利用反演算法从光谱信号中提取有效信息的水质指标作为卫星反演指标，包括：水温、透明度、悬浮物质(ss)、叶绿素a、蓝藻水华面积和强度等。遥感监测时间分辨率一天以内，空间分辨率在1km以内；
适用自动监测指标体系确定方式为：基于对市场上气象、水文和水质传感器技术成熟度调研，选取既与蓝藻灾害密切相关的，又具有较高成熟度的传感器技术支持的指标作为自动监测指标，包括：气象指标(风速、风向、气压、温度、湿度、太阳辐射和降雨量等)；水文指标(三维流速剖面、水深、有效波高和周期等)；水质指标(水温、溶解氧、浊度、电导率、氧化还原电位、藻蓝素、叶绿素等)；视频影像；
适用人工巡测指标体系确定方式为：不能使用遥感反演和自动监测的指标，而又与蓝藻灾害密切相关的指标，将通过人工巡测的方式获取，包括：总氮、溶解性总氮、氨氮、硝态氮、亚硝态氮、总磷、溶解性总磷、正磷酸盐和其它蓝藻衍生污染物等。
遥感监测、自动监测和人工巡测数据以特定的文件命名方式存储在服务器中，以方便各类数据处理程序对原始数据的识别。
(2)数据中心对接收的数据进行数据备份和数据预处理，所述数据预处理包括如下步骤：
根据设定的数据采集时间间隔对数据进行检查，如果数据有中断，则通过时间插值方法对数据进行插值处理；
对遥感监测获取的卫星数据，通过空间插值填补云层覆盖区域的数据缺失；
对数据进行异常判定和处理，对于判定的异常数据，采用异常数据的前一个数据代替该异常数据；
数据经预处理后，连同数据中心接收的原始数据一同传输至数据库存储；
(3)根据数据库中存储的数据源构建待监测湖泊的三维数值模型，具体为：
构建待监测湖泊的水动力模型；
在待监测湖泊的水动力模型上叠加物质迁移转化模型，两种模型的方程耦合计算；其中，所述物质迁移转化模型计算的标量包括光照、悬移质、藻类生长、营养盐循环和溶解氧；
采用有限差分求解模型，获取数值模型模拟数据；
采用的三维数值模型可以是fvcom、elcom-caedym和efdc等现有的模型，也可以是基于环境流体力学理论自主开发的模型；
(4)根据数值模型模拟数据，进行待监测湖泊蓝藻灾害风险评估；灾害风险评估可采用现有的成熟算法；
(5)在公共平台上展示湖泊蓝藻灾害预测预警信息。
本发明的方法，进一步的，所述步骤(2)中，对数据库中存储的数据进行分类存储，具体如下：
对于单点时间连续的数据，以单个数据表存储单个监测站的所有数据；
对于二维数据直接存放在数据表中；
对于三维数值模型生成的数据，以时间为节点，存放在数据表中；
对于图像或视频数据，将图像或视频存储在阵列机中，在数据库中建立数据表记录图像或视频的路径，字段包括编号、时间和图像/视频路径，以索引的方式访问图像或视频。将遥感监测、自动监测和人工巡测数据以特定的文件命名方式存储在服务器中，便与各类数据处理程序对原始数据的识别。
其中，所述数据库面向多源异构数据集构建，此处选用一种商用软件，如微软公司的sqlserver、access和甲骨文公司的oracle等；优选采用oracle。
本发明的方法，所述步骤(2)中，所述时间插值方法采用线性插值、样条函数插值或分段插值；
空间插值方法采用邻近点法、克里格法或反距离加权法；
异常值判定和处理的依据为趋势检验、专家经验或数值比对。
优选的，所述时间插值方法采用线性插值，算法具体如下：
对于数据集中a1和a2两个数据，依据时间顺序，中间缺少b1，b2，……，bn数据，那么：
其中i＝[1，n]。
所述空间插值方法采用反距离加权法，算法具体如下：
假设空间点坐标(x0，y0)处指标值缺测c(x0，y0)，设定一个搜索半径，使得在此半径范围内至少包含3个数据点；然后使用这些已知数据点数据求取未知点的指标值：
式中，c(x1，y1)，c(x2，y2)，…，c(xn，yn)分别表示括号内坐标点处实测指标值；d1，d2，…，dn分别表示括号内坐标点到空间点坐标(x0，y0)对应的直线距离，n≥3。
采用5倍方差法进行异常值判定，具体方法如下：将第m个实测数据am及其前后5个数据求平均值和方差：
以
本发明的方法，所述步骤(3)中，采用的三维数值模型可以是fvcom、elcom-caedym和efdc等现有的模型，也可以是基于环境流体力学理论自主开发的模型；本发明优选提供了一种自主开发的模型，具体如下：
水动力模型的控制方程如下所示：
式中：u，v，w分别为x，y，σ三个方向上流速；h和t为水深和时间；g和ξ为重力加速度和水位；f为科里奥利力，p为压力，bx，by和bt分别为x向动量，y向动量和温度方程的由坐标转换而引入的小项；t为温度；sh为外部进入系统的热量；cp为水体的热容量；kh，kv为热量在水平及垂直方向上的扩散系数；ρ为水体密度，ρ0为水体参考密度；ah为水平涡粘性系数；av为垂向涡粘系数，采用下式定义：
式中：v0、m0、m1值分别为5.0×10-6m2/s，0.1和-1；l为普朗特长度；ri为richardson数，反映流体稳定性状况，其表达式为：
在水气界面σ＝1的风能输入和水土界面σ＝0的摩阻力可分别表达为：
式中：ρa和ρs分别表示空气密度和表层水体密度；cwd是风拖拽系数；ws是水表以上10m高度处风速；csd为湖底摩擦系数；
采用分裂算子技术求解水动力方程(5)、(6)和(7)，生成内外两种模态；然后利用有限差分离散内外两种模态，其中水平和时间差分格式为显式，垂直差分格式为隐式，并采用低通滤波器对水面位移在时间方向上进行平滑处理；最后采用追赶法求解超大型稀疏矩阵。
在水动力模型上叠加的物质迁移转化模型的控制方程如下所示：
γpar(l，j，k)＝γ0,par+γ1,parchla(i,j,k)+γ2,parsed(i,j,k)(15)
式中：γpar(j,j,k)、γ0,par分别表示总衰减系数和纯水衰减系数；γ1,par、γ2,par分别表示藻类比衰减系数和非藻类颗粒物比衰减系数；chla(i,j,k)为以叶绿素a浓度表示的浮游植物生物量；sed(i,j,k)非藻类颗粒物浓度；u，v，w为新时间步的三维流速；s为悬移质浓度；ws为悬浮物沉降速率；j0为水土界面通量项，包括侵蚀通量和沉降通量；ci表示第i种物质浓度；ski表示生化过程项，i＝1，2，3，4，5分别表示叶绿素a、浮游动物、可利用磷、可利用氮、溶解氧及五日生化需氧量；
基于水动力模型计算结果，利用有限差分法在矩形网格中离散上述方程：空间上离散采用迎风格式；水平和时间差分格式为显式，垂直差分格式为隐式；追赶法求解超大型稀疏矩阵；
方程(17)涉及的生化项采用下列方法计算：
藻类生化项：
式中：μ为总生长率；km为非牧食死亡率；ks为上浮率；zp为浮游动物滤食率；chlai,j,k表示i，j，k网格的浮游植物生物量；此处的τa、τf、τp及下述公式涉及的τzp，τkb，τs，τd，τso均为温度影响因子，表达式分别为θat-20，
浮游动物生化项：
式中：μzp为浮游动物生长率；kchla为浮游动物牧食半饱和参数；bfish和fish分别表示鱼滤水率和鱼生物量；zoop表示浮游动物生物量；
dtp和dtn生化项：
式中：fmrp、fmrn、fmdp和fmdn分别为藻类代谢物磷转化率、代谢物氮转化率、死亡残骸磷转化率和死亡残骸氮转化率；kd和km分别为藻类代谢率和死亡率；rpj和rnj分别沉积物磷和氮静态释放率；rpd和rnd分别沉积物磷和氮动态释放率；sedf水土界面悬浮物通量；zdp和zdn分别藻类对磷和氮吸收率；kps和kns为dtp和dtn的沉降率；
do和bod生化项：
sk6＝(znp·zhd+τr·zhr)chla-τkb·kb·bod(23)
式中：kod为大气复氧率；dosat为饱和do；hs为特征波高；pp藻类光合产氧；zhy为藻类呼吸耗氧；ro为沉积物耗氧率；zhd和zhr为藻类死亡和代谢物bod产生率；kb为bod降解速率。
所述步骤(3)中，三维数值模型从数据库中读取某时刻点的初始化数据和边界条件数据，以提高计算速度和效率，并可依据上个模拟期内的实测数据，采用montecarlo法对模型参数组合进行优化，以提高本轮模拟期模型预测精度；在完成所需数据输入后，模型自动激活开展本轮模拟运算，并将本轮计算结果回传给数据库；在结束上述过程后，模型转入休眠状态，等待下轮模拟运算。这样可实现自主化滚动预报。
所述步骤(4)中，蓝藻灾害评估算法作用是对将抽象的数据转化为易为公众理解的文字或图像，有助于提高预警效率。基于蓝藻灾害相关的理论研究，目前评估算方法有专家评分体系、卡尔森营养状态指数和蓝藻灾害发生概率法等。基于这些方法，利用程序设计语言编制算法程序，并将之安装在服务器中。这种程序能够自动检索数据库中最新的立体监控数据和模型预测数据，并对数据进行计算分析，生成蓝藻灾害风险图，并以网格化采样方式对风险图进行简单的数理统计，给出描述性结论。这些图表和结论最终将通过网络向公众发布。
所述步骤(5)中，在公共平台上展示湖泊蓝藻灾害预测预警信息，所述的公共平台可选用基于互联网的软件平台，利用相关网站进行信息发布，蓝藻灾害信息发布网站是基于互联网的软件平台，是管理立体监控及数据挖掘系统的对话窗口，通过网站形式实现用户与系统之间的信息交互。本发明构建的蓝藻灾害信息发布平台可具有以下功能：1)提供实用的蓝藻灾害资讯；2)能够展示立体监控系统所获得的蓝藻灾害实时信息；3)能够以表、图和电子地图相结合的展示功能；4)能够检索、统计和下载历史数据；5)用户能够操控三维数值模型；6)用户能够干预蓝藻预警文件的制作和发布；7)利用多种途径自动向相关单位和个人发布最新的监测和预测信息；8)具有绘制等值线图和制作简单的flash动画功能；9)具有系统管理功能。
本发明的优点：
(1)面向蓝藻灾害的监测指标选择的科学性，本发明以蓝藻灾害发生、发展和结束等整个过程的研究为基础，经过大量的实验和调查，确定了所有与蓝藻灾害过程密切相关的指标，并对各指标采集技术上的可行性进行分析；
(2)通过将遥感监测、自动监测和人工监测相结合，实现对蓝藻灾害的实时立体监测。其中，遥感监测可以采集面状分布的指标，自动监测可以极高的频率采集时间连续的指标，人工监测则可以弥补通过上述两种技术不能采集的指标。
(3)研发了数据自动接收和预处理程序。这些程序不但可以自动将采集的数据存储入数据库，还能够对原数据进行预处理，以剔除异常数据，或者对缺测数据进行时空插补，使得数据库不仅存储原始数据，还有一套经过预处理的时空连续数据，用于进一步的数据挖掘。
(4)采用自主设计的三维数值模型，考虑了营养盐循环、沉积物侵蚀悬浮和溶解氧动态等与藻类生命过程密切相关的生态过程的模拟功能，计算结果更准确。
(5)建立了安全、稳定和智能化数据中心。数据中心的双机热备、ups电源保护体系和网络硬件防火墙等技术可以使得整套系统能够始终安全稳定的运行。此外，数据库、数据接收处理、三维数值模型、参数优化程序和蓝藻灾害信息发布网站等软件的配置，不仅能够自动接收、处理和挖掘立体监控数据，还能够自主生成预警信息和通过互联网向相关部门和个人发布。实现了蓝藻灾害信息实时接收、快速处理和及时发布。
(6)面向蓝藻灾害的三维数值模拟技术和蓝藻灾害评估方法与立体监控系统的无缝耦合。尽管已经有不少蓝藻灾害监测系统被报道出来，但是这些监控系统只实现了数据的收集功能，却不知道如何利用收集到的海量数据。本发明将数值模型和蓝藻灾害评估方法植入到数据中心，并将其与立体监控系统无缝耦合，通过专业性的计算和分析，最大化提取海量监测数据中的有价值信息，为社会经济发展和居民生产生活服务。
下面结合具体实施例对本发明进行详细描述。本发明的保护范围并不以具体实施方式为限，而是由权利要求加以限定。
附图说明
图1是本发明方法流程示意图；
图2是本发明实施例1自动监测站分布图；
图3是本发明实施例1模型数值计算网格划分示意图。
具体实施方式
下面结合附图说明和具体实施方式对本发明的技术方案作进一步描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
本实施例以太湖为例，对本发明的方法作进一步描述。
图1所示为本发明方法的流程图，本发明的面向湖泊蓝藻灾害的立体监控及数据挖掘方法包括如下步骤：
(1)通过遥感监测、自动监测和人工巡测三种途径获取与待监测湖泊蓝藻灾害相关的监测指标数据，包括气象指标、水文指标、水质指标和视频影像，获取的数据通过互联网传输至数据中心；
其中，所述遥感监测指通过卫星遥感实时监测；
所述自动监测指由多个自动监测站通过无线网络连接形成监测网络，对待监测指标进行实时监测；
所述人工巡测指通过人工方式进行指标检测；
位于中国长江三角洲的太湖，是中国第三大淡水湖，目前正面临严重的富营养化和蓝藻水华威胁。2007年发生在无锡的水危机事件，对以太湖为水源地的人民群众生产和生活造成巨大损失。依据步骤(1)所述方法，对所有与蓝藻水华灾害密切相关的指标开展现场和实验室对比测试，并充分调研相关传感器技术发展情况，给出各指标实现遥感监测、自动监测和人工巡测的可行性和精度，如表1所示，为最大程度的减少人力并提高精度，采用如下的测量指标分配构建太湖蓝藻水华灾害监测指标体系：遥感监测指标包括：有效波高、水温、浊度、透明度、叶绿素a、水华面积、水华强度；自动监测指标包括：风速、风向、气压、温度、湿度、太阳辐射和降雨量，三维流速剖面、水深、有效波高和周期，水温、溶解氧、浊度、电导率、氧化还原电位、藻蓝素、叶绿素，视频影像；人工巡测指标包括：各类氮磷浓度、叶绿素a、浮游植物、有毒有害物、藻毒素和底栖动物。
表1面向太湖蓝藻水华灾害的监测指标监测可行性和精度调查
(2)数据中心在收到原始数据后，接收的数据进行数据备份，并通过自主编制的数据预处理程序，对数据缺测和异常值等情况开展检查，进行数据预处理，对所述数据预处理包括如下步骤：
根据设定的数据采集时间间隔对数据进行检查，如果数据有中断，则通过时间插值方法对数据进行插值处理；所述时间插值方法采用线性插值、样条函数插值或分段插值；本实施例中采用
对遥感线性插值，算法具体如下：
对于数据集中a1和a2两个数据，依据时间顺序，中间缺少b1，b2，……，bn数据，那么：
其中i＝[1，n]。
对于涉及的卫星反演数据，在有云层遮盖的情况下，某些区域不能得到有效的反演结果，此时使用空间插值来填补云层覆盖区域的数据缺失，空间插值方法可采用邻近点法、克里格法或反距离加权法；本实施例中使用反距离加权法实现空间插值。假设空间点坐标(x0，y0)处指标值缺测c(x0，y0)，设定一个搜索半径，使得在此半径范围内至少包含3个数据点；然后使用这些已知数据点数据求取未知点的指标值：
式中，c(x1，y1)，c(x2，y2)，…，c(xn，yn)分别表示括号内坐标点处实测指标值；d1，d2，…，dn分别表示括号内坐标点到空间点坐标(x0，y0)对应的直线距离，n≥3。
异常值判定和处理的依据为趋势检验、专家经验或数值比对，对于判定的异常数据，采用异常数据的前一个数据代替该异常数据；本实施例中使用5倍方差法对数据进行异常判定和处理，将第m个实测数据am及其前后5个数据求平均值和方差：
以
数据经预处理后，连同数据中心接收的原始数据一同传输至数据库存储；
本实施例的数据库采用甲骨文公司的oracle数据库软件，不同来源的数据具有不同的数据结构，因此在oracle数据库中采取不同的存储策略：
对于单点时间连续的数据，以单个数据表存储单个监测站的所有数据；
对于二维数据直接存放在数据表中；
对于三维数值模型生成的数据，以时间为节点，存放在数据表中；
对于图像或视频数据，将图像或视频存储在阵列机中，在数据库中建立数据表记录图像或视频的路径，字段包括编号、时间和图像/视频路径，以索引的方式访问图像或视频。
具体的，例如：对于通过自动监测和人工巡测等这类单点时间连续的数据，以单个数据表存储单个站的所有数据。数据表名称为监测站名称；数据表字段为指标名称；数据记录为以时间顺序存储的实测数据值。例如，如图2所示的自动监测站emb16水温、叶绿素a和水深等数据的存储过程为：1)先建立一个以emb16命名的数据表；2)表的字段名称为：编号，时间，水温，叶绿素a和水深等；3)表的第一行则存储emb16记录到的第一条数据。
对面状的卫星遥感数据采取两种存储策略：卫星图片仅在数据表中存放影像存放的路径；由卫星图片反演得到的二维数据则直接存放在数据表中。卫星图片存储在阵列机中以“卫星图片”命名的文件夹中，在数据库中，建立数据表，并将其命名为“卫星图片路径”；字段包括：编号，时间，图片路径，备注；数据表中每条记录对应某个时间采集的卫星图片。卫星反演之后，通常每个像元将对应一个数据。例如：一张南北跨度250*m米的，东西跨度250*n米，分辨率为250m的卫星图片，对其水温指标反演之后将生成一个具有m行n列的数组。那么该数组存储方式为：建立数据表，并将其命名为“反演水温”；字段包括：编号，水层，时间，水温1，水温2，…….，水温n；表的第一行存储数组的第一行的第1，2，……，n列数据，表的第二行存储数组的第二行的第1，2，……，n列数据，以此类推，直到完成整个二维数组的存储；在完成由第一个时刻点卫星图片反演的水温数据后，紧接着存储第二个时刻点的卫星反演数值，以此类推，其中水层和时间可以标记不同时刻点的卫星反演数据。
三维数值模型生成的数据，此将是一个三维数组。例如将研究湖泊水平方向划分为m行和n列，水深方向划分为k层，则对于模拟得到的水温，则是temp(m,n,k)。与“反演水温”数据存储类似，对于三维数组的存储为在一个时刻点实现k个二维数组的存储：数据表命名为“模拟水温”；字段包括：编号，水层，时间，模拟水温1，模拟水温2，…….，模拟水温n；每一个水层的存储方式与反演水温一致；在完成第一水层二维数组存储后，紧接着存储第二水层的二维数值，以此类推，直到完成k层二维数值存储。完成第一个时间点三维数组存储后，再进行第二个时间点三维数值的存储，以此类推，其中水层和时间可以标记同水层和不同时刻点的模型模拟数据。
(3)根据数据库中存储的数据源构建待监测湖泊的三维数值模型，具体为：
构建待监测湖泊的水动力模型；
在待监测湖泊的水动力模型上叠加物质迁移转化模型，两种模型的方程耦合计算；其中，所述物质迁移转化模型计算的标量包括光照、悬移质、藻类生长、营养盐循环和溶解氧；
采用有限差分求解模型，获取数值模型模拟数据；
本实施例中采用自主构建的模型，描述湖水运动的方程组如下：
式中：u，v，w分别为x，y，σ三个方向上流速；h和t为水深和时间；g和ξ为重力加速度(9.8m/s)和水位(m)；f为科里奥利力(＝2ωsin(φ)(u,v))，p为压力，bx，by和bt分别为x向动量，y向动量和温度方程的由坐标转换而引入的小项；t为温度；kh，kv为热量在水平及垂直方向上的扩散系数；sh为外部进入系统的热量；cp为水体的热容量；ρ为水体密度，ρ0为水体参考密度；ah为水平涡粘性系数，太湖取5m2/s；av为垂向涡粘系数，采用下式定义：
式中：v0、m0、m1值分别为5.0×10-6m2/s，0.1和-1；l为普朗特长度；ri为richardson数，反映的是流体稳定性状况，其表达式为：
在水气界面(σ＝1)的风能输入和水土界面(σ＝0)的摩阻力可分别表达为：
式中：ρa和ρs分别表示空气和表层水体密度(＝1000kg/m和1.3kg/m)；cwd为风拖拽系数，此处取为0.001；ws为水表以上10m高度处风速(m/s)；csd为湖底摩擦系数，取0.003。
采用分裂算子技术求解水动力方程(5)、(6)和(7)，生成内外两种模态；然后利用有限差分离散内外两种模态，其中水平和时间差分格式为显式，垂直差分格式为隐式，并采用低通滤波器对水面位移在时间方向上进行了平滑处理；最后采用追赶法求解超大型稀疏矩阵。在本实施例中，计算网格设置为：在水平方向上采用边长为1000m的矩形网格将计算域分成69×69个网格；垂直方向上分为5层。时间步长取30s。
在上述水动力模型基础上，再叠加光照、悬移质、藻类生长、营养盐循环和溶解氧等标量物质迁移转化模型:
γpar(i，j，k)＝γ0,par+γ1,parchla(i,j,k)+γ2,parsed(i,j,k)(15)
式中：γpar(i,j,k)、γ0,par分别表示总衰减系数和纯水衰减系数；γ1,par、γ2,par分别表示藻类比衰减系数和非藻类颗粒物比衰减系数；chla(i,j,k)以叶绿素a浓度表示的浮游植物生物量；sed(i,j,k)非藻类颗粒物浓度。u，v，w为新时间步的三维流速；s为悬移质浓度；ws悬浮物沉降速率；j0水土界面通量项，包括侵蚀通量和沉降通量；ci表示第i种物质浓度；ski表示生化过程项，i＝1，2，3，4，5分别表示叶绿素a、浮游动物(zoop)、可利用磷(dtp)、可利用氮(dtn)、溶解氧(do)及五日生化需氧量(bod)。
基于水动力模型计算结果，利用有限差分法在矩形网格中离散上述方程：空间上离散采用迎风格式；水平和时间差分格式为显式，垂直差分格式为隐式；追赶法求解超大型稀疏矩阵。此外，方程(17)涉及的生化项采用下列方法计算。
藻类生化项：
式中：μ为总生长率；km为非牧食死亡率；ks为上浮率；zp为浮游动物滤食率；chlai,j,k表示i，j，k网格的浮游植物生物量(此处以叶绿素a的浓度表示)；此处的τa、τf、τp及下文的τzp，τkb，τs，τd，τso均为温度影响因子，表达式分别为θat-20，
浮游动物生化项：
式中：μzp浮游动物生长率；kchla浮游动物牧食半饱和参数；bfish和fish分别鱼滤水率和鱼生物量；zoop表示浮游动物生物量；
dtp和dtn生化项：
式中：fmrp、fmrn、fmdp和fmdn分别为藻类代谢物磷转化率、代谢物氮转化率、死亡残骸磷转化率和死亡残骸氮转化率；kd和km分别为藻类代谢率和死亡率；rpj和rnj分别沉积物磷和氮静态释放率；rpd和rnd分别为沉积物磷和氮动态释放率；sedf为水土界面悬浮物通量；zdp和zdn分别表示藻类对磷和氮吸收率；kps和kns为dtp和dtn的沉降率。
do和bod生化项：
sk6＝(znp·zhd+τr·zhr)chla-τkb·kb·bod(23)
式中：kod为大气复氧率；dosat为饱和do；hs为特征波高；pp藻类光合产氧；zhy为藻类呼吸耗氧；ro为沉积物耗氧率；zhd和zhr为藻类死亡和代谢物bod产生率；kb为bod降解速率。
三维数值模型从数据库中读取某时刻点的初始化数据和边界条件数据，并依据上个模拟期内的实测数据，采用montecarlo法对模型参数组合进行优化；在完成所需数据输入后，模型自动激活开展本轮模拟运算，并将本轮计算结果回传给数据库；在结束上述过程后，模型转入休眠状态，等待下轮模拟运算。
本实施例汇总，面向太湖蓝藻水华的三维数值模型计算采用矩形网格。根据对太湖蓝藻水华易发水域地形的现场测定，水平面上将全湖划分为包括陆地和水域的4900个计算网格，如图3所示。基于此网格图，模型在预报日12：00从oracle数据库中读取湖泊风浪、湖流、水温、光照、叶绿素a、营养盐、溶解氧和有机物的实测值，并运用反距离权重插值法将这些数据插值到4900个计算网格中(陆地网格内值设为―9999)，以此作为本轮预报的初始化浓度场。同时，依据上一轮预报期内(3d)实测的水环境数据，对本轮预报的模型参数进行优化，采用montecarlo法实现模型参数组合的优选。在完成初始化和参数优化后，还需要获取本轮预报期3d的天气状况。模型所需的未来3d的风速、风向、气温、辐射、降水、气压和相对湿度由天气观测与预报模型(wrf)计算。最后，模型自动激活对未来3d的湖泊风浪、湖流、水温、光照、叶绿素a、营养盐、溶解氧和有机物变化开展模拟预测，并将生成的三维数组传回oracle数据库。
(4)根据数值模型模拟数据，进行待监测湖泊蓝藻灾害风险评估；
蓝藻灾害评估算法作用是对将源自数据库的抽象的数据转化为易为公众理解的文字或图像。本实施例中，采用专家评估体系的太湖蓝藻水华风险评估算法，利用intel公司的visualfortran和微软公司的visualstudio，研发评估算法程序，该程序能够自动从数据库中读取三维数值模型模拟数据，并对未来3d蓝藻水华风险做出评估。评估结果在网站上发布。
基于专家评估体系的太湖蓝藻水华风险评估算法是依据三维数值模型模拟的未来3d的湖泊风浪、湖流、水温、光照、叶绿素a、营养盐、溶解氧和有机物变化空间分布，引入专家打分，判定太湖不同时间，不同地点出现蓝藻水华灾害的风险等级，并以不同的颜色表征风险等级。具体实现方式如下：
(1)对太湖进行水域功能划分。基于自然条件相似性、湖泊污染现状相似性、使用目标的相似性、行政管理完整性的划分原则，以自然条件指标(水深、湖流特性、生物)、水质污染指标(tp、tn、codmn、有机污染)、使用目标指标(饮用、渔业、游览、自然保护区)和行政区划为指标体系，对水域进行功能划分。
(2)建立了蓝藻灾害风险评估指标体系和分级体系，基于科学性、代表性、可定量、可达性原则，将蓝藻灾害生态风险按照重要性分为三个层次：关键性指标、重要指标和一般指标。
(3)据专家经验，对不同水体单元和水环境指标赋不同权重，然后依据下式计算蓝藻灾害生态风险分值：
式中：yi为指标i的打分结果；wi为指标i的权重，ci为水体单元权重，g为综合评分。依据此计算结果和专家经验，以不同颜色表示各个功能水域蓝藻灾害的不同风险等级，包括：极重、重灾、中灾、轻灾和无灾等。评估算法的具体实现方式可参照刘聚涛等人的文献(太湖蓝藻水华灾害风险分区评估方法研究，中国环境科学，2011，31(3)：498-503)，本发明中不再赘述。
(5)在公共平台上展示湖泊蓝藻灾害预测预警信息。
在公共平台上展示湖泊蓝藻灾害预测预警信息，所述的公共平台可选用基于互联网的软件平台，利用相关网站进行信息发布，蓝藻灾害信息发布网站是基于互联网的软件平台，是管理立体监控及数据挖掘系统的对话窗口，通过网站形式实现用户与系统之间的信息交互。本实施例构建的蓝藻灾害信息发布网站是基于互联网的软件平台，是管理立体监控及数据挖掘系统的对话窗口，通过网站形式实现用户与系统之间的信息交互，主要功能有：首页、遥测数据、巡测数据、卫星数据、预测预警、用户中心等功能。
立体监控展示在遥测数据、巡测数据和卫星数据三个网页中实现，各自的页面功能相似。立体监测网页通过与数据库相交互，向公众展示太湖立体监控系统采集的湖泊实时环境信息，主要加载控件和引用对象包括：数据库引擎、按钮、图表、复选框、下拉组合框、文本框、时间和webgis等。首先，该网页可以在电子地图上展示单个站点的实时气象、水文和水质监测数据，也可以通过电子地图二次开发网格化展示面状监测数据。其次，该网页还可以给不同权限用户提供历史数据检索、下载和简单统计分析服务。数据检索和下载是用户提供站点、指标和时间等信息，网站自动生成sql语句向数据库发送命令，数据库收到命令而返回相应的数据集，通过图和表的形式向用户展示，也可以生成指定格式的文件供高级用户批量下载。简单的统计分析，网站提供了不超过1年的时间序列的统计分析，包括最大值、最小值、平均值、计数和求和等简单的统计功能。
预测预警网页通过与数据库相交互，向公众展示太湖蓝藻灾害预测预警信息，主要加载控件和引用对象包括：数据库引擎、时间、按钮、iweboffice、文本框、下拉列表框、复选框、frame、webgis和flash等。该网页具有：1)将以网页表的形式展示三维数值模型涉及的计算网格、时间步长、预报期、初始值和边界条件等信息，也列出所有模型参数名称、功能、取值范围和当前值等信息。同时，用户可以通过内置iweboffice插件对上述模型设置进行修改；2)绘制等值线图，该网页可以调取模型模拟数据，通过webgis绘制等值线图，同时在flash控件以时间顺序播放这些等值线图，形成未来3d太湖模拟环境指标的时空变化动画；3)该网页能够按照预先指定的格式自动制作太湖水污染及蓝藻监测预警半周报。除在网页展示外，该半周报还可以通过超链接下载，也可以自动在指定时间向指定的电子邮箱地址发送。
用户中心网页主要实现对不同级别用户管理和用户自主发布新闻等功能，主要加载控件和引用对象包括：数据库引擎、按钮、flash、图片和表等。首先该网页能够为所有用户设置不同的权限，包括系统管理员、高级用户、中级用户和初级用户。系统管理员拥有对网站的所有权限，可以制定所有规则。高级用户可以浏览网站所有页面、访问数据库，批量下载监测数据，自主发布新闻和操控三维数值模型。中级用户可以浏览网站所有页面、访问数据库和批量下载监测数据。初级用户就是一般访客，仅可以浏览网站向所有普通公众展示的蓝藻灾害信息。
实施例2
本实施例以太湖为例，对本发明的系统作进一步描述。
本发明所述面向湖泊蓝藻灾害的立体监控及数据挖掘系统包括监测子系统和数据处理子系统，所述监测子系统用于采集待监测数据；包括利用遥感进行监测的遥感监测子系统、利用自动监测站进行监测的自动监测子系统和人工采集待监测数据的人工巡测子系统；
所述遥感监测子系统包括卫星数据接收天线、计算机和供电系统，所述供电系统用于为耗电装置供电，卫星数据接收天线接收卫星数据，并向计算机传输，通过计算机进行遥感反演处理后，将处理后的数据通过互联网传输至数据处理子系统；
所述自动监测子系统为多个自动监测站通过无线网络连接形成的监测网络，单个自动监测站由水面支撑系统、供电系统、安全警示系统和数据采集系统组成；所述水面支撑系统为自动监测站硬件装置的承重结构；所述供电系统用于为自动监测站的耗电装置供电；所述安全警示系统用于安全警示，防止自动监测站遭受意外破坏；所述数据采集系统用于采集包括从气象仪器、水文仪器、水质仪器和视频仪器中获取的待监测数据，并将采集的数据通过无线网络传输到数据处理子系统；
所述人工巡测子系统为人工采集数据，并将数据通过互联网传输至数据处理子系统；
所述数据处理子系统用于接收和处理监测子系统获取的数据；包括服务器、阵列机、计算机、计算工作站、硬件防火墙、路由器、网线和供电设备；服务器采用双机热备模式，两台服务器和用于数据存储的阵列机通过三叉电缆实现心跳连接，所有计算机、服务器和计算工作站均通过网线与硬件防火墙相连，硬件防火墙通过连接路由器与外网连通；
数据处理子系统接收数据后，对接收的数据进行数据备份和数据处理，包括数据预处理、三维数值模拟和蓝藻灾害评估，获取湖泊蓝藻灾害的预测指标和风险评估，并通过公共平台发布。所述数据预处理、三维数值模拟和蓝藻灾害评估算法均可参照实施例1选用的算法。
如图2所示，本实施例中的自动监测站是指18个分布于太湖蓝藻水华重点发生区域的自动监测站组成的监测网，可以30min的时间分辨率连续实时记录这18个自动监测站所在水域水环境信息。
所述供电设备采用ups系统不间断电源供电，所述的两台服务器居于硬件防火墙和路由器下的局域网中，居于同一局域网中的还有用于遥感数据接收和处理的计算机，以及用于三维数值模型运行的计算工作站，计算工作站与两台服务器处于同一局域网中，可以满足三维数值模型对数据库数据的自动快速读取，并可将计算结果回传到oracle数据库中，所有设备均通过电缆与ups系统相连接，ups系统则与民用交流电相连接，ups系统为数据中心提供稳定的电源供应。
通过编写遥感数据接收程序将同处于一个局域网内的计算机上的卫星数据向服务器传送，并按照规定的文件命名模式存储阵列机中。自动监测站的通信模块中包括grps模块和cr1000数据采集器。只要在服务器端安装与cr1000相匹配的lognet软件就可以实现将自动监测数据传输到服务器端，并按照规定的文件命名模式存储阵列机中。
- 还没有人留言评论。精彩留言会获得点赞！