海洋环境监测数据流程化处理方法及装置制造方法
【专利摘要】本发明涉及信息处理【技术领域】，尤其涉及海洋环境监测数据流程化处理方法及装置。该方法包括：对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板；将海洋环境监测数据电子表转换为二维关系型数据表；对第一预处理数据表进行格式转换，得到第二预处理数据表；遍历第二预处理数据表中的监测数据是否存在缺失，如果是，则对缺失位置进行数据填补；对第二预处理数据表中的监测站位基础信息数据进行质量控制；对第二预处理数据表中的监测站位的监测参数数据质量进行检验；利用海洋环境监测数据电子表的输出结果实施海洋环境监测。本发明提供的该海洋环境监测数据流程化处理方法及装置，实现对海洋环境监测数据的统一规范处理。
【专利说明】海洋环境监测数据流程化处理方法及装置
【技术领域】
[0001] 本发明涉及信息处理【技术领域】，具体而言，涉及海洋环境监测数据流程化处理方 法及装置。
【背景技术】
[0002] 近年来，我国海洋环境监测能力切实加强，业务体系不断创新发展。目前已形成了 国家、海区、省、市、县5级环境监测网络，已建有海洋环境监测机构200多个。随着我国海 洋环境监测工作的深入开展，监测工作已形成了包括海洋生物多样性、海水、沉积物、赤潮、 海洋溢油、陆源入海、海水浴场等20余项监测任务，以及海水水质、水文气象、沉积物质量、 生物质量、浮游植物、浮游动物等40余种监测要素的业务化监测体系。
[0003] 海洋环境监测数据的规范处理和管理在海洋监测中是很重要的一个环节。随着监 测数据的不断获取与更新，已形成了海量的数据积累，每年可获得各类海洋环境监测数据 200多万个。这些数据包括不同的监测任务和监测要素，出自不同的监测机构，由于各地监 测机构上报汇总的监测数据格式和类型多样，且标准化程度不高，这给监测数据的处理带 来一定的困难。各个机构对获取的海洋环境监测数据的处理方法主要基于人工完成，数据 处理标准化程度低、通用性较差，当数据用途改变时，处理过程容易返工，造成人力和物力 的浪费。
[0004] 海洋环境监测数据质量直接影响海洋环境管理决策的科学性，准确可靠的监测数 据是海洋环境科学研究和海洋综合管理的依据。如何进行海洋环境监测数据集的标准化处 理与质量控制，是海洋环境保护及海洋信息化持续健康发展的关键问题。
[0005] 为了适应海洋环境保护的信息化发展，海洋生态环境监测数据采集完成后，需要 完成监测数据的统一和规范化处理。目前我国海洋环境监测制度及质量控制规范及检验方 法，如：国家海洋局"海洋监测规范第2部分：数据处理与分析质量控制"，国家环境保护部 "全国近岸海域环境监测网质量保证和质量控制工作规定（试行）"。大多是针对实验室内 质量控制的研究。目前，针对海洋环境监测数据流程化处理尚未有一个规范的、系统的方法 体系。
【发明内容】
[0006] 本发明的目的在于提供海洋环境监测数据流程化处理方法及装置，以解决上述的 问题。
[0007] 在本发明的实施例中提供了海洋环境监测数据流程化处理方法，包括：
[0008] 根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确 定其所使用的数据报表模板，其中所述数据报表模板包括：海洋环境标准报表模板、海水浴 场模板、海洋垃圾模板及养殖区状况模板；
[0009] 利用所述数据报表模板中公用信息的位置与名称，将所述海洋环境监测数据电子 表转换为二维关系型数据表，其中所述二维关系型数据表中监测站位、采样层次作为一条 记录，按行逐条排列，公用信息按行填补；
[0010] 将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据 表；
[0011] 按照设定的参数名称及参数单位的标准格式，对所述第一预处理数据表中的参数 名称及参数单位进行格式转换，得到第二预处理数据表；
[0012] 遍历所述第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并 对缺失位置进行数据填补；
[0013] 对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质 量控制，其中所述站位基础信息为海洋环境监测站位的时间、空间及区域信息；
[0014] 对进行数据填补后的所述第二预处理数据表中的监测站位的监测参数数据质量 进行检验，其中该检验包括值域一致性检验、逻辑一致性检验；
[0015] 获取海洋环境监测数据电子表的输出结果，其中所述输出结果中设置有用于表示 各项检测结果的质控符；
[0016] 利用所述海洋环境监测数据电子表的输出结果实施海洋环境监测。
[0017] 优选地，所述对进行数据填补后的所述第二预处理数据表中的监测站位基础信息 数据进行质量控制，包括：识别监测站位的经度及纬度，根据所述监测站位的经度及纬度生 成站位图；利用所述站位图检测所述监测站位的空间落点是否落在规定的监测区域，如果 否，则对该监测站位设置表示未落在规定的监测区域的质控符；利用所述站位图检测位于 监测断面上的监测站位偏离断面沿线的值是否超出预设偏离阈值，如果是，则对该监测站 位设置表示偏离断面沿线的质控符；检测所述监测站位的站位编号是否与设定的经纬度匹 配对应，如果否，则对该监测站位设置表示站位编号与经纬度不匹配的质控符。
[0018] 优选地，对监测参数数据进行值域一致性检验，包括：检测监测参数数据是否超过 设定的监测阈值，如果是，则对所述监测参数数据设定表示超过设定的监测阈值的质控符； 其中所述监测阈值包括：所述监测参数的理化性质阈值范围、一般污染指标阈值范围、重金 属类及有毒污染指标阈值范围。
[0019] 优选地，对监测参数数据进行逻辑一致性检验，包括：对监测参数数据不同形态的 关系检验，包括：根据监测参数数据判断总氮含量是否高于无机氮含量，如果否，则对所述 总氮含量及所述无机氮含量所对应的监测参数数据设置表示总氮含量低于无机氮含量的 质控符；根据监测参数数据判断总磷含量是否高于溶解态磷含量，如果否，则对所述总磷含 量及所述溶解态磷含量所对应的监测参数数据设置表示总磷含量低于溶解态磷含量的质 控符；根据监测参数数据判断溶解态氮含量是否高于溶解无机氮含量，如果否，则对所述溶 解态氮含量及所述溶解无机氮含量所对应的监测参数数据设置表示溶解态氮含量低于溶 解无机氮含量的质控符；根据监测参数数据判断溶解态磷含量是否高于活性磷酸盐含量， 如果否，则对所述溶解态磷含量及所述活性磷酸盐含量所对应的监测参数数据设置表示溶 解态磷含量低于活性磷酸盐含量的质控符；根据监测参数数据判断总铬含量是否大于六价 铬含量，如果否，则对所述总铬含量及所述六价铬含量所对应的监测参数数据设置表示总 铬含量低于六价铬含量的质控符；
[0020] 对同一物质在不同监测参数之间的关系检验，包括：根据监测参数数据判断用重 铬酸钾做氧化剂测定的化学需氧量〇? &是否大于用高锰酸钾做氧化剂COD^测定的化学需 氧量，如果否，则对所述COD&及所述COD^所对应的监测参数数据设置表示COD&低于所述 COD^的质控符；根据监测参数数据判断C0D&是否高于微生物代谢所消耗的溶解氧量B0D5， 如果否，则对C0D &及B0D5所对应的监测参数数据设置表示C0D&低于B0D 5的质控符；根 据监测参数数据判断大肠菌群数是否高于粪大肠菌群数，如果否，则对所述大肠菌群数及 所述粪大肠菌群数所对应的监测参数数据设置表示大肠菌群数低于粪大肠菌群数的质控 符；
[0021] 不同监测参数内在联系的检验，包括：根据监测参数数据判断溶解氧在海水中的 溶解度是否随温度的升高而降低，且随盐度的增加而减少，如果否，则对所述溶解氧及所述 溶解氧所对应的监测参数数据设置质控符；根据监测参数数据判断是否酸碱度值越大，总 碱度值越小，如果否，则对所述酸碱度值及所述总碱度值所对应的监测参数数据设置质控 符；根据监测参数数据判断硝酸盐含量是否高于亚硝酸盐含量，如果否，则对所述硝酸盐含 量及所述亚硝酸盐含量所对应的监测参数数据设置质控符。
[0022] 优选地，所述对监测参数数据进行逻辑一致性检验，还包括：根据年纪监测参数浓 度的变化、年内各季度监测参数浓度的变化，结合监测区域环境特征，确定监测参数的时间 分布特征；根据所述时间分布特征，对所述监测参数数据进行时间分布检验；
[0023] 根据监测参数数据制作监测参数平面分布图，根据所述平面分布图，判断监测区 域中是否存在监测参数数据与相关监测参数数据之间的差值高于预设值，如果存在，则对 该监测参数设置质控符。
[0024] 优选地，所述对监测参数数据进行逻辑一致性检验，还包括：对监测参数数据进行 离散群点检验，包括：利用所述监测参数数据绘制散点图，利用所述散点图确定离群点数 据；或，利用所述监测参数数据绘制箱形图，利用所述箱形图确定离散群点数据；或，利用 空间局部离散群系数度量方法确定出空间站位的离散程度。
[0025] 优选地，所述利用空间局部离散群系统度量方法确定出空间站位的离散程度，包 括：选取空间邻域：对于任一站位监测数据对象s，根据经度与纬度的空间信息，按照一定 的邻域半径r确定对象s的空间邻域NB (s)，其中所述空间邻域NB (s)为对象s的所有空间 邻居P的集合；
【权利要求】
1. 海洋环境监测数据流程化处理方法，其特征在于，包括： 根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确定其 所使用的数据报表模板，其中所述数据报表模板包括：海洋环境标准报表模板、海水浴场模 板、海洋垃圾模板及养殖区状况模板； 利用所述数据报表模板中公用信息的位置与名称，将所述海洋环境监测数据电子表转 换为二维关系型数据表，其中所述二维关系型数据表中监测站位、采样层次作为一条记录， 按行逐条排列，公用信息按行填补； 将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据表； 按照设定的参数名称及参数单位的标准格式，对所述第一预处理数据表中的参数名称 及参数单位进行格式转换，得到第二预处理数据表； 遍历所述第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并对缺 失位置进行数据填补； 对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质量控 制，其中所述站位基础信息为海洋环境监测站位的时间、空间及区域信息； 对进行数据填补后的所述第二预处理数据表中的监测站位的监测参数数据质量进行 检验，其中该检验包括值域一致性检验、逻辑一致性检验； 获取海洋环境监测数据电子表的输出结果，其中所述输出结果中设置有用于表示各项 检测结果的质控符； 利用所述海洋环境监测数据电子表的输出结果实施海洋环境监测。
2. 根据权利要求1所述的方法，其特征在于，所述对进行数据填补后的所述第二预处 理数据表中的监测站位基础信息数据进行质量控制，包括： 识别监测站位的经度及纬度，根据所述监测站位的经度及纬度生成站位图； 利用所述站位图检测所述监测站位的空间落点是否落在规定的监测区域，如果否，则 对该监测站位设置表示未落在规定的监测区域的质控符； 利用所述站位图检测位于监测断面上的监测站位偏离断面沿线的值是否超出预设偏 离阈值，如果是，则对该监测站位设置表示偏离断面沿线的质控符； 检测所述监测站位的站位编号是否与设定的经纬度匹配对应，如果否，则对该监测站 位设置表示站位编号与经纬度不匹配的质控符。
3. 根据权利要求1所述的方法，其特征在于，对监测参数数据进行值域一致性检验，包 括： 检测监测参数数据是否超过设定的监测阈值，如果是，则对所述监测参数数据设定表 示超过设定的监测阈值的质控符； 其中所述监测阈值包括：所述监测参数的理化性质阈值范围、一般污染指标阈值范围、 重金属类及有毒污染指标阈值范围。
4. 根据权利要求1所述的方法，其特征在于，对监测参数数据进行逻辑一致性检验，包 括： 对监测参数数据不同形态的关系检验，包括：根据监测参数数据判断总氮含量是否高 于无机氮含量，如果否，则对所述总氮含量及所述无机氮含量所对应的监测参数数据设置 表示总氮含量低于无机氮含量的质控符；根据监测参数数据判断总磷含量是否高于溶解态 磷含量，如果否，则对所述总磷含量及所述溶解态磷含量所对应的监测参数数据设置表示 总磷含量低于溶解态磷含量的质控符；根据监测参数数据判断溶解态氮含量是否高于溶解 无机氮含量，如果否，则对所述溶解态氮含量及所述溶解无机氮含量所对应的监测参数数 据设置表示溶解态氮含量低于溶解无机氮含量的质控符；根据监测参数数据判断溶解态磷 含量是否高于活性磷酸盐含量，如果否，则对所述溶解态磷含量及所述活性磷酸盐含量所 对应的监测参数数据设置表示溶解态磷含量低于活性磷酸盐含量的质控符；根据监测参数 数据判断总铬含量是否大于六价铬含量，如果否，则对所述总铬含量及所述六价铬含量所 对应的监测参数数据设置表示总铬含量低于六价铬含量的质控符； 对同一物质在不同监测参数之间的关系检验，包括：根据监测参数数据判断用重铬酸 钾做氧化剂测定的化学需氧量COD&是否大于用高锰酸钾做氧化剂CODsfa测定的化学需氧 量，如果否，则对所述C0D&及所述CODsfa所对应的监测参数数据设置表示C0D&低于所述 CODsfa的质控符；根据监测参数数据判断C0D&是否高于微生物代谢所消耗的溶解氧量BOD5, 如果否，则对C0D&及BOD5所对应的监测参数数据设置表示C0D&低于BOD5的质控符；根 据监测参数数据判断大肠菌群数是否高于粪大肠菌群数，如果否，则对所述大肠菌群数及 所述粪大肠菌群数所对应的监测参数数据设置表示大肠菌群数低于粪大肠菌群数的质控 符； 不同监测参数内在联系的检验，包括：根据监测参数数据判断溶解氧在海水中的溶解 度是否随温度的升高而降低，且随盐度的增加而减少，如果否，则对所述溶解氧及所述溶解 氧所对应的监测参数数据设置质控符；根据监测参数数据判断是否酸碱度值越大，总碱度 值越小，如果否，则对所述酸碱度值及所述总碱度值所对应的监测参数数据设置质控符；根 据监测参数数据判断硝酸盐含量是否高于亚硝酸盐含量，如果否，则对所述硝酸盐含量及 所述亚硝酸盐含量所对应的监测参数数据设置质控符。
5. 根据权利要求1所述的方法，其特征在于，所述对监测参数数据进行逻辑一致性检 验，还包括： 根据年纪监测参数浓度的变化、年内各季度监测参数浓度的变化，结合监测区域环境 特征，确定监测参数的时间分布特征；根据所述时间分布特征，对所述监测参数数据进行时 间分布检验； 根据监测参数数据制作监测参数平面分布图，根据所述平面分布图，判断监测区域中 是否存在监测参数数据与相关监测参数数据之间的差值高于预设值，如果存在，则对该监 测参数设置质控符。
6. 根据权利要求5所述的方法，其特征在于，所述对监测参数数据进行逻辑一致性检 验，还包括： 对监测参数数据进行离散群点检验，包括：利用所述监测参数数据绘制散点图，利用所 述散点图确定离群点数据；或，利用所述监测参数数据绘制箱形图，利用所述箱形图确定离 散群点数据；或，利用空间局部离散群系数度量方法确定出空间站位的离散程度。
7. 根据权利要求6所述的方法，其特征在于，所述利用空间局部离散群系统度量方法 确定出空间站位的离散程度，包括： 选取空间邻域：对于任一站位监测数据对象s，根据经度与纬度的空间信息，按照一定 的邻域半径r确定对象s的空间邻域NB(s)，其中所述空间邻域NB(s)为对象s的所有空间 邻居P的集合； 计算邻域距离：按照公式
计算对 象S与空间邻居P的加权距离；其中，SL1H=1d为监测参数的个数，f (Sk)为对 象s第k个监测参数的数据值，f(pk)为对象p第k个监测参数的数据值；按照公式
计算对象S的邻域距离Ndist(s,w);其中 INB(S)I指空间邻域NB(S)的个数，邻域距离表示对象s与其邻域在非空间属性上的相异程 度，邻域距离越大，相异程度越高； 计算空间局部离群系数：按照公式（2)计算空间邻域NB(S)中所有对象的邻域距离Ndist(p,w);按照公式
计算对象s的空间局部 离群系数； 确定空间离群点：对得到的所有对象的SLOF(S)值按降序排列，将排在前N位的监测站 位对象确定为空间局部离散群点。
8.海洋环境监测数据流程化处理装置，其特征在于，包括： 解析模块，用于根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格 式解析，确定其所使用的数据报表模板，其中所述数据报表模板包括：海洋环境标准报表模 板、海水浴场模板、海洋垃圾模板及养殖区状况模板； 二维格式转换模块，用于利用所述数据报表模板中公用信息的位置与名称，将所述海 洋环境监测数据电子表转换为二维关系型数据表，其中所述二维关系型数据表中监测站 位、采样层次作为一条记录，按行逐条排列，公用信息按行填补； 合并模块，用于将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预 处理数据表； 标准格式转换模块，用于按照设定的参数名称及参数单位的标准格式，对所述第一预 处理数据表中的参数名称及参数单位进行格式转换，得到第二预处理数据表； 齐全性检验模块，用于遍历所述第二预处理数据表中的监测数据是否存在缺失，如果 是，则发出提示并对缺失位置进行数据填补； 基础信息质量控制模块，用于对进行数据填补后的所述第二预处理数据表中的监测站 位基础信息数据进行质量控制，其中所述站位基础信息为海洋环境监测站位的时间、空间 及区域信息； 监测参数数据质量检验模块，用于对进行数据填补后的所述第二预处理数据表中的 监测站位的监测参数数据质量进行检验，其中该检验包括值域一致性检验、逻辑一致性检 验； 结果输出模块，用于获取海洋环境监测数据电子表的输出结果，其中所述输出结果中 设置有用于表示各项检测结果的质控符； 监测实施模块，用于利用所述海洋环境监测数据电子表的输出结果实施海洋环境监 测。
【文档编号】G06Q10/06GK104268679SQ201410471103
【公开日】2015年1月7日 申请日期:2014年9月16日 优先权日:2014年9月16日
【发明者】路文海, 杨翼, 向先全, 付瑞全, 李潇, 曾容, 王秋璐 申请人:国家海洋信息中心