一种多源异构生态空间数据的集成方法与流程

本发明属于地球物理数据信息
技术领域：
，具体涉及一种多源异构生态空间数据的集成方法。
背景技术：
：我国地质工作的不断开展，经过多年的积累，我国在地质勘探、水文石油地质调查等方面均取得了重要的成果，形成了庞大的地质资料集，其中包括地图集、遥感影像集、文档资料集等，这些资料在空间数据的成果中占有重要比例，但是这些数据由于收集者格式往往存在差异，在使用时需要转换，操作成本较大，由于这些数据是我们多年来地质工作的证明，是我国进一步研究地质工作的重要数据依据，具有极其重大的科学研究价值，为了满足不同层次人群对于地质信息服务的需求，如何实现地质信息化已经成为了地质领域的热点问题，大量的地质学者都在极力推动地质相关信息系统的建设，建立地质资料平台，完成地质信息的可视化操作。目前地质数据信息主要是基于gis的地质数据信息的表现手段和综合表达方式，但是缺乏统一化，严重影响了地质数据资料的使用范围和利用效率，不利于发现和挖掘地质数据信息汇总所蕴含的更加深层次的内容和知识，影响决策质量。我国地质数据资料主要以纸质形式进行保管，数据化程度较低，随着年限的严惩，造成纸张的损坏，造成部分文字和图件逐渐变得模糊不清，造成地质信息丢失而无法使用。我国地质数据资料缺乏统一的数据模型技术对空间数据、属性数据对数据进行统一管理和表达，造成数据资源的无法得到合理的利用和存储。技术实现要素：本发明提供了一种多源异构生态空间数据的集成方法，以至少解决相关技术中将分散异构的数据源进行集成，实现煤矿地质数据一体化存储，提高存储效率的集成技术。一种多源异构生态空间数据的集成方法，包括以下步骤：(1)空间数据采集：将空间数据、图件和属性数据，根据关键字段依次进行数据的录入和检查，保证录入数据的准确、可靠；(2)空间数据的转换：在相同的空间参考基准下进行成图，将不同坐标体系下的坐标进行坐标换算转换为地理坐标系经纬度坐标；(3)空间数据检查：包括去重、合并、删除数据经纬度坐标检查、文件格式转换等，以及数据正确性、完整性、一致性检查等；(4)空间数据的集成：根据统一要求和标准汇集成数据信息。进一步，所述步骤(1)中的空间数据采集，采集的多源异构空间数据为煤矿地质数据，包括坐标数据，文本数据，测井曲线图片数据。进一步，所述步骤(1)中的空间数据数据采集，采用everything软件开发工具包设计了数据发现模块，完成对文件系统的扫描与数据定位，包含全盘搜索、文件排序、获取路径等，通过主文件表扫描的形式对文件系统中的数据进行快速检索，同时占用较低的系统资源并实时跟踪文件变化，实现对地质空间数据的快速定位。进一步，所述步骤(2)中空间数据的转换，其中坐标数据的数据转换采用的地理空间信息网格模型，建立两个曲面场之间点的对应关系，通过球面网格方案延伸到立体空间，用一系列空间网格体单元模拟地球空间系统，在每一个网格体单元内采用不同层次概念，每一层次的网格单元分辨率不同，每一层次的投影变换函数都是不同的，数学表达式为：x＝f1,m,n,k(b,l,h),y＝f2,m,n,k(b,l,h)；其中x，y，z是投影单元体内直角坐标；b，l，h是地球空间经纬度、高度地理坐标；f1、f2、f3是变换函数；m，n，k是行列高编码。进一步，所述步骤(2)中空间数据的转换，其中文件的转换根据数据规范化标准对文件的数据进行转换，保证数据的格式统一，名称一致。进一步，所述步骤(2)中空间数据的转换，其中测井曲线图片数据转换为将测井曲线的图片数据转化成结构化数据，采用神经网络对曲线进行识别追踪，快速精准地进行曲线的的纵向和横向网格化处理，以及按间隔读取并保存数据；在提取完测井曲线数据后，可以通过人工检验或反演校验的方式确保数据的准确性和规范性。进一步，所述步骤(3)中数据检查，采用哈希算法对比，通过调用hashalgorithm.create方法创建一个hashalgorithm对象，然后调用hashalgorithm.computehash方法，返回一个存储哈希码的字节数组，然后对字节数组转换为字符串类型；使用以上方法可以为每个文件生成一个独立的哈希码，若文件一致则哈希码一致，通过比较二个哈希码是否一致，进而可以判定数据内容是否相同；依据哈希算法最终完成内容检查、字段检查、清除重复数据、删除选中数据等操作。进一步，所述步骤(4)中集成方法为采用oracle与非结构化存储技术相结合的方式构建存储平台，结构化数据存入oracle中，非结构化数据和半结构化数据存入分布式内存数据库hbase中，结合spark并行处理技术对煤矿地质数据进行分析和加速。在进行煤矿地质数据的分析时，考虑到我国煤矿地质资源空间数据集成后的数据特征，主要集中在干旱缺水地区，常规水循环钻进技术无法有效的正常施工进行，且煤矿井在钻进工作中容易出现井斜不易控制、地层漏失的现象，采用空气泡沫潜孔锤钻进工艺对煤矿资源进行钻进施工，可以达到预防钻孔偏斜，提高钻机械转速的目的；空气泡沫潜孔锤钻进工艺是以压缩空气为动力，通过地面管汇和钻柱，驱动潜孔锤以冲击方式碎岩，同时钻机转盘低速回转，带动钻头以剪切方式碎岩，并利用压缩空气经环状空间将孔底岩屑携带地表的钻进方法；空气泡沫潜孔锤钻进工艺是将大量的气体分散在少量含起泡剂的液体中作为循环介质，介质的循环与空气潜孔锤钻进相同；该工艺利用气泡间的相互作用，提高了悬浮、携带、捕尘能力和稳定地层的能力。进一步，空气泡沫由发泡剂、稳泡剂、防塌剂组成；其中发泡剂为辛葵基葡糖苷和脂肪醇聚氧乙烯醚硫酸钠混合物，物质质量比为1:1，加水进行搅拌，发泡剂的添加比例为0.3％-0.9％，配制成200ml发泡液，发泡液以5000r/min的速率搅拌1.5min，同时迅速将搅拌杯中的泡沫倒入有刻度的量筒中，记录量筒中泡沫体积v0，待析出体积为100ml时记录所需时间t0.5。其中稳泡剂为羧甲基纤维素钠，先将稳泡剂与水以1:300比例混合，以5000r/min的速率搅拌2min，浸泡10h。其中防塌剂为阳离子化聚乙烯醇，添加比例为0.01％-0.04％。有益效果(1)本发明采用oracle与分布式存储技术相结合的方式构建了煤矿地质数据的存储平台，结合spark并行处理技术提高了煤矿地质数据的集成和存储效率，实现了煤矿地质数据自动化成图，使得煤矿地质数据的特点更加快速直观的显现出来，为煤矿地质数据勘查、成果的集成应用提供了数据基础和信息技术支撑。(2)本发明采用调用，根据数据的单属性与多字段检索方式，完成对文件系统的扫描与数据的快速定位。(3)本发明采用地理空间信息网格模型进行坐标数据的转换，可以方便的标识煤矿地质数据在立体空间中的区位位置，实现煤矿地质数据统一的位置标识。(4)本发明采用哈希函数进行数据检查，能够在有效的时间和有限的资源内快速进行分析检查，提高了数据检查的速度和效率。(5)本发明采用空气泡沫潜孔锤钻进工艺进行煤矿地质资源钻进，能够达到预防钻孔偏斜，提高钻机械转速的目的。附图说明图1为多源异构空间数据集成方法的流程示意图；图2为空气泡沫潜孔锤钻进工艺设备流程图；图3为空气泡沫煤炭回收率柱状图。具体实施方式以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。实施例1图1为本实施例提供的多源异构空间数据集成方法的流程示意图，如图1所示，一种多源异构生态空间数据的集成方法，包括以下步骤：(1)空间数据采集：将空间数据、图件和属性数据，根据关键字段依次进行数据的录入和检查，保证录入数据的准确、可靠；(2)空间数据的转换：在相同的空间参考基准下进行成图，将不同坐标体系下的坐标进行坐标换算转换为地理坐标系经纬度坐标；(3)空间数据检查：包括去重、合并、删除数据经纬度坐标检查、文件格式转换等，以及数据正确性、完整性、一致性检查等；(4)空间数据的集成：根据统一要求和标准汇集成数据信息。进一步，所述步骤(1)中的空间数据采集，采集的多源异构空间数据为煤矿地质数据，包括坐标数据，文本数据，测井曲线图片数据。进一步，所述步骤(1)中的空间数据数据采集，采用everything软件开发工具包设计了数据发现模块，完成对文件系统的扫描与数据定位，包含全盘搜索、文件排序、获取路径等，通过主文件表扫描的形式对文件系统中的数据进行快速检索，同时占用较低的系统资源并实时跟踪文件变化，实现对地质空间数据的快速定位。进一步，所述步骤(2)中空间数据的转换，其中坐标数据的数据转换采用的地理空间信息网格模型，建立两个曲面场之间点的对应关系，通过球面网格方案延伸到立体空间，用一系列空间网格体单元模拟地球空间系统，在每一个网格体单元内采用不同层次概念，每一层次的网格单元分辨率不同，每一层次的投影变换函数都是不同的，数学表达式为：x＝f1,m,n,k(b,l,h),y＝f2,m,n,k(b,l,h)；其中x，y，z是投影单元体内直角坐标；b，l，h是地球空间经纬度、高度地理坐标；f1、f2、f3是变换函数；m，n，k是行列高编码。进一步，所述步骤(2)中空间数据的转换，其中文件的转换根据数据规范化标准对文件的数据进行转换，保证数据的格式统一，名称一致。进一步，所述步骤(2)中空间数据的转换，其中测井曲线图片数据转换为将测井曲线的图片数据转化成结构化数据，采用神经网络对曲线进行识别追踪，快速精准地进行曲线的的纵向和横向网格化处理，以及按间隔读取并保存数据；在提取完测井曲线数据后，可以通过人工检验或反演校验的方式确保数据的准确性和规范性。进一步，所述步骤(3)中数据检查，采用哈希算法对比，通过调用hashalgorithm.create方法创建一个hashalgorithm对象，然后调用hashalgorithm.computehash方法，返回一个存储哈希码的字节数组，然后对字节数组转换为字符串类型；使用以上方法可以为每个文件生成一个独立的哈希码，若文件一致则哈希码一致，通过比较二个哈希码是否一致，进而可以判定数据内容是否相同；依据哈希算法最终完成内容检查、字段检查、清除重复数据、删除选中数据等操作。进一步，所述步骤(4)中集成方法为采用oracle与非结构化存储技术相结合的方式构建存储平台，结构化数据存入oracle中，非结构化数据和半结构化数据存入分布式内存数据库hbase中，结合spark并行处理技术对数据进行分析和加速。在本实施例中，提高了煤矿地质数据的集成和存储效率，实现了煤矿地质数据自动化成图，使得煤矿地质数据的特点更加快速直观的显现出来，为煤矿地质数据勘查、成果的集成应用提供了数据基础和信息技术支撑。实施例2考虑到我国煤矿地质资源空间数据集成后的数据特征，主要集中在干旱缺水地区，常规水循环钻进技术无法有效的正常施工进行，且煤矿井在钻进工作中容易出现井斜不易控制、地层漏失的现象，采用空气泡沫潜孔锤钻进工艺对煤矿资源进行钻进施工，可以达到预防钻孔偏斜，提高钻机械转速的目的。空气泡沫潜孔锤钻进工艺如图2所示，空气泡沫潜孔锤钻进工艺是以压缩空气为动力，通过地面管汇和钻柱，驱动潜孔锤以冲击方式碎岩，同时钻机转盘低速回转，带动钻头以剪切方式碎岩，并利用压缩空气经环状空间将孔底岩屑携带地表的钻进方法；空气泡沫潜孔锤钻进工艺是将大量的气体分散在少量含起泡剂的液体中作为循环介质，介质的循环与空气潜孔锤钻进相同；该工艺利用气泡间的相互作用，提高了悬浮、携带、捕尘能力和稳定地层的能力。在图2的钻进工艺中，在煤炭钻进工艺中，空气和泡沫的气液比为120-150:1，同时与钻进速度、地下水含量、孔深等成正比关系。实施例3-6空气泡沫制备工艺为：(1)空气泡沫由0.3％发泡剂、0.03％稳泡剂、0.01％防塌剂组成；(2)其中发泡剂为辛葵基葡糖苷和脂肪醇聚氧乙烯醚硫酸钠混合物，物质质量比为1:1，加水进行搅拌，其中发泡剂的添加比例为0.3％，配制成200ml发泡液，发泡液以5000r/min的速率搅拌1.5min，同时迅速将搅拌杯中的泡沫倒入有刻度的量筒中，记录量筒中泡沫体积v0，待析出体积为100ml时记录所需时间t0.5；(3)稳泡剂为羧甲基纤维素钠，先将稳泡剂与水以1:300比例混合，以5000r/min的速率搅拌2min，浸泡10h；(4)防塌剂为阳离子化聚乙烯醇，添加比例为0.01％。在其他条件不变的情况下，改变发泡剂的添加比例，发泡剂的添加比例为0.3％-0.9％，记录下发泡量及半衰期，具体如表1所示：表1：由表1可以看出，在发泡剂的添加比例为0.3％-0.9％范围内，随着发泡剂添加量的增加，发泡体积和半衰期呈逐渐上升的趋势，说明在此范围内，发泡剂的性能较优，适合空气泡沫中发泡剂的使用。实施例7-10空气泡沫制备工艺为：(1)空气泡沫由0.6％发泡剂、0.03％稳泡剂、0.01％防塌剂组成；(2)其中发泡剂为辛葵基葡糖苷和脂肪醇聚氧乙烯醚硫酸钠混合物，物质质量比为1:1，加水进行搅拌，其中发泡剂的添加比例为0.6％，配制成200ml发泡液，发泡液以5000r/min的速率搅拌1.5min，同时迅速将搅拌杯中的泡沫倒入有刻度的量筒中，记录量筒中泡沫体积v0，待析出体积为100ml时记录所需时间t0.5；(3)稳泡剂为羧甲基纤维素钠，先将稳泡剂与水以1:300比例混合，以5000r/min的速率搅拌2min，浸泡10h；(4)防塌剂为阳离子改性聚乙烯醇，添加比例为0.01％。在其他条件不变的情况下，改变防塌剂的添加比例，防塌剂的添加比例为0.01％-0.04％，进行煤炭分散回收率实验，其中煤炭分散回收率实验计算公式为：其中s为用孔径为0.45mm的筛筛后的回收率％；m1为孔径为0.45mm的筛的筛余量g；50为实验中称取的2-5mm煤炭岩样质量g。通过改变防塌剂添加比例，计算煤炭分散回收率，具体如表2所示：表2：实施例阳离子改性聚乙烯醇添加比例煤炭回收率70.01％55.65％80.02％56.79％90.03％56.12％100.04％57.08％通过表2可以看出，防塌剂的添加比例为0.01％-0.04％范围内，煤炭的回收率较高，能够对煤炭进行较好的抑制，能在钻具及套管表面和井壁岩石上产生有效吸附，形成非常稳定的具有一定强度的润滑膜，具有较低的摩擦系数和较强的抗剪切能力，从而大幅度降低钻具与井壁及套管之间的摩擦，降低钻具旋转扭距和起下钻阻力，进而能够在一定程度上防止塌陷事故的发生，提高生产的安全性能。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。当前第1页12