实现空间大数据快速处理及检索的方法
【技术领域】
[0001]本发明涉及空间大数据处理领域，特别是一种实现空间大数据快速处理及检索上图的方法。
【背景技术】
[0002]在现今信息时代，处于信息化智能化领域，我们发现每天生活中接触的信息量是极其庞大的，包含空间定位信息的地理空间数据也应用在非常多的领域，空间数据朝着不断膨胀与庞大化的方向发展着。随着地理信息系统(GIS)的发展，社会信息化需求的日益兴旺，地理信息系统软件必将处理越来越大范围内的大规模数据，海量空间数据高效的存储、检索、与空间分析操作一直都是GIS行业研究的热点与难点问题。为进一步提升海量空间数据的空间分析能力，为其提供理论储备和核心技术解决方案，本发明旨在从空间计算模式上，针对大规模空间数据，提出一套空间分析计算与存储、检索效率的解决方案。对空间数据物理存储、索引进行设计优化。解决大规模空间数据的空间分析效率问题。
[0003]空间分析是空间数据应用的灵魂，它提供了一系列数据操作功能，借助于这些功能，用户能够从原始数据中检索出某些实体数据，还可以进行空间量算，叠加分析，以及对各类实体的属性数据进行统计，网络分析等。
[0004]针对上述问题，本发明从以下几方面进行了研究:
[0005](1)对线、面空间数据，根据其形态特征，对数据进行合法性和优化性处理。
[0006](2)针对裁剪、叠加、缓冲区等空间分析操作在数据规模过大时某些低效率情况，分析归纳出不同数据形态的空间分析操作优化方案。
[0007](3)研究空间数据的存储管理，从索引缓存、数据索引进行优化，提出优化方案并进行实现。通过研究索引缓存技术，以较低的代价扩大索引信息的数量，改善数据搜索效率。
【发明内容】
[0008]本发明所要解决的技术问题是提供一种具有良好的实用性、能够实现空间大数据快速处理及检索的方法。
[0009]本发明解决上述技术问题所采用的技术方案如下:
[0010]实现空间大数据快速处理及检索的方法，包括以下步骤:
[0011]S1.建立索引表、空间地图；
[0012]S2.从公安内部数据库中，分别将与索引表字段相同的元素导入到索引表中该字段下；
[0013]S3.通过S0LR索引集群，根据查询条件进行检索:
[0014]S31.对查询条件进行分词，以确定查询条件的数据形态；
[0015]S32.若查询条件为点形态的数据，则包括以下步骤:
[0016]S321.在空间地图上找到查询条件指向的坐标，并确定检索范围；
[0017]S322.以坐标为圆心，以检索范围为半径画圆，并对圆形范围内的摄像头进行遍历；
[0018]S323.获取落在圆形范围内的摄像头的经度、玮度信息；
[0019]S33.若查询条件为线和/或面形态的数据，则包括以下步骤:
[0020]S331.在空间地图上找到查询条件指向的位置范围，并确定检索范围；
[0021]S332.分别以位置范围内每一个坐标点为圆心，以检索范围为半径画圆，并对圆形范围内的摄像头进行遍历；
[0022]S333.若坐标点落在摄像头的范围内，则选择该摄像头；
[0023]S334.删除与已选择的摄像头重复的摄像头，获取摄像头的经度、玮度信息；
[0024]S4.基于S3的检索结果，将获得的经度、玮度信息在空间地图上显示。
[0025]本发明通过大数据处理框架，实现并行计算，快速创建索引；通过S0LR集群及缓存技术等，能够实现高效的读写。经测试，本发明在模糊检索和数据分析上能达到秒级的响应，大大提高千万级的空间数据的实时处理速度。
[0026]作为优选，空间地图的经度和玮度的精度分别为0.1度。其优点在于，精度足够用来定位，同时不会导致数据容量过大。
[0027]作为优选，检索范围为10米至1000米。其优点在于，若范围太大，则检索精度会降低；若范围太小，则检索效率会降低。
[0028]作为优选，S31中，分词的方法包括以下步骤:
[0029]S311.建立词库，作为对查询条件进行分词的依据；
[0030]S312.对查询条件按词进行拆分；
[0031]S313.将拆分后的词与词库中的词进行匹配，能够匹配的为分词结果，不能匹配的则舍弃。其优点在于，降低了对查询条件的格式要求，方便了用户使用，同时降低了查询难度，加快了查询速度。
[0032]作为优选，S2与S3之间还包括:S21.周期性对数据进行备份。其优点在于，由于数据量大，一旦丢失很难恢复，周期性进行备份，可以降低数据丢失的风险，保证了大数据处理的可靠性，提高数据的完整性和安全性。
[0033]作为优选，数据备份为物理备份或者云备份。其优点在于，物理备份具有更高的安全性；而云备份则具有更大的容量、更高的便捷性。
[0034]作为优选，采用SPARK计算分析处理，批量将数据读入、计算、写入索引表；空间数据来源为通过GIS工具处理或存储在关系型数据库中的数据。其优点在于，能够通过数据的批量处理，具有良好的并行运算能力，加快数据的处理速度，提高数据处理效率。
[0035]作为优选，S3中，查询条件为自然语言形态。其优点在于，降低了对查询条件的格式要求，具有更高的实用性和智能性。
[0036]作为优选，索引表为二维表。其优点在于，导入数据方便，具有良好的数据处理功會泛。
[0037]本发明同现有技术相比具有以下优点及效果:
[0038]1、通过完备的备份机制，本发明能够保证数据的完整性和安全性。
[0039]2、在本发明中，针对点、线、面空间数据的分析计算，采用SPARK计算集群，实现在线实时计算及离线计算，提供空间数据的实时请求服务。
[0040]3、本发明能够实现空间数据的全文、智能、快速检索。
[0041]4、本发明通过S0LR索引集群实现空间数据的存储，基于分词技术可快速、智能化的进行全文搜索。
[0042]5、本发明结合SPARK技术、S0LR集群及缓存技术、最短路径计算等，具有良好的并行运算能力，大大提高千万级的空间数据的实时处理速度，在公安行业中具有非常大的实用价值。
【附图说明】
[0043]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1为本发明的流程示意图。
[0045]图2为本发明的索引创建路程示意图。
[0046]图3为本发明的数据分析、检索流程示意图。
【具体实施方式】
[0047]下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
[0048]实施例1:
[0049]如图1所示，本发明包括以下步骤:
[0050]S1.建立索引表、空间地图；
[0051]S2.从公安内部数据库中，分别将与索引表字段相同的元素导入到索引表中该字段下；
[0052]S21.周期性对数据进行备份；
[0053]S3.通过S0LR索引集群，根据查询条件进行检索:
[0054]S31.对查询条件进行分词，以确定查询条件的数据形态；
[0055]S311.建立词库，作为对查询条件进行分词的依据；
[0056]S312.对查询条件按词进行拆分；
[0057]S313.将拆分后的词与词库中的词进行匹配，能够匹配的为分词结果，不能匹配的则舍弃；
[0058]S32.若查询条件为点形态的数据，则包括以下步骤:
[0059]S321.在空间地图上找到查询条件指向的坐标，并确定检索范围；
[0060]S322.以坐标为圆心，以检索范围为半径画圆，并对圆形范围内的摄像头进行遍历；
[0061]S323.获取落在圆形范围内的摄像头的经度、玮度信息；
[0062]S33.若查询条件为线和/或面形态的数据，则包括以下步骤:
[0063]S331.在空间地图上找到查询条件指向的位置范围，并确定检索范围；
[0064]S332.分别以位置范围内每一个坐标点为圆心，以检索范围为半径画圆，并对圆形范围内的摄像头进行遍历；
[0065]S333.若坐标点落在摄像头的范围内，则选择该摄像头；
[0066]S334.删除与已选择的摄像头重复的摄像头，获取摄