一种基于位置服务信息的海量数据处理与存储装置及其方法
【专利摘要】本发明公开了一种基于位置服务信息的海量数据处理与存储装置及其方法，它包括数据输入引擎、分割引擎、资源映射/汇聚引擎和数据操作引擎；所述的分割引擎对数据输入引擎输入的节点原信息执行数据结构映射，生成各个分散数据信息；所述的资源映射/汇聚引擎建立动态数据链表，按照动态数据链表对分割数据调用可用资源，将分散数据信息分发到相应的硬件资源即多个数据节点，同时维护该动态数据链表；所述的数据操作引擎对各数据节点上的分发的分散数据信息进行常规数据库操作，同时动态返回数据库文件信息，为资源映射/汇聚信息提供动态数据链表更新信息。本发明能显著提升数据的处理速度，并能根据需求灵活的扩展海量数据文件的存储容量。
【专利说明】一种基于位置服务信息的海量数据处理与存储装置及其方法
【技术领域】
[0001]本发明涉及一种基于位置服务信息的海量数据处理与存储装置及其方法。
【背景技术】
[0002]伴随着Internet的发展，越来越多的信息被数据化，尤其是基于位置信息的地图数据类业务服务开展以来，以谷歌、百度、腾讯、高德等地图服务商提供的LBS信息查询为代表，基于空间地理信息系统的信息数据呈爆炸式增长。一张区域地图上可以存储各类餐饮、酒店、交通、物流、等等能够触及的地理位置相关信息数据。这样，一方面对数据的存储量的需求越来越大，另一方面对数据的高效管理提出了更高的要求。首先是存储容量的急剧膨胀，数据从GB、TB到PB量级海量急速增长，对于存储服务器空间可扩展性提出了更大的需求；其次是数据的多样化、地理上的分散性等都对数据的访问、索引及编辑都提出了更高的要求。
【发明内容】
[0003]本发明的目的在于克服现有技术的不足，提供一种显著提升数据的处理速度的基于位置服务信息的海量数据处理与存储装置及其方法，能根据需求灵活的扩展海量数据文件的存储容量。
[0004]本发明的目的是通过以下技术方案来实现的:一种基于位置服务信息的海量数据处理与存储方法，它包括以下步骤:
S1:输入元信息节点；
52:结构分割:基于地理位置信息，按照属性类别对数据元信息进行划分，执行数据结构映射，生成各个分散数据信息；
53:资源映射/汇聚:按照已建立的动态数据链表对分割数据调用可用资源，将分散数据信息分发到相应的硬件资源即多个数据节点，同时维护该动态数据链表；
54:在各数据节点上对分发的分散数据信息进行常规数据库操作，同时动态返回数据库文件信息，为步骤S3的信息提供动态数据链表更新信息。
[0005]所述的常规数据库操作包括数据库添加、删除和修改。
[0006]步骤S2中所述的各个分散数据信息由多个短结构形式的表组成。
[0007]步骤S3中所述的硬件资源为可拓展性的硬件资源。
[0008]一种基于位置服务信息的海量数据处理与存储装置，它包括数据输入引擎、分割引擎、资源映射/汇聚引擎和数据操作引擎；所述的分割引擎对数据输入引擎输入的节点原信息执行数据结构映射，生成各个分散数据信息；所述的资源映射/汇聚引擎建立动态数据链表，按照动态数据链表对分割数据调用可用资源，将分散数据信息分发到相应的硬件资源即多个数据节点，同时维护该动态数据链表；所述的数据操作引擎对各数据节点上的分发的分散数据信息进行常规数据库操作，同时动态返回数据库文件信息，为资源映射/汇聚信息提供动态数据链表更新信息。
[0009]所述的分散数据信息为短结构形式的表。
[0010]所述的硬件资源为可拓展性的硬件资源。
[0011]本发明的有益效果是:(1)通过该方法可以并行快速的存储基于位置服务的数据，并能根据数据文件大小与访问速度优化存储的数据分组；(2)本发明具有良好的扩展性，只需要新增物理资源，即可动态的叠加数据库的容量和计算规模；(3)本发明能够动态灵活的调用可用物理存储与计算资源，特别适用于对于基于地理位置服务的大规模多属性的空间数据的灵活高效存储需求。
【专利附图】
【附图说明】
[0012]图1为本发明方法流程图；
图2为本发明结构示意图。
【具体实施方式】
[0013]下面结合附图进一步详细描述本发明的技术方案:
实施例1:如图1所示，一种基于位置服务信息的海量数据处理与存储方法，它包括以下步骤:
第一步:输入元信息节点，设原信息节点k如下式表示:
输入原信息节点k={[索引经度纬度所在省所在市所在区街道名地址名商业属性][索引值][经度值][纬度值][所在省值][所在市值][所在区值][街道名值][地址名值][商业属性值]}。
[0014]第二步:结构分割:基于地理位置信息，按照属性类别对数据元信息进行划分，执行数据结构映射，生成各个分散数据信息；
k_>sl={[索引][索引值]}，s2={[经度纬度][经度值纬度值]}，s3={[所在省所在市所在区][所在省值所在市值所在区值]}，s4={[街道名地址名][街道名值地址名值]}，s5={[商业属性][商业属性值]}。
[0015]第三步:资源映射/汇聚:按照已建立的动态数据链表对分割数据调用可用资源，将分散数据信息分发到相应的硬件资源即多个数据节点，同时维护该动态数据链表；
将Si和s2分配到数据节点1，将s3分配到数据节点2，s4分配到数据节点3，s5分配到数据节点4。
[0016]S4:在各数据节点上对分发的分散数据信息进行常规数据库操作，同时动态返回数据库文件信息，为资源映射/汇聚即步骤S3的信息提供动态数据链表更新信息。
[0017]步骤S2中所述的各个分散数据信息由多个短结构形式的表组成。
[0018]步骤S3中所述的硬件资源为可拓展性的硬件资源。
[0019]实施例2:如图2所示，一种基于位置服务信息的海量数据处理与存储装置，它包括数据输入引擎、分割引擎、资源映射/汇聚引擎和数据操作引擎:
输入引擎输入的元信息结构:元信息={信息头=[索引属性I属性2属性3…属性n]，[索引值]，[属性I值]，[属性2值]，[属性3值]，[属性η值]}。
[0020]所述的分割引擎对数据输入引擎输入的节点原信息执行数据结构映射，生成各个分散数据信息；所述的分散数据信息为短结构形式的表:
表1={信息头=[索引属性1]，[索引值]，[属性I值]};
表2={信息头=[属性2]，[属性2值]}；
表3={信息头=[属性3，属性4，属性5]，[属性3值]，[属性4值]，[属性5值]}；
表m={信息头=[属性η]，[属性η值]}。
[0021]所述的资源映射/汇聚引擎建立动态数据链表，按照动态数据链表对分割数据调用可用资源，将分散数据信息分发到相应的硬件资源即多个数据节点，同时维护该动态数据链表:
将表I和表2分配到数据节点I,表3分配到数据节点3,表m分配到数据节点P。
[0022]所述的数据操作引擎对各数据节点上的分发的分散数据信息进行常规数据库操作，同时动态返回数据库文件信息，为资源映射/汇聚信息提供动态数据链表更新信息。
[0023]所述的硬件资源为可拓展性的硬件资源，即只需要新增物理资源，即可动态的叠加数据库的容量和计算规模。
【权利要求】
1.一种基于位置服务信息的海量数据处理与存储方法，其特征在于:它包括以下步骤: S1:输入元信息节点； 52:结构分割:基于地理位置信息，按照属性类别对数据元信息进行划分，执行数据结构映射，生成各个分散数据信息； 53:资源映射/汇聚:按照已建立的动态数据链表对分割数据调用可用资源，将分散数据信息分发到相应的硬件资源即多个数据节点，同时维护该动态数据链表； 54:在各数据节点上对分发的分散数据信息进行常规数据库操作，同时动态返回数据库文件信息，为步骤S3的分散数据信息提供动态数据链表更新信息。
2.根据权利要求1所述的一种基于位置服务信息的海量数据处理与存储方法，其特征在于:步骤S2中所述的分散数据信息由多个表组成。
3.根据权利要求1所述的一种基于位置服务信息的海量数据处理与存储方法，其特征在于:步骤S3中所述的硬件资源为可拓展性的硬件资源。
4.一种基于位置服务信息的海量数据处理与存储装置，其特征在于:它包括数据输入引擎、分割引擎、资源映射/汇聚引擎和数据操作引擎；所述的分割引擎对数据输入引擎输入的节点原信息执行数据结构映射，生成各个分散数据信息；所述的资源映射/汇聚引擎建立动态数据链表，按照动态数据链表对分割数据调用可用资源，将分散数据信息分发到相应的硬件资源即多个数据节点，同时维护该动态数据链表；所述的数据操作引擎对各数据节点上的分发的分散数据信息进行常规数据库操作，同时动态返回数据库文件信息，为资源映射/汇聚信息提供动态数据链表更新信息。
5.根据权利要求4所述的一种基于位置服务信息的海量数据处理与存储装置，其特征在于:所述的分散数据信息由多个表组成。
6.根据权利要求4所述的一种基于位置服务信息的海量数据处理与存储装置，其特征在于:所述的硬件资源为可拓展性的硬件资源。
【文档编号】G06F17/30GK104376079SQ201410651463
【公开日】2015年2月25日 申请日期:2014年11月17日 优先权日:2014年11月17日
【发明者】贺麟, 王玺, 王燚, 章小宁, 肖智宽 申请人:四川汇源吉迅数码科技有限公司