一种数字渔业异构数据存储方法、系统及装置与流程

本发明涉及数据处理技术领域，尤其涉及一种数字渔业异构数据存储方法、系统及装置。

背景技术：

现在，数字渔业中常见的资源包含数值型数据、图像、动态信息等，其包括有大量的结构化数据、半结构化数据和非结构化数据，在针对某一个结构的数据，例如，结构化数据，在渔业数据的数据库中进行搜索时，需要在该存储量较大的数据库中依次遍历每一个数据直到搜索到搜索目标，导致搜索效率较低。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种能提高搜索效率的数字渔业异构数据存储方法、系统及装置。

本发明所采取的技术方案是：

一种数字渔业异构数据存储方法，包括以下步骤：

实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；

对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；

根据数字渔业数据，对数字渔业数据进行存储并建立索引表。

作为所述的一种数字渔业异构数据存储方法的进一步改进，所述的对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据，这一步骤具体包括：

对渔业异构数据进行去重复处理；

将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。

作为所述的一种数字渔业异构数据存储方法的进一步改进，所述的根据数字渔业数据，对数字渔业数据进行存储并建立索引表，这一步骤具体包括：

根据数字渔业数据，将数字渔业数据存储至数据库中；

对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；

根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；

根据排序表，逐级建立索引得到索引表；

根据索引表，建立索引表与数字渔业数据的映射关系。

作为所述的一种数字渔业异构数据存储方法的进一步改进，还包括有以下步骤：

接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。

本发明所采用的另一个技术方案是：

一种数字渔业异构数据存储系统，包括：

数据采集单元，用于实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；

预处理单元，用于对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；

索引建立单元，用于根据数字渔业数据，对数字渔业数据进行存储并建立索引表。

作为所述的一种数字渔业异构数据存储系统的进一步改进，所述的预处理单元具体包括：

去重单元，用于对渔业异构数据进行去重复处理；

清洗单元，用于将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。

作为所述的一种数字渔业异构数据存储系统的进一步改进，所述的索引建立单元具体包括：

存储单元，用于根据数字渔业数据，将数字渔业数据存储至数据库中；

提取单元，用于对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；

排序单元，用于根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；

索引表生成单元，用于根据排序表，逐级建立索引得到索引表；

映射建立单元，用于根据索引表，建立索引表与数字渔业数据的映射关系。

作为所述的一种数字渔业异构数据存储系统的进一步改进，还包括：

搜索单元，用于接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。

本发明所采用的再一个技术方案是：

一种数字渔业异构数据存储装置，包括：

存储器，用于存放程序；

处理器，用于执行所述程序，所述程序使得所述处理器执行所述的数字渔业异构数据存储方法。

本发明的有益效果是：

本发明一种数字渔业异构数据存储方法、系统及装置通过将渔业数据进行处理后，进行存储并建立索引，从而使得在搜索时能根据索引表进行快速搜索，大大提高搜索的速度和效率。

附图说明

图1是本发明一种数字渔业异构数据存储方法的步骤流程图；

图2是本发明一种数字渔业异构数据存储系统的模块方框图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

参考图1，本发明一种数字渔业异构数据存储方法，包括以下步骤：

实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；

对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；

根据数字渔业数据，对数字渔业数据进行存储并建立索引表。

进一步作为优选的实施方式，所述的对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据，这一步骤具体包括：

对渔业异构数据进行去重复处理；

将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。

进一步作为优选的实施方式，所述的根据数字渔业数据，对数字渔业数据进行存储并建立索引表，这一步骤具体包括：

根据数字渔业数据，将数字渔业数据存储至数据库中；

对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；

根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；本实施例中，关键词按照其对应的计数值从小到大进行排序，从而得到排序表；

根据排序表，逐级建立索引得到索引表；

根据索引表，建立索引表与数字渔业数据的映射关系。

进一步作为优选的实施方式，还包括有以下步骤：

接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。

本发明具体实施例中，数据库具体包括有mysql、nosql、文件数据库、redis内存数据库等，关系型数据库的优势在于保持数据的一致性，由于以数据标准化为前提，数据更新的系统开销很小，同时可以方便的进行join等复杂查询。针对现有数据，绝大多数的结构化数据都可以保存在该类数据库中，从而实现复杂条件下的检索操作。同时，关系型数据库担任保存整个系统元数据架构与基本数据的任务，是其他结构数据库存储及导入导出的基础。

nosql泛指非关系型的数据库，优势在于性能，由于nosql是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过sql层的解析，所以性能非常高。另外可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。可以最大程度的解决关系型数据库所不擅长的大量数据的写入处理和为有数据更新的表做索引或表结构变更等问题。用nosql可以方便的保存系统中的非结构化数据，并根据实际需求随时调整结构。

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。由于系统中数据资源过于庞大，为提高其使用访问效率，利用hdfs的一次写入、多次读写的特性。数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，从而响应各种各样的数据分析任务请求。

以redis为代表的内存数据库，是基于全部数据都存在内存中的技术体系，抛弃了磁盘数据管理的方式，它在采用半持久化模式运行时所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上。通过这种方式，内存数据库在保证读写速度远超过传统数据库的基础上，又可对其数据进行分布式存储且具有可恢复性。

针对以上需求内容，本实施例中结合各种软件的特性：(1)mysql满足关系型数据库需求；(2)nosql满足对数据结构要求灵活需求；(3)hdfs满足文档类型数据存储需求；(4)redis内存型数据库，满足高速存取需求。

本发明提供统一数据存储环境，为后续数据统一元数据管理、数据统一权限管理、数据统一搜索等建设提供了充分必要条件。统一数据存储提供大容量数据存储环境，满足数据存储的大量、高速、多样的需求。在这个基础上，还需要有统一元数据对存储的数据结构进行定义，统一数据访问安全控制对数据访问者进行权限控制，用数据统一搜索打通各种类型数据，为后续数据挖掘分析提供数据高速访问接口。

参考图2，本发明一种数字渔业异构数据存储系统，包括：

数据采集单元，用于实时检测采集各种渔业数据、养殖水体数据和环境数据，得到渔业异构数据；

预处理单元，用于对得到的渔业异构数据进行预处理，得到处理后的数字渔业数据；

索引建立单元，用于根据数字渔业数据，对数字渔业数据进行存储并建立索引表。

进一步作为优选的实施方式，所述的预处理单元具体包括：

去重单元，用于对渔业异构数据进行去重复处理；

清洗单元，用于将去重复处理后得到的渔业异构数据进行数据清洗，将超出预设范围的错误数据进行删除处理，得到处理后的数字渔业数据。

进一步作为优选的实施方式，所述的索引建立单元具体包括：

存储单元，用于根据数字渔业数据，将数字渔业数据存储至数据库中；

提取单元，用于对数字渔业数据进行关键词的提取，并查询各关键词在数字渔业数据中的计数值；

排序单元，用于根据各关键词对应的计数值，将关键词按照预设的规则进行排序，得到排序表；

索引表生成单元，用于根据排序表，逐级建立索引得到索引表；

映射建立单元，用于根据索引表，建立索引表与数字渔业数据的映射关系。

进一步作为优选的实施方式，还包括：

搜索单元，用于接收用户端发送过来的搜索请求，根据搜索请求中的搜索关键词，搜索得出数据库中对应的数字渔业数据并返回给用户端。

本发明一种数字渔业异构数据存储装置，包括：

存储器，用于存放程序；

处理器，用于执行所述程序，所述程序使得所述处理器执行所述的数字渔业异构数据存储方法。

从上述内容可知，本发明通过将渔业数据进行处理后，进行存储并建立索引，从而使得在搜索时能根据索引表进行快速搜索，大大提高搜索的速度和效率。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。