一种大数据的引接、汇集、治理、存储方法与系统与流程

1.本发明涉及大数据处理技术领域，尤其涉及一种大数据的引接、汇集、治理、存储方法与系统。


背景技术：

2.近年来，一伴随着互联网二物联网、云计算、一三网融合等it与通信技术的快速发展，数据的迅速增长给许多行业带来了严峻的挑战和宝贵的机遇，所以说信息社会已然迈进了大数据(bigdata)时代。大数据的出现给人类的工作模式、生活方式以及科研方式都带来了根本性的变化。大数据包含着巨大的价值，不仅在社会、经济、科学研究等不同领域都具备不可忽视的重大作用和意义，而且己深入到了人们的生活中，为人们更加透彻地认知、了解物质世界提供了充足的讯息。在此背景下大数据及其相关领域的研究己成为学术界、政府机构、行业密切关注的重点问题。大数据的产生给it产业带来了颠覆性的变革，而且必将对现代企业包括内部后勤、生产作业、外部后勤、市场和销售、服务、采购、技术开发、人力资源管理和企业基础设旋建设等的商务运作全过程、全领域以及消费者行为模式等产生巨大影响，使得企业商务管理决策越来越依赖于以数据挖掘为代表的数据分析而非经验或直觉，然而，现缺少一种大数据的引接、汇集、治理、存储的方法，使得大数据处理中存在局限性。


技术实现要素：

3.基于背景技术存在的技术问题，本发明提出了一种大数据的引接、汇集、治理、存储方法与系统。
4.本发明提出的一种大数据的引接、汇集、治理、存储系统，包括数据引接模块、数据汇集模块、数据治理模块和数据存储模块，所述数据引接模块、数据汇集模块、数据治理模块和数据存储模块依次连接，所述数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，所述数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，所述数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，所述数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接。
5.优选的，所述数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中。
6.优选的，所述数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中。
7.优选的，所述数据请求单元接收大数据信息处理的请求，数据请求单元将请求数
据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据存储模块中进行存储。
8.优选的，所述数据加密单元对有用数据信息进行加密处理，加密后的数据信息传输至存储器单元中进行存储。
9.一种大数据的引接、汇集、治理、存储方法，包括如下步骤：
10.s1数据引接：数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中；
11.s2数据汇集：数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中；
12.s3数据治理：数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，数据请求单元接收大数据信息处理的请求，数据请求单元将请求数据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据存储模块中进行存储；
13.s4数据存储：数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接，数据加密单元对有用数据信息进行加密处理，加密后的数据信息传输至存储器单元中进行存储。
14.本发明中，所述一种大数据的引接、汇集、治理、存储方法与系统，能够便于对大数据进行整合处理，有效的提高大数据的处理效率，提高大数据处理结果的准确性，同时，能够保证大数据的安全性。
附图说明
15.图1为本发明提出的一种大数据的引接、汇集、治理、存储系统的流程示意图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
17.参照图1，一种大数据的引接、汇集、治理、存储系统，包括数据引接模块、数据汇集模块、数据治理模块和数据存储模块，所述数据引接模块、数据汇集模块、数据治理模块和数据存储模块依次连接，所述数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，所述数据汇集模块包括数据接收单元、数据转换单元和数
据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，所述数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，所述数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接。
18.本发明中，所述数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中。
19.本发明中，所述数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中。
20.本发明中，所述数据请求单元接收大数据信息处理的请求，数据请求单元将请求数据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据存储模块中进行存储。
21.本发明中，所述数据加密单元对有用数据信息进行加密处理，加密后的数据信息传输至存储器单元中进行存储。
22.一种大数据的引接、汇集、治理、存储方法，包括如下步骤：
23.s1数据引接：数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中；
24.s2数据汇集：数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中；
25.s3数据治理：数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，数据请求单元接收大数据信息处理的请求，数据请求单元将请求数据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据存储模块中进行存储；
26.s4数据存储：数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接，数据加密单元对有用数据信息进行加密处理，加密后的数据信息传输至存储器单元中进行存储。
27.本发明：数据引接：数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中；数据
汇集：数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中，数据治理：数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，数据请求单元接收大数据信息处理的请求，数据请求单元将请求数据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据存储模块中进行存储，数据存储：数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接，数据加密单元对有用数据信息进行加密处理，加密后的数据信息传输至存储器单元中进行存储。
28.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。