一种互联网大数据分析提取方法及系统与流程

本发明涉及数据提取技术领域，具体为一种互联网大数据分析提取方法及系统。

背景技术：

自古以来人们就深知信息的重要性，拥有更多和更精准的信息就能获得优势，随着社会的不断进步，信息越来越多样化，且数量也是成倍的增长，大数据的概念也随之提出，从庞杂的数据中，提取所需的数据进行分析，得到直观的信息，以此来占据先机，获取利益。

大数据,或称巨量数据、海量数据;是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。有研究机构如此定义“大数据”:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。现有技术中互联网大数据分析和提取一般通过互联网数据平台自动进行提取和分析，其虽然能够实现对互联网大数据的提取并分析，但是互联网数据平台功能单一，导致提取效率低，而且安全性能差，容易造成数据泄露，因此，有必要进行改进。

技术实现要素：

本发明的目的在于提供一种互联网大数据分析提取方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种互联网大数据分析提取方法，分析提取方法包括以下步骤：

a、数据采集单元采集互联网大数据；

b、采集的数据经过数据筛选模块进行筛选后发送至控制单元进行处理；

c、控制单元向数据特征提取模块发送指令，对筛选后的数据根据预先设置的关键字进行特征提取；

d、特征提取后的数据通过数据加密单元进行加密后存储；

e、最后提取后的互联网数据通过数据传输单元传输至后台终端。

优选的，所述步骤b中数据筛选模块方法如下：

a、从待筛选数据中提取多个噪声数据作为样本数据；

b、对各所述样本数据进行变换处理，得到各所述样本数据的变换数据；

c、通过预先训练好的数据分类模型，对各所述样本数据及各所述变换数据进行标签预测，确定各样本数据的目标标签和目标标签概率；

d、根据各样本数据的目标标签及目标标签概率，对各样本数据进行筛选，获得目标数据。

优选的，所述步骤d中数据加密方法如下：

a、首先对待加密的数据进行清洗操作；

b、之后对清洗后的数据进行aes加密算法运算，得到加密后的一次密文数据；

c、之后对一次密文数据再次进行超混沌加密运算，得到二次密文数据；

d、最后对二次密文数据进行进行des加密运算，完成对数据的最终加密。

优选的，所述数据特征提取模块特征提取方法如下：

a、建立数据集，其中数据集中包含待特征提取的多个子数据集；

b、对数据集进行特征训练，得到训练模型；

c、提取数据集中的第一关键字和第二关键字；

d、循环搜索数据集中各子数据集，以第一关键字和第二关键字为初始条件，对子数据集进行搜索；

e、各子数据集中搜索匹配到第一关键字或第二关键字，则对数据进行提取。

优选的，一种互联网大数据分析提取系统，包括控制单元、数据采集单元、数据筛选单元、数据特征提取单元、数据加密存储单元和数据输出单元，所述数据采集单元通过数据筛选单元连接控制单元，所述控制单元分别连接数据特征提取单元、数据加密存储单元和数据输出单元；其中，所述数据采集单元用于采集互联网大数据；所述数据筛选单元用于对互联网大数据进行筛选，去除干扰信息；所述数据特征提取单元用于对筛选后的数据进行特征提取；所述数据加密存储单元用于对特征提取后的互联网大数据进行加密存储。

与现有技术相比，本发明的有益效果是：

（1）本发明采用的方法操作简单，安全性能高，另外，通过对数据进行筛选，筛选后进行特征提取，能够提高互联网大数据的分析提取效率和准确度，而且降低了人工成本，提高了工作效率，此外，能够实现对收进行加密后存储，确保了数据安全性。

（2）本发明采用的数据筛选模块可依据计算机程序自动进行数据筛选，操作便捷且耗时短，既能够节省人力资源，又能够提升数据筛选效率，进一步提高了数据的提取效率。

（3）本发明采用的数据加密方法能够对数据传输进行多重加密，提高了数据的安全性和保密性。

（4）本发明采用的数据特征提取方法中通过搜索第一关键字和第二关键字，能够降低提取难度，提高了特征提取精度。

附图说明

图1为本发明流程图；

图2为本发明加密方法流程图；

图3为本发明装置原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：本发明提供如下技术方案：一种互联网大数据分析提取方法，分析提取方法包括以下步骤：

a、数据采集单元采集互联网大数据；

b、采集的数据经过数据筛选模块进行筛选后发送至控制单元进行处理；

c、控制单元向数据特征提取模块发送指令，对筛选后的数据根据预先设置的关键字进行特征提取；

d、特征提取后的数据通过数据加密单元进行加密后存储；

e、最后提取后的互联网数据通过数据传输单元传输至后台终端。

本发明在分析提取过程中需要用到对数据的筛选、特征提取和加密操作，本发明的数据筛选模块可依据计算机程序自动进行数据筛选，操作便捷且耗时短，既能够节省人力资源，又能够提升数据筛选效率；特征提取方法中通过搜索第一关键字和第二关键字，能够降低提取难度，提高了特征提取精度；数据加密方法能够对数据传输进行多重加密，提高了数据的安全性和保密性，通过以上三个步骤的处理，能够加快数据的分析提取效率，而且能够确保数据的安全性。

本发明中，步骤b中数据筛选模块方法如下：

a、从待筛选数据中提取多个噪声数据作为样本数据；

b、对各所述样本数据进行变换处理，得到各所述样本数据的变换数据；

c、通过预先训练好的数据分类模型，对各所述样本数据及各所述变换数据进行标签预测，确定各样本数据的目标标签和目标标签概率；

d、根据各样本数据的目标标签及目标标签概率，对各样本数据进行筛选，获得目标数据。

本发明采用的数据筛选模块可依据计算机程序自动进行数据筛选，操作便捷且耗时短，既能够节省人力资源，又能够提升数据筛选效率。

本发明中，步骤d中数据加密方法如下：

a、首先对待加密的数据进行清洗操作；

b、之后对清洗后的数据进行aes加密算法运算，得到加密后的一次密文数据；

c、之后对一次密文数据再次进行超混沌加密运算，得到二次密文数据；

d、最后对二次密文数据进行进行des加密运算，完成对数据的最终加密。

本发明采用的数据加密方法能够对数据传输进行多重加密，提高了数据的安全性和保密性。

本发明中，数据特征提取模块特征提取方法如下：

a、建立数据集，其中数据集中包含待特征提取的多个子数据集；

b、对数据集进行特征训练，得到训练模型；

c、提取数据集中的第一关键字和第二关键字；

d、循环搜索数据集中各子数据集，以第一关键字和第二关键字为初始条件，对子数据集进行搜索；

e、各子数据集中搜索匹配到第一关键字或第二关键字，则对数据进行提取。

本发明采用的数据特征提取方法中通过搜索第一关键字和第二关键字，能够降低提取难度，提高了特征提取精度。

此外，本发明还公开了一种互联网大数据分析提取系统，包括控制单元1、数据采集单元2、数据筛选单元3、数据特征提取单元4、数据加密存储单元5和数据输出单元6，所述数据采集单元2通过数据筛选单元3连接控制单元1，所述控制单元1分别连接数据特征提取单元4、数据加密存储单元5和数据输出单元6；其中，所述数据采集单元2用于采集互联网大数据；所述数据筛选单元3用于对互联网大数据进行筛选，去除干扰信息；所述数据特征提取单元4用于对筛选后的数据进行特征提取；所述数据加密存储单元5用于对特征提取后的互联网大数据进行加密存储。

综上所述，本发明采用的方法操作简单，安全性能高，另外，通过对数据进行筛选，筛选后进行特征提取，能够提高互联网大数据的分析提取效率和准确度，而且降低了人工成本，提高了工作效率，此外，能够实现对收进行加密后存储，确保了数据安全性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。