一种新的大数据分析算法的制作方法

文档序号:12612251阅读:451来源:国知局

本发明网络技术领域,具体涉及一种新的大数据分析算法。



背景技术:

随着科技进步和社会经济水平的发展,人们生活进入数据化时代,人际交往可以经各种数据化信息表达,生活和工作的方方面面也可以实现数据化。为了切实提高用户使用体验,对于这些用户数据的存储、处理和分析显而成为关键。此类数据量极大,且数据完整度低、模糊、随机、含有多种无效信息(例如噪声),如何快速有效的对数据进行处理分析成为目前业内研究的热点。

神经网络是通过网络中各连接权值的改变,实现对信息的处理和存储,在神经网络模型中,每个神经元既是信息存储单元,也是信息的处理单元,能够实现信息存储和处理的合二为一,由这些神经元构成的网络模型在每个神经元的共同作用下,完成对输入模式的识别与记忆,具有大规模并行处理的能力。。



技术实现要素:

为解决上述问题,本发明提供了一种新的大数据分析算法,能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点。

为实现上述目的,本发明采取的技术方案为:

一种新的大数据分析算法,包括如下步骤:

S1、从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;

S2、从步骤S1所获取的数据库中抽取数据组成训练集;

S3、用步骤S2所得的训练集训练哈希函数;

S4、对数据库中还没得到二进制代码的实例进行二进制编码;

S5、去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;

S6、消除数据中的不一致对象和冗余对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗余对象为条件属性相同而决策属性也相同的对象

S7、确定神经元网络模型;

S8、训练神经元网络模型,并通过运行算法实现数据分析处理;

S9、对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配,并对分配权值后数据进行融合后显示输出结果。

本发明具有以下有益效果:

能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点。

具体实施方式

为了使本发明的目的及优点更加清楚明白,以下结合实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明实施例提供了一种新的大数据分析算法,包括如下步骤:

S1、从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;

S2、从步骤S1所获取的数据库中抽取数据组成训练集;

S3、用步骤S2所得的训练集训练哈希函数;

S4、对数据库中还没得到二进制代码的实例进行二进制编码;

S5、去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;

S6、消除数据中的不一致对象和冗余对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗余对象为条件属性相同而决策属性也相同的对象

S7、确定神经元网络模型;

S8、训练神经元网络模型,并通过运行算法实现数据分析处理;

S9、对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配, 并对分配权值后数据进行融合后显示输出结果。

本具体实施能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1