一种大数据预分析的方法及装置与流程

文档序号:21986094发布日期:2020-08-25 19:23阅读:来源:国知局

技术特征:

1.一种大数据预分析的方法,其特征在于,所述方法包括:

步骤一:数据获取模块获取样本数据,根据预设的数据结构将所述样本数据建立样本数据集并存储至服务器主体(1)中;

步骤二:数据识别模块对所述样本数据集进行异常值识别并处理,生成过滤数据集;

步骤三:数据聚类模块对所述过滤数据集进行聚类,得到标准数据集;

步骤四:数据训练模块将所述标准数据集进行训练分析,得到所述标准数据集的数据分析模型;

步骤五:数据分析模块获取待分析数据,将所述待分析数据通过所述数据分析模型进行分析,得到分析结果,通过所述服务器主体(1)将所述结果转发给用户的显示设备。

2.根据权利要求1所述的一种大数据预分析的方法,其特征在于,所述对所述样本数据集进行异常值识别并处理,生成过滤数据集的具体步骤包括:

步骤一:利用公式对所述样本数据集进行均值计算,得到所述样本数据集的样本平均值;其中n表示所述样本数据集中的样本数据值,μ表示所述样本数据集的样本平均值;

步骤二:利用公式对所述样本数据集进行样本标准差计算,得到所述样本数据集的样本标准差,其中,i表示所述样本数据集中的样本数据值,i的取值范围为[1,n],s表示所述样本数据集的样本标准差;

步骤三:利用公式对所述样本数据集进行检验统计量计算,得到所述样本数据集的检验统计量;其中,gn表示所述样本数据集的检验统计量;

步骤四:根据所述检验统计量确定检验水平,通过公式b1=g1-α(k)计算得到检验临界值;其中,α表示预设检验水平系数,k表示所述检验水平系数对应的检验值;

步骤五:通过所述检验临界值对所述样本数据集的检验统计量进行判断,当gn>b1时,则判断xn为异常值;否则判断无异常值;

步骤六:利用公式b2=g1-α'(n)计算得到所述异常值的删除水平值;其中,α'(n)表示异常值的删除系数,当gn>b2时,则判断xn为高度异常值;否则判断xn为低度异常值;

步骤七:对所述高度异常值进行删除,将所述低度异常值进行均值计算,得到低度均值,将所述低度均值替换所述低度异常值,并存储至所述样本数据集。

3.根据权利要求1所述的一种大数据预分析的方法,其特征在于,所述对所述过滤数据集进行聚类,得到标准数据集的具体计算步骤如下:

步骤一:随机选择所述过滤数据集中k个样本作为k个中心点;

步骤二:利用公式c=min||xi-uk||2计算所述过滤数据集中的样本数据与k个所述中心的距离最小值;其中,xi表示所述过滤数据集中的样本数据,uk表示第k个中心点;

步骤三:根据所述样本数据与k个所述中心点的距离最小值,将所述样本数据归类至所述中心点,通过对所述过滤数据集中的样本数据进行迭代,直至所述过滤数据集中的所有所述样本数据均归类至k个所述中心点;

步骤四:获取k个所述中心点中所述样本数据的对象属性,将所述对象属性进行整合,并将整合后的所述对象属性作为指标组合样本类的属性,并在所述指标组合样本类的属性中添加设置方法和获取方法,得到k个指标组合样本类;

步骤五:将k个所述指标组合样本类中的数据进行归一化处理,得到划分为不同的指标组合的标准数据集。

4.根据权利要求1所述的一种大数据预分析的方法,其特征在于,所述将所述标准数据集进行训练分析,得到所述标准数据集的数据分析模型的具体步骤如下:

s1:利用线性回归函数对所述标准数据集进行拟合计算,得到拟合数据集;其中,z表示所述标准数据集中的数据,g(z)的值范围为区间[0,1];

s2:将所述拟合数据集映射至所述线性回归函数,生成分析函数;

s3:对所述分析函数进行对数推导,得到似然函数;

s4:利用预设定的特征条件,获取所述标准数据集中的数据特征和拟合数据集中的数据特征;

s5:将所述标准数据集中的数据特征和所述拟合数据集中的数据特征进行对比判断;

s6:若所述标准数据集中的数据特征和所述拟合数据集中的数据特征之间的差异大于或等于预设的阈值,则调整所述线性回归函数中预设定的参数后,对所述标准数据集继续进行拟合计算;

s7:若所述标准数据集中的数据特征和所述拟合数据集中的数据特征之间的差异小于预设的阈值,将所述似然函数和所述线性回归函数进行组合,得到训练分析完成的数据分析模型。

5.一种大数据预分析的装置,其特征在于,包括数据获取模块、数据识别模块、数据聚类模块、数据训练模块、数据分析模块和服务器主体(1),所述数据获取模块用户获取海量的样本数据,所述数据识别模块用于对所述过滤数据集进行聚类,所述数据训练模块将所述标准数据集进行训练分析,所述数据分析模块对待分析数据进行分析输出分析结果,所述服务器主体(1)的内部固定安装有腔体(2),所述腔体(2)的内表面固定安装有第一固定柱(3)和第二固定柱(4),所述第一固定柱(3)位于第二固定柱(4)的一侧,所述第一固定柱(3)和第二固定柱(4)之间设置有若干个连接块(5),所述腔体(2)的内部设置有若干个防护块(6),所述防护块(6)的内表面固定连接有插块(7),所述插块(7)的内部设置有若干个插口(8),若干个所述插口(8)呈等间距排列,所述防护块(6)的内部固定安装有防护板(9),所述防护板(9)与防护块(6)之间设置有卡槽(12),所述防护块(6)的内表面固定安装有第一凸块(10),所述防护板(9)的外表面固定安装有第二凸块(11),所述防护板(9)的内部固定安装有卡块(13),所述卡块(13)的内部设置有若干个隔离块(14),所述卡块(13)的内表面活动连接有转柱(16),所述转柱(16)的外表面活动连接有隔离板(15)。


技术总结
本发明公开了一种大数据预分析的方法及装置,通过数据获取模块获取样本数据,根据预设的数据结构将所述样本数据建立样本数据集并存储至服务器主体中;数据识别模块对所述样本数据集进行异常值识别并处理,生成过滤数据集;数据聚类模块对所述过滤数据集进行聚类,得到标准数据集;数据训练模块将所述标准数据集进行训练分析,得到所述标准数据集的数据分析模型;数据分析模块获取待分析数据,将所述待分析数据通过所述数据分析模型进行分析,得到分析结果,通过所述服务器主体将所述结果转发给用户的显示设备;本发明通过获取海量的样本数据进行训练分析,有利于提高样本数据集的训练分析,提高数据分析模型中数据关系的平稳性。

技术研发人员:罗浩;童恩;杨璇;吕明;吕旭红;吴刚;李铮;金韡;周枫;高远;韩喜清;陈筱丰
受保护的技术使用者:江苏移动信息系统集成有限公司
技术研发日:2020.05.11
技术公布日:2020.08.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1