一种教育资源大数据处理方法与流程

文档序号:11155264阅读:1070来源:国知局

本发明涉及到教育技术领域,特别是一种教育资源大数据处理方法。



背景技术:

近年来,互联网的发展越来越迅速,使用互联网的人也越来越普及,人们在使用互联网进行日常的活动的时候,例如网购,查看节目,信息,商品都会产生大量的数据,而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的,利用这些大数据的处理分析能得到非常宝贵的商业价值。

大数据广泛应用于互联网各项应用中,对网站的价值意义重大,通过海量数据分析和云计算的实现,可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送,针对海量数据的云计算,通过各种广告形式推送到网站浏览用户,例如应用在商会网;电子商务类网站大数据商品推送给在线购买者,通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息,例如应用在品得商城。

现有技术目前还没有一种用于教育资源大数据处理方法。



技术实现要素:

为解决上述技术问题,本发明提供了一种教育资源大数据处理方法,其包括以下步骤:

教育数据清洗:在各网络云服务器中根据教育关键词筛选出教育数据,对筛选出的教育数据进行清洗;

数据分类:根据各教育关键词对筛选出的教育数据进行分类,并分别单独存储在不同的数据存储器中;

数据格式统一:将所述存储在不同的数据存储器中的不同格式的数据转化为统一格式;

数据预处理:检查所述统一格式的数据,将含有噪声数据、冗余的数据剔除,对缺省数据进行补充,同时对数据通过二进制数据编码进行标识;

数据搜索:确定要发现的数据关键词、数据名称、存储日期、数据长度作为目标数据的特征值;

数据挖掘:根据目标数据的具体特征值采用挖掘算法对数据进行处理,将挖掘出的数据附加上标识后导出。

较佳地,所述数据格式统一的具体方法为:

根据不同格式的数据所占据的存储空间大小依次排序,将占据最大存储空间的格式数据作为目标格式,并将其他格式的数据统一转化为所述目标格式。

较佳地,所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。

较佳地,所述缺省数据的补充内容包括数据扩展名与系统存储路径。

较佳地,所述清洗的数据包括指源系统中的数据不在给定的范围内或对于实际业务毫无意义,数据格式非法,以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。

本发明具有以下有益效果:

本发明通过于教育有关的关键词搜索完成对网络云服务器中的数据筛选,并对数据进行相应的优化处理与格式转化使数据在搜索时的效率更高,本发明通过对网络云服务器中的大数据作为源数据,并经过筛选为互联网教育提供了很好的数据来源。

当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

具体实施方式

下面将结合本发明实施例对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

本发明实施例提供了一种教育资源大数据处理方法,其包括以下步骤:

教育数据清洗:在各网络云服务器中根据教育关键词筛选出教育数据,对筛选出的教育数据进行清洗;

数据分类:根据各教育关键词对筛选出的教育数据进行分类,并分别单独存储在不同的数据存储器中;

数据格式统一:将所述存储在不同的数据存储器中的不同格式的数据转化为统一格式;

数据预处理:检查所述统一格式的数据,将含有噪声数据、冗余的数据剔除,对缺省数据进行补充,同时对数据通过二进制数据编码进行标识;

数据搜索:确定要发现的数据关键词、数据名称、存储日期、数据长度作为目标数据的特征值;

数据挖掘:根据目标数据的具体特征值采用挖掘算法对数据进行处理,将挖掘出的数据附加上标识后导出。

较佳地,所述数据格式统一的具体方法为:

根据不同格式的数据所占据的存储空间大小依次排序,将占据最大存储空间的格式数据作为目标格式,并将其他格式的数据统一转化为所述目标格式。

其中所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。

本实施例中所述缺省数据的补充内容包括数据扩展名与系统存储路径。

所述清洗的数据包括指源系统中的数据不在给定的范围内或对于实际业务毫无意义,数据格式非法,以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。

本发明通过于教育有关的关键词搜索完成对网络云服务器中的数据筛选,并对数据进行相应的优化处理与格式转化使数据在搜索时的效率更高,本发明通过对网络云服务器中的大数据作为源数据,并经过筛选为互联网教育提供了很好的数据来源。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1