1.一种精确的注塑机选型方法,其特征在于,所述方法包括以下步骤:
将终端采集的用户的大量关于注塑机选型和购买行为和数据发送至服务器端;
将采集到的注塑机用户数据进行除噪、过滤;
将采集到的注塑机用户数据进行归一化处理;
对注塑机用户数据进行选型特征偏好提取;
在服务器端通过基于Spark大数据平台执行基于皮尔逊相关系数和最小二乘法的注塑机选型方法进行个性化的注塑机选型;
从服务器端返回注塑机选型结果至终端并显示。
2.根据权利要求1所述的一种精确的注塑机选型方法,其特征在于,所述的将采集到的注塑机用户数据进行除噪、过滤的具体过程包括:
以注塑机用户为键,对应用户关于注塑机选型系统和商城行为记录数为值,进行统计;
将注塑机用户提取出来,u的大小代表数据记录的用户个数,利用Spark Mllib的user.filter(line=>line.contains(a))函数方法将原始数据中的所有关于注塑机用户a的记录筛选出来,并构造关于用户a的键值对;
移除注塑机行为数据记录中的噪声数据,所述噪声数据包括用户的恶意刷单、失误操作。
3.根据权利要求1所述的一种精确的注塑机选型方法,其特征在于,所述的将采集到的注塑机用户数据进行归一化处理额具体过程包括:
采用Z-score标准化方法对不同注塑机选型行为和注塑机商城购买行为的数值取值进行归一化处理,具体方法为:
其中,u为所有样本数据的均值,σ为所有样本数据的标准差。
4.根据权利要求1所述的一种精确的注塑机选型方法,其特征在于,所述的对注塑机用户数据进行选型特征偏好提取的具体过程包括:
将原始数据中的所有关于用户a的注塑机行为记录筛选出来,并构造关于用户a的键值对;
将用户选型参数中选择、浏览、收藏、加购物车、与购买的基础评分分别设置为1、2、3、4、5;
对用户的关于注塑机行为基础评分分别在其基础上加上不同适当权值分数加成,最后得到所有与用户a相关注塑机商品的评价;
循环上述步骤流程,将其他剩余用户的内容提取出来。
5.根据权利要求1所述的一种精确的注塑机选型方法,其特征在于,所述的在服务器端通过基于Spark大数据平台执行基于皮尔逊相关系数和最小二乘法的注塑机选型方法进行个性化的注塑机选型的具体过程包括:
采用皮尔逊相关系数计算注塑机用户之间的相似度;
描述用户对注塑机选型需求问题;
采用交替最小二乘法预测用户的注塑机选型需求;
在Spark大数据平台实现基于采用交替最小二乘法预测用户的注塑机选型需求。
6.根据权利要求5所述的一种精确的注塑机选型方法,其特征在于,所述的采用皮尔逊相关系数计算注塑机用户之间的相似度的具体过程如下:
利用两个注塑机用户之间的协方差和标准差计算皮尔逊相关系数:
其中,Cov(Xuser1,Xuser2)代表两个注塑机用户之间的协方差,σXuser1和σXuser2分别代表两个注塑机用户的标准差;
若需要对样本的协方差和标准差进行估算,可得到样本相关系数,即样本皮尔逊系数:
其中:
是Xi样本的标准分数,是Yi样本的标准分数;
是Xi的样本平均数,是Yi的样本平均数;
σx是Xi的样本标准差,σy是Yi的样本标准差。
7.根据权利要求5所述的一种精确的注塑机选型方法,其特征在于,所述的描述用户对注塑机选型需求问题的具体过程如下:
用户u对商品i的兴趣偏好可以表示为:
其中Xu,k是用户u的兴趣和第k个隐类的关系,而Yi,k是第i个物品和第k个隐类直接的关系;
求解X和Y的过程可以转化为求损失函数最小的问题:
其中λ是正则化项的系数,式中右边两项的引入是为了防止过拟合。
8.根据权利要求5所述的一种精确的注塑机选型方法,其特征在于,所述的采用交替最小二乘法预测用户的注塑机选型需求的具体过程如下:
利用最小二乘法求解X,然后固定X,求解Y,如此交替往复直至收敛,即所谓交替最小二乘法;
先固定Y,将Y带入损失函数L(X,Y)并对Xu求偏导,令导数=0,得到:
Xu=(YTY+λI)-1YTru,
同理固定X,可得:
Yu=(XTX+λI)-1XTri,
迭代步骤,首先随机选取Y,利用固定Y的公式更新得到X,然后利用固定X的公式更新Y,直到均方根误差很小或达到迭代次数:
9.根据权利要求5所述的一种精确的注塑机选型方法,其特征在于,所述的在Spark大数据平台实现基于采用交替最小二乘法预测用户的注塑机选型需求具体过程如下:
定义参数rank:模型中隐语义因子的个数;
定义参数iterations:迭代的次数,所述参数iterations的取值范围为:10-20;
定义参数lambda:惩罚函数的因数,是ALS的正则化参数,所述参数lambda的取值范围为:0.005-0.02;
通过调整上述参数,从而优化注塑机商品的选型算法,使注塑机选型结果的均方差逐渐变小。
10.根据权利要求9所述的一种精确的注塑机选型方法,其特征在于,所述的在Spark大数据平台实现基于采用交替最小二乘法预测用户的注塑机选型需求在Spark MLlib中实现步骤如下:
使用ALS训练的注塑机行为数据通过函数方法ALS.train()建立注塑机选型模型;
通过model.predict()方法使用注塑机选型模型对用户对注塑机进行预测评分,得到预测评分的数据集;
使用ratings.map{case Rating(user,item,rate)}方法将真实注塑机评分数据集与注塑机预测评分数据集进行合并;
利用ratesAndPreds.map()计算均方差;
注塑机选型的结果可以以用户id为key,结果为value存入hbase中;
使用predictions.collect.sortB()对注塑机预测选型的结果按预测的评分排序;
对注塑机预测结果按用户进行分组,然后合并选型结果。