专利名称：一种即时推荐系统的制作方法
技术领域：
本发明涉及一种推荐系统，尤其涉及一种即时推荐系统，属于电子信息技术领域。
背景技术：
电商企业在运营中一味追求网站流量，但却招揽很少的顾客进行消费；如何提高转化率、客单价和顾客黏度，怎样充分利用站内、站外资源而获取更多的利润和市场份额；如何提高顾客重复购买的欲望；在日益激烈的竞争环境中，怎么利用自身的精细化运营为企业创造更多价值；如何转变传统的营销模式，减少运营成本；更有效的为顾客个性化服务，提闻用户体验和顾客黏度。现有推荐系统一般都是根据顾客的访问历史，结合导购的经验，确定顾客的喜好，帮助他们更快的找到想要的商品
对于新顾客，通过不断的引导，观察，协助其找到想要的商品；对于老顾客，我们要记住他们的喜好，再次光顾的时候，直接推荐他们感兴趣的。基于内容的推荐它不需要依据用户对项目的评价意见，而是依据用户已经选择的产品内容信息计算用户之间的相似性，进而进行相应的推荐。网站日志通过日志收集工具通步到mysql中，同时网站的会员消费历史数据、会员个人爱好偏好信息、商品库存信息也通过数据收集工具同步到mysql中。在mysql集群中对这些数据进行实时在线分析用户购买的商品信息特点和特征，把分析后的结果实时发送到推荐引荐，在网站前端的web端通过异步调用接口把推荐引擎的推荐结果展现在web页面上。用户在登陆网站后就可以看到推荐后的商品列表。然而，现有的推荐系统都要求内容能容易抽取成有意义的特征，要求特征内容有良好的结构性，并且用户的口味必须能够用内容特征形式来表达，不能显著地得到其它用户的判断情况。
发明内容
本发明针对现有的推荐系统需要所推荐的商品具有良好的结构性的不足，提供一种所要推荐的商品不需要有良好的结构性的即时推荐系统。本发明解决上述技术问题的技术方案如下一种即时推荐系统，包括数据收集模块、搜索关键字模块、推荐规则库模块、商品推荐库模块和后台管理模块；所述数据收集模块用于收集历史数据信息并发送至搜索关键字模块；所述搜索关键字模块接收数据收集模块传输的数据并根据推荐规则库模块内传输的数据进行搜索和计算，并将处理后的数据传输至商品推荐库模块；所述后台管理模块用于配置规则并发送指令至推荐规则库模块和商品推荐库模块控制推荐规则库模块和商品推荐库模块；所述推荐规则库模块用于存储后台管理模块发送的数据并将根据搜索关键字模块发送的指令发送数据至搜索关键字模块；
所述商品推荐库模块接收后台管理模块和搜索关键字模块发送的数据并发送到应用网站。本发明的有益效果是本发明可以根据顾客的访问历史，结合导购的经验，确定顾客的喜好，帮助他们更快的找到想要的商品；对于新顾客，通过不断的引导，观察，协助其找到想要的商品；对于老顾客，我们要记住他们的喜好，再次光顾的时候，直接推荐他们感兴趣的。在上述技术方案的基础上，本发明还可以做如下改进。进一步，所述即时推荐系统还包括查询接口，所述商品推荐库模块通过查询接口将所述数据发送至应用网站。进一步，所述搜索关键字模块包括计算模块和mahout算法库，所述计算模块接收推荐规则库模块发送的指令，并按照所述指令对从数据收集模块接收到的数据进行相应操作，所述计算模块具有强大的容错能力和计算能力，具有单次IOTB几遍的计算能力；所述mahout算法库对从计算模块接收到的数据进行总结并得出规律，并保存所述规律，并保存所述规律，Mahout是一个分布式计算的机器学习方法,基于hadoop之上是一个系统自我改进学习的过程，通过现有的知识，进行总结，从而得出规律，或者获取新的知识的过程，通过mahout构建社会化推荐引擎，帮助Web应用开发者更高效的实现个性化推荐功能，从而提高最终用户满意度。进一步，所述后台管理模块包括项目管理模块和权重设置模块，所述项目管理模块用于管理推荐规则库模块和商品推荐库模块； 所述权重设置模块用于对数据收集模块收集到的各种数据进行加权设置。进一步,所述mahout算法库中包括协同过滤算法、基于item的CF、商品DNA推荐算法、基于内容的推荐算法、基于关联规则推荐算法和混合推荐算法；协同过滤(CF):—般是在海量的用户中发掘出一小部分和你品位比较类似的，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的其他东西组细成一个排序的目录作为推荐给你；基于item的CF :即基于用户对物品的偏好找到相似的物品，然后根据用户的历史偏好，推荐相似的物品给他；商品DNA :如果商品设定下架时间，则到达此时间点，推荐系统会进行屏蔽，如果设定商品上架时间，则未到达此时间点，推荐系统会进行屏蔽，对特定品牌的商品增加权重，对含有某一关键词的商品增加权重基于内容的推荐(俩商品之间的标题文字匹配程度超过设定阀值，增加相应的权重)商品属性(比如说颜色，品牌)相同，根据配置会增加dna权重；同一价格区间的商品-可以配置相似度权重；基于关联规则它将推荐给用户一些采用关联规则发现算法计算出的内容；数据清理对用户和商品分别计数，过滤掉一些超不活跃的用户和超冷门的商品计算两种商品之间的支持度、置信度、提升度，根据最低支持度、最低置信度、最低提升度剪枝，把低于最小值的规则扔掉；对商品A进行推荐找出商品A的所有规则，按照置信度降序排序，Top-N即为和商品A最相关的如N种商品；混合推荐引擎结合以上各种推荐算法，得到一个更加全面的推荐效果。
进一步，所述查询接口包括商品DNA采集接口和商品删除接口。本发明依赖以下数据浏览日志:用户/sessionID ;商品ID和品牌ID或当前访问的url ;访问时间;商品的类别信息(如果有的话)；购买信息(goods表)用户ID ;商品和品牌ID ;购买时间；商品类别信息；购物车信息同购买信息商品信息表商品标题或描述；品牌；尺寸；价格；上架时间，下架时间；颜色，规格；库存量；商品类别(衣服，鞋，化妆品这些类别)；使用人群(男，女，儿童，或奢侈品)。
图I为本发明实施例I所述的即时推荐系统的结构图。
具体实施例方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。如图I所示，本发明实施例I所述的一种即时推荐系统，包括数据收集模块I、搜索关键字模块2、推荐规则库模块3、商品推荐库模块5和后台管理模块4 ;所述数据收集模块I用于收集历史数据信息并发送至搜索关键字模块2 ;所述搜索关键字模块2接收数据收集模块I传输的数据并根据推荐规则库模块3内传输的数据进行搜索和计算，并将处理后的数据传输至商品推荐库模块5 ;所述后台管理模块4用于配置规则并发送指令至推荐规则库模块3和商品推荐库模块5控制推荐规则库模块3和商品推荐库模块5 ;所述推荐规则库模块2用于存储后台管理模块4发送的数据并将根据搜索关键字模块2发送的指令发送数据至搜索关键字模块2 ;所述商品推荐库模块5接收后台管理模块4和搜索关键字模块2发送的数据并发送到应用网站。所述即时推荐系统还包括查询接口 6，所述商品推荐库模块5通过查询接口 6将所述数据发送至应用网站。所述搜索关键字模块2包括计算模块21和mahout算法库22，所述计算模块21接收推荐规则库模块3发送的指令，并按照所述指令对从数据收集模块I接收到的数据进行相应操作；所述mahout算法库22对从计算模块21接收到的数据进行总结并得出规律，并保存所述规律。所述后台管理模块4包括项目管理模块和权重设置模块，所述项目管理模块用于管理推荐规则库模块3和商品推荐库模块5 ；所述权重设置模块用于对数据收集模块2收集到的各种数据进行加权设置。所述mahout算法库22中包括协同过滤算法、基于item的CF、商品DNA推荐算法、基于内容的推荐算法、基于关联规则推荐算法和混合推荐算法。所述查询接口 6包括商品DNA采集接口和商品删除接口。#### 必要软件列表 #############################################并行计算平台HADOOP
推荐核心MAHOUT元数据库MYSQL日志采集和商品DNA接收LIBEVENTVQHTTP运行脚本 SHELL提供推荐TOMCAT安装步骤### 用户和组创建 ##############################################groupadd hadoopuseradd -m-g hadoop hadoopid hadoop#### 打开文件数设置(hbase 需要)##################################echo" hadoop-nofile 65536" >> /etc/security/limits, confservice sshd restart####Jdk 安装 ###################################################. /jdk-6u24~linux-x64-rpm. bin (默认安装路径在 /usr/java 下)#### 创建相关目录 ###############################################mkdir p/home/hadoop/software(把所需软件包都放到该目录下)mkdir-p/home/hadoop/data/log/pidschown-R hadoop hadoop/home/hadoop/data#每个硬盘挂载一个数据目录，并所属给hadoop。#### 配置 SSH 无密码登 ##########################################su hadoopssh-keygen-t rsacd-chmod 700. sshchmod 700-cat/, ssh/id_rsa. pub >> /. ssh/authorized_keysvi/etc/ssh/sshd_config;保证如下属性RSAAuthentication yesPubkeyAuthentication yesvim/etc/ssh/sshd_config
添加或修改下面这行PasswordAuthentication no重启SSH服务
service sshd restart4.为了安全你需要取消SSH的密码认证方式.(可选，安全性高)vim/etc/ssh/sshd_config添加下面这行PasswordAuthentication no重启SSH服务service sshd restart---------------------------------------------------------------------------------------------------------------------------------注意问题I :如果登陆时，出现server refused our key的提示,请按照下面的方法解决修改vi/etc/ssh/sshd_conf ig文件(按下面设置即可)RSAAuthentication yes #启用RSA认证(默认是注释掉的,将注释去掉,如果不是yes，改为yes)PubkeyAuthentication yes #启用公钥认证(默认是注释掉的,将注释去掉,如果不是yes,改为yes)PasswordAuthentication no #禁止密码认证(改为no,默认为yes是用密码认证)StrictModes no #修改为no,默认为yes.如果不修改用key登陆,可能会出现server refused our key 的提示。(如果StrictModes为yes必需保证存放公钥的文件夹的拥有者与登陆用户名是相同的).“StrictModes”设置ssh在接收登录请求之前是否检查用户家目录和rhosts文件的权限和所有权。这通常是必要的，因为新手经常会把自己的目录和文件设成任何人都有写权限。)另外，设置authorized_keys 的权限为 644 即chmod 644/. ssh/authorized_keys问题2 :Address*. *maps to localhost,but this does not mapback to theaddress POSSIBLE BREAK-IN ATTEMPT !解决办法vi/etc/ssh/sshd_configGSSAPIAuthentication yes修改成GSSAPIAuthentication no---------------------------------------------------------------------------------------------------------------------------------Scp/home/hadoop/. ssh/id_rsa. pub 192. 168. 0. 72 /home/hadoop/. ssh用hadoop用户登录192. 168. 0. 72服务器
cdcat. ssh/id—rsa. pub > authorized—keys(把namenode的公钥分发到每个datanode上)#### 安装 hadoop#############################################pwd显不 /datal/software tar-xzvf hadoop-0. 20. 2_cdh3ul. tar. gzmv r hadoop-0. 20. 2_cdh3ul. /cd../pwd显示 /datal#### 配置 hostname###########################################如果是 namenode 请配置 hostname namenode如果是 datanodel 请配置 hostname datanode I如果是datanode2 请配置 hostname datanode2以此类推。Source/etc/sysconfig/network#### 配置 hosts###############################################127. 0. 0. I namenode192. 168. 0. 70 namenode192. 168. 0. 70 datanodel192. 168. 0. 70 datanode2192. 168. 0. 70 datanode3#### 环境变量 ################################################export JAVA—HOME = /usr/java/jdkl. 6. 0—24export HADOOP—HOME = /home/hadoop/hadoop-0. 20. 2_cdh3ulexportPATH = $PATH /home/hadoop/hadoop-0. 20. 2_cdh3ul/bin /home/hadoop/mahout/bin/usr/java/jdkl. 6. 0—24/bin /home/hadoop/apache-maven-3. 0. 3/binexport TMOUT = 1000000source/etc/prof ile#### 格式化 ###################################################su hadoophadoop namenode format#### 启动 #####################################################. /start-all. shhadoop web 地址http://183. 129. 134. 82 :50030http://183. 129. 134. 82 :50070
#### 日志查看 #################################################ls-li/datal/hadoop/log####libevent 安装 ##############################################tar xzvf libevent-2. 0. 9_rc. tar. gzcd libevent-2. 0. 9_rc. /configure
makemake installldconfig####httpserver 安装 ############################################配置文件修改vqconfig. h#define HOME—DIR" /home/hadoop/vqhttpd"修改为实际的釆集路径Makemkdir-p/home/hadoop/vqhttpd/data/dnamkdir-p/home/hadoop/vqhttpd/data/cfmkdir p/home/hadoop/vqhttpd/logs. /start—server, sh#### 安装 shell#################################################修改config. sh配置相关目录赋予执行权限chmod 744*. sh定时任务设置导入10*/l***/xxx/shell/crontabRunImport. sh 0 I all > /dev/null2 > &1离线计算20*/l***/xxx/shell/crontabRunStat. sh 0 I all > /dev/null 2 > &1#### 推荐查询部署 ##############################################部署tomcat发布jsp发布getRecommend. jshttp://192. 168.0. 15/js/demo—dna—collect, html dna 米集 demohttp://192. 168.0. 15/js/demo—cf—collect, html cf 访问信息 demo####mahout 安装 ###############################################cd/home/hadoop/ mahoutrm/home/hadoop/mahout /*_rfsvn up. /mvn cleanmvn compile
mvn-DskipTests installchmod 777. /bin/mahout#### 启动操作 #####################################################Root 用户启动apache模拟应用/home/hadoop/apache/bin/apachectl start启动tomcat提供推荐查询/opt/apache-tomcat-6. 0. 32/bin/startup, sh启动vqhttp收集打点和商品DNA/home/hadoop/htttpserver/start—server, shHadoop 用户启动hadoopstart-all. sh生成测试数据(可选测试用)#生成访问/购买测试数据mahout make—rec_cleanupdata /data/makedata/data/makedata—result#生成商品DNA测试数据mahout make—rec_iteminfo/data/makeDNA/data/makeDNA—result 5导入数据(可选)
/home/hadoop/shell/crontabRunlmport. sh 0 I all日志地址/home/hadoop/sheI1/log/vqhttpMahout相似度计算(可选)/home/hadoop/shell/crontabRunStat. sh 0 I all日志地址/home/hadoop/shell/log/vipshop以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种即时推荐系统，其特征在于，包括数据收集模块、搜索关键字模块、推荐规则库模块、商品推荐库模块和后台管理模块； 所述数据收集模块用于收集历史数据信息并发送至搜索关键字模块； 所述搜索关键字模块接收数据收集模块传输的数据并根据推荐规则库模块内传输的数据进行搜索和计算，并将处理后的数据传输至商品推荐库模块； 所述后台管理模块用于配置规则并发送指令至推荐规则库模块和商品推荐库模块控制推荐规则库模块和商品推荐库模块； 所述推荐规则库模块用于存储后台管理模块发送的数据并将根据搜索关键字模块发送的指令发送数据至搜索关键字模块； 所述商品推荐库模块接收后台管理模块和搜索关键字模块发送的数据并发送到应用网站。
2.根据权利要求I所述的即时推荐系统，其特征在于，所述即时推荐系统还包括查询接口，所述商品推荐库模块通过查询接口将所述数据发送至应用网站。
3.根据权利要求I所述的即时推荐系统，其特征在于，所述搜索关键字模块包括计算模块和mahout算法库，所述计算模块接收推荐规则库模块发送的指令，并按照所述指令对从数据收集模块接收到的数据进行相应操作；所述mahout算法库对从计算模块接收到的数据进行总结并得出规律，并保存所述规律。
4.根据权利要求I所述的即时推荐系统，其特征在于，所述后台管理模块包括项目管理模块和权重设置模块，所述项目管理模块用于管理推荐规则库模块和商品推荐库模块； 所述权重设置模块用于对数据收集模块收集到的各种数据进行加权设置。
5.根据权利要求3所述的即时推荐系统，其特征在于，所述mahout算法库中包括协同过滤算法、基于item的CF、商品DNA推荐算法、基于内容的推荐算法、基于关联规则推荐算法和混合推荐算法。
6.根据权利要求2至5任一项所述的即时推荐系统，其特征在于，所述查询接口包括商品DNA采集接口和商品删除接口。
全文摘要
本发明涉及一种即时推荐系统，包括数据收集模块、搜索关键字模块、推荐规则库模块、商品推荐库模块和后台管理模块；所述数据收集模块用于收集历史数据信息并发送至搜索关键字模块；所述搜索关键字模块接收数据收集模块传输的数据并根据推荐规则库模块内传输的数据进行搜索和计算，并将处理后的数据传输至商品推荐库模块；所述后台管理模块用于控制推荐规则库模块和商品推荐库模块；所述商品推荐库模块接收后台管理模块和搜索关键字模块发送的数据并发送到应用网站。本发明可以帮助顾客更快的找到想要的商品；对于新顾客，通过不断的引导观察，协助其找到想要的商品；对于老顾客，记住他们的喜好，再次光顾的时候，直接推荐他们感兴趣的。
文档编号G06Q30/00GK102663019SQ20121007690
公开日2012年9月12日 申请日期2012年3月21日 优先权日2012年3月21日
发明者冯志强, 张禹, 文彦峰, 李俊, 鲁超, 黄根太, 齐科军 申请人:北京英孚斯迈特信息技术有限公司