基于大数据的用户信息处理方法

基于大数据的用户信息处理方法
【技术领域】
[0001] 本发明涉及大数据挖掘，特别涉及一种基于大数据的用户信息处理方法。
【背景技术】
[0002] 互联网技术日新月异的发展，以及计算机的普及，造就了巨大数量网民的同时，也 正逐步的改变着人们的生活方式，网上购物便是其中之一。良好的用户体验成为了电商网 站经营者的重要研发项目。如何为用户提供更优质的信息和服务对电商网站至关重要，优 质的服务能很好的抓住用户，降低用户的流失率同时，可以吸引新的用户加入。而优质信息 的提供就包括主动的向用户推荐他们潜在需求的商品。就目前电商网站运行的实际情况来 看，电商站点在有针对性地提供产品和服务信息方面做得不够，用户不能快速地获得所需 信息;并且电商网站不能快捷地帮助用户在其站点上找到感兴趣的产品和服务，用户很容 易产生转向访问其它站点的动机。电商网站个性化推荐根据用户的喜好、历史访问留下的 信息以及其他相似用户的相关信息，已经成为当前电商中的热门研究领域之一。此外，传统 的个性化推荐算法在实际的应用中具备良好的性能，但是当用户真正的浏览电商网站的过 程中，需求会发生一定的变化，而现有方案对这种变化的跟踪并不精确。从而无法提升推荐 满意度。

【发明内容】

[0003] 为解决上述现有技术所存在的问题，本发明提出了一种基于大数据的用户信息处 理方法，包括：
[0004] 对网站日志数据进行处理后，提取交易业务，通过聚类得到推荐候选集合；
[0005]通过用户的当前会话获取当前行为特征，将行为特征与聚类后的集合进行计算， 确定推荐列表。
[0006] 优选地，在经过数据过滤后，将网站日志转化成一系列的交易业务文本页面集，将 文本页面集用特征词集进行表示，即提取页面文本中代表主题含义的关键词组成的特征词 集，该提取特征词集的过程包括提取特征词条、计算特征词条的权值以及选择特征词条；
[0007] 其中，用于聚类的交易业务是推荐候选集合，该集合中的每一个交易业务均由一 系列页面组成，代表用户的兴趣特征和浏览的商品；当前用户会话被进行特征化后与该候 选集合进行相似性计算，计算后得到最大相似的交易业务集后，将其包含的页面推荐至当 前用户；
[0008] 优选地，所述提取特征词条之前，通过以下过程完成分词：
[0009] 定义标注集合，建立语料词库，将被标注好的语料以及人工设置的特征模板作为 机器学习工具的输入，机器学习的结果输出特征集，该特征集用于对未被标记的文本进行 标记，最后用得到的标记对该文本进行分割；
[0010] 设〇={>1，(^_(^}为待分词的中文句，^表示句中的第1个中文字汰={11，12 - 111} 为在句C上的语料识别结果的标记序列，h表示中文字(^在语料中的位置标记，SW={sWl， SW2···swm}为句C的语料串序列，该字词串序列上的识别结果为R = {r 1，r2···rm}，ri代表语料 SWl在词中出现的位置标记，L'和R'分别表示在中文句C上最大可能的语料分割和词的分 害J，则将分词任务转换为求解如下最大概率：
[0011] <L',R，> = argmax P(L,R | C) =argmax P(R | Sff)P(L | C)
[0012] 其中P(R | SW)和P(L I C)都是在一个观测序列上有关序列标记的概率值，定义其概 率分布为
[0013]
[0014]
[0015] m和η分别是句C中语料和字的个数，ZR(SW)和ZL(C)是正则化因数，λ_μι^别是第 1层和第2层条件随机场的参数，fk和gk对应第1层和第2层条件随机场的特征函数;这样将中 文分词问题转换为两层的条件随机场的序列标注问题;第1层用来学习基于字的语料的标 注，第2层用来学习基于语料的词的标注。
[0016] 本发明相比现有技术，具有以下优点：
[0017] 本发明提出了一种基于大数据的用户信息处理方法，基于文本特征挖掘用户兴 趣，并准确跟踪用户在访问电商网站的过程中的需求变化，为用户提供有效的内容个性化 推送。。
【附图说明】
[0018] 图1是根据本发明实施例的基于大数据的用户信息处理方法的流程图。
【具体实施方式】
[0019] 下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描 述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利 要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以 便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的 一些或者所有细节也可以根据权利要求书实现本发明。
[0020] 本发明的一方面提供了一种基于大数据的用户信息处理方法。图1是根据本发明 实施例的基于大数据的用户信息处理方法流程图。
[0021] 本发明的模型框架分为两大部分，网站日志的挖掘和当前用户的会话处理。网站 日志挖掘经过数据处理、交易业务提取以及特征化表示，经过聚类分析形成推荐的候选集 合;对于用户的当前会话根据日志挖掘的方式，挖掘出当前行为兴趣的特点，利用相应的匹 配方法与聚类后的集合计算，给出推荐列表。聚类后交易业务是推荐候选集合，该集合中的 每一个交易业务均由一系列页面组成，代表用户的兴趣特征和浏览的商品。当前用户会话 被进行特征化后与其进行相似性计算，计算后得到最大相似的交易业务集后，将其包含的 页面推荐至当前用户。
[0022] 网页文本挖掘是从大量网页文本文档集合C中发现隐含的模式P的过程M。在经过 数据过滤后，网站日志被转化成了一系列的交易业务文本页面集，以下进一步将文本页面 集用特征词集进行表示。用特征词集来表示网页文本的过程就是文本特征化，即提取页面 文本中代表主题含义的关键词，关键词组成的集合就是特征词集。标准的特征化过程包括 提取特征词条、计算特征词条的权值以及选择特征词条。特征词条的提取要做好分词;按照 分词算法计算后所产生的特征词条组成一个特征词条候选集合，对这些特征词条进行权重 的计算，词条出现的位置决定它们的权重不同；最后对集合中的候选特征词条进行筛选，可 以根据权重等信息选出最能代表文本页面的词条构成特征词集合。
[0023] 通过对网页网站日志进行预处理后，可以读取用户点击浏览页面文本信息。获取 这些文本信息之后的工作对这些信息进行分词，以便形成适合的特征词条来满足接下来的 聚类分析工作。
[0024] 本发明采用基于语料的分词，分为两个步骤：第1步是利用训练语料构建语料词 库;第2步是利用语料词库和初始测试语料构建测试语料。方法首要任务是定义标注集合， 建立语料词库，将被标注好的语料以及人工设置的特征模板作为机器学习工具的输入，机 器学习的结果输出一套特征集，该特征集可对未被标记的文本进行标记，最后用得到的标 记对该文本进行分割。
[0025]设C= {ci，C2"_cn}为待分词的中文句，Ci表示句中的第i个中文字;L= {1?, ?2···1η} 为在句C上的语料识别结果的标记序列，h表示中文字(^在语料中的位置标记，SW={SW1， SW2…swm}为句C的语料串序列，该字词串序列上的识别结果为R = {r 1，r2…rm}，ri代表语料 SWl在词中出现的位置标记，L'和R'分别表示在中文句C上最大可能的语料分割和词的分 害J。则分词任务转换为求解如下最大概率：
[0026] <L',R，> = argmax P(L,R | C) =argmax P(R | Sff)P(L | C)
[0027] P(R|SW)和P(L|C)都是在一个观测序列上有关序列标记的概率值，因此，定义它们 的概率分布为
[0028]
[0029] m和η分别是句C中语料和字的个数，ZR(SW)和ZL(C)是正则化因数，人巧阪分别是第 1层和第2层条件随机场的参数，fk和gk对应第1层和第2层条件随机场的特征函数。这样就将 中文分词问题转换为两层的条件随机场的序列标注问题。第1层用来学习基于字的语料的 标注，第2层用来学习基于语料的词的标注。该方法消除了可能的语料跨越标记错误。
[0030] 在确定了文本分词之后，就可以建立网页文本的特征表示，将网页文本转化成一 种类似关系数据且能表现网页文本内容的结构化形式，即网页文本特征的提取。本发明应 用的提取方法将文档分割成为不同的部分，在特征词条查找匹配页面时，将目标页面集划 分为相关页面和无关页面，用P(D|R)表示特征词对页面D的相关性概率，p(D|NR)表示特征 词对页面D的无关性概率;若p(D | R)>p(D | NR)，则页面D确定为相关页面，否者确定为无关页 面;利用特征词在相关页面中出现的概率与在无关页面中出现的概率进行相关性值的计 算：
[0031] w= Σ log(pi(l-si)/(si(l-pi)))
[0032]其中p(D |R)/p(D |NR)= Π pi(l-si)/(si(l-pi))，pi为特征词ti在相关页面中出现 的概率，Sl为特征词^在无关页面中出现的概率；
[0033] 令R表示相关页面的个数，C-R代表无关页面个数。对于特征词t，包含该特征词的 页面个数为ci，相关页面为η，包含该特征词的无关页面个数为 Cl_ri;
[0034] 计算特征词U在相关页面中出现的概率Pl = ri/R，在无关页面中出现的概率si = (Cl-ri)/(C-R)，选择的平滑参数0.5和0.1，平滑后公式如下：
[0035] ρ?= (π+0.5)/(R+1.0)
[0036] Si=(ci-ri+0.5)/(C-R+1.0)
[0037] 得到相关性值：
[0038] w= Σ l〇g( ((ri+O ·5)/(R-ri+0· 5))/((ci-ri+O ·5)/(C-R)-(ci-ri)+0· 5))
[0039] 将页面分解成为不同的部分，考虑特征词在不同部分内权重的计算：
[0040] Wi= Σ l〇g((TF/k+TF)((ri+0.5)/(R-ri+0.5))/( (ci-ri+O. 5)/(C-R)-(Ci-ri) + 0.5))
[0041] 其中TF包括特征词条在不同部分出现的词频以及在不同部分的权重信息;其具体 的表达式如下：
[0042]
[0043]
[0044]其中，将一个页面文档分为u个不同的部分，vk是每个部分的权重，fu代表特征词在 第u个部分中出现的词频数，ulu代表第