一种在线训练模型的方法和设备的制造方法

一种在线训练模型的方法和设备的制造方法
【专利摘要】本申请公开了一种在线训练模型的方法，所述方法应用于包括多个处理器的系统中，所述方法包括：所述处理器根据在线数据的正负样本，以及正负样本的不同权重得到流式的模型均值；所述处理器将根据所述流式的模型均值得到处理结果发送到服务器，以使所述服务器对所述处理结果进行整合得到训练模型。本申请中通过预设规则得到的处理结果具有较好的离线指标和在线性能表现。
【专利说明】
-种在线训练模型的方法和设备
技术领域
[0001] 本申请设及网络技术领域，特别是设及一种在线训练模型的方法和设备。
【背景技术】
[0002] 离线机器学习算法是利用批量离线数据训练模型，对很多应用来说，由于离线数 据量很，大离线模型训练比较耗时。当完成离线模型训练时，模型往往已过期，无法捕获最 新的数据变化。在线训练实时数据源源不断的进入在线训练系统，然后进行模型更新，能有 效捕获最新的数据变化。
[0003] 现有的在线算法有W下几种：
[0004] FTL算法（Follow The Leader):是一种经典的在线算法它的核屯、思想选择过去所 有回合中累计损失代价和最小的策略
[0005] FT化算法（Follow The Regularized Leader) :FTL算法对部分问题无效，其原 因是每次更新的ω,抖动太大，导致最终无法收敛。FT化算法是FTL算法上的一个改进， 在FT化算法中的损失函数中加入了 Regularization来解决运个问题最小化Κ(ω)可把 ω限定在一个较小的空间。FT化的更新方案是
R(ω)是Regularization函数，不同的Regularization函数将给出不同的Regret上限。 所述FT化的Regret上限为：
[0006]
[0007] 技术人员还提出了一种利用在线学习预测CTR(Click T虹OU曲Rate,广告 点记率）的方法，实验数据表明该方法效果明显，其使用的算法是FT化-Proximal 算法（一种针对CTR预测的应用探讨的机器学习演算法）来实现逻辑回归在线 训练，其预测函数巧
FT化-Proximal算法中的损失函数为L(p，y) =-y*log(p)-(l-y)*log(l-p)。学习训练的目标函数为：
[000引其中，g是L(p，y)的导数，即g = (p-y)x，定；i
根据实验经验一般 设置
a根据数据集设置。在上述目标函数中1范数用来产生稀疏 解，强凸2范数产生较低的算法Regret时加入了每次更新不要离之前结果太远的约束，试 验数据表明该方法比较有效。
[0009] 在实现本申请的过程中，发明人发现现有技术至少存在如下问题：
[0010] FT化-Proximal算法架构单机串序处理能力有限，远不能够满足海量实时数据训 练学习的需求，如：淘宝众多实时推荐场景QPS (Query Per Second,-秒处理的请求的数 量）都远超过其处理能力。并且，海量的实时数据有的具有分布不均匀的特点，(ffS在不同 时间段差别巨大，用于训练模型的正负样本比例在不同的应用场景中差别也很大，在买家 和卖家中存在作弊行为，W上因素均会使得数据噪声较大，直接使用原始数据训练模型，实 验效果并不好。

【发明内容】

[0011] 本申请提供一种在线训练模型的方法和设备，利用Storm实时流式计算框架和参 数服务器parameter Server架构，在原有算法基础上实现并行化，实现了超大规模数据的 实时并行处理，有效提高实时在线学习推荐系统规模。
[0012] 本申请提出一种在线训练模型的方法，其特征在于，所述方法包括W下步骤：
[0013] 一种在线训练模型的方法，其特征在于，应用于包括多个处理器的系统中，所述方 法包括：
[0014] 所述处理器根据在线数据的正负样本，W及正负样本的不同权重得到流式的模型 均值；
[0015] 所述处理器将根据所述流式的模型均值得到处理结果发送到服务器，W使所述服 务器对所述处理结果进行整合得到训练模型；
[0016] 其中，所述多个处理器之间使用异步并行的处理方式对在线数据进行处理。
[0017] 所述处理器根据在线数据的正负样本，W及正负样本不同的权重得到流式的模型 均值，具体包括：
[0018] 所述处理器根据在线数据的正负样本，W及正负样本不同的权重来得到目标函 数；其中，正样本的权重大于负样本的权重；
[0019] 所述处理器根据所述目标函数得到模型参数；
[0020] 所述处理器将所述模型参数进行投影；
[0021] 所述处理器根据投影后的模型参数得到流式的模型均值。
[0022] 所述处理器根据所述目标函数得到模型参数，具体为：
[0023] 所述处理器使用在线数据初始时刻的离线模型参数对所述目标函数进行初始化 约束，W使所述处理器得到模型参数；或，
[0024] 所述处理器使用在线数据初始时刻的离线模型参数对所述目标函数进行自适应 离线约束，W使所述处理器得到模型参数。
[00巧]所述处理器使用在线数据初始时刻的离线模型参数通过公式：
[0026]
[0027] 对目标函数进行初始化约束； 阳02引其中
对初始化函数；或，
[0029] 所述处理器使用在线数据初始时刻的离线模型参数通过公式：
[0030]
[0031] 对目标函数进行自适应离线约束；
[0032] 其4
为自适应性离线函数；
[0033] 模型参数的初始值为0,所述ω。为在线数据初始时刻的离线模型参数。
[0034] 所述处理器将所述模型参数进行投影，具体为：
[0035] 所述处理器将t+1时刻的模型参数投影到特定子空间，得到投影后的模型参 数ω^，W使所述处理器对t+1时刻的模型参数进行修正。
[0036] 所述处理器使用t+1时刻的模型参数ω W通过公式：
[0037]
隐 t+1 时 刻的模型参数投影到欧拉子空间内。
[0038] 所述处理器根据投影后的模型参数得到流式的模型均值，具体为：
[0039] 所述处理器通过t+1时刻的投影后的模型参数得到t+1时刻的流式的模型 均值，W使所述处理器根据t+1时刻的流式的模型均值对t+1时刻对相应的对象预测打分， 并根据所述t+1时刻的流式的模型均值得到相应的处理结果。
[0040] 所述处理器使用t+1时刻的投影后的模型参数通过公式：
得到t+1时刻的流式的模型均值；
[0041] 其中，初始时刻的流式的模型均值W。为0。
[0042] 一种处理器设备，其特征在于，应用于包括多个处理器的系统中，所述设备包括：
[0043] 处理模块，用于根据在线数据的正负样本，W及正负样本的不同权重得到流式的 模型均值；
[0044] 发送模块，用于将根据所述流式的模型均值得到处理结果发送到服务器，W使所 述服务器对所述处理结果进行整合得到训练模型；
[0045] 其中，所述多个处理器之间使用异步并行的处理方式对在线数据进行处理。
[0046] 所述处理模块，具体用于：
[0047] 根据在线数据的正负样本，W及正负样本不同的权重来得到目标函数；其中，正样 本的权重大于负样本的权重；其中，正样本的权重大于负样本的权重；
[0048] 根据所述目标函数得到模型参数；
[0049] 将所述模型参数进行投影；
[0050] 根据投影后的模型参数得到流式的模型均值。
[0051] 所述处理模块根据所述目标函数得到模型参数，具体为：
[0052] 所述处理模块使用在线数据初始时刻的离线模型参数对所述目标函数进行初始 化约束或自适应离线约束，W使所述处理器得到模型参数。
[0053] 所述处理器将所述模型参数进行投影，具体为：
[0054] 所述处理模块将t+1时刻的模型参数投影到特定子空间，得到投影后的模型 参数ω^，W使所述处理器对t+1时刻的模型参数进行修正。 阳化5] 所述处理模块根据投影后的模型参数得到流式的模型均值，具体为：
[0056] 所述处理模块通过t+1时刻的投影后的模型参数ω W得到t+1时刻的流式的模 型均值，W使所述处理器根据t+1时刻的流式的模型均值对t+1时刻对相应的对象预测打 分，并根据所述t+1时刻的流式的模型均值得到相应的处理结果。
[0057] 本申请中在FT化-Proximal算法基础上将多个处理设备实现并行化，实现了超大 规模数据的实时并行处理，有效提高实时在线学习推荐系统规模，并对FT化-Proximal算 法提出了一系列的改进：1、采用模型参数投影子空间方法，克服异常数据对实时推荐的扰 动；2、采用流式的模型参数均值而非最新参数值进行CTR预估的策略；3、有效的融入先验 知识调节正负样本权重；4、将在线数据初始时刻的离线模型参数作为在线学习模型启动 初始值，实现实时推荐热启动。通过上述几种优化方法更精确、高效描述大数据用户实时消 费趋势与偏好。优化后的FT化-Proximal算法具有较好的离线指标和在线性能表现。当然， 实施本申请的任一产品并不一定需要同时达到W上所述的所有优点。
【附图说明】
[0058] 为了更清楚地说明本申请或现有技术中的技术方案，下面将对本申请或现有技术 描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的 一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据运 些附图获得其他的附图。
[0059] 图1为本申请实施例中的一种在线训练模型的方法流程图；
[0060] 图2为本申请实施例中的一种Parameter Server异步并行处理架构图；
[0061] 图3为本申请实施例中的一种Parameter Server异步并行处理流程图；
[0062] 图4为本申请实施例中一种处理器设备的结构示意图； 阳06引图5为本申请实施例中一种正样本权重对AUC的影响示意图； W64] 图6为本申请实施例中一种负样本权重对AUC的影响示意图； W65] 图7为本申请实施例中一种lambdas控制初始时刻的离线模型参数的权重对AUC 的影响的示意图；
[0066] 图8为本申请实施例中一种模型参数投影到欧拉子空间后对AUC的影响的示意 图。
【具体实施方式】
[0067] 下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显 然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施 例，本领域普通技术人员获得的其他实施例，都属于本申请保护的范围。
[0068] 本申请中利用Storm实时流式计算框架和parameter Server架构，在原有算法基 础上实现并行化，实现了超大规模数据的实时并行处理，有效提高实时在线学习推荐系统 规模。 W例如图1所述，为本申请实施例中的一种在线训练模型的方法流程图，所述方法应 用于包括多个处理器的系统中，其中，所述多个处理器之间使用异步并行的处理方式对在 线数据进行处理，所述方法包括W下步骤：
[0070] 步骤101，所述处理器根据在线数据的正负样本，W及正负样本的不同权重得到 流式的模型均值。
[0071] 所述处理器根据在线数据的正负样本，W及正负样本不同的权重得到流式的模型 均值，具体包括：
[0072] 所述处理器根据在线数据的正负样本，W及正负样本不同的权重来得到目标函 数；其中，正样本的权重大于负样本的权重；
[0073] 所述处理器对FT化-Proximal算法中的损失函数的正负样本赋予不同的权重，W 使所述处理器根据所述损失函数得到更加准确的目标函数；其中，正样本的权重略大于负 样本的权重。 阳074] 原始的FT化-Proximal算法中，正负样本的权重是一样的，虽然其对大数据经过 预处理，但是，正负样本的比例差距还是比较大，在本申请中尝试给正负样本赋予不同的 权重。由于正样本数据较少，尝试增加正样本的权重，减少负样本的权重，运个权重最终 反映在FT化-Proximal算法中的损失函数上，例如：FT化-Proximal算法中的损失函数为
其中，Si是样本权重。在本申请中优化后的FT化-Proximal 算法对FT化-Proximal算法中的损失函数进行一阶泰勒展开，用负梯度表示损失，在本申 请中把权重作用在梯度上。 W75] 本申请通过上述处理发现增加正样本的权重或减少负样本的权重会增加 AUC (Area under the Curve of ROC (receiver operating characteristic curve，接受者 操作特性曲线）R〇C曲线下面积，曲线下部的面积总和被称为AUC，AUC常常做为模型参数优 劣的评价指标，AUC值越大的分类器，说明其有效的区分随机选择的正样本和负样本的能力 越高，正确率越高）的值，运与预期一致。正负样本权重对AUC的影响如图5和图6所示。
[0076] 所述处理器获取在线数据的正负样本，并对正负样本赋予不同的权重来得到目标 函数后，所述处理器根据在线数据的正负样本，W及正负样本的不同权重得到流式的模型 均值，还包括：
[0077] 所述处理器根据所述目标函数得到模型参数，所述方法具体包括：
[0078] 所述处理器使用在线数据初始时刻的离线模型参数对所述目标函数进行初始化 约束，W使所述处理器得到更加准确的模型参数。
[0079] 由于在线训练还有冷启动的问题，因此可W考虑利用在线数据初始时刻的离线模 型参数缓解冷启动，并在某种程度上对在线模型参数进行修正，实现利用在线数据初始时 刻的离线模型参数的方法有两种：
[0080] 方法一：
[0081] 处理器在线数据初始时刻的离线模型参数放在优化后的目标函数中进行初始化 约束，W使所述处理器得到更加准确的模型参数。
[0082] 具体的，所述处理器使用在线数据初始时刻的离线模型参数通过公式：
[0083]
[0084] 对目标函数进行初始化约束； 阳0化]其中
为初始化函数。
[0086] 在本申请中，为优化后的目标函数添加初始化函数W使得到的模型参数不要偏离 离线模型参数太远，此时，模型参数的更新公式为：
[0087] 且 Z ? 的初始值为：z〇,i= - λ 3*。,;，运种方法验证有效，超参数lambda3控制初始时刻的离线模型 参数的权重对AUC的影响如图7所示。
[0088] 方法二：
[0089] 所述处理器使用在线数据初始时刻的离线模型参数对所述目标函数进行自适应 离线约束，W使所述处理器得到更加准确的模型参数。
[0090] 具体的，所述处理器使用在线数据初始时刻的离线模型参数通过公式：
[0091]
[0092] 对目标函数进行自适应离线约束；
[0093] 其中
为自适应性离线函数。
[0094] 在优化后的目标函数中添加上述自适应性离线函数，运个方法在训练过程中可W 不断强化离线模型参数的约束，能够在新的数据变化趋势和离线模型参数之间平衡。
[0095] W上两种方法中，模型参数的初始值为0,所述ω。为在线数据初始时刻的离线模 型参数；所述公式具体为：通过t时刻的模型参数得到t+1时刻的模型参数ω W。
[0096] 所述处理器在得到模型参数后，针对模型参数实时更新抖动较大的问题，所述处 理器根据在线数据的正负样本，W及正负样本的不同权重得到流式的模型均值，还包括：
[0097] 所述处理器将所述模型参数进行投影。
[009引具体的，所述处理器将t+1时刻的模型参数投影到特定子空间，得到投影后 的模型参数使所述处理器对t+1时刻的模型参数进行修正。
[0099] 具体的，所述处理器使用t+1时刻的模型参数通过公式： 阳100]
将t+1时 刻的模型参数投影到欧拉子空间内。
[0101] 由于在线训练不能保证输入样本具有稳定的分布，数据噪音比较大，对模型 稳定性和准确性有较大的干扰，并且，不同的投影半径，太小的半径使得模型表达能力 不足，太大的半径和没有约束基本一样。在本申请中将模型参数投影到欧拉子空间后 FT化-Proximal算法有较快速的收敛性和较好的AUC指标，将模型参数投影到欧拉子空间 后对AUC的影响如图8所示。
[0102] 在得到投影后的模型参数后，所述处理器根据在线数据的正负样本，W及正负样 本的不同权重得到流式的模型均值，还包括：
[0103] 所述处理器根据投影后的模型参数得到流式的模型均值。
[0104] 具体的，所述处理器通过t+1时刻的投影后的模型参数得到t+1时刻的流式 的模型均值，W使所述处理器根据t+1时刻的流式的模型均值对t+1时刻对相应的对象预 测打分。
[0105] 所述处理器使用t+1时刻的投影后的模型参数通过公式：
得到t+1时刻的流式的模型均值Ww;其中，初始时刻的 流式的模型均值W。为0。 阳106] 本申请中为了减少在线预测时模型参数的不稳定性，模型投影可按照原始算法进 行，预测打分使用当前模型参数的流式的模型均值进行预测，采用流式数据求均值的方法 计算当前模型的流式的模型均值。，其中Ww是t+1时刻的流式的模型均值，Wt是t时刻 的流式的模型均值。本申请中使用特征流式的模型均值求下一时刻流式的模型均值，由于 每个样本只包含一小部分特征，每个特征在样本出现的频率是不一样的，运样求得的均值 使AUC平均有1. 53%的提升。 阳107] 步骤102,所述处理器将根据所述流式的模型均值得到处理结果发送到服务器，W 使所述服务器对所述处理结果进行整合得到训练模型。 阳10引具体的，如图2所示的一种Parameter Server异步并行处理流程图，不同的处理 器之间采用异步并行共同对在线数据进行处理，即不同处理器共同处理所有的在线数据， 但是处理器之间在处理数据时是互不影响的，例如：处理器1在处理完当前的在线数据后 会继续处理当前其他处理器没有处理的在线数据，处理器1不会等待其他处理器同样也完 成了当前的在线数据后，一起再对当前其他没有处理的在线数据进行分配进行处理。
[0109] 由于，所有的处理器会将处理结果发送给服务器，因此，在处理器处理完当前的 在线数据后需要通过服务器获知当前在线数据还没有被其他处理器所处理的在线数据， 具体的，所述服务器为Parameter Server,基于Parameter Server异步并行处理架构如 图2所示，整个模型参数分为多个参数局部映像保存在Parameter Server中并被多个 client机器共享；数据有多个client机器并行处理，每个client把自己的最新状态发送 给Parameter Server,并从Parameter Server中获取全局的最新信息，共享的Parameter Server起到全局信息同步作用，client与client之间是完全异步操作。
[0110] 其中，Parameter Server架构不是具体的算法，是一种异步并行算法架构，对于 不同的应用需要设计不同算法。在FT化-Proximal串行算法中，模型更新由如下两个步骤 完成，步骤 1 :Zw,i= Z t,i+gi-〇 ;*〇;，步骤 2 : ~ Kh; -^沒^:其中，gi-o ;*〇;是模型参 数Z的更新增量，淳f是模型参数η的更新增量。在基于Parameter Server的并行算法 中，如图3所示，本申请可W在Parameter Server中保存全局模型参数Z和η(详见上文 FRTL-Proximal串行算法伪代码），每个C1 ient并行异步处理不同的数据，得到不同的模型 副本，然后把本地Z和η的模型增量发给Parameter ServereParameter Server收到client 的增量后进行全局合并，然后把最新的全局模型发送给Client。在运个异步并行算法中各 个client异步并行地处理不同的数据，得到不同的模型副本，各个client之间直接没有 任何禪合，任意client的化ash都不会影响其它client正常运行，也不会影响整个模型的 训练，运种架构是很鲁棒的。另外为了减少Client与Parameter Server之间的通信，为了 平衡全局模型更新的实效性，每个client处理一批数据后才把模型增量同步到Parameter Server,批量数据的大小可W结合时间窗口和一个经验阔值进行设置，运样全局模型能够 比较及时的更新，每个client也能比较及时的同步到其他client的更新信息，通讯量也得 到控制。 阳11U 本申请中在FT化-Proximal算法基础上将多个处理设备实现并行化，实现了超大 规模数据的实时并行处理，有效提高实时在线学习推荐系统规模，并对FT化-Proximal算 法提出了一系列的改进：1、采用模型参数投影子空间方法，克服异常数据对实时推荐的扰 动；2、采用流式的模型参数均值而非最新参数值进行CTR预估的策略；3、有效的融入先验 知识调节正负样本权重；4、将在线数据初始时刻的离线模型参数作为在线学习模型启动初 始值，实现实时推荐热启动。通过上述几种优化方法更精确、高效描述大数据用户实时消费 趋势与偏好。改进后的FT化-Proximal算法具有较好的离线指标和在线性能表现。。当然， 实施本申请的任一产品并不一定需要同时达到W上所述的所有优点。
[0112] 基于与上述方法同样的申请构思，本申请还提出了一种在线训练模型的设备，应 用于包括多个处理器的系统中，如图4所述，该设备包括：
[0113] 处理模块41，用于根据在线数据的正负样本，W及正负样本的不同权重得到流式 的模型均值。
[0114] 发送模块42,用于将根据所述流式的模型均值得到处理结果发送到服务器，W使 所述服务器对所述处理结果进行整合得到训练模型。
[0115] 其中，所述多个处理器之间使用异步并行的处理方式对在线数据进行处理。
[0116] 其中，所述处理模块，具体用于：
[0117] 根据在线数据的正负样本，W及正负样本不同的权重来得到目标函数；其中，正样 本的权重大于负样本的权重；
[0118] 根据所述目标函数得到模型参数；
[0119] 将所述模型参数进行投影；
[0120] 根据投影后的模型参数得到流式的模型均值。 阳121] 所述处理模块根据所述目标函数得到模型参数，具体为： 阳122] 优选的，所述处理模块使用在线数据初始时刻的离线模型参数对所述目标函数进 行初始化约束，W使所述处理器得到更加准确的模型参数。 阳123] 所述处理模块使用在线数据初始时刻的离线模型参数通过公式： 阳 124]
[01巧]对目标函数进行初始化约束； 阳126] 其中，
为初始化函数。 阳127] 优选的，所述处理模块使用在线数据初始时刻的离线模型参数对所述目标函数进 行自适应离线约束，W使所述处理器得到更加准确的模型参数。
[0128] 所述处理模块使用在线数据初始时刻的离线模型参数通过公式： 阳 129]
[0130] 对目标函数进行自适应离线约束； 阳131] 其中
与自适应性离线函数。 阳132] 其中，模型参数的初始值为0,所述ω。为在线数据初始时刻的离线模型参数。 阳133] 所述处理器将所述模型参数进行投影，具体为：
[0134] 所述处理模块将t+1时刻的模型参数投影到特定子空间，得到投影后的模型 参数ω^，W使所述处理器对t+1时刻的模型参数进行修正。
[0135] 所述处理模块通过公式： 阳136]
隐t+1时 刻的模型参数投影到欧拉子空间内。
[0137] 所述处理模块根据投影后的模型参数得到流式的模型均值，具体为：
[0138] 所述处理模块通过t+1时刻的投影后的模型参数得到t+1时刻的流式的模 型均值，W使所述处理器根据t+1时刻的流式的模型均值对t+1时刻对相应的对象预测打 分。
[0139] 所述处理模块通过公式：
掉Ij t+1时刻的流式 的模型均值； 阳140] 其中，初始时刻的流式的模型均值W。为0。 阳14U 本申请中在FT化-Proximal算法基础上将多个处理设备实现并行化，实现了超大 规模数据的实时并行处理，有效提高实时在线学习推荐系统规模，并对FT化-Proximal算 法提出了一系列的改进：1、采用模型参数投影子空间方法，克服异常数据对实时推荐的扰 动；2、采用流式的模型参数均值而非最新参数值进行CTR预估的策略；3、有效的融入先验 知识调节正负样本权重；4、将在线数据初始时刻的离线模型参数作为在线学习模型启动初 始值，实现实时推荐热启动。通过上述几种优化方法更精确、高效描述大数据用户实时消费 趋势与偏好。改进后的FT化-Proximal算法具有较好的离线指标和在线性能表现。。当然， 实施本申请的任一产品并不一定需要同时达到W上所述的所有优点。 阳142] 通过W上的实施方式的描述，本领域的技术人员可W清楚地了解到本申请可借助 软件加必需的通用硬件平台的方式来实现，当然也可W通过硬件，但很多情况下前者是更 佳的实施方式。基于运样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的 部分可W W软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用W使得一台终端设备（可W是手机，个人计算机，服务器，或者网络设备等）执行 本申请各个实施例所述的方法。
[0143] W上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本申请原理的前提下，还可W做出若干改进和润饰，运些改进和润饰也应 视本申请的保护范围。
[0144] 本领域技术人员可W理解实施例中的装置中的模块可W按照实施例描述进行分 布于实施例的装置中，也可W进行相应变化位于不同于本实施例的一个或多个装置中。上 述实施例的模块可W集成于一体，也可W分离部署；可W合并为一个模块，也可W进一步拆 分成多个子模块。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
[0145] W上公开的仅为本申请的几个具体实施例，但是，本申请并非局限于此，任何本领 域的技术人员能思之的变化都应落入本申请的保护范围。
【主权项】
1. 一种在线训练模型的方法，其特征在于，应用于包括多个处理器的系统中，所述方法 包括： 所述处理器根据在线数据的正负样本，W及正负样本的不同权重得到流式的模型均 值； 所述处理器将根据所述流式的模型均值得到处理结果发送到服务器，W使所述服务器 对所述处理结果进行整合得到训练模型； 其中，所述多个处理器之间使用异步并行的处理方式对在线数据进行处理。2. 如权利要求1所述方法，其特征在于，所述处理器根据在线数据的正负样本，W及赋 予正负样本不同的权重得到流式的模型均值，具体包括： 所述处理器根据在线数据的正负样本，W及正负样本不同的权重得到目标函数；其中， 正样本的权重大于负样本的权重； 所述处理器根据所述目标函数得到模型参数； 所述处理器将所述模型参数进行投影； 所述处理器根据投影后的模型参数得到流式的模型均值。3. 如权利要求2所述方法，其特征在于，所述处理器根据所述目标函数得到模型参数， 具体为： 所述处理器使用在线数据初始时刻的离线模型参数对所述目标函数进行初始化约束， W使所述处理器得到模型参数；或， 所述处理器使用在线数据初始时刻的离线模型参数对所述目标函数进行自适应离线 约束，W使所述处理器得到模型参数。4. 如权利要求3所述方法，其特征在于，所述处理器使用在线数据初始时刻的离线模 型参数通过公式：对目标函数进行初始化约束； 其中为初始化函数；或， 所述处理器使用在线数据初始时刻的离线模型参数通过公式：对目标函数进行自适应离线约束； 其中％自适应性离线函数； 模型参数的初始值为0,所述《。为在线数据初始时刻的离线模型参数。5. 如权利要求2所述方法，其特征在于，所述处理器将所述模型参数进行投影，具体 为： 所述处理器将t+1时刻的模型参数CO W投影到特定子空间，得到投影后的模型参数 。"1，^使所述处理器对t+1时刻的模型参数。…进行修正。6. 如权利要求5所述方法，其特征在于，所述处理器使用t+1时刻的模型参数CO W通 过公式：将t+1时刻的 模型参数CO W投影到欧拉子空间内。7. 如权利要求2所述方法，其特征在于，所述处理器根据投影后的模型参数得到流式 的模型均值，具体为： 所述处理器通过t + 1时刻的投影后的模型参数CO W得到t + 1时刻的流式的模型均值， W使所述处理器根据t+1时刻的流式的模型均值对t+1时刻对相应的对象预测打分，并根 据所述t+1时刻的流式的模型均值得到相应的处理结果。8. 如权利要求7所述方法，其特征在于，所述处理器使用t+1时刻的投影后的模型参数 ? W通过公式：得到t+1时刻的流式的模型均值； 其中，初始时刻的流式的模型均值W。为0。9. 一种处理器设备，其特征在于，应用于包括多个处理器的系统中，所述设备包括： 处理模块，用于根据在线数据的正负样本，W及正负样本的不同权重得到流式的模型 均值； 发送模块，用于将根据所述流式的模型均值得到处理结果发送到服务器，W使所述服 务器对所述处理结果进行整合得到训练模型； 其中，所述多个处理器之间使用异步并行的处理方式对在线数据进行处理。10. 如权利要求9所述设备，其特征在于，所述处理模块，具体用于： 根据在线数据的正负样本，W及正负样本不同的权重来得到目标函数；其中，正样本的 权重大于负样本的权重；其中，正样本的权重大于负样本的权重； 根据所述目标函数得到模型参数； 将所述模型参数进行投影； 根据投影后的模型参数得到流式的模型均值。11. 如权利要求10所述设备，其特征在于，所述处理模块根据所述目标函数得到模型 参数，具体为： 所述处理模块使用在线数据初始时刻的离线模型参数对所述目标函数进行初始化约 束或自适应离线约束，W使所述处理器得到模型参数。12. 如权利要求10所述设备，其特征在于，所述处理器将所述模型参数进行投影，具体 为： 所述处理模块将t+1时刻的模型参数CO W投影到特定子空间，得到投影后的模型参数 。"1，^使所述处理器对t+1时刻的模型参数。…进行修正。13.如权利要求10所述设备，其特征在于，所述处理模块根据投影后的模型参数得到 流式的模型均值，具体为： 所述处理模块通过t+1时刻的投影后的模型参数CO W得到t+1时刻的流式的模型均 值，W使所述处理器根据t+1时刻的流式的模型均值对t+1时刻对相应的对象预测打分，并 根据所述t+1时刻的流式的模型均值得到相应的处理结果。
【文档编号】G06K9/66GK105989374SQ201510094797
【公开日】2016年10月5日
【申请日】2015年3月3日
【发明人】安伟亭, 杨超, 刘忠义, 魏虎
【申请人】阿里巴巴集团控股有限公司