实例加权学习机器学习模型的制作方法
【技术领域】
[0001] 在本文中所讨论的实施例设及一种实例加权学习（IWL)机器学习模型。
【背景技术】
[0002] 机器学习是人工智能的一种形式，其用于使得计算机能够基于经验数据来使行为 进化。机器学习可W使用训练示例W捕获该些示例的未知的隐含的概率分布的关注的特 征。训练数据可W被视为示出了所观测变量之间的关系的示例。机器学习研究的主要焦点 在于；基于数据来自动地学习W识别复杂的模式并且做出智能的决策。
[0003] 机器学习的一个示例是监督式学习（SL)。化的目标是根据所标记的训练实例集 合T= {(Xi,yi), (X2,72)，. . .，（X。，y。)}来学习准确的映射函数g:X-Y;其中XfGX是来 自输入空间X的样本，W及Y是来自输出空间YQG(1，2，...，n})的标记。映射函数 g是假设空间G中的可能的映射函数的元素。在传统的化中，基于所有的训练实例对映射 函数g应具有相同的影响的假定来将所有实例视为同等地相关。
[0004] 然而，在现实应用中，并非所有的训练实例都具有相同的相关性，并且训练实例 (X^Yi)的输入Xi和标记Yi二者的相关性可能会有变化。例如，当对天气预报使用SL时， 训练数据可W包括气象数据诸如对温度、风、湿度等的测量的历史样本。然而，该样的测量 可能具有变化，包括根据一天的时间、位置、采用的设备等的变化。例如，如果训练数据从不 同的源来收集，则来自一个源（例如，具有较好的测量方法、较好的设备等的源）的训练实 例会比来自另一源（例如，具有较差的测量方法、较差的设备等的源）的训练实例具有更高 的相关性。在该示例中，传统的化会将来自不同源的训练示例考虑为同等地相关。结果， 较高相关性的训练实例和较低相关性的训练实例在化期间将会具有相同的影响，因此，SL 可能不能够根据训练数据生成准确的映射函数g。
[0005] 在另一示例中，训练集合可W包含具有未知输入值的一些训练实例。如果训练实 例具有大量的未知输入值，则训练实例将会变得不可靠（例如，训练实例可能具有更高的 被误标记的可能性），因此，具有大量的未知输入值的训练实例与具有已知输入值的训练实 例相比具有较低的相关性。如果训练集合包含相当数量的具有未知输入值的训练实例，贝U 因为低相关性实例的潜在的负面影响，传统的化算法可能不能够学习到准确的映射函数 g。
[0006] 本文中要求保护的主题不限于解决如上所述的任何缺点或仅在如上所述的环境 下工作的实施例。而是，本【背景技术】仅被提供W示出可W实践本文中描述的一些实施例的 一个示例技术领域。
【发明内容】
[0007] 总体上，本文中所描述的示例实施例设及采用实例加权学习（IWL)机器学习模型 来训练分类器的方法。本文中所公开的示例方法可W将质量值与强化学习训练实例集合中 的每个训练实例进行关联，W反映不同训练实例之间的质量差异。然后，在使用训练实例集 合训练分类器期间，可W采用每个质量值来对对应的训练实例进行加权使得分类器从具有 较高质量值的训练实例比从具有较低质量值的训练实例更多地学习。
[000引在一个示例实施例中，用于采用IWL机器学习模型的方法可W包括；将质量值与 强化学习机器学习训练实例集合中的每个机器学习训练实例进行关联，W及使用强化学 习，使用机器学习训练实例中的每个训练实例对分类器进行训练。在该示例中，机器学习训 练实例中的每个训练实例可W包括状态-动作对，W及在训练期间可W基于机器学习训练 实例中的每个训练实例所关联的质量值来对机器学习训练实例中的每个训练实例进行加 权。此外，在该示例中，分类器可W从具有较高质量值的机器学习训练实例比从具有较低质 量值的机器学习训练实例更多地学习。此外，在该示例中，在训练期间可W基于机器学习训 练实例中的每个训练实例所关联的质量值使用对不同质量值不同地加权的加权因子来对 机器学习训练实例中的每个训练实例进行加权。另外，在该示例中，分类器可W是多层感知 (ML巧神经网络、另外的多层神经网络、决策树或支持向量机。此外，在该示例中，该方法还 可W包括；确定应与机器学习训练实例关联的质量值。此外，在该示例中，机器学习训练实 例集合可W包括机器学习训练实例的时间序列，W及确定应与机器学习训练实例中的每个 训练实例关联的质量值可W包括；确定时间序列中的当前的机器学习训练实例的奖励化及 确定应与时间序列中的之前的机器学习训练实例中的每个训练实例关联的奖励的折扣部 分。
[0009] 在另一示例实施例中，采用IWL机器学习模型来训练分类器的方法可W包括；使 用强化学习，使用强化学习机器学习训练实例集合对分类器进行训练。机器学习训练实例 中的每个训练实例包括状态-动作对，W及在训练期间，基于已经与机器学习训练实例关 联的质量值来对机器学习训练实例中的每个训练实例进行加权，使得分类器从具有较高质 量值的机器学习训练实例比从具有较低质量值的机器学习训练实例更多地学习。在该示例 中，在训练期间，可W基于机器学习训练实例中的每个训练实例所关联的质量值，使用对不 同质量值不同地加权的加权因子来对机器学习训练实例中的每个训练实例进行加权。另 夕F，在该示例中，该方法还可W包括；确定应与机器学习训练实例关联的质量值并且将所确 定的质量值与机器学习训练实例进行关联。此外，在该示例中，机器学习训练实例集合可W 包括机器学习训练实例的时间序列，确定应与机器学习训练实例关联的质量值可W包括： 确定时间序列中的当前的机器学习训练实例的奖励W及确定应与时间序列中的之前的机 器学习训练实例中的每个训练实例关联的奖励的折扣部分，并且在时间序列中之前的机器 学习训练实例中的每个训练实例离当前的机器学习训练实例越远，则可W减小应与之前的 机器学习训练实例中的每个训练实例关联的奖励的折算部分。另外，在该示例中，质量值中 的每个质量值可W是正的或负的，正的质量值倾向于鼓励对支持与所关联的机器学习训练 实例类似的实例进行学习，而负的质量值倾向于阻止对支持与所对应的机器学习训练实例 类似的实例进行学习。
[0010] 在又一实施例中，采用IWL机器学习模型来训练分类器的方法可W包括；确定应 与强化学习机器学习训练实例的时间序列中的每个机器学习训练实例关联的质量值，将对 应的所确定的质量值与机器学习训练实例中的每个训练实例进行关联，W及使用强化学 习，使用机器学习训练实例中的每个训练实例对分类器进行训练。机器学习训练实例中的 每个训练实例包括状态-动作对，W及在训练期间，基于机器学习训练实例中的每个训练 实例所关联的质量值，使用对不同质量值不同地加权的加权因子来对机器学习训练实例中 的每个训练实例进行加权，使得分类器从具有较高质量值的机器学习训练实例比从具有较 低质量值的机器学习训练实例更多地学习。在该示例实施例中，在训练期间，基于机器学 习训练实例中的每个训练实例所关联的质量值，使用根据下面的公式对不同质量值不同地 加权的加权因子来对机器学习训练实例中的每个训练实例进行加权，上述公式为；u(q)= (a+b?q)，其中；q是所关联的质量值，U(q)是加权因子，a是第一经验参数，W及b是第二 经验参数。另外，在该实施例中，确定应与机器学习训练实例中的每个训练实例关联的质量 值可W包括；确定时间序列中的当前的机器学习训练实例的奖励W及确定应在时间序列中 的之前的机器学习训练实例中的每个训练实例关联的奖励的折算部分，并且在时间序列中 每个之前的机器学习训练实例离当前机器学习训练实例越远，则可W减小应与之前的机器 学习训练实例中的每个训练实例关联的奖励的折算部分。此外，在该实施例中，机器学习 训练实例中的每个训练实例是多输出依赖（MOD)机器学习训练实例，MOD机器学习训练实 例中的每个训练实例包括多个相互依赖的输出分量，W及使用强化学习，使用MOD机器学 习训练实例中的每个训练实例对分类器进行训练可W包括；在训练中采用基于分层的排序 化B巧机器学习模型或多输出松弛（MOR)机器学习模型。另外，在该实施例中，MOD机器学 习训练实例中的每个训练实例可W是潜在客户响应管理（LRM)MOD机器学习训练实例。
[0011] 要理解的是，前面的总体描述和下面的详细描述二者是示例性的和解释性的，并 且对如要求保护的本发明不是限制性的。
【附图说明】
[0012] 将通过使用附图来更加明确且详细地描述和说明示例实施例，在附图中：
[001引图1是示出了包括示例联系服务器的示例潜在客户响应管理（LRM)系统的示意性 框图；
[0014] 图2是示出了图1的示例联系服务器的另外的细节的示意性框图；
[0015] 图3是示出了通过传播折算奖励来导出训练实例的质量的示例方法的示意性流 程图；
[0016] 图4是示出了在示例多层感知（ML巧神经网络分类器的训练中采用的示例实例加 权学习（IWL)机器学习模型的示意性流程图；
[0017] 图5是采用IWL机器学习模型来训练分类器的示例方法的示意性流程图；
[0018] 图6是示出了示例输入特征向量的文本图；
[0019] 图7是多个正确的MOD输出决策的示意性流程图；
[0020] 图8示出了示例客户关系管理（CRM)系统的用户界面的示例计算机画面图像；
[0021] 图9示出了示例LRM系统的用户界面的示例计算机画面图像；
[0022] 图IOA示出了在代理选择潜在客户之前的示例潜在客户顾问显示的示例计算机 画面图像；W及
[0023] 图IOB示出了在代理已经选择潜在客户之后的图IOA的示例潜在客户顾问显示的 示例计算机画面图像。
【具体实施方式】
[0024] 本文中描述的一些实施例包括采用实例加权学习（IWL)机器学习模型来训练分 类器的方法。本文中所公开的示例方法可W将质量值与在强化学习训练实例集合中的每个 训练实例关联W反映不同训练实例之间的质量差异。然后，在使用训练实例集合训练分类 器期间，可W采用每个质量值来对对应的训练实例进行加权使得分类器从具有较高质量值 的训练实例比从具有较低质量值的训练实例更多地学习。
[0025] 如本文中所使用的，术语"多输出依赖性"或"MOD"指代包括相互依赖的多个输出 分量的输出决策或者具有该样的输出决策的问题，相互依赖在于每个分量不仅取决于输入 而且还取决于其他分量。一些示例MOD问题包括但不限于；1)给定当前的股票市场条件，要 购买W平衡共有基金的股票的组合；2)给定对方团队的当前的阵容，要替换进入运动队的 阵容的队员的组合；W及3)给定当前的天气条件，要穿戴的衬衫、裤子、腰带和鞋的组合。 在该些示例中的每个示例中，输出决策的每个分量取决于输入（当前的股票市场条件、对 方团队阵容或当前的天气条件）和其他分量（所购买的其他股票、所替换的其他队员或所 选择的其他衣物）二者。MOD问题的其他示例可W设及人质谈判、零售、网上购物系统、网络 内容管理系统、客户服务、合同谈判或危机管理或者需要具有多个相互依赖的输出分量的 输出决策的任何其他情况。
[0026] 另一示例MOD问题为潜在客户响应管理（LRM)。LRM是W使联系率或资格鉴定率 最优化的方式来响应潜在客户的过程。潜在客户可W来自各种源，包括但不限于网络表单、 推荐W及从潜在客户供应商所购买的列表。当潜在客户进入组织时，如何响应该潜在客户 的输出决策可W包括多个相互依赖的分量，诸如但不限于：谁应响应该潜在客户；应采用 何种方法来响应该潜在客户；应将何种内容包括在响应消息中；W及何时应发生响应。输 出决策的该些分量中的每个分量依赖于输入（潜在客户信息）和其他分量二者。例如，响 应的定时可W依赖于被选择来响应的人的可用性。另外，消息的内容可W取决于响应的方 法（例如，由于电子邮件消息的长度不限于如文