用于控制自动化代理联盟的系统、方法和计算机可读介质与流程

1.示例实施例总体上涉及用于控制自动化代理联盟的系统、方法和/或计算机可读介质。
2.相关领域描述
3.当用户希望得到针对技术问题的帮助时，诸如在安装和/或维护用于蜂窝电话的基础设施的组件方面请求技术支持，用户可能希望得到来自一组人工专家的帮助。然而，用户可能在无法立即获得人工专家的时间请求帮助。
4.因此，已经开发了自动化软件代理(例如，自动化机器人程序(bot)和/或自动化专家系统)以在无法获得人工专家时提供帮助。


技术实现要素：

5.根据一些示例实施例，提供了一种控制自动化代理联盟的方法，自动化代理联盟包括多个在服务的自动化代理，多个在服务的自动化代理中的至少一些包括计算机可读指令，计算机可读指令在由计算机执行时，使计算机生成用于响应从一个或多个终端接收的票据的建议。方法包括：从终端接收票据，将票据路由到多个在服务的自动化代理中的一些在服务的自动化代理，测量由多个在服务的自动化代理中的一些在服务的自动化代理生成的建议的相似度，建议是用于响应票据的建议，基于一些在服务的自动化代理的评级和由一些在服务的自动化代理生成的建议的相似度来确定建议子集，评级基于指示先前的建议子集的质量的先前分数，以及将建议子集提供给终端。
6.该方法还可以包括：从终端接收指示建议子集的质量的分数，以及基于分数更新一些在服务的自动化代理的评级。
7.票据可以包括多个域。方法还可以包括：基于域中的至少一个域来测量票据的复杂度，以及基于复杂度确定一些在服务的自动化代理。
8.测量票据的复杂度可以包括，基于票据的描述域中的多个词来测量票据的复杂度。
9.该方法还可以包括,征求指示提供给终端的建议子集的质量的分数。
10.该方法还可以包括,基于建议的相似度，将票据和由一些在服务的自动化代理中的至少一个生成的建议添加到测试集。
11.该方法还可以包括，基于至少一个在服务的自动化代理的评级，从自动化代理联盟中移除至少一个在服务的自动化代理。
12.该方法还可以包括，由自动化代理联盟中的一些在服务的自动化代理生成用于响应票据的至少一个建议。
13.由自动化代理联盟中的一些代理生成用于响应票据的至少一个建议可以包括，审查描述域，将描述域与训练集相比较，以及基于描述域与训练集的比较来生成至少一个建议。
14.基于一些在服务的自动化代理的评级和由一些在服务的自动化代理生成的建议
的相似度来确定建议子集可以包括，合并来自一些在服务的自动化代理的建议，审查与一些在服务的自动化代理相关联的评级，以及基于对评级的审查将建议添加到建议子集。
15.该方法还可以包括，响应于指示建议子集的质量的分数大于质量评级阈值，将票据和建议中的至少一个建议添加到测试集。
16.该方法还可以包括，响应于建议的相似度等级大于相似度阈值，将票据和建议中的至少一个建议添加到测试集。
17.根据一些示例实施例，一种非瞬态计算机可读介质可以包括程序指令，该程序指令用于使装置执行任何上述方法。
18.根据一些示例实施例，提供了一种将临时自动化代理添加到自动化代理联盟的方法，自动化代理联盟包括多个在服务的自动化代理，多个在服务的自动化代理中的至少一些包括计算机可读指令列表，计算机可读指令在由计算机执行时，使计算机生成用于响应从一个或多个终端接收的票据的建议。方法可以包括：从终端接收票据，将票据转发给训练管理器，从训练管理器接收由临时自动化代理生成的临时建议，通过将临时建议与由自动化代理联盟中的一些在服务的自动化代理生成的建议相比较来评估临时自动化代理，以及响应于评估，将临时自动化代理添加到多个在服务的自动化代理。
19.根据一些示例实施例，一种非瞬态计算机可读介质包括程序指令，该程序指令用于使装置执行上述方法。
20.根据一些示例实施例，可以提供一种用于控制自动化代理联盟的装置，自动化代理联盟包括多个在服务的自动化代理。装置可以包括：至少一个处理器，以及包括计算机程序代码的至少一个存储器。至少一个存储器和计算机程序代码被配置为，利用至少一个处理器，使装置，从终端接收票据，将票路由到多个在服务的自动化代理中的一些在服务的自动化代理，测量由多个在服务的自动化代理中的一些在服务的自动化代理生成的建议的相似度，建议是用于响应票据的建议，基于一些在服务的自动化代理的评级和由一些在服务的自动化代理生成的建议的相似度来确定建议子集，评级基于指示先前的建议子集的质量的先前分数，以及向终端提供建议子集。
21.至少一个存储器和计算机程序可以被配置为，利用至少一个存储器，使装置，从终端接收指示建议子集的质量的分数，以及基于分数来更新一些在服务的自动化代理的评级。
22.至少一个存储器和计算机程序可以被配置为，利用至少一个存储器，使装置，征求指示提供给终端的建议子集的质量的分数。
23.至少一个存储器和计算机程序可以被配置为，利用至少一个存储器，使装置，由自动化代理联盟中的一些在服务的自动化代理生成用于响应票据的至少一个建议。
24.至少一个存储器和计算机程序可以被配置为，利用至少一个存储器，使装置，响应于指示建议子集的质量的分数大于质量评级阈值，将票据和建议中的至少一个建议添加到测试集。
25.根据一些示例实施例，提供了一种用于控制自动化代理联盟的装置，自动化代理联盟包括多个在服务的自动化代理，多个在服务的自动化代理中的至少一些包括计算机可读指令，计算机可读指令在由计算机执行时，使计算机生成用于响应从一个或多个终端接收的票据的建议，装置包括：用于从终端接收票据的部件，用于将票据路由到多个在服务的
自动化代理中的一些在服务的自动化代理的部件，用于测量由多个在服务的自动化代理中的一些在服务的自动化代理生成的建议的相似度的部件，建议是用于响应票据的建议，用于基于一些在服务的自动化代理的评级和由一些在服务的自动化代理生成的建议的相似度来确定建议子集的部件，评级基于指示先前建议子集的质量的先前分数，以及用于将建议子集提供给终端的部件。
26.根据一些示例实施例，提供了一种用于将临时自动化代理添加到自动化代理联盟的装置，自动化代理联盟包括多个在服务的自动化代理，多个在服务的自动化代理中的至少一些包括计算机可读指令列表，计算机可读指令在由计算机执行时，使计算机生成用于响应从一个或多个终端接收的票据的建议，装置包括：用于从终端接收票据的部件，用于将票据转发给训练管理器的部件，用于与从训练管理器接收由临时自动化代理生成的临时建议的部件，用于通过将临时建议与由自动化代理联盟中的一些在服务的自动化代理生成的建议相比较来评估临时自动化代理的部件，以及用于响应于评估，将临时自动化代理添加到多个在服务的自动化代理的部件。
27.示例实施例的这些和其他方面将在附图和其中的详细描述中变得清晰。
附图说明
28.从本文下面给出的详细描述和附图可以更全面地理解一些示例实施例，其中相似的元素由相似的附图标记表示，这些附图标记以图示的方式给出，因此不对本公开进行限制。
29.图1示出了其中可以实现一个或多个示例实施例的环境；
30.图2示出了根据一些示例实施例的控制在服务的自动化代理联盟的方法；
31.图3示出了根据一些示例实施例的用户界面的示例；
32.图4示出了根据一些示例实施例的基于票据的复杂度来路由票据的方法；
33.图5示出了根据一些示例实施例的生成建议以响应票据的方法；
34.图6示出了根据一些示例实施例的通过过滤建议集来生成用于响应票据的建议子集的方法；
35.图7示出了根据一些示例实施例的提供用于响应票据的建议子集的方法；
36.图8示出了根据一些示例实施例的调整在服务的自动化代理的评级的方法；
37.图9示出了根据一些示例实施例的将新的软件代理引入到在服务的自动化代理联盟中的方法；以及
38.图10示出了根据一些示例实施例的用于执行与在服务的自动化代理联盟相关联的方法的设备。
具体实施方式
39.现在将参照附图更全面地描述各种示例实施例，其中示出了一些示例实施例。
40.本文公开了详细的说明性实施例。然而，为了描述示例实施例，本文公开的特定结构和功能细节仅是代表性的。然而，示例实施例可以以许多替换形式来实现，并且不应被解释为仅限于本文阐述的实施例。
41.因此，尽管示例实施例能够进行各种修改和备选形式，但是这些实施例在附图中
以示例的方式示出，并将在本文详细描述。然而，应当理解，不意图将示例实施例限制于所公开的特定形式。相反，示例实施例将覆盖落入本公开范围内的所有修改、等同和备选。在附图的整个描述中，相同的数字指的是相同的元素。
42.图1示出了其中可以实现示例实施例的环境。
43.参照图1，环境1可以包括软件代理联盟100和具有用户界面150的设备1500。用户界面150可以由用户175访问。
44.软件代理联盟100可以包括在单个计算机上运行，或者备选地，在计算机集合(未示出)上运行的硬件和/或软件。计算机集合可以是分布式的，例如分布在计算机网络上。
45.计算机集合可以包括多个自动化代理101、102、103。多个自动化代理101、102、103中的至少一些自动化代理可以经由计算机可读指令来实现，该计算机可读指令在由计算机执行时，使计算机提供用于响应票据的建议。例如，多个自动化代理101、102、103中的至少一些自动化代理可以实现为用于执行神经网络和/或机器学习算法和/或专家系统的软件。自动化代理101、102、103中的至少一些自动化代理可以具有指示由代理提供的建议的质量的相应评级。
46.在训练阶段，多个自动化代理101、102、103中的至少一些自动化代理可以被训练，以生成对未完成票据的响应。自动化代理的训练可以针对不同的自动化代理而不同地进行。例如，自动化代理101的训练可以包括使用第一训练集来训练神经网络和/或机器学习算法，该第一训练集包含第一示例票据和用于响应第一示例票据的相应第一建议。自动化代理102的训练可以包括使用第二训练集来训练神经网络和/或机器学习算法，该第二训练集包含第二示例票据和用于响应第二示例票据的相应第二建议。
47.软件代理联盟100可以包括服务管理器110。服务管理器110可以经由计算机可读指令来实现，该计算机可读指令在由计算机执行时，使计算机执行根据示例实施例的一个或多个方法。例如，服务管理器110可以通过显示用户界面150的设备1500接收票据125，确定票据125的复杂度，以及选择多个自动化代理101、102、103的子集以用于通过用户界面150提供建议。服务管理器110还可以通过用户界面150请求来自用户175的反馈，包括指示建议的质量的评级。
48.软件代理联盟100还可以包括训练管理器1001。训练管理器1001可以管理正被训练的多个临时代理(未示出)。将参照图9进一步讨论训练管理器1001。
49.软件代理联盟100的组件可以彼此通信。例如，多个软件代理101、102、103中的每一个或至少一些可以与服务管理器110通信。例如，软件代理联盟100的组件可以通过网络彼此通信。
50.用户界面150可以是或可以包括图形用户界面(gui)，例如在网站上和/或诸如移动应用的app内呈现的图形用户界面。如果用户175希望得到对于解决技术问题的建议，则用户175可以与用户界面150接洽以提交票据125。稍后将参照图3更详细地描述用户界面150。
51.用户175可以是系统和/或技术的用户。作为示例，用户175可以是负责维护与移动网络相关联的设备的技术人员。作为示例，用户175可以是诸如办公环境中使用的操作系统和/或文字处理系统和/或应用等软件的用户。作为另一示例，用户175可以是计算机游戏或计算机游戏系统的用户。作为又一示例，用户175可以是与医疗保健递送相关联的系统的用
户。示例实施例不限于上述实施例，本领域普通技术人员可以容易地认识到其他示例实施例。可以基于由软件代理提供的建议来操作该系统。
52.作为示例，用户175可以请求针对新客户故障的支持，并请求用于响应新客户故障的建议。
53.图2示出了根据一些示例实施例的控制软件代理联盟的方法。
54.参照图2，在步骤201中，用户175可以通过经由设备1500向自动化代理联盟100提交票据125来请求用于解决技术问题的支持的建议。用户175可以使用用户界面150以将票据125提交给自动化代理联盟100中的服务管理器110。
55.在步骤202中，服务管理器110可以确定票据125的复杂度。例如，服务管理器110可以对描述域354内的字符的数量和/或词的数量进行计数，并且可以基于词的数量来确定票据的复杂度。
56.根据这些域，自动化代理联盟100可以确定票据125是简单的还是复杂的。示例实施例不限于对描述域354的审查，并且可以包括对票据125内的其他域的审查。
57.在步骤203中，服务管理器110可以将票据125路由到多个自动化代理。自动化代理的数量可以基于票据125的复杂度来确定。下面将参照图4更详细地描述用于路由票据125的方法的示例实施例。
58.在步骤204中，接收到票据125的自动化代理可以生成一个或多个用于响应票据125的建议。稍后将参照图5更详细地描述用于生成一个或多个建议的示例方法。
59.在步骤205中，服务管理器110可以整理来自自动化代理的建议，并且可以通过测量整理后的建议中的重叠量来确定相似度的量。例如，如果服务管理器110将票据125路由到自动化代理101、102、103中的每一个自动化代理，并且自动化代理101、102、103中的每一个自动化代理提供用于响应票据125的相同建议，则重叠量可能相对较高。然而，如果自动化代理101、102、103中的每一个自动化代理提供用于响应票据125的不同建议，则重叠量可能相对较低。
60.在步骤214中，服务管理器110可以将相似度的量与上限相似度阈值相比较。上限相似度阈值可以被确定，例如，由操作员(例如，人或网络)来确定，以及可以基于经验数据。
61.例如，重叠量可以等于由在服务的自动化代理101、102、103中的每一个在服务的自动化生成的相同建议的数量与生成建议的在服务的自动化代理101、102、103的总数之间的比率。例如，如果在服务的自动化代理101、102、103中的每一个在服务的自动化生成用于响应票据125的相同建议，则重叠可以是100％。备选地，如果在服务的自动化代理101、102、103中的每一个在服务的自动化生成用于响应票据125的不同建议，则重叠可以是0％。
62.例如，上限相似度阈值可以对应于80％的重叠。
63.如果重叠量超过上限相似度阈值，则在步骤206中，可以将票据125和由自动化代理生成的建议两者都添加到测试集。测试集可以用于临时代理的训练。稍后将参照图9更详细地描述用于训练临时代理的示例方法。
64.返回到步骤214，如果重叠量没有超过上限相似度阈值，则在步骤215中，服务管理器110将重叠与下限相似度阈值相比较。下限相似度阈值可以小于上限相似度阈值。下限相似度阈值可以由操作员(例如，人或网络)基于数据来定义。
65.例如，下限相似度阈值可以对应于由自动化代理联盟100内的代理生成的相同建
议中的50％重叠。
66.如果重叠小于下限相似度阈值，则在步骤216中可以将票据125路由到人工专家以供进一步审查。
67.返回到步骤215，如果重叠不小于下限相似度阈值，则该方法进行到步骤207。
68.在步骤207中，服务管理器110可以选择建议子集以通过用户界面150呈现给用户175。例如，服务管理器110可以基于自动化代理的评级和/或建议之间的重叠量来选择建议子集。稍后将参照图6更详细地描述用于确定建议子集的示例方法。
69.在步骤208中，服务管理器110可以(例如，通过用户界面150)向用户175提供建议子集。稍后将参照图7更详细地描述用于提供建议子集的示例方法。
70.在步骤209中，服务管理器110可以通过用户界面150征求来自用户175的反馈。例如，服务管理器110可以通过用户界面150和/或通过某种其他通信方法向用户175发送消息。该消息可以是或可以包括对于以上参照步骤208描述的提供给用户175的建议的质量的反馈的请求。
71.在步骤210中，服务管理器110可以通过用户界面150接收来自用户175的反馈。反馈可以指示步骤208中提供的建议中的每一个或一些的满意程度。用户175可以指示他或她对步骤208中提供的建议中的每一个或至少一些非常满意或极其满意、有点满意、中立、有点不满意或完全不满意。
72.在步骤853中，服务管理器110可以基于反馈来确定响应是否有帮助。例如，用户175可以提供指示对于步骤208中提供的建议的满意程度的数值。例如，用户175可以指示他或她在满分制上的某一水平上感到满意。可以将该数值与反馈阈值相比较。反馈阈值可以由操作员(例如，人或网络)基于经验数据来定义。
73.例如，反馈阈值可以对应于满意度为10分中的8分或更高的数值。
74.如果与反馈相关联的数值超过反馈阈值，则在步骤854中，可以将票据125和由自动化代理生成的被用户175评级为有帮助的建议添加到测试集。
75.在步骤211中，服务管理器110可以基于在步骤210中从用户175接收到的反馈来更新提供了建议的在服务的自动化代理的评级。此外，可以基于评级来调整自动化代理联盟100中的在服务的自动化代理的成员资格。例如，表现不佳的自动化代理可以从自动化代理联盟100中退出。
76.此外，提供了临时建议的临时自动化代理可以包括在自动化代理联盟100中。稍后将参照图9描述用于调整自动化代理联盟100的示例方法。
77.返回到步骤853，如果与反馈相关联的数值小于或等于反馈阈值，则该过程进行到步骤211，并如上所述继续。
78.因此，基于图2中概述的方法，更复杂的票据可以提供更有帮助的建议。此外，通过测量建议中的相似度等级，可以将新的自动化软件代理添加到软件代理联盟，而无需广泛的训练(例如，利用人工输入的训练)。此外，可以决定让提供离群值和/或不一致建议的软件代理退出。这可以帮助简化自动化代理联盟100。此外，通过测量相似度等级，可以确定转发票据以请求人工专家的帮助，从而提高提供给用户的建议的质量。
79.图3示出了根据一些示例实施例的用户界面的示例。
80.参照图3，用户界面150可以呈现为图形用户界面(gui)。gui可以包括可由用户(例
如，用户175)填写的多个域。例如，用户界面150可以包括标题域351、按钮域352、下拉列表域353和/或描述域354。
81.用户175可以标识要提交的票据125的标题，并将其输入到标题域351中。此外，用户175可以勾选按钮域352中的框和/或从下拉列表域353中选择项。更进一步地，用户175可以在描述域354中提供对问题的更详细的描述。描述域354可以允许用户以自由形式起草对他或她请求支持的问题的描述。描述域354可以包括自然语言。
82.示例实施例不限于此。图3所示的用户界面150的设计不限于此，并且可以向用户呈现更多或更少的域以供请求。
83.用户界面150可以呈现为设备1500上的网站，和/或可以呈现在移动设备的移动app上。示例实施例不限于这些示例。
84.图4示出了根据一些示例实施例的将票据路由到多个自动化代理的方法。该方法可以由服务管理器110执行。
85.参照图4，在步骤405中，服务管理器110可以决定票据125的复杂度是否为高，例如高于票据复杂度阈值。例如，如果在描述域354中存在相对较多的词，例如在5到50个词之间，则服务管理器110可以确定票据125是复杂的。备选地，如果在描述域354中存在相对较少的词(例如，少于5个词)，则服务管理器110可以确定票据125是简单的。
86.如果票据125的复杂度超过票据复杂度阈值，则在步骤408中，服务管理器110可以将票据125路由(例如，转发)到大量的在服务的自动化代理。例如，如果票据125的复杂度超过票据复杂度阈值，则自动化代理联盟100可以将票据125路由到三个、四个或五个在服务的自动化代理。例如，服务管理器110可以将票据路由到三个、四个或五个随机的在服务的自动化代理。
87.返回到步骤405，如果票据125的复杂度没有超过票据复杂度阈值，则在步骤407中，服务管理器110可以将票据125路由(例如，转发)到较少数量的在服务的自动化代理。例如，如果票据125的复杂度不超过票据复杂度阈值，则服务管理器110可以将票据路由到一个或两个在服务的自动化代理。例如，服务管理器110可以将票据路由到一个或两个随机的在服务的自动化代理。
88.图5示出了根据一些示例实施例的生成用于响应票据的建议的方法。
89.例如，将针对自动化代理101讨论图5的方法。然而，每个自动化代理可以执行该方法以生成用于响应票据的一个或多个建议。
90.参照图5，在步骤502，自动化代理101可以接收票据125。
91.在步骤503中，自动化代理101可以审查包括在票据125中的至少一些域。例如，自动化代理101可以解析与描述域354相关联的词以确定要解决哪个问题。例如，自动化代理101可以解析与描述域354相关联的词，以确定与票据125相关联的关键字。
92.在步骤504中，自动化代理101可以将票据125中包括的域与用于训练自动化代理101的训练集相比较。训练集可以已经根据历史数据生成，并且可以在稍后参考图6更详细描述的过程期间进一步扩充。
93.基于比较，自动化代理101可以生成用于响应票据125的一个或多个建议。例如，如果自动化代理101被实现为被训练为审查描述域354的自由形式内容的神经网络，则自动化代理101可以基于训练后的神经网络的特征来生成建议。
94.例如，自动化代理可以基于第k个最接近邻居算法和/或确定票据125和训练集之间的联合复杂度的算法来生成建议。自动化代理101可以生成与在票据125和训练集之间具有最接近邻居和/或最高联合复杂度的建议相对应的建议。
95.该建议可以是从建议列表中选择的建议。例如，建议列表可以是先前生成的。例如，建议列表可以包括参考手册中的讨论。建议列表可以存储在数据库和/或数据结构中。
96.在步骤505中，自动化代理101可以向服务管理器110提供(例如，发送)一个或多个建议。
97.图6示出了根据一些示例实施例的生成用于响应票据的建议子集的方法。
98.参照图6，在步骤606中，服务管理器110可以审查与生成响应的自动化代理相关联的评级(例如，质量评级)。
99.对于每个自动化代理，如果自动化代理的质量评级超过质量评级阈值，则在步骤607中，服务管理器110可以将建议添加到要通过用户界面呈现给用户的响应的子集。质量评级阈值可以由操作员(例如，人或网络)基于经验数据来定义。
100.例如，基于用户反馈，质量评级阈值可以具有对应于按照10分制的平均满意度等级为8的数值。
101.图7示出了根据一些示例实施例的提供建议子集以响应票据的方法。
102.服务管理器110可以准备要通过用户界面150呈现给用户175的建议。
103.参照图7，在步骤702中，服务管理器110可以基于有用的可能性对建议进行整理和排序，来对建议进行格式化以发送给用户175。可以基于重叠量对建议进行排序。例如，如果第一建议已经由五个自动化代理中的三个自动化代理(例如，自动化代理101、102、103)生成，则第一建议可以排序为第一。如果第二建议仅由五个自动化代理中的两个自动化代理(例如，自动化代理101、102)生成，则第二建议可以排序为第二。
104.在步骤703中，服务管理器110可以向用户175提供响应子集。响应子集可以通过用户界面150、和/或通过电子邮件、和/或通过文本消息和/或通过与用户175通信的某些其他方法来提供。示例实施例不限于这些示例。
105.图8示出了根据一些示例实施例的调整在服务的自动化代理的评级的方法。
106.自动化代理101、102、103中的至少一些可以具有相应的评级。在一个示例中，相应的评级可以是相应的质量评级(例如，与由自动化代理101、102、103提供的建议的质量相关联的数值)。可以基于来自用户175的反馈来调整评级。
107.例如，在步骤902中，服务管理器110可以接收来自用户175的反馈。
108.在步骤903中，服务管理器110可以确定用户175是否对建议满意。
109.如果用户175指示他或她对建议不满意，例如通过对建议给出低的数值，则在步骤904，提供了用户175不满意的建议的自动化代理的评级可以被降低。
110.在步骤906中，服务管理器110可以将每个自动化代理101、102、103的评级的数值与除名阈值相比较。除名阈值可以由运营商(例如，人或网络)基于经验数据来定义。
111.例如，除名阈值可以对应于按照10分制的10分中的2分的评级阈值。
112.在步骤907中，自动化代理101、102、103中具有低于除名阈值的评级的任何自动化代理可以从自动化代理联盟100中移除和/或退出。因此，可以减少和/或简化自动化代理联盟100。
113.返回步骤903，如果用户175对建议满意，则在步骤905中，服务管理器110可以提高提供了用户175满意的建议的在服务的自动化代理的评级。更进一步地，如参照步骤206所描述的，可以将建议添加到测试集。
114.图9示出了根据一些示例实施例的将新的软件代理引入软件代理联盟中的方法。
115.自动化代理联盟100可以由在服务的自动化代理构成。在服务的自动化代理可以在生成用于响应诸如票据125的票据的建议方面被训练。例如，在服务的自动化代理可以被实现为神经网络和/或机器学习算法和/或专家系统，并且可以基于测试集在生成建议方面被训练。
116.然而，在将新的自动化代理添加到已建立的自动化代理联盟100之前，该新的自动化代理可以被视为临时代理。
117.参照图9，可以存在管理多个正被训练的临时代理(未示出)的训练管理器1001。
118.最初，在步骤1050中，用户175可以通过用户界面150提交票据125。自动化代理联盟100可以接收票据。
119.在步骤1051中，自动化代理联盟100可以产生用于响应票据125的一个或多个建议。自动化代理联盟100可以根据参照图2-7概述的方法产生一个或多个建议。
120.在步骤1052中，服务管理器110可以通过用户界面150向用户175提供建议。此外，在步骤1053中，自动化代理联盟100可以将票据125转发给训练管理器1001。
121.在步骤1055中，训练管理器1001可以将票据125提供给多个临时自动化代理。在步骤1054中，训练管理器1001可以将来自至少一个临时自动化代理的响应转发给自动化代理联盟100中的服务管理器110。提供给临时代理的票据125可以对应于在步骤206中被标记为训练数据的票据125。
122.在步骤1052中，服务管理器110可以审查和评估由(多个)临时代理生成的响应。例如，服务管理器110可以比较和确定由临时代理生成的(多个)响应的模型精确度和召回分数。
123.例如，服务管理器110可以确定与由(多个)临时代理提供的、与由多个在服务的自动化代理101、102、103生成的建议相同的建议的部分相对应的精度分数。服务管理器110可以确定与由多个在服务的自动化代理101、102、103生成的、与由(多个)临时代理生成的建议相同的建议的部分相对应的召回分数。
124.服务管理器110可以确定模型精确度和召回分数，其将精确度分数与召回分数相关，以确定来自(多个)临时代理的建议的质量的度量。模型精确度和召回分数可以是精确度分数和召回分数的乘积除以精确度分数和召回分数的总和的比率的两倍。精确度分数和召回分数的乘积除以精确度分数和召回分数的总和的比率的两倍也可以称为f1分数。模型精确度和召回分数可以表示为比率和/或分数和/或百分比。
125.如果模型精确度和召回分数大于或等于进入阈值，则在步骤1056中临时代理被接受和部署在自动化代理联盟内。
126.进入阈值可以由操作员(例如，人或网络)基于经验数据来定义。例如，进入阈值可以对应于f1分数50％。
127.如果模型精确度和召回分数小于进入阈值，则临时代理不被接受和不被部署在自动化代理联盟内。
128.图10示出了根据一些示例实施例的用于实现一个或多个服务管理器110、一个或多个自动化代理101、102、103、一个或多个训练管理器1001等的设备。
129.如图所示，设备1100可以包括存储器1140；连接到存储器1140的处理器1120；连接到处理器1120的各种接口1160；以及连接到各种接口1160的一个或多个连接1165。
130.存储器1140可以是计算机可读存储介质，其通常包括随机存取存储器(ram)、只读存储器(rom)和/或永久大容量存储设备，诸如盘驱动器。存储器1140还存储操作系统和用于提供要由处理器1120执行的设备1100的功能的任何其他例程/模块/应用。还可以使用驱动机构(未示出)将这些软件组件从单独的计算机可读存储介质加载到存储器1140中。这种单独的计算机可读存储介质可以包括盘、磁带、dvd/cd-rom驱动器、存储卡或其他类似的计算机可读存储介质(未示出)。在一些示例实施例中，软件组件可以经由各种接口1160之一，而不是经由计算机可读存储介质，加载到存储器1140中。
131.处理器1120可以被配置为通过执行系统的算术、逻辑和输入/输出操作来执行计算机程序的指令。指令可以由存储器1140提供给处理器1120。
132.例如，处理器1120可以被配置为执行与上面参照图2和/或图4-10描述的任何方法相对应的指令。
133.各种接口1160可以包括将处理器1120与其他输入/输出组件接口的组件。如将理解的，各种接口1160和存储在存储器1140中以阐述设备1100的专用功能的程序将根据设备1100的实现而异。
134.接口1160还可以包括一个或多个用户输入设备(例如，键盘、小键盘、鼠标、触摸屏等)和用户输出设备(例如，显示器、扬声器、触摸屏等)。
135.一个或多个示例实施例提供了用于确定何时将新训练的自动化软件代理引导(例如，引入)到软件代理联盟中的机制。一个或多个示例实施例提供了用于开发票据和相应建议的示例测试集的机制。此外，一个或多个示例实施例可以提供用于确定何时在生成建议方面牵涉多于一个软件代理的机制。此外，可能需要一个或多个示例实施例提供用于确定何时从联盟注销/退出表现不佳的软件代理的机制。更进一步地，一个或多个示例实施例提供了用于确定何时应将票据路由给专家以供审查的机制。
136.尽管术语第一、第二等在本文可以用来描述各种元素，但是这些元素不应受这些术语的限制。这些术语仅用于将元素彼此区分。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离本公开的范围。如本文所使用的，术语“和/或”包括一个或多个相关联的列表项的任何和所有组合。
137.当元件被称为被“连接”或“耦合”到另一元件时，它可以直接被连接或耦合到另一元件，或者可以存在中间元件。相反，当元件被称为被“直接连接”或“直接耦合”到另一元件时，则不存在中间元件。用于描述元件之间关系的其他词语应以类似的方式解释(例如，“之间”相对于“直接之间”、“相邻”相对于“直接相邻”等)。
138.本文使用的术语仅用于描述特定实施例，并不意图是限制性的。如本文所使用的，单数形式“一”、“一个”和“该”意在也包括复数形式，除非上下文另有明确指示。还应理解，当本文使用术语“包括”、“包含”、“含有”和/或“含”时，这些术语指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
139.还应注意，在一些替代实现中，功能/动作可以不按图中所示的顺序发生。例如，根据所牵涉的功能/动作，连续示出的两个图实际上可以基本上同时执行，或者有时可以以相反的顺序执行。
140.在以下描述中提供了具体细节以提供对示例实施例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实施示例实施例。例如，可以在框图中示出系统，以便不会在不必要的细节中模糊示例实施例。在其他情况下，可以在没有不必要细节的情况下示出公知的过程、结构和技术，以避免混淆示例实施例。
141.如本文所讨论的，参照动作和操作的符号表示(例如，以流程表、流程图、数据流图、结构图、框图等的形式)描述说明性实施例，其可以被实现为程序模块或功能过程，包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等，并且可以使用例如现有网络管理设备、网络管理实体、客户端、网关、节点、代理、控制器、计算机、基于云的服务器、web服务器、代理或代理服务器、应用服务器、负载平衡器或负载平衡服务器、设备管理服务器等处的现有硬件来实现。如稍后所讨论的，这种现有硬件可以包括一个或多个中央处理单元(cpu)、片上系统(soc)设备、数字信号处理器(dsp)、专用集成电路、现场可编程门阵列(fpga)计算机等。
142.尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行、并发或同时执行。此外，操作的顺序可以重新安排。过程可以在其操作完成时终止，但也可以具有图中未包括的其他步骤。过程可以对应于方法、函数、程式、子例程、子程序等。当过程对应于函数时，其终止可以对应于函数返回到调用函数或主函数。
143.如本文所公开的，术语“存储介质”、“计算机可读存储介质”或“非瞬态计算机可读存储介质”可以表示用于存储数据的一个或多个设备，包括只读存储器(rom)、随机存取存储器(ram)、磁性ram、核存储器、磁盘存储介质、光存储介质、闪存设备和/或用于存储信息的其他有形的机器可读介质。术语“计算机可读介质”可以包括但不限于，便携式或固定存储设备、光学存储设备、以及能够存储、包含或携带(多个)指令和/或数据的各种其他介质。
144.此外，示例实施例可以由硬件、软件、固件、中间件、微码、硬件描述语言或其任意组合来实现。当以软件、固件、中间件或微码实现时，用于执行必要任务的程序代码或代码段可以存储在机器或计算机可读介质中，诸如计算机可读存储介质。当以软件实现时，一个或多个处理器将执行必要任务。
145.代码段可以表示程式、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任意组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一个代码段或硬件电路。信息、自变量、参数、数据等可以经由包括存储器共享、消息传递、令牌传递、网络传输等任何适合的手段来传递、转发或传输。
146.如本文所使用的，术语“包含”和/或“含有”被定义为包括(即，开放式语言)。如本文所使用的，术语“耦合”被定义为连接，尽管不一定是直接的，也不一定是机械的。从词语“指示”(例如，“表示”和“标示”)派生的术语旨在涵盖可用于通信或引用所指示的对象/信息的所有不同技术。可用于通信或引用被指示的对象/信息的技术示例中的一些，而不是全部，包括被指示的对象/信息的传送、被指示的对象/信息的标识符的传送、用于生成被指示的对象/信息的信息的传送、被指示的对象/信息的某些成分或部分的传送、被指示的对象/信息的某些派生的传送、以及表示被指示的对象/信息的某些符号的传送。
147.根据示例实施例，网络管理设备、网络管理实体、客户端、网关、节点、代理控制器、计算机、基于云的服务器、web服务器、应用服务器、代理或代理服务器、负载平衡器或负载平衡服务器、设备管理服务器等可以是(或包括)硬件、固件、执行软件的硬件或其任意组合。这种硬件可以包括一个或多个中央处理单元(cpu)、片上系统(soc)设备、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)计算机等，它们被配置为专用机器以执行本文描述的功能以及这些元件的任何其他公知功能。在至少一些情况下，cpu、soc、dsp、asic和fpga通常可以被称为处理电路、处理器和/或微处理器。
148.关于本发明的具体实施例，上面已经描述了益处、其他优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致或产生这种益处、优点或解决方案，或使这种益处、优点或解决方案变得更加明显的任何(多个)要素不得被解释为任何或全部权利要求的关键、必需或必要的特征或要素。
149.详细参照了实施例，其示例在附图中图示，其中相同的附图标记通篇指代相同的元件。就此而言，示例实施例可以具有不同的形式，并且不应被解释为仅限于本文阐述的描述。因此，上面仅通过参照附图描述了示例实施例，以解释示例实施例。在权利要求中指定了各种实施例的各方面。