构建会话理解系统的制作方法
【专利说明】
【背景技术】
[0001]会话理解(CU)系统被用于各种各样不同应用。例如，CU系统已开发用于允许用户搜索内容、购买物品、获得方向等。CU开发过程在CU构建过程的每个步骤中使用诸如科学家和计算语言学家之类的专家。例如，专家用于对在创建CU应用时所使用的数据进行标记。
【发明内容】
[0002]提供本摘要用以以简化形式介绍下面在详细说明书中进一步描述的概念的选择。本摘要不旨在标识所要求保护的主题的关键特征或本质特征，其也不旨在被用作在确定所要求保护的主题的范围时的辅助。
[0003]开发人员可以借助于CU服务或平台中可用的资源和工具构建会话理解(CU)系统。提供所述工具和资源，以便允许开发人员使能实现用于CU的应用，以及与所述CU服务进行交互并扩展所述CU服务。所述工具包括各种各样不同工具，其诸如但不限于:标记工具、训练工具、验证工具等。所述工具可以用于从现有领域中选择覆盖范围、扩展一个或多个领域的覆盖范围以及在所述CU服务中创建新的领域。例如，开发人员可以从所述CU服务中的一个或多个现有领域(例如天气、金融、新闻、体育……)中选择一个或多个应用编程接口(API)来包括在应用中。开发人员可以提供示例自然语言(NL)语句，其由所述工具进行分析，以便帮助开发人员对用于更新CU服务中的模型的数据进行标记。例如，所述工具可以帮助开发人员从示例NL语句中标识领域、确定意图动作、确定意图对象和确定位置(slot)。所述工具自动确定对于示例NL语句的可能标记，并且允许用户创建新的领域、意图动作、意图对象和位置。例如，所述工具可以被开发人员用于为意图和位置添加他们自己的标签，或者选择已自动确定的标签。在所述开发人员为示例NL语句的全部或部分加标签之后，CU服务中的模型被自动更新和验证。例如，验证工具可以用于确定所述模型相对于测试数据的准确度。
【附图说明】
[0004]图1图示出了包括用于开发人员创建用于与会话理解服务进行交互的应用的工具的系统；
图2示出了用于对示例NL语句进行标记的示例性图形用户界面；
图3示出了用于使用工具来创建用于与会话理解服务进行交互的应用的过程；
图4示出了如下的过程，S卩:用于通过混合并匹配领域模型、意图模型或位置模型或者合并底层数据来训练新模型，而自动从示例自然语言语句中检测用于构建定制模型的领域、动作和对象；
图5示出了用于添加或更新关联于会话理解系统的领域的过程；
图6示出了使用现有领域来通过重用来自现有领域的意图(或者，意图动作和/或对象)向会话理解系统添加新领域的示例表；
图7图示出了使用由开发人员使用所提供的工具创建的功能性与应用进行交互的会话理解系统；
图8图示出了提供用于开发会话理解应用的工具的示例性在线系统；以及图9、10A、10B和11及关联的描述提供对本发明的实施例可以在其中被实践的各种各样操作环境的讨论。
【具体实施方式】
[0005]现在参考附图，将描述各种实施例，其中，相同数字表示相同元件。
[0006]图1图示出了包括用于开发人员创建用于与会话理解服务进行交互的应用的工具的系统。
[0007]如所图示的，系统100包括会话理解(CU)服务105、开发管理器26、应用编程器接口(API)120、模型140、数据150、标记工具160、训练工具170、验证工具180、应用110和触摸屏输入设备115。
[0008]一般说来，诸如⑶服务105之类的面向目标的⑶服务中的自然语言理解(NLU)针对标识如以自然语言(NL)表述的(一个或者多个)领域和用户的(一个或者多个)意图，以及提取关联的变元或位置。例如，在航空公司的领域中，用户经常请求航班信息(例如，“我想下个星期从纽约飞到波士顿”)。在其中用户经常使用自然语言搜索电影并且然后使用自然语言命令播放它们的电影领域中，存在许多不同位置类型(例如，电影明星、电影发行日期、电影评分等)。传统的对NLU系统的训练使用由专家手动进行标记(领域、意图和位置)或由专家自动进行标记和检查的查询。
[0009]开发管理器26被配置为提供帮助开发人员开发和构建用于与CU服务105进行交互的应用的工具。所述工具包括各种各样不同的工具，其诸如但不限于:标记工具160、训练工具170、验证工具180等。
[0010]不同的工具可以用于从现有领域中选择覆盖范围、扩展一个或多个领域以及创建用于与CU服务进行交互的新领域。例如，开发人员可以从被应用访问的CU服务105中的一个或多个现有领域(例如天气、金融、新闻、体育……)中选择一个或多个应用编程接口(API)120。一般说来，领域是关联于CU服务被训练为对其进行理解的一组动作的区域(例如电影领域、音乐领域、图书领域、比赛领域、航班领域……)。领域通常涉及特定区域，但也可以包括多于一个区域。开发人员还可以使用工具对领域进行扩展或在CU服务105中创建新领域。
[0011]根据一个实施例，对于每个被添加到CU服务的领域，固定数量的现有模型140被更新为反映该新添加的领域。根据一个实施例，所述模型包括领域模型、意图动作模型、意图对象模型和位置模型。根据另一实施例，当添加新领域时，可以创建新模型。
[0012]数据150包括与创建和使能实现用于会话理解的应用相关的数据。根据一个实施例，应用与CU服务105进行交互。例如，数据150可以包括用于对CU服务105的模型进行训练的训练数据、与CU服务105相关的一个或多个方案、用于扩展现有领域和在CU服务105中创建新领域的示例数据(例如示例NL语句)等。根据一个实施例，可以跨领域和意图共享诸如训练数据之类的数据。例如，针对意图动作的训练数据可以是跨各种各样不同领域是公共的。
[0013]标记工具160可以被开发人员用于帮助对期望的领域、意图和位置的数据进行标记。例如，标记工具160可以被开发人员用于为意图和位置添加他们自己的标签。开发人员可以提供示例NL语句，其由标记工具进行分析，以便帮助开发人员确定将使用什么现有领域、意图动作、意图对象和位置，以及，如何将附加覆盖范围并入CU服务105中。标记工具160自动为示例NL语句确定可能的标记，并且允许用户创建新的领域、意图动作、意图对象和位置。例如，所述工具可以被开发人员用于为意图和位置添加他们自己的标签，或者选择已自动确定的标签。标记工具160可以使用领域检测器122、意图动作检测器123、意图对象检测器124和位置标签构件125。
[0014]领域检测器122从不同NL语句中标识领域。例如，开发人员可以提供他们想要在⑶服务中覆盖的示例NL语句。领域检测器122可以从所述示例中标识单一领域或多个领域。例如，领域检测器122可以从一个示例NL语句中标识电影领域和社交领域这两者，并且，从另一示例NL语句中标识电影领域。从示例中检测出的领域可以或者可能还无法以被CU服务105支持。领域检测器122的结果可以被显示在图形用户界面(GUI)112中。
[0015]意图动作检测器123被配置为预测对于当前示例NL语句的意图动作。意图动作是在示例NL语句中将被执行的动作(例如，找到、发布、播放、购买……)。例如，意图动作检测器123可以将对于当前NL语句的意图动作预测为:得到动作;找到动作;发布动作;播放动作等。所预测的意图动作可以在GUI 112中被显示给开发人员，以便确定该所预测的意图动作是否是期望的动作。
[0016]针对每个已确定的意图动作，由意图对象检测器124标识一个或多个意图对象。意图对象是与已确定的意图动作相关的对象。意图对象是已确定的意图动作的对象(例如，电影、图片、物品……)。意图对象检测器124的结果可以被显示在图形用户界面(GUI)112中。根据一个实施例，从当前示例NL语句中确定意图(S卩，意图动作和意图对象的组合)。
[0017]位置标签由位置标签构件125使用已确定的领域、意图动作和意图对象来执行。一般说来，位置标签对什么位置关联于NL语句的单词进行标识。示例NL语句可以使用预测被自动加标签，并且然后当被确定时由开发人员进行校正。例如，开发人员可以使用GUI 112改变标签。位置标签构件125的结果可以被显示在图形用户界面(GUI)112中。
[0018]训练工具170包括可以用于更新⑶服务105的模型的不同工具。例如，开发人员可以选择训练工具以使用附加训练数据来更新模型中的一个或多个。
[0019]验证工具180可以被开发人员用于确定已更新的模型的准确度。例如，验证工具180可以用于将使用模型获得的结果与预期结果进行比较。验证工具180还可以被开发人员用于查看各个示例是否被正确地处理。当验证工具180指示出结果不正确时，该结果可以被校正(例如通过改变标记)。
[0020]为促进与开发管理器26的通信，可以实施一个或多个回调例程。根据一个实施例，应用程序110是多模应用，其被配置为接收语音输入和来自触摸敏感输入设备115或其他输入设备的输入。例如，话音输入、键盘输入(例如物理键盘和/或SIP)、基于视频的输入等。应用程序110还可以提供多模输出(例如语音、图形、振动、声音……)。开发管理器26可以响应于用户输入(例如语音、