用于语言模型自定义的灵活模式的制作方法

诸如智能手机、台式机、笔记本电脑、平板电脑、游戏主控台等之类的许多计算设备都利用包含了自动语音识别(ASR)以在多个不同领域(例如，语音搜索和短消息听写)上使用的应用。为了改进语音识别的质量，常常利用语言模型(例如，购物、游戏、音乐、电影等)来促进对专注于不同领域的语音的识别。目前与语言模型的使用相关联的缺点包括ASR场景，其中不同的领域需要由识别服务提供者同时服务。在这些场景中，可能需要将许多潜在的大语言模型保存在存储器中，这可能会对服务提供者的资源造成负担。关于这些问题和其他问题而完成了本发明的各种实施例。

技术实现要素：

提供了该发明内容以用简化的形式介绍在下文的具体实施方式中所进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在帮助确定所要求保护的主题的范围。

实施例提供了对用于语音识别的语言模型组件的自定义。可以使语言模型组件的列表可由计算设备使用。接着，将用于对来自列表的多个语言模型组件进行组合的提示发送至识别服务提供者。该提示可以是基于多个不同领域的。接着，可以基于该提示而由计算设备来接收语言模型组件的经自定义的组合。

从对以下的具体实施方式的阅读以及对附图的查看，这些和其他特征及优点将是显然的。应当理解的是，前述的一般描述和以下的详细描述都仅是说明性的而不对所要求保护的发明进行限制。

附图说明

图1是根据实施例的示出了用于对用于语音识别的语言模型组件进行自定义的系统的框图；

图2是根据实施例的示出了可以由图1的系统所利用的各种提示的框图；

图3是根据实施例的示出了可以在图1的系统中利用的各种领域的框图；

图4是根据实施例的示出了用于对用于语音识别的语言模型组件进行自定义的例程的流程图；

图5是利用其可以实现各种实施例的计算设备的简化框图；

图6A是利用其可以实现各种实施例的移动计算设备的简化框图；

图6B是利用其可以实现各种实施例的移动计算设备的简化框图；和

图7是其中可以实现各种实施例的分布式计算系统的简化框图。

具体实施方式

实施例提供了对用于语音识别的语言模型组件的自定义。可以使语言模型组件的列表对计算设备可用。接着，将用于对来自列表的多个语言模型组件进行组合的提示发送至识别服务提供者。该提示可以是基于多个领域中的一个领域的。接着，可以基于该提示而由计算设备来接收对语言模型组件的经自定义的组合。

在以下的具体描述中，对形成了本文的一部分并且作为图示而示出了具体的实施例或示例的附图进行了参考。可以组合这些实施例、利用其他实施例、并且进行结构改变而不脱离本发明的精神和范围。因此，以下的详细描述不应被看作限制性意义，并且本发明的范围是由所附的权利要求及其等同物所限定的。

现在将参考附图来描述本发明的各种方面，在几幅图通篇中的相同的附图标记表示相同的元素。图1是根据实施例的示出了可以用于对用于语音识别的语言模型组件进行自定义的系统100的框图。系统100可以包括可以与被配置为从一个或多个用户(未示出)处接收音频和/或文本输入的计算设备150进行通信的识别服务提供者102。在一个实施例中，识别服务提供者102可以基于由在计算设备150上执行的应用170所提供的、用于针对具体的语音识别领域或场景而定制的语言模型组件的各种组合的“提示”160(即“提示”)(即指引)而被配置为针对对于语音识别的“即时(on-the-fly)”或在线语言模型插值。特别地，并且如将在本文中更加详细地描述的，由应用170所提供的提示160可以包括用于由识别服务提供者102进行的用于语言模型自定义的灵活模式。

根据各种实施例，计算设备150可以包括而不限于：台式计算机、膝上型计算机、智能电话、视频游戏控制台、或电视机。计算设备150还可以包括用于检测语音和接收视频/图像的一个或多个记录设备(未示出)(例如，MICROSOFT KINECT、麦克风等)或者与其进行通信。计算设备150可以存储应用170，所述应用170可以被配置为提供可以由识别服务提供者102利用以对语言模型(LM)组件120进行自定义的提示160。根据实施例(并且如将在下文中所详细描述的)，应用170可以被配置为生成包括LM组件120的LM组件列表165。在实施例中，LM组件120可以包括可以用于语音识别的组件125A-125N。在一些实施例中，基于具体的领域、场景、或情境，组件125A-125N的各种组合可以包括或被提供有权重130(例如，由应用开发者)。例如，包括针对主要用于游戏的领域或场景而定制的组件125A-125N的组合的语言模型可以具有以下的所应用的权重：游戏：0.5，电影，0.3以及音乐0.2)。其他组件类型(例如，购物等)及权重组合也是可能的。

在一些实施例中，可以在对由服务提供者102基于包含在从应用170所接收的提示160中的指引而自定义的组件组合进行选择(即，语言模型105)时来利用LM组件120。特别地，语言模型105可以包括但不限于：预编译的组件组合110、基于主题的组件组合112、固定权重的组件组合114、以及其他组件组合116。例如，包括预编译的组件组合110的语言模型可以针对具体的领域(例如，短消息听写的语音搜索)而定制，包括基于主题的组件组合112的语言模型可以基于可用的项目的预编译列表，所述可用的项目基于与在系统100中当前可用的LM组件相对应的一个或多个主题/风格(例如，购物、游戏、音乐等)，并且包括固定权重的组合组件114的语言模型可以包括针对开发者对特定的场景的直觉而定制的LM组件的现有固定权重组合(例如，权重130已被应用于LM组件)。

如将在本文中更加详细地描述的，识别服务提供者102可以在针对各种识别情境或场景而选择合适的LM组件组合时利用提示160。在一个实施例中，提示160可以由应用170作为识别请求175(即，针对“即时”)的一部分的语言模型插值而提交至识别服务提供者102。在另一个实施例中，提示160可以由应用170作为离线初始化过程的一部分而提交至识别服务提供者102。根据实施例，应用170可以包括语音识别应用，例如来自华盛顿州Redmond市的MICROSOFT CORPORATION的BING VOICE SEARCH、WINDOWS PHONE SHORT MESSAGE DICTATION、以及XOBX MARKET PLACE VOICE SEARCH应用。然而应当理解的是，可以可替代地利用根据在本文中所描述的各种实施例的来自其他厂家的其他应用(包括操作系统)。

图2是根据实施例的示出了可以由图1的系统100利用的各种提示160的框图。提示160可以包括预定义组合提示210、识别主题提示220、重新使用现有组合提示230、文本语料库提示240、以及音频语料库提示250。预定义组合提示210可以包括对覆盖宽泛的领域(例如，语音搜索、短消息听写等)的LM组件(例如，LM组件120)的预定义的选择(例如，由应用开发者)。预定义的选择可以包含，例如，由识别服务提供者102对针对“即时”的组件插值的LM组件的预编译的语言模型或现有的固定权重组合。

识别主题提示220可以包含对来自与LM组件120相对应的可用的项目的预编译列表中的一个或多个主题/风格的手动选择。例如，如果LM组件包括购物、游戏、音乐、电影等，则预编译列表可以包括与由被确定为关于特定的语音识别应用(例如，针对游戏控制台的游戏、电影和音乐)的应用开发者所选择的LM组件相对应的项目。如在上文中所讨论的，在一些实施例中，也可以由应用开发者向LM组件提供权重。应当理解的是，在识别服务提供者102接收到识别主题提示220之后，识别服务提供者102可以在从应用170接收到的识别请求后而利用所提供的权重来对经选择的LM组件进行插值。

重新使用现有组合提示230可以参考对LM组件的现有的特定于场景的组合的重新使用。例如，应用开发者可以已经具有现有的识别应用，其中，LM组件的组合之前已经针对该现有的识别应用进行了优化。响应于该重新使用现有组合提示230，可以由识别服务提供者102针对新的但是类似的场景来重新使用相同的组合。

文本语料库提示240可以包括供系统100来学习关于该语料库而插值系数的最佳LM组件的领域内文本语料库。例如，如果应用开发者提供一批有关软件的副本，则可以期望该所得到的语言模型来处理有关软件的音频请求。本领域技术人员应当理解的是，可以利用诸如期望值最大化算法之类的技术来优化关于该语料库的LM组件权重向量。应当理解的是，与在上文中所讨论的提示210-230相反，文本语料库提示240(以及在下文中所讨论的音频语料库提示250)是隐含的提示。

音频语料库提示250可以包括供系统100来学习关于该语料库而插值系数的最佳LM组件的领域内音频语料库。应当理解的是，在实施例中，为了获得类似的识别准确度，可能需要比领域内文本语料库所需的样本数量更多的样本。

图3是根据实施例的示出了可以在图1的系统100中利用的各种领域300的框图。领域300可以包括宽泛的领域，例如语音搜索领域310和短消息听写领域320。领域300也可以包括狭窄的领域，例如游戏控制台领域330。在一些实施例中，应用170可以被配置为分配直观的领域名称(例如，“XBOX领域”)，以用于指定LM组件组合。除了在上文中所标识的那些领域之外，领域300还可以包括其他领域340，所述其他领域340可以包括宽泛的或狭窄的领域。

图4是根据实施例的示出了用于对用于语音识别的语言模型组件进行自定义的例程400的流程图。当阅读对在本文中所呈现的例程的讨论时，应当理解的是，可以将本发明的各种实施例的逻辑操作实现为(1)在计算系统上运行的计算机实现的行为或程序模块的序列，和/或(2)计算系统内的互连的机器逻辑电路或电路模块。实现是取决于实现本发明的计算系统的性能要求的选择问题。从而，在图4中所示出并且组成在本文中所描述的各种实施例的逻辑操作不同地被称为操作、结构性设备、行为、或模块。本领域技术人员应当理解的是，这些操作、结构性设备、行为、和模块可以在软件、在硬件、在固件、在专用数字逻辑、及其任意组合中被实现，而不偏离如在本文中所阐述的权利要求中所述的本发明的精神和范围。

例程400在操作405处开始，其中在计算设备150上执行的应用170可以呈现语言模型(LM)组件的列表以供用户(例如，应用开发者)选择。在各种实施例中，该列表可以被显示在用户界面155中，或者，可替代地，经由程序访问被提供至应用开发者。例如，该列表可以包括在上文中关于图1所描述的LM组件列表165。

从操作405开始，程序400继续至操作410，其中，在计算设备150上执行的应用170可以发送用于对从该列表中所选择的LM组件进行组合的提示160。提示160可以基于领域300中的一个或多个领域。例如，在一个实施例中，提示160可以包括对基于一个或多个领域的预编译的语言模型(例如，预编译的组件组合110)的选择。在另一个实施例中，提示160可以包括对基于一个或多个领域的LM组件的固定权重的组合(例如，固定权重的组件组合114)的选择。而在另一个实施例中，提示160可以包括对与LM组件中的一个或多个相对应的一个或多个识别主题(例如，来自预编译列表)(例如，基于主题的组合112)的选择。如在上文中关于图1所讨论的，也可以将一个或多个权重130应用至LM组件。如在上文中关于图2所描述的，在另一个实施例中，提示160可以包括领域内文本语料库或者领域内音频语料库。在另一个实施例中，提示160可以包括用于重新使用的LM组件的现有的组合。应当理解的是，在一个实施例中，可以由应用170将提示160与识别请求一起发送至识别服务提供者102。在另一个实施例中，可以在发送识别请求之前而将提示160作为离线初始化过程的一部分发送至识别服务提供者102。例如，应用开发者可以在启动应用之前作为注册过程的一部分而提交提示160，以便给识别服务提供者102提供足够的时间来处理提示160。应当理解的是，可以以该方式发送诸如领域内文本语料库和领域内语音语料库(在上文中所讨论的)之类的隐含的提示。

例程400从操作410继续至操作415，其中，在计算设备150上执行的应用170可以接收基于提示160而对LM组件的经自定义的组合。特别地，计算设备150可以接收由识别服务提供者102基于在提示160中所接收到的引导而自定义的语音模型(例如，语言模型105中的一个语言模型)。

例程400从操作415继续至操作420，其中，在计算设备150上执行的应用170可以维持所提交的提示160与相关联的LM组件之间的连接。例如，应用170可以被配置为维持包括由应用开发者手动选择的主题的提示与由识别服务提供者102所自定义的对应的LM组合或语言模型的寿命周期之间的稳定的连接。特别地，并且根据实施例，可以给应用开发者提供唯一的ID，可以利用该唯一的ID来引用用于根据由应用开发者所标识的特定的场景(或类似的场景)而进行识别的特定的经自定义的语言模型。应当理解的是，可以在各种粒度等级上应用前述的方法，包括但不限于：每领域、每场景、每应用、每应用领域、以及每应用用户、及其组合。接着例程400从操作415结束。

图5-7和相关联的描述提供了对其中可以实践本发明的多种操作环境的讨论。然而，关于图5-7所示出并讨论的设备和系统是出于示例和图示的目的的，并且不限于可以用于实践在本文中所描述的本发明的实施例的大量计算设备配置。

图5是示出了利用其可以实践计算设备500的示例物理组件的框图。在基本配置中，计算设备500可以包括至少一个处理单元502和系统存储器504。取决于计算设备的配置和类型，系统存储器504可以包括但不限于：易失性(例如随机存取存储器(RAM))、非易失性(例如，只读存储器(ROM))、闪速存储器、或任何组合。系统存储器504可以包括操作系统505和应用170。例如，操作系统505可以适用于控制计算设备500的操作，并且根据实施例，可以包括来自华盛顿州Redmond市的MICROSOFT CORPORATION的WINDOWS操作系统。应用170(在一些实施例中，其可以被包括在操作系统505中)可以包括用于执行例程的功能，所述例程包括例如，如在上文中关于图4的例程400中的操作所描述的那样对语言模型组件进行自定义。

计算设备500可以具有额外的特征和功能。例如，计算设备500还可以包括额外的数据存储设备(可移动的和/或不可移动的)，例如，磁盘、光盘、固态存储设备(“SSD”)、闪速存储器、或磁带。在图5中由可移动存储设备509和不可移动存储设备510示出了这样的额外的存储设备。计算设备500还可以具有诸如键盘、鼠标、笔、声音输入设备(例如，麦克风)、用于接收手势的触摸输入设备、加速度计、或旋转传感器等之类的输入设备512。还可以包括诸如显示器、扬声器、打印机等之类的输出设备514。前述的设备是示例并且可以使用其他的设备。计算设备500可以包括允许与其他计算设备518进行通信的一个或多个通信连接516。合适的通信连接516的示例包括但不限于：RF发射机、接收机、和/或收发机电路；通用串行总线(USB)、并行、和/或串行端口。

此外，可以在包括分立的电子元件的电气电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路、或包含电子元件或微处理器的单片机上实践各种实施例。例如，可以经由片上系统(SOC)来实践各种实施例，其中在片上系统中，可以将在图5中所示出的组件中的每个或许多个集成到单个集成电路上。这样的SOC器件可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，其全部都作为单集成电路而集成(或“烧”)到芯片基板上。当经由SOC进行操作时，可以经由在单个集成电路(芯片)上与设备/系统500的其他组件集成的专用逻辑，来对在本文中所描述的功能进行操作。还可以使用能够执行逻辑操作(例如，AND、OR和NOT)的其他技术来实践本发明的实施例，所述其它技术包括但不限于机械、光学、流体、和量子技术。另外，可以在通用计算机内或在任何其他电路或系统中实践本发明的实施例。

如在本文中所使用的术语计算机可读介质包括计算机存储介质。计算机存储介质包括以用于存储信息(例如，计算机可读指令、数据结构、或程序模块)的任何方法或技术来实现的易失性和非易失性的、可移动和不可移动的介质。系统存储器504、可移动存储设备509、以及不可移动存储设备510都是计算机存储介质的示例(即，存储器存储)。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪速存储器或其它存储技术、CD-ROM、数字多功能盘(DVD)或其它光存储、盒式磁带、磁带、磁盘存储或其它磁存储设备、或者可用于存储信息并可由计算设备500访问的任何其它制品。任何这样的计算机存储介质可以是计算设备500的一部分。计算机存储介质不包括载波或其他传播的或已调的数据信号。

通信介质可以由计算机可读指令、数据结构、程序模块、或已调数据信号(例如，载波或其他传输机制)中的其他数据来实施，并且包括任何信息传递介质。术语“已调数据信号”可以描述具有一个或多个特征集合或者以将信息编码在信号中的方式进行改变的信号。作为示例而非限制，通信介质可以包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声学的、射频(RF)的、红外的、和其他无线介质之类的无线介质。

图6A和图6B示出了利用其可以实践各种实施例的合适的移动计算环境，例如，可以包括但不限于智能电话、平板个人计算机、膝上型计算机等的移动计算设备650。参考图6A，示出了用于实现实施例的示例移动计算设备650。在基本配置中，移动计算设备650是具有输入元件和输出元件两者的手持计算机。输入元件可以包括允许用户将信息输入到移动计算设备650中的触屏显示器625以及输入按钮610。移动计算设备650还可以包含允许进一步的用户输入的可选的侧输入元件620。可选的侧输入元件620可以是旋转开关、按钮、或任何其他类型的手动输入元件。在可替代的实施例中，移动计算设备650可以包含更多或更少的输入元件。在另一个可替代的实施例中，移动计算设备是便携式电话系统，例如，具有显示器625和输入按钮610的蜂窝电话。移动计算设备650还可以包括可选的小键盘605。可选的小键盘605可以是物理小键盘或在触摸屏显示器上生成的“软”小键盘。

移动计算设备650包含输出元件，例如，可以显示图形用户界面(GUI)的显示器625。其他输出元件包括扬声器630和LED 680。额外地，移动计算设备650可以包含使得移动计算设备650进行振动以通知用户关于事件的振动模块(未示出)。在另一个实施例中，移动计算设备650可以包含耳机插孔(未示出)以用于提供另一个方式来提供输出信号。

尽管在本文中结合移动计算设备650进行了描述，但在可替代的实施例中可以结合任何数量的计算机系统来使用，例如，在台式计算机环境、膝上型或笔记本计算机系统、在多处理器系统、基于微处理器的或可编程的消费性电子产品、网络PC、微型计算机、大型计算机等中。还可以在分布式计算环境中实践各种实施例，其中在分布式环境中，由通过分布式计算环境中的通信网络所链接的远程处理设备来执行任务；程序既可以位于本地，又可以位于远程存储器存储设备中。总而言之，具有多个环境传感器、用于向用户提供通知的多个输出元件、以及多个通知事件类型的计算机系统可以包含在本文中所描述的各种实施例。

图6B是示出了在一个实施例中所使用的移动计算设备(例如，在图1中所示出的移动计算设备650)的组件的框图。即，移动计算设备650可以包含用于实现一些实施例的系统602。例如，可以在实现可以运行类似于台式计算机或笔记本计算机的应用的一个或多个应用的“智能电话”时使用系统602。在一些实施例中，将系统602集成为计算设备，例如，集成的个人数字助理(PDA)和无线电话。

应用170可以被加载到存储器662中，并且在操作系统664上运行或结合操作系统664运行。系统602还包括存储器662内的非易失性存储668。非易失性存储668可以用于存储如果系统602断电而不应该丢失的持续的信息。应用170可以使用非易失性存储668中的信息并且将信息存储在非易失性存储668中。例如，应用170可以包括用于执行例程的功能，所述例程包括，例如，如在上文中关于图4的例程400中的操作所描述的那样对语言模型组件进行自定义。同步应用(未示出)还驻留在系统602上并且被编程以与驻留在主机计算机上的对应的同步应用进行交互，从而保持存储在非易失性存储668中的信息与存储在主机计算机上的对应的信息相同步。应当理解的是，还可以将其他应用加载到存储器662中并且在移动计算设备650上运行。

系统602具有可以被实现为一个或多个电池的电源670。电源670还可以包括外置电源，例如，AC适配器或者给电池供电或充电的加电对接托架。

系统602还可以包括执行发送和接收射频通信的功能的无线电设备672(即，无线电接口层)。无线电设备672经由通信载波或服务提供者来促成系统602与“外部世界”之间的连通性。来往于无线电设备672的传输是在OS 664的控制下进行的。换句话说，可以将由无线电设备672所接收的通信经由OS 664散播至应用170，并且反之亦然。

无线电设备672允许系统602例如通过网络与其他计算设备进行通信。无线电设备672是通信介质的一个示例。系统602的实施例被示出具有两种类型的通知输出设备：可以用于提供视觉通知的LED 680以及可以与扬声器630一起使用以提供音频通知的音频接口674。这些设备可以直接耦合至电源670，因此当被激活时，即使处理器660和其他组件可以关闭以节省电池电量，这些设备保持通电并持续由通知机制所指示的一段时间。LED 680可以被编程为无限期地保持通电，直到用户采取动作来指示设备的通电状态为止。音频接口674用于向用户提供能够听见的信号，并且从用户接收能够听到的信号。例如，除了耦合至扬声器630，音频接口674还可以耦合至麦克风(未示出)以接收能够听见的(例如，语音)输入，例如，从而促进电话会话。根据实施例，麦克风还可以充当音频传感器以促进对通知的控制。系统602还可以包括支持用于记录静止的图像、视频流等的板载相机的操作的视频接口676。

实现系统602的移动计算设备可以具有额外的特征或功能。例如，设备还可以包括额外的数据存储设备(可移动的和/或不可移动的)，例如，磁盘、光盘、或磁带。在图6B中由存储668示出了这样额外的存储。

如在上文中所描述的，可以将由移动计算设备650所生成或捕获的数据/信息以及经由系统602所存储的数据/信息本地地存储在移动计算设备650上，或者可以将数据存储在可以经由无线电设备672或经由移动计算设备650和与移动计算设备650相关联的单独的计算设备(例如，分布式计算网络(例如，互联网)中的服务器计算机)之间的有线连接由设备来访问的任何数量的存储介质上。应当理解的是，可以经由移动计算设备650、经由无线电设备672、或者经由分布式计算网络来访问这样的数据/信息。类似地，根据公知的数据/信息传输和存储方式(包括电子邮件和协同数据/信息共享系统)，这样的数据/信息可以容易地在计算设备之间传输以供存储和使用。

图7是其中可以实践各种实施例的分布式计算系统的简化框图。分布式计算系统可以包括多个客户端设备，例如计算设备703、平板计算设备705、以及移动计算设备710。客户端设备703、705、710可以与分布式计算网络715(例如，互联网)进行通信。服务器720通过网络715与客户端设备703、705、710进行通信。服务器720可以存储可以执行例程的应用170，所述例程包括，如在上文中关于图4的例程400中的操作所描述的那样对语言模型组件进行自定义。

可以将与应用170相关联地开发、交互、或编辑的内容存储在不同的通信信道中或其他存储类型中。例如，可以使用目录服务722、门户网站724、邮箱服务726、即时消息传送存储728、或社交网络网站730来存储各种文档。如在本文中所描述的，应用170可以使用用于使能数据利用的这些类型的系统等中的任何一种。服务器720可以向客户端提供接近度应用170。作为一个示例，服务器720可以是提供通过网络的应用170的网络服务器。服务器720可以通过网络715来提供通过网络的应用170。作为示例，计算设备10可以被实现为计算设备703并且以个人计算、平板计算设备705、和/或移动计算设备710(例如，智能电话)来实施。计算设备703、705、和710的这些实施例中的任何一个可以从存储716中获得内容。

在上文中参考方法、系统、和计算机程序产品的框图和/或操作图描述了各种实施例。在方框中所记录的功能/操作可以按照不同于在任何流程图中所示出的顺序来进行。例如，取决于所涉及的功能/操作，连续地示出的两个方框可以实际上大体上同时执行，或者方框可以有时以相反的顺序执行。

在该公开中所提供的一个或多个实施例的描述或图示不旨在以任何方式限制或约束所要求保护的发明的范围。在该公开中所提供的实施例、示例、和细节被认为足以传达所有物，并且使得本领域技术人员能够制造并使用所要求保护的发明的最佳模式。所要求保护的发明不应该被解释为限于在该申请中所提供的任何实施例、示例、或细节。无论是共同地还是单独地示出或描述，(结构上和方法上两者的)各种特征旨在选被择性地包括或省略，以产生具有特定组的特征的实施例。在已经提供有本申请的描述和图示之后，本领域技术人员可以预想落入在该申请中所实施的一般的发明概念的更宽泛的方面的精神内的变型、修改和替代实施例，而不脱离所要求保护的发明的更宽泛的范围。