网页的自动化语音支持的制作方法

专利名称：网页的自动化语音支持的制作方法
技术领域：
本发明涉及语音识别领域，更具体而言，涉及网页中的语音输入处理。
背景技术：
语音识别系统通过在处理人的语音过程中避免使用昂贵的人力资本，大大降低了 运营成本，在商务中扮演关键角色。一般而言，语音识别系统包括耦合到定义会话流的脚本 的语音识别和文本到语音转换处理能力。因此，可以利用语音识别系统来为扬声器提供语 音交互式体验，就好象活人参与了人与人之间的谈话一样。语音识别系统已经被证实对使基于计算机的信息系统适应可听的语音处理世界 特别有用。具体而言，基于Web的信息系统在通过在线表单中完成字段的填写而从最终用 户处收集和处理信息时特别有效，这种说法对于语音识别系统也成立。具体而言，语音XML 和等效的技术提供了 Web表单适用于语音的基础。因此，语音识别系统已经被配置成通过 基于表单的输入进行复杂的数据处理，正如通过常规的Web界面的情况。将语音处理与Web应用的网页集成不适合弱者。不仅在网页和Web应用开发领域， 而且在语音应用开发领域也需要专业知识。与语音应用开发集成在一起的是设计和使用语 音语法使其反映语音应用的应用目的。因为Web表单中的不同字段的期望的信息会在不同 字段之间有所不同，因此，在许多情况下，必须为每一个字段生成不同语法。如此，支持语音的应用的语音开发组件常常与Web应用的开发同时进行，并需要 语音开发人员和Web开发人员之间的协调。只有这样才可将两者合并到一个支持语音的 Web应用中。由于此任务很复杂，支持语音的应用难以被许多类型的企业广泛采用，只是因 为许多企业缺乏资源和专业知识来协调支持语音的应用的开发。因此，Web分发的内容中 时常省略交互的一个重要形式，结果客户受损害
发明内容
本发明的各实施例解决了当前技术的在网页的语音支持方面存在的缺陷，并提供 用于网页的自动化语音支持的新颖而非明显的方法、系统和计算机程序产品。在本发明的 一个实施例中，用于语音支持网页的方法可包括选择网页的输入字段供进行语音输入，基 于所述输入字段的核心属性中的项来为所述输入字段生成语音语法，为所述输入字段接收 语音输入，将所接收的语音输入和所述语法张贴到自动语音识别(ASR)引擎并将由所述 ASR引擎所提供的所述语音输入的文本等值(textual equivalent)插入到所述网页的文 档对象模型(DOM)中。在本发明的另一实施例中，Web应用数据处理系统可以用于网页的语音支持。该 系统可包括语音支持配件，其包括用于执行下列操作的程序代码基于输入字段的核心属 性中的项来为网页中的输入字段生成语音语法，为所述输入字段接收语音输入，将接收到 的语音输入和语法张贴到通信地耦合的ASR引擎，并将由所述ASR引擎提供的所述语音输 入的文本等值插入到所述网页的DOM中。可任选地，核心属性可以是隐藏的标题字段。进一步地，这些项可包括对于相应语法所允许的项。更进一步，这些项还可包括前缀、语义指 示器或两者。最后，ASR引擎可以是符合代表性状态传输(REST)的ASR引擎。在 随后的描述中将阐述本发明的其他方面，经过描述，这些方面将变清楚，也可以 通过本发明的实践来了解。本发明的各方面将通过在所附权利要求书中特别指出的元素和 组合来实现和获得。应该理解，前面的一般性的说明和下面的详细描述只是示例性的和说 明性的，不会对如权利要求所述的本发明形成限制。


包括在说明书中并构成本说明书一部分的附图示出了本发明的各实施例，并且与 说明书一起用于说明本发明的原理此处所示出的实施例目前是优选的，然而，可以理解， 本发明不仅限于所示出的准确的配置和手段，其中图1是网页的自动化语音支持的过程的图示说明；图2是被配置用于网页的自动化语音支持的Web应用数据处理系统的示意图；以 及图3是示出了 Web应用数据处理系统中的语音支持网页的过程的流程图。
具体实施例方式本发明的各实施例提供了用于对网页进行自动化语音支持的方法、系统和计算机 程序产品。根据本发明的一实施例，Web应用的网页可以呈现在内容浏览器中，并可以为网 页的输入字段接收语音输入。可以为输入字段确定语法，并且，如果不能确定语法，则可以 为输入字段动态地生成语法。关于这一点，诸如输入字段的标题之类的输入字段的核心属 性可以为输入字段指定可允许的输入，或者，核心属性可以参考现有的语法。在任一种情况下，可以将语法和语音输入从内容浏览器张贴(post)到语音识别 引擎，并且作为响应可以接收文本等值。例如，符合REST的语音识别引擎可以接收来自内 容浏览器的语音输入和语法的该张贴，语音识别引擎可以将相当于语音输入的文本，例如， 根据Javascript对象符号(JSON)格式化的文本返回到内容浏览器。此后，可以将该文本 等值插入到网页的DOM中，并可以重新呈现该网页的受插入影响的部分，以为输入字段提 供文本输入的可视化。以此方式，甚至在没有语音应用开发的特定专业知识的情况下Web应用也可以是 支持语音的。具体而言，一个寻求对Web应用中网页的字段进行语音支持的人只需在输入 字段的核心属性内为输入字段指定所允许的项。可以参考输入字段的核心属性，自动地生 成语音语法。进一步地，可以通过将输入字段的语音输入的文本等值直接插入到网页的DOM 中，而将该文本等值无缝地集成到输入字段中。如此，不需要语音识别专业知识即可对Web 应用的网页进行语音支持。在例示中，图1以图形方式示出了用于对网页进行自动化语音支持的过程。如图 1所示，Web应用(未示出)的网页120可以通过由呈现网页120的内容浏览器(未示出) 产生的DOM 130来表示。D0M130可以在网页120内定义一个或多个不同输入字段180A、 180B、180N。每个输入字段180A、180B、180N都可包括诸如标题之类的核心、隐藏属性。本 领域技术人员将认识到，根据超文本标记语言(HTML)规范，诸如输入字段之类的标记语言元素的核心属性是已知的，并被很好地备有文件。

语音支持配件(widget) 190可以处理由最终用户110为输入字段180A、180B、180N 中的给定一个输入字段所提供的语音输入150。具体而言，在从最终用户110接收到语音 输入150之后，可以判断是否为输入字段180A、180B、180N中的给定一个输入字段指定了语 法。如果没有，则通过参考输入字段180A、180B、180N中的给定一个输入字段的对应的核心 属性，为输入字段180A、180B、180N中的给定一个输入字段生成语法140。关于这一点，对于 对应的语法提供允许的项的输入字段180A、180B、180N的示例性标记语言元素遵循<form do jo Type = " VoiceForm " widgetID = “ command “ method =〃 post" >Field一1 :<input type = " text" name = " Field 1" title = " terml,term2, term3" />Field一2 :<input type = " text" name = " Field 2" title = " term4,term5, term6〃 />Field_N < input type = “ text “ name = “ Field N" title = “ term7, term8〃 /></form>另外，可以为每一个字段提供诸如[the]或[an]或[to]之类的前缀，以允许自然 的语音。更进一步，还可以为允许的项提供语义含义。作为示例，<form do jo Type = " VoiceForm " widgetID = “ command “ method =〃 post" >Field一1 :<input type=" text" name =" Field 1〃 title=" [the]terml, term2, term3" />Field一2 :<input type = " text" name = " Field 2" title = " term4,term5, term6" >Fi e 1 d_N :< input type " text" name=" Field N" title=" (to | $NULL)， term7 = 1, term8 = O" /></fprm>以此方式，可以提供语音识别的语义解释(SISR)用于添加到生成的语法中，以便 一个项的说出的形式可以被转换为文本等值内的值。所产生的语法140可以反映所允许的项、前缀和语义值，例如，如下所示#ABNF1.0;language en-USmode voice ；tag-format<semantics/l.0> ；root $commandmet" author" is" VoiceGrammar Widget"；public $command = $prologue $action($Field_l$Field_2$Field_N)$epilogue {$· Field_l = $Field_l ；$· Field_2 = $Field_2 ；$· Field_N =$Field_N}
Sprologue = please|wouldyou|$NULL$action = dol|do2|doN|$NULL$Field_l = ([the]terml{$ = " term_l" } |term2{$ = " term_2}|term3{$ = " t erm_3}“ />$Field_2= (term4{$ = 〃 term_4" } | term2 {$ = " term_5} | term3 {$ = " term_
6}〃 />$Field_N = ((to|$NULL)term7 {$ =" term_7" } |term8{$ = " term_8}" />$epilogue = thanks|now|$NULL ；可选地，可以只为输入字段180A、180B、180N中的缺乏由最终用户110所提供的输 入的那些输入字段生成所产生的语法140。语音支持配件190可以将所产生的语法140与语音输入150 —起提供到语音识别 服务160，例如，符合REST的自动语音识别(ASR)弓丨擎。语音识别服务160可以与语法140 一起处理语音输入150，以产生语音输入150的文本等值170。可以将该文本等值170返回 到语音支持配件190，该语音支持配件190又可以将文本等值170插入到网页120的DOM 130的与输入字段180A、180B、180N中的给定输入字段相对应的那一部分。可任选地，还可 以将语音输入150传递到扬声器独立验证(SIV)引擎以执行语音鉴别。最后，可以由内容 浏览器(未示出)处理DOM 130，以利用在输入字段180A、180B、180N中的给定输入字段中 示出的文本等值170重新呈现网页120。可以在Web应用数据处理系统中实现结合图1所描述的过程。在例示中，图2示 意地描绘了被配置成用于对网页进行自动化语音支持的Web应用数据处理系统。该系统 可包括通过计算机通信网络230通信地耦合到客户机240的内容服务器210。内容服务器 210可以被配置成通过计算机通信网络230向客户机240供应网页220，以用于在内容浏览 器250中呈现。可任选地，每个网页220都可以是从分布在计算机通信网络230上的多个 不同内容源(未示出)提取的内容的“杂烩(mesh up)” 260。语音支持配件300可以耦合到内容浏览器250。语音支持配件300可包括用于从 输入字段的核心属性中的项为杂烩260中的字段生成提供语音输入270的语法的计算机程 序代码。该程序代码进一步可以用于向ASR引擎290提供语法和语音输入270，并且又接收 相当于语音输入270的文本输入280。最后，该程序代码还可以进一步用于将文本输入280 插入到杂烩260的DOM中，并在内容浏览器250中重新呈现杂烩260，以将文本输入260包 括在杂烩260的已经向其中提供了语音输入270的输入字段中。在语音支持配件300的操作的更进一步的例示中，图3是示出了用于在Web应用 数据处理系统中对网页进行语音支持的过程的流程图。在框305中开始，可以接收用于在 内容浏览器中呈现的网页，并在框310中，可以为该网页创建D0M。随后，在框315中，可以 作为网页在内容浏览器中呈现该DOM。该网页可以提供预计文本要输入的一个或 多个输入字段，然而，还可以与输入字 段中的一个或多个一起在该网页中提供用户界面元素，当被激活时，该元素允许在输入字 段中提供语音输入代替文本输入。如此，在框320中，可以选择用于语音输入的输入字段， 并在判断框325中，可以判断对于该输入字段是否存在语音语法。如果是，则可以为该输入 字段加载语法。否则，在框330中，可以从输入字段的核心属性中检索项，并且在框335中，可以基于这些项生成语音语法。
在任意一种情况下，在框345中，可以为输入字段接收语音输入，而在框350中，可 以将语音输入与语音语法一起张贴到耦合的ASR引擎中。此后，在框355中，可以将由ASR 引擎为语音输入产生的等效的文本插入到与该输入字段相对应的DOM的节点中。最后，在 框360中，可以重新呈现该网页以在输入字段中示出文本输入。本发明的各实施例可以呈现完全是硬件实施方式、完全是软件实施方式或包含硬 件和软件元件两者的实施方式的形式。在优选实施例中，本发明是以软件实现的，包括但不 仅限于固件、常驻软件、微代码等等。此外，本发明还可以采用计算机程序产品的形式，该产 品可以从计算机可用的或计算机可读的介质进行访问，其提供了程序代码，供计算机或任 何指令执行系统使用或与它们一起使用。对于此说明书，计算机可用的或计算机可读的介质可以是能够包含、存储、传递、 传播或传输供指令执行系统、设备或装置使用或与它们结合使用的程序的任何设备。介质 可以是电子的、磁性的、光学的、电磁的、红外的或半导体系统(设备或器件)或传播介质。 计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储 器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前示例包括压缩盘-只读存储器 (CD-ROM)、压缩盘-读 / 写(CD-R/W)和 DVD。适用于存储和/或执行程序代码的数据处理系统将包括至少一个通过系统总线 直接或间接地耦接到存储器元件的处理器。存储器元件可以包括在程序代码的实际执行过 程中使用的本地存储器、大容量存储器，以及高速缓冲存储器，其提供了至少某些程序代码 的临时存储，以便减少在执行过程中必须从大容量存储器取出代码的次数。输入/输出或 I/O设备(包括但不仅限于键盘、显示器、指点设备，等等)可以直接或者通过居间I/O控制 器耦接到系统。网络适配器也可以耦接到系统，以使得数据处理系统能够通过居间的私有 或公共网络耦接到其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解 调器和以太网卡只是几个当前可用类型的网络适配器。
权利要求
1.一种用于语音支持网页的方法，包括选择网页中的输入字段供进行语音输入；基于所述输入字段的核心属性中的项来为所述输入字段生成语音语法；为所述输入字段接收语音输入；将所接收的语音输入和所述语法张贴到自动语音识ASR引擎；以及，将由所述ASR引擎所提供的所述语音输入的文本等值插入到所述网页的文档对象模 型DOM中。
2.如权利要求1所述的方法，其中，基于所述输入字段的核心属性中的项来为所述输 入字段生成语音语法包括基于所述输入字段的标题属性中的项来为所述输入字段生成语首语法。
3.如权利要求1或2所述的方法，其中，基于所述输入字段的核心属性中的项来为所述 输入字段生成语音语法包括基于所述输入字段的核心属性中列出的对于相应语法所允许 的项以及所述所允许的项的前缀，为所述输入字段生成语音语法。
4.如权利要求1、2或3所述的方法，其中，基于所述输入字段的核心属性中的项来为所 述输入字段生成语音语法包括基于所述输入字段的核心属性中列出的对于相应语法所允 许的项以及所述所允许的项的语义指示器，为所述输入字段生成语音语法。
5.如权利要求1到4中任一权利要求所述的方法，其中，基于所述输入字段的核心属性 中的项来为所述输入字段生成语音语法包括基于相应的输入字段的核心属性中的项来为 每个输入字段生成语音语法。
6.如权利要求5所述的方法，其中，基于相应的输入字段的核心属性中的项来为每个 输入字段生成语音语法包括基于相应的输入字段的核心属性中的项来为缺乏文本输入的 每个输入字段生成语音语法。
7.如权利要求1到6中任一权利要求所述的方法，其中，将所接收的语音输入和所述语 法张贴到自动语音识别ASR引擎包括将所接收的语音输入和所述语法张贴到通信地耦合 的远程的符合代表性状态传输REST的ASR引擎。
8.一种Web应用数据处理系统，包括语音支持配件，包括用于执行下列操作的程序代码基于输入字段的核心属性中的项 来为网页中的输入字段生成语音语法，为所述输入字段接收语音输入，将接收的语音输入 和所述语法张贴到通信地耦合的自动语音识别ASR引擎，以及将由所述ASR引擎所提供的 所述语音输入的文本等值插入到所述网页的文档对象模型DOM中。
9.如权利要求8所述的系统，其中，所述核心属性是标题字段。
10.如权利要求8或9所述的系统，其中，所述项包括对于相应语法所允许的项。
11.如权利要求10所述的系统，其中，所述项还包括前缀。
12.如权利要求10或11所述的系统，其中，所述项还包括语义指示器。
13.如权利要求8到12中任一权利要求所述的系统，其中，所述ASR引擎是符合代表性 状态传输REST的ASR引擎。
14.一种计算机程序产品，包括实施用于语音支持网页的计算机可使用的程序代码的 计算机可使用的介质，所述计算机程序产品包括用于选择网页的供进行语音输入的输入字段的计算机可使用的程序代码；用于基于所述输入字段的核心属性中的项来为所述输入字段生成语音语法的计算机 可使用的程序代码；用于为所述输入字段接收语音输入的计算机可使用的程序代码； 用于将所接收到的语音输入和所述语法张贴到自动语音识别ASR引擎的计算机可使 用的程序代码；以及，用于将由所述ASR引擎所提供的所述语音输入的文本等值插入到所述网页的文档对 象模型DOM中的计算机可使用的程序代码。
15.如权利要求14所述的计算机程序产品，其中，用于基于所述输入字段的核心属性 中的项来为所述输入字段生成语音语法的计算机可使用的程序代码包括用于基于所述输 入字段的隐藏标题属性中的项来为所述输入字段生成语音语法的计算机可使用的程序代 码。
全文摘要
本发明的各实施例提供了用于对网页进行自动化语音支持的方法、系统和计算机程序产品。在本发明的一个实施例中，用于语音支持网页的方法可包括选择网页的供进行语音输入的输入字段，基于输入字段的核心属性中的项来为所述输入字段生成语音语法，为输入字段接收语音输入，将所接收的语音输入和所述语法张贴到自动语音识别(ASR)引擎并将由所述ASR引擎所提供的所述语音输入的文本等值插入到所述网页的文档对象模型(DOM)中。
文档编号G10L15/26GK102047323SQ200980119849
公开日2011年5月4日 申请日期2009年4月3日 优先权日2008年4月7日
发明者V·穆尔, W·L·努斯比克尔 申请人:纽昂斯通讯公司