专利名称：用于支持话音的自动填充的方法和系统的制作方法
技术领域：
本发明涉及多模式浏览器(multimodal browser)和话音服务器(voice server)，更具体地说，涉及用于多模式浏览器和话音服务器的话音实现的多模式应用。
背景技术：
建立在数据描述可扩展置标语言(XML)基础上的许多最新技术发展已产生出新的包含多模式接口或浏览器的基于Web的应用。一个多模式浏览器允许用户访问多模式内容，该内容既可以是图形，也可以是声频。按传统惯例，用户从键盘或者手动定向的屏幕光标入口，利用图形输入来访问Web内容。而后，用户也能利用语音输入。最近，用户已经能够通过允许既使用图形输入又使用语音输入的多模式接口访问Web内容。
一种多模式浏览器由可扩展超文本置标语言(XHTML或XML)+话音可扩展置标语言(VXML)(也可更简明表示为X+V置标语言)提供。所述X+V置标语言扩展传统的图形浏览器以包含口语交互作用。X+V置标语言把XHTML和XML-事件技术和作为万维网联盟(W3C)语音接口框架的一部分开发的XML词汇表结合起来。所述结合包含支持语音合成，语音对话，命令和控制应用以及语音语法的话音模块。话音处理器可添加到XHTML部件，且响应可视浏览器的特定的文档对象模型(DOM)尽管有这些技术开发，但是在按照惯例实现的多模式接口中不存在许多用户期望的能力，例如根据语音话语来填充表格字段的用户友好能力。要求用户输入的表格已成为平常之事。例如，在进入安全Web站点的访问权得到准许之前，用户通常必须完成一个表格。输入表格信息是使人烦闷，浪费时间甚至使人沮丧的事。对反复从各个Web站点获取内容的用户来说更是如此，在准许访问之前，都要求基于表格的用户数据输入。此外，用户可使用具有有限或者不方便的输入选项的设备来访问Web内容。例如，电话机，移动电话机，个人数字助理(PDA)或类似设备通常只包含一组有限的按键，一个很小的数字键盘，或者除了话音输入装置之外什么也没有。因此，需要扩展多模式浏览器从而提供能用话音实现表格字段的自动填充(autofill)的高效方法。
发明内容
本发明提供一种计算机实现的响应语音话语(speech utterance)自动填充表格字段的方法。所述方法可包含生成对应于表格字段的至少一种语法的步骤。所述语法以用户简档为基础，且可包含语义解释串(semantic interpretation string)。所述方法还包含生成事件的步骤。所述事件以至少一种语法为基础且能响应语音话语。所述事件可导致用对应于用户简档的数据填充表格字段。
按照另一个实施例，本发明提供响应语音话语自动填充表格字段的计算机系统。所述系统可包含生成对应于表格字段的至少一种语法的语法生成模块。所述语法以用户简档为基础且可包含语义解释串。所述计算机系统还可包含生成事件的事件模块，所述事件以至少一种语法为基础且能响应语音话语。所述事件可导致用对应于用户简档的数据填充表格字段。
附图中表示了目前优选的实施例，但是本发明显然并不局限于图示的方案和手段。
图1是图解表示其中可使用根据本发明一个实施例的系统的多模式通信环境的示意图。
图2是根据本发明一个实施例的系统的示意图。
图3是由图2的系统执行的操作的示意图。
图4是根据本发明的另一个实施例的系统的示意图。
图5是由图4的系统执行的操作的示意图。
图6是图解说明根据本发明的一个实施例的方法的流程图。
图7是图解说明根据本发明的另一个实施例的方法的流程图。
图8是图解说明根据本发明的另一个实施例的支持多模式自动填充的应用对话的示意图。
图9是图解说明根据本发明的另一个实施例的支持多模式自动填充的应用对话的示意图。
图10是图解说明根据本发明的另一个实施例的使用支持多模式自动填充的应用对话注册用户特定的信息的方法流程图。
图11是图解说明根据本发明的另一个实施例的使用支持多模式自动填充的应用对话访问多模式应用提供的Web表格的方法流程图。
具体实施例方式
图1是图解说明其中可使用根据本发明的响应语音话语自动填充表格字段的系统200的多模式通信环境100的示意图。如图所示，多模式通信环境100可包含语音处理资源，例如自动语音识别(ASR)引擎140和文语转换(TTS)引擎145，其中每一个都能经由通信网络150与系统200进行电子通信。通信网络150包含(但并不限于)局域网，广域网，公共交换电话网，无线或移动通信网或因特网。作为例证说明，系统200也能经由另一或同一通信网络150与计算机155以及与电话机160进行电子通信。
从随后的说明中将很容易明确图解说明的多模态通信环境100只是其中可方便地采用系统200的一种多模式通信环境。备选的多模式通信环境，例如可包含图示不同组件的各种子集。
参考附图2，系统200例证地包含应用程序205和，应用程序205通过应用程序接口210链接到解释器211。在解释器211内，系统200还例证地包含经由API 210连接到应用程序205的语法生成模块215和事件模块220。所述语法生成模块215和事件模块220可以在与应用程序205相同的地址空间中运行。所述系统还包含连接到话音浏览器的语音服务接口221。通常，所述语音服务接口221能连接到任意各种音频资源(未图示)，例如音频子系统，和语音处理资源，例如自动语音识别(ASR)引擎和文语转换(TTS)引擎。因此，系统200能作为托管(host)一个或多个应用(例如话音浏览器，交互式话音应答系统，话音服务器，或其它类型的应用)的服务器。例如，应用205还可作为许可话音或语音的可视浏览器。
系统200另外包含一个分析用VoiceXML书写的文档，并且确定在用户简档域内该文档是否包含一个同步话音字段的解析模块217。这里术语同步话音字段被用于表示由语音和图形输入的同步来填充的表格字段。如下说明，这种同步导致响应语音输入，用图形输入来填充表格字段。这里使用用户简档域来表示将用对应于用户简档的数据填充的那些表格字段，所述用户简档表示比如对应于用户的个人数据。这些个人信息可包含用户姓名，地址，电话号码。另一方面，其他类型的数据可包含在用户简档中，并且可以是根据本文所述发明的支持话音的(voice-enabled)自动填充的对象，而不会改变这里所述的本发明。
本文中的用户简档例证包括关键字，标志短语，和值，如表1中的典型用户简档模式所示。
表1API 210提供实现同步单元，例如X+V<sync>单元的VoiceXML字段语法。由VoiceXML字段语法实现的同步单元使图形输入控制，例如XHTML输入控制的值特性与同步话音字段同步。如上所述，在本文中，同步话音字段定义将由系统200自动填充的表格字段。
语法生成模块215可包含VoiceXML解释器。如图3所示，语法生成模块215从用户简档获得将被自动填入已识别表格字段中的一个特定字段的标志短语和对应值。语法生成模块215生成表示为自动填充语法的附加语法，它以标志短语为基础且具有包含和标志短语对应的值的语义解释(SI)串或标记。语法生成模块对由解析模块217识别为用户简档域中的同步话音字段的每个表格字段执行该操作。因此，语法生成模块215生成和限定表格字段的每个同步话音字段对应的自动填充语法，该语法以用户简档为基础且包括SI串或标记。
当表格解释算法(FIA)访问这样识别的表格字段之一时，语法生成模块215就能实现自动填充语法以及API 210提供的VoiceXML字段语法。当能实现自动填充语法和VoiceXML字段语法时，事件模块220根据所述语法创建自动填充事件。所述事件被配置成响应语音话语。
响应语音话语，自动填充事件使得执行SI串或标记，从而执行结果是对应于标志的值。自动填充事件使此结果被传播，同时由VoiceXML字段语法实现的同步单元用SI串或标记执行的结果填充Web页的表格字段。因此，所述事件导致响应语音话语，用包含在语义解释串中的值来填充表格字段。
图4是根据本发明的另一个实施例用于响应语音话语自动填充表格字段的系统300的示意图。所述系统包括应用程序305和解释器312，应用程序和解释器经由API 310连接。所述系统还包括语法生成模块315和事件模块325。如图所示，语法生成模块315和事件模块325是解释器312的一部分。
应用程序305可生成一个VoiceXML片段330并将其传送到解释器312。VoiceXML片段330能确定可用于处理接收到的语音话语的语法。在为多模式交互作用启用多个设备的情况下，配置文件320可选地被包含从而指定一个或多个不同的设备，比如电话机，移动电话机，家用安全系统，仪表板音频/通信系统，计算机系统，便携式电脑系统。在配置文件320中，每个设备被赋予一个可唯一识别该设备的标识符。在一个实施例中，在向解释器312注册VoiceXML片段330之前，应用程序305可访问配置文件320以便获得正在使用的设备的身份。
系统300使用命令，控制和内容导航置标语言(C3N)，其中应用程序305向解释器312注册基于C3N语法的VoiceXML链接，例如VoiceXML<link>。通过匹配链接中的语法而生成的事件被传回应用程序305，如图所示。通过根据C3N语法及指示的C3N链接语法指定一个或多个链接单元，可匹配输入到应用程序305的语音。即，解释器312可匹配从应用程序305接收的语音输入和C3N链接语法。一旦检测到所述匹配，解释器312就能生成一个或多个发送回应用程序305的事件。
如图5所示，更具体地说，当需要自动填充时，语法生成模块315生成C3N链接语法。该C3N链接语法以用户简档为基础。而后应用程序305指令解释器312添加C3N链接语法。C3N链接语法使事件模块325创建一个自动填充事件。在响应语音话语被执行时，该事件使表格字段由来自用户简档的图形输入填充。
例如，假定用户简档与上述相同，根据本实施例，下列基于VoiceXML的应用程序用关键字，标志短语和值单元来生成语法<Vxml linkeventexpr+“application.lastresult$.interpretation.c3n>
<grammar>
<！[CDATA[#JSGF V1.0grammar user-profile；public<user-profile>+Browser fill[my](first name{$.c3n＝“command.autofill.firstname”；}I last name{$.c3n＝“command.autofill.lastname”；}
I street address{$.c3n＝“command.autofilladress”；})；]]>
</grammar>
</vxmllink>.
用标志短语和对应关键字建立该语法，它包含在对应的SI串或标记的一部分中。例证地构建所述语法以便匹配诸如“fill my streetaddress”之类的短语。响应语音话语的VoiceXML链接导致该事件被传播。系统300通过搜索用户简档从而获得地址值来响应该事件，它被解释为自动填充命令。其结果是用值“8051 Congress Avenue”自动填充表格字段。
图6提供了图解说明根据本发明的另一个实施例的方法400的流程图。方法400从步骤410开始，其中解析一个文档以便确定X+V文档是否包含用户简档域内的同步话音字段。在步骤412为每个字段生成一个VoiceXML字段语法。
在步骤414，在用户简档的标志短语和对应值的基础上生成自动填充语法，所述值被包含在SI串或标记中。在步骤416中启用VoiceXML字段语法和自动填充语法。响应语音话语，在步骤418执行SI串，以致结果是包含在SI串或标记中的值。在步骤420，用此结果自动填充可视字段。
图7提供图解说明根据本发明的一个不同实施例的方法500的流程图。在步骤502，创建具有和用户简档对应的字段的链接语法。在步骤504由解释器添加所述链接语法。在步骤506，响应语音话语，并且当聚焦于页面中的某一字段时，所述链接生成一个事件。
如上所述，根据这里描述的不同实施例的系统可以在不同的能力中运行，包括用作具有用于响应语音话语用图形内容填充Web表格的字段的自动填充能力的浏览器。如果浏览器驻留于体积较小的设备(例如，移动电话)上，则自动填充能力特别有用。
如上所述的多模式自动填充通常采用基于提供给浏览器的用户信息的语法。已经描述过的用户标识可包括个人简档或其他标识记号，以及用户可通过由特定浏览器支持的多模式自动填充方便地输入的任意其他类型的信息。但是，如果将基于这种语法的用户信息用于体积较小的设备，则在设备上加载这种语法可能比较困难。而且，有些设备可能没有足够的存储器空间来存储这种信息。特定的设备也许不具有支持本地语音识别的能力。
本发明的另一实施例提供了克服上述难题的方式。特定的实施例允许浏览器用户通过数据通信网络输入用户信息。可以使用从诸如无线LAN(WLAN)的局域网(LAN)到因特网的任何类型的数据通信网络。可通过与特定数据通信网络连接的个人计算机(PC)或其他计算设备提供用户信息。
更具体地说，可以在存储于特定数据通信网络的预定位置(例如，因特网上的安全Web站点)的用户信息对话应用中维护用户信息。对话生成对应于用户信息的语法。例如，语法可存储在Web站点上，作为具有例如语音识别语法规范(SRGS)的标准格式的一组文件。
如果用户设备支持本地语音识别，则在用户使用设备浏览器登录到信息对话应用后，多模式自动填充被下载到设备。随后，当例如用户访问要求用户信息的由另一应用提供的Web表格时，用户使用如上所述的多模式自动填充能力填充表格。
图8提供了根据一个特定实施例的用户信息对话应用600的示意图。对话600执行的操作支持由用户使用运行支持多模式应用并且能够进行语音识别的web浏览器的设备执行的多模式自动填充。对话应用600例证地包括基于用户特定的信息生成语法的语法生成模块602。例证地，对话应用600还包括存储生成的语法的语法存储模块604，以及将生成的语法传递给由用户访问的位于远程的多模式应用的语法传递模块606。
对话应用600例证地驻留于Web服务器608上。用户将用户特定的信息从客户机610(例如桌面Web客户机)通过客户机和Web服务器608之间的数据通信网络连接提供给对话应用600。随后，用户使用具有语音识别能力以及自动填充能力的任何设备，链接到使用设备浏览器的对话应用600并从语法存储模块604下载其中存储的语法。当用户以后访问要求用户特定信息的由某个其他应用提供的Web表格时，用户使用多模式能力填充表格。
表2示出了可包括用户简档的用户特定信息。
表2可由语法生成模块602针对表2中的用户特定信息生成下列例示语法。注意，格式是用于表示语音语法的Java API语音语法格式(JSGF)，但是也可以替代使用诸如W3C语音识别语法规范的其他语法。
#JSGF V1.0；grammar user_profile；public<user_profile>＝Browser fill[my](first name{$.c3n＝″command.autofill.firstname″；}|last name{$.c3n＝″command.autofill.lastname″；}|street address{$.c3n＝″cornmand.autofill.address″；}|phone{$.c3n＝″comand.autofill.phone″；}；#JSGF V1.0；grammar myfirstname；public<myfirstname>＝first name{$＝″Soonthorn″}；#JSGF V1.0；grammar mylastname；public<mylastname>＝last name{$＝″Ativanichayaphong″}；#JSGF V1.0；grammar mystreet；public<mystreet>＝street address{$＝″8051 Congress Ave″}；#JSGF V1.0；grammar mystreet；public<mystreet>＝(telephone|phone){$＝″561-555-1234″}；对于具有语音识别能力的用户设备而言，上述语法在用户使用用户设备浏览器登录到web应用之后被取出。这些示例语法可由web应用存储，作为可使用下列示例URL访问的独立语法文件。
http//www.example.com/autofill/grammars/gram1.jsgfhttp//www.example.com/autofill/grammars/gram2.jsgfhttp//www.example.com/autofill/grammars/gram3.jsgfhttp//www.example.com/autofill/grammars/gram4.jsgfhttp//www.example.com/autofill/grammars/gram5.jsgf.
用户信息对话应用的替代实施例如图9示例性地表示。对话应用900特别旨在与具有支持多模式应用但缺乏语音识别能力的web浏览器的用户设备一同使用。当用户登录到例如驻留在应用服务器906上的位于远程的多模式应用904时，示例性地驻留于远程web服务器910上的对话应用900使得将语法912所在的网络地址传递给多模式应用。多模式应用904可选地使用特定的用户验证机制，定位位于所述网络地址的语法912，检索语法912并将其提供给位于应用服务器906上的语音识别引擎。
例如，地址可对应于包含在对Web页面的HTTP请求中的URL位置，所述请求来自于在用户设备902上工作的浏览器。更具体地说，请求可包含HTTP 1.1内容位置报头，这是本领域技术人员能够容易地理解的。多模式应用904接收HTTP请求并读取包含在内容位置报头中的URL。然后，多模式应用904取出由对话应用900生成并存储的语法，再将语法提供给位于应用服务器906上的语音识别引擎(未明确示出)。多模式自动填充语法被语音引擎激活，以便语法能够被与由应用发送给用户的Web表格响应一同使用。
请注意，对于不支持本地语音识别的用户设备而言，URL在用户使用在设备上运行的Web浏览器登录到web应用上后被下载。当用户随后使用Web浏览器访问由远程多模式应用提供的特定Web表格时，URL被包括在对Web页面的HTTP 1.1报头中。建议使用的HTTP 1.1报头是内容位置内容位置http//www.example.com/autofill/grammars/gram1.jsgf内容位置http//www.example.com/autofill/grammars/gram2.jsgf内容位置http//www.example.com/autofill/grammars/gram3.jsgf内容位置http//www.example.com/autofill/grammars/gram4.jsgf内容位置http//www.example.com/autofill/grammars/gram5.jsgf.
多模式Web应用读取内容报头信息并取出语法。请进一步注意，如上面间接提到的，应用服务器可使用验证机制，验证机制可能要求将客户机的记号(例如，cookies)传递给存储语法的Web服务器。记号(token)可包括用户的小型设备的唯一的IP地址。
图10是图解说明根据本发明的另一个实施例的使用应用对话注册用户特定的信息的方法流程图。在步骤1002，支持多模式Web浏览器的设备的用户访问驻留于服务器上的应用对话。在步骤1004，应用对话通过请求用户向应用注册来进行响应。用户又在步骤1006中通过输入例如用户在其上运行Web浏览器的设备的电话号码和/或IP地址来进行响应。
在步骤1008，应用呈现用以输入用户特定的信息(例如，用户名、地址和/或电话号码)的对话框。应用将用户指定的信息与用户设备的IP地址相关联并在步骤1010中将相关联的数据存储在数据库中。然后在步骤1012，用户便可以从应用中注销。
在步骤1014，示例性地确定对应于现在注册的信息的特定设备是否具有语音识别能力。如果具有，则在步骤1016中将与用户特定的信息相关联的自动填充语法下载到用户设备。否则，在步骤1018中，将相关的自动填充语法驻留在Web站点上的位置下载到该设备。该方法示例性地在步骤1020中结束。
图11是图解说明根据本发明的另一个实施例的使用应用对话访问Web表格的方法流程图。在步骤1102中，用户使用支持多模式交互的设备访问多模式Web应用。如果在步骤1104中，设备缺少语音识别能力，则在步骤1106中在对下一Web页面的请求(例如已知的HTTP请求)中提供存储的自动填充语法的位置。在步骤1108中，Web应用从指定的地址检索语法并在步骤1110中将自动填充语法添加到其服务器，以便填充例如以XHTML格式化的表格。
然而，如果设备支持语音识别，则可绕过步骤1106-1110。无论如何，方法在步骤1112继续，由Web应用呈现XHTML表格，并且可选地还呈现用于填充表格的话音对话。用于填充表格的语法在步骤1114中添加，随后在步骤1116中形成用于执行自动填充的各种方法。该方法在步骤1118中结束。
可用硬件，软件，或硬件和软件的组合来实现本发明。可集中地在一个计算机系统中实现本发明，或者按照分布式方式实现本发明，在这种情况下，不同的部件被散布在数个互连的计算机系统中。适合于实现这里描述的方法的任意一种计算机系统或其它设备都是适宜的。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统，当被加载和执行时，所述计算机程序控制计算机系统执行这里描述的方法。
本发明也能嵌入计算机程序产品中，所述计算机程序产品包含能够实现这里描述的方法的全部特征，并且当被装入计算机系统时，能够实现这些方法。本文中的计算机程序意味着一组指令的用任意语言、代码或符号表示的任意表述，所述一组指令使具有信息处理能力的系统直接地，或者在下述任一或下述二者之后执行特定的功能a)转换成另一种语言，代码或符号；b)用不同的材料形式再现。
在不脱离本发明的精神或本质属性的情况下，可用其它形式具体体现本发明。因此，本发明的范围应由下述权利要求限定，而不是由前面的说明书限制。
权利要求
1.一种计算机实现的响应语音话语自动填充表格字段的方法，所述方法包括生成对应于表格字段的至少一种语法，所述语法以用户简档为基础且包括语义解释串；和基于所述至少一种语法并且响应语音话语，创建自动填充事件，所述自动填充事件导致用对应于用户简档的数据填充表格字段。
2.按照权利要求1所述的方法，其中填充表格字段的数据取自特定于用户简档的表格的记录中，该记录建立数据和语音话语之间的关联。
3.按照权利要求1所述的方法，其中填充表格字段的数据包含除了包含于语音话语的语音到文本转换中的信息之外的信息。
4.按照权利要求1所述的方法，其中所述表格字段是话音置标语言文档的同步语音表格字段，并且其中所述生成步骤包含生成至少一种语法，所述至少一种语法定义和同步语音表格字段对应的表格字段语法。
5.按照权利要求4所述的方法，还包含解析话音置标语言文档，从而确定所述话音置标语言文档是否包含同步语音表格字段。
6.按照权利要求4所述的方法，所述生成步骤包含根据包含在语义解释串中的标志短语和值，另外生成自动填充语法。
7.按照权利要求6所述的方法，其中自动填充事件导致响应语音话语，用包含在语义解释串中的值填充表格字段。
8.按照权利要求1所述的方法，所述生成步骤包含生成话音命令和控制语法与内容导航语法至少之一。
9.按照权利要求1所述的方法，其中所述表格字段是话音置标语言文档的表格字段，并且其中所述生成步骤包含生成至少一种定义和表格字段对应的链接语法的语法。
10.一种响应语音话语自动填充表格字段的计算机系统，所述系统包括一个语法生成模块，用于生成至少一种和表格字段对应的语法，所述语法以用户简档为基础且包括语义解释串；和一个自动填充事件模块，用于基于至少一种语法且响应语音话语，创建自动填充事件，所述自动填充事件导致用对应于用户简档的数据填充表格字段。
11.按照权利要求10所述的计算机系统，其中所述表格字段是话音置标语言文档的同步话音表格字段，并且其中所述的语法生成模块包含话音置标语言解释器，用于生成至少一种语法，所述至少一种语法定义和同步话音表格字段对应的表格字段语法。
12.按照权利要求11所述的计算机系统，还包括一个用于解析话音置标语言文档从而确定所述话音置标语言文档是否含有用户简档域中的同步话音表格字段的解析模块。
13.按照权利要求11所述的计算机系统，其中所述话音置标语言解释器另外根据包含在语义解释串中的标志短语和值生成自动填充语法。
14.按照权利要求13所述的计算机系统，其中自动填充事件导致响应语音话语，用包含在语义解释串中的值填充表格字段。
15.按照权利要求10所述的计算机系统，其中所述语法生成模块包含配置成生成话音置标语言链接语法的浏览器。
16.按照权利要求15所述的计算机系统，其中所述自动填充事件是响应链接语法并使浏览器用对应于用户简档的数据填充表格字段的话音置标语言自动填充事件。
17.按照权利要求10所述的计算机系统，还包括用于支持自动填充事件模块的用户信息对话应用。
18.一个用于支持由用户使用具有支持多模式应用的web浏览器的设备执行的多模式自动填充的用户信息对话应用，所述对话应用包括基于用户特定的信息生成语法的语法生成模块；存储所生成的语法的语法存储模块；传递至少下列之一的语法传递模块(a)所生成的语法，以及(b)所生成的语法可被多模式应用访问的数据通信网络地址。
19.按照权利要求18所述的对话应用，其中如果设备不具有语音识别能力，则语法传递模块传递数据通信网络地址。
20.按照权利要求18所述的对话应用，其中如果设备具有语音识别能力，则语法传递模块传递所生成的语法。
全文摘要
提供一种计算机实现的用于响应语音话语填充基于图形的表格字段的方法和系统。所述计算机实现的方法包括产生对应于表格字段的语法，所述语法以用户简档为基础且包含语义解释串。所述方法还包括响应语音话语，根据所述至少一种语法生成自动填充事件，所述自动填充事件导致用对应于用户简档的数据填充表格字段。所述系统包括一个语法生成模块，用于生成对应于表格字段的语法，所述语法以用户简档为基础且包括语义解释串。所述系统还包括响应语音话语，根据至少一种语法生成自动填充事件的事件模块，所述自动填充事件导致用对应于用户简档的数据填充表格字段。
文档编号G06F17/20GK1752975SQ20051009994
公开日2006年3月29日 申请日期2005年9月13日 优先权日2004年9月20日
发明者苏恩索恩·阿蒂瓦尼查亚丰, 小查尔斯·W·克罗斯, 杰拉德·M·迈克库伯 申请人:国际商业机器公司