实时语音分析方法和系统的制作方法

实时语音分析方法和系统的制作方法
【专利摘要】本发明涉及一种实时语音分析方法和系统。提供了一种为用户提供实时语音纠正的方法。所述方法包括：捕获语音输入，执行所述语音输入的实时识别，以及分析所识别的语音输入以标识所述用户的语音中的可能错误。
【专利说明】实时语音分析方法和系统

【技术领域】
[0001] 本发明一般地涉及用于语音分析的方法和装置，更具体地说，涉及用于实时语音 分析的方法和装置。

【背景技术】
[0002] 语音是我们日常生活的不可或缺的一部分。准确的语音（例如，发音、语法等）在 高效通信中起着重要作用。能够有效地说话可以使人容易被理解，听起来信心十足，并且明 确地表达出重点。
[0003] 纠正和改进语音的常规设备和技术包括人为指导以及计算机辅助工具。
[0004] 在常规的人为指导方法中，雇用教师（即，语音-语言培训师、语言学家等）帮助 纠正和改进语音。例如，可以参加现场讲习班或完成在线课程。
[0005] 但是，使用现场老师会需要大量时间。此外，成本通常非常高昂。另外，使用这种 方法缺少迫切需要的灵活性。
[0006] 在常规的计算机辅助工具中，用户打开软件并且阅读软件显示的文本（预先选择 或随机选择）。计算机分析用户的声道并标识错误。计算机例如可以根据语音与所需发音 的接近程度分析语音，或者使用语音识别组件将语音输入转换为文本，然后测量转换的文 本与原始文本的接近程度。
[0007] 但是，这种计算机辅助工具不提供个人触觉。进一步，计算机难以表示用户的实 际、真实的语音内容。此外，用户通常仍然需要花费大量时间使用工具。
[0008] 常规工具的语音识别组件经过预先训练，因此高度地非个人化。实际上，常规计算 机辅助工具不能动态适应用户语音或者用户与他人对话中的内容。
[0009] 常规方法还需要主动练习。预先选择的文本可能不对应于用户最常说的单词和词 组。使用常规技术，可能难以涵盖用户习惯性说的某些事物，例如某些术语。


【发明内容】

[0010] 考虑到常规方法和结构的上述和其他示例性问题、缺点和劣势，本发明的一个示 例性特性是提供一种方法和结构，其中以高度个性化、具有时效性的方式实时纠正和改进 用户语音。
[0011] 本发明的第一示例性方面包括一种为用户提供实时语音分析的方法。所述方法包 括：捕获语音输入，执行所述语音输入的实时识别，以及分析所识别的语音输入以标识所述 用户的语音中的可能错误。
[0012] 本发明的另一个示例性方面包括一种非瞬时性计算机可读存储介质，其有形地包 含机器可读指令程序，所述机器可读指令程序可由数字处理装置执行以便执行一种为用户 提供实时语音分析的方法。所述方法包括：捕获语音输入，执行所述语音输入的实时识别， 以及分析所识别的语音输入以标识所述用户的语音中的可能错误。
[0013] 本发明的另一个示例性方面包括一种用于提供实时语音分析的系统。所述系统包 括：捕获组件，其用于捕获语音输入；自动语音识别（ASR)组件，其用于执行所述语音输入 的实时识别；以及分析组件，其用于分析所识别的语音输入以标识错误。
[0014] 本发明的另一个示例性方面包括一种用于在对话上下文中提供实时语音纠正的 方法。所述方法包括：使用自动语音识别系统（ASR)将多个说话者的语音转换为文本，所 述多个说话者包括用户；处理所述文本以提取上下文对话提示；使用所述提示检测候选声 音、候选单词和候选词组中的至少一个以便纠正；比较候选列表与来自用户简档的信息； 使用比较结果建议纠正和同义词中的至少一个；以及通过音频反馈、图形反馈和文本反馈 中的至少一个，向所述用户通知所述纠正和所述同义词中的所述至少一个。
[0015] 根据本发明的各示例性方面，可以提供用户语音的实时、被动监视，这不需要用户 的主动参与。这种方法高度交互，可以利用上下文和对话语义，并且高度个性化。

【专利附图】

【附图说明】
[0016] 从以下详细描述，将更好地理解上述和其他示例性目的、方面和优点。详细描述将 参考附图描述所公开的系统、方法和计算机程序产品的各种特性和功能。在附图中，类似的 系统通常标识类似的组件，除非上下文另有所指。示例性系统、方法和计算机程序产品并不 意味着限制。应该很容易地理解，所公开的系统和方法的某些方面可以以全部在此构想的 各种不同配置来布置和组合，这些附图是：
[0017] 图1是本发明的一个示例性体系架构的描述；
[0018] 图2示出根据本发明的一个示例性实施例的示例性方法；
[0019] 图3是可以用于实现本公开的发明方面的典型硬件配置；以及
[0020] 图4是可以与图3的典型硬件配置以及图1的示例性体系架构结合使用的示例性 存储介质的描述。

【具体实施方式】
[0021] 现在参考附图，更具体地说参考图1-4,其中示出根据本发明的方法和结构的各示 例性实施例。
[0022] 在当今忙碌的世界中，时间非常珍贵。本发明不需要主动练习。相反，它提供用户 语音的实时、被动监视。
[0023] 进一步，每个人都是独特的。至于语音，一个人的弱点可能是另一个人的强项。使 用预设单词和词组纠正和改进语音只能到此为止。通过分析来自用户日常生活的实际语音 而不是选定文本，本发明涵盖一组代表性并且完整的用户高频词汇。
[0024] 本发明还支持高度个性化的发音错误简档和语音识别组件。提供的定制、交互式 课程可以针对独特地常见于用户的错误，并且专注于用户独有的问题。
[0025] 本发明部署交互式用户接口，其不仅可以利用用户反馈分析语音错误，而且还可 以向用户建议纠正。
[0026] 本发明能够利用对话上下文信息帮助标识错误。通过使用上下文信息、对话语义、 主题识别等，可以更容易地标识错误。即，本发明可以依赖于用户语音中和/或用户与一个 或多个其他说话者之间的交流中的上下文信息。这种上下文信息通常可以称为上下文对话 提示。
[0027] 在一个示例性实施例中，本发明实时监视日常生活中的用户语音（例如，对话、电 话、会议）。
[0028] 本发明可以使用语音识别技术将语音转换为文本，并且通过某些度量标识有问题 的单词/词组，这些度量可以包括但不限于以下一个或多个：语音识别中的置信度得分、词 法上下文分析（例如，使用文本挖掘技术标识很少与上下文其余部分同时出现的单词），以 及语义上下文分析（例如，识别其他方问题和重复/纠正）。
[0029] 本发明可以在不涉及用户的情况下纠正有问题的文本，并且它可以可选地在用户 接口中突出显示有问题的文本，并要求用户纠正或确认自动纠正（以口头方式或以图形方 式）。
[0030] 本发明可以比较正确文本的标准发音与原始语音中的用户发音，标识错误并且将 它们存储在用户简档中。
[0031] 本发明可以经由音频以及经由具有语音的图形接口为用户实时提供纠正。
[0032] 本发明可以汇总用户的常见错误模式并向用户显示它们，并且自动安排旨在纠正 这些错误的课程。本发明可以维护用户错误模式的直方图。
[0033] 例如可以通过下载应用将本发明安装在便携式设备（例如智能电话）上，或者可 以通过因特网或者以可以提供程序和应用的各种其他方式，将本发明提供为服务。
[0034] 在一个示例性实施例中，要求保护的本发明可以提供发音纠正和训练。实际上，通 常发音错误是用户语音的一个主要问题。因此，本发明可以在提供发音纠正和改进方面尤 其有用。
[0035] 在一个示例性实施例中，本公开的方法可以通过使用母语说话者训练自动语音识 别系统（ASR)来实现。然后，本发明持续将来自用户的口语样本接收到ASR中。接收ASR 输出（例如，文本）以及与每个单词关联的置信度水平。本发明然后在文本中标识可能不 是用户所表达含义的一个或多个单词或词组（这可以称为"有问题的"文本）。
[0036] 可以通过挑选具有低置信度得分的单词标识有问题的文本。进一步，本发明可以 挑选出未在上下文中出现的单词。本发明还可以使用对话语义标识有问题的单词。
[0037] 例如可以基于测试结果设置有关用于查找有问题文本的置信度得分的阈值，并且 可以调整和调优该阈值。阈值的调整和调优可以有助于防止阈值设置过高，因此过于严格， 从而导致偶尔报告假警报。相反，调优和调整可以有助于防止阈值设置过低，因此阈值可能 缺少所需的敏感性，从而导致有时忽略某些错误。
[0038] 然后可以使用各种技术纠正有问题的单词、词组等。这些技术例如可以包括查询 用户简档中的常见错误模式，选择发音类似的单词（多个），但更优选的是在上下文和统计 语言模型中，要求用户经由音频或图形接口纠正或确认自动纠正。可以以各种方式完成提 取用户产生的错误。这些方式例如包括比较正确文本的语音与用户原始发音的语音，并且 通过自动语音生成系统（ASG)发送真实（正确）文本，然后比较来自ASG的语音输出与用 户的原始发音。
[0039] 本发明还可以经由音频或图形接口为用户提供可选、实时的反馈/纠正。这种反 馈和纠正可以包括将错误存储到用户简档中，将用户错误汇总成常见模式，并且将这些模 式存储到用户简档中。进一步，本发明可以以用户发音错误模式的直方图的形式创建有用 的图形数据。
[0040] 本发明可以用作移动设备上的独立应用，或者通过因特网用作服务。本发明还可 以用作用于训练语言之间的翻译的工具、用于幼儿学习说话的工具，或者其中用户有理由 监视和纠正语音和/或发音的任何其他应用。
[0041] 如上所述，有问题的文本包括以下文本：用户未真正表达，但由于他/她的错误 (例如，不正确发音）而使ASR认为用户说过。"真实"文本包括用户真正表达的含义。例 如，假设用户将cane sugar (鹿糖）的发音错误读成kearn sugar (科恩糖）。在该实例中， 有问题的文本将是"kearn sugar", "真实"文本将是"cane sugar"。
[0042] 图1示出本公开的一个示例性实施例。示出系统100。该系统包括捕获组件110、 自动语音识别（ASR)组件120、错误标识组件130、错误提取组件140、用户接口 150、存储组 件160、错误汇总组件170、用户简档组件180、课程规划器组件190以及主动学习组件195。
[0043] 存储组件160例如可以表示磁盘驱动器、磁存储驱动器、光存储器件、闪存器件、 其他类型存储器件，以及它们的任何各种组合。
[0044] 捕获组件110接收语音输入。捕获组件110可以从一个或多个源接收语音输入。 语音输入可以包括多个说话者的语音。即，在一个示例性实施例中，语音输入包括来自一个 用户的语音。在另一个示例性实施例中，语音输入包括对话。对话可以包括用户和一个或 多个其他说话者之间的交谈。
[0045] 错误标识组件130的输入包括来自ASR的文本输出。来自ASR的文本输出可以包 括对话文本。来自用户的语音文本与对话的其他方分离。语音还可以具有与每个单词/词 组关联的置信度得分。进一步，错误标识组件130还可以依赖于存储在用户简档组件180 中的信息。此外，错误标识组件130可以响应用户反馈。可以从用户接口 150生成用户反 馈。来自用户接口 150的虚线箭头表示来自用户的可选输入。用户反馈例如可以包括使用 实际（真实）文本对某一有问题的文本进行的确认和/或修改（当提示时）。
[0046] 用户接口 150可以是单独的或者在同一接口中。用户接口 150可以是音频和图形 /文本两者。
[0047] 进一步，除了来自ASR的最可能文本输出之外，本发明还能够输出具有多个可能 文本的列表。在这方面，本发明还可以使用每个句子的N个最佳列表（前N个最可能文本） (参见下面的检索"真实"文本）。
[0048] 本发明可以以各种方式检测有问题的文本，这些方式并非独有或受限的。在一个 示例性实施例中，错误标识模块可以依赖于问题检测和问题检索以便检测有问题的文本。 因此，在该实施例中，错误标识模块检查其他方是否对用户的先前语句有疑问，例如"did you mean…（您的意思是…）"、"Pardon?(请再说一遍？）"，从而通过分析说话者之间的 对话确定错误。
[0049] 进一步，错误标识组件130可以执行并且依赖于相似性计算。相似性计算检查其 他方是否尝试重复或复述用户的先前语句。如果其他人尝试重复或复述用户说过的某事， 则这通常可以是错误的强有力指示。
[0050] 此外，错误标识组件130可以执行并且依赖于主题提取。主题提取检查用户的语 句是否显示离题。如果用户所说内容离题，则它可能不同于真实文本。错误标识组件130 还可以参考来自ASR的置信度得分和/或参考用户简档（即，用户产生何种常见错误）。
[0051] 错误标识组件130所依赖的上述示例性方法和技术可以彼此同时或单独执行和 使用。还可以以类似方式使用其他技术和方法。
[0052] 本发明还可以以各种方式检索真实文本。错误标识组件130可以使用来自其他说 话者的提示检索真实文本。例如，说话者重复或复述用户说过的内容。还可以通过查找发 音类似于有问题的文本、但在对话主题中的单词或词组，标识真实文本。进一步，可以参考 有问题文本的语音的"N个最佳"列表，检索真实文本。还可以通过参考用户简档中的信息 (例如，用户产生何种常见错误），标识真实文本。
[0053] 错误标识组件130可以输出各种数据和信息。即，错误标识组件130的输出可以 包括文本输出。这种文本输出可以包括有问题的文本，该文本被标记并且可以与真实文本 的多个候选者一起示出。
[0054] 可选地，错误标识组件130还可以输出备选文本以避免用户的常见发音错误。备 选文本可以包括向用户建议语义上类似于真实文本、但对于用户而言没有发音困难的某 一文本。例如，如果用户在单词"automobile (汽车）"的发音方面存在问题，则错误标识 组件130可以建议该用户代之以说"car(汽车）"。执行该操作的一种方式是通过使用 WordNet?或类似软件。
[0055] 在一个示例性实施例中，将错误标识组件130的输出提供给错误提取组件140的 输入。
[0056] 进一步，还可以通过用户接口 150接收错误标识组件130的输出。
[0057] 错误提取组件140使用接收的信息提取错误。实际上，在一个示例性实施例中，错 误提取组件140接收输入，该输入包括有问题的文本，以及ASR从中生成有问题文本的真实 文本和/或原始音频。
[0058] 错误提取组件140然后例如可以输出以文本显示的错误。这可以通过以下操作实 现：比较有问题的文本与真实文本，以及寻找差异。在比较中找到的差异是提取的错误。
[0059] 错误提取组件140可以输出语音错误。这在错误提取模块比较有问题文本的语音 与"真实"文本的语音时实现。在比较中发现的差异是提取的错误。
[0060] 此外，错误提取组件140可以输出以音频显示的错误。这在错误提取组件将真实 文本发送到ASG(自动语音生成模块）时实现，ASG生成真实文本的正确发音。然后，将正 确发音与原始音频相比较，并且差异是音频中的错误。
[0061] 将错误提取组件的输出提供给用户接口 150。还可以将错误提取组件的输出提供 给存储组件160。
[0062] 存储组件160存储发现的任何错误。将存储组件160的输出提供给错误汇总组件 170。因此，来自存储组件160的所存储的数据是错误汇总组件170的输入。
[0063] 错误汇总组件170可以检测能够形成的用户错误的模式。因此，错误汇总组件170 可以汇总用户的常见错误模式。可以向用户显示这些错误模式。进一步，可以依赖这些错 误模式以便可选地为用户安排旨在纠正这些错误的课程。
[0064] 将在错误汇总组件170中编辑的数据输出到并且存储在用户简档组件180中。用 户简档可以包含并且存储有关用户的各种信息。这种信息可以包括但不限于用户国籍、用 户具有的任何口音，以及有关用户的历史信息。这种历史信息可以包括用户的常见错误模 式、已分析的任何用户语音、对已标识的错误的任何先前响应，以及来自用户的任何反馈。 用户可能选择忽略他产生的某些错误模式。因此，在某一段时间内，如果他再次产生这种错 误，则他可能希望系统容忍该错误。还可以将这种容忍偏好存储在用户简档中，并且可以很 容易地更改此配置。
[0065] 创建和定制旨在纠正和改进用户语音的课程还可以为用户提供许多好处。可以将 来自用户简档组件180的信息输出到课程规划器组件190。课程规划器组件190可以安排 用户课程。这些课程高度交互并且高度可定制。可以通过依赖于用户输入、用户反馈、用户 错误模式或其他用户数据来创建课程。具有这种信息之后，用户可以进一步定制课程。所 有课程可以用于针对特定类型的错误、用户的问题领域，以及其他困难领域。可以被动安排 这些课程而不需要任何用户时间或交互工作。
[0066] 用户还可能希望主动参加某些课程。用户可以主动参加来自主动学习组件195的 课程。这种组件可能不使用对话，但可能需要用户的主动参与。课程材料例如可以包括可 能更容易地确定错误的参考句子。在一个示例性实施例中，可以通过机器学习训练错误汇 总组件170。例如，机器学习算法可以自动对错误进行分类并提取错误模式：如果给出预期 的发音和不正确的发音，则使用上下文、语音和/或词法信息作为特性。可以使用不同的机 器学习技术（例如决策树、SVM等）执行分类。错误标识组件130可以依赖于用户简档组 件180中的信息。
[0067] 还可以基于图1执行根据本发明的示例性实施例的示例性方法。
[0068] 图2示出根据本发明的一个示例性实施例的示例性方法。在步骤200,捕获语音输 入。然后，在步骤210,针对所述语音输入执行实时识别。然后，在步骤220,分析所识别的 语音输入并且可以标识错误。
[0069] 可以通过实例方式提供本公开的一个示例性实施例的方法。下面展示使用对话上 下文（即，上下文对话提示）的一个实例。
[0070] 在该实例中，本发明在用户莎莉的智能电话的后台工作。莎莉为其丈夫提供驾车 指导"You should go to the left learn when you see the department store, then take a left turn at the next light.(看到百货公司时，你应该转到左学习，然后在下 一个交通灯处左转）。"莎莉丈夫的回答是同意但不确信："Uh-huh...(嗯…）"。本发明使 用该上下文信息，并且以只有她可以听到的方式打断莎莉以便提醒她"you probably mean lane and not learn(您的意思可能是车道而不是学习）"。莎莉然后向其丈夫纠正她自己 "make sure you stay in the left lane.(确定你处于左车道）。，'
[0071] 随后，莎莉再次打电话要求其丈夫买一些糖"Buy some pure kearnsugar(买一些 纯科恩糖）"。她丈夫的回答是 "Where do they keep the corn sugar? All I can find near flour is cane sugar.(哪里卖玉米糖？我在附近的面粉处只能看到鹿糖。）"本发明 注意到莎莉的意思可能是sugarcane (甘鹿）并且建议其作为cane (甘鹿）的同义词。本 发明然后提示莎莉"trysugarcane instead of cane (尝试用sugarcane而不是cane)"并 且记录她使用cane的困难。莎莉然后向其丈夫解释她需要蔗糖，并且为她自己被明确理解 感到非常骄傲。
[0072] 在任何时候，当莎莉需要时，她都可以使用应用进行检查以便查看她产生的错误， 并且在今天的情况下，她的最常见错误模式是将"*ane"作为"*earn"。该模式将被存储在 莎莉的个人简档中，并帮助在以后捕获她的更多错误。可以为莎莉安排为了纠正该错误模 式而定制的课程。
[0073] 所属【技术领域】的技术人员知道，本发明的各个方面可以实现为系统、
[0074] 方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形式，即： 完全的硬件实施方式、完全的软件实施方式（包括固件、驻留软件、微代码等），或硬件和软 件方面结合的实施方式，这里可以统称为"电路"、"模块"或"系统"。此外，本发明的各个方 面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读 介质中包含计算机可读的程序代码。
[0075] 可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算 机可读信号介质或者计算机可读存储介质。图4展示了一些示例性的计算机可读存储介 质。计算机可读存储介质例如可以是一但不限于一电、磁、光、电磁、红外线、或半导体的系 统、装置或器件，或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非 穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储 器（RAM)、只读存储器（ROM)、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑 盘只读存储器（CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件 中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行 系统、装置或者器件使用或者与其结合使用。
[0076] 计算机可读的信号介质可以包括例如在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括一 但不限于一电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质可以是计 算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传 输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0077] 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括一但不限 于一无线、有线、光缆、RF等等，或者上述的任意合适的组合。
[0078] 可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的各个方面 的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、 Smalltalk、C++等，还包括常规的过程式程序设计语言一诸如"C"语言或类似的程序设计 语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独 立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机 或系统上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括 局域网（LAN)或广域网（WAN)-连接到用户计算机，或者，可以连接到外部计算机（例如利 用因特网服务提供商来通过因特网连接）。
[0079] 下面将参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图 和/或框图描述本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图 和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提 供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器， 使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时，产生了实现流程 图和/或框图中的一个或多个方框中规定的功能/动作的装置。
[0080] 也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、 其他可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的 指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令 的制造品（article of manufacture) 〇
[0081] 也可以把计算机程序指令加载到计算机、其他可编程数据处理装置、或其他设备 上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现 的过程，从而使得在计算机或其他可编程装置上执行的指令提供实现流程图和/或框图中 的一个或多个方框中规定的功能/动作的过程。
[0082] 图3示出典型的硬件配置300，其可以用于实现本公开的上述发明方面。该配置优 选地具有至少一个处理器或中央处理单元（CPU) 310。CPU310经由系统总线312与以下各项 互连：随机存取存储器（RAM) 314、只读存储器（ROM) 316、输入/输出（I/O)适配器318 (用 于将诸如磁盘机321和磁带驱动器340之类的外围设备连接到总线312)、用户接口适配器 322 (用于将键盘324、鼠标326、扬声器328、麦克风332和/或其他用户接口设备连接到总 线312)、通信适配器334 (用于将信息处理系统连接到数据处理网络、因特网、内联网、个人 区域网络（PAN)等），以及显示适配器336 (用于将总线312连接到显示设备338和/或打 印机339。此外，可以包括自动读取器/扫描仪341。可从许多来源购买这些读取器/扫描 仪。
[0083] 除了上述系统之外，本发明的不同方面包括一种用于执行上述方法的计算机实现 的方法。作为一个实例，可以在上面讨论的特定环境中实现该方法。
[0084] 这种方法例如可以通过操作计算机实现，实现为由数字数据处理装置包含，以便 执行一系列机器可读指令。这些指令可以位于各种类型的存储介质中。
[0085] 因此，本发明的此方面涉及编程产品，包括存储介质，其有形地包含机器可读指令 程序，这些指令程序可由数字数据处理器执行以便执行上述方法。
[0086] 这种方法例如可以通过操作CPU310实现，以便执行一系列计算机可读指令。这些 指令可以位于各种类型的存储介质中。
[0087] 因此，本发明的此方面涉及编程产品，包括存储介质，其有形地包含机器可读指令 程序，这些指令程序可由包括CPU310和上述硬件的数字数据处理器执行以便执行本发明 的方法。
[0088] 此非瞬时性存储介质例如可以包括RAM，其包含在CPU310中，例如通过快速存取 存储器表示。备选地，指令可以包含在可直接或间接由CPU310访问的另一个存储介质中， 例如数据存储磁盘400或光盘402 (图4)。
[0089] 无论包含在计算机系统/CPU310还是其他位置中，指令都可以存储在各种机器可 读数据存储介质中，例如DASD存储装置（例如，常规"硬盘驱动器"或RAID阵列）、磁带、电 子只读存储器（例如，ROM、EPROM或EEPR0M)、光存储器件（例如，CD-ROM、WORM、DVD、数字 光学磁带等）、纸质"打孔"卡或者其他合适的存储介质。在本发明的一个示例性实施例中， 机器可读指令可以包括从诸如C、C++之类的语言编译的软件目标代码。
[0090] 附图中的流程图和框图显示了根据本发明的不同实施例的系统、方法和计算机程 序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代 表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用 于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标 注的功能可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本 并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是， 框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定 的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合 来实现。
[0091] 尽管根据多个示例性实施例描述了本发明，但所属【技术领域】的技术人员应该理 解，可以在所附权利要求的精神和范围内实现具有修改的本发明。
[0092] 此外，应该注意， 申请人:的目的是涵盖所有权利要求元素的等效物，即使随后在诉 讼期间做出修改。
【权利要求】
1. 一种为用户提供实时语音分析的方法，所述方法包括： 捕获语音输入； 执行所述语音输入的实时识别；以及 分析所识别的语音输入以标识所述用户的语音中的可能错误。
2. 根据权利要求1的方法，其中所述语音输入包括来自所述用户以及至少一个其他说 话者的语音。
3. 根据权利要求1的方法，其中所述实时识别包括使用自动语音识别ASR将所述语音 输入转换为文本。
4. 根据权利要求3的方法，还包括： 处理所述文本以提取上下文对话提示。
5. 根据权利要求4的方法，其中使用所述上下文对话提示来检测候选声音、候选单词 和候选词组中的至少一个以便纠正。
6. 根据权利要求1的方法，其中所述可能错误包括发音错误、句法错误和语法错误中 的至少一个。
7. 根据权利要求1的方法，其中所述分析包括常规语义分析。
8. 根据权利要求1的方法，其中执行实时识别包括使用来自至少一个其他说话者的语 音提示。
9. 根据权利要求1的方法，其中通过使用上下文对话提示标识所述可能错误。
10. 根据权利要求1的方法，还包括： 实时为所述用户提供建议的错误纠正。
11. 根据权利要求1的方法，还包括： 创建定制的用户学习会话， 其中所述学习会话包括交互式学习会话，以及 其中所述学习会话基于常见错误模式。
12. 根据权利要求1的方法，还包括： 将所标识的错误、可视纠正、可听纠正和建议的同义词中的至少一个输出给所述用户。
13. 根据权利要求1的方法，还包括： 提取所述用户产生的错误； 在机器学习算法的帮助下，汇总常见错误模式；以及 将所述用户产生的所述错误和所述常见错误模式中的至少一个存储在用户简档中。
14. 根据权利要求13的方法，其中所述用户简档包括用户国籍、用户口音和用户历史 中的至少一个， 所述用户历史包括所分析的用户语音、对所标识的错误的先前响应、先前用户反馈和 用户容错偏好中的至少一个。
15. -种用于提供实时语音分析的系统，所述系统包括： 捕获组件，其用于捕获语音输入； 自动语音识别ASR组件，其用于执行所述语音输入的实时识别；以及 分析组件，其用于分析所识别的语音输入以标识错误。
16. 根据权利要求15的系统，还包括： 课程规划器组件，其用于安排预定义的课程和自动创建的课程中的至少一个。
17. 根据权利要求15的系统，其中所述分析组件通过使用对话上下文，分析所识别的 语音输入。
18. 根据权利要求15的系统，还包括： 错误汇总组件，其用于确定一个或多个错误模式。
19. 根据权利要求15的系统，还包括： 用户简档组件，其存储错误汇总和用户错误模式中的至少一个。
20. 根据权利要求15的系统，其中所述分析组件基于所述语音输入，生成预测的语音 含义。
21. 根据权利要求20的系统，其中通过比较所述预测的语音含义与所述语音输入，标 识所述错误。
22. 根据权利要求15的系统，其中所述捕获包括持续监视所述语音输入和持续接收所 述语音输入中的至少一个。
23. 根据权利要求15的系统，还包括交互式用户接口组件， 其中所述接口组件使用用户反馈信息来分析错误并建议错误纠正。
24. -种用于在对话上下文中提供实时语音纠正的方法，所述方法包括： 使用自动语音识别系统ASR将多个说话者的语音转换为文本，所述多个说话者包括用 户。 处理所述文本以提取上下文对话提示， 使用所述提示检测候选声音、候选单词和候选词组中的至少一个以便纠正； 比较候选列表与来自用户简档的信息； 使用比较结果建议纠正和同义词中的至少一个，以及 通过音频反馈、图形反馈和文本反馈中的至少一个，向所述用户通知所述纠正和所述 同义词中的所述至少一个。
【文档编号】G10L25/48GK104252864SQ201410299692
【公开日】2014年12月31日 申请日期:2014年6月27日 优先权日:2013年6月28日
【发明者】S·P·卡斯基, 倪健, A·萨克拉耶丹, 万晖, 吴澄 申请人:国际商业机器公司