互动式外语教学的制作方法

专利名称：互动式外语教学的制作方法
技术领域：
本申请涉及交流技能，如学习外国语言和文化、学习面对面 交流起到重要作用的其它技能(包括法律的实施和临床实践)、管理工 厂安全检查和提供客户服务等。相关技术说明教学外语的方法和产品己为人们所知。一种这类产品被称为 RosettaStone。它展示出图像、口头表达和书面短语，并让用户指出哪 个图像与哪个口头表达或短语相匹配。它通过展示学习者的声谱图， 具有对学习者的语音产生反馈的能力，然后学习者必须对所展示出的
声谱图进行分析并与本土讲话者的声谱图相对比。用来教学外语的另一种产品是TeLL me More产品系列。它包 括展示语言材料的课程页面。它包括一些结构化的会话练习，其中学 》J者听到表达(utterance)并看到其书面形式，同时看到一组可能的回 答(一般2到4个)，并选择一个所展示的回答。这些选择可以不随学 习者的熟练程度而变化。这可能与真实的对话不同，因为在真实的对 话中，并不会向讲话者提供每轮对话中要说内容的预设选项，而是可 以由他们自己决定说什么和怎么说。 Virtual Conversations提供一种对话互动形式。该产品播放个 人讲话的视频剪辑，然后展示一小段书面回答。用户可以对着麦克风 读出一个所展示的回答，如果该系统识别用户的语音，系统会基于这 一回答播放另一段视频剪辑。
3
MILT原型语言学习系统也支持对话互动形式。MILT在房间 屮或其它环境中显示出屏幕人物。用户可以讲出一系列命令让该系统 来执行，如向前走、捡起物体等命令。作为响应所述人物可以执行该 命令或答复指出它不明白该命令。类似HerrKommissar1.5的互动式游戏通过文本来仿真与计 算机人物的会话。该游戏包括一些语言指令，但是假设学习者在所学 语言方而已有一些能力。所包括的语言指令会中断该游戏的流程，这 与在自然的对话互动中不同。但是，它不能有效地训练处于不同熟练 程度的学习者，也不能提供一种装置来测量学习成果的成效。其它系统，如MRE、 SASO和VECTOR也可仿真对话。MRE 和SASO支持在具体的任务领域内的非结构化对话互动。VECTOR可 能不支持对话互动，但是可以使用户在会话的每个阶段从一组所展示 的回答中作出选择。 Cocinella模拟了用外语进行的对话，其中在每个阶段学习者 可以朗读一段所展示的可能回答，或者从记忆中回想出预期的回答。 互动式课程可能限于练习游戏会话中使用的特定短语的机会。这些系统可能不足以训练使用者的外语。它们可能不会保持 使用者的注意力，使使用者能够很容易地将他或她的训练转移到真实 环境中，很好地适合处于不同熟练程度的学习者，帮助学习者改进他 或她的发音，和/或诱导学习者完全参与到学习过程中。

发明内容
可以提供语言学习系统和方法，可以提供互动式课程模块。该互动式课程模块可以被配置成 提供互动式语言课程，其在可控的难度水平上提示用户来复述、翻译 或定义单词或短语，或提供对应于图像的单词。它也可以被配置成基 于用户在互动式语言课程中的互动产生课程进度报告，其指示用户语 言学习的成效。可以提供互动式社交模拟模块。所述互动式社交模拟模块可 以被配置成提供互动环境，其在可控的难度水平上要求用户使用所学 语言与虚拟人物进行交流以达到目标。它也可以被配置成基于用户在
4互动环境屮的互动产生模拟进度报告，其指示用户语言学习的成效。可以提供学习者模型模块。所述学习者模型可以被配置成接 收所述课程进度报告和模拟进度报告。它也可以被配置成基于课程进 度报告和模拟进度报告来控制互动式语言课程和互动式社交模拟的难 度水平。现在通过回顾下面对示例性实施例的详细说明、附图及权利 要求，这些及其它组件、步骤、特征、目标、好处和优点会变得清晰 起来。


图1示出了开发和实现语言教学系统和方法可能涉及的组件。图2是显示节目中的某一阶段的屏幕，该节目教学阿拉伯语 和针对伊拉克的语言和文化并针对在国内事务和维和行动中的军事人 员的需求。图3示出了组件和数据存储器的数据流程图，其可以被用于 开发和应用语言教学系统和方法，以及可以与之互动的用户类型。
图4图示说明了与语言教学系统和方法进行互动的用户。
图5图示说明了与语言教学系统和方法的另一个实施例进 行互动的用户。图6是数据流程图，其图示说明了互动式社交模拟模块中所 用的处理组件和数据存储器，以及在二者之间交换的信息和数据。图7是数据流程图，其图示说明了输入管理器模块中所用的 处理组件，其位于互动式社交模拟模块中，以及在模块的组件之间交 换的数据。图8是数据流程图，其图示说明了杜交模拟引擎中所用的处 理组件，其位于互动式社交模拟模块中，以及在模块的组件之间交换 的数据。图9是显示了虚拟助手(社交模拟模块中的组件)的屏幕，
其建议学习者执行何种动作。图10和图11是屏幕，其显示在社交模拟中参加交流行为的
5人物。图12是显示学习者进度报告的屏幕，其针对非言语的交流 技能。图13是数据流程图，其图示说明了社交人偶(puppet)模 块屮所川的信息和数据存储的流程，社交人偶模块可以是社交模拟模 块的组成部分。图14是数据流程图，其图示说明了互动式课程中的模块， 以及作为输入和输出的数据存储器和进行互动的用户。图15是数据流程图，其图示说明了语音识别模块的输入和 输出。图16是数据流程图，其图示说明了教育代理模块可以使用 的输入和输出，教育代理模块可以是互动式课程的组件。图17是图示i^明了互动式课程和社交互动的组件，以及技 能模型的组件的图，所述技能模型的组件可以定义在学习者模型中教 导和追踪的技能。图19是屏幕，其显示了学习者在个人测试中的成绩。图20是数据定义图，其示出了用来组织和表示所获得技能 的技能模型的实体、关系和属性。图21是辅助和参考材料的类型的图。图22是内容类型之间的内在联系的图。图23是数据流程图，其指示出如何对内容进行处理并将其 转化为数据集。
具体实施例方式正如下面利用实施例进行的进一步详细描述，用户逐渐学习 到用亍和说外语或属于外国文化的人进行互动的交流技能。交流技能 可以包括说外语的口语技能。它们也可以包括关于非言语的交流方式 的知识，如手势和非言语发声等，以及礼貌和礼节的社交规范和准则， 其在各种装置中管理对话互动。可以提供外语教学设备和方法。可以教学任何外语，如西班
6牙语、法语、阿拉伯语、汉语、英语和普什图语等。用户希望学习的外语在这里被称为"目标语言"。用户已掌 握的语言在这里被称为"本土语言"。"用户"可以是学习目标语言的 人，或者指导、辅助或推动学习过程的讲师或培训员。这里所用的"学 习者"指的是作为语言学习者的用户，而这里所川的"讲师"指的是 指导或推动学习过程的用户。学习者可以是儿童或成人。学习者可以是初级语言学习者，可以没有任何预先的语言经 历。可替代地，具有先前语言训练的学习者，包括希望通过快速进修 训练来维持和改进其交流技能的学习者，也可以利用训练设备。学习者可以通过互动式课程、社交模拟和/或其它学习形式 进行学习。互动式课程可以包括单词、短语和其它具体交流技能的结 构化表达，以及针对这些技能的测试和练习。社交模拟可以涉及在游 戏或模拟环境中与互动人物进行模拟的对话。在他们使用训练系统时 学习者可以从该训练系统接收到连续的反馈。教学设备可以持续追踪 学习者对一系列交流技能中的每个技能的掌握，并可利用这一信息来 定制学习经历。可以教学特定任务和情形所需的技能。单词可以被限制在具 体情形所需的范围内，并且可以通过一系列挑战性递增的情形来逐渐 扩展开来。重点可以放在口语熟练程度上。学习者可以在模拟村落中练习他们的交流技能，在那里他们 可能需要与当地居民产生友好关系，而当地居民反过来(interm)可以 帮助他们完成战后重建等任务。也可以模拟其它情形和环境，如饭店、 旅馆接待处或医疗室等。每个学习者可以由虚拟助手来陪伴，如果需要，虚拟助手可 以提供根据学习者个人技能进行剪裁的帮助和指导。作为智能辅导系 统的一部分，该助手可以扮演虚拟助教的角色，向学习者提供关于其 成绩的反馈。学习者可以通过多模式界面进行交流，该多模式界面可 以准许他们在模拟中代表他们的人物讲话并选择姿势。该系统可以被 配置成允许学习者进行交流或说出适合于那一情形的多个话语中的一 句，而不是从固定的选择组中进行选择。如果需要可以对语法进行介绍以便使学习者能够产生和理解许多种表达，从而应对新的情形。可以介绍非言语姿势("允许"和 "禁止")，以及礼节和礼貌的文化规范，以此帮助学习者成功完成社 交互动任务。可以包括创作(authoring)工具的集合，其支持快速创建新 型而向任务的语言学习环境，由此更易于支持比较不常教的语言。图1示出了开发和实现语言教学系统和方法15可能涉及的 组件。该设备可以利用互动式课程1和互动式游戏的组合，互动式游 戏可以包括互动式社交模拟2，互动式社交模拟2可以教授交流技能及 其在特定情形、任务和/或工作环境中的应用。这些可以被配置成以协 作方式来运作，从而使在互动式课程中教授的技能被应用于互动式游 戏中。互动式社交模拟2可以提供具体的语境来应用这些交流技能， 这可以帮助保持并转移应用于真实世界中。例如，模拟过程中可以将 学习者设置在咖啡店外，在这里学习者可以请求跟顾客谈话并问路。 与某个顾客谈话并观察他或她的回应的具体语境可以使得该经历非常 难忘，并且使在真实世界中应用所学内容变得更加容易。可以利用技能模型3来组织教学内容。技能模型3可以是要 学习的技能的分级分类法。语言技能、文化技能和任务技能可以被归 类到技能模型3中。依照它们训练的技能可以对互动式课程内容和互 动式游戏内容作出注解。这可以帮助维持互动式课程1和互动式社交 模拟2之间的协调，以确保在互动式社交模拟2中用到的技能在互动 式课程1中教授过。可以基于所涵盖的技能来创造教授内容4。互动式课程l和 互动式社交模拟2可以被配置成涵盖技能集合的目标。当创作教学内 容4时，可以对其进行注解以指示出它涵盖了什么技能。该系统可以被配置成在学习者与基于计算机的软件互动时 持续处理学习者的输入，从而使它可以提供连续反馈5。该反馈5可能 适用于学习背景，例如，在互动社交模拟2中的反馈5可以不同于在 互动课程1中的反馈。但是在任何情况下，反馈5都会给予学习者即 时的指示，指示他们使用交流技能的程度。图2是显示节目中的某一片段(stage)的屏幕，该节目教学
阿拉伯语和针对伊拉克的语言和文化并针对在国内事务和维和行动中
8的军事人员的需求。它示出了社交模拟，其中用户的人物6必须与某 个地区的当地领导者进行接触以计划重建行动。用户的人物6可以在 图片的中心位置。该场景中的其它人物7、 8、 9和10可以对用户的语 音和姿势作出回应。在该游戏中取得成功可能依赖于当地语言和文化 的知识。图3示出了组件和数据存储器的数据流程图以及可以与之 互动的用户类型，组件和数据存储器可以被用于开发和应用语言教学 系统和方法。用户13可以是学习者和/或讲师并可以与由基于计算机的 系统实现的学习系统14进行互动。学习系统14可以包括互动式课程 1,它可以包括被配置成开发具体的交流技能的互动式表达材料和练 习。这些可以由计算机系统来传送。学习系统14可以包括互动式社交 模拟2,它可以是模拟社会互动的互动式游戏，且可能需要掌握一系列 交流技能。这些也可以由计算机系统来图像。这些模拟可以被用来开 发交流技能以及评估学习者对这些技能的掌握。学习系统14可以包括 其它互动式游戏17，其被配置成给予学习者利用交流技能进行练习的 机会。每个游戏可以访问并更新学习者模型18，它可以包括有关学习 者熟练程度的基于计算机的记录，它可以依据技能的类别被追踪。这 可以提供对学习者成绩的不间断评估。学习系统14可以包括辅助学习 材料19，当学习者没有运行基于计算机的主学习系统时可以利用这些 材料。它们可以通过印刷版、电子版或其它任何形式被使用。
〖056]学习系统14中的所有材料可以从一套内容说明(content specification) 20的说明产生。内容说明20可以通过用户友好的方式说 明互动式模拟的结构、特性和行为，从而能够创作、编辑和分析这些 模拟而不需要关于编程语言或程序代码的知识。内容说明20也可以被 用于创作、编辑和分析该系统的其它方面，如互动式课程1的材料和 辅助学习材料19等，以促进二者之间的一致性。内容说明20可以引用技能模型3，如上面关于图l的讨论。 通过引用技能模型3，作者22可以利用合作创作工具23来生成并维持 内容说明20。对技能模型的引用可以有助于确保教学内容的组成部分 之间的兼容性和一致性，例如，确保在互动式社交模拟中需要用到的 技能被涵盖于互动式课程中，且在互动式课程中教导的技能可以在互
9动式社交模拟中进行练习。图4图示说明了与语言教学系统和方法进行互动的用户24。 兀动式社交模拟2、互动式课程I、学习者模型18、其它互动式游戏 17和辅助学习材料19中的全部或一些可以被安装并运行在膝上型计 算机25上。膝上型计算机25可以配备含有耳机27和麦克风28的头 戴式受话器(headset) 26。头戴式受话器26可以允许用户24听到语 音和山程序产生的其它声音而不干扰在同一房间29中的其他学习者。 头戴式受话器26也可以使得膝上型计算机25能够接收用户24发出的 语音而不明显妨碍可能在同一房间29中的其他人。用户24可以利用 键盘30和鼠标31来帮助导航程序并控制互动。该机算机可以包括显 示器32，其向用户展示出进入虚拟游戏世界(在社交模拟的情况下) 或教室环境(在互动课程的情况下)的视图。图5图示说明了与语言教学系统和方法的另一个实施例进 行互动的用户。用户33、 34、 35和36可以工作于计算机工作站37、 38、 39和40上，这些工作站可以通过局域网(未图示)连接。学习者 模型可以被储存在公共服务器(未图示)上，并被下载到用户计算机 中。这可以使得用户能够坐在网络上任何一台计算机前并接收适合于 其学习者概况(profile)和历史的训练经历。可以在任何单一的或组合的计算机和网络化配置中使用这 一技术。也可以在其它类型的计算设备，如游戏控制台上使用这一技 术。图6是数据流程图，其图示说明了互动式社交模拟模块中所 用的处理组件和数据存储器，以及在二者之间交换的信息和数据。在 社交模拟中，用户可以扮演屏上人物的角色，通过模拟移动他/她的人 物，代表他的人物讲话，并为其人物选择姿势。然后在模拟过程中用 户的人物随用户的指挥做出行动。观看屏幕上的一个自己的人物可以 允许用户看到使用的所选姿势，以及在与其它人物讲话时选择适度的 人与人之间的距离进行练习。这些文化因素会随不同的文化而发生变 化。学习者41可以通过言语行为43、非言语行为44和/或其它 控制动作45 (例如，指挥学习者的人物在游戏世界中沿特定方向移动)提供输入至互动社交模拟2。并不需要一直提供所有类型的输入。例如， 可以忽略非言语行为。也可以利用口头输入来代替利用键盘或鼠标的 控制动作。言语行为43可以表现为语音形式。学习者41可以用日标外 语对着麦克风讲话。然后语音识别器46可以将输入的语音信号转化为 文本形式的表达假设(utterance hypothesis) 49。可替代地，言语输入 可以通过文本打字输入或通过菜单从众多选项中进行选择。在同一时间或不同时间内，学习者41可以为其人物选择非 言语行为44，如手势。可以提供摄影机和图像处理能力以允许学习者 41表演出所需姿势。可替代地，学习者41可以从菜单中选出合适的姿 势。计算机鼠标31 (如图4所示)可以具有滚轮，其可以被用于在一 组可用的姿势中选择。该界面可以允许学习者41在讲话之前先选择姿 势。在这种情况下，学习者的屏上人物可以在学习者41讲话的同时表 演出该姿势。社交模拟可以包括虚拟游戏世界47。这可以包括环境的3D 模拟，其中用户的人物与其它人物进行互动。这可以利用游戏引擎(例 如，虚幻引擎(UnrealEngine)或转矩引擎(Torqueengine))来实现。 例如，"战术伊拉克"(Tactical Iraqi)的一个版本可以利用"虚幻联赛 2003" (UnrealTournament2003)游戏，而另一个版本可以利用虚幻引 擎2.5 (Unreal Engine 2.5)。也准许使用2D模拟，或静态图像序列。 它们可以提供在其中应用交流技能的语境。其它如电话之类的设备可 以提供只有声音的互动。游戏引擎可以提供控制动作，如移动、转弯等。它可以通过 学习者41输入控制动作45。例如，"战术伊拉克"(Tactical Iraqi)的 当前实现(implemtation)将箭头键融合到游戏引擎中，并利用它们使 玩家人物移动和转弯。使命引擎模块48可以控制游戏世界中的人物，并确定它们 对学习者41的动作和其它人物的回应。输入管理器50可以解释学习 者41的表达假设49和非言语行为44，并产生参数化交际举止51，其 可以描述表达49的内容和非言语行为44的含义。交际举止可以类似 一般用语言学或哲学的语言进行定义的语音举止，但是可以允许交流通过非言语方式以及通过语音来发生。然后社交模拟引擎52可以确定 游戏中的每个人物应该如何回应学习者的动作。社交模拟引擎52可以提供对游戏屮的人物和所有动作的髙 级控制。例如，可以利用它将互动控制或管理成为互动式教育剧本。 参见Marsella， S.， Johnson, W.L.， & LaBore， C. (2003). An interactive pedagogical drama for health interventions. In U. Hoppe and F. Verdejo (Eds.)， Artificial Intelligence in Education: Shaping the Future of Learning through Intelligent Technologies, pp. 341-348. Amsterdam: IOS Press 。所 有这些出版物的内容并入此处作为参考。例如，它可以被用于生成互 动式社交模拟来向保健专业人员(如临床心理学家)教授临床技能。 一个人物可以扮演病人或护理人员的角色，然后用户可以扮演临床心 理学家的角色，选择向虚拟病人或护理人员说的一些话语，以便可以 帮助她解决问题。Marsella等人(2003)所描述的互动式健康干预，"卡 门的好主意"(Carmen's Bright IDEAS)提供了一种模型，在其中虚拟 护理人员卡门与虚拟顾问吉娜(Gina)进行对话。杜交模拟引擎可以 允许心理学家受训者扮演吉娜的角色，尽力让卡门反映她的问题并给 出用于解决这些问题的选项。类似"卡门的好主意"之类的项目已经 确认并编写出心理学家在这种咨询中所用的很多常见短语，其可以被 合并到社交模拟的会话中。社交技能，如发展和维持友好关系和解释 非言语提示和身体语言等，可以与这些应用相关，并可以被合并到技 能模型3和学习者模型18中，正如它们可以被合并到语言训练应用中 一样(例如，参见图12)。社交模拟引擎52可以具有剧情逻辑53和代理(agent) 54。 剧情逻辑53可以响应其它事件或世界状态来定义在虚拟世界中会发生 什么事件。代理54可以确定游戏中非玩家人物执行什么动作。可以支持多个非玩家人物。这可以允许学习者41练习参与 复杂的多向对话。具有额外的人物可以使学习者41看到在该环境中其 它人物如何对当前对话作出反应；那些人物甚至可以插入到对话当中， 如果它们反对学习者41或其它人物所说的话。这会导致社交模拟具有 高度的真实性。为了作出这些决定，社交模拟引擎52可以接收关于虚拟世界的当前状态和以前动作(不管它们是否完成)55的状况的通知。基 于这一信息，它可以选择行为指令56来让每个人物去执行。动作调度 程序57可以将这些动作实施为动画序列来让游戏人物去执行。游戏引 擎47可以利川视频剪辑，在这种情况下动作调度程序57可以选择捅 放与行为指令密切匹配的视频剪辑。游戏介质可以只使用音频，在这 种情况下，动作调度程序58可以选择或创作满足行为指令56的声音 序列。动作调度程序57也可以监控游戏世界的状态和进行中动作的状 态，并将这一信息传递给社交模拟引擎52。当学习者41与社交模拟引擎52互动时，它可以将数据保存 到事件日志59中。事件日志59可以记录学习者41的动作，以及人物 和/或游戏世界的对象作出的回应。该系统也可以在学习者与游戏互动 时保存他/她的语音或语言的录音60。可以利用录音60来评估学习者 的成绩，以及训练语音识别器46来改进识别精度。图7是数据流程图，其图示说明了输入管理器模块中所用的 处理组件，其和在模块的组件之间交换的数据一起位于互动式社交模 拟模块中。输入管理器可以将来自学习者41的言语43和非言语输入 44转换为社交模拟引擎可以理解的形式。然后社交模拟引擎可以向其 控制的一个或更多个人物产生合适的回应。当学习者与屏幕上人物进行交流时，他们可以提供音频输 入，但是他们也可以通过选择姿势或他们自己的屏幕上人物的状态(例 如，戴着太阳镜)来提供非言语的信息。音频输入可以被传递通过语 音识别器46，其可以输出文本形式的表达假设49。表达映射函数65 可以将表达假设49映射到参数化交际举止66中。参数化交际举止66 可以识别交流的语义分类，例如是否是问候、对问候的回答、询问、 提供信息等。在过程中的这一阶段，交际举止说明不捕捉同一语音行 为的变体之间的所有差异一例如，非正式程度的差异(如"Howdoyo do (你好)"与"Heythere (嗨!)")或语境的差异(如"Goodmoming (早上好)"与"Goodevening (晚上好)")。可以忽视不显著改变表达 的交流意图的语言的变化，例如"What is your name (你叫什么名字)" 与"Tell me your name.(告诉我你的名字)"。也可以不捕捉与戴太阳镜 (其切断眼神接触，因此在一些文化中被认为是粗鲁的)之类的非言语信息和非言语姿势(鞠躬、将手放在心脏部位及其它象征性的姿势)
相关的含义。因此可以执行对参数化交际举止66的进一步处理以增加 可以捕捉表达的其它一些方面含义的参数。因此表达假设49和非言语行为44可以被传递通过聚合模块 67，它可以返回语境参数68，其基于在给定的非言语的和杜交的语境 中对表达的表面形式的解释一正是在此处可以捕捉语音举止的替代性 表面形式之间的差异。可以将这些参数添加到学习者交际举止说明51 中。表达可以包含一些离开合适语境就毫无意义的引用(例如， 当使斤]代名词时)，这些引用需要被确定。在与语境参数相结合之前， 参数化交际举止66可以被传递进入谈话模型70，其可以保持焦点堆栈 71和会话历史72。焦点堆栈(focus stack) 71可以保持在对话过程中 所涉及到的对象和话题的列表。这些引用可能已通过言语或非言语进 行。例如，如果学习者63指向虚拟世界中的一个对象，则该目标对象 会被添加到焦点堆栈71中。会话历史72可以包含在当前对话中所有 较早语音举止的列表。话语模型70可以以这些数据结构为语境来确定 当前交际举止中的任何引用并更新它们以准备处理以后的交际举止。 例如，如果学习者说"他在哪儿？"话语模型70可以査阅焦点堆栈71 以确定最近谈论到了哪个男人。然后可以最终将具有已确定的引用73 和语境参数68的交际举止结合起来以得到完全的学习者交际举止说明 51，其可以表示传送给社交模拟引擎72的清晰的交流意图。可以将输入管理器用于各种可能受益于多模态输入的各种 互动式游戏和模拟中。例如，"无尽的任务(Everquest)"等角色扮演 游戏允许用户控制一个动画人物并与其它人物进行交流。输入管理器 可以准许这些应用输入姿势组合，并以一致的方式对其进行解释。它 可以允许应用程序的开发者增加用户可以输入的非言语交流行为的指 令集(例如，挥手，鞠躬，握手等)并将它们解释为更一般的交际举 止种类的实例(问候、感谢等)。它也可以允许该应用程序以一致的方
式识别并解释用户表达中属于社交互动和友好关系的那些方面，如礼 貌的表情和减轻面部威胁(参见P. Brown & S. C. Levinson (1987). Politeness: Some Universals in Language Usage. New York: CambridgeUniversity Press。该出版物的内容被并入此处作为参考)。这反过来可 以增强社交模拟能力以便在多种应用领域内模拟用户和计算机人物之 问的社交互动。图8是数据流程图，其图示说明了杜交模拟引擎中所用的处 理组件，其与在模块的组件之间交换的数据一起位于互动式社交模拟 模块中。可以通过学习者能力76的当前水平概要和当前的技能/使命 77来对社交模拟引擎进行初始化。可以从学习者模型18中检索学习能 力信息76,且可以从社交互动内容说明126屮检索技能/使命信息77， 该社交互动内容说明126可以描述社交模拟中人物的组成部分及其行 为。学习者能力76可以包括学习者个人技能的掌握水平，以及确定玩 游戏困难程度的游戏参数，如学习者是初学者还是有经验的玩家，以 及是否应向玩家提供诸如对白字幕之类的帮助。技能/使命77说明可以 包括对场景初始状态的说明、在该场景要完成的任务目标89和/或完成 使命目标所需的技能。可以通过剧情逻辑53来处理学习者能力76和技能/使命77， 该剧情逻辑53可以扮演导演的角色来设置和管理场景。这一剧情逻辑 53可以初始化场景中每个人物(也被称为代理)的状态。这可以包括 初始化每个人物的心理状态，例如，该人物对学习者的初始信任程度。 剧情逻辑53也可以为每个人物选择个性特征，其可以确定该人物会如 何回应学习者和其它人物的动作。这些参数可以依赖于学习者的能力 水平。特别地，可以调整人物使其相对地容忍初学者所犯的错误，但 相对地不容忍髙级玩家所犯的错误。类似地，可以调整人物以允许学 习者有不定量的回应时间，或者当在一定时间内学习者不回应时作出 反应，特别是对于口头对话。在执行社交模拟的过程中，表示学习者语音和姿势的参数化 交际举止51可以通过会话管理器78而得到处理。会话管理器78可以 将这些举止发送给代理决策模块4，代理决策模块4可以决定邻近的代 理如何回应。单一决策模块可以针对所有的邻近代理作出决策，或可 替代地针对每个代理可以有分离的决策模块实例。为了确定哪个代理可以作出回应，剧情逻辑53可以在创建 时将代理置于对话组中。然后学习者可以选择对一个代理讲话，例如，
15通过走向前并面对特定的代理。游戏引擎可以利用诸如箭头或突出显
示等特殊指示符来指示哪个代理己被选中。举一个例子，在图2屮学 习者41已选择了对右侧的人物10讲话，这通过悬浮在他头顶上的箭 头11来指示。学习者可以通过转向不同的方向，或通过离开一个代理 而走近另--个代理来选择对不同的代理讲话。当代理离开一个对话组 而走近另一个对话组吋，对话组的成员也可以改变。当学习者41选择对一个代理讲话时，属于同一对话组的所 有代理都可以有机会回应。当会话管理器78接收由代理决策模块79 返回的回应时，它可以依据与学习者原始输入的相关性对回应进行排 序(例如，对学习者的问题的直接回答具有比开始新话题更高的等级) 并可以以这一序列将交际举止从代理80处传递给社交人偶管理器81。会话管理器78也可以将关于己更新代理状态的信息传递给 游戏引擎47，在这里该信息可以被显示在界面元件中，如与代理相应 的人偶12下面的图形信任条(trust bar)。尽管在一个实施例中"心理 咨询模拟(PsychSim)"多代理系统(参见S. Marsella， D.V. Pynadath， & S. Read (2004). Agent-based modeling of social interactions and influence. In Proceedings of the International Conference on Cognitive Modeling, pp, 243-249.该出版物的内容并入此处作为参考。)己被用作决策模块79， 但也可以根据所需推论的深度插入其它的技术实现。例如，可以在另 一个实施例中使用定制的有限状态机。可以将社交模拟组织到场景或情形的集合中。例如，在一个 场景中一组代理可能坐在咖啡馆里的桌子旁；在另一个情形中扮演警 察角色的代理可能站在交通警亭中；在另一个场景中扮演酋长角色的 代理可能与他的家人坐在他的起居室中。在每个场景或情形中每个代 理可以具有可用的、适合于所处的场景的交际举止指令集。 一些交际
举止是通用的且可应用于大范围的代理和情形中。这可以包括问候， 如"Hello (哈罗)"或"How are you (你好)"或"My name is (我 叫) <代理的姓名>"等(如果英语是目标语言)。其它交际举止可以仅 适用于特定的情形,如"I understand you are a member of a big tribe.(我 知道你是一个大部落的成员〉"或"Is this Jassim il-Wardi's house (这 是J咖imil-Wardi的家吗？)"等。当代理不理解另一个代理或用户的交际举止时可以补充使用通用短语，如"Okay(好的)"或"What did you say (你说什么？)"或"Sony, I don't speak English.(对不起，我不会 说英语。)"等。每个代理也有准备好要回应的交际举止指令集，包括 通川的举止，如"What is your name (你叫什么名字？)"或"Who is the leader in this district (谁是这个地区的领导人？)"。场景的设计者可以为每个代理提供它可以执行的交际举止 指令集和它可以回应的交际举止指令集，其适合于所处的场景或情形。 一般来说参数化交际举止的类型数量要远小于具体表达形式的数量。 例如，"Hello!(哈罗)"和"Hey there!(嗨！)"都可以被视为问候语音 举止的实例。"I'mMike(我是迈克)"和"MynameisMike(我叫迈克)" 均为通告语音举止的实例，其中该通告举止的对象是代理的姓名。代 理可以以类似的方式回应类似的语音举止，降低针对每个代理的会话 管理的复杂性。也可以开发利用这些相似性以减小语音识别器46 (图7)必 须识别的表达的范围。例如，对语音识别器46来说对"I'm Mike (我 是迈克)"和"My name is Mike (我叫迈克)"进行区别可能不是很重 要，因为代理对二者的回应可能相同。减少必须识别的表达的数量可 以简化代理的构架和执行，同时确保从用户的观点看来代理的会话仍 显得强健且可信。可以开发利用场景的其它特征和学习内容的其它特征以降 低代理的复杂性，同时保留强健会话的印象。如果预计用户是初始语 言学习者，在假设学习者只知道如何说有限范围的表达下，可以限制 代理准备好要回应的交际举止范围。对于一些次要的人物，指令集可 能非常小，例如扮演服务员角色的代理可能很少说除了 "Please take a seat, I will be with you shortly.(请坐，我马上过来)"之外的其它话。 限制交际举止的范围可以使很多的简单代理聚居于游戏世界中变得容 易。对于具有更重要作用的代理，决策模块79可以选择合适的 交际举止来响应大范围的输入表达。可以将会话组织为表达-回应对的 集合，或称"节拍"。然后决策模块可以通过确定在会话中的给定轮次 哪一个节拍是合适的来组织会话。 一些表达-回应对一般可以在对话过程中的任何时候是适合的。例如，如果输入表达为"What's your name (你叫什么？)"，则不管用户在何吋询问这一问题，代理的回应都可 以是"My name is Mike (我叫迈克)"。一些表达-回应对可能只在某些 亊件已发生后，或保持某些状态时适用。例如，如果用户询问"Where is the leader of this district (这个地区的领导人在哪儿？)"，只有当代 理对用户的信任程度足够高时，代理才可能会回答出名字。因此决策 模块79可以追踪状态和语境的变化86以便确定在当前情形中哪种回 答是合适的。然后可以通过有限状态机来对合适的回答进行选择，有 限状态机的转换以状态或语境为条件。也可以使用以当前状态为条件 的产生规则来选择它们。可以使用其它会话模拟方法，如局部可观测 的马克夫(Markov)决策过程。图9是显示虚拟助手(社交模拟模块的组件)的屏幕，其建 议学习者执行何种动作。社交模拟游戏可以包括专用代理虚拟助手 91，其可以在经过该游戏时向学习者41 (图7)提供帮忙和协助。虚 拟助手91可以作为同伴或队员陪伴学习者的人物92。虚拟助手91可 以向学习者41提供关于做什么的建议，如图9中所示，其中虚拟助手 91建议学习者41向一个市民介绍他自己，其反映为以学习者41的本 土语言表达的陈述93 "向这个人介绍你自己"。如果学习者41难以理 解游戏人物正在说什么时，助手91也可以为学习者41进行翻译。助 手91还可以响应学习者41的其它人物94或95的动作在游戏中扮演 角色。助手91的行为可以通过两个代理模型来控制， 一个在游戏 中表示助手的自身角色， 一个在游戏中表示学习者的角色。基于游戏 中助手自身在游戏中的角色的模型，决策模块79 (图8)可以选择让 助手91来执行的动作，其与游戏中的助手角色相一致。基于游戏中用 户角色的模型，决策模块可以向用户41提供在游戏中要采取的动作选 项。决策模块79可以选择推荐的单个动作，它可以是决策模块79能 够自行选择的动作，如果它控制用户的人物的话。可替代地，决策模 块79可以向用户展示指令集中在当前的对话状态可允许的所有交际举 止的列表。如图8所示，社交人偶管理器81可以负责根据行为规则的
18特定集合来协调对话组屮代理的言语和非言语行为。在社交人偶管理
器81中每个代理54 (图6)可以具有一个相应的社交人偶82。社交人 偶管理器81可以选择让毎个代理人物来执行的交流功能83，然后社交 人偶82可以确定耍执行什么样的交流行为84米实现交流功能83。然 后可以将这些交流行为84传递给动作调动程序57来执行，这依次会 促使人物的动画实体同步执行实体运动组合。交流功能可以利用其它 显示技术被信号化(signaled),如显示一个人物关注另一个人物的讯息 并对其作出反应(一个"脸部特写镜头")。图10和图11是显示在社交模拟中参加交流行为的人物的 屏幕。在图10中，人物96发出参与对话的交流功能的信号。他通过 执行站立起来并面向玩家人物97的交流行为来实现这一 目的。在图11 中，人物98执行获取对话轮次的交流功能，而人物99和100执行聆 听讲话者98的交流功能。获取对话轮次的交流功能是通过讲话并协同 诸如手势的姿势来实现的。聆听讲话者的交流功能是通过面对并注视 讲话者来实现的。很多交流行为可以由处于一系列不同情形的人物来执行，但 是可以给予他们交流功能的是会话语境。例如，人物可以因为各种不 同的原因站立起来，且可以面对并注视各种不同的对象。社交人偶82 可以利用人物实体的行为指令集来执行动作，用户会将这些动作解释 为本质上是交流性的。返回图8，当会话管理器78告诉社交人偶管理器81代理54 希望讲话时，社交人偶管理器81可以将代理的人偶放置在对话场所内 的队列中，要求该人偶执行"轮次请求"的交流功能，人偶可以将其 映射到非言语行为。当没有人讲话时，在场上队列最前面的人偶可以 执行"获取轮次"的交流功能，然后陈述所必须说的内容。不论何时 当新的代理(包括学习者)讲话时，可以告诉该小组中的所有人偶来 执行他们的"聆听讲话者"的交流功能。当讲话者完成讲话时，根据 来自动作调度程序57的动作状况事件的指示，场上队列中的下一个讲 话者，或者如果该队列为空则最近的下一个讲话者(一般是在当前讲 话者之前讲话的代理)可以得到该小组中所有人偶的注意。以这种样 式，社交人偶管理器可以协调几个不同的人偶的行为，即使它们中只
19有一个实施由决策模块79所指示的回应。社交人偶82除了对谈话产生非言语的反应，也可以对事件产 生非言语的反应。如果直接将与各种动作的状态和游戏世界85的状态 相关的信息发送给社交人偶管理器81，则这是可能的。社交人偶管理 器81可以査看这些事件是否具有任何交流功能，如果有的话，则要求 社交人偶82依据其社交规则作出反应。例如，如果学习者接近一组人 偶，它们需要展现出反应，该反应显示一些关于它们互动意愿的东西。 该接近事件触发产生可见行为的反应规则，同时考虑到剧情逻辑53己 提供的语境。在产生代理行为的任何阶段，剧情逻辑53可以插入并执行 游戏世界中为具体场景剪裁的人偶行为或变化。剧情逻辑53可以直接 影响游戏世界，或者它可以通过改变其在运行时间内的语境参数(如 影响代理的信任度)来影响代理或人偶。在游戏过程中，目标追踪器功能87 (图8)可以监控学习者 的进度90。当一个讯息穿过系统指示达到特定游戏目标的事件发生时， 剧情逻辑53可以注意到这一点。目标追踪器87注意到这一点，并可 以向学习者显示迄今为止已实现了哪些目标。当学习者参与社交模拟时，目标追踪器87可以注意到学习 者何时使用特定技能，并利用这一信息来更新88学习者模型18，同时 更新它对这些技能已被掌握的估计。然后社交模拟可以使技能图74变 得能够为学习者所用，该技能图74总结了成功玩该游戏场景所需的技 能，以及学习者当前对这些技能的掌握程度。这可以利用类似于在互 动式课程中所用的那些学习者模型更新原理以及技能模型，在下面会 对二者进一步详细地说明。图12图示说明了如何能够使学习者模型反映出学习者在社 交模拟中已使用的技能。该图展示了在利用本发明的阿拉伯语言和文 化训练中由学习者模型所产生的进度报告，其详细展示了被称为交流 技能61的一类技能。该交流种类中的子类可以包括各种涉及到面对面 交流的社交技能，例如表征该文化的姿势、利用合适的表示尊敬的姿 势以及在目标文化中眼神接触的重要性。在该示例中，对眼神接触的 理解62最髙可能为IO级，且将其评定为10级。这可以反映出这一事实，即学习者总是指挥其在模拟中的人物在向阿拉伯人物做自我介绍 之前摘下他的太阳镜。如果已实现所有的游戏目标，则剧情逻辑53会通过提交成 功任务报告来终止该使命，而如果它检测到失败的情形，则会通过提 交火败任务报告来终止该使命。同时可以提供学习者在该场景中的成 绩的进一 步总结。图13是数据流程图，其图示说明了社交人偶模块中所用的 信息和数据存储的流程，社交人偶模块可以是社交模拟模块中的组成 部分。可以利用可扩展的标示语言(Markup Language (XML))格式 来指定预计交流功能101 。与此相关的更多信息可以参见R Williamson (2001)， XML: The Complete Reference, Osborne Press ，其全部内容并入 本文作为参考。图8所示的交流功能83说明可以确定与交流事件(例如，动 作、人物、对象和事件)相关的基本语义单元。它可以允许通过进一 步描述该交流功能的特性来注释这些单元，如表现功能、情感功能、 推论功能、认知功能或实效功能等。该说明可以为参与交流事件的代 理命名并识别它们在交流中的角色，其可以包括讲话者、受信者、聆 听者和偷听者。该说明可以描述每个讲话轮次如何适合于整体会话 代理如何有意识地致使讲话轮次开始(例如，通过请求轮次开始)以
及一旦完成交流代理如何有意识地放弃该轮次(产生针对每个人的轮 次，将其给予受信者或实际上如果该代理希望继续讲话就保持它不
变)。该说明可以确定一个讨论主题，如果构成主题转移，它可以指示 出该主题转移仅是离题还是完全变换到新的主题。该说明也可以识别 要实现的交流目标的类型(也被称为述行(performative)类型)。如图13所示，可以利用功能性标识语言(FML)来指定交 流功能101的说明。参见H, Vilhjalmsson and S. C. Marsella (2005). Social Performance Framework. Presented at Workshop on Modular Construction of Human-Like Intelligence, 20th National AAAI Conf. on Artificial Intelligence, AAAI Press。这些文献的全部内容并入本文作为 参考。也可以使用获取交流功能说明的组成部分的其它规范语言。社交人偶82可以产生实现交流功能101的交流行为说明
21102。交流行为说明102可以指定一组个体运动和动作，其可以包括 (l)头部运动，(2)躯干运动，(3)面部表情或面部肌肉的其它运动， (4)注视动作，其涉及到眼晴、脖子和头部方向的协调运动，其指示 人物往哪看，(5)腿和脚的运动，(6)姿势，其涉及到胳臂和手的协 调运动，(7)语音，其可以包括言语的和仿言语的行为，和域(8)嘴 唇运动。可以用行为性标示语言(BXL)来指定这些交流行为的说明 102，或者可以利用其它一些具体的对话代理行为描述语言来实现，如 MURML或ASL。参见S. Kopp， B. Krenn， S. Marsella， A. Marshall, C. Pelachaud， H. Pirker， K. Th6risson， H. Wlhjalmsson (2006). Towards a common framework for multimodal generation in EC As: The Behavior Markup Language. In 2006 Conference on Intelligent Virtual Agents, in press。这些文献的全部内容并入本文作为参考。从交流功能101到交流行为102的转化可以依赖代理的语 境。人偶语境103可以记录游戏世界中特定的特性集合和与选择适当 的行为相关的代理状态。人偶语境103可以包括与代理的态度(例如， 满意、中立、厌烦)、代理的身体构形(例如，坐下、站立、蹲伏)和 /或当前活动(例如，对话、吃饭、阅读、更换轮胎等)相关的信息。 可以很容易地扩展这些语境特性以获取语境的其它相关方面。人偶也 可以接收事件和状态变化86的通知，这些事件和状态变化发生于周围 环境中且可以影响对交流行为的选择。如果给定所需的交流功能，社交人偶82可以选择或构建适 合于当前语境的行为说明。这可以利用FML到BML的映射规则104 或一些其它规则或程序集合来实现。例如，如果代理的态度是尊敬的， 则FML到BML的映射规则可以选择如将手放在心脏部位之类的充满 尊敬的姿势来伴随对问候的回应。但是，如果代理的态度是怀疑的， 则FML到BML的映射规则可以选择如双臂交叠之类的冷淡姿势。以下是一些规则示例，其可以被用来选择不同情形下的交流 行为。玩家人物可以走向非玩家人物。当玩家到达距非玩家人物某一 距离处时，这会以信号告知状态或语境变化86,指示玩家已足够接近 以开始对话。图8所示的剧情逻辑53可以将交流意图亦即开始对话的 意图归因于玩家。然后指挥非玩家人物来执行交流意图以表示认可。
22此外假设该社交模拟是关于设置在阿富汗的一个村庄，在这里习惯上
女人不与陌生人互动。然后不同的非玩家人物可以应用不同的FML到 BML的映射规则，由此导致非常不同的表示认可的行为。如果非玩家 人物是小孩，该小孩会跑向玩家并展示出表现兴奋和感兴趣的身体动 画。如果非玩家人物是女人，该人物会跑开并转移其视线。 —旦社交人偶82完成产生行为的动作并使其和它们的语义 单元结盟，人偶82可以将它们组合到要执行的动作进度表中。然后可 以将这些传递给动作调度程序57。动作调度程序57可以一个行为接一 个行为地开始执行每个组成部分。如果通过BML或一些其它结构化表示法来规定动作进度 表，动作调度程序57可以将该说明编译到定向非循环图中，该定向非 循环图的节点为原始行为组成部分，而其弧线为这些组成部分之间的 短暂依赖关系。然后通过逐渐使组成部分从定向非循环图中出列并将 它们发送给游戏引擎来执行，动作调度程序57可以执行该说明。如果 该组成部分不能成功地执行，可以激活失败动作或中止整个行为；否 则如果该组成部分完成，则检査未决的动作，并且如果另一个动作依 赖于己完成的动作且没有等待其它组成部分来完成，则可以将其激活。 该过程可以继续下去直到所有组件组成部分已完成或已被处理，在这 —时间点上可以通知图8所示的剧情逻辑53行为的执行已经完成。交流功能和交流行为之间的分离，以及利用映射规则来定义 交流功能的实现，可以使作者目录包含多种学科的团队。漫画家可以 创作出基本动画元素的指令集，然后文化专家或其它内容专家可以利 用创作工具来对行为进行选择，以实现特定语境中的特定交流功能， 例如，为阿富汗的女性人物选择厌恶凝视的行为以实现表示认可的交 流意图。可以不需要程序员的工作来生成具有可信的互动交流行为的 动画人物。图14是数据流程图，其图示说明了互动式课程中的模块， 以及作为输入和输出的数据存储器和进行互动的用户。可以利用学习 系统的技能构造器1来传送互动式课程。和社交模拟游戏一起，学习 者可以利用语音和点击鼠标之类的其它输入的组合来与系统进行互 动。可以通过语音识别器46来处理语音，在这种情况下语音识别器46
23可以产生假设的表达，而且，如果特定的课程页面需要的话，也可以 产生对该假设的可信性的评估以及其它输出。可以将这些连同其它输
入传递给输入管理器105。输入管理器105可以像在社交模拟中一样聚 集这些输入，且可以将它们传递给技能构造管理器106。技能构造管理 器106可以协调课程材料的显示、对学习者回应的分析和递送反馈。技能构造管理器106可以从技能构造器文件107中选择课程 页而说明，其可以对每节课程的内容和课程页面进行编码。技能构造 器文件107可以是在创作过程中生成的课程内容说明文件。可替代地， 可以将课程内容编译为二进制形式并加载到教学设备中，或者作为同 一程序的一部分，或者作为分离的数据库。可替代地，课程内容可以 保留在分离的服务器中，并根据需要通过网络下载。课程内容可以由一组课程页面组成，每个课程页面可以是课 程页面模板的一个实例。这组课程页面模板可以是可扩展的。页面模 板可以包括
示例会话页面。在这里学习者可以看到人物参与会话的动画或视 频。随着人物参与会话，打印文稿可以显示人物在说些什么以及相应 翻译。可以提供界面小部件，其允许学习者暂停或重放会话。可以出 现示例性会话，其展示说明要学习的新内容，且一般位于每节课程的 开头或课程中各部分的开头。
词汇页面。它可以介绍新的短语、词汇和语法形式。这些页面可以 包括本土讲话者朗读新词汇的录音资料、以学习者的本土语言进行的 翻译、以标准表音法展示的音译和/或书写形式、注释和说明以及界面 小部件，其允许学习者朗读短语并接收针对其发音的即时的计算机生 成的反馈。可以选择性地禁能对个别短语，特别是短小短语的反馈， 此时语音识别精度不足以提供可靠的反馈。这些页面上所提供的反馈 类型可以是可设置的系统参数，其依赖于语音识别器对目标语言的识 别精度和/或学习者的熟练程度。复杂短语可以由单个单词和子短语
(subphrase)逐渐建立起来，以进一步阐明语法结构。以目标语言呈 现的短语和翻译可以是彩色编码的，以便学习者可以快速看到它们之 间的对应关系。
记忆页面。它可以测试学习者对所学词汇的掌握程度。这些页面可
24以显示所学短语的翻译以及界面小部件，该界面小部件允许学习者朗 读短语并接收针对其发音的即时的计算机生成的反馈。单个短语可以 从之前的词汇页面中抽取，但可以是随机分布的，从而使学习者不仅 仅回忆短语在之前词汇页面中出现的次序。可以通过运行于课程内容
说明127上的自动化生成功能151来自动生成这些记忆页面，以减轻 课程作者规定这些页面的负担。
表达方式形成页面。在这里可以向学习者提供提示，该提示包含以 目标语言展示的口语短语、以学习者的本土语言展示的陈述和/或图片， 学习者可以用目标语言组成口语回应。示例性提示如下"Ali has just said hello to you in Iraqi. Say hello back to him.(阿里刚刚用伊拉克语向 你问好，向他回复问好。)"每个表达形成页面可以包括一组可能的正 确回应和一组可能的不正确回应，以及根据每个正确和不正确回应所 给出的反馈。学习者的表达可能和预期的表达不符，技能构造器可以 依据学习者的回应是否正确来给出反馈。表达形成页面可以呈现为练 习，其中学习者可以通过点击按钮来自由观看优选答案，或者呈现为
测验项目，其中拒绝给出优选答案，直到学习者做出某些次数的尝试 以提供正确回应之后才给出。
信息页面。这些页面可以向学习者展示信息和注释，且可以使用文 本和图像的组合。可以利用信息页面来介绍每个新的课程主题，以及 提供相关文化背景材料。
多选练习页面。在这些页面中可以利用文本、声音记录和/或图像 向学习者展示问题和域提示。可以向学习者展示一列可能的回应，学
习者必须选择适当的回应。在一些页面中可以允许有多个回应，受训 者可以选择一个或更多个正确回应。
搭配练习页面。在这里可以以随机的次序向学习者展示一列项目和 一列翻译。学习者可以选择一个使这些项目处于适当对应的排序。
主动会话页面。这些页面是互动式社交模拟2 (如图6所示)的简 化实例，其被插入到互动式课程1中，以便开始向学习者提供练习。 它们与示例性会话页面类似，不同之处在于学习者可以在会话过程中 代表各人物中的一个人物讲话。当在会话中轮到学习者时，可以通过 线索向学习者提示在这一时机说什么比较合适。如果学习者还不确定要说什么，也可以提出预期的目标语言短语。因此主动会话模仿了自 然会话，但是比出现于社交模拟中的会话有更多的约束。也就是说， 在主动会话中可以向学习者提示关于在会话中的每个时机要说什么的 内容，而在社交模拟屮可以允许学习者说出适合于这一情形的更大范 围的农达。每节课程可以以主动会话来结朿，该主动会话要求学习者 应用在该课程中所学到的技能。
发音页面。这一页面可以包括以目标语言的声音示例。学习者可以 在课程中的任何吋候查阅该页面，以便回顾和练习不熟悉声音的发音。
进度页面。这一页面可以显示学习者当前对所学的每个技能的掌握 程度。这可以很容易地通过技能构造器来得到，也可以很容易地通过 互动式游戏等其它语境来得到。课程显示模块108可以显示课程页面。它也可以显示学习者 在掌握课程材料所覆盖的技能方面的进度。可以利用额外的模块来执行特定类型的课程页面。如果利用 所记录的视频来展示会话，则示例性会话页面和主动会话页面需要视 频播放器109，而如果利用动画来展示会话，则需要动画播放器。技能 构造器1可以利用与社交模拟中所用的相同的动作调度程序57和游戏 引擎47。可以利用教育代理110来评估学习者在课程页面特别是词汇 页面的成绩并产生反馈。当被启用时，它可以基于每个学习者对词汇 页面的语音输入来被调用。它可以评估学习者语音的质量，可以识别 最明显的错误，并可以产生反馈来通知学习者该错误的性质且旨在进 行适当的鼓励和激发。可替代地，技能构造管理器106可以处理一些 用户回应并自行产生反馈。技能构造器1可以基于学习者在课程中的成绩来存取并更 新学习者模型18。学习者模型更新模块111可以基于学习者在每个页 面的成绩来持续更新关于学习者对每个技能的掌握的当前评估。然后 它可以周期性地保存对学习者模型18的更新。学习者模型更新模块111可以利用贝叶斯(Bayesian)知识 跟踪算法来统计性地计算对掌握程度的评估，该算法与Beck和Sison 的知识跟踪方法类似。参见Beck， J. and Sison， J. (2004). Usingknowledge tracing to measure student reading proficiencies. In Proceedings of ITS 2004. /w jProcee必"gj o/决e 2004 Co—/*e"ce o" r"torf"g 办stews， 624-634 (Berlin: Springer-Veriag)。该出版物的全部内容并入配 方作为参考。每个正确的学习者语音输入可以被视为学习者已掌握与 该项(3相关的技能的不确定的证据，不正确的学习者语音输入可以被 视为学习者未能掌握那些技能的不确定的证据。Beck和Sison的方法 可能不准确地适用，因为Beck和Sison的方法适用于阅读技能，特别 是字形到音素的翻译，而学习者模型更新(Learner Model Update)模 块则可以普遍地适用于交流技能，并适用于外语技能。而且，它可以 利用大范围的学习者输入，而不只是语音输入。 一旦与适当的先验概 率合适地校准，学习者模型更新模块111可以提供对学习者熟练程度 的精确且及时的评估，该评估对初始语言学习者很适用。当学习者41与技能构造器1进行互动时，可以将学习者的 动作记录到事件日志59中，而将学习者的语音样本保存在录音60的 数据库中。这些可以被用来评估系统的性能和学习者的成果。事实上， 在利用技能构造器1的一个可能方法中，可以禁用语音识别器46，且 可以利用技能构造器1来记录学习者语音的样本，然后可以利用这些 样品来训练语音识别器。这可能适用于语言训练系统的早期发展阶段， 此时针对目标语言的受训语音识别器尚未被开发。可以利用与社交模拟所用的同一游戏引擎来实现技能构造 器1。这使得学习者能够快捷且方便地在互动式课程和社交模拟之间转 换。这然后可以鼓励学习者将在技能构造器1中所获得的技能应用到 社交模拟中，并査阅相关的技能构造课程来帮助他们在社交模拟游戏 中取得进步。图15是数据流程图，其图示说明了语音识别模块的输入和 输出。语音识别过程可以通过任何语音识别解码器来执行(例如，HTK， (参见Recent advances in large-vocabulary speech recognition: An HTK perspective. Tutorial presented at ICASSP 2006. IEEE Computer Society Press), Sonic (Bryan Pellom， "SONIC: The University of Colorado Continuous Speech Recognizer", University of Colorado, tech report 弁TR國CSLR國2001-01 ， Boulder, Colorado, March, 2001 )， Julius (A. Lee， T.
27Kawahara and K. Shikano. "Julius画an open source real-time large vocabulary recognition engine." In Proc. European Conference on Speech Communication and Technology(EUROSPEECH)， pp. 1691-1694， 2001 )， 或Sphinx (Placeway， P" Chen, S.， Eskenazi， M" Jain, U.， Parikh， V" Raj， B.， Ravishankar， M.， Rosenfeld， R.， Seymore， K.， Siegler， M.， Stern， R.， Thayer, E" 1997， The 1996 HUB画4 Sphinx曙3 System, Proc， DARPA Speech Recognition Workshop, Chantilly, Virginia, Morgan Kaufmann Publishers),所有这些出版物的全部内容并入本文作为参考)，这种语 音识别解码器运行于语音的隐藏式马克夫(Markov)声咅模型中，它 支持基于语法的语言模型且支持语言模型和/或声音模型的动态转换。语音识别器46可以将启动/停止信号112作为输入，其在启 动识别时和停止识别时发送信号。可以通过点击图形用户界面上的按 钮生成启动/停止信号112，或者可以通过其它一些发信号的设备来产 生启动/停止信号112。在启动信号和停止信号之间，语音识别器46处 理来自用户的麦克风的语音信号43。它可以在用户发出语音时处理该 语音信号，或者它可以先将用户的语音记录为声音文件，然后处理该 声音文件。不管哪种方法，都可以创建录音113，其可以被存储于用户 计算机或远程服务器上的录音文件60中。语音识别器46可以利用非本土声音模型114来运行，即目 标语言的声音模型，其被定制以识别非本土讲话者利用目标语言发出 的语音。这种定制可以通过训练基于本土和非本土的语音组合的声音 模型而实现。可替代地，可以利用非本土语音的特性来偏移或调整己 经基于本土语音进行训练的声音模型。在互动式课程和社交模拟中， 甚至在二者的不同部分中，可以利用不同的声音模型，以便最大化识 别的强健性(robustness)。例如，社交模拟中所用的声音模型可以基于 发音较差的非本土语音进行训练，以确保发音较差的学习者也可以玩 该游戏。相反，用于高级课程的声音模型可以基于发音很好的非本土 语音和本土语音进行训练，以此降低对学习者的错误的容忍度且可以 区别对待学习者的错误。可以利用识别模式指示器16来指示要用哪种 声音模型。语音识别器可以利用语言模型115来确定要识别哪些短语。可以使用无语境的识别语法；可替代地，可以使用n-gram语言模型。 可以对语言模型进行剪裁以适应将要使用识别的特定语境。例如，在 社交模拟中可以构建一组语言模型，对每个模型进行剪裁以识别预期 在每个场景屮出现的交际举止的特定指令集。在互动式课程中可以从 出现在多组课程页面屮的多个单词和短语的集合产生识别语法。单词 和短语组的大小可以依赖于对学习者的错误的期望容忍度，因为增大 语法范围的大小一般会降低对发音错误的容忍度。也可以利用包含具 体语言错误种类的语法，以便帮助检测这些错误种类。这一技术可以 被用于检测发音错误以及其它类型的错误，如语法错误等。例如，对 于阿拉伯语中的咽部摩擦辅音/H/的常见发音错误可以通过以下过程来 检测选取包含该辅音的单词，例如，/marHaba/ (—种说"你好"的 非正式方法)，并生成识别语法，该识别语法包括正确发音的单词以及 常见发音错误，如/marhaba/和/markhaba/。然后如果学习者以这些方式 之一读错单词的发音，则语音识别器可能能够将其检测出来。针对每个语音输入，语音识别器可以以文本形式输出最相近 的表达假设49。语音识别器也可以输入该识别的置信水平117。图14 所示的技能构造管理器106可以利用二者来确定给学习者的合适反馈。图16是数据流程图，其图示说明了教育代理模块可以使用 的输入和输出，教育代理模块可以是互动式课程的组件。可以向教育 代理模块IIO提供一组输入，其中一些可以由图14中的技能构造管理 器106来提供。这些中的一个可以是对当前学习者输入118的说明。 这可以包括由语音识别器所产生的表达假设和置信水平。另一个可以 是对预期输入119的说明。这些输入可以包括对当前课程项目的可能 正确回应以及预计学习者也许会产生的可能错误回应。对于一些课程项目，如词汇页面项目和记忆页面项目，可能 仅有一个预期的正确答案；例如，如果一个项目是介绍阿拉伯语单词 /marHaba/的词汇项目，则仅有一个预期的正确回应。对于一些项目， 如表达形成页面项目，可以有多个可能正确的回应。例如，考虑"战 术伊拉克"(Tacticallraqi)中的表达形成页面，其中提示如下"Hamid just introduced himself to you. Respond to him by saying that you are honored to meet him.(哈梅德刚才向你做了自我介绍。回应他说你很荣
29幸见到他。)"可以允许有多个伊拉克的阿拉伯语回应，包括
"tsherrafiia"、 "tsherrafhaseyyidHamiid"或"tsherrafnayaseyyid"。在 这些情况下，预期输入119中可以包含一组可能的正确回应。对于一 些课程项目，大范围的正确回应是可能的，在这种情况下可以提供刻 画可能正确的回应集合的模式或说明，或甚至提供程序，该程序用于 生成可能正确的回应或用于测试个人回应以确定它们是否正确。同吋， 在创作吋间可以利用语言模型120，其包含目标语言结构和/或语言学 习者所犯的常见错误的知识，来生成可能正确的替代性回应121。类似地，预期输入119可以包括可能不正确的回应、预期不 正确回应的模式或说明或用于生成不正确回应的程序。也可以利用语 言模型120来生成可能错误的回应。另外教育代理110可以认为任何 未明确显示正确或不正确的输入可以被假定为是不正确的。可以将学习者输入118和预期输入119传送给错误分析器模 块122。错误分析器模块122可以评估学习者的输入以识别学习者所犯 的具体错误，且在产生反馈时可以选择关注一个或多个错误。这一评 估可以涉及到对学习者的错误进行分类且使其与已知的学习者错误类 别相匹配。举例来说，假设提示学习者说/marHaba/ (含有无声的咽部 摩擦音/H/)而不是说/marhaba/ (含有无声的声门变调/h/)。这是说英语 的学习者用阿拉伯语时所犯的常见发音错误种类的实例:用/h/代替/H/。 因此对这一情况下的错误进行分类可以将该错误作为/H/—/h/音素替 换的实例进行分析。可以通过错误数据库123来辅助这一分类过程， 列出语言学习者经常犯的严重语言错误及其出现的频率。这一数据库 又可以通过分析学习者的语音样本来产生。如果这一过程产生错误种类的一个集合，则错误分析器可以 选择应作为教学重点的一个或多个错误种类。这可以考虑到语音识别 器所提供的置信等级；如果关于实际已经检测到的错误的置信度低， 则针对特定学习者错误的具体反馈是不可取的。如果学习者模型18显 示学习者具有犯这一特定错误的历史，则可以提高置信度。如果一种
表达展现出多个错误，则错误分析器122会基于其严重程度选择关注 某一错误。本土听众判断一些语言错误比其它错误更加严重例如往 往认为会导致词语之间混淆的错误最为严重。如果错误数据库123包
30括关丁'错误相对严重性的信息，则可以利用这一信息来区分各个错误 之间的优先次序。当检测到错误时，或者当学习者展示出能够生成不带错误的 回应时，可以利用这一信息来更新学习者模型。可以将错误实例添加 到学习者表现的历史屮。而且，每个正确或不正确表现的实例可以作 为判断是否掌握或缺少特定语言技能的概率证据(probabilistic evidence)。可以进一步利用语音识别器所提供的置信水平来调整实际 上观测到正确或不正确语言表现的实例的概率。可以将这一证据 (evidence)和置信度用于技能的贝叶斯网络或其它概率模型中，其中 关于个体回应是否正确的概率通过网络传播回来以产生关于是否掌握 隐含的技能的概率。 —旦检测到或选择了错误，或没有发现错误，即时反馈模型 124可以确定给予学习者什么样的回应。它可以从反馈数据库125中选 择反馈信息。反馈数据库125可以包括语言辅导教师常常采用的辅导 策略汇集，和/或课程作者推荐的用于响应特定错误的具体反馈策略。 即时反馈模型124也可以考虑到学习者犯特定错误的历史，例如注意 到学习者在多次失败的尝试后何时正确地读出单词。即时反馈模型124 还可以考虑到学习者的特征，特别是学习者在语言学习方面的大体技 能和自信。可以选择反馈消息并进行措辞调整以减轻直接批评的程度。 参见W丄.Johnson, S. Wu， & Y. Nouhi (2004). Socially intelligent pronunciation feedback for second language learning, /" iVoceW"gs o/f/ie 恥/"foAo/ ow 5"oc/fl/ awe 五moti'o朋/ /wfe/〃gewce z'w丄earm'wg五"Wrowwewte 决e 2004 /wtemarioAK / Co^/few"ce r"to"'"g参见
http:〃www.cogsci.ed. ac.uk/~kaska/WorkshopSi。该出版物的全部内容并 入本文作为参考。 —旦即时反馈模型124选定给予学习者的反馈信息，可以将 其输出。这一输出可以通过多种形式中的任何一种来实现，包括文本、 声音记录、合成声音、视频记录、结合文本的动画或结合声音的动画。图17是一个图，其图示说明互动式课程和社交互动的组件， 以及可以定义在学习者模型中教导和跟踪技能的技能模型的组件。技 能建模的想法是学习者/用户的每个行为都可以通过几个方面进行分
31析。这些方面可以包括语言、文化和任务(或动作)。因此，例如，
可以将说出marHaba (黎巴嫩的阿拉伯语中的"你好")分析为显示如
下所示的技能
语言/词汇-marHaba
文化/姿势=手掌放在心脏上
动作/任务=问候可以利用技能来注释该系统所有部分(互动式课程l、互动 式社交模拟2、其它互动式游戏17等)的内容。这样，不同的内容组 成部分被明确链接到它们所教导或练习的所有技能。更具体地
社交互动说明126，即对用于练习技能的互动式社交模拟2的内容 和行为的定义可以链接到技能模型3中具体的项目上。这些链接指示 出在这一社交互动中练习了什么样的技能。例如，可以将会话链接到 诸如"尊敬地问候"(任务技能)或"颜色名称"(词汇技能)或"手 掌放在心脏上的姿势"(文化技能)的技能上。可以有零个或多个到任 何类型技能的链接。
互动式课程说明127，即对互动式课程1的内容的说明，可以被链 接到技能模型3中的具体项目上。这些链接指示在这一课程内容中教 导了什么样的技能。例如，可以将技能构造器1中具体的页面链接到 上述指定的任何技能或其它任何技能上。同样地，可以有零个或多个 到任何类型技能的链接。如果社交互动说明或互动式课程说明的格式为XML，则可
以通过对XML文件添加说明其内容的属性或标签来作出链接或注释。
例如，以下是技能构造器XML说明的摘录，其展示了如何对在具体的
页面中训练的技能进行注释
<page eid="page6" category="PassiveDialog" type="Practice" nodeName=""> <title>Say hello</title>
<skill kid="ELO-0101-01">Use fo加al greetings</skill> [137]在如何从内容有效链接到技能模型方面存在很多要素。 一些 可以利用的策略包括
语言类型的技能出现在所有的表达中。模拟该信息的一个可替代方 法是通过语言技能来注释表达。另一个可替代方法是利用语言模型， 其通过对照与语法、语形、词法、词汇等相关的信息分析表达内容来自动产生这一映射关系。
可以有意地构建互动式课程1中的页面(或部分页面)来教导某些 语言技能(比如说，使动词形式发生变化)。这些页面会由它们教导的 语言技能(可为多个)标记。系统可以利用这一信息来帮助用户到达 学习这一技能的地方。系统可以利用这一信息来动态产生课程，该课 程将关于具体语言技能的所有页面编译在一起。可以将这一策略引进 到课程创作过程中以保证这种内容存在。
课程的语境可以比场景的语境更宽泛(且前者根据后者归纳)。例 如，它可以包含与场景中所用单词类型相同的其它单词。然后学习者 可以对知识进行归纳，而不仅仅是在与他们已学习的相同场景中使用 这些单词。课程的作者可能希望记住这一归纳过程。
示例性会话可以帮助作者考虑这一归纳过程。示例性会话可以不是 对社交模拟会话的逐字复制。生成课程的方法可以如下开始生成示 例性会话，然后利用它们来定义在该课程中要专注于哪些语言技能。
互动式社交模拟2的会话包含任务/动作和语言技能。 一旦写出了 游戏会话，作者能够确认在其中需要针对该场景/会话来教导的任务技 能和关键语言技能。作者可以根据这一过程的结果来更新技能模型。
一个方法是在写出互动式社交模拟游戏2的会话之前开始在技能 模型中开发任务技能。可以开发出一种分类法，其从目标(使命)技 能(可能被用于互动式社交模拟游戏)开始，然后是任务技能，再然 后是语音举止技能。该过程可以是反复的，因为在写出社交模拟游戏
会话之后可以使任务技能分类法精细化。
语言技能和动作/任务技能之间的关系可以是变化的。发音技能可 以完全不依赖于任务技能。语法技能和词汇技能可以部分依赖于任务 技能。在技能模型中定义这些联系为龙l^是不可能的。可以在技能模 型中定义额外的链接类型来表示不同类型技能(例如，语言技能和任 务技能)之间的关系。
可以利用示例性会话来突出在课程中教导的主要技能。在编写示例 性会话的同时，作者可以通过使用询问"这里强调哪些技能？"和"这 些技能在哪儿教导？"的方法来勾画出课程内容。图18是显示学习者在掌握特定技能128方面的进度的屏幕。图19是显示学习者在个人测试129中的成绩的屏幕。一旦用技能对内 容进行注释，可以利用该内容来帮助跟踪用户的成绩。图18展示了"战 术伊拉克"(TacticalIraqi)系统中的示例性进度报告，其通过技能显示 出学习者的成缋水平。图19展示了另一个进度报告，其根据在系统中 施行的测试屮他/她的分数来显示出学习者的成绩水平。两个显示都基 于在"战术伊拉克"(Tactical Iraqi)第1课结束的测试中具有最高评分。 技能"察看"更具有指示意义，因为它告诉学习者迄今为止他/她已经 充分练习了哪些技能，以及还需要学习什么样的其它相关技能(在其 它课程中)。可以利用技能模型3来基于学习者的技能定制课程。例如， 可以在运行时间内动态安置补习课程来强调学习者在互动式社交模拟 2中表现山有问题的技能。这可以通过利用浏览(walks though)互动 式课程说明127并且提取对具体技能进行注释的页面的简单算法来完 成。这也可以通过更复杂的算法完成，该算法考虑首要技能的成绩并 且也针对学习者表现不是很好的那些首要技能收集必要的材料。可以基于学习者的目标利用技能来定制课程。例如，本发明 的一个给定实施例可以具有关于很多不同职业的内容。系统可以询问 学习者他/她对学习什么样的专业有兴趣，并相应地通过选择含有针对 这些专业相关技能的材料来剪裁课程。这使得技能可以作为内容模块 化机制来工作。图20是数据定义图，其示出了被用于组织和表现所获得技 能的技能模型的实体、关系和属性。技能模型3可以由技能130组成， 这些技能隐含连接到允许具有多重父代的树结构中。技能130可以具有标识符(ID) 131和/或名称132。具体用 法可以选择利用与名称和ID相同的字符串，或选择利用名称作为独特 的标识。技能130可以具有零个或更多个父代技能133，通过它们的 ID或可选地通过它们的名称来指定。一 个技能可以具有多重父代技能。 为了便于以严格的分类法或树形格式显示，到父代技能的链接也可以 明确指定该具体的父代技能可被认为是(仅有的)主要父代134 (与所 有其它技能相比，它是次要父代)。[144]技能可以具有类型135。可以限定一个技能只有一利'类型。 下而是该系统中迄今为止所用的类型；其它类型也是可能的。类型以 层级形式进行显示，但在技能说明中作为单个名称被引用。
网任务(可替代交际举止语音行为
网语言
网啦血 及曰语法词法
同语形句法词汇听力/理顦讲话写作
岡文化
网姿势社会规范技能之间的其它链接可以包括一个或更多个可选的首要技 能136，即在指定技能之前推荐学习的技能。每个技能的细节可以通过以下参数说明 》天准137，其指定针对该技能要达到的成绩水平。美国军队使用0 到5之间逐级增大0.5的数字来表示。我们使用0到5之间的整数。也 可以利用其它标度。
条斧138，其指定技能被测试时所处的语境(例如，部署在外国的 士兵)。该条件有时也可指示如何测试技能。条件可以包括对以下各项 的说明1)学生在遇到这些条件时所允许拥有的援助量，2)达到目 标的时限，或3)学习者实现目标所需的任何工具或装置。条件可以专
指社交模拟游戏的故事情节。例如，可以如下所述指定条件"iir定沐/^在虛裕凝鍵4/-/A^!' 0游虛欲乂激，作为箱'生乂在雳天激场浙邀，学
—生&7'"力^游玩家乂激逸存iE"據游姿夷傳在浙遴^游5 ^^说故适^ /冷好嫁语C"卿r/fo6a "入不游A励手,垔滞教^W银幼。"
可选择的羞^耍丝139字段，其可以被用于指定技能模型中该技能 的重耍性。这一字段的值的集合可以是{高、中、低}，数字或其它形 式。
可选择的; g^氷平140，其可以被用于指定针对平均或目标学习者 来说学习该技能有多难。这一区域的值的集合可以是{髙、中、低}， 数字或其它形式。标准和条件是从使能学习目标(Enabling Learning Objectives)的结构中借用的，其被美国军队中和其它地方的教学设计 者所用。参见R.F. Mager (1984).尸re/ a"."g /ra/n/cft'o/wj:/ Wecrivas. Belmont， CA: Pitman Management and Training。该出版物的全部内容并 入本文作为参考。难度和重要性是相对概念，因为它们依赖于具体的学习者 (对某些人来说容易的东西对其他人来说比较难，可能对医师来说重 要的技能对建筑者来说则不重要)。对于隐性或显性定义的受众来说这 些属性可以用作"缺省值"或"平均值"。基于学习者模型可以对这些 属性的值进行调整，这些学习者模型可区分清楚不同组别的学习者的 起点(例如，与只说英语的人相比，说荷兰语的人可能会发现德语发 音要容易一些)。图21是表现辅助和参考材料19的类型的图。如果课程材料 来源于内容的形式化XML规范，可以利用这些课件规格来帮助生成一 系列其它教育资源。以下是这类资源的示例
网络向导141是用于进一步学习和搜索学习内容的自适应超文本 资源。它可以提供对很多参考资源的访问，这些参考资源包括(a) 单词和短语的词汇表，其根据课程或课程组进行分组，且可能根据拼 写、英文翻译及语义和语法类别进行排序；(b)正在学习短语的语法 注解，它可以显示句子的语法结构且如果需要可以显示英文的逐字翻 译；(c)语法概念的解释库，其可以自动地通过自然语言剖析器链接 到使用这些语法概念的短语。例如，可以将阿拉伯语中的短语"ismiJohnSmith" (MynameisJohnSm他(我名叫约翰.史密斯))自动链接到两
个语法解释 一个关于所有格代词的后缀"-i"，而另一个关于阿拉伯
语中没有意思为"to be (是)"的动词。
根据他们的选择，受训者可以选择性地利用网络向导。很多语言学 习者对语法不感兴趣，对包含语言学术语的课程材料反应消极可以 在辅导材料屮使语法术语最少而改为在网络向导中提供。
网络向导141可以整体地或部分地实现于其它平台，如游戏引擎、 便携式游戏等。
可以提供手持复习工具142，其由手持计算设备组成，如手持计算 机、便携式游戏控制台或MP3播放器，在其中已装载了一些课程或游 戏内容。当他们远离计算机或其它主要训练设备时用户可以使用这一 工具。从互动式课程材料和/或课程页面提取出的录音可以被下载到计 算机设备上。如果将录音转换为MP3格式，则可以利用能够播放MP3 录音的任何设备。对话工具可以从课件说明中自动提取材料，将其转 换为MP3格式，加标签并分组成各个类别。然后受训者可以根据他们 的需要利用它来搜索和播放短语。
可以将调査、问巻甚至考试143集成到该系统中。这有助于改进评 估过程。这些材料可以建立在技能构造器课程的变化之上，在这种情 况下可以重复使用处理用户输入(如声音录音)的模块。例如，调査 回应可以被保存为系统日志文件的一部分，并可以从学习者的计算机 中连同其它记录的数据一起被检索。可以创建其它参考材料，包括印刷材料和用于其它平台的内 容子集(例如，网络应用程序中技能构造器1的子集)。图22是表现内容类型之间的内在联系的图。可以将课程内 容说明127和社交互动内容说明126的具体组成部分结合/链接到具体 内容项目上。例如，可以将技能构造器中的表达链接到音频文件上， 该音频文件包含如何最好地说出这一表达的记录语音。内容的类型可 以包括但不局限于语音记录144，动画和姿势说明145，人物(外表) 146，游戏等级、地图、场所147，声音效果148，对象和道具149。可 以通过用于指定内容的XML文件中的标签或属性来指定该联系。这些 内容集合(如声音效果的集合)可以通过数据库、简单文件被加索引
37井被管理，或者被组织到文件系统的目录中。也可以利用其它索引和
说明途径(mech肌ism)，例如，在内容管理系统中添加标签。可以将 一些内容项目链接到其它内容项目上；例如，可以将具体的声音效果
和人物链接到地图屮。可以在一个内容项目的内部(例如，添加标签 到地图文件上)或外部完成该链接。外部链接可以以映射(例如，文 件中两个一组或三个一组)的方式或通过数据库进行管理。映射可以 直接完成，或者可以利用中间提取层(可能利用标签)。例如， 一幵始 可以为模拟该人物的个人(例如，JohnDoe，其照片在生成本美术品时 被使用)命名人物外表，然后将人物外表标注为某一人物类型(例如， 老人)，再然后将其链接到某一场景中(例如，在某一具体社交互动中 人物Abdul利用外表"老人")。图23是数据流程图，其指示如何对内容进行处理并将其转 化为数据集。语言模型120可以包含关于语言的语法、语形、词法、 词汇、表达等的信息。图23展示了如何能够使语言模型120与系统的 其它部分相连。语言模型120可以被自动地(用脚本)或用互动式课 程内容说明126和/或社交模拟内容说明127手动地调整150。以这种 方式我们可以确保语言模型涵盖系统中所用的语言组成部分，反之亦 然。例如，我们可以确保语言模型涵盖会话中所用的所有单词。语言 模型也可以将系统中所用的语言子集与未使用的语言组成部分区分开 来。例如，它可以包含一个专业名称列表，其中在系统中仅使用它的 一个子集，同时使所述区别以某种方式被涵盖，以便系统可以査询语 言模型并询问具体单词是否(a)被涵盖于学习系统中，或(b)不被 涵盖于学习系统中但是作为更广泛语言的一部分而为人所知，或者(c) 均不是二者。当模拟语言的广泛资源(比如说词典)可用，但"策略 语言"的具体实例只涵盖该材料的子集时，这一方法可能很有用。图23还展示了一旦在语言模型中指定语言后如何利用该语 言模型自动或半自动地生成151系统所用的其它组件或说明。例如， 可以利用它来生成用于不同模块的语音识别语法152;用于分析学习者 表达中的错误的错误模型123，或网络向导141 (如图21所示)之类 的参考材料19。这有助于维持所有这些组成部分之间的一致性并且减 少在指南或社交互动内容中发生变化时更新所述组件涉及的时间和错[171]己经讨论的这些组件、步骤、特性、对象、好处及优点仅是 示例性的。它们中的任何一个以及与之相关的讨论都不意味着以任何 方式对保护范围形成限制。很多其它实施例也在考虑之中，包括具有 较少的、额外的和/或不同的组件、歩骤、特性、对象、好处及优点的 实施例。也可以对组件和步骤进行不同的安排和排序。简而言之，保护范围仅受到所附的权利要求的限制。该范围 旨在尽可能地与权利要求中所用的语言合理一致的范围一样广泛，且 它包含所有结构性和功能性的等价物。已经陈述或图示说明的所有内 容都意味着对任何组件、步骤、特性、对象、好处、优点及公开内容 的等价物做出贡献，不管在权利要求中是否对其进行叙述。当短语"用于...的装置"被用于权利要求中时，它包括已经 描述的相应结构和材料及其等价物。类似地，当短语"用于...的步骤" 被用于权利要求中时，它包括已经描述的相应动作及其等价动作。没 有这些短语意味着权利要求不局限于任何相应的结构、材料或动作。
权利要求
1. 一种语言学习系统，其包含一互动式课程模块，其被配置成提供互动式语言课程，其在可控的难度水平上提示用户复述、翻译或定义单词或短语，或者提供与图像相对应的单词；和基于在所述互动式语言课程期间所述用户的互动来生成指示所述用户的语言学习成效的课程进度报告；一互动式社交模拟模块，其被配置成提供互动式环境，其要求所述用户在可控的难度水平上用所述语言与虚拟人物进行交流以达到目标；和基于所述用户与所述互动式环境的互动来生成指示所述用户的语言学习成效的模拟进度报告；以及一学习者模型模块，其被配置成接收所述课程进度报告和所述模拟进度报告；和基于所述课程进度报告和所述模拟进度报告来控制所述互动式语言课程和所述互动式社交模拟的难度水平。
全文摘要
可以提供语言学习系统和方法。可以提供互动式课程模块(1)。所述互动式课程模块(1)可以被配置成提供互动式语言课程，其在可控的难度水平上提示用户复述、翻译或定义单词或短语，或提供对应于图象图像的单词。可以提供互动式社交模拟模块(2)。所述互动式社交模拟模块(2)可以被配置成提供互动环境，其在可控的难度水平上要求用户用语言与虚拟人物(91)进行交流以达到一定目标。可以提供学习者模型模块(18)。所述学习者模型(18)可以被配置成基于课程进度报告和模拟进度报告来控制互动式语言课程(1)和互动式社交模拟(2)的难度水平。
文档编号G09B19/00GK101501741SQ200680028579
公开日2009年8月5日 申请日期2006年6月2日 优先权日2005年6月2日
发明者A·瓦勒特, H·H·韦亚尔默森, N·王, P·山塔尼, W·L·约翰逊 申请人:南加州大学