专利名称：在游戏环境中以菜单驱动的语音来控制角色的系统和方法
技术领域：
本发明主要与电子娱乐系统相关，特别指一种在游戏环境中实现以菜单驱动的语音来控制角色的系统和方法。
对于每个游戏系统，通常只为运行在系统上的大多数游戏使用通用设计的手工控制器设备。对于不同的游戏，按钮和按键被赋予了不同的意义。在一个游戏中，某个特定的按钮可能对应着出拳，而在另一个游戏中，该按钮可能对应着发射鱼雷。在特定的游戏环境中，对用户来说，以这种方法来使用控制装置不太直观。
使用手工操纵的控制器设备需要用户记忆按钮或按键与特定动作的对应关系。对于复杂的游戏来说，按钮的数量或按键的组合数量可能非常庞大复杂。在许多游戏中，一个用户只控制一个角色的动作。在一个用户控制一组角色的游戏中，角色是以组的方式动作，因此，角色组实际上是作为单个角色活动。让单个用户使用手动操纵的控制器装置来控制多个独立动作的角色虽然可能，但是却非常复杂，用户很难学会和使用。
在学习模式中，系统把可用命令的菜单显示给用户。第一级命令菜单显示要控制的角色。第二级命令菜单为在一级菜单中选定的一个或多个角色显示可用的动作。第三级命令菜单为在第二级菜单中选定的角色动作显示可用的选项。第三级菜单中的可用选项还可能与游戏的当前状态有关。
在非学习模式中，系统不会为用户显示可用命令的菜单。用户凭自己的记忆说出语音识别模块的词汇表中的命令。语音识别模块是环境敏感的，如果不输入第一级命令，那么它不会对第二级命令做出反应；同样，如果不输入第二级命令，它不会对第三级命令做出反应。因此，用户可以输入语句型的命令(角色+动作)来控制游戏环境中的一个或多个角色。
图2是根据本发明实现的
图1的主存储器的结构图。
图3A是根据本发明设计的显示设备上显示的一个第一级菜单命令屏幕的示意图。
图3B是根据本发明设计的显示设备上显示的一个第二级菜单命令屏幕的示意图。
图3C是根据本发明设计的显示设备上显示的一个第三级菜单命令屏幕的示意图。
图4是根据本发明实现的以菜单驱动的语音命令来控制角色的方法步骤流程图。
CPU112、VU0111、VU1113、GPU114、和IOP116通过系统总线144相互通信。CPU112通过一条专用总线142与主存储器110通信。VU1113和GPU114还可以通过专用总线140相互通信。CPU112执行存储在OS ROM 128和主存储器110中的程序。主存储器110可以包含预存储的程序，也可以包含从CD-ROM、DVD ROM、或者其它可选的光碟(没有示出，使用可选的光碟控制单元134控制)通过IOP116传入的程序。IOP116控制着CPU112、VU0111、VU1116、GPU114和系统100的其它设备(例如控制器接口120)之间的数据交换。
GPU114执行从GPU112和VUO111传入的画图命令，在显示设备(没有示出)上生成图像。VUI113把游戏中的各种对象从三维坐标转换为二维坐标，并向GPU114发送这些二维坐标。SPU132执行指令来产生音频信号，并把音频信号输出到音频设备上(没有示出)。
系统100的用户通过控制器接口120向GPU112发送指令，例如，用户可以指令GPU112把特定游戏信息存储到内存卡122上，也可以指令游戏中的某个角色执行某个特定的动作。其它设备可以通过USB接口124和IEEE 1394接口126连接到系统100上。在一个更好的实例中，USB接口124上连接了一个USB麦克风(没有示出)，可以支持用户向系统100提供语音命令。
图2是图1中的主存储器110的结构图。根据本发明，主存储器110包含(但不仅限于)游戏软件212和和语音识别模块214，它们从光碟控制单元134选件的光碟中被调入到主存储器中。游戏软件212包含可以由GPU112、VU0111、VU1113和SPU132执行的指令，使系统100的用户可以玩游戏。在图2的实例中，游戏软件212是一个战斗模拟游戏，用户控制该游戏中的一个三人步兵组。在其它实例中，游戏软件212可以是其它的游戏，包括(但不仅限于)角色扮演游戏(RPG)、飞行模拟游戏、以及文明建造游戏等。
语音识别模块214是一个独立于说话者的、环境敏感的语音识别程序，它可由CPU112执行。在本发明的另一个实例中，IOP116执行语音识别模块。语音识别模块带有一个语音词汇表，该词汇表对应着游戏软件212中的指令。语音命令中包含单个词的命令和多个词的命令。当一个输入语音信号(说话)与词汇表中的某个命令相匹配时，语音识别模块214会通知游戏软件212，然后游戏软件212向CPU112发出相应的指令。
系统100的用户和游戏软件212通过麦克风和USB接口124输入一个或多个命令，控制游戏软件212中的角色的动作。所说出的命令最好与控制器命令联合使用，但是，在游戏软件212的一些实例中，也可以实现纯语音命令。
图3A是在连接到系统100的显示设备310上显示的一个第一级菜单命令屏幕222。本实例中的菜单包含3个一级命令条目、一个“组”条目332、一个alpha条目334、以及一个bravo条目336。虽然屏幕上只显示了三个一级菜单命令条目，但是游戏软件212可以使用任意数量的一级菜单条目。当用户说出一个命令然后松开控制器上专用于此功能的按钮或其它装置时，会出现一级菜单命令屏幕322。在一级菜单命令屏幕322上的一级菜单220下，还包含一个当前游戏图形(没有示出)。在显示设备310上出现的一级菜单330为用户指明了一级命令的可用选项。
在图2中显示了游戏软件的一个实例，用户使用控制器的动作(例如按按钮或操纵游戏杆)来控制一个角色组组长的动作。用户输入语音命令来控制一个2人组的动作。“组”条目222代表某个组命令是否可用，该命令控制这个组中的两个角色执行特定的动作。Alpha组334代表选择一个组成员alpha的命令是否可用。Bravo条目336代表选择另一个组成员bravo的命令是否可用。
用户对着麦克风说出“组”一词来选择组条目222。说出“alpha”一词来选择alpha条目334，说出“barvo”一词来选择barvo条目336。当语音识别模块214识别到一个一级命令时，它会通知游戏软件212，而游戏软件212或者显示一个二级菜单命令屏幕。
图3B是根据本发明设计的一个设备的屏幕截取图，该设备在显示设备310上正在显示一个二级菜单命令屏幕324。在图3B的设备中，用户已经对着麦克风说出“组”一词来选择组条目332，此时，二级菜单命令屏幕324显示一个二级菜单340。二级菜单340包含刚才选择的一级菜单命令(组条目322)，还有3个二级命令一个“待命”条目342、一个“执行”条目344、一个“开火”条目346。虽然屏幕上只显示了3个二级命令，但是游戏软件212可以使用任意数量的二级命令条目。
二级菜单340为上述二人组显示了可用的命令。这些命令取决于游戏的当前状态。例如，如果用户用语音选择“待命”条目342，那么游戏中的这个二人组将原地待命。如果下一次用户用语音选择组条目332，那么屏幕上不会出现“待命”条目342，而会出现一个相关的条目(没有示出)。
组条目332和“待命”条目342的组合是一个完整的命令，所以，如果用户在说出“待命”时系统所显示的是屏幕324，那么游戏软件212将不再显示屏幕324，并且使所选的角色执行在游戏环境中选择的动作(组中的两个角色都会原地待命)。同样，“组”条目332和“开火”条目346的组合是一个完整的命令，所以如果在显示屏幕324时用户说出“开火”一词，那么游戏软件212不再显示屏幕324，并且使所选的角色执行游戏环境中的所选动作(该组的两个成员都会开火)。“组”条目332和“执行”条目344的组合不是一个完整的命令。如果在显示屏幕324的时候用户说出“执行”一词，那么游戏软件会显示一个三级菜单命令屏幕。
图3C是根据本发明设计的一个设备的屏幕截取图，该设备在显示设备310上正在显示一个第三级菜单命令屏幕324。第三级命令屏幕326显示一个三级菜单350，该菜单中包含一个已选定的一级命令条目332，一个已选定的二级命令(执行344)、以及两个3级命令“打开手榴弹”条目352和“拉弦”条目354。在图2的游戏软件实例中，这个步兵两人组可以执行“打开手榴弹”和“拉弦”命令。虽然当前屏幕上只显示了2个三级命令，但是游戏软件212可以包含任意数量的第三级命令。
“组”条目332、“执行”条目344和“打开手榴弹”的组合是一个完整的命令，所以，如果当显示屏幕326时用户说出“打开手榴弹”一词，软件模块212不再显示屏幕326，并且使所选的角色执行游戏环境中所选的动作(该组的两名成员都会打开手榴弹)。“组”条目332、“执行”条目344、以及“拉弦”条目354的组合是一个完整的命令，所以如果当显示屏幕326时用户说出“拉弦”一词，软件模块212不再显示屏幕326，并且使所选的角色执行游戏环境中所选的动作(该组的两名成员都会拉弦)。
虽然在图3C中只显示了三个菜单层次，但是本发明可支持任意层的菜单结构。在本发明的一个较好的实例中，为了便于使用，同时也为了帮助学习各种命令组合，设置了一个三层的菜单。当用户已经学会或记住了各种命令组合后，用户可以抛开菜单命令来玩游戏(非学习模式)。
我们已经说过，语音识别模块214是环境敏感的。例如，虽然“执行”一词是在语音识别模块214的词汇表中，但是只有在第一级命令有效时(例如“组”或“alpha”)，语音识别模块才会识别“执行”一词。换句话说，如果没有输入第一级命令，那么语音识别模块不会对输入的任何二级命令做出反应。同样，如果没有输入第二级命令，那么语音识别模块不会对输入的任何第三级命令做出反应。因此语音识别模块可以识别语句型的命令(角色+动作)，游戏软件可以使用这些命令控制游戏环境中的角色的动作。
虽然图3A-3C中显示的命令菜单330、340、350把其子菜单以从左向右的方式显示，但是本发明可以支持以任何方法为用户显示可用的命令。
图4显示的是本发明的另一个实例的流程图，它说明了以菜单驱动的语音命令来控制角色的步骤。首先，在步骤412中，游戏软件212检测用户是否按住了一个分配给某个语音命令功能的控制器按钮。如果没有，那么游戏软件212或者继续监视控制器按钮的信号。如果按住了某个语音按钮，那么在步骤414中，游戏软件212会检测该按钮是否被释放。如果该按钮已经被释放，那么系统会继续执行步骤416的学习模式。如果该按钮还没有被释放，那么系统会进入步骤428的非学习模式。
在步骤416中，游戏软件212在一个第一级菜单命令屏幕上显示一级命令。在步骤418中，语音识别模块214或者检测用户是否用语音输入了一个一级命令。如果没有，那么程序会返回到步骤416。如果用户用语音输入了一个第一级命令，那么在步骤420中，游戏软件212会在一个第二级菜单命令屏幕上显示第二级命令。在步骤422中，语音识别模块会检测用户是否用语音输入了一个第二级命令。如果没有，那么程序会返回到步骤420。如果用户用语音输入了一个第二级命令，那么程序会转到步骤242。
如果输入的第二级命令没有下一级命令，那么在步骤438中，游戏软件212会执行该命令，使游戏环境中的一个或多个角色执行所选的动作。如果输入的第二级命令有相关的第三级命令，那么在步骤426中，软件模块212会在一个第三级菜单命令屏幕上显示第三级命令。在步骤428中，语音识别模块214会检测用户是否用语音输入了一个第三级命令。如果没有，那么程序会返回到步骤424。如果用户用语音输入了一个第三级命令，那么在步骤438中，游戏软件212或者执行该命令，使游戏环境中的一个或多个角色执行所选的动作。
在非学习模式中，系统不会为用户显示各级可用命令。在步骤430中，语音识别模块214会检测用户是否用语音输入了一个第一级命令。如果没有，那么语音识别模块214继续监听第一级命令。如果用户用语音输入了一个第一级命令，那么在步骤432中，语音识别模块214或者检测用户是否用语音输入了一个第二级命令。如果没有，那么语音识别模块214继续监听第二级命令。如果用户用语音输入了一个第二级命令，那么程序会转到步骤434。
如果输入的第二级命令如果输入的第二级命令没有下一级命令，那么程序会转到步骤438，游戏软件212会执行该命令，使游戏环境中的一个或多个角色执行所选的动作。如果输入的第二级命令有相关的第三级命令，那么在步骤436中，语音识别模块会检测用户是否用语音输入了一个第三级命令。如果没有，那么程序会继续监听第三级命令。如果用户用语音输入了一个第三级命令，那么在步骤438中，游戏软件212或者执行该命令，使游戏环境中的一个或多个角色执行所选的动作。
在非学习模式中，用户会对游戏环境有一种身临其境的感觉，就像真正在向一个或多个角色发出命令一样。因此，游戏会更加直观真实。在游戏软件212的一个实例中，当用户向角色发出语音命令时，系统会使用扬声器或耳机(没有示出)向用户播放预先录制的命令回应或其它有声回应。
权利要求
1.一种使用语音控制游戏角色的系统，其特征在于包括一个可以从用户接收语音命令的麦克风；一个存储在存储器中的语音识别模块，该语音识别模式可以识别语音命令；存储在存储器中的软件，该软件可以响应识别出的语音命令，从而控制游戏角色的动作。
2.如权利要求1项中所述的系统，其特征在于其中的软件在显示设备上显示一个包含可用命令的菜单。
3.如权利要求2项中所述的系统，其特征在于其中的软件在响应控制器设备的信号时在显示设备上显示包含可用命令的一个第一级菜单。
4.如权利要求3项中所述的系统，其特征在于其中的软件在响应语音识别模块识别到的一个由用户以语音方式发出和第一级命令时在显示设备上显示包含可用命令的一个第二级菜单。
5.如权利要求4项中所述的系统，其特征在于其中的软件在响应语音识别模块识别到的一个由用户以语音方式发出的第二级命令时执行一个命令来控制游戏角色的动作。
6.如权利要求4项中所述的系统，其特征在于其中的软件在响应语音识别模块识别到的一个由用户以语音方式发出的第二级命令时在显示设备上显示包含可用命令的一个第三级菜单。
7.如权利要求6项中所述的系统，其特征在于其中的软件在响应语音识别模块识别到的一个由用户以语音方式发出的第三级命令时执行一个命令来控制游戏角色的动作。
8.如权利要求1项中所述的系统，其特征在于其中带有一个用于向软件输入命令从而控制一个或多个角色的动作的控制器设备。
9.如权利要求8项中所述的系统，其特征在于其中用户使用控制设备控制一个角色的动作，使用语音命令控制至少另外一个角色的动作。
10.如权利要求1项中所述的系统，其特征在于其中的语音命令包含两个以上按顺序说出的词。
11.一种控制游戏中的角色的方法，其特征在于包含下列步骤为用户显示一个命令菜单；识别一条与菜单中的某个命令相对应的语音；执行一个识别出的命令，使游戏中的角色执行一个动作。
12.如权利要求11项中所述的方法，其特征在于其中的命令菜单包含一个可用角色的菜单。
13.如权利要求11项中所述的方法，其特征在于其中的命令菜单包含一个所选角色的可用命令的菜单，可用动作菜单中的条目取决于游戏环境的当前状态。
14.如权利要求11项中所述的方法，其特征在于其中识别语音命令的步骤包含确定语音命令的当前环境。
15.如权利要求11项中所述的方法，其特征在于其中的语音命令至少包含2个词。
16.如权利要求15项中所述的方法，其特征在于其中的语音命令是一个语句型的命令。
17.一种可以被计算机读取的媒质，其特征在于其通过执行下列步骤控制游戏角色的指令为用户显示一个命令菜单；识别一条与菜单中的某个命令相对应的语音；执行一个识别出的命令，使游戏中的角色执行一个动作。
18.如权利要求17项中所述的可被计算机读取的媒质，其特征在于其中的命令菜单包含一个可用角色的菜单。
19.如权利要求17项中所述的可被计算机读取的媒质，其特征在于其中的命令菜单包含一个所选角色的可用动作菜单，可用动作菜单中的条目取决于游戏环境的当前状态。
20.如权利要求17项中所述的可被计算机读取的媒质，其特征在于其中识别语音命令的步骤包含确定语音命令的当前环境。
21.如权利要求17项中所述的可被计算机读取的媒质，其特征在于其中的语音命令至少包含两个词。
22.如权利要求21项中所述的可被计算机读取的媒质，其特征在于其中的语音命令是一种语句型的命令。
23.一种用于控制游戏中的角色的系统，其特征在于包括为用户显示命令菜单的方法；识别一条与菜单中的某个命令相对应的语音的方法；执行一个识别出的命令，使游戏中的角色执行一个动作的方法。
24.如权利要求23项中所述的系统，其特征在于其中的命令菜单包含一个可用角色的菜单。
25.如权利要求23项中所述的系统，其特征在于其中的命令菜单包含一个所选角色的可用动作菜单，可用动作菜单中的条目取决于游戏环境的当前状态。
26.如权利要求23项中所述的系统，其特征在于其中识别语音命令的步骤包含确定语音命令的当前环境。
27.如权利要求23项中所述的系统，其特征在于其中的语音命令包含至少两个词。
28.如权利要求范围27项中所述的系统，其特征在于其中的语音命令是一种语句型的命令。
29.如权利要求23项中所述的系统，其特征在于其中用于识别语音命令的方法是一种独立于说话者的、对当前环境敏感的语音识别程序。
30.如权利要求23项中所述的系统，其特征在于其中的命令菜单作为一种展开菜单显示给用户。
全文摘要
在游戏系统中,用户使用语音命令控制游戏环境中的角色的动作。在学习模式中,系统在显示设备上把语音命令显示在命令菜单中。在非学习模式下,系统不会显示可用的语音命令。一个独立于说话者的、对当前环境敏感的语音识别模块包含一个可用语音命令的词汇表。用户可以把语音命令和控制器设备的输入结合起来使用,以便控制游戏环境中的一个或多个角色的动作。
文档编号G10L15/00GK1385783SQ0211925
公开日2002年12月18日 申请日期2002年5月14日 优先权日2001年5月14日
发明者赛斯C·H·路易斯 申请人:索尼电脑娱乐美国公司