专利名称：构造用户界面的方法
技术领域：
本发明涉及一种构造多模态(multimodal)用户界面(多模态UI)的方法。
背景技术：
多模态UI使用户能够通过多个模态中用户所期望的模态输入信息，例如GUI输入和语音输入，这样对用户来说非常方便。因此，需要一种轻松构造这种多模态UI的工具。特别是，当构造与GUI输入和语音输入相兼容的UI时，可能经常执行多余的操作，例如对每个GUI和语音UI执行相同的操作。例如，假定设计者构造这样一个UI，其中将具有项“A”、“B”、和“C”的下拉式菜单置于屏幕上，并且也可以以语音输入这些项“A”、“B”、和“C”。在这种情况下，设计者生成具有项“A”、“B”、和“C”的下拉式菜单，并将输入结果绑定(bind)到结果存储区。此外，设计者生成语音识别语法，以通过语音输入项“A”、“B”、和“C”，从而生成语音输入组件(component)，并将输入结果绑定到结果存储区。这样，对于项“A”、“B”、和“C”设计者必须重复相同的操作。在这种情况下，需要有一种用于减少多余操作并轻松构造多模态UI的技术。
关于UI的构造，已经公开一种通过使用GUI操作来轻松设计UI的方法(例如，日本特开平09-114623号和09-062469号公报)。然而，这些已知的技术没有考虑到模态。
另一方面，日本特开2003-167598号公报公开了一种通过解释GUI的逻辑，在不构造语音UI的情况下来实现多模态UI的技术。然而，在该已知技术中，作为多模态UI的操作依赖于解释技术，因此经常不能实现设计者所期望的多模态UI。
发明内容
本发明是考虑到这些情况而做出的，并用于轻松构造多模态UI。特别是，当设计者构造与GUI输入和语音输入相兼容的UI时，本发明用于简化由设计者所执行的多余操作。
根据本发明的一个方面，用于构造用户界面的方法包括选择步骤，用于选择一个或多个第一组件；接收步骤，用于接收将该第一组件转换成第二组件的指令，该第二组件的类型与该第一组件的类型不同；转换步骤，用于将对应于该第一组件的数据转换成对应于该第二组件的数据；以及显示控制步骤，用于控制显示与在转换步骤中所转换的数据相关的该第二组件。
根据本发明的另一方面，提供一种构造用户界面的装置，包括选择装置，用于选择一个或多个第一组件；接收装置，用于接收将该第一组件转换成第二组件的指令，该第二组件的类型与该第一组件的类型不同；转换装置，用于将对应于该第一组件的数据转换成对应于该第二组件的数据；以及显示控制装置，用于控制显示与通过转换装置所转换的数据相关的该第二组件。
通过以下参考附图对典型实施例的说明，本发明的其它特征是显而易见的。
图1是示出根据本发明的第一实施例用于构造多模态UI的方法的模块结构的框图；图2示出在根据第一实施例的方法中组件未被转换的例子；图3示出根据第一实施例的方法的例子；图4示出根据本发明的第二实施例用于构造多模态UI的方法的例子；图5示出根据第二实施例的方法的另一例子；图6示出根据第二实施例的方法的另一例子；图7示出根据第二实施例的方法的另一例子；图8示出根据第二实施例的方法的另一例子；图9示出根据第二实施例的方法的另一例子；图10示出根据第二实施例的方法的另一例子；图11示出在根据第二实施例的方法中设置数据模型的例子；图12示出在根据本发明的第三实施例用于构造多模态UI的方法中向组件添加项的例子；图13示出在根据本发明的第四实施例用于构造多模态UI的方法中使用同义词列表的例子；图14示出在根据第四实施例的方法中使用同义词列表的另一例子；图15是示出根据第一实施例用于构造多模态UI的方法的流程图；图16是示出根据第二实施例用于构造多模态UI的方法的流程图；图17是示出在根据第一实施例的方法中的转换处理的流程图；图18包括在根据第二实施例的方法中定义转换前后的组件之间的对应性的表格。
具体实施例方式
下面参考附图来说明根据本发明的实施例用于构造多模态用户界面(UI)的方法。
第一实施例图1是示出根据第一实施例用于构造多模态UI的方法的模块结构的框图。在图1中，该模块结构包括输入单元101、存储单元102、控制单元103、组件转换单元104、显示单元105、语音识别语法分析单元106、以及语音识别语法生成单元107。
该输入单元101包括输入装置，例如按钮、键盘、鼠标、触摸面板、输入笔、或输入板，并起例如输入界面的功能，以向装置输入各种指令。
该存储单元102包括硬盘驱动器，以存储各种信息；以及存储介质，例如只读光盘(CD-ROM)、或者只读存储器数字通用光盘(DVD-ROM)，以向信息处理系统提供各种信息。此外，硬盘驱动器和存储介质存储各种应用程序、用户界面控制程序、以及执行各程序所需的各种数据。在随后的阶段，在控制单元103的控制下，将这些程序和数据读入该系统。
该控制单元103包括工作存储器、中央处理单元(CPU)、或者微处理单元(MPU)，并通过读取存储在存储单元102中的程序和数据来执行各种处理。
在控制单元103的控制下，该组件转换单元104转换输入/输出组件。
该显示单元105包括显示装置，例如液晶显示器，并显示由图像和字符所组成的各种信息。触摸面板显示装置也可被用作显示单元105。在这种情况下，显示单元105具有GUI输入单元的功能(向系统输入各种指令的功能)。
该语音识别语法分析单元106分析语音识别语法，并提取识别词汇。该语音识别语法生成单元107生成语音识别语法，以识别给定的词汇。
在下面的说明中，以用于构造多模态UI的设计工具为例来说明。
参考图2，在编辑屏幕201上编辑多模态UI。被置于编辑屏幕201上的组件203是具有如附图标记204所表示的项“打印”、“复制”、和“传真”的下拉式组件。
通过选择和复制组件203，并将其粘贴在编辑屏幕上(从点击鼠标右键的菜单205中选择“粘贴”)，获得编辑屏幕202。在这种情况下，如同已知的设计工具那样，放置与组件203具有相同项(204)的下拉式组件206。
另一方面，如图3所示，如果以语音输入组件的形式选择、复制、和粘贴组件203(从点击鼠标右键的菜单205中选择“粘贴语音输入组件”)，则获得编辑屏幕301。在这种情况下，与已知的设计工具不同，在屏幕上放置将组件203的项作为其识别词汇的语音输入组件302。这时，生成语音输入组件302的语音识别语法303。该语音识别语法303接受语音“打印”、“复制”、和“传真”。这样，将对应于组件203的数据转换成对应于语音输入组件302的数据。基于W3C(万维网联盟)的SRGS规范(http//www.w3.org/TR/speech-grammar/)，来说明语音识别语法303。然而，描述方法不局限于SRGS。
下面，参考图15所示的流程图，来说明用于将输入/输出组件转换成不同类型的输入/输出组件(图3所示的例子)的方法。用于运行该流程图的程序被存储在存储单元102中，并由控制单元103来执行。
在图15中，在步骤S1501，还没有选择输入/输出组件。在已选择输入/输出组件之后(步骤S1501中的是)，处理等待，直到提供转换组件类型的指令(步骤S1502)。当如图2中选择“粘贴”时，不转换组件的类型。因此，如同已知的技术那样，粘贴相同类型的组件。
另一方面，如图3中当组件的类型在转换前后不同时，提供转换组件类型的指令。在已经提供转换组件类型的指令之后(步骤S1502中的是)，处理等待，直到指定转换后的组件类型(步骤S1503)。
在已指定组件类型之后(步骤S1503中的是)，组件转换单元104转换组件(步骤S1504)。下面参考图17所示的流程图，来说明通过组件转换单元104所执行的转换组件的处理。运行该流程图的程序被存储在存储单元102中，并由控制单元103来执行。
首先，在步骤S1701，对待转换的组件进行分析。例如，当组件是由图2中的附图标记204所表示的下拉式组件时，提取项“打印”、“复制”、和“传真”。当待转换的组件是语音输入组件时，语音识别语法分析单元106提取可通过使用语音输入组件的语音识别语法输出的识别结果(解释结果)的列表。该识别结果的列表是基于语音识别语法的规范，通过分析语音识别语法来提取的。通过使用已知的技术来分析语音识别语法。在图3所示的语音识别语法303的例子中，提取“打印”、“复制”、和“传真”。当有多个组件需要转换时，针对每个组件进行提取。当提取两个或更多个相同项时，这些项被合为一个。
当将组件转换成语音输入组件时(步骤S1702中的是)，语音识别语法生成单元107生成语音识别语法(步骤S1703)。在已经指定识别词汇之后，可以通过使用已知的技术来生成语音识别语法。这里，通过使用在步骤S1701中所提取的项作为识别词汇来生成语音识别语法。
然后，转换组件(步骤S1704)。例如，当将组件转换成下拉式组件时，生成具有在步骤S1701中所提取的项(在上述例子中为“打印”、“复制”、和“传真”)的下拉式组件。当将组件转换成语音输入组件时，使用在步骤S1703中所生成的语音识别语法。
当转换前的组件具有数据模型设置时(步骤S1705中的是)，在转换后的组件中设置该数据模型(步骤S1706)。特别地，在转换前的项中所设置的数据模型被设置在转换后的对应项中(通过使用图11，在下面的第二实施例中来说明特定的例子)。
在图3所示的上述例子中，组件被复制和粘贴。可选地，组件可被剪切和粘贴，或可被拖放在另一屏幕上。此外，还可以从菜单中选择“转换”。
如果在转换后更新转换前的组件的信息，则可以询问设计者是否更新转换后的组件的信息。
如上所述，根据第一实施例，设计者可以移动或复制现有的组件，而不管组件的类型。因此，可以减少多余的操作。
第二实施例下面说明根据本发明的第二实施例用于构造多模态UI的方法。在本实施例中，说明指定转换后的组件的模态的情况。在下面的说明中，以用于构造多模态UI的设计工具为例。
参考图4，在编辑屏幕401中编辑多模态UI。该编辑屏幕401具有GUI编辑屏幕，用于编辑GUI组件；以及语音UI编辑屏幕，用于编辑语音组件。被置于编辑屏幕401的GUI编辑屏幕上的组件403为下拉式组件，并具有如图2中的附图标记204所表示的项“打印”、“复制”、和“传真”。
通过选择和复制组件403，并将其粘贴在语音UI编辑屏幕上，获得编辑屏幕402。在这种情况下，将组件403的项作为其识别词汇的语音输入组件405被置于编辑屏幕402的语音UI编辑屏幕上。该下拉式菜单可以仅包括如图2所示的菜单204中的选项。可选地，该下拉式菜单还可以包括除该选项外的项，例如如图5所示的菜单504中位于顶端的“选择功能”。该顶端项“选择功能”不是一个选项，因此不以语音输入。可以询问设计者是否以语音输入顶端项。在图4所示的例子中，询问设计者是否以语音输入顶端项“打印”(404)。当选择“是”时，将项“打印”包括在识别词汇中。这时生成的语音输入组件405的语音识别语法与图3所示的语音识别语法303相同，并接受语音“打印”、“复制”、和“传真”。
下面参考图16所示的流程图，来说明当指定转换后的组件的模态时(图4所示的例子)所使用的转换方法。用于运行该流程图的程序被存储在存储单元102中，并由控制单元103来执行。在图16中，步骤S1501、S1502、和S1504与图15中的相同。
在已提供转换输入/输出组件的指令后(步骤S1501中的是和步骤S1502中的是)，处理等待，直到指定转换后的组件的模态(步骤S1601)。在图4所示的例子中，复制组件403，并将其粘贴在语音UI编辑屏幕上。因此，可将其理解为转换后的组件的模态是语音。
在已经指定转换后的组件的模态之后(步骤S1601)，列出转换后的组件的备选类型。如图18所示，在存储单元102中提前定义输入/输出组件(表1801)和与转换前的组件相对应的转换后的输入/输出组件的备选类型(表1802)。然后，参考表1802列出备选类型。当仅有一个备选类型时(步骤S1602中的是)，以与第一实施例中相同的方式转换组件(步骤S1504)。在图4所示的例子中，图18中所示的表1802指出与转换前的下拉式组件相对应的转换后的备选类型只有一种，即语音输入组件。因此，将组件转换成语音输入组件。这时，可以询问设计者是否以语音输入顶端项“打印”(图4中的404)。另一方面，当有多个备选类型时(步骤S1602中的否)，呈现该多个备选类型，以便设计者可以选择其中之一(步骤S1603)。在设计者已选择类型之后(步骤S1604中的是)，以与第一实施例中相同的方式转换组件(步骤S1504)。
接着来说明根据该实施例的另一操作例子。图5示出当转换下拉式组件时，在识别词汇中不包括顶端项的例子。
参考图5，在如同图4中所示的编辑屏幕401那样的编辑屏幕501中编辑多模态UI。被置于编辑屏幕501的GUI编辑屏幕上的组件503是下拉式组件，并具有如菜单504中所示的项“选择功能”、“打印”、“复制”、和“传真”。通过选择和复制组件503，并将其粘贴在语音UI编辑屏幕上，获得编辑屏幕502。由于该组件被粘贴在语音UI编辑屏幕上，因此转换后的组件的模态是语音(步骤S 1601中的是)。根据图18中所示的表1802，判定转换后的组件为语音输入组件(步骤S1602中的是)，因此，将组件503的项作为其识别词汇的语音输入组件506被置于编辑屏幕502的语音UI编辑屏幕上。然而，在该例子中，当在问题505是否以语音输入顶端项(“选择功能”)中选择“否”时，在识别词汇中不包括项“选择功能”。这时所生成的语音输入组件506的语音识别语法与图3所示的语音识别语法303相同，并接受语音“打印”、“复制”、和“传真”。
图6示出转换多个组件的例子。在图6中，按钮“打印”、“复制”、和“传真”被置于编辑屏幕601的GUI编辑屏幕上。通过选择和复制这三个组件(603)，并将它们粘贴在语音UI编辑屏幕上，获得编辑屏幕602。由于组件被粘贴在语音UI编辑屏幕上，因此转换后的组件的模态是语音(步骤S1601中的是)。根据图18中所示的表1802，判定转换后的组件为语音输入组件(步骤S1602中的是)，因此，将这三个组件(603)的项作为其识别词汇的语音输入组件604被置于语音UI编辑屏幕上。这时所生成的语音输入组件604的语音识别语法与图3所示的语音输入语法303相同，并接受语音“打印”、“复制”、和“传真”。
图7示出转换多个组件的另一例子。在图7中，标签(文本)“功能”和按钮“打印”、“复制”、和“传真”被置于编辑屏幕701的GUI编辑屏幕上。通过选择和复制这四个组件(703)，并将它们粘贴在语音UI编辑屏幕上，获得编辑屏幕702。由于这些组件被粘贴在语音UI编辑屏幕上，因此转换后的组件的模态是语音(步骤S 1601中的是)。根据图18中所示的表1802，判定转换后的组件为语音输入组件(步骤S1602中的是)，因此，将这四个组件(703)的项作为其识别词汇的语音输入组件704被置于语音UI编辑屏幕上。这时所生成的语音输入组件704的语音识别语法可以接受语音“功能”、“打印”、“复制”、和“传真”。可选地，用于提取识别词汇的方法可以根据组件的类型而改变。例如，从标签中所提取的项可以被添加在从另一组件中所提取的词汇的前面。当执行该提取时，如语音识别语法705中所示，接受语音“打印”、“复制”、“传真”、“功能打印”、“功能复制”、和“功能传真”。
图8示出转换后的组件具有多个备选类型的例子。在图8中，具有图3所示的语音识别语法303的语音输入组件803被置于编辑屏幕801的语音UI编辑屏幕上。通过选择和复制组件803，并将其粘贴在GUI编辑屏幕上，获得编辑屏幕802。由于组件被粘贴在GUI编辑屏幕上，因此转换后的组件的模态是GUI(步骤S1601中的是)。根据图18中所示的表1802，转换后的组件的备选类型有下拉式、列表框、单选按钮、复选框、文本框和多个GUI组件(按钮、标签)。因此，如列表804和805所示来呈现组件的备选类型(S1603)。在该例子中，选择“按钮”(步骤S1604中的是)，以便将与语音输入组件803的识别词汇“打印”、“复制”、和“传真”相对应的三个按钮(806)置于编辑屏幕802的GUI编辑屏幕上。如上所述，采用已知的技术，通过分析语音识别语法，列出识别词汇。
图9示出转换后的组件具有多个备选类型的另一例子。在图9中，具有图3所示的语音识别语法303的语音输入组件904被置于编辑屏幕901的语音UI编辑屏幕上。通过选择和复制组件904，并将其粘贴在GUI编辑屏幕上，获得编辑屏幕902。如同上述例子那样，将语音输入组件904的识别词汇作为其项的下拉式组件906被置于GUI编辑屏幕902上。这里，当列出识别词汇时，可以标签(文本)的形式输出解释识别词汇的解释名称。例如，在图3所示的语音识别语法303中，与解释名称“功能”一起输出结果“打印”、“复制”、和“传真”。屏幕903是解释名称“功能”(907)作为标签被输出的例子。
图10示出转换后的组件具有多个备选类型的另一例子。在图10中，具有语音识别语法1004的语音输入组件1003被置于编辑屏幕1001的语音UI编辑屏幕上。通过选择和复制组件1003，并将其粘贴在GUI编辑屏幕上，获得编辑屏幕1002。由于组件被粘贴在GUI编辑屏幕上，因此转换后的组件的模态是GUI(步骤S1601中的是)。根据图18中所示的表1802，转换后的组件的备选类型有下拉式、列表框、单选按钮、复选框、文本框、和多个GUI组件(按钮、标签)。因此，在列表1005中呈现了组件的备选类型(步骤S1603)。在该例子中，选择文本框(步骤S1604)，因此，与语音输入组件1003的识别词汇相对应的标签和文本框(1006)被置于GUI编辑屏幕1002上。这里，语音识别语法1004接受语音“从东京、横滨、大阪和神户中的任一个到东京、横滨、大阪和神户中的任一个”的语音。这时，“从”后的词汇，即“东京、横滨、大阪和神户中的任一个”，与解释名称“从”相联系。同样地，“到”后的词汇，即“东京、横滨、大阪和神户中的任一个”，与解释名称“到”相联系。将这些解释名称作为解释结果输出。这样，由于输出了两个解释结果(从和到)，因此放置两个文本框。如图10所示的例子中，文本框左边的标签表示解释名称。
图11示出待转换的组件具有对数据模型的绑定设置的例子。图11所示的例子基本上与图10所示的例子相同，其不同之处在于语音输入组件1103具有对数据模型1104的绑定设置1105。该数据模型是通过UI从用户获得的数据的定义。在数据模型1104中，通过表示离开地方的<appDeparture>标签和表示目的地的<appDestination>标签，来定义两个字符串数据。
绑定设置是定义哪个值被绑定到哪个数据模型。在绑定设置1105中，将值ID＝从(被解释为解释名称“从”的值)绑定到由上述<appDeparture>标签所定义的数据。此外，将值ID＝到(被解释为解释名称“到”的值)绑定到由上述<appDestination>标签所定义的数据。例如，假定输入语音“从东京到横滨”，并且假定通过语音识别输出解释结果“从＝东京”和“到＝横滨”。在这种情况下，将“东京”设置到由<appDeparture>标签所定义的数据模型，而将“横滨”设置到由<appDestination>标签所定义的数据模型。
参考图11如上所述，通过选择和复制语音输入组件1103，并将其粘贴在GUI编辑屏幕上，来放置文本框和标签1106。换句话说，放置标签“从”和“到”、与解释结果“从”相对应的文本框(在转换时设置ID＝texbox_from)、以及与解释结果“到”相对应的文本框(在转换时设置ID＝texbox_to)。
因此，由于解释结果“从”被绑定到数据模型，因此当转换组件时，处理从步骤S1705(是)进入步骤S1706(参见图17)。然后，将相应的文本框(ID＝texbox_from)绑定到<appDeparture>(步骤S1706)。同样，在解释结果“到”中，将相应的文本框(ID＝texbox_to)绑定到<appDestination>(步骤S1706)。因此，获得绑定设置1107。
如上所述，根据第二实施例，如同在第一实施例中那样，设计者可以移动或复制现有的组件，而不管组件的类型。因此，可以减少多余的操作。
第三实施例下面说明根据本发明的第三实施例用于构造多模态UI的方法。在该实施例中，当提供将输入/输出组件添加到另一输入/输出组件的指令时，执行转换。下面，以用于构造多模态UI的设计工具为例。
参考图12，按钮“打印”、“复制”、和“传真”(603)被置于GUI编辑屏幕1201上。另一方面，通过选择、复制、和粘贴这三个组件(603)所生成的语音输入组件604被置于语音UI编辑屏幕1202上(同样参见第二实施例中的图6)。
在这种情况下，如果在GUI编辑屏幕1201上新生成按钮“邮寄”1203，并将其拖放到语音输入屏幕1202上的语音输入组件604中，则执行以下处理。
由于按钮1203表示“邮寄”(步骤S1701)，因此将识别词汇“邮寄”添加到通过转换所生成的语音输入组件604的语音识别语法303中，以生成语音识别语法1205(步骤S1702中的是，并进入步骤S1703)。因此，语音识别语法1205接受语音“打印”、“复制”、“传真”、和“邮寄”。
然后，在步骤S1704，将语音输入组件的语音识别语法改变为语音识别语法1205。当按钮1203具有数据模型设置时(步骤S1705中的是)，如以上第二实施例中所述执行设置(步骤S1706)。
在上述例子中，所添加组件的模态与现有组件的模态不同。然而，这两个模态也可以是相同的，例如，可以将按钮的项添加到下拉式组件的项中。
如上所述，根据第三实施例，设计者可以通过使用现有的组件来添加组件的项。因此，可以减少多余的操作。
第四实施例下面说明根据本发明的第四实施例用于构造多模态UI的方法。在该实施例中，考虑同义词，对组件进行转换。在下面的说明中，以用于构造多模态UI的设计工具为例。
参考图13，按钮“语音”1303被置于GUI编辑屏幕1301上。通过选择和复制按钮1303，并将其粘贴在语音UI编辑屏幕1302上，如以上第二实施例中所述，生成语音输入组件1304。然而，该实施例的不同之处在于当对待转换的组件进行分析时(步骤S1701)，参考存储在存储单元102中的同义词列表1305。当同义词存在时，该同义词被添加到识别词汇。例如，“语音”的同义词，例如“声音”和“声学”，被添加到识别词汇(1306)。因此，语音输入组件1304不仅可以接受“语音”，而且也可以接受其同义词“声音”和“声学”。
在图14中，语音输入组件1403被置于语音UI编辑屏幕1401上。语音输入组件1403具有语音识别语法1306。当选择、复制语音输入组件1403，并将其粘贴在GUI编辑屏幕1402上时，如上述例子中，在分析待转换的组件期间，参考同义词列表1305(步骤S1701)。在这种情况下，语音识别语法1306的识别词汇包括同义词(“语音”、“声音”、和“声学”)，以便选择位于同义词树的顶端的术语，并将同义词合在一起。换句话说，只提取“语音”作为分析语音输入组件的结果，并将按钮“语音”1404置于GUI编辑屏幕1402上。
如上所述，根据第四实施例，在考虑同义词的同时来转换组件。因此，设计者在转换后无需添加同义词，从而可以减少多余的操作。而且，除同义词外，也可应用相关的术语例如近义词。
在第一到第四实施例中，已经说明了与GUI编辑和语音UI编辑相关的组件的转换。然而，本发明也可适用于使用手写字符识别的UI和使用姿态识别的UI。
本发明也可以这样来实现向系统和装置提供存储实现上述实施例的功能的软件的程序代码的存储介质，并允许该系统或装置的计算机(或CPU或MPU)来读取并执行该程序代码。
在这种情况下，从存储介质读取的程序代码实现上述实施例的功能，因此，存储程序代码的存储介质构成了本发明的实施例。
用于提供程序代码的存储介质的例子包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、和ROM。
通过允许计算机执行所读取的程序代码，可以实现上述实施例的功能。同样，通过允许在计算机中运行的操作系统(OS)等，基于程序代码的指令，执行部分或全部的实际处理，也可以实现上述实施例的功能。
此外，在将从存储介质读取的程序代码写入插入到计算机中的功能扩展板或与计算机相连接的功能扩展单元的存储器中之后，功能扩展板或功能扩展单元上所提供的CPU等，基于程序代码的指令，可以执行部分或全部的实际处理。通过该处理，可以实现上述实施例的功能。
尽管参考典型实施例说明了本发明，但应当理解，本发明不局限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。
权利要求
1.一种构造用户界面的方法，包括选择步骤，用于选择一个或多个第一组件；接收步骤，用于接收将该第一组件转换成第二组件的指令，该第二组件的类型与该第一组件的类型不同；转换步骤，用于将对应于该第一组件的数据转换成对应于该第二组件的数据；以及显示控制步骤，用于控制显示与在转换步骤中所转换的数据相关的该第二组件。
2.根据权利要求1所述的构造用户界面的方法，其特征在于，还包括模态指定步骤，用于指定通过转换生成的组件的模态；以及判定步骤，用于根据在模态指定步骤中所指定的模态来判定该第二组件的类型。
3.根据权利要求2所述的构造用户界面的方法，其特征在于，在根据模态指定步骤中所指定的模态来判定类型之前，如果有多个备选类型的话，判定步骤呈现多个备选类型，然后选择所呈现的备选类型中的一个。
4.根据权利要求2所述的构造用户界面的方法，其特征在于，还包括生成步骤，用于当在判定步骤中所判定的类型是语音输入组件时，基于对应于第一组件的数据，生成语音识别语法。
5.根据权利要求1所述的构造用户界面的方法，其特征在于，当在选择步骤中所选择的第一组件是语音输入组件时，转换步骤对语音输入组件的语音识别语法进行转换。
6.根据权利要求1所述的构造用户界面的方法，其特征在于，还包括组件指定步骤，用于指定将与另一组件一起添加的组件，其中，当在组件指定步骤中指定将与另一组件一起添加的组件时，与在选择步骤中所选择的第一组件相对应的数据被添加到与所指定的组件相对应的数据中。
7.根据权利要求4所述的构造用户界面的方法，其特征在于，将识别相关词汇的描述添加到语音识别语法中，该词汇是例如与在选择步骤中所选择的第一组件相对应的数据的同义词和近义词。
8.根据权利要求5所述的构造用户界面的方法，其特征在于，当分析结果包括一个或多个同义词时，将同义词合为一个。
9.根据权利要求5所述的构造用户界面的方法，其特征在于，当转换前的组件的信息在转换后被改变时，判定是否更新转换后的组件的信息。
10.一种构造用户界面的装置，包括选择装置，用于选择一个或多个第一组件；接收装置，用于接收将该第一组件转换成第二组件的指令，该第二组件的类型与该第一组件的类型不同；转换装置，用于将对应于该第一组件的数据转换成对应于该第二组件的数据；以及显示控制装置，用于控制显示与通过转换装置所转换的数据相关的该第二组件。
全文摘要
一种构造用户界面的方法，该方法选择一个或多个第一组件，提供将该第一组件转换成第二组件的指令，该第二组件的类型与该第一组件的类型不同，将对应于该第一组件的数据转换成对应于该第二组件的数据，并显示与所转换的数据相关的该第二组件。因此，可以减轻施加给操作设计工具的设计者的操作负担。
文档编号G06F9/44GK1782994SQ20051012416
公开日2006年6月7日 申请日期2005年11月25日 优先权日2004年11月26日
发明者近江裕美, 山田雅章, 广田诚 申请人:佳能株式会社