专利名称：用于借助用户界面选择功能的方法和用户界面的制作方法
技术领域：
本发明涉及一种用于借助用户界面选择功能的方法。多模用户 界面允许借助不同的输入设备或输入模态对技术系统进行输入。该 冲支术系统可以是例如4几动车的车载计算才几、个人计算才几、飞才几或生
产设备。此外移动终端设备如PDA、手才几或游戏控制面板也可以具 有多模用户界面。输入模态区分为例如手动输入、语音输入和通过 手势、头或眼^求移动的输入。在实践中例如键盘、开关、触壽文屏幕
(触石並式屏幕)、鼠标、图形i俞入玲反、用于语音丰lr入的麦克风、目艮 跟踪器等等适合作为输入设备。
背景技术：
多才莫用户界面的例子是不 <旦允许语音净餘入而且允许手动llr入 的用户界面。由此用户的输入通过两个不同的输入模态实现，并进 而也连接不同的输入设备。用户界面在其方面ilr出信息给用户。这 可以在其方面通过不同的输出才莫态(可^见的输出、声学的输出、触
觉的反馈......)实现。用户通过其输入选择各个冲支术系统的功能，
该功能在需要时也立即被实施。输出提供给用户对其选择可能性的 反馈或对由其采取的选择的反馈。在用户界面的方案中必须考虑用 户的要求和所使用的技术的要求。例如出于用户的观点对于手动输 入设备期望避免屏幕的文本化超载，避免的方式是可选择的功能通 过象形图代表。这种操作模式例如由个人计算机图像化操作界面已 知。但是在语音输入范畴内其导致了用户个体之间所使用的词汇的巨大差异基于象形图用户不知道4也可以4吏用哪一个定义作为语音 命令，因为多个定义或同义词都是可以的。当然，当今的语音识别 系统为了语音输入的高识别率需要尽可能小数量的不同定义。出于 这个原因当今的提供用于选择功能的语音输入的用户界面根据"所 见即所述"(Say-What-you-see )原则构造。有效语音命令的选才奪以 文本形式在屏幕上示出。这快速地导致在手动输入时不期望的文本 化超载。
发明内容
"的方
法和用户界面， 作用更容易。
该任务通过根据独立权利要求的用于借助用户界面选择功能 的方法和用户界面以及才几动车驾马史室和计算才几程序解决。本发明的 改进方案在/人属权利要求中定义。
在用于借助用户界面选择功能的方法中，用户借助用户界面选 择技术系统的功能。信息代表功能和/或确认功能的选择。信息在第 一输出模式中以第 一形式(Auspragungen )输出，第 一形式被优化 用于第 一输入模态或第 一输入设备。此外信息在第二输出模式中以 第二形式输出，第二形式被优化用于第二输入才莫态或第二输入设 备。
所述方法提供了优点，即第一输出模式和第二输出模式根据输 入模态或输入设备的相应要求被优化。这样在每个时间点对于每种 输入模态或每个输入设备保证在实施操作时对用户的最大支持。根据一个改进方案， 一旦用户界面识别出用户想要从第一输入 模态转换成第二输入模态或从第一输入设备转换成第二输入设备 或已经进行从第 一输入模态到第二输入才莫态或从第 一输入设备到 第二输入设备的转换时，用户界面从第 一输出才莫式转换入第二输出模式。
所述改进方案实现对各个优化的输出模式的动态选择。 在一个特别的改进方案中用户界面这样识别所述转换，即用户
按压"一键通"(Push-To-Talk)按键或说出口令。
所述改进方案4吏得用户可以以简单的方式从手动输入转4奐成 语音输入。
根据一个实施例第一输入模态允许手动输入和第二输入模态
允许语音4lr入。
在另 一实施例中第 一输入才莫态允许手动输入和第二输入才莫态 允许通过眼5求移动进4于输入。
根据一个改进方案，信息在第 一输出模式中作为象形图和在第 二输出模式中作为文本在屏幕上输出。
所述改进方案提供优点，即屏幕可以在每个时间点尽可能地保 持一目了然并且如所需要的那样详细。信息通过各个用于相应输入 模态的形式优化。在手动输入时象形图实现一目了然的和可快速了 解的视觉显示。反之，在语音输入时象形图被文本代替，文本示出 语音输入系统所需的口令。结果是〗又在确实需要功能的语言化时， 屏幕才具有高的文本负荷。这样可以明显地将由语音识别器不知道的定义以及与语音命令同义的定义导致的输入4普误减少到最低程度。
在一个特别的改进方案中，在第 一输出^t式中示出的象形图在 第二输出才莫式中在文本旁边或下面缩小地或改变地示出。
这提供优点，即象形图在语音输入时还可以用作为用于用户 一见 觉搜索的锚点(或者说定点Ankerpunkte )。
根据一个实施例信息在第一输出模式中非语言地和在第二输 出模式中语言地声学地输出给用户。
这意p未着，用户对功能的手动选4奪例如可以通过卡4荅声，也就 是非语言的声学信号被确认。卡搭声提供足够信息，因为在手动输 入期间用户通常总是获得视觉的反馈，他正在选择哪一个功能。
反之，在语音输入时用户对功能的选择通过语言的声学的输出 确收。于是这在机动车驾驶员通过语音命令启动车载计算机的功能 并且同时他的目光要定向地^f呆持在车道上时具有优点。通过语言的 声学的输出他获得关于所选择的功能的内容性的反馈。由此在两种 输入模态中保证，所输出的信息保持尽可能短并同时如所需要的那 样精确。
在一个特别的改进方案中，信息作为象形图输出。在此在第二 输出模式中的象形图的间距或其大小大于在第 一输出模式中的间 距或其大小。
所述改进方案考虑到，在手动输入时例如利用鼠标或图形输入 板基本上较小的象形图，也就是图标、按钮等等也可以以彼此间小 的间距被用户有目的地选择。反之，在使用眼球跟踪装置时用户的类似的精确输入不可能实现，因此象形图的间距或大小必须相应地 更大。在此要考虑到，眼球跟踪器的分辨率朝向屏幕边缘那里是减 少的，由此象形图之间的间距朝向屏幕边纟彖那里必须增加。
用户界面具有装置，以便实施所述方法。机动车驾驶室具有装 置，以〗更实施所述方法。 一旦计算才几程序在处理器中祐j丸4亍，所述 计算枳4呈序实施所述方法。
下面参照在附图中示意性示出的实施例进一 步描述本发明。详
纟田i也示出
图1:输入和输出的示意性碎见图，
图2:在第一输出^^莫式中的屏幕输出，
图3:在第二输出模式中的屏幕输出。
具体实施例方式
图1示出根据第一个实施例的输入和输出的示意性视图。用户 2与用户界面l相互作用。该相互作用通过第一l命入i殳备ll和第二 输入设备12实现。第一输入设备11可以是例如鼠标和第二输入设 备12可以是用于语音输入的麦克风。相应地，第一输入设备ll属 于第一输入模态21,在此是手动输入，以及第二输入设备12属于 第二输入模态22,在此是语音输入。如已经在开头中所述的，可替 换地或补充地可以是任意其它输入设备和输入^t态。特别是第一输 入设备11和第二输入设备12也可以属于同一输入才莫态但具有这样 不同的特性，即如下所述的输出才莫式的动态的变化是有利的。用户2借助他的输入选择了技术系统的功能，用户界面l连接 这些功能。如开头所述，在此可以想到4壬意4支术系统，乂人才几动车-计算机至多媒体-控制面板。为了支持用户2选择功能，用户界面l 向该用户输出信息，该信息可以代表所述功能、为选4奪展示所述功 能或者也确认他们的选择。该信息可以以任意方式形成，例如在通 过屏幕或投影显示器进行图像输出情况下以窗口、菜单、按钮、图 标和象形图的形式；也可以将它们声学地输出，作为非语言信号或 i吾言的i吾音llr出的形式。第三，该〗言息也可以以触觉方式传l命到用 户的身体上。如图1中所示，例如在第一输出^t式41中输出作为 信息的第一形式31的象形图，与此相反在第二输出模式42中输出 作为信息的第二形式32的语音。
图2和图3分别示出根据第二实施例的第一输出模式和第二输 出模式。各自示出屏幕3，在该屏幕上示出输出的信息。根据图2 的第一输出模式在此被优化用于手动llr入。在此手动输入例如可以 通过所谓的"软键"、旋转-按压控制元件、开关、键盘、鼠标、图 形输入板等实现。根据图2在第一输出模式中信息以第一形式示出， 如通过象形图51、 52、 53、 54、 55由附图可见的那才羊。在手动專俞 入的情况下，象形图51、 52、 53、 54、 55通过各个符号实现了对 用户来说直观的和容易找到的、各个功能的代表。例如象形图51 包括已知的用于播放多媒体文件的符号。象形图52和53由同样的 背景已知。此外多J 某体内容的标题通过文本61、 62、 63、 64、 65 示出。滚动条80实现在指示的条目中向下4也动。通过选4奪象形图 54和55实现滚动条80的控制。在图2中示出的第一输出才莫式的目 的是这样的，即避免屏幕3的文本化超载和实现通过各个技术系统 的功能对用户实现直2见的导4元。
图3以第二实施例示出第二输出模式。第二输出模式在此被优 化用于语音输入。例如在用户想要乂人手动IIT入转换成语音输入或已经进行了转换时，用户界面从第 一输出模式转换入第二输出模式。
用户界面例如通过说出的口令或按压"一4建通"(Push-To-Talk)按4定、 或者操纵另一合适的装置(例如利用手势控制器、注视控制器、运 动控制器)识别这种情况。在第二输出模式中象形图51、 52、 53、 54、 55完全淡出、缩小或变灰或者以其它方式移入背景。第二输出 模式以第二形式输出信息，其明确地语言化语音命令并表达语音命 令，其可以在语音输入范畴内通过用户界面识别。详细地说，这是 i吾音命令71、 72、 73、 74、 75，该"i吾音命令与各个象形图51、 52、 53、 54、 55的已^口的功能牙目酉己属。文本61、 62、 63、 64、 65也在 图3中粗体示出，由此用户界面向用户发出信号，即可以通过各个 文本作为语音命令选择各个多^某体内容。可替换地，代表语音命令 的文本也可以通过改变颜色或字体大小或者通过下划线等等进行 强调。
在第三实施例中用户界面在手动#T入与通过眼^求移动的l俞入 之间进行区分，由眼球跟踪器记录通过眼球移动的输入。在通过眼 球移动输入时，象形图放大或也以更大的间距示出，因为由于眼球 跟踪器的低分辨率用户不能像使用手动输入设备那样精确地与用 户界面相互作用。
在第四实施例中，信息不是视觉地输出，而是声学地输出。在
此也可以再次在手动#r入与语音#命入之间进^亍区分。在手动#r入
时，例如非语言的以卡搭声(Klick)形式的声学信号足够可以确认用 户的选才奪，与此相反，在语音输入时，期望语言的声学的语音输出， 以1更确认用户的选才,。这可以例如这样解释，即用户在4几动车内进 行语音输入并且他的目光要定向地保持在街道上。由此他需要内容 性的反馈，该反馈识别出语音命令。反之，在手动输入的情况下可 以4艮i殳，即用户已经视觉地看到他选择了哪一个功能，从而卡4荅声 作为声学的输出就足够了 。此外可以实现，用户界面在第 一输出模式中输出可视的信息， 但在第二输出模式中输出声学的或触觉的信息。以这种方式可以通 过合适地选择各个输出模态来考虑到各个输入模态的或考虑到各 个输入设备。
权利要求
1. 用于借助用户界面(1)选择功能的方法，-其中用户(2)借助所述用户界面(1)选择技术系统的功能，-其中信息代表所述功能和/或确认所述用户(2)对所述功能的选择，-其中所述信息在第一输出模式(41)中以第一形式(31)输出，所述第一形式被优化用于第一输入模态(21)或第一输入设备(11)，-其中所述信息在第二输出模式(42)中以第二形式(32)输出，所述第二形式被优化用于第二输入模态(22)或第二输入设备(12)。
2. ^4居纟又利要求1所述的方法，-其中 一旦所述用户界面(1 )识别出所述用户(2 )想要从所 述第一输入模态(21 )转换成第二输入模态(22 )或从所述第 一输入设备(11 )转换成第二输入设备(12 )或已经进行了从 所述第一输入模态(21 )到第二输入模态(22)或从所述第一 输入设备(11 )到第二输入设备(12)的转换时，所述用户界 面(1 )从所述第一输出模式(41 )转换入所述第二输出模式(42 )。
3. 根据权利要求2所述的方法，-其中所述用户界面(1 )这样识别所述转换，即所述用户(2) 按压"一键通"按键或说出口令。
4. 才艮据权利要求1所述的方法，-其中所述第一输入模态(21 )允许手动输入，所述第二输入 模态(22 )允许语音输入。
5. 根据权利要求1所述的方法，-其中所述第一输入模态(21 )允许手动输入，所述第二输入 模态(22)允许借助眼球移动进行输入。
6. 根据权利要求4所述的方法，-其中所述信息在所述第一输出模式(41 )中作为象形图和在 所述第二输出模式(42)中作为文本在屏幕(3)上输出。
7. 才艮据权利要求6所述的方法，-其中在所述第一输出模式(41 )中示出的所述象形图在所述 第二输出模式(42 )中在所述文本旁边或下面缩小地或改变地 示出。
8. 根据权利要求4所述的方法，-其中所述信息在所述第一输出模式(41 )中非语言地和在所 述第二输出^^莫式(42)中语言地声学地输出给所述用户(2)。
9. 根据权利要求5所述的方法，-其中所述信息作为象形图输出，-其中在所述第二输出模式(42 )中的所述象形图之间的间距 或其大小大于在所述第一输出模式(41 )中的所述象形图之间 的间3巨或其大小。
10. 具有装置的用户界面(1 ),以便实施才艮据前述片又利要求中任一 项所述的方法。
11. 具有装置的机动车驾驶室，以便实施根据权利要求1至9中任 一项所述的方法。
12. 计算4几程序， 一旦所述计算才几程序在处理器中被4丸^f亍，所述计 算机程序实施根据权利要求1至9中任一项所述的方法。
全文摘要
本发明涉及一种根据当前使用的输入模式或当前使用的输入设备优化多模用户界面的输出的方法。这样可以例如在手动输入时在屏幕上示出象形图，象形图在转换成语音输入时被文本代替，所述文本使语音命令可视化。由此所述输出在每个时间点保持尽可能短并同时如所需要的那样详细。这为用户提高了舒适性。多模用户界面适用于机动车驾驶室、个人计算机和所有类型的移动终端设备。
文档编号G06F3/048GK101484866SQ200780008650
公开日2009年7月15日 申请日期2007年2月22日 优先权日2006年3月10日
发明者托马斯·亨佩尔, 罗曼·维利梅克 申请人:大陆汽车有限责任公司