用户界面生成装置的制作方法

专利名称：用户界面生成装置的制作方法
技术领域：
本发明涉及用户界面生成装置，更具体地，涉及用于生成移动终端的用户界面的 用户界面生成装置。
背景技术：
当用户操作移动终端时，以移动电话为代表的移动终端的用户界面(下文中，不 定地简称为“UI”)对可操作性有着巨大影响。因此，移动终端的UI是让用户购买移动终端 的重要因素之一。由于近些年中移动终端的显著多功能化，有很多移动终端具有使用动画和3D显 示的独特UI。此外，有移动终端具有根据需要可以由用户进行个性化的UI。这样的移动终 端极大地提高了针对用户的便利性。在制造商之间和在型号之间，常规移动终端一般具有不相同的UI设计和操作方 法。即，UI对于每个终端是唯一的，并且大多数常规移动终端具有高度依赖于型号的UI。 因此，当在开发终端中重新使用另一个终端的程序代码时，其导致对程序代码的UI部分的 大量改动。因此，难以将终端的程序代码移植到另一个终端上。为了处理这种问题，已经引入了基于XML(可扩展标记语言)的UI。通过使用其描 述方法被标准化的XML文件来表示UI，促进了程序代码的重新使用，并且使得向另一个型 号移植UI成为可能。相应地，其还使得独立地单独处理来自每个终端的UI成为可能，以使 得不同型号和不同制造商的终端可以使用该UI。这种基于XML 的 UI 的代表有 TAT (http //www. tat. se)开发的 UI 基础、Acrodea， Inc. (http://www.acrodea.co.jp/)开发的 VIVID UI、Qualcomm Incorporated (http:// www. qualcomm. co. jp/)开发的 UI One 等等。另外，由于终端主体的多功能化和高性能，最近越来越多的移动终端安装了可以 执行多任务处理的OS(操作系统)，用于同时并行地执行多个任务。此外，通过将并行和同 时处理的多个任务分配给相应的显示区域(窗口)，具有多窗口功能和复用输出屏幕显示 器的移动终端已经变得广泛使用。附带地，存在一种已经公开的技术，用于通过使用具有红外通信单元的移动终端， 通过红外通信来远程操作(控制)多个外部设备(参见例如，专利文档1)。专利文档1的 移动电话终端具有用于与外部设备通信的外部控制单元。该移动电话终端存储经由电话线 获得或者从外部设备接收的用于远程控制外部设备的外部设备控制信息，并且基于该外部 设备控制信息来远程控制外部设备。即，通过改变终端中所并入的应用程序(下文中，简单 地称为“应用”)，一般作为移动电话使用的终端主体可以被用作用于远程控制多个外部设备的远程控制器(下文中，简单地称为“遥控器”)。现有技术文档专利文档专利文档1 日本专利特许公开号2001-36652

发明内容
技术问题根据上述专利文档1公开的移动电话终端，单一移动电话终端可以基于与外部设 备相对应的相应外部设备控制信息来远程控制多个外部设备。因此，不需要进行麻烦的操 作来让用户分别使用针对多个外部设备的单独遥控器终端，这改善了针对用户的便利性。如果在上述能够进行多任务处理的移动终端中，能够实现在要远程控制的多个外 部设备之间进行远程切换的这种遥控器功能，则不一定需要退出遥控器应用来发起另一个 遥控器应用。即，有可能在单一终端上发起多个应用，并且适时地使用他们中所需的遥控器 应用。然而，在多个应用之间进行频繁切换的操作是麻烦的。如果在移动终端中嵌入上述多窗口功能，可以分别在多个窗口上显示用于操作多 个应用的UI。因此，有可能在单一屏幕上使用应用，而不在多个应用之间进行切换。即，例如对于图22(A)所示的单独的TV遥控器终端，如图22 (B)所示，可以在例如 移动终端100的触摸面板200上再现TV遥控器应用的UI，同时维持TV遥控器终端的可操 作性。当图22(A)所示的遥控器终端的数字按键或按钮是机械按键时，将图22(B)所示的 移动终端的数字按键或按钮进行再现来作为对象，并在触摸面板200上加以显示。下文中， 将构成在触摸面板上显示的UI的多种按键或按钮以及显示点的信息称作“UI对象”。类似 地，对于图22(C)所示的单独的空调遥控器终端，如图22(D)所示，可以在移动终端100的 触摸面板200上再现空调遥控器应用的UI，同时维持空调遥控器终端的可操作性。此外， 如果基于以XML方式来描述每个应用的UI，则即使将应用移植到不同制造商的另一个终端 中，也可以仅通过处理描述该UI的XML文件，容易地在另一个终端中再现几乎相同的UI。然而，在上述示例中，为了在观看TV时操作空调，可能需要针对TV和空调两者的 麻烦操作。在这种情况下，可以通过使用多任务功能和多窗口功能，划分显示单元的显示区 域，同时显示TV和空调的应用。然而，由于每个应用仅具有假定单独使用的UI，因此UI的 同时显示导致了如图23(A)至(D)中所示的显示。图23(A)至(D)是示出了当通过使用具有多任务功能和多窗口功能的移动终端 100来同时显示两个应用的UI时的状态的图。在图中示出的示例中，当该UI中的每一个被 重现为处于将触摸面板200的显示单元垂直分割的每个窗口中，每个UI仅有一部分得以显 示。在每个窗口的右侧提供了滚动条，以使得操作屏幕之外的部分成为可能。在如图23(A)所示的状态下，为了例如调整TV的音量，如图23(B)所示，用户需要 移动TV遥控器UI的窗口中的滚动条，以移动TV遥控器UI的显示区域。类似地，在如图 23(C)所示的状态下，为了例如调整空调的温度，如图23(D)所示，用户需要移动空调遥控 器UI的窗口中的滚动条，以移动空调遥控器UI的显示区域。此外，当通过使用多窗口功能 发起多个应用时，并且如果将UI显示为彼此重叠，则必须在开始输入操作之前选择并激活窗口。特别地将移动终端的终端主体设计为紧凑的，从而触摸面板构成的UI或物理按 键构成的UI可以使用的面积非常有限。因此，一般以最小尺寸来设计构成应用的UI的操 作单元(如遥控器)。因此，将每个UI整个地减小以同时显示多个应用的UI是不现实的。如上所述，如果通过使用多窗口功能来显示被设计为针对单一屏幕且被假定为单 独使用的UI (下文中，恰当地简写为“独立UI”)，则破坏了 UI的可操作性。为了处理这种问题，可以考虑生成合成的UI (下文中，简称为“合成UI”)，其由从 作为每个独立UI的组件的UI对象(如按键和按钮)中选择的UI对象合成。例如，可以考 虑如图对所示的通过选择来自图22(B)所示的TV遥控器应用UI和图22(D)所示的空调 遥控器应用UI中的预定UI对象，来生成合成UI。图M所示的移动终端100示出了示例， 在该示例中从上述两个遥控器应用UI中选择预定UI对象，并且将其显示为触摸面板200 上的单一合成UI。由于以这种方式来合成UI使得通过选择用户频繁使用或需要的UI对象来构成合 成UI成为可能，因此不一定让每一个UI对象牺牲其可使用性(S卩，可操作性)来进行缩小。另外，不管使得对多个应用的操作成为可能的便利性如何，合成UI中针对每个应 用的UI对象的数量(软按键，比如按钮等等)小于独立UI中的数量。相应地，可以例如通 过不显示与用户所需的操作相对应的UI对象，来破坏针对用户的便利性。例如，将图25 (a) 中独立UI与图25(b)中的合成UI相比较，合成UI中并未包括与TV遥控器UI的数字按键 相对应的UI对象。因此，用户不能用该合成UI直接选择每个广播台。此外，合成UI的UI 对象的改变、尺寸的改变以及布置相应界面的区域的交换导致了对用户的沉重负担。因此，本发明的目标是考虑到这种条件，以提供即使在多个应用程序的用户界面 的合成之后，也能够通过简单操作来改变合成UI的构成的用户界面生成装置。问题的解决方案为了解决上述问题，根据本发明的第一方面的用户界面生成装置包括一种用户 界面生成装置，包括存储器单元，能够存储应用程序；控制单元，基于存储在所述存储器单元中的应用程序，用于在接收到生成一个用 户界面的指令时，进行控制以显示与所述指令中的用户界面相对应的独立用户界面对象 组，以及用于在接收到生成多个用户界面的指令时，进行控制以通过对从与所述指令中的 多个用户界面对应的独立用户界面对象组中分别提取的用户界面对象执行合成处理，来显 示合成用户界面对象组；显示单元，用于显示所述独立用户界面对象组或所述合成用户界面对象组；以及输入单元，相对于所述显示单元地布置在所述显示单元的前表面处，以接收第一 输入装置产生的第一输入和第二输入装置产生的第二输入，其中如果所述输入单元接收到所述第一输入，则所述控制单元执行与所述第一输入的 接收位置相对应的用户界面对象的功能，以及如果在所述控制单元进行控制以显示所述合成用户界面对象组的同时，所述输入 单元接收到所述第二输入，则所述控制单元根据所述输入单元开始接收所述第二输入的位 置以及所述输入单元结束接收所述第二输入的位置，来执行所述合成用户界面对象组的重新合成处理，并进行控制以显示重新合成的合成用户界面对象组。优选地，所述控制单元执行所述重新合成处理，以在所述合成用户界面对象组中， 将与所述第二输入的接收位置相对应地显示的用户界面的显示位置和与所述输入单元结 束接收所述第二输入的位置相对应地显示的用户界面的显示位置相交换。优选地，如果所述第二输入的输入区域在所述输入单元结束接收所述第二输入的 位置处包括所述显示单元的显示区域的边界，则所述控制单元执行所述重新合成处理，以 改变所述合成用户界面对象组中的每个用户界面的布置。优选地，如果所述第二输入的输入区域在所述输入单元开始接收所述第二输入的 位置处包括用户界面的显示区域之间的边界，则所述控制单元执行所述重新合成处理，以 将所述显示区域之间的边界移动至所述输入单元结束接收所述第二输入的位置处。为了解决上述问题，根据本发明的另一方面的用户界面生成装置包括存储器单元，能够存储应用程序；控制单元，基于在所述存储器单元中存储的应用程序，用于在接收到生成一个用 户界面的指令时，进行控制以显示与所述指令中的用户界面相对应的独立用户界面对象 组，以及用于在接收到生成多个用户界面的指令时，进行控制以通过对从与所述指令的多 个用户界面对应的独立用户界面对象组中分别提取的用户界面对象执行合成处理，来显示 合成用户界面对象组；显示单元，用于显示所述独立用户界面对象组或所述合成用户界面对象组；以及输入单元，相对于所述显示单元地布置在所述显示单元的前表面处，以接收第一 输入装置产生的第一输入和第二输入装置产生的第二输入，其中如果所述输入单元接收到所述第一输入，则所述控制单元执行与所述第一输入的 接收位置相对应的用户界面对象的功能，以及如果所述输入单元在所述控制单元进行控制以显示所述合成用户界面对象组的 同时接收到所述第二输入，以及如果所述输入单元在连续按下所述第二输入期间接收到用 于对所述合成用户界面对象组中的用户界面对象进行选择的所述第一输入，则所述控制单 元进行控制以显示合成用户界面对象组，所述合成用户界面对象组被执行了重新合成处 理，以使用另一个用户界面对象改变由所述第一输入选择的用户界面对象。优选地，所述第一输入对包括在所述合成用户界面对象组的预定区域中的用户界 面对象进行选择。优选地，所述控制单元通过附加显示由所述第一输入选择的用户界面对象，来对 所述合成用户界面对象组执行所述重新合成处理。优选地，所述控制单元通过使用所述用户界面对象组中包括的用户界面对象中具 有低优先级的用户界面对象代替由所述第一输入选择的用户界面对象，来执行所述重新合 成处理。本发明的效果根据本发明，用户可以通过简单操作来改变合成用户界面的构成。


图1是示出了根据本发明的第二实施例的移动终端的构成的图2是示出了根据本发明的第二实施例的移动终端的操作的流程图；图3是示出了根据本发明的第二实施例，移动终端在输入处的控制流程的流程 图；图4是示出了根据本发明的第二实施例的移动终端的处理1的流程图；图5是示出了根据本发明的第二实施例的移动终端的处理2的流程图；图6是示出了根据本发明的第二实施例的移动终端的UI对象的子操作的流程 图；图7是示出了根据本发明的第二实施例，移动终端在释放处的控制流程的流程 图；图8是示出了根据本发明的第二实施例，移动终端在主输入和子输入处的操作的 流程图；图9示出了根据本发明的第二实施例，移动终端的合成UI的示例性重新合成的 图；图10示出了根据本发明的第二实施例，移动终端的合成UI的示例性重新合成的 图；图11示出了根据本发明的第二实施例，移动终端的合成UI的示例性重新合成的 图；图12示出了根据本发明的第二实施例，移动终端的合成UI的示例性重新合成的 图；图13是示出了根据本发明的第一实施例的用户界面生成装置的示意配置的框 图；图14是示出了本发明的用户界面定义文件的配置的概念图；图15是示出了本发明的合成用户界面定义文件的配置的概念图；图16示出了根据本发明的第一实施例的独立用户界面的图；图17示出了根据本发明的第一实施例，对作为用户界面对象定义信息的优先级 进行表示的信息的图；图18是示出了根据本发明的第一实施例的整体用户界面生成处理的流程图；图19是示出了根据本发明的第一实施例的用户界面生成处理的流程图；图20是示出了根据本发明的第一实施例的用户界面合成处理的流程图；图21是示出了根据本发明的第一实施例的通过用户界面合成处理来示例合成两 个独立用户界面的图；图22示出了由移动终端的用户界面再现的常规远程控制器的图；图23示出了由移动终端来常规合成两个用户界面的示例的图；图M是示出了移动终端示例性合成两个独立用户界面的图；以及图25示出了独立UI和合成UI的示例的图。
具体实施例方式将通过引用附图来描述本发明的实施例。在下面描述的每个实施例中，使用具 有用于远程控制各种外部装置的远程控制功能的移动电话来作为根据本发明的用户界面(下文中，称作“UI”)生成装置的示例。然而，根据本发明的UI生成装置不受限于移动电 话，而是可以应用于任何便携式终端，如膝上型计算机、PDA等等。另外，本发明不受限于移 动终端，而是可以应用于需要实现本发明的装置。应当注意本发明主要意在合成要同时使 用的多个UI，并且由每个UI所指示的应用不受限于具有远程控制功能的应用，而是可以将 本发明应用于各种类型的应用。(第一实施例)图13是示出了移动电话的示意配置的框图，该移动电话是根据本发明的第一实 施例的UI生成装置。移动电话1包括用于控制整体操作的控制单元10和用于接收用户输入且用于根 据每个应用来显示输入结果等的触摸面板20。触摸面板20具有输入单元22，输入单元22 由矩阵开关等构成以接收用户的输入，并且输入单元22被布置在由液晶显示器等构成的 显示单元M的前表面上。触摸面板20的输入单元22检测用户的手指或钢笔形输入设备 (如铁笔)的接触，并且输出与这种接触的输入对应的信号。显示单元M根据应用程序执 行显示，并且还在预定的UI显示区域中显示由UI对象(如用于接收用户输入的各种类型 的按键或按钮)构成的UI的图像。UI显示区域指的是在触摸面板20的显示单元M上用 于显示由UI对象构成的UI的区域。另外，移动电话1包括用于通过无线等，经由互联网向/从基站(图中未示出)发 送和接收各种信息(如语音呼叫、电子邮件的数据等)的无线通信单元30，以及包括用于通 过使用红外线与各种外部设备(图中未示出)通信的红外通信单元40。移动电话1通过使 用无线通信单元30，经由互联网、无线链路等向/从外部设备发送和接收各种数据。此外，移动电话1包括用于存储输入信息和各种应用的存储器单元50，存储器单 元50还作为工作存储器使用。存储器单元50包括应用存储器区域51、UI定义文件存储器 区域52、单独UI资源存储器区域53、公共UI资源存储器区域M、相关应用信息存储器区域 55、以及合成UI定义文件存储器区域56。控制单元10包括应用执行单元11、UI获得单元12、UI生成单元13、定时单元14 和UI事件处理单元15。控制单元10的应用执行单元11读出并且执行存储器单元50的应用存储器区域 51中存储的各种应用，以及控制这种执行。另外，基于对与从应用存储器区域51中读出并 且执行的应用相对应的UI的输入，应用执行单元11执行与输入相对应的应用的功能。UI获得单元12从终端外部经由无线通信单元30获得资源(图像数据等)和UI 定义文件(XML文件等)。UI生成单元13对UI定义文件执行解析和DOM (文档对象模型) 处理，并且生成要实际使用的UI。UI生成单元13通过使用XML引擎来解释以XML形式描 述的UI信息，并且在触摸面板20的显示单元M上显示基于UI定义文件生成的UI。UI生 成单元13执行与包括合成UI在内的各种UI的生成相关的各种处理。下面将详细描述UI 生成单元13。除了通过使用计数器来测量时间长度之外，定时单元14输出当前时间并且通知 已经到达(预设)预定的时间。基于用户操作对输入单元22等输入，UI事件处理单元15 处理发生在由UI生成单元13生成的UI上的事件，并且恰当地指示应用执行单元11执行 各种功能。
上述UI生成单元13包括用于基于多个UI定义文件来执行UI的合成处理的UI 合成处理单元60。UI合成处理单元60包括UI对象定义信息分析单元61、UI对象选择处 理单元62、合成UI定义文件生成单元63、自动布局处理单元64和UI资源成形单元65。UI对象定义信息分析单元61分析UI定义文件中包括的对各种UI对象进行定义 的UI对象定义信息。UI对象选择处理单元62自动地或通过用户的输入来执行对从大量UI对象中选择 必须的UI对象的处理。当由用户进行选择时，UI对象选择处理单元62执行处理并且进行 控制，以通过分析对要在显示单元M上显示的UI对象的UI对象定义信息进行定义，来生 成用于接收用户对选择UI对象的输入的选择屏幕。合成UI定义文件生成单元63生成并且输出由UI合成处理单元60所合成的UI， 作为合成UI定义文件。自动布局处理单元64执行与合成UI中的布局相关的各种控制和处理。例如，自 动布局处理单元60执行每个UI对象的布置设置处理、布置可用性确定处理、减少对象选择 处理、最小尺寸设置处理和空白页边设置处理。下面是对这些处理的总结性描述。在将UI对象实际布置在预定的UI显示区域之前，UI对象的布置设置处理依照于 预定过程来虚拟地布置UI对象。布置可用性确定处理确定是否可以在预定的UI显示区域 中布置由布置设置处理所虚拟地布置的UI。如果布置可用性确定处理确定在预定UI显示 区域中不可以布置全部的UI对象，则减少对象选择处理根据预定过程来选择要减少的UI 对象。根据取决于终端的信息以及UI对象定义信息，最小尺寸设置处理设置针对每个UI 对象的减少的最低限制。在布置UI对象中，空白页边设置处理在UI对象周围设置充足的 间隔(空白页边)，使得UI对象不与另一个UI对象或UI显示区域的边缘太近。基于每个UI对象的显示尺寸，UI资源成形单元65执行对所选UI对象的预览处 理，以及执行对用于合成UI的资源的数据进行扩大或减少的处理。在该情况下，UI资源成 形单元65读出并且使用在单独UI资源存储器区域53或公共UI资源存储器区域M中存 储的资源的数据。存储器单元50的应用存储器区域51存储了由对实现各种功能的过程进行描述的 数据所构成的各种应用。UI定义文件存储器区域52存储对生成每个UI的生成规则序列 进行整体定义的UI定义文件。单独UI资源存储器区域53存储用于生成对于每个应用来 说唯一的UI的单独UI资源，如图像数据和字符串(文本)数据。公共UI资源存储器区域 54存储除了对于每个应用来说唯一的单独UI资源之外的、由终端所使用的UI公共使用的 公共UI资源，如图像数据和字体数据。当实际生成UI时，将在单独UI资源存储器区域53 和公共UI资源存储器区域M上存储的图像数据和文本数据显示在触摸面板20的显示单 元24上。另外，相关应用信息存储器区域55存储相关的应用信息，包括与合成UI定义文件 相关的应用的激活信息(下面描述)。合成UI定义文件存储器区域56存储由合成UI定义 文件生成单元63生成的合成UI定义文件。接下来，描述根据本发明的存储于UI定义文件存储器区域52中的UI定义文件。存储器50的UI定义文件存储器区域52存储了 UI定义文件，该UI定义文件定义 了对执行应用存储器区域51中存储的应用所必需的UI的应用的规范和操作。为了方便描述，尽管不同的应用可以使用相同的UI，此处假设每个应用所使用的UI彼此不同，并且假 设存储了与每个应用对应的每个UI定义文件。例如，在UI定义文件存储器区域52中存储了 TV遥控器UI定义文件，对应于用于 通过使用移动电话1来远程控制作为外部设备的电视机(图中未示出)的TV遥控器应用。 类似地，在UI定义文件存储器区域52中存储了空调遥控器UI定义文件，对应于用于通过 使用移动电话1来远程控制作为另一个外部设备的空调(图中未示出)的空调遥控器应用。根据本实施例，将基于XML的UIML (用户界面标记语言)形式用作对UI定义文件 进行描述的语言的示例。为了激活和使用UI，依照用UIML形式描述的定义，UI生成单元在 移动电话1的触摸面板20的显示单元M上显示UI，并且应用执行单元11响应于用户对输 入单元22的输入来执行处理。图14是示出了 UI定义文件的结构的概念图。如图14所示，移动电话1的存储器 单元50的UI定义文件存储器区域52存储了 UI定义文件，该UI定义文件定义了生成整个 UI的生成规则序列。尽管在图14中存储了六个UI定义文件(1)至(6)，UI定义文件存储 器区域52可以依照要使用的UI而存储任何数目的UI定义文件。另外，如图14所示，每个UI定义文件包括多个UI对象定义信息。尽管图14中UI 定义文件( 包括六个UI对象定义信息((幻-1至( -6)，在实际中，UI定义文件(2)包 括的UI对象定义信息与要基于UI定义文件(2)来构成的UI中所包括的UI对象一样多。如图所示，UI定义文件包括的每个UI对象定义信息包括指示了各种属性的信息， 这些属性与UI对象定义信息所定义的UI对象相关。下面是UI对象定义信息中包括的代 表性信息的示例(1)组件(UI对象)的类型信息指定类型的信息，例如UI对象是否具有用于接 收用户操作的按钮或按键的功能、用于显示信息的文本框、或用于在显示单元M上简单显 示图像的功能；(2)用于UI对象的资源信息对用于显示UI对象的图像和文本进行定义的信息， 如按键或按钮、要在显示单元M上显示的UI的组件；(3)用于布置UI对象的位置信息指定在预定UI显示区域中，在何处显示UI对 象的信息；(4)UI对象的显示尺寸信息指定当在UI显示区域中显示时UI对象的尺寸的信 息；(5) UI对象的操作条件信息(动作信息)指定当存在对UI对象的输入时(实际 中，当存在对与UI对象相对应的输入单元22的部分的输入时)，对应用的操作的信息(例 如，对指示TV遥控器应用进行定义的信息，如果TV遥控器UI的“电源"UI对象发生了输入 事件，发送红外信号以打开或关闭作为外部设备的TV的电源)；(6)启用或禁用UI对象的信息指定是否在UI显示区域中显示UI对象或是否激 活UI对象的信息；(7)UI对象的优先级顺序信息当基于UI对象和其他UI对象之间的关系来合成 多个UI时，与UI对象的优先级相关的信息；以及(S)UI对象和另一个UI对象之间的关系信息当UI对象具有与另一个UI对象的预定关系时，指定该关系的信息。尽管可以将各种信息认为是上述(5)的UI对象的操作条件信息(动作信息)，下 面是根据本实施例被定义为动作信息类型的三种主要类型，包括上述信息在内。1、用于改变UI对象的属性(属性信息)的动作2、用于执行应用的功能的动作3、用于激活独立UI的动作另外，根据本实施例的移动电话1可以基于用户的选择操作来选择并且采用来自 多个UI的多个UI对象，并将多个UI对象显示为一个UI显示区域中的合成UI。在该情况 下，尽管每个UI具有对应的UI定义文件，由用户按照需要选择的UI对象所构成的合成UI 不具有对应的原始UI定义文件。因此，在对由用户选择的UI对象所构成的合成UI的生成 中，UI合成处理单元60基于合成UI来生成并存储合成UI定义文件。下面是对生成合成 UI定义文件的操作的进一步描述。图15是示出了合成UI定义文件的结构的概念图。合成UI定义文件是单一的UI 定义文件，其具有从多个UI定义文件中包括的UI对象定义信息中分别提取出的一部分。 当被从其所属于的独立UI中提取并合成时，可以按照需要以各种方式来处理合成UI定义 文件中要包括的UI对象定义信息，例如，添加用于标识合成UI的定义的信息和用于指定相 关应用信息的信息。图15所示的示例示出了通过从三个UI定义文件(2)、⑷和(5)收集 一些提取出的UI对象定义信息，来生成新的合成UI定义文件(1)的概念图。以这种方式， 当从每个UI对象定义文件中提取一些UI对象定义信息，并将其集中在合成UI定义文件中 时，UI合成处理单元60在合成之前按照需要进行处理。在合成多个UI中，UI合成处理单元60的UI对象选择处理单元62基于每个UI定 义文件来生成UI对象选择屏幕，并且提取由用户选择的UI对象的UI对象定义信息。UI合 成处理单元60将用这种方式提取的UI对象定义信息进行集中。此时，合成UI定义文件生 成单元63从所集中的UI对象定义信息生成单个合成UI定义文件。从用户的角度来看，这 是通过选择并采用来自多个UI中的一些UI对象来生成单个合成UI。如上所述，当合成UI 定义文件生成单元63生成合成UI定义文件时，UI合成处理单元60按照需要处理UI对象 定义信息。然后，UI合成处理单元60在合成UI定义文件存储器区域56中存储由合成UI 定义文件生成单元生成的合成UI定义文件。下面通过使用特定示例来描述基于UI定义文件生成UI。图16(A)和(B)是示出 了遥控器应用UI，作为基于图14和图15所示的每个UI定义文件生成的独立UI (独立的 用户界面对象组)的示例。图16(A)示出了电视机的遥控器应用UI的示例(用户界面对 象组)，而图16(B)示出了空调的遥控器应用UI的示例(用户界面对象组)。如果以基于 XML的UIML的文件格式来描述UI定义文件，并且通过分析这种UIML文件来生成UI，则生 成针对单个屏幕的UI，以放入显示单元M的预定UI显示区域。在每个UI的UI定义文件 中，由UI对象定义信息来定义针对构成每个UI的UI对象的各种属性。UI对象选择处理单元62基于预定标准从图16(A)和(B)所示的独立UI(独立用 户界面对象组)中选择一些UI对象。UI合成处理单元60执行前述处理以生成具有这些 UI对象的合成UI。从而，合成UI定义文件生成单元63可以通过选择并采用多个UI对象， 来生成构成一个合成UI的合成UI定义文件。
根据本实施例，在通过合成多个UI来生成合成UI中，还有可能自动地从UI对象 中选择主UI对象。在该情况下，当UI对象选择处理单元62自动地选择UI对象时，使用如 上所述的UI对象的优先级顺序信息(7)。图17是示出了根据本实施例的UI对象的优先级顺序信息的图。图17㈧示出了在移动电话1中仅激活了 TV遥控器应用，并且基于TV遥控器UI 定义文件，在触摸面板20上显示作为独立UI的TV遥控器UI。在图中，由虚线概念性地将 触摸面板20的UI显示区域划分为与相应的UI对象的属性信息相对应的小区域。另外，由 于用界面标签来示出了用于将多个UI对象作为一个UI (用户界面对象组)进行整体处理 的定义(UI定义信息)，因此有可能通过“!^interface”的标签的值来将其标识为TVl的 遥控器的UI。下面示出了与图17(A)中所示的相应小区域(1)-(7)相对应的示例性UI对 象属性信息。
界面 id = "TVl_interface"
(1)ID=
(2)ID =
(3)ID =
(4)ID =
(5)ID =
(6)ID =
(7)ID =
switchl" priority = “0” cn_select，，priority =“1，， volume" priority =“1，， IOkey" priority = “4” timer，，priority =“3，， bilingual，，priority =‘‘3，， 'title^priority = “0”根据本实施例，在UI对象属性信息中，提前将如上所述的每个小区域(1)-(7)的 UI对象的优先级定义为优先级的值。在图17所示的示例中，具有优先级值0的UI对象是 基本的(一直选择的)对象，并且具有优先级值1的UI对象是重要对象。随着优先级的值 的增加，UI对象则降低优先级。S卩，例如，由于图17㈧中小区域(1)中所示的“电源1 键 是基本的对象，将其优先级值设置为0。小区域( 中的频道选择按键和小区域C3)中的音 量增加和减少按键是重要的按键，因此将他们的优先级值设置为1。然而，由于可以用小区 域(2)和(3)中的频道选择按键来代替小区域中的数字键区，因此将数字键区的优先 级值设置为具有低优先级的4。另外，小区域(5)中的定时器按键和小区域(6)中的双语按 键不具有高优先级，因此将它们的优先级值设置为3。另外，小区域(7)中的字符串不是用于接收用户输入的按键，而是示出了 TV遥控 器UI的名称的UI对象。尽管在独立UI的使用中与此类似的UI名称不是必不可少的，但 是在生成合成UI中其增强了可视性，因此将其定义为要在本示例中显示的基本的UI对象。图17(B)示出了在触摸面板20上仅显示作为独立UI的空调遥控器UI。下面示出 了与图17⑶中的小区域(1)-(7)相对应的示例UI对象属性信息。将界面的标签的值设 置为“AIRljnterface”，使得可以将其标识为空调1的遥控器的单个UI，在该单个UI中布 置了多个对象。界面id = "AIRl_interface"(1) ID = ‘‘switch2，，priority = “0”(2) ID = "set_window"priority = “0”(3) ID = "temp"priority =“1”
(4) ID = "wind_velo"priority =‘‘1”(5) ID = "direction"priority = “2”(6) ID = "mode"priority = “3”(7) ID = "title"priority =‘‘0”在空调遥控器UI中，例如，由于小区域⑴中所示的“电源1 键是基本的按键，并 且小区域0)中所示的“设置温度”是基本的，将他们的优先级值设置为0。另外，由于小区 域(3)中的温度上升和下降调整按键以及小区域中的风速调整按键是重要的，将它们 的优先级值设置为1。由于相比于这些按键具有较低优先级，因此将小区域( 中的风向按 键的优先级值设置为2，并且将小区域(6)中的模式按键的优先级值设置为3。小区域(7) 中的字符串不是用于接收用户输入的按键，而是示出了空调遥控器UI的名称的UI对象，因 此将其定义为要在本示例中显示的基本的UI对象。如上所述，根据本实施例，存储基于每个UI对象和其他UI对象之间的关系来定义 的优先级信息(优先级值)，作为每个UI定义文件的UI对象定义信息中的UI对象属性信 息。优先级值信息作为用于以下目的的信息当UI生成单元13在UI合成处理中执行对UI 对象的自动选择处理时，用于确定是否将每个UI对象用于合成UI。由于显示单元M上的 UI显示区域是有限的，在生成合成UI中不采用具有低优先级的UI对象。取而代之地，将其 他UI中原始包括的、具有高优先级值的UI对象用于合成UI。接下来，将通过图18至图20所示的流程图来描述根据本实施例的对多个应用的 UI进行合成的操作。图18是示出了根据本实施例的UI生成单元13的整体处理的流程图，用于由UI 定义文件或合成UI定义文件生成并启用UI。首先，当基于用户对输入单元22的操作性输 入等来激活应用并且应用执行单元11指示生成该应用的UI时，开始生成并启用该UI的处 理。当开始该处理时，被授权显示UI的应用指定UI定义文件(XML文件)(步骤Sll)。这 种被授权显示UI的应用不是在移动电话1的后台中操作，而是在应用的顶部操作。开始该 处理的触发器可以是用户用于激活使用UI的应用的操作、在执行另一个应用期间用户用 于激活使用UI的应用的操作等等。接下来，UI生成单元13确定在步骤Sll处指定的UI定义文件数目是一个还是多 个(步骤Si》。如果确定指定的文件数目是一，则UI生成单元13确定已经指示的应用不 要求对多个UI进行合成，并且移动至步骤S13。在步骤S13，UI生成单元13从UI定义文 件存储器区域52或合成UI定义文件存储器区域56取回指定的UI定义文件，并且确定该 UI定义文件是否是合成UI定义文件。在步骤S13，如果确定指定的文件不是合成UI定义文件，S卩，指定的文件是从UI定 义文件存储器区域52取回的独立UI的UI定义文件，则处理移动至步骤S14。在步骤S14中，在对所指定的独立UI的UI定义文件执行XML解析之后，UI生成 单元13执行DOM处理(步骤SM)。类似于该情况，如果指定了单个UI定义文件并且该单 个UI定义文件是独立UI的UI定义文件，则之后的处理与常规UI生成处理一样。S卩，基于 在其上执行解析和DOM处理之后的UI定义文件，UI生成单元13执行UI生成处理(步骤 S16)。后面将描述在步骤S16处的UI生成处理。接下来，基于由UI生成处理所生成的XML 文件的UI，UI生成单元13执行处理以在触摸面板20的显示单元M的UI显示区域中显示UI (步骤S17)。从而，可以在移动电话1上使用该独立UI。另一方面，如果在步骤Sll所指定的文件数目多于1，UI生成单元13确定应用要 求对多个UI的合成，并对每个XML文件执行XML解析(步骤S18)和DOM处理(步骤S19)。 在步骤S20，UI生成单元13确定是否完成了对所有UI定义文件的上述解析和DOM处理。 如果还没有完成，处理返回步骤S18以对剩下的UI定义文件执行解析和DOM处理。如果在步骤S20确定完成了对所有UI定义文件的解析和DOM处理，则UI合成处 理单元60对完成了解析和DOM处理的多个UI进行合成(步骤S21)。S卩，UI生成单元13 指示生成(合成)多个UI。下面还将描述步骤S21处的UI合成处理。当在步骤S21处执行UI合成处理时，合成UI定义文件生成单元63生成合成UI 的合成UI定义文件。尽管之后整体的处理结束，如果通过使用此处生成的合成UI定义文 件恢复处理，则在步骤Sll指定合成UI定义文件。相应地，确定在步骤S12指定一个文件， 并且在步骤S13指定该合成UI定义文件。如果在步骤S13确定所指定的一个文件是合成UI定义文件，则处理移动至步骤 S22。如果指定的文件是合成UI定义文件，并且当在实际使用中对被生成(准备)来作为 合成UI定义文件的合成UI进行激活时，必须将UI对象显示为显示单元M上的一个合成 UI (合成用户界面对象组)，以使其可用。因此，UI生成单元13从存储器单元50的相关应 用信息存储器区域55中获得与目标合成UI定义文件关联存储的相关的应用信息(步骤 S22)。接下来，基于获得的相关应用信息，UI生成单元13指示应用执行单元11激活后台 中的相关应用(步骤S23)。之后，处理移动至步骤S14，并且之后的处理与对独立UI的UI定义文件的处理一 样。即，UI生成单元13执行对所指定的合成UI的UI定义文件的XML解析(步骤S14)和 DOM处理(步骤SM)。此外，基于所指定的合成UI定义文件，UI生成单元执行合成UI生 成处理(步骤S16)。然后，UI生成单元13执行处理以在触摸面板20的显示单元M的UI 显示区域中显示生成的合成UI (步骤S17)，并且结束整体的合成UI生成处理。接下来，通过图19所示的流程图来进一步描述图18中步骤S16处的UI生成处理。 步骤S16处的UI生成处理是狭义定义的UI生成处理，即用于分析UI定义文件并且用于基 于这种分析的结果来启用要在显示单元M上显示的UI的处理。在图19所示的UI生成处理的开始处，形成基于指定的UI定义文件的独立UI或 合成UI，作为单个DOM文档(或DOM节点)。首先，UI生成单元13执行与DOM文档的显示 相关的分析(步骤S31)。对于以UIML形式描述的UI定义文件，分析具有结构标签或风格 标签的属性。接下来，UI生成单元13执行与DOM文档的操作相关的分析(步骤S32)。对 于以UIML形式描述的UI定义文件，分析具有行为标签等的属性。接下来，UI生成单元13执行将DOM文档中包括的表达式转换为取决于每个终端 的描述的处理(步骤S3!3)。此外，UI生成单元13基于步骤S33的转换处理的结果来选择 要使用的UI对象的资源，并且设置每个属性(性质)(步骤S34)。存储此时所必需的UI对 象的资源，作为独立UI资源存储器区域56中的独立UI资源或公共UI资源存储器区域58 中的公共UI资源。随后，UI生成单元13执行包括每个UI对象在内的UI的绘图处理(步 骤S35)。从而，UI生成处理结束，并且UI生成单元13移动至图18的步骤S17用于UI显 示处理。
相应地，移动电话1可以基于独立UI的UI定义文件在显示单元M上显示独立 UI,同时执行使用该独立UI的应用。例如，如果TV遥控器的应用指定了 TV遥控器的UI定 义文件，则如上面图16(A)所示地显示UI。如果空调遥控器的应用指定了空调遥控器UI的 UI定义文件，则如图16(B)所示地显示UI。依照于对使用合成UI的应用的执行，还有可能 基于合成UI定义文件在显示单元M上显示合成UI。接下来，通过图20所示的流程图来进一步描述图18中所示的步骤S21处的UI合 成处理，即当被指示生成多个UI时所执行的处理。当图20所示的UI合成处理开始时，UI合成处理单元60提取构成多个UI (已经 完成了对这些UI的解析和DOM处理)的每个DOM节点的所有UI对象，并且分析每个UI对 象的属性信息(步骤S51)。如图14所示，每个UI对象中存在应当分析的很多属性信息，包 括每个UI对象的优先级信息(优先级)。在分析了所有UI对象的属性信息之后，UI合成处理单元60确定是否指示了自动 选择，以在提取的UI对象中选择(提取)要在合成UI中采用的UI对象(步骤S52)。 如果在步骤S52指示通过自动选择来合成UI，则UI对象选择处理单元62执行UI 对象自动选择处理(步骤S5!3)。从而，自动地提取UI对象，这些UI对象要被作为构成合成 UI的UI对象。在UI对象自动选择处理中，UI对象选择处理单元62基于预定规则来自动 地选择(提取)UI对象(例如，由于已经对用于合成UI的每个UI对象分析了属性信息的 优先级信息，因此采用具有优先级值0-2的UI对象)。相对地，如果在步骤S52未指示通过自动选择进行合成UI，则UI对象选择处理单 元62执行由用户对UI对象的选择处理(步骤S54)。从而，基于用户的选择来提取UI对 象，这些UI对象要被作为构成合成UI的UI对象。在用户对UI对象的选择处理中，合成UI 采用基于用户的输入操作来由用户选择的UI对象(提取以作为要采用的对象)。在该情况 下，优选地UI对象选择处理单元14在UI对象选择屏幕上计算在UI显示区域中所选择的 UI对象的总占有率，以避免不能放入UI显示区域中的UI对象的选择(提取)。在选择(提取)了合成UI要采用的所有UI对象之后，自动布局处理单元64执行 处理以在UI显示区域中虚拟地布置所选择(提取)的UI对象(步骤S56)。此时，UI资源 成形单元65按照需要调整所选的UI对象的显示尺寸。另外，自动布局处理单元64在UI 对象周围设置充足的间隔(空白页边)，使得UI对象不会过于接近另一个UI对象。当完成对所选择的UI对象的布置处理时，UI合成处理单元60将UI对象集中在已 确认的布局中，作为单个DOM节点(步骤S57)。接下来，合成UI定义文件生成单元63基于 所选UI对象的UI对象定义信息生成合成UI定义文件，该合成UI定义文件定义了由所选 择的UI对象构成的合成UI (步骤S58)。将如此生成的合成UI定义文件存储在存储器50 的合成UI定义文件存储器区域56中，作为具有XML形式的一个文件。在步骤S58生成合成UI定义文件之后，UI合成处理单元60基于针对合成UI选 择的UI对象，生成相关应用信息(步骤S59)。此处生成的相关应用信息是如下信息如果 存在用户至针对合成UI所选择(提取)的每个UI对象的输入，则该信息用于控制与UI对 象相关的应用。在基于所选的UI对象生成相关应用信息之后，UI合成处理单元60的合成 UI定义文件生成单元63将相关应用信息与合成UI定义文件相关联，并且将该信息存储在 相关应用信息存储器区域阳中(步骤S60)。之后，UI合成处理单元60向应用执行单元11通知完成了 UI合成处理(步骤S61)，并结束UI合成处理。相应地，有可能在显示单元M上立刻显示生成的合成UI (合成用户界面对象组)。 另外，还有可能取回并稍后使用在合成UI定义文件存储器区域55中存储的合成UI定义文 件，而不立刻使用生成的合成UI。在上述UI合成处理之后，通过参考图18所述的整体的UI生成处理，用从独立UI 中选择(提取)的UI对象来生成合成UI。例如，有可能通过使用从图16(A)所示的TV机 的遥控器应用UI中和从图16(B)所示的空调的遥控器应用UI中选择的UI对象，来生成图 21所示的合成UI (合成用户界面对象组)。图21示出了由UI对象选择处理单元62基于标准来自动选择UI对象所生成的示 例合成UI (合成用户界面对象组)，所述标准采用UI对象属性信息的优先级值(优先级) 为0-2的每个UI的UI对象。在图21所示的合成UI中，将触摸面板20的UI显示区域划 分为两个区域上部区域用于布置从TV遥控器UI中选择的UI对象，且下部区域用于布置 从空调遥控器UI中选择的UI对象。根据如上所述的本实施例，通过分析两个XML文件，提取具有高优先级的UI对象 并对其进行自动布置，来合成多个UI。从而，用户可以使用多个UI作为一个合成UI，而不 需要在多个应用或基于应用的UI之间进行切换。(第二实施例)图1是示出了作为根据本发明的第二实施例的UI生成装置的移动终端的示意配 置的框图。图1所示的移动终端2是移动通信终端，如PDA (个人数字助理)，且具有触摸面板 21、控制单元80和存储器单元50。触摸面板21具有显示单元23的功能，用于显示UI (比 如软按键，如按钮等(UI对象))，以及具有输入单元25的功能，用于感测使用手指、钢笔等 对软按键的输入。触摸面板21可以是具有表面弹性类型的触摸面板、图像传感器板(其中 将图像传感器功能与液晶显示器一体相连)、以及任何其他合适的触摸面板。控制单元80 具有输入装置确定单元71和UI控制单元90，这两个单元与触摸面板21 —起根据存储器 单元50中存储的程序进行操作。控制单元80可以是任何合适的处理器，例如CPU(中央处 理单元)等，并且控制单元80的每个功能可以由在处理器上或专用于处理每个功能的独占 性处理器(例如，DSP(数字信号处理器))上执行的软件构成。输入装置确定单元71具有 用于确定输入设备的类型的输入设备确定单元72以及用于确定输入位置的输入位置确定 单元73。UI控制单元90具有UI生成单元13和对象控制单元91，并且UI生成单元13包 括与图13中相同方式的UI合成处理单元60。由于UI生成单元13和UI合成处理单元60 的功能与图13中相同，因此省略对其的详细描述。对象控制单元91从存储器单元50中获 得与从输入中接收到的软按键(UI对象)相关联的动作信息(应用)，并且依照于应用程序 执行UI对象的功能(动作)。与图13所示相同的存储器单元50具有应用存储器区域51、 UI定义文件存储器区域52、单独UI资源存储器区域(图中未示出)、公共UI资源存储器区 域(图中未示出)、相关应用信息存储器区域(图中未示出)以及合成UI定义文件存储器 区域(图中未示出)，并且存储器单元50可以是例如易失性存储器(SRAM等)、非易失性存 储器(EEPR0M等)、或任何其他合适的存储器介质。存储器单元50的每个存储器区域中的 存储的内容与图13中的内容相同，因此省略对其的详细描述。
由控制单元90在触摸面板21上显示独立UI或合成UI的用户界面。UI控制单元 90的UI生成单元13查阅(refer)存储器单元50的UI定义文件存储器区域52，并且获得 生成UI所必须的UI定义文件。UI生成单元13通过执行对以XML形式描述的UI定义文件 的解析和DOM (文档对象模型)处理等，来生成UI，并且UI控制单元90在触摸面板21上显 示生成的UI。在触摸面板21上显示合成UI中，UI控制单元90的UI合成处理单元60分 析UI定义文件中所包括的定义了各种UI对象的UI对象定义信息。随后，通过自动选择或 用户输入，UI合成处理单元60通过执行在一定数量的UI对象中选择所必需的UI对象的 处理，来生成合成UI (例如考虑到每个UI对象的布局信息(与UI对象的显示位置和显示 尺寸相关的信息)、优先级顺序等)。当用户执行对子触摸面板21上显示的UI对象的输入操作时，输入设备确定单元 71从输入设备确定单元71获得与用户输入的设备相关的信息(输入装置，如钢笔、手指 等)，以及从输入位置确定单元73获得与位置相关的信息(触摸面板上的坐标)。输入设备确定单元72可以检测对触摸面板21的输入，并且通过计算输入的接触 面积来确定输入设备(装置)。例如，在使用具有表面弹性类型的触摸面板21中，信号值的 改变与输入造成的表面弹性波的吸收一样大，因此输入设备确定单元72可以通过对这种 改变的时间进行积分来计算接触面积。例如，输入设备确定单元72确定如果触摸面板21 的接触面积小于预定值，则用于钢笔被用于输入，反之如果触摸面板21上的接触面积等于 或大于预定值，则用于手指被用于输入。另外，还有可能使用图像传感器作为输入设备确定单元72。例如，在将图像传感器 功能整体加入液晶显示器来作为触摸面板21的图像板的使用中，当输入设备(输入装置) (如手指或钢笔)接触图像板的表面时，将每个像素接收到的光的数量转换为电荷，从而可 以通过读取整个区域中的像素，来再现对象的图像。相应地，输入设备确定单元72可以基 于对象的图像的特性部分来确定输入设备。还有可能使用摄像机来取代图像传感器，用于 确定执行了对触摸面板21的输入操作的输入设备。当检测到对触摸面板21的输入时，输入位置确定单元73确定输入位置。在例如 使用具有表面弹性类型的触摸面板21中，输入位置确定单元73可以通过测量从给出震荡 到返回所反射的震荡之间的时间，来确定输入位置。另外，在例如使用将图像传感器功能整 体加入液晶显示器来作为触摸面板21的图像板中，输入位置确定单元73可以基于对象的 图像的特性部分的显示位置来确定输入位置。如果在触摸面板21上存在多个位置处的同时输入，针对输入，输入设备确定单元 72确定相应的输入设备，并且输入位置确定单元确定相应的输入位置。根据由输入位置确定单元73确定的输入位置，对象控制单元91执行与触摸面板 21的输入位置处显示的UI对象相关联的功能。例如，对象控制单元91响应于对“电源按 键”的输入在电源的开和关之间进行切换，或响应于对“数字按键”的输入来选择预定节目 的频道。另外，基于由输入设备确定单元72所确定的输入设备，对象控制单元91可以切换 UI对象的功能。例如，如果检测到对触摸面板21的输入，并且输入设备确定单元72确定 其是由第一输入装置产生的主输入(例如钢笔产生的输入)，则对象控制单元91执行在输 入位置处的UI对象的普通功能。如果输入设备确定单元72确定对触摸面板21的输入是 第二输入装置产生的子输入(例如手指产生的输入)，则对象控制单元91可以执行不同于普通功能的另一个功能。此外，对象控制单元91可以基于输入数目来切换UI对象的功能。 例如，如果对触摸面板21的输入数目是一，则执行输入位置处的UI对象的普通功能，反之 如果对触摸面板21的输入数目多于一，则执行不同于普通功能的另一个功能。图2是示出了根据本发明的第二实施例的移动终端的操作的流程图。尽管本实施 例描述了针对主输入的第一输入装置(输入设备)是钢笔且针对子输入的第二输入装置 (输入设备)是手指，可以通过任何其他合适的输入装置来进行第一输入和第二输入。当通过供电等来激活移动终端2时，控制单元80初始化用于对触摸面板21的输 入装置的数目进行计数的输入数目n，以及作为表示所消逝的时间的参数消逝时间(n = 0， t = 0)(步骤S001)。如果存在对触摸面板21的输入(触摸)(例如，如果钢笔或手指接触 触摸面板)，则输入装置确定单元71基于之前的输入信息(例如，哪个输入设备正在接触触 摸面板21)等，来确定该输入是否是通过已经完成的接触来产生的输入(步骤S003)。如果 输入是新的，则控制单元80对接触触摸面板21的输入数目增加1 (n = n+1)(步骤S004)。 随后，在输入位置确定单元73获得/保持输入的接触坐标OCn，Yn)(步骤S0(^)且输入设 备确定单元72获得/保持输入的接触面积Si (步骤S006)之后，处理返回输入处的控制流 程(步骤S007)。相对地，如果在步骤S002没有接收到或释放了(例如，如果将钢笔或手指从触摸 面板释放)对触摸面板21的输入，则控制单元80确定输入数目η是否大于0 (步骤S009)。 如果输入数目η大于0，由于一个输入处于不接触(释放)状态，则控制单元减少输入数目 η(步骤S010)。输入设备确定单元72确定从触摸面板21释放的输入装置是否是手指(步 骤S011)。如果输入设备确定单元72确定释放的输入装置是手指，则处理转移至释放处的 控制流程(步骤S012)。当移动终端2正在操作时，将循环执行从步骤S002到S012的处理，并且控制单元 依照于循环次数的数目(t++)来增加消逝时间t (步骤S008)。图3是示出了输入处的详细控制流程的流程图。输入设备确定单元72确定输入 的接触面积Zi (1 ^n)是否大于手指的面积阈值A (步骤S101)。如果接触面积Zi大 于面积阈值A(步骤SlOl中的“是”)，则输入设备确定单元72确定输入装置是手指(Ti = YUBI)(步骤S102)，反之如果接触面积Zi等于或小于面积阈值A(步骤S201中的“否”) (步骤S103)，则确定输入装置是钢笔(Ti = PEN)(步骤S103)。将步骤SlOl至S103循环 执行与输入数目η —样多的次数。接下来，如果输入数目η是1 (步骤S104中的“是”)，执 行处理1 (步骤S106)，反之如果输入数目η不是1并且输入装置是钢笔(步骤S105中的 “是”)，则执行处理2 (步骤S107)。图4是详细示出了在图3中的步骤S106处所示的处理1 (如果输入数目η是1时 执行的处理)的流程图。对象控制单元91从UI定义文件52获得在接触坐标(Χ1，Υ1)上的 UI对象Sl的对象定义信息(步骤S201)。如果输入装置是作为第一输入装置的钢笔(主 输入)(在步骤S202处的Tl = PEN)，则UI控制单元响应于这种输入事件执行主输入对UI 对象Sl的操作(主操作)(步骤S203)。如果输入装置是作为第二输入装置的手指(子输 入)(在步骤S202处的Tl = YUBI)，则UI控制单元90响应于该输入事件执行子输入对UI 对象Sl的操作(子操作)(步骤S204)。图6是详细示出了对在图4的步骤S204处所示的UI对象的子输入进行响应的操作的流程图。控制单元80基于手指所产生的输入(子输入)的输入坐标( , )来确定手 指输入的UI区域(步骤S401)。如果手指输入的输入区域(手指输入的接触面积(尺寸)、 在其中包括了手指输入的预定区域(例如手指的输入位置周围的正方形或圆形区域)等) 在合成UI中所包括的界面之间的边界上，则控制单元80将“UI区域边界”标记设置为UI 区域At，该标记是手指输入(按下)处的区域信息(步骤S402)。如果手指输入是对预定 的UI区域的，则控制单元80将与UI区域相关的信息设置为UI区域At (步骤S403)。控制 单元80在存储器单元50中存储已设置的UI区域At。此处，UI区域At意指例如图25(b) 所示的合成UI的每个区域al_a3以及图25(a)所示的独立UI的bl。如果将UI区域边界 旗标设置为UI区域At (步骤S404中的“是”)，则UI合成处理单元60开始合成UI的自动 布局处理，以移动UI区域边界并改变合成UI的每个UI区域的尺寸(步骤S4(^)。在自动 布局处理中，执行合成UI的重新合成处理以将UI区域边界移动至完成手指输入接收的位 置处。通过依照于手指输入的坐标的改变来计算每个UI区域的尺寸，并且通过依照于尺寸 来选择要显示的UI对象，UI合成处理单元60重新合成该合成UI。连续地执行该自动布局 处理，直到将手指从触摸面板21释放。如果UI区域At不是区域边界，则在不执行自动布 局处理的情况下结束子操作(步骤S404的否)。图5是详细示出了在图3的步骤S107处所示的处理2 (当输入数目η不是1并且 输入设备是钢笔时执行的处理)的流程图。对象控制单元91从UI定义文件52获得与输入 i(l < i ^n)相对应的接触坐标(Xi，Yi)上的UI对象Si的对象定义信息(步骤S301)。 随后，对象控制单元91执行对与钢笔和手指的多个输入相对应的UI对象的处理(步骤 S302)。通过在图3的步骤S104处确定输入数目η是否大于1，并且通过在步骤S105确定 新的输入是否是钢笔，执行处理2，例如，当由钢笔(第一输入装置)选择预定的软按键时， 同时手指(第二输入装置)正在接触触摸面板21。图8是详细示出了与图5中步骤S302处所示的钢笔和手指的多个输入相对应的 UI对象处理的流程图。对象控制单元91从UI定义文件52获得与输入i (1 < i < η)相对 应的接触坐标(Xi，Yi)上的UI对象Si的对象定义信息(步骤S601)。根据作为第一输入 设备的钢笔输入的输入状态，将获得对象定义信息之后的处理进行大致分类。如果单独指 定UI对象，例如当钢笔输入指示触摸面板21上的每个UI对象时，对象控制单元91列出单 独指定的UI对象，并在存储器单元50中将该列表存储为重新合成列表G (步骤S60;3)。如 果钢笔输入通过在例如触摸面板21上画圈来选择在合成UI的预定区域中的UI对象时，对 象控制单元91列出预定区域中的UI对象，并在存储器单元50中将该列表存储为重新合成 列表G(步骤S6(^)。重新合成列表G可以是例如用户想要代替的UI对象的列表，这些UI 对象在合成UI中显示的UI对象中。接下来，UI生成单元13的UI合成处理60通过查阅 存储器单元50来确认是否存在重新合成列表G (步骤S604)。如果存在重新合成列表G，则 UI合成处理单元60对重新合成UI的数据执行重新合成处理，使得在触摸面板21上显示如 下UI 在该UI中，用其他UI对象来代替重新合成列表G中包括的UI对象。接下来，UI控 制单元90在触摸面板21上显示由重新合成处理生成的合成UI (步骤S6(^)。重新合成处 理可以例如用其他UI对象来代替重新合成列表G中包括的UI对象(由第一输入装置选择 的UI对象)。此外，重新合成处理可以例如用其他UI对象来代替重新合成列表G中包括的 UI对象(由第一输入装置选择的UI对象)。另外特别地，合成处理可以例如用具有在其他UI对象中最高优先级的UI对象来代替重新合成列表G中包括的UI对象。图7是示出了图2中步骤S012所示的在释放处的控制流程的流程图。控制单元 80基于从输入位置确定单元73获得的手指输入的坐标OCn，，确定释放手指输入的UI 区域(完成对第二输入的接收的位置)(步骤S501)。如果当释放手指输入时，手指输入的 输入区域包括触摸面板21的显示区域的边界(例如触摸面板21的显示单元23的最外层 区域或在最外层区域的预定距离处的内层区域等等)，控制单元80将“显示区域边界”标 记设置为UI区域Bt，该标记为释放处的区域信息(步骤S5(^)。如果手指输入是对预定的 UI区域的，则控制单元80将与UI区域相关的信息设置为UI区域Bt (步骤S503)。控制单 元80在存储器单元50中存储所设置的UI区域Bt。如果在触摸面板21上显示区域的边 界和手指输入的坐标之间的距离小于预定距离，则控制单元80还可以确定手指输入的输 入区域包括显示区域的边界。接下来，控制单元80将UI区域At称为在存储器单元50中 存储的输入处的区域信息，并且如果将UI区域边界标记设置为UI区域At，则确定执行自 动布局处理(步骤S504)。如果不执行自动布局处理，则控制单元80确定释放处的UI区 域Bt (步骤S505)。如果释放处的UI区域Bt不同于输入处的UI区域At，则UI合成处理 单元60执行UI交换处理(步骤S506)。在UI交换处理中，UI合成处理单元60通过将释 放处的UI区域Bt中的界面与输入处的UI区域At中的界面进行交换来重新合成合成UI， 并且UI控制单元90在触摸面板21上显示该合成UI。如果释放处的UI区域Bt在显示区 域的边界上，则UI合成处理单元60执行UI合成模式改变处理(步骤S507)。在UI合成 模式改变处理中，UI合成处理单元60用与输入处的UI区域构成不相同的UI区域构成来 重新合成合成UI，并且UI控制单元90在触摸面板21上显示合成UI。例如，在UI合成模 式改变处理中，UI合成处理单元60可以通过水平地布置之前垂直布置的合成UI的一些界 面，来重新合成合成UI。如果执行自动布局处理，则控制单元80取消自动布局处理(步骤 S508)。当通过取消自动布局处理来确认手指输入(第二输入)的结束位置时，UI合成处 理单元60执行重新合成处理，以将合成UI中的界面的显示区域之间的边界从手指输入的 开始位置移动至手指输入的结束位置。(根据第二实施例的UI交换处理)图9是示出了根据本发明的第二实施例，移动终端进行的UI交换处理(步骤 S506)的图。在图9(a)中，移动终端2的触摸面板21显示合成UI，在该合成UI中，对由邮 件应用UI(al)、TV应用UI(a2)、以及Web浏览器应用UI(a3)进行了合成。在图9(a)的移 动终端2上，如果作为第二输入装置的手指的输入(子输入)开始于开始位置Tl并且在结 束位置T2处释放，则在移动终端2的触摸面板21上的合成UI中交换与开始位置Tl的UI 区域At相对应的TV应用UI (a2)和与结束位置T2的UI区域Bt相对应的邮件应用UI (al)。根据本实施例，首先当手指输入处于图9 (a)所示的开始位置Tl处时，执行图2所 示的步骤S002-S007处的处理以执行与手指输入相对应的输入处的控制流程。由于在图3 所示的输入处的控制流程中，输入数目是1，执行步骤S106处的处理1。在图4所示的处理 1中，执行与手指输入(子输入)相对应的子操作(步骤S204)，并且在图6所示的子操作 中，在存储器50中存储由手指输入指定的UI区域At(本实施例中的al)(步骤S403)。随后，当如图9(a)所示在结束位置T2处释放手指输入时，图2所示的步骤S002 处的处理分岔到步骤S009-S012，以执行与手指输入相对应的释放处的控制流程(步骤S012)。由于释放处的UI区域Bt (本实施例中的al)和输入处的UI区域At (本实施例中的 a2)彼此不同，则在图7所示的释放处的控制流程中执行交换Bt和At的处理(步骤S506)。根据本发明，如上所述，(通过在预定UI区域处开始作为第二输入装置的手指的 输入(子输入)，然后在另一个区域处释放手指输入)，用户可以仅通过非常简单的操作来 交换合成UI的UI区域。(根据第二实施例的UI合成模式改变处理)图10是示出了根据本发明的第二实施例，移动终端的UI合成模式改变处理(步 骤S507)的图。如图10(a)所示，移动终端2的触摸面板21显示了合成UI，其中在垂直方 向上布置的三个区域上显示邮件应用UI (al)、TV应用UI (a2)和Web浏览器应用UI (a3)。 在图10(a)所示的移动终端2上，如果作为第二输入装置的手指的输入(子输入)在开始 位置Tl处开始，并在包括触摸面板21的显示区域的边界在内的结束位置T2处释放，则在 移动终端2的触摸面板21的合成UI中，将与在开始位置Tl处的UI区域相对应的TV应用 UI (a2)和在结束位置T2处的UI区域相对应的Web浏览器应用UI (a3)的布置改变为水平 布置(图10(b))。根据本实施例，首先当手指输入处于如图10(a)所示的开始位置Tl处时，处理进 行至图2所示的步骤S002-S007，以执行与手指输入相对应的输入处的控制流程。由于在图 3所示的输入处的控制流程中，输入数目η是1，执行步骤S106处的处理1。在图4所示的 处理1中，执行与手指输入(子输入)相对应的子操作(步骤S204)，并且在图6所示的子 操作中，在存储器50中存储由手指输入指示的UI区域At (本实施例中的al)(步骤S403)。随后，当在如图10(a)所示的结束位置T2处释放手指输入时，图2所示的步骤 S002处的处理分岔到步骤S009-S012以执行与手指输入相对应的释放处的控制流程(步骤 S012)。由于释放处的UI区域Bt包括触摸面板21的显示区域的边界，图7所示的释放处的 控制流程执行改变释放处的UI区域Bt和输入处的UI区域At的布置的处理(步骤S507)。 作为第二输入装置的手指所产生的输入的输入区域包括显示区域的边界这一情况可以是 如下情况结束位置T2的区域包括触摸面板21的显示区域的最外层区域。此外，作为第二 输入装置的手指所产生的输入的输入区域包括显示区域的边界这一情况可以是如下情况 显示作为第二输入装置的手指所产生的输入周围的输入区域确定窗口 W1，以及输入区域确 定窗口 Wl包括触摸面板21的显示区域的最外层区域。根据本实施例，如上所述，用户可以通过非常简单的操作(在预定UI区域中开始 作为第二输入装置的手指所产生的输入(子输入)，然后在显示区域的边界上释放指示)来 改变合成UI中的UI区域的布置。(根据第二实施例的自动布局)图11是示出了根据本发明的第二实施例，移动终端进行自动布局(步骤S405) 的图。在图11(a)中，移动终端2的触摸面板21显示合成UI，在合成UI对TV遥控器应用 UI (a4)、空调遥控器应用UI(M)以及视频遥控器应用UI (a6)进行了合成。在图9(a)所 示的移动终端2上，如果作为第二输入装置的手指所产生的输入(子输入)开始于开始位 置Tl并且在结束位置T2处释放，则对移动终端2的触摸面板21上的UI区域之间的边界 (点)进行移动，并且改变要显示的每个UI区域和UI对象的尺寸(图11 (b))。根据本实施例，首先当手指输入处于如图11(a)所示的开始位置Tl处时，执行图2所示的步骤S002-S007处的处理，以执行与手指输入相对应的输入处的控制流程。由于 在图3所示的输入处的控制流程中，输入数目η是1，则执行步骤S106处的处理1。在图4 所示的处理1中，执行与手指输入(子输入)相对应的子操作(步骤S204)，并且由图6所 示的子操作将“UI区域边界”标记设置为UI区域At (步骤S402)，然后开始自动布局处理 (步骤 S405)。随后，当在如图11 (a)所示的结束位置T2处释放手指输入时，图2所示的步骤 S002处的处理分岔到步骤S009-S012以执行与手指输入相对应的释放处的控制流程(步骤 S012)。在图7所示的释放处的控制流程中，由于正在执行合成UI的自动布局，则取消自动 布局，并且执行重新合成处理以将合成UI的界面的显示区域之间的边界从手指输入的开 始位置移动至手指输入的结束位置(步骤S508)。根据本实施例，如上所述，用户可以通过非常简单的操作(在边界(点)上开始作 为第二输入装置的手指所产生的输入(子输入)，并在不同位置处释放手指输入)来改变合 成UI的构成。(根据第二实施例的UI代替)图12是根据本发明的第二实施例的移动终端进行的UI代替的图。如图12(a)所 示，移动终端2的触摸面板21显示合成UI，在该合成UI对TV遥控器应用UI (a4)、空调遥 控器应用UI(M)以及视频遥控器应用UI (a6)进行了合成。在图12(a)中，合成UI包括菜 单按键Bl和开关按键B2。在图12(a)所示的移动终端2上，如果存在作为第二输入装置的 手指所产生的输入T3(子输入)，且当手指CH)持续接触触摸面板21时，执行钢笔输入Τ4 以环绕菜单按键Bl和开关按键Β2，则在移动终端2的触摸面板21上显示的合成UI中，用 音频按键Β3和图像按键Β4来代替菜单按键Bl和开关按键Β2 (图12 (b))。根据本实施例，如果存在如图12(a)所示的手指输入T3，则执行图2所示的步骤 S002-S007处的处理，以执行与手指输入相对应的输入处的控制流程。由于在图3所示的输 入处的控制流程中，输入数目η是1，执行步骤S106处的处理1。在图4所示的处理1中， 执行与手指输入(子输入)相对应的子操作(步骤S204)，并且在图6所示的子操作中，将 由手指输入所指示的UI区域At存储在存储器50中(步骤S401)。在图12(a)中，在手指输入Τ3接触期间，执行对触摸面板21的钢笔输入Τ4(主输 入)。响应于此，处理流程进行至图2所示的步骤S002-S007，以执行在与手指输入相对应 的输入处的控制流程。由于在图3所示的输入处的控制流程中，输入数目η是2且使用钢 笔进行输入，因此执行步骤S107处的处理2。在图5所示的处理2中，执行与钢笔和手指的 多个输入相对应的UI对象处理(步骤S3(^)。在触摸面板21上，如图8所示，由于由作为 第一输入装置的钢笔指定UI对象的区域，在重新合成列表G中存储由钢笔指定的区域中的 UI对象(根据本实施例，菜单按键Bl和开关按键B2)(步骤S602)。如果例如由作为第一 输入装置的钢笔单独指定菜单按键Bi，在重新合成列表G中存储由钢笔输入指定的UI对象 (菜单按键Bi)。如果存在重新合成列表G，则重新合成合成UI，使得在触摸面板21上显示 用另一个UI对象来代替重新合成列表G中包括的UI对象的UI (步骤S6(^)。当存在手指 输入T2时钢笔输入T3的释放操作不引起从图2所示的步骤SlOl分岔的对合成UI的重新 合成处理。根据本实施例，如上所述，用户可以通过非常简单的操作(当在触摸面板上存在作为第二输入装置的手指所产生的输入(子输入)时，由作为第一输入装置的钢笔输入 (主输入)来选择合成UI中的UI对象(单独选择或选择UI对象区域))，以用其希望在合 成UI中显示的UI对象来代替合成UI中的UI对象。在重新合成处理中，可以将钢笔输入 选择的UI对象附加地显示到合成UI中，或代替合成UI中显示的UI对象中具有低优先级 的UI对象。同样地，UI对象的这种添加和代替的时机可以是在钢笔输入进行选择时的时 间点。 应当注意到，本发明不受限于上述实施例，而是可以用多种方式来变化或修改。例 如，尽管在上述实施例中使用具有表面弹性类型的接触传感器，还可以使用具有传感器类 型的接触传感器来实施本发明。另外，尽管在上述实施例中使用了作为示例的PDA，本发明 还可以广泛应用于移动无线终端(移动电话)和便携式终端(如便携式游戏机、便携式音 频播放器、便携式视频播放器、便携式电子词典、便携式数字书阅读器等等)。此外，尽管在 上述描述中将钢笔输入定义为主输入并且将手指输入定义为子输入，本发明还可应用于将 手指输入定义为主输入并将钢笔输入定义为子输入的情况中。本发明还可应用于输入数目 是3或更多的情况。引用符号列表
1移动电话
2移动终端
20,21触摸面板
24,23显示单元
22,25输入单元
10,80控制单元
11应用程序执行单元
12用户界面获得单元
13用户界面生成单元
14定时单元
15用户界面事件处理单元
30无线通信单元
40红外通信单元
50存储器单元
71输入装置确定单元
72输入设备确定单元
73输入位置确定单元
90用户界面控制单元
91对象控制单元
50存储器单元
51应用存储器区域
52用户界面定义文件存储器区域
53单独用户界面资源存储器区域
54公共用户界面资源存储器区域
55相关应用程序信息存储器区域56合成用户界面定义文件存储器区域60用户界面合成处理单元61用户界面对象定义信息分析单元62用户界面对象选择处理单元63合成用户界面定义文件生成单元64自动布局处理单元65用户界面资源成形单元
权利要求
1.一种用户界面生成装置，包括 存储器单元，能够存储应用程序；控制单元，基于存储在所述存储器单元中的应用程序，用于在接收到生成一个用户界 面的指令时，进行控制以显示与所述指令中的用户界面相对应的独立用户界面对象组，以 及用于在接收到生成多个用户界面的指令时，进行控制以通过对从与所述指令中的多个用 户界面对应的独立用户界面对象组中分别提取的用户界面对象执行合成处理，来显示合成 用户界面对象组；显示单元，用于显示所述独立用户界面对象组或所述合成用户界面对象组；以及 输入单元，相对于所述显示单元地布置在所述显示单元的前表面处，以接收第一输入 装置产生的第一输入和第二输入装置产生的第二输入，其中如果所述输入单元接收到所述第一输入，则所述控制单元执行与所述第一输入的接收 位置相对应的用户界面对象的功能，以及如果在所述控制单元进行控制以显示所述合成用户界面对象组的同时，所述输入单元 接收到所述第二输入，则所述控制单元根据所述输入单元开始接收所述第二输入的位置以 及所述输入单元结束接收所述第二输入的位置，来执行所述合成用户界面对象组的重新合 成处理，并进行控制以显示重新合成的合成用户界面对象组。
2.根据权利要求1所述的用户界面生成装置，其中，所述控制单元执行所述重新合成 处理，以在所述合成用户界面对象组中，将与所述第二输入的接收位置相对应地显示的用 户界面的显示位置和与所述输入单元结束接收所述第二输入的位置相对应地显示的用户 界面的显示位置相交换。
3.根据权利要求1所述的用户界面生成装置，其中，如果所述第二输入的输入区域在 所述输入单元结束接收所述第二输入的位置处包括所述显示单元的显示区域的边界，则所 述控制单元执行所述重新合成处理，以改变所述合成用户界面对象组中的每个用户界面的 布置。
4.根据权利要求1所述的用户界面生成装置，其中，如果所述第二输入的输入区域在 所述输入单元开始接收所述第二输入的位置处包括用户界面的显示区域之间的边界，则所述控制单元执行所述重新合成处理，以将所述显示区域之间的边界移动至所述输 入单元结束接收所述第二输入的位置处。
5.一种用户界面生成装置，包括 存储器单元，能够存储应用程序；控制单元，基于在所述存储器单元中存储的应用程序，用于在接收到生成一个用户界 面的指令时，进行控制以显示与所述指令中的用户界面相对应的独立用户界面对象组，以 及用于在接收到生成多个用户界面的指令时，进行控制以通过对从与所述指令的多个用户 界面对应的独立用户界面对象组中分别提取的用户界面对象执行合成处理，来显示合成用 户界面对象组；显示单元，用于显示所述独立用户界面对象组或所述合成用户界面对象组；以及 输入单元，相对于所述显示单元地布置在所述显示单元的前表面处，以接收第一输入 装置产生的第一输入和第二输入装置产生的第二输入，其中如果所述输入单元接收到所述第一输入，则所述控制单元执行与所述第一输入的接收位置相对应的用户界面对象的功能，以及如果所述输入单元在所述控制单元进行控制以显示所述合成用户界面对象组的同时 接收到所述第二输入，以及如果所述输入单元在连续按下所述第二输入期间接收到用于对 所述合成用户界面对象组中的用户界面对象进行选择的所述第一输入，则所述控制单元进 行控制以显示合成用户界面对象组，所述合成用户界面对象组被执行了重新合成处理，以 使用另一个用户界面对象改变由所述第一输入选择的用户界面对象。
6.根据权利要求5所述的用户界面生成装置，其中，所述第一输入对包括在所述合成 用户界面对象组的预定区域中的用户界面对象进行选择。
7.根据权利要求5或6所述的用户界面生成装置，其中，所述控制单元通过附加显示 由所述第一输入选择的用户界面对象，来对所述合成用户界面对象组执行所述重新合成处 理。
8.根据权利要求5或6所述的用户界面生成装置，其中，所述控制单元通过使用所述用 户界面对象组中包括的用户界面对象中具有低优先级的用户界面对象代替由所述第一输 入选择的用户界面对象，来执行所述重新合成处理。
全文摘要
本发明提供了一种用户界面生成装置，即使在多个应用程序的用户界面的合成之后，所述装置也能够通过简单的操作来改变合成UI的构成。所述用户界面生成装置包括控制单元，如果当所述控制单元进行控制以显示合成用户界面对象组时，输入单元接收第二输入，则所述控制单元用于根据所述输入单元开始接收所述第二输入的位置以及所述输入单元结束接收所述第二输入的位置，并且进行控制以显示重新合成的用户界面对象组，来执行所述合成用户界面对象组的重新合成处理。
文档编号G06F3/14GK102132243SQ20098013344
公开日2011年7月20日 申请日期2009年8月27日 优先权日2008年8月28日
发明者木下健太 申请人:京瓷株式会社