专利名称：移动终端的虚拟键盘的制作方法
技术领域：
本发明涉及一种如权利要求1的前序部分所述的用于在移动终端设备的显示器 上显示能够移动的键盘或能够移动的指示(光标)的方法。
背景技术：
移动终端设备，例如“手机”，在今天具有越来越多的功能，如照相和视频功能，其 中对于使用者来说“手机”的尺寸应尽可能的小。出于这种原因，移动终端设备的尺寸越来 越小。但是这里在操作性方面存在问题，尤其是当在变得越来越小的键盘上输入文本、 例如SMS (短信业务)的情况下。目前有许多不同的输入文本的可能方式，下面对其进行分类-通过全值迷你键盘输入文本，例如MDA(单色显示适配器)，其中该输入功能具有 按键过小的缺点，并导致文本输入错误；-通过多次按下数字键在数字键盘上输入文本，例如在手机的情况下，其中该输入 功能具有容易导致输入错误和比较费时的缺点；-通过触摸屏(触摸式图像显示屏)来操作，其中在显示器上显示按键。为了便于 使用，最好采用小字体，其中该输入功能的缺点是键区的显示需要占据相对较大的空间。-操作具有OCR识别的触摸屏，其中该输入功能同样具有为显示键区而需要相对 较大的空间的缺点。目前的移动终端设备用于输入文本的菜单引导是部分基于文本或图像符号(图 标)实现的，例如借助滚动轮或多功能按钮对其进行选择。其中，多功能按钮通常通过向 左、向右、向上或向下移动菜单指针(光标)并通过按下多功能按钮进行选择来提供选择可 能性。由于所采用的机制而没有设置中间区域。此外，还已知在现实增强(Augment Reality)领域内有不同的应用。作为对此的例子，可以是照片拍摄与例如朝向图像中间对准的交叉线的重叠。还已知构成以下技术的竞技游戏其中用摄像头对游戏参加者进行拍摄，并将其 运动结合到虚拟世界中，例如在高尔夫模拟器的情况下。前面提到的这种应用的主要缺点在于，为存储图像数据需要很大的存储空间。
发明内容
因此本发明的目的是进一步设计移动终端设备，使得文本的输入通过键区来实 现，键区的大小与移动终端设备的尺寸无关。为解决该任务，本发明的特点通过独立权利要求1所述特征来表示。对于本发明来说重要的是，在该方法中键盘作为在移动终端设备的显示器上显示 的虚拟键盘来实现，并且在虚拟键盘来显示的指针(光标)被设计为能够移动的，其中所述 指针(光标)根据模拟移动终端设备在空间轴上进行的运动的方式移动到虚拟键盘的相应
3键区上。与本发明的这种重要的设计相反，在移动终端设备的显示器上显示的虚拟键盘也 可以被显示为能够移动的键盘，其根据移动终端设备在空间轴上的运动在显示器上相应地 移动，其中所述指针在显示器上是不能移动的，最好位于显示器中央。这具有以下优点在移动终端设备中，文本信息的输入或菜单选择能够以相对较 小的外壳尺寸来实现，因为通过机械式键区实现的文本信息的输入或菜单选择会导致耗时 的错误输入。为了在移动终端设备的显示器上实现能够移动的光标或能够移动的键盘，采用了 一种现有技术中已知的方法来对图像数据进行压缩和解压。现有技术中已知的一种用于对这种图像数据进行压缩和解压的方法由文献 DE10113880A1公开，其中为了显示例如键盘的图像，采用了对像素组分配优先级的方法，其 中用摄像头获取的图像数据具有由各个像点(像素)构成的矩阵，这些像点具有可随时间 变化的像素值，所述像素值描述了该像点的颜色或亮度信息。其中为每个像点分配了一个 优先级，并根据其优先级排序后保存在所述矩阵中。所述像点和像素值被传输或存储，其中 当与相邻像素的距离较大时，像素具有较高的优先级。在图像重建时，仅显示当前的像素 值，其中还没有传输的像素由已经传输的像素计算出来。为了实现在移动终端设备的显示器上虚拟显示的键盘，使用了摄像头来拍摄所需 的图像数据，所述摄像头就像目前在大多数移动终端设备、例如“手机”中那样设置。为了操作所选出的键区，最好设置操作按钮，其例如通过按下而进行选择。此外，在显示器上还显示出光标，该光标通过移动终端设备(手机)在空间轴上的 运动能够在移动终端设备的显示器中在类似的方向上运动。为了识别出所述运动，摄像头所拍摄的图像按照现有技术中已知的方法而加以分 析，从而对图像数据进行压缩和解压。为了节约计算量，在分析时仅考虑相关的图像区域。根据所述运动可以识别出向 左、向右、向上、向下、向前、向后的运动，以及能够识别速度。与机械式多功能按钮的操作相比，这里可以用更为细微的分辨率来进行开/关。如果现在在显示器上显示一个键盘，并通过移动所述移动终端设备(手机)将光 标置于所希望的键区，则可以通过简单地按下多功能操作键而进行选择。这相对于先前所提到的方法具有以下优点即这里用单手操作就足以对键区进行 选择和操控，而不需要其它的辅助装置，如例如在触摸屏情况下的手写笔。另外，相对于先前所提到的方法还具有以下优点即除了在操作按钮上进行实际 选择之外不需要其它的操作单元。这样，可以在移动终端设备、例如手机中省去键盘，其中所述设备的外壳可以设计 得较小，或者显示器可以设计得较大。此外，基于纯光学的采集，可以进行更加细微的控制，而且其近似于没有磨损。
下面借助仅示出一种实施方式的附图更详细地描述本发明。其中由附图及其说明 出发可以得出本发明的重要特征和本发明的优点。
其中如图所示图1 本发明所述方法的示意性流程图
具体实施例方式在图1中所示的用于在移动终端设备1上显示虚拟键盘的方法涉及对移动终端设 备1在三个空间轴中之一的方向上的位置改变进行识别。在第一个方法步骤中，移动终端设备1借助其集成的摄像头在第一摄像头位置2 处采集图像数据3。在第二个方法步骤中，该摄像头位置2处的所述图像数据3像在现有技术中那样 根据所形成的分配了优先级的像素组4而被存储。其中根据现有技术中已知的方法，具有 最高优先级的像素组自动表示图像的对应区域。在第三个方法步骤中，在第一个摄像头位置2处的分配了优先级的像素组4的位 置值9被存储在移动终端设备1中。如果在三个空间轴方向之一上将摄像头2移动到第二个摄像头位置5，则所形成 的分配了优先级的像素组4的位置值9也以相应的方式改变。在第四个方法步骤中，在第二个摄像头位置5处采集图像数据7，其中在第五个方 法步骤中，在摄像头位置5处形成具有相应位置值的分配了优先级的像素组8。在第六个方法步骤中，在摄像头位置5处所形成的分配了优先级的像素组8的位 置值10与在摄像头位置2处所形成的分配了优先级的像素组4的位置值9进行比较。上面提到的这些方法步骤将在一个简单的例子中加以描述。在摄像头位置2处具有最高优先级的像素组Al、Bl和Cl被确定为位于一个矩阵 的位置al、bl和cl处。其中如此对Al、Bl和Cl分配优先级使得Al、Bl和Cl的像素值 附带地有很大不同。在摄像头位置5处采集到的第二幅图像中，具有最高优先级的像素组A2、B2和C2 被确定为位于一个矩阵的位置a2、b2和c2处。摄像头位置2处的位置al、bl和cl与摄像头位置5处的位置a2、b2和c2之间的 位移与移动终端设备1的运动存在直接的关联。通过将值al与a2、bl与b2、cl与c2进行比较，确定相应的位移矢量11。如果全 部三个所确定的位移矢量11均指示相同的方向，则表明该移动终端设备1是在相应的方向 上运动的。根据所确定的位移矢量11，在移动终端设备1的显示器上移动光标12。如果在显示器上还附带地显示了一个键盘，则通过按下操作按钮，操作带有相应 字符(光标恰好位于其上)的键区来进行选择。在选择了字符之后，该键盘再次回到中性 位置。上面提到的这个例子表述了本发明所述方法的原则性规定。显然，这里所描述方法也可以根据应用需求被用于控制其它终端设备功能，如用 于菜单控制的一般功能。此外，这种原理性的方法也可以扩展许多功能。代替三个像素组， 也可以采用更多的像素组。如果在摄像头位置2处的第一幅图像中识别出三个最佳的像素组4，则随后例如在摄像头位置5处采集到的图像将不再是完整的，而仅仅在已经找到的像素组8的范围内 进行分析。通过这种方式节省了大量的计算时间以及电池工作时间。在昏暗环境下采用了附加的摄像头照明，以识别移动终端设备1的运动。通过将移动终端设备1移向一个目标或者将移动终端设备1从一个目标移开，可 以打开或关闭附加的菜单功能，例如可以从特殊字符(@或μ等等)中进行选择。所述运动既可以是线性运动也可以是非线性运动，以便在较大的显示区域上快速 地移动光标。这样，例如移动终端设备1在一个表面上的平行位移导致光标在显示器上的线性 位移。光标的非线性位移例如通过移动终端设备1的附加旋转运动而产生。为了简化控制，例如采用了软件实现的筛选，以便能够可靠地选出相应键区上的
字符/菜单点。针对另一种应用，光标也可以固定地位与显示器上，其中选择区域、例如虚拟键盘 上的键区根据移动终端设备1的运动而移动。本发明的发明构思不仅由各权利要求的主题得出，而且还由各权利要求的相互组 合得到。所有在本申请文件中、包括说明书摘要中公开的技术方案和技术特、尤其是在附 图中所示的方法设计，均作为对于本发明而言重要的保护内容，只要其单独或者在组合的 情况下相对于现有技术是新颖的。附图标记列表1、移动终端设备(例如手机)2、第一个摄像头位置3、第一个摄像头位置处的图像数据4、在第一个摄像头位置处形成分配了优先级的像素组5、第二个摄像头位置6、摄像头的位置改变7、第二个摄像头位置处的图像数据8、第二个摄像头位置处形成分配了优先级的像素组，其具有相应的位置值9、保存第一个摄像头位置处的分配了优先级的像素组的位置值10、第一个摄像头位置处的所存储的位置值与第二个摄像头位置处的位置值进行 比较11、形成位移矢量12、光标或虚拟键盘在移动终端设备的显示器上的移动13、借助操作按钮来操纵所选择的键区
权利要求
一种用于在移动终端设备、例如“手机”的显示器上显示虚拟键盘的方法，其中所述移动终端设备具有用于拍摄图像数据的摄像头，用于显示图像数据的显示器，以及用于选择菜单功能或者输入例如文本信息的键盘，其特征在于，在该方法中，所述键盘作为在移动终端设备(1)的显示器上显示的虚拟键盘来实现，并且在所述虚拟键盘上显示的指针(光标)被设计为能够移动的，其中所述指针(光标)根据模拟所述移动终端设备在空间轴上进行运动的方式移动到所述虚拟键盘的相应键区上。
2.如权利要求1所述的方法，其特征在于，在所述移动终端设备的显示器上显示的虚 拟键盘被显示为能够移动的键盘，其根据所述移动终端设备(1)在空间轴上进行的运动在 显示器上相应地移动，其中所述指针(光标)在显示器上是不能移动的，最好位于显示器中 央。
3.如权利要求1或2所述的方法，其特征在于，该方法在集成的摄像头的第一个摄像头 位置(2)处采集图像数据(3)，该图像数据被保存在所要形成的分配了优先级的像素组(4) 中，其中具有最高优先级的像素组(4)自动表示图像的相关区域。
4.如权利要求1至3中任一项所述的方法，其特征在于，除了所形成的像素组(4)之外 还保存所述第一个摄像头位置(2)处的像素组的相应位置值(9)。
5.如权利要求1至4中任一项所述的方法，其特征在于，在摄像头从第一个摄像头位 置(2)移动到第二个摄像头位置(5)的情况下，该方法在第二个摄像头位置(5)处采集图 像数据(7)，并形成具有相应位置值(10)的分配了优先级的像素组(8)。
6.如权利要求1至5中任一项所述的方法，其特征在于，该方法将第一个摄像头位置 (2)处的分配了优先级的像素组(4)的位置值(9)与第二个摄像头位置(5)处的分配了优 先级的像素组(8)的位置值进行比较，其中摄像头位置(2)的改变根据分配了优先级的像 素组(4)的位置值(9)的变化而进行。
7.如权利要求1至6中任一项所述的方法，其特征在于，该方法由第一个和第二个摄 像头位置(2，5)处的位置值的比较确定位移矢量(11)，当所述位置矢量(11)指向一个方向 时，该位置矢量使得指针(光标)在移动终端设备(1)的显示器上移动(12)。
8.如权利要求1至7中任一项所述的方法，其特征在于，所述指针(光标)在显示在移 动终端设备(1)的显示器上的键盘上的移动导致对键区的选择，其中借助所设置的操作按 钮进行键区选择。
9.如权利要求1至8中任一项所述的方法，其特征在于，在选择和操作键区之后，所显 示的虚拟键盘移动到中性位置。
10.如权利要求1至9中任一项所述的方法，其特征在于，该方法形成菜单控制，其中对 菜单点的选择能够借助移动终端设备(1)的位置改变来实现。
全文摘要
本发明涉及一种用于在移动终端设备、例如“手机”的显示器上显示虚拟键盘的方法，其中所述移动终端设备具有用于拍摄图像数据的摄像头，用于显示图像数据的显示器，以及用于选择菜单功能或者输入例如文本信息的键盘。本发明的特征在于，在该方法中，所述键盘作为在移动终端设备的显示器上显示的虚拟键盘来实现，并且在所述虚拟键盘上显示的指针(光标)被设计为能够移动的，其中所述指针(光标)根据所述移动终端设备在空间轴上的运动移动到所述虚拟键盘的相应键区上。
文档编号G06F3/02GK101889256SQ200880119831
公开日2010年11月17日 申请日期2008年11月27日 优先权日2007年12月8日
发明者G·莫萨库沃斯基 申请人:T-移动国际股份公司