专利名称：用于检测和响应用户输入对象的大小和/或角度取向的电子装置的显示器的制作方法
用于检测和响应用户输入对象的大小和/或角度取向的电
子装置的显示器相关申请本申请与在2008年10月13日提交的共同待审的和共同受让的题目为‘Tser InputDisplays For Mobile Devices (移动装置的用户输入显示器)”的US申请(申请号 12/250. 108)相关，并且与在2008年11月14日提交的共同待审的和共同受让的题目为 "Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of UserInput 0b jects (移动装置的利用触摸和跟踪用户输入对象来检测用户输入的显示器)”的US申请(申请号12/271.239)相关，上述两个申请的公开内容通过整体引用被合并于此。
背景技术：
本发明涉及电子装置的显示器，并且特别地，涉及用于接收用户输入的显示器。多种技术可用于检测触敏显示器中的触控笔和/或手指接触。例如，电阻式触摸屏面板包括两个分开的薄金属导电层和电阻层。当用户输入对象触摸到面板时，该两个层被连接，引起电流的改变。该电流的改变被检测为用户输入接触事件。电阻式触摸屏通常相对精确，但是可能不足够敏感，尤其是在用户的手指被用来接触触摸屏时。电容式触摸屏通常涂有在整个传感器上传导连续电流的材料(诸如铟锡氧化物)。传感器展示出存储的电子的在水平和垂直轴上的控制场，以实现电容。当传感器的电容场被另一个电容场(例如用户的手指)改变时，位于面板的每个角落的电子电路测量到变形并且识别干扰的位置。电容式触摸屏具有相对高的灵敏度，但是检测事件的位置的精确度能较低。侧光学触摸屏(side-optical touchscreen)在显示器的表面上使用成栅格状的光学检测器。光从一侧向另一侧发送，并且由检测器水平地和垂直地接收。当手指或触控笔非常接近时光束被破坏，使得位置能够由检测器转变为坐标。然而，因为光源和检测器需要置于显示器的顶部，所以该构造形成了移动装置中通常不理想的高度。另一类型的光学触摸屏利用全内反射原理。折射介质充满光，并且当手指或其它对象按压表面时，内反射光路被中断，这导致光被反射到折射介质外部。折射介质外部的光能够由相机检测到。折射光学触摸屏通常具有良好的灵敏性和精确度。然而，因为显示器与相机结合，光源和折射介质所需要的空间可能增加显示器的尺寸并且还限制了显示器的对比度，并且因此该类型的光学触摸屏可能对于用于手持装置是不实际的。而且，触摸屏可能不能利用与基于鼠标的用户接口相同的一般协议来工作，因为仅当与屏接触时才可以生成用户输入。因此，与利用鼠标实现相比，对于用户来说跟踪图标的移动以例如选择区域是更困难的。然而，鼠标输入装置用于小型手持装置可能不是理想的
发明内容
根据一些实施方式的电子装置包括触敏显示屏，该显示屏包括电磁辐射检测器的阵列。电磁辐射检测器的阵列被构造为生成表示与显示器紧密相隔的用户输入对象的图像的图像信号，以及被构造为响应于显示屏被用户输入对象触摸而生成触摸信号。该电子装置还包括控制器电路，该控制器电路被构造为显示构成键盘的多个键以及在多个键上显示字符。该控制器根据所述图像信号识别所述用户输入对象的相对于所述显示屏的角度取向和/或大小。该控制器响应于用户输入对象的识别出的角度取向和/或大小以及响应于触摸信号，从多个键盘键上指示的多个字符当中识别用户的选择，以及输出与识别出的用户选择字符相对应的字符数据。在一些另外的实施方式中，所述控制器被进一步构造为在所述多个键盘键的每一个上显示至少两个不同的字符；以及响应于选择键的所述用户输入对象的识别出的角度取向，而从在多个多字符键中的选择的一个多字符键上显示的多个字符当中识别用户的选择。在一些另外的实施方式中，所述控制器被进一步构造为将选择的键上的多个字符中的、在所述用户输入对象的识别出的角度取向所指示的方向上出现的第一个字符识别为所述用户选择的字符。在一些另外的实施方式中，所述控制器被进一步构造为响应于所述用户对象的识别出的角度取向，生成选择信号，所述选择信号区分利用左手手指对所述多个键盘键中的一个键盘键的选择与利用右手手指的选择；通过确定用户已经选择了在选择的键上显示的多个字符当中的最左边一个字符来对识别出由左手手指作出选择的选择信号进行响应; 以及通过确定用户已经选择了在选择的键上显示的多个字符当中的最右边一个字符来对识别出由右手手指作出选择的选择信号进行响应。在一些另外的实施方式中，所述控制器被进一步构造为响应于所述用户对象的识别出的角度取向，生成选择信号，所述选择信号区分利用用户左手上的手指在所述多个键盘键当中的选择与利用另外的在用户右手上的手指的选择；以及通过激活预测文本输入操作而对指示用户在使用一只手打字的选择信号进行响应，所述预测文本输入操作利用用户选择的一连串的键盘字符在定义的词语的数据库当中选择候选词语。在一些另外的实施方式中，所述控制器被进一步构造为在多个键盘键的每一个上显示至少两个不同的字符；以及响应于选择键的所述用户输入对象的识别出的大小而从在多个键中的选择的一个键上显示的多个字符当中识别用户的选择。在一些另外的实施方式中，所述控制器被进一步构造为响应于所述用户对象的识别出的大小，生成选择信号，所述选择信号区分利用用户的拇指在多个键盘键当中的选择和利用另外的非拇指手指的选择。在一些另外的实施方式中，所述控制器被进一步构造为通过将用户可能的字符选择限制为显示的非数字字符来对识别出利用用户拇指作出选择的选择信号进行响应；以及通过将用户可能的字符选择限制为显示的非字母字符来对识别出利用用户的多个非拇指手指中的一个非拇指手指作出选择的选择信号进行响应。在一些另外的实施方式中，所述控制器被进一步构造为通过激活预测文本输入操作而对识别出利用用户的一个或两个拇指选择一连串显示的字母字符的选择信号进行响应，所述预测文本输入操作利用一连串的选择的字母字符从定义的词语的数据库当中选择候选词语；以及响应于识别出利用用户的多个非拇指手指中的一个非拇指手指选择至少一个键的选择信号而停止所述预测文本输入操作。在一些另外的实施方式中，所述控制器被进一步构造为响应于所述用户输入对象的识别出的大小，修改所述多个键盘键中的至少一些的显示大小。在一些另外的实施方式中，所述控制器被进一步构造为响应于识别出所述用户输入对象的第一阈值大小，在所述显示屏上显示QWERTY键盘的第一多个键；以及响应于识别出所述用户输入对象的第二阈值大小，在所述显示屏上利用QWERTY键盘的第二多个键代替显示的第一多个键。所述第二阈值大小大于所述第一阈值大小并且所述第二多个键少于所述第一多个键。在一些另外的实施方式中，所述控制器被进一步构造为响应于识别出的大小，生成选择信号，所述选择信号区分利用用户的拇指对键的选择和利用用户的一个非拇指手指的选择；以及被构造为响应于识别出利用用户的拇指的选择，放大所述多个键盘键中的至少一个键的显示大小，并且然后响应于识别出利用用户的一个非拇指手指的选择，减小之前放大的至少一个键的显示大小。在一些另外的实施方式中，所述控制器被进一步构造为响应于所述用户对象的识别出的大小，生成选择信号，所述选择信号区分利用用户的拇指对键的选择和利用用户的一个非拇指手指的选择，以及被构造为响应于识别利用用户的一个非拇指手指的选择，显示第一多个字母字符，所述第一多个字母字符的每一个在以QWERTY键盘布局布置的第一多个键中的不同键上；并且被构造为响应于识别利用用户拇指的选择，在第二多个显示的键上显示第一多个字母字符的分组，所述第二多个显示的键少于所述第一多个显示的键。在一些另外的实施方式中，所述控制器被进一步构造为将所述第二多个显示的键显示为比所述第一多个显示的键更大的键符号。在一些另外的实施方式中，所述控制器被进一步构造为响应于所述用户对象的识别的角度取向，生成选择信号，以指示所述多个键盘键中的一个是是通过左手手指选择还是通过右手手指选择；以及响应于识别出用户在使用左右两手的手指来在所述第一多个键当中选择的选择信号，以显示所述第二多个键代替显示所述第一多个键。在一些另外的实施方式中，所述控制器被进一步构造为针对至少多次的阈值次数的键选择，响应于识别用户使用一个拇指或另一拇指但是不是同时使用两个拇指在显示的键当中进行选择的选择信号，以显示第三多个键的代替显示所述第一多个键或第二多个键。在一些另外的实施方式中，所述控制器被进一步构造为响应于识别用户使用用户的多个非拇指手指中的至少一个在所述第二多个键当中选择的选择信号，以显示所述第一多个键代替显示所述第二多个键。在一些另外的实施方式中，所述控制器被进一步构造为响应于识别用户使用左右两手拇指在所述第一多个键当中选择阈值次数内的选择信号，以显示所述第二多个键代替显示所述第一多个键；以及响应于识别用户使用多个非拇指手指中的至少一个在所述第二多个键当中选择的选择信号，以显示所述第一多个键代替显示所述第二多个键。在一些另外的实施方式中，所述控制器被进一步构造为通过将所述第二多个键中的选择的一个键上显示的多个字符的最左边一个字符作为用户的选择来对识别出通过左手手指作出键选择的选择信号进行响应；以及通过将所述第二多个键中的选择的一个键上显示的多个字符的最右边一个字符作为用户的选择来对识别出通过右手手指作出选择的选择信号进行响应。在一些另外的实施方式中，一种电子装置包括触敏显示屏和控制器电路。触敏显示屏包括电磁辐射检测器的阵列，其中电磁辐射检测器的阵列被构造为生成表示与显示器紧密相隔的用户输入对象的图像的图像信号，以及被构造为响应于所述显示屏被所述用户输入对象触摸而生成触摸信号。控制器被构造为在所述显示屏上显示构成键盘的多个键以及在所述多个键上显示字符。控制器根据所述图像信号识别所述用户输入对象的相对于所述显示屏的角度取向和/或大小。控制器响应于所述用户输入对象的识别出的角度取向和 /或大小以及响应于所述触摸信号，从多个键盘键上指示的字符当中识别用户的选择，并输出与识别出的用户选择的字符相对应的字符数据。控制器响应于识别出所述用户输入对象的第一阈值大小，显示第一多个字母字符，所述第一多个字母字符的每一个在以QWERTY键盘布局布置的第一多个键中的不同键上；并且响应于识别出所述用户输入对象的第二阈值大小，在第二多个显示的键上显示第一多个字母字符的分组。所述第二阈值大小大于所述第一阈值大小并且所述第二多个键少于所述第一多个键。控制器响应于所述用户对象的识别出的角度取向，区分通过左手手指对所述多个键盘键的一个键的选择与通过右手手指的选择，并将选择的键上的多个字符中的、在所述用户输入对象的识别出的角度取向所指示的方向上出现的第一个字符识别为所述用户选择的字符。
附图被结合到本说明书中且构成本说明书的一部分，附图例示了本发明的实施方式，并与本说明一同用来解释本发明的原理图1是具有根据本发明的实施方式的显示器的移动通信装置的前视图；图2是图1的显示器的分解图；图3是图1的显示器的横截面图；图4是根据本发明的实施方式的图1的包括电磁辐射发射器和检测器的显示器层的横截面图；图5A是根据本发明的实施方式的电磁辐射轮廓的数字图像；图5B是从图5A的图像获得的增强图像；图5C是利用图5A-5B的图像对用户输入部件的识别的示意图；图5D是基于图5C的图示而识别的目标区域的示意图；图6是示出了根据当前发明的实施方式的操作流程图；图7是根据本发明的一些实施方式的触敏显示器的横截面图；图8是根据本发明的一些实施方式的另一触敏显示器的横截面图；图9是示出根据当前发明的实施方式的操作流程图；图10是示出具有根据本发明的一些实施方式的无线移动通信装置的无线通信系统的示意框图；图11是根据另外的实施方式的显示器的平面图；图12是根据另外的实施方式的显示器的像素的示意图13是示出根据当前发明的实施方式的操作流程图；图14示出根据各种实施方式的用户输入对象的数字图像；图15示出根据一些实施方式能够被捕捉和特征化的热点的一些属性；图16示出根据一些实施方式控制器电路可以在显示器装置上绘出的示例性 QWERTY 键盘；图17示出根据一些实施方式控制器电路可以在显示器装置上绘出的另一示例性键盘；图18是根据一些实施方式可以由控制器执行的、以在显示于键盘键上的多个字符当中识别用户的选择的操作流程图；图19是根据一些实施方式可以由控制器执行的、以在显示于选择的键盘键上的两个字符当中识别用户的选择的操作流程图；图20是根据一些实施方式可以由控制器执行的、以激活或去激活预测文本输入操作的操作流程图；图21是根据一些实施方式可以由控制器执行的、以激活或去激活预测文本输入操作并且响应于选择键的用户手指的大小在显示在选择的键上的数字、字母、和/或其它字符当中确定用户选择的操作流程图；图22示出根据一些实施方式控制器可以在显示器装置上显示的示例性QWERTY键盘，其中每一个键具有一个字符；图23示出根据一些实施方式控制器可以在显示器装置上显示的更紧凑的QWERTY 键盘，其中每一个键具有两个字符；图M示出根据一些实施方式控制器可以在显示器装置上显示的进一步更紧凑的键盘，其中每一个键具有两个字符；图25是根据一些实施方式可以由控制器执行的示例性操作的流程图，以响应于用户是否利用非拇指手指或者拇指选择键而执行至少一些功能，来控制键盘键的数目和大小以及显示在每一个键上的字符的数目；图沈是根据一些实施方式可以由控制器执行的示例性操作的流程图，以响应于用户是否利用拇指/非拇指手指打字和用户是否利用两个手打字而执行至少一些功能，来控制键盘键的数目和大小以及显示在每一个键上的字符的数目。
具体实施例方式下文将参照附图和示例描述本发明，其中示出了本发明的多个实施方式。然而，本发明可以以许多不同形式来具体实施，并且不应当解释为受限于这里阐述的实施方式。而是，提供这些实施方式，使得本公开完全和完整，并向本领域的技术人员全面传达本发明的范围。相同附图标记通篇指代相同的要素。在附图中，为了清楚，特定线、层、部件、元件、 或特征的厚度可以被夸大。这里使用的术语目的只是在于描述具体实施方式
，而不是要限制本发明。如这里使用的，单数形式“一”、“一个”和“该”意在还包括复数形式，除非上下文另有清楚地指明。 还应当理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指明存在阐述的特征、步骤、操作、元件、和/或部件，但并不排除一个或更多个其它特征、步骤、操作、元件、部件和/或它们的组合的存在或附加。如这里所使用的，术语“和/或”包括相关列出项目的一个或更多个的任何和全部组合。如这里所使用的，诸如“在X和Y之间，，以及“大约在X和 Y之间”的短语应该被解释为包括X和Y。如这里所使用的，诸如“大约在X和Y之间”的短语表示“在大约X和大约Y之间”的意思。如这里所使用的，短语诸如“大约从X到Y”表示 “从大约X到大约Y”的意思。除非另有定义，这里使用的所有术语(包括技术和科学术语)都具有本发明所属领域的普通技术人员所共同理解的相同含义。还要理解的是，术语(诸如常用词典中定义的那些术语)应当解释为具有与它们在说明书上下文和相关技术中的含义一致的含义，而不应当从理想化或者过于形式化的意义上去解释，除非在这里明确这样定义。为了简洁和 /或清楚，可以不详细描述公知功能或结构。要理解的是，当提到元件“在另一元件上”、“附接”或“连接”到另一元件、与另一元件耦接、“接触”另一元件等时，该元件可以是直接在另一元件上面、直接附接或连接到另一元件、直接与另一元件耦接、直接接触另一元件或可以存在居间元件。相反，当提到例如元件“直接在另一元件上”、“直接附接”或“直接连接(connected)”到另一元件、与另一元件直接耦接、“直接接触”另一元件等时，不存在居间元件。本领域技术人员还将理解的是， 对结构或“相邻于”另一个特征而布置的特征的注明可能具有与该相邻特征重叠或成为该相邻部件的基础的部分。空间相对术语，诸如“在……下面”、“……之下”、“下部”、“在……上”、“上部”等为
了便于描述而可以在这里被使用，以描述一个元件或特征与另一个(或另多个)元件或另一个(或另多个)特征的关系，如在图中所示出的。将理解的是，这些空间相对术语意在包涵除了图中描述的取向之外，还包涵使用的或操作的装置的不同取向。例如，如果在图中的装置被反转，那么被描述为“在其它元件或特征下”或“在其它元件或部件之下”的元件将被取向为“在其它元件或部件上”。因此，示例性术语“在……下”能够包涵“在……上”和 “在……下”两种取向。装置可以另外地取向(旋转90度或者处于其它取向)，并且这里使用的空间相对描述符被相应地解释。相似地，术语“向上”、“向下”、“垂直的”、“水平的”等在这里仅用于解释的目的，除非另有具体说明。将理解的是，虽然术语“第一”、“第二”等在这里可以用来描述各种元件，但是这些元件不应该被解释为受这些术语所限制。这些术语仅被用来将一个元件与另一个元件相区分。因此，在没有脱离本发明的教导的情况下，下面讨论的“第一”元件也能够被称为“第二” 元件。操作(或步骤)的次序不限于在权利要求或图中表示的顺序，除非另外地具体说明。如这里所使用的，“移动通信终端”或“终端”包括但不限于被构造为经由无线接口从例如蜂窝网络、广域网、无线局域网(WLAN)、GPS系统、和/或另一个RF通信装置接收通信信号的通信装置。如这里所使用的，“显示器”包括但不限于能够提供诸如图形的视觉呈现、提供用于显示信息和/或用于美感目的光或背光的装置。如在图1-3中所示，示例性手持移动电子装置10包括液晶二极管(IXD)显示器 12。显示器12包括背光层14、液晶层16、保护层18 (诸如玻璃)和触摸面板层20。如在图 4中所示，可以使用采用有机发光二极管(OLED)的另选构造，该另选构造中，省略了背光层14和/或液晶层16。图4的显示器12包括在基板S上的多个电磁辐射发射器E和多个电磁辐射检测器D的阵列。在一些实施方式中，电磁辐射发射器E和电磁辐射检测器D可以分别包括红外发射器和检测器。基板S还包括用来在显示器12上显示各种颜色的像素的光发射器R、G和B，诸如发光二极管(LED)或0LED。如在图3中所示，发射器发射远离显示器12的电磁辐射ER。如果用户输入对象 22(如手指)置于与显示器12邻近(虽然未必与显示器12接触)的位置，则电磁辐射ER 在向着显示器12的方向上被反射。经反射的电磁辐射ER能够由在液晶层16内或在液晶层16之下的检测器D检测出。用户输入对象22和显示器之间的接触不是必要的，并且当对象22与显示器12分开时，电磁辐射ER能被对象22反射。如在图5A-5D和图6中所示，电磁辐射检测器D的输出能够用于响应于检测到的电磁辐射轮廓(图5A，框100，图6)而生成二维图像，该二维图像可以用于识别用户输入， 如显示器的由用户选择的或强调的区域(图5D，框102，图6)。在该构造中，当用户输入对象(如手指或触控笔)与显示器12分开并且没有与显示器12物理接触时，该用户输入对象能够被检测到。例如，如在图5A中所示，来自检测器D的数据能够用于提供图5A中所示的图像， 图5A示出了用户的手指的示例性红外(IR)图像。图像的像素之间的对比度能够被可选地增强为如在图5B中所示。用户的手指F的形状随后能够被识别为如在图5C中所示。如在图5D中所示，例如通过本领域技术人员所公知的图像分析技术来根据手指F的形状(如手指F的指尖)识别区域，于是能够被识别出目标区域T。在一些实施方式中，例如通过在目标区域T中显示图标可以在图1-4的显示器12上指示目标区域T。因此，通过响应于手指 F的移动而显示图标，可以在显示器12上跟踪用户输入对象或手指F的移动。在该构造中， 在不与手指接触的情况下，显示器能够记录各种用户输入。在特定实施方式中，显示器12还可以包括触敏显示器，使得当用户输入对象接触显示器时能够检测到另外的用户输入。在该构造中，可以使用与传统鼠标环境中使用的那些相类似的对显示器12的用户输入。当用户在没有接触显示器12的情况下移动用户输入对象时，图标(如传统鼠标箭头)能够被移动，如同针对图5A-图5D所描述的。当用户触摸显示器12时，可以由电子装置10接收到另一用户输入，该另一用户输入可以与在特定位置选择或“点击”鼠标按钮类似。相应地，显示器12能够检测用户输入对象的运动和/或接触，以提供与传统鼠标环境类似的用户接口。虽然针对图4中的红外电磁辐射发射器E和红外电磁辐射检测器D描述了根据本发明的实施方式，但是应该理解的是，其它合适的技术能够用来响应于用户输入对象的位置而提供电磁辐射轮廓。例如，在一些实施方式中，可以省略图4中的发射器E，并且检测器 D可以被构造为响应于用户输入对象的位置而检测对背景电磁辐射的阻碍。在一些实施方式中，电磁辐射检测器D可以被构造为检测热辐射(例如来自用户的手的手指的热辐射) 作为红外(IR)信号。根据本发明的进一步的实施方式，可以提供触敏显示器系统。如图7中所示，显示器12'可以包括多个电磁辐射发射器E1、E2和多个电磁辐射检测器D1、D2的阵列，以及折射介质30。在没有来自用户输入对象(如手指F)的接触的情况下，并如针对发射器E2和检测器D2所示出的，发射器E2被构造为向折射介质30发射电磁辐射，并且折射介质30的全内反射朝着检测器D2反射电磁辐射。折射介质30的全内反射被来自手指F的接触所干扰或改变，如针对发射器El和检测器Dl所示出的，使得经反射的电磁辐射的方向被改变， 并且检测器Dl检测到减少的电磁辐射量。折射介质30可以由任何合适的材料形成，包括透明的和/或半透明的塑料、弹性体材料或玻璃。在一些实施方式中，表面30s可以包括反射涂层或部分折射涂层。因此，通过检测器Dl中检测到的电磁辐射的减少或消除可以检测到手指F的存在。在一些实施方式中，如图8中所示，发射器E和检测器D可以与分别用于红光、绿光、蓝光的光发射器R、G、B 一起地设置在基板S上。光发射器R、G、B可以是LED或OLED。 因此，发射器E和/或检测器D可以集成在显示器中。如图9中所示，发射器E和检测器D可以用于检测显示器的电磁辐射轮廓(框 150)，例如通过检测由显示器12'上的检测器D阵列检测到的电磁辐射量来检测显示器的电磁辐射轮廓。可以接触显示器的折射介质(框15 ，并且可以检测到在电磁辐射轮廓的由此发生的改变(框154)。例如，基于对检测器检测到反射光量减少的区域的识别，可以检测到接触区(框156)。在特定实施方式中，图7和图8中所示的构造可以包括被构造为用于检测没有与显示器12 ‘接触的用户输入对象的另外的发射器E和检测器D，如针对图2-图6所描述的。基于发射器E发射的电磁辐射的入射角(例如，对于塑料或玻璃以及空气界面大约为 45度)，图7和图8的折射介质30的表面可以变为反射的。在其它角度，折射介质30的表面可以是透射的。因此，可以选择发射器E在折射介质30上的入射角，以提供如针对图7 和图8所描述的构造的发射器E和检测器D对(即，检测反射的电磁辐射和由于与折射介质30的接触而引起的对电磁辐射的破坏)，以及如针对图2-图6所描述的发出或发射通过折射介质30的电磁辐射的发射器E ( S卩，以检测与显示器12、12'分开的用户输入对象)。图10是无线通信系统的示意性框图，该无线通信系统包括从蜂窝基站202和/或无线局域网216接收无线通信信号的无线终端200，如移动无线通信终端。蜂窝基站202 连接到MTSO 206，该MTSO 206进而连接到PSTN 212和网络214 (例如互联网)。移动终端 200可以利用通信协议来与无线局域网216通信，该通信协议可包括但是不限于802. 11a、 802. lib,802. lie,802. llg、802. Ili和/或其它无线局域网协议。无线局域网216可以连接到网络214。在本发明的一些实施方式中，移动终端200包括控制器电路232、蜂窝收发机电路 234、存储器电路236、定时电路(时钟)238、局域网收发机电路M0、扬声器装置M2、麦克风装置M4、显示器装置246和小键盘M8。显示器246可以并入了这里讨论的显示器12、 12'的元件。存储器236存储由控制器232执行的软件，并且可以包括一个或更多个可擦除可编程只读存储器(EPR0M或闪EPR0M)，电池支持的随机存取存储器(RAM)，磁性、光学、或其它数字存储装置，并且可以与控制器232分离或者至少部分地在控制器232中。控制器232 可以包括一个以上的处理器，诸如例如通用处理器和数字信号处理器，它们可以被装入共同的封装中或者彼此独立并且彼此分开。特别地，控制器232可以被构造为，例如通过根据显示器12、12'的检测器D检测到的电磁辐射轮廓识别用户输入并且通过响应于识别的输入而在显示器装置246上显示的项目当中确定用户的选择，来控制如针对图1-图9所描述的操作。蜂窝收发机234典型地包括发送机(TX) 250和接收机(RX) 252，以允许双向通信，但是本发明不被限制于这种装置，并且如在这里所使用的，“收发机”可以仅包括接收机252。移动终端200由此可以利用射频信号与基站202通信，该射频信号可通过天线2M而被传送。例如，移动终端200可以被构造为利用一个或更多个蜂窝通信协议经由蜂窝收发机234进行通信，蜂窝通信协议诸如为例如，先进移动电话业务(Mobile Phone Service (AMPS))、ANSI_136、全球标准移动通信(Global Standardfor Mobile(GSM) communication)、通用分组无线电业务(General Packet Radio Service (GPRS))、基于GSM 演进的增强数据速率(enhanced data rates for GSM evolution (EDGE))、码分多址(code division multiple access (CDMA))、宽带 CDMA (wideband-CDMA)、CDMA2000 以及通用移动电信系统(Universal MobileTelecommunications System(UMTS))。如这里所使用的通信协议可以规定传送的信息、定时、频率、调制、和/或用于建立和/或维护通信连接的操作。 在一些实施方式中，天线2 和2M可以是单天线。图11和图12中示出了另外的实施方式。如从中所示出的，显示器12可以包括多个像素42，其中各个像素可包括OLED和/或LED发射器R、G、B以及顶检测器D。可以对 IR检测器D的输出进行采样，以生成表示与显示器12接近的空间的感应图像的图像信号， 诸如图5A中所示出的顶图像。如上所述，可以利用传统的图像处理技术来处理顶图像， 以识别用户输入对象(诸如用户的手指和/或触控笔)的存在。根据一些实施方式，用户输入对象的运动和/或动作能够被控制器232解释为对应于各种输入或命令。因为检测器 D阵列在用户输入对象触摸显示器12之前可以感应到用户输入对象的运动，所以除了触摸或基于触摸的姿势外，移动终端200能够响应其它类型的动作或动作的组合。根据一些实施方式，与基于触摸的姿势相结合的基于非触摸的姿势能够被用来控制移动终端200的操作。根据一些实施方式的姿势解释可能比利用传统的仅触摸的触垫的姿势解释更复杂。例如，图13是示例根据一些实施方式的姿势解释的图。在图13的图中的框可以表示在姿势解释中移动终端200使用的步骤，并且可以被实施为由移动终端200中的控制器232 执行的软件程序中的功能模块。参考图13，姿势解释可以包括图像获取(框/模块30 、图像滤波和标准化(框/ 模块304)、形状识别(框/模块306)、热点检测(框/模块308)、触摸检测(框/模块310) 和姿势确定(框/模块31 这些操作中的一个或更多个。图像获取(框/模块30 可以通过对顶检测器D的输出进行采样并且响应地生成表示用户输入对象(例如，手指或触控笔)的二维电磁图像的图像信号。生成的图像信号可以被滤波和标准化(框/模块304)以降低噪声、加深边缘、加强图像特征、或用于其它目的。形状识别(框/模块306)使用模式识别来识别在图像信号中表示的形状。一般地， 模式识别可以包括特征提取，其中，关于图像的数字或符号信息被计算。分类或描述方案对提取的特征进行分类。例如，能够从图像信号表示的图像中提取的特征可以包括图像的比例不变量和/或旋转不变量特征。对象/图像识别技术对本领域的技术人员是熟知的，因此这里不详细描述。一旦在图像中识别出用户输入对象(如用户的手指、触控笔尖)等的形状，用户输入对象的“热点”的位置就被识别出(框/模块308)。要是用户要使用用户输入对象去触摸显示器12，则“热点”指的是用户输入对象上的、被预期在用户输入对象和显示屏12之间相接触的点。即，即使用户输入对象(例如手指、触控笔等)没有与显示器12接触，也可以响应于热点的位置而控制移动终端200的操作，如在下面更加详细地所讨论的。可以利用一个或更多个试探性和/或确定性的技术来执行热点确定。例如，可以基于对具体的识别出的用户输入对象是用户的手指、用户的拇指、或触控笔或者其它人造指点装置的确定来预测/定位热点。还可以基于校准数据来执行热点确定。例如，可以确定初步的热点，并且用户然后可以被要求对屏进行触摸。随后可以基于屏上的触摸的预期位置和实际位置之间的差异而调整对热点的定位。在图14中更加详细地例示出了形状确定。如图4中所示，形状确定可以用来确定用户输入对象55的属性，诸如形状(例如食指、拇指、或触控笔等)、取向(左手或右手)、 和到屏的距离，如通过边缘模糊而确定的。例如，如在图14(d)中所示，被持有的远离屏的用户输入对象阳可以表现出边缘模糊^a。边缘模糊的量可以被解释为用户输入对象55 距显示器12的距离的度量。参考图14(a)，基于用户输入对象55的位置和取向而确定热点60。在图15中更加详细地例示出热点60。根据一些实施方式，移动终端200可以包括热点检测模块308，该热点检测模块 308分析由显示器12的检测器D捕获到的图像。热点检测模块能够识别并且输出热点的各种属性，诸如形状(s)、位置(x, y)、角度取向(Θ)、半径(r)、距显示屏的距离(ζ)、和/或速度矢量(u，ν, w)0响应于这些属性可以推断一个或更多个姿势。在一些实施方式中，结合触摸屏显示器12上的触摸，响应于这些属性可以推断一个或更多个姿势。形状(s)指的使由热点检测模块308检测到作为用户输入对象的形状的类型，诸如手指、拇指、触控笔等。位置(X，y)表示热点60的中心。它可以基于对用作用户输入对象的形状的类型的认识而被确定。一旦形状被识别出，热点检测模块308就可以应用试探性或确定性技术以基于形状的类型来定位热点60的中心。此外，在一些实施方式中，可以将不同的形状用作用户输入对象以激活移动终端200中的不同功能。例如，在一些实施方式中，拇指形状能够用来激活与拇指以外的手指不同的功能。热点中心位置定义由特定姿势激活的在显示器 12上的定位。热点中心位置(X，y)可以通过指示用户触摸在显示器12上的定位而被校准。定位可以是显示器上的任何定位，或者可以是预定定位，诸如由图形图标指示的定位。触摸的定位通过显示器12的触摸屏功能而被检测，并确定相对于形状(s)的热点中心位置(X，y)。角度取向(θ )可以表示用户输入对象的主轴相对于显示屏12的取向的角度。获知角度取向(Θ)可以实现更准确的热点确定。而且，在一些实施方式中，基于用户输入对象的角度取向可以调用不同的命令。热点60的大小由热点60的半径(r)表示。该半径表示与显示器12接触的用户输入对象的部分的大小。例如，手指可以比触控笔具有与显示屏12接触的更大的接触半径。 热点60的半径可以用来确定姿势的效果的作用区域。在一些实施方式中，考虑了热点的大小的概率模型能够用来估计或预测显示屏12的哪个区域正在被姿势激活。
输出(ζ)表示用户输入对象55到显示屏12的距离。通过跟踪用户输入对象到显示屏的距离，即使用户输入对象没有接触到屏，姿势也可以被解释并且用来调用在移动终端200中的命令和动作。根据一些实施方式，可以通过分析被跟踪对象的边缘的相对模糊度来估计从热点 60到屏12的距离(z)。S卩，距离(ζ)可以作为被跟踪对象的类型/形状以及被跟踪对象的模糊度的函数而被估计。在一些实施方式中，可以使用用户输入对象自显示屏12的距离来调用图像缩放功能。热点的速度矢量(u，ν, w)跟踪热点在χ和y方向上的速度(U和ν)以及在ζ方向上的速度(W)。热点的速度(U，v，w)可以通过计算从最后知道的热点坐标开始所覆盖的距离而被确定。当确定在Z方向上的速度时，在Z方向上的速度矢量W还可以将热点半径 (r)的改变考虑在内。显示器12还包括触摸屏性能，并且移动终端200被构造为确定屏12什么时候在哪个位置被用户输入对象触摸(框/模块310)。显示器12可以包括传统的触摸屏(例如电阻式、电容式等)，并且/或可以如上面针对图7和8的实施方式所描述地被构造，以检测用户输入对象的触摸。姿势确定可以基于由热点检测模块308输出的热点属性中的一个或更多个。例如，在下面的表格1中示出的姿势能够基于一个或更多个热点属性而被识别。如在表格1 中所示，姿势能够基于前提条件、触发、和后置条件而被确定。前提条件、触发和后置条件的组合表明事件的发生，该事件的发生能够被映射到移动终端200中的特征或功能。在表格 1中，“Hs”指的是“热点”。“事件”栏表示从姿势检测向更高层(例如，应用层)传递的数据。取决于正被考虑的姿势，不同的数据可用于多个应用。在事件栏中的数字“1”指示有 1个事件。在事件栏中的符号“*”指示在姿势被检测到时可能有多个事件。
权利要求
1.一种电子装置，所述电子装置包括触敏显示屏，其包括电磁辐射检测器的阵列，其中所述电磁辐射检测器的阵列被构造为生成表示与显示器紧密相隔的用户输入对象的图像的图像信号，以及被构造为响应于所述显示屏被所述用户输入对象触摸而生成触摸信号；和控制器电路，其被构造为在所述显示屏上显示构成键盘的多个键以及在所述多个键上显示字符；根据所述图像信号识别所述用户输入对象的相对于所述显示屏的角度取向和 /或大小；响应于所述用户输入对象的识别出的角度取向和/或大小以及响应于所述触摸信号，从多个键盘键上指示的字符当中识别用户的选择；以及输出与识别出的用户选择的字符相对应的字符数据。
2.根据权利要求1所述的电子装置，其中，所述控制器电路被进一步构造为在所述多个键盘键的每一个上显示至少两个不同的字符；以及响应于选择键的所述用户输入对象的识别出的角度取向，而从在多个多字符键中的选择的一个多字符键上显示的多个字符当中识别用户的选择。
3.根据权利要求3所述的电子装置，其中，所述控制器电路被进一步构造为将选择的键上的多个字符中的、在所述用户输入对象的识别出的角度取向所指示的方向上出现的第一个字符识别为所述用户选择的字符。
4.根据权利要求2所述的电子装置，其中，所述控制器电路被进一步构造为响应于所述用户对象的识别出的角度取向，生成选择信号，所述选择信号区分利用左手手指对所述多个键盘键中的一个键盘键的选择与利用右手手指的选择；通过确定用户已经选择了在选择的键上显示的多个字符当中的最左边一个字符来对识别出由左手手指作出选择的选择信号进行响应；以及通过确定用户已经选择了在选择的键上显示的多个字符当中的最右边一个字符来对识别出由右手手指作出选择的选择信号进行响应。
5.根据权利要求1所述的电子装置，其中，所述控制器电路被进一步构造为响应于所述用户对象的识别出的角度取向，生成选择信号，所述选择信号区分利用用户左手上的手指从所述多个键盘键当中的选择与利用另外的在用户右手上的手指的选择；以及通过激活预测文本输入操作而对指示用户在使用一只手打字的选择信号进行响应，所述预测文本输入操作利用用户选择的一连串的键盘字符在定义的词语的数据库当中选择候选词语。
6.根据权利要求1所述的电子装置，其中，所述控制器电路被进一步构造为在多个键盘键的每一个上显示至少两个不同的字符；以及响应于选择键的所述用户输入对象的识别出的大小而从在多个键中的选择的一个键上显示的多个字符当中识别用户的选择。
7.根据权利要求1所述的电子装置，其中，所述控制器电路被进一步构造为响应于所述用户对象的识别出的大小，生成选择信号，所述选择信号区分利用用户的拇指从所述多个键盘键当中的选择和利用另外的非拇指手指的选择。
8.根据权利要求7所述的电子装置，其中，所述控制器电路被进一步构造为通过将用户可能的字符选择限制为显示的非数字字符来对识别出利用用户拇指作出选择的选择信号进行响应；以及通过将用户可能的字符选择限制为显示的非字母字符来对识别出利用用户的多个非拇指手指中的一个非拇指手指作出选择的选择信号进行响应。
9.根据权利要求7所述的电子装置，其中，所述控制器电路被进一步构造为通过激活预测文本输入操作而对识别出利用用户的一个或两个拇指选择一连串显示的字母字符的选择信号进行响应，所述预测文本输入操作利用一连串的选择的字母字符从定义的词语的数据库当中选择候选词语；以及响应于识别出利用用户的多个非拇指手指中的一个非拇指手指选择至少一个键的选择信号而停止所述预测文本输入操作。
10.根据权利要求1所述的电子装置，其中，所述控制器电路被进一步构造为响应于所述用户输入对象的识别出的大小，修改所述多个键盘键中的至少一些的显示大小。
11.根据权利要求10所述的电子装置，其中，所述控制器电路被进一步构造为响应于识别出所述用户输入对象的第一阈值大小，在所述显示屏上显示QWERTY键盘的第一多个键；以及响应于识别出所述用户输入对象的第二阈值大小，在所述显示屏上利用QWERTY键盘的第二多个键代替显示的第一多个键，其中所述第二阈值大小大于所述第一阈值大小并且所述第二多个键少于所述第一多个键。
12.根据权利要求10所述的电子装置，其中，所述控制器电路被进一步构造为响应于识别出的大小，生成选择信号，所述选择信号区分利用用户的拇指对键的选择和利用用户的一个非拇指手指的选择；以及被构造为响应于识别出利用用户的拇指的选择，放大所述多个键盘键中的至少一个键的显示大小，并且然后响应于识别出利用用户的一个非拇指手指的选择，减小之前放大的至少一个键的显示大小。
13.根据权利要求10所述的电子装置，其中，所述控制器电路被进一步构造为响应于所述用户对象的识别出的大小，生成选择信号，所述选择信号区分利用用户的拇指对键的选择和利用用户的一个非拇指手指的选择，以及被构造为响应于识别利用用户的一个非拇指手指的选择，显示第一多个字母字符，所述第一多个字母字符的每一个在以QWERTY键盘布局布置的第一多个键中的不同键上；并且被构造为响应于识别利用用户拇指的选择，在第二多个显示的键上显示第一多个字母字符的分组，所述第二多个显示的键少于所述第一多个显示的键。
14.根据权利要求13所述的电子装置，其中，所述控制器电路被进一步构造为将所述第二多个显示的键显示为比所述第一多个显示的键更大的键符号。
15.根据权利要求13所述的电子装置，其中，所述控制器电路被进一步构造为响应于所述用户对象的识别的角度取向，生成选择信号，以指示所述多个键盘键中的一个是是通过左手手指选择还是通过右手手指选择；以及响应于识别出用户在使用左右两手的手指来在所述第一多个键当中选择的选择信号，以显示所述第二多个键代替显示所述第一多个键。
16.根据权利要求15所述的电子装置，其中，所述控制器电路被进一步构造为针对至少多次的阈值次数的键选择，响应于识别用户使用一个拇指或另一拇指但是不是同时使用两个拇指在显示的键当中进行选择的选择信号，以显示第三多个键的代替显示所述第一多个键或第二多个键。
17.根据权利要求15所述的电子装置，其中，所述控制器电路被进一步构造为响应于识别用户使用用户的多个非拇指手指中的至少一个在所述第二多个键当中选择的选择信号，以显示所述第一多个键代替显示所述第二多个键。
18.根据权利要求15所述的电子装置，其中，所述控制器电路被进一步构造为响应于识别用户使用左右两手拇指在所述第一多个键当中选择阈值次数内的选择信号，以显示所述第二多个键代替显示所述第一多个键；以及响应于识别用户使用多个非拇指手指中的至少一个在所述第二多个键当中选择的选择信号，以显示所述第一多个键代替显示所述第二多个键。
19.根据权利要求15所述的电子装置，其中，所述控制器电路被进一步构造为通过将所述第二多个键中的选择的一个键上显示的多个字符的最左边一个字符作为用户的选择来对识别出通过左手手指作出键选择的选择信号进行响应；以及通过将所述第二多个键中的选择的一个键上显示的多个字符的最右边一个字符作为用户的选择来对识别出通过右手手指作出选择的选择信号进行响应。
20.一种电子装置，所述电子装置包括触敏显示屏，其包括电磁辐射检测器的阵列，其中所述电磁辐射检测器的阵列被构造为生成表示与显示器紧密相隔的用户输入对象的图像的图像信号，以及被构造为响应于所述显示屏被所述用户输入对象触摸而生成触摸信号；和控制器电路，其被构造为在所述显示屏上显示构成键盘的多个键以及在所述多个键上显示字符；根据所述图像信号识别所述用户输入对象的相对于所述显示屏的角度取向和/或大小；响应于所述用户输入对象的识别出的角度取向和/或大小以及响应于所述触摸信号，从多个键盘键上指示的字符当中识别用户的选择；以及输出与识别出的用户选择的字符相对应的字符数据，其中所述控制器电路响应于识别出所述用户输入对象的第一阈值大小，显示第一多个字母字符，所述第一多个字母字符的每一个在以QWERTY键盘布局布置的第一多个键中的不同键上；并且响应于识别出所述用户输入对象的第二阈值大小，在第二多个显示的键上显示第一多个字母字符的分组，其中所述第二阈值大小大于所述第一阈值大小并且所述第二多个键少于所述第一多个键，并且所述控制器电路被进一步地构造为响应于所述用户对象的识别出的角度取向，区分通过左手手指对所述多个键盘键的一个键的选择与通过右手手指的选择；以及将选择的键上的多个字符中的、在所述用户输入对象的识别出的角度取向所指示的方向上出现的第一个字符识别为所述用户选择的字符。
全文摘要
一种电子装置，该电子装置包括触敏显示屏，该显示屏包括电磁辐射检测器的阵列。该电磁辐射检测器的阵列被构造为生成表示与显示器紧密相隔的用户输入对象的图像的图像信号，以及被构造为响应于所述显示屏被所述用户输入对象触摸而生成触摸信号。该电子装置还包括控制器电路，该控制器电路被构造为显示构成键盘的多个键以及在多个键上显示字符。该控制器电路根据所述图像信号识别所述用户输入对象的相对于所述显示屏的角度取向和/或大小。该控制器电路响应于所述用户输入对象的识别出的角度取向和/或大小以及响应于所述触摸信号，从多个键盘键上指示的字符当中识别用户的选择，以及输出与识别出的用户选择字符相对应的字符数据。
文档编号G06F3/048GK102422254SQ200980159219
公开日2012年4月18日 申请日期2009年11月18日 优先权日2009年5月12日
发明者J·贝克勒 申请人:索尼爱立信移动通讯有限公司