用于识别来自虚拟键盘的键输入的方法及装置制造方法
【专利摘要】本发明公开了一种用于识别来自根据本发明的实施例的虚拟键盘的键输入的方法和装置。用于识别来自根据本发明的实施例的虚拟键盘的键输入的方法为使用至少一个相机，例如两个相机或者一个3D相机，用于识别来自虚拟键盘的键输入的方法，并包括以下步骤：当使用相机，用于在虚拟键盘上的键输入的用户工具的动作被检测时，跟踪用户工具；以及持续跟踪，直至用户工具的位置的垂直坐标小于或者等于预定的垂直阈值；以及确认在用户工具的最终跟踪的水平位置上键输入已被执行。
【专利说明】用于识别来自虚拟键盘的键输入的方法及装置
【技术领域】
[0001] 本申请涉及用于在虚拟键盘上识别键输入的方法及装置，更加特别地，涉及用于 在不同类型的虚拟键盘上识别键输入的方法。
【背景技术】
[0002] 传统的物理键盘笨重且难以清洁，因此，通过在平面上投射键盘而获得的虚拟键 盘成为替代方案。然而，由于它们不易操作，用户难以适应此类投射的虚拟键盘，并且由于 类型和形状受限，用户需要适应键盘的形状。此外，为了形成虚拟键盘，这些键盘需要昂贵 的硬件资源以及用于识别用户键盘输入的红外接收机。
[0003] 此外，在将虚拟键盘应用至平板电脑、智能手机等的情形下，存在的问题在于：虚 拟键盘覆盖了接近半个屏幕。此外，当2字节字符、特殊字符、数字等需要被交替输入时，虚 拟键盘上的键也在屏幕上交替显示，因此，键输入不方便成为问题。
【发明内容】
[0004] 技术问题
[0005] 本发明旨在提供一种识别键输入的方法，其为用户提供便利并可应用于各种类型 的虚拟键盘。
[0006] 本发明旨在提供一种识别键输入的装置，其为用户提供便利并可应用于各种类型 的虚拟键盘。
[0007] 技术方案
[0008] 本发明一方面提供了一种在使用至少一个相机的虚拟键盘上识别键输入的方法， 包括：跟踪步骤，当用于使用至少一个相机的虚拟键盘上的键输入的用户工具的操作被检 测时，跟踪用户工具直至用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值；以 及确定步骤，确定最终跟踪的用户工具的水平位置上的键为输入。
[0009] 在此，跟踪步骤之前，识别键输入的方法可进一步包括：根据使用相机的预定的样 式识别方法，识别根据在虚拟键盘上的每个键的样式的位置。
[0010] 同样地，在跟踪步骤之前，识别键输入的方法可进一步包括：测量步骤，测量在垂 直坐标上的最低位置，所述垂直坐标识别用于在虚拟键盘上键输入的用户工具与虚拟键盘 的平面接触，从而确定测量的最低位置作为垂直阈值。
[0011] 同样地，当用户工具为用户的手时，测量步骤包括测量在虚拟键盘上打字的用户 的指尖的垂直坐标，从而确定最低位置作为垂直阈值。
[0012] 同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检 测，以及至少一个预定的另一信号产生的时刻与当用户工具被最终跟踪的时刻相同时，确 定步骤可包括确定在水平位置上的键为输入。
[0013] 同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检 测，以及至少一个预定的另一信号产生的时刻与当用户工具被最终跟踪的时刻之间的差值 不超过预定的允许误差时，确定步骤可包括确定在最终跟踪用户工具的水平位置上的键为 输入。
[0014] 同样地，当至少一个预定的另一信号产生的时刻与当用户工具被最终跟踪的时刻 之间的差值不超过预定的允许误差时，识别键输入的方法可进一步包括：根据至少一个预 定的另一信号被检测的时刻，修正垂直阈值。
[0015] 同样地，当用户工具的水平位置上的键为输入被确定时，识别键输入的方法可进 一步包括：产生用于确认键输入的信号。
[0016] 同样地，用于确认键输入的信号可包括震动、声音以及发光中的至少一个。
[0017] 本发明的另一方面提供了一种用于在使用至少一个相机的虚拟键盘上识别键输 入的装置，包括：至少一个相机；用户工具跟踪单元，当用于在使用至少一个相机的虚拟键 盘上的键输入的用户工具的操作被检测时，其跟踪用户工具直至用户工具的垂直坐标上的 位置小于或者等于预定的垂直阈值；以及键值识别单元，其确定在用户工具跟踪单元中最 终跟踪的用户工具的水平位置上的键为输入。
[0018] 在此，用于识别键输入的装置可进一步包括：样式识别单元，其识别根据在使用预 定的样式识别方法的虚拟键盘上的每个键样式的位置。
[0019] 同样地，用于识别键输入的装置可进一步包括：阈值初始化单元，其确定垂直坐标 上的最低位置作为垂直阈值，所述垂直坐标识别用于在虚拟键盘上的键输入的用户工具与 虚拟键盘的平面接触。
[0020] 同样地，当用户工具为用户的手时，阈值初始化单元可测量在虚拟键盘上打字的 用户指尖的垂直坐标，从而确定最低位置作为垂直阈值。
[0021] 同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检 测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻相同时，键值 识别单元可确定水平位置上的键为输入。
[0022] 同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检 测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻的差值不超过 预定的允许误差时，键值识别单元可确定最终跟踪的用户工具的水平位置上的键为输入。
[0023] 同样地，至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻之间 的差值不超过预定的允许误差时，键值识别单元根据至少一个预定的另一信号被检测的时 亥IJ，修正垂直阈值。
[0024] 同样地，当确定用户工具的水平位置上的键为输入时，键值识别单元产生用于确 认键输入的信号。
[0025] 同样地，用于确认键输入的信号可包括震动、声音以及发光中的至少一个。
[0026] 有益效果
[0027] 根据用于在根据本发明的虚拟键盘上识别键输入方法和装置，显示在各种虚拟键 盘上的键的样式可使用相机而被识别，以及敲击键的用户的移动可被跟踪，以识别输入键 值，从而可识别用户的键输入而与键盘的类型以及形状无关。特别地，当用于在根据本发明 的虚拟键盘上识别键输入的方法和装置被应用至平板电脑或者智能手机时，可使用单独的 虚拟键盘，从而诸如被传统电脑或者智能手机的屏幕上显示的虚拟键盘所隐藏的屏幕，或 者当输入不同类型的两字节编码键时，交替显示在屏幕上的不同类型的两字节编码键所带 来的不便被克服。此外，由于诸如3D摄影的平板电脑等的附加功能，当至少两个相机或者 一个三维（3D)相机已经被附加时，不需要额外的硬件资源。
【专利附图】
【附图说明】
[0028] 图1为说明在根据本发明的实施例的虚拟键盘上识别键输入的过程的流程图；
[0029] 图2为说明在根据本发明的实施例的虚拟键盘上识别键的实施例的概念图；
[0030] 图3为说明按照根据本发明的实施例的键输入和用户信号的检测时间差处理过 程的概念图；和
[0031] 图4为说明用于在根据本发明的实施例的虚拟键盘上识别键输入的装置的配置 的框图。 具体实施例
[0032] 本发明的实施例在此公开。然而，此处公开的特殊结构性和功能性细节仅旨在描 述本发明的实施例，本发明的实施例可有多种替换形式并且不应解释为局限于此处陈述的 本发明的实施例。
[0033] 相应地，尽管本发明易受到各种变形和替换形式的影响，其特殊实施例以附图中 例举的方式给出并作详细描述。应当理解的是，此处并不意欲将本发明限制于所公开的特 殊形式，相反地，本发明涵盖了不超出本发明的精神和范围内的所有变型、等同物以及替代 物。附图中相同的附图标记对应同样的部件。
[0034] 应当理解的是，尽管在此描述各个部件时使用第一、第二等术语，这些部件并不受 到这些术语的限制。此类术语仅用于将一个部件从另一部件区分开来。例如，在不脱离本发 明的范围的情形下，第一部件可以叫做第二部件，同样地，第二部件可以叫做第一部件。此 处所用的术语"和/或"包括一个以上相关列出的术语中的任何以及所有组合。
[0035] 应当理解的是，当一个部件被提及"连接"或者"耦合"到另一部件时，其可以直接 连接或者耦合到另一部件或者出现中间部件。相比之下，当一个部件被提及"直接连接"或 者"直接耦合"至另一部件时，则不存在中间部件。用于描述部件之间关系的其它词应以同 样的方式解释（即，"位于…之间"与"直接位于…之间"相对，"相邻"与"直接相邻"相对， 等等）。
[0036] 此处使用的术语仅旨在描述特殊实施例，并不意欲限制本发明。除非上下文明确 给出相反指示，在此所用的单数形式"一个"、"一种"以及"所述"同样包括了复数形式。应 当进一步理解的是，当此处使用术语"包含"、"由…组成"、"由…构成"和/或"包括"指定了 阐明的特征、整体、步骤、操作、元件和/或部件，但是并不排除一个以上的其它特征、整体、 步骤、操作、元件、部件和/或其组合的出现或者增加。
[0037] 除非另作定义，在此使用的所有术语（包括技术术语和科学术语）具有本发明所 属领域的普通技术人员通常所理解的含义。应当进一步理解的是，除非在此特意地定义，诸 如在公共使用的字典中所定义的术语应被解释为具有与相关领域上下文中它们的含义相 一致的含义，并且不应作理想化或者过分正式理解。
[0038] 在下文中，本发明的优选实施例将参照附图给出详细描述。为了便于对本发明的 彻底理解，附图中相同的附图标记对应同样的部件，并且同样部件的重复描述将会被省略。
[0039] 图1为说明在根据本发明的实施例的虚拟键盘上识别键输入的过程的流程图。
[0040] 参照图1，在根据本发明的实施例的虚拟键盘上识别键输入的过程包括键样式识 别操作S110,阈值初始化操作S120,键输入工具移动跟踪操作S130,键输入样式比较操作 S140,用户信号检测操作S150,阈值校正操作S160,键输入确认操作S170,以及确认信号声 音输出操作S180。
[0041] 此外，参照图1，可以使用至少一个相机，执行在根据本发明的实施例的虚拟键盘 上识别键输入的过程，以下将会对每个操作进行描述。
[0042] 键样式识别操作S110可以是在其中基于虚拟键盘上每个键的样式的位置根据预 定的样式识别方法被识别的操作，所述预定的样式识别方法使用至少一个相机。以下，将 结合附图对虚拟键盘上的键样式识别方法进行描述。在此情形下，两个相机或者一个三维 (3D)相机作为相机被使用。
[0043] 图2为说明在根据本发明的实施例的虚拟键盘上识别键的实施例的概念图。
[0044] 参照图2,根据本发明的虚拟键盘200中各个键的位置通过使用相机的识别字符 ("等）样式的方法而被确定。例如，当根据样式识别方法搜索"? "时，在搜索"210之后，周围闭合区域被作为"η"的区域。
[0045] 同时，使用图像跟踪方法，在根据本发明的虚拟键盘上的键输入被识别，因此，通 过如在传统投射键盘中同样的方式使用激光，投射键盘被创建，键盘可由使用的用户直接 画出，或者使用传统的物理键盘。此外，由于没有物理边界，因此，键的尺寸和位置可随意改 变。例如，"Esc"键可比传统的键更大或者在两边均配置"Enter"键。因此，尽管通过 如在现有投射键盘中同样的方式使用激光而创建键盘，创建键盘的激光设备以及识别激光 设备的相机设备的位置可被彼此独立地确定，其有利于设计。
[0046] 此外，特殊键的范围可根据用户输入样式而改变。当手放在平面上而不欲执行键 输入时，除了用户的全局习惯之外，特殊用户相关的数据被累计并被识别，从而便利用户。
[0047] 阈值初始化操作S120可以是测量垂直坐标的最低位置以及确定测量到的最低位 置作为垂直阈值的操作，在所述垂直坐标中，用于在虚拟键盘上键输入的用户工具与虚拟 键盘的平面接触被识别。例如，当用户工具为用户的手并且虚拟键盘上的键被触摸时，通过 相机识别的手指的垂直坐标可根据用户手指的厚度等而不同。
[0048] 因此，当用户的指尖位于最低位置同时用户最初敲击任意键数次时，来自虚拟键 盘的垂直坐标上的最低点可被设置为垂直阈值。接下来，当指尖位于比设置的垂直阈值更 低的位置时，在相应位置的键上执行的输入被确定。在此情况下，为了使用相机识别输入， 指尖的位置应首先被确定，已开发的基于手的颜色的现有的位置搜索方法，通过用户在预 定区域中定位手的现有方法等可被使用。
[0049] 在键输入工具移动跟踪操作S130中，当用于在虚拟键盘上的键输入的用户工具 的操作通过使用相机而被检测时，用户工具可被跟踪。在此情形下，用户工具可被跟踪直至 在垂直坐标上的用户工具的位置小于或者等于预定的垂直阈值，例如，在阈值初始化操作 S120中设置的垂直阈值。
[0050] 键输入样式比较操作S140可以是包括通过分析用户的打字习惯以及区分键输入 是否被执行而将预先定义的键输入样式与在键输入工具移动跟踪操作S130中跟踪的键输 入图像进行比较的操作。这样做是为了区分在其中用户将其手放置在平面上而不欲执行键 输入的情形。
[0051] 例如，用户在备用状态下可选取舒适的位置而不执行打字操作，则存在在其中不 再执行打字操作的情形。作为最简单的示例，存在识别在其中除拇指外的八根手指同时触 摸作为备用状态的情形的方法，以及存在创建用于进入备用状态的键等的方法，等等。
[0052] 用户信号检测操作S150可以是至少一个预定的其它信号与用于键输入的用户工 具操作一起被检测的操作，即按照选择由用户引起的用户信号。在此情形下，用户信号被检 测到的时刻与用户工具被最终跟踪的时刻之间的差值进行比较并且比较的差值不超过预 定的允许误差时，在操作S160中垂直阈值可根据用户信号被检测的时刻进行修正。
[0053] 也就是说，为了增加与在虚拟键盘上输入键的用户工具（例如，用户的手）相关的 跟踪图像识别的精确度，来自用户的诸如声音以及震动的信号被检测，为了同步基于图像 识别结果以及用户信号的检测结果的时间差，修正垂直阈值的方法可被采用。
[0054] 图3为说明依照根据本发明的实施例的用户信号的检测时间差以及键输入的处 理过程的概念图。
[0055] 参照图3,作为跟踪图像信号310和用户信号320的三个不同信号输入被示出。在 第一种情形中，由于图像信号311和用户信号321之间显著的检测时间差，键不被确定为输 入。在第二情形中，由于图像信号313和用户信号323之间的检测时间差为允许的差值，键 被确定为输入。此外，在此情形下，为了调整在操作S150中信号间的到达时间差，阈值可根 据用户信号检测时间被修正。在第三种情形下，由于图像信号315和用户信号325之间不 存在差值，键被确定为输入。此外，在此情形下，不需执行阈值的修正。
[0056] 键输入确认操作S170可以是确定最终跟踪的用户工具的水平位置上的键为输入 的操作。即，在其中最终跟踪的用户工具的垂直坐标上的位置小于预定的垂直阈值的位置 的水平坐标上的位置可被推导出，以及与推导出的位置相对应的键值为输入被确定。在此 情形下，参考按照在键样式识别操作S110中识别的样式的键的位置，与推导出的位置相对 应的键值可被确定。
[0057] 可替换地，当在用户信号检测操作S150中允许的用户信号被检测时，用户信号被 检测的时刻以及用户工具被最终跟踪的时刻之间的差值被比较以及比较的差值不超过预 定的允许误差时，相应的水平坐标上位置的键值为输入可被确定。
[0058] 确认信号声音输出操作S180可以是当用户工具的水平位置上的键被确定为在键 输入确认操作S170中输入时，产生用于确认键的输入的信号的操作。即，诸如震动、发光、 信号声音等的反馈信号被给出，从而用户可确认键被正常输入。此类反馈信号可再现用户 在传统键盘上敲打键时用户的感受。
[0059] 图4为说明用于在根据本发明的实施例的虚拟键盘上识别键输入的装置的配置 的框图。
[0060] 参照图4,用于在根据本发明的实施例的虚拟键盘30上识别键输入的装置10可包 括相机410、样式识别单元420、阈值初始化单元430以及键值识别单元440。
[0061] 此外，参照图4,用于在根据本发明的实施例的虚拟键盘上识别键输入的装置10 的每个部件以及部件之间的连接关系在下面将会给出详细介绍。
[0062] 相机410通过识别在虚拟键盘30上的键样式可被用于确定每个键的位置，以及通 过跟踪用户的键输入操作可被用于识别键输入的位置。在此情形下，对于相机410,可使用 双相机以识别用户输入。
[0063] 样式识别单元420可识别根据使用至少一个相机410(例如，两个相机或者一个3D 相机）的预定的样式识别方法的虚拟键盘30上的每个键的样式的位置。
[0064] 阈值初始化单元可测量垂直坐标中的最低位置，从而确定测量的最低位置为垂直 阈值，所述垂直坐标识别用于在虚拟键盘30上的键输入的用户工具与虚拟键盘的平面接 触。
[0065] 当用于在虚拟键盘30上的键输入的用户工具的操作通过使用相机410被检测时， 键值识别单元440可跟踪用户工具。在此情形下，键值识别单元440可跟踪用户工具，直至 用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值。
[0066] 此外，键值识别单元440可检测至少一个预定的另一信号，S卩，与用于根据选择的 键输入的用户工具的操作一起的由用户引起的用户信号。在此情形下，用户信号被检测的 时刻与用户工具被最终跟踪的时刻之间的差值被比较，以及用户信号被检测的时刻以及用 户工具被最终跟踪的时刻相同时，最终跟踪的用户工具的水平位置上的键为输入被确定。 也就是说，当用户敲击在其中显示"1"的位置时，通过将相应的位置值与预先识别的样式相 关联，" 1"作为输入可被确定，并执行相应的处理。
[0067] 然而，当差值超出预定的允许误差范围时，键不是输入被确定，同时忽略相应的操 作，以及当差值不超过允许的误差范围时，根据用户信号被检测的时刻，垂直阈值被修正， 相应水平位置的键为输入被确定。
[0068] 在此情形下，可使用用于检测用户信号的传感器，以及为了将模拟信号转换以及 测量为数字信号，可使用ADC。此外，为了测量图像信号以及用户信号之间的差值，使用在时 间轴上的两个信号的最高点之间的差值的方法，测量在其中通过执行定期采样产生两个信 号的间隔的方法，使用相位测量工具的方法可被采用。
[0069] 此外，当用户工具水平位置上的键为输入被确定时，键值识别单元440可产生用 于确认键输入的信号。即，诸如震动、发光、信号声音等的反馈信号可被给出，从而用户可确 定键被正常输入。
[0070] 在说明书中，本发明的实施例被分为第一、第二以及第三实施例，以方便描述。然 而，一个实施例各自的步骤或者功能可与其它实施例的步骤或者功能相结合，以执行仍属 于本发明的另一实施例。
[0071] 尽管本发明参照其特定的实施例公开并描述，本领域技术人员应当理解，在不脱 离通过权利要求书所定义的本发明的精神和范围的情形下，可以做出各种形式和细节上的 变化。
【权利要求】
1. 一种在使用至少一个相机的虚拟键盘上识别键输入的方法，包括： 跟踪步骤，当用于使用至少一个相机的虚拟键盘上的键输入的用户工具的操作被检测 时，跟踪用户工具直至用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值；以及 确定步骤，确定最终跟踪的用户工具的水平位置上的键为输入。
2. 根据权利要求1所述的方法，在跟踪步骤之前，进一步包括： 识别步骤，根据使用相机的预定的样式识别方法，识别基于在虚拟键盘上每个键的样 式的位置。
3. 根据权利要求1所述的方法，在跟踪步骤之前，进一步包括： 测量步骤，测量在垂直坐标上的最低位置，所述垂直坐标识别用于在虚拟键盘的键输 入的用户工具与虚拟键盘的平面接触，从而确定测量的最低位置作为垂直阈值。
4. 根据权利要求3所述的方法，其中，当用户工具为用户的手时，测量步骤包括测量在 虚拟键盘上打字的用户的指尖的垂直坐标，从而确定最低位置作为垂直阈值。
5. 根据权利要求1所述的方法，其中，当至少一个预定的另一信号与用于键输入的用 户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟 踪的时刻相同时，确定步骤包括确定在水平位置上的键为输入。
6. 根据权利要求1所述的方法，其中，当至少一个预定的另一信号与用于键输入的用 户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟 踪的时刻之间的差值不超过预定的允许误差时，确定步骤包括确定在最终跟踪的用户工具 的水平位置上的键为输入。
7. 根据权利要求6所述的方法，至少一个预定的另一信号产生的时刻与用户工具被最 终跟踪的时刻之间的差值不超过预定的允许误差时，进一步包括： 修正步骤，根据至少一个预定的另一信号被检测的时刻，修正垂直阈值。
8. 根据权利要求1所述的方法，当用户工具的水平位置上的键为输入被确定时，进一 步包括： 信号产生步骤，产生用于确认键输入的信号。
9. 根据权利要求8所述的方法，其中，用于确认键输入的信号包括震动、声音以及发光 中的至少一个。
10. -种用于在使用至少一个相机的虚拟键盘上识别键输入的装置，包括： 所述至少一个相机； 用户工具跟踪单元，当用于在使用至少一个相机的虚拟键盘上的键输入的用户工具的 操作被检测时，其跟踪用户工具直至用户工具的垂直坐标上的位置小于或者等于预定的垂 直阈值；以及 键值识别单元，其确定在用户工具跟踪单元中最终跟踪的用户工具的水平位置上的键 为输入。
11. 根据权利要求10所述的装置，进一步包括： 样式识别单元，其识别基于在使用预定的样式识别方法的虚拟键盘上每个键的样式的 位置。
12. 根据权利要求10所述的装置，进一步包括： 阈值初始化单元，其确定垂直坐标上的最低位置作为垂直阈值，所述垂直坐标识别用 于在虚拟键盘上的键输入的用户工具与虚拟键盘的平面接触。
13. 根据权利要求12所述的装置，其中，当用户工具为用户的手时，阈值初始化单元测 量在虚拟键盘上打字的用户指尖的垂直坐标，从而确定最低位置作为垂直阈值。
14. 根据权利要求10所述的装置，其中，当至少一个预定的另一信号与用于键输入的 用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终 跟踪的时刻相同时，键值识别单元确定水平位置上的键为输入。
15. 根据权利要求10所述的装置，其中，当至少一个预定的另一信号与用于键输入的 用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终 跟踪的时刻之间的差值不超过预定的允许误差时，键值识别单元确定最终跟踪的用户工具 的水平位置上的键为输入。
16. 根据权利要求15所述的装置，其中，当至少一个预定的另一信号产生的时刻与用 户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，键值识别单元根据至少一 个预定的另一信号被检测的时刻修正垂直阈值。
17. 根据权利要求10所述的装置，其中，当确定用户工具的水平位置上的键为输入时， 键值识别单元产生用于确认键输入的信号。
18. 根据权利要求17所述的装置，其中，用于确认键输入的信号包括震动、声音以及发 光中的至少一个。
【文档编号】G06F3/02GK104272224SQ201380019732
【公开日】2015年1月7日 申请日期:2013年3月5日 优先权日:2012年4月13日
【发明者】金颖焕, 赵诚仁, 刘烔坤, 金湘勋 申请人:浦项工科大学校产学协力团