摄像机 206接收和分析数据（以及其它感测装置和/或用户接口所传来的数据），并相应地控制显 示器202。另外，从其他数据源所传来的图形数据，视频数据，图象数据，文字数据等可以从 内建式计算机系统204中继到显示器202。
[0063] 该摄像机206安装在例如眼镜的框架或在其它位置。该摄像机206可以以不同的 解析度（resolutions)和/或以不同的帧率（framerate)来拍摄图像。摄像机可为小体 积摄像机，如在移动电话，网络摄像机等等所使用的摄像机，且可并入用户接口系统200。然 而，应当理解，此处所描述的实施例不限于任何特定类型的视频摄像头。除了如图2A所示 般配置单一摄像机206,也可配置多个摄像机，并且各摄像机可以配置为提取相同的景象， 或者捕捉不同的角度/景像，因而可被安装在眼镜的不同区域。该摄像机206可以是一个 二维（2D，twodimensional)摄像机或三维（3D)摄像机。
[0064] 该摄像机206所拍摄的内容可类似用户的视野。其他配置也是可能的。如图2A 所示，摄像机206可安装在眼镜的桥接臂。在其他实施例中，摄像机206可以被安装在眼镜 鼻翼或近用户的前额/眼睛之间。摄像机206可以被定向为与用户的眼睛在相同的方向， 而提取眼镜前面的图像。
[0065] 显示器202的位置和尺寸被设定为使得所显示图像的出现为"浮"在真实世界中 的用户的视图，从而提供了使用者可以感觉到，计算机产生的信息（computer-generated information)可以与实际世界的用户感知合并。这样做，内建式计算机系统204可以分析 由摄像机206提取的影像，以确定应该显示哪些影像和影像的显示方式（例如，在显示器上 的显示位置，所显示的大小等）。
[0066] 传感器208安装在眼镜的桥接臂，然而，该传感器208可以安装在用户接口系统 200的其它区域。此外，另外的传感器可以包括于用户接口系统200。
[0067] 图2B示意图2A中的用户接口系统200的示例操作。在一实施例中，用户可以佩 戴用户接口系统200,如同在戴眼镜一般。图2C示意图2A中的用户接口系统的一个例子。 如图2C所示，虚拟输入图案240可显示在眼镜的显示器202上。
[0068] 虚拟输入图案240可包括QWERTY状键盘241和控制区域242。图案240是从内建 式计算机系统204发送到显示器202。
[0069] 在这个例子中，QWERTY状键盘241可以划分成多个子群组键，每个子群组键对应 到控制区域242的相应区域，依预先确定的对应关系。
[0070] 如图2C所示，QWERTY状键盘241可以划分为9个子群组键。QWERTY状键盘241 和控制区域242的9个区域的子群组键之间的关系，例如，可如键-区域对应表般，如下面 表1。
[0071] 表 1
[0072]
【主权项】
1. 一种接收用户输入方法，包括下列步骤： 显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别 对应到该控制区域的多个区域之一； 从至少一提取图像中提取物件的多个位置，识别该物件的特征点的位置； 决定选取区域，在该控制区域内的所有区域当中，该特征点的位置所在即为该选取区 域； 决定该选取区域所对应的多个键；W及 将该物件的移动解译为对用户接口系统的输入数据。
2. 如权利要求1所述的输入方法，其中依据该些子群组键在该虚拟键盘配置的各自位 置和该些区域在该控制区域的各自位置，将该虚拟键盘配置的各该些子群组键对应到该控 制区域的该些区域之一。
3. 如权利要求1所述的输入方法，其中所述提取该物件的多个位置的步骤包括： 从该至少一提取图像提取用户的多个手指的至少一图像、多个指尖的至少一图像、和/ 或该用户的至少一手的该特征点的图像。
4. 如权利要求1所述的输入方法，其中 该特征点包括用户的至少一手的手背的至少一点，且 该用户的该至少一手的该手背的该至少一点包括该用户的该至少一手的虎口或手背 中也。
5. 如权利要求1所述的输入方法，其中该物件为一或多个手套，其视需要地 (optionally)包括特征点标记与多个指甲型标记物、或该物件为具有或不具有标记的空 手；W及 所述提取该物件的多个位置的步骤包括： 从该至少一提取图像提取出该特征点标记的至少一个位置与该些指甲型标记的多个 位置。
6. 如权利要求1所述的输入方法，进一步包括W下步骤： 显示活性标识符，其围绕着对应到该选取区域的该些键。
7. 如权利要求1所述的输入方法，进一步包括W下步骤： 显示至少一输入结果、追踪信息、及该物件的该至少一提取图像的至少一个。
8. 如权利要求1所述的输入方法，其中该控制区域的该些区域与该虚拟键盘配置的该 些子群组键结合设置，或该控制区域的该些区域的各自位置与该虚拟键盘配置的该些子群 组键的各自位置迭合设置。
9. 一种接收用户输入系统，该系统包括： 显示器，用于显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子 群组键分别对应到该控制区域的多个区域之一； 一或多个传感器，感测物件的移动； 计算系统，禪合到该一或多个传感器和该显示器，该计算系统从至少一提取图像中提 取该物件的多个位置，W识别该物件的特征点的位置，决定选取区域，在该控制区域的该些 区域当中，该特征点所在的位置即为该选取区域，确定对应到该选取区域的多个键，W及将 该物件的该移动解译为对该系统的输入数据。
10. 如权利要求9所述的输入系统，其中该计算系统依据该些子群组键在该虚拟键盘 配置的各自位置和该些区域在该控制区域的各自位置，控制该显示器显示该虚拟键盘配置 的各该些子群组键对应到该控制区域的该些个区域之一。
11. 如权利要求9所述的输入系统，其中该计算系统提取该物件的位置时，从该至少一 提取图像，提取用户的多个手指的至少一图像、多个指尖的至少一图像、及该用户的至少一 手的该特征点的图像的至少一个。
12. 如权利要求9所述的输入系统，其中 该特征点包括该用户的至少一手的手背的至少一点；W及 该用户的至少一手的该手背的该至少一点包括该用户的该至少一手的虎口或手背中 也。
13. 如权利要求9所述的输入系统，其中 该物件为一或多个手套，其视需要地包括特征点标记与多个指甲型标记物、或该物件 为具有或不具有标记的空手；W及 该计算系统从该至少一提取图像提取出该特征点标记的至少一个位置与该些指甲型 标记的多个位置。
14. 如权利要求9所述的输入系统，其中，该计算系统控制该显示器，W显示活性标识 符，其围绕着对应到该选取区域的该些键。
15. 如权利要求9所述的输入系统，其中，该计算系统控制该显示器W显示输入结果、 追踪信息、及该物件的该至少一提取图像的至少一个。
16. 如权利要求9所述的输入系统，其中，该计算系统控制该显示器W显示，该控制区 域的该些区域与该虚拟键盘配置的该些子群组键结合设置，或该控制区域的该些区域的各 自位置与该虚拟键盘配置的该些子群组键的各自位置迭合设置。
17. -种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行包括下列 步骤： 显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别 对应到该控制区域的多个区域之一； 从至少一提取图像中提取物件的多个位置，识别该物件的特征点的位置； 决定选取区域，在该控制区域的多个区域当中，该特征点的位置所在即为该选取区 域； 确定对应到该选取区域的多个键；W及 判断该物件的移动并将其对应到该选取区域的该些键W作为对用户接口系统的输入 数据。
18. 如权利要求17所述的程序存储介质，其所存储的计算机程序用于使该电子装置执 行包括如权利要求2、3、4、5、6、7或8项的方法。
19. 一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子 装置上执行时，提供用户输入接口 W实施如权利要求17或18所述的方法。
【专利摘要】一种接收用户输入的系统与方法及其程序存储介质与程序。该接收用户输入方法，包括下列步骤：显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；从至少一提取图像中提取物件的多个位置，识别该物件的特征点的位置；决定选取区域，在该控制区域内的所有区域当中，该特征点的位置所在即为该选取区域；决定该选取区域所对应的多个键；以及将该物件的移动解译为对用户接口系统的输入数据。
【IPC分类】G06K9-46, G06F3-02
【公开号】CN104679270
【申请号】CN201410527952
【发明人】张明伟, 张家铭, 阙志克
【申请人】财团法人工业技术研究院
【公开日】2015年6月3日
【申请日】2014年10月9日