用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法与流程

对相关申请的交互引用

本申请要求2013年11月1号提交的美国专利申请号为14/070,425和2012年11月1号提交的临时申请号为61/796,056的优先权，其每一个都通过引用被全部合并于此。

本发明设计可穿戴式计算领域。具体地说，本发明涉及用于3d映射、成像、建网、通信和多界面远程控制的设备和方法。

相关技术领域说明

现有的控制设备包括手持式有线x-y位置性输入设备形式的早期鼠标技术，如美国专利号3,541,541中的传感器和空间定位系统，如美国专利号6,005,548中的可穿戴式手、手指和对象空间定位系统，其纳入了手势、语音识别和触摸屏界面连接控制。

现有技术，如美国专利6,647,632，介绍了戴在手腕上的无线控制设备，光发射器和传感器被置于手的内部以确定用户的手和手指的位置，识别预分配的手势和语音命令并将数据中继到受控设备，以及美国专利8,292,833b2介绍了一种手腕戴式手指运动检测装置，其使用监测穿戴者肌腱的光学和超声波信号来识别他们的手和手指的位置和移动并将数据中继到受控设备。美国专利申请2009/0096783a1介绍了一种室内的三维结构成像系统和身体动作和手势界面连接系统，其使用光斑点图案来3d映射被照对象，以及美国专利申请2011/0025827介绍了一种立体深度映射，其使用光投影和三维色彩成像的组合，这两个系统都被限制为从固定的位置深度映射、建模和界面连接。

鼠标和其它手持和可穿戴界面连接设备的一个共同的属性是被定位为控制器是对于远程受控设备和计算系统的外围设备和位置数据输入附件。因此，现有技术下，已知技术有很多问题。

技术实现要素：

机载和远程设备的自主化、智能化、可穿戴的无线手腕装载的计算、显示和控制系统上的光和光学深度映射、三维成像、建模、建网、界面连接的装置和方法以及图形用户界面控制。本发明的实施例通过它的无线多媒体流和多界面显示以及投影系统使人、对象、设备和空间增强到虚拟环境以及使虚拟对象和界面增强到物理世界。

附图说明

图1a是手腕控制器的实施例的立体图。

图1b是图1a中所示实施例的立体图。

图1c是图1a中所示实施例的立体图。

图1d是图1a中所示实施例的俯视图。

图2a是图1a中所示实施例描绘了扩展模块的立体图。

图2b是图1a中所示实施例描绘了分离的扩展模块的立体图。

图2c是图1a中所示实施例描绘了扩展的立体图。

图2d是图1a中所示实施例的扩展模块分离的立体图。

图3a和3b是展示包含一个或多个移动光束的手腕控制器的实施例的立体图。

图3c和3d是描绘包含结构光成像的发明的实施例的立体图。

图3e和3f是展示生成深度和色彩映射手的手腕控制器的立体图。

图3g和3h是展示识别手的关节和皱纹的精确位置的手腕控制器的立体图。

图3i和3j是展示生成手的功能性操纵的手腕控制器的立体图。

图3k和3l是展示将手装备结合进3d映射的手的实施例的立体图。

图4a和4b是展示用户的手和手指被用来组合手势和运动的立体图。

图4c是展示用户使用涉及多个手指的执行和选择手势界面控制功能的立体图。

图4d是展示用户执行和选择涉及一根的手指的手势界面控制功能的立体图。

图4e是展示用户执行和选择涉及用指定的手指触摸手上的被识别点或区域的手势界面控制的立体图。

图4f是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指的手势界面控制的立体图。

图5a是展示在使用单个手指作为控制器的外部联网设备上的2d或3d技术设备的单点控制的立体图。

图5b是展示在使用多个手指作为控制器外部联网设备上的2d或3d计算设备的多点控制的立体图。

图6a是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。

图6b是展示用户执行触摸和手势界面来控制在用户手和手指上的投射的图形用户界面的立体图。

图6c是展示手腕控制器将图形用户界面投影到用户的手和手指的立体图。

图6d是展示用户在投影到用户的手上的键盘输入的立体图。

图7是展示用户通过左手和右手的手腕控制器在映射到外部平面上的被投影的键盘上输入的立体图。

图8a是展示用户界面连接两个联网设备，且使用手腕控制器来将扫描到的物理对象映射、成像和建模至位于外部联网设备上的虚拟计算环境的立体图。

图8b是展示用户操作左手和右手手腕控制器作为两个手势界面控制器来界面连接和操控由手腕控制器扫描和成型并被无线上传到外部联网设备的3d计算机模型的立体图。

图8c是展示用户在外部联网设备上选择文档、文件或程序的立体图。

图8d是展示用户在手腕控制器触摸屏界面上操作和控制3d扫描和建模的对象的立体图。

图9a是展示用户无线地界面连接和控制远程设备和交通工具的立体图。

图9b是展示用户无线地向远程设备发送和从远程设备接收实时声音、数据、视频和多媒体内容的立体图。

图10a和10b是展示的手腕控制器全身扫描、深度映射和成像过程的立体图，该过程中用户执行全身扫描和用户的3d计算机模型被生成。

图10c和10d是展示用户在不同的位置、执行不同的身体动作，使手腕控制器在多个位置映射和成像身体，并分析用户的灵活性和活动性，以更准确地为3d计算模型生成身体操纵并在虚拟计算环境复制用户运动的立体图。

图10e和10f是展示用户的3d映射和成像以及带有衣服的3d计算机模型的立体图。

图11a和11b是从手腕控制器的顶部模块描绘摄像机视图的立体图。

图11c和11d是从手腕控制器的底部模块描绘摄像机视图的立体图。

图12a和12b是从手腕控制器的顶部模块描绘摄像机视图的立体图。

图12c和12d是从手腕控制器的底部模块描绘摄像机视图的立体图。

图13a-13c是展示身体操纵过程的立体图。

图14a和14b是展示在映射物理环境中的用户3d计算机模型的空间地点和位置的立体图。

图15是展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射的立体图。

图16a和16b是展示手腕控制器空间、对象和环境3d光和图像映射过程的立体图。

图17a和17b是用户站在居住生活空间的立体图。

图18是用户和手腕腕控制器为了在居住生活空间中的所有联网设备，识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面选项的俯视图。

图19a和19b是戴着手腕控制器的职业网球选手的立体图。

图20a、20b和20c是职业高尔夫球手映射他的挥杆、球和实时虚拟高尔夫玩家的整个游戏的立体图。

图21是展示职业高尔夫球选手在高尔夫球课程上的立体图。

图22是手腕控制器的原理图。

具体实施方式

装置和方法描述了自主的、智能的可穿戴无线语音、数据和视频通信系统，其结合了机载计算和多界面手腕控制器、远程设备和图形用户界面(gui)控制器。装置和方法还描述了3维(3d)光学手、身体、对象、传感器和环境成像、映射、建模、建网和界面连接。此外，装置和方法描述了将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象和界面增强到物理环境中的。

被描述的装置和方法是在可穿戴计算光学和界面连接方面比现有技术进步，从手、手指、和对象定位到3d扫描、映射、成型、成像、投影和无线界面连接系统均通过一种手腕计算和控制控制器涉及、呈现和操作。

装置和方法被描述为实施光发射器和传感器的组合，传感器包括身体、动作、方向和位置传感器。这些设备和方法可以进一步包括光学、立体或全光透镜阵列以通过在室内或室外，白天或夜晚使用一个或多个深度测量和成像方法动态扫描和成像手、身体、对象和环境来产生深度映像和3d成像模型，以及虚拟计算、界面连接和建网平台。

此外，装置和方法被描述用于在板载和远程设备的在自主的、智能的可穿戴无线手腕计算、显示和控制系统上的移动光与光学深度映射成像、建模、建网和界面连接以及图形用户界面(gui)控制。也描述了通过无线多媒体流和多界面显示和投影系统将真实世界的人、对象和设备增强到虚拟环境和将虚拟对象、界面和环境增强到真实世界。

光映射

本发明的实施例涉及将窄或宽光束的光发射器，或结构光成像系统结合到由用户佩戴的手腕控制器的顶部和底部。在实施方案中，设备扫描手和手指、身体和任何在手上或在光成像系统领域的对象的顶部和底部。

当使用窄或宽的光束发射器和传感器阵列，该发射器阵列可以被分配来在扫描过程中沿着x和y轴网格构造上下和来回移动光束的焦点，然后被分配一固定位置来监测手和手指运动。发射器形成x-y阵列用于检测空间的x和y维度的手和手指，以及传感器检测反射是否存在。在实施例中，深度(z)距离由从目标表面到光传感器的光束反射的三角测量，其要么当光束在运动和对象是静止时，映射目标表面深度；要么或当光束被固定并且被扫描对象是运动时，动态确定被扫描对象的位置。

在使用结构化的光成像系统的实施例中，发射器和扩散器被结合以在手的顶部和底部产生光散斑图案并覆盖周围对象和环境。在实施例中，手腕控制器上的指定照相机传感器识别光散斑图案以及偏离目标平面的每个点的方向反射落在照相机传感器内的不同的像素上，以三角测量光束并确定目标表面的位置、深度和形状。

固定结构光成像系统给投影光图案提供源的连续点，唯一变量是在它的投影域的目标对象的位置、深度和表面形状。手腕控制器介绍了可穿戴式结构光成像系统，其大部分时间处于运动状态。甚至当一个人保持他们的手臂和手稳定，轻微的身体动作可以改变光发射器和投影光图案的位置和方向，并因此改变照相机传感器的位置和视线。

在实施例中，该光映射系统被用于手、身体、对象和环境的初始映射和建模，且被用来为了手势界面连接和控制动态地监视手、手指、身体和对象运动，且被用来在设备登录时立即执行无钥用户验证和授权，以及执行用于支付的即时用户验证和其他与安全的交易和安全有关的功能，如无钥进入家庭和汽车，以及访问独特的用户帐户和设备上的用户特定功能和应用。

位置和方向映射

在实施例中，有必要结合不断的运动、位置和方向数据。当光和光学深度映射和3d色彩映射被执行，手腕控制器的空间位置、定向运动和方向由机载上加速度计、高度计、罗盘和陀螺仪以及全球定位系统和射频(rf)定向信号和位置数据的任何组合获得，来连续识别手腕控制器相机、光发射器和传感器与反射和成像表面的精确相关位置，来在深度和色彩映像中将该数据分配给每个光点和色彩像素。

光映射和成像

在实施例中，深度映射和3d成像通过使用立体或全光多透镜阵列来实现。这些阵列使得手腕控制器的顶部和底部的模块能够动态捕捉手、身体、周围对象和环境的3d或4d多视野深度色彩成像。

在实施方案中，当结合一个或多个立体透镜阵列时，手腕控制器通过确定场景中的两个或多个焦点的深度，以及通过将一个图像的点和特征匹配到在其它图像中的相应点和特征确定在其他图像中的相应的点的深度，来执行立体三角。为了克服相应的问题，立体成像系统可以选择结合光成像系统来将一个或多个光点投射到投射到目标表面上，从而使成像系统验证在图像中的精确对应点。一旦相应点已经确定，该成像系统便确定场景中的所有其他的点的聚焦深度。

在实施例中，当结合光域全光微透镜阵列时，手腕控制器同时捕捉多个视野深度。尽管立体透镜阵列被限制为两个或多个的单独透镜阵列和传感器，每个从单个视野深度捕捉光线和色彩，使得相应的图像分析在两个或更多个图像中匹配点，全光微透镜阵列分配多个透镜到单个传感器并捕获来自整个视野的光和色，而每个透镜捕获不同的视野深度，从而使照像机将深度分配给捕获图像中的所有点。

在实施例中，该光成像系统被用于手、身体、对象和环境的初始成像、深度和色彩映射以及建模，且被用来动态地成像手势和投射界面连接的手、手指、身体和对象运动，且被用来执行用户验证和授权，以及其他与安全有关的功能，以及在2d和3d或4d视频中捕获视频和实时流用户活动并执行其他成像应用。

建模和操纵

光扫描和三维成像对象后，相应的深度映像被转换为点云，具有相应矢量的顶点映像，在其中每个点被分配一个x、y和z(深度)坐标。该过程将由光扫描过程或对象3d成像产生的灰度深度映像变成顶点，在其中每个点或图像的像素被识别为x、y和z坐标，其可以被转换成公制单位。

在实施例中，当光扫描深度映像通过识别每个表面点的精确深度和方向位置被转换为顶点和矢量映像时，色彩映射过程被启用，其中相应的深度映射颜色像素被分配给在三维顶点和矢量映像上的每个点。这种方法将点云转换成网状，在其中邻接表面上的点被连接并确定，例如，一个手指在另一个后面，并且它们不是单个表面。该网格跟随3d映射对象的表面形状、纹理和轮廓。

将人的手或身体的表面网格和3d映像转换成成一个功能角色模型，其可以被设置来映出穿戴者的动作，结合了一系列映射人的关节并将关节位置分配到3d模型上的匹配区域，以及产生类似于人体内的骨架结构的内部模型操纵的过程。接着将操纵添加到3d网格和模型，将影响区域分配到3d模型的网格和平面，其类似于肌肉和肌腱对身体运动和皮肤的影响。

在实施例中，当现有的功能角色操纵存在，而不是为每一个新模型生成装备时，现有的装备被缩放并符合所映射的人的尺寸、形状和身体特征。这可以基于被映射的人的身体类型、性别、尺寸、重量、年龄、健康、健身、活动性和其他参数来结合用于确定身体柔韧性和运动的程序，以更准确地符合装备和模型，从而模仿人的自然身体运动和活动性。

在三维光映像和成像过程中，手腕控制器可以提示穿戴者执行大量的手和身体的运动、手势和位置以识别该人的关节、骨骼结构和活动性。可能需要捕获人的多个三维扫描和成像，然后调整该操纵来复制精确的身体结构和活动性。

传感器映射与界面连接

在实施例中，手腕控制器被用来连续地实时映射全身运动，并将外部传感器结合到它的三维映射和界面连接系统。这包括身体、衣服和远程无线设备传感器。通过将微传感器附着到在每个肢体和关节的身体或衣服上，或与在衣服、鞋子和设备中的嵌入式传感器进行联网，手腕控制器可以识别一个或多个无线传感器的空间位置，并将这些传感器分配到人、设备和环境的映射的三维模型。

在实施例中，手腕控制器可以使用用于本地和远程传感器和设备界面连接和控制的一个联网方法或联网方法的组合，其包括射频(rf)、光/红外、近场通信(nfc)、蓝牙、wifi和蜂窝网络。该传感器网络使得通过手腕控制器发送和接收数据用于远程传感器的无线操作和控制，以及网络数据的动态映射、界面连接和流动和映射数据的机载或远程存储。

在实施例中，当手腕控制器作为无线传感器网络(wsn)的传感器集成器操作时，手腕控制器直接或通过网状网络与每个传感器联网，其中每个传感器作为一个节点操作，不仅捕获并发送数据，而且充当继电器将数据传递到网络中的其他节点。

在实施例中，当通过识别每个关节或身体部分的三维位置、速度和加速度来监测身体运动时，一个完整的直角坐标三维模型可以在数学上用距离坐标x，y和z速度坐标vx，vy，和vz以及加速度坐标ax，ay，和az来描述，来计算运动中的对象的未来位置。一旦手腕控制器识别并联网独立传感器或网状传感器组，手腕控制器便能够将传感器的精确位置映射在3d角色模型上。该过程使手腕控制器能够捕获全身运动和加速度作为连续的数据流，并将该数据分配给穿戴者的3d操纵的虚拟模型，以在虚拟环境中提供身体和全身界面连接的实时动画。

在实施例中，当手腕控制器被用于映射内部身体解剖结构和与内部体传感器、设备和假肢界面连接时，该手腕控制器结合映射、建模、联网内部身体和与内部身体界面连接的类似方法，如其和外部机构一样。在实施例中，当手腕控制器使用光和光学映射和外部传感器映射外部机构时，手腕控制器也进行内部映射，其结合了手腕控制器的机载健康和身体传感器，然后扩展到所有联网的内部身体传感器，包括摄入和植入传感器、设备、假肢和任何身体或大脑机器界面连接系统。

在实施例中，手腕控制器结合了机载身体健康和健身传感器，包括顶部和底部模块手腕朝向红外(ir)光谱和脉搏血氧仪、心脏监测仪、温度计、电响应系统、脑电图(eeg)、心电图(ecg)、肌电信号(emg)和血糖仪。

投影映射和界面连接

在实施例中，结合用于将图像投影到外部表面上的微型投影仪，，该光和图像映射系统和方向系统被用于深度映射表面，动态地映射手和手指的空间位置和手腕控制器和投影仪的相对位置到目标平面。这些过程使得手腕控制器将投影显示和图形用户界面映射到任何表面。该光和光学映射系统也被用来动态地监视手和手指的运动和手势，使得用户能够执行触摸和手势界面连接来控制被投影的界面。

进一步的的实施例包括动态触摸屏显示、麦克风、扬声器、触觉反馈(触觉)传感器阵列以及前置摄像头。这些实施例通过机载图形用户界面实现了触摸、语音和手势界面和语音命令、视频会议和动态触摸屏显示。

在实施例中，手腕控制器结合了触摸屏显示器、一个或多个麦克风、扬声器和触觉反馈(触觉)传感器阵列。这些实施例为用户提供了触摸、语音和手势界面连接选项，使得用户能够在手腕控制器或者一个或多个联网设备上选择显示图形用户界面和与图形用户界面界面连接的最有效方法。

在实施例中，用户可以将特定用户界面，如语言命令或者手势界面连接映射或分配到特定的功能、应用或设备。例如，如果用户正在使用手腕控制器来与个人计算机和电视机进行界面连接，用户可以在计算机上使用手势和触摸时，将语音命令分配给电视。

在实施例中，手腕控制器在手腕单元的顶部和底部的内侧结合触觉传感器条和/或触觉传感器上的环。手腕控制器给微小的手指、手、手腕和身体动作产生非常复杂的位置、振动和压力响应。触觉响应也可以被结合到手势命令、触摸屏、设备控制和其他用户界面应用中以在投影键盘上模拟按钮，或在虚拟2d或3d环境中给对象和/或应用选择和控制提供触觉更真实的响应。触觉响应系统也可以用于指示呼入或呼出电话、短信或其他事件、对于被识别对象和人的位置和/或相关距离，或任何其他被分配上下文应用、报警或被监测的健康状况事件，如，当他们的心脏速率上升到高于指定速率的水平或葡萄糖水平高于或低于一个指定的水平时提醒使用者，或告知使用者潜在的到来的癫痫发作。不同类型的振动和/或电刺激的响应可被产生并分配给不同的呼叫者、事件和应用。

设备映射和界面连接

在实施例中，手腕控制器能够流动在设备上存储和播放的内容，或向手腕控制器从英特网向一个或多个联网设备的屏幕流出，和/或从联网电视、游戏机、pc或其他联网设备将多媒体内容向一个或多个其他设备或显示器流出。该对等网络、内容管理、分发和流可使用许多不同的无线网络来实现。其中一些包括wifi、蓝牙、蜂窝、红外/光、射频(rf)和用于快速支付和交易的nfc。一种用于连接在其视野内的所有显示器和设备的方法是通过一个单一的wifi对等网络，其中每个设备通过作为一个独立的wifi热点和路由器操作的多渠道wifi直接连接平台无线地连接，手腕控制器用一个或多个无线和/或因特网启用设备创建了一个特别的对等网络，并作为远程可穿戴视频游戏和计算控制器和无线集线器操作。该手腕控制器也可以使用网络的任意组合来与一个或多个设备通信。

在实施例中，手腕控制器基于室内的显示器位置和显示器与手腕控制器和用户的关系，跨多个联网设备和监视器管理内容。手腕控制器能够使用多种方法、网络和信道连接多个设备。

附图实施例详述

图1a是手腕控制器101的一种实施例的立体图，描绘了顶部手腕模块102和底部手腕模块103，其作为设备的内部组件的壳体模块。该手腕模块与可调腕带104连接，在实施例中，其包含在两个手腕模块之间的通信电缆。该设备还具有腕带释放和锁定系统105、前置光发射器106和传感器107以及多相机透镜阵列108。图1a展示了底部模块体传感器的内部视图，包括光发射器和传感器109、皮电反应系统(gsr)110、以及触觉反馈阵列(触觉阵列)111、显示器114的局部视图、麦克风115、扬声器116和顶置相机117。

图1b是图1a中所示实施例的立体图，描绘了顶部模块102体传感器的视图，包括光发射器和传感器109、gsr110和触觉阵列111。

图1c是图1a中所示实施例的立体图，描绘了后置光发射器106和传感器107、后置多照相机镜头阵列108、电源和数据端口112和对接端口113的俯视图。

图1d是图1a中所示实施例的俯视图，描绘了显示屏114、麦克风115、扬声器116和前置摄像头117。

图2a是图1a中所示实施例的立体图，描绘了具有显示器202和释放按钮203的扩展模块201，其附连到手腕控制器101的顶部模块102。这个扩展模块可以作为用于设备的附加功率和数据存储、处理和/或通信系统和/或扩展显示器和界面连接系统，并且也可以执行扩展的服务，例如在血糖仪或其它应用中的插件。

图2b是图1a中所示实施例的立体图，其描绘了具有释放按钮对接片204和电源以及数据插头204的分离扩展模块201，以及在顶部模块102的后部上的和按钮阵列206。

图2c是图1a中所示实施例的立体图，描绘了扩展模块201附连到底部模块103。

图2d是图1a中所示实施例的立体图，扩展模块201从底部模块103分离。

图3a-3l是立体图，其展示了手腕控制器101执行深度映射和3d成像手和手指301，识别关节，然后操纵手的完全功能计算机模型(手模型)307。

图3a和3b是展示手腕控制器101的一种实施例的立体图，其如深度映射的方法一样结合一个或多个移动光束302，执行手和手指301的顶部和底部的光扫描。当光束302垂直和水平移动穿过手和手指301的两侧的表面，三角由手腕控制器101光发射器104和传感器106确定。

图3c和3d是立体图，描绘了发明的另一种实施例，其通过用斑点光图案照亮手和手指301的顶部和底部，将结构光成像303结合到深度映射过程以一次光映射303整个手301。

图3e和3f是立体图，展示手腕控制器101生成深度和色彩映射手304，执行使用3d摄像机108的光映射和成像的组合或执行使用在手腕控制器101的顶部模块和底部上的全光多透镜阵列照相机108四维成像。

图3g和3h是立体图，展示了手腕控制器101识别在手和手指301的顶部和底部上的关节和皱纹305的精确位置，其目的在于产生用于3d映射手304的装备。

图3i和3j是立体图，展示了手腕控制器101从顶部和底部角度生成手的功能性操纵(手装备)306。

图3k和3l是立体图，展示发明将手装备306结合进3d映射手304来创建手的完全功能操纵计算机模型(手模型)307，其能够实时地动画和复制用户手和手指301的运动。

图4a-4f和图5a和5b是立体图，展示了本发明的一个应用，其中用户执行并选择不同的手势的控制功能。手腕控制器101将这些控制分配给手模型307，其被用来在二维或三维计算环境中，执行用户手势输入和命令。图4a-4f和图5a和5b仅表示对于潜在的无限的定制界面编程系统的手势界面连接控制选项的几个例子。

图4a和4b是立体图，展示用户的手和手指301被用来组合手势(做出拳头)和运动(转向和移动手腕)以分配一个定制手势界面控制功能。该手势被手腕控制器101映射和记录。

图4c是立体图，展示用户使用执行和选择手势界面输入和控制功能，其涉及多个手指301。

图4d是立体图，展示用户执行和选择手势界面控制功能，其涉及一根指头301。

图4e是展示用户执行和选择涉及用指定的手指触摸手301上的被识别点或区域的手势界面控制的立体图。

图4f是展示用户执行和选择涉及用指定的手指触摸另一个指定的手指301的手势界面控制的立体图。

图5a是展示在外部联网设备802上的用于2d或3d的单点控制使用单个手指作为控制器301的立体图。

图5b是展示在外部联网设备802上的用于2d或3d的多点控制使用多个手指作为控制器301的立体图。

图6a是展示手腕控制器101将图形用户界面601投影到用户的手和手指301上的立体图。该被投影界面用光映射和3d成像系统被映射到手上。

图6b是展示用户执行触摸和手势界面连接来控制在用户手和手指301上的被投射的图形用户界面601的立体图。

图6c是展示手腕控制器101将图形用户界面601投影到用户的手和手指的立体图。在图6c中，用户展开了他们的手和手指，且被投射界面动态地与手和手指301的新位置一致。用户选择在手腕控制器101上运行或通过网络连接远程运行的代表主动程序或应用的被投影图标的一个。

图6d是展示用户在用户的手301上的被投影的键盘601上进行输入的立体图。

图7是展示用户通过左手和右手手腕控制器101在映射到外部平面上的投影键盘701上进行输入的立体图。图7描绘了具有协调双投影界面的实施例，其中左手和右手手腕控制器在投影表面上映射和投影动态界面中协作地运作。图7描绘了用户在投影键盘上输入文档，其被显示在外部设备803上。左手和右手手腕控制器要么作为单个输入设备并将数据无线中继到控制设备803，或者手腕控制器101作为主操作和控制设备并将数据流到远程显示器803。

图8a-8d和9a和9b是立体图，其描绘了手腕控制器无线地与外部设备界面连接。在各图中，手腕控制器101被显示在两个手腕上，虽然一对控制器可作为单个设备或设备对操作，每个手腕控制器101还可以自主操作，并且不需要第二控制器执行双手手势界面控制。单个手腕控制器101能够为双手界面近距离监测第二只手，或者与第二手腕控制器101协作地操作以启用扩展功能，如多功能两手控制、双投影、扩粘网络、处理、界面连接、电源和数据存储。

图8a是展示用户与两个联网设备界面连接，且使用手腕控制器101来将扫描到的物理对象映射、成像和建模至位于外部联网设备802上的虚拟计算环境的立体图。

图8b是展示用户操作左手和右手手腕控制器101作为两个手势界面控制器来界面连接和操控由手腕控制器101扫描和建模并被无线上传到外部联网设备802的3d计算机模型的立体图。

图8c是立体图，展示用户在外部联网设备802上选择文档、文件或程序，并以手势、语音或其他用户界面命令使用手腕控制器作为两个网络设备之间的数据桥无线传输文件、文档或程序到第二网络设备803。

图8d是展示用户在手腕控制器101触摸屏界面上操作和控制3d扫描和建模的对象的立体图。

图9a是立体图，展示用户使用广域或本地区域的对等无线网络或通过互联网使用广域或本地区域的互联网连接无线地界面连接和控制远程设备和交通工具901。

图9b是立体图，展示用户无线地向远程设备发送和从远程设备901接收实时声音、数据、视频和多媒体内容，将3d中的数据和多媒体内容流向左显示器904、右显示器903和双目平视显示器902。

图10a和10b是展示手腕控制器101全身扫描、深度映射和成像过程的立体图，在其中用户1001执行身体扫描且用户的3d计算机模型1002被生成。

图10c和10d是立体图，展示用户在不同的位置且执行不同的身体动作，使手腕控制器101能在多个位置映射和成像身体1002，并分析用户的灵活性和活动性，以更准确地为3d计算机模型生成身体操纵并在虚拟计算环境复制用户运动。

图10e和10f是立体图，展示用户1001的3d映射和成像以及带有衣服的3d计算机模型1003。这可以通过光映射和3d成像用户1001的物理服装或通过将虚拟服装映射到在计算环境中的三维模型1003被实现。

图11a-11d是立体图，展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程，图11a和11b描绘了从顶部模块的照相机视图，图11c和11d描绘了从底部模块103的照相机视图。手腕控制器101没有在图11a-11d中示出，因为图描述了照相机的视角。

图12a-12d是立体图，展示从每个手腕控制器101的身体朝向照相机108的视角的身体映射与成像过程，图12a和12b描绘了从顶部模块102的照相机视图，图12c和12d描绘了从底部模块103的照相机视图。在图12a-12d中，用户的胳膊和手都伸出高于用户头的位置，使照相机能够扫描使用者身体的不同部位。

图13a-13c是展示身体操纵过程的立体图，图13a展示了用户1002深度和色彩映射的模型的表面网格。图13b展示了完整身体角色操纵(装备)，其符合用户1002的映射计算机模型精确尺寸和特征。图13c展示了角色装备的结合。

图14a和14b是立体图，展示在映射物理环境1301中的用户1001和用户3d计算机模型1002的空间地点和位置，其在3d身体映射和成像过程中被识别和成像。

图15是立体图，展示用户的解剖结构和联网的传感器、植入设备和假肢的虚拟内部身体映射1201，所有都通过手腕控制器101被映射和无线地控制。在图15中，手腕控制器101使用机载的、外部的、被植入的或摄入的联网的身体传感器来映射每个的用户身体系统；神经系统1202、内分泌系统1203、骨骼系统1207、肌肉系统1208、外皮系统1209、心血管系统1210、呼吸系统1211、淋巴系统1212、消化系统1213、泌尿系统1214、生殖系统1215。该手腕控制器101还与所有内部数据和多媒体界面连接系统进行联网和界面连接，在图15中被描绘为脑机界面(bmi)1204，假肢在图15中被描绘为义眼1205，以及其他植入设备在图15中被描绘为起搏器1206。

图16a和16b是展示手腕控制器101空间、对象和环境3d光和图像映射过程的立体图，其在图16a和16b中被示为居住生活空间1301。图16a描绘用户10013d映射和成像生活和就餐部分1306，而图16b描绘用户1001成像居住生活空间1301的厨房部分1304。

图17a和17b是用户站在居住生活空间1301中的立体图。图17a展示了用户站在物理居住生活空间1301中，提供了潜在的3d映射环境的例子。图17b展示了3d映射用户1003和环境1302的俯视立体图，所有映射的人、物、设备和环境的都安全地存储在手腕控制器上，或无线上传到在因特网上或其它网络或数据库上的用户授权的帐户。

图18是用户1001和手腕腕控制器101为了在居住生活空间1301中的所有联网设备，识别和映射位置、设备类型、功能和应用、数据、电源和其他系统规格和可用的网络和界面连接选项的俯视图。

图19a和19b是一个职业网球选手戴着手腕控制器101、在真正的室外网球场1404打网球的的立体图，而用户1001实时地在用户1001电视机或其它显示器1405上的虚拟游戏环境里，通过尝试由网球运动员击回网球1403，正在家里测试他的技能。

图20a-20c是职业高尔夫球手1501映射他的挥杆、球1504和实时虚拟高尔夫玩家的整个游戏的立体图。图20a是立体图，展示了一个专业的高尔夫球手在向高尔夫球1504挥杆。高尔夫球手将传感器置于他的衣服和鞋子1502和设备1503之上或嵌入他的衣服和鞋子1502和设备1503，使得手腕控制器101能够在挥杆过程中映射高尔夫球手的身体运动的每一个细节。

图21是立体图，展示职业高尔夫球选手1501在高尔夫球课程上映射他的挥杆，以及在手腕控制器101上远程映射和监测传感器启用的联网高尔夫球的高度、速度、轨迹、着陆和静止位置。

图22是设想作为手腕控制器设备的一部分的各种部件连接的示意图。

尽管本发明参考优选实施例在本说明书中被描述，本领域技术人员将会理解，其他的应用在不偏离本发明的精神和范围下，可以替代本说明书中描述的应用。相应地，本发明只应由以下所包括的权利要求来限制。