智能无线鼠标的制作方法与工艺

智能无线鼠标本发明涉及能够向电子装置传送命令的人机界面。更具体而言，它能够利用智能移动装置上越来越普遍的人机工程学，将未专门为此目的设计的不同类型的智能移动装置临时变成完全像无线鼠标和/或遥控器那样使用的特定装置。智能移动装置包括个人数字助理、智能手机，尤其是i-PhonesTM，还包括i-TouchTM、i-PadTM和可能其它一些多媒体存储和再现装置。这些装置通常现在包括运动传感器（加速度计，可能还有陀螺仪和/或磁力计）、定位传感器（GPS接收机）、数字摄像头、蓝牙和/或Wifi连接、触摸屏、本地处理功能等。这种装置的使用在一些专业人士和很多的普通大众中已经变得非常普遍并且应用也非常频繁。用户们通常始终会随身携带着他们的智能移动装置。通过从应用程序商店里面下载代码到所述装置上，他们可以访问几乎无限量的应用程序和内容。这些应用程序中的一些利用智能移动装置的动作和/或位置捕获能力，不过，到目前为止，他们还没有发展到允许这些智能移动装置的用户摆脱他们需要为特定目的而使用的其他装置，例如外接鼠标，以替代他们的便携式计算机的触摸板鼠标，这样除了他们的智能移动装置，他们可以避免再随身带着这样的外接鼠标。此外，当在家的时候，同样的专业人员必须使用至少一个与其电视演播室之间的其他界面（更有可能的是，他将必须使用至少两个，一个用于电视本身，一个用于机顶盒）。所有这些接口都有自己的重量、功耗、人机工程学、软件配置、供应商等。PC鼠标通常用在桌子表面上，不能与电视机和电视遥控器一起使用，通常可以在自由空间移动的电视遥控器也不能与PC一起使用。因此需要一种通用的人机界面，它可以用作所有类型电子设备的远程命令，将用于智能移动装置提供的所有可能性。一些装置已经发展到这种效果，但他们未能实现集成的表面和自由空间控制模式。他们还不能充分利用当前传感器的能力和一些现在已经应用在智能移动装置上的新特征。本发明克服了这些局限。为此目的，本发明提供了一种手持装置，包括至少一个运动传感器和触摸屏，所述装置能够从所述传感器向包括运动信号处理能力的主机装置传送信号，其中所述手持装置的所述触摸屏包括若干触摸区域，用于根据用户的选择，利用所述手持装置在表面上或自由空间中的运动，控制运行于所述主机装置上的至少一项应用程序。本发明还提供了一种使用所述手持装置的方法和计算机程序。在优选实施例中，智能移动装置至少包括双轴陀螺仪，其允许精确定点、识别用户的手势。在各实施例中，触摸区模拟鼠标的通常的按钮（左、右、滚轮）。更具体而言，由一个区域来模拟滚轮，该区域可以扩展到触摸屏的整个表面。而且，可以使用触摸区之一将2D鼠标变换成3D鼠标或遥控器，其能够直接控制主机装置显示器上光标的运动或传送关于手持装置的用户做出的手势的信息，该信息然后被主机装置解释为若干预设功能的命令。此外，可以使手持装置屏幕上触摸区取决于运行于主机装置前台中的应用程序，这为本发明的装置提供了大量通用性。从各实施例以及以下附图的描述，将更好地理解本发明，其各种特征和优点将变得显而易见。-图1表示实施本发明的功能体系结构；-图2显示了根据本发明各种实施例的模拟鼠标按键的手持装置的屏幕的触摸区域；-图3a到3c显示了根据本发明各种实施例的模拟鼠标滚轮的手持装置的屏幕的触摸区域的不同视图；-图4a和4b表示根据本发明各实施例的触摸屏上激活和没激活触摸键盘的手持装置；-图5a到5c代表根据本发明各种实施例的在不用的应用上下文下本发明手持装置触摸屏的三个不同视图；-图6a到6c代表根据本发明各种实施例的本发明手持装置触摸屏的三个不同视图以例示装置的3D模式；以及-图7显示了具有在特定上下文中滑动手势的含义的帮助屏。图1表示实现本发明的功能架构。根据本发明，智能移动装置101是用来控制运行于主机装置102上的应用程序的，其具有显示器1021，在其上可以通过在图标上或在文本滚动列表中指向/点击来使用光标选择应用程序/功能。也可以通过用户预定的手势控制应用程序，这将会在下文结合图6a到6c的描述中进一步解释。智能移动装置一般具有触摸屏1011。智能移动装置可以是智能手机，例如i-PhoneTM。在这种情况下，用户可以从AppStoreTM下载用于实施本发明的软件应用程序套件，以作为软件部件1012安装在装置101上。但是也可以从任何的储存介质将应用程序复制到装置上。本发明可以在任何类型的智能移动装置上实施，条件是所述装置具有触摸屏和至少一个运动传感器1013，以测量智能移动装置在空间中的运动。运动传感器1013优选是惯性传感器，如加速度计或者陀螺仪，但也可以是磁力计。至少沿着两个轴测量运动。微机电系统（MEMS）传感器越来越普遍，成本也越来越低。2轴陀螺仪，用于测量俯仰角（或者高度，即，垂直平面中的定点装置101与水平平面之间的角度）和偏航角（或者方位，即，水平平面中的定点装置101与垂直平面之间的角度）和2轴加速度计，用于校正来自（通常是在其手腕附近握持装置的用户的手的）滚转运动的这些测量值，这些都是有用的。智能移动装置101在平面（2D）或在自由空间（3D）中的运动然后可以被转换成主机装置102屏幕上光标的位置。而且，如说明书中下面将进一步解释的，也可以向智能移动装置101中输入命令信号，用于控制主机装置102的功能，通过点击图标或者列表里面的文本，在光标的所述位置执行这些功能。使用RF载波（蓝牙或者WiFi）或使用有线连接将来自传感器的运动信号和输入智能移动装置的命令信号传送到主机装置102，优选传送到主机装置的USB端口。主机装置102可以是个人计算机（台式机或者笔记本）或与TV屏幕1021连接的机顶盒。主机装置将运行应用程序1023，例如多媒体应用程序（看广播或有线电视或视频电影、听广播或音乐…）、浏览因特网、处理电子邮件、提供演示等。它还将配备特定的软件1022，适于实施本发明。这样的软件是由MoveaTM提供的MotionTools。MotionTools包括处理动作与命令信号以及映射运动和控制的例程，他们向主机装置上的应用程序的位置和执行提供这些运动和控制。可以由用户通过图形用户界面（GUI）预先编制要控制的应用。MotionTools是兼容所有Movea周边设备和鼠标的配套软件。它为用户提供一套当处于无线状态时可以充分利用鼠标的工具。当远离屏幕的时候，用户可以用MotionTools把画面放大。当远离键盘时，用户可以在大多数情况下省去输入并最终能够用一个点击显示屏幕键盘。MotionTools允许用户将任何动作（缩放、屏幕绘图工具…）关联到任何鼠标事件（点击按钮、鼠标运动）。MotionTools可以处理的应用程序分成类别或者“上下文”：-“General”：非特定上下文（磁盘导航，或者在其他上下文中没有列出的每种其他应用程序）；-“Internet”：代表网络浏览应用（FirefoxTM、GoogleChromeTM、SafariTM、InternetExplorerTM，…）；-“Multimedia”：代表安装在主机装置102上的媒体播放器，例如WindowsMediaCenterTM、iTunesTM，…-“Presentation”：代表文档演示软件，如PowerpointTM，KeynotesTM，…可以添加其他的上下文。智能移动装置101配备了一些额外的媒体按钮，可以生成识别的手势事件。用户可以充分对MotionTools进行配置。定义执行配置的概况文件。用户可以通过用户友好的GUI在这些概况文件中保存与特定鼠标输入关联的动作列表或针对每种上下文的手势事件。图2显示根据本发明各种实施例模拟鼠标的按钮的手持装置屏幕的触摸区域。利用智能移动装置101的标准命令按钮/图标激活本发明的虚拟鼠标，在装置上已经安装了本发明的应用程序。根据本发明的智能移动装置101的触摸屏被分为4个主要区域：-左边区域包括图标（201，202，203，204，205），用来显示或控制改变不是很频繁的特征；-上方区域显示智能移动装置系统功能的状态（206）；-中心区域显示一个鼠标，其左右按钮（207）用于输入点击命令，滚轮（208）和特定按钮（209）用于当主机装置在3D控制模式时控制主机装置屏幕上的光标运动，并触发激活手势识别模式；-下方区域显示图标（20A），以根据在MotionTools中编制的上下文控制执行在主机装置102上的应用程序。图标201和20A依赖于上下文：他们随着在主机装置前景（foreground）中执行的应用程序变化。可以在MotionTools中编制出现在左边的图标。202区域允许显示更多的图标。图标203命令在智能移动装置的下方区域中显示键盘，如下文结合图4a和4b进一步所述。图标204允许访问装置的设置。图标205允许访问帮助功能。虚拟鼠标207、208、209允许输入与可以利用物理鼠标输入的相同命令，无论这个鼠标是用在2D模式还是3D模式中。这个虚拟鼠标可以取代额外的物理鼠标，如果他不想在旅行的时候带着笔记本计算机的按键或触摸板鼠标，用户能够将其丢弃。这是有利的，因为智能移动装置可以通过USB连接插入笔记本计算机中，在同时充当鼠标的时候为其电池充电。将虚拟鼠标的设计定义为适于用户通常手持智能移动装置的方式。可以提供若干不同的设计以适合特定的用户要求（例如左撇子用户），在设置中做出所需的设计的选择。由左右按钮（207）执行的功能通常和经典鼠标相同（选择和上下文菜单）。下文将在结合图3a，3b和3c的描述中进一步解释滚轮208的操作。在下文中将在结合图6a，6b和6c的描述中进一步解释控制按钮209的操作。图3a到3c显示根据本发明各实施例模拟鼠标滚轮的手持装置的屏幕的触摸区域的不同视图。图3a是在默认/静止模式（例如图2中显示的）下本发明智能移动装置的屏幕视图。在与所显示的一般上下文不同的应用上下文之内，可能是相同的情况。图3b展示了一种情况：用户用手指触摸图2的虚拟鼠标的触摸区208，就像他对物理鼠标的滚轮所做的那样。在所述区域中显示第一箭头以确认滚轮在工作。图3c代表第二箭头，这个箭头在十分之几秒之内就会代替第一箭头标记方向，用户必须沿该方向滑动其手指以控制当前活动的应用在主机装置中的滚动。当用户的手指从触摸屏上拿开的时候，滚动功能就会去活。当处于默认/静止模式时，智能移动装置将会返回到图3a。图4a和4b表示根据本发明各实施例的触摸屏上有或没有触摸键盘被激活的手持装置。在智能移动装置上激活键盘的标准模式是在应该输入文本的区域上轻敲。在本发明的上下文中，希望能够更简单地通过轻敲图标401b激活键盘。虚拟键盘402b将被显示在智能移动装置的触摸屏的下方触摸区域上。然而，虚拟键盘被显示时占据的地方被界定为它不怀疑控制按钮209上的任何动作。同时，左边的键盘图标被向屏幕上方推动，使得仍然可见。当键盘活动时再轻敲图标401b会让它消失。也可以编写鼠标命令的程序，使得当用户点击屏幕1021上的文本输入区域时，可以激活键盘402b。图5a到5c代表根据本发明的各种实施例的在不同应用程序上下文中本发明的手持装置的触摸屏的三个不同视图。使用MotionTools，可以添加更多的上下文。图5a是在默认/静止的模式中本发明的智能移动装置屏幕的视图（如图2所示）。图标501a示出了主机装置102上活动的上下文是General上下文。简单地，作为非限制范例，图标502a代表一般上下文中三个可用的功能：-“Stamp”功能允许用户在主机装置102的屏幕上持久显示若干图像，同时其他应用作为前景过程运行；可以编程控制滚轮，使得在邮票模式下，滚动将允许从一个邮票图像变为另一个；-“e-mail”图标用于启动安装在主机装置上的默认电子邮件应用程序；-“Close”图标用于退出目前在主机装置前景中活动的应用程序。通过在下方区域中向左/向右滑动手指，可以访问超过3个按钮；通过这种简单方式，能够访问很多其他功能。这些通用功能可以归为几类（例如，“Display”、“Launch”、“Edition”、“DocBrowser”）。这例示了本发明的优势，相比于遥控器，确实给用户提供更多对无线鼠标的使用，可以利用用户能够自己定制的命令组合，以非常灵活和直观的方式，使用智能无线鼠标控制主机装置的所有功能。图5b代表Presentation上下文，具有图标501b和图标502b，图标501b提醒用户在主机装置的前景中哪一个是活动的，它们是本上下文特有图标（“LaunchSlideShow”、“NextSlide”、“PreviousSlide”）中的两个。图5c代表“Media”上下文，也有作为上下文提示的图标501c和图标502c，它们是分别命令执行“Play/Pause”、“NextTrack”和“Volume/Mute”的按钮。图6a到6c根据本发明的各种实施例，示出了本发明的手持装置触摸屏的三个不同视图，以例示该装置的3D模式。按钮209用于控制虚拟鼠标的两种特定功能。首先，在激活3D模式时，使用这个按钮控制主机装置屏幕上的光标。本发明的虚拟鼠标可以在2D模式中运行（装置在x，y平面中的经典定位），或者在3D模式下运行，其中装置的俯仰（对应于偏航）运动被映射到屏幕1021上光标的垂直（对应于水平）运动。当装置位于表面上时，装置照相机的光学传感器（优选在装置的背面）将检测到该装置的放置位置，并可以使2D模式自动运转。在平面中测量dx、dy优选与利用光学传感器的光学鼠标相同。当装置被从桌子或者桌面上拿走且用户触摸ctrl按钮的时候，3D模式就会被激活。光标将在智能移动装置101的控制下，同时用户将在触摸区域209上接触。那么，光标的运动将由装置101偏航和俯仰角度决定，如上所述，可能要针对用户所有的意外滚转运动加以校正。当用户把他的手指离开按钮209时，光标就会停止运动。或者，可以编程控制虚拟鼠标的控制，使得一旦按钮209被轻敲两次，光标控制功能就持久活动（单次轻敲触发去活）。按钮209还用于触发特定的手势识别模式。当用户轻敲触摸区域209时，将出现水平的彩色条。沿着这个条滑动手指（优选拇指）将激活手势识别模式并且当拇指接触触摸屏时将把装置锁定在这个模式中。一旦拇指离开这个按钮，就会解锁手势识别模式。将滑动映射到的命令，使这些命令是取决于上下文，如下文结合图7所述。也可以识别更复杂的手势，如数字、字母或任何类型的符号。为确保没有太多的假阳性或假阴性，必须要包括有参考手势类别的数据库，使用例如动态时间规整或者隐马尔可夫模型将手势与参考手势比较以进行识别。运动矢量的简单处理将允许以足够的可靠性侦查滑动。也可以将智能移动装置的滚转和/或俯仰和/或偏航角度转换为虚拟按钮的旋转和/或主机装置屏幕上滑块的线性运动。图7显示了帮助屏幕，具有特定上下文中滑动手势的含义。可以使滑动的含义取决于主机装置前景中运行的上下文。在因特网浏览中在图7上绘示了上下文。仅仅作为范例，自上而下由八个箭头表示如下滑动：-向左的箭头：向前；-向右的箭头：向后；-向上的箭头：上一页；-向下的箭头：下一页；-东北方向的箭头：缩放；-东南方向的箭头：键盘；-西南方向的箭头：定制键；-西北方向的箭头：聚光灯（Spotlight）。必须要编制若干特征以确保在虚拟鼠标功能和智能移动装置其他功能之间没有危险的交互。有些功能没什么问题，比如音频收听，可以在将装置用作虚拟鼠标的同时执行该功能。在虚拟鼠标工作的时候，可以接听电话，也可以不允许接听电话。当有来电的时候，默认模式将是暂停鼠标。在通常的智能手机中，这种通知会被优先处理。当电话结束时，智能手机将会恢复之前暂停的应用程序。不能使用飞行模式，因为这会去活装置所有的无线电功能，与主机通信通常需要WiFi/蓝牙。也可能必须要去活i-Phone旋转以适应显示格式的功能。在编制应用程序时将需要这样做。本说明书中公开的范例仅仅例示本发明的一些实施例。它们不以任何方式限制所述发明的范围，其范围是由后附权利要求界定的。