专利名称：采用扫描传感器的输入设备的制作方法
技术领域：
本发明一般涉及用于包括计算机系统在内的电子设备的输入设备，特别是涉及采用视频控制输入的这类设备。
已经有各种指示设备在计算机系统中被用于控制指针或光标在显示器上的位置。指针或光标是一个图形，能在屏幕上移动，以选择在用户界面上提供的以物理形象形式的特定一个选项。用户可以以这种方式与视频显示器交互，以便把目标集中到通过用户界面提供的特定任务和活动上。
已知的指示设备包括鼠标、跟踪球(track ball)和指示条(pointing stick)。所有这些设备一般都包含某种易于出故障的机电接口。当接口发生故障时，会产生不正确信号，这会时使该指示设备的移动被错误地反映在显示器的指针位置上。
另一种有名的指示设备，即触摸板(touch pad)指示设备，允许用户触摸一个接触表面。用户手指在接触表面上的移动被跟踪，作为计算机显示器上指针的对应移动。触摸滑板一般有电容性传感器，该电容性传感器检测手指位置和移动，并将该移动转换成位置控制信号。
触摸滑板指示设备易因灰尘或湿气而结污，由此产生如上所述的不正确信号。此外，该触摸滑板设备提供的移动范围有限，使得难以学会用这种指示设备得到的有限移动来控制指针。
许多计算机系统用键盘向计算机输入正文信息。键盘一般由电缆连接到计算机。像指示设备一样，键盘包含易于出故障的机电接口。这些故障会导致特定一个键不能启动一个特定输入。无论如何，向键盘提供的输入可能会不准确地反映在显示屏上出现的正文中。
所以，需要一种改进的输入设备，使用户能以较不易于出故障的方式输入信息。
包括计算机系统在内的许多电子设备包含诸如键盘等体积较大的输入设备，例如，在诸如膝上型或笔记本电脑等许多便携式计算机中，采用一种折叠式机罩，其中，显示器基本上是整个机罩的一部分，键盘是另一部分。这样，整个设备主体的相当一部分被键盘占用。类似地，在有些个人数字助理(PDA)或掌上电脑中，键盘或小键盘输入设备占据着整个设备主体的相当一部分。
市场对更小型计算设备有需求。诸如膝上型或笔记本电脑等便携式电脑正在逐渐地减少体积。类似地，对掌上型或PDA型计算机系统的兴趣也越来越多。
所以不断需要有新的方式来减少包括计算机系统在内的电子设备的体积。
按照一个实施例，一种向电子设备输入数据的方法包括向一个表面投射图象。检测用户相对于投影图象的移动。
图1是按照本发明的一个实施例的侧视图；图2是图1中所示实施例的正视图；图3是能被图1中所示的设备投射的图象俯视图；图4是按照本发明的一个实施例实现图1中所示设备的框图；图5是按照本发明的一个实施例构成一个能提供图1中所示设备的特征功能的设备的过程的流程图；图6是图1中所示实施例的一种软件实现的流程图；图7和8是按照本发明的一个实施例中的校准软件的流程图。
一种可以按图1中所示的计算机系统10的形式实现的电子设备可包含一个包含显示器18的机罩12。与一般计算机系统不同的是，系统10可以没有键盘或指示设备。可以在延伸臂26和30上设置扫描传感器14和16，以便能扫描机罩12前面的区域。扫描传感器14和16例如可以是数码相机，数码相机产生的流型视频(streamingvideo)通过臂26和30中含有的电缆传导到机罩12。可以在机罩12正面上显示器的下方设置另外一个扫描传感器22，如图2所示。
在机罩12上还有一个投影仪20，它将一个图象投射到位于机罩前面的表面(诸如桌面)上。投影仪20例如可以是液晶显示器(LCD)投影仪、激光投影仪或者光引擎(light engine)投影仪，如德克萨斯仪器公司(Texas Instruments，Inc)的数字光处理(DLP)光引擎。图象被投射到的区域可以是扫描传感器14、16和22所扫描的相同区域。每个扫描仪能相对其它每个扫描仪作来回调整，以获得更佳的三维图象。机罩12可以由支架24支撑成有一定角度的方向。
在按照本发明的一个实施例中，可以将图3所示的一个或多个输入设备-如虚拟键盘34a和鼠标34b投射到机罩12前面的一个平面上。然而，本发明并不限定于所示的这个实施例。当用户像使用物理输入设备时的那样把手在图象上定位时，扫描传感器能捕获用户手的移动，并把这个移动转换成输入命令信号。例如，可以将用户的手在上面投射有鼠标图象34b的表面上的移动，转换成用于移动显示器18上指针的位置的指针位置信号。类似地，用户的手在上面投射有键盘图象34a的表面上的打字移动，可以导致相应的文字输入被输入，并在显示器18上显示。这样，就可以去除机电式输入设备。
或者，扫描传感器可以感应从用户的手反射的投影光。扫描传感器也可以检测所反射的投影光与用户手的组合。投影图象也可以移动，以“跟踪”所检测到的用户手的移动。
现在转至图4，一例用于实现按照本发明的一个实施例的计算机系统35包括一个与主总线38相连的处理器36。所示的计算机系统35包括带因特尔公司的PentiumII处理器的400BX芯片集。主总线38与主桥接器40相连，后者进而连接主存储器42。主桥接器40也连接一个加速图形端口(AGP)总线48(参看加速图形端口接口规范(Accelerated Graphics Port Interface Specification)修订版1.0-由美国加州Santa Clara的因特尔公司1996年7月31日公布)，后者连接一个图形设备50。图形设备50可接收来自扫描传感器14、16和22的输入，并可将该结果输入显示在也与图形设备50相连的显示器18上。图形设备50也可有一个视频基本输入/输出系统(BIOS)54和一个图形本地存储器56。
主桥接器40也连接到总线44，后者可以包含若干个用于接受外围设备的插件槽46。总线44连接到总线至总线桥接器58，后者进而连接到另外一个总线70。总线70包含若干个插件槽47，用于接受另外的外围设备和系统BIOS74。桥接器58也可以连接到端口60和66。端口60例如可以连接到存储所示的一个或多个程序64、106和122的硬盘驱动器62。端口66可以连接到投影仪20。
尽管图4中表示了一例计算机系统，本领域的熟练人员将知道，可以用许多其它系统来实现本文所述的目的。因此应当明白所示系统只是一个例子。
现在转至图5，图中表示一种按照本发明的用于提供具有前文所述功能的设备的方法。一开始，让系统具有视频功能，如方框76所示。例如，可以让计算机系统具备处理多个流型视频输入的能力。该系统也可以配备若干个数码相机。开通投影仪，以便将一个输入设备的图象投射到一个表面上，如方框78所示。如方框80中所示的那样，也可以提供对生成的用户手的移动进行视频分析的能力。按照一个实施例，视频分析可以是一个识别用户的手形及其相应移动的模式识别软件。下一步如方框82中所示的那样，可以提供将用户的手与投影图象相关联的移动转换成一个指针位置控制信号的能力。最后如方框84中所示的那样，可以提供将用户的移动转换成文本输入的能力。此外，可以在识别到一个键触时，产生一个有声的确认-如键击声。
现在转至图6，在按照本发明的一个实施例中，可以在硬盘驱动器62上存储软件64。该软件一开始使一个或多个输入设备的图象被投射到一个表面上。例如可以如方框86中所示的那样，投射一个键盘或鼠标的图象。然后可以接收流型视频(方框87)，选择特定一个视频画面，如方框88中所示的那样。例如可以用某种选择技术随机地或按有规律的间隔选择该画面。
此外，可以用景象变化探测器来确定何时景象中有重大变化。如果出现重大景象变化，就可以捕获一个画面供随后进行分析。景象变化探测器是本领域中已知的，可能涉及到对由一个或多个相机中构成一个图象阵列的象素所确定的强度信号的模式的分析。例如，各种象素传感器可以输出信号。如果某输出信号超过某强度水平，就可以视其为白色，如果它低于某强度水平，就可以视其为黑色。白色输出信号对比黑色输出信号的数量中的重大变化，可以被识别为启动从流型视频选择一个画面的景象变化。
尽管对本发明是就用单一画面供进行这种分析而作说明的，可以通过持续或连续地分析各连续画面而进行继续的分析。可以用重复采样(oversampling)来保证移动得到检测。
在图6所示的实施例中，一旦如方框88所示的那样选择一个画面后，就可以用常规的模式识别软件来判断是否数字视频数据流代表特定一个图象模式，如方框92中所示的那样。该软件可以识别特定一个预先编程的图象，诸如用户手指在虚拟键盘上的位置或用户手在虚拟鼠标顶上的位置。该软件可以通过把图象与以前记录的图形进行比较来识别图象，或者可以通过计算机所有者或用户的合作，用学习软件训练该软件学习特定的图象。
在棱形框94，该软件检查并确定是否所选择的画面含有与对应特定一个输入命令的预定模式匹配的模式。如果不是，过程流就返回去选择另一个画面。
如果检测到一个模式匹配，就如方框96中所示的那样将第一个画面与一个后继的画面比较。然后，进行检查，确定是否该比较指出位置有变化(棱形框98)。如果是，就可以确定图象的移动的速度和方向(方框100)。移动的速度和/或方向可被用来提供相应的命令输入。例如，就用户手与鼠标图象相关联的移动而言，移动的方向和速度能在显示器18上指针的相应移动中反映出来。例如，可以用一个相关因数来计算“屏幕上”指针的三维位置(方框102)。用户输入可以由一个信号表示给图形设备50，以便按用户的手的移动方向和速度移动显示器18上的指针(方框104)。过程流循环回去，选择新的画面(方框88)，以再次开始比较。
或者，可以将一个独特的物体与用户相关联，以便能容易地识别该物体。例如，可以使用一个易于检测的颜色独特的环。可以检测环的移动，作为指针位置命令。
图7表示用于使系统能为指针位置命令校准焦点的软件106。软件106可以在校准期间用来为识别所需输入而设置系统的程序。参看图7，一开始，如方框108中所示的那样接收流型视频。如方框110中所示的那样，捕获该流型视频的一个画面。
下一步，如方框112中所示的那样，提示系统按定义的方向移动。例如，屏幕上的显示可以引导用户经历学习过程。例如，屏幕上的显示可以先指示用户显示一个左光标位置命令。该序列然后循环经过每个光标命令方向。一旦系统知道正在被编程的是什么光标命令，它就可以如方框114中所示的那样捕获一个新的视频画面。将该画面与上一个画面比较，确定一个达到某给定光标命令的差别(方框116)。在棱形框118的检查，判断是否已经确定一个焦点。换言之，系统必须能充分地区分两个画面，以便以后能把那些差别识别成特定一个指针位置命令。如果不是，重试该过程。否则，如方框120中所示的那样，系统保存所确定焦点的焦点数据。
参看图8，软件122能校准指针位置命令的速度和方向。在方框123，装入由软件106确定的焦点数据。如方框124所示的那样，接收流型视频，然后如方框126所示的那样，捕获一个画面。如方框128所示的那样，确定一个诸如用户手指的焦点，然后提供一个移动提示(方框130)。该提示可以是屏幕上的一个讯息框，内容是提请用户进行用户想要用作所希望移动的移动。在方框132，捕获一个新的(后继的)画面，然后如方框134所示的那样，将新画面与在方框126中捕获的画面作比较。
确定焦点移动(方框136)，然后如方框138所示的那样，计算移动的方向和速度。用一个对应x、y和z方向的相关因数来计算屏幕指针的移动的相应速度和方向(方框140)。然后如方框142所示的那样，移动屏幕指针。用户然后可以例如通过由提示屏面提供的输入，调节对应用户手指的给定移动的指针移动的量，如方框144所示的那样。此外，用户还可以提供替代性的输入，这些输入可以被接收作为特定一个指针位置命令。然后在棱形框146提示用户表明是否已经完成。如果不是，过程流循环回去，然后可以如上所述地学习新的命令。否则，过程流就结束，信息被保存起来(方框148)。
可以使用的相机的数量，变数可能很大。用更多的相机能产生更好的三维图象。这可以使三维中的移动能被识别为输入命令信号。此外，可以用多余的相机来消除错误。
本发明是就在计算机上安装的分离的相机而说明的，但可以把相机集成在计算机系统本身的机罩中。此外，本发明是就对可见光谱内的光敏感的相机而说明的，但也可以使用红外探测相机。
通过用流型视频来控制输入信息，在有些实施例中可以去除机电连接(机电连接易于出错或发生故障)。此外，在有些实施例中，例如与触摸滑板指示设备相比，可以提高输入的准确度，这是因为可以消除因灰尘或湿气而可能产生的错误移动。
可以以相同方式处置其它输入设备。例如，可以用电话的投影图象来替代电话。当扫描传感器相同识别到电话机被抓起时，计算机麦克风就可以启动。拨号可以按前文结合键盘投影图象的移动所述的相同方式来处理。
可以将投影图象改变得与在用户将其手放在普通输入设备上时用户所看到的那部分输入设备相对应。当检测到用户的手处于接收过投影图象的表面上的位置时，可以产生这种改变的图象。此外，可以将输入设备图象本身改变得反映出用户与该图象的交互。例如，当手指移动相当于按键时，可以将投影图象改变得能看出该虚拟键已经移动过。
尽管对本发明是就有限数量的实施例作说明的，本领域的熟练人员将知道据此有许许多多的修改和变化。后附的权利要求旨在包括所有这类符合本发明的真正原理和范围的修改和变化。
权利要求
1.一种用于向电子设备输入数据的方法，包含在一个表面上投射图象；和检测用户相对于所述投影图象的移动。
2.如权利要求1的方法，还包含捕获一幅用户与投影图象相联系的数字视频图象并将所述图象的一个表示输入到电子设备。
3.如权利要求2的方法，还包含包括用模式识别软件分析所述数字视频图象。
4.如权利要求3的方法，还包含确定在所述数字视频图象中显示的对象的移动的方向。
5.如权利要求1的方法，其中，投射图象包括在一个表面上投射鼠标的图象和检测用户相对于所述鼠标图象的移动。
6.如权利要求1的方法，其中，投射图象包括在一个表面上投射键盘的图象和检测用户相对于所述键盘图象的移动。
7.如权利要求1的方法，其中，投射图象包括投射输入设备的图象。
8.一种包含用于存储指令的介质的产品-其中的指令使计算机在一个表面上投射图象；和检测用户相对于所述图象的移动。
9.如权利要求8的产品，还包含使计算机用模式识别软件分析数字视频流的指令。
10.如权利要求9的产品，还包含确定在所述数字视频流中显示的对象的移动的方向的指令。
11.如权利要求8的产品，包含使计算机在一个表面上投射鼠标的图象和检测用户相对于所述鼠标图象的移动的指令。
12.如权利要求8的产品，包含使计算机在一个表面上投射键盘的图象和检测用户相对于所述键盘图象的移动的指令。
13.如权利要求8的产品，包含使计算机投射输入设备的图象的指令。
14一种系统，包含一个处理器；一个与所述处理器相连的传感器；一个与所述处理器相连的投影仪；一个与所述处理器相关联的存储器，所述存储器存储计算机程序，该计算机程序使所述处理器用所述投影仪投射输入设备的图象；和用所述传感器检测用户相对于所述输入鼠标的图象的移动。
15.如权利要求14的系统，包括多个数字视频相机。
16.如权利要求14的系统，其中所述程序根据用户的移动控制指针的位置。
17.如权利要求14的系统，其中所述系统是计算机系统。
18.如权利要求14的系统，其中所述存储器中包含模式识别软件。
19.如权利要求14的系统，其中所述投影仪投射指示设备的图象。
20.如权利要求14的系统，其中所述投影仪投射键盘的图象。
全文摘要
一种电子设备(10),用输入设备(34a)的图象和检测用户与这些图象的交互的扫描传感器(14、16、22)来接收输入。例如,可以投射一个鼠标的图象(34b)并可以用数字视频相机(14、16、22)扫描用户与该图象的交互。然后可以分析这些用户移动图象,以便例如确定用户的移动的方向、范围和速度,由此提供指针位置命令信号。类似地,可以分析用户相对于一个虚拟键盘图象(34a)的移动,将其转换成用于响应所启动的虚拟键的键启动信号。
文档编号G06F3/0488GK1322329SQ99811860
公开日2001年11月14日 申请日期1999年8月26日 优先权日1998年10月7日
发明者R·敦顿, T·查勒斯沃斯, J·里查逊, K·斯尔维斯特, M·施默达 申请人:英特尔公司