专利名称：交互式输入系统和方法
技术领域：
本发明主要涉及一种交互式输入系统及其使用方法。
背景技术：
交互式输入系统允许用户利用有源指示器(例如可发出光、声音或其他信号的指示器)，无源指示器(例如手指、圆柱体或其他合适的物体)或其他合适的输入设备例如鼠标或轨迹球向应用程序注入输入(例如数字墨水、鼠标事件等)是众所周知的。这些交互式输入系统包括但不仅限于使用模拟电阻或机器视觉技术寄存指示器输入的触摸面板构成的触摸系统，例如在转让给加拿大阿尔伯达省加里市SMART Technologies ULC公司的美国专利 5，448，263,6, 141，000,6, 337，681,6, 747，636,6, 803，906,7, 232，986,7, 236，162、和7，274，356中公开的，上述专利内容在此整体合并引用；包括使用电磁、电容、声学或其他 技术寄存指示器输入的触摸面板构成的触摸系统；笔记本电脑和个人平板电脑(PC);个人数字助理(PDA)设备和其他手持设备；以及其他类似设备。上述合并的Morrison等人的美国专利6，803，906公开了一个触摸系统,该系统利用机械视觉检测指示器与显示计算机产生图像的触摸表面的交互行为。触摸表面周围是矩形边框或框架，以支撑其角上的数码相机图像设备。数码相机有视野重叠区域，该区域围绕数码相机并且通常透视触摸表面。该数码相机透过触摸表面从不同的有利地位获得图像并产生图像数据。数码相机获得的图像数据由机内数字信号处理器进行处理以确定所捕获的图像数据中是否存在指示器。当确定所捕获的图像数据中存在指示器时，数字信号处理器将指示器的特征数据传输至主控制器，主控制器随即使用三角测量法处理该指示器的特征数据，以确定该指示器相对触摸表面的坐标(X，y)位置。该指示器的坐标被传输到一台运行有一个或多个应用程序的计算机中。计算机使用该点坐标更新其产生并显示在触摸表面的图像。触摸表面上的指示器触点就此被记录为书写符号或绘画，或用于控制运行在该计算机上应用程序的执行。多点触控交互式输入系统使用机械视觉接收并处理多个指示器的输入也是众所周知的。一种类型的多点触控交互式输入系统利用著名的受抑全内反射(FTIR)的光学现象。根据FTIR的一般原理，当光线穿过光波导器时，如果手指、指示器、笔型工具之类的某个物体接触光波导器表面，该光线的全内反射(TIR)将受到抑制，由于光波导器折射率的变化，使一部分光在触点处从光波导器中逸散。在这种多点触控交互式输入系统中，机械视觉系统捕获的图像包括从光波导器中逸散的光，这些光从与光波导器接触的指示器反射，然后穿过光波导器。然后该系统基于逸散光点处理图像，以识别在光波导器表面的指示器位置，作为应用程序的输入。McGibney等人转让给SMART Technologies ULC公司的美国专利应用2011/0050650公开了一个具有改进信噪比和图像捕捉方法的交互式输入系统。该交互式输入系统包含一个与显示器相连的光波导器，该显示器的上表面有一个漫射器，用于显示被投影仪投射的图像和接触例如手指、指示器等类似物体。该交互式输入系统还包括两个光源。来自第一个光源的光被耦合到光波导器中并在其中经过全内反射。来自第二个光源的光被导入与顶部表面相对的光波导器的背面。至少有一个图像设备，例如照相机，具有一个寻找光波导器背面的视场并以交替开/关第一光源和第二光源的顺序捕获图像帧。与光波导器上表面交互的指示器可以被记录为书写符号或绘画，用于控制应用程序的执行。还考虑到了其他的方式。例如Morrison等人转让给SMARTTechnologies ULC公司的美国专利应用2010/010330公开了一种投影图像的方法，该方法包括根据在该投影表面的至少一幅投影图像确定至少一个投影仪在一个投影区内的投影表面的位置。该投影区的尺寸包含多个表面位置，且修改视频图像数据输出到至少一个投影仪，这样使投影图像大致对应于投影表面。在一个实施例中，使用安装在投影仪上的照相机确定在投影表面的用户的位置，然后根据用户的身高调整投影表面的位置。Morrison等人转让给SMART Technologies ULC公司的美国专利应用2007/0273842公开了一种方法，当试验对象位于某个显示图像的背景之前时，该方法抑制进入试验对象眼睛的投影光线。该方法包括捕捉至少一幅包括显示图像的背景图像、处理 所捕捉的图像以检测试验对象的存在性并大致定位试验对象、并屏蔽投影仪用于在至少包括实验对象视野区域内进行投影的图像数据。虽然上述系统和方法提供了多种接收用户输入的方式，还是存在有限的方法使显示内容适应用户位置。因此，它是以下用于提供新颖的交互式输入系统和方法的目的。
发明内容
因此，一方面提供了一个包含交互式表面的交互式输入系统；至少一接近传感器被置于交互式表面附近；并且处理结构与该至少一接近传感器通信并处理接近传感器的输出，以检测至少一位于交互式表面附近的用户。而另一方面，提供了一包括交互式表面的交互板；以及至少一临近所属交互式表面的接近传感器以检测所述交互式表面附近是否存在有用户。另一方面，还提供了一种向具有交互式表面的交互式输入系统提供输入的方法，该方法包括将来自至少一个位于交互式表面附近的接近传感器的输出传输到该交互式输入系统的处理结构；并处理该接近传感器的输出以检测位于交互式表面附近的用户。
现在将通过参考附图更全面地介绍实施例，其中图I为交互式输入系统透视图；图2是安装在操作环境中的图I所示交互式输入系统的俯视图；图3A是构成图I所示交互式输入系统一部分的接近传感器输出的时间函数图；图3B是构成图I所示交互式输入系统一部分的一组接近传感器在一个点的输出时间函数图和接近传感器位置函数图；图4A至4D是图3B所示的一组接近传感器中的每只传感器输出的时间函数图；图5是图I所示交互式输入系统的操作模式示意图；图6是图I所示交互式输入系统所用操作方法的步骤流程图；图7是用户界面组件更新图6所示方法的步骤流程图8A至8D是图I所示交互式输入系统的显示内容配置示例；图9A至9C是被图I所示交互式输入系统识别的手势示例；图IOA至IOB是图I所示交互式输入系统的显示内容配置的进一步示例；图11是安装在操作环境中的交互式输入系统的另一实施例的俯视图；图12是安装在操作环境中的交互式输入系统的又一实施例的俯视图；图13A至13C是构成交互式输入系统又一实施例一部分的交互板前视图；图13D是构成交互式输入系统又一实施例一部分的交互板前视图；图14仍然是交互式输入系统又一实施例的透视图；
图15是图14所示交互式输入系统的显示内容配置的俯视图；图16A至16D是图14所示交互式输入系统的进一步显示内容配置的俯视图；图17A和17B是图14所示交互式输入系统的更进一步显示内容配置的俯视图。实施例详细描沭现在回到图1，该图显示了一个允许用户向正在运行的应用程序注入诸如数字墨水、鼠标事件输入的交互式输入系统并以一般以参考数字20表示。在这个实施例中，交互式输入系统20包括一安装在垂直支撑面(例如墙面或类似物体)上的交互板22。交互板22包括一块大致为矩形平面并且其周边被边框26围绕的交互式表面24。一个臂总成32也安装在交互板22上方的支撑面上。臂总成32为例如以“SMARTUnifi 45”的名义卖给SMARTTechnologies ULC公司的短焦投影仪38提供支撑，该投影仪向交互式表面24 (例如计算机桌面)投影一幅图像。交互板22利用机械视觉检测进入到接近交互式表面24的感兴趣区域的一个或多个指示器。交互板22通过通用串行总线(USB) 30或其他合适的有线或无线连接与执行一个或多个应用程序的计算设备28通讯。计算设备28处理交互板22的输出并(如果需要时)调整输出到投影仪38的显示数据，于是显示在交互板24上的图像反映出指示器的活动。通过这种方式，交互板22、计算设备28和投影仪38将接近交互式表面24的指示器活动记录为书写符号或绘画，或用于控制运行在计算设备28上的一个或多个应用程序的执行。该实施例中的边框26被机械固定在交互式表面24并包括沿交互式表面24的四条边框边。该实施例中，每条边框的内表面由反光材料制成的单一、纵向延伸的条或带构成。为了最好地利用反光材料的属性，该边框排为一直线，这样它们的内表面的平面延伸方向大致与交互式表面24的平面正交。使用合适的紧固件例如螺钉、架子、粘结剂等在交互板22的下边框固定一工具盘48。正如看到的一样，工具盘48包括一容纳主控制器的外壳，外壳上表面有多个容器或插槽。容器大小可以容纳一个或多个笔形工具40以及一可用于与交互式表面24互动的擦除工具(图中未显示)。在外壳上表面是控制按钮(图中未显示)，以支持用户控制操作交互式输入系统20。可拆卸工具盘模块48a和48b位于外壳48的两端。在授予SMARTTechnologies ULC公司等单位的PCT应用编号为PCT/CA2011/00045、且题为《交互式输入系统及其工具盘》(“INTERACTIVE INPUT SYSTEM AND TOOL TRAY THEREFOR”)的文中对工具盘48做了进一步描述，其内容被整体引用作为参考。边框26容纳有成像组件(图中未显示)，每个成像组件位于该边框的不同角附近。每个成像组件包括一图像传感器和相关联的透镜组件，该透镜组件向图像传感器提供足以包围整个交互式表面24的视野。数字信号处理器(DSP)或其他合适的处理设备向图像传感器发送时钟信号，以所需的帧速率捕捉图像帧。在捕捉图像帧的过程中，DSP还会引发一红外(IR)线光源照明并使红外线照亮整个交互式表面24上的感兴趣区域。这样，当图像传感器视野中没有指示器存在时，该图像传感器探测到边框边条上的反光带反射的光线并捕捉到包含连续亮带的图像帧。当图像传感器视野中存在有指示器时，该指示器堵塞住红外照明而显现为黑暗区域，其可中断所捕获图像帧的亮带。该成像组件排为一直线，因此它们的视野重叠并大致透过整个交互式表面24。以这种方式，诸如用户手指、圆柱体或其他合适的物体、笔、或从工具盘48取出的擦除工具等任何指示器，当被带入交互式表面24附近并出现在成像组件视野中时，被多个成像组件以图像帧的形式捕捉。当成像组件获取的图像帧中存在指示器时，该成像组件将图像帧传送到主控制器。该主控制器接下来处理该图像帧，使用三角测量法计算该指示器与交互式表面24的相对坐标(X，y)。然后，该指示器坐标被传送到计算设备28，如有必要，该设备使用该指示器坐标更新提供给投影仪38的显示数据。故此，与交互式表面24接触的指示器被记录为书写符号或绘画，或用于控制运行在计算设备28上的应用程序的执行。 该实施例中的计算设备28是一个人电脑或其他合适的处理设备，包括如处理单元、系统存储器(易失性和/或非易失性存储器)、其他不可移动或可移动存储器(例如硬盘、RAM、ROM、EEPROM, CD-ROM、DVD、闪存等)和将各种计算机组件耦合到处理单元的系统总线。计算机可能还包括使用以太网、WiFi和/或其他形式网络的网络功能，以访问共享或远程设备、一台或多台联网的计算机，或其他网络设备。在计算设备28上运行主机程序,例如由SMART Technologies ULC公司提供的SMART Notebook 。众所周知，执行过程中，SMARTNotebook 应用程序提供一个包括画布页面或调色板的图形用户界面呈现在交互式表面24上，在该表面上，自由形状或手写墨迹对象与其他由计算机生成的对象一起，通过与交互式表面24交互的指示器输入和操作。 现在转到图I和图2，交互式输入系统20还包括一个或多个接近传感器，被配置用于检测交互板22附近的诸如一个或多个用户之类的对象的存在。这些接近传感器也与位于工具盘48上的主控制器通讯。在该实施例中，交互式输入系统20包括一对接近传感器50和56，分别安装在交互板22下面两端的角22a和22b附近，还有一对接近传感器52和54，分别以间隔的位置安装在工具盘48下面靠近可拆卸工具盘模块48a和48b上。传感器52和54之间的距离大于成年人平均宽度。接近传感器50、52、54和56可以采用本技术菱悦任何已知类型的传感器。有多种接近传感器已投入商业使用，例如基于声纳的、基于红外(IR)光学的、和基于CMOS或CXD图像传感器的接近传感器。在该实施例中，接近传感器50、52、54和56均为SharpElectronics Corp.公司制造的夏普IR远程传感器2Y0A02,可以感知0. 2米至I. 5米探测区域内的物体。值得欣慰的是，该探测区域非常适于在教室环境中使用交互式输入系统20，对教室中处于该范围之外物体的探测效果可能不太理想。但是，也可以使用其他接近传感器。例如在另一个实施例中，各传感器可以采用Inc.公司制造的声纳传感器MaxBotixEZ-I,可以感知O米至6. 45米探测区域内的物体。如图2所不,交互式输入系统20可用于操作环境66,其中安装有一个至多个固定件68。在该实施例中，操作环境66是一间教室，固定件68是课桌。但是，可以理解，交互式输入系统20也可用于其他环境。一旦在操作环境66中安装好交互式输入系统20,就应该校准交互板22，使接近传感器50、52、54和56在各自的探测区域内感知固定件68的存在。接近传感器50、52、54和56向主控制器传送校准值，主控制器从各接近传感器接收校准值并将其保持在存储器中，作为一套个体基准值。图3A是接近传感器50、52、54和56之一在一段时间内的典型输出，在这段时间内一个物体，例如一个用户，进入并退出该接近传感器的探测区域。在时间点A和C，当该物体不在该接近传感器的探测区域内，该接近传感器输出校准过程中确立的基准值。在时间点B，当物体在该接近传感器的探测区域内，该接近传感器输出值与基准值不同，并代表该物体的存在性以及该接近传感器和该物体之间的距离。主控制器定期从所有接近传感器50、52、54和56获得值，然后将这些值与校准过程中为每个接近传感器确定的基准值做比较，以检测物体与交互板22的邻近区域是否有物体存在。例如如果相邻的接近传感器输出值近似或在每个传感器的预定义阀值范围内，那么主控制器可以确定这两个接近传感器探测的是同一个物体。可以将用户的平均尺寸和 接近传感器50、52、54和56已知的空间配置考虑进来，以确定是否有一个或多个用户存在。图3B显示在同一时间点从每个接近传感器50、52、54和56获得数据的图表，其中x轴表示沿交互板22上的接近传感器的位置。圆形符号表示每个接近传感器的输出值，方形符号表示每个接近传感器的基准值。在该图中，接近传感器50、52、和54的输出值相似。由于接近传感器50和52空间接近，该主控制器将确定接近传感器50和52都感知到在接近传感器50和52之间的第一个用户的位置，并且到交互板22的距离大致对应接近传感器50和52的输出平均值。由于接近传感器54与接近传感器50和52距离远，该主控制器也将确定接近传感器54检测到交互板22前的第二个用户的存在。由于接近传感器56的输出值与其基准值区别不大，因此该主控制器确定第二个用户只是位于接近传感器54之前，而不是在接近传感器56之前。通过这种方法，该主控制器识别出相对交互板22的一个或多个用户的数量和各自的位置，并因此得出相对交互式表面24的值。该主控制器依次向计算设备28传送以下值交互板24附近检测出的物体的数量，对于每个被检测出的物体，表示该物体相对交互板22的位置以及该物体相对交互板22的距离的位置和距离值。计算设备28在存储器中保存此信息，用于后面将描述的处理过程。计算设备28可以使用由该主控制器输出的用于响应接近传感器50、52、54和56的输出的物体数目、位置和距离信息，以检测并监控该物体相对交互板22的运动。图4A至4D是每个接近传感器输出的时间函数图。在这个例子中，一名用户分别在tl、t2、t3和t4时间被接近传感器50、52、54和56依次感知到。根据这些数据和已知的接近传感器50、52、54和56的空间配置，计算设备28能够确定该用户正从交互板22的一端移动到另一端。该运动可以被计算设备28用作一种输入形式，以下将进一步描述。交互式输入系统20有多种不同的操作模式，如图5的图示说明。在这个实施例中，这些操作模式包括一交互模式80、一显不模式82和一睡眠模式84。在交互模式80中，计算设备28向投影仪38提供显示数据，于是可以让一个或多个用户与之交互的显示内容被呈现在交互板22的交互式表面24上。该显示内容可能包括，例如一个SMART Notebook 页、一张演示幻灯片、一份文档以及一幅图像中的任意内容，还可能包括一个或多个用户界面(UI)组件。Π组件通常由用户通过指示器与交互式表面24发生交互活动选择得到。UI组件可能包括，例如菜单、工具条、工具箱、图标、页面缩略图等的任意内容。交互模式80有2个子模式，即单用户子模式86和多用户子模式88。交互式输入系统20根据接近传感器50、52、54和56的输出所检测到的在交互板22前的用户数量，从而在子模式86和88之间切换。当只检测到一个用户时，交互式输入系统20运行在单用户子模式86下，显示内容只包括一套UI组件。当检测到多个用户时，交互式输入系统20运行在多用户子模式88下，显示内容包括为每个用户准备的一套Π组件，在靠近检测到的用户的交互式表面24上分别显示每一套UI组件。当交互式输入系统20处于交互模式80时,如果在一段时间Tl内没有检测到任何物体，交互式输入系统20进入显示模式82.在显示模式82，计算设备28向投影仪38提供显示数据，于是显示内容全屏呈现在交互板22并且UI组件被隐藏。在从交互模式80到显示模式82的过渡期，在发生变换之前，计算设备28立刻保存呈现在交互式表面24的显示内容到存储器中。该保存的显示内容用于在交互式输入系统20从显示模式82或睡眠模式84再次进入交互模式80时建立显示。保存的显示内容可能包括任何用户自定义的内容，例 如任何由用户做出的对可移动图标的排列，以及任何由用户选择的画笔颜色。如果在交互式输入系统20处于显示模式82时检测到物体，那么交互式输入系统20进入交互模式80。相反,如果交互式输入系统20处于显不模式82时,在一段时间T2内没有检测到物体，交互式输入系统20进入睡眠模式84。在该实施例中，当处于睡眠模式84时，除了用于“唤醒”交互式输入系统20的电路，包括用于操作和监控接近传感器52和54的电路，交互式输入系统20将尽量关闭其他电路以节省能量。如果交互式输入系统20处于睡眠模式84，并在阀值时间段T3内检测到物体，则交互式输入系统20进入交互模式80。否则，交互式输入系统20继续保持睡眠模式84。图6显示了交互式输入系统20的一种操作方法的步骤流程图。从以下描述中可以清楚知道，显示内容和/或交互式输入系统的配置在该交互式输入系统的模式变换时被更新，如上文结合图5的描述那样。交互式输入系统20启动后(步骤100)自动进入显示模式82。该主控制器依次监控接近传感器50、52、54和56的输出，以确定在交互板22附近(步骤102)是否有用户。在操作过程中，如果超过时间段Tl (步骤104)仍未检测到用户，交互式输入系统20进入显示模式82(步骤106)，或保持在显示模式82，如果它已经是处于该模式下，然后回到步骤102。如果在显示模式82下，超过阀值时间段T2 (步骤104)仍没有检测到用户，交互式输入系统20进入睡眠模式84 (步骤106)，然后回到步骤102。如果在步骤104检测到一名用户并且持续时间超过T 3，那么，作为对该主控制器输出的响应，计算设备28使交互式输入系统20进入交互模式(步骤108)并确定检测到的用户总数(步骤110)。如果只检测到一名用户，交互式输入系统20进入单用户子模式86(步骤112)，如果它已经处于该模式，那么将保持在单用户子模式86。否则，交互式输入系统20进入多用户子模式88 (步骤114)。计算设备28接着更新提供给投影仪38的显示数据，这样，呈现在交互板22的交互式表面24 (步骤116)上的Π组件与检测到的用户数量相一致。图7是步骤116中用于更新UI组件的步骤流程图。计算设备28首先将主控制器输出与以前存储在存储器中的主控制器输出相比较，以识别用户事件(步骤160)。用户事件包括任何用户出现、消失和移动行为。交互式表面24可以被分为多个区域，当交互式输入系统20处于多用户模式时，可以为每个分配到这一区域的用户分别显示内容。在该实施例中，交互式表面24有两个区域，称为第一区的占据交互式表面24的左半部分，称为第二区的占据交互式表面24的右半部。如果检测到一名用户，计算设备28就近分配一个交互式表面24上的可用区域给该新用户(步骤162)。然后调整与现有用户关联的UI组件(步骤164)，包括调整该UI组件大小和/或重新定位，从而为新用户提供交互式表面24上的可用屏幕空间。接下来，一套新的UI组件被加入分配给新用户的该区域(步骤166)。如果在步骤160检测到用户消失，那么将删除以前分配给前用户的UI组件(步骤168)，还将删除分配给前用户的区域(步骤170)。删除的UI组件可能被计算设备28保存，这样，如果在时间段T4内在被删除区域附近检测到用户出现，该删除区域(步骤162)将被分配给该用户并且显示保存的UI组件(步骤166)。在该实施例中，删除区域的屏幕空间被分配给一个或多个剩下的用户。例如，如果检测到的两个用户之一消失了，整个交互式表面24将被分配给剩下的用户。在步骤170以后，与剩余的一个或多个用户相关联的Π组件也 被相应调整(步骤172)。如果在步骤160判定一名用户已从分配的第一块区域移开并移向第二块区域，那么删除分配的第一块区域并且第二块区域被分配给该用户。与该用户相关联的Π组件被移到第二块区域(步骤174)。回到图6，在步骤116以后，计算设备28分析该主控制器产生的用于响应该接近传感器50、52、54和56输出的输出，以确定是否有任何检测到的对象在做手势(步骤118)。如果是，计算设备28更新提供给投影仪38的显示数据，使呈现在交互板22的交互式表面24上的显示内容反应出后文将描述的手势活动(步骤120)。在步骤120以后，交互式输入系统20返回到步骤102，并且主控制器继续监控接近传感器50、52、54和56的输出以检测物体。图8A至8D说明呈现在交互板22的交互式表面24上的显示内容配置的例子。在图8A中，该主控制器响应接近传感器输出，检测到一名用户190位于交互板22第一个角22a附近。于是，Π组件以页面缩略图192的形式沿交互式表面24左边垂直显示。在这里，页面缩略图192被如此安排，使用户可以通过接触的输入方式很容易地选择出某一幅页面缩略图192，并且不需要用户190从图示位置移开。因为只检测到一名用户，整个交互式表面24全部被分配给用户190。在图8B中，交互式输入系统20检测到用户190已朝向交互板22的角22b处移动。随即，该页面缩略图192被移动并沿交互式表面24右边垂直安排。在图SC中，该主控制器响应接近传感器输出，检测到在交互板22第一个角22a附近出现第二个用户194。因此，交互式输入系统20进入多用户子模式88，相应地，计算设备28将交互式表面24分隔成为两个区域198和200，并将这些区域分别分配给用户194和190。在交互式表面24上显示一条分割线196以表示区域198和200的边界。为用户190显示的内容包括图形对象206以及以缩略图192形式的Π组件，在区域200内按比例调整它们的大小。在该示例中，用户190被接近传感器54和56感知，因此，计算设备28确定第一用户190位于接近传感器54和56之间，如图所不。相应地,交互式输入系统20沿交互板22的垂直边以全尺寸显示缩略图192。一套以缩略图204形式的UI组件被增加并分配给用户194，且显示在区域198内。在该示例中，用户194被接近传感器50感知，但接近传感器52并未感知到该用户，因此，计算设备28确定第一用户194位于接近传感器50的左边，如图所示。相应地，交互式输入系统20以集群排列的方式大致靠近第一角22a显示缩略图204。在该实施例中，用户194在区域198中创建了图形对象210。用户可以通过使一个或多个指示器接近交互式表面24从而向交互式输入系统20注入输入。正如本专业技术人员理解的那样，这种输入可以被交互式输入系统20以多种方式解释，例如数字墨水或命令。在该实施例中，用户190和194在图形对象206和210附近注入输入，从而指示计算设备28在该图形对象旁边分别显示弹出式菜单208和212。在该示例中的弹出式菜单208和212包括额外的Π组件，其分别显示在各区域的边界内。在该实施例中，在各区域中显示的内容完全独立于另一区域。在图8D中，该主控制器响应接近传感器输出，不再检测在交互板22附近的任何用户，导致计算设备28确定用户194和196已经离开交互板22。经过时间段Tl后，交互式输入系统20进入显示模式82,显示页面显示在区域198和200中。显示页面包括图形对象 206和210，但不包括缩略图192和204。交互式输入系统20还可检测在接近传感器50、52、54和56的探测范围内用户做的手势。图9A至9C显示了被交互式输入系统20识别的手势的例子。图9A显示用户的一只手220向交互式表面24中心挥动。该手势在计算设备28处理主控制器输出后检测到，并且在该实施例中，被分配给用于转发呈现在交互式表面24的新页面图像的功能。类似地，图9B显示用户的一只手222挥动着离开交互板22的中心。在该实施例中，该手势被分配给返回到前一个呈现在交互式表面24上的页面图像的功能。图9C显示了一名用户向身体两侧挥手。该手势被计算设备28检测到，并且在该实施例中被分配给缩放当前呈现在交互式表面24的页面图像的功能。值得欣慰的是，在其他实施例中，这些手势可能被分配给其他功能。例如，图9C所示手势可能被分配给引起交互式输入系统20进入显示模式82的功倉泛。值得欣慰的是，交互式输入系统20可以运行多种利用接近传感器50、52、54和56输出的软件。例如，图IOA显示了一个应用程序，在交互式表面24上显示了一道判断题330。在交互式表面24上以图形对象332和334显示了可能的答案。交互板22前方且在接近传感器50、52、54和56的检测区域内的面积一般被分隔为多个关联到图形对象332和334的区域(图中未显示)。用户336可以站在一个区域内，这样，合适的接近传感器感知到该用户并被主控制器检测到，从而为问题330输入响应。在该显示的实施例中，用户336选择了与图形对象332相关联的响应，使计算设备28响应主控制器输出，更新向投影仪38提供的显示数据，突出显示对象332。一旦用户336在此位置保持停留达到预定义的时间段，那么该选择被计算设备28确认。取决于运行的特定应用的不同，计算设备28接下来可能会判断该用户输入的响应是否正确。通过这种方式，交互式输入系统20根据接近传感器的输出确定处理结果。图IOB显不了另一个用于交互式输入系统20的应用，向用户350和352显不了一道多选题340。四个答案以图形对象342、344、346和348的形式显示在交互式表面24上。在该实施例中，位于交互板22前且在接近传感器50、52、54和56检测范围内的区域被分隔成四个区域(图中未显示)，每个区域分别关联到图形对象342、344、346和348之一。在该实施例中，这些区域的排列方式类似图形对象342、344、346和348的排列方式，并因此安排为到交互式表面24的距离功能。计算设备28被配置为根据主控制器的输出判断一个或多个用户各自的位置，作为到交互板24的距离功能，每个位置代表在交互板22前的区域内一个二维坐标。在该实施例中，两个用户都需输入问题答案。在此，用户350和352分别站在某一区域前且停留时间超过阀值时间段，例如三(3)秒，作为输入，这样，用户被合适的接近传感器感知并被主控制器探测到。取决于运行的特定应用的不同，计算设备28可能会合并这些用户输入的响应以形成对该问题的一个单一响应，然后确定该合并的响应是否正确。通过这种方式，交互式输入系统20再次根据接近传感器的输出确定处理结果。可以理解，接近传感器的数量和配置不仅限于以上描述。例如，图11显示了另一个实施例，一交互式输入系统安装在操作环境66中，以引用编号420表不。交互式输入系统420和以上图I至10描述的交互式输入系统20类似，但交互式输入系统420包括额外的接近传感器458和460，其被安装在靠近交互板22对面的墙66a上。接近传感器458和460通过有线或无线连接与主控制器通讯。与上述交互式输入系统20相比，接近传感器458和460主要提供对象的扩展检测范围，并因此使交互式输入系统420能够更好地判断靠近交互板22外围对象的位置。 还有其他可能的配置。例如，图12显示了另一个实施例，一交互式输入系统安装在操作环境66中，以引用编号520表不。交互式输入系统520也和以上图I至10描述的交互式输入系统20类似,但交互式输入系统520包括额外的接近传感器562和564,其被安装在靠近投影仪38的投影栅32上。接近传感器562和564通过有线或无线连接与主控制器通讯。在该实施例中，接近传感器562和564向下面对交互板22。与上述交互式输入系统20相比，接近传感器562和564主要提供一个向上的对象检测的扩展范围。图13A至13D显不了另一个以引用编号720表不的交互式输入系统的实施例。交互式输入系统720也和以上图I至10描述的交互式输入系统20类似,但交互式输入系统720包括多块交互板而非只包括一块交互板,在本例中，为两(2)块交互板740和742。交互板740和742与交互板22类似，因此也包含与图I所示接近传感器50、52、54和56排列方式类似的接近传感器(图中未显示)。在图13A中，交互式输入系统720的计算设备28响应主控制器输出，确定单个用户744位于交互板740的第一个角740a附近。相应地，Π组件以页面缩略图746和748的形式沿交互板740的交互式表面左边显示。在所示实施例中，页面缩略图746是演示幻灯片，页面缩略图748是最近显示在交互板740和742的交互式表面上的图像幻灯片。页面缩略图746和748可以被用户744选择，以在交互板740和742的交互式表面上显示全尺寸页面。与上述实施例类似，页面缩略图746和748的位置设置的为以使用户744可以不用移动其当前位置，轻易地通过触摸输入而选择缩略图746和748。在图13B中，交互式输入系统720的计算设备28响应主控制器输出，确定用户744已经向交互板742的第二个角742b移动。随后，页面缩略图746和748沿交互板742的交互式表面右边显示。在图13C中，交互式输入系统720的计算设备28响应主控制器输出，确定第一个用户750位于交互板740的第一个角740a附近,而第二个用户752位于交互板742的第二个角742b附近。其结果导致交互式输入系统720进入多用户子模式，随后交互板740和742被分别分配给用户。在交互板740上显示的结果包括以演示幻灯片的缩略图形式754表示的UI组件，以及最近显示在交互板740上内容的缩略图760。类似地，在交互板742上显示的内容包括以演示幻灯片的缩略图形式756表示的UI组件，以及最近显示在交互板742上内容的缩略图762。还有其他可能的多交互板配置。例如，图13D所示的以引用编号820表示的另一个交互式输入系统的实施例。交互式输入系统820类似交互式输入系统720，但交互式输入系统820不止包含两(2 )块交互板，而是包含四(4 )块交互板780、782、784和786。交互板780、782、784和786也类似交互板22，因此也包含与图I所示接近传感器50、52、54和56排列方式类似的接近传感器(图中未显示)。在该示例中，交互式输入系统820的计算设备28响应主控制器输出，确定单个用户802位于交互板780之前，并因此将交互板780的交互式表面全部分配给用户802。以显示内容的缩略图788形式表示的Π组件，以及交互板782、784和786上的当前显示内容的缩略图810，均全部显示在交互板780上靠近用户802的位置。交互式输入系统820的计算设备28响应主控制器输出，还确定有两名用户，即第一和第二用户804和806，其位于交互板782对面的附近。结果导致交互式输入系统820的计算设备28将交互板782内的两个区域(图中未显示)分别分配给用户804和806。与图8C所示实施例不同，这两个区域之间没有显示分割线。以显示内容和交互板780、784以及786的当前显示内容的缩略图812和814的形式表示的UI组件，显示在这两个区域的每个区域 上。交互式输入系统820未检测到交互板784附近有用户，因此交互式表面784进入显示模式。由此导致所有交互板780、782、784和786的显示内容的缩略图816被呈现。交互式输入系统820的计算设备28响应主控制器输出，进一步确定单个用户808位于交互板786之前，并因此将交互板786分配给用户808。以显示内容的缩略图800的形式表示的UI组件，以及交互板780、782、784和786当前显示内容的缩略图818均呈现在交互板786上。虽然在上述实施例中，交互式输入系统包括靠近交互板角上的图像组件，在其他实施例中，该交互板可能包括更多或更少的安排在该交互板周围的图像组件，或者可能包括一个或多个安装在投影仪旁边并且面朝交互板的图像组件。这种图像组件配置在Holmgren等人转让给SMART Technologies ULC公司的美国专利7，686, 460中公开,该专利内容在此整体合并引用。虽然上述实施例中的接近传感器与放置在工具盘中的主控制器通讯，但也可以采用其他配置。例如，主控制器不一定必须放在工具盘里。在其他实施例中，接近传感器可以与不是主控制器的独立控制器通讯，或者直接与计算设备28通讯。同样，主控制器或独立控制器可以负责处理接近传感器的输出以识别手势、用户移动等，并向计算设备28提供结果数据。或者，主控制器或独立控制器可以只是把接近传感器的输出传送给计算设备28处理。图14显示了另一个引用编号为900的交互式输入系统的实施例。交互式输入系统900为互动触摸表的形式。已描述过类似的互动触摸表，例如，Sirotich等人转让给SMARTTechnologies ULC公司的美国应用专利2010/0079409，该专利内容在此整体合并引用。交互式输入系统900包括一个安装在机箱904顶上的台面902。在该实施例中，机箱904被置于轮子上，小轮子或类似物体使交互式输入系统900从一个地方移动到另一个地方非常容易。集成的台面902是一种坐标输入设备，外观为受抑全内反射(FTIR)的触摸面板906，其用于检测和跟踪一个或多个指示器，例如手指、笔、手、圆柱体或向其施加作用的其他物体。机箱904支撑台面902和触摸面板906，并容纳执行主机应用的处理结构(图中未显示)以及一个或多个应用程序。显示在触摸面板906上的由处理结构产生的图像数据使用户可通过使用指示器接触触摸面板906的交互式显示表面908与显示图像交互。处理结构将指示器接触视为输入，以运行应用程序并由此更新图像数据，于是显示表面908显示的图像反映出指示器的活动。通过这种方式，触摸面板906和处理结构使指示器与触摸面板906的互动被记录为书写符号或绘画，或用于控制运行的应用程序。在该实施例中的处理结构是一台以计算机为形式的通用计算设备。该计算机包括，例如处理单元、系统存储器(易失性和/或非易失性存储器)、其他不可移动或可移动存储器(硬盘、RAM、ROM、EEPROM、CD-ROM、DVD、闪存等)和将各种计算机组件耦合到处理单兀的系统总线。交互式输入系统900包括位于台面902外围的接近传感器。如图所示，在该实施例中，接近传感器910、912、914和916大概位于台面902的四条边的中间。正如理解的那样，接近传感器910至916与支持电路、硬件和软件一起用于检测目的，大致和上述图I至10所示的交互式输入系统20类似。类似地，交互式输入系统900分别使用交互模式80、显示模式82和睡眠模式84,与上述交互式输入系统20 —样。交互式输入系统900通过与上述 类似的方式，使用对象接近程度的信息以分配工作空间、调整与情景相关的UI组件并识别姿势。交互式输入系统900还使用对象接近程度的信息以正确地调整图像在显示表面908上的方向，和/或作为显示问题的输入答案。图15是一个显示内容的示例,包括一呈现在交互式输入系统900显示表面908上的图像916。图像916的方向为竖直方向918且被交互式输入系统900所识别。在所示实施例中，交互式输入系统900的处理结构响应接近传感器的输出，其检测到两名用户920和922。根据已知的接近传感器910、912、914和916的空间配置，交互式输入系统900的处理结构为用户920和922分别分配一般朝向显示表面908的视野方向921和923，如图所示。然后，交互式输入系统900的处理结构重定向图像916，使其调整到能够很容易被用户920和922看到的方向。在图示的实施例中，交互式输入系统900的处理结构计算视线方向921和竖直方向918之间的夹角924，以及视线方向923和竖直方向918之间的夹角926。计算完这些夹角以后，交互式输入系统900的处理结构接着确定拥有了新竖直方向的图像916的朝向(图中未显示)，如果可能，基于新的竖直方向计算出来的所有这些角度中值最大的被减小，并且限制新的竖直方向与显示表面908的一条边平行。在所示实施例中，基于新竖直方向计算出的角度924和926应该相等或大致相等。于是，显示表面908在新竖直方向的朝向上显示该图像。图16A至16D表不了几个使用交互式输入系统900显不内容的例子。图16A表不的是一个竖直方向为931的图像930,其显不在显不表面908。在所不实施例中，交互式输入系统900的处理结构响应接近传感器的输出，未检测到出现任何用户，因此，交互式输入系统900处于显不模式。在图16B中，交互式输入系统900的处理结构响应接近传感器的输出，检测到用户932的出现，因此，交互式输入系统900进入交互模式。交互式输入系统900的处理结构随后重定向图像930，使其竖直显示给用户932。一组以工具934的形式表示的UI组件被添加并显示在邻近用户932附近的显示表面908的角落上。在该实施例中，已检测到只出现一名用户932，交互式输入系统900限制可处理的最大同时触摸次数为十(10)次。此处，交互式输入系统只处理前十(10)次同时触摸，并忽略当已计数触摸还在显示表面908上被检测时发生的其他任何触摸，直到释放检测到的触摸为止。在一些更进一步的实施例中，当检测到的触摸超过十(10)次时，交互式输入系统确定发生了触摸输入检测错误，例如每个手指的多次触摸或外界光线干扰等，并自动重新校准该交互式输入系统，以减少触摸输入检测错误。在一些更进一步的实施例中，该交互式输入系统显示一条警告信息以提醒用户正常使用该交互式输入系统，例如警告用户不要用手指冲撞显不表面908。在该实施例中，“同时触摸”指该交互式输入系统的处理结构对图像输出进行采样并检测到不止一次触摸的情况。应当理解，触摸行为不一定要同时发生，并且由于相对较高的采样频率，可能出现发生新的触摸时一个或多个现有触摸并未释放(例如在抬起手指以前)。例如，在时刻tl，可能只检测到一次触摸。在随后的时刻t2，当检测到新的触摸时，前面已检测到的触摸仍然存在。在更往后的时刻t3，当检测到更新的触摸时，前面已检测到的两次触摸仍然存在。在该实施例中，该交互式输入系统将继续检测触摸，直到检测到十(10)次同时发生的触摸为止。在图16C中，交互式输入系统的处理结构响应接近传感器的输出，其检测到第二 名用户936的出现。结果导致交互式输入系统900的处理结构重定向图像930，使其均适合用户932和936。一套UI组件以工具938的形式被增加并显示在靠近用户936的显示表面908的角上。在该多用户环境中，交互式输入系统900限制最大同时触摸次数为二十(20)次。在图16D中，交互式输入系统900的处理结构响应接近传感器的输出，其检测到第三名用户940的出现，并重定向图像930，使其均适合用户932、936和940。一组工具942在邻近角处提供给用户940. —套UI组件以工具942的形式被增加并显示在靠近用户940的显示表面908的角上。在该环境中，交互式输入系统900限制最大同时触摸次数为三十
(30)次。类似上述的交互式输入系统20，交互式输入系统900可以运行多种利用接近传感器910、921、914和916输出作为应用程序输入的软件。例如，图17A显示了一个运行在交互式输入系统900上的应用程序,其向用户970和972显示了一道多选题(没有图示)。该多选题的四个答案以图形对象960、962、964和968的形式显示在显示表面908上。用户970和972中的任何一人均可通过站在图形对象960、962、964和968之一的附近，在对应的接近传感器910、912、914和916的检测范围内，并停留超过对应的接近传感器910、912、914和916的预定义时间段的方式输入回答。图17B显示了另一个运行在交互式输入系统900上的应用程序，该程序向用户980和982显示了一道判断题(未显示)。两个答案以图形对象984和986的形式显示在显示表面908上。在该实施例中，该问题需要两名用户协作回答。用户980和982通过都站在对应其答案的图形对象附近并停留超过预定义时间段的方式一起输入单一的答案。如图所示，交互式输入系统900也已经重定向图形对象984和986至一个同时适合用户980和982的方向。虽然在上述的一些实施例中，该交互式输入系统为一个拥有新的竖直方向的图像确定了朝向，并限制该新的竖直方向与显示表面的一条边平行，但在其他一些实施例中，确定该新的竖直方向可能无需这种限制。虽然在上述的一些实施例中，该交互式输入系统包括一个底边有四(4)个接近传感器的交互板，但该交互式输入系统具有的接近传感器的数量和排列方式并不仅限于此，并且在其他一些实施例中，该交互式输入系统也可以包括任何数量和/或以任何方式排列的接近传感器。虽然在上述的一些实施例中，该交互式输入系统包括一个睡眠模式，该模式下该交互式输入系统除了 “唤醒”电路外通常被关闭，但在其他一些实施例中，该交互式输入系统也可能在睡眠模式下显示诸如广告或屏保之类的内容。在睡眠模式下，可能只监控一个或监控所有接近传感器的输出，以检测可以引发该交互式输入系统被唤醒的对象的出现。虽然在上述的一些实施例中，该交互式输入系统在启动后进入交互模式，但在其他一些实施例中，该交互式输入系统也可能在启动后自动进入显示模式或睡眠模式。虽然在上述的一些实施例带有参考图，但专业技术人员应该能够理解，在不违背所附权利要求中定义的精神和范围的前提下可能会有一些变化和修改。·
权利要求
1.一种交互式输入系统,其包括一交互式表面；至少一接近传感器，该传感器位于该交互式表面的邻近位置；以及一处理结构，该处理结构与该至少一接近传感器通信，并处理接近传感器的输出以检测该交互式表面邻近位置的至少一用户。
2.根据权利要求I所述的交互式输入系统，其中该处理结构被配置为可根据该接近传感器的输出而更新该交互式表面上呈现的显示内容。
3.根据权利要求2所述的交互式输入系统，其中该处理结构被配置为可更新相对于该交互式表面的用户附近的至少一个位置的显示表面上呈现的显示内容。
4.根据权利要求2所述的交互式输入系统，其中该处理结构被配置为可按照该用户的观看方向更新显示内容。
5.根据权利要求I所述的交互式输入系统，其中该交互式输入系统被配置为能够以互交模式、显示模式和睡眠模式中任何一种模式运行，而且可根据接近传感器的输出而选择运行模式。
6.根据权利要求5所述的交互式输入系统,其中该互交模式包括一个单用户子模式和一个多用户子模式，当检测到单个用户接近该交互式表面时该交互式输入系统被调整为该单用户子模式，当检测到多个用户接近该交互式表面时该交互式输入系统被调整为该多用户子模式。
7.根据权利要求6所述的交互式输入系统，其中在该多用户子模式下，该交互式表面被划分为多个区域，每个区域分配给各自检测到的用户。
8.根据权利要求5至7中任一权利要求所述的交互式输入系统，其中该交互式输入系统在一设定时间内未检测到任何用户接近该交互式表面时将在上述睡眠模式和显示模式中至少一种模式下运行。
9.根据权利要求8所述的交互式输入系统，其中该交互式输入系统在检测到某用户接近该交互式表面超过一设定时间后从该睡眠模式或该显示模式转至该互交模式下运行。
10.根据权利要求I至9中任一权利要求所述的交互式输入系统，其中该处理结构进一步被配置为根据接近传感器的输出检测手势动作。
11.根据权利要求I至9中任一权利要求所述的交互式输入系统，其中该处理结构进一步被配置为处理接近传感器的输出以确定处理结果。
12.根据权利要求11所述的交互式输入系统，其中该处理结果是对该交互式表面上所呈现的问题的响应。
13.根据权利要求I至9中任一权利要求所述的交互式输入系统，其中该处理结构被配置为对同时接触该交互式表面的次数进行限制，根据所检测到的接近该交互式表面的用户个数对所述接触次数进行处理。
14.根据权利要求I至9中任一权利要求所述的交互式输入系统，其包括多个接近传感器，被安装在该交互式表面上。
15.根据权利要求14所述的交互式输入系统，其中该接近传感器被沿着该交互式表面的至少一边而安装。
16.根据权利要求15所述的交互式输入系统,其中该交互式表面位于一竖直方向，而该接近传感器至少沿着该交互式表面的一底边以间隔的位置而安装。
17.根据权利要求16所述的交互式输入系统，其进一步包括位于该交互式表面对面的接近传感器。
18.根据权利要求I至16中任一权利要求所述的交互式输入系统，其进一步包括一投影组件，该投影组件对该处理结构和在该交互式表面上呈现的图像数据作出响应。
19.根据权利要求18所述的交互式输入系统，其进一步包括至少一个与该投影组件相邻的接近传感器。
20.根据权利要求14所述的交互式输入系统，其中该交互式表面位于一水平方向，而该接近传感器邻近该交互式表面的至少两边安装。
21.根据权利要求20所述的交互式输入系统，其中该接近传感器邻近该交互式表面的每一边安装。
22.—种交互式面板，其包括一交互式表面；以及至少一接近传感器，该传感器邻近该交互式表面的外围，以检测是否有某用户接近该交互式表面。
23.根据权利要求22所述的交互式面板，其包括多个接近传感器，该传感器邻近该交互式表面的外围。
24.根据权利要求23所述的交互式面板，其中该传感器沿着该交互式表面的至少一边。
25.根据权利要求24所述的交互式面板，其中该交互式表面位于一竖直方向，而该接近传感器至少沿着该交互式表面的一底边以间隔的位置安装。
26.根据权利要求23所述的交互式面板，其中该交互式表面位于一水平方向，而该接近传感器邻近该交互式表面的至少两边。
27.根据权利要求26所述的交互式面板，其中该接近传感器邻近该交互式表面的每一边。
28.一种向具有一交互式表面的交互式输入系统提供输入的方法，其中该方法包括将至少一接近传感器的输出传输到该交互式输入系统的处理结构，该传感器位于该交互式表面的邻近位置；以及处理该接近传感器的输出以检测是否有某用户接近该交互式表面。
29.根据权利要求28所述的方法，其进一步包括根据该接近传感器的输出而更新该交互式表面上呈现的显示内容。
全文摘要
一种交互式输入系统，其包括一交互式表面、至少一接近传感器以及一处理结构；其中该传感器位于该交互式表面的邻近位置，该处理结构与该至少一接近传感器通信，并处理接近传感器的输出以检测该交互式表面邻近位置的至少一用户。
文档编号G06F3/041GK102934057SQ201180027670
公开日2013年2月13日 申请日期2011年6月6日 优先权日2010年6月4日
发明者爱德华·策, 安迪·莱昂, 希蒙·班纳吉 申请人:智能技术无限责任公司