交互式输入系统及方法与流程

文档序号:11995671阅读:310来源:国知局
交互式输入系统及方法与流程
本发明涉及一种交互式输入系统和方法以及一种用于该交互式系统和方法的成像组件。

背景技术:
供用户使用有源指针(例如,发出光,发出声或发出其他信号的物品)、无源指针(例如,手指,圆柱体或其他物品)或其他合适的输入设备例如,鼠标或轨迹球等将输入信息输入一应用程序中的交互式输入系统,现如今是众所周知的。这些交互式输入系统包括但不限于:具有将模拟电阻或机器视觉技术运用于寄存器指针输入中的触控系统,例如美国第5448263号、6337681号、6747636号、6803906号、8232986号、7236162号以及第7274356号专利中,以及受让给加拿大亚伯达省卡尔加里市的智能技术无限责任公司,也即本申请受让人的公开号为2004/0179001的美国专利申请以及作为参考而并入该专利申请的全部公开内容中所公开的那些;具有将电子、电容、声学及其他技术运用于寄存器指针输入中的触控板的触控系统;平板或笔记本电脑(PC电脑);智能电话、个人数字助理及其他手持设备;以及其他类似装置。上述并入的由莫里森等人所有的美国第6803906号专利公开了一种触控系统,其采用机器视觉来检测与具有其上呈现有电脑生成图像的触控表面进行交互的指针。矩形边框或框架围绕该触控表面并于其各角落处支撑数字摄像机。这些数字摄像机具有围绕并基本上环视该触控表面的相互重叠的视场。这些数字摄像机从不同的角度获取环视该触控表面的图像并生成图像数据。由数字摄像机所获取的图像数据通过自带的数字信号处理器进行处理以确定所捕获的图像数据中是否具有指针。当确定所捕获的图像数据中具有指针时,数据信号处理器将指针特征数据传送至主控制器,该主控制器接着对该指针特征数据进行处理以确定该指针相对该触控表面在采用三角测量法的(X,Y)坐标系上的位置。该指针坐标信息被传送至执行一个或多个运用程序的电脑上。该电脑采用该指针坐标对呈现于该触控表面上的电脑生成图像进行更新。接触该触控表面的指针因此可被记录为写或描画或用于控制由该电脑所执行的运用程序的执行。由麦克吉布内等人所有的并已受让给智能技术无限责任公司的公开号为WO2010/028490的国际专利申请,公开了一种触控输入系统,其包括至少两个从不同角度捕获感兴趣区域的图像帧的成像组件。各成像组件包括图像传感器和集成信号处理电路。该集成信号处理电路可实现于现场可编程逻辑门阵列(FPGA)、数字信号处理器(DSP)或专用集成电路(ASIC)上。该集成信号处理电路包括聚光灯处理器和边框处理器,以对相关图像传感器所获取的图像数据进行预处理并生成指针数据以及指针悬停及接触状态数据。虽然大多数的交互式输入系统,在很多情况下,该交互式系统采用现有的构件。不幸的是,这些现有的构件往往都是尺寸大、费用高并且效率低。这当然地增加了交互式输入系统的制造及操作成本。另外,在采用通过通信线路进行通信的多个处理器的交互式输入系统中,处理器电路及通信线路的设计具有有限的处理及通信速度,导致产生潜在问题。正如本领域技术人员所能理解的,需要对交互式输入系统设计进行改善。因此,本发明的一个目的是提供一种新的交互式输入系统及方法和用于该交互式输入系统及方法的新的成像组件。

技术实现要素:
相应地,在一个方面中提供了一种交互式输入系统,包括至少两个成像组件,其从不同角度捕获感兴趣区域的图像帧,各成像组件包括图像传感器及实现于专用集成电路(ASIC)上的信号处理电路,所述图像传感器所获取的图像数据通过所述信号处理电路进行预处理;以及,处理结构,其处理所述成像组件输出的预处理图像以确定至少一个指针在所述感兴趣区域中的位置。在一实施例中,处理结构包括多个数字信号处理器及图像数据集中器。图像数据集中器将来自所述成像组件的预处理图像数据与图像数据流相结合并将该图像数据流发送至所述数字信号处理器中的一者。所述数字信号处理器中的一者处理该预处理图像数据以生成指针数据,所述数字信号处理器中的另一者接收来自所述数字信号处理中的一者的指针数据并以三角函数计算该指针数据以确定所述至少一个指针相对于交互表面在(X,Y)坐标系上的位置。在一实施例中,各成像组件捕获图像帧序列中的图像帧,且其中所述信号处理电路处理所述图像帧序列的图像帧以生成所述预处理图像数据。在一种形式中,所述信号处理电路处理图像帧以移除环境光伪影,标识其中代表潜在指针的感兴趣区域以及确定有源指针的身份。在一实施例中,处理结构用于将配置数据提供至成像组件。所述配置数据在所述获取的图像帧中指定形成待预处理的图像数据的像素窗口。根据另一方面,提供了一种用于交互式输入系统的成像组件,包括图像传感器,其具有环视感兴趣区域的视场;以及处理电路,其接收所述图像传感器所获取的图像数据并处理该图像数据,其中所述图像传感器及处理电路实现于专用集成电路(ASIC)上。根据另一方面,提供了一种交互式输入系统,包括至少两个成像组件,其具有从不同角度围绕感兴趣区域的视场,各成像组件捕获图像帧序列,一个图像帧捕获于所述感兴趣区域充斥着光照时,多个图像帧捕获于不存在光照时,各成像组件具有信号处理电路,其采用所述一个图像帧及捕获于不存在光照时的背景图像帧生成不同图像数据并采用该不同图像数据及该背景图像执行垂直强度分布计算以标识一个或多个潜在指针;以及,处理结构,其处理所述成像组件的输出以确定各指针在所述感兴趣区域中的位置。根据另一方面,提供了一种交互式输入系统,包括至少两个成像组件,其从不同角度捕获被边框所围绕的感兴趣区域的图像帧,各成像组件处理所述获取的图像帧的位于窗口中的图像数据,所述窗口在呈现于所述获取的图像帧中时形状大致与所述边框的形状相适配;以及,处理结构,其处理所述成像组件输出的图像数据以确定至少一个指针在所述感兴趣区域中的位置。根据另一方面,提供了一种用于交互式输入系统的成像组件,包括图像传感器,其具有环视感兴趣区域的视场;以及处理电路,其处理所述图像传感器所捕获的图像帧序列,一个图像帧捕获于所述感兴趣充斥着背景光照时,多个图像帧捕获于不存在背景光照时,所述处理电路采用所述一个图像帧及捕获于不存在背景光照时的背景图像生成不同图像数据,并采用所述不同图像数据及所述背景图像执行垂直强度分布计算以标识所述图像帧中一个或多个指针。根据另一方面,提供了一种用于交互式输入系统的成像组件,包括图像传感器,其具有环视感兴趣区域并用于捕获其图像帧的视场;以及处理电路,其处理所述图像帧的像素窗口以标识其中一个或多个潜在指针,其中所述窗口在呈现于所述获取的图像帧中时形状大致与围绕所述感兴趣区域的边框的形状像接近。附图说明以下,将参照以下附图对本发明进行进一步地说明:图1为交互式输入系统的原理示意图;图2为图1所示的交互式输入系统的原理方框图;图3为构成图1所示的交互式输入系统一部分的成像组件中一者的方框图;图4为构成图1所示的交互式输入系统一部分的成像组件及主控器的方框图;图5为图4所示的主控器的功能模块图;图6为构成图3所示的成像组件一部分的图像传感器的像素区域以及所读出的像素区域窗口图;图7为不同图像帧的部分;图8为基于图7所示的不同图像帧并采用第一VIP方法计算的标准化垂直强度分布的图表,且示出了该标准化垂直强度分布的结果感兴趣区域(ROI)的图表;图9为图1所示的交互式输入系统的一部分的前视图,其示出了手指与其中一个成像组件相接近;图10为示出了与该成像组件接近的手指的不同图像帧;图11为图10所示的不同图像帧的放大部分;图12A为基于图10所示的不同图像帧并采用第一VIP方法进行计算的标准化VIP且示出了该标准化VIP结果感兴趣区域的图表;图12B为基于图10所示的不同图像帧并采用第二VIP方法进行计算的另一标准化VIP的不同图像帧,且示出了该标准化VIP的结果感兴趣区域的图表;图13为采用图1所示的交互式输入系统的图像帧捕获序列的图表;图14为用于图1所示的交互式输入系统的一替代性主控器的方框图;图15为用于图1所示的交互式输入系统的又一替代性主控器的方框图。具体实施方式现参考图1及图2,其示出了用于供使用者将例如数字墨水,鼠标事件等的输入注入到执行运用程序中且通常采用参考标号20进行标识的交互式输入系统。在本实施例中,交互式输入系统20包括交互式板22,其安装于垂直支撑表面上,例如墙面或类似面或其他支撑于基本垂直方向上的面。交互式板22包括一个大致呈平面且矩形状的交互表面24,其四周围设有边框26。如智能技术无限责任有限公司所卖的名字为智能UX60的超短焦投影机(未示意)亦安装于交互式板22的支撑表面上并且将例如电脑桌面等图像投影至交互表面24上。交互式板22将机器视觉运用于检测进入与交互表面24相接近的感兴趣区域中的一个或多个指针。交互式板22通过通用串行总线(USB)线缆30或其他合适的有线或无线通信线路与运行一个或多个运用程序的通用计算装置28实现通信。通用计算装置28对交互式板22的输出进行处理并在需要时调整输出至投影机(未示意)的图像数据,从而使得呈现于交互表面24上的图像可反映指针活动。在这种方式中,交互式板22,通用计算装置28及投影机(未示意)使得接近交互表面24的指针活动可被记录为写或描画或用于控制该通用计算装置28所执行的一个或多个运用程序的执行。在本实施例中,边框26采用机械式固定至交互表面24并包括四个边框部分40,42,44,46。边框部分40及42分别沿交互表面24的两相反侧边缘延伸,而边框部分44及46分别沿交互表面24的顶边缘及底边缘延伸。在本实施例中,各边框部分40,42,44,46的朝向内侧的表面包括由反光材料制成的单一纵向延伸条或带。为最佳程度地利用该反光材料的特性,边框部分40,42,44,46被定向设置,从而使得其朝向内侧的表面可沿与该交互表面24所在平面相垂直的面延伸。工具托盘48通过合适的固定件例如,螺钉、夹子、胶粘剂等固定至交互式板22且邻近于边框部分46。可以看出,工具托盘48包括壳体48a,其具有用于形成多个容器或凹槽48c的上表面48b。容器48c的尺寸适于收容一个或多个用于与该交互表面24进行交互的笔工具P以及擦除工具。控制按键48d设置于壳体48a的上表面48b上以使用户控制交互式输入系统20的操作。工具托盘48的一端具有用于收容可拆卸工具托盘配件模块48e的扩展端口,另一端具有用于收容用于与远程装置通信的可拆卸通信模块48f的扩展端口。壳体48a将主控器50(见图4与5)收容于其中。工具托盘48的进一步详细内容描述于2010年2月19日所提交,名称为“交互式输入系统及用于该交互式输入系统的工具托盘”,由柏特等人所有的公开号为2011/0169736的共同转让专利申请中,此专利文献所公开的内容在此通过参考整体并入本文中。电源适配器62在连接至交流电源时为交互式板22提供了必要的操作电源。成像组件60收容于边框26中,且各成像组件60固定至邻近边框的不同角落。成像组件60被定向设置以使其视场相互重叠且大致环视整个交互表面24。在这种方式中,接近交互表面24的任何指针例如使用者的手指F、圆柱体或其他合适的物件,来自工具托盘48的容器48c中的笔工具P(无源或有源)或擦除工具等,出现于成像组件60的视场中并因此捕获于成像组件60所获取的图像帧中。现在转到图3,其更好地说明了成像组件60中的一者。可以看出,成像组件60包括图像传感器70及相关信号处理电路72。图像传感器70及信号处理电路72可实现于专用集成电路(ASIC)上。在本实施例中,图像传感器70具有1024*150像素点的分辨率并安装有两元件,玻璃透镜,该透镜上具有提供视场大致为104度的图像传感器的红线外穿透滤波器(未示意)。在这种方式中,其他成像组件60位于图像传感器70的视场中以确保图像传感器70的视场可包围整个交互表面24。读出控制74与图像传感器70及与子帧管理器78通信的预处理电路76进行通信。子帧管理器78通过并行线路与主子帧处理器80及次子帧处理器82通信。主子帧处理器80与帧缓存器86a及背景缓存器86b进行通信。帧缓存器及背景缓存器86a,86b分别与依次和次子帧处理器82、图像处理器92及边框地图208进行通信的垂直强度分布(VIP)及感兴趣区域(ROI)处理器88进行通信。边框地图208中存有定义了用于CIP计算的开始列、开始行及像素区域的边框文件。图像传感器92还与次子帧处理器82、背景缓存器86b及数据格式器96进行通信。数据格式器96与连接至主控器50的双向串行接口200进行通信。双向串行接口200还与配置寄存器202、连接至图像传感器70的帧控制204,以及LED驱动器210进行通信,该LED驱动器210驱动红外(IR)光源、包括一个或多个IRLED并于成像组件60相关。配置寄存器202与边框地图208、读出控制74及连接至图像传感器70的曝光控制206进行通信。成像组件60进一步包括I2C总线接口212以及时钟发生器214。I2C总线接口212与存储有例如透镜及图像传感器校正数据、序列号等系统参数的参数EEPROM(未示意)进行通信。时钟发生器214生成ASIC所需的所有时钟,例如介于20MHZ至45MHZ之间的像素时钟频率。时钟发生器214支持外部时钟输入并使得外部晶振可用。现转至图4及5,其更好地说明了主控器50。可以看出,主控器50包括三个主要构件,即图像数据集中器300,图像数字信号处理器(DSP)400及主DSP500。图像数据集中器300在本实施例中实现于现场可编程门阵列(FPGA)上并为成像组件60提供了低压差分信号(LVDS)接口。图像DSP400包括多个端口,即并行端口PPI、串行端口SPORT0、双向串行端口SPORT1、GPIO端口、USB端口、串行外设端口(SPI),以及SDRAM端口。图像DSP400通过并行端口PPI及串行端口SPORT0与图像数据集中器300进行通信。图像DSP400通过双向串行端口SPORT1与主DSP500进行通信。GPIO端口接收主DSP500所产生的系统定时信号。SDRAM端口将图像DSP400连接至存储有图像DSP400所必需的暂时数据的同步动态存储器(SDRAM)402。SPI端口连接至存储有图像DSP所需的硬件的串行外设接口固定存储器(SPIEEPROM)404。主DSP500具有与图像DSP400的结构相似的结构。主DSP500包括多个端口,即串行端口SPORT1、双向串行端口SPORT1、定时器端口TMR、SDRAM端口、串行外设接口(SPI)、串行接口UART1和UART2、TWI端口、USB端口,及编码译码器端口。主DSP500的双向串行端口SPORT0连接至图像DSP400的串行端口SPORT1。定时器端口TMR提供定时信号至图像DSP400的GPIO端口。主DSP500的串行端口SPORT1用于将数字音频数据提供至编码译码器端口以转换为可以传送至外设音频系统(未示意)的立体模拟音频信号。主DSP500的SDRAM端口连接至存储有主DSP500所必需的暂时数据的SDRAM502。主DSP的SPI端口连接至SPIEEPROM504,其上存储有主DSP500以及可拆卸地连接工具托盘48扩展端口的模块所需要的硬件。串行接口UART0及UART1供主DSP500与可拆卸连接至工具托盘48扩展端口的模块进行通信。串行接口TWI与I2C协议兼容并用于与工具托盘48以及可拆卸连接至工具托盘48扩展端口的模块进行通信。USB端口接收供主DSP500可与通用计算装置28进行通信的USB线缆30。本实施例中的通用计算装置28为个人电脑或其他合适的处理装置包括,例如,处理单元,系统存储器(易失性和/或固定存储器),其他不可移除或可移除存储器(例如,硬盘驱动、RAM、ROM、EEPROM、CD-ROM、DVD、闪存等),以及将多种计算装置构件连接至处理单元的系统总线。通用计算装置28还可包括用于共享访问或远程驱动的网络连接、一个或多个网络计算机或其他网络装置。在交互式输入系统20的初始化期间,主DSP500通过串行端口SPORT0及SPORT1输出配置数据至图像DSP400,该配置数据进一步通过串行端口SPORT0传送至图像数据集中器300。图像数据集中器300将配置数据输出至各成像组件60。配置数据通过双向串行接口200被各成像组件60所接收并被填入其配置寄存器202。配置寄存器202中的配置数据被各成像组件60用于控制图像帧曝光、图像帧读出以及用于更新存储于边框地图208中的边框文件。在交互式输入系统20的操作期间,主DSP500通过其定时器端口TMR输出同步信号,这些同步信号通过GPIO端口被图像DSP400所接收。同步信号接着通过串行端口SPORT0被传送至图像数据集中器300。图像数据集中器300将同步信号输出至成像组件60。各成像组件60通过其双向串行接口接收这些同步信号。在各成像组件60中,同步信号被施加至帧控制204。作为响应,帧控制204控制图像传感器70进入快照模式并以该同步信号所确定的速率捕获一系列的图像帧。在本实施例中,帧速率高于成像组件60将输出图像数据提供至主控器50的速率10倍之多。尤其地,在本实施例中各图像传感器70的帧速率为1200HZ且主控器50以120HZ的速率处理来自于成像组件60的图像数据。然而,本领域的技术人员可以理解,不同的帧速率及不同的图像数据处理速率亦可被采用。根据配置寄存器202中的曝光配置数据的曝光控制206将输出提供至图像传感器70以在图像帧捕获期间控制图像传感器70的曝光时间。在本实施例中,各图像帧序列包括十(10)个图像帧。同步信号被施加至LED驱动器210,导致LED驱动器210在该图像帧序列的第一图像帧获取期间控制红外光源处于打开状态,从而使得红外光源通过红外光照照明和充斥交互表面24上的感兴趣区域,以及在该图像帧序列的第二图像帧获取期间控制该红外光源处于关闭状态。该红外光源在该图像帧序列的第3至第10图像帧获取期间保持处于关闭状态。在图像帧捕获期间,如果与成像组件60相关的红外光源被控制至处于打开状态,当该成像组件的视场中不存在指针时,成像组件60看见通过边框部分上的反射带所反射的光照并获取在暗背景上具有连续亮带的图像帧。当成像组件60的视场中不存在无源指针且红外光源处于打开状态,指针遮住所反射的红外光照并在该捕获的图像帧中呈现为阻断亮带的暗区域。当红外光源处于关闭状态时,如果成像组件的视场中不存在指针或无源指针,成像组件60则捕获暗图像帧。当成像组件60的视场中存在有源指针且红外光源处于打开状态时,成像组件60看见边框部分上的反射带所反射的红外光照及有源指针所发出的红外光照,并捕获具有于暗背景上的连续亮带的图像帧。当成像组件60的视场中存在有源指针且红外光源处于关闭状态,有源指针在捕获的图像帧中呈现为暗背景上的亮区域。图13示出了所有四个成像组件60图像捕获序列的一部分。各成像组件60连续捕获被分组成图像帧序列的图像帧,各图像帧序列包括10个图像帧。正如前述所提到的,对于各成像组件60,第一图像帧获取于关联的红外光源处于打开状态时。余下的9个图像帧则获取于关联的红外光源处于关闭状态时。为避免相邻红外光源的光照所带来的任何影响,该四个成像组件60的图像传感器70的曝光相互交错,从而使得在给定时间内仅有一个成像组件60捕获图像帧。同理,这些红外光源的光照相互交错并与其关联的图像传感器70同步。当一个成像组件60的图像传感器70捕获一个图形帧后,通过读出控制74读出所捕获的图像帧的图像数据。读出控制74以垂直方向而并非以水平方向逐列从图像传感器70的像素阵列中读出图像数据。以列优先的方式从图像传感器70的像素阵列上读出图像数据简化了下行图像数据处理的实现。读出控制74根据存储于配置寄存器202中的窗口配置数据,仅从图像传感器70的像素阵列上读出像素子集或窗口,从而使得仅具有有用图像数据的像素被读出。在本实施例中,读出控制74从像素阵列位于窗口中的像素中读出图像数据,该窗口的形状大致呈V形,当呈现于所捕获的图像帧中时,该窗口的形状与边框的形状相适配。像素阵列的位于窗口中的像素覆盖邻近交互表面24的区域,从而使得从窗口中的像素上读取出来的图像数据足以标识邻近该交互表面24的指针的位置及特征。如图6所示,该窗口由两条之间间隔有常数距离或高度H的倒置V形边界线所界定。高度H的最小值为10个像素行,最大值为32个像素行。通过仅从像素阵列位于窗口中的像素中读出图像数据,减少了需要通过序列操作进行处理的图像数据量,进而减少了ASIC信号处理电路72所需的处理功率及存储器。在本实施例中,通过在初始化时改变传送至成像组件60的配置数据,主DSP500可用于改变高度H及该窗口的形状。尤其地,配置数据定义了三个沿该窗口的上边界线分布的可调整的点A,B,及C,其中点A和C位于该上边界线的两端,点B位于沿该上边界线长度的中间位置。从读出控制74上读出的图像数据被发送至预处理电路76。预处理电路76包括模数转换器(ADC),模拟增益及线性器及其他用于执行例如模拟数字转换、增益、线性化、坏点/热点校正、倾斜补偿、数字像素合并等处理功能的构件。子帧管理器78接收来自预处理电路76的预处理的图像数据并负责追踪从属于同一图像帧序列的所获取图像帧上读出的图像数据。子帧管理器78酌情将预处理图像数据重定向至主子帧处理器80或次子帧处理器82。从图像帧序列中的前两个图像帧上读取出来的图像数据被定向至主子帧处理器80。由于第一图像帧获取于红外光源处于打开状态时且第二图像帧获取于红外光源处于关闭状态时,主子帧处理器80采用来自这些图像帧的预处理图像数据,通过从该两图像帧中减去该预处理图像数据而移除出现在该两图像帧中的环境光伪影。该不同图像数据进而被存储在帧缓存器86a中。该不同图像数据的各个像素具有范围介于0至255之间的8位颜色值。该背景缓存器86b存储了背景图像,该背景图像在所获取的图像帧中没有检测到指针时动态更新。帧缓存器86a中的不同图像数据及背景缓存器86b中的背景图像之间的重要区别表明一个或多个指针存在于所获取的图像帧中。VIP及ROI处理器88采用存储于帧缓存器86a中的不同图像数据及存储于背景缓存器86b中的背景图像对存储于边框地图208中的边框文件所定义的区域中的VIP进行计算。在该过程中,采用存储于帧缓存器86a中的不同图像数据并行执行两个分立的VIP计算,采用存储于背景缓存器86b中的背景图像执行一个VIP计算。在第一VIP计算期间,采用存储于帧缓存器86a中的不同图像数据,通过沿像素列将像素强度值进行相加,并将各像素列像素强度值的和除以对应的像素列数而对相加结果进行标准化。该VIP计算方法的进一步细节描述于2008年5月9日提交的,名称为“交互式系统及用于该交互式系统的边框”,由汉森等人所有的公开号为2009/0277694的共同转让的发明专利申请中,此专利文献所公开的内容在此通过参考整体并入本文中。还可采用存储于背景缓存器86b中的背景图像以相同方式对VIP进行计算。在VIP及ROI处理器88采用帧缓存器86a中的不同图像数据以及背景缓存器86b中的背景图像计算VIP后,VIP及ROI处理器88基于逐列比较的方式比较该两VIP以根据以下方程式生成第一标准化VIP:NormalizedVIP=VIP_frame/VIP_background(1)VIP及ROI处理器88进而将该第一标准化VIP与一上阈值及一下阈值相比较。比较的结果以各列单一字节的形式进行存储。零“0”表明了存在潜在指针,一“1”则表明了不存在指针。一串零则形成了感兴趣区域(ROI)并表明了指针的存在。当检测到一串零时,VIP及ROI处理器88生成向量形式的ROI数据,该数据包括具有形成该ROI的零的连续列。该ROI数据因此标识了指针在该不同图像数据中的位置。可选地,该VIP及ROI处理器88可通过例如标识该ROI的起始列数,该ROI的结束列数以及该ROI的宽度等生成不同格式的ROI数据。图7示出了存储于帧缓存器86a中用于表明指针存在的不同图像数据。图8示出了采用图7所示的不同图像数据生成的第一标准化VIP及在将该第一标准化VIP与上阈值及下阈值进行比较之后所出现的ROI。通常而言,当无源指针邻近该交互表面24时,该无源指针遮挡了边框部分上的反射带所反射的IR光照并如图7所示呈现为阻断亮带的暗区域。然而在一些情况中,无源指针可呈现为亮区域。如图9中所示,如果无源指针例如手指F进入交互表面24邻近的区域中位于靠近其中一成像组件60的位置,当与该成像组件60相关联的红外光源在图像帧捕获期间进入打开状态时,该红外光源所发出的红外光照可被手指F反射至图像传感器70,从而导致指针如图10所示在图像帧中呈现为亮区域而非暗区域。图11为图10所示的图像帧的放大部分示意图,其中突出了代表该手指的亮区域。正如图10及11中所能看出的,只有靠近该手指边缘的区域为暗的。其他区域,包括该手指的中间部分都相对是亮的。亮区域模糊了边框及该边框上方及下方的暗区域。在这种情况下,第一VIP计算方法可能返回错误的指针检测结果。这是由于存储于帧缓存器86a的不同图像数据上的对应该手指中间部位的像素值与代表该边框(例如,色度为50%或灰阶为128)的像素的平均值相接近。结果,当该第一标准化VIP被计算出来时,该第一标准化VIP对应该手指中间部分的列的字节值等于表明了不存在指针的1。只有该第一标准化VIP对应该手指两边缘区域的列的字节值等于0。因此,当第一标准化VIP与上门限及下阈值进行比较时,表示了存在两个指针的两个ROI被检测到而导致了如图12A所是的错误的指针检测。为避免该错误的结果,第二VIP计算由VIP及ROI处理器88所执行。在运用该第二VIP计算方法期间,边框地图208中的边框文件被用于定义出供存储于帧缓存器86a中的不同图像数据被分割成多个区域的点。在本实施例中,边框文件使得不同图像数据被分割成如图7及11所示的五个区域。本领域的技术人员可以理解的是,可被分割成多于五个区域。区域1包括位于该边框之上的暗像素。区域2的高度为三个像素且该区域同样包括暗像素。区域3为位于边框之上的像素与位于边框中的像素之间的过渡区域。区域4的高度同样为三个像素且包括位于该边框中的像素。区域5包括位于该边框中的像素及成像组件所看到的代表呈现于交互表面24上的边框的反射的像素。VIP及ROI处理器88用于在该第二VIP计算中仅考虑靠近边框的区域。在该第二VIP计算期间,采用存储于帧缓存器86a中的不同图像数据,区域2中的像素值从区域4中的像素值中被减去。所得结果进而除以区域2或区域4中的所有像素列的总数以生成如下所表达的第二VIP:第二标准化VIP进而可通过将第二VIP及采用存储于背景缓存器86b中的背景图像逐列计算出的第一VIP根据以下公式进行比较而确定:M_NormalizedVIP=M_VIP_frame/VIP_background(3)接着,采用存储于帧缓存器86a中的不同图像数据,另一VIP通过将区域4及5中的像素值相加并将所得结果除以区域4及5中的像素行总素而计算得出,如下所示:标准化VIP进而通过将该VIP及采用存储于背景缓存器86b的背景图像逐列计算出的第一VIP进行比较而确定,以根据以下公式生成标准化VIP:T_NormalizedVIP=T_VIP_frame/VIP_background(5)VIP及ROI处理器88进而结合该两标准化VIP,将该结果与上阈值及下阈值进行比较,并将该比较结果以各列单字节的形式进行存储。若该两标准化VIP中的一者小于该下阈值则确定图像帧数据中存在指针。当采用该第二VIP计算方法,区域2中的像素值从区域4的像素值中从减去,导致平均像素值为零(0)。根据方程式(5)所限定的位于该手指中间部分的第二标准化VIP亦接近于零(0)。同时,靠近该手指两边缘的暗区域的标准化VIP值亦接近于零(0)。因此,当所结合的标准化VIP与上阈值和下阈值进行比较时,仅生成了一个如图12B所示的ROI。当指针邻近交互表面24且位于与成像组件60所间隔开的位置上,并且因此避免了结合图10及11所讨论的情况时,第二标准化VIP的计算结果与第一标准化VIP的计算结果大致相同。因此,各标准化VIP计算生成的ROI数据是相同的。一旦ROI数据通过各标准化VIP计算而生成,VIP及ROI处理器88结合该ROI数据并将该ROI数据传送给图像处理器92。图像处理器92还接收帧缓存器86a中的不同图像数据及背景缓存器86b中的背景图像。次子帧处理器82接收并处理图像帧序列的第三至第十图像帧以检测用于与交互表面24进行交互的有源指针身份,假设该有源指针为采用独特于该有源指针的调制频率对其发出的红外光照进行调制的类型。尤其地,该次子帧处理器82将该八个图像帧的感兴趣区域中的所有像素进行相加并结合移位逻辑以在图像帧中具有调制亮区域时生成光强度变化。对该光强度变化进行傅里叶变换以在存在光强度变化时生成该光强度频率领域表示。可以理解的是,若采用无源指针与交互表面24进行交互,由于各图像帧将是暗的,因此不会生成光亮度变化。不过,如果采用有源指针与交互表面24进行交互,该有源指针的身份根据知道其对应调制频率的光强度变化进行确定。关于该有源指针识别方法的进一步详细内容描述于2010年4月1日提交的,名称为“交互式输入系统及其信息输入方法”,由麦克吉布内等人所有的公开号为2011/0242060的共同转让的专利申请中,此专利文献所公开的内容在此通过参考整体并入本文中。次子帧处理器82将该图像帧及该有源指针的识别信息,若有,提供至图像处理器92。图像处理器92对存在于ROI数据中的ROI总数进行计数并且在本实施例中,图像处理器92用于检测上至十(10)个ROI。然而,本领域的技术人员可以理解的是,基于交互式输入系统所需,少于或多于十(10)个ROI亦是可行的。图像处理器92主要执行数据压缩及标准化。来自帧缓存器96a的不同图像数据,来自背景缓冲器86b的背景图像以及来自于次子帧处理器82的图像帧通过将该不同图像数据及图像帧除以该背景图像而实现标准化。若该标准化图像数据及该ROI数据的总和超过双向串行接口200所允许的带宽,图像处理器92则压缩该ROI数据。尤其地,这些ROI根据由大到小的顺序进行压缩直到带宽总和低于双向串行接口200的最大限度值。ROI数据的压缩可通过平均相邻列数据而实现。若采用2:1的压缩比例,具有32行及100列的ROI数据可被压缩至32行及50列。当然也可采用不同的压缩比例,例如4:1等。被处理的ROI数据量是可配置的。在本实施例中,ROI数据量的范围为64至512列,其步长为64列。数据格式器96接收来自图像处理器92的标准化数据、压缩的ROI数据以及在采用有源指针与交互表面24进行交互时的有源指针ID,并将该数据以串流的形式通过双向串行接口200以固定格式传输至主控器50。下表1示出了一示例性格式:表1图像数据集中器300接收各成像组件60的数据格式器96所传送的数据并将该数据与通过并行端口PPI传送至图像DSP400的单数据流进行结合。图像DSP400处理来自图像数据集中器300的数据流以移除错误的指针目标。图像DSP400还处理来自图像数据集中器300的数据流以确定指针接触状态及指针边界等并将该图像数据合成至指针角度中。主DSP500接收来自图像DSP400的指针角度及指针接触状态信息并以三角函数计算该指针角度以确定指针在交互表面24的(X,Y)坐标系上的位置。该指针坐标及指针接触状态信息进一步通过USB线缆30传送至通用计算装置28。尽管图像数据集中器300已被描述为实现于现场可编程逻辑门阵列上,本领域的技术人员可以理解该图像数据集中器还可为其他形式。例如,图像数据集中300可体现于复杂可编程逻辑器件(CPLD)或其他合适的器件中。尽管主控器50已被描述为包括图像DSP和分立的主DSP,其他主控器配置方式亦可行。例如,如图14中所示,主控器50可包括单一的实现图像数据集中器及图像DSP及主DSP功能的专用集成电路。或者如图15中所示的,图像DSP及主DSP的功能亦可通过单一DSP来结合和执行。在上述实施例中,交互式板22被描述为安装于垂直支撑面上。可以理解的是,交互式板22亦可替代性地通过站台实现支撑于垂直方向或可从顶面或其他上方结构上悬吊下来。安装于由该支撑面向外延伸而出的吊杆上的投影机或背投式投影机,而并非是高射短焦投影机可用于将图像投影至交互表面24上。可选地,交互式板22可放置于如其上呈现有图像的液晶显示器(LCD)或等离子电子等平板显示装置或采用平板显示装置实现。交互式板22可选地可放置于水平方向并形成交互式触控桌的一部分。以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1