专利名称：一种背投光源式触摸识别装置及其触摸识别方法
技术领域：
本发明涉及触摸屏技术，尤其涉及一种背投光源式触摸识别装置 及其触摸识别方法。
背景技术：
现有的使用摄像头的触摸屏定位装置，通过使用两个或两个以 上的数字摄像头连续获取目标图像，然后利用数字信号处理器对每个 摄像头获得图像进行处理，最后对图像进行合成分析计算出目标物在 屏幕上的位置目标，但这种方案，系统结构复杂，需要多个摄像头同 时工作，需要解决不同摄像头之间的图像同步问题，且图像处理算法 和定位算法都比较复杂，成本较高。
在专利号为200610122463.0的申请文件中公开了 一种触摸屏定 位装置及其定位方法，该申请文件公开了 一种釆用单个摄像头或图像 感应器、单色线状光源来实现触摸定位的装置，简化了定位装置的结 构，但是这种结构釆用的单色线状光源安装在触摸屏的一侧或任一靠 近屏幕边缘的角落，从而不能总是识别多点触摸，例如在光源光线的 投射方向上的两个触摸点，其中有一个就会被遮挡，从而这种触摸屏 定位装置就会失效，不仅如此，采用侧面安装的光源也很难识别触摸 物的形状，从而限制了它的应用范围。此外，在无源的投影显示屏幕 (如毛玻璃屏幕)侧面安装电源，需要增加布线，使总的结构不够简洁。
发明内容
本发明的目的是提供一种结构简单、能够识别多点触摸和触摸物 形状的背投光源式触摸识别装置。
本发明的另一目的是提供一种能够集成化投射光源、传感器和光 源的背投光源式触摸识别装置。本发明的另 一 目的还提供 一 种背投光源式的触摸识别方法。 为达到上述目的，本发明实施例的技术方案提供 一种背投光源式 触摸识别装置，包括显示屏幕、图像传感器以及投影机；图像传感器 和投影机安装在显示屏幕后方一定距离处且能够拍摄或投影到整个 显示屏幕，其特征在于，该装置还包括单色照明光源，该单色照明光 源安装在显示屏幕后方的一定距离的位置处，该位置限定为使其所发 出的各个方向的光线能够覆盖整个显示屏幕区域。
其中，所述单色照明光源与投影机集成在一种光路集成结构装置中。
其中，所述光路集成结构装置的一种结构，是把投影机的光学投 射系统拆分为两个部分， 一部分安装在投影机的机身上，另一部分构
成一个镜头组；在所述投影机的光路上安装有一个单面反射镜，其反 射面面对着投影机和所述镜头组的入射端；所述单色照明光源安装在 单面反射镜透射面的一侧；所述投影机安装在所述反射镜的反射面所 对应的方向上，单色照明光源发射的光线，透过单面反射镜到达镜头 组的入射端。
其中，所述投影机与图像传感器集成在一种光路集成结构装置中。
其中，所述光路集成装置的一种结构，是把投影机的光学投射系 统拆分为两个部分， 一部分安装在投影机的机身上，另一部分构成一 个镜头组；在所述投影机的光路上安装有一个单面反射镜，其反射面 面对着图像传感器和所述镜头组的投影图像的入射端；图像传感器安 装在所述单面反射镜的反射面一侧；所述投影机安装在所述反射镜的 透射面一侧。
其中，所述投影机与图像传感器集成在一种光路联动结构装置中。
本发明实施例的技术方案还提供一种使用背投光源式触摸识别装置的触摸识别方法，包括以下步骤
a:计算机系统初始化读取原始数据，单色照明光源照射到整个
显示屏幕上；
b:图像传感器以帧为单位连续对投影屏幕进行完全拍摄，并输 出图像信号或数据到计算机中；
c:计算机系统读取图像传感器一帧的数据；
d:对图像进行处理，分析显示屏幕上是否有高亮反射点的象素， 如果没有，则返回步骤c,如果有，则记录其位置，继续下一步骤。
e:根据原始数据计算各个高亮反射点的象素相对于显示屏幕的 象素的位置坐标；
f:输出包含有上述各个高亮反射点的象素的相对于显示屏幕的 象素的位置坐标的数据，然后返回到c步骤。
其中，所述步骤a中所述的原始数据为计算机系统存储的校准数 据，或者是投影机和图像传感器集成结构的固化数据。
其中，所述步骤e还包括根据计算得到的各个高亮象素点的位置 关系来判定触摸物与显示屏幕接触部分的轮廓形状的步骤。
上述技术方案仅是本发明的一个优选技术方案，具有如下优点 本发明实现了多点触摸识别，并且能够识别触摸物的形状。本发明系 由于不用在显示屏幕四周安装电源，从而使系统更加简单，不仅如此， 釆用投射光源、图像传感器可与投影机结合或集成在一起，更是简化 了系统。
图i是本发明的触摸识别装置的总体结构图； 图2是本发明的背光照明的光路集成结构示意图； 图3是本发明的投影和摄像共用光路的集成结构示意图 图4是本发明的投影和摄像光路同步调节的结构示意图； 图5是本发明的多点识别和触摸物轮廓识别的原理示意6图6是本发明识别触摸物的程序流程图。
图中101、投影屏幕；102、触摸物；103、投影机；104、图像 传感器(摄像头)；105、单色照明光源；106、滤色镜；107、投影机 发射的光线及投射角；108、图像传感器接收的光线或视角；109、照 明光源的光线及投射角；110、触摸物所反射的光线；201、单面反射 镜；202、投影机机身；203、投影机镜头组；204、图像光线；205、 照明光线；206、混合光线；207、投射光线及投射角；301、屏幕反 射的照明光线；302、经镜头组汇聚的照明反射光线；303、入射到图 像传感器的反射照明光线；401、图像传感器的镜头组；402、联动结 构；501、投影屏幕的显示面；502、毛笔的反射轮廓；503、 一般书 写笔的反射轮廓；504、手指的反射轮廓。
具体实施例方式
以下实施例用于说明本发明，但不用来限制本发明的范围。 如图l所示，本发明总体结构包括投影屏幕101、投影机103、图 像传感器(摄像头)104和单色照明光源105,从图中可以看出，单色 照明光源105放置在投影屏幕101的后方的一定距离内，与投影机103、 图像传感器(摄像头)104都处于同一区域内，投影机103、图像传感 器(摄像头)104安装在投影屏幕101后方的一定距离内，以使能够拍 摄或投影到整个屏幕的位置上。线107和108表示投影机103和摄像头 104所能投影或拍摄到的范围，线109表示照明光源105所能照射到的 范围，线110表示触摸物从照明光源105所反射光线进入到摄像头104 中。
当触摸物102触摸屏幕时，在屏幕后方的照明光源105所投射的光 线被触摸物反射回来，图象传感器或摄像头104就会捕捉到被触摸物 所反射的光线IIO,经过图像传感器(摄像头)的釆集转换后，输出图像 信号或数据给计算机进行处理。由于照明光源105不是安装在屏幕的 一侧，而是安装在屏幕后方的一定距离内，这个距离设定为使照明光源所发出的光线能够覆盖整个屏幕的区域，因此，即使有多个触摸点， 也都能被照明光源105照射到，同时，这多个触摸点所反射的光线也
都能进入到摄像头104中，从而触摸点的形状也都能被摄像头104所捕
捉识别。
假如毛笔、书写笔和手指同时触摸投影屏幕，这些物体与投影屏 幕的接触部位都可以反射照明光源，形成的高亮反射点被摄像头捕 捉。但是由于不同物体与屏幕的接触端的软硬、形状不同，因此接触
部位在屏幕上所显示的轮廓图形也不一样。如图5所示，可以看出毛 笔的反射轮廓502、以及书写笔的反射轮廓503以及手指的反射轮廓 504在投影屏幕上的形状不同，因此被摄像头104所捕捉识别出的多点 触摸物的高亮点反射轮廓，经过摄像头的图像釆集和计算机的图像处 理后，得到触摸物相对于显示象素的位置坐标，甚至还可以根据计算 机中存储的各种性质的触摸物的特征轮廓数据，得到触摸点的轮廓形 状。然后这些数据被送到计算机后台进行处理，从而可以识别判断出 触摸点的位置、数量以及触摸物的性质。这样计算机能够根据上述数 据，通过如控制、绘画、文字输入等目标程序来控制显示屏幕进行相 应的操作控制。比如，如果识别出是多点触摸，则调用多点触摸的处 理程序；如果识别触摸物的轮廓特征与数据库中毛笔的特征相同是毛 笔，就可以自动选择毛笔书写的效果。
投影机103和单色照明光源105可以集成在一种结构中，如图2所 示，为投影机103和单色照明光源105的光路集成机构示意图。投影机 103的光学投射系统被拆分为两个部分， 一部分安装在投影机机身202 上，另一部分构成一个镜头组203;在所述投影机的光路上还安装有 一个单面反射镜201(本发明中所述单面反射镜，是一种一个表面可以 反射光线，另一个表面能够透射光线的平面光学元件)，其反射面面 对着投影机和所述镜头组的入射端；所述单色照明光源安装在单面反 射镜的背面，即透射面一侧。这样，投影图像通过单面反射镜/透射镜201被反射到镜头组203的入射端；单色照明光源105则从单面反射 镜201的背面发出光线，透过该镜后也到达镜头组203的入射端。经过 这种集成机构既可以实现投影功能又能实现照明功能，目前来说这种 集成技术很成熟，这里不作详述。本发明釆用投影机103和照明光源 105的集成机构，照明光源的照射范围与投影机的投射范围相同，因 此不用调节照明方位、角度参数就可以直接照射到投影机103所投射 范围区域内的触摸物，而且不会干扰周围对该光源的光线敏感的物 体，如安全监视用的摄像头。
同样地，如图3所示，根据光路可逆性原理，投影机103和图像传 感器(摄像头)104可以釆用共用光路的集成结构。与上面集成结构 的照明系统相类似，投影机的光学投射系统被拆分为两个部分， 一部 分安装在投影机机身202上，另一部分构成一个镜头组203。在所述投 影机的光路上还安装有一个单面反射镜201,投影机安装在单面反射 镜的背面即透射面，投影图像通过单面反射镜透射到镜头组203的入 射端；图像传感器(摄像头)安装在所述反射镜的反射面所对应的方 向上，通过镜头组203透射回来的触摸图像则被反射到图像传感器(摄 像头)的镜头上。
另外，根据变焦旁轴相机的取景器与拍摄镜头同步联动的原理， 还可以使用另 一种图像传感器与投影机系统集成的方式，如图4所示， 投影机103和图像传感器(摄像头)104还可以釆用光路同步调节(光 路联动)的集成结构。由于釆用这种光路集成或联动的结构，不用进 行初始化的定位校准，就可以直接根据触摸物形成的高亮象素在摄像 头的传感芯片上的位置，经过计算来获得触摸物的位置坐标。
由此可以想到进一步合并系统的各个部分，把单色照明光源和投 影机、图象传感器都可以集成在一种光路集成结构中，这样就更简化 了触摸识别系统。
本发明釆用的照明光源是单色照明光源，可以是红外线或其它形式的光源，同现有技术一样，在图像传感器中使用滤色镜106,其作 用是仅允许与光源发出的光颜色相同的光进入，消除可见光段的投影 图像以及周围杂光对摄像头(图像传感器)104的干扰。
在本发明中，图像传感器104、投影机103以及投影屏幕101都与 计算机相连，图像传感器104捕捉到的触摸物所反射的光线后，传输 给计算机进行图像分析，得到触摸点相对于显示象素的位置等数据， 如图6所示。如果计算机中还存储有各种触摸物在显示屏幕上成像的 形状或轮廓特征的数据库，就可以通过特征数据的比较来判断识别触 摸物的形状轮廓。如果釆用摄像和投影光路集成或光路联动的集成结 构时，初始步骤601就不用读取校准数据，而是直接读取光路集成或 光路联动集成结构的固化数据。因为这时可以设置投影机的投射角和 摄像头的视角相同，或者成一个固定的比例，所以可以设定投影机上 每一行和一列的象素数与摄像头的图像传感芯片(CCD或CMOS芯 片)上每一行和一列象素数的比值，从而得到两者之间的对应关系的 原始数据。这里所说的校准数据为本发明存储在计算机系统的校准数 据，是使用人工方法，通过触摸计算机通过投影机显示在屏幕101上 特定的多个特征点，得到这些特征点在图像传感器内CCD或者CMOS 感应芯片上的象素位置，然后通过计算得到这些象素的位置与显示图 像的象素的位置之间关系的数据。触摸屏的校准技术也是一种非常常 用的成熟技术，在此就不再详细说明，可参考前面参考的专利文献及 其内部所涉及的各种专利文献的内容。
总的来说本发明的触摸识别方法为
1) 计算机系统初始化读取原始数据，单色照明光源照射到整个 显示屏幕上，在触摸物与显示屏幕接触部位的象素出现高亮反射点；
2) 图像传感器以帧为单位连续对投影屏幕进行完全拍摄，并输 出图像信号或数据到计算机中；
3) 计算机系统读取图像传感器一帧的数据；4) 然后对图像进行处理，分析象素亮度，如果在屏幕上有触摸 物，则分析出高亮反射点的象素，记录其位置，进行下一步，如果屏
幕上没有触摸物，则返回步骤3);
5) 根据原始数据计算各个高亮反射点的象素相对于显示屏幕的 象素的位置坐标；
6) 输出包含有上述各个高亮反射点的象素的相对于显示屏幕的 象素的位置坐标的数据到目标程序，然后返回到第3步骤。
在识别触摸物的过程中，图像传感器以帧为单位连续对投影屏幕 进行完全拍摄，如果手指等这样的触摸物触摸显示屏幕时，和显示屏 幕的接触部分在一帧图像中全部被拍摄到，这样图像信号被传输到计 算机系统中，经过处理之后，根据计算机系统已经存储的相关各种性 质的触摸物的特征轮廓数据，来判别这种触摸物的形状。之后，本发 明的触摸识别装置继续进行下 一帧的触摸物识别，直到本发明的触摸 识别装置停止工作。
当然，判断触摸物形状的步骤也可以放到应用程序中来执行，如 画图程序；或者作为实现本方法的程序流程中的一个子程序，在需要 时调用。因为不是所有使用触摸功能的应用程序都需要判断触摸物的 性质，比如在显示"桌面"上操作计算机，就只需要触摸点击的功能， 而不需要判断触摸物的形状或性质。这时如果再判断触摸物的形状或 性质，将占用计算机的系统资源，必然降低计算机的工作效率。
以上所述为本发明的 一种实施例，本发明的保护范围并不局限于
权利要求
1、一种背投光源式触摸识别装置，包括显示屏幕、图像传感器以及投影机，图像传感器和投影机安装在显示屏幕后方一定距离处且能够拍摄或投影到整个显示屏幕，其特征在于，该装置还包括单色照明光源，该单色照明光源安装在显示屏幕后方的一定距离的位置处，该位置限定为使其所发出的各个方向的光线能够覆盖整个显示屏幕区域。
2、 如权利要求l所述的背投光源式触摸识别装置，其特征在于， 所述单色照明光源与投影机集成在一种光路集成结构装置中。
3、 如权利要求2所述的背投光源式触摸识别装置，其特征在于，所述光路集成结构装置中，其中投影机的光学投射系统被分为两个部 分， 一部分安装在投影机的机身上，另 一部分构成一个单独的镜头组； 在所述投影机的光路上安装有一个单面反射镜，其反射面面对着投影机和所述镜头组的入射端；所述单色照明光源安装在单面反射镜的透 射面一侧。
4、 如权利要求i所述的背投光源式触摸识别装置，其特征在于， 所述投影机与图像传感器集成在一种光路集成结构装置中。
5、 如权利要求4所述的背投光源式触摸识别装置，其特征在于， 所述光路集成装置中，其中投影机的光学投射系统被分为两个部分， 一部分安装在投影机的机身上，另一部分构成一个单独的镜头组；在 所述投影机的光路上安装有一个单面反射镜，其反射面面对着图像传 感器和所述镜头组的投影图像的入射端；所述图像传感器安装在所述 单面反射镜的反射面一侧；所述投影机安装在所述反射镜的透射面一
6、 如权利要求l所述的背投光源式触摸识别装置，其特征在于， 所述投影机与图像传感器集成在一种光路联动结构装置中。
7、 一种使用背投光源式触摸识别装置的触摸识别方法，包括以下步骤a:计算机系统初始化读取原始数据，单色照明光源照射到整个 显示屏幕上；b:图像传感器以帧为单位连续对投影屏幕进行完全拍摄，并输 出图像信号或数据到计算机中；c:计算机系统读取图像传感器一帧的数据；d:对图像进行处理，分析显示屏幕上是否有高亮反射点的象素， 如果没有，则返回步骤c，如果有，则记录其位置，继续下一步骤。e:根据原始数据计算各个高亮反射点的象素相对于显示屏幕的 象素的位置坐标；f:输出包含有上述各个高亮反射点的象素的相对于显示屏幕的 象素的位置坐标的数据，然后返回到c步骤。
8、 如权利要求7所述的触摸识别方法，其特征在于，步骤a中所 述的原始数据为计算机系统存储的校准数据，或者是投影机和图像传 感器集成结构的固化数据。
9、 如权利要求7所述的触摸识别方法，其特征在于，步骤e还包 括根据计算得到的各个高亮反射点的象素的位置关系来判定触摸物 与显示屏幕接触部分的轮廓形状的步骤。
全文摘要
本发明涉及一种背投光源式触摸识别装置，包括显示屏幕、图像传感器以及投影机，图像传感器和投影机安装在显示屏幕后方一定距离处且能够拍摄或投影到整个显示屏幕，该装置还包括单色照明光源，该单色照明光源安装在显示屏幕后方的一定距离的位置处，该位置限定为使其所发出的各个方向的光线能够覆盖整个显示屏幕区域。本发明还提供了投影机与光源以及图像传感器的多种光路集成或联动的技术方案，以及实现触摸检测的方法。根据本发明实现了多点触摸识别，并且能够识别触摸物的形状。
文档编号G06F3/041GK101464745SQ20081011140
公开日2009年6月24日 申请日期2008年6月3日 优先权日2007年12月17日
发明者刘建军, 刘新斌, 叶新林 申请人:北京汇冠新技术有限公司