专利名称：具备近接感测投影点坐标指示的离屏触控交互系统的制作方法
技术领域：
本发明是关于ー种触控式图形界面人机交互系统，特别是关于触控装置与显示装置分离的、触控装置具备近接物体投影点坐标感测、图形界面上可显示近接物体投影点位置指示点的触控式图形界面人机交互系统。
背景技术：
目前图形界面人机交互系统主要有以下两大类。ー类是已经广泛应用多年的基于鼠标输入的图形界面，以美国微软公司的Window操作系统图形界面为典型代表。这种图形界面交互方式的主要特点是，界面上始终显示一个指示点，例如鼠标箭头或文字输入光标。使用者操作一个ニ维平面坐标输入设备，例如鼠标、轨迹球、触控板(TouchPad)Jl^Jf (TrackPoint)等,该设备产生ニ维坐标数据，图形界面根据该坐标数据定位鼠标或光标，根据该坐标数据的变化而在图形界面上移动鼠标或光标，从而定位图形界面上的各种元素，如按钮、菜単、图标、文字等，然后利用对机械按键或触控板的点击动作对已定位的界面元素进行点选(click)操作，或在点击后并且释放按键之前进行拖曳(drag)操作。另ー类是近年来逐渐流行的触控式图形界面，以美国苹果电脑公司的手机和平板电脑所采用的图形界面为典型代表。这种图形界面交互方式的主要特点是，其显示屏同时也是ー个触控面板，无论实际实现上触控面板与显示屏是集成为单ー设备，还是触控面板作为附加设备覆盖于显示屏之上，对于使用者来说没有可察觉的区别，两者融为一体。这种触控界面不需要显示指示点，因为手指或触控笔等物体本身就指明了触碰的位置。使用者因此可以根据直觉用手指或触控笔等物体对图形界面中的元素进行点选(click)、拖曳(drag)等操作，并且可以支持多个触控点，以及执行更多复杂的基于手势(Gesture)的操作。这种交互方式带来了十分出色的用户体验，在便携式设备上的应用近年来得到了飞速的发展。上述第一类交互系统的主要缺陷在干，1，操作图形界面的直观性和易用性相对较差，例如选取ー个界面元素需要两个动作首先通过ニ维坐标输入设备移动指示点到界面元素上方，然后通过点击机械按键或触控板来执行点选操作。2，此种系统通常只同时支持ー个指示点，即使有多个输入设备接入系统，也只能对这ー个指示点进行移动，例如笔记本电脑同时具备触控板和鼠标，但是图形界面上鼠标或光标总是只有ー个。也因此无法实现更多的手势操作，如在触控式图形界面上易于实现的两个手指分开放大图像，合拢缩小图像。3，此种交互系统的输入设备通常需要机械按键或键盘的配合才能完整地实现所有交互操作。 上述第二类交互系统的直观性和易用性优于第一类，但是其最大的缺陷或者说限制在于，触控面板必须与显示屏合为一体，这样才能达到交互操作时的直观性和易用性。这就要求要么将触控面板完全集成于显示屏之内(in-cell)，或者以透明的形式覆盖于显示屏之上。这样带来的问题在干，1，触控面板的技术要求和生产成本较高，生产过程中的良品率相对较低。2，对于非便携式设备，例如平板电视、投影仪等，其显示屏通常尺寸较大，因此使用者需要与显示屏之间保持一定距离，才能获得较舒适的视野范围和清晰度，如此ー来使用者无法直接触摸到显示屏，如果一定要使用者靠近显示屏去进行触控操作，完成操作之后再后退到原来的位置，无疑使用起来极为不便，用户体验甚至比采用鼠标的方式更糟。这是此类交互系统最大的局限性。
目前已经出现ー些触控式遥控器，其配置有触控面板，可将触控信息传送至接收端，进而控制远端的图形交互界面，但是现有的这类产品都未能很好地解决ー个主要矛盾因为触控面板与显示屏分离，使用者无法通过触控面板直观地定位图形界面上的元素，因而无法直观、快捷地实现交互操作。已知的解决方案包括1，实质上是将上述第一类交互系统的ニ维坐标输入设备改装为无线传输，或较远距离的有线传输，使用者通过遥控器上的触控面板控制显示屏上的鼠标或光标，移动到指定的界面元素之上，然后再通过点击动作实现点选，这种方案继承了上述第一类交互系统的所有缺陷。2，遥控器具备显示屏和触控面板，遥控器与受控端建立双向数据连接，受控端可将显示在远端显示屏上的图形界面部分或全部传送到该遥控器上，在遥控器显示屏上同步显示出来，使用者可直观地在遥控器上执行触控交互操作。此种方案的缺陷为，使用者视线必须在远端显示屏和遥控器显示屏之间转换，使用者在执行交互操作时无法同时观看远端显示屏上的内容，其易用性大打折扣；且基于传输速率限制，远端显示屏上显示的内容有时不能完整地，实时地在遥控器显示屏上呈现；另外，此种方案遥控器和接收端的成本都较高。
发明内容
本发明提出一种触控式图形界面人机交互系统，包括与图形界面显示装置分离的触控装置，其触控面板具备近接感测功能，既可感测物体接触到触控面板时的触碰点的坐标数据，也可感测接近触控面板的物体在触控面板上的投影点的坐标数据，并将该两种坐标数据传送至图形界面控制模块；由图形界面控制模块在显示装置上以指示点的形式显示出来。该图形界面控制模块可与显示装置集成在同一个设备内，比如平板电视，或作为ー个单独的设备并向显示装置输出画面，比如机顶盒。使用者在操作该触控装置时，视线不必离开显示屏，当手指或触控笔等物体靠近触控面板并被感测到时，在显示屏上可直观地看到对应的指示点的位置和其移动的轨迹。因此，用户可以像操作便携设备触控界面一祥在远端显示屏上实现直觉式的触控操作。根据本发明的触控装置包括触控面板、控制模块、数据传输模块。其中触控面板可感测物体接触时触碰点的位置并输出坐标数据，并且可以感测物体接近时相对于触控面板的投影点的位置并输出坐标数据。该触控面板可同时支持一个或者多个触碰点以及投影点的感测。其中控制模块读取触控面板输出的触碰点和投影点的坐标数据，将其转换成可供数据传输模块发送的格式。其中数据传送模块从控制模块接收数据并传送至接收端。根据本发明的图形界面控制模块包括数据传输模块、数据处理模块、触控式图形界面控制模块、指示点控制模块、画面合并显示模块。其中数据传输模块负责与上述触控装置通过无线或有线的数据连接，接收由触控装置发送的数据，并转发给数据处理模块。其中数据处理模块将接收到的数据进行解析，得到触控面板输出的触碰点坐标和投影点坐标，井分发给指示点控制模块和触控式图形界面控制模块。其中触控式图形界面控制模块负责绘制图形界面，井根据接收到的一个或者多个触碰点坐标数据执行相应的触控界面交互操作，即实现如前述第二类交互系统的功能。其中指示点控制模块根据接收到的一个或者多个触碰点坐标数据和投影点坐标数据在图形界面之上对应的位置绘制明显可见的ー个或者多个指示点，该触碰点坐标数据和投影点坐标数据的变化直接表现为该指示点在图形界面上的移动。其中画面合并显示模块将图形界面与所有的指示点合并为ー个画面，以供在显示装置上显示，并保证所有指示点在Z轴方向上位于图形界面之上，而不会被任何界面元素所遮盖根据本发明的指示点，包括根据已感测的近接物体投影点的个数，在显示屏上具有相同数量的指示点；根据已接触的物体触碰点的个数，在显示屏上具有相同数量的指示点。该指示点在任意图形界面之上的任意位置均清晰可见。该指示点可以用不同的显示方式来区分其所指示的是触碰点还是投影点，不同的显示方式可以通过指示点的形状、大小、纹理、顔色或其他方式来区分，是否需要区分两种指示点视乎使用者的需求而定，可以由使用者进行配置。当近接物体在可感测范围内移动但尚未接触到触控面板时，该指示点跟随该近接物体投影点的移动在图形界面上做相应移动。当近接物体继续靠近进而接触到触控面板时，该指示点指示出与触碰点的位置。当物体保持与触控面板的接触并移动时，该指示点随触碰点的移动而做相应移动。当物体离开触控面板但仍然在近接感应范围之内时，该指示点转而指示投影点的位置。当物体继续离开触控面板并超出可近接感测的范围时，该指示点消失。根据本发明的触控装置的触控面板与与图形界面控制模块所绘制的图形界面之间存在形状、尺寸和坐标的对应关系，包括该触控面板有效感测区域与该图形界面的可触控区域的形状相似，而不必完全相同；其两者尺寸不必相同；其两者分辨率不必相同；当两者形状或尺寸或分辨率并非完全相同时，触控面板输出的坐标数据以固定的比率转换之后可以完全覆盖图形界面的可触控区域。通过本发明提供的触控式人机交互系统，使用者操作时实现可一直停留在显示装置的显示屏上，观察图形界面，将手指或触控笔等物体置于触控装置的触控面板上方一定距离之内时，在显示屏上将可以直观地看到与该物体在触控面板上投影点所对应的指示点。使用者移动手指或触控笔等可感测物体但不离开可感测范围时，在远端显示屏上将可以直观地看到该指示点相应地移动。使用者将手指或触控笔等可感测物体继续靠近并进而接触到触控面板时，该指示点即反映出使用者在图形界面上触碰到的位置。如图I所示。使用者因此可以凭直觉对远端显示屏上的触控式图形界面进行操作，而不会感觉到任何障碍。本发明的优点在于，在完全保留前述第二类交互系统的直观性和易用性的同吋，克服了其缺陷和限制，使用者可以在显示屏距离较远时仍然获得直观的、优秀的触控式交互体验。本发明可以应用于平板电视、机顶盒、视频会议系统，以及其他需要触控装置与显示装置分离的触控式人机交互的场合。
图I为触控装置感测到手指接触及靠近，显示装置的显示屏上同步显示出对应的指示点的示意图。
图2为本发明实施例中使用者未将手指靠近或接触到触控面板时的情景。图3为本发明实施例中使用者将手指靠近触控面板时的情景。图4为本发明实施例中使用者将手指在触控面板上方可感测范围内移动以定位想要触碰的界面图标时的情景。图5为本发明实施例中 使用者将手指继续靠近直至接触到触控面板时的情景。图6为本发明实施例中使用者将手指在触控面板上滑动时的情景。图7为本发明实施例中使用者将手指抬起离开触控面板时的情景。图8为本发明实施例中使用者将手指移出触控面板可感测范围之外时的情景。图9为本发明实施例的系统结构图。图10为计算触控面板坐标数据与图形界面触控区域坐标数据之间的转换比例的示意图。图11为将指示点画面与触控式图形界面做合并的示意图。
具体实施例方式这里给出本发明的ー种具体实施例，用于详细地说明和解释本发明，但是并不能用于限制本发明。在本实施例中，采用ー种平板电视作为例子，其具有带触控面板的遥控器，在电视屏幕上显示触控式图形用户界面。使用者操作该遥控器时，视线可以一直停留于电视屏幕上，而不必转换到该遥控器之上。这里以使用者将图形界面上的一个图标从屏幕右上角移动到屏幕左下角的操作为例，其操作步骤说明如下。步骤一，当使用者未将任何手指直接接触遥控器的触控面板，并且未将任何手指靠近遥控器的触控面板并进入可近接感测范围时，电视屏幕上不显示任何指示点。如图2所示。步骤ニ，当使用者手指靠近遥控器的触控面板并被感测到时，在电视屏幕上出现指示该手指位置的指示点，本实施例中以空心圆圈作为投影点的指示点，如图3所示。步骤三，使用者在触控面板上方移动手指但尚未触碰到该触控面板吋，电视屏幕上的指示点会相应地移动。使用者因此可以一边移动手指，一边根据电视屏幕上的指示点来找到想要触控的图标的位置，如图4所示。步骤四，当使用者移动手指使指示点到达预定的位置之后，将手指继续向触控面板靠近直至接触到触控面板，本实施例中该指示点变为实心的圆点来表示触碰点，同时由该指示点定位的界面元素得到ー触碰操作指令，例如，该位置处的ー图标被选中。如图5所
/Jn ο步骤五，当使用者保持手指与触控面板接触并在其之上移动时，该指示点也跟随手指触碰点做相应移动，同时触控界面可以根据该移动执行相应的触控操作，例如，已选中的图标跟随指示点的位置移动。如图6所示。步骤六，当使用者将图标移动到预定的位置后，将手指抬起离开触控面板但仍然处于可近接感测的范围之内时，其对应的指示点在电视屏幕上仍然可见，但变回空心的圆圈表示所指示的是投影点而不再是触碰点，如图7所示。步骤七，当使用者将手指继续抬起并超出该触控面板的近接感测范围时，其对应的指示点在电视屏幕上消失。如图8所示。应当理解，上述操作步骤仅为举例说明ー典型的移动图标的交互操作，并不为限制本发明实施例仅能执行上述操作。图9为本实施例的系统结构图。特别说明的是，图中只画出了与本发明相关的组件和模块，对于平板电视普遍具有的电视信号接收处理模块、视频信号接收处理模块等等并未画出。图中的触控面板10为ー矩形电容式触控面板(Touch Pad)，其可感测悬停于其上方一定范围之内的多个手指或触控笔，并输出该手指或触控笔在触控面板上投影点的ニ维坐标。该触控面板同时也能感测与之直接接触的手指或触控笔位置，并输出ニ维坐标。目前比较成熟的电容式触控面板主要分为自电容式和互电容式，或者两种方式的结合。通过仔细调整电容感应触点的排列方式以及信噪比(SNR)，即可以实现对近接物体和触碰物体的感测，并输出准确的坐标数据。目前已有触控面板生产厂家推出此种产品。控制模块11为遥控器I的主控芯片，采用主流的低功耗型MCU，其对触控面板10进行初始化，使其处于工作状态以感测物体的接近和触碰，井随时读取触控面板10输出的触碰点坐标数据Iio和投影点坐标数据120，然后将此两种数据打包成适合传输的格式，再转交给数据传输模块12。遥控器I上的数据传输模块12与平板电视2的数据传输模块25建立数据连接，目前可用的无线传输方式有红外、蓝牙、WiFi、Zigbee等,本实施例采用Zigbee无线通讯技术，其功耗低，适用于近距离传输，大多数现有的Zigbee芯片的数据传输速率为250Kbps或更高，完全可以胜任本实施例中需要传输的ニ维坐标的数据量。以每个触控点或投影点200Hz采样率为例，每个坐标点X轴和Y轴坐标分别占用2Byte，则每个触控点或投影点的数据量仅为200*4*8 = 6400bps,即使同时传输10个触控点或投影点的数据，其总的数据量也仅为60Kbps。遥控器I与平板电视2在通过双方的数据传输模块初次建立连接吋，遥控器I的控制模块11通过数据传输通道将触控面板10的分辨率发送给平板电视2的数据处理模块24，数据处理模块24根据触控面板10的分辨率与触控式图形界面控制模块22的有效触控区域的分辨率，计算出两者之间X轴和Y轴坐标数据线性转换的比例RatioX和RatioY，如图10所示。数据处理模块24具备浮点运算能力以提高坐标转换的精度。特别说明的是，在本实施例中图形界面有效触控区域的分辨率等于显示屏20的分辨率，即显示屏20上显示的所有区域均为可触控操作的区域，而在其他特定的应用场合，两者不必完全相等，有效触控区域可能小于显示屏的分辨率，也即显示屏上显示的图形界面只有部分区域可进行触控操作。有效触控区域也可能大于显示屏的分辨率，本发明对此并不做限制，但是由于超出的部分不会在显示屏上显示出来，实际应用中没有大大的意义。平板电视2的数据传输模块25将接收到的数据转交给数据处理模块24，该数据处理模块24对数据进行拆包，得到每个触碰点坐标数据110和投影点坐标数据120，并根据前述已计算出的坐标数据线性转换比例RatioX和RatioY，计算出转换后的触碰点坐标数据210和投影点坐标数据220，并传送到指示点控制模块23，同吋，将转换后的触碰位置坐 标数据210传送到触控式图形界面控制模块22。指示点控制模块23输出一画面，该画面分辨率与图形界面有效触控区域的分辨率相等，也即与显示屏20的分辨率相等，该画面背景为透明，并根据由数据处理模块24发送过来经转换后的触碰点坐标数据210和投影点坐标数据220在该画面上绘制指示点，并以不同的显示形式区分表示触碰点的指示点和表示投影点的指示点。本实施例中，以空心圆圈表示投影点的指示点，以实心的圆点表示触碰点的指示点。触控式图形界面控制模块22输出绘制有图形界面的一画面，并根据由数据处理模块24发送过来的经转换后的触碰点坐标数据210，执行相应的触控交互操作，并相应地更新绘制图形界面。例如，当触碰点在某按钮上时，执行由该按钮定义的动作；当检测到一系列连续的触碰点坐标变化，即手指在触控面板上滑动时，执行该滑动手势对应的操作，等等。该触控式图形界面控制模块22既可自行开发，亦可采取免费或付费授权的方式直接采用现有的技术，例如主要由美国Google公司开发的Android平板电脑触控界面。画面合并显示模块21将指示点控制模块23输出的指示点画面和触控式图形界面控制模块22输出的图形界面进行合并，其合并的规则为指示点画面在Z轴方向上位于图形界面之上；指示点画面以α混合的方式合并到图形界面之上。从而确保所有的指示点与图形界面合并之后仍然清晰可见，并且图形界面上的内容也不会被指示点完全覆盖，如图11所示。该画面合并显示模块21通常由专门的图形处理芯片(GPU)完成，既不会大量占用主控芯片(CPU)的处理时间，又能保证流畅的显示效果。在目前消费电子领域中，特别是在用于具备触控式图形界面的中高端设备中，所采用的主流的嵌入式单芯片大多已经集成GPU。显示屏20接收来自画面合并显示模块21输出的画面并显示给使用者。如上所述，通过本发明实施例提供的技术方案，使用者通过遥控器I与平板电视2上的触控式图形交互界面进行互动时，可利用指示点直观地感知到手指或触控笔所处的位置，以及是否与触控板接触到。其用户体验相比于用手指或触控笔直接在显示屏上进行触摸的方式，既兼具其直观、便捷的优点，更因为不需要将手置于屏幕之上，而避免在操作时手会遮挡部分屏幕画面的缺憾，可以说进一步提升了用户体验。在基于此技术方案的平板电视上，用户可以流畅的操作图形界面，浏览网页、图片，并操作丰富的应用程序，以及游戏。
以上所述仅为本发明在平板电视产品上的优选实施例，并不用于限制本发明。对于掌握相关技术的人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种触控式图形界面人机交互系统，包括触控装置、图形界面控制模块、显示装置，其特征在于触控装置与显示装置分离，触控装置上的触控面板可感测物体接触到触控面板时触碰点的坐标和物体接近时在触控面板上的投影点的坐标，触控装置与图形界面控制模块之间建立数据连接，将触碰点和投影点的坐标传送到图形界面控制模块，图形界面控制模块根据接收到的触碰点和投影点的坐标，在图形界面上画出对应的指示点，所有画出的指示点不会被其他界面元素所遮盖，当触碰点和投影点移动时，对应的指示点随之在图形界面上移动，若触碰点和投影点消失，对应的指示点随之在图形界面上消失，图形界面控制模块将所画出的图形界面和指示点输出到显示装置。
2.根据权利要求I所述的触控式图形界面人机交互系统，其特征在于触控装置、图形界面控制模块、显示装置分别为单独的设备。
3.根据权利要求I所述的触控式图形界面人机交互系统，其特征在于触控装置为ー个单独的设备，图形界面控制模块和显示装置集成于另ー个单独的设备。
4.根据权利要求I所述的触控式图形界面人机交互系统，其特征在于触控装置与图形界面控制模块集成于ー个设备，显示装置为另ー个单独的设备。
5.根据权利要求2或权利要求3所述的触控式图形界面人机交互系统，其特征在于触控装置与图形界面控制模块之间通过无线通讯模块建立数据连接并传输数据。
6.根据权利要求2或权利要求3所述的触控式图形界面人机交互系统，其特征在于触控装置与图形界面控制模块之间通过有线通讯模块建立数据连接并传输数据。
7.—种触控装置，包括触控面板，数据传输模块，其特征在于该触控面板具备近接感测功能，既可以感测物体接触到触控面板时触碰点的坐标，也可以感测物体接近触控面板时在触控面板上的投影点的坐标，并通过数据传输模块发送触碰点和投影点的坐标数据。
8.根据权利要求7所述的触控装置，其特征在于触控面板可同时感测ー个或多个触碰点和投影点的坐标，并通过数据传输模块发送所有触碰点和投影点的坐标数据。
9.根据权利要求7所述的触控装置，其特征在于数据传输模块采用无线通讯方式。
10.根据权利要求7所述的触控装置，其特征在于数据传输模块采用有线通讯方式。
11.一种图形界面控制模块，输出图形界面的画面，从触控装置接收数据，执行相应的触控操作并更新图形界面的画面，其特征在于根据从触控装置接收的触碰点和投影点的坐标数据，定位到图形界面上对应的位置，在该位置画出指示点，所画的指示点不会被图形界面上的任何界面元素所遮盖；当触碰点和投影点的坐标数据变化时，擦除在原来位置所画的指示点，在变化后的位置画出指示点，使得指示点在图形界面上的移动反映出触碰点和投影点的移动；当触碰点或投影点消失时，擦除与该触碰点或投影点对应的指示点。
12.根据权利要求11所述的图形界面控制模块，其特征在于区分从触控装置接收的坐标数据是表示触碰点还是投影点，对于触碰点和投影点画出不同形式的指示点。
13.根据权利要求11所述的图形界面控制模块，其特征在于具有可配置的选项，可以通过配置选项指定是否需要画出触碰点的指示点、是否需要画出投影点的指示点。
14.根据权利要求11所述的图形界面控制模块，其特征在于，包括 数据传输模块，用干与根据权利要求7所述的触控装置建立数据连接，从所述触控装置接收数据，并转发给数据处理模块； 所述数据处理模块，从数据传输模块所转发的数据中解析出所述的触碰点坐标数据和投影点坐标数据，并转发给指示点控制模块和触控式图形界面控制模块； 所述指示点控制模块，根据接收到的所述触碰点坐标数据和投影点坐标数据，画出所有的指示点，并输出给画面合并显示模块； 所述触控式图形界面控制模块，绘制图形界面的画面，根据接收到的所述触碰点位置数据和投影点位置数据 执行相应的触控操作，同时更新图形界面的画面，并将图形界面的画面输出到画面合并显示模块； 所述画面合并显示模块，将接收到的所述图形界面的画面和指示点画面合并为ー个画面，然后输出到显示装置。
全文摘要
本发明提出一种触控装置与图形界面显示屏分离并具备近接感测投影点坐标指示的人机交互系统。该触控装置可感测物体接近其触控面板时的投影点的坐标，也可感测物体接触到触控面板时触碰点的坐标，并将此两种坐标数据以有线或无线的方式传送至一图形界面控制模块。该图形界面控制模块绘制图形界面，并根据接收到的投影点坐标数据，在图形界面上对应的位置画出指示点，从而以直观的方式指示出并持续跟踪靠近触控面板的物体的投影点位置。当物体接触到触控面板时，图形界面控制模块根据触碰点的坐标以及移动执行相应的触控式图形界面交互操作，同时也可在图形界面上画出触碰点的指示点。
文档编号G06F3/048GK102622182SQ201210111348
公开日2012年8月1日 申请日期2012年4月16日 优先权日2012年4月16日
发明者李波 申请人:李波