专利名称：虚拟触摸屏系统中跟踪多个对象方法和系统的制作方法
技术领域：
本发明涉及一种人机交互领域，尤其是设计数字图像处理领域。具体而言，本发明涉及一种虚拟触摸屏系统中跟踪多个对象方法和系统。
背景技术：
触摸屏幕技术现在被越来越广泛地用于作为HMI设备的手持式设备(例如智能电话)以及PC(例如台式PC)中。通过触摸屏幕，用户可以更舒适和方便地操作该设备并带来良好的体验。尽管触摸屏幕技术在手持设备中非常成功，但是对于大尺寸显示器的触摸屏幕却依然存在一些问题和机会属于Canesta，Inc标题为“System and Method for Determining an InputSelected By a User through a Virtual Interface (通过虚拟界面确定用户所选择的输入的系统和方法)，，的美国专利US7151530B2提出了一种用于在一组键值中选择哪个键值被指派为当前键值的方法，因此得以提供与虚拟界面中的区域交叉的对象。该虚拟界面能够实现在键值组中选择单一的键值并使用深度传感器来确定位置， 该深度传感器可以确定与深度传感器的位置相关的位置的深度。此外，对象的位移特性或对象的形状特性至少之一可以得以确定。位置信息可以近似于对象相对于位置传感器或其他参考点的深度。当照相机的像素阵列中足够数量的像素指示对象的存在时，就认为检测到该对象。确定与虚拟输入区域的表面交叉的对象的形状并与多种已知的形状(例如手指或指示笔)进行比较。同样属于Canesta，Inc标题为“Quasi-Three-Dimensional Method AndApparatus To Detect And Localize Interaction Of User-Obj ect And VirtualTransfer Device (用于检测和定位用户-对象和虚拟转换装置的交互的准三位方法和设备)”的美国专利US6710770B2披露了一种采用虚拟装置输入或传输信息到附属装置的系统，包括两个光学系统OSl和0S2。在光线构造实施方式中，OSl在虚拟装置上并平行于该虚拟装置发射扇形光束平面0的光能量。当用户对象穿透感兴趣的光束平面时，0S2登记该事件。三角测量方法能够定位虚拟接触，并将用户预定信息传输到附属系统。在非结构主动光线结构中，OSl优选为一种数字照相机，其视野定义了感兴趣的平面，该平面由一主动光能量源照壳。属于 Apple 公司的标题为"identifying contacts on a touch surface ( i只另Ij角虫摸表面上的触点)”美国专利US7619618B2披露了一种用于在手接近、接触接近感测多触摸表面或在其上滑动时同时跟踪多个手指和手掌接触点的设备和方法。直观的手结构和动作的检测和归类实现了在多用途人类工程学计算机输出装置中的键入、静止、指点、滚动、3D 操纵的空前集成。属 i1 Matsushita Electric & 目白勺 t示 H % "Multi-touch surface providingdetection and tracking of multiple touch points (提供多角虫摸点检测禾口足艮踪的多触摸表面)，，的美国专利申请US20100073318A1披露了一种通过使用正交线性容限传感器的两个独立阵列而能够检测和跟踪多触摸点的用于多触摸敏感表面的系统和方法。
从上面所提到的这些现有技术看来，大多数大尺寸触摸屏幕都是基于电磁板(诸如电子白板)，IR border (诸如互动性大尺寸显示器)等。当时对于大尺寸触摸屏幕的当前的技术方案而言依然存在很多问题，例如总体而言，这些类型的设备通常由于其硬件而导致的其体积大而笨重，因此难以携带，不具有便携性。而且这些类型的设备屏幕尺寸受到硬件的限制而尺寸固定而不能根据环境的需要而自由地调节，而且还需要一种特殊的电磁笔或一种顶笔来进行操作。对于有些虚拟白板投影仪而言，用户必须控制激光笔的开启/关闭开关，这非常繁琐，因此存在激光笔难以控制的问题。另外，在这种虚拟白板投影仪中，一旦激光笔关闭， 就很难精确地将激光点定位到下一个位置，因此存在激光点定位难的问题。有些虚拟白板投影仪中采用了手指鼠标来替代激光笔，但是，采用手指鼠标的虚拟白板投影仪不能检测到触摸开始(touch on)或触摸结束(touch up)。
发明内容
为了解决上面所提到的现有技术中的这些问题，本发明提出了一种虚拟触摸屏系统中跟踪多个对象方法和系统。具体而言，该虚拟触摸屏系统中跟踪多个对象方法包括将图像投射到以一投影表面上；连续获得所述投影表面的环境的图像；从所获得的每帧图像中，检测位于所述投影表面前预定距离内的至少一个对象的备选斑块；以及根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列。根据本发明的在虚拟触摸屏系统中跟踪多个对象的方法，所述根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列的步骤包括接收从一帧新图像中获得多个新斑块的形心点；检索多个已有点序列，针对每个已有点序列，寻找距离该已有点序列临近的形心点，将距离最近的形心点所对应的新斑块作为该已有序列点最近的新斑块；以及将距离该已有点序列最近的新斑块归入该已有点序列。根据本发明的在虚拟触摸屏系统中跟踪多个对象的方法，所述根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列的步骤还包括针对任何一个已有点序列，如果在不存在任何与其临近的新斑块，则给出该已有点序列已结束的通知并删除该已有点序列。根据本发明的在虚拟触摸屏系统中跟踪多个对象的方法，所述根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列的步骤还包括针对所输入的一帧图像中的多个新斑块中的任意一个新斑块，如果不存在任何与其临近的已有点序列，则给出该新斑块为一个新点序列的起点的通知，并创建一个新的点序列。根据本发明的在虚拟触摸屏系统中跟踪多个对象的方法，所述针对每个已有点序列寻找距离该已有点序列最近的形心点的步骤包括输入一个已有点序列，并从所输入的一帧图像中的多个新斑块中寻找距离该已有点序列临近的新斑块；在从所输入的一帧图像中的多个新斑块没有找到距离所输入的已有点序列临近的新斑块的情况下，则给出所输入的已有点序列将要被删除的通知；在从所输入的一帧图像中的多个新斑块找到了距离所输入的已有点序列临近的新斑块，且所找到的临近的新斑块仅仅为所输入的已有点序列的临近的新斑块，则确定该新斑块属于所输入的已有点序列；以及在从所输入的一帧图像中的多个新斑块找到了距离所输入的已有点序列临近的新斑块，且所找到的临近的新斑块还是其他已有点序列的临近的新斑块，如果所找到的临近的新斑块与所输入的已有点序列的距离比与其他已有点序列的距离小，则确定该新斑块属于与所输入的已有点序列最近的新斑块，否则，给出所输入的已有点序列将要被删除的通知；核实是否已经对所有的已有序列点执行了上述步骤。根据本发明的在虚拟触摸屏系统中跟踪多个对象的方法，所述从所输入的一帧图像中的多个新斑块中寻找距离该已有点序列临近的新斑块的步骤包括输入一个新斑块， 计算所输入的新斑块与所输入的已有已有点序列之间的距离；在所计算的所输入新斑块与所输入的已有点序列之间的距离小于一预定的距离阈值Td的情况下，将所输入新斑块插入到属于所输入的已有轨迹的候选临近新斑块列表中，否则，确认是否已经对所有新斑块执行了上述步骤；在确定属于所输入的已有点序列的候选临近新斑块列表的大小小于一个预定的大小阈值Tsize的情况下，确认是否已经对所有新斑块执行了上述步骤，否则，删除属于所输入的已有点序列的候选临近新斑块列表中的与所输入的已有点序列最远的新斑块后，确认是否已经对所有新斑块执行了上述步骤；在确认已经对所有新斑块执行了上述步骤的情况下，如果属于所输入的已有点序列的候选临近新斑块列表不为空，则从所述列表中的候选临近新斑块中找出与所输入的已有点序列最近的新斑块作为所输入的已有点序列的最近新斑块。根据本发明的在虚拟触摸屏系统中跟踪多个对象的方法，还包括对最终获得的点序列采用以下公式进行坐标优化以进行平滑处理，
权利要求
1.一种在虚拟触摸屏系统中跟踪多个对象的方法，包括将图像投射到以一投影表面上；连续获得所述投影表面的环境的图像；从所获得的每帧图像中，检测位于所述投影表面前预定距离内的至少一个对象的候选斑块；根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列。
2.根据权利要求1所述的在虚拟触摸屏系统中跟踪多个对象的方法，所述根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列的步骤包括接收从一帧新图像中获得多个新斑块的形心点；检索多个已有点序列，针对每个已有点序列，寻找距离该已有点序列临近的形心点，将距离最近的形心点所对应的新斑块作为该已有序列点最近的新斑块；将距离该已有点序列最近的新斑块归入该已有点序列。
3.根据权利要求2所述的在虚拟触摸屏系统中跟踪多个对象的方法，所述根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列的步骤还包括针对任何一个已有点序列，如果在不存在任何与其临近的新斑块，则给出该已有点序列已结束的通知并删除该已有点序列。
4.根据权利要求2或3所述的在虚拟触摸屏系统中跟踪多个对象的方法，所述根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列的步骤还包括针对所输入的一帧图像中的多个新斑块中的任意一个新斑块，如果不存在任何与其临近的已有点序列，则给出该新斑块为一个新点序列的起点的通知，并创建一个新的点序列。
5.根据权利要求4所述的在虚拟触摸屏系统中跟踪多个对象的方法，所述针对每个已有点序列寻找距离该已有点序列最近的形心点的步骤包括输入一个已有点序列，并从所输入的一帧图像中的多个新斑块中寻找距离该已有点序列临近的新斑块；在从所输入的一帧图像中的多个新斑块没有找到距离所输入的已有点序列临近的新斑块的情况下，则给出所输入的已有点序列将要被删除的通知；在从所输入的一帧图像中的多个新斑块找到了距离所输入的已有点序列临近的新斑块，且所找到的临近的新斑块仅仅为所输入的已有点序列的临近的新斑块，则确定该新斑块属于所输入的已有点序列；以及在从所输入的一帧图像中的多个新斑块找到了距离所输入的已有点序列临近的新斑块，且所找到的临近的新斑块还是其他已有点序列的临近的新斑块，如果所找到的临近的新斑块与所输入的已有点序列的距离比与其他已有点序列的距离小，则确定该新斑块属于与所输入的已有点序列最近的新斑块，否则，给出所输入的已有点序列将要被删除的通知；核实是否已经对所有的已有序列点执行了上述步骤。
6.根据权利要求5所述的在虚拟触摸屏系统中跟踪多个对象的方法，所述从所输入的一帧图像中的多个新斑块中寻找距离该已有点序列临近的新斑块的步骤包括输入一个新斑块，计算所输入的新斑块与所输入的已有已有点序列之间的距离；在所计算的所输入新斑块与所输入的已有点序列之间的距离小于一预定的距离阈值 Td的情况下，将所输入新斑块插入到属于所输入的已有轨迹的候选临近新斑块列表中，否贝U，确认是否已经对所有新斑块执行了上述步骤；在确定属于所输入的已有点序列的候选临近新斑块列表的大小小于一个预定的大小阈值Tsize的情况下，确认是否已经对所有新斑块执行了上述步骤，否则，删除属于所输入的已有点序列的候选临近新斑块列表中的与所输入的已有点序列最远的新斑块后，确认是否已经对所有新斑块执行了上述步骤；在确认已经对所有新斑块执行了上述步骤的情况下，如果属于所输入的已有点序列的候选临近新斑块列表不为空，则从所述列表中的候选临近新斑块中找出与所输入的已有点序列最近的新斑块作为所输入的已有点序列的最近新斑块。
7.根据权利要求1所述的在虚拟触摸屏系统中跟踪多个对象的方法，还包括对最终获得的点序列采用以下公式进行坐标优化以进行平滑处理，
8.一种在虚拟触摸屏系统中跟踪多个对象的系统，包括投影仪，将图像投射到以一投影表面上；深度照相机，连续获得所述投影表面的环境的图像；对象检测单元，从所获得的每帧图像中，检测位于所述投影表面前预定距离内的至少一个对象的候选斑块；跟踪单元，根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列。
9.根据权利要求8所述的在虚拟触摸屏系统中跟踪多个对象的系统，所述跟踪单元包括接收模块，接收从一帧新图像中获得多个新斑块的形心点；最近斑块寻找模块，检索多个已有点序列，针对每个已有点序列，寻找距离该已有点序列临近的形心点，将距离最近的形心点所对应的新斑块作为该已有序列点最近的新斑块， 并将距离该已有点序列最近的新斑块归入该已有点序列。
10.根据权利要求9所述的在虚拟触摸屏系统中跟踪多个对象的系统，还包括平滑处理单元，对最终获得的点序列采用以下公式进行坐标优化以进行平滑处理，
全文摘要
本发明提供了一种在虚拟触摸屏系统中跟踪多个对象的方法和系统，包括将图像投射到以一投影表面上；连续获得所述投影表面的环境的图像；从所获得的每帧图像中，检测位于所述投影表面前预定距离内的至少一个对象的候选斑块；以及根据前后相邻两帧图像中所获得斑块的形心点在时间和空间上的关系将各个斑块归入相应的点序列。
文档编号G06F3/048GK102541417SQ20101061589
公开日2012年7月4日 申请日期2010年12月30日 优先权日2010年12月30日
发明者张文波, 李磊 申请人:株式会社理光