专利名称：一种多点触摸跟踪识别方法及其系统的制作方法
技术领域：
本发明涉及触摸控制技术领域，尤其涉及一种多点触摸跟踪识别方法及其系统。
背景技术：
随着触摸控制产品的广泛应用，触摸控制技术已成为当今人机交互中的热点技术。许多产品的控制都逐步被触摸控制技术所代替，同时触摸控制技术也在不断挑战新的应用环境和领域。在基于光学图像的触摸控制应用环境中，通常用户希望机器能支持更多触摸点操作以满足不同应用需求，同时也希望机器能更加智能地理解用户意图，进而为用户提供更加自然、智能的服务。在目前的触摸控制系统中，机器通过分析用户在触摸屏上移动的轨迹来判断用户欲执行的操作，所以机器正确地扑捉、跟踪到触控的轨迹就非常重要。通常，只有单点在触摸屏上移动时，机器通过关联光学图像前后帧之间的亮点就能得到正确触摸点移动的轨迹，但随着触摸点数增加，该方法就不能识别前后帧的多个触摸点之间的关系，无法分别得到各触摸点的正确轨迹，所以需要开发更加鲁棒、准确的多点跟踪识别方法，为机器智能决策提供正确的轨迹。在目前的多点跟踪识别方法中，主要采用两种方法一是针对光学图像前一帧中所有触摸点，在后一帧中搜索欧式距离最为接近的触摸点进行关联。该方法简单、实时性非常好，且目前该算法有多种改进版本，但是该方法仍无法避免欧式距离最近即为最优关联这一错误认识的本质缺陷；另一方法是采用K近邻算法，该方法为前一帧中每个触摸点在后一帧中搜索K个欧式距离最小的触摸点，并依距离值进行排序，然后对前一帧中每一个触摸点关联距离最小的触摸点，若后一帧中某触摸点处于前一帧中多个触摸点的K近邻中，则采用“最小距离通吃”的思想优先匹配，该算法实时性很好，跟踪精度较前者好，但仍是一种局部最优方法，没有从整体上考虑最优关联，即仍没有从全局角度给出评判当前关联方式是否为最优。
发明内容
针对以上现有技术多点触摸跟踪的缺点，本发明要解决的技术问题在于提供一种从全局角度分析的多点触摸跟踪识别方法。给出了全局评判方式，可判断当前关联是否为最优关联。一种多点触摸跟踪识别方法，包括获取相邻两帧图像中的触摸点位置；根据所述触摸点位置，计算前后两帧图像的各个所述触摸点之间的距离；按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式；分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度，则判断所述前一关联方式为最优关联方式。
本发明要解决的技术问题还在于提供一种从全局角度分析的多点触摸跟踪识别系统。一种多点触摸跟踪识别系统，包括用于获取相邻两帧图像中的触摸点位置的触摸点检测模块；用于根据所述触摸点位置，计算前后两帧图像的各个所述触摸点之间距离的距离计算模块；用于按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式的搜索模块；用于分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式的离散度计算模块。与现有技术相比较，本发明的多点触摸跟踪识别方法及其系统，通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离，以及每个所述关联方式下的触摸点离散度，保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性，采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性，该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。本发明的多点触摸跟踪识别方法及其系统能实时、准确和稳定地运行在目前的各种触摸交互设备中。
图1是本发明多点触摸跟踪识别方法的流程图2是连续两帧图像的触摸点的示意图3是连续两帧图像的触摸点表示在同一平面内的示意图4、图5是本发明中建立的搜索树的结构示意图6是经过筛选后的搜索树的结构示意图7是现有技术一种触摸屏的结构示意图8是实施例中连续两帧中的触摸点示意图9是实施例中连续两帧图像的触摸点表示在同一平面内的示意图10是实施例中建立的搜索树的结构示意图11是实施例中经过筛选后的搜索树的结构示意图12是实施例中第一次搜索结果的关联方式的示意图13是实施例中第二次搜索结果的关联方式的示意图14是实施例中的最优关联方式的示意图15是本发明多点触摸跟踪识别系统的结构示意图16是本发明多点触摸跟踪识别系统一种优选实施方式的结构示意图17是本发明多点触摸跟踪识别系统另一种优选实施方式的结构示意图
具体实施例方式
请参阅图1，图1是本发明多点触摸跟踪识别方法的流程图。
所述多点触摸跟踪识别方法包括以下步骤步骤S101，分别获取相邻两帧图像中的触摸点位置；首先可检测连续相邻的两帧中触摸点个数，例如利用图像检测技术检测，以及其位置，每一触摸点称为一节点，设连续两帧表示为Ft与Ft+1，设Ft中有N1个节点，Ft+1帧中有N2个节点，且N1 >队，如图2所示。图3则是连续两帧的触摸点表示在同一平面内的示意图。步骤S102，根据所述触摸点位置，计算前后两帧图像的各个所述触摸点之间的距 1 ；在本步骤中，分别计算第一帧图像的各个触摸点和第二帧图像的各个触摸点之间的距离。如图3所示，分别计算触摸点1、2、3、4到触摸点5、6和7的距离。在一个优选实施方式中，为方便分析搜索和跟踪识别，在本步骤中，进一步执行以下步骤分别以两帧图像中的各个触摸点为基础构造两层的搜索树，将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联。则计算前后两帧图像的各个所述触摸点之间的距离亦即计算所述搜索树中的各个实关联的距离。所述关联即为两帧图像之间的触摸点跟踪识别的对应关系，例如，在图1中，第一帧中的触摸点1可能在第二帧中移动到触摸点5、6或者7的位置，而触摸点2，3和4也有可能移动到触摸点5、6或者7的位置。因此，分别将所述第一帧中的触摸点与第二帧中的各个触摸点进行实关联，标记其可能存在对应关系。作为一种优选实施方式，因为两帧图像中的触摸点数不一定相同，因此，为了让所有的关联采用相同的数据结构，方便计算，在构造所述搜索树时，进一步在所述搜索树的第二层中设置与第一层的触摸点一一对应的虚节点，并设所述虚节点与第一层的触摸点的距离为0，将各个所述虚节点与所述第一层的各个触摸点之间设为虚关联；此时，如果判断所述搜索树的两层之间只有虚关联，则代表所述搜索树的其中一层没有触摸点，因此可以提前结束多点触摸跟踪识别的操作。通过设置虚节点可以让所有的关联采用相同的数据结构。如图4、图5所示。假设第一层中的某节点(即触摸点)a在其作用范围中存在可实关联的第二层节点b，但节点b优先被第一层中其它节点c关联，在此情况下，节点a不能与节点b进行关联，若此时节点a的作用范围中不存在其它可实关联的第二层节点，则节点a应不与任何第二层节点实关联。所以，在这里通过虚节点设置一虚关联，且虚关联的关联距离设为0。再进一步地，因为需要在搜索树的第二层中设置所述虚节点，为减少运算的数据量，在构造所述搜索树时，首先选取相邻两帧图像中触摸点数较多的为第一层，如图4所示；然后，以另一帧(即触摸点数较少的一帧)为第二层进一步构造所述搜索树，如图5所示。这样在增加虚节点时，只在触摸点数较少的一层中增加，所述搜索树两层之间的总的关联数量较少，因此可以减少运算的数据量。作为另一种优选实施方式，为进一步减少运算的数据量，在对所述搜索树第一层的各个触摸点与第二层的各个触摸点之间进行实关联之后，可进一步执行以下步骤分别将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较，根据比较结果对各个所述实关联进行筛选。
具体地，所述距离阈值可以包括最大距离阈值；则，根据比较结果对各个所述实关联进行筛选的步骤包括如果判断所述实关联的距离值小于所述最大距离阈值，则判断对应的两个触摸点之间的实关联合法；如果判断所述实关联的距离值大于所述最大距离阈值，则判断对应的两个触摸点之间的实关联不合法；经过筛选后的搜索树的结构如图6所示。一旦某个关联方式中包括有上述被判断为不合法的实关联，则所述关联方式也被排除，不需要再考虑，这样就能够进一步减少分析的关联方式的数量，无需分析所有的关联方式，加快了跟踪定位的速度。进一步地，所述距离阈值还可以包括最小距离阈值；则，根据比较结果对各个所述实关联进行筛选的步骤还包括如果判断所述实关联的距离值小于所述最小距离阈值，则进一步将对应的两个触摸点之间的实关联划分为最优实关联。可以认为，当分属两层的两个触摸点之间的距离很小(小于所述最小距离阈值) 时，可以直接将两个触摸点判断为同一个触摸物在前后两帧图像中的触摸点，因此判断其为最优实关联，所述最优实关联即为肯定会出现在最优关联方式中的实关联。步骤S103，按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式；前后两帧图像的各个所述触摸点之间的距离即是上述步骤中建立的所述搜索树的两层之间的实关联的距离。各种所述关联方式由各个所述实关联按照各种可能的方式互相匹配组合而成。因为，两帧图像中的触摸点数不一定相同，例如第一帧中有四个触摸点，而在第二帧中可能只有三个触摸点，因此，搜索前后两帧图像的触摸点的关联方式时，应该按照前后两帧图像的触摸点数进行适当搜索。为此，在本实施方式中，首先可按照各个所述实关联的距离从小到大的顺序，设定各个关联方式的第一个实关联。然后按照以下搜索条件，搜索各个所述关联方式包含的其他实关联1.在每一关联方式下搜索的后一实关联的距离大于前一实关联的距离；2.在每一关联方式中，一个触摸点只对应一个实关联；3.每一所述关联方式所包含的实关联个数都不超过前后两帧的触摸点个数中最小的一个。根据每一关联方式的第一个实关联，以及上述搜索条件，搜索各个所述关联方式包含的其他实关联，将所述第一个实关联和其他实关联组合成所述触摸点的一种关联方式。分别将各个所述实关联以不同的方式组合，因此， 以这种方式可以搜索出所有匹配的关联方式。搜索每一关联方式的具体方法为首先按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联；然后再按照各个所述实关联的距离由小到大的顺序，依次搜索每一所述关联方式的下一个实关联；并判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的实关联；否则，保存对应的实关联；
从搜索每一所述关联方式的第一个实关联开始，判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一实关联。在本发明中，每搜索出一个关联方式，就执行一次步骤S104，计算所述关联方式对应的触摸点离散度，根据所述触摸点离散度判断是否得到最优关联方式。如果判断获得最优关联方式，则无需继续计算所有匹配的关联方式。由于两帧图像中的触摸点数不一定相同，在每种匹配的关联方式中，当确定所述关联方式中的所有实关联之后，将不涉及实关联的其余触摸点都与虚节点设为虚关联。对应虚关联的触摸点为后一帧图像新增或者减少的触摸点。作为一种优选实施方式，如果在步骤S102中设定所述最小距离阈值对各个实关联进行筛选，则在本步骤中，可采用以下方式将筛选结果中包含的实关联组合成所有匹配的关联方式如果没有搜索到所述最优实关联，则将各个合法的实关联互相匹配，搜索出前后两帧图像的触摸点的各种关联方式；如果搜索到所述最优实关联，则将所述最优实关联与其余合法的实关联互相匹配，搜索出前后两帧图像的触摸点的各种关联方式。上述步骤可以进一步对两帧图像中的触摸点的关联方式组合进行筛选。通过筛选可以减少分析的匹配的关联方式的数量，缩小跟踪搜索范围，加快处理速度。步骤S104，分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度，则判断所述前一关联方式为最优关联方式。所述最优关联方式即为本发明多点触摸跟踪识别系统的跟踪识别结果，亦即为两帧图像之间的触摸点跟踪识别确认的最终的对应关系，可根据所述最优关联方式得到触摸点的移动方式，增加或者减少触摸点，从而判断用户的触摸操作，例如触摸点滑动，在新的触摸位置进行触摸操作等，从而可以执行各种相关的触摸控制操作。所述触摸点离散度用于表征每种关联方式下，各个触摸点之间的位置是否集中， 或者是平均距离的大小。在本实施方式中，将每个所述关联方式的触摸点离散度按照以下公式定义为
1 NP^-Yidl-Ciave kf
7 V i=\
1 N其中，d·. =—Σ<·
7V i=\dave_k为Cli平均值，N为所述关联方式中实关联的个数，Cli为所述关联方式的中前后两帧的互相关联的触摸点的距离。由于每次搜索均按照所述触摸点距离从小到大的顺序设定对应关联方式的第一个实关联，亦即，后一次搜索的关联方式的第一个实关联的距离大于前一次搜索的关联方式的第一个实关联的距离；而在单独一个关联方式中，在确定所述第一个实关联之后，之后搜索的每个实关联都大于前一个实关联。因此，如果本次关联方式的触摸点离散度小于前一关联方式的触摸点离散度，则表明还未找到最优关联方式，需继续搜索，亦即继续根据触摸点的距离从小到大的顺序，继续搜索并计算下一关联方式的触摸点离散度，并与其前一关联方式的触摸点离散度比较； 如果后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度，则判断所述前一关联方式为最优关联方式，搜索结束。 下面结合具体的实施例对本发明的多点触摸跟踪识别方法加以详细说明，应指出的是，所描述的实施例旨在便于对本发明的理解，对本发明不起限定作用。图7为一触摸屏，图8给出了连续两帧中的触摸点示意图，图9是实施例中连续两帧图像的触摸点表示在同一平面内的示意图。假设在t帧中有2个触摸点，在t+Ι帧中有 4个触摸点，则根据步骤S102，计算前后两帧图像的各个所述触摸点之间的距离之后，根据算法构建搜索树如图10所示，t+Ι帧为第一层，t帧为第二层。图10中实线表示两节点进行实关联；虚线连接表示第一层的该节点(亦即触摸点)与虚节点关联，并设置该虚关联距离为0。如果不设置距离阈值对所述搜索树包含的各个实关联进行筛选，则直接在所述搜索树中搜索各种可能的关联方式。如果设置大、小距离阈值，则先对搜索树进行剪枝，以减小搜索空间，提高搜索速率，剪枝后的搜索树如图11。其中最大距离阈值设为dmax = 110，最小距离阈值设为dmin = 30(本实施例中的距离只以数值表示，具体的单位根据用户设定而定)。根据步骤S103进行最优搜索，搜索前首先判断是否只存在虚关联，以判断是否需要继续搜索。很明显，在本实施例中前后两层之间存在实关联。则首先搜索到最小实关联距离，本实施例中为节点5与节点2的距离最小d52 = 76，在搜索程序运行时可初始化一计数器C = 0，若第一层中有节点关联到实节点，则该计数器加1。因为本实施例中第一层有4 个节点，因此需要循环对第一层搜索，直至该层所有节点都关联为止，又因本实施例中t帧中只有2个节点，所以根据搜索条件3，在所有关联方式中，至多只能有两个实关联距离，也就是说，第一层中至少有两个节点与虚节点进行关联。继续进行搜索，可搜索到节点4与节点1的关联距离d41 = 82为第一次搜索的关联方式的次小实关联距离，此时计数器C = 2，与t帧中节点个数相等，表明在接下来的搜索中，第一层中还未关联的节点，都必须与虚节点进行关联。本次搜索结果的关联方式示意图示于图12。根据步骤S104计算触摸点离散度
权利要求
1.一种多点触摸跟踪识别方法，其特征在于，包括以下步骤获取相邻两帧图像中的触摸点位置；根据所述触摸点位置，计算前后两帧图像的各个所述触摸点之间的距离；按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式；分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。
2.如权利要求1所述的多点触摸跟踪识别方法，其特征在于，所述计算前后两帧图像的各个所述触摸点之间的距离的步骤包括分别以两帧图像中的各个触摸点为基础构造两层的搜索树，将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联；根据所述触摸点位置，计算所述搜索树中的各个实关联的距离。
3.如权利要求2所述的多点触摸跟踪识别方法，其特征在于，所述构造两层的搜索树的步骤包括进一步在所述搜索树的第二层中设置与第一层的触摸点一一对应的虚节点，并设所述虚节点与第一层的触摸点的距离为0，将各个所述虚节点与所述第一层的各个触摸点之间设为虚关联；判断所述搜索树的两层之间是否只有虚关联，是则结束跟踪识别操作。
4.如权利要求3所述的多点触摸跟踪识别方法，其特征在于，以两帧图像中触摸点数目较多的为第一层，另一帧为第二层构造所述搜索树。
5.如权利要求1至4中任意一项所述的多点触摸跟踪识别方法，其特征在于，所述逐次搜索前后两帧图像的触摸点的关联方式的步骤包括按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联；再按照各个所述实关联的距离由小到大的顺序，依次搜索每一所述关联方式的下一个实关联；判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的实关联；否则，保存对应的实关联；从搜索每一所述关联方式的第一个实关联开始，判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一实关联。
6.一种多点触摸跟踪识别系统，其特征在于，包括用于获取相邻两帧图像中的触摸点位置的触摸点检测模块；用于根据所述触摸点位置，计算前后两帧图像的各个所述触摸点之间距离的距离计算模块；用于按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式的搜索模块；用于分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式的离散度计算模块。
7.如权利要求6所述的多点触摸跟踪识别系统，其特征在于，所述多点触摸跟踪识别系统进一步包括用于分别以两帧图像中的各个触摸点为基础构造两层搜索树的搜索树模块，其中，所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联；所述搜索模块在所述搜索树模块建立的搜索树中搜索各个所述实关联，并根据搜索的所述实关联组合成各个关联方式。
8.如权利要求7所述的多点触摸跟踪识别系统，其特征在于，所述搜索树模块进一步在所述搜索树的第二层中设置与第一层的触摸点一一对应的虚节点，并设所述虚节点与第一层的触摸点的距离为0，将各个所述虚节点与所述第一层的各个触摸点之间设为虚关联； 并且，所述搜索树模块在判断所述搜索树的两层之间只有虚关联时，结束跟踪识别操作。
9.如权利要求8所述的多点触摸跟踪识别系统，其特征在于，所述搜索树模块以两帧图像中触摸点数目较多的为第一层，另一帧为第二层构造所述搜索树。
10.如权利要求6至9中任意一项所述的多点触摸跟踪识别系统，其特征在于，所述搜索模块在搜索前后两帧图像的触摸点的关联方式时，首先按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联；然后再按照各个所述实关联的距离由小到大的顺序，依次搜索每一所述关联方式的下一个实关联；并且，判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的实关联；否则，保存对应的实关联；所述搜索模块从搜索每一所述关联方式的第一个实关联开始，判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一实关联。
全文摘要
本发明提供一种多点触摸跟踪识别方法及其系统，所述方法包括分别获取相邻两帧图像中的触摸点位置；根据所述触摸点位置，计算前后两帧图像的各个所述触摸点之间的距离；按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式；分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度，则判断所述前一关联方式为最优关联方式。本发明提供的多点触摸跟踪识别方法。从全局出发分析，通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离，以及每个所述关联方式下的触摸点离散度，保证了前后帧中触摸点关联的准确性和鲁棒性。
文档编号G06F3/042GK102193689SQ20111012981
公开日2011年9月21日 申请日期2011年5月18日 优先权日2011年5月18日
发明者孙敬飞, 廖微, 肖平, 韦金汝, 骆威 申请人:广东威创视讯科技股份有限公司