专利名称：一种多点触摸跟踪识别方法及其系统的制作方法
技术领域：
本发明涉及触摸控制技术领域，尤其涉及一种多点触摸跟踪识别方法及其系统。
背景技术：
随着触摸控制产品的广泛应用，触摸控制技术已成为当今人机交互中的热点技术。许多产品的控制都逐步被触摸控制技术所代替，同时触摸控制技术也在不断挑战新的应用环境和领域。在基于光学图像的触摸控制应用环境中，通常用户希望机器能支持更多触摸点操作以满足不同应用需求，同时也希望机器能更加智能地理解用户意图，进而为用户提供更加自然、智能的服务。在目前的触摸控制系统中，机器通过分析用户在触摸屏上移动的轨迹来判断用户欲执行的操作，所以机器正确地扑捉、跟踪到触控的轨迹就非常重要。通常，只有单点在触摸屏上移动时，机器通过关联光学图像前后帧之间的亮点就能得到正确触摸点移动的轨迹，但随着触摸点数增加，该方法就不能识别前后帧的多个触摸点之间的关系，无法分别得到各触摸点的正确轨迹，所以需要开发更加鲁棒、准确的多点跟踪识别方法，为机器智能决策提供正确的轨迹。在目前的多点跟踪识别方法中，主要采用两种方法一是针对光学图像前一帧中所有触摸点，在后一帧中搜索欧式距离最为接近的触摸点进行关联。该方法简单、实时性非常好，且目前该算法有多种改进版本，但是该方法仍无法避免欧式距离最近即为最优关联这一错误认识的本质缺陷；另一方法是采用K近邻算法，该方法为前一帧中每个触摸点在后一帧中搜索K个欧式距离最小的触摸点，并依距离值进行排序，然后对前一帧中每一个触摸点关联距离最小的触摸点，若后一帧中某触摸点处于前一帧中多个触摸点的K近邻中，则采用“最小距离通吃”的思想优先匹配，该算法实时性很好，跟踪精度较前者好，但仍是一种局部最优方法，没有从整体上考虑最优关联，即仍没有从全局角度给出评判当前关联方式是否为最优。
发明内容
针对以上现有技术多点触摸跟踪的缺点，本发明要解决的技术问题在于提供一种从全局角度分析的多点触摸跟踪识别方法。给出了全局评判方式，可判断当前关联是否为最优关联。一种多点触摸跟踪识别方法，包括获取相邻两帧图像中的触摸点位置；以两帧图像中的各个触摸点为基础构造两层的搜索树，将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联，并计算所述搜索树中各个实关联的距罔；将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较，根据比较结果对各个所述实关联进行筛选；
4
按照所述实关联距离从小到大的顺序，在筛选结果中逐次搜索由各个所述实关联组成的触摸点的关联方式；分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。本发明要解决的技术问题还在于提供一种从全局角度分析的多点触摸跟踪识别系统。一种多点触摸跟踪识别系统，包括用于获取相邻两帧图像中的触摸点位置的触摸点检测模块；用于以两帧图像中的各个触摸点为基础构造两层搜索树的搜索树模块，其中，所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联；用于根据所述触摸点位置，计算所述搜索树中各个实关联距离的距离计算模块；用于将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较，根据比较结果对所述搜索树中的各个所述实关联进行筛选的筛选模块；用于按照所述实关联距离从小到大的顺序，在所述筛选模块筛选处理的筛选结果中逐次搜索由各个所述实关联组成的触摸点的关联方式的搜索模块；用于分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式的离散度计算模块。与现有技术相比较，本发明的多点触摸跟踪识别方法及其系统，通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离，以及每个所述关联方式下的触摸点离散度，保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性，采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性，该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。通过建立搜索树，并对搜索树进行筛选剪枝，可以简化运算、大大提高跟踪定位效率。本发明的多点触摸跟踪识别方法及其系统能实时、准确和稳定地运行在目前的各种触摸交互设备中。
图1是本发明多点触摸跟踪识别方法的流程图；图2是连续两帧图像的触摸点的示意图；图3是连续两帧图像的触摸点表示在同一平面内的示意图；图4、图5是本发明中建立的搜索树的结构示意图；图6是经过筛选后的搜索树的结构示意图；图7是现有技术一种触摸屏的结构示意图；图8是实施例中连续两帧中的触摸点示意图；图9是实施例中连续两帧图像的触摸点表示在同一平面内的示意图；图10是实施例中建立的搜索树的结构示意图；图11是实施例中经过筛选后的搜索树的结构示意图；图12是实施例中第一次搜索结果的关联方式的示意图13是实施例中第二次搜索结果的关联方式的示意图；图14是实施例中的最优关联方式的示意图；图15是本发明多点触摸跟踪识别系统的结构示意图。
具体实施例方式请参阅图1，图1是本发明多点触摸跟踪识别方法的流程图。所述多点触摸跟踪识别方法包括以下步骤步骤S101，分别获取相邻两帧图像中的触摸点位置；首先可检测连续相邻的两帧中触摸点个数，例如利用图像检测技术检测，以及其位置，每一触摸点称为一节点，设连续两帧表示为Ft与Ft+1，设Ft中有N1个节点，Ft+1帧中有N2个节点，且N1 > N2，如图2所示。图3则是连续两帧的触摸点表示在同一平面内的示意图。步骤S102，分别以两帧图像中的各个触摸点为基础构造两层的搜索树，将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联。为方便分析搜索和跟踪识别。所述关联即为两帧图像之间的触摸点跟踪识别的对应关系，例如，在图1中，第一帧中的触摸点1可能在第二帧中移动到触摸点5、6或者7的位置，而触摸点2，3和4也有可能移动到触摸点5、6或者7的位置。因此，分别将所述第一帧中的触摸点与第二帧中的各个触摸点进行实关联，标记其可能存在的对应关系。作为一种优选实施方式，因为两帧图像中的触摸点数不一定相同，因此，为了让所有的关联采用相同的数据结构，方便计算，在构造所述搜索树时，可进一步在所述搜索树的第二层中设置与第一层的触摸点一一对应的虚节点，并设所述虚节点与第一层的触摸点的距离为0，将各个所述虚节点与所述第一层的各个触摸点之间设为虚关联；此时，如果判断所述搜索树的两层之间只有虚关联，则代表所述搜索树的其中一层没有触摸点，因此可以提前结束多点触摸跟踪识别的操作。通过设置虚节点可以让所有的关联采用相同的数据结构，更便于计算和筛选。如图4、图5所示。假设第一层中的某节点(即触摸点)a在其作用范围中存在可实关联的第二层节点b，但节点b优先被第一层中其它节点c关联，在此情况下，节点a不能与节点b进行关联，若此时节点a的作用范围中不存在其它可实关联的第二层节点，则节点a应不与任何第二层节点实关联。所以，在这里通过虚节点设置一虚关联，且虚关联的关联距离设为0。再进一步地，因为需要在搜索树的第二层中设置所述虚节点，为减少运算的数据量，在构造所述搜索树时，首先选取相邻两帧图像中触摸点数较多的为第一层，如图4所示；然后，以另一帧(即触摸点数较少的一帧)为第二层进一步构造所述搜索树，如图5所示。这样在增加虚节点时，只在触摸点数较少的一层中增加，所述搜索树两层之间的总的关联数量较少，因此可以减少运算的数据量。步骤S103，根据所述触摸点位置，计算所述搜索树中各个实关联的距离；在本步骤中，分别计算第一帧图像的各个触摸点和第二帧图像的各个触摸点之间的距离，即所述搜索树中各个实关联的距离。如图3所示，分别计算触摸点1、2、3、4到触摸点5、6和7的距离。
6
步骤S104，分别将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较，根据比较结果对各个所述实关联进行筛选。进一步减少运算的数据量。具体地，所述距离阈值可以包括最大距离阈值；则，根据比较结果对各个所述实关联进行筛选的步骤包括如果判断所述实关联的距离值小于所述最大距离阈值，则进一步判断对应的两个触摸点之间的实关联合法；如果判断所述实关联的距离值大于所述最大距离阈值，则进一步判断对应的两个触摸点之间的实关联不合法。经过筛选后的搜索树的结构如图6所示。一旦某个关联方式中包括有上述被判断为不合法的实关联，则所述关联方式也被排除，不再考虑，这样就能够进一步减少分析的关联方式的数量，无需分析所有的关联方式，加快了跟踪定位的速度。进一步地，所述距离阈值还可以包括最小距离阈值；则，根据比较结果对各个所述实关联进行筛选的步骤还包括如果判断所述实关联的距离值小于所述最小距离阈值，则进一步将对应的所述实关联划分为最优实关联。可以认为，当分属两层的两个触摸点之间的距离很小(小于所述最小距离阈值) 时，可以直接将两个触摸点判断为同一个触摸物在前后两帧图像中的触摸点，因此判断其对应的实关联为最优实关联，所述最优实关联即为肯定会出现在最优关联方式中的实关联。步骤S105，按照所述实关联距离从小到大的顺序，逐次搜索由各个所述实关联组成的前后两帧的触摸点的关联方式；前后两帧图像的各个所述触摸点之间的距离即是上述步骤中建立的所述搜索树的两层之间的实关联的距离。各种所述关联方式由各个所述实关联按照各种可能的方式互相匹配组合而成。因为，两帧图像中的触摸点数不一定相同，例如第一帧中有四个触摸点，而在第二帧中可能只有三个触摸点，因此，搜索前后两帧图像的触摸点的关联方式时，应该按照前后两帧图像的触摸点数进行适当搜索。为此，在本实施方式中，首先可按照各个所述实关联的距离从小到大的顺序，设定各个关联方式的第一个实关联；然后按照以下搜索条件，搜索各个所述关联方式包含的其他实关联1.在每一关联方式下搜索的后一实关联的距离大于前一实关联的距离；2.在每一关联方式中，一个触摸点只对应一个实关联；3.每一所述关联方式所包含的实关联个数都不超过前后两帧的触摸点个数中最小的一个。根据每一关联方式的第一个实关联，以及上述搜索条件，搜索各个所述关联方式包含的其他实关联，将所述第一个实关联和其他实关联组合成所述触摸点的一种关联方式。分别将各个所述实关联以不同的方式组合，以这种方式可以搜索出所有匹配的关联方式。搜索每一关联方式的具体方法为首先按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联；然后再按照各个所述实关联的距离由小到大的顺序，依次搜索每一所述关联方式的下一个实关联；并判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的实关联；否则，保存对应的实关联；从搜索每一所述关联方式的第一个实关联开始，判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一实关联。在本发明中，每搜索出一个关联方式，就执行一次步骤S106，计算所述关联方式对应的触摸点离散度，根据所述触摸点离散度判断是否得到最优关联方式。如果判断获得最优关联方式，则无需继续计算所有匹配的关联方式。由于两帧图像中的触摸点数不一定相同，在每种匹配的关联方式中，当确定每一所述关联方式中的所有实关联之后，将所述关联方式中的不涉及实关联的其余触摸点都与虚节点设为虚关联。对应虚关联的触摸点为后一帧图像新增或者减少的触摸点。作为一种优选实施方式，在步骤S104中设定所述最小距离阈值对各个实关联进行筛选，判断是否存在所述最优实关联。则在本步骤中，可采用以下方式将筛选结果中包含的实关联组合成所有匹配的关联方式如果没有搜索到所述最优实关联，则将各个合法的实关联互相匹配，搜索出前后两帧图像的触摸点的各种关联方式；如果搜索到所述最优实关联，则将所述最优实关联与其余合法的实关联互相匹配，搜索出前后两帧图像的触摸点的各种关联方式。上述步骤可以进一步对两帧图像中的触摸点的关联方式组合进行筛选。通过筛选可以减少分析的匹配的关联方式的数量，缩小跟踪搜索范围，加快处理速度。步骤S106，分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度，则判断所述前一关联方式为最优关联方式。所述最优关联方式即为本发明多点触摸跟踪识别系统的跟踪识别结果，亦即为两帧图像之间的触摸点跟踪识别确认的最终的对应关系，可根据所述最优关联方式得到触摸点的移动方式，增加或者减少触摸点，从而判断用户的触摸操作，例如触摸点滑动，在新的触摸位置进行触摸操作等，从而可以执行各种相关的触摸控制操作。所述触摸点离散度用于表征每种关联方式下，各个触摸点之间的位置是否集中， 或者是平均距离的大小。在本实施方式中，将每个所述关联方式的触摸点离散度按照以下公式定义为
权利要求
1.一种多点触摸跟踪识别方法，其特征在于，包括以下步骤 获取相邻两帧图像中的触摸点位置；以两帧图像中的各个触摸点为基础构造两层的搜索树，将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联，并计算所述搜索树中各个实关联的距离；将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较，根据比较结果对各个所述实关联进行筛选；按照所述实关联距离从小到大的顺序，在筛选结果中逐次搜索由各个所述实关联组成的触摸点的关联方式；分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。
2.如权利要求1所述的多点触摸跟踪识别方法，其特征在于，所述距离阈值包括最大距离阈值；则，根据比较结果对各个所述实关联进行筛选的步骤包括如果判断所述实关联的距离值小于所述最大距离阈值，则进一步判断对应的两个触摸点之间的实关联合法；如果判断所述实关联的距离值大于所述最大距离阈值，则进一步判断对应的两个触摸点之间的实关联不合法。
3.如权利要求2所述的多点触摸跟踪识别方法，其特征在于，所述距离阈值还包括最小距离阈值；贝U，根据比较结果对各个所述实关联进行筛选的步骤还包括 如果判断所述实关联的距离值小于所述最小距离阈值，则进一步将对应的所述实关联划分为最优实关联。
4.如权利要求3所述的多点触摸跟踪识别方法，其特征在于，所述搜索前后两帧图像的触摸点的关联方式的步骤包括如果没有搜索到所述最优实关联，则将各个合法的实关联互相匹配，搜索出前后两帧的触摸点的各种关联方式；如果搜索到所述最优实关联，则将所述最优实关联与其余合法的实关联互相匹配，搜索出前后两帧的触摸点的各种关联方式。
5.如权利要求1至4中任意一项所述的多点触摸跟踪识别方法，其特征在于，所述逐次搜索前后两帧图像的触摸点的关联方式的步骤包括按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联；按照各个所述实关联的距离由小到大的顺序，依次搜索每一所述关联方式的下一个实关联；判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的实关联；否则，保存对应的实关联；从搜索每一所述关联方式的第一个实关联开始，判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一实关联。
6.一种多点触摸跟踪识别系统，其特征在于，包括用于获取相邻两帧图像中的触摸点位置的触摸点检测模块；用于以两帧图像中的各个触摸点为基础构造两层搜索树的搜索树模块，其中，所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联；用于根据所述触摸点位置，计算所述搜索树中各个实关联距离的距离计算模块；用于将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较，根据比较结果对所述搜索树中的各个所述实关联进行筛选的筛选模块；用于按照所述实关联距离从小到大的顺序，在所述筛选模块筛选处理的筛选结果中逐次搜索由各个所述实关联组成的触摸点的关联方式的搜索模块；用于计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式的离散度计算模块。
7.如权利要求6所述的多点触摸跟踪识别系统，其特征在于，所述距离阈值包括最大距离阈值；贝1J，所述筛选模块根据比较结果对各个所述实关联进行筛选时，如果判断所述实关联的距离值小于所述最大距离阈值，则进一步判断对应的两个触摸点之间的实关联合法；如果判断所述实关联的距离值大于所述最大距离阈值，则进一步判断对应的两个触摸点之间的实关联不合法。
8.如权利要求7所述的多点触摸跟踪识别系统，其特征在于，所述距离阈值还包括最小距离阈值；贝1J，所述筛选模块根据比较结果对各个所述实关联进行筛选时，如果判断所述实关联的距离值小于所述最小距离阈值，则进一步将对应的所述实关联划分为最优实关联。
9.如权利要求8所述的多点触摸跟踪识别系统，其特征在于如果所述筛选模块没有筛选出所述最优实关联，则所述搜索模块将各个合法的实关联互相匹配，搜索出前后两帧图像的触摸点的各种关联方式；如果所述筛选模块筛选出所述最优实关联，则所述搜索模块将所述最优实关联与其余合法的实关联互相匹配，搜索出前后两帧图像的触摸点的各种关联方式。
10.如权利要求6至9中任意一项所述的多点触摸跟踪识别系统，其特征在于，所述搜索模块在搜索前后两帧图像的触摸点的关联方式时，首先按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联；然后再按照各个所述实关联的距离由小到大的顺序，依次搜索每一所述关联方式的下一个实关联；并判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的实关联；否则，保存对应的实关联；所述搜索模块从搜索每一所述关联方式的第一个实关联开始，判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一实关联。
全文摘要
本发明提供一种多点触摸跟踪识别方法及其系统，所述方法包括分别获取相邻两帧图像中的触摸点位置；根据所述触摸点位置，计算前后两帧图像的各个所述触摸点之间的距离；根据所述距离对各个所述触摸点之间的实关联进行筛选，按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式；分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。本发明提供的多点触摸跟踪识别方法及其系统从全局出发分析，保证了前后帧中触摸点关联的准确性和鲁棒性。通过对各个所述触摸点之间的实关联进行筛选，提高了跟踪识别效率。
文档编号G06F3/042GK102193688SQ201110129448
公开日2011年9月21日 申请日期2011年5月18日 优先权日2011年5月18日
发明者孙敬飞, 曾昭兴, 肖平, 骆威 申请人:广东威创视讯科技股份有限公司