一种光电互动模组多笔识别和跟踪方法
【专利摘要】本发明提供了一种光电互动模组多笔识别和跟踪方法，实现由一发光设备（光电笔）单位时间内频繁的亮暗，并由视频输入设备（摄像头）接收图像。根据视频输入设备收到的亮暗次数及顺序来判断是否是该发光设备，本发明可以识别出定制的发光设备，如应用在白板领域可以区分出不同的光电笔，笔按键等，以实现双笔，多笔书写功能；由于光电产品受外界光源影响较大，且外界光源很多都是恒定的可见光或者是无规律的闪动，因此该发明能有较抗外界光的干扰性。另外，本发明不单识别了设备发出的光源，还能有效对光电笔进行书写运动时的跟踪，有效去除了杂点，干扰，以及书写时候缺少跟踪造成的串笔、连笔等问题。
【专利说明】—种光电互动模组多笔识别和跟踪方法
【技术领域】
[0001]本发明涉及计算机软件【技术领域】，尤其涉及一种光电互动模组多笔识别和跟踪方法。
【背景技术】
[0002]随着计算机的迅速发展，产生了许多光电类产品的投影模组，而与光相关的产品往往会受到外来可见光的影响，导致跳点，连笔，串笔等问题造成体验或者功能上的缺陷。由于外界的可见光影响，接收光的设备无法识别出是什么发光设备发出的光线，这样有时候会导致接收光的设备无法实现相应的功能。本发明可以通过光编码的技术有效区分出光源，并进行运动轨迹的跟踪以降低外来光源对用户体验或者产品功能的影响。
【发明内容】
[0003]本发明要解决的技术问题，在于提供一种光电互动模组多笔识别和跟踪方法，本发明不单能识别设备发出的光源，还能有效对光电笔进行书写运动时的跟踪，有效去除了杂点，干扰，以及书写时候缺少跟踪造成的串笔、连笔等问题。
[0004]本发明是这样实现的:一种光电互动模组多笔识别和跟踪方法，包括如下步骤:
[0005]步骤1、一光电笔亮暗发出光斑，通过一视频输入设备接收光电笔各时间下的图像；
[0006]步骤2、当前接收的图像有光斑时，则处理当前接收的图像，找出图像上符合大小、亮度值、RGB分量值超过所述光电笔中预设阀值的光斑，并得到光斑的信息进行保存；
[0007]步骤3、由于获取的光斑是有面积的，在光电笔书写过程中产生的光斑是运动状态；根据该些特性，对光斑进行分类编号，建立不同编号的光斑集合，不同编号中的集合中存在正常的光电笔发出的光斑信息，也会存有外界干扰光的光斑信息；
[0008]步骤4、对当前接收到的光斑信息，与之前保存的所有编号的光斑集合进行循环对比；该光斑信息为至少I个的光斑点；对光斑集合中是否存在2个以上的点与光斑信息是同一类别光斑，或光斑集合中是否存在I个点与光斑信息是同一类别光斑，或光斑集合中不存在点与光斑信息是同一类别光斑，进行分别判断；并将判断后的光斑信息归属到同类别的编号的光斑集合中；
[0009]步骤5、搜索每个编号的光斑集合下的所有光斑信息，找出集合中光斑个数达到光电笔中预定义的一组比较字符的长度的光斑集合；该比较字符为光电笔的光编码，并判断该编号的光斑集合下的光斑信息组合成的序列是否等于所述比较字符；是，则通过该编号的光斑集合下的光斑信息，即能断定是哪种相应的光电笔发出的光斑；否，则继续步骤4 ；
[0010]步骤6、编号的光斑集合下的光斑信息保存时，当满足填满光斑集合构成的数据量后，再填入数据时，要先抛弃掉最早保存的光斑信息，再加入新的光斑信息。
[0011]本发明具有如下优点:本发明通过一发光设备(光电笔)单位时间内频繁的亮暗，并由视频输入设备(摄像头)接收图像。根据视频输入设备收到的亮暗次数及顺序来判断是否是该发光设备，本发明可以识别出定制的发光设备，如应用在白板领域可以区分出不同的光电笔，笔按键等，以实现双笔，多笔书写功能；由于光电产品受外界光源影响较大，且外界光源很多都是恒定的可见光或者是无规律的闪动，因此该发明能有较抗外界光的干扰性。另外，本发明不单识别了设备发出的光源，还能有效对光电笔进行书写运动时的跟踪，有效去除了杂点，干扰，以及书写时候缺少跟踪造成的串笔、连笔等问题。
【专利附图】
【附图说明】
[0012]图1本发明的方法流程示意图。
[0013]图2为本发明光斑信息存储到编号的光斑集合的示意图。
[0014]图3为本发明中对光斑集合中存在2个以上的点与光斑信息是同一类别光斑的实施例的判断示意图。
[0015]图4编号的光斑集合中正确的几种排列序列的示意图。
[0016]图5编号的光斑集合中错误的排列序列的示意图。
【具体实施方式】
[0017]请参阅图1和图5所示，本发明为一种光电互动模组多笔识别和跟踪方法，包括如下步骤:
[0018]步骤1、一光电笔亮暗发出光斑，通过一视频输入设备接收光电笔各时间下的图像；
[0019]步骤2、当前接收的图像有光斑时，则处理当前接收的图像，找出图像上符合大小、亮度值、RGB分量值超过所述光电笔中预设阀值的光斑(即该阈值为光电笔中预先设置的一种光斑；该光斑的大小、亮度值、RGB分量值是固定的)，并得到光斑的信息进行保存(如图2所示)；所述光斑的信息包括:光斑中心点坐标、光斑面积、光斑的宽和高；
[0020]步骤3、由于获取的光斑是有面积的，在光电笔书写过程中产生的光斑是运动状态；根据该些特性，对光斑进行分类编号，建立不同编号的光斑集合，不同编号的集合中存在正常的光电笔发出的光斑信息，也会存有外界干扰光的光斑信息；
[0021]步骤4、对当前接收到的光斑信息，与之前保存的所有编号的光斑集合进行循环对比；该光斑信息为至少I个的光斑点；对光斑集合中是否存在2个以上的点与光斑信息是同一类别光斑，或光斑集合中是否存在I个点与光斑信息是同一类别光斑，或光斑集合中不存在点与光斑信息是同一类别光斑，进行分别判断；并将判断后的光斑信息归属到同类别的编号的光斑集合中；
[0022]步骤5、搜索每个编号的光斑集合下的所有光斑信息，找出集合中光斑个数达到光电笔中预定义的一组比较字符的长度的光斑集合；该比较字符为光电笔的光编码，并判断该编号的光斑集合下的光斑信息组合成的序列是否等于所述比较字符；是，则通过该编号的光斑集合下的光斑信息，即能断定是哪种相应的光电笔发出的光斑；否，则继续步骤4。
[0023]在本发明中，所述步骤4进一步包括:
[0024]步骤41、一编号的光斑集合中存在2个以上的点，则之前保存的光斑已经形成了运动轨迹的点集，用形成轨迹的点集中任意两个点组成多条直线，所述多条直线为I?M条，M为大于I的整数；获得当前接收的光斑，接收的光斑为I?N个，N为大于I的整数，先取出任意一接收的一光斑，获得该光斑到各条的距离，并选出距离最小的一直线一，得到该直线一所在光斑集合的编号，获取到直线一后进行第2次验证，将所述新进的光斑I?N分别计算到所述直线一的距离，选出与直线一距离最小的新进光斑；最后判断选出的最小的新进光斑和所述取出的一光斑是否是同一个光斑点，同一个则为当前接收的光斑的点找到了能配对的轨迹，然后进行第3次的验证:判断当前接收的光斑点是否在光电笔的运动轨迹上，即判断运动轨迹最新的2点，该最新的2个点即为形成轨迹的最后2个点；预测这2个点的方向向量上的对称点把最后的点的面积赋予给这个对称点；该最后的点为之前最后归属到该轨迹的光斑集合中的点；判断前2次验证后得到的光斑是否与所述对称点的面积存在着交集，是则收到的当前光斑是在这个运动轨迹上，将当前光斑信息归属到该运动轨迹对应的编号的光斑集合中，否则收到的当前光斑不在这个轨迹上；
[0025]步骤41即为:判断新的光斑的归属时，因为捕获图像时候新的光斑可以是I个，也可以是N个，然后之前形成点运动轨迹的(即是上文中光斑集合的队列中有2个或2个以上点的时候)，先确认出第N个新光斑(0-N进行循环，每一个光斑都进行这个步骤)离哪一条直线比较近(这里的直线是指每个队列中任意2个点形成的直线，找出新光斑离最近的直接)，最近的即设为直线一，获得该直线一的光斑集合的编号，然后再进行第2次验证，这里验证就是指把该直线一与新进的所有光斑点进行计算，看哪一个点离这条直线一最近，然后判断这2次的结果是否一致(第N个光斑点算出了该点离这条直线最近，这条直线反过来验证到了第M个光斑点离自己最近，判断N是否等于M)，如果一致，该光斑就匹配该直线所在的队列，然后再进行第3次验证，第3次和跟踪有关，判断该点是否在这个发光笔的运动轨迹上，即判断队列中最新的2点预测这2个点的方向向量上的对称点把最新的那个点的面积赋予这个对称点(这里的最新指的是上一次归属的最后的那个点)，然后判断前2次验证后得到的光斑是否和所述对称点存在交集；是则完成第3次验证，只有通过这3次验证，才是真正光斑匹配完成，然后进行到编码波形判断及数据的模拟过程。(例如一实施例:如图3所示，A，B两点是光斑集合的队列中最新的2个点，2个点形成是有先后的，A比B早，所以直线也是有方向性的，C点就是我们计算出来A，B两点方向向量上的点；则(:点处理的区域，实际上是B点的光斑大小，C点是我们预想的位置，然后将B点的光斑大小赋予C点，D点表示新进的光斑未匹配到队列的，D点处的区域表示D的光斑面积，判断C，D两个区域是否有交集，有则认为D在A，B点所在的队列中。如果在C处没有交集，则该方式的判断在B点处再进行一次，如果依然没有，则认为该新进的光斑不在一个光斑集合的队列中；即不在该发光设备的运动轨迹上)。
[0026]步骤42、判断完编号的光斑集合中存在2个点的情况后，若没有找到收到的当前光斑对应的轨迹，则继续判断编号的光斑集合中只存在I个点的集合，即判断集合中的点的面积区域是否与收到的当前光斑的面积区域是否存在交集，是则收到的当前光斑在该区域中，将当前光斑归属到该编号的光斑集合中，否则进入步骤43;
[0027]步骤43、若收到的当前光斑在步骤41和42中都没有找到与其配对的轨迹，或者点集合中没有同类的点，则直接把当前光斑分别放入没有放入光斑点的空编号的光斑集合中，形成新的编号；
[0028]步骤44、循环所有的光斑编号集合，并向当前没填入光斑信息的集合中补入一个弹起的标志点；该标志点表示当时状态下光斑集合中没有符合收到的当前光斑信息。[0029]所述步骤5进一步包括:在有光斑信息归属到编号的光斑集合中，则I个光斑信息即对应一个有亮点的标志,该有亮点的标志用I表示,无亮点的标志用O表示；所述光编码为O和I组成的比较字符，且比较字符长度为L，所述L为大于I的整数；则搜索每个编号的光斑集合下的所有光斑信息，找出集合中光斑个数达到所述比较字符的长度L的编号的光斑集合，该编号的光斑集合下的光斑信息对应的亮点的标志O或I以任意顺序进行排列得到一序列，只要排列的序列与光编码一样；则通过该编号的光斑集合下的光斑信息，即能断定是哪种相应的光电笔发出的光斑(例如:把有亮点的标志设为1，无亮点的标志设为0，假设光电笔的光编码是【I，I，I，O】,若一编号集合下的光斑信息存在3个I和I个O,无论O和I是以何种顺序排列的，都认为它形成了光编码(如图4所示)，如果未满4个光斑信息则跳过等待填满4个光斑信息后再进行判断光编码，满足存在4个光斑信息时则开始判断光编码，如果I和O的个数不对(如图5所示)，则认为不形成编码，不形成编码的编号集合，若已经存在4个信息了，则把信息清空，抛弃)。
[0030]步骤6、编号的光斑集合下的光斑信息保存时，如图2所示，当满足填满光斑集合构成的数据量后(如光斑集合的数据量为4个)，再填入数据时，要先抛弃掉最早保存的光斑信息(最早即为光斑集合中第一个光斑信息)，再加入新的光斑信息。(例如:将光斑集合的数据存储认为是一个队列(当然还有其他的形式)队列的原则就是先进先出，比如我们一个编码是亮3暗1(设亮点为1，暗时为0)，我们就设这个队列的大小为4，在队列放满后，判断队列的顺序是否是1110，如果是，则判断这个光笔已经落在白板上，然后随着光笔的运动，每次进来一个点，当这个点匹配到这只笔后我们根据队列原则去掉最前面的1，在最后面加入最新的点(这时候队列中可能形成1101这个编码)，只要队列中符合3个亮点I个暗点的情况(如正弦的波形状)我们就认为编码是正常的，这个点马上进行处理把点模拟出去。)
[0031]确定相应发光设备发出的光斑后；再根据设备实现相应的功能(如光电笔按键功能，光电笔的书与功能等)。
[0032]以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【权利要求】
1.一种光电互动模组多笔识别和跟踪方法，其特征在于，包括如下步骤: 步骤1、一光电笔亮暗发出光斑，通过一视频输入设备接收光电笔各时间下的图像；步骤2、当前接收的图像有光斑时，则处理当前接收的图像，找出图像上符合大小、亮度值、RGB分量值超过所述光电笔中预设阀值的光斑，并得到光斑的信息进行保存； 步骤3、由于获取的光斑是有面积的，在光电笔书写过程中产生的光斑是运动状态；根据该些特性，对光斑进行分类编号，建立不同编号的光斑集合，不同编号的集合中存在正常的光电笔发出的光斑信息，也会存有外界干扰光的光斑信息； 步骤4、对当前接收到的光斑信息，与之前保存的所有编号的光斑集合进行循环对比；该光斑信息为至少I个的光斑点；对光斑集合中是否存在2个以上的点与光斑信息是同一类别光斑，或光斑集合中是否存在I个点与光斑信息是同一类别光斑，或光斑集合中不存在点与光斑信息是同一类别光斑，进行分别判断；并将判断后的光斑信息归属到同类别的编号的光斑集合中； 步骤5、搜索每个编号的光斑集合下的所有光斑信息，找出集合中光斑个数达到预定义的一组比较字符的长度的光斑集合；该比较字符为光电笔的光编码，并判断该编号的光斑集合下的光斑信息组合成的序列是否等于所述比较字符；是，则通过该编号的光斑集合下的光斑信息，即能断定是哪种相应的光电笔发出的光斑；否，则继续步骤4 ； 步骤6、编号的光斑集合下的光斑信息保存时，当满足填满光斑集合构成的数据量后，再填入数据时，要先抛弃掉最早保存的光斑信息，再加入新的光斑信息。
2.根据权利要求1所述的一种光电互动模组多笔识别和跟踪方法，其特征在于:所述光斑的信息包括:光斑中心点坐标、光斑面积、光斑的宽和高。
3.根据权利要求1所述的一 种光电互动模组多笔识别和跟踪方法，其特征在于:所述步骤4进一步包括: 步骤41、一编号的光斑集合中存在2个以上的点，则之前保存的光斑已经形成了运动轨迹的点集，用形成轨迹的点集中任意两个点组成多条直线，所述多条直线为I~M条，M为大于I的整数；获得当前接收的光斑，接收的光斑为I~N个，N为大于I的整数，先取出任意一接收的一光斑，获得该光斑到各条的距离，并选出距离最小的一直线一，得到该直线一所在光斑集合的编号，获取到直线一后进行第2次验证，将所述新进的光斑I~N分别计算到所述直线一的距离，选出与直线一距离最小的新进光斑；最后判断选出的最小的新进光斑和所述取出的一光斑是否是同一个光斑点，同一个则为当前接收的光斑的点找到了能配对的轨迹，然后进行第3次的验证:判断当前接收的光斑点是否在光电笔的运动轨迹上，即判断运动轨迹最新的2点，该最新的2个点即为形成轨迹的最后2个点；预测这2个点的方向向量上的对称点把最后的点的面积赋予给这个对称点；该最后的点为之前最后归属到该轨迹的光斑集合中的点；判断前2次验证后得到的光斑是否与所述对称点的面积存在着交集，是则收到的当前光斑是在这个运动轨迹上，将当前光斑信息归属到该运动轨迹对应的编号的光斑集合中，否则收到的当前光斑不在这个轨迹上； 步骤42、判断完编号的光斑集合中存在2个点的情况后，若没有找到收到的当前光斑对应的轨迹，则继续判断编号的光斑集合中只存在I个点的集合，即判断集合中的点的面积区域是否与收到的当前光斑的面积区域是否存在交集，是则收到的当前光斑在该区域中，将当前光斑归属到该编号的光斑集合中，否则进入步骤43 ；步骤43、若收到的当前光斑在步骤41和42中都没有找到与其配对的轨迹，或者点集合中没有同类的点，则直接把当前光斑分别放入没有放入光斑点的空编号的光斑集合中，形成新的编号； 步骤44、循环所有的光斑编号集合，并向当前没填入光斑信息的集合中补入一个弹起的标志点；该标志点表示当时状态下光斑集合中没有符合收到的当前光斑信息。
4.根据权利要求1所述的一种光电互动模组多笔识别和跟踪方法，其特征在于:所述步骤5进一步包括:在有光斑信息归属到编号的光斑集合中，则I个光斑信息即对应一个有亮点的标志，该有亮点的标志用I表示，无亮点的标志用O表示；所述光编码为O和I组成的字符串比较字符，且字符串比较字符长度为L，所述L为大于I的整数；则搜索每个编号的光斑集合下的所有光斑信息，找出集合中光斑个数达到所述字符串比较字符的长度L的编号的光斑集合，该编号的光斑集合下的光斑信息对应的亮点的标志O或I以任意顺序进行排列得到一序列，只要排列的序列与光编码一样；则通过该编号的光斑集合下的光斑信息，即能断定是哪种相应的光电笔发出的光斑。
【文档编号】G06K9/00GK103500017SQ201310425012
【公开日】2014年1月8日 申请日期:2013年9月17日 优先权日:2013年9月17日
【发明者】丁万年, 洪文洁, 陈日良, 王尚琨 申请人:锐达互动科技股份有限公司