一种大屏系统交互行为状态的判断方法与流程

本发明属于图像识别处理的技术领域，尤其是指一种大屏系统交互行为状态的判断方法。

背景技术：

现有的对大屏系统交互行为状态的判断只是利用到了所采集到图像的这一帧和上一帧的数据，并没有对图像的历史运动轨迹信息进行充分利用，因此导致不能对交互行为状态进行很好的区分和判断，比如说对画线和双击的操作不能很准确的识别，因此亟待一种可以准确判断大屏系统交互行为状态的方法。

技术实现要素：

本发明提供了一种大屏系统交互行为状态的判断方法，用跟踪的方法将离散的数字化的轨迹点通过匹配跟踪后，形成连续的更能代表实际情况的运动轨迹，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。

本发明提供了一种大屏系统交互行为状态的判断方法，包括如下步骤：

s10、将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；

s11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置；

s12、将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断上一帧图像中出现的检测点是否为空；若为空，则给予该轨迹id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；

否则通过当前帧所检测出的点与上一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为上一帧的点与本帧的点匹配，存入匹配列表，上一帧中所有的点减去已匹配的点，则标注为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点，则为新点；

s13、对上面检测出各个交互行为状态的点的运动轨迹进行标注；

s14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。

优选的，所述的步骤s10之前还包括初始化系统的步骤，具体包括如下：

将图像的轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。

优选的，所述的步骤s12中对于匹配上的点，进行如下处理：

将本帧该点id标注为与之匹配的上一帧的id，该点状态标记为按下状态，当前帧的前第八帧坐标值赋值为上一帧的前第七帧坐标值，当前帧的前第七帧坐标值赋值为上一帧的前第六帧坐标值，即当前帧的前第一帧坐标值赋值为上一帧坐标值，在之后的每一帧出现时都如此更新此历史点列表，当某一轨迹的历史点列表存满8帧时，用第8帧与当前帧的距离差进行判断，当距离差大于移动阈值时即将该轨迹标注为画线状态，小于移动阈值时则此轨迹标注为长按状态，记录下当前匹配时候的帧数。

优选的，所述的步骤s12中，对于上一帧匹配后没有匹配到的点都标记为松开状态，并将该轨迹的行为状态标注为未知状态，记录当前匹配时的帧数。

优选的，所述的步骤s12中对于新出现的点进行如下的处理：

在所有的新出现的点中，在单击列表中寻找相距在一定距离阈值内的点，若存在，则标记为双击，如果不存在，则将此点加入单击列表，轨迹历史点存储列表动态存入本帧及前八帧的图像数据，并将该轨迹历史点存储列表每帧初始坐标值置为(-1，-1)。

优选的，所述的步骤s12和步骤s13之间还包括：

将标记为按下状态的点存入跟踪结果列表，记录下双击操作所需要的帧数间隔，在跟踪结束后将单击列表中超过双击所需帧数间隔的点进行删除。

优选的，所述的步骤s12中的匹配阈值的大小取决于大屏的实际情况，通过调试获得。

优选的，所述的步骤s13的运动轨迹标注具体包括如下步骤：

s131、每次对新轨迹标识时候，给予新轨迹进行标记，并将标记记入已标记列表；

s132、当旧轨迹消失时，从标记列表中将此轨迹标识删除；

s133、再有新轨迹出现时，先从已标记列表中按照有序化的次序去检测应用的标识符，并用标识名对其进行标识，再将这个标识名记入已标识列表；

s134、当被标识为松开状态的运动轨迹与当前系统运行帧率之间的差值大于双击操作所需要的帧率间隔时，从被标注为松开的列表中删除掉这些点；

s135、当被标识为单击状态的行为轨迹与当前系统运行帧率之间的差值大于双击操作所需要的帧率间隔时，从被标注为单击的列表中删除掉这些点。

由上面的技术方案可知，本发明提供的大屏系统交互行为状态的判断方法是对各个交互行为状态进行轨迹跟踪，并用一定的跟踪标注方法对每个轨迹进行跟踪标注，可以正确判断出手指或者书写笔是在进行画线、长按、单击或者双击操作，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。

附图说明

图1为本发明实施例提供的一种大屏系统交互行为状态的判断方法的流程图；

图2为本发明实施例提供的一种大屏系统交互行为状态的判断方法中运动轨迹标注的流程图。

具体实施方式

以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种大屏系统交互行为状态的判断方法，如图1所示，包括如下步骤：

s10、将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；

s11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置；

s12、将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断上一帧图像中出现的检测点是否为空；若为空，则给予该轨迹id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；

否则通过当前帧所检测出的点与上一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为上一帧的点与本帧的点匹配，存入匹配列表，上一帧中所有的点减去已匹配的点，则标注为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点，则为新点；

s13、对上面检测出各个交互行为状态的点的运动轨迹进行标注；

s14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。

优选的，所述的步骤s10之前还包括初始化系统的步骤，具体包括如下：

将图像的轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。

优选的，所述的步骤s12中对于匹配上的点，进行如下处理：

将本帧该点id标注为与之匹配的上一帧的id，该点状态标记为按下状态，当前帧前第八帧坐标值赋值为上一帧前第七帧坐标值，当前帧的前第七帧坐标值赋值为上一帧的前第六帧坐标值，即当前帧前第一帧坐标值赋值为上一帧坐标值，在之后的每一帧出现时都如此更新此历史点列表，当某一轨迹的历史点列表存满8帧时，用第8帧与当前帧的距离差进行判断，当距离差大于移动阈值时即将该轨迹标注为画线状态，小于移动阈值时则此轨迹标注为长按状态，记录下当前匹配时候的帧数。

优选的，所述的步骤s12中，对于上一帧匹配后没有匹配到的点都标记为松开状态，并将该轨迹的行为状态标注为未知状态，记录当前匹配时的帧数。

优选的，所述的步骤s12中对于新出现的点进行如下的处理：

在所有的新出现的点中，在单击列表中寻找相距在一定距离阈值内的点，若存在，则标记为双击，如果不存在，则将此点加入单击列表，轨迹历史点存储列表动态存入本帧及前八帧的图像数据，并将该轨迹历史点存储列表每帧初始坐标值置为(-1，-1)。

优选的，所述的步骤s12和步骤s13之间还包括：

将标记为按下状态的点存入跟踪结果列表，记录下双击操作所需要的帧数间隔，在跟踪结束后将单击列表中超过双击所需帧数间隔的点进行删除。

优选的，所述的步骤s12中的匹配阈值的大小取决于大屏的实际情况，通过调试获得。

优选的，所述的步骤s13的运动轨迹标注具体包括如下步骤：

s131、每次对新轨迹标识时候，给予新轨迹进行标记，并将标记记入已标记列表；

s132、当旧轨迹消失时，从标记列表中将此轨迹标识删除；

s133、再有新轨迹出现时，先从已标记列表中按照有序化的次序去检测应用的标识符，并用标识名对其进行标识，再将这个标识名记入已标识列表；

s134、当被标识为松开状态的运动轨迹与当前系统运行帧率之间的差值大于双击操作所需要的帧率间隔时，从被标注为松开的列表中删除掉这些点；

s135、当被标识为单击状态的行为轨迹与当前系统运行帧率之间的差值大于双击操作所需要的帧率间隔时，从被标注为单击的列表中删除掉这些点。

由上面的技术方案可知，本发明提供的大屏系统交互行为状态的判断方法，对各个交互行为状态进行轨迹跟踪，并用一定的跟踪标注方法对每个轨迹进行跟踪标注，可以正确判断出手指或者书写笔是在进行画线、长按、单击或者双击操作，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。

综上所述，本发明提供的大屏系统交互行为状态的判断方法，用跟踪的方法将离散的数字化的轨迹点通过匹配跟踪后，形成连续的更能代表实际情况的运动轨迹，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。

以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。