一种基于书写笔的交互系统及方法与流程

文档序号:11153919阅读:来源:国知局

技术特征:

1.一种基于书写笔的交互系统,其特征在于,包括多个书写笔、屏幕、摄像头和处理器,其中:

多个书写笔,为带特殊标志的书写笔,用于供给多个使用者同时对屏幕进行操作;

摄像头设置在屏幕的上方,用于采集屏幕上的信息;

处理器接收来自摄像头的信息,用于检测跟踪是来自哪个书写笔书写的信息。

2.根据权利要求1所述的交互系统,其特征在于,所述的多个书写笔为带数字标号的书写笔。

3.一种基于书写笔的交互方法,其特征在于,包括如下步骤:

S1、对摄像头进行标定,将所拍摄图像映射到屏幕对应的位置上;

S2、采用OCR字符识别技术对上面标定好的图像进行检测;

S3、将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹,并根据获取的运动轨迹来判断是否有书写笔在屏幕上操作,进而实现人机交互。

4.根据权利要求3所述的交互方法,其特征在于,所述的对摄像头进行标定的步骤具体包括如下步骤:

S11、制作黑白格子图并全屏显示在屏幕上;

S12、通过摄像头获取到上面制作出的黑白格子图,并获取到背景图;

S13、将黑白格子图分别灰度化后和背景图的灰度图相减,再对获得的两个图进行差异化比较,获取新的图像;

S14、对获取的新的图像进行二值化并进行轮廓提取,获取到轮廓的角点信息;

S15、对各个角点的信息进行排序,并分别对应到屏幕中的位置,其结果作为标定的结果。

5.根据权利要求4所述的交互方法,其特征在于,所述的对各个角点的信息进行排序的步骤具体包括如下步骤:

S151、设屏幕的左上角为坐标原点,每个像素点的位置坐标为(x,y),如果该像素点的横坐标x与纵坐标y之和越小,则该像素点越靠近于屏幕左上角;假设屏幕图像长度为imagelength,如果imagelength-x与y之和越小,则该像素点越靠近于屏幕右上角;

S152:通过上述步骤检测出屏幕第一排最左边的点和第一排最右边的点,设两点坐标分别为(x1,y1)和(x2,y2),通过θ=arctan((y2-y1)/(x2-x1))得出这两点形成的斜率角度;采用上述方法对所有的像素点进行粗略的排序;

S153:获取上述粗略排序后的坐标排序结果,通过每个点的横坐标x,纵坐标y,及步骤S83计算出的θ用公式y*cosθ-x*sinθ按从小到大对所有点进行排序,则前rows个点为第一排所拥有的点,并对所述第一排的像素点按照其横坐标从小到大进行排序,得到第一排的排序对应;

S154:对剩下的(rows*cols-rows)个点逐个进行步骤S81到步骤S84,获得第二排最左边的点和第二排最右边的点,以及第二排的rows个点;同理,依此获得所有其他排的坐标信息的排序对应;

S155:将上述排序对应的结果中的前rows个点(第一排的总数)按照横坐标从小到大进行排序,即获得第一排的正确排序对应,同理依此获得第2至第cols排的正确排序对应。

6.根据权利要求3所述的交互方法,其特征在于,所述的采用OCR字符识别技术对上面标定好的图像进行检测的步骤具体包括如下步骤:

S21、获取背景图,并对背景图进行灰度化处理;

S22、获取当前帧的实时图像,并对该实时图像进行灰度处理;

S23、用实时图像得到的灰度图减去背景图得到的灰度图并取绝对值,获取一副新的图像。

S24、对获取的新的图像进行二值化处理,获取二值图;

S25、对获取的二值图进行OCR技术特征提取,并进行特征的匹配,获取图像中的字符信息。

7.根据权利要求3所述的交互方法,其特征在于,所述的将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹的步骤具体包括如下步骤:

S31、根据获取到每帧屏幕中书写笔的位置和所识别的书写笔上的特殊标志,将上一帧的位置和特殊标志信息保存下来,上一帧的信息存在数组1中,当前帧的信息存在数组2中;

S32、如果上一帧的信息为空,当前帧的信息为空,则说明屏幕中没有书写笔书写;

S33、如果上一帧的信息为空,而当前帧开始有信息,则当前帧存在的每个书写笔都为新的书写笔运动的第一帧;

S34、每帧图像中对上一帧存在的书写笔在当前帧中进行查找,如果此书写笔存在,则匹配为此书写笔的运动轨迹,如果此书写笔不存在了,则将此书写笔的运动轨迹标识为结束。

8.根据权利要求7所述的交互方法,其特征在于,所述的书写笔上的特殊标志为数字标号。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1