一种基于书写笔的交互系统及方法与流程

文档序号:11153919阅读:259来源:国知局
一种基于书写笔的交互系统及方法与制造工艺

本发明属于人机交互的技术领域,具体涉及一种基于书写笔的交互系统及方法。



背景技术:

在现有的人机交互的过程中,由于单一激光面不均匀导致的检测点位置不准确的问题,多个运动轨迹靠近时候交互错乱的问题,多个手指或者多个书写笔被检测为一个的问题,导致跟踪结果有错误的问题。



技术实现要素:

本发明提供了一种基于书写笔的交互系统及方法,解决了多个运动轨迹靠近时候相互错乱的问题,并根据获取的运动轨迹来实现人机交互的目的。

本发明提供了一种基于书写笔的交互系统,包括多个书写笔、屏幕、摄像头和处理器,其中:

多个书写笔,为带特殊标志的书写笔,用于供给多个使用者同时对屏幕进行操作;

摄像头设置在屏幕的上方,用于采集屏幕上的信息;

处理器接收来自摄像头的信息,用于检测跟踪是来自哪个书写笔书写的信息。

优选的,所述的多个书写笔为带数字标号的书写笔。

由上面的技术方案可知,本发明提供的基于书写笔的交互系统,实现了多个使用者使用书写笔同时对屏幕进行操作,由于多个使用者使用的是带有特殊标志的书写笔,使得处理器对多个书写笔的检测跟踪变得容易,和原来两两书写笔相比进行检测减少了运算量。

本发明还提供了一种基于书写笔的交互方法,包括如下步骤:

S1、对摄像头进行标定,将所拍摄图像映射到屏幕对应的位置上;

S2、采用OCR字符识别技术对上面标定好的图像进行检测;

S3、将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹,并根据获取的运动轨迹来判断是否有书写笔在屏幕上操作,进而实现人机交互。

优选的,所述的对摄像头进行标定的步骤具体包括如下步骤:

S11、制作黑白格子图并全屏显示在屏幕上;

S12、通过摄像头获取到上面制作出的黑白格子图,并获取到背景图;

S13、将黑白格子图分别灰度化后和背景图的灰度图相减,再对获得的两个图进行差异化比较,获取新的图像;

S14、对获取的新的图像进行二值化并进行轮廓提取,获取到轮廓的角点信息;

S15、对各个角点的信息进行排序,并分别对应到屏幕中的位置,其结果作为标定的结果。

优选的,所述的对各个角点的信息进行排序的步骤具体包括如下步骤:

S151、设屏幕的左上角为坐标原点,每个像素点的位置坐标为(x,y),如果该像素点的横坐标x与纵坐标y之和越小,则该像素点越靠近于屏幕左上角;假设屏幕图像长度为imagelength,如果imagelength-x与y之和越小,则该像素点越靠近于屏幕右上角;

S152:通过上述步骤检测出屏幕第一排最左边的点和第一排最右边的点,设两点坐标分别为(x1,y1)和(x2,y2),通过θ=arctan((y2-y1)/(x2-x1))得出这两点形成的斜率角度;采用上述方法对所有的像素点进行粗略的排序;

S153:获取上述粗略排序后的坐标排序结果,通过每个点的横坐标x,纵坐标y,及步骤S83计算出的θ用公式y*cosθ-x*sinθ按从小到大对所有点进行排序,则前rows个点为第一排所拥有的点,并对所述第一排的像素点按照其横坐标从小到大进行排序,得到第一排的排序对应;

S154:对剩下的(rows*cols-rows)个点逐个进行步骤S81到步骤S84,获得第二排最左边的点和第二排最右边的点,以及第二排的rows个点;同理,依此获得所有其他排的坐标信息的排序对应;

S155:将上述排序对应的结果中的前rows个点(第一排的总数)按照横坐标从小到大进行排序,即获得第一排的正确排序对应,同理依此获得第2至第cols排的正确排序对应。

优选的,所述的采用OCR字符识别技术对上面标定好的图像进行检测的步骤具体包括如下步骤:

S21、获取背景图,并对背景图进行灰度化处理;

S22、获取当前帧的实时图像,并对该实时图像进行灰度处理;

S23、用实时图像得到的灰度图减去背景图得到的灰度图并取绝对值,获取一副新的图像。

S24、对获取的新的图像进行二值化处理,获取二值图;

S25、对获取的二值图进行OCR技术特征提取,并进行特征的匹配,获取图像中的字符信息。

优选的,所述的将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹的步骤具体包括如下步骤:

S31、根据获取到每帧屏幕中书写笔的位置和所识别的特殊标志,将上一帧的位置和特殊标志的信息保存下来,上一帧的信息存在数组1中,当前帧的信息存在数组2中;

S32、如果上一帧的信息为空,当前帧的信息为空,则说明屏幕中没有书写笔书写;

S33、如果上一帧的信息为空,而当前帧开始有信息,则当前帧存在的每个书写笔都为新的书写笔运动的第一帧;

S34、每帧图像中对上一帧存在的书写笔在当前帧中进行查找,如果此书写笔存在,则匹配为此书写笔的运动轨迹,如果此书写笔不存在了,则将此书写笔的运动轨迹标识为结束。

优选的,所述的书写笔上的特殊标志为数字标号。

由上面的技术方案可知,本发明提供的基于书写笔的交互方法,是基于带特殊标志的书写笔进行的交互,将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹,多个运动轨迹不再相互错乱,多个书写笔不再误检测为一个,使得检测的精准性得到提高,并根据获取的运动轨迹来实现人机交互的目的。

附图说明

图1为本发明实施例提供的一种基于带特殊标志的书写笔的交互系统的示意图;

图2为本发明实施例提供的一种基于带特殊标志的书写笔的交互方法的流程图。

具体实施方式

以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解,此处描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。

本发明提供了一种基于书写笔的交互系统,包括多个书写笔、屏幕、摄像头和处理器,其中:

多个书写笔,为带特殊标志的书写笔,用于供给多个使用者同时对屏幕进行操作;

摄像头设置在屏幕的上方,用于采集屏幕上的信息;

处理器接收来自摄像头的信息,用于检测跟踪是来自哪个书写笔书写的信息。

优选的,所述的多个书写笔为带数字标号的书写笔。

下面以两个书写笔为例说明,且这两个书写笔是带有数字标号的,为第一书写笔和第二书写笔,如图1所示,本发明实施例提供了一种基于书写笔的交互系统,包括第一书写笔11、第二书写笔12、屏幕2、摄像头3和处理器4,其中:

第一书写笔11和第二书写笔12,用于供给多个使用者同时对屏幕2进行操作;

摄像头3设置在屏幕2的上方,用于采集屏幕2上的信息;

处理器4接收来自摄像头3的信息,用于检测跟踪屏幕上的信息是来自第一书写笔还是第二书写笔书写的信息。

由上面的技术方案可知,本发明提供的基于书写笔的交互系统,实现了多个使用者使用书写笔同时对屏幕进行操作,由于多个使用者使用的是带有特殊标志的书写笔,使得处理器对多个书写笔的检测跟踪变得容易,不在误检测为一个书写笔,和原来两两书写笔相比进行检测减少了运算量。

本发明实施例还提供了一种基于书写笔的交互方法,如图2所示,包括如下步骤:

S1、对摄像头进行标定,将所拍摄图像映射到屏幕对应的位置上;

S2、采用OCR字符识别技术对上面标定好的图像进行检测;

S3、将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹,并根据获取的运动轨迹来判断是否有书写笔在屏幕上操作,进而实现人机交互。

优选的,所述的对摄像头进行标定的步骤具体包括如下步骤:

S11、制作黑白格子图并全屏显示在屏幕上;

S12、通过摄像头获取到上面制作出的黑白格子图,并获取到背景图;

S13、将黑白格子图分别灰度化后和背景图的灰度图相减,再对获得的两个图进行差异化比较,获取新的图像;

S14、对获取的新的图像进行二值化并进行轮廓提取,获取到轮廓的角点信息;

S15、对各个角点的信息进行排序,并分别对应到屏幕中的位置,其结果作为标定的结果。

优选的,所述的对各个角点的信息进行排序的步骤具体包括如下步骤:

S151、设屏幕的左上角为坐标原点,每个像素点的位置坐标为(x,y),如果该像素点的横坐标x与纵坐标y之和越小,则该像素点越靠近于屏幕左上角;假设屏幕图像长度为imagelength,如果imagelength-x与y之和越小,则该像素点越靠近于屏幕右上角;

S152:通过上述步骤检测出屏幕第一排最左边的点和第一排最右边的点,设两点坐标分别为(x1,y1)和(x2,y2),通过θ=arctan((y2-y1)/(x2-x1))得出这两点形成的斜率角度;采用上述方法对所有的像素点进行粗略的排序;

S153:获取上述粗略排序后的坐标排序结果,通过每个点的横坐标x,纵坐标y,及步骤S83计算出的θ用公式y*cosθ-x*sinθ按从小到大对所有点进行排序,则前rows个点为第一排所拥有的点,并对所述第一排的像素点按照其横坐标从小到大进行排序,得到第一排的排序对应;

S154:对剩下的(rows*cols-rows)个点逐个进行步骤S81到步骤S84,获得第二排最左边的点和第二排最右边的点,以及第二排的rows个点;同理,依此获得所有其他排的坐标信息的排序对应;

S155:将上述排序对应的结果中的前rows个点(第一排的总数)按照横坐标从小到大进行排序,即获得第一排的正确排序对应,同理依此获得第2至第cols排的正确排序对应。

优选的,所述的采用OCR字符识别技术对上面标定好的图像进行检测的步骤具体包括如下步骤:

S21、获取背景图,并对背景图进行灰度化处理;

S22、获取当前帧的实时图像,并对该实时图像进行灰度处理;

S23、用实时图像得到的灰度图减去背景图得到的灰度图并取绝对值,获取一副新的图像。

S24、对获取的新的图像进行二值化处理,获取二值图;

S25、对获取的二值图进行OCR技术特征提取,并进行特征的匹配,获取图像中的字符信息。

优选的,所述的将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹的步骤具体包括如下步骤:

S31、根据获取到每帧屏幕中书写笔的位置和所识别的特殊标志,将上一帧的位置和特殊标志的信息保存下来,上一帧的信息存在数组1中,当前帧的信息存在数组2中;

S32、如果上一帧的信息为空,当前帧的信息为空,则说明屏幕中没有书写笔书写;

S33、如果上一帧的信息为空,而当前帧开始有信息,则当前帧存在的每个书写笔都为新的书写笔运动的第一帧;

S34、每帧图像中对上一帧存在的书写笔在当前帧中进行查找,如果此书写笔存在,则匹配为此书写笔的运动轨迹,如果此书写笔不存在了,则将此书写笔的运动轨迹标识为结束。

优选的,所述的书写笔上的特殊标志为数字标号。

由上面的技术方案可知,本发明提供的基于书写笔的交互方法,是基于带特殊标志的书写笔进行的交互,将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹,并根据获取的运动轨迹来判断是否有几个书写笔在屏幕上操作,使得检测的精准性得到提高,多个运动轨迹不再相互错乱,多个书写笔不再误检测为一个。

综上所述,本发明提供的基于书写笔的交互系统及方法,解决了单一的激光水平面不均匀导致的检测点位置不准确和多个运动轨迹靠近时候相互错乱的问题,多个书写笔被检测为一个及跟踪结果有错误的问题。

以上的实施方式均为本发明的优选实施方式,并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员,在不脱离本发明所公开的精神和范围的前提下,对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1