专利名称：激光笔的数字墨水生成方法与生成系统的制作方法
技术领域：
本发明涉及一种激光笔的数字墨水生成方法与生成系统(10)，其采用一个摄像头(11)，利用计算机视觉技术来捕捉激光笔发射在投影屏幕上的激光束，然后以数字墨水的形式保存这些激光束的轨迹，并嵌入到投影所用的文档中，最后把得到的数字墨水实时显示在投影屏幕上面。
背景技术：
激光笔在电子演讲、多媒体教学等活动中起着非常重要的作用。用户在自由的发表演说时，为了强调要点和重点内容，无需中断后去计算机上进行相应的鼠标和键盘操作；只需要使用激光笔，在投影上利用激光圈划相应的区域部分即可。令人遗憾的是，在实际使用中，那些圈划要点和重点内容的激光轨迹瞬间即逝，没有留下半点痕迹；这样，内容的接受者还没有完全理解时，已经在投影上找不到重点信息的强调信号痕迹了。
为了克服这个问题，一般的处理方法为，事先在文档中把需要强调的内容进行圈划，然而，这样不能达到现场强调的效果；另外一种方法，就是利用电脑笔在特定的介质(电脑手写板和超声波装置等)上对需要强调的内容进行圈划，然而，演讲者只能在特定的介质旁边，一边操作，一边讲解，这限制了演讲者的活动，不能发挥现场自由演讲的效果。
因此，需要一种技术与系统，能够把激光笔所发射的激光束轨迹长时间的保留在投影文档上，又不要限制演讲者的自由活动，从而达到现场演讲的效果。
发明内容
采用计算机视觉技术来检测、定位、跟踪和获取激光笔所发射的激光束在投影屏幕上的轨迹和形状。采用文档分析算法和数字墨水技术，把这些轨迹和形状进行进一步精确定位和形状修饰，并转化为数字墨水，以彩色透明方式嵌入投影所用的WORD和PPT文档中。此系统能够长时间的记录激光笔所发射的激光束在投影屏幕上的轨迹，同时也可以把这些轨迹保存到投影所用的文档中。
在第一普遍的方面，本发明提供了一种激光笔的数字墨水生成方法与生成系统(10)，包括用于产生代表了激光笔所发射的激光束在投影屏幕上轨迹的视频信号的捕捉方法(11)。
在第二普遍的方面，本发明提供了一种方法，包括激光束轨迹视频捕捉，激光束轨迹计算机视觉技术粗定位；以及激光束轨迹图形的生成方法。
在第三普遍的方面，本发明提供了一种方法，对于激光束在投影屏幕上的位置与形状，利用分析本地计算机上的用于投影的文档来进行进一步位置定位与图形处理，包括激光束轨迹文档分析技术精确定位方法；以及利用相关文档分析技术的激光束轨迹图形修饰方法。
图1显示了根据本发明实施例的代表性激光笔的数字墨水生成系统；图2显示了根据本发明实施例的图1所示激光笔的数字墨水生成系统的流程图；图3显示了本发明中激光束轨迹计算机视觉技术粗定位方法的流程图；图4显示了本发明中激光束轨迹图形转化为数字墨水方法的流程图。
具体实施例方式
本发明公开了一种激光笔的数字墨水生成方法与生成系统(10)。采用计算机视觉技术来检测、定位、跟踪和获取激光笔所发射的激光束在投影屏幕上的轨迹和形状。采用文档分析算法和数字墨水技术，把这些轨迹和形状进行进一步精确定位和形状修饰，并转化为数字墨水，以彩色透明方式嵌入投影所用的WORD和PPT文档中。此系统能够长时间的记录激光笔所发射的激光束在投影屏幕上的轨迹，同时也可以把这些轨迹保存到投影所用的文档中。
现在参看附图并从图1开始，其中显示了一种代表性的激光笔的数字墨水生成系统(10)。激光笔的数字墨水生成系统硬件包括一个摄像头，一台投影仪，一个投影屏幕，以及一台计算机。简单的说，在处理过程中，激光笔的数字墨水生成系统(10)，通过摄像头对显示在投影屏幕上的激光束轨迹进行视频捕捉。首先通过捕捉的视频信号进行激光束轨迹的粗定位。然后利用投影所用的存放在计算机上的文档，对激光束轨迹文档分析技术精确定位；基于文档知识，对激光束轨迹图形进行修改处理。通过通用的数字墨水生成接口，生成激光束轨迹图形的数字墨水。最后，把数字墨水嵌入到投影用的文档中，并进行实时投影显示。
11为普通的摄像头；而激光笔、投影仪与投影屏幕也是普通的。通过通用的数字墨水生成接口把激光束轨迹图形转换为数字墨水，也可以转化为普通的数字图片，再嵌入到投影所用的WORD和PPT文档中，在投影屏幕上进行实时显示。
请参阅图2所示，是本发明的激光笔的数字墨水生成系统的功能流程图。包括利用CCD摄像头拍摄激光笔所发射的激光束在投影屏幕上的轨迹，并转化为视频信号(21)；激光束轨迹计算机视觉技术粗定位，并生成轨迹图形(22)；把激光束的轨迹图形转化为数字墨水(23)；把数字墨水嵌入投影所用文档的方法，并通过投影仪，实时显示在投影屏幕上(24)等四个步骤，现将各步骤说明如下(a)在投影屏幕的正前方，安装一个CCD摄像头；利用该摄像头，对投影屏幕处进行拍摄，把整个投影屏幕处的所有可视信号(包括激光束在投影屏幕上的轨迹)进行视频捕捉，形成视频信号。
(b)对投影屏幕处进行动态建模，利用相减法与背景模型相减，并建立图像相减后的激光束轨迹判断法则，进行激光束轨迹的定位；根据视频中投影屏幕的位置，提取激光束轨迹；然后对视频中的投影屏幕图像进行射影校正；再根据投影屏幕左上角与投影所用文档左上角的位置对应关系，把相对于投影屏幕位置的激光束轨迹转换为相对于文档左上角的激光束轨迹。
(c)利用本地计算机中投影所用文档的知识特性，而不是视频中投影屏幕上的文档图像，把上述粗定位的激光束轨迹定位在文档上，分析文档中的字符行等版面信息，进行激光束轨迹的再次精确定位；然后再根据轨迹所在文档的版面信息，对轨迹进行平移与旋转等处理，使得轨迹更能表现演讲者所强调的信息；通过微软公司.net技术中通用的数字墨水接口，把这些轨迹转换为数字墨水。
(d)利用微软公司提供的WORD和PPT编程API函数，把通过上述步骤得到的激光束轨迹数字墨水以彩色透明方式嵌入到投影所用的WORD和PPT文档中，并实时在投影屏幕上进行显示。
对于上述步骤(b)中的激光束轨迹计算机视觉技术粗定位方法，其具体流程如图3所示。包括跟踪与定位视频中的激光束轨迹(31)；提取激光束轨迹(32)；对视频中的投影屏幕图像进行射影校正(33)；把相对于投影屏幕位置的激光束轨迹转换为相对于文档左上角的激光束轨迹(34)等四个步骤，现将各步骤说明如下(1)对投影屏幕处背景进行动态建模，利用相减法与前一段视频相减，以去除背景及显示文档的干扰，建立图像相减后的激光束轨迹判断法则，并保留激光束的动态特性，跟踪与定位视频中的激光束轨迹。
对于无激光束轨迹的投影屏幕进行均值滤波背景建模，设得到的投影屏幕处背景模型为B(x，y)，(x，y)为投影屏幕处背景图像中的某一点，设Ft(x，y)为视频信号中t时刻的一帧图像点(x，y)处的亮度值，如果，|Ft(x，y)-B(x，y)|＞THRES则有，Ft(x，y)为激光束轨迹点，其中THRES为检测阈值。
同时，投影仪每次更换一个显示画面，对背景模型进行动态更新；即重新对新投影屏幕背景进行均值滤波建模。
(2)根据视频中投影屏幕的位置，提取激光束轨迹。
本发明以一定时间间隔内激光笔所发射的激光束来表示处理的一个激光束轨迹单元。根据上述步骤(1)的检测，从t＝0开始，到第T帧图像(t＝T-1)时，此时的激光束轨迹为，ELaser＝{(x，y)，|Ft(x，y)-B(x，y)|＞THRES，0≤t＜T}此时，ELaser表示提取出来的激光笔所发射的激光束轨迹。
(3)对视频中的投影屏幕图像进行射影校正。
利用摄像头捕捉得到的图像，容易产生射影变形。我们采用一种快速算法对投影屏幕图像进行射影校正。
首先利用Hough变换，找到投影仪投影四边形区域的四条边，设上、下两条边的直线方程为Tline和Bline，左、右两条边的直线方程为Lline和Rline；然后求得直线Tline和Bline的交点，即为射影变换中的水平消失点Phor_v；再求得直线Lline和Rline的交点，即为射影变换中的垂直消失点Pver_v；最后，利用这两个消失点Phor_v和Pver_v就很容易的对图像进行射影校正了。
(4)根据投影屏幕左上角与投影所用文档左上角的位置对应关系，把相对于投影屏幕位置的激光束轨迹转换为相对于文档左上角的激光束轨迹。
对于数字墨水生成系统步骤(c)中的把激光束的轨迹图形转化为数字墨水过程，其具体流程如图4所示。包括激光束轨迹文档分析技术精确定位处理(41)；激光束轨迹图形修饰处理(42)；利用微软公司.net技术中的数字墨水SDK，把激光束轨迹图形转换为数字墨水(43)等三个步骤，现将各步骤说明如下(1)利用本地计算机中投影所用文档的版面结构，而不是视频中投影屏幕上的文档图像，分析文档中的字符行等版面信息，进行激光束轨迹的再次精确定位，使得激光束轨迹定位在所指示的字符行上面。
通过激光束轨迹计算机视觉技术粗定位方法中的步骤(4)，可以得到相对于文档左上角的激光束轨迹；计算投影所用当前页文档的行位置信息，并计算激光束轨迹与各文本行相对应的位置关系，进行激光束轨迹的精确定位。
(2)利用本地计算机中投影所用文档的版面结构，而不是视频中投影屏幕上的文档图像，根据轨迹所在文档的版面信息，对轨迹图形进行旋转与平移等处理。
以投影所用当前页文档的左上角为坐标原点，水平方向为x轴，向右为正方向，垂直方向为y轴，向下为正方向。则激光束轨迹表示为ELaser＝{(x，y)}，且有xstart≤x≤xend和ystart≤y≤yend，其中，xstart为激光束轨迹点所在范围的最左x轴坐标，xend为最右x轴坐标，ystart为激光束轨迹点所在范围的最上y轴坐标，yend为最下y轴坐标。
计算激光束轨迹在x轴方向的中心线。即沿x轴，计算{(xi，yi)}，for(xi＝xstart；xi≤xend；xi++){yi=1CiΣkyk,(xi,yk)∈ELaser;]]>}其中，Ci表示符合(xi，yk)∈ELaser的点的个数。
然后通过拟合点集合{(xi，yi)}得到水平方向的中心直线L。再旋转激光束轨迹，使得直线L与x轴平行。此时，则完成了激光束轨迹图形的旋转操作。
下面具体介绍激光束轨迹的平移操作。
首先计算激光束轨迹的闭合轮廓，并计算该闭合轮廓所包括的区域与各文本行重叠点的数目{Ni，1≤i≤C}，其中C表示该文档页中文本的行数。若，Nk=maxiNi]]>则把激光束轨迹图形进行垂直方向平移，使得平移后轨迹图形的重心与第k行的文本中心在一条水平直线上。
(3)利用微软公司.net技术中的数字墨水SDK，把激光束轨迹图形转换为数字墨水。
综上所述，通过本发明的方法，可利用计算机视觉技术与文档分析技术，并将软硬件结合成独立的激光笔的数字墨水生成方法与生成系统。所以，本发明完全符合发明专利申请要件，故依法提出发明专利申请，请详查并批准授予专利权，以保障发明者的权益。
虽然这里为说明目的而介绍了本发明的实施例，但是对本领域的技术人员来说很明显，可以对其进行许多修改和变化。因此，所附权利要求预期包括了属于本发明的精神实质和范围内的所有这些修改和变化。
权利要求
1.一种激光笔的数字墨水生成方法与生成系统，其特征在于采用激光笔、CCD摄像头、投影仪、投影屏幕和PC计算机构成的计算机视觉和图像处理系统，具体处理步骤如下(a)在投影仪屏幕前方放置一个CCD摄像头，利用该摄像头拍摄激光笔所发射的激光束在投影屏幕上的轨迹，并转化为视频信号；(b)激光束轨迹计算机视觉技术粗定位，并生成轨迹图形；(c)把激光束的轨迹图形转化为数字墨水；(d)把数字墨水嵌入投影所用WORD和PPT文档的方法，并通过投影仪，实时显示在投影屏幕上。
2.根据权利要求1所述的方法与系统，其中，所述激光束轨迹计算机视觉技术粗定位进一步包括步骤(a)对投影屏幕处背景进行动态建模，利用相减法与背景模型相减，建立图像相减后的激光束轨迹判断法则，并保留激光束的动态特性，跟踪与定位视频中的激光束轨迹；(b)根据视频中投影屏幕的位置，提取激光束轨迹；(c)对视频中的投影屏幕图像进行射影校正；(d)根据投影屏幕左上角与投影所用文档左上角的位置对应关系，把相对于投影屏幕位置的激光束轨迹转换为相对于文档左上角的激光束轨迹。
3.根据权利要求1所述的方法与系统，其中，所述激光束轨迹图形转化为数字墨水进一步包括步骤(a)激光束轨迹文档分析技术精确定位处理；(b)激光束轨迹图形修饰处理；(c)利用微软公司.net技术中的数字墨水SDK，把激光束轨迹图形转换为数字墨水。
4.根据权利要求1所述的方法与系统，其中，所述激光束轨迹文档分析技术精确定位处理表示，利用本地计算机中投影所用文档的版面结构，而不是视频中投影屏幕上的文档图像，分析文档中的字符行等版面信息，进行激光束轨迹的再次精确定位，使得激光束轨迹定位在所指示的字符行上面。
5.根据权利要求1所述的方法与系统，其中，所述激光束轨迹图形修饰处理表示，利用本地计算机中显示所用文档的版面结构，而不是视频中投影屏幕上的文档图像，根据轨迹所在文档的版面信息，对轨迹图形进行平移与旋转等处理。
6.根据权利要求1所述的方法与系统，其特征在于，包括了把激光束轨迹图形转化为普通数字图片，把数字图片嵌入到投影所用的WORD和PPT文档，并通过投影仪，实时显示在投影屏幕上。
全文摘要
一种激光笔的数字墨水生成方法与生成系统，其采用一个摄像头，来捕捉激光笔发射在投影屏幕上的激光束，然后以数字墨水的形式保存这些激光束的轨迹图形，并嵌入到投影所用的文档中，最后把得到的数字墨水实时显示在投影屏幕上面。硬件包括激光笔、摄像头、计算机、投影仪和投影屏幕。采用计算机视觉技术来检测、定位、跟踪和获取激光束在投影屏幕上的轨迹和形状。采用文档分析算法和数字墨水技术，把这些轨迹和形状进行进一步精确定位和形状修饰，并转化为数字墨水，以彩色透明方式嵌入投影所用的文档中。此系统能够长时间的记录激光笔所发射的激光束在投影屏幕上的轨迹，同时也可以把这些轨迹保存到投影所用的文档中。
文档编号G06F3/00GK1687869SQ20051006957
公开日2005年10月26日 申请日期2005年5月17日 优先权日2005年5月17日
发明者殷绪成 申请人:殷绪成