专利名称：智能互动投影系统的制作方法
技术领域：
本发明特别涉及一种智能互动投影系统。
背景技术：
多点触控互动技术是采用人机交互技术与硬件设备共同实现的技术，能在没有传统输入设备(如鼠标、键盘等)下进行计算机的人机交互操作。多点触摸互动技术，能构成一个触摸屏(屏幕，桌面，墙壁等)或触控板，都能够同时接受来自屏幕上多个点进行计算机的人机交互操作。该技术始于1982年由多伦多大学发明的感应食指指压的多点触控屏幕。同年贝尔实验室发表了首份探讨触控技术的学术文献。 1984年，贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏。同时上述于多伦多大学的一组开发人员终止了相关硬件技术的研发，把研发方向转移至软件及界面上。同年，微软开始研究该领域。1991年Pierre Wellner对多点触控“数码服务台”，即支持多手指的提案，研制多点触控出一种名为数码桌面的触屏技术，容许使用者同时以多个指头触控及拉动触屏内的影像。1999年，“约翰埃利亚斯”和“鲁尼韦斯特曼”生产了的多点触控产品包括iGesture板和多点触控键盘。2006年,纽约大学的Jefferson Y Han教授领导研发的新型触摸屏可由双手同时操作，并且支持多人同时操作。利用该技术，Jefferson Y Han在36英寸X27英寸大小的屏幕上，同时利用多只手指，在屏幕上画出了好几根线条。与普通的触摸屏技术所不同的是，它同时可以有多个触摸热点得到响应，而且响应时间非常短。现有的多点触控互动产品的解决方案大多采用摄像头图像识别方案和红外光束检测方案。红外光束检测方案至少存在以下几项缺点
I、必须在互动触控区域的四周安装合金材质的红外线发射和接收单元的支撑边框60，该边框高度在8mnTl2_左右，因此，只能在特定场合部署，在对互动表面有要求的情况下，无法部署该设备。由于该边框采用合金材质加工，对年纪较小的使用者，会有潜在的危害。2、由于该装置需要红外发射装置和红外接收装置一一对应，增大了安装调试过程的复杂程度；当互动区域面积较大的时候,需要的红外发射管和红外接收管数量需求过大，长时间使用必定会造成相当程度的电力损耗，若将此设备应用于便携电子设备中且采用蓄电池供电，会对使用者造成相当程度的不便。摄像头图像识别方案存在以下几个缺点
I、该方案虽然可以实现实时的触控互动效果，但是设计原理使得该方案需要一个很大的支撑框体260，无法小型化，只能在足够的空间内部署，不便移动。2、系统对光线要求很严格，不能在较明亮的环境下操作，部署的环境光线不能存在波动，需要在恒定的环境下工作。
发明内容
发明目的为解决现有的多点触控互动投影系统存在的环境要求高、耗电量大、不便于携带等问题，提供一种智能互动投影系统。采用的技术方案提供了一种智能互动投影系统，包括一红外摄像机单元2，一虚拟互动区域2，一投影仪单元3，一红外激光发射器单元8，一存储单元，一处理单元，有线通信单元及无线通信单元；
定义任意平整物体表面所形成平面I上某个区域为虚拟互动区域2 ;红外激光发射器单元8部署在平面I上，且贴近平面1，并在平面I的表面形成完全覆盖虚拟互动区域2的红外激光光场；投影仪单元3将影像投射到平面I上，与平面I的垂直距离不高于60cm，且投影仪单元3的投影区域与虚拟互动区域2完全重合，并向虚拟互动区域2投影由移动终端或者电脑输出的画面；红外摄像机单元4安装在投影仪单元3的上方或者下方，且红外摄 像机单元4的视场能够覆盖的范围大于虚拟互动区域2，并且有适当余量；
处理单元通过图像处理获得用户“点击”目标的位置，过程如下
步骤A、背景建模
定义J(I)为红外摄像机单元4采集的第J1帧图像，累计30帧图像作为背景建模的基
m1
础，对上述30帧图像求算数和，即Sum = JmI(J),并求均值命=丄■ 5^ ,将作为背
Tfl30
景模型；
步骤B、前景获取
将红外摄像机单元4接收到的图像/U;)与背景模型J差分运算，获得前景目标Fg-Eg- I(m)；
步骤C、提取目标质心坐标
在没图像中，定义第i行第，列的像素值表达式为i),对图像没沿X方向和方向分别求一阶差分，表达式为
A1Fgiis j) = Fgii + I4 j) - Fgii, j)
A7FgiJ3 j) - Fgiis j + I) - Fgiis j)
用上述两个表达式遍历整帧图像之后，即获得图像的边缘，定义边缘上每点在I万向的像素坐标为Xi, ^方向的像素坐标为匕.，则目标质心的x方向和f方向的坐标表示为
C3 = ZXi
C7 =I:,,.
其中#表示每个目标轮廓上像素点的个数；
步骤D、目标跟踪每个目标对应一个特定的图像帧，因此，定义目标质心坐标的一般形式为，其中，I为该目标对应的图像帧的序号；将目标质心算法应用于多个图像帧时，获得一系列的cr\，\,、CMi^ cx序列即为目标运动轨迹，将一定时间内所有图像帧获得
的artc;, C7),按照图像帧的先后顺序存储在队列中，即为目标的运动轨迹，从而实现了对目标的跟踪；
步骤E、用户用手指或者触控笔“单击”虚拟互动区域2产生目标，红外摄像机单元4便采集到图像并通过上述算法进行目标的识别与跟踪，即产生C7),序列；存储单元用
于存储红外摄像机单元图像坐标系6到虚拟互动区域坐标系13的映射关系数据，用户首先在红外摄像机单元4拍摄到的图像中选择虚拟互动区域2的四个边缘点“左上角点”、“左下角点”、“右上角点”和“右下角点”，分别定义为iKi, j)、LMd, f)、RTU,刀和邪仏i),
定义投影仪单元3与虚拟互动区域2的四个边缘点对应的四个点为(尤j)、L￡ii, j)、 Mf (JJ)和 MU, j);
定义坐标系变换的变换矩阵为
= 3(10 301 ’，结合上述图像中的两组8个边缘点，求解中的变量
.aI0 aH bi.其中，所述虚拟互动区域2的平面存在于任一平台上的一个平面，该平台为纸张、硬质平板或软质平板，且该平面作为投影屏幕，通过投影仪单元3投射出移动终端或者电脑输出的图像。其中，所述虚拟互动区域2的表面最大凹凸不超过2mm。其中，所述红外激光发射器单元8由两部分组成850nm的红外激光设备9和“一字线”红外激光透镜10，红外激光设备9的功率根据虚拟互动区域2面积的尺寸在IOmWlOOmW之间，红外激光设备9和“一字线”红外激光透镜10进行组合，形成“一字线”激光光束。其中，所述处理单元的图像处理过程主要采用图像二值化、背景移除、空域滤波、图像形态学处理、目标提取操作；红外摄像机单元4实时采集虚拟互动区域2的图像，在没有用户“单击”事件的情况下，不进行处理和发送控制信息，当有用户“单击”事件发生的情况下，红外摄像机单元4拍摄该图像帧，进行以下操作
步骤A、背景建模
定义JOO为红外摄像机单元4采集的第i帧图像，累计30帧图像作为背景建模的基
m1
础,对上述30帧图像求算数和，即Sum = J^Ki),并求均值％ = _ 5k ,将勘作为背
1~130
景模型；
步骤B、前景获取
将红外摄像机单元4接收到的图像/(W与背景模型命差分运算，获得前景目标Fg = Bg — I(m)；
步骤C、提取目标质心坐标
在没图像中，定义第i行第j列的像素值表达式为没(尤i),对图像没沿I方向和7方向分别求一阶差分，表达式为
Aj^Ci3 j) = Fgii +l,j)- Fg(i, j)
tirFg(i, j) = Fgii5 j + I) - Fgiis j)
用上述两个表达式遍历整帧图像之后，即获得图像的边缘，定义边缘上每点在I方向的像素坐标为尤j万向的像素坐标为匕.，则目标质心的^万向和方向的坐标表示为
^ =
cr =Zrj
其中表示每个目标轮廓上像素点的个数；
步骤D、目标跟踪
每个目标对应一个特定的图像帧，因此，定义目标质心坐标的一般形式为C，\，其中，I为该目标对应的图像帧的序号；将目标质心算法应用于多个图像帧时，获得一系列的Cr),,该C7序列即为目标运动轨迹，从而实现了对目标的跟踪；
步骤E、用户用手指或者触控笔“单击”虚拟互动区域2产生目标，红外摄像机单元4便采集到图像并通过上述算法进行目标的识别与跟踪，即产生KG3 C7),序列；存储单元
用于存储红外摄像机单元图像坐标系6到虚拟互动区域坐标系13的映射关系数据，用户首先在红外摄像机拍摄到的图像中选择虚拟互动区域2的四个边缘点“左上角点”、“左下角点”、“右上角点”和“右下角点”，分别定义为3), LBiis j), EIiis i)和邵(i, i),定义投影仪单元3与虚拟互动区域2的四个边缘点对应的四个点为a j)、w(j，j)、 定义坐标系变换的变换矩阵为
权利要求
1.智能互动投影系统，其特征在于，所述的智能互动投影系统包括一红外摄像机单元(2)，一虚拟互动区域(2)，一投影仪单元(3)，一红外激光发射器単元(8)，一存储单元，一处理单元，有线通信単元及无线通信単元； 定义任意平整物体表面所形成平面(I)上某个区域为虚拟互动区域(2);红外激光发射器単元(8)部署在平面(I)上，且贴近平面(I )，并在平面(I)的表面形成完全覆盖虚拟互动区域(2)的红外激光光场；投影仪单元(3)将影像投射到平面(I)上，与平面(I)的垂直距离不高于60cm，且投影仪单元(3)的投影区域与虚拟互动区域(2)完全重合，并向虚拟互动区域(2)投影由移动终端或者电脑输出的画面；红外摄像机単元(4)安装在投影仪单元(3)的上方或者下方，且红外摄像机単元(4)的视场能够覆盖的范围大于虚拟互动区域(2)，并且有适当余量； 处理单元通过图像处理获得用户“点击”目标的位置，过程如下 步骤A、背景建摸 定义/00为红外摄像机単元(4)采集的第左帧图像，累计30帧图像作为背景建模的基础,对上述30帧图像求算数和，即Sum =,并求均值％ =,将Jfe作为背 Tfl30景模型； 步骤B、前景获取 将红外摄像机単元(4)接收到的图像JCW与背景模型翁差分运算，获得前景目标Fg-Bg- I(m)； 步骤C、提取目标质心坐标 在な图像中，定义第i行第，列的像素值表达式为/ざ(ムJ'),对图像な沿X方向和方向分别求ー阶差分，表达式为A1Fgiis j) = Fgii + Ij j) - Fgils j)A7FgiJ3 j) - Fgiis j + I) - Fgii, j) 用上述两个表达式遍历整帧图像之后，即获得图像的边缘，定义边缘上每点在X万向的像素坐标为ろ，^方向的像素坐标为ろ.，则目标质心的x方向和f方向的坐标表示为C7 = E ろ 其中が表示每个目标轮廓上像素点的个数； 步骤D、目标跟踪 每个目标对应ー个特定的图像帧，因此，定义目标质心坐标的一般形式为しG\，其中，I为该目标对应的图像帧的序号；将目标质心算法应用于多个图像帧时，获得一系列的CT(の，Cふ，该、CM(Cy C7\序列即为目标运动轨迹，将一定时间内所有图像帧获得mCMiCzs Cr ),按照图像帧的先后顺序存储在队列中，即为目标的运动轨迹，从而实现了对目标的跟踪； 步骤E、用户用手指或者触控笔“单击”虚拟互动区域(2)产生目标，红外摄像机单元(4)便采集到图像并通过上述算法进行目标的识别与跟踪，即产生Cr \序列；存储单元用于存储红外摄像机单元图像坐标系(6)到虚拟互动区域坐标系(13)的映射关系数据，用户首先在红外摄像机单元(4)拍摄到的图像中选择虚拟互动区域(2)的四个边缘点“左上角点”、“左下角点”、“右上角点”和“右下角点”，分别定义为iJ(i, j), LBiS3 f)、紙i, i)和通(太i),定义投影仪单元(3)与虚拟互动区域(2)的四个边缘点对应的四个点为 Lf(J，j)、LB1 (i，j) H i)和沏乂尤 j)； 定义坐标系变换的变换矩阵为
2.根据权利要求I所述的智能互动投影系统，其特征在于，所述虚拟互动区域(2)的平面存在于任一平台上的一个平面，该平台为纸张、硬质平板或软质平板，且该平面作为投影屏幕，通过投影仪单元(3)投射出移动终端或者电脑输出的图像。
3.根据权利要求I所述的智能互动投影系统，其特征在于，所述虚拟互动区域(2)的表面最大凹凸不超过2mm。
4.根据权利要求I所述的智能互动投影系统，其特征在于，所述红外激光发射器单元(8)由两部分组成850nm的红外激光设备(9)和“一字线”红外激光透镜(10)，红外激光设备(9)的功率根据虚拟互动区域(2)面积的尺寸在IOmWlOOmW之间，红外激光设备(9)和“一字线”红外激光透镜(10)进行组合，形成“一字线”激光光束。
5.根据权利要求I所述的智能互动投影系统，其特征在于，所述处理单元的图像处理过程主要采用图像二值化、背景移除、空域滤波、图像形态学处理、目标提取操作；红外摄像机単元(4)实时采集虚拟互动区域(2)的图像，在没有用户“单击”事件的情况下，不进行处理和发送控制信息，当有用户“单击”事件发生的情况下，红外摄像机単元(4)拍摄该图像帧，进行以下操作 步骤A、背景建摸 定义I(Jc)为红外摄像机単元(4)采集的第I帧图像，累计30帧图像作为背景建模的基础,对上述30帧图像求算数和，即
6.根据权利要求I所述的智能互动投影系统，其特征在于，所述存储单元将用户“单击”事件的坐标转换为虚拟互动区域(2)控制事件的坐标。
7.根据权利要求I所述的智能互动投影系统，其特征在于，所述目标识别操作包括图像中目标坐标确定、目标序号确定、当前帧图像中识别的目标与上一帧图像中目标坐标的对应关系，具体的操作方法为首先记录上一图像帧中检测到目标的坐标信息，将其按照一定的方式进行存储，进一步记录当前时间状态下，摄像头采集的图像帧中目标的坐标信息，按照上述方式进行存储，在此基础上，通过当前帧和上一帧目标坐标信息的比较，确定其对应关系，即当前帧的某个目标是由上一帧中的某个目标通过运动变化得到的。
8.根据权利要求7所述的智能互动投影系统，其特征在于，红外摄像机单元图像坐标系(6)下的目标坐标到虚拟互动区域(2)的控制坐标的转换关系，包括红外摄像机图像坐标系(6)，虚拟互动区域坐标系(13)，目标坐标映射；通过上述操作，得到了红外摄像机图像坐标系(6)下的目标的位置坐标，通过手动设置的方式获得虚拟互动区域(2)四个角点(7)在红外摄像机图像坐标系(6)下的坐标，通过四个角点(7)建立红外摄像机图像坐标系(6 )和虚拟互动区域坐标系(13 )的映射关系，进一步将目标坐标带入上述关系中，获得虚拟互动区域坐标系(13)下控制目标的坐标。
全文摘要
本发明公开了一种智能互动投影系统，包括一红外摄像机单元，一虚拟互动区域，一投影仪单元，一红外激光发射器单元，一存储单元，一处理单元，有线通信单元及无线通信单元；当虚拟互动区域的任意位置被手指或其他触摸设备“点击”时，红外摄像机单元检测到光场被阻断，通过处理单元识别“点击”事件的位置信息，通过存储单元将红外摄像机单元坐标系下的位置信息映射到虚拟互动区域坐标系下的位置信息，并将“点击”事件转换成对应的触摸事件，通过数据传输单元，传输到移动终端或者电脑中。本发明替代了键盘、鼠标、触摸板等传统的输入设备，增强了系统的便携性，并且实现了单点和多点触摸屏的全部功能。
文档编号G06F3/042GK102799317SQ201210237810
公开日2012年11月28日 申请日期2012年7月11日 优先权日2012年7月11日
发明者林岚 申请人:联动天下科技(大连)有限公司