多环境虚拟投影互动系统的制作方法
【专利摘要】本发明提供了一种多环境虚拟投影互动系统，包括投影仪，控制系统，摄像头，摄像头和投影仪与控制系统相连，控制系统利用OPENCV对输入的视频进行图像处理；首先对输入视频图像进行预处理，创建IplImage指针，创建显示窗口，使多个窗口有序排列，打开摄像头；逐帧读取摄像头捕捉到的视频：如果是第一帧，则申请内存，并初始化，然后转化成单通道图像再处理；如不是第一帧，先进行高斯滤波，以平滑图像，然后当前帧跟背景图相减，二值化前景图，随后进行形态学滤波，去掉噪音；利用动作识别算法对虚拟场景中的动作进行判断；将判断后的结果传给场景生成机制，然后生成虚拟场景画面，在原来的基础上将合成的视频，并投放到虚拟场景中。
【专利说明】多环境虚拟投影互动系统
【技术领域】
[0001]本发明提供了一种多环境虚拟投影互动系统，将摄像头、投影仪以及控制设备组合在一起，设计为一体机，简单合理，携带方便。在处理方面，分别利用OPENCV图像处理技术进行图像处理，并利用运动识别算法进行模式识别，以及利用FLASH虚拟场景产生技术进行场景构造等。
【背景技术】
[0002]多环境虚拟场景互动感应投影系统由地面互动感应投影系统、桌面互动感应投影系统、壁面互动感应投影系统、互动感应背面投影系统组成。采用先进的计算机视觉技术和投影显示技术来营造一种奇幻动感的交互体验。用户可以直接使用双脚或双手与普通投影幕上的虚拟场景进行交互，让用户进入一种虚实融合、亦真亦幻的奇妙世界。
[0003]传统互动感应投影往往涉及的场景比较单一，例如只能应用于地面互动投影或者桌面互动投影。传统互动感应投影存在画面延迟高，价格昂贵等问题，而且往往系统整体体积和质量比较大，携带不方便，部署麻烦。
【发明内容】
[0004]本发明需要解决的技术问题是，克服背景中系统的不足，提供一种结构简单合理，成本较低，轻便易携带的系统，本发明技术可以降低延迟，使互动更具现实感。本发明运用了不同的图像处理技术，和虚拟场景产生技术。具体来说，图像处理利用了 OPENCV技术，虚拟场景产生技术，利用了 FLASH技术。
[0005]为了实现上述目的本发明采用以下技术方案:
多环境虚拟投影互动系统，其特征在于，包括投影仪，控制系统，摄像头，摄像头和投影仪与控制系统相连，三者设计部署在一起，构成一体机；
所述控制系统利用OPENCV对输入的视频进行图像处理；
首先对输入视频图像进行预处理，创建IplImage指针，创建显示窗口，使多个窗口有序排列，打开摄像头；
逐帧读取摄像头捕捉到的视频:如果是第一帧，则申请内存，并初始化，然后转化成单通道图像再处理；如果不是第一帧，先进行高斯滤波，以平滑图像，然后当前帧跟背景图相减，二值化前景图，随后进行形态学滤波，去掉噪音；
利用动作识别算法对虚拟场景中的动作进行判断；
将判断后的结果传给场景生成机制，然后生成虚拟场景画面，在原始视频图像的基础上将合成的视频，通过投影仪投放到虚拟场景中。
[0006]上述技术方案中，所述动作识别算法对虚拟场景中的动作进行判断具体如下: 动作识别算法利用的是OPENCV提供的Camshift算法，对运动物体进行识别，并将识别
的物体的坐标信息返回；
通过不断迭代Camshift算法进行运动物体识别，得到运动物体运动的坐标轨迹； 将坐标轨迹通过SOCKET通信(或者内存共享方式)将坐标轨迹传给负责场景生成机制的场景生成进程，场景生成进程负责场景构建。
[0007]上述技术方案中，所述场景生成机制包括:
信息获取层:主要获取场景生成进程传来的原始信息，通过socket技术，使用tcp连接，将来自客户端的报文信息进行初步分析，提取出坐标、速度和方向等分析层需要的基本要素供上层使用；
信息分析层:根据信息获取层传送来的基本要素进行详细分析，判断出下一刻对应场景里面相应元素的动态，如下一刻的位置、颜色、形状等参数和样式，供上层使用；
场景构建层:在对应的场景中，先创建场景模板，再根据信息分析层判断出的各种参数和样式信息实时在场景模板中生成相应元素，最终将生成的场景输出到显示终端。
[0008]【专利附图】
【附图说明】
图1为本发明场景生成机制框图；
图2为本发明socket机制框图；
图3为本发明系统框图。
【具体实施方式】
[0009]本发明主要包括三个部分，投影仪，控制系统，摄像头(采用的三个设备的信息)。摄像头和投影仪与控制系统相连，三者设计部署在一起，构成一体机。
[0010]具体方案是，控制系统产生虚拟场景，通过投影仪投影出的虚拟场景可以与场景里的真实人物产生互动，从而使人产生身临其境的感觉。摄像头将所有动作进行捕获，获得的数据传输到控制系统中。控制系统是系统的核心，控制系统利用OPENCV (Open SourceComputer Vision Library )对输入的视频进行图像处理。首先对输入视频图像进行预处理。预处理过程为，创建IplImage指针。创建显示窗口。使多个窗口有序排列。打开摄像头。逐帧读取摄像头捕捉到的视频:如果是第一帧，则申请内存，并初始化，然后转化成单通道图像再处理；如果不是第一帧，先进行高斯滤波，以平滑图像，然后当前帧跟背景图相减，二值化前景图，随后进行形态学滤波，去掉噪音。利用动作识别算法对虚拟场景中的动作进行判断。动作识别算法利用的是OPENCV提供的Camshift算法，对运动物体进行识别，并将识别的物体的坐标信息返回。通过不断迭代Camshift算法进行运动物体识别，得到运动物体运动的坐标轨迹。将坐标轨迹通过SOCKET通信(或者内存共享方式)将坐标轨迹传给场景生成进程，场景生成进程负责场景构建。将判断后的结果传给场景生成机制，然后生成虚拟场景画面，在原来的基础上将合成的视频，通过投影仪投放到虚拟场景中。场景生成机制原理上共分三层，如下图所示:
信息获取层
该层的主要作用是获取图像处理模块传来的原始信息。通过socket技术，使用tcp连接，将来自客户端的报文信息进行初步分析，提取出坐标、速度和方向等分析层需要的基本要素供上层使用。信息获取层的连接机制如图所示:
信息分析层
根据信息获取层传送来的基本要素进行详细分析。判断出下一刻对应场景里面相应元素的动态，如下一刻的位置、颜色、形状等参数和样式，供上层使用。[0011]场景构建层
在对应的场景中，先创建场景模板，再根据信息分析层判断出的各种参数和样式信息实时在场景模板中生成相应元素，最终将生成的场景输出到显示终端。
[0012]下面结合附图和实施例对本发明进一步说明。
[0013]参阅实物图，选择一个合适投影的区域，将系统投影仪正对投影区域，投影区域并无严格限制，只要投影区域平坦且投影影像清晰即可，适用于商场、博览会、电影院、游乐场等众多场所。打开控制系统，投影仪以及摄像头。开启控制系统服务，将画面投影到投影区域。此时用户在投影区域内的任何动作都可以被摄像头捕获，控制系统对视频数据进行捕获，创建虚拟场景，实现用户和虚拟场景的交互。
【权利要求】
1.多环境虚拟投影互动系统，其特征在于，包括投影仪，控制系统，摄像头，摄像头和投影仪均与控制系统相连； 所述控制系统利用OPENCV对输入的视频进行图像处理； 首先对输入视频图像进行预处理，创建IplImage指针，创建显示窗口，使多个窗口有序排列，打开摄像头； 逐帧读取摄像头捕捉到的视频:如果是第一帧，则申请内存，并初始化，然后转化成单通道图像再处理；如果不是第一帧，先进行高斯滤波，以平滑图像，然后当前帧跟背景图相减，二值化前景图，随后进行形态学滤波，去掉噪音； 利用动作识别算法对虚拟场景中的动作进行判断； 将判断后的结果传给场景生成机制，然后生成虚拟场景画面，在原始视频图像的基础上将合成的视频，通过投影仪投放到虚拟场景中。
2.根据权利要求1所述的多环境虚拟投影互动系统，其特征在于，所述动作识别算法对虚拟场景中的动作进行判断具体如下: 动作识别算法利用的是OPENCV提供的Camshift算法，对运动物体进行识别，并将识别的物体的坐标信息返回； 通过不断迭代Camshift算法进行运动物体识别，得到运动物体运动的坐标轨迹； 将坐标轨迹通过SOCKET通信将坐标轨迹传给负责场景生成机制的场景生成进程，场景生成进程负责场景构建。
3.根据权利要求1所述的多环境虚拟投影互动系统，其特征在于，所述场景生成机制包括: 信息获取层:主要获取场景生成进程传来的原始信息，通过socket技术，使用tcp连接，将来自客户端的报文信息进行初步分析，提取出坐标、速度和方向等分析层需要的基本要素供上层使用； 信息分析层:根据信息获取层传送来的基本要素进行详细分析，判断出下一刻对应场景里面相应元素的动态，如下一刻的位置、颜色、形状等参数和样式，供上层使用； 场景构建层:在对应的场景中，先创建场景模板，再根据信息分析层判断出的各种参数和样式信息实时在场景模板中生成相应元素，最终将生成的场景输出到显示终端。
【文档编号】G06F3/01GK103729060SQ201410008012
【公开日】2014年4月16日 申请日期:2014年1月8日 优先权日:2014年1月8日
【发明者】于永斌, 王庆, 刘威, 蔡忠凯, 金菊, 金勇 , 屈鸿 申请人:电子科技大学