多点触控互动大屏幕系统及其控制方法
【专利摘要】本发明提出了多点触控互动大屏幕系统，包括屏幕，用以投影视频数据；N台投影装置，用以向屏幕内投影可见光图像，在屏幕上实现视频数据显示；N台摄像装置，用以捕捉屏幕上的动作；控制装置，用以控制投影装置向屏幕播放视频数据，同时接收摄像装置采集到的屏幕上的动作信息；所述每台投影装置的上方匹配安装摄像装置，所述N台投影装置通过maxtro多屏保分屏器与控制装置连接，所述N台摄像装置与控制器连接。本发明提供的多点触控互动大屏幕系统及其控制方法，是基于图像识别、多投影机边缘融合大屏幕的多点人机交互系统，结合图像识别，多投影机无缝拼接大屏幕的多点触控技术。将大屏幕显示和摄像机捕捉技术结合，实现低成本的大屏幕触摸应用。
【专利说明】 多点触控互动大屏幕系统及其控制方法
【技术领域】
[0001]本发明涉及图像显示领域，尤其涉及多点触控互动大屏幕系统及其控制方法。
【背景技术】
[0002]随着大屏幕显示、无缝拼接，互动多媒体在中国已经被越来越多的展览馆、博物馆、政府机构、公司、企事业单位所接受，从公司的产品展示到企业的发展历史与荣誉，从大屏幕信息会议系统、交通信息管理系统到大型购物场所、展览馆、车站等等，基于大屏幕拼接的互动系统的应用已经越来越普遍。
[0003]触控屏幕技术已成为大众瞩目的热门技术。目前美国Apple公司iphone和微软Surface互动桌的面世，配上炫丽的用户界面，掀起了业界对多点触控技术的高度兴趣，以及消费者的热衷度。使用者可在小小一块的触控屏幕上，同时在多个位置进行操作，更简单直觉地运用多种功能。可以用“小屏幕，大世界”来形容多点触控技术带来的视觉以及效果的冲击。但是小尺寸的操作界面，只局限于个人商务使用，无法成为展馆、展会等大规模公共场合的大尺寸应用。而且国外产品价格太贵，微软的surface,—平米面积大小的多点互动桌，价格达到了惊人的I万美金。如此高的成本以及小尺寸限制，极大的限制了大型展会以及场所的使用。
[0004]目前市面存在的大屏幕显示触控技术，譬如LED触摸屏、全息纳米触摸膜等，一般屏幕不超过100寸，而且价格昂贵，100寸触摸膜价格就将近6万，市场接受度低。
[0005]国内现有技术都局限在单个投影机的多点触控，或者多投影机边缘融合。
【发明内容】
[0006]为了解决上述问题，本发明提供了多点触控互动大屏幕系统及其控制方法。本发明提供的多点触控互动大屏幕系统及其控制方法，是基于图像识别、多投影机边缘融合大屏幕的多点人机交互系统，结合图像识别，多投影机无缝拼接大屏幕的多点触控技术。将大屏幕显示和摄像机捕捉技术结合，实现低成本的大屏幕触摸应用。
[0007]本发明采用的技术方案如下:
[0008]多点触控互动大屏幕系统，包括屏幕，用以投影视频数据；N台投影装置，用以向屏幕内投影可见光图像，在屏幕上实现视频数据显示；
[0009]N台摄像装置，用以捕捉屏幕上的动作；控制装置，用以控制投影装置向屏幕播放视频数据，同时接收摄像装置采集到的屏幕上的动作信息；所述每台投影装置的上方匹配安装摄像装置，所述N台投影装置通过maxtix)多屏保分屏器与控制装置连接，所述N台摄像装置与控制器连接。
[0010]上述的多点触控互动大屏幕系统，其中，所述屏幕包括成像膜层与玻璃层，所述成像膜层贴覆于玻璃层表面，所述成像膜层面向使用者，所述成像膜层与投影装置分别位于玻璃层的冋侧。
[0011]上述的多点触控互动大屏幕系统，其中，所述投影装置呈X行、y列排列，其中，x*y=N，x、y均为可被N整除的自然数；将所述屏幕的表面按照投影装置的排列方式平均分配成N等分，与所述屏幕每等分面积的中心位置对应的安装投影装置。
[0012]上述的多点触控互动大屏幕系统，其中，还包括红外补光设备，所述红外补光设备安装于屏幕的上边沿或者下边沿或者左边沿或者右边沿。
[0013]多点触控互动大屏幕系统的控制方法，包括
[0014]a，将视频数据通过N台投影设备向屏幕拼接播放；
[0015]b，当摄像头捕捉到屏幕上有动作信息后，精确定位动作触发点；
[0016]C，多点人机交互手势识别；
[0017]d，互动操作跨屏联动。
[0018]上述的多点触控互动大屏幕系统的控制方法，其中，所述步骤c包括如下步骤:
[0019]Cl,用矩阵变化来画图:生成对象，保存标准矩阵，让所有点保持不变，基于触点的位置和移动，对变形矩阵进行修改，达到改变对象的目的；
[0020]c2，确定参数并计算变形:为了计算变化，需要三个参数:时间发生前后两个触点的距离(dl和d2)，用来计算对象的旋转角度R，选择一个触点Pi作为旋转和缩放的中心点，通过对参数的计算，修改变形矩阵；步骤如下:
[0021](I)转载初始矩阵；
[0022](2)通过变换，让旋转中心的坐标为(0，0)；
[0023](3)绕Z轴旋转；
[0024](4)缩放；
[0025](5)把所有物体移动到当初的位置；
[0026]c3，触摸位置转译成计算参数。
[0027]上述的多点触控互动大屏幕系统的控制方法，其中，所述步骤d包括如下步骤:
[0028]dl，将N台投影装置中的一台的输出节点设定为主控节点，其余投影装置的输出节点为从节点，每个节点均为一台完整的输出通道，各个节点间通过matrox多屏保分屏器实现互连；
[0029]d2，主节点上运行分别负责系统、用户交互、网络通信、视景模拟的四个线程；从节点上运行分别负责视景计算、网络通信的两个线程；
[0030]d3，各个通道配置程序启动后，进行初始化；
[0031]d4,等待主节点发送视点参数；
[0032]d5，各个通道进行视景计算；
[0033]d6,计算结束并向主节点反馈状态；
[0034]d7，交换前后台缓冲；
[0035]d8，各通道视景同步显示。
[0036]上述的多点触控互动大屏幕系统的控制方法，其中，所述步骤b还包括如下步骤:
[0037]bl，当摄像头捕捉到屏幕上有动作信息后，获取屏幕上的图像信息；
[0038]b2，将彩色图像变为灰度图像；
[0039]b3，低通滤波；
[0040]b4，边缘提取；
[0041]b5，边缘定位；
[0042]b6，边缘连接；
[0043]b7，断边、伪边处理；
[0044]b8，边缘输出。
[0045]本发明同现有技术相比，具有以下优点和有益效果:
[0046]I采用多投影机边缘融合技术，利用多投影机画面无缝拼接实现超大屏幕显示，支持高分辨率超宽大尺寸，色彩校正，实现完整画面显示；使投影屏幕突破类似iPhone产品的小尺寸限制。实验结果表明，在本项目的融合拼接系统中，由于在处理器中对投影显示图象进行了处理，可以对不同投影信号间的色差、亮差、均匀度进行调整，这也使得该系统显示的图象质量优于传统拼接系统。而且，边缘融合图像处理器除了具有边缘融合和图像多画面处理功能外，还具有图像存储和调用功能，可以把本身存储的高分辨率图像直接作为大屏幕系统的背景进行显示，这在实际使用中非常有实用价值。
[0047]2在融合拼接系统中，所有图像都经过融合处理器进行了校正和统一，这样在大屏幕上进行图像显示和切换时，无论切换什么格式的图像，整个屏幕的亮度、色彩、鲜艳度、均匀度都比较一致，不会出现传统拼接系统中经常出现的由于信号更换而导致系统显示质量的变化。
[0048]3.采用图像识别以及多摄像机画面拼接、定标技术，利用多个摄像机捕捉超大投影机画面，通过边缘识别检测出交互点轮廓，再定标计算出交互点的坐标，解决了超大画面交互动作捕捉精确定位问题。
[0049]4.采用多点手势识别技术，通过运动分析触发点，计算物体的运动规律，得出控制指令，并且发送给多媒体显示主程序系统。实现多人多点并行人机交互操作，互不干扰。
【专利附图】
【附图说明】
[0050]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0051]图1为本发明多点触控互动大屏幕系统的结构示意图；
[0052]图2为本发明多点触控互动大屏幕系统的控制方法的技术原理概要图；
[0053]图3为本发明多点触控互动大屏幕系统的控制方法的系统运行流程图；
[0054]图4为本发明多点触控互动大屏幕系统的控制方法的互动操作跨屏联动步骤的系统运行流程图。
【具体实施方式】
[0055]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]实施例
[0057]如图1-4所示，多点触控互动大屏幕系统，包括屏幕3，用以投影视频数据；N台投影装置2，用以向屏幕内投影可见光图像，在屏幕上实现视频数据显示；N台摄像装置1，用以捕捉屏幕上的动作；控制装置，用以控制投影装置向屏幕播放视频数据，同时接收摄像装置采集到的屏幕上的动作信息；所述每台投影装置的上方匹配安装摄像装置，所述N台投影装置通过maxtix)多屏保分屏器与控制装置连接，所述N台摄像装置与控制器连接。
[0058]上述的多点触控互动大屏幕系统，其中，所述屏幕包括成像膜层与玻璃层，所述成像膜层贴覆于玻璃层表面，所述成像膜层面向使用者，所述成像膜层与投影装置分别位于玻璃层的冋侧。
[0059]上述的多点触控互动大屏幕系统，其中，所述投影装置呈X行、y列排列，其中，x*y=N，x、y均为可被N整除的自然数；将所述屏幕的表面按照投影装置的排列方式平均分配成N等分，与所述屏幕每等分面积的中心位置对应的安装投影装置。
[0060]上述的多点触控互动大屏幕系统，其中，还包括红外补光设备，所述红外补光设备安装于屏幕的上边沿或者下边沿或者左边沿或者右边沿。
[0061]多点触控互动大屏幕系统的控制方法，包括
[0062]a，将视频数据通过N台投影设备向屏幕拼接播放；
[0063]b，当摄像头捕捉到屏幕上有动作信息后，精确定位动作触发点；
[0064]C，多点人机交互手势识别；
[0065]d，互动操作跨屏联动。
[0066]上述的多点触控互动大屏幕系统的控制方法，其中，所述步骤c包括如下步骤:
[0067]Cl,用矩阵变化来画图:生成对象，保存标准矩阵，让所有点保持不变，基于触点的位置和移动，对变形矩阵进行修改，达到改变对象的目的；
[0068]c2，确定参数并计算变形:为了计算变化，需要三个参数:时间发生前后两个触点的距离(dl和d2)，用来计算对象的旋转角度R，选择一个触点Pi作为旋转和缩放的中心点，通过对参数的计算，修改变形矩阵；步骤如下:
[0069](I)转载初始矩阵；
[0070](2)通过变换，让旋转中心的坐标为(0，0)；
[0071](3)绕Z轴旋转；
[0072](4)缩放；
[0073](5)把所有物体移动到当初的位置；
[0074]c3，触摸位置转译成计算参数。
[0075]上述的多点触控互动大屏幕系统的控制方法，其中，所述步骤d包括如下步骤:
[0076]dl，将N台投影装置中的一台的输出节点设定为主控节点，其余投影装置的输出节点为从节点，每个节点均为一台完整的输出通道，各个节点间通过matrox多屏保分屏器实现互连；
[0077]d2，主节点上运行分别负责系统、用户交互、网络通信、视景模拟的四个线程；从节点上运行分别负责视景计算、网络通信的两个线程；
[0078]d3，各个通道配置程序启动后，进行初始化；
[0079]d4,等待主节点发送视点参数；
[0080]d5，各个通道进行视景计算；
[0081]d6,计算结束并向主节点反馈状态；
[0082]d7，交换前后台缓冲；
[0083]d8，各通道视景同步显示。
[0084]上述的多点触控互动大屏幕系统的控制方法，其中，所述步骤b还包括如下步骤:
[0085]bl,当摄像头捕捉到屏幕上有动作信息后，获取屏幕上的图像信息；
[0086]b2，将彩色图像变为灰度图像；
[0087]b3，低通滤波；
[0088]b4，边缘提取；
[0089]b5，边缘定位；
[0090]b6,边缘连接；
[0091]b7，断边、伪边处理；
[0092]b8，边缘输出。
[0093]本项目产品目标市场定位为政府部门展厅，城市规划馆、科技馆、博物馆、集团企业展厅，以及大型展会，譬如国际性展会世博，工博会，大型国际展览，社区活动活动中心，敬老院公益场所以及跨国公司产品发布会等高端公共场所应用，提高公益性增强娱乐性。
[0094]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.多点触控互动大屏幕系统，其特征在于，包括 屏幕，用以投影视频数据； N台投影装置，用以向屏幕内投影可见光图像，在屏幕上实现视频数据显示； N台摄像装置，用以捕捉屏幕上的动作； 控制装置，用以控制投影装置向屏幕播放视频数据，同时接收摄像装置采集到的屏幕上的动作信息； 所述每台投影装置的上方匹配安装摄像装置，所述N台投影装置通过maxtix)多屏保分屏器与控制装置连接，所述N台摄像装置与控制器连接。
2.根据权利要求1所述的多点触控互动大屏幕系统，其特征在于，所述屏幕包括成像膜层与玻璃层，所述成像膜层贴覆于玻璃层表面，所述成像膜层面向使用者，所述成像膜层与投影装置分别位于玻璃层的同侧。
3.根据权利要求2所述的多点触控互动大屏幕系统，其特征在于，所述投影装置呈X行、Y列排列，其中，X.y = N，X、y均为可被N整除的自然数；将所述屏幕的表面按照投影装置的排列方式平均分配成N等分，与所述屏幕每等分面积的中心位置对应的安装投影装置。
4.根据权利要求1-3任意一项所述的多点触控互动大屏幕系统，其特征在于，还包括红外补光设备，所述红外补光设备安装于屏幕的上边沿或者下边沿或者左边沿或者右边沿。
5.多点触控互动大屏幕系统的控制方法，其特征在于，包括 a，将视频数据通过N台投影设备向屏幕拼接播放； b，当摄像头捕捉到屏幕上有动作信息后，精确定位动作触发点； C，多点人机交互手势识别； d，互动操作跨屏联动。
6.根据权利要求5所述的多点触控互动大屏幕系统的控制方法，其特征在于，所述步骤c包括如下步骤: Cl，用矩阵变化来画图:生成对象，保存标准矩阵，让所有点保持不变，基于触点的位置和移动，对变形矩阵进行修改，达到改变对象的目的； c2，确定参数并计算变形:为了计算变化，需要三个参数:时间发生前后两个触点的距离(dl和d2)，用来计算对象的旋转角度R，选择一个触点Pi作为旋转和缩放的中心点，通过对参数的计算，修改变形矩阵；步骤如下: (1)转载初始矩阵； (2)通过变换,让旋转中心的坐标为(0,0)； (3)绕Z轴旋转； (4)缩放； (5)把所有物体移动到当初的位置； c3，触摸位置转译成计算参数。
7.根据权利要求6述的多点触控互动大屏幕系统的控制方法，其特征在于，所述步骤d包括如下步骤: dl，将N台投影装置中的一台的输出节点设定为主控节点，其余投影装置的输出节点为从节点，每个节点均为一台完整的输出通道，各个节点间通过matrox多屏保分屏器实现互连； d2，主节点上运行分别负责系统、用户交互、网络通信、视景模拟的四个线程；从节点上 运行分别负责视景计算、网络通信的两个线程； d3，各个通道配置程序启动后，进行初始化； d4，等待主节点发送视点参数； d5，各个通道进行视景计算； d6，计算结束并向主节点反馈状态； d7，交换前后台缓冲； d8，各通道视景同步显示。
8.据权利要求7的多点触控互动大屏幕系统的控制方法，其特征在于，所述步骤b还包括如下步骤: bl，当摄像头捕捉到屏幕上有动作信息后，获取屏幕上的图像信息； b2，将彩色图像变为灰度图像； b3,低通滤波； b4，边缘提取； b5，边缘定位； b6,边缘连接； b7,断边、伪边处理； b8,边缘输出。
【文档编号】G06F3/14GK104281335SQ201410474749
【公开日】2015年1月14日 申请日期:2014年9月17日 优先权日:2014年9月17日
【发明者】陈凯, 梁杰, 曹世煜, 巫路金, 严雷, 熊志龙, 苏晓芬 申请人:上海创幸计算机科技有限公司