专利名称：一种超大幅面显示触点融合交互系统的制作方法
技术领域：
本发明主要涉及超大屏幕显示触点融合交互技术。
背景技术：
随着战场监视、侦察技术的发展，军事指挥应用中能够获取大量情报信息，形成全局的战场态势。为了有效组织和使用这些数据，一般需要采用大幅面、高分辨率的显示系统来实现对各种战场数据的综合显示，提高了指挥员对战争全过程的感知能力。超大幅面显示系统主要是指显示面积大于200英寸，分辨率大于2056 X 2056dpi的显示设备，这类设备由于尺寸大、分辨率高，一般采取多个小尺寸显示单元拼接而成。目前这类设备普遍不支持在屏幕表面上对显示内容进行直接交互，而采用专业人员辅助操作的方式。超大幅面显示系统融合交互方法是针对这类设备提出的一种交互设备设计方法。
美国空军研究实验室开发的交互式数据墙系统(I. Peter A. Jedrysik, JasonMoore,et al Interactive Displays for Command and Control. In Proceedings ofIEEE Aerospace Conference, 2000, Vol. 2:341-351)是一种大尺寸、高分辨率的公共战术图像显示系统。支持用户直接在显示器表面上利用激光笔进行交互，也支持用户在一定距离内(2米左右)利用激光笔进行指示交互。我国清华大学的史元春教授等(2. XiaojunBi, Yuanchun Shi, et al. uPen:Laser-based, Personalized, Multi-User Interaction onLarge Display. In Proceedings of ACM Multimedia, 2005，pages: 1049-1050.)在激光笔基础上通过增加功能按键，实现了一种能够模拟鼠标交互功能的交互设备。但以上系统还存在两个方面的不足，具体表现为①用于激光交互点跟踪的摄像机数量一般安装在显示单元的中间位置，在边缘、顶角等位置上的交互精度较低；②受限于摄像机的图像采集分辨率，在大幅面、高分辨率显示系统应用中交互精度较低。
发明内容
发明目的为了克服现有技术中存在的不足，本发明提供一种超大幅面显示触点融合交互系统，从而使得在显示屏边缘顶角等位置仍具有较高的精度，且具有较高的交互精度。技术方案为实现上述目的，本发明采用以下技术方案一种超大幅面显示触点融合交互系统，包括连接有投影主机的投影仪、多块显示屏、连接有交互主机的摄像机和交互激光笔，其中所述多块显示屏拼接形成超大幅面显示屏，所述投影仪将图像投影到超大幅面显示屏上，而所述交互激光笔发出红外激光投射在超大幅面显示屏形成交互触点；所述每块显示屏背面均设有两台以上的摄像机，这些摄像机同时跟踪采集与其对应的单块显示屏上的包括激光点坐标的图像数据，并将该数据传输到与其连接的交互主机上；所述交互主机对该数据进行处理从而获得的图像能反应出激光点运动状态，并将该图像数据反馈到投影主机上，并通过与投影主机连接的投影仪将画面投影在大幅面显示屏上。作为优选，所述显示屏为涂覆有反射膜的玻璃板。
作为优选，所述单块显示屏背面设有两台摄像机，且该两台摄像机的位置与该块显示屏的左上部和右下部分别对应。作为优选，所述摄像机采用分辨率不低于640X480dpi的黑白摄像机，并支持以30fps的速率采集256灰阶的视频图像。作为优选，所述交互激光笔能够产生532nm波长的红外激光。作为优选，所述交互主机设有触点融合模块、触点提取模块和交互控制模块，其中所述触点融合模块，将同一显示屏对应的两台摄像机采集的图像进行融合统一；所述触点提取模块，提取单块显示屏图像中交互触点的坐标数据，并将包括交互触点坐标数据在内的图像数据其转换成与显示屏适配的图像数据；所述交互控制模块，将上述单块显示屏图像坐标系下的图像数据转换到整块超大幅面显示屏的坐标系下。作为优选，系统安装后融合参数的求取方法，包括以下步骤(1)单块显示屏对应的两台摄像机的融合参数的设定，假设两台摄像机分别采集的图像数据之间的融合参数仅 包括缩放和位移参数如下
权利要求
1.一种超大幅面显示触点融合交互系统，其特征在于包括连接有投影主机的投影仪、多块显示屏、连接有交互主机的摄像机和交互激光笔，其中 所述多块显示屏拼接形成超大幅面显示屏，所述投影仪将图像投影到超大幅面显示屏上，而所述交互激光笔发出红外激光投射在超大幅面显示屏形成交互触点； 所述每块显示屏背面均设有两台以上的摄像机，这些摄像机同时跟踪采集与其对应的单块显示屏上的包括激光点坐标的图像数据，并将该数据传输到与其连接的交互主机上； 所述交互主机对该数据进行处理从而获得的图像能反应出激光点运动状态，并将该图像数据反馈到投影主机上，并通过与投影主机连接的投影仪将画面投影在大幅面显示屏上。
2.根据权利要求I所述超大幅面显示触点融合交互系统，其特征在于所述显示屏为涂覆有反射膜的玻璃板。
3.根据权利要求I所述超大幅面显示触点融合交互系统，其特征在于所述单块显示屏背面设有两台摄像机，且该两台摄像机的位置与该块显示屏的左上部和右下部分别对应。
4.根据权利要求I所述超大幅面显示触点融合交互系统，其特征在于所述摄像机采用分辨率不低于640X480dpi的黑白摄像机，并支持以30fps的速率采集256灰阶的视频图像。
5.根据权利要求I所述超大幅面显示触点融合交互系统，其特征在于所述交互激光笔能够产生532nm波长的红外激光。
6.根据权利要求3所述超大幅面显示触点融合交互系统，其特征在于所述交互主机设有触点融合模块、触点提取模块和交互控制模块，其中 所述触点融合模块，将同一显示屏对应的两台摄像机采集的图像进行融合统一； 所述触点提取模块，提取单块显示屏图像中交互触点的坐标数据，并将包括交互触点坐标数据在内的图像数据其转换成与显示屏适配的图像数据； 所述交互控制模块，将上述单块显示屏图像坐标系下的图像数据转换到整块超大幅面显示屏的坐标系下。
7.根据权利要求6所述超大幅面触点融合交互系统，其特征在于系统安装后融合参数的求取方法，包括以下步骤 (1)单块显示屏对应的两台摄像机的融合参数的设定，假设两台摄像机分别采集的图像数据之间的融合参数仅包括缩放和位移参数如下
8.根据权利要求7所述超大幅面触点融合交互系统，其特征在于所述触点融合模块的融合方法是采用线性加权融合方法，它包括以下步骤 (1)每台摄像机采集图像均分配双缓存M1和M2，采集图像灰阶为256，采用8bit存储一位数字化像素，从而进行数字化图像的采集，并存储到缓存M1和M2中； (2)首先向缓存M1中读入视频图像数据，当一帧图像写入完毕，通过回调函数调用触点融合算法，实现对从两个数字摄像机读取的图像I1和I2进行融合，与此同时，继续向缓存M2中读入图像数据，从而实现交替连续的读写和处理； 其中，所述触点融合算法采用线性加权融合方法，即将单块显示屏均分为4个区域，分别是左上部Al、右上部A2、右下部A3和左下部A4，各个区域的融合算法如下Al=O. 7XTIJ0. 312A2=0. 5XTIJ0. 512A3=0. 3XTIJ0. Il2A4=0. 5XTIJ0. 5I2 (3)所述触点融合算法时间低于33ms。
9.根据权利要求8所述超大幅面触点融合交互系统，其特征在于所述触点提取模块，用于提取交互激光笔投射在显示屏上触点的坐标，其方法包括以下步骤 (1)首先求取从融合图像中分割交互触点的阈值Tdiff，亮度大于Tdiff的为交互触点区域，亮度小于Tdiff的为背景区域，其中Tdiff的确认方法如下先拍摄10幅不同交互触点位置的图像，并人工判定交互触点位置；然后围绕交互触点中心截取31X31像素大小的区域，分别设为Ic^ i = 1，2，…，10，求取平均图像
10.根据权利要求9所述超大幅面触点融合交互系统，其特征在于所述交互控制模块，是将单块显示屏坐标系下的交互触点坐标转换到整个超大幅面显示屏的坐标系下；假设每个显示屏的显示分辨率为(WXH)，坐标转换公式如下(Xs, Ys) = (X1, Y1), (X1, Y1) G 左屏幕；(Xs, Ys) = (X1+!, Y1), (X1, Y1) G 中屏幕； (Xs, Ys) =Y1), (X1, Y1) G 右屏幕。
全文摘要
本发明公开了一种超大幅面显示触点融合交互系统，包括连接有投影主机的投影仪、多块显示屏、连接有交互主机的摄像机和交互激光笔，其中所述多块显示屏拼接形成超大幅面显示屏，所述投影仪将图像投影到超大幅面显示屏上，而所述交互激光笔发出红外激光投射在超大幅面显示屏形成交互触点；所述每块显示屏背面均设有两台以上的摄像机，这些摄像机同时跟踪采集与其对应的单块显示屏上的包括激光点坐标的图像数据，并将该数据传输到与其连接的交互主机上；所述交互主机对该数据进行处理从而获得的图像能反应出激光点运动状态，并将该图像数据反馈到投影主机上，并通过与投影主机连接的投影仪将画面投影在大幅面显示屏上。
文档编号G06F3/033GK102778980SQ20121023084
公开日2012年11月14日 申请日期2012年7月5日 优先权日2012年7月5日
发明者周光霞, 朱立新 申请人:中国电子科技集团公司第二十八研究所