一种巨型幕多人射击互动景物定位方法
【专利摘要】本发明公开了一种巨型幕多人射击互动景物定位方法，包括以下步骤，设置光学墙，建立光学坐标系，测量每个红外灯密集区域的几何中心的世界坐标，设定相邻4个构成矩形的红外灯密集区域的模式数；安装摄像头和仿真枪；对图像进行预处理；选取的4个红外灯密集区所含的红外灯数量，获得模式数，并获得4个红外灯密集区的几何中心所对应的像素坐标矩阵；根据世界坐标矩阵和像素坐标矩阵获得投影变换矩阵H；根据仿真枪在图像中对应的像素位置，通过投影变换矩阵H获得仿真枪对准的光学墙的世界坐标。
【专利说明】一种巨型幕多人射击互动景物定位方法
【技术领域】
[0001] 本发明专利提供了一种解决巨形幕、多人射击互动的景物定位方，涉及计算机视 觉和摄影测量等【技术领域】。 技术背景
[0002] 模拟射击系统多年来应用于军队射击训练或警务人员的临场射击作战素质的培 训，减少了子弹弹药的使用和训练场地面积，是一项有诸多优势的高新技术应用，但随着 社会的物质文明和精神文明的不断发展，模拟射击技术的应用从军用走向普通大众的娱 乐消费市场，人们的物质和精神消费的品质也逐步提升，不断对射击互动类型的娱乐产品 的用户体验提出高要求。
[0003] 传统的用于射击训练的弹着点定位方法通常是在仿真枪的枪口安装激光发射器， 在幕布的同侧或异侧安装红外传感装置（多为经过过滤可见光的红外感光摄像机），数据 运算单元通过红外传感装置所获取的图像，计算以幕布边框为取景框的图象内的激光光 斑的像素坐标（以幕布左上角边坐标原点，横边为X轴，纵边为y轴建立图像像素坐标 系），从而获取仿真枪击中幕布的位置坐标。该方法可以精确定位到仿真枪的射击击中位 置，但在多人同时射击时无法区分红外传感装置采集图像中每一个激光光斑所对应的射 击者身份，无法实现多人同时射击的应用需求。
[0004] 实用新型[CN2692622Y]提供了一种将光源安装于幕布背后，红外传感装置安装 于仿真枪的虚拟射击系统，该系统可以实现多个射击者同时运用手中的仿真枪中的红外 传感装置捕捉同一个光源的影像，并根据仿真枪枪口的运动时光源像点在红外传感成像 视野中的相对运动计算仿真枪的射击击中位置。发明[CN103418132A]提供了一种以家用 电视等小面积成像屏幕的中心光点在仿真枪枪口摄像机成像视野中的相对运动来确定射 击击中屏幕位置的方法，但此类方法的重点是假设仿真枪的瞄准线和枪口上的摄像机的 光轴是平行或近似重合的位置关系，当射击者使枪口运动时摄像机光轴的延长线与屏幕 的交点也相应发生改变（此交点位置即为所求的射击击中位置），同时屏幕中心光点在摄 像机中的成像像点也会随之发生相对变化，运用该中心光点的像点及光轴延长线与屏幕 交点的相对运动关系确定射击击中位置的坐标。该方法虽实现了光源在屏幕位置光感应装 置在仿真枪中时的射击击中点定位，但当屏幕面积足够大时，由于仿真枪摄像机的成像视 野无法将屏幕全部摄取，会导致摄像机光轴与屏幕交点还未到达屏幕边沿时，屏幕中心光 点的像点早已离开摄像机的成像视野从而使该射击点位置确定方法失效，因此该方法无 法适用于幕布面积过大的巨形幕成像的射击互动场合。
[0005] 弧形或球形巨形幕能给射击者提供更高质影像效果和3D特效，更多的是给射击 者带来沉浸式融入场景的逼真感，特别是时下火热的互动电影便是将优质的影像效果、场 景特效和射击互动技术完美的结合，开辟出一个新兴的娱乐体验模式，市场需求蓬勃而旺 盛，本发明专利提供了一种解决巨形幕、多人射击互动的景物定位方法，迎合了虚拟射击 游戏和互动电影市场对技术的新需求和玩家对娱乐体验品质的高要求，在当今科学技术 不断发展的前提下，越来越多的射击互动娱乐产品制造商欲引进弧形或球形巨型幕以带 给玩家更高参与感的高质量娱乐体验。
【发明内容】
[0006] 本发明针对现今娱乐市场对虚拟射击互动技术的不断发展的高要求，提供一种 解决巨形幕、多人射击互动的景物定位方法。该方法可以实现多人同时射击互动，且能够 在巨形幕成像场景中将幕布先分块定域再射影投射定位射击击中点位置。该方法在屏幕位 置设置光学墙，布置若干数量按特殊规律排列的红外灯形成对整个屏幕的分块特征编码， 采用滤去可见光的摄像机采集红外灯像点图像，嵌入式线路板中加载核心程序对摄像机 传输过来的图像进行处理，最终实现上述功能。
[0007] 本发明采用以下技术方案：
[0008] 该巨形幕、多人射击互动的景物定位方法包括光学墙布置方法、仿真枪中摄像机 配置方法及光源图像采集的特殊性设定和嵌入式线路板中数据处理核心算法。
[0009] 该光学墙布置方法包括以下步骤：
[0010] 步骤1:以屏幕左上角为坐标原点，以屏幕纵向边框为X轴横向边框为Y轴（由 图像采集摄像机的像素坐标系方位构成决定）建立光学墙坐标系；
[0011] 步骤2:将光学墙上布置若干数量的红外灯（红外灯根据屏幕材质取材，若为投 影幕布则选波长足够长，散射角足够大的红外灯置于幕布后方；若为LED电子屏则取屏幕 发光阵列中某些LED灯管更换为相同面积的无可见光LED红外发射管；若为其它材质视场 合另选其它规格红外灯），灯的位置遵循如下规律：
[0012] a灯与灯之间按间距大小可分为密集和稀疏两种位置关系，距离小于临界值R则 为S集关系，大于临界值R则为稀疏关系；
[0013] b相互间处于密集关系的灯组成一个密集区域；
[0014] c任意一个密集区内的灯与另一个密集区内的灯相互间处于稀疏关系；
[0015] d每一个密集区域的灯的数量可以是1以上的任意自然数，所有红外灯密集区域 的几何中心点呈矩形阵列排列。
[0016] 步骤3:精确测量每一个红外灯密集区域的几何中心坐标。即红外灯密集区的几 何中心的世界坐标。
[0017] 该仿真枪中摄像机配置方法及光源图像采集的特殊性设定包括以下步骤：
[0018] 步骤1:将摄像头安装于仿真枪的枪口，使仿真枪的瞄准线与摄像机的光轴处于 平行关系或者重合的关系；
[0019] 步骤2:将摄像机镜头前严密地挡上滤光墨片以滤掉可见光，采集到只有红外灯 像点的图像；
[0020] 步骤3:对摄像机镜头规格的选取要满足如下条件：
[0021] 镜头光圈要适宜，要保证在应用场合中射击者在极近距离（为保证用户体验设定 的射击者射击过程中距幕布的最小距离）下摄像机成像视野中至少有4个红外灯密积区 域；采用鱼眼失真较小的镜头。
[0022] 嵌入式线路板中数据处理核心程序其算法分步描述如下：
[0023] 步骤1:图像预处理；
[0024] 步骤2:搜索图像中所有的连通域（红外灯像点所覆盖的全部像素围成的图像区 域），并逐一求解各连通域质心的像素坐标，得到摄像机图像中所有红外灯像点的像素坐 标；
[0025] 步骤3:从所求得连通域质心（红外灯像点像素坐标）中选取横坐标最小的点为 参考点（若存在多个横坐标最小点，任取其一即可），以设定半径R为邻域，搜索该邻域里 出现的全部连通域质心，所有质心点计算完毕判定第一个密集区域质心点圈定完毕，将己 被圈定的属于同一密集区的质心点排除，再开始选取下一个搜选参考点，循环上述操作， 此处遍历完成所有密集连通域质心点圈定(相邻距离符合小于R的质心点的归类）；
[0026] 步骤4:计算每一个密集区所包含的连通域质心坐标的数量，得到每一个密集区 域的特征值；
[0027] 步骤5:计算摄像机成像平面中每一个红外密集区域的几何中心像素坐标；
[0028] 步骤6:对步骤5中所输出的红外灯密集区几何中心点的像素坐标进行筛选，输 出横纵坐标最小的密集区几何中心点以及与之构成四角形关系的另三个密集区几何中心 点（此为最简单的筛选方法，也有其它方法，但算法复杂度较高），将筛选出的4个密集区 特征值按其对应的密集区几何中心的位置关系从横纵坐标最小者顺时针排列，得到一个4 位数，这个4位数即构成区域识别特征编码即模式数；
[0029] 步骤7:根据模式数得到识别结果，输出模式数中4个特征值所对应的密集区域 几何中心的像素坐标矩阵和世界坐标矩阵，两矩阵中各元素均按其对应的密集区几何中 心的位置关系从横纵坐标最小者顺时针排列；
[0030] 步骤8:根据摄像机线性成像模型，步骤7输出的四对坐标构成模型中的世界坐 标和像素坐标的对应关系，利用解线性方程组的方法求解投影变换矩阵中的各个元素，输 出投影变换矩阵Η ;
[0031] 步骤9:运用求精算法求精投影变换矩阵Η ;
[0032] 步骤10:根据摄像机成像逆投影（射影逆变换）计算仿真枪射击击中坐标，将此 坐标发送给主机，主机中的虚拟影像播放控制引擎根据坐标定位到虚拟影像坐标系中该 坐标所对应的景物。
[0033] 如上述步骤1中的图像预处理包括图像灰度化、二值化、中值滤波、去除孤立像素 点、开运算和闭运算。
[0034] 如上述步骤8中的摄像机线性成像模型指代如下数学关系：
[0035] 摄像机线性成像模型（又称针孔模型）中，空间任一点Ρ在图像上的投影位置 为Ρ，Ρ是光心〇与点Ρ的连线0Ρ与图像平面的交点。若点Ρ在世界坐标系中的坐标为 (Xw，Yw，Zw)，在摄像头坐标系下的坐标为（Xc，Yc，Zc)，点ρ在图像物理坐标系下的坐标为 (X，y)，在摄像机成像平面中的像素坐标为（u，v)，由由摄相机光学几何原理就可以得到以 世界坐标系表示的P点坐标（Xw，Yw，Zw，1)与其投影点ρ在图像像素坐标系下的坐标（u， V，1)之间的关系：
[0036]
【权利要求】
1. 一种巨型幕多人射击互动景物定位方法，其特征在于，包括以下步骤： 步骤1、设置光学墙，以光学墙最左上角为原点建立光学坐标系，并在光学墙上布置若 干数量的红外灯密集区域，测量每个红外灯密集区域的几何中心的在光学墙坐标系的坐 标，即世界坐标，各个红外灯密集区域的几何中心呈矩形阵列排列，根据相邻4个构成矩形 的红外灯密集区域中各个红外灯密集区域的红外灯的个数，设定模式数； 步骤2、将摄像头安装于仿真枪的枪口，使仿真枪的瞄准线与摄像机的光轴处于平行 关系或者重合的位置，将摄像机镜头前挡上滤光墨片以滤掉可见光； 步骤3、对摄像头拍摄到的图像进行预处理； 步骤4、对预处理后的图像搜索所有的连通域，并求解各个连通域质心的像素坐标，即 得到所有红外灯像素点的像素坐标； 步骤5、圈定各个红外灯密集区中红外灯像素点； 步骤6、计算各个红外灯密集区中红外灯像素的个数，计算各个红外灯密集区的几何中 心的像素坐标； 步骤7、选取几何中心像素坐标的横纵坐标最小所对应的红外灯密集区，并选取3个与 横纵坐标最小所对应的红外灯密集区构成矩形关系的红外灯密集区，根据本步骤选取的4 个红外灯密集区所含的红外灯数量，获得模式数，并获得4个红外灯密集区的几何中心所 对应的像素坐标矩阵； 步骤8、根据模式数获得步骤7中4个红外灯密集区的几何中心的世界坐标及世界坐标 矩阵； 步骤9、根据世界坐标矩阵和像素坐标矩阵获得投影变换矩阵Η ; 步骤10、根据仿真枪在图像中对应的像素位置，通过投影变换矩阵Η获得仿真枪对准 的光学墙的世界坐标。
2. 根据权利要求1所述的一种巨型幕多人射击互动景物定位方法，其特征在于，所述 的步骤9投影变换矩阵Η通过以下公式获得：
其中x/，y/为密集区几何中心像素坐标，密集区几何中心世界坐标，4个密 集区几何中心像素坐标构成八元一次方程组，求得投影变换矩阵Η为
3. 根据权利要求2所述的一种巨型幕多人射击互动景物定位方法，其特征在于，所述 的步骤9求取投影变换矩阵Η还包括以下步骤： 步骤9. 1、摄像机成像视野中除步骤7选取的4个红外灯密集区以外的红外灯密集区为 求精红外灯密集区； 步骤9. 2、选取某个求精红外灯密集区替换步骤7选取的4个红外灯密集区中的一个， 得到替换后的4个红外灯密集区几何中心像素坐标和世界坐标； 步骤9. 3、根据替换后的4个红外灯密集区几何中心世界坐标和投影变换矩阵Η求得新 的红外灯密集区几何中心像素坐标4 ?;，并与步骤9. 2的像素坐标通过以下公式求误差值 G(h)，
步骤9. 4、若G(h)大于等于预定值，求取当前选取的4个红外灯密集区得到的投影变换 矩阵Η并更新当前投影变换矩阵H，返回步骤9. 2 ;若G (h)小于预定值，则停止迭代，选取当 前投影变换矩阵Η为求精后的投影变换矩阵H。
【文档编号】A63F13/219GK104138661SQ201410120796
【公开日】2014年11月12日 申请日期:2014年3月27日 优先权日:2014年3月27日
【发明者】刘宣付, 彭健, 黄江涛 申请人:北京太阳光影影视科技有限公司