应的不 是均匀分布，此时，系统根据不同摄像仪间隔的安装位置，自适应不同摄像仪间的的疏密程 度，区分不同重合范围进行的动态拼接参数调整，可W更加准确且高效保证视频拼接效果；
[0032] 在生产过程中，支架间的相对位置和角度很多情况下都会发生变化，此时系统可 根据先验知识并利用图像匹配对准技术，自动进行动态定位和动态校准，W保证生产中的 视频拼接效果;在采煤机所在的视频场景中，采用先验学习的拼接参数，W实现采煤机的完 整视频拼接;在无采煤机有支架和煤壁的场景中，采用先验学习的拼接参数，W实现支架和 煤壁的完整视频拼接;通过全工作面视频的多路拼接，形成整个工作面的煤壁的全景画面， 可W观测工作面的巷道起伏状态。
[0033] 煤矿工作面有别于其他场所，是一个始终在变化的环境，在运个变化的环境中实 现自动化是较为困难的。常规的矿井工作面一般长约100m，而工作面的主要S机设备采煤 机、支架、刮板运输机就在运变化着的IOOm的一个"狭长"范围内工作。因此，获取运IOOm内 的主要设备的工作状态也是工作面自动化的一个重要方面。若想将工作面的整体状况在同 一时刻完全呈现出来，就需要不同于地面图像处理中的图像拼接技术。
[0034] 在另一实施例中，参见附图2,其描述了图像相邻图像拼接时的流程图。在此流程 中，主要有两部分工作，一是图像配准，另一个是图像融合。在工作面煤壁图像中，主要包含 W下几类信息:煤壁信息、顶板信息、支架信息、其他信息。其中，煤壁和顶板的缝隙（即煤岩 分界线）W及支架的护帮板信息，是可应用于图像配准的信息，可选用基于特征的配准方法 进行处理。
[0035] 下面，选用Moravec算子提取图像的特征点。
[0036] 第一步，选择左采集点获取的图片的右1/3(和右采集点获取的图片的左1/3)为研 究对象，对图像进行初步分析;然后计算每个像素的兴趣值V，并计算四个主要方向相邻像 元灰度差的平方和。如计算(a, b)像素点的兴趣值，在W (a, b)点为中屯、的n Xn的正方形图 像内（n为奇数），其四个方向（VI~4分别为0度方向、90度方向、45度方向、135度方向）的兴 趣值分别为：
[0041 ]其中，m=(n-l)/2。
[0042] 则点(a, b)的兴趣值V为：
[0043] V(a，b)=min(Vl，V2，V3，V4)
[0044] 第二步，选择一个合理的阔值VO作为特征点的分界点，当V(a，b )>VO时，V(a，b)即 为其中一个特征点用于下一步的运算。阔值选取标准为应当包含必须用的特征点，如局部 的煤岩分界线、局部护帮板等;但亦不能过多，否则会因为提取了过多的噪声而拼接失败。
[0045] 第=步，将两幅图重叠处所提取到的特征点匹配起来，重新建立坐标，即完成图像 的配准工作。
[0046] 完成图像配准后，由于两幅图像采集的差别（如采集角度、颜色、光线等原因），会 造成拼接后的图像质量偏差或模糊不清，针对运种情况，需要应用图像融合的手段对图像 进行融合，保证图像的质量和清晰度。
[0047] 对于获得的待拼接的视频画面需满足W下条件:①由于井下光线环境很差，图像 质量，清晰度，明暗变化较大，视频画面应该尽量不会出现过曝或者过暗的情况，导致视频 画面无可用拼接内容，尤其是在相邻个相机画面重合的部分;②在不同相机的重叠视域内 安置一些反光条或者标志性图案，从而提高图像拼接融合的一致性和准确度。
[004引通过工作面上布置的摄像仪捕捉到的采煤机视频信号，进一步得到具有重合区域 的视频关键帖，从中通过获取工作面的特征点，进而将工作面的多组视频信息通过图像全 景拼接技术将视频拼接出来，形成工作面的全景图像。
[0049] 视频拼接中另一个难点是图像点的匹配，在另一个实施例中，采用如下的特征点 匹配方式：
[0050] (1)特征匹配(配准）
[0051] 特征匹配要找出两幅图像特征点的对应关系，对图像融合有决定性作用。首先先 归一化互相关系数进行粗匹配，再用RANSAC算法删除误匹配对，达到精匹配。
[0052] 1)归一化互相关系数粗匹配
[0化3] 采用归一化互相关系数特征点匹配方法(Normalized Cross Correlation，NCC)， 考虑了像素与周围相邻区域像素的相关信息，也考虑了两幅图像的亮度变化，具有良好的 匹配性能。
[0化4] 2)RANSAC精匹配
[0055] 根据阔值把测量数据分成内点和外点，利用内点数据比较准确的特点进行参数估 计剔除不准确的测量数据，得到优化结果。针对实际的估计问题，随机选取3对匹配点，每次 计算变换矩阵H，最后根据提纯的内点集合来优化估计矩阵HdRANSAC算法有3个需要确定的 值:随机采用的次数N(N优选>1000);内点与外点的距离阔值t(t优选小于0.01);内点个数 (优选100)。
[0056] (2)图像融合
[0057] 为了使拼接区域平滑，保证图像质量，采用渐进渐出法对配准后的图像进行融合。 将图像重叠区域中像素点的灰度值f(x，y)由两图像中对应像素点的灰度值n(x，y)和f2 (x，y)的加权平均得到，即：
[005引 f(x，y)=dlXn(x，y)+d2Xf2(x，y)
[0059] 式中：dl、d2是渐变因子，其取值范围限制在(0，1)之间，满足dl+d2 = l。
[0060] W上所述，仅为本发明专利较佳的【具体实施方式】，但本发明专利的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本发明专利掲露的技术范围内，可轻易想到 的变化或替换，都应涵盖在本发明专利的保护范围之内。
【主权项】
1. 一种基于图像处理技术的采煤工作面实时视频拼接系统，其特征在于:包括多个摄 像头，多个摄像头之间视野画面内具有具备重叠区域，所述摄像头向着煤壁设置，当采煤机 在运动时，从所述多个摄像头中同时得到多个视频画面，根据所述多个视频画面中的重叠 区域，通过图像全景拼接算法将所述多个视频画面拼接融合成一个整体视频画面，从而得 到采煤机的全景图像并实时显示。2. 如权利要求1所述的基于图像处理技术的采煤工作面实时视频拼接系统，其特征在 于:采用亮度与颜色均衡图像处理算法，建立相邻两幅图像之间直方图映射函数关系，通过 该映射函数关系，对两幅图像做整体的映射变换。3. 如权利要求1或2所述的基于图像处理技术的采煤工作面实时视频拼接系统，其特征 在于:对于图像粉尘多的情况，系统采用图像去噪算法处理视频画面。4. 如权利要求3所述的基于图像处理技术的采煤工作面实时视频拼接系统，其特征在 于:对于图像粉尘过大的极端情况，系统自适应采用之前的拼接结果或视频图像进行融合。5. 如权利要求1所述的基于图像处理技术的采煤工作面实时视频拼接系统，其特征在 于:相邻两所述摄像头之间的间距不全部相同。
【专利摘要】一种基于图像处理技术的采煤工作面实时视频拼接系统，包括多个摄像头，多个摄像头之间视野画面内具有具备重叠区域，所述摄像头向着煤壁设置，当采煤机在运动时，从所述多个摄像头中同时得到多个视频画面，根据所述多个视频画面中的重叠区域，通过图像全景拼接算法将所述多个视频画面拼接融合成一个整体视频画面，从而得到采煤机的全景图像并实时显示。本发明中摄像仪传输到监控室的视频图像信息通过视频融合软件融合为一个更完整覆盖的采煤机周边的全景实时视频，可通过整体的全景画面对采煤机和煤壁进行实时监控，使系统可在生产作业中实际常态化的应用，很好的提高生产效率并避免产生安全隐患。
【IPC分类】H04N7/18, G06T3/40
【公开号】CN105554447
【申请号】CN201510915712
【发明人】李首滨, 冯银辉, 李旭, 黄曾华, 李森, 田成金, 何勇华, 黄韶杰, 王旭鸣, 李重重, 王峰, 毕东柱
【申请人】北京天地玛珂电液控制系统有限公司
【公开日】2016年5月4日
【申请日】2015年12月11日