一种基于图像处理技术的采煤工作面实时视频拼接系统的制作方法
【技术领域】
[0001] 本发明设及一种煤矿井下工作面的实时监控系统，尤其设及一种采用实时视频拼 接进行图像处理的系统。
【背景技术】
[0002] 在煤矿井下生产中，常常需要通过远程监控得到工作面和巷道中的人员设备等生 产信息。在现阶段设备和操作日趋复杂的情况下，仅靠传感器已无法全面获得工作面的情 况，特别是当个别关键设备出现了故障(例如采煤机、支架等），如果工作人员无法了解设备 工作状况，就无法保证生产的正常运行，而如果采用综采工作面自动化控制系统对采煤机 和支架的状况进行监视，那么在操作台的工作人员能够通过监视器看到工作面的设备情 况，就不会出现由于误操作对设备造成的损坏，也能及时的发现问题，及时地解决问题，将 生产过程的损失降到最低。
[0003] 在现有的井下综采工作面自动化控制系统中，煤炭开采人员可在井下顺槽监控中 屯、和地面调度室中，通过多个视频画面对工作面状况实时监视并进行远程控制生产作业。 但监视视频都是针对某个独立地点的，整个工作面视频画面较多且较为分散，造成工作人 员对监视内容不够直观且很难有整体全局的体验，使得无法通过视频监控对远控生产做出 有效及时的判断处理。
[0004] 在现有技术中，CN101593350A公开了一种视频拼接的方法、装置和系统，但其发明 的重点在于视频拼接的算法，对硬件结构和布置方式没有做出进一步的说明，且其结构复 杂，不适于在煤矿井下工作面的复杂环境下使用；CN201947404U公开了一种基于视频拼接 的显示系统，但其仅仅对摄像装置和显示装置做出了描述，没有对其他重要的部件，如数据 处理装置、联动装置、控制装置等做出任何介绍，且其公开的技术方案在实现上对视频图像 的清晰度要求比较高，同样无法用于煤矿井下工作面中。
[0005] 因此，本领域急需一种可使用煤矿井下工作面的全景实时视频拼接系统，W达到 减少操作人员的工作强度，提高视频监控系统的有效性和关注度，提高视频监控模式下的 矿井安全生产保障的功效。
【发明内容】
[0006] 为解决上述问题，本发明提出一种基于图像处理技术的采煤工作面实时视频拼接 系统，其特征在于:包括多个摄像头，多个摄像头之间视野画面内具有具备重叠区域，所述 摄像头向着煤壁设置，当采煤机在运动时，从所述多个摄像头中同时得到多个视频画面，根 据所述多个视频画面中的重叠区域，通过图像全景拼接算法将所述多个视频画面拼接融合 成一个整体视频画面，从而得到采煤机的全景图像并实时显示。
[0007] 优选采用亮度与颜色均衡图像处理算法，建立相邻两幅图像之间直方图映射函数 关系，通过该映射函数关系，对两幅图像做整体的映射变换。
[000引优选对于图像粉尘多的情况，系统采用图像去噪算法处理视频画面。
[0009] 优选对于图像粉尘过大的极端情况，系统自适应采用之前的拼接结果或视频图像 进行融合。
[0010] 优选相邻两所述摄像头之间的间距不全部相同。
[0011] 本系统使用视频合成技术，形成工作面的全景图像，使得操作人员很容易对设备、 系统的整体状况进行了解和评估，从而有效对整个开采系统进行管理操作。
[0012] 本发明中，采煤机和煤壁周边的摄像仪传输到监控室的视频图像信息通过视频融 合软件融合为一个更完整覆盖的采煤机周边的全景实时视频。融合后，可通过整体的全景 画面对采煤机和煤壁进行实时监控，提高远程开采对采煤机和支架状态W及周边环境的信 息完整性，更解决了由于井下环境极为复杂而造成的相机间照明光照不均、粉尘多、噪声 大、可分辨性差的难点问题;而且在生产过程中，避免了由于液压支架的运动，相邻摄像头 的相对位置的偏移及角度旋转、镜头焦距的不同出现的景物缩放W及镜头变形造成的崎 变，使系统可在生产作业中实际常态化的应用，很好的提高生产效率并避免产生安全隐患。
【附图说明】
[0013] 附图1为本发明所述视频拼接系统的一个实施例的布置简图；
[0014] 附图2为相邻图像的拼接流程图。
【具体实施方式】
[0015] 下面结合附图对本发明做进一步的示例性详细说明。
[0016] 参见附图1，在一个优选实施例中，首先将多个摄像头部署在工作面并安装在支架 上，面对采煤机和煤壁方向的多个摄像仪多组视频信息通过视频崎变校正、图像几何变换、 图像配准和视频融合等模块将视频拼接出来，形成采煤机的完整拼接视频和全景图像。
[0017] 该系统通过工作面上布置的摄像仪的采煤机视频信息，进一步得到具有重合区域 的视频关键帖，从中通过获取采煤机的特征点，进而将采煤机的多组视频信息通过图像全 景拼接技术将视频拼接出来，形成采煤机的全景图像和视频。
[0018] 如附图1，通过n个正对煤壁的摄像头图像拼接出完整的采煤机，摄像头之间视野 画面内具有具备重叠区域，当采煤机在运动时，从n个摄像头中同时得到n个视频画面，根据 n个视频画面中的重叠区域，通过图像全景拼接算法将n个视频画面拼接融合成一个整体视 频画面，从而得到采煤机的全景图像并实时显示，拼接过程中，可W利用采煤机位置信息进 行动态视频参数调整，W提高视频拼接效率，最后将采煤机和煤壁周边支架等的视频图像 信息通过视频融合技术融合为一个更完整覆盖的采煤机周边的全景实时视频，同时，操作 人员可W根据采煤机生产的中的位置变化，选择自动跟机和手动随机切换位置的实时视频 拼接两种模式中的一种进行工作。
[0019] 在井下的实际应用中，对于相邻摄像头拼接时画面内光照不均等差异的情况，系 统采用亮度与颜色均衡图像处理算法，建立相邻两幅图像之间直方图映射函数关系，通过 该映射函数关系，对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性，提 高拼接视频的整体效果。
[0020] 工作面的图像成像有其自身的特点，除了灰度差、光线不均匀之外，工作面也存在 较严重的灰尘影响，因此，对工作面图像降噪的优化也是非常重要的一大环节。在另一个优 选实施例中，针对煤矿井下噪声特点主要是粉尘组成，提出非局部均值去噪算法，其核屯、思 想是当前像素值由图像中所有与它结构相似的像素加权平均得到。其去噪原理是对于每个 像素的权值，采用W它为中屯、图像子块与当前像素为中屯、子块之间的高斯加权欧式距离来 计算，权值设置为此距离的负指数函数值。在估计当前像素值时，由于噪声是随机的，局部 结构上与当前像素的像素权重较大，叠加的噪声对权重系数影响较小，因而通过加权均值 可有效的抑制噪声。
[0021] 具体去噪过程如下：
[0022] 对于离散噪声的图像V= {v(i)，iel}中的某一像素 i，可W得到运个图像所有像 素的加权平均值为：
[002；3 ] Ai(V)村=X J)v(y) … 灿
[0024]式中，NL(V)Q)为去除噪声后的图像，w(i，j)为描述像素 i和像素 j相似程度的权 值，其计算公式为：
[002引为权值的归一化系数J - WWj)吃。表示图像V中的像素 i和像素 j的高斯加权 欧式距离，0>0为高斯核函数的标准差。参数Mi过控制指数函数的衰减来控制权值的大小 从而控制平滑噪声的程度，如果h比较小的话，幕函数的衰减效果比较显著，图像细节保留 程度比较高。矩形邻域V(Ni)和V(的）的相似程度表征了像素 i和像素 j的相似程度，因此当W (i，j)权值越大时图像的矩形邻域就越相似。同时，权值w(i，j)还满足W下条件：（1)取值范 围为0<w(i，j) < 1;(2)满足2w(i，j) = l。
[0029] 在实际算法对图像去噪中，为了减少计算量，参与加权的像素并不是整个图像的 所有像素，而是选取当前像素邻近的固定大小区域，一般为W当前像素为中屯、的部分的像 素区域。
[0030] 针对粉尘过大，无法看清画面的极端情况，系统自适应采用之前的拼接结果进行 融合，W保证拼接效果的流杨性。
[0031] 考虑到井下液压支架的分布不一定是均匀的，安装在其上的摄像头也就相