一种井下监控视频处理方法、计算机设备和存储介质与流程

本发明属于矿井监控技术领域，尤其涉及一种井下监控视频处理方法、计算机设备和存储介质。

背景技术：

煤炭是我国主要能源之一，是国民经济和社会发展的基础。但我国煤矿井下作业远离地面，地形复杂，环境恶劣，人员设备分散，近年来矿山安全事故与自然灾害频发，造成了巨大的经济损失和不良的社会影响，远程多媒体通信服务成为必须。地面监控人员需要直接与井下人员进行信息交流，需要直接对井下人员下达命令，需要全面直观监视井下工作现场的生产实际情况，及时发现事故苗头防患于未然，也能为事后分析事故、总结抢险过程的经验教训提供有关的第一手现场资料。因此，视频、语音通信的质量是矿用多媒体通信系统主要考虑的问题。

根据信息论观点，视频图像可以作为一个信源，描述信源的数据是信息量和信息冗余量之和。信息冗余量有多种，如空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余等，数据压缩实质是减少这些冗余量。可见冗余量的减少可减少数据量，而不减少信源信息量。图像可看作一个多维函数，压缩实质是减少其相关性。现有的视频处理方法，一般都是对视频信息通过单一地从视频图像的空间冗余方向或时间冗余方向实现视频的压缩。

但是，现有的视频处理方法压缩效果差，且煤矿井下作业远离地面，地形复杂，环境恶劣，人员设备分散，通信困难，极大地影响了监控效果，不能满足人们的需求。

技术实现要素：

本发明实施例的目的在于提供一种井下监控视频处理方法，旨在解决现有的视频处理方法压缩效果差，且煤矿井下作业远离地面，地形复杂，环境恶劣，人员设备分散，通信困难，极大地影响了监控效果，不能满足人们的需求。的问题。

本发明实施例是这样实现的，一种井下监控视频处理方法，包括：

从井下监控视频采集模块获取待处理的监控视频文件；

选择所述监控视频文件的待处理帧图像的处理模式；所述处理模式包括第一处理模式与第二处理模式，所述第一处理模式为获取所述待处理帧图像中宏块的实际像素值与预测像素值之差的处理模式，所述第二处理模式为获取所述待处理帧图像中宏块与参考帧图像中对应宏块之间的实际运动矢量与预测运动矢量之差的处理模式；

通过所选择的处理模式对待处理帧图像进行压缩处理，获得第一压缩数据；

对第一压缩数据进行编码预处理，获得编码预处理后的第二压缩数据；编码预处理的过程为将所述第一压缩数据从空间域变换到频率域，并将变换系数量化为至少两个离散整数值；

对第二压缩数据进行熵编码，并发送到井外监控端。

本发明的另一目的在于，提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的井下监控视频处理方法的步骤。

本发明的另一目的在于，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的井下监控视频处理方法的步骤。

本发明实施例提供的一种井下监控视频处理方法，通过根据预设模型选择待处理帧图像的处理方式，可以针对视频文件中每帧图像的特点有针对性的选择处理模式，以最大量减少空间冗余和时间冗余，提高视频文件的压缩效果，便于传输。

附图说明

图1为本发明实施例提供的一种井下监控视频处理方法的应用环境图；

图2为本发明实施例提供的一种井下监控视频处理方法的流程图；

图3为本发明实施例提供的一种井下监控视频处理方法中选择所述监控视频文件的待处理帧图像的处理模式的流程图；

图4为本发明实施例提供的对第二压缩数据进行反处理和滤波处理的流程图；

图5为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

图1为本发明实施例提供的一种井下监控视频处理方法的应用环境图，如图1所示，在该应用环境中，包括井下监控视频采集端110、井外监控端120以及无线设备130。井下监控视频处理方法应用于井下监控视频采集端110。

井下监控视频采集端110包括处理模块、视频采集模块、无线通信模块，可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但不局限于此。由于煤矿井下作业远离地面，地形复杂，环境恶劣，优选地，井下监控视频采集端arm核心处理系统以s3c6410处理器为核心，采用大容量低功耗移动级双通道静态随机存储器(mobileddrsdram)和大容量与非门型快闪存储器(nandflash)作为外存储器，并另配大容量tf卡作为辅助存储器，存储大量音视频数据，同时视频采集模块通过红外摄像头(camera)接口将数据传给核心系统，可以有效避免传统视频监控方案光照度适应范围小，不能适应全黑到高亮的光强范围等问题。

井外监控端120可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但并不局限于此。井下监控视频采集端110、井外监控端120均可以与无线设备130进行连接实现通讯，本发明在此不做限制。

无线设备130主要为井下监控视频采集端110以及井外监控端120提供无线接入点，在本发明实施例中无线设备130具体可以为无线ap(accesspoint)，无线ap可以通过对有线局域网络提供长距离无线连接，或对小型无线局域网络提供长距离有线连接，从而达到延伸网络范围的目的，其作为无线网和有限网之间的沟通桥梁，优选的，无线ap搭建在比较高的地方，以增加其对矿井的覆盖范围。

如图2所示，在一个实施例中，提出了一种井下监控视频处理方法，本实施例主要以该方法应用于上述图1中的井下监控视频采集端110来举例说明。一种井下监控视频处理方法，具体可以包括以下步骤：

步骤s202，从井下监控视频采集模块获取待处理的监控视频文件。

在本发明实施例中，所述井下监控视频采集端110设置在矿井内，用于采集监控视频文件，所采集的监控视频文件经过井下监控视频采集端110中的处理模块处理后发送至井外监控端120。井下监控视频采集模块可以是摄像头。

步骤s204，选择所述监控视频文件的待处理帧图像的处理模式；所述处理模式包括第一处理模式与第二处理模式，所述第一处理模式为获取所述待处理帧图像中宏块的实际像素值与预测像素值之差的处理模式，所述第二处理模式为获取所述待处理帧图像中宏块与参考帧图像中对应宏块之间的实际运动矢量与预测运动矢量之差的处理模式。

在本发明实施例中，监控视频文件是由多帧图像组成，对监控视频文件处理的过程实际就是对构成监控视频文件中的每帧图像处理的过程。待处理帧图像指当前正在被处理的一帧图像。宏块是指将待处理帧图像被分成的多个大小不同的块，一个宏块由一个亮度像素块和附加的两个色度像素块组成。一般来说，亮度块为16x16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定。在本发明实施例中，宏块可以由16×16或16×8或8×16或8×8的像素块组成，而8×8的像素块又可以进一步划分为8×4或4×8或4×4的像素块。通过用可变大小块来适应不同的应用环境和要求，灵活的选择块的大小，使运动物体的划分更加精确。

在本发明实施中，第一处理模式通过获取宏块的实际像素值与预测像素值之差，然后利用实际像素值与预测像素值之差代替实际像素值储存，从而实现待处理帧图像结构冗余的压缩。其中，像素值是原稿图像被数字化时由计算机赋予的值，它代表了原稿某一小方块的平均亮度信息，或者说是该小方块的平均反射(透射)密度信息。其中，结构冗余是在某些场景中，存在着明显的图像分布模式，出现相同或相近的纹理结构，例如，方格状的地板、蜂窝、砖墙、草席等图像结构上存在的冗余。所述预测像素值为当前宏块的相邻宏块的像素值，所述相邻宏块的像素值为预设宏块集合中多个所述相邻宏块的邻近宏块的像素值的加权平均值。通过多个所述相邻宏块的邻近宏块的像素值的加权平均值来作为预测像素值，能够有效提高预测像素值的精度，减小压缩对井下监控视频文件产生的误差，提高井外监控端对井下的监控效果，能够更好的根据监控画面指导井下作业，以及在发生坍塌后可以根据精确的监控画面做出及时有效的救援措施，提高救援效果。

在本发明实施例中，第二处理模式中所述待处理帧图像中宏块与参考帧图像中对应宏块之间的实际运动矢量与预测运动矢量之差即为待处理帧图像中宏块相对于参考帧图像中对应宏块的偏移，通过利用实际运动矢量和预测运动矢量之差代替实际运动矢量储存，从而实现待处理帧图像视觉冗余的压缩。视觉冗余是人类的视觉系统对图像场的敏感性是非均匀和非线性的，对亮度变化敏感，而对色度的变化相对不敏感；对物体边缘敏感，内部区域相对不敏感；对整体结构敏感，而对内部细节相对不敏感，可以根据这些视觉特性对图像信息进行取舍。在本发明实施例中，根据参考帧图像与待处理帧图像之间的位置关系，可分为前向参考帧和后向参考帧，前向参考帧即位于待处理帧之前的参考帧，后向参考帧即位于待处理帧之后的参考帧。参考帧可以是从待处理帧图像的至少前两帧图像中选择的一帧图像，选择一个效果最好的参考帧，以达到最佳的预测效果；或者参考帧图像是待处理帧图像的前一帧图像和待处理帧图像的后一帧图像，采用双向参考的方式，以有效降低预测误差。在本发明实施例中，待处理帧图像中宏块在参考帧图像中的对应宏块为与待处理帧图像中宏块最相似的块。优选地，所述最相似的块可以通过三步搜索算法确定，该算法以绝对误差均值最小为准则，即在一个16x16像素块搜索区域的中心点，以搜索区域最大搜索长度的一半为步长，计算中心点及周围8个邻近点的绝对误差均值，再以最小绝对误差均值点为中心，步长减为原来的一半，以此类推，到了第三步再把步长减半，计算其绝对误差均值，其中绝对误差均值最小的点运动矢量即为所求的值。利用三步搜索算法有效提高了搜索效率，进而提高井下监控视频搜索效率，提高井下监控视频的处理效率，进而提高视频传输效率，减小井外监控端监控画面与井下监控视频采集端的时间差，能够使工作人员在井外监控端的监控画面中及时掌控井下作业情况，发现问题及时发出解决问题的指令，防患未然，为井下作业人员提供安全保障。

步骤s206，通过所选择的处理模式对所述待处理帧图像进行压缩处理，获得第一压缩数据。

在本发明实施例中，根据所选择的处理模式不同，所述第一压缩数据为待处理帧图像中宏块与参考帧图像中对应宏块之间的实际运动矢量与预测运动矢量之差，或者宏块的实际像素值与预测像素值之差，然后利用实际像素值与预测像素值之差。

步骤s208，对所述第一压缩数据进行编码预处理，获得编码预处理后的第二压缩数据；所述编码预处理的过程为将所述第一压缩数据从空间域变换到频率域，并将变换系数量化为至少两个离散整数值。

在本发明实施例中，编码预处理是指在进行下以步骤中的熵编码之前对第一压缩数据进行的处理。空间图像数据通常是很难压缩的；相邻的采样点具有很强的相关性，而且能量一般均匀分布在一副图像中，从而要想丢掉某些数据和降低数据精度而不明显影响图像质量，就要选择合适的变换方法，使图像易于被压缩，例如通过聚焦图像的能量，将能量集中到少数有意义的数值上，而频率域就是一些特性比较突出，容易处理。

在本发明实施例中，将变换系数量化为离散数值，减少了整数系数的预测量和消除了不容易被感知的高频系数。同时也可以控制输出的比特率维持在一个基本恒定的常量，从而保证监控视频的画质质量，使监控人员能够清晰的了解井下情况，防患未然。

步骤s210，对所述第二压缩数据进行熵编码，并发送到井外监控端120。

在本发明实施例中，熵编码即编码过程中按熵原理不丢失任何信息的编码。信息熵为信源的平均信息量(不确定性的度量)。常见的熵编码有：香农(shannon)编码、哈夫曼(huffman)编码和算术编码(arithmeticcoding)。熵编码的作用是将视频序列的元素符号转变为一个用来传输的压缩码流，以便于发送到井外监控端120。

本发明实施例提供的一种井下监控视频处理方法，通过根据预设模型选择待处理帧图像的处理方式，可以针对视频文件中每帧图像的特点选择处理模式，以最大量减少空间冗余和时间冗余，提高视频文件的压缩效果，便于传输，进而提高监控效果，监控人员能够及时准确的掌控井下情况，以便及时发出作业指令，或坍塌后根据监控画面作出准确的营救措施，提高营救效率。

在一个实施例中，如图3所示，步骤s204具体可以包括以下步骤：

步骤s302，判断所述待处理帧图像是否为所述视频文件的第一帧图像。

步骤s304，若是，则选择第一处理模式处理所述待处理帧图像。

步骤s306，若否，则根据所述待处理帧图像与参考帧图像的相关性选择所述待处理帧图像的处理模式。

在本发明实施例中，由于第一帧图像中宏块不存在相对参考帧对应宏块相对运动，所以监控视频文件的第一帧图像一般选择第一处理模式进行处理。

在本发明实施例中，根据所述被处理图像与参考帧图像的相关性选择所述待处理帧图像的处理模式的过程为：首先，根据水平方向特征图像的分辨率，在所述待处理帧图像的水平方向上进n等分，其次，在n等分区间的子图像上进行n-1单位的偏移，与参考帧图像中对应区间的图像进行相关性操作，计算其互相关值，最后将得到的n个互相关值做归一化操作。如果有50％以上的互相关值大于0.5则选择第二处理模式，否则选择第一处理模式。

本发明实施例提供的一种井下监控视频处理方法，通过待处理帧图像与参考帧图像的相关性来选择待处理帧图像的处理模式，能够有效判断视频文件中结构冗余和视觉冗余，从而合理选择处理模式，使井下监控视频文件得到最大化的压缩处理，提高传输效率，减小井外监控端的监控延时，进一步提高井下监控系统的监控效果，使监控人员准确及时地掌控讲下情况，防患未然，有效保障井下作业人员的安全。

在一个实施例中，如图4所示，一种井下监控视频处理方法，其与图2所示的方法相比，区别在于，还包括步骤s402、s404。

步骤s402，对所述第二压缩数据进行反处理，获得反处理后的第三压缩数据；所述反处理的处理过程为所述编码预处理的过程的反过程。

在本发明实施例中，编码预处理过程的反过程即为空间域到频率域变换的反变换处理以及将变换系数量化的反量化过程。经过反处理后的第三压缩数据可以用于本地解码。

步骤s404，对所述第三压缩数据进行滤波处理，并将滤波处理后的压缩数据作为下一帧图像的参考帧图像缓存。

在本发明实施中，对第三压缩数据进行环路滤波处理，环路滤波通过一个内容自适应的非线性算法修改在宏块/块边界的同一边的两个像素。通过滤波可以消除由于相邻宏块有不同的预测类型或者不同的量化参数导致的人工痕迹。在块边界这种情况下，过滤可以消除可能由于变换/量化和来自于相邻块运动矢量的差别引起的人工痕迹。

本发明实施例提供的一种井下监控视频处理方法，通过对第二压缩数据进行反处理，可以使服务器130能够对压缩后的数据进行解码，然后对经过反处理得到的第三压缩数据进行滤波处理以消除人工痕迹，提高对井下监控视频的处理效果。

本发明方案提供的井下监控视频处理方法，通过根据预设模型选择待处理帧图像的处理方式，可以针对视频文件中每帧图像的特点选择处理模式，以最大量减少空间冗余和时间冗余，提高视频文件的压缩效果，便于传输，提高监控效果。本发明方案通过用可变大小块来适应不同的应用环境和要求，灵活的选择块的大小，使运动物体的划分更加精确；通过多个所述相邻宏块的邻近宏块的像素值的加权平均值来代表预测像素值，能够有效提高预测像素值的精度；通过在多前向参考帧中选择一个效果最好的参考帧，或者通过采用一前向参考帧和一后向参考帧的参考方式，能够有效降低预测误差，提高预测效果。同时通过滤波处理以消除人工痕迹，提高对井下监控视频的处理效果，进一步提高监控质量，有效保证工作人员对井下被监控情况的掌握，便于及时准确地向井下发出作业指导指令以及为坍塌后的救援工作提高可靠依据，提高救援效率，保障工人生命安全。

图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的井下监控视频采集端110。如图5所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现井下监控视频处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行井下监控视频处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

从井下监控视频采集模块获取待处理的监控视频文件；

选择所述监控视频文件的待处理帧图像的处理模式；所述处理模式包括第一处理模式与第二处理模式，所述第一处理模式为获取所述待处理帧图像中宏块的实际像素值与预测像素值之差的处理模式，所述第二处理模式为获取所述待处理帧图像中宏块与参考帧图像中对应宏块之间的实际运动矢量与预测运动矢量之差的处理模式；

通过所选择的处理模式对所述待处理帧图像进行压缩处理，获得第一压缩数据；

对所述第一压缩数据进行编码预处理，获得编码预处理后的第二压缩数据；所述编码预处理的过程为将所述第一压缩数据从空间域变换到频率域，并将变换系数量化为至少两个离散整数值；

对所述第二压缩数据进行熵编码，并发送到井外监控端。

在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

从井下监控视频采集模块获取待处理的监控视频文件；

选择所述监控视频文件的待处理帧图像的处理模式；所述处理模式包括第一处理模式与第二处理模式，所述第一处理模式为获取所述待处理帧图像中宏块的实际像素值与预测像素值之差的处理模式，所述第二处理模式为获取所述待处理帧图像中宏块与参考帧图像中对应宏块之间的实际运动矢量与预测运动矢量之差的处理模式；

通过所选择的处理模式对所述待处理帧图像进行压缩处理，获得第一压缩数据；

对所述第一压缩数据进行编码预处理，获得编码预处理后的第二压缩数据；所述编码预处理的过程为将所述第一压缩数据从空间域变换到频率域，并将变换系数量化为至少两个离散整数值；

对所述第二压缩数据进行熵编码，并发送到井外监控端。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。