视频处理方法和设备的制造方法
【技术领域】
[0001 ]本发明涉及视频处理领域，具体涉及一种视频处理方法和设备。
【背景技术】
[0002]随着监控视频的普及和对安全问题的日益关注，对于监控视频数据的智能分析，特别是视频场景中的行人和车辆分析，有着紧迫的需求。但是随着视频摄像头数量的增加以及高清摄像头的普及，监控视频的数据量呈现爆发式的增长。对监控视频数据的处理需要花费很多人力和时间。因此自动化的视频处理就非常重要。
[0003]因此，需要一种快速准确地对视频数据进行处理的方法。
【发明内容】
[0004]鉴于上述问题，提出了本发明以便提供一种至少部分地解决上述问题的视频处理方法和设备。
[0005]根据本发明一个方面，提供了一种视频处理方法。该视频处理方法包括以下步骤:获取待处理视频;对于待处理视频中的每帧原始图像，进行前景提取，以获得前景图像;对前景图像进行分块，以获得前景块;对待处理视频中的同一前景块在时空域上进行关联，以获得块管道;以及基于块管道进行视频分析。
[0006]根据本发明另一方面，还提供了一种视频处理设备，包括获取装置、前景提取装置、分块装置、关联装置和视频分析装置。获取装置用于获取待处理视频。前景提取装置用于对于待处理视频中的每帧原始图像，进行前景提取，以获得前景图像。分块装置用于对于待处理视频中的每帧原始图像，对前景图像进行分块，以获得前景块。关联装置用于对待处理视频中的同一前景块在时空域上进行关联，以获得块管道。视频分析装置用于基于块管道进行视频分析。
[0007]根据本发明提供的视频处理方法和设备，基于分块和前景块关联跟踪的方式来处理视频，可以有效快速地对视频数据进行诸如浓缩的分析处理。
[0008]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0009]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0010]图1示出根据本发明一个实施例的视频处理方法的流程图；
[0011]图2示出根据本发明一个实施例的对原始图像进行前景提取和分块的示意图；
[0012]图3示出根据本发明一个实施例的对前景块进行关联的示意图；以及
[0013]图4示出根据本发明一个实施例的视频处理设备的示意性框图。
【具体实施方式】
[0014]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0015]根据本发明一个方面，提供了一种视频处理方法。图1示出根据本发明一个实施例的视频处理方法100的流程图。如图1所示，该视频处理方法100包括以下步骤。
[0016]在步骤SI 10，获取待处理视频。
[0017]待处理视频可以是来自任何合适的设备的视频，本文不对此进行限制。例如，待处理视频可以是来自监控摄像头的视频。监控摄像头所处的位置和场景不受限制。监控摄像头可以有线或无线地与本文所述的视频处理设备相连。例如，监控摄像头可以通过网线与视频处理设备相连。视频处理设备可以是后端云端服务器或本地录像服务器。假设存在多路摄像头，可以给予每路摄像头唯一的标号，然后将每路摄像头的视频数据导出到视频处理设备中用于进一步处理。此外，可以理解的是，可以将来自监控摄像头的视频数据存储在视频库中，以在需要时使用。
[0018]在步骤S120，对于待处理视频中的每帧原始图像，进行前景提取，以获得前景图像。
[0019]可以针对每路视频数据(即待处理视频)进行单独的前景提取操作和后续分块操作。在进行前景提取之前，可以首先提取待处理视频的静态的背景信息。提取背景信息的方法有很多，下面举例说明。例如，可以在待处理视频前面的视频中选取一段干净的没有任何前景内容的视频，然后对该段视频中的每个像素的颜色进行概率建模，得到一个近似的概率分布(即高斯分布)模型。该概率分布模型可以称为背景模型。可以理解的是，可以基于背景模型生成背景图像。可以使用背景模型来对待处理视频中的每帧原始图像进行前景或者背景的判别。也就是说，可以利用背景模型对待处理视频中的每帧原始图像进行前景提取。
[0020]如果待处理视频来自摄像头并且摄像头是运动的，则在进行前景提取之前，可以对待处理视频进行运动补偿。通过运动补偿，可以使得补偿后的每帧原始图像上的每个像素的物理位置与背景图像上面的同一像素的物理位置相对应。具体地，可以对摄像头的运动方向进行估计，然后反向对当前获取的原始图像进行平移。对于帧率大于20帧每秒的摄像头，简单的运动补偿足以将每帧图像配准到其正确位置。
[0021]如果是静态的摄像头，也就是摄像头是静止不动的，则不需要做任何运动补偿。
[0022]可以将补偿后的原始图像与背景模型进行对比，以获得前景图像。例如但不限于如下方法:利用背景模型估计原始图像中的每个像素属于背景的概率，如果概率小于一定阈值，则认为其属于前景，否则其属于背景。随后可以对获得的前景图像进行平滑操作，例如进行中值滤波，以得到最终的前景图像。如果前景图像中存在阴影，则可以通过阴影检测算法去除前景图像中的阴影部分。阴影检测算法主要根据两个物理原理。首先阴影部分的光线亮度比非阴影部分更暗。另外阴影部分会保存地面本身的纹理信息。通过阴影检测算法可以找到阴影区域，然后可以从前景图像中去除该阴影区域。随后可以对剩余的前景图像进行下一步的分块操作。
[0023]图2示出根据本发明一个实施例的对原始图像进行前景提取和分块的示意图。如图2所示，原始图像210中包括建筑物、行人和汽车等信息。行人和汽车是能够运动、能够变化的，它们属于前景，而建筑物是恒定不变的，属于背景。前景提取可以将背景与前景分离。经过前景提取之后所获得的前景图像如图像220所示。
[0024]在步骤S130，对于待处理视频中的每帧原始图像，对前景图像进行分块，以获得前景块。
[0025]块(Blob)，也可以称为连通区域，一般是指前景图像中具有相同像素值并且位置相邻的像素点所组成的图像区域。分块是将前景图像中的每个独立的、不与其它块连通的块分割出来。对前景图像进行分块的方法可以包括但不限于两边扫描(Two-Pass)法、种子填充(Seed-Fi 11 ing)法等，本文不对此进行赘述。
[0026]继续参考图2，对前景图像220进行分块之后，可以获得图像230。在图像230中，分出了三个前景块，一个前景块包括汽车，另外两个前景块均包括行人。
[0027]可选地，在对前景图像进行分块之后，还可以对每个前景块中的信息进行估计，以获知每个前景块中包括多少前景物体。前景物体可以包括行人、汽车等物体。如图2所示，可以估计出图像240中的三个前景块分别包括三个人、一辆汽车和一个人。将这些信息汇总起来，可知图像240中共有四个行人和一辆车。
[0028]可选地，对于每个前景块，还可以根据需要进行进一步细分，得到子前景块。具体来讲，就是可以定位出前景块中的每个行人和车辆等前景物体的具体位置。细分的方法可以采用但不限于行人检测和车辆检测算法。将前景块细分为子前景块之后，可以将子前景块作为最终的前景块进行后续的关联和视频分析操作。
[0029]在步骤S140，对待处理视频中的同一前景块在时空域上进行关联，以获得块管道。
[0030]具体来讲，就是针对每一前景块，将其在包括其的两个相邻原始图像之中的时间信息和空间信息进行关联。图3示出根据本发明一个实施例的对前景块进行关联的示意图。如图3所示，在第t帧原始图像中检测到三个前景块，每个前景块被给予一个唯一的标识符(ID)，分别为I，2和3。因此，这三个前景块可以描述为前景块I，前景块2和前景块3。随后在第t+Ι帧原始图像中，同样检测到了这三个前景块。因此，可以将这两帧原始图像中的对应前景块关联起来。以此类推，可以将第t+2帧原始图像中的三个前景块分别与第t+Ι帧原始图像中的三个前景块进行关联。对某一前景块，例如前景块I来说，假设其一共在十帧之中出现，则可以在这十帧或十帧中的一部分连续的帧中进行两两关联。
[0031]前景块的关联可以使用匈牙利算法来实现，本文不对此进行赘述。最后得到的是每个前景块的一个跟踪结果，其在形式上是一个时空域上的三维管道(tube)，即本文所述的块管道。可以理解的是，一个块管道与一个前景块相对应，该块管道包括与其对应的前景块的时间信息和空间信息