视频编码器和编码方法以及视频解码器和解码方法

专利名称：视频编码器和编码方法以及视频解码器和解码方法
视频编码器和编码方法以及视频解码器和解码方法
技术领域：
本发明涉及视频压缩领域，特别是涉及一种视频编码器和编码方法以及视频解码器和 解码方法。背景技术：
随着多媒体的应用越来越广泛，视频技术也应用在越来越多的领域，如视频会议、视频 监控等。由于视频的数据量非常大，在传输过程中会占用过多的宽带资源，且产生很大的时 延。因此，提出了视频的编码压缩技术以克服视频数据量占用宽带资源以及时延的问题。视频编码和传输技术发展到今天，已经存在很多的编码方式和标准。但是，还没有 一种编码方式和标准是针对静止摄像头而设计的。在实际应用中，很多视频采集传输系统 中，摄像头都是静止的。比如，视频会议和视频监控等。特别是视频监控，近年来，视频监控 取得了长足发展，摄像头的布设量急剧增加。摄像头数目的增加，带来了一个重要的问题， 那就是视频的传输和存储。采用传统的编码方式，为了达到很低的码率，图像质量往往被压 缩的无法忍受，同时，码率并没有真正降低，造成资源的浪费。同时，在视频中，往往重要的 目标是限定的，现有方法也没有能对图像区域进行区分，将更高的码率分配给更重要的目 标。因此有必要提出一种新的技术方案来解决上述问题。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在 本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说 明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。本发明的目的之一在于提供一种视频编码器和编码方法，其将背景和前景分开， 在背景不变的情况下，只传输一次背景，从而在视频传输时能大大降低宽带的占用率。本发明的目的之二在于提供一种视频解码器和方法，其利用基于blending的方 法对前景和背景进行融合叠加，很好的还原了原有的视频图像。根据本发明的一方面，本发明提供一种视频编码器，其包括视频输入模块，输入 视频图像；背景更新模块，在所述视频图像中的背景变化时更新视频图像中的背景；背景 建模模块，根据更新的所述视频图像中的背景建立背景模型；背景编码模块，对所述背景模 型进行编码以获取背景码流；前景分割模块，根据输入的视频图像以及所述背景模型分割 出所述视频图像中的前景区域；前景编码模块，对得到的前景区域进行编码以获取前景码 流；传输模块，分别传输所述背景码流和前景码流。进一步的，所述传输模块包括背景图像传输模块和前景图像传输模块，所述背景 述图像传输模块用于传输编码后的背景码流，所述前景图像传输模块用于传输编码后的前 景码流。进一步的，所述基于最大流分割方法的方法包括获取系列背景图像中每个背景 像素的颜色分量的高斯模型；对视频图像中的像素和背景图像进行像素差值，对所述差值 大于阈值的像素则作为前景像素；获取所述前景像素的颜色分量的混合高斯模型；采用背景的所述高斯模型和前景的所述混合高斯模型计算视频图像中所有像素属于前景或背景 的概率，归一化后得到该像素对应节点在图中分别与前景和背景节点的连接能量；对所述 视频图像分别求其相邻像素间的水平边缘强度和垂直边缘强度；根据每个像素和相邻像素 的水平边缘强度和垂直边缘强度得到在视频图像中所述像素与相邻像素间的连接能量；根 据得到的所有节点间的连接能量，采用最大流分割方法进行最小分割，得到所述视频图像 中的前景和背景像素。进一步的，所述前景编码模块对前景区域内的有效宏块以及相同前景区域的二进 制掩模进行编码以组成前景码流，其中所述二进制掩模用于标识视频图像中哪些位置属于 前景区域，掩模上每个属于前景的像素被标记为1，否则标记为0 ；所述前景区域内的有效 宏块获取方法为根据前景区域的二进制掩模获取其最小外接矩形，将所述外接矩形内图 像区域分为正方形的宏块，如果宏块中包含前景像素则判定该宏块为有效宏块，需要编码， 否则判定为无效宏块，不进行编码。更进一步的，所述前景编码模块对前景区域内的有效宏块进行编码包括对第一 帧出现的有效前景宏块，按照宏块的顺序依次处理，对所述宏块进行离散余弦变换，并对离 散余弦变换系数进行量化，采用差分编码方式对离散余弦变换系数进行预测，进而进行熵 编码；对后续出现的各帧，判定前景区域内各宏块是否有效，对有效宏块按照顺序进行下述 处理对当前宏块，在前一帧图像的搜索范围内寻找与其最匹配的有效前景宏块，对前一帧 图像中的所述最匹配的有效前景宏块与所述当前宏块做差，对得到的差值进行离散余弦变 换，将其离散余弦变换系数量化后进行熵编码。更进一步的，所述前景编码模块对前景区域的二进制掩模进行编码包括记录图 像中前景区域数目及各前景区域的外接矩形范围，还要记录外接矩形范围内的图像区域中 各个宏块是否有效，如有有效则该位置标志为1，否则标志为0，将各个宏块的标志采用熵 编码方式进行编码，并与宏块编码结果组成码流传输。本发明还提供一种视频编码方法，其包括输入视频图像；在所述视频图像的背 景变化时更新其背景；对所述更新的背景建立背景模型并对所述背景模型进行编码以得到 背景码流；根据所述视频图像以及所述背景模型分割出所述视频图像中的前景区域并对所 述前景区域进行编码以得到前景码流；分别传输所述背景码流和前景码流。进一步的，利用最大流分割方法对所述视频图像中的前景区域进行分割，其包括 获取系列背景图像中每个背景像素的颜色分量的高斯模型；对视频图像中的像素和背景图 像进行像素差值，对所述差值大于阈值的像素则作为前景像素；获取所述前景像素的颜色 分量的混合高斯模型；采用背景的所述高斯模型和前景的所述混合高斯模型计算视频图 像中所有像素属于前景或背景的概率，归一化后得到该像素对应节点在图中分别与前景和 背景节点的连接能量；对所述视频图像分别求其相邻像素间的水平边缘强度和垂直边缘强 度；根据每个像素和相邻像素的水平边缘强度和垂直边缘强度得到在视频图像中所述像素 与相邻像素间的连接能量；根据得到的所有节点间的连接能量，采用最大流分割方法进行 最小分割，得到所述视频图像中的前景和背景像素。进一步的，将前景区域内的有效宏块以及相同前景区域的二进制掩模进行编码以 得到前景码流，其中所述二进制掩模用于标识视频图像中哪些位置属于前景区域，掩模上 每个属于前景的像素被标记为1，否则标记为0 ；所述前景区域内的有效宏块获取方法为根据前景区域的二进制掩模获取其最小外接矩形，将所述外接矩形内图像区域分为正方形 的宏块，如果宏块中包含前景像素则判定该宏块为有效宏块，需要编码，否则判定为无效宏 块，不进行编码。更进一步的，将前景区域内的有效宏块进行编码包括对第一帧出现的有效前景 宏块，按照宏块的顺序依次处理，对所述宏块进行离散余弦变换，并对离散余弦变换系数进 行量化，采用差分编码方式对离散余弦变换系数进行预测，进而进行熵编码；对后续出现的 各帧，判定前景区域内各宏块是否有效，对有效宏块按照顺序进行下述处理对当前宏块， 在前一帧图像的搜索范围内寻找与其最匹配的有效前景宏块，对前一帧图像中的所述最匹 配的有效前景宏块与所述当前宏块做差，对得到的差值进行离散余弦变换，将其离散余弦 变换系数量化后进行熵编码。更进一步的，对相同前景区域的二进制掩模进行编码包括记录图像中前景区域 数目及各前景区域的外接矩形范围，还要记录外接矩形范围内的图像区域中各个宏块是否 有效，如有有效则该位置标志为1，否则标志为0，将各个宏块的标志采用熵编码方式进行 编码。更进一步的，将前景区域内有效宏块的编码结果和对应的前景区域的二进制掩模 的编码结果组成码流以进行传输。根据本发明的另一方面，本发明提供一种视频解码器，其包括解析器模块，对接 收到的码流进行解析，并将解析后的背景码流和前景码流分开；背景解码模块，如果接收到 解析后的背景码流则对其进行解码以更新背景图像，否则不做处理；前景解码模块，从解析 后的前景码流中得到前景区域数目，并获取各前景区域的外接矩形的坐标、宏块编码信息 以及宏块有效标志信息；视频合成模块，获取当前图像的背景图像，根据各个前景区域的外 接矩形坐标定位到前景区域的左上角，按照和编码相同的顺序，判断外接矩形中宏块对应 的前景宏块是否为有效宏块，如果为无效宏块则跳到下一宏块进行处理，否则读取有效宏 块的编码信息，解码后得到离散余弦变换系数，恢复残差图像，从前一帧图像中找到其匹配 宏块，恢复当前宏块图像，就爱你过当前宏块图像覆盖到当前图像上的对应位置；或将有效 宏块叠加到背景图像上。进一步的，所述前一帧图像为视频解码器解码后的前一帧图像。本发明还提供一种视频解码方法，其包括对接收到的码流进行解析，并将解析后 的背景码流和前景码流分开；如果接收到解析后的背景码流则对其进行解码以更新背景图 像，否则不做处理；从解析后的前景码流中得到前景区域数目，并获取各前景区域的外接矩 形的坐标、宏块编码信息以及宏块有效标志信息；获取当前图像的背景图像，根据各个前景 区域的外接矩形坐标定位到前景区域的左上角，按照和编码相同的顺序，判断外接矩形中 宏块对应的前景宏块是否为有效宏块，如果为无效宏块则跳到下一宏块进行处理，否则读 取有效宏块的编码信息，解码后得到离散余弦变换系数，恢复残差图像，从前一帧图像中找 到其匹配宏块，恢复当前宏块图像，就爱你过当前宏块图像覆盖到当前图像上的对应位置； 或将有效宏块叠加到背景图像上。进一步的，所述前一帧图像为视频解码器解码后的前一帧图像。与现有技术相比，本发明中视频编码器对于摄像头静止场景的视频编码，采用前 景分割算法从背景中分离前景，对不发生变化的背景仅传送一次，而对包含重要内容的前景区域进行编码传输。为了将前景和背景更干净的分割，所述视频编码器采用了基于最大 流分割的方法，能够更精细的得到分割边缘。此外，为了更好的得到合成图像的质量，视频 解码器采用基于blending的方法对前景和背景融合叠加。由于背景不变时不需要传输背 景图像，从而在视频传输时大大降低了宽带占用率。

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附 图。其中
图1为本发明中一种视频编码器在一个实施例中的结构示意图； 图2为本发明在一个实施例中基于最大流分割的前景分割算法的流程图； 图3为本发明中一种视频编码方法在一个实施例中的流程图； 图4为本发明中一种视频解码器在一个实施例中的结构示意图； 图5为本发明中一种视频解码方法在一个实施例中的流程图。
具体实施方式
本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间 接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特 定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用 此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话 说，为避免混淆本发明的目的，由于熟知的方法和程序已经容易理解，因此它们并未被详细 描述。此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中 的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一 个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多 个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构 成对本发明的限制。本发明提供一种视频编码器，其将视频图像分成背景和前景并分别进行编码传 输，且在背景更新时传输一次背景图像，而在背景没有更新时不进行背景图像的传输。所述 视频编码器的具体结构可参见图1所示。图1为本发明中视频编码器在一个实施例中的结构示意图。请参阅图1所示，所 述视频编码器100包括视频输入模块110、背景更新模块120、背景建模模块130、背景编码 模块140、前景分割模块150、前景编码模块160以及传输模块170。所述视频编码器100对 于摄像头静止场景的视频编码，采用前景分割算法从背景中分离前景，对不发生变化的背 景仅传送一次或数次，而对包含重要内容的前景区域图像进行编码传输。所述视频输入模块110用于输入需要编码传输的视频图像，所述视频图像可以为 单张也可以为多张连续的视频图像。所述背景更新模块120在所述视频图像的背景变化时则更新视频图像中的背景。 在实际应用中，在第一次输入视频图像时则将其初始背景作为第一次背景更新来处理，接 下来检测视频图像背景是否发生了变化，若发生变化则更新一次视频图像的背景。
所述背景建模模块130对所述视频图像更新后的背景进行背景建模以得到背景 模型。所述背景为视频图像中长期相对不动的部分，如在视频监控中，监控摄像头视野内的 数、房屋、街道等长期相对不动的部分。对应的，在具体应用中，所述背景建模模块130在视 频图像第一次输入时则对初始背景图像进行建模，而在背景更新后则对更新后的背景进行 建模。所述背景编码模块140对所述背景模型进行编码。在一个实施例中，对于需要传输的一系列背景图像，可以采用I帧P帧方式对背 景图像进行编码。首先，获取的第一帧图像中的背景图像被当做I帧编码后进行传输，而 后续得到的背景被当做P帧进行处理传输，在I帧中相应搜索范围内找到与之时间相邻的 后续帧(即后续的P帧)中各宏块最匹配的宏块，然后将I帧中的各宏块与后续P帧中对应 的各宏块的位置做差以得到一组差值向量，对所述差值向量均进行DCT (Discrete Cosine Transform，即离散余弦变换)变换，并对其量化后按照原来宏块的顺序组成一个向量组，所 述向量组经过熵编码后进行传输。一般的，由于背景变化很小，所以上述P帧的码流很低， 由于摄像机静止情况下，通常背景图像稳定不变，上述确定匹配宏块的方法可以直接在I 帧中选用对应位置的宏块以作为P帧的宏块即可。当然，上述仅仅讲述了一种背景编码的方法，所述背景编码模块140还可以通过 其他的方法对背景图像进行编码，其具体实现可以通过软件、硬件或软硬件结合的方式实 现对背景模型的编码，其中所述DCT变换以及熵编码的实现方法均属于所属领域的普通技 术人员都能够实现的，且不作为本发明的重要技术方案，所以就不再一一详述了。所述前景分割模块150根据输入的视频图像以及所述背景模型分割出所述视频 图像中的前景区域。所述前景为图像中的活动目标，即图像中的运动目标，是视频中相对于 背景更加重要的部分。由于相对于前景的信息比较重要，所以可以采用质量更高的编码方式来对所述前 景进行编码，而背景由于很长时间处于不变的状态，在不变的时候只需要传输一次背景即 可，所以本发明选择将前景与背景分开编码和传输。所述前景分割模块150为了更好地将前景从背景中分割出来，减少前景和背景边 缘处的不平滑，前景分割模块150的方法有很多，现有的提取前景的方法比如背景差法、混 合高斯模型方法以及核密度估计方法。但是，所述方法没有利用图像的区域信息，从而使得 对前景与背景的交界区域的边缘分割的效果很差。这里可以采用一个更好的方法，即基于 最大流分割(graph-cut)的方法。在一个实施例中，利用最大流分割的方法对图像进行前景分割。其具体可参见图2 所示，图2为本发明在一个实施例中基于最大流分割的前景分割算法的流程图。所述基于 最大流分割的前景分割算法包括
步骤200，输入视频图像；
步骤210，在所述视频图像中提取背景图像；
步骤220，获取所述背景图像中每个背景像素的颜色分量的高斯模型； 步骤230，对前景像素进行标识，具体为对所述背景图像和视频图像中的前景图像进 行像素差值(包括灰度差或颜色差)，当所述差值大于阈值时则得到不同于背景的像素标识 (如背景像素标识为0时，所述差值大于阈值的像素标识记为1)，并认定这些像素绝大部分为前景像素；
步骤240，获取所述标识为前景的像素的颜色分量的混合高斯模型； 步骤250，对所述视频图像中的所有像素，采用所述背景高斯模型和前景混合高斯模型 以得到其属于前景和背景的概率，经归一化后分别得到该像素对应节点在图中与前景和背 景节点连接的能量，记为能量项1，由此可知，所述能量项1可以理解为每个像素属于前景 还是属于背景的概率；
步骤260，获取所述视频图像中相邻像素间的垂直边缘强度； 步骤270，获取所述视频图像中相邻像素间的水平边缘强度；
步骤280，对所述视频图像中所有像素，根据其和相邻像素的所述水平边缘强度和垂直 边缘强度得到视频图像中其与相邻像素间的连接能量，即为能量项2 ；
步骤290，根据得到的所有节点间的连接能量(包括所述能量项1和能量项2)，采用最 大流分割(graph-cut)的方法进行最小分割，得到输入图像中的前景和背景像素。需要指出的是，当视频图像中的背景更新时需要对背景进行更新以保证步骤210 获取的背景图像为最新图像。该方法不仅仅利用了前景和背景之间的差来分割前景，而且，还利用了前景和背 景区域的颜色模型，以及图像上前景和背景的边缘信息，因而能够得到更好的分割效果。且 根据上述方法可以将前景图像中的所有像素标记为相同的数字，如1，而将背景图像中的所 有像素标记为相同的数字，如0，这样便得到了一个可识别前景图像区域的二进制掩模。也 就是说，所述二进制掩模和图像大小相同，每个像素位置的二进制值标识了该图像中像素 是否属于前景，如果像素属于前景，则掩模上对应该像素的值则为1，否则为0。所述前景编码模块160将所述前景分割出的前景进行编码以用于传输。为了将前 景区域进行高质量的编码，本发明对前景区域内的有效宏块以及相同前景区域的二进制掩 模进行编码以组成前景码流。其所述前景区域的有效宏块获取方法具体为将前景区域的二进制掩模获取其最 小外接矩形，将所述最小外接矩形内图像区域分为大小固定的宏块，如果宏块中包含了前 景像素，则认为该宏块有效，需要编码，否则认为该宏块中的像素为背景像素，无效，不进行 编码；将上述需要编码的宏块按照顺序组成一个宏块向量，可以采用zig-zag扫描的方法 确定顺序。所述宏块可以为NXN的正方形，如可以设定为8X8或16X 16的宏块，所述宏块 大小的设定是为了后续DCT编码的方便。在一个实施例中，所述前景编码模块对前景区域内的有效宏块进行编码的方法包 括对第一帧出现的有效前景宏块，按照宏块的顺序依次处理，对所述宏块进行DCT变换， 并对DCT系数进行量化，采用差分编码方式对DCT系数进行预测，进而进行熵编码；对后续 出现的各帧，判定前景区域内各宏块是否有效，对有效宏块按照顺序进行下述处理对当前 宏块，在前一帧图像的搜索范围内寻找与其最匹配的有效前景宏块，对前一帧图像中的所 述最匹配的有效前景宏块与所述当前宏块做差，对得到的差值进行DCT变换，将其DCT系数 量化后进行熵编码。所述前景编码模块对前景区域的二进制掩模进行编码的方法包括记录图像中前 景区域数目及各前景区域的外接矩形范围，还要记录外接矩形范围内的图像区域中各个宏块是否有效，如有有效则该位置标志为1，否则标志为0，将各个宏块的标志采用熵编码方 式进行编码。所述前景编码模块160将所述前景区域内有效宏块的编码结果和对应的二进制 掩模上标志的数据组成码流以用于传输。这样，避免了在每次视频图像的前景发生变化而背景没发生变化时对背景区域的 传输，同时，对于前景区域，也利用帧间信息将冗余信息排除，降低了码率。所述传输模块170对所述背景编码模块140得到的编码后的背景图像和前景编码 模块160得到的前景区域的图像进行传输。所述传输模块170包括背景图像传输模块1701 和前景图像传输模块1702，其中所述背景图像传输模块1701对背景编码模块140得到的编 码后的背景码流进行传输，所述前景图像传输模块1702对前景编码模块160得到的编码后 的前景码流进行传输。在实际应用中，所述背景图像传输模块1701和前景图像传输模块1702对背景码 流和前景码流分别传输。由于背景图像在长期内不变的情况下，所述背景图像传输模块 1701在此时间段内只传输一次背景码流。综上所述，本发明中的视频编码器将背景和前景分开，且利用基于最大流分割方 法提高了前景和背景交界区域的边缘分割效果，并对前景进行更高质量的编码，而对背景 不变时近传输一次背景，从而提高了视频的压缩质量，且大大地降低了传输的视频对宽带 的占用率。图3为本发明中一种视频编码方法在一个实施例中的流程图，请参阅图3所示，所 述视频编码方法包括
步骤310，输入视频图像，所述视频图像可以为单张也可以为多张连续的视频图像。步骤320，根据所述视频图像建立背景模型，当所述视频图像中的背景发生变化 时，则更新背景模型。步骤330，根据视频图像和背景模型分割前景图像。为了更好地将前景从背景中分割出来，减少前景和背景边缘处的不平滑，对图像 的前景分割的方法有很多，现有的提取前景的方法比如背景差法、混合高斯模型方法以 及核密度估计方法。但是，所述方法没有利用图像的区域信息，从而使得对前景与背景 的交界区域的边缘分割的效果很差。这里可以采用一个更好的方法，即基于最大流分割 (graph-cut)的方法。所述最大流分割的方法具体可以参见图2所示，其内容已在上述部分 进行了详细描述，所以这里就不再描述了。步骤340，分别对背景模型和前景图像进行编码。在一个实施例中，对背景模型进行编码时，对于需要传输的一系列背景图像，可以 采用I帧P帧方式对背景图像进行编码。首先，获取的第一帧图像中的背景图像被当做I帧 编码后进行传输，而后续得到的背景被当做P帧进行处理传输，在I帧中相应搜索范围内找 到与之时间相邻的后续帧(即后续的P帧)中各宏块最匹配的宏块，然后将I帧中的各宏块 与后续P帧中对应的各宏块的位置做差以得到一组差值向量，对所述差值向量均进行DCT (Discrete Cosine Transform,即离散余弦变换)变换，并对其量化后按照原来宏块的顺序 组成一个向量组，所述向量组经过熵编码后进行传输。一般的，由于背景变化很小，所以上 述P帧的码流很低，由于摄像机静止情况下，通常背景图像稳定不变，上述确定匹配宏块的方法可以直接在I帧中选用对应位置的宏块以作为P帧的宏块即可。上述过程可以通过软件、硬件或软硬件结合的方式实现对背景模型的编码，其中 所述DCT变换以及熵编码的实现方法均属于所属领域的普通技术人员都能够实现的，且不 作为本发明的重要技术方案，所以就不再一一详述了。在另一个实施例中，对前景区域进行编码时，为了将前景区域进行高质量的编码， 本发明对前景区域内的有效宏块以及相同前景区域的二进制掩模进行编码以组成前景码流。其所述前景区域的有效宏块获取方法具体为将前景区域的二进制掩模获取其最 小外接矩形，将所述最小外接矩形内图像区域分为大小固定的宏块，如果宏块中包含了前 景像素，则认为该宏块有效，需要编码，否则认为该宏块中的像素为背景像素，无效，不进行 编码；将上述需要编码的宏块按照顺序组成一个宏块向量，可以采用zig-zag扫描的方法 确定顺序。所述宏块可以为NXN的正方形，如可以设定为8X8或16X 16的宏块，所述宏块 大小的设定是为了后续DCT编码的方便。在一个实施例中，所述前景编码模块对前景区域内的有效宏块进行编码的方法包 括对第一帧出现的有效前景宏块，按照宏块的顺序依次处理，对所述宏块进行DCT变换， 并对DCT系数进行量化，采用差分编码方式对DCT系数进行预测，进而进行熵编码；对后续 出现的各帧，判定前景区域内各宏块是否有效，对有效宏块按照顺序进行下述处理对当前 宏块，在前一帧图像的搜索范围内寻找与其最匹配的有效前景宏块，对前一帧图像中的所 述最匹配的有效前景宏块与所述当前宏块做差，对得到的差值进行DCT变换，将其DCT系数 量化后进行熵编码。所述前景编码模块对前景区域的二进制掩模进行编码的方法包括记录图像中前 景区域数目及各前景区域的外接矩形范围，还要记录外接矩形范围内的图像区域中各个宏 块是否有效，如有有效则该位置标志为1，否则标志为0，将各个宏块的标志采用熵编码方 式进行编码。最后将所述前景区域内有效宏块的编码结果和对应的二进制掩模上标志的数据 组成码流以用于传输。这样，避免了在每次视频图像的前景发生变化而背景没发生变化时对背景区域的 传输，同时，对于前景区域，也利用帧间信息将冗余信息排除，降低了码率。步骤350，分别传输编码后的背景码流和前景码流。本发明还提供一种视频解码器，其将接搜到的码流解析成背景码流和前景码流， 并分别将其进行解码并还原成原始图像。其具体可参见图4所示。图4为本发明中一种视频解码器在一个实施例中的结构示意图。所述视频解码器 400包括解析模块410、背景解码模块420、前景解码模块430以及视频合成模块440。所述解析模块410对接收到的码流进行解析并将解析后的码流分成背景码流和 前景码流。所述背景解码模块420如果接收到解析后的背景码流则对其进行解码以更新背 景图像，如果没有接收到解析后的背景码流则不做处理。在一个实施例中，当接收到I帧数据时，所述背景解码模块420则采用I帧的解码器对其进行解码，并记录下来。如果接收到的是P帧数据，则恢复其DCT系数对应的残差图 像，并从I帧中获取匹配宏块图像，还原原视频图像。所述前景解码模块430对接收到的解析后的前景码流进行解码。具体的，所述前景解码模块430从解析后的前景码流中得到前景特征，所述前景 特征包括前景区域数目、各前景区域的外接矩形的坐标、宏块编码信息以及宏块有效标志 信息。从宏块编码信息中分别恢复出各个宏块的信息。将上述前景区域数目、前景区域外 接矩形坐标、前景区域宏块编码信息、前景区域宏块有效性标志以及背景图像传送给视频 合成模块440。所述视频合成模块440将解码后的背景图像和前景图像进行合成以得到原始的 图像。在实际应用中，其合成具体为建立当前图像为背景图像；视频合成模块440对存 在的前景区域分别进行处理根据外接矩形坐标定位到前景区域左上角，按照和编码相同 的顺序，对外接矩形中的宏块分别进行下述处理获取当前宏块对应的前景宏块是否有效 标志，如果宏块无效，则跳到处理下一个宏块，否则读取有效宏块的编码信息，解码得到DCT 系数，恢复残差图像，从前帧图像中找到其匹配宏块，恢复当前宏块图像；将当前宏块图像 覆盖到当前图像上的对应位置。一种更佳的方法是采用blending的方法，将有效宏块叠加到背景图像上去。从而 使得获得的图像更加真实自然，不会在前景和背景交界处留下痕迹。在与视频编码器进行匹配时，采用视频解码器恢复图像以作为匹配宏块图像，而 不是采用上帧图像，从而提高编码性能。综上所述，本发明利用对应的合成算法将前景和背景图像进行合成或利用 blending方法将前景叠加到图像上，从而避免了前景和背景交界处留下痕迹。图5为本发明中一种视频解码的方法在一个实施例中的流程图，请参阅图5所示， 所述视频解码包括
步骤510，对接收到的码流进行解析以生成背景码流和前景码流。步骤520，分别对背景码流和前景码流进行解码。在具体应用中，如果接收到解析后的背景码流则对其进行解码以更新背景图像， 如果没有接收到解析后的背景码流则不做处理。在一个实施例中，当接收到I帧数据时，则 采用I帧的解码器对其进行解码，并记录下来。如果接收到的是P帧数据，则恢复其DCT系 数对应的残差图像，并从I帧中获取匹配宏块图像，还原原图像。在另一个实施例中，从解析后的前景码流中得到前景区域数目，并获取各前景区 域的外接矩形的坐标、宏块编码信息以及宏块有效标志信息。从宏块编码信息中分别恢复 出各个宏块的信息。将上述前景区域数目、前景区域外接矩形坐标、前景区域宏块编码信 息、前景区域宏块有效性标志以及背景图像传送给视频合成模块。步骤530，将解码后的背景图像和前景图像进行合成。在实际应用中，其合成具体为建立当前图像为背景图像；对存在的前景区域分 别进行处理根据外接矩形坐标定位到前景区域左上角，按照和编码相同的顺序，对外接矩 形中的宏块分别进行下述处理获取当前宏块对应的前景宏块是否有效标志，如果宏块无 效，则跳到处理下一个宏块，否则读取有效宏块的编码信息，解码得到DCT系数，恢复残差图像，从前帧图像中找到其匹配宏块，恢复当前宏块图像；将当前宏块图像覆盖到当前图像 上的对应位置。一种更佳的方法是采用blending的方法，将有效宏块叠加到背景图像上去。从而 使得获得的图像更加真实自然，不会在前景和背景交界处留下痕迹。综上所述，本发明利用对应的合成算法将前景和背景图像进行合成或利用 blending方法将前景叠加到图像上，从而避免了前景和背景交界处留下痕迹。上述说明已经充分揭露了本发明的具体实施方式
。需要指出的是，熟悉该领域的 技术人员对本发明的具体实施方式
所做的任何改动均不脱离本发明的权利要求书的范围。 相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式
。
权利要求
1.一种视频编码器，其特征在于，其包括视频输入模块，输入视频图像；背景更新模块，在所述视频图像中的背景变化时更新视频图像中的背景；背景建模模块，根据更新的所述视频图像中的背景建立背景模型；背景编码模块，对所述背景模型进行编码以获取背景码流；前景分割模块，根据输入的视频图像以及所述背景模型分割出所述视频图像中的前景 区域；前景编码模块，对得到的前景区域进行编码以获取前景码流；和传输模块，分别传输所述背景码流和前景码流。
2.根据权利要求1所述的视频编码器，其特征在于所述传输模块包括背景图像传输 模块和前景图像传输模块，所述背景述图像传输模块用于传输编码后的背景码流，所述前 景图像传输模块用于传输编码后的前景码流。
3.根据权利要求1所述的视频编码器，其特征在于所述基于最大流分割的方法包括获取系列背景图像中每个背景像素的颜色分量的高斯模型；对视频图像中的像素和背景图像进行像素差值，对所述差值大于阈值的像素则作为前 景像素；获取所述前景像素的颜色分量的混合高斯模型；采用背景的所述高斯模型和前景的所述混合高斯模型计算视频图像中所有像素属于 前景或背景的概率，归一化后得到该像素对应节点在图中分别与前景和背景节点的连接能 量；对所述视频图像分别求其相邻像素间的水平边缘强度和垂直边缘强度；根据每个像素和相邻像素的水平边缘强度和垂直边缘强度得到在视频图像中所述像 素与相邻像素间的连接能量；和根据得到的所有节点间的连接能量，采用最大流分割方法进行最小分割，得到所述视 频图像中的前景和背景像素。
4.根据权利要求1所述的视频编码器，其特征在于所述前景编码模块对前景区域内 的有效宏块以及相同前景区域的二进制掩模进行编码以组成前景码流，其中所述二进制掩 模用于标识视频图像中哪些位置属于前景区域，掩模上每个属于前景的像素被标记为1，否 则标记为0 ；所述前景区域内的有效宏块获取方法为根据前景区域的二进制掩模获取其 最小外接矩形，将所述外接矩形内图像区域分为正方形的宏块，如果宏块中包含前景像素 则判定该宏块为有效宏块，需要编码，否则判定为无效宏块，不进行编码。
5.根据权利要求4所述的视频编码器，其特征在于所述前景编码模块对前景区域内 的有效宏块进行编码包括对第一帧出现的有效前景宏块，按照宏块的顺序依次处理，对所述宏块进行离散余弦 变换，并对离散余弦变换系数进行量化，采用差分编码方式对离散余弦变换系数进行预测， 进而进行熵编码；对后续出现的各帧，判定前景区域内各宏块是否有效，对有效宏块按照顺序进行下述 处理对当前宏块，在前一帧图像的搜索范围内寻找与其最匹配的有效前景宏块，对前一帧图像中的所述最匹配的有效前景宏块与所述当前宏块做差，对得到的差值进行离散余弦变 换，将其离散余弦变换系数量化后进行熵编码。
6.根据权利要求5所述的视频编码器，其特征在于所述前景编码模块对前景区域的 二进制掩模进行编码包括记录图像中前景区域数目及各前景区域的外接矩形范围，还要记录外接矩形范围内的 图像区域中各个宏块是否有效，如有有效则该位置标志为1，否则标志为0，将各个宏块的 标志采用熵编码方式进行编码，并与宏块编码结果组成码流传输。
7.一种视频编码方法，其特征在于，其包括输入视频图像；在所述视频图像的背景变化时更新其背景；对所述更新的背景建立背景模型并对所述背景模型进行编码以得到背景码流；根据所述视频图像以及所述背景模型分割出所述视频图像中的前景区域并对所述前 景区域进行编码以得到前景码流；和分别传输所述背景码流和前景码流。
8.根据权利要求7所述的视频编码方法，其特征在于利用最大流分割方法对所述视 频图像中的前景区域进行分割，其包括获取系列背景图像中每个背景像素的颜色分量的高斯模型；对视频图像中的像素和背景图像进行像素差值，对所述差值大于阈值的像素则作为前 景像素；获取所述前景像素的颜色分量的混合高斯模型；采用背景的所述高斯模型和前景的所述混合高斯模型计算视频图像中所有像素属于 前景或背景的概率，归一化后得到该像素对应节点在图中分别与前景和背景节点的连接能 量；对所述视频图像分别求其相邻像素间的水平边缘强度和垂直边缘强度；根据每个像素和相邻像素的水平边缘强度和垂直边缘强度得到在视频图像中所述像 素与相邻像素间的连接能量；和根据得到的所有节点间的连接能量，采用最大流分割方法进行最小分割，得到所述视 频图像中的前景和背景像素。
9.根据权利要求7所述的视频编码方法，其特征在于将前景区域内的有效宏块以及 相同前景区域的二进制掩模进行编码以得到前景码流，其中所述二进制掩模用于标识视频 图像中哪些位置属于前景区域，掩模上每个属于前景的像素被标记为1，否则标记为0 ；所 述前景区域内的有效宏块获取方法为根据前景区域的二进制掩模获取其最小外接矩形， 将所述外接矩形内图像区域分为正方形的宏块，如果宏块中包含前景像素则判定该宏块为 有效宏块，需要编码，否则判定为无效宏块，不进行编码。
10.根据权利要求9所述的视频编码方法，其特征在于将前景区域内的有效宏块进行 编码包括对第一帧出现的有效前景宏块，按照宏块的顺序依次处理，对所述宏块进行离散余弦 变换，并对离散余弦变换系数进行量化，采用差分编码方式对离散余弦变换系数进行预测， 进而进行熵编码；对后续出现的各帧，判定前景区域内各宏块是否有效，对有效宏块按照顺序进行下述 处理对当前宏块，在前一帧图像的搜索范围内寻找与其最匹配的有效前景宏块，对前一帧 图像中的所述最匹配的有效前景宏块与所述当前宏块做差，对得到的差值进行离散余弦变 换，将其离散余弦变换系数量化后进行熵编码。
11.根据权利要求10所述的视频编码方法，其特征在于对相同前景区域的二进制掩 模进行编码包括记录图像中前景区域数目及各前景区域的外接矩形范围，还要记录外接矩形范围内的 图像区域中各个宏块是否有效，如有有效则该位置标志为1，否则标志为0，将各个宏块的 标志采用熵编码方式进行编码。
12.根据权利要求11所述的视频编码方法，其特征在于将前景区域内有效宏块的编 码结果和对应的前景区域的二进制掩模的编码结果组成码流以进行传输。
13.—种视频解码器，其特征在于，其包括解析器模块，对接收到的码流进行解析，并将解析后的背景码流和前景码流分开；背景解码模块，如果接收到解析后的背景码流则对其进行解码以更新背景图像，否则 不做处理；前景解码模块，从解析后的前景码流中得到前景区域数目，并获取各前景区域的外接 矩形的坐标、宏块编码信息以及宏块有效标志信息；和视频合成模块，获取当前图像的背景图像，根据各个前景区域的外接矩形坐标定位到 前景区域的左上角，按照和编码相同的顺序，判断外接矩形中宏块对应的前景宏块是否为 有效宏块，如果为无效宏块则跳到下一宏块进行处理，否则读取有效宏块的编码信息，解码 后得到离散余弦变换系数，恢复残差图像，从前一帧图像中找到其匹配宏块，恢复当前宏块 图像，就爱你过当前宏块图像覆盖到当前图像上的对应位置；或将有效宏块叠加到背景图 像上。
14.根据权利要求13所述的视频解码器，其特征在于所述前一帧图像为视频解码器 解码后的前一帧图像。
15.一种视频解码方法，其特征在于，其包括对接收到的码流进行解析，并将解析后的背景码流和前景码流分开；如果接收到解析后的背景码流则对其进行解码以更新背景图像，否则不做处理；从解析后的前景码流中得到前景区域数目，并获取各前景区域的外接矩形的坐标、宏 块编码信息以及宏块有效标志信息；和获取当前图像的背景图像，根据各个前景区域的外接矩形坐标定位到前景区域的左上 角，按照和编码相同的顺序，判断外接矩形中宏块对应的前景宏块是否为有效宏块，如果为 无效宏块则跳到下一宏块进行处理，否则读取有效宏块的编码信息，解码后得到离散余弦 变换系数，恢复残差图像，从前一帧图像中找到其匹配宏块，恢复当前宏块图像，并将当前 宏块图像覆盖到当前图像上的对应位置；或将有效宏块叠加到背景图像上。
16.根据权利要求15的视频解码方法，其特征在于所述前一帧图像为视频解码器解 码后的前一帧图像。
全文摘要
本发明提供一种视频编码装置，其包括视频输入模块，输入视频图像；背景更新模块，在所述视频图像中的背景变化时更新视频图像中的背景；背景建模模块，根据更新的所述视频图像中的背景建立背景模型；背景编码模块，对所述背景模型进行编码以获取背景码流；前景分割模块，根据输入的视频图像以及所述背景模型分割出所述视频图像中的前景区域；前景编码模块，对得到的前景区域进行编码以获取前景码流；传输模块，分别传输所述背景码流和前景码流。
文档编号H04N7/26GK102006473SQ201010549778
公开日2011年4月6日 申请日期2010年11月18日 优先权日2010年11月18日
发明者邓亚峰 申请人:无锡中星微电子有限公司