专利名称：基于感兴趣区域的空域分辨率可调整编解码方法
技术领域：
本发明属于视频编码领域，特别针对安防监控的特殊需求，是基于视频编解 码技术之上的针对感兴趣区域的空域分辨率可调整编解码方法。
随着人们对安全需求的日益增加、安全防护的使用成本与其产生的效益拉 开距离，市场提出了行业、企业大范围、远距离监控的需求，如银行跨地区联 网监控、全国城市重点地区联网监控等。由于模拟监控存在着使用范围小、信 号易衰减等弊端，通过网络将图像进行远程传输的集中监控方式应运而生。
科技的飞速发展使得当今各种无线网络日趋普遍，3G、 B3G移动通信在技术 上己经成熟。高清晰、全嵌入式、支持各种无线、有线接入方式的移动无线视 频监控成为新一代的视频监控系统的发展方向。由于网络带宽具有不定性的特 点，移动无线视频监控需要传输低码率且高品质的视频流；而且考虑到安防监 控的特殊件某些应用中需要针对某个区域进行特殊编码。所以在现有视频编 码技术的基础上，结合感兴趣区域编码技术，实现基于区域的空域分辨率可调 整编码方法是当前应用领域迫切需要解决的问题。感兴趣区域的英文为Region Of Interest,可简称为ROI。
空间分辨率可调算法早在MPEG-2、 MPEG-4协议中就有实现，后来在SVC (Scalable Video Coding可伸縮视频编码)中得到了更深一层的发展。SVC同 时利用了单层分辨率视频流的帧间冗余信息和多层分辨率视频流的层间冗余信息，与多码流视频编码技术相比，很大程度上提高了视频压缩比。但是以上的 空域分辨率可调整算法将会编出多层码流，其编码效率比仅编单层码流要低。 对于移动无线视频监控和带宽不定的无线网而言，增强层的码流可能会受到带 宽的限制而被丢弃，其解码图像的质量会急剧下降。
本发明针对高分辨率图像编码需要传输大量比特的问题，结合感兴趣区域 的编码方法，提供基于感兴趣区域的一种低码率的空域分辨率可调整编码方法， 以减小整个码流的码率，保证感兴趣区域视频信息的质量。
本发明解决其技术问题采用的技术方案是载入感兴趣区域信息，并根据 感兴趣区域信息将原始图像划分成感兴趣区域和非感兴趣区域，对感兴趣区域 图像按照原始图像的分辨率进行编码，对非感兴趣区域图像采用低于原始图像 的分辨率进行编码，在对非感性兴趣区域图像进行编码过程中分辨率的调整在 帧内编码和帧间编码之前。
而且，对原始图像按帧编码时以超宏块为单元进行处理，所述超宏块包括4 的整数倍个宏块，编每-帧包括以下步骤，
步骤一，载入该帧的感兴趣区域信息，根据感兴趣区域信息判断该帧中每个 超宏块是否属于感兴趣区域范围，如果是则确定该超宏块属于该帧的感兴趣区 域编码内容，如果不是则确定该超宏块属于该帧的非感兴趣区域编码内容；
歩骤二，对原始图像进行编码，首先判断该帧每个超宏块是否属于步骤一 中确定的感兴趣区域编码内容，若属于感兴趣区域编码内容，则对每个超宏块 中的所有宏块依次进行编码；若属于非感兴趣区域编码内容，则对超宏块的图 像内容进行下采样，得到一个宏块的图像内容，并对此宏块进行编码；
发明内容步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。 而且，在步骤一对每个超宏块进行标记，如果该超宏块属于非感兴趣区域 编码内容，则标记0，如果该超宏块属于感兴趣区域编码内容，则标记l;将每 帧的所有超宏块标志位串联在一起利用游程编码进行压缩，通过压縮记录第一 个超宏块的标记、扫描顺序下标记相同的超宏块连续的个数以及超宏块标记变 化发生的次数，将上述记录的信息写入编码输出码流的图像帧层头信息中。
而且，在歩骤二中，建立两套重建帧缓存、参考帧缓存和相关的全局变量， 一套为高分辨率图像的重建帧缓存、参考帧缓存和相关的全局变量，用来存放 感兴趣区域巾的宏块在帧内和帧间编码时使用到的信息和产生的信息，以及非 感兴趣区域中的宏块在帧内和帧间编码时产生信息的转化信息； 一 套为低分辨 率图像的重建帧缓存、参考帧缓存和相关的全局变量，用来存放非感兴趣区域 中的宏块在帧内和帧间编码时使用到的信息和产生的信息，以及感兴趣区域中 的宏块在帧内和帧间编码时产生信息的转化信息。
而且，在步骤二中，对属于感兴趣区域编码内容的超宏块的编码具体方式
为，
编码步骤为对于超宏块中的所有宏块，按照从左到右，从上到下的编码顺 序进行编码；
对该超宏块编码时，参考帧和需要使用到的编码信息来自高分辨率图像的 参考帧缓存和相关的全局变量，其重建图像存入高分辨率图像的重建帧缓存；
对该超宏块编码完成后，对所得到的超宏块大小的重建图像进行下采样， 并将下采样所得到的宏块大小的图像按照相应的位置填入低分辨率图像的重建 图像缓存，同时将编码过程中得到的相关编码信息进行处理，并传递给相应位置的低分辨率图像的相关的全局变量；
在步骤二屮，对属于非感兴趣区域编码内容的超宏块的编码具体方式为， 对包含有所有宏块的超宏块的图像内容进行下采样，得到寸宏块的图像
内容，并对此宏块进行编码；
对此宏块进行编码时，其参考帧和需要使用到的编码信息来自低分辨率图 像的参考帧缓存和相关的全局变量，其重建图像存入低分辨率图像的重建帧缓 存；
对此宏块编码完成后，对所得到的宏块大小的重建图像进行上采样，并将 上采样所得到的超宏块大小的图像按照相应的位置填入高分辨率图像的重建图
像缓存，同时将编码过程中得到的相关编码信息进行处理，并传递给相应位置 的高分辨率图像的相关的全局变量。
本发明还提供了相应的基于感兴趣区域的空域分辨率可调整解码方法，其 技术方案是从编码码流中获取感兴趣区域信息，并根据感兴趣区域信息将待 解码的宏块码流分成感兴趣区域解码内容和非感兴趣区域解码内容，对感兴趣 区域解码内容按照高分辨图像的规格进行解码，对非感兴趣区域图像按照低分
辨图像的规格进行解码，然后对解码图像进行上采样；对非感性兴趣区域图像
进行解码过程中分辨率的调整在帧内解码和帧间解码之后。
向-且，对待解码的宏块码流按帧解码时，解每一帧包括以下具体操作歩骤，
歩骤1,从该帧的头信息中获取该帧的感兴趣区域信息； 步骤2，载入该帧的感兴趣区域信息，对该帧解码后得到的解码图像中感 兴趣区域和非感兴趣区域的大小和位置进行预判，首先对该帧的解码图像以超 宏块为基本单位预先划分，根据感兴趣区域信息判断该帧的解码图像中每个超宏块是否属于感兴趣区域范围，如果是则确定该超宏块属于该帧的感兴趣区域 解码内容，如果不是则确定该超宏块属于该帧的非感兴趣区域解码内容；然后 根据宏块的解码顺序，判断该宏块所在超宏块是否为感兴趣区域解码内容，如 果是则确定该宏块属于该帧的感兴趣区域解码内容，如果不是则确定该宏块属 十该帧的非感兴趣区域解码内容；
步骤3，对输入图像进行解码，首先判断该帧当前解码宏块是否属于步骤2 中确定的感兴趣区域解码内容，若属于感兴趣区域解码内容，则对相应超宏块 中的每个宏块进行解码，并填入输出重建缓存；若属于非感兴趣区域解码内容， 则对该宏块进行解码，对得到的解码图像内容进行上采样，得到一个超宏块的 图像内容，并填入输出重建缓存。
而且，歩骤1中获取感兴趣区域信息的实现方式为，对每帧的头信息进行 解码，得到第一个超宏块的标记、扫描顺序下标记相同的超宏块连续的个数以 及超宏块标记变化发生的次数，通过这些信息得知每个超宏块是否为感兴趣区 域解码内容的相应标记。
而且，在步骤3中，建立两套重建帧缓存、参考帧缓存和相关的全局变量， J套为高分辨率图像的重建帧缓存、参考帧缓存和相关的全局变量，用来存放 感兴趣区域中的宏块在帧内和帧间解码时使用到的信息和产生的信息，以及非 感兴趣区域中的宏块在帧内和帧间解码时产生信息的转化信息； 一套为低分辨 率图像的重建帧缓存、参考帧缓存和相关的全局变量，用来存放非感兴趣区域 中的宏块在帧内和帧间解码时使用到的信息和产生的信息，以及感兴趣区域中 的宏块在帧内和帧间解码时产生信息的转化信息。
而且，在步骤3中，对属于感兴趣区域解码内容的超宏块的解码具体方式为，
对属于感兴趣区域图像解码内容的超宏块所含的所有宏块按照码流顺序依 次进行解码，其参考帧和需要使用到的解码信息来自高分辨率图像的参考帧缓 存和相关的全局变量，其重建图像存入高分辨率图像的重建帧缓存；
当该超宏块中所有宏块解码完成后，对所得到的超宏块大小的重建图像进 行下采样，并将下采样所得到的宏块大小的图像按照相应的位置填入低分辨率 图像的重建图像缓存，同时将解码过程中得到的相关解码信息进行处理，并传 递给相应位置的低分辨率图像的相关的全局变量；
在歩骤3中，对属于非感兴趣区域解码内容的超宏块的解码具体方式为，
对于属于非感兴趣区域图像解码内容的超宏块所含宏块进行解码，非感兴 趣区域图像解码内容的超宏块包含且仅包含一个宏块的解码内容，该解码宏块 的参考帧和需要使用到的解码信息来自低分辨率图像的参考帧缓存和相关的全 局变量，其重建图像存入低分辨率图像的重建帧缓存；
当该宏块解码完成后，对所得到的宏块大小的重建图像进行上采样，并将 -匕采样所得到超宏块大小的图像按照相应的位置填入高分辨率图像的重建图像 缓存，同时将解码过程中得到的相关解码信息进行处理，并传递给相应位置的 高分辨率图像的相关的全局变量。
本发明实现了基于感兴趣区域的空域分辨率可调整编解码的功能，保证感 兴趣区域视频信息的质量不变的同时，大大减小了编码后传输的比特数。与现 有技术相比，在码率相同的情况下，感兴趣区域亮度分量的PSNR值提高1. 5-3db左右。
图1是本发明实施例的编码结构框图。 图2是本发明实施例的解码结构框图。 图3是本发明实施例的感兴趣区域的客观性能曲线图。
具体实施例方式
在视频编解码技术领域中，图像信息总是由很多帧数据组成，因此处理时 总是按帧进行顺序处理。在现有编码框架下，每帧图像被分成很多小块。通过
从左到右，从h到下的顺序对每个小块进行编码，最终完成对整帧图像的压縮 编码。例如， 一个352X288的cif序列，它每一帧分成396个宏块。现有视频 技术中，宏块一般设定为是由16X16个像素组成的正方形图像块。本发明提出 将图像分成超宏块作为编码单元，每个超宏块包括4的整数倍个宏块，通过依 次对超宏块进行编码，最终完成对整帧图像的压縮编码。例如设定超宏块为32 X32个像素所组成，包含4个宏块。本发明以超宏块为基本单位，并根据感兴趣 K.域信息将原始输入图像划分和感兴趣区域和非感兴趣区域，对感兴趣区域图 像按照原始图像的分辨率进行编码，对非感兴趣区域图像采用更低的分辨率进 行编码。所谓更低的分辨率，可以一个32X32的超宏块为例，最终的编码图像 是一个16X16的宏块，这需要将一个32X32的图像采样成16X16的图像。具体 实施时，编码框架可参见图l:其中，A为待编码的视频帧，将A分成感兴趣区 域(斜线部分)和非感兴趣区域。编码顺序按照32X32的超宏块单元从左到右， 从上到下的顺序编码，到了非感兴趣区域部分后，下采样成小区域(宏块大小) 编码。B为低分辨率参考帧，C为高分辨率参考帧，D为低分辨率重建帧，E为 高分辨率重建帧。编码框架的基本过程与现有技术大部分相似，如运动估计、 运动补偿、帧内预测选择、帧内预测、变化、量化，以及后续重排序、熵编码等。值得注意的是，本发明在对非感性兴趣区域图像进行编码过程中分辨率的 调整在帧内编码和帧间编码之前，比之分辨率调整在帧内编码和帧间编码之后， 由于运动估计的次数减少，计算复杂度明显降低。在低码率条件下，编码效率
^后者'相当o
本发明提供了按帧编码的具体步骤以便实施，编每一帧包括以下歩骤 歩骤一，载入该帧的感兴趣区域信息，根据感兴趣区域信息判断该帧中每个 超宏块是否属于感兴趣区域范围，如果是则确定该超宏块属于该帧的感兴趣区 域编码内容，如果不是则确定该超宏块属于该帧的非感兴趣区域编码内容；感 兴趣区域信息可以超宏块为基础在编码端预先给定的，它指明每个超宏块是否 属于感兴趣区域。
在歩骤一中对每个超宏块进行标记，能够方便解码。如果超宏块属于非感 兴趣区域编码内容，则标记0，如果超宏块属于感兴趣区域编码内容，则标记l; 将每帧的所有超宏块标志位串联在一起利用游程编码进行压縮，通过压縮记录 第一个超宏块的标记、扫描顺序下标记相同的超宏块连续的个数以及超宏块标 记变化发生的次数，将上述记录的信息写入编码输出码流的图像帧层头信息中。 游程编码是熵编码的一种方式，具有优秀的压縮效果。
步骤二，对原始图像进行编码，首先判断该帧每个超宏块是否属于步骤一 中确定的感兴趣区域编码内容，若属于感兴趣区域编码内容，则对每个超宏块 中的所有宏块依次进行编码，比如当超宏块含有四个宏块时，就对这四个宏块 从左到右从上到H衣次编码；若属于非感兴趣区域编码内容，则对超宏块的图 像内容进行下釆样，得到一个宏块的图像内容，并对此宏块进行编码；
在步骤二中，因为图像涉及感兴趣区域编码和非感兴趣区域编码，感兴趣区域是以超宏块为基本编码单位的，需要编码多个宏块，它是按照原始分辨率 编码的；而非感兴趣区域实际上是将超宏块采样成宏块再进行编码的，只需要 编一个宏块，它是按照低分辨率编码的。而重建帧缓存、参考帧缓存和待编码 图像的分辨相关，如果按原始分辨率编码，那么编码图像的重建图像必须放入 原始分辨率的重建图像缓存，比如352X288大小的序列，那么它的重建图像也 是3b2X288大小。参考帧缓存一般是重建帧缓存的16倍，352X288大小的序列 在帧间预测时需要参考1408X1152大小的参考图像。 一些全局变量也与待编码 图像的大小有关。在AVS sm0. 1中有如下变量refFrArr 、 tmp—mv 、 img- 〉ipredmode，这些变量分别以block (8X8)为基本单位指明了参考帧序号、 运动矢量、帧内编码模式。宏块在帧内和帧间时需要用到相邻块的这些编码信 息，同时编码完成后，产生本宏块的参考帧序号、运动矢量、帧内编码模式。
为了解决以上问题，本发明提出建立两套重建帧缓存、参考帧缓存和相关 的全局变量，以不致产生混乱。 套为高分辨率图像的重建帧缓存、参考帧缓 存和相关的全局变量，用来存放感兴趣区域中的宏块在帧内和帧间编码时使用 到的信息和产生的信息，以及非感兴趣区域中的宏块在帧内和帧间编码时产生 信息的转化信息。 一套为低分辨率图像的重建帧缓存、参考帧缓存和相关的全 局变量，用来存放非感兴趣区域中的宏块在帧内和帧间编码时使用到的信息和 产生的信息，以及感兴趣区域中的宏块在帧内和帧间编码时产生信息的转化信 息。对于转化信息，是将非感兴趣区域中的宏块编码后得到的参考帧序号、运 动矢量、帧内编码模式赋值给相同位置的超宏块。需要注意的是运动矢量需要 进行缩放，由低分辨率的图像的运动矢量赋值给高分辨率的图像的运动矢量需 要将运动适量乘2，由高分辨率的图像的运动矢量赋值给低分辨率的图像的运动矢量需要将运动适量除2。
在步骤二中，对属于感兴趣区域编码内容的超宏块的编码具体方式为 编码歩骤为对于超宏块中的所有宏块，按照从左到右，从上到下的编码顺
序进行编码；
对该超宏块编码时，参考帧和需要使用到的编码信息来自高分辨率图像的 参考帧缓存和相关的全局变量，其重建图像存入高分辨率图像的重建帧缓存；
对该超宏块编码完成后，对所得到的超宏块大小的重建图像进行下采样， 并将下采样所得到的宏块大小的图像按照相应的位置填入低分辨率图像的重建 图像缓存，同时将编码过程中得到的相关编码信息进行处理，并传递给相应位 置的低分辨率图像的相关的全局变量。这里按照相应的位置可以举例说明实 施例中超宏块包含四个宏块，设超宏块中第一个宏块在图像中的位置为(mb—x， mb..y)，则下采样后的重建图像在低分辨率图像的重建图像的位置为(mb一x/2， mb .y/2)。
在步骤二中，对属于非感兴趣区域编码内容的超宏块的编码具体方式为， 对包含有所有宏块的超宏块的图像内容进行下采样，得到'个宏块的图像
内容，并对此宏块进行编码；
对此宏块进行编码时，其参考帧和需要使用到的编码信息来自低分辨率图
像的参考帧缓存和相关的全局变量，其重建图像存入低分辨率图像的重建帧缓
存；
对此宏块编码完成后，对所得到的宏块大小的重建图像进行上采样，并将 上采样所得到的超宏块大小的图像按照相应的位置填入高分辨率图像的重建图 像缓存。，同时将编码过程中得到的相关编码信息进行处理，并传递给相应位置的高分辨率图像的相关的全局变量。这里相应的位置指的是非感兴趣区域中的 宏块下采样前的超宏块位置。
步骤三，该帧的感兴趣区域信息'与入编码输出码流，供解码使用。 本发明还提供了相应的基于感兴趣区域的空域分辨率可调整解码方法。由 于每一帧解码码流均按宏块进行划分，在解码过程中首先需要判断当前码流解 码后所得到的宏块图像属于感兴趣区域还是非感性区域，根据待解码内容是否 属于感兴趣区域解码内容，确定待解码内容的解码方式。所述解码技术方案为 从编码码流中获取感兴趣区域信息，并根据感兴趣区域信息将待解码的宏块码 流分成感兴趣区域解码内容和非感兴趣区域解码内容，对感兴趣区域解码内容 按照高分辨图像的规格进行解码，对非感兴趣区域图像按照低分辨图像的规格 进行解码，然后对解码图像进行上采样；对非感性兴趣区域图像进行解码过程 中分辨率的调整在帧内解码和帧间解码之后。
解码框架可参看图2， B为低分辨率参考帧，C为高分辨率参考帧，D为低 分辨率重建帧，E为高分辨率重建帧。解码框架与编码相逆，由熵解码到重排序、 反量化、反变化，然后进行帧内解码或者帧间编码。与编码方法相应的是，对 非感性兴趣区域图像进行解码过程中分辨率的调整在帧内解码和帧间解码之后。
对待解码的宏块码流按帧解码时，解每一帧包括以下具体操作步骤， 歩骤1，从该帧的头信息中获取该帧的感兴趣区域信息；
具体实施时步骤l中获取感兴趣区域信息的实现方式与编码过程相反对 每帧的头信息进行解码，得到第一个超宏块的标记、扫描顺序下标记相同的超 宏块连续的个数以及超宏块标记变化发生的次数，通过这些信息得知每个超宏块是否为感兴趣区域解码内容的相应标记。步骤2，载入该帧的感兴趣区域信息，对该帧解码后得到的解码图像中感兴 趣区域和非感兴趣区域的大小和位置进行预判，首先对该帧的解码图像以超宏 块为基本单位预先划分，根据感兴趣区域信息判断该帧的解码图像中每个超宏 块是否属于感兴趣区域范围，如果是则确定该超宏块属于该帧的感兴趣区域解 码内容，如果不是则确定该超宏块属于该帧的非感兴趣区域解码内容；然后根 据宏块的解码顺序，判断该宏块所在超宏块是否为感兴趣区域解码内容，如果 是则确定该宏块属于该帧的感兴趣区域解码内容，如果不是则确定该宏块属于 该帧的非感兴趣区域解码内容；因为从头信息获取的感兴趣区域信息解析为对每个超宏块的标记，因此根 据标记判断每个超宏块是否属于感兴趣区域解码内容，如果标记0，则该超宏块 属于非感兴趣区域解码内容，如果标记l，该超宏块属于感兴趣区域解码内容。 歩骤3，对输入图像进行解码，首先判断该帧当前解码宏块是否属于步骤2屮确定的感兴趣区域解码内容，若属于感兴趣区域解码内容，则对相应超宏块 中的每个宏块进行解码，并填入输出重建缓存；若属于非感兴趣区域解码内容， 则对该宏块进行解码，对得到的解码图像内容进行上采样，得到一个超宏块的 图像内容，并填入输出重建缓存。在歩骤3中，与编码方法类似，建立两套重建帧缓存、参考帧缓存和相关 的全局变量， 一套为高分辨率图像的重建帧缓存、参考帧缓存和相关的全局变 量，用来存放感兴趣区域中的宏块在帧内和帧间解码时使用到的信息和产生的 信息，以及非感兴趣区域中的宏块在帧内和帧间解码时产生信息的转化信息； --套为低分辨率图像的重建帧缓存、参考帧缓存和相关的全局变量，用来存放非感兴趣区域中的宏块在帧内和帧间解码时使用到的信息和产生的信息，以及 感兴趣区域中的宏块在帧内和帧间解码时产生信息的转化信息。与编码方法对应，在步骤3中，对属于感兴趣区域解码内容的超宏块的解 码具体方式为，对属于感兴趣区域图像解码内容的超宏块所含的所有宏块按照码流顺序依 次进行解码，其参考帧和需要使用到的解码信息来自高分辨率图像的参考帧缓 存和相关的全局变量，其重建图像存入高分辨率图像的重建帧缓存；当该超宏块中所有宏块解码完成后，对所得到的超宏块大小的重建图像进 行下采样，并将下采样所得到的宏块大小的图像按照相应的位置填入低分辨率 图像的重建图像缓存，同时将解码过程中得到的相关解码信息进行处理，并传 递给相应位置的低分辨率图像的相关的全局变量；在步骤3中，对属于非感兴趣区域解码内容的超宏块的解码具体方式为，对于属于非感兴趣区域图像解码内容的超宏块所含宏块进行解码，非感兴 趣区域图像解码内容的超宏块包含且仅包含一个宏块的解码内容，该解码宏块 的参考帧和需要使用到的解码信息来自低分辨率图像的参考帧缓存和相关的全 局变暈，其重建图像存入低分辨率图像的重建帧缓存；当该宏块解码完成后，对所得到的宏块大小的重建图像进行上采样，并将 上采样所得到超宏块大小的图像按照相应的位置填入高分辨率图像的重建图像 缓存，同时将解码过程中得到的相关解码信息进行处理，并传递给相应位置的 卨分辨率图像的相关的全局变量。为了方便说明本发明的优点，现举出本发明的实验测试为例本发明的实 验测试是基于AVS—.smO. 1 software之上的。实验用的某序列相关性能指标为码率二30hz (帧/秒)；图片组大小=1 (帧)、1帧间隔帧数=30 (帧)。图片为352 X288人小。如图3所示比较原始方法的性能曲线(anchor)和本方法的性 能曲线(proposal)代表本方法的实验结果曲线。在空域增强层码率(单位为 kbps)相同的情况下，本算法的感兴趣区域PSNR-Y(亮度信号的峰值信号与噪声 比(单位为db)，值比原始方法提高了 1.5-3db左右。即在感兴趣区域PSNR-Y 相同的情况下，大大减小了编码码率。
权利要求
1. 基于感兴趣区域的空域分辨率可调整编码方法，其特征是载入感兴趣区域信息，并根据感兴趣区域信息将原始图像划分成感兴趣区域和非感兴趣区域，对感兴趣区域图像按照原始图像的分辨率进行编码，对非感兴趣区域图像采用低于原始图像的分辨率进行编码，在对非感性兴趣区域图像进行编码过程中分辨率的调整在帧内编码和帧间编码之前。
2. 根据权利要求1所述的空域分辨率可调整编码方法，其特征是对原始 图像按帧编码时以超宏块为单元进行处理，所述超宏块包括4的整数倍个宏块， 编每顺包括以下歩骤，歩骤-一，载入该帧的感兴趣区域信息，根据感兴趣区域信息判断该帧中每个 超宏块是否属亍感兴趣区域范围，如果是则确定该超宏块属于该帧的感兴趣区 域编码内容，如果不是则确定该超宏块属于该帧的非感兴趣区域编码内容；步骤二，对原始图像进行编码，首先判断该帧每个超宏块是否属于歩骤一 中确定的感兴趣区域编码内容，若属于感兴趣区域编码内容，则对每个超宏块 中的所有宏块依次进行编码；若属于非感兴趣区域编码内容，则对超宏块的图 像内容进行下采样，得到一个宏块的图像内容，并对此宏块进行编码；步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。
3. 根据权利要求2所述的空域分辨率P」'调整编码方法，其特征是在歩骤 一对每个超宏块进行标记，如果超宏块属于非感兴趣区域编码内容，则标记0， 如果超宏块属丁感兴趣区域编码内容，则标记l;将每帧的所有超宏块标志位串 联在一起利用游程编码进行压縮，通过压縮记录第一个超宏块的标记、扫描顺序下标记相同的超宏块连续的个数以及超宏块标记变化发生的次数，将上述记 录的信息写入编码输出码流的图像帧层头信息中。
4. 根据权利耍求2所述的空域分辨率可调整编码方法，其特征是在步骤 二中，建立两套重建帧缓存、参考帧缓存和相关的全局变量， 一套为高分辨率 图像的重建帧缓存、参考帧缓存和相关的全局变量，用来存放感兴趣区域中的 宏块在帧内和帧间编码时使用到的信息和产生的信息，以及非感兴趣区域中的 宏块在帧内和帧间编码时产生信息的转化信息； 一套为低分辨率图像的重建帧 缓存、参考帧缓存和相关的全局变量，用来存放非感兴趣区域中的宏块在帧内 和帧间编码时使用到的信息和产生的信息，以及感兴趣区域中的宏块在帧内和 帧间编码时产生信息的转化信息。
5. 根据权利耍求2或3或4所述的空域分辨率可调整编码方法，其特征是在步骤.-:中，对属于感兴趣区域编码内容的超宏块的编码具体方式为，编码歩骤为对于超宏块中的所有宏块，按照从左到右，从上到下的编码顺序进行编码；对该超宏块编码时，参考帧和需要使用到的编码信息来自高分辨率图像的 参考帧缓存和相关的全局变量，其重建图像存入高分辨率图像的重建帧缓存；对该超宏块编码完成后，对所得到的超宏块大小的重建图像进行下采样， 并将下采样所得到的宏块大小的图像按照相应的位置填入低分辨率图像的重建 图像缓存，同时将编码过程中得到的相关编码信息进行处理，并传递给相应位 置的低分辨率图像的相关的全局变量；在歩骤二中，对属于非感兴趣区域编码内容的超宏块的编码具体方式为，对包含有所有宏块的超宏块的图像内容进行下采样，得到一个宏块的图像内容，并对此宏块进行编码；对此宏块进行编码时，其参考帧和需要使用到的编码信息来自低分辨率图 像的参考帧缓存和相关的全局变量，其重建图像存入低分辨率图像的重建帧缓 存；对此宏块编码完成后，对所得到的宏块大小的重建图像进行h采样，并将 上采样所得到的超宏块大小的图像按照相应的位置填入高分辨率图像的重建图 像缓存，同时将编码过程中得到的相关编码信息进行处理，并传递给相应位置 的高分辨率图像的相关的全局变量。
6. 基于感兴趣区域的空域分辨率可调整解码方法，其特征是从编码码流 中获取感兴趣区域信息，并根据感兴趣区域信息将待解码的宏块码流分成感兴 趣区域解码内容和非感兴趣区域解码内容，对感兴趣区域解码内容按照高分辨 图像的规格进行解码，对非感兴趣区域图像按照低分辨图像的规格进行解码， 然后对解码图像进行上采样；对非感性兴趣区域图像进行解码过程中分辨率的 调整在帧内解码和帧间解码之后。
7. 根据权利要求6所述空域分辨率口j调整解码方法，其特征是对待解码 的宏块码流按帧解码时，解每一帧包括以下具体操作步骤，步骤1，从该帧的头信息中获取该帧的感兴趣区域信息；步骤2，载入该帧的感兴趣区域信息，对该帧解码后得到的解码图像中感 兴趣区域和非感兴趣区域的大小和位置进行预判，首先对该帧的解码图像以超 宏块为基本单位预先划分，根据感兴趣区域信息判断该帧的解码图像中每个超 宏块是否属于感兴趣区域范围，如果是则确定该超宏块属于该帧的感兴趣区域 解码内容，如果不是则确定该超宏块属于该帧的非感兴趣区域解码内容；然后根据宏块的解码顺序，判断该宏块所在超宏块是否为感兴趣区域解码内容，如 果是则确定该宏块属于该帧的感兴趣区域解码内容，如果不是则确定该宏块属 十该帧的非感兴趣区域解码内容；步骤3，对输入图像进行解码，首先判断该帧当前解码宏块是否属于步骤2 中确定的感兴趣区域解码内容，若属于感兴趣区域解码内容，则对相应超宏块 中的每个宏块进行解码，并填入输出重建缓存；若属于非感兴趣区域解码内容， 则对该宏块进行解码，对得到的解码图像内容进行上釆样，得到一个超宏块的 图像内容，并填入输出重建缓存。
8. 根据权利要求7所述的空域分辨率可调整解码方法，其特征是步骤1 巾获取感兴趣区域信息的实现方式为，对每帧的头信息进行解码，得到第一个 超宏块的标记、扫描顺序下标记相同的超宏块连续的个数以及超宏块标记变化 发生的次数，通过这些信息得知每个超宏块是否为感兴趣区域解码内容的相应 标记。
9. 根据权利要求7所述的空域分辨率可调整解码方法，其特征是在步骤3中，建立两套重建帧缓存、参考帧缓存和相关的全局变量， 一套为高分辨率图 像的重建帧缓存、参考帧缓存和相关的全周变量，用来存放感兴趣区域中的宏 块在帧内和帧间解码时使用到的信息和产生的信息，以及非感兴趣区域中的宏 块在帧内和帧间解码时产牛信息的转化信息； 一套为低分辨率图像的重建帧缓 存、参考帧缓存和相关的全局变量，用来存放非感兴趣区域中的宏块在帧内和 帧间解码时使用到的信息和产生的信息，以及感兴趣区域中的宏块在帧内和帧 间解码时产生信息的转化信息。
10. 根据权利要求7或8或9所述的空域分辨率可调整解码方法，其特征是在步骤3中，对属于感兴趣区域解码内容的超宏块的解码具体方式为，对属于感兴趣区域图像解码内容的超宏块所含的所有宏块按照码流顺序依 次进行解码，其参考帧和需要使用到的解码信息来自高分辨率图像的参考帧缓 存和相关的全局变量，其重建图像存入高分辨率图像的重建帧缓存；当该超宏块中所有宏块解码完成后，对所得到的超宏块大小的重建图像进 行下采样，并将下采样所得到的宏块大小的图像按照相应的位置填入低分辨率 图像的重建图像缓存，同时将解码过程中得到的相关解码信息进行处理，并传 递给相应位置的低分辨率图像的相关的全局变量；在步骤3中，对属于非感兴趣区域解码内容的超宏块的解码具体方式为， 对于属于非感兴趣区域图像解码内容的超宏块所含宏块进行解码，非感兴 趣区域图像解码内容的超宏块包含且仅包含一个宏块的解码内容，该解码宏块 的参考帧和需要使用到的解码信息来自低分辨率图像的参考帧缓存和相关的全 局变量，其重建图像存入低分辨率图像的重建帧缓存；当该宏块解码完成后，对所得到的宏块大小的重建图像进行上采样，并将 上采样所得到超宏块大小的图像按照相应的位置填入高分辨率图像的重建图像 缓存，同时将解码过程中得到的相关解码信息进行处理，并传递给相应位置的 高分辨率图像的相关的全局变量。
全文摘要
本发明设计基于感兴趣区域的空域分辨率可调整编码方法及相应解码方法，编码方法为载入感兴趣区域信息，并根据感兴趣区域信息将原始图像划分成感兴趣区域和非感兴趣区域，对感兴趣区域图像按照原始图像的分辨率进行编码，对非感兴趣区域图像采用低于原始图像的分辨率进行编码；解码方法为从编码码流中获取感兴趣区域信息，并根据感兴趣区域信息将待解码的宏块码流分成感兴趣区域解码内容和非感兴趣区域解码内容，对感兴趣区域解码内容按照高分辨图像的规格进行解码。本发明实现了基于感兴趣区域的空域分辨率可调整编码方法，保证感兴趣区域视频信息的质量不变的同时，大大减小了图像编码后传输的比特数，尤其适合于安防监控的传输需求。
文档编号H04N7/26GK101282479SQ20081004759
公开日2008年10月8日 申请日期2008年5月6日 优先权日2008年5月6日
发明者洋 夏, 屠增辉, 胡瑞敏, 路依莎 申请人:武汉大学