专利名称：影像解码系统及其运动补偿的自适性快取方法
技术领域：
本发明涉及一种影像解码系统，尤指一种影像解码系统运动补偿的自适性 快取方法。
背景技术：
目前，数字视频产品快速成长，其应用包括了影像通讯、保安监控以及娱 乐应用等范畴。视频压縮技术为新兴视频产品技术的关键，视频压縮主要以维
持视频画质为前提，尽量以最少位完成视频编码，其中，MPEG-2、 MPEG-4、 H.264/AVC以及AVS等标准最为常见。随着手机运算效能的提高，电池电力管 理技术的进化，以及高速无线连结的出现，越来越多的终端产品兼具行动性与 视频应用功能。对于视频产品而言，如何利用硬件有限的运算资源，设计出实 用的编解码系统为一重要课题。
视频比特流(Bitstream)典型地由一连串视频图框(Frame)所形成，每 一图框又被划分为数个宏块(Macroblock)，每一宏块通常包括了四个8X8 亮度区块与两个8x8色度区块。视频编码以运动补偿预测、变换与量化以及熵 编码(Entropy coding)为基础，进行影像数据的压縮编码运算。影像编码系 统的运动预测(Motion estimation)利用前一编码的图框作为基础，从而运 算出宏块的运动向量(Motion vector)，以对影像数据压縮编码。
相反地，影像解码系统的画面间(Inter-frame)解码技术的运动补偿 (Motion compensation)则是解出目前宏块的运动向量，并在参考图框内找 出最为相似的参考区域，进而解出每一宏块。为了执行上述动作，解码器必须 多次对储存参考图框影像数据的动态随机存储器进行存取，因此，运动补偿为 最占系统频宽资源的部分。而多次对动态随机内存存取数据除了造成频宽资源 的占用问题之外，存取动作亦造成功率消耗与系统效能降低。针对目前手机等 可携式装置整合视频功能的应用，倘若未对存取动作所造成的功率损耗加以改 善，将不利于应用装置的电力管理。鉴于对随机存取内存进行单次大量数据的存取，相较于多次少量数据的 存取更具效率，从而提出本发明，以期降低运动补偿对于系统频宽的占用量， 并降低功率消耗与提高系统效能。
发明内容
本发明所要解决的技术问题在于，提供一种影像解码系统及其运动补偿的 自适性快取方法，其藉由依据宏块的运动向量，决定一快取模式，将快取模式
所对应的影像数据由动态随机存储器存取至高速缓存(Cache memory)储存， 可降低运动补偿(Motion compensation)对于系统频宽的需求。
为了实现上述的目的，本发明提供揭示一种运动补偿的自适性快取方法， 其适用于一影像解码系统，该影像解码系统对一视频比特流(Bitstream)进 行解码。该方法的步骤是，首先，解出一宏块(Macroblock)以及该宏块与该 宏块的下一宏块的运动向量(Motion vector)。其次，依据该宏块与该宏块 的下一宏块的运动向量，决定一快取模式，其中该快取模式对应于一参考图框 (Reference frame)上的一快取范围，该参考图框的影像数据被预先解出， 并储存于一动态随机存储器中。随后，存取该动态随机存储器，以将该参考图 框上该快取范围的影像数据储存至一高速缓存(Cache memory)。接着，存取 该高速缓存，以解出该宏块的下一宏块所需参考区域是否位于该快取范围内。 最后，依据上一步骤中，该宏块的下一宏块是否位于该快取范围内的结果，决 定是否维持该快取模式。
为了实现上述的目的，本发明更揭示一种影像解码系统，其适用于对一视 频比特流进行解码。该影像解码系统包括一解码器、 一动态随机存储器、 一快 取模式决定模块以及一高速缓存。该解码器对该视频比特流解码，以预先产生 一参考图框，该解码器解出一目前图框的一宏块以及该宏块与该宏块的下一宏 块的运动向量。该动态随机存储器配合储存该参考图框的影像数据。该快取模 式决定模块依据该宏块与该宏块的下一宏块的运动向量，决定一快取模式，该 快取模式对应于该参考图框上的一快取范围，该快取模式决定模块并存取该动 态随机存取记忆中该参考图框上该快取范围的影像数据。该高速缓存配合储存 该快取模式决定模块所存取的该参考图框上该快取范围的影像数据。该解码器 存取该高速缓存，以利用该快取范围的影像数据，解出该宏块的下一宏块。本发明具有以下有益的效果本发明所揭示影像解码系统及其运动补偿的 自适性快取方法依据代表宏块间相依性的运动向量，以决定一快取模式，进而 将该快取模式所对应的快取范围的影像数据预先自动态随机存储器中存取至 高速缓存储存。是以，本发明可减少运动补偿运算中，对动态随机存储器存取 数据的次数，从而降低系统频宽的需求，以提高系统工作效能，与降低数据存 取对于功率消耗，以利于影像解码系统所应用装置的电力管理。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的 详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
图1为一影像解码系统的系统架构示意图2为本发明所揭示运动补偿的自适性快取方法的步骤流程图3为本发明所揭示相依运动层级的一维方向运动层级的快取范围示意
图4为本发明所揭示相依运动层级的二维方向运动层级的快取范围示意
图5为本发明所揭示相依运动层级的复杂运动层级的快取范围示意图； 图6为本发明所揭示非相依运动层级的快取范围示意图； 图7为本发明所揭示快取资料置换的示意图；以及
图8为本发明所揭示影像解码系统的一具体实施例的系统架构示意图。
其中，附图标记
10、 20:影像解码系统
11:处理器
15、 25:动态随机存储器
17、 27:高速缓存
21:解码器
23:快取模式决定模块
231:运动层级决定单元
233:快取数据量决定单元 235:快取数据置换单元237:快取策略调整单元
30、 40、 50、 60、 70:参考图框
300、 400、 500、 600、 700:参考位置
310、 410、 510、 610、 710:快取范围 7100:非参考范围
A:位置
具体实施例方式
本发明针对影像画面间(Inter-frame)解码的运动补偿(Motion compensation)运算过程中，单次对动态随机存储器存取大量的影像数据，相 较于分批次对动态随机存储器存取影像数据，更为节省频宽，从而利用代表宏 块间相依性的运动向量(Motion vector),动态决定一快取模式，以便单次从 动态随机存储器预先大量存取影像数据，并将影像数据储存于高速缓存(Cache memory)中，以提供视频比特流(Bitstream)的解碼运算。
首先，请参阅图l，该图为一影像解码系统的系统架构示意图。如图l所 示，影像解码系统10包括了一处理器11、 一动态随机存储器15以及一高速 缓存17，此为一般视频终端产品典型的影像解码硬件架构。处理器U作为对 视频比特流进行解码运算的主要机制，其中相关的解码运算包括了将视频比特 流中各个图框(Frame)的各个宏块(Macroblock)解出，以重建画面群组的 每一图框数据，进而使影像重现。影像解码系统10可更包括并未显示于图1 的数字信号处理模块，以配合处理器11进行解码运算。动态随机存储器15 配合储存处理器11所解出的图框影像数据。针对运动补偿运算，与目前图框 宏块运算相关的参考图框的宏块影像数据被预先存取至高速缓存17储存，处 理器11存取高速缓存17所储存的影像数据进行解码，以减少数据存取的延迟 时间。
在一具体实施例中，所述的处理器11为一精简指令集(RISC, Reduced instruction set computing)处理器，以利影像解码过程的各个指令的执行。
接着，请参阅图2，该图为本发明所揭示运动补偿的自适性快取方法的步 骤流程图，此运动补偿方法适用于影像解码系统10。如图2所示，此方法包 括下列步骤首先，处理器11解出一目前图框上的一宏块以及该宏块与该宏块的下一 宏块的运动向量(步骤S200);
其次，依据该宏块与该宏块的下一宏块的运动向量，决定一快取模式，其 中该快取模式对应于一参考图框上一快取范围，该参考图框被处理器11预先 解出，并被储存于动态随机存储器15中(步骤S202);
接着，处理器11存取动态随机存储器15，以将该参考图框上该快取范围 的影像数据储存至高速缓存17 (步骤S204);
随后，处理器11存取高速缓存17，以解出该宏块的下一宏块，进而解出 该宏块的下一宏块所需的参考区域是否位于该快取范围内(步骤S206);
再来，依据歩骤S206的结果，决定是否维持该快取模式(步骤S208);
倘若依据步骤S208的决定为维持该快取模式，则重复步骤S206，以继续 利用该高速缓存17所储存的影像数据解出该下一宏块的再下一宏块；
倘若依据步骤S208的决定为不维持该快取模式，则重复歩骤S202，以利 用下一宏块与再下一宏块的运动向量决定另一快取模式。
在步骤S206中，若处理器ll在该快取范围的影像数据内，未找出与该宏 块的下一宏块所需的参考区域吻合的影像数据，则处理器11即存取动态随机 存储器15，以解出该宏块的下一宏块。
本发明所提出的快取模式包括了一运动层级、 一快取数据量以及一快取数 据置换(Swap)模式。
首先，先就快取模式的运动层级的决定作说明。所述的运动层级由相邻宏 块间的相依性所决定，亦即利用目前图框的该宏块与下一宏块的运动向量所表 示的运动方向来决定运动层级。运动层级包括了一相依运动层级以及一非相依 运动层级，所述的相依运动层级包括了一维方向运动层级、二维方向运动层级 以及一复杂运动层级，以下藉由图3至图6分别对各个运动层级进行说明。
请参阅图3，该图为相依运动层级的一维方向运动层级的快取范围示意 图。如图3所示，参考位置300为目前图框的宏块对应于参考图框30的位置。 倘若依据该宏块与下一宏块的运动向量，下一宏块沿正x方向位移，则下一宏 块可能出现的位置应为邻近参考位置300的正x方向的位置，从而判断下一宏 块所需的参考区域应落在快取范围310内。因此，处理器ll存取动态随机存 储器15，将参考图框30上快取范围310的影像数据存取至高速缓存17储存，以提供给处理器11运算下一时间宏块。举例来说，所述的一维方向运动层级 可为静止画面或影像的水平移动等。
请参阅图4，该图为相依运动层级的二维方向运动层级的快取范围示意
图。如图4所示，参考位置400为目前图框的宏块对应于参考图框40的位置。 倘若依据该宏块与下一宏块的运动向量，下一宏块除了沿正x方向位移外，尚 沿正y方向或负y方向位移，则下一宏块可能出现的位置应为邻近参考位置 400的正x方向与正负y方向的位置，从而判断下一宏块所需的参考区域应落 在快取范围410内。因此，处理器11存取动态随机存储器15所储存参考图框 40的快取范围410的影像数据存取至高速缓存17储存，以提供给处理器11 运算下--时间宏块。举例来说，所述的二维方向运动层级可为影像的放大、缩 小或旋转等。
请参阅图5，该图为相依运动层级的复杂运动层级的快取范围示意图。如 图5所示，参考位置500为目前图框的宏块对应于参考图框50的位置。倘若 依据该宏块与下一宏块的运动向量，下一宏块的位移量较大，则下一宏块可能 出现的位置可能参考位置500的周围位置，从而判断下一宏块所需的参考区域 应落在快取范围510内。因此，处理器11存取动态随机存储器15所储存参考 图框50的快取范围510的影像数据存取至高速缓存17储存，以提供给处理器 11运算下一时间宏块。所述的复杂运动层级指相同场景中影像的复杂运动。
请参阅图6，该图为非相依运动层级的快取范围示意图。所述的非相依运 动层级指目前图与参考图发生场景变换，因此，参考图框60中，快取范围610 与参考位置600无关，此时，处理器11可不对动态随机存储器15进行存取， 以避免占用不必要的频宽资源。
倘若解出下一宏块的参考区域并未落在预测的快取范围内，则代表宏块间 的相依性可能已发生改变。此时，必须重新决定运动层级，以确保快取数据的 命中率。
其次，说明关于快取模式的快取数据量的决定。基于利用单次对动态随机 存储器15存取大量数据来取代多次存取，以降低频宽的占用与提高系统效能 的概念，可针对快取数据的正确性与宏块间的运动层级，进一步对快取范围的 影像数据量进行动态调整。也就是，当宏块间的运动层级连续为相依运动层级 的一维方向运动层级，则可调高快取范围的影像数据量。例如，在图3中，增加快取范围310的X方向的宏块影像数据。倘若宏块间的运动层级连续为相依 运动层级的二维方向运动层级，则可调高快取范围的影像数据量。例如，于在 图4中，增加快取范围410的X方向的宏块影像数据。倘若宏块间的运动层级 连续为相依运动层级的复杂运动层级，则代表了 F—宏块所需的参考区域落在 预测的快取范围的机率偏低，此时，可进一步减少快取范围的影像数据量，甚 至不作数据快取，以避免占用不必要的频宽资源。再者，倘若宏块间的运动层 级为非相依运动层级，可径将快取的影像数据量调整为零，不作数据快取，以 避免频宽的占用。
接着，说明快取模式的快取数据置换模式。由于高速缓存17的记忆容量 有限，因此，必须将不具运算参考价值的影像数据从高速缓存17中置换出去，
以增加储存空间。所述的快取数据置换模式与运动层级相关，也就是，当宏块 间的运动层级为相依运动层级的一维方向运动层级或二维方向运动层级，则可
将与运动方向相反的影像数据置换出高速缓存17。请参阅图7，该图为本发明 所揭示快取资料置换的示意图，如图7所示，宏块沿正x方向作位移，参考图 框70上一快取范围710的影像数据被预先储存于高速缓存17中。当宏块持续 位移到参考位置700时，则可将位置A左方非参考范围7100的影像数据置换 出高速缓存17。
接着，请参阅图8，该图为本发明所揭示影像解码系统的一具体实施例的 系统架构示意图，影像解码系统20适用于对一视频比特流进行解码。如图8 所示，影像解码系统20包括了一解码器21、 一快取模式决定模块23、 一动态 随机存储器25以及一高速缓存27。其中，解码器21与快取模式决定模块23 由软件程序搭配处理器等硬件所共同构成。
解码器21对视频比特流解码，以预先产生一参考图框，解码器21解出一 目前图框的一宏块以及该宏块与该宏块的下一宏块的运动向量。动态随机存储 器25配合储存参考图框的影像数据。快取模式决定模块23依据该宏块与该宏 块的下一宏块的运动向量，决定一快取模式，该快取模式对应于参考图框上的 一快取范围，快取模式决定模块23并存取动态随机存储器25中参考图框上该 快取范围的影像数据。高速缓存27配合储存快取模式决定模块23所存取的参 考图框上该快取范围的影像数据。解码器21存取高速缓存27，以利用该快取 范围的影像数据，解出该宏块的下一宏块。基于前述说明，快取模式包括了一运动层级、 一快取数据量以及一快取数
据置换模式。在图8中，快取模式决定模块23又包括一运动层级决定单元231、 一快取数据量决定单元233、 一快取数据置换单元235以及一快取策略调整单 元237。运动层级决定单元231依据该宏块与该宏块的下一宏块的运动向量， 决定一运动层级。快取数据量决定单元233依据该运动层级，决定快取资料量。 快取数据置换单元235决定快取数据的置换模式，以判断高速缓存27应置换 出的影像数据。快取策略调整单元237依据解码器21的运算结果，进而解出 该宏块的下一宏块所需的参考区域是否位于该快取范围，以控制快取模式决定 模块23维持该快取模式，或控制快取模式决定模块23决定另一快取模式。亦 即，快取策略调整单元237可控制运动层级决定单元231决定另一运动层级， 并依据该运动层级，控制快取数据量决定单元233以及快取数据置换单元235 分别决定另一快取数据量与另一快取数据置换模式。
值得一提的是，依据本发明的仿真结果，当运动层级为相依运动层级的一 维方向运动层级与二维方向运动层级时，对于系统的频宽需求可节省百分之二 十以上。再者，若影像为复杂运动层级或非相依运动层级时，可利用快取模式 的快取数据量的控制，以进一步降低快取数据量，从而降低数据存取所占用的 系统频宽。
藉由以上实例详述，当可知悉本发明所揭示影像解码系统及其运动补偿的 自适性快取方法依据代表宏块间相依性的运动向量，以决定一快取模式，进而 将该快取模式所对应的快取范围的影像数据预先自动态随机存储器中存取至 高速缓存储存。是以，本发明可减少运动补偿运算中，对动态随机存储器存取 数据的次数，从而降低系统频宽的需求，以提高系统工作效能，与降低数据存 取对于功率消耗，以利于影像解码系统所应用装置的电力管理。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的普通技术人员当可根据本发明做出各种相应的改变和变 形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1、一种运动补偿的自适性快取方法，其特征在于，适用于一影像解码系统，该影像解码系统系对一视频比特流进行解码，该自适性快取方法包括下列步骤(a)解出一宏块以及该宏块与该宏块的下一宏块的运动向量；(b)依据该宏块与该宏块的下一宏块的运动向量，决定一快取模式，其中该快取模式对应于一参考图框上的一快取范围，该参考图框的影像数据被预先解出并储存于一动态随机存储器中；(c)存取该动态随机存储器，以将该参考图框上该快取范围的影像数据储存至一高速缓存；(d)存取该高速缓存，以解出该宏块的下一宏块所需的参考区域是否位于该快取范围内；以及(e)依据步骤(d)的结果，决定是否维持该快取模式。
2、 根据权利要求l所述的自适性快取方法，其特征在于，若步骤(e)的决 定为维持该快取模式，则重复步骤(d)，若步骤(e)的决定为不维持该快取模式， 则重复步骤(b)，以决定另一快取模式。
3、 根据权利要求1所述的自适性快取方法，其特征在于，该宏块对应于 该参考图框上的一参考位置，该快取范围与该参考位置相关。
4、 根据权利要求l所述的自适性快取方法，其特征在于，该快取模式包 括一运动层级，该运动层级的决定与该宏块与该宏块的下一宏块的运动向量相 关，该运动层级包括一相依运动层级以及一非相依运动层级，其中该相依运动 层级包括有一一维方向运动层级、一二维方向运动层级以及一复杂运动层级。
5、 根据权利要求4所述的自适性快取方法，其特征在于，该快取模式更 包括一快取数据量以及一快取数据置换模式，该快取数据置换模式决定应置换 出该高速缓存的影像数据，其中该快取数据量以及该快取数据置换模式的决定 系与该运动层级相关。
6、 一种影像解码系统，其特征在于，适用于对一视频比特流进行解码， 该影像解码系统包括一解码器，对该视频比特流解码，以预先产生一参考图框，该解码器解出一目前图框的一宏块以及该宏块与该宏块的下一宏块的运动向量； 一动态随机存储器，配合储存该参考图框的影像数据；一快取模式决定模块，依据该宏块与该宏块的下一宏块的运动向量，决定 一快取模式，该快取模式对应于该参考图框上的一快取范围，该快取模式决定 模块并存取该动态随机存储器该参考图框上该快取范围的影像数据；以及一高速缓存，配合储存该快取模式决定模块所存取的该参考图框上该快取 范围的影像数据；其中该解码器存取该高速缓存，以利用该快取范围的影像数据，解出该宏 块的下一宏块。
7、 根据权利要求6所述的影像解码系统，其特征在于，该宏块对应于该 参考图框上的一参考位置，该快取范围与该参考位置相关。
8、 根据权利要求6所述的影像解码系统，其特征在于，该快取模式包括 一运动层级，该运动层级与该宏块与该宏块的下一宏块的运动向量相关，该快 取模式决定模块包括一运动层级决定单元，该运动层级决定单元依据该宏块与 该宏块的下一宏块的运动向量，决定该运动层级，该运动层级包括一相依运动 层级以及一非相依运动层级，其中该相依运动层级包括有一一维方向运动层 级、一二维方向运动层级以及一复杂运动层级。
9、 根据权利要求8所述的影像解码系统，其特征在于，该快取模式更包 括一快取数据量以及一快取数据置换模式，该快取模式决定模块更包括一快取 数据量决定单元以及一快取数据置换单元，该快取数据量决定单元决定该快取 数据量，该快取数据置换单元决定该快取数据置换模式，以决定置换出该高速 缓存的影像数据，其中该快取数据量以及该快取数据置换模式的决定与该运动 层级相关。
10、 根据权利要求6所述的影像解码系统，其特征在于，该快取模式决定 模块包括一快取策略调整单元，该快取策略调整单元依据该宏块的下一宏块是 否位于该快取范围，以控制该快取模式决定模块维持该快取模式，或决定另一 快取模式。
全文摘要
一种运动补偿的自适性快取方法，适用于一影像解码系统。此方法的步骤是首先，解出一宏块以及该宏块与下一宏块的运动向量。其次，依据运动向量，决定一快取模式，其中该快取模式对应于一参考图框上的一快取范围，参考图框的影像数据被预先解出并储存于一动态随机存储器中。随后，存取动态随机存储器，以将快取范围的影像数据储存至一高速缓存。接着，存取高速缓存，以解出该下一宏块所需参考区域是否位于快取范围内。最后，依据上一步骤中，该下一宏块所需参考区域是否位于快取范围内的结果，决定是否维持该快取模式。
文档编号H04N7/24GK101304520SQ20071009748
公开日2008年11月12日 申请日期2007年5月9日 优先权日2007年5月9日
发明者何协璋 申请人:扬智科技股份有限公司