专利名称：利用虚拟图像画面重新排序的解码图像序列的方法与装置的制作方法
技术领域：
本发明涉及图像显示系统，尤系涉及图像显示系统中压缩图像解码与显示顺序的排列。
背景技术：
CCITT/ISO(国际电报电话咨询委员会/国际标准化组织)组织针对静止与活动的数字图像制定了压缩与解压缩算法的标准格式，其中包括JPEG(相片编码联合专家组)、MPEG(活动图像专家组)、H.261等，这些标准已被广泛地应用在电视会议、VCD(影碟)、DVD(数字影碟)、视频、随选视频卫星图像传输等，以及其它需要传输数字视频画面的应用上。MPEG标准是由ISO底下的MPEG委员会所制定，在其格式中包括动画、声音与结合两者方式的编码表示方法。
一般来说，在图像处理中，压缩数据是采用运动估计(motion estimation)的方法进行，将目前将被压缩的图像画面的像素与先前的图像画面的像素相对照，求得一个估计的运动向量，接着在传输图像画面时，就不须传送完整的图像画面，而仅需传送运动向量，以及先前图像画面的宏区块(macroblock)与目前图像画面的宏区块之间的差异数据。
在运动估计的方法中，图像画面被分为I画面(帧内编码画面)、P画面(预测编码画面)，以及B画面(双向预测编码画面)。其中I画面在编码时并不需要做运动估计，P画面在编码的过程中会采用前向运动估计(forwardmotion estimation)，并且以I画面或者是其它P画面为参考，而B画面会采用前向与后向(backward)运动估计，需要用到I画面或P画面作为参考。I画面、P画面以及B画面在标准MPEG2算法中形成一系列有次序的图像画面序列，称为画面组(Group of Pictures)，例如I、B、B、P、B、B、P、B、B、P、B、B、I…。图像画面经过编码后，传送至图像显示系统予以显示。
图像显示系统在接收到图像压缩序列后必须先解压缩，形成图像解码序列(decode order)，在输出为图像显示序列(display order)时必须经过重新排序。在一般解码和显示的过程中，这个重新排序的动作，是由解码序列会依序存于不同的解码缓存器(decoding buffer)中，显示时则是再依照显示顺序取出不同解码缓存器所存储的画面，以实现重新排序为图像显示序列的目的。但是在某些情况下，显示系统必须连续显示某一解码缓存器内的画面，这样，就无法再利用上述的方法将图像解码序列重新排序成图像显示序列，例如，有些光盘显示系统提供盘预视(digest view)的功能，方便使用者快速浏览光盘的内容，不同图像序列画面或同一图像序列不同时间点画面的缩小版本必须同时显示。为了支持预视的功能，目前正在解码的画面就必须和其它先前已显示过的画面一同显示，意即均存储于同一显示缓存器(display buffer)中，显示系统必须连续显示这个显示缓存器内的画面。而目前正在解码的序列也必须依照显示的顺序依序存储进这个显示缓存器中，如表1所示表1解码序列与显示序列的关系
假设所有缓存器的大小均相同，而图像画面尺寸可以由系统自行控制，例如原尺寸的1/3或1/4，由表1可知，I0解码并存储于一解码缓存器后必须进行P3的解码运动，而此时I0经过尺寸缩减(scale down)后存储至显示缓存器中，当系统依序完成B1和B2的解码与存储的运动后，这时应该把缩减尺寸后的P3存储至显示缓存器中，在解码与显示的过程中，用作参考画面的I画面或P画面都会被存储两次，一次是以正常尺寸存储于解码缓存器中，另一次是以缩减后的尺寸存储于显示缓存器中以供显示用途，而B画面解码后会直接送至显示缓存器。
公知技术采取解码两次的作法，一次解码之后以正常尺寸存储于解码缓存器，一次解码之后以缩减后的尺寸存储于显示缓存器，但是第二次解码时必须在图像解码序列中重新找回该画面，使得解码控制方式变得较为复杂。另一种公知技术是以额外的直接存储器存取(DMA)硬件执行尺寸缩放的功能，将原先存储于解码缓存器内的图像画面直接传送至显示缓存器中，但是这么做会增加硬件成本。更有一种公知技术是以系统的精简指令集计算机(RISC)执行读取解码缓存器与写入显示缓存器的工作，但是这样做精简指令集计算机需要花更多的输出输入运行周期(I/O cycle)，将会降低精简指令集计算机的效能。
由于图像解码序列在输出为图像显示序列时必须经过重新排序，因此会有参考画面必须解码二次，或是需要额外的直接存储器存取硬件，或增加精简指令集计算机输出输入运行周期的情形，而图像显示系统有时候也需要连续显示同一缓存器内所存储的画面。为解决上述问题，本发明通过插入虚拟图像画面而解决图像解码序列重新排序为图像显示序列的问题，达到最低的硬件与软件需求。
发明内容
本发明的目的在于提供通过插入虚拟图像画面于图像解码序列中，而将一图像解码序列重新排序为一图像显示序列的方法与装置，从而可以降低硬件和软件的复杂度，以降低成本。
本发明提供一种将图像解码序列重新排序为图像显示序列的方法，其中该图像解码序列由I画面、P画面以及B画面所组成，该方法在接收一个压缩图像画面序列后，执行下列步骤(1)判断该压缩图像画面序列的第一图像画面；(2)若该第一图像画面是I画面，解码该第一图像画面，并存储在第一缓存器；以及(3)根据一个预设方式得到第一虚拟图像画面，将该第一虚拟图像画面传送至第二缓存器，用于图像显示。
本发明还提供一种将图像解码序列重新排序为一图像显示序列的方法，其中该图像解码序列由I画面、P画面以及B画面所组成，该方法在接收一压缩图像画面序列后，包括下列步骤(1)检测该压缩图像画面序列的第一图像画面；(2)若该第一图像画面为P画面，解码该第一图像画面，并存储于第一缓存器；以及(3)根据一预设方式得到第一虚拟图像画面，将该第一虚拟像画面传送至第二缓存器，用于图像显示。
本发明还提供一种将图像解码序列重新排序为一图像显示序列的方法，其中该图像解码序列由I画面、P画面以及B画面所组成，该方法在接收一压缩图像画面序列后，包括下列步骤(1)判断该压缩图像画面序列的第一图像画面；(2)若该第一图像画面为I画面，根据一预设方式得到第一虚拟图像画面，将该第一虚拟图像画面传送至第一缓存器，用于图像显示；以及(3)解码该第一图像画面，并存储于第二缓存器。
本发明还提供一种将一图像解码序列重新排序为一图像显示序列的方法，其中该图像解码序列由I画面、P画面以及B画面所组成，该方法于接收一压缩图像画面序列后，包括下列步骤(1)检测该压缩图像画面序列的第一图像画面；(2)若该第一图像画面为P画面，根据一预设方式得到第一虚拟图像画面，将该第一虚拟图像画面传送至第一缓存器，用于图像显示；以及解码该第一图像画面，并存储于第二缓存器。
本发明还提供一种将一图像解码序列重新排序为一图像显示序列的装置，其中该图像解码序列由I画面、P画面以及B画面所组成，该装置接收一图像解码序列，包括下列装置一参数产生装置，用于产生一控制参数；一运动补偿装置(motion compensation device，MC)，根据一预定方式，输出一虚拟图像画面；一存储器，其中该存储器包括一第一缓存器，用于存储该图像解码序列的第一已解码图像画面；
一第二缓存器，用于存储该虚拟图像画面；一第三缓存器，用于存储该图像解码序列的第二已解码图像画面；一显示控制器(display controller)，用于连接该第二缓存器并显示该虚拟图像画面。
图1a，1b是本发明的装置的2a，2b，3a，3b是本发明的流程4为本发明的具体实施例中各缓存器的存储内容图标组件符号说明100参数产生器 105控制参数110运动补偿器 115虚拟图像画面120总线 130存储器131第一缓存器 132第二缓存器133第三缓存器 140显示控制器具体实施方式
请参见图1(a)，本发明是一种将图像解码序列重新排序为图像显示序列的装置，包括参数产生装置100，用于产生控制参数105；运动补偿装置110，运动补偿装置110是利用第一缓存器131预先存储的第一已解码图像画面，配合控制参数105产生虚拟图像画面115；总线120，连接本发明的各个装置；存储器130，有关存储器的详细装置图请见图2(b)，其中存储器130包括第一缓存器131，用于存储图像解码序列的第一已解码图像画面；第二缓存器132，用于存储虚拟图像画面115；第三缓存器133，用于存储图像解码序列的第二已解码图像画面；显示控制器140，用于连接第二缓存器132并显示虚拟图像画面115。其中图像画面均通过总线120传送，而显示控制器140除接收虚拟图像画面115，并接收已解码图像画面，可执行例如屏幕上切割选单(OSD)、子画面(subpicture)、画面混合(highlight mixing function)等功能，并将图像画面传送至视频显示设备，比如电视上显示。
要注意的是，本发明中所提到的压缩图像画面序列的图像画面可以是图帧(frame)或图场(field)的画面形式，虚拟图像画面亦可以为图帧(frame)或图场(field)的画面形式。而对应的控制参数105，以MPEG2为例，包括a.虚拟图像画面的画面编码类型(picture_coding_type)为P画面b.虚拟图帧的宏区块，其图帧运动类型(frame_motion_type)，实施例为「以图帧为主」”Frame-based”；c.虚拟图场的宏区块，其图场运动类型(field_motion_type)，实施例为「以图场为主」”Field_based”；d.运动向量(motion vector)由使用者定义，优选实施例者为0；以及e.编码区块类型(coded-block pattern)，实施例为0。
f.虚拟图场从与其本身相同空间性(parity)的图场取得预测值其中控制参数可进一步包括尺寸缩放系数(scale factor)，因此虚拟图像画面的长宽大小可以跟一般图像画面的大小不相同。
下述的说明及图示中，具有相同编号的方块代表具有相同的功能。
本发明的实施步骤如下，请见图2a步骤200接收一压缩图像画面序列后，步骤205判断压缩图像画面序列的第一图像画面为I画面、B画面或P画面，在步骤205中若第一图像画面为I画面，步骤210解码第一图像画面，并存储于一第一缓存器131。以及，步骤215利用第三缓存器133预先存储的已解码图像画面，配合控制参数105，产生第一虚拟图像画面115，将第一虚拟图像画面115传送至第二缓存器132，用于图像显示。
本发明中进一步包括以下步骤步骤220判断第二图像画面；在步骤220中若第二图像画面为P画面时，步骤222解码第二图像画面，将第二图像画面存储于第三缓存器133；以及步骤223利用第一缓存器131预先存储的已解码图像画面，配合控制参数105，产生第二虚拟图像画面，将第二虚拟图像画面传送至第二缓存器132，用于图像显示。
在步骤220中若第二图像画面为I画面时，步骤225解码第二图像画面，将第二图像画面存储于第三缓存器133。以及步骤226利用第一缓存器131预先存储的已解码图像画面，配合控制参数105，产生第二虚拟图像画面，将第二虚拟图像画面传送至第二缓存器132，用于图像显示。
其中必须注意的是，在步骤205中，若第一图像画面为P画面，如图2b所示，其余实施步骤与第一图像画面为I画面时相同。
此外，在图2a中步骤210与215可以互换，即本发明可以先产生一虚拟图像画面115，再解码第一图像画面，如图3a的步骤305和310所示。其余实施例步骤与图2a相同。同样的，在图2a中在步骤220之后，步骤222解码图像画面与步骤223产生第二虚拟图像画面也可以互换，步骤225与步骤226也可以互换。同理可推，在图3a中在步骤220之后，步骤222与步骤223可以互换，而步骤225与步骤226可以互换。
在图2b中210与215的步骤也可以互换，如图3b的步骤305与步骤310所示。而图2b中在步骤220之后，步骤222与223可以互换，步骤225与步骤226可以互换。同样的在图3b中，步骤222与步骤223可以互换，步骤225与步骤226可以互换。
现在举出本发明的一个优选实施例如下，请见图4，当接收到一图像画面P6时，解码图像画面P6并存储于第一缓存器131，并同时将原先存储于第三缓存器133的P3配合控制参数105，产生P3的虚拟图像画面传送至第二缓存器132，而接下来所接收到的B4与B5经过解码后直接送至第二缓存器，由显示控制器140控制显示。接着在接收到一图像画面I9时，将I9解码并存储在第三缓存器中，并将原先存储于第一缓存器131的P6配合控制参数105，产生P6的虚拟画面并传送至第二缓存器132，而后续所接收到的B7与B8经过解码后也直接送到第二缓存器，由显示控制器140控制显示。
请继续参考图4，当接收到一图像画面P12时，解码图像画面P12并存储于第一缓存器131，并同时将原先存储于第三缓存器133的I9配合控制参数105，产生I9的虚拟图像画面传送至第二缓存器132，而接下来接收到的B10与B11经过解码后直接送至第二缓存器，由显示控制器140控制显示。以后在接收到图像画面P15时，将P15解码并存储在第三缓存器中，并将原先存储于第一缓存器131的P12配合控制参数105，产生P12的虚拟画面并传送至第二缓存器132，由显示控制器140控制显示。
插入虚拟图像画面后解码序列与显示序列的关系请见表2所示。表2插入虚拟图像画面后解码序列与显示序列的关系
在表2中，运动补偿器110发挥了类似DMA的功能，将预先存储于一个缓存器内的图像画面写入另一缓存器中。另外需注意的是，在接收到参考图像画面(I画面或P画面)时，本发明的装置会将接收到的图像画面存储至第一或第三缓存器中，覆盖第一或第三缓存器中较旧的数据，如图4所示，当接收到P6画面时，系统会将P6存储在原来I0所存储的缓存器中，而不会覆盖到P3所在的缓存器。
本发明利用运动补偿器110产生虚拟图像画面的方法，省除需要额外DMA硬件，或增加精简指令集计算机输出输入运行周期的情形，因此可以降低硬件与软件的复杂度，达到降低成本的目的。
虽然本发明以一优选实施例公布如上，然其并非用于限定本发明，任何本领域的技术人员。在不脱离本发明的精神和范围内，应当可作各种修改与改变，因此本发明的保护范围以后附的权利要求所保护的范围为准。
权利要求
1.一种将图像解码序列(decode order)重新排序为图像显示序列(displayorder)的方法，其中该图像解码序列由I画面(intra-coded picture)、P画面(predictive-coded picture)以及B画面(bi-directionally-predictive codedpicture)所组成，该方法在接收一个压缩图像画面序列后，包括下列步骤(1.1)判断该压缩图像画面序列的第一图像画面；(1.2)若该第一图像画面是I画面，解码该第一图像画面，并存储在第一缓存器；以及(1.3)根据一个预设方式得到第一虚拟图像画面，将该第一虚拟图像画面传送至第二缓存器，用于图像显示。
2.如权利要求1所述的方法，其中在(1.3)的步骤中，该预定方式是利用第三缓存器预先存储的已解码图像画面，配合一个控制参数，产生该第一虚拟图像画面。
3.如权利要求1所述的方法，其中在(1.3)的步骤后还包括(3.1)判断第二图像画面；(3.2)若该第二图像画面为P画面时，解码该第二图像画面，将该第二图像画面存储于第三缓存器；以及(3.3)根据该预设方式得到第二虚拟图像画面，将该第二虚拟图像画面传送至该第二缓存器，用于图像显示。
4.如权利要求3所述的方法，其中该预定方式利用该第一缓存器预先存储的已解码图像画面，配合一控制参数，产生该第二虚拟图像画面。
5.如权利要求1所述的方法，其中在(1.3)的步骤后还包括(5.1)判断第二图像画面；(5.2)若该第二图像画面为I画面时，解码该第二图像画面，将该第二图像画面存储于第三缓存器；以及(5.3)根据该预设方式得到第二虚拟图像画面，将该第二虚拟像画面传送至该第二缓存器，用于图像显示。
6.如权利要求5所述的方法，其中该预定方式利用该第一缓存器预先存储的已解码图像画面，配合该控制参数，产生该第二虚拟图像画面。
7.一种将图像解码序列重新排序为一图像显示序列的方法，其中该图像解码序列由I画面、P画面以及B画面所组成，该方法在接收一压缩图像画面序列后，包括下列步骤(7.1)检测该压缩图像画面序列的第一图像画面；(7.2)若该第一图像画面为P画面，解码该第一图像画面，并存储于第一缓存器；以及(7.3)根据一预设方式得到第一虚拟图像画面，将该第一虚拟像画面传送至第二缓存器，用于图像显示。
8.如权利要求7所述的方法，其中在(7.3)的步骤中，该预定方式利用第三缓存器预先存储的已解码图像画面，配合一控制参数，产生该第一虚拟图像画面。
9.如权利要求7所述的方法，其中在(7.3)的步骤后还包括(9.1)判断第二图像画面；(9.2)若该第二图像画面为P画面时，解码该第二图像画面，将该第二图像画面存储于第三缓存器；以及(9.3)根据该预设方式得到第二虚拟图像画面，将该第二虚拟图像画面传送至该第二缓存器，用于图像显示。
10.如权利要求9所述的方法，其中该预定方式利用该第一缓存器预先存储的已解码图像画面，配合一控制参数，产生该第二虚拟图像画面。
11.如权利要求7所述的方法，其中在(7.3)的步骤后还包括(11.1)判断第二图像画面；(11.2)若该第二图像画面为I画面时，解码该第二图像画面，将该第二图像画面存储于一第三缓存器；以及(11.3)根据该预设方法得到第二虚拟图像画面，将该第二虚拟像画面传送至该第二缓存器，用于图像显示。
12.如权利要求11所述的方法，其中该预定方式利用该第一缓存器预先存储的已解码图像画面，配合一控制参数，产生该第二虚拟图像画面。
13.一种将图像解码序列重新排序为一图像显示序列的方法，其中该图像解码序列由I画面、P画面以及B画面所组成，该方法在接收一压缩图像画面序列后，包括下列步骤(13.1)判断该压缩图像画面序列的第一图像画面；(13.2)若该第一图像画面为I画面，根据一预设方式得到第一虚拟图像画面，将该第一虚拟图像画面传送至第一缓存器，用于图像显示；以及(13.3)解码该第一图像画面，并存储于第二缓存器。
14.如权利要求13所述的方法，其中在(13.2)的步骤中，该预定方式利用第三缓存器预先存储的已解码图像画面，配合一控制参数，产生该第一虚拟图像画面。
15.如权利要求1所述的方法，其中在(13.3)的步骤后还包括(15.1)判断第二图像画面；(15.2)若该第二图像画面为P画面时，解码该第二图像画面，将该第二图像画面存储于第三缓存器；以及(15.3)根据该预设方式得到第二虚拟图像画面，将该第二虚拟像画面传送至该第一缓存器，用于图像显示。
16.如权利要求15所述的方法，其中该预定方式利用该第二缓存器预先存储的已解码图像画面，配合一控制参数，产生该第二虚拟图像画面。
17.如权利要求13所述的方法，其中在(13.3)的步骤后还包括(17.1)判断一第二图像画面；(17.2)若该第二图像画面为I画面时，解码该第二图像画面，将该第二图像画面存储于第三缓存器；以及(17.3)根据该预设方式得到第二虚拟图像画面，将该第二虚拟图像画面传送至该第一缓存器，用于图像显示。
18.如权利要求17所述的方法，其中该预定方式利用该第一缓存器预先存储的已解码图像画面，配合该控制参数，产生该第二虚拟图像画面。
19.一种将一图像解码序列重新排序为一图像显示序列的方法，其中该图像解码序列由I画面、P画面以及B画面所组成，该方法于接收一压缩图像画面序列后，包括下列步骤(19.1)检测该压缩图像画面序列的第一图像画面；(19.2)若该第一图像画面为P画面，根据一预设方式得到第一虚拟图像画面，将该第一虚拟图像画面传送至第一缓存器，用于图像显示；以及(19.3)解码该第一图像画面，并存储于第二缓存器。
20.如权利要求19所述的方法，其中在(19.2)的步骤中，该预定方式利用第三缓存器预先存储的已解码图像画面，配合一控制参数，产生该第一虚拟图像画面。
21.如权利要求19所述的方法，其中在(19.3)的步骤后还包括(21.1)判断第二图像画面；(21.2)若该第二图像画面为P画面时，解码该第二图像画面，将该第二图像画面存储于该第三缓存器；以及(21.3)根据该预设方式得到第二虚拟图像画面，将该第二虚拟图像画面传送至该第一缓存器，用于图像显示。
22.如权利要求21所述的方法，其中该预定方式利用该第二缓存器预先存储的已解码图像画面，配合一控制参数，产生该第二虚拟图像画面。
23.如权利要求21所述的方法，其中在(21.3)的步骤后还包括(23.1)判断第二图像画面；(23.2)若该第二图像画面为I画面时，解码该第二图像画面，将该第二图像画面存储于第三缓存器；以及(23.3)根据该预设方法得到第二虚拟图像画面，将该第二虚拟图像画面传送至该第一缓存器，用于图像显示。
24.如权利要求23所述的方法，其中该预定方式利用该第二缓存器预先存储的已解码图像画面，配合一控制参数，产生该第二虚拟图像画面。
25.一种将一图像解码序列重新排序为一图像显示序列的装置，其中该图像解码序列由I画面、P画面以及B画面所组成，该装置接收一图像解码序列，包括下列装置一参数产生装置，用于产生一控制参数；一运动补偿装置(motion compensation device，MC)，根据一预定方式，输出一虚拟图像画面；一存储器，其中该存储器包括一第一缓存器，用于存储该图像解码序列的第一已解码图像画面；一第二缓存器，用于存储该虚拟图像画面；一第三缓存器，用于存储该图像解码序列的第二已解码图像画面；一显示控制器(display controller)，用于连接该第二缓存器并显示该虚拟图像画面。
26.如权利要求25所述的装置，其中该运动补偿装置利用该第一缓存器预先存储的该第一已解码图像画面，配合该控制参数产生该虚拟图像画面。
全文摘要
在图像显示系统中，在某些情况下，图像显示系统也需要连续显示同一缓存器内所存储的画面。为解决上述问题，本发明通过插入虚拟图像画面解决图像解码序列(decode order)重新排序为图像显示序列(display order)的问题，达到最低的硬件与软件需求。
文档编号G06F12/08GK1477521SQ02130439
公开日2004年2月25日 申请日期2002年8月20日 优先权日2002年8月20日
发明者朱启诚 申请人:联发科技股份有限公司