专利名称：图像解码单元和图像编码、解码装置和编码、解码方法
技术领域：
本发明涉及图像解码单元和使用它的图像编码装置、编码方法、图像解码装置和解码方法，特别涉及可在再构成图像的生成过程中实现处理的高速化的技术。
背景技术：
近年，随着使用活动图像的信息设备和信息终端设备的迅速普及，压缩活动图像的技术进一步引人注目。
活动图像压缩技术通过MPEG(Moving Picture Experts Group)确定的MPEG-2和MPEG-4、以及ITU(Intemational Telecommunication Union)确定的H.261、H.263和H.264等的规格来实现技术的标准化。这些规格中的活动图像压缩技术利用活动图像具有的相邻帧之间的较强的相关性，进行高压缩。
首先，参考图10到图12来说明活动图像压缩的一般的现有技术。
图10是现有例的图像编码装置的方框图。以下，说明其结构和动作的概要。
图10所示的现有例的图像编码装置是一般的装置，包括输入端子10、差分运算部11、DCT部(离散余弦变换部)12、量化部13、熵编码部14、发送缓冲器15、输出端子16、运动检测部17、逆量化部19、逆DCT部21、运动补偿部22、加法运算部23和帧存储器24。
输入端子10连接到差分运算部11的输入和运动检测部17的输入。运动补偿部22的输出连接到差分运算部11的另一个输入，帧存储器24的输出连接到运动检测部17的另一个输入。差分运算部11的输出连接到DCT部12的输入，DCT部12的输出连接到量化部13的输入。量化部13的输出连接到熵编码部14的输入和逆量化部19的输入。运动检测部17的输出连接到熵编码部14的另一个输入。熵编码部14的输出连接到发送缓冲器15的输入。
逆量化部19的输出连接到逆DCT部21的输入。逆DCT部21的输出连接到加法运算部23的一个输入。运动补偿部22的输出连接到加法运算部23的另一个输入。加法运算部23的输出连接到帧存储器24，进一步帧存储器24连接到运动检测部17的另一个输入。
接着，说明动作的概要。首先，输入到输入端子10的输入图像S10在运动检测部17中，与被存储到帧存储器24中的再构成图像(屡次称为参考图像)进行比较，求取活动向量S11。利用该活动向量，运动补偿部22生成预测图像S12。差分运算部11求取输入图像S10和预测图像S12的差分，即，预测误差。该误差在DCT部12求取DCT系数，在量化部13被量化，在熵编码部14中与活动向量S11一起利用赫夫曼编码和算术编码等的可变长编码来进行编码，暂时存储在发送缓冲器15中，作为比特流被送出。
而且，在量化部13量化的DCT系数，经过逆量化部19和逆DCT部21的处理，成为局部预测误差数据S14，被送到加法运算部23。在加法运算部23中，利用局部预测误差数据S14和先前在运动补偿部22中生成的预测图像S12来生成再构成图像，存储到帧存储器24。
运动检测部17中的运动向量的检测处理，一般来说，将目前图像内的多个像素组成的块作为处理对象，通过所谓的块匹配(block matching)法调查该处理对象块存在于对于该目前图像时间在前的图像的哪个位置，检测表示图像的运动的方向和量的运动向量。
而且，在运动补偿部22中预测图像S12的生成处理，除了通过以像素位置单位进行生成(将其称为整数精度的运动补偿)外，还以像素和像素之间的位置进行生成(将其称为小数精度的运动补偿)来提高预测精度，从而采用预测误差更小的方法。
接着，图11是现有例的图像解码装置的方框图。参照该图对一般的解码方式进行说明。
图11所示的现有例的图像解码装置是一般的装置，包括输入端子30、接收缓冲器31、熵解码部32、逆量化部19、逆DCT部21、运动补偿部22、加法运算部23、帧存储器24和输出端子33。
输入端子30连接到接收缓冲器31的输入，接收缓冲器31的输出连接到熵解码部32的输入。熵解码部32的输出连接到逆量化部19的输入和运动补偿部22的一个输入。
逆量化部19的输出连接到逆DCT部21的输入，逆DCT部21的输出连接到加法运算部23的一个输入。帧存储器24的输出连接到运动补偿部22的另一个输入。运动补偿部22的输出连接到加法运算部23的另一个输入，加法运算部23的输出连接到帧存储器24的输入，帧存储器24的输出连接到输出端子33。
接着，说明该图像解码装置的动作的概要。输入到输入端子30的接收比特流S30在暂时存储在接收缓冲器31以后，被输入到熵解码部32。
在熵解码部32中，从接收比特流S30解码活动向量S31和被量化的预测误差图像的DCT系数S32等。
被量化的预测误差图像的DCT系数S32经过逆量化部19和逆DCT部21的处理，作为预测误差图像的DCT系数S35被输入到加法运算部23。
另一方面，活动向量S31输入到运动补偿部22，对于帧存储器24中存储的再构成图像S33实施运动补偿，生成预测图像S34，输出到加法运算部23。加法运算部23对预测图像S34和预测误差图像的DCT系数S35进行加法处理，生成新的新的再构成图像S36，存储到帧存储器24。生成的新的再构成图像作为解码图像S37从帧存储器24提供到输出端子33，在外部的图像显示装置显示。
这里，对于在运动补偿部22中的运动补偿处理，与上述的图像编码装置相同，除了整数精度的运动补偿，还施加小数精度的运动补偿。
可是，图10的虚线包围的区域20的结构和图11的虚线包围的区域20的结构是完全相同的结构，其结构要素的功能也相同。(因此，在两图中对于相同功能的结构要素赋予相同的标号。)即，应注意区域20的结构在图像编码装置和图像解码装置中可以同等利用的情况。
专利文件1(WO 95/02948号公报)公开了对上述的区域20实施了更多方法的设想。
图12是现有例的活动图像解码装置中使用的运动补偿部的方框图，是专利文件1的图10。(但是，各结构要素的名称虽然与专利文件1相同，但是标号变更。)图12中表示的活动图像解码装置中使用的运动补偿部40包括IDCT(逆离散余弦变换电路)41(与图10所示的逆DCT部21相同)、MB缓冲器(MacroBlock缓冲器)42、加法器43(与图10所示的加法处理部23相同)、DRAM写入用缓冲器44和参照用帧存储器45(与图10所示的帧存储器24相同)，MB缓冲器42有2个存储体(bank)，DRAM写入用缓冲器44有1个存储体。参照用帧存储器45可以由DRAM构成。
图12所示的设想的着眼点是在解码装置中，通过设置MB缓冲器42，吸收从IDCT41读出的速率和向参照用帧存储器45写入速率之间的差异，进一步通过设置DRAM写入用缓冲器44，进行参照用帧存储器45的读出和写入之间的定时调整。
即，加法器43将来自参照用帧存储器45的预测宏块信号S44和来自MB缓冲器42的输出信号S42相加，将得到的再构成图像信号S43写入DRAM写入用缓冲器44。DRAM写入用缓冲器44保持数据，直到参照用帧存储器45完成写入准备，之后，如果写入的准备完成，向参照用帧存储器45写入。本设想的发明者们主张通过这样，可以使用速度慢、价格便宜的DRAM来作为参照用帧存储器45。
这里，对于IDCT41的读出速度，参照用帧存储器45的读出写入速度快时，通过在DRAM写入用缓冲器44内设置1个存储体，因为输入到该存储体的数据在下一个数据到来之前读出结束，所以在下一个块数据输入时，缓冲器内部为空的状态。本设想的发明者们主张通过这样，消减用于调整定时所必须的存储器尺寸，可以实现硬件规模的减小。
图12所示的设想对应整数精度的运动补偿，不对应小数精度的运动补偿。
如以上说明所明确的那样，以现有技术不能充分应对有效并且高速地处理最近的图像规格中求出的小数精度的运动补偿的情况。
发明内容
本发明的目的是提供可以高速执行小数精度的运动补偿的图像解码单元和使用它的图像编码装置、编码方法、图像解码装置和解码方法。
第1发明的一种将编码的图像信号解码的图像解码单元，包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据；第3存储器，存储所述再构成运算部中生成的再构成图像数据。
按照该结构，在图像信号的解码处理中，通过利用中间数据生成再构成图像数据，可以实现更高速的图像解码单元。而且，该图像解码单元具有可同等利用于图像编码装置和图像解码装置中的优点。
第2发明的图像解码单元，其中所述编码的图像信号是利用DCT和熵编码来编码的图像信号，所述解码处理部具有熵解码部、逆量化部、逆DCT部和运动补偿部，所述熵解码部解码输入的编码的图像信号，生成量化DCT系数和运动向量，所述逆量化部和所述逆DCT部，从所述熵解码部输出的量化DCT系数求出DCT系数并输出，所述运动补偿部利用所述熵解码部输出的运动向量来进行运动补偿处理。
按照该结构，对于利用DCT和熵编码来编码为可变长编码的图像信号，可以实现更高速的图像解码单元。而且，该图像解码单元可以同等利用于图像编码装置和图像解码装置中。
第3发明的图像解码单元，其中所述再构成运算部中生成再构成图像数据的处理和所述第3存储器中存储再构成图像数据的处理，在时间上并行地执行。
按照该结构，通过并行处理再构成运算部中的再构成图像生成处理和生成的再构成图像数据的存储处理，可以将必要的处理时间基本上减少一半。由此，可以实现更高速的图像解码单元。
第4发明的图像解码单元，其中所述第1存储器中存储的中间数据是所述逆DCT部输出的局部预测误差数据，所述第2存储器中存储的中间数据是所述运动补偿部输出的局部预测图像数据，所述再构成运算部取得所述第1存储器中存储的局部预测误差数据和所述第2存储器中存储的局部预测图像数据，与该取得的定时同步，生成再构成图像数据，将生成的再构成图像数据依次存储到第3存储器。
按照该结构，可以实现更高速地处理利用DCT和熵编码来编码为可变长编码的图像信号的图像解码单元。而且，因为再构成图像数据的生成和生成的再构成图像数据向存储器的存储取同步来处理，所以可以实现更正确的并行处理和高速化。
第5发明的图像解码单元，其中所述再构成运算部将从所述第1存储器和所述第2存储器取得的数据相加，将该相加的结果归一化为一定的比特数并输出。
按照该结构，即使在第1存储器和第2存储器中存储的中间数据，比特数不同，任意一方具有编码的情况下，不再需要为了从将它们相加的结果得到正确的再构成图像数据所必需的新的校正运算，可以实现更简单的结构的图像解码单元。
第6发明的图像解码单元，其中所述再构成运算部进行的相加结果的归一化是对8比特的正的值的归一化。
按照该结构，即使在第1存储器和第2存储器中存储的中间数据，比特数不同，任意一方具有编码的情况下，可以从这些相加的结果可以得到正确的再构成图像数据，所以不需要必要的新的校正运算处理。而且，可以以更简单的结构实现现在最广泛采用的8位结构的图像解码单元。
第7发明的图像解码单元，其中所述运动补偿部进行小数精度的运动补偿。
按照该结构，可以提供有效并且高速地处理最近的图像规格中求出的小数精度的运动补偿的图像解码单元。
第8发明的解码编码的图像信号的图像解码单元，包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；存储器组，包含存储所述解码处理部生成的所述至少2种中间数据的多个数据存储器；第1选择部件，选择所述存储器组的任意一个数据存储器，取得所述至少2种中间数据中的第1中间数据；第2选择部件，选择所述存储器组的任意一个数据存储器，取得所述至少2种中间数据中的第2中间数据；再构成运算部，利用所述第1选择部件取得的第1中间数据和所述第2选择部件取得的第2中间数据，生成再构成图像数据；第3选择部件，选择所述存储器组的任意一个数据存储器或者所述再构成运算部的输出，取得数据；存储器，存储所述第3选择部件取得的数据；数据传送控制部，向所述第1选择部件、所述第2选择部件和第3选择部件发送数据传送命令，控制各个数据传送元。
按照该结构，在例如利用DSP(数字信号处理器)来构成解码处理部110时，通过以DSP命令记述数据传送命令，可以实现可进行更复杂的数据传送，并且可以容易地应用于不同的环境的富有灵活性的图像解码单元。
第9发明的图像解码单元，其中所述编码的图像信号是利用DCT和熵编码来编码的图像信号，所述解码处理部具有熵解码部、逆量化部、逆DCT部和运动补偿部，所述解码处理部生成至少2种中间数据。
按照该结构，可以实现具有与第8发明的图像解码单元相同的特征，对于利用DCT和熵编码来编码为可变长编码的图像信号，速度更快的图像解码单元。
第10发明的图像解码单元，其中所述第1中间数据是局部预测图像数据，所述第2中间数据是局部预测误差数据。
按照该结构，可以实现具有与第8和第9发明的图像解码单元相同的特征，处理利用DCT和熵编码来编码为可变长编码的图像信号的速度更快的图像解码单元。
第11发明的利用第8发明的图像解码单元来进行的数据传送方法，包括发出数据传送命令的步骤，其中包含第1操作，对于所述第3选择部件，指定所述存储器组的任意一个数据存储器或者所述再构成运算部输出作为数据传送元；第2操作，对于所述第1选择部件，指定所述存储器组的任意一个数据存储器作为数据传送元；第3操作，对于所述第2选择部件，指定所述存储器组的任意一个数据存储器作为数据传送元，接受所述数据传送命令的选择部件，从指定的数据传送元取得数据的步骤；以及对于所述第3选择部件，在发出选择所述再构成运算部输出的数据传送命令时，所述第1选择部件从指示的数据存储器取得第1中间数据，所述第2选择部件从指示的数据存储器取得第2中间数据，所述再构成运算部利用这些数据生成再构成图像数据，依次存储到所述存储器的步骤。
按照该方法，在例如利用DSP(数字信号处理器)来构成解码处理部110，以DSP命令记述数据传送命令时，可以标准化该命令。而且，通过使用该数据传送命令，可以实现可进行更复杂的数据传送，并且可以容易地应用于不同的环境的富有灵活性的图像解码单元。
第12发明的利用第8发明的图像解码单元来进行的数据传送方法，包括发出数据传送命令的步骤，其中包含对于所述第3选择部件，指定所述存储器组的任意一个数据存储器或者所述再构成运算部输出作为数据传送元的操作；所述第3选择部件在接受了所述数据传送命令以后，从指定的数据传送元取得数据的步骤；以及对于所述第3选择部件，在发出选择所述再构成运算部输出的数据传送命令时，所述第1选择部件从预先指示的数据存储器取得第1中间数据，所述第2选择部件从预先指示的数据存储器取得第2中间数据，所述再构成运算部利用这些数据生成再构成图像数据，依次存储到所述存储器的步骤。
按照该方法，将伴随再构成运算的数据传送命令作为通常的处理器的传送命令，可以实际安装的数据传送控制部的结构变得简单。
第13发明的图像编码装置，包括图像解码单元，其中包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有逆量化部、逆DCT部和运动补偿部；运动检测部，对于输入的输入图像，利用所述图像解码单元输出的再构成图像数据作为参考图像，检测输入图像的运动向量；预测误差处理部，取得所述图像解码单元根据所述运动向量处理运动补偿并输出的预测图像和所述输入图像的差分，求出预测误差；DCT部，对所述预测误差进行DCT处理并求出DCT系数；量化部，量化所述DCT系数并求出量化DCT系数；熵编码部，将所述量化DCT系数和所述运动向量编码为可变长编码，生成编码图像数据；发送缓冲器，暂时存储所述解码图像数据，依次作为发送比特流送出。
按照该结构，可以实现有效使用第2发明的图像解码单元具有的特征的图像编码装置。而且，通过将图像解码单元作为单体标准化，因为可以用较少的结构部件制造图像编码装置，所以可以降低装置的制造成本。
第14发明的图像编码装置，其中在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行。
按照该结构，通过并行处理在再构成运算部中的再构成图像数据生成处理和生成的再构成图像数据的存储处理，可以将必要的处理数据缩短大致一半。由此，可以实现使用更高速的图像解码单元的图像编码装置。
第15发明的图像编码装置，其中所述再构成运算部将从所述第1存储器和第2存储器取得的时间相加，将该相加的结果归一化为一定的比特数并输出。
按照该结构，可以实现使用具有第5发明的特征的图像解码单元的图像编码装置。
第16发明的图像解码装置，包括图像解码单元，其中包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有熵解码部、逆量化部、逆DCT部和运动补偿部；以及一次性存储作为编码图像数据的接收比特流的接收缓冲器，存储在所述接收缓冲器中的所述编码图像数据被输入到所述图像解码单元的所述熵解码部，所述图像解码单元，从输入的所述编码图像数据算出DCT系数和运动向量，生成作为中间数据的局部预测误差数据和局部预测图像数据，利用这些数据生成再构成图像数据，将生成的所述再构成图像数据作为图像形象存储到所述第3存储器，进一步将存储的图像形象输出到连接到外部的图像显示装置。
按照该结构，可以实现有效使用第2发明的图像解码单元具有的特征的图像解码装置。而且，通过将图像解码单元作为单体标准化，可以以较少的结构部件来制造图像解码装置，可以降低装置的制造成本。
第17发明的图像解码装置，其中在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行。
按照该结构，通过并行处理在再构成运算部中的再构成图像数据生成处理和生成的再构成图像数据的存储处理，可以将必要的处理数据缩短大致一半。由此，可以实现使用更高速的图像解码单元的图像编码装置。
第18发明的图像解码装置，其中所述再构成运算部将从所述第1存储器和第2存储器取得的数据相加，将该相加的结果归一化为一定的比特数并输出。
按照该结构，可以实现使用具有第5发明的特征的图像解码单元的图像解码装置。
第19发明的将编码的图像信号解码的图像解码方法，包括解码编码的图像信号，生成至少2种中间数据的解码处理步骤；将所述至少2种中间数据存储到第1存储器和第2存储器的中间数据存储步骤；输入存储在所述第1存储器和所述第2存储器中的所述中间数据，生成再构成图像数据的再构成运算步骤；将在所述再构成运算步骤中生成的再构成图像数据存储到第3存储器的再构成图像数据存储步骤，在所述再构成运算步骤中生成再构成图像数据的处理和在所述再构成图像数据存储步骤中存储再构成图像数据的处理，在时间上并行地执行。
按照该方法，通过在图像信号的解码处理中，使用中间数据生成再构成图像数据，可以实现更高速的图像解码单元。即，通过并行处理在再构成运算部中的再构成图像数据生成处理和生成的再构成图像数据的存储处理，可以将必要的处理数据缩短大致一半。而且，该图像解码方法可以同等适用于图像编码装置和图像解码装置。
第20发明的图像解码方法，还包括以下步骤所述编码的图像信号是利用DCT和熵编码来编码的图像信号，所述解码处理步骤，包含熵解码步骤、逆量化步骤、逆DCT步骤和运动补偿步骤，所述熵解码步骤，解码输入的编码的图像信号，输出量化DCT系数和运动向量，所述逆量化步骤和所述逆DCT步骤，从所述熵解码步骤中输出的量化DCT系数求出DCT系数并输出，所述运动补偿步骤，利用所述熵解码步骤中输出的运动向量，进行运动补偿处理。
按照该方法，对于使用DCT和熵编码来编码为可变长编码的图像信号，可以实现更高速的图像解码单元。而且，该图像解码方法可以同等适用于图像编码装置和图像解码装置。
第21发明的图像解码方法，所述第1存储器中存储的中间数据是所述逆DCT步骤中输出的局部预测误差数据，所述第2存储器中存储的中间数据是所述运动补偿步骤中输出的局部预测图像数据，所述再构成运算步骤包括取得所述第1存储器中存储的局部预测误差数据和所述第2存储器中存储的局部预测图像数据，与该取得的定时同步，生成再构成图像数据，将生成的再构成图像数据依次存储到第3存储器的步骤。
按照该方法，可以实现处理使用DCT和熵编码来编码为可变长编码的图像信号的更高速的图像信号解码单元。而且，因为取同步来处理再构成图像数据的生成和生成的再构成图像数据向存储器的存储，所以可以实现更正确的并行处理和高速化。
第22发明的图像解码方法，所述再构成运算步骤包括将从所述第1存储器和第2存储器中取得的数据相加，将该相加的结果归一化为一定的比特数并输出的步骤。
按照该方法，即使在第1存储器和第2存储器中存储的中间数据，比特数不同，任意一方具有编码的情况下，不再需要为了从将它们相加的结果得到正确的再构成图像数据所必需的新的校正运算，可以以更简单的结构来实现图像解码单元。
第23发明的图像解码方法，所述运动补偿步骤包括进行小数精度的运动补偿的步骤。
按照该方法，可以提供更有效地进行最近的图像规格中求出的小数精度的运动补偿图像解码单元。
第24发明的图像编码方法，利用图像解码单元进行，该图像解码单元包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有逆量化部、逆DCT部和运动补偿部，在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行，该图像编码方法包含以下步骤运动检测步骤，对于输入的输入图像，利用所述图像解码单元输出的再构成图像数据作为参考图像，检测输入图像的运动向量；预测误差处理步骤，取得所述图像解码单元根据所述运动向量处理运动补偿并输出的预测图像和所述输入图像的差分，求出预测误差；DCT处理步骤，对所述预测误差进行DCT处理并求出DCT系数；量化步骤，量化所述DCT系数并求出量化DCT系数；熵编码步骤，将所述量化DCT系数和所述运动向量编码为可变长编码，生成编码图像数据；暂时存储所述编码图像数据，依次作为发送比特流送出的步骤。
按照该方法，可以实现具有与第19发明相同的特征的图像编码装置。
第25发明的图像解码方法，利用图像解码单元进行，该图像解码单元包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有熵编码部、逆量化部、逆DCT部和运动补偿部，在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行，该图像解码方法包含以下步骤将接收到的编码图像数据的接收比特流一次性存储到接收缓冲器的步骤；将存储在所述接收缓冲器中的所述编码图像数据输入到所述图像解码单元的所述熵解码部的步骤，所述图像解码单元，从输入的所述编码图像数据算出DCT系数和运动向量，作为中间数据生成局部预测误差数据和局部预测图像数据，利用这些数据生成再构成图像数据，将生成的所述再构成图像数据作为图像形象存储到所述第3存储器，进一步将存储的图像形象输出到连接到外部的图像显示装置的步骤。
按照该方法，可以实现具有与第19发明相同的特征的图像编码装置。
本发明者首先以专利文献1中公开的设想为基础，致力于本发明希望解决的课题。
图12所示的现有例的活动图像的运动补偿方式，作为预测图像数据，以整数精度的图像预测为前提。因此，为了进行小数精度的图像预测，需要将图12的结构改进为例如图1所示的结构。
即，图1是改进现有例的第1的改进例。图1的逆DCT部21相当于图12的IDCT41。同样，图1的DRAM缓冲器42相当于图12的DRAM写入用缓冲器44，图1的帧存储器24相当于图12的参照用帧存储器45。
在图1中，新增加了小数精度的运动补偿部50和DRAM缓冲器42内设置的2个存储体。而且，明确表示了到运动补偿部50的运动向量S42和来自帧存储器24的再构成图像S43的输出。
按照图1的结构，小数精度的运动补偿成为可能。但是，在该结构中，施加了小数精度的运动补偿的再构成图像的生成，需要从目标的像素附近的像素算出，所以需要重新配置用于存储其附近的像素的专用缓冲器存储器，显然具有电路规模变大的缺点。
为了避免上述的缺点，本发明者进行了进一步的考察。
即，图2是改进现有例的第2改进例。第2改进例，如图2所示，包括解码处理部60、数据存储器部64、帧存储器24。解码处理部60具有逆DCT部61和运动补偿部62以及加法部63。
下面说明该第2改进例的动作。首先，从帧存储器24将必要的数据暂时取入数据存储器部64。解码处理部60随时存取数据存储器部，同时进行逆DCT部61中的逆DCT处理、运动补偿部62中的整数精度和小数精度的运动补偿处理，或者加法部63中的再构成图像的生成处理，将生成的再构成图像从数据存储器部64传送到帧存储器24。这样，按照图2所示的结构，不需要专用的缓冲器存储器等，可以生成实施了小数精度的运动补偿的再构成图像。
但是，最近的图像处理的性能要求一年一年提高，要求处理能力的进一步提高。在上述的第1改进例和第2改进例中，为了实现处理能力的进一步提高，需要提高解码处理部60的动作频率，其结果是带来电路规模和消耗电能增大的新的问题。
图1是表示改进了现有例的第1改进例。
图2是表示改进了现有例的第2改进例。
图3是本发明的第1实施例的图像解码单元的结构图。
图4是本发明的第2实施例的图像编码装置的结构图。
图5是本发明的第3实施例的图像解码装置的结构图。
图6是本发明的第1实施例的图像解码单元的定时图。
图7是改进了现有例的第2改进例的定时图。
图8是本发明的第4实施例的图像解码单元的结构图。
图9是本发明的第4实施例的图像解码单元中使用的数据传送命令。
图10是现有例的图像编码装置的方框图。
图11是现有例的图像解码装置的方框图。
图12是现有例的运动图像解码装置中使用的运动补偿部的方框图。
具体实施例方式
以这些考察为基础，本发明者进行了以新的设想为基础的考察。以下参照
本发明的实施例。
(第1实施例)图3是本发明的第1实施例中图像解码单元100的结构图。本实施例的图像解码单元100包括解码处理部110、数据存储器部120、再构成运算部130、帧存储器140，所述解码处理部110具有熵解码部111、运动补偿部112、逆量化部113、逆DCT部114，所述数据存储器部120具有数据存储器A121和数据存储器B122。
而且，解码处理部110通过数据总线161与数据存储器部120连接。数据存储器部120进一步分别通过数据总线162与再构成运算部130连接，通过数据总线164与帧存储器140连接。再构成运算部130进一步通过数据总线163与帧存储器140连接。
而且，本发明的图像解码单元100有5个外部连接端子。即，端子Ta151是到熵解码部111的输入端子，端子Tb152是到逆量化部113的输入端子，端子Tc153是到运动补偿部112的输入端子，端子Td154是从数据存储器部120到外部的输出端子，端子Te155是从帧存储器140到外部的输出端子。
本发明的图像解码单元100在解码熵编码的信号时，通过在到帧存储器140的数据传送途中设置输入解码途中的中间数据，输出再构成图像数据的再构成运算部130，并行地处理生成再构成图像数据的处理和在帧存储器140中存储再构成图像数据的处理。由此，高速地进行图像再构成的处理。
参照图3说明本实施例的图像解码单元100的动作。
首先，从帧存储器140将必要的数据通过数据总线164一次取入数据存储器部120。解码处理部110随时存取数据存储器120，同时进行逆DCT部114中的逆DCT处理、运动补偿部112中的整数精度和小数精度的运动补偿处理。逆DCT部114处理的局部预测误差数据被存储到数据存储器A121。
接着，运动补偿部112从端子Tc153或者熵解码部111得到运动向量。(从哪一个中取得在后述的本发明的第2实施例和第3实施例中说明)为了利用该运动向量进行运动补偿，将帧存储器140中存储的再构成图像数据作为整数精度的参考图像通过数据总线164取入数据存储器部120。运动补偿部112对取入数据存储器部120的整数精度的参考图像数据实施小数精度的运动补偿，将得到的小数精度局部预测图像数据存储到数据存储器B122。
在该时刻，分别将逆DCT部114输出的局部预测误差数据存储到数据存储器A121，将运动补偿部112处理的小数精度局部预测图像数据存储到数据存储器B122。
接着，再构成运算部130同时读出数据存储器A121中存储的局部预测误差数据和数据存储器B122中存储的小数精度局部预测图像数据，将其相加之后，将相加结果限制(clip)处理为8比特，依次作为再构成图像数据存储到帧存储器140。
在本实施例中，将再构成运算部130中的运算设为加法和8比特限制处理。通常，图像数据是8比特的正值，但是作为逆DCT部114的输出得到的局部预测误差数据，可能得到正或者负的值，所以通常以9比特来表现。因此，如果仅将局部预测误差数据(9比特·带符号)和局部预测图像信号(8比特·正)相加，则其结果不限于8比特的正值，所以需要进行用于得到正确的再构成图像数据的校正运算。因此，在本实施例中，再构成运算部130进行将相加后的数据限制为8比特的正值的处理。而且，再构成运算部130不预先特别限定于加法和限制处理，也可以根据图像处理的规格，对应加权加法等的处理。
图6是将以上说明的本实施例的图像解码单元100的动作作为定时图表示的情况。即，图6是本发明的第1实施例中图像解码单元100的定时图。以下，以用宏块为单位来进行数据传送和各种图像处理的情况为例，说明其概要。
在图6中，解码处理部定时410表示图3中表示的解码处理部110的各结构要素的处理定时，数据传送定时450表示通过各数据总线的数据传送的定时。处理时间400表示在经过时间的同时，各部的处理从左向右进行。
图3中表示的解码处理部110，如图6所示，按照整数精度运动补偿处理420、小数精度运动补偿处理430、逆DCT处理440的顺序进行处理。在解码处理部110实施整数精度运动补偿处理420时，进行从帧存储器140通过数据总线164向数据存储器部120的整数精度的参考图像数据传送处理460。解码处理部110在结束逆DCT处理440的时刻，分别向数据存储器A121中存储块的256个部分的局部预测误差数据、向数据存储器B122中存储块的256个部分的局部预测图像数据。解码处理部110在结束逆DCT处理440时，并行进行再构成运算处理(在再构成运算部130中的处理)和再构成图像数据的传送处理(从再构成运算部130向帧存储器140的数据传送)470。即，图3所示的再构成运算部130，依次再构成处理宏块256个部分的局部预测误差数据和宏块256个部分的局部预测图像数据，同时存储到帧存储器140。
参照图6对上述的再构成运算处理和图像传送处理470进行更详细的叙述。图6的下半部分，是表示图像解码单元100进行处理的周期数471经过从周期1到周期258。
图6所示的数据存储器A的输出定时472和数据存储器B的输出定时473分别表示经过周期1到周期256，输出数据D0到数据D255的定时。这里，D0表示第0号的宏块数据，D255表示第255号的宏块数据。以下也相同。
再构成运算部的输出定时474表示经过从周期2到周期257，输出数据D0到数据D255的定时。向帧存储器的写入定时475表示经过从周期3到周期258，数据D0到数据D255存储到帧存储器140的定时。
这样，在本实施例中，再构成运算处理和图像传送处理470从周期1到周期258，完成与图像1帧相当的256个宏块的处理。这时，周期1和周期2是传送额外开销(overhead)期间，从周期3到周期258是实际的数据传送期间。
为了使本实施例的特征更明确，将图2表示的改进了现有例的第2改进例作为比较例在下面表示。
图7是改进了现有例的第2改进例的定时图。在图7中，对于与图2相同的处理，通过赋予相同的标号来省略说明。
在图7所示的第2的改进例中，如图7所示，图2中表示的解码处理部60在进行整数精度运动补偿处理420、小数精度运动补偿处理430和逆DCT处理440的处理以后，进行再构成运算处理480。在解码处理部60实施整数精度运动补偿处理420时，进行从帧存储器24到数据存储器部64的整数精度的参考图像数据传送处理460。这样，在解码处理部60完成再构成运算处理480时，进行从数据存储器部64到帧存储器24的再构成结果的数据传送处理490。
图7的下半部分表示再构成结果的数据传送处理490的细节。对于数据存储器的输出定时492，延迟1周期执行向帧存储器的写入定时493，相当于图像1帧的256个宏块的传送处理，在257周期结束。这时，周期1是传送额外开销期间，从周期2到周期257是实际的数据传送期间。
详细比较以上说明的图6和图7。在本实施例的改进了现有例的第2改进例中，在数据传送中浪费的周期数只差1周期。但是，在改进了现有例的第2改进例中，用于再构成运算处理的处理周期数，需要在逆DCT处理440以后，但是在本实施例中，因为该处理和图像传送处理并行进行，所以可以减少这部分的处理周期数。相当于该减少的处理周期数的时间，相当于解码处理全部所需的处理时间的大约7％，由此可知，通过本实施例，可以实现相当高的高速化。
本实施例中图3的帧存储器140，在存储图像的帧数据时，可以是成为多个资源的传送元或者传送目的端的大容量存储器，不论是外带或者内置。而且，可以以单一的存储器构成，也可以以多个存储器构成。更具体来说，如果是外带，则以SDRAM和DRAM来构成，如果是内置，则以混装DRAM和SRAM来构成就可以。
(第2实施例)图4是本发明的第2实施例中的图像编码装置的结构图。本实施例的图像编码装置，包括输入端子201、输出端子202、图像解码单元100、减法计算部210、DCT部212、量化部213、熵编码部214、发送缓冲器215和运动检测部216。
输入端子201连接到减法计算部210的输入和运动检测部216的输入，减法计算部210的另一个输入连接到图像解码单元100的端子Td154，减法计算部210的输出连接到量化部213的输入。量化部213的输出连接到熵编码部214的输入和图像解码单元100的端子Tb152。运动检测部216的另一个输入连接到图像解码单元100的端子Te155。运动检测部216的输出连接到熵编码部214的另一个输入和图像解码单元100的端子Tc153。而且，熵编码部214的输出连接到发送缓冲器215的输入，发送缓冲器215的输出连接到输出端子202。图像解码单元100的端子Ta151什么也不连接。
图4所示的图像解码单元100虽然与图3所示的图像解码单元100左右反转来描画，但是结构和功能全部相同，对各结构要素赋予相同的标号，并省略说明。
以下说明本实施例的图像编码装置的动作的概要。
如图4所示，输入到输入端子201的输入图像，一部分输入到运动检测部216，在运动检测部216中，存储到图像解码单元100的帧存储器140中，与作为参考图像的再构成图像数据比较，求出运动向量。输入到输入端子201的输入图像还输入到减法计算部210。在减法计算部210中，利用上述的运动向量，进行运动补偿处理，与存储在数据存储器部120中的预测图像比较，求出其差分的预测误差数据。该预测误差数据，在DCT部212中被求出DCT系数，在量化部213中被量化，在熵编码部214中，与运动检测部216求出的运动向量一起被编码为可变长编码，被一次存储到发送缓冲器215中以后，作为发送比特流发送到输出端子202。
而且，在量化部213中被量化的DCT系数被送到图像解码单元100的端子Tb152，在图像解码单元100中，利用输入到端子Tc153的运动向量，实施解码处理，并被存储到数据存储器部120和帧存储器140。
在图像解码单元100中，解码处理如第1实施例中说明的那样，是有效利用了中间处理数据的并行处理，进行高速的处理。而且，不用说实施了小数精度的运动补偿。因为已经在第1实施例中进行了该说明，所以这里省略。
这样，本实施例的图像编码装置利用标准地做成的图像解码单元100，可以以较少的要素部件构成，并且利用高速并行处理，可以实现高速化和高性能化。
(第3实施例)图5是本发明的第3实施例中的图像解码装置的结构图。本实施例的图像解码装置，包括输入端子301、接收缓冲器310和图像解码单元100。输入端子301连接到接收缓冲器3 10的输入，接收缓冲器310的输出连接到图像解码单元100的端子Ta151。而且，图像解码单元100的端子Te155连接到外部的图像显示装置320。图像解码单元100的端子Tb152、端子Tc153、端子Td154什么也不连接。
图5所示的图像解码单元100，与图3所示的图像解码单元100的结构和功能完全相同，对各结构要素赋予相同的标号，并省略说明。
以下说明本实施例的图像解码装置的动作的概要。
如图5所示，输入到输入端子301的熵编码的接收比特流，在一次存储到接收缓冲器31中以后，输入到图像解码单元100的端子Ta151。
端子Ta151连接到图像解码单元100的熵解码部111。输入的接收比特流在熵解码部111中，被检测运动向量和量化的DCT系数。分别将运动向量送到运动补偿部112，将量化的DCT系数送到逆量化部113和逆DCT部114。在图像解码单元100中，以后的解码处理和第1实施例中的处理相同，省略说明。
在本实施例的图像解码单元100中，解码处理如第1实施例中说明的那样，是有效利用中间处理数据的并行处理，进行高速的处理。而且，不用说实施了小数精度的运动补偿。
这样，本实施例的图像解码装置，利用标准地做成的图像解码单元100，可以通过仅追加接收缓冲器310作为其他的要素部件来构成，并且利用高速并行处理，可以实现高速化和高性能化。
(第4实施例)图8是本发明的第4实施例中的图像解码单元的结构图。本实施例的图像解码单元包括解码处理部110、数据存储器组500、第1选择器510、第2选择器520、第3选择器530、帧存储器540、再构成运算部550和数据传送控制部560。
数据存储器组500具有数据存储器A501、数据存储器B502、数据存储器C503、数据存储器D504。
图8所示的解码处理部110连接到数据存储器组500的各数据存储器。本实施例的解码处理部110的结构和功能与图3所示的第1实施例中的图像解码单元100的解码处理部110的结构和功能完全相同。因此，在图8中省略其细节，不进行图示。
数据存储器组500的各数据存储器的输出连接到第1选择器510、第2选择器520和第3选择器530。第1选择器510选择的输出连接到再构成运算部550的一个输入。第2选择器520选择的输出连接到再构成运算部550的另一个输入。再构成运算部550的输出连接到第3选择器530的第5输入。第3选择器530的输出连接到帧存储器540。
而且，数据传送控制部560具有数据传送命令发行部561和解码器部562，来自解码器部562的控制信号线C1、C2、C3分别连接到第1选择器510、第2选择器520、第3选择器530。
接着说明本实施例的图像解码单元的动作的概要。
在图8所示的数据存储器组500的各数据存储器中，解码处理部110处理的局部预测图像数据或者局部检测误差数据作为中间处理数据来存储。
第1选择器510按照数据传送控制部560发出的数据传送命令，选择数据存储器组500中的任意一个数据存储器，取得局部预测图像数据S507，输入到再构成运算部550的一端。
另一方面，第2选择器520按照数据传送控制部560发出的数据传送命令，选择数据存储器组500的任意一个数据存储器，取得局部预测误差数据S506，输入到再构成运算部550的另一端。
再构成运算部550从输入的局部预测图像数据和局部预测误差数据生成再构成图像数据S505，将其发送到第3选择器530的第5输入。
第3选择器530按照数据传送控制部560发出的数据传送命令，从数据存储器组500的输出S501到S504，以及再构成运算部550生成的再构成图像数据S505中选择任意一个，将其结果作为传送数据S508发送到帧存储器540。
为了以DSP的命令来实现上述的一般的数据存储器(从图8的数据存储器A501到数据存储器D504)和帧存储器540之间的数据传送，如图9所示，设想了数据传送命令。
即，图9表示本发明的第4实施例中的图像解码单元中使用的数据传送命令600。数据传送命令600包含第1操作601、第2操作602和第3操作603。
第1操作601控制第3选择器530。通过第1操作601中记述的命令，第3选择器530从数据存储器组500的输出S501到S504，以及再构成运算部550生成的再构成图像数据S505中，选择任意一个。
第2操作602控制第1选择器510。通过第2操作602中记述的命令，第1选择器510从数据存储器组500的输出S501到S504中，选择任意一个，输出预测图像数据S507。
第3操作603控制第2选择器520。通过第3操作603中记述的命令，第2选择器520从数据存储器组500的输出S501到S504中，选择任意一个，输出局部预测误差数据S506。
这样，通过以DSP命令记述数据传送命令600，可以进行更复杂的数据传送，并且可以实现可以容易地应对应用环境的富有灵活性的图像解码单元。
而且，通过数据传送命令600的第1操作601，第3选择器530也可以选择再构成运算部550生成的再构成图像数据S505的方法，也是本发明的特征之一。由此，可以实现不对帧存储器540产生影响，伴随再构成运算的数据传送命令。
而且，如果固定存储再构成运算所必需的局部预测图像数据S507和局部预测误差数据S506的数据存储器并预先确定，则通过数据传送命令600的第1操作601，第3选择器530选择了再构成运算部550生成的再构成图像数据S505时，也可以从预先确定的数据存储器取得局部预测图像数据S507和局部预测误差数据S506。这时，数据传送命令600仅指定第1操作601就可以。
这样，本发明的设想之处，是通过在图像信号的解码处理中，生成利用中间数据的再构成图像数据，并行处理再构成图像数据的生成处理和向帧存储器的存储处理，实现图像解码处理的高速化，只要不脱离本发明的宗旨，可以进行各种应用。
按照本发明，通过在图像信号的解码处理中，生成利用中间数据的再构成图像数据，并行处理再构成图像数据的生成处理和向帧存储器的存储处理，可以缩短必要的处理时间，高速执行小数精度的运动补偿，可以提供图像解码单元和利用该解码单元的图像编码装置和编码方法以及图像解码装置和解码方法。
权利要求
1.一种将编码的图像信号解码的图像解码单元，包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据；第3存储器，存储所述再构成运算部中生成的再构成图像数据。
2.如权利要求1所述的图像解码单元，其中所述编码的图像信号是利用DCT和熵编码来编码的图像信号，所述解码处理部具有熵解码部、逆量化部、逆DCT部和运动补偿部，所述熵解码部解码输入的编码的图像信号，生成量化DCT系数和运动向量，所述逆量化部和所述逆DCT部，从所述熵解码部输出的量化DCT系数求出DCT系数并输出，所述运动补偿部利用所述熵解码部输出的运动向量来进行运动补偿处理。
3.如权利要求1所述的图像解码单元，其中所述再构成运算部中生成再构成图像数据的处理和所述第3存储器中存储再构成图像数据的处理，在时间上并行地执行。
4.如权利要求1所述的图像解码单元，其中所述第1存储器中存储的中间数据是所述逆DCT部输出的局部预测误差数据，所述第2存储器中存储的中间数据是所述运动补偿部输出的局部预测图像数据，所述再构成运算部取得所述第1存储器中存储的局部预测误差数据和所述第2存储器中存储的局部预测图像数据，与该取得的定时同步，生成再构成图像数据，将生成的再构成图像数据依次存储到第3存储器。
5.如权利要求1所述的图像解码单元，其中所述再构成运算部将从所述第1存储器和所述第2存储器取得的数据相加，将该相加的结果归一化为一定的比特数并输出。
6.如权利要求1所述的图像解码单元，其中所述再构成运算部进行的相加结果的归一化是对8比特的正的值的归一化。
7.如权利要求1所述的图像解码单元，其中所述运动补偿部进行小数精度的运动补偿。
8.一种解码编码的图像信号的图像解码单元，包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；存储器组，包含存储所述解码处理部生成的所述至少2种中间数据的多个数据存储器；第1选择部件，选择所述存储器组的任意一个数据存储器，取得所述至少2种中间数据中的第1中间数据；第2选择部件，选择所述存储器组的任意一个数据存储器，取得所述至少2种中间数据中的第2中间数据；再构成运算部，利用所述第1选择部件取得的第1中间数据和所述第2选择部件取得的第2中间数据，生成再构成图像数据；第3选择部件，选择所述存储器组的任意一个数据存储器或者所述再构成运算部的输出，取得数据；存储器，存储所述第3选择部件取得的数据；数据传送控制部，向所述第1选择部件、所述第2选择部件和所述第3选择部件发送数据传送命令，控制各个数据传送元。
9.如权利要求8所述的图像解码单元，其中所述编码的图像信号是利用DCT和熵编码来编码的图像信号，所述解码处理部具有熵解码部、逆量化部、逆DCT部和运动补偿部，所述解码处理部生成至少2种中间数据。
10.如权利要求8所述的图像解码单元，其中所述第1中间数据是局部预测图像数据，所述第2中间数据是局部预测误差数据。
11.一种利用权利要求8记载的图像解码单元来进行的数据传送方法，包括发出数据传送命令的步骤，其中包含第1操作，对于所述第3选择部件，指定所述存储器组的任意一个数据存储器或者所述再构成运算部输出作为数据传送元；第2操作，对于所述第1选择部件，指定所述存储器组的任意一个数据存储器作为数据传送元；第3操作，对于所述第2选择部件，指定所述存储器组的任意一个数据存储器作为数据传送元，接受所述数据传送命令的选择部件，从指定的数据传送元取得数据的步骤；以及对于所述第3选择部件，在发出选择所述再构成运算部输出的数据传送命令时，所述第1选择部件从指示的数据存储器取得第1中间数据，所述第2选择部件从指示的数据存储器取得第2中间数据，所述再构成运算部利用这些数据生成再构成图像数据，依次存储到所述存储器的步骤。
12.一种利用权利要求8记载的图像解码单元来进行的数据传送方法，包括发出数据传送命令的步骤，其中包含对于所述第3选择部件，指定所述存储器组的任意一个数据存储器或者所述再构成运算部输出作为数据传送元的操作；所述第3选择部件在接受了所述数据传送命令以后，从指定的数据传送元取得数据的步骤；以及对于所述第3选择部件，在发出选择所述再构成运算部输出的数据传送命令时，所述第1选择部件从预先指示的数据存储器取得第1中间数据，所述第2选择部件从预先指示的数据存储器取得第2中间数据，所述再构成运算部利用这些数据生成再构成图像数据，依次存储到所述存储器的步骤。
13.一种图像编码装置，包括图像解码单元，其中包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有逆量化部、逆DCT部和运动补偿部；运动检测部，对于输入的输入图像，利用所述图像解码单元输出的再构成图像数据作为参考图像，检测输入图像的运动向量；预测误差处理部，取得所述图像解码单元根据所述运动向量处理运动补偿并输出的预测图像和所述输入图像的差分，求出预测误差；DCT部，对所述预测误差进行DCT处理并求出DCT系数；量化部，量化所述DCT系数并求出量化DCT系数；熵编码部，将所述量化DCT系数和所述运动向量编码为可变长编码，生成编码图像数据；发送缓冲器，暂时存储所述解码图像数据，依次作为发送比特流送出。
14.如权利要求13所述的图像编码装置，其中在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行。
15.如权利要求13所述的图像编码装置，其中所述再构成运算部将从所述第1存储器和第2存储器取得的时间相加，将该相加的结果归一化为一定的比特数并输出。
16.一种图像解码装置，包括图像解码单元，其中包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有熵解码部、逆量化部、逆DCT部和运动补偿部；以及一次性存储编作为码图像数据的接收比特流的接收缓冲器，存储在所述接收缓冲器中的所述编码图像数据被输入到所述图像解码单元的所述熵解码部，所述图像解码单元，从输入的所述编码图像数据算出DCT系数和运动向量，作生成为所述中间数据的局部预测误差数据和局部预测图像数据，利用这些数据生成再构成图像数据，将生成的所述再构成图像数据作为图像形象存储到所述第3存储器，进一步将存储的图像形象输出到连接到外部的图像显示装置。
17.如权利要求16所述的图像解码装置，其中在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行。
18.如权利要求16所述的图像解码装置，其中所述再构成运算部将从所述第1存储器和第2存储器取得的数据相加，将该相加的结果归一化为一定的比特数并输出。
19.一种将编码的图像信号解码的图像解码方法，包括解码编码的图像信号，生成至少2种中间数据的解码处理步骤；将所述至少2种中间数据存储到第1存储器和第2存储器的中间数据存储步骤；输入存储在所述第1存储器和所述第2存储器中的所述中间数据，生成再构成图像数据的再构成运算步骤；将在所述再构成运算步骤中生成的再构成图像数据存储到第3存储器的再构成图像数据存储步骤，在所述再构成运算步骤中生成再构成图像数据的处理和在所述再构成图像数据存储步骤中存储再构成图像数据的处理，在时间上并行地执行。
20.如权利要求19所述的图像解码方法，还包括以下步骤所述编码的图像信号是利用DCT和熵编码来编码的图像信号，所述解码处理步骤，包含熵解码步骤、逆量化步骤、逆DCT步骤和运动补偿步骤，所述熵解码步骤，解码输入的编码的图像信号，输出量化DCT系数和运动向量，所述逆量化步骤和所述逆DCT步骤，从所述熵解码步骤中输出的量化DCT系数求出DCT系数并输出，所述运动补偿步骤，利用所述熵解码步骤中输出的运动向量，进行运动补偿处理。
21.如权利要求19所述的图像解码方法，所述第1存储器中存储的中间数据是所述逆DCT步骤中输出的局部预测误差数据，所述第2存储器中存储的中间数据是所述运动补偿步骤中输出的局部预测图像数据，所述再构成运算步骤包括取得所述第1存储器中存储的局部预测误差数据和所述第2存储器中存储的局部预测图像数据，与该取得的定时同步，生成再构成图像数据，将生成的再构成图像数据依次存储到第3存储器的步骤。
22.如权利要求19所述的图像解码方法，所述再构成运算步骤包括将从所述第1存储器和第2存储器中取得的数据相加，将该相加的结果归一化为一定的比特数并输出的步骤。
23.如权利要求19所述的图像解码方法，所述运动补偿步骤包括进行小数精度的运动补偿的步骤。
24.一种图像编码方法，利用图像解码单元进行，该图像解码单元包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有逆量化部、逆DCT部和运动补偿部，在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行，该图像编码方法包含以下步骤运动检测步骤，对于输入的输入图像，利用所述图像解码单元输出的再构成图像数据作为参考图像，检测输入图像的运动向量；预测误差处理步骤，取得所述图像解码单元根据所述运动向量处理运动补偿并输出的预测图像和所述输入图像的差分，求出预测误差；DCT处理步骤，对所述预测误差进行DCT处理并求出DCT系数；量化步骤，量化所述DCT系数并求出量化DCT系数；熵编码步骤，将所述量化DCT系数和所述运动向量编码为可变长编码，生成编码图像数据；暂时存储所述编码图像数据，依次作为发送比特流送出的步骤。
25.一种图像解码方法，利用图像解码单元进行，该图像解码单元包括解码处理部，将编码的图像信号解码，生成至少2种中间数据；数据存储器部，具有存储所述至少2种中间数据的第1存储器和第2存储器；再构成运算部，输入所述第1存储器和所述第2存储器中存储的所述中间数据，生成再构成图像数据，具有存储在所述再构成运算部中生成的再构成图像数据的第3存储器，所述解码处理部具有熵解码部、逆量化部、逆DCT部和运动补偿部，在所述再构成运算部中生成再构成图像数据的处理和在所述第3存储器中存储再构成图像数据的处理，在时间上并行执行，该图像解码方法包含以下步骤将接收到的编码图像数据的接收比特流一次性存储到接收缓冲器的步骤；将存储在所述接收缓冲器中的所述编码图像数据输入到所述图像解码单元的所述熵解码部的步骤，所述图像解码单元，从输入的所述编码图像数据算出DCT系数和运动向量，作为所述中间数据生成局部预测误差数据和局部预测图像数据，利用这些数据生成再构成图像数据，将生成的所述再构成图像数据作为图像形象存储到所述第3存储器，进一步将存储的所述图像形象输出到连接到外部的图像显示装置的步骤。
全文摘要
本发明提供一种图像解码单元和使用它的图像编码装置、编码方法、图像解码装置和解码方法。图像解码单元(100)包括解码处理部(110)、数据存储器部(120)、再构成运算部(130)和帧存储器(140)，解码处理部(110)包括熵解码部(111)、运动补偿部(112)、逆量化部(113)和逆DCT部(114)，所述数据存储器部(120)具有数据存储器A(121)和数据存储器B(122)。在解码处理过程中，输入解码途中的中间数据，通过在向帧存储器(140)传送数据的途中设置输出再构成图像数据的再构成运算部(130)，可以并行处理生成再构成图像数据的处理和将再构成图像数据存储到帧存储器(140)的处理。由此，高速地进行图像再构成的处理。
文档编号G06K9/36GK1551635SQ20041003534
公开日2004年12月1日 申请日期2004年4月22日 优先权日2003年5月8日
发明者滨田真纳, 九郎丸俊一, 俊一 申请人:松下电器产业株式会社