专利名称：用于通信终端的视频编码/解码装置和方法
技术领域：
本发明涉及一种多媒体通信终端，特别涉及一种用于多媒体通信终端的改进的视频编码/解码装置和方法。
在多路复用传输系统中，应该编码音频和视频信息以保持音频和视频信息的平衡。然而，相对于音频信息，视频信息占用被发送的整个数据组的很大部分。典型的，通过分离的信道分别编码和发送音频和视频信息。此外，具有一种方法，对音频和视频信息使用一个传输信道。在此情况下，对于计算被用于同步音频和视频信息的视频信息延迟时间来说，编解码算法变得复杂。
通常，多媒体通信中视频信息的端到端延迟是200～400ms(H.324和3G-324标准中可允许的总延迟是400ms)。该延迟时间引起视频波浪起伏，并且大大多于30～60ms的音频信息。视频和音频之间的延迟差会降低多媒体通信质量。因此，为了使视频信息与音频信息同步，应该把音频信息延迟到音频和视频信息之间的延迟差那样多。为了把音频信息延迟到延迟差那样多，需要用于暂时存储音频信息的存储器缓冲器，并且延迟差越大，需要的存储器缓冲器大小就越大。全部的延迟能被分成在编解码上引起的传播延迟和处理延迟。然而，由于由信道引起的延迟是相对固定的，因此减少编解码上引起的处理延迟是关键的。
在现有技术的视频编解器中，可以在硬件以及软件中实现，视频信息延迟包括大约200～400ms的处理延迟。尽管这些延迟等级符合H.321和3G-324标准建议，但是由延迟引起的动画上的起伏移动使用户感觉不舒服，严重地影响画面质量。此外，由于视频和音频延迟之间的差是很大和变化的，这就难于精确的使音频和视频信息同步。
而且，在现有技术的编解码器中，由于要存储音频信息以便与较多延迟的的视频信息相同步，因此，需要附加的用于存储音频信息的存储器资源，这是设计上所不可避免的。
本发明的另一个目的是提供一种视频编码/解码装置和方法，其通过减少多媒体通信终端中视频和音频信息之间的延迟差，能够使存储器使用和存储器管理的复杂性最小化。
本发明的再一个目的是提供一种视频编码/解码装置和方法，其通过将视频信息的延迟减小到等于或小于音频信息延迟，能够精确使音频信息和视频信息同步。
为实现上述目的，本发明的视频编码/解码装置包括编码单元，其处理以时间片为单位发送的视频数据；多路复用/去多路复用器，其多路复用来自编码单元的视频数据和去多路复用通过通信信道接收的视频数据；解码单元，其以时间片为单位来处理中多路复用/去多路复用的视频数据。
编码单元包括第一多个时间片存储器，其暂时存储从摄像机输入的以时间片为单位的视频数据；视频编码器，其以时间片为单位编码来自各个第一时间片存储器的视频数据；量化器，其量化来自视频编码器的视频数据；第一宏块缓冲器，其在向多路复用/去多路复用发送视频数据之前，以宏块为单位暂时存储来自量化器的视频数据。
所述编码单元进一步包括第一反向量化器，将第一宏块缓冲器的输出输入到它，并将其输出发送到视频编码器。
编码单元进一步包括量化控制器，其根据宏块缓冲器的输出控制第一宏块缓冲器的输入。
量化控制器监控第一宏块缓冲器的输出，并确定输出的传输比特是否是大于或小于预定值。
当第一宏块缓冲器的输出传输比特大于预定值时，以使量化器的输出减少，和当第一宏块缓冲器的输出传输比特小于预定值时，量化控制器控制量化器，以使量化器的输出增加。
当传输比特很小时，量化控制器控制量化器，以便将填充比特插入到第一宏块缓冲器的输出。
编码单元包括第二宏块缓冲器，其暂时存储在多路复用器/去多路复用器上去多路复用的视频数据；第二反向量化器，其根据第二宏块缓冲进行反向的量化；视频解码器，其解码来自反向量化器的视频数据；和多个第二时间片存储器，其暂时存储来自视频解码器的视频数据，并以时间片为单位将视频数据发送到显示器。
为实现上述目的，本发明的视频编码/解码方法包括处理从摄像机输入的以时间片为单位的视频数据；通过通信信道，发送处理以时间片为单位的视频数据；通过通信信道接收视频数据；和处理所接收的以时间片为单位的视频数据。
输入视频数据处理包括并行地暂时存储输入的以时间片为单位的视频数据；以预定的顺序并行地编码存储的视频数据；量化编码的视频数据；暂时存储量化的视频数据；和连同音频和控制信号宏块为单位多路复用暂时存储的视频数据。
输入视频数据处理进一步包括反向量化以宏块为单位存储的视频数据和把反向量化的视频数据反射到视频数据编码。
输入视频数据处理进一步包括监控存储的以宏块为单位的视频数据的比特数和根据比特数控制量化。
量化控制包括确定存储的以宏块为单位的视频数据的比特数是否是大于或小于预定值，当存储的以宏块为单位的视频数据的比特数大于预定值时，减少量化数量，和当以宏块为单位存储的视频数据的比特数小于预定值时，增加量化数量。
量化控制进一步包括当以宏块为单位存储的视频数据的比特数相对于预定值很小时，插入填充比特。
接收的视频数据处理包括去多路复用接收的视频数据，以宏块为单位暂时的存储视频数据，反向量化以宏块为单位存储的视频数据，以时间片为单位解码反向量化的视频数据，以时间片为单位暂时存储并行解码的视频数据，和以预定的顺序把视频数据发送到显示器。
在本发明的另一个实施例中，用于通信终端的视频编码/解码装置包括以时间片为单位处理数据的第一数据处理单元。第二数据处理单元，其多路复用来自第一数据处理单元的数据和去多路复用通过通信信道接收的数据。第三数据处理单元，其以时间片为单位处理来自第二处理单元的数据。
第一数据处理单元是编码单元，第二数据处理单元是多路复用器/去多路复用器，和第三数据处理单元是解码单元。第一，第二和第三数据处理单元驻留在至少一个处理器上，而且被处理的数据的一个类型是视频数据。
下面的和部分的描述将使前述的本发明的特点更加显而易见，根据下述内容，本领域普通技术人员将可以学习本发明的实践。本发明的目的和优点将可以被实现和获得，如所附权利要求所特别指出的那样。
视频编码单元10包括彼此并行连接到摄像机(未示出)的多个第一时间片存储器11a和11b。视频编码器12被连接到第一时间片存储器11a和11b。第一帧存储器13被连接到视频编码器12，其用于以帧为单位暂时存储视频编码器12中处理的视频数据。量化器14，其用于量化来自视频编码器12的视频数据，第一宏块缓冲器15，其用于以宏块为单位存储于量化器14上量化的视频数据，量化控制器16，其用于控制量化器14，和第一反向量化器17，其用于接收第一宏块缓冲器15的输出和反向量化第一宏块缓冲器15的输出，以便向视频编码器12提供反向量化的数据。
在该示例的实施例中，由于第一时间片存储器11a和11b并行地连接在摄像机和视频编码器12之间，因此，从摄像机输出的视频数据被分别地同时输入到第一时间片存储器11a和11b，并由视频编码器12以时间片为单位来处理。
第一反向量化器17接收和反向量化第一宏块缓冲器15的输出，以便把反向的视频数据提供到视频编码器12。视频编码器12处理反向量化的视频数据，然后，将其反射到第一帧存储器13中存储的视频数据。
量化控制器16通过比较监控的输出与每宏块传输比特(M_bits)的平均数，来监控宏块缓冲器15的输出，以调整宏块缓冲器15中存储的数据量，其中根据多路复用器/去多路复用器50的传输信道速率来确定该传输比特。量化控制器16控制量化器14，以便如果宏块缓冲器15的输出比特大于传输比特(M_bits)的平均数，就减少宏块缓冲器15的输入数据，和如果宏块缓冲器15的输出比特小于传输比特(M_bits)的平均数，就增加宏块缓冲器15的输入数据。在宏块缓冲器15的输入比特少的情况下，量化控制器16控制量化器14，以便将填充比特插入到宏块缓冲器15的输出。
对从宏块缓冲器15输出的视频数据与包括语音的音频进行多路复用，H.245控制多路复用器/去多路复用器50上的信号，然后，通过物理信道发送和/或到解码单元30，而不进行多路复用。
视频解码单元30包括第二宏块缓冲器31，其用于存储多路复用器/去多路复用器50上去多路复用的视频数据。第二反向量化器32反向量化来自第二宏块缓冲器31的视频数据，视频解码器33解码来自第二反向量化器32的视频数据，第二帧存储器34，其用于以帧为单位暂时存储解码的视频数据，和多个第二时间片存储器35a和35b，其用于存储视频解码器33上解码的视频数据，和把视频数据输送到显示单元(未示出)。
第二宏块缓冲器31以与视频编码单元10相同的方式，以宏块为单位暂时地存储多路复用器/去多路复用器50上去多路复用的视频数据，并将视频数据提供到第二反向量化器32。
视频解码器33把第二反向量化器32上反向量化的视频数据输送到第二时间片存储器35a和35b，以便在各个第二时间片存储器35a和35b中存储的视频数据并行地被同时输送到显示器(未示出)。
此后将描述上述结构示例的视频编码/解码装置的操作。图2是流程图，示例了本发明的视频数据编码/解码方法的视频数据编码过程。如图2所示，在步骤S201，一旦从摄像机(未示出)输入了视频数据，在步骤S202，以时间片为单位在时间片存储器11a和11b中存储视频数据，然后将其输送到视频编码器12。在步骤S203，在视频编码器12上适当地处理视频数据，然后将其传送到量化器14，以便在步骤S204根据量化控制器16的控制将其量化。在步骤S205，在宏块缓冲器15中暂时存储量化的视频数据，并以宏块为单位将其传送到多路复用器/去多路复用器50以及反向量化器17。
在步骤S206，对传送到多路复用器/去多路复用器50的视频数据连同包括语音的音频和H.245控制信号一起进行多路复用，然后，在步骤S207，以比特流的格式通过物理信道将其发送。
此外，反向量化传送到反向量化器17的视频数据，然后，将其发送到视频编码器12，以便通过视频编码器12处理反向量化的视频数据，然后将其反射到第一帧存储器13中存储的视频数据。
图3示流程图，示例了本发明视频编码/解码方法的视频数据解码的过程。如图3所示，在步骤S301，如果通过物理信道接收了数据，则在步骤S302，通过多路复用器/去多路复用器50去多路复用数据，和在步骤S303从数据中提取视频数据。在步骤S304，在第二宏块缓冲器31中以宏块为单位暂时存储提取的数据，然后将其发送到第二反向量化器32，以便在步骤S305对其反向量化。将反向量化的视频数据发送到视频解码器33，以便在步骤S306对其解码，然后在步骤S307，在多个第二时间片存储器35a和35b中，以时间片为单位暂时存储解码的视频数据。结果，多个时间片存储器35a和35b中存储的视频数据在步骤S308被并行地输送到显示器(未示出)。
如上所述，根据本发明优选实施例的视频编码/解码装置以时间片为单位处理视频数据，以减少在编码器和解码器上引起的处理延迟。因而，即使当通过通信信道接收视频数据时，视频上的移动也是平滑的。
此外，由于在视频编码/解码装置中以时间片为单位处理视频数据，因此，使用几个时间片存储器而不是较大的帧存储器，能够减少画面帧所需的存储器大小。而且，本发明视频编码/解码装置中，将视频信息延迟减少到小于或等于音频信息延迟，以使不需要用于使音频信息和视频信息同步的附加的存储器。
前述的实施例和优点仅仅是示例性的而不会构成对本发明的限制。本发明的教导能容易的应用到其它类型的装置。本发明的描述意在示例，而不会限制权利要求的范围。对于本领域普通技术人员来说，许多替换，修改，和变化将是显而易见的。在权利要求书中，装置加功能语句意在覆盖在此执行所述功能的所述的结构，并且不仅是结构等效也是等效的结构。
权利要求
1.一种用于通信终端的一种视频编码/解码装置，其包括编码单元，其处理以时间片为单位被发送的视频数据；多路复用器/去多路复用器，其多路复用来自编码单元的数据和去多路复用通过通信信道接收的视频数据；和解码单元，其以时间片为单位处理来自多路复用器/去多路复用器的视频数据。
2.根据权利要求1所述的视频编码/解码装置，其中所述编码单元包括多个第一时间片存储器，其以时间片为单位暂时存储从图像输入设备输入的视频数据；视频编码器，其以时间片为单位编码来自各个所述第一时间片存储器的视频数据；量化器，其量化来自所述视频编码器的视频数据；和第一宏块缓冲器，以宏块为单位暂时存储来自所述量化器的视频数据。
3.根据权利要求2所述的视频编码/解码装置，其中所述图像输入设备是相机。
4.根据权利要求2所述的视频编码/解码装置，其中所述编码单元进一步包括第一反向量化器，所述第一宏块缓冲器的输出被输入到它，以及它的输出被发送到所述视频编码器。
5.根据权利要求2所述的视频编码/解码装置，其中所述编码单元进一步包括量化控制器，其控制量化器，以便根据宏块缓冲器的输出调整所述第一宏块缓冲器的输入。
6.根据权利要求5所述的视频编码/解码装置，其中所述量化控制器监控所述第一宏块缓冲器的输出，并确定输出的比特是否是大于或小于预定值。
7.根据权利要求6所述的视频编码/解码装置，其中所述量化控制器控制量化器，以便当所述第一宏块缓冲器的输出比特大于预定值时，减少所述量化器的输出。
8.根据权利要求6所述的视频编码/解码装置，其中所述量化控制器控制量化器，以便当所述第一宏块缓冲器的输出比特小于预定值时，增加量化器的输出。
9.根据权利要求6所述的视频编码/解码装置，其中所述量化控制器控制量化器，以便当所述第一宏块缓冲器的输出比特很小时，插入填充比特到所述第一宏块缓冲器的输出。
10.根据权利要求1的视频编码/解码装置，其中所述解码单元包括第二宏块缓冲器，其暂时存储多路复用器/去多路复用器上去多路复用的视频数据；第二反向量化器，其反向量化来自所述第二宏块缓冲器的视频数据；视频解码器，其解码来自所述反向量化器的视频数据；和多个第二时间片存储器，其暂时存储来自所述视频解码器的视频数据，并以时间片为单位把视频数据发送到显示器。
11.一种视频编码/解码方法，该方法包括以时间片为单位处理从图像输入设备输入的视频数据；通过通信信道发送以时间片为单位处理的视频数据；通过通信信道接收视频数据；和处理以时间片单位接收的视频数据。
12.根据权利要求11所述的视频编码/解码方法，其中所述图像输入设备是相机。
13.根据权利要求11所述的视频编码/解码方法，其中所述输入视频数据处理包括以时间片为单位并行地暂时存储输入的视频数据；以预定的顺序并行地编码所存储的视频数据；量化编码的视频数据；暂时存储量化的视频数据；和以宏块为单位多路复用暂时存储的视频数据、以及音频和控制信号。
14.根据权利要求13所述的视频编码/解码方法，其中所述输入视频数据处理进一步包括反向量化以宏块为单位的所存储的视频数据；和把所述反向量化的视频数据反射到视频数据编码。
15.根据权利要求14所述的视频编码/解码方法，其中所述输入视频数据处理进一步包括监控以宏块为单位所存储的视频数据的比特数；和根据所述比特数控制量化。
16.根据权利要求15所述的视频编码/解码方法，其中所述量化控制包括确定是否以宏块为单位存储的视频数据的比特数是大于或小于预定值；当以宏块为单位存储的视频数据的比特数大于预定值时，减少量化数量；和当以宏块为单位存储的视频数据的比特数小于预定值时，增加量化数量。
17.根据权利要求16所述的视频编码/解码方法，其中所述量化控制进一步包括当以宏块为单位存储的视频数据的比特数相对于预定值是很小时，插入填充比特。
18.根据权利要求11所述的视频编码/解码方法，其中所述接收的视频数据处理包括去多路复用接收的视频数据；以宏块为单位暂时存储视频数据；反向量化以宏块为单位存储的视频数据；解码以时间片为单位的反向量化的视频数据；以时间片为单位并行的暂时存储解码的视频数据；和以预定的顺序发送视频数据到显示器。
19.一种用于通信终端的视频编码/解码装置，其包括第一数据处理单元，其以时间片为单位处理数据；第二数据处理单元，其多路复用来自所述第一数据处理单元的数据和去多路复用通过通信信道接收的的数据；第三数据处理单元，其以时间片为单位处理来自所述第二处理单元的数据。
20.根据权利要求19所述的视频编码/解码装置，其中所述第一数据处理单元是编码单元。
21.根据权利要求19所述的视频编码/解码装置，其中所述第二数据处理单元是多路复用器/去多路复用器。
22.根据权利要求19所述的视频编码/解码装置，其中所述第三数据处理单元是解码单元。
23.根据权利要求19所述的视频编码/解码装置，其中第一，第二和第三数据处理单元的至少其中之一驻留在至少一个处理器中。
24.根据权利要求19所述的视频编码/解码装置，其中所述处理的数据的一种类型是视频数据。
全文摘要
一种视频编码/解码装置，包括编码单元，其以时间片为单位处理被发送视频数据，多路复用器/去多路复用器，其多路复用来自所述编码单元的视频数据，并去多路复用通过通信信道接收的视频数据，解码单元，其以时间片为单位处理来自多路复用器/去多路复用器的视频数据。将视频信息延迟减少到小于或等于音频信息延迟，以便不需要为了与视频信息同步来延迟音频信息的附加的存储器。
文档编号G06T9/00GK1477876SQ0314534
公开日2004年2月25日 申请日期2003年7月4日 优先权日2002年7月4日
发明者徐裕锡 申请人:Lg电子株式会社