专利名称：信息处理设备、方法和程序的制作方法
技术领域：
本发明涉及信息处理设备、方法和程序，尤其涉及在分组传输/ 接收时能够减小延迟的信息处理设备、方法和程序。
背景技术：
按照惯例，进行经因特网等的视频和音频的流式传输。此时，在 发生分组丢失或达到延迟的情况下，会出现数据质量降低的担心。例
如，就釆用帧间差分的编码方法，例如MPEG(运动图4象专家组)或者 H.26x系列压缩方法来说，如果由于分组丟失的缘故，存在某帧数据 的遗失，那么出现影响后续各帧的图像质量的所谓误差传播。
另外，就MPEG方法来说，运动估计提高了压缩率，不过进行 运动估计使算法复杂，并且处理时间与帧大小的平方成正比地增大， 从而原则上出现几帧的编码延迟。在进行双向实时通信的情况下，延 迟时间非常接近于许可的250ms的延迟时间，不可忽略。
与此相反，诸如由JPEG(联合图像专家组)2000代表的帧内编码 不使用帧间差分信息，从而不会出现如上所述的延迟。不过，压缩是 以帧为增量进行的，从而在开始编码之前，需要等待至少l帧。目前 的常见系统每秒为30帧，从而为了开始编码需要大约16ms的等待时 间。
一直存在进一步降低该延迟的需求，并且在除编码和解码之外的 各个部分的延迟的降低也已变得必需。
就处理延迟之一而论，存在其中进行RTP(实时传输协议)封包和 解包的封包/解包处理。按照惯例，在进行解包时，在等待累积一定量 的分組之后开始处理，因此出现延迟。就累积分组的原因而论，在不 被分割的情况下，通过因特网能够传送的分组的最大大小存在限制，具有一定含义的一系列数据是在被分成多个分组的情况下传送的。同 时在解包时，进行緩存，直到分割的分组都存在为止，之后开始解包， 从而增大延迟，另外还需要緩冲器资源。
即，就在编码数据的接收端的设备来说，接收的分组由解包处理 单元解包，提取的编码数据由解码器解码，不过此时，在解包处理和 解码处理都需要具有緩冲器，从而存在緩冲存储器容量可能增大的顾 虑。
另一方面，构思了降低緩冲存储器容量的各种方法(例如，专利 文件1)。
在专利文件1中，在中继设备接收的分组被累积在緩冲存储器中 以便纠错时的同时，进行朝着下游端的顺序传输，而不等待整个纠错 计算块的分组到达，在探测到遗漏分组的情况下，通过进行纠错计算 恢复遗漏的分组，按照跟在前面发送的分组之后的格式传送恢复的分 组。
专利文献1:日本未经审查的专利申请公开No.2005-12753。
发明内容
但是，就在上述专利文献l中描述的方法来说，为了进行纠错， 在中继设备中也需要緩冲存储器。即，如上所述，存在緩冲存储器容 量可能增大的顾虑。另外，就在专利文献l中描述的方法来说，如果 中继设备进行分组纠错，分组的顺序被改变。因此，在接收设备进行 解包的时候，需要进行重排，从而不仅解包处理变得复杂，延迟时间 增大，而且緩冲器是解包处理所必需的。如果在接收设备进行已被封 包和传送的编码数据的解码，那么除了解包緩冲器之外，还需要解码 緩冲器，从而存在不仅存储器容量会进一步增大，而且延迟时间也会 进一步增大的顾虑。
鉴于常规技术的实际状态，提出了本发明，以便能够减小当封包 (packetize)和发射/接收数据时发生的延迟时间。
本发明的一个方面是一种执行向每隔预定增量编码的图像数据
7的编码数据中添加报头信息并进行封包的封包处理的信息处理设备，
所述设备包括创建所述报头信息的创建装置；间隔事先确定的每个 预定数据量，把所述编码数据分成多个部分数据的分割装置；把所述 创建装置创建的所述报头信息添加到由所述分割装置分割所述编码 数据而获得的多个部分数据中的每一个中并进行封包的封包装置；和 关于由所述封包装置产生的分组中有效负载是多个部分数据中的起 始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组 的起始标记，并关于有效负载是多个部分数据中的结尾部分数据的最 终分组，设置包括在报头信息中的指示所述最终分组的结尾标记的标 记设置装置。
编码数据可以是已以区域(precinct)为增量进行小波变换和熵编 码的编码数据，所述区域是为产生图像数据的 一行最低频带分量所必 需的包括其它子带的行组。
编码数据可以按照解码的顺序供给。
还可以包括每隔预定增量编码图像数据产生编码数据的编码装 置；其中分割装置分割由编码装置产生的编码数据。
编码装置供给格式与报头信息相同的附加信息；创建装置利用由 编码装置供给的附加信息创建报头信息。
编码装置供给指示编码的成功或失败的标记信息，并且在根据标 记信息确定编码失败的情况下，封包装置只使用由创建装置创建的报 头信息进行封包。
本发明的另 一个方面是一种执行向每隔预定增量编码的图像数 据的编码数据中添加报头信息并进行封包的封包处理的信息处理设 备的信息处理方法，包括下述步骤创建报头信息；间隔事先确定的 每个预定数据量，把编码数据分成多个部分数据；把报头信息添加到 分割编码数据而获得的多个部分数据中的每一个中并进行封包；和关 于产生的分组中有效负载是多个部分数据中的起始部分数据的起始 分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关 于有效负载是多个部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记。
本发明的另一个方面是一种使计算机执行向每隔预定增量编码 的图像数据的编码数据中添加报头信息并进行封包的封包处理的程
序，所述程序使计算机执行包括下述步骤的信息处理创建报头信息； 间隔事先确定的每个预定数据量，把编码数据分成多个部分数据；把 报头信息添加到分割编码数据而获得的多个部分数据中的每一个中， 并进行封包；和关于产生的分组中有效负载是多个部分数据中的起始 部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的 起始标记，并关于有效负载是多个部分数据中的结尾部分数据的最终 分组，设置包括在报头信息中的指示所述最终分组的结尾标记。
本发明的另 一方面是一种执行从分组提取有效负载数据的解包 (depacketize)处理的信息处理设备，包括获取外部供给的分组的 获取装置；根据获取装置获取的分组的报头信息，确定在所述获取装 置的获取中是否发生分组丢失的丢失确定装置；和在丢失确定装置确 定未发生分组丢失的情况下，从获取装置获取的分组提取有效负载数 据，并供给下游处理单元，在丢失确定装置确定发生了分组丟失的情 况下，丢弃获取装置获取的分组的供给装置。
在包括在报头信息中的序列号和在前次获得的分组的序列号不 连续的情况下，丢失确定装置确定发生了分组丢失，所述序列号是指 示分组的顺序的信息。
还可以包括在丢失确定装置确定发生了分组丟失的情况下，通知 下游处理单元的通知装置。
还可以包括确定获取装置获取的分组是否是由序列号连续的多 个分组构成的 一组分組的起始分组的头部确定装置；其中在丢失确定 装置确定未发生分组丢失的情况下，并且另外在头部确定装置确定是 所述一组分组的起始分组的情况下，供给装置还把报头信息供给下游 处理单元。
在丢失确定装置确定发生了分组丢失的情况下，供给装置丟弃所 述分组，直到头部确定装置确定获取装置已获取新的一组分组的起始分组为止。
有效负载数据可以是已以区域为增量进行小波变换和熵编码的 编码数据，所述区域是为产生 一行最低频带分量所必需的包括其它子 带的行组。
编码数据可以按照解码的顺序被供给。
在下游处理单元，还可以包括执行解码编码数据的解码处理的解 码处理执行装置，所述编码数据是由供给装置供给的有效负载数据。
解码处理执行装置可以包括临时保持从供给装置供给的编码数 据的保持装置；以区域为增量对保持装置保持的编码数据解码的解码 装置；和对解码装置解码获得的系数数据，进行小波逆变换的小波逆
变换装置。
还可以包括根据获取装置获取的分组的报头信息确定熵编码成 功还是失败的编码成功/失败确定装置；其中在编码成功/失败确定装 置确定编码失败的情况下，供给装置只供给报头信息。
本发明的另 一方面是一种执行从分组提取有效负载数据的解包 处理的信息处理设备的信息处理方法，包括下述步骤获取外部供给 的分组；根据获取的分组的报头信息，确定是否发生了分组丢失；和 在确定未发生分组丟失的情况下，从获得的分组提取有效负载数据并 供给下游处理单元，在确定发生了分组丢失的情况下，丢弃获得的分 组。
本发明的另一方面是一种使计算机执行从分组提取有效负载数 据的解包处理的程序，所述程序使计算机执行包含下述步骤的信息处 理获取外部供给的分组；根据获取的分组的报头信息确定是否发生 了分组丟失；和在确定未发生分组丟失的情况下，从获得的分组提取 有效负载数据并供给下游处理单元，在确定发生了分组丢失的情况 下，丟弃获得的分组。
就本发明的一个方面来说，创建报头信息，并且每隔预先确定的 预定数据量，把编码数据分割成多个部分数据；报头信息被添加到通 过分割编码数据而获得的多个部分数据中的每一个中并被封包；关于分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关 于有效负载是多个部分数据中的结尾部分数据的最终分组，设置包括 在报头信息中的指示所述最终分组的结尾标记。
就本发明的另一个方面来说，获取外部供给的分组；根据获取的 分组的报头信息，确定在获取时是否发生了分组丢失；和在确定未发 生分组丟失的情况下，从获取的分组提取有效负载数据并供给下游处 理单元，在确定发生了分组丟失的情况下，丢弃获得的分组。
按照本发明，能够进行分组的传输/接收。特别地，能够减小当 封包和发射/接收数据时发生的延迟时间。
图l是图解说明应用本发明的传输系统的配置例子的方框图。 图2是图解说明图1中的编码单元的配置例子的方框图。 图3是示意说明小波变换的略图。 图4是示意说明小波变换的略图。
图5是图解说明通过利用5x3滤波器提高到分割级别=2进行滤 波的例子的略图。
图6是示意图解说明按照本发明的小波变换和小波逆变换的流 程的略图。
图7是示意图解说明区域(precinct)报头的配置例子的示图。 图8是图解说明画面报头的配置例子的示图。 图9是图解说明在编码单元和封包处理单元之间交换的信息的 例子的示图。
图IO是图解说明图1中所示的封包处理单元的详细配置例子的 方框图。
图ll是说明区域的例子的示意图。
图12是说明创建分组的例子的示意图。
图13是说明RTP报头的配置例子的示意图。图14是说明RTP有效负载报头的配置例子的示意图。 图15是图解说明公共报头的配置例子的示图。 图16是图解说明量化参数信息的配置例子的示图。 图17是图解说明大小信息的配置例子的示图。 图18是图解说明格式信息的配置例子的示图。 图19是图解说明画面信息的配置例子的示图。 图20是图解说明色彩信息的配置例子的示图。 图21是图解说明图1中所示的解包处理单元的详细配置例子的 方框图。
图22是图解说明控制模式转变的方式的例子的示图。 图23是图解说明在解包单元和解码单元之间交换的信息的例子 的示图。
图24是图解说明图1中所示的解码单元的详细配置例子的方框图。
图25是说明编码处理流程的例子的流程图。
图26是说明封包处理流程的例子的流程图。
图27是说明开始模式处理的流程的例子的流程图。
图28是说明模式共有处理的流程的例子的流程图。
图29是说明待机模式处理的流程的例子的流程图。
图30是说明处理模式处理的流程的例子的流程图。
图31是说明丢失模式处理的流程的例子的流程图。
图32是说明解码控制处理的流程的例子的流程图。
图33是说明解码处理的流程的例子的流程图。
图34是说明错误通知操作处理的流程的例子的流程图。
图35是说明处理错误通知的方式的例子的示意图。
图36是图解说明RTP有效负载报头的另一个配置例子的示图。
图37是图解说明片断信息的配置例子的示图。
图38是说明封包处理的流程的另一个例子的流程图。
图39是示意说明传输设备和接收设备的每个组件执行并行操作的方式的例子的略图。
图40是图解说明图1中所示的编码单元的另一个配置例子的方框图。
图41是说明在编码单元端进行小波系数重排处理的情况下的处 理流程的略图。
图42是说明在解码单元端进行小波系数重排处理的情况下的处 理流程的略图。
图43是图解说明图1中所示的编码单元的又一个配置例子的方框图。
图44是图解说明与图43中的编码单元对应的解码单元的配置例 子的方框图。
图45是说明应用本发明的信息处理系统的配置例子的示图。 附图标记的说明
100传输系统，102传输设备，103接收设备，110线路，132解 包单元，133解码单元，202RTP报头创建单元，203公共报头创建 单元，204扩展报头创建单元，205画面信息创建单元，206标记确 认单元，207大小确认单元，208分段处理单元，209封包单元，252 报头信息分析单元，253控制模式转变单元，254控制单元，255报 头供给单元，256数据供给单元，257错误通知单元，258控制信号 供给单元，351控制信息获取单元，352解码控制单元，353解码处 理执行单元，354报头获取单元，355数据获取单元，356错误通知 获取单元，357丟弃处理单元
具体实施例方式
下面说明本发明的一个实施例。
图1是图解说明应用本发明的传输系统的配置例子的方框图。 图1中，传输系统100是数据传输系统，其中传输设备102执行 由成像设备101生成的图像数据的压缩编码、封包和传输，接收设备 103经线路110接收、解包和解码传送的分组，显示设备104显示获
13得的图像数据的图像。成像设备101具有使用CCD(电荷耦合器件)或CMOS(互补金属 氧化物半导体)等的成像设备，所述成像设备使对象成像，把成像图像 转换成数字数据的图像数据，并把获得的图像数据供给传输设备102。传输设备102具有编码单元121，封包处理单元122和传输单元 123。传输设备102在编码单元121用预定方法对从成像设备101供 给的图像数据编码，在封包处理单元122对编码获得的编码数据封包， 并利用预定的通信方法把生成的分组从传输单元发送给线路110。线路110连接传输设备102和接收设备103，是用于把分组从传 输设备102发送给接收设备103的任意传输介质。接收设备103具有接收单元131，解包处理单元132和解码单元 133。接收设备103在接收单元131接收通过线路110传送的分组， 在解包处理单元132从接收的分组提取编码数据，和在解码单元133 利用和传输设备102的编码单元121对应的解码方法，对提取的编码 数据解码，并把获得的基带图像数据输出给显示设备104。显示设备104具有显示器，在其显示器上显示从接收设备103 供给的图像数据。图1中的传输系统100是其中归因于封包处理单元122的封包处 理的延迟时间和归因于解包处理单元132的解包处理的延迟时间被减 少，并且能够减少从在成像设备101成像到在显示设备104上显示图 《象的延迟时间的系统。就图1中的传输系统100来说，成像设备101被表示成提供传输 设备102传送的图像数据的设备，不过能够提供图像数据的任何设备 都满足成像设备101的要求。另外，显示设备104被表示成使用接收 设备103接收的图像数据的设备，不过能够使用图像数据的任何设备 都满足显示设备104的要求。另外，尽管只有图像数据被描述成被传送的数据，不过，其它数 据，比如音频数据可以和图像数据一起被传送。传输设备102执行的分组传输方法可以是单播方法，其中只对接收设备103进行传输，或者可以是多播方法，其中对包括接收设备在 内的多个设备进行传输，或者可以是广播方法，其中对未指定数目的 设备进行传输。线路110可以是任何形式，只要能够传送分組，可以是电缆线路， 或者可以是无线线路，或者可以是包括这两者的线路。另外，尽管在 图1中线路110用一个箭头表示，不过线路110可以是专用或通用传 输电缆，或者可以包括一个或多个通信网络，比如LAN(局域网)或因 特网，或者可以包括某一种类的通信中继设备。此外，线路110的线 路(通道)的数目可以是任意数目。下面，说明图1中所示的传输设备102和接收设备103的部件的细节。图2是图解说明图1中的传输设备102的编码单元121的内部配 置例子的方框图。在图2中，编码单元121具有小波变换单元150， 中间计算緩冲单元151，系数重排緩冲单元152，系数重排单元153, 速率控制单元154，和熵编码单元155。输入编码单元121的图像数据被临时保存在中间计算緩冲单元 151中。小波变换单元150对保存在中间计算緩冲单元151中的图像 数据进行小波变换。即，小波变换单元150从中间计算緩冲单元151 读出图像数据，利用分析滤波器对读出的图像数据进行滤波处理，以 生成低带分量和高带分量的系数数据，并把生成的系数数据保存在中 间计算緩沖单元151中。小波变换单元150包括水平分析滤波器和垂 直分析滤波器，并关于屏幕水平方向和屏幕垂直方向对图像数据组进 行分析滤波处理。小波变换单元150再次读出保存在中间计算緩冲单 元151中的低带分量的系数数据，利用分析滤波器对读出的系数数据 进行滤波处理，以进一步生成高带分量和低带分量的系数数据。生成 的系数数据被保存在中间计算緩冲单元151中。小波变换单元150重复该处理，当分割级别达到预定级别时，从 中间计算緩冲单元151读出系数数据，并把读出的系数数据写入系数 重排緩冲单元152。15系数重排单元153按照预定顺序读出写入系数重排緩冲单元152 中的系数数据，并将其供给熵编码单元155。熵编码单元155利用预 定的熵编码方法，比如Huffman编码，算术编码等对供给的系数数据 编码。熵编码单元155与速率控制单元154同步工作，并净皮控制，以致 待输出的压缩编码数据的位速率通常是恒定值。即，根据来自熵编码 单元155的编码数据信息，速率控制单元154向熵编码单元155供给 用于实现控制的控制信号，以便在由熵编码单元155压缩编码的数据 的位速率到达目标值时或者即将达到目标值之前，结束熵编码单元 155的编码处理。在按照从速率控制单元154供给的控制信号结束编 码处理的时候，熵编码单元155输出编码数据。注意其中熵编码单元155首先对从系数重排单元153读出的系数 数据进行量化，并对获得的量化系数进行诸如Huffman编码，算术编 码之类的信源编码处理的安排预期进一步提高压缩效率。任何方法可 被用于这种量化，使用一般的手段，即，其中如下面的表达式(l)中所 示，系数数据W被除以量化步长A的技术就已足够。 量化的系数-W/A (1) 此时的量化步长A是在速率控制单元154计算的。 熵编码单元155把编码获得的编码数据供给封包处理单元122。 下面，更详细地说明由图2中的小波变换单元150进行的处理。 首先，示意说明小波变换。就关于图像数据的小波变换来说，如图3 中示意所示，关于通过分割获得的低空间频带递归地重复把图像数据 分割成高空间频带和低空间频带的处理。从而，低空间频带数据被驱 赶到较小的区域中，从而能够实现有效的压缩编码。现在，图3是其中把图像数据的最低频带分量区分割成低带分量 区L和高带分量区H的分割处理被重复三次，从而获得分割级别=3(表 示分层的分割级别的总数)的情况的例子。在图3中，"L，，和"H，，分别 表示低带分量和高带分量，并且就"L，，和"H"的顺序来说，前侧表示 作为水平方向上的分割结果的频带，后侧表示作为垂直方向上的分割结果的频带。另外，"L，，和"H"之前的数字表示其区域的分割级别， 分量频带级别越低，表示该级别的值就越小。另外，从图3中所示的例子中可看出，处理是按照从屏幕的右下 区域到左上区域的步进方式进行的，从而把低带分量分割成较小的区 域。即，就图3中所示例子来说，屏幕的右下区域被设置成包括最少 的低带分量(包括最多的高带分量)的区域3HH，通过把屏幕分割成四 个区域而获得的左上区域被进一步分割成四个区域，在分割的这四个 区域中，左上区域被进一步分割成四个区域。最左上侧的区域被设置 成包括最多的低带分量的区域0LL。关于低带分量重复进行变换和分割的原因是因为屏幕的能量集 中在低带分量上。从其中当分割级别从分割级别=1(其例子示于图4 的A中)的状态进行到分割级别=3(其例子示于图4的B中)的状态时， 形成如图4中的B中所示的子带的情形也可理解这一点。例如，图3 中所示的小波变换的级别为3，其结果是形成10个子带。小波变换单元150通常利用由低带滤波器和高带滤波器构成的 滤波器组进行如上所述的处理。注意数字滤波器通常具有多个抽头长 度的脉冲响应，即滤波器系数，从而需要达到能够进行滤波处理那种 程度地预先緩存输入图像数据或系数数据。另外类似地，即使在多阶 段地进行小波变换的情况下，也需要达到能够进行滤波处理那种程度 地緩存在前一阶段生成的小波变换系数。作为小波变换的一个具体例子，下面说明采用5x3滤波器的方 法。采用5x3滤波器的方法也和JPEG 2000标准一起使用，是一种能 够能很少的滤波器抽头进行小波变换的极好方法。如下面的表达式(2)和(3)中所示，5x3滤波器的脉冲响应(Z变换 表达式)由低带滤波器H。(z)和高带滤波器H"z)构成。按照表达式(2) 和(3)，可以发现低带滤波器H。(z)为5个抽头，高带滤波器H"z)为3 个抽头。Ho(z"(-l+2z"+6z-2+2z-3-z-4)/8 (2) H"z"(画l+2z"-z-2)/2 (3)按照表达式(2)和(3)，能够直接计算低带分量和高带分量的系数。 这里，采用提升(Lifting)技术使滤波处理的计算能够被减少。下面，更具体地说明小波变换方法。图5图解说明其中一直到分 割级别=2，执行按照5x3滤波器的提升的滤波处理的例子。注意，在 图5中，表示成位于附图左侧的分析滤波器的部分是小波变换单元150 的滤波器。另外，表示成位于附图右侧的合成滤波器的部分是后面说 明的解码设备中的小波逆变换单元的滤波器。注意就下面的说明来说，我们假定以屏幕的左上角的像素作为显 示设备等的起始，从屏幕的左端到右端扫描像素，从而构成一行，并 从屏幕的上端到下端进行每一行的扫描，从而构成一个屏幕。在图5中，左端的一列图像说明布置在该行初始图像数据上的对 应位置的像素数据是沿垂直方向排列的。即，依据利用垂直滤波器垂 直扫描的屏幕上的像素执行在小波变换单元150的滤波处理。从左端 数起的第 一 到第三列图解说明分割级别=1滤波处理，第四到第六列图 解说明分割级别=2滤波处理。从左端数起的第二列图解说明基于左端 的初始图像数据的像素的高带分量输出，从左端数起的第三列图解说 明基于初始图像数据和高带分量输出的低带分量输出。关于分割级别 =1滤波处理的输出进行分割级别=2滤波处理，如从左端数起的第四 到第六列中所示。就分割级别=1滤波处理来说，作为滤波处理的第一阶段，根据 初始图像数据的像素计算高带分量系数数据，根据在滤波处理的第一 阶段计算的高带分量系数数据，和初始图像数据的像素，计算低带分 量系数数据。在图5中的左侧(分析滤波器一侧)的第一到第三列图解 说明了分割级别=1滤波处理的例子。计算的高带分量系数数据被保存 在图2中的系数重排緩冲单元152中。另外，计算的低带分量系数数 据被保存在图2中的中间计算緩冲单元151中。在图5中，系数重排緩冲单元152被表示成由点划线围绕的部分， 中间计算緩冲单元151被表示成由虚线围绕的部分。根据保持在中间计算緩冲单元151的分割级别=1滤波处理的结果，进行分割级别=2滤波处理。就分割级別=2滤波处理来说，计算 为分割级别=1滤波处理下的低带分量系数的系数数据被看作包括低 带分量和高带分量的系数数据，进行和分割级别=1滤波处理相同的滤 波处理。分割级别=2滤波处理计算的高带分量系数数据和低带分量系 数数据被保存在系数重排緩冲单元152中。借助小波变换单元150，分别沿屏幕的水平方向和垂直方向进行 如上所述的滤波处理。例如，首先，沿水平方向进行分割级别=1滤波 处理，生成的高带分量和低带分量的系数数据被保存在中间计算緩冲 单元151中。随后，沿垂直方向对保存在中间计算緩冲单元151中的 系数数据进行分割级別=1滤波处理。按照在分割级别=1的水平方向 和垂直方向的处理，形成均通过把高带分量进一步分割成高带分量和 低带分量而获得的系数数据的区域HH和区域HL，和均通过把低带 分量进一步分割成高带分量和低带分量而获得的系数数据的区域LH 和区域LL的四个区i或随后，在分割级别=2，分别关于水平方向和垂直方向，对在分割 级别=1生成的低带分量系数数据进行滤波处理。即，在分割级别=2， 通过在分割级别=1分割而形成的区域LL被进一 步分割成四个区域， 在区域LL内形成区域HH，区域HL，区域LH和区域LL。小波变换单元150被配置成通过关于屏幕的垂直方向把滤波处 理分割成以数行为增量的处理，即分成多次，步进地按照小波变换进 行滤波处理。就图5中所示的例子来说，在与从屏幕上的第一行开始 的处理等同的第一处理，对七行进行滤波处理，在与从第八行开始的 处理等同的第二处理及之后的处理，每四行进行滤波处理。行数以在 区域被分割成高带分量和低带分量的两个区域之后，为生成一行最低 频带分量所必需的行数为基础。注意，下面把为产生一行最低频带分量(一行最低频带分量子带 的系数数据)所必需的包括其它子带的行组称为区域(precinct)(或者行 块)。这里， 一行表示在对应于小波变换之前的图像数据的画面、场或 每个子带内形成的一行像素数据或系数数据。即，就小波变换之前的初始图像数据来说，区域(或行块)表示与为在小波变换之后，生成一 行最低频带分量子带系数数据所必需的行数等同的像素数据组，或者 通过对像素数据组进行小波变换而获得的每个子带的系数数据组。按照图5，通过分割级别-2滤波处理而获得的系数C5是根据系 数C4和保存在中间计算緩冲单元151中的系数Ca计算的，系数C4 是根据保存在中间计算緩冲单元151中的系数Ca，系数Cb和系数Cc 计算的。此外，系数Cc是根据保存在系数重排緩冲单元152中的系 数C2和C3，以及第五行的像素数据计算的。另外，系数C3是根据 第五行到第七行的像素数据计算的。从而，为了获得作为分割级别=2 下的低带分量的系数C5，需要第五行到第七行的像素数据。另一方面，就第二滤波处理及后续滤波处理来说，可以采用已在 迄今为止的滤波处理计算，并保存在系数重排緩冲单元152中的系数 数据，从而能够所必需的行数限制到较小。即，按照图5，在通过分割级别=2滤波处理而获得的低带分量系 数中，系数C9(它是系数C5的下一个系数)是根据系数C4和系数C8， 以及保存在中间计算緩冲单元151中的系数Cc计算的。系数C4已在 上面提及的第一滤波处理计算得到，并保存在系数重排緩冲单元152 中。类似地，系数Cc已在上面提及的第一滤波处理计算得到，并被 保存在中间计算緩冲单元151中。因此，就第二滤波处理来说，仅仅 新近进行计算系数C8的滤波处理。进一步利用第八行到笫十一行执 行该新的滤波处理。从而，就第二滤波处理及后续滤波处理来说，能够采用在迄今为 止的滤波处理计算，并保存在中间计算緩冲单元11和系数重排緩冲 单元152中的数据，从而每个处理能够被抑制成处理每四行。注意在屏幕上的行数不等于供编码的行数的情况下，利用预定方 法复制初始图像数据的各行，以致行数与供编码的行数相符，从而进 行滤波处理。从而，通过关于整个屏幕的各行(以区域为增量)分割多次，步进 地进行能够获得一行的最低频带分量系数数据的滤波处理，从而能够20在发送编码数据时的延迟较低的情况下获得解码图像。
为了进行小波变换，需要用于执行小波变换本身的第 一緩冲器， 和在获得预定的分割级别之前，保存在执行处理期间生成的系数的第
二緩冲器。第一緩冲器对应于中间计算緩冲单元151，并在图5中被 表示成环绕以虛线。另外，第二緩冲器对应于系数重排緩冲单元152， 在图5中被表示成环绕以点划线。在解码时采用保存在第二緩冲器中 的系数，从而这些系数经历下一阶段的熵编码处理。
下面说明图2中的系数重排单元153的处理。如上所述，在小波 变换单元150计算的系数数据被保存在系数重排緩冲单元152中，其 顺序由系数重排单元153重排，重排后的系数数据以编码单元为增量 被读出并发送给熵编码单元155。
如前所述，就小波变换来说，从高带分量端到低带分量端生成系 数。在图5中的例子中，首先，在分割级别=1滤波处理，根据初始图 像的像素数据顺序生成高带分量系数C1，系数C2和系数C3。随后 对在分割级别=1滤波处理获得的低带分量系数数据进行分割级别=2 滤波处理，从而顺序生成低带分量系数C4和系数C5。即，首先，按 照系数Cl,系数C2，系数C3，系数C4和系数C5的顺序生成系数 数据。根据小波变换的原理，系数数据的生成顺序始终是该顺序(从高 带到低带的顺序)。
相反，在解码端，为了低延迟地立即解码，需要根据低带分量生 成和输出图像。于是，理想的是从低带分量端到高带分量端重排在编 码端生成的系数数据，并将其提供给解码端。
下面关于图5中的例子给出更详细的说明。图5的右侧表示进行 小波逆变换的合成滤波器侧。采用在编码端的第一次滤波处理生成的 最低频带分量系数C4和系数C5，以及系数Cl,进行在解码端的包 括第一行的输出图像数据的第一次合成处理(小波逆变换处理)。
即，就第一次合成处理来说，按照系数C5，系数C4和系数C1 的顺序从编码端向解码端供给系数数据，从而在解码端，由合成级别 =2处理(它是对应于分割级别=2的合成处理)进行关于系数C5和系数
21C4的合成处理，从而生成系数Cf,并把系数Cf保存在緩冲器中。随 后利用合成级别=1处理(它是对应于分割级别=1的合成处理)进行关 于系数Cf和系数Cl的合成处理，从而输出笫一行。
从而，就第一次合成处理来说，按照系数Cl,系数C2，系数 C3，系数C4和系数C5的顺序在编码端生成，并保存在系数重排緩 冲单元152中的系数数据被重排成系数C5，系数C4，系数C1等等 的顺序，并被提供给解码端。
注意就在图5的右侧所示的合成滤波器侧来说，从编码端供给的 系数在括号中由该系数在编码端的编号引用，并在括号外表示该合成 滤波器的行序。例如，系数C1(5)表示在图5的左侧的分析滤波器侧， 该系数是系数C5，并且在合成滤波器侧，位于第一行上。
如果发生源自前次合成处理或者源自编码端的合成处理，那么通 过采用合成处理所供给的系数数据，能够在解码端进行釆用在编码端 的第二次滤波处理和之后的滤波生成的系数数据的合成处理。在图5 的例子中，在解码端的采用在编码端的第二次滤波处理生成的低带分 量系数C8和系数C9进行的第二次合成处理还需要在编码端的第一 次滤波处理生成的系数C2和系数C3，第二行到第五行被解码。
即，就第二次合成处理来说，按照系数C9，系数C8，系数C2， 系数C3的顺序从编码端向解码端供给系数数据。在解码端，就合成 级别=2处理来说，采用系数C8和系数C9，以及在第一次合成处理 从编码端供给的系数C4生成系数Cg，并且系数Cg被保存在緩冲器 中。采用系数Cg和上面说明的系数C4，以及由第一次合成处理生成 并保存在緩冲器中的系数Cf，生成系数Ch，系数Ch被保存在緩冲器 中。
就合成级别=1处理来说，釆用在合成级别=2处理生成并保存在 緩冲器中的系数Cg和系数Ch，从编码端供给的系数(就合成滤波器来 说，表示成系数C6(2))，和系数C3(就合成滤波器来说，表示成系数 C7(3))，进行合成处理，第二行到第五行被解码。
从而，就第二次合成处理来说，按照系数C2，系数C3，(系数C4，系数C5)，系数C6，系数C7，系数C8和系数C9的顺序在编码 端生成的系数数据按照系数C9，系数C8，系数C2，系数C3等等的 顺序被重排和供给解码端。
从而，就第三次合成处理和之后的合成处理来说，保存在系数重 排緩冲野外52中的系数数据被重排，并被供给解码单元，其中以四 行为增量对各行解码。
注意就在解码端的，与在编码端的包括位于屏幕底端的各行的滤 波处理对应的合成处理(下面称为最后一次)来说，在直到此时生成的 并且保存在緩冲器中的系数数据都被输出，从而输出行的数目增大。 就图5中的例子来说，在最后一次中输出八行。
注意系数重担单元153的系数数据的重排处理把在读出保存在 系数重排緩冲单元152中的系数数据的情况下的读出地址设置成预定 顺序。
下面将参考图6更详细地说明上面的处理。图6是通过采用5x3 滤波器， 一直到分割级别=2进行小波变换的滤波处理的例子。就小波 变换单元150来说，作为在图6中的A中所示的一个例子，在水平方 向和垂直方向上分别对第一行到第七行的输入图像数据进行第一次 滤波处理。
就第一次滤波处理的分割级别=1处理来说，生成三行的系数Cl， 系数C2和系数C3的系数数据，并且作为在图6中的B中所示的例 子，分别被置于在分割级别=1的情况下形成的区域HH，区域HL和 区域LH中(图6中的B中的WT-1)。
另外，在分割级别=1的情况下形成的区域LL由分割级别=2的 水平方向和垂直方向的滤波处理进一步分割成四个区域。就在分割级
别=2的情况下生成的系数C5和C4来说， 一行按系数C5被置于分 割级别-l的区域LL中， 一行按照系数C4被置于每个区域HH、区 域HL和区域LH中。
就小波变换单元150的第二次滤波处理和之后的滤波处理来说， 以四行(图6中的A中的In-2…)为增量进行滤波处理，在分割级别=1
23下以两行为增量生成系数数据(图6中的B中的WT-2)，在分割级别 =2下以一行为增量生成系数数据。
就图5中的第一次的例子来说，在分割级别=1滤波处理下生成 两行的系数C6和系数C7的系数数据，并且作为在图6中的B中所 示的一个例子，被布置在在由分割级别1下形成的区域HH，区域HL 和区域LH的第一次滤波处理生成的系数数据之后。类似地，在分割 级别=1的区域LL内，在分割级别=2滤波处理下生成的一行的系数 C9被布置在区域LL中， 一行的系数C8被布置在每个区域HH，区 域HL和区域LH中。
在对如图6中的B中所示经过小波变换的数据解码的情况下， 作为在图6中的C中所示的一个例子，关于在编码端的第一行到第七 行的第一次滤波处理，输出在解码端的第一次合成处理的第一行(图6 中的C中的Out-l)。之后，关于在编码端的从第二次到最后一次之前 的滤波处理，在解码端一次输出四行(图6中的C中的Out-2…)。关 于在解码端的最后一次的滤波处理，在解码端输出八行。
从高带分量端到低带分量端，由小波变换单元150生成的系数数 据被顺序保存在系数重排緩冲单元152中。就系数重排单元153来说， 当系数数据被累积在系数重排緩冲单元152中，直到能够进行上述系 数数据重排为止时，按照合成处理所必需的顺序重排系数数据，并从 系数重排緩冲单元152中读出系数数据。读出的系数数据被顺序供给 熵编码单元155。
如上所述以区域为增量编码的图像数据(编码数据)被供给封包 处理单元122。此时，熵编码单元155以区域为增量，把与图像数据 有关的信息供给封包处理单元122，作为报头信息(区域报头)。图7 图解说明区域报头的配置例子。
如图7中所示，区域报头171由4个字(32x4位)的数据构成，包 括诸如PID， AT， AID， FT， F， IF，区域时间戳记，量化系数和区 域码长之类的信息。
PID(Precinct ID)是指示从画面的头部开始计算的区域的编号的
2412位信息。AT(Align Unit Type)是指示在区域内配置的对准单元的属 性的4位信息。对准单元是区域内已被分成预定数据增量，例如编码 增量等的编码数据。即，区域由一个或多个对准单元构成。AID(Align Unit ID)是指示从区域的头部开始计数的对准单元的编号的5位信息。 FT(Field Type)是指示画面是什么场，逐行扫描场或隔行扫描场的2 位信息。CF (Component Flag)是指示在亮度分量Y，色差分量Cb和 色差分量Cr这些分量中，多个分量已被一起放入单个对准单元或区 域中的3位信息。
IF(Incomplete Flag)是指示由于某种原因，关于其的编码已失败 的对准单元或区域的l位标记信息。该失败范围^皮局限于由PID， AT 和AID指示的有效负载。
区域时间戳记(Precinct Time Stamp)是指示区域的时间戳记的 低阶32位的信息。量化系数(QP Y或C)是指示用于量化亮度分量Y 或色差分量C的量化系数的值的16位信息。区域码长(PrecinctCode Length Y或C)是指示该区域的亮度分量或色差分量C的编码数据的 数据长度的26位信息。
另夕卜，熵编码单元155以画面为增量，把与图像数据相关的信息 供给封包处理单元122作为报头信息(画面报头)。图8图解说明画面 报头的配置例子。
如图8中所示，画面报头172由26个字(32x26位)的数据构成， 包括诸如PI， w， CEF， CBD， DL， WF， PDI， SF， FR， AR， DBSZ, 完整时间戳记，V0起始位置，SD， H起始位置，VF， V总大小，TSD， H总大小，PXCS， V大小，VSD， H大小，BRT， CTS和WTm。
PI ( Profile Indication)是用于指定简表的5位信息。w是用于指 示是否包括加权表的l位标记信息，加权表是在分组中设置加权系数 的定制值的表信息。CEF ( Color Extension Flag )是指示是否把扩展 报头用于色彩信息的l位标记信息。CBD (Component Bit Depth) 是指示分量的位深度的5位信息。保存从预先规定的值中减去"8"的 值。DL (DWT Level)是指示小波变换的分割次数(分割级别)的3位信息。WF (Wavelet Filter)是指示用于小波变换的滤波器的种类 的2位信息。PDI (Picture Discontinuity Indication)是指示时间戳 记的连续性的l位信息。SF (Sampling Format)是指示色差釆样方 法的2位信息。
FR (帧速率)是指示帧速率的1位信息。AR (长宽比)是指示 像素长宽比的6位信息。DBSZ (解码器緩冲器大小)是指示在解码 器的区域緩冲器大小的4位信息。完整时间戳记(FTS(Full Time Stamp)是指示实际大小的时间戳记的46位信息。
VO起始位置(FFVS ( First Field Vertical Start))是指示起始场 的垂直方向值像素开始位置的13位信息。SD( Start Diff)是指示FFVS 和第二场之间的差别的2位信息。H起始位置(HS( Horizontal Start)) 是指示水平方向上的有效像素起始位置的13位信息。VF(视频格式) 是指示压缩信号的视频格式的4位信息。
V总大小(FFVTS ( First Field Vertical Total Size))是指示包括 起始场的空白在内的像素的总数的13位信息。TSD ( Total Size Diff) 是指示FFVTS和第二场之间的差别的2位信息。H总大小(HTS (Horizontal Total Size))是指示包括水平方向上的空白在内的像素的 总数的13位信息。PXCS (Pixel Clock Scale)是指示时钟的刻度的3 位信息。
V大小(FFVVS ( First Field Vertical Valid Size))是指示起始 场的垂直方向值像素大小的13位信息。VSD (Valid Size Diff)是指示 FFVVS和第二场之间的差别的2位信息。H大小(HVS ( Horizontal Valid Size))是指示水平方向上的值像素大小的13位信息。BRT(B Value Reset Timing)是指示B值的重置计时的2位信息。
CTS(Custom Table Size)是指示定制表的大小的16位信息。存在 和指定值的数目一样多的后续定制值，其大小为CTSx2字节。WTm (Weighting Table m)是指示第m个加权表的16xm位信息。
注意实际上，如图9中所示，除了数据之外，从编码单元121 还向封包处理单元122供给属性信息，VALID信息等等。属性信息是指示待供给的数据是报头数据还是图像数据，指示是亮度分量数据
还是色差分量数据等等的信息，VALID信息是通知数据的读取计时 的信息。
封包处理单元122根据单独指定的数据的大小和分组大小，对每 个预定数据增量(区域)供给的编码数据进行封包处理。
图IO是图解说明图1中的封包处理单元122的内部配置例子的 方框图。
在图10中，封包处理单元122包括数据获取单元201， RTP(实 时传输协议)报头创建单元202，公共报头创建单元203，扩展报头创 建单元204，画面信息创建单元205，标记确认单元206，大小确认单 元207,分段处理单元208，封包单元209和输出单元210。
数据获取单元201根据和数据一起供给的属性信息和VALID信 息等等，获得从编码单元121供给的编码数据和分组等等。例如，当 获得区域报头171时，数据获取单元201将其供给RTP报头创建单 元202，公共报头创建单元203,扩展报头创建单元，标记确认单元 206和大小确定单元207。另外，当获得画面报头时，数据获取单元 201将其供给画面信息创建单元205。此外，当获得编码数据时，数 据获取单元201将其供给分段处理单元208。
当数据获取单元201获得区域报头时，RTP报头创建单元202 根据获得的区域报头，创建RTP报头，所述RTP报头是RTP分组 的报头。RTP报头的细节将在后面说明。RTP报头创建单元202把 创建的RTP报头供给封包单元209，并通知公共报头创建单元203处 理结束。
当收到来自RTP报头创建单元202的通知时，公共报头创建单 元203根据数据获取单元201获得的区域报头171，创建公共报头， 所述公共报头是附于根据该区域创建的每个分组上的报头。公共报头 包括和该区域相关的基本信息。公共报头的细节将在后面说明。公共 报头创建单元203把创建的公共报头供给封包单元209，并通知扩展 报头创建单元204处理结束。
27当收到来自公共报头创建单元203的通知时，扩展报头创建单元 204根据数据获取单元201获得的区域报头171,创建用于扩展报头 的信息，在所述扩展报头中，酌情提供与该区域相关的，未包括在公 共报头中的信息。创建扩展报头能够为发射方实现灵活、有效的报头 创建。尽管扩展报头的信息的内容是可选的，不过该信息的内容可以 是例如与量化系数相关的信息，与大小相关的信息等等。扩展报头的 细节将在后面说明。扩展报头创建单元204把创建的扩展报头供给封 包单元209,并通知画面信息创建单元205处理结束。
当收到来自扩展报头创建单元204的通知，并且数据获取单元 201获得画面报头172时，画面信息创建单元205根据画面报头172， 创建包括与图像相关的信息在内的画面信息。画面信息的细节将在后 面说明。画面信息创建单元205把创建的画面信息供给封包单元209， 使画面信息被插入扩展报头中，并通知标记确认单元206处理结束。 注意在数据获取单元201还未获得画面报头172的情况下，画面信息 创建单元205通知标记确认单元206处理结束，而不创建画面信息。
当收到来自画面信息创建205的通知时，标记确认单元206参考 包括在数据获取单元201获得的区域报头171中的IF,按照该标记的 值，确定是否把编码数据包括在分组中。例如，在"IF-1"的情况下， 标记确认单元206确定该区域的数据的编码已失败，使数据获取单元 201放弃(不获得)该不可解码的编码数据，并控制封包单元20仅仅用 报头信息封包(以便不包括有效负载)。另外，在"IF-O"的情况下，标 记确认单元206确定该区域的编码已成功，使封包单元209进行包括 有效负载的封包，并通知大小确认单元207处理结束。
当收到来自标记确认单元206的通知时，大小确认单元207根据 包括在数据获取单元201获得的区域报头中的区域码长，确认区域的 数据大小是否大于预先单独设置的分组大小(包括在单个分组中的有 效负载数据大小的最大值)。例如，在区域的数据大小大于分组大小的 情况下，大小确认单元207控制分段处理单元208把数据获取单元201 获得的编码数据分割成每个分组大小。相反，在区域的数据大小不大于分组大小的情况下，大小确认单元207控制分段处理单元208，以 便不分割数据获取单元201获得的编码数据。
在区域的数据大小大于分组大小的情况下，分段处理单元208 由大小确认单元207控制，以便把数据获取单元201获得的编码数据 分割成每个分组大小，并提供给封包单元209。即，这种情况下，每 次数据获取单元201获得一个分组大小的编码数据时，在还考虑到报 头部分的情况下，分段处理单元208把该一个分组大小的编码数据作 为有效负载提供给封包单元209。
相反，在区域的数据大小不大于分组大小的情况下，分段处理单 元208由大小确认单元207控制，以便把数据获取单元201获得的编 码数据不做改变地供给封包单元209。即，这种情况下，分段处理单 元208把数据获取单元201获得的一个区域的编码数据作为有效负载 提供给封包单元209。
封包单元209利用从各个部分供给的报头信息，对从分段处理单 元208供给的有效负载封包。例如，在一个区域的编码数据由被分段 处理单元208分割成多个有效负载的情况下，封包单元209把每个有 效负载必需的报头信息添加到每个有效负载中，并封包每个有效负 载。另外，在分段处理单元208将不分割编码数据的情况下，封包单 元209添加从分段处理单元208供给的单个有效负载所必需的报头信 息，并进行封包。此外，在标记确认单元206指令在分组中不包括有 效负载的情况下，封包单元209根据该指令，仅仅利用报头信息进行 封包。
另外，封包单元209酌情设置包括在生成的分组的公共报头中的 标记信息，例如SFF， M等的值。SFF(Start Fragment Flag)是指示 该分组是否是包括区域的起始部分的分组(起始分组)的标记， M(Marker)是指示该分组是否是包括区域的结尾部分的分组(最终分 组)的标记。在解包处理单元132进行解包处理时参考这些标记信息。
例如，在分段处理单元208分割编码数据的情况下，封包单元 209把通过分割单个区域的编码数据而生成的有效负载组的起始有效
29负载的分组的SFF设为1，把最终有效负载的分组的M设为1。
另外，在分段处理单元208不分割编码数据的情况下，封包单元 209把生成的单个分组的SFF和M都设为1。
通过按照这种方式设置诸如SFF和M之类标记信息，解包处理 单元132通过参考该标记信息，能够容易地知道分组是区域的起始分 组，最终分组，还是另一分组。因此，解包处理单元132能够减小如 后所述的待机时间，并且能够减小解包处理的延迟时间。
封包单元209把生成的分组供给输出单元210。
输出单元210把从封包单元209供给的RTP分组供给传输单元 123 (图1)，并使RTP分组被传送给接收设备l(B(图1)。
如上所述，编码单元121把单个画面(帧或场)分割成多个区域， 并进行每个区域的编码，如图11中所示。
封包处理单元122把单个区域的编码数据分割预定的分组大小， 并进行封包，如图12中所示。在区域的数据大小不大于分组大小的 情况下，生成的分组为1个。在图12的例子中，由单个区域的编码 数据生成5个分组。
下面说明图像数据的传输格式的例子。
图13图解说明RTP报头的配置例子，RTP报头是RTP报头创 建单元202创建的RTP分组的报头信息。RTP报头221具有下述字 段版本号(V)，填充(P)，是否存在扩展报头(X)，传输信源的数目 (Count)(CC)，标志信息(标志位)(M)，有效负载类型(Payload Type)(PT)，序列号，时间戳记和同步信源(传输信源)标识符 (SSRC(Synchronizatioii Source Identifier))。
版本号(V)是指示RTP的版本号的12位信息。填充(P)是1位标 记信息，在其值为"l"的情况下，指示在有效负载的结尾增加了一个 或多个填充八位字节(嵌入数据)。是否存在扩展报头(X)是1位标记信 息，在其值为"l"(存在报头扩展)的情况下，指示除了固定长度的报头 之外，还增加了扩展报头。传输信源的数目(CC)是指示CSRC标识符 的数目的4位信息，在如同多点远程电信会话的情况一样，多个数据源的数据的单一 RTP封包的情况下，指示各个数据源的标识符的数 目。
标志信息(M)是1位标记信息，指示有效负载中的任意事件等。 标志信息(M)的使用方法在有效负载类型(PT)等中设置。有效负载类 型(PT)是用于指定分组携带的有效负载的格式的7位信息。
序列号是指示RTP数据分组的顺序的16位数字信息，初始值被 随意设定，后续分组的值被加"l"。序列号指示正在传送的整个编码 数据(图像数据)内的分组的顺序。
时间戳记是指示RTP分组的第一个字节的采样时刻的32位信 息。采样时钟由有效负载的数据简表确定。例如，如果我们认为音频 信号的采样频率为8kHz,那么时间戳记的值每125微秒被加"1"，从 而如果我们认为RTP时间分组为20毫秒的数据，那么对于每个分组 来说，时间戳记的值增大160。注意初始值被随意设定。
同步信源(传输信源)标识符(SSRC)是指示分组的传输信源的32 位标识符。该信息是任意生成的。在传输地址改变的情况下，该SSRC 标识符也纟皮更新。
公共报头创建单元203，扩展报头创建单元204，和画面信息创 建单元205生成包括在RTP报头之后的有效负载报头中的各种信息。 图14图解说明有效负载报头的配置例子。如图14中所示，有效负载 报头由公共报头231,量化参数信息232,大小信息233，格式信息 234，画面信息235，色彩信息236，并被添加在有效负载237的前面。
公共报头231是由公共报头创建单元203创建的，包括与区域相 关的基本信息的报头信息。公共报头231是强制报头，被添加到所有 分组中
量化参数信息232是由扩展报头创建单元204创建的扩展报头， 包括与量化系数相关的信息。大小信息233是由扩展报头创建单元204 创建的扩展报头，包括和数据大小相关的信息。格式信息234是由扩 展报头创建单元204创建的扩展报头，包括和数据的格式相关的信息。 画面信息235是由画面信息创建单元205创建的扩展报头，包括和初始图像(即，被编码，封包和传送的图像数据)相关的信息。色彩信息
236是由扩展报头创建单元204创建的扩展报头，包括和图像数据的 色彩相关的信息。
量化参数信息232，格式信息234，画面信息235和色彩信息236 作为扩展报头被附到区域的起始分组上(包括其中不进行分段的分组 的情况)。大小信息233作为扩展报头被附到任意一个分组上。
即，在向所有分组添加大小信息的情况下，从公共报头231到有 效负载237的一切被包括在位于区域的头部的分组中。另一方面，只 有公共报头231,大小信息233和有效负载237被包括在除区域的起 始分组之外的分组中。
下面说明每个信息的细节。
图15是图解说明公共报头231的配置例子的示图。如图15中所 示，公共报头231包括PID， AT, AID, SFF， M， TSF， NF， FT， CF， IF, X和TS之类的信息。即，公共报头231的第一个字(从顶部 开始的第一层)和第二个字(从顶部开始的第二层)是原样利用从编码 单元121供给的区域报头171的第一个字(字O)和第二个字(字l)创建 的，SFF， M， TSF和NF被添加到4位中，所述4位是第一个字中 的空白字段(保留字段)。
SFF(Start Fragment Flag)是指示是否是由PID， AT和AID指
示的有效负载的头部的l位标记信息。即，在该分组是位于区域的头 部的分组(起始分组)的情况下，SFF的值械z没为"l，，，在其它情况下， 被设为"0"。
M(Marker)是指示是否包括由PID， AT和AID指示的有效负载 的结尾部分的l位标记信息。即，在该分组是包括区域或对准单元的 结尾部分的分組(最终分组)的情况下，M的值被设为"l"，在其它情况 下，被/没为"0"。
TSF(Time Stamp Flag)是指示公共报头中是否包括时间戳记的1 位标记信息。即，在TSF的值为"1"的情况下，区域报头171的第二 个字(字l)被附到公共报头231的第二个字上。NF(NextFlag)是指示后续有效负载的存在的l位标记信息。即， 在多个区域或对准单元的有效负载被附到该分组上，并且该报头不是 该分组中的最后区域或对准单元的情况下，NF的值被设为"l"。
TS(Time Stamp)是指示该分组的有效负载属于的区域的时间戳 记的低价32位的信息，对应于区域报头171的第二个字(字1)。
注意图15中所示的第三个字(从顶部开始的第三层)表示从公共 报头231延续的附加的扩展报头。
图16是图解说明包括在扩展报头中的量化参数信息232的配置 例子的示图。如图16中所示，量化参数信息是包括诸如ET， QP和 X之类信息的信息。扩展报头创建单元204利用从编码单元121供给 的区域报头171的第三个字(字2)创建该量化参数信息232。
ET(Extension Type)是指示扩展报头的内容的5位信息。在使用 量化参数信息232时的指定值是任意的，不过例如为"00011"。 QP(Quantize Parameter)是指示量化系数的值的16位信息。 X(Extension)是指示是否使用扩展报头的标记。
图17是图解说明包括在扩展报头中的大小信息233的配置例子 的示图。如图17中所示，大小信息233是包括诸如ET， SS和X之 类信息的信息。扩展报头创建单元204利用从编码单元121供给的区 域报头171的第四个字(字3)创建该大小信息233。
ET(Extension Type)是指示扩展报头的内容的5位信息。在使用 大小信息233时的指定值是任意的，不过例如为"00100"。 SS(Segment Size)是用字长指示该片断的有效负载大小的26位信息。X(Extension) 是指示是否使用扩展报头的标记。
如图7，图15-图17中所示，编码单元121把格式和/>共才艮头231 及扩展报头(量化参数信息232和大小信息233)相同的区域报头171 提供给封包处理单元122。因此，封包处理单元122的公共报头创建 单元203和扩展报头创建单元204能够容易并且高速地创建公共报头 和扩展报头。
图18是图解说明包括在扩展报头中的格式信息234的配置例子的示图。如图18中所示，格式信息234本质上是包括ET， FTI和X 等等的信息。扩展报头创建单元204利用从编码单元121供给的信息， 创建格式信息234。
ET(Extension Type)是指示扩展报头的内容的5位信息。在使用 格式信息234时的指定值是任意的，不过例如为"00101"。 FTI(Format Type Identifier)是指示所描述的信息与哪种格式类型相关的信息。该 值是任意的，但是在描述Bayer信息的情况下，设置值"00001"。 X(Extension)是指示是否使用扩展报头的标记。
图18中的B图解说明在描述Bayer信息的情况下的格式信息234 的配置例子。这种情况下，除了 ET， FTI和X之外，格式信息234 包括MT， SMT， BLF， VLOF， SSF， EVF， DC, BL， RBL， RVLO， DSS， NSS和EV等等信息。
MT(Mosaic Type)是指示有效负载的马赛克种类的4位信息。 SMT (Start Mosaic Type)是指示在帧的左上端的第一像素信息的4位 queen。 BLF(Black Level Flag)是指示黑色电平信息的存在的1位标记 信息。VLOF (Vertical Line Offset Flag)是指示垂直线校正信息的存在 的l位标记信息。SSF(Shutter Speed Flag)是指示快门速度信息的存 在的l位标记信息。EVF(EVFlag)是指示EV信息的存在的1位标记 信息。DC(Defect Correction)是指示是否进行缺陷校正的1位标记信 钆
BL(Black Level)是指示黑色电平值的32位标记信息。 RBL(Revised Black Level)是指示黑色电平校正偏移值的32位信息。 只有在BLF的值为"l，，的情况下，才存在BL和RBL。
RVLO(Revised Vertical Line Offset)是指示垂直线校正偏移值 的32位信息。只有在VLOF的值为"l"的情况下才存在RVLO。
DSS是指示快门速度分子(单位APEX)的32位信息。NSS是指 示快门速度分母(单位APEX)的32位信息。只有在SSF的值为"l"的 情况下才存在DSS和NSS。
EV是指示EV值的32位信息。只有在EVF的值为"l"的情况下
34才存在EV。
图19是图解说明包括在扩展报头中的画面信息235的配置例子 的示图。如图19中所示，画面信息235包括ET， PI, CEF， CBD， DL， WF, PDI， SF, FR， AR， DBSZ， FTS， FFVS, SD, HS， VF, FFVTS， TSD， HTS, PXCS， FFVVS, VSD, HVS, BRT, WCF, X， CTS和WTm等信息。画面信息创建单元205利用从编码单元121 供给的画面报头，创建画面信息235。
即，画面信息235是其中ET被添加到从编码单元121供给的画 面报头172的第一个字(字O)中的空白字段(保留字段)，WCF和X被 添加到其第六个字(字5)中的空白字段(保留字段)的信息。
ET(Extension Type)是指示扩展报头的内容的5位信息。在使用 画面信息时的指定值是任意的，不过例如为"00010"。 WCF(Weighting Custom Flag)是指定是否使用加权系数的定制值的1位信息标记。只 有在WCF的值为"l"的情况下，才存在CTS。 X(Extension)是指示是 否在该报头之后使用扩展报头的标记。
如图8和图19中所示，编码单元121把格式和画面信息235相 同的画面报头172提供给封包处理单元122。因此，封包处理单元122 的画面信息创建单元205能够容易并且高速地创建画面信息235。
图20是图解说明包括在扩展报头中的色彩信息236的配置例子 的示图。如图20中所示，色彩信息236包括ET和X等信息。扩展 报头创建单元204利用从编码单元121等供给的信息创建色彩信息 236。
ET(Extension Type)是指示扩展报头的内容的5位信息。X (Extension)是指示是否使用扩展报头的标记。
封包处理单元122对如上所述的每个区域的编码数据封包，并提 供给传输单元123。传输单元123经线路110顺序把分组传给接收设 备103。
以如上所述格式从传输单元123发出的分组经线路110被提供给 接收设备103的接收单元131。当收到分组时，接收单元131把收到
35的分组提供给解包处理单元132。
图21是图解说明解包处理单元132的内部配置例子的方框图。 如图21中所示，解包处理单元132具有分组获取单元251，报头信息 分析单元252，控制模式转变单元253，控制单元254，报头供给单元 255，数据供给单元256，错误通知单元257和控制信号供给单元258。
分组获取单元251获得从接收单元131供给的分组。此时，当获 得一直到RTP有效负载的信息时，分组获取单元251顺序把已获得 的信息供给报头信息分析单元252，同时继续进行获取。即，在完成 有效负载的获取之前，分组获取单元251把报头信息供给报头信息分 析单元252。另外，分组获取单元251还把报头信息提供给报头供给 单元255，还把有效负载供给数据供给单元256。
报头信息分析单元252分析分组获取单元251获得的RTP分组 的报头信息，即RTP报头和有效负载报头信息，并把分析结果供给 控制模式转变单元253和控制单元254。
控制模式转变单元253根据从报头信息分析单元252供给的报头 信息的分析结果，控制控制单元24的操作模式，并根据需要实现转 变。
控制单元254按照在控制模式转变单元253的控制下实现转变的 控制模式，根据从报头信息分析单元252供给的分析结果，控制报头 供给单元255，数据供给单元256，错误通知单元257和控制信号供 给单元258的操作。
报头供给单元255由控制单元254控制，提取包括在从分组获取 单元251供给的有效负载报头中的各种信息，恢复区域报头171和画 面报头172，并将其提供给解码单元133。数据供给单元256由控制 单元254控制，把从分组获取单元251供给的有效负载数据供给解码 单元133。错误通知单元257由控制单元254控制，向解码单元133 通知诸如发生分组丢失之类的错误。控制信号供给单元258由控制单 元254控制，把除报头和数据之外的各种控制信息供给解码单元133。
对于控制单元254的控制模式来说，存在四种模式开始模式
36301，待机模式302，处理模式303和丟失模式304，如图22中所示。 控制模式转变单元253根据报头信息分析单元252的报头信息分析结 果，理解RTP分组的接收状态，并按照该状态，使控制单元254的 控制模式转变成最佳模式。
开始模式301是处理整个编码数据的第一个分组的模式。在开始 解包处理的时候，控制单元254被设置成开始模式301。待机模式302 是处理区域的起始分组的模式。在区域的最后分组已被处理之后，控 制单元254被设置成待机模式302。处理模式303是在未发生分组丢 失的正常时期，处理除区域的头部之外的每个分组的模式。当未发生 分组丟失时，对于除区域的头部之外的每个分组，控制单元254被设 置成处理模式303。丟失模式304是在发生诸如分组丢失之类错误的 情况下，处理区域的剩余分组的模式。在发生分组丟失的情况下，控 制单元254被设成丢失模式304。
下面说明每种模式下，解包处理单元132的操作的细节。
注意实际上，除了数据之外，起始信息，结尾信息，VALID信 息，属性信息和错误通知等等也从解包处理单元132被供给解码单元 133,如图23中所示。
起始信息是指示区域或对准单元的起始分组的有效负载的信息，
码单元133的时候，该起^信息被设为值"1"。结尾信息是指示2域 或对准单元的最终分组的有效负载的信息，在解包处理单元132把区 域或对准单元的最终分组的有效负载供给解码单元133的时候，该结 尾信息被设为值"l"。
属性信息是指示待供给的数据是报头还是图像数据，指示是亮度 分量数据还是色差分量数据等等的信息。VALID信息是通知数据的 读取计时的信息。错误通知是向解码单元133通知发生诸如分组丢失 之类错误的信息。
图24是图解说明图1中的解码单元133的内部配置例子的方框 图。如图24中所示，解码单元133具有控制信息获取单元351，解码控制单元352，解码处理执行单元353，报头获取单元354，数据获取 单元355，错误通知获取单元356和丢弃处理单元357。
控制信息获取单元351从解包处理单元132获得诸如开始信息， 结尾信息，VALID信息和属性信息之类的控制信息，并把控制信息 供给解码控制单元352。解码控制单元352根据控制信息，使解码处 理执行单元353在预定计时开始解码处理。
解码处理执行单元353根据从解包处理单元132供给的，并由报 头获取单元354获得的报头信息，进行数据获取单元355获得的编码 数据的解码处理。解码处理执行单元353具有緩冲单元361，熵解码 单元362,小波逆变换单元363，如图24中所示。緩冲单元361临时 保存从数据获取单元355供给的编码数据，并酌情把编码数据供给熵 解码单元362。另外，緩沖单元361临时保存从熵解码单元362供给 的作为编码数据的解码结果的系数数据，并酌情把系数数据供给小波
逆变换单元363。
熵解码单元362由解码控制单元352控制，以便读出保存在緩冲 单元361中的编码数据，并用与编码单元121的熵编码单元155对应 的方法进行熵解码，生成系数数据。注意在熵编码单元155进行量化 的情况下，在进行熵解码处理之后，熵解码单元362还对获得的系数 数据进行逆量化处理。熵解码单元362把获得的系数数据供给緩冲单 元361以便累积获得的系数数据。
小波逆变换单元363在预定计时读出在緩冲单元361累积的系数 数据，利用与编码单元121的小波变换单元150对应的方法执行小波 逆变换处理，把获得的基带图像数据作为输出图像数据输出给显示设 备104。
报头获取单元354获得从解包处理单元132供给的报头信息，比 如区域报头和画面报头，并把这些报头信息供给緩冲单元361以便保 存。数据获取单元355获得从解包处理单元132供给的有效负载数据， 并将其供给緩冲单元361以便保存。
错误通知获取单元356获得从解包处理单元132供给的通知在接
38收处理等中发生了分组丢失的错误通知，并把该通知供给丟弃处理单
元357。当获得错误通知时，丢弃处理单元357丢弃在解码处理执行 单元353的緩冲单元357中累积的编码数据。即，在分组的接收处理
况下)，不可能对发生了分组丟失的当前区域进行正确的熵解码处理， 从而累积在緩冲单元361中的，发生了分組丢失的当前区域的编码数 据都纟皮丟弃。
下面说明每个单元执行的处理的流程。首先，参考图25的流程 图说明传输设备102的编码单元121执行的编码处理的流程的例子。
当开始编码处理时，在步骤S1，小波变换单元150把待处理的 区域的序列号A设为初始设置。在正常情况下，编号A被设为'T，。 当设置结束时，在步骤S2，小波变换单元150从最低频带子带的顶部 开始，获得生成第A行这一行所必需的行数(即， 一个区域)的图像数 据，在步骤S3中，对图像数据进行垂直分析滤波处理，所述垂直分 析滤波处理对沿屏幕垂直方向排列的图像数据进行分析滤波，在步骤 S4中，执行水平分析滤波处理，所述水平分析滤波处理对沿屏幕水平 方向排列的图像数据进行分析滤波处理。
在步骤S5，小波变换单元150确定分析滤波处理是否执行到了 最后的级别，在确定分割级别还未达到最终级别的情况下，处理返回 步骤S3，其中对当前分割级别重复步骤S3和步骤S4中的分析滤波 处理。
在步骤S5中确定分析滤波处理已执行到最终级别的情况下，小 波变换单元150进入步骤S6的处理。
在步骤S6，系数重排单元153按照从低带到高带的顺序，重排 区域A(从画面(帧或场)的顶部开始的第A个区域)的系数。在步骤S7， 熵编码单元155以行为增量对系数进行熵编码。
当熵编码结束时，在步骤S8，熵编码单元155首先读出区域报 头171(图7)，在步骤S9中确定当前待处理的区域是否是画面的起始 区域(即，A=l)。如果确定是画面的头部，那么处理进入步骤SIO，熵编码单元155发出画面才艮头172(图8)。当步骤SIO的处理结束时，处 理进入步骤Sll。另外，如果在步骤S9中确定当前待处理的区域不是 画面的起始区域时，步骤S10的处理被忽略，处理进入步骤Sll。
在步骤Sll中，熵编码单元155在报头信息之后向外发送区域A 的编码数据。
在步骤S12中，小波变换单元150把编号A的值加"l"，把下一 个区域作为处理对象，在步骤S13中，确定在待处理的画面中是否存 在未处理的图像输入行。在确定存在的情况下，处理返回步骤S2，对 待处理的新区域重复步骤S2之后的处理。
如上所述，步骤S2-步骤S13中的处理被反复执行，以编码每个 区域。在步骤S13中确定不存在未处理的图像输入行的情况下，小波 变换单元150结束对该画面的编码处理。对下一个画面开始新的编码 处理。
就常规的小波变换方法来说，首先，对整个画面进行水平分析滤 波处理，随后对整个画面进行垂直分析滤波处理。顺序按照相同的方 式对获得的整个低带分量进行水平分析滤波处理和垂直分析滤波处 理。如上所述，递归地重复分析滤波处理，直到分割级别达到最终级 别为止。因此，需要把每个分析滤波处理的结果保存在緩冲器中。此 时，需要保存整个画面的滤波结果或者当前时刻的分割级别的整个低 带分量的緩冲器，意味着需要极大的存储容量(要保持的数据的数量极 大)。
另外，这种情况下，在画面的所有小波变换结束之前，不能进行 下游的系数重排和熵编码，从而增大了延迟时间。
相反，就编码单元121的小波变换单元150来说，如上所述，以 区域为增量连续进行垂直分析滤波处理和水平分析滤波处理，直到最 终级别为止，从而与常规方法相比，(在相同的时间段内)需要同时保 持(緩存)的数据的数量较小，从而能够大大降低需要准备的緩冲器的 存储容量。另外，通过执行分析滤波处理直到最终级别为止，还能够 执行后面的系数重排或熵编码处理的步骤(即，能够以区域为增量进行
40系数重排或熵编码)。因此，与常规方法相比，能够大大降低延迟时间。
另外，熵编码单元155把每个区域的区域报头171和每个画面的 画面报头172连同编码数据一起供给封包处理单元122，从而封包处 理单元122能够容易地生成报头信息。另外，区域报头171和画面报 头172的格式和封包处理单元122添加到分组中的有效负载报头的格 式相同，从而，封包处理单元122能够更容易地生成报头信息。
此外，在由于某种原因，编码失败的情况下，熵编码单元155 设置区域报头171的IF，指示该区域或对准单元是编码已失败的区域 或对准单元。通过参考该IF，封包处理单元122能够容易地禁止不能 被解码的不必要数据被封包和被传送给接收设备103。
下面参考图26中的流程图，说明封包处理单元122的封包处理 的流程的例子。
在步骤S31,封包处理单元122的数据获取单元201确定是否获 得了区域报头171,并等到确定获得了区域报头171为止。在确定已 获得从编码单元122供给的区域报头171的情况下，处理进入步骤 S32。
在步骤S32， RTP报头创建单元202创建RTP报头221。在步 骤S33,公共报头创建单元203根据区域报头171创建公共报头231。 此时，公共报头创建单元202把SFF， M， TSF和NF字段添加到区 域报头171的第一个字(字O)中。
在步骤S34，扩展报头创建单元204根据区域报头171，创建量 化参数信息232，大小信息233，格式信息234和色彩信息236等的 扩展报头。
在步骤S35，画面信息创建单元205确定是否获得了画面报头 172。在确定获得了画面报头172的情况下，处理进入步骤S36。在步 骤S36，画面信息创建单元205参考画面报头172，并确定w的值是 否为'T，，在确定w的值为"l"的情况下，在步骤S37中，把加权表 (WTm)包括在画面信息中以便被封包。当步骤S37的处理结束时，处 理进入步骤S39。另外，在步骤S36中确定w的值为"0"的情况下，画面信息创建 单元205在步骤S38中从画面信息中删除加权表(WTm)。当步骤S38 的处理结束时，处理进入步骤S39。
此外，在步骤S35中确定还未获得画面报头的情况下，处理进入 步骤S39。
在步骤S39,标记确认单元206确定区域报头171的IF的值是 否为0。如果确定区域报头171的IF的值为0，那么处理进入步骤S40。
在步骤S40,大小确认单元207确定区域的数据大小是否大于分 组的有效负载的最大大小(分组大小)。
如果确定区域的大小大于分组大小，那么处理进入步骤S41。在 步骤S41，分段处理单元208把单个区域的编码数据分割成每个分组 大小，以便成为相互不同的有效负载。当步骤S41的处理结束时，处 理进入步骤S43。
另外，在步骤S40中，如果确定区域的大小不大于分组大小，那 么分段处理单元208不进行编码数据的分割。即，这种情况下，步骤 S41的处理被忽略，处理进入步骤S43。
此外，如果在步骤S39中确定"IF-O"，那么处理进入步骤S42。 在步骤S42，数据获取单元201由标记确认单元206控制，以便丢弃 供给的编码数据。当步骤S42的处理结束时，处理进入步骤S43。
在步骤S43,封包单元209利用每个有效负载和报头信息生成 RTP分组，并在步骤S44中，设置每个分组的诸如SFF和M之类的 标记信息。
当按照这种方式设置了每个标记信息时，输出单元210把RTP 分组输出给传输单元123。
在步骤S45，数据获取单元201确定所有区域是否都已被处理。 如果确定存在未处理的区域，那么处理返回步骤S31，并重复后续处 理。另外，如果在步骤S45确定所有的区域都已被处理，那么封包处 理结束。
如上所述，封包处理单元122根据从解码单元121供给的报头信
42息，能够容易地生成公共报头和扩展报头。
另夕卜，如上所述，在步骤S36-S38中，画面信息创建单元205能 够根据区域报头171中的w的值，容易并且高速地控制加权表的增加。 即，仅仅通过确i人区域才艮头171的w的值，画面信息创建单元205就 能够只有在需要时，才恰当地添加加权表。因此，能够抑制由传输设 备102传给接收设备103的数据量的不必要增大，以及由此引起的在 每个部分上的不必要负载的增大。
此外，如上所述，在区域报头171的IF的值为"1"的情况下，在 步骤S39中，标记确认单元206在步骤S42中控制数据获取单元201， 以便不获得编码数据，从而不向分组添加有效负栽。即，这种情况下， 从封包处理单元122输出的RTP分组中只包括报头信息，不包括有 效负载。从而，仅仅通过参考从编码单元121供给的区域报头171， 封包处理单元122就能容易并且高速地减少不能被解码的不必要数据 的传输，并且能够抑制在传输单元123,线路110和接收设备103等 上的负载的不必要增大。
另外，如上所述，在步骤S40中，大小确认单元207根据区域报 头171,能够确定区域的大小是否大于分组大小，从而封包处理单元 122能够容易并且高速地确定是否进行一个区域的编码数据的分段， 而不进行累积。
此外，在步骤S44中，封包单元209关于区域的起始分组设置公 共报头231的SFF标记，并关于区域的最终分组设置公共报头231的 M标记。通过设置这样的标记，仅仅通过参考报头信息，接收设备 103的解包处理单元132就能够容易地识别区域的头部和区域的结尾。 从而，解包处理单元132能够容易并且高速地进行解包处理，如后所 述。
此外在此时，由于设置的公共报头231的IF标记的缘故，仅仅 通过参考报头信息，接收设备103的解包处理单元132就能够容易地 识别在分组中未包括任何有效负载。从而，解包处理单元132能够容 易并且高速地进行解包处理，如后所述。下面，说明接收分组的接收设备103的解包处理单元132执行的 处理。如上所述，解包处理单元132按照四种控制模式执行解包处理。 在开始解包处理时，解包处理单元132被设为开始模式301。
首先，参考图27中的流程图，说明在开始模式301下，解包处 理单元132执行的开始模式的流程的例子。
在步骤S61,分组获取单元251确定是否获得了分组，并等到确 定通过接收单元131获得了分组为止。如果确定获得了分组，那么处 理进入步骤S62。在步骤S62,报头信息分析单元252获得分组的报 头信息，并确定是否"PID一"， "CF-4"和"SFF-1"。即，报头信息分 析单元252确定是否是位于画面的起始区域的第 一个分组，其中多个 分量被一起放入一个区域中。在确定"PID-O"， "CF-4"和"SFF-1"不 成立的情况下，处理返回步骤S61，重复后续处理。即，重复步骤S61 和步骤S62的处理，直到确定"PID-O"， "CF-4，，和"SFF-1，，为止，当 确定"PID-O"， "CF-4，，和"SFF-1，，时，处理进入步骤S63。
在步骤S63，控制单元254执行模式共有处理，所述模式共有处 理是在每种模式下关于区域的起始分组执行的解包处理，如后所述。 模式共有处理的细节将在后面说明。当模式共有处理结束时，控制模 式转变成另一种模式，从而开始模式处理结束。
如上所述，在开始模式下，仅仅通过参考公共报头231的SFF 的值，控制单元254就能够容易地探测画面的起始区域的起始分组。 另外，在探测画面的起始区域的起始分组的时候，控制单元254能够
开始模式共有处理，并且能够开始从该区域提取有效负载。即，控制 单元254能够了解新的区域，而不必确认区域的最终分组，从而，可 使有效负载提取的开始计时更早，并且能够降低延迟时间。
下面，参考图28中的流程图说明在图27的步骤S63中执行的模 式共有处理的流程的例子。模式共有处理也是在其它模式下执行的处 理，如后所述，并且是尽管一个在先区域的最终分组还未被确认，不 过当新区域的起始分组已被确认时，解包处理单元132对区域执行的 处理。因此，在分组荻取单元251已获得分组的状态下开始该模式共有处理。
当开始模式共有处理时，在步骤S82中，报头信息分析单元252 参考公共报头231，确定是否"IF-O"。如果确定"IF-1"，那么处理进 入步骤S83。
如果确定"IF-1"，那么在步骤S83，控制单元254控制报头供给 单元255和数据供给单元256，只向解码单元133传送分组的报头部 分。在IF=1的情况下，实质上在该分组中不包括任何有效负载。即 使包括有效负载，那么该有效负载也是不可解码的，从而控制单元254 控制数据供给单元256，禁止传送该有效负载。
当步骤S83中的处理结束时，控制模式转变单元253实现控制模 式到待枳4莫式的转变，在待机模式下，在步骤S84等待下一个区域的 起始分组。待机模式的处理将在后面说明。当转变成控制模式时，模 式共有处理结束。
如果在步骤S82中确定"IF-O"，那么处理进入步骤S85。这种情 况下，有效负栽的编码数据是正确编码的数据。在步骤S85，报头供 给单元255被控制单元254控制，以便向解码单元133传送4个字的 区域报头。
在步骤S86，报头信息分析单元252参考公共报头231，并确定 "PID-0"和"CF-4"是否成立。如果确定"PID-0"和"CF-4"成立，那么 处理进入步骤S87。在步骤S87，报头信息分析单元252参考公共报 头231，确定是否"w-l"。如果确定"w-l"，那么处理进入步骤S88， 在步骤S88,报头供给单元255由控制单元254控制，从而把26个字 的画面报头172传给解码单元133，以便还包括加权表。当步骤S88 的处理结束时，处理进入步骤S90。
另夕卜，如果在步骤S87中确定"w-l，，不成立，那么处理进入步骤 S89，在步骤S89，报头供给单元255受控制单元254控制，向解码单 元133传送6个字的画面报头172，以便不包括加权表。当步骤S89 的处理结束时，处理进入步骤S90。另外，如果在步骤S86中确定"PID-0，，和"CF-4"不成立，那么 这不是画面的起始报头，从而报头供给单元255受控制单元254控制， 不向解码单元133传送画面才艮头172。因此，这种情况下，处理进入 步骤S卯。
在步骤S卯，数据供给单元256受控制单元254控制，把分组的 剩余有效负载，即编码数据传给解码单元133。在步骤S91，报头信 息分析单元252参考报头231，确定是否"1VW"。在确定"]\1=1"，待 处理的分组是该区域的最后分组的情况下，处理进入步骤S92，在步 骤S92，控制单元254受控制模式转变单元253控制，以便把控制模 式转变成待机模式。即，此时最终分组的处理已结束，从而控制模式 转变成待机模式，在待机模式下，等待下一个区域的起始分组。当控 制模式发生转变时，模式共有处理结束。
另夕卜，如果在步骤S91确定"M-1，，不成立，待处理的分组不是该 区域的最后分组，那么处理进入步骤S93，在步骤S93，控制单元254 受控制模式转变单元253控制，把控制模式转变成处理模式。即，此 时，不是最终分组的分组的传输处理已成功结束，从而控制模式转变 成处理模式，在处理模式下，等待相同区域的后续分组。当控制模式 发生转变时，模式共有处理结束。在图27中的步骤S63中执行该模 式共有处理的情况下，当模式共有处理结束时，处理返回图27中的 步骤S63,开始模式处理结束。
如上所述，根据SFF和M的值，解包处理单元132能够容易地 识别区域的起始分组和最终分组。另外，最终分组可由M识别，从 而解包处理单元132能够容易地促成适合于每个区域的模式转变。因 此，解包处理单元132能够对每个区域进行适当的解包处理。此外， 起始分组可由SFF识另ij，从而即使在不确认最终分组的情况下，解包 处理单元132也能够了解区域的更新。即，在发生分组丢失的情况下， 即，即使在获得的分组的序列号与前次获得的分组的序列号不连续的 情况下，如果该分组是新区域的起始分组，那么解包处理单元132也 能够开始从新区域的该分组提取有效负载，而不等待新的区域。即，
46解包处理单元132能够减少不必要的待机时间。当然，在按照处理模 式和丢失模式，而不仅仅是按照开始模式执行模式共有处理的情况 下，解包处理单元132也能够缩短待机时间，从而能够缩短延迟时间。
另外，如步骤S83中所示，仅仅通过参考公共报头231，解包处 理单元132就能够容易地抑制向解码单元133供给不必要的不可解码 的有效负载。从而，能够减轻解码单元133上的解码处理的负栽。注 意报头信息可被用于解码处理，从而控制单元254仅仅传送报头信息。
下面参考图29中的流程图，说明待机模式处理的流程的一个例 子。待机模式处理是其中等待下一区域的起始分组的模式的处理，并 且当控制模式转变单元253把控制模式转变成待机模式时，开始待机 模式处理。
当开始待机模式处理时，分组获取单元251确定是否收到了分 组，并等到在步骤Slll中确定收到了分組为止。如果从接收单元131 供给了分组，确定收到了分组，那么处理进入步骤S112。
在步骤S112,报头信息分析单元252参考RTP报头221，确定 序列号是否与前次接收的分组连续。如果序列号与前次接收的分组不 连续，那么表示分组接收失败(发生了分组丢失)。如果序列号与前次 接收的分组是连续的，确定未发生分组丟失，那么处理进入步骤S113。
按照参考图28说明的模式共有处理中的步骤S82和步骤S83， 步骤S85-步骤S91,和步骤S93的每个处理相同的方式执行步骤 S113-S122的每个处理。
即，步骤S113中的处理对应于步骤S82，步骤S114中的处理对 应于步骤S83。不过注意，在待机模式处理的情况下，已处于待机模 式，从而对应于图28中的步骤S84的处理被忽略，处理进入步骤 Slll(等同于转变到图28中的待机模式，开始待机模式处理)。
另外，步骤S115-S121中的处理分别对应于图28中的步骤 S85-S91。不过注意，在待机模式处理的情况下，已处于待机模式， 从而如果在步骤S121中确定"M-1"，那么对应于图28中的步骤S92 的处理被忽略处理进入步骤S111(等同于转变到图28中的待机模式，
47开始待机^=莫式处理)。
注意在步骤S121中确定"M-1"不成立的情况下，处理进入步骤 S122。步骤S122中的处理对应于图28中的步骤S93中的处理，当控 制模式转变单元253使控制模式转变成处理模式时，待机模式处理结 束。
另外，在步骤S122，如果序列号与前次接收的分组不连续，确 定发生了分组丢失，那么处理进入步骤S123。
在步骤S123，报头信息分析单元252参考公共报头231，确定是 否"SFF-1"。如果确定"SFF-1"，那么处理返回步骤S113，并重复后 续处理。解码处理是以区域为增量进行的，从而如果在区域内未发生 分组丢失，那么该区域可^皮解码。即，如果"SFF-1"，那么这表示分 组丟失不是在目前待处理的分组所属的区域中发生的，而是在过去的 区域中发生的。此外，在待机模式的情况下，解码单元133对该过去 区域的编码数据的累积已结束。因此，即使发生了分组丟失，由于新 获得的分组是新区域的起始分组，因此该分組丟失被忽略，处理返回 步骤S113。
如果在步骤S123中确定"SFF-1，，不成立，那么处理进入步骤 S124。这种情况下，分組丟失是在和待处理的分组相同的区域内发生 的。因此，该区域不能被解码，从而有效负载的传输被取消。即，在 步骤S124，数据供给单元256受控制单元254控制，不向解码单元 133传送接收的分组，而是丢弃接收的分组。
如上所述，这是待机模式，从而解码单元133对过去区域的编码 数据的累积已结束，新区域的编码数据还未被累积。因此，这种情况 下，解码单元133不需要丢弃数据，从而解包处理单元132不需要把 错误告知解码单元133。
在步骤S125，控制单元254受控制模式转变单元253控制，把 控制模式转变成丢失模式，丟失模式是在获得新区域的分组之前，在 发生了错误的区域中处于待机状态的模式。当控制模式被转变成丢失 模式时，待机模式处理结束。如上所述，在待机模式下，根据SFF和M的值，解包处理单元 132能够容易地识别区域的起始分组和最终分组。另外，最终分组可 由M识别，从而解包处理单元132能够容易地促成适合于每个区域 的模式转变。因此，解包处理单元132能够对每个区域进行适当的解 包处理。此外，起始分组可由SFF识别，从而即使在不确认最终分组 的情况下，解包处理单元132也能够了解区域的更新。即，在发生了 分组丢失的情况下，即，即使在获得的分组的序列号与前次获得的分 组的序列号不连续的情况下，如果分组是新区域的起始分组，那么解 包处理单元132也能够开始从新区域的分组提取有效负载，而不等待 下一个区域。即，解包处理单元132能够减少不必要的待机时间。
下面参考图30的流程图说明处理模式处理的流程的例子。处理 模式处理是等待相同区域中的后续分组的模式的处理，并且当控制模 式由控制模式转变单元253转变成处理模式时被启动。
当开始处理模式处理时，在步骤S141中，分组获取单元251确 定是否收到了分组，并等到确定收到了分组为止。在从接收单元131 供给了分組，确定分组已被收到的情况下，处理进入步骤S142。
在步骤S142,报头信息分析单元252参考RTP报头221,确定 序列号是否与前次接收的分组连续。如果序列号与前次接收的分组连 续，确定未发生分组丟失，那么处理进入步骤S143。
在步骤S143，报头供给单元255受控制单元254控制，从分组 中删除公共报头231。在步骤S144，数据供给单元256受控制单元254 控制，把剩余的有效负载数据传给解码单元133。在步骤S145，报头 信息分析单元252参考公共报头231，确定是否"M-1"，在确定"M-1" 不成立，不是区域的最终分组的情况下，在相同区域中存在后续分组， 从而处理返回步骤S141，重复后续处理。
即，重复步骤S141-步骤S145的处理，同时从区域中的每个分 組提取有效负载，并传给解码单元133。
如果在步骤S145中确定"M-1"，待处理的分组是区域的最终分 组，那么处理进入步骤S146,在步骤S146，控制单元254由控制模式转变单元253控制，把控制模式转变成待机模式。当控制模式被转 变成待机模式时，处理模式处理结束。
另外，如果在步骤S142中确定序列号与前次接收的分组不连续， 发生了分组丢失，那么处理进入步骤S147。
这种情况下，区域的数据正在解码单元133中被累积，从而在步 骤S147中，控制单元254控制错误通知单元257把传输错误通知解 码单元133。
当错误通知结束时，在步骤S148，报头信息分析单元252参考 乂>共才艮头231，确定是否"SFF-1"。如果确定"SFF-1"，那么处理进入 步骤S149。在步骤S149，控制单元254执行参考图28中的流程图说 明的模式共有处理。这种情况下，当模式共有处理结束时，处理返回 图30中的步骤S149，处理模式处理结束。
另外，如果在步骤S148中确定"SFF-1，，不成立，那么处理进入 步骤S150,在步骤S150，控制单元254控制数据供给单元256丟弃 接收的分组。在步骤S151，控制单元254受控制模式转变单元253 控制，把控制模式转变成丢失模式。当控制模式被转变成丢失模式时， 处理模式处理结束。
如上所述，在处理模式下，根据SFF和M的值，解包处理单元 132能够容易地识别区域的起始分组和最终分组。另外，最终可由M 识别，从而解包处理单元132能够容易地促成适合于每个区域的模式 转变。因此，解包处理单元132能够对每个区域执行适当的解包处理。 此外，起始分组可由SFF识别，从而即j吏在不确认最终分組的情况下， 解包处理单元132也能够了解区域的更新。
例如，在发生了分组丢失的情况下，解包处理单元132从每个顺 序供给的分组中提取有效负载，根据M的值确认最终分组，在确定 关于该区域的处理已结束的情况下，转变到待机模式。如果发生了分 组丢失，那么解包处理单元132把错误通知解码单元133，丟弃该分 组(如果不是起始分组的话)，并转变到丢失模式，直到确认新区域的 分组为止。不过注意，如果"SFF-1"，即，如果在确认分組丢失时获得的分组是新区域的起始分组，那么解包处理单元132执行模式共有 处理，从而，能够开始从该区域提取有效负载，而不转变到待机模式 或丟失模式，即，不等待新区域的分组，从而，可使有效负载提取的 开始时间更早，能够减小延迟时间。
下面参考图31中的流程图，说明丟失模式处理的流程的例子。 丢失模式处理是在相同区域中发生了分组丢失的情况下，在收到新区 域的分组之前， 一直进行等待的模式的处理，并且当控制模式由控制 模式转变单元253转变成丢失模式时被启动。
当开始丟失模式处理时，在步骤Sm，分组获取单元251确定 是否收到了分组，并等到确定收到了分組为止。如果从接收单元131 供给了分组，并确定收到了分组，那么处理进入步骤S172。
在步骤S172,报头信息分析单元252参考公共报头231，确定是 否"SFF-1"。如果确定"SFF-1"不成立，不是区域的起始分组，那么 处理进入步骤S173,在步骤S173，报头信息分析单元252确定此时 是否"M-1"。如果确定"M4"不成立，即，不是区域的最终分组，那 么处理返回步骤S171，重复后续处理。
如果在步骤S173确定"M-1"，那么处理进入步骤S174，在步骤 S174，控制单元254受控制模式转变单元253控制，把控制模式转变 成待机模式。当控制模式被转变成待机模式时，丟失模式处理结束。
另外，如果在步骤S172中确定"SFF-1"，那么控制单元254执 行参考图28说明的模式共有处理。这种情况下，当模式共有处理结 束时，处理返回图31中的步骤S175，丢失模式处理结束。
如上所述，同样在丢失模式下，根据SFF和M的值，解包处理 单元132能够容易地识别区域的起始分組和最终分組。另外，最终分 组可由M识别，从而解包处理单元132能够容易地促成适合于每个 区域的模式转变。因此，解包处理单元132能够对每个区域进行适当 的解包处理。此外，起始分组可由SFF识别，从而即使在不确认最终 分组的情况下，解包处理单元132也能够了解区域的更新。
就丟失模式来说，在获取分组的时候，解包处理单元132实质上
51处于待机状态，在根据M的值探测到最终分组的情况下，转变到待 机模式，并准备获取下一个区域的起始分组。另外，在根据SFF的值 探测起始分组的情况下，解包处理单元132执行模式共有处理，从而 开始从该区域提取有效负载。
从而，解包处理单元132能够使有效负栽提取的开始计时更早， 并且能够减小延迟时间。
如上所述，通过在按照情形切换控制模式的时候进行解包处理， 即使在不提供解包緩冲器和累积每个区域的分组的情况下，解包处理 单元132也能够根据供给的分组的报头信息，顺序进行适当的处理， 并且能够容易并且高速地进行解包处理。另外，在发生分组丟失的情 况下，解包处理单元132酌情进行错误通知，从而解码单元133能够 抑制不必要解码处理的执行，减轻解码处理的负载。
此外，借助IF的值，解包处理单元132能够容量地禁止向解码 单元133供给不必要的不可解码的有效负载。这使得可以减轻解码单 元133的解码处理的负载。
解码单元133按照如上所述的解包处理单元132的处理，执行从 解包处理单元132供给的编码数据的解码处理。为此，解码单元133 执行控制解码处理的执行的解码控制处理。下面参考图32中的流程 图，说明解码控制处理的流程的例子。从开始供给编码数据的时候到 结束供给编码数据的时候，执行该解码控制处理。
在步骤S191，数据获取单元355获得从解包处理单元132供给 的编码数据。在步骤S192，緩冲单元361累积编码数据。在步骤S193, 控制信息获取单元351获得控制信息。在步骤S194，解码控制单元 352根据控制信息获取单元351获得的控制信息，确定数据获取单元 355获得的数据是否是区域的起始分组的有效负载。如果确定是区域 的起始分组的有效负载，那么处理进入步骤S195。在步骤S195,解 码控制单元352根据控制信息获取单元351获得的控制信息，确定数 据获取单元355获得的，并在緩冲单元361中累积的数据是否是连续 的。如果确定不存在分组丟失，数据获取单元355获得的并在緩冲单元361中累积的数据是连续的，那么处理返回步骤S191，对下一个编 码数据重复步骤S191和后续步骤的处理。
另外，在步骤S195，如果确定发生了分组丢失，数据是不连续 的，那么处理进入步骤S196。在步骤S196，解码控制单元352控制 熵解码单元362开始补充处理。熵解码单元362以区域为增量进行解 码处理，不过在区域的数据被丢失的情况下，利用另一区域等的数据 进行补充处理。
因此，如果获得与前次获得的分组不连续的起始分组，那么解码 控制单元352控制熵解码单元362对前一个区域进行补充处理。当补 充处理结束时，处理进入步骤S197
在步骤S197,解码控制单元352确定是否结束解码控制处理， 如果确定不结束解码控制处理，那么处理返回步骤S191,重复步骤 S191的后续处理。另外，如果在步骤S197中确定要结束解码控制处 理，那么结束解码控制处理。
另外，如果在步骤S194中确定数据获取单元355获得的数据不 是区域的起始分组的有效负载，那么处理进入步骤S198,解码控制单 元352确定数据获取单元355获得的数据是否是区域的最终分组的有 效负载。如果确定数据是区域的最终分组的有效负载，那么处理进入 步骤S199，在步骤S199，解码控制单元352控制熵解码单元362开 始累积在緩沖单元361中的编码数据的解码处理。当步骤S199的处 理结束时，处理返回步骤S197。
另外，如果在步骤S198中确定数据获取单元355获得的数据不 是区域的最终分组的有效负载，那么处理返回步骤S197。
下面参考图35中的流程图，说明在图33中的步骤S199中开始 的解码处理的流程的例子。该解码处理由图34中的解码控制处理控 制，并以区域为增量进行。
当开始解码处理时，在步骤S211，熵解码单元362获得累积在 緩沖单元361中的编码数据，在步骤S212，关于每一行对编码数据进 行熵解码。在步骤S213，緩冲单元361保存解码获得的系数数据。在步骤S214，小波逆变换单元363确定是否在緩冲单元36中累积了一 个区域的系数数据，如果确定未累积一个区域的系数数据，那么处理 返回步骤S211，执行其后的处理，并等到在緩冲单元361中累积了一 个区域的系数数据为止。
如果在步骤S214中确定在緩冲单元361中累积了一个区域的系 数数据，那么小波逆变换单元363进入步骤S215的处理，并读出保 存在緩冲单元361中的一个区域的系数数据。
随后在步骤216中，小波逆变换单元363对读出的系数数据进行 垂直合成滤波处理，所述垂直合成滤波处理对沿屏幕垂直方向排列的 系数数据进行合成滤波处理，在步骤S217，进行水平合成滤波处理，
滤波处理，在步骤S218确定合成滤波处理是否已完成级别l(其中分 割级别的值为"l"的级别)，即，确定是否达到小波变换之前的状态进 行了逆变换，如果确定未达到级别1，那么处理返回步骤S216，从而 重复步骤S216和步骤S217中的滤波处理。
在步骤S218,如果确定逆变换处理已结束级别1，那么小波逆变 换单元363进行步骤S219的处理，并对外输出通过逆变换获得的图 像数据。
在步骤S220，熵解码单元362确定是否结束解码处理，在确定 不结束解码处理的情况下，处理返回步骤S211，重复之后的处理。另 外，在步骤S220，在确定解码处理将^L结束，比如区域结束的情况下， 熵解码单元362结束解码处理。
就常规的小波逆变换方法来说，对于待处理的分割级别的所有系 数，首先，沿屏幕的水平方向进行水平合成滤波处理，随后沿屏幕的 垂直方向进行垂直合成滤波处理。即，每次进行合成滤波处理时，需 要把合成滤波处理的结果保存在緩冲器中，此时，緩冲器需要保存此 时的分割级别的合成滤波结果，和下一个分割级别的所有系数，意味 需要极大的存储容量(要保存的数据的数量极大)。
另外，这种情况下，在画面(场，就隔行扫描方法来说)内的所有
54小波逆变换结束之前，不进行图像数据输出，从而增大了从输入到输 出的延迟时间。
相反，就解码单元133的小波逆变换单元363来说，如上所述， 以区域为增量直到级别1为止连续进行垂直合成滤波处理和水平合成 滤波处理，于是与常规方法相比，(在相同时期内)同时需要緩存的数 据的数量较小，从而显著减小在緩冲器中要准备的存储容量。另外， 通过直到级别1为止进行合成滤波处理(小波逆变换处理)，在(以区域 为增量)获得画面内的所有图像数据之前，能够依次输出图像数据，从 而与常规方法相比，能够显著减小延迟时间。
下面参考图34中的流程图，说明错误通知操作处理的流程的例 子，错误通知操作处理是与图32中的解码控制处理并行进行的，关 于来自解包处理单元132的错误通知的处理。
当在图34中开始错误通知处理时，在步骤S241,错误通知获取 单元356确定是否从解包处理单元132获得了错误通知。在确定获得 了错误通知之前，该处理处于等待状态。如果在步骤S241确定获得 了错误通知，那么处理进入步骤S242。在步骤S242，丢弃处理单元 357确定在緩冲单元361中是否存在当前正在接收的区域(属于发生了 分组丟失的最新区域的编码数据)。
如果确定在緩冲单元361中存在当前正在接收的区域，那么处理 进入步骤S243。在步骤S243,解码处理单元357丟弃在緩冲单元3" 中累积的正被接收的片段。当步骤S243中的处理结束时，处理进入 步骤S244。另外，如果在步骤S242中确定在緩冲单元361中不存在 正被接收的片段时，步骤S243的处理被忽略，处理进入步骤S244。
在步骤S244，丢弃处理单元357确定是否结束错误通知操作处 理。如果确定解包处理正在继续，并且也不将结束错误通知操作处理， 那么处理返回步骤S241,重复之后的后续处理。另外，如果在步骤 S244中确定错误通知操作处理将被结束，那么结束错误通知操作处 理。
这样，解码单元133按照来自解包处理单元132的错误通知，丟弃发生了分组丟失的片段的编码数据，从而能够避免执行不必要的解
码处理。能够进行这种恰当的解码处理，从而解码单元133能够容易 并且高速地进行解码处理，能够减小解码处理的负栽，并且能够降低 电路规模和成本。
图35中表示了解包处理单元132进行错误通知的方式的例子。
我们假定在图35中，解包处理单元132和解码单元133由6条 信号线连接。解包处理单元132把通过删除RTP报头等，从接收的 分组l提取的编码数据(Datal)供给解码单元133。此时，如果编码数 据(Data l)是新片段的头部，那么控制单元254控制解包处理单元132 的控制信号供给单元258通知开始信息(START)。
如果到达的下一个分组是分组5，那么确定存在分組丢失。此时， 作为区域的一部分的Data 1已被传给解码单元133,从而控制单元254 控制解包处理单元257进行错误通知。另外，由于分组5是"SFF-1"， 因此控制单元254控制解包处理单元132的控制信号供给单元258通 知开始信息(START)。
注意上面说明了在区域的数据大小大于分组大小的情况下，封包 处理单元122分割数据，生成多个分组，在其它情况下，生成单个分 组，不过可做出这样的安排，其中如果区域的数据大小小于分组大小， 那么可把多个区域的数据制成单个分组。
此时，有效负载报头的配置具有按照如图36中所示的顺序排列 的报头信息和有效负载。就图36中的例子来说，在作为第一个区域 的数据的公共报头231-有效负载237之后，配置片断信息431，量化 参数信息432，大小信息433，格式信息434,画面信息435,色彩信 息436和有效负载437,它们是第二个区域的数据，在这之后是第三 个区域和后续区域的数据。
片断信息431是关于第二个区域的公共报头，如图37中所示， 包括基本上和公共报头21相同的信息。即，片断信息431是根据区 域报头171创建的。注意如果在其之后存在另一个区域的数据，那么 在公共报头231中，NF的值被设为"l"(和片断信息431 —样)。
56下面参考图38中的流程图，说明此时的封包处理的流程的例子。
如图38中所示，这种情况下的封包处理同样按照和参考图26 说明的情况基本相同的方式进行。按照和图26中的步骤S31-步骤S42 的每个处理相同的方式执行步骤S301-S312的每个处，按照和图26 中的步骤S43-步骤S45的每个处理相同的方式执行步骤S315-步骤 S317的每个处理。
不过注意，在步骤S310中，如果确定区域的大小不大于分组大 小，那么封包处理单元122的大小确认单元207确定是否能够向相同 的分组增加新的有效负载。如果确定分组大小存在余地，能够增加有 效负载，那么处理进入步骤S314,在步骤S314,数据获取单元201 确定是否获得了区域报头，并等到确定获得了区域报头为止。如果确 定获得了区域报头，那么处理返回步骤S303，对待增加到分组中的区 域重复后续处理。即，通过重复步骤S303-步骤S310和步骤S313和 步骤S314的循环处理，区域被依次增加到相同的分组中，直到编码 数据的数据大小大于分组大小为止。
注意在步骤S313，如果确定不能向分组增加有效负载，那么处 理返回步骤S313，执行后续处理。即，这种情况下，用单个区域的编 码数据生成单个分组。
通过进行如上所述的封包处理，多个区域的数据可被包括在单个 分组中。
如上所述由图1中所示的传输系统100的每个单元执行的各种处 理是酌情并行执行的，如图39中所示。
图39是示意表示关于由图1中所示的传输系统100的每个单元 执行的处理的各个要素的并行操作的例子的示图。图39对应于上面 说明的图6。利用小波变换单元150(图2)对图像数据的输入In-l(图 39中的A)进行首次的小波变换WT-1。如同参考图5所述那样，在输 入前三线的时候开始首次的小波变换WT-1，并生成系数C1。即，从 输入图像数据In-l到开始小波变换WT-1发生三行的延迟。
生成的系数数据被保存在系数重排緩冲单元152(图2)中。之后，对输入的图像数据进行小波变换，首次的处理结束，从而处理被毫无
变化地转移到第二次的小波变换WT-2。
与用于小波变换WT-2的图像数据In-2的输入，和第二次的小 波变换WT-2的处理并行地，利用系数重排单元153(图2)进行三个系 数，系数C1，系数C4和系数C5的重排Ord-l(图39中的C)。
注意从结束小波变换WT-1到开始重排Ord-l的延迟是基于设备 或系统配置的延迟，例如是与向系数重排单元153传送指令重排处理 的控制信号相关的延迟，系数重排单元153关于控制信号开始处理所 需的延迟，或者程序处理所需的延迟，不是与编码处理相关的大量延 迟。
按照完成重排的顺序从系数重排緩冲单元152读出系数数据，并 供给熵编码单元155(图2)，进行熵编码EC-1(图39中的D)。可在不 等待这三个系数C1，系数C4和系数C5的所有重排结束的情况下开 始熵编码EC-1 。例如，在结束首先系数C5输出的一行的重排的时刻， 能够开始关于系数C5的熵编码。这种情况下，从开始重排Ord-l到 开始熵编码EC-1的延迟为一行。
熵编码单元155已完成其熵编码EC-1的编码数据被进行预定的 信号处理，随后经线路110被传给接收设备103(图39中的E)。此时， 编码数据被封包和传送。
从首次处理时的七行到屏幕的结束行，图像数据被顺序输入传输 设备102的编码单元121。在编码单元121，按照图像数据输入In-n(其 中n为2或更大)，每四行进行小波变换WT-n,重排Ord-n和熵编码 EC-n，如上所述。对六行进行在编码单元121的最后一次处理中进行 的重排Ord和熵编码EC。这些处理在编码单元121并行地进行，如 图39中A-D例证所示。
由编码单元121的熵编码EC-1编码的编码数据的分组被传给接 收设备103，进行解包处理等等，随后被供给解码单元133。解码单 元133的熵解码单元362对供给的由熵编码EC-1编码的编码数据顺 序进行熵编码的解码iEC-l，恢复系数数据(图39中的F)。恢复的系数数据被顺序保存在緩冲单元361中。当多达能够进行小波逆变换的 系数数据被保存在緩冲单元361中时，小波逆变换单元363从緩沖单 元361读出系数数据，并利用读出的系数数据进行小波逆变换 iWT國l(图39中的G)。
如同参考图5所述那样，可在把系数C4和系数C5保存在緩沖 单元361中的时候，开始在小波逆变换单元363的小波逆变换iWT-l。 因此，从由熵解码单元362开始解码iEC-l到由小波逆变换单元363 开始小波逆变换iWT-l的延迟为两行。
就小波逆变换单元363来说，当经历首次的小波变换的三行的小 波逆变换iWT-l结束时，进行由小波逆变换iWT-l生成的图像数据 的输出Out-l(图39中的H)。就输出Out-l来说，如上参考图5和图 6所述，第一行的图像数据被输出。
在把首先由编码单元121处理的三行编码系数数据输入解码单 元133之后，依次输入由熵编码EC-n(n为2或更大)编码的系数数据。 借助解码单元"3，每四行对输入的系数数据进行熵解码iEC-n和小 波逆变换iWT-n,如上所述，并顺序执行由小波逆变换iWT-n恢复的 图像数据的输出Out-n。对六行进行与编码单元121的最后一次处理 对应的熵解码iEC和小波逆变换iWT，输出八行的输出Out。如图 39中的F到图39中的H所示，在解码单元133并行地进行这些处理。
如上所述，通过按照从屏幕顶部朝其底部的顺序，在编码单元 121和解码单元131并行地进行各个处理，能够以最小的延迟进行图 像压缩处理和图像解码处理。
参考图39，计算在利用5x3滤波器进行到分割级别2的小波变 换的情况下，从图像输入到图像输出的延迟时间。从把第一行的图像 数据输入编码单元121到从解码单元131输出笫一行的图像数据的延 迟时间变成下面说明的各个元素的总和。注意基于系统配置而不同的 延迟，比如传输路径中的延迟和与设备的各个部分的实际处理计时相 关的延迟被排除在外。
(l)从笫一行输入到七行的小波变换WT-1结束为止的延迟
59D_WT
(2) 与三行的系数重排Ord-l相关的时间D_Ord
(3) 与三行的熵编码EC-1相关的时间D—EC
(4) 与三行的熵解码iEC-1相关的时间D_iEC
(5) 与三行的小波逆变换iWT-1相关的时间D_iWT 下面参考图39计算由上述各个元素引起的延迟。(l)中的延迟
D一WT为IO行的时间。(2)中的时间D—Ord， (3)中的时间D—EC, (4) 的时间D一iEC和(5)中的时间D一iWT均为3 4亍的时间。另外，就编码 单元121来说，在从开始重排Ord-l起一行之后，能够开始熵编码 EC-1。类似地，就解码单元133来说，在从开始熵解码iEC-1起两行 之后，能够开始小波逆变换iWT-l。另外，在完成借助熵编码EC-1 进行的一行编码的时刻，熵解码iEC-1能够开始处理。
因此，就图39中的例子来说，从第一行的图像数据被输入编码 单元121到从解码单元133输出第一行的图像数据的延迟时间变成 10+1+1+2+ 3=17行。
下面关于一个更具体的例子考虑延迟时间。在输入图像数据是 HDTV(高清晰电视)的隔行扫描视频信号的情况下，例如一帧由1920 像素xl080行的分辨率构成， 一场为1920像素x540行。因此，在帧 频率为30 Hz的情况下， 一场的540行在16.67毫秒(=1秒/60场)的时 间内被输入编码单元121。
因此，与七行图像数据的输入相关的延迟时间为0.216毫秒 (=16.67毫秒x7/540行)，对于一场的更新时间来说变成很短的时间。 另外，上述(l)中的延迟D_WT，("中的时间D_Ord， p)中的时间 D_EC, (4)中的时间D—iEC和(5)中的时间D_iWT的总和的延迟时间 被显著缩短，因为待处理的行数较小。使执行每个处理的组件硬件化 将能够更进一步地缩短处理时间。
下面说明SFF和M的标记信息。
如上所述，就传输系统100来说，对增大的延迟时间的容限较小， 从而要求更高效地传送数据，更高效地执行必要的处理，即使是最轻微地提高传送数据和执行必要处理的效率。
存在常规的按预定数据增量进行编码和解码的系统。在这些系统
中，在封包编码数据并进行传送的情况下，如同图1中的传输系统100
一样，数据增量中的编码数据被分成多个，每一个被封包和传送。不 过，就常规系统来说，对延迟时间的容限较大，从而在解包处理中， 数据增量的分組被累积，按每个数据增量进行解包处理。从而只有数 据增量都存在的编码数据才能够被供给解码单元被解码。
但是，就这种方法来说，必须在解包处理单元和编码单元都进行
緩存，对要求减小延迟时间的传输系统100来说这是不可取的。
因此，如上所述，解包处理单元132使用在每个单元能够按照供 给的顺序处理传送的编码数据的事实，从接收的分组顺序提取有效负 载数据并供给解码单元133而不进行累积。每次累积了顺序供给的一 个区域的编码数据时，解码单元133就开始解码处理。从而，能够减 少编码数据的緩存次数，从而传输系统100能够进一步降低延迟时间。
SFF和M是指示区域的头部和结尾的标记信息，解包处理单元 132能够根据该标记信息探测区域的头部和结尾，并就此通知解码单 元133。解码单元133根据来自解包处理单元132的通知，能够了解 区域的中断，并以区域为增量开始解码处理。
如果一切如此，那么独自指示区域的结尾的M就已足够。如果 我们假定区域被分割成多个分组并且分组未被分割、存在于一起，那 么这些分组可以被识别，只要存在指示区域已被分割的标记信息。
不过实际上，可以设想接收单元131未能收到分组(丢失分组)。 如果发生这种分组丢失，那么解包处理单元132需要改变常规操作有 关于此的处理，以便不进行分组的緩存。例如，在发生分组丢失的情 况下，就传输系统100来说，传输设备102重新发送该分组的时间不 能被保证，从而区域的编码数据不是所有都存在。即，由于分组丢失 的发生，解码单元133将不能够执行关于该区域的解码处理。
因此，例如如果在区域内途中发生了分组丟失，那么可以设想到 目前为止该区域的编码数据被累积在解码单元133。这种情况下，解包处理单元132向解码单元133告知发生了分组丢失，并使累积的与 丟失分组的编码数据相同区域的编码数据被丢弃。因此，解码单元133 能够避免对该区域进行不必要的解码处理(将失败的解码处理)，从
而减轻负载o
另外， 一旦发生分组丟失，区域的后续编码数据变得不必要。因
此，即使解包处理单元132获得分组，它也不把编码数据供给解码单 元133，直到下一个后续区域为止。当获得新区域的分组时，解包处 理单元132恢复编码数据的供给。
从而，解包处理单元132通过按照状态改变控制模式，酌情进行 适当的处理。为此，解包处理单元132参考SFF和M，探测区域的 头部和结尾。此时，如果只存在指示结尾的M，那么在探测到区域的 结尾之前，解包处理单元132不能确定区域已改变。例如，在丟失区 域的最终分组的情况下，解包处理单元132需要等待另外的下一个新 区域，从而不仅延迟时间会增大，而且在解码单元133不能进行解码 处理，存在所恢复图像的图像质量可能降低的顾虑。
相反，通过参考SFF的值并探测起始分组，解包处理单元132 不仅能够减小不必要的待机时间，比如重新开始向解码单元133供给 数据，而且能够只地起始分组进行例外的处理，比如不仅向解码单元 133供给编码数据，而且还供给报头信息，忽略向解码单元133通报 分組丢失的发生的错误通知，即使发生分组丟失，仍然继续向解码单 元133供给编码数据，等等。
从而，解包处理单元132能够依据SFF和M标记信息恰当地进 行处理，能够进一步减小延迟时间。
另外，解包处理单元132根据SFF和M,通知解码单元133正 被供给的编码数据是区域的头部或结尾。因此，解码单元133能够容 易地了解区域的头部和结尾，从而在供给了区域的结尾的情况下，能 够开始解码处理，在供给了不连续的新区域的头部的情况下，能够对 先前丢失的区域进行补充处理。即，根据来自解包处理单元132的通 知，解码单元133能够容易并且高速地进行这种控制。
62如上所述，SFF和M并不仅仅是通报解包处理和解码处理的开 始计时的标记信息，而是使解包处理单元132和解码单元133在适当 的计时选择和执行适当处理，以便进一步减小直到解码和输出编码数 据的延迟时间的标记信息。
现在，尽管系数重排被描述成在图2中的小波变换之后(熵编码 之前)立即被执行，不过编码数据按照从低带到高带的顺序被供给解码 单元133的小波逆变换单元363就已足够(即，按照通过编码属于低带 子带的系数数据获得的编码数据到通过编码属于高带子带的系数数 据获得的编码数据的顺序供给就已足够)，重排计时可以是除了紧跟在 小波变换之后的其它计时。
例如，通过熵编码获得的编码数据的顺序可被重排。图40是图 解说明这种情况下的编码单元的配置例子的方框图。
在图40中的情况下，按照和图2中的编码单元121的情况相同 的方式，编码单元500包括小波变换单元150，中间计算緩冲单元151， 熵编码单元155，和速率控制单元154,不过具有代替图2中的系数 重排緩冲单元152和系数重排单元153的代码重排緩冲单元501和代 码重排单元502。
代码重排緩冲单元501是用于重排在熵编码单元155编码的编码 数据的输出顺序的緩冲器，代码重排单元502通过按照预定顺序读出 累积在代码重排緩冲单元501中的编码数据，重排编码数据的输出顺 序。
即，在图40中的情况下，从小波变换单元150输出的小波系数 被供给熵编码单元155,并被编码。通过熵编码获得的每个编码数据 被顺序供给代码重排緩沖单元501,并被临时累积以便重排。
代码重排单元502按照预定顺序读出写入代码重排緩冲单元501 中的编码数据，并从编码单元500向外输出。
在图40中的情况下，熵编码单元155按照小波变换单元150的 输出顺序执行每个系数数据的编码，并把获得的编码数据写入代码重 排緩冲单元501。即，代码重排緩冲单元501按照与小波变换单元150输出小波系数的顺序对应的顺序保存编码数据。在正常情况下，通过
相互比较属于一个区域的系数数据，小波变换单元150较早地输出属 于更高频带子带的系数数据，稍后输出属于较低频带子带的系数数 据。即，每个编码数据是按照从通过进行属于高带子带的系数数据的 熵编码而获得的编码数据，到通过进行属于低带子带的系数数据的熵 编码而获得的编码数据的顺序，保存在代码重排緩冲单元501中的。 相反，代码重排单元502通过按照与上述顺序无关的任意顺序， 读出累积在代码重排緩沖单元501中的每个编码数据，进行编码数据 的重排。
例如，代码重排单元52优先读出通过编码属于低带子带的系数 数据而获得的编码数据，最后读出通过编码属于最高频带子带的系数 数据而获得的编码数据。从而，通过从低带到高带读出编码数据，代 码重排单元502使解码单元133能够按照获得的顺序对每个编码数据 解码，从而减小在解码单元133的解码处理发生的延迟时间。
代码重排单元502读出累积在代码重排緩冲单元501中的编码数 据，并从编码单元500向外输出。
注意借助已参考图24说明的解码单元133，在图40中所示的编 码单元500编码和输出的数据可按照和从图2中的编码单元121输出 编码数据的情况相同的方式被解码。
另外，进行重排的计时可以不同于上面说明的计时。例如，如图 41中所示，重排可以在编码单元进行，或者如图42中所示，重排可 以在解码单元进行。
在重排通过小波变换生成的系数数据的处理中，需要较大的容量 作为系数重排緩冲器的存储容量，另外，系数重排处理本身需要高的 处理能力。同样在这种情况下，在编码设备的处理能力处于或高于一 定水平的情况下，不存在任何问题。
现在，我们考虑其中编码设备被安装在处理能力较低的设备，比 如诸如蜂窝电话机或PDA(个人数字助手)中的情况。例如，近年来， 其中在蜂窝电话机终端中增加成像功能的产品已开始被广泛使用(称
64为带有照相机功能的蜂窝电话机)。可以考虑其中对由带有这种照相机 功能的蜂窝电话机终端成像的图像数据进行通过小波变换和熵编码 的压缩编码，并通过无线或电缆通信被传送的情况。
这种移动终端在CPU(中央处理器)处理能力方面受到限制，另外
存储容量具有一定的上限。于是，在上述系数重排方面的处理的负载 等等是不能被忽略的问题。
从而，如同图42中所示的例子一样，通过把重排处理建立到解 码单元中，能够减轻编码单元上的负载，从而使编码单元能够被安装 在诸如移动终端之类处理能力较低的设备中。
图43是图解说明这种情况下的编码单元的例子的配置的方框 图。注意在图43中，与上述图2共有的部分用相同的附图标记表示， 详细i兌明将^皮省略。
图43中所示的编码单元510的配置是其中关于上述图2中所示 的编码单元121的配置，除去了系数重排单元153和系数重排緩冲单 元152的配置。即，按照和编码单元121的情况相同的方式，编码单 元510具有小波变换单元150,中间计算緩冲单元151,速率控制单 元154和熵编码单元155。
输入的图像数据被临时累积在中间计算緩冲单元151中。小波变 换单元150对累积在中间计算緩沖单元151中的图像数据进行小波变 换并按照系数数据生成的顺序，把生成的系数数据依次供给熵编码单 元155。即，按照遵循小波变换的顺序，从高带分量到低带分量的顺 序，生成的系数数据被供给熵编码单元155。熵编码单元155对供给 的系数进行熵编码，同时输出数据的位速率由速率控制单元154控制。 小波变换生成的已经历熵编码的系数数据的编码数据从熵编码单元 155输出。
图44是图解说明与编码单元510对应的解码设备的例子的配置 的方框图。注意在图44中，与上述图24共有的部分和相同的附图标 记表示，详细说明将被省略。
如图44中所示，这种情况下，按照和图24中的解码单元133
65相同的方式，解码单元520具有控制信息获取单元351，解码控制单 元352,解码处理执行单元353，报头获取单元354，数据获取单元 355,错误通知获取单元356，和丢弃处理单元357，同时解码处理执 行单元353还具有系数重排緩冲单元521。
从图43说明的编码单元510的熵编码单元155输出的编码数据 经图44中的解码单元520中的緩冲单元361，被供给熵解码单元362， 在熵解码单元362，熵编码数据被解码成系数数据。该系数数据经緩 冲单元361被保存在系数重排緩冲单元521中。当系数数据在系数重 排緩沖单元521中被累积到系数数据的重排成为可能的程度时，小波 逆变换单元363读出保存在系数重排緩冲单元521中的，按照从低带
分量到高带分量的顺序重排的系数数据，并按照读出顺序利用系数数 据进行小波逆变换处理。在使用5x3滤波器的情况下，这如上述图42 中所示。
即，如果从1帧的头部开始处理，在其熵编码已被解码的系数 Cl，系数C4和系数C5被保存在系数重排緩沖单元521中的时刻， 小波逆变换单元363从系数重排緩沖单元521读出系数数据，并进行 小波逆变换处理。在小波逆变换单元363经过小波逆变换的数据作为 输出图像数据被顺序输出。
注意同样在这种情况下，编码单元510中的每个组件的处理，关 于传输路径的编码数据的传输，和解码单元520中的每个组件的处理 是并行执行的，如同已参考图39所述那样。
如上所述，本发明可应用于各个实施例，并且能够容易地适用于 各种应用(即，具有高的通用性)，这也是其一个重大优点。
上述一系列处理可以由硬件执行，或者可以由软件执行。在用软 件执行所述一系列处理的情况下，构成该软件的程序从程序记录介质 被安装到装配成专用硬件的计算机，或者通过安装各种程序，能够执 行各种功能的通用个人计算机，或者由多个设备构成的信息处理系统 的信息处理设备等等之中。
图4 5是图解说明用程序执行上述 一 系列处理的信息处理系统的例子的配置的方框图。
如图45中所示，信息处理系统800是由信息处理设备801，和 通过PCI总线802与信息处理设备801连接的存储设备803， VRT 840-1 ~ VTR 840-S(它们是多个磁带录像机(VRT))，鼠标805，键盘 806和供用户对这些组件进行操作输入的操作控制器807构成的系统， 是用于借助安装的程序，执行如上所述的图像编码处理和图像解码处 理等的系统。
例如，信息处理系统800的信息处理设备801能够把通过对保存 在由RAID(独立磁盘冗余阵列)构成的大容量存储设备中的运动图像 内容编码而荻得的编码数据保存在存储设备803中，把通过对保存在 存储设备803中的编码数据解码而获得的解码图像数据(运动图像内 容)保存在存储设备803中，借助VTR 804-1 ~ VTR 840-S等等把编码 数据和解码图像数据记录在录像带上。另外，信息处理设备801还被
这样安排，以致记录在装入VTR 804-1 ~VTR840-S中的录像带中的 运动图像内容可被转移到存储设备803中。此时，信息处理设备801 可以对该运动图像内容编码。
信息处理设备801具有微处理器卯l， GPU(图形处理单元)卯2， XDR(极端数据速率)-RAM 903，南桥904， HDD(硬盘驱动器)卯5， USB(通用串行总线)接口(USBI/F(接口))906，和声音输入/输出编解码 器907。
GPU 902通过专用总线911与微处理器901连接。XDR-RAM 903 通过专用总线912与微处理器901连接。南桥904通过专用总线与微 处理器901的1/0(输入/输出)控制器944连接。南桥904还与HDD 905， USB接口卯6和声音输入/输出编解码器907连接。声音输入/输出编 解码器907与扬声器921连接。另外，GPU902与显示器922连接。
另外，南桥904还通过PCI总线802与鼠标805，键盘806, VRT 804-1 ~VTR840-S，存储设备803和操作控制器807连接。
鼠标805和键盘806接收用户操作输入，并通过PCI总线802 和南桥904向微处理器901供给指示用户操作输入的内容的信号。存储设备803和VRT 804-1 ~ VTR 840-S被配置成能够记录或重放预定 数据。
PCI总线802还根据需要与驱动器808连接，诸如磁盘，光盘， 磁光盘或者半导体存储器之类的可拆卸介质811酌情安放在驱动器 808上，从可拆卸介质811读出的计算机程序根据需要被安装在HDD 905中。
微处理器901被配以集成在单一芯片上的多核心配置，具有执行 诸如OS(操作系统)之类的基本程序的通用主CPU核心，作为通过内 部总线945与主CPU核心941连接的RISC(精简指令集计算机)种类 的多个(这种情况下，八个)信号处理处理器的子CPU核心942-1 ~ 942-8，对容量为256 [Mbyte]的XDR-RAM 903进行存储控制的存储 控制器943，和管理南桥之间的数据的输入/输出的1/0(输入/输出)控 制器944，并实现4[GHz的工作频率。
在启动时，微处理器901根据保存在HDD 905中的控制程序， 读取保存在HDD 905中的必要应用程序并在XDR-RAM 903中展开 所述必要应用程序，之后根据该应用程序和操作员操作，执行必要的 控制处理。
另外，通过执行软件，微处理器901实现上述编码处理和解码处 理，并能够通过南桥904供给通过编码获得的编码流，并保存在HDD 卯5中，或者把通过解码获得的运动图像内容的重放画面的数据传给 GPU902,显示在显示器922上。
微处理器901内的每个CPU核心的使用方法是任意的，不过可 以做出一种安排，其中主CPU核心942执行和图像编码处理及图像 解码处理的控制相关的处理，并使八个子CPU核心942-1 ~ 942-8按 照和参考图39说明的情况相同的方式，同时并行地执行小波变换， 系数重排，熵编码，熵解码，小波逆变换，量化和反向量化等处理。 此时，其中主CPU核心941以区域为增量把处理拨给八个子CPU核 心942-1 ~ 942-8中的每一个，造成以区域为增量同时并行地执行编码 处理和解码处理，如上参考图39所述。即，这能够改进编码处理和解码处理的效率，能够降低整个处理的延迟时间，并且能够减小处理 所必需的负载，处理时间和存储容量。当然，可以做出用除此之外的 方法进行每个处理的安排。
例如，可以做出其中八个子CPU核心942-1 ~ 942-8中的一部分 同时并行执行编码处理，另一部分同时并行进行解码处理的安排。
另外，在独立的编码器或者解码器，或者编解码器处理设备与 PCI总线802连接的情况下，孩i处理器卯l的八个子CPU核心942-1 ~ 942-8可被安排成通过南桥904和PCI总线802控制由这些设备执行 的处理。此外，如果多个这样设备被连接，或者如果这些设备包括多 个解码器或编码器，那么孩i处理器901的八个子CPU核心942-1 ~ 942-8可被安排成均部分负责和控制由多个解码器或编码器执行的处 理。
此时，主CPU核心941管理八个子CPU核心942-1 ~ 942-8的 操作，并向每个子CPU核心分配处理，和取回处理结果等等。此夕卜， 主CPU核心941执行除由这些子CPU核心执行的处理之外的处理。 例如，主CPU核心941经南桥904接受从鼠标805，键盘806或者操 作控制器807供给的命令，并按照命令执行各种处理。
除了与当显示在显示器922上的运动图像内容的重放画面被移 动时，等待紋理相关的最终渲染处理之外，GPU902能够控制进行用 于同时在显示器922上显示运动图像内容的多个重放画面和静止图像 内容的静止图像的坐标变换计算处理，关于运动图像内容的重放画面 和静止图像内容的静止图像的扩展/缩小处理的功能，并减轻微处理器 901上的处理负载。
在微控制器901的控制下，GPU 902对运动图像内容的供给画面 数据或静止图像内容的图像数据进行预定信号处理，从而把获得的画 面数据和图像数据发给显示器922，并在显示器922上显示图像信号。
顺4更提及，具有其中孩i处理器卯l的八个子CPU核心942-1 ~ 942-8同时并行解码的多个运动图像内容的重放图像经总线911被传 送给GPU902，不过此时的传送速度最大为30Gbyte/sec，并被安排
69成即使重放图像复杂，并且已经过特效处理，也能够使显示快速并且 平滑。
另外，在运动图像内容的画面数据和音频数据中，微处理器901 对音频数据进行音频混合处理，经南桥904和声音输入/输出编解码器 卯7把通过音频混合处理获得的编辑音频数据发给扬声器921，从而 能够从扬声器921输出基于该音频信号的声音。
在由软件执行上述一 系列处理的情况下，从网络或者记录介质安 装构成该软件的程序。
例如如图45中所示，记录介质不仅由其中记录有程序，独立于 设备主单元分布，从而向用户分发程序的可拆卸介质811，例如磁盘 (包括软盘)，光盘(包括CD-ROM, DVD)，》兹光盘(包括MD)，或半 导体存储器构成，而且由保存有程序，并在已被预先装配到设备主单 元中的状态下被分发给用户的HDD 905或存储设备803构成。当然， 记录介质也可以是诸如ROM或闪速存储器之类的半导体存储器。
上面，关于其中配以八个子CPU核心的微处理器901进行了说 明，不过并不局限于此，子CPU核心的数目是任意的。另外，微处 理器卯l不必由诸如主CPU核心和子CPU核心之类的多个核心构成， 可以使用由单核心(l个核心)构成的CPU。另外，可以使用多个CPU 而不是微处理器卯l,或者可以使用多个信息处理设备(即，可在相互 协作的多个设备执行实现本发明的处理的程序)。
注意本说明书的描述记录在记录介质中的程序的步骤当然包括 按照描述的时间顺序执行的处理，不过即使不一定按照时间顺序执行 的处理也包括在内，所述步骤还包括并行或者单独执行的处理。
另外，按照本说明书，系统代表由多个设备构成的设备的总体。
注意就上面所述来说，描述成一个设备的配置可被分割并配置成 多个设备。相反，上面描述成多个设备的配置可被合起来配置成一个 设备。另外，当然可以增加除上面所述的设备配置外的配置。此外， 只要作为整个系统的配置和操作基本相同，那么某一设备的配置的一 部分可被包括在另设备的配置中。上面描述的本发明用于容易并且高速地进行封包处理和解包处 理，并且能够被多样地应用，只要是其中对图像进行压缩编码和传送， 并在传输目的地对压缩代码进行解码和输出的设备或系统。本发明特 别适合于和其中要求从图像的压缩编码到解码和输出的延迟较短的 设备或系统一起使用。
例如，本发明适合于和远程医疗诊断应用一起使用，比如在观看 利用摄像机拍摄的画面的时候，通过操纵机械手进行治疗。另外，本 发明适合于和其中在广播站等对图像进行编码和传送，和对图像进行 解码和显示或记录的系统一起使用。
此外，本发明可应用于分发实况转播的画面的系统，在教育领域 实现学生和老师之间的互动交流的系统，等等。
此外，本发明可应用于利用具有成像功能的移动终端，比如带有 照相机功能的蜂窝电话终端，视频会议系统，由监视照相机和记录监 视照相机拍摄的画面的记录器构成的系统拍摄的图像数据的传输。
权利要求
1、一种执行向每隔预定增量编码的图像数据的编码数据中添加报头信息并进行封包的封包处理的信息处理设备，所述信息处理设备包括创建所述报头信息的创建装置；间隔事先确定的每个预定数据量，把所述编码数据分成多个部分数据的分割装置；把所述创建装置创建的所述报头信息添加到由所述分割装置分割所述编码数据而获得的所述多个部分数据中的每一个中并进行封包的封包装置；和关于由所述封包装置产生的分组中有效负载是多个所述部分数据中的起始部分数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始标记，并关于有效负载是多个所述部分数据中的结尾部分数据的最终分组，设置包括在报头信息中的指示所述最终分组的结尾标记的标记设置装置。
2、 按照权利要求1所述的信息处理设备，其中所述编码数据是 已以区域为增量被小波变换和熵编码的编码数据，所述区域是为产生 图像数据的 一行最低频带分量所必需的包括其它子带的行组。
3、 按照权利要求1所述的信息处理设备，其中按照解码的顺序 供给所述编码数据。
4、 按照权利要求1所述的信息处理设备，还包括每隔预定增量 编码所述图像数据并产生所述编码数据的编码装置，其中所述分割装置分割由所述编码装置产生的所述编码数据。
5、 按照权利要求4所述的信息处理设备，其中所述编码装置供 给格式与所述报头信息相同的附加信息，其中所述创建装置利用由所述编码装置供给的所述附加信息创 建所述报头信息。
6、 按照权利要求4所述的信息处理设备，其中所述编码装置供给指示所述编码的成功或失败的标记信息，并且在根据所述标记信息 确定所述编码失败的情况下，所述封包装置只使用由所述创建装置创 建的所述报头信息执行封包。
7、 一种执行向每隔预定增量编码的图像数据的编码数据中添加 报头信息并进行封包的封包处理的信息处理设备的信息处理方法，包 括下述步骤创建所述报头信息；间隔事先确定的每个预定数据量，把所述编码数据分成多个部分数据；把所述报头信息添加到分割所述编码数据而获得的所述多个部 分数据中的每一个中并进行封包；和关于产生的分组中有效负载是多个所述部分数据中的起始部分 数据的起始分组，设置包括在报头信息中的指示所述起始分组的起始 标记，并关于有效负载是多个所述部分数据中的结尾部分数据的最终 分组，设置包括在报头信息中的指示所述最终分组的结尾标记。
8、 一种使计算机执行向每隔预定增量编码的图像数据的编码数 据中添加报头信息并进行封包的封包处理的程序，所述程序使计算机 执行包括下述步骤的信息处理创建所述报头信息；间隔事先确定的每个预定数据量，把所述编码数据分成多个部分数据；把所述报头信息添加到分割所述编码数据而获得的所述多个部 分数据中的每一个中并进行封包；和关于产生的分组中有效负载是多个所述部分数据中的起始部分 数据的起始分组，设置包括在报头信息中的指示所迷起始分组的起始 标记，并关于有效负载是多个所述部分数据中的结尾部分数据的最终 分组，设置包括在报头信息中的指示所述最终分组的结尾标记。
9 、 一种执行从分組提取有效负载数据的解包处理的信息处理设 备，包括获取外部供给的所述分组的获取装置；根据所述获取装置获取的所述分组的报头信息，确定在所述获取装置的获取中是否发生分组丟失的丢失确定装置；和在所述丟失确定装置确定未发生所述分组的丟失的情况下，从所 述获取装置获取的所述分组提取有效负载数据并供给下游处理单元， 在所述丢失确定装置确定发生了所述分组的丢失的情况下，丢弃所述 获取装置获取的所述分组的供给装置。
10、 按照权利要求9所述的信息处理设备，其中在包括在所述报 头信息中的序列号和在前次获得的分组的序列号不连续的情况下，所 述丢失确定装置确定发生了所述分组的丢失，所述序列号是指示分组 的顺序的信息。
11、 按照权利要求9所述的信息处理设备，还包括在所述丢失确 定装置确定发生了所述分组的丟失的情况下，通知所述下游处理单元 的通知装置。
12、 按照权利要求9所述的信息处理设备，还包括确定所述获取 装置获取的分組是否是由所述序列号连续的多个分組构成的一组分 组的起始分組的头部确定装置；其中在所述丟失确定装置确定未发生所述分组的丟失的情况下， 并且另外在所述头部确定装置确定是所述一组分组的起始分组的情 况下，所述供给装置还把所述报头信息供给下游处理单元。
13、 按照权利要求12所述的信息处理设备，其中在所述丢失确 定装置确定发生了所述分组的丢失的情况下，所述供给装置丢弃所述 分组，直到所述头部确定装置确定所迷获取装置已获取新的一组分组 的起始分组为止。
14、 按照权利要求9所述的信息处理设备，其中所述有效负载数 据是已以区域为增量被小波变换和熵编码的编码数据，所述区域是为 产生 一行最低频带分量所必需的包括其它子带的行组。
15、 按照权利要求14所述的信息处理设备，其中按照解码的顺 序供给所述编码数据。
16、 按照权利要求14所述的信息处理设备，还包括在所述下游 处理单元执行解码所述编码数据的解码处理的解码处理执行装置，所 述编码数据是由所述供给装置供给的所述有效负载数据。
17、 按照权利要求16所述的信息处理设备，所述解码处理执行 装置包括临时保持从所述供给装置供给的所述编码数据的保持装置； 以所述区域为增量对所述保持装置保持的所述编码数据解码的 解码装置；和关于所述解码装置解码获得的系数数据进行小波逆变换的小波 逆变换装置。
18、 按照权利要求14所迷的信息处理设备，还包括根据所述获 取装置获取的所述分组的报头信息确定所述熵编码成功还是失败的 编码成功/失败确定装置；其中在所述编码成功/失败确定装置确定所述编码失败的情况 下，所述供给装置只供给所述报头信息。
19、 一种执行从分组提取有效负栽数据的解包处理的信息处理设 备的信息处理方法，包括下述步骤获取外部供给的所述分组；根据获取的所述分组的报头信息确定是否发生了分组丢失；和 在确定未发生所述分组的丢失的情况下，从获得的所述分组提取有效负载数据并供给下游处理单元，在确定发生了所述分组的丢失的情况下，丢弃获得的所述分组。
20、 一种使计算机执行从分组提取有效负载数据的解包处理的程 序，所迷程序使计算机执行包含下述步骤的信息处理获取外部供给的所述分组；根据获取的所述分组的报头信息确定是否发生了分组丢失；和 在确定未发生所述分組的丢失的情况下，从获得的所述分组提取有效负载数据并供给下游处理单元，在确定发生了所迷分组的丢失的情况下，丟弃获得的所述分组。
全文摘要
本发明涉及一种信息处理设备，方法和程序，从而在解包处理中，能够减少不必要的待机时间，并且能够容易和高速地进行处理。公共报头创建单元203根据数据获取单元201从区域获得的区域报头171，创建公共报头，所述公共报头是共同添加到创建的每个分组中的报头。在区域的数据大小大于分组大小的情况下，分段处理单元208把数据获取单元201获得的编码数据分割成每个分组大小。封包单元209利用从每个单元供给的报头信息，对从分段处理单元208供给的有效负载封包，并恰当地设置包括在生成的每个分组的公共报头中的诸如SFF和M之类标记信息的值。本发明可应用于编码设备。
文档编号H04N7/173GK101543071SQ20088000027
公开日2009年9月23日 申请日期2008年3月31日 优先权日2007年3月30日
发明者砂原星 申请人:索尼株式会社