信息处理装置和方法

专利名称：信息处理装置和方法
技术领域：
本发明涉及信息处理装置和方法，更具体地讲，涉及一种能够在 更多样的情况下高质量、低延迟地传输图像数据的信息处理装置和方 法。
背景技术：
家庭数字视频装置的技术发展令人大开眼界，视频分辨率的提高 是这种发展的一个例子。然而，例如利用摄像头拍摄视频图像的便携
式摄像机的装置、记录并再现电视节目的装置(DVD (数字多功能盘) 录制器、BD (蓝光盘)录制器等)、游戏机和电视接收器之间的连接 还不完善。
例如，在对BS (广播卫星)数字广播中的HDTV (高清电视) 隔行运动图像进行压缩时，使用了 MPEG-2 (运动图像专家组-2)。 MPEG-2还使用在所有的DVD软件中。利用MPEG-2压缩的视频流 净皮记录在DVD软件中。
另外，近年来为了压缩效率，在便携式摄影机中已经开始采用压 缩率为MPEG-2的两倍的AVC (先进碎见频编码)。同样关于BD记 录器，其中安装有AVC编码器并且以长时间记录为卖点的产品已经 上市。与之相对，作为连接数字装置的接口的HDMI (高清多媒体接 口 )已经成为工业标准。例如，专利文献l描述了 HDMI标准的详情。
HDMI是数字家庭装置的接口。通过向作为PC (个人计算机) 和显示器之间的连接标准的DVI(数字视频接口 )添加音频传输功能、 版权保护功能(针对数字内容等的未授权复制防止功能)、色差传输 功能，为AV (音频视频)家庭装置安排了 HDMI。在2002年12月 已经建立了 HDMI的1.0规范。HDMI传输未压缩的数字音频和视频，并且具有不存在图像质量 和声音质量劣化的优点。目前，HDMI是针对全规格高清电视(全 HD:分辨率为水平1920像素x垂直1080行)功能进行标准化的。由 于可以无压缩地将视频和音频从播放器传送到电视侧，所以不需要逐 日解码器的专用芯片或软件。另外，提供了一种智能功能，利用该智 能功能可以相互识别连接的装置。
此外，由于通过单一线缆发送视频/音频/控制信号，所以具有能 够简化AV装置之间的布线的优点。由于可以发送控制信号等，所以 AV装置能够容易地相互协同操作。
专利文献l: WO2002/07833
发明内容
技术问题
然而，还可以想到利用HDMI以外的网络作为传输线的数据传 输的情况。在这种情况下，利用传统方法，恐怕很难以高质量、低延 迟来传输图像数据。另外，由于接收器侧的性能在装置之间相互不同， 取决于通信相对方(communication partner)，恐怕难以利用传统方 法以高质量、低延迟来传输图像数据。
鉴于这种传统的情况提出了本发明，本发明能够在更多样的情况 下高质量、低延迟地传输图像数据。
技术方案
本发明的一方面是一种信息处理装置，该装置包括选择装置， 用于选择是否对要被传输的图像数据进行编码；滤波装置，用于在选 择装置已选择对所述图像数据进行编码的情况下，以行块为单位来执 行以频带为单位分解所述图像数据并产生包括以所述频带为单位的 系数数据的子带的处理，其中，所述行块包括等同于产生等同于至少 最低频率分量的子带的一行的系数数据所需的行数的图像数据；重新 排序装置，用于按照从低频分量到高频分量的顺序对滤波装置按照从 高频分量到低频分量的顺序产生的系数数据进行重新排序；编码装
5置，用于对由重新排序装置重新排序的系数数据进行编码；和发送装 置，用于将利用编码装置对系数数据进行编码而产生的编码数据经由 传输线发送到另一信息处理装置。
选择装置可根据所述传输线的传输允许比特率是否大于所述图 像数据的比特率来选择是否对所述图像数据进行编码。
所述的信息处理装置还可包括获得装置，用于从所述另一信息处 理装置获得关于所述另一信息处理装置的性能的信息。
发送装置可将预定的编码数据发送到所述另一信息处理装置。获 得装置可获得指示在所述另一信息处理装置中接收和解码所述编码 数据的结果的信息。选择装置可根据由获得装置获得的指示所述编码 数据的接收和解码的结果的信息来选择是否对所述图像数据进行编 码。
获得装置可获得所述另一信息处理装置的解码处理的延迟时间 的信息。编码装置可根据由获得装置获得的所述延迟时间的信息来设 置编码处理的延迟时间。
获得装置可获得所述图像数据在所述另一信息处理装置中的分 辨率的信息。编码装置可根据由获得装置获得的所述分辨率的信息来
设置要被产生的编码数据的分辨率。
在要被编码的图像数据的格式是4:2:0的情况下，滤波装置可将 所述图像数据的色差分量的分解数减小到比所述图像数据的亮度分 量的分解数小1。
此外，本发明的一方面是一种信息处理方法，其中，选择装置选 择是否对要被传输的图像数据进行编码；滤波装置在已选择对所述图 像数据进行编码的情况下，以行块为单位来执行以频带为单位分解所 述图像数据并产生包括以所述频带为单位的系数数据的子带的处理， 其中，所述行块包括等同于产生等同于至少最低频率分量的子带的一 行的系数数据所需的行数的图像数据；重新排序装置按照从低频分量 到高频分量的顺序对按照从高频分量到低频分量的顺序产生的系数
数据进行重新排序；编码装置对经过重新排序的系数数据进行编码；
6并且发送装置将通过对系数数据进行编码而产生的编码数据经由传 输线发送到另 一信息处理装置。
在本发明的一方面中，选择是否对要被传输的图像数据进行编 码。当已经选择对图像数据进行编码时，以行块为单位来执行以频带 为单位分解所述图像数据并产生包括以所述频带为单位的系数数据 的子带的处理，其中，所述行块包括等同于产生等同于至少最低频率 分量的子带的 一行的系数数据所需的行数的图像数据。按照从低频分 量到高频分量的顺序对按照从高频分量到低频分量的顺序产生的系 数数据进行重新排序。对经过重新排序的系数数据进行编码。将通过 对系数数据进行编码而产生的编码数据经由传输线发送到另 一信息 处理装置。
有益效果
根据本发明，可以传输图像数据。具体地讲，可以在更多样的情 况下高质量、低延迟地传输图像数据。


图1是示出了应用了本发明的传输系统的示例性构造的图。
图2是示出了图1中的编码单元的示例性结构的框图。 图3是用于描述小波变换的概要的概要图。 图4包括用于描述小波变换的概要的概要图。 图5是示出了利用5x3滤波器进行提升的方式的示例的概要图。 图6包括示出了小波变换和小波逆变换的流程概要的概要图。 图7是示出了图1中的解码单元的示例性结构的框图。 图8是用于描述发送处理的示例性流程的流程图。 图9是用于描述编码处理的示例性流程的流程图。 图IO是用于描述接收处理的示例性流程的流程图。 图11是示出了编码单元和解码单元的各个元件执行的并行操作 方式的示例的概要的概要图。
图12是示出了 E-EDID数据的示例性结构的图。图13是示出了 Video Short区域中的视频数据的示例的图。 图14是示出了 "销售商特定，，区域中的示例性数据结构的图。 图15是示出了通信单元的示例性结构的框图。 图16是示出了 HDMI发送器和HDMI接收器的示例性结构的框图。
图17是示出了 TMDS传输数据的结构的图。
图18是示出了 HDMI终端的管脚布置(A型)的图。
图19是用于描述协商处理的示例性流程的流程图。
图20是用于描述发送处理的另 一示例性流程的流程图。
图21包括示出了亮度分量和色差分量的分区的示例性结构的示意图。
图22包括示出了亮度分量和色差分量的分区的另一示例性结构 的示意图。
图23是用于描述编码处理的另 一示例性流程的流程图。
图24是示出了应用了本发明的信息处理系统的示例性构造的图。
标号说明
100传输系统、101发送装置、102接收装置、103传输线、111 控制单元、112切换单元、113编码单元、114通信单元、121控制单 元、122通信单元、123切换单元、124解码单元、125切换单元、151 小波变换单元、152中间计算緩冲单元、153系数重新排序緩冲单元、 154系数重新排序单元、155熵编码单元、161熵解码单元、162系数 緩冲单元、163小波逆变换单元、211HDMI发送器、212HDMI接收 器、213DDC、 214 CEC
具体实施例方式
在下文中，将描述本发明的实施例。
图l是示出了应用了本发明的传输系统的示例性构造的框图。 在图1中，传输系统100是将图像数据从发送装置101经由传输线103传输到接收装置102的系统。发送装置101和接收装置102经 由传输线103交换基带图像数据或通过对图像数据编码而产生的编码 数据。当交换编码数据时，发送装置101通过利用预定的方法对输入 的基带图像数据编码来产生编码数据，然后将产生的编码数据发送到 接收装置102。接收装置102接收编码数据，利用与发送装置101执 行的编码方法对应的解码方法对接收的编码数据进行解码，从而产生 基带图像数据(解码图像)，然后输出基带图像数据。
另选地，当传输基带图像数据时，发送装置101将输入的基带数 据作为基带数据原样地发送到接收装置102。当接收装置102接收到 基带图像数据时，接收装置102将该基带图像数据作为基带数据原样 地输出到外部。
发送装置101和接收装置102根据情况适当地选择传输编码数据 还是基带图像数据。因此，传输系统100能够在更多的情况下高质量、 低延迟地传输图像数据。
如图1所示，发送装置101包括控制单元111、切换单元112、 编码单元113和切换单元114。
控制单元111控制切换单元112、编码单元113和通信单元114 的操作。切换单元112切换连接目的地，从而选择是向编码单元113 还是向通信单元114提供输入的基带图像数据。编码单元113利用预 定的方法对从切换单元112提供的基带图像数据进行编码，从而产生 编码数据。编码单元113将产生的编码数据提供给通信单元114。通 信单元114利用基于传输线103的标准的方法，经由传输线103将从 切换单元112提供的基带图像数据或从编码单元113提供的编码数据 发送到接收装置102。
例如，当传输基带图像数据时，控制单元lll控制切换单元112 以将输入的基带图像数据提供给通信单元114。另外，控制单元111 控制通信单元114，以利用基于传输线103的标准的方法经由传输线 103将基带图像数据传输到接收装置102。
另选地，例如，当传输编码数据时，控制单元lll控制切换单元
9112以将输入的基带图像数据提供给编码单元113。控制单元111控 制编码单元113对基带图像数据进行编码并将产生的编码数据提供给 通信单元114。另外，控制单元111控制通信单元114，以利用基于 传输线103的标准的方法经由传输线103将编码数据传输到接收装置 102。
另外，如图1所示，接收装置102包括控制单元121、通信单元 122、切换单元123、解码单元124和切换单元125。
控制单元121控制切换单元112、通信单元122、切换单元123、 解码单元124和切换单元125的操作。通信单元122经由传输线103 获得从发送装置101发送的基带图像数据或编码数据，并将其提供给 切换单元123。切换单元123切换连接目的地，从而将基带图像数据 提供给切换单元125。另选地，切换单元123切换连接目的地，从而 将所提供的编码数据提供给解码单元124。解码单元124利用与编码
的编码数据进行解码，从而产生基带图像数据(复原图像).
切换单元125切换连接目的地，从而将从切换单元123或解码单 元124提供的基带图像数据输出到接收装置102的外部。
例如，当传输基带图像数据时，控制单元121控制通信单元122 来接收基带图像数据并将基带图像数据提供给切换单元123。控制单 元121控制切换单元123将基带图像数据提供给切换单元125。另外， 控制单元121控制切换单元125将基带图像数据输出到接收装置102 的外部。
另选地，例如，当传输解码数据时，控制单元121控制通信单元 122来接收从发送装置101发送的编码数据并其提供给切换单元123。 另外，控制单元121控制切换单元123的连接目的地，从而将所提供 的编码数据提供给解码单元124。此外，控制单元121控制解码单元 124对编码数据进行解码并将产生的基带图像提供给切换单元125。 另外，控制单元121控制切换单元125的连接源，以将从解码单元124 提供的基带图像数据输出到接收装置102的外部。图2是示出发送装置101中的编码单元113的详细示例性结构的 框图。如图2所示，编码单元113包括如下功能小波变换单元151、 中间计算緩沖单元152、系数重新排序緩冲单元153、系数重新排序 单元154和熵编码单元155。
输入到编码单元113的图像数据经过小波变换单元151在中间计 算緩冲单元152中进行累积。小波变换单元151对在中间计算緩冲单 元152中累积的图像数据进行小波变换。即，小波变换单元151从中 间计算緩冲单元152读取图像数据，利用分析滤波器对图像数据进行 滤波处理，从而产生低频分量和高频分量的系数数据，然后将产生的 系统数据存储在中间计算緩冲单元152中。小波变换单元151包括水 平分析滤波器和垂直分析滤波器，并对一组图像数据项沿画面水平方 向和画面垂直方向执行分析滤波处理。小波变换单元151再次读取存 储在中间计算緩冲单元152中的低频分量的系数数据，并利用分析滤 波器对读取的系数数据进行滤波处理，以进一步产生高频分量和低频 分量的系数数据。产生的系数数据被存储在中间计算緩冲单元152中。
作为重复该处理的结果，当分解等级达到预定等级时，小波变换 单元151从中间计算緩冲单元152读取系数数据，并将读取的系数数 据写入系数重新排序緩冲单元153中。
系数重新排序单元154按预定顺序读取写入系数重新排序緩冲 单元153中的系数数据，并将读取的系数数据提供给熵编码单元155。 熵编码单元155利用预定方法对所提供的系数数据进行量化，并利用 诸如哈夫曼编码或算术编码的预定熵编码侧案对经量化的系数数据 进行编码。熵编码单元155将产生的编码数据输出到编码单元113的外部。
接下来，将更具体地描述图2中的小波变换单元151执行的处理。 首先，将描述小波变换的概况。对于图像数据的小波变换，图3示出 了小波变换的概况，对作为将图像数据分割成高空间频带和低空间频 带的结果而获得的低空间频带中的数据递归地重复将图像数据分割 成高空间频带和低空间频带的处理。通过以这种方式将低空间频带中
ii的数据驱动到较小的区域中，使得能够进行高效的压缩和编码。
需要指出，图3对应于把将图像数据的最低频率分量区域分割成 低频分量的区域L和高频分量的区域H的处理重复三次并且表示分 割层的总数的分割等级为3的情况下的示例。在图3中，"L"和"H" 分别表示低频分量和高频分量。"L"和"H"的顺序表示前者表示作 为沿水平方向分割的结果而获得的带，后者表示作为沿垂直方向分割 的结果而获得的带。另外，"L"和"H"前面的数值表示该区域的层。 低频分量的层由较小的数值表示。该层的最大值表示小波变换时的分 割等级(分割数)。
另外，从图3中的示例可清楚地看出，从画面的右下区域到左上 区域逐步地执行该处理，从而驱动低频分量。即，在图3的示例中， 画面的右下区域用作包括最小数量的低频分量(包括最大数量的高频 分量)的区域3HH。通过将画面分割成四个区域而获得的左上区域进 一步被分割成四个区域，并且在这四个区域中，左上区域进一步被分 割成四个区域。最左上角的区域用作包括最大数量的低频分量的区域
由于图像的能量集中在低频分量中，所以对低频分量重复地执行 变换和分割。这样可以通过以下事实得到理解当分割等级从分割等 级=1的状态(图4中的A示出的示例)进展到分割等级=3的状态 (图4中的B示出的示例)时，形成子带，如图4中的B所示。例如， 图3中的小波变换的分割等级为3，结果，形成10个子带。
小波变换单元151通常使用由低频滤波器和高频滤波器构成的 滤波器組来执行如上所述的处理。要指出的是，数字滤波器通常具有 多个抽头长度的脉冲响应，即，滤波器系数，因而需要预先緩冲执行 滤波处理所需要的数目的输入图像数据或系数数据。另外，与在多个 阶段执行小波变换的情况相同，需要緩冲执行滤波处理所需要的数目 的、在先前阶段产生的小波变换系数。
作为这种小波变换的具体示例，将描述利用5x3滤波器的方法。 这种利用5x3滤波器的方法也纟皮JPEG 2000采用，由于该方法可利用
12少量的滤波器抽头来执行小波变换，所以该方法是一种优异的方法。
如下面的等式(1)和等式(2)所示，5x3滤波器的脉冲响应(Z 变换表示)由低频滤波器Ho(z)和高频滤波器H"z)构成。
Ho(z"(-l+2z"+6z-2+2z-3誦z")/8......(1)
H!(z"(誦l+2z"-z-2)/2......(2)
根据等式(1)和等式(2)，可以直接计算低频分量和高频分量 的系数。这里，通过利用提升(lifting)技术可以减少滤波处理中涉 及的计算。
接下来，将更具体地描述这种小波变换方法。图5示出了执行基 于利用5x3滤波器的提升的滤波处理直到分解等级等于2的示例。要 指出的是，在图5中，在图的左侧表示为分析滤波器的部分包括图2 中的小波变换单元151的滤波器。另外，在图的右侧表示为合成滤波 器的部分包括后面将描述的小波逆变换单元的滤波器。
要注意，在下面的描述中，假设例如在显示装置等中， 一行由以
成，并且一个画面通过逐行地从画面的上端到下端执行扫描而构成。
在图5中，最左列示出了沿垂直方向排列的、布置在原始图像数 据的一行上的对应位置处的像素数据。即，通过利用垂直滤波器垂直 地扫描画面上的像素来执行小波变换单元151中的滤波处理。从左端 开始的第一列至第三列示出了分割等级-1的滤波处理，第四列至第 六列示出了分割等级=2的滤波处理。从左端开始的第二列示出了基 于左端的原始图像数据的像素的高频分量输出，从左端开始的第三列 示出了基于原始图像数据和高频分量输出的低频分量输出。关于分割 等级-2的滤波处理，如从左端开始的第四列至第六列所示，对分割 等级-1的滤波处理的输出执行处理。
在分解等级-1的滤波处理中，作为第一阶段的滤波处理，根据 原始图像数据的像素计算高频分量的系数数据；作为第二阶段的滤波 处理，根据已经在第一阶段的滤波处理中计算出的高频分量的系数数 据和原始图像数据的像素计算低频分量的系数数据。图5中左侧(分析滤波器)的第一列至第三列示出了分解等级=1的示例性滤波处理。
计算出的高频分量的系数数据存储在图2中的系数重新排序緩冲单元 153中。另外，计算出的低频分量的系数数据存储在图2中的中间计 算緩冲单元152中。
在图5中，系数重新排序緩冲单元153被示出为被点划线包围的 部分，中间计算緩冲单元152被示出为被虚线包围的部分。
根据保持在中间计算緩冲单元152中的、分解等级-1的滤波处 理的结果，来执行分解等级-2的滤波处理。在分解等级等于2的滤 波处理中，作为分解等级=1的滤波处理中的低频分量的系数而计算 的系数数据被认为是包括低频分量和高频分量的系数数据，并且与分 解等级-1的滤波处理相似的滤波处理被执行。在分解等级-2的滤 波处理中计算的低频分量的系数数据和高频分量的系数数据存储在 系数重新排序緩冲单元153中。
小波变换单元151沿画面的7JC平方向和垂直方向执行诸如上述 处理的滤波处理。例如，首先，小波变换单元151沿水平方向执行分 解等级-1的滤波处理，并将产生的高频分量和低频分量的系数数据 存储在中间计算緩沖单元152中。接下来，小波变换单元151对存储 在中间计算緩冲单元152中的系数数据沿垂直方向执行分解等级=1 的滤波处理。对于沿水平方向和垂直方向的分解等级- 1的滤波处理， 形成了四个区域，即，基于通过进一步将高频分量分解成高频分量和 低频分量而获得的系数数据的对应项的区域HH和区域HL，以及基 于通过进一步将低频分量分解成高频分量和低频分量而获得的系数 数据的对应项的区域LH和区域LL。
随后，当分解等级等于2时，对分解等级-1时产生的低频分量 的系数数据沿水平方向和垂直方向执行滤波处理。即，当分解等级-2时，在分解等级- 1时分割形成的区域LL进一步被分割成四个区域， 在区域LL中进一步形成区域HH、区域HL、区域LH和区域LL。
小波变换单元151被配置为通过将滤波处理分割成沿画面的垂 直方向几行为 一组的处理，多次且逐步地执行基于小波变换的滤波处理。在图5的示例中，作为从画面上的第一行开始的处理的第一处理 对七行执行滤波处理。作为从第八行开始的处理的第二处理及以后的 处理以四行为单位执行滤波处理。该行数是在执行了一分为二 (即高 频分量和低频分量)之后产生等同于一行的最低频分量所需的行数。
要注意，产生等同于一行的最低频分量所需的包括其它子带的一 组行(等同于最低频分量的子带的一行的系数数据)将被称作分区(或 行块)。这里陈述的行表示等同于在对应于小波变换前的图像数据的 图像(帧或场)中或在每个子带中形成的一行的像素数据或系数数据。 即，分区(行块)表示在小波变换前的原始图像数据中的等同于产生 与小波变换后的最低频分量的子带的 一行相当的系数数据所需的行 数的像素数据组、或通过执行该像素数据组的小波变换而获得的每个 子带的系数数据组。
根据图5，作为执行分解等级=2的滤波处理的结果而获得的系 数C5是基于系数C4和存储在中间计算緩冲单元152中的系数Ca计 算出的，系数C4是基于存储在中间计算緩冲单元152中的系数Ca、 系数Cb和系数Cc计算出的。另外，系数Cc是基于存储在系数重新 排序緩冲单元153中的系数C2和系数C3以及第五行的像素数据计 算出的。另外，系数C3是基于第五行至第七行的像素数据计算出的。 因此，为了获得当分割等级=2时低频分量的系数C5，需要第一行至 第七行的像素数据。
与之相对，在第二滤波处理以及之后的处理中，可以使用到目前 为止的滤波处理中已经计算出并存储在系数重新排序緩冲单元153中 的系数数据，因此可以使所需的行数少。
即，根据图5，在作为分解等级=2的滤波处理的结果而获得的 低频分量的系数中，根据系数C4、系数C8以及存储在中间计算緩冲 单元152中的系数Cc计算作为系数C5的下一个系数的系数C9。已 经利用上述第一滤波处理计算出了系数C4并将其存储在系数重新排 序緩沖单元153中。类似地，已经利用上述第一滤波处理计算出了系 数Cc并将其存储在中间计算緩冲单元152中。因此，在该第二滤波处理中，仅重新执行用于计算系数C8的滤波处理。通过进一步利用
第八行至第H —行来执行该新的滤波处理。
由于第二滤波处理及之后的处理能够使用利用到目前为止的滤
波处理计算出并存储在中间计算緩沖单元152和系数重新排序緩冲单 元153中的数据，因此所需要的仅是均以四行为单位的处理。
要注意，当画面上的行数与用于编码的行数不匹配时，采用预定 方法来复制原始图像数据的行，从而使行数变得等于用于编码的行 数，然后执行滤波处理。
因此，对整个画面上的行按照逐步的方式(逐个分区地)多次执 行用于获得等同于最低频分量的一行的数目的系数数据的滤波处理， 从而使得当传输编码数据时能够以低延迟获得解码图像。
接下来，将描述图2中的系数重新排序单元154执行的处理。如 上所述，在小波变换单元151计算出的系数数据项被存储在系数重新 排序緩冲单元153中，在系数重新排序緩沖单元153中系数数据项的 顺序被重新排序并被系数重新排序单元154读取，并且以编码单位为 单位,皮发送到熵编码单元155。
如已经描述的，在小波变换中，从高频分量侧向低频分量侧产生 系数。在图5的示例中，在第一次，根据原始图像的像素数据，在分 解等级-1的滤波处理中顺序地产生高频分量的系数C1、系数C2和 系数C3。接下来，对在分解等级-1的滤波处理中获得的低频分量的 系数数据执行分解等级=2的滤波处理，从而顺序地产生低频分量的 系数C4和系数C5。即，在第一次，按照系数C1、系数C2、系数 C3、系数C4和系数C5的顺序产生系数数据。由于小波变换的原理， 系数数据的产生顺序总是变成这种顺序(从高频到低频的顺序)。
与之相对，在解码侧，为了立即执行低延迟的解码，必须从低频 分量开始执行图像的产生和输出。因此，期望从最低频分量侧向高频 分量侧对在编码侧产生的系数数据重新排序，并将重新排序的系数数 据提供给解码侧。
将利用图5的示例进行更具体的描述。图5中的右侧示出了用于
16执行小波逆变换的合成滤波器侧。利用在编码侧的第一滤波处理中产
生的最低频分量的系数C4和C5以及系数Cl执行在解码侧的包括输 出图像数据的第一行的第一合成处理(小波逆变换处理)。
即，在第一合成处理中，按照系数C5、系数C4和系数C1的顺 序从编码侧向解码侧提供系数数据，并且在解码侧，对于作为对应于 分解等级=2的合成处理的合成等级=2的处理，对系数C5和系数 C4执行合成处理以产生系数Cf，并且将系数Cf存储在緩冲器中。随 后，对于作为对应于分解等级-1的合成处理的合成等级-1的处理， 对该系数Cf和系数Cl执行合成处理以输出第一行。
因此，在第一合成处理中，在编码侧按照系数C1、系数C2、系 数C3、系数C4和系数C5的顺序产生并存储在系数重新排序緩冲单 元153中的系数数据，按照系数C5、系数C4、系数C1、...的顺序重 新排序并被提供给解码侧。
要注意，在图5中的右侧所示的合成滤波器侧，对于从编码测提 供的系数，在括号中描述的是编码侧的系数编码，在括号外描述的是 合成滤波器的行顺序。例如，系数C1 (5)表示该系数是图5的左侧 的分析滤波器侧的系数C5并且是合成滤波器侧的第 一行。
可以利用在先前的合成处理时合成的系数数据或从编码侧提供 的系数数据来执行在编码侧的第二滤波处理和之后的处理中产生的 系数数据的、在解码侧的合成处理。在图5的示例中，利用低频分量 的系数C8和系数C9执行的解码侧的第二合成处理还需要在编码侧 的第一滤波处理中产生的系数C2和系数C3,并对第二行至笫五行解 码，其中，系数C8和系数C9是在编码侧的第二滤波处理中产生的。
即，在第二合成处理中，按照系数C9、系数C8、系数C2和系 数C3的顺序从编码侧向解码侧提供系数数据。在解码侧，在合成等 级=2的处理中，利用系数C8、系数C9以及在第一合成处理时从编 码侧提供的系数C4来产生系数Cg，并将系数Cg存储在緩沖器申i 利用该系数Cg、上述系数C4以及在第一合成处理中产生并存储在緩 沖器中的系数Cf，产生系数Ch并将其存储在緩冲器中。随后，在合成等级-l的处理中，利用在合成等级=2的处理中 产生并存储在緩冲器中的系数Cg和系数Ch以及从编码侧提供的系 数C2 (在合成滤波器处示出为系数C6 (2))和系数C3 (在合成滤 波器处示出为系数C7 (3))来执行合成处理，并对第二行至第五行 进行解码。
因此，在第二合成处理中，在编码侧按照系数C2、系数C3、(系 数C4、系数C5)、系数C6、系数C7、系数C8和系数C9的顺序产 生的系数数据被按照系数C9、系数C8、系数C2、系数C3、...的顺 序重新排序，并被提供给解码侧。
在第三合成处理以及之后的处理中，类似地，存储在系数重新排 序緩沖单元53中的系数数据被按照预定的顺序重新排序并被提供给 解码单元，然后一次四行地对行进行解码。
要注意，在与编码侧的包括画面下端行的滤波处理(在下文中， 称作最后一次)对应的解码侧的合成处理中，输出在到目前为止的处 理中产生并存储在緩冲器中的全部系数数据，因此，输出行的数目增 加。在图5的示例中，在最后一次输出8行。
要注意，例如，通过在按预定顺序读取存储在系数重新排序緩冲 单元153中的系数数据时设置读取地址，执行利用系数重新排序单元 154的系数数据重新排序处理。
将利用图5更具体地描述直到上述处理的处理。图5对应于利用 5x3滤波器施加基于小波变换的滤波处理直到分解等级-2的示例。 在小波变换单元151中，如图6的A中的示例所示，对输入图像数据 的第一行至第七行沿水平方向和垂直方向执行第一滤波处理(图6的 A中的In-l)。
在第一滤波处理中的分解等级-1的处理中，产生等同于三行的 系数数据项，即，系数C1、系数C2和系数C3，并且如图6的B中 的示例所示，上述系教数据项被分别布置于在分解等级-1时形成的 区域HH、区域HL和区域LH中(图6的B中的WT-1)。
另外，利用分解等级-2的滤波处理沿水平方向和垂直方向将分解等级-1时形成的区域LL进一步分割成四个区域。关于在分解等 级=2时产生的系数C5和系数C4，在分解等级-1时的区域LL中， 基于系数C5的一行被布置在区域LL中，基于系数C4的一行被布置 在区域HH、区域HL和区域LH的每个中。
在利用小波变换单元151的第二滤波处理及之后的处理中，以四 行为单位来执行滤波处理(图6的A中的In-2".)。在分解等级-1 时产生每两行的系数数据(图6的B中的WT-2)，在分解等级=2 时产生每行的系数数据。
在图5中的示例的第二次，利用分解等级-1的滤波处理产生等 同于两行的系数数据项，即，系数C6和系数C7，并且如图6的B中 的示例所示，从利用第一滤波处理产生的系数数据的下一项开始，上 述系数数据项被布置在分解等级为1时形成的区域HH、区域HL和 区域LH中。类似地，在基于分解等级-1的区域LL中，等同于一 行并利用分解等级=2的滤波处理产生的系数C9被布置在区域LL 中，并且等同于一行的系数C8被布置在区域HH、区域HL和区域 LH的每个中。
如图6的B所示，当对小波变换后的数据进行解码时，如图6 的C中的示例所示，通过在解码侧执行第一合成处理来输出第一行 (图6的C中的OUT-l)，第一合成处理与在编码侧基于第一行至 第七行的第一滤波处理对应。之后，在解码侧一次输出四行(图6的 C中的OUT-2...)，这与编码侧的第二滤波处理至倒数第二滤波处理 对应。随后，在解码侧输出8行，这与编码侧的最后一次滤波处理对 应。
将在小波变换单元151中从高频分量侧到低频分量侧产生的系 数数据项顺序地存储在系数重新排序緩冲单元153中。当在系数重新 排序緩冲单元153中累积了能够进行上述的系数数据重新排序所需的 数目的系数数据项时，系数重新排序单元154按照在合成处理中所需 的项的顺序对系数数据项重新排序，并从系数重新排序緩沖单元153 读取系数数据项。读取的系数数据项被顺序地提供给熵编码单元155。
19熵编码单元155对提供的系数数据顺序地编码，并将产生的编码 数据输出到编码单元113的外部。
图7是示出图1中的解码单元124的示例性结构的框图。
如图7所示，解码单元124包括如下功能熵解码单元161、系 数緩冲单元162和小波逆变换单元163。
熵解码单元161利用与熵编码单元155 (图2)执行的编码方法 对应的解码方法对提供的编码数据进行解码，从而获得系数数据。产 生的系数数据被存储在系数緩冲单元162中。小波逆变换单元163利 用存储在系数緩沖单元162中的系数数据来执行利用合成滤波器的合 成滤波处理(小波逆变换)，并将合成滤波处理的结果再次存储在系 数緩冲单元162中。当小波逆变换单元163根据分解等级重复该处理 并获得解码的图像数据(输出图像数据)时，小波逆变换单元163将 其输出到外部。
接下来，参照图8的流程图，将描述图1中的发送装置101执行 的发送处理的示例性流程。
当发送处理开始时，在步骤S101中，控制单元lll从通信单元 114获得传输线103的信息，即，表示作为传输线103连接到通信单 元114的网络(或线缆)的传输线103的性能的信息。例如，当性能 已知的网络(或线缆)被连接时，该信息可以是表示网络(或线缆) 的类型的信息。
要注意，当通信单元114仅能连接到一种特定类型的网络(或线 缆)时，通信单元114仅需要向控制单元111提供关于预定网络(或 线缆)的信息。当通信单元114具有多种类型的端口并能连接到多种 类型的网络(或线缆)时，通信单元114识别当前连接的传输线103， 并提供关于这个传输线103的信息。
当控制单元111获得传输线103的信息时，在步骤S102，控制 单元101确定要发送的图像数据的比特率是否高于传输线103的传输 允许比特率，即，是否高于可执行传输的最大比特率。当确定要发送
的图像数据的比特率较高并且因此无法作为基带数据原样地传输图
20像数据时，控制单元111使该处理进行到步骤S103。
在步骤S103,控制单元111将输入的图像数据提供给编码单元 113并控制切换单元112,以在编码单元113中对图4象数据进行编码。 在步骤S104，在控制单元111的控制下，编码单元113对经由切换单 元112提供的基带图像数据进行编码以产生编码数据，并降低要传输 的数据的比特率。在步骤S105,通信单元114将通过利用编码单元 113进行编码而获得的编码数据经由传输线103发送到接收装置102， 并终止该发送处理。
另选地，当在步骤S102确定要发送的图像数据的比特率低于传 输允许比特率时，可以作为基带数据原样地传输图像数据。因此，控 制单元使该处理进行到步骤S106并控制切换单元112，从而不将输入 的图像数据提供给编码单元113。在控制单元111的控制下，切换单 元112将输入的基带图像数据提供给通信单元114。在步骤S107，通 信单元114将从切换单元112提供的基带图像数据经由传输线103发 送到接收装置102,并终止该发送处理。
接下来，参照图9中的流程图，将描述在图8中的步骤S104执 行的编码处理的示例'f生流程。
当编码处理开始时，在步骤S121,编码单元113中的小波变换 单元151对待处理分区的编号A进行初始化。例如，编号A祐:设置 为"1"。当设置完成时，在步骤S122，小波变换单元151获得等同于 从最低频子带中的顶部开始产生第A行所需的行数(即， 一个分区) 的图像数据。在步骤S123，小波变换单元151针对该图像数据执行垂 直分析滤波处理，该垂直分析滤波处理执行沿画面垂直方向排列的图 像数据的分析滤波，并且在步骤S124，小波变换单元151执行水平分 析滤波处理，该水平分析滤波处理执行沿画面水平方向排列的图像数 据的分析滤波处理。
在步骤S125,小波变换单元151确定分析滤波处理是否已经执 行到最终等级。当确定分解等级尚未达到最终等级时，该处理返回至 步骤S123，然后针对当前分解等级重复步骤S123和S124的分析滤波处理。
当在步骤S5确定分析滤波处理已经执行到最终等级时，该处理 进行到步骤S126。
在步骤S126，系数重新排序单元154按照低频到高频的顺序对 分区A(从图像(帧或场)的顶部起的第A个分区)的系数重新排序。 在步骤S127,熵编码单元55以行为单位执行系数的熵编码。
在步骤S128，小波变换单元151使编号A的值增加"l"，从而得 到下一待处理分区。在步骤S129，确定在待处理图像(帧或场)中是 否存在未处理的图像输入行。当确定存在未处理的图像输入行时，该 处理返回至步骤S122，然后对待处理的新分区重复之后的处理。
如上所述，重复执行步骤S122至步骤S129的处理，每个分区 被编码。随后，当在步骤S129确定不存在未处理的图像输入行时， 该图像的编码处理终止。针对下一图像的新编码处理开始。
由于小波变换单元151按此方式以分区为单位连续执行垂直分 析滤波处理和水平分析滤波处理直到最终等级，所以与传统方法相 比，需要一次(同时)保持(緩冲)的数据量少，应该准备的緩沖器 的存储量可显著减少。另外，由于执行分析滤波处理直到最终等级， 所以可以执行诸如系数重新排序和在随后阶段的熵编码的处理(即， 可以以分区为单位来执行系数重新排序和熵编码)。因此，与执行整 个画面的小波变换的方法相比，可以显著地减少延迟时间。
另外，如上所述，根据要传输的图像数据的比特率和传输线103 的传输允许比特率，发送装置101可以确定是否压缩图像数据。因此， 发送装置101可以阻止不必要地压缩图像数据或者以不能执行传输的 比特率作为基带图像数据原样地传输图像数据。因此，发送装置101
可以在更多样的情况下高质量、低延迟地传输图像数据。
接下来，参照图10的流程图，将描述图1中的接收装置102执
行的接收处理的示例性流程。
当接收处理开始时，在步骤S141，通信单元122被控制单元121
控制并接收从发送装置101发送的数据。在步骤S142，通信单元122
22确定接收的数据是否是编码数据。当确定接收的数据是编码数据时，
通信单元122使该处理提供到步骤S143。
在步骤S143,解码单元124中的熵解码单元161对编码数据执 行熵解码。在步骤S144，小波逆变换单元163执行系数数据的垂直合 成滤波。在步骤S145，小波逆变换单元163执行系数数据的水平合成 滤波。在步骤S145，小波逆变换单元163确定合成滤波是否已经完成 到了等级l。当确定尚未完成合成滤波时，该处理返回至步骤S144， 继续合成滤波。当确定合成滤波已经完成到了等级l时，该处理进行 到步骤S147。
另选地，当在步骤S142确定接收的数据是基带图像数据时，通 信单元122使该处理前进到步骤S147。
在步骤S147,控制单元121确定是否终止该接收处理。当确定 不终止该4妄收处理时，该处理返回至步骤S141，并重复之后的处理。 另选地，当在步骤S147确定终止该接收处理时，控制单元121终止 该*接收处理。
如上所述，接收装置102能够接收数据并根据需要执行解码处 理。因此，接收装置102能够在更多样的情况下高质量、低延迟地传 输图像数据。
可适当地并行执行上述各种处理，如借助示例的图ll所示。 图11是示出了由图2中示出的编码单元113和图7中示出的解 码单元124的各个单元执行的处理的各个要素的并行操作的示例的概 况的图。该图ll对应于上述的图5和图6。在小波变换单元151(图 2)，第一小波变换WT-1 (图11中的B)被应用于图像数据的输入 In-l(图11中的A)。如已经参照图5所述的，该第一小波变换WT-1 在输入了前三行的时间点开始，并产生系数C1。即，从图像数据In-l 的输入直到小波变换WT-1开始发生了等同于三行的延迟。
产生的系数数据被存储在系数重新排序緩冲单元153(图2)中。 随后，对输入图像数据施加小波变换，当第一处理完成时，该处理直 接进行到第二小波变换WT-2。与第二小波变换WT-2的图像数据In-2的输入和第二小波变换 WT-2的处理并行地，系数重新排序单元154 (图2)执行三个系数， 即，系数C1、系数C4和系数C5的重新排序Ord-l(图11中的C)。
要注意，从完成小波变换WT-1直到重新排序Ord-l开始的延迟 是基于装置或系统构造的延迟，诸如用于指示系数重新排序单元154 执行重新排序处理的控制信号的传输所涉及的延迟、响应控制信号而 开始系数重新排序单元154执行的处理所需的延迟、以及编程处理所 需的延迟，并且所述延迟不是编码处理中涉及的关键延迟。
按照完成重新排序的顺序从系数重新排序緩冲单元153中读取 系数数据项，并将它们提供给熵编码单元155 (图2)，然后对其执 行熵编码EC-1 (图11中的D)。可以不需要等待全部三个系数，即， 系数Cl、系数C4和系数C5的重新排序完成就开始该熵编码EC-1。 例如，在基于首先输出的系数C5的一行的重新排序完成时，可以开 始系数C5的熵编码。在这种情况下，从重新排序Ord-l处理的开始 到熵编码EC-1处理的开始的延迟等同于一行。
对已经完成了熵编码单元155执行的熵编码EC-1的编码数据进 行预定的信号处理，然后将其传输到解码单元124 (图7)(图ll中 的E)。
如上所述，继针对第一处理输入等同于七行的图像数据之后，将 直到画面的下端行的图像数据项顺序地输入到编码单元113。根据图 像数据的输入In-n (n为2或更大)，如上所述，编码单元113对每 四行执行小波变换WT-n、重新排序Ord-n和熵编码EC-n。响应最 后一次处理的编码单元113中的重新排序Ord和熵编码EC是对六行 执行的。这些处理在编码单元113中并行地执行，如图11中的A至 图11中的D所示。
通过利用编码单元113执行熵编码EC-1而编码的编码数据被提 供给解码单元124。解码单元124中的熵解码单元161 (图7 )对辟提 供的利用熵编码EC-1编码的编码数据的熵编码，顺序地执行解码 iEC-l,并复原系数数据(图11中的F)。复原系数数据的项被顺序
24地存储在系数緩冲单元162中。当在系数緩冲单元162中存储了执行 小波逆变换所需的数目的系数数据项时，小波逆变换单元163从系数 緩冲单元162中读取系数数据，并利用读取的系数数据执行小波逆变 换iWT-l (图11中的G)。
如已经参照图5所述的，小波逆变换单元163执行的小波逆变换 iWT-l可在系数C4和系数C5被存储在系数緩沖单元162中的时间 点开始。因此，从熵解码单元161执行的解码iEC-l的开始到小波逆 变换单元163执行的小波逆变换iWT-l的开始的延迟等同于两行。
当在小波逆变换单元163中完成了等同于第一小波变换的三行 的小波逆变换iWT-l时，执行利用小波逆变换iWT-l产生的图像数 据的输出Out-l (图11中的H)。在输出Out-l中，如已经参照图5 和图5所述的，输出第一行的图像数据。
继针对编码单元113执行的第一处理输入等同于三行的编码系 数数据之后，利用熵编码EC-n(n为2或更大)编码的系数数据项被 顺序地输入到解码单元124。解码单元124对每四行执行输入系数数 据的熵解码iEC-n和小波逆变换iWT-n，并顺序地执行利用小波逆变 换iWT-n复原的图像数据的输出Out-n，如已经描述的那样。相应编 码单元113执行的最后一次的熵解码iEC和小波逆变换iWT是对六 行执行的，并且输出Out输出8行。这些处理在解码单元124中并行 地执行，如图11中的F至图11中的H所示。
通过按照如上所述的从画面的上部到下部的顺序在编码单元 113和解码单元124中并行地执行各个处理，可以以较短的延迟来执 行图像压缩处理和图像解码处理。
参照图ll,计算在利用5x3滤波器执行直到分解等级-2的小波 变换的情况下从图像输入到图像输出的延迟时间。从第 一行的图像数 据被输入到编码单元113时到从解码单元124输出第一行的图像数据 时的延迟时间为下面各个要素的总和。要注意，这里不包括取决于系 统构造而不同的延迟，诸如传输线中的延迟或装置的每个单元的实际 处理定时所涉及的延迟。(1) 从笫一行输入到完成等同于七行的小波变换WT-1的延迟D一WT
(2) 等同于三行的计数重新排序Ord-l所涉及的时间D一Ord
(3) 等同于三行的熵编码EC-1所涉及的时间D一EC
(4) 等同于三行的熵解码iEC-l所涉及的时间D_iEC
(5) 等同于三行的小波逆变换iWT-l所涉及的时间D一iWT
参照图11，尝试计算由上述各个要素导致的延迟。(l)中的延迟 D—WT是等同于10行的时间。(2)中的时间D_Ord、 (3)中的时间D—EC、 (4)中的时间D_iEC和(5)中的时间D—iWT中的每个为等同于三行的时 间。另外，可以在重新排序Ord-l开始后一行之后在编码单元14中 开始熵编码EC-1。类似地，可以在熵解码iEC-l开始后两行之后在 解码单元36中开始小波逆变换iWT-l。另外，在熵编码EC-1中完成 等同于一行的编码的时间点，熵解码iEC-l可以开始处理。
因此，在图ll的示例中，从第一行的图像数据输入到编码单元 113到从解码单元124输出第一行的图像数据之间的延迟时间等同于 10+1+1+2+3=17行。
将利用更具体的示例来考虑延迟时间。在输入图像数据例如为基 于HDTV (高清电视)的隔行视频信号的情况下， 一帧由1920像素 x1080行的分辨率构成，并且一场具有192(H象素x540行。因此，当 ^假定帧频率为30Hz时，在16.67毫秒(=1秒/60场)的时间内，用作 一场的540行被输入到编码单元113中。
因此，等同于七行的图像数据的输入所涉及的延迟时间是0.216 毫秒(=16.67毫秒x7/540行)，这相对于例如一场的更新时间是非常 短的时间。另外，关于上述(1)中的延迟D—WT、("中的时间D_Ord、 (3)中的时间D—EC、(4)中的时间DjEC和(5)中的时间D—iWT的总和， 要处理的行数少，因此延迟时间显著降低。
在上面，已经描述了基于传输线103的传输允许比特率和要发送 的图像数据的比特率之l'曰T的斋/低关系来控制图像数据的编码。另选 地，例如，通过在传输图像数据之前实际测量发送装置101和接收装 置102之间的传输线103的带宽，可以不利用传输线103的传输允许
26比特率作为标准，而是使用在那个时间点的实际传输允许比特率(测
量值)，来控制是否在发送装置101中对图像数据进行编码。
要注意，为了这样做，要求传输线103的方案能够支持图像数据 传输之前发送装置101和接收装置102之间的信息交换。另外，假定 图像数据要被编码，测量值可被用作编码数据的比特率。即，发送装 置101可利用测量值作为目标比特率来执行图像数据的编码。例如， 当与另一系统等共享传输线103时，传输线103的可用带宽会随着时 间或情况而改变。当该可用带宽窄时，比特率被限制为低。例如，当 可用带宽有些余量时，增大比特率。通过根据传输线103的可用带宽 来控制编码数据的比特率，传输系统IOO可在更多样的情况下高质量、 低延迟地传输图像数据。
另外，利用图像数据传输前发送装置101和接收装置102之间交 换信息的功能，接收装置102可将关于接收装置102的性能(包括"实 际所需的性能"的意义)的信息提供给发送装置101。例如，发送装置 101可根据接收装置102是否具有对应于编码单元113的解码单元124 来控制是否对图像数据进行编码。
另外，在假定发送装置101对图像数据进行编码并将编码的图像 数据传输到接收装置102的情况下，发送装置101可根据关于接收装 置102的性能的信息来执行编码处理的设置，诸如分辨率、比特率和 延迟时间的设置。
例如，在某些情况下可想到从接收装置102输出时的图像的分辨 率低于输入到发送装置101时的图像的分辨率，诸如在用于显示从接 收装置102输出的图像的显示装置上可显示的图像的分辨率低的情 况。在这种情况下，当从发送装置IOI输出具有高分辨率的图像的编 码数据时，不仅传输线103的带被不必要地占用，而且会对接收装置 102上施加不必要的负担，这是无意义的。另外，例如，当整个传输 系统100的延迟时间有限制时，才艮据解码处理中的延迟时间，可想到 的是，需要限制编码处理中的允许延迟时间。
因此，在图像数据传输前关于接收装置102的性能的信息被提供给发送装置101并且发送装置101根据该信息执行编码处理的设置 时，发送装置101可更适当地执行编码处理。即，传输系统100可在
更多样的情况下高质量、低延迟地传输图像数据。
HDMI作为具有传输这种图像数据前的发送装置101和接收装 置102之间的协商功能的传输线103的示例而存在。在下面，将描述 HDMI。在下面的描述中，假定传输线103是HDMI线缆(也可称作 HDMI线缆103 )。
发送装置101的通信单元114 (HDMI发送单元)经由HDMI 线缆103从接收装置102的通信单元122 ( HDMI接收单元)将通信 单元122的E-EDID (增强型扩展显示识别数据)经由DDC (显示数 据信道)读出。该E-EDID包括关于接收装置102的性能的信息，诸 如接收装置102中处理的分辨率、解码处理中的延迟时间、比特深度 和帧率。
图12示出了 E-EDID的示例性数据结构。该E-EDID由基本块 和扩展块构成。在基本块的头部，配置有表示为"E-EDID 1.3基本结 构，，并在E-EDID 1.3标准中定义的数据。随后，配置了表示为"优选 定时(Preferred timing )"并用于保持与已知EDID的兼容性的定时 信息以及表示为"第二定时(2nd timing )"、与"优选定时"不同并用 于保持与已知EDID的兼容性的定时信息。
另外在基本块中，在"第二定时"之后，顺序配置了表示为"监视 器名称(Monitor NAME )"并指示显示装置的名称的信息以及表示为 "监一见器范围限制(Monitor Range Limits )"并且指示当纵4黄比为4:3 和16:9时可显示像素的数量的信息。
在扩展块的头部，配置了表示为"扬声器分配(Speaker Allocation)，，并且与左右扬声器有关的信息。随后，顺序配置了表示 为"VIDEO SHORT，，的数据、表示为"AUDIO SHORT，，的数据和表示 为"扬声器分配"的—言息，其-中，表示为i'VIDEQSHORT，，的数据描述 了诸如可显示图像尺寸(分辨率)、帧率、表示模式是隔行还是逐行 的信息和纵横比的信息；表示为"AUDIO SHORT"的数据描述了诸如
28可被再现的音频编解码器方案、采样频率、截止带和编解码器的位数
的信息；表示为"扬声器分配"的信息与左右扬声器有关。
另外，在扩展块中，在"扬声器分配"之后，配置了表示为"销售 商特定(Vender Specific )，，并且针对每个制造商唯一定义的数据、表 示为"第三定时(3rd timing)，，并用于保持与已知EDID的兼容性的 定时信息以及表示为"第四定时(4th timing)，，并用于保持与已知 EDID的兼容性的定时信息。
图13示出了 VIDEO SHORT区域中的视频数据的示例。在 VIDEO SHORT区域中从字节#1至字节弁L，在由称为CEA (消费电 子协会)-861-D的标准定义的视频信号格式中，可由接收装置102处 理的格式被表示为分辨率、帧率和纵横比的组合。
图14示出了"销售商特定，，区域中的示例性数据结构。在该"销售 商特定，，区域中，设置了作为1字节块的第0块至第N块。
在位于表示为"销售商特定，，的数据的头部的第0块中，配置了表 示为"销售商特定标签码(=3)，，并指示数据"销售商特定"的数据区域的 报头以及表示为"长度&N)"并指示数据"销售商特定"的长度的信息。
另外，在第一块至第三块中，配置了表示为"24位IEEE注册识 别符(0x000C03)最低有效位在前(LSB first)"并指示用于HDMI(R) 注册的编号"0x000 C03，，的信息。另外，在第四块和第五块，配置了 分别表示为"A"、 "B"、 "C，，和"D"并指示24位接收器装置的物理地址 的信息项。
在第六块中，配置了表示为"Supports-AI"并指示接收器装置支 持的功能的标记，分别表示为"DC-48bit"、 "DC-36bit"和"DC-30bit" 并指定每像素的比特数的信息项，表示为"DC-Y444"并指示接收器装 置是否支持YCbCr 4:4:4图像的传输的标记，以及表示为"DVI-Dual" 并指示接收器装置是否支持双DVI (数字视频接口 )的标记。
另外，在第七块中，配置了表示为"Max-TMDS-Clock"并指示 TMDS (最小化传输差分信令)的像素时钟的最大频率。另外，在第 八块中，配置了表示为"延迟(Latency)"并指示存在/不存在视频和音频的延迟信息的标记。另外，在第九块中，配置了表示为"视频延 迟"的、逐行视频的延迟时间数据。在第十块中，配置了表示为"音频 延迟"的、伴随逐行视频的音频的延迟时间数据。此外，在第十一块 中，配置了表示为"隔行视频延迟"的、隔行视频的延迟时间数据。在 第十二块中，配置了表示为"隔行音频延迟"的、伴随隔行视频的音频 的延迟时间数据。
例如，通过在第八块中设置"延迟"标记并在第九块的"视频延迟"
中写入实际延迟时间的数据，可将解码单元124的延迟时间提供给编 码单元113。另外，在图像为隔行格式的情况下，实际延迟时间的数 据可被写入在第十一块的"隔行视频延迟"中。
接下来，将描述发送装置101的通信单元114(HDMI发送单元) 和接收装置102的通信单元122 ( HDMI接收单元)。图15是示出了 通信单元114和通信单元122的详细示例性结构的框图。
作为HDMI发送单元的通信单元114在有效图^f象部分中利用多 个信道以单向方式将与等同于一个非压缩画面的图像的像素数据对 应的差分信号发送到作为HDMI接收单元的通信单元122,其中，所 述有效图像部分是从自 一个垂直同步信号到下一个垂直同步信号的 部分中排除水平消隐部分和垂直消隐部分而获得的部分(在下文中， 也可以根据需要被称作有效视频部分)。另外，在水平消隐部分或垂 直消隐部分中，通信单元114利用多个信道以单向方式至少将与伴随 图像的音频数据对应的差分信号、控制信号和其它辅助信号发送到通 信单元122。
即，通信单元114包括HDMI发送器211。例如，HDMI发送器 211将编码数据转换成对应的差分信号，并利用作为所述多个信道的 三个TMDS信道洲、#1和#2以单向方式将差分信号串行地传输到经 由HDMI线缆103与之连接的通信单元122。
另外，HDMI发送器211将伴随编码数据的音频数据以及必要的 控制数据、其它辅助数据等转换成对应的差分信号，并利用三个 TMDS信道#0、 #1和#2以单向方式将差分信号串行地传输到经由HDMI线缆103与之连接的通信单元122。
另外，HDMI发送器211利用TMDS时钟信道把要利用三个 TMDS信道#0、 #1和#2发送的与像素数据同步的像素时钟发送到经 由HDMI线缆103与之连接的通信单元122。这里，例如，对于一个 TMDS信道糾(i=0、 1、 2),在^^象素时钟的一个时钟期间发送10比 特数据。
在有效视频部分，通信单元122接收与像素数据对应的差分信 号，其中，所述差分信号是利用多个信道以单向方式从通信单元114 发送的。另外，在水平消隐部分或垂直消隐部分，通信单元122接收 利用多个信道以单向方式从通信单元114发送的与音频数据和控制数 据对应的差分信号。
即，通信单元122包括HDMI接收器212。 HDMI接收器212 与像素时钟同步地接收与像素数据对应的差分信号以及与音频数据 和控制数据对应的差分信号，其中，这些差分信号是利用TMDS信道 #0、 #1和#2以单向方式从经由HDMI线缆103连接的通信单元114 发送的，所述像素时钟也是利用TMDS时钟信道从通信单元114发送 的。
除了用作与像素时钟同步地将编码数据和音频数据以单向方式 从通信单元114串行地传输到通信单元122的传输信道的三个TMDS 信道#0至#2以及用作传输像素时钟的传输信道的TMDS时钟信道之 外，包括通信单元114和通信单元112的HDMI系统中的传输信道还 包括称作DDC (显示数据信道)213和CEC线214的传输信道。
DDC 213由包括在HDMI线缆103中并且未在图中示出的两条 信号线构成。DDC 213用于使通信单元114从经由HDMI线缆103 连接的通信单元122读取E-EDID。
即，除了 HDMI接收器212之外，通信单元122还包括EDID ROM (只读存储器)215，该EDID ROM 215存储作为关于本身的性 能(构造/能力)的性能信息的E-EDID。通信单元114从经由HDMI 线缆103连接的通信单元122经由DDC 213读取通信单元122的E-EDID，并根据E-EDID识别例如包括通信单元122的电子装置所 支持的图像的格式(简档)，诸如RGB、 YCbCr4:4:4、 YCbCr4:2:2 或YCbCr 4:2:0。
CEC线214由包括在HDMI线缆103中并且未在图中示出的一 条信号线构成。CEC线214用于执行在通信单元114和通信单元122 之间的控制数据的双向通信。
另外，HDMI线缆103包括要连接到被称作HPD (热插拔检测) 的管脚的线216。源装置利用该线216可以检测接收器装置的连接。 另外，HDMI线缆103包括用于从源装置向接收器装置供电的线217。 另外，HDMI线缆103包括用于扩展的保留线218。
图16示出了图15中的HDMI发送器211和HDMI接收器212 的示例性结构。
HDMI发送器211包括分别与三个TMDS信道洲、#1和#2对应 的三个编码器/串行化器211A、211B和211C。编码器/串行化器211A、 211B和211C中的每个对提供给它的图像数据、辅助数据和控制数据 进行编码，并将提供的数据从并行数据转换成串行数据，然后将串行 数据作为差分信号发送。这里，例如，当图像数据具有三个分量R(红 色)、G (绿色)和B (蓝色)时，B分量被提供给编码器/串行化器 211A， G分量被提供给编码器/串行化器211B, R分量被提供给编码 器/串行化器211C。
另外，例如，辅助数据包括音频数据和控制包。例如，控制包被 提供给编码器/串行化器211A，音频数据被提供给编码器/串行化器 211B和211C。
此外，控制数据包括1位的垂直同步信号(VSYNC) 、 1位的 水平同步信号(HSYNC)和1位的控制位CTLO、 CTL1、 CTL2和 CTL3。垂直同步信号和水平同步信号被提供给编码器/串行化器 211A。控制位CTLO卡-€TL1-被-提供给编码-器/串一亍化-器211-B，控-制 位CTL2和CTL3被提供给编码器/串行化器211C。
编码器/串行化器211A以时分方式发送提供给它的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。即，编码器/串行化
器211A将提供给它的图像数据的B分量视为以作为固定位数的8位 为单位的并行数据。此外，编码器/串行化器211A对并行数据进行编 码，将编码的并行数据转换成串行数据，并利用TMDS信道洲发送 该串行数据。
另外，编码器/串行化器211A对提供给它的垂直同步信号和水平 同步信号的2位并行数据进行编码，将编码的并行数据转换成串行数 据，并利用TMDS信道洲发送该串行数据。此外，编码器/串行化器 211A将提供给它的辅助数据视为以四位为单位的并行数据。然后， 编码器/串行化器211A对该并行数据进行编码，将编码的并行数据转 换成串行数据，并利用TMDS信道洲发送该串行数据。
编码器/串行化器211B以时分的方式发送图像数据的G分量、 控制位CTL0和CTL1以及辅助数据。即，编码器/串行化器211B将 提供给它的图像数据的G分量视为以作为固定位数的8位为单位的并 行数据。此外，编码器/串行化器211B对该并行数据进行编码，将编 码的并行数据转换成串行数据，并利用TMDS信道#1发送该串行数 据。
另外，编码器/串行化器211B对提供给它的控制位CTLO和 CTL1的2位并行数据进行编码，将编码的并行数据转换成串行数据， 并利用TMDS信道弁1发送该串行数据。此外，编码器/串行化器211B 将提供给它的辅助数据视为以四位为单位的并行数据。然后，编码器 /串行化器211B对该并行数据进行编码，将编码的并行数据转换成串 行数据，并利用TMDS信道弁1发送该串行数据。
编码器/串行化器211C以时分方式发送提供给它的图像数据的R 分量、控制位CTL2和CTL3以及辅助数据。即，编码器/串行化器 211C将图像数据的R分量视为以作为固定位数的8位为单位的并行 数据。此外，编码器/串行化器211C对该并行数据进行编码，将编码 的并行数据转换成串行数据，并利用TMDS信道弁2发送该串行数据。
另外，编码器/串行化器211C对提供给它的控制位CTL2和
33CTL3的2位并行数据进行编码，将编码的并行数据转换成串行数据， 并利用TMDS信道弁2发送该串行数据。此外，编码器/串行化器211C 将提供给它的辅助数据视为以四位为单位的并行数据。然后，编码器 /串行化器211C对该并行数据进行编码，将编码的并行数据转换成串 行数据，并利用TMDS信道弁2发送该串行数据。
HDMI接收器212包括分别对应于三个TMDS信道洲、#1和#2 的三个恢复/解码器212A、 212B和212C。然后，恢复/解码器212A、 212B和212C分别利用TMDS信道#0、 #1和#2来接收作为差分信号 发送的图像数据、辅助数据和控制数据。另外，恢复/解码器212A、 212B和212C中的每个将图像数据、辅助数据和控制数据从串行数据 转换成并行数据，对并行数据进行解码，并输出解码的并行数据。
即，恢复/解码器212A接收利用TMDS信道洲作为差分信号发 送的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。 然后，恢复/解码器212A将图像数据的B分量、垂直同步信号、水平 同步信号和辅助数据从串行数据转换成并行数据，对该并行数据进行 解码，并输出解码的并行数据。
恢复/解码器212B接收利用TMDS信道#1作为差分信号发送的 图像数据的G分量、控制位CTL0和CTL1以及辅助数据。然后，恢 复/解码器212B将图像数据的G分量、控制位CTL0和CTL1以及辅 助数据从串行数据转换成并行数据，对该并行数据进行解码，并输出 解码的并行数据。
恢复/解码器212C接收利用TMDS信道弁2作为差分信号发送的 图像数据的R分量、控制位CTL2和CTL3以及辅助数据。然后，恢 复/解码器212C将图像数据的R分量、控制位CTL2和CTL3以及辅 助数据从串行数据转换成并行数据，对该并行数据进行解码，并输出 解码的并行数据。
图17示iil-了科用HDMI中的三-+-T-信道糾、#1—和#2—来传 输各种传输数据项的传输部分(时段)的示例。要注意，图17示出 了在利用TMDS信道#0、 #1和#2传输宽度x高度为720x480像素的逐行图像的情况下的各种传输数据项的部分。
在利用HDMI中的三个TMDS信道#0、 #1和#2传输传输数据 的视频场中，根据传输数据的类型，存在三种类型的部分视频数据 部分(视频数据时段)、数据岛部分(数据岛时段)和控制部分(控 制时段)。
这里，视频场部分是从垂直同步信号的有效沿到下一垂直同步信 号的有效沿的部分。纟见频场部分可被划分为有效视频部分(Active Video)，该有效视频部分是从水平消隐时段(horizontal blanking)、 垂直消隐时段(vertical blanking )和视频场部分排除了水平消隐时段 和垂直消隐时段而得到的部分。
视频数据部分被分配到有效视频部分。在视频数据部分中，传输 等同于构成与一个非压缩画面对应的图像数据的720像素x480行的 有效像素的数据或通过压缩该数据而获得的数据。
数据岛部分和控制部分被分配到水平消隐时段和垂直消隐时段。 在数据岛部分和控制部分中，传输辅助数据。
即，数据岛部分被分配到水平消隐时段和垂直消隐时段的部分 中。在数据岛部分中，传输辅助数据中的与控制无关的数据，诸如音 频数据的包。
控制部分被分配到水平消隐时段和垂直消隐时段的其它部分。在 控制部分中，传输辅助数据中的与控制相关的数据，诸如垂直同步信 号、水平同步信号和控制包。
这里，在当前HDMI中，利用TMDS时钟信道传输的像素时钟 的频率例如为165MHz。在这种情况下，数据岛部分的传输率为大约 500Mbps。
图18示出了 HDMI终端101和201的管脚布置。该管脚布置是 A型(type-A)的示例。
作为通过其传输作为TMDS信道糾的差分信号的TMDS Data射+和TMDS Data糾-的差分线的两条线被连接到分配了 TMDS Data糾+的管脚(管脚号为1、 4和7的管脚)和分配了 TMDS Data#i-的管脚(管脚号为3、 6和9的管脚)。
另外，通过其传输作为控制信号的CEC信号的CEC线214被 连接到管脚号为13的管脚。管脚号为14的管脚为空(保留)管脚。 另外，通过其传输诸如E-EDID的SDA (串行数据)信号的线被连接 到管脚号为16的管脚。通过其传输SCL (串行时钟)信号的线被连 接到管脚号为15的管脚，其中，SCL信号是用于在发送/接收SDA 信号时实现同步的时钟信号。上述的DDC213由传输SDA信号的线 和传输SCL信号的线构成。
另外，如上面已经描述的，源装置用来检测接收器装置的连接的 线216被连接到管脚号为19的管脚。另外，如上面已经描述的，用 于供电的线217被连接到管脚号为18的管脚。
接下来，参照图19的流程图，将描述在传输图像数据(编码数 据)前在发送装置101和接收装置102之间执行的协商处理的示例性 流程。
当协商处理开始时，在步骤S201，发送装置101中的通信单元 114以预定的比特率R经由传输线103向接收装置102发送伪数据(编 码数据)。在步骤S211，接收装置102中的通信单元122接收该伪数 据。在步骤S212,接收装置102中的解码单元124对该伪数据进行解 码。在步骤S213，通信单元122将包括对伪数据解码的结果和关于接 收装置102的信息的协商信息经由传输线103发送到发送装置101， 其中，关于接收装置102的信息诸如为存在/不存在解码器、分辨率、 比特率和延迟时间。
当通信单元114在步骤S202接收到协商信息时，在步骤S203, 控制单元111确定伪数据的接收是否失败(即，对伪数据的解码是否 失败)。当确定接收(解码)成功时，控制单元lll使该处理前进到 步骤S204,在步骤S204比特率R的设定被增大了 AR，然后使该处理 回到步骤S201,并使通信单元114以新的比特率R再次发送伪数据。
只要接收装置102成功接收并解码伪数据，控制单元111就重复 上述处理并增大比特率R。然后，当在步骤S203根据协商信息确定
36接收装置102接收和解码伪数据失败时，控制单元111使该处理前进 到步骤S205,并将先前的比特率R(接收装置102能成功接收并解码 伪数据的比特率R的最大值)视为最终比特率，并终止协商处理。
接下来，参照图20中的流程图，将描述执行前面的协商处理之 后发送装置IOI执行的发送处理的示例性流程。要注意，这里的描述 假定利用发送装置101对图像数据进行编码而产生的编码数据要被传 输到接收装置102。不必说的是，如上面已经描述的，对是否执行编 码的控制可以与下面的处理进行组合。
当发送处理开始时，在步骤S231，控制单元111从通信单元114 获得协商信息。在步骤S232，控制单元111根据包括在协商信息中的、 接收装置102 (解码单元124)能够执行处理的最大比特率的信息或 作为在上述协商处理中测量的测量结果的实际最大比特率，来设置编 码单元113执行的编码处理中的目标比特率。例如，控制单元lll可 优选地将实际测量的最大比特率设置成目标比特率。另选地，在接收 装置102 (解码单元124)能够执行处理的最大比特率和实际最大比 特率之中，控制单元111可将具有较小值的一个设置成目标比特率。
在步骤S233，控制单元111根据协商信息设置编码单元113执 行的编码处理中的分辨率。由于编码数据通过执行如上所述的编码处 理以频率分量为单位进行排列，所以编码单元113根据分辨率的设置， 仅通过提取和传输必要的部分就可容易地传输具有期望分辨率的编 码数据。
另外，在步骤S234，控制单元111根据协商信息设置编码单元 113执行的编码处理中的延迟时间。
当完成了各种设置时，在步骤S235,编码单元113根据上述设 置对图像数据进行编码以产生根据设置的编码数据。通信单元114将 该编码数据经由传输线103发送到接收装置102。当所有数据的发送 完成时，发送处理终止。
通过执行如上所述的协商处理和发送处理，传输系统100可在更 多样的情况下高质量、低延迟地传输图像数据。要注意，当要发送的图像数据的格式是YCbCr 4:2:0格式时，色 差分量(C)的垂直方向大小是亮度分量(Y)的垂直方向大小的一 半。当编码单元113中的小波变换单元151执行如上所述的小波变换 时，在亮度分量(Y)和色差分量(C)中分解数变得相同。
这时，如已经描述的，由于色差分量(C)的垂直方向大小是亮 度分量(Y)的垂直方向大小的一半，例如如图21所示，色差分量(C) 的分区数可以与亮度分量(Y)的分区数不同。图21中的A示出了 亮度分量(Y)的分区的示例性结构，图21中的B示出了色差分量(C) 的分区的示例性结构。图21的A中的Y-P0至Y-P10各自示出了亮 度分量(Y)的分区，图21的B中的C-P0至C-P5各自示出了色差 分量(C)的分区。图21的A和图21的B左右两侧的数字均表示行 数。
在图21中的A的示例中，亮度分量(Y)的分区数是"ll"。与 其对应的色差分量(C)的分区数是"5"，如图21中的B所示。即， 与亮度分量(Y)和色差分量(C)的相同编号的分区对应的图像的 位置可以相互不同。因此，当与亮度分量(Y)和色差分量(C)的 相同编号的分区对应的图像的位置相互不同时，会难以逐个分区地以 低延迟控制速率。为了控制该速率，需要确定在亮度分量(Y)和色 差分量(C)中哪些是处于相同图像位置的分区。
因此，如前面描述的，在要传输的图像数据的格式是YCbCr 4:2:0格式并且色差分量(C)的垂直方向大小是亮度分量(Y)的垂 直方向大小的一半时，编码单元113 (小波变换单元151)可将色差 分量(C)的小波变换的分解数减小到比亮度分量(Y)的分解数小1。
图22包括示出了在色差分量(C)的小波变换的分解数比亮度 分量(Y)的分解数小1的情况下每个分量的分区的示例性结构的示 意图。图22中的A示出了亮度分量(Y)的分区的示例性结构，图 22中的B示出了色差分量(C)的分区的示例性结构。图22的A中 的Y-PO至Y-P10各自示出了亮度分量(Y)的分区，图22的B中的 C-PO至C-P10各自示出了色差分量(C)的分区。图22的A和图22的B左右两侧的数字均表示行数。
如图22所示，通过以这种方式执行小波变换，亮度分量(Y) 的一个分区的行数变为16 (不包括图像的顶端和底端)。与之相对， 色差分量(C )的一个分区的行数变为8(不包括图像的顶端和底端)。 因此，色差分量(C)和亮度分量(Y)具有基本相同数量的分区。 因此，与亮度分量(Y)和色差分量(C)的相同编号的分区对应的 图像的位置基本相互匹配，因而在每个分区中，在亮度分量(Y)和 色差分量(C)之间的图像差异变得小于图21的情况下的差异。编码 单元113可以以分区为单位更容易地执行低延迟的速率控制。
将参照图23中的流程图来描述在这种情况下的编码处理的示例 性流禾呈。
当编码处理开始时，在步骤S301,编码单元113中的小波变换 单元151确定要编码的图像数据的格式是否是4:2:0格式。当确定该 格式为4:2:0格式时，该处理进行到步骤S302，色差分量(C)的分 解数的设置被减小为比亮度分量(Y)的分解数的设置小1。当步骤 S302的处理结束时，小波变换单元151使该处理进行到步骤S303。 另选地，当在步骤S301确定要编码的图像数据的格式不是4:2:0格式 时，小波变换单元151省略步骤S302中的处理并使该处理前进到步 骤S302。
与图9中的步骤S121至步骤S129的处理类似地执行步骤S303 至步骤S311的处理。即，除了分解数不同之外，小波变换单元151 对亮度分量(Y)和色差分量(C)执行基本相似的处理。
如上所述，即使在要编码的图像数据的格式是4:2:0格式的情况 下，编码单元113也可以容易地执行速率控制。因此，传输系统IOO 可在更多样的情况下高质量、低延迟地传输图像数据。
可通过硬件执行上述一系列处理，或者可以通过软件执行上述一 系-列处理。唾di迷一系列处理将通过软件执衧沐r从程序记录介尿将 构成软件的程序安装到嵌入在专用硬件中的计算机、通用个人计算机 或由多个装置构成的信息处理系统中的信息处理装置中，其中，通用个人计算机例如可利用安装在其内的各种程序执行各种功能。
图24是示出了根据程序执行上述一 系列处理的信息处理系统的 示例性构造的框图。
如图24所示，信息处理系统300是由信息处理装置301、利用 PCI总线302连接到信息处理装置301的存储装置303、作为多个磁 带录像机(VTR)的VTR 304-1至VTR 304-S、鼠标305、键盘306 和供用户用来执行针对这些装置的操作输入的操作控制器307构成的 系统，并且是根据安装的程序执行如上所述的图像编码处理、图像解 码处理等的系统。
例如，信息处理系统300中的信息处理装置301可以将通过对存 储在由RAID (独立磁盘冗余阵列)构成的大容量存储装置303中的 运动图像内容进行编码而获得的编码数据存储在存储装置303中，在 存储装置303存储通过对存储在存储装置303中的编码数据进行解码 而获得的解码的图像数据(运动图像内容)，并且经由VTR304-1至 VTR304-S将编码数据和解码的图像数据存储在磁带上。另外，信息 处理装置301被设置为能够将在安装在VTR 304-1至VTR 304-S中的 磁带上记录的运动图像内容载入存储装置303中。在这种情况下，信 息处理装置301可对运动图像内容进行编码。
信息处理装置301具有微处理器401、 GPU(图形处理单元)402、 XDR (极速数据率)-RAM 403、南桥404、 HDD (硬盘驱动器)405、 USB接口 (USBI/F) 406和声音输入/输出编解码器407。
GPU 402经由专用总线411连接到微处理器401。XDR-RAM 403 经由专用总线412连接到微处理器401。南桥404经由专用总线连接 到微处理器401的1/0控制器444。 HDD 405、 USB接口 406和声音 输入/输出编解码器407也连接到南桥404。扬声器421连接到声音输 入/输出编解码器407。另外，显示器422连接到GPU 402。
此外，鼠-标305、 -^^盘306、 VTR 304-1至VTR304-S、 ^^储装 置303和操作控制器307经由PCI总线302也连接到南桥404。
鼠标305和键盘306从用户接收操作输入，并将表示来自用户的操作输入的内容的信号经由PCI总线302和南桥404提供给微处理器 401。存储装置303以及VTR 304-1至VTR 304-S被构造为能够记录 或再现预定的数据。
另外，根据需要，将驱动器308连接到PCI总线302,其中，诸 如磁盘、光盘、磁光盘或半导体存储器的可移动介质311可被适当地 安放到驱动器308中，并且根据需要将从其中读取的计算机程序安装 在HDD 405中。
;微处理器401以多核结构构成，其中，通用主CPU核441、副 CPU核442-1至副CPU核442-8、存储器控制器443和I/O (输入/ 输出)控制器444被集成在一个芯片上，并且微处理器401实现例如 4GHz的操作频率，其中，主CPU核441执行例如OS (操作系统) 的基本程序，副CPU核442-1至副CPU核442-8是经由内部总线445 连接到主CPU核441的多个(在此情况下为8个)RISC (精简指令 集计算机)型信号处理处理器，存储器控制器443执行容量例如为 256MByte的XDR-RAM 403的存储控制，I/O控制器444利用南桥 404管理数据的输入和输出。
在激活时，微处理器401根据存储在HDD 405中的控制程序读 取存储在HDD 405中的必要应用程序，在XDR-RAM 403中将所述 应用程序展开，随后根据这些应用程序和操作员的操作执行必要的控 制处理。
另外，通过执行软件，例如，微处理器401可以实现上述的编码 处理和解码处理，将作为编码结果获得的编码流经由南桥404提供到 HDD 405进行存储，并将从作为解码结果获得的运动图像内容再现的 视频图像进行数据传送至GPU 402，用于在显示器422上显示。
尽管利用微处理器401中的每个CPU核的方法是任意的，例如， 主CPU核441可以执行与图像编码处理和图像解码处理的控制相关 的处理，并且可以控制8个副CPU核442-1至副CPU核442-8例如 参照图11所述同时并行地执行诸如小波变换、系数重新排序、熵编 码、熵解码、小波逆变换、量化和逆量化的处理。在这种情况下，当
41主CPU核441 -故安排为逐个分区地向8个副CPU核442-1至副CPU 核442-8中的每个分配处理时，如上所述逐个分区地同时并行地执行 编码处理和解码处理。即，可以提高编码处理和解码处理的效率，可 以减少整个处理的延迟时间，另外，可以减少处理所需的负载、处理 事件和存储器容量。不必说的是，也可以利用其它方法来执行每个处 理。
例如，微处理器401的8个副CPU核442-1至副CPU核442-8 中的一些可被安排执行编码处理，其余的可被安排同时并行地执行解 码处理。
另外，例如，当独立的编码器或解码器、或者编解码器处理装置 被连接到PCI总线302时，微处理器401的8个副CPU核442-1至 副CPU核442-8可被安排为经由南桥404和PCI总线302控制这些 装置执行的处理。另外，当连接了多个这种装置时，或者当这些装置 包括多个解码器或编码器时，8个副CPU核442-1至副CPU核442-8
可被安排为以共享方式控制由所述多个解码器或编码器执行的处理。
这时，主CPU核441管理8个副CPU核442-1至副CPU核442-8 的操作，向各个副CPU核分配处理，并取回处理结果。另外，主CPU 核441执行除了这些副CPU核执行的处理之外的处理。例如，主CPU 核441接受经由南桥404从鼠标305、键盘306或操作控制器307提 供的命令，并且响应于该命令而执行各种处理。
除了例如关于移动从将被显示在显示器422上的运动图像内容 再现的碎见频图l象时粘贴紋理的最终渲染处理外，GPU 402还管理用于 执行当同时在显示器422上显示从运动图像内容再现的多个视频图像 和静止图像内容的静止图像时的坐标变换计算处理、从运动图像内容 再现的视频图像和静止图像内容的静止图像的放大/缩小处理等的功 能，从而减轻微处理器401的处理负载。
在微处理器401的控制下，GPU 402对提供的逸动闺像内容的视 频图像数据和静止图像内容的图像数据进行预定的信号处理，将作为 信号处理结果而获得的视频图像数据和图像数据发送到显示器422，并在显示器422上显示图像信号。
例如，从4皮;敞处理器401的8个副CPU核442-1至副CPU核 442-8同时并行地解码的多项运动图像内容再现的视频图像经由总线 411被数据传送到GPU 402。例如，这种情况下的传送速度最大为 30Gbyte/秒，因此，即使具有特殊效果的复杂再现视频图像也可以被 快速且平滑地显示。
此外，微处理器401对视频图像数据的音频数据和运动图像内容 的音频数据进行混音处理，并将作为混音处理结果而获得的编辑的音 频数据经由南桥404和声音输入/输出编解码器407发送到扬声器 421，从而从扬声器421输出基于音频信号的音频。
当上述一系列处理将由软件执行时，从网络或记录介质安装构成 该软件的程序。
例如，如图24所示，记录介质不仅构造为可移动介质311，而 且可被构造为HDD 405、存储装置303等，其中，可移动介质311在 其上记录有程序并且与设备的主体分离地分布以将程序分配给用户， 可移动介质311例如为磁盘(包括软盘)、光盘(包括CD-ROM和 DVD)、磁光盘(包括MD)或半导体存储器；而HDD 405、存储装 置303等在其上记录有程序并在被预先嵌入在设备的主体中的状态下 分配给用户。不必说的是，记录介质还可以为半导体存储器，诸如 ROM或闪速存储器。
在上面已经描述了 8个副CPU核被构造在微处理器401中。然 而，本发明不限于此。副CPU核的数量是任意的。另外，微处理器 401不是一皮构造为具有诸如主CPU核和副CPU核的多个核，并且可 利用以单个核(一个核)构成的CPU来构成微处理器401。另外，可 以使用多个CPU来代替微处理器401,或者可以使用多个信息处理装 置来代替微处理器401 (即，在相互协同操作的多个装置中执行用于 执行本发明的处理的程序。
在本说明书中描述记录在记录介质中的程序的步骤当然可以包 括根据描述的顺序按时间顺序执行的处理，也可以包括不必按时间顺序而是并行地或单独地执行的处理。
另外，本说明书中的系统指的是由多个装置(设备)构成的装置整体。
要注意，上面作为单个装置描述的结构可被划分，以被构造成多 个装置。相反，上面作为多个装置描述的结构也可被合并，以被构造 成单个装置。另外，不必说的是，个体装置的结构除了上述结构之外 还可添加其它结构。另外， 一个装置的一部分结构可包括在另一装置 的结构中，只要整个系统的结构和操作基本相同即可。
工业实用性
如上所述的本发明用于在更多样的情况下执行高质量、低延迟的 数据传输，并且可应用于各种装置或系统，只要这些装置或系统压缩、 编码并传输图像，并且在传输目的地对压缩编码进行解码并输出图 像。本发明特别适于需要具有从图像压缩和编码到解码和输出的短延 迟的装置或系统。
例如，本发明适合用于医用远程医疗分析的应用，诸如在观看视 频摄像机拍摄的视频图像的同时操作主从操作器并执行医学治疗。另 外，本发明适合用于在广播站等中编码和传输图像以及解码并显示或 记录图像的系统。
另外，本发明可应用于执行视频图像的实况覆盖的分布的系统、 能够在教育机构中在学生和老师之间交互通信的系统等。
另外，本发明可应用于发送由以下装置拍摄的图像数据具有图 像拍摄功能的移动终端，诸如具有照相功能的移动电话终端；视频会 议系统；包括监视摄像机以及记录通过监视摄像机拍摄的视频图像的 记录器的的系统等。
4权利要求
1、一种信息处理装置，包括选择装置，用于选择是否对要被传输的图像数据进行编码；滤波装置，用于在选择装置已选择对所述图像数据进行编码的情况下，以行块为单位来执行以频带为单位分解所述图像数据并产生包括以所述频带为单位的系数数据的子带的处理，其中，所述行块包括等同于产生等同于至少最低频率分量的子带的一行的系数数据所需的行数的图像数据；重新排序装置，用于按照从低频分量到高频分量的顺序对滤波装置按照从高频分量到低频分量的顺序产生的系数数据进行重新排序；编码装置，用于对由重新排序装置重新排序的系数数据进行编码；和发送装置，用于将利用编码装置对系数数据进行编码而产生的编码数据经由传输线发送到另一信息处理装置。
2、 根据权利要求l所述的信息处理装置，其中，选择装置根据所述传输线的传输允许比特率是否大于所述 图像数据的比特率来选择是否对所述图像数据进行编码。
3、 根据权利要求l所述的信息处理装置，还包括 获得装置，用于从所述另 一信息处理装置获得关于所述另 一信息处理装置的性能的信息。
4、 根据权利要求3所述的信息处理装置，其中，发送装置将预定的编码数据发送到所述另一信息处理装置；其中，获得装置获得指示在所述另一信息处理装置中接收和解码所述编码数据的结果的信息；并且其中，选择装置根据由获得装置获得的指示所述编码数据的接收 和解码的结果的信息来选择是否对所述图像数据进行编码。
5、 根据权利要求3所述的信息处理装置，其中，获得装置获得所述另一信息处理装置的解码处理的延迟时 间的信息，并且其中，编码装置根据由获得装置获得的所述延迟时间的信息来设 置编码处理的延迟时间。
6、 根据权利要求3所述的信息处理装置，其中，获得装置获得所述图像数据在所述另一信息处理装置中的 分辨率的信息，并且其中，编码装置根据由获得装置获得的所述分辨率的信息来设置 要被产生的编码数据的分辨率。
7、 根据权利要求l所述的信息处理装置，其中，在要被编码的图像数据的格式是4:2:0的情况下，滤波装 置将所述图像数据的色差分量的分解数减小到比所述图像数据的亮 度分量的分解数小1。
8、 一种信息处理装置的信息处理方法，其中，所述信息处理装置包括选择装置、滤波装置、重新排序装 置、编码装置和发送装置，其中，选择装置选择是否对要被传输的图像数据进行编码； 其中，滤波装置在已选择对所述图像数据进行编码的情况下，以 行块为单位来执行以频带为单位分解所述图像数据并产生包括以所 述频带为单位的系数数据的子带的处理，其中，所述行块包括等同于 产生等同于至少最低频率分量的子带的一行的系数数据所需的行数 的图像数据；其中，重新排序装置按照从低频分量到高频分量的顺序对按照从 高频分量到低频分量的顺序产生的系数数据进行重新排序；其中，编码装置对经过重新排序的系数数据进行编码；并且 其中，发送装置将通过对系数数据进行编码而产生的编码数据经 由传输线发送到另一信息处理装置。
全文摘要
可以提供一种能够在各种情况下高质量、低延迟地传输图像数据的信息处理装置和方法。控制单元(111)从通信单元(114)获取包括基于传输路径(103)的规范的传输容许比特率或者关于接收装置的信息和传输容许比特率的测量值的协商信息。控制单元(111)还控制是否对图像数据进行编码后传输图像数据，并设置编码的分辨率、比特率、延迟时间等。另外，编码单元(113)根据要被编码的图像数据的格式控制色差分量的分解数。例如，本发明可应用于通信装置。
文档编号H04N1/41GK101543038SQ20088000045
公开日2009年9月23日 申请日期2008年5月16日 优先权日2007年5月17日
发明者安藤胜俊, 福原隆浩 申请人:索尼株式会社