专利名称：信息处理器及其方法
技术领域：
本发明涉及一种信息处理器及其方法。更具体地说，本发明涉及在控制图像数据
发送中的图像质量恶化的同时使用更窄的发送频带的信息处理器及其方法。
背景技术：
在数字视频通信中，因为受限的带宽，所以通常在压縮的状态下传送图像。可以采用两种不同的方法来压縮图像帧内压縮，其使用各图像之间的相关性；以及帧间压縮，其不使用各图像之间的相关性。 帧内压縮的示例是运动图像专家组(MPEG)系统。在帧内压縮系统中，可以通过将数据仅分配给各图像之中具有改变的部分来实现高压縮率。然而，如果数据中存在误码，则其影响可能持续一段时间。 帧间压縮的示例是联合图像专家组(JPEG) 2000系统。帧间压縮系统不利用相关性，因此在压縮率方面亚于帧内压縮系统。然而，如果数据中存在误码，则数据中的误码在感兴趣的图像之外没有影响。 近来，已经增大了经由因特网或其它传输线路传送具有短延迟时间的多媒体数据的需求。其示例性应用是远程操作系统，其中，两个远程医疗机构通过例如因特网而连接。将所述两个机构之一中的手术室中的操作情形作为运动图像发送到所述两个机构中的另一个中的远程手术室，其中，操作者通过观看到来的运动图像而操控外科仪器。在这种应用中，必须发送具有不长于若干帧间隔的延迟时间的运动图像。 为了满足这种需求，日本待审专利申请公开No. 2007-311924公布了一种通过小波变换进行压縮编码的系统，其中，将运动图像的每一个画面中的若干行看作压縮编码块。在所公开的系统中，编码设备可以在输入画面中的所有数据之前开始压縮编码。如果经由网络发送压縮数据并且由接收器侧解码，则解码设备可以在接收到画面中的所有数据之前开始进行解码。相应地，如果网络传输延迟时间足够短，则可以提供具有短于帧间隔的延迟时间的实时运动图像发送。
发明内容
帧间系统可以实现高误码抵抗力，但已经有可能的是，对于发送来说，增大的带宽可能是必须的。在普通的通信线路中，因此必须节省通信线路的最大可用带宽以用于图像数据(即编码数据)的发送。相应地，可能难以与图像数据一起同时发送例如用于纠错的冗余码以及控制信号。换句话说，已经必须牺牲图像质量以便同时发送用于纠错的冗余码以及其它控制信号。 因此期望在控制发送图像数据时图像质量恶化的同时，通过在发送器侧合适地选择并丢弃一部分发送数据来减小发送所需的带宽。 本发明实施例是一种信息处理器，其包括分析器，被配置为分析图像数据，获得待处理的图像数据与基准图像数据之间的相似性，并且根据所述相似性是否达到预定阈值来确定所述图像数据和所述基准图像数据是否彼此相似；编码器，被配置为对所述图像数据进行编码；丢弃部分，被配置为作为所述分析器的分析结果，如果确定所述图像数据与所述基准图像数据相似，则丢弃所述图像数据；以及发送器，被配置为作为所述分析器的分析结果，如果确定所述图像数据与所述基准图像数据不相似，则发送从所述编码器所编码的图像数据生成的编码数据。 所述基准图像数据可以在待处理的图像数据之前被处理。 还可以包括被配置为存储处理过的图像数据的存储单元。所述分析器可以获取在待处理的图像数据之前处理过并且存储在所述存储单元中的图像数据，并且使用所获取的图像数据作为基准数据进行分析。 如果所述丢弃部分丢弃所述图像数据，则所述编码器可以增大通过编码而生成的编码数据的码量。 还可以包括冗余编码器，其被配置为关于通过所述编码器对所述图像数据进行编码而生成的编码数据执行冗余编码，并且生成冗余数据。 如果所述图像数据与所述基准图像数据相似，则所述发送器发送所述冗余编码器生成的冗余数据。 本发明另一实施例是一种用于处理图像数据的信息处理器的信息处理方法。所述方法包括以下步骤分析器分析图像数据，获得待处理的图像数据与基准图像数据之间的相似性，并且根据所述相似性是否达到预定阈值来确定所述图像数据和所述基准图像数据是否彼此相似；编码器对所述图像数据进行编码；作为分析结果，如果确定所述图像数据与所述基准图像数据相似，则丢弃部分丢弃所述图像数据；以及作为分析结果，如果确定所述图像数据与所述基准图像数据不相似，则发送器发送从所述编码器所编码的图像数据所生成的编码数据。 在本发明中，分析图像数据，以确定待处理的图像数据与基准图像数据之间的相似性，然后基于所述相似性是否达到预定阈值来确定所述图像数据是否与所述基准图像数据相似，对所述图像数据进行编码，作为分析的结果，如果所述图像数据与所述基准图像数据相似，则丢弃所述图像数据，如果根据分析所述图像数据与所述基准图像数据不相似，则发送通过对所述图像数据进行编码所生成的编码数据。 根据本发明实施例，提供数据发送。具体地说，本发明实施例在避免图像数据发送中图像质量恶化的同时减小了发送所需的带宽。
图1是应用了本发明实施例的网络系统的主要示例性配置的框图； 图2是发送设备和接收设备的示例性配置的框图； 图3是发送设备的示例性配置的更详细的框图； 图4示意性图示分析滤波； 图5示意性图示图4之后的分析滤波； 图6图示分析滤波结果； 图7是解码器的示例性配置的框图； 图8图示示例性先前图像；
图9是图示发送处理的示例性流程的流程图；图10是图示分析处理的示例性流程的流程图；图11是图示接收处理的示例性流程的流程图；图12是图示另一示例性发送处理的流程图；图13是图示再一示例性发送处理的流程图；图14是发送设备和接收设备的其它示例性配置的框图；图15是隐藏首标(concealment header)的配置的示意图；图16是图示再一示例性发送处理的流程图；图17是图示另一示例性分析处理的流程图；图18是图示隐藏首标生成处理的示例性流程的流程图；图19是图示另一示例性接收处理的流程图；以及图20是应用了本发明实施例的个人计算机的主要示例性配置的框图。
具体实施例方式
下文中，将描述用于实现本发明的最佳模式(下文中称为"实施例")。将按以下 顺序给出描述。
1.第一实施例(网络系统选择性地丢弃发送数据的示例) 2.第二实施例(网络系统增大码量的示例) 3.第三实施例(网络系统增大冗余度的示例) 4.第四实施例(网络系统使用隐藏首标的示例) 1.第一实施例 网络系统的示例性配置 图1是应用了本发明的网络系统的示例性配置的框图。在图1中，网络系统100 包括图像捕获设备101、发送设备102、接收设备103和显示设备104。网络系统100将具 有短延迟时间的运动图像数据从图像捕获设备101发送到显示设备104。在网络系统100 中，图像捕获设备101捕获对象的图像，并且生成运动图像数据。发送设备102发送图像捕 获设备IOI所获得的运动图像数据。接收设备103经由网络110接收运动图像数据。显示 设备104对接收到的运动图像数据的运动图像进行再现和显示。 也就是说，将图像捕获设备101所捕获的图像显示在显示设备104上。相应地，期 望的是，从当图像捕获设备101捕获图像的图像并且生成运动图像数据直到显示设备104 获取运动图像数据并且再现图像数据以显示运动图像的时间(即，延迟时间)很短。
为了解决这种需求，发送设备102和接收设备103对具有短延迟时间的运动图像 数据进行编码和解码，并且以分组方式发送运动图像数据。即使在发送期间出现分组丢失， 也没有时间来重传丢失分组。接收设备103因此通过以已经接收到的数据替换丢失分组来 隐藏数据丢失。 发送设备102期待接收设备103的误码隐藏功能，并且丢弃某些发送数据。发送 设备102选择在被丢弃时将具有最小影响的数据。接收设备103对丢弃的部分进行内插。
发送设备和接收设备的示例性配置 图2是示出图1所示的发送设备102和接收设备103的主要示例性内部配置的框
5图。 如图2所示，发送设备102包括分析器121、存储部分122、编码器123、分组器124 和发送器125。 将图像捕获设备101所捕获的运动图像数据提供给发送设备102的分析器121和 编码器123。当生成运动图像数据时，依次将其提供给发送设备102。也就是说，在运动图 像数据中，按时间顺序来提供每一画面。在每一画面中，从图像顶部到底部提供每一行。在 每一行中，从图像左边到右边提供每一像素。 发送设备102的每一组件以包括多行的分区(precinct)(也称为行块或片)为单 位处理输入图像数据。稍后将详细描述分区。 分析器121分析图像数据的特征，以确定所提供的图像数据的待丢弃的部分。例 如，分析器121通过对最近输入分区中的图像(其为当前待处理的图像，下文中称为"当前 图像")与作为基准的预定图像进行比较来获得当前图像与基准图像之间的相似性。基准图 像的示例包括在当前图像之前输入的并且是先前待处理的图像(下文中称为"先前图像") 的分区中的图像。下文中，将在先前图像是基准图像的情况下给出描述。
分析器121从存储部分122读取与当前图像对应的先前图像，以用于进行比较。在 分析当前图像之后，分析器121将当前图像提供给存储部分122，在此，当前图像存储为关 于未来当前图像的先前图像。 存储部分122是包括例如任意存储介质(例如硬盘或半导体存储器)的存储区 域，其存储先前图像。如果存储部分122的存储区域足够大，则存储部分122可以存储所有 先前图像。如果存储部分122的存储区域受限，则存储部分122可以删除分析器121不可 能使用或者较少可能使用的图像。 分析器121从存储部分122读取在关于用作基准的当前图像的分区的预定相对位 置处的分区中的图像作为先前图像。 关于特定当前图像的先前图像可以例如是与当前图像的分区相邻的分区中的图 像(即紧接在当前图像的分区之前的分区中的图像)。先前图像也可以是与当前图像的分 区靠近的分区中的图像(即在关于当前图像的分区的若干分区之前的分区中的图像)。此 外，先前图像可以是紧接在位于与当前图像的分区相同的位置处的当前图像的画面之前的 画面的分区中的图像。 只要在当前图像之前输入先前图像，就可以任意确定先前图像关于当前图像的相 对位置。在另一分区中的图像也可以用作先前图像。可以提供多个先前图像。也就是说， 可以提供用作先前图像的多个相对位置。在任何情况下，存储部分122中存储的图像不再 用作先前图像(即，用作先前图像的可能性减小)。存储部分122可以优选地删除这些分区 中的图像。 分析器121将所获得的相似性与预定阈值进行比较，并且确定当前图像是否与先 前图像相似。分析器121将分析结果提供给分组器124。 编码器123通过帧间系统执行输入当前图像的压縮编码。在此可以采用帧间系统 的任何方法。在以下描述中，编码器123执行压縮编码的方法是采用具有较少图像质量恶 化的小波变换和熵编码。为了实现具有短延迟时间的数据发送，编码器123以分区作为处 理单位执行压縮编码。
编码器123执行图像数据的压縮编码，生成编码数据，并且将编码数据提供给分 组器124。 分组器124基于分析器121的分析结果丢弃所提供的编码数据。例如，如果当前 图像与先前图像相似，则分组器124丢弃与当前图像对应的编码数据。如果当前图像与先 前图像不相似，则分组器124对与当前图像对应的编码数据进行分组，并且关于所获得的 分组生成用于纠错的冗余分组(即冗余数据)。分组器124然后将所生成的冗余分组以及 编码数据的分组提供给发送器125，发送器125将编码数据发送到接收设备103。
发送器125经由网络110将从分组器124提供的分组发送到接收设备103。
如上所述，发送设备101丢弃与在过去处理的图像相似的图像的编码数据，从而 减小待发送到接收设备103的数据量，并且减小发送数据的量(volume)。
接收设备103接收如上所述从发送设备102发送的分组。接收设备103具有的功 能是通过以先前图像的编码数据补偿具有分组丢失的分区来隐藏分组丢失。如图2所示， 接收设备103包括接收器131、去分组器132、丢失分析器133、存储部分134和解码器135。 接收设备103的每一组件以分区作为处理单位执行处理。 接收器131接收经由网络110发送的分组，并且将接收到的分组提供给去分组器 132。 去分组器132对所提供的分组进行去分组，提取编码数据，并且将提取出的编码 数据提供给丢失分析器133。然而，如果尚未提供待处理的分区的所有分组，则如果丢失分 组是可恢复的，那么去分组器132使用冗余数据来恢复丢失分组。去分组器132然后对接 收到的分组和恢复的分组进行去分组，提取编码数据，并且将提取出的编码数据提供给丢 失分析器133。 如果大量丢失分组(即丢失的编码数据的量)不可恢复，则去分组器132省略丢 失分组的恢复。去分组器132仅对所接收到的分组进行去分组，提取编码数据，并且将提取 出的编码数据提供给丢失分析器133。在此情况下，在编码数据部分或者完全丢失的情况 下，去分组器132将编码数据提供给丢失分析器133。当出现不可恢复的分组丢失时，尤其 是当所有编码数据丢失时，去分组器132将该事实通知给丢失分析器133就足够了。
如果将待处理的分区中的所有编码数据提供给丢失分析器133，则丢失分析器 133将编码数据提供给解码器135。 如果尚未提供待处理的分区中的编码数据，则丢失分析器133从存储部分134读
取没有与当前图像(其为待处理的分区中的图像)对应的先前图像的数据丢失的编码数
据，以读出的当前图像的编码数据来替换有缺陷的数据，并且将替换过的数据提供给解码
器135。也就是说，丢失分析器133使用先前图像的数据来执行数据补偿。 如果数据未被补偿，则丢失分析器133将从去分组器132提供的没有数据丢失的
编码数据提供给存储部分134。存储部分134存储所提供的编码数据。 存储部分134是由例如任意存储介质(例如硬盘或半导体存储器)配置的存储区
域，其存储先前图像的编码数据。如果存储部分134的存储区域足够大，则可以存储所有先
前图像的编码数据。如果存储部分134的存储区域受限，则存储部分134优选地删除丢失
分析器133不再使用或不可能使用的编码数据。 丢失分析器133基于从去分组器提供的当前图像(其为编码数据的图像)的分区
7将在预定相对位置处的分区中的图像用作先前图像，从存储部分122读取先前图像的编码 数据，并且使用读出的编码数据，以用于数据补偿。 解码器135通过与编码器123的编码方法对应的方法对从丢失分析器133提供 的编码数据进行解码，并且生成图像数据。解码器135将生成的图像数据提供给显示设备 104。 发送设备的示例性配置 接下来，将描述发送设备102。图3是示出发送设备102的示例性内部配置的详细 框图。 如图3所示，分析器121包括获取部分151、比较部分152、确定部分153、存储控制 器154和控制器155。 获取部分151获取从图像捕获设备101提供的当前图像的图像数据。获取部分 151从存储部分122获取与当前图像对应的先前图像的图像数据。获取部分151将图像数 据提供给比较部分152。 比较部分152将从获取部分151提供的当前图像的运动图像数据与先前图像的图 像数据进行比较。例如，比较部分152将当前图像和先前图像的对应位置处的像素的像素 值进行比较，并且计算峰值信噪比(PSNR)作为差值。比较部分152然后将差值连同当前图 像和先前图像的图像数据一起提供给确定部分153。 在接收数据时，确定部分153将差值与预定阈值进行比较，并且确定当前图像和
先前图像是否彼此相似。确定部分153将确定结果提供给控制器155。 控制器155将确定结果提供给分组器124的丢弃部分171 (C101)。 确定部分153将当前图像的图像数据提供给存储控制器154。存储控制器154将
从确定部分153提供的数据提供给存储部分122。存储部分122存储接收到的数据。将存
储部分122中存储的图像数据作为关于后续的当前图像的先前图像而适当地使用。 编码器123具有小波变换器161、量化器162、熵编码器163和速率控制器(rate
controller)164。 小波变换器161执行待处理的分区(即当前图像)的图像数据的小波变换。虽然 稍后详细描述，但小波变换是这样的处理执行分析滤波，以沿着关于屏幕水平和垂直的两 个方向将输入数据划分为低频分量和高频分量。通过小波变换处理，将输入数据划分为四 种分量(即子带)水平和垂直低频分量(LL分量)；水平高频和垂直低频分量(HL分量)； 水平低频和垂直高频分量(LH分量)；以及水平和垂直高频分量(HH分量)。
小波变换器161关于通过分析滤波而获得的水平和垂直低频分量(LL分量)递归 地重复小波变换处理达到预定次数。也就是说，将当前图像的图像数据划分为每一小波系 数(下文中称为"系数")，以用于多个分等级的子带(即频率分量)中的每一个。小波变 换器161将生成的系数提供给量化器162。 量化器162通过例如将系数除以量化步长大小来对小波变换器161生成的每一分 量的系数进行量化，并且生成量化系数。量化器162可以设置用于每一分区的量化步长大 小。由于分区包括特定图像区域的所有频率分量的系数，因此如果对每一分区进行量化，则 可以利用多分辨率分析(这是小波变换的特性)的有利效果。由于仅须关于整个屏幕确定 分区的数量，因此使得量化负荷较小。
图像信号的能量通常集中在低频分量周围，并且具有的特性是容易在视觉上识 别出低频分量中的恶化。因此有效的是在量化时进行加权，从而作为结果，低频分量的子带 中的量化步长大小的值变小。这种加权量化使得相对大量的信息得以分配在低频分量中， 因此提高了整个图像的主观图像质量。 熵编码器163执行量化器162生成的量化系数的信源编码，并且生成压縮编码码 流。信源编码的示例包括霍夫曼编码以及在JPEG2000系统中使用的其它高精度算术编码 系统。 在此，待熵编码的系数的范围是异常重要的元素，其与压縮效率直接有关。例如， 在JPEG系统中，按以下方式来压縮信息关于8 X 8块执行DCT变换，以生成64个DCT变换 系数；然后DCT变换系数经历霍夫曼编码。也就是说，这64个DCT变换系数在熵编码的范 围内。 与对于8X8块的DCT变换不同，小波变换器161每行执行小波变换。熵编码器 163因此独立于每一带宽(即子带)并且对于每一带宽中的每一分区执行信源编码。熵编 码器163将生成的编码数据提供给速率控制器164。 速率控制器164将速率控制为最终调整到目标比特率或目标压縮率，并且将速率 控制之后的编码数据输出到分组器124的丢弃部分171。具体地说，速率控制器164将控制 信号发送到量化器162，从而将量化步长大小减小得较小以增大比特率，并且增大量化步长 大小以减小比特率。 分组器124包括丢弃部分171、分组器172和冗余编码器173。丢弃部分171参考 从控制器155提供的比较结果，丢弃与先前图像相似的当前图像的编码数据，并且将其余 编码数据提供给分组器172。 分组器172对从丢弃部分171提供的编码数据进行划分和分组，并且将编码数据 提供给冗余编码器173。冗余编码器173对从分组器172提供的编码数据执行冗余编码，生 成冗余分组(即冗余数据)，并且将冗余分组连同编码数据的分组一起提供给发送器125。 发送器125发送所接收到的分组。可以省略冗余编码处理。如果省略了冗余编码器173，则 将分组器172中所分组的编码数据原样提供给发送器125，并且将其发送。
小波变换 接下来，将描述图3所示的小波变换器161执行的小波变换。 如上所述，小波变换是这样的处理执行分析滤波，以沿着关于屏幕水平和垂直的 两个方向将输入数据划分为低频分量和高频分量。通过小波变换处理，将输入数据划分为 四种分量(即子带)水平和垂直低频分量(LL分量)；水平高频和垂直低频分量(HL分 量)；水平低频和垂直高频分量(LH分量)；以及水平和垂直高频分量(HH分量)。
小波变换器161关于通过分析滤波而获得的水平和垂直低频分量(LL分量)递归 地重复小波变换处理预定次数。也就是说，将运动图像数据中的每一画面划分为用于多个 分等级的子带(即频率分量)的每一个的系数。 小波变换器161获得必要数量的样本，并且对于图像从左到右每一行的作为样本 输入的每一画面(列)关于图像数据沿着图像的水平方向执行分析滤波。也就是说，每当 小波变换器161获得用于实现分析滤波的必要数量的样本的数据时，小波变换器161就执 行水平分析滤波。例如，每当输入M列并且对于每一行将图像数据201划分为水平低频分
9量(L)和高频分量(H)时，小波变换器161就关于基带的图像数据201 (如图4左边所示) 执行水平分析滤波。图4右边所示的水平分析滤波处理结果202的阴影区域表示由小波变 换器161划分为水平低频分量(L)和高频分量(H)的N行的系数。 当生成预定数量的行(N行)的水平分析滤波处理结果202时，小波变换器161沿 着垂直方向执行分析滤波(即垂直分析滤波)。N表示大于小波变换器161执行垂直分析 滤波所需的行数的自然数。 小波变换器161关于生成的N行的水平分析滤波处理结果202的每一分量对于每 一列执行垂直分析滤波。当对于N行中的每一行重复垂直分析滤波时，将水平分析滤波处 理结果202的每一分量的系数划分为垂直低频分量的系数和水平高频分量的系数，如图5 所示。 也就是说，将水平低频分量(L)划分为水平和垂直低频分量(LL分量)以及水平 低频和垂直高频分量(LH分量)。将水平高频分量划分为水平高频和垂直低频分量(HL分 量)以及水平和垂直高频分量(HH分量)。也就是说，将水平分析滤波处理结果202划分为 四种分量的系数(系数203)。 小波变换器161关于LL分量的系数分别重复上述水平分析滤波和垂直分析滤波。 也就是说，将HL分量、LH分量和HH分量输出到外部作为所获得的分析滤波的结果之中的 处理结果，直到获得预定等级(即划分级别)的系数为止。剩余LL分量再次经历小波变换 器161的分析滤波。 例如，将图5左边所示的系数203转换为图5右边所示的系数204。在系数204 中，再次执行分析滤波，并且将LL分量划分为LLLL分量、LLHL分量、LLLH分量以及LLHH分 量。如果划分级别未达到预定等级，则小波变换器161再次对新生成的LLLL分量执行分析 滤波。 小波变换器161递归地重复分析滤波预定次数，并且将运动图像数据划分为期望 的划分级别。图6图示当将运动图像数据划分为划分级别3(等级3)时的示例性系数。在 图6中，划分为划分级别3的系数205被划分为等级化为3个级别的10个子带。
在图6中，1HL分量、1LH分量和1HH分量三个子带处于基带的图像数据被划分为 的第一划分级别。2HL分量、2LH分量和2HH分量三个子带处于第一划分级别的ILL分量被 划分为的第二划分级别。3LL分量、3HL分量、3LH分量和3HH分量四个子带处于第二划分级 别的2LL分量被划分为的第三划分级别。 在小波变换处理中，每次执行滤波时(即每当等级下降时)，所生成的行的数量就 减少n分之一，其中，n是2的指数幂。例如，如在图4和图5所示的示例中那样，关于N行 基带的图像数据执行分析滤波，以将图像数据划分为2/N的四分量系数(见图5左边的系 数203)。当经历重复的分析滤波时，将LL分量划分为4/N的四分量系数，如图5右边所示 的系数204。 如上所述，每次执行分析滤波时，所生成的行的数量将减少n分之一，其中，n是2 的指数幂。也就是说，在最后划分级别生成一行系数所需的基带的行的数量由重复滤波处 理的次数(即在最后划分级别的等级排序的数量)确定。由于等级排序的数量通常是预先 确定的，因此也相应地确定在最后划分级别生成一行系数所需的基带行的数量。例如，如果 最后划分级别是3，如在图6所示的示例中那样，则在最后划分级别生成一行系数所需的图像数据的基带行的数量是8。 在最后划分级别生成一行系数所需的基带的图像数据的量(即与两行或更多行
对应的图像数据的量)或每一等级排序上的系数统称为"分区"(或行块)。 图6中的阴影区域是形成分区的系数。在图6的示例中，分区是由与在第三划分
级别的每一分量的一行对应的系数、与在第二划分级别的每一分量的两行对应的系数、以
及与在第三划分级别的每一分量的四行对应的系数配置的。注意，在经历与上述系数对应
的分析滤波之前的图像数据(即与该示例中八行对应的图像数据)也称为"分区"(或行块)。 可以通过任意方法来操作分析滤波。例如，可以采用巻积运算，其中，滤波器的抽 头系数经历与实际输入数据的巻积乘法。然而，如果抽头长度很长，则有可能的是，计算负 荷可能相应地增大。为了减小运算负荷，可以采用使用例如9X7分析滤波器的提升运算， 而不是巻积运算。 在熵编码器163中对于每一子带(即对于每一预定数量的行)对如上所述划分为
多个子带的系数进行编码。 解码器的示例性配置 然后，在接收设备103的解码器135中解码这样编码的数据。图7是解码器135 的示例性内部配置的框图。 如图7所示，解码器135包括熵解码器221、逆量化器222以及小波逆变换器223。
熵解码器221执行输入编码数据的信源解码，并且生成量化系数数据。信源解码 的示例包括霍夫曼解码和高效算术解码，与熵编码器163的信源编码对应。如果在熵编码 器163中对于每隔P行执行信源编码，则对于每一子带独立地对于每隔P行执行熵解码器 221中的信源解码。 逆量化器222将量化系数数据与量化步长大小相乘，以执行逆量化并且生成系数 数据。量化步长大小通常在例如编码码流的首标中描述。如果在量化器162中对于每一行 块设置量化步长大小，则在逆量化器222中对于用于执行逆量化的每一行块相似地设置逆 量化步长大小。 小波逆变换器223执行小波变换器161的逆处理。也就是说，小波逆变换器223 执行滤波(即合成滤波)，以用于既沿着水平方向又沿着垂直方向关于由小波变换器161划 分为多个带宽的系数数据合成低频分量和高频分量。 由于当应用上述提升技术时可以高效地执行与分析滤波对应的滤波，因此优选的
是，提升技术可以相似地应用于小波逆变换的合成滤波。 图像补偿 如参照图2描述的那样，当不可恢复的数据丢失出现在编码数据中时，丢失分析 器133使得解码器135对先前图像的编码数据而不是不充分的编码数据进行解码。也就是 说，丢失分析器133通过先前图像的编码数据来补偿编码数据中的缺陷。
可以采用任何补偿处理。为了易于说明，丢失分析器133以分区为单位执行数据 补偿，分区单位在以下描述中是解码的处理单位。也就是说，如果从去分组器132获取的待 处理的分区的编码数据甚至具有部分缺陷，则丢失分析器133丢弃分区的所有编码数据， 从存储部分134读取先前图像的编码数据(对应于一个分区)，并且将读出的编码数据提供给解码器135。 其中图像用作先前图像的分区可以任意地定位。例如，位于与当前图像的分区相 似的空间位置的分区中的图像可以用作先前图像。与当前图像的分区相邻的当前图像相同 的画面中的分区中的图像可以用作先前图像。此外，与当前图像的分区接近的分区中的图 像也可以用作先前图像。 具体地说，位于紧接与当前图像相同的画面的当前图像的分区之上的分区中的图 像可以用作先前图像。位于与当前图像相同的画面的当前图像的分区之上若干个分区的分 区中的图像可以用作先前图像。 图8图示多个画面的分区的示例性布置。在图8中，画面251、252和253沿着时 间轴彼此连续，并且以此顺序来布置。将每一画面划分为三个分区(即三个行块或片)。实 际上，可以任意地确定每一画面的分区的数量。 在此情况下，例如，将分区253-3看作待处理的分区，并且将其中的图像看作当前 图像。然后，将分区253-1和253-2中的图像设置为先前图像。 位于与当前图像的分区时间上相似的位置处的分区中的图像也可以用作先前图 像。具体地说，位于与紧接先前画面的当前图像的分区相同位置处的分区中的图像、或位于 与当前画面之前若干个画面的当前图像的分区相同位置处的分区中的图像可以用作先前 图像。 在图8的示例中，将画面252的分区252-3中的图像以及画面251的分区251-3 中的图像设置为关于当前图像的分区253-3的先前图像。 用作先前图像的分区关于当前图像的分区的相对位置可以是任意确定的。也可以 使用除了所描述的之外的其它分区。可以关于每一当前图像准备多个先前图像，并且可以 适当地选择先前图像中的任何一个。 关于发送设备101独立地确定接收设备103中的先前图像的相对位置。因此用于
数据补偿的丢失分析器133所使用的先前图像无需与用于比较的分析器121所使用的先前
图像对应。 处理流程 接下来，将描述每一处理部分执行的处理的示例性流程。首先，将参照图9的流程 图描述发送设备101执行的发送处理的示例性流程。 当图像数据输入到发送设备101并且发送处理开始时，在步骤S101中，分析器121 执行分析处理，以用于分析输入图像数据的图像。稍后将描述分析处理的细节。在完成分 析处理之后，在步骤S102中，编码器123对当前图像的数据进行编码，并且生成编码数据。
在步骤S103中，分组器124基于在步骤S101执行的分析处理的结果来确定当前 图像与先前图像是否彼此相似。如果当前图像与先前图像彼此相似，则程序进入步骤S104。 在步骤S104中，分组器124对当前图像的编码数据进行分组。所生成的分组可以经历通过 使用例如纠错码(例如里德-所罗门(RS)码)的冗余编码，并且生成冗余数据(即冗余分 组)。 在步骤S105中，发送器125经由网络110将分组器124生成的分组发送到接收设 备103。当发送分组时，发送处理结束。 如果在步骤S103中确定当前图像与先前图像彼此不相似，则程序进入步骤S106。在步骤S106中，分组器124丢弃(当前图像的)待处理的编码数据。当丢弃编码数据时， 发送处理结束。 每次输入与一个分区对应的图像数据时，发送设备102就重复执行发送处理。 如上所述，发送设备102分析当前图像，丢弃与先前图像相似的当前图像的编码
数据，并且仅将与先前图像不相似的当前图像的编码数据发送到接收设备103。 接下来，将参照图10的流程图描述在图9中的步骤S101执行的分析处理的示例
性流程。 当分析处理开始时，在步骤S121中，分析器121的获取部分151从存储部分122 获取与从图像捕获设备101提供的当前图像对应的先前图像。在步骤S 122中，比较部分 152将当前图像与先前图像进行比较。在步骤S123中，确定部分153通过当前图像和先前 图像的差异信息(其为步骤S122中的结果)与预定阈值之间的比较来确定相似性。
在步骤S124中，控制器155将在步骤S123计算出的确定结果通知给分组器124 的丢弃部分171。在步骤S125中，存储控制器154使得存储部分122将当前图像的数据存 储为关于先前图像的数据。在步骤S125的处理完成之后，分析处理完成。程序返回图9中 的步骤SlOl，并且执行步骤S102之后的处理。 发送设备102通过上述分析处理来选择待丢弃的数据。接下来，将参照图11的流 程图描述接收这样发送的部分有缺陷的编码数据的接收设备103进行的接收处理的示例 性流程。 当接收处理开始时，在步骤S141中，接收设备103的接收器131接收分组。在步 骤S142中，去分组器132对接收到的分组进行去分组，对可恢复的分组进行恢复，并且提取 编码数据。 在步骤S143中，丢失分析器133确定是否已经有数据丢失。如果确定数据已经部 分丢失，则程序进入步骤S144。在步骤S144中，丢失分析器133确定是否可以通过先前图 像来替换部分丢失的当前图像的编码数据。 如果确定可以进行替换，则程序进入步骤S145。在步骤S145中，丢失分析器133 从存储部分134读出先前图像的编码数据，并且通过读出的先前图像的编码数据来替换部 分丢失的当前图像的丢失的编码数据。在步骤S146中，解码器135对编码数据进行解码， 并且生成图像数据。当步骤S146的处理完成时，接收处理结束。 如果在步骤S144中确定无法通过先前图像进行替换，则程序进入步骤S146，并且 执行后续处理。如果在步骤S143确定数据尚未丢失，则程序进入步骤S147。
在步骤S147中，丢失分析器133将无丢失的以分区为单位的编码数据提供给存储 部分134。存储部分134存储所提供的编码数据。在步骤S147的处理完成之后，处理返回 步骤S146，并且执行后续处理。 如上所述，接收设备103通过关于不可恢复的分组的丢失替换先前图像的编码数 据来执行数据补偿。 如果以短延迟时间传递数据，则以行为基础来操作的编解码器是有利的。然而，编 解码器没有对于数据重传节省的时间，因为编解码器目的是短延迟时间。然而，实际上，在 发送期间出现数据丢失并不罕见。数据丢失可能明显地损害所恢复的图像的图像质量。
因此，执行具有短延迟时间的数据发送的接收设备103必须具有用于提高解码后的图像的图像质量的功能。具体地说，这种功能可以包括通过使用冗余数据恢复丢失的数 据，或者通过先前发送的数据替换丢失的数据。 在目的在于具有短延迟时间的数据发送的编解码器方法中，难以增大压縮率，因 此通常将通信线路的最大容量用于图像数据的发送。编解码器通常没有额外的通信频带。 因此在发送图像数据期间难以发送其它数据(例如冗余数据)。也就是说，通常难以增大图 像数据的冗余度并且提供足够的恢复。 相应地，并非通过冗余编码的纠错，重要且必然的是，接收设备103具有用于通过 先前发送的数据来替换错误的错误隐藏功能。用于具有短延迟时间的数据发送的接收设备 103通常具有这样的误码隐藏功能。 发送设备102通过有效地使用接收设备103的误码隐藏功能来减小数据发送所需 要的带宽。也就是说，如上所述，发送设备102丢弃一部分发送数据(即某些分区中的编码 数据)。接收设备103通过先前发送的数据来替换丢弃的分区中的编码数据，以隐藏如在发 送期间数据丢失的情况下的那种错误。 相应地，发送设备102可以在控制图像数据发送中解码后的图像的图像质量恶化 的同时减小发送所需要的带宽。 作为该实施例的特性，发送设备102丢弃数据的算法不一定与接收设备103进行 的误码隐藏的算法对应。也就是说，任何算法可以用于分析器121的分析处理。还任意选 择丢失分析器133的数据补偿的算法。接收设备103独立于发送设备102并且不与发送设 备102协同操作而执行数据补偿。 也就是说，由于无需向接收器侧添加专用功能，并且接收器侧的算法独立于发送 侧，因此发送设备102具有很高的多功能性。接收设备103仅需要独立地执行误码隐藏(即 数据补偿)。 发送设备102仅需要丢弃一部分编码数据，如上所述。相应地，通用编码器可以用 作编码器123，并且无需开发专用编码器。因此可以容易地并且以低成本来提供发送设备 102。 作为该实施例的另一特性，由于发送设备102执行分析处理并且将当前图像与先 前图像进行比较，因此可以有选择地丢弃具有高相似性的数据。如果在接收设备103丢失 的图像将要以另一图像来补偿，则理论上优选的是，从提高图像质量的观点来说，采用具有 与丢弃数据更高相似性的图像。在采用任何算法的情况下，接收设备103通常使用具有与 丢失图像更高相似性的图像来执行数据补偿。 相应地，发送设备102可以有选择地丢弃接收设备103容易补偿的数据。与例如随 机选择待丢弃的数据或者无条件地丢弃位于图像的预定位置处的数据相比，发送设备102 可以更有效地减小解码后的图像的图像质量恶化。 替换地，可以通过其它方法来选择待丢弃的数据。例如，分析器121分析当前图像 的图像数据，以获得关于图像数据的任意特性。如果所述特性满足预定标准(即，如果当前 图像的图像数据具有预定特性)，则丢弃部分171可以丢弃当前图像的编码数据。如果当前 图像没有所述特性，则发送器125可以发送编码数据。 虽然在前面的描述中先前图像(的图像数据)用作基准图像(的图像数据)，但除 了当前图像(的图像数据)之外的任何种类的图像(的图像数据)可以用作基准图像(的
14图像数据)。 如上所述，由于发送设备102和接收设备103彼此独立地操作，因此不保证接收设 备103可以补偿所有数据。然而，即使接收设备103无法补偿丢失的数据，仅有的损害是画 面的分区中的图像不被解码，这很少导致整个解码处理中的失败。相应地，除非这种情况频 繁出现，否则关于解码后的图像的影响不明显。 注意，发送设备102和接收设备103可以彼此协同操作。如果在发送设备102中 用于选择待丢弃的数据的算法和在接收设备103中用于补偿丢失的数据的算法彼此对应， 则可以精确地消除发送设备102中丢弃数据的影响，这可以有助于解码后的图像的图像质 量的提高。然而，通过该配置，可能的是，发送设备102可以变得较少的多功能性。此外，协 同操作可能增大发送设备102和接收设备103的处理负荷。协同操作可以占用一部分通信 频带。 在前面的描述中在发送设备102和接收设备103的各种处理中的处理单位(例如 编码单元)已经是任意选择的，并且也可以采用其它处理单位(例如画面单位)。然而，处 理单位涉及延迟时间。如果采用大处理单位，则具有短延迟时间的数据发送可能变得难以 实现。 可以采用参照图1描述的设备的其它配置。 例如，将图像捕获设备101所捕获并且生成的所捕获的图像的图像数据输入到图 1中的发送设备102。然而，可以将任何类型的图像数据发送到接收设备103。例如，发送设 备102可以从记录介质读取图像数据。也就是说，可以省略图像捕获设备101。
可以通过任意方式来处理从接收设备103输出的图像数据。例如，可以将图像数 据记录在记录介质上。也就是说，也可以省略显示设备104。 所示的设备可以具有除了所描述的之外的配置。每一设备可以被提供多个。例 如，多个接收设备103可以连接到单个发送设备102，从而可以将图像数据从单个发送设备 102发送到多个接收设备103。在此情况下，每一接收设备103可以具有用于误码隐藏的不 同算法。 2.第二实施例 [OWO] 处理流程 在前面的描述中，发送设备102减小发送数据的量，以节省通信频带。可以使用节 省的带宽来增大编码数据的码量。 在此情况下，如图3所示，控制器155将确定结果提供给丢弃部分171(C101)，然 后将控制信号C102发送到量化器162，从而比特率增大(即量化步长大小减小)。量化器 162通过基于该控制来控制量化步长大小而增大编码数据的码量。
图12是示出在此情况下的发送处理的示例性流程的流程图。 通过与图9中步骤S101至S106的处理相同的方式来执行步骤S161至S166的处 理，例外之处是，当在步骤S166中丢弃编码数据时，程序进入步骤S167。在步骤S167中，量 化器162基于控制器155的控制来减小量化步长大小，并且增大编码数据的码量(即增大 比特率)。当步骤S167的处理完成时，发送处理结束。 如上所述，发送设备102使用另外用于数据发送的节省下的带宽来增大待发送的 编码数据的比特率。也就是说，接收设备102接收到的编码数据的比特率增大。理论上，由于通过所发送的编码数据来补偿发送设备102丢弃的编码数据，因此所解码的编码数据的 比特率最终增大。也就是说，发送设备102可以进一步减小解码后的图像的图像质量恶化。
由于分析器121进行的分析处理和编码器123进行的编码处理是并行执行的，因 此控制器155控制后续分区的编码数据而不是当前待处理的分区的编码数据的比特率。虽 然可以控制当前待处理的分区的编码数据的比特率，但这种控制必须在分析处理完成之后 执行编码处理。作为结果，延迟时间可能变得更长。
3.第三实施例
处理流程 可以发送其它数据而不是待丢弃的编码数据。例如，可以使用节省下的通信频带 来发送编码数据的冗余数据。 在此情况下，如图3所示，冗余编码器173关于编码数据执行冗余编码，以生成冗 余数据，但所生成的冗余数据被保存不发送。可替代地，冗余编码器173通过编码数据来发 送所生成的冗余数据，但保存由于例如网络110的频带管制(band regulation)而未发送 的冗余数据。 相反，控制器155将确定结果提供给丢弃部分171(C101)，并且丢弃编码数据，然 后将控制信号C103发送到冗余编码器173，从而发送当前保存的冗余数据，而不是丢弃的 编码数据。冗余编码器173基于控制来发送当前保存的冗余数据。
图13是图示在此情况下的发送处理的示例性流程的流程图。 也是在此情况下，以基本上与图9所示的步骤S101至S104的处理相同的方式来 执行步骤S181至S184的处理，例外之处是，当在步骤S184对编码数据进行分组并且生成 分组时，程序进入步骤S185。 在步骤S185中，冗余编码器173通过使用例如纠错码(例如里德_所罗门(RS)
码)来执行所生成的分组的冗余编码，并且生成冗余数据(即冗余分组)。当冗余编码完成 时，在步骤S 186中，发送器135经由网络110将所生成的分组发送到接收设备103。发送 器135优选地发送编码数据的分组，或者仅发送编码数据的分组。如上所述，将未发送的冗 余数据的分组保存在冗余编码器173中。
当步骤S186的处理完成时，发送处理结束。 如果在步骤S183确定当前图像与先前图像相似，则程序进入步骤S187。在步骤 S187，丢弃部分171丢弃被确定为与先前图像相似的当前图像的编码数据。在步骤S188，发 送器125发送冗余编码器173所保存的未发送的冗余分组，而不是丢弃的编码数据的分组。
当步骤S188的处理完成时，发送处理结束。 如上所述，发送设备102丢弃数据，并且使用另外用于数据发送的节省下的带宽
来发送冗余数据。以此方式，由于与在不节省带宽的情况下相比可以发送更大量的冗余数
据，因此发送设备102可以增大编码数据的冗余度。也就是说，发送设备102可以提高待发
送的编码数据的恢复性能，并且可以进一步减小解码后的图像的图像质量恶化。 注意，可以根据待丢弃的编码数据的量来控制冗余度(即冗余编码器173所生成
的冗余数据的数据量)。 4.第四实施例 发送设备和接收设备的示例性配置
待发送的其它数据而不是待丢弃的编码数据可以是除了冗余数据之外的任何类 型的数据。例如，可以发送用于在接收设备103中控制误码隐藏处理的信息。
在示例性系统中，从发送设备102发送关于是否可以进行替换的信息作为首标信 息(即隐藏首标)，从而接收设备103可以选择先前图像来替换多个分区之中的当前图像， 并且接收设备103可以选择合适的图像。 也是在该系统中，当发送设备102丢弃编码数据时，编码数据在接收设备103中被 替换。在此情况下，接收设备103可以通过使用从已经在上文中描述的发送设备102提供 的隐藏首标的信息来选择更合适的分区作为先前图像。也就是说，接收设备103可以通过 更合适的编码数据来进行替换。也就是说，发送设备102可以通过发送这种隐藏首标而不 是所丢弃的数据来进一步减小解码后的图像的图像质量恶化。 也就是说，本发明的该实施例可以容易地应用于非常见系统，其中，例如，在发送 设备102与接收设备103之间发送和接收控制信息。 图14是在此情况下的发送设备102和接收设备103的示例性配置的框图。
如图14所示，除了参照图2描述的那些组件之外，发送设备102还包括隐藏首标 生成器301。 在此情况下，分析器121关于图像数据输入而分析误码隐藏。误码隐藏是隐藏在 数据发送期间所生成的发送误码的处理。分析器121将输入图像数据与紧接在感兴趣画面 之前的从存储部分122读取的画面的图像数据进行比较。也就是说，分析器121将两个连 续画面(即帧或场)的对应位置处的分区中的图像进行比较。分析器121将比较结果提供 给隐藏首标生成器123作为分析结果。 隐藏首标生成器301基于分析结果生成隐藏首标，隐藏首标是描述分区误码的隐 藏方法的隐藏信息。具体地说，隐藏首标生成器301生成首标信息(隐藏首标)，并且将所 生成的首标信息提供给分组器124，所述首标信息包括表示可以通过在接收设备103进行 的误码隐藏处理期间出现误码的分区替换的分区的信息(即描述可以通过哪一画面的哪 一分区中的哪一数据进行替换的信息)。 分组器124基于从编码器121提供的编码数据以及从隐藏首标生成器301提供的 隐藏首标来创建用于发送的分组(即分组)。分组器124将隐藏首标添加(复用)到编码 数据，以生成分组。发送器125将这样生成的分组发送到接收设备103。
分析器121如在参照图1至图13描述的处理中那样确定先前图像与当前图像之 间的相似性，并且将确定结果提供给分组器124或编码器123。 如果当前图像与先前图像相似，则分组器124丢弃编码数据，仅对从隐藏首标生 成器301提供的隐藏首标进行分组，并且使得发送器125发送分组。
接收设备103的配置基本上与参照图2所示的相同。 从发送设备102发送的分组由接收器131接收，并且由去分组器132去分组，从而 提取编码数据。将提取出的编码数据提供给丢失分析器133。去分组器132还连同编码数 据一起提取隐藏首标，并且将提取出的编码数据和隐藏首标提供给丢失分析器133。
丢失分析器133基于隐藏首标使用存储部分134中存储的编码数据在出现发送误 码时执行误码隐藏。 丢失分析器133参考隐藏首标，并且指定可以用于数据替换的先前编码数据(即，
17指定哪一画面的哪一分区中的哪一数据将要用于替换)。丢失分析器134然后从存储部分
134读取指定的编码数据，并且通过读出的数据来替换出现发送误码的分区。 解码器135对从丢失分析器134提供的已经历了误码隐藏处理的编码数据进行解
码，并且输出基带的图像数据。 隐藏首标 接下来，将描述隐藏首标。图15图示隐藏首标的示例性配置。如图15所示，隐藏首标340是32比特信息，其包括画面ID 341、分区ID 342、可替换前导(leading)画面ID343、替换标志(RF)344、滑动标志(SF) 345、以及可替换前导分区ID 346。
画面ID 341是8比特标识信息，其标识整个运动图像数据中的当前(即，待处理的)画面。分区ID 342是8比特标识信息，其标识画面中的当前(即，待处理的)分区。
可替换前导画面ID 343是8比特标识信息，均具有可通过当前分区替换的分区。可替换前导画面ID 343表示在时间方向上直到当前画面连续的画面组的前导画面。
也就是说，可替换前导画面ID 343是指示当前分区可以返回到哪一画面以用于替换的信息。将标识整个运动图像数据中的画面的标识信息(即与画面ID 341相同类型的ID)设置为可替换前导画面ID 343。 RF 344是1比特标志信息，其指示是否可以通过可替换前导画面ID 343之后的画面的数据来替换当前分区。虽然可以参考可替换前导画面ID 343来确定是否可以通过先前画面来替换当前分区，但当使用RF 344时，确定变得更容易。 SF 345是1比特标志信息，其指示是否可以通过相同画面的先前分区的数据来替
换当前分区。可替换前导分区ID 346是6比特标识信息，其表示可以通过当前分区替换的
分区组的前导分区。分区组在空间方向上连续到达当前画面中的当前分区。 也就是说，可替换前导分区ID 346是指示当前分区可以返回到哪一分区以用于
替换的信息。 压縮到6比特信息的标识画面中的当前分区的标识信息(即与分区ID342相同类型的ID)被设置为可替换前导分区ID 346。 隐藏首标340的比特长度是任意确定的。可以将可替换前导分区ID 346的比特长度设置为与分区ID 342相同。上述信息的比特长度是任意确定的。
如上所述，隐藏首标340包括指示可以用于当前(g卩，待处理的)分区的替换的数据的范围的信息。丢失分析器133基于该信息获知所述范围，并且使用存储部分134中存储的该范围内的编码数据来替换数据。 再次参照图8，将更详细地描述隐藏首标340中的信息。假设分区253-3是当前(即，待处理的)分区，并且该分区253-3中出现发送误码。 如果添加到分区253-3的( 一部分或全部)分组的隐藏首标340的RF 344和SF345是OFF(例如"0")，则分区253-3没有要替换的分区。 如果将RF 344改变为OFF，并且将SF 345改变为ON (例如"1")，则分区253_3在画面253中具有可替换分区。例如，如果可替换前导分区ID 346表示分区253-2，则可以通过分区253-2来替换分区253-3。 例如，如果可替换前导分区ID 346表示分区253-1 ，则可以通过分区253-1或分区253-2之一来替换分区253-3。
实际上，一般由若干行的像素来配置分区。在通常图像中，邻近分区之间的相似性很高，并且因此其间的差异通常很小。也就是说，更接近于彼此的分区更有可能彼此替换。
于是，在隐藏首标340中，在可替换分区之中距当前(即，待处理的)分区最远(最新近)的分区由可替换前导分区ID 346指示。也就是说，确保可以对可替换前导分区ID346指示的分区之后的分区(直到当前分区)进行替换。 如果RF 344为0N，则在其它画面中存在可替换分区。例如，如果可替换前导画面ID 343指示画面252，则可以通过在画面252中相同位置处的分区252-3来替换分区253-3。 例如，如果可替换前导画面ID 343指示画面251，则可以通过在画面251中相同位置处的分区251-3或在画面252中相同位置处的分区252-3之一来替换分区353-3。
在正常运动图像中，连续画面中的模式基本上是相同的，并且除了异常点(例如场景改变)之外，其间的差异较小。也就是说，在正常图像中，在时间上更接近于彼此的分区更有可能具有可替换的分区。 于是，在隐藏首标340中，在具有可替换的分区的画面之中距当前(即，待处理的)画面最远(最不近)的画面由可替换前导画面ID 343指示。也就是说，确保可以对可替换前导画面ID 343指示的分区之后的分区(直到当前分区)进行替换。
然而，实际上，如果存储部分632不保存数据，则丢失分析器133不能够替换分区。例如，如果可替换前导画面ID 343指示画面251，并且如果存储部分134保存画面252的数据，则丢失分析器133可以通过分区252-3来替换分区253-3。 如上所述，隐藏首标340指示存在可替换的数据的位置(即范围)。也就是说，生成隐藏首标340的发送设备102指定范围。特别地，分析器121计算此时输入的分区的数据与存储部分122中保存的紧接先前分区的数据的差值。 分析器121计算当前输入的分区的数据与在存储部分122中保存的紧接先前画面中相同位置处的分区的数据的差值。基于这些计算结果，分析器121确定当前输入的分区、相同画面中紧接先前分区以及在紧接先前画面中相同位置处的分区的数据之间的相似性，以确定是否可以进行替换。 根据确定结果，如果无法进行替换，则隐藏首标生成器301适当地更新可替换前导画面ID 343或可替换前导分区ID 346的信息。
处理流程 现参照图16的流程图，将描述在此情况下发送设备101所执行的发送处理的示例性流程。 当将图像数据输入到发送设备101并且发送处理开始时，在步骤S201，分析器121执行分析处理，如图9中步骤S101所示。稍后描述分析处理的细节。在分析处理完成之后，程序进入步骤S202。在步骤S202，如在图9的步骤S102那样，编码器123对当前图像的数据进行编码，并且生成编码数据。 在步骤S203，隐藏首标生成器301执行隐藏首标生成处理。稍后将描述隐藏首标生成处理的细节。当隐藏首标生成处理完成时，程序进入步骤S204。 在步骤S204中，分组器124基于在步骤S201执行的分析处理的结果来确定当前图像与先前图像是否彼此相似，如图9的步骤S103那样。如果当前图像与先前图像彼此不相似，则程序进入步骤S205。 在步骤S205中，分组器124将隐藏首标添加到步骤S203的处理所生成的当前图像的编码数据，并且生成分组。所生成的分组可以经历通过使用例如纠错码(例如里德-所罗门(RS)码)的冗余编码，并且生成冗余数据(即冗余分组)。 在步骤S206，发送器125经由网络110将分组器124所生成的分组发送到接收设备103，如在图9的步骤S105那样。当发送分组时，发送处理结束。 如果在步骤S204确定当前图像与先前图像彼此不相似，则程序进入步骤S207。在
步骤S207，分组器124丢弃(当前图像的)待处理的编码数据。在步骤S208，分组器124仅
对隐藏首标进行分组。当步骤S208的处理完成时，程序返回步骤S206，其中，由发送器125
发送步骤S208的处理所生成的分组。当发送分组时，发送处理结束。 每次输入与一个分区对应的图像数据时，发送设备102就重复上述发送处理。 接下来，将参照图17的流程图描述在图16的步骤S201执行的分析处理的示例性流程。 当分析处理开始时，在步骤S221，分析器121从存储部分122获取先前图像的图像数据。在步骤S222，分析器121执行当前(即，待处理的)分区与从存储部分122读取的先前画面的相同分区(即在紧接先前画面中相同位置处的分区)之间的差计算。
在步骤S223，分析器121确定计算出的差是否不大于预定阈值。如果确定所述差小于阈值，则程序进入步骤S224。在步骤S224，分析器121将"可通过先前画面替换"设置为分析结果。程序进入步骤S226。如果在步骤S223确定所述差大于阈值，则分析器121使得程序进入步骤S225，其中，分析器121将"不可通过先前画面替换"设置为分析结果。程序进入步骤S225。 在步骤S226，分析器121执行当前分区与从存储部分122读取的先前分区(S卩，紧接先前分区)之间的差计算。在步骤S227中，分析器121确定所述差是否小于预定阈值。
如果确定所述差小于阈值，则分析器121使得程序进入步骤S228，其中，分析器121将"可通过先前画面替换"设置为分析结果。如果在步骤S227确定所述差大于阈值，则分析器121使得程序进入步骤S229，其中，分析器121将"不可通过先前画面替换"设置为分析结果。 在步骤S230，分析器121将确定结果通知给分组器124，如在图10的步骤S124那样。在步骤S231，分析器121将当前图像的图像数据提供给存储部分122，如在图10的步骤S125那样。存储部分122存储图像数据，从而图像数据可以用作先前图像。当步骤S231的处理完成时，分析处理结束。程序返回图16的步骤S201，并且执行步骤S202之后的处理。 如上所述，通过执行每一处理，分析器121可以确定帧间图像的相似性，并且向隐藏首标生成器123提供生成隐藏首标340所需的信息。 接下来，将参照图18的流程图描述隐藏首标生成器301中执行的隐藏首标生成处理的示例性流程。 当隐藏首标生成处理开始时，在步骤S251，隐藏首标生成器301确定是否将"可通过先前画面替换"设置为分析结果。 如果确定设置"可通过先前画面替换"，则隐藏首标生成器301使得程序进入步骤S252，其中，隐藏首标生成器301将可替换前导画面ID 343的值设置为与先前时间相同的值。在步骤S253，隐藏首标生成器301将RF 344改变为ON(例如"l")，其为先前画面替换标志。程序然后进入步骤S256。 如果在步骤S251确定设置"不可通过先前画面替换"，则隐藏首标生成器301使得程序进入步骤S254，其中，将可替换前导画面ID 343的值更新为当前画面的标识信息。在步骤S255，隐藏首标生成器301将RF 344的值(其为先前画面替换标志)改变为OFF(例如"0")，并且使得程序进入步骤S256。 在步骤S256，隐藏首标生成器301确定是否将"可通过先前分区替换"设置为分析结果。 如果确定设置"可通过先前分区替换"，则隐藏首标生成器301使得程序进入步骤S257，其中，将可替换前导分区ID 346的值设置为与先前时间相同的值。在步骤S258，隐藏首标生成器301将SF 345的值(其为先前分区替换标志)改变为0N(例如"1")，并且完成隐藏首标生成处理。 如果在步骤S256中确定设置"不可通过先前分区替换"，则隐藏首标生成器301使得程序进入步骤S259，其中，将可替换前导分区ID 346的值更新为当前分区的标识信息。在步骤S260，隐藏首标生成器301将SF 345的值(其为先前分区替换标志)改变为OFF(例如"1")，并且完成隐藏首标生成处理。 通过这些处理，隐藏首标生成器301可以生成这样的隐藏首标340，其被参照以在控制延迟时间增大的同时减小发送错误的影响。当被提供有隐藏首标340时，接收设备103可以按比画面单位更小的分区单位来执行误码隐藏处理。 接下来，将参照图19的流程图描述接收设备103执行的接收处理的示例性流程。
当接收处理开始时，在步骤S301，接收器131经由网络110接收从发送设备102发送的分组。在步骤S302，去分组器132对接收到的分组进行去分组，并且提取编码数据。
在步骤S303，丢失分析器133确定当前(g卩，待处理的)分区的编码数据中是否出现丢失(即误码)。如果确定尚未出现丢失，则程序进入步骤S304。在步骤S304，丢失分析器133将编码数据提供给存储部分134。存储部分134存储编码数据，以用于将来用作先前图像。 当步骤S304的处理完成时，程序进入步骤S312。 如果在步骤S303确定已经出现丢失，则程序进入步骤S305。在步骤S305，丢失分析器133确定是否已经获取隐藏首标340。如果确定尚未获取隐藏首标340，则因为难以执行精确的误码隐藏，所以丢失分析器133不执行误码隐藏。程序然后进入步骤S312。
如果在步骤S305确定已经获取了隐藏首标340，则程序进入步骤S306。在步骤S306，丢失分析器133基于关于隐藏首标340的信息确定通过先前画面的相同分区(即在紧接先前画面中相同位置处的分区)是否可以进行替换。如果RF 344的值是0N(例如"1")，并且如果确定可以进行替换，则程序进入步骤S307。 在步骤S307，丢失分析器133确定从存储部分134读取的先前画面的画面ID的值是否大于可替换前导画面ID 343。也就是说，确定可替换前导画面ID所指示的丢失分析器133的画面是否老于从存储部分134读取的先前画面。 如果确定从存储部分134读取的先前画面比由可替换前导画面ID指示的画面更新近，则程序进入步骤S308。在步骤S308，丢失分析器133通过在从存储部分134读取的 先前画面中相同位置处的分区来替换当前(即，待处理的)分区。当步骤S308的处理完成 时，程序进入步骤S312。 如果在步骤S307确定从存储部分134读取的先前画面的画面ID的值小于可替换 前导画面ID，则由于没有关于可替换的画面的数据被保存在存储部分134中，因此丢失分 析器133不执行误码隐藏。程序然后进入步骤S312。 如果在步骤S306确定无法通过在从存储部分134读取的先前画面中相同位置处 的分区进行替换，则程序进入步骤S309。 在步骤S309，丢失分析器631确定是否可以通过从存储部分134读取的相同画面 的先前分区(即相同画面的紧接先前分区)进行替换。如果SF 345的值是0FF(例如"0")， 并且如果确定无法进行替换，则丢失分析器133不执行误码隐藏。程序然后进入步骤S312。
如果在步骤S309确定SF 345的值是ON(例如"1")，并且可以通过从存储部分 134读取的相同画面的先前分区进行替换，则程序进入步骤S310。在步骤S310，丢失分析器 133确定从存储部分134读取的先前分区的分区ID的值是否大于可替换前导分区ID 346。
如果确定从存储部分134读取的先前分区的分区ID的值大于可替换前导分区ID 346，则由于将可替换分区保存在存储部分134中，因此丢失分析器133不执行误码隐藏。程 序然后进入步骤S312。 也就是说，如果确定从存储部分134读取的先前分区是比由可替换前导分区ID 346指示的分区更不新近的分区，则由于没有可替换分区被保存在存储部分134中，因此丢 失分析器133不执行误码隐藏。程序然后进入步骤S312。 如果确定从存储部分134读取的先前分区的分区ID的值大于可替换前导分区ID
346，则程序进入步骤S311。也就是说，如果确定从存储部分134读取的先前分区是比由可
替换前导分区ID 346指示的分区更新近的分区，则处理进入步骤S311。 在步骤S311，丢失分析器133通过从存储部分134读取的相同画面的先前分区来
替换当前(即，待处理的)分区。在步骤S311的处理完成之后，程序进入步骤S312。 在步骤S312，解码器135对编码数据进行解码。在完成步骤S312的处理时，接收
处理结束。 接收设备301实现上述接收处理。丢失分析器133基于隐藏首标340适当地以比 画面单位更小的分区单位执行误码隐藏处理。也就是说，丢失分析器133可以在控制延迟 时间的增大的同时减小发送错误的影响。 接收设备103还可以确定是否可以进行替换，并且以比画面单位更小的单位进行 替换，而不使用隐藏首标340，以上对此进行了描述。然而，在此情况下，接收设备103的缓 冲量可能增大，由此延迟时间可能变得更长。由于在接收设备103中存在数据丢失的可能 性，因此花费更长时间来精确地进行确定。 于是，如上所述，在具有所有必须数据的发送设备102中，确定是否可以进行替
换，并且使用隐藏首标340将关于确定的信息通知给接收设备103。以此方式，发送设备102
可以在控制延迟时间的增大的同时减小发送误码对接收设备103的影响。 甚至在此情况下，发送设备102丢弃一部分编码数据，发送编码数据，并且使得接
收设备103隐藏误码，由此在控制图像数据发送中的图像质量恶化的同时减小发送所需的
22带宽。 如上所述，发送设备102可以通过不发送几乎不变化的分区的编码数据来节省发 送频带。由于利用了接收设备的补偿功能，并且因此不必在发送侧与接收侧之间实现复杂 的通信，因此可以使得发送设备102简单。也就是说，仅接收设备103应具有补偿功能，这 可以通过发送设备102的简单修改来提供。 当冗余代码例如被插入节省下的带宽中时，可以增大冗余度，而不减小图像质量 的比特率。可以通过将节省下的带宽分配给后续分区来增大每分区的平均速率。
虽然在该说明书中丢弃编码数据，但可以在基带图像数据的状态下丢弃待丢弃的 分区，从而可以省略编码处理。在此情况下，由于省略了编码处理，因此发送设备102的负 荷可以相应地减小。然而，在此情况下，不可以关于相同分区并行地执行分析器121的分析 处理以及编码器123的编码处理。作为结果，可能增大数据发送中的延迟时间。例如，可以 通过从分析处理的待处理的分区延迟编码处理的待处理的分区来并行执行编码处理和分 析处理，从而稍微减小延迟时间。 不仅可以通过硬件而且还可以通过软件来实现上述一系列处理。硬件和软件可以 被配置为图20所示的个人计算机。 在图20中，个人计算机500的中央处理单元(CPU) 501根据只读存储器(ROM) 502 中存储的程序或从存储部分513加载到随机存取存储器(RAM) 503的程序来执行各种处理。 当CPU 501执行各种处理时所需的数据也存储在RAM 503中。 CPU 501、 ROM 502和RAM 503经由总线504相互连接。I/O接口 510也连接到总 线504。 输入部分511、输出部分512、存储部分513和通信部分514连接到1/0接口 510。 输入部分511包括键盘和鼠标。输出部分512包括显示器(例如阴极射线管(CRT)、液晶 显示器(LCD)和有机电致发光显示器)以及扬声器。存储部分513包括硬盘和固态驱动器 (SSD)。通信部分514包括调制解调器、局域网(LAN)接口、通用串行总线(USB)接口、电气 和电子工程师协会(IEEE) 1394接口、蓝牙接口或无线LAN接口。通信部分514经由网络 (例如因特网)建立通信。 驱动器515根据需要而连接到1/0接口 510。可拆卸介质521 (例如磁盘、光盘、磁 光盘和半导体存储器)安装到驱动器515。从可拆卸介质521读取的计算机程序根据需要 而安装在存储部分513中。 如果上述一系列处理运行在软件上，则从网络或记录介质安装形成软件的程序。
记录介质可以包括图20所示的可拆卸介质521，其与装置主体分离地提供。可拆 卸介质521的示例可以包括磁盘(包括软盘)、光盘(包括致密盘-只读存储器(CD-ROM)和 数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))、以及半导体存储器。这些介质具有存储 在其中的程序，并且被提供用于将程序分发给用户。记录介质也可以是程序存储ROM 502， 或存储部分513中包括的硬盘，其被事先合并在装置主体中并且被分发给用户。
注意，在该说明书中，描述程序记录介质上存储的程序的步骤不仅包括以所描述 的顺序按时间顺序执行的处理，而且还包括并行地或者单独地并且不一定按时间顺序执行 的处理。 在该说明书中，系统表示多个设备形成的整个装置。
注意，在前面描述中图示为单个设备(或处理部分)的结构可以划分为多个设备 (或处理部分)。反之，在前面描述中图示为多个设备(或处理部分)的结构可以结合，以 用作单个设备(或处理部分)。可以将附加结构提供给每一设备(或每一处理部分)。只 要系统的整个结构或操作保持不变，就可以将特定设备(或处理部分)的结构部分地包括 在另一设备(或处理部分)中。 本发明包含涉及于2008年12月17日提交到日本专利局的日本优先权专利申请 JP2008-321221的公开主题内容，其完整内容通过引用合并到此。 应理解，本发明实施例的前面描述仅是说明性的，并且可以在不脱离本发明精神 和范围的情况下进行各种修改。
权利要求
一种信息处理器，包括分析器，被配置为分析图像数据，获得待处理的图像数据与基准图像数据之间的相似性，并且根据所述相似性是否达到预定阈值来确定所述图像数据和所述基准图像数据是否彼此相似；编码器，被配置为对所述图像数据进行编码；丢弃部分，被配置为如果作为所述分析器的分析结果，确定所述图像数据与所述基准图像数据相似，则丢弃所述图像数据；以及发送器，被配置为如果作为所述分析器的分析结果，确定所述图像数据与所述基准图像数据不相似，则发送从所述编码器编码的图像数据生成的编码数据。
2. 如权利要求1所述的信息处理器，其中，在待处理的图像数据之前处理所述基准图像数据。
3. 如权利要求2所述的信息处理器，还包括存储单元，被配置为存储处理后的图像数据，其中，所述分析器获取待处理的图像数据之前处理的、并且存储在所述存储单元中的图像数据，并且使用所获取的图像数据作为所述基准数据进行分析。
4. 如权利要求1所述的信息处理器，其中，如果所述丢弃部分丢弃所述图像数据，则所述编码器增大通过编码生成的编码数据的码量。
5. 如权利要求1所述的信息处理器，还包括冗余编码器，被配置为关于通过所述编码器对所述图像数据进行编码而生成的编码数据执行冗余编码，并且生成冗余数据。
6. 如权利要求5所述的信息处理器，其中，如果所述图像数据与所述基准图像数据相似，则所述发送器发送所述冗余编码器生成的所述冗余数据。
7. —种用于处理图像数据的信息处理器的信息处理方法，所述方法包括以下步骤分析器分析图像数据，获得待处理的图像数据与基准图像数据之间的相似性，并且根据所述相似性是否达到预定阈值来确定所述图像数据和所述基准图像数据是否彼此相似；编码器对所述图像数据进行编码；如果作为分析结果，确定所述图像数据与所述基准图像数据相似，则丢弃部分丢弃所述图像数据；以及如果作为分析结果，确定所述图像数据与所述基准图像数据不相似，则发送器发送从所述编码器所编码的图像数据生成的编码数据。
全文摘要
信息处理器及其方法，所述信息处理器包括分析器，被配置为分析图像数据，获得待处理的图像数据与基准图像数据之间的相似性，并且根据所述相似性是否达到预定阈值来确定所述图像数据和所述基准图像数据是否彼此相似；编码器，被配置为对所述图像数据进行编码；丢弃部分，被配置为作为所述分析器的分析结果，如果确定所述图像数据与所述基准图像数据相似，则丢弃所述图像数据；以及发送器，被配置为作为所述分析器的分析结果，如果确定所述图像数据与所述基准图像数据不相似，则发送从所述编码器所编码的图像数据生成的编码数据。
文档编号H04N7/26GK101754018SQ20091025379
公开日2010年6月23日 申请日期2009年12月17日 优先权日2008年12月17日
发明者砂原星 申请人:索尼株式会社