以被包括在另一装置(另外的装置)的配置中。
[0393]在这之前，虽然参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于示例。明显的是，本公开内容属于的技术领域中的普通技术人员可以在权利要求中公开的技术精神的范围内设计各种修改或变化，并且应当理解的是，这些修改或变化包括在本公开内容的技术范围内。
[0394]例如，本公开内容可以具有其中一个功能通过网络由多个装置共享以合作地被处理的云计算的配置。
[0395]另外，除了由一个装置执行以外，上述流程图中所描述的每个步骤可以由多个装置共享以被执行。
[0396]此外，在多个处理被包括在一个步骤中的情况下，除了被一个装置执行以外，包括在一个步骤中的多个处理可以由多个装置共享以被执行。
[0397]根据上述实施方式的图像编码装置和图像解码装置可以被应用于各种电子装置如用于卫星广播、诸如有线电视的有线广播、因特网上的分发或者通过蜂窝通信到终端的分发的发送器或接收器；在介质如光盘、磁盘和闪存中记录图像的记录装置或从上述存储介质再现图像的再现装置。在下文中，将描述四个应用示例。
[0398]<8.应用示例>
[0399][第一应用示例:电视接收器]
[0400]图29示出了应用上述实施方式的电视设备的示意性配置的示例。电视设备900被配置成包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口 909、控制器910、用户接口 911和总线 912。
[0401]调谐器902从通过天线901接收的广播信号提取期望的信道信号并且对所提取的信号进行解调。接下来，调谐器902将通过解调而获得的编码比特流输出至解复用器903。即，调谐器902具有接收编码图像的编码流的、电视设备900中的传输单元的作用。
[0402]解复用器903从编码流中分离当前观看的节目的视频流和音频流，并且将每个分离流输出至解码器904。另外，解复用器903还从编码比特流提取辅助数据如EPG(电子节目指南)并且将所提取的数据提供给控制器910。此外，在编码比特流被扰乱的情况下，解复用器903可以执行解扰。
[0403]解码器904对从解复用器903输入的视频流和音频流进行解码。接下来，解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。另外，解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。
[0404]视频信号处理单元905再现从解码器904输入的视频数据，并且将视频显示在显示单元906上。另外，视频信号处理单元905还可以在显示单元906上显示通过网络提供的应用画面。另外，视频信号处理单元905还可以根据设置对视频数据执行另外的处理如去噪。此外，视频信号处理单元905可以生成GUI (图形用户界面)的图像如菜单、按钮或光标，并且将所生成的图像叠加在输出图像上。
[0405]显示单元906根据从视频信号处理单元905提供的驱动信号被驱动，并且在显示装置(例如，液晶显示器、等离子体显示器或OELD(有机电致发光显示器)(有机EL显示器)等)的视频面上显示视频或图像。
[0406]音频信号处理单元907对从解码器904输入的音频数据执行再现处理如D/A转换、放大等，并且从扬声器908输出音频。另外，音频信号处理单元907还可以对音频数据执行另外的处理如去噪。
[0407]外部接口 909是将电视设备900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口 909接收的视频流或音频流进行解码。也就是说，外部接口 909还具有接收编码图像的编码流的、电视设备900的传输单元的作用。
[0408]控制器910被配置成包括例如CPU的处理器以及例如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据以及通过网络所获取的数据等。存储在存储器中的程序例如在电视设备900启动时由CPU读取以执行。CPU响应于例如从用户接口 911输入的操作信号执行该程序以控制电视设备900的操作。
[0409]用户接口 911连接至控制器910。用户接口 911被配置成包括例如用户用于操作电视设备900的按钮和开关以及远程控制信号的接收单元等。用户接口 911通过这些部件来检测用户操作以生成操作信号并且将所生成的操作信号输出至控制器910。
[0410]经由总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口 909和控制器910相互连接。
[0411]在具有上述配置的电视设备900中，解码器904具有根据上述实施方式的图像解码装置200的功能。因此，在电视设备900中的图像的解码期间，可以实现减小量化误差，从而可以抑制由编码/解码导致的图像质量的退化。
[0412][第二应用示例:移动电话]
[0413]图30示出了应用上述实施方式的移动电话的示意性配置的示例。移动电话920被配置成包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933。
[0414]天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制器931。经由总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制器931相互连接。
[0415]移动电话920执行各种操作，诸如例如语音呼叫模式、数据通信模式、成像模式和电视电话模式的各种模式下的发送和接收音频信号、发送和接收电子邮件和图像数据、成像和记录数据。
[0416]在语音呼叫模式下，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据并且对转换后的音频数据执行A/D转换以压缩音频数据。接下来，音频编解码器923将压缩后的音频数据输出至通信单元
922。通信单元922对音频数据进行编码和调制以生成传输信号。接下来，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922对通过天线921接收的无线电信号进行放大和执行频率转换以获取接收信号。接下来，通信单元922对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器
923。音频编解码器923将音频数据扩展和对其执行D/A转换以生成模拟音频信号。接下来，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。
[0417]另外，在数据通信模式下，例如，控制器931响应于通过操作单元932的用户操作来生成构成电子邮件的文本数据。另外，控制器931还将文本显示在显示单元930上。另外，控制器931响应于通过操作单元932来自用户的传输指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。接下来，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922还对通过天线921接收的无线电信号进行放大和执行频率转换以获取接收信号。接下来，通信单元922对接收信号进行解调和解码以恢复电子邮件数据并且将已恢复的电子邮件数据输出至控制器931。控制器931将电子邮件的内容显示在显示单元930上，并且将电子邮件数据存储在记录/再现单元929的存储介质中。
[0418]记录/再现单元929被配置成包括任意可读/可写的存储介质。例如，存储介质可以是内置存储介质如RAM或闪存，或者可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡。
[0419]另外，在成像模式下，例如，摄像装置单元926通过对对象进行成像来生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码流存储在记录/再现单元929的存储介质中。
[0420]另外，在电视电话模式下，例如，复用/分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信单元922。通信单元922对该流进行编码和调制以生成传输信号。接下来，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922对通过天线921接收的无线电信号进行放大和执行频率转换以获取接收信号。这些传输信号和接收信号可以包括编码比特流。接下来，通信单元922对接收信号进行解调和解码以对流进行恢复，并且将已恢复的流输出至复用/分离单元928。复用/分离单元928从输入流分离视频流和音频流，并且将视频流输出至图像处理单元927和将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，使得显示单元930显示一系列图像。音频编解码器923对音频流进行扩展和执行D/A转换以生成模拟音频信号。接下来，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。
[0421]在具有上述配置的移动电话920中，图像处理单元927具有根据上述实施方式的图像编码装置100和图像解码装置200的功能。因此，在移动电话920中的图像的编码和解码期间，可以实现减小量化误差，以及可以抑制由编码/解码导致的图像质量的退化。
[0422][第三应用示例:记录/再现装置]
[0423]图31示出了应用上述实施方式的记录/再现装置的示意性配置的示例。记录/再现装置940对例如接收的广播节目的音频数据和视频数据进行编码并且将音频数据和视频数据记录在记录介质中。另外，记录/再现装置940对例如从其他装置获得的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质中。另外，记录/再现装置940例如响应于用户指令在监视器和扬声器上再现存储在记录介质中的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。
[0424]记录/再现装置940被配置成包括调谐器941、外部接口 942、编码器943、HDD (硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、0SD (屏幕上显示)948、控制器949和用户接口 950。
[0425]调谐器941从通过天线(未示出)接收的广播信号提取期望的信道信号，并且对所提取的信号进行解调。接下来，调谐器941将通过解调所获得的编码比特流输出至选择器946。S卩，调谐器941在记录/再现装置940中具有传输单元的作用。
[0426]外部接口 942是将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口单元、USB接口或闪存接口等。例如，通过外部接口 942接收的视频数据和音频数据被输入至编码器943。S卩，外部接口 942在记录/再现装置940中具有传输单元的作用。
[0427]在从外部接口 942输入的视频数据和音频数据处于未编码状态的情况下时，编码器943对视频数据和音频数据进行编码。接下来，编码器943将编码比特流输出至选择器946。
[0428]HDD 944将其中内容数据如视频图像和音频被压缩的编码比特流、各种程序和其他数据记录在内部硬盘中。另外，在再现视频和音频期间，HDD 944从硬盘读取数据。
[0429]盘驱动器945执行将数据记录在安装的记录介质中以及执行从安装的记录介质读取数据。安装在盘驱动器945上的记录介质可以是例如DVD光盘(如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW等)或蓝光(注册商标)光盘等。
[0430]在记录视频和音频期间，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出至HDD 944或盘驱动器945。另外，在再现视频和音频期间，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947。[0431 ] 解码器947对编码比特流进行解码以生成视频数据和音频数据。此外，解码器947将所生成的视频数据输出至OSD 948。此外，解码器904将所生成的音频数据输出至外部扬声器。
[0432]OSD 948再现从解码器947输入的视频数据并且显示视频。另外，OSD 948可以将GUI图像如菜单、按钮或光标叠加在显示的视频上。
[0433]控制器949被配置成包括例如CPU的处理器以及例如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。例如，在记录/再现装置940启动时，存储在存储器中的程序由CPU读取以被执行。CPU响应于例如从用户接口 950输入的操作信号执行该程序来控制记录/再现装置940的操作。
[0434]用户接口 950连接至控制器949。用户接口 950被配置成包括例如用户用于操作记录/再现装置940的按钮和开关以及远程控制信号的接收单元等。用户接口 950通过这些部件来检测用户操作以生成操作信号并且将所生成的操作信号输出至控制器949。
[0435]在具有上述配置的记录/再现装置940中，编码器943具有根据上述实施方式的图像编码装置100的功能。另外，解码器947具有根据上述实施方式的图像解码装置200的功能。因此，在记录/再现装置940中的图像的编码和解码期间，可以实现减小量化误差，以及可以抑制由编码/解码导致的图像质量的退化。
[0436][第四应用示例:成像装置]
[0437]图32示出了应用上述实施方式的成像装置的示意性配置的示例。成像装置960通过对对象进行成像来生成图像，以及对图像数据进行编码并且将编码数据记录在记录介质中。
[0438]成像装置960被配置成包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口 966、存储器967、介质驱动器968、OSD 969、控制器970、用户接口 971和总线972。
[0439]光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口 971连接至控制器970。经由总线972将图像处理单元964、外部接口 966、存储器967、介质驱动器968、0SD 969和控制器970相互连接。
[0440]光学块961被配置成包括聚焦透镜、光圈机制等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962被配置成包括图像传感器如CCD (电荷藕合器件)或CMOS (互补金属氧化物半导体)，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。接下来，成像单元962将图像信号输出至信号处理单元 963。
[0441]信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理如拐点校正、伽马校正和色彩校正。信号处理单元963将摄像装置信号处理之后的图像数据输出至图像处理单元964。
[0442]图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且生成编码数据。接下来，图像处理单元964将所生成的编码数据输出至外部接口 966或介质驱动器968。另外，图像处理单元964对从外部接口 966或介质驱动器968输入的编码数据进行解码以生成图像数据。接下来，图像处理单元964将所生成的图像数据输出至显示单元965。另外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。另外，图像处理单元964可以将从OSD 969获取的用于显示的数据叠加在输出至显示单元965的图像上。
[0443]OSD 969生成⑶I图像如菜单、按钮或光标，并且将所生成的图像输出至图像处理单元964。
[0444]外部接口 966被配置为例如USB输入/输出终端。例如，当打印图像期间，外部接口 966将成像装置960与打印机连接。另外，如果需要，将驱动器连接至外部接口 966。将可移除介质如磁盘或光盘安装在驱动器中，并且从可移除介质读取的程序可以被安装在成像装置960中。此外，外部接口 966可以被配置为连接至网络如LAN或因特网的网络接口。即，外部接口 966在成像装置960中具有传输单元的作用。
[0445]安装在介质驱动器968上的记录介质可以是任意可读/可写的可移除介质如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以被固定安装在介质驱动器968上，并且可以被配置为非便携式存储单元如内置硬盘驱动器或SSD(固态驱动器)。
[0446]控制器970被配置成包括例如CPU的处理器以及例如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。在例如成像装置960启动时，存储在存储器中的程序由CPU读取以被执行。CPU响应于例如从用户接口 971输入的操作信号执行该程序以控制成像装置960的操作。
[0447]用户接口 971连接至控制器970。用户接口 971被配置成包括例如用户用于操作成像装置960的按钮和开关。用户接口 971通过这些部件检测用户操作以生成操作信号，并且将所生成的操作信号输出至控制器970。
[0448]在具有上述配置的成像装置960中，图像处理单元964具有根据上述实施方式的图像编码装置100和图像解码装置200的功能。因此，在成像装置960中的图像的编码和解码期间，可以实现减小量化误差，以及可以抑制由编码/解码导致的图像质量的退化。
[0449]<9.可伸缩编码的应用示例>
[0450][第一系统]
[0451]接下来，描述可伸缩编码(分层编码)的可伸缩编码数据的使用的具体示例。可伸缩编码用于选择传输数据，例如类似于图33中示出的示例。
[0452]在图33中示出的数据传输系统1000中，递送服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，并且通过网络1003将该可伸缩编码数据递送至个人计算机1004、AV装置1005、平板装置1006和移动电话1007。
[0453]在这种情况下，递送服务器1002根据终端装置的性能、通信环境等选择性地发送具有适当质量的编码数据。尽管递送服务器1002不必要地发送高质量数据，但是也存在如下风险:具有高图像质量的图像不一定在终端装置中被获得，并且这变成出现延迟或上溢的原因。另外，存在如下风险:通信带不必要地被占据或终端装置的负载不必要地增大。相反，即使递送服务器1002不必要地发送低质量数据，但是也存在如下风险:在终端装置中可能未获得充分的图像质量的图像。因此，递送服务器1002适当地读取和发送存储在可伸缩编码数据存储单元101中的可伸缩编码数据作为具有适合于终端装置的性能、通信环境等的质量的编码数据。
[0454]例如，可伸缩编码数据存储单元1001存储可伸缩编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL) 1011为包括基本层和增强层两者的编码数据的编码数据，并且通过对该数据进行解码，可以获得基本层的图像和增强层的图像两者。
[0455]递送服务器1002根据发送数据的终端装置的性能、通信环境等来选择适当的层，并且读取该层的数据。例如，对于具有高处理能力的个人计算机1004或平板装置1006，递送服务器1002从可伸缩编码数据存储单元1001读取具有高质量的可伸缩编码数据(BL+EL) 1011，并且不变化地发送该可伸缩编码数据。相反，例如，对于具有低处理能力的AV装置1005或移动电话1007，递送服务器1002从可伸缩编码数据(BL+EL) 1011提取基本层的数据，并且发送具有与可伸缩编码数据(BL+EL)1011相同的内容但具有比可伸缩编码数据(BL+EL) 1011较低的质量的可伸缩编码数据(BL) 1012。
[0456]由于通过以这种方式使用可伸缩编码数据可以容易地调整数据量，所以可以抑制出现延时或上溢，从而可以抑制不必要地增大终端装置或通信介质的负载。另外，由于可伸缩编码数据(BL+EL)1011中的层之间的冗余降低，所以与将每个层的编码数据处理为单独数据的情况相比，可以减小数据量。因此，可以更有效地使用可伸缩编码数据存储单元1001的存储区域。
[0457]此外，由于各种装置如个人计算机1004和移动电话1007被应用为终端装置，所以终端装置的硬件的性能在这些装置之间不同。另外，由于由终端装置执行的应用程序也是多种多样的，所以软件的性能也是多种多样的。此外，所有类型的通信网络包括有线或无线网络如因特网或LAN(局域网)或有线网络和无线网络两者可以被应用于为通信介质的网络1003，从而数据传输能力也是多种多样的。此外，存在风险在于:可以通过其他通信等来改变数据传输能力。
[0458]因此，在递送服务器开始数据传输之前，递送服务器1002可以与为数据传输目的地的终端装置通信以获得关于该终端装置的能力的信息如终端装置的硬件性能、由终端装置执行的应用程序(软件)的性能等以及关于通信环境的信息如网络1003的可用带宽。另夕卜，递送服务器1002可以基于所获得的信息来选择适当的层。
[0459]此外，可以在终端装置中执行层的提取。例如，个人计算机1004可以对所发送的可伸缩编码数据(BL+EL) 1011进行解码以显示基本层的图像或者显示增强层的图像。另夕卜，例如，个人计算机1004可以从所发送的可伸缩编码数据(BL+EL)1011提取基本层的可伸缩编码数据(BL) 1012以存储、发送至其他装置，或者解码以显示基本层的图像。
[0460]当然，可伸缩编码数据存储单元1001的数量、递送服务器1002的数量、网络1003的数量以及终端装置的数量是任意的。另外，在这之前，描述了递送服务器1002将数据发送至终端装置的示例，但是使用示例不限于此。数据传输系统1000可以被应用于根据在将可伸缩编码的编码数据发送至终端装置时终端装置的性能、通信环境等选择适当的层并且发送该编码数据的任意系统。
[0461][第二系统]
[0462]另外，可伸缩编码用于通过多个通信介质来传输，例如类似于图34中示出的示例。
[0463]在图34中示出的数据传输系统1100中，广播站1101通过地面广播1111来发送基本层的可伸缩编码数据(BL) 1121。另外，广播站1101通过为包括有线网络或无线网络或有线网络和无线网络两者的通信网络的任意网络1112来发送(例如，分包和发送)增强层的可伸缩编码数据(EL) 1122。