运动图像编码方法、运动图像编码装置、程序以及集成电路的制作方法

专利名称：运动图像编码方法、运动图像编码装置、程序以及集成电路的制作方法
技术领域：
本发明涉及图像编码方法以及图像编码装置，尤其涉及以MPEG(M0ving Picture Experts Group 运动图像专家组)-4AVC方式，即以ITU(国际电信联盟)-T H. 264方式，按 照作为目标的位速率对分辨率与帧率进行恰当地切换的图像编码方法以及图像编码装置。
背景技术：
近些年，迎来了声音、图像以及其他的综合处理了像素值的多媒体时代，将例如报 纸、杂志、电视、收音机以及电话等以往的信息媒体中的信息传达到人的方法，被作为多媒 体的对象而被提出。一般而言，多媒体不仅是指文字，而且还以图形或声音来表现，尤其能 够以与图像等同时相关联的状态来表现。在将上述以往的信息媒体作为多媒体的对象时， 必要条件是需要将该信息转换为数字形式来表现。然而，在将上述各个信息媒体所具有的信息量以数字信息量来计算时，文字的情 况下，1个文字所具有的信息量是1-2字节。而在声音的情况下，1秒需要64Kbits (电话 通话质量)，进一步在运动图像的情况下，1秒则需要IOOMbits (目前的电视接收质量) 以上的信息量。因此，在上述的信息媒体以数字形式直接处理这些庞大的信息是不现实 的。例如，电视电话是以具有64Kbit/s-1.5Mbit/s传输速度的综合服务数字网(ISDN: IntegratedServices Digital Network)而被实用化的。但是，电视以及摄像机的影像是不 能以原本的数字信息量由ISDN来传输的。因此，需要信息的压缩技术。例如，在电视电话的情况下所采用的运动图像压缩技 术是ITU-T(国际电信联盟电信标准化联盟)推荐的H. 261或H. 263标准。并且，在MPEG-I 标准的信息压缩技术中，图像信息能够与声音信息一起被记录到通常的用于音乐的CD(致 密光碟)中。在此，MPEG(Moving Picture Experts Group 运动图像专家组)是指，由 ISO/ IEC(国际标准化组织国际电工委员会)标准化的运动图像信号压缩的国际标准。MPEG-I 是将运动图像信号压缩到1. 5Mbit/s,即压缩到电视信号信息的1/100的标准。并且， 在MPEG-I标准中，成为对象的质量是中等程度的质量，也就是说根据传输速度主要以 1. 5Mbit/s来实现的质量，进一步使要满足高画质的要求的MPEG-2标准化。在MPEG-2中以 2-15Mbit/s的速度来实现电视播放质量。并且，现状是通过MPEG-I、MPEG-2以及进行了标准化的工作组(IS0/IEC JTCl/ S(^9/WG11)，达成了超过MPEG-I以及MPEG-2的压缩率，而且，能够以物体为单位进行编 码、解码以及操作，实现多媒体时代所需要的新的功能的MPEG-4被标准化。MPEG-4达成了 MPEG-I以及MPEG-2以上的压缩率，而且能够以物体为单位进行编码、解码以及操作。在MPEG-4中，最初是以低位速率的编码方法的标准化为目标而被推广的，逐渐地 扩展为也包括具有交错图像的高位速率的编码方法的通用编码。而且，目前通过IS0/IEC 和ITU-T的共同协作，作为更高压缩率的图像编码方式，MPEG-4AVC(ITU-T H. 264)被标准 化。
图像信号可以考虑为是由连续的图片(也称为帧或场)构成的，该图片是指在同 一个时刻的像素的集合。并且，像素根据在图片内与近旁的像素之间的相关性强这一特性， 而被进行利用了图片内的像素相关性的压缩。而且，在连续的图片之间也根据像素的相关 性强这一特性，而被进行利用了图片间的像素相关性的压缩。在此，将利用了图片间的像素的相关性和图片内的像素的相关性的压缩称为帧间 编码。并且，将不利用图片间的像素的相关性，而仅利用图片内的像素的相关性的压缩称为 帧内编码。帧间编码由于利用了图片间的相关性，因此能够实现比帧内编码更高的压缩率。并且，在MPEG-1，MPEG-2，MPEG-4，MPEG_4AVC(H. 264)中，构成作为像素的集合的 二维的矩形区域的块(或作为将多个块集合在一起的上位概念的块的宏块)，并且能够以 块为单位对帧内编码与帧间编码进行切换。另外，近些年利用了 ADSL或光导纤维的高速网络环境逐渐得到普及。据此，即使 在一般的家庭也能够以超过数Mbit/s的位速率来进行收发。而且，在今后的几年内有可能 以数十Mbit/s的位速率来进行收发。这样，通过利用上述的图像编码技术，可以预想到不仅是利用专用线路的企业，即 使是一般的家庭也能够推广TV播放质量以及HDTV播放质量的TV电话(电视电话)以及 TV会议系统(电视会议系统)的导入。并且，利用了 ADSL或光导纤维的高速网络也将不会是面向企业的高价的频带保 证型专用网络，而是多个用户能够共同使用的廉价的尽力服务(Best Effort)型的网络。 在尽力服务型的网络中，事先决定了各个用户在利用的时间中所使用的位速率的和的上限 值。因此，在利用的用户数量多的时间内每一个用户所能够使用的位速率降低，在利用的用 户数量少的时间内每一个用户所能够使用的位速率增高。也就是说具有因时间的不同而能 够利用的位速率发生较大的变化的特点。并且，在运动图像中具有像单一色彩这种非常容易压缩的图像(画面全体为同一 色彩、同一亮度的图像)。另一方面，也具有如白噪声这种像素之间没有任何相关性的压缩 非常困难的图像。这样，即使是针对这种压缩的难易度相差较大的运动图像，没有较大的画 质降低并且能够稳定地进行图像编码则变得非常重要。在以往的图像编码装置中，在对压缩比较困难的运动图像进行编码的情况下，需 要预先将图像的分辨率转换为较低的分辨率，并使将要被编码的像素数减少后再进行编码 (专利文献1)。图M是以往的运动图像编码装置的说明图。图M的左侧列是将要进行编码的编 码对象图像的图像大小(分辨率)，示出了实际被编码的分辨率。另一方面，图M的右侧列 示出了在对对应的编码对象图像进行解码后，将图像大小扩大并以显示装置进行显示时的 显示图像大小。在此，在编码对象图像中存在比较容易压缩的图像和压缩比较困难的图像。在容 易压缩的运动图像的情况下(图M的上部)，不变更编码对象图像的分辨率而进行编码，并 且对在图像解码装置解码后得到的显示图像以原有的分辨率来进行显示。另一方面，在压缩比较困难的运动图像的情况下，针对编码对象图像的像素数 (分辨率)，纵横分别缩小到3/4倍(图M的中部)或1/2倍(图M的下部)，对像素数较 少(分辨率低)的编码对象图像进行编码。并且，针对图像解码装置解码后的显示图像的分辨率，纵横分别扩大到4/3倍或2倍，从而以与原有的运动图像相同的像素数(分辨率) 来显示。由于以较少的像素数(分辨率)来进行编码，即使是对压缩比较困难的图像进行 编码，也能够防止画质的大幅度降低。然而，在进行显示时，即使将较小的像素数的图像扩 大为较大的像素数的图像，也不能以作为被编码的像素数的较少像素数所能够表现的精确 度(精细度)以上的精确度来表现，因此，与等倍编码的图像相比图像变得较模糊。并且，针对压缩困难的图像，不仅有变更分辨率的方法，而且还有控制作为编码对 象图像的单位时间内的帧数的运动图像的帧率，以及控制在以块为单位进行编码时的量化 步长的方法。图25是示出在具有分辨率、帧率、以及量化步长的动态变更的状态下的以往的图 像编码装置的方框图。如图25所示，以往的图像编码装置主要包括分辨率变更电路501、 帧率变更电路502、运动图像编码电路503、量化步长控制电路506、帧率控制电路507、以及 分辨率设定电路508。正如专利文献1所示，分辨率设定电路508按照图像的压缩的难易度来决定将要 编码的分辨率，并将将要编码的图像的分辨率作为分辨率信号S64通知给分辨率变更电路
501。分辨率变更电路501将以规定的分辨率从运动图像输入端子500输入的运动图像信 号S60，变换为由分辨率设定电路508通知来的分辨率。帧率控制电路507将编码图像的帧率作为帧率信号S67，通知给帧率变更电路
502。帧率变更电路502将分辨率被变更后的运动图像信号S61的帧率，变更为从帧率控制 电路507通知来的帧率。量化步长控制电路506将在运动图像编码电路503量化的量化步长作为量化步长 信号S66，通知给运动图像编码电路503。运动图像编码电路503以从量化步长控制电路 506通知来的量化步长，对帧率被变更后的运动图像信号S62量化后并进行编码，并且将位 流S63输出到位流输出端子504。在量化步长控制电路506，根据作为目标的编码位速率、由运动图像编码电路503 输出的位速率S63的编码量、以及帧率信号S64的值，来决定量化步长。并且，帧率控制电 路507按照在量化步长控制电路506决定的量化步长信号S66的值，来决定帧率。在这样的构成中，分辨率是由分辨率设定电路508按照图像的压缩难易度而被决 定的。并且，分辨率变更后的图像的压缩难易度的程度发生了变化的情况下，帧率和量化步 长被动态控制，以便成为目标的位速率来工作。现有技术文献专利文献1日本特开2001-160969号公报然而，在上述以往的构成中，在输入图像的压缩的难易度的程度发生较大的变化 的情况下，尤其存在低位速率情况下的画质大幅度降低的问题。在压缩比较容易的情况下以及利用帧间编码对静止图像进行编码的情况下，由于 能够以非常低的位速率来进行编码，因此向分辨率变更电路501发出通知，以便在分辨率 设定电路508设定最大的分辨率。另一方面，在低位速率的情况下，仅因为成为压缩稍有困 难的图像(人物或物体的运动)，就会发生由量化步长的增大而造成的模糊或块失真。并 且，即使使帧间的间隔剔除增大并降低帧率，由于剩余的帧间的相关性变小，帧间的间隔剔除所产生的压缩效果变小。其结果是，造成严重的跳帧现象，若不降低分辨率则看到的影像 会很不舒适。若以小的压缩的难易度变化(运动很少的变化)频繁地切换分辨率，则能够防止 块失真或因慧差造成的画质降低。但是，若以小的压缩的难易度的变化，频繁地切换分辨 率，则因频繁地分辨率的切换而导致的频繁地模糊程度的变化，会使画质降低变得显著。在尽力服务型的互联网中，在出现混杂时，能够传输的位速率会因时间的不同而 出现大的变动(也会有成为几分之一的位速率的情况)。最近，不断地以图像编码装置来进 行TV会议或TV电话，PC(个人电脑)的操作也增多了。在经由处于连接状态的相同的网络从PC下载文件或阅览、编辑服务器中的文件 时，能够在图像编码装置使用的位速率会急剧变少。在中断这种PC操作之时，引起位速率 增大等急剧地变化的状况会增多。这样，在能够传输的位速率发生变动的状况下，除依存于图像的内容的压缩困难 以外，位速率也会被联动，分辨率被频繁地切换，从而导致非常严重的画质降低。

发明内容
本发明为了解决上述以往的问题，目的在于提供一种运动图像编码方法，即使在 输入运动图像的压缩的难易度的程度发生大的变化，或成为目标的编码位速率发生大的变 化，也能够以没有不协调感的画质来对图像进行编码。本发明的一个实施例所涉及的运动图像编码方法对输入图像进行编码从而生成 编码位流，并将该编码位流发送到传输路径上。具体而言，包括图像变换步骤，按照所述输 入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对 象图像；运动图像编码步骤，对在所述图像变换步骤被输出的所述编码对象图像进行编码， 从而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定步骤，决定编 码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨 率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象 图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码对象图像的分 辨率不超过所述上限值。根据上述构成，即使输入图像的编码的难易度发生急剧地变化，分辨率也不会发 生大的变更。尤其能够防止在分辨率大的状态下以低位速率对压缩困难的图像所进行的编 码。这样，能够有效地防止在主观上的画质劣化。并且，也可以是，在所述分辨率范围选择步骤，按照在所述位速率决定步骤决定的 所述编码位速率，决定所述编码对象图像的分辨率的下限值，并控制在所述图像变换步骤 的变更，以使所述编码对象图像的分辨率不低于所述下限值。并且，也可以是，在所述分辨率变换步骤，从所述编码对象图像的分辨率被变更后 直到至少满足以下两个条件之中的一方为止，不变更所述编码对象图像的分辨率，所述两 个条件是指，直到经过规定的时间为止以及直到规定数量的所述输入图像被处理为止。由 于分辨率变更刚被变更后的编码对象图像是利用画面内预测而被编码的，因此编码效率会 出现一时性的降低。因此，直到使编码效率安定而所需要的规定的时间经过为止，以及/或 者直到规定数量的输入图像(帧)被处理为止，最好不再次变更编码对象图像的分辨率。
并且，也可以是，所述编码位速率是根据所述传输路径所能够传输的位速率而被 决定的，所述传输路径所能够传输的位速率是通过计测在发送设备与接收设备之间实际能 够收发的编码位流量而得到的。另外，实际上能够收发的编码量可以通过通知从接收设备 向发送设备接收的数据数量或没能接收的数据数量来获得。编码位速率的决定方法不仅限 于此，例如也可以是用户指定的固定值。并且，也可以是，该运动图像编码方法包括量化步长算出步骤，算出能够使所述 编码位流成为能够以在所述位速率决定步骤决定的所述编码位速率来传输的编码量的量 化步长，并以算出的所述量化步长，使所述运动图像编码步骤进行所述编码对象图像的量 化；以及平均值算出步骤，算出量化步长平均值，该量化步长平均值是在规定时间内在所述 量化步长算出步骤被算出的所述量化步长的平均值。同样，所述图像变换步骤包括画质决 定步骤，根据在所述平均值算出步骤算出的所述量化步长平均值，判断所述输入图像的编 码的难易度，从而决定所述编码对象图像的分辨率以及帧率；分辨率变更步骤，将所述输入 图像的分辨率变更为在所述画质决定步骤决定的分辨率；以及帧率变更步骤，将所述输入 图像的帧率变更为在所述画质决定步骤决定的帧率。并且，“在规定的时间内被算出的量化步长的平均值”例如可以是从编码对象图像 的最初的帧率到目前为止的平均值。而且，在变更了分辨率之后的规定期间中，由于量化步 长的值不稳定，因此也可以从平均值的算出处理中除外。具体而言，也可以是，在所述画质决定步骤，预先保持第一分辨率以及第二分辨率 的至少一方，所述第一分辨率是比刚刚决定的分辨率小的分辨率，所述第二分辨率是比刚 刚决定的分辨率大的分辨率。并且，也可以是，在所述平均值算出步骤算出的所述量化步长 平均值比预先决定的第一阈值大，且保持的所述第一分辨率在所述下限值以上的情况下， 使所述分辨率变更步骤将所述输入图像的分辨率变更为所述第一分辨率；在所述平均值算 出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持的所述第二分辨率在 所述上限值以下的情况下，使所述分辨率变更步骤将所述输入图像的分辨率变更为所述第 二分辨率。并且，也可以是，所述画质决定步骤，预先保持第一帧率以及第二帧率的至少一 方，所述第一帧率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的 帧率。并且，也可以是，在所述分辨率变更步骤所述输入图像的分辨率被变更为所述第一分 辨率的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第二帧率；在所述 分辨率变更步骤所述输入图像的分辨率被变更为所述第二分辨率的情况下，使所述帧率变 更步骤将所述输入图像的帧率变更为所述第一帧率。比起帧率而言，分辨率对编码效率以及画质的影响较大。因此，通过与将分辨率变 小相对应地将帧率变大，与将分辨率变大相对应地将帧率变小，从而能够抑制编码效率以 及画质的急剧变动。并且，也可以是，所述画质决定步骤，预先保持第一帧率以及第二帧率的至少一 方，所述第一帧率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的 帧率。并且，也可以是，在所述平均值算出步骤算出的所述量化步骤平均值比预先决定的第 一阈值大，且保持的所述第一分辨率低于所述下限值的情况下，使所述帧率变更步骤将所 述输入图像的帧率变更为所述第一帧率；在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持的所述第二分辨率超过所述上限值的情况下，使所述 帧率变更步骤将所述输入图像的帧率变更为所述第二帧率。通过以上构成，在表示输入图像的难易度的“量化步长的平均值”发生变化之时， 能够在上限值以及下限值的范围内变更分辨率，并且在分辨率不能被变更到此范围以上的 情况下，能够通过变更帧率来进行调整。并且，用于在图像变换步骤判断“输入图像的编码难易度”的参数不仅限于量化步 长，只要是在导出量化步长时所需要的数值，也可以使用其他的数值。例如，也可以使用量 化参数。或者，量化步长为按照每个频率成分而不同的多个数值的组合。并且，在量化步长 算出步骤保持有被改变了倍率的多个上述的组合(例如32组)。因此，可以将相当于该倍 率的数值作为用于判断“输入图像的编码的难易度”来使用。本发明的一个实施例所涉及的运动图像编码装置，对输入图像进行编码从而生成 编码位流，并将该编码位流发送到传输路径上。具体而言，包括图像变换部，按照所述输 入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对 象图像；运动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而 生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定部，决定编码位速 率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围 选择部，按照在所述位速率决定部决定的所述编码位速率，决定所述编码对象图像的分辨 率的上限值，并控制所述图像变换部，以使所述编码对象图像的分辨率不超过所述上限值。本发明的一个实施例所涉及的程序使计算机对输入图像被编码从而生成编码位 流，并使该编码位流被发送到传输路径上。具体而言，使计算机执行以下步骤图像变换步 骤，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方， 并输出编码对象图像；运动图像编码步骤，对在所述图像变换步骤被输出的所述编码对象 图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决 定步骤，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位 速率；以及分辨率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定 所述编码对象图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码 对象图像的分辨率不超过所述上限值。本发明的一个实施例所涉及的集成电路，对输入图像进行编码从而生成编码位 流，并将该编码位流发送到传输路径上。具体而言，包括图像变换部，按照所述输入图像的 编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；运 动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而生成所述 编码位流，并将该编码位流发送到所述传输路径上；位速率决定部，决定编码位速率，该编 码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围选择部， 按照在所述位速率决定部决定的所述编码位速率，决定所述编码对象图像的分辨率的上限 值，并控制所述图像变换部，以使所述编码对象图像的分辨率不超过所述上限值。并且，本发明不仅可以作为运动图像编码方法或运动图像编码装置来实现，也可 以作为实现这些功能的集成电路来实现，还可以作为使计算机执行这些功能的程序来实 现。并且，这些程序是可以通过⑶-ROM等记录介质以及互联网等传输介质来流通。通过本发明的运动图像编码方法以及运动图像编码装置，即使输入运动图像的压缩的难易度发生大的变化，或成为目标的编码位速率发生大的变化，也能够防止以低位速 率且高分辨率对容易压缩的图像进行编码的情况。这样，能够在不发生因以低位速率频繁 地对分辨率进行切换而产生的模糊等不协调感的情况下，对运动图像进行编码，从而能够 防止主观上的画质降低。


图IA是实施例1所涉及的运动图像编码装置的方框图。图IB是示出实施例1所涉及的运动图像编码装置的最小构成的方框图。图IC是示出图IB的运动图像编码装置的工作的流程图。图2是图1的分辨率变更电路的详细方框图。图3示出了分辨率变更处理前的图像(a)与分辨率变更处理后的图像(b)-(d)的 关系。图4是图1的帧率变更电路的详细方框图。图5是帧率变更处理的时序图。图6是图1的运动图像编码电路的详细方框图。图7是示出图1的量化步长控制电路的工作的流程图。图8是示出图1的量化步长平均电路的工作的流程图。图9示出了图1的分辨率范围选择电路所保持的位速率与分辨率范围之间的关 系。图10是示出图1的分辨率和帧率选择电路的工作的流程图。图11示出了在分辨率和帧率选择电路行进状态迁移的一个例子。图12示出了状态迁移的具体例子。图13示出了图12的各个状态中的分辨率、帧率、迁移条件以及迁移目的地状态 ID。图14示出了状态迁移的其他的具体例子。图15A示出了作为记录介质本身的磁盘的物理格式的例子。图15B示出了保持磁盘的外壳的正面图、截面图以及磁盘。图15C示出了用于在软盘上进行上述程序的记录再生的构成。图16是示出实现内容分发服务的内容提供系统的全体构成的一个例子的模式 图。图17示出了便携式电话的外观。图18是示出便携式电话的构成例子的方框图。图19是示出数字广播用系统的全体构成的一个例子的模式图。图20是示出电视机的构成例子的方框图。图21示出了向如光盘这种记录介质中进行信息的读写的信息再生记录部的构成 例子的方框图。图22示出了如光盘这种记录介质的构成例子。图23是示出实现各个实施例所涉及的图像编码方法以及图像解码方法的集成电 路的构成例子的方框图。
图M示出了以往的编码对象图像与显示图像之间的关系。图25是以往的运动图像编码装置的方框图。
具体实施例方式以下利用实施例1-4对本发明的具体内容进行说明。(实施例1)图IA是示出本发明的实施例1所涉及的运动图像编码装置10的构成的方框图。运动图像编码装置10包括分辨率变更电路(分辨率变更部)101、帧率变更电路 (帧率变更部)102、运动图像编码电路(运动图像编码部)103、位速率决定电路(位速率 决定部)105、量化步长控制电路(量化步长算出部)106、量化步长平均电路(平均值算出 部)107、分辨率范围选择电路(分辨率范围选择部)108、以及分辨率和帧率选择电路(画 质决定部)109。并且，该运动图像编码装置10从运动图像输入端子100获得运动图像信号 S10，将生成的位流S13从位流输出端子104送出到传输路径。分辨率变更电路101将从运动图像输入端子100获得的运动图像信号SlO的分辨 率，变更为以分辨率选择信号S18通知的分辨率。帧率变更电路102将分辨率被变更后的 运动图像信号Sll的帧率，变更为由帧率选择信号S19通知的帧率。另外，以上述的分辨率变更电路101和帧率变更电路102以及后述的分辨率和帧 率选择电路109构成图像变换部110，该图像变换部110将输入图像(相当于“运动图像信 号S10)变换为编码对象图像(相当于“运动图像信号S12”)。该图像变换部110按照输入 图像的编码的难易度，来变更输入图像的分辨率以及帧率的至少一方，并输出编码对象图 像。运动图像编码电路103获得以量化步长信号S16通知的量化步长(或量化参数) 和表示分辨率变更有无的分辨率变更发生信号S20，对被变更了帧率的运动图像信号S12 进行编码，并生成位流S13。并且，在运动图像编码电路103进行编码时所需要的图像的分 辨率的信息以及帧率的信息，被包含在运动图像信号Sll或运动图像信号S12中。并且，运 动图像编码电路103将生成的位流S13，经由位流输出端子104送出到传输路径上。量化步 长控制电路106获得编码位速率信号S14、帧率选择信号S19、位流S13，并决定量化步长。 并且，量化步长控制电路106也可以不输入位流S13，而输入位流S13的比特数。量化步长平均电路107获得量化步长信号S16和分辨率变更发生信号S20，并求出 量化步长平均值，该量化步长平均值是规定的时间内的相同分辨率的量化步长的平均值。 量化步长平均值的具体算出方法没有特殊的限定，例如可以通过指数加权移动平均运算来 算出。位速率决定电路105决定从运动图像编码电路103输出的位流S13的编码位速 率。关于编码位速率的具体决定方法没有特殊的限定，例如可以根据传输路径能够传输的 位速率来决定。并且，也可以接受用户指定的编码位速率的输入。分辨率范围选择电路108获得编码位速率信号S14，根据编码位速率来决定由编 码对象图像的分辨率的上限值和下限值构成的分辨率选择范围。分辨率和帧率选择电路 109获得量化步长平均值信号S17和分辨率选择范围信号S15，并决定编码对象图像的分 辨率以及帧率。并且，分辨率和帧率选择电路109输出分辨率选择信号S18、帧率选择信号S19、以及分辨率变更发生信号S20。以下参照图IB以及图1C，对实施例1所涉及的运动图像编码装置10的最小构成 进行说明。首先，如图IB所示，运动图像编码装置10包括图像变换部20、运动图像编码部 30、位速率决定部40、以及分辨率范围选择部50。该运动图像编码装置10对输入图像进行 编码并生成编码位流，并将该编码位流发送到传输路径上。并且，图像变换部20相当于图 IA的图像变换部110，运动图像编码部30相当于图IA的运动图像编码电路103、量化步长 控制电路106、以及量化步长平均电路107，位速率决定部40相当于图IA的位速率决定电 路105，分辨率范围选择部50相当于图IA的分辨率范围选择电路108。图像变换部110获得输入图像，变更获得的输入图像的分辨率以及帧率之中的至 少一方，并生成编码对象图像，将生成的编码对象图像输出到运动图像编码电路103(步骤 11)。并且，编码对象图像的分辨率以及帧率，是根据从量化步长平均电路107获得的输入 图像的编码难易度和从分辨率范围选择电路108获得的分辨率的上限值而被决定的。运动图像编码电路103从图像变换部110获得编码对象图像，对获得的编码对象 图像进行编码并生成编码位流，并将生成的编码位流发送到传输路径上(步骤12)。并且， 运动图像编码电路103、量化步长控制电路106以及量化步长平均电路107，根据到现在时 刻为止已经编码了的编码对象图像的编码处理的结果，来推定下一个输入图像的编码的难 易度，并通知给图像变换部110。位速率决定电路105决定被发送到传输路径上的作为编码位流的位速率的编码 位速率，并将决定的编码位速率通知到分辨率范围选择电路108(步骤13)。分辨率范围选择电路108按照在位速率决定步骤决定的编码位速率，决定编码对 象图像的分辨率的上限值，通过将决定的分辨率的上限值通知给图像变换部110，从而控制 在图像变换部110的处理，以使编码对象图像的分辨率不超过上限值(步骤14)。图2示出了图1的分辨率变更电路101的构成方框图。并且，图3的(a)到(b) 示出了与帧存储器的像素位置相对应的写入地址和读出地址。如图2所示，分辨率变更电路101包括水平方向低通滤波器电路301、垂直方向 低通滤波器电路302、帧存储器303、以及写入读出控制电路305。该分辨率变更电路101从 运动图像输入端子300获得运动图像信号S10，从分辨率选择信号输入端子304获得分辨率 选择信号S18，并将变更了运动图像信号SlO的分辨率后的运动图像信号Sll输出到运动图 像输出端子306。水平方向低通滤波器电路301对运动图像信号SlO进行水平方向的低通滤波处 理，并输出运动图像信号S31。垂直方向低通滤波器电路302对运动图像信号S31进行垂直 方向的低通滤波处理，并输出运动图像信号S32。帧存储器303记忆一帧的运动图像信号 S32。写入读出控制电路305控制帧存储器303的写入以及读出。水平方向低通滤波器电路301以及垂直方向低通滤波器电路302对输入图像进 行平均化处理，并按照从分辨率选择信号输入端子304输入的分辨率选择信号S18来切 换低通特性。具体而言，在分辨率的缩小比率大的情况下(在变更为低分辨率的图像的情 况下)，使仅将低频成分通过的低通滤波器的通过区域的频带变窄，在分辨率的缩小比率 小的情况下(在变更为中等程度的分辨率的图像的情况下)，使将低中频成分通过的低通 滤波器的通过区域的频带变宽。并且，低频滤波处理是用于抑制因缩小处理而在下采样
13(downsampling)时发生的折叠噪声的处理。在从运动图像输入端子300输入的运动图像信号SlO中，被施加了按照分辨率选 择信号S18的恰当的通过区域的水平方向以及垂直方向的低通滤波处理。接着，被执行了 低通滤波处理的运动图像信号S32，由写入读出控制电路305被依次写入到帧存储器303的 写入地址位置。图3(a)是运动图像信号SlO的一个例子。像素被配置在存储器中从左向右的二 维地址上，并且在水平方向上，下一行的地址比上一行增加H。写入读出控制电路305按照 从分辨率选择信号输入端子304获得的分辨率选择信号S18的缩小比率，控制缩小后的图 像的写入地址以及读出地址。图3(b)示出了，在将图3(a)的图像以水平方向的缩小比率 =垂直方向的缩小比率=1(以下简单记作“缩小比率”)输出的情况下的运动图像信号SlO 的该像素的读出地址。同样，图3(c)示出了在以缩小比率=3/4进行输出的情况下的运 动图像信号SlO的该像素的读出地址，图3(d)示出了在以缩小比率=1/2进行输出的情况 下的运动图像信号SlO的该像素的读出地址。这样，通过仅抽出对运动图像信号SlO进行 了低通滤波处理后的像素的所在位置的像素，并写入到帧存储器303，从而生成缩小后的图 像。接着，写入读出控制电路305从帧存储器303依次读出被抽出的地址，并作为运动图像 信号Sll输出到运动图像输出端子306。图4示出了图1的帧率变更电路102的构成方框图。图5是示出帧率变更电路 102的工作的时序图。如图4所示，帧率变更电路102包括运动图像输入端子200，被输入分辨率被变 更后的运动图像信号Sll ；帧率选择信号输入端子201，被输入帧率选择信号S19 ；帧存储器 202，记忆获得的运动图像信号Sll ；写入读出控制电路203，控制帧存储器202的写入以及 读出；以及运动图像输出端子204，输出变更了帧率的运动图像信号S12。从运动图像输入端子200输入的运动图像信号Sll被写入到帧存储器202。具体 而言，写入读出控制电路203按照图5所示的时序图(最上一行)的写入帧编号，控制向帧 存储器202的写入，从而将运动图像信号Sll依次写入到帧存储器。接着，写入读出控制电路203按照从帧率选择信号输入端子201获得的帧率选择 信号S19，依照图5所示的时序图(第二行至第五行)的读出帧编号，从帧存储器202间隔 地抽出帧，进行间歇地读出，并作为运动图像信号S12进行输出。据此，来进行帧率的变更。图6示出了运动图像编码电路103的构成方框图。如图6所示，运动图像编码电路 103包括输入图像存储器401、差分运算电路402、正交变换电路403、量化电路404、可变 长编码电路405、逆量化电路408、逆正交变换电路409、加法运算电路410、参考图像存储器 411、运动矢量检测电路412、运动补偿电路413、画面内预测电路414、编码模式选择控制电 路415、以及预测图像选择电路416。该运动图像编码电路103，从运动图像输入端子400获 得运动图像信号S 12，从量化步长输入端子407获得量化步长信号S16，从分辨率变更发生 信号输入端子417获得分辨率变更发生信号S20，并将位流S13输出到位流输出端子406。输入图像存储器401将被输入的运动图像信号S12的像素顺序进行调换，变换为 以块为单位的运动图像信号S41。差分运算电路402算出被块划分后的运动图像信号S41 与预测图像信号S48之间的差分，并输出差分信号S42。正交变换电路403对差分信号S42进行正交变换，并输出系数信号S43。量化电路404以量化步长信号S16对系数信号S43进行量化，并输出量化值S44。可变长编码电路 405对量化值S44进行可变长编码。逆量化电路408以量化步长信号S16对量化值S44进行逆量化，并输出逆量化后 的系数信号S46。逆正交变换电路409对逆量化后的系数信号S46进行逆正交变换，并输 出逆正交变换后的运动图像信号S47。加法运算电路410对逆正交变换后的运动图像信号 S47与预测图像信号S48进行加法运算，并生成参考图像数据S49。参考图像存储器411对 参考图像数据S49进行暂时记忆。运动矢量检测电路412对从参考图像存储器411读出的参考图像数据S50与块划 分后的运动图像信号S41进行比较，并输出运动矢量信号S52。运动补偿电路413按照运动 矢量信号S52，从参考图像存储器411读出参考图像数据S50，利用被读出的参考图像数据 S50进行运动补偿，并输出生成的运动预测图像数据S51。画面内预测电路414对从参考图像存储器411读出的编码对象块近旁的图像数据 与被块划分后的运动图像信号S41进行比较以及画面内预测，并生成画面内预测图像数据 S53。编码模式选择控制电路415通过获得被块划分后的运动图像信号S41、运动预测 图像数据S51、画面内预测图像数据S53、以及分辨率变更发生信号S20，从而输出模式选择 信号S54。在没有发生分辨率变更的情况下，对画面内预测以及画面间预测的哪一个最恰当 进行判断，以作为预测模式。对于具体的判断方法不做特殊的限定，例如可以对块划分后的 运动图像信号S41以及运动预测图像数据S51的差分绝对值的和、与块划分后的运动图像 信号S41以及画面内预测图像数据S53的差分绝对值的和进行比较。并且，也可以是，在前 者的值小的情况下选择画面间预测，在后者的值小的情况下选择画面内预测。另外，在发生 了分辨率变更的帧为最初的帧的情况下，必须选择画面内预测。预测图像选择电路416按照模式选择信号S54，选择画面内预测图像数据S53以及 运动预测图像数据S51的某一方，并输出预测图像信号S48。据此，在没有发生分辨率的变更的情况下，按照输入的运动图像信号的每个块，对 该块内的输入的运动图像信号选择最恰当的预测模式。另外，在发生了分辨率的变更的帧 是最初的帧的情况下，画面内预测模式被选择。并且，运动图像编码电路103对块划分后的 运动图像信号S41与该运动图像信号S41的预测图像信号S48的差分信号S42进行正交变 换，对得到的系数信号S43以从量化步长输入端子407输入的量化步长信号S16来进行量 化，对得到的量化值S44进行可变长编码，并输出位流信号。发生的编码量随着量化步长信 号S16的值增大而减少，相反在量化步长信号S16的值变小时增多。即，利用量化步长信号 S16来控制发生的编码量。图7是示出量化步长控制电路106的工作的流程图。量化步长控制电路106首先判断被输入的帧是否为在进行编码时的最初的帧(步 骤100)。在不是流的最初的帧的情况下(步骤100的“否”)，量化步长控制电路106等待 以在步骤103至步骤106决定的量化步长对该帧所进行的编码的结束(步骤102)。并且， 由于帧的编码是由运动图像编码电路103进行的，因此，在量化步长控制电路106仅进行等 待该帧的编码结束的工作。并且，在是最初的编码帧的情况下(步骤100的“是”)，量化步长控制电路106将累加差分编码量(TBD)复位为0，将事前决定的初始量化步长设为当前的量化步长(步骤 101)。并且，等待该帧的编码结束(步骤102)。接着，量化步长控制电路106在该帧的编码结束的时刻，根据获得的目标位速率 (TBR)和帧率(FR)，利用公式1来求出作为目标的每一帧的平均编码量(AFB)(步骤103)。AFB = TBR/FR (公式 1)接着，量化步长控制电路106计数位流S13的编码量。并且，量化步长控制电路 106根据从计数结果得到的每一帧的发生编码量(FBT)和每一帧的目标编码量(AFB)，利用 公式2来求出累加差分编码量(TBD)(步骤104)。TBD+ = FBT-AFB (公式 2)接着，量化步长控制电路106根据每一帧的平均编码量(AFB)和累加差分编码量 (TBD)，利用公式3来求出下一个帧的目标编码量(TFB)(步骤105)。TFB = AFB-TBD (公式 3)接着，量化步长控制电路106根据当前帧的量化步长OiS(Ii-I))、每一帧的发生编 码量(FBT)、下一帧的目标编码量(TFB)，利用公式4来求下一个帧的量化步长0iS(n))，并 输出该值(步骤106)。QS (n) = QS (η_1) X FBT/TFB (公式 4)并且，量化步长控制电路106对所有帧的编码是否已经结束进行判断(步骤107)。 在还残留有将要编码的帧的情况下(步骤107的“否”)，针对下一帧执行上述的处理(步 骤100至步骤106)。另外，在所有的帧的编码都结束了的情况下(步骤107的“是”)，结束 该处理。即，直到所有的帧的编码全都结束为止反复执行上述的处理。通过上述的处理，将在一帧的编码结束时所发生的编码量(FBT)与平均编码量 (AFB)之间的差加到累加差分编码量(TBD)中，相加后的值则为在当前的帧的编码结束时 的发生编码的累加误差。于是，量化步长控制电路106求出下一个帧的目标编码量(TFB)， 以使在下一个帧累加差分编码量(TBD)成为0。由于目标编码量(TFB)与实际发生的发生编码量(FBT)在一般情况下是不一致 的，因此会产生新的误差，不过通过反复上述的处理，发生编码量的平均值则与成为目标的 每一帧的平均编码量一致。即，通过利用在上述的处理中算出的量化步长来进行编码，从而 能够得到以目标位速率(TBR)来传输的编码位流。图8是示出量化步长平均电路107的工作的流程图。另外，在图8中示出的例子 是，利用指数加权移动平均运算来算出量化步骤平均值。量化步长平均电路107首先判断被输入的帧是否为在编码时的最初的帧(步骤 200)。在不是流的最初的帧的情况下(步骤200的“否”)，量化步长平均电路107等待该帧 的编码结束(步骤20 。另外，由于帧的编码是在运动图像编码电路103被执行的，因此， 在量化步长平均电路107仅进行等待该帧的编码结束的工作。另外，在是编码时的最初帧的情况下(步骤200的“是”)，量化步长平均电路107 对量化步长平均值进行初始化(步骤201)，等待该帧的编码的结束(步骤202)。接着，量化步长平均电路107判断是否从编码时的最初的帧开始经过了规定的帧 数(步骤20 ，以及判断是否从发生了分辨率的变更开始经过了规定的帧数(步骤204)。 并且，在两个条件均成立的情况下(步骤203、步骤204均为“是”)，量化步长平均电路107根据当前的帧的量化步长值OiS(Ii))、前一帧的量化步长平均值O^ema(Ii-I))、以及加权 系数W，利用公式5来求当前帧的量化步长平均值O^emaOi))(步骤205)。QSema (n) = WXQSema (n-l) + (l-ff) X QS (η)(公式 5)在公式5中的加权系数W是利用公式6而被算出的常数。该加权系数W控制量化 步长平均值的变动的程度，加权系数W越大越不容易变动，加权系数越小越容易变动。另 外，加权系数W可以是在设计时等被指定的固定值，也可以是按照状况能够变更的可变值。W = m/256 (m = 0 255)(公式 6)并且，在两个条件中有一个不成立的情况下(步骤203、步骤204的某一个为 “否”)，不进行量化步长平均值O^ema)的运算，而保持上一次的量化步长平均值O^ema)。并且，量化步长平均电路107判断所有的帧的编码是否都已结束(步骤206)。在 还残留有将要编码的帧的情况下(步骤206的“否”)，对下一个帧执行上述的处理(步骤 200至步骤205)。另外，在所有的帧的编码结束了的情况下(步骤206的“是”)，结束该处 理。即，直到所有的帧的编码全都结束为止反复执行上述的处理(步骤200至步骤205)。图9是用于说明分辨率范围选择电路108的工作的参照表。如图9所示，分辨率范 围选择电路108将位速率、编码对象图像的分辨率的下限值以及上限值对应起来保持。在 图9所示的例子中，在阈值RthO以上(记作“高位速率”)的情况下，在阈值Rthl以上且不 足阈值RthO (记作“中位速率”)的情况下，以及在不足阈值Rthl (记作“低位速率”)的情 况下，分别设定了编码对象图像的分辨率的下限值以及上限值。并且，分辨率范围选择电路108对从位速率决定电路105获得的编码位速率信号 S14的值与阈值RthO以及阈值Rthl进行比较。并且，按照比较的结果，分辨率范围选择电 路108对由编码对象图像的分辨率的上限值和下限值构成的分辨率选择范围信号S15进行 输出。图10是示出分辨率和帧率选择电路109的工作的流程图。分辨率和帧率选择电 路109根据获得的量化步长平均值信号S17和分辨率选择范围信号S15，依照图10的流程 来决定编码对象图像的分辨率和帧率。分辨率和帧率选择电路109首先判断被输入的编码对象帧是否为最初的帧(步骤 300)。在编码对象帧不是最初的帧的情况下(步骤300的“否”)，分辨率和帧率选择电路 109以当前设定的分辨率和帧率等待该帧被编码(步骤30 。并且，由于帧的编码是由运 动图像编码电路103进行的，因此，在分辨率和帧率选择电路109仅进行等待该帧的编码结 束的工作。另外，在编码对象帧是最初的帧的情况下(步骤300的“是”)，分辨率和帧率选择 电路109将事先决定的初始状态ID设定到状态ID。而且，将初始状态ID所示出的分辨率 作为分辨率选择信号S18来输出，将初始状态ID所示的帧率作为帧率选择信号S19来输出 (步骤301)。并且，分辨率和帧率选择电路109以该分辨率和帧率来等待该帧的编码的结 束(步骤302)。在帧的编码结束的时刻(步骤302的“是”)，分辨率和帧率选择电路109判断是 否从流的最先头经过了规定的帧数(步骤303)，或者判断从发生了分辨率的变更开始是否 经过了规定的帧数以及/或经过了规定的时间(步骤304)。并且，在这两个条件之中有一 个不成立的情况下(步骤303、步骤304中的一方为“否”)，分辨率和帧率选择电路109不变更现状的状态ID和该ID所示的分辨率以及帧率，而进行保持。相反，在两个条件均成立 的情况下(步骤303、步骤304都为“是”)，决定在下一帧的编码中所使用的分辨率和帧率。分辨率和帧率选择电路109按照输入图像的编码的难易度，决定编码对象图像的 分辨率以及帧率。实施例1中的“编码的难易度”是根据量化步长平均值信号S17而被判 断的。即，量化步长平均值信号S17越大则判断为编码困难，量化步长平均值信号S17越小 则判断为容易编码。并且，编码对象图像的分辨率是在分辨率选择范围信号S15所示的分 辨率的上限值以及下限值的范围内被选择的。具体而言是按照图11所示的状态迁移图来 决定的。图11示出了分辨率和帧率的一般性组合。分辨率和帧率的组合分别被分配有状 态ID (Sll至S44)。各个状态ID保持了用于从当前的状态ID迁移到其他的状态ID的迁移 条件。并且，当前的状态ID与其他的状态ID的关系可以包括在上下方向邻接的情况(分 辨率的变更)、在左右方向邻接的情况(帧率的变更)、以及在斜方向邻接的情况(分辨率 以及帧率的变更)。并且，也可以不必邻接。不过，大多数情况是仅利用这些组合中的有限 的组合，实际上向不迁移的状态的迁移条件总是被视为“伪False) ”。参照图10、图12、图13以及图14对状态迁移的具体例子进行说明。图12示出了状态迁移的一个例子。在分辨率和帧率选择电路109中总是被设定 有某一个状态ID。并且，作为用于从当前的状态ID向其他的状态ID迁移的迁移条件，具体 而言是保持量化步长平均值信号S17的阈值。图13是示出各个状态ID中的分辨率、帧率、迁移条件1和2、以及状态迁移目的 地1和2的表。并且，在图13的例子中，迁移条件1是指量化步长平均值信号S17的上限 值(QpUth)，迁移条件2是指量化步长平均值信号S17的下限值(QpLth)。并且，迁移条件1 是用于使分辨率以及帧率的某一方变小的条件，迁移条件2是用于使分辨率以及帧率的某 一方变大的条件。另外，在图12以及图13的例子中，当前的状态ID仅向与上下方向(分 辨率)以及左右方向(帧率)邻接的其他的状态ID迁移。图14示出了状态迁移的其他的例子。在图14的例子中，除满足图12以及图13 所示的迁移条件1和2以外，还在满足了迁移条件3和4的情况下进行状态迁移。迁移条 件3是指比迁移条件1的上限值(QpUth)大的第二上限值(QpUth2)，迁移条件4是指比迁 移条件2的下限值(QpLth)小的第二下限值(QpLth2)。并且，在图12和图14中即使是相 同的状态迁移也会有迁移条件不同的情况。首先，分辨率和帧率选择电路109读出与当前的状态ID相对应的迁移条件1、迁移 条件2、状态迁移目的地1以及状态迁移目的地2 (步骤30 。若将当前的状态ID为S11， 则图13的第一行被读出。接着，分辨率和帧率选择电路109对量化步长平均值信号S17与迁移条件1进行 比较(步骤306)。并且，判断状态迁移目的地1的分辨率是否包含在分辨率选择范围内(步 骤 307)。在量化步长平均值>迁移条件1 (步骤306的“是”)，且状态迁移目的地1的分辨 率被包含在分辨率选择范围内的情况下(步骤307的“是”)，分辨率和帧率选择电路109 检索状态迁移表，并将状态迁移目的地1的状态ID所示的分辨率的值作为分辨率选择信号 S18来输出，将帧率的值作为帧率选择信号S19来输出(步骤308)。并且，将状态ID变更为状态迁移目的地1的状态ID (步骤309)。而且，由于状态ID的变更而分辨率发生变更的 情况下(步骤320的“是”)，将分辨率变更发生信号S20设定为有效(步骤32 ，在分辨率 没有发生变更的情况下(步骤320的“否”)，将分辨率变更发生信号S20设定为无效(步 骤 321)。在此，参照图12以及图13，对图10的步骤306至步骤307的处理的具体例子进行 说明。另外，在以下说明中的分辨率选择范围信号S15示出高位速率的情况下的分辨率选 择范围。例如，在当前的状态ID为Sll的情况下，迁移条件1成立时的状态迁移目的地1 则为S21。在此，S21的分辨率为1280 X 720，包含在该位速率的情况下的分辨率选择范围 内(图9)。S卩，能够进行从Sll向S21的状态迁移。另外，在当前的状态ID为S21的情况下，迁移条件1成立时的状态迁移目的地1 则为S22。这是因为S21中的分辨率与高位速率中的分辨率的下限值一致，没有使分辨率变 小的余地的缘故。因此，在没有分辨率的变更的状态下，从S21向S22进行状态迁移。另外，迁移条件1成立的情况下的状态迁移目的地虽然是预先规定的，但并非受 此所限，也可以利用其他的方法。例如，虽然向使分辨率减少的方向进行状态迁移(图12 的下方向)，但在不能低于分辨率选择范围的下限值的情况下，向该方向进行状态迁移。另 外，在低于下限值的情况下，也可以向使帧率减少的方向(图12的右方向)进行状态迁移。进一步，参照图14对图10的步骤306至步骤307的处理的其他的具体例子进行 说明。另外，以下的说明中的分辨率选择范围信号S15示出高位速率的情况下的分辨率选 择范围。例如，当前的状态ID为S12的情况下，迁移条件1成立时的状态迁移目的地1则 为S21。S卩，在图14的例子中与图12的例子的不同之处是，使分辨率变小，并与此相对应地 使帧率变大。这是因为，通过使分辨率变小从而使压缩变得容易，因此，即便使帧率稍微增 大一些，与分辨率高的前一个状态相比，也不至于导致画质的劣化。并且，在当前的状态ID为S21的情况下，迁移条件1成立时的状态迁移目的地1为 S22，与图12的例子相同。但是与图12的例子的不同之处是，为了使帧率进一步变小(即 从S22向S23迁移)，则在有关量化步长平均值方面，需要满足比迁移条件1的条件严格的 迁移条件3。这是因为，由于在使分辨率变小时比使帧率变小时的画质的劣化不明显，因此 容易迁移到小分辨率的S31的缘故。S卩，在中位速率的情况下，比起迁移条件3而言，首先符合量化步长平均值的条件 不太严格的迁移条件1，从而向分辨率小的S31迁移。另外，在高位速率的情况下，由于S31 的分辨率在选择范围外，因此不满足迁移条件1，根据迁移条件3而迁移向帧率小的S23。另外，在量化步长平均值<迁移条件1的情况下(步骤306的“否”)，分辨率和帧 率选择电路109，对量化步长平均值信号S17与迁移条件2进行比较(步骤310)。并且，判 断状态迁移目的地1的分辨率是否包含在分辨率选择范围内(步骤311)。在量化步长平均值<迁移条件2 (步骤310的“是”)，且状态迁移目的地2的分辨 率被包含在分辨率选择范围内的情况下(步骤311的“是”)，分辨率和帧率选择电路109 检索状态迁移表，并将状态迁移目的地2的状态ID所示的分辨率的值作为分辨率选择信号 S18来输出，将帧率的值作为帧率选择信号S19来输出(步骤31幻。并且，将状态ID变更为状态迁移目的地2的状态ID (步骤31 。而且，由于状态ID的变更而分辨率发生变更的 情况下(步骤320的“是”)，将分辨率变更发生信号S20设定为有效(步骤32 ，在分辨率 没有发生变更的情况下(步骤320的“否”)，将分辨率变更发生信号S20设定为无效(步 骤 321)。接着，参照图12以及图13对图10的步骤310至步骤311的处理的具体例子进行 说明。并且，在以下的说明中分辨率选择范围信号S15示出中位速率的情况下的分辨率选 择范围。例如，在当前的状态ID为S32的情况下，迁移条件2成立时的状态迁移目的地2 则为S22。在此，S22的分辨率为1280X720，包含在中位速率的情况下的分辨率选择范围 内(图9)。S卩，能够进行从S32向S22的状态迁移。另外，在当前的状态ID为S22的情况下，迁移条件2成立时的状态迁移目的地2 则为S21。这是因为S22中的分辨率与中位速率中的分辨率的上限值一致，没有使分辨率变 大的余地的缘故。因此，在没有分辨率的变更的状态下，从S22向S21进行状态迁移。另外，在上述的例子中，迁移条件2成立的情况下的状态迁移目的地虽然是预先 规定的，但并非受此所限，也可以利用其他的方法。例如，虽然向使分辨率增大的方向进行 状态迁移(图12的上方向)，但在不能高于分辨率选择范围的上限值的情况下，向该方向 进行状态迁移。另外，在高于上限值的情况下，也可以向使帧率增大的方向(图12的左方 向)进行状态迁移。进一步，参照图14对图10的步骤310至步骤311的处理的其他的具体例子进行 说明。另外，以下的说明中的分辨率选择范围信号S15示出中位速率的情况下的分辨率选 择范围。例如，在当前的状态ID为S31的情况下，迁移条件2成立时的状态迁移目的地2 则为S22。S卩，在图14的例子中与图12的例子的不同之处是，使分辨率增大，并与此相对应 地使帧率变小。这是因为，由于使分辨率增大而造成压缩突然变得困难，因此通过使帧率变 小，使压缩变得稍微容易一些，从而能够缓解画质急剧劣化的缘故。例如，在当前的状态ID为S22的情况下，迁移条件2成立时的状态迁移目的地1 则为S21，与图12的例子相同。但是，由于与分辨率的关系，在帧率变得过大的情况下(例 如从S42向S41的迁移)，则需要满足比迁移条件2的量化步长平均值的条件严格的迁移条 件4。由于使分辨率增大比使帧率增大更能够得到明显的画质提高效果，因此容易迁移到分 辨率大的S33。S卩，在低位速率的情况下，比起迁移条件4而言，首先符合量化步长平均值的条件 不太严格的迁移条件2，从而向分辨率大的S33迁移。另外，虽然在图中未示出，但是在超低 位速率的情况下的S33的分辨率在选择范围外，没有满足迁移条件2的情况下，在满足迁移 条件4时，向帧率大的S41迁移。并且，在迁移条件1以及迁移条件2均不成立的情况下(步骤310的“否”)，分辨 率和帧率选择电路109将当前的状态ID所示的分辨率的值作为分辨率选择信号S18输出， 将帧率的值作为帧率选择信号S19输出。并且，由于没有分辨率的变更，因此将分辨率变更 发生信号S20设定为无效。并且，分辨率和帧率选择电路109对所有帧的编码是否已经结束进行判断(步骤323)。在还残留有将要编码的帧的情况下(步骤323的“否”)，针对下一帧执行上述的处理 (步骤300至步骤32 。另外，在所有的帧的编码都结束了的情况下(步骤323的“是”)， 结束该处理。即，直到所有的帧的编码全都结束为止反复执行上述的步骤300至步骤322 的处理。具有上述构成的运动图像编码装置10，在对被输入到运动图像输入端子100的运 动图像信号10之中的最初的帧进行编码的情况下，分辨率和帧率选择电路109将预先被设 定的初始状态ID所示的分辨率作为分辨率选择信号S18输出，将初始状态ID所示的帧率 作为帧率选择信号S19输出。分辨率变更电路101将获得的运动图像信号SlO变更为以分辨率选择信号S18指 定的分辨率，并输出运动图像信号S11。帧率变更电路102将运动图像信号Sll变更为以帧 率选择信号S19指定的帧率，并输出运动图像信号S12。并且，量化步长控制电路106在编 码帧为最初的帧的情况下，将初始量化步长值作为量化步长信号S16输出。运动图像信号S12在运动图像编码电路103被编码，并作为位流S13被输出到位 流输出端子104。此时，运动图像编码电路103在编码帧为最初的帧的情况下，选择画面内 预测模式。量化步长控制电路106在流中的最初的帧的编码结束时，能够得知该帧的发生编 码量。因此，量化步长控制电路106根据编码位速率信号S14中所包含的目标位速率信息 和帧率选择信号S19中所包含的帧率信息，决定下一个帧的量化步长值。在此，编码位速率 信号S14中所包含的目标位速率信息可以是根据以下的位速率来求出的值，所述的位速率 是指，利用者或设备的管理者在开始通信时设定的位速率，或者运动图像编码装置10实际 上将编码位流发送到传输路径，并根据从图像解码装置通知来的数据包损失率等来计算出 的能够在网络中进行通信的最大的位速率。下一个帧的量化步长值虽然被输入到量化步长平均电路107，从流的最先头开始 直到规定的帧数经过为止，不进行量化步长平均值的运算和量化步长平均值的输出的更 新。原因是，为了使流的最先头的帧以画面内预测来编码，从而使发生编码量大于，对在流 的最先头以外的帧恰当地选择利用画面内预测和画面间预测进行编码时的发生编码量。因 此，直到量化步长控制电路106所输出的量化步长值稳定为止，需要处理规定的帧数。并且，根据同样的理由，分辨率和帧率选择电路109从流的最先头开始直到规定 的帧数经过为止，将初始状态ID所示的分辨率作为分辨率选择信号S18来输出，将初始状 态ID所示的帧率作为帧率选择信号S19来输出。因此，从最先头开始直到规定的帧数经过 为止，仅继续执行根据量化步长的编码量调整。在从最先头开始规定的帧数经过以后，通过在分辨率和帧率选择电路109对迁移 条件1或迁移条件2与量化步长平均值信号S17中所包含的量化步长平均值进行比较，从 而来实现状态迁移。具体而言，在比迁移条件1的量化步长平均值大，且迁移目的地的分辨率在分辨 率选择范围内的情况下，发生降低帧率或降低分辨率的方向的状态迁移。相反，在比迁移条 件2的量化步长平均值小，且迁移目的地的分辨率在分辨率选择范围内的情况下，发生提 高帧率或提高分辨率的方向的状态迁移。分辨率选择范围是在分辨率范围选择电路108，按照编码位速率值而决定的分辨。在高位速率的情况下指定为高分辨率范围，在低位速率的情况下指 定为低分辨率范围。这样，通过将分辨率范围的条件附加到状态迁移之中，从而即使在运动图像信号 的压缩的难易度发生了大幅度的变动的情况下，也不会在高位速率的状态下临时地将分辨 率降低到低分辨率。同样，也不会在低位速率的状态下临时地将分辨率提高到高分辨率。这 样，能够实现稳定的分辨率变更工作。接着，在根据分辨率和帧率选择电路109的状态迁移的分辨率发生变化的情况 下，分辨率变更发生信号S20成为有效。这样，针对分辨率被变换后的最初的一帧，运动图 像编码电路103选择画面内预测模式。这是针对根据分辨率的变化而发生的前一帧的参考 困难的措施。并且，从分辨率发生变更开始直到规定的帧数以及/或者规定的时间经过为止， 在量化步长平均电路107不进行量化步长平均值的运算和量化步长平均值输出的更新。并 且，从分辨率发生变更开始直到规定的帧数以及/或者规定的时间经过为止，在分辨率和 帧率选择电路109禁止状态迁移，并保持在刚刚发生了分辨率变更之后的状态ID。S卩，刚刚 发生了分辨率的变更之后的分辨率和帧率被保持，并且仅继续进行根据量化步长的编码量 控制。其原因是，与流的最先头同样，为了以画面内预测对分辨率刚刚发生了变化之后 的一帧进行编码，因此发生编码量比适用了画面内预测编码和画面间预测编码的情况大。 这样，量化步长控制电路106所输出的量化步长值变得不稳定，因此直到稳定为止需要进 行规定的帧数的处理。实施例1所涉及的运动图像编码装置10包括分辨率变更电路101，对输入运动 图像的分辨率进行动态变更；帧率变更电路102，对从分辨率变更电路101输出的运动图像 的帧数进行适应性的间隔剔除；运动图像编码电路103，对从帧率变更电路102输出的运动 图像进行编码，并生成被要求的编码位速率的位流。并且，动态的分辨率变更处理是指，按照编码位速率从多个分辨率中选择最大的 分辨率和最小的分辨率，从最大的分辨率到最小的分辨率之中的多个分辨率中选择分辨率 变更电路101的输出分辨率。即，在输入运动图像的压缩难易度或作为目标的编码位速率 发生大幅度变化时，按照编码位速率，在最大的分辨率与最小的分辨率的限定范围内选择 恰当的分辨率。这样，可以像在PC画面中的单纯影像那样，在压缩率增高的情况下不会选择过大 的分辨率，另外，在像摄像机进行上下左右摇摄那样，在压缩率降低的情况下不会选择过小 的分辨率。这样，能够实现稳定的且恰当范围的分辨率选择，通过对分辨率进行动态地稳定 地选择，从而能够得到没有不适感的稳定的画质。(实施例2)并且，本发明不仅可以像实施例1那样能够以运动图像编码装置10以及运动图 像编码方法来实现，而且可以作为使计算机执行实施例1的运动图像编码方法的程序来实 现。图15A至图15C是利用存储了上述的实施例1的运动图像编码方法的软盘FD，来 执行计算机系统的情况下的说明图。
22
图15A示出了作为记录介质本身的磁盘MD的物理格式的例子。图15B示出了保 持磁盘MD的外壳F的正面图、截面图以及磁盘MD。图15C示出了用于在软盘FD上进行上 述程序的记录再生的构成。软盘FD由作为记录介质本身的磁盘MD和保持磁盘MD的外壳F构成。在磁盘MD 的表面从外向内形成有多个同心圆状的磁道Tr，各磁道Tr在角度方向上被划分为16个扇 区％。因此，在存储上述程序的软盘FD，在被分配到磁盘MD的区域中记录有作为上述程序 的运动图像编码方法。并且，在将上述程序记录到软盘FD的情况下，从计算机系统Cs通过软盘驱动器 FDD，写入作为上述程序的运动图像编码方法。另外，在通过软盘FD内的程序，将运动图像 编码方法构筑到计算机系统Cs中的情况下，通过软盘驱动器FDD从软盘FD中读出程序，并 转送到计算机系统Cs。而且，在上述说明中，利用作为记录介质的软盘FD进行了说明，同样，也可以利用 光盘。并且，记录介质不仅限于此，如IC卡、盒式ROM等，只要能够记录程序就可以同样地 执行。并且，本发明的构成也可以是，构成运动图像编码装置10的构成要素的一部分或 全部可以由一个系统LSI (Large Scale htegration 大规模集成电路)构成。系统LSI是 将多个构成部集成到一个芯片上而被制造的超多功能LSI。并且，也可以仅将各个功能块中的存储成为编码对象的数据的单元作为其他的构 成而不集成到一个芯片。(实施例3)通过将用于实现在上述的实施例所示的图像编码方法的程序记录到记录介质，从 而可以将上述的实施例所示的处理在独立的计算机系统简单执行。记录介质可以是磁盘、 光盘、磁光盘、IC卡、半导体等，只要能够记录程序就可以。在此，对在上述的实施例所示的图像编码方法的应用实例以及利用此应用实例的 系统进行说明。图16是示出实现内容分发服务的内容供给系统exlOO的全体构成图。将通信服 务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站exl06 至 exllO。此内容供给系统exlOO连接有各种机器，例如，互联网exlOl上的互联网服务提供 商exl02和电话网exl04，以及通过基站exl06至exllO，与计算机exlll、PDA (个人数字助 理personal digital assistant) exll2、摄像机 exll3、便携式电话 exll4、游戏机 exll5寸。然而，内容供给系统exlOO并非局限于图16所示的构成，也可以对任意的要素进 行组合接续。并且，可以不通过作为固定无线局的无线基站exl06至exllO，而是各个设备 直接与电话网exl04相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。摄像机exll3是数字视频摄像机等能够拍摄运动图像的设备，摄像机exll6是 数字摄像机等能够拍摄静态图像以及动态图像的设备。并且，便携式电话exll4可以以 GSM (Global System for Mobile Communications :全球移动通讯系统)方式、CDMA (Code Division Multiple Access 码分多址)方式、W-CDMA(Wideband-Code Division
23Multiple Access 宽带码分多址)方式、LTE (Long Term Evolution 长期演进)项 目、HSPA(High-Speed Packet Access 高速分组接入)的便携式电话，或 PHS (Personal Handy-phone System 低功率移动电话系统)等任一个来构成。在内容供给系统exlOO中，摄像机exll3等通过无线基站exl09、电话网exl04与 流播放服务器exl03连接，从而进行实况录音分发等。在实况录音分发中，针对用户利用摄 像机exll3拍摄的内容(例如音乐实况的影像等)进行在上述的实施例所说明的编码处 理，并发送到流播放服务器exl03。另外，流播放服务器exl03针对提出请求的客户端，对被 发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计 算机exlll、PDAexll2、摄像机exll3、便携式电话exll4、以及游戏机exll5等。在接收了 被分发的数据的各个设备，对接收的数据进行解码处理并再生。并且，拍摄的数据的编码处理可以在摄像机exll3进行，也可以在进行数据的发 送处理的流播放服务器exl03进行，也可以相互分担进行。同样，被分发的数据的解码处理 可以由客户端进行，也可以在流播放服务器exl03进行，也可以相互分担进行。并且，不仅 限于摄像机exll3，由摄像机exll6拍摄的静态图像数据以及/或者动态图像数据，也可以 通过计算机exlll而被发送到流播放服务器exl03。此时的编码处理可以在摄像机exll6、 计算机exlll、流播放服务器exl03的任一个中进行，也可以相互分担进行。并且，这些编码处理以及解码处理可以在一般的计算机exlll以及各个设备所具 有的LSI (Large Scale htegration 大规模集成电路)ex500中处理。LSIex500可以由 一个芯片构成，也可以由多个芯片构成。另外，也可以将图像编码用以及图像解码用的软件 安装到能够在计算机exlll等读取的某种记录介质(CD-ROM、软盘、硬盘等)中，并利用软 件来进行编码处理以及解码处理。而且，在便携式电话exll4是附带有摄像机的情况下，也 可以发送该摄像机所获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话 exll4所具有的LSIex500进行编码处理后的数据。并且，流播放服务器exl03可以是多个服务器或多个计算机，也可以是对数据进 行分散、处理、记录并分发的设备。如以上所述，在内容供给系统exlOO，能够在客户端接收并再生被编码的数据。在 这样的内容供给系统exlOO中，在客户端能够即时地接收并解码由用户发送的信息并且能 够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。在对构成该内容供给系统的各个设备进行编码时，可以利用上述的实施例所示的 图像编码方法。作为一个例子，以下针对便携式电话exll4进行说明。图17示出了利用在上述的实施例所说明的图像编码方法的便携式电话exll4。便 携式电话exll4具有天线ex601，用于在与无线基站exllO之间进行电波的收发；摄像机 部ex603，能够拍摄CXD摄像机等的影像和静止图像；显示部ex602，是用于显示在摄像机 部ex603拍摄的影像以及由天线ex601接收的影像等被解码后的数据的液晶显示器等；声 音输出部ex608，是由操作键ex604群构成的主体部以及用于输出声音的扬声器等；声音输 入部ex605，是用于输入声音的麦克风等；记录介质ex607，用于保存拍摄的运动图像或静 止图像的数据、接收的邮件的数据、运动图像的数据或静止图像的数据等被编码或被解码 的数据；以及插槽部ex606，用于使记录介质ex607安装到便携式电话exll4。在记录介质ex607中存储有闪存元件，该闪存元件是EEPROM —种，并且是SD卡等塑料壳内的能够进行 电改写以及删除的非易失性存储器。进一步利用图18对便携式电话exll4进行说明。在便携式电话exll4中，针对用 于统括控制具有显示部ex602以及操作键ex604的主体部的各个部的主控制部ex711，电源 电路部ex710、操作输入控制部ex704、图像编码部ex712、摄像机接口部ex703、LCD (Liquid Crystal Display :液晶显示器)控制部ex702、图像解码部ex709、多路复用分离部ex708、 记录再生部ex707、调制解调电路部ex706以及声音处理部ex705经由同步总线ex713相互 连接。电源电路部ex710在成为由用户的操作结束通话以及电源键被接通的状态，通过 从电池组向各个部提供电力，从而使附带摄像机的数字便携式电话exll4成为能够工作的 状态。便携式电话exll4根据由CPU、ROM以及RAM等构成的主控制部ex711的控制，在 声音通话模式时，由声音处理部ex705将在声音输入部ex605收集的声音信号转换为数字 声音数据，并在调制解调电路部ex706进行扩频(Spread Spectrum)处理，在收发信电路 部ex701进行数模转换处理以及频率转换处理之后，经由天线ex601发送。并且，便携式电 话exll4在声音通话模式时，对在天线ex601接收的接收信号进行放大并进行频率转换处 理以及模数转换处理，在调制解调电路部ex706进行扩频处理的逆处理，在由声音处理部 ex705转换为模拟声音数据之后，经由声音输出部ex608输出。并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex604的 操作，被输入的电子邮件的文本数据经由操作输入控制部ex704被发送到主控制部ex711。 主控制部ex711进行控制，以使文本数据在调制解调电路部ex706进行扩频处理，在收发信 电路部ex701进行数模转换处理以及频率转换处理之后，经由天线ex601被发送到无线基 站 exll0o在数据通信模式时发送图像数据的情况下，将在摄像机部ex603拍摄的图像数 据，经由摄像机接口部ex703提供到图像编码部ex712。并且，在不发送图像数据的情况 下，能够将在摄像机部ex603拍摄的图像数据，经由摄像机接口部ex703以及LCD控制部 ex702，直接显示在显示部ex602。在图像编码部ex712的构成中具备本发明所说明的图像编码装置，通过将从摄像 机部ex603提供的图像数据，利用被用于在上述的实施例所示的图像编码装置的编码方法 进行压缩编码，从而转换为编码图像数据，并发送到多路复用分离部ex708。并且，与此同 时，便携式电话exll4将在摄像机部ex603进行拍摄时由声音输入部ex605拾取的声音，经 由声音处理部ex705作为数字声音数据发送到多路复用分离部ex708。多路复用分离部ex708以规定的方式，对从图像编码部ex712提供来的编码图像 数据和从声音处理部ex705提供来的声音数据进行多路复用，将通过多路复用而得到的多 路复用数据在调制解调电路部ex706进行扩频处理，并在收发信电路部ex701进行数模转 换处理以及频率转换处理之后，经由天线ex601发送。在数据通信模式时接收被链接在主页等的运动图像文件的数据的情况下，将经由 天线ex601从无线基站exllO接收的接收数据在调制解调电路部ex706进行扩频处理的逆 处理，并将处理后得到的多路复用数据发送到多路复用分离部ex708。
并且，在对经由天线ex601接收的多路复用数据进行解码时，多路复用分离部 ex708通过对多路复用数据进行分离，从而分离成图像数据的位流和声音数据的位流，并经 由同步总线ex713将该编码图像数据提供到图像解码部ex709，同时将该声音数据提供到 声音处理部ex705。接着，在图像解码部ex709的构成中具有图像解码装置，通过将图像数据的位流 以与上述的实施例所示的编码方法相对应的解码方法进行解码，从而生成再生运动图像， 并经由IXD控制部ex702提供到显示部ex602，这样，能够显示例如被包含在与主页链接的 运动图像文件中的运动图像数据。与此同时，声音处理部ex705将声音数据转换为模拟声 音数据之后提供到声音输出部ex608，这样，能够再生例如被包含在与主页链接的运动图像 文件中的声音数据。并且，不仅限于上述系统的例子，最近通过卫星以及地波的数字广播成为话题，在 图19所示的数字广播用系统中也至少能够组装上述实施例中的图像编码装置。具体而言， 在广播电台ex201，声音数据、影像数据或将这些数据进行多路复用后的位流通过电波进行 通信，或被传送到广播卫星ex202。接收了这些的广播卫星ex202发出用于广播的电波，具 有卫星广播接收设备的家庭的天线ex204接收这些电波，电视机(接收机)ex300或机顶盒 (STB) ex217等装置对位流进行编码并再生。并且，在阅读器/记录器ex218中也能够被安 装有图像解码装置，该阅读器/记录器ex218对在作为记录介质的CD以及DVD等的记录介 质ex215、ex216中所记录的图像数据和声音数据被多路复用后的位流进行读取以及解码。 在此情况下，被再生的影像信号被显示在监视器ex219。并且，可以考虑到的构成是，在被连 接在有线电视的电缆ex203或卫星/地波广播的天线ex204的机顶盒ex217内安装图像解 码装置，并在电视机的监视器ex219再生。此时，可以不组装机顶盒，而是将图像解码装置 组装到电视机内。并且，在具有天线ex205的车辆ex210，能够从卫星ex202或无线基站接 收信号，并在车辆ex210所具有的车辆导航系统ex211等的显示装置上再生运动图像。并且，在阅读器/记录器ex218中也可以安装在上述的实施例中所示的图像编码 装置，该阅读器/记录器ex218对DVD、BD等记录介质ex215中所记录的声音数据、影像数 据或将这些数据进行多路复用后的编码位流进行读取、解码，或者将声音数据、影像数据或 对这些数据编码，并作为多路复用数据记录到记录介质ex215。在这种情况下，被再生的影 像信号被显示在监视器ex219。并且，通过记录有编码位流的记录介质ex215，其他的装置 以及系统等能够再生影像信号。例如，在其他的再生装置ex212，能够利用被复制了编码位 流的记录介质ex214，将影像信号在监视器ex213上再生。并且，也可以将图像解码装置安装到与有线电视的电缆ex203或卫星/地波广播 的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时可以不是 机顶盒，而是将图像解码装置组装到电视机内。图20示出了利用了在上述的实施例中说明的图像编码方法的电视机(接收机) ex300。电视机ex300包括调谐器ex301，通过接收上述广播的天线ex204或电缆ex203 等获得或者输出影像信息的位流；调制/解调部ex302，解调接收的编码数据，或者为了将 生成的编码数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的影像数 据和声音数据进行分离，或者对被编码的影像数据和声音数据进行多路复用。并且，电视 机ex300具有信号处理部ex306和输出部ex309，声音信号处理部ex304，所述信号处理部
26ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号 处理部ex304和影像信号处理部ex305 ；所述输出部ex309具有对被解码的声音信号进行 输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。而且， 电视机eX300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部 ex312等。而且，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电 力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅 读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插 槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解 调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器 元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构 成进行说明。电视机ex300接受来自运程控制器ex220等的用户的操作，并根据具有CPU 等的控制部ex310的控制，将在调制/解调部ex302解调的影像数据和声音数据，在多路 复用/分离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部 ex304进行解码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理 部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进 行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄 积这些信号。并且，电视机ex300可以不从广播等读出被编码的编码位流，而是从磁性/光 盘、SD卡等记录介质ex215、ex216中读出被编码的编码位流。以下将要说明的构成是，电 视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质。电视机 ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信 号处理部ex304对声音信号进行编码，并利用在上述的实施例中说明的编码方法，在影像 信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离 部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号 同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex313至 ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以 外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上 溢和下溢的缓冲部分，可以在缓冲器中蓄积数据。并且，电视机ex300除具有获得广播以及来自记录介质等的声音数据以及影像数 据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些 获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路 复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行 上述的接收、解码处理以及外部输出中的某一个处理。并且，在阅读器/记录器ex218从记录介质中读出或写入编码位流的情况下，上述 的编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是 电视机ex300和阅读器/记录器ex218彼此分担进行。作为一个例子，图21示出了从光盘进行数据的读取或写入的情况下的信息再生/ 记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401至ex407。 光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自从记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头 ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403 对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再 生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信 息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的 信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式 电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码道，进行激光的 光点的追踪处理。系统控制部ex407对信息再生/记录部eX400进行整体控制。上述的读 出以及写入处理可以通过以下的方法来实现，即系统控制部ex407利用被保持在缓冲器 ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录 部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头eX401来进 行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程 序来执行这些处理。以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学 (near-field optical)来进行高密度的记录。图22是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上， 导槽(槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化示出盘 上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录 块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生代码道ex230以及读 取地址信息，来确定记录块。并且，记录介质ex215包括数据记录区域ex233、内周区域 ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数 据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的 记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区 域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读 写。以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以 是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用 了各种不同波长的光的信息，或者从各种角度记录不同的信息的层等，具有进行多维的记 录/再生的结构的光盘。并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星 ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运 动图像。并且，关于车辆导航系统ex211的构成可以考虑到在图20所示的构成中添加GPS 接收部，同样也可以考虑到添加计算机exlll以及便携式电话exll4等。并且，上述便携式 电话exll4等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收 发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的 接收终端的共三种形式。这样，在上述的实施例所示的图像编码方法能够适用于上述的任一个设备以及系 统，这样，能够得到在上述的实施例中说明的效果。并且，本发明并非受上述的实施例所限，在不超过本发明的范围内的各种变形以
28及修改均是可能的。(实施例4)上述的各个实施例所示的图像编码方法以及装置典型的可以以作为集成电路的 LSI来实现。作为一个例子，图23示出了被制成一个芯片的LSIex500的构成。LSIex500包 括以下将要说明的要素ex501至ex509，各个要素通过总线ex510连接。电源电路部ex505 在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。例如在进行编码处理的情况下，LSIex500根据具有CP&X502、存储控制器ex503 以及流控制器ex504等的控制部ex501的控制，通过AV输入/输出ex509从麦克风exll7 以及摄像机exll3等接受AV信号的输入。被输入的AV信号被暂时蓄积到SDRAM等的外部 的存储器ex511。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度被适当 地分为多次等，并被发送到信号处理部ex507。信号处理部ex507进行声音信号的编码以 及/或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处 理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路 复用等处理，从流输入输出ex506输出到外部。该被输出的流被发送向无线基站exl07，或 者被写入到记录介质ex215。并且，为在进行多路复用时能够同步进行，而可以将数据暂时 蓄积到缓冲器ex508。并且，例如在进行解码处理的情况下，LSIex500根据控制部ex501的控制，通过流 输入输出ex506，经由无线基站exl07得到的编码数据或从记录介质ex215读出而得到的编 码数据被暂时蓄积到存储器ex511。根据控制部ex501的控制，蓄积的数据按照处理量以及 处理速度被恰当地分为多次等，并被发送到信号处理部ex507。信号处理部ex507进行声音 数据的解码以及/或影像数据的解码。并且，为了使被解码的声音信号和被解码的影像信 号同步再生，可以根据情况将各个信号暂时蓄积到缓冲器ex508等。被解码的输出信号恰 当地经由存储器ex511等，从便携式电话exll4、游戏机exll5以及电视机ex300等输出。另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可 以被包括在LSIex500的内部。缓冲器ex508也可以不限于一个，可以具备多个缓冲器。并 且，LSIex500可以被制成一个芯片，也可以是多个芯片。另外，在此虽然称为LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级 LSI、以及极超级LSI。并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。 在LSI制造后，也可以利用可编程的FPGA(现场可编程门阵列)或利用能够将LSI内部的 电路单元的连接以及设定重新构建的可重装处理器。而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的 集成电路化的技术，当然也可以利用这些技术来对功能块进行进行集成化。生物技术的适 用等也将成为可能。以上，虽然根据实施例1至4对本发明的图像编码方法以及图像编码装置进行了 说明，不过本发明并非受这些实施例所限。在不超出本发明的主旨的范围内，在本实施例的 基础上的本领域技术人员所能够想到的各种变形，以及对不同的实施例中的构成要素进行 的组合而构成的实施方式均包括在本发明的范围内。另外，在实施例1的分辨率范围选择电路108虽然设定的是最大分辨率和最小分辨率，不过，在不输入压缩非常困难且有可能成为非常小的分辨率的图像的情况下，也可以 仅设定最大分辨率。并且，虽然是按照在位速率决定电路105导出的位速率来设定在分辨率范围选择 电路108的最大分辨率和最小分辨率的，不过并非受此所限，也可以是由用户来设定位速 率，并按照用户所设定的位速率来设定在分辨率范围选择电路108的最大分辨率和最小分辨率。本发明能够非常有效地利用于，对运动图像进行编码并发送到传输路径的运动图 像编码装置以及运动图像编码方法。符号说明
10运动图像编码装置
20图像变换部
30运动图像编码部
40位速率决定部
50分辨率范围选择部
100，200，300，400，500 运动图像输入端子
101，501 分辨率变更电路
102，502 帧率变更电路
103，503 运动图像编码电路
104，406,504 位流输出端子
105位速率决定电路
106，506 量化步长控制电路
107量化步长平均电路
108分辨率范围选择电路
109分辨率和帧率选择电路
110图像变换部
201帧率选择信号输入端子
202，303 帧存储器
203，305 写入读出控制电路
204，306 运动图像输出端子
301水平方向LPF电路(水平方向低通滤
302垂直方向LPF线路(垂直方向低通滤
304分辨率选择信号输入端子
401输入图像存储器
402差分运算电路
403正交变换电路
404量化电路
405可变长编码电路
407量化步长输入端子
408逆量化电路
30409逆正交变换电路
410加法运算电路
411参考图像存储器
412运动矢量检测电路
413运动补偿电路
414画面内预测电路
415编码模式选择控制电路
416预测图像选择电路
417分辨率变更发生信号输入端子
507帧率控制电路
508分辨率设定电路 exlOO内容供给系统 exlOl互联网
exl02互联网服务提供商
exl03流播放服务器
exl04电话网
exl06,exl07, exl08, exl09, exllO 无线基站
exlll计算机
exll2个人数字助理 exll3，exll6 摄像机
exll4附带摄像机的数字便携式电话(便携式电话)
exll5游戏机
exll7麦克风
ex200数字播放系统
ex201广播电台
ex202广播卫星(卫星)
ex203电缆
ex204,ex205, ex601 天线
ex210车辆
ex211车辆导航系统(车辆导航)
ex212再生装置
ex213，ex219 监视器
ex214,ex215, ex216, ex607 记录介质
ex217机顶盒(STB)
ex218阅读器/记录器
ex220远程控制器
ex230代码道
ex231记录块
ex232内周区域
ex233数据记录区域ex234外周区域ex300电视机ex301调谐器ex302调制/解调部ex303多路复用/分离部ex304音频信号处理部ex305图像信号处理部ex306, ex507 信号处理部ex307扬声器ex308, ex602 显示部ex309输出部ex310, ex501 控制部ex311, ex505, ex710 电源电路部ex312操作输入部ex313电桥ex314, ex606 插槽部ex315马区动器ex316调制解调器ex317接口部ex318, ex319, ex320, ex321, ex404, ex508 缓冲器ex400信息再生/记录部ex401光学头ex402调制记录部ex403再生解调部ex405盘式电机ex406伺服控制部ex407系统控制部ex500大规模集成电路(LSI)ex502中央处理单元(CPU)ex503存储控制器ex504流控制器ex506流输入输出ex509AV 输入输出ex510总线ex603摄像机部ex604操作键ex605声音输入部ex608声音输出部
32
ex701收发信电路部
ex702IXD控制部(液晶显示器控制部
ex703摄像机接口部(摄像机I/F部)
ex704操作输入控制部
ex705声音处理部
ex706调制解调部
ex707记录再生部
ex708多路复用分离部
ex709图像解码部
ex711主控制部
ex712图像编码部
ex713同步总线
权利要求
1.一种运动图像编码方法，对输入图像进行编码从而生成编码位流，并将该编码位流 发送到传输路径上，所述运动图像编码方法包括图像变换步骤，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及 帧率的至少一方，并输出编码对象图像；运动图像编码步骤，对在所述图像变换步骤被输出的所述编码对象图像进行编码，从 而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定步骤，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述 编码位流的位速率；以及分辨率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定所述 编码对象图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码对象 图像的分辨率不超过所述上限值。
2.如权利要求1所述的运动图像编码方法，在所述分辨率范围选择步骤，进一步，按照在所述位速率决定步骤决定的所述编码位 速率，决定所述编码对象图像的分辨率的下限值，并控制在所述图像变换步骤的变更，以使 所述编码对象图像的分辨率不低于所述下限值。
3.如权利要求1或2所述的运动图像编码方法，在所述分辨率变换步骤，从所述编码对象图像的分辨率被变更后直到至少满足以下两 个条件之中的一方为止，不变更所述编码对象图像的分辨率，所述两个条件是指，直到经过 规定的时间为止以及直到规定数量的所述输入图像被处理为止。
4.如权利要求2或3所述的运动图像编码方法，所述编码位速率是根据所述传输路径所能够传输的位速率而被决定的，所述传输路径 所能够传输的位速率是通过计测在发送设备与接收设备之间实际能够收发的编码位流量 而得到的。
5.如权利要求2至4的任一项所述的运动图像编码方法， 该运动图像编码方法进一步包括量化步长算出步骤，算出能够使所述编码位流成为能够以在所述位速率决定步骤决定 的所述编码位速率来传输的编码量的量化步长，并以算出的所述量化步长，使所述运动图 像编码步骤进行所述编码对象图像的量化；以及平均值算出步骤，算出量化步长平均值，该量化步长平均值是在规定时间内在所述量 化步长算出步骤被算出的所述量化步长的平均值； 所述图像变换步骤包括画质决定步骤，根据在所述平均值算出步骤算出的所述量化步长平均值，判断所述输 入图像的编码的难易度，从而决定所述编码对象图像的分辨率以及帧率；分辨率变更步骤，将所述输入图像的分辨率变更为在所述画质决定步骤决定的分辨 率；以及帧率变更步骤，将所述输入图像的帧率变更为在所述画质决定步骤决定的帧率。
6.如权利要求5所述的运动图像编码方法，在所述画质决定步骤，预先保持第一分辨率以及第二分辨率的至少一方，所述第一分 辨率是比刚刚决定的分辨率小的分辨率，所述第二分辨率是比刚刚决定的分辨率大的分辨率；在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第一阈值大，且保持 的所述第一分辨率在所述下限值以上的情况下，使所述分辨率变更步骤将所述输入图像的 分辨率变更为所述第一分辨率；在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持 的所述第二分辨率在所述上限值以下的情况下，使所述分辨率变更步骤将所述输入图像的 分辨率变更为所述第二分辨率。
7.如权利要求5所述的运动图像编码方法，所述画质决定步骤进一步，预先保持第一帧率以及第二帧率的至少一方，所述第一帧 率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的帧率；在所述分辨率变更步骤所述输入图像的分辨率被变更为所述第一分辨率的情况下，使 所述帧率变更步骤将所述输入图像的帧率变更为所述第二帧率；在所述分辨率变更步骤所述输入图像的分辨率被变更为所述第二分辨率的情况下，使 所述帧率变更步骤将所述输入图像的帧率变更为所述第一帧率。
8.如权利要求6或7所述的运动图像编码方法，在所述画质决定步骤进一步预先保持第一帧率以及第二帧率的至少一方，所述第一帧 率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的帧率；在所述平均值算出步骤算出的所述量化步骤平均值比预先决定的第一阈值大，且保持 的所述第一分辨率低于所述下限值的情况下，使所述帧率变更步骤将所述输入图像的帧率 变更为所述第一帧率；在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持 的所述第二分辨率超过所述上限值的情况下，使所述帧率变更步骤将所述输入图像的帧率 变更为所述第二帧率。
9.一种运动图像编码装置，对输入图像进行编码从而生成编码位流，并将该编码位流 发送到传输路径上，所述运动图像编码装置包括图像变换部，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧 率的至少一方，并输出编码对象图像；运动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而生 成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定部，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编 码位流的位速率；以及分辨率范围选择部，按照在所述位速率决定部决定的所述编码位速率，决定所述编码 对象图像的分辨率的上限值，并控制所述图像变换部，以使所述编码对象图像的分辨率不 超过所述上限值。
10.一种程序，使计算机对输入图像进行编码从而生成编码位流，并将该编码位流发送 到传输路径上，并且该程序使计算机执行以下步骤图像变换步骤，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及 帧率的至少一方，并输出编码对象图像；运动图像编码步骤，对在所述图像变换步骤被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定步骤，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述 编码位流的位速率；以及分辨率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定所述 编码对象图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码对象 图像的分辨率不超过所述上限值。
11. 一种集成电路，对输入图像进行编码从而生成编码位流，并将该编码位流发送到传 输路径上，该集成电路包括图像变换部，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧 率的至少一方，并输出编码对象图像；运动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而生 成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定部，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编 码位流的位速率；以及分辨率范围选择部，按照在所述位速率决定部决定的所述编码位速率，决定所述编码 对象图像的分辨率的上限值，并控制所述图像变换部，以使所述编码对象图像的分辨率不 超过所述上限值。
全文摘要
一种运动图像编码方法，包括图像变换步骤(S11)，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；运动图像编码步骤(S13)，对在所述图像变换步骤被输出的所述编码对象图像进行编码，并将该编码位流发送到所述传输路径上；位速率决定步骤(S13)，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围选择步骤(S14)，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码对象图像的分辨率不超过所述上限值。
文档编号H04N7/26GK102138327SQ20108000245
公开日2011年7月27日 申请日期2010年6月8日 优先权日2009年6月23日
发明者佐藤真一, 角野真也 申请人:松下电器产业株式会社