运动图像编码方法和装置以及摄像系统的制作方法

专利名称：运动图像编码方法和装置以及摄像系统的制作方法
技术领域：
本发明涉及对运动图像信号进行编码而生成编码流的技术。
背景技术：
近年来，MPEG-2以及MPEG-4、 H.264 ( MPEG-4AVC )等运动图像的 高效编码技术得到广泛研究，应用于计算机、通信、民用AV设备以及广播 等多种领域中。特别是为了能以低廉的价格提供电影、数码照相机等民用照 相机，以小型且省电的方式实现具有庞大处理量的运动图像编码技术是非常 重要的。关于本技术的小型化、省电化的研究也在积极进行。另外，在例如 通过互联网等通信线路传输编码流(运动图像的压缩数据)的网络照相机等 传输类照相机设备中，需要对分辨率、帧频各不相。同的多个运动图像信号进 行编码并传输，在本技术的小型化和省电化的基础上，同时还非常需要高速 化。
为了满足上述要求，现有技术中使用能对多个运动图像信号以时分方式 进行编码的运动图像编码装置。该运动图像编码装置包含多个通道，将作为 编码对象的多个运动图像信号分配给多个通道，以每个通道为单位对上述多 个运动图像信号进行编码，并以每个通道为单位对通过编码得到的多个编码 流进行控制。
在此，参考图11对现有的运动图像编码方法进行说明。在图11中，分 辨率分别为"4VGA ( 1280 x 960 ) " 、"VGA ( 640 x 480 )"和"QVGA (320 x 240)"的三个运动图像信号被分别分配给三个通道(通道0、通道 l和通道2),以时分方式进行编码。
图像10 (0) ， Pl (0)，…，P3 (0)是分辨率为"4VGA"的运动图
像信号的图像；图像IO ( 1) ， PI ( 1 )，…，P3 ( 1)是分辨率为"VGA" 的运动图像信号的图像；图像IO (2) ， PI (2),…，P3 (2)是分辨率为
"QVGA"的运动图像信号的图像。
首先，对三个运动图像信号各自的第一个图像10 (0) 、 10 ( 1 )和10
(2)在规定时间(此处为1/30 s)内依次进行帧内预测编码(帧内编码)， 生成编码图像D0 (0) 、 D0 ( 1 )和D0 (2)。然后，编码图像DO (0)、 DO ( 1 )和DO ( 2 )分别作为通道0的编码流STRO、通道1的编码流STR1 和通道2的编码流STR2输出。另外，才艮据编码图像DO ( 0 ) 、 DO ( I )和 DO (2)重建图像IO (0) 、 10 ( 1 )和IO (2),重建的图像IO (0) 、 10 ( 1 ) 和10 (2)作为参考图像被存储在运动图像编码装置的参考存储器中。即， 参考存储器中存储对应三个运动图像信号的三个参考图像。
接着，对三个运动图像信号各自的第二个图像P1 (0) 、 Pl ( 1)和P1
(2),利用分别与其对应的参考图像(图像IO (0) 、 10(1)和10(2))， 以时分方式进行帧间预测编码(帧间编码)，生成编码图l象Dl (0) 、 Dl
(1)和Dl ( 2 ),并分别作为通道0的编码流STRO、通道1的编码流STR1 和通道2的编码流STR2输出。另外，根据编码图像D1 (0) 、 Dl (1)、 Dl (2)和参考图像IO (0) 、 10 ( 1 ) 、 10 (2)重建图像P1 (0) 、 Pl ( 1 ) 和P1(2),存储于参考存储器的参考图像(图像IO(O) 、 10(1)和10(2)) 被重写为重建的图像P1 (0) 、 Pl (1)和P1 (2)。
由此，三个运动图像信号以时分方式被编码，输出与三个运动图像信号 对应的三个编码流。另外，每当图像被编码时都重写与该图像对应的参考图 像，以便第二个以后的图像能够将前一图像作为参考图像进行帧间编码。
非专利文献1: ISO/IEC 14496-10《Coding of audiovisual objects - Parti 0 : Advanced Video Coding》
但是，如上所述的运动图像编码装置在处理性能上受到限制。因此，为 了执行超出运动图像编码装置最大处理性能(例如最大通道数(可处理的运 动图像信号数)、最大处理速度(每单位时间内可编码的数椐量)等)的编
码，需要使用比该运动图像编码装置性能更高的运动图像编码装置，或者同 时设置多个运动图像编码装置。另外，因为作为编码对象的运动图像信号数 (通道数)越多，参考图像的数量就越多，所以需要增大用于存储参考图像 的参考存储器的容量。这样，由于现有技术中需要增加最大通道数以便能对 很多的运动图像信号进行编码，或者增加最大处理速度以便能对高分辨率和 帧频的多个运动图像信号进行编码，而运动图像编码装置的多功能化和高性 能化使得运动图像编码装置的功耗和电路规模增大，因此，很难实现运动图 像编码装置的小型化和省电化。

发明内容
因此，本发明的目的在于不增大运动图像编码装置的功耗和电路规模， 而生成与更多运动图像信号对应的编码流。
根据本发明的一个方面，运动图像编码方法是对包含按时间顺序排列的
多个图像的运动图像信号进行编码的方法，包括a、以图像为单位对上述 运动图像信号进行编码，生成编码流；和b、从经过上述步骤a编码的运动 图像信号中周期性地删除编码图像，生成与上述运动图像信号帧频不同的其 它运动图像信号对应的其它编码流。
在上述运动图像编码方法中，无须对多个运动图像信号分别进行编码， 根据一个运动图像信号就能生成与多个运动图像信号对应的多个编码流。由 此，能够生成对应于比以往更多的运动图像信号的编码流，而不会增大运动 图像编码装置的功耗和电路规模。
较佳地，在上述步骤a中，对分辨率相同而帧频各不相同的m个(m 为2以上的整数)运动图像信号之中具有最大帧频的第一运动图像信号进行 编码，生成与该第一运动图像信号对应的第一编码流；在上述步骤b中，根 据上述m个运动图像信号之中除上述第一运动图像信号以外的(m-l )个第 二运动图像信号各自的帧频，从经过上述步骤a编码的第一运动图像信号中 删除编码图像，生成与该(m-l)个第二运动图像信号对应的(m-l)个第
二编码流。
在上述运动图像编码方法中，仅对具有最大帧频的运动图像信号进行编
码，就能生成m个编码流。
较佳地，上述运动图像编码方法进一步包括cl、判断作为编码对象的 运动图像信号数m是否超出预先规定的运动图像信号数的最大值；和d、当 通过上述步骤cl判断出上述运动图像信号数m未超出上述最大值时，对上 述m个运动图像信号以时分方式进行编码，将经过编码的m个运动图^f象信 号作为m个编码流输出。上述步骤a和上述步骤b分别在上述步骤cl中判 断出上述运动图像信号数m超出上述最大值时执行。
在上迷运动图像编码方法中，例如在作为编码对象的运动图像信号数超 出运动图像编码装置以时分方式可处理的运动图像信号的最大数时，根据一 个运动图像信号生成多个编码流。由此，能够处理比以往更多的运动图像信
另外，上述运动图像编码方法进一步包括c2、判断为了对上述m个 运动图像信号以时分方式进行编码所需的处理速度是否超出预先规定的最 大处理速度；和d、当通过上述步骤c2判断出上述所需的处理速度未超出上 述最大处理速度时，对上述m个运动图像信号以时分方式进行编码，将经 过编码的m个运动图像信号作为m个编码流输出。上述步骤a和上迷步骤 b分别在上述步骤c2中判断出上述所需的处理速度超出上述最大处理速度 时执行。
在上述运动图像编码方法中，例如在为了对作为编码对象的运动图像信 号以时分方式进行处理所需的处理速度超出运动图像编码装置的最大处理 速度时，根据一个运动图像信号生成多个编码流。由此，能够处理比以往更 多的运动图像信号。
根据本发明的另 一方面，运动图像编码装置是对包含按时间顺序排列的 多个图像的运动图像信号进行编码的装置，包括编码部，对上述运动图像 信号进行编码，生成编码流；以及流生成部，从经过上述编码部编码的运动
图像信号中周期性地删除编码图像，生成与上述运动图像信号帧频不同的其 它运动图像信号对应的其它编码流。
在上述运动图像编码装置中，无须对多个运动图像信号分别进行编码， 根据一个运动图像信号就能生成与多个运动图像信号对应的多个编码流。由 此，能够生成对应于比以往更多的运动图像信号的编码流，而不会增大运动 图像编码装置的功耗和电路规模，从而能够实现运动图像编码装置的小型化 和省电化。
如上所述，能够生成对应于比以往更多的运动图像信号的编码流，而不 会增大运动图像编码装置的功耗和电路规模。


图1为本发明实施方式1的运动图像编码装置的结构示意框图； 图2为用于对图1所示的运动图像编码装置的动作进行说明的流程图； 图3为用于对图l所示的运动图像编码装置的多流生成处理进行说明的 流程图4为用于对通过多流生成处理编码的运动图像信号进行说明的图5为用于对多流生成处理输出的编码流进行说明的图6为用于对多流生成处理的变形例进行说明的图7 ( A)为用于对实施方式1的变形例1进行说明的流程图7 (B)为用于对实施方式1的变形例2进行说明的流程图8为本发明实施方式2的摄像系统的结构示意框图9为用于对图8所示的摄像系统的运动图像编码处理进行说明的流程
图10为用于对本实施方式的运动图像编码装置应用于摄像装置的例子 进行说明的框图11为用于对现有的运动图像信号的编码进行说明的图。 符号的说明
1运动图像编码装置101控制部102输入部103编码部
104流生成部105重建部106存储部200存储器总线
201控制部202运动图像编码部203外部存储部21照相机部
22照相机I/F部23图像解码部24介质25介质I//F部
26显示部27显示控制部28传输部29传输控制部
30镜头31传感器32模拟/数字转换电路33图像处理电路
34记录电路35重放电路36定时控制电路37系统控制电路
具体实施例方式
以下，参考附图对本发明的实施方式进行说明。 (实施方式1 )
图1示出了本发明实施方式1的运动图像编码装置的结构。该运动图像 编码装置1对多个运动图像信号(这里为5个运动图像信号SS0 SS2b)分 别分配通道，以图4象为单位以时分方式进行编码处理，生成分别与多个运动 图像信号对应的多个编码流(这里为5个编码流STR0 STR2b)。迳动图 《象编码装置1包括控制部101、输入部102、编码部103、流生成部104、重 建部105和存储部106。
控制部101分别控制输入部102、编码部103、流生成部104、重建部 105和存储部106。另外，控制部101执行编码设定的判断、对作为编码对 象的运动图像信号SS0 SS2b的通道分配、通道的指定(应编码的运动图 像信号的指定)以及流生成部104和重建部105的模式设定等。
输入部102接收作为编码对象的运动图像信号SS0-SS2b，将由控制部 101指定的通道对应的运动图像信号(应编码的运动图像信号)的图像提供 给编码部103。
编码部103对输入部102提供的图像进行编码。来自输入部102的图像 为"I图像"时，编码部103对该图像进行帧内预测编码(帧内编码)。另 一方面，来自输入部102的图像为"P图像"时，编码部103从存储部106
中读出与该图像对应的参考图像，利用读出的参考图像对来自输入部102的 图像进行帧间预测编码(帧间编码)。
流生成部104具有普通模式和多流生成模式。如果设定为普通模式，则 流生成部104将经过编码部103编码的图像作为与该图像对应的编码流输 出。另外，如果设定为多流生成模式，则流生成部104执行编码图像的删除， 以便生成其它编码 流。
重建部105具有普通模式和多流生成模式。如果设定为普通模式，则重 建部105根据经过编码部103编码的图像重建原来的图像(编码前的图像)， 将重建的图像作为参考图像写入存储部106。另外，如果设定为多流生成模 式，则重建部105仅根据未被流生成部104删除的编码图像重建参考图像。
存储部106存储与运动图像信号对应的参考图像。
下面参考图2对图1所示的运动图像编码装置1的动作进行说明。其中， 假设运动图像编码装置1的最大通道数(可处理的运动图像信号数)为5, 运动图像编码装置1的最大处理速度(每单位时间内可编码的数据量)为 "49,152,000 ( = 1,280 x 1,280 x 30)像素/s"。即，假设运动图像编码装置 1可处理5个运动图像信号，在1秒钟内可对30帧水平1,280 (像素)x垂 直1,280 (像素)的图像进行编码。 (步骤ST101 )
首先，对作为编码对象的各运动图像信号SS0 SS2b设定分辨率和帧 频。例如进行如下设定。 编码i史定例
运动图像信号SSO…分辨率4VGA ( 1，280x 960 (像素))
帧频30 (f/s) 运动图像信号SSla…分辨率VGA ( 640 x 480 U象素))
帧频30 (f/s) 运动图像信号SSlb…分辨率VGA ( 640 x 480 (像素))
帧频15 (f/s)
运动图像信号SS2a…分辨率QVGA ( 320x240 (像素))
帧频30 ( f/s)
运动图像信号SS2b…分辨率QVGA ( 320 x 240 (像素))
帧频15 (f/s) 控制部101接受有关该编码设定的信息。 (步骤ST102)
接下来，控制部101判断编码设定是否超出运动图像编码装置1的最大 处理性能(例如最大通道数、最大处理速度等)。编码设定未超出最大处理 性能时，执行步骤ST103;否则，执行步骤ST104。详细来说，控制部101 判断编码设定中所示的运动图像信号数是否超出运动图像编码装置1的最 大通道数。并且，控制部101判断对编码设定中所示的运动图像信号以时分 方式进行编码所需的处理速度是否超出运动图像编码装置1的最大处理速 度。编码设定超出最大通道数和最大处理速度之中的至少一个时，执行步骤 ST104。
例如，5个运动图像信号SS0 SS2b的分辨率均为"VGA ( 640 x480 (像素))，，、帧频均为"30 (f/s)"时，因为运动图像信号SS0~SS2b 的时分方式编码处理所需的处理速度(每单位时间内应编码的数据量)为 46,080,000 ( = 640 x 480 x 30 x 5 )像素/s，所以未超出最大处理速度 (49,152,000像素/s)。
另一方面，在上述编码设定例的情况下，各运动图像信号SS0-SS2b 所需的处理速度为
运动图像信号SS0: 36,864,000 ( 1,280 x 960 x 30 )像素/s 运动图像信号SSla: 9,216,000 ( 640x480x 30)像素/s 运动图像信号SSlb: 4，608，000 ( 640 x 480 x 15 )像素/s 运动图像信号SS2a: 2,304,000 (320 x 240 x 30)像素/s 运动图像信号SS2b: 1,152,000 (320x 240 x 15)像素/s
此时，因为运动图像信号SS0 SS2b的时分方式编码处理所需的处理速度 为36,864,000 + 9,216,000 + 4,608,000 + 2,3()4,000 + 1,152,000 = 54,144,000像 素/s，所以超出了最大处理速度(49,152,000像素/s)。 (步骤ST103)
接下来，执行普通编码处理。此时，以图像为单位对运动图像信号sso~
SS2b以时分方式进行编码，生成与运动图像信号SS0 SS2b对应的编码流 STR0-STR2b。详细来说，控制部101为运动图4象信号SS0-SS2b各分配 一个通道，同时，将流生成部104和重建部105设定为普通模式。接着，控 制部101依次指定每一个运动图像信号SS0 SS2b。输入部102将控制部 101指定的运动图像信号的图像提供给编码部103。编码部103对来自输入 部102的图像进行编码。流生成部104将编码部103生成的编码图《象作为与 控制部101指定的运动图像信号对应的编码流输出。重建部105根据编码图 像重建原来的图像(编码前的图像)，将重建的图像作为与控制部101指定 的运动图像信号对应的参考图像写入存储部106。另外，存储部106中存储 与5个运动图像信号SS0~ SS2b对应的5个参考图像。 (步骤ST104)
另一方面，如果在步骤ST102中判断出编码设定超出最大处理性能， 则控制部IOI参考编码设定判断在步骤STIOI中是否已设定分辨率相同而帧 频各不相同的多个运动图像信号。已设定上述运动图像信号时，执行步骤 ST105;未设定上述运动图像信号时，执行步骤STIOI，重新进行编码设定， 以使编码设定不超出运动图像编码装置1的最大处理性能。 (步骤ST105 )
接下来，控制部101参考编码设定对在步骤ST101中设定的多个运动 图像信号按照分辨率进行分組。接着，控制部101从各組中选出具有最大帧 频的运动图像信号。例如，在上述编码设定例的情况下，分为仅包含运动图 像信号SSO的组1、包含运动图像信号SSla和SSlb的組2以及包含运动图 像信号SS2a和SS2b的組3。而且，从组1中选出运动图像信号SSO，从组
2中选出运动图像信号SSla，从组3中选出运动图像信号SS2a。 (步骤ST106)
接下来，控制部101判断从各组中选出的运动图像信号的编码是否超出 运动图像编码装置1的最大处理性能。未超出最大处理性能时，执行步骤 ST107;否则，执行步骤STIOI。详细来说，控制部101判断选出的运动图 像信号数是否超出运动图像编码装置1的最大通道数，并且判断为了对选出 的运动图像信号以时分方式进行编码所需的处理速度是否超出运动图像编 码装置1的最大处理速度。选出的运动图像信号的编码超出最大通道数和最 大处理速度之中的至少一个时，执行步骤STIOI，重新进行编码设定。
例如，在上述编码设定例的情况下，因为选出的运动图像信号数为"3"， 所以未超出最大通道数"5"。
另 一方面，在上述编码设定例的情况下，选出的运动图像信号SSO、 SSla 和SS2a各自所需的处理速度为
运动图像信号SSO: 36,864,000 ( 1,280 x 960 x 30 )像素/s 运动图像信号SSla: 9,216,000 ( 640x 480x30)像素/s 运动图像信号SS2a: 2,304,000 ( 320 x 240 x 30 )像素/s 此时，因为运动图像信号SSO、 SSla和SS2a的时分方式编码处理所需的处 理速度为36,864,000 + 9，216，000+ 2,304,000 = 48,384,000像素/s,所以未超 出最大处理速度(49,152,000像素/s)。 (步骤ST107)
接下来，执行多流生成处理。此时，在运动图像信号SS0 SS2b之中， 仅对步骤ST105中选出的运动图像信号(在上例中为运动图像信号SSO、SSla 和SS2a)以时分方式进行编码。另外，对于在运动图像信号SSO-SS2b之 中未被编码的运动图像信号(例如运动图像信号SSlb)，根据该运动图像 信号的帧频，从具有与该运动图像信号相同分辨率的运动图像信号(例如运 动图像信号SSla)对应的编码流中删除编码图像，从而生成与未被编码的 运动图像信号对应的编码流。在此，参考图3对图2所示的多流生成处理进行说明。还有，此处以上 述编码设定例的情形为例进行说明。此时，控制部101为3个运动图像信号 SS0、 SSla和SS2a各分配有一个通道，存储部106中存储有与3个运动图 像信号SS0、 SSla和SS2a对应的3个参考图像。 (步骤ST111 )
首先，控制部101选择分别分配给在步骤ST105中选出的运动图像信 号SS0、 SSla和SS2a的3个通道之中的任意一个。由此，在步骤ST105中 选出的运动图像信号SS0、 SSla和SS2a之中的任意一个被指定为应编码的 运动图像信号。
(步骤ST112)
接下来，控制部101参考编码设定，从作为编码对象的运动图像信号 SS0~ SS2b之中检索与步骤ST111中被指定的运动图像信号分辨率相同而 帧频不同的运动图像信号。检测出上述运动图像信号时，执行步骤ST113。 另一方面，未检测出上述运动图像信号时，执行步骤ST118。例如，在步骤 ST111中运动图像信号SSla被指定时，控制部101检测出与运动图像信号 SSla属于同一组的运动图像信号SSlb。 (步骤ST113)
接下来，控制部101将流生成部104和重建部105设定为多流生成才莫式。 接着，输入部102将在步骤ST111中被指定的运动图像信号的图像提供给编 码部103。编码部103对来自输入部102的图像进行编码，流生成部104将 经过编码部103编码的图像作为与在步骤ST111中被指定的运动图像信号对 应的编码流输出。
(步骤ST114)
另夕卜，控制部101为了生成与步骤ST112中检测出的运动图像信号(例 如运动图像信号SSlb)对应的编码流(编码流STRlb),根据该运动图像 信号的帧频，确定应从与步骤ST111中指定的运动图像信号对应的编码流 (编码流STRla)中删除的编码图像。而且，在步骤ST113中得到的编码图
像不是"由控制部101所确定的应删除的编码图像"时(即，为"不被删除 的编码图像"时)，流生成部104将编码图像作为与在步骤ST112中4企测出 的运动图像信号对应的编码流(编码流STRlb)输出。另一方面，在步骤 ST113中得到的编码图像是"由控制部101所确定的应删除的编码图像"时 (即，为"被删除的编码图像"时)，不输出编码图像。这样，根据在步骤 ST112中检测出的运动图像信号的帧频，控制编码图像的输出。另外，在步 骤ST 112中检测出多个运动图像信号时，对检测出的各运动图像信号执行上 述处理。
(步骤ST115 )
接下来，重建部105判断在步骤ST113中得到的编码图像是否为在步 骤ST114中从编码流中不被删除的编码图像。为不被删除的编码图像时，执 行步骤ST116,为被删除的编码图像时，执行步骤ST117。 (步骤ST116)
接下来，重建部105根据在步骤ST113中得到的编码图像重建原来的 图像(编码前的图像)，并将重建的图像作为与步骤ST111中指定的运动图 像信号对应的参考图像写入存储部106。 (步骤ST117)
接下来，继续进行编码处理时，执行步骤STlll,控制部101选择下一 个通道。
(步骤ST118 )
另一方面，在步骤ST112中未检测出其它运动图像信号时(例如在步 骤ST111中指定运动图像信号SSO时)，控制部101将流生成部104和重 建部105设定为普通模式。接着，执行与步骤ST113同样的处理，对在步骤 ST111中被指定的运动图像信号的图像进行编码，将通过编码得到的编码图 像作为与该运动图像信号对应的编码流(STRO)输出。
(步骤ST119)
接下来，执行与步骤ST114同样的处理，由重建部105根据编码图像
重建原来的图像，并将重建的图像作为与在步骤ST111中指定的运动图像信 号对应的参考图像写入存储部106。接着，执行步骤ST117。
接下来，参考图4和图5对运动图像编码装置1中的编码处理进行具体 说明。此外，假定图像10 (0) ， Pl (0) ， P2 (0) , P3 (0),…包含在 运动图像信号SS0中，图像IO (1) ， Pl (1) , P2 (1) , P3 (1),…包 含在运动图像信号SSla中，图像IO (2) , Pl (2) ， P2 (2) ， P3 (2)，... 包含在运动图像信号SS2a中。
这里，运动图像信号SSlb的帧频为运动图像信号SSla帧频的"1/2"。 换句话说，运动图像信号SSlb是从运动图像信号SSla中每隔一幅编码图像 就删除一幅编码图像的运动图像信号。因此，与图像P1 (1)和P3 (1)对 应的编码图像D1 ( 1 )和D3 ( 1 )成为"被删除的编码图像"。同样，因为 运动图像信号SS2b是从运动图像信号SS2a中每隔一幅编码图像就删除一幅 编码图像的运动图像信号，所以与图像P1 (2)和P3 (2)对应的编码图像 Dl (2)和D3 (2)成为"被删除的编码图像"。
(图像IO (0) 、 10 ( 1 )和10 (2))
首先，编码部103在规定时间内(此处为1/30 s)依次对3个运动图1象 信号SSO、 SSla和SS2a各自的笫一个图像10 ( 0 ) 、 10 ( 1 )和10 ( 2 )进 行帧内编码，生成编码图像DO ( 0 ) 、 DO ( 1 )和DO ( 2 )。另夕卜，重建部 105根据编码图像DO ( 0 ) 、 DO ( 1 )和DO ( 2 )分别重建图像10 ( 0 ) 、 10 (1)和10(2)，并将重建的图像分别作为与运动图像信号SSO、 SSla和 SS2a对应的参考图像存储到存储部106中。
另外，流生成部104将编码图像DO ( 0 )作为编码流STRO输出。进而， 流生成部104将编码图像DO ( 1 )既作为编码流STRla输出，也作为编码 流STRlb输出。同样，流生成部104将编码图4象DO( 2 )既作为编码流STR2a 输出，也作为编码流STR2b输出。
(图像P1 (0) 、 Pl ( 1 )和Pl (2))
接下来，编码部103对图像Pl (0) 、 Pl ( 1 )和Pl (2)以时分方式
进行帧间编码，生成编码图像D1 (0) 、 Dl ( 1 )和Dl (2)。另外，重建 部105根据编码图像D1 (0)和参考图像IO (0)重建图像P1 (0),将与 运动图像信号SSO对应的参考图像重写为"图像P1(0)"。另一方面，因 为编码图像D1 (1)为"被删除的编码图像，，，所以重建部105不重建图像 Pl ( 1 )。因此，与运动图像信号SSla对应的参考图像仍为"图像IO( 1 )，，。 同样，因为编码图像D1(2)为"被删除的编码图像"，重建部105不重建 图像P1(2)，所以与运动图像信号SS2a对应的参考图像仍为"图像I0(2)"。
另外，流生成部104将编码图像D1 (0) 、 Dl ( 1 )和Dl (2)作为编 码流STRO、 STRla和STR2a输出。另一方面，因为编码图像D1(1)为"被 删除的编码图像"，所以流生成部104不会将编码图像D1 ( 1 )作为编码流 STRlb输出。同样，因为编码图像D1(2)为"被删除的编码图像"，所以 流生成部104不会将编码图l象Dl ( 2 )作为编码流STR2b输出。 (图像P2 (0) 、 P2 ( 1 )和P2 (2))
接下来，对图像P2 (0) 、 P2 ( 1 )和P2 (2)以时分方式进行帧间编 码，生成编码图4象D2 (0) 、 D2 ( 1 )和D2 (2)。在此，对图像P2 ( 0 ) 是将前面相邻的第一个图像P1 (0)作为参考图像进行帧间编码，而对图像 P2 ( 1 )和P2 (2)是将前面相邻的第二个图像10 ( 1 )和10 (2)作为参考 图像进行帧间编码。另外，因为编码图像D2 (0) 、 D2 ( 1 )和D2 (2)均 为"不被删除的编码图像，'，所以根据编码图像D2 (0) 、 D2(1) 、 D2(2) 和参考图像P1 (0) 、 10 ( 1 ) 、 10 (2)分别重建图像P2 (0) 、 P2 ( 1 )和 P2 ( 2 )。
另外，流生成部104将编码图l象D2 ( 0 )作为编码流STRO输出，将编 码图像D2 ( 1 )作为编码流STRla和STRlb输出，将编码图像D2 ( 2 )作 为编码流STR2a和STR2b输出。
如上所述，无须对多个运动图像信号分别进行编码，根据一个运动图像 信号就能生成与多个运动图像信号对应的多个编码流。由此，能够增加编码 流的数量，而不用提高运动图像编码装置的处理性能或者使多个运动图像编 码装置并行处理。因此，即使作为编码对象的运动图像信号数增加，也能够 实现运动图像编码装置的小型化和省电化。
另外，因为对于被删除的编码图像不执行参考图像的重建，所以相应地 能够减少重建参考图像的次数。由此，例如能够减少向存储参考图像的存储
部106的重写存取次数，因而不需要提高存储部106的存取性能，就能够实 现在系统级别上的低成本化和省电化。
此外，不言而喻，作为编码对象的运动图像信号数、运动图像信号的分 辨率或者帧频并不限定于上述示例。 (多流生成处理的变形例)
另外，如图6所示，也可以根据一个运动图像信号生成3个以上的编码 流。例如，可以对分辨率相同而帧频分别为"30fps" 、 "15fps"和"7.5fps" 的3个运动图像信号进行编码。在此，可以说帧频为"15fps"的运动图像 信号相当于从帧频为"30fps"的运动图像信号中每隔一幅图像就删除一幅 图像的信号，帧频为"7.5fps"的运动图像信号相当于从帧频为"30fps"的 运动图像信号中每隔 一 幅图像就删除三幅图像的信号。
此时，编码部103对帧频为"30fps"的运动图像信号所包舍的图像IO， PI, P2, P3,…，P6进行编码，生成编码图^f象DO， Dl， D2， D3,…，D6。 流生成部104将编码图像D0， Dl, D2, D3,…，D6作为与帧频为"30fps" 的运动图像信号对应的编码流输出。
另外，流生成部104将编码图像DO、 D2、 D4和D6作为与帧频为"15fps" 的运动图像信号对应的编码流输出，但对于编码图像D1、 D3和D5,因为 它们是为了生成与"15fps"的运动图像信号对应的编码流而"被删除的图 像，，，所以不作为与帧频为"15fps"的运动图像信号对应的编码流输出。
进而，流生成部104将编码图像DO和D4作为与帧频为"7.5fps"的运 动图像信号对应的编码流输出，但对于编码图像D1、 D2、 D3、 D5和D6， 因为它们是为了生成与"7.5fps"的运动图像信号对应的编码流而"被删除 的图像，，，所以不作为与帧频为"7.5fps"的运动图像信号对应的编码流输
出。
由此，仅对帧频为"30fps"的运动图像信号进行编码，就能够生成3 个编码流。
(实施方式1的变形例1 )
在进行编码部103中的帧间编码时，编码对象图像与参考图像之间的时 间差越大，则图像间的相关性越低，因而编码对象图像与参考图像之间的差 分越容易变大。特别是在诸如作为编码对象的图像所示的运动图像为剧烈运 动的运动图像的情况下，图像间的相关性大幅降低。例如，如果比较图4的 图像Pl ( 1 )和图像P2 ( 1 ),则图像P2 ( 1 )的帧间编码的编码效率;f艮有 可能比图像P1 (1)的帧间编码的编码效率低。
因此，如图7A所示，可以根据作为编码对象的图像与参考图像之间的 时间差而调整图像编码时所用的量化参数值来进行控制。详细来说，控制部 101判断从输入部102提供给编码部103的图像和与该图像对应的参考图像 之间的时间差是否大于规定值(步骤ST120)，当判断为大于规定值时，控 制部101.减小由编码部103设定的量化参数(步骤ST121 )。
通过进行上述控制，能够减轻图像质量的恶化。此外，作为减小量化参 数的方法，例如可以将变更前的量化参数乘上变量a(0<a<l)，也可以 从变更前的量化参数中减去固定值卩(P为自然数)。 (实施方式1的变形例2)
另外，如图7B所示，可以根据作为编码对象的图像与参考图像之间的 时间差而调整图像帧间编码时所用的运动搜索范围来进行控制。详细来说， 控制部101判断从输入部102提供给编码部103的图像和与该图像对应的参 考图像之间的时间差是否大于规定值(步骤ST120)，当判断为大于规定值 时，控制部101扩大由编码部103设定的运动搜索范围(步骤ST122)。例 如，变更前的运动搜索范围在水平方向/垂直方向上为-32~+32时，扩大运 动搜索范围使之在水平方向/垂直方向上为-64~+64。
通过进行上述控制，从作为编码对象的图像之中很容易检测出图像间相
关性高的位置，能够减轻图像质量的恶化。
(实施方式2)
图8示出了本发明实施方式2的摄像系统的结构。该摄像系统2除了包 括负责运动图像编码处理的运动图像编码部202以外，还包括照相机部21、 照相机I/F部22、图像解码部23、介质24、介质1/F部25、显示部26、显 示控制部27、传输部28、传输控制部29、控制这些部的控制部201、这些 部所共享的外部存储部203以及连接这些部和外部存储部203的存储器总线 200。
运动图像编码部202包括图1所示的输入部102、编码部103、流生成 部104和重建部105。控制部201不但控制构成摄〗象系统2的各部件，而且 还执行与图l所示的控制部101同样的处理。另外，在外部存储部203的一 部分上，分配有用于存储运动图像编码处理中所用的参考图像的区域。
外部存储部203，不仅能由运动图像编码部202存取，而且也可以分别 由控制部201、照相机I/F部22、图像解码部23、介质1/F部25、显示控制 部27和传输控制部29存取。特别是在与照相机I/F部22连接的照相机部 21中，搭载有CCD或CMOS传感器等摄像设备，该摄像设备具有的像素数 随摄像系统的种类(普及机型、高级机型等)而各不相同。因此，照相机I/F 部22对外部存储部203的存取量根据照相机部21的规格而变动。另外，作 为与显示控制部27连接的显示部26，既可以使用QVGA分辨率的液晶显示 器，也可以使用HDTV分辨率的等离子显示器等。因此，显示控制部27对 外部存储部203的存取量根据显示部26的规格而变动。这样，对外部存储 部203的存取量不是经常固定，而是根据摄像系统所包括的各部分的规格而 变动。
在图8所示的运动图像编码部202中，根据存储器总线200的传输量(在 规定时间内向外部存储部203传输的数据和从外部存储部203传输的数据的 总量)来切换普通编码处理和多流生成处理。
接下来，参考图9对图8所示的摄像系统的运动图像编码处理进行说明。
首先，与步骤ST101同样，对作为编码对象的各运动图像信号设定分 辨率和帧频，有关编码设定的信息被提供给控制部201 (步骤ST201)。然 后，与步骤ST105同样，控制部201参考编码设定对步骤ST201中设定的 多个运动图像信号按照分辨率进行分组，从各组中选出具有最大帧频的运动 图像信号(步骤ST202 )。接着，控制部201判断存储器总线200的传输量 是否包含在范围内(步骤ST203 ),包含在范围内时，执行与步骤ST103同 样的处理(即普通编码处理)(步骤ST204)。另一方面，未包含在范围内 时，执行与步骤ST107同样的处理(即多流生成处理)(步骤ST205 )。接 下来，当继续编码时，再次执行上述处理(步骤ST206)。
如上所述，当存储器总线200的传输量较多时，执行多流生成处理，运 动图像编码部202 (重建部105)向外部存储部203写入参考图像的次数减 少。由此，难以妨碍运动图〗象编码部202以外的部件存取外部存储部203， 因而能够实现对摄像系统而言最佳的运动图像编码处理。
此外，当然也可以将实施方式1的变形例1和变形例2中各自所示的处 理应用于实施方式2的处理中。
(实施方式3 )
如图10所示，也可以将图1所示的运动图像编码装置1搭载在数字照 相机或网络照相机等摄像系统中。在图10中，摄像系统3包括具备运动图 像编码装置1的图像处理电路33、镜头(光学系统)30、模拟/数字转换电 路32、记录电路34、重放电路35、定时控制电路36和系统控制电路37。
在该摄像系统3中，通过镜头(光学系统)30射入的图像光在传感器 31上成像，进行光电转换。通过光电转换得到的电信号经模拟/数字转换电 路32转换为数字信号后，被提供给图像处理电路33。图像处理电路33执 行Y/C处理、边缘处理、图像的缩放、JPEG或MPEG等图像压缩/解压缩 处理以及图像压缩后的流的控制等。经过图像处理电路33处理的信号被记 录电路34记录。被记录电路34记录的信号通过重放电路35被重放。传感 器31和包含在图像处理电路33中的运动图像编码装置l通过定时控制电路36控制，镜头30、记录电路34、重放电路35和定时控制电路36分别通过 系统控制电路37控制。
此外，也可以使用通过互联网等对经过图像处理电路33处理的信号进 行传输的传输电路来代替记录电路34。此时，重放电路35重放由传输电路 传输的信号。
此外，通过图IO所示的摄像系统，对于将来自镜头30的图像光通过传 感器31进行光电转换并输入模拟/数字转换电路32的照相机设备等进行了 说明，但本发明并不限于此，此外，也可以将电视等AV设备的模拟视频输 入直接连接到模拟/数字转换电路32。
产业上的可利用性
本发明对于要求低功耗编码的It字照相机以及监^L照相才几或网络照相 机等是有用的。
权利要求
1.一种运动图像编码方法，是对包含按时间顺序排列的多个图像的运动图像信号进行编码的方法，其特征在于，该方法包括:a、对所述运动图像信号进行编码，生成编码流；和b、从经过所述步骤a编码的运动图像信号中周期性地删除编码图像，生成与所述运动图像信号帧频不同的其它运动图像信号对应的其它编码流。
2、 根据权利要求1所述的运动图像编码方法，其特征在于， 在所述步骤a中，对分辨率相同而帧频各不相同的m个运动图像信号之中具有最大帧频的第一运动图像信号进行编码，生成与该第一运动图像信 号对应的第一编码流，其中m为2以上的整数；在所述步骤b中，根据所述m个运动图像信号之中除所述第一运动图 像信号以外的m-l个第二运动图像信号各自的帧频，从经过所述步骤a编码 的第一运动图像信号中删除编码图像，生成与该m-l个第二运动图像信号对 应的m-l个第二编码流。
3、 根据权利要求2所述的运动图像编码方法，其特征在于，该方法进一步 包括cl 、判断作为编码对象的运动图像信号数m是否超出预先规定的运动图像 信号数的最大值；和d、当通过所述步骤cl判断出所述运动图像信号数m未超出所述最大值时， 对所述m个运动图像信号以时分方式进行编码，将经过编码的m个运动图像信 号作为m个编码流输出，所述步骤a和所述步骤b分别在所述步骤cl中判断出所述运动图像信号数 m超出所述最大值时执行。
4、 根据权利要求2所述的运动图像编码方法，其特征在于，该方法进 一步包括c2、判断为了对所述m个运动图像信号以时分方式进行编码所需的处理速度是否超出预先规定的最大处理速度；和d、 当通过所述步骤c2判断出所述所需的处理速度未超出所述最大处理 速度时，对所述m个运动图像信号以时分方式进行编码，将经过编码的m 个运动图像信号作为m个编码流输出，所述步骤a和所述步骤b分别在所述步骤c2中判断出所述所需的处理 速度超出所述最大处理速度时执行。
5、 根据权利要求2所述的运动图像编码方法，其特征在于，该方法进 一步包括al 、仅根据经过所述步骤a编码的第 一运动图像信号所包含的多个编码 图像之中在所述步骤b中未被删除的编码图像，重建参考图像，在所述步骤a中，利用所述参考图像对所述第一运动图像信号的图像进 行帧间编码。
6、 根据权利要求5所述的运动图像编码方法，其特征在于， 在所述步骤a中，根据所述第一运动图像信号的图像和与该图像对应的参考图像之间的时间差调整量化参数后，对该图像进行帧间编码。
7、 根据权利要求5所述的运动图像编码方法，其特征在于， 在所述步骤a中，根据所述第一运动图像信号的图像和与该图像对应的参考图像之间的时间差调整运动搜索范围后，对该图像进行帧间编码。
8、 根据权利要求5-7中任意一项所述的运动图像编码方法，其特征在 于，该方法进一步包括e、 判断在规定时间内向存储介质传输的数据和从该存储介质传输的数 据的总量是否包含在规定范围内；和f 、当通过所述步骤e判断出所述数据的总量包含在所述规定范围内时， 对所述m个运动图像信号以时分方式进行编码，将经过编码的m个运动图 像信号作为m个编码流输出，所述存储介质中存储有所述参考图像，所述步骤a、所述步骤b和所述步骤al分别在所述步骤e中判断出所述 数据的总量未包含在所述规定范围内时执行。
9、 一种运动图像编码装置，是对包含按时间顺序排列的多个图像的运 动图像信号进行编码的装置，其特征在于，该装置包括编码部，对所述运动图像信号进^f亍编码，生成编码流；和流生成部，从经过所述编码部编码的运动图像信号中周期性地删除编码图像，生成与所述运动图像信号帧频不同的其它运动图像信号对应的其它编码流。
10、 根据权利要求9所述的运动图像编码装置，其特征在于， 所述编码部对分辨率相同而帧频各不相同的m个运动图像信号之中具有最大帧频的第一运动图像信号进行编码，生成与该第一运动图像信号对应 的第一编码流，其中m为2以上的整数；所述流生成部根据所述m个运动图像信号之中除所述第一运动图像信 号以外的m-l个第二运动图像信号各自的帧频，从经过所述编码部编码的第 一运动图像信号中删除编码图像，生成与该m-l个第二运动图像信号对应的 m-l个第二编码流。
11、 根据权利要求10所述的运动图像编码装置，其特征在于，该装置 进一步包括控制部，判断作为编码对象的运动图像信号数m是否超出预先规定的 运动图像信号数的最大值，所述编码部在所迷控制部判断出所述运动图像信号数m未超出所述最 大值时，对所述m个运动图像信号以时分方式进行编码，生成与该m个运 动图像信号对应的m个编码流，而在所述控制部判断出所述运动图像信号 数m超出所述最大值时，对所述m个运动图像信号之中的所述第 一运动图 像信号进行编码，生成所述第一编码流，所述流生成部在所述控制部判断出所述运动图像信号数m超出所述最 大值时，从经过所述编码部编码的第一运动图像信号中删除所述编码图像， 生成所述m-l个第二编码流。
12、 根据权利要求10所述的运动图像编码装置，其特征在于，该装置 进一步包括控制部，判断为了对所述m个运动图像信号以时分方式进行编码所需 的处理速度是否超出预先规定的最大处理速度，所述编码部在所述控制部判断出所述所需的处理速度未超出所述最大 处理速度时，对所述m个运动图像信号以时分方式进行编码，生成与该m 个运动图像信号对应的m个编码流，而在所述控制部判断出所述所需的处 理速度超出所述最大处理速度时，对所述m个运动图像信号之中的所述第 一运动图像信号进行编码，生成所述第一编码流，所述流生成部在所述控制部判断出所述所需的处理速度超出所述最大 处理速度时，从经过所述编码部编码的第一运动图像信号中删除所述编码图 ^像，生成所述m-l个第二编码流。
13、 一种摄像系统，其特征在于，该摄像系统包括 图像处理电路，包含权利要求9~12中任意一项所述的运动图像编码装置；和模拟/数字转换电路，将来自外部的电信号转换为数字信号并作为所述 运动图像信号提供给所述图像处理电路。
14、 根据权利要求13所述的摄像系统，其特征在于，该摄像系统进一 步包括摄像电路，将被摄物的影像转换为电信号，所述模拟/数字转换电路将通过所述摄像电路得到的电信号转换为所述 数字信号。
全文摘要
本发明涉及运动图像编码方法和装置以及摄像系统，目的在于不增大运动图像编码装置的功耗和电路规模而生成与更多运动图像信号对应的编码流。对运动图像信号进行编码，生成编码图像D0(1)，D1(1)，D2(1)，D3(1)，…，并作为与4VGA/30fps的运动图像信号对应的编码流STR1a输出。另外，从生成的编码图像D0(1)，D1(1)，D2(1)，D3(1)，…中删除编码图像D1(1)和D3(1)，生成与4VGA/15fps的运动图像信号对应的编码流STR1b。
文档编号H04N7/26GK101374237SQ200810214018
公开日2009年2月25日 申请日期2008年8月22日 优先权日2007年8月23日
发明者北村臣二 申请人:松下电器产业株式会社