图像处理设备、图像处理方法和程序的制作方法

专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法和程序。更具体地，本发明涉及一种
用于处理图像的图像处理设备和图像处理方法，以及一种在所述图像处理设备中使用的程
序。本专利申请在此以引用方式并入以下日本专利申请的内容(如果适用)2008年3月25 日提交的No. 2008-078636、2008年3月25日提交的No. 2008_078641、2008年3月31提交的 No. 2008-091562和2008年4月4日提交的No. 2008-098600。本专利申请要求以下日本专利 申请的优先权并将其内容以引用方式并入此处2007年7月20日提交的No. 2007-190149、 2007年9月10日提交的No. 2007-234756、2008年6月5日提交的No. 2008-148576和2008 年6月5日提交的No. 2008-148584。
背景技术：
例如，日本专利No. 2828977中公开的一种已知的运动图像编码设备将已编码的 屏幕图像与要编码的屏幕图像进行比较，以标识屏幕内的改变区域；将要编码的屏幕图像 分为多个图像块；并且对包括改变区域在内的图像块进行编码。在对包括改变区域在内 的图像块进行编码时，同分配给包含改变区域中其余区域在内的图像块的信息比特数目 相比，该运动图像编码设备将较大数目的信息比特分配给包含改变区域中另一限制区域 在内的图像块。此外，例如在日本专利申请公开No. 2003-250132中公开了 一种已知的数 字图像产生方法，产生与数字图像的主体的重要性相关的附加信息和与主体相对应的背 景区域，并且以与该附加信息相关联的方式来保存通过对数字图像进行压縮而得到的压 縮数字图像。有一种已知的视频记录器/播放器，根据数据的重要性来动态改变对输入 数据进行压縮的水平，并以较低的压縮水平来存储重要数据(参见例如日本专利申请公 开No. 2003-189242)。此外，还有一种已知的运动图像压縮器，即使在从监视摄像机提供 的图像数据包含较大运动的情况下，也能使监视器的屏幕上显示的被监视对象的图像保 持清晰，以允许观看者对所监视区域的情形进行充分观察(参见例如日本专利申请公开 No.10-70716)。

发明内容
本发明要解决的技术问题 然而，上述专利文献中公开的技术不能根据区域的特征来对多个区域中的每一个
进行压縮。日本专利申请公开No. 2003-189242的发明基于运动区域的位移矢量来确定运
动矢量。日本专利申请公开No. 10-70716的发明可以增大运动区域的量化粗糙度。然而，
日本专利申请公开No. 2003-189242和日本专利申请公开No. 10-70716的技术不能以合适
的压縮率来压縮图像，这是由于这些技术不能以适配于对象的方式对运动区域中的任何对
象进行压縮和编码。 解决问题的技术方案 为了解决上述问题，本发明的第一实施例提供了一种图像处理设备，包括特征区
7域检测部分，检测图像中的多个特征区域；条件存储部分，在其上存储根据特征区域的特征 而不同的分配条件，以便根据特征区域的特征来分配不同的压縮强度；压縮部分，分别对多 幅特征区域图像进行压縮，所述多幅特征区域图像是所述多个特征区域的图像；以及压縮 控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压縮部分分 别对所述多幅特征区域图像进行压縮的压縮强度进行控制。 特征区域检测部分可以检测运动图像中包括的多幅运动图像分量图像中的多个
特征区域。压縮控制部分可以参照条件存储部分上存储的条件，根据所述多个特征区域的
特征，来对压縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进行控制。 条件存储部分可以在其上存储根据特征区域的类型而不同的条件。压縮控制部分
可以参照条件存储部分上存储的条件，根据所述多个特征区域的类型，来对压縮部分分别
对所述多幅特征区域图像进行压縮的压縮强度进行控制。 特征区域检测部分可以检测多幅运动图像分量图像中具有不同类型特征的多个 特征区域，压縮部分可以分别对多幅特征区域运动图像进行压縮，其中每一幅特征区域运 动图像包括所述多幅运动图像分量图像中具有相同类型特征的多幅特征区域图像。压縮控 制部分可以参照条件存储部分上存储的条件，根据特征区域运动图像中包括的多幅特征区 域图像的特征类型，对压縮部分对所述多幅特征区域运动图像中每一幅进行压縮的压縮强 度进行控制。 条件存储部分可以在其上存储根据特征区域的类型而不同的图像质量降低量；压 縮部分可以包括图像质量降低部分，降低多幅特征区域运动图像的图像质量，其中每一幅 特征区域运动图像包括所述多幅运动图像分量图像中具有相同类型特征的多幅特征区域 图像；以及压縮控制部分可以参照条件存储部分上存储的图像质量降低量，根据特征区域 运动图像中包括的多幅特征区域图像的特征类型，对图像质量降低部分将所述多幅特征区 域运动图像中每一幅的图像质量降低的图像质量降低量进行控制。 本发明的第二实施例提供了一种图像处理方法，包括检测图像中的多个特征区 域；存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的 压縮强度；对多幅特征区域图像进行压縮，所述多幅特征区域图像是所述多个特征区域的 图像；以及参照存储步骤中存储的条件，根据所述多个特征区域的特征，对压縮步骤中分别 对所述多幅特征区域图像进行压縮的压縮强度进行控制。 本发明的第三实施例提供了一种与图像处理设备一起使用的程序。所述程序使图 像处理设备用作特征区域检测部分，检测图像中的多个特征区域；条件存储部分，在其上 存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压縮 强度；压縮部分，分别对多幅特征区域图像进行压縮，所述多幅特征区域图像是所述多个特 征区域的图像；以及压縮控制部分，参照条件存储部分上存储的条件，根据所述多个特征区 域的特征，对压縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进行控制。
根据本发明的第四方面，提供了一种图像处理设备，包括特征区域检测部分，从 图像中检测多个特征区域；以及压縮部分，根据所述多个特征区域中包括的对象的特征的 量，以不同的编码方式分别对所述多个特征区域的图像进行压縮。所述图像处理设备还可 以包括编码方式存储部分，以与对象的特征的量相关联的方式来存储编码方式，并且所述 压縮部分可以以编码方式存储部分中以与所述多个特征区域中包括的对象的特征的量相
8关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压縮。 编码方式存储部分可以以与对象的类型相关联的方式来存储编码方式，并且压縮
部分可以以编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方
式而存储的编码方式，分别对所述多个特征区域的图像进行压縮。特征区域检测部分可以
从运动图像(即前述图像)中包括的多幅运动图像组成图像中的每一幅中检测多个特征区
域，并且压縮部分可以以编码方式存储部分中以与所述多个特征区域中包括的对象的类型
相关联的方式而存储的编码方式，分别对所述多幅运动图像组成图像中每一幅中的多个特
征区域的图像进行压縮。 根据本发明的第五方面，提供了一种图像处理方法，包括从图像中检测多个特征区域；以及根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压縮。根据本发明的第六方面，提供了一种用于图像处理设备的程序，所述程序控制图像处理设备用作特征区域检测部分，从图像中检测多个特征区域；以及压縮部分，根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压縮。 这里，在发明内容中未列出本发明的所有必要特征。这些特征的子组合可以形成本发明。


图1示意了与本发明的实施例相关的图像处理系统2010的示例。 图2示意了图像处理设备2120的示例模块配置。 图3示意了图像处理设备2170的示例模块配置。 图4示意了图像处理设备2120执行的操作的示例流程。 图5示出了作为示例的特征区域运动图像的图像质量和背景区域运动图像的图像质量。 图6示意了图像处理设备2170执行的操作的示例流程。 图7示意了图像处理设备2120中包括的压縮控制单元2700的示例配置。 图8示意了条件存储部分2750上存储的数据的示例。 图9示意了条件存储部分2750上存储的数据的不同示例。 图10示意了信息量计算部分2720上存储的数据的示例。 图11示意了压縮强度确定部分2740执行的确定压縮强度的示例操作。 图12示意了作为示例的信息量计算部分2720所计算的信息量随时间的变化。 图13示意了作为示例的ROI的边界区域。 图14示意了图像处理设备2120的另一示例模块配置。 图15A示意了级间差异压縮部分2282a和2282b的示例模块配置。 图15B示意了运动分析部分2285a和差异处理部分2287a的示例模块配置。 图15C示意了运动分析部分2285b和差异处理部分2287b的示例模块配置。 图16示意了与不同实施例相关的图像处理系统2020的示例配置。 图17示意了图像处理设备2120和2170的示例硬件配置。 图18示出了根据实施例的图像处理系统3010的一个示例。
图19示出了图像处理设备3120的一示例模块配置。 图20A示出了级间差异压縮部分3282a和3282b的一示例模块配置。 图20B示出了级间差异压縮部分3282a中包括的运动分析部分3285a和差异处理
部分3287a的一示例模块配置。 图20C示出了级间差异压縮部分3282b中包括的运动分析部分3285b和差异处理部分3287b的一示例模块配置。 图21示出了压縮控制部分3250的一示例模块配置。 图22示出了根据另一实施例的图像处理设备3120的一示例模块配置。 图23示出了编码部分3231的一示例模块配置。 图24示出了图像处理设备3170的一示例模块配置。 图25是示出了编码方式存储部分3410中存储的示例数据的表。 图26示出了编码方式存储部分3410中存储的示例量化步长校正值。 图27示出了校正前的码量的比值与量化校正量Q之间的关系。 图28是示出了编码方式存储部分3410中存储的另一示例数据的表。 图29示出了用于确定差异获得目标区域的差异获得目标区域确定部分3294的示
例确定方法。 图30示出了图像处理系统3020的示例。 图31示出了图像处理设备3120和图像处理设备3170的一示例硬件配置。
具体实施例方式
以下将描述本发明的一些实施例。这些实施例不限制根据权利要求的本发明，并且对本发明的各方面所提供的手段而言，实施例中描述的特征的全部组合不一定是必不可少的。 图1示意了与本发明的实施例相关的图像处理系统2010的示例。图像处理系统
2010被设计为维持特征主体的图像的高质量，并且可以降低整幅图像的数据量。 图像处理系统2010包括多个图像捕捉设备2100a至2100c (以下统称为图像捕
捉设备2100)，用于捕捉被监视空间2150的图像；多个图像处理设备2120a至2120c (以下
统称为图像处理设备2120)，用于处理图像；图像处理设备2170 ;通信网络2110 ;图像数据
库2175和多个显示设备2180a至2180c (以下统称为显示设备2180)。 图像处理设备2120a连接至图像捕捉设备2100a。图像处理设备2120b连接至图
像捕捉设备2100b。图像处理设备2120c连接至图像捕捉设备2100c。图像处理设备2170
和显示设备2180在与被监视空间2150不同的空间2160内提供。 以下描述图像捕捉设备2100a、图像处理设备2120a、图像处理设备2170和显示设备2180a的操作。图像捕捉设备2100a捕捉被监视空间2150的图像，对捕捉运动图像进行MPEG编码以产生捕捉运动图像数据，并将产生的捕捉运动图像数据输出至图像捕捉设备2100a所连接的图像处理设备2120a。 这里，图像捕捉设备2100a包括图像捕捉部分2102a和捕捉运动图像压縮部分2104a。图像捕捉部分2102a对被监视空间2150进行图像捕捉，以产生捕捉运动图像中包括的多幅运动图像分量图像。图像捕捉部分2102a可以以RAW格式来产生运动图像分量图像。捕捉运动图像压縮部分2104a对图像捕捉部分2102a产生的具有RAW格式的运动图像分量图像执行颜色估计(重合)处理以获得包括多幅运动图像分量图像在内的捕捉运动图像，并且使用如MPEG编码之类的技术对捕捉运动图像进行压縮。按照这种方式，捕捉运动图像压縮部分2104a产生捕捉运动图像数据。 图像处理设备2120a获得图像捕捉设备2100a产生的捕捉运动图像数据。图像处理设备2120a对从图像捕捉设备2100a获得的捕捉运动图像数据进行解码以所产生的捕捉
运动图像，并且检测捕捉运动图像中的多个特征区域。这里，特征区域包含不同类型的特征，包括人2130和运动物体2140 (如车辆)。基于捕捉运动图像，图像处理设备2120a产生与不同类型的特征一一对应的多幅特征区域运动图像。在每幅特征区域运动图像中，特征区域中相应的一个具有比其余区域更高的图像质量。图像处理设备2120a还产生背景区域运动图像，该背景区域运动图像是捕捉运动图像中除特征区域之外的背景区域的运动图像。背景区域运动图像具有比特征区域运动图像更低的图像质量。 图像处理设备2120a对特征区域运动图像和背景区域运动图像分别进行编码，以产生多份特征区域运动图像数据和一份背景区域运动图像数据。同时，图像处理设备2120a将多份特征区域运动图像数据与一份背景区域运动图像数据互相关联，并将互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据经由通信网络2110发送至图像处理设备2170。 图像处理设备2170对从图像处理设备2120a接收到的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据分别进行解码，以获得多幅特征区域运动图像和背景区域运动图像。图像处理设备2170将特征区域运动图像与背景区域运动图像进行组合，以产生单幅组合运动图像，并将该组合运动图像提供给显示设备2180a。显示设备2180a显示从图像处理设备2170提供的运动图像。 图像处理设备2170可以将组合运动图像或从图像处理设备2120a获得的捕捉运动图像数据记录在图像数据库2175上。图像处理设备2170可以响应于显示设备2180a发出的请求，将图像数据库2175上记录的组合运动图像提供给显示设备2180a。如上所述，图像处理设备2170可以对图像数据库2175上记录的捕捉运动图像数据进行解码，并响应于显示设备2180a发出的请求，将得到的运动图像提供给显示设备2180a。图像数据库2175可以具有非易失性记录介质(如硬盘)，并在记录介质上记录从图像处理设备2170提供的组合运动图像。 图像捕捉设备2100b和2100c分别包括具有与图像捕捉设备2100a的组件相同功能的组件。图像捕捉设备2100c和2100b具有与图像捕捉设备2100a相同的功能和操作，但是图像捕捉设备2100b和2100c分别将捕捉运动图像数据提供给图像处理设备2120b和2120c。因此，这里不对图像捕捉设备2100b和2100c进行解释。注意，以下描述可能将图像捕捉部分2102a至2102c称为图像捕捉部分2102，并且可能将捕捉运动图像压縮部分2104a至2104c称为捕捉运动图像压縮部分2104。 图像处理设备2120b和2120c可以具有与图像处理设备2120a相同的功能和操作，但是图像处理设备2120b和2120c分别从图像捕捉设备2100b和2100c获得捕捉运动图像数据。因此，这里不对图像处理设备2120b和2120c进行解释。图像处理设备2170基于从图像处理设备2120b和2120c中的每一个接收到的、互相关联的多个特征区域运动图
11像数据和背景区域运动图像数据来产生单幅运动图像，并将该单幅运动图像提供给显示设备2180b和2180c中相应的一个。显示设备2180b和2180c分别显示从图像处理设备2170提供的运动图像。 当例如用作监视系统时，与本实施例相关的图像处理系统2010能够保持人、运动物体和要监视的其他特征主体的高质量图像。此外，与本实施例相关的图像处理系统2010能够减少运动图像的数据量。 图2示意了图像处理设备2120的示例模块配置。图像处理设备2120包括压縮运动图像获得部分2201、压縮运动图像扩展部分2202、特征区域检测部分2203、图像划分部分2204、图像产生部分2205、值固定单元2210、降低单元2220、编码单元2230、关联部分2206和输出部分2207。 值固定单元2210包括多个值固定部分2211a至2211c(以下统称为值固定部分2211)。降低单元2220包括多个图像质量降低部分2221a至2221d(以下统称为图像质量降低部分2221)。 编码单元2230包括背景区域运动图像编码部分2231a和多个特征区域运动图像编码部分2231b至2231d(以下统称为特征区域运动图像编码部分2231)。这里，背景区域运动图像编码部分2231a和特征区域运动图像编码部分2231b至2231d可以统称为编码部分2231。 图像质量降低部分2221a和背景区域运动图像编码部分2231a—起用作压縮部分2240a。图像质量降低部分2221b和特征区域运动图像编码部分2231b —起用作压縮部分2240b。图像质量降低部分2221c和特征区域运动图像编码部分2231c —起用作压縮部分2240c。图像质量降低部分2221d和特征区域运动图像编码部分2231d —起用作压縮部分2240d。这些压縮部分2240a至2240d统称为压縮部分2240。 压縮运动图像获得部分2201获得压縮运动图像。具体而言，压縮运动图像获得部分2201获得由图像捕捉设备2100产生的捕捉运动图像数据。压縮运动图像扩展部分2202对压縮运动图像获得部分2201获得的运动图像进行解压，以产生运动图像中包括的运动图像分量图像。具体而言，压縮运动图像扩展部分2202对压縮运动图像获得部分2201获得的捕捉运动图像数据进行解码，以产生运动图像中包括的运动图像分量图像。运动图像分量图像可以是帧图像、场图像等等。 特征区域检测部分2203检测运动图像中包括的运动图像分量图像中的特征区
域。图像划分部分2204将每个运动图像分量图像划分为特征区域和背景区域。 图像产生部分2205从运动图像分量图像中提取特征区域图像，以产生多幅特征
区域压縮运动图像。这里，每一幅特征区域压縮运动图像包括多幅特征区域图像。具体而
言，图像产生部分2205通过复制运动图像来产生用于产生多幅特征区域运动图像的多幅
特征区域压縮运动图像和用于产生背景区域运动图像的背景区域压縮运动图像。 值固定部分2211将每一幅特征区域压縮运动图像中包括的运动图像分量图像中
不同于特征区域的区域(以下称为非特征区域)的像素值设置为固定值。例如，值固定部
分2211将特征区域压縮运动图像中非特征区域的像素值设置为预定值(例如将亮度值设
置为0)。然后，压縮部分2240以根据特征区域压縮运动图像的特征量而确定的强度，对包
括其中非特征区域的像素值被设为固定值的运动图像分量图像在内的每一幅特征区域压
12縮运动图像进行压縮。如上所述，压縮部分2240以根据压縮运动图像的特征量而确定的强
度，对特征区域压縮运动图像和背景区域压縮运动图像独立地进行压縮。 如上所述，特征区域检测部分2203检测图像中的特征区域。图像划分部分2204
将每幅图像划分为特征区域和背景区域。压縮部分2240以不同的强度对示出特征区域的
特征区域图像和示出背景区域的背景区域图像独立地进行压縮。压縮部分2240以不同的
强度对每幅包括多幅特征区域图像的特征区域运动图像和每幅包括多幅背景区域图像的
背景区域运动图像分别进行压縮。 压縮部分2240b、2240c和2240d中的每一个被配置为对预定类型的特征区域运动图像进行压縮。压縮部分2240b、2240c和2240d中的每一个对示出预定类型特征的特征区域运动图像进行压縮。这里，以与特征类型相关联的方式，预先确定对示出不同类型特征的特征区域运动图像进行压縮的压縮强度。压縮部分2240b、2240c和2240d中的每一个以与预定特征类型相关联的预定压縮强度来对示出预定类型特征的特征区域运动图像进行压縮。按照这种方式，压縮部分2240使用以与图像划分部分2204定义的图像区域一一对应的方式提供的压縮器来并行压縮多个区域。 压縮部分2240可以由单一压縮器来实现。在这种情况下，压縮部分2240可以在时间上依次压縮特征区域运动图像和背景区域运动图像。备选地，压縮部分2240可以通过以针对特征类型和区域背景预先确定的压縮率对图像划分部分2204定义的区域进行压縮，来对压縮运动图像扩展部分2202的解码操作获得的捕捉运动图像进行压縮。按照这种方式，压縮部分2240可以产生份运动图像数据。 注意，特征区域检测部分2203在运动图像中包括的多幅运动图像分量图像中检测到具有不同类型特征的多个特征区域。图像划分部分2204将每幅运动图像分量图像划分为多个特征区域和背景区域。压縮部分2240以根据运动图像的特征量而确定的强度，对多幅特征区域运动图像和背景区域运动图像分别进行压縮。在此，这里的特征量指示主体类型、对象大小、运动物体的运动速度和特征区域大小中的任一项。 具体而言，对于特征区域运动图像和背景区域运动图像，图像质量降低部分2221通过根据它们的相应的特征量降低它们的图像质量，来对它们进行压縮。更具体地，对于特征区域运动图像和背景区域运动图像，图像质量降低部分2221通过根据它们的相应的特征量降低帧率的分辨率，来对它们进行压縮。对于特征区域运动图像和背景区域运动图像，编码部分2231通过使用根据它们的相应的特征量而设置的值对运动图像进行编码，来对它们进行压縮。例如，对于特征区域运动图像和背景区域运动图像，编码部分2231通过使用根据它们的相应的特征量而分配的码量对运动图像进行编码，来对它们进行压縮。
关联部分2206将多个压縮部分2240通过对特征区域运动图像和背景区域运动图像进行压縮而产生的多个特征区域运动图像数据和背景区域运动图像数据互相关联。例如，这种关联是通过添加标记信息来实现的。输出部分2207将由关联部分2206互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据发送至通信网络2110。
根据图2所示的配置，图像处理设备2120中包括的压縮部分2240以一一对应的方式对特征区域图像和背景区域图像进行压縮。然而，根据不同的配置，图像处理设备2120可以包括单一压縮部分2240，该单一压縮部分2240可以以不同的强度对特征区域图像和背景区域图像分别进行压縮。例如，可以以时间共享的方式，将特征区域图像和背景区域图像依次提供给单一压縮部分2240，并且单一压縮部分2240可以以不同的强度依次对特征区域图像和背景区域图像分别进行压縮。 备选地，单一压縮部分2240可以通过分别以不同的量化系数对特征区域的多条
图像信息和背景区域的一条图像信息分别进行量化，来以不同的强度对特征区域图像和背
景区域图像分别进行压縮。此外，可以将特征区域图像和背景区域图像转换为具有不同图
像质量的图像，并且可以将得到的图像提供给单一压縮部分2240。单一压縮部分2240可以
对从特征区域图像和背景区域图像获得的所提供的图像分别进行压縮。 在单一压縮部分2240以不同的量化系数对每个区域的图像进行量化或者对具有
不同图像质量的每个区域的图像进行压縮的上述实施例中，单一压縮部分2240可以对单
一整幅图像或者图像划分部分2204定义的图像的每个部分区域进行压縮(如参照图2所
述)。当单一压縮部分2240对单一整幅图像进行压縮时，图像划分部分2204执行的图像划
分操作和值固定部分2211执行的值固定操作不是必要的。因此，图像处理设备2120可以
被配置为不具有图像划分部分2204和值固定单元2210。 图3示意了图像处理设备2170的示例模块配置。图像处理设备2170包括压縮运动图像获得部分2301、关联分析部分2302、压縮运动图像扩展单元2310、组合部分2303和输出部分2304。压縮运动图像扩展单元2310包括多个压縮运动图像扩展部分2311a至2311d(以下统称为压縮运动图像扩展部分2311)。 压縮运动图像获得部分2301获得从输出部分2207输出的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。例如，关联分析部分2302对添加的标记信息进行分析，以检索压縮运动图像获得部分2301获得的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。 压縮运动图像扩展部分2311对多份特征区域运动图像数据和一份背景区域运动图像数据进行解码。具体而言，压縮运动图像扩展部分2311a对背景区域运动图像数据进行解码。压縮运动图像扩展部分2311b至2311d中的每一个对特征区域运动图像数据中的一份进行解码。按照这种方式，压縮运动图像扩展部分2311a至2311d获得背景区域运动图像和多幅特征区域运动图像。这里，以与多个不同类型特征一一对应的方式提供压縮运动图像扩展部分2311b至2311d，压縮运动图像扩展部分2311b至2311d中的每一个对一种类型的一份特征区域运动图像数据进行解码。 组合部分2303将通过压縮运动图像扩展部分2311的解码操作而获得的运动图像分量图像组合在一起。具体而言，组合部分2303通过将从压縮运动图像扩展部分2311b至2311d的解码操作得到的特征区域运动图像中包括的运动图像分量图像重叠至背景区域运动图像中包括的运动图像分量图像上，来产生运动图像分量图像。输出部分2304将包括组合部分2303所产生的运动图像分量图像在内的运动图像提供给显示设备2180。这里，输出部分2304可以将包括组合部分2303所产生的运动图像分量图像在内的运动图像记录在图像数据库2175上。图像处理设备2170可以将从输出部分2207输出的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据记录在图像数据库2175上。在这种情况下，压縮运动图像获得部分2301可以从图像数据库2175获得互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。 根据本实施例，压縮运动图像扩展单元2310包括多个压縮运动图像扩展部分
142311，其数目与特征类型的数目相对应。然而，在其他实施例中，压縮运动图像扩展单元2310可以包括单一压縮运动图像扩展部分2311，该单一压縮运动图像扩展部分2311可以依次对一份背景区域运动图像数据和多份特征区域运动图像数据进行解码。当图像处理设备2120向图像处理设备2170提供单份运动图像数据时，单一压縮运动图像扩展部分2311可以对所提供的单份运动图像数据进行解码，并且输出部分2304可以输出解码操作所获得的运动图像。 图4示意了图像处理设备2120执行的操作的示例流程。在步骤2401中，压縮运动图像获得部分2201获得捕捉运动图像数据。压縮运动图像扩展部分2202通过对捕捉运动图像数据进行解码来产生多幅帧图像2410。在步骤2402中，特征区域检测部分2203基于每幅帧图像2410或多份帧图像2410所示的内容来检测感兴趣的区域(ROI) ，ROI被示为特征区域的示例。 特征区域检测部分2203检测包含人脸、人体和运动物体的区域，作为不同类型的ROI。例如，特征区域检测部分2203通过模式匹配技术等来检测包含以高于预定匹配度的匹配度与人脸的预定图案相匹配的对象在内的区域，并将检测到的脸部区域指定为ROI。此外，特征区域检测部分2203通过模式匹配技术等来检测包含以高于预定匹配度的匹配度与人体图案相匹配的对象在内的区域，并将检测到的区域指定为ROI。这里，特征区域检测部分2203可以检测脸部区域附近的身体区域。 特征区域检测部分2203基于多幅帧图像所示的内容来标识包含运动物体在内的运动区域。例如，特征区域检测部分2203将在帧图像之间像素值变化大于预定值的区域标识为运动区域。此外，特征区域检测部分2203使用边缘提取技术等从帧图像中提取对象。特征区域检测部分2203可以依次标识以高于预定匹配度的匹配度互相匹配并且在不同帧图像中位于不同位置的对象，并且将包含所标识对象在内的区域标识为运动区域。
如上所述，特征区域检测部分2203将满足与图像内容相关的预定条件的区域检测为ROI。具体而言，特征区域检测部分2203将包含满足预定条件的对象在内的区域检测为ROI。例如，特征区域检测部分2203将包含以高于预定匹配度的匹配度与预定形状相匹配的对象在内的区域检测为ROI。此外，特征区域检测部分2203将图像变化比预定变化更为显著的区域检测为ROI。例如，特征区域检测部分2203将帧图像之间像素值变化大于预定变化的区域检测为ROI。 除了上述列出的人脸和人体之外，特征区域检测部分2203可以将示出人的头部的一部分、人体的一部分(如手)或不同于人的活体对象的至少一部分的区域检测为ROI。注意，活体对象包括活体对象内的特定组织，例如肿瘤组织或血管。此外，除了活体对象之外，特征区域检测部分2203可以将示出货币、卡(如现金卡)、车辆或车辆的牌照的区域检测为ROI。 除了包括模板匹配技术在内的模式匹配技术之外，特征区域检测部分2203可以使用例如日本专利申请公开No. 2007-188419中公开的机器学习(例如adaboost)的结果来检测ROI。例如，特征区域检测部分2203基于从预定主体的图像中提取的图像特征量和从不同于预定主体的主体的图像中提取的图像特征量，来学习从预定主体的图像中提取的图像特征量的独特性。特征区域检测部分2203可以将从中提取了具有与所学习的独特性相匹配的独特性的图像特征量的区域检测为ROI。按照这种方式，特征区域检测部分2203可以将示出预定主体的区域检测为ROI。特征区域检测部分2203可以检测具有任何形状 (例如矩形)的ROI。 特征区域检测部分2203可以使用在日本专利申请No. 2008-078641中公开的方法 来检测特征区域。例如，特征区域检测部分2203以单一或多个预定速率来丢弃要在其中检 测对象的所捕捉的图像中的一些像素。按照这种方式，特征区域检测部分2203产生由所捕 捉的图像和一个或多个像素丢弃后的图像组成的图像组。特征区域检测部分2203将第一 滤波器应用至第一图像来计算评估值。这里，在所产生的图像组中包括的图像中，第一图像 具有相对较小的大小，并且，第一滤波器作用于图像上的二维区域，并产生表示该区域内存 在特定类型对象的可能性的评估值。第一滤波器可以从分别作用于不同大小的区域的滤波 器组中选择，并且被设计为作用于相对较小的区域，其中，根据图像上区域的大小，每个滤 波器具有预定数目的像素。特征区域检测部分2203从第一图像中提取主候选区域，该主候 选区域产生超过预定第一阈值的评估值。 然后，特征区域检测部分2203将第二滤波器应用至第二图像中与主候选区域相 对应的区域，以计算评估值，其中，第二图像所具有的像素比第一图像多预定数目，第二滤 波器是从所述滤波器组中选择的并被设计为作用于比第一滤波器所作用的区域大预定大 小的区域。按照这种方式，特征区域检测部分2203提取次候选区域，该次候选区域产生超 过预定第二阈值的评估值。 特征区域检测部分2203将被设计为作用于不同大小的区域的上述滤波器组应用 至图像组中包括的相应大小的区域，以重复上述提取候选区域的提取操作。这里，特征区域 检测部分2203以如下方式重复执行提取操作从应用被设计为作用于相对较小区域的滤 波器的提取操作开始，依次增大所应用的滤波器所作用的区域的大小。具体而言，特征区域 检测部分2203以如下方式重复并依次执行提取操作从将被设计为作用于相对较小区域 的滤波器应用至相对较小图像的提取操作开始，以将被设计为作用于相对较大区域的滤波 器应用至相对较大图像的提取操作结束。特征区域检测部分2203重复执行两个或更多提 取操作，以提取最终候选区域。按照这种方式，特征区域检测部分2203检测特定类型的对 象。然后，特征区域检测部分2203将其中存在该特定类型对象的区域检测为特征区域。如 上所述，特征区域检测部分2203将滤波器的应用限制于恰在之前的提取操作中提取的区 域。换言之，相应提取操作依次判断对象是否存在。因此，特征区域检测部分2203可以精 确地检测特征区域。此外，由于上述方法使用较小区域来大致检测特征区域，因此特征区域 检测部分2203可以在较短时间内检测特征区域。 备选地，特征区域检测部分2203可以通过使用日本专利申请No. 2008-078636中 公开的方法来检测特征区域。例如，特征区域检测部分2203通过多个滤波器来检测特征区 域，每个滤波器被设计为作用于所捕捉的图像中具有预定大小的二维区域并计算与特定类 型的对象的轮廓和所占面积相关的不同的特征量之一。具体而言，特征区域检测部分2203 将这些滤波器应用至要在其中检测对象的所捕捉的图像上具有预定大小的区域，以计算多 个特征量。这里，每个滤波器与滤波器所计算的特征量与表示存在特定类型对象的可能性 的主评估值之间的关系相关联。特征区域检测部分2203参照这种关系，并获得与所计算的 特征量相关的主评估值。然后，特征区域检测部分2203将与这些滤波器相对应的主评估 值相结合，以获得表示区域中存在特定类型对象的可能性的次评估值。特征区域检测部分
162203将次评估值与阈值进行比较，以提取产生超过阈值的次评估值并且其中非常可能存在 特定类型对象的区域。按照上述方式，特征区域检测部分2203将所提取的区域检测为其中 存在特定类型对象的特征区域。如上所述，特征区域检测部分2203将提取与对象轮廓和所 占面积的各种特征相关的特征量的多个滤波器进行组合。因此，与仅参照例如对象的轮廓 形状来执行的特征区域检测操作相比，特征区域检测部分2203可以更精确地提取特征区 域。 特征区域检测部分2203可以将日本专利申请No. 2008-078636和No. 2008-078641 中公开的方法进行组合，来检测特征区域。具体而言，与日本专利申请No. 2008-078636中 公开的方法相关的上述滤波器可以包括多个滤波器集合，其中每个滤波器集合与特定大小 的区域相对应。每个集合中的滤波器具有预定数目的像素。每个滤波器可以与上述特征量 与主评估值之间的上述关系相关联。特征区域检测部分2203可以以单一或多个预定速率 来丢弃要在其中检测对象的所捕捉的图像中的一些像素。按照这种方式，特征区域检测部 分2203产生由所捕捉的图像和一个或多个像素丢弃后的图像组成的图像组。特征区域检 测部分2203将多个第一滤波器应用至第一图像来计算多个特征量。这里，在图像组中包括 的图像中，第一图像具有相对较小的大小，并且，第一滤波器被设计为作用于相对较小的区 域。基于相应地与第一滤波器相关联的关系，特征区域检测部分2203获得与所计算的特征 量相对应的主评估值。然后，特征区域检测部分2203将主评估值相结合以获得表示区域中 存在特定类型对象的可能性的次评估值。特征区域检测部分2203将所获得的次评估值与 第一阈值进行比较，以提取产生超过第一阈值的次评估值并且其中非常可能存在特定类型 对象的主候选区域。 特征区域检测部分2203将多个第二滤波器应用至第二图像中与主候选区域相对 应的区域，以计算多个特征量。这里，第二图像包括在该图像组中，并具有比第一图像多预 定数目的像素，第二滤波器被设计为作用于比第一滤波器所作用的区域大预定大小的区 域。基于与第二滤波器相关联的关系，特征区域检测部分2203获得与所计算的特征量相对 应的主评估值。然后，特征区域检测部分2203将与第二滤波器相对应的主评估值相结合， 以获得表示与主候选区域相对应的区域中存在特定类型对象的可能性的次评估值。特征区 域检测部分2203将所获得的次评估值与第二阈值相比较，以提取产生超过第二阈值的次 评估值并且其中非常可能存在特定类型对象的次候选区域。 特征区域检测部分2203通过将上述多个滤波器集合(其中每个集合被设计为作 用于不同大小的区域)应用至图像组中相应不同大小的区域，来重复执行提取候选区域的 提取操作。这里，特征区域检测部分2203以如下方式重复执行提取操作从应用被设计为 作用于相对较小区域的滤波器的提取操作开始，依次增大所应用的滤波器所作用的区域的 大小。具体而言，特征区域检测部分2203以如下方式重复并依次执行提取操作从将被设 计为作用于相对较小区域的滤波器应用至相对较小图像的提取操作开始，以将被设计为作 用于相对较大区域的滤波器应用至相对较大图像的提取操作结束。特征区域检测部分2203
重复执行两个或更多提取操作，以提取最终候选区域。按照这种方式，特征区域检测部分 2203检测特定类型的对象。然后，特征区域检测部分2203将其中存在该特定类型对象的区 域检测为特征区域。特征区域检测部分2203可以使用日本专利申请No. 2008-098600中公开的方法来
17检测特征区域。例如，特征区域检测部分2203从多个图像捕捉设备2100捕捉运动图像中 包括的多幅所捕捉的图像中检测特征区域。例如，假定图像捕捉设备2100a和2100b捕捉 相同场景的图像。例如，图像捕捉设备2100a和2100b可以用作立体摄像机。在以下描述 中，图像对表示由图像捕捉设备2100a捕捉的第一捕捉图像和图像捕捉设备2100b捕捉的 第二捕捉图像组成的对。特征区域检测部分2203检测该图像对中特定类型的对象，并且将 其中存在所检测的特定类型对象的区域检测为特征区域。 特征区域检测部分2203在形成图像对的第一和第二捕捉图像中的每一个中提取 其中示出特定类型对象的区域。这里，特征区域检测部分2203可以检测其中以低精度示 出特定类型对象的区域。特征区域检测部分2203然后通过检测第一和第二捕捉图像上所 提取区域中的一对对应区域，来检测特定类型的对象。例如，特征区域检测部分2203参照 这一对区域图像来计算图像捕捉设备2100a和2100b与这些区域中所示主体的距离。特征 区域检测部分2203使用基于与对象的距离而获得的主体的三维形状来检测特定类型的对 象。 当检测这对对应区域时，特征区域检测部分2203将从形成图像对的第一和第二 捕捉图像中检测到的、其中示出特定类型对象的每个区域划分为多个子区域。特征区域检 测部分2203计算表征每个子区域中的部分图像的特征量，然后计算表示子区域的特征量 的矢量。这里，特征量可以示例为像素值，矢量可以示例为梯度矢量(例如像素值梯度矢 量)。特征区域检测部分2203计算第一图像上的区域的所计算的矢量与第二图像上的区域 的所计算的矢量之间的逻辑距离。特征区域检测部分2203将其间的逻辑距离短于预定值 的一对区域检测为这对对应区域。这里，逻辑距离可以示例为矢量的分量之间的差的平方 和的平方根。按照上述方式，特征区域检测部分2203可以精确地从图像对中提取这对对应 区域，从而精确计算与主体的距离。因此，特征区域检测部分2203可以精确识别主体的三 维形状，并且可以精确地检测特定类型的对象。 特征区域检测部分2203可以使用日本专利申请No. 2008-091562中公开的方法来 检测特征区域。例如，特征区域检测部分2203从运动图像中包括的每一幅所捕捉的图像中 提取与特定类型的主体类似的主体类似形状，以及主体类似形状的尺寸和在图像捕捉设备 2100的视角下主体类似形状的位置信息。该视角下的位置信息可以示例为所捕捉的图像内 的图像区域的位置。特征区域检测部分2203判断所提取的主体类似形状是否表示特定类 型的主体，然后提取特定类型的主体。例如，特征区域检测部分2203可以对包括具有主体 类似形状的主体在内的预定搜索区域中具有主体类似形状并具有与所提取的主体类似形 状相同尺寸的主体的数目进行计数，并在计数大于或等于阈值的情况下提取具有主体类似 形状的主体作为特定类型的主体。特征区域检测部分2203可以将包含特定类型主体在内 的区域检测为特征区域。按照这种方式，特征区域检测部分2203可以将其中检测到具有与 预定尺寸相似尺寸的大量主体的图像区域中存在的具有主体类似形状的主体检测为特定 类型的主体。这里，可以防止特征区域检测部分2203将不同于该图像区域的区域中存在的 具有主体类似形状的主体检测为特定类型的主体。因此，特征区域检测部分2203被配置为 不太可能错误地将不同于上述图像区域的区域中存在的具有主体类似形状的主体检测为 特定类型的主体。 当图像捕捉设备2100具有可变视角时，上述视角下的位置信息可以示例为图像捕捉设备2100在捕捉图像时所面对的方向和所捕捉的图像上的位置。当可以使用多个图 像捕捉设备2100来捕捉比使用单一图像捕捉设备2100时更大连续场的图像时，上述视角 下的位置信息可以示例为相应图像捕捉设备2100在捕捉图像时所面对的方向和图像捕捉 设备2100分别捕捉的所捕捉图像上的位置。 在步骤2403中，基于以上述方式检测的ROI，图像处理设备2120产生压縮运动图 像。具体而言，图像划分部分2204将每幅帧图像划分为ROI和其余区域。随后，图像产生部 分2205通过复制帧图像2410，产生特征区域运动图像2430、特征区域运动图像2440、特征 区域运动图像2450和背景区域运动图像2420。具体而言，图像产生部分2205通过复制帧 图像2410，产生针对脸部区域的特征区域运动图像2450、针对人区域的特征区域运动图像 2440、针对运动区域的特征区域运动图像2430和针对背景区域的背景区域运动图像2420。
然后，在步骤2404a、2404b、2404c和2404d中，图像处理设备2120使用值固定部 分2211和图像质量降低部分2221来降低特征区域运动图像2430、2440和2450以及背景 区域运动图像2420的图像质量。具体而言，在特征区域运动图像2430、2440和2450中每 一幅中包括的帧图像中，值固定部分2211维持图像划分部分2404所定义的ROI中对应的 一个ROI中的像素值，并将不同于该对应ROI的区域中的像素值设置为预定值(例如将亮 度值设为0)。这里，值固定部分2211可以将不同于该ROI的区域中的像素值设置为与该 ROI相邻的区域的平均像素值。 按照上述方式，图像产生部分2205和值固定部分2211产生特征区域运动图像 2430、2440和2450以及背景区域运动图像2420，其中每幅图像包括具有相同视角的多幅帧 图像。如以后更详细所述，图像处理设备2170通过将其中非R01区域的值被设置为固定值 的运动图像(例如特征区域运动图像2430、2440和2450)重叠在背景区域运动图像2420 上来产生运动图像。因此，背景区域运动图像2420和特征区域运动图像2430、2440和2450 可以分别被视为背景层、运动区域层、人区域层和脸部区域层。 在特征区域运动图像2430、2440和2450中每一幅中包括的帧图像中，图像质量降 低部分2221根据特征类型降低ROI中图像的图像质量。具体而言，由包括分辨率、灰度级 数和颜色数目在内的至少一个参数预先对脸部、人和运动区域的图像质量进行定义。例如， 预先指定脸部、人和运动区域以分辨率的降序来布置。 图像质量降低部分2221根据特征类型，将特征区域运动图像2430、2440和2450 中每一幅中包括的帧图像中ROI的图像改变为具有预定分辨率、灰度级数和颜色数目的图 像。图像质量降低部分2221还将背景区域运动图像中包括的帧图像的图像质量设置为低 于ROI中的图像的图像质量。例如，图像质量降低部分2221将背景区域运动图像中包括的 帧图像的分辨率设置为低于ROI中图像的分辨率。 图像质量降低部分2221降低背景区域运动图像2420和特征区域运动图像2430、 2440和2450的帧率。例如，每种特征类型，即脸部，人和运动区域中的每一个与预定帧率相 关联。图像质量降低部分2221通过根据与特征类型相关联的预定帧率，以预定间隔来丢弃 特征区域运动图像2430、2440和2450中每一幅中包括的一些帧图像，来降低特征区域运动 图像2430、2440和2450中每一幅的帧率。图像质量降低部分2221还通过根据预定帧率来 丢弃背景区域运动图像2420中包括的一些帧图像，来降低背景区域运动图像2420的帧率。
这里，图像质量降低部分2221a降低背景区域运动图像2420的图像质量。图像质
19量降低部分2221b、2221c和2221d分别降低特征区域运动图像2430、2440和2450的图像质量。 随后，在步骤2405a、2405b、2405c和2405d中，背景区域运动图像编码部分2231a 和特征区域运动图像编码部分2231b至2231d分别对图像质量已被图像质量降低部分2221 降低的相应运动图像进行编码。例如，背景区域运动图像编码部分2231a和特征区域运动 图像编码部分2231b至2231d对图像质量已被图像质量降低部分2221降低的相应运动图 像进行MPEG编码。 例如，背景区域运动图像编码部分2231a根据针对背景区域运动图像的编码设 置，对背景区域运动图像进行MPEG编码。特征区域运动图像编码部分2231b、2231c和2231d 根据分别针对运动、人和脸部区域运动图像的编码设置，对相应特征区域运动图像分别进 行MPEG编码。这里，编码设置包括设置例如用于MPEG编码的量化表。编码设置将参照图 5来描述。 在步骤406中，关联部分2206通过添加标记信息，将通过背景区域运动图像编码 部分2231a和特征区域运动图像编码部分2231b至2231d的编码操作而获得的一份背景区 域运动图像数据和多份特征区域运动图像数据互相关联，并且输出部分2207将一份背景 区域运动图像数据和多份特征区域运动图像数据输出至图像处理设备2170。这里，关联部 分2206可以将定时信息添加至标记信息，其中定时信息是例如时间戳并包括指示背景区 域运动图像和特征区域运动图像中包括的帧图像的显示定时的信息。关联部分2206可以 将指示每个特征区域的范围的特征区域信息、标识产生捕捉运动图像数据(从其中产生背 景区域运动图像和特征区域运动图像)的图像捕捉设备100的标识信息以及其他信息添加 至标记信息。 如上所述，特征区域检测部分2203从运动图像中包括的多幅运动图像分量图像 中，检测示出不同类型主体的多个特征区域。压縮部分2240以根据主体类型而确定的强 度，对多幅特征区域运动图像分别进行压縮。在本实施例中，不同类型的主体包括例如人脸 和人体。然而在其他实施例中，不同类型的主体可以包括汽车的牌照和汽车中不同于牌照 的不同部分。 不同类型的主体可以包括人脸的前视图和侧视图。不同类型的主体可以包括静止 和运动的主体。特征区域检测部分2203可以将包含位置与图像捕捉设备2100相距不同距 离的多个主体在内的多个区域检测为具有不同类型特征的多个特征区域。
压縮部分2240对特征区域运动图像进行压縮的压縮强度可以以运动区域、人体、 人脸侧视图和人脸正视图(这些是示例性的不同类型的特征)的顺序降序排列。由于图像 处理系统2010用作本实施例中的监视系统，图像处理系统2010被配置为将包含人脸的区 域检测为ROI，并将所检测的ROI的图像质量设置为高于非ROI区域的图像质量。然而，图 像处理系统2010可以用于例如捕捉街道的图像。当用于这种目的时，图像处理系统2010 可以将包含人脸的区域检测为ROI，并且将所检测的ROI的图像质量设置为低于非ROI区域 的图像质量，以保护个人信息。例如，压縮部分2240对特征区域运动图像和背景区域运动 图像进行压縮的压縮强度可以以人脸正视图、人脸侧视图、人体、运动区域和背景区域的顺 序降序排列。特征区域检测部分2203可以从多幅帧图像中检测包含以不同速度运动的主体在
20内的多个特征区域。在这种情况下，随着对象的速度增大，图像质量降低部分2221通过转换特征区域运动图像而获得的运动图像的帧率增大。这就是说，压縮部分2240可以以根据特征区域运动图像的主体速度而确定的强度，对其分别进行压縮。 如上所述，图像处理设备2120将特征区域运动图像中分别包括的帧图像中的非ROI区域中的值设置为固定值，并产生均具有相同视角的多幅特征区域运动图像和背景区域运动图像。因此，图像处理设备2120能够使用通用编码器，以高压縮率来对特征区域运动图像进行压縮，而不使用专门设计的编码器。例如，当如在MPEG编码技术中那样通过运动矢量来对特征区域运动图像进行编码时，在值被设为固定值的非ROI区域内的宏块中，像素值可能通常具有为0的差分值。因此，上述值固定操作能够降低图像处理设备2120的制造成本，并且可以维持高压縮率。 在以上描述中，压縮部分2240对包括其中非R0I区域的值被设置为固定值的帧图像在内的特征区域运动图像进行压縮。压縮部分2240可以对来自特征区域运动图像中包括的帧图像的ROI内的图像进行剪裁，对剪裁的图像进行压縮，并输出压縮图像作为特征区域运动图像。 当特征区域检测部分2203未检测到R01时，输出部分2207将从压縮部分2240a输出的背景区域运动图像数据输出至图像处理设备2170。在这种情况下，图像产生部分2205可能不需要产生特征区域运动图像2430、2440和2450。在特征区域检测部分2203检测到ROI的情况下，图像产生部分2205产生特征区域运动图像2430、2440和2450，并且输出部分2207将以上述方式获得的多份特征区域运动图像数据和一份背景区域运动图像数据输出至图像处理部分2170。在此期间，压縮部分2240a可以继续以预定背景区域压縮率来对背景区域运动图像2420进行压縮。 在特征区域检测部分2203未检测到ROI时，压縮部分2240可以以预定无ROI压縮率来对背景区域运动图像进行压縮，该预定无ROI压縮率低于上述背景区域压縮率且高于针对特征区域运动图像的压縮率。在特征区域检测部分2203检测到R01的情况下，压縮部分2240可以以上述背景区域压縮率来对背景区域运动图像进行压縮。这里，压縮部分2240可以以低于无ROI压縮率的压縮率来对特征区域运动图像进行压縮。 直到特征区域检测部分2203检测到ROI后过去预定时段之前，压縮部分2240可以以无ROI压縮率对背景区域运动图像进行压縮，并且在过去预定时段之后，以背景区域压縮率对背景区域运动图像进行压縮。使用这种配置，即使在特征区域检测部分2203未将原先期望被检测为ROI的区域检测为ROI的情况下，图像处理设备2120也能够以合理的高图像质量来提供背景区域运动图像。压縮部分2240可以以以下方式以不同压縮率对相应区域进行压縮。特征区域检测部分2203检测帧图像中的ROI，并且使用所检测的ROI的位置来估计不同帧图像中的ROI。在不同的帧图像中，包含该ROI的区域具有高于非ROI区域的图像质量。 图5示出了作为示例的特征区域运动图像的图像质量和背景区域运动图像的图像质量。为了简化说明，假定压縮运动图像获得部分2201所获得的捕捉运动图像数据具有16fps的帧率，并且捕捉运动图像数据中包括的帧图像具有72dpi的分辨率。
图像质量降低之后背景区域运动图像420中包括的帧图像的分辨率与捕捉运动图像中包括的帧图像410的分辨率的分辨率比被预先设置为1/8。图像质量降低部分2221通过在图像质量降低之前丢弃背景区域运动图像2420中包括的帧图像的一些像素，来产 生9-dpi帧图像，其中，9dpi的分辨率是由图像产生部分2205通过复制捕捉运动图像而产 生的图像质量降低之前的背景区域运动图像2420中包括的帧图像的分辨率的1/8。此外， 图像质量降低之后背景区域运动图像2420的帧率与捕捉运动图像的帧率的帧率比预先被 设置为1/8。图像质量降低部分2221通过在图像质量降低之前丢弃背景区域运动图像2420 中包括的一些帧图像来产生2-fps背景区域运动图像2420，其中2fps的帧率是图像质量降 低之前背景区域运动图像2420的帧率的1/8。 类似地，以与相应特征区域运动图像相关联的方式，预先指定分辨率比和帧率比。 例如，针对特征区域运动图像2430，分辨率比和帧率比被设置为1/4 ;针对特征区域运动图 像2440，分辨率比和帧率比被设置为1/2 ;针对特征区域运动图像2450，分辨率比和帧率比 被设置为1/1。在这种情况下，图像质量降低部分2221b产生具有4fps的帧率和18dpi的 帧图像分辨率的特征区域运动图像2430。图像质量降低部分2221c产生具有8fps的帧率 和36dpi的帧图像分辨率的特征区域运动图像2440。图像质量降低部分2221d产生具有 16fps的帧率和72dpi的帧图像分辨率的特征区域运动图像2450。 在上述示例情况下，图像质量降低部分2221通过丢弃特征区域运动图像和背景 区域运动图像中包括的帧图像的一些像素来降低帧图像的图像质量。备选地，图像质量降 低部分2221可以通过使用滤波器来降低帧图像的图像质量，其中每个滤波器允许通过预 定频带(例如低通滤波器)。如果是这种情况，则与每种特征相关联的滤波器可以具有预定 属性，其中不同类型的特征包括背景区域、运动区域、人区域和脸部区域，滤波器属性包括 通过每个滤波器的频带和通过程度。 除了图像质量降低部分2221执行的图像质量降低之外，或者作为其替代，编码部 分2231可以降低帧图像的图像质量。例如，编码部分2231可以通过增大用于MPEG编码的 量化表的值来降低图像质量。每个量化表的值可以根据不同特征类型中对应的一种来预 先设置。例如，背景区域运动图像编码部分2231a和特征区域运动图像编码部分2231b至 2231d可以使用具有预定值的量化表来对相应运动图像进行编码。参照量化表，值与频率分 量相关联。这种值可以根据不同特征类型来预先进行不同的设置。 图像质量降低部分2221也可以对背景区域运动图像中包括的多幅帧图像进行平 均。按照这种方式，当帧图像中包括表示运动物体的对象时，图像质量降低部分2221可以 获得将表示运动物体的对象进行平均的帧图像。当连续显示这种平均后的帧图像时，观看 者可以享受到观看运动物体的平滑运动。 根据上述实施例，图像产生部分2205对捕捉运动图像进行复制，以产生特征区域 运动图像和背景区域运动图像，并且压縮部分2240通过丢弃一些帧图像和像素来压縮所 产生的特征区域运动图像和背景区域运动图像。备选地，图像产生部分2205可以通过根据 帧率比来丢弃捕捉运动图像中包括的一些帧图像，来产生具有降低帧率的特征区域运动图 像和背景区域运动图像。此后，值固定部分2211执行值固定操作，图像质量降低部分2221 降低分辨率以降低特征区域运动图像和背景区域运动图像的图像质量。
图6示意了图像处理设备2170执行的操作的示例流程。在步骤2601中，压縮运 动图像获得部分2301从图像处理设备2120获得互相关联的多份特征区域运动图像数据和 一份背景区域运动图像数据，并且参照所添加的标记信息，获得定时信息、标识图像捕捉设
22备2100的标识信息和其他信息。在步骤2602a中，压縮运动图像扩展部分2311对多份特 征区域运动图像数据和一份背景区域运动图像数据进行解码，以产生表示背景层的背景区 域运动图像2610。同时，在步骤2602b、2602c和2602d中，压縮运动图像扩展部分2311产 生表示运动区域层的特征区域运动图像2620、表示人区域层的特征区域运动图像2630和 表示脸部区域层的特征区域运动图像2640。 在步骤2603中，组合部分2303将背景区域运动图像2610和特征区域运动图像 2620、2630和2640中包括的帧图像组合在一起。这里，组合部分2303根据背景区域运动图 像2610和特征区域运动图像2620、2630和2640中包括的帧图像的相应分辨率，以相应帧 图像中的相同主体互相重叠的方式对其进行放大，并将放大后的帧图像层叠以产生组合的 帧图像。 组合部分2303对来自特征区域运动图像2620、2630和2640中包括的帧图像的特 征区域的图像进行剪裁，并将剪裁后的图像覆盖在背景区域运动图像2610中包括的帧图 像上。按照这种方式，组合部分2303产生组合的帧图像。当背景区域运动图像2610和特 征区域运动图像2620、2630和2640具有不同帧率时，组合部分2303将背景区域运动图像 2610和特征区域运动图像2620、2630和2640中最新的帧图像组合在一起。
按照上述方式，组合部分2303产生组合的帧图像。组合部分2303还产生包括多 幅组合帧图像在内的组合的运动图像2650。在步骤2604中，输出部分2304参照由压縮运 动图像获得部分2301获得的标记信息来选择要显示组合运动图像的显示设备2180，并将 组合的运动图像提供给所选择的显示设备2180。 图7示意了图像处理设备2120中还包括的压縮控制单元2700的示例配置。压縮 控制单元2700包括边界区域标识部分2710、信息量计算部分2720、相同主体区域标识部 分2730、压縮强度确定部分2740、条件存储部分2750、条件获得部分2752和压縮控制部分 2760。 条件存储部分2750存储根据特征区域的特征而不同的分配条件，以便根据特征 区域的特征来分配不同的压縮强度。具体而言，条件存储部分2750存储根据特征区域的类 型而不同的条件。 参照条件存储部分2750上存储的条件，压縮控制部分2760根据特征区域的特征 来控制压縮部分2240对特征区域图像进行压縮的压縮强度。具体而言，参照条件存储部分 2750上存储的条件，压縮控制部分2760根据特征区域的特征来控制压縮部分2240对特征 区域图像进行压縮的压縮强度。更具体地，参照条件存储部分2750上存储的条件，压縮控 制部分2760根据特征区域的类型来控制压縮部分2240对特征区域图像进行压縮的压縮强 度。 压縮部分2240对多幅特征区域运动图像进行压縮，其中每一幅包括多幅运动图 像分量图像中具有相同类型特征的多幅特征区域图像。这里，压縮控制部分2760根据特征 区域运动图像中包括的特征区域图像的特征类型，参照条件存储部分2750上存储的条件， 控制压縮部分2240对特征区域运动图像进行压縮的压縮强度。 条件存储部分2750可以存储根据特征区域的类型而不同的图像质量降低量。图 像质量降低部分2221可以降低特征区域运动图像的图像质量，其中每一幅特征区域运动 图像包括运动图像分量图像中具有相同类型特征的特征区域图像。这里，压縮控制部分2760可以根据特征区域运动图像中包括的特征区域图像的特征类型，参照条件存储部分 2750上存储的图像质量降低量，来控制图像质量降低部分2221将图像质量降低的图像质 量降低量。 压縮控制部分2760可以根据特征区域运动图像中包括的特征区域图像的特征类 型，参照条件存储部分2750上存储的条件，来控制压縮部分2240对特征区域运动图像进行 压縮的压縮强度。这里，压縮运动图像获得部分2201获得从不同位置捕捉的多幅运动图 像。例如，压縮运动图像获得部分2201获得图像捕捉设备2100a至2100c所捕捉的多幅运 动图像。 相同主体区域标识部分2730对从被配置为获得运动图像的运动图像获得部分所
获得的运动图像之一中包括的运动图像分量图像中提取的并且包含与从所获得的运动图
像中不同的一幅运动图像中包括的运动图像分量图像中提取的特征区域所包含的相同主
体的特征区域进行标识。具体而言，相同主体区域标识部分2730参照压縮运动图像扩展部
分2202通过对压縮运动图像获得部分2201获得的压縮运动图像数据进行扩展而获得的运
动图像，并对从所参照的运动图像之一中包括的运动图像分量图像中提取的并且包含与从
所参照的运动图像中不同的一幅运动图像中包括的运动图像分量图像中提取的特征区域
所包含的相同主体的特征区域进行标识。压縮控制部分2760根据特征区域的特征，参照条
件存储部分2750上存储的条件，来控制压縮部分2240对被相同主体区域标识部分2730标
识为包括相同主体的特征区域中至少一个特征区域的特征区域图像进行压縮的压縮强度，
并且将压縮部分2240对不同特征区域的特征区域图像进行压縮的压縮强度设置为高于压
縮部分2240对上述至少一个特征区域的特征区域图像进行压縮的压縮率。 边界区域标识部分2710对位于特征区域和非特征区域之间的边界附近的边界区
域进行标识。压縮强度确定部分2740确定对边界区域的图像进行压縮的压縮强度，其中，
用于边界区域的压縮强度落入对特征区域的图像进行压縮的压縮强度与对背景区域的图
像进行压縮的压縮强度之间。压縮部分2240以压縮强度确定部分2740所确定的压縮强度
对边界区域的图像进行压縮。如上所述，压縮部分2240以不同的强度对特征区域、背景区
域和边界区域的图像进行压縮。 压縮强度确定部分2740使对特征区域附近给定区域的图像进行压縮的压縮强度 随着给定区域更接近于特征区域而更接近于对特征区域的图像进行压縮的压縮强度。压縮 部分2240以压縮强度确定部分2740根据边界区域的位置而确定的压縮强度，对边界区域 的图像进行压縮。 压縮强度确定部分2740根据特征区域的特征类型来确定特征区域的图像压縮后 的图像质量，将背景区域的图像的压縮后的图像质量确定为低于特征区域的图像的压縮后 的图像质量，并将边界区域的图像的压縮后的图像质量确定为落入特征区域的图像的压縮 后的图像质量与背景区域的图像的压縮后的图像质量之间。图像质量降低部分2221将特 征区域、背景区域和边界区域的图像的图像质量降低为压縮强度确定部分2740所确定的 图像质量。 更具体地，压縮强度确定部分2740根据特征区域的特征类型来确定特征区域的 图像的压縮后的分辨率，将背景区域的图像的压縮后的分辨率确定为低于特征区域的图像 的压縮后的分辨率，并将边界区域的图像的压縮后的分辨率确定为落入特征区域的图像的
24压縮后的分辨率与背景区域的图像的压縮后的分辨率之间。图像质量降低部分2221将特 征区域、背景区域和边界区域的图像的分辨率降低为压縮强度确定部分2740所确定的分辨率。 信息量计算部分2720计算特征区域中包含的主体提供的信息量。例如，在ROI是 脸部区域的情况下，ROI中的对象具有与人脸相关的信息，并且信息量计算部分2720计算 该信息的量。例如，信息量可以是指示在该图像中识别出人脸的容易程度的值。在这种情 况下，信息量可以是人脸的面积或表示人脸的图像区域中包括的像素数目。
压縮部分2240对特征区域图像进行压縮。这里，随着信息量的增大，压縮强度确 定部分2740增大压縮部分2240对特征区域图像进行压縮的压縮强度。当人脸在ROI中显 得足够大时，ROI通常仍具有足够高的图像质量，从而即使在以较高强度对ROI进行压縮之 后也能分辨出脸部，因此其图像质量略微降低。因此，当将与本实施例相关的图像处理设备 2120用于实际使用时，例如在人脸在ROI中显得足够大的情况下，以高压縮率来压縮ROI。 因此，图像处理设备2120能够防止图像的数据量不必要的增大。 特征区域检测部分2203可以将包含以高于预定值的程度满足预定条件的对象在 内的区域检测为特征区域。特征区域检测部分2203可以将包含以高于预定值的程度满足 与图像所示内容相关的预定条件的对象在内的区域检测为特征区域，其中所述预定条件用 于判断该对象是否是人2130的头部。 在这种情况下，信息量计算部分2720所计算的信息量可以随着特征区域中包含 的对象满足条件的程度增大而增大。随着满足程度的增大，压縮强度确定部分2740可以增 大压縮部分2240对特征区域进行压縮的压縮强度。 特征区域检测部分2203可以将包含图案以高于预定匹配度的匹配度与预定图案 相匹配的对象在内的区域检测为特征区域。在这种情况下，信息量计算部分2720所计算的 信息量可以随着匹配度的增大而增大。随着匹配度的增大，压縮强度确定部分2740可以增 大压縮部分2240对特征区域进行压縮的压縮强度。 信息量计算部分2720可以标识捕捉图像的图像捕捉设备2100与特征区域中包含 的主体之间的距离。在这种情况下，信息量计算部分2720所计算的信息量可以随着所标识 距离的减小而增大。此外，信息量计算部分2720所计算的信息量可以随着特征区域大小的 增大而增大。 当特征区域检测部分2203从图像检测具有不同类型特征的多个特征区域时，信 息量计算部分2720可以分别计算这些特征区域中包含的主体的信息量。压縮强度确定部 分2740可以以压縮率随信息量增大而增大的方式，针对特征区域图像分别确定压縮强度。 压縮部分2240可以以压縮强度确定部分2740所确定的压縮率来对特征区域图像进行压 縮。 当特征区域检测部分2203从运动图像中包括的每一幅运动图像分量图像中检测 特征区域时，信息量计算部分2720可以计算每幅运动图像分量图像中多个特征区域中包 含的主体的信息量。压縮强度确定部分2740可以以压縮强度随信息量增大而增大的方式， 确定压縮部分2240对相应运动图像分量图像的特征区域图像进行压縮的压縮强度。压縮 部分2240可以以压縮强度确定部分2740所确定的压縮强度，对相应运动图像分量图像的 特征区域图像进行压縮。
25
相同主体区域标识部分2730从相应运动图像分量图像的特征区域中，标识包含 相同主体的多个特征区域。具体而言，相同主体区域标识部分2730从多幅帧图像中标识包 含相同人的ROI。 压縮强度确定部分2740确定用于特征区域的信息量落入预定信息量范围内的一 幅或更多运动图像分量图像中的特征区域图像的压縮强度，相同主体区域标识部分2730 所标识的特征区域的信息量中的最大信息量落入所述预定信息量范围内，其中，所确定的 压縮强度低于用于至少一幅不同的运动图像分量图像中的特征区域图像的压縮强度。使用 这种配置，例如当运动图像的一些帧图像包含许多关于主体的信息时，以高图像质量来记 录这些帧图像，而可以以更高的强度来对包含相同主体的其他帧图像进行压縮。因此，与本 实施例相关的图像处理系统2010能够以高图像质量记录在所需定时捕捉的主体的图像， 并且可以有效降低运动图像的数据量。 条件获得部分2752从图像处理设备2120外部的源获得要存储在条件存储部分 2750上的信息。具体而言，条件获得部分2752可以获得根据特征区域的特征而不同的分配 条件，以便根据特征区域的特征来分配不同的压縮强度。具体而言，条件获得部分2752可 以获得根据特征区域的类型而不同的分配条件。例如，条件获得部分2752可以获得根据特 征区域的类型而不同的图像质量降低量，即根据特征区域的类型而不同的空间分辨率的降 低量、根据特征区域的类型而不同的时间分辨率的降低量等等。条件存储部分2750可以存 储由条件获得部分2752获得的、根据特征区域的类型而不同的图像质量降低量。按照这种 方式，条件存储部分2750可以存储条件获得部分2752获得的分配条件。
条件获得部分2752可以获得根据特征区域所指示的区域的特征而不同的分配条 件。具体而言，条件获得部分2752可以获得根据特征区域的数目、大小或位置而不同的分 配条件。此外，条件获得部分2752可以获得根据特征区域图像中包含的对象的特征而不同 的分配条件。具体而言，条件获得部分2752可以获得根据特征区域图像中包含的对象的形 状、面对方向、运动方向或已运动距离而不同的分配条件。 条件获得部分2752可以经由通信网络2110，从图像处理设备2170或显示设备 2180获得上述分配条件。例如，图像处理设备2170可以向图像处理设备2120发送指示根 据图像数据库2175的记录介质的剩余空间而确定的图像质量等级的信息。例如，随着剩余 空间的减少，图像处理设备2170可以降低要发送至图像处理设备2120的信息所指示的图 像质量等级。 图8使用表示意了条件存储部分2750上存储的数据的示例。条件存储部分2750 以与每个参数相关联的方式存储空间分辨率索引，所述参数包括表示所检测ROI的数目 的ROI数目、表示所检测ROI的面积的ROI面积、表示所检测ROI的位置的ROI位置、表示 ROI中人脸所朝向的方向的面对方向、以及表示ROI中被识别为脸部对象的对象数目的脸 部元素数目。这里，脸部元素数目可以表示以高于预定匹配度的匹配度与预期脸部中包括 的对象(如眼、口和鼻)相匹配的对象的数目。 空间分辨率索引可以指示压縮后的帧图像的图像质量。具体而言，空间分辨率索 引可以指示压縮后的帧图像的分辨率、灰度级数和颜色数目中的至少一项，以及指示编码 单元2230的量化程度的量化系数。如上所述，空间分辨率索引包括真实空间的分辨率和颜 色空间的分辨率。这里，图像质量随着空间分辨率索引的增大而提高。
26
参照图8所示条件存储部分2750上存储的数据，空间分辨率索引可以随着ROI数 目的减小而增大。此外，空间分辨率索引可以随着ROI面积的减小而增大。此外，当R0I位 置指示帧图像上预定位置与ROI的中心之间的距离时，空间分辨率索引可以随着该距离的 减小而增大。在这种情况下，随着ROI的位置变得更接近于预期出现脸部的预定位置，空间 分辨率索引增大。 此外，空间分辨率索引随着ROI中包含的对象所指示的脸部变为朝向更加向前倾 斜的方向而增大。空间分辨率索引可以随着脸部变为朝向更加向后的方向而减小。此外， 空间分辨率索引可以随着脸部元素数目的增大而增大。 当特征区域检测部分2203检测到作为脸部区域的ROI时，压縮强度确定部分2740
针对作为脸部区域的所检测的ROI，计算如ROI数目、ROI面积、ROI位置、面对方向和脸部
元素数目之类的参数。然后，压縮强度确定部分2740参考条件存储部分2750上存储的数
据，以计算指示空间分辨率等级的空间分辨率索引。例如，压縮强度确定部分2740提取条
件存储部分2750上以与所计算的ROI数目、ROI面积、R01位置、面对方向和脸部元素数目
相关联的方式存储的空间分辨率索引，并计算所提取的空间分辨率索引之和。 压縮强度确定部分2740随着该和的增大而增大空间分辨率。压縮强度确定部分
2740可以参照将分辨率索引之和与空间分辨率相关联的预定表来确定空间分辨率。 作为空间分辨率索引的替代，条件存储部分2750可以直接存储分辨率、灰度级
数、颜色数目或指示编码单元2230执行的量化程度的量化系数。空间分辨率索引可以指示
空间频带，在所述空间频带内，预期压縮后的帧图像具有显著的频率分量。 图9使用表来示意条件存储部分2750上存储的数据的不同示例。条件存储部分
2750以与ROI的运动速度相关联的方式来存储时间分辨率索引。这里，时间分辨率索引可
以指示压縮后的运动图像的时间分辨率。具体而言，时间分辨率索引可以指示压縮后的运
动图像的帧率或比特率。这里，时间分辨率可以随着时间分辨率索引的增大而增大。从图
9所示的条件存储部分2750上存储的数据可以看出，时间分辨率索引可以随着运动速度的
增大而增大。 当特征区域检测部分2203从每幅帧图像中检测作为脸部区域的ROI时，压縮强度 确定部分2740基于每幅帧图像中ROI的位置来计算ROI的运动速度。压縮强度确定部分 2740然后提取条件存储部分2750上以与所计算的运动速度相关联的方式存储的时间分辨 率索引。然后，压縮强度确定部分2740根据所提取的时间分辨率索引来确定时间分辨率。 作为时间分辨率索引的替代，条件存储部分2750可以直接存储压縮后的帧率或比特率。
根据图8和9，条件存储部分2750上存储的示例图像质量索引值被分配给脸部区 域ROI。然而，条件存储部分2750还可以针对人区域和运动区域ROI存储与类似于上述的 参数相关联的空间分辨率索引和时间分辨率索引。这就是说，以与ROI中预期要包含的每 个对象相关联的方式来指定空间分辨率索引和时间分辨率索引。因此，可以针对帧图像中 ROI的图像来分别确定图像质量等级。 如上所述，条件存储部分2750可以以与每种对象类型相关联的方式，存储压縮后 ROI的图像质量或码量。因此，条件存储部分2750可以以与每种对象类型相关联的方式，存 储表示ROI的图像质量、ROI之间压縮后的码量之比等等的优先级顺序。
如上所述，压縮强度确定部分2740根据特征区域的特征，来确定对特征区域的图像进行压縮的压縮强度。具体而言，压縮强度确定部分2740根据特征区域的特征类型，来 确定对特征区域的图像进行压縮的压縮强度。压縮强度确定部分2740将对背景区域的图 像进行压縮的压縮强度设置为高于用于特征区域的图像的压縮强度。 条件存储部分2750存储根据特征区域的类型而不同的空间分辨率降低量，或者 根据特征区域的类型而不同的时间分辨率降低量。压縮控制部分2760根据特征区域运动 图像中包括的特征区域图像的特征类型，参照条件存储部分2750上存储的空间分辨率降 低量与时间分辨率降低量中的至少一个，来控制图像质量降低部分2221实现的空间或时 间分辨率降低量。 条件存储部分2750存储根据特征区域所指示的区域的特征而不同的条件。压縮 控制部分2760根据特征区域所指示的区域的特征，参照条件存储部分2750上存储的条件， 来控制压縮部分2240分别对特征区域图像进行压縮的压縮强度。 具体而言，条件存储部分2750存储根据特征区域的数目、特征区域的大小或者特 征区域的位置而不同的条件。压縮控制部分2760根据特征区域所指示的区域的数目、大小 或位置，参照条件存储部分2750上存储的条件，来控制压縮部分2240对相应特征区域图像 进行压縮的压縮强度。 条件存储部分2750存储根据特征区域图像中包含的对象的特征而不同的条件。 压縮控制部分2760根据特征区域图像中包含的对象的特征，参照条件存储部分2750上存 储的条件，来控制压縮部分2240对相应特征区域图像进行压縮的压縮强度。
条件存储部分2750可以存储根据特征区域图像中包含的对象的形状、对象的面 对方向、对象的运动方向或者对象的已运动距离而不同的条件。压縮控制部分2760可以根 据特征区域图像中包含的对象的形状、对象的面对方向、对象的运动方向或者对象的已运 动距离，参照条件存储部分2750上存储的条件，来控制压縮部分2240对相应特征区域图像 进行压縮的压縮强度。 图10使用表示意了信息量计算部分2720上存储的数据的示例。信息量计算部分 2720以与面对方向和脸部元素匹配度相关联的方式来存储信息量，其中，面对方向表示人 脸朝向的方向，脸部元素匹配度表示ROI中包含的对象与人脸中应当存在的对象相匹配的 程度。 信息量计算部分2720基于表示脸部区域ROI中包含的人脸的对象的图像所示的 内容来标识面对方向。例如，信息量计算部分2720基于表示人头部的对象中表示眼、鼻和 口的对象的位置来标识面对方向。信息量计算部分2720随所标识的面对方向更加向前倾 斜而增大信息量，并且随所标识的面对方向更加向后而减小信息量。 信息量计算部分2720例如使用模式匹配技术来计算表示人脸的对象的轮廓与预 定人脸图案之间的匹配度。信息量计算部分2720随所计算的匹配度的增大而增大信息量。
如上所述，信息量计算部分2720随特征区域中包含的对象满足预定条件的程度 增大而增大信息量，其中所述预定条件与图像所示内容相关，并且指示特征区域中包含的 对象是人2130的脸部中应当存在的对象。信息量计算部分2720标识由以高于预定值的程 度满足预定条件的对象所表示的人2130的头部的面对方向，并随所标识的头部面对方向 与预定方向之间匹配度的增大而增大信息量。 图11示意了压縮强度确定部分2740执行的确定压縮强度的示例操作。参照图
28ll，以下通过坐标轴表示脸部元素匹配度和身体元素匹配度的空间来描述其中压縮强度确 定部分2740控制压縮强度的域。这里，身体元素匹配度可以是例如帧图像中包含的对象的 轮廓与人体的预定图案之间的匹配度。 特征区域检测部分2203针对帧图像中包含的对象来计算身体元素匹配度和脸部 元素匹配度。这里，定义了连接身体元素匹配度的坐标轴上的点(指示值a)和脸部元素 匹配度的坐标轴上的点(指示值13)的线。关于这条线，定义不包括空间原点在内的域。 当针对该对象而计算的身体元素匹配度和脸部元素匹配度包括在该域内时，特征区域检测 部分2203将包含该对象的区域检测为ROI。关于图11描述的方法仅仅是ROI检测方法之 一。特征区域检测部分2203可以使用不同方法来检测ROI。 针对脸部元素匹配度低于预定值Y的对象，随着脸部元素匹配度的降低，压縮强 度确定部分2740减小压縮强度。备选地，针对脸部元素匹配度大于或等于预定值Y的对 象，随着脸部元素匹配度的降低，压縮强度确定部分2740减小压縮强度。
如上所述，压縮强度确定部分2740针对包含极可能是人但是极不可能是人脸的 对象在内的区域，确定低压縮强度。按照这种方式，压縮强度确定部分2740针对人脸显得 不够清晰的ROI，确定低压縮强度。因此，本实施例能够避免以高强度来压縮这种ROI并且 变得更加难以分辨出脸部的情况。在以上关于图11的描述中，为使表述简单，压縮强度确 定部分2740使用脸部元素匹配度(其为指示信息量的索引之一)来确定压縮强度。压縮 强度确定部分2740可以使用不同于脸部元素匹配度的其他信息量索引来确定压縮强度。
图12示意了作为示例的信息量计算部分2720所计算的信息量随时间的变化。参 考标号PI至P15分别与多幅帧图像相对应。被分配以参考标号PI至P15的每个点指示从 帧图像P1至P15中相应的一幅检测到的ROI中包含的相同主体的信息量。从图12可以看 到，信息量随着时间的逝去而增大，并且信息量在帧图像P7中包含的ROI处达到局部最大 值。此后，信息量减小。 当信息量以上述方式变化时，压縮强度确定部分2740确定用于从帧图像P1至P15 中检测到的ROI的压縮率，以使得通过对从帧图像P6、P7和P8中检测到的每个ROI进行压 縮而获得的数据的信息量超过通过对从其他帧图像Pl至P5和P9至P15中检测到的每个 ROI进行压縮而获得的数据的信息量，其中应当注意，帧图像P6和P8是在捕捉帧图像P7的 定时附近的定时捕捉的。此外，压縮强度确定部分2740确定用于R01的压縮强度，以使得 在通过对从帧图像Pl至P5和P9至P15中检测到的每个ROI进行压縮而获得的数据中，信 息量实质上相同。 具体而言，压縮强度确定部分2740针对从帧图像P6至P8中检测到的ROI确定预 定低压縮率，使得这些ROI的压縮以相对不明显的方式使信息量退化。此外，压縮强度确定 部分2740针对从不同于帧图像P6至P8的帧图像中检测到的ROI中信息量等于或低于预 定值的ROI (从帧图像Pl至P3和P12至P15中检测到的ROI)确定低压縮率，使得这些ROI 的压縮以相对不明显的方式使信息量退化。此外，压縮强度确定部分2740针对从不同于帧 图像P6至P8的帧图像中检测到的ROI中信息量高于该预定值的ROI (从帧图像P4、P5、P9、 PlO和Pll中检测到的ROI)确定高于低压縮率的中等压縮率，使得通过对这些ROI中的每 一个进行压縮而获得的数据的信息量实质上等于通过对从帧图像Pl至P3和P12至P15中 检测到的每个ROI进行压縮而获得的数据的信息量。
29
如图12所示，例如，当人从较远位置移动至更接近于图像捕捉设备2100，然后移 动远离图像捕捉设备2100时，信息量可以随时间改变。在这种情况下，图像处理设备2120 能够通过以低压縮率对从帧图像P6、P7和P8中检测到的ROI进行压縮，来记录人的高质量 可靠图像，并且合理地降低其他帧图像的图像质量。使用这种配置，图像处理设备2120能 够减少运动图像的数据量，并且可以记录人的高质量图像。 图13示意了 ROI的边界区域的示例。如上所述，压縮强度确定部分2740根据如 ROI类型和ROI数目之类的参数来确定ROI的压縮强度。例如，压縮强度确定部分2740确 定ROI的分辨率。此外，压縮强度确定部分2740控制ROI与背景区域之间的边界区域的分辨率。 这里，特征区域检测部分2203将由区域2810、2811和2812组成的区域检测为脸 部区域ROI。特征区域检测部分2203还将该脸部区域附近由区域2820、2821和2822组成 的区域检测为人区域ROI。按照以上关于图1至12所述的方式，压縮强度确定部分2740确 定用于脸部区域ROI的分辨率A、用于人区域R01的分辨率B和用于背景区域的分辨率C。
在这种情况下，边界区域标识部分2710将沿脸部区域R0I的外围具有预定宽度的 区域和沿人区域ROI的外围具有预定宽度的区域标识为边界区域。边界区域标识部分2710 可以标识ROI之内或之外的边界区域。备选地，边界区域标识部分2710可以标识同时占据 ROI内外区域的边界区域。压縮强度确定部分2740根据包括边界区域在内的R01的分辨率 和不同ROI或背景区域的分辨率来确定背景区域的分辨率。 具体而言，压縮强度确定部分2740将分辨率A和B之间的平均分辨率确定为脸部 区域ROI和人区域ROI之间的边界区域2812和2822的分辨率。此外，压縮强度确定部分 2740将分辨率A和C之间的平均分辨率确定为脸部区域ROI和背景区域之间的边界区域 2811的分辨率。此外，压縮强度确定部分2740将分辨率B和C之间的平均分辨率确定为人 区域R0I和背景区域之间的边界区域2821的分辨率。注意，压縮强度确定部分2740可以 针对边界区域的分辨率确定以预定梯度逐渐变化的分辨率。 如上所述，边界区域标识部分2710将特征区域与非特征区域之间的边界附近的 特征区域内的区域标识为边界区域。这里，边界区域标识部分2710可以随着特征区域大小 的增大来增大边界区域的大小。边界区域标识部分2710可以随着用于特征区域的图像的 压縮强度与用于背景区域的图像的压縮强度之间的差异的增大来增大边界区域的大小。
对于彼此位于对方附近的特征区域，边界区域标识部分2710将这些特征区域之 间的边界附近的区域标识为边界区域。然后，压縮强度确定部分2740将用于这些特征区域 之间的边界附近的边界区域的图像的压縮强度确定为落入用于特征区域之一的图像的压 縮强度与用于另一特征区域的图像的压縮强度之间的范围内。压縮部分2240以压縮强度 确定部分2740所确定的压縮强度来对特征区域之间的边界附近的边界区域的图像进行压 縮。 如上所述，压縮强度确定部分2740将边界区域的分辨率设置为落入ROI的分辨率 与背景区域的分辨率之间的范围内。使用这种配置，本实施例能够在由图像处理设备2170 产生的组合运动图像中包括的帧图像中，使得ROI的分辨率与背景区域的分辨率之间的差 异不明显。图14示意了图像处理设备2120的另一示例模块配置。图像处理设备2120包 括压縮运动图像获得部分2201、压縮运动图像扩展部分2202、特征区域检测部分2203、压
30縮部分2240、压縮控制单元2700、关联部分2206和输出部分207。压縮部分2240包括图像 质量控制部分2280、图像质量降低部分2281 、多个级间差异(inter-grade difference)压 縮部分2282a至2282d(以下统称为级间差异压縮部分2282)。 压縮运动图像获得部分2201、压縮运动图像扩展部分2202、特征区域检测部分 2203、压縮控制单元2700、关联部分2206和输出部分2207具有与参照图2至13所述的压 縮运动图像获得部分2201、压縮运动图像扩展部分2202、特征区域检测部分2203、压縮控 制单元2700、关联部分2206和输出部分2207实质上相同的功能和操作。因此，以下不解释 这些组件，除非它们与参照图2至13描述的其对等物有所差别。 图像质量控制部分2280根据特征区域的特征量，控制压縮运动图像扩展部分 2202产生的每一幅运动图像分量图像中特征区域的图像质量和非特征区域的图像质量。
图像质量降低部分2281降低运动图像的图像质量，并产生具有预定的不同图像 质量的多幅运动图像。图像质量降低部分2281将所产生的具有不同图像质量的运动图像 提供给级间差异压縮部分2282。具体而言，图像质量降低部分2281通过降低运动图像的 帧率，或降低运动图像中包括的运动图像分量图像的分辨率，来产生具有不同图像质量的 运动图像。级间差异压縮部分2282从图像质量降低部分2281分别获得具有预定的不同图 像质量的运动图像，并对所获得的运动图像进行压縮。这里，每个级间差异压縮部分2282 对具有不同图像质量的运动图像进行压縮。注意，与特征区域图像(其为提供给级间差异 压縮部分2282b至2282d的运动图像中包括的运动图像分量图像)相比，提供给级间差异 压縮部分2282a的运动图像中包括的运动图像分量图像具有较低的图像质量。这就是说， 图像质量降低部分2281产生具有比提供给级间差异压縮部分2282b至2282d的特征区域 图像更低图像质量的低图像质量图像，并将这些低图像质量图像提供给级间差异压縮部分 2282a。 如上所述，级间差异压縮部分2282a从图像质量降低部分2281获得具有比级间差 异压縮部分2282b至2282d中任一个所接收的运动图像分量图像更低分辨率的运动图像 分量图像，并对所获得的运动图像分量图像进行压縮。级间差异压縮部分2282b至2282d 从图像质量降低部分2281获得运动图像分量图像并对所获得的运动图像分量图像进行压 縮。这里，运动图像分量图像的分辨率以级间差异压縮部分2282b、2282c和2282d的顺序 依次变高。 级间差异压縮部分2282b对经过级间差异压縮部分2282a压縮的运动图像分量图 像进行扩展，并将得到的运动图像分量图像放大至与从图像质量降低部分2281获得的运 动图像分量图像具有相同的分辨率。级间差异压縮部分2282b对放大的运动图像分量图像 与从图像质量降低部分2281获得的运动图像分量图像之间的差分图像进行压縮。这里，级 间差异压縮部分2282b产生在特征区域中具有差分值但在非特征区域中不具有差分值的 差分图像，并对所产生的差异图像进行压縮。 级间差异压縮部分2282c对经过级间差异压縮部分2282b压縮的运动图像分量图 像进行扩展，并将得到的运动图像分量图像放大至与从图像质量降低部分2281获得的运 动图像分量图像具有相同的分辨率。级间差异压縮部分2282c对放大的运动图像分量图像 与从图像质量降低部分2281获得的运动图像分量图像之间的差分图像进行压縮。这里，级 间差异压縮部分2282c产生在至少一些特征区域中具有差分值但在不同于上述一些特征
31区域的区域中不具有差分值的差分图像，并对所产生的差分图像进行压縮。这里，上述一些 特征区域是根据特征区域的特征量来选择的。 级间差异压縮部分2282d对经过级间差异压縮部分2282c压縮的运动图像分量图 像进行扩展，并将得到的运动图像分量图像放大至与从图像质量控制部分2280获得的运 动图像分量图像具有相同的分辨率。级间差异压縮部分2282d对放大的运动图像分量图像 与从图像质量控制部分2280获得的运动图像分量图像之间的差分图像进行压縮。这里，级 间差异压縮部分2282d产生在至少一些特征区域中具有差分值但在不同于上述一些特征 区域的区域中不具有差分值的差分图像，并对所产生的差分图像进行压縮，其中，上述一些 特征区域是根据特征量来选择的。 如上所述，级间差异压縮部分2282b至2282d中的每一个通过计算从图像质量控 制部分2280或图像质量降低部分2281接收到的运动图像分量图像与通过对具有较低分 辨率的运动图像分量图像进行放大而获得的运动图像分量图像之间的差异，来产生差分图 像。关联部分2206将通过级间差异压縮部分2282a至2282d的压縮操作而获得的包括运 动图像分量图像在内的压縮运动图像数据与标识特征区域的信息相关联。输出部分2207 向图像处理设备2170输出由关联部分2206与标识特征区域的信息相关联的压縮运动图像 数据。因此，图像处理设备2120可以提供已根据特征区域的特征量进行了可縮放压縮和编 码的运动图像。 图15A示意了级间差异压縮部分2282a和2282b的示例模块配置。图15B示意了 运动分析部分2285a和差异处理部分2287a的示例模块配置。图15C示意了运动分析部分 2285b和差异处理部分2287b的示例模块配置。级间差异压縮部分2282a包括运动分析部分 2285a、运动编码部分2286a、差异处理部分2287a和编码部分2288a。运动分析部分2285a 包括差异目标区域确定部分2294a和位置差信息产生部分2295a。差异处理部分2287a包 括差分像素图像产生部分2296a、空间频率域变换部分2297a和量化部分2298a。
级间差异压縮部分2282b包括运动分析部分2285b、运动编码部分2286b、差异处 理部分2287b、图像放大部分2293b、图像解码部分2292b、像素值改变部分2291b和编码部 分2288b。运动分析部分2285b包括差异目标区域确定部分2294b和位置差信息产生部 分2295b。差异处理部分2287b包括差分像素图像产生部分2296b、空间频率域变换部分 2297b、量化部分2298b和频域图像质量转换部分2299b。注意，级间差异压縮部分2282c和 2282d具有与级间差异压縮部分2282b实质上相同的组件，因此这里不再说明。
以下描述级间差异压縮部分2282a的组件的功能和操作。运动分析部分2285a从 图像质量降低部分2281接收运动图像分量图像，基于所接收的运动图像分量图像所示的 内容来分析多幅运动图像分量图像之间的运动，并参照所分析的运动来确定运动图像分量 图像中要压縮的部分区域。 具体而言，差异目标区域确定部分2294a参照该部分区域中运动图像分量图像的 像素值，并且在运动图像分量图像是通过计算其与不同运动图像分量图像的差异来压縮的 情况下，确定该不同运动图像分量图像中的该部分区域，，该不同运动图像分量图像是要进 行比较以计算差异的差异目标图像。差异目标区域确定部分2294a将要压縮的运动图像分 量图像的该部分区域的像素信息和差异目标图像的该部分区域的像素信息提供给差异处 理部分2287a。
位置差信息产生部分2295a产生位置差信息，指示要压縮的该部分区域与差异目标图像中该部分区域之间的位置差异。具体而言，位置差信息产生部分2295a产生与运动补偿技术一起使用的运动矢量。位置差信息产生部分2295a将产生的位置差信息提供给运动编码部分2286a。 运动编码部分2286a对从位置差信息产生部分2295a提供的位置差信息进行编
码，并将编码的位置差信息提供给关联部分2206。例如，运动编码部分2286a对多条相邻部
分区域的位置差信息之间的差异进行编码，并将结果提供给关联部分2206。 差异处理部分2287a基于从运动分析部分2285a接收到的要压縮的部分区域的像
素信息和差异目标图像中该部分区域的像素信息间的差，对要压縮的部分区域的图像进行
压縮。具体而言，差分像素图像产生部分2296a基于要压縮的部分区域的像素信息与差异
目标图像中该部分区域的像素信息之间的差异，来产生差分像素图像。 空间频率域变换部分2297a将每个部分区域的差分像素图像变换至空间频率域。
具体而言，空间频率域变换部分2297a使用离散余弦变换(DCT)，将每个部分区域的差分像
素图像变换至空间频率域。这里，空间频率域变换部分2297a可以使用包括哈达玛变换和
小波变换在内的各种频率变换技术，将每个部分区域的差分像素图像变换至空间频率域。 当运动分析部分2285a判定运动图像分量图像中的部分区域不是使用其与不同
运动图像分量图像中的部分区域的差异来压縮时，差异处理部分2287a将要压縮的部分区
域的像素信息提供给空间频率域变换部分2297a。空间频率域变换部分2297a如上所述将
每个部分区域的像素信息变换至空间频率域。 量化部分2298a对由于空间频率域变换部分2297a所执行的变换至空间频率域的操作而获得的变换系数进行量化。编码部分2288a对量化部分2298a所获得的量化的变换系数进行编码，以对量化的变换系数进行压縮。例如，编码部分2288a通过熵编码(如霍夫曼编码和算术编码)来对量化部分2298a所获得的量化的变换系数进行编码。编码部分2288a将编码的运动图像提供给关联部分2206。 以下描述级间差异压縮部分2282b的组件的功能和操作。这里，级间差异压縮部分2282b的一些组件被分配以与级间差异压縮部分2282a的组件相同的参考标号，并具有与级间差异压縮部分2282a中其对应组件类似的功能和操作。因此以下不描述这种组件，除非其有所区别。 对于从图像质量降低部分2281接收的每一幅运动图像分量图像，与差异目标区域确定部分2294a类似，差异目标区域确定部分2294b标识不同运动图像分量图像中要进行比较以计算其与要压縮的运动图像分量图像中的部分区域的差异的部分区域。如上所述，针对特征区域图像中的部分区域，差异目标区域确定部分2294b确定由不同运动图像分量图像产生的特征区域图像中包括的并且要进行比较以计算其与该特征区域图像中的该部分区域的差异的部分区域。差异目标区域确定部分2294b将要压縮的部分区域的像素信息和差异目标图像中该部分区域的像素信息提供给像素值改变部分2291b。
图像解码部分2292b从编码部分2288a获得运动图像分量图像，并且从运动编码部分2286a获得位置差信息。图像解码部分2292b根据从运动编码部分2286a获得的位置差信息，对从编码部分2288a获得的运动图像分量图像进行解码。图像解码部分2292b可以获得已经由量化部分2298a量化的运动图像分量图像，并对所获得的运动图像分量图像
33进行解码，或者可以获得已经由编码部分2288a编码的运动图像分量图像，并对所获得的运动图像分量图像进行解码。 图像放大部分2293b对已经由图像解码部分2292b解码的运动图像分量图像进行放大，以产生放大图像。像素值改变部分2291b将未包含在特征区域中的部分区域的像素值替换为放大图像中部分区域的像素值，而不改变包含特征区域的部分区域的像素值，其中，两个部分区域均由差异目标区域确定部分2294b来确定。按照这种方式，像素值改变部分2291b基于所接收的运动图像分量图像来产生特征区域图像，特征区域图像中非特征区域的像素值已经被放大图像的像素值所替代。 差异处理部分2287b从像素值改变部分2291b接收要压縮的特征区域图像、作为该特征区域图像中包含的部分区域的差异目标的部分区域的图像信息、以及放大图像。差异处理部分2287b随后针对要压縮的特征区域图像中包含的每个部分区域，选择以下三种编码技术之一，其中这三种编码技术包括帧内编码、帧间编码和级间编码。帧内编码使用包含该部分区域的特征区域图像的像素信息来对该部分区域进行编码。帧间编码根据该部分区域与不同运动图像分量图像中包含的差异目标部分区域之间的差异来对该部分区域进行编码。级间编码根据该部分区域与放大图像之间的差异来对该部分区域进行编码。在进行选择时，差异处理部分2287b对实现最小码量的编码方法给予优先。注意，差异处理部分2287b针对非特征区域选择级间编码，这是由于非特征区域中的像素值被替换为没有差异。因此，以下首先描述级间编码，随后解释帧间编码和帧内编码。 当差异处理部分2287b选择级间编码时，差分像素图像产生部分2296b产生表示特征区域图像与放大图像之间的像素值差异的差分像素图像。具体而言，差分像素图像产生部分2296b基于其中非特征区域中的像素值被替换的特征区域图像与放大图像之间的差异来产生差分像素图像。由于特征区域图像的非特征区域中的像素值被替换为放大图像的像素值，因此差分像素图像产生部分2296b可以产生在特征区域中具有表示特征区域图像与放大图像之间的像素值差异的差分值并且在非特征区域中不具有这种差分值的差分像素图像。 当差异处理部分2287b选择帧间编码时，差分像素图像产生部分2296b计算像素值改变部分2291b基于运动图像分量图像产生的特征区域图像与像素值改变部分2291b基于不同运动图像分量图像产生的特征区域图像之间的差异。具体而言，差分像素图像产生部分2296b计算特征区域中包含的部分区域的图像与差异目标区域确定部分2294b针对该部分区域所确定的差异目标部分区域的图像之间的差异。由于特征区域图像中非特征区域中的像素值被替换为放大图像的像素值，差分像素图像产生部分2296b可以产生在特征区域中包含的部分区域中具有表示该部分区域与由差异目标区域确定部分2294b所确定的部分区域之间的像素值差异的差分值并且在非特征区域中具有表示非特征区域与由差异目标区域确定部分2294b所确定的部分区域之间的像素值差异的差分值的差分像素图像。
当差异处理部分2287b选择帧内编码时，差分像素图像产生部分2296b通过计算每幅特征区域图像中包含的该部分区域的图像与特征区域图像的不同区域之间的像素值差异，或者每幅特征区域图像中包含的该部分区域的图像与特征区域图像的相同部分区域之间的像素值差异，来产生差分像素图像。 空间频率域变换部分2297b将每个部分区域的差分像素图像变换至空间频率域。
34具体而言，与空间频率域变换部分2297a类似，空间频率域变换部分2297b使用DCT、哈达玛变换或小波变换，将每个部分区域的差分像素图像所表示的差分值变换至空间频率域。与量化部分2298b类似，量化部分2298b对由于空间频率域变换部分2297b执行的至空间频率域的变换而获得的变换系数进行量化。 频域图像质量改变部分2299b从通过空间频率域变换部分2297b执行的空间频率
域变换而获得的相应部分区域的空间频率分量中减少包含非特征区域在内的至少一些部
分区域的空间频率分量的数据量，来产生特征区域差异图像。具体而言，频域图像质量改变
部分2299b减少指示高于预定频率的频率分量的变换系数的值。频域图像质量改变部分
2299b可以将指示高于预定频率的频率分量的变换系数的值设置为0。 如上所述，差异处理部分2287b产生在特征区域中具有通过将特征区域图像与放
大图像之间的差异变换至空间频率域而获得的空间频率分量并且在非特征区域中具有数
据量减少的空间频率分量的特征区域差异图像。编码部分2288b对差异处理部分2287b产
生的特征区域差异图像进行编码。 同样如上所述，差异处理部分2287b产生表示特征区域图像中特征区域的图像与
低图像质量图像中特征区域的图像之间的差分图像的特征区域差异图像。具体而言，差异
处理部分2287b产生表示特征区域图像中特征区域的图像与通过对低图像质量图像中特
征区域的图像进行放大而获得的图像之间的差异的特征区域差异图像。 根据以上描述，像素值改变部分2291b将非特征区域的像素值替换为放大图像的
像素值，从而差分像素图像在至少非特征区域中具有为0的差分值，其中非特征区域不同
于具有预定类型特征的特征区域，也不同于具有期望具有高于特征区域的分辨率的特定类
型特征的特征区域。然而，像素值改变部分2291b可以使用不同的方法将差分像素图像中
的差分值设置为O。 例如，像素值改变部分2291b可以将从图像质量降低部分2281获得的运动图像分量图像中非特征区域的像素值改变为预定像素值，并且将放大图像中相同图像区域的像素值改变为该预定像素值。这种备选方法还产生了以下效果差分像素图像在非特征区域中具有为0的差分值，从而实质上减少了非特征区域的信息量。 如上所述，像素值改变部分2291b通过将运动图像分量图像中非特征区域的像素值替换为预定值，并将放大图像中非特征区域的像素值替换为该预定值，来产生特征区域图像。差分像素图像产生部分2296b通过计算特征区域图像与放大图像之间的差异来产生差分像素图像，在特征区域图像和放大图像中，非特征区域中的像素值已经被替换。
像素值改变部分2291b可以将从图像质量降低部分2281获得的运动图像分量图像的非特征区域的像素值替换为通过对提供给较低级的级间差异压縮部分2282 (例如级间差异压縮部分2282a)的运动图像分量图像进行放大而获得的图像中相同区域的像素值。这种备选方法也使差分像素图像能够在非特征区域中具有实质上为0的差分值，从而实质上减少了非特征区域的信息量。 位置差信息产生部分2295b产生指示非特征区域中包含的差异目标部分区域的位置差异的位置差信息。具体而言，与位置差信息产生部分2295a类似，位置差信息产生部分2295b产生指示要通过计算差异来压縮的部分区域与要进行比较以计算差异的差异目标部分区域之间的位置差异的位置差信息。这里，位置差信息包括与运动补偿一起使用的运动矢量。 位置差信息改变部分2290b改变位置差信息，使得位置差信息指示非特征区域中包含的部分区域与相同位置的部分区域进行比较以计算差异。具体而言，位置差信息改变部分2290b将非特征区域中包含的该部分区域的位置差信息改变为指示不存在位置差异的位置差信息。位置差信息改变部分2290b从运动编码部分2286a获得位置差信息，并将非特征区域中包含的该部分区域的位置差信息改变为指示不存在位置差异的信息。具体而言，位置差信息改变部分2290b将非特征区域的运动矢量的值设置为0。例如，位置差信息改变部分2290b将从位置差信息产生部分2295b接收到的非特征区域的运动矢量的值设置为0，并将从运动编码部分2286a接收到的非特征区域的运动矢量的值设置为0。
运动编码部分2286b对位置差信息进行编码。具体而言，与运动编码部分2286a类似，运动编码部分2286b对多条相邻部分区域的位置差信息之间的差异进行编码。运动编码部分2286b将编码的位置差信息提供给关联部分2206。 在本实施例中，位置差信息改变部分2290改变非特征区域的位置差信息。位置差信息改变部分2290b可以通过运动编码部分2286b使用的编码格式来改变非特征区域的位置差信息。这就是说，位置差信息改变部分2290b可以改变已经由运动编码部分2286编码的位置差信息，使得改变后的位置差信息指示非特征区域中包含的部分区域与相同位置的部分区域进行比较以计算差异。 编码部分2288b可以产生在非特征区域中不具有差异信息的编码数据。具体而言，编码部分2288b可以产生在非特征区域中包含的部分区域中不具有差异信息的编码数据。运动编码部分2286b可以产生针对非特征区域中包含的部分区域不具有位置差信息的编码数据。如上所述，编码部分2288b和运动编码部分2286b产生编码数据，该编码数据通过不具有差异信息和位置差信息来指示该非特征区域示出了与不同运动图像分量图像中相同区域相同的图像。例如，编码部分2288b和运动编码部分2286b可以产生包括部分区域类型的编码数据，部分区域类型指示该非特征区域中包含的部分区域示出了与不同运动图像分量图像中相同区域相同的图像。 例如，编码部分2288b和运动编码部分2286b可以产生包括部分区域类型的编码数据，部分区域类型指示了非特征区域中包含的部分区域是使用基于简单帧间预测编码并不具有转换系数的编码模式来编码的。例如，部分区域类型可以与MPEG编码技术的非MC不编码(Non MC Not Coded)模式相对应。如上所述，由于编码部分2288b和运动编码部分2286b产生编码数据，该编码数据没有指示运动矢量的值和差异信息被设为0的信息，因此，本实施例可以进一步减少编码的运动图像分量图像的码量。这里，在确定包括上述编码模式的预测模式时，级间差异压縮部分2282b可以基于不定乘数的拉格朗日方法来选择可以将率失真代价最小化的预测模式。 级间差异压縮部分2282c和2282d均包括与级间差异压縮部分2282b的组件具有相同功能的组件。在以下描述中，级间差异压縮部分2282c和2282d中具有与级间差异压縮部分2282b的对应组件相同名称的组件被分配以相同参考标号，其中将字母b、 c和d添加至参考标号以表示级间差异压縮部分2282b、2282c和2282d中相应组件的所属关系。
例如，运动分析部分2285c是级间差异压縮部分2282c的组件之一，运动分析部分2285d是级间差异压縮部分2282d的组件之一。在以下描述中，不带字母的参考标号指代级
36间差异压縮部分2282b至2282d的所有对应组件。例如，像素值改变部分2291表示像素值改变部分2291b至2291d。 在操作和功能方面，级间差异压縮部分2282c和2282d与级间差异压縮部分2282b在以下方面有所差异。级间差异压縮部分2282c和2282d从图像质量降低部分2281获得与从级间差异压縮部分2282b所获得的运动图像相比具有不同图像质量的运动图像，并对所获得的运动图像进行处理，位置差信息改变部分2290c和2290d以及图像解码部分2292c和2292d从被设计用于处理具有较低图像质量的运动图像的不同级间差异压縮部分282获得位置差信息和运动图像分量图像以用于差分处理。 更具体地，位置差信息改变部分2290c从运动编码部分2286b获得位置差信息，并改变所获得的位置差信息。图像解码部分2292c从运动编码部分2286b获得位置差信息，从编码部分2288b获得运动图像分量图像，并使用所获得的位置差信息来对所获得的运动图像分量图像进行解码。位置差信息改变部分2290d从运动编码部分2286c获得位置差信息，并改变所获得的位置差信息。图像解码部分2292d从运动编码部分2286c获得位置差信息，从编码部分2288c获得运动图像分量图像，并使用所获得的位置差信息来对所获得的运动图像分量图像进行解码。特征区域检测部分2203从输入的运动图像分量图像中检测具有多种特征类型的多个特征区域。在这种情况下，图像质量降低部分2281通过降低具有特定类型特征的特征区域的分辨率来由输入的运动图像分量图像产生特征区域图像，并由输入的运动图像分量图像产生在具有不同类型特征的特征区域中具有高于上述特征区域图像的分辨率的不同特征区域图像。级间差异压縮部分2282b至2282d以一一对应的方式与特征类型相关联。级间差异压縮部分2282b至2282d中每一个对特征区域图像进行压縮，该特征区域图像中至少具有预定类型特征的特征区域具有与非特征区域不同的分辨率。
具体而言，级间差异压縮部分2282b对在所有特征区域中具有最低分辨率的低分辨率特征区域图像进行处理。级间差异压縮部分2282c对在预定特征类型的特征区域中具有高于低分辨率特征区域图像的分辨率的中等分辨率特征区域图像进行处理。级间差异压縮部分2282d对在不同预定特征类型的特征区域中具有高分辨率的高分辨率特征区域图像进行处理。 如上所述，差异处理部分2287产生在具有特定类型特征的特征区域和具有不同类型特征的特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域差异图像。 如上所述，差异处理部分2287产生在具有特定类型特征的特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域差异图像，并产生在具有不同类型特征的特征区域中具有通过将不同特征区域图像与通过对不同特征区域图像中的特征区域进行放大而获得的图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域间差异图像。 编码部分2288对特征区域差异图像、特征区域间差异图像和低图像质量图像进行编码。关联部分2206将运动编码部分2286a至2286d编码的位置差信息和编码部分2288a至2288d编码的运动图像分量图像(例如低图像质量图像、特征区域差异图像、特征
37区域间差异图像)与标识特征区域的信息相关联。 如上所述，级间差异压縮部分2282a产生在包括特征区域在内的整个区域中图像质量降低的运动图像分量图像，换言之，产生包含输入的运动图像分量图像的低空间频率分量的运动图像分量图像。级间差异压縮部分2282b产生的运动图像分量图像所具有的频率分量高于级间差异压縮部分2282a的频率分量并且低于级间差异压縮部分2282c的频率分量。级间差异压縮部分2282b产生其中表示运动图像分量图像与由级间差异压縮部分2282a产生的运动图像分量图像之间的差异的差分值在非特征区域中减小的运动图像分量图像。 类似地，级间差异压縮部分2282c产生的运动图像分量图像所具有的频率分量高于级间差异压縮部分2282b的频率分量并且低于级间差异压縮部分2282d的频率分量。级间差异压縮部分2282d产生的运动图像分量图像的频率分量高于级间差异压縮部分2282c。级间差异压縮部分2282c和2282d产生其中表示运动图像分量图像与由级间差异压縮部分2282b和2282c产生的运动图像分量图像之间的相应差异的差分值在非特征区域中的运动图像分量图像。 如上所述，级间差异压縮部分2282b、2282c和2282d中的每一个对其中具有预定类型特征的特征区域具有高于其余区域的图像质量的运动图像进行处理。因此，级间差异压縮部分2282b、2282c和2282d可以向外提供图像质量根据特征类型而不同的运动图像。这里，级间差异压縮部分2282b、2282c和2282d中的每一个可以通过对其运动图像分量图像与由级间差异压縮部分2282b、2282c和2282d中不同的一个处理的、具有较低图像质量的运动图像分量图像之间的差异进行压縮，来高效地压縮运动图像。 在检测每个特征区域的特征量时，特征区域检测部分2203可以针对每个特征区
域来计算指示该特征区域有多可靠的可靠性程度。级间差异压縮部分2282b、2282c和
2282d中的每一个对分辨率根据特征区域的特征量和可靠性程度而调整的特征区域的图像
进行压縮。例如，图像质量降低部分2281可以根据特征区域的特征量和可靠性程度，对每
个特征区域的图像的分辨率进行调整，并将调整后的图像提供给级间差异压縮部分2282
中相应的一个。例如，图像质量降低部分2281可以随着可靠性程度的降低而提高每幅特征
区域图像的图像分辨率，其中调整后的分辨率高于根据特征量的预定分辨率。 如上所述，图像处理设备2120通过对具有不同分辨率的不同级的图像之间的差
异进行编码，来执行分级编码。从这种配置中显而易见，图像处理设备2120使用的压縮方
法部分包括H. 264/SVC的压縮方法。在对这种分级布置的压縮运动图像进行扩展时，图像
处理设备2170逐一对多份相应级的运动图像数据进行解码，以获得多幅与每一级相关联
的运动图像分量图像。然后，图像处理设备2170将所获得的、使用级间差异来编码的运动
图像分量图像的区域和与用于比较以计算级间差异的不同级相关联的运动图像分量图像
的区域相加在一起。按照这种方式，图像处理设备2170可以针对每一级产生运动图像中包
含的多幅运动图像分量图像。 图16示意了与不同实施例相关的图像处理系统2020的示例配置。与本实施例相关的图像处理系统2020以与图1所示的图像处理系统2010相同的方式配置，但是使用图像捕捉设备2100a至2100c中包括的图像处理部分2604a至2604c (以下统称为图像处理部分2604)来替换图像处理设备2120a至2120c。
38
图像处理部分2604包括图像处理设备2120的组件，除压縮运动图像获得部分2201和压縮运动图像扩展部分2202以外。图像处理部分2604的组件可以具有与图像处理设备2120的相应组件实质上相同的功能和操作，但是图像处理部分2604的组件处理图像捕捉部分2102捕捉的捕捉运动图像，而图像处理设备2120的组件处理通过压縮运动图像扩展部分2202的扩展操作而获得的捕捉运动图像。具有上述配置的图像处理系统2020可以产生与关于图1至15所述的图像处理系统2010相同的效果。 图像捕捉设备2100中包括的条件获得部分2752可以从图像捕捉设备2100的用户而不是从图像处理设备2170获得上述分配条件。例如，图像捕捉设备2100可以具有用于显示设置屏幕的显示设备，并且该显示设备可以显示用于设置分配条件的设置屏幕，以便根据相应对象来分配不同的图像质量。条件获得部分2752可以通过该设置屏幕从用户获得分配条件。例如，条件获得部分2752可以通过在设置屏幕仍显示在显示设备上时获取用户操作产生的信息，来获得分配条件。 图像处理部分2604可以从图像捕捉部分2102获得包括具有RAW格式的多幅运动图像分量图像在内的捕捉运动图像。图像处理部分2604可以检测具有RAW格式的每幅运动图像分量图像中的一个或多个特征区域。图像处理部分2604可以在不改变RAW格式的情况下，对获得的捕捉运动图像中包括的具有RAW格式的运动图像分量图像进行压縮。这里，图像处理部分2604可以使用参照图1至15关于图像处理设备2120的操作而描述的压縮方法来对捕捉运动图像进行压縮。 图像处理设备2170可以通过对从图像处理部分2604获得的压縮运动图像进行扩展，来获得具有RAW格式的运动图像分量图像。图像处理设备2170可以例如逐区域地对通过扩展获得的具有RAW格式的运动图像分量图像执行颜色估计(重合)处理，其中这些区域包括非特征区域和包含特征区域在内的区域。这里，图像处理设备2170可以对特征区域执行比对非特征区域更加精确的同步操作。 图像处理设备2170可以对通过对运动图像分量图像进行同步而获得的特征区域的图像执行超分辨率(super-resolution)处理。图像处理设备2170执行的超分辨率处理可以示例为日本专利申请公开No. 2006-350498中公开的基于主要分量分析的超分辨率处理，或者日本专利申请公开No. 2004-88615中公开的基于主体运动的超分辨率处理。
这里，图像处理设备2170可以对特征区域中包含的每个对象进行超分辨率处理。例如，当特征区域包含人脸的图像时，图像处理设备2170可以对作为对象示例示出的每个脸部元素(例如眼、鼻、口等)执行超分辨率处理。在这种情况下，图像处理设备2170可以存储每个脸部元素(例如眼、鼻、口等)的学习数据，其中学习数据是例如日本专利申请公开No. 2006-350498中公开的基于主要分量分析的模型。图像处理设备2170可以使用与脸部元素关联选择的学习数据，对特征区域中包括的每个脸部元素的图像进行超分辨率处理。 如上所述，图像处理设备2170可以使用主要分量分析来重构特征区域的图像。除了主要分量分析(PCA)之外，图像处理设备2170进行的图像重构和用于图像重构的学习可以通过局部性预留投影(LPP)、线性判别式分析(LDA)、独立分量分析(ICA)、多维縮放(MDS)、支持矢量机(支持矢量回归)、神经网络、隐式马尔科夫模型、贝叶斯估计、最大后验(MAP)估计、迭代返回投影(IBP)、小波变换、局部线性嵌入(LLE)、马尔科夫随机场(MRF)等来实现。 除了日本专利申请公开No. 2006-350498中公开的模型之外，学习数据可以包括对象图像的低频分量和高频分量，这些分量是从对象的大量采样图像中提取的。这里，可以使用K-means方法或其他方法将多个不同类型对象中每一个的图像的低频分量聚集为多个群集。每个群集可以与代表性低频分量(例如重心的值)相关联。 图像处理设备2170从运动图像分量图像中的特征区域中包含的对象的图像中提取低频分量。然后，图像处理设备2170从由对象(其类型与所提取对象的类型相同)的采样图像中提取的低频分量的群集中标识代表性低频分量与所提取的低频分量相匹配的群集。然后，图像处理设备2170标识与所标识的群集中包括的低频分量相关联的高频分量的群集。按照上述方式，图像处理设备2170可以标识与从运动图像分量图像中包含的对象中提取的低频分量相关的高频分量的群集。 图像处理设备2170可以使用表示所标识的高频分量的群集的高频分量，将对象的图像转换为具有较高图像质量的高图像质量图像。例如，图像处理设备2170可以将与对象关联选择的高频分量添加至每个对象的图像，其中权值根据从对象中心至表面上的处理位置的距离而确定。这里，每个群集的代表性高频分量可以使用闭环训练方法产生。如上所述，图像处理设备2170可以针对每个对象，从通过学习对象而产生的多份学习数据中选择所需学习数据，并使用所选择的学习数据。因此，图像处理设备2170能够更精确地增强对象图像的图像质量。注意，当包括在参照图1至15描述的图像处理系统2010中时，图像处理设备2170可以对特征区域的图像执行上述超分辨率处理。 根据日本专利申请公开No. 2006-350498中公开的基于主要分量分析而进行的超分辨率处理，使用主要分量矢量和加权因子来表示物体的图像。加权因子和主要分量矢量的数据量明显小于物体的图像的像素数据的数据量。因此，在对从图像捕捉部分2102获得的运动图像分量图像的特征区域的图像进行压縮时，图像处理部分2604可以由特征区域中包含的物体的图像计算上述加权因子。换言之，图像处理部分2604可以通过使用主要分量矢量和加权因子来表示图像，从而对特征区域中包含的物体的图像进行压縮。图像处理部分2604可以将主要分量矢量和加权因子发送至图像处理设备2170。
在这种情况下，图像处理设备2170可以使用从图像处理部分2604获得的主要分量矢量和加权因子来重构特征区域中包含的物体的图像。这里，图像处理部分2604也可以使用利用与日本专利申请公开No. 2006-350498中公开的基于主要分量分析的模型不同的各种其他特征参数来表示物体的模型，来对特征区域中包含的物体的图像进行压縮。
图17示意了图像处理设备2120和2170的示例硬件配置。图像处理设备2120和2170均由CPU外围部分、输入/输出(I/O)部分和传统I/0部分构成。CPU外围部分包括通过主机控制器2582互相连接的CPU 2505、RAM 2520、图形控制器2575和显示设备2580。I/O部分包括通过I/O控制器2584连接至主机控制器2582的通信接口 2530、硬盘驱动器2540和CD-ROM驱动器2560。传统I/O部分包括连接至I/O控制器2584的ROM 2510、软盘驱动器2550和I/O芯片2570。 主机控制器2582将RAM 2520与以高传输速率访问RAM 2520的CPU 2505和图形控制器2575连接。CPU 2505根据ROM 2510和RAM 2520上存储的程序进行操作，以控制这些组件。图形控制器2575在RAM 2520内提供的帧缓冲器上获得CPU 2505等产生的图像
40数据，并使显示设备2580显示所获得的图像数据。备选地，图形控制器2575中可以包括用于将CPU 2505等产生的图像数据存储在其上的帧缓冲器。 I/O控制器2584将作为以相对高速率操作的I/O设备的硬盘驱动器2540、通信接口 2530和CD-ROM驱动器2560连接至主机控制器2582。硬盘驱动器2540上存储CPU 2505要使用的程序和数据。通信接口 2530耦合至网络通信设备2598以发送/接收程序或数据。CD-ROM驱动器2560从CD-ROM 2595中读取程序或数据，并将所读取的程序或数据经由RAM2520提供给硬盘驱动器2540和通信接口 2530。 1/0控制器2584也连接至作为以相对低速率操作的1/0设备的ROM 2510、软盘驱动器2550和I/O芯片2570。 ROM 2510上存储图像处理设备2120和2170在启动时执行的引导程序、依赖于图像处理设备2120和2170的硬件的程序等等。软盘驱动器2550从软盘2590中读取程序或数据，并经由RAM 2520将所读取的程序或数据提供给硬盘驱动器2540和通信接口 2530。 I/O芯片2570用于经由例如并行端口、串行端口、键盘端口、鼠标端口等来连接各种1/0设备，如软盘驱动器2550。 CPU 2505要执行的程序在被存储在如软盘2590、CD-R0M 2595和IC卡之类的记录介质的状态下由用户提供。程序可以在压縮或未压縮的状态下存储在记录介质上。程序从记录介质安装到硬盘驱动器2540上，由RAM 2520读取，并由CPU 2505来执行。CPU 2505执行的程序使图像处理设备2120用作参照图1至16所描述的压縮运动图像获得部分2201、压縮运动图像扩展部分2202、特征区域检测部分2203、图像划分部分2204、图像产生部分2205、值固定部分2211、图像质量降低部分2221、编码部分2231、关联部分2206、输出部分2207、边界区域标识部分2710、信息量计算部分2720、相同主体区域标识部分2730、压縮强度确定部分2740、条件存储部分2750、条件获得部分2752和压縮控制部分2760。 CPU 2505执行的程序也使图像处理设备2170用作参照图1至16所描述的压縮运动图像获得部分2301、关联分析部分2302、压縮运动图像扩展部分2311、组合部分2303和输出部分2304。
上述程序可以存储在外部记录介质上。除了软盘2590和CD-R0M2595之外，记录介质是例如光记录介质(如DVD和PD)、磁-光记录介质(如MD)、磁带介质、半导体存储器(如IC卡等)。记录介质可以是在连接至专用通信网络或因特网的服务器系统中提供的存储设备(如硬盘或RAM)，程序可以经由网络提供给图像处理设备2120和2170。
图18示出了根据实施例的图像处理系统3010的一个示例。图像处理系统3010的目的在于，在保持特征对象的高图像质量的同时，减小图像的数据量。
图像处理系统3010包括多个图像捕捉设备3100a至3100c(以下统称为图像捕捉设备3100)，用于捕捉被监视区域3150的图像；多个图像处理设备3120a至3120c(以下统称为图像处理设备3120)，用于处理图像；图像处理设备3170 ;通信网络3110、图像数据库(DB) 3175 ;以及多个显示设备3180a至3180c (以下统称为显示设备3180)。
图像处理设备3120a连接至图像捕捉设备3100a。图像处理设备3120b连接至图像捕捉设备3100b。图像处理设备3120c连接至图像处理设备3100c。图像处理设备3170和显示设备3180在与被监视区域3150不同的区域3160中提供。 以下解释图像捕捉设备3100a、图像处理设备3120a、图像处理设备3170和显示设备3180a的操作。图像捕捉设备3100a捕捉被监视区域3150的图像，根据MPEG方案对获取的所捕捉的图像进行编码以产生捕捉运动图像数据，并将该数据输出至图像捕捉设备
413100a所连接的图像处理设备3120a。 具体地，图像捕捉设备3100a包括图像捕捉部分3102a和捕捉运动图像压縮部分3104a。图像捕捉部分3102a捕捉被监视区域3150的图像，并产生捕捉运动图像中包括的多幅运动图像组成图像。图像捕捉部分3102a可以以RAW格式来产生运动图像组成图像。捕捉运动图像压縮部分3104a对图像捕捉部分3102a产生的具有RAW格式的运动图像组成图像执行颜色估计(重合处理)，并根据MPEG编码等对包括通过颜色估计(重合处理)得到的多幅运动图像组成图像在内的捕捉运动图像进行压縮，从而产生捕捉运动图像数据。
图像处理设备3120a获取图像捕捉设备3100a产生的捕捉运动图像数据。图像处理设备3120通过对从图像捕捉设备3100获取的捕捉运动图像数据进行解码来产生捕捉运动图像，并且从产生的捕捉运动图像中检测包括互不相同类型特征(例如包括人3130和运动物体3140(如汽车)等)的多个特征区域。图像处理设备3120a通过产生多幅运动图像，由捕捉运动图像产生与多幅特征区域运动图像，在每幅特征区域运动图像中，相应类型特征的特征区域的图像质量高于运动图像中的其余区域。图像处理设备3120a产生背景区域运动图像，该背景区域运动图像以比特征区域运动图像更低的图像质量示出了特征区域的背景区域。 图像处理设备3120a对多幅所产生的特征区域运动图像和所产生的背景区域运动图像进行编码，以产生多个特征区域运动图像数据和背景区域运动图像数据。同时，图像处理设备3120a将通过编码获得的多个特征区域运动图像数据与同样通过编码获得的背景区域运动图像数据相关联，并将每个互相关联的数据经由通信网络3110发送至图像处理设备3170。 图像处理设备3170对从图像处理设备3120a发送的多个特征区域运动图像数据和背景区域运动图像数据中的每一个进行解码，以获得多幅特征区域运动图像和背景区域运动图像。图像处理设备3170将多幅特征区域运动图像与背景区域运动图像进行组合，以产生合成运动图像，并将所产生的合成运动图像提供给显示设备3180a。显示设备3180a显示从图像处理设备3170提供的运动图像。 图像处理设备3170可以将所产生的合成运动图像或从图像处理设备3120a获得的捕捉运动图像数据记录在图像DB 3175中。图像处理设备3170可以针对来自显示设备3180a的请求，将图像DB 3175中记录的合成运动图像提供给显示设备3180a。图像处理设备3170可以按上述解码方式对图像DB 3175中记录的捕捉运动图像数据进行解码，并针对来自显示设备3180a的请求，将其提供给显示设备3180a。图像DB 3175可以包括例如非易失性记录介质(如硬盘)，并在记录介质中记录从图像处理设备3170提供的合成运动图像。 图像捕捉设备3100b和3100c包括具有与图像捕捉设备3100a中包括的组件相同功能的组件。图像捕捉设备3100b和3100c具有与图像捕捉设备3100a相同的功能和操作，因此这里不再解释，但是图像捕捉设备3100b和3100c分别将捕捉运动图像数据提供给图像处理设备3120b和3120c。注意，在以下解释中，可能有时将图像捕捉部分3102a至3102c统称为图像捕捉部分3102，并且可能有时将捕捉运动图像压縮部分3104a至3104c统称为捕捉运动图像压縮部分3104。 图像处理设备3120b和图像处理设备3120c可以具有与图像处理设备3120a相同
42的功能和操作，但是图像处理设备3120c和3120c分别从图像捕捉设备3100b和3100c获取 捕捉运动图像数据。因此，这里不对图像处理设备3120b和3120c的功能和操作进行解释。 图像处理设备3170根据从图像捕捉设备3100b或图像捕捉设备3100c获取的、互相关联的 多个特征区域运动图像数据和背景区域运动图像数据来产生一幅运动图像，并将所产生的 运动图像提供给显示设备3180b或显示设备3180c。显示设备3180b和显示设备3180c显 示从图像处理设备3170提供的运动图像。 当例如用作监督系统时，根据本实施例的图像处理系统3010能够获取如人、运动 物体等突出的任何合适的监督目标对象的高质量图像。此外，图像处理系统3010能够减少 运动图像的数据量。 图19示出了图像处理设备3120的一示例模块配置。图像处理设备3120包括压 縮运动图像获取部分3201、压縮运动图像解压部分3202、条件存储部分3260、压縮控制部 分3250、压縮部分3240和输出部分3207。压縮部分3240包括输入运动图像质量控制部分 3280、图像质量退化部分3281和级间差异压縮部分3282a至3282d(以下统称为级间差异 压縮部分3282)。 压縮运动图像获取部分3201获得压縮的运动图像。具体而言，压縮运动图像获取 部分3201获得编码后的、由图像捕捉设备3100产生的捕捉运动图像数据。压縮运动图像 解压部分3202从压縮运动图像获取部分3201获取的数据中恢复运动图像，以产生运动图 像中包括的多幅运动图像组成图像。 具体而言，压縮运动图像解压部分3202对压縮运动图像获取部分3201获取的捕 捉运动图像数据进行解码，以产生运动图像中包括的多幅运动图像组成图像。运动图像组 成图像包括帧图像和场图像。运动图像组成图像是根据本发明的输入图像的一个示例。
特征区域检测部分3203从运动图像中包括的多幅运动图像组成图像中检测特征 区域。压縮部分3240对压縮运动图像解压部分3202产生的多幅运动图像组成图像进行压 縮。例如，压縮部分3240根据特征区域检测部分3203检测到的特征区域的特征的量，来对 运动图像组成图像进行压縮。 例如，压縮部分3240根据多个特征区域中分别包括的对象的特征的量，以不同的 编码方式分别对多个特征区域的图像进行压縮。具体地，压縮控制部分3250将指示特征区 域检测部分3203所检测的特征区域的信息提供给压縮部分3240，并控制压縮部分3240对 多幅运动图像组成图像进行压縮的编码方式。以下将描述压縮部分3240的每个组件的功 能和操作。压縮控制部分3250的功能和操作将参照图21来进行解释。
输入运动图像质量控制部分3280根据压縮运动图像解压部分3202所产生的多幅 运动图像组成图像中包括的特征区域的特征的量，控制特征区域的图像质量和不同于特征 区域的区域的图像质量。输入运动图像质量控制部分3280的功能和操作将参照图22来详 细解释。 图像质量退化部分3281通过对运动图像的图像质量进行退化，产生具有预定的 互不相同图像质量的多幅运动图像。图像质量退化部分3281将所产生的具有不同图像质 量的运动图像提供给级间差异压縮部分3282。具体地，图像质量退化部分3281通过降低运 动图像的帧率，或降低运动图像中包括的运动图像组成图像的分辨率或分级，来产生具有 不同图像质量的运动图像。级间差异压縮部分3282从图像质量退化部分3281获取具有预定图像质量的运动图像，并对所获取的运动图像进行压縮。每个级间差异压縮部分3282对 具有不同图像质量的运动图像中不同的一幅运动图像进行压縮。 图像质量退化部分3281提供给级间差异压縮部分3282a的运动图像中包括的运 动图像组成图像可以是通过降低接收的运动图像组成图像的图像质量而获得的低质量图 像的一个示例。图像质量退化部分3281或输入运动图像质量控制部分3280提供给级间差 异压縮部分3282b至3282d的运动图像中包括的运动图像组成图像可以是特征区域图像的 一个示例，在所述特征区域图像中，特征区域的图像质量高于低质量图像的图像质量。在这 种情况下，图像质量退化部分3281和输入运动图像质量控制部分3280用作产生低质量图 像的图像产生部分。 级间差异压縮部分3282a从图像质量退化部分3281获取具有比级间差异压縮部 分3282b至3282d中任一个所接收的运动图像组成图像更低分辨率的运动图像组成图像， 并对所获取的图像进行压縮。级间差异压縮部分3282b、级间差异压縮部分3282c和级间差 异压縮部分3282d从图像质量退化部分3281或输入运动图像质量控制部分3280获取具有 升序排列的分辨率的运动图像组成图像，并对所获取的图像分别进行压縮。
级间差异压縮部分3282b对级间差异压縮部分3282a压縮的运动图像组成图像进 行解压，并将解压的运动图像组成图像放大至与其从图像质量退化部分3281获取的运动 图像组成图像的分辨率相同的分辨率。级间差异压縮部分3282b对包括放大的运动图像组 成图像与从图像质量退化部分3281获取的运动图像组成图像之间的任何差异的差分图像 进行压縮。注意，级间差异压縮部分3282b产生在特征区域中具有差异但在任何其他区域 中不具有差异的差分图像，并对所产生的差分图像进行压縮。 级间差异压縮部分3282c对级间差异压縮部分3282b压縮的运动图像组成图像进
行解压，并将解压的运动图像组成图像放大至与其从图像质量退化部分3281获取的运动
图像组成图像的分辨率相同的分辨率。级间差异值压縮部分3282c对包括放大的运动图像
组成图像与从图像质量退化部分3281获取的运动图像组成图像之间的任何差异的差分图
像进行压縮。注意，级间差异压縮部分3282c产生根据特征区域的特征的量在多个特征区
域中的至少一个特征区域中具有差异值但在包括多个特征区域中的其他特征区域在内的
任何其他区域中不具有差异值的差分图像，并对所产生的差分图像进行压縮。 级间差异压縮部分3282d对级间差异压縮部分3282c压縮的运动图像组成图像进
行解压。级间差异压縮部分3282d将解压的运动图像组成图像放大至与其从输入运动图像
质量控制部分3280获取的运动图像组成图像的分辨率相同的分辨率。级间差异压縮部分
3282d对包括放大的运动图像组成图像与从输入运动图像质量控制部分3280获取的运动
图像组成图像之间的任何差异的差分图像进行压縮。注意，级间差异压縮部分3282d产生
根据特征区域的特征的量在多个特征区域中的至少一个特征区域中具有差异值但在包括
多个特征区域中的其他特征区域在内的任何其他区域中不具有差异值的差分图像，并对所
产生的差分图像进行压縮。 按照这种方式，级间差异压縮部分3282b至3282d对通过导出从输入运动图像质 量控制部分3280或图像质量退化部分3281获得的运动图像组成图像与具有较低分辨率的 运动图像组成图像的放大版本之间的差异而获得的差分图像进行压縮。输出部分3207对 通过相应级间差异压縮部分3282的压縮而得到的运动图像进行复用和输出。具体地，输出
44部分3207将通过级间差异压縮部分3282的压縮而得到的运动图像发送至图像处理设备 3170。按照这种方式，图像处理设备3120可以提供根据特征区域的特征的量来可縮放地压 縮和编码的运动图像。 图20A至20C示出了级间差异压縮部分3282a和3282b的一示例模块配置。级间 差异压縮部分3282a包括运动分析部分3285a、运动编码部分3286a、差异处理部分3287a 和编码部分3288a。运动分析部分3285a包括差异获得目标区域确定部分3294a和位置差 信息产生部分3295a。差异处理部分3287a包括差分像素图像产生部分3296a、空间频率域 变换部分3297a和量化部分3298a。 级间差异压縮部分3282b包括运动分析部分3285b、运动编码部分3286b、差异处 理部分3287b、图像放大部分3293b、图像解码部分3292b和编码部分3288b。运动分析部 分3285b包括差异获得目标区域确定部分3294b和位置差信息产生部分3295b。差异处理 部分3287b包括差分像素图像产生部分3296b、空间频率域变换部分3297b、量化部分3298b 和频域图像质量改变部分3299b。级间差异压縮部分3282c和3282d具有与级间差异压縮 部分3282b实质上相同的组件，因此这里不再说明。 以下描述级间差异压縮部分3282a的每个组件的功能和操作。对于从图像质量退 化部分3281接收的多幅运动图像组成图像，运动分析部分3285a基于这些组成图像的图像 内容，来分析贯穿多幅运动图像组成图像出现的任何运动，从而确定基于其对运动图像组 成图像执行基于运动的压縮的部分区域。 具体地，差异获得目标区域确定部分3294a基于贯穿多幅运动图像组成图像的任 何部分区域所取的像素值，在运动图像组成图像是要基于其与该参考运动图像组成图像的 差异来进行编码的情况下，确定被称为差异获得目标的给定运动图像组成图像中的部分区 域。差异获得目标区域确定部分3294a将作为压縮目标的部分区域的像素信息和作为差异 获得目标的这样的所确定的部分区域的像素信息提供给差异处理部分3287a。
位置差信息产生部分3295a产生位置差信息，指示要以差分方式压縮的部分区域 与被称为差异获得目标的部分区域之间的位置差。具体地，位置差信息产生部分3295a产 生用于运动补偿的运动矢量。位置差信息产生部分3295a将产生的位置差信息提供给运动 编码部分3286a。 运动编码部分3286a对从位置差信息产生部分3295a提供的位置差信息进行编 码，并将编码的信息提供给输出部分3207。例如，运动编码部分3286a对一个部分区域的位 置差信息与相邻部分区域的位置差信息之间的差异进行编码，并将编码的差异提供给输出 部分3207。 差异处理部分3287a基于从运动分析部分3285a获取的压縮目标部分区域的像 素信息和差异获得目标部分区域的像素信息间的差异，对压縮目标部分区域的图像进行压 縮。具体地，差分像素图像产生部分3296a基于压縮目标部分区域的像素信息与差异获得 目标部分区域的像素信息之间的差异，来产生差分像素图像。 空间频率域变换部分3297a以逐部分区域的方式，将差分像素图像变换至空间频 率域。具体地，空间频率域变换部分3297a使用离散余弦变换(DCT)，将差分像素图像中的 每个部分区域变换至空间频率域。空间频率域变换部分3297a可以使用如哈达玛变换和小 波变换等各种频率变换方式，将差分像素图像中的每个部分区域变换至空间频率域。
45
当运动分析部分3285a确定压縮将不基于从另一运动图像组成图像的部分区域 计算的差异时，差异处理部分3287a将压縮目标部分区域的像素信息提供给空间频率域变 换部分3297a。空间频率域变换部分3297a以如上所述的方式，以逐部分区域的方式将像素 信息变换至空间频率域。 量化部分3298a对由于空间频率域变换部分3297a所执行的变换至空间频率域的 操作而获得的变换系数进行量化。编码部分3288a通过对量化部分3298a量化的变换系数 进行编码来执行压縮。例如，编码部分3288通过熵编码(如霍夫曼编码和算术编码等)来 对量化部分3298a量化的变换系数进行编码。编码部分3288a将编码得到的运动图像提供 给输出部分3207。 以下描述级间差异压縮部分3282b中包括的每个组件的功能和操作。在级间差异 压縮部分3282b中包括的组件中，以与级间差异压縮部分3282a中包括的组件的参考标号 相同的参考标号来标记的组件具有与级间差异压縮部分3282a中包括的组件相同的功能 和操作，因此以下仅解释其间的任何差异。 对于从图像质量退化部分3281获取的多幅运动图像组成图像中的每一幅，与差 异获得目标区域确定部分3294a类似，差异获得目标区域确定部分3294b指定另一运动图 像组成图像中的部分区域(应当获得该部分区域与所涉及的运动图像组成图像中包括的 压縮目标部分区域之间的差异)。按照这种方式，差异获得目标区域确定部分3294b确定差 异获得目标部分区域，该差异获得目标部分区域是由运动图像组成图像产生的特征区域图 像中的部分区域(应当获得该特征区域图像与另一特征区域图像之间的差异)。差异获得 目标区域确定部分3294b将压縮目标部分区域的像素信息和差异获得目标部分区域的像 素信息提供给像素值改变部分329 lb 。 图像解码部分3292b从编码部分3288a获取运动图像组成图像，并且从运动编码 部分3286a获取位置差信息。图像解码部分3292b基于从运动编码部分3286a获取的位置 差信息，对从编码部分3288a获取的运动图像组成图像进行解码。图像解码部分3292b可 以获取由量化部分3298a量化的运动图像组成图像，并对所获取的运动图像组成图像进行 解码，或者可以获取编码部分3288a编码的运动图像组成图像，并对所获取的运动图像组 成图像进行解码。通过图像解码部分3292b解码得到的运动图像组成图像可以是根据本发 明的低质量图像的一个示例。在这种情况下，级间差异压縮部分3282a用作产生根据本发 明的低质量图像的图像产生部分。 图像放大部分3293b通过对图像解码部分3292b解码的运动图像组成图像进行放
大来产生放大图像。在差异获得目标区域确定部分3294b确定的部分区域中，像素值改变
部分3291b保持特征区域中包括的部分区域具有不变的像素值，而将特征区域中未包括的
部分区域改变为具有被放大图像中包括的部分区域的像素值替换的像素值。 按照这种方式，像素值改变部分3291b由输入运动图像组成图像产生特征区域图
像，所述特征区域图像中不同于特征区域的区域的像素值已经被替换为放大图像中的像素
值。注意，像素值改变部分3291b可以用作产生特征区域图像的图像产生部分，所述特征区
域图像中不同于特征区域的区域的像素值已经被替换为放大图像中的像素值。 差异处理部分3287b从像素值改变部分3291b接收作为压縮目标的特征区域图
像、部分区域(应当获得其与压縮目标特征区域图像中包括的部分区域之间的差异)的图像信息、以及放大图像。差异处理部分3287b针对压縮目标特征区域图像中包括的多个部 分区域中的每一个，确定应当采用帧内编码、帧间编码和级间编码中的哪一个。这里，帧内 编码要使用相同特征区域图像内的像素信息来对图像进行编码。帧间编码要基于与另一运 动图像组成图像中包括的差异获得目标部分区域的差异来对图像进行编码。级间编码要基 于与放大图像的差异来对图像进行编码。此时，差异处理部分3287b优先选择在编码的图 像中产生较小码量的编码方式。以下描述首先解释选择级间编码的情况，应当选择级间编 码是由于已经对像素值进行了替换，使得不同于特征区域的区域不具有差异。此后解释选 择帧间编码和帧内编码的情况。 当选择级间编码时，差分像素图像产生部分3296b产生指示特征区域图像与放大 图像之间的像素值差异的差分像素图像。具体地，差分像素图像产生部分3296b基于其中 不同于特征区域的区域中的像素值被替换了的特征区域图像与放大图像之间的差异，来产 生差分像素图像。由于特征区域图像中不同于特征区域的区域的像素值已经被替换为放大 图像中的像素值，因此差分像素图像产生部分3296b可以产生差分像素图像，其中每个特 征区域具有特征区域图像的像素值与放大图像的像素值之间的差异，并且不同于特征区域 的区域不具有像素值差异。 当选择帧间编码时，差分像素图像产生部分3296b获得像素值改变部分3291b产 生的特征区域图像与像素值改变部分3291b由另一运动图像组成图像产生的特征区域图 像之间的差异。具体地，差分像素图像产生部分3296b获得特征区域中包括的任何部分区 域的图像与差异获得目标区域确定部分3294b针对该部分区域所确定的差异获得目标部 分区域的图像之间的差异。由于特征区域图像中不同于特征区域的区域的像素值被替换为 放大图像中的像素值，差分像素图像产生部分3296b产生差分像素图像，其中特征区域中 包括的部分区域具有与由差异获得目标区域确定部分3294b所确定的部分区域的像素值 差异，并且不同于特征区域的区域具有与由差异获得目标区域确定部分3294b所确定的部 分区域的像素值差异。 当选择帧内编码时，差分像素图像产生部分3296b通过获得每幅特征区域图像中 包括的每个部分区域与相同特征区域图像中另一区域之间的像素值差异，或者通过获得给 定部分区域中的像素值与相同部分区域中的像素值之间的差异，来产生差分像素图像。
空间频率域变换部分3297b以逐部分区域的方式，将差分像素图像变换至空间频 率域。具体地，与空间频率域变换部分3297a类似，空间频率域变换部分3297b使用离散余 弦变换(DCT)、哈达玛变换、小波变换等，将每个部分区域变换至空间频率域。与量化部分 3298b类似，量化部分3298b对由于空间频率域变换部分3297b执行的至空间频率域的变换 而获得的变换系数进行量化。 频域图像质量改变部分3299b从通过空间频率域变换部分3297b执行的至空间频 率域的变换而获得的相应部分区域的空间频率分量中，减少包括不同于特征区域的区域在 内的至少一个部分区域的空间频率分量的数据量，来产生特征区域差异图像或特征区域间 差异图像。具体地，频域图像质量改变部分3299b减少指示高于预定频率的频率分量的任 何变换系数的幅度。频域图像质量改变部分3299b可以将指示高于预定频率的频率分量的 变换系数改变为O。 按照这种方式，差异处理部分3287b产生特征区域差异图像，其中每个特征区域
47具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分 量，并且不同于特征区域的区域具有数据量减少的空间频率分量。编码部分3288b对差异 处理部分3287b产生的特征区域差异图像进行编码。 如上所述，差异处理部分3287b产生的特征区域差异图像表示特征区域图像中每 个特征区域的图像与低质量图像中每个特征区域的图像之间的差分图像。具体地，差异处 理部分387b产生的特征区域差异图像指示特征区域图像中每个特征区域的图像与低质量 图像中每个特征区域的放大图像之间的差异。 在以上解释中，像素值改变部分3291b将不同于特征区域的区域中的像素值替换 为放大图像中的像素值，使得差分像素图像中不同于特征区域的区域中差异将为O，S卩，使 得不是具有预定类型特征的特征区域，也不是具有应当被给予高于前述特征区域的分辨率
的预定类型特征的特征区域的区域中的差异将为o。然而，可以使用任何其他方式来使差分
像素图像中的差异为O。 例如，像素值改变部分3291b可以将从图像质量退化部分3281获取的运动图像组 成图像中不同于特征区域的区域的像素值改变为预定像素值，并且将放大图像中不同于特 征区域的对应区域的像素值改变为相同的预定像素值。按照这种方式，也可以使差分像素 图像中不同于特征区域的区域中的差异为O，从而实质上减少不同于特征区域的区域的信 按照这种方式，像素值改变部分3291b由运动图像组成图像，产生特征区域图像 (其中不同于特征区域的区域的像素值被替换为预定值)和放大图像(其中不同于特征区 域的区域的像素值被替换为预定值)。然后，差分像素图像产生部分3296基于特征区域图 像与放大图像之间的差异来产生差分像素图像，在特征区域图像和放大图像中，不同于特 征区域的区域中的像素值已经被替换。 像素值改变部分3291b可以将从图像质量退化部分3281获取的运动图像组成图 像中不同于特征区域的区域的像素值替换为提供给下级的级间差异压縮部分3282(例如 级间差异压縮部分3282a)的运动图像组成图像的放大版本中对应区域的像素值。按照这 种方式，也可以使差分像素图像中的差异实质上为O，从而实质上减少了不同于特征区域的 区域的信息量。 位置差信息产生部分3295b产生指示不同于特征区域的区域中包括的部分区域 与应当获得与其的差异的部分区域之间的位置差的位置差信息。具体地，与位置差信息产 生部分3295a类似，位置差信息产生部分3295b产生指示要以差分方式压縮的部分区域与 差异获得目标部分区域(应当获得与其的差异)之间的位置差的位置差信息。注意，位置 差信息包括用于运动补偿的运动矢量。 位置差信息改变部分3290b改变位置差信息，使得位置差信息将指示应当从在相 同位置处的部分区域获得不同于特征区域的区域中包括的部分区域的差异。具体地，位置 差信息改变部分3290b将不同于特征区域的区域中包括的部分区域的位置差信息改变为 指示不存在位置差异的信息。此外，位置差信息改变部分3290b从运动编码部分3286a获 取位置差信息，并将不同于特征区域的区域中包括的部分区域的位置差信息改变为指示不 存在位置差的信息。具体地，位置差信息改变部分3290b将不同于特征区域的区域的运动 矢量的长度改变为0。具体地，位置差信息改变部分3290b将从位置差信息产生部分3295b
48获取的运动矢量的长度改变为0，并将从运动编码部分3286a获取的运动矢量的长度改变 为0。 然后，运动编码部分3286b对位置差信息进行编码。具体地，与运动编码部分 3286a类似，运动编码部分3286b对一个部分区域的位置差信息与相邻部分区域的位置 差信息之间的差异进行编码。将运动编码部分3286b编码的位置差信息提供给输出部分 3207。 在本实施例中，位置差信息改变部分3290改变不同于特征区域的区域的位置差 信息，但是，位置差信息改变部分3290b可以改变运动编码部分3286b编码得到的编码图像 中不同于特征区域的区域的位置差信息。这就是说，位置差信息改变部分3290b可以改变 运动编码部分3286编码的位置差信息，使得该信息指示应当从在相同位置处的部分区域 获得不同于特征区域的部分区域的差异。 编码部分3288b可以产生在不同于特征区域的区域中不包括差异信息的编码数 据。具体地，编码部分3288b可以产生在不同于特征区域的区域中包括的部分区域中不具 有差异信息的编码数据。运动编码部分3286b可以产生在不同于特征区域的区域中包括的 部分区域中不具有位置差信息的编码数据。按照这种方式，编码部分3288b和运动编码部 分3286b产生编码数据，该编码数据通过不包括差异信息也不包括位置差信息来指示不同 于特征区域的区域中的图像内容与另一运动图像组成图像中对应区域中的图像内容相同。 例如，编码部分3288b和运动编码部分3286b可以产生包括一类部分区域的编码数据，指示 不同于特征区域的区域中包括的所涉及的部分区域的图像内容与另一运动图像组成图像 中对应区域的图像内容相同。 例如，编码部分3288b和运动编码部分3286b可以产生包括一类部分区域的编码 数据，指示不同于特征区域的区域中包括的所涉及的部分区域是以简单帧间预测编码模式 来编码的，因此不具有转换系数。例如，这些部分区域的类型可以与MPEG编码中的非MC不 编码等效。通过产生包括指示运动矢量的长度的信息和差异信息均为O的编码数据，编码 部分3288b和运动编码部分3286b可以进一步减少编码后的运动图像组成图像的码量。在 确定包括上述编码模式的预测模式时，级间差异压縮部分3282b可以基于不定乘数的拉格 朗日方法来选择可以将率失真代价最小化的预测模式。 级间差异压縮部分3282c和级间差异压縮部分3282d包括与级间差异压縮部分 3282b的组件具有相同功能的组件。在以下解释中，级间差异压縮部分3282c和级间差异压 縮部分3282d中具有与级间差异压縮部分3282的组件相同名称的组件以相同的参考标号 表示。组件的参考标号的最后的字母(b、c、d)指示了这些组件被包括在级间差异压縮部分 3282b至2282d中的哪一个。 例如，运动分析部分3285c是级间差异压縮部分3282c的组件，运动分析部分 3285d是级间差异压縮部分3282d的组件。在以下描述中，没有结尾字母的任何参考标号可 以指示级间差异压縮部分3282b至3282d中包括的以该参考标号标记的所有组件。例如， "像素值改变部分3291"可以指示像素值改变部分3291b至3291d中的每一个。
级间差异压縮部分3282c和级间差异压縮部分3282d的功能和操作与级间差异压 縮部分3282b的功能和操作在以下方面有所差异级间差异压縮部分3282c和3282d对从 图像质量退化部分3281和输入运动图像质量控制部分3280获取的具有不同图像质量的
49运动图像分别进行处理；位置差信息改变部分3290c和3290d以及图像解码部分3292c和 3292d从用于处理具有较低图像质量的运动图像的另一级间差异压縮部分3282获取用于 差异获得目的的位置差信息和用于差异获得目的的运动图像组成图像。
具体地，位置差信息改变部分3290c从运动编码部分3286b获取位置差信息，并改 变所获取的位置差信息。图像解码部分3292c从运动编码部分3286b获取位置差信息，从编 码部分3288b获取运动图像组成图像，并基于所获取的位置差信息来对所获取的运动图像 组成图像进行解码。位置差信息改变部分3290d从运动编码部分3286c获取位置差信息，并 改变所获取的位置差信息。图像解码部分3292d从运动编码部分3286c获取位置差信息， 从编码部分3288c获取运动图像组成图像，并基于所获取的位置差信息来对所获取的运动 图像组成图像进行解码。 特征区域检测部分203从输入运动图像组成图像中检测具有互不相同类型的多 个特征区域。具体地，条件存储部分3260以与每种特征区域类型相关联的方式，存储该类 型的特征区域的运动矢量或变换系数应当满足的条件。例如，条件存储部分3260可以存储 以下条件运动矢量的空间方向不均匀性应当小于预定值。条件存储部分3260可以存储以 下条件在推定的特征区域中，指示该区域的空间频率分量的变换系数(如DCT系数)的频 率级分布应当以高于预定符合度的符合度，与针对任何类型特征区域而预定的这种分量的 频率级分布相符合。 特征区域检测部分203将具有满足条件存储部分3260中存储的条件的运动矢量 和变换系数的区域检测为特征区域。按照这种方式，特征区域检测部分3203将具有满足预 定条件的变换系数的区域检测为特征区域。可以使用如日本专利申请公开No. 2007-188419 中公开的机器学习(如adaboost)来检测特征区域。已知该方法要使用预定对象的图像的 变换系数和不同于预定对象的任何位置的图像的变换系数来学习预定对象的图像的变换 系数的特征。条件存储部分260存储预定对象的图像的变换系数所满足的条件，该条件是 基于学习来产生的。 取代使用变换系数来检测特征区域，或者除了使用变换系数来检测特征区域之 外，特征区域检测部分3203可以基于图像的像素值来检测特征区域。甚至基于像素值来检 测特征区域的方法可以使用通过上述机器学习来进行的检测。特征区域检测部分3203可 以使用模板匹配来检测特征区域，模板匹配涉及与表示预定对象的模板图像进行比较。
注意，预定对象可以是人脸的至少一部分、人体的一部分(如头、手等)、整个人、 硬币、卡(如现金卡等)、汽车和汽车的一部分(如汽车登记牌照)。预定对象可以是不同 于人体的活体。预定对象可以是包括人体在内的活体中存在的特定组织，如包括人体在内 的活体中的肿瘤组织、血管等等。特征区域检测部分3203可以使用各种检测方法(如模板 匹配、机器学习等)，将包括所捕捉的预定对象的图像在内的区域检测为特征区域。特征区 域检测部分3203可以检测具有任何形状(如矩形)的特征区域。 特征区域检测部分3203可以使用在日本专利申请公开No. 2008-078641中公开的 方法来检测特征区域。例如，特征区域检测部分3203以预定的稀疏比率，使从中检测到对 象的所捕捉的图像变稀疏，或者以该稀疏比率逐步使这样稀疏的图像进一步变稀疏，从而 产生包括所捕捉的图像和一个或更多稀疏图像在内的图像集合。然后，特征区域检测部分 3203将第一滤波器应用至所产生的图像集合中相对较小的第一图像，从而计算评估值。这
50里，第一滤波器作用于图像中的二维区域，并产生表示该区域内可能存在特定类型对象的 概率的百分比的评估值。在分别作用于不同大小的区域(其中，与每个区域的大小相对应 的、区域中包括的像素数目以预定比率不同，或者以预定比率逐步不同)的至少两个滤波 器中，第一滤波器可以是作用于相对较窄区域的滤波器。特征区域检测部分3203从第一图 像中提取从中获得大于预定第一阈值的评估值的区域作为主候选区域。
然后，特征区域检测部分3203将这些滤波器中的第二滤波器应用至第二图像中 与主候选区域相对应的区域，并计算评估值。第二图像包括的像素数目比第一图像中的像 素数目大一个步长。第二滤波器作用于比第一滤波器应当应用至的区域宽一个步长的区 域。特征区域检测部分3203提取从中获得大于预定第二阈值的评估值的区域作为次候选 区域。 特征区域检测部分3203重复将为不同大小的区域分别准备的多个滤波器中任一 滤波器应用至图像集合中具有相应大小的区域的提取操作，以提取候选区域。此时，特征区 域检测部分3203按照执行针对较窄区域应用滤波器的提取过程和针对较宽区域应用滤波 器的提取过程的顺序来执行提取过程。具体地，特征区域检测部分3203按照执行将为较窄 区域准备的滤波器应用至较小图像的提取过程和将为较宽区域准备的滤波器应用至较大 图像的提取过程的顺序来执行提取过程。特征区域检测部分3203重复提取过程2次或更 多次，并提取最终候选区域，从而检测预定类型的对象。特征区域检测部分3203将其中存 在预定类型对象的区域检测为特征区域。这里，在给定提取过程中，特征区域检测部分3203 仅将滤波器应用至在恰在之前的提取过程中已经提取的区域。相应地，通过重复的提取过 程，重复地鉴别之后的图像中存在还是不存在先前图像中存在的对象，实现了特征区域的 更精确检测。此外，由于首先对较小图像进行了针对特征区域的粗略滤波，可以更快地检测 特征区域。 特征区域检测部分3203可以通过使用日本专利申请公开No. 2008-078636中公开 的方法来检测特征区域。例如，特征区域检测部分3203通过使用多个滤波器来检测特征区 域，所述多个滤波器作用于所捕捉的图像中具有预定大小的相同二维区域，以计算预定类 型的对象的轮廓和内部区域的任意特征(该特征不同于多个滤波器中的任何其他滤波器 所计算的特征)的量。具体地，特征区域检测部分3203通过将多个滤波器应用至所捕捉的 图像上要从中检测对象的具有预定大小的区域，以计算多个特征的量。多个滤波器中的每 一个与主评估值相关联，滤波器所计算的特征的量与主评估值进行比较以获得所涉及的特 征可能属于预定类型对象的概率的百分比。基于这种关联，特征区域检测部分3203鉴别与 每个所计算的特征的量相对应的主评估值。特征区域检测部分3203将针对多个滤波器而 分别鉴别的多个主评估值相加，从而获得次评估值，次评估值表示所滤波区域中可能存在 预定类型对象的概率的百分比。特征区域检测部分3203将次评估值与阈值进行比较，并且 在该区域中可能存在预定类型对象的概率的百分比高于该阈值的情况下，提取其中存在预 定类型对象的区域作为特征区域。通过将提取对象的轮廓和内部区域的各种特征的量的 多个滤波器进行组合，同仅基于例如轮廓的形状来提取特征区域相比，特征区域检测部分 3203可以更精确地提取特征区域。 特征区域检测部分3203可以将日本专利申请公开No. 2008-078636中描述的方法 和日本专利申请公开No. 2008-078641中描述的方法进行组合，来检测特征区域。具体地，2008-078636中描述的方法相结合来解释的多个滤波器可以包括 多个滤波器组，其中每个滤波器组是为特定大小的区域而准备的，即多个滤波器组分别作 用于具有不同大小的区域，在这些区域中，每个区域中包括的像素的数目以预定比率不同 于或以预定比率逐步不同于其他区域中的像素数目。如上所述，每个滤波器可以与合适的 评估值相关联。通过以预定的稀疏比率，使从中检测到对象的所捕捉的图像变稀疏，或者以 该稀疏比率逐步使这样稀疏的图像进一步变稀疏，特征区域检测部分3203产生包括所捕 捉的图像和一个或更多稀疏图像在内的图像集合。特征区域检测部分3203通过将针对较 窄区域的多个第一滤波器应用至所产生的图像集合中相对较小的第一图像来计算多个特 征的量。特征区域检测部分3203基于针对多个第一滤波器中的每一个给出的关联，针对所 计算的多个特征中的每一个的量，来鉴别主评估值。特征区域检测部分3203将多个主评估 值相加，从而获得次评估值，该次评估值表示在所滤波区域中可能存在预定类型对象的概 率的百分比。特征区域检测部分3203将所获得的次评估值与第一阈值进行比较，并且在该 区域中可能存在预定类型对象的概率的百分比高于该第一阈值的情况下，提取该区域作为 主候选区域。 特征区域检测部分3203通过将多个第二滤波器应用至图像集合中的第二图像中 与主候选区域相对应的区域来计算多个特征的量，其中多个第二滤波器针对比多个第一滤 波器所作用于的区域宽一个步长的区域，所述图像集合包括比第一图像中的像素数目大一 个步长的像素数目。特征区域检测部分3203基于针对多个第二滤波器中的每一个给出的 关联，针对所计算的多个特征中的每一个的量，来鉴别主评估值。特征区域检测部分3203 将分别与多个第二滤波器相对应的多个主评估值相加，从而获得次评估值，该次评估值表 示在与主候选区域相对应的区域中可能存在预定类型对象的概率的百分比。特征区域检测 部分3203将所获得的次评估值与第二阈值进行比较，并且在该区域中可能存在预定类型 对象的概率的百分比高于该第二阈值的情况下，提取该区域作为次候选区域。
特征区域检测部分3203重复将为不同大小的区域分别准备的多个滤波器组中的 每一个应用至图像集合中具有相应大小的区域的提取操作，以提取候选区域。此时，特征区 域检测部分3203按照执行针对较窄区域应用滤波器组的提取过程和针对较宽区域应用另 一滤波器组的提取过程的顺序来执行提取过程。具体地，特征区域检测部分3203按照执行 将为较窄区域准备的滤波器组应用至较小图像的提取过程和将为较宽区域准备的另一滤 波器组应用至较大图像的提取过程的顺序来执行提取过程。特征区域检测部分3203重复 提取过程2次或更多次，并提取最终候选区域，从而检测预定类型的对象。特征区域检测部 分3203将其中存在预定类型对象的区域检测为特征区域。 特征区域检测部分3203可以使用日本专利申请公开No. 2008-098600中描述的方 法来检测特征区域。例如，特征区域检测部分3203从多个图像捕捉设备3100捕捉运动图 像中包括的多幅所捕捉的图像中检测特征区域。例如，假定图像捕捉设备3100a和图像捕 捉设备3100b捕捉与对方所捕捉的相同场景。例如，图像捕捉设备3100a和3100b可以用 作立体摄像机。在以下解释中，可以将图像捕捉设备3100a获得的第一捕捉图像和图像捕 捉设备3100b获得的第二捕捉图像称为成对图像。特征区域检测部分3203从成对图像中 检测成对图像中捕捉的预定类型的对象，并且将其中存在所检测的预定类型对象的区域检 测为特征区域。
52
特征区域检测部分3203从成对的第一和第二捕捉图像中的每一个中提取其中捕 捉了预定类型对象的区域。特征区域检测部分3203可以以粗略的检测精度来检测其中捕 捉了预定类型对象的区域。特征区域检测部分3203通过从第一捕捉图像中所提取区域中 以及从第二捕捉图像中所提取的区域中检测一对对应区域，来检测预定类型的对象。例如， 特征区域检测部分3203计算从成对的对应区域中的每一个到在所提取区域中捕捉的对象 的距离。特征区域检测部分3203可以基于由所计算的与对象的距离获得的对象的三维形 状，来检测预定类型的对象。 当检测一对对应区域时，特征区域检测部分3203将从成对的第一和第二捕捉图 像中的每一幅中提取的、在其中捕捉了预定类型对象的区域划分为多个子区域。特征区域 检测部分3203计算表征每个子区域中的部分图像的特征量的跨过一些子区域的矢量。特 征量可以是例如像素值。跨过一些子区域的矢量可以是例如梯度矢量(例如像素值梯度矢 量)。特征区域检测部分3203计算第一图像中所计算的矢量与第二图像中所计算的矢量之 间的逻辑距离。如果矢量之间的逻辑距离小于预定值，则特征区域检测部分3203将第一图 像中由矢量所跨过的子区域组成的区域和第二图像中由矢量所跨过的子区域组成的区域 检测为一对对应区域。逻辑距离可以是例如一个矢量的各个分量与另一矢量的对应分量之 间的差的平方和的平方根。特征区域检测部分3203可以以高精度从成对图像中提取一对 对应区域，从而可以以高精度计算与对象的距离。因此，特征区域检测部分3203可以以高 精度识别对象的三维形状，并且因此可以以高精度检测预定类型的对象。
特征区域检测部分3203可以使用日本专利申请公开No. 2008-091562中描述的方 法来检测特征区域。例如，特征区域检测部分3203从运动图像中包括的多幅所捕捉的图像 中提取与预定类型的对象类似的推定对象形状，以及推定对象形状的尺寸和以图像捕捉设 备3100的场角来指示推定对象形状的位置的位置信息。以该场角表示的位置信息可以例 如是每幅所捕捉的图像中图像区域中的位置。特征区域检测部分3203确定所提取的推定 对象形状所表示的物体是否是预定类型的对象，从而提取预定类型的对象。例如，特征区域 检测部分3203可以对从环绕由推定对象形状表示的物体的预定搜索区域中搜索到由推定 对象形状表示的、具有相同尺寸的物体的次数进行计数，并可以在计数大于或等于阈值的 情况下，提取推定对象形状表示的物体作为预定类型的对象。特征区域检测部分3203可以 将包括预定类型对象在内的区域检测为特征区域。因此，特征区域检测部分3203可以将从 中密集搜索到具有与预定尺寸接近尺寸的物体的图像区域中存在的由推定对象形状表示 的物体检测为预定类型的对象。特征区域检测部分3203不需要将不同于所涉及的图像区 域的任何位置中存在的具有推定对象形状的物体检测为预定类型的对象。因此，特征区域 检测部分3203可以降低错误地将不同于所涉及的图像区域的任何位置中存在的具有推定 对象形状的物体检测为预定类型的对象的可能性。 如果图像捕捉设备3100可以以可变场角来捕捉图像，则以场角表示的前述位置 信息可以例如是图像捕捉设备3100捕捉图像的方向和所捕捉的图像中位置。如果可以通 过使用多个图像捕捉设备3100来捕捉比一个图像捕捉设备3100所捕捉的场深度更大的连 续深度的场，则以场角表示的位置信息可以例如是每个图像捕捉设备3100捕捉图像的方 向，以及每个图像捕捉设备3100所捕捉的捕捉图像中的位置。 当特征区域检测部分3203从输入的运动图像组成图像中检测不同类型的多个特
53征区域时，图像质量退化部分3281通过降低一种类型的特征区域的分辨率来由输入图像 产生一幅特征区域图像，并产生其中另一类型的特征区域的分辨率高于前述特征区域图像 中的分辨率的另一特征区域图像。级间差异压縮部分3286b至3286d对分别与特定类型的 特征区域相对应的特征区域图像进行处理，其中至少预定类型的特征区域具有与图像中该 区域的其余部分不同的分辨率。 具体而言，级间差异压縮部分3282b对在包括所有特征区域的区域中具有最低分 辨率的低分辨率特征区域图像进行处理。级间差异压縮部分3282c对其中预定类型的特征 区域具有高于低分辨率特征区域图像的分辨率的中等分辨率特征区域图像进行处理。级间 差异压縮部分3282d对其中另一预定类型的特征区域具有高分辨率的高分辨率特征区域 图像进行处理。 差异处理部分3287产生特征区域差异图像，其中(1) 一种类型的特征区域和另一 类型的特征区域均具有空间频率分量，该空间频率分量是被变换至空间频率域的一幅特征 区域图像与其对应的放大图像之间的差异并且(2)不同于该一种类型的特征区域和该另 一类型的特征区域的区域具有数据量减少的空间频率分量。 差异处理部分3287产生特征区域差异图像，其中(a) —种类型的特征区域具有空 间频率分量，该空间频率分量是被变换至空间频率域的一幅特征区域图像与其对应的放大 图像之间的差异，并且(b)不同于该一种类型的特征区域的区域具有数据量减少的空间频 率分量，或者产生特征区域间差异图像，其中(i)另一类型的特征区域具有空间频率分量， 该空间频率分量是被变换至空间频率域的另一特征区域图像与其中将该另一特征区域图 像中的特征区域放大的放大图像之间的差异，并且(ii)不同于该另一类型的特征区域的 区域具有数据量减少的空间频率分量。 编码部分3288对特征区域差异图像、特征区域间差异图像和低质量图像分别进 行编码。输出部分3207对运动编码部分3286a至3286d编码的位置差信息和编码部分 3288a至3288d编码的运动图像组成图像(例如低质量图像、特征区域差异图像和特征区域 间差异图像)进行复用，并输出复用的数据。 从上述解释显而易见地，级间差异压縮部分3282a产生在包括特征区域在内的整 个图像区域具有低图像质量的运动图像组成图像，即产生具有输入的运动图像组成图像的 低空间频率分量的运动图像组成图像。级间差异压縮部分3282b产生的运动图像组成图像 所具有的频率分量高于级间差异压縮部分3282a所产生的图像的频率分量并且低于级间 差异压縮部分3282c所产生的图像的频率分量。在级间差异压縮部分3282b产生的运动图 像压縮图像中，不同于特征区域的区域的、与级间差异压縮部分3282a所产生的运动图像 组成图像的差异减小。 类似地，级间差异压縮部分3282c产生的运动图像组成图像所具有的频率分量高 于级间差异压縮部分3282b所产生的图像的频率分量并且低于级间差异压縮部分3282d所 产生的图像的频率分量。级间差异压縮部分3282d产生的运动图像组成图像的频率分量高 于级间差异压縮部分3282c所产生的图像的频率分量。在级间差异压縮部分3282c和级间 差异压縮部分3282d产生的运动图像压縮图像中，不同于特征区域的区域的、与级间差异 压縮部分3282b和级间差异压縮部分3282c所产生的运动图像组成图像的差异减小。
级间差异压縮部分3282b至3282d中的每一个可以通过对其中预定类型的特征区域具有高于其他区域的图像质量的运动图像进行处理，来向外提供图像质量根据特征区域 的类型而不同的运动图像。此时，级间差异压縮部分3282b至3282d可以基于与另一个级 间差异压縮部分3282所处理的低质量运动图像组成图像的差异来进行压縮，因此压縮变 得高效。 在特征区域检测部分3203检测多个特征区域中每一个特征区域的特征的量时， 它可以针对多个特征区域中的每一个来计算指示所检测的特征属于特征区域的确定程度 的可靠性程度。级间差异压縮部分3282b至3282d对分辨率根据特征的量和其可靠性程度 (均是针对多个特征区域中的每一个而获得的)而调整了的特征区域的图像进行压縮。例 如，图像质量退化部分3281可以根据针对每个特征区域而获得的特征的量和可靠性程度， 对多个特征区域的图像的分辨率进行调整，并可以将调整后的图像提供给级间差异压縮部 分3282。例如，图像质量退化部分3281可以将多个特征区域的图像改变为比根据特征的量
而预定的分辨率高的分辨率(可靠性程度越低，高的量越大)。 图像处理设备3120通过对具有不同分辨率的不同级的多幅图像之间的差异进行 编码，来执行分级编码。由此显而易见，图像处理设备3120使用的压縮方法包括H. 264/SVC 的压縮方法。 压縮运动图像解压部分3202可以对编码的运动图像组成图像的一些区域进行解 码。例如，压縮运动图像解压部分3202可以将编码的图像中被帧内编码的这种区域解码为 像素值。特征区域检测部分3203可以基于压縮运动图像解压部分3202解码获得的像素值 来检测编码的图像中的特征区域。编码的运动图像组成图像是编码的图像的一个示例。
具体地，压縮运动图像解压部分3202将编码的运动图像组成图像中的I画面解码 为像素值。压縮运动图像解压部分3202可以将运动矢量所参考的区域和被帧内编码的区 域解码为像素值。特征区域检测部分3202可以基于压縮运动图像解压部分3202解码获得 的像素值来检测编码的图像中的特征区域。 压縮部分3240可以使用通过压縮运动图像解压部分3202解码得到的编码的数据
来对运动图像组成图像进行压縮。具体地，级间差异压縮部分3282使用编码的图像中包括
的编码的数据，将不同的图像质量给予特征区域的图像和不同于特征区域的区域的图像。
具体地，级间差异压縮部分3282使用编码的图像中包括的编码的数据，来将同被给予不同
于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。 压縮运动图像获取部分3201获取多幅编码的图像，这些图像是编码后的、运动图
像中包括的多幅运动图像组成图像。这里，编码的图像可以是MPEG、 H. 264或运动JPEG编
码的运动图像中包括的运动图像组成图像。级间差异压縮部分3282使用多个编码的图像
中包括的编码的数据，来将同被给予不同于特征区域的区域的图像的图像质量相比，较高
的图像质量给予特征区域的图像。 压縮运动图像解压部分3202对编码的图像的一些部分进行解码，以获取编码的 图像中至少一些区域的像素信息和与该像素信息的编码相关的编码信息。特征区域检测部 分3203基于像素信息和编码信息中的至少一个来检测特征区域。输入运动图像质量控制 部分3280和图像质量退化部分3281对像素信息和编码信息中的至少一个进行处理，并且 将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域 的图像。级间差异压縮部分3282基于编码信息来对像素信息进行编码。
55
压縮运动图像获取部分3201获取多幅编码的图像，这些图像是由运动矢量编码的多幅运动图像组成图像。压縮运动图像解压部分3202对编码的图像的一些部分进行解码，以获取像素信息和运动矢量。特征区域检测部分3203基于像素信息和运动矢量中的至少一个来检测编码的图像中的特征区域。输入运动图像质量控制部分3280和图像质量退化部分3281对像素信息和编码信息中的至少一个进行处理，并且将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。级间差异压縮部分3282基于运动矢量来对像素信息进行编码。 压縮运动图像获取部分3201获取编码的图像，这些图像是基于通过将像素数据变换至空间频率域而获得的变换系数并基于运动矢量来编码的。压縮运动图像解压部分3202对编码的图像的一些部分进行解码，以获取变换系数和运动矢量。级间差异压縮部分3282通过减少指示空间频率大于预定频率的频率分量的变换系数的信息量，来将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。
压縮运动图像获取部分3201获取编码的图像，这些图像是基于运动矢量起始的区域与运动矢量所参考的部分区域之间图像的差异来编码的。特征区域检测部分3203将其中包括运动对象的运动图像中的区域检测为特征区域。级间差异压縮部分3282将运动矢量与不同于特征区域的区域的图像之间的差异改变为指示不同于特征区域的区域具有与另一运动图像组成图像中的部分区域相同图像内容的值。具体地，如上所述，级间差异压縮部分3282b至3282d将不同于特征区域的区域的运动矢量改变为0，并将不同于特征区域的区域的图像的差异信息改变为0。 图21示出了压縮控制部分3250的一示例模块配置。压縮控制部分3250包括编码方式存储部分3410、编码方式获取部分3412、编码方式选择部分3420、位置差计算部分3440和相同对象区域标识部分3430。 编码方式存储部分3410以与对象的特征的量相关联的方式存储编码方式。具体地，编码方式存储部分3410以与对象类型相关联的方式存储编码方式。编码方式选择部分3420选择编码方式存储部分3410中以与特征区域检测部分3203所检测的特征区域中包括的对象的类型相关联的方式来存储的编码方式。 压縮部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的编码方式，来对多个特征区域的图像进行压縮。具体地，压縮部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的编码方式，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压縮。 更具体地，编码方式存储部分3410以与对象类型相关联的方式存储或为帧内编码或为帧间编码的编码方式。压縮部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的帧内编码方式或帧间编码方式，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压縮。 编码方式存储部分3410以与对象类型相关联的方式存储指示用于帧内编码的帧内预测方向的编码方式。压縮部分3240通过按照编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的方向来执行帧内预测，对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压縮。
编码方式存储部分3410以与对象类型相关联的方式存储指示用于帧间编码的运动预测单元的编码方式。压縮部分3240通过使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的运动预测单元来执行运动预测，对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压縮。 编码方式存储部分3410以与对象类型相关联的方式存储要被用作对运动图像组成图像进行编码的编码单元的部分区域的大小。压縮部分3240通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分3410中以与对象的类型相关联的方式存储的大小的部分区域，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压縮。 编码方式存储部分3410以与对象大小相关联的方式存储要被用作对运动图像组成图像进行编码的编码单元的部分区域的大小。压縮部分3240通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分3410中以与对象的大小相关联的方式存储的大小的部分区域，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压縮。 如上所述，压縮部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的特征的量相关联的方式存储的编码方式，来对多个特征区域的图像分别进行压縮。编码方式存储部分3410可以以与对象的类型相关联的方式来存储设置目标码量的编码方式。在这种情况下，压縮部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的编码方式，来对图像中多个特征区域的图像分别进行压縮。 具体地，编码方式存储部分3410以与对象的类型相关联的方式，存储指示量化步长的编码方式。压縮部分3240通过使用编码方式存储部分3410以与多个特征区域中包括的对象的类型相关联的方式存储的量化步长来对图像中的多个特征区域的图像进行量化，以分别对其进行压縮。 相同对象区域标识部分3430从另一运动图像组成图像中，对包括与多幅运动图像组成图像中的一幅运动图像组成图像的特征区域中包括的对象相同的对象的特征区域进行标识。位置差计算部分3440计算位置差，该位置差是相同对象区域标识部分3430所标识的该另一运动图像组成图像中的特征区域的位置与该一幅运动图像组成图像中特征区域的位置之间的差异。 对于相同对象区域标识部分3430所标识的该另一运动图像组成图像中的特征区域的至少部分区域的图像，压縮部分3240通过将至少该部分区域的图像与该一幅运动图像组成图像中与该部分区域的位置相距所计算的位置差的位置周围的区域的图像进行比较，来对至少该部分区域的图像进行压縮。具体地，运动分析部分3285通过将相同对象区域标识部分3430所标识的、该另一运动图像组成图像中的特征区域的至少该部分区域的图像与该一幅运动图像组成图像中与该部分区域的位置相距所计算的位置差的位置周围的区域的图像进行比较，来计算该一幅运动图像组成图像与该另一运动图像组成图像之间的图像内容的改变量。运动分析部分3285将该另一运动图像组成图像中的特征区域中包括的多个部分区域中每一个部分区域的图像与该一幅运动图像组成图像中与该部分区域的位置相距所计算的位置差的位置周围的部分区域的图像进行比较，从而计算多个部分区
57域中的每一个部分区域中组成图像之间图像内容的改变量。 在这种情况下，差异获得目标区域确定部分3294针对该另一运动图像组成图像
中的特征区域中包括的一个部分区域和另一部分区域中的每一个，基于图像内容的改变量
来确定比较目标部分区域，该比较目标部分区域是该一幅运动图像组成图像中与该另一运
动图像组成图像中的该一个部分区域或该另一部分区域相距所计算的位置差的位置周围
的部分区域。差异处理部分3287通过将该一个部分区域和该另一部分区域的图像与差异
获得目标区域确定部分3294分别针对这些部分区域而确定的比较目标部分区域的图像进
行比较，来对该一个部分区域和该另一部分区域的图像进行压縮。运动编码部分3286对指
示该一个部分区域的位置与针对该一个部分区域所确定的比较目标部分区域的位置之间
的差异的部分区域位置差进行压縮，并对指示该另一部分区域的位置与针对该另一部分区
域所确定的比较目标部分区域的位置之间的差异的部分区域位置差进行压縮。 注意，差异获得目标区域确定部分3294针对该一个部分区域和该另一部分区域
中的至少一个来确定比较目标部分区域，以使得与该一个部分区域相关的部分区域位置差
和与该另一部分区域相关的部分区域位置差之间的差异变得小于预定值。运动编码部分
3286通过将与该一个部分区域相关的部分区域位置差同与该另一部分区域相关的部分区
域位置差进行比较，来对与该一个部分区域相关的部分区域位置差进行压縮。如上所述，运
动编码部分3286基于部分区域位置差之间的差异来对其进行压縮，因此可以通过更多地
减小部分区域位置差来更多地压縮数据。 差异处理部分3287通过获得每个部分区域与差异获得目标区域确定部分3294针 对该部分区域而确定的比较目标部分区域之间的差异，来对该一个部分区域和该另一部分 区域的图像进行压縮。运动编码部分3286通过获得与该一个部分区域相关的部分区域位 置差和与该另一部分区域相关的部分区域位置差之间的差异，来对与该一个部分区域相关 的部分区域位置差进行压縮。 相同对象区域标识部分3430从多幅运动图像组成图像中标识包括相同对象的特 征区域。位置差计算部分3440针对相同对象区域标识部分3430所标识的多幅运动图像组 成图像中每种类型的特征区域来计算位置差。运动分析部分3285针对相同对象区域标识 部分3430从其中标识出特征区域的多幅运动图像组成图像中的每一幅，通过将包括相同 对象的该特征区域的至少部分区域的图像与另一运动图像组成图像中与至少该部分区域 的位置相距所计算的位置差的位置周围的区域的图像进行比较，来计算该运动图像组成图 像与另一运动图像组成图像之间图像内容的改变量。压縮部分3240基于图像内容的改变 量来压縮至少该部分区域的图像。具体地，压縮部分3240基于图像内容的改变量来对多个 部分区域中每一个的图像进行压縮。 相同对象区域标识部分3430从应当被帧间编码的多幅运动图像组成图像中，标
识包括相同对象的特征区域。具体地，相同对象区域标识部分3430从应当被编码为P画面
或B画面的多幅运动图像组成图像中，标识包括相同对象的特征区域。 根据本发明的差异获得目标区域确定部分3294和运动编码部分3286分别用作确
定上述比较目标部分区域的比较目标区域确定部分和对上述部分区域位置差进行压縮的
运动压縮部分。运动分析部分3285用作计算上述图像内容的改变量的改变计算部分。位
置差信息改变部分3290、运动编码部分3286、图像解码部分3292、图像放大部分3293、像素值改变部分3291、差异处理部分3287和编码部分3288用作基于图像内容的改变量来压縮 图像的图像压縮部分。 在以上解释中，运动分析部分3285计算运动矢量，作为图像内容的改变量的一个 示例。图像内容的改变量不仅可以是例如运动矢量表示的、部分区域的平行位移量，也可以 是图像放大/縮减量、图像旋转量和图像失真量中的至少一个。压縮部分3240可以基于图 像放大/縮减量、图像旋转量和图像失真量来压縮运动图像组成图像。例如，压縮部分3240 可以与上述基于运动补偿来标识比较目标图像(要获得与其的差异)相同的方式，基于图 像放大/縮减量、图像旋转量和图像失真量中的至少一个，来产生比较目标图像(要获得与 其的差异)。 编码方式获取部分3412从图像处理设备3120外部获取信息以存储在编码方式存 储部分3410中。具体地，编码方式获取部分3412以与对象的特征的量相关联的方式来获 取编码方式。编码方式获取部分3412可以以与对象的特征的量相关联的方式，获取多种编 码方式和选择这些编码方式的顺序。编码方式存储部分3410可以以与对象的特征的量相 关联的方式来存储编码方式获取部分3412以与对象的特征的量相关联的方式获取的编码 方式。 如上所述，对象的特征的量可以是例如对象的类型、对象的大小等等。例如，编码 方式可以是帧内编码或帧间编码、帧内预测的方向、运动预测的单元、要用作编码单元的部 分区域的大小、目标码量和量化步长等等。编码方式获取部分3412可以经由通信网络3110 从图像处理设备3170或显示设备3180获取包括这些编码方式的信息。例如，图像处理设 备3170可以经由通信网络3110向图像处理设备3120发送适于未使用并且在图像DB 3175 中包括的记录介质中可用的存储器容量的编码方式。例如，图像处理设备3170可以向图像 处理设备3120发送指定在未使用的存储器容量不足时可以将数据编码为较小码量的编码 方式的信息。 图22示出了根据另一实施例的图像处理设备3120的一示例模块配置。图像处理 设备3120包括压縮运动图像获取部分3201、压縮运动图像解压部分3202、特征区域检测部 分3203、图像划分部分3204、图像产生部分3205、值固定单元3210、退化单元3220、编码单 元3230、压縮控制部分3250、关联处理部分3206、条件存储部分3260和输出部分3207。
压縮运动图像获取部分3201、压縮运动图像解压部分3202、特征区域检测部分 3203、图像划分部分3204、图像产生部分3205和条件存储部分3260的每个组件的功能和操 作与参照图19至21所解释的、由相同参考标号表示的组件的功能和操作总体相同。因此 不再解释这些组件。 值固定单元3210包括多个值固定部分3211a至3211c(以下可以统称为值固定部 分3211)。退化单元3220包括多个图像质量退化部分3221a至3221d(以下可以统称为图 像质量退化部分3221)。 编码单元3230包括背景区域运动图像编码部分3231a和多个特征区域运动图像 编码部分3231b至3231d(以下可以统称为特征区域运动图像编码部分3231)。注意，背景 区域运动图像编码部分3231a和特征区域运动图像编码部分3231b至3231d有时可以统称 为编码部分3231。 图像质量退化部分3221a和背景区域运动图像编码部分3231a用作压縮部分
593240a。图像质量退化部分3221b和特征区域运动图像编码部分3231b用作压縮部分 3240b。类似地，图像质量退化部分3221c和特征区域运动图像编码部分3231c用作压縮 部分3240c。图像质量退化部分3221d和特征区域运动图像编码部分3231d用作压縮部分 3240d。多个压縮部分3240a至3240d可以统称为压縮部分3240。 压縮运动图像获取部分3201获取压縮的运动图像。具体地，压縮运动图像获取部 分3201获取由图像捕捉设备3100产生的捕捉运动图像的编码后的数据。压縮运动图像解 压部分3202恢复压縮运动图像获取部分3201获取的运动图像，以产生运动图像中包括的 多幅运动图像组成图像。具体地，压縮运动图像解压部分3202对压縮运动图像获取部分 3201获取的捕捉运动图像数据进行解码，以产生运动图像中包括的多幅运动图像组成图 像。运动图像组成图像包括帧图像和场图像。 特征区域检测部分3203从运动图像中包括的多幅运动图像组成图像中检测特征 区域。图像划分部分3204将多幅运动图像组成图像中的每一幅划分为特征区域和背景区 域。 图像产生部分3205从多幅运动图像组成图像中提取特征区域图像，从而产生多 幅特征区域压縮用运动图像，其中每一幅特征区域压縮用运动图像包括多幅所提取的特征 区域图像中不同的一幅。具体地，图像产生部分3205拷贝所获取的运动图像来产生多幅特 征区域压縮用运动图像(其中每一幅是要压縮的相应特征区域运动图像的基础)和背景区 域压縮用运动图像(其为要压縮的背景区域运动图像的基础)。 值固定部分3211中的每一个对相应特征区域压縮用运动图像中包括的多幅运动 图像组成图像中不同于特征区域图像的区域中的像素值给予固定值。例如，值固定部分 3211将不同于特征区域图像的区域中的像素值设置为预定值(例如亮度值为0)。压縮部分 3240中的每一个以与对应特征区域压縮用运动图像的特征的量相对应的强度，对包括其中 不同于特征区域图像的区域中的像素值被设为固定值的多幅运动图像组成图像在内的对 应特征区域压縮用运动图像进行压縮。按照这种方式，压縮部分3240以与相应运动图像的 特征的量相对应的强度，对多幅特征区域压縮用运动图像和背景区域压縮用运动图像进行 压縮。 如上所述，特征区域检测部分3203从图像中检测特征区域。图像划分部分3204 将图像划分为特征区域和不同于特征区域的背景区域。压縮部分3240以不同的强度对表 示特征区域的特征区域图像和表示背景区域的背景区域图像分别进行压縮。每一个压縮部 分3240以对应的强度对包括多幅运动图像组成图像(其中包括对应的特征区域图像)的 对应特征区域运动图像和包括多幅运动图像组成图像(其中包括背景区域图像)的背景区 域运动图像进行压縮。 压縮部分3240b、压縮部分3240c和压縮部分3240d被预先分配以特征区域运动图 像的类型以进行压縮，因此压縮部分3240b、压縮部分3240c和压縮部分3240d分别对预先 分配给它们的类型的特征区域运动图像进行压縮。针对相应特征类型，预先确定对特征区 域运动图像进行压縮的压縮强度，并且压縮部分3240b、压縮部分3240c和压縮部分3240d 以针对这些类型预定的压縮强度，对预先分配给它们的类型的特征区域运动图像进行压 縮。按照这种方式，压縮部分3240对多个区域同时进行压縮，其中压縮器是针对图像划分 部分3204所划分的图像区域分别准备的。
压縮部分3240可以由一个压縮器来实现，使得可以依次地一次一个地压縮多幅 特征区域运动图像和背景区域运动图像。在另一示例中，压縮部分3240可以通过针对图像 划分部分3204划分的每个区域使用针对特征区域的类型或针对背景预定的压縮率，对压 縮运动图像解压部分3202解码的捕捉运动图像进行压縮，来产生一运动图像数据。
特征区域检测部分3203从运动图像中包括的多幅运动图像组成图像中检测不同 类型的多个特征区域。图像划分部分3204将多幅运动图像组成图像划分为多个特征区域 和不同于多个特征区域的背景区域。压縮部分3240以与图像的特征的量相对应的强度，对 多幅特征区域运动图像和背景区域运动图像进行压縮。特征的量包括对象类型、对象大小、 运动对象运动的速度和特征区域的大小。 具体地，对于多幅特征区域运动图像和背景区域运动图像，图像质量退化部分 3221通过根据其特征的量对运动图像的图像质量进行退化，来对其进行压縮。更具体地， 对于多幅特征区域运动图像和背景区域运动图像，图像质量退化部分3221通过根据其特 征的量降低分辨率或帧率，来对其进行压縮。对于多幅特征区域运动图像和背景区域运动 图像，编码部分3231通过使用与其特征的量相对应的设置值对其进行编码，来对其进行压 縮。例如，对于多幅特征区域运动图像和背景区域运动图像，编码部分3231通过使用针对 其特征的量而分配的码量对其进行编码，来分别对其进行压縮。 特征区域检测部分3203针对多个特征区域中的每一个，计算在检测特征区域的 特征的量时获得的可靠性程度。对于多幅特征区域运动图像，压縮部分3240以与其特征的 量和可靠性程度相对应的强度来对其进行压縮。例如，对于多幅特征区域运动图像，图像 质量退化部分3221通过根据其特征的量和可靠性程度降低分辨率或帧率，来对其进行压 縮。对于多幅特征区域运动图像，编码部分3231通过使用与其特征的量和可靠性程度相对 应的设置值对其进行编码，来对其进行压縮。例如，对于多幅特征区域运动图像，压縮部分 3240可以以比与其特征的量相对应的强度低的强度(可靠性程度越低，低的量越大)来对 其进行压縮。 关联处理部分3206将通过对多幅特征区域运动图像和背景区域运动图像进行压 縮而产生的多个特征区域运动图像数据和背景区域运动图像数据互相关联(例如附加添 加标记信息等)。输出部分3207将由关联处理部分3206关联的多个特征区域运动图像数 据和背景区域运动图像数据发送至通信网络3110。 在图22的配置中，图像处理设备3120中包括的多个压縮部分3240对多个特征区
域的图像和背景区域的图像分别进行压縮，而在另一配置中，图像处理设备3120可以包括
一个压縮部分3240，使得该一个压縮部分3240可以使用不同的编码方式对多个特征区域
的图像和背景区域的图像分别进行压縮。例如，可以以时分方式，将多个特征区域的图像和
背景区域的图像依次提供给该一个压縮部分3240，并且该一个压縮部分3240可以使用不
同的编码方式，依次对多个特征区域的图像和背景区域的图像分别进行压縮。 例如，该一个压縮部分3240可以以不同的量化系数对多个特征区域的图像信息
和背景区域的图像信息分别进行量化。备选地，可以将已被改变为具有互不相同图像质量
的多个特征区域的图像和背景区域的图像提供给该一个压縮部分3240，并且该一个压縮部
分3240可以使用不同的编码方式，对所提供的多个特征区域和背景区域的图像分别进行压縮。
在一个压縮部分3240以不同的量化系数对相应区域进行量化或者对被改变为具 有不同图像质量的相应区域的图像进行压縮的上述实施例中，该一个压縮部分3240可以 对单一图像进行压縮，或者可以对图像划分部分3204划分的图像进行压縮(如参照图22 所述)。当一个压縮部分3240对单一图像进行压縮时，图像划分部分3204和值固定部分 3211不需要执行其图像划分和值固定操作。因此，图像处理设备3120不一定必须包括图像 划分部分3204和值固定单元3210。 图23示出了编码部分3231的一示例模块配置。每个编码部分3231包括运动分析 部分3285、差异处理部分3287、运动编码部分3286和编码部分3288。运动分析部分3285 包括差异获得目标区域确定部分3294和位置差信息产生部分3295。差异处理部分3287包 括差分像素图像产生部分3296、空间频率域变换部分3297和量化部分3298。图23所示的 组件的功能和操作与参照图20A至20C解释的由相同参考标号表示的组件的功能和操作总 体相同。因此不再解释这些组件，除非存在任何差异。 差分像素图像产生部分3296基于作为压縮目标的部分区域的像素信息与作为差 异获得目标区域确定部分3294所确定的差异获得目标的部分区域的像素信息之间的差 异，来产生差分像素图像。编码部分3288通过对量化部分3298量化的变换系数进行编码来 压縮图像。运动编码部分3286对位置差信息产生部分3295提供的位置差信息进行编码， 并将编码的位置差信息提供给输出部分3207。差异获得目标区域确定部分3294基于压縮 控制部分3250提供的特征区域信息，来确定运动图像组成图像(其图像质量被图像质量退 化部分3221退化)的差异获得目标区域。 图24示出了图像处理设备3170的一示例模块配置。图像处理设备3170包括压縮 运动图像获取部分3301、关联分析部分3302、压縮运动图像解压单元3310、组合部分3303 和输出部分3304。压縮运动图像解压单元3310包括多个压縮运动图像解压部分3311a至 3311d(以下可以统称为压縮运动图像解压部分3311)。以下要解释的是用于对从参照图21 至图23解释的图像处理设备3120获取的运动图像数据进行处理的图像处理设备3170的 每个组件的功能和操作。 压縮运动图像获取部分3301获取输出部分3207输出的、互相关联的多个特征区 域运动图像数据和背景区域运动图像数据。例如，关联分析部分3302对附加的标记信息进 行分析，以检索压縮运动图像获取部分3301获取的、互相关联的多个特征区域运动图像数 据和背景区域运动图像数据。 压縮运动图像解压部分3311对多个特征区域运动图像数据和背景区域运动图像 数据分别进行解码。具体地，压縮运动图像解压部分3311a对背景区域运动图像数据进行 解码。压縮运动图像解压部分3311b至3311d中的每一个对多个特征区域运动图像数据中 的一个特征区域运动图像进行解码。从而，获得多幅特征区域运动图像和背景区域运动图 像。针对特征的类型分别提供压縮运动图像解压部分3311b至3311d，压縮运动图像解压部 分3311b至3311d中的每一个对一种类型的特征区域运动图像数据进行解码。
组合部分3303将通过压縮运动图像解压部分3311解码而获得的运动图像组成图 像组合在一起。具体地，组合部分3303产生运动图像组成图像，其中将从压縮运动图像解 压部分3311b至3311d解码得到的多幅特征区域运动图像中包括的运动图像组成图像中 特征区域的图像覆盖至背景区域运动图像中包括的运动图像组成图像上。输出部分3304将组合部分3303所产生的包括多幅运动图像组成图像在内的运动图像提供给显示设备 3180。输出部分3304可以将组合部分2303所产生的包括多幅运动图像组成图像在内的运 动图像记录在图像DB3175中。图像处理设备3170可以将输出部分3207输出的多个特征区 域运动图像数据和背景区域运动图像数据关联地记录在图像DB 3175中。在这种情况下， 压縮运动图像获取部分3301可以获取图像DB3175中记录的、互相关联的多个特征区域运 动图像数据和背景区域运动图像数据。 根据本实施例，压縮运动图像解压单元3310包括多个压縮运动图像解压部分 3311，而在另一实施例中，压縮运动图像解压单元3310中包括的一个压縮运动图像解压部 分3311可以依次对背景区域运动图像数据和多个特征区域运动图像数据进行解码。当图 像处理设备3120将多个特征区域运动图像数据和背景区域运动图像数据作为单一运动图 像数据来提供时，该一个压縮运动图像解压部分3311可以对该单一运动图像数据进行解 码，并且输出部分3304可以输出解码操作所获得的运动图像。 当图像处理设备3170对参照图19至图21来解释的图像处理设备3120所产生的 运动图像数据进行处理时，图像处理设备3170获取级间差异压縮部分3282a至3282d分别 压縮的多个运动图像组成图像集合。图像处理设备3170对所获取的多个运动图像组成图 像集合中的每一个进行解码。图像处理设备3170将通过解码获得的多个运动图像组成图 像集合中的对应图像叠加在一起，以产生组合图像。图像处理设备3170将包括所产生的组 合图像作为其组成图像的运动图像提供给显示设备3180。 图25是示出了编码方式存储部分3140中存储的示例数据的表。编码方式存储 部分3410存储对象类型、编码模式、帧内预测的方向、运动补偿的单元、宏块大小和量化步 长。 对象类型可以是用于标识运动图像组成图像中所捕捉的对象的类型的信息。编码 模式可以是用于标识部分区域应当是帧内编码还是帧间编码的信息。 帧内预测的方向指示在要对块进行帧内编码时的预测方向。例如，帧内预测的方 向可以是用于标识对帧内块中的像素值进行预测的预测模式(预测模式是根据例如H. 264 方案的方法)的信息。例如，帧内预测的方向可以是指示是否要基于块中的平均来预测像 素值的信息，或者可以是指示像素的信息(参考该像素的像素值和位置来预测相同块中像 素的像素值)。 运动补偿的单元可以是指示块中运动矢量的精度的信息。宏块大小可以是指示宏 块大小的信息。宏块大小可以是特征区域的按单位面积计算的宏块大小。在这种情况下， 当特征区域的面积较大时，压縮部分3240可以使用较大的宏块大小。量化步长可以是指示 量化步长的校正值的信息。将参照图26和图27来解释量化步长。 优选地，编码方式存储部分3410存储适于对象类型所标识的对象所拥有的特征 空间频率分量的帧内预测的方向。例如，编码方式存储部分3410可以以与预期包括更多垂 直边缘的对象的类型相关联的方式，存储基于上方像素的像素值来预测像素的像素值的预 测模式O作为帧内预测的方向。 编码方式存储部分3410可以以与预期包括更多水平边缘的对象的类型相关联的 方式，存储基于左侧像素的像素值来预测像素的像素值的预测模式1作为帧内预测的方 向。编码方式存储部分3410可以以与预期包括更多低频分量的对象的类型相关联的方式，
63或者以与预期包括许多颜色的对象的类型相关联的方式，存储基于平均来预测像素的像素 值的预测模式2作为帧内预测的方向。 编码方式选择部分3420可以根据在检测特征区域时获得的可靠性程度，确定是 否基于对象类型来选择任何编码方式。例如，在检测中的可靠性程度高于预定值的条件下， 编码方式选择部分3420可以基于对象类型来选择任何编码方式。 图26示出了编码方式存储部分3410中存储的示例量化步长校正值。编码方式存 储部分3410存储用于对量化部分3298所使用的量化表的每个字段处的量化步长值进行校 正的校正值。在图26的示例中，该表示出了用于要应用至4X4宏块的量化步长的校正值 △quv。这里，u禾口 v = 0， 1，2禾口 3。 该表中左上角字段中的值Aq。。指示用于对要应用至指示DC分量的空间频率域值 的量化步长进行校正的校正值。向右和向下字段上的值Aquv指示用于要应用至更高空间 频率分量值的量化步长的校正值。 适应于对象类型、图像复杂度和编码差异，编码方式存储部分3410可以存储各种 频率分量的量化步长校正值Aquv。图像复杂度索引可以是针对宏块中包括的每个像素而 计算的、所涉及的像素的像素值与宏块中包括的像素的平均像素值之间的差异的绝对值之 和。备选地，图像复杂度索引可以是通过使用高通滤波器(如拉普拉斯滤波器)来处理宏 块中的图像而获得的、宏块中图像的高频分量的大小。 编码方式存储部分3410可以针对较高图像复杂度存储较大的量化步长校正值 Aquv。因此，较大的量化步长用于更复杂的图像内容。可以预期，当图像更加复杂时，指示 高频分量的空间频率域值将更大。由于编码方式存储部分3410针对更复杂的图像存储较 大的量化步长校正值Aquv，因此将以较大的量化步长来处理更复杂的图像，这将造成减少 了量化后的图像的信息量。 编码方式存储部分3410可以针对较大的编码差异来存储较小的量化步长校正值 Aquv。编码差异可以是指示经历有损编码之前的图像和经历有损编码之后的图像之间的差 异量的值。例如，编码差异可以是至少编码前后之间的编码差异，或者是量化前后之间的量 化差异。可以预期，随着编码差异越大，图像质量越低，而编码方式存储部分3410以与较大 编码差异相关联的方式存储较小的量化步长校正值Aquv。因此，可以针对较大的编码差异 选择较小的量化步长，这将造成增加了编码后的图像的信息量。按照这种方式，根据对象类 型、图像复杂度和编码差异来确定量化步长。 量化差异可以是量化部分3298量化之前的图像信号与量化后的图像信号之间的 差异。例如，量化差异可以是针对图像信号中的每个像素值计算的、量化前的像素值与量化 后的像素值之间的差异的绝对值之和。量化差异可以是针对图像信号中的每个像素值计算 的、量化前的像素值与量化后的像素值之间的差异的平方和。编码差异可以是编码前的图 像信号与编码后的图像信号之间的差异。例如，编码差异可以是针对图像信号中的每个像 素值计算的、编码前的像素值与编码后的像素值之间的差异的绝对值之和。编码差异可以 是针对图像信号中的每个像素值计算的、编码前的像素值与编码后的像素值之间的差异的 平方和。这里，编码包括空间频率域变换部分3297执行的至空间频率分量的变换，以及量 化部分3298执行的量化。 使用编码方式存储部分3410中存储的根据图像复杂度和编码差异的量化步长校正值Aquv，可以减少由于复杂图像导致的信息量增加，或者减少由于涉及空间频率变换或 量化的编码而导致的图像质量的降低。图26已经解释了以宏块为单位来减少信息量的增 加，而图27将解释减少整幅图像中信息量的波动。除了图26中所示的用于4X4宏块的量 化步长校正值Aquv之外，编码方式存储部分3410还可以存储用于各种宏块(包括8X8、 16X16等)的量化步长校正值Aquv。 图27示出了校正前的码量的比值与量化校正量Q之间的关系。线3910指示了特
征区域上对量化量的校正量。线3920指示了背景区域上对量化量的校正量。 校正前码量的比值是在特征区域的图像质量和背景区域的图像质量未经量化部
分3298调整时，特征区域中的码量与整个图像区域中的码量的比值。特征区域中的码量可
以是针对特征区域中包括的每个宏块而计算的、宏块的图像复杂度与宏块上的量化量之间
的乘积之和。整个图像区域中的码量可以是针对整个图像区域中包括的每个宏块而计算
的、宏块的图像复杂度与宏块上的量化量之间的乘积之和。 量化量指示量化的程度。这就是说，量化步长越小，量化量越大。量化校正量Q指 示当量化步长是以量化步长校正值Aquv来校正时，量化量的增加量。校正前的量化量是根 据缓冲器中被占用的存储器量、图像复杂度和目标码量来确定的。 码量的索引可以是量化量。如果基于图像复杂度来调整量化量，则基于由量化量 索引的码量来计算的校正前码量的比值预期实质上等于上述基于这种图像复杂度和量化 量来加权的校正前码量的比值。备选地，码量可以仅仅由面积来进行索引。同样使用这种 索引，只要特征区域的图像复杂度与背景区域的图像复杂度相等，基于由面积索引的码量 来计算的校正前码量的比值预期实质上等于上述基于这种图像复杂度和量化量来加权的 校正前码量的比值。根据上述解释，为了便于解释，基于以图像复杂度为基础来加权的校正 前码量的比值，来确定特征区域和不同于特征区域的区域上的量化的校正量。类似地，可以 基于以参照图26所解释的编码差异为基础来加权的校正前码量的比值，来确定特征区域 和不同于特征区域的区域上的量化的校正量。 使用这种过程，可以根据通过提高特征区域的图像质量而导致的码量增加，来减 少背景区域中的码量。因此，可以通过对特征区域和背景区域之间的图像质量进行平衡，来 防止码量增加。优选地，编码方式存储部分3410存储满足上述关系的量化步长校正值Aq。 压縮部分3240可以通过将时域低通滤波器应用至根据图像复杂度、编码差异和对象类型 而计算的量化校正量，每单位时间将量化校正量的波动量保存为等于或低于预定量。
图28是示出了编码方式存储部分3410中存储的另一示例数据的表。编码方式存 储部分3410以与对象类型相关联的方式存储帧内预测的方向和优先程度。帧内预测的方 向已经参照图25解释过，因此这里不再解释。优先程度指示根据其选择帧内预测的方向的 优先程度。 编码方式存储部分3410以与特征区域中包括的对象的类型相关联的方式，存储 多个编码方式和选择多个编码方式的顺序。编码方式选择部分3420按照该顺序，针对多个 特征区域中的每一个，选择编码方式存储部分3410中以与特征区域中包括的对象的类型 相关联的方式存储的编码方式。 如果编码方式可以将特征区域的图像压縮至与图像质量平衡的压縮量(该量高 于预定压縮率)，则编码方式选择部分3420选择该编码方式作为要被用于对特征区域的图
65像进行压縮的方式。压縮部分3240使用编码方式选择部分3420选择的编码方式，对运动 图像组成图像中多个特征区域的图像进行压縮。 如上所述，编码方式选择部分3420针对要压縮的多幅运动图像组成图像中的每 一幅，从多个编码方式中优选选择可以实现与图像质量平衡的较高压縮量的编码方式。因 此，通过以与对象类型相匹配的优先顺序来测试编码方式，编码方式选择部分3420可以降 低可能对任何不必要的编码模式进行测试的概率。因此，编码方式选择部分3420有时可以 快速指定适于对象类型的帧内预测的方向。 编码方式存储部分3410可以以与对象类型相关联的方式，存储多个编码方式的 各种组合。在这种情况下，编码方式选择部分3420针对要压縮的多幅运动图像组成图像 中的每一幅，从多个编码方式中优选选择可以实现与图像质量平衡的较高压縮量的编码方 式。 针对多个特征区域中的每一个，编码方式选择部分3420从编码方式存储部分 3410以与特征区域中包括的对象的类型相关联的方式存储的多个编码方式中，优选选择可 以实现与特征区域的图像中的图像质量平衡的较高压縮量的编码方式。
压縮部分3240使用编码方式选择部分3420选择的编码方式，对多幅运动图像组 成图像中的每一幅中的多个特征区域中的每一个特征区域的图像进行压縮。按照这种方 式，编码方式选择部分3420有时也可以快速地指定适于对象类型的帧内预测的方向。
图29示出了用于确定差异获得目标区域的差异获得目标区域确定部分3294的一 个示例确定方法。假定相同对象区域标识部分3430标识了分别包括对象3904和对象3214 的特征区域3902和特征区域3212，对象3904和对象3214是分别来自运动图像组成图像 3200和运动图像组成图像3810的相同对象。在这种情况下，位置差计算部分3440计算特 征区域的位置之间的位置差，该位置差是特征区域3902的左上角坐标与特征区域3212的 左上角坐标之间的差异。 在图29的示例中，位置差计算部分3440导出位置差(xl-xO， yl-yO)。差异获得 目标区域确定部分3294确定运动图像组成图像3200中的差异获得目标区域，以通过帧间 编码来对特征区域3212中包括的宏块3216进行编码。当宏块3216的左上角坐标为(x2， y2)并且宏块3216的右下角坐标为(x3， y3)时，差异获得目标区域确定部分3294确定矩 形区域3906中的差异获得目标区域，在运动图像组成图像3200中，矩形区域3906的相对 角是(x2-(xl-xO)-A ， y2-(yl-yO)-A)禾P (x3+(xl—xO) + A ， y3+(yl—yO) + A )。这里，原点 在运动图像组成图像3200和运动图像组成图像3810的左上角位置。 要在其中确定差异获得目标区域的跟踪范围的面积由A来定义。值A可以是预 定的像素数目。备选地，值A可以是根据特征区域3902和3212中包括的对象的类型来预 定义的。例如，差异获得目标区域确定部分3294可以针对预期以较高速度运动的对象类 型，使用较大的A值来确定差异获得目标区域。按照这种方式，对于相同对象区域标识部 分3430所标识的另一运动图像组成图像中的特征区域的至少部分区域的图像，压縮部分 3240通过将至少该部分区域的图像与以下范围内的区域的图像进行比较，来对至少该部分 区域的图像进行压縮所述范围与一幅运动图像组成图像中与该部分区域的位置相距所计 算的位置差的位置相距预定像素数目。 差异获得目标区域确定部分3294可以根据在检测特征区域时获得的可靠性程度来确定是否要基于特征区域之间的位置差来确定差异获得目标区域。例如，差异获得目标 区域确定部分3294可以在可靠性程度高于预定值的条件下，基于特征区域之间的位置差 来确定差异获得目标区域。 如上所述，差异获得目标区域确定部分3294可以通过使用特征区域之间的位置 差来縮窄在其中跟踪运动矢量的范围。因此，差异获得目标区域确定部分3294可以快速计 算运动矢量。特征区域3212可以防止其内的运动矢量在方向上不均匀。因此，当运动编码 部分3286基于相邻宏块中的运动矢量之间的差异来对运动矢量进行编码时，该差异可以 变得更小。因此，图像处理设备3170可以以较高压縮率来对运动矢量进行压縮。
图30示出了根据另一实施例的图像处理系统3020的一个示例。根据本实施例相 关的图像处理系统3020具有与参照图1解释的图像处理系统3010相同的配置，但是去除 了图像处理设备3120，取而代之地，图像捕捉设备3100a至3100d包括图像处理部分3604a 至3604d(以下可以统称为图像处理部分3604)。 图像处理部分3604包括图像处理设备3120的组件，除压縮运动图像获取部分 3201和压縮运动图像解压部分3202以外。图像处理部分3604中包括的相应组件的功能和 操作可以与图像处理设备3120中包括的组件的功能和操作实质上相同，但是图像处理部 分3604的组件处理图像捕捉部分3102捕捉的捕捉运动图像，而不像图像处理设备3120的 组件处理通过压縮运动图像解压部分3202解压得到的捕捉运动图像。具有这种配置的图 像处理系统3020也可以实现与参照图18至图29的图像处理系统3010相结合来解释的效 果相似的效果。 图像捕捉设备3100中包括的编码方式获取部分3412可以从图像处理设备3170 或从图像捕捉设备3100的用户获取上述编码方式。例如，图像捕捉设备3100可以具有在 其上显示设置屏幕的显示设备。该显示设备可以显示设置屏幕，从该设置屏幕来设置适于 特征区域的特征的量的编码方式。编码方式获取部分3412可以经由设置屏幕从用户获取 编码方式。例如，编码方式获取部分3412可以通过在显示设备上显示设置屏幕时获取指示 用户操作的信息，来获取编码方式。 图像处理部分3604可以从图像捕捉部分3102获取包括以RAW格式表示的多幅运 动图像组成图像在内的捕捉运动图像。图像处理部分3604可以从以RAW格式表示的多幅 运动图像组成图像中的每一幅中检测一个或多个特征区域。图像处理部分3604可以对获 取的捕捉运动图像中包括的以RAW格式表示的运动图像组成图像进行压縮，这是由于这些 图像具有RAW格式。此时，图像处理部分3604可以使用参照图18至图29结合图像处理设 备3120的操作而解释的压縮方法来对捕捉运动图像进行压縮。 图像处理设备3170可以通过对从图像处理部分3604获取的压縮运动图像进行解 压，来获得以RAW格式表示的多幅运动图像组成图像。图像处理设备3170可以以区域为单 位(即分别以不同于特征区域的每个区域为单位和以多个特征区域中的每一个为单位)， 对通过解压获得的具有RAW格式的多幅运动图像组成图像执行颜色估计(重合处理)。此 时，图像处理设备3170可以对特征区域以比对不同于特征区域的区域更高的精度来执行 颜色估计(重合处理)。 图像处理设备3170可以对通过同步得到的运动图像组成图像中的特征区域的图 像应用超分辨率(super-resolution)处理。图像处理设备3170执行的超分辨率处理可以
67是日本专利申请公开No. 2006-350498中描述的基于主要分量分析的处理，或者日本专利 申请公开No. 2004-88615中描述的基于对象运动的处理。 图像处理设备3170可以对特征区域中的每个对象分别应用超分辨率处理。例如， 当特征区域包括人脸的图像时，图像处理设备3170可以对均作为对象示例的每个脸部部 分(例如眼、鼻、口等)应用超分辨率处理。在这种情况下，图像处理设备3170存储每个脸 部部分(例如眼、鼻、口等)的学习数据，如日本专利申请公开No. 2006-350498中描述的基 于主要分量分析(PCA)的模型。图像处理设备3170可以使用针对脸部部分来选择的学习
数据，对特征区域中包括的每个脸部部分的图像分别应用超分辨率处理。 按照这种方式，图像处理设备3170可以使用主要分量分析(PCA)来重配置特征区
域的图像。除了主要分量分析(PCA)的学习和图像重配置之外，图像处理设备3170可以使
用局部性预留投影(LPP)、线性判别式分析(LDA)、独立分量分析(ICA)、多维縮放(MDS)、
支持矢量机(支持矢量回归)、神经网络、隐式马尔科夫模型、贝叶斯推论、最大后验概率估
计、迭代返回投影、小波变换、局部线性嵌入(LLE)、马尔科夫随机场(MRF)等来作为图像重
配置技术和用于图像重配置技术的学习技术。 除了日本专利申请公开No. 2006-350498中描述的模型之外，学习数据可以包括
对象的图像的低频分量和高频分量，这些分量是从为该类型的对象准备的许多采样图像中
提取的。这里，针对多种类型的对象中的每一种，可以使用K-means方法或类似方法对对象
的图像中的低频分量进行聚集，使得可以将每种类型的对象的图像中的低频分量聚集为多
个群集。可以针对每个群集来确定代表性低频分量，如群集的中值点的值。 图像处理设备3170从运动图像组成图像中的特征区域中包括的对象的图像中提
取低频分量。图像处理设备3170从为相应类型的对象准备的采样图像中提取的低频分量
的群集中，指定所确定的代表性低频分量是与所提取的低频分量中的任一个相匹配的值的
任何群集。图像处理设备3170指定与所指定的群集中包括的低频分量相关联的高频分量
的群集。按照这种方式，图像处理设备3170可以指定与从运动图像组成图像中包括的对象
中提取的低频分量相关的高频分量的群集。 图像处理设备3170可以使用所指定的高频分量群集的代表性高频分量，将对象 的图像改变为具有较高图像质量的图像。例如，图像处理设备3170可以基于与从对象中心 至表面上的处理目标的位置的距离相对应的权值，将为对象选择的高频分量添加至每个对 象的图像。代表性高频分量可以使用闭环学习来产生。由于图像处理设备3170可以使用 针对每个对象从通过关于对象的学习而产生的学习数据中选择的所需学习数据，图像处理 设备3170有时可以以更高精度使对象成为高质量图像。此外，在参照图18至图29解释的 图像处理系统3010中，图像处理设备3170可以对特征区域的图像应用上述超分辨率处理。
在日本专利申请公开No. 2006-350498中描述的基于主要分量分析的超分辨率处 理中，使用主要分量矢量和加权系数来表示对象的图像。加权系数和主要分量矢量的数据 量明显小于对象的图像中包括的像素数据的数据量。因此，在对从图像捕捉部分3102获取 的多幅运动图像组成图像中特征区域的图像进行压縮的过程中，图像处理部分3604可以 由特征区域中包括的对象的图像来计算加权系数。这就是说，图像处理部分3604可以通 过使用主要分量矢量和加权系数来表示图像，从而对特征区域中包括的对象的图像进行压 縮。图像处理部分3604可以将主要分量矢量和加权系数发送至图像处理设备3170。
68
在这种情况下，图像处理设备3170可以使用从图像处理部分3604获取的主要分 量矢量和加权系数来重配置特征区域中包括的对象的图像。不言自明，图像处理部分3604 可以使用各种特征参数来表示对象的模型，而不使用日本专利申请公开No. 2006-350498 中描述的基于主要分量分析的模型，来对特征区域中包括的对象的图像进行压縮。
图31示出了图像处理设备3120和3170的一示例硬件配置。图像处理设备3120 和3170包括由CPU外围部分、输入/输出部分和传统输入/输出部分。CPU外围部分包括 通过主机控制器3582互相连接的CPU 3505、RAM 3520、图形控制器3575和显示设备3580。 输入/输出部分包括通过输入/输出控制器3584连接至主机控制器3582的通信接口 3530、 硬盘驱动器3540和CD-ROM驱动器3560。传统输入/输出部分包括连接至输入/输出控制 器3584的ROM 3510、软盘驱动器3550和输入/输出芯片3570。 主机控制器3582将以高传输速率访问RAM 3520的CPU 3505和图形控制器3575 连接至RAM 3520。 CPU 3505基于ROM 3510和RAM3520上存储的程序进行操作，以控制每 个组件。图形控制器3575在RAM 3520中提供的帧缓冲器上获取CPU 3505等产生的图像 数据，并在显示设备3580上显示图像。取而代之地，图形控制器3575中可以包括用于存储 CPU 3505等产生的图像数据的帧缓冲器。 输入/输出控制器3584将作为相对高速率输入/输出设备的硬盘驱动器3540、通 信接口 3530和CD-ROM驱动器3560连接至主机控制器3582。硬盘驱动器3540上存储CPU 3505要使用的程序和数据。通信接口 3530与网络通信设备3598连接以发送或接收程序或 数据。CD-ROM驱动器3560从CD-ROM 3595中读出程序或数据，并将其经由RAM 3520提供 给硬盘驱动器3540和通信接口 3530。 ROM 3510和相对低速率的输入/输出设备(如软盘驱动器3550和输入/输出芯 片3570连接至输入/输出控制器3584。 ROM 3510存储图像处理设备3120和图像处理设备 3170激活时执行的引导程序、或者符合图像处理设备3120和图像处理设备3170的硬件的 程序。软盘驱动器3550从软盘3590中读出程序或数据，并经由RAM 3520将其提供给硬盘 驱动器3540或通信接口 3530。输入/输出芯片3570是通过软盘驱动器3550、并行端口 、 串行端口 、键盘端口 、鼠标端口等来连接各种输入/输出设备的连接接口 。
CPU 3505执行的程序在如软盘3590、 CD-ROM 3595和IC卡等记录介质中由用户 提供。存储在记录介质中的程序可以压縮也可以不压縮。记录介质中的程序安装到硬盘驱 动器3540上，读出至RAM 3520并由CPU 3505来执行。CPU 3505执行的程序使图像处理 设备3120用作参照图18至图30解释的图像处理设备3120。程序还使图像处理设备3170 用作参照图18至30解释的图像处理设备3170。 程序可以存储在外部记录介质中。记录介质可以是软盘3590和CD-ROM 3595，或 者备选地，可以是光记录介质(如DVD和PD)、磁-光记录介质(如MD)、磁带介质、半导体 存储器(如IC卡)。在连接至专用通信网络或因特网的服务器系统上安装的存储器设备 (如硬盘、RAM等)可以用作记录介质，使得程序可以经由网络提供给图像处理设备3120和 和图像处理设备3170。 尽管通过示例实施例描述了本发明的一些方面，但是应当理解，本领域技术人员 在不背离仅由所附权利要求限定的本发明的精神和范围的前提下，可以做出许多改变和替 换。
69
权利要求
一种图像处理设备，包括特征区域检测部分，检测图像中的多个特征区域；条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；压缩部分，分别对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及压缩控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
2. 如权利要求l所述的图像处理设备，其中特征区域检测部分检测运动图像中包括的多幅运动图像分量图像中的多个特征区域，以及压縮控制部分参照条件存储部分上存储的条件，根据所述多个特征区域的特征，来对 压縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进行控制。
3. 如权利要求2所述的图像处理设备，其中条件存储部分在其上存储根据特征区域的类型而不同的条件，以及 压縮控制部分参照条件存储部分上存储的条件，根据所述多个特征区域的类型，来对 压縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进行控制。
4. 如权利要求3所述的图像处理设备，其中特征区域检测部分检测多幅运动图像分量图像中具有不同类型特征的多个特征区域， 压縮部分分别对多幅特征区域运动图像进行压縮，其中每一幅特征区域运动图像包括所述多幅运动图像分量图像中具有相同类型特征的多幅特征区域图像，以及压縮控制部分参照条件存储部分上存储的条件，根据特征区域运动图像中包括的多幅特征区域图像的特征类型，对压縮部分对所述多幅特征区域运动图像中每一幅进行压縮的压縮强度进行控制。
5. 如权利要求4所述的图像处理设备，其中条件存储部分在其上存储根据特征区域的类型而不同的图像质量降低量； 压縮部分包括图像质量降低部分，降低多幅特征区域运动图像的图像质量，其中每一幅特征区域运动图像包括所述多幅运动图像分量图像中具有相同类型特征 的多个特征区域；以及压縮控制部分参照条件存储部分上存储的图像质量降低量，根据特征区域运动图像中 包括的多幅特征区域图像的特征类型，对图像质量降低部分将所述多幅特征区域运动图像 中每一幅的图像质量降低的图像质量降低量进行控制。
6. 如权利要求5所述的图像处理设备，其中条件存储部分在其上存储根据特征区域的类型而不同的空间分辨率降低量，或根据特 征区域的类型而不同的时间分辨率降低量，以及压縮控制部分参照条件存储部分上存储的空间或时间分辨率的降低量，根据特征区域 运动图像中包括的多幅特征区域图像的特征类型，对图像质量降低部分将所述多幅特征区 域运动图像中每一幅的图像质量降低的空间或时间分辨率降低量进行控制。
7. 如权利要求5所述的图像处理设备，还包括条件获得部分，获得根据特征区域的类型而不同的图像质量降低量，其中 条件存储部分在其上存储由条件获得部分获得的、根据特征区域的类型而不同的图像 质量降低量。
8. 如权利要求2所述的图像处理设备，其中条件存储部分在其上存储根据特征区域所指示的区域的特征而不同的条件，以及 压縮控制部分参照条件存储部分上存储的条件，根据所述多个特征区域所指示的区域 的特征，来对压縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进行控制。
9. 如权利要求8所述的图像处理设备，其中条件存储部分在其上存储根据特征区域所指示的区域的数目、大小或位置而不同的条 件，以及压縮控制部分参照条件存储部分上存储的条件，根据所述多个特征区域所指示的区域 的数目、大小或位置，来对压縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进 行控制。
10. 如权利要求2所述的图像处理设备，其中条件存储部分在其上存储根据特征区域的特征区域图像中包含的对象的特征而不同 的条件，以及压縮控制部分参照条件存储部分上存储的条件，根据所述多幅特征区域图像中包含的 对象的特征，来对压縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进行控制。
11. 如权利要求10所述的图像处理设备，其中条件存储部分在其上存储根据特征区域图像中包含的对象的形状、面对方向、运动方 向或已运动距离而不同的条件，以及压縮控制部分参照条件存储部分上存储的条件，根据所述多幅特征区域图像中包含的 对象的形状、面对方向、运动方向或已运动距离，来对压縮部分分别对所述多幅特征区域图 像进行压縮的压縮强度进行控制。
12. 如权利要求4所述的图像处理设备，还包括图像产生部分，通过复制运动图像来产生具有不同类型特征的多幅特征区域运动图 像，其中压縮控制部分参照条件存储部分上存储的条件，根据特征区域运动图像中包括的多幅 特征区域图像的特征类型，对压縮部分对所述多幅特征区域运动图像中每一幅进行压縮的 压縮强度进行控制。
13. 如权利要求2所述的图像处理设备，还包括 运动图像获得部分，获得从不同位置捕捉的多幅运动图像；以及相同主体区域标识部分，标识由运动图像获得部分所获得的多幅运动图像中的一幅运 动图像中包括的运动图像分量图像中的特征区域和所述多幅运动图像中不同的一幅运动 图像中包括的运动图像分量图像中的特征区域，所述特征区域包含相同的主体，其中参照条件存储部分上存储的条件，压縮控制部分(i)根据特征区域的特征，控制压縮 部分对由相同主体区域标识部分所标识的特征区域中的至少一个特征区域的特征区域图 像进行压縮的压縮强度，以及(ii)将压縮部分对所标识的特征区域中不同的一个特征区域的特征区域图像进行压縮的压縮强度设置为高于压縮部分对所述至少一个特征区域的 特征区域图像进行压縮的压縮强度。
14. 一种图像处理方法，包括 检测图像中的多个特征区域；存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的 压縮强度；对多幅特征区域图像进行压縮，所述多幅特征区域图像是所述多个特征区域的图像；以及参照存储步骤中存储的条件，根据所述多个特征区域的特征，来对分别对所述多幅特 征区域图像进行压縮的压縮强度进行控制。
15. —种与图像处理设备一起使用的程序，所述程序使图像处理设备用作 特征区域检测部分，检测图像中的多个特征区域；条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区 域的特征来分配不同的压縮强度；压縮部分，分别对多幅特征区域图像进行压縮，所述多幅特征区域图像是所述多个特 征区域的图像；以及压縮控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压 縮部分分别对所述多幅特征区域图像进行压縮的压縮强度进行控制。
16. —种图像处理设备，包括特征区域检测部分，从图像中检测多个特征区域；以及压縮部分，根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别 对所述多个特征区域的图像进行压縮。
17. 如权利要求16所述的图像处理设备，还包括编码方式存储部分，以与对象的特征 的量相关联的方式来存储编码方式，其中，压縮部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的特征 的量相关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压縮。
18. 如权利要求17所述的图像处理设备，其中，编码方式存储部分以与对象的类型相关联的方式来存储编码方式，以及 压縮部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关 联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压縮。
19. 如权利要求18所述的图像处理设备，其中，特征区域检测部分从运动图像中包括的多幅运动图像组成图像中的每一幅中检 测多个特征区域，所述运动图像为所述图像，以及压縮部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关 联的方式而存储的编码方式，分别对所述多幅运动图像组成图像中每一幅中的多个特征区 域的图像进行压縮。
20. 如权利要求19所述的图像处理设备，其中，编码方式存储部分以与对象的类型相关联的方式，存储或为帧内编码类型或为 帧间编码类型的编码方式，以及压縮部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关 联的方式而存储的帧内编码方式或帧间编码方式，分别对所述多幅运动图像组成图像中每 一幅中的多个特征区域的图像进行压縮。
21. 如权利要求20所述的图像处理设备，其中，编码方式存储部分以与对象的类型相关联的方式，存储指示帧内编码的帧内预 测方向的编码方式，以及压縮部分通过按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型 相关联的方式而存储的方向来执行帧内预测，分别对所述多幅运动图像组成图像中每一幅 中的多个特征区域的图像进行压縮。
22. 如权利要求20所述的图像处理设备，其中，编码方式存储部分以与对象的类型相关联的方式，存储指示帧间编码的运动预 测单元的编码方式，以及压縮部分通过按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型 相关联的方式而存储的运动预测单元来执行运动预测，分别对所述多幅运动图像组成图像 中每一幅中的多个特征区域的图像进行压縮。
23. 如权利要求20所述的图像处理设备，其中，编码方式存储部分以与对象的类型相关联的方式，存储要被用作对运动图像组 成图像进行编码的编码单元的部分区域的大小，以及压縮部分通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分中 以与该特征区域中包括的对象的类型相关联的方式存储的大小的部分区域，对所述多幅运 动图像组成图像中每一幅中的多个特征区域的图像进行压縮。
24. 如权利要求17所述的图像处理设备，其中，编码方式存储部分以与对象的大小相关联的方式，存储要被用作对运动图像组 成图像进行编码的编码单元的部分区域的大小，以及压縮部分通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分中 以与该特征区域中包括的对象的大小相关联的方式存储的大小的部分区域，对所述多幅运 动图像组成图像中每一幅中的多个特征区域的图像进行压縮。
25. 如权利要求18所述的图像处理设备，还包括编码方式选择部分，针对多幅运动图 像组成图像中的每一幅，从多种编码方式中，优先选择能够实现与图像质量平衡的较高压 縮量的编码方式，作为要用于对该运动图像组成图像进行压縮的编码方式，其中，编码方式存储部分以与对象的类型相关联的方式来存储多种编码方式的不同组合，编码方式选择部分针对所述多个特征区域中的每一个，从编码方式存储部分中以与该 特征区域中包括的对象的类型相关联的方式存储的多种编码方式中，优先选择能够实现与 该特征区域的图像中的图像质量平衡的较高压縮量的编码方式，以及压縮部分使用编码方式选择部分选择的编码方式，对多幅运动图像组成图像中每一幅 中的多个特征区域的图像进行压縮。
26. 如权利要求18所述的图像处理设备，还包括编码方式选择部分，针对多幅运动图 像组成图像中的每一幅，从多种编码方式中，优先选择能够实现与图像质量平衡的较高压縮量的编码方式，作为要用于对该运动图像组成图像进行压縮的编码方式，其中，编码方式存储部分以与特征区域中包括的对象的类型相关联的方式来存储多种编码方式和选择所述编码方式应当依据的顺序，如果所选的编码方式能够将该特征区域的图像压縮至与图像质量平衡的、高于预定压縮率的压縮量，编码方式选择部分针对所述多个特征区域中的每一个，按照所述顺序来选择编码方式存储部分中以与该特征区域中包括的对象的类型相关联的方式存储的编码方式，作为要用于对该特征区域的图像进行压縮的编码方式，以及压縮部分使用编码方式选择部分选择的编码方式，对每幅运动图像组成图像中的多个特征区域的图像进行压縮。
27. 如权利要求18所述的图像处理设备，其中，编码方式存储部分以与对象的类型相关联的方式，存储指示目标码量的编码方 式，以及压縮部分使用编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关 联的方式存储的编码方式，对所述图像中多个特征区域的图像进行压縮。
28. 如权利要求27所述的图像处理设备，其中，编码方式存储部分以与对象的类型相关联的方式，存储指示量化步长的编码方 式，以及压縮部分通过使用编码方式存储部分中以与所述多个特征区域中包括的对象的类型 相关联的方式存储的量化步长对图像进行量化，来对所述图像中多个特征区域的图像进行 压縮。
29. 如权利要求17所述的图像处理设备，还包括编码方式获取部分，以与对象的特征 的量相关联的方式来获取编码方式，其中，编码方式存储部分以与对象的特征的量相关联的方式，存储编码方式获取部分 以与对象的特征的量相关联的方式获取的编码方式。
30. —种图像处理方法，包括 从图像中检测多个特征区域；以及根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个 特征区域的图像进行压縮。
31. —种用于图像处理设备的程序，所述程序控制图像处理设备用作 特征区域检测部分，从图像中检测多个特征区域；以及压縮部分，根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别 对所述多个特征区域的图像进行压縮。
全文摘要
本发明提供了一种图像处理设备，包括特征区域检测部分，检测图像中的多个特征区域；条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；压缩部分，分别对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及压缩控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。本发明还提供了一种图像处理设备，包括编码方式存储部分，以与对象的特征的量相关联的方式来存储编码方式；特征区域检测部分，从图像中检测多个特征区域；以及压缩部分，以编码方式存储部分中以与所述多个特征区域中包括的对象的特征的量相关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压缩。
文档编号H04N7/26GK101755461SQ20088002540
公开日2010年6月23日 申请日期2008年7月16日 优先权日2007年7月20日
发明者龟山祐和 申请人:富士胶片株式会社