图像处理设备、图像处理方法、图像处理系统和程序的制作方法

专利名称：图像处理设备、图像处理方法、图像处理系统和程序的制作方法
技术领域：
本发明涉及一种用于处理图像的图像处理设备、图像处理系统和图像处理方法，以及一种与所述图像处理设备和图像处理系统一起使用的程序。(如果适用)，本专利申请在此以引用方式并入以下日本专利申请的内容2008年3月25日提交的No. 2008_078636、2008年 3 月 25 日提交的 No. 2008-078641,2008 年 3 月 31 提交的 No. 2008-091562 和 2008 年 4 月 4日提交的No. 2008-098600。本专利申请要求以下日本专利申请的优先权并将其内容以引用方式并入此处2007年7月20日提交的No. 2007-190148和2008年6月沈日提交的 No.2008-167811。
背景技术：
例如，日本专利No. 2828977中公开的一种已知的运动图像编码设备将已编码的屏幕图像与要编码的屏幕图像进行比较，以标识屏幕内的改变区域；将要编码的屏幕图像分为多个图像块；并且对包括改变区域在内的图像块进行编码。在对包括改变区域在内的图像块进行编码时，该运动图像编码设备将较大数目的信息比特分配给包含改变区域中另一限制区域在内的图像块，而将较小数目的信息比特分配给包含改变区域中其余区域在内的图像块。日本专利No. 3046379公开的一种已知的图像编码设备在空间轴和时间轴中的至少一个轴上选择性地对图像信号进行滤波，并对得到的图像信号进行编码，其中，图像信号是输入图像信号的一部分，并且与不同于指定区域的区域相对应。

发明内容
本发明要解决的技术问题然而，日本专利No. 2828977中公开的技术需要将一种特殊逻辑并入编码器，其中，该特殊逻辑将更多的信息比特分配给特定图像块(如眼和嘴)。日本专利No. 3046379 中公开的技术可能由于滤波而减少高频分量，从而在一定程度上减少运动图像的数据量， 但是仅仅滤波可能不能实现运动图像的数据量的充分减少。解决问题的技术方案为了解决上述问题，本发明的第一实施例提供了一种图像处理设备，包括特征区域检测部分，检测图像中的特征区域；图像划分部分，将图像划分为特征区域和不同于特征区域的背景区域；以及压缩部分，以互不相同的强度来对特征区域图像和背景区域图像进行压缩，所述特征区域图像是特征区域的图像，而所述背景区域图像是背景区域的图像。
特征区域检测部分可以检测运动图像中包括的多幅运动图像分量图像中的特征区域；图像划分部分可以将多幅运动图像分量图像中的每一幅划分为特征区域和背景区域；以及压缩部分可以以互不相同的强度来对包括多幅特征区域图像在内的特征区域运动图像和包括多幅背景区域图像在内的背景区域运动图像进行压缩。特征区域检测部分可以检测运动图像中包括的多幅运动图像分量图像中具有不同类型特征的多个特征区域；图像划分部分可以将多幅运动图像分量图像中的每一幅划分为多个特征区域和不同于多个特征区域的背景区域；以及压缩部分可以以根据多个特征区域的多条特征信息而确定的强度来对多幅特征区域运动图像进行压缩。压缩部分可以包括图像质量降低部分，通过根据多条特征信息来降低多幅特征区域运动图像的图像质量，对多幅特征区域运动图像进行压缩。图像处理设备还可以包括图像产生部分，通过复制运动图像，产生用于对多幅特征区域运动图像进行压缩的多幅特征区域压缩运动图像和用于对背景区域运动图像进行压缩的背景区域压缩运动图像。这里，压缩部分可以以根据多条特征信息而确定的强度，对多幅特征区域运动图像进行压缩。图像处理设备还可以包括值固定部分，将多幅特征区域压缩运动图像中的每一幅中包括的多幅运动图像分量图像中不同于特征区域的区域的像素值设置为固定值。这里，压缩部分可以以根据多条特征信息中相应的一条特征信息而确定的强度，对多幅特征区域运动图像中包括其中不同于特征区域的区域的像素值被设置为固定值的多幅运动图像分量图像在内的每一幅进行压缩。本发明的第二实施例提供了一种图像处理方法，包括检测图像中的特征区域； 将图像划分为特征区域和不同于特征区域的背景区域；以及以互不相同的强度来对特征区域图像和背景区域图像进行压缩，所述特征区域图像是特征区域的图像，而所述背景区域图像是所述背景区域的图像。本发明的第三实施例提供了一种与对图像进行压缩的图像处理设备一起使用的程序。所述程序使图像处理设备用作特征区域检测部分，检测图像中的特征区域；图像划分部分，将图像划分为特征区域和不同于特征区域的背景区域；以及压缩部分，以互不相同的强度来对特征区域图像和背景区域图像进行压缩，所述特征区域图像是特征区域的图像，而所述背景区域图像是所述背景区域的图像。本发明的第四实施例提供了一种图像处理设备，包括特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；以及输出部分，输出互相关联的差分图像和背景区域图像。差分图像产生部分可以产生表示图像中特征区域的图像与由于特征区域的分辨率降低图像的放大而获得的低质量图像之间的差异的差分图像。差分图像产生部分可以产生表示图像中的特征区域的图像与由于特征区域的图像的空间频率域中高频分量的减少而获得的低质量图像之间的差异的差分图像。图像质量降低部分可以通过降低包含特征区域和非特征区域在内的区域的图像的分辨率来产生背景区域图像；差分图像产生部分可以产生表示图像中特征区域的图像与由于背景区域图像中的特征区域的图像的放大而获得的低质量图像之间的差异的差分图像。本发明的第五实施例提供了一种图像处理方法，包括检测图像中的特征区域； 通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像； 产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；以及输出互相关联的差分图像和背景区域图像。本发明的第六实施例提供了一种与图像处理设备一起使用的程序。所述程序使图像处理设备用作特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；以及输出部分，输出互相关联的差分图像和背景区域图像。本发明的第七实施例提供了一种图像处理系统，包括特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；图像获得部分，获得差分图像和背景区域图像；图像相加部分，将图像获得部分获得的差分图像和背景区域图像中特征区域的图像相加在一起，以产生相加图像；以及图像组合部分，将相加图像和背景区域图像组合在一起。本发明的第八实施例提供了一种图像处理方法，包括检测图像中的特征区域； 通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像； 产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；获得差分图像和背景区域图像；将获得步骤中获得的差分图像和背景区域图像中特征区域的图像相加在一起，以产生相加图像；以及将相加图像和背景区域图像组合在一起。本发明的第九实施例提供了一种与图像处理系统一起使用的程序。所述程序使图像处理系统用作特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；图像获得部分，获得差分图像和背景区域图像；图像相加部分，将图像获得部分获得的差分图像和背景区域图像中特征区域的图像相加在一起， 以产生相加图像；以及图像组合部分，将相加图像和背景区域图像组合在一起。这里，在发明内容中未列出本发明的所有必要特征。这些特征的子组合可以形成本发明。


图1示意了与本发明的实施例相关的图像处理系统10的示例。图2示意了图像处理设备120的示例模块配置。图3示意了图像处理设备170的示例模块配置。
图4示意了图像处理设备120执行的操作的示例流程。图5示出了作为示例的特征区域运动图像的图像质量和背景区域运动图像的图
像质量。图6示意了图像处理设备170执行的操作的示例流程。图7示意了降低单元220的示例模块配置。图8示意了组合部分303的示例模块配置。图9示意了图像质量降低部分221执行的示例操作。图10示意了组合部分303执行的示例操作。图11示意了图像处理设备120的另一示例模块配置。图12A示意了级间差异压缩部分观加和的示例模块配置。图12B示意了运动分析部分和差异处理部分的示例模块配置。图12C示意了运动分析部分观恥和差异处理部分的示例模块配置。图13示意了与不同实施例相关的图像处理系统20的示例配置。图14示意了图像处理设备120和170的示例硬件配置。
具体实施例方式以下将描述本发明的一些实施例。这些实施例不限制根据权利要求的本发明，并且对本发明的各方面所提供的手段而言，实施例中描述的特征的全部组合不一定是必不可少的。图1示意了与本发明的实施例相关的图像处理系统10的示例。图像处理系统10 被设计为维持特征主体的图像的高质量，并且可以降低整幅图像的数据量。图像处理系统10包括多个图像捕捉设备IOOa至100c(以下统称为图像捕捉设备100)，用于捕捉被监视空间150的图像；多个图像处理设备120a至120c(以下统称为图像处理设备120)，用于处理图像；图像处理设备170 ；通信网络110 ；图像数据库175和多个显示设备180a至180c (以下统称为显示设备180)。图像处理设备120a连接至图像捕捉设备100a。图像处理设备120b连接至图像捕捉设备100b。图像处理设备120c连接至图像捕捉设备100c。图像处理设备170和显示设备180在与被监视空间150不同的空间160内提供。以下描述图像捕捉设备100a、图像处理设备120a、图像处理设备170和显示设备 180a的操作。图像捕捉设备IOOa捕捉被监视空间150的图像，对捕捉运动图像进行MPEG 编码以产生捕捉运动图像数据，并将产生的捕捉运动图像数据输出至图像捕捉设备IOOa 所连接的图像处理设备120a。这里，图像捕捉设备IOOa包括图像捕捉部分10 和捕捉运动图像压缩部分104a。 图像捕捉部分10 对被监视空间150进行图像捕捉，以产生捕捉运动图像中包括的多幅运动图像分量图像。图像捕捉部分10 可以以RAW格式来产生运动图像分量图像。捕捉运动图像压缩部分10 对图像捕捉部分10 产生的具有RAW格式的运动图像分量图像执行颜色估计(重合)处理以获得包括多幅运动图像分量图像在内的捕捉运动图像，并且使用如MPEG编码之类的技术对捕捉运动图像进行压缩。按照这种方式，捕捉运动图像压缩部分 10 产生捕捉运动图像数据。
图像处理设备120a获得图像捕捉设备IOOa产生的捕捉运动图像数据。图像处理设备120a对从图像捕捉设备IOOa获得的捕捉运动图像数据进行解码以产生捕捉运动图像，并且检测所产生的捕捉运动图像中的多个特征区域。这里，特征区域包含不同类型的特征，包括人130和运动物体140(如车辆)。基于捕捉运动图像，图像处理设备120a产生与不同类型的特征一一对应的多幅特征区域运动图像。在每幅特征区域运动图像中，特征区域中相应的一个具有比其余区域更高的图像质量。图像处理设备120a还产生背景区域运动图像，该背景区域运动图像是捕捉运动图像中除特征区域之外的背景区域的运动图像。 背景区域运动图像具有比特征区域运动图像更低的图像质量。图像处理设备120a对特征区域运动图像和背景区域运动图像分别进行编码，以产生多份特征区域运动图像数据和一份背景区域运动图像数据。同时，图像处理设备120a 将多份特征区域运动图像数据与一份背景区域运动图像数据互相关联，并将互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据经由通信网络110发送至图像处理设备170。图像处理设备170对从图像处理设备120a接收到的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据分别进行解码，以获得多幅特征区域运动图像和背景区域运动图像。图像处理设备170将特征区域运动图像与背景区域运动图像进行组合，以产生单幅组合运动图像，并将该组合运动图像提供给显示设备180a。显示设备180a 显示从图像处理设备170提供的运动图像。图像处理设备170可以将组合运动图像或从图像处理设备120a获得的捕捉运动图像数据记录在图像数据库175上。图像处理设备170可以响应于显示设备180a发出的请求，将图像数据库175上记录的组合运动图像提供给显示设备180a。如上所述，图像处理设备170可以对图像数据库175上记录的捕捉运动图像数据进行解码，并响应于显示设备 180a发出的请求，将得到的运动图像提供给显示设备180a。图像数据库175可以具有非易失性记录介质(如硬盘)，并在记录介质上记录从图像处理设备170提供的组合运动图像。图像捕捉设备IOOb和IOOc分别包括具有与图像捕捉设备IOOa的组件相同功能的组件。图像捕捉设备IOOc和IOOb具有与图像捕捉设备IOOa相同的功能和操作，但是图像捕捉设备IOOb和IOOc分别将捕捉运动图像数据提供给图像处理设备120b和120c。因此，这里不对图像捕捉设备IOOb和IOOc进行解释。注意，以下描述可能将图像捕捉部分 102a至102c称为图像捕捉部分102，并且可能将捕捉运动图像压缩部分10 至l(Mc称为捕捉运动图像压缩部分104。图像处理设备120b和120c可以具有与图像处理设备120a相同的功能和操作，但是图像处理设备120b和120c分别从图像捕捉设备IOOb和IOOc获得捕捉运动图像数据。 因此，这里不对图像处理设备120b和120c进行解释。图像处理设备170基于从图像处理设备120b和120c中的每一个接收到的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据来产生单幅运动图像，并将该单幅运动图像提供给显示设备180b和 180c中相应的一个。显示设备180b和180c分别显示从图像处理设备170提供的运动图像。当例如用作监视系统时，与本实施例相关的图像处理系统10能够保持人、运动物体和要监视的其他特征主体的高质量图像。此外，与本实施例相关的图像处理系统10能够减少运动图像的数据量。图2示意了图像处理设备120的示例模块配置。图像处理设备120包括压缩运动图像获得部分201、压缩运动图像扩展部分202、特征区域检测部分203、图像划分部分204、 图像产生部分205、值固定单元210、降低单元220、编码单元230、关联部分206和输出部分 207。值固定单元210包括多个值固定部分211a至211c (以下统称为值固定部分211)。 降低单元220包括多个图像质量降低部分221a至221d(以下统称为图像质量降低部分 221)。编码单元230包括背景区域运动图像编码部分231a和多个特征区域运动图像编码部分231b至231d(以下统称为特征区域运动图像编码部分231)。这里，背景区域运动图像编码部分231a和特征区域运动图像编码部分231b至231d可以统称为编码部分231。图像质量降低部分221a和背景区域运动图像编码部分231a —起用作压缩部分 240a。图像质量降低部分221b和特征区域运动图像编码部分231b —起用作压缩部分240b。 图像质量降低部分221c和特征区域运动图像编码部分231c —起用作压缩部分MOc。图像质量降低部分221d和特征区域运动图像编码部分231d—起用作压缩部分MOd。这些压缩部分MOa至MOd统称为压缩部分M0。压缩运动图像获得部分201获得压缩运动图像。具体而言，压缩运动图像获得部分201获得由图像捕捉设备100产生的捕捉运动图像数据。压缩运动图像扩展部分202对压缩运动图像获得部分201获得的运动图像进行解压，以产生运动图像中包括的运动图像分量图像。具体而言，压缩运动图像扩展部分202对压缩运动图像获得部分201获得的捕捉运动图像数据进行解码，以产生运动图像中包括的运动图像分量图像。运动图像分量图像可以是帧图像、场图像等等。特征区域检测部分203检测运动图像中包括的运动图像分量图像中的特征区域。 图像划分部分204将每个运动图像分量图像划分为特征区域和背景区域。图像产生部分205从运动图像分量图像中提取特征区域图像，以产生多幅特征区域压缩运动图像。这里，每一幅特征区域压缩运动图像包括多幅特征区域图像。具体而言， 图像产生部分205通过复制运动图像来产生用于对多幅特征区域运动图像进行压缩的多幅特征区域压缩运动图像和用于对背景区域运动图像进行压缩的背景区域压缩运动图像。值固定部分211将每一幅特征区域压缩运动图像中包括的运动图像分量图像中不同于特征区域的区域(以下称为非特征区域)的像素值设置为固定值。例如，值固定部分211将特征区域压缩运动图像中非特征区域的像素值设置为预定值(例如将亮度值设置为0)。然后，压缩部分240以根据特征区域压缩运动图像的特征信息而确定的强度，对包括其中非特征区域的像素值被设为固定值的运动图像分量图像在内的每一幅特征区域压缩运动图像进行压缩。如上所述，压缩部分MO以根据压缩运动图像的多条特征信息而确定的强度，对特征区域压缩运动图像和背景区域压缩运动图像独立地进行压缩。如上所述，特征区域检测部分203检测图像中的特征区域。图像划分部分204将每幅图像划分为特征区域和背景区域。压缩部分MO以不同的强度对示出特征区域的特征区域图像和示出背景区域的背景区域图像独立地进行压缩。压缩部分MO以不同的强度对每幅包括多幅特征区域图像的特征区域运动图像和每幅包括多幅背景区域图像的背景区域运动图像分别进行压缩。压缩部分M0b、240c和MOd中的每一个被配置为对预定类型的特征区域运动图像进行压缩。压缩部分M0b、240c和MOd中的每一个对示出预定类型特征的特征区域运动图像进行压缩。这里，以与特征类型相关联的方式，预先确定对示出不同类型特征的特征区域运动图像进行压缩的压缩强度。压缩部分M0b、240c和MOd中的每一个以与预定特征类型相关联的预定压缩强度来对示出预定类型特征的特征区域运动图像进行压缩。按照这种方式，压缩部分240使用以与图像划分部分204定义的图像区域一一对应的方式提供的压缩器来并行压缩多个区域。压缩部分240可以由单一压缩器来实现。在这种情况下，压缩部分240可以在时间上依次压缩特征区域运动图像和背景区域运动图像。备选地，压缩部分240可以通过以针对特征类型和区域背景预先确定的压缩率对图像划分部分204定义的区域进行压缩，来对压缩运动图像扩展部分202的解码操作获得的捕捉运动图像进行压缩。按照这种方式， 压缩部分240可以产生单份运动图像数据。注意，特征区域检测部分203在运动图像中包括的多幅运动图像分量图像中检测到具有不同类型特征的多个特征区域。图像划分部分204将每幅运动图像分量图像划分为多个特征区域和背景区域。压缩部分MO以根据运动图像的多条特征信息而确定的强度， 对多幅特征区域运动图像和背景区域运动图像分别进行压缩。在此，这里的特征信息指示主体类型、对象大小、运动物体的运动速度和特征区域大小中的任一项。具体而言，对于特征区域运动图像和背景区域运动图像，图像质量降低部分221 通过根据它们的相应的多条特征信息降低它们的图像质量，来对它们进行压缩。更具体地， 对于特征区域运动图像和背景区域运动图像，图像质量降低部分221通过根据它们的相应的多条特征信息降低帧率的分辨率，来对它们进行压缩。对于特征区域运动图像和背景区域运动图像，编码部分231通过使用根据它们的相应的多条特征信息而设置的值对运动图像进行编码，来对它们进行压缩。例如，对于特征区域运动图像和背景区域运动图像，编码部分231通过使用根据它们的相应的多条特征信息而分配的码量对运动图像进行编码，来对它们进行压缩。关联部分206将多个压缩部分240通过对特征区域运动图像和背景区域运动图像进行压缩而产生的多份特征区域运动图像数据和一份背景区域运动图像数据互相关联。例如，这种关联是通过添加标记信息来实现的。输出部分207将由关联部分206互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据发送至通信网络110。根据图2所示的配置，图像处理设备120中包括的压缩部分MO以一一对应的方式对特征区域图像和背景区域图像进行压缩。然而，根据不同的配置，图像处理设备120可以包括单一压缩部分M0，该单一压缩部分240可以以不同的强度对特征区域图像和背景区域图像分别进行压缩。例如，可以以时间共享的方式，将特征区域图像和背景区域图像依次提供给单一压缩部分对0，并且单一压缩部分240可以以不同的强度依次对特征区域图像和背景区域图像分别进行压缩。备选地，单一压缩部分240可以通过分别以不同的量化系数对特征区域的多条图像信息和背景区域的一条图像信息分别进行量化，来以不同的强度对特征区域图像和背景区域图像分别进行压缩。此外，可以将特征区域图像和背景区域图像转换为具有不同图像质量的图像，并且可以将得到的图像提供给单一压缩部分对0。单一压缩部分240可以对从特征区域图像和背景区域图像获得的所提供的图像分别进行压缩。在单一压缩部分MO以不同的量化系数对每个区域的图像进行量化或者对具有不同图像质量的每个区域的图像进行压缩的上述实施例中，单一压缩部分240可以对单一整幅图像或者图像划分部分204定义的图像的每个部分区域进行压缩(如参照图2所述)。 当单一压缩部分240对单一整幅图像进行压缩时，图像划分部分204执行的图像划分操作和值固定部分211执行的值固定操作不是必要的。因此，图像处理设备120可以被配置为不具有图像划分部分204和值固定单元210。图3示意了图像处理设备170的示例模块配置。图像处理设备170包括压缩运动图像获得部分301、关联分析部分302、压缩运动图像扩展单元310、组合部分303和输出部分304。压缩运动图像扩展单元310包括多个压缩运动图像扩展部分311a至311d(以下统称为压缩运动图像扩展部分311)。压缩运动图像获得部分301获得从输出部分207输出的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。例如，关联分析部分302对添加的标记信息进行分析，以检索压缩运动图像获得部分301获得的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。压缩运动图像扩展部分311对多份特征区域运动图像数据和一份背景区域运动图像数据进行解码。具体而言，压缩运动图像扩展部分311a对背景区域运动图像数据进行解码。压缩运动图像扩展部分311b至311d中的每一个对特征区域运动图像数据中的一份进行解码。按照这种方式，压缩运动图像扩展部分311a至311d获得背景区域运动图像和多幅特征区域运动图像。这里，以与多个不同类型特征一一对应的方式提供压缩运动图像扩展部分311b至311d，压缩运动图像扩展部分311b至311d中的每一个对一种类型的一份特征区域运动图像数据进行解码。组合部分303将通过压缩运动图像扩展部分311的解码操作而获得的运动图像分量图像组合在一起。具体而言，组合部分303通过将从压缩运动图像扩展部分311b至311d 的解码操作得到的特征区域运动图像中包括的运动图像分量图像重叠至背景区域运动图像中包括的运动图像分量图像上，来产生运动图像分量图像。输出部分304将包括组合部分303所产生的运动图像分量图像在内的运动图像提供给显示设备180。这里，输出部分 304可以将包括组合部分303所产生的运动图像分量图像在内的运动图像记录在图像数据库175上。图像处理设备170可以将从输出部分207输出的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据记录在图像数据库175上。在这种情况下，压缩运动图像获得部分301可以从图像数据库175获得互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。根据本实施例，压缩运动图像扩展单元310包括多个压缩运动图像扩展部分311， 其数目与特征类型的数目相对应。然而，在其他实施例中，压缩运动图像扩展单元310可以包括单一压缩运动图像扩展部分311，该单一压缩运动图像扩展部分311可以依次对一份背景区域运动图像数据和多份特征区域运动图像数据进行解码。当图像处理设备120向图像处理设备170提供单份运动图像数据时，单一压缩运动图像扩展部分311可以对所提供的单份运动图像数据进行解码，并且输出部分304可以输出解码操作所获得的运动图像。9/30 页图4示意了图像处理设备120执行的操作的示例流程。在步骤401中，压缩运动图像获得部分201获得捕捉运动图像数据。压缩运动图像扩展部分202通过对捕捉运动图像数据进行解码来产生多幅帧图像410。在步骤402中，特征区域检测部分203基于每幅帧图像410或多幅帧图像410所示的内容来检测感兴趣的区域(ROI)，ROI被示为特征区域的示例。特征区域检测部分203检测包含人脸、人体和运动物体的区域，作为不同类型的 R0L·例如，特征区域检测部分203通过模式匹配技术等来检测包含以高于预定匹配度的匹配度与人脸的预定模式相匹配的对象在内的区域，并将检测到的脸部区域指定为R0I。此外，特征区域检测部分203通过模式匹配技术等来检测包含以高于预定匹配度的匹配度与人体模式相匹配的对象在内的区域，并将检测到的区域指定为R0I。这里，特征区域检测部分203可以检测脸部区域附近的身体区域。特征区域检测部分203基于多幅帧图像所示的内容来标识包含运动物体在内的运动区域。例如，特征区域检测部分203将在帧图像之间像素值变化大于预定值的区域标识为运动区域。此外，特征区域检测部分203使用边缘提取技术等从帧图像中提取对象。特征区域检测部分203可以依次标识以高于预定匹配度的匹配度互相匹配并且在不同帧图像中位于不同位置的对象，并且将包含所标识对象在内的区域标识为运动区域。如上所述，特征区域检测部分203将满足与图像内容相关的预定条件的区域检测为R0I。具体而言，特征区域检测部分203将包含满足预定条件的对象在内的区域检测为 R0L·例如，特征区域检测部分203将包含以高于预定匹配度的匹配度与预定形状相匹配的对象在内的区域检测为R0I。此外，特征区域检测部分203将图像变化比预定变化更为显著的区域检测为ROI。例如，特征区域检测部分203将帧图像之间像素值变化大于预定变化的区域检测为ROI。除了上述列出的人脸和人体之外，特征区域检测部分203可以将示出人的头部的一部分、人体的一部分(如手)或不同于人的活体对象的至少一部分的区域检测为R0I。注意，活体对象包括活体对象内的特定组织，例如肿瘤组织或血管。此外，除了活体对象之外， 特征区域检测部分203可以将示出货币、卡(如现金卡)、车辆或车辆的牌照的区域检测为 ROI。除了包括模板匹配技术在内的模式匹配技术之外，特征区域检测部分203可以使用例如日本专利申请公开No. 2007-188419中公开的机器学习(例如adaboost)的结果来检测R0I。例如，特征区域检测部分203基于从预定主体的图像中提取的图像特征信息和从不同于预定主体的主体的图像中提取的图像特征信息，来学习从预定主体的图像中提取的图像特征信息的独特性。特征区域检测部分203可以将从中提取了具有与所学习的独特性相匹配的独特性的图像特征信息的区域检测为R0I。按照这种方式，特征区域检测部分 203可以将示出预定主体的区域检测为R0I。特征区域检测部分203可以检测具有任何形状(例如矩形)的R0I。特征区域检测部分203可以使用在日本专利申请No. 2008-078641中公开的方法来检测R0I。例如，特征区域检测部分203以单一或多个预定速率来丢弃要在其中检测对象的所捕捉的图像中的一些像素。按照这种方式，特征区域检测部分203产生由所捕捉的图像和一个或多个像素丢弃后的图像组成的图像组。特征区域检测部分203将第一滤波器应
14用至第一图像来计算评估值。这里，在所产生的图像组中包括的图像中，第一图像具有相对较小的大小，并且，第一滤波器作用于图像上的二维区域，并产生表示该区域内存在特定类型对象的可能性的评估值。第一滤波器可以从分别作用于不同大小的区域的滤波器组中选择，并且被设计为作用于相对较小的区域，其中，根据图像上区域的大小，每个滤波器具有预定数目的像素。特征区域检测部分203从第一图像中提取主候选区域，该主候选区域产生超过预定第一阈值的评估值。然后，特征区域检测部分203将第二滤波器应用至第二图像中与主候选区域相对应的区域，以计算评估值，其中，第二图像所具有的像素比第一图像多预定数目，第二滤波器是从所述滤波器组中选择的并被设计为作用于比第一滤波器所作用的区域大预定大小的区域。按照这种方式，特征区域检测部分203提取次候选区域，该次候选区域产生超过预定第二阈值的评估值。特征区域检测部分203将被设计为作用于不同大小的区域的上述滤波器组应用至图像组中包括的相应大小的区域，以重复上述提取候选区域的提取操作。这里，特征区域检测部分203以如下方式重复执行提取操作从应用被设计为作用于相对较小区域的滤波器的提取操作开始，依次增大所应用的滤波器所作用的区域的大小。具体而言，特征区域检测部分203以如下方式重复并依次执行提取操作从将被设计为作用于相对较小区域的滤波器应用至相对较小图像的提取操作开始，以将被设计为作用于相对较大区域的滤波器应用至相对较大图像的提取操作结束。特征区域检测部分203重复执行两个或更多提取操作，以提取最终候选区域。按照这种方式，特征区域检测部分203检测特定类型的对象。然后，特征区域检测部分203将其中存在该特定类型对象的区域检测为R0I。如上所述，特征区域检测部分203将滤波器的应用限制于恰在之前的提取操作中提取的区域。换言之，相应提取操作依次判断对象是否存在。因此，特征区域检测部分203可以精确地检测R0I。此外，由于上述方法使用较小区域来大致检测R0I，因此特征区域检测部分203可以在较短时间内检测ROI。备选地，特征区域检测部分203可以通过使用日本专利申请No. 2008-078636中公开的方法来检测R0I。例如，特征区域检测部分203通过多个滤波器来检测R0I，每个滤波器被设计为作用于所捕捉的图像中具有预定大小的二维区域并计算与特定类型的对象的轮廓和所占的面积相关的不同的多条特征信息之一。具体而言，特征区域检测部分203将这些滤波器应用至要在其中检测对象的所捕捉的图像上具有预定大小的区域，以计算多条特征信息。这里，每个滤波器与滤波器所计算的特征信息与表示存在特定类型对象的可能性的主评估值之间的关系相关联。特征区域检测部分203参照这种关系，并获得与所计算的多条特征信息相关的主评估值。然后，特征区域检测部分203将与这些滤波器相对应的主评估值相结合，以获得表示区域中存在特定类型对象的可能性的次评估值。特征区域检测部分203将次评估值与阈值进行比较，以提取产生超过阈值的次评估值并且其中非常可能存在特定类型对象的区域。按照上述方式，特征区域检测部分203将所提取的区域检测为其中存在特定类型对象的ROI。如上所述，特征区域检测部分203将提取与对象轮廓和所占面积的各种特征相关的多条特征信息的多个滤波器进行组合。因此，与仅参照例如对象的轮廓形状来执行的ROI检测操作相比，特征区域检测部分203可以更精确地提取R0I。特征区域检测部分203可以将日本专利申请No. 2008-078636和No. 2008-078641中公开的方法进行组合，来检测R0I。具体而言，与日本专利申请No. 2008-078636中公开的方法相关的上述滤波器可以包括多个滤波器集合，其中每个滤波器集合与特定大小的区域相对应。每个集合中的滤波器具有预定数目的像素。每个滤波器可以与特征信息与主评估值之间的上述关系相关联。特征区域检测部分203可以以单一或多个预定速率来丢弃要在其中检测对象的所捕捉的图像中的一些像素。按照这种方式，特征区域检测部分203产生由所捕捉的图像和一个或多个像素丢弃后的图像组成的图像组。特征区域检测部分203将多个第一滤波器应用至第一图像来计算多条特征信息。这里，在图像组中包括的图像中，第一图像具有相对较小的大小，并且，第一滤波器被设计为作用于相对较小的区域。基于相应地与第一滤波器相关联的关系，特征区域检测部分203获得与所计算的多条特征信息相对应的主评估值。然后，特征区域检测部分203将主评估值相结合以获得表示区域中存在特定类型对象的可能性的次评估值。特征区域检测部分203将所获得的次评估值与第一阈值进行比较，以提取产生超过第一阈值的次评估值并且其中非常可能存在特定类型对象的主候选区域。特征区域检测部分203将多个第二滤波器应用至第二图像中与主候选区域相对应的区域，以计算多条特征信息。这里，第二图像包括在该图像组中，并具有比第一图像多预定数目的像素，第二滤波器被设计为作用于比第一滤波器所作用的区域大预定大小的区域。基于与第二滤波器相关联的关系，特征区域检测部分203获得与所计算的多条特征信息相对应的主评估值。然后，特征区域检测部分203将与第二滤波器相对应的主评估值相结合，以获得表示与主候选区域相对应的区域中存在特定类型对象的可能性的次评估值。 特征区域检测部分203将所获得的次评估值与第二阈值相比较，以提取产生超过第二阈值的次评估值并且其中非常可能存在特定类型对象的次候选区域。特征区域检测部分203通过将上述多个滤波器集合(其中每个集合被设计为作用于不同大小的区域)应用至图像组中相应不同大小的区域，来重复执行提取候选区域的提取操作。这里，特征区域检测部分203以如下方式重复执行提取操作从应用被设计为作用于相对较小区域的滤波器的提取操作开始，依次增大所应用的滤波器所作用的区域的大小。具体而言，特征区域检测部分203以如下方式重复并依次执行提取操作从将被设计为作用于相对较小区域的滤波器应用至相对较小图像的提取操作开始，以将被设计为作用于相对较大区域的滤波器应用至相对较大图像的提取操作结束。特征区域检测部分203重复执行两个或更多提取操作，以提取最终候选区域。按照这种方式，特征区域检测部分203检测特定类型的对象。然后，特征区域检测部分203将其中存在该特定类型对象的区域检测为匪。特征区域检测部分203可以使用日本专利申请No. 2008-098600中公开的方法来检测R0I。例如，特征区域检测部分203从多个图像捕捉设备100所捕捉的运动图像中包括的多幅所捕捉的图像中检测R0I。例如，假定图像捕捉设备IOOa和IOOb捕捉相同场景的图像。例如，图像捕捉设备IOOa和IOOb可以用作立体摄像机。在以下描述中，图像对表示由图像捕捉设备IOOa捕捉的第一捕捉图像和图像捕捉设备IOOb捕捉的第二捕捉图像组成的对。特征区域检测部分203检测该图像对中特定类型的对象，并且将其中存在所检测的特定类型对象的区域检测为ROI。特征区域检测部分203在形成图像对的第一和第二捕捉图像中的每一个中提取其中示出特定类型对象的区域。这里，特征区域检测部分203可以检测其中以低精度示出特定类型对象的区域。特征区域检测部分203然后通过检测第一和第二捕捉图像上所提取区域中的一对对应区域，来检测特定类型的对象。例如，特征区域检测部分203参照这一对区域的图像来计算图像捕捉设备IOOa和IOOb与这些区域中所示主体的距离。图像捕捉设备IOOa和IOOb使用基于与对象的距离而获得的主体的三维形状来检测特定类型的对象。当检测这对对应区域时，特征区域检测部分203将从形成图像对的第一和第二捕捉图像中检测到的、其中示出特定类型对象的每个区域划分为多个子区域。特征区域检测部分203计算表征每个子区域中的部分图像的特征信息，然后计算表示子区域的多条特征信息的向量。这里，特征信息可以示例为像素值，向量可以示例为梯度向量(例如像素值梯度向量)。特征区域检测部分203计算第一图像上的区域的所计算的向量与第二图像上的区域的所计算的向量之间的逻辑距离。特征区域检测部分203将其间的逻辑距离短于预定值的一对区域检测为这对对应区域。这里，逻辑距离可以示例为向量的分量之间的差的平方和的平方根。按照上述方式，特征区域检测部分203可以精确地从图像对中提取这对对应区域，从而精确计算与主体的距离。因此，特征区域检测部分203可以精确识别主体的三维形状，并且可以精确地检测特定类型的对象。特征区域检测部分203可以使用日本专利申请No. 2008-091562中公开的方法来检测R0I。例如，特征区域检测部分203从运动图像中包括的每一幅所捕捉的图像中提取与特定类型的主体类似的主体类似形状，以及主体类似形状的尺寸和在图像捕捉设备100 的视角下主体类似形状的位置信息。该视角下的位置信息可以示例为所捕捉的图像内的图像区域中的位置。特征区域检测部分203判断所提取的主体类似形状是否表示特定类型的主体，然后提取特定类型的主体。例如，特征区域检测部分203可以对包括具有主体类似形状的主体在内的预定搜索区域中具有主体类似形状并具有与所提取的主体类似形状相同尺寸的主体的数目进行计数，并在计数大于或等于阈值的情况下提取具有主体类似形状的主体作为特定类型的主体。特征区域检测部分203可以将包含特定类型主体在内的区域检测为R0I。按照这种方式，特征区域检测部分203可以将其中检测到具有与预定尺寸相似尺寸的大量主体的图像区域中存在的具有主体类似形状的主体检测为特定类型的主体。这里，可以防止特征区域检测部分203将不同于该图像区域的区域中存在的具有主体类似形状的主体检测为特定类型的主体。因此，特征区域检测部分203被配置为不太可能错误地将不同于上述图像区域的区域中存在的具有主体类似形状的主体检测为特定类型的主体。当图像捕捉设备100具有可变视角时，上述视角下的位置信息可以示例为图像捕捉设备100在捕捉图像时所面对的方向和所捕捉的图像上的位置。当可以使用多个图像捕捉设备100来捕捉比使用单一图像捕捉设备100时更大连续场的图像时，上述视角下的位置信息可以示例为相应图像捕捉设备100在捕捉图像时所面对的方向和图像捕捉设备100 分别捕捉的所捕捉图像上的位置。在步骤403中，基于以上述方式检测的ROI，图像处理设备120产生压缩运动图像。 具体而言，图像划分部分204将每幅帧图像划分为ROI和其余区域。随后，图像产生部分 205通过复制帧图像410，产生特征区域运动图像430、特征区域运动图像440、特征区域运动图像450和背景区域运动图像420。具体而言，图像产生部分205通过复制帧图像410， 产生针对脸部区域的特征区域运动图像450、针对人区域的特征区域运动图像440、针对运动区域的特征区域运动图像430和针对背景区域的背景区域运动图像420。然后，在步骤4(Ma、404b、4(Mc和404d中，图像处理设备120使用值固定部分211 和图像质量降低部分221来降低特征区域运动图像430、440和450以及背景区域运动图像 420的图像质量。具体而言，在特征区域运动图像430、440和450中每一幅中包括的帧图像中，值固定部分211维持图像划分部分204所定义的ROI中对应的一个ROI中的像素值，并将不同于该对应ROI的区域中的像素值设置为预定值(例如将亮度值设为0)。这里，值固定部分211可以将不同于该ROI的区域中的像素值设置为与该ROI相邻的区域的平均像素值。按照上述方式，图像产生部分205和值固定部分211产生特征区域运动图像430、 440和450以及背景区域运动图像420，其中每幅图像包括具有相同视角的多幅帧图像。如以后更详细所述，图像处理设备170通过将其中非ROI区域的值被设置为固定值的运动图像(例如特征区域运动图像430、440和450)重叠在背景区域运动图像420上来产生运动图像。因此，背景区域运动图像420和特征区域运动图像430、440和450可以分别被视为背景层、运动区域层、人区域层和脸部区域层。在特征区域运动图像430、440和450中每一幅中包括的帧图像中，图像质量降低部分221根据特征类型降低ROI中图像的图像质量。具体而言，由包括分辨率、灰度级数和颜色数目在内的至少一个参数预先对脸部、人和运动区域的图像质量进行定义。例如，预先指定脸部、人和运动区域以分辨率的降序来布置。图像质量降低部分221根据特征类型，将特征区域运动图像430、440和450中每一幅中包括的帧图像中ROI的图像改变为具有预定分辨率、灰度级数和颜色数目的图像。 图像质量降低部分221还将背景区域运动图像420中包括的帧图像的图像质量设置为低于 ROI中的图像的图像质量。例如，图像质量降低部分221将背景区域运动图像中包括的帧图像的分辨率设置为低于ROI中图像的分辨率。图像质量降低部分221降低背景区域运动图像420和特征区域运动图像430、440 和450的帧率。例如，每种特征类型，即脸部，人和运动区域中的每一个与预定帧率相关联。 图像质量降低部分221通过根据与特征类型相关联的预定帧率，以预定间隔来丢弃特征区域运动图像430、440和450中每一幅中包括的一些帧图像，来降低特征区域运动图像430、 440和450中每一幅的帧率。图像质量降低部分221还通过根据预定帧率来丢弃背景区域运动图像420中包括的一些帧图像，来降低背景区域运动图像420的帧率。这里，图像质量降低部分221a降低背景区域运动图像420的图像质量。图像质量降低部分221b、221c和221d分别降低特征区域运动图像430、440和450的图像质量。随后，在步骤40fe、405b、405c和405d中，背景区域运动图像编码部分231a和特征区域运动图像编码部分231b至231d分别对图像质量已被图像质量降低部分221降低的相应运动图像进行编码。例如，背景区域运动图像编码部分231a和特征区域运动图像编码部分231b至231d对图像质量已被图像质量降低部分221降低的相应运动图像进行MPEG 编码。例如，背景区域运动图像编码部分231a根据针对背景区域运动图像的编码设置， 对背景区域运动图像进行MPEG编码。特征区域运动图像编码部分231b、231c和231d根据分别针对运动、人和脸部区域运动图像的编码设置，对相应特征区域运动图像分别进行MPEG编码。这里，编码设置包括设置例如用于MPEG编码的量化表。编码设置将参照图5来描述。在步骤406中，关联部分206通过添加标记信息，将通过背景区域运动图像编码部分231a和特征区域运动图像编码部分231b至231d的编码操作而获得的一份背景区域运动图像数据和多份特征区域运动图像数据互相关联，并且输出部分207将一份背景区域运动图像数据和多份特征区域运动图像数据输出至图像处理设备170。这里，关联部分206可以将定时信息添加至标记信息，其中定时信息是例如时间戳并包括指示背景区域运动图像和特征区域运动图像中包括的帧图像的显示定时的信息。关联部分206可以将指示每个特征区域的范围的特征区域信息、标识产生所捕捉的运动图像数据(从其中产生背景区域运动图像和特征区域运动图像)的图像捕捉设备100的标识信息以及其他信息添加至标记信肩、ο如上所述，特征区域检测部分203从运动图像中包括的多幅运动图像分量图像中，检测示出不同类型主体的多个特征区域。压缩部分MO以根据主体类型而确定的强度， 对多幅特征区域运动图像分别进行压缩。在本实施例中，不同类型的主体包括例如人脸和人体。然而在其他实施例中，不同类型的主体可以包括汽车的牌照和汽车中不同于牌照的不同部分。不同类型的主体可以包括人脸的前视图和侧视图。不同类型的主体可以包括静止和运动的主体。特征区域检测部分203可以将包含位置与图像捕捉设备100相距不同距离的多个主体在内的多个区域检测为具有不同类型特征的多个特征区域。压缩部分240对特征区域运动图像进行压缩的压缩强度可以以运动区域、人体、 人脸侧视图和人脸正视图(这些是示例性的不同类型的特征)的顺序降序排列。由于图像处理系统10用作本实施例中的监视系统，图像处理系统10被配置为将包含人脸的区域检测为R0I，并将所检测的ROI的图像质量设置为高于非ROI区域的图像质量。然而，图像处理系统10可以用于例如捕捉街道的图像。当用于这种目的时，图像处理系统10可以将包含人脸的区域检测为R0I，并且将所检测的ROI的图像质量设置为低于非ROI区域的图像质量，以保护个人信息。例如，压缩部分240对特征区域运动图像和背景区域运动图像进行压缩的压缩强度可以以人脸正视图、人脸侧视图、人体、运动区域和背景区域的顺序降序排列。特征区域检测部分203可以从多幅帧图像中检测包含以不同速度运动的主体在内的多个特征区域。在这种情况下，随着对象的速度增大，图像质量降低部分221通过转换特征区域运动图像而获得的运动图像的帧率增大。这就是说，压缩部分240可以以根据特征区域运动图像的主体速度而确定的强度，对其分别进行压缩。如上所述，图像处理设备120将特征区域运动图像中分别包括的帧图像中的非 ROI区域中的值设置为固定值，并产生均具有相同视角的多幅特征区域运动图像和背景区域运动图像。因此，图像处理设备120能够使用通用编码器，以高压缩率来对特征区域运动图像进行压缩，而不使用专门设计的编码器。例如，当如在MPEG编码技术中那样通过运动向量来对特征区域运动图像进行编码时，在值被设为固定值的非ROI区域内的宏块中，像素值可能通常具有为0的差分值。因此，上述值固定操作能够降低图像处理设备120的制造成本，并且可以维持高压缩率。
在以上描述中，压缩部分240对包括其中非ROI区域的值被设置为固定值的帧图像在内的特征区域运动图像进行压缩。压缩部分240可以对来自特征区域运动图像中包括的帧图像的ROI内的图像进行剪裁，对剪裁的图像进行压缩，并输出压缩图像作为特征区域运动图像。当特征区域检测部分203未检测到ROI时，输出部分207将从压缩部分MOa输出的背景区域运动图像数据输出至图像处理设备170。在这种情况下，图像产生部分205可能不需要产生特征区域运动图像430、440和450。在特征区域检测部分203检测到ROI的情况下，图像产生部分205产生特征区域运动图像430、440和450，并且输出部分207将以上述方式获得的多份特征区域运动图像数据和一份背景区域运动图像数据输出至图像处理部分170。在此期间，压缩部分MOa可以继续以预定背景区域压缩率来对背景区域运动图像420进行压缩。在特征区域检测部分203未检测到ROI时，压缩部分240可以以预定无ROI压缩率来对背景区域运动图像进行压缩，该预定无ROI压缩率低于上述背景区域压缩率且高于针对特征区域运动图像的压缩率。在特征区域检测部分203检测到ROI的情况下，压缩部分240可以以上述背景区域压缩率来对背景区域运动图像进行压缩。这里，压缩部分MO 可以以低于无ROI压缩率的压缩率来对特征区域运动图像进行压缩。直到特征区域检测部分203检测到ROI后过去预定时段之前，压缩部分240可以以无ROI压缩率对背景区域运动图像进行压缩，并且在过去预定时段之后，以背景区域压缩率对背景区域运动图像进行压缩。使用这种配置，即使在特征区域检测部分203未将原先期望被检测为ROI的区域检测为ROI的情况下，图像处理设备120也能够以合理的高图像质量来提供背景区域运动图像。压缩部分240可以以以下方式以不同压缩率对相应区域进行压缩。特征区域检测部分203检测帧图像中的R0I，并且使用所检测的ROI的位置来估计不同帧图像中的R0I。在不同的帧图像中，包含该ROI的区域具有高于非ROI区域的图像质量。图5示出了作为示例的特征区域运动图像的图像质量和背景区域运动图像的图像质量。为了简化说明，假定压缩运动图像获得部分201所获得的捕捉运动图像数据具有 16fps的帧率，并且捕捉运动图像数据中包括的帧图像具有72dpi的分辨率。图像质量降低之后背景区域运动图像420中包括的帧图像的分辨率与所捕捉的运动图像中包括的帧图像410的分辨率的分辨率比被预先设置为1/8。图像质量降低部分 221通过在图像质量降低之前丢弃背景区域运动图像420中包括的帧图像的一些像素，来产生9-dpi帧图像，其中，9dpi的分辨率是由图像产生部分205通过复制所捕捉的运动图像而产生的图像质量降低之前的背景区域运动图像420中包括的帧图像的分辨率的1/8。此外，图像质量降低之后背景区域运动图像420的帧率与所捕捉的运动图像的帧率的帧率比预先被设置为1/8。图像质量降低部分221通过在图像质量降低之前丢弃背景区域运动图像420中包括的一些帧图像来产生2-fps背景区域运动图像420，其中2fps的帧率是图像质量降低之前背景区域运动图像420的帧率的1/8。类似地，以与相应特征区域运动图像相关联的方式，预先指定分辨率比和帧率比。 例如，针对特征区域运动图像430，分辨率比和帧率比被设置为1/4 ；针对特征区域运动图像440，分辨率比和帧率比被设置为1/2 ；针对特征区域运动图像450，分辨率比和帧率比被设置为1/1。在这种情况下，图像质量降低部分221b产生具有4fps的帧率和18dpi的帧图像分辨率的特征区域运动图像430。图像质量降低部分221c产生具有Sfps的帧率和36dpi 的帧图像分辨率的特征区域运动图像440。图像质量降低部分221d产生具有16fps的帧率和72dpi的帧图像分辨率的特征区域运动图像450。在上述示例情况下，图像质量降低部分221通过丢弃特征区域运动图像和背景区域运动图像中包括的帧图像的一些像素来降低帧图像的图像质量。备选地，图像质量降低部分221可以通过使用滤波器来降低帧图像的图像质量，其中每个滤波器允许通过预定频带(例如低通滤波器)。如果是这种情况，则与每种特征相关联的滤波器可以具有预定属性，其中不同类型的特征包括背景区域、运动区域、人区域和脸部区域，滤波器属性包括通过每个滤波器的频带和通过程度。除了图像质量降低部分221执行的图像质量降低之外，或者作为其替代，编码部分231可以降低帧图像的图像质量。例如，编码部分231可以通过增大用于MPEG编码的量化表的值来降低图像质量。每个量化表的值可以根据不同特征类型中对应的一种来预先设置。例如，背景区域运动图像编码部分231a和特征区域运动图像编码部分231b至231d可以使用具有预定值的量化表来对相应运动图像进行编码。参照量化表，值与频率分量相关联。这种值可以根据不同特征类型来预先进行不同的设置。图像质量降低部分221也可以对背景区域运动图像中包括的多幅帧图像进行平均。按照这种方式，当帧图像中包括表示运动物体的对象时，图像质量降低部分221可以获得将表示运动物体的对象进行平均的帧图像。当连续显示这种平均后的帧图像时，观看者可以享受到观看运动物体的平滑运动。根据上述实施例，图像产生部分205对所捕捉的运动图像进行复制，以产生特征区域运动图像和背景区域运动图像，并且压缩部分240通过丢弃一些帧图像和像素来压缩所产生的特征区域运动图像和背景区域运动图像。备选地，图像产生部分205可以通过根据帧率比来丢弃所捕捉的运动图像中包括的一些帧图像，来产生具有降低帧率的特征区域运动图像和背景区域运动图像。此后，值固定部分211执行值固定操作，图像质量降低部分 221降低分辨率以降低特征区域运动图像和背景区域运动图像的图像质量。图6示意了图像处理设备170执行的操作的示例流程。在步骤601中，压缩运动图像获得部分301从图像处理设备120获得互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据，并且参照所添加的标记信息，获得定时信息、标识图像捕捉设备100 的标识信息和其他信息。在步骤60 中，压缩运动图像扩展部分311对多份特征区域运动图像数据和一份背景区域运动图像数据进行解码，以产生表示背景层的背景区域运动图像 610。同时，在步骤602b、602c和602d中，压缩运动图像扩展部分311产生表示运动区域层的特征区域运动图像620、表示人区域层的特征区域运动图像630和表示脸部区域层的特征区域运动图像640。在步骤603中，组合部分303将背景区域运动图像610和特征区域运动图像620、 630和640中包括的帧图像组合在一起。这里，组合部分303根据背景区域运动图像610和特征区域运动图像620、630和640中包括的帧图像的相应分辨率，以相应帧图像中的相同主体互相重叠的方式对其进行放大，并将放大后的帧图像层叠以产生组合的帧图像。组合部分303对来自特征区域运动图像620、630和640中包括的帧图像的特征区域的图像进行剪裁，并将剪裁后的图像覆盖在背景区域运动图像610中包括的帧图像上。 按照这种方式，组合部分303产生组合的帧图像。当背景区域运动图像610和特征区域运动图像620、630和640具有不同帧率时，组合部分303将背景区域运动图像610和特征区域运动图像620、630和640中最新的帧图像组合在一起。按照上述方式，组合部分303产生组合的帧图像。组合部分303还产生包括多幅组合帧图像在内的组合的运动图像650。在步骤604中，输出部分304参照由压缩运动图像获得部分301获得的标记信息来选择要显示组合运动图像的显示设备180，并将组合的运动图像提供给所选择的显示设备180。图7示意了降低单元220的示例模块配置。图像质量降低部分221b包括图像质量退化部分710b和差分图像产生部分720b。图像质量降低部分221c包括图像质量退化部分710c和差分图像产生部分720c，图像质量降低部分221d包括图像质量退化部分710d 和差分图像产生部分720d。图像质量退化部分710b至710d具有相同的功能和操作，差分图像产生部分720b至720d具有相同的功能和操作。图像质量退化部分710b至710d可以统称为图像质量退化部分710，差分图像产生部分720b至720d可以统称为差分图像产生部分 720。图像质量降低部分221a通过降低包含非特征区域和特征区域在内的区域的图像的图像质量，来产生背景区域图像。具体而言，图像质量降低部分221a通过降低包含非特征区域和特征区域在内的区域的图像的分辨率，来产生背景区域图像。具体而言，图像质量降低部分221a通过降低分辨率来产生背景区域图像，其中，降低分辨率是通过丢弃包含非特征区域和特征区域在内的区域的图像的一些像素来实现的。备选地，图像质量降低部分221a可以通过减少包含非特征区域和特征区域在内的区域的图像的空间频率域中的高频分量来产生背景区域图像。具体而言，图像质量降低部分221a可以通过减少高频分量来产生背景区域图像，其中减少高频分量是通过对包含非特征区域和特征区域在内的区域的图像执行低通滤波来实现的。备选地，图像质量降低部分221a可以通过减少高频分量来产生背景区域图像，其中减少高频分量是通过对包含非特征区域和特征区域在内的区域的图像的像素值进行平均来实现的。图像质量退化部分710根据特征区域检测部分203检测的特征区域的特征，使由于值固定部分211执行的值固定操作而获得的图像的图像质量退化。差分图像产生部分 720产生表示特征区域的图像与由使特征区域的图像的图像质量退化而得到的低质量图像之间的差异的差分图像。具体而言，差分图像产生部分720产生表示特征区域的图像与由图像质量退化部分710执行的图像质量退化而得到的低质量图像之间的差异的差分图像。 更具体地，差分图像产生部分720产生表示图像内特征区域的图像与通过对分辨率已经降低的特征区域的图像进行放大而得到的低质量图像之间的差异的差分图像。备选地，差分图像产生部分720可以产生表示图像内特征区域的图像与通过减少特征区域的图像的空间频率域中的高频分量而获得的低质量图像之间的差异的差分图像。 这里，差分图像产生部分720可以产生表示图像内特征区域的图像与通过对背景区域图像中特征区域的图像进行放大而获得的低质量图像之间的差异的差分图像。输出部分207输出互相关联的差分图像和背景区域图像。图像处理设备170可以基于差分图像和与差分图像相关联的背景区域图像来恢复特征区域图像。图像处理设备
22170执行的恢复操作以后将参照图8来描述。如上所述，输出部分207输出差分图像产生部分720产生的差分图像。因此，与输出部分207输出特征区域的图像的情况相比，可以减少从输出部分207发送至图像处理设备170的图像数据量。图像质量降低部分221a可以通过降低多幅运动图像分量图像中至少一幅中包含非特征区域和特征区域在内的区域的图像的分辨率，来产生背景区域图像。在这种情况下， 差分图像产生部分720产生表示低质量图像与运动图像分量图像中多幅特征区域的图像之间的差异的多幅差分图像，其中低质量图像是通过对背景区域图像中特征区域的图像进行放大而获得的。输出部分207输出互相关联的、差分图像产生部分720产生的差分图像和背景区域图像。具体而言，输出部分207输出互相关联的、包括多幅差分图像在内的特征区域运动图像和包括多幅背景区域图像在内的背景区域运动图像。特征区域检测部分203可以从运动图像中包括的多幅运动图像分量图像中检测具有不同类型特征的多个特征区域。在这种情况下，差分图像产生部分720针对具有不同类型特征的每个特征区域，产生表示通过对背景区域图像中特征区域的图像进行放大而获得的低质量图像与通过根据特征的信息来使运动图像分量图像中特征区域的图像的图像质量退化而获得的多幅图像之间的差异的多幅差分图像。输出部分207输出互相关联的、 由差分图像产生部分720针对每种特征产生的差分图像和背景区域图像。图8示意了组合部分303的示例模块配置。这里，压缩运动图像获得部分301可以被示为与本发明相关的图像获得部分的示例。组合部分303包括图像相加部分820和图像组合部分810。压缩运动图像获得部分301获得差分图像和背景区域图像。具体而言，压缩运动图像获得部分301获得通过对包括多幅差分图像在内的特征区域运动图像进行压缩而得到的运动图像数据和通过对包括多幅背景区域图像在内的背景区域运动图像进行压缩而得到的运动图像数据。图像相加部分802将压缩运动图像获得部分301获得的差分图像与背景区域图像中特征区域的图像相加在一起，以产生相加图像。图像组合部分810将相加图像与背景区域图像组合在一起。具体而言，图像组合部分810将相加图像覆盖在背景区域图像上。按照这种方式，图像处理设备170可以基于差分图像来恢复特征区域的图像。图9示意了图像质量降低部分221执行的示例操作。值固定部分211将根据压缩运动图像扩展部分202获得的帧图像900复制的帧图像中不同于特征区域检测部分203所检测的ROI的区域的值设置为固定值。如上所述，图像质量退化部分710通过根据ROI的特征来降低从值固定部分211接收到的帧图像中ROI的图像的图像质量，产生特征区域图像 920。图像质量降低部分221a通过丢弃根据帧图像900复制的帧图像中的一些像素，来产生背景区域图像910。差分图像产生部分720通过将背景区域图像910放大为具有与特征区域图像920相同的分辨率，来产生低质量图像915。差分图像产生部分720可以通过对背景区域图像910中包括的像素进行简单放大来产生低质量图像915。备选地，差分图像产生部分720可以通过对背景区域图像910的像素进行插值，来由背景区域图像910产生低质量图像915。差分图像产生部分720使用包括特征区域检测部分203检测的ROI的覆盖范围在内的ROI信息，来从特征区域图像920中减去低质量图像915中特征区域的图像。按照这种方式，差分图像产生部分720产生差分图像930。差分图像产生部分720对多幅帧图像分别进行上述处理，以产生多幅差分图像 930和多幅背景区域图像910。编码部分231对差分图像930进行编码，以产生特征区域运动图像数据，并对背景区域图像910进行编码，以产生背景区域运动图像数据。如上所述， 压缩部分MO以与每种特征类型相关联的方式产生特征区域运动图像数据，即产生多份特征区域运动图像数据。关联部分206对多份特征区域运动图像数据、背景区域运动图像数据和ROI信息进行复用，以产生运动图像数据。输出部分207经由通信网络110将关联部分206产生的运动图像数据发送至图像处理设备170。在以上描述中，差分图像产生部分720通过放大背景区域图像910来产生低质量图像915。然而，差分图像产生部分720可以降低特征区域图像920中特征区域的图像的图像质量，并使用得到的特征区域的图像来替代低质量图像 915中ROI的图像。差分图像产生部分720可以通过对发送至图像处理设备170的背景区域运动图像中包括的背景区域图像910进行放大，来产生低质量图像915。当特征区域运动图像和背景区域运动图像具有互不相同的帧率时，差分图像产生部分720可以由背景区域图像910产生低质量图像915，该背景区域图像910是由在与捕捉产生特征区域图像920的原始帧图像的定时最接近的定时捕捉的帧图像来产生的。在这种情况下，差分图像产生部分720可以首先根据ROI的图像在多幅特征区域图像之间的变化，改变低质量图像915中ROI的图像，然后计算特征区域图像920与改变后的低质量图像915之间的差异。例如，差分图像产生部分720可以首先根据ROI内的像素值在多幅特征区域图像之间的变化，改变低质量图像915中ROI内的像素值，然后计算特征区域图像920与改变后的低质量图像915之间的差异。备选地，差分图像产生部分720可以首先根据ROI中包含的人所面对的方向在多幅特征区域图像之间的变化，改变低质量图像915中ROI内包含的人所面对的方向，然后计算特征区域图像920与改变后的低质量图像915之间的差异。图10示意了组合部分303执行的示例操作。关联分析部分302对压缩运动图像获得部分301从图像处理设备120获得的运动图像数据进行解复用，以检索多份特征区域运动图像数据、背景区域运动图像数据和其他ROI信息。然后，压缩运动图像扩展部分311 提取每份运动图像数据中包括的帧图像。具体而言，压缩运动图像扩展部分311a从背景区域运动图像数据中提取背景区域图像1010。压缩运动图像扩展部分311b至311d中的每一个从特征区域运动图像数据中提取特征区域图像1030。随后，图像相加部分820将背景区域图像1010放大至具有与特征区域图像1030相同的分辨率，以产生低质量图像1015。图像相加部分820然后将特征区域图像1030与通过对关联分析部分302从低质量图像1015检索的ROI信息所指示的ROI内的图像进行剪裁而获得的剪裁图像1017相加在一起，以产生相加图像1020。图像组合部分810随后将相加图像1020中特征区域的图像覆盖在低质量图像 1015中ROI信息所指示的区域上，以产生组合图像1000。这里，图像相加部分820可以针对每种特征类型产生相加图像1020。然后，图像组合部分810可以根据相应的ROI信息，将每种特征类型的相加图像1020覆盖在低质量图像1015上，以产生组合图像1000。如上所述，压缩部分MOb至MOd基于特征区域图像和背景区域图像中特征区域的图像之间的差分图像来产生特征区域运动图像数据。与背景区域图像不同，差分图像不包含低频图像信号。因此，与图像处理设备120仅仅压缩ROI内的图像而不改变图像的情况相比，图像处理设备120能够更高效地压缩ROI内的图像。图像处理设备170可以基于背景区域图像中特征区域的图像中的低频图像信号和差分图像中包括的高频图像信号来恢复特征区域图像。因此，图像处理系统10能够高效地压缩图像，并且可以维持ROI内的图像的图像质量。图11示意了图像处理设备120的另一示例模块配置。图像处理设备120包括压缩运动图像获得部分201、压缩运动图像扩展部分202、特征区域检测部分203、压缩部分M0、 压缩控制单元700、关联部分206和输出部分207。压缩部分240包括图像质量控制部分观0、图像质量降低部分观1、多个级间差异(inter-grade difference)压缩部分观加至 282d(以下统称为级间差异压缩部分观2)。压缩运动图像获得部分201、压缩运动图像扩展部分202、特征区域检测部分203、 压缩控制单元700、关联部分206和输出部分207具有与参照图2至10所述的压缩运动图像获得部分201、压缩运动图像扩展部分202、特征区域检测部分203、压缩控制单元700、关联部分206和输出部分207实质上相同的功能和操作。因此，以下不解释这些组件，除非它们与参照图2至10描述的其对等物有所差别。图像质量控制部分280根据多条特征区域的特征信息，控制压缩运动图像扩展部分202产生的每一幅运动图像分量图像中特征区域的图像质量和非特征区域的图像质量。图像质量降低部分降低运动图像的图像质量，并产生具有预定的不同图像质量的多幅运动图像。图像质量降低部分281将所产生的具有不同图像质量的运动图像提供给级间差异压缩部分观2。具体而言，图像质量降低部分281通过降低运动图像的帧率， 或降低运动图像中包括的运动图像分量图像的分辨率，来产生具有不同图像质量的运动图像。级间差异压缩部分282从图像质量降低部分281分别获得具有预定的不同图像质量的运动图像，并对所获得的运动图像进行压缩。这里，每个级间差异压缩部分282对具有不同图像质量的运动图像进行压缩。注意，与特征区域图像(其为提供给级间差异压缩部分至的运动图像中包括的运动图像分量图像)相比，提供给级间差异压缩部分 282a的运动图像中包括的运动图像分量图像具有较低的图像质量。这就是说，图像质量降低部分281产生具有比提供给级间差异压缩部分至的特征区域图像更低图像质量的低图像质量图像，并将这些低图像质量图像提供给级间差异压缩部分观加。如上所述，级间差异压缩部分观加从图像质量降低部分获得具有比级间差异压缩部分至中任一个所接收的运动图像分量图像更低分辨率的运动图像分量图像，并对所获得的运动图像分量图像进行压缩。级间差异压缩部分至从图像质量降低部分281获得运动图像分量图像并对所获得的运动图像分量图像进行压缩。这里， 运动图像分量图像的分辨率以级间差异压缩部分^2b、282c和的顺序依次变高。级间差异压缩部分对经过级间差异压缩部分观加压缩的运动图像分量图像进行扩展，并将得到的运动图像分量图像放大至与从图像质量降低部分281获得的运动图像分量图像具有相同的分辨率。级间差异压缩部分对放大的运动图像分量图像与从图像质量降低部分281获得的运动图像分量图像之间的差分图像进行压缩。这里，级间差异压缩部分产生在特征区域中具有差分值但在非特征区域中不具有差分值的差分图像，并对所产生的差异图像进行压缩。级间差异压缩部分对经过级间差异压缩部分压缩的运动图像分量图像进行扩展，并将得到的运动图像分量图像放大至与从图像质量降低部分281获得的运动图像分量图像具有相同的分辨率。级间差异压缩部分对放大的运动图像分量图像与从图像质量降低部分281获得的运动图像分量图像之间的差分图像进行压缩。这里，级间差异压缩部分产生在至少一些特征区域中具有差分值但在不同于上述一些特征区域的区域中不具有差分值的差分图像，并对所产生的差分图像进行压缩。这里，上述一些特征区域是根据多条特征区域的特征信息来选择的。级间差异压缩部分对经过级间差异压缩部分压缩的运动图像分量图像进行扩展，并将得到的运动图像分量图像放大至与从图像质量控制部分280获得的运动图像分量图像具有相同的分辨率。级间差异压缩部分对放大的运动图像分量图像与从图像质量控制部分280获得的运动图像分量图像之间的差分图像进行压缩。这里，级间差异压缩部分产生在至少一些特征区域中具有差分值但在不同于上述一些特征区域的区域中不具有差分值的差分图像，并对所产生的差分图像进行压缩，其中，上述一些特征区域是根据多条特征信息来选择的。如上所述，级间差异压缩部分至中的每一个通过计算从图像质量控制部分280或图像质量降低部分281接收到的运动图像分量图像与通过对具有较低分辨率的运动图像分量图像进行放大而获得的运动图像分量图像之间的差异，来产生差分图像。关联部分206将通过级间差异压缩部分观加至的压缩操作而获得的包括运动图像分量图像在内的压缩运动图像数据与标识特征区域的信息相关联。输出部分207向图像处理设备170输出由关联部分206与标识特征区域的信息相关联的压缩运动图像数据。因此，图像处理设备120可以提供已根据多条特征区域的特征信息进行了可缩放压缩和编码的运动图像。图12A示意了级间差异压缩部分观加和的示例模块配置。图12B示意了运动分析部分和差异处理部分的示例模块配置。图12C示意了运动分析部分观恥和差异处理部分的示例模块配置。级间差异压缩部分观加包括运动分析部分观如、 运动编码部分^6a、差异处理部分和编码部分^8a。运动分析部分包括差异目标区域确定部分四如和位置差信息产生部分^5a。差异处理部分包括差分像素图像产生部分^6a、空间频率域变换部分和量化部分^8a。级间差异压缩部分观加包括运动分析部分观恥、运动编码部分^6b、差异处理部分^7b、图像放大部分四北、图像解码部分^2b、像素值改变部分^lb和编码部分^Sb。 运动分析部分观恥包括差异目标区域确定部分^Mb和位置差信息产生部分四恥。差异处理部分包括差分像素图像产生部分^6b、空间频率域变换部分^7b、量化部分^Sb 和频域图像质量转换部分四％。注意，级间差异压缩部分和具有与级间差异压缩部分实质上相同的组件，因此这里不再说明。以下描述级间差异压缩部分观加的组件的功能和操作。运动分析部分从图像质量降低部分281接收运动图像分量图像，基于所接收的运动图像分量图像所示的内容来分析多幅运动图像分量图像之间的运动，并参照所分析的运动来确定运动图像分量图像中要压缩的部分区域。
具体而言，差异目标区域确定部分^Ma参照该部分区域中运动图像分量图像的像素值，并且在运动图像分量图像是通过计算其与不同运动图像分量图像的差异来压缩的情况下，确定该不同运动图像分量图像中的该部分区域，该不同运动图像分量图像是要进行比较以计算差异的差异目标图像。差异目标区域确定部分四如将要压缩的运动图像分量图像的该部分区域的像素信息和差异目标图像的该部分区域的像素信息提供给差异处理部分^7a。位置差信息产生部分产生位置差信息，指示要压缩的该部分区域与差异目标图像中该部分区域之间的位置差异。具体而言，位置差信息产生部分产生与运动补偿技术一起使用的运动向量。位置差信息产生部分将产生的位置差信息提供给运动编码部分^6a。运动编码部分对从位置差信息产生部分提供的位置差信息进行编码， 并将编码的位置差信息提供给关联部分206。例如，运动编码部分对多条相邻部分区域的位置差信息之间的差异进行编码，并将结果提供给关联部分206。差异处理部分基于从运动分析部分接收到的要压缩的部分区域的像素信息和差异目标图像中该部分区域的像素信息间的差，对要压缩的部分区域的图像进行压缩。具体而言，差分像素图像产生部分基于要压缩的部分区域的像素信息与差异目标图像中该部分区域的像素信息之间的差异，来产生差分像素图像。空间频率域变换部分将每个部分区域的差分像素图像变换至空间频率域。 具体而言，空间频率域变换部分使用离散余弦变换(DCT)，将每个部分区域的差分像素图像变换至空间频率域。这里，空间频率域变换部分可以使用包括哈达玛变换和小波变换在内的各种频率变换技术，将每个部分区域的差分像素图像变换至空间频率域。当运动分析部分观如判定运动图像分量图像中的部分区域不是使用其与不同运动图像分量图像中的部分区域的差异来压缩时，差异处理部分将要压缩的部分区域的像素信息提供给空间频率域变换部分^7a。空间频率域变换部分如上所述将每个部分区域的像素信息变换至空间频率域。量化部分^Sa对由于空间频率域变换部分所执行的变换至空间频率域的操作而获得的变换系数进行量化。编码部分^Sa对量化部分^Sa所获得的量化的变换系数进行编码，以对量化的变换系数进行压缩。例如，编码部分^Sa通过熵编码(如霍夫曼编码和算术编码)来对量化部分^Sa所获得的量化的变换系数进行编码。编码部分^Sa将编码的运动图像提供给关联部分206。以下描述级间差异压缩部分的组件的功能和操作。这里，级间差异压缩部分 282b的一些组件被分配以与级间差异压缩部分观加的组件相同的参考标号，并具有与级间差异压缩部分观加中其对应组件类似的功能和操作。因此以下不描述这种组件，除非其有所区别。对于从图像质量降低部分281接收的每一幅运动图像分量图像，与差异目标区域确定部分四如类似，差异目标区域确定部分^Mb标识不同运动图像分量图像中要进行比较以计算其与要压缩的运动图像分量图像中的部分区域的差异的部分区域。如上所述，针对特征区域图像中的部分区域，差异目标区域确定部分^Mb确定由不同运动图像分量图像产生的特征区域图像中包括的并且要进行比较以计算其与该特征区域图像中的该部分
27区域的差异的部分区域。差异目标区域确定部分^Mb将要压缩的部分区域的像素信息和差异目标图像中该部分区域的像素信息提供给像素值改变部分四让。图像解码部分从编码部分^Sa获得运动图像分量图像，并且从运动编码部分获得位置差信息。图像解码部分根据从运动编码部分获得的位置差信息，对从编码部分^Sa获得的运动图像分量图像进行解码。图像解码部分可以获得已经由量化部分^Sa量化的运动图像分量图像，并对所获得的运动图像分量图像进行解码，或者可以获得已经由编码部分^Sa编码的运动图像分量图像，并对所获得的运动图像分量图像进行解码。图像放大部分四北对已经由图像解码部分解码的运动图像分量图像进行放大，以产生放大图像。像素值改变部分^lb将未包含在特征区域中的部分区域的像素值替换为放大图像中部分区域的像素值，而不改变包含特征区域的部分区域的像素值，其中，两个部分区域均由差异目标区域确定部分^Mb来确定。按照这种方式，像素值改变部分^lb 基于所接收的运动图像分量图像来产生特征区域图像，特征区域图像中非特征区域的像素值已经被放大图像的像素值所替代。差异处理部分从像素值改变部分^lb接收要压缩的特征区域图像、作为该特征区域图像中包含的部分区域的差异目标的部分区域的图像信息、以及放大图像。差异处理部分随后针对要压缩的特征区域图像中包含的每个部分区域，选择以下三种编码技术之一，其中这三种编码技术包括帧内编码、帧间编码和级间编码。帧内编码使用包含该部分区域的特征区域图像的像素信息来对该部分区域进行编码。帧间编码根据该部分区域与不同运动图像分量图像中包含的差异目标部分区域之间的差异来对该部分区域进行编码。级间编码根据该部分区域与放大图像之间的差异来对该部分区域进行编码。在进行选择时，差异处理部分对实现最小码量的编码方法给予优先。注意，差异处理部分 287b针对非特征区域选择级间编码，这是由于非特征区域中的像素值被替换为没有差异。 因此，以下首先描述级间编码，随后解释帧间编码和帧内编码。当差异处理部分选择级间编码时，差分像素图像产生部分产生表示特征区域图像与放大图像之间的像素值差异的差分像素图像。具体而言，差分像素图像产生部分基于其中非特征区域中的像素值被替换的特征区域图像与放大图像之间的差异来产生差分像素图像。由于特征区域图像的非特征区域中的像素值被替换为放大图像的像素值，因此差分像素图像产生部分可以产生在特征区域中具有表示特征区域图像与放大图像之间的像素值差异的差分值并且在非特征区域中不具有这种差分值的差分像素图像。当差异处理部分选择帧间编码时，差分像素图像产生部分计算像素值改变部分^Ib基于运动图像分量图像产生的特征区域图像与像素值改变部分^lb基于不同运动图像分量图像产生的特征区域图像之间的差异。具体而言，差分像素图像产生部分 296b计算特征区域中包含的部分区域的图像与差异目标区域确定部分^Mb针对该部分区域所确定的差异目标部分区域的图像之间的差异。由于特征区域图像中非特征区域中的像素值被替换为放大图像的像素值，差分像素图像产生部分四613可以产生在特征区域中包含的部分区域中具有表示该部分区域与由差异目标区域确定部分^Mb所确定的部分区域之间的像素值差异的差分值并且在非特征区域中具有表示非特征区域与由差异目标区域确定部分294b所确定的部分区域之间的像素值差异的差分值的差分像素图像。当差异处理部分选择帧内编码时，差分像素图像产生部分通过计算每幅特征区域图像中包含的该部分区域的图像与特征区域图像的不同区域之间的像素值差异，或者每幅特征区域图像中包含的该部分区域的图像与特征区域图像的相同部分区域之间的像素值差异，来产生差分像素图像。空间频率域变换部分将每个部分区域的差分像素图像变换至空间频率域。 具体而言，与空间频率域变换部分类似，空间频率域变换部分使用DCT、哈达玛变换或小波变换，将每个部分区域的差分像素图像所表示的差分值变换至空间频率域。与量化部分^Sb类似，量化部分^Sb对由于空间频率域变换部分执行的至空间频率域的变换而获得的变换系数进行量化。频域图像质量改变部分四％从通过空间频率域变换部分执行的空间频率域变换而获得的相应部分区域的空间频率分量中，减少包含非特征区域在内的至少一些部分区域的空间频率分量的数据量，来产生特征区域差异图像。具体而言，频域图像质量改变部分四％减少指示高于预定频率的频率分量的变换系数的值。频域图像质量改变部分四％ 可以将指示高于预定频率的频率分量的变换系数的值设置为0。如上所述，差异处理部分产生在特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在非特征区域中具有数据量减少的空间频率分量的特征区域差异图像。编码部分^Sb对差异处理部分产生的特征区域差异图像进行编码。同样如上所述，差异处理部分观713产生表示特征区域图像中特征区域的图像与低图像质量图像中特征区域的图像之间的差分图像的特征区域差异图像。具体而言，差异处理部分产生表示特征区域图像中特征区域的图像与通过对低图像质量图像中特征区域的图像进行放大而获得的图像之间的差异的特征区域差异图像。根据以上描述，像素值改变部分^lb将非特征区域的像素值替换为放大图像的像素值，从而差分像素图像在至少非特征区域中具有为0的差分值，其中非特征区域不同于具有预定类型特征的特征区域，也不同于具有期望具有高于特征区域的分辨率的特定类型特征的特征区域。然而，像素值改变部分^Ib可以使用不同的方法将差分像素图像中的差分值设置为0。例如，像素值改变部分^lb可以将从图像质量降低部分获得的运动图像分量图像中非特征区域的像素值改变为预定像素值，并且将放大图像中相同图像区域的像素值改变为该预定像素值。这种备选方法还产生了以下效果差分像素图像在非特征区域中具有为0的差分值，从而实质上减少了非特征区域的信息量。如上所述，像素值改变部分^lb通过将运动图像分量图像中非特征区域的像素值替换为预定值，并将放大图像中非特征区域的像素值替换为该预定值，来产生特征区域图像。差分像素图像产生部分通过计算特征区域图像与放大图像之间的差异来产生差分像素图像，在特征区域图像和放大图像中，非特征区域中的像素值已经被替换。像素值改变部分^lb可以将从图像质量降低部分281获得的运动图像分量图像的非特征区域的像素值替换为通过对提供给较低级的级间差异压缩部分观2 (例如级间差异压缩部分的运动图像分量图像进行放大而获得的图像中相同区域的像素值。这种备选方法也使差分像素图像能够在非特征区域中具有实质上为0的差分值，从而实质上减少了非特征区域的信息量。位置差信息产生部分四恥产生指示非特征区域中包含的差异目标部分区域的位置差异的位置差信息。具体而言，与位置差信息产生部分类似，位置差信息产生部分 295b产生指示要通过计算差异来压缩的部分区域与要进行比较以计算差异的差异目标部分区域之间的位置差异的位置差信息。这里，位置差信息包括与运动补偿一起使用的运动向量。位置差信息改变部分改变位置差信息，使得位置差信息指示非特征区域中包含的部分区域与相同位置的部分区域进行比较以计算差异。具体而言，位置差信息改变部分将非特征区域中包含的该部分区域的位置差信息改变为指示不存在位置差异的位置差信息。位置差信息改变部分从运动编码部分获得位置差信息，并将非特征区域中包含的该部分区域的位置差信息改变为指示不存在位置差异的信息。具体而言， 位置差信息改变部分^Ob将非特征区域的运动向量的值设置为0。例如，位置差信息改变部分^Ob将从位置差信息产生部分四恥接收到的非特征区域的运动向量的值设置为0，并将从运动编码部分接收到的非特征区域的运动向量的值设置为0。运动编码部分对位置差信息进行编码。具体而言，与运动编码部分类似，运动编码部分对多条相邻部分区域的位置差信息之间的差异进行编码。运动编码部分将编码的位置差信息提供给关联部分206。在本实施例中，位置差信息改变部分四0改变非特征区域的位置差信息。位置差信息改变部分^Ob可以通过运动编码部分使用的编码格式来改变非特征区域的位置差信息。这就是说，位置差信息改变部分^Ob可以改变已经由运动编码部分286编码的位置差信息，使得改变后的位置差信息指示非特征区域中包含的部分区域与相同位置的部分区域进行比较以计算差异。编码部分^Sb可以产生在非特征区域中不具有差异信息的编码数据。具体而言， 编码部分^Sb可以产生在非特征区域中包含的部分区域中不具有差异信息的编码数据。 运动编码部分可以产生针对非特征区域中包含的部分区域不具有位置差信息的编码数据。如上所述，编码部分^Sb和运动编码部分产生编码数据，该编码数据通过不具有差异信息和位置差信息来指示该非特征区域示出了与不同运动图像分量图像中相同区域相同的图像。例如，编码部分^Sb和运动编码部分可以产生包括部分区域类型的编码数据，部分区域类型指示该非特征区域中包含的部分区域示出了与不同运动图像分量图像中相同区域相同的图像。例如，编码部分^Sb和运动编码部分可以产生包括部分区域类型的编码数据，部分区域类型指示了非特征区域中包含的部分区域是使用基于简单帧间预测编码并不具有转换系数的编码模式来编码的。例如，部分区域类型可以与MPEG编码技术的非MC不编码(Non MC Not Coded)模式相对应。如上所述，由于编码部分和运动编码部分产生编码数据，该编码数据没有指示运动向量的值和差异信息被设为0的信息，因此，本实施例可以进一步减少编码的运动图像分量图像的码量。这里，在确定包括上述编码模式的预测模式时，级间差异压缩部分可以基于不定乘数的拉格朗日方法来选择可以将率失真代价最小化的预测模式。
级间差异压缩部分和均包括与级间差异压缩部分的组件具有相同功能的组件。在以下描述中，级间差异压缩部分和中具有与级间差异压缩部分观213的对应组件相同名称的组件被分配以相同参考标号，其中将字母b、c和d添加至参考标号以表示级间差异压缩部分^2b、282c和中相应组件的所属关系。例如，运动分析部分是级间差异压缩部分的组件之一，运动分析部分是级间差异压缩部分的组件之一。在以下描述中，不带字母的参考标号指代级间
差异压缩部分至的所有对应组件。例如，像素值改变部分291表示像素值改变部分291b到29Id。在操作和功能方面，级间差异压缩部分和与级间差异压缩部分在以下方面有所差异。级间差异压缩部分和从图像质量降低部分281获得与从级间差异压缩部分观213所获得的运动图像相比具有不同图像质量的运动图像，并对所获得的运动图像进行处理，位置差信息改变部分^Oc和^Od以及图像解码部分和从被设计用于处理具有较低图像质量的运动图像的不同级间差异压缩部分282获得位置差信息和运动图像分量图像以用于差分处理。更具体地，位置差信息改变部分^Oc从运动编码部分获得位置差信息，并改变所获得的位置差信息。图像解码部分从运动编码部分获得位置差信息，从编码部分^Sb获得运动图像分量图像，并使用所获得的位置差信息来对所获得的运动图像分量图像进行解码。位置差信息改变部分^Od从运动编码部分获得位置差信息，并改变所获得的位置差信息。图像解码部分从运动编码部分获得位置差信息，从编码部分^Sc获得运动图像分量图像，并使用所获得的位置差信息来对所获得的运动图像分量图像进行解码。特征区域检测部分203从输入的运动图像分量图像中检测具有多种特征类型的多个特征区域。在这种情况下，图像质量降低部分281通过降低具有特定类型特征的特征区域的分辨率来由输入的运动图像分量图像产生特征区域图像，并由输入的运动图像分量图像产生在具有不同类型特征的特征区域中具有高于上述特征区域图像的分辨率的不同特征区域图像。级间差异压缩部分观213至观2(1以一一对应的方式与特征类型相关联。级间差异压缩部分至中每一个对特征区域图像进行压缩，该特征区域图像中至少具有预定类型特征的特征区域具有与非特征区域不同的分辨率。具体而言，级间差异压缩部分观213对在所有特征区域中具有最低分辨率的低分辨率特征区域图像进行处理。级间差异压缩部分对在预定特征类型的特征区域中具有高于低分辨率特征区域图像的分辨率的中等分辨率特征区域图像进行处理。级间差异压缩部分对在不同预定特征类型的特征区域中具有高分辨率的高分辨率特征区域图像进行处理。如上所述，差异处理部分287产生在具有特定类型特征的特征区域和具有不同类型特征的特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域差异图像。如上所述，差异处理部分287产生在具有特定类型特征的特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域差异图像，并产生在具有不同类型特征的特征区域中具有通过将不同特征区域图像与通过对不同特征区域图像中的特征区域进行放大而获得的图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域间差异图像。编码部分288对特征区域差异图像、特征区域间差异图像和低图像质量图像进行编码。关联部分206将运动编码部分至编码的位置差信息和编码部分^Sa至 ^Sd编码的运动图像分量图像(例如低图像质量图像、特征区域差异图像、特征区域间差异图像)与标识特征区域的信息相关联。如上所述，级间差异压缩部分观加产生在包括特征区域在内的整个区域中图像质量降低的运动图像分量图像，换言之，产生包含输入的运动图像分量图像的低空间频率分量的运动图像分量图像。级间差异压缩部分产生的运动图像分量图像所具有的频率分量高于级间差异压缩部分观加的频率分量并且低于级间差异压缩部分的频率分量。级间差异压缩部分产生其中表示运动图像分量图像与由级间差异压缩部分观加产生的运动图像分量图像之间的差异的差分值在非特征区域中减小的运动图像分量图像。类似地，级间差异压缩部分产生的运动图像分量图像所具有的频率分量高于级间差异压缩部分的频率分量并且低于级间差异压缩部分的频率分量。级间差异压缩部分产生的运动图像分量图像的频率分量高于级间差异压缩部分^2c。级间差异压缩部分和产生其中表示运动图像分量图像与由级间差异压缩部分
和产生的运动图像分量图像之间的相应差异的差分值在非特征区域中的运动图像分量图像。如上所述，级间差异压缩部分^2b、282c和中的每一个对其中具有预定类型特征的特征区域具有高于其余区域的图像质量的运动图像进行处理。因此，级间差异压缩部分、282c和可以向外提供图像质量根据特征类型而不同的运动图像。这里，级间差异压缩部分^2b、282c和中的每一个可以通过对其运动图像分量图像与由级间差异压缩部分^2b、282c和中不同的一个处理的、具有较低图像质量的运动图像分量图像之间的差异进行压缩，来高效地压缩运动图像。在检测每个特征区域的特征信息时，特征区域检测部分203可以针对每个特征区域来计算指示该特征区域有多可靠的可靠性程度。级间差异压缩部分^2b、282c和中的每一个对分辨率根据特征区域的特征信息和可靠性程度而调整的特征区域的图像进行压缩。例如，图像质量降低部分281可以根据特征区域的特征信息和可靠性程度，对每个特征区域的图像的分辨率进行调整，并将调整后的图像提供给级间差异压缩部分观2中相应的一个。例如，图像质量降低部分281可以随着可靠性程度的降低而提高每幅特征区域图像的图像分辨率，其中调整后的分辨率高于根据特征信息的预定分辨率。如上所述，图像处理设备120通过对具有不同分辨率的不同级的图像之间的差异进行编码，来执行分级编码。从这种配置中显而易见，图像处理设备120使用的压缩方法部分包括H. 264/SVC的压缩方法。在对这种分级布置的压缩运动图像进行扩展时，图像处理设备170逐一对多份相应级的运动图像数据进行解码，以获得多幅与每一级相关联的运动图像分量图像。然后，图像处理设备170将所获得的、使用级间差异来编码的运动图像分量图像的区域和与用于比较以计算级间差异的不同级相关联的运动图像分量图像的区域相加在一起。按照这种方式，图像处理设备170可以针对每一级产生运动图像中包含的多幅运动图像分量图像。图13示意了与不同实施例相关的图像处理系统20的示例配置。与本实施例相关的图像处理系统20以与图1所示的图像处理系统10相同的方式配置，但是使用图像捕捉设备IOOa至IOOc中包括的图像处理部分160 至1604c (以下统称为图像处理部分1604) 来替换图像处理设备120a至120c。图像处理部分1604包括图像处理设备120的组件，除了压缩运动图像获得部分 201和压缩运动图像扩展部分202以外。图像处理部分1604的组件可以具有与图像处理设备120的相应组件实质上相同的功能和操作，但是图像处理部分1604的组件处理图像捕捉部分102捕捉的所捕捉的运动图像，而图像处理设备120的组件处理通过压缩运动图像扩展部分202的扩展操作而获得的所捕捉的运动图像。具有上述配置的图像处理系统20可以产生与关于图1至12所述的图像处理系统10相同的效果。图像处理部分1604可以从图像捕捉部分102获得包括具有RAW格式的多幅运动图像分量图像在内的所捕捉的运动图像。图像处理部分1604可以检测具有RAW格式的每幅运动图像分量图像中的一个或多个特征区域。图像处理部分1604可以在不改变RAW格式的情况下，对获得的所捕捉的运动图像中包括的具有RAW格式的运动图像分量图像进行压缩。这里，图像处理部分1604可以使用参照图1至12关于图像处理设备120的操作而描述的压缩方法来对所捕捉的运动图像进行压缩。图像处理设备170可以通过对从图像处理部分1604获得的压缩运动图像进行扩展，来获得具有RAW格式的运动图像分量图像。图像处理设备170可以例如逐区域地对通过扩展获得的具有RAW格式的运动图像分量图像执行颜色估计(重合)处理，其中这些区域包括非特征区域和包含特征区域在内的区域。这里，图像处理设备170可以对特征区域执行比对非特征区域更加精确的同步操作。图像处理设备170可以对通过对运动图像分量图像进行同步而获得的特征区域的图像执行超分辨率(super-resolution)处理。图像处理设备170执行的超分辨率处理可以示例为日本专利申请公开No. 2006-350498中公开的基于主要分量分析的超分辨率处理，或者日本专利申请公开No. 2004-88615中公开的基于主体运动的超分辨率处理。这里，图像处理设备170可以对特征区域中包含的每个对象进行超分辨率处理。 例如，当特征区域包含人脸的图像时，图像处理设备170可以对作为对象示例示出的每个脸部元素(例如眼、鼻、口等)执行超分辨率处理。在这种情况下，图像处理设备170可以存储每个脸部元素(例如眼、鼻、口等)的学习数据，其中学习数据是例如日本专利申请公开No. 2006-350498中公开的基于主要分量分析的模型。图像处理设备170可以使用与脸部元素关联选择的学习数据，对特征区域中包括的每个脸部元素的图像进行超分辨率处理。如上所述，图像处理设备170可以使用主要分量分析来重构特征区域的图像。除了主要分量分析(PCA)之外，图像处理设备170进行的图像重构和用于图像重构的学习可以通过局部性预留投影(LPP)、线性判别式分析(LDA)、独立分量分析(ICA)、多维缩放 (MDS)、支持向量机(支持向量回归)、神经网络、隐式马尔科夫模型、贝叶斯估计、最大后验 (MAP)估计、迭代返回投影(IBP)、小波变换、局部线性嵌入(LLE)、马尔科夫随机场(MRF)等来实现。
33
除了日本专利申请公开No. 2006-350498中公开的模型之外，学习数据可以包括对象图像的低频分量和高频分量，这些分量是从对象的大量采样图像中提取的。这里，可以使用K-means方法或其他方法将多个不同类型对象中每一个的图像的低频分量聚集为多个群集。每个群集可以与代表性低频分量(例如重心的值)相关联。图像处理设备170从运动图像分量图像中的特征区域中包含的对象的图像中提取低频分量。然后，图像处理设备170从由对象(其类型与所提取对象的类型相同)的采样图像中提取的低频分量的群集中标识代表性低频分量与所提取的低频分量相匹配的群集。然后，图像处理设备170标识与所标识的群集中包括的低频分量相关联的高频分量的群集。按照上述方式，图像处理设备170可以标识与从运动图像分量图像中包含的对象中提取的低频分量相关的高频分量的群集。图像处理设备170可以使用表示所标识的高频分量的群集的高频分量，将对象的图像转换为具有较高图像质量的高图像质量图像。例如，图像处理设备170可以将与对象关联选择的高频分量添加至每个对象的图像，其中权值根据从对象中心到表面上的处理位置的距离而确定。这里，每个群集的代表性高频分量可以使用闭环训练方法产生。如上所述，图像处理设备170可以针对每个对象，从通过学习对象而产生的多份学习数据中选择所需学习数据，并使用所选择的学习数据。因此，图像处理设备170能够更精确地增强对象图像的图像质量。注意，当包括在参照图1至12描述的图像处理系统10中时，图像处理设备170可以对特征区域的图像执行上述超分辨率处理。根据日本专利申请公开No. 2006-350498中公开的基于主要分量分析而进行的超分辨率处理，使用主要分量向量和加权因子来表示物体的图像。加权因子和主要分量向量的数据量明显小于物体的图像的像素数据的数据量。因此，在对从图像捕捉部分102获得的运动图像分量图像的特征区域的图像进行压缩时，图像处理部分1604可以由特征区域中包含的物体的图像计算上述加权因子。换言之，图像处理部分1604可以通过使用主要分量向量和加权因子来表示图像，从而对特征区域中包含的物体的图像进行压缩。图像处理部分1604可以将主要分量向量和加权因子发送至图像处理设备170。在这种情况下，图像处理设备170可以使用从图像处理部分1604获得的主要分量向量和加权因子来重构特征区域中包含的物体的图像。这里，图像处理部分1604也可以使用利用与日本专利申请公开No. 2006-350498中公开的基于主要分量分析的模型不同的各种其他特征参数来表示物体的模型，来对特征区域中包含的物体的图像进行压缩。图14示意了图像处理设备120和170的示例硬件配置。图像处理设备120和170 均由CPU外围部分、输入/输出(I/O)部分和传统I/O部分构成。CPU外围部分包括通过主机控制器1582互相连接的CPU1505、RAM 1520、图形控制器1575和显示设备1580。I/O 部分包括通过I/O控制器1584连接至主机控制器1582的通信接口 1530、硬盘驱动器1540 和⑶-ROM驱动器1560。传统I/O部分包括连接至I/O控制器1584的ROM 1510、软盘驱动器1550和I/O芯片1570。主机控制器1582将RAM 1520与以高传输速率访问RAM 1520的CPU 1505和图形控制器1575连接。CPU 1505根据ROM 1510和RAM 1520上存储的程序进行操作，以控制这些组件。图形控制器1575在RAM 1520内提供的帧缓冲器上获得CPU 1505等产生的图像数据，并使显示设备1580显示所获得的图像数据。备选地，图形控制器1575中可以包括用于将CPU 1505等产生的图像数据存储在其上的帧缓冲器。I/O控制器1584将作为以相对高速率操作的I/O设备的硬盘驱动器1540、通信接口 1530和CD-ROM驱动器1560连接至主机控制器1582。硬盘驱动器1540上存储CPU 1505 要使用的程序和数据。通信接口 1530耦合至网络通信设备1598以发送/接收程序或数据。 ⑶-ROM驱动器1560从⑶-ROM 1596中读取程序或数据，并将所读取的程序或数据经由RAM 1520提供给硬盘驱动器1540和通信接口 1530。I/O控制器1584也连接至作为以相对低速率操作的I/O设备的ROM 1510、软盘驱动器1550和I/O芯片1570。ROM 1510上存储图像处理设备120和170在启动时执行的引导程序、依赖于图像处理设备120和170的硬件的程序等等。软盘驱动器1550从软盘1590 中读取程序或数据，并经由RAM 1520将所读取的程序或数据提供给硬盘驱动器1540和通信接口 1530。1/0芯片1570用于经由例如并行端口、串行端口、键盘端口、鼠标端口等来连接各种1/0设备，如软盘驱动器1550。CPU 1505要执行的程序在被存储在如软盘1590、CD-R0M 1595和IC卡之类的记录介质的状态下由用户提供。程序可以在压缩或未压缩的状态下存储在记录介质上。程序从记录介质安装到硬盘驱动器1540上，由RAM 1520读取，并由CPU 1505来执行。CPU 1505 执行的程序使图像处理设备120用作参照图1至13所描述的压缩运动图像获得部分201、 压缩运动图像扩展部分202、特征区域检测部分203、图像划分部分204、图像产生部分205、 值固定部分211、图像质量降低部分221、编码部分231、关联部分206、输出部分207、图像质量退化部分710和差分图像产生部分720。CPU 1505执行的程序也使图像处理设备170用作参照图1至13所描述的压缩运动图像获得部分301、关联分析部分302、压缩运动图像扩展部分311、组合部分303、输出部分304、图像相加部分820和图像组合部分810。上述程序可以存储在外部记录介质上。除了软盘1590和⑶-R0M1595之外，记录介质是例如光记录介质(如DVD和PD)、磁-光记录介质(如MD)、磁带介质、半导体存储器 (如IC卡等)。记录介质可以是在连接至专用通信网络或因特网的服务器系统中提供的存储设备(如硬盘或RAM)，程序可以经由网络提供给图像处理设备120和170。尽管通过示例实施例描述了本发明的一些方面，但是应当理解，本领域技术人员在不背离仅由所附权利要求限定的本发明的精神和范围的前提下，可以做出许多改变和替换。
权利要求
1.一种图像处理设备，包括特征区域检测部分，检测图像中的特征区域；图像划分部分，将图像划分为特征区域和不同于特征区域的背景区域；以及压缩部分，以互不相同的强度来对特征区域图像和背景区域图像进行压缩，所述特征区域图像是特征区域的图像，而所述背景区域图像是背景区域的图像。
2.如权利要求1所述的图像处理设备，其中特征区域检测部分检测运动图像中包括的多幅运动图像分量图像中的特征区域； 图像划分部分将所述多幅运动图像分量图像中的每一幅划分为特征区域和背景区域;以及压缩部分以互不相同的强度来对包括多幅特征区域图像在内的特征区域运动图像和包括多幅背景区域图像在内的背景区域运动图像进行压缩。
3.如权利要求2所述的图像处理设备，其中特征区域检测部分检测所述运动图像中包括的所述多幅运动图像分量图像中具有不同类型特征的多个特征区域；图像划分部分将所述多幅运动图像分量图像中的每一幅划分为多个特征区域和不同于所述多个特征区域的背景区域；以及压缩部分以根据所述多个特征区域的多条特征信息而确定的强度来对多幅特征区域运动图像进行压缩。
4.如权利要求3所述的图像处理设备，其中 压缩部分包括图像质量降低部分，通过根据所述多条特征信息来降低所述多幅特征区域运动图像的图像质量，对所述多幅特征区域运动图像进行压缩。
5.如权利要求4所述的图像处理设备，其中图像质量降低部分通过根据所述多条特征信息来降低所述多幅特征区域运动图像的分辨率或帧率，对所述多幅特征区域运动图像进行压缩。
6.如权利要求4所述的图像处理设备，其中 压缩部分还包括编码部分，通过使用根据所述多条特征信息而设置的值来对所述多幅特征区域运动图像进行编码，对所述多幅特征区域运动图像进行压缩。
7.如权利要求6所述的图像处理设备，其中编码部分通过使用根据所述多条特征信息而确定的码量来对所述多幅特征区域运动图像进行编码，对所述多幅特征区域运动图像进行压缩。
8.如权利要求3所述的图像处理设备，其中特征区域检测部分检测所述运动图像中包括的所述多幅运动图像分量图像中具有不同类型主体的所述多个特征区域；以及压缩部分以根据所述主体的类型而确定的强度，对所述多幅特征区域运动图像进行压缩。
9.如权利要求3所述的图像处理设备，其中特征区域检测部分检测所述多幅运动图像分量图像中具有以不同速度运动的主体的所述多个特征区域；以及压缩部分以根据所述主体的速度而确定的强度，对所述多幅特征区域运动图像进行压缩。
10.如权利要求3所述的图像处理设备，还包括图像产生部分，通过复制所述运动图像，产生用于产生所述多幅特征区域运动图像的多幅特征区域压缩运动图像和用于产生所述背景区域运动图像的背景区域压缩运动图像， 其中，压缩部分以根据所述多条特征信息而确定的强度，对所述多幅特征区域运动图像进行压缩。
11.如权利要求10所述的图像处理设备，还包括值固定部分，将所述多幅特征区域压缩运动图像中的每一幅中包括的多幅运动图像分量图像中不同于特征区域的区域的像素值设置为固定值，其中，压缩部分以根据所述多条特征信息中相应的一条特征信息而确定的强度，对所述多幅特征区域运动图像中包括其中不同于特征区域的区域的像素值被设置为固定值的多幅运动图像分量图像在内的每一幅进行压缩。
12.如权利要求10所述的图像处理设备，其中图像产生部分针对所述多个特征区域中的每一个，从所述多幅运动图像分量图像中提取多幅特征区域图像，以产生包括所提取的多幅特征区域图像在内的多幅特征区域压缩运动图像中的每一幅，以及压缩部分以根据所述多条特征信息而确定的强度，对所述多幅特征区域运动图像进行压缩。
13.一种图像处理方法，包括 检测图像中的特征区域；将图像划分为特征区域和不同于特征区域的背景区域；以及以互不相同的强度来对特征区域图像和背景区域图像进行压缩，所述特征区域图像是特征区域的图像，而所述背景区域图像是所述背景区域的图像。
14.一种与对图像进行压缩的图像处理设备一起使用的程序，所述程序使图像处理设备用作特征区域检测部分，检测图像中的特征区域；图像划分部分，将图像划分为特征区域和不同于特征区域的背景区域；以及压缩部分，以互不相同的强度来对特征区域图像和背景区域图像进行压缩，所述特征区域图像是特征区域的图像，而所述背景区域图像是所述背景区域的图像。
15.一种图像处理设备，包括特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；以及输出部分，输出互相关联的差分图像和背景区域图像。
16.如权利要求15所述的图像处理设备，其中差分图像产生部分产生表示图像中特征区域的图像与由于特征区域的分辨率降低图像的放大而获得的低质量图像之间的差异的差分图像。
17.如权利要求15所述的图像处理设备，其中差分图像产生部分产生表示图像中的特征区域的图像与由于特征区域的图像的空间频率域中高频分量的减少而获得的低质量图像之间的差异的差分图像。
18.如权利要求16所述的图像处理设备，其中图像质量降低部分通过降低包含特征区域和非特征区域在内的区域的图像的分辨率来产生背景区域图像；以及差分图像产生部分产生表示图像中特征区域的图像与由于背景区域图像中的特征区域的图像放大而获得的低质量图像之间的差异的差分图像。
19.如权利要求18所述的图像处理设备，其中特征区域检测部分检测运动图像中包括的多幅运动图像分量图像中的特征区域；图像质量降低部分通过降低所述多幅运动图像分量图像中至少一幅中包含特征区域和非特征区域在内的区域的图像的分辨率，产生背景区域图像；差分图像产生部分产生表示由于背景区域图像中特征区域的图像的放大而获得的低质量图像与所述多幅运动图像分量图像中特征区域的多幅图像之间的差异的多幅差分图像；以及输出部分输出互相关联的、由差分图像产部分产生的多幅差分图像和背景区域图像。
20.如权利要求19所述的图像处理设备，其中输出部分输出互相关联的、包括所述多幅差分图像在内的特征区域运动图像和包括多幅背景区域图像在内的背景区域运动图像。
21.如权利要求19所述的图像处理设备，其中特征区域检测部分检测所述运动图像中包括的多幅运动图像分量图像中具有不同类型特征的多个特征区域；差分图像产生部分针对所检测的多个特征区域中的每一个，产生表示由于背景区域图像中特征区域的图像的放大而获得的低质量图像与根据特征信息来将所述多幅运动图像分量图像中特征区域的多幅图像的图像质量降低而获得的多幅图像之间的差异的多幅差分图像；以及输出部分输出互相关联的、由差分图像产部分针对每种不同特征类型而产生的多幅差分图像和背景区域图像。
22.—种图像处理方法，包括检测图像中的特征区域；通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；以及输出互相关联的差分图像和背景区域图像。
23.一种与图像处理设备一起使用的程序，所述程序使图像处理设备用作特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；以及输出部分，输出互相关联的差分图像和背景区域图像。
24.—种图像处理系统，包括特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；图像获得部分，获得差分图像和背景区域图像；图像相加部分，将图像获得部分获得的差分图像和背景区域图像中特征区域的图像相加在一起，以产生相加图像；以及图像组合部分，将相加图像和背景区域图像组合在一起。
25.一种图像处理方法，包括 检测图像中的特征区域；通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；获得差分图像和背景区域图像；将获得步骤中获得的差分图像和背景区域图像中特征区域的图像相加在一起，以产生相加图像；以及将相加图像和背景区域图像组合在一起。
26.一种与图像处理系统一起使用的程序，所述程序使图像处理系统用作 特征区域检测部分，检测图像中的特征区域；图像质量降低部分，通过降低包含特征区域和非特征区域在内的区域的图像的图像质量来产生背景区域图像；差分图像产生部分，产生表示特征区域的图像与由于特征区域的图像的图像质量降低而获得的低质量图像之间的差异的差分图像；图像获得部分，获得差分图像和背景区域图像；图像相加部分，将图像获得部分获得的差分图像和背景区域图像中特征区域的图像相加在一起，以产生相加图像；以及图像组合部分，将相加图像和背景区域图像组合在一起。
全文摘要
本发明提供了一种图像处理设备，包括特征区域检测部分，检测图像中的特征区域；图像划分部分，将图像划分为特征区域和不同于特征区域的背景区域；以及压缩部分，以互不相同的强度来对特征区域图像和背景区域图像进行压缩，所述特征区域图像是特征区域的图像，而所述背景区域图像是背景区域的图像。特征区域检测部分检测运动图像中包括的多幅运动图像分量图像中的特征区域；图像划分部分将多幅运动图像分量图像中的每一幅划分为特征区域和背景区域；以及压缩部分以互不相同的强度来对包括多幅特征区域图像在内的特征区域运动图像和包括多幅背景区域图像在内的背景区域运动图像进行压缩。
文档编号H04N7/26GK102572433SQ20111046054
公开日2012年7月11日 申请日期2008年7月18日 优先权日2007年7月20日
发明者野口幸典, 龟山祐和 申请人:富士胶片株式会社