专利名称：图像处理装置、图像处理方法以及程序的制作方法
技术领域：
本发明涉及一种用于处理图像的装置、方法、以及程序。更准确地说，它们对由多个像素所组成的且由具有时间积分效果的图像传感器所获取的图像中的运动对象的运动矢量进行检测。通过利用该运动矢量，可减轻该图像中的运动对象中所存在的运动模糊以便可产生运动模糊减轻物象，从而将在运动模糊减轻对象图像产生步骤期间所产生的运动模糊减轻对象图像组合到与运动矢量检测所检测到的运动矢量相对应的空间-时间位置上，以将其输出为运动模糊减轻图像。
背景技术：
传统上利用传感器来对实际世界中的事件执行数据处理。通过利用传感器所获得的数据是通过将实际世界中的信息投射到具有比实际世界更小维度的空间-时间中而获得的信息。因此，通过该投射所获得的信息具有由于该投射而所产生的畸变。例如，当通过利用摄像机来对静止背景之前的运动对象进行拍摄而执行对图像信号的数据处理时，对实际世界中的信息进行采样并将其处理为数据，因此当由于该投射而产生畸变时，根据图像信号所显示的图像中存在使运动对象模糊的运动模糊。
因此，例如如公开号为2001-250119的日本专利申请中所公开的，通过对与包含在输入图像之内的前景对象相对应的图像对象的外缘进行检测，可粗略地提取与该前景对象相对应的图像对象，以便可计算与这样粗略提取的前景对象相对应的图像对象的运动矢量，从而通过利用所计算的运动矢量以及运动矢量的位置信息可减轻运动模糊。
然而，在公开号为2001-250119的日本专利申请中，对于每个图像(帧)而言它对图像中的运动对象进行追踪，虽然它未公开怎样减轻运动对象的运动模糊。
发明内容
鉴于上述，为了在对图像中的运动对象进行追踪的同时减轻图像中的运动对象的运动模糊并且将其输出，本发明所涉及的用于处理图像的装置包括运动矢量检测装置，用于对与在下述多个图像中进行运动的运动对象有关的运动矢量进行检测并且对该运动对象进行追踪，其中所述每个图像均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的；运动模糊减轻对象图像产生装置，用于通过利用运动矢量检测装置所检测到的运动矢量产生运动模糊减轻对象图像，在该运动模糊减轻对象图像中减轻了多个图像的每一个图像中的运动对象中所存在的运动模糊；以及输出装置，用于将在运动模糊减轻对象图像产生装置中所产生的运动模糊减轻对象图像组合到每个图像中的与运动矢量相对应的空间-时间位置上，并且将其输出为运动模糊减轻图像，其中所述运动矢量是由运动矢量检测装置所检测的。
本发明所涉及的用于处理图像的方法包括运动矢量检测步骤，用于对与在下述多个图像中进行运动的运动对象有关的运动矢量进行检测并且对该运动对象进行追踪，其中所述每个图像均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的；运动模糊减轻对象图像产生步骤，用于通过利用在运动矢量检测步骤所检测到的运动矢量产生运动模糊减轻对象图像，在该运动模糊减轻对象图像中减轻了多个图像的每一个图像中的运动对象中所存在的运动模糊；以及输出步骤，用于将在运动模糊减轻对象图像产生步骤中所产生的运动模糊减轻对象图像组合到每个图像中的与运动矢量相对应的空间-时间位置上，并且将其输出为运动模糊减轻图像，其中所述运动矢量是在运动矢量检测步骤所检测的。
本发明所涉及的程序可使计算机执行运动矢量检测步骤，用于对与在下述多个图像中进行运动的运动对象有关的运动矢量进行检测并且对该运动对象进行追踪，其中所述每个图像均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的；运动模糊减轻对象图像产生步骤，用于通过利用在运动矢量检测步骤所检测到的运动矢量产生运动模糊减轻对象图像，在该运动模糊减轻对象图像中减轻了多个图像的每一个图像中的运动对象中所存在的运动模糊；以及输出步骤，用于将在运动模糊减轻对象图像产生步骤中所产生的运动模糊减轻对象图像组合到每个图像中的与运动矢量相对应的空间-时间位置上，并且将其输出为运动模糊减轻图像，其中所述运动矢量是在运动矢量检测步骤所检测的。
在本发明中，在下述多个图像中进行运动的运动对象上设置这样的目标像素，该目标像素与在时间上连续的至少第一图像和第二图像的任何一个中的运动对象的位置相对应，所述多个图像的每一个均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的；通过利用第一和第二图像来对与该目标像素相对应的运动矢量进行检测；以及通过利用所检测的运动矢量可获得其内的目标像素的运动模糊已减轻的像素值，从而产生运动模糊减轻图像。将运动模糊减轻图像输出到目标像素的空间位置或者与运动矢量相对应的空间位置上。
在产生运动模糊减轻图像的过程中，在该图像上所提供的处理区域中，对运动对象的像素的像素值进行处理以使其成为一模型，以便使其内未出现有与运动对象相对应的运动模糊的每个像素的像素值变成这样的值，该值是通过在像素运动时在时间方向上对像素值进行积分而获得的。例如，在该处理区域中，分别对前景区、背景区、以及混合区进行标识，其中所述前景区仅是由构成了是运动对象的前景对象的前景对象成分所组成的，所述背景区仅是由构成了背景对象的背景对象成分组成的，所述混合区中混合有前景对象成分以及背景对象成分；对混合区中的前景对象成分和背景对象成分的混合比进行检测；根据该混合比，将该图像的至少一部分区域分离成前景对象和背景对象；并且根据该运动对象的运动矢量来减轻由此所分离的前景对象的运动模糊。或者，对于该图像中的每个像素检测运动矢量；并且将该处理区域设置为其内存在有运动模糊的前景对象区以使用该处理区域中的目标像素的所检测的运动矢量，从而以像素为单位输出其中处理区域中的运动模糊已减轻的像素值。此外，由于运动模糊减轻图像，可根据该运动对象产生一扩展图像。
根据本发明，对在下述多个图像中运动的运动对象上的运动矢量进行检测，其中所述多个图像的每一个均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的，可减轻多个图像的每个图像中的运动对象中所存在的运动模糊。将其中运动模糊已减轻的运动模糊减轻对象图像组合到与所检测的运动矢量相对应的每个图像中的时间-空间位置上，从而将其输出为运动模糊减轻图像。这允许在对运动对象进行追踪的同时减轻每个帧的运动对象的运动模糊。
对下述目标像素进行设置，所述目标像素与在时间上连续的至少第一图像和第二图像的任何一个中的运动对象的位置相对应；通过利用第一和第二图像来对与该目标像素相对应的运动矢量进行检测；并且将运动模糊减轻图像组合到所设置图像中的目标像素的一位置上或者另一图像中的与该目标像素相对应的一位置上，这些位置与所检测的运动矢量相对应。这可将运动模糊减轻对象图像输出到其适当位置上。
在图像的处理区域中，使运动对象的像素的像素值成为一模型，以便其内未出现有与运动对象相对应的运动模糊的每个像素的像素值变成这样的值，该值是通过在像素运动时在时间方向上对像素值进行积分而获得的，并且根据处理区域中的像素的像素值，可产生这样的运动模糊减轻对象图像，即在该运动模糊减轻对象图像中包含在处理区域中的运动对象的运动模糊已减轻。这可提取任何所掩藏的重要信息，从而减轻运动模糊。
在运动模糊的减轻过程中，在处理区域中，对前景区、背景区、以及混合区进行标识，其中所述前景区仅是由构成了是运动对象的前景对象的前景对象成分所组成的，所述背景区仅是由构成了背景对象的背景对象成分组成的，所述混合区中混合有前景对象成分以及背景对象成分，并且根据混合区中的前景对象成分与背景对象成分的混合比，将该图像的至少一部分区域分离成前景对象和背景对象，从而可根据运动矢量来减轻由此所分离的前景对象的运动模糊。这可根据所提取的作为重要信息的混合比来对运动对象成分进行分离，由此可根据所分离的运动对象成分来准确地减轻运动模糊。
或者，对于该图像中的每个像素检测运动矢量，并且根据图像中的目标像素的运动矢量来对处理区域进行设置以便使目标像素包含在其中，从而根据目标像素的运动矢量以像素为单位输出其中目标像素中的运动模糊已减轻的像素值。即使对于每个像素而言运动对象的运动不同，也可减轻运动对象的运动模糊。
此外，从运动模糊减轻图像中提取与扩展图像中的目标像素相对应的类别抽头以便可根据该类别抽头的像素值来确定类别。从运动模糊减轻图像中提取与目标像素相对应的预测抽头，以便根据与所确定的类别相对应的预测系数与预测抽头的一维线性组合来产生与目标像素相对应的预测值。这允许通过利用运动模糊减轻图像而产生其中运动模糊已减轻的高清晰度扩展图像。可根据运动对象执行扩展图像的产生以便可在对该运动对象进行追踪的同时输出该运动对象的扩展图像。
图1给出了本发明所应用的系统的结构方框图；图2给出了图像传感器所拍摄的图像的示意图；图3A和3B给出了所拍摄的图像的说明性示意图；图4给出了像素值在时间方向上的划分操作的说明性示意图；图5给出了用于对图像进行处理的装置的结构方框图；图6给出了运动矢量检测部分的结构方框图；图7给出了运动模糊减轻对象图像产生部分的结构方框图；
图8给出了区域标识部分的结构方框图；图9给出了从图像存储器所读取的图像数据的示意图；图10给出了区域判断处理的示意图；图11给出了混合比计算部分的结构方框图；图12给出了理想混合比的示意图；图13给出了前景/背景分离部分的结构方框图；图14给出了运动模糊调节部分的结构方框图；图15给出了调节处理单元的示意图；图16给出了运动模糊已减轻的像素值的位置示意图；图17给出了用于对图像进行处理的装置的另一结构示意图；图18给出了用于对图像进行处理的装置的操作流程图；图19给出了运动模糊减轻对象图像的产生处理的流程图；图20给出了运动模糊减轻图像产生部分的另一结构的方框图；图21给出了处理区域的示意图；图22A和22B的每一个均给出了用于对处理区域进行设置的一个示例的示意图；图23给出了处理区域中的实际世界变量在时间方向上的混合的说明性示意图；图24A-24C的每一个均给出了对象进行运动这样一个示例的示意图；图25A-25F的每一个均给出了对该对象进行追踪的扩展显示图像的示意图；图26给出了用于对图像进行处理的装置的又一结构的方框图；图27给出了空间分辨率创建部分的结构的方框图；图28给出了学习设备的结构方框图；以及图29给出了对空间分辨率创建处理进行组合的情况下的操作流程图。
具体实施例方式
下面参考附图对本发明的一个实施例进行描述。图1给出了本发明所应用的系统的结构方框图。由摄像机等所构成的图像传感器10对实际世界进行拍摄，所述图像传感器10装配有是固态图像感测设备的电荷耦合器件(CCD)区域传感器或者CMOS区域传感器。例如，如图2所示，当与前景相对应的运动对象OBf在图像传感器10和与背景相对应的对象OBb之间沿箭头方向“A”运动时，图像传感器10对与背景相对应的对象OBb以及与前景相对应的运动对象OBf进行拍摄。
该图像传感器10是由其每一个均具有时间积分效果的多个检测元件构成的，并且因此在曝光时间内对根据每个检测元件的入射光所产生的电荷进行积分。也就是说，图像传感器10在将入射光转换成电荷的过程中执行光电转换，以便以例如一个帧周期为单位对其进行积聚。根据所积聚的电荷量，它产生像素数据，并且此后使用这个像素数据以产生具有所期望帧速的图像数据DVa，并且将该数据提供给用于对图像进行处理的装置20。图像传感器10进一步具有快门功能，以便如果通过根据快门速度来调节曝光时间而产生了图像数据DVa，那么可向用于处理图像的装置20提供曝光时间参数HE，该参数表示曝光时间。该曝光时间参数HE以例如“0”至“1.0”的值来表示一个帧周期中的快门打开时间，当不使用快门功能时将该值设置为1.0，并且当快门时间是帧周期的1/2时将该值设置为0.5。
用于处理图像的装置20提取由于施加在图像传感器10上的时间积分效果而掩藏在图像数据DVa中的重要信息，并且利用这个重要信息以减轻由于在与运动前景相对应的运动对象OBf上所产生的时间积分效果所造成的运动模糊。应当注意的是，向用于处理图像的装置20提供有区域选择信息HA，其用于选择其内的运动模糊已减轻的图像区域。
图3说明性地给出了图像数据DVa所给出的拍摄图像的示意图。图3A给出了通过对与运动前景相对应的运动对象以及与静止的背景相对应的对象OBb进行拍摄所获得的图像。在这里，假定使与前景相对应的对象OBf沿箭头方向“A”横向运动。
图3B给出了沿着图3A中的虚线所示的线L的图像与时间之间的关系。在运动对象OBf沿着线L所运动的长度例如多达九个像素并且其在一个曝光时间内运动了五个像素的情况下，当曝光时间结束时，当帧周期开始时位于像素位置P21的前端以及位于像素位置P13的后端分别移动到像素位置P25和P17。此外，如果未使用快门功能，那么一个帧内的曝光时间与一个帧周期相等，以便当下一帧周期开始时，其前端和后端分别位于像素位置P26和P18。为了简单说明起见，假定除非另有规定否则不使用快门功能。
因此，在沿着线L的帧周期中，位于像素位置P12之前的部分以及位于像素位置P26之后的部分构成了仅由背景成分所组成的背景区。此外，位于像素位置P17-P21之间的部分构成了仅由前景成分所组成的前景区。位于像素位置P13-P16之间的部分以及位于像素位置P22-P25之间的部分各自均构成了其中混合有前景成分和背景成分的混合区。将混合区分成随着时间的流逝而由前景覆盖了背景成分的覆盖背景区以及随着时间的流逝而呈现出背景成分的未覆盖背景区。应当注意的是，在图3B中，在前景对象前进的方向上位于前景对象前端侧上的混合区是覆盖背景区，并且位于其后端侧上的混合区是未覆盖背景区。因此，图像数据DVa包含有这样的图像，该图像包括一前景区、一背景区、一覆盖背景区、或者一未覆盖背景区。
应当注意的是，一个帧在时间上是很短的，以便在与前景相对应的运动对象OBf是刚性的并且以相同速度运动的假定之下，如图4所示，一个曝光时间之内的像素值受到时间方向上的划分以使其除以虚拟划分数目而得到相等的时间间隔。
根据与前景相对应的运动对象在一个帧周期中的运动量v来设置虚拟划分数目。例如，如果一个帧周期中的运动量v如上所述是五个像素，那么根据运动量v将虚拟划分数目设置为“5”，以将一个帧周期划分成五个相等时间的间隔。
此外，在一个帧周期中，假定在对与背景相对应的对象OBb进行拍摄时所获得的像素位置Px的像素值为Bx，并且假定在对与前景相对应的且沿着线L具有九个像素长度的运动对象OBf进行静止拍摄时所获得的像素的像素值为F09(前端侧)至F01(后端侧)。
在这种情况下，例如，由等式1给出像素位置P15的像素值DP15DP15＝B15/v+B15/v+F01/v+F02/v+F03/v ...(1)像素位置P15包含有两个划分虚拟时间(帧周期/v)的背景成分以及三个划分虚拟时间的前景成分，从而使背景成分的混合比α是2/5。类似地，例如，像素位置P22包含有一个划分虚拟时间的背景成分以及四个划分虚时间的前景成分，从而使混合比α是1/5。
因为假定与前景相对应的运动对象是刚性的并且以相同速度运动以便可在下一帧中向右五个像素来显示前景的图像，因此例如第一划分虚拟时间中的像素位置P13的前景成分(F01/v)分别与第二划分虚拟时间中的像素位置P14的前景成分、第三划分虚拟时间中的像素位置P15的前景成分、第四划分虚拟时间中的像素位置P16的前景成分、以及第五划分虚拟时间中的像素位置P17的前景成分相同。第一划分虚拟时间中的像素位置P14的前景成分(F02/v)至第一划分虚拟时间中的像素位置P21的前景成分(F09/v)与前景成分(F01/v)的情况完全相同。
因此，可通过使用混合比α来给出每个像素位置的像素值DP，如等式2所示。在等式2中，“FE”表示前景成分的总和。
DP＝α·B+FE ...(2)因为前景成分这样运动，因此在一个帧周期中将不同前景成分彼此相加，以便与运动对象相对应的前景区包含有运动模糊。因此，用于处理图像的装置20提取混合比α作为掩藏在图像数据DVa中的重要信息，并且使用该混合比α产生这样的图像数据DVout，在该图像数据DVout中与前景相对应的运动对象OBf的运动模糊已减轻。
图5给出了用于对图像进行处理的装置20的结构方框图。将提供给装置20的图像数据DVa依次提供给运动矢量检测部分30以及运动模糊减轻对象图像产生部分40。此外，将区域选择信息HA和曝光时间参数HE提供给运动矢量检测部分30。运动矢量检测部分30对在下述多个图像的每一个中进行运动的运动对象的运动矢量进行检测，其中所述多个图像的每一个都是由多个像素组成的并且是由具有时间积分效果的图像传感器10所获取的。特别是，根据区域选择信息HA而顺序地提取要受到运动模糊减轻处理的处理区域，以便对与处理区域中的运动对象相对应的运动矢量MVC进行检测并将其提供给运动模糊减轻对象图像产生部分40。例如，它对下述目标像素进行设置以通过利用第一和第二图像来对与该目标像素相对应的运动矢量进行检测，其中所述目标像素与在时间上连续出现的至少第一和第二图像的任何一个中的运动对象的位置相对应。此外，它产生了表示处理区域的处理区域信息HZ，并且将该信息提供给运动模糊减轻对象图像产生部分40和输出部分50。此外，它根据前景中的对象运动来更新区域选择信息HA以使处理区域随着运动对象的运动而运动。
运动模糊减轻对象图像产生部分40根据运动矢量MVC、处理区域信息HZ、以及图像数据Dva来指定一区域或者计算混合比，并且使用所计算的混合比以使前景成分与背景成分彼此相分离。此外，它对所分离的前景成分的图像执行运动模糊调节以产生运动模糊减轻对象图像。此外，将下述前景成分图像数据DBf提供给输出部分50，所述前景成分图像数据DBf是通过该运动模糊调节所获取的运动模糊减轻对象图像的图像数据。还将所分离的背景成分的图像数据DBb提供给输出部分50。
输出部分50将其中基于前景成分图像数据DBf减轻了运动模糊的前景区的图像组合到基于背景成分图像数据DBb的背景图像中，从而产生运动模糊减轻图像的图像数据DVout并将其输出。在这种情况下，将是运动模糊减轻对象图像的前景区图像组合到与所检测的运动矢量MVC相对应的空间-时间位置上，以向追踪运动对象的一位置输出运动对象的运动模糊减轻图像。也就是说，当利用在时间上所连续出现的至少第一和第二图像来对运动矢量进行检测时，将运动对象的运动模糊减轻图像组合到一图像中的目标像素的位置上或者与另一图像中的目标像素相对应的位置上，这两个位置均与所检测的运动矢量相对应。
图6给出了运动矢量检测部分30的结构方框图。将区域选择信息HA提供给处理区域设置部分31。此外，将图像数据DVa提供给检测部分33，并且将曝光时间参数HE提供给运动矢量校正部分34。
处理区域设置部分31根据区域选择信息HA而顺序地提取要受到运动模糊减轻处理的处理区域，并且将表示处理区域的处理区域信息HZ提供给检测部分33、运动模糊减轻对象图像产生部分40、以及输出部分50。此外，它利用随后所描述的由检测部分33所检测的运动矢量MVO来更新区域选择信息HA，从而可按照下述方式来对受到运动模糊减轻的处理区域进行追踪，所述方式是使其满足运动对象的运动。
检测部分33使用例如块匹配法、梯度法、相位相关法、Pel-递归算法等对处理区域信息HZ所表示的处理区域执行运动矢量检测，并且将所检测的运动矢量MV提供给运动矢量校正部分34。或者，检测部分33从多个时间方向上的外围帧的图像数据中检测出在区域选择信息HA所示区域中所设置的追踪点的外围，例如检测出具有与区域选择信息HA所示区域相同图像特性量的区域(一个或多个)，从而计算追踪点处的运动矢量MV并且将其提供给处理区域设置部分31。
检测部分33所输出的运动矢量MV包含有与运动量(标准)以及运动方向(角度)相对应的信息。该运动量是指这样的值，该值表示与运动对象相对应的图像的位置变化。例如，如果与前景相对应的运动对象OBf在紧接于某一参考帧之后的一帧中在横向上运动了move-x并且在纵向上运动了move-y，那么通过等式3可获得其运动量。通过等式4还可获得其运动方向。仅向处理区域给出一对运动量和运动方向。
运动方向＝tan-1(move-y/move-x) ...(4)运动矢量校正部分34利用曝光时间参数HE来对运动矢量MV进行校正。提供给运动矢量校正部分34的运动矢量MV是如上所述的帧间运动矢量。然而，利用帧内运动矢量来对随后所描述的运动模糊减轻对象图像产生部分40所使用的运动矢量进行处理，使得如果当因为使用快门功能而使一个帧内的曝光时间比一个帧周期短时要使用帧内运动矢量，那么不能正确地执行运动模糊减轻处理。因此，将按照曝光时间与一个帧周期的比例所校正的是帧间内运动矢量的运动矢量MV作为运动矢量MVC提供给运动模糊减轻对象图像产生部分40。
图7给出了运动模糊减轻对象图像产生部分40的结构方框图。区域标识部分41产生下述信息(以下简称为“区域信息”)AR并且将其提供给混合比计算部分42、前景/背景分离部分43、以及运动模糊调节部分44，其中所述信息表示根据图像数据DVa所显示的图像中的处理区域信息HZ所示的处理区域中的每个像素是属于前景区、背景区、以及混合区中的哪一个。
混合比计算部分42根据图像数据DVa以及区域标识部分41所提供的区域信息AR来计算混合区中的背景成分的混合比，并且将所计算的混合比提供给前景/背景分离部分43。
前景/背景分离部分43根据区域标识部分41所提供的区域信息AR以及混合比计算部分42所提供的混合比α，将图像数据DVa分离成仅由前景成分所组成的前景成分图像数据DBe以及仅由背景成分所组成的背景成分图像数据DBb，并且将前景成分图像数据DBe提供给运动模糊调节部分44。
运动模糊调节部分44根据运动矢量MVC所示的运动量以及区域信息AR来确定下述调节处理单元，所述调节处理单元表示包含在前景成分图像数据DBe之中的至少一个像素。调节处理单元是用于对要受到运动模糊减轻处理的一组像素进行指定的数据。
运动模糊调节部分44根据前景/背景分离部分43所提供的前景成分图像、运动矢量检测部分30所提供的运动矢量MVC和其区域信息AR、以及调节处理单元来减轻包含在前景成分图像数据DBe之中的运动模糊。它将运动模糊减轻前景成分图像数据DBf提供给输出部分45。
图8给出了区域标识部分41的结构方框图。图像存储器411以帧为单位存储所输入的图像数据DVa。如果将要处理帧#n，则图像存储器411存储在时间上出现于帧#n之前两个帧的帧#n-2、出现于帧#n之前一个帧的帧#n-1、帧#n、出现于帧#n之后一个帧的帧#n+1、以及出现于帧#n之后两个帧的帧#n+2。
静止/运动判断部分412从图像存储器411中读取与帧#n的处理区域信息HZ所指定的区域相同的区域中的帧#n-2、#n-1、#n+1、以及#n+2的图像数据，并且计算所读取的图像数据项之间的帧间绝对差值。它根据该帧间绝对差值是否高于预置阈值Th来判断是运动部分或者静止部分中的哪一个，并且将表示该判断结果的静止/运动判断信息SM提供给区域判断部分413。
图9给出了从图像存储器411所读取的图像数据。应当注意的是图9给出了这样一种情况，即读取处理区域信息HZ所示区域中沿一个行的像素位置P01-P37的图像数据。
静止/运动判断部分412获得两个连续帧的每个像素的帧间绝对差值，判断该帧间绝对差值是否高于预置阈值Th，并且如果帧间绝对差值高于阈值Th，那么判定其是“运动的”，或者如果不高于阈值Th，那么判定其是“静止的”。
区域判断部分413通过利用在静止/运动判断部分412所获得的判断结果来执行图10所示的区域判断处理，以判断处理区域信息HZ所示区域的每个像素是属于静止区、覆盖背景区、未覆盖背景区、以及运动区中的哪一个。
例如，首先，对于作为对帧#n-1和#n的静止/运动判断的结果而判定为静止的像素，判定该像素是静止区的像素。此外，对于作为对帧#n和#n+1的静止/运动判断的结果而判定为静止的像素，判定该像素是静止区的像素。
接下来，对于作为对#n-2和#n-1的静止/运动判断的结果而判定为静止但是作为对帧#n-1和#n的静止/运动判断的结果而判定为运动的像素，判定该像素是覆盖背景区的像素。此外，对于作为对帧#n和#n+1的静止/运动判断的结果而判定为运动但是作为对帧#n+1和#n+2的静止/运动判断的结果而判定为静止的像素，判定该像素是未覆盖背景区的像素。
此后，对于作为对帧#n-1和#n的静止/运动判断以及对帧#n和#n+1的静止/运动判断的结果而判定为运动的像素，判定该像素是运动区域的像素。
应当注意的是存在这样一些情况，即，即使背景成分不包含在其之中，位于覆盖背景区中的运动区侧上或者位于未覆盖背景区中的运动区侧上的像素也被分别确定为覆盖背景区或者未覆盖背景区。例如，作为对帧#n-2和#n-1的静止/运动判断的结果而判断出图9中的像素位置P21是静止的，但是作为对帧#n-1和#n的静止/运动判断的结果而判断出该像素位置P21是运动的，并且因此即使背景成分不包含在其中，也可判断出其是覆盖背景区。作为对帧#n和#n+1的静止/运动判断的结果而判断出像素位置P17是运动的，但是作为对帧#n+1和#n+2的静止/运动判断的结果而判断出该像素位置P17是静止的，并且因此即使背景成分不包含在其中，也可判断出其是未覆盖背景区。因此，将位于覆盖背景区中的运动区侧上的每个像素以及位于未覆盖背景区中的运动区侧上的每个像素校正成运动量区域的像素，可准确地执行对每个像素的区域判断。通过这样执行区域判断，可产生表示每个像素属于静止区、覆盖背景区、未覆盖背景区、以及运动区中的哪一个的区域信息AR，并且将其提供给混合比计算部分42、前景/背景分离部分43、以及运动模糊调节部分44。
应当注意的是，区域标识部分41可采用未覆盖背景区的区域信息与覆盖背景区的区域信息的逻辑和，从而产生混合区的区域信息，以便使区域信息AR可表示每个像素属于静止区、混合区、以及运动区中的哪一个。
图11给出了混合比计算部分42的结构方框图。估算混合比处理部分421通过根据图像数据DVa对覆盖背景区执行操作来计算每个像素的估算混合比αc，并且将所计算的估算混合比αc提供给混合比确定部分423。另一估算混合比处理部分422通过根据图像数据DVa对未覆盖背景区执行操作来计算每个像素的估算混合比αu，并且将所计算的估算混合比αu提供给混合比确定部分423。
混合比确定部分423根据估算混合比处理部分421、422所分别提供的混合比αc和αu以及区域标识部分41所提供的区域信息AR来设置背景成分的混合比α。如果目标像素属于运动区，那么混合比确定部分423将混合比α设置为0(α＝0)。另一方面，如果目标像素属于静止区，那么将混合比设置为1(α＝1)。如果目标像素属于覆盖背景区，那么将估算混合比处理部分421所提供的估算混合比αc设置为混合比α；并且如果目标像素属于未覆盖背景区，那么将估算混合比处理部分422所提供的估算混合比αu设置为混合比α。将这样设置的混合比α提供给前景/背景分离部分43。
在这里，如果帧周期很短并且因此假定与前景相对应的运动对象是刚性的并且在该帧周期中以相同速度运动，那么属于混合区的像素的混合比α根据像素位置的变化而线性变化。在这种情况下，如图12所示，混合区中的理想混合比α的梯度θ可被表示为与前景相对应的运动对象的帧周期中的运动量v的倒数。也就是说，混合比α在静止区中具有值“1”，且在运动区中具有值“0”，并且在混合区中在“0”至“1”的范围内变化。
在帧#n-1中的像素位置P24的像素值是B24的假定之下，可由下式5来表示图9所示的覆盖背景区中的像素位置P24的像素值DP24DP24=3B24/v+F08/v+F09/v]]>=3/v·B24+Σi=0809Fi/v---(5)]]>该像素值DP24包含有3/v的背景成分，从而当运动量v是“5”(v＝5)时混合比α是3/5(α＝3/5)。
也就是说，可由下式6来给出覆盖背景区中的像素位置Pg的像素值Dgc。应当注意的是，“Bg”表示帧#n-1中的像素位置Pg的像素值，并且“FEg”表示像素位置Pg处的前景成分的总和。
Dgc＝αc·Bg+FEg ...(6)此外，如果假定具有像素值Dgc的像素位置处的帧#n+1中的像素值是Fg，并且该像素位置处的Fg/v的值均彼此相同，则FEg＝(1-αc)Fg。也就是说，可将等式6变成下列等式7Dgc＝αc·Bg+(1-αc)Fg ...(7)可将等式7变成下列等式8αc＝(Dgc-Fg)/(Bg-Fg)...(8)在等式8中，Dgc、Bg、以及Fg是已知的，以便估算混合比处理部分421通过利用帧#n-1、#n、以及#n+1的像素值可获得覆盖背景区中的像素的估算混合比αc。
此外，就未覆盖背景区而言，与覆盖背景区的情况相类似，如果假定未覆盖背景区中的像素值是DPu，那么可获得下列等式9αu＝(Dgu-Bg)/(Fg-Bg)...(9)在等式9中，Dgu、Bg、以及Fg是已知的，以便估算混合比处理部分422通过利用帧#n-1、#n、以及#n+1的像素值可获得未覆盖背景区中的像素的估算混合比αu。
如果区域信息AR表示静止区，那么混合比确定部分423将混合比α设置为1(α＝1)，并且如果其表示运动区，那么将该比率设置为0(α＝0)，并且输出该比率。此外，如果区域信息AR表示覆盖背景区或者未覆盖背景区，那么它分别输出估算混合比处理部分421所计算的估算混合比αc或者估算混合比处理部分422所计算的估算混合比αu作为混合比α。
图13给出了前景/背景分离部分43的结构方框图。将提供给前景/背景分离部分43的图像数据DVa以及区域标识部分41所提供的区域信息AR提供给分离部分431、开关部分432、以及另一开关部分433。将混合比计算部分42所提供的混合比α提供给分离部分431。
根据区域信息AR，分离部分431从图像数据DVa分离出覆盖背景区和未覆盖背景区中的像素的数据。根据所分离的数据以及混合比α，它使其已产生运动的前景对象成分与处于静止的背景成分彼此相分离，以将是前景对象成分的前景成分提供给合成部分434，并且将背景成分提供给另一合成部分435。
例如，在图9的帧#n中，像素位置P22-P25属于覆盖背景区，并且如果该像素位置P22-P25分别具有α22-α25，那么在帧#n-1中的像素位置P22的像素值是“B22j”的假定之下，可由下式10来给出像素位置P22的像素值DP22DP22＝B22/v+F06/v+F07/V+F08/v+F09/v＝α22·B22j+F06/v+F07/v+F08/v+F09/v...(10)可由下式11来给出帧#n中的像素位置P22的前景成分FE22FE22＝F06/v+F07/v+F08/v+F09/v＝DP22-α22·B22j ...(11)也就是说，如果假定帧#n-1中的像素位置Pg的像素值是“Bgj”，那么利用下式12可获得帧#n中的覆盖背景区中的像素位置Pg的前景成分FEgcFEgc＝DPg-αc·Bgj ...(12)此外，与覆盖背景区中的前景成分FEgc的情况相同，还可获得未覆盖背景区中的前景成分FEgu。
例如，在帧#n中，如果假定帧#n+1中的像素位置P16的像素值是“B16k”，那么可由下式13来给出未覆盖背景区中的像素位置P16的像素值DP16DP16＝B16/v+F01/v+F02/v+F03/v+F04/v＝α16·B16k+F01/v+F02/v+F03/v+F04/v...(13)可由下式14来给出帧#n中的像素位置P16的前景成分FE16FE16＝F01/v+F02/v+F03/v+F04/v＝DP16-α16·B16k ...(14)也就是说，如果假定帧#n+1中的像素位置Pg的像素值是“Bgk”，那么利用下式15可获得帧#n中的未覆盖背景区中的像素位置Pgu的前景成分FEguFEgu＝DPg-αu·Bk ...(15)分离部分431由此通过利用图像数据DVa、区域标识部分41所产生的区域信息AR、以及混合比计算部分所计算的混合比α可使前景成分与背景成分彼此相分离。
开关部分432根据区域信息AR来进行开关控制，从而从图像数据DVa中选择运动区中的像素的数据并且将其提供给合成部分434。开关部分433根据区域信息AR来进行开关控制，从而从图像数据DVa中选择静止区中的像素的数据并且将其提供给合成部分435。
合成部分434通过利用分离部分431所提供的前景对象成分以及开关部分432所提供的运动区的数据来对前景成分图像数据DBe进行合成，并且将其提供给运动模糊调节部分44。此外，在首先所执行的以产生前景成分图像数据DBe的初始化过程中，合成部分434将像素值全为0的原始数据存储在内置帧存储器中，并且用图像数据改写该原始数据。因此，与背景区相对应的部分将是原始数据的状态。
合成部分435通过利用分离部分431所提供的背景成分以及开关部分433所提供的静止区的数据来对背景成分图像数据DBb进行合成，并且将其提供给输出部分45。此外，在首先所执行的以产生背景成分图像数据DBb的初始化过程中，合成部分435将像素值全为0的图像存储在内置帧存储器中，并且用图像数据改写该原始数据。因此，与前景区相对应的部分将是原始数据的状态。
图14给出了运动模糊调节部分44的结构方框图。将运动矢量检测部分30所提供的运动矢量MVC提供给调节处理单元确定部分441以及建模部分442。将区域标识部分41所提供的区域信息AR提供给调节处理单元确定部分441。将前景/背景分离部分43所提供的前景成分图像数据DBe提供给补加部分444。
调节处理单元确定部分441根据区域信息AR和运动矢量MVC，将前景成分图像中的排列在从覆盖背景区朝向未覆盖背景区的运动方向上的连续像素设置为调节处理单元。或者，它将排列在从未覆盖背景区朝向覆盖背景区的运动方向上的连续像素设置为调节处理单元。它将表示所设置的调节处理单元的调节处理单元信息HC提供给建模部分442以及补加部分444。图15给出了在例如将图9的帧#n中的每个像素位置P13-P25设置为调节处理单元的情况下的调节处理单元。值得注意的是，如果运动方向与横向或者纵向方向不同，那么通过在调节处理单元确定部分441中执行仿射变换而可将运动方向改变为横向或者纵向方向，以按照与其是横向或者纵向方向之一的情况相同的方式来执行处理。
建模部分442根据运动矢量MVC以及所设置的调节处理单元信息HC来执行建模。在该建模过程中，预先存储与包含在调节处理单元之中的像素数目、图像数据Dva在时间方向上的虚拟划分数目、以及像素特定的前景成分的像素数目相对应的多个模型，以便可根据调节处理单元以及像素值的时间方向上的虚拟划分数目来选择用于指定图像数据Dva与前景成分之间的相关性的模型MD。
建模部分442将所选择的模型MD提供给等式产生部分443。等式产生部分443根据建模部分442所所提供的模型MD而产生一等式。如上所述，假定调节处理单元是帧#n中的像素位置P13-P25、运动量是“五个像素”、并且虚拟划分数目是“五”，那么可由下式16-28来表示处于调节处理单元之内的像素位置C01上的前景成分FE01以及各个像素位置C02-C13上的前景成分FE02-FE13FE01＝F01/v...(16)FE02＝F02/v+F01/v ...(17)FE03＝F03/v+F02/v+F01/v...(18)FE04＝F04/v+F03/v+F02/v+F01/v ...(19)FE05＝F05/v+F04/v+F03/v+F02/v+F01/v...(20)FE06＝F06/v+F05/v+F04/v+F03/v+F02/v...(21)FE07＝F07/v+F06/v+F05/v+F04/v+F03/v...(22)FE08＝F08/v+F07/v+F06/v+F05/v+F04/v...(23)FE09＝F09/v+F08/v+F07/v+F06/v+F05/v...(24)
FE10＝F09/v+F08/v+F07/v+F06/v ...(25)FE11＝F09/v+F08/v+F07/v ...(26)FE12＝F09/v+F08/v ...(27)FE13＝F09/v ...(28)等式产生部分443改变所产生的等式以产生新的等式。等式产生部分443产生了下列等式29-41FE01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(29)FE02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(30)FE03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(31)FE04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(32)FE05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(33)FE06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v+0·F09/v...(34)FE07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v+0·F09/v...(35)FE08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+0·F09/v...(36)FE09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(37)FE10＝0·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(38)FE11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v+1·F09/v...(39)FE12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v
+0·F06/v+0·F07/v+1·F08/v+1·F09/v...(40)FE13＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+1·F09/v...(41)还可在下列等式42中表示这些等式29-41FEj=Σi=0109aij·Fi/v---(42)]]>在等式42中，“j”表示调节处理单元中的像素位置。在该示例中，j采用值1-13中的任何一个。此外，“i”表示前景成分的位置。在该示例中，i采用值1-9中的任何一个。根据i和j的值，aij采用值0和1中的任何一个。
考虑到误差，等式42可由下列等式43来表示FEj=Σi=0109aij·Fi/v+ej---(43)]]>在等式43中，ej表示包含在目标像素Cj之中的误差。可将等式43改写成下列等式44ej=FEj-Σi=0109aij·Fi/v---(44)]]>为了应用最小平方法，将该误差的平方和E定义为如下列等式45所给出的E=Σj=0113ej2---(45)]]>为了将误差降低到最小，使由于用于误差的平方和E的变量Fk所造成的偏微分值为0，以便可获得Fk以使其满足下列等式46∂E∂Fk=2·Σj=0113ej·(∂ej/∂Fk)]]>=2·Σj=0113((FEj-Σi=0109aij·Fi/v)·(-akj/v))=0---(46)]]>在等式46中，运动量v是固定的，以便可获得下列等式47Σj=0113akj·(FEj-Σi=0109aij·Fi/v)=0---(47)]]>
展开等式47并对其进行移项以提供下列等式48Σj=0113(akj·Σi=0109aij·Fi)=v·Σj=0113akj·FEj---(48)]]>通过用整数1-9中的任何一个代替其中的k而将等式48扩展为九个等式。接着通过利用一个矩阵而可将所获得的这九个等式表示为一个等式。该等式被称为标准方程。
下列等式49给出了等式产生部分443根据最小平方法所产生的标准方程的一个示例543210000454321000345432100234543210123454321012345432001234543000123454000012345·F01F02F03F04F05F06F07F08F09=v·Σi=0105FEiΣi=0206FEiΣi=0307FEiΣi=0408FEiΣi=0509FEiΣi=0610FEiΣi=0711FEiΣi=0812FEiΣi=0913FEi---(49)]]>如果将等式49表示为A·F＝v·FE，那么处于建模时间点上的A和v是已知的。此外，通过在补加过程中输入像素值可得知FE，留下F是未知的。
由此通过利用基于最小平方法的标准方程可计算前景成分F，因此可消除包含在像素值FE之中的误差。等式产生部分443将由此所产生的标准方程提供给补加部分444。
补加部分444根据调节处理单元确定部分441所提供的调节处理单元信息HC，将前景成分图像数据DBe设置到等式产生部分443所提供的行列式中。此外，补加部分444向计算部分445提供其内设置有图像数据的行列式。
计算部分445计算下述前景成分Fi/V以产生其内的运动模糊已减轻的前景的像素值F01-F09，在所述前景成分中通过根据诸如消除法(sweeping out)(高斯约旦消除)这样的求解方法来执行处理而已减轻了运动模糊。通过利用调节处理单元的中心作为基准对像素值F01-F09的图像位置进行设置，在例如一个帧周期的半阶段时将由此所产生的这些像素值F01-F09提供给输出部分45，以便使前景成分图像位置不会改变。也就是说，如图16所示，利用像素值F01-F09作为像素位置C03-C11的图像数据的各个项，可在一个帧周期的1/2时间时将其内的运动模糊已减轻的前景成分图像的图像数据DVafc提供给输出部分45。
应当注意的是，如果给出了偶数个像素值，例如当获得了像素值F01-F08时，计算部分445输出中央的两个像素值F04和F05中的任何一个作为调节处理单元的中心。此外，如果因为执行快门操作而使一个帧内的曝光时间比一个帧周期要短，那么在曝光时间的半阶段时将其提供给输出部分45。
输出部分50将运动模糊调节部分44所提供的前景成分图像数据DBf组合到运动模糊减轻对象图像产生部分40中的前景/背景分离部分43所提供的背景成分图像数据DBb中，以产生图像数据DVout并将其输出。在这种情况下，将其内的运动模糊已减轻的前景成分图像组合到与运动矢量检测部分30所检测的运动矢量MVC相对应的空间-时间位置上。也就是说，将运动模糊已减轻的前景成分图像组合到处理区域信息HZ所表示的、根据运动矢量MVC所设置的位置上，可在产生运动模糊减轻图像之前将所适当设置的运动模糊已减轻的前景成分图像输出到一图像位置上。
因此，可在对运动对象进行追踪时对运动对象执行运动模糊减轻处理，从而产生运动模糊已减轻的图像中的运动对象的运动模糊减轻图像。
此外，在一图像的处理区域中，假定当运动对象根据运动矢量运动时在时间方向上对下述每个像素的像素值进行积分，所述每个像素中不存在有与运动对象相对应的运动模糊，则执行建模，以提取前景对象成分与背景对象成分之间的混合比作为重要信息，从而通过利用重要信息而使运动对象的成分分离，以根据已分离的运动对象的成分来准确地减轻运动模糊。
同时，还可通过利用软件来减轻运动模糊。作为用于对图像进行处理的装置的另一结构，图17给出了通过利用软件来减轻运动模糊这样一种情况。中央处理单元(CPU)61根据存储在只读存储器(ROM)62或者存储部分63之中的程序来执行各种处理。该存储部分63是由例如硬盘组成的以存储CPU61所执行的程序以及各类数据。随机存取存储器(RAM)64适当地存储在对CPU61所执行的程序或者备类数据进行处理时所使用的数据等。CPU61、ROM62、存储部分63、以及RAM64通过总线65而彼此相连。
输入接口部分66、输出接口部分67、通信部分68、以及驱动器69通过总线65与CPU61相连。诸如键盘、指示设备(例如鼠标)、或者扩音器之类的输入设备与输入接口66相连。另一方面，诸如显示器或者扩声器这样的输出设备与输出接口部分67相连。CPU61根据通过输入接口部分66所输入的命令而执行各类处理。此后，CPU61通过输出接口部分67而输出由于该处理所获得的图像、语音等等。通信部分68通过互联网或者任何其他网络与外部设备进行通信。通信部分68用于接收从图像传感器10所输出的图像数据DVa、获取程序等等。当将磁盘、光盘、磁光盘、或者半导体存储器装配在驱动器69上时，驱动器69驱动它以获取记录在其上或其内的程序或数据。根据需要，将所获取的程序或数据传送到存储部分63以将其存储在其中。
下面参考图18的流程图对用于处理图像的装置的操作进行描述。在步骤ST1，CPU 61通过输入部分、通信部分等获取图像传感器10所产生的图像数据DVa，并且可使存储部分63将所获取的图像数据DVa存储在其中。
在步骤ST2，CPU 61按照来自外部的指令对处理区域进行设置。
在步骤ST3，CPU 61通过利用图像数据DVa来对与在步骤ST2所确定的处理区域中的前景相对应的运动对象OBf的运动矢量进行检测。
在步骤ST4，CPU 61获取曝光时间参数，并且处理转到步骤ST5，在步骤ST5中根据曝光时间参数来对在步骤ST3所检测的运动矢量进行校正，并且此后处理转到步骤ST6。
在步骤ST6，CPU 61根据所校正的运动矢量来执行运动模糊减轻物象产生处理以便减轻运动对象OBf中的运动模糊，并且产生运动对象中的运动模糊已减轻的图像数据。图19给出了用于运动模糊减轻物象的产生处理的流程图。
在步骤ST11，CPU61对在步骤ST2所确定的处理区域执行区域标识处理，以判断所确定的处理区域中的像素属于背景区、前景区、覆盖背景区、以及未覆盖背景区中的哪一个，从而产生区域信息。在区域信息的产生过程中，如果帧#n受到该处理，那么帧#n-2、#n-1、#n、#n+1、以及#n+2的图像数据用于计算其帧间绝对差值。根据帧间绝对差值是否大于预置阈值Th，判断其是包含在运动部分还是静止部分之中，并且根据该判断结果来执行区域判断，从而产生区域信息。
在步骤ST12，CPU61通过利用在步骤ST11所产生的区域信息执行混合比计算处理，以对处理区域中的每个像素计算表示包含背景成分的比率的混合比α，并且处理转到步骤ST13。在混合比α的计算过程中，对于覆盖背景区或未覆盖背景区中的像素而言，帧#n-1、#n、以及#n+1的像素值用于计算估算混合比αc。此外，对于背景区而言将混合比α设置为“1”，并且对于前景区而言将混合比α设置为“0”。
在步骤ST13，根据在步骤ST11所产生的区域信息以及在步骤ST12所计算的混合比α，CPU61执行前景/背景分离处理，以便使处理区域中的图像数据分离成仅由前景成分所组成的前景成分图像数据以及仅由背景成分所组成的背景成分图像数据。也就是说，它通过对帧#n中的覆盖背景区执行上述等式12的操作，并且对其中的未覆盖背景区执行上述等式15的操作，可获得前景成分，以使图像数据分离成前景成分图像数据以及仅由背景成分所组成的背景成分图像数据。
在步骤ST14，CPU61根据在步骤ST5所获得的校正后运动矢量以及在步骤ST11所产生的区域信息来执行运动模糊调节处理，以确定表示包含在前景成分图像数据之中的至少一个像素的调节处理单元，从而减轻包含在步骤ST13所分离的前景成分图像数据之中的运动模糊。也就是说，它根据运动矢量MVC、处理区域信息HZ、以及区域信息AR来设置调节处理单元，并且根据运动矢量MVC、以及所设置的调节处理单元来执行建模以产生标准方程。它将图像数据设置到所产生的标准方程，并且根据消除法(高斯消除法)在其上执行处理以产生运动模糊减轻物象的图像数据，也就是说产生运动模糊已减轻的前景成分图像数据。
在步骤ST7，CPU61对下述处理的结果执行输出处理以产生并输出作为该处理结果的运动模糊减轻图像的图像数据DVout，所述处理是由于在步骤ST13所分离的背景成分图像数据而对一图像执行将在步骤ST14所产生的运动模糊减轻前景成分图像数据组合到与在步骤ST5所获得的运动矢量相对应的空间-时间位置中。
在步骤ST8，CPU61判断运动模糊减轻处理是否应当结束。在这种情况下，如果要对下一帧的图像执行运动模糊减轻处理，那么处理回到步骤ST2，否则结束该处理。由此还可通过利用软件来执行运动模糊减轻处理。
虽然上述实施例获得了其运动模糊将要被减轻的对象的运动矢量，并且将包含有其运动模糊将要被减轻的对象的处理区域分离成静止区、运动区、混合区等，以通过利用运动区和混合区的图像数据来执行运动模糊减轻处理，但是无需对前景、背景、以及混合区进行标识即可通过获得每个像素的运动矢量来执行运动模糊减轻处理而减轻运动模糊。
在这种情况下，运动矢量检测部分30可获得目标像素的运动矢量并且将其提供给运动模糊减轻对象图像产生部分40。此外，它将表示目标像素的像素位置的处理区域信息HD提供给输出部分。
图20给出了无需对前景、背景、以及混合区进行标识即可减轻运动模糊的运动模糊减轻对象图像产生部分40a的结构。运动模糊减轻对象图像产生部分40a中的处理区域设置部分48按照下述方式对其运动模糊将要被减轻的图像上的目标像素设置处理区域，所述方式是使这个处理区域与该目标像素的运动矢量的运动方向对齐，并且此后处理区域设置部分将其通知给计算部分49。此外，它将目标像素的位置提供给输出部分45a。图21给出了这样一个处理区域，该处理区域被设置成以目标像素为中心在运动方向上具有(2N+1)个像素。图22给出了对处理区域进行设置的示例；如果相对于其运动模糊将要被减轻的运动对象OBf的像素而言运动矢量例如如箭头B所示横向延伸，那么如图22A所示将处理区域WA设置成横向。另一方面，如果运动矢量倾斜延伸，那么如图22B所示将处理区域WA设置成适当角度的方向。然而，为了倾斜地设置处理区域，必须通过插值法等获得与处理区域的像素位置相对应的像素值。
在这种情况下，在处理区域中，如图23所示，实际世界变量(Y-8，...，Y0，...，Y8)按照时间顺序(time-wise)混合。应当注意的是图23给出了这样一种情况，其中将运动量v设置成5(v＝5)，并且处理区域包括13个像素(N＝6，其中N是目标像素的处理宽度的像素数目)。
计算部分49对该处理区域执行实际世界估算，以仅输出所估算的实际世界的中心像素变量Y0作为其运动模糊已消除的目标像素的像素值。
在这里假定处理区域中的像素的像素值是X-N，X-N+1，...，X0，...，XN-1，XN，那么可建立诸如等式50所示的(2N+1)个混合等式。在该等式中，常数h表示通过使运动量乘以(1/2)所获得的整数部分的值(其小数位被舍去)。
Σi=t-ht+h(Yi/v)=xt---(50)]]>(t＝-N，··，0，··，N )然而，将要获得的有(2N+v)个实际世界变量(Y-N-h，Y0，YN+ h)。也就是说，等式数目小于变量数目，从而使得根据等式50不可能获得实际世界变量(Y-N-h，Y0，YN+h)。
因此，通过利用下列等式51而使等式数目增加以大于实际世界变量的数目，利用最小平方法可获得实际世界变量的值，其中所述等式51是使用空间相关的约束方程。
Yt-Yt+1＝0 ...(51)(t＝-N-h，...，0，...，N+h-1)也就是说，通过利用下述总共(4N+v)个等式可获得(2N+v)个未知的实际世界变量(Y-N-h，...，Y0，...，YN+h)，上述等式是通过将等式50所表示的(2n+1)个混合等式与等式51所表示的(2N+V-1)个约束方程累加在一起所获得的。
应当注意的是，通过按照使这些等式中所存在的误差的平方和最小化这样的方式来执行估算，当执行运动模糊减轻图像产生处理时可抑制实际世界中的像素值的波动。
下列等式52表示如图23所示对处理区域进行设置这样一种情况，其中将等式中所存在的误差添加到各个等式50和51上。
...(52)可将等式52变成等式53，以便获得如等式55所示的Y(Yi)，该Y可使等式54所给出的误差的平方和E最小。在等式55中，T表示转置矩阵。
AY＝X+e ...(53)E＝|e|2＝∑emi2+∑ebi2...(54)Y＝(ATA)-1ATX ...(55)应当注意的是，误差的平方和例如是由等式56给出的，以便通过对误差的平方和进行偏微分，使得偏微分值可以是如等式57所给出的0，因此可获得其可使误差的平方和最小化的等式55。
E＝(A·Y-X)T(A·Y-X)＝YT·AT·A·Y-2·YT·AT·X+XT·X ...(56)∂E∂Y=2(AT·A·Y-AT·X)=0---(57)]]>对等式55执行线性组合，可分别获得实际世界变量(Y-N-h，...，Y0，...，YN+h)，以输出中心像素变量Y0的像素值作为目标像素的像素值。例如，计算部分49存储预先为每个运动量所获得的矩阵(ATA)-1AT，并且根据与该运动量相对应的矩阵以及处理区域中的像素的像素值而将中心像素变量Y0的像素值输出作为目标值。对处理区域中的所有像素执行这种处理，可获得用户所指定的整个屏幕或整个区域的、其每一个之内的运动模糊已减轻的实际世界变量。
虽然上述实施例通过按照使AY＝X+e中的误差的平方和E最小化这样的方式使用最小平方法而获得了实际世界变量(Y-N-h，...，Y0，...，YN+h)，但是可给出下列等式58以便使等式数目等于变量数目。通过将等式表示为AY＝X并且将其改成Y＝A-1X，可获得实际世界变量(Y-N-h，...，Y0，...，YN+h)。
...(58)输出部分50a将运动模糊减轻对象图像产生部分40所获得的中心像素变量Y0的像素值带入目标像素的像素值。此外，如果因为表示出了背景区或者混合区而不能获得中心像素变量Y0，那么在执行运动模糊减轻图像的产生处理之前的目标像素的像素值用于产生图像数据DVout。
按照这种方式，即使每个像素来说运动对象的运动彼此不同，也可通过利用与目标像素相对应的运动矢量来估算实际世界，因此可执行准确的运动模糊减轻图像产生处理。例如，即使假定运动对象是刚性的，也可减轻运动对象的图像的运动模糊。
同时，在上述实施例中，减轻运动对象OBf的运动模糊以输出其图像，以便如图24所示即使当运动对象OBf按照图24A、24B、以及24C的顺序运动时，也可在对其进行追踪时减轻运动对象OBf的运动模糊，因此可输出其内的运动对象OBf的运动模糊已减轻的良好图像。然而或者，通过对图像的显示位置进行控制以便根据运动对象OBf使运动模糊减轻运动对象OBf的图像位于屏幕的预定位置上，可对该图像进行输出以便对运动对象OBf进行追踪。
在这种情况下，运动矢量检测部分30根据运动矢量MV使在区域选择信息HA所示区域中所设置的追踪点运动，以将表示这个运动之后的追踪点的坐标信息HG提供给输出部分50。输出部分50产生图像数据DVout以便使坐标信息HG所示的追踪点位于屏幕的预定位置上。由此可对图像进行输出，就好象对运动对象OBf正进行追踪一样。
此外，通过利用运动模糊减轻图像数据DVout产生扩展图像，可将扩展图像输出到时间方向上与运动矢量相对应的一位置上。也就是说，通过利用运动对象OBf作为参考，通过利用在区域选择信息HA所示区域中所设置的追踪点作为参考，并且按照使追踪点位于屏幕上预定位置的方式输出扩展图像，即使运动对象如图25A-25C所示进行运动，也可在如图25D-25F所示对运动对象OBf进行追踪时输出运动对象OBf的扩展图像。在这种情况下，因为对运动对象OBf的扩展图像进行显示以直至该图像的图像帧的大小，因此即使显示图像运动以便使追踪点位于屏幕的预定位置上，也可防止在屏幕上出现未显示部分。此外，通过使其内的运动模糊已减轻的像素的像素值重复可产生扩展图像。例如，通过使每个像素值重复两次，可产生其纵向和横向尺寸加倍的扩展图像。此外，通过使用相邻像素的平均值等作为新的像素值，可在相邻像素之间放置新的像素以产生扩展图像。此外，通过利用运动模糊减轻图像创建空间分辨率，可输出运动模糊更小的高清晰度扩展图像。下面对执行空间分辨率创建以产生扩展图像这样一种情况进行描述。
图26给出了用于对图像进行处理的装置的另一结构，通过此装置可执行空间分辨率创建以允许产生扩展图像。应该注意的是，在图26中与图5中的部件相对应的相似部件是由相似符号来表示的，因而省略对其的详细说明。
将运动矢量检测部分30所产生的坐标信息HG提供给空间分辨率创建部分70。此外，还将输出部分50所输出的运动模糊减轻图像的图像数据DVout提供给空间分辨率创建部分70。
图27给出了空间分辨率创建部分的结构。将运动模糊减轻图像数据DVout提供给空间分辨率创建部分70。
空间分辨率创建部分70包括类别分类部分71，用于对图像数据DVout的目标像素进行分类；预测系数存储器72，用于输出与类别分类部分71的分类结果相对应的预测系数；预测计算部分73，用于通过利用预测系数存储器72所输出的预测系数以及图像数据DVout来执行预测计算而产生插值像素数据DH；以及扩展图像输出部分74，用于根据运动矢量检测部分30所提供的坐标信息HG而读取空间分辨率创建之后的与显示像素一样多的图像，并且输出扩展图像的图像数据DVz。
将图像数据DVout提供给类别分类部分71中的类别像素组剪切部分711、预测计算部分73中的预测像素组剪切部分731、以及扩展图像输出部分74。类别像素组剪切部分711剪切掉为了表示运动程度而要进行类别分类(运动类别)所必需的像素。将类别像素组剪切部分711所剪切的像素组提供给类别值确定部分712。类别值确定部分712计算与类别像素组剪切部分711所剪切的像素组的像素数据有关的帧间差，并且例如通过对这些均值与多个预置阈值进行比较而对这些帧内差的绝对均值进行分类，从而确定类别值CL。
预测系数存储器72将预测系数存储在其中，并且将与类别分类部分71所确定的类别值CL相对应的预测系数KE提供给预测计算部分73。
预测计算部分73中的预测像素组剪切部分731剪切掉图像数据DVout当中的在预测计算中所使用的像素数据(即预测抽头)TP，并且将其提供给计算处理部分732。计算处理部分732通过利用预测系数存储器72所提供的预测系数KE以及预测抽头TP来执行一维线性操作，从而计算与目标像素相对应的插值像素数据DH，并且将其提供给扩展图像输出部分74。
扩展图像输出部分74通过从图像数据Dvout以及插值像素数据DH中读取与显示尺寸一样多的图像数据而产生扩展图像的图像数据DVz并将其输出，以便使基于坐标信息HG的位置可位于屏幕的预定位置上。
通过由此产生扩展图像并且利用所产生的插值像素数据DH以及图像数据DVout，可输出其中运动模糊已减轻的扩展高质量图像。例如，通过产生插值像素数据DH并且使横向和纵向像素数目加倍，可输出这样的其运动模糊已减轻的高质量图像以便使运动对象OBf的纵向和横向加倍。
应当注意的是可以通过利用图28所示的学习设备来创建存储在预测系数存储器72中的预测系数。在图28中，与图27中的部件相对应的相似部件是由相似符号来表示的。
学习设备75包括类别分类部分71、预测系数存储器72、以及系数计算部分76。将通过降低教师图像的像素数目所产生的学生图像的图像数据GS提供给类别分类部分71和系数计算部分76。
类别分类部分71通过利用类别像素组剪切部分711而从学生图像的图像数据GS中剪切掉类别分类所必需的像素，并且通过利用该组的像素数据来对所剪切的像素组进行分类，从而确定类别值。
系数计算部分76中的学生像素组剪切部分761从学生图像的图像数据GS中剪切掉在计算预测系数过程中所使用的像素数据，并且将其提供给预测系数学习部分762。
预测系数学习部分762通过利用教师图像的图像数据GT、来自学生像素组剪切部分761的图像数据、以及预测系数而为由类别分类部分71所提供的类别值所示的每个类别产生一标准方程。此外，它通过利用诸如消除法这样的一般矩阵解法而按照预测系数来对标准方程进行求解，并且将所获得的系数存储在预测系数存储器72中。
图29给出了对空间分辨率创建处理进行组合这样一种情况的操作流程图。
在步骤ST21，CPU61获取图像数据DVa，并且处理转到步骤ST22。
在步骤ST22，CPU61对处理区域进行设置，并且处理转到步骤ST23。
在步骤ST23，CPU61将变量i设置为0(i＝0)，并且处理转到步骤ST24。
在步骤ST24，CPU61判断变量i是否不等于0(i≠0)。如果不是i≠0，那么处理转到步骤ST25，并且如果i≠0，那么处理转到步骤ST29。
在步骤ST25，CPU61对与在步骤ST22所设置的处理区域有关的运动矢量进行检测，并且处理转到步骤ST26。
在步骤ST26，CPU61获取曝光时间参数，并且处理转到步骤ST27，在该步骤中根据曝光时间参数对在步骤ST25所检测的运动矢量进行校正，并且处理转到步骤ST28。
在步骤ST28，CPU61通过利用校正后运动矢量以及图像数据DVa来执行图19所示的运动模糊减轻物象产生处理，以产生运动对象的运动模糊减轻图像，并且处理转到步骤ST33。
在步骤ST33，CPU61产生了一处理结果，并且在与在步骤ST27所获得的运动矢量相对应的一空间-时间位置处将其中运动模糊已减轻的前景成分图像数据组合到背景成分图像数据中，从而作为该处理的结果产生图像数据DVout。
在步骤ST34，CPU61通过利用在步骤ST33所产生的图像数据DVout来执行空间分辨率创建处理，并且产生具有显示屏尺寸的扩展图像的图像数据DVz，以便使坐标信息HG所示的位置位于屏幕的固定位置上。
在步骤ST35，CPU61根据运动对象的运动而使处理区域运动，以对追踪后处理区域进行设置，并且处理转到步骤ST36。在追踪后处理区域的设置过程中，例如，检测并使用运动对象OBf的运动矢量MV。或者，使用在步骤ST25或ST29所检测的运动矢量。
在步骤ST36，CPU61将变量i设置为i+1(i＝i+1)，并且处理转到步骤ST37。
在步骤ST37，CPU61判断处理是否应当结束。如果在该步骤判断出处理不应当结束，那么处理回到步骤ST24。
如果处理从步骤ST37回到步骤ST24以使CPU61执行其处理，那么因为变量i不等于0(i≠0)而使处理转到步骤ST29，以在步骤ST29对与追踪后处理区域有关的运动矢量进行检测，并且处理转到步骤ST30。
在步骤ST30-ST32，CPU61执行与步骤ST26-ST28所执行的处理相同的处理，并且处理转到步骤ST33。CPU61重复从步骤ST33开始的处理。此后，如果图像数据DVa已结束或者执行停止操作，那么判断出操作已结束，从而结束处理。
应当注意的是，根据图29所示的处理，当根据在步骤ST33所产生的处理结果显示图像时，可获得图24所示的所显示图像。
由此，在对运动对象OBf追踪时可输出运动对象OBf的扩展图像。
工业实用性如上所述，本发明所涉及的用于处理图像的装置、用于处理图像的方法、以及其程序可用于减轻图像中的运动模糊，由此非常适用于减轻摄像机所拍摄的图像中的运动模糊。
权利要求
1.一种用于处理图像的装置，所述装置包括运动矢量检测装置，用于对与在下述多个图像中进行运动的一运动对象有关的运动矢量进行检测，并且对该运动对象进行追踪，其中所述多个图像的每一个均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的；运动模糊减轻对象图像产生装置，用于通过利用运动矢量检测装置所检测到的运动矢量产生运动模糊减轻对象图像，在该运动模糊减轻对象图像中减轻了多个图像的每一个图像中的运动对象中所存在的运动模糊；以及输出装置，用于将在运动模糊减轻对象图像产生装置中所产生的运动模糊减轻对象图像组合到每个图像中的与运动矢量相对应的空间-时间位置上，以将其输出为运动模糊减轻图像，其中所述运动矢量是由运动矢量检测装置所检测的。
2.根据权利要求1的用于处理图像的装置，其中运动矢量检测装置对下述目标像素进行设置，所述目标像素与时间上连续的至少第一图像和第二图像的任何一个中的运动对象的位置相对应，并且运动矢量检测装置通过利用第一和第二图像来对与目标像素相对应的运动矢量进行检测；并且其中输出装置将运动模糊减轻对象图像组合到所述图像之一中的目标像素的位置上或者与另一图像中的目标像素相对应的位置上，所述位置均与所检测的运动矢量相对应。
3.根据权利要求1的用于处理图像的装置，其中在图像的处理区域中，使运动模糊减轻对象图像产生装置成为一个模型，以便使其内未出现有与运动对象相对应的运动模糊的每个像素的像素值成为这样的值，该值是在像素对应于运动矢量运动时通过在时间方向上对像素值进行积分而获得的，并且运动模糊减轻对象图像产生装置根据该处理区域中的像素的像素值，产生这样的运动模糊减轻对象图像，在该运动模糊减轻对象图像中包含在处理区域中的运动对象的运动模糊已被减轻。
4.根据权利要求3的用于处理图像的装置，其中运动模糊减轻对象图像产生装置包括区域标识装置，用于对处理区域中的前景区、背景区、以及混合区进行标识，所述前景区仅是由构成了是运动对象的前景对象的前景对象成分所组成的，所述背景区仅是由构成了背景对象的背景对象成分组成的，并且所述混合区中混合有前景对象成分以及背景对象成分；混合比检测装置，用于对混合区中的前景对象成分和背景对象成分的混合比进行检测；分离装置，用于根据该混合比将该图像的至少一部分区域分离成前景对象和背景对象；以及运动模糊调节装置，用于根据运动矢量来减轻由分离装置所分离的前景对象的运动模糊。
5.根据权利要求3的用于处理图像的装置，其中运动矢量检测装置对于图像中的每个像素检测运动矢量；并且其中运动模糊减轻对象图像产生装置根据图像中的目标像素的运动矢量来设置处理区域，以便处理区域包括目标像素，并且根据目标像素的运动矢量以像素为单位输出其中目标像素的运动模糊已减轻的像素值。
6.根据权利要求1的用于处理图像的装置，进一步包括用于根据运动模糊减轻图像产生扩展图像的扩展图像产生装置，其中输出装置将扩展图像输出到时间方向上与运动矢量相对应的位置上。
7.根据权利要求6的用于处理图像的装置，其中扩展图像产生装置包括类别确定装置，用于从运动模糊减轻图像中提取与扩展图像中的目标像素相对应的多个像素作为类别抽头，并且根据该类别抽头的像素值来确定与目标像素相对应的类别；存储装置，用于存储预测系数，所述预测系数每个均用于从第一图像中的多个像素中预测出目标像素，所述多个像素与第二图像中的目标像素相对应，所述预测系数是通过在第一与第二图像之间对每个类别进行学习所获得的，所述第一图像具有与运动模糊减轻图像相对应的像素数目，并且所述第二图像具有比第一图像更多的像素数目；以及预测值产生装置，用于从存储装置中检测出其每个均与类别检测装置所检测的类别相对应的预测系数，从运动模糊减轻图像中提取与扩展图像中的目标像素相对应的多个像素作为预测抽头，并且根据从存储装置所检测的预测系数与预测抽头的一维线性组合而产生与目标像素相对应的预测值。
8.一种用于处理图像的方法，所述方法包括运动矢量检测步骤，用于对与在下述多个图像中进行运动的一运动对象有关的运动矢量进行检测，并且对该运动对象进行追踪，其中所述多个图像的每一个均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的；运动模糊减轻对象图像产生步骤，用于通过利用运动矢量检测步骤所检测到的运动矢量产生运动模糊减轻对象图像，在该运动模糊减轻对象图像中减轻了多个图像的每一个图像中的运动对象中所存在的运动模糊；以及输出步骤，用于将在运动模糊减轻对象图像产生步骤中所产生的运动模糊减轻对象图像组合到每个图像中的与运动矢量相对应的空间-时间位置上，以将其输出为运动模糊减轻图像，其中所述运动矢量是在运动矢量检测步骤所检测的。
9.根据权利要求8的用于处理图像的方法，其中运动矢量检测步骤对下述目标像素进行设置，所述目标像素与时间上连续的至少第一图像和第二图像的任何一个中的运动对象的位置相对应，并且运动矢量检测步骤通过利用第一和第二图像来对与目标像素相对应的运动矢量进行检测；并且其中输出步骤将运动模糊减轻对象图像组合到所述图像之一中的目标像素的位置上或者与另一图像中的目标像素相对应的位置上，所述位置均与所检测的运动矢量相对应。
10.根据权利要求8的用于处理图像的方法，其中在图像的处理区域中，使运动模糊减轻对象图像产生步骤成为一个模型，以便使其内未出现有与运动对象相对应的运动模糊的每个像素的像素值成为这样的值，该值是在像素对应于运动矢量运动时通过在时间方向上对像素值进行积分而获得的，并且运动模糊减轻对象图像产生步骤根据该处理区域中的像素的像素值，产生这样的运动模糊减轻对象图像，在该运动模糊减轻对象图像中包含在处理区域中的运动对象的运动模糊已被减轻。
11.根据权利要求10的用于处理图像的方法，其中运动模糊减轻对象图像产生步骤包括区域标识步骤，用于对处理区域中的前景区、背景区、以及混合区进行标识，所述前景区仅是由构成了是运动对象的前景对象的前景对象成分所组成的，所述背景区仅是由构成了背景对象的背景对象成分组成的，并且所述混合区中混合有前景对象成分以及背景对象成分；混合比检测步骤，用于对混合区中的前景对象成分和背景对象成分的混合比进行检测；分离步骤，用于根据该混合比将该图像的至少一部分区域分离成前景对象和背景对象；以及运动模糊调节步骤，用于根据运动矢量来减轻在分离步骤中所分离的前景对象的运动模糊。
12.根据权利要求10的用于处理图像的方法，其中运动矢量检测步骤对于图像中的每个像素检测运动矢量；并且其中运动模糊减轻对象图像产生步骤根据图像中的目标像素的运动矢量来设置处理区域，以便处理区域包括目标像素，并且根据目标像素的运动矢量以像素为单位输出其中目标像素的运动模糊已减轻的像素值。
13.根据权利要求8的用于处理图像的方法，进一步包括用于根据运动模糊减轻图像来产生扩展图像的扩展图像产生步骤，其中在输出步骤中将扩展图像输出到时间方向上与运动矢量相对应的位置上。
14.根据权利要求13的用于处理图像的方法，其中扩展图像产生步骤包括类别确定步骤，用于从运动模糊减轻图像中提取与扩展图像中的目标像素相对应的多个像素作为类别抽头，并且根据该类别抽头的像素值来确定与目标像素相对应的类别；存储步骤，用于存储预测系数，所述预测系数每个均用于从第一图像中的多个像素中预测出目标像素，所述多个像素与第二图像中的目标像素相对应，所述预测系数是通过在第一与第二图像之间对每个类别进行学习所获得的，所述第一图像具有与运动模糊减轻图像相对应的像素数目，并且所述第二图像具有比第一图像更多的像素数目；以及预测值产生步骤，用于对存储步骤中的、其每个均与类别检测步骤所检测的类别相对应的预测系数进行检测，从运动模糊减轻图像中提取与扩展图像中的目标像素相对应的多个像素作为预测抽头，并且根据从存储步骤所检测的预测系数与预测抽头的一维线性组合而产生与目标像素相对应的预测值。
15.一种可使计算机执行下述步骤的程序运动矢量检测步骤，用于对与在下述多个图像中进行运动的运动对象有关的运动矢量进行检测，并且对该运动对象进行追踪，其中所述多个图像的每一个均是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的；运动模糊减轻对象图像产生步骤，用于通过利用运动矢量检测步骤所检测到的运动矢量产生运动模糊减轻对象图像，在该运动模糊减轻对象图像中减轻了多个图像的每一个图像中的运动对象中所存在的运动模糊；以及输出步骤，用于将在运动模糊减轻对象图像产生步骤中所产生的运动模糊减轻对象图像组合到每个图像中的与运动矢量相对应的空间-时间位置上，以将其输出为运动模糊减轻图像，其中所述运动矢量是在运动矢量检测步骤所检测的。
全文摘要
有可能对图像中的运动对象进行追踪并且减轻运动对象的运动模糊。运动矢量检测单元(30)通过利用图像的图像数据DVa来对图像中的运动对象的运动矢量进行检测，其中所述图像是由多个像素所组成的且是通过具有时间积分效果的图像传感器所获取的。运动模糊减轻对象图像产生单元(40)利用所检测的运动矢量以便减轻图像中的运动对象中所产生的运动模糊，并且产生运动模糊减轻对象图像的图像数据DBf。输出单元(50)根据背景成分图像数据DBb而将运动模糊减轻对象图像的图像数据DBf组合到与图像中所检测到的运动矢量相对应的时间/空间位置上，并且产生运动模糊减轻图像的图像数据DVout。
文档编号G06T7/20GK1765124SQ200580000139
公开日2006年4月26日 申请日期2005年2月10日 优先权日2004年2月13日
发明者近藤哲二郎, 金丸昌宏 申请人:索尼株式会社