专利名称：图像处理装置、图像处理方法及程序的制作方法
技术领域：
本发明涉及一种用于处理图像的装置、方法、以及程序。更具体地说，它们通过利用由多个像素所组成的且由具有时间积分效果的图像传感器所获取的图像来对运动矢量进行检测，并且通过利用所检测的运动矢量以及由多个像素所组成的图像，它们产生了具有比该图像更高时间分辨率的图像。它们通过利用所检测的运动矢量还可减轻在图像中的运动对象中所存在的运动模糊。
背景技术：
根据诸如电视电影转换中的2-3下拉系统这样的传统帧速转换系统，周期地执行一系列的使影片一个帧的图像重复两次这样的处理以及使其重复三次这样的处理，以将帧速转换成另一帧速。如公开号为2002-199349的日本专利申请中所公开的，通过对于与具有转换前帧速的学生图像信号有关的特性的每个分类而言学习具有转换后帧速的教师图像信号与具有转换前帧速的相应学生图像信号之间的关系，以通过利用由于该学习所获得的预测系数来将具有转换前帧速的图像信号转换成具有转换后帧速的图像信号，可获得已实现了自然运动的高清晰度时间分辨率图像的信号。
同时，为了执行与这种帧速转换不同的图像处理，在某些情况下这些不同图像处理中需要运动矢量，以便如果为每个图像处理对运动矢量进行检测并使用该运动矢量，那么其需要复杂的结构。此外，如果未对图像处理中所使用的运动矢量进行适当检测，那么该图像处理将不能获得诸如已实现了自然运动的高清晰度图像这样的所期望图像。
发明内容
鉴于上述，为了通过利用运动矢量而有效地执行图像处理并且通过该图像处理而获得所期望的图像，本发明所涉及的用于对图像进行处理的装置包括运动矢量检测装置，用于通过利用由多个像素所组成的且通过具有时间积分效果的图像传感器所获取的图像来对运动矢量进行检测；时间分辨率创建装置，用于通过利用运动矢量检测装置所检测的运动矢量以及由多个像素所组成的图像而产生具有比由多个像素所组成的图像更高时间分辨率的图像；以及运动模糊减轻图像(motion-blurring-mitigated image)产生装置，在假定图像中的运动对象的像素的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值时，其中所述每个像素在对象运动时在其中不存在与运动对象相对应的运动模糊，该运动模糊减轻图像产生装置用于通过利用运动矢量检测装置所检测的运动矢量来产生其中减轻了运动对象的运动模糊的运动模糊减轻图像。
本发明所涉及的用于对图像进行处理的方法包括运动矢量检测步骤，用于通过利用由具有时间积分效果的图像传感器所获取的且由多个像素所组成的图像来对运动矢量进行检测；时间分辨率创建步骤，用于通过利用在运动矢量检测步骤中所检测的运动矢量以及由多个像素所组成的图像而产生具有比由多个像素所组成的图像更高时间分辨率的图像；以及运动模糊减轻图像产生步骤，在假定图像中的运动对象的像素的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值时，其中所述每个像素在对象运动时其中不存在与运动对象相对应的运动模糊，该步骤用于通过利用在运动矢量检测步骤所检测的运动矢量来产生其中减轻了运动对象的运动模糊的运动模糊减轻图像。
本发明所涉及的程序可使计算机执行下述步骤运动矢量检测步骤，用于通过利用由具有时间积分效果的图像传感器所获取的且由多个像素所组成的图像来对运动矢量进行检测；时间分辨率创建步骤，用于通过利用在运动矢量检测步骤中所检测的运动矢量以及由多个像素所组成的图像而产生具有比由多个像素所组成的图像更高时间分辨率的图像；以及运动模糊减轻图像产生步骤，在假定图像中的运动对象的像素的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值时，其中所述每个像素在对象运动时其中不存在与运动对象相对应的运动模糊，该步骤用于通过利用在运动矢量检测步骤所检测的运动矢量来产生其中减轻了运动对象的运动模糊的运动模糊减轻图像。
在本发明中，通过利用由多个像素所组成的且由具有时间积分效果的图像传感器所获取的图像来对运动矢量进行检测，以便可对具有高时间分辨率的图像的运动矢量进行检测。通过利用所检测的运动矢量以及由多个像素所组成的图像，可产生具有高时间分辨率的图像。此外，假定运动对象的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值，其中所述每个像素在对象运动时其中不存在与运动对象相对应的运动模糊，通过利用根据曝光时间所校正的运动矢量可减轻运动对象中所存在的运动模糊。此外，通过使运动模糊已减轻的运动模糊减轻图像作为由多个像素所组成的图像，可产生具有更高时间分辨率的图像。
根据本发明，通过利用由多个像素所组成的且由具有时间积分效果的图像传感器所获取的图像来对运动矢量进行检测，以便可使用所检测的运动矢量以及由多个像素所组成的图像以产生这样的图像，该图像具有比由多个像素所组成的图像更高的时间分辨率。此外，假定图像中的运动对象的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值，其中所述每个像素在对象运动时其中不存在与运动对象相对应的运动模糊，根据所检测的运动矢量可减轻运动对象中所存在的运动模糊。由此不必在产生具有高时间分辨率的图像的处理中以及减轻运动模糊的处理中分别执行单独的运动矢量检测，从而使得利用简单结构即可产生具有高时间分辨率的图像并且减轻运动模糊。
此外，通过利用运动模糊已减轻的运动模糊减轻图像来产生具有高时间分辨率的图像，以便可以抑制具有高时间分辨率的图像的运动模糊。
此外，通过利用其每一个均是由多个像素所组成的且由图像传感器所获取的多个图像来对运动矢量进行检测，并且在分配过程中使用这个所检测的运动矢量，以便可为具有高时间分辨率的图像产生运动矢量，从而适当地产生具有高时间分辨率的图像。此外，根据曝光时间对所检测的运动矢量进行校正，以便即使执行快门操作等，也可适当地减轻运动模糊。
此外，通过利用运动矢量检测装置所检测的运动矢量，可确定出所要产生的图像中的目标像素的运动矢量，从图像传感器所获取的图像中提取与目标像素相对应的多个像素作为类别抽头(class tap)，并且根据该类别抽头的像素值来确定与目标像素相对应的一个类别。此外，假定在具有与图像传感器所获取的图像相对应的时间分辨率的第一图像与具有比第一图像更高时间分辨率的第二图像之间，根据所确定的类别使用用于从与第二图像中的目标像素相对应的第一图像的多个像素中预测出目标像素的预测系数，从图像传感器所获取的图像中提取与所要产生的图像中的目标像素相对应的多个像素，并且通过对预测系数和预测抽头执行一维线性组合而产生与该目标像素相对应的一预测值，从而产生具有高时间分辨率的图像。这可获得其中已实现了自然运动的具有更高时间分辨率的高清晰度图像。
图1给出了本发明所应用的系统的结构方框图；图2给出了图像传感器所拍摄的图像的示意图；图3A和3B给出了所拍摄的图像的示意图；图4说明性地给出了像素值在时间方向上的划分操作的示意图；图5给出了用于对图像进行处理的装置的结构方框图；图6给出了运动矢量检测部分的结构方框图；图7给出了运动模糊减轻图像产生部分的结构方框图；
图8给出了区域标识部分的结构方框图；图9给出了从图像存储器中读出的图像数据的示意图；图10给出了区域判断处理的示意图；图11给出了混合比计算部分的结构方框图；图12给出了理想混合比的示意图；图13给出了前景/背景分离部分的结构方框图；图14给出了运动模糊调节部分的结构方框图；图15给出了调节处理单元的示意图；图16给出了运动模糊已减轻的像素值的位置示意图；图17给出了用于对图像进行处理的装置的另一结构示意图；图18给出了用于对图像进行处理的装置的操作流程图；图19给出了运动模糊减轻图像的产生处理的流程图；图20给出了运动模糊减轻图像产生部分的另一结构的方框图；图21给出了处理区域的示意图；图22A和22B的每一个均给出了用于对处理区域进行设置的一个示例的示意图；图23说明性地给出了处理区域中的实际世界变量在时间方向上的混合的示意图；图24A-24C的每一个均给出了对象进行运动这样一个示例的示意图；图25A-25F的每一个均给出了对对象进行追踪的已扩展的显示图像的示意图；图26给出了用于对图像进行处理的装置的又一结构的方框图；图27给出了空间分辨率创建部分的结构的方框图；图28给出了学习设备的结构方框图；图29给出了对空间分辨率创建处理进行组合的情况下的操作(前半部分)流程图；图30给出了在对空间分辨率创建处理进行组合的情况下的操作(后半部分)流程图；
图31给出了用于对图像进行处理的装置的又一结构方框图；图32给出了运动矢量检测部分的另一结构的方框图；图33说明性地给出了运动矢量分配处理；图34给出了时间分辨率创建部分的结构示意图；图35A和35B说明性地给出了时间模式值确定部分的每个操作；图36给出了类别像素组的示意图；图37说明性地给出了类别值确定处理；图38给出了时间分辨率创建处理的流程图；图39给出了抽头中心位置确定处理的流程图；图40给出了学习设备的结构方框图；图41给出了用于学习预测系数的处理流程图；图42给出了在对时间分辨率创建处理进行组合的情况下的操作流程图；以及图43给出了可进行区域选择的情况下的操作流程图。
具体实施例方式
下面参考附图对本发明的一个实施例进行描述。图1给出了本发明所应用的系统的结构方框图。由摄像机等所构成的图像传感器10对实际世界进行拍摄，所述图像传感器10装配有是固态图像感测设备的电荷耦合器件(CCD)区域传感器或者CMOS区域传感器。例如，如图2所示，当与前景相对应的运动对象OBf在图像传感器10和与背景相对应的对象OBb之间沿箭头方向“A”运动时，图像传感器10对与背景相对应的对象OBb以及与前景相对应的运动对象OBf进行拍摄。
该图像传感器10是由其每一个均具有时间积分效果的多个检测元件构成的，并且因此在曝光时间内对每个检测元件根据入射光所产生的电荷进行积分。也就是说，图像传感器10在将入射光转换成电荷的过程中执行光电转换，以便以一个帧周期为单位对其进行积聚。根据所积聚的电荷量，可产生像素数据，并且此后使用这个像素数据以产生具有期望帧速的图像数据DVa，并且将该数据提供给用于对图像进行处理的装置20。图像传感器10进一步具有快门功能，以便如果通过根据快门速度来调节曝光时间而产生了图像数据DVa，那么可向用于处理图像的装置20提供曝光时间参数HE，该参数表示曝光时间。这个曝光时间参数HE以例如“0”至“1.0”的值来表示一个帧周期中的快门打开时间，当不使用快门功能时将该值设置为1.0，并且当快门时间是帧周期的1/2时将该值设置为0.5。
用于处理图像的装置20提取由于在图像传感器10上施加的时间积分效果而掩藏在图像数据DVa中的重要信息，并且利用这个重要信息以减轻由于在与运动前景相对应的运动对象OBf上所产生的时间积分效果所造成的运动模糊。应当注意的是，向用于处理图像的装置20提供有区域选择信息HA，以用于选择其内的运动模糊已减轻的图像区域。
图3说明性地给出了图像数据DVa所给出的拍摄图像的示意图。图3A给出了通过对与运动前景相对应的运动对象以及与静止的背景相对应的对象OBb进行拍摄所获得的图像。在这里，假定与前景相对应的对象OBf在箭头方向“A”上横向运动。
图3B给出了沿着图3A中的虚线所示的线L的图像与时间之间的关系。在运动对象OBf沿着线L所运动的长度例如多达九个像素并且其在一个曝光时间内运动了多达五个像素的情况下，当曝光时间结束时，当帧周期开始时其位于像素位置P21的前端以及其位于像素位置P13的后端分别运动到像素位置P25和P17。此外，如果未使用快门功能，那么一个帧内的曝光时间与一个帧周期相等，以便当下一帧周期开始时，其前端和后端分别位于像素位置P26和P18。为了简单说明起见，假定除非另有规定否则不使用快门功能。
因此，在沿着线L的帧周期中，位于像素位置P12之前的部分以及位于像素位置P26之后的部分构成了仅是由背景成分所组成的背景区。此外，位于像素位置P17-P21之间的部分构成了仅是由前景成分所组成的前景区。位于像素位置P13-P16之间的部分以及位于像素位置P22-P25之间的部分各自均构成了混合有前景成分和背景成分的混合区。将混合区分成随着时间的流逝而由前景覆盖了背景成分的覆盖背景区、以及随着时间的流逝而呈现出背景成分的未覆盖背景区。应当注意的是，在图3B中，在前景对象前进的方向上位于前景对象前端侧上的混合区是覆盖背景区，并且位于其后端侧上的混合区是未覆盖背景区。因此，图像数据DVa包含有这样的图像，即该图像包括一前景区、一背景区、一覆盖背景区、或者一未覆盖背景区。
应当注意的是，一个帧在时间上是很短的，以便在与一前景相对应的运动对象OBf是刚性的并且以相同速度运动的假定之下，如图4所示，一个曝光时间之内的像素值受到时间方向上的划分，以使其除以虚拟划分数目而划分为相等的时间间隔。
根据与前景相对应的运动对象在一个帧周期中的运动量v来设置虚拟划分数目。例如，如果一个帧周期中的运动量v如上所述是五个像素，那么根据运动量v而将虚拟划分数目设置为“5”，以将一个帧周期划分成五个相等的时间间隔。
此外，在一个帧周期中，假定在对与背景相对应的对象OBb进行拍摄时所获得的像素位置Px的像素值为Bx，并且假定在对与前景相对应的且沿着线L具有九个像素长度的运动对象OBf进行静止拍摄时所获得的像素的像素值为F09(前端侧)至F01(后端侧)。
在这种情况下，例如，由等式1给出像素位置P15的像素值DP15DP15＝B15/v+B15/v+F01/v+F02/v+F03/v...(1)这个像素位置P15包含有两个划分虚拟时间(帧周期/v)的背景成分以及三个划分虚拟时间的前景成分，从而使背景成分的混合比α是2/5。类似的，例如，像素位置P22包含有一个划分虚拟时间的背景成分以及四个划分虚拟时间的前景成分，从而使混合比α是1/5。
因为假定与前景相对应的运动对象是刚性的并且以相同速度运动以便可在下一帧向右五个像素来显示前景的图像，因此例如第一划分虚拟时间中的像素位置P13的前景成分(F01/v)分别与第二划分虚拟时间中的像素位置P14的前景成分、第三划分虚拟时间中的像素位置P15的前景成分、第四划分虚拟时间中的像素位置P16的前景成分、以及第五划分虚拟时间中的像素位置P17的前景成分相同。第一划分虚拟时间中的像素位置P14的前景成分(F02/v)至第一划分虚拟时间中的像素位置P21的前景成分(F09/v)与前景成分(F01/v)的情况完全相同。
因此，可通过使用等式2中所示出的混合比α来给出每个像素位置的像素值DP。在等式2中，“FE”表示前景成分的总和。
DP＝α·B+FE...(2)因为前景成分这样运动，因此在一个帧周期中将不同前景成分彼此相加，以便使与运动对象相对应的前景区包含有运动模糊。因此，用于处理图像的装置20提取混合比α作为掩藏在图像数据DVa中的重要信息，并且使用该混合比α产生这样的图像数据DVout，在该图像数据DVout中与前景相对应的运动对象OBf的运动模糊已减轻。
图5给出了用于对图像进行处理的装置20的结构方框图。将提供给装置20的图像数据DVa依次提供给运动矢量检测部分30以及运动模糊减轻图像产生部分40。此外，将区域选择信息HA和曝光时间参数HE提供给运动矢量检测部分30。此外，将随后所描述的从存储器55所读出的图像数据DVm提供给运动矢量检测部分30。运动矢量检测部分30根据区域选择信息HA来顺序地提取要受到运动模糊减轻处理的处理区域。它还通过利用图像数据DVa或者图像数据DVm的处理区域中的图像数据来对与处理区域中的运动对象相对应的运动矢量MVC进行检测，并且将其提供给运动模糊减轻图像产生部分40。例如，它对与在时间上连续出现的至少第一和第二图像的任何一个中的运动对象的位置相对应的目标像素进行设置，以通过利用第一和第二图像来对与该目标像素相对应的运动矢量进行检测。此外，它产生了表示处理区域的处理区域信息HZ并且将该信息提供给运动模糊减轻图像产生部分40。此外，它根据前景中对象的运动来更新区域选择信息HA，以使处理区域随着运动对象的运动而运动。
运动模糊减轻图像产生部分40根据动作矢量MV、处理区域信息HZ、以及图像数据Dva来指定一区域或者计算混合比，并且使用所计算的混合比将前景成分与背景成分彼此相分离。此外，它对所分离的前景成分的图像执行运动模糊调节以产生前景成分图像数据DBf，该前景成分图像数据DBf是运动模糊减轻对象图像的图像数据。此外，它将基于前景成分图像数据DBf的运动模糊减轻前景区图像组合到基于背景成分图像数据DBb的背景图像中以产生运动模糊减轻图像的图像数据DVout。将该图像数据DVout提供给存储器55以及未示出的图像显示装置。在这种情况下，能够将是运动模糊减轻对象图像的前景区图像组合到与所检测的运动矢量MVC相对应的空间-时间位置上，以向沿着运动对象轨迹的一位置输出运动对象的运动模糊减轻图像。也就是说，当通过利用在时间上连续出现的至少第一和第二图像来对运动矢量进行检测时，将运动对象的运动模糊减轻图像组合到一个图像中的与所检测的运动矢量相对应的一目标像素的位置上或者组合到与另一图像中的一目标像素相对应的位置上。
图6给出了运动矢量检测部分30的结构方框图。将区域选择信息HA提供给处理区域设置部分31。此外，将图像数据DVa和从存储器55所读出的图像数据DVm提供给图像数据检测部分32。此外，将曝光时间参数HE提供给运动矢量校正部分34。
处理区域设置部分31根据区域选择信息HA顺序地提取要受到运动模糊减轻处理的处理区域，并且将表示处理区域的处理区域信息HZ提供给检测部分33和运动模糊减轻图像产生部分40。此外，它利用随后所描述的由检测部分33所检测的运动矢量MVO来更新区域选择信息HA，从而可按照下述方式来对运动模糊已减轻的图像区域进行追踪，所述方式是使其满足运动对象的运动。
图像数据选择部分32将图像数据DVa提供给检测部分33，直到能够通过利用从存储器55所读出的图像数据DVm来对运动矢量MV进行检测为止，并且当能够通过利用从存储器55所读出的图像数据DVm对运动矢量进行检测时，它将从存储器55所读出的图像数据DVm提供给检测部分33。
检测部分33使用例如块匹配法、梯度法、相位相关法、Pel递归算法等对处理区域信息HZ所表示的处理区域执行运动矢量检测，并且将所检测的运动矢量MV提供给运动矢量校正部分34。或者，检测部分33从多个时间方向上的外围帧的图像数据中检测出在区域选择信息HA所示区域中所设置的追踪点的外围，例如检测出具有与区域选择信息HA所示区域相同的图像特征量的区域(一个或多个)，从而计算追踪点处的运动矢量MV并且将其提供给处理区域设置部分31。
检测部分33所输出的运动矢量MV包含有与运动量(标准)以及运动方向(角度)相对应的信息。该运动量是指这样的值，该值表示与运动对象相对应的图像的位置变化。例如，如果与一前景相对应的运动对象OBf在紧接着作为参考的某个帧之后的一帧中在横向上运动了move-x并且在纵向上运动了move-y，那么通过等式3可获得其运动量。通过等式4还可获得其运动方向。向一个处理区域仅提供一对运动量和运动方向。
运动方向＝tan-1(move-y/move-x)...(4)运动矢量校正部分34利用曝光时间参数HE来对运动矢量MV进行校正。提供给运动矢量校正部分34的运动矢量MV是如上所述的帧间(inter-frame)运动矢量。然而，利用帧内(intra-frame)运动矢量来对随后所描述的运动模糊减轻图像产生部分40所使用的运动矢量进行处理，使得如果当因为使用快门功能而使一个帧内的曝光时间比一个帧周期短时使用帧间运动矢量，那么不能正确地执行运动模糊减轻处理。因此，将按照曝光时间与一个帧周期的比例所校正的、是帧间运动矢量的运动矢量MV作为运动矢量MVC提供给运动模糊减轻图像产生部分40。
图7给出了运动模糊减轻图像产生部分40的结构方框图。区域标识部分41产生下述信息(以下简称为“区域信息”)AR并且将其提供给混合比计算部分42、前景/背景分离部分43、以及运动模糊调节部分44，其中所述信息表示根据图像数据DVa所显示的图像中的处理区域信息HZ所示的处理区域中的每个像素属于前景区、背景区、以及混合区中的哪一个。
混合比计算部分42根据图像数据DVa以及从区域标识部分41提供的区域信息AR来计算混合区中的背景成分的混合比，并且将所计算的混合比提供给前景/背景分离部分43。
前景/背景分离部分43根据区域标识部分41所提供的区域信息AR以及混合比计算部分42所提供的混合比α，将图像数据DVa分离成仅由前景成分所组成的前景成分图像数据DBe以及仅由背景成分所组成的背景成分图像数据DBb，并且将前景成分图像数据DBe提供给运动模糊调节部分44。
运动模糊调节部分44根据运动矢量MVC所示的运动量以及区域信息AR来确定调节处理单元，所述调节处理单元表示包含在前景成分图像数据DBe之中的至少一个像素。调节处理单元是用于对要受到运动模糊减轻处理的一组像素进行指定的数据。
运动模糊调节部分44根据前景/背景分离部分43所提供的前景成分图像、运动矢量检测部分30所提供的运动矢量MVC和其区域信息AR、以及调节处理单元来减轻包含在前景成分图像数据DBe之中的运动模糊。它将这个运动模糊减轻的前景成分图像数据DBf提供给输出部分45。
图8给出了区域标识部分41的结构方框图。图像存储器411以帧为单位存储所输入的图像数据DVa。如果将要处理帧#n，则图像存储器411存储在时间上出现于帧#n之前两个帧的帧#n-2、出现于帧#n之前一个帧的帧#n-1、帧#n、出现于帧#n之后一个帧的帧#n+1、以及出现于帧#n之后两个帧的帧#n+2。
静止/运动判断部分412从图像存储器411中读取与帧#n的处理区域信息HZ所指定的区域相同的区域中的帧#n-2、#n-1、#n+1、以及#n+2的图像数据，并且计算所读出的图像数据项之间的帧间绝对差值。它根据这个帧间绝对差值是否高于预置阈值Th来判断是运动部分或者静止部分中的哪一个，并且将表示该判断结果的静止/运动判断信息SM提供给区域判断部分413。
图9给出了从图像存储器411所读取的图像数据。应当注意的是图9给出了这样一种情况，即读取沿着处理区域信息HZ所示区域中的一行的像素位置P01-P37的图像数据。
静止/运动判断部分412获得两个连续帧的每个像素的帧间绝对差值，判断帧间绝对差值是否高于预置阈值Th，并且如果帧间绝对差值高于阈值Th，那么判定其是“运动的”，或者如果不高于阈值Th，那么判定其是“静止的”。
区域判断部分413通过利用在静止/运动判断部分412处所获得的判断结果来执行图10所示的区域判断处理，以判断处理区域信息HZ所标识的区域的每个像素是属于静止区、覆盖背景区、未覆盖背景区、以及运动区中的哪一个。
例如，首先，对于作为对帧#n-1和#n的静止/运动判断的结果而被判定为静止的像素，判定这种像素是静止区的像素。此外，对于作为对帧#n和#n+1的静止/运动判断的结果而被确定为静止的像素，也判定这种像素是静止区的像素。
接下来，对于作为对帧#n-2和#n-1的静止/运动判断的结果而被判定为静止但是作为对帧#n-1和#n的静止/运动判断的结果而被判定为运动的像素，判定该像素是覆盖背景区的像素。此外，对于作为对帧#n和#n+1的静止/运动判断的结果而被判定为运动但是作为对帧#n+1和#n+2的静止/运动判断的结果而被判定为静止的像素，判定该像素是未覆盖背景区的像素。
此后，对于作为对帧#n-1和#n的静止/运动判断以及对帧#n和#n+1的静止/运动判断的结果而被确定为是运动的像素，判定这种像素是运动区的像素。
应当注意的是存在这样一些情况，即，即使背景成不被包含在其之中，位于覆盖背景区中的运动区侧上或者位于未覆盖背景区中的运动区侧上的像素也被分别确定为是覆盖背景区或者未覆盖背景区。例如，作为对帧#n-2和#n-1的静止/运动判断的结果而判定图9中的像素位置P21是静止的，但是作为对帧#n-1和#n的静止/运动判断的结果而判定该像素位置P21是运动的，并且因此即使背景成分不被包含在其中，也可判定其是覆盖背景区。作为对帧#n和#n+1的静止/运动判断的结果而判定另一像素位置P17是运动的，但是作为对帧#n+1和#n+2的静止/运动判断的结果而判定该像素位置P17是静止的，并且因此即使背景成分不被包含在其中，也可判定其是未覆盖背景区。因此，将位于覆盖背景区中的运动区侧上的每个像素以及位于未覆盖背景区中的运动区侧上的每个像素校正成运动量区域的像素，可准确地执行对每个像素的区域判断。通过这样执行区域判断，可产生表示每个像素属于静止区、覆盖背景区、未覆盖背景区、以及运动区中的哪一个的区域信息AR，并且将其提供给混合比计算部分42、前景/背景分离部分43、以及运动模糊调节部分44。
应当注意的是，区域标识部分41可采用未覆盖背景区的区域信息与覆盖背景区的区域信息的逻辑和，从而产生混合区的区域信息，以便使区域信息AR可表示每个像素属于静止区、混合区、以及运动区中的哪一个。
图11给出了混合比计算部分42的结构方框图。估算混合比处理部分421通过根据图像数据DVa，对覆盖背景区执行操作来计算每个像素的估算混合比αc，并且将所计算的估算混合比αc提供给混合比确定部分423。另一估算混合比处理部分422通过根据图像数据DVa对未覆盖背景区执行操作来计算每个像素的估算混合比αu，并且将所计算的估算混合比αu提供给混合比确定部分423。
混合比确定部分423根据估算混合比处理部分421、422所分别提供的估算混合比αc和αu以及区域标识部分41所提供的区域信息AR来设置背景成分的混合比α。如果目标像素属于运动区，那么混合比确定部分423将混合比α设置为0(α＝0)。另一方面，如果目标像素属于静止区，那么将混合比设置为1(α＝1)。如果目标像素属于覆盖背景区，那么将估算混合比处理部分421所提供的估算混合比αc设置为混合比α；并且如果目标像素属于未覆盖背景区，那么将估算混合比处理部分422所提供的估算混合比αu设置为混合比α。将这样设置的混合比α提供给前景/背景分离部分43。
在这里，如果帧周期很短，并且因此假定与前景相对应的运动对象是刚性的并且在该帧周期中以相同速度运动，那么属于混合区的像素的混合比α根据像素位置的变化而线性地变化。在这种情况下，如图12所示，混合区中的理想混合比α的梯度θ可被表示为与前景相对应的运动对象的帧周期中的运动量的倒数。也就是说，混合比α在静止区中具有值“1”，在运动区中具有值“0”，并且在混合区中在“0”至“1”的范围内变化。
在帧#n-1中的像素位置P24的像素值是B24的假定之下，可由下列等式5来表示图9所示的覆盖背景区中的像素位置P24的像素值DP24DP24＝3B24/v+F08/v+F09/v=3/v·B24+Σi=0809Fi/v...(5)]]>该像素值DP24包含有3/v的背景成分，以便当运动量v是“5”(v＝5)时的混合比α是3/5(α＝3/5)。
也就是说，可由下式6来表示覆盖背景区中的像素位置Pg的像素值Dgc。应当注意的是，“Bg”表示帧#n-1中的像素位置Pg的像素值，并且“FEg”表示像素位置Pg处的前景成分的总和。
Dgc＝αc·Bg+FEg ...(6)此外，如果假定具有像素值Dgc的像素位置处的帧#n+1中的像素值是Fg并且该像素位置处的Fg/v的值均彼此相同，则FEg＝(1-αc)Fg。也就是说，可将等式6变成下列等式7Dgc＝αc·Bg+(1-αc)Fg ...(7)可将等式7变成下列等式8αc＝(Dgc-Fg)/(Bg-Fg)...(8)在等式8中，Dgc、Bg、以及Fg是已知的，以便估算混合比处理部分421通过利用帧#n-1、#n、以及#n+1的像素值可获得覆盖背景区中的像素的估算混合比αc。
此外，就未覆盖背景区而言，与覆盖背景区的情况相类似，如果假定未覆盖背景区中的像素值是DPu，那么可获得下列等式9αu＝(Dgu-Bg)/(Fg-Bg) ...(9)在等式9中，Dgu、Bg、以及Fg是已知的，以便估算混合比处理部分422通过利用帧#n-1、#n、以及#n+1的像素值可获得未覆盖背景区中的像素的估算混合比αu。
如果区域信息AR表示静止区，那么混合比确定部分423将混合比α设置为1(α＝1)，并且如果其表示运动区，那么将该比率设置为0(α＝0)，然后输出该比率。此外，如果区域信息AR表示覆盖背景区或者未覆盖背景区，那么分别输出估算混合比处理部分421所计算的估算混合比αc或者估算混合比处理部分422所计算的估算混合比αu作为混合比α。
图13给出了前景/背景分离部分43的结构方框图。将提供给前景/背景分离部分43的图像数据DVa以及区域标识部分41所提供的区域信息AR提供给分离部分431、开关部分432、以及另一开关部分433。将混合比计算部分42所提供的混合比α提供给分离部分431。
根据区域信息AR，分离部分431从图像数据DVa中分离出覆盖背景区和未覆盖背景区中的像素的数据。根据所分离的数据以及混合比α，它使已产生运动的前景对象与处于静止的背景成分彼此相分离，以将是前景对象成分的前景成分提供给合成部分434，并且将背景成分提供给另一合成部分435。
例如，在图9的帧#n中，像素位置P22-P25属于覆盖背景区，并且如果该像素位置P22-P25分别具有α22-α25，那么在帧#n-1中的像素位置P22的像素值是“B22j”的假定之下，可由下式10来表示像素位置P22的像素值DP22DP22＝B22/v+F06/v+F07/v+F08/v+F09/v＝α22·B22j+F06/v+F07/v+F08/v+F09/v...(10)可由下式11来表示帧#n中的像素位置P22的前景成分FE22
FE22＝F06/v+F07/v+F08/v+F09/v＝DP22-α22·B22j...(11)也就是说，如果假定帧#n-1中的像素位置Pg的像素值是“Bgj”，那么利用下式12可获得帧#n中的覆盖背景区中的像素位置Pg的前景成分FEgcFEgc＝DPg-αc·Bgj ...(12)此外，与覆盖背景区中的前景成分FEgc的情况类似，还可获得未覆盖背景区中的前景成分FEgu。
例如，在帧#n中，如果假定帧#n+1中的像素位置P16的像素值是“B16k”，那么可由下式13来表示未覆盖背景区中的像素位置P16的像素值DP16DP16＝B16/v+F01/v+F02/v+F03/v+F04/v＝α16·B16k+F01/v+F02/v+F03/v+F04/v ...(13)可由下式14来表示帧#n中的像素位置P16的前景成分FE16FE16＝F01/v+F02/v+F03/v+F04/v＝DP16-α16·B16k ...(14)也就是说，如果假定帧#n+1中的像素位置Pg的像素值是“Bgk”，那么利用下式15可获得帧#n中的未覆盖背景区中的像素位置Pgu的前景成分FEguFEgu＝DPg-αu·Bk ...(15)分离部分431由此通过利用图像数据DVa、区域标识部分41所产生的区域信息AR、以及混合比计算部分所计算的混合比α可使前景成分与背景成分彼此相分离。
开关部分432根据区域信息AR进行开关控制，从而从图像数据DVa中选择运动区中的一像素的数据并且将其提供给合成部分434。开关部分433根据区域信息AR进行开关控制，从而从图像数据DVa中选择静止区中的一像素的数据并且将其提供给合成部分435。
合成部分434通过利用分离部分431所提供的前景对象的成分以及开关部分432所提供的运动区的数据来对前景成分图像数据DBe进行合成，并且将其提供给运动模糊调节部分44。此外，在处理中首先执行的用以产生前景成分图像数据DBe的初始化过程中，合成部分434将像素值全为0的原始数据存储在内置帧存储器中，并且用图像数据改写该原始数据。因此，与背景区相对应的部分将是原始数据的状态。
合成部分435通过利用分离部分431所提供的背景成分以及开关部分433所提供的静止区的数据来对背景成分图像数据DBb进行合成并且将其提供给输出部分45。此外，在处理中首先执行的用以产生背景成分图像数据DBb的初始化过程中，合成部分435将像素值全为0的图像存储在内置帧存储器中，并且用图像数据改写该原始数据。因此，与前景区相对应的部分将是原始数据的状态。
图14给出了运动模糊调节部分44的结构方框图。将运动矢量检测部分30所提供的运动矢量MVC提供给调节处理单元确定部分441以及建模部分442。将区域标识部分41所提供的区域信息AR提供给调节处理单元确定部分441。将前景/背景分离部分43所提供的前景成分图像数据DBe提供给补加部分444。
调节处理单元确定部分441根据区域信息AR和运动矢量MVC，将前景成分图像中的排列在从覆盖背景区朝向未覆盖背景区的运动方向上的连续像素设置为调节处理单元。或者，将排列在从未覆盖背景区朝向覆盖背景区的运动方向上的连续像素设置为调节处理单元。它将表示所设置的调节处理单元的调节处理单元信息HC提供给建模部分442以及补加部分444。图15给出了在例如将图9的帧#n中的每个像素位置P13-P25设置为调节处理单元的情况下的调节处理单元。值得注意的是，如果运动方向与横向或者纵向方向不同，那么通过在调节处理单元确定部分441中执行仿射变换可将运动方向改变为横向或者纵向方向，以按照与其是横向或者纵向之一的情况相同的方式来执行处理。
建模部分442根据运动矢量MVC以及所设置的调节处理单元信息HC来执行建模。在该建模过程中，能够预先存储与包含在调节处理单元之中的像素数目、图像数据DVa在时间方向上的虚拟划分数目、以及像素特定的前景成分的数目相对应的多个模型，以便根据调节处理单元以及像素值的时间方向上的虚拟划分数目来选择用于指定图像数据Dva与前景成分之间的相关性的模型MD。
建模部分442将所选择的模型MD提供给等式产生部分443。等式产生部分443根据建模部分442所提供的模型MD产生一等式。如上所述，假定调节处理单元是帧#n中的像素位置P13-P25、运动量v是“五个像素”、并且虚拟划分数目是“五”，那么可由下式16-28来表示处于调节处理单元之内的像素位置C01上的前景成分FE01以及各个像素位置C02-C13上的前景成分FE02-FE13FE01＝F01/v...(16)FE02＝F02/v+F01/v ...(17)FE03＝F03/v+F02/v+F01/v...(18)FE04＝F04/v+F03/v+F02/v+F01/v ...(19)FE05＝F05/v+F04/v+F03/v+F02/v+F01/v...(20)FE06＝F06/v+F05/v+F04/v+F03/v+F02/v...(21)FE07＝F07/v+F06/v+F05/v+F04/v+F03/v...(22)FE08＝F08/v+F07/v+F06/v+F05/v+F04/v...(23)FE09＝F09/v+F08/v+F07/v+F06/v+F05/v...(24)FE10＝F09/v+F08/v+F07/v+F06/v ...(25)FE11＝F09/v+F08/v+F07/v...(26)FE12＝F09/v+F08/v ...(27)FE13＝F09/v...(28)等式产生部分443改变所产生的等式以产生新的等式。等式产生部分443产生了下列等式29-41FE01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v ...(29)FE02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(30)
FE03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(31)FE04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(32)FE05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(33)FE06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v+0·F09/v...(34)FE07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v+0·F09/v...(35)FE08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+0·F09/v...(36)FE09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(37)FE10＝0·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(38)FE11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v+1·F09/v...(39)FE12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v+1·F09/v...(40)FE13＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+1·F09/v...(41)还可在下列等式42中表示这些等式29-41FEj=Σi=0109aij·Fi/v···(42)]]>在等式42中，“j”表示调节处理单元中的像素位置。在该示例中，j采用值1-13中的任何一个。此外，“i”表示前景成分的位置。在该示例中，i采用值1-9中的任何一个。根据i和j的值，aij采用值0和1中的任何一个。
考虑到误差，等式42可由下列等式43来表示FEj=Σi=0109aij·Fi/v+ej···(43)]]>在等式43中，ej表示包含在目标像素Cj之中的误差。可将等式43改写成下列等式44ej=FEj-Σi=0109aij·Fi/v···(44)]]>为了应用最小平方法，将该误差的平方和E定义为如下列等式45所给出的E=Σj=0113ej2···(45)]]>为了将误差降低到最小，使由于用于误差的平方和E的变量Fk所造成的偏微分值为0，从而可获得Fk以使其满足下列等式46∂E∂Fk=2·Σj=0113ej·(∂ej/∂Fk)]]>=2·Σj=0113((FEj-Σi=0109aij·Fi/v)·(-akj/v))=0]]>…(46)在等式46中，运动量v是固定的，以便可获得下列等式47Σj=0113akj·(FEj-Σi=009aij·Fi/v)=0···(47)]]>展开等式47并对其进行移项以提供下列等式48Σj=0113(akj·Σi=0109aij·Fi)=v·Σj=0113akj·FEj···(48)]]>通过以整数1-9中的任何一个代替其中的k而将等式48扩展为九个等式。接着通过利用一个矩阵可将所获得的这九个等式表示为一个等式。该等式被称为标准方程。
下列等式49给出了等式产生部分443根据最小平方法所产生的标准方程的一个示例543210000454321000345432100234543210123454321012345432001234543000123454000012345·F01F02F03F04F05F06F07F08F09=v·Σi=0105FEiΣi=0206FEiΣi=0307FEiΣi=0408FEiΣi=0509FEiΣi=0610FEiΣi=0711FEiΣi=0812FEiΣi=0913FEi]]>…(49)如果将这个等式49表示为A·F＝v·FE，那么处于建模时间点上的A和v是已知的。此外，通过在补加过程中输入像素值可得知FE，留下F是未知的。
由此通过利用基于最小平方法的标准方程可计算前景成分F，因此可消除包含在像素值FE之中的误差。等式产生部分443将由此所产生的标准方程提供给补加部分444。
根据调节处理单元确定部分441所提供的调节处理单元信息HC，补加部分444将前景成分图像数据DBe设置到等式产生部分443所提供的矩阵中。此外，补加部分444向计算部分445提供其内设置有图像数据的矩阵。
计算部分445计算下述前景成分Fi/V以产生其内的运动模糊已减轻的前景的像素值F01-F09，在所述前景成分中通过根据诸如消除法(sweeping out)(高斯约旦消除)这样的求解方法来执行处理而减轻了运动模糊。通过利用调节处理单元的中心作为基准对像素值F01-F09的图像位置进行设置，在例如一个帧周期的半阶段时将由此所产生的这些像素值F01-F09提供给输出部分45，以便使前景成分图像位置不会改变。也就是说，如图16所示，利用像素值F01-F09作为像素位置C03-C11的图像数据的各个项，可在一个帧周期的1/2时间时将其内的运动模糊已减轻的前景成分图像的图像数据DVafc提供给输出部分45。
应当注意的是，如果给出了偶数个像素值，例如当获得了像素值F01-F08时，计算部分445输出中央的两个像素值F04和F05中的任何一个作为调节处理单元的中心。此外，如果因为执行快门操作而使一个帧内的曝光时间比一个帧周期要短，那么在曝光时间的半阶段时将其提供给输出部分45。
输出部分45将运动模糊调节部分44所提供的前景成分图像数据DBf组合到前景/背景分离部分43所提供的背景成分图像数据DBb中以产生图像数据DVout并将其输出。将因此所产生的图像数据DVout提供给存储器55。在这种情况下，将其内的运动模糊已减轻的前景成分图像组合到与运动矢量检测部分30所检测的运动矢量MVC相对应的空间-时间位置上。也就是说，将运动模糊已减轻的前景成分图像组合到处理区域信息HZ所表示的、根据运动矢量MVC所设置的位置上，可在运动模糊调节之前将所适当设置的运动模糊已减轻的前景成分图像输出到一图像位置上。
存储器55存储输出部分45所提供的运动模糊减轻图像的图像数据DVout。将存储在其中的图像数据作为图像数据DVm提供给运动矢量检测部分30。
由此，通过产生图像中的运动对象的运动模糊已减轻的运动模糊减轻图像，并且通过利用该运动模糊减轻图像来对运动矢量进行检测，可通过降低由于下述图像中存在的运动模糊所造成的影响来准确地对运动对象的运动矢量进行检测，其中所述图像基于图像传感器10所提供的图像数据DVa。
此外，在一图像的处理区域中，假定在图像的处理区域中当运动对象根据运动矢量运动时在时间上对下述每个像素的像素值进行积分，所述每个像素中不存在与运动对象相对应的运动模糊，则执行建模，以提取前景对象成分与背景对象成分之间的混合比作为重要信息，从而通过利用该重要信息而使运动对象的成分分离，以根据已分离的运动对象的成分来准确地减轻运动模糊。
此外，因为根据运动矢量而将其内的运动模糊已减轻的运动对象的图像输出到目标像素的位置或者与该目标像素相对应的位置，因此可将运动对象的图像输出到适当位置。
同时，还可通过利用软件来减轻运动模糊。作为用于对图像进行处理的装置的另一结构，图17给出了通过利用软件来减轻运动模糊的这样一种情况。中央处理单元(CPU)61根据存储在只读存储器(ROM)62或者存储部分63之中的程序来执行各种处理。该存储部分63是由例如硬盘组成的以存储CPU61所执行的程序以及各类数据。随机存取存储器(RAM)64适当地存储在对CPU61所执行的程序或者各类数据进行处理时所使用的数据等。CPU61、ROM62、存储部分63、以及RAM64通过总线65而彼此相连。
输入接口部分66、输出接口部分67、通信部分68、以及驱动器69通过总线65与CPU61相连。诸如键盘、指示设备(例如鼠标)、或者麦克风之类的输入设备与输入接口66相连。另一方面，诸如显示器或者扬声器这样的输出设备与输出接口部分67相连。CPU61根据通过输入接口部分66所输入的命令而执行各类处理。此后，CPU61通过输出接口部分67输出由于该处理所获得的图像、语音等等。通信部分68通过互联网或者任何其他网络与外部设备进行通信。这个通信部分68用于接收从图像传感器10所输出的图像数据DVa、获取程序等等。当将磁盘、光盘、磁光盘、或者半导体存储器装配在驱动器69上时，驱动器69驱动它以获取记录在其上或其内的程序或数据。根据需要，将所获取的程序或数据传送到存储部分63以将其存储在其中。
下面参考图18的流程图对用于处理图像的装置的操作进行描述。在步骤ST1，CPU 61通过输入部分、通信部分等获取图像传感器10所产生的图像数据DVa，并且可使存储部分63将所获取的图像数据DVa存储在其中。
在步骤ST2，CPU61判断是否可通过利用运动模糊减轻图像来对运动矢量进行检测。如果存储部分63或RAM64中未存储有与要对运动矢量进行检测所需的帧数目一样多的运动模糊减轻图像的图像数据，并且因此不能通过利用运动模糊减轻图像的图像数据来对运动矢量进行检测，那么处理转到步骤ST3。如果存储有与要对运动矢量进行检测所需的帧数目一样多的运动模糊减轻图像的图像数据，并且因此可通过利用所存储的图像数据来对运动矢量进行检测，那么处理转到步骤ST4。
在步骤ST3，CPU61将在步骤ST1所获取的图像数据DVa设置为运动矢量检测数据，并且处理转到步骤ST5。另一方面，在步骤ST4，CPU61将所存储的运动模糊减轻图像的图像数据DVm设置为运动矢量检测数据，并且处理转到步骤ST5。
在步骤ST5，CPU 61按照来自外部的指令对处理区域进行设置。
在步骤ST6，CPU 61通过利用运动矢量检测数据来对与在步骤ST5所确定的处理区域中的前景相对应的运动对象OBf的运动矢量进行检测。
在步骤ST7，CPU 61获取曝光时间参数，并且处理转到步骤ST8，在步骤ST8中根据曝光时间参数对在步骤ST6所检测的运动矢量进行校正，并且此后处理转到步骤ST9。
在步骤ST9，CPU 61根据所校正的运动矢量来执行运动模糊减轻对象图像产生处理以便减轻运动对象OBf中的运动模糊，并且产生运动对象中的运动模糊已减轻的图像数据。图19给出了用于运动模糊减轻对象图像的产生处理的流程图。
在步骤ST15，CPU61对在步骤ST5所确定的处理区域执行区域标识处理，以判断所确定的处理区域中的像素属于背景区、前景区、覆盖背景区、以及未覆盖背景区中的哪一个，从而产生区域信息。在区域信息的产生过程中，如果帧#n受到该处理，那么帧#n-2、#n-1、#n、#n+1、以及#n+2的图像数据用于计算其帧间绝对差值。根据这个帧间绝对差值是否大于预置阈值Th，判断其是包含在运动部分还是静止部分之中，并且根据该判断结果来执行区域判断，从而产生区域信息。
在步骤ST16，CPU61通过利用在步骤ST15所产生的区域信息执行混合比计算处理，以对处理区域中的每个像素计算表示包含背景成分的比率的混合比α，并且处理转到步骤ST17。在混合比α的计算过程中，对于覆盖背景区或未覆盖背景区中的像素而言，帧#n-1、#n、以及#n+1的像素值用于获得估算混合比αc。此外，对于背景区而言将混合比α设置为“1”，并且对于前景区而言将混合比α设置为“0”。
在步骤ST17，根据在步骤ST15所产生的区域信息以及在步骤ST16所计算的混合比α，CPU61执行前景/背景分离处理，以便使处理区域中的图像数据分离成仅由前景成分所组成的前景成分图像数据以及仅由背景成分所组成的背景成分图像数据。也就是说，它通过对帧#n中的覆盖背景区执行上述等式12的操作并且对其中的未覆盖背景区执行上述等式15的操作，可获得前景成分，以使图像数据分离成前景成分图像数据以及仅由背景成分所组成的背景成分图像数据。
在步骤ST18，CPU61根据在步骤ST8所获得的校正后运动矢量以及在步骤ST15所产生的区域信息来执行运动模糊调节处理，以确定表示包含在前景成分图像数据之中的至少一个像素的调节处理单元，从而减轻包含在步骤ST17所分离的前景成分图像数据之中的运动模糊。也就是说，它根据运动矢量MVC、处理区域信息HZ、以及区域信息AR来设置调节处理单元，并且根据运动矢量MVC、以及所设置的调节处理单元来执行建模以产生标准方程。它将图像数据设置到所产生的标准方程，并且根据消除法(高斯-约旦消除法)在其上执行处理以产生运动模糊减轻对象图像的图像数据，也就是说产生运动模糊已减轻的前景成分图像数据。
在步骤ST10，CPU61对下述处理的结果执行输出处理以产生并输出作为该处理结果的运动模糊减轻图像的图像数据DVout，所述处理是由于在步骤ST17所分离的背景成分图像数据而对一图像执行将在步骤ST18所产生的运动模糊减轻前景成分图像数据组合到与在步骤ST8所获得的运动矢量相对应的空间-时间位置中。
在步骤ST11，CPU61判断运动模糊减轻处理是否应当结束。在这种情况下，如果要对下一帧的图像执行运动模糊减轻处理，那么处理回到步骤ST2，并且如果不执行运动模糊减轻处理，那么该处理结束。由此还可通过利用软件来执行运动模糊减轻处理。
虽然上述实施例已经获得了其运动模糊将要被减轻的对象的运动矢量，并且将包含有其运动模糊将要被减轻的对象的处理区域分离成静止区、运动区、混合区等，以通过利用运动区和混合区的图像数据来执行运动模糊减轻处理，但是无需对前景、背景、以及混合区进行标识即可通过获得每个像素的运动矢量执行运动模糊减轻处理而减轻运动模糊。
在这种情况下，运动矢量检测部分30可获得目标像素的运动矢量并且将其提供给运动模糊减轻图像产生部分40。此外，它将表示目标像素的像素位置的处理区域信息HD提供给输出部分。
图20给出了无需对前景、背景、以及混合区进行标识即可减轻运动模糊的运动模糊减轻图像产生部分的结构。运动模糊减轻图像产生部分40a中的处理区域设置部分48按照下述方式对其运动模糊将要被减轻的图像上的目标像素设置处理区域，所述方式是使这个处理区域与该目标像素的运动矢量的运动方向对齐，并且此后处理区域设置部分48将其通知给计算部分49。此外，它将目标像素的位置提供给输出部分45a。图21给出了这样一个处理区域，该处理区域被设置成以目标像素为中心在运动方向上具有(2N+1)个像素。图22给出了对处理区域进行设置的示例；如果相对于其运动模糊将要被减轻的运动对象OBf的像素而言运动矢量例如如箭头B所示横向延伸，那么如图22A所示将处理区域WA设置成横向。另一方面，如果运动矢量倾斜延伸，那么如图22B所示将处理区域WA设置成适当角度的方向。然而，为了倾斜地设置处理区域，必须通过插值法等获得与处理区域的像素位置相对应的像素值。
在这种情况下，在处理区域中，如图23所示，实际世界变量(Y-8，...，Y0，...，Y8)按照时间顺序(time-wise)混合。应当注意的是图23给出了这样一种情况，其中将运动量v设置成5(v＝5)，并且处理区域包括13个像素(N＝6，其中N是用于目标像素的处理宽度的像素数目)。
计算部分49对该处理区域执行实际世界估算，以仅输出所估算的实际世界的中心像素变量Y0作为其运动模糊已消除的目标像素的像素值。
在这里假定处理区域中的像素的像素值是X-N，X-N+1，...，X0，...，XN-1，XN，那么可建立诸如等式50所示的(2N+1)个混合等式。在该等式中，常数h表示通过使运动量乘以(1/2)所获得的整数部分的值(其小数位被舍去)。
Σi=t-ht+h(Yi/v)=Xt···(50)]]>(t＝-N，··，0，··，N)然而，将要获得的有(2N+v)个实际世界变量(Y-N-h，Y0，YN+ h)。也就是说，等式数目小于变量数目，从而使得根据等式50不可能获得实际世界变量(Y-N-h，Y0，YN+h)。
因此，通过利用下列等式51而使等式数目增加以大于实际世界变量的数目，利用最小平方法可获得实际世界变量的值，其中所述等式51是使用空间相关的约束方程。
Yt-Yt+1＝0 ...(51)(t＝-N-h，...，0，...，N+h-1)也就是说，通过利用下述总共(4N+v)个等式可获得(2N+v)个未知的实际世界变量(Y-N-h，...，Y0，...，YN+h)，上述等式是通过将等式50所表示的(2n+1)个混合等式与等式51所表示的(2N+V-1)个约束方程累加在一起所获得的。
应当注意的是通过按照使这些等式中所存在的误差的平方和最小化这样的方式来执行估算，当执行运动模糊减轻图像产生处理时可抑制实际世界中的像素值的波动。
下列等式52表示如图23所示对处理区域进行设置这样一种情况，其中将等式中所存在的误差添加到各个等式50和51上。
...(52)可将等式52变成等式53，以便获得如等式55所示的Y(＝Yi)，该Y可使等式54所给出的误差的平方和E最小。在等式55中，T表示转置矩阵。
AY＝X+e ...(53)E＝|e|2＝∑emi2+∑ebi2...(54)Y＝(ATA)-1ATX...(55)
应当注意的是，误差的平方和例如是由等式56给出的，以便通过对误差的平方和进行偏微分，使得偏微分值可以是如等式57所给出的0，因此可获得使误差的平方和最小化的等式55。
E＝(A·Y-×)T(A·Y-X)＝YT·AT·A·Y-2·YT·AT·X+XT·X...(56)∂E∂Y=2(AT·A·Y-AT·X)=0···(57)]]>对等式55执行线性组合，可分别获得实际世界变量(Y-N-h，...，Y0，...，YN+h)，以输出中心像素变量Y0的像素值作为目标像素的像素值。例如，计算部分49存储预先为每个运动量所获得的矩阵(ATA)-1AT，并且根据与该运动量相对应的矩阵以及处理区域中的像素的像素值而将中心像素变量Y0的像素值输出作为目标值。对处理区域中的所有像素执行这种处理，可获得用户所指定的整个屏幕或整个区域的、其每一个之内的运动模糊已减轻的实际世界变量。
虽然上述实施例通过按照使AY＝X+e中的误差的平方和E最小化这样的方式使用最小平方法而获得了实际世界变量(Y-N-h，...，Y0，...，YN+h)，但是可给出下列等式58以便使等式数目等于变量数目。通过将这个等式表示为AY＝X并且将其改成Y＝A-1X，可获得实际世界变量(Y-N-h，...，Y0，...，YN+h)。
1/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v1-100000000000000001-100000000000000001-100000000000000001-1000000000000Y-8Y-7Y-6Y-5Y-4Y-3Y-2Y-1Y0Y1Y2Y3Y4Y5Y6Y7Y8=X-6X-5X-4X-3X-2X-1X0X1X2X3X4X5X60000]]>...(58)输出部分45a将计算部分49所获得的中心像素变量Y0的像素值带入在处理区域信息HZ所示的区域中所设置的、由运动矢量检测部分30所提供的目标像素的像素值。此外，如果因为表示出了背景区或者混合区而不能获得中心像素变量Y0，那么在执行运动模糊减轻图像的产生处理之前的目标像素的像素值用于产生图像数据DVout。
按照这种方式，即使对每个像素来说运动对象的运动彼此不同，也可通过利用与目标像素相对应的运动矢量来估算实际世界，因此可执行准确的运动模糊减轻图像产生处理。例如，即使假定运动对象是刚性的，也可减轻运动对象的图像的运动模糊。
同时，在上述实施例中，减轻运动对象OBf的运动模糊以显示其图像，以便如图24所示即使当运动对象OBf按照图24A、24B、以及24C的顺序运动时，也可在对其进行追踪时减轻运动对象OBf的运动模糊，因此可显示其内的运动对象OBf的运动模糊已减轻的良好图像。然而或者，通过对图像的显示位置进行控制以便根据运动对象OBf使运动对象OBf的运动模糊减轻图像位于屏幕的预定位置上，可对该图像进行显示以便对运动对象OBf进行追踪。
在这种情况下，运动矢量检测部分30根据运动矢量MV使在区域选择信息HA所示区域中所设置的追踪点运动，以将表示这个运动之后的追踪点的坐标信息HG提供给输出部分45。输出部分45产生图像数据DVout以便使坐标信息HG所示的追踪点位于屏幕的预定位置上。由此可对图像进行显示，就好象对运动对象OBf正进行追踪一样。
此外，即使运动对象OBf如图25A-25C所示运动，也可当如图25D-25F所示对运动对象OBf进行追踪时，根据作为在区域选择信息HA所示区域中所设置的追踪点这样的运动对象OBf而利用运动模糊减轻图像数据DVout产生扩展图像，并且按照使追踪点位于屏幕上的预定位置这样的方式来对其进行显示，可输出运动对象OBf的扩展图像。在这种情况下，因为对运动对象OBf的扩展图像进行显示以直至该图像的图像帧的大小，因此即使显示图像运动以便使追踪点位于屏幕的预定位置上，也可防止在屏幕上出现未显示部分。此外，在扩展图像产生过程中，通过使其内的运动模糊已减轻的像素的像素值重复可产生扩展图像。例如，通过使每个像素值重复两次，可产生其纵向和横向尺寸加倍的扩展图像。此外，通过使用相邻像素的平均值等作为新的像素值，可在相邻像素之间放置新的像素以产生扩展图像。此外，通过利用运动模糊减轻图像创建空间分辨率，可输出运动模糊更小的高清晰度扩展图像。下面对执行空间分辨率创建以产生扩展图像这样一种情况进行描述。
图26给出了用于对图像进行处理的装置的另一结构，通过此装置可执行空间分辨率创建以允许输出扩展图像。应该注意的是，在图26中与图5中的部件相对应的相似部件是由相似符号来表示的，并省略对其的详细说明。
将运动矢量检测部分30所产生的坐标信息HG提供给空间分辨率创建部分70。此外，还将运动模糊减轻图像产生部分40所输出的运动模糊减轻图像的图像数据DVout提供给空间分辨率创建部分70。
图27给出了空间分辨率创建部分的结构。将运动模糊减轻图像数据DVout提供给空间分辨率创建部分70。
空间分辨率创建部分70包括类别分类部分71，用于对图像数据DVout的目标像素进行分类；预测系数存储器72，用于输出与类别分类部分71的分类结果相对应的预测系数；预测计算部分73，用于通过利用预测系数存储器72所输出的预测系数以及图像数据DVout来执行预测计算而产生插值像素数据DH；以及扩展图像输出部分74，用于根据运动矢量检测部分30所提供的坐标信息HG而读取与显示像素一样多的对象OBj的图像并且输出扩展图像的图像数据DVz。
将图像数据DVout提供给类别分类部分71中的类别像素组剪切部分711、预测计算部分73中的预测像素组剪切部分731、以及扩展图像输出部分74。类别像素组剪切部分711剪切掉为了表示运动程度而进行类别分类(运动类别)所必需的像素。将类别像素组剪切部分711所剪切的像素组提供给类别值确定部分712。类别值确定部分712计算与类别像素组剪切部分711所剪切的像素组的像素数据有关的帧间差，并且例如通过对这些均值与多个预置阈值进行比较而对这些帧间差的绝对均值进行分类，从而确定类别值CL。
预测系数存储器72将预测系数存储在其中，并且将与类别分类部分71所确定的类别值CL相对应的预测系数KE提供给预测计算部分73。
预测计算部分73中的预测像素组剪切部分731剪切掉图像数据DVout当中的在预测计算中所使用的像素数据(即预测抽头)TP，并且将其提供给计算处理部分732。计算处理部分732通过利用预测系数存储器72所提供的预测系数KE以及预测抽头TP来执行一维线性操作，从而计算与目标像素相对应的插值像素数据DH，并且将其提供给扩展图像输出部分74。
扩展图像输出部分74通过从图像数据Dvout和插值像素数据DH中读取与显示尺寸一样多的像素数据而产生扩展图像的图像数据DVz并将其输出，以便使基于坐标信息HG的位置可位于屏幕的预定位置上。
通过这样产生扩展图像并且利用所产生的插值像素数据DH以及图像数据DVout，可输出其中运动模糊已减轻的扩展高质量图像。例如，通过产生插值像素数据DH并且使横向和纵向像素数目加倍，可输出这样的其运动模糊已减轻的高质量图像以便使运动对象OBf的纵向和横向加倍。
应当注意的是可以通过利用图28所示的学习设备来创建存储在预测系数存储器72中的预测系数。还应当注意的是在图28中与图27中的部件相对应的相似部件是由相似符号来表示的。
学习设备75包括类别分类部分71、预测系数存储器72、以及系数计算部分76。向类别分类部分71和系数计算部分76的每一个提供通过降低教师图像的像素数目所产生的学生图像的图像数据GS。
类别分类部分71通过利用类别像素组剪切部分711从学生图像的图像数据GS中剪切掉为类别分类所必需的像素，并且通过利用这个组的像素数据来对所剪切的像素组进行分类，从而确定其类别值。
系数计算部分76中的学生像素组剪切部分761从学生图像的图像数据GS中剪切掉在计算预测系数过程中所使用的像素数据，并且将其提供给预测系数学习部分762。
预测系数学习部分762通过利用教师图像的图像数据GT、来自学生像素组剪切部分761的图像数据、以及预测系数而为由类别分类部分71所提供的类别值所示的每个类别产生一标准方程。此外，它通过利用诸如消除法这样的一般矩阵解法而按照预测系数来对标准方程进行求解，并且将所获得的系数存储在预测系数存储器72中。
图29和30均给出了对空间分辨率创建处理进行组合这样一种情况的操作流程图。
在步骤ST21，CPU61获取图像数据DVa，并且处理转到步骤ST22。
在步骤ST22，CPU61对处理区域进行设置，并且处理转到步骤ST23。
在步骤ST23，CPU61将变量i设置为0(i＝0)，并且处理转到步骤ST24。
在步骤ST24，CPU61判断变量i是否不等于0(i≠0)。如果不是i≠0，那么处理转到步骤ST25，并且如果i≠0，那么处理转到步骤ST29。
在步骤ST25，CPU61对与在步骤ST22所设置的处理区域有关的运动矢量进行检测，并且处理转到步骤ST26。
在步骤ST26，CPU61获取曝光时间参数，并且处理转到步骤ST27，在该步骤中根据曝光时间参数对在步骤ST25所检测的运动矢量进行校正，并且处理转到步骤ST28。
在步骤ST28，CPU61通过利用校正后运动矢量以及图像数据DVa来执行图19所示的运动模糊减轻对象图像产生处理，以产生运动对象的运动模糊减轻图像，并且处理转到步骤ST33。
在步骤ST33，CPU61对该处理结果执行存储处理，并且与图18的步骤ST10相类似，在与在步骤ST27所获得的运动矢量相对应的时间-空间位置处将运动模糊减轻前景图像的图像数据组合到背景成分数据中，从而作为该处理的结果而产生图像数据DVout。此外，它将图像数据Dvout作为处理结果存储在存储部分63或RAM64中，并且处理转到步骤ST34。
在步骤ST34，CPU61根据运动对象的运动而使处理区域运动以对追踪后处理区域进行设置，并且处理转到步骤ST35。在追踪后处理区域的设置过程中，例如，检测并使用运动对象OBf的运动矢量MV。或者，使用在步骤ST25或ST29所检测的运动矢量。
在步骤ST35，CPU61将变量i设置为i+1(i＝i+1)，并且处理转到步骤ST36。
在步骤ST36，CPU61判断是否存储了与所检测的运动矢量一样多的处理结果。如果在该步骤判定未存储有与用于允许对运动矢量进行检测的帧数目一样多的运动模糊减轻图像数据Dvout，那么处理回到步骤ST24。
如果处理从步骤ST36回到步骤ST24以使CPU61执行其处理，那么变量i不等于0(i≠0)以致于处理转到步骤ST29，在该步骤中对与在步骤ST34所设置的追踪后处理区域有关的运动矢量进行检测并且处理转到步骤ST30。
在步骤ST30-ST32，CPU61执行与在步骤ST26-ST28所执行的处理相同的处理，并且处理转到步骤ST33。CPU61重复从步骤ST33开始的处理，直到在步骤ST36判定存储了与所检测的运动矢量一样多的处理结果为止，因此处理从图30的步骤ST36转到步骤ST37。
在步骤ST37，CPU61将变量i设置为0(i＝0)，并且处理转到步骤ST38。
在步骤ST38，PU21判断i是否不等于0(i≠0)，并且如果不是i≠0，那么处理转到步骤ST39，并且如果i≠0，那么处理转到步骤43。
在步骤ST39，CPU61通过利用所存储的处理结果来对与在步骤ST22所设置的处理区域有关的运动矢量进行检测，并且处理转到步骤ST40。
在步骤ST40，CPU61获取曝光时间参数，并且处理转到步骤ST41，在该步骤中根据曝光时间参数对在步骤ST39所检测的运动矢量进行校正，并且处理转到步骤ST42。
在步骤ST42，CPU61通过利用校正后运动矢量以及图像数据DVa来执行运动模糊减轻对象图像产生处理，以产生其中运动模糊已减轻的运动对象的图像，并且处理转到步骤ST47。
在步骤ST47，与步骤ST33相类似，CPU61输出该处理结果并且对其进行存储，以产生作为处理结果的图像数据DVout，并且将其输出。此外，它将所产生的图像数据DVout存储在存储部分63或RAM64中。
在步骤ST48，CPU61通过利用在步骤ST47所产生的图像数据DVout来执行空间分辨率创建处理，以按照下述方式产生具有显示屏尺寸的扩展图像的图像数据DVz，所述方式是使坐标信息HG所示的位置位于屏幕的恒定位置上。
在步骤ST49，与步骤ST34相类似，CPU61设置追踪后处理区域，并且处理转到步骤ST50。
在步骤ST50，CPU61将变量i设置为i+1(i＝i+1)，并且处理转到步骤ST51。
在步骤ST51，CPU61判断处理是否已结束。如果处理未结束，那么处理回到步骤ST38。
如果处理从步骤ST51回到步骤ST38以使CPU61执行步骤ST38的处理，那么变量i不等于0(i≠0)，因此处理转到步骤ST43，在该步骤中通过利用所存储的处理结果来对与追踪后处理区域有关的运动矢量进行检测，并且处理转到步骤ST44。
在步骤ST44-ST46，CPU61执行与步骤ST40-ST42相同的处理，并且处理转到步骤ST47，在该步骤中执行从步骤ST47开始的处理。此后，如果图像数据DVa已结束或者执行其完成操作，那么在步骤ST51判定操作已结束并且结束处理。
此外，它不但可通过使用运动模糊减轻图像数据DVout来执行空间分辨率创建，而且还可执行公开号为2002-199349的日本专利申请中所公开的时间分辨率创建，从而产生具有高时间分辨率的高质量图像。图31给出了下述装置的结构，所述装置用于对图像进行处理，由此可实现帧速转换，同时可执行时间分辨率创建。在图31中，与图5中的部件相对应的相似部件是由相似符号来表示的，并且将省略对其的详细说明。
将表示时间分辨率创建前后的帧速的频率信息HF提供给运动矢量检测部分30a以及时间分辨率创建部分90。如图32所示，运动矢量检测部分30a包括图6所示的上述运动矢量检测部分30以及添加到其上的运动矢量分配部分35。在图32中，与图6中的部件相对应的相似部件是由相似符号来表示的，并且将省略对其的详细说明。
根据运动矢量MV，运动矢量分配部分35根据所提供的频率信息HF而产生最新所产生的帧图像的运动矢量MVD。例如，通过利用运动矢量MV，它将运动矢量分配给最新所产生的帧图像的像素，并且将分配后运动矢量MVD提供给时间分辨率创建部分90。
频率信息HF是这样的信息，该信息表示诸如两倍速度转换、2.5倍速度转换、所谓的用于将24P图像转换成60P图像的24-60转换等这样的帧频率转换速率。
下面对在频率信息HF表示例如帧的两倍速度转换这样一种情况下用于分配运动矢量的处理进行描述。在这种情况下，如图33所示，最新在图像数据DVa的两个帧RFa与RFb之间产生了两个帧RFn0和RFn1的图像。将最新产生的两个帧的每个图像设置为目标帧。对于目标帧的每个像素而言，运动矢量分配部分35从运动矢量检测部分30所提供的图像数据DVa的运动矢量MV中检测出所提供的运动矢量MV中的横穿运动矢量，并且将所检测的运动矢量分配为目标帧图像的运动矢量MVC。例如，如果在目标帧PFn0的像素PGn0x中，例如运动矢量MV-j横穿像素PGn0x的图像区域PWn0x，那么将该运动矢量MV-j分配为像素PGn0x的运动矢量MVC-n0x。此外，如果有多个运动矢量横穿，那么计算这多个横穿运动矢量的平均值并对其进行分配。此外，如果未检测到横穿运动矢量，那么计算分配给外围或邻近像素的运动矢量的平均值或使其加权并且计算其平均值以对其进行分配。按照这种方式，将运动矢量分配给每个目标帧的所有像素。
此外，将运动矢量检测部分30a所产生的处理区域信息HZ和运动矢量MVC提供给运动模糊减轻图像产生部分40。此外，不仅将从存储器55所读取的图像数据DVm提供给运动矢量检测部分30a，而且还提供给图像数据选择部分85。
图像数据选择部分85选择图像传感器10所提供的图像数据DVa与从存储器55所读取的图像数据DVm中的任何一个，并且将其作为图像数据DVs提供给时间分辨率创建部分90。
时间分辨率创建部分90根据图像数据DVs、运动矢量MVD、以及频率信息HF而创建具有期望帧速的图像数据DVt。
图34给出了时间分辨率创建部分的结构。时间分辨率创建部分90包括类别分类部分91，用于对图像数据DVs的目标像素进行分类；预测系数存储器92，用于输出与类别分类部分91的类别分类结果相对应的预测系数；以及预测计算部分93，用于通过利用预测系数存储器92所输出的预测系数以及图像数据DVs来执行预测计算而产生帧插值像素数据。
将图像数据DVs提供给类别分类部分91中的类别像素组剪切部分913以及预测计算部分93中的预测像素组剪切部分931。将频率信息HF提供给时间模式值确定部分911。此外，将分配给所要创建的帧中的目标像素的运动矢量MVD提供给时间模式值确定部分911以及位置模式值确定部分915。
时间模式值确定部分911根据所提供的频率信息HF来确定表示所要创建的帧的时间位置的时间模式值TM，并且将其提供给抽头中心位置确定部分912、位置模式值确定部分915、以及预测系数存储器92。图35示意性地给出了其每个均用于说明时间模式值确定部分911的操作的示意图。时间模式值确定部分911根据转换前后的频率来确定与所要创建的目标帧的时间位置有关的时间模式值。
图35A示出了帧频率加倍这样一种情况。在这种情况下，如上所述，在图像数据DVa的两个帧RFa与RFb之间创建作为目标帧的两个帧RFn0和RFn1。根据所要创建的两个帧RFn0和RFn1的任何一个，给定模式0或模式1。例如，在两个帧中，为了创建位于其他时间之前的目标帧RFn0中的像素值，将时间模式值设置为0，并且为了创建另一目标帧RFn1中的像素值，将时间模式值设置为1。另一方面，图35B示出了在转换过程中使帧频乘以2.5这样一种情况，在这种情况下在目标帧的四种时间位置上创建像素值，以便根据所要创建的任何一个帧位置的系数，时间模式值采用0至3中的任何一个。
抽头中心位置确定部分912使用运动矢量MVD以确定时间模式值TM所示的目标帧中的目标像素的运动矢量。也就是说，如果运动矢量分配部分35已将运动矢量分配给最新所产生的帧图像的像素，那么它选择与该目标像素相对应的运动矢量。根据所确定的运动矢量，对分别位于与目标帧中的目标像素相对应的图像数据DVs前后的两个帧中的位置进行检测，并且将其设置为抽头中心位置TC。
类别像素组剪切部分913使用抽头中心位置TC作为基准，以从分别位于目标帧前后的图像数据DVs的两个帧当中剪切掉为了表示运动程度而进行类别分类所必需的像素，并且将其提供给类别值确定部分914。
图36给出了类别像素组剪切部分913根据上述抽头中心位置TC所取出的类别像素组的若干示例。应当注意的是，在附图中，由实心圆圈表示抽头中心位置TC的像素，并由其内有“X”的圆圈表示位于抽头中心位置TC周围并且用作类别像素的像素。从分别位于相应目标帧前后的图像数据DVs的两个帧当中剪切掉该类别像素组。
类别值确定部分914对类别像素组剪切部分913所剪切的像素组的像素数据计算帧间差，并且例如对这些帧间差的绝对平均值与多个预置阈值进行比较以对其进行分类，从而确定类别值CM。
图37示意性地给出了类别值确定处理。类别值确定部分914根据例如一位ADRC(适应性动态范围编码)来对所剪切的类别像素组的像素值进行编码，并且将下述值设置为类别值，在所述值中假定该编码的结果(位串)是整数值。
应当注意的是如果由8位来表示像素值，那么可采用0-255中的任何一个作为像素值。在图37中假定从分别位于目标帧前后的图像数据DVs的两个帧的每一个中剪切掉5个像素，并且总共10个像素构成了类别像素组。这10个像素的类别像素值的最大值与最小值之间的差值构成了动态范围DR。因为一位ADRC，因此可将通过使动态范围DR减半所获得的值设置为中间值CLV，以便可检查类别像素值是大于还是小于该中间值CLV。如果类别像素值小于中间值CLV，那么将其编码成“0”，并且如果类别像素值不小于中间值CLV，那么将其编码成“1”。在图37的示例中，由于一位ADRC的结果所编码的位串值是0000100001。将该位串的整数值(＝33)设置为类别值。
为了减小类别数目，通过使每个位的编码结果的位串反转所获得的值可用作类别值。在这种情况下，类别数目减半。此外，如果将抽头排列成纵向/横向对称，那么对像素值进行重排以执行相同计算，从而可分别使类别数目减半。
位置模式值确定部分915根据抽头中心位置TC、运动矢量MVD、以及时间模式值TM来确定位置模式值HM，并且将其提供给预测系数存储器92。根据横穿目标帧上的目标像素的运动矢量以及该目标像素的位置来设置抽头中心位置TC，以便如果表示每个像素中心的位置用作整数网格点位置，那么在某些情况下相对于整数网格点位置而言抽头中心位置TC具有小数部分(不大于像素间距离)的偏移。因此，位置模式值确定部分915通过根据该小数部分偏移而执行类别分类来确定位置模式值。应当注意的是，如果帧频率增大5倍并且一个运动矢量横穿目标像素，那么相对于整数网格点而言的小数部分偏移进入0、0.2、0.4、0.6、以及0.8这5个模式的任何一个。如果在每个横向或纵向方向上给出了这种小数部分偏移，那么可以是5×5＝25种组合，以便根据与小数部分偏移相对应的任何一个组合来确定位置模式值HM。
预测系数存储器92读取与提供给它的时间模式值TM、位置模式值HM、以及类别值CM的组合相对应的预测系数KF，并且将该系数提供给预测计算部分93中的计算处理部分932。
预测计算部分93中的预测像素组剪切部分931从相对于抽头中心位置确定部分912所确定的抽头中心位置TC而言的转换前图像数据DVs中剪切掉在预测计算过程中所使用的预测抽头TF，并且将其提供给计算处理部分932。计算处理部分932通过利用预测系数存储器92所提供的预测系数KF以及预测抽头TF来执行一维线性操作，从而产生转换后图像数据DVt。
通过这样利用在运动模糊减轻图像产生处理之后的图像数据DVm对运动矢量进行检测并且通过利用所检测的运动矢量创建时间分辨率，可在帧速转换之后的图像中准确地显示运动。此外，如果图像数据选择部分85选择图像数据DVm作为图像数据DVs，那么通过利用运动模糊已减轻的图像可产生新帧的图像。例如，如果图像数据DVout具有24帧/秒，则可执行时间分辨率创建，从而产生运动模糊已减轻的60帧/秒的图像的图像数据DVt。此外，如果将图像数据DVa选为图像数据DVs，那么图像数据DVt给出了这样的图像，该图像具有通过图像传感器10所获得的图像的转换帧速。
图38给出了通过软件实现的时间分辨率创建处理的流程图。在步骤ST61，CPU61根据频率信息HF来确定时间模式值TM。在步骤ST62，CPU61执行用于确定抽头中心位置的处理。
图39给出了抽头中心位置确定处理的流程图。在步骤ST621，CPU61确定目标帧上的目标像素的位置。在步骤ST622，CPU61计算与目标像素相对应的位置。也就是说，根据在时间模式值TM所示的目标帧中所设置的目标像素的运动矢量，以小数位精度计算与分别位于目标帧前后的图像数据DVs的两个帧中的目标像素相对应的位置。在步骤ST623，将下述像素位置确定为抽头中心位置TC，所述像素位置最靠近与目标像素相对应的所计算位置。
在完成抽头中心位置确定处理之后，在步骤ST63，CPU61确定位置模式值HM。在确定位置模式值HM的过程中，在步骤ST622以小数位精度计算计算与目标像素相对应的位置，并且将该位置与最近像素位置之间的差值转换成位置模式值HM。
在步骤ST64，CPU61根据在步骤ST62和步骤ST65所确定的抽头中心位置TC来剪切类别像素组，CPU61根据所剪切的类别像素值组来确定类别值CM。
在步骤ST66，CPU61根据在步骤ST62所确定的抽头中心位置TC来剪切预测像素组。在步骤ST67，CPU61根据类别值CM、位置模式值HM、以及时间模式值TM来读取预测系数。在步骤ST68，CPU61对预测像素组中的多个像素以及预测系数执行一维线性组合(预测计算)，以产生目标帧中的目标像素的数据。在步骤ST69，CPU61输出所产生的目标像素的数据以作为图像数据DVt。
在步骤ST70，CPU61判断目标帧中的像素是否都已被处理。如果未处理，那么处理回到步骤ST62，并且如果目标帧中的像素均已被处理，那么结束该处理。
通过利用图40所示的学习设备可创建存储在预测系数存储器92中的预测系数。应当注意的是在图40中与图34中的部件相对应的相似部件是由相似符号来表示的。
首先，通过利用教师图像(其与目标帧的图像相对应)的图像数据GT来对帧速进行转换以产生学生图像(其与图像数据DVs的图像相对应)的图像数据GS，以便将图像数据GS提供给类别分类部分94和系数计算部分95。
类别分类部分94中的运动矢量检测部分941对预定数目的帧之间的运动矢量进行检测，并且将其提供给抽头中心位置确定部分912以及位置模式值确定部分915。抽头中心位置确定部分912如上所述确定抽头中心位置，并且将其提供给类别像素组取出部分913以及学生像素组取出部分951。
学生像素取出部分951根据抽头中心位置而从图像数据GS当中剪切掉由多个学生像素所组成的学生像素组。将所剪切的学生像素组提供给预测系数学习部分952。
类别像素取出部分913根据抽头中心位置而取出由多个学生像素所组成的类别像素组。将所取出的类别像素组提供给类别值确定部分914。类别值确定部分914如上所述根据类别像素组来确定类别值。将所确定的类别值提供给预测系数学习部分952。
位置模式值确定部分915如上所述根据抽头中心位置、运动矢量、以及时间模式来确定位置模式值并且将其提供给预测系数学习部分952。此外，根据时间模式值，教师像素剪切部分942剪切掉教师像素。将所剪切的教师像素提供给预测系数学习部分952。
预测系数学习部分952使用提供给它的时间模式值、位置模式值、类别值、学生学习组、以及教师像素，以学习用于根据学生像素组来预测教师像素的预测系数。在学习预测系数的过程中，确定预测系数，以便当根据对学生像素以及多个预测系数的一维线性操作来估算预测值时，可使教师图像中的预测值与真实值之间的误差的平方和最小化。通过实际计算方法，确定预测系数，以便使通过对与误差平方和有关的等式执行偏微分所获得的值成为0。在这种情况下，建立上述标准方程，并且通过诸如消除法这样的一般矩阵解法来对其进行求解以计算预测系数。将所计算的预测系数存储在预测系数存储器92中。
图41给出了通过利用软件来学习预测系数的处理流程图。在步骤ST81，CPU61通过利用教师图像的图像数据来对帧速进行转换以产生学生图像的图像数据。在步骤ST82，CPU61根据频率信息来确定时间模式值。
在步骤ST83，CPU61对教师图像的运动矢量进行检测，并且在步骤ST84，根据时间模式值和运动矢量来确定抽头中心位置。
在步骤ST85，CPU61根据运动矢量、抽头中心位置、时间模式值来确定位置模式值。
在步骤ST86，CPU61根据抽头中心位置的信息来从学生图像当中剪切掉类别像素组。在步骤ST87，CPU61根据类别像素组来确定类别值。在步骤ST88，CPU61根据抽头中心位置的信息来从学生图像当中剪切掉学生像素组。在步骤ST89，CPU61从教师图像当中剪切掉教师像素。
步骤ST90-ST95构成了根据最小平方法来学习预测系数的处理。也就是说，确定预测系数，以便当根据对学生像素与多个预测系数的一维线性组合来估算预测值时可使教师图像中的预测值与真实值之间的误差平方和最小化。通过实际计算方法，确定预测系数，以便使通过对与误差平方和有关的等式执行偏微分所获得的值成为0。在这种情况下，建立一标准方程并且通过诸如消除法这样的一般矩阵解法来对其进行求解以计算预测系数。
在步骤ST90，CPU61执行用于将数据补加到用于每个类别的标准方程上的处理。在步骤ST91，CPU61确定帧中的像素是否都已被处理。如果未被处理，那么处理回到步骤ST84(确定抽头中心位置)。如果帧中的像素都已被处理，那么处理转到步骤ST92。在步骤ST92，CPU61确定图像中的帧是否都已被处理。如果未被处理，该处理回到步骤ST82，并且如果帧均已被处理，那么处理转到步骤ST93。在步骤ST93，CPU61确定输入图像是否都已被处理。如果未被处理，那么处理回到步骤ST81。如果输入图像均已被处理，那么处理转到步骤ST94。在步骤ST94，CPU61通过消除法来对标准方程进行求解，并且在步骤ST95输出所获得的预测系数以便将其存储在预测系数存储器92中。
图42给出了对上述时间分辨率创建处理进行组合这样一种情况下的操作流程图。
在步骤ST101，CPU61确定是否存储有与所检测的运动矢量一样多的用于减轻运动矢量的处理结果。如果未存储，那么处理回到步骤ST101，并且如果存储有与所检测的运动矢量一样多的处理结果，那么处理转到步骤ST102。
在步骤ST102，CPU61使用所存储的处理结果以对运动矢量进行检测，并且处理转到步骤ST103。
在步骤ST103，CPU61使用所检测的运动矢量以将运动矢量分配给所最新创建的帧中的每个像素，并且处理转到步骤ST104。
在步骤ST104，CPU61根据在运动矢量减轻处理中所获得的曝光时间参数来对运动矢量进行校正，并且处理转到步骤ST105。
在步骤ST105，CPU61根据所存储的处理结果和在步骤ST104所获得的运动矢量执行时间分辨率创建处理，以产生具有时间分辨率创建后帧速的图像数据DVt，并且处理转到步骤ST106。
在步骤ST106，如果图像数据DVa还未结束或者操作未结束，那么处理回到步骤ST102，并且如果图像数据DVa已结束或者操作已结束，那么判定操作已完成并且结束该处理。
由此，利用运动模糊减轻图像可准确地对运动矢量进行检测，因此通过利用所检测的运动矢量可获得具有较小运动模糊的高时间分辨率图像。
此外，如果将下述区域选择信息HA提供给图像处理装置20，所述区域选择信息HA表示要受到运动模糊处理的图像区域，那么运动模糊减轻图像产生部分40对根据区域选择信息HA所选择的区域执行运动模糊减轻处理。此外，根据运动矢量检测部分30所检测的运动矢量MV，使处理区域连续运动。也就是说，运动矢量检测部分30可对运动对象进行追踪。按照这种方式，仅仅通过根据运动对象的运动来首先设置一区域，可按照与运动对象的运动相匹配的方式使受到处理的图像区域运动，并且可仅减轻包括有运动对象的区域的运动模糊，因此可有效减轻运动模糊。
图43给出了在选择了运动模糊将要减轻的区域这样一种情况下的操作流程图。
在步骤ST111，CPU61通过输入部分、通信部分等获取图像传感器10所产生的图像数据DVa，并且可将所获取的图像数据DVa存储在存储部分63中。
在步骤ST112，CPU61对每个像素的运动矢量MV进行检测，并且处理转到步骤ST113。
在步骤ST113，CPU61获取曝光时间参数HE，并且处理转到步骤ST114，在该步骤中根据曝光时间参数HE来对在步骤ST112所检测的运动矢量MV进行校正，由此产生运动矢量MVB。
在步骤ST115，CPU61确定是否选择了其中将要减轻运动模糊的图像区域。如果未选择该图像区域，那么处理转到步骤ST116，在该步骤中对整个屏幕执行运动模糊减轻图像产生处理以产生图像数据DVct，并且此后处理转到步骤ST119。如果已选择了该图像区域，那么处理转到步骤ST117，在该步骤中对所选择的区域进行更新。例如，通过根据所选区域中的运动对象的运动而使其运动模糊将被减轻的所选区域运动，所选区域可对运动对象进行追踪。在步骤ST118，对根据运动对象的运动而运动的所选区域执行运动模糊减轻图像产生处理以产生图像数据DVct，并且处理转到步骤ST119。
在步骤ST119，CPU61确定是否存储有与执行时间分辨率创建的帧数目一样多的运动模糊减轻图像的图像数据DVct。如果未存储，那么处理回到步骤ST112，并且如果已存储，那么处理转到步骤ST120。
在步骤ST120，根据频率信息HF，CPU61通过利用在步骤ST112所检测的运动矢量MV将运动矢量分配给所要产生的帧的像素，因此产生运动矢量MVC。
在步骤ST121，通过利用频率信息HF、运动模糊减轻图像的图像数据DVct、以及所分配的运动矢量MVC，CPU61执行时间分辨率创建处理以产生将要最新创建的帧的图像数据DVft。
在步骤ST122，CPU61确定该处理是否应结束。如果图像数据DVa仍未结束或者仍未执行结束操作，那么处理回到步骤ST112。如果图像数据DVa已结束或者已执行了结束操作，那么结束该处理。
通过这样执行该处理，可减轻根据区域选择信息HA所选择的区域的运动模糊，并且使用运动模糊减轻图像以便可执行时间分辨率创建。
工业实用性如上所述，本发明所涉及的用于处理图像的装置、用于处理图像的方法、以及其程序可用在运动矢量的检测以及通过利用所检测的运动矢量的图像处理过程中，由此非常适用于对运动对象的图像处理。
权利要求
1.一种用于对图像进行处理的装置，所述装置包括运动矢量检测装置，用于通过利用由多个像素所组成的且通过具有时间积分效果的图像传感器所获取的图像来对运动矢量进行检测；时间分辨率创建装置，用于通过利用运动矢量检测装置所检测的运动矢量以及由多个像素所组成的图像而产生具有比由多个像素所组成的图像更高时间分辨率的一图像；以及运动模糊减轻图像产生装置，在假定图像中的运动对象的像素的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值的情况下，其中所述每个像素在运动对象运动时其中不存在与运动对象相对应的运动模糊，该运动模糊减轻图像产生装置用于通过利用运动矢量检测装置所检测的运动矢量来产生其中减轻了运动对象的运动模糊的运动模糊减轻图像。
2.根据权利要求1的用于对图像进行处理的装置，其中运动矢量检测装置通过利用其每一个均是由多个像素所组成的且由图像传感器所获取的多个图像来对运动矢量进行检测，并且根据所检测的运动矢量为具有更高时间分辨率的图像产生一运动矢量以将该运动矢量提供给时间分辨率创建装置。
3.根据权利要求1的用于对图像进行处理的装置，其中运动矢量检测装置通过利用其每一个均是由多个像素所组成的且由图像传感器所获取的多个图像来对运动矢量进行检测，根据曝光时间对所检测的运动矢量进行校正，并且将其提供给运动模糊减轻图像产生装置。
4.根据权利要求1的用于对图像进行处理的装置，其中时间分辨率创建装置使用运动模糊减轻图像以产生具有比运动模糊减轻图像更高时间分辨率的图像。
5.根据权利要求4的用于对图像进行处理的装置，其中时间分辨率创建装置包括类别确定装置，用于通过利用运动矢量检测装置所检测的运动矢量来确定所要创建的具有更高时间分辨率的图像中的目标像素的运动矢量，从运动模糊减轻图像中提取与目标像素相对应的多个像素作为类别抽头，并且根据类别抽头的像素值来确定与目标像素相对应的类别；存储装置，用于在第一图像与第二图像之间为每个类别学习下述预测系数以对所产生的用于每个类别的预测系数进行存储，所述预测系数每个都用于根据第一图像中的多个像素来预测目标像素，所述第一图像具有与运动模糊减轻图像相对应的时间分辨率，所述第二图像具有比第一图像更高的时间分辨率，所述第一图像中的所述多个像素与第二图像中的目标像素相对应；以及预测值产生装置，用于从存储装置中检测出与类别确定装置所确定的类别相对应的预测系数，从运动模糊减轻图像中提取与所要产生的图像中的目标像素相对应的多个像素作为预测抽头，并且根据从存储装置中所检测的预测系数与预测抽头的一维线性组合而产生与目标像素相对应的预测值。
6.一种用于对图像进行处理的方法，所述方法包括运动矢量检测步骤，用于通过利用由具有时间积分效果的图像传感器所获取的由多个像素所组成的图像来对运动矢量进行检测；时间分辨率创建步骤，用于通过利用在运动矢量检测步骤中所检测的运动矢量以及由多个像素所组成的图像而产生具有比由多个像素所组成的图像更高时间分辨率的图像；以及运动模糊减轻图像产生步骤，在假定图像中的运动对象的像素的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值的情况下，其中所述每个像素在运动对象运动时其中不存在与运动对象相对应的运动模糊，该步骤用于通过利用在运动矢量检测步骤所检测的运动矢量来产生其中减轻了运动对象的运动模糊的运动模糊减轻图像。
7.根据权利要求6的用于对图像进行处理的方法，其中在运动矢量检测步骤，通过利用其每一个均是由多个像素所组成的且由图像传感器所获取的多个图像来对运动矢量进行检测，并且根据所检测的运动矢量为具有更高时间分辨率的图像产生一运动矢量并将该运动矢量提供给时间分辨率创建步骤。
8.根据权利要求6的用于对图像进行处理的方法，其中在运动矢量检测步骤，通过利用其每一个均是由多个像素所组成的且由图像传感器所获取的多个图像来对运动矢量进行检测，并且根据曝光时间对所检测的运动矢量进行校正并将其提供给运动模糊减轻图像产生步骤。
9.根据权利要求6的用于对图像进行处理的方法，其中在时间分辨率创建步骤，使用运动模糊减轻图像以产生具有比运动模糊减轻图像更高时间分辨率的图像。
10.根据权利要求9的用于对图像进行处理的方法，其中时间分辨率创建步骤包括类别确定步骤，用于通过利用在运动矢量检测步骤所检测到的运动矢量来确定所要创建的具有更高时间分辨率的图像中的目标像素的运动矢量，从运动模糊减轻图像中提取与目标像素相对应的多个像素作为类别抽头，并且根据类别抽头的像素值来确定与目标像素相对应的类别；存储步骤，用于在第一图像与第二图像之间为每个类别学习下述预测系数以对所产生的用于每个类别的预测系数进行存储，所述预测系数每个都用于根据第一图像中的多个像素来预测目标像素，所述第一图像具有与运动模糊减轻图像相对应的时间分辨率，所述第二图像具有比第一图像更高的时间分辨率，第一图像中的所述多个像素与第二图像中的目标像素相对应；以及预测值产生步骤，用于从存储步骤中检测出与类别确定步骤所确定的类别相对应的预测系数，从运动模糊减轻图像中提取与所要产生的图像中的目标像素相对应的多个像素作为预测抽头，并且根据从存储步骤中所检测到的预测系数与预测抽头的一维线性组合而产生与目标像素相对应的预测值。
11.一种可使计算机执行下述步骤的程序运动矢量检测步骤，用于通过利用由具有时间积分效果的图像传感器所获取的由多个像素所组成的图像来对运动矢量进行检测；时间分辨率创建步骤，用于通过利用在运动矢量检测步骤中所检测的运动矢量以及由多个像素所组成的图像而产生具有比由多个像素所组成的图像更高时间分辨率的图像；以及运动模糊减轻的图像产生步骤，在假定图像中的运动对象的像素的像素值是通过在时间方向上对下述每个像素的像素值进行积分所获得的值的情况下，其中所述每个像素在运动对象运动时其中不存在与运动对象相对应的运动模糊，该步骤用于通过利用在运动矢量检测步骤所检测的运动矢量来产生其中减轻了运动对象的运动模糊的运动模糊减轻图像。
全文摘要
运动矢量确定部分(30a)通过利用其每一个均由多个像素所组成的且通过具有时间积分效果的图像传感器所获取的图像来确定运动矢量。时间分辨率创建部分(90)通过使用所确定的运动矢量以及其每一个均由多个像素所组成的图像而产生具有高时间分辨率的图像。运动模糊减轻图像产生部分(40)获得图像中的运动对象的像素的像素值，作为通过对其中不存在对应于运动对象的运动模糊的像素的像素值进行偏移同时在时间上进行积分而获得的值。运动模糊减轻图像产生部分(40)然后利用所检测的运动矢量来产生其中已经减轻了运动对象的运动模糊的运动模糊减轻图像。
文档编号G06T5/20GK1765123SQ20058000013
公开日2006年4月26日 申请日期2005年2月10日 优先权日2004年2月13日
发明者近藤哲二郎, 金丸昌宪 申请人:索尼株式会社