专利名称：图像处理装置、图像处理方法及图像处理程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法及图像处理程序。详细地说，以关注图像内的像素为单位来进行运动向量的设定，根据该运动向量，对作为处理对象的多个图像中的每个图像设定关注像素。另外，根据运动向量和以像素为单位来设定的曝光时间的比率，以像素为单位来设定运动模糊量，根据该运动模糊量来设定处理系数和对关注像素的处理区域，通过与处理区域内的像素对应的像素值和处理系数的线性结合，生成与关注像素对应的运动模糊去除后的像素值。
背景技术：
以往，使用传感器将现实世界中的现象进行数据化。使用该传感器获取的数据是将现实世界的信息(例如光)投影到维度比现实世界低的时间空间而得到的信息。因此，进行投影而得到的信息具有因投影而产生的失真。例如，在用摄像机拍摄在静止的背景前运动的物体而作为图像信号进行数据化的情况下，由于对现实世界的信息进行采样并数据化，因此在基于图像信号显示的图像中，作为因投影而产生的失真，产生运动中的物体变模糊的运动模糊。
因此，如在特开2001-250119号公报(对应美国申请号09/830858，对应欧洲专利公开号EP 1164545)中所公开的那样，例如通过检测出包含在输入图像中的与前景目标(object)对应的图像目标的轮廓，粗略地提取与前景目标对应的图像目标，并检测出与该粗略提取出的前景目标对应的图像目标的运动向量，使用检测出的运动向量和运动向量的位置信息来降低运动模糊。
发明内容
另外，在这种以往的运动模糊去除处理中，通过进行与生成输入图像中的运动模糊这部分的模糊量相应的空间处理，从而进行模糊去除。但是，在运动图像中也进行相同的空间上完成的处理，因此发生处理后的分辨率不足的情况。另外，在还使用时间方向的信息进行处理的情况下，较之与快门速度的关系由照像机侧的设定来决定实际的图像曝光时间，因此物体的运动量和输入图像的模糊量未必一致，因此，仅容易地使用输入图像的模糊量或运动量，也不能有意义地灵活运用时间方向的信息来进行处理。
本发明所涉及的图像处理装置具备运动向量设定部，其以关注图像内的像素为单位来设定运动向量；关注像素设定部，其根据由运动向量设定部设定的运动向量，对作为处理对象的多个图像中的每个图像设定关注像素；曝光时间比率设定部，其以图像为单位来设定作为关注图像的时间间隔和曝光时间的比率的曝光时间比率；运动模糊量设定部，其根据由运动向量设定部以像素为单位设定的运动向量和由曝光时间比率设定部设定的曝光时间比率，以像素为单位来设定运动模糊量；处理区域设定部，其根据由运动模糊量设定部设定的运动模糊量以及与运动向量对应的运动方向，设定对由关注像素设定部设定的每个图像的关注像素的处理区域；处理系数设定部，其基于由运动模糊量设定部设定的关注像素的运动模糊量，设定特定的处理系数，或者根据关注像素的运动模糊量和运动方向来设定处理系数；和像素值生成部，其利用从与对每个图像设定的处理区域内的像素对应的像素值根据运动方向而生成的新的处理用的像素值与由处理系数设定部设定的特定的处理系数的线性结合、或者与处理区域内的像素对应的像素值和根据关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与关注像素对应的像素值。
本发明所涉及的图像处理方法具有运动向量设定工序，以关注图像内的像素为单位来设定运动向量；关注像素设定工序，根据由运动向量设定工序设定的运动向量，对作为处理对象的多个图像中的每个图像设定关注像素；曝光时间比率设定工序，以图像为单位来设定作为关注图像的时间间隔和曝光时间的比率的曝光时间比率；运动模糊量设定工序，根据由运动向量设定工序以像素为单位设定的运动向量以及由曝光时间比率设定工序设定的曝光时间比率，以像素为单位来设定运动模糊量；处理区域设定工序，根据由运动模糊量设定工序设定的运动模糊量以及与运动向量对应的运动方向，设定对由关注像素设定工序设定的每个图像的关注像素的处理区域；处理系数设定工序，基于由运动模糊量设定工序设定的关注像素的运动模糊量，设定特定的处理系数，或者根据关注像素的运动模糊量和运动方向来设定处理系数；和像素值生成工序，利用从与对每个图像设定的处理区域内的像素对应的像素值根据运动方向而生成的新的处理用的像素值与由处理系数设定工序设定的特定的处理系数的线性结合、或者与处理区域内的像素对应的像素值和根据关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与关注像素对应的像素值。
本发明所涉及的图像处理程序使计算机执行如下步骤运动向量设定步骤，以关注图像内的像素为单位来设定运动向量；关注像素设定步骤，根据由运动向量设定步骤设定的运动向量，对作为处理对象的多个图像中的每个图像设定关注像素；曝光时间比率设定步骤，以图像为单位来设定作为关注图像的时间间隔和曝光时间的比率的曝光时间比率；运动模糊量设定步骤，根据由运动向量设定步骤以像素为单位设定的运动向量以及由曝光时间比率设定步骤设定的曝光时间比率，以像素为单位来设定运动模糊量；处理区域设定步骤，根据由运动模糊量设定步骤设定的运动模糊量以及与运动向量对应的运动方向，设定对由关注像素设定步骤设定的每个图像的关注像素的处理区域；处理系数设定步骤，基于由运动模糊量设定步骤设定的关注像素的运动模糊量，设定特定的处理系数，或者根据关注像素的运动模糊量和运动方向来设定处理系数；和像素值生成步骤，利用从与对每个图像设定的处理区域内的像素对应的像素值根据运动方向而生成的新的处理用的像素值与由处理系数设定步骤设定的特定的处理系数的线性结合、或者与处理区域内的像素对应的像素值和根据关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与关注像素对应的像素值。
在本发明中，以关注图像内的像素为单位来设定运动向量，根据该运动向量对作为处理对象的多个图像中的每个图像设定关注像素。另外，根据运动向量和以像素为单位设定的曝光时间比率，以像素为单位来设定运动模糊量。根据该运动模糊量以及与运动向量对应的运动方向来设定处理区域，利用从与处理区域内的像素对应的像素值根据运动方向而生成的新的处理用的像素值与被设定的特定的处理系数的线性结合、或者与处理区域内的像素对应的像素值和根据关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与关注像素对应的像素值。另外，综合处理与每个图像的关注像素对应的运动模糊去除后的像素值，作为单一的像素值而输出。另外，对于不用快门(ノ一シヤツタ)动作拍摄的图像，将所设定的运动向量的运动量用作运动模糊量。进而，以像素以下单位来设定运动向量的运动量。
发明的效果根据本发明，以关注图像内的像素为单位来设定运动向量，根据该运动向量对作为处理对象的多个图像中的每个图像设定关注像素。另外，根据运动向量和以像素为单位设定的曝光时间比率，以像素为单位来设定运动模糊量。根据该运动模糊量以及与运动向量对应的运动方向来设定处理区域，利用从与处理区域内的像素对应的像素值根据运动方向而生成的新的处理用的像素值与被设定的特定的处理系数的线性结合、或者与处理区域内的像素对应的像素值和根据关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与关注像素对应的像素值。
因而，不仅能够使用空间方向的信息、还能够使用时间方向的信息来获取包含在图像信号内的现实世界信息，能够再现从受到图像传感器中的失真的运动模糊图像去除运动模糊的分辨率高的图像。
另外，关于处理系数，以像素以下单位来设定运动向量的运动量，因此能够高精确度地去除运动模糊。而且，综合处理与每个图像的关注像素对应的运动模糊去除后的像素值，并作为单一的像素值而输出，因此能够得到例如噪声较少的运动模糊去除图像等。另外，对于不用快门动作拍摄的图像，将所设定的运动向量的运动量用作运动模糊量，因此能够容易地进行运动模糊去除处理。
图1是表示系统结构的图。
图2是用于说明由图像传感器进行拍摄的图。
图3A和图3B是用于说明拍摄图像的图。
图4是用于说明像素值的时间方向分割动作的图。
图5是用于说明进行了快门动作时的像素值的时间方向分割动作的图。
图6是图像处理装置的功能框图。
图7是表示使用软件时的图像处理装置的结构的图。
图8是曝光时间比率设定部的功能框图。
图9是区域确定部的功能框图。
图10是用于说明区域判断处理的图。
图11是表示理想的混合比的图。
图12是用于说明处理区域的图。
图13A和图13B是表示处理区域的图。
图14是用于说明像素值的计算方法的图。
图15是表示图像处理的流程图。
图16是表示通过学习而求出处理系数并进行模糊去除处理的情况下的结构的图。
图17是学习部的功能框图。
图18是用于说明离散地选择预测抽头时的动作的图。
图19是用于说明计算活度的图。
图20是表示处理系数的学习处理的流程图。
图21是使用了类分类的图像处理的流程图。
图22是在进行类分类的情况下的学习部的功能框图。
图23是表示使用了类分类的处理系数的学习处理的流程图。
图24是用于说明处理区域的图。
图25A和图25B是表示处理区域的设定例的图。
图26是用于说明处理区域中的现实世界变量的时间混合的图。
图27是表示0.5像素单位的累加模型的图。
图28是图像处理装置的其它功能框图。
图29是限定于不用快门动作时的图像处理装置的功能框图。
图30是进行积和运算时的图像处理装置的功能框图。
具体实施例方式
下面参照
本发明的实施方式。图1是表示应用本发明的系统的结构的框图。图像传感器10生成拍摄了现实社会的图像信号DVa并提供给图像处理装置20。图像处理装置20提取包含在所提供的输入图像的图像信号DVa中的信息，生成提取出被包含的信息的图像信号DVout并输出。另外，图像处理装置20也可以使用从外部提供的各种信息ET，提取包含在图像信号DVa中的信息。
图像传感器10由具备作为固体摄像元件的CCD(Charge-Coupled Device电荷耦合器件)区域传感器、MOS区域传感器的摄像机等构成，对现实社会进行摄像。例如，如图2所示，当与前景对应的运动目标OBf在图像传感器10和与背景对应的目标OBb之间沿箭头A方向进行移动时，图像传感器10将对应于前景的运动目标OBf与对应于背景的目标OBb一起拍摄。
该图像传感器10的检测元件在与曝光时间对应的期间，将所输入的光转换为电荷，蓄积进行了光电转换的电荷。电荷的量与所输入的光的强度和光被输入的时间大致成比例。检测元件在与曝光时间对应的期间，将从所输入的光进行了变换的电荷添加到已经蓄积的电荷中。即，检测元件在与曝光时间对应的期间对所输入的光进行积分，蓄积与所积分的光对应的量的电荷。也可以说检测元件对时间有积分效果。这样，由图像传感器进行光电变换，以像素为单位将所输入的光变换为电荷并以曝光时间为单位来蓄积。根据该蓄积的电荷量来生成像素信号，使用该像素信号生成所希望的帧速率的图像信号并提供给图像处理装置。此外，图像传感器的曝光时间是如上所述由图像传感器将输入的光转换为电荷并在检测元件中蓄积该电荷的期间，在不进行快门动作时与图像时间间隔(1帧期间)相等。另外，在进行快门动作时与快门开时间相等。
图3A和图3B是用于说明由图像信号表示的摄像图像的图。图3A示出了对与运动中的前景对应的运动目标OBf以及与静止的背景对应的目标OBb进行拍摄而得到的图像。另外，设与前景对应的运动目标OBf向箭头A方向水平移动。
图3B示出了如图3所示向箭头A方向延伸的线L(用虚线表示)的位置上的图像和时间的关系。运动目标OBf的线L上的移动方向的长度例如是9个像素，当在1个曝光时间中移动5像素的情况下，在帧期间开始时处于像素位置P21的前端和处于像素位置P13的后端，分别在像素位置P25、P17结束曝光时间。另外，在没有进行快门动作时，1帧中的曝光时间与1帧期间相等， 因此在下一帧期间开始时前端成为像素位置P26、后端成为像素位置P18。
因此，在线L的帧期间，到像素位置P12为止和从像素位置P26起成为仅有背景成分的背景区域。另外，像素位置P17～P21成为仅有前景成分的前景区域。像素位置P13～P16和像素位置P22～P25成为混合了背景成分和前景成分的混合区域。混合区域分为覆盖背景区域和未覆盖背景区域，其中覆盖背景区域是背景成分对应于时间的经过而被前景遮盖的区域，未覆盖背景区域是背景成分对应于时间的经过而出现的区域。另外，在图3B中，位于前景的目标OBf的前进方向前端侧的混合区域成为覆盖背景区域，位于后端侧的混合区域成为未覆盖背景区域。这样，在图像信号中包含如下图像，所述图像包括前景区域、背景区域、或者覆盖背景区域或未覆盖背景区域。
在此，图像时间间隔是短时间，假设与前景对应的运动目标OBf是刚体且匀速地移动，如图4所示进行线L中的像素值的时间方向分割动作。在该时间方向分割动作中，将像素值在时间方向上进行扩展并以假想的分割数等时间间隔地进行分割。此外，在图4中纵方向对应于时间，图中时间从上向下经过。
对应于运动目标的图像时间间隔中的运动量v等而设定假想分割数。例如，1帧期间内的运动量v如上所述是5像素时，对应于运动量v而将假想分割数设定为“5”，以等时间间隔对1帧期间进行5分割。
另外，设在拍摄了与背景对应的目标OBb时得到的像素位置Px的1帧期间的像素值为Bx，使线L上的与长度为9像素的前景对应的运动目标OBf静止而进行拍摄时，将在各像素处得到的像素值设为F09(前端侧)～F01(后端侧)。
在这种情况下，例如由式(1)表示像素位置P14的像素值DP14。
DP14＝B14/v+B14/v+B14/v+F01/v+F02/v…(1)在该像素位置P14处包含3个假想分割时间(帧期间/v)的背景成分、并包含2个假想分割时间的前景成分，因此对像素值的背景成分的混合比α成为(3/5)。同样地，例如在像素位置P22处包含1假想分割时间的背景成分、并包含4假想分割时间的前景成分，因此混合比α为(1/5)。
另外，在进行快门动作而使表示曝光时间相对1帧期间的比率的曝光时间比率发生变化时，例如在曝光时间比率为“3/5”时，如图5所示进行1帧期间中的像素值的时间方向分割动作，以与曝光时间比率相应的假想分割数等时间间隔地分割像素值。
对应于运动目标的图像时间间隔内的运动量v等而设定假想分割数。例如，在如上所述1帧期间内的运动量v是5像素时，对应于运动量v而将假想分割数设定为“5”，以等时间间隔将1帧期间进行5分割。
在这种情况下，例如由式(2)示像素位置P14的像素值DP14。
DP14＝B14/v+F01/v+F02/v…(2)在该像素位置P14处包含1个假想分割时间(帧期间/v)的背景成分、并包含2个假想分割时间的前景成分，因此混合比α为(1/3)。同样地，例如在像素位置P24处包含1个假想分割时间的背景成分、并包含2个假想分割时间的前景成分，因此混合比α为(1/3)另外，在进行了快门动作时，能够将曝光时间比率和1帧期间内的运动量v相乘来算出曝光时间内运动量vs。
这样，前景成分进行移动，因此在1个曝光时间内对不同的前景的成分进行加法运算，所以与运动目标对应的前景的区域包含运动模糊。因此，在图像处理装置20中，提取包含在图像信号中的有用信息，生成使与前景对应的运动目标OBf的运动模糊减轻的图像信号DVout。
图6是图像处理装置的功能框图。此外，不限于图像处理装置的各功能是由硬件来实现还是由软件来实现。即，图6的功能块既可以由硬件来实现，也可以由软件来实现。
在此，例如在图7中示出使用软件时的图像处理装置20的结构。CPU(Central Processing Unit中央处理单元)201按照存储在ROM(Read Only Memory只读存储器)202或存储部208中的程序来执行各种处理，在ROM202、存储部208中存储实现图像处理装置的各功能的程序。在RAM(Random Access Memory随机存取存储器)203中适当地存储CPU201所执行的程序、数据等。这些CPU201、ROM202以及RAM203通过总线204相互连接。
另外，在CPU201上通过总线204连接有输入输出接口205。在输入输出接口205上连接有由键盘、鼠标、麦克风等构成的输入部206、由显示器、扬声器等构成的输出部207。CPU201对应于从输入部206输入的指令而执行各种处理。而且，CPU201将处理的结果所得到的图像、声音等输出到输出部207。
连接在输入输出接口205上的存储部208例如由硬盘等构成，存储CPU201所执行的程序、各种数据。通信部209通过因特网、其它网络与外部装置进行通信。在这种例子的情况下，通信部209作为取入传感器输出的获取部而动作。另外，也可以通过通信部209获取程序，并存储到存储部208中。
连接在输入输出接口205上的驱动器210在安装了磁盘、光盘、磁光盘或半导体存储器等记录介质时对它们进行驱动，获取记录在记录介质中的程序、数据等。将获取的程序、数据根据需要传送到存储部208并存储。
如图6所示，将提供给图像处理装置20的输入图像的图像信号DVa，提供给运动向量设定部31的运动向量估计部311和曝光时间比率设定部32以及关注像素设定部35。
运动向量估计部311根据图像信号DVa来估计关注图像的每个像素的运动向量vpa，将估计的运动向量vpa提供给运动向量选择部312。在该运动向量估计部311中，通过使用块匹配法、梯度法等方法，能够估计每个像素的运动向量。在此，关注图像表示在提供给图像处理装置20的输入图像中进行运动模糊处理的图像，关注像素表示在关注图像内进行运动模糊处理的像素。
在运动向量选择部312中，当从外部提供了运动向量vpb作为信息ET时可输入该运动向量vpb，选择从运动向量估计部311提供的运动向量vpa或从外部提供的运动向量vpb，作为运动向量vp而提供给模糊量设定部33和关注像素设定部35。另外，根据存储在后述的处理系数设定部37中的处理系数，将运动向量vp提供给处理区域设定部36、处理系数设定部37、像素值生成部35。关于运动向量的选择，当作为例如由用户进行的操作而使用从关注图像检测出的运动向量来进行运动模糊处理时，选择从运动向量估计部311提供的运动向量vpa。另外，当设定运动模糊处理中所使用的运动向量时，选择已输入的运动向量vpb。
曝光时间比率设定部32以像素为单位来设定关注图像的时间间隔中的表示曝光时间的比例的曝光时间比率ER。例如能够使用公开在特开2003-6648号公报中的技术来设定该曝光时间比率ER。
图8是曝光时间比率设定部32的功能框图。曝光时间比率设定部32的目标提取部321根据图像信号DVa，粗略地提取包含在关注图像中的与运动的目标对应的图像目标OBm，将提取出的图像目标OBm提供给运动检测部322。例如，如上所述通过检测出与正在运动的前景目标对应的图像目标的轮廓，从而粗略地提取出图像目标OBm而提供给运动检测部322。此外，图像目标OBm表示成为摄像对象的与现实世界中的目标对应的图像。
另外，目标提取部321也可以根据例如设置在内部的背景存储器中存储的背景图像和关注图像的差，粗略地提取出与正在运动的前景目标对应的图像目标OBm。
运动检测部322使用如上所述的运动向量检测法来检测粗略地提取出的图像目标OBm的帧间运动向量的运动量vm，并提供给比率运算部325。另外，在包含有多个运动的图像目标时，运动检测部322对每个图像目标求出帧间运动向量，使用统计方法从求出的多个帧间运动向量中决定1个帧间运动向量的运动量vm。作为该统计方法，可以使用简单平均、根据目标的显示面积、显示位置进行加权后算出平均的加权平均、中值等。
区域确定部323对关注图像确定作为运动部分的前景区域、作为静止部分的背景区域、作为混合区域的覆盖背景区域和未覆盖背景区域，将表示确定结果的区域信息JF提供给混合比计算部324。
图9是区域确定部323的功能框图。图像存储器323a以帧为单位存储输入的图像信号DVa。当关注图像是(t)帧时，图像存储器323a存储作为(t)帧的两个之前的帧的(t-2)帧、作为(t)帧前一帧的(t-1)帧、(t)帧、作为(t)帧后一帧的(t+1)帧、以及作为(t)帧的两个之后的帧的(t+2)帧。
静动判断部323b求出连续的2帧的每个像素的帧间差分绝对值，判断帧间差分绝对值是否大于预先设定的阈值Th，在帧间差分绝对值大于阈值Th时判断为运动，在帧间差分绝对值在阈值Th以下时判断为静止。
区域判断部323c如图10所示进行如下区域判断处理使用由静动判断部323b得到的判断结果，判断像素属于前景区域、背景区域、作为混合区域的覆盖背景区域、未覆盖背景区域中的哪一个。
例如，首先将(t-1)帧和(t)帧的静动判断结果是静止的像素判断为背景区域的像素。另外，将(t)帧和(t+1)帧的静动判断结果是静止的像素判断为背景区域的像素。然后，将(t-2)帧和(t-1)帧的静动判断结果是静止、(t-1)帧和(t)帧的静动判断结果是运动的像素判断为覆盖背景区域的像素。另外，将(t)帧和(t+1)帧的静动判断结果是运动、(t+1)帧和(t+2)帧的静动判断结果是静止的像素判断为未覆盖背景区域的像素。之后，将(t-1)帧和(t)帧的静动判断结果与(t)帧和(t+1)帧的静动判断结果都是运动的像素判断为前景区域的像素。
混合比计算部324根据图像信号DVa以及从区域确定部323提供的区域信息JF而算出混合比α，将算出的混合比α提供给比率运算部325。该混合比α如上所述是表示像素值中的背景成分的比例的值。
在此，通过假设与前景对应的目标在曝光时间内匀速地运动，属于混合区域的像素的混合比α对应于像素的位置变化而直线地变化。例如，设像素位置的变化为1维，则混合比α的变化能够以直线来表示。而且，由于1帧的期间较短，因此在假设与前景对应的目标是刚体且匀速地进行移动时，混合比α的斜率与前景的曝光时间内运动量vs成反比。此外，对多个混合区域进行混合比α的计算，当算出多个混合比α时，如上所述使用统计方法来决定1个混合比α。此外，图11示出了理想的混合比α，在前景区域中混合比α＝0，在背景区域中混合比α＝1。另外，混合区域中的混合比α的斜率α1表示曝光时间内运动量vs的倒数。
比率运算部325根据从混合比计算部324提供的混合比α，计算出混合区域中的斜率α1的倒数，求出曝光时间内运动量vs。而且，将曝光时间内运动量vs除以从运动检测部322供给的帧间运动向量的运动量vm，设定表示曝光时间相对关注图像的时间间隔的比率的曝光时间比率ER，并提供给模糊量设定部33。
模糊量设定部33的运算部331通过对从运动向量设定部31提供的每个像素的运动向量的运动量乘以曝光时间比率ER，从而算出每个像素的运动模糊量MBa并提供给运动模糊量选择部332。
在从外部向运动模糊量选择部332提供运动模糊量MBb作为信息ET时，可输入该运动模糊量MBb，选择从运算部331提供的运动模糊量MBa、从外部输入的运动模糊量MBb中的任一个作为运动模糊量MBp，并提供给处理区域设定部36、处理系数设定部37。
关注像素设定部35包含关注图像来设定多个处理对象图像，根据由运动向量设定部31设定的运动向量vp，检测与关注图像的关注像素对应的处理对象图像上的像素，将该检测出的图像设定为各处理对象图像的关注像素。进而，将设定了关注像素的多个处理对象图像的图像信号提供给处理区域设定部36。
例如，当设(t)帧图像为关注图像时，设(t-1)帧、(t)帧、(t+1)帧的图像为处理对象图像。在此，根据运动向量vp，将与关注图像的关注像素对应的(t-1)帧、(t+1)帧的图像上的像素设定为关注像素。进而，将(t)帧的处理对象图像的图像信号DVa(t)提供给处理区域设定部36的(t)帧抽头选择部362，将设定了关注像素的(t-1)帧的处理对象图像的图像信号DVa(t-1)提供给(t-1)帧抽头选择部361，将设定了关注像素的(t+1)帧的处理对象图像的图像信号DVa(t+1)提供给(t+1)帧抽头选择部363。
此外，当关注图像的关注像素在(t+1)帧仅移动运算向量vp的情况下，如果移动(t+1)帧的图像使得返回运算向量vp，则关注图像的关注像素和移动后的(t+1)帧的关注像素的位置相同，并能够使处理区域设定部36中的处理区域的设定变得容易。
另外，成为基准的关注图像不限于(t)帧的图像，也可以将(t-1)帧、(t+1)帧的图像设为关注图像。进而，关于将关注图像的哪个像素设为关注像素，从外部指定关注像素，或将关注图像内的像素依次自动地指定为关注像素。这样，可以仅对所希望的像素进行运动模糊去除处理，或对全部关注像素自动地进行运动模糊去除处理。另外，如果从外部指定范围而将该范围内的像素依次自动地指定为关注像素，则可对所希望的范围进行运动模糊去除处理。
处理区域设定部36的(t-1)帧抽头选择部361根据由模糊量设定部33设定的运动模糊量MBp和对应于运动向量vp的运动方向，设定对从关注像素设定部35提供的处理应对图像中的关注图像的处理区域。进而，将处理区域的像素值提供给像素值生成部38的模糊去除处理部381。
图12示出了处理区域，将圆标记所示的关注像素作为基准而设定处理区域WA。在此，在处理系数设定部37中预先存储基于运动模糊量和运动方向的处理系数的情况下，处理区域WA在空间上如图13A所示，以黑圆标记所示的关注像素为基准而在由箭头所示的运动方向上，设定与运动模糊量MBp相应的处理区域WA。另外，在将特定的处理系数例如以运动方向为水平方向时的处理系数预先存储在后述的处理系数设定部37中的情况下，如图13B所示，以黑圆标记所示的关注像素为基准而在与由箭头所示的运动方向正交的方向上具有宽度，在运动方向上设定与运动模糊量MBp相应的处理区域WA，能够通过插值等而生成与处理系数线性结合的像素位置(三角标记)的像素值。例如，在将生成处理系数时的运动方向设为水平方向时，在产生了相对于该水平具有角度差θ的运动方向的运动模糊的情况下，如图1 4所示，使用周边的像素位置Pw1、Pw2、Pw3、Pw4的像素值根据式(3)计算由三角标记表示的位置Pwa的像素值DPw。
DPwa＝(1-βh)×(1-βv)×DPw1+βh×(1-βv)×DPw2+(1-βh)×βv×DPw3+βh×βv×DPw4 …(3)其中，在式(3)中，βh＝cosθ，βv＝sinθ，DPw1是像素位置Pw1的像素值，DPw2～DPw4是像素位置Pw2～Pw4的像素值。
另外，当1帧期间内的被摄体的移动量多时运动模糊量MBp较大，当移动量少时运动模糊量MBp较小。因而，在运动模糊量MBp较大时在运动方向上较宽地设定处理区域WA。
(t)帧抽头选择部362、(t+1)帧抽头选择部363也与(t-1)帧抽头选择部361同样地，分别以从关注像素设定部35供给的处理对象图像中的关注像素为基准，如上所述设定基于由模糊量设定部33设定的运动模糊量MBp和对应于运动向量vp的运动方向的处理区域。进而，将处理区域的像素值提供给模糊去除处理部382、383。
处理系数设定部37使用存储器而构成，预先存储有基于运动模糊量MBp的特定的处理系数、或者基于运动模糊量MBp以及与运动向量vp对应的运动方向的处理系数。处理系数设定部37在存储基于运动模糊量MBp的特定的处理系数时，从存储器中读出与从模糊量设定部33提供的运动模糊量MBp相应的特定的处理系数，并提供给模糊去除处理部381、382、383，由此进行处理系数的设定。另外，在存储基于运动模糊量MBp和对应于运动向量vp的运动方向的处理系数时，从存储器中读出与从模糊量设定部33提供的运动模糊量MBp及基于由运动向量选择部312选择的运动向量vp的运动方向相应的处理系数，并提供给模糊去除处理部381、382、383，由此进行处理系数的设定。
像素值生成部38的模糊去除处理部381当从处理系数设定部37提供基于运动模糊量MBp的特定的处理系数时，使用从(t-1)帧抽头选择部361提供的处理区域的像素值，通过插值等生成与处理系数线性结合的像素位置的像素值。进而，使用生成的像素值和所提供的处理系数进行线性结合，生成模糊去除处理后的像素值并提供给综合部39。模糊去除处理部382使用从(t)帧抽头选择部362提供的处理区域的像素值，通过插值等生成与处理系数线性结合的像素位置的像素值。进而，使用生成的像素值和所提供的处理系数进行线性结合，生成模糊去除处理后的像素值并提供给综合部39。模糊去除处理部383使用从(t+1)帧抽头选择部363提供的处理区域的像素值和从处理系数设定部37提供的处理系数进行线性结合，生成模糊去除处理后的像素值并提供给综合部39。
另外，像素值生成部38的模糊去除处理部381在从处理系数设定部37提供与运动模糊量和运动方向相应的处理系数时，使用从(t-1)帧抽头选择部361提供的处理区域的像素值和所提供的处理系数进行线性结合，生成模糊去除处理后的像素值并提供给综合部39。同样地，模糊去除处理部382使用从(t)帧抽头选择部362提供的处理区域的像素值和所提供的处理系数进行线性结合，生成模糊去除处理后的像素值并提供给综合部39。另外，模糊去除处理部383使用从(t+1)帧抽头选择部363提供的处理区域的像素值和所提供的处理系数进行线性结合，生成模糊去除处理后的像素值并提供给综合部39。
作为处理区域的像素值和处理系数的线性结合的一例，式(4)示出了进行积和运算的情况。
q′=Σi=0ndi×ci---(4)]]>在式(4)中，q′表示进行了模糊去除的像素的像素值。ci(i是1至n的整数值，表示处理范围内的各像素)表示处理区域的像素值。另外，di表示处理系数。
综合部39综合从模糊去除处理部381～383提供的模糊去除后的像素值，生成作为进行了运动模糊去除的图像的预测图像中的关注像素的像素值，作为图像信号DVout而输出。在该像素值的综合中使用统计处理。例如，能够使用简单平均、加权平均、中值滤波器等。在此，在加权平均中例如进行(t-1)帧的像素值∶t帧的像素值∶(t+1)帧的像素值＝2∶6∶2的加权而算出平均值。
图15表示利用软件来进行图像处理时的流程图。在步骤ST1中，CPU201对关注图像设定进行运动模糊去除的关注像素，并进入步骤ST2。在步骤ST2中，CPU201检测关注像素的运动向量并进入步骤ST3。在步骤ST3中，CPU201计算曝光时间比率。在步骤ST4中，CPU201检测关注像素的运动模糊量。即，使用在步骤ST2中检测出的运动向量和在步骤ST3中计算出的曝光时间比率来进行运算处理，检测关注像素的曝光时间内的运动模糊量。
在步骤ST5中，CPU201设定处理区域。即，CPU201根据关注图像的关注像素来设定处理对象图像，并对处理对象图像设定关注像素。进而，以各处理对象图像的关注像素为基准，设定与由步骤ST4求出的运动模糊量、对应于由步骤ST2检测出的运动向量的运动方向相应的处理区域，并进入步骤ST6。在步骤ST6中，进行处理系数的设定。在该处理系数的设定中，设定与运动量相应的特定的运动模糊去除用的处理系数、或者与运动量及由步骤ST2检测出的运动方向相应的运动模糊去除用的处理系数。
在步骤ST7中，CPU201使用由步骤ST6设定的处理系数，对各处理对象图像进行模糊去除处理。即，对各处理对象图像进行由步骤ST5设定的处理区域的像素值和由步骤ST6设定的处理系数的运算处理，对各处理对象图像的每个关注像素计算出进行了模糊去除的像素值并进入步骤ST8。
在步骤ST8中，CPU201进行在步骤ST7中对每个处理对象图像计算出的像素值的综合处理，将得到的像素值作为关注像素的运动模糊去除处理后的像素值而输出，并进入步骤ST9。在步骤ST9中，CPU201判断对处理范围的全部像素是否完成了模糊去除处理，当存在没有进行模糊去除处理的像素时返回步骤ST1，在对处理范围的全部像素完成了模糊去除时，结束对关注图像的图像处理。
这样，对应于关注图像的关注像素而对各处理对象图像设定关注像素，进行对各处理对象图像的运动模糊去除处理，由此得到对所希望的关注像素在时间方向上依次进行了运动模糊去除的像素值。即，通过利用现实世界信号的运动方向相对时间轴的稳定性，构建现实世界信号，综合对各处理对象图像的运动模糊去除处理结果，从而能够提高处理的精确度。
接着，说明通过学习来求出预先存储在处理系数设定部37中的处理系数并进行模糊去除处理的情况、以及从模型式求出处理系数并进行模糊去除处理的情况。
图16表示通过学习来求出处理系数并进行模糊去除处理的情况的结构。学习部51使用作为教师图像的静止图像和对该静止图像附加了运动模糊的学生图像来执行学习处理，将通过该学习而得的处理系数存储到图像处理装置20的处理系数设定部37中。图像处理装置20如上所述、从成为输入图像的包含运动模糊的图像设定对关注像素的处理区域，使用该处理区域的像素值和与存储在处理系数设定部37中的运动模糊量相应的处理系数进行运算处理，生成模糊去除后的像素值。
图17是学习部51的功能框图。学习部51的学生图像生成部511对作为输入图像的教师图像附加运动量或者与运动方向和运动量相应的运动模糊，从而生成学生图像并提供给预测抽头提取部512。
预测抽头提取部512对于进行模糊去除的关注像素，将多个像素设定为预测抽头，从学生图像中提取预测抽头的像素值，输出到标准方程式生成部513。
标准方程式生成部513根据从预测抽头提取部512提供的预测抽头的像素值以及教师图像的像素值，生成标准方程式，并提供给系数决定部514。系数决定部514根据从标准方程式生成部513提供的标准方程式，运算处理系数并存储到处理系数设定部37中。进一步说明该标准方程式生成部513和系数决定部514。
在上述的式(4)中，学习前各处理系数di分别是未定系数。通过输入多个教师图像(静止图像)的像素进行学习。当教师图像的像素存在m个、将m个的像素的像素值记述为“qk(k是1至m的整数值)”的情况下，从式(4)设定下式(5)。
即，式(5)通过进行右边的运算，能够得到与无运动模糊的实际像素值qk大致相等的模糊去除后的像素值qk′。此外，在式(5)中，不是相等而是近似相等是因为包含误差。即，因为作为右边的运算结果的模糊去除后的像素值与无运动模糊的实际图像中的关注线索的像素值不是严格一致，而是包含规定的误差。
在式(5)中，如果通过学习而求出使误差的平方和最小的处理系数di，则认为该处理系数di是用于使模糊去除后的像素值qk接近无运动模糊的像素值的最佳系数。因而，例如使用通过学习而收集的m个(其中，m是大于n的整数)像素值qk、利用最小平方法来决定最佳的处理系数di。
利用最小平方法来求出式(5)右边的处理系数di的情况下的标准方程式能够表示为式(6)。
Σk=1mc1k×c1kΣk=1mc1k×c2k····Σk=1mc1k×cnkΣk=1mc2k×c1kΣk=1mc2k×c2k····Σk=1mc2k×cnk············Σk=1mcnk×c1kΣk=1mcnk×c2k····Σk=1mcnk×cnkd1d2····dn=Σk=1mc1k×qkΣk=1mc2k×qk····Σk=1mcnk×qk...(6)]]>因此，能够通过解开式(6)所示的标准方程式来决定处理系数di。具体来说，在将式(6)所示的标准方程式的各矩阵分别定义为如下的式(7)至(9)时，标准方程式表示为如下的式(10)。
CMAT=Σk=1mc1k×c1kΣk=1mc1k×c2k....Σk=1mc1k×cnkΣk=1mc2k×c1kΣk=1mc2k×c2k....Σk=1mc2k×cnk............Σk=1mcnk×c1kΣk=1mcnk×c2k....Σk=1mcnk×cnk...(7)]]>
DMAT=d1d2····dn...(8)]]>QMAT=Σk=1mc1k×qkΣk=1mc2k×qk····Σk=1mcnk×qk...(9)]]>CMATDMAT＝QMAT… (10)如式(8)所示，矩阵DMAT的各分量是想要求出的处理系数di。因而，在式(10)中，如果决定左边的矩阵CMAT和右边的矩阵QMAT，则可通过矩阵解法来算出矩阵DMAT(即，处理系数di)。具体来说，如式(7)所示，只要已知预测抽头cik，就可运算矩阵CMAT的各分量。由预测抽头提取部512提取预测抽头cik，因此标准方程式生成部513能够分别利用从预测抽头提取部512提供的各预测抽头cik来运算矩阵CMAT的各分量。
另外，如式(9)所示，只要已知预测抽头cik和静止图像的像素值qk，就能够运算矩阵QMAT的各分量。预测抽头cik与包含在矩阵CMAT的各分量中的相同，另外，像素值qk是相对包含在预测抽头cik中的关注像素(学生图像的像素)的教师图像的像素。因此，标准方程式生成部513能够利用从预测抽头提取部512提供的预测抽头cik和教师图像，运算矩阵QMAT的各分量。
这样，标准方程式生成部513运算矩阵CMAT和矩阵QMAT的各分量，将该运算结果提供给系数决定部514。
系数决定部514运算上述式(8)的矩阵DMAT的各分量即处理系数di。具体来说，上述式(10)的标准方程式能够变形为下式(11)。
DMAT＝CMAT-1QMAT…(11)在式(11)中，左边的矩阵DMAT的各分量是求出的处理系数di。另外，分别从标准方程式生成部513提供矩阵CMAT和矩阵QMAT的各分量。因而，系数决定部514在从标准方程式生成部513分别提供了矩阵CMAT和矩阵QMAT的各分量时，通过进行式(11)右边的矩阵运算来运算矩阵DMAT，并将该运算结果(处理系数di)存储到处理系数设定部37中。另外，如果改变运动量v并进行上述学习，则能够将与运动量相应的处理系数存储到处理系数设定部37中。
预测抽头的选择，例如以关注像素为基准在运动方向上包含在“3×运动量+9像素”的范围内的像素设为预测抽头。另外，如果将包含在“2×运动量+3像素”的范围内的像素设为预测抽头，则能够减少抽头数，使结构简单。进而，也可以在预测抽头的选择中，根据运动量v而离散地选择预测抽头。此外，选择的预测抽头对应于上述处理区域的像素。
在此，使用图18说明根据运动量v离散地选择预测抽头的情况。例如，在将图18所示的像素位置P47作为关注像素位置而求出关注像素的像素值F19的情况下，如虚线所示，当考虑关注像素的分量F19/v最初出现的位置P45以及与像素位置P45相邻而没有关注像素的分量F19/v的像素位置P44时，式(12)成立。其中，将像素位置P44、P45的像素值设为DP44、DP45。
F19-F14＝(DP45-DP44)×v…(12)同样地，如虚线所示，当考虑关注像素的分量F19/v最后出现的像素位置P49以及与像素位置P40相邻而没有关注像素的分量F19/v的像素位置P50时，式(13)成立。
F24-F19＝(DP50-DP49)×v…(13)在此，利用空间相关性近似地求出像素值F14的水平。例如，如果像素位置P42和周边像素的空间相关性高，则如式(14)所示的近似成立。
F14DP42…(14)在此所说的空间相关性是以各像素的活度(Activity)的大小来表示的关系。即，活度是例如与作为基准的像素相邻的像素间的差分值的和。图19是用于说明计算活度的图。例如，以像素位置P42为中心而3像素×3像素的共计9个像素的像素间的差值是像素位置P42的活度AC(P42)，由以下的式(15)表示。此外，在图19中，像素位置P42-U表示在像素位置P42之上1线的像素，像素位置P42-L表示在像素位置P42之下1线的像素，其它类同。
AC(P42)＝|DP41-U-DP42-U|+|DP42-UDP43-U|+|DP41-DP42|+|DP42-DP43|+|DP41L-DP42-L|+|DP42-LDP43-L|+|DP41U-DP41|+|DP41-DP41-L|+| DP42U-DP42|+|DP42-DP42-L|+| DP43U-DP43|+|DP43-DP43-L|…(15)由式(15)所示的像素位置P42表示的像素的活度AC(P42)，其值越小，表示像素位置P42的像素和周边像素的空间相关性越高，像素位置P42的像素值越近似于周边像素的像素值。反之，当活度大时，像素位置P42的像素和周边像素的空间相关性低，像素位置P42的像素值与周边像素的像素值不同的可能性高。即，由于可以假设像素内的像素值的变化少，因此可认为空间相关性高是指式(16)所示的关系成立。
F12/v＝F13/v＝F14/v＝F15/v＝F16/v…(16)因而，当活度AC(P42)较小时，导出下式(17)，因此认为式(14)成立。
DP42/v＝(F12/v+F13/v+F14/v+F15/v+F16/v)＝F14/v…(17)根据以上结果，将式(12)变形并代入式(14)的关系时，如下式(18)所示，作为入射到无运动模糊的图像的像素中的光的水平，可以求出F19。
F19＝(DP45-DP44)×v+DP42…(18)同样地认为式(19)也成立。
F19＝DP52+(DP49-DP50)×v…(19)如果这样考虑，则当求出关注像素的像素值F19时，只要得到像素位置P42、P44、P45、P49、P50、P52即可，因此也能够以关注像素的像素位置P47为基准而将像素位置P42、P44、P45、P49、P50、P52的像素用作预测抽头。
图20是表示处理系数的学习处理的流程图。在步骤ST11中，从教师图像生成学生图像。即，对教师图像附加运动模糊，生成附加了运动模糊的图像即学生图像。
在步骤ST12中，从学生图像中提取预测抽头。在步骤ST13处，从预测抽头和教师图像的像素生成标准方程式。
在步骤ST14中，求解由步骤ST13生成的标准方程式来决定处理系数，并存储到处理系数设定部37中。在此，当确定运动方向而仅切换运动模糊量来决定处理系数时，根据运动模糊量来存储处理系数。另外，当切换运动模糊量和运动方向来决定处理系数时，根据运动模糊量和运动方向来存储处理系数。
在步骤ST15中，判断是否对全部像素实施了处理，在未对全部像素实施处理时，对新的像素重复进行从步骤ST12起的处理，在全部像素的处理结束时，结束学习处理。
进行以上的处理，通过学习来而生成用于去除运动模糊的预测系数并存储到处理系数设定部37中，由此可执行运动模糊的去除处理。
另外，如上所述、当检测活度的大小即有无空间相关性时，根据活度的大小来进行类分类，对应于作为类分类结果的类代码来改变处理区域，由此能够提高模糊去除的精度。
在这种情况下，在处理区域设定部36中，提取对关注像素的类抽头，根据提取出的类抽头来决定类代码，根据该类代码设定对关注像素的处理区域，将处理区域的像素值提供给像素值生成部38。另外，将所决定的类代码从处理区域设定部36提供给处理系数设定部37，从存储器中读出与运动模糊量MBp、对应于运动向量vp的运动方向以及类代码相应的处理系数，并提供给像素值生成部38。
在此，当根据活度的大小来进行类分类时，类抽头的提取如参照图18、图19所说明那样，将用于计算活度的像素作为类抽头而提取。使用该提取出的类抽头如上所述求出活度，并根据求出的活度来检测类代码。例如求出活度AC(P42)、AC(P52)，在活度AC(P42)小于活度AC(P52)时设类代码为“1”，在活度AC(P52)小于活度AC(P42)时设类代码为“2”，将类代码提供给处理系数设定部37。
进而，在处理区域设定部36中，对应于类代码进行与关注图像对应的处理区域的设定。例如，在类代码为“1”的情况下，由于像素位置P42的空间相关性高于像素位置P52，因此将像素位置P42、P44、P45的像素值作为处理区域的像素值而提供给像素生成部38。另外，在类代码是“2”的情况下，由于像素位置P52的空间相关性高于像素位置P42，因此将像素位置P49、P50、P52的像素值作为处理区域的像素值而提供给像素值生成部38。
处理系数设定部37不仅确定运动方向来只切换运动模糊量、或者切换运动模糊量和运动方向，而且预先存储了对每个类代码生成的处理系数。在此，当存储了基于运动模糊量MBp和类代码的特定的处理系数时，处理系数设定部37从存储器中读出与从模糊量设定部33提供的运动模糊量MBp和从处理区域设定部36提供的类代码相应的特定的处理系数，并提供给模糊去除处理部381、382、383，从而进行处理系数的设定。另外，当存储了基于运动模糊量MBp、与运动向量vp对应的运动方向以及类代码的处理系数时，从存储器中读出与从模糊量设定部33提供的运动模糊量MBp、基于由运动向量选择部312选择的运动向量Vp的运动方向以及从处理区域设定部36提供的类代码相应的处理系数，并提供给模糊去除处理部381、382、383，从而进行处理系数的设定。
像素值生成部38的模糊去除处理部381～383，使用处理区域的像素值和从处理系数设定部37提供的处理系数进行运算处理，生成模糊去除处理后的像素值并提供给综合部39。综合部39综合从模糊去除处理部381～383提供的像素值，并输出作为进行了运动模糊去除的图像的预测图像中的关注像素的像素值。
图21示出了使用类分类的图像处理的流程图。在步骤ST21中，CPU201对关注图像设定进行运动模糊去除的关注像素，并进入步骤ST22。在步骤ST22中，CPU201检测关注像素的运动向量并进入步骤ST23。在步骤ST23中，CPU201算出曝光时间比率。在步骤ST24中，CPU201检测关注像素的运动模糊量。即，使用由步骤ST22检测出的运动向量和由步骤ST23算出的曝光时间比率来进行运算处理，检测关注像素的曝光时间内的运动模糊量。
在步骤ST25中，CPU201根据由步骤ST24求出的运动模糊量，提取类抽头并进入步骤ST26。在步骤ST26中，CPU201进行类分类，根据类抽头决定类代码。在步骤ST27中，CPU201在与由步骤ST22检测出的运动向量对应的运动方向上检测与类代码对应的处理区域。
在步骤ST28中，CPU201使用类代码进行处理系数的设定。在该处理系数的设定中，设定与由步骤ST24求出的关注像素的运动模糊量以及由步骤ST26决定的类代码相应的特定的运动模糊去除用的处理系数、或者与运动量、相应于由步骤ST22检测出的运动向量相应的运动方向以及类代码相应的运动模糊去除用的处理系数，并进入步骤ST29。
在步骤ST29中，CPU201使用由步骤ST28设定的处理系数，对各处理对象图像进行模糊去除处理。即，对各处理对象图像进行由步骤ST27设定的处理范围的像素值和由步骤ST28设定的处理系数的运算处理，对各处理对象图像的每个关注像素计算进行了模糊去除的像素值，并进入步骤ST30。
在步骤ST30中，CPU201进行在步骤ST29中对每个处理对象图像算出的像素值的综合处理，将得到的像素值作为关注像素的运动模糊去除处理后的像素值而输出，并进入步骤ST31。在步骤ST31中，CPU201判断对处理范围的全部像素是否完成了模糊去除处理，当存在没有进行模糊去除处理的像素时返回步骤ST21，在对处理范围的全部像素完成了模糊去除时，结束对关注图像的图像处理。
接着，说明进行类分类的情况下的处理系数的学习。图22是进行类分类的情况下的学习部52的功能框图。此外，在图22中，对与图17对应的部分标记相同的附图标记，并省略详细的说明。
学习部52的类抽头提取部521如上所述，选择类抽头，并将选择的类抽头提供给类分类部522。类分类部522如上所述进行类分类并决定类代码，提供给预测抽头提取部523和标准方程式生成部524。
预测抽头提取部523根据类代码将预测抽头切换并提取，提供给标准方程式生成部524。
标准方程式生成部524基本上与图17所示的标准方程式生成部513相同，对每个从类分类部522提供的类代码生成标准方程式并输出到系数决定部525。因而，系数决定部525对每个类代码决定系数，并将该系数存储到处理系数设定部37中。在此，当确定运动方向而仅切换运动模糊量来生成学生图像时，将与运动模糊量MBp和类代码相应的特定的处理系数存储到处理系数设定部37中。另外，当切换运动模糊量和运动方向来生成学生图像时，将与运动模糊量MBp、对应于运动向量vp的运动方向以及类代码相应的处理系数存储在处理系数设定部37中。
图23是表示使用了类分类的处理系数的学习处理的流程图。在步骤ST41中，从教师图像生成学生图像。即，在教师图像上附加运动模糊，生成附加了运动模糊的图像即学生图像。
在步骤ST42中，从学生图像提取类抽头。与上述步骤ST25同样地进行该类抽头的提取。
在步骤ST43中，从提取出的类抽头进行类分类，决定类代码。在步骤ST44中，对应于由步骤ST43决定的类代码，从学生图像中提取预测抽头。
在步骤ST45中，从预测抽头和教师图像的像素对每个类代码生成标准方程式。
在步骤ST46中，求解由步骤ST45生成的标准方程式，决定处理系数并存储到处理系数设定部37中。
在步骤ST47中，判断是否对全部像素实施了处理，当没有对全部像素实施处理时，对新的像素重复进行从步骤ST42起的处理，当全部像素的处理结束时，结束学习处理。
接着，说明从模型式求出存储在处理系数设定部37中的处理系数从而进行模糊去除处理的情况。
图24表示处理区域，以关注像素为中心在运动方向上设定(2N+1)像素的处理区域。图25A和图25B表示处理区域的设定例，对于使运动模糊减轻的运动目标OBf的像素，在运动向量的方向例如像由箭头B所示那样是水平方向的情况下，如图25A所示，在水平方向上设定处理区域WB。另外，在运动向量的方向是倾斜方向的情况下，如图25B所示在相应的角度方向上设定处理区域WB。但是，当在倾斜方向上设定处理区域时，如上述的图14所示，通过插值等求出与处理区域的像素位置相当的像素值。
在此，在处理区域内如图26所示，现实世界变量(Y-8，…，Y0，…，Y8)被时间混合。另外，图26是运动量v为“v＝5”、并设处理区域为13像素(N＝6N是对关注像素的处理宽度的像素数)的情况。
在模糊去除处理中，对该处理区域进行现实世界估计，仅将估计的现实世界的中心像素变量Y0作为进行了运动模糊去除的关注像素的像素值而输出。
在此，将构成处理区域的像素的像素值设为X-N、X-N+1、…、X0、…、XN-1、XN时，如式(20)所示的(2N+1)个混合式成立。此外，常数h表示使运动量v成为1/2倍时的整数部分的值(将小数点以下舍去的值)。
Σi=t-ht+h(Yi/v)=Xt]]>(t＝-N，··，O，··，N) ...(20)但是，想要求出的现实世界变量(Y-N-h，…，Y0，…，YN+h)有(2N+v)个。即，由于式子的数量比变量的数量少，因此无法根据式(20)求出现实世界变量(Y-N-h，…，Y0，…，YN+h)。
因此，通过利用作为使用了空间相关的约束式的式(21)，与现实世界变量的数量相比增加式子的数量，使用最小平方法，求出现实世界变量的值。
Yt-Yt+1＝O(t＝-N-h，…，O，…，N+h-1)…(21)即，使用将由式(20)表示的(2N+1)个混合式和由式(21)表示的(2N+v-1)个约束式合并的(4N+v)个式子，求出(2N+v)个未知变量即现实世界变量(Y-N-h，…，Y0，…，YN+h)。
在此，进行使在各式中产生的误差的平方和最小的估计，由此能够进行运动模糊降低图像生成处理，并且减小现实世界中的像素值的变动。
式(22)如图26所示，表示设定了处理区域的情况，在式(20)和式(21)中增加了在各个式中产生的误差。
该式(22)能够表示为式(23)，求出使式(24)所示的误差的平方和E最小的Y(＝Yi)作为式(25)。另外，在式(25)中，T表示转置矩阵。
AY＝X+e …(23)E=|e|2=Σemi2+Σebi2---(24)]]>Y＝(ATA)-1ATX…(25)在此，由式(26)表示误差的平方和，对该误差的平方和进行偏微分，如式(27)所示如果使偏微分值为0，则能够求出使误差的平方和最小的式(25)。
E＝(AY-X)T(AY-X)＝YTATAY-2YTATX+XTX …(26) E/Y＝2(ATAY-ATX)＝O…(27)通过进行该式(25)的线性结合，能够分别求出现实世界变量(Y-N-h，…，Y0，…，YN+h)，将中心像素变量Y0的像素值作为关注像素的像素值而输出。即，对每个运动量求出对中心像素变量Y0的系数，作为处理系数而存储到处理系数设定部37中，使用与存储在该处理系数设定部37中的运动量的相应的处理系数，通过与像素值进行积和运算来输出去除了运动模糊的像素值。通过对处理区域内的全部像素进行这种处理，能够关于处理区域求出减轻了运动模糊的现实世界变量。
在上述中，利用最小平方法求出了现实世界变量(Y-N-h，…，Y0，…，YN+h)使得AY＝X+e中的误差的平方和E最小，但是也可以建立式子使得式子的数量＝变量的数量。当设该式为AY＝X时，通过变形为Y＝A-1X，能够求出现实世界变量(Y-N-h，…，Y0，…，YN+h)。
另外，在上述模型式的模糊去除处理中，说明了前景目标以像素为单位进行运动的情况，但在前景目标的运动量不是以像素为单位时，在曝光时间内的前景目标的积分范围与以像素为单位进行运动的情况不同。因此，如果预先求出与像素单位以下的运动量相应的处理系数，则即使产生了像素单位以下的运动量，也能够通过使用与运动量相应的处理系数而高精度地进行模糊去除处理。
在此，在图26中示出了现实世界变量(Y-8，…，Y0、…，Y8)在被时间混合的像素单位中的累加模型，但在例如运动量为5.5像素时，如图27所示设定0.5像素单位的累加模型。在该累加模型中，为了与运动量的小数部分对应，将运动方向和时间方向的分割分别设为例如2倍。因此，在1个像素单位中的累加模型中，将1个分量除以运动量，但是在将运动方向和时间方向的分割分别设为例如2倍时，使除法运算结果进一步为1/4倍。即，将1个分量除以作为4倍运动量的“22”。另外，作为构成处理区域的像素的像素值，使用(t)帧的像素值DP-4t0～DP4t0和(t+1)帧的像素值DP-3t1～DP4t1。这样，当设定累加模型时，上述式(22)能够表示为式(28)。
图28是使用图27所示的累加模型的情况下的图像处理装置的功能框图。另外，在图28中，对与图6对应的部分标记相同的附图标记，并省略详细的说明。
(t)帧抽头选择部362a提取处理区域的像素值并提供给模糊去除处理部381a、382a，在模糊去除处理部381a中，使用从(t-1)帧抽头选择部361和(t)帧抽头选择部362a提供的像素值、以及从处理系数设定部37提供的处理系数，来进行运算处理，生成进行了运动模糊去除的关注像素的像素值。即，通过将对式(28)的Y0的处理系数与从(t-1)帧抽头选择部361及(t)帧抽头选择部362a提供的像素值相乘而进行运算，从而即使在运动量不是像素单位的情况下也能够求出关注像素的运动模糊去除后的像素值。另外，如果(t+1)帧抽头选择部363a提取处理区域的像素值并提供给模糊去除处理部382a、383a，将处理区域的像素值从(t+2)帧抽头选择部364提供给模糊去除处理部383a，则在模糊去除处理部382a、383a中也能够进行与模糊去除处理部381a同样的处理，因此通过综合处理由各模糊去除处理部得到的关注像素的像素值，能够进一步提高处理精度。
这样，在求出现实世界变量的值时，由于使用多个像素值来求出现实世界变量的值，因此能够进行更高精度的模糊去除处理。另外，如果预先算出这样求出的处理系数，则即使运动量不是像素单位也能够通过读出与运动量相应的处理系数，从而容易地得到现实世界变量的值即模糊去除后的关注像素的像素值。
接着，在不进行快门动作时，曝光时间比率为1，关注像素的运动量与由运动向量设定部31设定的运动向量的运动量相等。因此， 当限定为不用快门动作时，如图29所示、能够不设置曝光时间比率计算部而构成图像处理装置。另外，在图29中，对与图6对应的部分也标记相同的附图标记，并省略详细的说明。
在这种情况下，将由运动向量设定部31设定的运动向量vp提供给关注像素设定部35、处理区域设定部36以及处理系数设定部37，如果根据基于该运动向量vp的运动模糊量和运动方向来进行处理区域的设定、处理系数的设定，则能够与上述方式同样地进行运动模糊去除。
另外，如果使根据运动模糊量MBp从处理系数设定部37分别提供给像素值生成部38的模糊去除处理部381、382、383的特定的处理系数、或者根据关注像素的运动模糊量和运动方向分别提供的处理系数建立关系，则即使没有进行分别由模糊去除处理部381、382、383生成像素值并由综合部39进行综合的处理，也能够通过进行使用了各处理系数和处理范围的像素值的积和运算，生成关注像素的像素值。
图30是进行使用了处理系数和抽头像素值的积和运算处理的情况下的图像处理装置的功能框图。此外，在图30中，对与图6对应的部分也标记相同的附图标记，并省略详细的说明。
在这种情况下，处理系数设定部37从建立关系而存储的处理系数中选择与运动模糊量MBp以及对应于运动向量vp的运动方向相应的处理系数，并提供给积和运算处理部40。在积和运算处理部40中，通过由处理区域设定部36在与运动向量vp对应的运动方向上设定的处理范围的像素值和处理系数的积和运算，生成关注像素的运动模糊去除后的像素值并输出。例如，如果对存储在处理系数设定部37中的处理系数预先进行由上述综合部39进行的加权，则从积和运算处理部40输出的像素值能够得到与如上所述使用多帧运动模糊去除处理后的图像信号进行了加权的情况相同的像素值。另外，在将处理对象图像作为N帧而进行积和运算时，通过预先将对各处理对象图像的处理系数设为1/N倍，能够防止积和运算处理后的像素值的动态范围发生变化。
产业上的可利用性如上所述，与本发明有关的图像处理装置、图像处理方法以及图像处理程序，在提取使用图像传感器拍摄现实社会而得到的图像信号中包含的信息时有用，最适于取得去除了运动模糊的分辨率高的图像的情况。
权利要求
1.一种图像处理装置，其特征在于，具备运动向量设定部，其以关注图像内的像素为单位来设定运动向量；关注像素设定部，其根据由上述运动向量设定部设定的运动向量，对作为处理对象的多个图像中的每个图像设定关注像素；曝光时间比率设定部，其以图像为单位来设定作为关注图像的时间间隔和曝光时间的比率的曝光时间比率；运动模糊量设定部，其根据由上述运动向量设定部以像素为单位设定的运动向量和由上述曝光时间比率设定部设定的曝光时间比率，以像素为单位来设定运动模糊量；处理区域设定部，其根据由上述运动模糊量设定部设定的运动模糊量以及与上述运动向量对应的运动方向，设定对由上述关注像素设定部设定的每个图像的关注像素的处理区域；处理系数设定部，其基于由上述运动模糊量设定部设定的上述关注像素的运动模糊量，设定特定的处理系数，或者根据上述关注像素的运动模糊量和运动方向来设定处理系数；和像素值生成部，其利用从与对每个上述图像设定的处理区域内的像素对应的像素值根据上述运动方向而生成的新的处理用的像素值和由上述处理系数设定部设定的上述特定的处理系数的线性结合、或者与上述处理区域内的像素对应的像素值和根据上述关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与上述关注像素对应的像素值。
2.根据权利要求1所述的图像处理装置，其特征在于，上述处理系数设定部根据由上述运动模糊量设定的对各图像的关注像素的运动模糊量，对每个图像设定处理系数。
3.根据权利要求2所述的图像处理装置，其特征在于，具备综合部，该综合部对由上述像素值生成部生成的与每个图像的关注图像对应的像素值进行综合处理，输出单一的像素值。
4.根据权利要求1所述的图像处理装置，其特征在于，当上述关注图像是不用快门拍摄的图像时，上述运动模糊量设定部将与上述运动向量对应的运动量设定为运动模糊量。
5.根据权利要求1所述的图像处理装置，其特征在于，上述运动向量设定部以像素以下单位来设定上述运动向量的运动量。
6.一种图像形成方法，其特征在于，具有运动向量设定工序，以关注图像内的像素为单位来设定运动向量；关注像素设定工序，根据由上述运动向量设定工序设定的运动向量，对作为处理对象的多个图像中的每个图像设定关注像素；曝光时间比率设定工序，以图像为单位来设定作为关注图像的时间间隔和曝光时间的比率的曝光时间比率；运动模糊量设定工序，根据由上述运动向量设定工序以像素为单位设定的运动向量以及由上述曝光时间比率设定工序设定的曝光时间比率，以像素为单位来设定运动模糊量；处理区域设定工序，根据由上述运动模糊量设定工序设定的运动模糊量以及与上述运动向量对应的运动方向，设定对由上述关注像素设定工序设定的每个图像的关注像素的处理区域；处理系数设定工序，基于由上述运动模糊量设定工序设定的上述关注像素的运动模糊量，设定特定的处理系数，或者根据上述关注像素的运动模糊量和运动方向来设定处理系数；和像素值生成工序，利用从与对每个上述图像设定的处理区域内的像素对应的像素值根据上述运动方向而生成的新的处理用的像素值和由上述处理系数设定工序设定的上述特定的处理系数的线性结合、或者与上述处理区域内的像素对应的像素值和根据上述关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与上述关注像素对应的像素值。
7.一种图像处理程序，使计算机执行运动向量设定步骤，以关注图像内的像素为单位来设定运动向量；关注像素设定步骤，根据由上述运动向量设定步骤设定的运动向量，对作为处理对象的多个图像中的每个图像设定关注像素；曝光时间比率设定步骤，以图像为单位来设定作为关注图像的时间间隔和曝光时间的比率的曝光时间比率；运动模糊量设定步骤，根据由上述运动向量设定步骤以像素为单位设定的运动向量以及由上述曝光时间比率设定步骤设定的曝光时间比率，以像素为单位来设定运动模糊量；处理区域设定步骤，根据由上述运动模糊量设定步骤设定的运动模糊量以及与上述运动向量对应的运动方向，设定对由上述关注像素设定步骤设定的每个图像的关注像素的处理区域；处理系数设定步骤，基于由上述运动模糊量设定步骤设定的上述关注像素的运动模糊量，设定特定的处理系数，或者根据上述关注像素的运动模糊量和运动方向来设定处理系数；和像素值生成步骤，利用从与对每个上述图像设定的处理区域内的像素对应的像素值根据上述运动方向而生成的新的处理用的像素值和由上述处理系数设定步骤设定的上述特定的处理系数的线性结合、或者与上述处理区域内的像素对应的像素值和根据上述关注像素的运动模糊量及运动方向而设定的处理系数的线性结合，生成与上述关注像素对应的像素值。
全文摘要
运动向量设定部(31)以关注图像内的像素为单位设定运动向量。根据运动向量，由关注像素设定部(35)对作为处理对象的多个图像中的每个图像设定关注像素。根据运动向量和由曝光时间比率设定部(32)以像素为单位设定的曝光时间比率，由模糊量设定部(33)设定像素单位的运动模糊量。处理区域设定部(36)根据运动模糊量设定对多个图像的每一个的关注像素的处理区域。处理系数设定部(37)根据运动模糊量来设定处理系数。像素值生成部(38)根据与处理区域内的像素对应的像素值和处理系数的线性结合，生成与关注像素对应的运动模糊去除后的像素值，由综合部(39)作为一个像素值而输出。有价值地灵活运用时间方向的信息，高精度地进行运动模糊去除处理。
文档编号H04N5/232GK101084671SQ20058004397
公开日2007年12月5日 申请日期2005年12月21日 优先权日2004年12月21日
发明者永野隆浩, 近藤哲二郎, 渡边勉, 石桥淳一, 白木寿一, 藤原直树, 金丸昌宪, 金子慎一郎, 周藤泰广 申请人:索尼株式会社