图像处理设备的制作方法

专利名称：图像处理设备的制作方法
技术领域：
本发明涉及一种图像处理设备，特别是涉及一种考虑了传感器检测的信号与现实之间差异的图像处理设备。
背景技术：
传感器检测现实发生的事件的技术和处理来自图像传感器的样本数据的技术已经被广泛地使用。
例如，如果一个对象运动速度比较快，则在通过摄像机捕获在预定的固定背景前方运动的一个对象而获得的一个图像中出现运动模糊。
当一个对象正在固定背景前方运动时，不仅出现由运动对象本身的混合造成的运动模糊，而且还会出现背景图像和对象图像的混合。迄今为止，还没有考虑检测背景图像和运动对象的混合状态。

发明内容
本发明是考虑到上述背景技术做出的。因此，本发明目的是检测代表诸如背景图像和运动对象图像的多个对象混合状态的混合比。
本发明的图像处理设备包括像素数据提取装置，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据作为多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成装置，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测装置，用于根据关系式检测对应于预定数目连续帧的单一混合比。
像素数据提取装置可以根据帧中的前景对象的运动量提取混合的像素数据。
像素数据提取装置可以根据帧中的背景对象的运动量提取背景像素数据。
关系式生成装置可以生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
图像处理设备还可以包括运动检测装置，用于检测前景对象和背景对象的至少一个运动。
图像处理设备可以包括区域指定装置，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、和一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
图像处理设备还可以包括分离装置，用于根据混合比从混和像素数据中至少分离前景对象。
图像处理设备还可以包括运动模糊调整装置，用于调整被分离的前景对象的运动模糊量。
图像处理设备还可以包括合成装置，用于根据混合比将分离前景对象与预期对象组合。
本发明的图像处理方法包括像素数据提取步骤，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据作为多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成步骤，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测步骤，用于根据关系式检测对应于预定数目连续帧的单一混合比。
在像素数据提取步骤中，可以根据帧中的前景对象的运动量提取混合的像素数据。
在像素数据提取步骤中，可以根据帧中的背景对象的运动量提取背景像素数据。
在关系式生成步骤中，可以生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
图像处理方法还可以包括运动检测步骤，用于检测前景对象和背景对象的至少一个运动。
图像处理方法可以包括区域指定步骤，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、和一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
图像处理方法还可以包括分离步骤，用于根据混合比从混和像素数据中至少分离前景对象。
图像处理方法还可以包括运动模糊调整步骤，用于调整被分离的前景对象的运动模糊量。
图像处理方法还可以包括合成步骤，用于根据混合比将分离的前景对象与预期对象组合。
本发明的记录介质的程序包括一个像素数据提取步骤，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据作为多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成步骤，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测步骤，用于根据关系式检测对应于预定数目连续帧的单一混合比。
在像素数据提取步骤中，可以根据帧中的前景对象的运动量提取混合的像素数据。
在像素数据提取步骤中，可以根据帧中的背景对象的运动量提取背景像素数据。
在关系式生成步骤中，可以生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
记录介质的程序还可以包括运动检测步骤，用于检测前景对象和背景对象的至少一个运动。
记录介质的程序可以包括区域指定步骤，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、和一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
记录介质的程序还可以包括分离步骤，用于根据混合比从混和像素数据中至少分离前景对象。
记录介质的程序还可以包括运动模糊调整步骤，用于调整被分离的前景对象的运动模糊量。
记录介质的程序还可以包括合成步骤，用于根据混合比将分离的前景对象与预期对象组合。
本发明的程序包括一个像素数据提取步骤，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据作为多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成步骤，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测步骤，用于根据关系式检测对应于预定数目连续帧的单一混合比。
在像素数据提取步骤中，可以根据帧中的前景对象的运动量提取混合的像素数据。
在像素数据提取步骤中，可以根据帧中的背景对象的运动量提取背景像素数据。
在关系式生成步骤中，可以生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
该程序还可以包括运动检测步骤，用于检测前景对象和背景对象的至少一个运动。
该程序可以包括区域指定步骤，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
该程序还可以包括分离步骤，用于根据混合比从混和像素数据中至少分离前景对象。
该程序还可以包括运动模糊调整步骤，用于调整被分离的前景对象的运动模糊量。
该程序还可以包括合成步骤，用于根据混合比将分离的前景对象与预期对象组合。
本发明的图像设备包括成像装置，用于输出作为由预定数目像素数据构成的图像数据的一个对象图像，该对象图像由成像装置通过执行图像捕获而获得具有预定数目像素，每个像素具有时间积分功能；像素数据提取装置，用于根据用作包含在图像数据中的多个现实对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据作为多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成装置，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测装置，用于根据关系式检测对应于预定数目连续帧的单一混合比。
像素数据提取装置可以根据帧中的前景对象的运动量提取混合的像素数据。
像素数据提取装置可以根据帧中的背景对象的运动量提取背景像素数据。
关系式生成装置可以生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
图像设备还可以包括运动检测装置，用于检测前景对象和背景对象的至少一个运动。
图像设备可以包括区域指定装置，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
图像设备还可以包括分离装置，用于根据混合比从混和像素数据中至少分离前景对象。
图像设备还可以包括运动模糊调整装置，用于调整被分离的前景对象的运动模糊量。
图像处理设备还可以包括合成装置，用于根据混合比将分离前景对象与预期对象组合。


图1是图示说明本发明的信号处理设备的一个实施例的配置的方框图；图2是图示说明信号处理设备的方框图；图3图示说明了由一个传感器执行的图像捕获；图4图示说明了像素的安排；图5图示说明了检测装置的操作；图6A图示说明了通过图像捕获对应于运动前景的对象和对应于固定背景的对象而获得的一个图像；图6B图示说明了通过图像捕获对应于运动前景的对象和对应于固定背景的对象而获得的一个图像的模型；图7图示说明了一个背景区域、一个前景区域、一个混合区域、一个覆盖背景区域和一个未覆盖背景区域；图8图示说明了在通过图像捕获对应于固定前景的一个对象和对应于固定背景的一个对象获得所述的一个图像中，通过在时间方向上扩展一个图像的并排排列的诸多像素的像素值而获得的一个模型，；图9图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图10图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图11图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图12图示说明了提取一个前景区域、一个背景区域和一个混合区域中的像素的一个实例；图13图示说明了诸多像素与通过在时间方向扩展像素值而获得的模型之间的关系；图14图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图15图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图16图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图17图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图18图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图19是说明调整运动模糊量的处理的流程图；图20是说明区域指定单元103的配置的一个实例的方框图；图21图示说明了当对应于前景的一个对象正在运动时的一个图像；图22图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图23图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图24图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图25图示说明了确定区域的条件；图26A图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；图26B图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；图26C图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；图26D图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；图27图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；图28是说明区域指定处理的流程图；图29是说明区域指定单元103的另一个配置的一个实例的方框图；图30图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图31图示说明了背景图像的一个实例；图32是说明二进制对象图像提取部分302的配置的方框图；图33A图示说明了一相关值的计算；图33B图示说明了一相关值的计算；
图34A图示说明了一相关值的计算；图34B图示说明了一相关值的计算；图35图示说明了二进制对象图像的一个实例；图36是说明时间变化检测器303配置的方框图；图37图示说明了由区域确定部分342作出的确定；图38图示说明了由时间变化检测器303作出的确定的一个实例；图39是说明由区域指定单元103执行的区域指定处理的流程图；图40是说明区域指定处理的细节的流程图；图41是说明区域指定单元103的另一个配置的方框图；图42是说明强处理部分361的配置的方框图；图43图示说明了由一运动补偿器381执行的运动补偿；图44图示说明了由该运动补偿器381执行的运动补偿；图45是说明区域指定处理的流程图；图46是说明该强处理的细节的流程图；图47是说明混合比计算器104的配置的方框图；图48图示说明了理想混合比α的一个实例；图49图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图50图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图51图示说明了像素的选择；图52图示说明了像素的选择；图53是说明估计的混合比处理器401的配置的方框图；图54是说明混合比计算器422的配置的方框图；图55图示说明了估计的混合比的一个实例；图56是说明混合比计算器104的另一个配置的方框图；图57是说明计算混合比α的处理的流程图；图58是说明计算混合比估计的处理的流程图；图59是说明前景/背景分离器105的配置的一个实例的方框图；图60A图示说明了一个输入图像、一个前景分量图像和一个背景分量图像；
图60B图示说明了一个输入图像、一个前景分量图像和一个背景分量图像的一个模型；图61图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图62图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图63图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；图64是说明分离部分601的配置的一个实例的方框图；图65A图示说明了被分离的前景分量图像的一个实例；图65B图示说明了被分离的背景分量图像的一个实例；图66是图示说明分离一个前景和一个背景的处理的流程图；图67是说明运动模糊调整单元106的配置的一个实例的方框图；图68图示说明了处理的单元；图69图示说明了在时间方向上扩展前景分量图像的像素值并且分割对应快门时间的周期的一个模型；图70图示说明了在时间方向上扩展前景分量图像的像素值并且分割对应快门时间的周期的一个模型；图71图示说明了在时间方向上扩展前景分量图像的像素值并且分割对应快门时间的周期的一个模型；图72图示说明了在时间方向上扩展前景分量图像的像素值并且分割对应快门时间的周期的一个模型；图73图示说明了运动模糊调整单元106的另一个配置的一个实例；图74是调整包含在由运动模糊调整单元106执行的前景分量图像中的运动模糊量的处理的流程图；图75是图示说明运动模糊调整单元106的另一个配置的实例的方框图；图76图示说明了表示像素值与前景分量之间关系的一个模型的一个实例；图77图示说明了前景分量的计算；图78图示说明了前景分量的计算；图79是说明消除包含在一个前景中的运动模糊的处理的流程图；
图80是说明信号处理设备功能的另一个配置的方框图；图81图示说明了一个合成器1001的配置；图82是说明信号处理设备功能的再一个配置的方框图；图83是说明混合比计算器1101的配置的方框图；图84是说明前景/背景分离器1102的配置的方框图；图85是说明信号处理设备功能的再一个配置的方框图；图86图示说明了合成器1201的配置。
具体实施例方式
图1是说明本发明的信号处理设备一个实施例的配置的方框图。
CPU(中央处理单元)21根据存储在ROM(只读存储器)22或者存储单元28中的程序执行各种处理。CPU 21执行的程序和数据按照需要被存储在RAM(随机存取存储器)23中。CPU 21、ROM 22和RAM 23通过总线24彼此连接。
输入/输出接口25还经由总线24连接到CPU 21。由键盘、鼠标、麦克风等构成的输入单元26和由显示器、扬声器等构成的输出单元27连接到输入/输出接口25。CPU 21响应从输入单元26输入的命令执行各种处理。CPU21随后输出作为对输出单元27处理的结果而获得的图像或者声音。
连接到输入/输出接口25的存储单元28由(例如)一个硬盘构成，并且存储由CPU 21执行的程序和各种数据。通信单元29经由互联网或者其它网络与外部装置通信。在该实例中，通信单元29用作一个获取传感器输出的获取单元。
作为选择，程序可以经由通信单元29获得，并存储到存储单元28中。
连接到输入/输出接口25的驱动器30用于驱动磁盘51、光盘52、磁光盘53、半导体存储器54或者类似物，当此类存储介质被连接到驱动器30上时，驱动器30驱动此类介质。驱动器30获得存储在对应的介质重的程序或者数据。如果需要，将获得的程序或者数据传送到存储单元28并存储在其中。
下面通过一个更具体的实例对信号处理设备进行说明，该信号处理设备执行处理，比如指定一个具有在其中插入有效信息的区域或者从传感器所获得的数据中提取在其中插入的有效信息。在随后的实例中，一个CCD行传感器或者一个CCD区域传感器相当于该传感器，区域信息或者混合比相当于有效信息，一个前景和一个背景的混和状态或者混合区域中的运动模糊相当于失真。
图2是说明信号处理设备的方框图。
在这里，信号处理设备的各个功能是由硬件还是由软件实施并不重要。也就是本说明的方框图可以使硬件方框图或者软件功能方框图。
运动模糊是由现实捕获的对象的运动和传感器的图像捕获特征造成的对应于运动对象的一个图像中含有的失真。
在该说明中，对应于现实对象的一个要捕获得图像被称作图像对象。
提供给信号处理设备的输入图像被提供给对象提取单元101、区域指定单元103、混合比计算器104和前景/背景分离器105。
对象提取单元101提取对应于包含在输入图像中的前景对象的粗图像对象，并把提取的图像对象提供给运动检测器102。对象提取单元101例如检测包含在输入图像中地前景图像的轮廓，以便提取对应于前景对象的粗图像对象。
对象提取单元101提取对应于包含在输入图像中的背景对象的粗图像对象，并且把提取的图像对象提供给运动检测器102。对象提取单元101依据例如输入图像与对应于前景对象的已提取图像对象之间的差异提取对应于背景对象的粗图像对象。
作为选择，例如，对象提取单元101可以依据内置的背景存储器中存储的背景图像与输入图像之间的差异提取对应于前景对象的粗图像对象和对应于背景对象的粗图像对象。
运动检测器102根据诸如块匹配梯度相位相关的技术，或者像素递归技术计算对应于前景对象的粗提取的图像对象的运动向量，并且把所计算的运动向量和运动向量位置信息(是用于指定对应于运动向量的像素的位置的信息)提供给区域指定单元103、混合比计算器104和运动模糊提取单元106。
运动检测器102输出的运动向量包含对应于运动量v的信息。
运动检测器102可以将每个图像对象的运动矢量与指定图像对象的像素的像素位置信息一同输出给运动模糊调整单元106。
运动量v是以像素间距单位表示在对应于运动对象的一个图像中的一个位置变化的值。例如，如果对应于前景的对象图像正在运动，使该对象图像位于后续帧时它被显示为在一个位置上四个像素远离基准帧，此时对应于前景的对象图像的运动量v是4。
当调整对应于运动对象的运动模糊量时，需要对象提取单元101和运动检测器102。
区域指定单元103确定输入图像的每个像素属于前景区域、背景区域或者混合区域的哪一个，并且把表示每个像素属于哪个区域的信息(以下称之为“区域信息”)提供给混合比计算器104、前景/背景分离器105以及运动模糊调整单元106。
混合比计算器104根据输入图像、从运动检测器102提供的运动向量及其位置信息以及从区域指定单元103提供的区域信息，计算对应于混合区域63的混合比(以下称之为“混合比α”)并且将混合比α提供给前景/背景分离器105。
混合比α是表示对应于背景对象的图像分量(以下称之为“背景分量”)对如下所示的方程(3)所表示的像素值的比值的一个值。
前景/背景分离器105根据从区域指定单元103提供的区域信息和从混合比计算器104提供的混合比α，将输入图像分离成一个仅仅由对应于前景对象的图像分量构成的前景分量图像(以下称之为“前景分量”)和一个仅仅由背景分量构成的一个背景分量图像，并且将前景分量图像提供给运动模糊调整单元106和选择器107。已分离的前景分量图像可以被设置为最终输出。与仅仅指定一个前景和一个背景而不考虑混合区域的已知方法比较，本发明可以获得更精确的前景和背景。
运动模糊调整单元106根据从运动向量获得的运动量v并根据区域信息，确定表示包含在前景分量图像中的至少一个像素的处理单位。该处理单位是数据，用于指定一组将要处于运动模糊调整处理的像素。
根据输入到信号处理设备中的运动模糊将被调整的量、从前景/背景分离器105提供的前景分量图像、从运动检测器102提供的运动向量及其位置信息以及处理单位，运动调整单元106通过消除、减少或者增加包含在前景分量图像中的运动模糊来调整包含在前景分量图像中的运动模糊量。运动模糊调整单元106随后向选择器107输出调整了运动模糊量的前景分量图像。但是，使用运动向量及其位置信息并不是必需的。
选择器107根据例如反映用户选择的一个选择信号，选择从前景/背景分离器105提供的前景分量图像和从运动模糊调整单元106提供的调整了运动模糊量的前景分量图像中的一个，并且输出所选择的前景分量图像。
下面参考图3至图18讨论提供给信号处理设备的输入图像。
图3图示说明了由传感器执行的图像捕获。传感器由例如装备了CCD区域传感器的一个CCD(电荷耦合器件)构成，它是一个固态成像器件。对应于现实前景的一个对象111例如在对应于背景的对象112与传感器之间水平地从左向右运动。
传感器捕获对应于前景的对象111的图像和对应于背景的对象112的图像。传感器按帧的单位输出已捕获得图像。例如，传感器输出具有每秒30帧的一个图像。传感器的曝光时间可以是1/30秒。曝光时间是传感器开始把输入光转换成电荷时直至结束从输入光转换成电荷时的一个周期。曝光时间还被称之为“快门时间”。
图4图示说明了像素的安排。在图4中，A至I表示各个像素。这些像素被布置在对应的图像的一个平面上。对应于每个像素的一个检测装置被设置在传感器上。当传感器执行图像捕获时，每个检测装置输出形成图像的对应像素的像素值。例如，X方向的检测装置的位置对应于图像的水平方向，而Y方向的检测装置的位置对应于图像的垂直方向。
如图5所示，检测装置(例如是一个CCD)在对应于快门时间的一个期间把输入光转换成电荷，并且存储已变换的电荷。电荷量几乎与输入光的光强以及输入该光的周期成比例。在对应于快门时间的周期期间检测装置顺序地把从输入光转换的电荷添加到已存储的电荷上。也就是，检测装置在对应于快门时间的期间积分输入光，并且存储对应于被积分光的光量的电荷。可以认为检测装置具有关于时间的积分功能。
检测装置中存储的电荷由一个电路(未示出)转换成一个电压值，该电压值被进一步转换成像素值，比如数字数据，然后输出。因此，传感器输出的每个像素值是一个投射到线性空间上的值，它是相对于快门时间积分对应于前景或者背景的对象的某一三维部分的结果。
信号处理设备通过传感器的存储操作提取插入输出信号中的有效信息，例如混合比α。信号处理设备调整失真量，例如调整由于前景图像对象本身的混合造成的运动模糊量。信号处理设备还调整由于前景图像对象和背景图像对象的混合造成的失真量。
图6A图示说明了通过捕获对应于前景的一个运动对象和对应于背景的固定对象而获得的图像。在图6A所示的实例中，对应于前景的对象正在从屏幕左端水平地移动到屏幕右端。
图6B图示说明了通过在时间方向扩展对应于图6A中显示的图像的一行地像素值而获得的模型。图6B所示的水平方向对应于图6A中的空间方向X。
背景区域中像素的值仅仅由背景分量构成，也就是由对应于背景对象的图像分量构成。前景区域中像素的值仅仅由前景分量构成，也就是由对应于前景对象的图像分量构成。
混合区域的像素的值由背景分量和前景分量构成。由于混合区域中像素的值由背景分量和前景分量构成，因此它被称之为“失真区域”。混合区域还被进一步分成覆盖背景区域和未覆盖背景区域。
覆盖背景区域是对应于前景对象正在运动的方向上的前端的位置上的混合区域，其中背景分量随时间流逝而逐渐由前景覆盖。
相反，未覆盖背景区域是对应于前景对象正在运动的方向上的尾端的位置上的混合区域，其中背景分量随时间流逝而逐渐出现。
按照以上讨论，包含前景区域、背景区域、或者覆盖背景区域或者未覆盖背景区域的图像作为输入图像输入到区域指定单元103、混合比计算单元104和前景/背景分离器105。
图7图示说明了以上讨论的背景区域、前景区域、混合区域、覆盖背景区域和未覆盖背景区域。在对应于图6A所示的图像的区域中，背景区域是固定部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景区域到前景区域变化的部分，混合区域的未覆盖背景区域是从前景到背景变化的部分。
图8图示说明了通过在时间方向上扩展图像的并排排列的诸多像素的像素值而获得的一个模型，其中所述图像是通过图像捕获对应于固定前景的对象和对应于固定背景的对象获得的。例如，可以把屏幕上一行中排列的像素选作并排排列的像素。
图8所示的F01至F04所示的像素值是对应于固定前景对象的像素值。图8所示的B01至B04所示的像素值是对应于固定背景对象的像素值。
时间以图8的垂直方向从图8的顶部流逝到底部。图8中矩形的顶端上的位置对应于传感器开始从输入光变换成电荷的时间，图8中矩形的底端上的位置对应于传感器结束从输入光变换成电荷的时间。也就是，从图8中矩形地顶端倒底端的距离对应于快门时间。
下面说明图8所示的像素，假定例如快门时间等于帧长。
图8的水平方向对应于图6A中空间方向X。更具体说，在图8所示的实例中，从图8的“F01”表示的矩形的左端到“B04”表示的矩形的右端是像素间距的八倍，即，八个连续像素。
当前景对象和背景对象都是固定时，在对应于快门时间的周期期间输入传感器的光不变化。
对应于快门时间的周期被分割为二个或者多个相等间隔的部分。例如，如果虚拟分割部分的数量是4，则图8所示的模型可以由图11所示的模型代表。可以在快门时间内根据对应于前景的对象的运动量v设置虚拟分割部分的数量。例如，当运动量v是4时，虚拟分割部分的数量被设置为4，并且把对应于快门时间的周期分成四个部分。
图11的最上行对应于快门打开时的第一分割部分。图11的第二行对应于快门打开时的第二分割部分。图11的第三行对应于快门打开时的第三分割部分。图11的第四行对应于快门打开时的第四分割部分。
根据运动量v分割的快门时间在下文中还被称之为“快门时间/v”。
当对应于前景的对象是固定时，输入到传感器的光不变化，因而前景分量F01/v等于通过用虚拟分割部分数除像素值F01获得的值。同样，当对应于前景的对象是固定时，前景分量F02/v等于通过用虚拟分割部分数除像素值F02获得的值，前景分量F03/v等于通过用虚拟分割部分数除像素值F03获得的值，前景分量F04/v等于通过用虚拟分割部分数除像素值F04获得的值。
当对应于背景的对象是固定时，输入传感器的光不变化，因而背景分量B01/v等于通过用虚拟分割部分数除像素值B01获得的值。同样，当对应于背景的对象是固定时，背景分量B02/v等于通过用虚拟分割部分数除像素值B02获得的值，背景分量B03/v等于通过用虚拟分割部分数除像素值B03获得的值，背景分量B04/v等于通过用虚拟分割部分数除像素值B04获得的值。
更具体说，当对应于前景的对象是固定时，在对应于快门时间的周期期间对应于输入传感器的前景对象的光不变化。所以，对应于快门打开时快门时间/v的第一部分的前景分量F01/v、对应于快门打开时快门时间/v的第二部分的前景分量F01/v、对应于快门打开时快门时间/v的第三部分的前景分量F01/v、对应于快门打开时快门时间/v的第四部分的前景分量F01/v成为相同的值。如同F01/v的情况一样，同样适用于F02/v至F04/v。
当对应于背景的对象固定时，在对应于快门时间的周期期间对应于输入传感器的背景对象的光不变化。所以，对应于快门打开时快门时间/v的第一部分的背景分量B01/v、对应于快门打开时快门时间/v的第二部分的背景分量B01/v、对应于快门打开时快门时间/v的第三部分的背景分量 对应于快门打开时快门时间/v的第四部分的背景分量B01/v成为相同的值。上述情况同样适用于B02/v至B04/v。
这里提供了这样一种情况的说明对应于前景的对象正在运动，而对应于背景的对象固定不动。
图10图示说明了当对应于前景的对象正在向图10的右端运动时，通过在时间方向对包括一个覆盖背景区域的一行中像素的像素值进行扩展而获得的一个模型。在图10中，运动量v是4。由于一帧是一个短周期，因此可以假定对应于前景的对象是一个以等速度运动的刚体。在图10中，对应于前景的对象图像正在运动，这样当在后续帧显示它时，它被定位为四个像素到基准帧的右边。
在图10中，从最左边像素到第四像素的像素属于前景区域。在图10中，从左数第五像素到第七像素的像素属于混合区域，即，覆盖背景区域。在图10中，最右边像素属于背景区域。
对应于前景的对象正在运动，使它随时间变化逐渐覆盖对应于背景的对象。因此，属于覆盖背景区域的这些像素的像素值中含有的分量在对应于快门时间的周期期间的某一时刻从背景分量变化到前景分量。
例如，由图10中粗体帧包围的像素值M由以下方程(1)表示。
M＝B02/v+B02/v+F07/v+f06/v (1)例如，左数第五像素包含一个对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因而左数第五像素的混合比α是1/4。左数第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六像素的混合比α是1/2。左数第七像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个部分的前景分量，因此，左数第七像素的混合比α是3/4。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10从左数第四像素的前景分量F07/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第五像素的前景分量。同样，前景分量F07/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第六像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第七像素的前景分量。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10从左数第三像素的前景分量F06/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第四像素的前景分量。同样，前景分量F06/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第五像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第六像素的前景分量。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第二部分的图10从左数第二像素的前景分量F05/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第三像素的前景分量。同样，前景分量F05/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第四像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第五像素的前景分量。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10最左边像素的前景分量F04/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第二像素的前景分量。同样，前景分量F04/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第三像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第四像素的前景分量。
由于对应于运动对象的前景区域包含如上述讨论的运动模糊，因此它还可以称之为“失真区域”。
图11图示说明了当对应于前景的对象正在向图11的右端运动时，通过在时间方向对包括一个未覆盖背景区域的一行中像素的像素值进行扩展而获得的一个模型。在图11中，运动量v是4。由于一帧是一个短周期，因此可以假定对应于前景的对象是一个以等速度运动的刚体。在图11中，对应于前景的对象图像正在运动到右边，这样当在后续帧显示它时，它被定位为四个像素到基准帧的右边。
在图11中，从最左边像素到第四像素的像素属于背景区域。在图11中，从左数第五像素到第七像素的像素属于混合区域，即，未覆盖背景区域。在图11中，最右边像素属于前景区域。
对应于前景的对象正在运动，使它随时间变化逐渐从对应于背景的对象中移出，其中所述前景覆盖对应于背景的对象。因此，属于未覆盖背景区域的这些像素的像素值中含有的分量在对应于快门时间的周期期间的某一时刻从前景分量变化到背景分量。
例如，由图10中粗体帧包围的像素值M′由以下方程(2)表示。
M′＝F02/v+F01/v+B26/v+B26/v (2)例如，左数第五像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个快门部分的前景分量，因而左数第五像素的混合比α是3/4。左数第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六像素的混合比α是1/2。左数第七像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因此，左数第七像素的混合比α是1/4。
当综合方程(1)和(2)时，像素值M可以由方程(3)表达M=α·B+ΣiFi/v---(3)]]>其中α是混合比，B表示背景的像素值，以及Fi/v指定前景分量。
可以假定对应于前景的对象是正在以等速度运动的刚体，并且运动量是4。因此，例如，当快门打开时对应于快门时间/v的第一部分的图11从左数第五像素的前景分量F01/v等于当快门打开时对应于快门时间/v的第二部分的图11从左数第六像素的前景分量。同样，前景分量F01/v等于当快门打开时对应于快门时间/v的第三部分的图11从左数第七像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图11从左数第八像素的前景分量。
可以假定对应于前景的对象是正在以等速度运动的刚体，并且运动量v是4。因此，例如，当快门打开时对应于快门时间/v的第一部分的图11从左数第六像素的前景分量F02/v等于当快门打开时对应于快门时间/v的第二部分的图11从左数第七像素的前景分量。同样，前景分量F02/v等于当快门打开时对应于快门时间/v的第三部分的图11从左数第八像素的前景分量。
可以假定对应于前景的对象是正在以等速度运动的刚体，并且运动量v是4。因此，例如，当快门打开时对应于快门时间/v的第一部分的图11从左数第七像素的前景分量F03/v等于当快门打开时对应于快门时间/v的第二部分的图11从左数第八像素的前景分量。
上面已经结合图9至图11说明了虚拟分割部分的数量是4的情况。虚拟分割部分的数量相当于运动量v。通常，运动量v相当于对应于前景的对象的运动速度。例如，如果对应于前景的对象正在运动，使它被显示为当它定位于后续帧时四个像素到达某一帧的右边，则运动量v被设置为4。根据该运动量v，将虚拟分割部分的数量设置为4。同样，当对应于前景的对象正在运动，使它被显示为当它定位于后续帧时六个像素到达某一帧的右边，运动量v被设置为6，并且将虚拟分割部分的数量设置为6。
图12和图13图示说明了关于与快门时间的分割周期对应的前景分量和背景分量的前景区域、背景区域和混合区域的关系，该混合区域由以上讨论的一个覆盖背景或者一个未覆盖背景组成。
图12图示说明了从包含与固定背景的前方运动的对象对应的前景的图像中提取一个前景区域、一个背景区域和一个混合区域中的像素的一个实例。在图12的实例中，对应于前景的对象是相对屏幕水平运动的。
帧#n+1是帧#n之后的一个帧，帧#n+2是帧#n+1之后的一个帧。
前景区域、背景区域和混合区域中的像素从帧#n至帧#n+2之一中提取，并且运动量v被设置为4。图13显示了通过在水平方向扩展所提取的帧的像素值而获得的一个模型。
由于对应于前景的对象正在运动，因此前景区域中的像素值由对应于快门时间/v的四个不同前景分量组成。例如，图13所示的前景区域中像素的最左边像素由F01/v、F02/v、F03/v和F04/v组成。也就是，前景中的像素包含运动模糊。
由于对应于背景的对象是固定的，在快门时间期间输入对应于背景的传感器的光不改变。在该情况下，背景区域中的像素值不包含运动模糊。
由一个覆盖背景区域或者一个未覆盖背景区域组成的混合区域中的像素值由前景分量和背景分量构成。
下面给出了通过在时间方向扩展诸多像素的像素值而获得的一个模型的说明，所述的诸多像素在多个帧中被并排排列，并且当对应于对象的图像正在运动而导致这些帧重叠的时候这些像素位于同一位置。例如，当对应于对象的图像正在关于屏幕水平运动时，排列在屏幕上的像素可以被选择为并排排列的像素。
图14图示说明了通过在时间方向扩展诸多像素而获得的一个模型，所述诸多像素被并排排列在通过捕获对应于固定背景的一个对象而获得的图像的三个帧中，并且当这些帧重叠时这些像素位于同一位置上。帧#n是帧#n-1之后的帧，帧#n+1是帧#n之后的帧。上述说明适用于其它帧。
图14中所示的B01至B12的像素是对应于固定背景对象的像素值。由于对应于背景的对象固定不动，因此对应于帧#n-1至#n+1中的像素的像素值不改变。例如，位于具有帧#n-1中的像素值B05的像素的对应位置的帧#n-1至#n+1中的像素具有像素值B05。
图15图示说明了通过在时间方向扩展诸多像素而获得的一个模型，所述诸多像素被并排排列在通过捕获对应于一个前景的正在向图15的右边运动的一个对象和对应于固定背景的一个对象而获得的一个图像的三个帧中，并且当这些帧重叠时这些像素位于同一位置上。图15所示的模型包含一个覆盖背景区域。
在图15中，可以假定对应于前景的对象是一个以等速度运动的刚体，并且正在运动，它被显示为后续帧右边的四个像素。所以运动量v是4，并且虚拟分割部分的数量是4。
例如，当快门打开时对应于快门时间/v的第一部分的图15中帧#n-1的最左边像素的前景分量是F12/v，并且当快门打开时对应于快门时间/v的第二部分的图15中从左数第二像素的前景分量也是F12/v。当快门打开时对应于快门时间/v的第三部分的图15中从左数第三像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图15中从左数第四像素的前景分量也是F12/v。
当快门打开时对应于快门时间/v的第二部分的图15中帧#n-1的最左边像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15中从左数第二像素的前景分量也是F11/v。当快门打开时对应于快门时间/v的第四部分的图15中从左数第三像素的前景分量是F11/v。
当快门打开时对应于快门时间/v的第三部分的图15中帧#n-1的最左边像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中从左数第二像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中帧#n-1的最左像素的前景分量是F09/v。
由于对应于背景的对象是固定的，因此当快门打开时对应于快门时间/v的第一部分的图15中帧#n-1的从左数第二像素的背景分量是B01/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n-1的从左数第三像素的背景分量是B02/v。当快门打开时对应于快门时间/v的第一至第三部分的图15中帧#n-1的从左数第四像素的背景分量是B03/v。
在图15的帧#n-1中，从左数最左端像素属于背景区域，以及从左数第二至第四像素属于是覆盖背景区域的混合像素。
从图15中帧#n-1左数第五至第十二像素属于背景区域，其像素值分别是B04至B11。
从图15中帧#n左数第一至十二像素属于背景区域。帧#n的前景区域中快门时间/v中前景分量是F05/v至F12/v的任何一个。
可以假定对应于前景的对象是以等速度运动的刚体，并且正在运动，使前景图像被显示为后续帧右边的四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图15中帧#n左数第五像素的前景分量是F12/v，并且当快门打开时对应于快门时间/v的第二部分的图15中左数第六像素的前景分量也是F12/v。当快门打开时对应于快门时间/v的第三部分的图15中左数第七像素的前景分量，以及当快门打开时对应于快门时间/v的第四部分的图15中左数第八像素的前景分量也是F12/v。
当快门打开时对应于快门时间/v的第二部分的图15中帧#n左数第五像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15中左数第六像素的前景分量也是F11/v。当快门打开时对应于快门时间/v的第四部分的图15中左数第七像素的前景分量是F11/v。
当快门打开时对应于快门时间/v的第三部分的图15中帧#n左数第五像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中左数第六像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中帧#n左数第五像素的前景分量是F09/v。
由于对应于背景的对象是固定的，因此当快门打开时对应于快门时间/v的第一部分的图15中帧#n左数第六像素的背景分量是B05/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n左数第七像素的背景分量是B06/v。当快门打开时对应于快门时间/v的第一至第三部分的图15中帧#n左数第八像素的背景分量是B07/v。
在图15中的帧#n中，左数第六至第八像素属于混合区域，即属于覆盖背景区域。
图15中帧#n左数第九至第十二像素属于背景区域，并且其像素值分别是B08至B11。
图15中帧#n+1左数第一至第九像素属于前景区域，帧#n+1的前景区域中的快门时间/v中的前景分量是F01/v至F12/v的任一个。
可以假定对应于前景的对象是以等速度运动的刚体，并且正在运动，使前景图像被显示为后续帧右边的四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图15中帧#n+1左数第九像素的前景分量是F12/v。当快门打开时对应于快门时间/v的第二部分的图15左数第十像素的前景分量是F12/v。当快门打开时对应于快门时间/v的第三部分的图15左数第十一像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图15左数第十二像素的前景分量是F12/v。
当快门打开时对应于快门时间/v的第二部分的图15中帧#n+1左数第九像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15左数第十像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第四部分的图15左数第十一像素的前景分量是F11/v。
当快门打开时对应于快门时间/v的第三部分的图15中帧#n+1左数第九像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15左数第十像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15帧#n+1左数第九像素的前景分量是F09/v。
由于对应于背景的对象是固定的，因此当快门打开时对应于快门时间/v的第一部分的图15左数第十像素的背景分量是B09/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n+1左数第十一像素的背景分量是B10/v。当快门打开时对应于快门时间/v的第一和第三部分的图15中帧#n+1左数第十二像素的背景分量是B11/v。
在图15中的帧#n+1中，左数第九至第十二像素属于混合区域，即属于覆盖背景区域。
图16是从图15所示的像素值中提取前景分量而获得的像素的一个模型。
图17图示说明了通过在时间方向上扩展在一个图像的三个帧中并排排列并且这些帧重叠时位于相同位置上的像素而获得的一个模型，所述的一个图像是通过捕获对应于正在向图17右边运动的一个前景的对象和对应于固定背景的对象而获得的。图17所示的模型包含一个未覆盖背景区域。
在图17中，可以假定对应于前景的对象是一个以等速度运动的刚体，并且正在运动，使它被显示为后续帧的右边的四个像素。所以，运动量v是4。
例如，当快门打开时对应于快门时间/v的第一部分的图17中帧#n-1最左边像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第二部分的图17左数第二像素的前景分量也是F13/v，并且当快门打开时对应于快门时间/v的第二部分的图17左数第二像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第三部分的图17左数第三像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图17左数第四像素的前景分量是F13/v。
当快门打开时对应于快门时间/v的第一部分的图17中帧#n-1左数第二像素前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17左数第三像素的前景分量也是F14/v。当快门打开时对应于快门时间/v的第三部分的图17左数第三像素的前景分量是F15/v。
由于对应于背景的对象是固定的，因此当快门打开时对应于快门时间/v的第二至第四部分的图17中帧#n-1的最左边像素的背景分量是B25/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n-1左数第二像素的背景分量是B26/v。当快门打开时对应于快门时间/v的第四部分的图17中帧#n-1左数第三像素的背景分量是B27/v。
在图17的帧#n-1中，最左边像素至第三像素属于混合区域，即，属于未覆盖背景区域。
图17中帧#n-1左数第四至第十二像素属于前景区域。该帧的前景分量是F13/v至F24/v的任何一个。
图17中帧#n左数最左边像素至第三像素属于背景区域，并且其像素值分别是B25至B28。
可以假定对应于前景的对象是以等速度运动的刚体，并且正在运动，使前景图像被显示为后续帧的右边的四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图17中帧#n左数第五像素的前景分量是F13/v，并且当快门打开时对应于快门时间/v的第二部分的图17中左数第六像素的前景分量也是F13/v。当快门打开时对应于快门时间/v的第三部分的图17中左数第七像素的前景分量，以及当快门打开时对应于快门时间/v的第四部分的图17中左数第八像素的前景分量是F13/v。
当快门打开时对应于快门时间/v的第一部分的图17中帧#n左数第六像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17中左数第七像素的前景分量也是F14/v。当快门打开时对应于快门时间/v的第一部分的图17中左数第八像素的前景分量是F15/v。
由于对应于背景的对象是固定的，因此当快门打开时对应于快门时间/v的第四部分的图17中帧#n左数第五像素的背景分量是B29/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n左数第六像素的背景分量是B30/v。当快门打开时对应于快门时间/v的第四部分的图17中帧#n左数第七像素的背景分量是B31/v。
在图17中的帧#n中，左数第五至第七像素属于混合区域，即属于未覆盖背景区域。
图17中帧#n左数第八至第十二像素属于前景区域。对应于快门时间/v周期的帧#n的前景区域中的前景分量值是F13/v至F20/v的任一个。
图17中帧#n+1左数最左像素至第八像素属于背景区域，并且其像素值分别是B25至B32。
可以假定对应于前景的对象是以等速度运动的刚体，并且正在运动，使前景图像被显示为后续帧的右边的四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图17中帧#n+1左数第九像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第二部分的图17左数第十像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第三部分的图17左数第十一像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图17左数第十二像素的前景分量是F13/v。
当快门打开时对应于快门时间/v的第一部分的图17中帧#n+1左数第十像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17左数第十一像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第三部分的图15左数第十二像素的前景分量是F15/v。
由于对应于背景的对象是固定的，因此当快门打开时对应于快门时间/v的第二部分的图17左数第九像素的背景分量是B33/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n+1左数第十像素的背景分量是B34/v。当快门打开时对应于快门时间/v的第四部分的图17中帧#n+1左数第十一像素的背景分量是B35/v。
在图17中的帧#n+1中，从图17左数第九至第十一像素属于混合区域，即属于未覆盖背景区域。
图17中帧#n+1左数第十二像素属于前景区域。对应于帧#n+1的前景区域中快门时间/v中的前景分量值分别是F13至F16的任一个。
图18图示说明了通过从图17所示的像素值中提取前景分量获得的图像的一个模型。
再参见图2，区域指定单元103通过使用多个帧的像素值指定多个标记，这些标记表示输入帧的各个像素属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域之中的哪一个，并且将这些标记作为区域信息提供给混合比计算器104和运动模糊调整单元106。
前景/背景分离器105根据多个帧的像素值、区域信息和混合比α提取仅仅由前景分量组成的前景分量图像，并且把前景分量图像提供给运动模糊调整单元106。
运动模糊调整单元106根据从前景/背景分离器105提供的前景分量图像、从运动检测器102提供的运动向量和从区域指定单元103提供的区域信息调整前景分量图像中包含的运动模糊量，然后输出调整了运动模糊的前景分量图像。
现面参考图19的流程图说明由信号处理设备执行的调整运动模糊量的处理。在步骤S11中，区域指定单元103根据输入图像执行区域指定处理，用于生成区域信息，该区域信息表示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域之中的哪一个。下面说明区域指定处理的细节。区域指定单元103向混合比计算器104提供所生成的区域信息。
在步骤S11中，区域指定单元103根据输入图像生成区域信息，以表示输入图像的每个像素属于前景区域、背景区域或者混合区域(不考虑每个像素是属于覆盖背景区域还是属于未覆盖背景区域)中的哪一个。在此情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向确定混合区域是覆盖背景区域还是未覆盖背景区域。如果输入图像在运动矢量方向上以背景区域、混合区域和前景区域的次序设置，则确定混合区域是未覆盖背景区域。
在步骤S12中，混合比计算器104根据输入图像和区域信息计算混合区域中包含的每个像素的混合比α。下面给出混合比计算处理的细节。混合比计算处理器104将计算的混合比α提供给前景/背景分离器105。
在步骤S13中，前景/背景分离器105根据区域信息和混合比α从输入图像中提取前景分量，并且把前景分量作为前景分量图像提供给运动模糊调整单元106。
在步骤S14中，运动模糊调整单元106根据运动矢量和区域信息生成处理单位，并调整对应于该处理单位的前景分量中包含的运动模糊量，其中所述处理单位表示在运动方向上布置的连续像素的位置并且表示这些像素属于未覆盖背景区域、前景区域和覆盖背景区域的任一个。下面给出调整运动模糊量的处理细节。
在步骤S15中，信号处理设备确定是否结束用于整个屏幕的处理。如果确定没有结束用于整个屏幕的处理，则处理前进到步骤S14，并且重复调整对应于处理单位的前景分量的运动模糊量的处理。
如果在步骤S15中确定用于整个屏幕的处理已经结束，则完成该处理。
在此方式中，信号处理设备能够通过分离前景和背景来调整前景中包含的运动模糊量。也就是，信号处理设备能够调整表示前景像素的像素值的抽样数据中包含的运动模糊量。
下面说明区域分离单元103、混合比计算器104、前景/背景分离器105和运动模糊调整单元106的每一个的配置。
图20是图示说明区域分离单元103的配置的一个实例的方框图。图20中显示的区域指定单元103不使用运动向量。帧存储器201以帧单位存储输入图像。当待处理的图像是帧#n时，帧存储器201存储帧#n-2(是帧#n前两个帧的帧)、帧#n-1(是帧#n前一个帧的帧)、帧#n、帧#n+1(是帧#n后一个帧的帧)、帧#n+2(是帧#n后二个帧的帧)。
固定/运动确定部分202-1从帧存储器201中读取位于与帧#n的一个特定像素相同位置上的帧#n+2像素的像素值，在#帧中确定该特定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该特定像素相同位置上的帧#n+1像素的像素值，并计算所读出的像素值之间差值的绝对值。固定/运动确定部分202-1确定帧#n+2的像素值与帧#n+1的像素值之间差值的绝对值是否大于预置的阈值Th。如果确定该差值的绝对值大于阈值Th，则把表示“运动”的固定/运动确定提供给区域确定部分203-1。如果确定帧#n+2的像素的像素值与帧#n+1的像素的像素值之间差值的绝对值小于或者等于阈值Th，则固定/运动确定部分202-1把表示“固定”的固定/运动确定提供给区域确定部分203-1。
固定/运动确定部分202-2从帧存储器201中读取帧#n的一个特定像素的像素值，在帧#n中确定该特定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该特定像素相同位置上的帧#n+1像素的像素值，并计算这些像素值之间差值的绝对值。固定/运动确定部分202-2确定帧#n+1的像素值与帧#n的像素值之间差值的绝对值是否大于阈值Th。如果确定这些像素之间差值的绝对值大于阈值Th，则把表示“运动”的固定/运动确定提供给区域确定部分203-1和区域确定部分203-2。如果确定帧#n+1的像素的像素值与帧#n的像素的像素值之间的差值的绝对值小于或者等于阈值Th，则固定/运动确定部分20221把表示“固定”的固定/运动确定提供给区域确定部分203-1和区域确定部分203-2。
固定/运动确定部分202-3从帧存储器201中读取帧#n的一个特定像素的像素值，在帧#n中确定该特定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该特定像素相同位置上的帧#n-1像素的像素值，并计算这些像素值之间差值的绝对值。固定/运动确定部分202-3确定帧#n的像素值与帧#n-1的像素值之间差值的绝对值是否大于阈值Th。如果确定这些像素之间差值的绝对值大于阈值Th，则把表示“运动”的固定/运动确定提供给区域确定部分203-2和区域确定部分203-3。如果确定帧#n的像素的像素值与帧#n-1的像素的像素值之间差值的绝对值小于或者等于阈值Th，则固定/运动确定部分202-3把表示“固定”的固定/运动确定提供给区域确定部分203-2和区域确定部分203-3。
固定/运动确定部分202-4从帧存储器201中读取位于与帧#n一个特定像素相同位置上的帧#n-1像素的像素值，在帧#n中确定该特定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该特定像素相同位置上的帧#n-2像素的像素值，并计算这些像素值之间差值的绝对值。固定/运动确定部分202-4确定帧#n-1的像素值与帧#n-2的像素值之间差值的绝对值是否大于预置的阈值Th。如果确定这些像素之间差值的绝对值大于阈值Th，则把表示“运动”的固定/运动确定提供给区域确定部分203-3。如果确定帧#n-1的像素的像素值与帧#n-2的像素的像素值之间差值的绝对值小于或者等于阈值Th，则固定/运动确定部分202-4把表示“固定”的固定/运动确定提供给区域确定部分203-3。
当从固定/运动确定部分202-1提供的固定/运动确定表示“固定”以及当从固定/运动确定部分202-2提供的固定/运动确定表示“运动”时，区域确定部分203-1确定帧#n的特定像素属于未覆盖背景区域，并把表示该特定帧属于未覆盖背景区域的“1”设置到与该特定像素关联的未覆盖背景区域确定标志中。
当从固定/运动确定部分202-1提供的固定/运动确定表示“运动”以及当从固定/运动确定部分202-2提供的固定/运动确定表示“固定”时，区域确定部分203-1确定帧#n的特定像素不属于未覆盖背景区域，并把表示该特定帧不属于未覆盖背景区域的“0”设置到与该特定像素关联的未覆盖背景区域确定标志中。
区域确定部分203-1向存储确定标志的帧存储器204提供按照以上讨论设置“1”或“0”的未覆盖背景区域确定标志。
当从固定/运动确定部分202-2提供的固定/运动确定表示“固定”以及当从固定/运动确定部分202-3提供的固定/运动确定表示“固定”时，区域确定部分203-2确定帧#n的特定像素属于固定区域，并把表示该特定帧属于固定区域的“1”设置到与该特定像素关联的固定区域确定标志中。
当从固定/运动确定部分202-2提供的固定/运动确定表示“运动”或者当从固定/运动确定部分202-3提供的固定/运动确定表示“运动”时，区域确定单元203-2确定帧#n的特定像素不属于固定区域，并把表示该特定帧不属于固定区域的“0”设置到与该特定像素关联的固定区域确定标志中。
区域确定部分203-2向存储确定标志的帧存储器204提供按照以上讨论设置“1”或“0”的固定区域确定标志。
当从固定/运动确定部分202-2提供的固定/运动确定表示“运动”以及当从固定/运动确定部分202-3提供的固定/运动确定表示“运动”时，区域确定部分203-2确定帧#n的特定像素属于运动区域，并把表示该特定帧属于运动区域的“1”设置到与该特定像素关联的运动区域确定标志中。
当从固定/运动确定部分202-2提供的固定/运动确定表示“固定”或者当从固定/运动确定部分202-3提供的固定/运动确定表示“固定”时，区域确定部分203-2确定帧#n的特定像素不属于运动区域，并把表示该特定帧不属于运动区域的“0”设置到与该特定像素关联的运动区域确定标志中。
区域确定部分203-2向存储确定标志的帧存储器204提供按照以上讨论设置“1”或“0”的运动区域确定标志。
当从固定/运动确定部分202-3提供的固定/运动确定表示“运动”以及当从固定/运动确定部分202-4提供的固定/运动确定表示“固定”时，区域确定部分203-3确定帧#n的特定像素属于覆盖背景区域，并把表示该特定帧属于覆盖背景区域的“1”设置到与该特定像素关联的覆盖背景区域确定标志中。
当从固定/运动确定部分202-3提供的固定/运动确定表示“固定”或者当从固定/运动确定部分202-4提供的固定/运动确定表示“运动”时，区域确定部分203-3确定帧#n的特定像素不属于覆盖背景区域，并把表示该特定帧不属覆盖背景区域的“0”设置到与该特定像素关联的覆盖背景区域确定标志中。
区域确定部分203-3向存储确定标志的帧存储器204提供按照以上讨论设置“1”或“0”的覆盖背景区域确定标志。
存储确定标志帧存储器204存储从区域确定部分203-1提供的未覆盖背景区域确定标志、从区域确定部分203-2提供的固定区域确定标志、从区域确定部分203-2提供的运动区域确定标志、以及从区域确定部分203-3提供的覆盖背景区域确定标志。
存储确定标志帧存储器204把存储的未覆盖背景区域确定标志、固定区域确定标志、运动区域确定标志、以及覆盖背景区域确定标志提供给合成器205。合成器205根据从存储确定标志帧存储器204提供的未覆盖背景区域确定标志、固定区域确定标志、运动区域确定标志和覆盖背景区域确定标志来生成区域信息，以表示每个像素属于未覆盖背景区域、固定区域、运动区域或者覆盖背景区域中的哪一个，并且把区域信息提供给存储确定标志帧存储器206。
存储确定标志帧存储器206存储从合成器205提供的区域信息，并且还输出所存储的区域信息。
下面参考图21至25说明由区域指定单元103执行的处理的一个实例。
当对应于前景的对象正在运动时，对应于屏幕上对象的图像的位置在每帧中变化。如图21所示，位于在帧#n中Yn(x，y)所表示位置上的对象的图像被定位在在帧#n之后的帧#n+1的Yn+1(x，y)上。
图24示出了通过在时间方向上扩展沿对应于前景对象的像素的运动方向并排排列的像素的像素值而获得的一个模型。例如，如果对应于前景对象的图像的运动方向是相对屏幕水平的，则图22中所示的模型是通过在时间方向扩展在一行上并排排列的多个像素的像素值而获得的一个模型。
在图22中，帧#n中的行等于帧#n+1中的行。
对应于包含在帧#n左数第二像素至第十三像素中的对象的前景分量被包含在帧#n+1左数第六像素至第十七像素中。
在帧#n中，属于覆盖背景区域的多个像素是从左数第七至第十三像素，属于未覆盖背景区域的多个像素是从左数第二至第四像素。在帧#n+1中，属于覆盖背景区域的多个像素是从左数第五至第七像素，属于未覆盖背景区域的多个像素是从左数第六至第八像素。
在图22所显示的实例中，由于帧#n中包含的前景分量被移动到帧#n+1中四个像素，因此运动量v是4。虚拟分割部分的数量是与运动量v相应的4。
下面给出在一个特定帧前后的多个帧中属于混合区域的像素的像素值的变化。
在图23中，属于帧#n中覆盖背景区域的像素是从左数第十五至第十七像素，其中在帧#n中背景是固定的并且前景中的运动量v是4。由于运动量v是4，因此从前帧#n-1左边第十五至第十七帧仅仅包含背景分量并且属于背景区域。从帧#n-2(帧#n-1之前的帧)左数第十五至第十七像素仅包含背景分量，并且属于背景区域。
由于对应于背景的对象是固定的，因此帧#n-1左数第十五像素的像素值不会改变帧#n-2左数第十五像素的像素值。同样，帧#n-1左数的第十六像素的像素值不会改变帧#n-2左数第十六像素的像素值，并且帧#n-1左数的第十七像素的像素值不会改变帧#n-2左数第十七像素的像素值。
也就是，对应于属于帧#n中覆盖背景区域的多个像素的帧#n-1和帧#n-2中的像素值仅仅由背景分量组成，其像素值不改变。因此，这些像素值的差值的绝对值几乎等于0。因而由固定/运动确定部分202-4作出的对应于属于帧#n中混合区域的多个像素值的帧#n-1和帧#n-2中的诸多像素的固定/运动确定是“固定”。
由于属于帧#n中覆盖背景区域的诸多像素包含前景分量，因此其像素值不同于仅由背景分量组成的帧#n-1的像素值。因此，由固定/运动确定部分202-3作出的属于帧#n中混合区域的诸多像素和帧#n-1中对应的诸多像素的固定/运动确定是“运动”。
当固定/运动确定部分202-3提供表示“运动”的固定/运动确定结果时，以及当固定/运动确定部分202-4提供表示“固定”的固定/运动确定结果时，按照以上讨论，区域确定部分203-3确定该对应的诸多像素属于覆盖背景区域。
在图24中，在背景固定不动和前景的运动量v是4的帧#n中包含在一个未覆盖背景区域中的诸多像素是左数第二至第四像素。由于运动量v是4，因此后续帧#n+1中左数的第二至第四像素仅包含背景分量，并且属于背景区域。在帧#n+1之后的帧#n+2中，左数第二至第四像素仅包含背景分量并且属于背景区域。
由于对应于背景的对象固定不动，因此帧#n+2中左数第二像素的像素值不改变帧#n+1左数第二像素的像素值。同样，帧#n+2中左数第三像素的像素值不改变帧#n+1左数第三像素的像素值，帧#n+2中左数第四像素的像素值不改变帧#n+1左数第四像素的像素值。
也就是，对应于属于帧#n中未覆盖背景区域的诸多像素的帧#n+1和帧#n+2中诸多像素仅仅由背景分量组成，并且其像素值不变化。因此，这些像素值的差值的绝对值几乎等于0。这样，由固定/运动确定部分202-1作出的用于对应于属于帧#n中混合区域的诸多像素的帧#n+1和帧#n+2中诸多像素的固定/运动确定是“固定”。
由于属于帧#n中未覆盖背景区域的像素包含前景分量，因此其像素值不同于仅仅由背景分量组成的帧#n+1的像素值。所以，由固定/运动确定部分202-2作出的用于属于帧#n中混合区域的诸多像素和帧#n+1中对象的诸多像素的固定/运动确定是“运动”。
当固定/运动确定部分202-2提供表示“运动”的固定/运动确定结果时，以及当固定/运动确定部分202-1提供表示“固定”的固定/运动确定结果时，按照以上讨论，区域确定部分203-1确定该对应的诸多像素属于未覆盖背景区域。
图25图示说明了由区域指定单元103作出的帧#n的确定条件。当位于与待处理的帧#n的像素相同图像位置上的帧#n-2的像素和位于与帧#n的像素相同图像位置上的帧#n-1的像素的确定结果是固定时，以及当帧#n的像素和当位于与帧#n的像素相同图像位置上的帧#n-1的像素的确定结果是运动时，区域指定单元103确定帧#n中的像素属于覆盖背景区域。
当帧#n中像素和位于与帧#n的像素相同图像位置上的帧#n-1的像素的确定结果是固定时，以及当帧#n的像素和当位于与帧#n的像素相同图像位置上的帧#n+1的像素的确定结果是固定时，区域指定单元103确定帧#n中的像素属于固定区域。
当帧#n中像素和位于与帧#n的像素相同图像位置上的帧#n-1的像素的确定结果是运动时，以及当帧#n的像素和当位于与帧#n的像素相同图像位置上的帧#n+1的像素的确定结果是运动时，区域指定单元103确定帧#n中的像素属于运动区域。
当帧#n中像素和位于与帧#n的像素相同图像位置上的帧#n+1的像素的确定结果是运动时，以及当位于与帧#n的像素的相同位置上的帧#n+1的像素和位于与帧#n的像素相同图像位置上的帧#n+2的像素的确定结果是固定时，区域指定单元103确定帧#n中的像素属于未覆盖背景区域。
图26A至26D图示说明了区域指定单元103获得的趋于确定结果的实例。在图26A中，用白色表示了确定属于覆盖背景区域的像素。在图26B中，用白色表示了确定属于未覆盖背景区域的像素。
在图26C中，用白色表示了确定属于运动区域的像素。在图26D中，用白色表示了确定属于固定区域的像素。
图27图示说明了表示从存储确定标志帧存储器输出的区域信息中选择的以一个图像形式的混合区域。在图27中，用白色表示了确定属于覆盖背景区域或者未覆盖背景区域的像素，即，确定属于混合区域的像素。表示从存储确定标志帧存储器206输出的混合区域的区域信息指定混合区域和具有一个纹理(texture)的部分，该纹理由不具备前景区域中一个纹理的部分环绕。
下面结合图28的流程图说明区域指定单元103执行的区域指定处理。在步骤S201中，帧存储器201获得包括帧#n的帧#n-2至帧#n+2的图像。
在步骤S202中，固定/运动确定部分202-3确定位于相同位置上的帧#n-1中的像素和帧#n中的像素的确定结果是否是固定的。如果确定确定结果是固定的，处理前进到步骤S203，由固定/运动确定部分202-2确定位于同一位置上的帧#n中像素和帧#n+1中像素的确定结果是固定的。
如果在步骤S203中确定位于同一位置上的帧#n中像素和帧#n+1中像素的确定结果是固定的，则处理前进到步骤S204。在步骤S204，区域确定部分203-2将表示待处理的像素属于固定区域的“1”设置到与待处理的像素关联的固定区域确定标志中。区域确定部分203-2向存储确定标志帧存储器204提供固定区域确定标志，并前进到步骤S205。
如果在步骤S202中确定位于同一位置上的帧#n-1中像素和帧#n中像素的确定结果是运动的，或者如果在步骤S203中确定位于同一位置的帧#n的像素和帧#n+1中像素的的确定结果是运动的，则待处理的像素不属于固定区域。因此，步骤S204的处理被跳过，以及处理前进到步骤S205。
在步骤S205，固定/运动确定部分202-3确定位于同一位置的帧#n-1的像素和帧#n的像素的确定结果是运动的。如果确定确定结果是运动的，则处理前进到步骤S206，在此步骤中，固定/运动确定部分202-2确定位于同一位置的帧#n中的像素和帧#n+1中的像素是否是运动的。
如果在步骤S206中确定位于同一位置上的帧#n中像素和帧#n+1中像素的确定结果是否是运动的，则处理前进到步骤S207。在步骤S207中，区域确定部分203-2将表示待处理的像素属于运动区域的“1”设置到与该待处理的像素关联的运动区域确定标志中。区域确定部分203-2向存储确定标志帧存储器204提供运动区域确定标志，并前进到步骤S208。
如果在步骤S205中确定位于同一位置上的帧#n-1中像素和帧#n中像素的确定结果是固定的，或者如果在步骤S203中确定位于同一位置的帧#n的像素和帧#n+1中像素的的确定结果是固定的，则帧#n中像素不属于运动区域。因此，步骤S207的处理被跳过，以及处理前进到步骤S208。
在步骤S208，固定/运动确定部分202-4确定位于同一位置的帧#n-2的像素和帧#n-1的像素的确定结果是否是固定的。如果确定该确定结果是固定的，则处理前进到步骤S209，在此步骤中，固定/运动确定部分202-3确定位于同一位置的帧#n-1中的像素和帧#n中的像素是运动的。
如果在步骤S209中确定位于同一位置上的帧#n-1中像素和帧#n中像素的确定结果是运动的，则处理前进到步骤S210。在步骤S210中，区域确定部分203-2将表示待处理的像素属于覆盖背景区域的“1”设置到与该待处理的像素关联的覆盖背景区域确定标志中。区域确定部分203-3向存储确定标志帧存储器204提供覆盖背景区域确定标志，并前进到步骤S211。
如果在步骤S208中确定位于同一位置上的帧#n-2中像素和帧#n-1中像素的确定结果是运动的，或者如果在步骤S209中确定位于同一位置的帧#n-1的像素和帧#n中像素的的确定结果是固定的，则帧#n中像素不属于覆盖背景区域。因此，步骤S210的处理被跳过，以及处理前进到步骤S211。
在步骤S211，固定/运动确定部分202-2确定位于同一位置的帧#n的像素和帧#n+1的像素的确定结果是否是运动的。如果在步骤S211中确定该确定结果是运动的，则处理前进到步骤S212，在此步骤中，固定/运动确定部分202-1确定位于同一位置的帧#n+1中的像素和帧#n+2中的像素是否是固定的。
如果在步骤S212中确定位于同一位置上的帧#n+1中像素和帧#n+2中像素的确定结果是固定的，则处理前进到步骤S213。在步骤S213中，区域确定部分203-1将表示待处理的像素属于未覆盖背景区域的“1”设置到与该待处理的像素关联的未覆盖背景区域确定标志中。区域确定部分203-1向存储确定标志帧存储器204提供未覆盖背景区域确定标志，并前进到步骤S214。
如果步骤S211中确定位于同一位置上的帧#n中像素和帧#n+1中像素的确定结果是固定的，或者如果在步骤S212中确定帧#n+1的像素和帧#n+2中像素的的确定结果是运动的，则帧#n中像素不属于未覆盖背景区域。因此，步骤S213的处理被跳过，以及处理前进到步骤S214。
在步骤S214，区域指定单元103确定帧#n的所有像素的区域是否被指定。如果确定帧#n的所有像素的区域还未被指定，则处理前进到步骤S220，并且为了保持象素而重复区域指定处理。
如果在步骤S214中，确定帧#n的所有像素的区域被指定，则处理前进到步骤S215。在步骤S215中，合成器215根据存储在存储确定标志帧存储器204中的未覆盖背景区域确定标志和覆盖背景区域确定标志生成表示混合区域的区域信息，并且还生成表示每个像素属于未覆盖背景区域、固定区域、运动区域、或者覆盖背景区域的哪一个的区域信息。然后结束该处理。
如上讨论，区域指定单元103能够生成表示包含在一个帧中每个像素属于运动区域、固定区域、未覆盖背景区域、或者覆盖背景区域的哪一个的区域信息。
区域指定单元103可以把逻辑OR应用于对应于未覆盖背景区域的区域信息和对应于覆盖背景区域的区域信息，以便生成对应于混合区域的区域信息，然后可以生成由表示包含在帧中的各个像素属于运动区域、固定区域或者混合区域的哪一个的标志组成的区域信息。
当对应于前景的对象具有纹理时，区域指定单元103能够更精确指定运动区域。
区域指定单元103能够输出表示运动区域的区域信息，以作为表示前景区域的区域信息，并且输出表示固定区域的区域信息，以作为表示背景区域的区域信息。
上面已经描述了假定对应于背景的对象是固定的实施例。然而，即使对应于背景区域的图像包括运动，也可以应用上述的区域指定处理。例如，如果对应于背景区域的图像正在均匀运动，则区域指定单元103根据该运动位移整个图像，并且按照类似于对应于背景的对象是固定的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，则区域指定单元103选择对应于运动的像素，并且执行上述的处理。
图29是图示说明区域指定单元103的另一种配置的一个实例。图29所示的区域指定单元103不使用一个运动向量。背景图像生成器301生成对应于输入图像的背景图像，并且向二进制对象图像提取部分302提供所生成的背景图像。背景图像生成器301提取例如对应于包含在输入图像中的背景对象的一个图像对象，并且生成背景图像。
图30示出了通过在时间方向扩展沿着对应于前景对象的图像的运动方向并排排列的多个像素的像素值而获得的一个模型的实例。例如，如果对应于前景对象的图像的运动方向是相对屏幕水平的，则图30所示的模型是通过在时域中对单行上并排排列的像素的像素值进行扩展而获得的一个模型。
在图30中，帧#n中行与帧#n-1中的行以及帧#n+1中的行相同。
在帧#n中，对应于包含在左数第六至第十七像素中的对象的前进分量被包含在帧#n-1左数第二至第十三像素中，并且还包含在帧n+1左数第十至第二十一像素中。
在帧#n-1中，属于覆盖背景区域的多个像素是左数第十一至第十三像素，属于未覆盖背景区域的像素是左数第二至第四像素。在帧#n中，属于覆盖背景区域的像素是左数第十五至第十七像素，并且属于未覆盖背景区域的像素是左数第六至第八像素。在帧#n+1中，属于覆盖背景区域的像素是左数第十九至第二十一像素，并且属于未覆盖背景区域的像素是左数第十至第十二像素。
在帧#n-1中，属于背景区域的多个像素是左数第一像素，和左数第十四至第二十一像素。在帧#n中，属于背景区域的像素是左数第一至第五像素，和左数第十八至第二十一像素。在帧#n+1中，属于背景区域的像素是左数第一至第九像素。
图31示出了由背景图像生成器301生成的对应于图30所示的实例的背景图像的一个例子。背景图像由对应于背景对象的多个像素组成，但是不包括对应于前景对象的图像分量。
二进制对象图像提取部分302根据背景图像与输入图像之间的相关生成二进制对象图像，并且向时间变化检测器303提供所生成的二进制对象图像。
图32是图示说明二进制对象图像提取部分302的配置的方框图。相关值计算器321计算从背景图像生成器301提供的背景图像与输入图像之间的相关，以便生成相关值，并且将所生成的相关值提供给阈值处理器322。
相关值计算器321将方程(4)运用于例如中心具有X4的3×3背景图像块(如图33A所示)，并且运用于例如对应于背景图像块的中心具有Y4的3×3背景图像块(如图33B所示)，从而计算对应于Y4的相关值。 X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>相关值计算器321向阈值处理器322提供上述的为每个像素计算的相关值。
作为选择，相关值计算器321可以将方程(7)运用于例如中心具有X4的3×3背景图像块(如图34A所示)，并且运用于例如对应于背景图像块的中心具有Y4的3×3背景图像块(如图34B所示)，从而计算对应于Y4的差值的绝对值之和。 相关值计算器321向阈值处理器322提供作为相关值的以上计算的差值的绝对值。
阈值处理器322将相关图像的像素值与阈值th0进行比较。如果该相关值小于或等于阈值th0，则把1设置到二进制对象图像的像素值中。如果相关值大于阈值th0，则把0设置到二进制对象图像的像素值中。阈值处理器322随后输出其像素值被设置为0或者1的二进制对象图像。阈值处理器322可以预先存储阈值th0，或者可以使用从外部源输入的阈值th0。
图35说明了对应于图30所示的输入图像的模型的二进制对象图像。在二进制对象图像中，0被设置在具有一个与背景图像有较高相关的像素的像素值中。
图36是图示说明时间变换检测器303的配置的方框图。当确定帧#n的像素区域时，帧存储器341存储从二进制对象图像提取部分302提供的帧#n-1、帧#n和帧#n+1的二进制对象图像。
区域确定部分342根据帧#n-1、帧#n和帧#n+1的二进制对象图像确定帧#n的每个像素的区域，以便生成区域信息，并且输出所生成的区域信息。
图37说明了由区域确定部分作出的确定。当帧#n中二进制对象图像的重要像素是0时，区域确定部分342确定帧#n的重要像素属于背景区域。
当帧#n中二进制对象图像的重要像素为1时，和当帧#n-1中二进制对象图像的对应像素为1时，以及当帧#n+1中二进制对象图像的对应像素为1时，区域确定部分342确定帧#n中的重要像素属于前景区域。
当帧#n中二进制对象图像的重要像素为1时，和当帧#n-1中二进制对象图像的对应像素为0时，区域确定部分342确定帧#n中的重要像素属于覆盖背景区域。
当帧#n中二进制对象图像的重要像素为1时，和当帧#n+1中二进制对象图像的对应像素为0时，区域确定部分342确定帧#n中的重要像素属于未覆盖背景区域。
图38示出了由时间变化检测器303作出的关于对应于图30所示的输入图像的模型的二进制对象图像的确定的一个实例。时间变化检测器303确定帧#n左数第一至第五像素属于背景区域，因为帧#n的二进制对象图像的对应像素为0。
时间变化检测器303确定左数第六至第九像素属于未覆盖背景区域，因为帧#n中二进制对象图像的像素为1，以及帧#n+1中的对应像素为0。
时间变化检测器303确定左数第十至第十三像素属于前景区域，因为帧#n中二进制对象图像的像素为1，帧#n-1中的对应像素为1，以及帧n+1中的对应像素为1。
时间变化检测器303确定左数第十四至第十七像素属于覆盖背景区域，因为帧#n中二进制对象图像的像素为1，帧#n-1中对应像素为0。
时间变化检测器303确定左数第十八至第二十一像素属于背景区域，因为帧#n中二进制对象图像的对应像素为0。
下面参考图39的流程图说明由区域指定单元103执行的区域指定处理。在步骤S301中，区域指定单元103的背景图像生成器301例如根据输入图像提取对应于包含在输入图像中的背景对象的图像对象，以便生成背景图像，并且向二进制对象图像提取部分302提供所生成的背景图像。
在步骤S302中，二进制对象图像提取部分302根据例如参考图33A和图33B所讨论的计算来计算输入图像与背景图像生成器301提供的背景图像之间的相关值。在步骤S303中，二进制对象图像提取部分302通过例如比较相关值与阈值th0，由该相关值和阈值th0计算二进制对象图像。
在步骤S304中，时间变化检测器303执行区域确定处理，并且完成该处理。
下面参考图40的流程图说明步骤S304中的区域确定处理的细节。在步骤S321中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n中的重要像素是否为0。如果确定帧#n中重要像素为0，则处理前进到步骤S322。在步骤S322中，确定帧#n中重要像素属于背景区域，然后完成该处理。
如果在步骤S321中确定帧#n中重要像素为1，则处理前进到步骤S323。在步骤S323中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n的重要像素是否为1，并确定帧#n-1中的对应像素是否为0。如果确定帧#n中重要像素为1，以及帧n-1中对应像素为0，则处理前进到步骤S324。在步骤S324中，确定帧#n中重要像素属于覆盖背景区域，并完成该处理。
如果在步骤S323中确定帧#n中重要像素为0，或者帧#n-1的对应像素为1，则处理前进到步骤S325。在步骤S325中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n的重要像素是否为1，并确定帧#n+1中的对应像素是否为0。如果确定帧#n中重要像素为1，以及帧n+1中对应像素为0，则处理前进到步骤S326。在步骤S326中，确定帧#n中重要像素属于未覆盖背景区域，并完成该处理。
如果在步骤S325中确定帧#n中重要像素为0，或者帧#n+1的对应像素为1，则处理前进到步骤S327。在步骤S327中，时间变化检测器303的区域确定部分342确定帧#n的重要像素属于前景区域，并完成该处理。
如上所述，区域指定单元103能够根据输入图像与对应的背景图像之间的相关值指定输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域的哪一个，并生成对应于特定结果的区域信息。
图41是图示说明区域指定单元103的另一个配置的方框图。区域指定单元103使用从运动检测器提供的运动向量和它的位置信息。用相似参考标号指定与图29所示部件相同的部件，并省略其说明。
强处理部分361根据从二进制对象图像提取部分302提供的N各帧的二进制对象图像生成一个强二进制对象图像，并且向时间变化检测器303输出强二进制对象图像。
图42是说明强处理部分361的配置的方框图。运动补偿器381根据从运动检测器102提供的运动向量和它的位置信息补偿N各帧的二进制对象图像的运动，并且把运动补偿二进制对象图像输出给一个开关382。
下面结合图43和图44所示的实例讨论由运动补偿器381执行的运动补偿。例如，假定帧#n的区域将被处理。当输入图43所示的帧#n-1、帧#n和帧#n+1的二进制对象图像时，运动补偿器381根据从运动检测器102提供的运动向量补偿帧#n-1的二进制对象图像和帧#n+1的二进制对象图像的运动，如图44的实例所示，并且把运动补偿二进制对象图像提供给开关382。
开关382把第一帧的运动补偿二进制对象图像输出给帧存储器383-1，并且把第二帧的运动补偿二进制对象图像输出给帧存储器383-2。同样，开关382把第三帧至第(N-1)帧的运动补偿二进制对象图像输出给帧存储器393-3至383-(N-1)，并且把第N帧的运动补偿二进制对象图像输出给帧存储器383-N。
帧存储器383-1存储第一帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-1。帧存储器383-2存储第二帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-2。
同样，帧存储器383-3至383-(N-1)存储第三至第(N-1)帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-3至384-(N-1)。帧存储器383-N存储第N帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-N。
加权部分384-1用一个预定加权w1乘以帧存储器383-1提供的第一帧的运动补偿二进制对象图像的像素值，并且向一个累积器385提供加权的二进制对象图像。加权部分384-2用一个预定加权w2乘以帧存储器383-2提供的第二帧的运动补偿二进制对象图像的像素值，并且向累积器385提供加权的二进制对象图像。
同样，加权部分384-3至384-(N-1)用预定加权w3至w(N-1)乘以帧存储器383-3至(N-1)提供的第三至第(N-1)帧的运动补偿二进制对象图像的像素值，并且向累积器385提供加权的二进制对象图像。加权部分384-N用一个预定加权wN乘以帧存储器383-N提供的第N帧的运动补偿二进制对象图像的像素值，并且向累积器385提供加权的二进制对象图像。
累积器385累积由第一至第N帧的加权w1至wN相乘的运动补偿二进制对象图像的像素值，并且比较所累积的像素值与预定的阈值th0，从而生成二进制对象图像。
如上所述，强处理部分361从N个二进制对象图像中生成一个强二进制对象图像，并且提供给时间变化检测器303。所以，按图41配置的区域指定单元103能够比图29更精确地指定区域，即使在输入图像中含有噪声。
下面参考图45的流程图说明按照图41配置的区域指定单元103执行的区域指定处理。步骤S341至步骤S343的处理类似于结合图39的流程图所讨论的步骤S301至步骤S303的处理，因而省略其说明。
在步骤S344中，强处理部分361执行强处理。
在步骤S345中，时间变化检测器303执行区域确定处理，并完成该处理。步骤S345的处理细节类似于结合图40的流程图所讨论的处理，因此省略其说明。
下面参考图46的流程图给出对应于图45中的步骤S344的处理的强处理。在步骤S361中，运动补偿器381根据从运动检测器102提供的运动向量以及位置信息执行输入二进制对象图像的运动补偿。在步骤S362中，帧存储器383-1至383-N之一存储经由开关382提供的对应的运动补偿二进制对象图像。
在步骤S363中，强处理部分361确定是否存储了N个二进制对象图像。如果确定未存储N个二进制对象图像，则处理返回到步骤S361，并且重复补偿二进制对象图像运动的处理以及存储二进制对象图像的处理。
如果在步骤S363中确定存储了N个二进制对象图像，则处理前进到执行加权的步骤S364。在步骤S364中，加权部分384-1至384-N用加权w1至wN乘以对应的N个二进制对象图像。
在步骤S365中，累积器385累积N个加权二进制对象图像。
在步骤S366中，累积器385例如通过比较所累积得值与预定阈值th1，从累积的图像中生成二进制对象图像，然后完成该处理。
如上所述，按照图41配置的区域指定单元103能够根据强二进制对象图像生成区域信息。
正如从上述说明所看到的，区域指定单元103能够生成区域信息，以表示包含在一个帧中的每个像素属于运动区域、固定区域、未覆盖背景区域或者覆盖背景区域的哪一个。
图47是说明混合比计算器104的配置的方框图。估算混合比处理器401通过根据从运动检测器102提供的运动向量及其位置信息以及输入图像计算覆盖背景区域的一个模型，来计算每个像素的估算混合比，并且把计算的估算混合比提供给混合比确定部分403。
估算混合比处理器402通过根据从运动检测器102提供的运动向量及其位置信息以及输入图像计算未覆盖背景区域的一个模型，来计算每个像素的估算混合比，并且把计算的估算混合比提供给混合比确定部分403。
由于可以假定对应于前景的对象在快门时间正在以等速度运动，因此属于一个混合区域的像素的混合比α展现以下特征。也就是，混合比α根据像素的位置变化而线性变化。如果像素的位置变化是一维的，可以线性地表示混合比α的变化。如果像素的位置变化是二维的，可以在平面上表示混合比α的变化。
由于一帧的周期很短，因此可以假定对应于前景的对象是以等速度运动的刚体。
混合比α的梯度与前景的快门时间内的运动量v成反比。
图48示出了理想的混合比α的一个实例。混合区域中的理想混合比α的梯度1可以由运动量v的地倒数表示。
如图48所示，理想混合比α具有背景区域的1的值，前景区域的0的值，和混合区域的大于0小于1地值。
在图49所示的实例中，帧#n左数第七像素的像素值C06可以由使用帧#n-1左数第七像素的像素值P06的方程(8)表示。
C06＝B06/v+B06/v+F01/v+F02/v＝P06/v+P06/v+F01/v+F02/v=2/v·P06+Σi=12Fi/v---(8)]]>在方程(8)中，像素值C06由混合区域中的像素的像素值M表示，而像素值P06由背景区域的像素的像素值B表示。也就是，混合区域的像素的像素值M和背景区域的像素的像素值B可以分别由方程(9)和方程(10)表示。
M＝C06(9)B＝P06(10)在方程(8)中，2/v相当于混合比α。由于运动量v是4，因此帧#n左数第七像素的混合比α是0.5。
如上所述，重要的帧#n中的像素值C被认为是混合区域的像素值，而帧#n之前的帧#n-1的像素值P被认为是背景区域中的像素值。所以，表示混合比α的方程(3)可以由方程(11)表示C＝α·p+f (11)其中，方程(11)中的f表示包含在重要像素中的前景分量∑iFi/v之和。方程(11)中含有的变量是两个因数，即，混合比α和前景分量之和f。
同样，图50示出了通过在时间方向上扩展像素值而获得的一个模型，在该像素值中运动量v是4，虚拟分割部分的数量在未覆盖背景区域中是4。
如覆盖背景区域的表示那样，在未覆盖背景区域中，重要的帧#n的像素值C被认为是混合区域中的像素值，而帧#n之后的帧n+1的像素值N被认为是背景区域。因此，表示混合比α的方程(3)可以由方程(12)表示。
C＝α·N+f(12)上面已经说明了假定背景对象是固定的实施例。然而，通过使用对应于背景的运动量v定位的像素的像素值，可以将方程(8)至方程(12)应用于背景对象正在运动的情况。例如，现在假定在图49中，对应于背景的对象的运动量v是2，以及虚拟分割部分数量是2。在此情况下，当对应于背景的对象正在向图49的右端运动，方程(10)中的背景区域中的像素的像素值B由像素值P04表示。
由于方程(11)和(12)的每一个包含两个变量，因此不修改方程就不能确定混合比α。
所以，根据前景对象的运动量v用属于混合区域的像素和属于背景区域的对应像素的简洁方程来确定混合比α。
从运动检测器102提供的运动向量及其位置信息被利用为运动量v。
下面给出估算混合比处理器401通过使用基于对应于覆盖背景区域的模型的运动量v计算估算混合比的说明。
在对应于覆盖背景区域的图49所示的实例中，方程(13)对帧#n-1的P02适用，方程(14)对帧#n的C06适用。P02=2/v·B02+Σi=12Fi/v---(13)]]>C06=2/v·B06+Σi=12Fi/v---(14)]]>在方程(13)和(14)中，对应于混合比α值是相同的，即，2/v。在方程(13)和(14)中，对应于前景分量之和的值是相同的，即，Σi=12Fi/v]]>也就是，由于前景对象的运动，帧#n-1的P02混合比α和前景分量与帧#n的C06相同，因此可以说帧#n的C06相当于帧#n-1的P02。
通过使用对应于前景的对象正在以等速度在多个帧上运动的假定，以及前景分量是均匀的假定，能够根据前景对象的运动量v选择多个组，所述每个组包括属于混合区域的像素和属于背景区域的对应像素，其混合比α和前景分量之和是相同的。例如，可以准备五个组，其每个组包括属于混合区域的像素和属于背景区域的对应像素。
例如，如图51所示，根据前景对象的运动量v，可以从帧#n-3至帧#n+2中选择属于混合区域的像素Mt1至Mt5和属于背景区域的对应像素Bt1至Bt5。
方程(15)至(19)分别对像素Mt1至Mt5和像素Bt1至Bt5适用Mt1＝α Bt1+f(15)Mt2＝α Bt2+f(16)Mt3＝α Bt3+f(17)Mt2＝α Bt4+f(18)Mt2＝α Bt5+f(19)
其中方程(15)至(19)中的f表示前景分量∑iFi/v。
在五个方程中，即，在方程(15)至(19)中，包含公共变量，即，混合比α以及前景分量之和f。所以，通过应用方程(15)至(19)的最小乘方方法，可以获得混合比α以及前景分量之和f。
例如，估算混合比处理器401预先存储一个用于计算混合比α以及前景分量之和f的标准方程，并且在所存储的标准方程中设置属于混合区域的像素值和属于背景区域的对应像素值，从而通过混合计算方法计算混合比α以及前景分量之和f。
如图52的实例所示，在背景正在运动的情况下，估算混合比处理器401根据背景的运动量v′在标准方程中设置属于混合区域的像素值以及属于背景区域的对应像素值，然后通过混合计算方法计算混合比α以及前景分量之和f。
更具体的说，假定多个对应像素属于覆盖背景区域，估算混合比处理器401根据多个对象中前景对象的运动量v，提取多个对应的混和像素的数据，所述数据表示混合多个对象的预定数目连续帧的像素的像素值(像素数据)，并且还根据多个对象中的背景对象的运动量v′提取背景像素数据，所述数据表示形成对应于混和像素数据的背景对象的像素的像素值(像素数据)，所述背景像素数据从一个帧中提取，该帧不同于混和像素出现在预定数目连续帧中的多个帧。然后，估算混合比处理器401根据所提取的混和像素数据和背景像素数据生成对应于预定数目连续帧的的混和像素数据和背景像素数据的关系式，并且根据该关系式检测对应于预定数目连续帧的单一混合比。所检测的混合比被设置为估算混合比。
估算混合比处理器401使用基于对应于覆盖背景区域的模型的运动量v计算估算混合比。
同样地，估算混合比处理器402使用基于对应于未覆盖背景区域的模型的运动量v计算估算混合比。在对应于未覆盖背景区域的模型中，属于背景区域的对应像素从具有重要像素的帧之后的帧中选出。
更具体的说，假定多个对应像素属于未覆盖背景区域，估算混合比处理器402根据多个对象中前景对象的运动量v，提取多个对应的混和像素的数据，所述数据表示混合多个对象的预定数目连续帧的像素的像素值(像素数据)，并且还根据多个对象中的背景对象的运动量v′提取背景像素数据，所述数据表示形成对应于混和像素数据的背景对象的像素的像素值(像素数据)，所述背景像素数据从一个帧中提取，该帧不同于混和像素出现在预定数目连续帧之中的多个帧。然后，估算混合比处理器402根据所提取的混和像素数据和背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式，并且根据该关系式检测对应于预定数目连续帧的单一混合比。所检测的混合比被设置为估算混合比。
图53是说明使用基于对应于覆盖背景区域的模型的运动量v计算估算混合比的估算混合比处理器401的配置的方框图。
帧存储器421存储一个输入图像的多个帧，并且把存储的帧提供给混合比计算器422。帧存储器421按帧单位存储例如六个帧，并且把所存储的六个帧提供给混合比计算器422。
混合比计算器422预先存储用于计算混合比α以及前景分量之和f的标准方程。
混合比计算器422在标准方程中设置属于混合区域的像素值和对应于背景区域的对应像素值，它们包含在从帧存储器421提供的帧中。混合比计算器422根据矩阵解法求解设有属于混合区域的像素值和属于背景区域的对应像素值的标准方程，以便获得估算混合比，并且输出所计算的估算混合比。
图54是说明混合比计算器422的配置的方框图。
标准方程加法器441预先存储用于计算所估算的混合比的一个标准方程。
标准方程加法器441设有包含在从帧存储器421提供的M个帧的一个图像中的属于混合区域的对应值和属于背景区域的对应值。标准方程加法器441向标准方程计算器442提供设有属于混合区域的对应像素值和属于背景区域的对应像素值的标准方程。
标准方程计算器442通过应用例如扫除方法(sweep-out method)(高斯-乔登消去法)求解标准方程加法器所提供的设有像素值的标准方程，以便获得所估算的混合比，并输出所计算的混合比。
如上所述，估算混合比处理器401通过使用基于对应于覆盖背景区域的运动量v计算估算的混合比。
估算混合比处理器402具有类似于估算混合比处理器401的配置，因而省略其说明。
图55图示说明了由估算混合比处理器401计算的估算混合比的一个实例。当以等速度运动的前景对象的运动量v是11时，图55所示的估算混合比是通过由一行表示的通过计算设有七对像素的标准方程获得的结果。
如图48所示，可以看出估算混合比在混合区域中几乎线性地变化。
参见图47，混合比确定部分403根据从区域指定单元101提供的区域信息设置混合比α，该区域信息表示将要计算混合比α的像素属于前景区域、背景区域、覆盖区域或者未覆盖区域之中的哪一个。当对应像素属于前景区域时，混合比确定部分403把混合比α设置为0；当对应像素属于背景区域时，混合比确定部分403把混合比α设置为1。当对应像素属于覆盖背景区域时，混合比确定部分403把混合比α设置为从估算混合比处理器401提供的估算混合比。当对应像素属于未覆盖背景区域时，混合比确定部分403把混合比α设置为从估算混合比处理器402提供的估算混合比。混合比确定部分403输出根据区域信息设置的混合比α。
这样，混合比计算器104能够为包含在图像中的每个像素计算混合比α，并输出计算的混合比α。
图56是说明混合比计算器104的另一种配置的方框图。选择器461根据从区域指定单元103提供的区域信息向估算混合比处理器462提供属于覆盖背景区域的像素和在前帧和后续帧中的对应像素。选择器461根据从区域指定单元103提供的区域信息向估算混合比处理器463提供属于未覆盖背景区域的像素和在前帧和后续帧中的对应像素。
估算混合比处理器462基于从运动检测器102提供的运动向量及其位置信息以及从选择器461输入的像素值，根据对应于覆盖区域的标准方程计算属于覆盖背景区域的重要像素的估算混合比，并且把计算的估算混合比提供给选择器464。
估算混合比处理器463基于从运动检测器102提供的运动向量及其位置信息以及从选择器461输入的像素值，根据对应于覆盖区域的标准方程计算属于未覆盖背景区域的重要像素的估算混合比，并且把计算的估算混合比提供给选择器464。
根据从区域指定单元103提供的区域信息，选择器464在重要像素属于前景区域时把混合比α设置为0，并且在重要像素属于背景区域时把混合比α设置为1。当重要像素属于覆盖背景区域时，选择器464选择从估算混合比处理器462提供的估算混合比，并且把它设置为混合比α。当重要像素属于未覆盖背景区域时，选择器464选择从估算混合比处理器463提供的估算混合比，并且把它设置为混合比α。然后，选择器464输出根据区域信息选择和设置的混合比α。
如上所示，按图56配置的混合比计算器104能够为包含在图像中的每个像素计算混合比α，并输出所计算的混合比α。
下面参考图57讨论由混合比计算器104执行的混合比α的计算处理。在步骤S501中，混合比计算器104获得从区域指定单元101提供的区域信息。在步骤S502中，估算混合比处理器401使用基于从运动向量102提供的运动向量及其位置信息的对应于覆盖背景区域的一个模型执行估算混合比的处理，并且把估算混合比提供给混合比确定部分403。下面结合图58的流程图讨论估算混合比的处理的细节。
在步骤S503中，估算混合比处理器402使用基于从运动向量102提供的运动向量及其位置信息的对应于未覆盖背景区域的一个模型执行估算混合比的处理，并且把估算混合比提供给混合比确定部分403。
在步骤S504中，混合比计算器104确定是否已经对所有帧估算混合比。如果确定还没有对所有帧估算混合比，则处理返回到步骤S502，并且执行后续像素估算混合比的处理。
如果在步骤S504中确定已经为所有帧估算混合比，则处理前进到步骤S505。在步骤S505，混合比确定部分403根据从区域指定单元101提供的区域信息设置混合比，所述的区域指定单元表示混合比α将要被计算的像素属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域之中的哪一个。混合比确定部分403在对应像素属于前景区域时，把混合比α设置为0；并且当对应像素属于背景区域时，把混合比α设置为1。当对应像素属于覆盖背景区域时，混合比确定部分403把从估算混合比处理器401提供的估算混合比设置为混合比α。当对应像素属于未覆盖背景区域时，混合比确定部分403把从估算混合比处理器402提供的估算混合比设置为混合比α。然后完成该处理。
如上所述，混合比计算器104能够根据从运动向量102提供的运动向量及其位置信息、从区域指定单元101提供的区域信息以及输入信息，计算表示对应于每个像素的特征量的混合比α。
通过利用该混合比α，能够分离包含在像素值中的前景分量和背景分量，同时保持包含在对应于运动对象的图像中的运动模糊的信息。
按照图56配置的混合比计算器104的处理类似于结合图57的流程图的讨论，因此省略对其的说明。
下面参考图57的流程图给出估算混合比处理器401在步骤S502中执行计算处理的说明，在所述步骤S502中根据覆盖背景区域的一个模型估算混合比。
在步骤S521中，混合比计算器442的标准方程加法器441读取从运动检测器102提供的运动向量及其位置信息，以便获得运动量v。
在步骤S522中，标准方程加法器441从帧存储器421所提供的M个帧的图像中选择像素，并且把所选择的像素设置到预存的标准方程中。
在步骤S523中，标准方程加法器441确定是否结束对应像素的像素值的设置。如果确定还未结束对应像素的像素值的设置，则处理返回到步骤S522，在此步骤中重复设置像素值的处理。
如果在步骤S523中确定已经结束对应像素的像素值的设置，则处理前进到步骤S524。在步骤S524中，标准方程加法器441向标准方程计算器442提供设置了像素值的标准方程，然后标准方程计算器442通过应用例如扫除方法(高斯-乔登消去法)求解标准方程，以便获得估算混合比。然后完成该处理。
如上所述，估算混合比处理器401能够计算估算混合比。
在通过使用与未覆盖背景区域相对应的模型估算混合比的图57的步骤S503中由估算混合比处理器402执行的混合比估算处理，类似于通过使用与图58流程图所示的未覆盖背景区域的模型相对应的标准方程执行的处理，因此省略其说明。
估算混合比处理器462执行的处理类似于估算混合比处理器401执行的处理，因此省略其说明。估算混合比处理器463执行的处理类似于估算混合比处理器402执行的处理，因此省略其说明。
下面讨论前景/背景分离器105。图59是说明前景/背景分离器105的配置的一个实例。提供到前景/背景分离器105的输入图像被提供给一个分离部分601、一个开关602和一个开关604。从区域指定单元提供的表示覆盖背景区域和未覆盖背景区域信息的区域信息被提供给分离部分601。表示前景区域的区域信息被提供给开关602。表示背景区域的区域信息被提供给开关604。
混合比计算器104提供的混合比α被提供给分离部分601。
分离部分601根据表示覆盖背景区域的区域信息、表示未覆盖背景区域的区域信息和混合比α，从输入图像中分离前景分量，并且把分离的前景分量提供给合成器603。分离部分601还从输入图像中分离背景分量，并且把分离的背景分量提供给合成器605。
当根据表示前景区域的区域信息输入对应于前景的像素时闭合开关602，并且仅仅把与包含在输入图像中的前景相对应的像素提供给合成器603。
当根据表示背景区域的区域信息输入对应于背景的像素时闭合开关604，并且仅仅把与包含在输入图像中的背景相对应的像素提供给合成器605。
合成器603合成根据从分离部分601提供的前景分量以及对应于从开关602提供的前景的像素来合成前景分量图像，并且输出所合成的前景分量图像。由于前景区域与混合区域不重叠，因此合成器603应用例如逻辑OR于前景分量和前景像素，从而合成前景分量图像。
在前景分量图像的合成处理开始时执行的初始化处理中，合成器603把像素值都为0的图像存储在内置帧存储器中。然后，在前景分量图像的合成处理中，合成器603存储前景分量图像(用前景分量图像改写在前图像)。所以，在合成器603输出的前景分量中，0被存储在对应于背景区域的像素中。
合成器605根据从分离部分601提供的背景分量以及对应于从开关604提供的背景的像素来合成背景分量图像，并且输出所合成的背景分量图像。由于背景区域与混合区域不重叠，因此合成器605应用例如逻辑OR于背景分量和背景像素，从而合成背景分量图像。
在背景分量图像的合成处理开始时执行的初始化处理中，合成器605把像素值都为0的图像存储在内置帧存储器中。然后，在背景分量图像的合成处理中，合成器605存储背景分量图像(用背景分量图像改写在前图像)。所以，在合成器603输出的前景分量中，0被存储在对应于前景区域的像素中。
图60A图示说明了输入到前景/背景分离器105的输入图像和从前景/背景分离器105输出的前景分量图像和背景分量图像。图60B图示说明了输入到前景/背景分离器105的输入图像和从前景/背景分离器105输出的前景分量图像和背景分量图像的一个模型。
图60A是说明将要显示的图像的示意图，图60B图示说明了对应于图60A的通过在时间方向上扩展排列在一行中的多个像素而得到的一个模型，所述的一行包括属于前景区域的像素、属于背景区域的像素和属于混合区域的像素。
如图60A和图60B所示，从前景/背景分离器105输出的背景分量图像由属于背景区域的像素和包含在混合区域像素中的背景分量组成。
如图60A和60B所示，从前景/背景分离器105输出的前景分量图像由属于前景区域的像素和包含在混合区域的像素中的前景分量组成。
前景/背景分离器105将混合区域中的像素的像素值分离成背景分量和前景分量。被分离的背景分量构成背景分量图像和属于背景区域的像素。被分离的前景分量构成前景分量图像和属于前景区域的像素。
如上所述，在前景分量图像中，对应于背景区域的像素的像素值被设置为0，并且在对应于前景区域的像素中和对应于混合区域的像素中设置有效像素值。同样，在背景分量图像中，对应于前景区域的像素的像素值被设置为0，在对应于背景区域的像素和对应于混合区域的像素中设置有效像素值。
下面给出分离部分601执行的用于从属于混合区域的像素中分离前景分量和背景分量的处理。
图61图示说明了表示两个帧中的前景分量和背景分量的一个图像的模型，所述的两个帧包括图61中从左到右运动的前景对象。在图61所示的图像的模型中，运动量v是4，虚拟分割部分的数量是4。
在帧#n中，最左像素和左数第十四至第十八像素仅仅由背景分量组成，并且属于背景区域。在帧#n中，左数第二至第四像素包含背景分量和前景分量，并且属于未覆盖背景区域。在帧#n中，左数第十一至第十三像素包含背景分量和前景分量，并且属于覆盖背景区域。在帧#n中，左数第五至第十像素仅仅包含前景分量，并且属于前景区域。
在帧#n+1中，左数第一至第五像素仅仅由背景分量组成，并且属于背景区域。在帧#n+1中，左数第六至第八像素包含背景分量和前景分量，并且属于未覆盖背景区域。在帧#n+1中，左数第十五至第十七像素包含背景分量和前景分量，并且属于覆盖背景区域。在帧#n+1中，左数第九至第十四像素仅仅由前景分量组成，并且属于前景区域。
图62图示说明了从属于覆盖背景区域的像素中分离前景分量的处理。在图62中，α1至α18表示帧#n的各个像素的混合比。在图62中，左数第十五至第十七像素属于覆盖背景区域。
帧#n中左数第十五像素的像素值C15可以由方程(20)表示C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(20)其中α15表示帧#n左数第十五像素的混合比，P15表示帧#n-1中左数第十四像素的像素值。
帧n左数第十五像素的前景分量之和f15可以由基于方程(20)由方程(21)表达。
f15＝F09/v+F08/v+F07/v＝C15-α15·P15 (21)同样，帧n左数第十六像素的前景分量之和f16可以由方程(22)表达，帧n左数第十七像素的前景分量之和f17可以由方程(23)表达。
f16＝C16-α16·P16 (22)f17＝C17-α17·P17 (23)这样，包含在属于覆盖背景区域的像素的像素值C中的前景分量fc可以由方程(24)表达fc＝C-α·P (24)其中P表示对应于在前帧中像素的像素值。
图63图示说明了从属于未覆盖背景区域的像素中分离前景分量的处理。在图63中，α1至α18表示帧#n的各个像素的混合比。在图63中，左数第二至第四像素属于未覆盖背景区域。
帧#n中左数第二像素的像素值C02可以由方程(25)表示C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v(25)
其中α2表示帧#n左数第二像素的混合比，N02表示帧#n+1中左数第二像素的像素值。
帧n左数第二像素的前景分量之和f02可以由基于方程(25)由方程(26)表达。
f02＝F01/v＝C02-α2·N02 (26)同样，帧#n左数第三像素的前景分量之和f03可以由方程(27)表达，帧#n左数第四像素的前景分量之和f04可以由方程(28)表达。
f03＝C03-α3·N03 (27)f04＝C04-α4·N04 (28)这样，包含在属于未覆盖背景区域的像素的像素值C中的前景分量fu可以由方程(29)表达fu＝C-α·N (29)其中N表示对应于后续帧中像素的像素值。
如上所述，分离部分601能够根据包含在区域信息中的表示覆盖背景区域的信息和表示未覆盖背景区域的信息以及用于每个像素的混合比，从属于混合区域的像素中分离前景分量，以及从属于混合区域的像素中分离背景分量。
图64是说明执行上述处理的分离部分601的配置的一个实例的方框图。输入到分离部分601中的图像被提供给帧存储器621，从混合比计算器104提供的表示覆盖背景区域和未覆盖背景区域的区域信息以及混合比α被提供给分离处理单元622。
帧存储器621以帧单位存储输入图像。当待处理的一个帧是帧#n时，帧存储器621存储帧#n-1(是帧#n之前一个帧)、帧#n和帧#n+1(是帧#n的后一个帧)。
帧存储器621把帧#n-1、帧#n和帧#n+1中的对应像素提供给分离处理单元622。
分离处理单元622根据表示覆盖背景区域和未覆盖背景区域的区域信息以及混合比α把参考图62和图63讨论的计算应用于从帧存储器621提供的帧#n-1、帧#n和帧#n+1中的对应像素的像素值，以便从属于帧#n中混合区域的像素中分离前景分量和背景分量，并且将它们提供给帧存储器623。
分离处理单元622由一个未覆盖区域处理器631、一个覆盖区域处理器632、一个合成器633和一个合成器634构成。
未覆盖区域处理器631的乘法器641用混合比α乘以帧存储器621所提供的帧#n+1中像素的像素值，并且把合成的像素值输出给开关642。当从帧存储器621提供的帧#n的像素(相当于帧#n+1中的像素)属于未覆盖区域时，闭合开关642，并且把乘法器提供的被混合比α相乘的像素值提供给计算器643和合成器634。从开关624输出的通过用混合比α乘以帧#n+1中像素的像素值而获得的值相当于帧#n中对应像素的像素值的背景分量。
计算器643从帧存储器621提供的帧#n中像素的像素值中减去从开关642提供的背景分量，以便获得前景分量。计算器643向合成器633提供属于未覆盖背景区域的帧#n中像素的前景分量。
覆盖区域处理器632的乘法器651用混合比α乘以帧存储器621所提供的帧#n-1中像素的像素值，并且把合成的像素值输出给开关652。当从帧存储器621提供的帧#n的像素(相当于帧#n-1中的像素)属于覆盖背景区域时，闭合开关652，并且把乘法器提供的被混合比α相乘的像素值提供给计算器653和合成器634。从开关652输出的通过用混合比α乘以帧#n-1中像素的像素值而获得的值相当于帧#n中对应像素的像素值的背景分量。
计算器653从帧存储器621提供的帧#n中像素的像素值中减去从开关652提供的背景分量，以便获得前景分量。计算器653向合成器633提供属于覆盖背景区域的帧#n中像素的前景分量。
合成器633将计算器643所提供的属于未覆盖背景区域的像素的前景分量与计算器653所提供的属于覆盖背景区域的像素的前景分量相合并，并且把合成的前景分量提供给帧存储器623。
合成器634将开关642所提供的属于未覆盖背景区域的像素的背景分量与开关652所提供的属于覆盖背景区域的像素的背景分量相合并，并且把合成的背景分量提供给帧存储器623。
帧存储器623存储从分离处理单元622提供的帧#n的混合区域中像素的前景分量和背景分量。
帧存储器623输出所存储的帧#n中混合区域的像素的前景分量和所存储的帧#n中混合区域像素的背景分量。
通过利用表示特征量的混合比α，可以完全分离包含在像素中的前景分量和背景分量。
合成器603将分离部分601输出的帧#n中混合区域的像素的前景分量与属于前景区域的像素相合并，以便生成前景分量图像。合成器605将分离部分601输出的帧#n中混合区域的像素的背景分量与属于背景区域的像素相合并，以便生成背景分量图像。
图65A图示说明了对应于图61中帧#n的前景分量图像的一个实例。图65B图示说明了对应于图61中帧#n的背景分量图像的一个实例。
图65A图示说明了对应于图61中帧#n的前景分量图像的一个实例。在分离前景和背景之前，最左像素和左数第十四像素仅仅由背景分量组成，因此像素值被设置为0。
在分离前景和背景之前，左数第二至第四像素属于未覆盖背景区域。因此，背景分量被设置为0，并且维持前景分量。在分离前景和背景之前，左数第十一至第十三像素属于覆盖背景区域。因此，背景分量被设置为0，并且维持前景分量。左数第五至第十像素仅仅由如此维持的前景分量组成。
图65B图示说明了对应于图61中帧#n的背景分量的一个实例。在分离前景和背景之前，最左像素和左数第十四像素仅仅由背景分量组成，从而维持背景分量。
在分离前景和背景之前，左数第二至第四像素属于未覆盖背景区域。因此，前景分量被设置为0，并且维持背景分量。在分离前景和背景之前，左数第十一至第十三像素属于覆盖背景区域。因此，前景分量被设置为0，并且维持背景分量。左数第五至第十像素仅仅由前景分量组成，因而像素值被设置为0。
下面参考图66的流程图说明由前景/背景分离器105执行的分离前景和背景的处理。在步骤S601中，分离部分601的帧存储器621获得输入图像，并且存储用于分离前景和背景的帧#n以及在前帧#n-1和后续帧#n+1。
在步骤S602中，分离部分601的分离处理单元622获取从混合比计算器104提供的区域信息。在步骤S603中，分离部分601的分离处理单元622获取从混合比计算器104提供的混合比α。
在步骤S604中，未覆盖区域处理器631根据区域信息和混合比α从帧存储器621提供的属于未覆盖背景区域的像素的像素值中提取背景分量。
在步骤S605中，未覆盖区域处理器631根据区域信息和混合比α从帧存储器621提供的属于未覆盖背景区域的像素的像素值中提取前景分量。
在步骤S606中，覆盖区域处理器632根据区域信息和混合比α从帧存储器621提供的属于覆盖背景区域的像素的像素值中提取背景分量。
在步骤S607中，覆盖区域处理器632根据区域信息和混合比α从帧存储器621提供的属于覆盖背景区域的像素的像素值中提取前景分量。
在步骤S608中，合成器633将步骤S605的处理中提取的属于未覆盖背景区域的像素的前景分量与步骤S607中处理中提取的属于覆盖背景区域的像素的前景分量相合并。合成的前景分量被提供给合成器603。合成器603进一步将经由开关602提供的属于前景区域的像素与从分离部分601提供的前景分量相合并，以便生成前景分量图像。
在步骤S609中，合成器634将步骤S604的处理中提取的属于未覆盖背景区域的像素的背景分量与步骤S606中处理中提取的属于覆盖背景区域的像素的背景分量相合并。合成的背景分量被提供给合成器605。合成器605进一步将经由开关604提供的属于背景区域的像素与从分离部分601提供的背景分量相合并，以便生成背景分量图像。
在步骤S610中，合成器603输出前景分量图像。在步骤S611中，合成器605输出背景分量图像。然后结束该处理。
如上所述，前景/背景分离器105能够根据区域信息和混合比α从输入图像中分离前景分量和背景分量，并且输出仅仅由前景分量组成的前景分量图像和仅仅由背景分量组成的背景分量。
下面给出调整前景分量图像中运动模糊量的说明。
图67是说明运动模糊调整单元106的配置的一个实例的方框图。运动检测器102提供的运动向量及其位置信息和区域指定单元103提供的区域信息被提供给处理单位确定部分801和模型形成部分802。前景/背景分离器105提供的前景分量被提供给加法器804。
处理单位确定部分801向模型形成部分802提供运动向量和根据运动向量及其位置信息和区域信息生成的处理单位。处理单位确定部分801向加法器804提供所生成的处理单位。
如图68所示，例如，由处理单位确定部分801生成的处理单位表示从对应于前景分量图像的覆盖背景区域的像素开始直至对应于未覆盖背景区域的像素的运动方向排列的连续像素，或者表示从对应于未覆盖背景区域的像素开始直至对应于覆盖背景区域的像素的运动方向排列的连续像素。处理单位由表示例如上左点(它是由处理单位指定的图像的最左或者最上像素的位置)和下右点的两段数据构成。
模型形成部分802根据运动向量和输入的处理单位构成一个模型。更具体说，例如，模型形成部分802可以根据包含在处理单位中的像素数量、时间方向上的像素值的虚拟分割部分的数量以及用于每个像素的前景分量的数量，预先存储多个模型。然后，模型形成部分802根据处理单位和时间方向上的像素值的虚拟分割部分的数量，可以选择像素值与前景分量间的相关被指定的模型，比如图69中的模型。
现在假定，例如，对应于处理单位的像素数量是12，并且快门时间内的运动量v是5。那么，模型形成部分802将虚拟分割部分的数量设置为5，并且选择由八种类型的前景分量形成的一个模型，以便最左像素含有一个前景分量、左数第二像素含有两个前景分量、左数第三像素含有三个前景分量，左数第四像素含有四个前景分量，左数第五像素含有五个前景分量、左数第六像素含有五个前景分量，左数第七像素含有五个前景分量，左数第八像素含有五个前景分量、左数第九像素含有四个前景分量，左数第十像素含有三个前景分量，左数第十一像素含有两个前景分量、左数第十二像素含有一个前景分量。
当提供运动向量和处理单位时，模型形成部分802可以根据运动向量和处理单位生成一个模型，而不是从预存的模型中选择一个模型。
模型形成部分802向方程生成器803提供所选择的模型。
方程生成器803根据从模型形成器提供的模型生成一个方程。下面参考图69所示的前景分量图像的模型，给出当前景分量的数量是8、对应于处理单位的像素数量是12、运动量v是5以及虚拟分割部分的数量是5时，由方程生成器803生成的一个方程的说明。
当包含在对应于快门时间/v的前景分量图像中的前景分量是F01/v至F08/v时，F01/v至F08/v与像素值C01至C12之间的关系可以由方程(30)至方程(41)表达。
C01＝F01/v (30)C02＝F02/v+F01/v (31)
C03＝F03/v+F02/v+F01v (32)C04＝F04/v+F03/v+F02/v+F01v (33)C05＝F05/v+F04/v+F03/v+F02/v+F01v (34)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (35)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (36)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (37)C09＝F08/v+F07/v+F06/v+F05/v(38)C10＝F08/v+F07/v+F06/v (39)C11＝F08/v+F07/v(40)C12＝F08/v (41)方程生成器803通过修改所生成的方程生成一个方程。由方程生成器803生成的方程由方程(42)至(53)表达。
C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07v+0·F08/v(42)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(43)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(44)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(45)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v(46)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v(47)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v(48)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(49)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(50)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v (51)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v(52)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v(53)方程(42)至方程(53)可以由方程(54)表示。Cj=Σi=0108aij·Fi/v---(54)]]>在方程(54)中，j代表像素的位置。在该实例中，j具有1至12的数值之一。在方程(54)中，i代表前景值的位置。在该实例中，i具有1至8的数值之一。在方程(54)中，aij具有与i和j的值相一致的0或者1。
方程(54)可以由考虑差错的方程(55)表示。Cj=Σi=0108aij·Fi/v+ej---(55)]]>在方程(55)中，ej代表重要像素Cj中包含的差错。
方程(55)可以被修改成方程(56)。ej=Cj-Σi=0108aij·Fi/v---(56)]]>为了应用最小乘方法，将差错的平方和定义为方程(57)。E=Σj=0112ej2---(57)]]>为了最小化差错，使用关于差错的平方和E的变量Fk的偏微分值应当是0。确定Fk以使方程(58)满足。∂E∂Fk=2·Σj=0112ej·∂ej∂Fk]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)=0---(58)]]>在方程(58)中，由于运动量v是固定值，可以简化方程(59)。Σj=0112akj·(Cj-Σi=0108aij·Fi/v)=0---(59)]]>展开方程(59)并转置各项，可以得到方程(60)。Σj=0112(akj·Σi=0108aij·Fi)=vΣj=0112akj·Cj---(60)]]>通过用1至8的各个整数替换方程(60)中的k，可以把方程(60)展开成八个方程。所获得的八个方程可以由矩阵方程表示。该方程被称作“标准方程”。
方程生成器803根据最小乘方法生成的标准方程的实例由方程(61)表示。 当方程(61)由A·F＝v·C表示时，C、A和v是已知的，而F是未知的。当形成模型时，可以得知A和v，同时，当在加法处理中输入像素值时可得知C。
通过根据基于最小乘方方法的标准方程计算前景分量，可以分布包含在像素C中的差错。
方程生成器803向加法器804提供按以上讨论生成的标准方程。
加法器804根据从处理单位确定部分801提供的处理单位，设置包含在方程生成器803所提供的矩阵方程中的前景分量图像中的像素值C。加法器804向计算器805提供设置了像素值C的矩阵。
计算器805计算前景分量Fi/v，由此通过基于一种解法，比如扫除法(高斯-乔登消除法)的处理来消除运动模糊，以便获得对应于表示从1至8的整模糊加法器806和选择器807输出由没有运动模糊的像素值Fi组成的前景分量图像。
在图70所示的没有运动模糊的前景分量图像中，在C03至C10中设置F01至F08的原因是不改变有关屏幕的前景分量图像的位置。然而，F01至F08可以设置在任何与其位置中。
运动模糊加法器806能够通过增加调整运动模糊的量v′来调整运动模糊量，量v′不同于运动量v，例如通过是运动量v数值的一半的量v′来调整运动模糊，或者通过与运动量v不相关的量v′来调整运动模糊。例如，如图71所示，运动模糊加法器806用调整运动模糊的量v′除以没有运动模糊的前景像素值Fi，以便获得前景分量Fi/v′。然后，运动模糊加法器806计算前景分量Fi/v′之和，从而生成调整运动模糊量的像素值。例如，当调整运动模糊的量v′是3时，像素值C02被设置为(F01)/v′，像素值C03被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，像素值C05被设置为(F02+F03+F04)/v′。
运动模糊加法器806向选择器807提供调整运动模糊量的前景分量图像。
选择器807根据反映用户的选择的选择信号，选择从计算器805提供的没有运动模糊的前景分量图像和从运动模糊加法器806提供的调整了运动模糊量的前景分量图像之一，并且输出所选择的前景分量图像。
如上所述，运动模糊调整单元106根据选择信息和调整运动模糊的量v′调整运动模糊量。
此外，例如如图72所示，当对应处理单位的像素的量为8以及运动量v是4时，运动模糊调整单元106生成由方程(62)表示的矩阵方程。

(62)这样，运动模糊调整单元106通过依据处理单位的长度建立方程来计算Fi，该Fi是调整运动模糊量的像素值。同样，例如，当包含在处理单位中的像素数量是100时，生成对应于100个像素的方程，以便计算Fi。
图73图示说明了运动模糊调整单元106的另一个配置的实例。与图67所示元件相同的元件用相同的参考标号表示，因此省略其说明。
根据选择信号，选择器821直接向处理单位确定部分801和模型形成部分802提供输入运动向量及其位置信号。作为选择，选择器821可以用调整运动模糊的量v′替代运动向量的量值，然后向处理单位确定部分801和模型形成单元802提供运动向量及其位置信号。
通过这种安排，图73所示的运动模糊调整单元106的处理单位确定部分801至计算器805能够根据运动量v和调整运动模糊的量v′调整运动模糊量。例如，当运动量是5和调整运动模糊的量v′是3时，图73所示的运动模糊调整单元106的处理单位确定部分801至计算器805根据调整运动模糊的量v′是3的图71所示的模型执行图69所示的运动量v是5的前景分量图像的计算。结果，获得包含具有(运动量v)/(调整运动模糊的量v′)＝5/3(约为1.7)的运动量v的运动模糊的图像，在此情况下，所计算的图像不包含对应于3的运动量v的运动模糊。所以，应当注意运动量v与调整运动模糊的量v′之间的关系不同于运动模糊加法器806的结果。
如上所述，运动模糊调整单元106根据运动量和处理单位生成方程，并且把前景分量图像的像素值设置到所生成的方程中，从而计算调整运动模糊量的前景分量图像。
下面参考图74的流程图说明由运动模糊调整单元106执行的调整前景分量图像中所包含的运动模糊量的处理。
在步骤S801中，运动模糊调整单元106的处理单位确定部分801根据运动向量和区域信息生成处理单位，并且向模型形成部分802提供所生成的处理单位。
在步骤S802中，运动模糊调整单元106的模型形成部分802根据运动量v和处理单位选择或者生成模型。在步骤S803中，方程生成器803根据所选择的模型生成标准方程。
在步骤S804中，加法器804将前景分量的像素值设置在所生成的标准方程中。在步骤S805中，加法器804确定对应于处理单位的所有像素的像素值是否被设置。如果确定对应于处理单位的所有像素的像素值还未被设置，则处理返回到步骤S804，然后重复在标准方程中设置像素值的处理。
如果在步骤S805中确定对应于处理单位的所有像素的像素值被设置，则处理前进到步骤S806。在步骤S806中，计算器805根据从加法器804提供的调整像素值的标准方程，计算调整运动模糊量的前景的像素值。然后完成该处理。
如上所述，运动模糊调整单元106能够根据运动向量和区域信息调整包含运动模糊的前景图像的运动模糊量。
也就是，能够调整包含在像素值(即，包含在抽样数据)中的运动模糊量。
正如从上述说明看到的那样，图2所示的信号处理设备能够调整包含在输入图像中的运动模糊量。按照图2配置的信号处理设备能够计算是插入信息的混合比α，并且输出所计算的混合比α。
图75是图示说明运动模糊调整单元106的配置的另一个实例的方框图。从运动检测器102提供的运动向量及其位置信息被提供给处理单位确定部分901和调整部分905。从区域指定单元103提供的区域信息被提供给处理单位确定部分901。从前景/背景分离器105提供的前景分量图像被提供给计算器904。
处理单位确定部分901向模型形成部分902提供运动向量和根据运动向量及其位置信息和区域信息所生成的处理单位。
模型形成部分902根据运动向量和输入的处理单位形成一个模型。
方程生成器903根据从模型形成部分902提供的模型生成一个方程。
现在参考图76至图78所示的前景分量图像的模型，说明当前景分量的数量为8、对应于处理单位的像素数量为12以及运动量v为5时由方程生成器903生成的方程的一个实例。
当包含在对应于快门时间/v的前景分量图像中的前景分量是F01/v至F08/v时，F01/v至F08/v与像素值C01至C12之间的关系可以由上述的方程(30)至方程(41)表达。
通过考虑像素值C12和C11，像素值C12仅包含前景分量F08/v，如方程(63)所示，并且像素值C11由前景分量F08/v和前景分量F07/v的乘积和组成。因此，可以通过方程(64)发现前景分量F07/v。
F08/v＝C12 (63)F07/v＝C11-C12 (64)同样，通过考虑包含在像素值C10至C01中的前景分量，通过方程(65)至(70)可以分别发现前景分量F06/v至F01/v。
F06/v＝C10-C11 (65)F05/v＝C09-C10 (66)F04/v＝C08-C09 (67)F03/v＝C07-C08+C12 (68)F02/v＝C06-C07+C11-C12 (69)F01/v＝C05-C06+C1-C11 (70)方程生成器903依据像素值之间的差值生成用于计算前景分量的方程，如方程(63)至(70)的实例所示。方程生成器903将所生成的方程提供给计算器904。
计算器904将前景分量图像的像素值设置到从方程生成器903提供的方程中，以便根据设置了像素值的方程获得前景分量。例如，当方程生成器903提供方程(63)至(70)时，计算器904把像素值C05至C12设置到方程(63)至方程(70)中。
计算器904根据设置了像素的方程计算前景分量。例如，计算器904根据设置了像素值C05至C12的方程(63)至(70)的计算，来计算如图77所示的前景分量F01/v至F08/v。计算器904向调整部分905提供前景分量F01/v至F08/v。
调整部分905用包含在从处理单位确定部分901提供的运动向量中的运动量v乘以计算器904所提供的前景分量，以便获得消除了运动模糊的前景像素值。例如，当计算器904提供前景分量F01/v至F08/v时，调整部分905用运动量v(即，5)乘前景分量F01/v至F08/v的每一个，以便获得消除了运动模糊的前景像素值F01至F08，如图78所示。
调整部分905向运动模糊加法器906和选择器907提供由上述计算的没有运动模糊的前景像素值组成的前景像素值。
运动模糊加法器906能够通过使用调整了运动模糊的量v′来调整运动模糊量，量v′不同于运动量v。例如通过是运动量v数值的一半的量v′来调整运动模糊，或者通过与运动量v不相关的量v′来调整运动模糊。例如，如图71所示，运动模糊加法器906用调整运动模糊的量v′除没有运动模糊的前景像素值Fi，以便获得前景分量Fi/v′。然后，运动模糊加法器906计算前景分量Fi/v′之和，从而生成调整运动模糊量的像素值。例如，当调整运动模糊的量v′是3时，像素值C02被设置为(F01)/v′，像素值C03被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，像素值C05被设置为(F02+F03+F04)/v’。
运动模糊加法器906向选择器907提供调整运动模糊量的前景分量图像。
选择器907根据反映用户的选择的选择信号，选择从计算器805提供的没有运动模糊的前景分量图像或者选择从运动模糊加法器906提供的调整了运动模糊量的前景分量图像，并且输出所选择的前景分量图像。
如上所述，运动模糊调整单元106根据选择信息和调整运动模糊的量v′调整运动模糊量。
下面参考图79的流程图说明由按照图75配置的运动模糊调整单元106执行前景的运动模糊量调整的处理。
在步骤S901中，运动模糊调整单元106的处理单位确定部分901根据运动向量和区域信息生成处理单位，并且向模型形成部分902和调整部分905提供所生成的处理单位。
在步骤S902中，运动模糊调整单元106的模型形成部分902根据运动量v和处理单位选择或者生成模型。在步骤S903中，方程生成器903根据所选择的模型生成依据前景分量图像的像素值之间的差值计算前景分量的方程。
在步骤S904中，计算器904将前景分量的像素值设置在所生成的方程中，并且根据设置像素值的方程，通过使用像素值之间的差值提取前景分量。在步骤S905中，计算器904确定是否已经提取了对应于处理单位的所有前景分量。如果确定对应于处理单位的所有前景分量还未被提取，则处理返回到步骤S904，然后重复提取前景分量的处理。
如果在步骤S905中确定对应于处理单位的所有前景分量已经被提取，则处理前进到步骤S906。在步骤S906中，调整部分905根据运动量v调整从计算器904提供的前景分量F01/v至F08/v的每一个，以便获得消除了运动模糊的前景像素值F01/v至F08/v。
在步骤S907中，运动模糊加法器906计算调整运动模糊的前景像素值，并且选择器907选择没有运动模糊的图像或者选择调整了运动模糊量的图像，并且输出所选择的图像。然后，完成该处理。
如上所述，图75所示的配置的运动模调整单元106能够根据比较简单的计算迅速调整包含运动模糊的前景图像的运动模糊。
部分消除运动模糊的已知技术，比如维纳(Wiener)滤波器在理想状态下使用时是有效的，但是对于量化的含有噪声的实际图像则不充分。相反，业已证明，如图75所示的配置的运动模糊调整单元106对量化的和含有噪声的实际图像是充分有效的。因而能够精确地消除运动模糊。
图80是说明了信号处理设备功能的另一种配置的方框图。
类似于图2的元件用相同标号表示，因此省略其说明。
对象提取单元101提取对应于包含在输入图像中的前景对象的粗图像对象，并且向运动检测器102提供所提取的图像对象。运动检测器102计算对应于前景对象的粗图像对象的运动向量，并且向混合比计算器104提供所计算的运动向量和运动向量的位置信息。
区域指定单元103向混合比计算器104和合成器1001提供区域信息。
混合比计算器104向前景/背景分离器105和合成器1001提供混合比α。
前景/背景分离器105向合成器1001提供前景分量图像。
合成器1001根据从混合比计算器104提供的混合比α以及从区域指定单元103提供的区域信息合并某一背景图像与从前景/背景分离器105提供的前景分量图像，并且输出合并了某一背景图像和前景分量图像的合成图像。
图81图示说明了合成器1001的配置。背景分量生成器1021根据混合比α和某一背景图像生成背景分量图像，并且向混合区域图像合成部分1022提供背景分量图像。
混合区域图像合成部分1022合并从背景分量生成器1021提供的背景分量图像与前景分量图像，以便生成混合区域合成图像，并且向图像合成部分1023提供所生成的混合区域合成图像。
图像合成器1023根据区域信息合并前景分量图像、混合区域图像合成部分1022提供的混合区域合成图像以及一定的背景图像，以便生成合成的图像并输出它。
如上所述，合成器1001能够合并前景分量与某一背景图像。
通过根据混合比α(是特征量)合并前景分量图像与某一背景图像获得的图像比简单地合并多个像素而获得的图像更自然。
图82是说明用于调整运动模糊量的信号处理设备的功能的另一配置的方框图。图2所示的信号处理设备顺序地执行区域指定操作和用于混合比α的计算。相反，图82所示的信号处理设备同时执行区域指定操作和混合比α的计算。
类似于图2方框图的功能部件用相同的标记表示，因而省略其说明。
输入信号被提供给混合比计算器1101、前景/背景分离器1102、区域指定单元103和对象提取单元101。
混合比计算器1101根据输入图像计算当假定包含在输入图像中的每个像素属于覆盖背景区域时的估算混合比，并且估算当假定包含在输入图像中的每个像素属于未覆盖区域时的估算混合比，并且向前景/背景分离器1102提供以上计算的估算混合比。
图83是说明混合比计算器1101的配置的一个实例的方框图。
图83所示的估算混合比处理器401与图47所示的估算混合比处理器401相同。图83所示的估算混合比处理器402与图47所示的估算混合比处理器402相同。
估算混合比处理器401根据运动向量及其位置信息和输入图像，通过对应于覆盖背景区域的一个模型的计算，来计算每个像素的估算混合比，并且输出所计算的估算混合比。
估算混合比处理器402根据运动向量及其位置信息和输入图像，通过对应于未覆盖背景区域的一个模型的计算，来计算每个像素的估算混合比，并且输出所计算的估算混合比。
前景/背景分离器1102根据从混合比计算器1101提供的当假定像素属于覆盖背景区域时计算的估算混合比、从混合比计算器1101提供的当假定像素属于未覆盖背景区域时计算的估算混合比以及从区域指定单元103提供的区域信息，从输入图像中生成前景分量图像，并且向运动模糊调整单元106和选择器107提供所生成的前景分量。
图84是说明前景/背景分离器1102的配置的一个实例的方框图。
与图59所示的前景/背景分离器105部件相同的部件用相同参考标号表示，因而省略其说明。
选择器1121根据从区域指定单元103提供的区域信息，选择从混合比计算器1101提供的当假定像素属于覆盖背景区域时计算的估算混合比，或者选择从混合比计算器1101提供的当假定像素属于未覆盖背景区域时计算的估算混合比，并且向分离部分601提供所选择的估算混合比，以作为混合比α。
分离部分601根据从选择器1121提供的混合比α和区域信息，从属于混合区域的像素的像素值中提取前景分量和背景分量，并且把提取的前景分量提供给合成器603以及把前景分量提供给合成器605。
可以类似于图64所示的对应物配置分离部分601。
合成器603合成前景分量图像并输出它。合成器605合成背景分量图像并输出它。
图82所示的运动模糊调整单元106可以被配置成类似于图2所示的对应物。运动模糊调整单元106根据区域信息和运动向量调整包含在从前景分量/背景分量分离器1102提供的前景分量图像中的运动模糊量，并且输出调整了运动模糊量的前景分量图像。
图82所示的选择器107根据例如反映用户的选择的一个选择信号，选择从前景/背景分离器1102提供的前景分量图像，或者选择从运动模糊调整部分106提供的调整了运动模糊量的前景分量图像，并且输出所选择的前景分量图像。
如上所述，图82所示的信号处理设备能够调整包含在对应于输入图像的前景对象的一个图像中的运动模糊量，并输出所得到的前景对象图像。如在第一实施例中，图82所示的信号处理设备能够计算是插入信息的混合比α，并且输出所计算的混合比α。
图85是说明组合前景分量图像与某一背景图像的信号处理设备的功能另一配置的方框图。图80所示的信号处理设备连续地执行区域制定操作和混合比α的计算。相反，图85所示的信号处理设备以并行方式执行区域制定操作和混合比α的计算。
类似于图82方框所示的部件的功能部件由相同参考标号表示，因而省略其说明。
图85所示的混合比计算器1101根据运动向量及其位置信息和输入图像计算当假定包含在输入图像中的每个像素属于覆盖背景区域时的估算混合比，以及当假定包含在输入图像中的每个像素属于未覆盖背景区域时的估算混合比；并且向前景/背景分离器1102和合成器1201提供以上计算的估算混合比。
图85所示的前景/背景分离器1102根据从混合比计算器1101提供的当假定像素属于覆盖背景区域时计算的估算混合比、从混合比计算器1101提供的当假定像素属于未覆盖背景区域时计算的估算混合比、以及从区域指定单元103提供的区域信息，从输入图像中生成前景分量图像，并且向合成器1201提供所生成的前景分量图像。
合成器1201根据从混合比计算器1101提供的当假定像素属于覆盖背景区域时计算的估算混合比、从混合比计算器1101提供的当假定像素属于未覆盖背景区域时计算的估算混合比、以及从区域指定单元103提供的区域信息，合并某一背景图像与从前景/背景分离器1102提供的前景分量图像，并且输出合并了背景图像和前景分量图像的合成图像。
图86图示说明了合成器1201的配置。类似于图81方框图的部件的功能部件用相同的参考标号表示，因此省略其说明。
选择器1221根据从区域指定单元103提供的区域信息选择从混合比计算器1101提供的当假定像素属于覆盖背景区域时计算的估算混合比，或者选择从混合比计算器1101提供的当假定像素属于未覆盖背景区域时计算的估算混合比，并且把所选择的估算混合比作为混合比α提供给背景分量生成器1021。
图86所示的背景分量生成器1021根据从选择器1221提供的混合比α和某一背景图像生成背景分量图像，并且把背景分量图像提供给混合区域图像合成部分1022。
图86所示的混合区域图像合成部分1022合并从背景分量生成器1021提供的背景分量图像与前景分量图像，以便生成混合区域合成图像，并且向图像合成部分1023提供所生成的混合区域合成图像。
图像合成部分1023根据区域信息合并前景分量图像、从混合区域图像合成部分1022提供的混合区域合成图像以及背景图像，以便生成合成的图像并且输出该图像。
这样，合成器1201能够合并前景分量图像与某一背景图像。
以上已经通过把混合比α设置为包含在像素值中的背景分量的比值讨论本发明。然而，也可以把混合比α设置为包含在像素值中的前景分量的比值。
以上已经通过把前景对象的运动方向设置为从左向右的方向讨论本发明。然而运动方向不局限于上述方向。
在上述说明中，通过使用摄像机将具有三维空间和时间轴信息的实时空间投影到具有二维空间和时间轴信息的一个时间空间上。然而，本发明不限于此，也可以应用于下列情况。当一维空间的较大量第一信息被投影到二维空间的较少量第二信息上时，可以校正该投影生成的失真，可以提取有效信息，或者可以合成更自然的图像。
传感器不局限于CCD，传感器可以是其它类型的传感器，比如固态成像装置，例如CMOS(互补金属氧化物半导体)、BBD(Bucket BrimingDevice)、CID(电荷注入器件)、或者CPD(Charge Injection Device)。此外，传感器不一定是以矩阵方式安排检测装置的传感器，还可以是以一行安排检测装置的传感器。
记录执行本发明的图像处理的程序的记录介质可以由记录程序的可移动介质构成，该可移动介质被配置为与计算机分离地向用户提供程序，如图1所示，该可移动介质可以是，比如磁盘51(包括软盘)、光盘52(CD-ROM(光盘只读存储器)和DVD(数字通用光盘(商业名称))，或者半导体存储器54。记录介质还可以由ROM 22或者包含在其中记录有程序的存储单元28中的硬盘构成，这种记录介质在计算机中预存后被提供给用户。
执行图像处理的程序可以通过有线或无线信道提供给计算机。
形成在记录介质重记录的程序的步骤可以根据规范规定的顺序按时间顺序运行。然而它们不一定按照时间顺序方式运行，也可以同时或者单独地运行。
工业应用性根据第一发明，可以检测表示多个对象的混和状态的混合比。
根据第二发明，可以检测表示多个对象的混和状态的混合比。
权利要求
1.一种图像处理设备，用于对图像数据进行图像处理，所述图像数据由包括预定数目像素和具有时间积分功能的通过成像装置获取的预定数目的像素数据构成，并且用于计算表示多个现实对象的像素数据的混和状态的混合比，所述图像处理设备包括像素数据提取装置，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据用作多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成装置，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测装置，用于根据关系式检测对应于预定数目连续帧的单一混合比。
2.根据权利要求1所述的图像处理装置，其中像素数据提取装置根据帧中的前景对象的运动量提取混合像素数据。
3.根据权利要求1所述的图像处理设备，其中所述像素数据提取装置根据帧中的背景对象的运动量提取背景像素数据。
4.根据权利要求1所述的图像处理设备，其中所述关系式生成装置生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
5.根据权利要求1所述的图像处理设备，其中还包括运动检测装置，用于检测前景对象和背景对象的至少一个的运动。
6.根据权利要求1所述的图像处理设备，还包括区域指定装置，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
7.根据权利要求1所述的图像处理设备，还包括分离装置，用于根据混合比从混和像素数据中至少分离前景对象。
8.根据权利要求7所述的图像处理设备，还包括运动模糊调整装置，用于调整被分离的前景对象的运动模糊量。
9.根据权利要求7所述的图像处理设备，还包括合成装置，用于根据混合比将分离前景对象与一个预期对象合并。
10.一种图像处理方法，用于对图像数据进行图像处理，所述图像数据由包括预定数目像素和具有时间积分功能的通过成像装置获取的预定数目的像素数据构成，并且用于计算表示多个现实对象的像素数据的混和状态的混合比，所述图像处理方法包括像素数据提取步骤，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据用作多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成步骤，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测步骤，用于根据关系式检测对应于预定数目连续帧的单一混合比。
11.根据权利要求10所述的图像处理方法，其中在所述像素数据提取步骤中，根据帧中的前景对象的运动量提取混合像素数据。
12.根据权利要求10所述的图像处理方法，其中在所述像素数据提取步骤中，根据帧中的背景对象的运动量提取背景像素数据。
13.根据权利要求10所述的图像处理方法，其中在所述关系式生成步骤中，生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
14.根据权利要求10所述的图像处理方法，还包括一个运动检测步骤，用于检测前景对象和背景对象的至少一个的运动。
15.根据权利要求10所述的图像处理方法，还包括一个区域指定步骤，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
16.根据权利要求10所述的图像处理方法，还包括一个分离步骤，用于根据混合比从混和像素数据中至少分离前景对象。
17.根据权利要求16所述的图像处理方法，还包括一个运动模糊调整步骤，用于调整被分离的前景对象的运动模糊量。
18.根据权利要求16所述的图像处理方法，还包括一个合成步骤，用于根据混合比将分离的前景对象与一个预期对象合并。
19.一种记录计算机可读程序的记录介质，所述程序用来对图像数据进行图像处理，所述图像数据由包括预定数目像素和具有时间积分功能的通过成像装置获取的预定数目的像素数据构成，并且用于计算表示多个现实对象的像素数据的混和状态的混合比，所述程序包括像素数据提取步骤，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据用作多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成步骤，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测步骤，用于根据关系式检测对应于预定数目连续帧的单一混合比。
20.根据权利要求19所述的记录介质，其中在所述像素数据提取步骤中，根据帧中的前景对象的运动量提取混合像素数据。
21.根据权利要求19所述的记录介质，其中在所述像素数据提取步骤中，根据帧中的背景对象的运动量提取背景像素数据。
22.根据权利要求19所述的记录介质，其中在所述关系式生成步骤中，生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
23.根据权利要求19所述的记录介质，其中所述程序还包括一个运动检测步骤，用于检测前景对象和背景对象的至少一个的运动。
24.根据权利要求19所述的记录介质，其中所述程序还包括一个区域指定步骤，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
25.根据权利要求19所述的记录介质，其中所述程序还包括一个分离步骤，用于根据混合比从混和像素数据中至少分离前景对象。
26.根据权利要求25所述的记录介质，其中所述程序还包括一个运动模糊调整步骤，用于调整被分离的前景对象的运动模糊量。
27.根据权利要求25所述的记录介质，其中所述程序还包括一个合成步骤，用于根据混合比将分离的前景对象与预期对象合并。
28.一种供计算机使用的程序，所述计算机对图像数据进行图像处理，所述图像数据由包括预定数目像素和具有时间积分功能的通过成像装置获取的预定数目的像素数据构成，并且用于计算表示多个现实对象的像素数据的混和状态的混合比，该程序运行像素数据提取步骤，用于根据用作多个对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据用作多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成步骤，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测步骤，用于根据关系式检测对应于预定数目连续帧的单一混合比。
29.根据权利要求28所述的程序，其中在所述像素数据提取步骤中，根据帧中的前景对象的运动量提取混合像素数据。
30.根据权利要求28所述的程序，其中在所述像素数据提取步骤中，根据帧中的背景对象的运动量提取背景像素数据。
31.根据权利要求28所述的程序，其中在所述关系式生成步骤中，生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方法计算混合比。
32.根据权利要求28所述的程序，还包括一个运动检测步骤，用于检测前景对象和背景对象的至少一个的运动。
33.根据权利要求28所述的程序，还包括一个区域指定步骤，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
34.根据权利要求28所述的程序，还包括一个分离步骤，用于根据混合比从混和像素数据中至少分离前景对象。
35.根据权利要求34所述的程序，还包括一个运动模糊调整步骤，用于调整被分离的背景对象的运动模糊量。
36.根据权利要求34所述的程序，还包括一个合成步骤，用于根据混合比将分离的前景对象与预期对象合并。
37一种成像设备包括成像装置，用于输出作为由预定数目像素数据构成的图像数据的一个对象图像，该对象图像由成像装置通过执行图像捕获而获得具有预定数目像素，每个像素具有时间积分功能；像素数据提取装置，用于根据用作包含在图像数据中的多个现实对象的前景的前景对象的运动提取多个混合像素数据，该混和像素数据是混合多个对象的预定数目连续帧的像素数据，并且还根据用作多个对象的背景的背景对象的运动提取背景像素数据，该背景像素数据是背景对象所构成的像素数据并且对应于混和像素数据，该背景像素数据是从与混和像素数据出现在预定数目连续帧之中的诸多帧不同的一个帧中提取的；关系式生成装置，用于根据提取的混合像素数据和提取的背景像素数据生成对应于预定数目连续帧的混和像素数据和背景像素数据的关系式；和混合比检测装置，用于根据关系式检测对应于预定数目连续帧的单一混合比。
38.根据权利要求37所述的成像装置，其中所述像素数据提取装置根据帧中的前景对象的运动量提取混合像素数据。
39.根据权利要求37所述的成像装置，其中所述像素数据提取装置根据帧中的背景对象的运动量提取背景像素数据。
40.根据权利要求37所述的成像装置，其中所述关系式生成装置生成用于混和像素数据和背景像素数据的关系式，用于通过最小乘方方法计算混合比。
41.根据权利要求37所述的成像装置，还包括包括运动检测装置，用于检测前景对象和背景对象的至少一个的运动。
42.根据权利要求37所述的成像装置，还包括区域指定装置，用于指定一个由混和像素数据组成的混合区域、一个由背景像素组成的背景区域、一个由前景像素数据组成的前景区域，该前景像素数据是对应于前景对象的像素数据。
43.根据权利要求37所述的成像装置，还包括分离装置，用于根据混合比从混和像素数据中至少分离前景对象。
44.根据权利要求43所述的成像装置，还包括运动模糊调整装置，用于调整被分离的前景对象的运动模糊量。
45.根据权利要求43所述的成像装置，还包括合成装置，用于根据混合比将分离前景对象与预期对象合并。
全文摘要
一种图像处理设备，可以检测表示多个对象的混和状态的混合比。标准方程加法器(441)不仅提取混和像素数据，并且还提取对应于混和像素数据的背景像素数据，并生成混和像素数据和背景像素数据的关系式。根据该关系式，标准方程计算单元(442)计算预定数目连续帧的一混合比。该图像处理设备考虑了传感器所检测的信号与现实之间差异。
文档编号G06T1/00GK1461456SQ02801228
公开日2003年12月10日 申请日期2002年2月19日 优先权日2001年2月19日
发明者近藤哲二郎, 藤原直树, 石桥淳一, 泽尾贵志, 永野隆浩, 三宅彻, 和田成司 申请人:索尼公司