图像处理设备的制作方法

专利名称：图像处理设备的制作方法
技术领域：
本发明涉及图像处理设备，尤其涉及考虑到传感器检测的信号与现实世界(real world)之间的差异的图像处理设备。
背景技术：
通过传感器检测在现实世界中发生的现象，和处理从图像传感器输出的取样数据的技术得到广泛应用。
例如，对于视频摄像机拍摄在预定静止背景前移动的对象的照片获得的图像，在对象的运动速率相对高的情况下，会出现运动模糊(movementblurring)。
但是，在对象在静止背景的前面移动的情况下，不仅运动对象图像本身的混合会引起运动模糊，而且运动对象图像与背景图像的混合也会引起运动模糊。传统上，对背景图像和运动对象图像的混合状态的检测没有加以考虑。

发明内容
本发明就是在考虑了这样的情况之后作出的，因此，本发明的目的是检测指示诸如背景图像和运动对象图像之类的数个对象的混合状态的混合比。
根据本发明的图像处理设备包括方程生成装置，用于针对图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域(contour region)上的感兴趣帧内的图像数据中提取等高区域像素数据，从与感兴趣帧不同的帧中提取与等高区域像素数据相对应的相应像素数据，提取作为只由与等高区域像素数据或相应像素数据相对应的背景对象成分组成的像素数据的背景像素数据，和利用等高区域像素数据、相应像素数据、和背景像素数据，生成其中混合比是未知数的方程，其中，区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分和背景对象成分混合在一起的混合区域，前景区域只由构成前景对象的前景对象成分组成，背景区域只由构成背景对象的背景对象成分组成；和混合比检测装置，用于通过求解方程检测感兴趣帧中的混合比。
方程生成装置可以提取帧中与前景对象的运动量相对应的相应像素数据。
方程生成装置可以提取帧中与背景对象的运动量相对应的背景像素数据。
为了通过最小二乘法计算混合比，方程生成装置可以生成与等高区域像素数据、相应像素数据、和背景像素数据之间的关系相对应的方程。
该图像处理设备还可以包括运动检测装置，用于检测前景对象和背景对象至少一个的移动。
该图像处理设备还可以包括区域指定装置，用于指定前景区域、背景区域、和混合区域。
该图像处理设备还可以包括分离装置，用于根据混合比，至少把前景对象成分从混合区域的像素数据中分离出来。
该图像处理设备还可以包括运动模糊调整装置，用于调整分离前景对象成分的运动模糊量。
该图像处理设备还可以包括合成装置，用于根据混合比，把所需其它对象与分离前景对象成分合成在一起。
根据本发明的图像处理方法包括方程生成步骤，针对图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的图像数据中提取等高区域像素数据，从与感兴趣帧不同的帧中提取与等高区域像素数据相对应的相应像素数据，提取作为只由与等高区域像素数据或相应像素数据相对应的背景对象成分组成的像素数据的背景像素数据，和利用等高区域像素数据、相应像素数据、和背景像素数据，生成其中混合比是未知数的方程，其中，区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分和背景对象成分混合在一起的混合区域，前景区域只由构成前景对象的前景对象成分组成，背景区域只由构成背景对象的背景对象成分组成；和混合比检测步骤，通过求解方程检测感兴趣帧中的混合比。
在方程生成步骤中的处理可以提取帧中与前景对象的运动量相对应的相应像素数据。
在方程生成步骤中的处理可以提取帧中与背景对象的运动量相对应的背景像素数据。
为了通过最小二乘法计算混合比，在方程生成步骤中的处理可以生成与等高区域像素数据、相应像素数据、和背景像素数据之间的关系相对应的方程。
该图像处理方法还可以包括运动检测步骤，检测前景对象和背景对象至少一个的移动。
该图像处理方法还可以包括区域指定步骤，指定前景区域、背景区域、和混合区域。
该图像处理方法还可以包括分离步骤，根据混合比，至少把前景对象成分从混合区域的像素数据中分离出来。
该图像处理方法还可以包括运动模糊调整步骤，调整分离前景对象成分的运动模糊量。
该图像处理方法还可以包括合成步骤，根据混合比，把所需其它对象与分离前景对象成分合成在一起。
记录在根据本发明的记录媒体上的程序包括方程生成步骤，针对图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的图像数据中提取等高区域像素数据，从与感兴趣帧不同的帧中提取与等高区域像素数据相对应的相应像素数据，提取作为只由与等高区域像素数据或相应像素数据相对应的背景对象成分组成的像素数据的背景像素数据，和利用等高区域像素数据、相应像素数据、和背景像素数据，生成其中混合比是未知数的方程，其中，区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分和背景对象成分混合在一起的混合区域，前景区域只由构成前景对象的前景对象成分组成，背景区域只由构成背景对象的背景对象成分组成；和混合比检测步骤，通过求解方程检测感兴趣帧中的混合比。
在方程生成步骤中的处理可以提取帧中与前景对象的运动量相对应的相应像素数据。
在方程生成步骤中的处理可以提取帧中与背景对象的运动量相对应的背景像素数据。
为了通过最小二乘法计算混合比，在方程生成步骤中的处理可以生成与等高区域像素数据、相应像素数据、和背景像素数据之间的关系相对应的方程。
该记录在记录媒体上的程序还可以包括运动检测步骤，检测前景对象和背景对象至少一个的移动。
该记录在记录媒体上的程序还可以包括区域指定步骤，指定前景区域、背景区域、和混合区域。
该记录在记录媒体上的程序还可以包括分离步骤，根据混合比，至少把前景对象成分从混合区域的像素数据中分离出来。
该记录在记录媒体上的程序还可以包括运动模糊调整步骤，调整分离前景对象成分的运动模糊量。
该记录在记录媒体上的程序还可以包括合成步骤，根据混合比，把所需其它对象与分离前景对象成分合成在一起。
根据本发明的程序包括方程生成步骤，针对图像数据，在混合区域内，从位于混合比大致相等的等高区域上的、感兴趣帧内的图像数据中提取等高区域像素数据，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的图像数据中提取等高区域像素数据，从与感兴趣帧不同的帧中提取与等高区域像素数据相对应的相应像素数据，提取作为只由与等高区域像素数据或相应像素数据相对应的背景对象成分组成的像素数据的背景像素数据，和利用等高区域像素数据、相应像素数据、和背景像素数据，生成其中混合比是未知数的方程，其中，区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分和背景对象成分混合在一起的混合区域，前景区域只由构成前景对象的前景对象成分组成，背景区域只由构成背景对象的背景对象成分组成；和混合比检测步骤，通过求解方程检测感兴趣帧中的混合比。
在方程生成步骤中的处理可以提取帧中与前景对象的运动量相对应的相应像素数据。
在方程生成步骤中的处理可以提取帧中与背景对象的运动量相对应的背景像素数据。
为了通过最小二乘法计算混合比，在方程生成步骤中的处理可以生成与等高区域像素数据、相应像素数据、和背景像素数据之间的关系相对应的方程。
该程序还可以包括运动检测步骤，检测前景对象和背景对象至少一个的移动。
该程序还可以包括区域指定步骤，指定前景区域、背景区域、和混合区域。
该程序还可以包括分离步骤，根据混合比，至少把前景对象成分从混合区域的像素数据中分离出来。
该程序还可以包括运动模糊调整步骤，调整分离前景对象成分的运动模糊量。
该程序还可以包括合成步骤，根据混合比，把所需其它对象与分离前景对象成分合成在一起。
根据本发明的图像拍摄设备包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个像素的图像拍摄设备拍摄的主体(subject)图像，作为由预定个数像素数据组成的图像数据；方程生成装置，用于针对图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的图像数据中提取等高区域像素数据，混合比指示现实世界中数个对象的混合区域内的混合状态，从与感兴趣帧不同的帧中提取与等高区域像素数据相对应的相应像素数据，提取作为只由与等高区域像素数据或相应像素数据相对应的背景对象成分组成的像素数据的背景像素数据，和利用等高区域像素数据、相应像素数据、和背景像素数据，生成其中混合比是未知数的方程，其中区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分和背景对象成分混合在一起的混合区域，前景区域只由构成前景对象的前景对象成分组成，背景区域只由构成背景对象的背景对象成分组成；和混合比检测装置，用于通过求解方程检测感兴趣帧中的混合比。
方程生成装置可以提取帧中与前景对象的运动量相对应的相应像素数据。
方程生成装置可以提取帧中与背景对象的运动量相对应的背景像素数据。
为了通过最小二乘法计算混合比，方程生成装置可以生成与等高区域像素数据、相应像素数据、和背景像素数据之间的关系相对应的方程。
该图像拍摄设备还可以包括运动检测装置，用于检测前景对象和背景对象至少一个的移动。
该图像拍摄设备还可以包括区域指定装置，用于指定前景区域、背景区域、和混合区域。
该图像拍摄设备还可以包括分离装置，用于根据混合比，至少把前景对象成分从混合区域的像素数据中分离出来。
该图像拍摄设备还可以包括运动模糊调整装置，用于调整分离前景对象成分的运动模糊量。
该图像拍摄设备还可以包括合成装置，用于根据混合比，把所需其它对象与分离前景对象成分合成在一起。
针对图像数据，在混合区域内，从位于混合比大致相等的等高区域上的、感兴趣帧内的图像数据中提取等高区域像素数据，从与感兴趣帧不同的帧中提取与等高区域像素数据相对应的相应像素数据，提取作为只由与等高区域像素数据或相应像素数据相对应的背景对象成分组成的像素数据的背景像素数据，和根据区域指定信息和前景对象成分的移动，利用等高区域像素数据、相应像素数据、和背景像素数据，生成其中混合比是未知数的方程，区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分和背景对象成分混合在一起的混合区域，前景区域只由构成前景对象的前景对象成分组成，背景区域只由构成背景对象的背景对象成分组成。
因此，例如，可以检测指示诸如背景图像和运动对象图像之类的数个对象的混合状态的混合比。
由具有时间积分效应的、具有预定个像素的图像拍摄设备拍摄的主体图像被输出成由预定个数像素数据组成的图像数据，并且，针对图像数据，在混合区域内，从位于混合比大致相等的等高区域上的、感兴趣帧内的图像数据中提取等高区域像素数据，混合比指示现实世界中数个对象的所述混合区域内的混合状态，从与感兴趣帧不同的帧中提取与等高区域像素数据相对应的相应像素数据，提取作为只由与等高区域像素数据或相应像素数据相对应的背景对象成分组成的像素数据的背景像素数据，和根据区域指定信息和前景对象成分的移动，利用等高区域像素数据、相应像素数据、和背景像素数据，生成其中混合比是未知数的方程，区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分和背景对象成分混合在一起的混合区域，前景区域只由构成前景对象的前景对象成分组成，背景区域只由构成背景对象的背景对象成分组成。
因此，例如，可以检测指示诸如背景图像和运动对象图像之类的数个对象的混合状态的混合比。


图1是显示根据本发明的信号处理设备的实施例的配置的方块图；图2是显示信号处理设备的方块图；图3是描述传感器进行图像拍摄的图；图4是描述像素的排列的图；图5是描述检测设备的操作的图；图6A是描述拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像的图；图6B是描述拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像的模型图的图；图7是描述背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域的图；图8是沿着时间方向展开在与静止前景相对应的对象和与静止背景相对应的对象经历图像拍摄的图像中，一个接一个排列成一行的像素的像素值的模型图；图9是沿着时间方向展开像素值和分割与快门时间相对应的间隔(period)的模型图；图10是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图11是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图12是显示前景区域、背景区域和混合区域的提取像素的例子的图；图13是显示像素如何与沿着时间方向展开像素值的模型相对应的图；图14是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图15是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图16是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图17是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图18是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图19是描述调整运动模糊量的处理的流程图；图20是显示区域指定单元103的配置例子的方块图；图21是描述与前景相对应的对象正在移动的图像的图；图22是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图23是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图24是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图25是描述区域判断的条件的图；图26A是显示区域指定单元103所作的区域指定的结果的例子的图；图26B是显示区域指定单元103所作的区域指定的结果的例子的图；图26C是显示区域指定单元103所作的区域指定的结果的例子的图；图26D是显示区域指定单元103所作的区域指定的结果的例子的图；图27是显示区域指定单元103所作的区域指定的结果的例子的图；图28是描述区域指定的处理的流程图；图29是显示区域指定单元103的另一个配置例子的方块图；图30是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图31是显示背景图像的例子的图；图32是显示二值(binary)对象图像提取单元302的配置的方块图；图33A是描述相关值的计算的图；图33B是描述相关值的计算的图；图33C是描述相关值的计算的图；图33D是描述相关值的计算的图；图35是显示二值对象图像的例子的图；
图36是显示时间变化检测单元303的配置的方块图；图37是描述区域判断单元342的判断的图；图38是显示时间变化检测单元303所作的判断的例子的图；图39是描述区域指定单元103进行区域指定的处理的流程图；图40是详细描述区域指定的处理的流程图；图41是显示区域指定单元103的又一种配置的方块图；图42是描述鲁棒化(robustification)单元361的配置的方块图；图43是描述运动补偿单元381的运动补偿的图；图44是描述运动补偿单元381的运动补偿的图；图45是描述区域指定的处理的流程图；图46是描述鲁棒化处理的细节的流程图；图47是显示混合比计算单元104的配置的方块图；图48是显示估计混合比处理单元401的配置的方块图；图49是显示作为覆盖背景区域的混合区域的图；图50是描述等高区域的图；图51是沿着时间方向展开等高区域中像素的像素值，和分割与快门时间相对应的时间间隔的模型图；图52是沿着时间方向展开线段(i)上的像素和相应像素的像素值，和分割与快门时间相对应的时间间隔的模型图；图53是沿着时间方向展开线段(ii)上的像素和相应像素的像素值，和分割与快门时间相对应的时间间隔的模型图；图54是沿着时间方向展开线段(iii)上的像素和相应像素的像素值，和分割与快门时间相对应的时间间隔的模型图；图55是描述属于等高区域A的像素、与前景对象的运动量v相对应的像素、和属于相应背景区域的像素的图；图56是描述属于等高区域A的像素、与前景对象的运动量v相对应的像素、和属于相应背景区域的像素的图；图57是描述计算混合比α的处理的流程图；图58是描述与覆盖背景区域相对应的混合比估计的处理的流程图；图59是显示前景/背景分离单元105的配置例子的方块图；图60A是显示输入图像、前景成分图像、和背景成分图像的图；
图60B是显示与输入图像、前景成分图像、和背景成分图像相对应的模型的图；图61是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；图62是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；图63是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；图64是显示分离单元601的配置例子的方块图；图65A是显示分离前景成分图像的例子的图；图65B是显示分离背景成分图像的例子的图；图66是描述分离前景和背景的处理的流程图；图67是显示运动模糊调整单元106的配置例子的方块图；图68是描述处理增量的图；图69是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；图70是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；图71是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；图72是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；图73是显示运动模糊调整单元106的另一个配置例子的图；图74是描述由运动模糊调整单元106调整包含在前景成分图像中的运动模糊量的处理的流程图；图75是显示运动模糊调整单元106的另一个配置例子的图；图76是显示指定像素值和前景成分如何对应的例子的模型的图；图77是描述计算前景成分的图；图78是描述计算前景成分的图；图79是描述调整前景运动模糊量的处理的流程图；图80是显示信号处理设备的功能的另一种配置的方块图；和图81是显示合成单元1001的配置的图。
具体实施例方式
图1是显示根据本发明的信号处理设备的实施例的配置的方块图。
CPU(中央处理单元)21遵照存储在ROM(只读存储器)22或存储单元28中的程序，执行各种类型的处理。RAM(随机存取存储器)23适当地存储CPU 21执行的程序、和数据等。这些CPU 21、ROM 22、和RAM 23通过总线24相互连接。
通过总线24，CPU 21还与输入/输出接口25相连接。输入/输出接口25与诸如键盘、鼠标、麦克风等的输入单元26相连接，和与诸如显示器、扬声器等的输出单元27相连接。CPU 21与从输入单元26输入的指令相对应地进行各种类型的处理。然后，CPU 21把作为处理结果获得的图像、声音等输出到输出单元27。
与输入/输出接口25相连接的存储单元28包括，例如，硬盘，存储CPU21执行的程序、和各种类型的数据。通信单元29通过因特网或其它网络与外部设备通信。在本例的情况中，通信单元29还用作获取来自传感器的输出的获取单元。
此外，可以作出这样的安排，其中，通过通信单元29获取程序，和将其存储在存储单元28中。
驱动器30与输入/输出接口25相连接，当把磁盘51、光盘52、磁光盘53、半导体存储器54等安装在驱动器30上时，驱动器30驱动它们，获取存储在存储单元中的程序和数据。如有必要，把获取的程序、数据等发送到存储单元28，存储在其中。
现在通过更加具体的例子描述指定包含有效信息的区域，和进行从用传感器获取的数据中提取包含的有效信息的处理的信号处理设备。在如下的例子中，CCD(电荷耦合器件)线(line)传感器或CCD面(area)传感器对应于传感器，区域信息或混合比对应于有效信息，和前景和背景的混合或运动模糊对应于混合区域内的失真。
图2是显示信号处理设备的方块图。
请注意，信号处理设备的每种功能由硬件来实现还是由软件来实现是无关紧要的。也就是说，本说明书中的每个方块图不仅可以被当作硬件方块图，而且可以被当作软件功能方块图。
还请注意，运动模糊指的是由于现实世界中作为图像拍摄对象的对象的移动或由于传感器的拍摄特性引起的、包含在与运动图像相对应的图像中的失真。
在本说明书中，与现实世界中作为图像拍摄对象的对象相对应的图像被称为图像对象。
把提供给信号处理设备的输入图像提供给对象提取单元101、区域指定单元103、混合比计算单元104、和前景/背景分离单元105。
对象提取单元101粗略提取包含在输入图像中与前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。例如，对象提取单元101通过检测包含在输入图像中与前景对象相对应的图像对象的轮廓，粗略提取与前景对象相对应的图像对象。
对象提取单元101粗略提取与包含在输入图像中的背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。例如，对象提取单元101通过输入图像和与提取前景对象相对应的图像对象之间的差异，粗略提取与背景对象相对应的图像对象。
此外，例如，可以作出这样的安排，其中，对象提取单元101根据存储在配备在其中的背景存储器中的背景图像与输入图像之间的差异，粗略提取与前景对象相对应的图像对象和与背景对象相对应的图像对象。
运动检测单元102通过诸如块匹配、分级(gradation)、相位关联、和像素递归等的技术，计算与大致提取的前景对象相对应的运动向量，把计算的运动向量和运动向量位置信息(指定与运动向量相对应的像素位置的信息)提供给区域指定单元103、混合比计算单元104、和运动模糊调整单元106。
从运动检测单元102输出的运动向量包括与运动量v相对应的信息。
此外，例如，可以作出这样的安排，其中，把每个图像对象的运动向量，以及指定与图像对象有关的像素的像素位置信息输出到运动模糊调整单元106。
运动量v是代表与运动对象相对应的图像的位置随着像素间隔的增加而改变的量。例如，如果与前景相对应的对象图像发生移动，致使被显示在相对于作为基准的给定帧的下一个帧中偏离4个像素的位置上，那么，与前景相对应的对象的图像的运动量v是4。
请注意，如果调整与运动对象相对应的运动模糊量，那么，需要对象提取单元101和运动检测单元102。
区域指定单元103把输入图像的每一个像素分入前景区域、背景区域、或混合区域之一中，并且把指示每个像素属于前景区域、背景区域、或混合区域的哪一个的信息(下文中称作区域信息)提供给混合比计算单元104、前景/背景分离单元105、和运动模糊调整单元106。
混合比计算单元101根据输入图像、运动检测单元102供应的运动向量和其位置信息、和区域指定单元103供应的区域信息，计算与包含在混合区域63中的像素相对应的混合比(下文称之为混合比α)，并且把与包含在混合区域内的像素相对应的计算混合比供应给前景/背景分离单元105。
混合比α是代表与具有如下面所述的表达式(3)所指示的像素值的背景对象(下文也称之为背景成分)相对应的图像成分的比例的值。
根据区域指定单元103供应的区域信息、和混合比计算单元104供应的混合比α，前景/背景分离单元105把输入图像分离成只由与前景对象(下文也称之为前景成分)相对应的图像成分组成的前景成分图像、和只由背景成分组成的背景成分图像，并且把前景成分图像供应给运动模糊调整单元106和选择单元107。请注意，也可以作出使分离的前景成分图像成为最终输出的安排。与只指定和分离前景和背景，而不考虑混合区域的传统方法相比，可以获得更精确的前景和背景。
运动模糊调整单元106根据从运动向量导出的运动量v、和区域信息，决定指示包含在前景成分图像中的一个或多个像素的处理增量。处理增量是指示作为对运动模糊值进行调整处理的对象的一组像素的数据。
根据输入到信号处理设备的运动模糊调整量、前景/背景分离单元105提供的前景成分图像、和运动检测单元10提供的运动向量、其位置信息、和处理增量，运动模糊调整单元106调整包含在前景成分图像中的运动模糊量，譬如，消除、减少或增加包含在前景成分图像中的运动模糊量，并且把已经经过运动模糊量调整的前景成分图像输出到选择单元107。可以作出不使用运动向量和位置信息的安排。
选择单元107选择前景/背景分离单元105供应的前景成分图像，或运动模糊调整单元106供应的、已经经过运动模糊量调整的前景成分图像之一，输出所选的前景成分图像。
现在参照图3到图18描述供应给信号处理设备的输入图像。
图3是描述传感器进行图像拍摄的图。传感器构成CCD视频摄像机等，例如，CCD视频摄像机等包括作为固态图像拍摄器件的CCD(电荷耦合器件)面传感器。例如，在该图中，现实世界中与前景相对应的对象111在现实世界中与背景相对应的对象112与传感器之间、沿着水平方向从左边移动到右边。
传感器拍摄与前景相对应的对象111、以及与背景相对应的对象112的图像。传感器以一帧为递增量拍摄图像。例如，传感器每秒输出30个帧的图像。在这种情况下，传感器的曝光间隔是1/30秒。曝光间隔代表传感器开始把输入光转换成电荷直到把输入光转换成电荷结束之间的间隔。曝光间隔在下文也被称为快门间隔。
图4是描述像素的排列的图。在图4中，A到I表示各个像素。这些像素排列在与图像相对应的平面上。在传感器上布置着与像素一一对应的检测元件。一旦传感器拍摄图像，一个检测元件输出与组成图像的一个像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，和检测元件的Y方向的位置对应于图像上垂直方向的位置。
例如，如图5所示，CCD的检测元件在与快门间隔相对应的间隔内把输入光转换成电荷，并且累积转换电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门间隔相对应的间隔中，把从输入光转换而来的电荷加入累加电荷中。也就是说，检测元件在与快门间隔相对应的间隔中，积分输入光，并且累积与积分光相对应的的电荷量。也可以认为，检测元件具有对时间的积分效应。
在检测元件中累积的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，然后输出它。因此，从传感器输出的各个像素值具有投影在一维空间中的值，这来源于从在快门间隔内积分与前景或背景相对应的对象具有空间广延(extension)的给定部分所得的结果。
信号处理设备提取由于传感器这样的累积操作而隐埋在输出信号中的有效信息，譬如，混合比α。信号处理设备调整由于前景图像对象本身的混合造成的失真量，譬如，运动模糊量。此外，信号处理设备调整由于前景图像对象与背景图像对象的混合造成的失真量。
图6A显示了拍摄与运动前景相对应的对象、和与静止对象相对应的对象的图像获得的图像。对于图6A所示的例子，与前景相对应的对象在屏幕上沿着水平方向从左边移动到右边。
图6B是与图6A所示的图像的一行相对应的像素值沿着时间方向展开的模型图。图6B中的水平方向对应于图6A中的空间X方向。
背景区域中的像素只由背景成分，即，与背景对象相对应的图像成分组成。前景区域中的像素只由前景成分，即，与前景对象相对应的图像成分组成。
混合区域内的像素值由背景成分和前景成分组成。由于混合区域内的像素由背景成分和前景成分组成，因此，也可以认为混合区域是失真区域。混合区域进一步分为覆盖背景区域和未覆盖背景区域。
覆盖背景区域是与前景区域有关，沿着前景对象的前进方向，与领先部分相对应的位置上的混合区域，因此，是背景区域被与时间的流逝相对应的前景覆盖的区域。
与此相反，未覆盖背景区域是与前景区域有关，沿着前景对象的前进方向，与尾随部分相对应的位置上的混合区域，因此，是背景成分随着时间的流逝而出现的区域。
如上所述，包括前景区域、背景区域、覆盖背景区域、和未覆盖背景区域的图像被当作输入图像输入到区域指定单元103、混合比计算单元104、和前景/背景分离单元105。
图7是描述如上所述的背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域的图。在与图6所示的图像相对应的情况下，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景变成前景的部分，和混合区域的未覆盖背景区域是从前景变成背景的部分。
图8是沿着时间方向展开对与静止前景相对应的对象和与静止背景相对应的对象进行拍摄所得的图像中，一个接一个排列成一行的像素的像素值的模型图。例如，可以选择屏幕中排列在一行上的像素，作为一个接一个排列成一行的像素。
图8所示的像素起F01到F04是与静止前景对象相对应的像素的像素值。图8所示所像素值B01到B04是与静止背景对象相对应的像素的像素值。
图8中的垂直方向代表时间自上而下的流逝。图8中长方形的上侧位置对应于传感器开始把输入光转换成电荷的时间，和图8中长方形的下侧位置对应于传感器结束把输入光转换成电荷的时间。也就是说，图8中从长方形的上侧到下侧的距离对应于快门间隔。
下面通过举例的方式描述快门间隔等于帧间隔的安排。
图8中的水平方向对应于在图6中所述的空间方向X。更明确地说，如图8中的例子所示，从用“F01”表示的长方形的左侧到用“B04”表示的长方形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续像素的间隔。
在前景对象和背景对象保持静止的情况下，输入到传感器的光在与快门间隔相对应的间隔内不会发生改变。
现在，将与快门间隔相对应的间隔分割成长度相等的两个或更多个间隔。例如，在虚拟分割数是4的情况下，图8所示的模型图可以用图9所示的模型图来表示。与快门间隔内与前景相对应的对象的运动量v等相对应地设置虚拟分割数。例如，与4的运动量v相对应，虚拟分割数是4，并且把与快门间隔相对应的间隔分割成4个间隔。
图中的最上行对应于从打开快门开始的第1个分(divided)间隔。图中从顶行算起的第2行对应于从打开快门开始的第2个分间隔。图中从顶行算起的第3行对应于从打开快门开始的第3个分间隔。图中从顶行算起的第4行对应于从打开快门开始的第4个分间隔。
与运动量v相对应的分快门间隔在下文中也被称为快门间隔/v。
在与前景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，前景成分F01/v等于像素值F01除以虚拟分割数所得的值。类似地，在与前景相对应的对象保持静止的情况下，前景成分F02/v等于像素值F02除以虚拟分割数所得的值，前景成分F03/v等于像素值F03除以虚拟分割数所得的值，和前景成分F04/v等于像素值F04除以虚拟分割数所得的值。
在与背景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，背景成分B01/v等于像素值B01除以虚拟分割数所得的值。类似地，在与背景相对应的对象保持静止的情况下，背景成分B02/v等于像素值B02除以虚拟分割数所得的值，背景成分B03/v等于像素值B03除以虚拟分割数所得的值，和背景成分B04/v等于像素值B04除以虚拟分割数所得的值。
也就是说，在与前景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与前景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第2快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第3快门间隔/v相对应的前景成分F01/v、和与从快门打开算起的第4快门间隔/v相对应的前景成分F01/v是相同的。F02/v到F04/v具有与F01/v相同的关系。
在与背景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与背景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第2快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第3快门间隔/v相对应的背景成分B01/v、和与从快门打开算起的第4快门间隔/v相对应的背景成分B01/v是相同的。B02/v到B04/v具有与B01/v相同的关系。
现在描述在与对背景相对应的对象保持静止的同时，与前景相对应的对象发生移动的情况。
图10是在与前景相对应的对象在图中朝着右侧移动的情况下，沿着时间方向展开包括覆盖背景区域的一行上的像素的像素值的模型图。在图10中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以作出与前景相对应的对象是一个刚体、和作恒速运动的假设。在图10中，与前景相对应的对象图像发生移动，致使被显示在相对于给定帧的下一个帧中向右4个像素的位置上。
在图10中，最左边像素到从左边算起第4个像素属于前景区域。在图10中，从最左算起第5个像素到第7个像素属于混合区域的覆盖背景区域。在图10中，最右边像素属于背景区域。
由于与前景相对应的像素发生移动，致使随着时间的流逝掩藏了与背景相对应的对象，因此，在与快门间隔相对应的间隔的某个点上，包含在属于覆盖背景区域的像素的像素值中的成分从背景成分变成前景成分。
例如，图10中用粗线框(frame)显示的像素值M由表达式(1)表示M＝B02/v+B02/v+F07/v+F06/v(1)例如，由于从左边算起第5个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是1/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是3/4。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图10中从左边算起第4个像素从快门打开算起的第1快门间隔/v的前景成分F07/v等于图10中与从左边算起第5个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，F07/v分别等于图10中与从左边算起第6个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第7个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的点上的假设，因此，例如，图10中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分F06/v等于图10中与从左边算起第4个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F06/v分别等于图10中与从左边算起第5个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第6个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图10中从左边算起第2个像素从快门打开算起的第1快门间隔/v的前景成分F05/v等于图10中与从左边算起第3个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F05/v分别等于图10中与从左边算起第4个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第5个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图10中从与最左边像素从快门打开算起的第1快门间隔/v相对应的前景成分F05/v等于图10中与从左边算起第2个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F04/v分别等于图10中与从左边算起第3个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第4个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
如上所述，与运动对象相对应的前景区域包括运动模糊，因此，可以认为这是失真区域。
图11是在前景在图中朝着右侧移动的情况下，沿着时间方向展开包括未覆盖背景区域的一行上的像素的像素值的模型图。在图11中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以作出与前景相对应的对象是一个刚体，和作恒速运动的假设。在图11中，与前景相对应的对象图像在相对于给定帧的下一个帧中向右边移动了4个像素。
在图11中，最左边像素到从左边算起第4个像素属于背景区域。在图11中，从最左算起第5个像素到第7个像素属于未覆盖背景的混合区域。在图11中，最右边像素属于前景区域。
由于与已经掩藏了与背景相对应的对象的前景相对应的对象发生移动，致使随着时间的流逝从与背景相对应的对象的前面移走，因此，在与快门间隔相对应的间隔的某个点上，包含在属于未覆盖背景区域的像素的像素值中的成分从前景成分变成背景成分。
例如，图11中用粗线框表示的像素值M′由表达式(2)表示M′＝F02/v+F01/v+B26/v+B26/v (2)例如，由于从左边算起第5个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是3/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是1/4。
并且，推广表达式(1)和表达式(2)，像素值M由表达式(3)表示M=α·B+ΣiFi/v---(3)]]>这里，α表示混合比。B表示背景的像素值，和Fi/v表示前景成分。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和运动量v是例如4的假设，因此，图11中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分F01/v等于图11中与从左边算起第6个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，F01/v分别等于图10中与从左边算起第7个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图11中与从左边算起第8个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和虚拟分割数是4的假设，因此，例如，图11中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分F02/v等于图11中与从左边算起第7个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F07/v等于图11中与从左边算起第8个像素从快门打开算起的第3快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和运动量是4的假设，因此，例如，图11中从左边算起第7个像素从快门打开算起的第1快门间隔/v的前景成分F03/v等于图11中与从左边算起第8个像素从快门打开算起的第2快门间隔/v相对应的前景成分。
尽管在图9到图11的描述中描述了虚拟分割数是4的情况，但是，虚拟分割数对应于运动量v。运动量v一般对应于与前景相对应的对象的运动速度。例如，在与前景相对应的对象发生移动，致使被显示在相对于给定帧的下一帧中向右4个像素的位置上的情况下，运动量v是4。与运动量v相对应，虚拟分割数也是4。类似地，例如，在与前景相对应的对象发生移动，致使被显示在相对于给定帧的下一帧中向右6个像素的位置上的情况下，运动量v是6，虚拟分割数也是6。
图12和图13与分快门间隔相对应地显示了前景区域、背景区域和由覆盖背景区域和未覆盖背景区域组成的混合区域之间的关系，和前景成分和背景成分。
图12显示了从包括与在静止背景的前面移动的对象相对应的前景的图像中提取前景区域、背景区域、和混合区域的像素的例子。在图12所示的例子中，与A所表示的前景相对应的对象在屏幕上沿着水平方向移动。
帧#n+1是接在帧#n之后的帧，和帧#n+2是接在帧#n+1之后的帧。
图13显示了从帧#n到帧#n+2之一中提取前景区域、背景区域、和混合区域的像素，和沿着时间方向展开提取像素的像素值的模型，其中，运动量v是4。
由于与前景相对应的对象发生移动，前景区域的像素值由与快门间隔/v的间隔相对应的4个不同前景成分组成。例如，图13所示的前景区域的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。也就是说，前景区域的像素包含了运动模糊。
由于与背景相对应的对象保持静止，因此，输入传感器的、与背景相对应的光在与快门间隔相对应的间隔内不发生改变。在这种情况下，背景区域的像素值不包含运动模糊。
属于由覆盖背景区域或未覆盖背景区域组成的混合区域的像素的像素值由前景成分和背景成分组成。
接着，描述在与对象相对应的图像发生移动的情况下，沿着时间方向展开在多个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的像素值的模型。例如，在与对象相对应的图像在屏幕上沿着水平方向移动的情况下，可以选择排列在单行上的像素，作为沿着单行一个接一个排列的像素。
图14是沿着时间方向展开在拍摄与静止背景相对应的对象所得的图像的三个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的模型图。帧#n是接在#n-1之后的帧，和帧#n+1是接在#n之后的帧。其它帧用相同的方式表示。
图14所示的B01到B12的像素值是与静止背景的对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。
图15是沿着时间方向展开在拍摄与图中向右移动的前景相对应的对象，以及与静止背景相对应的对象所得的图像的三个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的像素值的模型图。图15所示的模型包括覆盖背景区域。
由于在图15中可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，前景运动量v是4，和虚拟分割数也是4。
例如，图15中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，图15中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分，和图15中从左边算起第4个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。
图15中的帧#n-1中的最左边像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，和图15中从左边算起第2个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图15中从左边算起第3个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。
图15中的帧#n-1中的最左边像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，和图15中从左边算起第2个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图15中的帧#n-1中的最左边像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。
由于与背景相对应的对象保持静止，图15中的帧#n-1中从左边算起第2个像素从快门打开算起的第1快门间隔/v的背景成分是B01/v。图15中的帧#n-1中从左边算起第3个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B02/v。图15中的帧#n-1中从左边算起第4个像素从快门打开算起的第1到第3快门间隔/v的背景成分B03/v。
在图15中的帧#n-1中，最左边的像素属于前景区域，和从左边算起第2个到第4个像素属于覆盖背景区域的混合区域。
在图15中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区域，和其像素值分别是F04到F11。
在图15中的帧#n中从左边算起的第1个像素到第5个像素属于前景区域。在帧#n中的前景区域中快门间隔/v的前景成分是F05/v到F12/v之一。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，图15中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v。图15中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分、和图15中从左边算起第8个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。
图15中的帧#n中从左边算起第5个像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，和图15中从左边算起第6个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图15中从左边算起第7个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。
图15中的帧#n中从左边算起第5个像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，和图15中从左边算起第6个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图15中从左边算起第5个像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。
由于与背景相对应的对象保持静止，图15中的帧#n中从左边算起第6个像素从快门打开算起的第1快门间隔/v的背景成分是B05/v。图15中的帧#n中从左边算起第7个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B06/v。图15中的帧#n中从左边算起第8个像素从快门打开算起的第1到第3快门间隔/v的背景成分B07/v。
在图15中的帧#n中，从左边算起第6个到第8个像素属于覆盖背景区域的混合区域。
在图15中的帧#n中从左边算起的第9个像素到第12个像素属于背景区域，和像素值分别是B08到B11。
在图15中的帧#n+1中从左边算起的第1个到第9个像素属于前景区域。在帧#n+1中的前景区域中快门间隔/v的前景成分是F01/v到F12/v之一。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右边4个像素的位置上的假设，因此，图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，和图15中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分、和图15中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。
图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，和图15中从左边算起第10个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图15中从左边算起第11个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。
图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，和图15中从左边算起第10个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图15中从左边算起第9个像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。
由于与背景相对应的对象保持静止，图15中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门间隔/v的背景成分是B09/v。图15中的帧#n+1中从左边算起第11个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B10/v。图15中的帧#n+1中从左边算起第12个像素从快门打开算起的第1到第3快门间隔/v的背景成分B11/v。
在图15中的帧#n+1中，从左边算起第10个到第12个像素属于覆盖背景区域的混合区域。
图16是从图15所示的像素值中提取前景成分的模型图。
图17是沿着时间方向展开在拍摄与图中向右移动的对象相对应的前景，以及静止背景所得的图像的三个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的像素值的模型图。在图17中，模型图包括未覆盖背景区域。
在图17中，可以作出与前景相对应的对象是刚体，和作恒速运动的假设。由于与前景相对应的对象发生移动，致使被显示在下一个帧中向右边4个像素的位置上，因此，运动量v是4。
例如，图17中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，图17中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分，和图17中从左边算起第4个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。
图17中的帧#n-1中从左边算起第2个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图17中从左边算起第3个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图17中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。
由于与背景相对应的对象保持静止，图17中的帧#n-1中的最左边像素从快门打开算起的第2到4快门间隔/v的背景成分是B25/v。图17中的帧#n-1中从左边算起第2个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B26/v。图17中的帧#n-1中从左边算起第3个像素从快门打开算起的第4快门间隔/v的背景成分B27/v。
在图17中的帧#n-1中，最左边像素到第3个像素属于未覆盖背景区域的混合区域。
在图17中的帧#n-1中从左边算起的第4个像素到第12个像素属于前景区域。帧中的前景成分是F13/v到F24/v之一。
在图17中的帧#n中最左边像素到从左边算起的第4个像素属于背景区域，和像素值分别是B25到B28。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，图17中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，和图17中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分、和图17中从左边算起第8个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。
图17中的帧#n中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图17中从左边算起第7个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图17中从左边算起第8个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。
由于与背景相对应的对象保持静止，图17中的帧#n中从左边算起第5个像素从快门打开算起的第2到第4快门间隔/v的背景成分是B29/v。图17中的帧#n中从左边算起第6个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B30/v。图17中的帧#n中从左边算起第7个像素从快门打开算起的第4快门间隔/v的背景成分B31/v。
在图17中的帧#n中，从左边算起第5个到第7个像素属于未覆盖背景区域的混合区域。
在图17中的帧#n中从左边算起的第8个像素到第12个像素属于前景区域。与帧#n中的前景区域中快门间隔/v的间隔相对应的值是F13/v到F120/v之一。
在图17中的帧#n+1中的最左边像素到从左边算起的第8个像素属于背景区域，和其像素值分别是B25到B32。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右边4个像素的位置上的假设，因此，图1 7中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，和图17中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分、和图17中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。
图17中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图17中从左边算起第11个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图17中从左边算起第12个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。
由于与背景相对应的对象保持静止，图17中的帧#n+1中从左边算起第9个像素从快门打开算起的第2到第4快门间隔/v的背景成分都是B33/v。图17中的帧#n+1中从左边算起第10个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B34/v。图17中的帧#n+1中从左边算起第11个像素从快门打开算起的第4快门间隔/v的背景成分B35/v。
在图17中的帧#n+1中，从左边算起第9个到第11个像素属于未覆盖背景区域的混合区域。
图17中的帧帧#n+1中从左边算起的第12个像素属于前景区域。在帧#n+1中的前景区域中快门间隔/v的前景成分是F13/v到F16/v之一。
图18是从图17所示的像素值中提取前景成分的图像的模型图。
返回到图2，区域指定单元103利用多个帧中的像素值，将指示像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域的标志与每一个像素相关联，并且把标志供应给混合比计算单元104和运动模糊调整单元106，作为区域信息。
混合比计算单元104根据多个帧中的像素值和区域信息，为包含在混合区域内的每一个像素计算混合比α，并且把计算的混合比α供应给前景/背景分离单元105。
前景/背景分离单元105根据多个帧中的像素值、区域信息、和混合比α，提取只由前景成分组成的前景成分图像，并且供应给运动模糊调整单元106。
运动模糊调整单元106根据前景/背景分离单元105供应的前景成分图像、运动检测单元102供应的运动向量、和区域指定单元103供应的区域信息，调整包含在前景图像中的运动模糊量，并且输出已经经过运动模糊调整的前景成分图像。
参照图19所示的流程图，描述信号处理设备调整运动模糊量的处理。在步骤S11中，根据输入图像，区域指定单元103进行生成指示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域的哪一个的区域信息的区域指定处理。区域指定处理以后再加以描述。区域指定单元103把生成的区域信息供应给混合比计算单元104。
请注意，在步骤S11中，区域指定单元103可以根据输入图像，生成指示输入图像的每个像素属于前景区域、背景区域、或混合区域(对覆盖背景区域和未覆盖背景区域不加以区分)的哪一个的区域信息。在这种情况下，前景/背景分离单元105和运动模糊调整单元106根据运动向量的方向，判断混合区域是覆盖背景区域还是未覆盖背景区域。例如，在与运动向量的方向相对应，按照前景区域、混合区域、和背景区域的顺序排列的情况下，作出混合区域是覆盖背景区域的判断，和在与运动向量的方向相对应，按照背景区域、混合区域、和前景区域的顺序排列的情况下，作出混合区域是未覆盖背景区域的判断。
在步骤S12中，混合比计算单元104根据输入图像和区域信息，为包含在混合区域内的每个像素计算混合比α。混合比计算的处理以后再作详细描述。混合比计算单元104把计算的混合比α供应给前景/背景分离单元105。
在步骤S13中，前景/背景分离单元105根据区域信息和混合比α，从输入图像中提取前景成分，并且将其作为前景成分图像供应给运动模糊调整单元106。
在步骤S14中，运动模糊调整单元106为属于未覆盖背景区域、前景区域、或覆盖背景区域之一的、沿着运动方向排列的像素生成指示在图像上的位置的处理增量，并且根据运动向量和区域信息，调整与处理增量相对应的包含在前景成分中的运动模糊量。调整运动模糊量的处理以后再加以描述。
在步骤S15中，信号处理设备判断整个图像的处理是否已经结束了，并且，在作出对整个图像的处理还没有结束的情况下，流程转到步骤S14，重复调整与处理增量相对应的前景成分的运动模糊量的处理。
在步骤S15中，在整个图像的处理已经结束的情况下，处理结束。
如上所述，信号处理设备可以分离前景和背景，和可以调整包含在前景中的运动模糊量。也就是说，信号处理设备可以调整包含在前景的像素的像素值的取样数据中的运动模糊的数量。
下面描述区域指定单元103、混合比计算单元104、前景/背景分离单元105、运动模糊调整单元106的配置。
图20是显示区域指定单元103的配置例子的方块图。其结构显示在图20中的区域指定单元103不使用运动向量。帧存储器201以一个帧一个帧递增的方式存储输入图像。在处理的对象是帧#n的情况下，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。
静止/运动判断单元202-1从帧存储器201中读出帧#n+2中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，以及帧#n+1中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算读出像素值之差的绝对值。静止/运动判断单元202-1判断帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出差值的绝对值大于阈值Th的判断的情况下，静止/运动判断单元202-1把指示运动的静止/运动判断结果供应给区域判断单元203-1。在作出帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-1把指示“静止”的静止/运动判断结果供应给区域判断单元203-1。
静止/运动判断单元202-2从帧存储器201中读出帧#n+1中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，以及帧#n中作为对象的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-2判断帧#n+1中的像素值与帧#n中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-2。在作出帧#n+1中的像素的像素值与帧#n中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-2把指示“静止”的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-2。
静止/运动判断单元202-3从帧存储器201中读出帧#n中、作为指定区域的对象的像素的像素值，以及帧#n-1中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-3判断帧#n中的像素值与帧#n-1中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-2和区域判断单元203-3。在作出帧#n中的像素的像素值与帧#n-1中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-3把指示“静止”的静止/运动判断结果供应给区域判断单元203-2和区域判断单元203-3。
静止/运动判断单元202-4从帧存储器201中读出帧#n-1中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，以及帧#n-2中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-4判断帧#n-1中的像素值与帧#n-2中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-3。在作出帧#n-1中的像素的像素值与帧#n-2中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-4把指示“静止”的静止/运动判断结果供应给区域判断单元203-3。
在静止/运动判断单元202-1供应的静止/运动判断结果指示“静止”，和静止/运动判断单元202-2供应的静止/运动判断结果指示运动的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素属于未覆盖背景区域，并且把与区域中判断像素相对应的未覆盖背景区域判断标志设置成指示像素属于未覆盖背景区域的“1”。
在静止/运动判断单元202-1供应的静止/运动判断结果指示运动，或静止/运动判断单元202-2供应的静止/运动判断结果指示静止的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素不属于未覆盖背景区域，并且把与区域中判断像素相对应的未覆盖背景区域判断标志设置成指示像素不属于未覆盖背景区域的“0”。
区域判断单元203-1把如上所述，已经设置成“1”或“0”的未覆盖背景区域判断标志供应给判断标志存储帧存储器204。
在静止/运动判断单元202-2供应的静止/运动判断结果指示“静止”，和静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于静止区域，并且把与区域中判断的像素相对应的静止区域判断标志设置成指示像素属于静止区域的“1”。
在静止/运动判断单元202-2供应的静止/运动判断结果指示运动，或静止/运动判断单元202-3供应的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于静止区域，并且把与区域中判断的像素相对应的静止区域判断标志设置成指示像素不属于静止区域的“0”。
区域判断单元203-2把如上所述，已经设置成“1”或“0”的静止区域判断标志供应给判断标志存储帧存储器204。
在静止/运动判断单元202-2供应的静止/运动判断结果指示运动，和静止/运动判断单元202-3供应的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于运动区域，并且把与区域中判断的像素相对应的运动区域判断标志设置成指示像素属于运动区域的“1”。
在静止/运动判断单元202-2供应的静止/运动判断结果指示“静止”，或静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于运动区域，并且把与区域中判断的像素相对应的运动区域判断标志设置成指示像素不属于运动区域的“0”。
区域判断单元203-2把如上所述，已经设置成“1”或“0”的运动区域判断标志供应给判断标志存储帧存储器204。
在静止/运动判断单元202-3供应的静止/运动判断结果指示运动，和静止/运动判断单元202-4供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素属于覆盖背景区域，并且把覆盖背景区域判断标志设置成指示像素属于覆盖背景区域的“1”。
在静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”，或静止/运动判断单元202-4供应的静止/运动判断结果指示运动的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素不属于覆盖背景区域，并且把覆盖背景区域判断标志设置成指示像素不属于覆盖背景区域的“0”。
区域判断单元203-3把如上所述，已经设置成“1”或“0”的覆盖背景区域判断标志供应给判断标志存储帧存储器204。
判断标志存储帧存储器204存储区域判断单元203-1供应的未覆盖背景区域判断标志、区域判断单元203-2供应的静止区域判断标志、区域判断单元203-2供应的运动区域判断标志、和区域判断单元203-3供应的覆盖背景区域判断标志。
判断标志存储帧存储器204把存储在其中的未覆盖背景区域判断标志、静止区域判断标志、运动区域判断标志、和覆盖背景区域判断标志供应给合成单元205。根据判断标志存储帧存储器204供应的未覆盖背景区域判断标志、静止区域判断标志、运动区域判断标志、和覆盖背景区域判断标志，合成单元205生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪-个的区域信息，并且把区域信息供应给判断标志存储帧存储器206。
判断标志存储帧存储器206存储合成单元205供应的区域信息，并且输出存储的区域信息。
现在参照图21到图25描述区域指定单元103进行处理的例子。
在与前景相对应的对象发生移动的情况下，屏幕上与对象相对应的图像的位置随着每个帧而改变。如图21所示，在帧#n中，处在Yn(x，y)所指示的位置上与对象相对应的图像在下一帧#n+1中处在位置Yn+1(x，y)上。
图22是沿着图像运动方向一个接一个排列成一行的、与前景对象相对应的图像的像素的像素值沿着时间方向展开的模型图。例如，在与前景对象相对应的图像运动方向相对于屏幕是水平的情况下，图22所示的模型图指示一行中相邻像素的像素值沿着时间方向展开的模型。
在图22中，帧#n中的行与帧#n+1中的行相同。
包含在帧#n中从左边算起第2个像素到第13个像素中的、与对象相对应的前景成分包含在帧#n+1中从左边算起第6个到第17个像素中。
在帧#n中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。
对于图22所示的例子，由于包含在帧#n中的前景成分在帧#n+1中移动了4个像素，因此，运动量v是4。与运动量v相对应，虚拟分割数也是4。
接着，对属于感兴趣帧之前和之后的帧中的混合区域的像素的像素值的变化加以描述。
在如图23所示，背景保持静止和前景的运动量v是4的帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素。由于运动量v是4，因此，在前一帧#n-1中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。此外，在再提前一个帧的#n-2中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。
请注意，由于与背景相对应的对象保持静止，帧#n-1中从左边算起的第15个像素的像素值与帧#n-2中从左边算起的第15个像素的像素值没有差异。同样，帧#n-1中从左边算起的第16个像素的像素值与帧#n-2中从左边算起的第16个像素的像素值没有差异，和帧#n-1中从左边算起的第17个像素的像素值与帧#n-2中从左边算起的第17个像素的像素值没有差异。
也就是说，与帧#n中属于覆盖背景区域的像素相对应的帧#n-1和帧#n-2的像素只由背景成分组成，因此，像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动判断单元202-4作出与帧#n中属于混合区域的像素相对应的帧#n-1和帧#n-2的像素的静止/运动判断结果是静止的判断。
由于帧#n中属于覆盖背景区域的像素包括前景成分，因此，像素值与帧#n-1中的像素值只由背景成分组成的情况不同。于是，静止/运动判断单元202-3作出帧#n中属于混合区域的像素和与之相对应的帧#n-1中的像素的静止/运动判断结果是运动的判断。
如上所述，在静止/运动判断单元202-3供应指示运动的静止/运动判断结果，和静止/运动判断单元202-4供应指示“静止”的静止/运动判断结果的情况下，区域判断单元203-3判断相对应的像素属于覆盖背景区域。
在如图24所示，背景保持静止和前景的运动量v是4的帧#n中，包含在未覆盖背景区域中的像素是从左边算起的第2个到第4个。由于运动量v是4，因此，在接在帧#n之后的帧#n+1中，从左边算起的第2个到第4个像素只包括背景成分，并且属于背景区域。此外，在接在帧#n+1之后的帧#n+2中，从左边算起的第2个到第4个像素只包含背景成分，并且属于背景区域。
请注意，由于与背景相对应的对象保持静止，帧#n+2中从左边算起的第2个像素的像素值与帧#n+1中从左边算起的第2个像素的像素值没有差异。同样，帧#n+2中从左边算起的第3个像素的像素值与帧#n+1中从左边算起的第3个像素的像素值没有差异，和帧#n+2中从左边算起的第4个像素的像素值与帧#n+1中从左边算起的第4个像素的像素值没有差异。
也就是说，与帧#n中的未覆盖背景区域相对应的帧#n+1和帧#n+2的像素只由背景成分组成，因此，它们的像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动判断单元202-1作出与帧#n中属于混合区域的像素相对应的帧#n+1和帧#n+2的像素的静止/运动判断结果是“静止”的判断。
由于帧#n中属于未覆盖背景区域的像素包括前景成分，因此，像素值与帧#n+1中像素值只由背景成分组成的情况不同。于是，静止/运动判断单元202-2作出帧#n中属于混合区域的像素和帧#n+1中与之相对应的像素的静止/运动判断结果是运动的判断。
如上所述，在静止/运动判断单元202-2供应指示运动的静止/运动判断结果，和静止/运动判断单元202-1供应指示“静止”的静止/运动判断结果的情况下，区域判断单元203-1判断相对应的像素属于未覆盖背景区域。
图25显示区域指定单元103对帧#n的判断条件的图。如果帧#n-2中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素，和帧#n-1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，以及帧#n-1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素，和帧#n中的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于覆盖背景区域。
如果帧#n-1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素和帧#n中的像素被判断为“静止”，以及帧#n中的像素和帧#n+1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于静止区域。
如果帧#n-1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素，和帧#n中的像素被判断为运动，以及帧#n中的像素和帧#n+1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于运动区域。
如果帧#n中的像素和帧#n+1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，以及帧#n+1中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素，和帧#n+2中、处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于未覆盖背景区域。
图26A到26D是显示区域指定单元103指定区域的结果的例子的图。在图26A中，用白色显示被判断为属于覆盖背景区域的像素。在图26B中，用白色显示被判断为属于未覆盖背景区域的像素。
在图26C中，用白色显示被判断为属于运动区域的像素。在图26D中，用白色显示被判断为属于静止区域的像素。
图27是显示指示判断标志存储帧存储器206输出的区域信息的混合区域的、作为图像的区域信息的图。在图27中，用白色显示被判断为属于覆盖背景区域或未覆盖背景区域的像素，即被判断为属于混合区域的像素。判断标志存储帧存储器206输出的、指示混合区域的区域信息指示混合区域和在前景区域内具有纹理(texture)的和被没有纹理的部分包围着的部分。
接着，参照图28所示的流程图，描述区域指定单元103进行区域指定的处理。在步骤S201中，帧存储器201获取包括作为判断对象的帧#n在内的帧#n-2到帧#n+2的图像。
在步骤S202中，静止/运动判断单元202-3判断帧#n-1的像素和与帧#n-1处在相同位置上的帧#n的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S203，在步骤S203中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否保持静止。
在步骤S203中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为是“静止”的，流程转到步骤S204，在步骤S204中，区域判断单元203-2把与区域中的判断像素相对应的静止区域判断标志设置成指示像素属于静止区域的“1”。区域判断单元203-2把静止区域判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S205。
在步骤S202中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为运动的，或者，在步骤S203中，如果帧#n的像素和与帧#n处在相同位置上的帧#n+1的像素被判断为运动的，那么，帧#n的像素不属于静止区域，于是，跳过步骤S204中的处理，过程转到步骤S205。
在步骤S205中，静止/运动判断单元202-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S206，在步骤S206中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中。
在步骤S206中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为运动的，那么，过程转到步骤8207，在步骤S207中，区域判断单元203-2把与区域中的判断像素相对应的运动区域判断标志设置成指示像素属于运动区域的“1”。区域判断单元203-2把运动区域判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S208。
在步骤S205中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为“静止”的，或者，在步骤S206中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为“静止”的，那么，由于帧#n的像素不属于运动区域，跳过步骤S207中的处理，过程转到步骤S208。
在步骤S208中，静止/运动判断单元202-4判断帧#n-2的像素和处在相同位置上的帧#n-1的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S209，在步骤S209中，静止/运动判断单元202-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中。
在步骤S209中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为运动的，那么，过程转到步骤S210，在步骤S210中，区域判断单元203-3把与区域中的判断像素相对应的覆盖背景区域判断标志设置成指示像素属于覆盖背景区域的“1”。区域判断单元203-3把覆盖背景区域判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S211。
在步骤S208中，如果帧#n-2的像素和处在相同位置上的帧#n-1的像素被判断为运动的，或者，在步骤S209中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为“静止”的，那么，帧#n的像素不属于覆盖背景区域，因此，跳过步骤S210中的处理，过程转到步骤S211。
在步骤S211中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S212，在步骤S212中，静止/运动判断单元202-1判断帧#n+1的像素和处在相同位置上的帧#n+2的像素是否保持静止。
在步骤S212中，如果帧#n+1的像素和处在相同位置上的帧#n+2的像素被判断为“静止”的，那么，流程转到步骤S213，在步骤S213中，区域判断单元203-1把与区域中的判断像素相对应的未覆盖背景区域判断标志设置成指示像素属于未覆盖背景区域的“1”。区域判断单元203-1把未覆盖背景区域判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S214。
在步骤S211中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为“静止”的，或者，在步骤S212中，如果帧#n+1的像素和处在相同位置上的帧#n+2的像素被判断为运动的，那么，由于帧#n的像素不属于未覆盖背景区域，因此，跳过步骤S213中的处理，过程转到步骤S214。
在步骤S214中，区域指定单元103判断帧#n中的所有像素是否都得到区域指定，并且，在作出并非所有像素都得到区域指定的判断的情况下，过程返回到步骤S202，重复为其它像素指定区域的处理。
在步骤S214中，如果作出帧中的所有像素都得到区域指定的判断，那么，流程转到步骤S215，在步骤S215中，合成单元205根据存储在判断标志存储帧存储器204中的未覆盖背景区域判断标志和覆盖背景区域判断标志，生成指示混合区域的区域信息，并且还生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪一个的区域信息，把生成的区域信息设置到判断标志存储帧存储器206中，然后，结束处理。
如上所述，区域指定单元103可以生成指示包含在帧中的每个像素属于运动区域、静止区域、未覆盖背景区域、或覆盖背景区域的哪一个的区域信息。
请注意，可以作出这样的安排，其中，区域指定单元103通过求出与未覆盖背景区域和覆盖背景区域相对应的区域信息的逻辑和，生成与混合区域相对应的区域信息和由指示包含在帧中的每个像素属于运动区域、静止区域、或混合区域的哪一个的标志组成的区域信息。
在与前景相对应的对象具有纹理的情况下，区域指定单元103可以更精确地指定运动区域。
区域指定单元103可以输出指示运动区域的区域信息，作为指示前景区域的区域信息，或输出指示静止区域的区域信息，作为指示背景区域的区域信息。
虽然已经对与背景相对应的对象保持静止的情况作了描述，但是，即使与背景区域相对应的图像涉及到运动，也可以应用上述指定区域的处理。例如，如果与背景区域相对应的图像作恒速运动，那么，区域指定单元103平移与运动相对应的整个图像，并且以与背景相对应的对象保持静止的情况相同的方式进行处理。此外，如果与背景区域相对应的图像涉及到在每个点上都不同的运动，那么，区域指定单元103选择与运动相对应的像素，进行上述处理。
图29是显示区域指定单元103的另一个配置例子的方块图。图29所示的区域指定单元103不使用运动向量。背景图像生成单元301生成与输入图像相对应的背景图像，并且把生成的背景图像供应给二值对象图像提取单元302。背景图像生成单元301提取，例如，包含在输入图像中与对象相对应的图像对象，并生成背景图像。
模型图的例子显示在图30中，其中，与前景对象相对应，沿着图像的运动方向一个接一个排列成一行的像素的像素值沿着时间方向展开。例如，在与前景对象相对应的图像的运动方向相对于屏幕是水平的情况下，图30的模型图显示了一行中相邻像素的像素值沿着时间方向展开的模型。
在图30中，帧#n中的行与帧#n-1中的行和帧#n+1中的行相同。
在帧#n中，包含在从左边算起第6个像素到第17个像素中的、与对象相对应的前景成分包含在帧#n-1中从左边算起第2个到第13个像素中，和包含在帧#n+1中从左边算起第10个到第21个像素中。
在帧#n-1中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第19个到第21个像素，和属于未覆盖背景区域的像素是从左边算起的第10个到第12个像素。
在帧#n-1中，属于背景区域的像素是从左边算起的第1个、和从左边算起的第14个到第21个像素。在帧#n中，属于背景区域的像素是从左边算起的第1个到第5个像素、和从左边算起的第18个到第21个像素。在帧#n+1中，属于背景区域的像素是从左边算起的第1个到第9个像素。
由背景图像生成单元301生成的、与图30所示的例子相对应的背景图像的例子显示在图31中。背景图像由与背景对象相对应的像素组成，不包括与前景对象相对应的图像成分。
二值对象图像提取单元302根据背景图像和输入图像之间的相关性，生成二值对象数据，并且把生成的二值对象图像供应给时间变化检测单元303。
图32是显示二值对象图像提取单元302的结构的方块图。相关值计算单元321计算背景图像生成单元301供应的背景图像与输入图像之间的相关性，生成相关值，并且把生成的相关值供应给阈值处理单元322。
相关值计算单元321把表达式(4)作用于如图33A所示，背景图像中X4是中心的块3×3、和如图33B所示，背景图像中Y4是中心的块3×3，计算与，例如，Y4相对应的相关值。 X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>相关值计算单元321把如上所述与每个像素相对应地计算的相关值供应给阈值处理单元322。
此外，还可以作出如下安排，其中，相关值计算单元321把表达式(7)作用于如图33A所示，X4是中心的、背景图像中的块3×3、和与背景图像的块相对应的、Y4是中心的、输入图像中的块3×3，计算与Y4相对应的差值的绝对值之和。 相关值计算单元321把如上所述计算的差值的绝对值之和作为相关值供应给阈值处理单元322。
阈值处理单元322将相关图像的像素值与阈值th0相比较，并且，在相关值小于等于阈值th0的情况下，阈值处理单元322把二值对象图像的像素值设置成1，和在相关值大于阈值th0的情况下，阈值处理单元322把二值对象图像的像素值设置成0，于是，阈值处理单元322输出其每个像素值被设置成0或1的二值对象图像。阈值处理单元322可以事先存储阈值th0，也可以使用从外部输入的阈值th0。
图35是显示与图30所示的输入图像的模型相对应的二值对象图像的例子的图。在二值对象图像中，与背景图像相关性高的像素的像素值被设置成0。
图36是显示时间变化检测单元303的结构的方块图。帧存储器341在将要对帧#n的像素作出区域判断的时候，存储二值对象图像提取单元302供应的、帧#n-1、帧#n、和帧#n+1的二值对象图像。
区域判断单元342根据存储在帧存储器341中的、帧#n-1、帧#n、和帧#n+1的二值对象图像，为帧#n的每个像素判断区域，生成区域信息，并且输出生成的区域信息。
图37是描述区域判断单元342进行判断的图。在帧#n的二值对象图像的感兴趣像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于背景区域。
在帧#n的二值对象图像的感兴趣像素是1，帧#n-1的二值对象图像的相对应的像素的像素值是1，和帧#n+1的二值对象图像的相对应的像素是1的情况下，区域判断单元342判断帧#n的感兴趣像素属于前景区域。
在帧#n的二值对象图像的感兴趣像素是1，和帧#n-1的二值对象图像的相对应的像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于覆盖前景区域。
在帧#n的二值对象图像的感兴趣像素是1，和相应于帧#n的、帧#n+1中的二值对象图像的相对应的像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于未覆盖前景区域。
图38是显示时间变化检测单元303判断与图30所示的输入图像的模型相对应的二值对象图像的例子的图。由于帧#n的二值对象图像的相应像素是0，时间变化检测单元303判断帧#n从左边算起的第1个到第5个像素属于背景区域。
由于帧#n的二值对象图像的相应像素是1，和帧#n+1的相应像素是0，时间变化检测单元303判断从左边算起的第6个到第9个像素属于未覆盖背景区域。
由于帧#n的二值对象图像的像素的像素值是1，和帧#n+1的相应像素是1，时间变化检测单元303判断从左边算起的第10个到第13个像素属于前景区域。
由于帧#n的二值对象图像的像素是1，和帧#n-1的相应像素是0，时间变化检测单元303判断从左边算起的第14个到第17个像素属于覆盖背景区域。
由于帧#n的二值对象图像的相应像素是0，时间变化检测单元303判断从左边算起的第18个到第21个像素属于背景区域。
现在参照图39所示的流程图，描述区域判断单元103指定区域的处理。在步骤S301中，例如，区域判断单元103的背景图像生成单元301通过根据输入输入图像，提取包含在输入图像中的、与背景对象相对应的图像对象，生成背景图像，并且把生成的背景图像供应给二值对象图像提取单元302。
在步骤S302中，二值对象图像提取单元302通过，例如，参照图33所述的计算，计算输入图像和背景图像生成单元301供应的背景图像之间的相关值。在步骤S303中，二值对象图像提取单元302通过，例如，将相关值与阈值th0相比较，从相关值和阈值th0中计算二值对象图像。
在步骤S304中，时间变化检测单元303进行区域判断处理，然后，结束处理。
下面参照图40所示的流程图，详细描述与步骤S304相对应的区域判断处理。在步骤S321中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是0，并且，在作出帧#n中的感兴趣像素是0的判断的情况下，流程转到步骤S322，作出意思是帧#n中的感兴趣像素属于背景区域的设置，然后，结束处理。
在步骤S321中，在作出帧#n中的感兴趣像素是1的判断的情况下，流程转到步骤S323，和在步骤S323中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n-1中的相应像素是否是0，并且，在作出帧#n中的感兴趣像素是1，和帧#n-1中相应像素的像素值是0的判断的情况下，流程转到步骤S324，作出意思是帧#n中的感兴趣像素属于覆盖背景区域的设置，然后，结束处理。
在步骤S323中，在作出帧#n中的感兴趣像素是0，或帧#n-1中的相应像素是1的判断的情况下，流程转到步骤S325，和在步骤S325中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n+1中的相应像素是否是0，并且，在作出帧#n中的感兴趣像素是1，和帧#n+1中的相应像素是0的判断的情况下，流程转到步骤S326，作出意思是帧#n中的感兴趣像素属于未覆盖背景区域的设置，然后，结束处理。
在步骤S325中，在作出帧#n中的感兴趣像素是0，或帧#n+1中的相应像素是1的判断的情况下，流程转到步骤S327，和在步骤S327中，时间变化检测单元303的区域判断单元342把帧#n中的感兴趣像素设置成前景区域，然后，结束处理。
如上所述，区域指定单元103可以把输入图像的像素分类成前景区域、背景区域、覆盖背景区域、或未覆盖背景区域之一，并且生成与分类结果相对应的区域信息。
图41是显示区域指定单元103的又一种结构的方块图。图41所示的区域指定单元103使用了运动检测单元102供应的运动向量和其位置信息。与图29所示的那些相同的部分用相同的标号表示，并且略去不述。
鲁棒化单元361根据二值对象图像提取单元302供应的二值对象图像的N个帧，生成鲁棒化二值对象图像，并且将其输出到时间变化检测单元303。
图42是描述鲁棒化单元361的结构的方块图。运动补偿单元381根据运动检测单元102供应的运动向量和其位置信息，补偿N个帧的二值对象图像的运动，并且把已经经过运动补偿的二值对象图像输出到切换器382。
运动补偿单元381的运动补偿将参照图43和图44所示的例子加以描述。例如，在判断帧#n中的区域的情况下，如果输入，例如，如图43所示的帧#n-1、帧#n、和帧#n+1的二值对象图像，那么，如图44所示的例子所指示的那样，运动补偿单元381根据运动检测单元102供应的运动向量，补偿帧#n-1的二值对象图像和帧#n+1的二值对象图像的运动，并且，把已经经过运动补偿的二值对象图像供应给切换器382。
切换器382把第1帧已经经过运动补偿的二值对象图像输出到帧存储器383-1，和把第2帧已经经过运动补偿的二值对象图像输出到帧存储器383-2。类似地，切换器382把第3到第N-1帧已经经过运动补偿的二值对象图像的每一个分别输出到帧存储器383-3到帧存储器383-(N-1)的每一个，并且，把第N帧已经经过运动补偿的二值对象图像输出到帧存储器383-N。
帧存储器381-1存储第1帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权单元384-1。帧存储器381-2存储第2帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权单元384-2。
类似地，帧存储器383-3到帧存储器383-(N-1)的每一个分别存储第3到第N-1帧之一已经经过运动补偿的二值对象图像的每一个，并且把存储的二值对象图像输出到加权单元384-3到加权单元384-(N-1)的每一个。帧存储器381-N存储第N帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权单元384-N。
加权单元384-1将帧存储器383-1供应的、第1帧已经经过运动补偿的二值对象图像的像素值与预定权重w1相乘，并且将结果输出到累加单元385。加权单元384-2将帧存储器383-2供应的、第2帧已经经过运动补偿的二值对象图像的像素值与预定权重w2相乘，并且将结果输出到累加单元385。
类似地，加权单元384-3到加权单元384-(N-1)的每一个将帧存储器383-3到帧存储器383-(N-1)之一供应的、第3帧到第N-1帧之一已经经过运动补偿的二值对象图像的像素值与预定权重w3到w(N-1)之一相乘，并且将结果输出到累加单元385。加权单元384-N将帧存储器383-N供应的、第N帧已经经过运动补偿的二值对象图像的像素值与预定权重wN相乘，并且将结果输出到累加单元385。
累加单元385累加其中经过运动补偿的第1到第N帧的每一个被乘以预定权重w1到wN之一的、与二值对象图像相对应的像素值，并且，通过将累加的像素值与预定阈值th0相比较，生成二值对象图像。
如上所述，鲁棒化单元361从二值对象图像的N个帧中生成鲁棒化二值对象图像，将其供应给时间变化检测单元303，因此，即使输入图像含有噪声，与图29所示的情况相比，其结构显示在图41中的区域指定单元103也可以更精确地指定区域。
现在参照图45所示的流程图，描述其结构显示在图41中的区域指定单元103指定区域的处理。步骤S341到步骤S343中的处理分别与图39所示的流程图中所述的步骤S301到S303中的处理相同，因此，略去不述。
在步骤S344中，鲁棒化单元361进行鲁棒化处理。
在步骤S345中，时间变化检测单元303进行指定区域的处理，然后，结束处理。步骤S345中的处理细节与参照图40所示的流程图描述的处理细节相同，因此，略去不述。
现在参照图46所示的流程图，详细描述与图45所示的步骤S344中的处理相对应的鲁棒化处理。在步骤S361中，运动补偿单元381根据运动检测单元102供应的运动向量和其位置信息，对输入的二值对象图像进行运动补偿处理。在步骤S362中，帧存储器383-1到帧存储器383-N之一存储通过切换器382供应的、已经经过运动补偿的二值对象图像。
在步骤S363中，鲁棒化单元361判断是否已经存储了N个二值对象图像，并且，在判断还没有存储N个二值对象图像的情况下，流程返回到步骤S361，鲁棒化单元361重复对二值对象图像进行运动补偿的处理，和存储二值对象图像的处理。
在步骤S363中，在判断已经存储了N个二值对象图像的情况下，流程转到步骤S364，加权单元384-1到384-N的每一个将N个二值对象图像的每一个与权重w1到wN之一相乘，对其加权。
在步骤S365中，累加单元385累加N个加权二值对象图像。
在步骤S366中，累加单元385通过，例如，与预定阈值th1相比较，从累加图像中生成二值对象图像，然后，结束处理。
如上所述，其结构显示在图41中的区域指定单元103根据鲁棒化二值对象图像，可以生成区域信息。
如上所述，区域指定单元103可以生成指示包含在帧中的每一个像素属于运动区域、静止区域、未覆盖背景区域、或覆盖背景区域的哪一个的区域信息。
图47是显示混合比计算单元104的结构的方块图。通过根据运动检测单元102供应的运动向量和其位置信息、区域指定单元103供应的区域信息、和输入图像，进行与覆盖背景区域相对应的计算，估计混合比处理单元401为每个像素计算与混合比α相对应的估计混合比，或为如后所述的每个等高区域计算估计混合比，并且把计算的估计混合比供应给混合比确定单元403。
通过根据运动检测单元102供应的运动向量和其位置信息、区域指定单元103供应的区域信息、和输入图像，进行与未覆盖背景区域相对应的计算，估计混合比处理单元402为每个像素计算与混合比α相对应的估计混合比，或为如后所述的每个等高区域计算估计混合比，并且把计算的估计混合比供应给混合比确定单元403。
混合比确定单元403根据区域指定单元101供应的、指示作为计算混合比α的对象的像素属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域的哪一个的区域信息，设置混合比α。在作为对象的像素属于前景区域的情况下，混合比确定单元403把混合比α设置成0，在作为对象的像素属于背景区域的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区域的情况下，把混合比α设置成估计混合比处理单元401供应的估计混合比，和在作为对象的像素属于未覆盖背景区域的情况下，把混合比α设置成估计混合比处理单元402供应的估计混合比。混合比确定单元403输出根据区域信息设置的混合比α。
由于可以作出与前景相对应的对象在快门间隔内作恒速运动的假设，属于混合区域的像素的混合比α具有如下所述的性质。也就是说，与像素位置的改变相对应，混合比α线性地改变。在像素位置的改变是一维的情况下，混合比α的改变可以用一条直线来表示，和在像素位置的改变是二维的情况下，混合比α的改变可以以平面的方式来表示。
请注意，由于一个帧的间隔很短，可以作出与前景相对应的对象是刚体，和作恒速运动的假设。
图48是显示估计混合比处理单元401的配置的方块图。根据运动检测单元102供应的运动向量和其位置信息、区域指定单元103供应的区域信息、和指示用户指定的区域分割个数的区域分割数信息，等高区域信息生成单元421生成指示等高区域的等高区域信息，等高区域是粗略具有相同混合比α的像素区域，并且，把生成等高区域信息供应给正规方程生成单元422。
下面参照图49到图51描述由等高区域信息生成单元421生成的等高区域信息所指示的等高区域。
图49是显示位于前景对象的运动方向的前头的、作为覆盖背景区域的混合区域的图。
如图49所示，覆盖背景区域沿着与运动向量相同的方向的长度对应于运动量v。
如图50所示，例如，根据运动向量和其位置信息、区域信息、和区域分割数信息，等高区域信息生成单元421向正规方程生成单元422输出把位于前景区域和覆盖背景区域之间的边界上，属于前景区域的像素作为基准的、沿着与运动向量的方向相同的方向预定长度的范围被取作等高区域A的等高区域信息。
运动量v是代表与运动对象相对应的图像的位置随着像素间隔的增加而改变的值。
为了确定等高区域A而沿着运动向量的方向事先确定的长度是随着像素间隔的增加、与对应于运动量v的像素间隔相比更短的长度。
例如，在运动量v是5的情况下，可以使沿着运动向量的方向的预定长度变成与1个像素相对应的长度。
例如，根据运动向量和其位置信息、区域信息、和区域分割数信息，等高区域信息生成单元421向正规方程生成单元422输出把本身是属于等高区域A的像素并位于沿着运动向量的方向离前景区域最远的位置上的像素作为基准的、沿着与运动向量的方向相同的方向预定长度的范围被取作等高区域B的等高区域信息。
例如，根据运动向量和其位置信息、区域信息、和区域分割数信息，等高区域信息生成单元421向正规方程生成单元422输出把本身是属于等高区域B的像素并位于沿着运动向量的方向离前景区域最远的位置上的像素作为基准的、沿着与运动向量的方向相同的方向预定长度的范围被取作等高区域C的等高区域信息。
以此类推，例如，根据运动向量和其位置信息、区域信息、和区域分割数信息，等高区域信息生成单元421向正规方程生成单元422输出把本身是属于等高区域C的像素并位于沿着运动向量的方向离前景区域最远的位置上的像素作为基准的、沿着与运动向量的方向相同的方向预定长度的范围被取作等高区域D的等高区域信息。
这样，等高区域信息生成单元421就把作为根据沿着运动向量的方向的预定长度将混合区域分割成多个等高区域的信息的等高区域信息输出到正规方程生成单元422。
接着，对属于等高区域的像素的混合比α加以描述。
图51显示了沿着时间方向展开图50所示的线段(i)、线段(ii)或线性(iii)上的像素的像素值的模型图，其中，这些线段是沿着与运动向量的方向相同的方向，从位于前景区域与混合区域的边界上的前景区域的像素延伸到位于背景区域与混合区域的边界上的背景区域的像素的线段。
在图51所示的例子中，本身是属于等高区域A的像素的、在线段(i)上从左边算起第2个像素的像素值C122包含背景成分B122/v、前景成分F120/v、前景成分F119/v、前景成分F118/v、和前景成分F117/v。像素值C122包含1个背景成分和4个前景成分，因此，含有像素值C122的、线段(i)上从左边算起第2个像素的混合比α是1/5。
在图51所示的例子中，本身是属于等高区域A的像素的、在线段(ii)上从左边算起第2个像素的像素值C222包含背景成分B222/v、前景成分F220/v、前景成分F219/v、前景成分F218/v、和前景成分F217/v。像素值C222包含1个背景成分和4个前景成分，因此，含有像素值C222的、线段(ii)上从左边算起第2个像素的混合比α是1/5。
以此类推，在图51所示的例子中，本身是属于等高区域A的像素的、在线段(iii)上从左边算起第2个像素的像素值C322包含背景成分B322/v、前景成分F320/v、前景成分F319/v、前景成分F318/v、和前景成分F317/v。像素值C322包含1个背景成分和4个前景成分，因此，含有像素值C322的、线段(iii)上从左边算起第2个像素的混合比α是1/5。
在图51所示的例子中，本身是属于等高区域B的像素的、在线段(i)上从左边算起第3个像素的像素值C123包含2个背景成分B123/v、前景成分F120/v、前景成分F119/v、和前景成分F118/v。像素值C123包含2个背景成分和3个前景成分，因此，含有像素值C123的、线段(i)上从左边算起第3个像素的混合比α是2/5。
在图51所示的例子中，本身是属于等高区域B的像素的、在线段(ii)上从左边算起第3个像素的像素值C223包含2个背景成分B223/v、前景成分F220/v、前景成分F219/v、和前景成分F218/v。像素值C223包含2个背景成分和3个前景成分，因此，含有像素值C223的、线段(ii)上从左边算起第3个像素的混合比α是2/5。
以此类推，在图51所示的例子中，本身是属于等高区域B的像素的、在线段(iii)上从左边算起第3个像素的像素值C323包含2个背景成分B323/v、前景成分F320/v、前景成分F319/v、和前景成分F318/v。像素值C323包含2个背景成分和3个前景成分，因此，含有像素值C323的、线段(iii)上从左边算起第3个像素的混合比α是2/5。
以此类推，本身是属于等高区域C的、含有像素值C124的像素、含有像素值C224的像素、和含有像素值C324的像素具有3/5的混合比α。
本身是属于等高区域D的、含有像素值C125的像素、含有像素值C225的像素、和含有像素值C325的像素具有4/5的混合比α。
以此类推，在等高区域的宽度对应于1个像素的情况下，属于相同等高区域的像素的混合比具有相同的值。
因此，混合比计算单元104可以计算与等高区域相对应的混合比，并且把计算的混合比取作属于那个等高区域的像素的混合比。
接着，对感兴趣帧中属于预定等高区域的像素与感兴趣帧之前或之后的帧中的相应像素之间的关系加以描述。
图52是显示感兴趣帧#n中线段(i)上的像素与感兴趣帧#n之前的帧#n-1或感兴趣帧#n之后的帧#n+1中的相应像素之间的关系的图。
在图52所示的例子中，可以利用帧#n-1中从左边算起第2个像素的像素值P122把帧#n中从左边算起第2个像素的像素值C122表达成表达式(8)C122=B122/v+F120/v+F119/v+F118/v+F117/v]]>=P122/v+F120/v+F119/v+F118/v+F117/v]]>=1/v·P122+Σi=117120Fi/v---(8)]]>在表达式(8)中，像素值C122被表示成混合区域中像素的像素值M，和像素值P122被表示成背景区域中像素的像素值B。也就是说，混合区域中像素的像素值M和背景区域中像素的像素值B可以被分别表示成表达式(9)和表达式(10)M＝C122 (9)B＝P122 (10)表达式(8)中的1/v对应于混合比α。运动量v是5，因此，帧#n中从左边算起第2个帧的混合比α是0.2。
通过这样把帧#n之前的帧#n-1的像素值P当作背景区域的像素值，本身是属于覆盖背景区域的像素的、感兴趣帧#n中的像素的像素值C和表示混合比α的表达式(3)可以被重写成表达式(11)C＝α·P+f (11)表达式(11)中的f是包含在感兴趣帧中的前景成分∑iFi/v之和。包含在表达式(11)中的变量是混合比α和前景成分f之和这两个变量。
另一方面，与如上所述在覆盖背景区域中的表示相同，在未覆盖背景区域中，通过这样把帧#n之后的帧#n+1的像素值N当作背景区域的像素值，本身是属于未覆盖背景区域的像素的、感兴趣帧#n中的像素的像素值C和表示混合比α的表达式(3)可以被重写成表达式(12)C＝α·N+f(12)
到此为此，已经对背景对象静止的情况作了描述，但是，在背景对象处在运动之中的情况下，通过使用与背景运动量v相对应的位置的像素值，也可以应用表达式(8)到表达式(12)。
例如，在图52中，在与背景相对应的对象的运动量v是2的情况下，如果与背景相对应的对象在图中向右边移动，那么，在表达式(10)中，背景区域中的像素的像素值B是像素值P124。
由于表达式(11)和表达式(12)每一个都包含2个变量，因此，不能照原来样子计算混合比α。
于是，为一组属于混合区域的像素和属于相应背景区域的像素建立表达式，使前景对象运动量v与每个等高区域相匹配，从而获得混合比α。
运动检测单元102供应的运动向量和其位置信息用作运动量v。
现在对估计混合比处理单元401利用与覆盖背景区域相对应的运动量v计算属于一个等高区域的像素的估计混合比加以描述。
在显示线段(i)上的像素的模型的图52中，表达式(13)对与属于等高区域A的像素相对应的帧#n中的C122成立。表达式(14)对把帧#n的C122作为基准的、由运动向量指定的帧#n+1的N127成立C122=1/v·B122+Σi=117120Fi/v---(13)]]>N127=1/v·B127+Σi=117120Fi/v---(14)]]>在表达式(13)和表达式(14)中，与混合比α相对应的值是1/v，并且是相同的。在表达式(13)和表达式(14)中，与前景成分之和相对应的值是 并且也是相同的。
也就是说，与本身是在线段(i)上的像素的、属于等高区域A的像素相对应的帧#n的C122和帧#n+1的N127的混合比α以及前景成分和是相同的。由于前景对象的运动，可以认为帧#n+1的N127对应于帧#n的C122。
在图52中，表达式(13)对与本身是在线段(i)上的像素的、属于等高区域B的像素相对应的帧#n中的C123成立。表达式(16)对把帧#n的C123作为基准的、由运动向量指定的帧#n+1的N128成立C123=2/v·B123+Σi=118120Fi/v---(15)]]>N128=2/v·B128+Σi=118120Fi/v---(16)]]>在表这式(15)和表达式(16)中，与混合比α相对应的值是2/v，并且是相同的。在表达式(15)和表达式(16)中，与前景成分之和相对应的值是 并且也是相同的。
与本身是在线段(i)上的像素的、属于等高区域B的像素相对应的帧#n的C123和帧#n+1的N128的混合比α以及前景成分和是相同的。由于前景对象的运动，可以认为帧#n+1的N128对应于帧#n的C123。
以此类推，与本身是在线段(i)上的像素的、属于等高区域C的像素相对应的帧#n的C124和帧#n+1的N129的混合比α以及前景成分和是相同的。由于前景对象的运动，帧#n+1的N129对应于帧#n的C124。
此外，与本身是在线段(i)上的像素的、属于等高区域D的像素相对应的帧#n的C125和帧#n+1的N130的混合比α以及前景成分和是相同的，和由于前景对象的运动，帧#n+1的N130对应于帧#n的C125。
在显示线段(ii)上的像素的模型的图53中，表达式(17)对与属于等高区域A的像素相对应的帧#n中的C222成立。表达式(18)对把帧#n的C222作为基准的、由运动向量指定的帧#n+1的N227成立C222=1/v·B222+Σi=217220Fi/v---(17)]]>N227=1/v·B227+Σi=217220Fi/v---(18)]]>在表达式(17)和表达式(18)中，与混合比α相对应的值是1/v，并且是相同的。在表达式(17)和表达式(18)中，与前景成分之和相对应的值是 并且也是相同的。
也就是说，与本身是在线段(ii)上的像素的、属于等高区域A的像素相对应的帧#n的C222和帧#n+1的N227的混合比α以及前景成分和是相同的。由于前景对象的运动，可以认为帧#n+1的N227对应于帧#n的C222。
与本身是在线段(ii)上的像素的、属于等高区域B的像素相对应的帧#n的C223和帧#n+1的N228的混合比α以及前景成分和是相同的。由于前景对象的运动，可以认为帧#n+1的N228对应于帧#n的C223。
与本身是在线段(ii)上的像素的、属于等高区域C的像素相对应的帧#n的C224和帧#n+1的N229的混合比α以及前景成分和是相同的。由于前景对象的运动，帧#n+1的N229对应于帧#n的C224。
此外，与本身是在线段(ii)上的像素的、属于等高区域D的像素相对应的帧#n的C225和帧#n+1的N230的混合比α以及前景成分和是相同的，和由于前景对象的运动，帧#n+1的N230对应于帧#n的C225。
以此类推，图54是显示线段(iii)上的像素的模型图。
如图54所示，与本身是在线段(iii)上的像素的、属于等高区域A的像素相对应的帧#n的C322和帧#n+1的N327的混合比α以及前景成分和是相同的。由于前景对象的运动，可以认为帧#n+1的N327对应于帧#n的C322。
与本身是在线段(iii)上的像素的、属于等高区域B的像素相对应的帧#n的C323和帧#n+1的N328的混合比α以及前景成分和是相同的。由于前景对象的运动，可以认为帧#n+1的N328对应于帧#n的C323。
与本身是在线段(iii)上的像素的、属于等高区域C的像素相对应的帧#n的C324和帧#n+1的N329的混合比α以及前景成分和是相同的。由于前景对象的运动，帧#n+1的N329对应于帧#n的C324。
此外，与本身是在线段(iii)上的像素的、属于等高区域D的像素相对应的帧#n的C325和帧#n+1的N330的混合比α以及前景成分和是相同的，和由于前景对象的运动，帧#n+1的N330对应于帧#n的C325。
因此，对于混合比α相同的等高区域的像素，通过引入与前景相对应的对象在多个帧上作恒速运动的假设、和前景成分不变的假设，可以选择数组属于前景成分之和相同的混合区域的像素和与前景对象的运动量v相对应的、属于相应前景区域的像素。
例如，如图55所示，可以从帧#n中选择属于等高区域A的像素Mt1-1到Mt1-5，和可以从帧#n-1中选择属于相应背景区域的像素Bt1-1到Bt1-5。在图55中，实心点表示属于混合区域的像素。在图55中，空心点表示要被当作背景的像素。
属于等高区域A的像素的混合比α是相同的，因此，表达式(19)到表达式(23)对像素Mt1-1到Mt1-5和像素Bt1-1到Bt1-5成立Mt1-1＝α·Bt1-1+f1 (19)Mt1-2＝α·Bt1-2+f2 (20)Mt1-3＝α·Bt1-3+f3 (21)
Mt1-4＝α·Bt1-4+f4(22)Mt1-5＝α·Bt1-5+f5(23)表达式(19)到(23)中的f1到f5每一个都是前景成分之和。
此外，根据前景对象的运动量v，可以从帧#n+1中选择属于等高区域A的分别与像素Mt1-1到Mt1-5相对应的像素Mt2-1到Mt2-5，和可以从帧#n中选择与像素Mt2-1到Mt2-5相对应的属于背景区域的像素Bt2-1到Bt2-5。
像素Mt2-1到Mt2-5的混合比α与像素Mt1-1到Mt1-5的混合比α相同，即，与属于等高区域A的像素的混合比α相同，因此，表达式(24)到表达式(28)对像素Mt2-1到Mt2-5和像素Bt2-1到Bt2-5成立Mt2-1＝α·Bt2-1+f1 (24)Mt2-2＝α·Bt2-2+f2 (25)Mt2-3＝α·Bt2-3+f3 (26)Mt2-4＝α·Bt2-4+f4 (27)Mt2-5＝α·Bt2-5+f5 (28)表达式(24)到(28)中的f1到f5每一个都是前景成分之和，并且与表达式(19)到(23)中的f1到f5相同。
从表达式(19)到表达式(28)的10个表达式包含作为公共变量的混合比α、和前景成分和f1到f5，因此，通过把最小二乘法应用于表达式(19)到(28)，可以获得混合比α和前景成分和f1到f5。
例如，根据与表达式(19)到表达式(28)相对应的正规方程计算估计混合比。
根据表达式(19)到表达式(28)，获得，例如，表达式(29)所示的正规方程Mt2-1Mt2-2···Mt2-5=Bt2-1100···0Bt2-2010···0···Bt2-5000···0αf1···f5---(29)]]>通过求解表达式(29)的正规方程，可以计算估计混合比。
请注意，如图56所示，在背景正在运动的情况下，估计混合比处理单元401在正规方程中设置与背景的运动方向和背景的运动量v′相对应的、属于混合区域的像素值和属于相应背景区域的像素值，并且通过矩阵求解法，计算混合比α。在图56中，实心点表示属于混合区域的像素值。在图56中，空心点表示被当作背景的像素。
返回图48，估计混合比处理单元401的正规方程生成单元422事先存储用于计算混合比α的正规方程，并且，根据等高区域信息生成单元421供应的等高区域信息，选择存储在其中的正规方程。
正规方程生成单元422根据输入图像，对所选的正规方程设置属于混合区域的像素值和属于相应背景区域的像素值。正规方程生成单元422把含有设置的像素值的正规方程供应给最小二乘近似单元423。
最小二乘近似单元423通过矩阵求解方法，譬如，Cholesky(乔兰斯基)法或搜索法(Gauss-Jordan(高斯-约当)消元法)，求解含有设置的像素值的正规方程，计算与混合比α相对应的估计混合比，和输出计算的估计混合比。
这样，估计混合比处理单元401事先存储用于计算与覆盖背景区域和运动量v相对应的混合比α和前景成分和f1到f5的正规方程，根据输入图像，对存储的正规方程设置属于混合区域的像素值和属于相应背景区域的像素值，和通过为每个像素，或为每个等高区域进行矩阵求解，计算估计混合比。
以此类推，对于未覆盖背景区域，估计混合比处理单元402利用运动量v，为每个像素，或为每个等高区域计算估计混合比。在与未覆盖背景区域相对应的处理中，属于相应背景区域的像素是从接在感兴趣像素所属的帧之后的帧中选择出来的。
估计混合比处理单元402具有与估计混合比处理单元401相同的配置，因此，略去不述。
这样，混合比计算单元104可以为包含在图像中的每个像素计算混合比α，并且输出计算的混合比α。
下面参照图57描述混合比计算单元104计算混合比α的处理。在步骤S401中，混合比计算单元104获取区域指定单元101供应的区域信息、和运动检测单元102供应的运动向量和其位置信息。在步骤S402中，估计混合比处理单元401根据运动检测单元102供应的运动向量和其位置信息，进行估计与覆盖背景区域相对应的混合比的处理，并且把估计混合比供应给混合比确定单元403。确定混合比的处理细节以后将参照图58所示的流程图加以描述。
在步骤S403中，估计混合比处理单元402根据运动检测单元102供应的运动向量和其位置信息，进行估计与未覆盖背景区域相对应的混合比的处理，并且把估计混合比供应给混合比确定单元403。
在步骤S404中，混合比计算单元104判断是否对整个帧都估计了混合比，并且，在作出还没有对整个帧估计混合比的判断的情况下，流程返回到步骤S402，执行为下一个像素估计混合比的处理。
在步骤S404中，在作出已经对整个帧都估计了混合比的判断的情况下，流程转到步骤S405，在步骤S405中，混合比确定单元403根据区域指定单元101供应的、指示对其计算混合比α的像素属于前景区域、背景区域、覆盖背景区域、还是未覆盖背景区域的区域信息，设置混合比α。混合比确定单元403在作为对象的像素属于前景区域的情况下，把混合比α设置成0，在作为对象的像素属于背景区域的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区域的情况下，把混合比α设置成估计混合比处理单元401供应的估计混合比，和在作为对象的像素属于未覆盖背景区域的情况下，把混合比α设置成估计混合比处理单元402供应的估计混合比，然后，结束处理。
这样，根据运动检测单元102供应的运动向量和其位置信息、区域指定单元101供应的区域信息、和输入图像，混合比计算单元104就可以计算与每个像素相对应的作为特征量的混合比α。
利用混合比α可以使包含在像素值中的前景成分和背景成分分开，舍去与运动对象相对应的包含在图像中的运动模糊信息。
接着，参照图58所示的流程图，描述与图57中的步骤S402相对应的、由估计混合比处理单元401执行的、利用与覆盖背景区域相对应的模型计算估计混合比的处理。
在步骤S421中，根据区域指定单元101供应的区域信息、运动检测单元102供应的运动向量和其位置信息、和指示用户指定的区域分割个数的区域分割数信息，等高区域信息生成单元421生成用于指定等高区域的等高区域信息，并且把生成的等高区域信息供应给正规方程生成单元442。
在步骤S422中，正规方程生成单元442根据等高区域信息，生成用于计算与覆盖背景区域和等高区域信息相对应的估计混合比的正规方程。正规方程生成单元442可以事先存储用于计算估计混合比的正规方程，并且根据等高区域信息等选择正规方程。
在步骤S423中，根据输入图像，正规方程生成单元442在生成的正规方程中设置属于混合区域的像素值、和属于相应背景区域的像素值，并且把已经对其设置了像素值的正规方程供应给最小二乘近似单元423。
在步骤S424中，最小二乘近似单元423通过Cholesky法或搜索法等求解含有设置的像素值的正规方程，计算估计混合比，然后，结束处理。
这样，估计混合比处理单元401就可以计算估计混合比。
在图57的步骤S403中由估计混合比处理单元402执行的估计与未覆盖背景区域相对应的混合比的处理与图58中的流程图所示的、利用与未覆盖背景区域相对应的正规方程的处理相同，因此，略去不述。
现在描述前景/背景分离单元105。图59是显示前景/背景分离单元105的结构的一个例子的方块图。把供应给前景/背景分离单元105的输入图像输入给分离单元601、切换器602、和切换器604。把区域指定单元103供应的、指示覆盖背景区域的信息和指示未覆盖背景区域的信息供应给分离单元601。把指示前景区域的信息供应给切换器602。把指示背景区域的信息供应给切换器604。
把混合比计算单元104供应的混合比α供应给分离单元601。
根据指示覆盖背景区域的区域信息、指示未覆盖背景区域的区域信息、和混合比α，分离单元601从输入图像中分离前景成分，并且把分离的前景成分供应给合成单元603，以及从输入图像中分离出背景成分，并且把分离的背景成分供应给合成单元605。
在输入与前景相对应的像素的情况下，根据指示前景区域的区域信息，闭合切换器602，并且只把包含在输入图像中与前景相对应的像素供应给合成单元603。
在输入与背景相对应的像素的情况下，根据指示背景区域的区域信息，闭合切换器604，并且只把包含在输入图像中与背景相对应的像素供应给合成单元605。
合成单元603根据分离单元601供应的与前景相对应的成分、切换器602供应的与前景相对应的像素，合成前景成分图像，并且输出合成的前景成分图像。由于前景区域和混合区域不重叠，因此，合成单元603通过，例如，把逻辑和运算作用于与前景相对应的成分和与前景相对应的像素，合成前景成分图像。
在前景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元603把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在前景成分图像合成处理中，合成单元603存储(或覆写)前景成分图像。因此，作为从合成单元603输出的前景成分图像的、与背景区域相对应的像素存储0，作为像素值。
合成单元605根据与分离单元601供应的与背景相对应的成分、和切换器604供应的与背景相对应的像素，合成背景成分图像，并且输出合成的背景成分图像。由于背景区域和混合区域不重叠，因此，合成单元605通过，例如，把逻辑和运算作用于与背景相对应的成分和与背景相对应的像素，合成背景成分图像。
在背景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元605把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在背景成分图像合成处理中，合成单元605存储(或覆写)背景成分图像。因此，作为从合成单元605输出的背景成分图像的、与前景区域相对应的像素存储0，作为像素值。
图60A是显示输入到前景/背景分离单元105的输入图像、和从前景/背景分离单元105输出的前景成分图像、和背景成分图像的图。图60B是显示与输入到前景/背景分离单元105的输入图像、和从前景/背景分离单元105输出的前景成分图像、和背景成分图像相对应的模型的图。
图60A是所显示图像的示意图，和图60B是与图60A相对应，在一行上包括属于前景区域的像素、属于背景区域的像素、和属于混合区域的像素的像素沿着时间方向展开的模型图。
如图60A和60B所示，从前景/背景分离单元105输出的背景成分图像由属于背景区域的像素、和包含在混合区域内的像素内的背景成分组成。
如图60A和60B所示，从前景/背景分离单元105输出的前景成分图像由属于前景区域的像素、和包含在混合区域内的像素内的前景成分组成。
混合区域内的像素的像素值被前景/背景分离单元105分离成背景成分和前景成分。分离的背景成分与属于背景区域的像素一起组成背景成分图像。分离的前景成分与属于前景区域的像素一起组成前景成分图像。
如上所述，在前景成分图像中，与背景区域相对应的像素的像素值被设置成0，与前景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。类似地，在背景成分图像中，与前景区域相对应的像素的像素值被设置成0，与背景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。
现在对分离单元601从属于混合区域的像素中分离出前景成分和背景成分的处理加以描述。
图61是包括与在图中从左边移动到右边的对象相对应的前景的、指示前景成分和背景成分的两个帧的图像的模型。在图61所示的图像的模型中，前景的运动量v是4，和虚拟分割数也是4。
在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区域。在帧#n中，从左边算起第2个到4个像素由背景成分和前景成分组成，并且属于未覆盖背景区域。在帧#n中，从左边算起第11个到13个像素由背景成分和前景成分组成，并且属于覆盖背景区域。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区域。
在帧#n+1中，从左边算起第1个到第5个和第18个像素只由背景成分组成，并且属于背景区域。在帧#n+1中，从左边算起第6个到8个像素由背景成分和前景成分组成，并且属于未覆盖背景区域。在帧#n+1中，从左边算起第15个到17个像素由背景成分和前景成分组成，并且属于覆盖背景区域。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并属于前景区域。
图62是描述从属于覆盖背景区域的像素中分离前景成分的处理的图。在图62中，α1到α18分别代表与帧#n中的像素相对应的混合比。在图62中，从左边算起第15个到第17个像素属于覆盖背景区域。
帧#n中从左边算起第15个像素的像素值C15被表示成表达式(30)C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(30)这里，α15表示帧#n中从左边算起第15个像素的混合比。P15表示帧#n-1中从左边算起第15个像素的像素值。
根据表达式(30)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成表达式(31)f15＝F09/v+F08/v+F07/v＝C15-α15·P15(31)类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成表达式(32)，和帧#n中从左边算起第17个像素的前景成分之和f17被表示成表达式(33)f16＝C16-α16·P16 (32)f17＝C17-α17·P17 (33)如上所述，包含在属于覆盖背景区域的像素的像素值C中的前景成分fc通过表达式(34)来计算fc＝C-α·P (34)P表示前一帧中的相对应的像素的像素值。
图63是描述从属于未覆盖背景区域的像素中分离前景成分的处理的图。在图63中，α1到α18分别表示与帧#n中的像素相对应的混合比。在图63中，从左边算起第2个到第4个像素属于未覆盖背景区域。
帧#n中从左边算起第2个像素的像素值C02被表示成表达式(35)C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (35)这里，α2表示帧#n中从左边算起第2个像素的混合比。N02表示帧#n+1中从左边算起第2个像素的像素值。
根据表达式(35)，帧#n中从左边算起第2个像素的前景成分和f02被表示成表达式(36)f02＝F01/v＝C02-α2·N02(36)类似地，帧#n中从左边算起第3个像素的前景成分和f03被表示成表达式(37)，和帧#n中从左边算起第4个像素的前景成分和f04被表示成表达式(38)f03＝C03-α3·N03(37)f04＝C04-α4·N04(38)如上所述，包含在属于未覆盖背景区域的像素的像素值C中的前景成分fu通过表达式(39)来计算fu＝C-α·N (39)N表示后一帧中的相对应的像素的像素值。
如上所述，根据包括指示覆盖背景区域的信息、指示未覆盖背景区域的信息、和每个像素的混合比α的区域信息，分离单元601可以从属于混合区域的像素中分离出前景成分和背景成分。
图64是显示进行上述处理的分离单元601的结构例子的方块图。把输入分离单元601的图像供应给帧存储器621，和把混合比计算单元104供应的指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α输入分离处理模块622中。
帧存储器621按照帧递增的方式存储输入图像，在处理对象是帧#n的情况下，帧存储器621存储比帧#n早一个帧的帧#n-1、帧#n、和比帧#n晚一个帧的帧#n+1。
帧存储器621把帧#n-1、帧#n、和#n+1中的相应像素供应给分离处理模块622。
分离处理模块622根据指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α，把参照图62和图63所述的计算应用于帧#n-1、帧#n、和#n+1中相应像素的像素值，从帧#n中属于混合区域的像素中分离出前景成分和背景成分，并且把它们供应给帧存储器623。
分离处理模块622包括未覆盖区域处理单元631、覆盖区域处理单元632、合成单元633、和合成单元634。
未覆盖区域处理单元631的乘法器641将帧存储器621供应的帧#n+1的像素的像素值乘以混合比α，并且将结果输出到切换器642。在帧存储器621供应的帧#n中的像素(与帧#n+1的像素相对应)属于未覆盖背景区域的情况下，闭合切换器642，将乘法器641供应的被乘以混合比α的像素值供应给计算器643和合成单元634。从切换器642输出的帧#n+1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的前景成分相同。
计算器643通过从帧存储器621供应的帧#n的像素的像素值中减去切换器642供应的背景成分，计算前景成分。计算器643把属于未覆盖背景区域的帧#n中的像素的前景成分供应给合成单元633。
覆盖区域处理单元632的乘法器651将帧存储器621供应的帧#n-1的像素的像素值乘以混合比α，并且将结果输出到切换器652。在帧存储器621供应的帧#n中的像素(与帧#n-1的像素相对应)属于覆盖背景区域的情况下，闭合切换器652，将乘法器651供应的被乘以混合比α的像素值供应给计算器653和合成单元634。从切换器652输出的帧#n-1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。
计算器653通过从帧存储器621供应的帧#n的像素的像素值中减去切换器652供应的背景成分，计算前景成分。计算器653把属于覆盖背景区域的帧#n中的像素的前景成分供应给合成单元633。
合成单元633合成计算器643供应的帧#n中属于未覆盖背景区域的像素的前景成分、和计算器653供应的属于覆盖背景区域的像素的前景成分，并且把结果供应给帧存储器623。
合成单元634合成切换器642供应的帧#n中属于未覆盖背景区域的像素的背景成分、和切换器652供应的属于覆盖背景区域的像素的背景成分，并且把结果供应给帧存储器623。
帧存储器623分别存储分离处理模块622供应的、帧#n中混合区域内的像素的前景成分和背景成分。
帧存储器623输出存储在其中的、帧#n中混合区域内的像素的前景成分、和存储在其中的、帧#n中混合区域内的像素的背景成分。
利用作为特征量的混合比α能够把包含在像素值中的前景成分和背景成分完全分离开。
通过合成从分离单元601输出的、帧#n中混合区域内的像素的前景成分、和属于前景区域的像素，合成单元603生成前景成分图像。通过合成从分离单元601输出的、帧#n中混合区域内的像素的背景成分、和属于背景区域的像素，合成单元605生成背景成分图像。
图65A是显示与图61中的帧#n相对应的前景成分图像的例子的图。图65B是显示与图61中的帧#n相对应的背景成分图像的例子的图。
图65A显示了与图61所示的帧#n相对应的前景成分图像的例子。由于把前景和背景分开之前，最左边像素和从左边算起第14个像素只由背景成分组成，因此，像素值是0。
在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域，因此，背景成分是0，前景成分保持原来值。在把前景和背景分开之前，从左边算起第11个到第13个像素属于覆盖背景区域，因此，背景成分是0，前景成分保持原来值。由于从左边算起第5个到第10个像素只由前景成分组成，因此，那些前景成分保持原来值。
图65B显示了与图61所示中的帧#n相对应的背景成分图像的例子。在前景和背景被分开之前，最左边像素和从左边算起第14个像素由背景成分组成，因此，那些背景成分保持原来值。
在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域，因此，前景成分是0，和背景成分保持原来值。在前景和背景被分开之前，从左边算起第11个到第13个像素属于覆盖背景区域，因此，前景成分是0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第5个到第10个像素只由前景成分组成，因此，像素值是0。
现在参照图66所示的流程图，描述前景/背景分离单元105对前景和背景的分离处理。在步骤S601中，分离单元601的帧存储器获取输入图像，并且存储作为前景和背景分离对象的帧#n、以及前一帧#n-1和后一帧#n+1。
在步骤S602中，分离单元601的分离处理模块622获取混合比计算单元104供应的区域信息。在步骤S603中，分离单元601的分离处理模块622获取混合比计算单元104供应的混合比α。
在步骤S604中，未覆盖区域处理单元631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取背景成分。
在步骤S605中，未覆盖区域处理单元631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取前景成分。
在步骤S606中，覆盖区域处理单元632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取背景成分。
在步骤S607中，覆盖区域处理单元632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取前景成分。
在步骤S608中，合成单元633合成在步骤S605的处理中提取的、属于未覆盖背景区域的像素的前景成分、和在步骤S607的处理中提取的、属于覆盖背景区域的像素的前景成分。把合成的前景成分供应给合成单元603。此外，合成单元603合成通过切换器602供应的、属于前景区域的像素、和分离单元601供应的前景成分，生成前景成分图像。
在步骤609中，合成单元634合成在步骤S604的处理中提取的、属于未覆盖背景区域的像素的背景成分、和在步骤S606的处理中提取的、属于覆盖背景区域的像素的背景成分。把合成的背景成分供应给合成单元605。此外，合成单元605合成通过切换器604供应的、属于背景区域的像素、和分离单元601供应的背景成分，生成背景成分图像。
在步骤S610中，合成单元603输出前景成分图像。在步骤S611中，合成单元605输出背景成分图像，然后，结束处理。
如上所述，根据区域信息和混合比α，前景/背景分离单元105可以从输入图像中分离出前景成分和背景成分，并且输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。
现在描述对前景成分图像调整运动模糊量的处理。
图67是显示运动模糊调整单元106的结构例子的方块图。把运动检测单元102供应的运动向量和其位置信息、和区域指定单元103供应的区域信息供应给处理增量判决单元801和建模单元802。把前景/背景分离单元105供应的前景成分图像供应给相加单元804。
处理增量判决单元801把根据运动向量、其位置信息、和区域信息生成的处理增量，以及运动向量供应给建模单元802。处理增量判决单元801把生成的处理增量供应给相加单元804。
例如，在图68中用A表示的、处理增量判决单元801生成的处理增量表示从与前景成分图像的覆盖背景区域相对应的像素开始，直到与未覆盖背景区域相对应的像素，沿着运动方向依次排列的像素，或者从与未覆盖背景区域相对应的像素开始，直到与覆盖背景区域相对应的像素，沿着运动方向依次排列的像素。处理增量由，例如，左上点(作为通过处理增量指定的像素的最左或最高位置像素)和右下点两个数据组成。
建模单元802根据运动向量和输入的处理增量，进行建模。更明确地说，例如，可以作出这样的安排，其中，建模单元802事先为每个像素存储包含在处理增量中的像素个数、像素值沿着时间方向的虚拟分割数、和与前景成分的个数相对应的多个模型，并且根据处理增量和像素值沿着时间方向的虚拟分割数，选择如图69所示的指定像素值与前景成分之间的对应关系的模型。
例如，在与处理增量相对应的像素个数是12，和快门间隔中的运动量v是5的情况下，建模单元802把虚拟分割数设置成5，并且选择总共由8个前景成分组成的模型，其中，最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。
请注意，也可以作出这样的安排，其中，建模单元802不是从事先存储的模型中选择模型，而是在供应运动向量和处理增量的情况下，根据运动向量和处理增量生成模型。
建模单元802把所选的模型供应给表达式生成单元803。
表达式生成单元803根据建模单元802供应的模型，生成表达式。下面参照图69所示的前景成分图像的模型，在前景成分的个数是8，与处理增量相对应的像素个数是12，运动量v是5，和虚拟分割数是5的情况下，描述表达式生成单元803生成的表达式。
如果包含在前景成分图像中与快门间隔/v相对应的前景成分是F01/v到F08/v，那么，F01/v到F08/v与像素C01到C12之间的关系被表示成表达式(40)到表达式(51)C01＝F01/v (40)C02＝F02/v+F01/v(41)C03＝F03/v+F02/v+F01/v (42)C04＝F04/v+F03/v+F02/v+F01/v(43)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (44)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (45)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (46)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (47)C09＝F08/v+F07/v+F06/v+F05/v(48)C10＝F08/v+F07/v+F06/v (49)C11＝F08/v+F07/v(50)C12＝F08/v (51)
通过变换生成的表达式，表达式生成单元803生成另一组表达式。由表达式生成单元803生成的另一组表达式被表示成表达式(52)到表达式(63)C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (52)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (53)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (54)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (55)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v (56)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v (57)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v (58)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (59)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (60)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v (61)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v (62)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v (63)表达式(52)到表达式(63)可以用表达式(64)来表示Cj=Σi=0108aij·Fi/v---(64)]]>在表达式(64)中，j表示像素位置。在本例中，j具有1到12之间的值之一。此外，i表示前景值的位置。在本例中，i具有1到8之间的一个值。与i和j的值相对应，aij具有0或1的值之一。
考虑到误差容限(margin)，表达式(64)可以用表达式(65)来表示Cj=Σi=0108aij·Fi/v+ej---(65)]]>在表达式(65)中，ej表示包含在感兴趣像素Cj中的误差容限。
可以把表达式(65)重写成表达式(66)ej=Cj-Σi=0108aij·Fi/v---(66)]]>注意，为了使用最小二乘法，把误差容限的平方和E定义成表达式(67)E=Σj=0112ej2---(67)]]>为了使误差容限达到最小，应该使误差容限的平方和关于变量Fk的偏导数的值趋向0。求出满足表达式(68)的Fk∂E∂Fk=2·Σj=0112ej·∂ej∂Fk]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)}=0---(68)]]>在表达式(68)中，运动量v是固定值，因此，可以导出表达式(69)Σj=0112akj·(Cj-Σi=0108aij·Fi/v)=0---(69)]]>展开表达式(69)和移动变元，得到表达式(70)Σj=0112(akj·Σi=0108aij·Fi)=v·Σj=0112akj=Cj---(70)]]>把表达式(70)展开成8个表达式，这8个表达式是把1到8之间的整数之一代入表达式(70)中的k中获得的。获得的8个表达式可以通过一个矩阵表示成一个表达式。这个表达式被称为正规方程。
表达式生成单元803根据这样的最小二乘法生成的正规方程的例子被表示成表达式(71) 如果把表达式(71)表示成A·F＝v·C，那么，C、A和v是已知的，F是未知的。此外，虽然A和v在建模时就是已知的，但是，通过在相加运算中输入像素值，C才成为已知的。
通过把最小二乘法应用于正规方程，计算前景成分，处理包含在像素C中的误差容限。
表达式生成单元803把如上所述生成的正规方程供应给相加单元804。
相加单元804根据处理增量判决单元801供应的处理增量，为表达式生成单元803供应的矩阵表达式设置包含在前景成分图像中的像素值C。相加单元804把设置成像素值C的矩阵供应给计算单元805。
计算单元805通过基于诸如搜索法(Gauss-Jordan消元法)之类的方法的处理，计算已经经过运动模糊消除的前景成分Fi/v，计算作为已经经过运动模糊消除的前景的像素值的、与0到8之间的整数i之一相对应的Fi，和把由，例如，如图70所示的、由已经经过运动模糊消除的像素值的Fi组成的、已经经过运动模糊消除的前景成分图像输出到运动模糊相加单元806和选择单元807。
请注意，在如图70所示的已经经过运动模糊消除的前景成分图像中，C03到C10的每一个被设置成F01到F08的每一个，以便不改变可以对应于任意位置的、前景成分图像相对于屏幕的位置。
运动模糊相加单元806通过提供与运动量v不同的运动模糊调整量v′，例如，其值是运动量v一半的运动模糊调整量v′、或与运动量v没有任何关系的运动模糊调整量v′，可以调整运动模糊量。例如，如图71所示，运动模糊相加单元806通过将已经经过运动模糊消除的前景的像素值Fi除以运动模糊调整量v′，计算前景成分Fi/v′，计算前景成分Fi/v′之和，生成已经经过运动模糊调整的像素值。例如，在运动模糊调整量v′是3的情况下，像素值C02是F01/v′，像素值C03是(F01+F02)/v′，像素值C04是(F01+F02+F03)/v′，和像素值C05是(F02+F03+F04)/v′。
运动模糊相加单元806把已经经过运动模糊量调整的前景成分图像供应给选择单元807。
选择单元807选择计算单元805供应的、已经经过运动模糊消除的前景成分图像，或者，运动模糊相加单元806供应的、已经经过运动模糊调整的前景成分图像，并且输出所选的前景成分图像。
如上所述，运动模糊调整单元106可以根据选择信号和运动模糊调整量v′调整运动模糊量。
此外，例如，如图72所示，在与处理增量相对应的像素个数是8，和运动量v是4的情况下，运动模糊调整单元106生成用表达式(72)表示的矩阵表达式 运动模糊调整单元106建立其个数与处理增量的长度相对应的表达式，并且计算已经经过运动模糊调整的像素值Fi。类似地，在存在，例如，100个包含在处理增量中的像素的情况下，生成与100个像素相对应的表达式，并且，计算Fi。
图73是显示运动模糊调整单元106的不同结构例子的图。与图67所示的情况相同的部分用相同的标号表示，并且，略去不述。
选择单元821把输入的运动向量和其位置信息按原样供应给处理增量判决单元801和建模单元802，或者，用运动模糊调整量v′替代运动向量的大小，并且，根据选择信号，把其数值被运动模糊调整量v′替代了的运动向量和其位置信息供应给处理增量判决单元801和建模单元802。
因此，图73所示的运动模糊调整单元106的处理增量判决单元801到计算单元805可以调整与运动量v的值相对应的运动模糊量、和运动模糊调整量v′。例如，在运动量v是5和运动模糊调整量v′是3的情况下，图73所示的运动模糊调整单元106的处理增量判决单元801到计算单元805根据图71所示的与3的运动模糊调整量v′相对应的模型，对如图69所示的运动量v是5的前景成分图像进行计算，并且，输出包括与(运动量v)/(运动模糊调整量v′)＝5/3，即，约1.7的运动量v相对应的运动模糊的图像。在这种情况下，由于计算的图像不包含与3的运动量v相对应的运动模糊，因此，应该注意到，运动量v与运动模糊调整量v′之间的关系的含义与运动模糊相加单元806的结果是不同的。
如上所述，运动模糊调整单元106生成与运动量v和处理增量相对应的表达式，为生成的表达式设置前景成分图像的像素值，和计算已经经过运动模糊调整的前景成分图像。
现在参照图74所示的流程图，描述运动模糊调整单元106调整包含在前景成分图像中的运动模糊量的处理。
在步骤S801中，运动模糊调整单元106的处理增量判决单元801根据运动向量和区域信息，生成处理增量，并且把生成的处理增量供应给建模单元802。
在步骤S802中，运动模糊调整单元106的建模单元802选择或生成与运动量v和处理增量相对应的模型。在步骤S803中，表达式生成单元803根据所选的模型，建立正规方程。
在步骤S804中，相加单元804为建立的正规方程设置前景成分图像的像素值。在步骤S805中，相加单元804判断与处理增量相对应的所有像素的像素值是否都得到设置，并且，在作出与处理增量相对应的像素的像素值还没有全部得到设置的判断的情况下，流程返回到步骤S804，重复为正规方程设置像素值的处理。
在步骤S805中，在作出与处理增量相对应的像素的像素值全部得到设置的判断的情况下，流程转到步骤S806，计算单元805根据相加单元804供应的像素值得到设置的正规方程，计算已经经过运动模糊量调整的前景的像素值，然后，结束处理。
如上所述，运动模糊调整单元106根据运动向量和区域信息，可以调整包含运动模糊的前景成分图像中的运动模糊量。
也就是说，包含在作为取样数据的像素值中的运动模糊量可以得到调整。
如上所述，其结构显示在图2中的信号处理设备可以调整包含在输入图像中的运动模糊量。其结构显示在图2中的信号处理设备可以计算作为隐埋信息的混合比α，并且输出计算的混合比α。
图75是显示运动模糊调整单元106的不同结构例子的图。把运动检测单元102供应的运动向量和其位置信息供应给处理增量判决单元901和纠正单元905，和把区域指定单元103供应的区域信息供应给处理增量判决单元901。把前景/背景分离单元105供应的前景成分图像供应给计算单元904。
处理增量判决单元901根据运动向量、其位置信息、和区域信息，供应生成的处理增量，以及运动向量。
建模单元902根据运动向量和输入的处理增量，进行建模。
表达式生成单元903根据建模单元902供应的模型，生成表达式。
现在参照图76到图78所示的前景成分图像的模型，对在前景成分的个数是8，与处理增量相对应的像素个数是12，和运动量v是5的情况下，表达式生成单元903生成的表达式例子加以描述。
在包含在前景成分图像中与快门间隔/v相对应的前景成分是F01/v到F08/v的情况下，F01/v到F08/v与像素值C01到C12之间的关系被表示成如上所述的表达式(40)到(51)。
把注意力集中在像素值C12和C11上，像素值C12只包括如表达式(73)所表示的前景成分F08/v，像素值C11由前景成分F08/v和前景成分F07/v之和组成。因此，前景成分F07/v通过表达式(74)来计算F08/v＝C12 (73)F07/v＝C11-C12 (74)类似地，对包含在像素值C10到C01中的前景成分加以考虑，前景成分F06/v到F01/v通过表达式(75)到表达式(80)来计算F06/v＝C10-C11 (75)
F05/v＝C09-C10 (76)F04/v＝C08-C09 (77)F03/v＝C07-C08+C12 (78)F02/v＝C06-C07+C11-C12 (79)F01/v＝C05-C06+C10-C11 (80)表达式生成单元903通过，例如，表达式(73)到表达式(80)所表示的像素值之差，生成用于计算前景成分的表达式。
计算单元904为表达式生成单元903供应的表达式设置前景成分图像的像素值，并且，根据设置了像素值的表达式，计算前景成分。例如，在表达式生成单元903供应表达式(73)到表达式(80)的情况下，计算单元904为表达式(73)到表达式(80)设置像素值C05到C12。
计算单元904根据设置了像素值的表达式，计算前景成分。例如，如图77所示，计算单元904通过基于设置了像素值C05到C12的表达式(73)到表达式(80)的计算，计算前景成分F01/v到F08/v。计算单元904把前景成分F01/v到F08/v供应给纠正单元905。
纠正单元905通过将计算单元904供应的前景成分与包含在处理增量判决单元901供应的运动向量中的运动量v相乘，计算已经经过运动模糊消除的前景像素值。例如，在供应计算单元904供应的前景成分F01/v到F08/v的情况下，纠正单元905通过前景成分F01/v到F08/v的每一个与5的运动量v相乘，计算如图78所示的已经经过运动模糊消除的前景像素值F01到F08。
纠正单元905把由通过如上所述的计算的、已经经过运动模糊消除的前景像素值组成的前景成分图像供应给运动模糊相加单元906和选择单元907。
运动模糊相加单元906可以通过其值与运动量v不同的运动模糊量v′，例如，其值是运动量v一半的运动模糊调整量v′、或与运动量v没有任何关系的运动模糊调整量v′，调整运动模糊。例如，如图71所示，运动模糊相加单元906通过将已经经过运动模糊消除的前景像素值Fi除以运动模糊调整量v′，计算前景成分Fi/v′，计算前景成分Fi/v′之和，生成已经经过运动模糊调整的像素值。例如，在运动模糊调整量v′是3的情况下，像素值C02是F01/v′，像素值C03是(F01+F02)/v′，像素值C04是(F01+F02+F03)/v′，和像素值C05是(F02+F03+F04)/v′。
运动模糊相加单元906把已经经过运动模糊调整的前景成分图像供应给选择单元907。
选择单元907根据与用户选择相对应的选择信号，选择计算单元905供应的、已经经过运动模糊消除的前景成分图像，或者，运动模糊相加单元906供应的、已经经过运动模糊调整的前景成分图像，并且输出所选的前景成分图像。
如上所述，运动模糊调整单元106可以根据选择信号和运动模糊调整量v′调整运动模糊量。
现在参照图79所示的流程图，对其结构显示在图75中的运动模糊调整单元106调整前景的运动模糊量的处理加以描述。
在步骤S901中，运动模糊调整单元106的处理增量判决单元901根据运动向量和区域信息，生成处理增量，并且把生成的处理增量供应给建模单元902和纠正单元905。
在步骤S902中，运动模糊调整单元106的建模单元902选择或生成与运动量v和处理增量相对应的模型。在步骤S903中，表达式生成单元903根据选择或生成的模型，通过前景成分图像的像素值之间的差值，生成计算前景成分的表达式。
在步骤S904中，计算单元904为建立的表达式设置前景成分图像的像素值，并且，根据设置了像素值的表达式，从像素值的差值中提取前景成分。在步骤S905中，计算单元904判断与处理增量相对应的所有前景成分是否都得到提取，并且，在作出与处理增量相对应的前景成分还没有全部得到提取的判断的情况下，流程返回到步骤S904，重复提取前景成分的处理。
在步骤S905中，在作出与处理增量相对应的前景成分全部得到提取的判断的情况下，流程转到步骤S906，纠正单元905根据运动量v，纠正计算单元904供应的前景成分F01/v到F08/v的每一个，并且，计算已经经过运动模糊消除的前景成分F01/v到F08/v的像素值。
在步骤S907中，运动模糊相加单元906计算已经经过运动模糊调整的前景的像素值，和选择单元907选择已经经过运动模糊消除的图像，或者，已经经过运动模糊调整的图像，并且输出所选的图像，然后，结束处理。
如上所述，其结构显示在图75中的运动模糊调整单元106通过较简单的计算，可以更迅速地调整包含运动模糊的前景图像中的运动模糊。
虽然在理想条件下借助于诸如Winner(温纳)滤波器等可以部分消除运动模糊的传统技术能够达到一定效果，但是对于已经被量化和包含噪声的实际图像，没有达到显著效果，当利用其结构显示在图75中的运动模糊调整单元106时，对于已经被量化和包含噪声的实际图像，可以达到显著效果，并且可以精确地消除运动模糊。
图80是显示信号处理设备的不同结构的方块图。
与图2所示相同的部分用相同的标号表示，并且，适当地省略了对它们的描述。
对象提取单元101粗略提取包含在输入图像中与背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。运动检测单元102计算与粗略提取的前景对象相对应的运动向量，并且把计算的运动向量和运动向量的位置信息供应给混合比计算单元104。
区域指定单元103把区域信息供应给混合比计算单元104和合成单元1001。
混合比计算单元104把混合比α供应给前景/背景分离单元105和合成单元1001。
前景/背景分离单元105把前景成分图像供应给合成单元1001。
合成单元1001根据混合比计算单元104供应的混合比α、和区域指定单元103供应的区域信息，合成任意背景图像和前景/背景分离单元105供应的前景成分图像，并且输出其中已经合成了任意背景图像和前景成分图像的合成图像。
图81是显示合成单元1001的配置的图。背景成分生成单元1021根据混合比α和任意背景图像，生成背景成分图像，并且把这个背景成分图像供应给混合区域图像合成单元1022。
混合区域图像合成单元1022将背景成分生成单元1021供应的背景成分图像与前景成分合成在一起，生成混合区域合成图像，并且把生成的混合区域合成图像供应给图像合成单元1023。
图像合成单元1023合成前景成分图像、混合区域图像合成单元1022供应的混合区域合成图像、和任意背景图像，生成和输出合成图像。
因此，合成单元1001可以将前景成分图像与任意背景图像合成在一起。
根据作为特征值的混合比α将前景成分图像与任意背景图像合成在一起获得的图像比简单合成像素获得的图像更加自然。
请注意，虽然混合比α被描述成包含在像素值中的背景成分的比例，但是，它也可以是包含在像素值中的前景成分的比例。
此外，作为前景的对象被描述成从左边移动到右边，但是，不用说，前景的移动也不局限于这个方向。
在上文中，已经给出了利用视频摄像机，把具有三维空间和时间轴信息的真实空间中的图像投影到具有二维空间和时间轴信息的时空上的情况的例子，但是，本发明不受这个例子的限制，可以应用于，在把第一维的较多数量第一信息投影到第二维的较少数量第二信息上的情况下，以更自然的方式纠正由于投影引起的失真，提取重要信息，或合成图像的情况。
请注意，传感器不限于CCD，它可以是固态图像拍摄器件，例如，CMOS(互补型金属氧化物半导体(互补型金属氧化物薄膜半导体))、BBD(BucketBrigade Device，斗链器件)、CID(Charge Injection Device，电荷注入器件)、或CPD(Charge Priming Device，电荷启动器件)等，并且，不限于检测元件排列成矩阵状的传感器，可以是检测元件排列成一行的传感器。
存储执行本发明的信号处理的程序的记录媒体不仅可以被配置成，譬如，磁盘51(包括软盘(注册商标))、光盘52(包括CD-ROM(只读光盘存储器)和DVD(数字多功能盘)、磁光盘53(包括MD(小型盘)(注册商标))或半导体存储器54等用于存储程序，为了把程序提供给用户而与图1所示的计算机分开分配给用户的可拆卸媒体，而且可以被配置成包含在存储单元28等中，用于存储程序，与计算机组装在一起事先提供给用户的ROM(只读存储器)22或硬盘。
此外，可以作出通过电缆或无线通信信道把执行图像处理的程序供应给计算机的安排。
此外，在本说明书中，描述记录在记录媒体中的程序的步骤当然包括按照如上述次序那样的时间顺序执行的处理，还包括尽管没有按照时间顺序执行，但是并行地或单独地执行的处理。
工业可应用性根据本发明的第一个方面，可以检测指示数个对象的混合状态的混合比。
根据本发明的第二个方面，可以检测指示数个对象的混合状态的混合比。
权利要求
1.一种图像处理设备，用于对由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取、由预定个数像素数据组成的图像数据进行图像处理，和计算指示现实世界中数个对象的所述像素数据中的混合状态的混合比，所述图像处理设备包括方程生成装置，用于针对所述图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的所述图像数据中提取等高区域像素数据，从与所述感兴趣帧不同的帧中提取与所述等高区域像素数据相对应的相应像素数据，提取作为只由与所述等高区域像素数据或所述相应像素数据相对应的背景对象成分组成的所述像素数据的背景像素数据，和利用所述等高区域像素数据、所述相应像素数据、和所述背景像素数据，生成其中混合比是未知数的方程，其中，所述区域指定信息指定由前景区域和背景区域组成的非混合区域、以及所述前景对象成分和所述背景对象成分混合在一起的混合区域，所述前景区域只由构成前景对象的前景对象成分组成，所述背景区域只由构成背景对象的背景对象成分组成；和混合比检测装置，用于通过求解所述方程检测所述感兴趣帧中的所述混合比。
2.根据权利要求1所述的图像处理设备，其中，所述方程生成装置提取所述帧中与所述前景对象的运动量相对应的所述相应像素数据。
3.根据权利要求1所述的图像处理设备，其中，所述方程生成装置提取所述帧中与所述背景对象的运动量相对应的所述背景像素数据。
4.根据权利要求1所述的图像处理设备，其中，为了通过最小二乘法计算所述混合比，所述方程生成装置生成与所述等高区域像素数据、所述相应像素数据、和所述背景像素数据之间的关系相对应的方程。
5.根据权利要求1所述的图像处理设备，还包括运动检测装置，用于检测所述前景对象和所述背景对象至少一个的移动。
6.根据权利要求1所述的图像处理设备，还包括区域指定装置，用于指定所述前景区域、所述背景区域、和所述混合区域。
7.根据权利要求1所述的图像处理设备，还包括分离装置，用于根据所述混合比，至少把所述前景对象成分从所述混合区域的所述像素数据中分离出来。
8.根据权利要求7所述的图像处理设备，还包括运动模糊调整装置，用于调整所述分离前景对象成分的运动模糊量。
9.根据权利要求7所述的图像处理设备，还包括合成装置，用于根据所述混合比，把所需其它对象与所述分离前景对象成分合成在一起。
10.一种图像处理方法，用于对由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取、由预定个数像素数据组成的图像数据进行图像处理，和计算指示现实世界中数个对象的所述像素数据中的混合状态的混合比，所述图像处理方法包括方程生成步骤，针对所述图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的所述图像数据中提取等高区域像素数据，从与所述感兴趣帧不同的帧中提取与所述等高区域像素数据相对应的相应像素数据，提取作为只由与所述等高区域像素数据或所述相应像素数据相对应的背景对象成分组成的所述像素数据的背景像素数据，和利用所述等高区域像素数据、所述相应像素数据、和所述背景像素数据，生成其中混合比是未知数的方程，其中，所述区域指定信息指定由前景区域和背景区域组成的非混合区域、以及所述前景对象成分和所述背景对象成分混合在一起的混合区域，所述前景区域只由构成前景对象的前景对象成分组成，所述背景区域只由构成背景对象的背景对象成分组成；和混合比检测步骤，通过求解所述方程检测所述感兴趣帧中的所述混合比。
11.根据权利要求10所述的图像处理方法，其中，在所述方程生成步骤中的处理提取所述帧中与所述前景对象的运动量相对应的所述相应像素数据。
12.根据权利要求10所述的图像处理方法，其中，在所述方程生成步骤中的处理提取所述帧中与所述背景对象的运动量相对应的所述背景像素数据。
13.根据权利要求10所述的图像处理方法，其中，为了通过最小二乘法计算所述混合比，在所述方程生成步骤中的处理生成与所述等高区域像素数据、所述相应像素数据、和所述背景像素数据之间的关系相对应的方程。
14.根据权利要求10所述的图像处理方法，还包括运动检测步骤，检测所述前景对象和所述背景对象至少一个的移动。
15.根据权利要求10所述的图像处理方法，还包括区域指定步骤，指定所述前景区域、所述背景区域、和所述混合区域。
16.根据权利要求10所述的图像处理方法，还包括分离步骤，根据所述混合比，至少把所述前景对象成分从所述混合区域的所述像素数据中分离出来。
17.根据权利要求16所述的图像处理方法，还包括运动模糊调整步骤，调整所述分离前景对象成分的运动模糊量。
18.根据权利要求16所述的图像处理方法，还包括合成步骤，根据所述混合比，把所需其它对象与所述分离前景对象成分合成在一起。
19.一种存储计算机可读图像处理程序的记录媒体，所述程序用于对由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取、由预定个数像素数据组成的图像数据进行图像处理，和计算指示现实世界中数个对象的所述像素数据中的混合状态的混合比，所述程序包括方程生成步骤，针对图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的所述图像数据中提取等高区域像素数据，从与所述感兴趣帧不同的帧中提取与所述等高区域像素数据相对应的相应像素数据，提取作为只由与所述等高区域像素数据或所述相应像素数据相对应的背景对象成分组成的所述像素数据的背景像素数据，和利用所述等高区域像素数据、所述相应像素数据、和所述背景像素数据，生成其中混合比是未知数的方程，其中，所述区域指定信息指定由前景区域和背景区域组成的非混合区域、以及所述前景对象成分和所述背景对象成分混合在一起的混合区域，所述前景区域只由构成前景对象的前景对象成分组成，和所述背景区域只由构成背景对象的背景对象成分组成；和混合比检测步骤，通过求解所述方程检测所述感兴趣帧中的所述混合比。
20.根据权利要求19所述的记录媒体，其中，在所述方程生成步骤中的处理提取所述帧中与所述前景对象的运动量相对应的所述相应像素数据。
21.根据权利要求19所述的记录媒体，其中，在所述方程生成步骤中的处理提取所述帧中与所述背景对象的运动量相对应的所述背景像素数据。
22.根据权利要求19所述的记录媒体，其中，为了通过最小二乘法计算所述混合比，在所述方程生成步骤中的处理生成与所述等高区域像素数据、所述相应像素数据、和所述背景像素数据之间的关系相对应的方程。
23.根据权利要求19所述的记录媒体，所述程序还包括运动检测步骤，检测所述前景对象和所述背景对象至少一个的移动。
24.根据权利要求19所述的记录媒体，所述程序还包括区域指定步骤，指定所述前景区域、所述背景区域、和所述混合区域。
25.根据权利要求19所述的记录媒体，所述程序还包括分离步骤，根据所述混合比，至少把所述前景对象成分从所述混合区域的所述像素数据中分离出来。
26.根据权利要求25所述的记录媒体，所述程序还包括运动模糊调整步骤，调整所述分离前景对象成分的运动模糊量。
27.根据权利要求25所述的记录媒体，还包括合成步骤，根据所述混合比，把所需其它对象与所述分离前景对象成分合成在一起。
28.一种使计算机执行如下步骤的程序，用于对由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取、由预定个数像素数据组成的图像数据进行图像处理，和计算指示现实世界中数个对象的所述像素数据中的混合状态的混合比方程生成步骤，针对图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的所述图像数据中提取等高区域像素数据，从与所述感兴趣帧不同的帧中提取与所述等高区域像素数据相对应的相应像素数据，提取作为只由与所述等高区域像素数据或所述相应像素数据相对应的背景对象成分组成的所述像素数据的背景像素数据，和利用所述等高区域像素数据、所述相应像素数据、和所述背景像素数据，生成其中混合比是未知数的方程，其中，所述区域指定信息指定由前景区域和背景区域组成的非混合区域、以及所述前景对象成分和所述背景对象成分混合在一起的混合区域，所述前景区域只由构成前景对象的前景对象成分组成，和所述背景区域只由构成背景对象的背景对象成分组成；和混合比检测步骤，通过求解所述方程检测所述感兴趣帧中的所述混合比。
29.根据权利要求28所述的程序，其中，在所述方程生成步骤中的处理提取所述帧中与所述前景对象的运动量相对应的所述相应像素数据。
30.根据权利要求28所述的程序，其中，在所述方程生成步骤中的处理提取所述帧中与所述背景对象的运动量相对应的所述背景像素数据。
31.根据权利要求28所述的程序，其中，为了通过最小二乘法计算所述混合比，在所述方程生成步骤中的处理生成与所述等高区域像素数据、所述相应像素数据、和所述背景像素数据之间的关系相对应的方程。
32.根据权利要求28所述的程序，还包括运动检测步骤，检测所述前景对象和所述背景对象至少一个的移动。
33.根据权利要求28所述的程序，还包括区域指定步骤，指定所述前景区域、所述背景区域、和所述混合区域。
34.根据权利要求28所述的程序，还包括分离步骤，根据所述混合比，至少把所述前景对象成分从所述混合区域的所述像素数据中分离出来。
35.根据权利要求34所述的程序，还包括运动模糊调整步骤，调整所述分离前景对象成分的运动模糊量。
36.根据权利要求34所述的程序，还包括合成步骤，根据所述混合比，把所需其它对象与所述分离前景对象成分合成在一起。
37.一种图像拍摄设备，包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；方程生成装置，用于针对所述图像数据，在混合区域内，根据区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内的所述图像数据中提取等高区域像素数据，混合比指示现实世界中数个对象的混合区域内的混合状态，从与所述感兴趣帧不同的帧中提取与所述等高区域像素数据相对应的相应像素数据，提取作为只由与所述等高区域像素数据或所述相应像素数据相对应的背景对象成分组成的所述像素数据的背景像素数据，和利用所述等高区域像素数据、所述相应像素数据、和所述背景像素数据，生成其中混合比是未知数的方程，其中，所述区域指定信息指定由前景区域和背景区域组成的非混合区域、以及所述前景对象成分和所述背景对象成分混合在一起的混合区域，所述前景区域只由构成前景对象的前景对象成分组成，所述背景区域只由构成背景对象的背景对象成分组成；和混合比检测装置，用于通过求解所述方程检测所述感兴趣帧中的所述混合比。
38.根据权利要求37所述的图像拍摄设备，其中，所述方程生成装置提取所述帧中与所述前景对象的运动量相对应的所述相应像素数据。
39.根据权利要求37所述的图像拍摄设备，其中，所述方程生成装置提取所述帧中与所述背景对象的运动量相对应的所述背景像素数据。
40.根据权利要求37所述的图像拍摄设备，其中，为了通过最小二乘法计算所述混合比，所述方程生成装置生成与所述等高区域像素数据、所述相应像素数据、和所述背景像素数据之间的关系相对应的方程。
41.根据权利要求37所述的图像拍摄设备，还包括运动检测装置，用于检测所述前景对象和所述背景对象至少一个的移动。
42.根据权利要求37所述的图像拍摄设备，还包括区域指定装置，用于指定所述前景区域、所述背景区域、和所述混合区域。
43.根据权利要求37所述的图像拍摄设备，还包括分离装置，用于根据所述混合比，至少把所述前景对象成分从所述混合区域的所述像素数据中分离出来。
44.根据权利要求43所述的图像拍摄设备，还包括运动模糊调整装置，用于调整所述分离前景对象成分的运动模糊量。
45.根据权利要求43所述的图像拍摄设备，还包括合成装置，用于根据所述混合比，把所需其它对象与所述分离前景对象成分合成在一起。
全文摘要
一种图像处理设备，能够检测指示数个对象的混合状态的混合比。等高区域信息生成单元(421)和正规方程生成单元(422)利用区域指定信息和前景对象成分的移动，从位于混合比大致相等的等高区域上的感兴趣帧内提取等高区域像素数据，从与感兴趣帧不同的帧中提取相应像素数据，提取与等高区域像素数据或相应像素数据相对应的背景像素数据，和生成混合比是未知数的方程，其中区域指定信息指定由前景区域和背景区域组成的非混合区域、以及前景对象成分与背景对象成分混合在一起的混合区域。最小二乘近似单元(423)求解方程，从而检测混合比。本发明可应用于处理图像信号的信号处理设备。
文档编号H04N7/18GK1465032SQ02802224
公开日2003年12月31日 申请日期2002年5月23日 优先权日2001年5月30日
发明者近藤哲二郎, 石桥淳一, 泽尾贵志, 永野隆浩, 藤原直树, 三宅彻, 和田成司 申请人:索尼公司