图像处理设备和方法

专利名称：图像处理设备和方法
技术领域：
本发明涉及图像处理设备和方法，尤其涉及将拍摄的图像实时地分离成前景成分图像和背景成分图像并对前景成分图像执行实时运动模糊处理的图像处理设备和方法。
背景技术：
处理拍摄图像的技术已经逐渐得到普及和广泛应用。
但是，到目前为止，当将两个不同的图像合成时、或者当拍摄运动主体的图像时所引起的运动模糊，是通过拍摄图像之后再单独合成图像或者通过消除运动模糊来消除的。
在后一种情况下，也就是说，当拍摄运动主体的图像时，已经提出一种实时消除由于运动所引起的运动模糊的方法。具体地说，例如，如图1A所示，当拍摄主体摆动高尔夫球杆的图像时，显示的图像包括由于高尔夫球杆运动所造成的模糊的高尔夫球杆。当显示该模糊的图像时所造成的后果成为运动模糊。
为了实时地消除该运动模糊，如图1B所示，一种可用的方法是使用高速摄像机来拍摄图像。当使用高速摄像机拍摄图像时，则拍摄图像时的亮度是不充足的(由于快门间隔非常短，所获得的光量非常少，由此亮度是不够的)。需要用特定强度的光照射主体，或者，如图2所示，在按下快门的同时用强光闪光灯照射主体，并且需要使用高速摄像机来拍摄该主体的图像。
在前一种方法中，图像合成不能实时处理。在合成处理过程中，如果没有合成所需要的图像，则必须在同一位置再次拍摄图像。存在一种执行实时运动模糊消除处理的方法。例如，为了生态观测的目的在晚上拍摄野生动物的图像时，使用前述方法会使作为主体的动物受到惊吓，这是由于前述方法使用强光。结果，可能观测不到自然生态。

发明内容
本发明就是在考虑了上述背景之后作出的。因此，本发明的目的是在处理图像时实现实时合成处理和运动模糊调整处理。
根据本发明的图像处理设备包括输入装置，用于输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计装置，用于为输入装置所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离装置，用于根据混合比估计装置所估计的混合比，将输入装置输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储装置，用于实时存储由分离装置所分离的前景成分图像和背景成分图像。
该图像处理设备还可以包括图像拍摄装置，用于拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
该图像处理设备还可以包括图像拍摄命令装置，用于向图像拍摄装置发出命令以拍摄图像；以及图像拍摄收费装置，用于响应图像拍摄命令装置的命令，执行收费处理。
该图像处理设备还可以包括图像显示装置，用于显示分离装置实时分离的前景成分图像和背景成分图像、以及已经存储在存储装置中的前景成分图像和背景成分图像；图像指定装置，用于从分离装置实时分离并由图像显示装置显示的前景成分图像和背景成分图像、以及已经存储在存储装置中并由图像显示装置显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成装置，用于合成指定装置所指定的期望前景成分图像和背景成分图像。
该图像处理设备还可以包括合成命令装置，用于向合成装置发出命令以合成图像；以及合成收费装置，用于响应合成命令装置的命令执行收费处理。
该图像处理设备还可以包括存储命令装置，用于向存储装置发出命令，该命令指示是否实时存储由分离装置所分离的前景成分图像和背景成分图像；以及存储收费装置，用于响应存储命令装置的命令执行收费处理。
该图像处理设备还可以包括运动模糊调整装置，用于调整分离装置实时分离的前景成分图像或存储装置已经存储的前景成分图像的运动模糊。
该图像处理设备还可以包括运动模糊调整图像显示装置，用于显示运动模糊调整装置所生成的经过运动模糊调整的前景成分图像。
该图像处理设备还可以包括合成装置，用于合成由运动模糊调整装置所生成的经过运动模糊调整的前景成分图像和背景成分图像。所述运动模糊调整图像显示装置可以显示合成装置通过合成运动模糊调整装置生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
该图像处理设备还可以包括处理时间测量装置，用于测量运动模糊调整装置调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费装置，用于根据处理时间测量装置所测量的时间执行收费处理。
该图像处理设备还可以包括运行时间测量装置，用于测量运行时间；以及运行收费装置，用于根据运行时间测量装置所测量的时间执行收费处理。
根据本发明的图像处理方法包括输入步骤，用于输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计步骤，用于为输入步骤所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离步骤，用于根据混合比估计步骤所估计的混合比，将输入步骤输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储步骤，用于实时存储由分离步骤所分离的前景成分图像和背景成分图像。
该图像处理方法还可以包括图像拍摄步骤，用于拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
该图像处理方法还可以包括图像拍摄命令步骤，用于向图像拍摄步骤发出命令以拍摄图像；以及图像拍摄收费步骤，用于响应图像拍摄命令步骤的命令，执行收费处理。
该图像处理方法还可以包括图像显示步骤，用于显示分离步骤实时分离的前景成分图像和背景成分图像、以及已经在存储步骤中存储的前景成分图像和背景成分图像；图像指定步骤，用于从分离步骤实时分离并由图像显示步骤显示的前景成分图像和背景成分图像、以及已经在存储步骤中存储并由图像显示步骤显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成步骤，用于合成指定步骤所指定的期望前景成分图像和背景成分图像。
该图像处理方法还可以包括合成命令步骤，用于向合成步骤发出命令以合成图像；以及合成收费步骤，用于响应合成命令步骤的命令执行收费处理。
该图像处理方法还可以包括存储命令步骤，用于向存储步骤发出命令，该命令指示是否实时存储由分离步骤所分离的前景成分图像和背景成分图像；以及存储收费步骤，用于响应存储命令步骤的命令执行收费处理。
该图像处理方法还可以包括运动模糊调整步骤，用于调整分离步骤实时分离的前景成分图像或已经在存储步骤存储的前景成分图像的运动模糊。
该图像处理方法还可以包括运动模糊调整图像显示步骤，用于显示运动模糊调整步骤所生成的经过运动模糊调整的前景成分图像。
该图像处理方法还可以包括合成步骤，用于合成由运动模糊调整步骤所生成的经过运动模糊调整的前景成分图像和背景成分图像。所述运动模糊调整图像显示步骤可以显示合成步骤通过合成运动模糊调整步骤生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
该图像处理方法还可以包括处理时间测量步骤，用于测量运动模糊调整步骤调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费步骤，用于根据处理时间测量步骤所测量的时间执行收费处理。
该图像处理方法还可以包括运行时间测量步骤，用于测量运行时间；以及运行收费步骤，用于根据运行时间测量步骤所测量的时间执行收费处理。
根据本发明的记录媒体中的程序包括输入控制步骤，用于控制输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计控制步骤，用于控制为输入控制步骤所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离控制步骤，用于根据混合比估计控制步骤所估计的混合比，控制将输入控制步骤输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储控制步骤，用于控制实时存储由分离控制步骤所分离的前景成分图像和背景成分图像。
该程序还可以包括图像拍摄控制步骤，用于控制拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
该程序还可以包括图像拍摄命令控制步骤，用于控制向图像拍摄控制步骤发出命令以拍摄图像；以及图像拍摄收费控制步骤，用于响应图像拍摄命令控制步骤的命令，控制执行收费处理。
该程序还可以包括图像显示控制步骤，用于控制显示分离控制步骤实时分离的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储的前景成分图像和背景成分图像；图像指定控制步骤，用于控制从分离控制步骤实时分离并由图像显示控制步骤显示的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储并由图像显示控制步骤显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成控制步骤，用于控制合成指定控制步骤所指定的期望前景成分图像和背景成分图像。
该程序还可以包括合成命令控制步骤，用于控制向合成控制步骤发出命令以合成图像；以及合成收费控制步骤，用于响应合成命令控制步骤的命令控制执行收费处理。
该程序还可以包括存储命令控制步骤，用于控制向存储控制步骤发出命令，该命令指示是否实时存储由分离控制步骤所分离的前景成分图像和背景成分图像；以及存储收费控制步骤，用于响应存储命令控制步骤的命令控制执行收费处理。
该程序还可以包括运动模糊调整控制步骤，用于控制调整分离控制步骤实时分离的前景成分图像或已经在存储控制步骤存储的前景成分图像的运动模糊。
该程序还可以包括运动模糊调整图像显示控制步骤，用于控制显示运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像。
该程序还可以包括合成控制步骤，用于控制合成由运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像和背景成分图像。所述运动模糊调整图像显示控制步骤可以显示合成控制步骤通过合成运动模糊调整控制步骤生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
该程序还可以包括处理时间测量控制步骤，用于控制测量运动模糊调整控制步骤调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费控制步骤，用于根据处理时间测量控制步骤所测量的时间控制执行收费处理。
该程序还可以包括运行时间测量控制步骤，用于控制测量运行时间；以及运行收费控制步骤，用于根据运行时间测量控制步骤所测量的时间控制执行收费处理。
根据本发明的程序使计算机执行包括如下步骤的过程输入控制步骤，用于控制输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计控制步骤，用于控制为输入控制步骤所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离控制步骤，用于根据混合比估计控制步骤所估计的混合比，控制将输入控制步骤输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储控制步骤，用于控制实时存储由分离控制步骤所分离的前景成分图像和背景成分图像。
该过程还可以包括图像拍摄控制步骤，用于控制拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
该过程还可以包括图像拍摄命令控制步骤，用于控制向图像拍摄控制步骤发出命令以拍摄图像；以及图像拍摄收费控制步骤，用于响应图像拍摄命令控制步骤的命令，控制执行收费处理。
该过程还可以包括图像显示控制步骤，用于控制显示分离控制步骤实时分离的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储的前景成分图像和背景成分图像；图像指定控制步骤，用于控制从分离控制步骤实时分离并由图像显示控制步骤显示的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储并由图像显示控制步骤显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成控制步骤，用于控制合成指定控制步骤所指定的期望前景成分图像和背景成分图像。
该过程还可以包括合成命令控制步骤，用于控制向合成控制步骤发出命令以合成图像；以及合成收费控制步骤，用于响应合成命令控制步骤的命令控制执行收费处理。
该过程还可以包括存储命令控制步骤，用于控制向存储控制步骤发出命令，该命令指示是否实时存储由分离控制步骤所分离的前景成分图像和背景成分图像；以及存储收费控制步骤，用于响应存储命令控制步骤的命令控制执行收费处理。
该过程还可以包括运动模糊调整控制步骤，用于控制调整分离控制步骤实时分离的前景成分图像或已经在存储控制步骤存储的前景成分图像的运动模糊。
该过程还可以包括运动模糊调整图像显示控制步骤，用于控制显示运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像。
该过程还可以包括合成控制步骤，用于控制合成由运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像和背景成分图像。所述运动模糊调整图像显示控制步骤可以显示合成控制步骤通过合成运动模糊调整控制步骤生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
该过程还可以包括处理时间测量控制步骤，用于控制测量运动模糊调整控制步骤调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费控制步骤，用于根据处理时间测量控制步骤所测量的时间控制执行收费处理。
该过程还可以包括运行时间测量控制步骤，用于控制测量运行时间；以及运行收费控制步骤，用于根据运行时间测量控制步骤所测量的时间控制执行收费处理。
根据本发明的图像处理设备和方法以及程序，输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应。为输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合。根据所估计的混合比，将输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成。实时地存储所分离的前景成分图像和背景成分图像。


图1A显示公知的图像处理方法；图1B显示公知的图像处理方法；图2显示公知的图像处理方法；图3显示应用本发明的图像处理系统的实施例的结构；图4显示图3所示的摄像机终端设备的结构；图5显示图3所示的电视机终端设备的结构；图6是显示图4所示的摄像机终端设备的结构的方框图；图7是显示图5所示的电视机终端设备的结构的方框图；图8是显示图6所示的信号处理器的结构的方框图；图9是显示图像处理设备的结构的方块图；图10显示传感器进行的图像拍摄(capture)；图11显示像素的排列；图12显示检测器件的操作；图13A显示拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像所获得的图像；
图13B显示拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像所获得的图像；图14显示背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域；图15显示沿着时间方向展开在对与静止前景相对应的对象和与静止背景相对应的对象进行图像拍摄所获得的图像中、一个接一个排列成一行的像素的像素值而获得的模型(model)；图16显示沿着时间方向展开像素值和分割与快门时间相对应的间隔(period)的模型；图17显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图18显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图19显示从前景区域、背景区域和混合区域中提取像素的例子；图20显示像素与沿着时间方向展开像素值获得的模型之间的关系；图21显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图22显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图23显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图24显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图25显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图26是描述调整运动模糊量的处理的流程图；图27是显示区域指定单元103的配置例子的方块图；图28显示与前景相对应的对象正在移动时的图像；图29显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图30显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图31显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图32显示确定区域的条件；图33A显示区域指定单元103指定区域所获得的结果的例子；图33B显示区域指定单元103指定区域所获得的结果的例子；图33C显示区域指定单元103指定区域所获得的结果的例子；图33D显示区域指定单元103指定区域所获得的结果的例子；图34显示区域指定单元103指定区域所获得的结果的例子；图35是描述区域指定处理的流程图；图36是显示区域指定单元103的另一个配置例子的方块图；图37显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图38显示背景图像的例子；图39是显示二值(binary)对象图像提取部分302的配置的方块图；图40A显示相关值的计算；图40B显示相关值的计算；图41A显示相关值的计算；图41B显示相关值的计算；图42显示二值对象图像的例子；图43是显示时间变化检测器303的配置的方块图；图44显示区域确定部分342进行的确定；图45显示时间变化检测器303所进行的确定的例子；图46是描述区域指定单元103进行区域指定处理的流程图；图47是详细描述区域指定处理的流程图；图48是显示区域指定单元103的又一种配置的方块图；图49是描述鲁棒化处理(robust-processing)部分361的配置的方块图；图50显示运动补偿器381进行的运动补偿；图51显示运动补偿器381进行的运动补偿；图52是描述区域指定处理的流程图；图53是描述鲁棒化处理的细节的流程图；
图54是显示混合比计算器104的配置的方块图；图55显示理想混合比α的例子；图56显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图57显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图58显示使用前景成分的相关的近似；图59显示C、N和P的关系；图60是显示估计混合比处理器401的配置的方块图；图61显示估计混合比的例子；图62是显示混合比计算器104的另一配置的方块图；图63是描述混合比计算处理的流程图；图64是描述计算估计混合比的处理的流程图；图65显示用于近似混合比α的直线；图66显示用于近似混合比α的平面；图67显示计算混合比α时多个帧中的像素之间的关系；图68是显示估计混合比处理器401的另一配置的方块图；图69显示估计混合比的例子；图70是描述使用与覆盖背景区域相对应的模型用于估计混合比的处理的流程图；图71是显示前景/背景分离器105的配置例子的方块图；图72A显示输入图像、前景成分图像、和背景成分图像；图72B显示输入图像、前景成分图像、和背景成分图像；图73显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图74显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图75显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；图76是显示分离部分601的配置例子的方块图；图77A显示分离的前景成分图像和分离的背景成分图像的例子；
图77B显示分离的背景成分图像的例子；图78是描述分离前景和背景的处理的流程图；图79是显示运动模糊调整单元106的配置例子的方块图；图80显示处理单元；图81显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；图82显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；图83显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；图84显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；图85显示运动模糊调整单元106的另一个配置；图86是描述由运动模糊调整单元106执行的调整包含在前景成分图像中的运动模糊量的处理的流程图；图87是显示运动模糊调整单元106的另一个配置例子的图；图88显示其中指定了像素值和前景成分之间的关系的模型示例；图89显示前景成分的计算；图90显示前景成分的计算；图91是描述消除包含在前景中的运动模糊的处理的流程图；图92是显示图像处理设备功能的另一配置的方框图；图93显示合成器1001的配置；图94是显示图像处理设备功能的又一配置的方框图；图95是显示混合比计算器1101的配置的方框图；图96是显示前景/背景分离器1102的配置的方框图；图97是显示图像处理设备功能的另一配置的方框图；图98显示合成器1201的配置；图99是显示摄像机终端设备所执行的合成服务处理的流程图；图100是显示合成服务收费(billing)处理的流程图；图101显示合成服务收费处理；图102A显示合成服务收费处理；
图102B显示合成服务收费处理；图102C显示合成服务收费处理；图103显示摄像机终端设备所提供的实时合成服务；图104显示摄像机终端设备的另一实施例；图105是显示由摄像机终端设备执行的实时合成服务处理的流程图；图106显示摄像机终端设备所提供的实时合成服务；以及图107显示摄像机终端设备所提供的实时合成服务。
具体实施例方式
图3显示根据本发明的图像处理系统的实施例。
本发明的图像处理系统包括例如通过诸如因特网的网络1彼此相互连接并可以相互交换数据的摄像机终端设备2、电视机终端设备3、收费服务器5、财务服务器(客户用)6、以及财务服务器(提供商用)7。摄像机终端设备2拍摄图像、实时地分离/合成所拍摄的图像并显示该图像。对图像的分离和合成进行收费。例如，假如摄像机终端设备被租用出去，分离和合成图像的费用可以由收费服务器5通过网络1收取，以便将费用从用户的财务服务器6转帐到提供商(例如，出租该摄像机终端设备2的服务提供商)的财务服务器7。电视机终端设备3实时分离摄像机设备4所拍摄的图像、合成图像部分并显示该图像。分离和合成图像的费用以类似于摄像机终端设备2的方式收取。
图4显示根据本发明的摄像机终端设备2的结构。CPU(中央处理单元)21遵照存储在ROM(只读存储器)22或存储单元28中的程序，执行各种类型的处理。RAM(随机存取存储器)23存储CPU21执行的程序、和数据等。CPU21、ROM22、和RAM23通过总线24相互连接。
通过总线24，输入/输出接口25也相连接到CPU21。由键盘、鼠标、麦克风等构成的输入单元26，和由显示器、扬声器等构成的输出单元27连接到输入/输出接口25。CPU21响应从包括快门按钮和各种输入键的输入单元26输入的命令执行各种类型的处理。另外，用作图像拍摄器件的传感器26a连接到输入单元26并且拍摄的图像输入至此。然后，CPU21把作为处理结果获得的图像、声音等输出到输出单元27，并且图像显示在LCD(液晶显示器)27a上。
与输入/输出接口25相连接的存储单元28包括例如硬盘，并存储CPU21执行的程序和各种类型的数据。通信单元29通过因特网或其它网络与外部设备通信。
此外，可以通过通信单元29获取程序，并将其存储在存储单元28中。
驱动器30与输入/输出接口25相连接，当把磁盘41、光盘42、磁光盘43、半导体存储器44等记录媒体安装在驱动器30上时，驱动器30驱动它们，获取存储在相应媒体中的程序或数据。如有必要，把获取的程序或数据发送到存储单元28，存储在其中。
图5示出根据本发明的电视机3的结构。电视机3的结构基本上与摄像机终端设备2的结构相同。具体地说，电视机终端设备3的CPU51、ROM52、RAM53、总线54、输入/输出接口55、输入单元56、输出单元57、存储单元58、通信单元59、驱动器60、磁盘61、光盘62、磁光盘63、以及半导体存储器64分别相应于摄像机终端设备2的CPU21、ROM22、RAM23、总线24、输入/输出接口25、输入单元26、输出单元27、存储单元28、通信单元29、驱动器30、磁盘41、光盘42、磁光盘43、以及半导体存储器44。在该实例中，如图1A和1B所示，摄像机设备4连接到电视机终端设备3的通信单元59，并且所拍摄的图像输入至此。
由于收费服务器5、财务服务器(客户用)6、以及财务服务器(提供商用)7的基本结构与电视机终端设备3的类似，因此略去其描述。
现在参照图6描述摄像机终端设备2。
摄像机终端设备2的信号处理器71根据从图像拍摄单元74(相当于图4所示的传感器76a)输入的图像、或者从图像拍摄单元74之外的单元输入的图像，在显示单元73上不加改变输入图像地显示所述输入图像。另外，信号处理器71生成输入图像的前景、输入图像的背景、通过组合输入图像的前景与预先存储在图像存储单元72中的背景所生成的合成图像、通过组合输入图像的背景与预先存储在图像存储单元72中的前景所生成的合成图像、通过组合预先存储在图像存储单元72中的前景和背景所生成的合成图像、预先存储在图像存储单元72中的前景、以及预先存储在图像存储单元72中的背景中的任意一个，并在显示单元73上显示所生成的图像。
输入到信号处理器71的图像不必一定是一图像。具体地说，当在显示单元73上显示上述各种输出图像时，信号处理器71在图像存储单元72中存储所述图像，并为每一图像分配ID(ID分配给每一个前景成分图像、背景成分图像和合成图像)。通过输入指定所存储的图像的图像ID，信号处理器71将存储在图像存储单元72的图像中与所述图像ID相对应的图像作为输入图像。
收费处理器75通过网络1与收费服务器5协同工作以执行收费处理，对信号处理器71执行的图像分离处理或图像合成处理进行费用收取。收费处理器75存储所述ID，并且当执行收费处理时，将该ID与用户ID、验证信息以及费用一起发送给收费服务器5。
信号处理器71的详细描述将在下面参照图8描述。
现在参照图7描述电视机终端设备3的结构。除了下面所述的之外，电视机终端设备3的结构与摄像机终端设备2的结构相同，即，电视机终端设备3不包括在摄像机终端设备2中所包括的图像拍摄单元74，而包括调谐器84，用于将外部摄像机设备4拍摄的图像或者从天线(未示出)接收的电磁波中生成的NTSC(国家电视标准委员会)制式的图像输出给信号处理器81。也就是说，电视机终端设备3的信号处理器81、图像存储单元82、显示单元83、收费处理器85分别相应于摄像机终端设备2的信号处理器71、图像存储单元72、显示单元73、收费处理器75，因此略去其描述。
下面参照图8描述信号处理器71的结构。
信号处理器71的分离部分91将图像拍摄单元74输入的输入图像、另一个输入图像、或者由图像ID指定并存储在图像存储单元72中的图像分离成前景成分图像和背景成分图像，并将期望的图像输出到合成器92。换句话说，当输出的图像，即，期望的图像是前景成分图像时，仅将分离的图像部分的前景成分图像输出到合成器92。与此相反，当输出图像需要的图像是背景成分图像时，仅将分离的图像部分的背景成分图像输出到合成器92。ID分配给输出到合成器92的每一个图像，并且每一个图像由此存储到图像存储单元72中。无需多说，分离部分91可以不分离输入图像而将输入图像输出到合成器92。在这种情况下，分离部分91分配ID给输出图像，并在图像存储单元72中存储所述输出图像。
如果需要，合成器92组合从分离部分91输入的图像与存储在图像存储单元72中的图像，以合成图像并输出所合成的图像。具体地说，当输出所输入图像的前景或背景时，合成器92输出从分离部分91输入的前景成分图像或背景成分图像，而不改变所述前景成分图像或背景成分图像。当输出通过组合输入图像的前景和预先存储在图像存储单元72中的背景所生成的合成图像、或者当输出通过组合输入图像的背景和预先存储在图像存储单元72中的前景所生成的合成图像时，合成器92组合从分离部分91输入的前景成分图像或背景成分图像与预先存储在图像存储单元72中的背景成分图像或前景成分图像，以合成图像并输出所合成的图像。当输出通过组合预先存储在图像存储单元72中的前景和背景、预先存储在图像存储单元72中的前景、或者预先存储在图像存储单元72中的背景所生成的合成图像时，合成器92组合预先存储在图像存储单元72中的前景成分图像和背景成分图像以合成图像，并输出所合成的图像，或者输出预先存储在图像存储单元72中的前景成分图像或背景成分图像而不改变所述前景成分图像或背景成分图像。
当分离部分91执行分离处理时，或者当合成器92执行合成处理时，收费处理器75执行收费处理。当分离部分91不执行分离处理并输出没有改变的图像时，或者当合成器92不执行合成处理并输出没有改变的图像时，可以不收取费用。
图9是显示分离部分91的方框图。
分离部分91的每种功能由硬件来实现还是由软件来实现是无关紧要的。也就是说，本说明书中的每个方块图不仅可以被当作硬件方块图，而且可以被当作软件功能方块图。
把提供给分离部分91的输入图像提供给对象提取单元101、区域指定单元103、混合比计算器104、和前景/背景分离器105。
对象提取单元101粗略提取包含在输入图像中与前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测器102。例如，对象提取单元101通过检测包含在输入图像中与前景对象相对应的图像对象的轮廓，粗略提取与前景对象相对应的图像对象。
对象提取单元101粗略提取与包含在输入图像中的背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测器102。例如，对象提取单元101通过输入图像和与提取的前景对象相对应的图像对象之间的差异，粗略提取与背景对象相对应的图像对象。
此外，例如，对象提取单元101可以根据存储在内置背景存储器中的背景图像与输入图像之间的差异，粗略提取与前景对象相对应的图像对象和与背景对象相对应的图像对象。
运动检测器102通过诸如块匹配、梯度(gradient)、相位关联、和像素递归等的技术，计算与粗略提取的前景对象相对应的运动向量，把计算的运动向量和运动向量位置信息(指定与运动向量相对应的像素位置的信息)提供给区域指定单元103和运动模糊调整单元106。
从运动检测器102输出的运动向量包括与运动量v相对应的信息。
运动检测器102可以把每个图像对象的运动向量，以及指定图像对象的像素的像素位置信息输出到运动模糊调整单元106。
运动量v是代表以像素间距(pitch)为单位与运动对象相对应的图像的位置改变的值。例如，如果与前景相对应的对象图像发生移动，致使在下一个帧中定位时被显示在相对于基准帧偏离4个像素的位置上，那么，与前景相对应的对象图像的运动量v是4。
如果调整与运动对象相对应的运动模糊量，那么，需要对象提取单元101和运动检测器102。
区域指定单元103确定输入图像的每一个像素属于前景区域、背景区域、或混合区域中的哪一个区域，并且把指示每个像素所属区域的信息(下文中称作“区域信息”)提供给混合比计算器104、前景/背景分离器105、和运动模糊调整单元106。
混合比计算器104根据输入图像和区域指定单元103供应的区域信息，计算与包含在混合区域中的像素相对应的混合比(下文中称作“混合比α”)并将所计算的混合比α供应给前景/背景分离器105。
混合比α是表示与背景对象相对应的图像成分(下文中也称作“背景成分”)与像素值的比率，用下面示出的方程式(3)表示。
根据区域指定单元103供应的区域信息、和混合比计算器104供应的混合比α，前景/背景分离器105把输入图像分离成只由与前景对象相对应的图像成分(下文中也称作“前景成分”)组成的前景成分图像、和只由背景成分组成的背景成分图像，并且把前景成分图像供应给运动模糊调整单元106和选择器107。分离的前景成分图像也可以设为最后的输出。与现有的不考虑混合区域而指定前景和背景的方法相比较，可以获得更加精细的前景和背景。
运动模糊调整单元106根据从运动向量导出的运动量v、和区域信息，确定指示包含在前景成分图像中的至少一个像素的处理单元(processingunit)。处理单元是指示将被进行运动模糊调整的一组像素的数据。
根据输入到分离部分91的运动模糊调整量、前景/背景分离器105提供的前景成分图像、和运动检测器102提供的运动向量和其位置信息、以及处理单元，运动模糊调整单元106通过消除、减少或增加包含在前景成分图像中的运动模糊，调整包含在前景成分图像中的运动模糊量。然后运动模糊调整单元106输出已经经过运动模糊量调整的前景成分图像给选择器107。不一定必须使用运动向量和其位置信息。
运动模糊是包含在与运动对象相对应的图像中的失真，它是由被拍摄对象在现实世界中的运动与传感器的图像拍摄特性造成的。
选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器105提供的前景成分图像、和从运动模糊调整单元106提供的已经经过运动模糊量调整的前景成分图像中的一个，并输出所选择的前景成分图像。
现在参照图10到图25描述供应给分离部分91的输入图像。
图10显示传感器进行的图像拍摄。传感器由例如CCD(电荷耦合器件)视频摄像机构成，CCD视频摄像机配备有作为固态图像拍摄器件的CCD面传感器。例如，在该图中，现实世界中与前景相对应的对象112在与背景相对应的对象111与传感器之间、沿着水平方向从左边移动到右边。
传感器拍摄与前景相对应的对象112、以及与背景相对应的对象111的图像。传感器以帧为单位输出拍摄的图像。例如，传感器每秒输出30个帧的图像。传感器的曝光时间是1/30秒。曝光时间代表传感器开始把输入光转换成电荷直到把输入光转换成电荷结束之间的间隔。曝光时间在下文也被称为“快门时间(shutter time)”。
图11显示像素的排列。在图11中，A到I表示各个像素。这些像素排列在与图像相对应的平面上。在传感器上布置着与像素一一对应的检测元件。当传感器执行图像拍摄时，每一个检测元件输出与组成图像的一个像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，和检测元件的Y方向的位置对应于图像上垂直方向的位置。
如图12所示，检测元件例如CCD在与快门时间相对应的间隔内把输入光转换成电荷，并且存储转换的电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门时间相对应的间隔中，把从输入光转换而来的电荷加入顺序存储的电荷中。也就是说，检测元件在与快门时间相对应的间隔中，积分输入光，并且存储与积分光相对应的的电荷量。也可以认为，检测元件具有对时间的积分效应。
在检测元件中存储的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，然后输出它。因此，从传感器输出的各个像素值具有投影在线性空间中的值，为在快门时间内积分与前景或背景相对应的对象的给定三维部分所得的结果。
分离部分91提取由于传感器这样的存储操作而隐埋在输出信号中的有效信息，譬如，混合比α。分离部分91调整由于前景图像对象本身的混合造成的失真量，譬如，运动模糊量。此外，分离部分91调整由于前景图像对象与背景图像对象的混合造成的失真量。
图13A和13B显示了拍摄与前景相对应的运动对象、和与静止背景相对应的对象的图像获得的图像。图13A显示了拍摄与前景相对应的运动对象、和与背景相对应的静止对象所获得的图像。对于图13A所示的例子，与前景相对应的对象在屏幕上沿着水平方向从左边移动到右边。
图13B显示沿着时间方向展开与图13A所示的图像的一行相对应的像素值所获得的模型图。图13B中的水平方向对应于图13A中的空间X方向。
背景区域中的像素值只由背景成分，即，与背景对象相对应的图像成分组成。前景区域中的像素值只由前景成分，即，与前景对象相对应的图像成分组成。
混合区域内的像素值由背景成分和前景成分组成。由于混合区域内的像素值由背景成分和前景成分组成，因此，也可以认为混合区域是“失真区域”。混合区域进一步分为覆盖背景区域和未覆盖背景区域。
覆盖背景区域是沿着前景对象的前进方向，与领先部分相对应的位置上的混合区域，其中，随着时间的流逝背景成分逐渐被前景覆盖。
与此相反，未覆盖背景区域是沿着前景对象的前进方向，与尾随部分相对应的位置上的混合区域，其中，背景成分随着时间的流逝而逐渐出现。
如上所述，包括前景区域、背景区域、或覆盖背景区域、或未覆盖背景区域的图像被当作输入图像输入到区域指定单元103、混合比计算器104、和前景/背景分离器105。
图14显示如上所述的背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域。在与图13A和图13B所示的图像相对应的区域中，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景变成前景的部分，和混合区域的未覆盖背景区域是从前景变成背景的部分。
图15显示沿着时间方向展开对与静止前景相对应的对象和与静止背景相对应的对象进行拍摄所得的图像中、一个接一个排列成一行的像素的像素值所获得的模型图。例如，可以选择屏幕中排列在一行上的像素，作为一个接一个排列成一行的像素。
图15所示F01到F04表示的像素值是与静止前景对象相对应的像素的像素值。图15所示B01到B04表示的像素值是与静止背景对象相对应的像素的像素值。
图15中的垂直方向对应于时间，并且图15中时间自上而下的流逝。图15中长方形的上侧位置对应于传感器开始把输入光转换成电荷的时间，和图15中长方形的下侧位置对应于传感器结束把输入光转换成电荷的时间。也就是说，图15中从长方形的上侧到下侧的距离对应于快门时间。
下面假定例如快门时间等于帧大小(size)来描述图15中所示的像素。
图15中的水平方向对应于在图13A中所述的空间方向X。更明确地说，如图15中的例子所示，从图15中用“F01”表示的长方形的左侧到用“B04”表示的长方形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续的像素。
在前景对象和背景对象保持静止的情况下，输入到传感器的光在与快门时间相对应的间隔内不会发生改变。
将与快门时间相对应的间隔分割成长度相等的两个或更多个间隔。例如，在虚拟分割数是4的情况下，图15所示的模型图可以用图16所示的模型图来表示。虚拟分割数可以根据快门时间内与前景相对应的对象的运动量v相对应地设置。例如，当运动量v是4时，虚拟分割数设置为4，并且把与快门时间相对应的间隔分割成4个部分。
图中的最上行对应于从打开快门开始的第1个分(divided)间隔。图中第2行对应于从打开快门开始的第2个分间隔。图中第3行对应于从打开快门开始的第3个分间隔。图中第4行对应于从打开快门开始的第4个分间隔。
根据运动量v分割的快门时间在下文中也被称为“快门时间/v”。
当与前景相对应的对象静止时，由于输入传感器的光不发生改变，因此前景成分F01/v等于像素值F01除以虚拟分割数所得的值。类似地，当与前景相对应的对象静止时，前景成分F02/v等于像素值F02除以虚拟分割数所得的值，前景成分F03/v等于像素值F03除以虚拟分割数所得的值，和前景成分F04/v等于像素值F04除以虚拟分割数所得的值。
当与背景相对应的对象静止时，由于输入传感器的光不发生改变，因此背景成分B01/v等于像素值B01除以虚拟分割数所得的值。类似地，当与背景相对应的对象静止时，背景成分B02/v等于像素值B02除以虚拟分割数所得的值，背景成分B03/v等于像素值B03除以虚拟分割数所得的值，和背景成分B04/v等于像素值B04除以虚拟分割数所得的值。
更具体地说，当与前景相对应的对象静止时，在与快门时间相对应的间隔内，输入传感器的、与前景对象相对应的光不发生改变。因此，与从快门打开算起的快门时间/v的第1部分相对应的前景成分F01/v、与从快门打开算起的快门时间/v的第2部分相对应的前景成分F01/v、与从快门打开算起的快门时间/v的第3部分相对应的前景成分F01/v、和与从快门打开算起的快门时间/v的第4部分相对应的前景成分F01/v是相同的。F02/v到F04/v具有与F01/v相同的关系。
当与背景相对应的对象静止时，在与快门时间相对应的间隔内，输入传感器的、与背景对象相对应的光不发生改变。因此，与从快门打开算起的快门时间/v的第1部分相对应的背景成分B01/v、与从快门打开算起的快门时间/v的第2部分相对应的背景成分B01/v、与从快门打开算起的快门时间/v的第3部分相对应的背景成分B01/v、和与从快门打开算起的快门时间/v的第4部分相对应的背景成分B01/v是相同的。B02/v到B04/v具有与B01/v相同的关系。
现在描述与前景相对应的对象发生移动和与背景相对应的对象保持静止的情况。
图17显示当与前景相对应的对象在图17中朝着右侧移动时，沿着时间方向展开包括覆盖背景区域的一行上的像素的像素值所获得的模型图。在图17中，运动量v是4。由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是作恒速运动的刚体。在图17中，与前景相对应的对象图像发生移动，致使在下一个帧被显示时位于相对于基准帧向右4个像素的位置上。
在图17中，最左边像素到第4个像素属于前景区域。在图17中，从最左算起第5个像素到第7个像素属于混合区域的覆盖背景区域。在图17中，最右边像素属于背景区域。
由于与前景相对应的对象发生移动，致使随着时间的流逝逐渐覆盖了与背景相对应的对象。因此，在与快门时间相对应的间隔的某个时间点上，包含在属于覆盖背景区域的像素的像素值中的成分从背景成分变成前景成分。
例如，图17中用粗线框(frame)围绕的像素值M由方程式(1)表示M＝B02/v+B02/v+F07/v+F06/v(1)例如，由于从左边算起第5个像素包括与快门时间/v的一个部分相对应的背景成分和与快门时间/v的三个部分相对应的前景成分，因此，从左边算起第5个像素的混合比α是1/4。由于从左边算起第6个像素包括与快门时间/v的两个部分相对应的背景成分和与快门时间/v的两个部分相对应的前景成分，因此，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与快门时间/v的三个部分相对应的背景成分和与快门时间/v的一个部分相对应的前景成分，因此，从左边算起第7个像素的混合比α是3/4。
可以假设与前景相对应的对象是刚体和前景对象作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图17中从左边算起第4个像素的相应于快门打开算起的快门时间/v的第1部分的前景成分F07/v等于图17中从左边算起第5个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F07/v分别等于图17中从左边算起第6个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图17中从左边算起第7个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。
可以假设与前景相对应的对象是刚体和前景对象作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图17中从左边算起第3个像素的相应于从快门打开算起的快门时间/v的第1部分的前景成分F06/v等于图17中从左边算起第4个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F06/v分别等于图17中从左边算起第5个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图17中从左边算起第6个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。
可以假设与前景相对应的对象是刚体和前景对象作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图17中从左边算起第2个像素的相应于从快门打开算起的快门时间/v的第1部分的前景成分F05/v等于图17中从左边算起第3个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F05/v分别等于图17中从左边算起第4个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图17中从左边算起第5个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。
可以假设与前景相对应的对象是刚体和前景对象作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图17中最左边像素的与从快门打开算起的快门时间/v的第1部分相对应的前景成分F04/v等于图17中从左边算起第2个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F04/v分别等于图17中从左边算起第3个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图17中从左边算起第4个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。
如上所述，由于与运动对象相对应的前景区域包括运动模糊，因此，可以认为这是“失真区域”。
图18显示当与前景相对应的对象在图18中朝着右侧移动时，沿着时间方向展开包括未覆盖背景区域的一行上的像素的像素值所获得的模型图。在图18中，运动量v是4。由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是一个刚体并作恒速运动。在图18中，与前景相对应的对象图像向右移动，因此，当在下一个帧中被显示时位于相对于基准帧向右4个像素的位置上。
在图18中，最左边像素到第4个像素属于背景区域。在图18中，从最左算起第5个像素到第7个像素属于作为未覆盖背景区域的混合区域。在图18中，最右边像素属于前景区域。
由于与已经掩藏了与背景相对应的对象的前景而相对应的对象发生移动，致使随着时间的流逝逐渐从与背景相对应的对象的前面移走。因此，在与快门时间相对应的间隔的某个时间点上，包含在属于未覆盖背景区域的像素的像素值中的成分从前景成分变成背景成分。
例如，图18中用粗线框围绕的像素值M′由方程式(2)表示M′＝F02/v+F01/v+B26/v+B26/v(2)例如，从左边算起第5个像素包括与快门时间/v的三个部分相对应的背景成分和与快门时间/v的一个部分相对应的前景成分，因此，从左边算起第5个像素的混合比α是3/4。从左边算起第6个像素包括与快门时间/v的两个部分相对应的背景成分和与快门时间/v的两个部分相对应的前景成分，因此，从左边算起第6个像素的混合比α是1/2。从左边算起第7个像素包括与快门时间/v的一个部分相对应的背景成分和与快门时间/v的三个部分相对应的前景成分，因此，从左边算起第7个像素的混合比α是1/4。
当推广方程式(1)和方程式(2)时，像素值M可以由方程式(3)表示M=α·B+ΣIFi/v---(3)]]>这里，α表示混合比，B表示背景的像素值，和Fi/v表示前景成分。
可以假设与前景相对应的对象是作恒速运动的刚体，并且运动量v是4。因此，例如，图18中从左边算起第5个像素的与从快门打开算起的快门时间/v的第1部分相对应的前景成分F01/v等于图18中从左边算起第6个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F01/v分别等于图18中从左边算起第7个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图18中从左边算起第8个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。
可以假设与前景相对应的对象是作恒速运动的刚体，并且运动量v是4。因此，例如，图18中从左边算起第6个像素的与从快门打开算起的快门时间/v的第1部分的前景成分F02/v等于图18中从左边算起第7个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F02/v等于图18中从左边算起第8个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分。
可以假设与前景相对应的对象是作恒速运动的刚体，并且运动量v是4。因此，例如，图18中从左边算起第7个像素的与从快门打开算起的快门时间/v的第1部分相对应的前景成分F03/v等于图18中从左边算起第8个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。
已经参照图16到图18描述了虚拟分割数是4的情况。虚拟分割数对应于运动量v。运动量v一般对应于与前景相对应的对象的运动速度。例如，如果与前景相对应的对象发生移动，致使当在下一帧中被显示时显示在相对于给定帧向右4个像素的位置上，则运动量v设定为4。根据运动量v，虚拟分割数也设定为4。类似地，当与前景相对应的对象发生移动，致使当在下一帧中被显示时显示在相对于给定帧向右6个像素的位置上，则运动量v设定为6，并且虚拟分割数也设定为6。
图19和图20显示了如上所述的前景区域、背景区域以及由覆盖背景区域和未覆盖背景区域组成的混合区域与相应于快门时间的分间隔的前景成分和背景成分之间的关系。
图19显示了从包括与在静止背景的前面移动的对象相对应的前景的图像中提取前景区域、背景区域、和混合区域的像素的例子。在图19所示的例子中，与前景相对应的对象在屏幕上沿着水平方向移动。
帧#n+1是接在帧#n之后的帧，和帧#n+2是接在帧#n+1之后的帧。
从帧#n到帧#n+2之一中提取前景区域、背景区域、和混合区域的像素，运动量v设置为4。图20显示了沿着时间方向展开的提取像素的像素值所获得的模型。
由于与前景相对应的对象A发生移动，因此，前景区域的像素值由与快门时间/v相对应的4个不同前景成分组成。例如，图20所示的前景区域的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。也就是说，前景区域的像素包含了运动模糊。
由于与背景相对应的对象保持静止，因此，输入传感器的、与背景相对应的光在快门时间内不发生改变。在这种情况下，背景区域的像素值不包含运动模糊。
属于由覆盖背景区域或未覆盖背景区域组成的混合区域的像素的像素值由前景成分和背景成分组成。
下面描述当与对象相对应的图像发生移动时，沿着时间方向展开在多个帧的单行上一个接一个排列并且帧被覆写时位于相同位置上的像素的像素值所获得的模型。例如，当与对象相对应的图像在屏幕上沿着水平方向移动时，可以选择在屏幕上排列的像素，作为一个接一个排列的像素。
图21显示沿着时间方向展开在拍摄与静止背景相对应的对象所得的图像的三个帧中一个接一个排列并且帧被覆写时位于相同位置上的像素所获得的模型图。帧#n是接在#n-1之后的帧，和帧#n+1是接在#n之后的帧。其它帧用相同的方式表示。
图21所示的像素值B01到B12是与静止背景的对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05的像素相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。
图22显示沿着时间方向展开在拍摄与图22中向右移动的前景相对应的对象、以及与静止背景相对应的对象所得图像的三个帧中一个接一个排列并且帧被覆写时位于相同位置上的像素的像素值所获得的模型图。图22所示的模型包括覆盖背景区域。
在图22中可以假设与前景相对应的对象是作恒速运动的刚体，并且该对象发生移动，致使在下一个帧中被显示在向右4个像素的位置上。因此，运动量v是4，虚拟分割数也是4。
例如，与从快门打开算起的快门时间/v的第1部分相对应的图22中帧#n-1的最左边像素的前景成分是F12/v，与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第2个像素的前景成分也是F12/v。与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第3个像素的前景成分，和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第4个像素的前景成分都是F12/v。
与从快门打开算起的快门时间/v的第2部分相对应的图22中的帧#n-1中的最左边像素的前景成分是F11/v，和与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第2个像素的前景成分也是F11/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第3个像素的前景成分是F11/v。
与从快门打开算起的快门时间/v的第3部分相对应的图22中的帧#n-1中的最左边像素的前景成分是F10/v，和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第2个像素的前景成分也是F10/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中的帧#n-1中的最左边像素的前景成分是F09/v。
由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n-1中从左边算起第2个像素的背景成分是B01/v。与从快门打开算起的快门时间/v的第1和第2部分相对应的图22中的帧#n-1中从左边算起第3个像素的背景成分都是B02/v。与从快门打开算起的快门时间/v的第1到第3部分相对应的图22中的帧#n-1中从左边算起第4个像素的背景成分B03/v。
在图22中的帧#n-1中，最左边的像素属于前景区域，和从左边算起第2个到第4个像素属于作为覆盖背景区域的混合区域。
在图22中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区域，和其像素值分别是B04到B11。
在图22中的帧#n中从左边算起的第1个像素到第5个像素属于前景区域。在帧#n中的前景区域中快门时间/v的前景成分是F05/v到F12/v之一。
可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n中从左边算起第5个像素的前景成分是F12/v。与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第6个像素的前景成分也是F12/v。与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第7个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第8个像素的前景成分都是F12/v。
与从快门打开算起的快门时间/v的第2部分相对应的图22中的帧#n中从左边算起第5个像素的前景成分是F11/v，和与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第6个像素的前景成分也是F11/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第7个像素的前景成分是F11/v。
与从快门打开算起的快门时间/v的第3部分相对应的图22中的帧#n中从左边算起第5个像素的前景成分是F10/v，和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第6个像素的前景成分也是F10/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第5个像素的前景成分是F09/v。
由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n中从左边算起第6个像素的背景成分是B05/v。与从快门打开算起的快门时间/v的第1和第2部分相对应的图22中的帧#n中从左边算起第7个像素的背景成分都是B06/v。与从快门打开算起的快门时间/v的第1到第3部分相对应的图22中的帧#n中从左边算起第8个像素的背景成分B07/v。
在图22中的帧#n中，从左边算起第6个到第8个像素属于作为覆盖背景区域的混合区域。
在图22中的帧#n中从左边算起的第9个像素到第1 2个像素属于背景区域，和像素值分别是B08到B11。
在图22中的帧#n+1中从左边算起的第1个到第9个像素属于前景区域。在帧#n+1中的前景区域中快门时间/v的前景成分是F01/v到F12/v之一。
可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右边4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n+1中从左边算起第9个像素的前景成分是F12/v，和与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第10个像素的前景成分也是F12/v。与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第11个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第12个像素的前景成分都是F12/v。
与从快门打开算起的快门时间/v的第2部分相对应的图22中的帧#n+1中从左边算起第9个像素的前景成分是F11/v，和与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第10个像素的前景成分也是F11/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第11个像素的前景成分是F11/v。
与从快门打开算起的快门时间/v的第3部分相对应的图22中的帧#n+1中从左边算起第9个像素的前景成分是F10/v，和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第10个像素的前景成分也是F10/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第9个像素的前景成分是F09/v。
由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n+1中从左边算起第10个像素的背景成分是B09/v。与从快门打开算起的快门时间/v的第1和第2部分相对应的图22中的帧#n+1中从左边算起第11个像素的背景成分都是B10/v。与从快门打开算起的快门时间/v的第1到第3部分相对应的图22中的帧#n+1中从左边算起第12个像素的背景成分B11/v。
在图22中的帧#n+1中，从左边算起第10个到第12个像素属于作为覆盖背景区域的混合区域。
图23是从图22所示的像素值中提取前景成分所获得的图像模型图。
图24显示沿着时间方向展开在拍摄图24中与前景相对应的向右移动的对象、以及与静止背景相对应的对象所得图像的三个帧中一个接一个排列并且帧被覆写时位于相同位置上的像素的像素值所获得的模型图。图24所示的模型图包括未覆盖背景区域。
在图24中，可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右边4个像素的位置上。因此，运动量v是4。
例如，与从快门打开算起的快门时间/v的第1部分相对应的图24中的帧#n-1的最左边像素的前景成分是F13/v，与从快门打开算起的快门时间/v的第2部分相对应的图24中从左边算起第2个像素的前景成分也是F13/v。与从快门打开算起的快门时间/v的第3部分相对应的图24中从左边算起第3个像素的前景成分，和与从快门打开算起的快门时间/v的第4部分相对应的图24中从左边算起第4个像素的前景成分都是F13/v。
与从快门打开算起的快门时间/v的第1部分相对应的图24中的帧#n-1中从左边算起第2个像素的前景成分是F14/v，和与从快门打开算起的快门时间/v的第2部分相对应的图24中从左边算起第3个像素的前景成分也是F14/v。与从快门打开算起的快门时间/v的第1部分相对应的图24中从左边算起第3个像素的前景成分是F15/v。
由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第2到4部分相对应的图24中的帧#n-1中的最左边像素的背景成分是B25/v。与从快门打开算起的快门时间/v的第3和第4部分相对应的图24中的帧#n-1中从左边算起第2个像素的背景成分都是B26/v。与从快门打开算起的快门时间/v的第4部分相对应的图24中的帧#n-1中从左边算起第3个像素的背景成分B27/v。
在图24中的帧#n-1中，最左边像素到第3个像素属于作为未覆盖背景区域的混合区域。
在图24中的帧#n-1中从左边算起的第4个像素到第12个像素属于前景区域。帧中的前景成分是F13/v到F24/v之一。
在图24中的帧#n中最左边像素到从左边算起的第4个像素属于背景区域，和像素值分别是B25到B28。
可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图24中的帧#n中从左边算起第5个像素的前景成分是F13/v，和与从快门打开算起的快门时间/v的第2部分相对应的图24中从左边算起第6个像素的前景成分也是F13/v。与从快门打开算起的快门时间/v的第3部分相对应的图24中从左边算起第7个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图24中从左边算起第8个像素的前景成分都是F13/v。
与从快门打开算起的快门时间/v的第1部分相对应的图24中的帧#n中从左边算起第6个像素的前景成分是F14/v，和与从快门打开算起的快门时间/v的第2部分相对应的图24中从左边算起第7个像素的前景成分也是F14/v。与从快门打开算起的快门时间/v的第1部分相对应的图24中从左边算起第8个像素的前景成分是F15/v。
由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第2到第4部分相对应的图24中的帧#n中从左边算起第5个像素的背景成分是B29/v。与从快门打开算起的快门时间/v的第3和第4部分相对应的图24中的帧#n中从左边算起第6个像素的背景成分都是B30/v。与从快门打开算起的快门时间/v的第4部分相对应的图24中的帧#n中从左边算起第7个像素的背景成分B31/v。
在图24中的帧#n中，从左边算起第5个到第7个像素属于作为未覆盖背景区域的混合区域。
在图24中的帧#n中从左边算起的第8个像素到第12个像素属于前景区域。与帧#n中的前景区域中快门时间/v的间隔相对应的值是F13/v到F20/v之一。
在图24中的帧#n+1中的最左边像素到从左边算起的第8个像素属于背景区域，和其像素值分别是B25到B32。
可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右边4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图24中的帧#n+1中从左边算起第9个像素的前景成分是F13/v，和与从快门打开算起的快门时间/v的第2部分相对应的图24中从左边算起第10个像素的前景成分也是F13/v。与从快门打开算起的快门时间/v的第3部分相对应的图24中从左边算起第11个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图24中从左边算起第12个像素的前景成分都是F13/v。
与从快门打开算起的快门时间/v的第1部分相对应的图24中的帧#n+1中从左边算起第10个像素的前景成分是F14/v，和与从快门打开算起的快门时间/v的第2部分相对应的图24中从左边算起第11个像素的前景成分也是F14/v。与从快门打开算起的快门时间/v的第1部分相对应的图24中从左边算起第12个像素的前景成分是F15/v。
由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第2到第4部分相对应的图24中的帧#n+1中从左边算起第9个像素的背景成分都是B33/v。与从快门打开算起的快门时间/v的第3和第4部分相对应的图24中的帧#n+1中从左边算起第10个像素的背景成分都是B34/v。与从快门打开算起的快门时间/v的第4部分相对应的图24中的帧#n+1中从左边算起第11个像素的背景成分B35/v。
在图24中的帧#n+1中，从左边算起第9个到第11个像素属于作为未覆盖背景区域的混合区域。
图24中的帧#n+1中从左边算起的第12个像素属于前景区域。在帧#n+1中的前景区域中快门时间/v的前景成分是F13/v到F16/v之一。
图25显示从图24所示的像素值中提取前景成分所获得的图像模型图。
返回到图9，区域指定单元103利用多个帧中的像素值，指定指示输入图像的各个像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域中哪一个的标志，并且把标志供应给混合比计算器104和运动模糊调整单元106，作为区域信息。
混合比计算器104根据多个帧中的像素值和区域信息，为包含在混合区域内的每一个像素计算混合比α，并且把计算的混合比α供应给前景/背景分离器105。
前景/背景分离器105根据多个帧中的像素值、区域信息、和混合比α，提取只由前景成分组成的前景成分图像，并且将该前景成分图像供应给运动模糊调整单元106。
运动模糊调整单元106根据前景/背景分离器105供应的前景成分图像、运动检测器102供应的运动向量、和区域指定单元103供应的区域信息，调整包含在前景图像中的运动模糊量，并且输出已经经过运动模糊调整的前景成分图像。
下面参照图26的流程图描述分离部分91所执行的调整运动模糊量的处理。在步骤S11中，根据输入图像，区域指定单元103进行区域指定处理，生成指示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域的哪一个的区域信息。区域指定处理以后再加以描述。区域指定单元103把生成的区域信息供应给混合比计算器104。
在步骤S11中，区域指定单元103可以根据输入图像，生成指示输入图像的每个像素属于前景区域、背景区域、或混合区域(不考虑每一个像素属于覆盖背景区域还是未覆盖背景区域)的哪一个的区域信息。在这种情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向，确定混合区域是覆盖背景区域还是未覆盖背景区域。例如，如果输入图像在运动向量的方向上按照前景区域、混合区域、和背景区域的顺序排列，则确定混合区域是覆盖背景区域。如果输入图像在运动向量的方向上按照背景区域、混合区域、和前景区域的顺序排列，则确定混合区域是未覆盖背景区域。
在步骤S12中，混合比计算器104根据输入图像和区域信息，为包含在混合区域内的每个像素计算混合比α。混合比计算的处理以后再作详细描述。混合比计算器104把计算的混合比α供应给前景/背景分离器105。
在步骤S13中，前景/背景分离器105根据区域信息和混合比α，从输入图像中提取前景成分，并且将该前景成分供应给运动模糊调整单元106作为前景成分图像。
在步骤S14中，运动模糊调整单元106根据运动向量和区域信息，生成指示沿着运动方向排列并属于未覆盖背景区域、前景区域、或覆盖背景区域之一的连续像素的位置的处理单元，并且调整与处理单元相对应的包含在前景成分中的运动模糊量。调整运动模糊量的处理以后再加以描述。
在步骤S15中，分离部分91确定整个屏幕的处理是否已经结束。如果确定对整个屏幕的处理还没有结束，流程转到步骤S14，重复调整与处理单元相对应的前景成分的运动模糊量的处理。
如果在步骤S15中确定对整个屏幕的处理已经结束，则处理结束。
通过这种方式，分离部分91可以通过分离前景和背景，调整包含在前景中的运动模糊量。也就是说，分离部分91可以调整包含在表示前景像素的像素值的取样数据中的运动模糊的数量。
下面描述区域指定单元103、混合比计算器104、前景/背景分离器105、运动模糊调整单元106的配置。
图27是显示区域指定单元103的配置例子的方块图。图27所示的区域指定单元103不使用运动向量。帧存储器201以帧为单位存储输入图像。当处理的对象是帧#n时，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。
静止/运动确定部分202-1从帧存储器201中读出帧#n+2中、处在与帧#n中像素所属区域已经确定的指定像素相同位置上的像素的像素值，以及读出帧#n+1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算读出像素值之差的绝对值。静止/运动确定部分202-1确定帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值是否大于预定阈值Th。如果确定差值的绝对值大于阈值Th，则静止/运动确定部分202-1把指示“运动”的静止/运动判断结果供应给区域确定部分203-1。如果确定帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-1把指示“静止”的静止/运动判断结果供应给区域确定部分203-1。
静止/运动确定部分202-2从帧存储器201中读出帧#n中像素所属区域已经确定的指定像素的像素值，以及读出帧#n+1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-2确定帧#n+1中的像素值与帧#n中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/动动判断结果供应给区域确定部分203-1和区域确定部分203-2。如果确定帧#n+1中的像素的像素值与帧#n中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-2把指示“静止”的静止/运动判断结果供应给区域确定部分203-1和区域确定部分203-2。
静止/运动确定部分202-3从帧存储器201中读出帧#n中像素所属区域已经确定的指定像素的像素值，以及读出帧#n-1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-3确定帧#n中的像素值与帧#n-1中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-2和区域确定部分203-3。如果确定帧#n中的像素的像素值与帧#n-1中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-3把指示“静止”的静止/运动判断结果供应给区域确定部分203-2和区域确定部分203-3。
静止/运动确定部分202-4从帧存储器201中读出帧#n-1中、处在与帧#n中像素所属区域已经确定的指定像素相同位置上的像素的像素值，以及读出帧#n-2中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-4确定帧#n-1中的像素值与帧#n-2中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-3。如果确定帧#n-1中的像素的像素值与帧#n-2中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-4把指示“静止”的静止/运动判断结果供应给区域确定部分203-3。
当静止/运动确定部分202-1供应的静止/运动判断结果指示“静止”，和静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”时，区域确定部分203-1确定帧#n中所述指定像素属于未覆盖背景区域，并且把与所述指定像素相对应的未覆盖背景区域确定标志设置成指示像素属于未覆盖背景区域的“1”。
当静止/运动确定部分202-1供应的静止/运动判断结果指示“运动”，或静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”时，区域确定部分203-1判断帧#n中所述指定像素不属于未覆盖背景区域，并且把所述指定像素相对应的未覆盖背景区域确定标志设置成指示像素不属于未覆盖背景区域的“0”。
区域确定部分203-1把如上所述，已经设置成“1”或“0”的未覆盖背景区域确定标志供应给确定标志存储帧存储器204。
当静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”，和静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”时，区域确定部分203-2确定帧#n中所述指定像素属于静止区域，并且把与所述指定像素相对应的静止区域确定标志设置成指示像素属于静止区域的“1”。
当静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”，或静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”时，区域确定部分203-2确定帧#n中所述指定像素不属于静止区域，并且把与所述指定像素相对应的静止区域确定标志设置成指示像素不属于静止区域的“0”。
区域确定部分203-2把如上所述，已经设置成“1”或“0”的静止区域确定标志供应给确定标志存储帧存储器204。
当静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”，和静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”时，区域确定部分203-2确定帧#n中所述指定像素属于运动区域，并且把与所述指定像素相对应的运动区域确定标志设置成指示所述指定像素属于运动区域的“1”。
当静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”，或静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”时，区域确定部分203-2判断帧#n中所述指定像素不属于运动区域，并且把与所述指定像素相对应的运动区域确定标志设置成指示像素不属于运动区域的“0”。
区域确定部分203-2把如上所述，已经设置成“1”或“0”的运动区域确定标志供应给确定标志存储帧存储器204。
当静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”，和静止/运动确定部分202-4供应的静止/运动判断结果指示“静止”时，区域确定部分203-3确定帧#n中所述指定像素属于覆盖背景区域，并且把与所述指定像素相对应的覆盖背景区域确定标志设置成指示所述指定像素属于覆盖背景区域的“1”。
当静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”，或静止/运动确定部分202-4供应的静止/运动判断结果指示“运动”时，区域确定部分203-3确定帧#n中所述指定像素不属于覆盖背景区域，并且把与所述指定像素相对应的覆盖背景区域确定标志设置成指示所述指定像素不属于覆盖背景区域的“0”。
区域确定部分203-3把如上所述，已经设置成“1”或“0”的覆盖背景区域确定标志供应给确定标志存储帧存储器204。
确定标志存储帧存储器204存储区域确定部分203-1供应的未覆盖背景区域确定标志、区域确定部分203-2供应的静止区域确定标志、区域确定部分203-2供应的运动区域确定标志、和区域确定部分203-3供应的覆盖背景区域确定标志。
确定标志存储帧存储器204把存储在其中的未覆盖背景区域确定标志、静止区域确定标志、运动区域确定标志、和覆盖背景区域确定标志供应给合成器205。根据确定标志存储帧存储器204供应的未覆盖背景区域确定标志、静止区域确定标志、运动区域确定标志、和覆盖背景区域确定标志，合成器205生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪一个的区域信息，并且把区域信息供应给确定标志存储帧存储器206。
确定标志存储帧存储器206存储合成器205供应的区域信息，并且输出存储的区域信息。
现在参照图28到图32描述区域指定单元103进行处理的例子。
当与前景相对应的对象发生移动时，屏幕上与对象相对应的图像的位置随着每个帧而改变。如图28所示，在帧#n中，处在Yn(x，y)所指示的位置上与对象相对应的图像在帧#n的下一帧#n+1中处在位置Yn+1(x，y)上。
图29示出沿着时间方向展开在与前景对象相对应的图像的运动方向上一个接一个排列的像素的像素值所获得的模型图。例如，如果与前景对象相对应的图像的运动方向相对于屏幕是水平的情况下，图29所示的模型是通过沿着时间方向展开一个接一个排列成一行的像素的像素值所获得的模型。
在图29中，帧#n中的行与帧#n+1中的行相同。
包含在帧#n中从左边算起第2个像素到第13个像素中的、与对象相对应的前景成分包含在帧#n+1中从左边算起第6个到第17个像素中。
在帧#n中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。
在图29所示的例子中，由于包含在帧#n中的前景成分在帧#n+1中移动了4个像素，因此，运动量v是4。与运动量v相对应，虚拟分割数也是4。
接着，对属于指定帧之前和之后的帧中的混合区域的像素的像素值的变化加以描述。
在图30中，在背景保持静止和前景的运动量v是4的帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素。由于运动量v是4，因此，在前一帧#n-1中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。此外，在帧#n-1一帧之前的帧#n-2中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。
由于与背景相对应的对象保持静止，因此，帧#n-1中从左边算起的第15个像素的像素值与帧#n-2中从左边算起的第15个像素的像素值没有发生变化。同样，帧#n-1中从左边算起的第16个像素的像素值与帧#n-2中从左边算起的第16个像素的像素值没有发生变化，和帧#n-1中从左边算起的第17个像素的像素值与帧#n-2中从左边算起的第17个像素的像素值没有发生变化。
也就是说，与帧#n中属于覆盖背景区域的像素相对应的帧#n-1和帧#n-2的像素只由背景成分组成，因此，像素值不会改变。这样，它们之间的差值的绝对值接近零。于是，静止/运动确定部分202-4作出与帧#n中属于混合区域的像素相对应的帧#n-1和帧#n-2的像素的静止/运动判断结果是“静止”的判断。
由于帧#n中属于覆盖背景区域的像素包括前景成分，因此，像素值与帧#n-1中的像素值只由背景成分组成的情况不同。于是，静止/运动确定部分202-3作出帧#n中属于混合区域的像素和与之相对应的帧#n-1中的像素的静止/运动判断结果是“运动”的判断。
如上所述，当静止/运动确定部分202-3供应指示“运动”的静止/运动判断结果，和静止/运动确定部分202-4供应指示“静止”的静止/运动判断结果时，区域确定部分203-3确定相应的像素属于覆盖背景区域。
在图31中，在背景保持静止和前景的运动量v是4的帧#n中，包含在未覆盖背景区域中的像素是从左边算起的第2个到第4个。由于运动量v是4，因此，在接在帧#n之后的帧#n+1中，从左边算起的第2个到第4个像素只包括背景成分，并且属于背景区域。此外，在接在帧#n+1之后的帧#n+2中，从左边算起的第2个到第4个像素只包含背景成分，并且属于背景区域。
由于与背景相对应的对象保持静止，因此，帧#n+2中从左边算起的第2个像素的像素值与帧#n+1中从左边算起的第2个像素的像素值没有发生变化。同样，帧#n+2中从左边算起的第3个像素的像素值与帧#n+1中从左边算起的第3个像素的像素值没有发生变化，和帧#n+2中从左边算起的第4个像素的像素值与帧#n+1中从左边算起的第4个像素的像素值没有发生变化。
也就是说，与帧#n中的未覆盖背景区域相对应的帧#n+1和帧#n+2的像素只由背景成分组成，因此，它们的像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动确定部分202-1作出与帧#n中属于混合区域的像素相对应的帧#n+1和帧#n+2的像素的静止/运动判断结果是“静止”的判断。
由于帧#n中属于未覆盖背景区域的像素包括前景成分，因此，像素值与帧#n+1中像素值只由背景成分组成的情况不同。于是，静止/运动确定部分202-2作出帧#n中属于混合区域的像素和帧#n+1中与之相对应的像素的静止/运动判断结果是“运动”的判断。
如上所述，当静止/运动确定部分202-2供应指示“运动”的静止/运动判断结果，和静止/运动确定部分202-1供应指示“静止”的静止/运动判断结果时，区域确定部分203-1确定相应的像素属于未覆盖背景区域。
图32显示区域指定单元103对帧#n的判断条件。当对帧#n-2中、处在与帧#n中将被处理的像素相同图像位置上的像素，和对帧#n-1中、处在与所述像素相同位置上的像素的判断结果为“静止”时，以及当对帧#n中的像素，和对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，区域指定单元103确定帧#n中的所述像素属于覆盖背景区域。
当对帧#n中的像素以及对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，以及当对帧#n中的像素和对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，区域指定单元103确定帧#n中的所述像素属于静止区域。
当对帧#n中的像素以及对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，以及当对帧#n中的像素和对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，区域指定单元103确定帧#n中的所述像素属于运动区域。
当对帧#n中的像素以及对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，以及当对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素，和对帧#n+2中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，区域指定单元103确定帧#n中的所述像素属于未覆盖背景区域。
图33A到33D显示由区域指定单元103所获得的区域确定结果的例子。在图33A中，用白色显示被确定为属于覆盖背景区域的像素。在图33B中，用白色显示被确定为属于未覆盖背景区域的像素。
在图33C中，用白色显示被确定为属于运动区域的像素。在图33D中，用白色显示被确定为属于静止区域的像素。
图34显示从确定标志存储帧存储器206输出的区域信息中所选择的、指示图像形式的混合区域的区域信息。在图34中，用白色显示被确定为属于覆盖背景区域或未覆盖背景区域的像素，即被确定为属于混合区域的像素。确定标志存储帧存储器206输出的、指示混合区域的区域信息指定混合区域和在前景区域内具有被没有纹理(texture)的部分包围着的纹理的部分。
下面参照图35的流程图描述区域指定单元103进行的区域指定处理。在步骤S201中，帧存储器201获取包括帧#n在内的帧#n-2到帧#n+2的图像。
在步骤S202中，静止/运动确定部分202-3确定对帧#n-1中的像素和对处在相同位置上的帧#n中的像素的判断结果是否为静止。如果确定判断结果为静止，则流程转到步骤S203，在步骤S203中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为静止。
在步骤S203中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，流程转到步骤S204。在步骤S204中，区域确定部分203-2把与被处理的像素相对应的静止区域确定标志设置成指示被处理的像素属于静止区域的“1”。区域确定部分203-2把静止区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S205。
在步骤S202中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为运动，或者，在步骤S203中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为运动，则被处理的像素不属于静止区域。于是，跳过步骤S204中的处理，过程转到步骤S205。
在步骤S205中，静止/运动确定部分202-3确定对帧#n-1的像素和处在相同位置上的帧#n的像素的判断结果是否为运动。如果确定判断结果为运动，则流程转到步骤S206，在步骤S206中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为运动。
在步骤S206中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为运动，那么，过程转到步骤S207。在步骤S207中，区域确定部分203-2把与被处理的像素相对应的运动区域确定标志设置成指示被处理的像素属于运动区域的“1”。区域确定部分203-2把运动区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S208。
在步骤S205中，如果对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为静止，或者，在步骤S206中，如果对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，那么，帧#n的像素不属于运动区域。因此，跳过步骤S207中的处理，过程转到步骤S208。
在步骤S208中，静止/运动确定部分202-4确定对帧#n-2的像素和对处在相同位置上的帧#n-1的像素的判断结果是否为静止。如果确定判断结果为静止，则流程转到步骤S209，在步骤S209中，静止/运动确定部分202-3确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果是否为运动。
在步骤S209中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为运动，那么，过程转到步骤S210。在步骤S210中，区域确定部分203-3把与被处理的像素相对应的覆盖背景区域确定标志设置成指示被处理的像素属于覆盖背景区域的“1”。区域确定部分203-3把覆盖背景区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S211。
在步骤S208中，如果确定对帧#n-2的像素和对处在相同位置上的帧#n-1的像素的判断结果为运动，或者，在步骤S209中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为静止，那么，帧#n的像素不属于覆盖背景区域。因此，跳过步骤S210中的处理，过程转到步骤S211。
在步骤S211中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为运动。如果在步骤S211中确定判断结果为运动，流程转到步骤S212，在步骤S212中，静止/运动确定部分202-1确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果是否为静止。
在步骤S212中，如果确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果为静止，那么，流程转到步骤S213。在步骤S213中，区域确定部分203-1把与被处理的像素相对应的未覆盖背景区域确定标志设置成指示被处理的像素属于未覆盖背景区域的“1”。区域确定部分203-1把未覆盖背景区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S214。
在步骤S211中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，或者，在步骤S212中，如果确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果为运动，那么，帧#n的像素不属于未覆盖背景区域。因此，跳过步骤S213中的处理，过程转到步骤S214。
在步骤S214中，区域指定单元103确定帧#n中的所有像素是否都得到区域指定。如果确定并非帧#n中的所有像素都得到区域指定，过程返回到步骤S202，为其它像素重复执行区域指定处理。
在步骤S214中，如果确定帧#n中的所有像素都得到区域指定，那么，流程转到步骤S215。在步骤S215中，合成器205根据存储在确定标志存储帧存储器204中的未覆盖背景区域确定标志和覆盖背景区域确定标志，生成指示混合区域的区域信息，并且还生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪一个的区域信息，把生成的区域信息设置到确定标志存储帧存储器206中，然后，结束处理。
如上所述，区域指定单元103可以生成指示包含在帧中的每个像素属于运动区域、静止区域、未覆盖背景区域、或覆盖背景区域的哪一个的区域信息。
区域指定单元103可以求出与未覆盖背景区域相对应的区域信息和与覆盖背景区域相对应的区域信息的逻辑“或”，从而生成与混合区域相对应的区域信息，并进而生成由指示包含在帧中的每个像素属于运动区域、静止区域、或混合区域的哪一个的标志组成的区域信息。
当与前景相对应的对象具有纹理时，区域指定单元103可以更精确地指定运动区域。
区域指定单元103可以输出指示运动区域的区域信息，作为指示前景区域的区域信息，并输出指示静止区域的区域信息，作为指示背景区域的区域信息。
已经对假定与背景相对应的对象保持静止的实施例作了描述。但是，即使与背景区域相对应的图像涉及到运动，也可以应用上述区域指定处理。例如，如果与背景区域相对应的图像匀速运动，那么，区域指定单元103根据该运动平移整个图像，并且以与背景相对应的对象保持静止的情况相同的方式进行处理。如果与背景区域相对应的图像包含局部不同的运动，那么，区域指定单元103选择与运动相对应的像素，进行上述处理。
图36是显示区域指定单元103的另一个配置例子的方块图。图36所示的区域指定单元103不使用运动向量。背景图像生成器301生成与输入图像相对应的背景图像，并且把生成的背景图像供应给二值对象图像提取部分302。背景图像生成器301提取，例如，包含在输入图像中与背景对象相对应的图像对象，并生成背景图像。
通过将与前景对象相对应、沿着图像的运动方向一个接一个排列的像素的像素值沿着时间方向展开所获得的模型图的例子显示在图37中。例如，如果与前景对象相对应的图像的运动方向相对于屏幕是水平的，则图37所示的模型图是通过在时域中展开一行中一个接一个排列的像素的像素值所获得的模型。
在图37中，帧#n中的行与帧#n-1中的行和帧#n+1中的行相同。
在帧#n中，包含在从左边算起第6个像素到第17个像素中的、与对象相对应的前景成分包含在帧#n-1中从左边算起第2个到第13个像素中，也包含在帧#n+1中从左边算起第10个到第21个像素中。
在帧#n-1中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第19个到第21个像素，和属于未覆盖背景区域的像素是从左边算起的第10个到第12个像素。
在帧#n-1中，属于背景区域的像素是从左边算起的第1个、和从左边算起的第14个到第21个像素。在帧#n中，属于背景区域的像素是从左边算起的第1个到第5个像素、和从左边算起的第18个到第21个像素。在帧#n+1中，属于背景区域的像素是从左边算起的第1个到第9个像素。
由背景图像生成器301生成的、与图37所示的例子相对应的背景图像的例子显示在图38中。背景图像由与背景对象相对应的像素组成，不包括与前景对象相对应的图像成分。
二值对象图像提取部分302根据背景图像和输入图像之间的相关性，生成二值对象图像，并且把生成的二值对象图像供应给时间变化检测器303。
图39是显示二值对象图像提取部分302的结构的方块图。相关值计算器321计算背景图像生成器301供应的背景图像与输入图像之间的相关性，生成相关值，并且把生成的相关值供应给阈值处理器322。
相关值计算器321把方程式(4)作用于如图40A所示，以X4为中心的3×3背景图像块、和如图40B所示，与上述背景图像块相对应的以Y4为中心的3×3背景图像块，从而计算与Y4相对应的相关值。 X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>相关值计算器321把如上所述为每个像素计算的相关值供应给阈值处理器322。
此外，相关值计算器可以321把方程式(7)作用于如图41A所示，以X4为中心的3×3背景图像块、和如图41B所示，与上述背景图像块相对应的以Y4为中心的3×3背景图像块，从而计算与Y4相对应的差值的绝对值之和。 相关值计算器321把如上所述计算的差值的绝对值之和作为相关值供应给阈值处理器322。
阈值处理器322将相关图像的像素值与阈值th0相比较。如果相关值小于等于阈值th0，则把二值对象图像的像素值设置成1。如果相关值大于阈值th0，则把二值对象图像的像素值设置成0。阈值处理器322然后输出其每个像素值被设置成0或1的二值对象图像。阈值处理器322可以事先存储阈值th0，也可以使用从外部输入的阈值th0。
图42显示与图37所示的输入图像的模型相对应的二值对象图像。在二值对象图像中，与背景图像相关性高的像素的像素值被设置成0。
图43是显示时间变化检测器303的结构的方块图。当确定帧#n中的像素的区域时，帧存储器341存储二值对象图像提取部分302供应的帧#n-1、帧#n、和帧#n+1的二值对象图像。
区域确定部分342根据帧#n-1、帧#n、和帧#n+1的二值对象图像，确定帧#n的每个像素的区域，从而生成区域信息，并且输出生成的区域信息。
图44是描述区域确定部分342进行判断的图。当帧#n中二值对象图像的指定像素是0时，区域确定部分342确定帧#n中的指定像素属于背景区域。
当帧#n中二值对象图像的指定像素是1，帧#n-1中二值对象图像的相对应的像素的像素值是1，和帧#n+1的二值对象图像的相对应的像素是1时，区域确定部分342确定帧#n中的指定像素属于前景区域。
当帧#n中的二值对象图像的指定像素是1，和帧#n-1的二值对象图像的相对应的像素是0时，区域确定部分342确定帧#n中的指定像素属于覆盖前景区域。
当帧#n中的二值对象图像的指定像素是1，和帧#n+1中的二值对象图像的相对应的像素是0时，区域确定部分342确定帧#n的指定像素属于未覆盖前景区域。
图45显示时间变化检测器303对与图37所示的输入图像的模型相对应的二值对象图像进行判断的例子。由于帧#n中二值对象图像的相应像素是0，因此，时间变化检测器303确定帧#n中从左边算起的第1个到第5个像素属于背景区域。
由于帧#n的二值对象图像的像素是1，和帧#n+1的相应像素是0，因此，时间变化检测器303确定从左边算起的第6个到第9个像素属于未覆盖背景区域。
由于帧#n的二值对象图像的像素是1，帧#n-1的相应像素是1，和帧#n+1的相应像素是1，因此，时间变化检测器303确定从左边算起的第10个到第13个像素属于前景区域。
由于帧#n的二值对象图像的像素是1，和帧#n-1的相应像素是0，因此，时间变化检测器303确定从左边算起的第14个到第17个像素属于覆盖背景区域。
由于帧#n的二值对象图像的相应像素是0，因此，时间变化检测器303判断从左边算起的第18个到第21个像素属于背景区域。
现在参照图46所示的流程图，描述区域指定单元103执行的区域指定处理。在步骤S301中，例如，区域指定单元103的背景图像生成器301根据输入图像，提取与包含在输入图像中的背景对象相对应的图像对象，从而生成背景图像，并且把生成的背景图像供应给二值对象图像提取部分302。
在步骤S302中，二值对象图像提取部分302根据，例如，参照图40A和40B所述的计算，计算输入图像和背景图像生成器301供应的背景图像之间的相关值。在步骤S303中，二值对象图像提取部分302通过，例如，将相关值与阈值th0相比较，从相关值和阈值th0中计算二值对象图像。
在步骤S304中，时间变化检测器303进行区域确定处理，然后，结束处理。
下面参照图47所示的流程图，详细描述步骤S304中的区域确定处理。在步骤S321中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是0。如果确定帧#n中的指定像素是0的判断的情况下，流程转到步骤S322。在步骤S322中，确定帧#n中的指定像素属于背景区域，然后，结束处理。
如果在步骤S321中确定帧#n中的指定像素是1，则流程转到步骤S323。在步骤S323中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是1，和帧#n-1中的相应像素是否是0。如果确定帧#n中的指定像素是1，和帧#n-1中相应像素是0，则流程转到步骤S324。在步骤S324中，确定帧#n中的指定像素属于覆盖背景区域，然后，结束处理。
如果在步骤S323中确定帧#n中的指定像素是0，或帧#n-1中的相应像素是1，则流程转到步骤S325。在步骤S325中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是1，和帧#n+1中的相应像素是否是0。如果确定帧#n中的指定像素是1，和帧#n+1中的相应像素是0，则流程转到步骤S326。在步骤S326中，确定帧#n中的指定像素属于未覆盖背景区域的设置，然后，结束处理。
如果在步骤S325中确定帧#n中的指定像素是0，或帧#n+1中的相应像素是1，则流程转到步骤S327。在步骤S327中，时间变化检测器303的区域确定部分342确定帧#n中的指定像素属于前景区域，然后，结束处理。
如上所述，区域指定单元103可以根据输入图像和相应的背景图像之间的相关值，为输入图像的每一个像素指定属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域中的哪一个，并且生成与指定结果相对应的区域信息。
图48是显示区域指定单元103的又一种结构的方块图。图48所示的区域指定单元103使用了运动检测器102供应的运动向量和其位置信息。与图36所示的那些相同的部分用相同的标号表示，并且略去不述。
鲁棒化处理部分361根据二值对象图像提取部分302供应的N帧二值对象图像，生成鲁棒化二值对象图像，并且将鲁棒化二值对象图像输出到时间变化检测器303。
图49是描述鲁棒化处理部分361的结构的方块图。运动补偿器381根据运动检测器102供应的运动向量和其位置信息，补偿N帧的二值对象图像的运动，并且把已经经过运动补偿的二值对象图像输出到切换器382。
运动补偿器381执行的运动补偿将参照图50和图51所示的例子加以描述。现在假定例如将处理帧#n中的区域。当输入如图50所示的帧#n-1、帧#n、和帧#n+1的二值对象图像时，如图51所示的例子所指示的那样，运动补偿器381根据运动检测器102供应的运动向量，补偿帧#n-1的二值对象图像和帧#n+1的二值对象图像的运动，并把已经经过运动补偿的二值对象图像供应给切换器382。
切换器382把第1帧已经经过运动补偿的二值对象图像输出到帧存储器383-1，和把第2帧已经经过运动补偿的二值对象图像输出到帧存储器383-2。类似地，切换器382把第3到第N-1帧已经经过运动补偿的二值对象图像的每一个分别输出到帧存储器383-3到帧存储器383-(N-1)的每一个，并且，把第N帧已经经过运动补偿的二值对象图像输出到帧存储器383-N。
帧存储器381-1存储第1帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权部分384-1。帧存储器381-2存储第2帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权部分384-2。
类似地，帧存储器383-3到帧存储器383-(N-1)的每一个分别存储第3到第N-1帧之一已经经过运动补偿的二值对象图像的每一个，并且把存储的二值对象图像输出到加权部分384-3到加权部分384-(N-1)的每一个。帧存储器381-N存储第N帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权部分384-N。
加权部分384-1将帧存储器383-1供应的、第1帧已经经过运动补偿的二值对象图像的像素值与预定权重w1相乘，并且将加权的二值对象图像供应给累加器385。加权部分384-2将帧存储器383-2供应的、第2帧已经经过运动补偿的二值对象图像的像素值与预定权重w2相乘，并且将加权的二值对象图像供应给累加器385。
类似地，加权部分384-3到加权部分384-(N-1)的每一个将帧存储器383-3到帧存储器383-(N-1)之一供应的、第3帧到第N-1帧之一已经经过运动补偿的二值对象图像的像素值与预定权重w3到w(N-1)之一相乘，并且将加权的二值对象图像供应给累加器385。加权部分384-N将帧存储器383-N供应的、第N帧已经经过运动补偿的二值对象图像的像素值与预定权重wN相乘，并且将加权的二值对象图像供应给累加器385。
累加器385累加乘以第1到第N帧的权重w1到wN的经过运动补偿的二值对象图像的像素值，并且，将累加的像素值与预定阈值th0相比较，从而生成二值对象图像。
如上所述，鲁棒化处理部分361从N帧二值对象图像中生成鲁棒化二值对象图像，并将其供应给时间变化检测器303。因此，即使输入图像含有噪声，如图48所示配置的区域指定单元103也可以比图36所示的更精确地指定区域。
现在参照图52所示的流程图，描述如图48所示配置的区域指定单元103执行的区域指定处理。步骤S341到步骤S343中的处理分别与图46所示的流程图中所述的步骤S301到S303中的处理相同，因此，略去不述。
在步骤S344中，鲁棒化处理部分361进行鲁棒化处理。
在步骤S345中，时间变化检测器303进行区域确定处理，然后，结束处理。步骤S345中的处理细节与参照图47所示的流程图描述的处理细节相同，因此，略去不述。
现在参照图53所示的流程图，详细描述与图52所示的步骤S344中的处理相对应的鲁棒化处理。在步骤S361中，运动补偿器381根据运动检测器102供应的运动向量和其位置信息，对输入的二值对象图像进行运动补偿处理。在步骤S362中，帧存储器383-1到帧存储器383-N之一存储通过切换器382供应的、已经经过运动补偿的二值对象图像。
在步骤S363中，鲁棒化处理部分361确定是否已经存储了N个二值对象图像。如果确定还没有存储N个二值对象图像，则流程返回到步骤S361，重复对二值对象图像进行运动补偿的处理，和存储二值对象图像的处理。
如果在步骤S363中确定已经存储了N个二值对象图像，则流程转到执行加权的步骤S364。在步骤S364中，加权部分384-1到384-N将相应的N个二值对象图像的乘以权重w1到wN。
在步骤S365中，累加器385累加N个加权二值对象图像。
在步骤S366中，累加器385通过，例如，将累加值与预定阈值th1相比较，从累加图像中生成二值对象图像，然后，结束处理。
如上所述，如图48所示配置的区域指定单元103根据鲁棒化二值对象图像，可以生成区域信息。
从上面的描述中可以看出，区域指定单元103可以生成指示包含在帧中的每一个像素属于运动区域、静止区域、未覆盖背景区域、或覆盖背景区域的哪一个的区域信息。
图54是显示混合比计算器104的结构的方块图。根据输入图像通过计算覆盖背景区域的模型，估计混合比处理器401为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定部分403。
根据输入图像通过计算未覆盖背景区域的模型，估计混合比处理器402为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定部分403。
由于可以假设与前景相对应的对象在快门时间内作恒速运动，因此，属于混合区域的像素的混合比α具有如下所述的性质。也就是说，根据像素的位置改变，混合比α线性地改变。如果在像素中位置改变为一维，则混合比α的改变可以用线性地表示。如果在像素中位置改变为二维，则混合比α的改变可以以平面的方式来表示。
由于一个帧的间隔很短，因此，可以假设与前景相对应的对象是作恒速运动的刚体。
在前景的快门时间内混合比α的斜率与运动量v成反比。
图55示出理想混合比α的例子。在混合区域中理想混合比α的斜率1可以用运动量v的倒数表示。
如图55所示，理想混合比α在背景区域中值为1，在前景区域中值为0，在混合区域中的值大于0小于1。
在图56所示的例子中，可以利用帧#n-1中从左边算起第7个像素的像素值P06把帧#n中从左边算起第7个像素的像素值C06表达成方程式(8)。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v---(8)]]>=2/v·P06+Σi=12Fi/v]]>在方程式(8)中，像素值C06被表示成混合区域中像素的像素值M，而像素值P06被表示成背景区域中像素的像素值B。也就是说，混合区域中像素的像素值M和背景区域中像素的像素值B可以被分别表示成方程式(9)和方程式(10)。
M＝C06 (9)B＝P06 (10)方程式(8)中的2/v对应于混合比α。由于运动量v是4，因此，帧#n中从左边算起第7个帧的混合比α是0.5。
如上所述，把指定帧#n中的像素值C当作混合区域的像素值，而把帧#n之前的帧#n-1的像素值P当作背景区域的像素值。因此，表示混合比α的方程式(3)可以被重写成方程式(11)。
C＝α·P+f (11)方程式(11)中的f表示包含在指定像素中的前景成分之和∑iFi/v。包含在方程式(11)中的变量为两个，即混合比α和前景成分f之和。
类似地，图57示出通过沿着时间方向扩展未覆盖背景区域中运动量是4、虚拟分割数也是4的像素值所获得的模型。
与在覆盖背景区域中表示的相同，在未覆盖背景区域中，把指定帧#n中的像素值C当作混合区域的像素值，而把帧#n之后的帧#n+1的像素值N当作背景区域的像素值。因此，表示混合比α的方程式(3)可以重写成方程式(12)。
C＝α·N+f (12)已经对假定背景对象是静止的实施例作了描述。但是，通过使用与背景运动量v相对应的位置的像素值，方程式(8)到方程式(12)也可以应用到在背景对象是在运动的情况中。例如，在图56中，假定在与背景相对应的对象的运动量v是2，并且虚拟分割数也是2。在这种情况下，当与背景相对应的对象在图56中向右边移动时，在方程式(10)中，背景区域中的像素的像素值B用像素值P04表示。
由于方程式(11)和方程式(12)每一个都包含2个变量，因此，不经过修正就无法确定混合比α。通常，图像具有很强的空间相关性，因此，位于彼此邻近位置上的像素具有几乎相同的像素值。
由于前景成分具有很强的空间相关性，因此对方程式进行变形，以便前景成分的和f可以从前一或后一帧中导出，从而确定混合比α。
图58中帧#n中从左边算起第7个像素的像素值Mc可以用方程式(13)表示。Mc=2v·B06+Σi=1112Fi/v---(13)]]>方程式(13)中右侧的第一项2/v相当于混合比α。方程式(13)中右侧的第二项可以通过使用后一帧#n+1中的像素值而表示为方程式(14)。Σi=1112Fi/v=β·Σi=710Fi/v---(14)]]>现在假定利用前景成分的空间相关性而使方程式(15)成立。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12(15)利用方程式(15)可以将方程式(14)修正为方程式(16)。Σi=1112Fi/v=2v·F]]>=β·4v·F---(16)]]>结果β可以用方程式(17)表示。
β＝2/4 (17)如方程式(15)所表示的，如果假定混合区域中的前景成分相等，则由于内部(internal)比例，方程式(18)对于混合区域中的所有像素成立。
β＝1-α (18)如果方程式(18)成立，则方程式(11)可以演变为方程式(19)。C=α·p+f]]>=α·p+(1-α)·Σi=γγ+v-1Fi/v]]>=α·p+(1-α)·N---(19)]]>类似地，如果方程式(18)成立，则方程式(12)可以演变为方程式(20)。C=α·N+f]]>=α·N+(1-α)·Σi=γγ+v-1Fi/v]]>=α·N+(1-α)·p---(20)]]>
在方程式(19)和(20)中，由于C、N和P是已知的像素值，则包含在方程式(19)和(20)中的变量仅为混合比α。方程式(19)和(20)中C、N和P之间的关系示于图59中。C是为其计算混合比α的帧#n中的指定像素的像素值。N是帧#n+1中空间上位于与所述指定像素相应的位置上的像素的像素值。P是帧#n-1中空间上位于与所述指定像素相应的位置上的像素的像素值。
因此，由于在方程式(19)和(20)中各包含一个变量，所以可以利用三个帧中的像素的像素值计算混合比α。通过求解方程式(19)和(20)而得到校正的混合比α的条件为与混合区域相关的前景成分相同。换句话说，在前景对象静止时拍摄的图像的前景图像对象中，与前景对象的运动方向相对应位于图像对象的边界位置上的连续像素(像素的数量为运动量v的两倍)具有一致的像素值。
如上所述，属于覆盖背景区域的像素的混合比α由方程式(21)计算，而属于未覆盖背景区域的像素的混合比α由方程式(22)计算。
α＝(C-N)/(P-N) (21)α＝(C-P)/(N-P) (22)图60是说明估计混合比处理器401的配置的方框图。帧存储器421以帧为单位存储输入图像，并将作为输入图像而输入的帧随后的一帧供应给帧存储器422和混合比计算器423。
帧存储器422以帧为单位存储输入图像，并将帧存储器421供应的帧随后的一帧供应给混合比计算器423。
因此，当帧#n+1作为输入图像输入到混合比计算器423时，帧存储器421将帧#n供应给混合比计算器423，而帧存储器422将帧#n-1供应给混合比计算器423。
混合比计算器423根据帧#n中指定像素的像素值C、帧#n+1中位于与所述指定像素的位置相对应的空间位置上的像素的像素值N、以及帧#n-1中位于与所述指定像素的位置相对应的空间位置上的像素的像素值P，通过求解方程式(21)计算所述指定像素的估计混合比，并将所计算的估计混合比输出。例如，当背景静止时，混合比计算器423根据帧#n中指定像素的像素值C、帧#n+1中位于与所述指定像素相同位置上的像素的像素值N、以及帧#n-1中位于与所述指定像素相同位置上的像素的像素值P，计算所述指定像素的估计混合比，并将所计算的估计混合比输出。
以这种方式，估计混合比处理器401根据输入图像计算估计混合比，并将其供应给混合比确定部分403。
除了估计混合比处理器401通过求解方程式(21)计算所述指定像素的估计混合比，而估计混合比处理器402通过求解方程式(22)计算所述指定像素的估计混合比之外，估计混合比处理器402的操作与估计混合比处理器401的类似，因此，略去对估计混合比处理器402的详细说明。
图61显示估计混合比处理器401计算所述估计混合比的例子。图61所示的估计混合比是用一条线表示的与恒速运动的对象相对应的前景的运动量v为11时所得的结果。
图55表示估计混合比在混合区域中几乎线性地变化。
再返回图54，混合比确定部分403根据从区域指定单元103供应的、表明为其计算混合比α的像素属于前景区域、背景区域、覆盖背景区域、未覆盖背景区域中的哪一个的区域信息设置混合比α。当相应像素属于前景区域时，混合比确定部分403设置混合比α为0，而当相应像素属于背景区域时，混合比确定部分403设置混合比α为1。当相应像素属于覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器401供应的估计混合比。当相应像素属于未覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器402供应的估计混合比。混合比确定部分403输出已经根据所述区域信息设定的混合比α。
图62是显示混合比计算器104的另一种配置的方框图。选择器441根据从区域指定单元103供应的区域信息，将属于覆盖背景区域的像素以及在前一和后一帧中的相应像素供应给估计混合比处理器442。选择器441根据从区域指定单元103供应的区域信息，将属于未覆盖背景区域的像素以及在前一和后一帧中的相应像素供应给估计混合比处理器443。
估计混合比处理器442根据从选择器441输入的像素值，通过计算方程式(21)，计算属于覆盖背景区域的指定像素的估计混合比，并将所计算的估计混合比供应给选择器444。
估计混合比处理器443根据从选择器441输入的像素值，通过计算方程式(22)，计算属于未覆盖背景区域的指定像素的估计混合比，并将所计算的估计混合比供应给选择器444。
根据从区域指定单元103供应的区域信息，当指定像素属于前景区域时，选择器444将混合比α设置为0，而当指定像素属于背景区域时，选择器444将混合比α设置为1。当指定像素属于覆盖背景区域时，选择器444选择从估计混合比处理器442供应的估计混合比并将其设置为混合比α。当指定像素属于未覆盖背景区域时，选择器444选择从估计混合比处理器443供应的估计混合比并将其设置为混合比α。选择器444然后输出已经根据所述区域信息选择和设定的混合比α。
如上所述，如图62配置的混合比计算器104能够为包含在图像中的每个像素计算混合比α，并且输出计算的混合比α。
下面参照图63的流程图描述如图54所示配置的混合比计算器104执行的计算混合比α的处理。在步骤S401中，混合比计算器104获取区域指定单元103供应的区域信息。在步骤S402中，估计混合比处理器401使用与覆盖背景区域相对应的模型执行估计混合比的处理，并且把估计混合比供应给混合比确定部分403。估计混合比的处理细节以后将参照图64所示的流程图加以描述。
在步骤S403中，估计混合比处理器402使用与未覆盖背景区域相对应的模型执行估计混合比的处理，并且把估计混合比供应给混合比确定部分403。
在步骤S404中，混合比计算器104判断是否对整个帧都估计了混合比α。如果确定还没有对整个帧估计混合比α，则流程返回到步骤S402，执行为下一个像素估计混合比α的处理。
如果在步骤S404中确定已经对整个帧都估计了混合比，则流程转到步骤S405。在步骤S405中，混合比确定部分403根据从区域指定单元103供应的、表明为其计算混合比α的像素属于前景区域、背景区域、覆盖背景区域、未覆盖背景区域中的哪一个的区域信息设置混合比α。当相应像素属于前景区域时，混合比确定部分403设置混合比α为0，而当相应像素属于背景区域时，混合比确定部分403设置混合比α为1。当相应像素属于覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器401供应的估计混合比。当相应像素属于未覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器402供应的估计混合比。然后，结束处理。
如上所述，混合比计算器104能够根据区域指定单元103供应的区域信息和输入图像，计算与每一个像素相对应的指示其特征量的混合比α。
如图62所示配置的混合比计算器104所执行的计算混合比α的处理与参照图63的流程图所描述的类似，由此略去其详细描述。
下面参照图64所示的流程图，描述图63的步骤S402中使用与覆盖背景区域相对应的模型的混合比估计处理。
在步骤S421中，混合比计算器423从帧存储器421获取帧#n中指定像素的像素值C。
在步骤S422中，混合比计算器423从帧存储器422获取帧#n-1中与所述指定像素相对应的像素的像素值P。
在步骤S423中，混合比计算器423获取帧#n+1中包含在输入图像中与所述指定像素相对应的像素的像素值N。
在步骤S424中，混合比计算器423根据帧#n中指定像素的像素值C、帧#n-1中的像素的像素值P、以及帧#n+1中的像素的像素值N，计算估计混合比。
在步骤S425中，混合比计算器423确定是否已经完成对整个帧的计算估计混合比的处理。如果确定还没有完成对整个帧的计算估计混合比的处理，则处理返回到步骤S421，重复执行对下一个像素的计算估计混合比的处理。
如果在步骤S425中确定已经完成对整个帧的计算估计混合比的处理，则处理结束。
如上所述，估计混合比处理器401能够根据输入图像计算估计混合比。
在图63的步骤S403中通过使用与未覆盖背景区域相对应的模型所执行的混合比估计处理与图64中的流程图所示的、通过使用与未覆盖背景区域相对应的模型所执行的处理类似，因此，略去不述。
如图62所示的估计混合比处理器442和估计混合比处理器443通过执行类似于图64所示流程图的处理计算估计混合比，因此，略去不述。
已经对假定与背景相对应的对象是静止的实施例进行了描述。但是，即使与背景区域相对应的图像包含运动，上述用于确定混合比α的处理也能够应用。例如，如果与背景区域相对应的图像统一运动，则估计混合比处理器401根据背景的运动平移整个图像，并与相应于背景的对象是静止的情况相类似地方式执行处理。如果与背景区域相对应的图像包含局部不同的运动，则估计混合比处理器401选择与所述运动相对应的像素作为属于混合区域的相应像素，并执行上述处理。
估计混合比处理器104可以仅通过使用与覆盖背景区域相对应的模型为所有的像素执行混合比估计处理，并输出所计算的估计混合比作为混合比α。在这种情况下，混合比α为属于覆盖背景区域的像素的背景成分指示背景成分的比例，而为属于未覆盖背景区域的像素指示前景成分的比例。对于属于未覆盖背景区域的像素，计算混合比α与1的差值的绝对值，并将所计算的绝对值设置为混合比α。这样，分离部分91能够为属于未覆盖背景区域的像素确定指示背景成分的比例的混合比α。
类似地，混合比计算器104可以仅通过使用与未覆盖背景区域相对应的模型为所有的像素执行混合比估计处理，并输出所计算的估计混合比作为混合比α。
下面描述混合比计算器104通过利用混合比α线性变化的这一特性所进行的混合比α计算。
如上所述，由于方程式(11)和(12)各含两个变量，所以不经过变形则无法确定混合比α。
由于与前景相对应的对象恒速运动，所以混合比α根据像素位置的变化而线性地变化。利用该特性，可以得到其中在空间方向上将混合比α和前景成分之和f近似了的方程式。使用多组属于混合区域的像素的像素值以及属于背景区域的像素的像素值，可以求解其中将混合比α和前景成分之和f近似了的方程式。
当将混合比α的变化近似为直线时，混合比α可以用方程式(23)表示。
α＝il+p (23)在方程式(23)中，当指定像素的位置设置为0时i表示空间索引，1表示混合比α的直线斜率，p表示混合比α的直线的截距，也表示指定像素的混合比α。在方程式(23)中，索引i是已知的，斜率l和截距p是未知数。
索引i、斜率l和截距p的关系示于图65。在图65中，白点表示指定像素，黑点表示邻近像素。
通过将混合比α近似为方程式(23)，用于多个像素的多个不同的混合比α可以用两个变量表示。在图65所示的例子中，用两个变量，也就是斜率l和截距p表示了5个像素的5个混合比。
当在图66所示的平面中近似混合比α时，通过考虑与两个方向，即图像的水平方向和垂直方向相对应的运动量v，可以将方程式(23)扩展到平面，并且混合比α可以表示为方程式(24)。在图66中，白点表示指定像素。
α＝jm+kq+p(24)在方程式(24)中，当指定像素的位置是0时，j是水平方向上的索引，k是垂直方向上的索引。在方程式(24)中，m表示在平面上混合比α的水平斜率，q表示在平面上混合比α的垂直斜率。在方程式(24)中，p表示在平面上混合比α的截距。
例如在图56所示的帧#n中，方程式(25)至(27)对于C05至C07分别成立。
C05＝α05·B05/v+f05 (25)C06＝α06·B06/v+f06 (26)C07＝α07·B07/v+f07 (27)假定位于彼此接近位置上的前景成分彼此相等，也就是说，F01至F03相等，则将F01至F03用fc代替，方程式(28)成立。
f(x)＝(1-α(x))·Fc(28)在方程式(28)中，x表示在空间方向上的位置。
当α(x)用方程式(24)替换时，方程式(28)可以表示为(29)。
f(x)＝(1-(jm+kq+p))·Fc＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝js+kt+u (29)在方程式(29)中，(-m·Fc)，(-q·Fc)和(1-p)·Fc分别用方程式(30)至(32)替代。
s＝-m·Fc (30)t＝-q·Fc (31)u＝(1-p)·Fc (32)在方程式(29)中，当指定像素的位置是0时，j是水平方向上的索引，k是垂直方向上的索引。
如上所述，由于可以假设在快门时间内与前景相对应的对象恒速运动，并且位于邻近位置上的前景成分是均匀的，因此，可以用方程式(29)近似前景成分之和。
当将混合比α近似为直线时，前景成分之和可以用方程式(33)表示。
f(x)＝is+u (33)使用方程式(24)和(29)，替换方程式(13)中的混合比α以及前景成分之和，可以用方程式(34)表示像素值M。
M＝(jm+kq+p)·B+js+kt+u＝jB·m+kB·q+B·p+j·s+k·t+u(34)在方程式(34)中，未知变量为6个，比如在平面上混合比α的水平斜率m，在平面上混合比α的垂直斜率q，以及在平面上混合比α的截距p、s、t和u。
根据邻近指定像素的像素，设置方程式(34)所表示的正规方程中的像素值M或像素值B。然后通过最小二乘法求解多个其中设置了像素值M或像素值B的正规方程，并由此计算混合比α。
例如，将指定像素的水平索引j设为0，并且将指定像素的垂直索引k设为0。然后，为邻近指定像素的3×3像素设置方程式(34)所表示的正规方程中的像素值M或像素值B时，从而得到方程式(35)至(43)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u(35)M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (36)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(37)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (38)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u (39)M+1，0，＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (40)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u(41)M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (42)M+1，+1＝(+1)·B+1，1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u (43)由于指定像素的水平索引j是0，以及指定像素的垂直索引k也是0，所以指定像素的混合比α等于方程式(24)中j等于0和k等于0时的值，也就是说，混合比α等于方程式(24)中的截距p。
因此，根据上述9个方程式(35)至(43)，利用最小二乘法可以计算出水平斜率m、垂直斜率q、以及截距p、s、t和u，并将截距p作为混合比α输出。
通过应用最小二乘法计算混合比α的具体过程如下所述。
当索引i和索引k用单个索引x表示时，索引i、索引k和索引x之间的关系可以用方程式(44)表示。
x＝(j+1)·3+(k+1) (44)现在假定水平斜率m、垂直斜率q、以及截距p、s、t和u分别用变量w0、w1、w2、w3、w4和w5表示，并且jB、kB、B、j、k和l分别用a0、a1、a2、a3、a4和a5表示。考虑到误差ex，则方程式(35)至(43)可以修正为方程式(45)。Mx=Σy=05ay·wy+ex---(45)]]>在方程式(45)中，x是从0到8的整数之一。
从方程式(45)可以得出方程式(46)。ex=Mx-Σy=05ay·wy---(46)]]>由于应用最小二乘法，所以将误差平方和E定义为下式(47)。E=Σx=08ex2---(47)]]>为了使误差最小，变量Wv相对于误差平方和E的偏微分值应该为0。v是0到5的整数之一。由此，可以确定wy，并且满足方程式(48)。∂E∂wv=2·Σx=08ex·∂ex∂wv]]>=2·Σx=08ex·av=0---(48)]]>将方程式(46)代入方程式(48)中，可以得到方程式(49)。Σx=08(av·Σy=05ay·wy)=Σx=08av·Mx---(49)]]>例如，将消元法(sweep-out method)(高斯-约旦消元法，Gauss-Jordanelimination)应用到通过将0到5的整数之一代入方程式(49)中的v而得到的6个方程式，从而获得wy。如上所述，w0是水平斜率，w1是垂直斜率，w2是截距p，w3是s，w4是t，以及w5是u。
如上所述，通过将最小二乘法应用到其中设置了像素值M和像素值B的方程式中，可以确定水平斜率m、垂直斜率q、以及截距p、s、t和u。
参照方程式(35)至(43)描述了假定包含在混合区域中的像素的像素值是M、以及包含在背景区域中的像素的像素值是B的情况。在这种情况下，需要为指定像素包含在覆盖背景区域中或指定像素包含在未覆盖背景区域中的每一种情况设置正规方程。
例如，当确定图56所示的帧#n中的覆盖背景区域所包含的像素的混合比α时，将帧#n中的像素的像素值C04至C08和帧#n-1中的像素的像素值P04至P08设置到正规方程中。
为了确定图57所示的帧#n中的未覆盖背景区域所包含的像素的混合比α，将帧#n中的像素的像素值C28至C32和帧#n+1中的像素的像素值N28至N32设置到正规方程中。
而且，例如，如果计算包含在图67所示的覆盖背景区域中的像素的混合比α，则设置下述的方程式(50)至(58)。为其计算混合比α的像素的像素值为Mc5。在图67中，白点表示属于背景的像素，黑点表示属于混合区域的像素。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u(50)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (51)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u(52)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (53)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u(54)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (55)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u(56)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (57)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u(58)当计算包含帧#n中的在覆盖背景区域中的像素的混合比α时，在方程式(50)至(58)中分别使用与#n中的像素相对应的帧#n-1中的背景区域中的像素的像素值Bc1至Bc9。
例如，当计算包含在图67所示的未覆盖背景区域中的像素的混合比α时，则设置下述的方程式(59)至(67)。为其计算混合比α的像素的像素值为Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u(59)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (60)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u(61)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (62)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u(63)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (64)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u(65)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (66)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u(67)当计算包含帧#n中的在未覆盖背景区域中的像素的混合比α时，在方程式(59)至(67)中分别使用与#n中的像素相对应的帧#n+1中的背景区域中的像素的像素值Bu1至Bu9。
图68是显示估计混合比处理器401的配置的方框图。输入到估计混合比处理器401的图像提供给延迟电路501和加入器(adder)502。
延迟电路501将输入图像延迟一帧，并将图像供应给加入器502。当帧#n作为输入图像供应给加入器502时，延迟电路501将帧#n-1供应给加入器502。
加入器502设置与为其计算混合比α的像素邻近的像素的像素值、以及正规方程中帧#n-1的像素值。例如，根据方程式(50)至(58)，加入器分别设置正规方程中的像素值Mc1至Mc9和像素值Bc1至Bc9。加入器502将设置了像素值的正规方程供应给计算器503。
计算器503例如采用消元法，通过求解从加入器502供应的正规方程来确定估计混合比，并输出所确定的估计混合比。
通过这种方式，估计混合比处理器401能够根据输入图像计算估计混合比，并将其供应给混合比确定部分403。
估计混合比处理器402的配置类似于估计混合比处理器401，因此省去其详细描述。
图69显示估计混合比处理器401计算估计混合比的例子。图69所示的估计混合比是当与恒速运动的对象相对应的前景的运动量v是11时、以7×7像素块为单位生成并计算方程所获得的结果，并用一条直线表示。
在混合区域估计混合比几乎线性地变化，如图68所示。
下面参照图70的流程图描述如图68所示配置的估计混合比处理器401通过使用与覆盖背景区域相对应的模型所执行的混合比估计处理。
在步骤S521中，加入器502在与覆盖背景区域的模型相对应的正规方程中设置包含在输入图像中的像素值以及包含在从延迟电路501供应的图像中的像素值。
在步骤S522中，估计混合比处理器401确定目标像素的设定是否完成。如果确定还没有完成目标像素的设定，则处理返回到步骤S521，继续设置正规方程中的像素值的处理。
如果在步骤S522中确定已经完成目标像素的设定，则处理前进到步骤S523。在步骤S523中，计算器503根据其中已经设定了像素值的正规方程计算估计混合比，并输出所计算估计混合比。
如上所述，如图68所示配置的估计混合比处理器401能够根据输入图像计算估计混合比。
通过使用与未覆盖背景区域的模型相对应的正规方程，采用与未覆盖背景区域相对应的模型所进行的混合比估计处理与图70的流程图所示的处理类似，由此省去其详细描述。
已经描述了假定与背景相对应的对象是静止的实施例。但是，即使与背景区域相对应的图像包含运动，也可以应用上述混合比计算处理。例如，如果与背景区域相对应的图像相一致地运动，则估计混合比处理器401根据该运动整体上移动图像，并与相应于背景区域的对象是静止的情况相类似地方式进行处理。如果与背景区域相对应的图像包含局部不同的运动，则估计混合比处理器401选择与运动相对应的像素作为属于混合区域的像素，并执行上述处理。
如上所述，混合比计算器102根据输入图像和从区域指定单元101供应的区域信息能够计算作为与每一个像素相对应的特征量的混合比α。
通过利用混合比α，能够分离包含在像素值中的前景成分和背景成分，而保持在与运动对象相对应的图像中所包含的运动模糊信息。
通过组合基于混合比α的图像，可以创建包含已经校正了与运动对象的速度相一致并且不真实地反映现实世界的运动模糊的图像。
现在描述前景/背景分离器105。图71是显示前景/背景分离器105的结构的一个例子的方块图。把供应给前景/背景分离器105的输入图像供应给分离部分601、切换器602、和切换器604。把区域指定单元103供应的、指示覆盖背景区域的信息和指示未覆盖背景区域的信息供应给分离部分601。把指示前景区域的区域信息供应给切换器602。把指示背景区域的区域信息供应给切换器604。
把混合比计算器104供应的混合比α供应给分离部分601。
根据指示覆盖背景区域的区域信息、指示未覆盖背景区域的区域信息、和混合比α，分离部分601从输入图像中分离前景成分，并且把分离的前景成分供应给合成器603。分离部分601还从输入图像中分离出背景成分，并且把分离的背景成分供应给合成器605。
当输入与前景相对应的像素时，根据指示前景区域的区域信息闭合切换器602，并且只把包含在输入图像中与前景相对应的像素供应给合成器603。
当输入与背景相对应的像素时，根据指示背景区域的区域信息闭合切换器604，并且只把包含在输入图像中与背景相对应的像素供应给合成器605。
合成器603根据分离部分601供应的前景成分、切换器602供应的与前景相对应的像素，合成前景成分图像，并且输出合成的前景成分图像。由于前景区域和混合区域不重叠，因此，合成器603通过，例如，把逻辑“或”运算作用于前景成分和前景像素，合成前景成分图像。
在前景成分图像合成处理的开始阶段中进行的初始化处理中，合成器603把其中所有像素值都是0的图像存储在内置帧存储器中。然后，在前景成分图像合成处理中，合成器603存储前景成分图像(用前景成分图像覆写先前的图像)。因此，在从合成器603输出的前景成分图像中、与背景区域相对应的像素存储0。
合成器605根据从分离部分601供应的背景成分、和切换器604供应的与背景相对应的像素，合成背景成分图像，并且输出合成的背景成分图像。由于背景区域和混合区域不重叠，因此，合成器605通过，例如，把逻辑“或”运算作用于背景成分和背景像素，合成背景成分图像。
在背景成分图像合成处理的开始阶段中进行的初始化处理中，合成器605把其中所有像素值都是0的图像存储在内置帧存储器中。然后，在背景成分图像合成处理中，合成器605存储背景成分图像(用背景成分图像覆写先前的图像)。因此，在从合成器605输出的背景成分图像中与前景区域相对应的像素存储0。
图72A和72B显示输入到前景/背景分离器105的输入图像、和从前景/背景分离器105输出的前景成分图像和背景成分图像。
图72A是所显示图像的示意图，和图72B是与图72A相对应，沿着时间方向展开在一行上包括的属于前景区域的像素、属于背景区域的像素、和属于混合区域的像素的像素所获得的模型图。
如图72A和72B所示，从前景/背景分离器105输出的背景成分图像由属于背景区域的像素、和包含在混合区域的像素内的背景成分组成。
如图72A和72B所示，从前景/背景分离器105输出的前景成分图像由属于前景区域的像素、和包含在混合区域的像素内的前景成分组成。
混合区域内的像素的像素值被前景/背景分离器105分离成背景成分和前景成分。分离的背景成分与属于背景区域的像素一起组成背景成分图像。分离的前景成分与属于前景区域的像素一起组成前景成分图像。
如上所述，在前景成分图像中，与背景区域相对应的像素的像素值被设置成0，与前景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。类似地，在背景成分图像中，与前景区域相对应的像素的像素值被设置成0，与背景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。
现在对分离部分601从属于混合区域的像素中分离出前景成分和背景成分的处理加以描述。
图73显示在包括与图73中从左边移动到右边的对象相对应的前景的两个帧中、指示前景成分和背景成分的图像的模型。在图73所示的图像的模型中，运动量v是4，和虚拟分割数也是4。
在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区域。在帧#n中，从左边算起第2个到4个像素包含背景成分和前景成分，并且属于未覆盖背景区域。在帧#n中，从左边算起第11个到13个像素包含背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区域。
在帧#n+1中，从左边算起第1个到第5个和第18个像素只由背景成分组成，并属于背景区域。在帧#n+1中，从左边算起第6个到8个像素包含背景成分和前景成分，并属于未覆盖背景区域。在帧#n+1中，从左边算起第15个到17个像素包含背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并属于前景区域。
图74显示从属于覆盖背景区域的像素中分离前景成分的处理。在图74中，α1到α18分别代表帧#n中各个像素的混合比。在图74中，从左边算起第15个到第17个像素属于覆盖背景区域。
帧#n中从左边算起第15个像素的像素值C15被表示成方程式(68)C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(68)这里，α15表示帧#n中从左边算起第15个像素的混合比，P15表示帧#n-1中从左边算起第15个像素的像素值。
根据方程式(68)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成方程式(69)f15＝F09/v+F08/v+F07/v
＝C15-α15·P15(69)类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成方程式(70)，和帧#n中从左边算起第17个像素的前景成分之和f17被表示成方程式(71)f16＝C16-α16·P16(70)f17＝C17-α17·P17(71)以这种方式，包含在属于覆盖背景区域的像素的像素值C中的前景成分fc通过方程式(72)来计算fc＝C-α·P (72)其中，P表示前一帧中的相对应的像素的像素值。
图75显示从属于未覆盖背景区域的像素中分离前景成分的处理。在图75中，α1到α18分别表示帧#n中各个像素的混合比。在图75中，从左边算起第2个到第4个像素属于未覆盖背景区域。
帧#n中从左边算起第2个像素的像素值C02被表示成方程式(73)C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (73)这里，α2表示帧#n中从左边算起第2个像素的混合比，N02表示帧#n+1中从左边算起第2个像素的像素值。
根据方程式(73)，帧#n中从左边算起第2个像素的前景成分和f02被表示成方程式(74)f02＝F01/v＝C02-α2·N02 (74)类似地，帧#n中从左边算起第3个像素的前景成分和f03被表示成方程式(75)，帧#n中从左边算起第4个像素的前景成分和f04被表示成方程式(76)。
f03＝C03-α3·N03 (75)f04＝C04-4·N04 (76)以这种方式，包含在属于未覆盖背景区域的像素的像素值C中的前景成分fu通过方程式(77)来计算fu＝C-α·N (77)其中，N表示后一帧中的相对应的像素的像素值。
如上所述，根据包含在区域信息中的指示覆盖背景区域的信息、指示未覆盖背景区域的信息、以及每个像素的混合比α，分离部分601从属于混合区域的像素中分离出前景成分和从属于混合区域的像素中分离出背景成分。
图76是显示进行上述处理的分离部分601的结构例子的方块图。把输入分离部分601的图像供应给帧存储器621，和把混合比计算器104供应的指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α输入分离处理模块622中。
帧存储器621以帧为单元存储输入图像。当被处理的帧是帧#n时，帧存储器621存储比帧#n早一个帧的帧#n-1、帧#n、和比帧#n晚一个帧的帧#n+1。
帧存储器621把帧#n-1、帧#n、和#n+1中的相应像素供应给分离处理模块622。
分离处理模块622根据指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α，把参照图74和图75所述的计算应用于从帧存储器621供应的帧#n-1、帧#n、和#n+1中相应像素的像素值，以便从帧#n中属于混合区域的像素中分离出前景成分和背景成分，并且把它们供应给帧存储器623。
分离处理模块622包括未覆盖区域处理器631、覆盖区域处理器632、合成器633、和合成器634。
未覆盖区域处理器631的乘法器641将帧存储器621供应的帧#n+1的像素的像素值乘以混合比α，并且将得到的结果像素值输出到切换器642。在帧存储器621供应的帧#n中的像素(与帧#n+1的像素相对应)属于未覆盖背景区域时，闭合切换器642，将乘法器641供应的被乘以混合比α的像素值供应给计算器643和合成器634。从切换器642输出的帧#n+1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。
计算器643从帧存储器621供应的帧#n的像素的像素值中减去切换器642供应的背景成分，从而获得前景成分。计算器643把属于未覆盖背景区域的帧#n中的像素的前景成分供应给合成器633。
覆盖区域处理器632的乘法器651将帧存储器621供应的帧#n-1的像素的像素值乘以混合比α，并且将得到的结果像素值输出到切换器652。在帧存储器621供应的帧#n中的像素(与帧#n-1的像素相对应)属于覆盖背景区域时，闭合切换器652，将乘法器651供应的被乘以混合比α的像素值供应给计算器653和合成器634。从切换器652输出的帧#n-1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。
计算器653从帧存储器621供应的帧#n的像素的像素值中减去切换器652供应的背景成分，从而获得前景成分。计算器653把属于覆盖背景区域的帧#n中的像素的前景成分供应给合成器633。
合成器633合成计算器643供应的帧#n中属于未覆盖背景区域的像素的前景成分、和计算器653供应的属于覆盖背景区域的像素的前景成分，并且把合成的前景成分供应给帧存储器623。
合成器634合成切换器642供应的帧#n中属于未覆盖背景区域的像素的背景成分、和切换器652供应的属于覆盖背景区域的像素的背景成分，并且把合成的背景成分供应给帧存储器623。
帧存储器623分别存储分离处理模块622供应的、帧#n中混合区域内的像素的前景成分和背景成分。
帧存储器623输出所存储的帧#n中混合区域内的像素的前景成分、和存储的帧#n中混合区域内的像素的背景成分。
利用作为特征量的混合比α能够把包含在像素值中的前景成分和背景成分完全分离开。
合成器603合成从分离部分601输出的、帧#n中混合区域内的像素的前景成分、和属于前景区域的像素，从而生成前景成分图像。合成器605合成从分离部分601输出的、帧#n中混合区域内的像素的背景成分、和属于背景区域的像素，从而生成背景成分图像。
图77A和77B显示与图73中的帧#n相对应的前景成分图像的例子和背景成分图像的例子。
图77A显示与图73中的帧#n相对应的前景成分图像的例子。在把前景和背景分开之前，最左边像素和从左边算起第14个像素只由背景成分组成，因此，像素值设置为0。
在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域。因此，背景成分设置为0，前景成分保持原来值。在把前景和背景分开之前，从左边算起第11个到第13个像素属于覆盖背景区域。因此，背景成分设置为0，前景成分保持原来值。由于从左边算起第5个到第10个像素只由前景成分组成，因此，那些前景成分保持原来值。
图77B显示与图73中的帧#n相对应的背景成分图像的例子。在把前景和背景分开之前，最左边像素和从左边算起第14个像素由背景成分组成，因此，那些背景成分保持原来值。
在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域。因此，前景成分设置为0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第11个到第13个像素属于覆盖背景区域，因此，前景成分设置为0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第5个到第10个像素只由前景成分组成，因此，像素值设置为0。
现在参照图78所示的流程图，描述前景/背景分离器105执行的前景和背景分离处理。在步骤S601中，分离部分601的帧存储器621获取输入图像，并且存储为其分离前景和背景的帧#n、以及前一帧#n-1和后一帧#n+1。
在步骤S602中，分离部分601的分离处理模块622获取混合比计算器104供应的区域信息。在步骤S603中，分离部分601的分离处理模块622获取混合比计算器104供应的混合比α。
在步骤S604中，未覆盖区域处理器631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取背景成分。
在步骤S605中，未覆盖区域处理器631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取前景成分。
在步骤S606中，覆盖区域处理器632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取背景成分。
在步骤S607中，覆盖区域处理器632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取前景成分。
在步骤S608中，合成器633合成在步骤S605的处理中提取的、属于未覆盖背景区域的像素的前景成分、和在步骤S607的处理中提取的、属于覆盖背景区域的像素的前景成分。把合成的前景成分供应给合成器603。此外，合成器603合成通过切换器602供应的属于前景区域的像素、和分离部分601供应的前景成分，生成前景成分图像。
在步骤609中，合成器634合成在步骤S604的处理中提取的、属于未覆盖背景区域的像素的背景成分、和在步骤S606的处理中提取的、属于覆盖背景区域的像素的背景成分。把合成的背景成分供应给合成器605。此外，合成器605合成通过切换器604供应的属于背景区域的像素、和分离部分601供应的背景成分，生成背景成分图像。
在步骤S610中，合成器603输出前景成分图像。在步骤S611中，合成器605输出背景成分图像。然后，结束处理。
如上所述，根据区域信息和混合比α，前景/背景分离器105可以从输入图像中分离出前景成分和背景成分，并且输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。
现在描述对前景成分图像调整运动模糊量的处理。
图79是显示运动模糊调整单元106的结构例子的方块图。把运动检测器102供应的运动向量和其位置信息供应给处理单元确定部分801、建模部分802和计算器805。把区域指定单元103供应的区域信息供应给处理单元确定部分801。把前景/背景分离器105供应的前景成分图像供应给加入器804。
处理单元确定部分801根据运动向量和其位置信息以及区域信息生成处理单元，并把生成的处理单元供应给建模部分802和加入器804。
例如，如图80所示，处理单元确定部分801生成的处理单元A表示从与前景成分图像的覆盖背景区域相对应的像素开始、直到与未覆盖背景区域相对应的像素沿着运动方向依次排列的像素，或者从与未覆盖背景区域相对应的像素开始、直到与覆盖背景区域相对应的像素沿着运动方向依次排列的像素。处理单元A由指示，例如，左上点(通过处理单元A指定的图像中最左或最高像素的位置)和右下点的两段数据组成。
建模部分802根据运动向量和输入的处理单元A，进行建模。更明确地说，例如，建模部分802可以根据包含在处理单元A中的像素个数、像素值沿着时间方向的虚拟分割数、和前景成分的个数，为每个像素事先存储多个模型。然后建模部分802可以根据处理单元A和像素值沿着时间方向的虚拟分割数，选择如图81所示的指定像素值与前景成分之间的相关关系的模型。
例如，假定与处理单元A相对应的像素个数是12，快门时间内的运动量v是5。那么，建模部分802把虚拟分割数设置成5，并且选择总共由8种前景成分组成的模型，以便使得最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。
建模部分802也可以不是从事先存储的模型中选择模型，而是在供应运动向量和处理单元A时，根据运动向量和处理单元A生成模型。
建模部分802把所选的模型供应给方程式生成器803。
方程式生成器803根据建模部分802供应的模型，生成方程式。下面参照图81所示的前景成分图像的模型，在前景成分的个数是8，与处理单元A相对应的像素个数是12，运动量v是5的情况下，描述方程式生成器803生成的方程式。
当包含在前景成分图像中与快门时间/v相对应的前景成分是F01/v到F08/v时，F01/v到F08/v与像素C01到C12之间的关系被表示成方程式(78)到方程式(89)C01＝F01/v (78)C02＝F02/v+F01/v (79)C03＝F03/v+F02/v+F01/v (80)C04＝F04/v+F03/v+F02/v+F01/v (81)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (82)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (83)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (84)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (85)C09＝F08/v+F07/v+F06/v+F05/v (86)C10＝F08/v+F07/v+F06/v (87)C11＝F08/v+F07/v (88)C12＝F08/v (89)通过变换生成的方程式，方程式生成器803生成另一组方程式。由方程式生成器803生成的另一组方程式被表示成方程式(90)到方程式(101)C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (90)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (91)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (92)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (93)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v (94)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v (95)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v (96)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (97)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (98)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v (99)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v (100)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v (101)方程式(90)到方程式(101)可以用方程式(102)来表示Cj=Σi=0108aij·Fi/v---(102)]]>在方程式(102)中，j表示像素位置。在本例中，j具有1到12之间的值之一。在方程式(102)中，i表示前景值的位置。在本例中，i具有1到8之间的一个值。在方程式(102)中，根据i和j的值，aij具有0或1的值。
考虑到误差，方程式(102)可以用方程式(103)来表示Cj=Σi=0108aij·Fi/v+ej---(103)]]>在方程式(103)中，ej表示包含在指定像素Cj中的误差。
可以把方程式(103)重写成方程式(104)ej=Cj-Σi=0108aij·Fi/v---(104)]]>
为了使用最小二乘法，把误差的平方和E定义成方程式(105)E=Σj=0112ej2---(105)]]>为了使误差达到最小，应该使变量Fk关于误差的平方和E的偏导数的值为0。求出满足方程式(106)的Fk∂E∂Fk=2·Σj=0112ej·∂ej∂Fk]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)}=0---(106)]]>在方程式(106)中，运动量v是固定值，因此，可以导出方程式(107)Σj=0112akj·(Cj-Σi=0108aij·Fi/v)=0---(107)]]>展开方程式(107)和移动变元，得到方程式(108)Σj=0112(akj·Σi=0108aij·Fi)=v·Σj=0112akj·Cj---(108)]]>通过把1到8之间的整数之一代入方程式(108)中的k，将方程式(108)展开成8个方程式。获得的8个方程式可以用一个矩阵方程式表示。这个方程式被称为“正规方程”。
方程式生成器803根据最小二乘法生成的正规方程的例子被表示成方程式(109) 当把方程式(109)表示成A·F＝v·C时，C、A和v是已知的，F是未知的。此外，虽然A和v在建模时就是已知的，但是，通过在加入处理中输入像素值，C才成为已知的。
按照最小二乘法，根据正规方程计算前景成分，处理包含在像素C中的误差。
方程式生成器803把如上所述生成的正规方程供应给加入器804。
加入器804根据处理单元确定部分801供应的处理单元，为方程式生成器803供应的矩阵方程式设置包含在前景成分图像中的像素值C。加入器804把设置了像素值C的矩阵供应给计算器805。
计算器805通过基于诸如消元法(Gauss-Jordan消元法)之类的方法的处理，计算已经经过运动模糊消除的前景成分Fi/v，从而获得作为已经经过运动模糊消除的像素值的、与1到8之间的整数i之一相对应的Fi。然后计算器805把，例如，如图82所示的、由不含运动模糊的像素值的Fi组成的前景成分图像输出到运动模糊加入器806和选择器807。
在如图82所示不含运动模糊的前景成分图像中，C03到C10的每一个分别被设置成F01到F08的每一个是为了不改变前景成分图像相对于屏幕的位置。但是，F01到F08可以被设置到任何期望的位置。
运动模糊加入器806通过加入用于调整运动模糊的与运动模糊量v不同的量v′，例如，通过其调整运动模糊的量v′是运动量v的一半、或通过其调整运动模糊的量v′与运动量v没有任何关系，可以调整运动模糊量。例如，如图83所示，运动模糊加入器806将不含运动模糊的前景像素值Fi除以通过其调整运动模糊的量v′，从而获得前景成分Fi/v′。然后运动模糊加入器806计算前景成分Fi/v′之和，生成已经调整过运动模糊量的像素值。例如，当通过其调整运动模糊的量v′是3时，像素值C02设为F01/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，和像素值C05设为(F02+F03+F04)/v′。
运动模糊加入器806把已经经过运动模糊量调整的前景成分图像供应给选择器807。
选择器807根据反映用户选择的选择信号，选择计算器805供应的没有运动模糊的前景成分图像、和运动模糊加入器806供应的已经调整了运动模糊量的前景成分图像之一，并且输出所选的前景成分图像。
如上所述，运动模糊调整单元106可以根据选择信号和通过其调整运动模糊的量v′来调整运动模糊量。
此外，例如，如图84所示，当与处理单元相对应的像素个数是8，运动量v是4时，运动模糊调整单元106生成用方程式(110)表示的矩阵方程式。4321034321234321234301234F01F02F03F04F05=v·Σi=0508CiΣi=0407CiΣi=0306CiΣi=0205CiΣi=0104Ci---(110)]]>以这种方式，运动模糊调整单元106根据处理单元的长度通过建立方程计算运动模糊量已经经过调整的像素值Fi。类似地，例如，在包含在处理单元中的像素个数是100时，生成与100个像素相对应的方程式，从而计算Fi。
图85显示运动模糊调整单元106的另一配置例子。与图79所示的情况相同的部分用相同的标号表示，并且，略去不述。
根据选择信号，选择器821直接把输入的运动向量和其位置信息供应给处理单元确定部分801和建模部分802。或者，选择器821用通过其调整运动模糊的量v′替代运动向量的大小，然后将该运动向量和其位置信息供应给处理单元确定部分801和建模部分802。
利用该配置，图85所示的运动模糊调整单元106的处理单元确定部分801到计算器805可以根据运动量v和通过其调整运动模糊的量v′调整运动模糊量。例如，当运动量v是5和通过其调整运动模糊的量v′是3时，图85所示的运动模糊调整单元106的处理单元确定部分801到计算器805根据图83所示的其中通过其调整运动模糊的量v′是3的模型，对如图81所示的运动量v是5的前景成分图像进行计算。结果，获得包括具有(运动量v)/(运动模糊调整量v′)＝5/3，即，约1.7的运动量v的运动模糊的图像。在这种情况下，计算的图像不包含与3的运动量v相对应的运动模糊。因此，应该注意到，运动量v与通过其调整运动模糊的量v′之间的关系与运动模糊加入器806的结果是不同的。
如上所述，运动模糊调整单元106根据运动量v和处理单元生成方程式，为生成的方程式设置前景成分图像的像素值，从而计算运动模糊量得到调整的前景成分图像。
现在参照图86所示的流程图，描述运动模糊调整单元106执行的调整包含在前景成分图像中的运动模糊量的处理。
在步骤S801中，运动模糊调整单元106的处理单元确定部分801根据运动向量和区域信息，生成处理单元，并且把生成的处理单元供应给建模部分802。
在步骤S802中，运动模糊调整单元106的建模部分802根据运动量v和处理单元选择或生成模型。在步骤S803中，方程式生成器803根据所选的模型，建立正规方程。
在步骤S804中，加入器804为建立的正规方程设置前景成分图像的像素值。在步骤S805中，加入器804确定与处理单元相对应的所有像素的像素值是否都得到设置。如果确定与处理单元相对应的像素的像素值还没有全部得到设置，流程返回到步骤S804，重复为正规方程设置像素值的处理。
如果在步骤S805中确定与处理单元相对应的像素的像素值全部得到设置，流程转到步骤S806。在步骤S806中，计算器805根据加入器804供应的像素值得到设置的正规方程，计算运动模糊量已经得到调整的前景的像素值。然后，结束处理。
如上所述，运动模糊调整单元106根据运动向量和区域信息，可以调整包含运动模糊的前景成分图像中的运动模糊量。
也就是说，包含在像素值中的，也就是说包含在取样数据中的运动模糊量可以得到调整。
图87是显示运动模糊调整单元106的另一结构例子的方框图。把运动检测器102供应的运动向量和其位置信息供应给处理单元确定部分901和调整部分905。把区域指定单元103供应的区域信息供应给处理单元确定部分901。把前景/背景分离器105供应的前景成分图像供应给计算器904。
处理单元确定部分901根据运动向量、其位置信息、和区域信息，生成处理单元，并将生成的处理单元和运动向量一起供应给建模部分902。
建模部分902根据运动向量和输入的处理单元进行建模。更明确地说，例如，建模部分902可以根据包含在处理单元中的像素个数、像素值沿着时间方向的虚拟分割数、和前景成分的个数，为每个像素事先存储多个模型。建模部分902可以根据处理单元和像素值沿着时间方向的虚拟分割数，选择如图88所示的指定像素值与前景成分之间的相关关系的模型。
例如，假定与处理单元相对应的像素个数是12，运动量v是5。那么，建模部分902把虚拟分割数设置成5，并且选择总共由8种前景成分组成的模型，以便使得最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。
建模部分902也可以不是从事先存储的模型中选择模型，而是在供应运动向量和处理单元的情况下，根据运动向量和处理单元生成模型。
方程式生成器903根据建模部分902供应的模型，生成方程式。
现在参照图88到图90所示的前景成分图像的模型，对在前景成分的个数是8，与处理单元相对应的像素个数是12，和运动量v是5的情况下，方程式生成器903生成的方程式例子加以描述。
当包含在前景成分图像中与快门时间/v相对应的前景成分是F01/v到F08/v时，F01/v到F08/v与像素值C01到C12之间的关系被表示成如上所述的方程式(78)到(89)。
考虑像素值C12和C11，像素值C12 包括如方程式(111)所表示的前景成分F08/v，像素值C11由前景成分F08/v和前景成分F07/v之和组成。因此，前景成分F07/v通过方程式(112)来计算。
F08/v＝C12 (111)F07/v＝C11-C12 (112)类似地，对包含在像素值C10到C01中的前景成分加以考虑，前景成分F06/v到F01/v分别通过方程式(113)到方程式(118)来计算F06/v＝C10-C11 (113)F05/v＝C09-C10 (114)F04/v＝C08-C09 (115)
F03/v＝C07-C08+C12 (116)F02/v＝C06-C07+C11-C12 (117)F01/v＝C05-C06+C10-C11 (118)方程式生成器903通过，例如，方程式(111)到方程式(118)所表示的像素值之差，生成用于计算前景成分的方程式。方程式生成器903把生成的方程式供应给计算器904。
计算器904为方程式生成器903供应的方程式设置前景成分图像的像素值，从而根据设置了像素值的方程式获取前景成分。例如，在方程式生成器903供应方程式(111)到方程式(118)时，计算器904为方程式(111)到方程式(118)设置像素值C05到C12。
计算器904根据设置了像素值的方程式，计算前景成分。例如，如图89所示，计算器904根据设置了像素值C05到C12的方程式(111)到方程式(118)的计算，计算前景成分F01/v到F08/v。计算器904把前景成分F01/v到F08/v供应给调整部分905。
调整部分905将计算器904供应的前景成分与包含在处理单元确定部分901供应的运动向量中的运动量v相乘，以便获得运动模糊已经消除的前景像素值。例如，在从计算器904供应前景成分F01/v到F08/v时，调整部分905将前景成分F01/v到F08/v的每一个与运动量v，即5相乘，从而获取运动模糊已经消除的前景像素值F01到F08，如图90所示。
调整部分905把由通过如上所述的计算的、由没有运动模糊的前景像素值组成的前景成分图像供应给运动模糊加入器906和选择器907。
运动模糊加入器906通过使用与运动量v不同的、通过其调整运动模糊的量v′，例如，通过其调整运动模糊的量v′是运动量v的一半、或通过其调整运动模糊的量v′与运动量v没有任何关系，可以调整运动模糊量。例如，如图83所示，运动模糊加入器906将不含运动模糊的前景像素值Fi除以通过其调整运动模糊的量v′，从而获得前景成分Fi/v′。然后运动模糊加入器906计算前景成分Fi/v′之和，生成已经调整过运动模糊量的像素值。例如，当通过其调整运动模糊的量v′是3时，像素值C02设为F01/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，和像素值C05设为(F02+F03+F04)/v′。
运动模糊加入器906把已经经过运动模糊量调整的前景成分图像供应给选择器907。
选择器907根据反映用户选择的选择信号，选择调整部分905供应的没有运动模糊的前景成分图像、或者运动模糊加入器906供应的已经调整了运动模糊量的前景成分图像，并且输出所选的前景成分图像。
如上所述，运动模糊调整单元106可以根据选择信号和通过其调整运动模糊的量v′调整运动模糊量。
现在参照图91所示的流程图，对如图87所示配置的运动模糊调整单元106执行的调整前景的运动模糊量的处理加以描述。
在步骤S901中，运动模糊调整单元106的处理单元确定部分901根据运动向量和区域信息，生成处理单元，并且把生成的处理单元供应给建模部分902和调整部分905。
在步骤S902中，运动模糊调整单元106的建模部分902根据运动量v和处理单元选择或生成模型。在步骤S903中，方程式生成器903根据选择或生成的模型，通过前景成分图像的像素值之间的差值，生成用于计算前景成分的方程式。
在步骤S904中，计算器904为生成的方程式设置前景成分图像的像素值，并且，根据设置了像素值的方程式，使用像素值的差值来提取前景成分。在步骤S905中，计算器904确定与处理单元相对应的所有前景成分是否都得到提取。如果确定与处理单元相对应的前景成分还没有全部得到提取，流程返回到步骤S904，重复提取前景成分的处理。
如果在步骤S905中确定与处理单元相对应的前景成分全部得到提取，流程转到步骤S906。在步骤S906中，调整部分905根据运动量v，调整计算器904供应的前景成分F01/v到F08/v的每一个，从而获取已经消除运动模糊的前景像素值F01/v到F08/v。
在步骤S907中，运动模糊加入器906计算已经调整运动模糊量的前景像素值，和选择器907选择没有运动模糊的图像或运动模糊量已经调整过的图像，并且输出所选的图像。然后，结束处理。
如上所述，如图87所示的运动模糊调整单元106通过较简单的计算，可以更迅速地调整包含运动模糊的前景图像中的运动模糊。
虽然在理想状态下借助于诸如Winner(温纳)滤波器等可以部分消除运动模糊的传统技术能够达到一定效果，但是对于已经被量化和包含噪声的实际图像，没有达到显著效果。与此相反，利用如图87所示配置的运动模糊调整单元106，对于已经被量化和包含噪声的实际图像，可以达到显著效果。由此可以更精确地消除运动模糊。
如上所述，如图9所示配置的分离部分91能够调整包含在输入图像中的运动模糊量。
图92是显示分离部分91功能的另一配置的方框图。
与图9所示的部件相同的部件用相同的标号表示，并由此略去其描述。
区域指定单元103将区域信息供应给混合比计算器104和合成器1001。
混合比计算器104将混合比α供应给前景/背景分离器105和合成器1001。
前景/背景分离器105将前景成分图像供应给合成器1001。
合成器1001根据混合比计算器104供应的混合比α、和区域指定单元103供应的区域信息，合成特定背景图像和前景/背景分离器105供应的前景成分图像，并且输出其中已经合成了特定背景图像和前景成分图像的合成图像。
图93显示合成器1001的配置。背景成分生成器1021根据混合比α和特定背景图像，生成背景成分图像，并且把该背景成分图像供应给混合区域图像合成部分1022。
混合区域图像合成部分1022将背景成分生成器1021供应的背景成分图像与前景成分图像合成在一起，从而生成混合区域合成图像，并且把生成的混合区域合成图像供应给图像合成部分1023。
图像合成部分1023根据区域信息合成前景成分图像、混合区域图像合成部分1022供应的混合区域合成图像、和特定背景图像，从而生成合成的图像并输出。
如上所述，合成器1001将前景成分图像与特定背景图像合成在一起。
根据作为特征值的混合比α将前景成分图像与特定背景图像合成在一起获得的图像比简单合成像素获得的图像更加自然。
图94是显示分离部分91的功能的另一配置的方框图。图9所示的分离部分91顺序地执行区域指定操作和混合比α的计算。与此相反，图94所示的分离部分91同时执行区域指定操作和混合比α的计算。
与图9所示方框图中相同的功能部件用相同的参考标号表示，并由此略去其描述。
输入图像供应给混合比计算器1101、前景/背景分离器1102、区域指定单元103和对象提取单元101。
混合比计算器1101根据输入图像，计算假定包括在输入图像中的每一个像素属于覆盖背景区域时所获得的估计混合比、以及计算假定包括在输入图像中的每一个像素属于未覆盖背景区域时所获得的估计混合比，并将如上所述计算的估计混合比供应给前景/背景分离器1102。
图95是显示混合比计算器1101的配置例子的方框图。
图95所示的估计混合比处理器401与图54所示的估计混合比处理器401相同。图95所示的估计混合比处理器402与图54所示的估计混合比处理器402相同。
估计混合比处理器401根据输入图像通过与覆盖背景区域的模型相对应的计算，为每一个像素计算估计混合比，并输出所计算的估计混合比。
估计混合比处理器402根据输入图像通过与未覆盖背景区域的模型相对应的计算，为每一个像素计算估计混合比，并输出所计算的估计混合比。
前景/背景分离器1102根据混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计混合比、混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计混合比、以及区域指定单元103所供应的区域信息，从输入图像中生成前景成分图像，并将所生成的前景成分图像供应给运动模糊调整单元106和选择器107。
图96是显示前景/背景分离器1102的配置例子的方框图。
与图71所示的前景/背景分离器105的部件相同的那些部件用相同的参考标号表示，并由此略去其描述。
选择器1121根据区域指定单元103所供应的区域信息，选择混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计混合比，或者选择混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计混合比，并将所选择的估计混合比作为混合比α供应给分离部分601。
分离部分601根据选择器1121供应的混合比α和区域信息，从属于混合区域的像素的像素值中提取前景成分和背景成分，并将所提取的前景成分供应给合成器603，将背景成分供应给合成器605。
分离部分601可以与图76所示的结构类似地配置。
合成器603合成前景成分图像并输出。合成器605合成背景成分图像并输出。
图94所示的运动模糊调整单元106可以与图9所示相应地进行配置。运动模糊调整单元106根据区域信息和运动向量，调整包括在前景/背景分离器1102所供应的前景成分图像中的运动模糊量，并输出已经调整了运动模糊量的前景成分图像。
图94所示的选择器107根据例如反映用户选择的选择信号，选择前景/背景分离器1102提供的前景成分图像或运动模糊调整单元106提供的已经经过运动模糊量调整的前景成分图像，并输出所选择的前景成分图像。
如上所述，如图94所示的分离部分91能够调整包括在与输入图像的前景对象相对应的图像中的运动模糊量，并输出所得到的前景对象图像。在该第一实施例中，具有如图94所示结构的分离部分91能够计算作为嵌入信息的混合比α，并输出所计算的混合比α。
图97是显示分离部分91的功能的另一配置的方框图，用于将前景成分图像与特定背景图像合成。图94所示的分离部分91串行地执行区域指定操作和混合比α的计算。与此相反，图97所示的分离部分91以并行方式执行区域指定操作和混合比α的计算。
与图94所示方框图中相同的功能部件用相同的参考标号表示，并由此略去其描述。
图97所示的混合比计算器1101根据输入图像，计算假定包括在输入图像中的每一个像素属于覆盖背景区域时所获得的估计混合比、以及计算假定包括在输入图像中的每一个像素属于未覆盖背景区域时所获得的估计混合比，并将如上所述计算的估计混合比供应给前景/背景分离器1102和合成器1201。
图97所示的前景/背景分离器1102根据混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计混合比、混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计混合比、以及区域指定单元103所供应的区域信息，从输入图像中生成前景成分图像，并将所生成的前景成分图像供应给合成器1201。
合成器1201根据混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计混合比、混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计混合比、以及区域指定单元103所供应的区域信息，组合特定背景图像与前景/背景分离器1102供应的前景成分图像，并输出其中组合了所述背景图像和前景成分图像的合成图像。
图98显示合成器1201的配置。与图93所示方框图中相同的功能部件用相同的参考标号表示，并由此略去其描述。
选择器1221根据区域指定单元103所供应的区域信息，选择混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计混合比、或者选择混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计混合比，并将所选择的估计混合比作为混合比α供应给背景成分生成器1021。
图98所示的背景成分生成器1021根据选择器1021供应的混合比α和特定背景图像，生成背景成分图像，并且把该背景成分图像供应给混合区域图像合成部分1022。
图98所示的混合区域图像合成部分1022将背景成分生成器1021供应的背景成分图像与前景成分图像合成在一起，从而生成混合区域合成图像，并且把生成的混合区域合成图像供应给图像合成部分1023。
图像合成部分1023根据区域信息合成前景成分图像、混合区域图像合成部分1022供应的混合区域合成图像、和背景图像，从而生成合成的图像并将其输出。
以这种方式，合成器1201将前景成分图像与特定背景图像合成在一起。
上面已经描述了将混合比α设置成包含在像素值中的背景成分的比例的实施例。但是，混合比α也可以设置成包含在像素值中的前景成分的比例。
上面已经描述了将前景对象的运动方向设置成从左边移动到右边的方向。但是，运动方向不局限于上述方向。
在上面的描述中，通过利用视频摄像机，把具有三维空间和时间轴信息的真实空间图像投影到具有二维空间和时间轴信息的时空上。但是，本发明不受这个例子的限制，并且可以应用到下述情形中。即，当把一维空间上较多数量的第一信息投影到二维空间上较少数量的第二信息时，能够校正由于投影引起的失真，能够提取重要的信息，或者合成更自然的图像。
传感器不限于CCD，可以是其它类型的传感器，例如，固态图像拍摄器件，比如BBD(Bucket Brigade Device，斗链器件)、CID(Charge InjectionDevice，电荷注入器件)、CPD(Charge Priming Device，电荷启动器件)、或CMOS(互补型金属氧化物半导体(互补型金属氧化物薄膜半导体))等。并且，传感器不限于检测元件排列成矩阵状的传感器，可以是检测元件排列成一行的传感器。
现在参照图99的流程图描述合成服务处理，用于输出通过将摄像机终端设备2实时拍摄的图像的前景成分图像与指定背景成分图像组合在一起所生成的合成图像。假定摄像机终端设备2租借给用户。下面描述对于分离处理和合成处理单独进行收费的情况。
在步骤S1001，确定是否按下快门。重复该处理直到确定按下快门为止。当按下快门时，在步骤S1002，信号控制器71执行将图像拍摄单元74输入的图像分离成背景成分图像和前景成分图像的处理。图像分离处理为上述分离部分91执行的串行处理。具体地说，该处理将输入图像分离成前景成分图像和背景成分图像，并通过上面参照图35的流程图描述的区域指定处理、参照图63描述的混合比计算处理、参照图78的流程图描述的前景/背景分离处理、以及参照图86的流程图描述的前景成分图像运动模糊调整处理来具体实现。由于该处理与上面描述的类似，由此略去其描述。
在步骤S1003，收费处理器75执行收费处理，通过网络1向收费服务器5执行收费。与此同时，在步骤S1021，收费服务器5执行收费处理，向摄像机终端设备2执行收费。
下面参照图100的流程图描述上述的收费处理。在该收费处理中，借用摄像机终端设备2的用户在开始使用摄像机终端设备2之前输入，例如用户的账户ID(也可以输出信用卡号码)和验证信息。
在步骤S1101，如图101所示，收费处理器75指定处理(服务)内容并通过网络1将用于识别用户(用户请求图像分离)的ID信息、验证信息(口令等)、费用、以及存储在其中的ID(用于指定提供商的ID)发送给收费服务器5。在这种情况下，将图像分离处理指定为服务。
在步骤S1121，如图101所示，收费服务器24根据摄像机终端设备2发送的(用户的)ID，请求财务服务器6在财务制度管理下获取有关验证信息的客户账户、客户账户ID、以及费用。
在步骤S1141，如图101所示，财务服务器(客户用)6根据客户账户ID和验证信息执行验证处理，并通知收费服务器5验证结果和可用服务信息。
在步骤S1122，如图101所示，收费服务器5将验证信息和可用服务信息发送给摄像机终端设备2。在下面的描述中，将描述验证结果不存在问题和服务可用的条件下的情况。如果验证结果存在问题并收到表示服务不可用的信息，则结束处理。
在步骤S1102，如图101所示，当满足验证结果不存在问题和服务可用的条件时，摄像机终端设备2提供服务。换句话说，在这种情况下，摄像机终端设备2执行图像分离处理。
在步骤S1103，摄像机终端设备2将服务使用通知发送给收费服务器5。在步骤S1123，收费服务器5通知财务服务器(客户用)6客户账户ID、费用、以及提供商账户ID。
在步骤S1142，财务服务器(客户用)6将费用从具有客户账户ID的账户转账到提供商的财务服务器(提供商用)7。
下面的描述返回到图99所示的流程图。
在步骤S1004，信号控制器71将分离的图像存储到图像存储单元72中。在步骤S1005，收费处理器75确定快门是否被持续按下。如果确定已经持续按下快门，则处理返回到步骤S1002。也就是说，在快门连续被按下时，持续执行收费处理。
如果在步骤S1005确定没有被按下，则在步骤S1006，信号控制器71确定是否输入了选为背景成分图像的图像ID。重复该处理直到输入ID为止。用于指定背景成分图像的ID可以在开始使用摄像机终端设备2之前设定。当没有预先设定的ID时，可以输入默认的ID。因此，在快门按下之后可以没有任何阻碍地执行分离处理和合成处理。
在步骤S1007，信号控制器71组合具有指定ID的背景成分图像和分离处理所分离的前景成分图像。例如，当图102A所示的图像由图像拍摄单元74拍摄时，信号控制器71将该图像分离成前景成分图像和背景成分图像。接着，如图102B所示，当在步骤S1006中的处理从存储在图像存储单元72的图像(包括背景B1至B3和前景F1至F3)中选择背景B3时，信号控制器71组合背景B3和图102A所示图像中心的前景成分图像，从而生成如图102C所示的合成图像。
在步骤S1008和S1022，摄像机终端设备2的收费处理器71和收费服务器5执行收费处理，对合成处理进行收费。由于该收费处理与参照图100的流程图描述的处理类似，由此略去其描述。
在步骤S1009，摄像机终端设备2的信号控制器71在显示单元73上所合成的图像，为该图像分配ID，并在图像存储单元72中存储该图像。
在上面的例子中，在快门按下期间的时间间隔内，重复执行分离处理，并持续收取相应的费用。或者，可以在每次按下快门时收取费用。
下面参照图105描述电视机终端设备3，用于实时消除摄像机设备4拍摄的运动主体图像的运动模糊并显示该运动模糊消除的图像，如图103所示，或者用于实时消除运动模糊并组合该运动模糊消除的图像与背景成分图像，如图104所示。
如图104所示，图105所示的电视机终端设备3出租用于晚上野生动物观测等情况。对电视机终端设备3的收费处理收取相应于租用时间的费用(基于设施使用时间的费用)、以及相应于运动模糊消除处理和合成处理的费用。仅当主体图像(前景成分图像)中存在运动时收取相应于运动模糊消除处理和合成处理的费用。
电视机终端设备3的设施使用时间测量单元2001测量从电视机终端设备3开始租用的时间。设施使用时间测量单元2001在计数器2001a中存储所测量的时间并将最终测量的设施使用时间输出给收费处理器85。静止/运动确定单元2002扫描从摄像机设备4输入的拍摄图像并确定在主体图像(前景成分图像)中是否存在运动。如果存在运动，则静止/运动确定单元2002输出表明存在运动的信号给处理时间测量单元2003。当表明存在运动的信号输入到处理时间测量单元2003时，处理时间测量单元2003在计数器2003a中存储输入该信号期间的时间，并且最后在收费处理中将存储在计数器2003a中的处理时间输出给收费处理器85。此时，收费处理器85根据从设施使用时间测量单元2001输入的设施使用时间和从处理时间测量单元2003输入的处理时间，计算费用并执行收费处理，向收费服务器5收取该费用。
由于信号处理器81的结构与图8所示的信号处理器71的结构类似，由此略去其描述。
现在参照图106的流程图描述晚上用于野生动物观测的电视机终端设备3所执行的实时合成服务处理。
在步骤S1201，电视机终端设备3的设施使用时间测量单元2001开始测量设施使用时间。此时，摄像机设备4开始一个接一个地输出拍摄的图像到信号处理器71和静止/运动确定单元2002。在步骤S1202，静止/运动确定单元2002确定主体中是否存在运动。重复该处理直到确定存在运动为止。如果确定存在运动，则处理前进到步骤S1203。
在步骤S1203，静止/运动确定单元2002输出表明检测到运动的信号。响应该信号，处理时间测量单元2003开始测量处理时间。
在步骤S1204，信号控制器81的分离部分91执行分离输入图像的处理。该处理与图99的流程图的步骤S1002中的处理类似，并且包括运动模糊调整处理(见图86的流程图)。利用该处理，将图像分离，并通过前景成分图像运动模糊调整处理消除运动模糊。在这种情况下，图像分离之后，仅将前景成分图像输出到合成器92。
在步骤S1205，合成器92从图像存储单元72读出将要被组合的背景成分图像。在步骤S1206，合成器92组合读出的背景成分图像和从分离部分91输入的运动模糊消除的前景成分图像，以合成图像并将所合成的图像输出到显示单元83。显示单元83显示该合成图像。
在步骤S1207，静止/运动确定单元2002确定是否存在运动，也就是说，确定是否存在间歇的运动。如果确定存在运动，处理返回到步骤S1204，并重复从该步骤开始的处理。
如果在步骤S1207中确定不存在运动，则在步骤S1208中，处理时间测量单元2003测量用于实际分离处理(运动模糊消除处理)和合成处理所用的时间，并将该时间存储在计数器2003a中。
在步骤S1209，设施使用时间测量单元2001确定设施的使用是否结束。例如，当设施使用结束时，在步骤S1210，设施使用时间测量单元2001测量存储在计数器2001a中的设施使用时间，并将该测量的时间输出给收费处理器75。
在步骤S1211和S1121中，电视机终端设备3的收费处理器85和收费服务器5根据设施使用时间以及运动模糊消除处理和合成处理所用的处理时间，计算费用并执行相应的收费处理。由于该收费处理与参照图100的流程图所描述的处理类似，由此略去其描述。
使用前述处理，提供一种在黑暗的夜晚拍摄运动模糊调整过的图像的服务，例如晚上的野生动物观测。由于实现了根据电视机终端设备3出租期间的租用时间(设施使用时间)和处理时间(运动模糊消除处理和合成处理所用的处理时间)进行收费的收费处理，所以对于晚上动物保持静止期间所进行的分离处理和合成处理没有收取费用。使用者仅需在分离处理和合成处理必须进行时的情况下才需付费。
或者，在参照图106的流程图描述的实时合成服务处理中，收费处理不是根据租用时间而是仅根据处理时间进行收费。参照图107的流程图，下面描述将电视机终端设备3租借给高尔夫运动的用户以便用户能够检查其高尔夫的摆动等的处理。
该处理与图106的流程图相类似，其中省略步骤S1201和步骤S1210。也就是说，在步骤S1301，静止/运动确定单元2002确定主体中是否存在运动。重复该处理直到确定存在运动为止。如果确定存在运动，则处理前进到步骤S1302。换句话说，一直不执行处理，并且收费处理也一直不执行，直到用户摆动高尔夫球杆为止。
在步骤S1302，静止/运动确定单元2002输出表明检测到运动的信号。响应该信号，处理时间测量单元2003开始测量处理时间。
在步骤S1303，信号控制器81的分离部分91执行分离输入图像的处理。该处理与图99的流程图的步骤S1002中的处理类似，并且包括运动模糊调整处理。利用该处理，将图像分离，并通过前景成分图像运动模糊调整处理消除运动模糊。
在步骤S1304，合成器92从图像存储单元82读出将要被组合的背景成分图像。在步骤S1305，合成器92组合读出的背景成分图像和从分离部分91输入的运动模糊消除的前景成分图像，以合成图像并将所合成的图像输出到显示单元83。显示单元83显示该合成图像。在这种情况下，当由于高尔夫球杆摆动所引起的运动模糊从显示图像中消除时，可以得到满意的效果。所拍摄的图像无需与不同的背景成分图像组合。因此，不需要从图像存储单元82中读出背景成分图像。
在步骤S1306，静止/运动确定单元2002确定是否存在运动，也就是说，确定是否存在间歇的运动。如果确定存在运动，处理返回到步骤S1304，并重复从该步骤开始的处理。
如果在步骤S1306中确定不存在运动，则在步骤S1307中，处理时间测量单元2003测量用于实际分离处理(运动模糊消除处理)和合成处理所用的时间，并将该时间存储在计数器2003a中。
在步骤S1308，设施使用时间测量单元2001确定设施的使用是否结束。例如，当设施使用结束时(当还回摄像机终端设备2时)，在步骤S1309和S1321中，摄像机终端设备2的收费处理器71和收费服务器5根据设施使用时间以及运动模糊消除处理和合成处理所用的处理时间，计算费用并执行相应的收费处理。由于该收费处理与参照图100的流程图所描述的处理类似，由此略去其描述。
在前面的描述中，描述了电视机终端设备3的操作。另外，例如类似的处理可以由摄像机终端设备2执行。
因此，本发明的分离部分91实时地将拍摄图像分离成前景成分图像(背景成分图像)和背景成分图像(前景成分图像)，并实时执行前景成分图像的运动模糊调整处理。
如图4和图5所示，记录执行本发明的信号处理的程序的记录媒体可以被配置成其中记录程序的封装媒体，与计算机分开配送以提供程序给用户，譬如，磁盘41和61(包括软盘)、光盘42和62(包括CD-ROM(只读光盘存储器)和DVD(数字多功能盘))、磁光盘43和63(包括MD(小型盘)(注册商标))或半导体存储器44和64。记录媒体也可以被配置成包含在用于记录程序的存储单元28和58中的ROM(只读存储器)22和52或硬盘，此类型的记录媒体与计算机组装在一起事先提供给用户。
构成记录在记录媒体中的程序的步骤可以按照如上在本说明书中所述次序以时间顺序执行。但是，不必一定按照时间顺序执行，也可以并行地或单独地执行。
工业可应用性根据本发明，实时地将拍摄图像分离成前景成分图像(背景成分图像)和背景成分图像(前景成分图像)，并实时执行前景成分图像的运动模糊调整处理。
权利要求
1.一种图像处理设备，包括输入装置，用于输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计装置，用于为输入装置所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离装置，用于根据混合比估计装置所估计的混合比，将输入装置输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储装置，用于实时存储由分离装置所分离的前景成分图像和背景成分图像。
2.根据权利要求1所述的图像处理设备，还包括图像拍摄装置，用于拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
3.根据权利要求2所述的图像处理设备，还包括图像拍摄命令装置，用于向图像拍摄装置发出命令以拍摄图像；以及图像拍摄收费装置，用于响应图像拍摄命令装置的命令，执行收费处理。
4.根据权利要求1所述的图像处理设备，还包括图像显示装置，用于显示分离装置实时分离的前景成分图像和背景成分图像、以及已经存储在存储装置中的前景成分图像和背景成分图像；图像指定装置，用于从分离装置实时分离并由图像显示装置显示的前景成分图像和背景成分图像、以及已经存储在存储装置中并由图像显示装置显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成装置，用于合成指定装置所指定的期望前景成分图像和背景成分图像。
5.根据权利要求4所述的图像处理设备，还包括合成命令装置，用于向合成装置发出命令以合成图像；以及合成收费装置，用于响应合成命令装置的命令执行收费处理。
6.根据权利要求1所述的图像处理设备，还包括存储命令装置，用于向存储装置发出命令，该命令指示是否实时存储由分离装置所分离的前景成分图像和背景成分图像；以及存储收费装置，用于响应存储命令装置的命令执行收费处理。
7.根据权利要求1所述的图像处理设备，还包括运动模糊调整装置，用于调整分离装置实时分离的前景成分图像或存储装置已经存储的前景成分图像的运动模糊。
8.根据权利要求7所述的图像处理设备，还包括运动模糊调整图像显示装置，用于显示运动模糊调整装置所生成的经过运动模糊调整的前景成分图像。
9.根据权利要求8所述的图像处理设备，还包括合成装置，用于合成由运动模糊调整装置所生成的经过运动模糊调整的前景成分图像和背景成分图像；其中，所述运动模糊调整图像显示装置可以显示合成装置通过合成运动模糊调整装置生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
10.根据权利要求7所述的图像处理设备，还包括处理时间测量装置，用于测量运动模糊调整装置调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费装置，用于根据处理时间测量装置所测量的时间执行收费处理。
11.根据权利要求8所述的图像处理设备，还包括运行时间测量装置，用于测量运行时间；以及运行收费装置，用于根据运行时间测量装置所测量的时间执行收费处理。
12.一种图像处理方法，包括输入步骤，用于输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计步骤，用于为输入步骤所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离步骤，用于根据混合比估计步骤所估计的混合比，将输入步骤输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储步骤，用于实时存储由分离步骤所分离的前景成分图像和背景成分图像。
13.根据权利要求12所述的图像处理方法，还包括图像拍摄步骤，用于拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
14.根据权利要求13所述的图像处理方法，还包括图像拍摄命令步骤，用于向图像拍摄步骤发出命令以拍摄图像；以及图像拍摄收费步骤，用于响应图像拍摄命令步骤的命令，执行收费处理。
15.根据权利要求12所述的图像处理方法，还包括图像显示步骤，用于显示分离步骤实时分离的前景成分图像和背景成分图像、以及已经在存储步骤中存储的前景成分图像和背景成分图像；图像指定步骤，用于从分离步骤实时分离并由图像显示步骤显示的前景成分图像和背景成分图像、以及已经在存储步骤中存储并由图像显示步骤显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成步骤，用于合成指定步骤所指定的期望前景成分图像和背景成分图像。
16.根据权利要求15所述的图像处理方法，还包括合成命令步骤，用于向合成步骤发出命令以合成图像；以及合成收费步骤，用于响应合成命令步骤的命令执行收费处理。
17.根据权利要求12所述的图像处理方法，还包括存储命令步骤，用于向存储步骤发出命令，该命令指示是否实时存储由分离步骤所分离的前景成分图像和背景成分图像；以及存储收费步骤，用于响应存储命令步骤的命令执行收费处理。
18.根据权利要求12所述的图像处理方法，还包括运动模糊调整步骤，用于调整分离步骤实时分离的前景成分图像或已经在存储步骤存储的前景成分图像的运动模糊。
19.根据权利要求18所述的图像处理方法，还包括运动模糊调整图像显示步骤，用于显示运动模糊调整步骤所生成的经过运动模糊调整的前景成分图像。
20.根据权利要求19所述的图像处理方法，还包括合成步骤，用于合成由运动模糊调整步骤所生成的经过运动模糊调整的前景成分图像和背景成分图像；其中，所述运动模糊调整图像显示步骤可以显示合成步骤通过合成运动模糊调整步骤生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
21.根据权利要求18所述的图像处理方法，还包括处理时间测量步骤，用于测量运动模糊调整步骤调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费步骤，用于根据处理时间测量步骤所测量的时间执行收费处理。
22.根据权利要求19所述的图像处理方法，还包括运行时间测量步骤，用于测量运行时间；以及运行收费步骤，用于根据运行时间测量步骤所测量的时间执行收费处理。
23.一种其上记录有计算机可读程序的记录媒体，所述程序包括输入控制步骤，用于控制输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计控制步骤，用于控制为输入控制步骤所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离控制步骤，用于根据混合比估计控制步骤所估计的混合比，控制将输入控制步骤输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储控制步骤，用于控制实时存储由分离控制步骤所分离的前景成分图像和背景成分图像。
24.根据权利要求23所述的其上记录有计算机可读程序的记录媒体，所述程序还包括图像拍摄控制步骤，用于控制拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
25.根据权利要求24所述的其上记录有计算机可读程序的记录媒体，所述程序还包括图像拍摄命令控制步骤，用于控制向图像拍摄控制步骤发出命令以拍摄图像；以及图像拍摄收费控制步骤，用于响应图像拍摄命令控制步骤的命令，控制执行收费处理。
26.根据权利要求23所述的其上记录有计算机可读程序的记录媒体，所述程序还包括图像显示控制步骤，用于控制显示分离控制步骤实时分离的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储的前景成分图像和背景成分图像；图像指定控制步骤，用于控制从分离控制步骤实时分离并由图像显示控制步骤显示的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储并由图像显示控制步骤显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成控制步骤，用于控制合成指定控制步骤所指定的期望前景成分图像和背景成分图像。
27.根据权利要求26所述的其上记录有计算机可读程序的记录媒体，所述程序还包括合成命令控制步骤，用于控制向合成控制步骤发出命令以合成图像；以及合成收费控制步骤，用于响应合成命令控制步骤的命令控制执行收费处理。
28.根据权利要求23所述的其上记录有计算机可读程序的记录媒体，所述程序还包括存储命令控制步骤，用于控制向存储控制步骤发出命令，该命令指示是否实时存储由分离控制步骤所分离的前景成分图像和背景成分图像；以及存储收费控制步骤，用于响应存储命令控制步骤的命令控制执行收费处理。
29.根据权利要求23所述的其上记录有计算机可读程序的记录媒体，所述程序还包括运动模糊调整控制步骤，用于控制调整分离控制步骤实时分离的前景成分图像或已经在存储控制步骤存储的前景成分图像的运动模糊。
30.根据权利要求29所述的其上记录有计算机可读程序的记录媒体，所述程序还包括运动模糊调整图像显示控制步骤，用于控制显示运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像。
31.根据权利要求30所述的其上记录有计算机可读程序的记录媒体，所述程序还包括合成控制步骤，用于控制合成由运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像和背景成分图像；其中，所述运动模糊调整图像显示控制步骤可以显示合成控制步骤通过合成运动模糊调整控制步骤生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
32.根据权利要求29所述的其上记录有计算机可读程序的记录媒体，所述程序还包括处理时间测量控制步骤，用于控制测量运动模糊调整控制步骤调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费控制步骤，用于根据处理时间测量控制步骤所测量的时间控制执行收费处理。
33.根据权利要求30所述的其上记录有计算机可读程序的记录媒体，所述程序还包括运行时间测量控制步骤，用于控制测量运行时间；以及运行收费控制步骤，用于根据运行时间测量控制步骤所测量的时间控制执行收费处理。
34.一种程序，指令计算机执行包括如下步骤的过程输入控制步骤，用于控制输入由预定个数的包括像素的图像拍摄器件所获取的、由预定个数像素数据组成的图像数据，所述图像拍摄器件每一个具有时间积分效应；混合比估计控制步骤，用于控制为输入控制步骤所输入的图像数据中的混合区域估计混合比，混合区域包括构成图像数据的前景对象的前景对象成分和构成图像数据的背景对象的背景对象成分的混合；分离控制步骤，用于根据混合比估计控制步骤所估计的混合比，控制将输入控制步骤输入的图像数据实时地分离成前景成分图像和背景成分图像，前景成分图像由构成图像数据的前景对象的前景对象成分形成，背景成分图像由构成图像数据的背景对象的背景对象成分形成；以及存储控制步骤，用于控制实时存储由分离控制步骤所分离的前景成分图像和背景成分图像。
35.根据权利要求34所述的程序，指令计算机执行的过程还包括图像拍摄控制步骤，用于控制拍摄由图像数据构成的图像，所述图像数据由像素值构成，所述像素值根据形成由所述预定个数的图像拍摄器件在每一个像素中对时间积分所得的图像的光强来确定，所述图像拍摄器件用于将形成图像的光转换为电荷并对时间积分通过光电转换所生成的电荷。
36.根据权利要求35所述的程序，指令计算机执行的过程还包括图像拍摄命令控制步骤，用于控制向图像拍摄控制步骤发出命令以拍摄图像；以及图像拍摄收费控制步骤，用于响应图像拍摄命令控制步骤的命令，控制执行收费处理。
37.根据权利要求34所述的程序，指令计算机执行的过程还包括图像显示控制步骤，用于控制显示分离控制步骤实时分离的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储的前景成分图像和背景成分图像；图像指定控制步骤，用于控制从分离控制步骤实时分离并由图像显示控制步骤显示的前景成分图像和背景成分图像、以及已经在存储控制步骤中存储并由图像显示控制步骤显示的前景成分图像和背景成分图像中指定期望的前景成分图像和背景成分图像；以及合成控制步骤，用于控制合成指定控制步骤所指定的期望前景成分图像和背景成分图像。
38.根据权利要求37所述的程序，指令计算机执行的过程还包括合成命令控制步骤，用于控制向合成控制步骤发出命令以合成图像；以及合成收费控制步骤，用于响应合成命令控制步骤的命令控制执行收费处理。
39.根据权利要求34所述的程序，指令计算机执行的过程还包括存储命令控制步骤，用于控制向存储控制步骤发出命令，该命令指示是否实时存储由分离控制步骤所分离的前景成分图像和背景成分图像；以及存储收费控制步骤，用于响应存储命令控制步骤的命令控制执行收费处理。
40.根据权利要求34所述的程序，指令计算机执行的过程还包括运动模糊调整控制步骤，用于控制调整分离控制步骤实时分离的前景成分图像或已经在存储控制步骤存储的前景成分图像的运动模糊。
41.根据权利要求40所述的程序，指令计算机执行的过程还包括运动模糊调整图像显示控制步骤，用于控制显示运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像。
42.根据权利要求41所述的程序，指令计算机执行的过程还包括合成控制步骤，用于控制合成由运动模糊调整控制步骤所生成的经过运动模糊调整的前景成分图像和背景成分图像；其中，所述运动模糊调整图像显示控制步骤可以显示合成控制步骤通过合成运动模糊调整控制步骤生成的经过运动模糊调整的前景成分图像和背景成分图像所生成的图像。
43.根据权利要求40所述的程序，指令计算机执行的过程还包括处理时间测量控制步骤，用于控制测量运动模糊调整控制步骤调整前景成分图像的运动模糊所需的时间；以及运动模糊调整收费控制步骤，用于根据处理时间测量控制步骤所测量的时间控制执行收费处理。
44.根据权利要求41所述的程序，指令计算机执行的过程还包括运行时间测量控制步骤，用于控制测量运行时间；以及运行收费控制步骤，用于根据运行时间测量控制步骤所测量的时间控制执行收费处理。
全文摘要
将拍摄的图像实时地分离为前景成分图像和背景成分图像。由图像拍摄模块(74)拍摄的图像被分离成在图像存储模块(72)存储的前景成分图像和背景成分图像，收费模块(75)对于该分离执行必要的收费。其中，分离模块(91)对所分离的前景成分图像执行运动模糊补偿，并将其与背景成分图像一起输出到合成模块(92)。合成模块(92)将所输入的已经经过运动模糊补偿的前景成分图像与所分离的背景成分图像合成，从而生成合成图像并在显示模块(73)上显示。本发明可以应用到摄像机终端设备。
文档编号G06T3/00GK1466736SQ02802675
公开日2004年1月7日 申请日期2002年6月26日 优先权日2001年6月27日
发明者近藤哲二郎, 永野隆浩, 石桥淳一, 泽尾贵志, 藤原直树, 和田成司, 三宅彻, 一, 司, 志, 树, 浩 申请人:索尼公司