图像处理设备和方法以及图像拾取设备的制作方法

专利名称：图像处理设备和方法以及图像拾取设备的制作方法
技术领域：
本发明涉及图像处理设备和方法，以及图像获取设备，特别涉及其中在由传感器检测的信号和真实世界之间的差别被考虑进去的图像处理设备和方法，以及图像获取设备。
背景技术：
用于通过传感器检测在真实世界发生的事件和用于处理从图像传感器输出的采样数据的技术被广泛地使用。
例如，如果运动速度是相对的高，则在通过采集在预定固定背景前面移动的目标而获得的图像中将发生运动模糊。
但是，迄今，不允许检测已经被采集的图像的快门时间(shutter time)。

发明内容
鉴于上述背景提出了本发明，其目的是允许检测已经被采集的图像的曝光时间。
根据本发明的图像处理设备包括帧间移动量检测装置，用于基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测装置，用于检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测装置，用于根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测装置，用于基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，曝光时间比率检测装置可以检测曝光时间。
混合比率检测装置可以包括相关表达式产生装置，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，混合比率检测装置基于相关表达式检测指定像素和附近像素的混合比率。
基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，相关表达式产生装置可以产生相关表达式。
曝光时间内移动量检测装置可以检测在混合区域中混合比率关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内的前景目标的移动量，并输出所检测的移动量。
根据本发明的图像处理方法包括帧间移动量检测步骤，基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测步骤，检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测步骤，根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测步骤，基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，在曝光时间比率检测步骤中可以检测曝光时间。
混合比率检测步骤可以包括相关表达式产生步骤，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，在混合比率检测步骤中基于相关表达式检测指定像素和附近像素的混合比率。
基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，在相关表达式产生步骤中可以产生相关表达式。
在曝光时间内移动量检测步骤中，可以检测在混合区域中混合比率关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
根据本发明的记录介质中的程序，包括帧间移动量检测步骤，基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测步骤，检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测步骤，根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测步骤，基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，在曝光时间比率检测步骤中可以检测曝光时间。
混合比率检测步骤可以包括相关表达式产生步骤，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，在混合比率检测步骤中基于相关表达式检测指定像素和附近像素的混合比率。
基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，在相关表达式产生步骤中可以产生相关表达式。
在曝光时间内移动量检测步骤中，可以检测在混合区域中混合比率关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
根据本发明的程序允许计算机执行帧间移动量检测步骤，基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测步骤，检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测步骤，根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测步骤，基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，在曝光时间比率检测步骤中可以检测曝光时间。
混合比率检测步骤可以包括相关表达式产生步骤，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据和对应于指定像素和附近像素的背景像素数据之间的关系，在混合比率检测步骤中基于相关表达式检测指定像素和附近像素的混合比率。
基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，在相关表达式产生步骤中可以产生相关表达式。
在曝光时间内移动量检测步骤中，可以检测在混合区域中混合比率关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
根据本发明的图像采集设备包括图像采集装置，用于输出通过图像采集器件采集的主题图像作为由预定数目的像素数据构成的图像数据，该图像采集器件包括具有时间积分功能的预定数目的像素；帧间移动量检测装置，用于基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测装置，用于检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测装置，用于根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测装置，用于基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，曝光时间比率检测装置可以检测曝光时间。
混合比率检测装置可以包括相关表达式产生装置，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，混合比率检测装置基于相关表达式检测指定像素和附近像素的混合比率。
基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，相关表达式产生装置可以产生相关表达式。
曝光时间内移动量检测装置可以检测在混合区域中混合比率关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；根据混合比率，检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及基于在前景目标的曝光时间内的移动量和在各帧之间的移动量检测各帧的时间间隔与该曝光时间的比率。
因此，允许检测已经被采集的图像的曝光时间。


图1是表示根据本发明的图像处理设备实施例的示意图。
图2是表示图像处理设备结构的方框图。
图3表示由传感器实现的图像采集。
图4表示像素的配置。
图5表示检测器件的操作。
图6A表示通过图像采集对应于移动前景的目标和对应于固定背景的目标而获得的图像。
图6B表示通过图像采集对应于移动前景的目标和对应于固定背景的目标而获得的图像的模型。
图7表示背景区域、前景区域、混合区域、遮盖(covered)背景区域和未遮盖(uncovered)背景区域。
图8表示在由图像采集对应于固定前景的目标和对应于固定背景的目标而获得的图像中通过扩展在时间方向被并排排列的像素的像素值而得到的模型。
图9表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图10表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图11表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图12表示其中在前景区域、背景区域和混合区域中的像素被提取的例子。
图13表示在像素和通过扩展在时间方向上的像素值获得的模型之间的关系。
图14表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图15表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图16表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图17表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图18表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图19表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图20表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图21表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图22表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图23表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图24A是表示调节移动模糊量的示意图。
图24B是表示调节移动模糊量的示意图。
图25A是表示调节移动模糊量的示意图。
图25B是表示调节移动模糊量的示意图。
图26是表示用于调节移动模糊量的处理的流程图。
图27是表示区域指定单元103的结构的例子的方框图。
图28表示当对应于前景的目标正在移动时的图像。
图29表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图30表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图31表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图32表示用于确定区域的条件。
图33A表示通过用区域指定单元103规定区域而获得的结果的例子。
图33B表示通过用区域指定单元103规定区域而获得的结果的例子。
图33C表示通过用区域指定单元103规定区域而获得的结果的例子。
图33D表示通过用区域指定单元103规定区域而获得的结果的例子。
图34表示通过用区域指定单元103规定区域而获得的结果的例子。
图35是表示区域规定处理的流程图。
图36是表示区域指定单元103的结构的另一个例子的方框图。
图37表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图38表示背景图像的例子。
图39是表示二进制目标图像提取部分302的结构的方框图。
图40A表示相关值的计算。
图40B表示相关值的计算。
图41A表示相关值的计算。
图41B表示相关值的计算。
图42表示二进制目标图像的例子。
图43是表示时间变化检测器303的结构的方框图。
图44表示由区域确定部分342进行的确定。
图45表示由时间变化检测器303进行的确定的例子。
图46是表示由区域指定单元103完成的区域规定处理的流程图。
图47是表示区域规定处理的细节的流程图。
图48是表示混合比率计算器104的结构的方框图。
图49表示理想混合比率α的例子。
图50表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图51表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图52表示用于近似混合比率α的直线。
图53表示用于近似混合比率α的平面。
图54表示当混合比率α被计算时多个帧中像素的关系。
图55是表示混合比率估计处理器401的结构的方框图。
图56是用于解释从混合比率确定部分403输出的在快门时间内的移动矢量的示意图。
图57是表示估计混合比率的例子的示意图。
图58是表示混合比率计算器104的另一个结构的方框图。
图59是表示用于计算混合比率和在快门时间内的移动矢量的处理的流程图。
图60是表示用于通过使用对应于遮盖背景区域的模型来估计混合比率和移动矢量的处理的流程图。
图61是表示前景/背景分离器105结构的例子的方框图。
图62A表示输入图像，前景分量图像和背景分量图像。
图62B表示输入图像，前景分量图像和背景分量图像的模型。
图63表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图64表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图65表示其中像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图66是表示分离部分601的结构的例子的方框图。
图67A表示分离的前景分量图像的例子。
图67B表示分离的背景分量图像的例子。
图68是表示用于分离前景和背景的处理的流程图。
图69是表示移动模糊调节单元106结构的例子的方框图。
图70表示处理的单位。
图71表示其中前景分量图像的像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图72表示其中前景分量图像的像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图73表示其中前景分量图像的像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图74表示其中前景分量图像的像素值在时间方向被扩展和对应于快门时间的周期被分割的模型。
图75表示移动模糊调节单元106另一个结构的例子。
图76是表示通过移动模糊调节单元107完成的用于调节前景分量图像中包含的移动模糊量的处理的流程图。
图77是表示移动模糊调节单元107另一个结构的例子的方框图。
图78表示其中在像素值和前景分量之间的关系被表示的模型的例子。
图79表示前景分量的计算。
图80表示前景分量的计算。
图81是表示用于调节在前景中包含的移动模糊量的处理的流程图。
图82表示合成器108的结构。
图83是表示图像处理设备功能的另一个结构的方框图。
图84是表示混合比率计算器1101的结构的方框图。
图85是表示前景/背景分离器1102的结构的方框图。
图86是表示合成器1103的结构的方框图。
具体实施例方式
图1是表示根据本发明的图像处理设备实施例的示意图。CPU(中央处理单元)21根据在ROM(只读存储器)22中或者在存储单元28中存储的程序执行各种类型的处理。由CPU 21执行的程序和数据根据要求被存储在RAM(随机存取存储器)23中。CPU 21，ROM 22和RAM 23通过总线24被相互连接。
输入/输出接口25通过总线24也被连接到CPU 21。由键盘，鼠标，麦克风等形成的输入单元26和由显示器、扬声器等形成的输出单元27被连接到输入/输出接口25。响应于从输入单元26输入的命令，CPU 21执行各种类型的处理。CPU 21然后将作为处理结果获得的图像或者声音输出到输出单元27。
连接到输入/输出接口25的存储单元28是由例如硬盘形成的，存储由CPU 21执行的程序和各种类型的数据。通信单元29通过因特网或者另外的网络与外部装置通信。在本例子中，通信单元29用作为获得单元，用于获得传感器的输出。
另外，程序可以通过通信单元29获得并被存储在存储单元28中。
当这种记录介质被固定到驱动器30时，连接到输入/输出接口25的驱动器30驱动磁盘51，光盘52，磁光盘53，半导体存储器54等，并且获得在对应介质中存储的程序或者数据。所获得程序或者数据被传送到存储单元28并且如果需要被存储在其中。
图2是表示图像处理设备的方框图。
无关紧要的是图像处理设备的单个功能是通过硬件还是通过软件实现。即，本说明书的方框图可以是硬件方框图或者是软件功能性的方框图。
在本说明书中，被采集的对应于现实世界中目标的图像被称为图像目标。
提供给图像处理设备的输入图像被提供给目标提取单元101，区域指定单元103，混合比率计算器104和前景/背景分离器105。
目标提取单元101提取对应于包含在输入图像中的前景目标的粗糙图像目标和将所提取的图像目标提供给移动检测器102。目标提取单元101检测例如包含在输入图像中的前景图像目标的轮廓以便提取对应于前景目标的粗糙图像目标。
目标提取单元101提取对应于包含在输入图像中的背景目标的粗糙图像目标和将所提取的图像目标提供给移动检测器102。目标提取单元101从例如在输入图像和对应于前景目标的所提取图像目标之间的差别中提取对应于背景目标的粗糙图像目标。
另外，例如，目标提取单元101可以从在机内背景存储器中存储的背景图像和输入图像之间的差别中提取对应于前景目标的粗糙图像目标和对应于背景目标的粗糙图像目标。
移动检测器102根据诸如块匹配、梯度、相位相关、或者像素递归(pel-recursive)技术的技术来计算对应于前景目标的粗糙提取图像目标的运动矢量，该运动矢量表示帧之间的移动，并且将所计算的帧间运动矢量和帧间运动矢量位置信息(其是用于规定对应于该运动矢量的像素的位置的信息)提供给快门时间计算器106。
移动检测器102可以将每个图像目标的帧间运动矢量以及用于规定图像目标的像素的像素位置信息输出到快门时间计算器106。
区域指定单元103确定输入图像的每个像素属于前景区域、背景区域或者混合区域的哪一个，和将表示每个像素属于哪个区域的信息(以后称为“区域信息”)提供给混合比率计算器104、前景/背景分离器105、移动模糊调节单元107和合成器108。
混合比率计算器104基于输入图像和从区域指定单元103提供的区域信息来计算对应于在混合区域中包含的像素的混合比率(以后称为“混合比率α”)，并且将该混合比率α提供给前景/背景分离器105和合成器108。
混合比率α是表示对应于背景目标的图像分量(以后也称为“背景分量”)对由方程(3)表示的像素值的比率的值，其在下面表示。
混合比率计算器104基于输入图像和从区域指定单元103提供的区域信息在快门时间之内产生表示帧内图像移动的运动矢量，以及对应于在快门时间之内产生表示像素或者图像目标的运动矢量的位置信息，并且在快门时间之内将运动矢量和其位置信息提供给快门时间计算器106和移动模糊调节单元107。
由混合比率计算器104输出的在快门时间之内的运动矢量包括对应于在快门时间之内的移动量v的信息。
在快门时间之内的移动量v是表示在对应于移动目标的图像中以像素节距(pitch)为单位的位置改变的值。例如，如果对应于前景的目标图像的分量正在移动使得被包括在帧的四个像素中，则对应于前景的目标图像的快门时间之内的移动量v是4。
前景/背景分离器105基于从区域指定单元103提供的区域信息和混合比率计算器104提供的混合比率α将输入图像分离成仅仅由对应于前景目标的图像分量形成的前景分量图像(以后也称为“前景分量”)和仅仅由背景分量形成的背景分量图像，并且将该前景分量图像提供给移动模糊调节单元107和选择器107。被分离的前景分量图像可以被设置为最终输出。比较其中仅仅规定前景和背景而不考虑混合区域的公知方法，能够获得更为精确的前景和背景。
基于从移动检测器102提供的帧间运动矢量和其位置信息以及从混合比率计算器104提供的在快门时间之内的运动矢量和其位置信息，快门时间计算器106计算快门时间，并将快门时间提供给移动模糊调节单元107。
移动模糊调节单元107基于从在快门时间之内的运动矢量获得的在快门时间之内的移动量v和基于区域信息来确定表示在前景分量图像中包含的至少一个像素之处理的单位，该处理的单位是规定要进行移动模糊调节的一组像素的数据。
基于快门时间，从前景/背景分离器105提供的前景分量图像，从移动检测器102提供的在快门时间之内的运动矢量和其位置信息，以及处理的单位，移动模糊调节单元107通过去掉、降低或者增加在前景分量图像中包含的移动模糊来调节在前景分量图像中包含的移动模糊量。移动模糊调节单元106然后将其中移动模糊量被调节的前景分量图像输出到合成器108。
移动模糊是在对应于运动目标的图像中包含的失真，其是由在现实世界中被采集的目标移动和传感器的图像采集特性引起的。
基于从区域指定单元103提供的区域信息和从混合比率计算器104提供的混合比率，合成器108将被输入到图像处理设备的某个背景图像与从移动模糊调节单元107提供的其中移动模糊量被调节的前景分量图像合成，并输出合成的图像。
下面参考图3到25讨论被提供给图像处理设备的输入图像。
图3表示由传感器完成的图像采集。传感器是由例如安装有CCD区域传感器的CCD(电荷偶合器件)视频摄象机形成，其是固体图像采集器件。对应于现实世界的前景的目标111例如水平地在对应于背景的目标112和传感器之间从左移动到右。
传感器采集对应于前景的目标111的图像以及对应于背景的目标112的图像。传感器以帧为单位输出所采集的图像。例如，传感器输出具有每秒30帧的图像。
在本说明书中，帧的时间间隔将称为帧间隔时间。
传感器的曝光时间能够是1/30秒。曝光时间是从当传感器开始将输入光转变为电荷时到从输入光到电荷的转变被完成为止的时间周期。曝光时间也被称为“快门时间”。
图4表示像素的排列。图4中，A到I表示单个像素。像素被布置在对应图像的平面上。对应于每个像素的一个检测器件被布置在传感器上。当传感器执行图像采集时，每个检测器件输出形成图像的对应像素的像素值。例如，检测器件在X方向的位置对应于图像上的水平方向，而检测器件在Y方向的位置对应于图像上的垂直方向。
如图5表示，例如是CCD的检测器件在对应于快门时间的周期期间将输入光转变为电荷，并且存储所变换的电荷。电荷量几乎正比于输入光的强度和光被输入的时间周期。检测器件随后将从输入光转变来的电荷加到在对应于快门时间的时间周期期间所存储的电荷上。即，检测器件积分在对应于快门时间的时间周期期间的输入光并且存储对应于所积分光量的电荷。能够认为检测器件具有关于时间的积分功能。
在检测器件中存储的电荷通过电路(没有表示出)被转变成电压值，该电压值被进一步转变成诸如数字数据的像素值和被输出。因此，从传感器输出的每个像素值是被投射到线性空间的值，其是关于快门时间积分对应于前景或者背景的目标的某个三维部分的结果。
图像处理设备通过传感器的存储操作提取嵌置在输出信号中的重要信息，例如为混合比率α。图像处理设备调节由前景图像目标本身的混合引起的例如为移动模糊量的失真量。图像处理设备还调节由前景图像目标和背景图像目标的混合引起的失真量。
图6A表示通过图像采集对应于移动前景的目标和对应于固定背景的目标而获得的图像。
图6B表示通过图像采集对应于移动前景的目标和对应于固定背景的目标而获得的图像。
图6A表示通过采集对应于前景的移动目标和对应于背景的固定目标而获得的图像。在图6A表示的例子中，对应于前景的目标关于屏幕是水平地左起移动到右边。
图6B表示通过在时间方向扩展对应于图6A中表示图像的一条线的像素值而获得的模型。图6B中表示的水平方向对应于图6A中的空间方向X。
背景区域中像素的值是仅仅从背景分量即对应于背景目标的图像分量形成的。前景区域中像素的值是仅仅从前景分量即对应于前景目标的图像分量形成的。
混合区域像素的值是从背景分量和前景分量形成的。由于混合区域中像素的值是从背景分量和前景分量形成的，其可以被称为“失真区域”。混合区域还被分类成遮盖背景区域和未遮盖背景区域。
遮盖背景区域是在对应于其中前景目标正在运动的方向的前端的位置的混合区域，在这里，随着时间的过去，背景分量逐渐地被前景所遮盖。
相反，未遮盖背景区域是对应于其中前景目标正在运动的方向的后端的混合区域，在这里，随着时间的过去，背景分量逐渐地出现。
如上讨论，包含前景区域、背景区域、或者遮盖背景区域或者未遮盖背景区域的图像被作为输入图像输入到区域指定单元103、混合比率计算器104和前景/背景分离器105。
图7表示上述的背景区域、前景区域、混合区域、遮盖背景区域和未遮盖背景区域。在对应于图6A表示图像的区域中，背景区域是固定部分，前景区域是移动部分，混合区域的遮盖背景区域是从背景变化到前景的部分，混合区域的未遮盖背景区域是从前景变化到背景的部分。
图8表示在由采集对应于固定前景的目标的图像和对应于固定背景的目标的图像而获得的图像中，通过在时间方向扩展被并排排列的像素的像素值而得到的模型。例如，作为并排排列的像素，可以选择在屏幕的一条线中配置的像素。
在图8中表示的由F01到F04表示的像素值是对应于固定前景的目标的像素的值。在图8中表示的由B01到B04表示的像素值是对应于固定背景的目标的像素的值。
图8的垂直方向对应于时间，并且时间是在图中表示的从顶部到底部流逝。图8矩形的顶边的位置对应于时间，此时传感器开始将输入光转变成电荷，而图8矩形的底边的位置对应于时间，此时从输入光到电荷的转变完成。即，图8中从矩形的顶边到底边的距离对应于快门时间。
图8的水平方向对应于图6A的空间方向X。更具体地说，在图8表示的例子中，从图8由“F01”表示的矩形的左边到由“B04”表示的矩形的右边的距离是八倍的像素节距，即8个连续的像素。
当前景目标和背景目标是固定的时，被输入传感器的光在对应于快门时间的时间周期期间不变化。
对应于快门时间的时间周期被分成两个或者更多部分的相等周期。例如，如果有效(virtual)分割部分的数目是4，则图8表示的模型能够由图9表示的模型表示。有效分割部分的数目能够根据在快门时间之内对应于前景的目标的移动量v来设置。例如，当快门时间之内的移动量v是4时有效分割部分的数目被设置为4，并且对应于快门时间的时间周期被分成四个部分。
图中最上面的线对应于第一分割周期，此时快门已经打开。图中第二条线对应于第二分割周期，此时快门已经打开。图中第三条线对应于第三分割周期，此时快门已经打开。图中第四条线对应于第四分割周期，此时快门已经打开。
根据快门时间内移动量v分割的快门时间今后也被称为“快门时间/v”。
当对应于前景的目标是固定的时，输入到传感器的光不变化，并且因此，前景分量F01/v等于通过将像素值F01与有效分割部分的数目相除而获得的值。类似地，当对应于前景的目标是固定的时，前景分量F02/v等于通过将像素值F02与有效分割部分的数目相除而获得的值，前景分量F03/v等于通过将像素值F03与有效分割部分的数目相除而获得的值，以及前景分量F04/v等于通过将像素值F04与有效分割部分的数目相除而获得的值。
当对应于背景的目标是固定的时，输入到传感器的光不变化，并且因此，背景分量B01/v等于通过将像素值B01与有效分割部分的数目相除而获得的值。类似地，当对应于背景的目标是固定的时，背景分量B02/v等于通过将像素值B02与有效分割部分的数目相除而获得的值，背景分量B03/v等于通过将像素值B03与有效分割部分的数目相除而获得的值，以及背景分量B04/v等于通过将像素值B04与有效分割部分的数目相除而获得的值。
更具体地说，当对应于前景的目标是固定的时，对应于前景目标的输入到传感器的光在对应于快门时间的时间周期期间不变化。因此，对应于此时快门已经打开的快门时间/v第一部分的前景分量F01/v，对应于此时快门已经打开的快门时间/v第二部分的前景分量F01/v，对应于此时快门已经打开的快门时间/v第三部分的前景分量F01/v，以及对应于此时快门已经打开的快门时间/v第四部分的前景分量F01/v变成相同的值。该相同的值适用于F02/v到F04/v，如同在F01/v的情况。
当对应于背景的目标是固定的时，对应于背景目标的输入到传感器的光在对应于快门时间的时间周期期间不变化。因此，对应于此时快门已经打开的快门时间/v第一部分的背景分量B01/v，对应于此时快门已经打开的快门时间/v第二部分的背景分量B01/v，对应于此时快门已经打开的快门时间/v第三部分的背景分量B01/v，以及对应于此时快门已经打开的快门时间/v第四部分的背景分量B01/v变成相同的值。该相同的值适用于B02/v到B04/v。
说明书给出其中对应于前景的目标是移动的和对应于背景的目标是固定的的情况。
图10表示当对应于前景的目标正在移向图中表示的右边时，通过在时间方向扩展包括遮盖背景区域的一条线中像素的像素值而获得的模型。
由于一帧是短周期，能够假设对应于前景的目标是用不变速度移动的刚体。图10中，对应于前景的目标的图像的分量移动使得其被包括在四个像素中。
例如，前景分量F04/v被包括在左起第一到第四像素中。
图10中，在快门时间之内的移动量是4。
图10中，从最左边像素到第四个像素的像素属于前景区域。图10中，从左起第五个像素到第七个像素的像素属于混合区域，其是遮盖背景区域。图10中，最右边的像素属于背景区域。
对应于前景的目标移动，使得随着时间的过去其渐渐地遮盖对应于背景的目标。因此，在对应于快门时间的时间周期期间，在确定的时间，在属于遮盖背景区域的像素的像素值中包含的分量从背景分量变化到前景分量。
例如，由图10中的厚帧(thick frame)包围的像素值M由下面的方程(1)表示。
M＝B02/v+B02/v+F07/v+F06/v(1)例如，左起第五个像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，并且因此，左起第五个像素的混合比率α是1/4。左起第六个像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，并且因此，左起第六个像素的混合比率α是1/2。左起第七个像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个部分的前景分量，并且因此，左起第七个像素的混合比率α是3/4。
能够假设对应于前景的目标是刚体，并且前景目标是用不变速度移动的使得其被包括在四个像素中。因此，例如，当快门已经打开时对应于快门时间/v第一部分的图10中左起第四个像素的前景分量F07/v等于当快门已经打开时对应于快门时间/v第二部分的图10中左起第五个像素的前景分量。类似地，前景分量F07/v是等于当快门已经打开时对应于快门时间/v第三部分的图10中左起第六个像素的前景分量，以及当快门已经打开时对应于快门时间/v第四部分的图10中左起第七个像素的前景分量。
能够假设对应于前景的目标是刚体，并且前景目标是用不变速度移动的使得其被包括在四个像素中。因此，例如，当快门已经打开时对应于快门时间/v第一部分的图10中左起第三个像素的前景分量F06/v等于当快门已经打开时对应于快门时间/v第二部分的图10中左起第四个像素的前景分量。类似地，前景分量F06/v是等于当快门已经打开时对应于快门时间/v第三部分的图10中左起第五个像素的前景分量，以及当快门已经打开时对应于快门时间/v第四部分的图10中左起第六个像素的前景分量。
能够假设对应于前景的目标是刚体，并且前景目标是用不变速度移动的使得其被包括在四个像素中。因此，例如，当快门已经打开时对应于快门时间/v第一部分的图10中左起第二个像素的前景分量F05/v是等于当快门已经打开时对应于快门时间/v第二部分的图10中左起第三个像素的前景分量。类似地，前景分量F05/v是等于当快门已经打开时对应于快门时间/v第三部分的图10中左起第四个像素的前景分量，以及当快门已经打开时对应于快门时间/v第四部分的图10中左起第五个像素的前景分量。
能够假设对应于前景的目标是刚体，并且前景目标是用不变速度移动的使得其被包括在四个像素中。因此，例如，当快门已经打开时对应于快门时间/v第一部分的图10中最左边像素的前景分量F04/v是等于当快门已经打开时对应于快门时间/v第二部分的图10中左起第二个像素的前景分量。类似地，前景分量F04/v是等于当快门已经打开时对应于快门时间/v第三部分的图10中左起第三个像素的前景分量，以及当快门已经打开时对应于快门时间/v第四部分的图10中左起第四个像素的前景分量。
由于对应于运动目标的前景区域包含上述的移动模糊，其能够被称为“失真区域”。
图11表示当对应于前景的目标正在移向图中表示的右边时，通过在时间方向扩展包括未遮盖背景区域的一条线中像素的像素值而获得的模型。
由于一帧是短周期，能够假设对应于前景的目标是用不变速度移动的刚体。图11中，对应于前景的目标图像分量是用不变速度移动的使得其被包括在四个像素中。例如，前景分量F01/v移动使得其被包括在左起第五到第八个像素中。
图11中，前景的在快门时间之内的移动量v是4。
图11中，从最左边像素到第四个像素的像素属于背景区域。图11中，从左起第五个像素到第七个像素的像素属于混合区域，其是未遮盖背景区域。图11中，最右边的像素属于前景区域。
对应于遮盖了对应于背景的目标的前景的目标是移动的使得随着时间的过去其渐渐地从对应于背景的目标移开。因此，在对应于快门时间的时间周期的确定时间上，在属于未遮盖背景区域的像素的像素值中包含的分量从前景分量变化到背景分量。
例如，由图11中的厚帧(thick frame)包围的像素值M’由下面的方程(2)表示。
M’＝F02/v+F01/v+B26/v+B26/v(2)
例如，左起第五个像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个快门部分的前景分量，并且因此，左起第五个像素的混合比率α是3/4。左起第六个像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，并且因此，左起第六个像素的混合比率α是1/2。左起第七个像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，并且因此，左起第七个像素的混合比率α是1/4。
当方程(1)和(2)被概括时，像素值M能够由方程(3)表示M=α·B+ΣiFi/v----(3)]]>这里，α是混合比率，B表示背景的像素值，Fi/v指定前景分量。
能够假设对应于前景的目标是刚体，其用不变速度移动，并且在快门时间之内的移动量是4。因此，例如，当快门已经打开时对应于快门时间/v第一部分的图11中左起第五个像素的前景分量F01/v是等于当快门已经打开时对应于快门时间/v第二部分的图11中左起第六个像素的前景分量。类似地，前景分量F01/v是等于当快门已经打开时对应于快门时间/v第三部分的图11中左起第七个像素的前景分量，以及当快门已经打开时对应于快门时间/v第四部分的图11中左起第八个像素的前景分量。
能够假设对应于前景的目标是刚体，其用不变速度移动，并且有效分割部分的数目是4。因此，例如，当快门已经打开时对应于快门时间/v第一部分的图11中左起第六个像素的前景分量F02/v是等于当快门已经打开时对应于快门时间/v第二部分的图11中左起第七个像素的前景分量。类似地，前景分量F02/v是等于当快门已经打开时对应于快门时间/v第三部分的图11中左起第八个像素的前景分量。
能够假设对应于前景的目标是刚体，其用不变速度移动，并且在快门时间之内的移动量v是4。因此，例如，当快门已经打开时对应于快门时间/v第一部分的图11中左起第七个像素的前景分量F03/v是等于当快门已经打开时对应于快门时间/v第二部分的图11中左起第八个像素的前景分量。
参考图9到11已经说明了有效分割部分的数目是4。有效分割部分的数目对应于在快门时间之内的移动量v。通常，在快门时间之内的移动量v对应于对应前景的目标的移动速度。例如，如果前景分量移动使得其被包括在帧中的四个像素中的话，则在快门时间之内的移动量v被设置为4。有效分割部分的数目根据该在快门时间之内的移动量v被设置为4。
类似地，如果前景目标移动使得其被包括在帧中的六个像素中，则在快门时间之内的移动量v被设置为6，有效分割部分的数目被设置为6。
图12和13表示上述的前景区域、背景区域和由遮盖背景或者未遮盖背景构成的混合区域与对应于快门时间的分割时间周期的前景分量和背景分量的关系。
图12表示其中在前景区域、背景区域和混合区域中的像素从图像中被提取的例子，该图像包含对应于在固定背景之前移动的目标的前景。在图12表示的例子中，对应于由A表示的前景的目标正相对于屏幕水平地移动。
帧#n+1是在帧#n之后的帧，帧#n+2是在帧#n+1之后的帧。
在前景区域、背景区域和混合区域中的像素是从帧#n到帧#n+2的一个中被提取的，并且在快门时间之内的移动量v被设置为4。通过在时间方向扩展所提取像素的像素值而获得的模型被表示在图13中。
由于对应于前景的目标是移动的，前景区域中的像素值是由对应于快门时间/v的四个不同背景分量形成的。例如，图13表示的在前景区域中像素的最左边像素是由F01/v，F02/v，F0 3/v，和F04/v构成的。即，前景中的像素包含移动模糊。
由于对应于背景的目标是固定的，在快门时间期间对应于背景的输入到传感器的光不变化。在这种情况下，背景区域中的像素值不包含移动模糊。
由遮盖背景区域或者未遮盖背景区域构成的混合区域中的像素值是由前景分量和背景分量形成的。
下面的说明给出了通过在时间方向扩展在多个帧中被并排排列的和当对应于目标的图像在移动时这些帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。例如，当对应于目标的图像正相对于屏幕水平移动时，在屏幕上排列的像素能够被选择作为被并排排列的像素。
图14表示通过在时间方向扩展在由采集对应于固定背景的目标而获得的图像的三个帧中被并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。图14中，快门时间是与帧间隔时间一样长。
帧#n是在帧#n-1之后的帧，帧#n+1是在帧#n之后的帧。相同的情况适用于其它帧。
图14表示的像素值B01到B12是对应于固定背景目标的像素值。由于对应于背景的目标是固定的，帧#n-1到帧#n+1中对应像素的像素值不变化。例如，位于具有帧#n-1中像素值B05的像素的对应位置上的帧#n中像素和帧#n+1中像素具有像素值B05。
参考图15和16，说明包括遮盖背景区域的图像，对此，快门时间和帧间隔时间是相同的。
图15表示通过在时间方向扩展在由采集对应于正向图中所表示右边移动的前景的目标以及对应于固定背景的目标而获得的图像的三个帧中被并排排列的、和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。
图15中，能够假设对应于前景的目标是用不变速度移动的刚体，并且前景目标移动使得其被包括在帧中的四个像素中。因此，在快门时间之内的移动量v是4，以及有效分割部分的数目是4。
例如，当快门已经打开时对应于快门时间/v第一部分的图15中帧#n-1最左边像素的前景分量是F12/v，当快门已经打开时对应于快门时间/v第二部分的图15中左起第二像素的前景分量也是F12/v。当快门已经打开时对应于快门时间/v第三部分的图15左起第三像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图15中左起第四像素的前景分量是F12/v。
当快门已经打开时对应于快门时间/v第二部分的图15中帧#n-1最左边像素的前景分量是F11/v。当快门已经打开时对应于快门时间/v第三部分的图15中左起的第二像素的前景分量也是F11/v。当快门已经打开时对应于快门时间/v第四部分的图15中左起的第三像素的前景分量是F11/v。
当快门已经打开时对应于快门时间/v第三部分的图15中帧#n-1最左边像素的前景分量是F10/v。当快门已经打开时对应于快门时间/v第四部分的图15中左起的第二像素的前景分量也是F10/v。当快门已经打开时对应于快门时间/v第四部分的图15中帧#n-1最左边像素的前景分量是F09/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第一部分的图15中帧#n-1左起第二像素的背景分量是B01/v。当快门已经打开时对应于快门时间/v第一和第二部分的图15中帧#n-1左起第三像素的背景分量是B02/v。当快门已经打开时对应于快门时间/v第一到第三部分的图15中帧#n-1左起第四像素的背景分量是B03/v。
图15的帧#n-1中，左起的最左边像素属于前景区域，而左起的第二到第四像素属于混合区域，其是遮盖背景区域。
图15中帧#n-1的左起的第五到第十二像素属于背景区域，并且其像素值分别是B04到B11。
图15中帧#n的左起的第一到第五像素属于前景区域。帧#n前景区域中快门时间/v的前景分量是F05/v到F12/v的任何一个。
能够假设对应于前景的目标是用不变速度移动的刚体，在快门时间之内的移动量v是4，并且快门时间和帧间隔时间是相同的，前景图像移动使得在随后帧的右边被显示四个像素。
当快门已经打开时对应于快门时间/v第一部分的图15中帧#n左起第五像素的前景分量是F12/v，以及当快门已经打开时对应于快门时间/v第二部分的图15中左起的第六像素的前景分量也是F12/v。当快门已经打开时对应于快门时间/v第三部分的图15中左起第七像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图15中左起第八像素的前景分量是F12/v。
当快门已经打开时对应于快门时间/v第二部分的图15中帧#n左起第五像素的前景分量是F11/v。当快门已经打开时对应于快门时间/v第三部分的图15中左起的第六像素的前景分量也是F11/v。当快门已经打开时对应于快门时间/v第四部分的图15中左起第七像素的前景分量是F11/v。
当快门已经打开时对应于快门时间/v第三部分的图15中帧#n左起第五像素的前景分量是F10/v。当快门已经打开时对应于快门时间/v第四部分的图15中左起的第六像素的前景分量也是F10/v。当快门已经打开时对应于快门时间/v第四部分的图15中帧#n的左起第五像素的前景分量是F09/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第一部分的图15中帧#n左起第六像素的背景分量是B05/v。当快门已经打开时对应于快门时间/v第一和第二部分的图15中帧#n左起第七像素的背景分量是B06/v。当快门已经打开时对应于快门时间/v第一到第三部分的图15中帧#n左起第八像素的背景分量是B07/v。
图15的帧#n中，左起的第六到第八像素属于混合区域，其是遮盖背景区域。
图15中帧#n的左起的第九到第十二像素属于背景区域，并且其像素值分别是B08到B11。
图15中帧#n+1的左起的第一到第九像素属于前景区域。帧#n+1前景区域中快门时间/v的前景分量是F01/v到F12/v的任何一个。
能够假设对应于前景的目标是用不变速度移动的刚体，在快门时间之内的移动量v是4，并且快门时间和帧间隔时间是相同的。因此，当快门已经打开时对应于快门时间/v第一部分的图15中帧#n+1左起第九像素的前景分量是F12/v，以及当快门已经打开时对应于快门时间/v第二部分的图15中左起的第十像素的前景分量也是F12/v。当快门已经打开时对应于快门时间/v第三部分的图15中左起第十一像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图15中左起第十二像素的前景分量是F12/v。
当快门已经打开时对应于快门时间/v第二部分的图15中帧#n+1左起第九像素的前景分量是F11/v。当快门已经打开时对应于快门时间/v第三部分的图15中左起的第十像素的前景分量也是F11/v。当快门已经打开时对应于快门时间/v第四部分的图15中左起第十一像素的前景分量是F11/v。
当快门已经打开时对应于快门时间/v第三部分的图15中帧#n+1左起第九像素的前景分量是F10/v。当快门已经打开时对应于快门时间/v第四部分的图15中左起的第十像素的前景分量也是F10/v。当快门已经打开时对应于快门时间/v第四部分的图15中帧#n+1的左起第十像素的前景分量是F09/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第一部分的图15中帧#n+1左起第十像素的背景分量是B09/v。当快门已经打开时对应于快门时间/v第一和第二部分的图15中帧#n+1左起第十一像素的背景分量是B10/v。当快门已经打开时对应于快门时间/v第一到第三部分的图15中帧#n+1左起第十二像素的背景分量是B11/v。
图15的帧#n+1中，左起的第十到第十二像素属于混合区域，其是遮盖背景区域。
图16是通过从图15表示的像素值中提取前景分量获得的图像的模型。
图17表示通过在时间方向扩展在由采集对应于固定背景的目标而获得的图像的三个帧中被并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。图17中，帧间隔时间是两倍于快门时间。
图17中表示的像素值B01到B12是对应于固定背景目标的像素值。由于对应于背景的目标是固定的，帧#n-1到帧#n+1中对应像素的像素值不改变。例如，位于具有帧#n-1中像素值B05的像素的对应位置上的帧#n中像素和帧#n+1中像素具有像素值B05。
如上述，即使快门时间和帧间隔时间之间的关系改变，通过仅仅采集固定目标获得的图像的分量也不改变。
参考图18和19，说明包括遮盖背景区域的图像，此时快门时间是帧间隔时间的一半。
图18表示通过在时间方向扩展在由采集对应于正在向图中表示的右边移动的前景的目标以及与对应于固定背景的目标而获得的图像的三个帧中被并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。
图18中，能够假设对应于前景的目标是用不变速度移动的刚体，并且前景分量移动使得其被包括在帧中的四个像素中。因此，在快门时间之内的移动量v是4，有效分割部分的数目是4。
例如，当快门已经打开时对应于快门时间/v第一部分的图18中帧#n-1最左边像素的前景分量是F20/v，和当快门已经打开时对应于快门时间/v第二部分的图18中左起的第二像素的前景分量也是F20/v。当快门已经打开时对应于快门时间/v第三部分的图18中左起第三像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图18中左起第四像素的前景分量是F20/v。
当快门已经打开时对应于快门时间/v第二部分的图18中帧#n-1最左边像素的前景分量是F19/v。当快门已经打开时对应于快门时间/v第三部分的图18中左起的第二像素的前景分量也是F19/v。当快门已经打开时对应于快门时间/v第四部分的图18中左起第三像素的前景分量是F19/v。
当快门已经打开时对应于快门时间/v第三部分的图18中帧#n-1最左边像素的前景分量是F18/v。当快门已经打开时对应于快门时间/v第四部分的图18中左起的第二像素的前景分量也是F18/v。当快门已经打开时对应于快门时间/v第四部分的图18中帧#n-1最左边像素的前景分量是F17/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第一部分的图18中帧#n-1左起第二像素的背景分量是B01/v。当快门已经打开时对应于快门时间/v第一和第二部分的图18中帧#n-1左起第三像素的背景分量是B02/v。当快门已经打开时对应于快门时间/v第一到第三部分的图18中帧#n-1左起第四像素的背景分量是B03/v。
图18的帧#n-1中，左起的最左边像素属于前景区域，左起第二到第四像素属于混合区域，其是遮盖背景区域。
图18中从帧#n-1的左边的第五到第十二像素属于背景区域。并且其像素值分别是B04到B19。
图18中从帧#n的左边的第一到第九像素属于前景区域。该帧#n前景区域中快门时间内的前景分量是F09/v到F20/v的任何一个。
能够假设对应于前景的目标是用不变速度移动的刚体，并且帧间隔时间是快门时间的两倍，以便前景图像移动使得其在随后的帧中向右边被显示八个像素。
当快门已经打开时对应于快门时间/v第一部分的图18中帧#n左起第九像素的前景分量是F20/v，以及当快门已经打开时对应于快门时间/v第二部分的图18中左起的第十像素的前景分量也是F20/v。当快门已经打开时对应于快门时间/v第三部分的图18中左起第十一像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图18中左起的第十二像素的前景分量是F20/v。
当快门已经打开时对应于快门时间/v第二部分的图18中帧#n左起第九像素的前景分量是F19/v。当快门已经打开时对应于快门时间/v第三部分的图18中左起的第十像素的前景分量也是F19/v。当快门已经打开时对应于快门时间/v第四部分的图18中左起第十一像素的前景分量是F19/v。
当快门已经打开时对应于快门时间/v第三部分的图18中帧#n左起第九像素的前景分量是F18/v。当快门已经打开时对应于快门时间/v第四部分的图18中左起的第十像素的前景分量也是F18/v。当快门已经打开时对应于快门时间/v第四部分的图18中帧#n左起第九像素的前景分量是F17/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第一部分的图18中帧#n左起第十像素的背景分量是B09/v。当快门已经打开时对应于快门时间/v第一和第二部分的图18中帧#n左起第十一像素的背景分量是B10/v。当快门已经打开时对应于快门时间/v第一到第三部分的图18中帧#n左起第十二像素的背景分量是B11/v。
图18的帧#n中，左起第十像素到第十二像素属于混合区域，其是遮盖背景区域。
图18中从帧#n的左边的第十三像素到第二十像素属于背景区域，并且其像素值分别是B12到B19。
图18中从帧#n+1的左边的第一到第十七像素属于前景区域。帧#n+1的前景区域中快门时间内前景分量是F01/v到F20/v的任何一个。
能够假设对应于前景的目标是用不变速度移动的刚体，在快门时间内的移动量v是4，并且帧间隔时间是快门时间的两倍。因此，当快门已经打开时对应于快门时间/v第一部分的图18中帧#n+1左起第十七像素的前景分量是F20/v，以及当快门已经打开时对应于快门时间/v第二部分的图18中左起的第十八像素的前景分量也是F20/v。当快门已经打开时对应于快门时间/v第三部分的图18中左起第十九像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图18中左起的第二十像素的前景分量是F20/v。
当快门已经打开时对应于快门时间/v第二部分的图18中帧#n+1左起第十七像素的前景分量是F19/v。当快门已经打开时对应于快门时间/v第三部分的图18中左起的第十八像素的前景分量也是F19/v。当快门已经打开时对应于快门时间/v第四部分的图18中左起第十九像素的前景分量是F19/v。
当快门已经打开时对应于快门时间/v第三部分的图18中帧#n+1左起第十七像素的前景分量是F18/v。当快门已经打开时对应于快门时间/v第四部分的图18中左起的第十八像素的前景分量也是F18/v。当快门已经打开时对应于快门时间/v第四部分的图18中帧#n+1左起第十七像素的前景分量是F17/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第一部分的图18中帧#n+1左起第十八像素的背景分量是B17/v。当快门已经打开时对应于快门时间/v第一和第二部分的图18中帧#n+1左起第十九像素的背景分量是B18/v。当快门已经打开时对应于快门时间/v第一到第三部分的图18中帧#n+1左起第二十像素的背景分量是B19/v。
图18的帧#n+1中，左起第八像素到第二十像素属于混合区域，其是遮盖背景区域。
图19表示通过从图18中表示的像素值中提取前景分量获得的图像的模型。
下面，参考图20和21，说明包括未遮盖背景区域的图像，此时快门时间和帧间隔时间是相同的。
图20表示通过在时间方向扩展在由采集对应于正在向图中表示的右边移动的前景的目标以及与对应于固定背景的目标而获得的图像的三个帧中被并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。
图20中，能够假设对应于前景的目标是用不变速度移动的刚体。由于前景分量移动使得其被包括在帧中的四个像素中，在快门时间之内的移动量v是4。
例如，当快门已经打开时对应于快门时间/v第一部分的图20中帧#n-1最左边像素的前景分量是F13/v，和当快门已经打开时对应于快门时间/v第二部分的图20中左起的第二像素的前景分量也是F13/v。当快门已经打开时对应于快门时间/v第三部分的图20中左起第三像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图20中左起第四像素的前景分量是F13/v。
当快门已经打开时对应于快门时间/v第一部分的图20中帧#n-1左起第二像素的前景分量是F14/v。当快门已经打开时对应于快门时间/v第二部分的图20中左起的第三像素的前景分量也是F14/v。当快门已经打开时对应于快门时间/v第一部分的图20中左起第三像素的前景分量是F15/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第二到第四部分的图20中帧#n-1最左边像素的背景分量是B25/v。当快门已经打开时对应于快门时间/v第三和第四部分的图20中帧#n-1左起第二像素的背景分量是B26/v。当快门已经打开时对应于快门时间/v第四部分的图20中帧#n-1左起第三像素的背景分量是B27/v。
图20的帧#n-1中，最左边像素到第三像素属于混合区域，其是未遮盖背景区域。
图20中从帧#n-1的左边的第四到第十二像素属于前景区域。该帧的前景分量是F13/v到F24/v的任何一个。
图20中从帧#n的左边的最左边像素到第四像素属于背景区域，并且其像素值分别是B25到B28。
能够假设对应于前景的目标是用不变速度移动的刚体，并且前景分量移动使得其被包括在帧中的四个像素中。因此，当快门已经打开时对应于快门时间/v第一部分的图20中帧#n左起第五像素的前景分量是F13/v，以及当快门已经打开时对应于快门时间/v第二部分的图20中左起的第六像素的前景分量也是F13/v。当快门已经打开时对应于快门时间/v第三部分的图20中左起第七像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图20中左起的第八像素的前景分量是F13/v。
当快门已经打开时对应于快门时间/v第一部分的图20中帧#n左起第六像素的前景分量是F14/v。当快门已经打开时对应于快门时间/v第二部分的图20中左起的第七像素的前景分量也是F14/v。当快门已经打开时对应于快门时间/v第一部分的图20中左起第八像素的前景分量是F15/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第二到第四部分的图20中帧#n左起第五像素的背景分量是B29/v。当快门已经打开时对应于快门时间/v第三和第四部分的图20中帧#n左起第六像素的背景分量是B30/v。当快门已经打开时对应于快门时间/v第四部分的图20中帧#n左起第七像素的背景分量是B31/v。
图20的帧#n中，左起第五像素到第七像素属于混合区域，其是未遮盖背景区域。
图20中从帧#n的左边的第八到第十二像素属于前景区域。对应于快门时间/v的周期之帧#n的前景区域中的值是F13/v到F20/v的任何一个。
图20中从帧#n+1的左边的最左边像素到第八像素属于背景区域，并且其像素值分别是B25到B32。
能够假设对应于前景的目标是用不变速度移动的刚体，并且前景分量移动使得其被包括在帧中的四个像素中。因此，当快门已经打开时对应于快门时间/v第一部分的图20中帧#n+1左起第九像素的前景分量是F13/v，以及当快门已经打开时对应于快门时间/v第二部分的图20中左起的第十像素的前景分量也是F13/v。当快门已经打开时对应于快门时间/v第三部分的图20中左起第十一像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图20中左起的第十二像素的前景分量是F13/v。
当快门已经打开时对应于快门时间/v第一部分的图20中帧#n+1左起第十像素的前景分量是F14/v。当快门已经打开时对应于快门时间/v第二部分的图20中左起的第十一像素的前景分量也是F14/v。当快门已经打开时对应于快门时间/v第一部分的图20中左起第十二像素的前景分量是F15/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第二到第四部分的图20中帧#n+1左起第九像素的背景分量是B33/v。当快门已经打开时对应于快门时间/v第三和第四部分的图20中帧#n+1左起第十像素的背景分量是B34/v。当快门已经打开时对应于快门时间/v第四部分的图20中帧#n+1左起第十一像素的背景分量是B35/v。
图20的帧#n+1中，图中表示的左起第九到第十一像素属于混合区域，其是未遮盖背景区域。
图20中从帧#n+1左起的第十二像素属于前景区域。帧#n+1的前景区域中快门时间/v内的前景分量分别是F13/v到F16/v的任何一个。
图21表示通过从图20中表示的像素值中提取前景分量获得的图像的模型。
下面，参考图22和23，说明包括未遮盖背景区域的图像，此时帧间隔时间是快门时间的两倍。
图22表示通过在时间方向扩展在由采集对应于正在向图中表示的右边移动的前景的目标以及与对应于固定背景的目标而获得的图像的三个帧中被并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。
图22中，能够假设对应于前景的目标是用不变速度移动的刚体。由于前景分量移动使得其被包括在帧中的四个像素中，在快门时间之内的移动量v是4。
例如，当快门已经打开时对应于快门时间/v第一部分的图22中帧#n-1最左边像素的前景分量是F13/v，和当快门已经打开时对应于快门时间/v第二部分的图22中左起的第二像素的前景分量也是F13/v。当快门已经打开时对应于快门时间/v第三部分的图22中左起第三像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图22中左起第四像素的前景分量是F13/v。
当快门已经打开时对应于快门时间/v第一部分的图22中帧#n-1左起第二像素的前景分量是F14/v。当快门已经打开时对应于快门时间/v第二部分的图22中左起的第三像素的前景分量也是F14/v。当快门已经打开时对应于快门时间/v第一部分的图22中左起第三像素的前景分量是F15/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第二到第四部分的图22中帧#n-1最左边像素的背景分量是B25/v。当快门已经打开时对应于快门时间/v第三和第四部分的图22中帧#n-1左起第二像素的背景分量是B26/v。当快门已经打开时对应于快门时间/v第四部分的图22中帧#n-1左起第三像素的背景分量是B27/v。
图22的帧#n-1中，最左边像素到第三像素属于混合区域，其是未遮盖背景区域。
图22中从帧#n-1的左边的第四到第二十像素属于前景区域。该帧的前景分量是F13/v到F32/v的任何一个。
图22中从帧#n的左边的最左边像素到第八像素属于背景区域，并且其像素值分别是B25到B32。
能够假设对应于前景的目标是用不变速度移动的刚体，快门时间内移动量v是4，并且帧间隔时间是快门时间的两倍。因此，前景图像移动使得对于随后帧中的右边被显示八个像素。
当快门已经打开时对应于快门时间/v第一部分的图22中帧#n左起第九像素的前景分量是F13/v，以及当快门已经打开时对应于快门时间/v第二部分的图22中左起的第十像素的前景分量也是F13/v。当快门已经打开时对应于快门时间/v第三部分的图22中左起第十一像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图22中左起的第十二像素的前景分量是F13/v。
当快门已经打开时对应于快门时间/v第一部分的图22中帧#n左起第十像素的前景分量是F14/v。当快门已经打开时对应于快门时间/v第二部分的图22中左起的第十一像素的前景分量也是F14/v。当快门已经打开时对应于快门时间/v第一部分的图22中左起第十二像素的前景分量是F15/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第二到第四部分的图22中帧#n左起第九像素的背景分量是B33/v。当快门已经打开时对应于快门时间/v第三和第四部分的图22中帧#n左起第十像素的背景分量是B34/v。当快门已经打开时对应于快门时间/v第四部分的图22中帧#n左起第十一像素的背景分量是B35/v。
图22的帧#n中，左起第九像素到第十一像素属于混合区域，其是未遮盖背景区域。
图22中从帧#n的左边的第十二到第二十像素属于前景区域。对应于快门时间/v的周期之帧#n的前景区域中的值是F13/v到F24/v的任何一个。
图22中从帧#n+1的左边的最左边像素到第十六像素属于背景区域，并且其像素值分别是B25到B40。
能够假设对应于前景的目标是用不变速度移动的刚体，并且前景分量移动使得其被包括在帧中的四个像素中。因此，当快门已经打开时对应于快门时间/v第一部分之图22中帧#n+1左起第十七像素的前景分量是F13/v，以及当快门已经打开时对应于快门时间/v第二部分的图22中左起的第十八像素的前景分量也是F13/v。当快门已经打开时对应于快门时间/v第三部分的图22中左起第十九像素的前景分量和当快门已经打开时对应于快门时间/v第四部分的图22中左起的第二十像素的前景分量是F13/v。
当快门已经打开时对应于快门时间/v第一部分的图22中帧#n+1左起第十八像素的前景分量是F14/v。当快门已经打开时对应于快门时间/v第二部分的图22中左起的第十九像素的前景分量也是F14/v。当快门已经打开时对应于快门时间/v第一部分的图22中左起第十九像素的前景分量是F15/v。
由于对应于背景的目标是固定的，当快门已经打开时对应于快门时间/v第二到第四部分的图22中帧#n+1左起第十七像素的背景分量是B41/v。当快门已经打开时对应于快门时间/v第三和第四部分的图22中帧#n+1左起第十八像素的背景分量是B42/v。当快门已经打开时对应于快门时间/v第四部分的图22中帧#n+1左起第十九像素的背景分量是B43/v。
图22的帧#n+1中，左起第十七到第十九像素属于混合区域，其是未遮盖背景区域。
图22中从帧#n+1的左边的第二十像素属于前景区域。帧#n+1的前景区域中快门时间/v内的前景分量分别是F13/v到F16/v的任何一个。
图23表示通过从图22中表示的像素值中提取前景分量获得的图像的模型。
回来参考图2，区域指定单元103通过使用多个帧的像素值来规定表示输入图像的单独像素是属于前景区域、背景区域、遮盖背景区域或者未遮盖背景区域之哪一个的标志(flag)，和将该标志作为区域信息提供给混合比率计算器104和移动模糊调节单元107。
混合比率计算器104基于多个帧的像素值和区域信息计算在混合区域中包含的每个像素的混合比率α，并且将所计算的混合比率α提供给前景/背景分离器105。
基于从区域指定单元103提供的输入图像和区域信息，混合比率计算器104产生快门时间内的移动矢量和表示对应于该快门时间内移动矢量的像素或者图像目标的位置信息，并且将该快门时间内的移动矢量和其位置信息提供给移动模糊调节单元107。通过混合比率计算器104获得的快门时间内移动矢量的幅值代表快门时间内的移动量v。
前景/背景分离器105基于多个帧的像素值、区域信息和混合比率α提取仅仅由前景分量构成的前景分量图像，和将该前景分量图像提供给移动模糊调节单元107。
基于从前景/背景分离器105提供的前景分量图像、从混合比率计算器104提供的快门时间内移动矢量、以及从区域指定单元103提供的区域信息，移动模糊调节单元107调节在前景分量图像中包含的移动模糊量，并且然后输出其中移动模糊被调节的前景分量图像。
参考图24A到25B说明用于通过移动模糊调节单元107调节前景分量图像中的移动模糊的处理。
图24A和24B是表示在调节移动模糊之前的前景分量图像和要被合成的背景图像。图24A中，A表示前景分量图像，B表示快门时间内的移动量。图24B中，C表示要被合成的背景图像。
通过下述例子进行说明，这里前景分量图像的帧间隔时间是与要被组合的背景图像的帧间隔时间一样长，前景分量图像的快门时间是帧间隔时间的一半，以及背景图像的快门时间是与帧间隔时间一样长。
如图24A中表示，由于快门时间较短，与快门时间是与帧间隔时间一样长的情况相比，前景分量图像的快门时间内移动量较小。因此，如果前景分量图像在不调节移动模糊量的情况下与背景图像合成，则合成的图像对观察者看上去是不自然的。
因此，如图25A和25B中表示，移动模糊调节单元107根据快门时间的长度和帧间隔时间的长度调节前景分量图像的快门时间内移动量即移动模糊量。图25A中，A表示前景分量图像，B表示快门时间内的移动量。图25B中，C表示要被合成的背景图像。
因此，在前景分量图像中和在背景分量图像中包括的移动模糊量变成相等，使得通过合成前景分量图像和背景图像获得的合成图像对观察者看上去是自然的。
下面参考图26的流程图说明通过图像处理设备完成的用于调节移动模糊量的处理。在步骤S11，区域指定单元103基于输入图像执行区域规定处理，用于产生表示输入图像的每个像素是属于前景区域、背景区域、遮盖背景区域或者未遮盖背景区域之哪一个的区域信息。下面给出区域规定处理的细节。区域指定单元103将所产生的区域信息提供给混合比率计算器104。
在步骤S11，区域指定单元103可以基于输入图像产生表示输入图像的每个像素是属于前景区域、背景区域、或者混合区域(与每个像素是否属于遮盖背景区域或者未遮盖背景区域无关)之哪一个的区域信息。在这种情况下，前景/背景分离器105和移动模糊调节单元107基于快门时间内移动矢量或者帧间移动矢量的方向确定混合区域是遮盖背景区域还是未遮盖背景区域。例如，如果输入图像在快门时间内移动矢量或者帧间移动矢量的方向上被布置成前景区域、混合区域和背景区域的顺序，则确定该混合区域是遮盖背景区域。如果输入图像在快门时间内移动矢量或者帧间移动矢量的方向上被布置成背景区域、混合区域和前景区域的顺序，则确定该混合区域是未遮盖背景区域。
在步骤S12，混合比率计算器104基于输入图像和区域信息计算在混合区域中包含的每个像素的混合比率α和快门时间内移动矢量。下面给出用于计算混合比率α和快门时间内移动矢量的处理的细节。混合比率计算器104将计算的混合比率α提供给前景/背景分离器105和合成器108，并且将快门时间内移动矢量提供给快门时间计算器106和移动模糊调节单元107。
在步骤S13，快门时间计算器106基于从移动检测器102提供的帧间移动矢量和其位置信息以及从混合比率计算器104提供的快门时间内移动矢量和其位置信息计算快门时间。快门时间计算器106将所计算的快门时间提供给移动模糊调节单元107。
在步骤S14，前景/背景分离器105基于区域信息和混合比率α从输入图像中提取前景分量，和将前景分量提供给移动模糊调节单元107，作为前景分量图像。
在步骤S15，移动模糊调节单元107基于快门时间内移动矢量和区域信息产生表示在移动方向上布置的和属于未遮盖背景区域、前景区域和遮盖背景区域之任何一个的连续像素的位置的处理单位。基于该快门时间，移动模糊调节单元107调节在对应于该处理单位之前景分量中包含的移动模糊量。移动模糊调节单元107将其中移动模糊被调节的前景分量提供给合成器108。下面给出用于调节移动模糊量的处理的细节。
在步骤S16，图像处理设备确定该处理是否在整个屏幕完成。如果其确定该处理没在整个屏幕中完成，则处理返回到步骤S15，并且重复对应于该处理单位的用于调节该前景分量的移动模糊量的处理。
如果在步骤S16确定该处理在整个屏幕中完成，则处理前进到步骤S17，其中合成器108基于从区域指定单元103提供的区域信息和从混合比率计算器104提供的混合比率，将输入到图像处理设备的某个背景图像与从移动模糊调节单元107提供的、其中移动模糊被调节的前景分量图像进行合成，以及而后退出该处理。
在这种方式下，图像处理设备能够调节在前景中包含的移动模糊量和将所得图像与希望的背景图像合成。即，图像处理设备能够调节在表示前景像素的像素值的采样数据中包含的移动模糊量。
下面说明区域指定单元103，混合比率计算器104，前景/背景分离器105和移动模糊调节单元107的每一个的结构。
图27是表示区域指定单元103结构例子的方框图。帧存储器201以帧为单位存储输入图像。当要被处理的图像是帧#n时，帧存储器201存储帧#n-2，其是在帧#n之前两个帧的帧，存储帧#n-1，其是在帧#n之前一个帧的帧，存储帧#n，存储在帧#n之后一个帧的帧即帧#n+1，存储在帧#n之后两个帧的帧即帧#n+2。
固定/移动确定部分202-1从帧存储器201读出帧#n+2的像素的像素值，其位于其中该像素属于的区域被确定的帧#n的指定像素的相同位置，以及读出位于与帧#n的指定像素相同位置的帧#n+1的像素的像素值，并且计算在所读出像素值之间的差别的绝对值。固定/移动确定部分202-1确定在帧#n+2的像素值和帧#n+1的像素值之间的差别的绝对值是否大于预先设置的阈值Th。如果确定出该差别大于阈值Th，则表示“移动”的固定/移动确定被提供给区域确定部分203-1。如果确定出在帧#n+2的像素的像素值和帧#n+1的像素的像素值之间的差别的绝对值小于或者等于阈值Th，固定/移动确定部分202-1将表示“固定”的固定/移动确定提供给区域确定部分203-1。
固定/移动确定部分202-2从帧存储器201读出其中该像素属于的区域被确定的帧#n的指定像素的像素值，以及读出位于与帧#n的指定像素相同位置的帧#n+1的像素的像素值，并且计算在像素值之间的差别的绝对值。固定/移动确定部分202-2确定在帧#n+1的像素值和帧#n的像素值之间的差别的绝对值是否大于预先设置的阈值Th。如果确定出在像素值之间的差别的绝对值大于阈值Th，则表示“移动”的固定/移动确定被提供给区域确定部分203-1和区域确定部分203-2。如果确定出在帧#n+1的像素的像素值和帧#n的像素的像素值之间的差别的绝对值小于或者等于阈值Th，固定/移动确定部分202-2将表示“固定”的固定/移动确定提供给区域确定部分203-1和区域确定部分203-2。
固定/移动确定部分202-3从帧存储器201读出其中该像素属于的区域被确定的帧#n的指定像素的像素值，以及读出位于与帧#n的指定像素相同位置的帧#n-1的像素的像素值，并且计算在像素值之间的差别的绝对值。固定/移动确定部分202-3确定在帧#n的像素值和帧#n-1的像素值之间的差别的绝对值是否大于预先设置的阈值Th。如果确定出在像素值之间的差别的绝对值大于阈值Th，则表示“移动”的固定/移动确定被提供给区域确定部分203-2和区域确定部分203-3。如果确定出在帧#n的像素的像素值和帧#n-1的像素的像素值之间的差别的绝对值小于或者等于阈值Th，固定/移动确定部分202-3将表示“固定”的固定/移动确定提供给区域确定部分203-2和区域确定部分203-3。
固定/移动确定部分202-4从帧存储器201读出其中该像素属于的区域被确定的位于与帧#n的指定像素相同位置的帧#n-1的像素的像素值，以及读出位于与帧#n的指定像素相同位置的帧#n-2的像素的像素值，并且计算在像素值之间的差别的绝对值。固定/移动确定部分202-4确定在帧#n-1的像素值和帧#n-2的像素值之间的差别的绝对值是否大于预先设置的阈值Th。如果确定出在像素值之间的差别的绝对值大于阈值Th，则表示“移动”的固定/移动确定被提供给区域确定部分203-3。如果确定出在帧#n-1的像素的像素值和帧#n-2的像素的像素值之间的差别的绝对值小于或者等于阈值Th，固定/移动确定部分202-4将表示“固定”的固定/移动确定提供给区域确定部分203-3。
当从固定/移动确定部分202-1提供的固定/移动确定表示“固定”时和当从固定/移动确定部分202-2提供的固定/移动确定表示“移动”时，区域确定部分203-1确定帧#n的指定像素属于未遮盖背景区域，并且在与指定像素相关的未遮盖背景区域确定标志中设置“1”，其表示指定像素属于未遮盖背景区域。
当从固定/移动确定部分202-1提供的固定/移动确定表示“移动”时或者当从固定/移动确定部分202-2提供的固定/移动确定表示“固定”时，区域指定单元203-1确定帧#n的指定像素不属于未遮盖背景区域，并且在与指定像素相关的未遮盖背景区域确定标志中设置“0”，其表示指定像素不属于未遮盖背景区域。
区域确定部分203-1将上述的其中被设置为“1”或者“0”的未遮盖背景区域确定标志提供给确定标志存储帧存储器204。
当从固定/移动确定部分202-2提供的固定/移动确定表示“固定”时和当从固定/移动确定部分202-3提供的固定/移动确定表示“固定”时，区域确定部分203-2确定帧#n的指定像素属于固定区域，并且在与指定像素相关的固定区域确定标志中设置“1”，其表示该像素属于固定区域。
当从固定/移动确定部分202-2提供的固定/移动确定表示“移动”时或者当从固定/移动确定部分202-3提供的固定/移动确定表示“移动”时，区域确定部分203-2确定帧#n的指定像素不属于固定区域，并且在与指定像素相关的固定区域确定标志中设置“0”，其表示该像素不属于固定区域。
区域确定部分203-2将上述的其中被设置为“1”或者“0”的固定区域确定标志提供给确定标志存储帧存储器204。
当从固定/移动确定部分202-2提供的固定/移动确定表示“移动”时和当从固定/移动确定部分202-3提供的固定/移动确定表示“移动”时，区域确定部分203-2确定帧#n的指定像素属于移动区域，并且在与指定像素相关的移动区域确定标志中设置“1”，其表示该指定像素属于移动区域。
当从固定/移动确定部分202-2提供的固定/移动确定表示“固定”时或者当从固定/移动确定部分202-3提供的固定/移动确定表示“固定”时，区域确定部分203-2确定帧#n的指定像素不属于移动区域，并且在与指定像素相关的移动区域确定标志中设置“0”，其表示该像素不属于移动区域。
区域确定部分203-2将上述的其中被设置为“1”或者“0”的移动区域确定标志提供给确定标志存储帧存储器204。
当从固定/移动确定部分202-3提供的固定/移动确定表示“移动”时和当从固定/移动确定部分202-4提供的固定/移动确定表示“固定”时，区域确定部分203-3确定帧#n的指定像素属于遮盖背景区域，并且在与指定像素相关的遮盖背景区域确定标志中设置“1”，其表示指定像素属于遮盖背景区域。
当从固定/移动确定部分202-3提供的固定/移动确定表示“固定”时或者当从固定/移动确定部分202-4提供的固定/移动确定表示“移动”时，区域确定部分203-3确定帧#n的指定像素不属于遮盖背景区域，并且在与指定像素相关的遮盖背景区域确定标志中设置“0”，其表示指定像素不属于遮盖背景区域。
区域确定部分203-3将上述的其中被设置为“1”或者“0”的遮盖背景区域确定标志提供给确定标志存储帧存储器204。
确定标志存储帧存储器204因此存储从区域确定部分203-1提供的未遮盖背景区域确定标志、从区域确定部分203-2提供的固定区域确定标志、从区域确定部分203-2提供的移动区域确定标志以及从区域确定部分203-3提供的遮盖背景区域确定标志。
确定标志存储帧存储器204将其中存储的未遮盖背景区域确定标志、固定区域确定标志、移动区域确定标志、以及遮盖背景区域确定标志提供给合成器205。合成器205基于从确定标志存储帧存储器204提供的未遮盖背景区域确定标志、固定区域确定标志、移动区域确定标志、以及遮盖背景区域确定标志来产生表示每个像素是属于未遮盖背景区域、固定区域、移动区域或者遮盖背景区域的哪一个的区域信息，并且将该区域信息提供给确定标志存储帧存储器206。
确定标志存储帧存储器206存储从合成器205提供的区域信息，并且也输出其中存储的区域信息。
下面参考图28到32说明在帧间隔时间与快门时间一样长的情况下由区域指定单元103完成的处理的例子。
当对应于前景的目标是移动的时，对应于屏幕上目标的图像的位置在每帧中变化。如图28中表示，对应于帧#n中位于由Yn(x，y)表示的位置的目标的图像被定位在帧#n+1中的Yn+1(x，y)，其在帧#n之后。
图22中表示了通过在时间方向扩展在对应于前景目标的图像的移动方向上被并排排列的像素的像素值而获得的模型。例如，如果对应于前景目标的图像的移动方向是关于屏幕为水平的，则图29中表示的模型是通过在时间方向扩展在并排的线上所布置的像素的像素值而获得的模型。
图29中，帧#n中的线等于帧#n+1中的线。
对应于帧#n中左起第二像素到第十三像素中包含的目标的前景分量被包含在帧#n+1中左起第六像素到第十七像素中。
帧#n中，属于遮盖背景区域的像素是左起的第十一到第十三像素，属于未遮盖背景区域的像素是左起的第二到第四像素。帧#n+1中，属于遮盖背景区域的像素是左起的第十五到第十七像素，属于未遮盖背景区域的像素是左起的第六到第八像素。
在图29表示的例子中，由于在帧#n中包含的前景分量移动使得其被包括在四个像素中，快门时间内移动量v是4。有效分割部分的数目根据该快门时间内移动量v也为4。
下面的说明给出在指定帧之前和之后的帧中属于混合区域的像素的像素值的变化。
图30中，属于其中背景是固定的并且前景中快门时间内移动量v是4的帧#n中遮盖背景区域的像素是左起的第十五到第十七像素。由于快门时间内移动量v是4，前帧#n-1中左起的第十五到第十七帧仅仅包含背景分量和属于背景区域。是帧#n-1之前一帧的帧#n-2中左起的第十五到第十七像素仅仅包含背景分量和属于背景区域。
由于对应于背景的目标是固定的，帧#n-1中左起第十五像素的像素值与在帧#n-2中左起第十五像素的像素值不变化。类似地，帧#n-1中左起第十六像素的像素值与在帧#n-2中左起第十六像素的像素值不变化，和帧#n-1中左起第十七像素的像素值与在帧#n-2中左起第十七像素的像素值不变化。
即，对应于属于帧#n中遮盖背景区域的像素的帧#n-1和帧#n-2中的像素仅仅是由背景分量构成的，并且其像素值不改变。因此，像素值之间差别的绝对值几乎为0。因此，通过固定/移动确定部分202-4为对应于属于帧#n中混合区域的像素的帧#n-1和帧#n-2中的像素而做的固定/移动确定是“固定”。
由于属于帧#n中遮盖背景区域的像素包含前景分量，其像素值与仅仅由背景分量构成的帧#n-1的像素值是不同的。因此，通过固定/移动确定部分202-3为属于帧#n中混合区域的像素和帧#n-1中对应像素而做的固定/移动确定是“移动”的。
当表示“移动”的固定/移动确定结果被从固定/移动确定部分202-3提供时，和当表示“固定”的固定/移动确定结果被从固定/移动确定部分202-4提供时，如上述，区域确定部分203-3确定该对应像素属于遮盖背景区域。
图31中，在其中背景是固定的和前景中快门时间内移动量v是4的帧#n中，在未遮盖背景区域中包含的像素是左起的第二到第四像素。由于帧间隔时间是与快门时间一样长和快门时间内移动量v是4，随后帧#n+1中左起的第二到第四像素仅仅包含背景分量和属于背景区域。在帧#n+2中，其在帧#n+1的后面，左起的第二到第四像素仅仅包含背景分量和属于背景区域。
由于对应于背景的目标是固定的，帧#n+2中左起第二像素的像素值与在帧#n+1中左起第二像素的像素值不变化。类似地，帧#n+2中左起第三像素的像素值与在帧#n+1中左起第三像素的像素值不变化，和帧#n+2中左起第四像素的像素值与在帧#n+1中左起第四像素的像素值不变化。
即，对应于属于帧#n中未遮盖背景区域的像素的帧#n+1和帧#n+2中的像素仅仅是由背景分量构成的，并且其像素值不改变。因此，像素值之间差别的绝对值几乎为0。因此，通过固定/移动确定部分202-1为对应于属于帧#n中混合区域的像素的帧#n+1和帧#n+2中的像素而做的固定/移动确定是“固定”。
由于属于帧#n未遮盖背景区域的像素包含前景分量，其像素值与仅仅由背景分量构成的帧#n+1的像素值是不同的。因此，通过固定/移动确定部分202-2为属于帧#n中混合区域的像素和帧#n+1中对应像素而做的固定/移动确定是“移动”的。
当表示“移动”的固定/移动确定结果被从固定/移动确定部分202-2提供时，和当表示“固定”的固定/移动确定结果被从固定/移动确定部分202-1提供时，如上述，区域确定部分203-1确定该对应像素属于未遮盖背景区域。
图32表示由区域指定单元103做的用于帧#n的确定条件。当对位于与要被处理的帧#n中像素的相同图像位置的帧#n-2中像素和对位于与帧#n中像素的相同位置的帧#n-1中像素的确定结果是固定的时，和当对帧#n中像素和位于与帧#n中像素的相同图像位置的帧#n-1中像素的确定结果是移动的时，区域指定单元103确定帧#n中像素属于遮盖背景区域。
当对帧#n中像素和位于与帧#n中像素的相同图像位置的帧#n-1中像素的确定结果是固定的时，和当对帧#n中像素和位于与帧#n中像素的相同图像位置的帧#n+1中像素的确定结果是固定的时，区域指定单元103确定帧#n中像素属于固定区域。
当对帧#n中像素和位于与帧#n中像素的相同图像位置的帧#n-1中像素的确定结果是移动的时，和当对帧#n中像素和位于与帧#n中像素的相同图像位置的帧#n+1中像素的确定结果是移动的时，区域指定单元103确定帧#n中像素属于移动区域。
当对帧#n中像素和位于与帧#n中像素的相同图像位置的帧#n+1中像素的确定结果是移动的时，和当对位于与帧#n中像素的相同图像位置的帧#n+1中像素和位于与帧#n中像素的相同图像位置的帧#n+2中像素的确定结果是固定的时，区域指定单元103确定帧#n中像素属于未遮盖背景区域。
图33A到33D表示通过区域指定单元103获得的区域确定结果的例子。图33A中，被确定为属于遮盖背景区域的像素是用白色表示。图33B中，被确定为属于未遮盖背景区域的像素是用白色表示。
图33C中，被确定为属于移动区域的像素是用白色表示。图33D中，被确定为属于固定区域的像素是用白色表示。
图34说明表示从确定标志存储帧存储器206输出的区域信息中选择的呈图像形式的混合区域的区域信息。图34中，被确定为属于遮盖背景区域或者未遮盖背景区域的像素即被确定为属于混合区域的像素是用白色表示。表示从确定标志存储帧存储器206输出的混合区域的区域信息指定混合区域和由没有前景区域中的纹理(texture)的部分包围的、具有纹理的部分。
下面参考图35的流程图说明由区域指定单元103完成的区域规定处理。在步骤S201，帧存储器201获得包括帧#n的帧#n-2到帧#n+2的图像。
在步骤S202，固定/移动确定部分202-3确定对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是否是固定的。如果确定出该确定结果是固定的，则处理前进到步骤S203，其中固定/移动确定部分202-2确定对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是否是固定的。
如果在步骤S203确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是固定的话，则处理前进到步骤S204。在步骤S204，区域确定部分203-2在与要被处理的像素相关的固定区域确定标志中设置“1”，其表示要被处理的像素属于固定区域。区域确定部分203-2将该固定区域确定标志提供给确定标志存储帧存储器204，并且该处理前进到步骤S205。
如果在步骤S202确定出对于位于相同位置的帧#n-1中的像素和帧#n中的像素的确定结果是移动的话，或者如果在步骤S203确定出对于位于相同位置的帧#n中像素和帧#n+1中像素的确定结果是移动的话，则要被处理的像素不属于固定区域。因此，步骤S204的处理被跳过，处理前进到步骤S205。
在步骤S205，固定/移动确定部分202-3确定对于位于相同位置的帧#n-1中像素和帧#n中像素的确定结果是否是移动的。如果确定出该确定结果是移动的，则处理前进到步骤S206，其中固定/移动确定部分202-2确定对于位于相同位置的帧#n中像素和帧#n+1中像素的确定结果是否是移动的。
如果在步骤S206确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是移动的话，则处理前进到步骤S207。在步骤S207，区域确定部分203-2在与要被处理像素相关的移动区域确定标志中设置“1”，其表示要被处理的像素属于移动区域。区域确定部分203-2将该移动区域确定标志提供给确定标志存储帧存储器204，并且该处理前进到步骤S208。
如果在步骤S205确定出对于位于相同位置的帧#n-1中像素和帧#n中像素的确定结果是固定的话，或者如果在步骤S206确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是固定的话，则帧#n中的像素不属于移动区域。因此，步骤S207的处理被跳过，处理前进到步骤S208。
在步骤S208，固定/移动确定部分202-4确定对于位于相同位置的帧#n-2中像素和帧#n-1中像素的确定结果是否是固定的。如果确定出该确定结果是固定的，则处理前进到步骤S209，其中，固定/移动确定部分202-3确定对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是否是移动的。
如果在步骤S209确定出对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是移动的话，则处理前进到步骤S210。在步骤S210，区域确定部分203-3在与要被处理像素相关的遮盖背景区域确定标志中设置“1”，其表示要被处理像素属于遮盖背景区域。区域确定部分203-3将该遮盖背景区域确定标志提供给确定标志存储帧存储器204，并且处理前进到步骤S211。
如果在步骤S208确定出对于帧#n-2中像素和位于相同位置的帧#n-1中像素的确定结果是移动的话，或者如果在步骤S209确定出对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是固定的话，则帧#n中的像素不属于遮盖背景区域。因此，步骤S210的处理被跳过，处理前进到步骤S211。
在步骤S211，固定/移动确定部分202-2确定对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是否是移动的。如果在步骤S211确定出该确定结果是移动的，则处理前进到步骤S212，其中固定/移动确定部分202-1确定对于帧#n+1中像素和位于相同位置的帧#n+2中像素的确定结果是否是固定的。
如果在步骤S212确定出对于帧#n+1中像素和位于相同位置的帧#n+2中像素的确定结果是固定的话，则处理前进到步骤S213。在步骤S213，区域确定部分203-1在与要被处理像素相关的未遮盖背景区域确定标志中设置“1”，其表示要被处理像素属于未遮盖背景区域。区域确定部分203-1将该未遮盖背景区域确定标志提供给确定标志存储帧存储器204，并且处理前进到步骤S214。
如果在步骤S211确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是固定的话，或者如果在步骤S212确定出对于帧#n+1中像素和帧#n+2中像素的确定结果是移动的话，则帧#n中的像素不属于未遮盖背景区域。因此，步骤S213的处理被跳过，处理前进到步骤S214。
在步骤S214，区域指定单元103确定帧#n中所有像素的区域是否被规定。如果确定出不是帧#n中所有像素的区域都被规定了，则处理返回到步骤S202，并且对剩余像素重复该区域规定处理。
如果在步骤S214确定出帧#n中所有像素的区域被规定，处理前进到步骤S215。在步骤S215，合成器215基于在确定标志存储帧存储器204中存储的未遮盖背景区域确定标志和遮盖背景区域确定标志产生表示混合区域的区域信息，并且还产生表示每个像素属于未遮盖背景区域、固定区域、移动区域或者遮盖背景区域中哪一个的区域信息，以及在确定标志存储帧存储器206中设置所产生的区域信息。处理然后结束。
如上述，区域指定单元103能够产生区域信息，其表示帧中包含的每个像素属于移动区域、固定区域、未遮盖背景区域、或者遮盖背景区域的哪一个。
区域指定单元103可以将逻辑或施加到对应于未遮盖背景区域的区域信息和对应于遮盖背景区域的区域信息以便产生对应于混合区域的区域信息，并且然后可以产生由标志构成的区域信息，该标志表示帧中包含的单个像素属于移动区域、固定区域、或者混合区域中的哪一个。
当对应于前景的目标具有纹理(texture)时，区域指定单元103能够更精确地规定移动区域。
区域指定单元103能够将表示移动区域的区域信息作为表示前景区域的区域信息输出，和将表示固定区域的区域信息作为表示背景区域的区域信息输出。
假设对应于背景的目标是固定的已经说明了本实施例。但是，即使对应于背景区域的图像包含移动，上述区域规定处理也能够被应用。例如，如果对应于背景区域的图像是均匀移动的，区域指定单元103根据该移动来移位整个图像，并且以类似于其中对应于背景的目标是固定的情况的方式来完成处理。如果对应于背景区域的图像包含局部不同的移动，区域指定单元103选择对应于该移动的像素和执行上述处理。
图36是表示区域指定单元103的结构的另一个例子的方框图。背景图像产生器301产生对应于输入图像的背景图像，和将所产生的背景图像提供给二进制目标图像提取部分302。背景图像产生器301例如提取对应于输入图像中包含的背景目标的图像目标，并且产生背景图像。
通过在时间方向上扩展在对应于前景目标的图像的移动方向上被并排排列的像素的像素值而获得的模型的例子被表示在图37中。例如，如果对应于前景目标的图像的移动方向相对于屏幕为水平，则图37中表示的模型是通过扩展在时间域的单线上被并排布置的像素的像素值而获得的模型。
图37中，帧#n中的线与帧#n-1中的线和帧#n+1中的线相同。
帧#n中，对应于左起第六像素到第十七像素中包含的目标的前景分量被包含在帧#n-1中左起第二到第十三像素中和也被包含在帧#n+1中左起第十到第二十一像素中。
帧#n-1中，属于遮盖背景区域的像素是左起的第十一到第十三像素，属于未遮盖背景区域的像素是左起的第二到第四像素。帧#n中，属于遮盖背景区域的像素是左起的第十五到第十七像素，属于未遮盖背景区域的像素是左起的第六到第八像素。帧#n+1中，属于遮盖背景区域的像素是左起的第十九到第二十一像素，属于未遮盖背景区域的像素是左起的第十到第十二像素。
帧#n-1中，属于背景区域的像素是左起的第一像素，和左起的第十四到第二十一像素。帧#n中，属于背景区域的像素是左起的第一到第五像素，和左起的第十八到第二十一像素。帧#n+1中，属于背景区域的像素是左起的第一到第九像素。
由背景图像发生器301产生的对应于图37中表示例子的背景图像的例子被表示在图38中。背景图像由对应于背景目标的像素构成，不包含对应于前景目标的图像分量。
二进制目标图像提取部分302基于在背景图像和输入图像之间的相关性产生二进制目标图像，并且将所产生的二进制目标图像提供给时间变化检测器303。
图39是表示二进制目标图像提取部分302结构的方框图。相关值计算器321计算在从背景图像发生器301提供的背景图像和输入图像之间的相关性以便产生相关值，并且将所产生的相关值提供给阈值处理器322。
相关值计算器321将方程(4)应用于例如如图40A中表示的具有在中心为X4的3×3背景图像块和应用于例如如图40B中表示的对应于背景图像块的具有在中心为Y4的3×3背景图像块，由此计算对应于Y4的相关值。 X‾=Σi=08Xi9----(5)]]>Y‾=Σi=08Yi9----(6)]]>
相关值计算器321将上述对每个像素计算的相关值提供给阈值处理器322。
另外，相关值计算器321可以将方程(7)应用于例如如图41A中表示的具有在中心为X4的3×3背景图像块和应用于例如如图41B中表示的对应于背景图像块的具有在中心为Y4的3×3背景图像块，由此计算对应于Y4的差的绝对值。 相关值计算器321将按上述计算的差的绝对值提供给阈值处理器322作为相关值。
阈值处理器322将相关图像的像素值与阈值th0相比较。如果相关值小于或者等于阈值th0，则1被设置在二进制目标图像的像素值中。如果相关值大于阈值th0，则0被设置在二进制目标图像的像素值中。阈值处理器322然后输出其像素值被设置为0或者1的二进制目标图像。阈值处理器322可以在其中预先存储阈值th0，或者可以使用从外部源输入的阈值th0。
图42表示对应于图37中表示的输入图像模型的二进制目标图像。在二进制目标图像中，0被设置在与背景图像具有较高相关性的像素的像素值中。
图43是表示时间改变检测器303结构的方框图。当确定帧#n中像素的区域时，帧存储器341存储从二进制目标图像提取部分302提供的帧#n-1、帧#n、和帧#n+1的二进制目标图像。
区域确定部分342基于帧#n-1、帧#n、和帧#n+1的二进制目标图像确定帧#n的每个像素的区域以便产生区域信息，并且输出所产生的区域信息。
图44表示由区域确定部分342进行的确定。当帧#n中二进制目标图像的指定像素是0时，区域确定部分342确定帧#n中指定像素属于背景区域。
当帧#n中二进制目标图像的指定像素是1时，和当帧#n-1中二进制目标图像的对应像素是1时，以及当帧#n+1中二进制目标图像的对应像素是1时，区域确定部分342确定帧#n中指定像素属于前景区域。
当帧#n中二进制目标图像的指定像素是1时，和当帧#n-1中二进制目标图像的对应像素是0时，区域确定部分342确定帧#n中指定像素属于遮盖背景区域。
当帧#n中二进制目标图像的指定像素是1时，和当帧#n+1中二进制目标图像的对应像素是0时，区域确定部分342确定帧#n中指定像素属于未遮盖背景区域。
图45表示在对应于图37所示输入图像模型的二进制目标图像上通过时间改变检测器303做的确定的例子。由于帧#n中二进制目标图像的对应像素是0，时间改变检测器303确定帧#n中左起第一到第五像素属于背景区域。
由于帧#n中二进制目标图像的像素是1，以及帧#n+1中对应像素是0，时间改变检测器303确定左起第六到第九像素属于未遮盖背景区域。
由于帧#n中二进制目标图像的像素是1，帧#n-1中对应像素是1，以及帧#n+1中对应像素是1，时间改变检测器303确定左起第十到第十三像素属于前景区域。
由于帧#n中二进制目标图像的像素是1，以及帧#n-1中对应像素是0，时间改变检测器30 3确定左起第十四到第十七像素属于遮盖背景区域。
由于帧#n中二进制目标图像的对应像素是0，时间改变检测器303确定左起第十八到第二十一像素属于背景区域。
下面参考图46的流程图说明由区域指定单元103完成的区域规定处理。在步骤S301，区域指定单元103的背景图像发生器301基于输入图像提取例如对应于输入图像中包含的背景目标的图像目标以便产生背景图像，并且将产生的背景图像提供给二进制目标图像提取部分302。
在步骤S302，二进制目标图像提取部分302根据例如参考图40A和40B讨论的计算来计算输入图像和从背景图像发生器301提供的背景图像之间的相关值。在步骤S303，二进制目标图像提取部分302通过例如将相关值与阈值th0相比较而从相关值和阈值th0计算二进制目标图像。
在步骤S304，时间改变检测器303执行区域确定处理，并且结束该处理。
下面参考图47的流程图说明步骤S304中区域确定处理的细节。在步骤S321，时间改变检测器303的区域确定部分342确定在帧存储器341中存储的帧#n中指定像素是否是0。如果确定出帧#n中指定像素是0，处理前进到步骤S322。在步骤S322，确定帧#n中指定像素属于背景区域，并且结束处理。
如果在步骤S321确定出帧#n中指定像素是1，处理前进到步骤S323。在步骤S323，时间改变检测器303的区域确定部分342确定在帧存储器341中存储的帧#n中指定像素是否是1，以及帧#n-1中对应像素是否是0。如果确定出帧#n中指定像素是1和帧#n-1中对应像素是0，处理前进到步骤S324。在步骤S324，确定帧#n中指定像素属于遮盖背景区域，并且结束处理。
如果在步骤323确定出帧#n中指定像素是0，或者帧#n-1中对应像素是1，处理前进到步骤S325。在步骤S325，时间改变检测器303的区域确定部分342确定在帧存储器341中存储的帧#n中指定像素是否是1，以及帧#n+1中对应像素是否是0。如果确定出帧#n中指定像素是1和帧#n+1中对应像素是0，处理前进到步骤S326。在步骤S326，确定帧#n中指定像素属于未遮盖背景区域，并且结束处理。
如果在步骤325确定出帧#n中指定像素是0，或者帧#n+1中对应像素是1，处理前进到步骤S327。在步骤S327，时间改变检测器303的区域确定部分342确定帧#n中指定像素属于前景区域，并且结束处理。
如上述，区域指定单元103能够基于在输入图像和对应背景图像之间的相关值规定输入图像的每个像素属于前景区域，背景区域，遮盖背景区域，或者未遮盖背景区域的哪一个，并且产生对应于规定结果的区域信息。
图48是表示混合比率计算器104的结构的例子的方框图。估算混合比率处理器401通过基于输入图像计算遮盖背景区域的模型来计算每个像素的估算混合比率，和将所计算的估算混合比率提供给混合比率确定部分403。估算混合比率处理器401基于通过计算遮盖背景区域的模型为每个像素计算的估算混合比率来计算估算移动矢量，和将所计算的估算移动矢量提供给混合比率确定部分403。
估算混合比率处理器402通过基于输入图像计算未遮盖背景区域的模型来计算每个像素的估算混合比率，和将所计算的估算混合比率提供给混合比率确定部分403。估算混合比率处理器402基于通过计算未遮盖背景区域的模型为每个像素计算的估算混合比率来计算估算移动矢量，和将所计算的估算移动矢量提供给混合比率确定部分403。
混合比率确定部分403基于从区域指定单元103提供的、和表示对要被计算混合比率α的像素是属于前景区域、背景区域、遮盖背景区域或者未遮盖背景区域的哪一个的区域信息来设置混合比率α。当对应像素属于前景区域时混合比率确定部分403将混合比率α设置为0，当对应像素属于背景区域时将混合比率α设置为1。当对应像素属于遮盖背景区域时，混合比率确定部分403将从估算混合比率处理器401提供的估算混合比率设置为混合比率α。当对应像素属于未遮盖背景区域时，混合比率确定部分403将从估算混合比率处理器402提供的估算混合比率设置为混合比率α。混合比率确定部分403输出基于区域信息已经被设置的混合比率α。
基于从区域指定单元103提供的区域信息，如果对应像素属于遮盖背景区域，混合比率确定部分403将从估算混合比率处理器401提供的估算移动矢量设置为快门时间内的移动矢量，而如果对应像素属于未遮盖背景区域，其将从估算混合比率处理器402提供的估算移动矢量提供作为快门时间内的移动矢量。
混合比率确定部分403输出基于区域信息已经被设置的快门时间内的移动矢量和其位置信息。
由于能够假设对应于前景的目标在快门时间之内是用不变速度移动的，属于混合区域的像素的混合比率α展现出下面的特性。即，混合比率α根据像素中位置的改变而线性地变化。如果像素中位置改变是一维的，则混合比率α的变化能够被线性地表示。如果像素中位置改变是二维的，则混合比率α的变化能够被表示在平面上。
由于一帧的周期是短的，能够假设对应于前景的目标是用不变速度移动的刚体。
混合比率α的梯度在前景的快门时间之内反比于移动量v。
理想混合比率α的例子被表示在图49中。混合区域中理想混合比率α的梯度1能够由快门时间内移动量v的倒数表示。
如图49中表示，理想混合比率α具有在背景区域中为1的值，在前景区域中为0的值，和在混合区域中为大于0和小于1的值。
在图50表示的例子中，通过使用帧#n-1中左起第七个像素的像素值P06，帧#n中左起第七个像素的像素值C06能够由方程(8)表示。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v----(8)]]>=2/v·P06+Σi=12Fi/v]]>
方程(8)中，像素值C06是由混合区域中像素的像素值M表示的，而像素值P06是由背景区域中像素的像素值B表示的。即，混合区域中像素的像素值M和背景区域中像素的像素值B能够分别由方程(9)和(10)表示。
M＝C06(9)B＝P06(10)方程(8)中，2/v对应于混合比率α。由于快门时间内移动量v是4，帧#n中左起第七个像素的混合比率α是0.5。
如上述，指定帧#n中的像素值C被认为是混合区域中的像素值，而在帧#n之前的帧#n-1的像素值P被认为是背景区域中的像素值。因此，表示混合比率α的方程(3)能够由方程(11)表示C＝α·P+f(11)这里方程(11)中的f表示在指定像素中包含的前景分量之和∑iFi/v。在方程(11)中包含的变量是两个因数，即混合比率α和前景分量之和f。
类似地，图51中表示出通过在时间方向扩展其中快门时间内移动量v是4和在未遮盖背景区域中有效分割部分的数目是4的像素值而获得的模型。
正如在遮盖背景区域的表示中，在未遮盖背景区域中，指定帧#n的像素值C被认为是混合区域中的像素值，而在帧#n之后的帧#n+1的像素值N被认为是背景区域中的像素值。因此，表示混合比率α的方程(3)能够由方程(12)表示C＝α·N+f(12)已经说明了该实施例，假设背景目标是固定的。但是，通过使用被定位对应于背景的快门时间内移动量v的像素的像素值，方程(8)到(12)能够被应用于其中背景目标是移动的情况。例如现在假设在图50中，对应于背景的目标的快门时间内移动量v是2和有效分割部分的数目是2。在这种情况下，当对应于背景的目标正移向图49中的右边时，方程(10)中背景区域像素的像素值B是由像素值P04表示。
由于方程(11)和(12)每个都包含两个变量，在不修改方程的情况下不能够确定混合比率α。
根据与对应于用不变速度移动的前景的目标的像素位置的变化，混合比率α线性变化。通过利用这个特征，其中混合比率α和前景分量之和f在空间方向被近似的方程能够成立。通过利用属于混合区域的像素的多组像素值和属于背景区域的像素的像素值，其中混合比率α和前景分量之和f被近似的方程被求解。
当混合比率α的变化被近似为直线时，混合比率α能够由方程(13)表示。
α＝i1+p(13)方程(13)中，i表示当指定像素的位置被设置为0时的空间指数，1指定混合比率α直线的梯度，以及p指定混合比率α直线的截距和也表示指定像素的混合比率α。方程(13)中，指数i是已知的，梯度1和截距p是未知的。
指数i，梯度1和截距p之间的关系被表示在图52中。图52中，白点表示指定像素，黑点表示邻近指定像素的像素。
通过按方程(13)近似混合比率α，用于多个像素的多个不同混合比率α能够由两个变量表示。在图52表示的例子中，用于5个像素的5个混合比率由两个变量表示，即梯度1和截距p。
当混合比率α被近似在图53表示的平面中时，通过考虑对应于两个方向即图像的水平方向和垂直方向的移动v，方程(13)被扩展到该平面，并且混合比率α能够由方程(14)表示。在图53中，白色点表示指定像素。
α＝jm+kq+p(14)方程(14)中，当指定像素的位置是0时，j是水平方向的指数，k是垂直方向的指数。m指定平面中混合比率α的水平梯度，q指定平面中混合比率α的垂直梯度。p指定平面中混合比率α的截距。
例如，在图50表示的帧#n中，方程(15)到(17)对于C05到C07也分别成立。
C05＝α05·B05/v+f05(15)C06＝α06·B06/v+f06(16)C07＝α07·B07/v+f07(17)假设位于相互紧密靠近的前景分量是相互相等的，即F01到F03是相等的，通过用fc替换F01到F03方程(18)成立。
F(x)＝(1-α(x))·fc(18)方程(18)中，x表示空间方向的位置。
当α(x)被方程(14)代替时，方程(18)能够由方程(19)表示。
f(x)＝(1-(jm+kq+p))·fc＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝js+kt+u (19)方程(19)中，(-m·Fc)，(-q·Fc)，和(1-p)·Fc分别按方程(20)到(22)所表示的替换。
s＝-m·Fc (20)t＝-q·Fc (21)u＝(1-p)·Fc(22)方程(19)中，当指定像素的位置是0时，j是水平方向的指数，k是垂直方向的指数。
如上述，由于能够假设对应于前景的目标在快门周期之内是用不变速度移动的，以及位于相互紧密靠近的前景分量是均匀的，前景分量之和能够由方程(19)近似。
当混合比率α由直线近似时，前景分量之和能够由方程(23)表示。
f(x)＝is+u (23)通过使用方程(14)和(19)代替方程(13)中的混合比率α和前景分量之和，像素值M能够由方程(24)表示。
M＝(jm+kq+p)·B+js+kt+u＝jB·m+kB·q+B·p+j·s+k·t+u (24)方程(24)中，未知变量是六个因数，诸如平面中混合比率α的水平梯度m，平面中混合比率α的垂直梯度q，以及平面中混合比率α的截距，p，s，t和u。
更具体地，根据靠近指定像素的像素，像素值M或者像素值B在方程(24)表示的标准方程中被设置。然后，其中像素值M或者像素值B被设置的多个标准方程是通过最小二乘方法求解的，由此计算混合比率α。
例如，指定像素的水平指数j被设置为0，指定像素的垂直指数k被设置为0。然后，对于位于临近指定像素的3x3像素来说像素值M或者像素值B在由方程(24)表示的标准方程中被设置，由此得到方程(25)到方程(33)。M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u (25)M0，-1＝(0)·B0，-1·m+(-1)· B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (26)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(27)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (28)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u (29)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (30)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u (31)M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (32)M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u (33)由于指定像素的水平指数j是0，以及指定像素的垂直指数k是0，指定像素的混合比率α等于当方程(14)中j是0和k是0时的值，即混合比率α等于方程(14)中的截距p。
因此，基于该9个方程，即方程(25)到(33)，水平梯度m，垂直梯度q，以及截距p，s，t和u通过最小二乘方法计算，并且截距p被作为混合比率α输出。
通过应用最小二乘方法用于计算混合比率α的特定处理如下。
当指数i和指数k由单个指数x表示时，指数I、指数k和指数x之间的关系能够由方程(34)表示。
X＝(j+1)·3+(k+1)(34)现在假设水平梯度m，垂直梯度q，以及截距p，s，t和u分别由变量w0，w1，w2，w3，w4和w5表示，以及jB，kB，B，j，k和l分别由a0，a1，a2，a3，a4和a5表示。考虑误差ex，方程(25)到(33)能够被修改为方程(35)。Mx=Σy=05ay·wy+ex----(35)]]>方程(35)中，x是从0到8整数的任何一个。
从方程(35)能够得到方程(36)。ex=Mx-Σy=05ay·wy----(36)]]>由于应用了最小二乘方方法，误差的平方之和E被定义如下，如方程(37)中表示。E=Σx=08ex2----(37)]]>为了最小化该误差，变量Wv关于误差的平方之和E的偏微分值应当是0。V是从0到5整数的任何一个。因此，wy被确定为满足方程(38)。∂E∂Wv=2·Σx=08ex·∂ex∂Wv=2·Σx=08ex·av=0----(38)]]>通过将方程(36)代入方程(38)，得到方程(39)。Σx=08(av·Σy=05ay·Wy)=Σx=08av·Mx----(39)]]>例如，刮去法(Gauss-Jordan消去法)被应用到由六个方程，该六个方程是通过将从0到5的一个整数替换方程(39)中的v而得到的，由此获得wy。如上述，w0是水平梯度m，w1是垂直梯度q，w2是截距p，w3是s，w4是t，以及w5是u。
如上述，通过将最小二乘方法应用到其中像素值M和像素值B被设置的方程中，能够确定水平梯度m，垂直梯度q，以及截距p，s，t和u。
通过假设在混合区域中包含的像素的像素值是M，在背景区域中包含的像素的像素值是B，已经参考方程(25)到(33)给出了说明。在这种情况下，对指定像素包含在遮盖背景区域或者指定像素包含在未遮盖背景区域中的每一种情况，设置标准方程是必须的。
例如，当在图50表示的帧#n的遮盖背景区域中包含的像素的混合比率α被确定时，帧#n中像素的C04到C08和帧#n-1中像素的像素值P04到P08在标准方程中被设置。
为了确定在图51表示的帧#n的未遮盖背景区域中包含的像素的混合比率α，帧#n中像素的C28到C32和帧#n+1中像素的像素值N28到N32在标准方程中被设置。
而且，如果例如在图54表示的遮盖背景区域中包含的像素的混合比率α被计算，则下面的方程(40)到(48)被设置。图54中，白色点表示属于背景的像素，黑色点表示属于混合区域的像素。混合比率α被计算的像素的像素值是Mc5。Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u(40)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (41)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(-1)·s+(-1)·t+u(42)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (43)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u(44)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (45)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u(46)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (47)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u(48)当计算帧#n遮盖背景区域中包含的像素的混合比率α时，在方程(40)到(48)中使用分别对应于帧#n中像素的帧#n-1背景区域的像素的像素值Bc1到Bc9。
当计算在图54表示的未遮盖背景区域中包含的像素的混合比率α时，则下面的方程(49)到(57)能够成立。混合比率α被计算的像素的像素值是Mu5。Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u(49)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (50)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u(51)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (52)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u(53)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (54)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u(55)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (56)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u(57)当计算帧#n中未遮盖背景区域中包含的像素的混合比率α时，在方程(49)到(57)中使用对应于帧#n中像素的帧#n+1背景区域的像素的像素值Bu1到Bu9。
图55是表示估计混合比率处理器401的结构的方框图。输入到估计混合比率处理器401的图像被提供给延迟电路421和加法器422。
延迟电路421延迟输入图像一帧，和将图像提供给加法器422。当帧#n被作为输入图像提供给加法器422时，延迟电路421将帧#n-1提供给加法器422。
加法器422设置靠近混合比率α被计算的像素的像素的像素值，以及标准方程中帧#n-1的像素值。例如，基于方程(40)到(48)，加法器422分别设置像素值Mc1到Mc9，以及标准方程中像素值Bc1到Bc9。加法器422将其中像素值被设置的标准方程提供给计算器423。
计算器423通过利用例如刮去法求解从加法器422提供的标准方程来确定估计混合比率和输出确定的估计混合比率。
计算器423基于混合比率α的梯度a，通过方程(58)计算快门时间内的移动v。
a＝1/v(58)更具体地说，基于方程(24)中在水平方向上混合比率α平面的梯度m和在垂直方向上混合比率α平面的梯度q，计算器423计算在x方向的快门时间内的移动vix和在y方向的快门时间内的移动viy。
Vix＝1/m (59)Viy＝1/q (60)计算器423输出x方向由在快门时间内移动vix和y方向在快门时间内移动viy表示的估计移动矢量。
如图56中表示，由计算器423输出的估算移动矢量的幅值对应于快门时间内的移动量v。
帧间移动量vf是表示在两个相邻帧之间目标的移动的值。例如，如果对应于前景的目标图像正在移动使得当其被定位在随后帧中时其被显示在离开基准帧八个像素的位置的话，则对应于前景的目标图像的帧间移动量vf是8。图56中，A表示背景目标。
这样，估计混合比率处理器401能够基于输入图像计算估计混合比率和估算移动矢量，并且将它们提供给混合比率确定部分403。
估计混合比率处理器402被构成为类似于估计混合比率处理器401，其解释因此省略。
图57是表示由估计混合比率处理器401计算的估计混合比率例子的示意图。图57表示对于一条线的估计混合比率，其是在对应于以不变速度移动的目标的前景移动量v是11时和方程是对7x7像素块为单位被产生的情况中计算的。
从图57可理解，估计混合比率在混合区域中是几乎线性地改变。
图58是表示混合比率计算器104的另一个结构的方框图。与图48中表示的相同单元被指定为相同的附图标记，因此其解释被省略。
选择器441基于从区域指定单元103提供的区域信息将属于遮盖背景区域的像素和在前后帧中的对应像素提供给估计混合比率处理器401。选择器441基于从区域指定单元103提供的区域信息将属于未遮盖背景区域的像素和在前后帧中的对应像素提供给估计混合比率处理器402。
估计混合比率处理器401基于从选择器441输入的像素值计算属于遮盖背景区域的指定像素的估计混合比率，和将估计混合比率提供给选择器442。估计混合比率处理器401基于估计混合比率计算估计移动矢量，和将估计移动矢量提供给选择器442。
估计混合比率处理器402基于从选择器441输入的像素值计算属于未遮盖背景区域的指定像素的估计混合比率，和将估计混合比率提供给选择器442。估计混合比率处理器402基于估计混合比率计算估计移动矢量，和将估计移动矢量提供给选择器442。
基于从区域指定单元103提供的区域信息，选择器442当指定像素属于前景区域时将混合比率α设置为0，以及当指定像素属于背景区域时将混合比率α设置为1。当指定像素属于遮盖背景区域时，选择器442选择从估计混合比率处理器442提供的估计混合比率和将其设置为混合比率α。当指定像素属于未遮盖背景区域时，选择器442选择从估计混合比率处理器443提供的估计混合比率和将其设置为混合比率α。选择器442然后输出已经基于区域信息被选择和设置的混合比率α。
基于从区域指定单元103提供的区域信息，选择器442当指定像素属于遮盖背景区域时选择从估计混合比率处理器401提供的估计移动矢量和将其设置为快门时间内的移动矢量。当指定像素属于未遮盖背景区域时，选择器442选择从估计混合比率处理器402提供的估计移动矢量和将其设置为快门时间内的移动矢量。选择器442然后输出已经基于区域信息被选择和设置的快门时间内移动矢量。
如上述，混合比率计算器104能够计算图像中包含的每个像素的混合比率α和输出所计算的混合比率α以及快门时间内的移动矢量。
下面参考图59的流程图讨论通过混合比率计算器104完成的用于计算混合比率α和快门时间内移动矢量的处理。在步骤S401，混合比率计算器104获得从区域指定单元103提供的区域信息。在步骤S402，估计混合比率处理器401执行通过使用对应于遮盖背景区域的模型来估计混合比率和移动矢量的处理，和将估计的混合比率和估计的移动矢量提供给混合比率确定部分403。用于估计混合比率的处理的细节在下面参考图60的流程图进行讨论。
在步骤S403，估计混合比率处理器402执行通过使用对应于未遮盖背景区域的模型来估计混合比率和移动矢量的处理，和将估计的混合比率和估计的移动矢量提供给混合比率确定部分403。
在步骤404，混合比率计算器104确定对整个帧是否已经估计了混合比率。如果确定出还没有对整个帧估计混合比率，则处理返回步骤S402，并且用于估计随后像素的混合比率的处理被执行。
如果在步骤S404确定出对整个帧已经估计了混合比率，则处理前进到步骤S405。在步骤S405，混合比率确定部分403基于从区域指定单元103提供的、和表示要被计算混合比率α的像素属于前景区域、背景区域、遮盖背景区域或者未遮盖背景区域中哪一个的区域信息来确定混合比率α和快门时间内移动矢量。混合比率确定部分403在对应像素属于前景区域时设置混合比率α为0，和在对应像素属于背景区域时设置混合比率α为1。在对应像素属于遮盖背景区域时，混合比率确定部分403将从估计混合比率处理器401提供的估计混合比率设置为混合比率α。在对应像素属于未遮盖背景区域时，混合比率确定部分403将从估计混合比率处理器402提供的估计混合比率设置为混合比率α。
基于从区域指定单元103提供的区域信息，混合比率确定部分403在如果指定像素属于遮盖背景区域时选择从估计混合比率处理器401提供的估计移动矢量和将其设置为快门时间内的移动矢量，而当如果指定像素属于未遮盖背景区域时，混合比率确定部分403选择从估计混合比率处理器402提供的估计移动矢量和将其设置为快门时间内的移动矢量。然后处理结束。
如上述，混合比率计算器104基于从区域指定单元103提供的区域信息和输入图像能够计算表示对应于每个像素的特征数量的混合比率α和快门时间内的移动矢量。
按图58表示构成的混合比率计算器104完成的用于计算混合比率α的处理是类似于参考图59的流程图所讨论的，其说明因此被省略。
参考图60的流程图，现在给出通过使用对应于遮盖背景区域的模型由估计混合比率处理器401完成的对应于步骤S402中的处理而进行的用于估计混合比率和移动矢量的处理的说明。
在步骤S421，加法器422在对应于遮盖背景区域的模型的标准方程中设置输入图像中包含的像素值和在从延迟电路421提供的图像中包含的像素值。
在步骤S422，估算混合比率处理器401确定目标像素的设置是否完成。如果确定出目标像素的设置没有完成，处理返回到步骤S521，并且重复用于设置标准方程中像素值的处理。
如果在步骤S422确定出目标像素的设置被完成，处理前进到步骤S423。在步骤S423，计算器423基于其中像素值被设置的标准方程计算估算混合比率，并且输出该计算的混合比率。
在步骤S424，计算器423基于估算混合比率的梯度计算估算移动矢量，然后结束处理。
如上述，具有图55中所示结构的估计混合比率处理器401能够基于输入图像计算估计混合比率和估计移动矢量。
通过使用对应于未遮盖背景区域的模型用于估算混合比率和移动矢量的处理类似于通过使用对应于未遮盖背景区域的模型的标准方程由图60的流程图表示的处理，其说明因此被省略。
实施例已经被说明，假设对应于背景的目标是固定的。但是，即使对应于背景区域的图像包含移动，也能够应用上述的混合比率计算处理。例如，如果对应于背景区域的图像是均匀移动的，估计混合比率处理器401根据该移动来移位整个图像，并且以类似于其中对应于背景的目标是固定的情况的方式来完成处理。如果对应于背景区域的图像包含局部不同的移动，估计混合比率处理器401选择对应于移动的像素作为属于混合区域的对应像素，并且执行上述处理。
混合比率计算器104仅仅通过使用对应于遮盖背景区域的模型可以执行用于所有像素的混合比率估计处理，和输出所计算的估计混合比率作为混合比率α。在这种情况下，混合比率α表示用于属于遮盖背景区域的像素的背景分量的比率，以及表示用于属于未遮盖背景区域的像素的前景分量的比率。对于属于未遮盖背景区域的像素，确定在所计算混合比率α和1之间的差别的绝对值，并且所计算的绝对值被设置为混合比率α。然后，图像处理设备能够确定表示用于属于未遮盖背景区域的像素的背景分量的比率的混合比率α。
类似地，混合比率处理器104通过仅仅使用对应于未遮盖背景区域的模型可以执行用于所有像素的混合比率估计处理，以便输出所计算的估计混合比率作为混合比率α。
如上述，混合比率计算器104基于从区域指定单元103提供的区域信息和输入图像能够计算表示对应于每个像素的特征数量的混合比率α和移动矢量。
通过使用由混合比率计算器104计算的混合比率α，有可能分离像素值中包含的前景分量和背景分量，同时保持在对应于移动目标的图像中包含的移动模糊的信息。
通过基于混合比率α合成图像，也有可能建立包含正确移动模糊的图像，其与移动目标的速度符合并如实反映真实世界。
由混合比率计算器104计算的移动矢量代表快门时间内的移动量v，这里不允许其检测。
通过利用由混合比率计算器104计算的移动矢量，允许在对应于移动目标的图像中包括的移动模糊量的调节。
混合比率计算器104可以将对应于超过0和低于1的估算混合比率的估计移动矢量设置作为快门时间内的移动矢量。在这种情况下，混合比率计算器104被允许产生快门时间内移动矢量，而不使用区域信息。
下面讨论前景/背景分离器105。图61是表示前景/背景分离器105结构的例子的方框图。提供给前景/背景分离器105的输入图像被提供给分离部分601，开关602和开关604。从区域指定单元103提供的和表示遮盖背景区域和未遮盖背景区域的信息的区域信息被提供给分离部分601。表示前景区域的区域信息被提供给开关602。表示背景区域的区域信息被提供给开关604。
从混合比率计算器104提供的混合比率α被提供给分离部分601。
分离部分601基于表示遮盖背景区域的区域信息、表示未遮盖背景区域的区域信息和混合比率α将前景分量从输入图像中分离，并将所分离的前景分量提供给合成器603。分离部分601也将背景分量从输入图像中分离和将所分离的背景分量提供给合成器605。
开关602在对应于前景的像素被基于表示前景区域的区域信息输入时被关闭和仅仅将输入图像中包含的对应于前景的像素提供给合成器603。
开关604在对应于背景的像素被基于表示背景区域的区域信息输入时被关闭和仅仅将输入图像中包含的对应于背景的像素提供给合成器605。
合成器603基于从分离部分601提供的前景分量和对应于从开关602提供的前景的像素来合成前景分量图像，并且输出所合成的前景分量图像。由于前景区域和混合区域不重叠，合成器603例如将逻辑或施加到前景分量和前景像素，由此合成前景分量图像。
在用于前景分量图像的合成处理开始时执行的初始处理中，合成器603在内置帧存储器中存储其像素值是全部0的图像。然后，在用于前景分量图像的合成处理中，合成器603存储前景分量图像(通过前景分量图像重写在先图像)。因此，在对应于从合成器603输出的前景分量图像的背景区域的像素中存储0。
合成器605基于从分离部分601提供的背景分量和对应于从开关604提供的背景的像素来合成背景分量图像，并且输出所合成的背景分量图像。由于背景区域和混合区域不重叠，合成器605例如将逻辑或施加到背景分量和背景像素，由此合成背景分量图像。
在用于背景分量图像的合成处理开始时执行的初始处理中，合成器605在内置帧存储器中存储其像素值是全部0的图像。然后，在用于背景分量图像的合成处理中，合成器605存储背景分量图像(通过背景分量图像重写在先图像)。因此，在对应于从合成器605输出的背景分量图像的前景区域的像素中存储0。
图62A表示被输入到前景/背景分离器105的输入图像，以及从前景/背景分离器105输出的前景分量图像和背景分量图像。图62B表示被输入到前景/背景分离器105的输入图像以及从前景/背景分离器105输出的前景分量图像和背景分量图像的模型。
图62A是要被显示的图像的示意图，图62B是包括对应于图62A的属于前景区域的像素、属于背景区域的像素、和属于混合区域的像素的一条线的像素在时间方向上被扩展的模型。
如图62A和62B中表示，从前景/背景分离器105输出的背景分量图像由属于背景区域的像素和在混合区域的像素中包含的背景分量构成。
如图62A和62B中表示，从前景/背景分离器105输出的前景分量图像由属于前景区域的像素和在混合区域的像素中包含的前景分量构成。
混合区域中像素的像素值通过前景/背景分离器105被分离成背景分量和前景分量。所分离的背景分量与属于背景区域的像素一起形成背景分量图像。所分离的前景分量与属于前景区域的像素一起形成前景分量图像。
如上述，在前景分量图像中，对应于背景区域的像素的像素值被设置为0，有效像素值被设置在对应于前景区域的像素中和对应于混合区域的像素中。类似地，在背景分量图像中，对应于前景区域的像素的像素值被设置为0，有效像素值被设置在对应于背景区域的像素中和对应于混合区域的像素中。
下面给出说明由分离部分601执行的处理，在帧间隔时间是与快门时间一样长的范围，其用于从属于混合区域的像素中分离前景分量和背景分量。
图63表示在包括图中表示的左起移动到右边的前景目标的两帧中说明前景分量和背景分量的图像的模型。在图63表示的图像的模型中，快门时间内移动量v是4，有效分割部分的数目是4。
帧#n中，左起的最左边像素和第十四到十八像素仅仅由背景分量构成和属于背景区域。帧#n中，左起的第二到第四像素包含背景分量和前景分量，并且属于未遮盖背景区域。帧#n中，左起的第十一到第十三像素包含背景分量和前景分量，并且属于遮盖背景区域。帧#n中，左起的第五到第十像素仅仅由前景分量构成和属于前景区域。
帧#n+1中，左起的第一到第五像素和左起的第十八像素仅仅由背景分量构成和属于背景区域。帧#n+1中，左起的第六到第八像素包含背景分量和前景分量，并且属于未遮盖背景区域。帧#n+1中，左起的第十五到第十七像素包含背景分量和前景分量，并且属于遮盖背景区域。帧#n+1中，左起的第九到第十四像素仅仅由前景分量构成和属于前景区域。
图64表示用于从属于遮盖背景区域的像素中分离前景分量的处理。图64中，α1到α18表示帧#n的单独像素的混合比率。图64中，左起的第十五到第十七像素属于遮盖背景区域。
帧#n中左起的第十五像素的像素值C15能够由方程(61)表示。
C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(61)这里α15表示帧#n的左起第十五像素的混合比率。P15指定帧#n-1的左起第十五像素的像素值。
帧#n的左起第十五像素的前景分量之和f15能够由基于方程(61)的方程(62)表示。
f15＝F09/v+F08/v+F07/v＝C15-α15·P15(62)类似地，帧#n的左起第十六像素的前景分量之和f16能够由方程(63)表示，帧#n的左起第十七像素的前景分量之和f17能够由方程(64)表示。
f16＝C16-α16·P16(63)f17＝C17-α17·P17(64)以这种方式，在属于遮盖背景区域的像素的像素值C中包含的前景分量fc能够由方程(65)表示fc＝C-α·P (65)这里，P指定在先帧中对应像素的像素值。
图65表示用于从属于未遮盖背景区域的像素中分离前景分量的处理。图65中，α1到α18表示帧#n的单独像素的混合比率。图65中，左起的第二到第四像素属于未遮盖背景区域。
帧#n中左起第二像素的像素值C02能够由方程(66)表示。
C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (66)这里α2表示帧#n的左起第二像素的混合比率。N02指定帧#n+1的左起第二像素的像素值。
帧#n的左起第二像素的前景分量之和f02能够由基于方程(66)的方程(67)表示。
f02＝F01/v＝C02-α2·N02 (67)类似地，帧#n的左起第三像素的前景分量之和f03能够由方程(68)表示，帧#n的左起第四像素的前景分量之和f04能够由方程(69)表示。
f03＝C03-α3·N03 (68)f04＝C04-α4·N04 (69)这样，在属于未遮盖背景区域的像素的像素值C中包含的前景分量fu能够由方程(70)表示fu＝C-α·N (70)
这里，N指定后续帧中对应像素的像素值。
如上述，基于在区域信息中包含的表示遮盖背景区域的信息和表示未遮盖背景区域的信息以及每个像素的混合比率α，分离部分601能够从属于混合区域的像素中分离前景分量和从属于混合区域的像素中分离背景分量。
图66是表示用于执行上述处理的分离部分601的结构的例子的方框图。被输入到分离部分601的图像被提供给帧存储器621，表示从混合比率计算器104提供的遮盖背景区域和未遮盖背景区域的区域信息以及混合比率α被提供给分离处理块622。
帧存储器621以帧为单位存储输入图像。当要被处理的帧是帧#n时，帧存储器621存储作为帧#n之前一帧的帧的帧#n-1、帧#n、以及作为帧#n之后一帧的帧的帧#n+1。
帧存储器621将帧#n-1、帧#n、和帧#n+1中对应像素提供给分离处理块622。
分离处理块622基于表示遮盖背景区域和未遮盖背景区域的区域信息以及混合比率α将参考图64和65讨论的计算施加到从帧存储器621提供的帧#n-1、帧#n、和帧#n+1中对应像素的像素值，以便从属于帧#n混合区域的像素中分离前景分量和背景分量，并且将它们提供给帧存储器623。
分离处理块622由未遮盖区域处理器631、遮盖区域处理器632、合成器633和合成器634形成。
未遮盖区域处理器631的乘法器641将从帧存储器621提供的帧#n+1中像素的像素值乘以混合比率α，和将所得像素值输出到开关642。在从帧存储器621提供的的帧#n的像素(对应于帧#n+1中的像素)属于未遮盖背景区域时开关642被关闭，并且将从乘法器641提供的用混合比率α相乘的像素值提供给计算器643和合成器634。通过将帧#n+1中像素的像素值乘以从开关642输出的混合比率α所获得的值是与帧#n中对应像素的像素值的背景分量相等的。
计算器643将开关642提供的背景分量从帧存储器621提供的帧#n中像素的像素值中减去以便获得前景分量。计算器643将属于未遮盖背景区域的帧#n中像素的前景分量提供给合成器633。
遮盖区域处理器632的乘法器651将从帧存储器621提供的帧#n-1中像素的像素值乘以混合比率α，和将所得像素值输出到开关652。在从帧存储器621提供的的帧#n的像素(对应于帧#n-1中的像素)属于遮盖背景区域时开关652被关闭，并且将从乘法器651提供的用混合比率α相乘的像素值提供给计算器653和合成器634。通过将帧#n-1中像素的像素值乘以从开关652输出的混合比率α所获得的值是与帧#n中对应像素的像素值的背景分量相等的。
计算器653将开关652提供的背景分量从帧存储器621提供的帧#n中像素的像素值中减去以便获得前景分量。计算器653将属于遮盖背景区域的帧#n中像素的前景分量提供给合成器633。
合成器633将属于未遮盖背景区域和从计算器643提供的像素的前景分量与属于遮盖背景区域和从计算器653提供的像素的前景分量合成，并且将合成的前景分量提供给帧存储器623。
合成器634将属于未遮盖背景区域和从开关642提供的像素的背景分量与属于遮盖背景区域和从开关652提供的像素的背景分量合成，并且将合成的背景分量提供给帧存储器623。
帧存储器623存储从分离处理块622提供的帧#n混合区域中像素的前景分量和背景分量。
帧存储器623输出所存储的帧#n混合区域中像素的前景分量和所存储的帧#n混合区域中像素的背景分量。
通过利用表示特征数量的混合比率α，在像素值中包含的前景分量和背景分量能够被完全地分离。
合成器603将从分离部分601输出的帧#n混合区域中像素的前景分量与属于前景区域的像素合成以便产生前景分量图像。合成器605将从分离部分601输出的帧#n混合区域中像素的背景分量与属于背景区域的像素合成以便产生背景分量图像。
图67A表示对应于图63中帧#n的前景分量图像的例子。左起的最左边像素和第十四像素仅仅构成前景和背景被分离之前的背景分量，并且因此，像素值被设置为0。
左起第二和第十四像素属于前景和背景被分离之前的未遮盖背景区域。因此，背景分量被设置为0，并且前景分量被保持。左起第十一和第十三像素属于前景和背景被分离之前的遮盖背景区域。因此，背景分量被设置为0，并且前景分量被保持。左起第五到第十像素仅仅构成前景分量，其因此被保持。
图67B表示对应于图63中帧#n的背景分量图像的例子。左起的最左边像素和第十四像素仅仅构成前景和背景被分离之前的背景分量，并且因此，背景分量被保持。
左起第二到第四像素属于前景和背景被分离之前的未遮盖背景区域。因此，前景分量被设置为0，并且背景分量被保持。左起第十一和第十三像素属于前景和背景被分离之前的遮盖背景区域。因此，前景分量被设置为0，并且背景分量被保持。左起第五到第十像素仅仅由前景分量构成，并且因此，像素值被设置为0。
下面参考图68的流程图说明用于通过前景/背景分离器105执行的用于分离前景和背景的处理。在步骤S601，分离部分601的帧存储器621获得输入图像和存储对此前景和背景被分离的帧#n，以及在先帧#n-1和随后帧#n+1。
在步骤S602，分离部分601的分离处理块622获得从混合比率计算器104提供的区域信息。在步骤S603，分离部分601的分离处理块622获得从混合比率计算器104提供的混合比率α。
在步骤S604，未遮盖区域处理器631基于区域信息和混合比率α从帧存储器621提供的属于未遮盖背景区域的像素的像素值中提取背景分量。
在步骤S605，未遮盖区域处理器631基于区域信息和混合比率α从帧存储器621提供的属于未遮盖背景区域的像素的像素值中提取前景分量。
在步骤S606，遮盖区域处理器632基于区域信息和混合比率α从帧存储器621提供的属于遮盖背景区域的像素的像素值中提取背景分量。
在步骤S607，遮盖区域处理器632基于区域信息和混合比率α从帧存储器621提供的属于遮盖背景区域的像素的像素值中提取前景分量。
在步骤S608，合成器633将在步骤S605处理中提取的属于未遮盖背景区域的像素的前景分量与在步骤S607处理中提取的属于遮盖背景区域的像素的前景分量合成。合成的前景分量被提供给合成器603。合成器603进一步将通过开关602提供的属于前景区域的像素与从分离部分601提供的前景分量合成以便产生前景分量图像。
在步骤S609，合成器634将在步骤S604处理中提取的属于未遮盖背景区域的像素的背景分量与在步骤S606处理中提取的属于遮盖背景区域的像素的背景分量合成。合成的背景分量被提供给合成器605。合成器605进一步将通过开关604提供的属于背景区域的像素与从分离部分601提供的背景分量合成以便产生背景分量图像。
在步骤S610，合成器603输出前景分量图像。在步骤S611，合成器605输出背景分量图像。然后处理完成。
如上述，前景/背景分离器105基于区域信息和混合比率α能够从输入图像中分离前景分量和背景分量，并且输出仅仅由前景分量构成的前景分量图像和仅仅由背景分量构成的背景分量图像。
下面说明通过快门时间计算器106进行的快门时间的计算。
基于在从移动检测器102提供的帧间移动矢量中包括的x方向的帧间移动vfx和y方向的帧间移动vfy以及在从混合比率计算器104提供的快门时间内移动矢量中包括的x方向的快门时间内移动vix和y方向的快门时间内移动viy，快门时间计算器106计算快门时间。
如图56中表示，由于能够假设前景目标用不变速度移动，快门时间内移动量对帧间移动量的比率等于快门时间对帧间隔时间的比率。
基于在快门时间内移动中包括的x方向的快门时间内移动vix和在帧间移动矢量中包括的x方向的帧间移动vfx，快门时间计算器106例如通过方程(71)计算快门时间对帧间隔时间的比率S1。
S1＝vix/vfx (71)例如，如果x方向的快门时间内移动vix是5和x方向的帧间移动vfx是10，快门时间计算器106计算快门时间对帧间隔时间的比率S1为0.5。
另外，基于帧间移动矢量中包括的x方向的帧间移动vfx和y方向的帧间移动vfy以及在快门时间内移动矢量中包括的x方向的快门时间内移动vix和y方向的快门时间内移动viy，快门时间计算器106例如通过方程(72)计算快门时间对帧间隔时间的比率S2。
S2＝((vix/vfx)+(viy/vfy))/2 (72)基于帧间移动矢量中包括的x方向的帧间移动vfx和y方向的帧间移动vfy以及在快门时间内移动矢量中包括的x方向的快门时间内移动vix和y方向的快门时间内移动viy，快门时间计算器106例如通过方程(73)计算快门时间对帧间隔时间的比率S3。S3=vix2+viy2vfx2+vfy2----(73)]]>快门时间计算器能够通过方程(71)比通过方程(72)或者方程(73)更简单地计算快门时间对帧间隔时间的比率。
快门时间计算器能够通过方程(72)或方程(73)比通过方程(71)更精确地计算快门时间对帧间隔时间的比率。
快门时间计算器106基于帧间隔时间和计算的快门时间对帧间隔时间的比率计算快门时间。
如上述，基于在从移动检测器102提供的帧间移动矢量中包括的x方向的帧间移动vfx和y方向的帧间移动vfy以及在从混合比率计算器104提供的快门时间内移动矢量中包括的x方向的快门时间内移动vix和y方向的快门时间内移动viy，快门时间计算器106能够计算快门时间。
下面说明前景分量图像中移动模糊量的调节。
图69是表示移动模糊调节单元107结构的例子的方框图。从混合比率计算器104提供的快门时间内移动矢量和其位置信息被提供给处理单位确定部分801、模型形成部分802、以及计算器805。从区域指定单元103提供的区域信息被提供给处理单位确定部分801。从前景/背景分离器105提供的前景分量图像被提供给加法器804。
处理单位确定部分801提供基于快门时间内移动矢量和其位置信息以及区域信息产生的处理单位给模型形成部分802。处理单位确定部分801将所产生的处理单位提供给加法器804。
如图70中表示例子中A表示的，由处理单位确定部分801产生的处理单位表示从对应于前景分量图像的遮盖背景区域的像素开始直到对应于未遮盖背景区域的像素为止在移动方向上布置的连续像素，或者表示从对应于未遮盖背景区域的像素开始直到对应于遮盖背景区域的像素为止在移动方向上布置的连续像素。处理单位是由两块数据形成的，其表示例如左上点(其是由处理单位指定的图像中最左边或者最上面像素的位置)和右下点。
模型形成部分802基于快门时间内移动矢量和处理单位形成模型。更具体地，例如，根据在处理单位中包含的像素数目、在时间方向像素值的有效分割部分的数目、以及每个像素之前景分量的数目，模型形成部分802提前存储多个模型。然后，基于处理单位和在时间方向像素值的有效分割部分的数目，模型形成部分902选择其中在像素值和前景分量之间的相关性被指定的模型，诸如图71中表示的。
现在假设，例如，对应于处理单位的像素的数目是12，快门时间之内移动量v是5。然后，模型形成部分802设置有效分割部分的数目是5，并且选择由八种类型的前景分量形成的模型使得最左边像素包含一个前景分量，左起第二像素包含两个前景分量，左起第三像素包含三个前景分量，左起第四像素包含四个像素分量，左起第五像素包含五个前景分量，左起第六像素包含五个前景分量，左起第七像素包含五个前景分量，左起第八像素包含五个前景分量，左起第九像素包含四个前景分量，左起第十像素包含三个前景分量，左起第十一像素包含两个前景分量，以及左起第十二像素包含一个前景分量。
代替从预先存储模型中选择模型，当提供了快门时间内移动矢量和处理单位时，基于该快门时间内移动矢量和处理单位，模型形成部分802可以产生模型。
模型形成部分802将所选择模型提供给方程发生器803。
基于从模型形成部分802提供的模型，方程发生器803产生方程。下面参考图71中表示的前景分量图像的模型，给出在当前景分量的数目是8，对应于处理单位的像素的数目是12，快门时间内移动量v是5，以及有效分割部分的数目是5时由方程发生器803产生的方程的说明。
当在对应于快门时间/v的前景分量图像中包含的前景分量是F01/v到F08/v时，在F01/v到F08/v和像素值C01到C12之间的关系能够由方程(74)到(85)表示。
C01＝F01/v(74)C02＝F02/v+F01/v (75)C03＝F03/v+F02/v+F01/v(76)C04＝F04/v+F03/v+F02/v+F01/v (77)C05＝F05/v+F04/v+F03/v+F02/v+F01/v(78)C06＝F06/v+F05/v+F04/v+F03/v+F02/v(79)C07＝F07/v+F06/v+F05/v+F04/v+F03/v(80)C08＝F08/v+F07/v+F06/v+F05/v+F04/v(81)C09＝F08/v+F07/v+F06/v+F05/v (82)
C10＝F08/v+F07/v+F06/v(83)C11＝F08/v+F07/v (84)C12＝F08/v(85)方程发生器803通过修改所产生的方程来产生方程。通过方程发生器803产生的方程由方程(86)到(97)表示。
C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(86)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(87)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(88)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(89)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v(90)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v(91)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v(92)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(93)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(94)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v(95)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v(96)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v(97)方程(86)到(97)能够由方程(98)表示。Cj=Σi=0108aij·Fi/v----(98)]]>方程(98)中，j指定像素的位置。在该例子中，j具有1到12的值中的一个。方程(98)中，i指定前景值的位置。在该例子中，i具有1到8的值中的一个。方程(98)中，aij根据i和j的值具有0或者1值。
考虑误差，方程(98)能够由方程(99)表示。Cj=Σi=0108aij·Fi/v+ej----(99)]]>方程(99)中，ej指定在指定像素Cj中包含的误差。
方程(99)能够被修改为方程(100)。ej=Cj-Σi=0108aij-Fi/v----(100)]]>为了应用最小二乘法，误差的平方和E被定义为方程(101)。E=Σj=0112ej2----(101)]]>为了最小化误差，对于误差的平方和E，使用变量Fk的偏微分值应当为0。Fk被确定为使得满足方程(102)。∂E∂Fk=2·Σj=0112ej·∂ej∂Fk----(102)]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)=0]]>方程(102)中，由于快门时间内移动量是固定值，能够推导出方程(103)。Σi=0112akj·(Cj-Σi=0108aij·Fi/v)=0----(103)]]>通过展开方程(103)和置换各项，能够得到方程(104)。Σj=0112(akj·Σi=0108aij·Fi)=vΣj=0112akj·Cj----(104)]]>通过将从1到8的单个整数替换方程(104)中的k，方程(104)被展开为八个方程。所获得的八个方程能够由一个矩阵方程表示。该方程被称为“标准方程”。
由方程发生器803基于最小二乘法产生的标准方程的例子由方程(105)表示。5432100045432100345432102345432112345432012345430012345400012345F01F02F03F04F05F06F07F08=v·Σi=0812CiΣi=0711CiΣi=0610CiΣi=0509CiΣi=0408CiΣi=0307CiΣi=0206CiΣi=0105Ci---(105)]]>当方程(105)由A·F＝v·C表示时，C，A和v是公知的，F是未知的。当模型形成时A和v是已知的，同时当像素值被输入到加处理时C变成已知的。
通过基于最小二乘法根据标准方程计算前景分量，像素C中包含的误差能够被分布(distributed)。
方程发生器803将按上述产生的标准方程提供给加法器804。
基于从处理单位确定部分801提供的处理单位，加法器804设置从方程发生器803提供的矩阵方程中前景分量图像内包含的像素值C。加法器804将其中像素值C被设置的矩阵提供给计算器805。
计算器805计算前景分量Fi/v，在该前景分量Fi/v中，移动模糊通过基于诸如刮去法(Gauss-Jordan消去法)的技术方案的处理被消除，以便获得对应于表示从1到8整数之一个的i的Fi，其是移动模糊被从中消除的像素值。计算器805然后将诸如图72中表示的由没有移动模糊的像素值Fi构成的前景分量图像输出到移动模糊加法器806和选择器807。
在图72中表示的没有移动模糊的前景分量图像中，用于将F01到F08分别设置到C03到C10中的原因是不改变前景分量图像相对于屏幕的位置。但是，F01到F08可以被设置在任何希望的位置中。
移动模糊加法器806基于从快门时间计算器106提供的快门时间产生移动模糊被调节的量v’。例如，移动模糊加法器806将预先存储的帧间隔时间除以从快门时间计算器106提供的快门时间和将从混合比率计算器104提供的快门时间内移动乘以该除法的结果，由此产生移动模糊被调节的量v’。
通过相加不同于快门时间内移动量v的移动模糊被调节的量v’，例如是快门时间内移动量v的一半值的移动模糊被调节的量v’，或者是与快门时间内移动量v无关的移动模糊被调节的量v’，移动模糊加法器806能够调节移动模糊的量。例如，如图73中表示，移动模糊加法器806通过移动模糊被调节的量v’分割没有移动模糊的前景像素值Fi以便获得前景分量Fi/v’。移动模糊加法器806然后计算前景分量Fi/v’之和，由此产生其中移动模糊量被调节的像素值。例如，当移动模糊被调节的量v’是3时，像素值C02被设置为(F01)/v’，像素值C03被设置为(F01+F02)/v’，像素值C04被设置为(F01+F02+F03)/v’，以及像素值C05被设置为(F02+F03+F04)/v’。
移动模糊加法器806将其中移动模糊量被调节的前景分量图像提供给选择器807。
选择器807基于反映用户选择的选择信号选择从计算器805提供的没有移动模糊的前景分量图像和从移动模糊加法器806提供的其中移动模糊量被调节的前景分量图像之一，并且输出所选择前景分量图像。
如上述，移动模糊调节单元106能够基于选择信号和移动模糊被调节的量v’来调节移动模糊量。
而且，例如，当对应于处理单位的像素的数目是8和快门时间内移动量v是4时，如图74中表示，移动模糊调节单元107产生由方程(106)表示的矩阵方程。4321034321234321234301234F01F02F03F04F05=v·Σi=0508CiΣi=0407CiΣi=0306CiΣi=0205CiΣi=0104Ci----(106)]]>
这样，通过根据处理单位的长度建立方程，移动模糊调节单元107计算Fi，其是其中移动模糊量被调节的像素值。类似地，例如，当在处理单位中包含的像素的数目是100时，对应于100个像素的方程被产生以便计算Fi。
图75表示移动模糊调节单元107另一个结构的例子。与图69表示的相同单元被指定为类似的参考标记，并且因此其解释省略。
基于从快门时间计算器106提供的快门时间，选择器821产生移动模糊被调节的量v’。
基于选择信号，选择器821直接将输入的快门时间内移动矢量和其位置信号提供给处理单位确定部分801和模型形成部分802。另外，选择器821可以将快门时间内移动矢量的幅值替换为一个其移动模糊被调节的量v’，并且然后将该移动矢量和其位置信号提供给处理单位确定部分801和模型形成单元802。
借助该方案，图75中表示移动模糊调节单元107的处理单位确定部分801到计算器805能够根据移动量v和其移动模糊被调节的量v’来调节移动模糊量。例如，当快门时间内移动量是5和其移动模糊被调节的量v’是3时，图75中表示的移动模糊调节单元107的处理单位确定部分801到计算器805根据其中其移动模糊被调节的量v’是3的图73中表示的模型执行有关图71中表示的其中快门时间内移动量v是5的前景分量图像的计算。结果，获得包含具有(快门时间内移动量v)/(其移动模糊被调节的量v’)＝5/3即大约1.7的快门时间内的移动量v的移动模糊的图像。在这种情况下，所计算的图像不包含对应于快门时间内移动量v为3的移动模糊。因此，应当注意，在快门时间内移动量v和其移动模糊被调节的量v’之间的关系是与移动模糊加法器806的结果不同的。
如上述，移动模糊调节单元107根据快门时间内移动量v和处理单位产生方程，并且设置所产生方程中前景分量图像的像素值，由此计算其中移动模糊量被调节的前景分量图像。
下面参考图76的流程图说明用于通过移动模糊调节单元107执行的调节在前景分量图像中包含的移动模糊量的处理。
在步骤S801，移动模糊调节单元107的处理单位确定部分801基于快门时间内移动矢量和区域信息产生处理单位，并且将所产生的处理单位提供给模型形成部分802。
在步骤S802，移动模糊调节单元107的模型形成部分802根据快门时间内移动量和处理单位选择或者产生模型。在步骤S803，方程发生器803基于所选择模型产生标准方程。
在步骤S804，加法器804设置所产生标准方程中前景分量图像的像素值。在步骤S805，加法器804确定对应于处理单位的所有像素的像素值是否被设置。如果确定出没有设置对应于处理单位的所有像素的像素值，则处理返回到步骤S804，并且重复用于设置标准方程中像素值的处理。
如果在步骤S805确定出对应于处理单位的所有像素的像素值被设置，则处理前进到步骤S806。在步骤S806，计算器805基于其中像素值被设置的、从加法器804提供的标准方程来计算其中移动模糊量被调节的前景的像素值。然后处理完成。
如上述，移动模糊调节单元107能够基于快门时间、快门时间内移动矢量和区域信息调节包含移动模糊之前景图像的移动模糊量。
即，有可能调节像素值中包含的、即采样数据中包含的移动模糊量。
图77是表示移动模糊调节单元107另一个结构的例子的方框图。从混合比率计算器104提供的快门时间内移动矢量和其位置信息被提供给处理单位确定部分901和调节部分905。从区域指定单元103提供的区域信息被提供给处理单位确定部分901。从前景/背景分离器105提供的前景分量图像被提供给计算器904。
处理单位确定部分901基于快门时间内移动矢量和其位置信息以及区域信息产生处理单位，并且将处理单位与快门时间内移动矢量一起提供给模型形成部分902。
模型形成部分902基于快门时间内移动矢量和输入的处理单位形成模型。更具体地，例如，模型形成部分902可以根据在处理单位中包含的像素数目、在时间方向像素值的有效分割部分的数目、以及每个像素之前景分量的数目，预先存储多个模型。基于处理单位和在时间方向像素值的有效分割部分的数目，模型形成部分902然后选择其中在像素值和前景分量之间的相关性被指定的模型，诸如图78中表示的。
现在假设，例如，对应于处理单位的像素的数目是12，和快门时间内移动量v是5。然后，模型形成部分902将有效分割部分的数目为5，和选择由八种前景分量构成的模型，以便最左边像素包含一个前景分量，左起第二像素包含两个前景分量，左起第三像素包含三个前景分量，左起第四像素包含四个前景分量，左起第五像素包含五个前景分量，左起第六像素包含五个前景分量，左起第七像素包含五个前景分量，左起第八像素包含五个前景分量，左起第九像素包含四个前景分量，左起第十像素包含三个前景分量，左起第十一像素包含两个前景分量，以及左起第十二像素包含一个前景分量。
代替从预先存储模型中选择模型，当提供了快门时间内移动矢量和处理单位时，基于该快门时间内移动矢量和处理单位，模型形成部分902可以产生模型。
基于从模型形成部分902提供的模型，方程发生器903产生方程。
下面参考图78到80中表示的前景分量图像的模型，给出在当前景分量的数目是8，对应于处理单位的像素的数目是12，快门时间内移动量v是5时由方程发生器903产生的方程的例子的说明。
当在对应于快门时间/v的前景分量图像中包含的前景分量是F01/v到F08/v时，在F01/v到F08/v和像素值C01到C12之间的关系能够由方程(74)到(85)表示，如上述。
通过考虑像素值C12和C11，像素值C12仅仅包含前景分量F08/v，如方程(107)表示的，并且像素值C11由前景分量F08/v和前景分量F07/v的乘积和构成，因此，前景分量F07/v能够由方程(108)得出。
F08/v＝C12(107)F07/v＝C11-C12(108)类似地，通过考虑在像素值C10到C01中包含的前景分量，前景分量F06/v到F01/v能够分别由方程(109)到(114)得出。
F06/v＝C10-C11(109)F05/v＝C09-C10(110)F04/v＝C08-C09(111)F03/v＝C07-C08+C12(112)F02/v＝C06-C07+C11-C12(113)F01/v＝C05-C06+C10-C11(114)方程发生器903产生用于通过在像素值之间的差别按方程(107)到(114)表示来计算前景分量的方程。方程发生器903将所产生的方程提供给计算器904。
计算器904设置从方程发生器903提供的方程中的前景分量图像的像素值以便获得基于其中像素值被设置方程的前景分量。例如，当方程(107)到(114)被从方程发生器903中提供时，计算器904设置方程(107)到(114)中像素值C05到C12。
计算器904基于其中像素值被设置的方程来计算前景分量。例如，计算器904基于其中像素值C05到C12被设置的方程(107)到(114)的计算来计算前景分量F01/v到F08/v，如图79中所示。计算器904将前景分量F01/v到F08/v提供给调节部分905。
调节部分905将从混合比率计算器104提供的前景分量乘以从处理单位确定部分901提供的快门时间内移动矢量中包含的快门时间内移动量v以便获得其移动模糊被消除的前景像素值。例如，当前景分量F01/v到F08/v被从计算器904提供时，调节部分905将前景分量F01/v到F08/v的每一个乘以快门时间内移动量v即5，以便获得其移动模糊被消除的前景像素值F01到F08，如图80中表示。
调节部分905将由按上述计算的没有移动模糊的前景像素值构成的前景分量图像提供给移动模糊加法器906和选择器907。
通过使用不同于基于快门时间产生的快门时间内移动量v的移动模糊被调节的量v’，例如为快门时间内移动量v的一半值的移动模糊被调节的量v’，或者为与快门时间内移动量v无关的移动模糊被调节的量v’，移动模糊加法器906能够调节移动模糊的量。例如，如图73中表示，移动模糊加法器906用移动模糊被调节的量v’除没有移动模糊的前景像素值Fi以便获得前景分量Fi/v’。移动模糊加法器906然后计算前景分量Fi/v’之和，由此产生其中移动模糊量被调节的像素值。例如，当移动模糊被调节的量v’是3时，像素值C02被设置为(F01)/v’，像素值C03被设置为(F01+F02)/v’，像素值C04被设置为(F01+F02+F03)/v’，以及像素值C05被设置为(F02+F03+F04)/v’。
基于快门时间，移动模糊加法器906将其中移动模糊量被调节的前景分量图像提供给选择器907。
选择器907基于反映用户选择的选择信号选择从调节部分905提供的没有移动模糊的前景分量图像或者从移动模糊加法器906提供的其中移动模糊量被调节的前景分量图像，并且输出所选择前景分量图像。
如上述，移动模糊调节单元107能够基于选择信号和移动模糊被调节的量v’来调节移动模糊量。
下面参考图81的流程图说明用于通过按图77构成的移动模糊调节单元107执行的调节前景的移动模糊量的处理。
在步骤S901，移动模糊调节单元107的处理单位确定部分901基于快门时间内移动矢量和区域信息产生处理单位，并且将所产生的处理单位提供给模型形成部分902和调节部分905。
在步骤S902，移动模糊调节单元107的模型形成部分902根据快门时间内移动量v和处理单位选择或者产生模型。在步骤S903，方程发生器903基于所选择或者所产生的模型产生方程，用于通过前景分量图像像素值之间的差别计算前景分量。
在步骤S904，计算器904设置所产生方程中前景分量图像的像素值，并且基于其中像素值被设置的方程通过使用像素值之间的差别来提取前景分量。在步骤S905，计算器904确定对应于处理单位的所有前景分量是否已经被提取。如果确定出没有提取对应于处理单位的所有前景分量，则处理返回到步骤S904，并且重复用于提取前景分量的处理。
如果在步骤S905确定出对应于处理单位的所有前景分量已经被提取，则处理前进到步骤S906。在步骤S906，调节部分905基于快门时间内移动量v来调节从计算器904提供的前景分量F01/v到F08/v的每一个，以便获得其移动模糊被消除的前景像素值F01/v到F08/v。
在步骤S907，移动模糊加法器906计算其中移动模糊量被调节的前景像素值，选择器907选择没有移动模糊的图像或者其中移动模糊量被调节的图像，并且输出所选择的图像。处理然后结束。
如上述，按图77表示构成的移动模糊调节单元107能够根据较简单的计算来更快速地调节包含移动模糊的前景图像的移动模糊。
诸如Wiener滤波器的用于部分消除移动模糊的公知技术在被用于理想状态时是有效的，但是对于被量化和包含噪声的实际图像是不够的。相反，按图77表示构成的移动模糊调节单元107对被量化和包含噪声的实际图像被证明是足够有效的。因此有可能以高的精确度消除移动模糊。
图82表示合成器108的结构。背景分量发生器1021基于混合比率α和某个背景图像产生背景分量图像，并且将该背景分量图像提供给混合区域图像合成部分1022。
混合区域图像合成部分1022将从背景分量发生器1021提供的背景分量图像与前景分量图像合成以便产生混合区域合成图像，和将所产生的混合区域合成图像提供给图像合成部分1023。
图像合成器1023基于区域信息合成前景分量图像、从混合区域图像合成部分1022提供的混合区域合成图像、以及某个背景图像，以便产生合成图像和输出它。
如上述，合成器108能够将前景分量图像与某个背景图像合成。
与通过简单合成像素获得的图像相比较，通过基于是特征数量的混合比率α将前景分量图像与某个背景图像合成获得的图像出现的更为自然。
如上述，按图2表示构成的图像处理设备能够从输入图像中分离出前景分量图像，调节在分离的前景分量图像中包括的移动模糊量，和将它与希望的背景图像合成。
图83是表示用于调节移动模糊量的图像处理设备功能的另一个结构的方框图。图2中表示的图像处理设备顺序地完成区域规定操作和用于混合比率α的计算。相反，图84中表示的图像处理设备同时执行区域规定操作和用于混合比率α的计算。
类似于图2方框图中的功能单元被指定为类似的参考标记，因此其解释被省略。
输入图像被提供给目标提取单元101、区域指定单元103、混合比率计算器1101、和前景/背景分离器1102。
区域指定单元103基于输入图像产生区域信息，和将区域信息提供给前景/背景分离器1102、移动模糊调节单元107和合成器1103。
混合比率计算器1101基于输入图像计算当假设在输入图像中包含的每个像素属于遮盖背景区域时的估计混合比率和当假设在输入图像中包含的每个像素属于未遮盖背景区域时的估计混合比率，并且将用每个像素属于遮盖背景区域的假设计算的估计混合比率和用每个像素属于未遮盖背景区域的假设计算的估计混合比率提供给前景/背景分离器1102。
混合比率计算器1101基于用每个像素属于遮盖背景区域的假设计算的估计混合比率和用每个像素属于未遮盖背景区域的假设计算的估计混合比率来产生快门时间内的移动矢量，并且将快门时间内移动矢量提供给快门时间计算器106和移动模糊调节单元107。
图85是表示混合比率计算器1101的结构例子的方框图。
图85中表示的估计混合比率处理器401是与图49中表示的估计混合比率处理器401相同。图85中表示的估计混合比率处理器402是与图49中表示的估计混合比率处理器402相同。
估算混合比率处理器401通过基于输入图像对应于遮盖背景区域的模型的计算来计算每个像素的估算混合比率，和输出所计算的估算混合比率。基于估算混合比率，估算混合比率处理器401计算估算移动矢量，和将估算混合比率与估算移动矢量提供给选择器1111。
估算混合比率处理器402通过基于输入图像对应于未遮盖背景区域的模型的计算来计算每个像素的估算混合比率，和输出所计算的估算混合比率。基于估算混合比率，估算混合比率处理器402计算估算移动矢量，和将估算混合比率与估算移动矢量提供给选择器1111。
选择器1111选择对应于超过0和低于1的估算混合比率的估算移动矢量，和将估算移动矢量设置为快门时间内的移动矢量并输出它。
基于当假设像素属于从混合比率计算器1101提供的遮盖背景区域时计算的估计混合比率、当假设像素属于从混合比率计算器1101提供的未遮盖背景区域时计算的估计混合比率、以及从区域指定单元103提供的区域信息，前景/背景分离器1102从输入图像中产生前景分量图像，并且将所产生的前景分量图像提供给移动模糊调节单元1103。
图85是表示前景/背景分离器1102的结构的例子的方框图。
类似于图61中表示的前景/背景分离器105的单元被由相同的参考标记表示，因此其解释被省略。
选择器1121基于从区域指定单元103提供的区域信息选择当假设像素属于从混合比率计算器1101提供的遮盖背景区域时计算的估计混合比率或者当假设像素属于从混合比率计算器1101提供的未遮盖背景区域时计算的估计混合比率，和将所选择的估计混合比率作为混合比率α提供给分离部分601。
分离部分601基于从选择器1121提供的混合比率α和区域信息从属于混合区域的像素的像素值中提取前景分量和背景分量，并且将所提取的前景分量提供合成器603，和也将前景分量提供给合成器605。
分离部分601能够被构造成类似于图66中表示的对应部分。
合成器603合成前景分量图像并输出它。合成器605合成背景分量图像并输出它。
基于从区域指定单元103提供的区域信息、从混合比率计算器1101提供的快门时间内移动矢量、和从快门时间计算器106提供的快门时间，移动模糊调节单元107调节在从前景/背景分离器1102提供的前景分量图像中包含的移动模糊量，并且输出其中移动模糊量被调节的前景分量图像给合成器1103。
基于当假设像素属于遮盖背景区域时计算的估计混合比率和当假设像素属于从混合比率计算器1101提供的未遮盖背景区域时计算的估计混合比率、以及从区域指定单元103提供的区域信息，合成器1103将某个背景图像与其中移动模糊被调节的从移动模糊调节单元107提供的前景分量图像合成，并且输出合成图像。
图86是表示合成器1103的结构的方框图。类似于图82表示的单元被指定为相同的参考标记，因此其解释被省略。
选择器1131基于从区域指定单元103提供的区域信息选择当假设像素属于从混合比率计算器1101提供的遮盖背景区域时计算的估计混合比率或者当假设像素属于从混合比率计算器1101提供的未遮盖背景区域时计算的估计混合比率，和将所选择的估计混合比率作为混合比率α提供给背景分量发生器1021。
如上述，按图83表示构成的图像处理设备能够调节对应于输出之前的输入图像的前景目标的图像中包括的移动模糊量。
实施例已经通过将混合比率α设置为像素值中包含的背景分量的比率进行了讨论。但是，混合比率α可以被设置为像素值中包含的前景分量的比率。
实施例已经通过将前景目标的移动方向设置为从左到右的方向进行了讨论。但是，移动方向不局限于上述方向。
在上述说明中，具有三维空间和时间轴信息的真实空间图像通过使用视频摄象机被投影到具有二维空间和时间轴信息的时间空间。但是，本发明不局限制于该例子，和能够被应用到下述情况。当一维空间中较大量的第一信息被投影到二维空间中较小量的第二信息上时，由投影产生的失真能够被修正，大量的信息能够被提取或者能够合成更自然的图像。
传感器不限制于CCD，可以是另外类型的传感器，例如为固体成像器件，诸如CMOS(互补金属氧化物半导体)，BBD(斗链器件(Bucket BrigadeDevice))，CID(电荷注入器件)，或者CPD(电荷引发器件(Charge PrimingDevice))。另外，传感器不是必须为其中检测器件以矩阵排列的传感器，可以是其中检测器件以一条线排列的传感器。
其中记录了用于完成本发明信号处理的程序的记录介质可以是由其中记录了程序的封装介质形成，其配置用于将程序提供给与计算机分开的用户，如图1中表示，其诸如为磁盘51(包括软盘(注册的商标名称))，光盘52(CD-ROM(致密盘只读存储器)和DVD(数字通用盘)，磁光盘53(包括MD(迷你盘)(注册的商标名称))，或者半导体存储器54。记录介质也可以由其中记录了程序的在存储单元28中包含的ROM 22或者硬盘构成，这种记录介质在被预先存储在计算机中的同时被提供给用户。
形成记录介质中记录程序的步骤可以根据说明中说明的次序依次被执行。但是，它们不必要以时间串行方式被执行，它们可以同时地或者单独地被执行。
工业实用性根据本发明，允许进行已经被采集图像的曝光时间的检测。
权利要求
1.一种图像处理设备，用于处理由预定数目的像素数据形成的图像数据，该预定数目的像素数据是通过包括预定数目的像素的图像采集器件获得的，所述像素具有时间积分功能，所述图像处理设备包括帧间移动量检测装置，用于根据指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测装置，用于检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测装置，用于根据混合比率检测其中在获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测装置，用于基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
2.根据权利要求1的图像处理设备，其中基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，所述曝光时间比率检测装置检测曝光时间。
3.根据权利要求1的图像处理设备，其中所述混合比率检测装置包括相关表达式产生装置，用于相对于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据和对应于指定像素和附近像素的背景像素数据之间的关系，所述混合比率检测装置基于相关表达式检测指定像素和附近像素的混合比率。
4.根据权利要求3的图像处理设备，其中基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，所述相关表达式产生装置产生相关表达式。
5.根据权利要求4的图像处理设备，其中所述曝光时间内移动量检测装置检测在与像素的位置相关的混合区域中的混合比率的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
6.一种图像处理方法，用于处理由预定数目的像素数据形成的图像数据，该预定数目的像素数据是通过包括预定数目的像素的图像采集器件获得的，所述像素具有时间积分功能，所述图像处理方法包括帧间移动量检测步骤，基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的帧之间的移动量；混合比率检测步骤，在指定帧中检测其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测步骤，根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测步骤，基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
7.根据权利要求6的图像处理方法，其中，基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，在所述曝光时间比率检测步骤中检测曝光时间。
8.根据权利要求6的图像处理方法，其中，所述混合比率检测步骤包括相关表达式产生步骤，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，在所述混合比率检测步骤中，基于相关表达式检测指定像素和附近像素的混合比率。
9.根据权利要求8的图像处理方法，其中，基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在与像素的位置相关的混合区域中线性改变的第二近似值，在所述相关表达式产生步骤中产生相关表达式。
10.根据权利要求9的图像处理方法，其中，在所述曝光时间内移动量检测步骤中，检测在关于像素的位置的混合区域中的混合比率的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
11.一种记录介质，其中记录计算机可读程序，所述程序是图像处理程序，该程序用于处理由预定数目的像素数据形成的图像数据，该预定数目的像素数据是通过包括预定数目像素的图像采集器件获得的，所述像素具有时间积分功能，所述图像处理程序包括帧间移动量检测步骤，基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测步骤，检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测步骤，根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测步骤，基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
12.根据权利要求11的记录介质，其中，基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，在所述曝光时间比率检测步骤中检测曝光时间。
13.根据权利要求11的记录介质，其中，所述混合比率检测步骤包括相关表达式产生步骤，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，在所述混合比率检测步骤中基于相关表达式检测指定像素和附近像素的混合比率。
14.根据权利要求13的记录介质，其中，基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，在所述相关表达式产生步骤中产生相关表达式。
15.根据权利要求14的记录介质，其中，在所述曝光时间内移动量检测步骤中，检测在混合区域中混合比率关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
16.一种程序，用于允许计算机处理图像数据，该图像数据是由预定数目的像素数据形成的，该预定数目的像素数据是通过包括预定数目的像素的图像采集器件获得的，所述像素具有时间积分功能，执行帧间移动量检测步骤，基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测步骤，检测在指定帧中在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测步骤，根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测步骤，基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
17.根据权利要求16的程序，其中基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，在所述曝光时间比率检测步骤中检测曝光时间。
18.根据权利要求16的程序，其中，所述混合比率检测步骤包括相关表达式产生步骤，用于关于图像数据的指定帧的指定像素提取在指定帧周围的外围帧的像素数据，作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，在所述混合比率检测步骤中，基于相关表达式检测指定像素和附近像素的混合比率。
19.根据权利要求18的程序，其中，基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，在所述相关表达式产生步骤中产生相关表达式。
20.根据权利要求19的程序，其中，在所述曝光时间内移动量检测步骤中，检测混合比率在混合区域中关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内前景目标的移动量，并输出所检测的移动量。
21.一种图像采集设备，包括图像采集装置，用于输出通过图像采集器件采集的主题图像作为由预定数目的像素数据构成的图像数据，该图像采集器件包括具有时间积分功能的预定数目的像素；帧间移动量检测装置，用于基于指定帧和指定帧之前或者之后的帧，检测图像数据的指定帧的前景目标的各帧之间的移动量；混合比率检测装置，用于检测在指定帧中、在其中前景目标分量和背景目标分量被混合的混合区域中表示构成前景目标的前景目标分量和构成背景目标的背景目标分量的混合的比率的混合比率；曝光时间内移动量检测装置，用于根据混合比率检测在其中获得了构成图像数据的像素数据的曝光时间内的前景目标的移动量；以及曝光时间比率检测装置，用于基于在前景目标的曝光时间内的移动量和在各帧之间的移动量来检测各帧的时间间隔与该曝光时间的比率。
22.根据权利要求21的图像采集设备，其中，基于在各帧之间的移动量与在前景目标的曝光时间内的移动量的比率和基于各帧的时间间隔，所述曝光时间比率检测装置检测曝光时间。
23.根据权利要求21的图像采集设备，其中，所述混合比率检测装置包括相关表达式产生装置，用于关于图像数据的指定帧的指定像素，提取在指定帧周围的外围帧的像素数据作为对应于背景目标的背景像素数据，还提取指定帧中指定像素的指定像素数据和在指定像素附近的附近像素的附近像素数据，并且产生多个相关表达式，其表示在指定像素数据、附近像素数据、和对应于指定像素和附近像素的背景像素数据之间的关系，所述混合比率检测装置基于相关表达式检测指定像素和附近像素的混合比率。
24.根据权利要求23的图像采集设备，其中，基于其中在指定像素数据和在附近像素数据中包括的前景目标的分量的值相同的第一近似值、和基于其中混合比率在混合区域中关于像素的位置线性改变的第二近似值，所述相关表达式产生装置产生相关表达式。
25.根据权利要求24的图像采集设备，其中，所述曝光时间内移动量检测装置检测在混合区域中混合比率关于像素的位置的线性改变的梯度的倒数，作为在其中获得了图像数据的曝光时间内的前景目标的移动量，并输出所检测的移动量。
全文摘要
可能检测已经被采集的图像的曝光时间。移动检测块(102)根据目标帧和之前或之后的帧，检测各帧之间的目标帧的前景对象的移动量。混合比率计算块(104)检测在目标帧的混合区域中表示前景对象分量与背景对象分量的混合比率。混合比率计算块(104)根据混合比率检测当得到像素数据时曝光时间中的前景对象的移动量。快门时间计算块(106)根据各帧之间的前景对象的移动量和曝光时间内的移动量检测帧时间间隔与曝光时间的比率。本发明可以应用于图像处理设备。
文档编号H04N5/232GK1473312SQ02802782
公开日2004年2月4日 申请日期2002年6月25日 优先权日2001年6月26日
发明者近藤哲二郎, 藤原直树, 石桥淳一, 泽尾贵志, 永野隆浩, 三宅彻, 和田成司, 一, 司, 志, 树, 浩 申请人:索尼公司