图像处理设备和方法及图像拍摄设备的制作方法

文档序号：5183862阅读：181来源：国知局

专利名称：图像处理设备和方法及图像拍摄设备的制作方法
技术领域：
本发明涉及图像处理设备和方法、和图像拍摄(image-taking)设备，尤其涉及考虑到传感器检测的信号与客观实在之间的差异的图像处理设备和方法、和图像拍摄设备。
背景技术：
一种根据输入图像生成分辨率更高的图像的处理类型是分类自适应处理(class classification adaptation processing)。分类自适应处理的一个例子是在空间方向，事先生成用在生成分辨率更高的图像的处理中的系数，和根据生成的系数，在空间方向，利用更高的分辨率生成图像的处理。
图1是显示用于生成系数的传统图像处理设备的配置的方块图，这些系数用在从SD(标准清晰度)图像中生成HD(高清晰度)图像的分类自适应处理中。帧存储器11以逐帧递增的方式存储作为HD图像的输入图像。帧存储器11把存储的HD图像供应给加权平均单元12和相应像素获取单元16。
加权平均单元12对存储在帧存储器11中的HD图像进行四分之一加权平均，生成SD图像，并且把生成的SD图像供应给帧存储器13。
帧存储器13以逐帧递增的方式存储加权平均单元12供应的SD图像，并且把存储的SD图像供应给分类单元14和预测抽头获取单元15。
分类单元14由类抽头获取单元21和波形分类单元22构成，对作为存储在帧存储器13中的SD图像中的感兴趣像素的感兴趣像素进行分类。类抽头获取单元21从帧存储器13中获取与感兴趣像素相对应的、本身是SD图像的像素的预定个类抽头，并且把获取的类抽头供应给波形分类单元22。
图2是说明由类抽头获取单元21获取的类抽头的图形。如图2所示，类抽头获取单元21获取在预定位置上的11个类抽头。
波形分类单元22根据类抽头，把感兴趣像素分类成多个类当中的一个类，并且把与所分的类相对应的类号供应给预测抽头获取单元15。波形分类单元22根据11个类抽头，把感兴趣像素分类成2048个类当中的一个类。
预测抽头获取单元15根据类号，从帧存储器13中获取与所分的类相对应的、本身是SD图像的像素的预定个预测抽头，并且把获取的预测抽头和类号供应给相应像素获取单元16。
图3是说明预测抽头获取单元15获取的预测抽头的图形。如图3所示，预测抽头获取单元15获取预定位置上的9个预测抽头。
相应像素获取单元16根据预测抽头和类号，从帧存储器11中获取与待预测像素值相对应的HD图像的像素，并且把预测抽头、类号、和与待预测像素值相对应的HD图像的像素供应给正规方程生成单元17。
正规方程(normal equation)生成单元17根据预测抽头、类号、和获取的待预测像素值，生成与类相对应、与预测抽头和待预测像素值之间的关系相对应的正规方程，并且把生成的与类相对应的正规方程供应给系数计算单元18。
系数计算单元18求解正规方程生成单元17供应的正规方程，计算与每个类相对应的系数组，并且把计算的系数组与类号一起供应给系数组存储器19。
系数组存储器19根据类号，存储计算的与类相对应的系数组。
图4是说明分类自适应处理的概况的图形。在分类自适应处理中，通过四分之一加权平均处理，本身是HD图像的教师图像(tutor image)生成相应的SD图像。生成的SD图像被称为学生图像(student image)。
接着，根据本身是HD图像的教师图像和本身是相应SD图像的学生图像，生成用于从SD图像中生成HD图像的系数组。系数组由通过线性预测等，从SD图像中生成HD图像的一组系数构成。
通过线性预测等，从如此生成的系数组和SD图像中生成四倍密度图像。从系数组和输入图像中生成密度更高的图像等的处理也称为映射。
根据生成的四倍密度图像和相应HD图像，进行SNR(信噪比)比较，或视觉定性评估。
从特定教师图像和相应学生图像生成的系数组称为特定教师图像和相应学生图像的自系数组。利用自系数组的映射称为自映射。从多个其它教师图像和相应学生图像生成的系数组称为交叉系数组。
另一方面，对于通过视频摄像机拍摄从预定静态背景前面移动过去的前景主体所得的图像，在对象的运动速率相对高的情况下，会出现运动模糊(movement blurring)，并且，会出现前景与背景相混合。
对于传统分类自适应处理，通过像如上所述那样的学习处理，对所有前景、背景、和出现前景和背景混合的部分，生成一组系数，并且，根据该系数组，进行映射处理。
下面参照图6所示的流程图，描述生成用在从SD图像中生成HD图像的处理中的系数的传统学习处理。在步骤S11中，图像处理设备判断在学生图像中是否还存在未处理的像素，并且，在作出在学生图像中还存在未处理像素的判断的情况下，流程转到步骤S12，以光栅扫描的顺序，从学生图像中获取感兴趣像素。
在步骤S13中，分类单元14的类抽头获取单元21从存储在帧存储器13中的学生图像中，获取与感兴趣像素相对应的类抽头。在步骤S14中，分类单元14的波形分类单元22根据类抽头，对感兴趣像素进行分类。在步骤S15中，预测抽头获取单元15根据已经作了分类的类，从存储在帧存储器13中的学生图像中获取与感兴趣像素相对应的类抽头。
在步骤S16中，相应像素获取单元16根据已经作了分类的类，从存储在帧存储器13中的教师图像中获取与待预测像素值相对应的像素。
在步骤S17中，正规方程生成单元17根据已经作了分类的类，把与预测抽头和待预测像素值相对应的像素的像素值加入每个类的矩阵中，然后，流程返回到步骤S11中，图像处理设备重复有关是否还存在未处理像素的判断。把与预测抽头和待预测像素值相对应的像素的像素值加入其中的每个类的矩阵对应于为每个类计算系数的正规方程。
在步骤S11中作出在学生图像中没有未处理像素的判断的情况下，流程转到步骤S18，在步骤S18中，正规方程生成单元17把已经设置了与预测抽头和待预测像素值相对应的像素的像素值的每个类的矩阵供应给系数计算单元18。系数计算单元18求解已经设置了与预测抽头和待预测像素值相对应的像素的像素值的每个类的矩阵，计算每个类的系数组。
在步骤S19中，系数计算单元18把已经计算出来的每个类的系数输出到系数组存储器19。系数组存储器19存储每个类的系数组，然后，结束处理。
图7是显示通过分类自适应处理，从SD图像中生成HD图像的传统图像处理设备的配置的方块图。
帧存储器31以逐帧递增的方式存储本身是SD图像的输入图像。帧存储器31把存储的SD图像供应给映射单元32。
把输入到映射单元32的SD图像供应给分类单元41和预测抽头获取单元42。
分类单元41由类抽头获取单元51和波形分类单元52构成，对本身是存储在帧存储器31中的SD图像中的感兴趣像素的感兴趣像素进行分类类抽头获取单元51从帧存储器31中获取与感兴趣像素相对应的预定个类抽头，并且把获取的类抽头供应给波形分类单元52。
波形分类单元52根据类抽头，把感兴趣像素分类多个类当中的一个类，并且把与所分的类相对应的类号供应给预测抽头获取单元42。
预测抽头获取单元42根据类号，从存储在帧存储器31中的输入图像获取与所分的类相对应的预定个类抽头，并且把获取的预测抽头和类号供给给预测计算单元43。
预测计算单元43根据类号，从存储在帧存储器33中的系数组中获取与类相对应的系数组。预测计算单元43根据与类相对应的系数组、和预测抽头，通过线性预测，预测预测图像的像素值。预测计算单元43把预测的像素值供应给帧存储器34。
帧存储器34存储预测计算单元43供应的预测像素值，并且输出已经设置了预测像素值的HD图像。
图8是显示输入图像的像素值、和通过分类自适应处理生成的输出图像的像素值的图形。如图8所示，空心方块表示输入信号，实心圆圈表示输出信号。如图8所示，通过分类自适应处理生成的图像包含了由于SD图像的带宽限制而损失的波形。在这个意义上，可以认为，通过分类自适应处理生成分辨率更高的图像的处理创造了分辨率。
下面参照图9，描述为了利用进行分类自适应处理的图像处理设备从SD图像中生成HD图像，建立图像的传统处理。
在步骤S31中，图像处理设备判断在输入图像中是否还存在未处理的像素，并且，在作出在输入图像中还存在未处理像素的判断的情况下，流程转到步骤S32，在步骤S32中，映射单元32获取存储在系数组存储器33中的系数组。在步骤S33中，图像处理设备以光栅扫描顺序，从输入图像中获取感兴趣像素。
在步骤S34中，分类单元41的类抽头获取单元51从存储在帧存储器31中的输入图像中获取与感兴趣像素相对应的类抽头。在步骤S35中，分类单元41的波形分类单元52根据类抽头，把感兴趣像素分类成一个类。
在步骤S36中，预测抽头获取单元42根据已经作了分类的类，从存储在帧存储器31中的输入图像中获取与感兴趣像素相对应的预测抽头。
在步骤S37中，预测计算单元43根据与已经作了分类的类相对应的系数组、和预测抽头，通过线性预测获取预测图像的像素值。
在步骤S38中，预测计算单元43把预测的像素值输出到帧存储器34。帧存储器34存储预测计算单元43供应的像素值。过程返回到步骤S32，重复有关是否还存在未处理像素的判断。
在步骤S31中作出在输入图像中不存在未处理像素的判断的情况下，流程转到步骤S39，在步骤S39中，帧存储器输出存储的、设置了预测值的预测图像，然后，结束处理。
此外，改善图像边缘的处理也广泛用作提高图像的分辨率的处理。
但是，在对象在静止背景的前面移动的情况下，不仅运动对象图像本身的混合会引起运动模糊，而且运动对象图像与背景图像的混合也会引起运动模糊。传统上，处理与背景图像和运动对象图像的混合相对应的图像还没有加以考虑。
此外，把边缘改善处理应用于包含运动模糊的图像有时也导致不自然的图像。把边缘改善程度设置得低一些，以便不出现这样的不自然图像又导致图像分辨率提高得不够。

发明内容
本发明就是在考虑了上述情况之后作出的，因此，本发明的一个目的是能够处理与背景图像和运动对象图像的混合相对应的图像。
此外，本发明的另一个目的是在不会使包含运动模糊的图像变成不自然图像的情况下，充分提高分辨率。
根据本发明的第一图像处理设备包括区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和处理装置，用于为区域指定信息指定的每个区域处理输入图像数据。
该处理装置可以与区域指定信息相对应，决定与输入图像数据的每个像素数据相对应的类。
该处理装置可以与区域指定信息相对应，改善输入图像数据的边缘。
该处理装置可以处理混合区和非混合区的至少一个区域的像素数据。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息，以及该处理装置还可以为覆盖背景区和未覆盖背景区的每一个处理输入图像数据。
该处理装置可以为区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
该处理装置可以通过分类自适应处理，为区域指定信息指定的每个区域生成输出图像数据。
该处理装置可以为区域指定信息指定的每个区域改善输入图像数据的边缘。
根据本发明的第一图像处理方法包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和处理步骤，用于为区域指定信息指定的每个区域处理输入图像数据。
在该处理步骤步骤中，可以与区域指定信息相对应，决定与输入图像数据的每个像素数据相对应的类。
在该处理步骤中，可以与区域指定信息相对应，改善输入图像数据的边缘。
在该处理步骤中，可以处理混合区和非混合区的至少一个区域的像素数据。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息；和在该处理步骤中，还可以为覆盖背景区和未覆盖背景区的每一个处理输入图像数据。
在该处理步骤中，可以为区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
在该处理步骤中，可以通过分类自适应处理，为区域指定信息指定的每个区域生成输出图像数据。
在该处理步骤中，可以为区域指定信息指定的每个区域改善输入图像数据的边缘。
记录在根据本发明的第一记录媒体中的程序包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和处理步骤，用于为区域指定信息指定的每个区域处理输入图像数据。
在该处理步骤步骤中，可以与区域指定信息相对应，决定与输入图像数据的每个像素数据相对应的类。
在该处理步骤中，可以与区域指定信息相对应，改善输入图像数据的边缘。
在该处理步骤中，可以处理混合区和非混合区的至少一个区域的像素数据。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息；和在该处理步骤中，还可以为覆盖背景区和未覆盖背景区的每一个处理输入图像数据。
在该处理步骤中，可以为区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
在该处理步骤中，可以通过分类自适应处理，为区域指定信息指定的每个区域生成输出图像数据。
在该处理步骤中，可以为区域指定信息指定的每个区域改善输入图像数据的边缘。
根据本发明的第一程序使计算机执行区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和处理步骤，用于为区域指定信息指定的每个区域处理输入图像数据。
在该处理步骤步骤中，可以与区域指定信息相对应，决定与输入图像数据的每个像素数据相对应的类。
在该处理步骤中，可以与区域指定信息相对应，改善输入图像数据的边缘。
在该处理步骤中，可以处理混合区和非混合区的至少一个区域的像素数据。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息；和在该处理步骤中，还可以为覆盖背景区和未覆盖背景区的每一个处理输入图像数据。
在该处理步骤中，可以为区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
在该处理步骤中，可以通过分类自适应处理，为区域指定信息指定的每个区域生成输出图像数据。
在该处理步骤中，可以为区域指定信息指定的每个区域改善输入图像数据的边缘。
根据本发明的第一图像拍摄设备包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和处理装置，用于为区域指定信息指定的每个区域处理输入图像数据。
该处理装置可以与区域指定信息相对应，决定与输入图像数据的每个像素数据相对应的类。
该处理装置可以与区域指定信息相对应，改善输入图像数据的边缘。
该处理装置可以处理混合区和非混合区的至少一个区域的像素数据。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息，以及该处理装置还可以为覆盖背景区和未覆盖背景区的每一个处理输入图像数据。
该处理装置可以为区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
该处理装置可以通过分类自适应处理，为区域指定信息指定的每个区域生成输出图像数据。
该处理装置可以为区域指定信息指定的每个区域改善输入图像数据的边缘。
根据本发明的第二图像处理设备包括区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和类决定装置，用于与区域指定信息相对应，确定与输入图像数据的每组像素数据相对应的类。
该类决定装置可以决定与只是混合区、前景区、和背景区的一部分的区域的像素数据相对应的类。
该图像处理设备还可以包括生成装置，用于处理与已经决定的类相对应的输入图像数据的像素数据，和生成用在分类自适应处理中的系数。
该图像处理设备还可以包括转换装置，用于与已经决定的类相对应，根据每个类的系数，处理输入图像数据的像素数据，和把输入图像数据转换成输出图像数据。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；和该类决定装置还可以与已经决定的覆盖背景区和未覆盖背景区相对应，决定与输入图像数据的像素数据相对应的类。
根据本发明的第二图像处理方法包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和类决定步骤，用于与区域指定信息相对应，确定与输入图像数据的每组像素数据相对应的类。
在该类决定步骤中，可以决定与只是混合区、前景区、和背景区的一部分的区域的像素数据相对应的类。
该图像处理方法还可以包括生成步骤，用于处理与已经决定的类相对应的输入图像数据的像素数据，和生成用在分类自适应处理中的系数。
该图像处理方法还可以包括转换步骤，用于与已经决定的类相对应，根据每个类的系数，处理输入图像数据的像素数据，和把输入图像数据转换成输出图像数据。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；和在该类决定步骤中，可以与已经决定的覆盖背景区和未覆盖背景区相对应，决定与输入图像数据的像素数据相对应的类。
记录在根据本发明的第二记录媒体中的程序包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和类决定步骤，用于与区域指定信息相对应，确定与输入图像数据的每组像素数据相对应的类。
在该类决定步骤中，可以决定与只是混合区、前景区、和背景区的一部分的区域的像素数据相对应的类。
该记录在记录媒体中的程序还可以包括生成步骤，用于处理与已经决定的类相对应的输入图像数据的像素数据，和生成用在分类自适应处理中的系数。
该记录在记录媒体中的程序还可以包括转换步骤，用于与已经决定的类相对应，根据每个类的系数，处理输入图像数据的像素数据，和把输入图像数据转换成输出图像数据。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；和在该类决定步骤中，可以与已经决定的覆盖背景区和未覆盖背景区相对应，决定与输入图像数据的像素数据相对应的类。
根据本发明的第二程序使计算机执行区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和类决定步骤，用于与区域指定信息相对应，确定与输入图像数据的每组像素数据相对应的类。
在该类决定步骤中，可以决定与只是混合区、前景区、和背景区的一部分的区域的像素数据相对应的类。
该程序还可以包括生成步骤，用于处理与已经决定的类相对应的输入图像数据的像素数据，和生成用在分类自适应处理中的系数。
该程序还可以包括转换步骤，用于与已经决定的类相对应，根据每个类的系数，处理输入图像数据的像素数据，和把输入图像数据转换成输出图像数据。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；和在该类决定步骤中，可以与已经决定的覆盖背景区和未覆盖背景区相对应，决定与输入图像数据的像素数据相对应的类。
根据本发明的第二图像拍摄设备包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和类决定装置，用于与区域指定信息相对应，确定与输入图像数据的每组像素数据相对应的类。
该类决定装置可以决定与只是混合区、前景区、和背景区的一部分的区域的像素数据相对应的类。
该图像拍摄设备还可以包括生成装置，用于处理与已经决定的类相对应的输入图像数据的像素数据，和生成用在分类自适应处理中的系数。
该图像拍摄设备还可以包括转换装置，用于与已经决定的类相对应，根据每个类的系数，处理输入图像数据的像素数据，和把输入图像数据转换成输出图像数据。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；和该类决定装置还可以与已经决定的覆盖背景区和未覆盖背景区相对应，决定与输入图像数据的像素数据相对应的类。
根据本发明的第三图像处理设备包括区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和边缘改善装置，用于与区域指定信息相对应，改善输入图像数据的边缘。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；和该边缘改善装置还可以与已经指定的覆盖背景区和未覆盖背景区相对应，改善输入图像数据的边缘。
根据本发明的第三图像处理方法包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和边缘改善步骤，用于与区域指定信息相对应，改善输入图像数据的边缘。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息；和在该边缘改善步骤中，还可以与已经指定的覆盖背景区和未覆盖背景区相对应，改善输入图像数据的边缘。
记录在根据本发明的第三记录媒体中的程序包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和边缘改善步骤，用于与区域指定信息相对应，改善输入图像数据的边缘。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息；和在该边缘改善步骤中，还可以与已经指定的覆盖背景区和未覆盖背景区相对应，改善输入图像数据的边缘。
根据本发明的第三程序使计算机执行区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和边缘改善步骤，用于与区域指定信息相对应，改善输入图像数据的边缘。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息；和在该边缘改善步骤中，还可以与已经指定的覆盖背景区和未覆盖背景区相对应，改善输入图像数据的边缘。
根据本发明的第三图像拍摄设备包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；和边缘改善装置，用于与区域指定信息相对应，改善输入图像数据的边缘。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；和该边缘改善装置还可以与已经指定的覆盖背景区和未覆盖背景区相对应，改善输入图像数据的边缘。
根据本发明的第四图像处理设备包括区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；和处理装置，用于为混合区和非混合区的至少一个区域处理像素数据。
该处理装置可以借助于与处理其它区域的方法不同的方法处理区域指定装置指定的一个区域。
该区域指定装置还可以指定前景区和背景区，和输出与指定结果相对应的区域指定信息。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息。
该图像处理设备还可以包括分离装置，用于根据区域指定信息，把混合区的像素数据分离成前景对象成分和背景对象成分，以及处理装置处理前景对象成分和背景对象成分的至少一个。
根据本发明的第四图像处理方法包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；和处理步骤，用于为混合区和非混合区的至少一个区域处理像素数据。
在该处理步骤中，可以借助于与处理其它区域的方法不同的方法处理区域指定装置指定的一个区域。
在该区域指定步骤中，还可以指定前景区和背景区，以及输出与指定结果相对应的区域指定信息。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息。
该图像处理方法还可以包括分离步骤，用于根据区域指定信息，把混合区的像素数据分离成前景对象成分和背景对象成分；和在处理步骤中，可以处理前景对象成分和背景对象成分的至少一个。
记录在根据本发明的第四记录媒体中的程序包括区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；和处理步骤，用于为混合区和非混合区的至少一个区域处理像素数据。
在该处理步骤中，可以借助于与处理其它区域的方法不同的方法处理区域指定装置指定的一个区域。
在该区域指定步骤中，还可以指定前景区和背景区，以及输出与指定结果相对应的区域指定信息。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息。
该记录在记录媒体中的程序还可以包括分离步骤，用于根据区域指定信息，把混合区的像素数据分离成前景对象成分和背景对象成分；和在处理步骤中，可以处理前景对象成分和背景对象成分的至少一个。
根据本发明的第四程序使计算机执行区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；和处理步骤，用于为混合区和非混合区的至少一个区域处理像素数据。
在该处理步骤中，可以借助于与处理其它区域的方法不同的方法处理区域指定装置指定的一个区域。
在该区域指定步骤中，还可以指定前景区和背景区，以及输出与指定结果相对应的区域指定信息。
在该区域指定步骤中，还可以指定覆盖背景区和未覆盖背景区，以及输出与指定结果相对应的区域指定信息。
该程序还可以包括分离步骤，用于根据区域指定信息，把混合区的像素数据分离成前景对象成分和背景对象成分；和在处理步骤中，可以处理前景对象成分和背景对象成分的至少一个。
根据本发明的第四图像拍摄设备包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；和处理装置，用于为混合区和非混合区的至少一个区域处理像素数据。
该处理装置可以借助于与处理其它区域的方法不同的方法处理区域指定装置指定的一个区域。
该区域指定装置还可以指定前景区和背景区，和输出与指定结果相对应的区域指定信息。
该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息。
该图像拍摄设备还可以包括分离装置，用于根据区域指定信息，把混合区的像素数据分离成前景对象成分和背景对象成分，以及处理装置处理前景对象成分和背景对象成分的至少一个。
根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，输出与指定结果相对应的区域指定信息，和为区域指定信息指定的每个区域处理输入图像数据。
输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，输出与指定结果相对应的区域指定信息，和与区域指定信息相对应，确定与输入图像数据的每组像素数据相对应的类。
因此，可以与背景图像和运动对象图像的混合相对应地处理图像。
根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区，输出与指定结果相对应的区域指定信息，和与区域指定信息相对应，改善输入图像数据的边缘。
因此，可以在不会形成不自然图像的情况下，充分地提高包含运动模糊的图像的分辨率。
根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分组成的前景区和由构成背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，输出与指定结果相对应的区域指定信息，和为混合区和非混合区的至少一个区域处理像素数据。
因此，可以与背景图像和运动对象图像的混合相对应地处理图像。

图1是显示传统图像处理设备的配置的方块图；图2是说明类抽头的图形；图3是说明预测抽头的图形；图4是描述分类自适应处理的概况的图形；图5是说明传统系数组的图形；图6是说明传统学习处理的流程图；图7是显示传统图像处理设备的配置的方块图；图8是显示通过输入图像的像素值、和分类自适应处理生成的输出图像的像素值的图形；图9是说明建立图像的传统处理的流程图；图10是显示根据本发明的图像处理设备的实施例的配置的方块图；图11是显示图像处理设备的配置的方块图；图12是描述传感器进行图像拍摄的图形；图13是描述像素的排列的图形；图14是描述检测设备的操作的图形；图15A是描述拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像的图形；图15B是描述与拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像相对应的模型的图形；图16是描述背景区、前景区、混合区、覆盖背景区、和未覆盖背景区的图形；图17是沿着时间方向展开与静止前景相对应的对象和与静止背景相对应的对象经过图像拍摄的图像中，一个接一个排列成一行的像素的像素值的模型图；图18是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图19是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图20是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图21是显示提取前景区、背景区和混合区的像素的例子的图形；图22是显示像素如何与沿着时间方向展开像素值的模型相对应的图形；图23是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图24是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图25是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图26是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图27是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图28是显示分割图像与沿着时间方向展开像素的像素值的模型之间的相关性的图形；图29是显示分割图像与沿着时间方向展开像素的像素值的模型之间的相关性的图形；图30是显示分割图像的例子的图形；图31是显示分割图像的例子的图形；图32是显示已经消除了运动模糊的图像与沿着时间方向展开像素的像素值的模型图之间的相关性的图形；图33是描述根据本发明的图像处理设备的处理的图形；图34是说明利用根据本发明的图像处理设备进行图像处理的流程图；图35是显示区域指定单元103的配置的方块图；图36是描述与前景相对应的对象正在移动的图像的图形；图37是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图38是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图39是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图40是描述区域判断的条件的图形；图41A是显示区域指定单元103所作的区域指定的结果的例子的图形；图41B是显示区域指定单元103所作的区域指定的结果的例子的图形；图41C是显示区域指定单元103所作的区域指定的结果的例子的图形；图41D是显示区域指定单元103所作的区域指定的结果的例子的图形；图42是显示区域指定单元103所作的区域指定的结果的例子的图形；图43是描述区域指定的处理的流程图；图44是显示区域指定单元103的另一种配置的方块图；图45是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；
图46是显示背景图像的例子的图形；图47是显示二值对象图像提取单元302的配置的方块图；图48A是描述相关值的计算的图形；图48B是描述相关值的计算的图形；图49A是描述相关值的计算的图形；图49B是描述相关值的计算的图形；图50是显示二值对象图像的例子的图形；图51是显示时间变化检测单元303的配置的方块图；图52是描述区域判断单元342的判断的图形；图53是显示时间变化检测单元303所作的判断的例子的图形；图54是描述区域判断单元103进行区域指定的处理的流程图；图55是详细描述区域指定的处理的流程图；图56是显示区域指定单元103的又一种配置的方块图；图57是描述强化单元(robustification unit)361的配置的方块图；图58是描述运动补偿单元381的运动补偿的图形；图59是描述运动补偿单元381的运动补偿的图形；图60是描述区域指定的处理的流程图；图61是描述强化处理的细节的流程图；图62是显示混合比计算单元104的配置的方块图；图63是显示理想混合比α的例子的图形；图64是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图65是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；图66是描述利用前景成分的相关性进行近似的图形；图67是描述C、N和P之间的关系的图形；图68是显示估计混合比处理单元401的配置的方块图；图69是显示估计混合比的例子的图形；图70是显示混合比计算单元104的另一种配置的方块图；图71是描述计算混合比的处理的流程图；图72是描述计算估计混合比的处理的流程图；
图73是描述逼近混合比α的直线的图形；图74是描述逼近混合比α的平面的图形；图75是描述在计算混合比α时，多个帧中的像素如何对应的图形；图76是显示估计混合比处理单元401的另一种配置的方块图；图77是显示估计混合比的例子的图形；图78是说明计算混合比的处理的流程图；图79是描述通过与覆盖背景区相对应的模型进行混合比估计的处理的流程图；图80是显示前景/背景分离单元105的配置的例子的方块图；图81A是显示输入图像、前景成分图像、和背景成分图像的图形；图81B是与输入图像、前景成分图像、和背景成分图像相对应的模型图；图82是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；图83是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；图84是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；图85是显示分离单元601的配置的例子的方块图；图86A是显示分离前景成分图像的例子的图形；图86B是显示分离背景成分图像的例子的图形；图87是描述分离前景和背景的处理的流程图；图88是显示运动模糊消除单元106的配置的例子的方块图；图89是描述处理增量的图形；图90是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；图91是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；图92是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；图93是描述由运动模糊消除单元106消除包含在前景成分图像中的运动模糊的处理的流程图；
图94是显示背景成分图像的模型的图形；图95是显示纠正背景成分图像的模型的图形；图96是显示用于生成系数组的运动模糊消除图像处理单元108的配置的方块图；图97是说明教师图像与学生图像之间的关系的图形；图98是显示学习单元1006的配置的方块图；图99A是说明分类处理的图形；图99B是说明分类处理的图形；图100A是说明ADRC处理的图像；图100B是说明ADRC处理的图像；图101是说明运动模糊消除图像处理单元108生成的系数组的图形；图102是说明运动模糊消除图像处理单元108生成系数组的学习处理的流程图；图103是说明生成与背景成分图像相对应的系数组的处理的流程图；图104是显示进行分类自适应处理和沿着空间方向生成更高分辨率图像的运动模糊消除图像处理单元108的配置的方块图；图105是显示已经消除了运动模糊的前景成分图像的模型的图形；图106显示已经加入运动模糊的前景成分图像的模型的图形；图107是显示映射单元1103的配置的方块图；图108是说明与运动模糊消除图像处理单元108有关地建立图像的处理的流程图；图109是说明预测与背景成分图像相对应的图像的处理的流程图；图110是说明利用根据本发明的图像处理设备对图像进行的处理的流程图；图111是显示对每个图像应用效果不同的边缘改善处理的运动模糊消除图像处理单元108的配置的方块图；图112是显示边缘改善单元1203的配置的方块图；图113A是描述边缘改善处理的图形；图113B是描述边缘改善处理的图形；图113C是描述边缘改善处理的图形；图114是显示滤波系数的图形；
图115是说明高通滤波器1221的操作的图形；图116是显示滤波系数的图形；图117是说明高通滤波器1221的操作的图形；图118是显示边缘改善单元1203的配置的方块图；图119是显示滤波系数的图形；图120是说明滤波器1241的操作的图形；图121是显示滤波系数的图形；图122是说明滤波器1241的操作的图形；图123是说明运动模糊消除图像处理单元108的处理的图形；图124是说明利用运动模糊消除图像处理单元108进行边缘改善处理的处理的流程图；图125是生成系数组的运动模糊消除图像处理单元108的配置的方块图；图126是说明生成用在消除噪声的分类自适应处理中的系数组的学习处理的流程图；图127是显示运动模糊消除图像处理单元108的配置的方块图；图128是说明运动模糊消除图像处理单元108的处理的方块图；图129是说明含有图127所示的配置的运动模糊消除图像处理单元108进行的处理的流程图；图130是显示图像处理设备的功能的另一种配置的方块图；图131是显示混合比计算单元3001的配置的例子的方块图；图132是显示前景/背景分离单元3002的配置的例子的方块图；图133是显示图像处理设备的功能的另一种配置的方块图；图134是分离图像处理单元4002进行的处理的图形；图135是显示前景/背景分离单元4001的配置的例子的方块图；图136是显示分离单元4101的配置的例子的方块137是显示用于生成系数组的分离图像处理单元4002的配置的方块图；图138是显示沿着空间方向生成更高分辨率图像的分离图像处理单元4002的配置的方块图；图139A是显示教师图像的混合区中的图像的例子的图形；图139B是显示教师图像的混合区中的图像的像素值的改变的图形；
图140A是显示通过传统分类自适应处理生成的、混合区中的图像的例子的图形；图140B是显示通过传统分类自适应处理生成的、混合区中的图像的像素值的改变的图形；图141A是显示由分离图像处理单元4002生成的、混合区中的图像的例子的图形；图141B是显示由分离图像处理单元4002生成的、混合区中的图像的像素值的改变的图形；图142A是显示教师图像的前景区中的图像的例子的图形；图142B是显示教师图像的前景区中的图像的像素值的改变的图形；图143A是显示通过传统分类自适应处理生成的、前景区中的图像的例子的图形；图143B是显示通过传统分类自适应处理生成的、前景区中的图像的像素值的改变的图形；图144A是显示由分离图像处理单元4002生成的、前景区中的图像的例子的图形；图144B是显示由分离图像处理单元4002生成的、前景区中的图像的像素值的改变的图形；图145是说明利用其配置显示在图133中的图像处理设备对图像进行的处理的流程图；图146是说明利用前景/背景分离单元4001分离前景和背景的处理的流程图；图147是说明通过分离图像处理单元4002生成系数组的学习处理的流程图；图148是说明利用分离图像处理单元4002建立图像的处理的流程图；图149是显示分离图像处理单元4002的配置的方块图；图150是说明分离图像处理单元4002进行的处理的图形；图151是说明利用其配置显示在图133中的图像处理设备对图像进行的处理的流程图；图152是说明利用分离图像处理单元4002对分离图像进行的处理的流程图；
图153是显示图像处理设备的功能的又一种配置的方块图；图154是说明前景/背景分离单元4601的配置的例子的方块图；图155是显示图像处理设备的功能的另一种配置的方块图；图156是说明区域处理单元5001进行的处理的图形；图157是显示生成系数组的区域处理单元5001的配置的方块图；图158是沿着空间方向生成更高分辨率图像的区域处理单元5001的配置的方块图；图159A是显示教师图像的混合区中的图像的例子的图形；图159B是显示教师图像的混合区中的图像的像素值的改变的图形；图160A是显示通过传统分类自适应处理生成的、混合区中的图像的例子的图形；图160B是显示通过传统分类自适应处理生成的、混合区中的图像的像素值的改变的图形；图161A是显示由区域处理单元5001生成的、混合区中的图像的例子的图形；图161B是显示由区域处理单元5001生成的、混合区中的图像的像素值的改变的图形；图162A是显示教师图像的前景区中的图像的例子的图形；图162B是显示教师图像的前景区中的图像的像素值的改变的图形；图163A是显示通过传统分类自适应处理生成的、前景区中的图像的例子的图形；图163B是显示通过传统分类自适应处理生成的、前景区中的图像的像素值的改变的图形；图164A是显示由区域处理单元5001生成的、前景区中的图像的例子的图形；图164B是显示由区域处理单元5001生成的、前景区中的图像的像素值的改变的图形；图165是说明利用其配置显示在图155中的图像处理设备对图像进行的处理的流程图；图166是说明利用区域处理单元5001生成系数组的学习处理的流程图；图167是说明利用区域处理单元5001建立图像的处理的流程图；
图168是显示区域处理单元5001的配置的方块图；图169是说明区域处理单元5001进行的处理的图形；图170是说明利用其配置显示在图155中的图像处理设备对图像进行的处理的流程图；图171是说明边缘改善处理利用区域处理单元5001的处理的流程图；图172是说明利用如图155所示的图像处理设备对图像进行的处理的流程图；图173是显示生成系数组的区域处理单元5001的配置的方块图；图174是说明利用其配置显示在图173中的区域处理单元5001生成的系数组的图形；图175是说明生成系数组的学习处理的流程图；图176是显示生成已经消除了噪声的图像的区域处理单元5001的配置的方块图；图177是说明利用其配置显示在图176中的区域处理单元5001建立图像的处理的流程图；图178是图像处理设备的功能的配置的方块图；图179是说明利用根据本发明图像处理设备对图像进行的处理的流程图；图180是显示生成系数组的分离图像处理单元7001的配置的方块图；图181是显示学习单元7024的配置的方块图；图182是说明利用分离图像处理单元7001生成系数组的学习处理的流程图；图183是说明生成与背景成分图像相对应的系数组的处理的流程图；图184是显示通过把分类自适应处理应用于背景成分图像，同时还对前景成分图像进行线性内插，沿着空间方向生成更高分辨率图像的分离图像处理单元7001的配置的方块图；图185是显示映射单元7302的配置的方块图；图186是说明其配置显示在图184中的分离图像处理单元7001进行的处理的图形；图187是说明如图184所示的分离图像处理单元7001进行的处理的流程图；
图188是描述预测与背景成分图像相对应的图像的处理的流程图；图189是显示把边缘改善处理只应用于背景成分图像的分离图像处理单元7001的配置的方块图；图190是显示边缘改善单元7501的配置的方块图；图191是显示边缘改善单元7501的另一种配置的方块图；图192是说明其配置显示在图189中的分离图像处理单元7001进行的处理的图形；图193是说明其配置显示在图189中的分离图像处理单元7001进行的处理的流程图；以及图194是显示图像处理设备的功能的另一种配置的方块图。
具体实施例方式
图10是显示根据本发明的图像处理设备的实施例的配置的方块图。CPU(中央处理单元)71遵照存储在ROM(只读存储器)72或存储单元78中的程序，执行各种类型的处理。RAM(随机存取存储器)73适当地存储CPU 71执行的程序、和数据等。这些CPU 71、ROM 72、和RAM 73通过总线74相互连接。
通过总线74，CPU 71还与输入/输出接口75相连接。输入/输出接口75与诸如键盘、鼠标、麦克风等的输入单元76相连接，和与诸如显示器、扬声器等的输出单元77相连接。CPU 71与从输入单元76输入的指令相对应地进行各种类型的处理。然后，CPU 71把作为处理结果获得的图像、声音等输出到输出单元77。
与输入/输出接口75相连接的存储单元78包括，例如，硬盘，存储CPU71执行的程序、和各种类型的数据。通信单元79通过因特网或其它网络与外部设备通信。在本例的情况中，通信单元79还用作获取来自传感器的输出的获取单元。
此外，可以作出这样的安排，其中，通过通信单元79获取程序，将其存储在存储单元78中。
设备80与输入/输出接口75相连接，当把磁盘91、光盘92、磁光盘93、半导体存储器94等安装在设备80上时，设备80驱动它们，获取存储在存储单元中的程序和数据。如有必要，把获取的程序和数据发送到存储单元78，存储在其中。
图11是显示根据本发明的图像处理设备的功能的配置的方块图。
请注意，图像处理设备的每种功能由硬件来实现还是由软件来实现是无关紧要的。也就是说，本说明书中的每个方块图不仅可以被当作硬件方块图，而且可以被当作软件功能方块图。
还请注意，运动模糊指的是由于现实世界中作为图像拍摄对象的对象的移动或由于传感器的图像拍摄特性引起的、包含在与运动图像相对应的图像中的失真。
在本说明书中，与现实世界中作为图像拍摄对象的对象相对应的图像被称为图像对象。
把提供给图像处理设备的输入图像提供给对象提取单元101、区域指定单元103、混合比计算单元104、和前景/背景分离单元105。
对象提取单元101粗略提取包含在输入图像中与前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。例如，对象提取单元101通过检测包含在输入图像中与前景对象相对应的图像对象的轮廓，粗略提取与前景对象相对应的图像对象。
对象提取单元101粗略提取包含在输入图像中与背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。例如，对象提取单元101通过输入图像和与提取前景对象相对应的图像对象之间的差异，粗略提取与背景对象相对应的图像对象。
此外，例如，可以作出这样的安排，其中，对象提取单元101根据存储在配备在其中的背景存储器中的背景图像与输入图像之间的差异，粗略提取与前景对象相对应的图像对象和与背景对象相对应的图像对象。
运动检测单元102通过诸如块匹配、分级、相位相关性、和像素递归等的技术，计算与粗略提取的前景对象相对应的图像对象的运动向量，把计算的运动向量和运动向量位置信息(指定与运动向量相对应的像素位置的信息)提供给区域指定单元103和运动模糊消除单元106。
从运动检测单元102输出的运动向量包括与运动量v相对应的信息。
此外，例如，可以作出这样的安排，其中，运动检测单元102把每个图像对象的运动向量，与指定与图像对象有关的像素的像素位置信息一起输出到运动模糊消除单元106。
运动量v是代表与运动对象相对应的图像位置随着像素间隔的增加而改变的量。例如，如果与前景相对应的对象图像发生移动，致使被显示在相对于作为基准的给定帧的下一个帧中偏离4个像素的位置上，那么，与前景相对应的对象的图像的运动量v是4。
区域指定单元103把输入图像的每一个像素分入前景区、背景区、或混合区之一中，并且把指示每个像素属于前景区、背景区、或混合区的哪一个的信息(下文称之为区域信息)提供给混合比计算单元104、前景/背景分离单元105、和运动模糊消除单元106。前景区、背景区、或混合区的细节以后再作描述。
混合比计算单元104根据输入图像、和区域指定单元103供应的区域信息，计算与包含在混合区中的像素相对应的混合比(下文称之为混合比α)，并且把计算的混合比供应给前景/背景分离单元105。
混合比α是代表与具有如下所述的表达式(3)所指的像素值的背景对象(下文也称之为背景成分)相对应的图像成分的比例的值。
根据区域指定单元103供应的区域信息、和混合比计算单元104供应的混合比α，前景/背景分离单元105把输入图像分离成只由与前景对象(下文也称之为前景成分)相对应的图像成分组成的前景成分图像、和只由背景成分组成的背景成分图像，把前景成分图像供应给运动模糊消除单元106，和把背景成分图像供应给纠正单元107。
运动模糊消除单元106根据从运动向量导出的运动量v、和区域信息，决定指示包含在前景成分图像中的一个或多个像素的处理增量。处理增量是指示作为对运动模糊值进行调整处理的对象的一组像素的数据。
根据前景/背景分离单元105提供的前景成分图像、运动检测单元102提供的运动向量它的位置信息、和处理增量，运动模糊消除单元106消除包含在前景成分图像中的运动模糊，并且把经过运动模糊量消除的前景成分图像输出到运动模糊消除图像处理单元108。
纠正单元107纠正背景成分图像中与混合区相对应的像素的像素值。背景成分图像中与混合区相对应的像素的像素值是在分离之前，通过从混合区中的像素的像素值中减去前景成分计算出来的。因此，与相邻背景区中的像素的像素值相比，背景成分图像中与混合区相对应的像素的像素值随混合比α而减小。
纠正单元107纠正与如上所述的、背景成分图像中与混合区相对应的像素的像素值的混合比α相对应的增益的减量，并且把纠正的背景成分图像供应给运动模糊消除图像处理单元108。
运动模糊消除图像处理单元108通过分类自适应处理，分别对经过运动模糊消除的前景成分图像和纠正的背景成分图像进行处理。
例如，运动模糊消除图像处理单元108为经过运动模糊消除的每个前景成分图像、和为每个纠正的背景成分图像生成用在生成更高分辨率图像的分类自适应处理中的系数。
例如，运动模糊消除图像处理单元108通过把分类自适应处理应用于经过运动模糊消除的每个前景成分图像和纠正的每个背景成分图像，建立分辨率更高的图像。
现在参照图12到图27描述供应给图像处理设备的输入图像。
图12是描述传感器进行图像拍摄的图形。传感器构成CCD视频摄像机等，例如，包括作为固态图像拍摄器件的CCD(电荷耦合器件)面传感器。例如，在该图中，现实世界中与前景相对应的对象111在现实世界中与背景相对应的对象112与传感器之间，沿着水平方向从左边移动到右边。
传感器拍摄与前景相对应的对象111，以及与背景相对应的对象112的图像。传感器以逐帧递增的方式输出拍摄的图像。例如，传感器每秒输出30个帧的图像。在这种情况下，传感器的曝光间隔是1/30秒。曝光间隔代表传感器开始把输入光转换成电荷，直到把输入光转换成电荷结束之间的间隔。曝光间隔在下文也被称为快门间隔。
图13是描述像素的排列的图形。在图13中，A到I表示各个像素。这些像素排列在与图像相对应的平面上。在传感器上布置着与像素一一对应的检测元件。一旦传感器拍摄图像，一个检测元件输出与组成图像的一个像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，和检测元件的Y方向的位置对应于图像上垂直方向的位置。
例如，如图14所示，CCD的检测元件在与快门间隔相对应的间隔内把输入光转换成电荷，并且累积转换的电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门间隔相对应的间隔中，把从输入光转换而来的电荷加入累加电荷中。也就是说，检测元件在与快门间隔相对应的间隔中，积分输入光，并且累积与积分光相对应的电荷量。也可以认为，检测元件具有对时间的积分效应。
在检测元件中累积的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，然后输出它。因此，从传感器输出的各个像素值具有投影在一维空间中的值，这来源于从在快门间隔内积分与前景或背景相对应的对象具有空间广延的给定部分所得的结果。
图像处理设备提取由于传感器这样的累积操作而隐埋在输出信号中的有效信息，譬如，混合比α。
图15A和15B是描述拍摄与运动前景相对应的对象、和与静止对象相对应的对象的图像获得的图像的图形。图15A显示了拍摄与运动前景相对应的对象、和与静止对象相对应的对象的图像获得的图像。对于图15A所示的例子，与前景相对应的对象在图中沿着水平方向从左边移动到右边。
图15B是与图15A所示的图像的一行相对应的像素值沿着时间方向展开的模型图。图15B中的水平方向对应于图15A中的空间方向X。
背景区中的像素的像素值只由背景成分，即，与背景对象相对应的图像成分组成。前景区中的像素的像素值只由前景成分，即，与前景对象相对应的图像成分组成。
混合区中的像素的像素值由背景成分和前景成分组成。由于混合区中的像素值由背景成分和前景成分组成，因此，也可以认为混合区是失真区。混合区进一步分为覆盖背景区和未覆盖背景区。
覆盖背景区是与前景区有关，沿着前景对象的前进方向，与领先部分相对应的位置上的混合区，因此，是背景区被与时间的流逝相对应的前景覆盖住的区域。
相反，未覆盖背景区是与前景区有关，沿着前景对象的前进方向，与尾随部分相对应的位置上的混合区，因此，是背景成分随着时间的流逝而出现的区域。
如上所述，包括前景区、背景区、覆盖背景区、和未覆盖背景区的图像被当作输入图像输入到区域指定单元103、混合比计算单元104、和前景/背景分离单元105。
图16是描述如上所述的背景区、前景区、混合区、覆盖背景区、和未覆盖背景区的图形。在与图15A所示的图像相对应的情况下，背景区是静止部分，前景区是运动部分，混合区的覆盖背景区是从背景变成前景的部分，和混合区的未覆盖背景区是从前景变成背景的部分。
图17是沿着时间方向展开对与静止前景相对应的对象和与静止背景相对应的对象进行拍摄所得的图像中，一个接一个排列成一行的像素的像素值的模型图。例如，可以选择屏幕中排列在一行上的像素，作为一个接一个排列成一行的像素。
图17所示的像素起F01到F04是与静止前景对象相对应的像素的像素值。图17所示所像素值B01到B04是与静止背景对象相对应的像素的像素值。
图17中的垂直方向代表时间在图中是自上而下流逝的。图17中长方形的上侧位置对应于传感器开始把输入光转换成电荷的时间，和图17中长方形的下侧位置对应于传感器结束把输入光转换成电荷的时间。也就是说，图17中从长方形的上侧到下侧的距离对应于快门间隔。
现在通过举例的方式描述快门间隔等于帧间隔的安排。
图17中的水平方向对应于图15A中所述的空间方向X。更明确地说，如图17中的例子所示，从用“F01”表示的长方形的左侧到用“B04”表示的长方形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续像素的间隔。
在前景对象和背景对象保持静止的情况下，输入到传感器的光在与快门间隔相对应的间隔内不会发生改变。
现在，将与快门间隔相对应的间隔分割成长度相等的两个或更多个间隔。例如，在虚拟分割数是4的情况下，图17所示的模型图可以用图18所示的模型来表示。与快门间隔内与前景相对应的对象的运动量v等相对应地设置虚拟分割数。例如，与4的运动量v相对应，虚拟分割数是4，并且把与快门间隔相对应的间隔分割成4个间隔。
图中的最上行对应于从打开快门开始的第1个分间隔。图中从顶行算起的第2行对应于从打开快门开始的第2个分间隔。图中从顶行算起的第3行对应于从打开快门开始的第3个分间隔。图中从顶行算起的第4行对应于从打开快门开始的第4个分间隔。
与运动量v相对应的分快门间隔在下文中也被称为快门间隔/v。
在与前景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，前景成分F01/v等于像素值F01除以虚拟分割数所得的值。类似地，在与前景相对应的对象保持静止的情况下，前景成分F02/v等于像素值F02除以虚拟分割数所得的值，前景成分F03/v等于像素值F03除以虚拟分割数所得的值，和前景成分F04/v等于像素值F04除以虚拟分割数所得的值。
在与背景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，背景成分B01/v等于像素值B01除以虚拟分割数所得的值。类似地，在与背景相对应的对象保持静止的情况下，背景成分B02/v等于像素值B02除以虚拟分割数所得的值，背景成分B03/v等于像素值B03除以虚拟分割数所得的值，和背景成分B04/v等于像素值B04除以虚拟分割数所得的值。
也就是说，在与前景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与前景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第2快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第3快门间隔/v相对应的前景成分F01/v、和与从快门打开算起的第4快门间隔/v相对应的前景成分F01/v是相同的。F02/v到F04/v具有与F01/v相同的关系。
在与背景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与背景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第2快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第3快门间隔/v相对应的背景成分B01/v、和与从快门打开算起的第4快门间隔/v相对应的背景成分B01/v是相同的。B02/v到B04/v具有与B01/v相同的关系。
现在描述在与对背景相对应的对象保持静止的同时，与前景相对应的对象发生移动的情况。
图19是在与前景相对应的对象在图中朝着右侧移动的情况下，沿着时间方向展开包括覆盖背景区的一行上的像素的像素值的模型图。在图19中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以作出与前景相对应的对象是一个刚体，和作恒速运动的假设。在图19中，与前景相对应的对象图像发生移动，致使被显示在相对于作为基准给定帧的下一个帧中向右4个像素的位置上。
在图19中，最左边像素到从左边算起第4个像素属于前景区。在图19中，从最左算起第5个像素到第7个像素属于混合区的覆盖背景区。在图19中，最右边像素属于背景区。
由于与前景相对应的像素发生移动，致使随着时间的流逝掩藏了与背景相对应的对象，因此，在与快门间隔相对应的间隔的某个点上，包含在属于覆盖背景区的像素的像素值中的成分从背景成分变成前景成分。
例如，图19中用粗线框显示的像素值M由表达式(1)表示M＝B02/v+B02/v+F07/v+F06/v(1)例如，由于从左边算起第5个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是1/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是3/4。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图19中从左边算起第4个像素从快门打开算起的第1快门间隔/v的前景成分F07/v等于图10中与从左边算起第5个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，F07/v分别等于图19中与从左边算起第6个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第7个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的点上的假设，因此，例如，图19中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分F06/v等于图19中与从左边算起第4个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F06/v分别等于图10中与从左边算起第5个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第6个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图19中从左边算起第2个像素从快门打开算起的第1快门间隔/v的前景成分F05/v等于图10中与从左边算起第3个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F05/v分别等于图19中与从左边算起第4个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第5个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图19中从与最左边像素从快门打开算起的第1快门间隔/v相对应的前景成分F05/v等于图10中与从左边算起第2个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F04/v分别等于图19中与从左边算起第3个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第4个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
如上所述，与运动对象相对应的前景区包括运动模糊，因此，可以认为它是失真区。
图20是在前景在图中朝着右侧移动的情况下，沿着时间方向展开包括未覆盖背景区的一行上的像素的像素值的模型图。在图20中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以作出与前景相对应的对象是一个刚体，和作恒速运动的假设。在图20中，与前景相对应的对象图像在相对于给定帧的下一个帧中向右边移动了4个像素。
在图20中，最左边像素到从左边算起第4个像素属于背景区。在图20中，从最左算起第5个像素到第7个像素属于未覆盖背景的混合区。在图20中，最右边像素属于前景区。
由于与已经掩藏了与背景相对应的对象的前景相对应的对象发生移动，致使随着时间的流逝从与背景相对应的对象的前面移走，因此，在与快门间隔相对应的间隔的某个点上，包含在属于未覆盖背景区的像素的像素值中的成分从前景成分变成背景成分。
例如，图20中用粗线框表示的像素值M′由表达式(2)表示M′＝F02/v+F01/v+B26/v+B26/v(2)例如，由于从左边算起第5个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是3/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是1/4。
并且，推广表达式(1)和表达式(2)，像素值M由表达式(3)表示M=α·B+ΣiFi/v---(3)]]>这里，α表示混合比。B表示背景的像素值，和Fi/v表示前景成分。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和运动量v是，例如，4的假设，因此，图20中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分F01/v等于图20中与从左边算起第6个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，F01/v分别等于图20中与从左边算起第7个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图20中与从左边算起第8个像素从快门打开算起的第4快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和虚拟分割数是4的假设，因此，例如，图20中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分F02/v等于图20中与从左边算起第7个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F07/v等于图20中与从左边算起第8个像素从快门打开算起的第3快门间隔/v相对应的前景成分。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和运动量是4的假设，因此，例如，图20中从左边算起第7个像素从快门打开算起的第1快门间隔/v的前景成分F03/v等于图20中与从左边算起第8个像素从快门打开算起的第2快门间隔/v相对应的前景成分。
尽管在图18到图20的描述中描述了虚拟分割数是4的情况，但是，虚拟分割数对应于运动量v。运动量v一般对应于与前景相对应的对象的运动速度。例如，在与前景相对应的对象发生移动，致使被显示在相对于作为基准的给定帧的下一帧中向右4个像素的位置上的情况下，运动量v是4。与运动量v相对应，虚拟分割数也是4。类似地，例如，在与前景相对应的对象发生移动，致使被显示在相对于给定帧的下一帧中向右6个像素的位置上的情况下，运动量v是6，虚拟分割数也是6。
图21和图22与分快门间隔相对应地显示了前景区、背景区和由覆盖背景区和未覆盖背景区组成的混合区之间的关系，和前景成分和背景成分。
图21显示了从包括与在静止背景的前面移动的对象相对应的前景的图像中提取前景区、背景区、和混合区的像素的例子。在图21所示的例子中，与参考字符A所表示的前景相对应的对象在屏幕上沿着水平方向移动。
帧#n+1是接在帧#n之后的帧，和帧#n+2是接在帧#n+1之后的帧。
图22显示了从帧#n到帧#n+2之一中提取前景区、背景区、和混合区的像素，和沿着时间方向展开提取像素的像素值的模型，其中，运动量v是4。
由于与前景相对应的对象发生移动，前景区的像素值由与快门间隔/v的间隔相对应的4个不同前景成分组成。例如，图22所示的前景区的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。也就是说，前景区的像素包含了运动模糊。
由于与背景相对应的对象保持静止，因此，输入传感器的、与背景相对应的光在与快门间隔相对应的间隔内不发生改变。在这种情况下，背景区的像素值不包含运动模糊。
属于由覆盖背景区或未覆盖背景区组成的混合区的像素的像素值由前景成分和背景成分组成。
接着，描述在与对象相对应的图像发生移动的情况下，沿着时间方向展开在多个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的像素值的模型。例如，在与对象相对应的图像在屏幕上沿着水平方向移动的情况下，可以选择排列在单行上的像素，作为沿着单行一个接一个排列的像素。
图23是沿着时间方向展开在拍摄与静止背景相对应的对象所得的图像的三个帧中一个接一个排列在单行上的和在这些帧中处在同一位置上的像素的像素值的模型图。帧#n是接在#n-1之后的帧，和帧#n+1是接在#n之后的帧。其它帧用相同的方式表示。
图23所示的B01到B12的像素值是与静止背景的对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。
图24是沿着时间方向展开在拍摄与图中向右移动的前景相对应的对象，以及与静止背景相对应的对象所得的图像的三个帧中一个接一个排列在单行上的和在这些帧中处在同一位置上的像素的像素值的模型图。图24所示的模型包括覆盖背景区。
由于在图24中可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，前景运动量v是4，和虚拟分割数也是4。
例如，图24中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，图24中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图24中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分，和图24中从左边算起第4个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。
图24中的帧#n-1中的最左边像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，和图24中从左边算起第2个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图24中从左边算起第3个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。
图24中的帧#n-1中的最左边像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，和图24中从左边算起第2个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图24中的帧#n-1中的最左边像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。
由于与背景相对应的对象保持静止，图24中的帧#n-1中从左边算起第2个像素从快门打开算起的第1快门间隔/v的背景成分是B01/v。图24中的帧#n-1中从左边算起第3个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B02/v。图24中的帧#n-1中从左边算起第4个像素从快门打开算起的第1到第3快门间隔/v的背景成分B03/v在图24中的帧#n-1中，最左边属于前景区，和从左边算起第2个到第4个像素属于覆盖背景区的混合区。
在图24中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区，和它的像素值分别是F04到F11。
在图24中的帧#n中从左边算起的第1个像素到第5个像素属于前景区。在帧#n中的前景区中快门间隔/v的前景成分是F05/v到F12/V之一。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，图24中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v。图24中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图24中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分、和图24中从左边算起第8个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。
图24中的帧#n中从左边算起第5个像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，和图24中从左边算起第6个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图24中从左边算起第7个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。
图24中的帧#n中从左边算起第5个像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，和图24中从左边算起第6个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图24中从左边算起第5个像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。
由于与背景相对应的对象保持静止，图24中的帧#n中从左边算起第6个像素从快门打开算起的第1快门间隔/v的背景成分是B05/v。图24中的帧#n中从左边算起第7个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B06/v。图24中的帧#n中从左边算起第8个像素从快门打开算起的第1到第3快门间隔/v的背景成分是B07/v。
在图24中的帧#n中，从左边算起第6个到第8个像素属于覆盖背景区的混合区。
在图24中的帧#n中从左边算起的第9个像素到第12个像素属于背景区，和像素值分别是B08到B11。
在图24中的帧#n+1中从左边算起的第1个到第9个像素属于前景区。在帧#n+1中的前景区中快门间隔/v的前景成分是F01/v到F12/v之一。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右边4个像素的位置上的假设，因此，图24中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，和图24中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图24中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分、和图24中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。
图24中的帧#n+1中从左边算起第9个像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，和图24中从左边算起第10个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图24中从左边算起第11个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。
图24中的帧#n+1中从左边算起第9个像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，和图24中从左边算起第10个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图24中从左边算起第9个像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。
由于与背景相对应的对象保持静止，图24中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门间隔/v的背景成分是B09/v。图24中的帧#n+1中从左边算起第11个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B10/v。图24中的帧#n+1中从左边算起第12个像素从快门打开算起的第1到第3快门间隔/v的背景成分是B11/v。
在图24中的帧#n+1中，从左边算起第10个到第12个像素属于覆盖背景区的混合区。
图25是从图24所示的像素值中提取前景成分的模型图。
图26是沿着时间方向展开在拍摄与图中向右移动的对象相对应的前景，以及静止背景所得的图像的三个帧中一个接一个排列在一行上的和在这些帧中处在同一位置上的像素的像素值的模型图。在图26中，模型图包括未覆盖背景区。
在图26中，可以作出与前景相对应的对象是刚体，和作恒速运动的假设。由于与前景相对应的对象发生移动，致使被显示在下一个帧中向右边4个像素的位置上，因此，前景运动量v是4。
例如，图26中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，图26中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图26中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分，和图26中从左边算起第4个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。
图26中的帧#n-1中从左边算起第2个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图26中从左边算起第3个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图26中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。
由于与背景相对应的对象保持静止，图26中的帧#n-1中的最左边像素从快门打开算起的第2到4快门间隔/v的背景成分是B25/v。图26中的帧#n-1中从左边算起第2个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B26/v。图26中的帧#n-1中从左边算起第3个像素从快门打开算起的第4快门间隔/v的背景成分B27/v。
在图26中的帧#n-1中，最左边像素到第3个像素属于未覆盖背景区的混合区。
在图26中的帧#n-1中从左边算起的第4个像素到第12个像素属于前景区。帧中的前景成分是F13/v到F24/v之一。
在图26中的帧#n中最左边像素到从左边算起的第4个像素属于背景区，和像素值分别是B25到B28。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，图26中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，和图26中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图26中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分、和图26中从左边算起第8个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。
图26中的帧#n中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图26中从左边算起第7个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图26中从左边算起第8个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。
由于与背景相对应的对象保持静止，图26中的帧#n中从左边算起第5个像素从快门打开算起的第2到第4快门间隔/v的背景成分是B29/v。图26中的帧#n中从左边算起第6个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B30/v。图26中的帧#n中从左边算起第7个像素从快门打开算起的第4快门间隔/v的背景成分是B31/v。
在图26中的帧#n中，从左边算起第5个到第7个像素属于未覆盖背景区的混合区。
在图26中的帧#n中从左边算起的第8个像素到第12个像素属于前景区。与帧#n中的前景区中快门间隔/v的间隔相对应的值是F13/v到F120/v之一。
在图26中的帧#n+1中的最左边像素到从左边算起的第8个像素属于背景区，和它的像素值分别是B25到B32。
由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右边4个像素的位置上的假设，因此，图26中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，和图26中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图26中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分、和图26中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。
图26中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图26中从左边算起第11个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图26中从左边算起第12个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。
由于与背景相对应的对象保持静止，图26中的帧#n+1中从左边算起第9个像素从快门打开算起的第2到第4快门间隔/v的背景成分都是B33/v。图26中的帧#n+1中从左边算起第10个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B34/v。图26中的帧#n+1中从左边算起第11个像素从快门打开算起的第4快门间隔/v的背景成分B35/v在图26中的帧#n+1中，从左边算起第9个到第11个像素属于未覆盖背景区的混合区。
图26中的帧帧#n+1中从左边算起的第12个像素属于前景区。在帧#n+1中的前景区中快门间隔/v的前景成分是F13/v到F16/v之一。
图27是从图26所示的像素值中提取前景成分的图像的模型图。
图28是显示被分割成其中每一个属于前景区、背景区、覆盖背景区、或未覆盖背景区的像素的图像与沿着时间方向展开像素的像素值的模型图之间的对应关系的图形。
如图28所示，区域指定单元103指定图像的前景区、背景区、覆盖背景区、和未覆盖背景区。
图29是显示被分割成前景区的图像、背景区的图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分、未覆盖背景区的前景成分、和未覆盖背景区的背景成分的输入图像与沿着时间方向展开像素的像素值的模型图之间的对应关系的图形。
如图29所示，输入图像由区域指定单元103分为前景区、背景区、覆盖背景区、和未覆盖背景区。根据前景/背景分离单元105指定的前景区、背景区、覆盖背景区、和未覆盖背景区、和混合比计算单元104计算的混合比α，输入图像被分离为前景区的图像、覆盖背景区的前景成分、和由未覆盖背景区的前景成分组成的前景成分图像、和背景区的图像、覆盖背景区的背景成分、和由未覆盖背景区的背景成分组成的背景成分图像。
为每个图像处理分离的前景成分和背景成分图像。
可以作出这样的安排，其中，区域指定单元105根据区域信息和混合比α，把输入图像分割成前景区的图像、背景区的图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像。
图30是显示分割成前景区、背景区、和混合区的图像的例子的图形。区域指定单元103指定输入图像的前景区、背景区、和混合区。图像处理设备可以根据指示前景区、背景区、和混合区的区域信息，把输入图像分割成前景区的图像、背景区的图像、和混合区的图像。
如图31所示，前景/背景分离单元105根据区域指定单元103供应的区域信息和混合比计算单元104供应的混合比α，把混合区的图像分离成混合区的前景成分图像和混合区的背景成分图像。
如图32所示，对分离的背景成分图像进行与混合区的像素值有关的纠正，和对分离的前景成分图像进行运动模糊消除。
如图33所示，把输入图像分割成数个区域，并且将其分离成前景成分和背景成分。把分离的输入图像合成成前景成分图像和背景成分图像。
消除包含在前景成分图像中的运动模糊。针对与混合区相对应的像素值纠正背景成分图像。
分别对经过运动模糊消除的前景成分图像、和纠正的前景成分图像进行处理。
图34是描述根据本发明的图像处理设备的图像处理的流程图。
在步骤S101中，根据运动检测单元102供应的运动向量和它的位置信息、和输入图像，区域指定单元103指定输入图像的前景区、背景区、覆盖背景区、或未覆盖背景区。区域指定处理的细节以后再加以描述。
在步骤S102中，混合比计算单元104根据输入图像和区域指定单元103供应的区域信息，计算混合比α。混合比计算单元104计算混合比α的处理细节以后再作描述。
在步骤S103中，前景/背景分离单元105根据区域指定单元103供应的区域信息和混合比计算单元104供应的混合比α，把输入图像分离成由前景成分组成的前景成分图像、和由背景成分组成的背景成分图像。前景/背景分离单元105进行的图像分离处理的细节以后再作描述。
在步骤S104中，运动模糊消除单元106根据运动检测单元102供应的运动向量和它的位置信息、和区域指定单元103供应的区域信息，从前景/背景分离单元105供应的前景成分图像中消除运动模糊。
在步骤S105中，纠正单元107纠正与前景/背景分离单元105供应的背景成分图像的混合区相对应的像素值。
在步骤S106中，运动模糊消除图像处理单元108对经过运动模糊消除的每个前景成分图像和已经纠正的每个背景成分图像进行图像处理，然后，处理结束。运动模糊消除图像处理单元108进行的图像处理的细节以后再作描述。
如上所述，根据本发明的图像处理设备把输入图像分离成前景成分图像和背景成分图像，从前景成分图像中消除运动模糊，和对经过运动模糊消除的每个前景成分图像和每个背景成分图像进行处理。
下面分别描述区域指定单元103、混合比计算单元104、前景/背景分离单元105、运动模糊消除单元106、和运动模糊消除图像处理单元108的配置。
图35是显示区域指定单元103的配置例子的方块图。其结构显示在图35中的区域指定单元103不使用运动向量。帧存储器201以逐帧递增的方式存储输入图像。在处理的对象是帧#n的情况下，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。
静止/运动判断单元202-1从帧存储器201中读出帧#n+2中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n+1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算读出像素值之差的绝对值。静止/运动判断单元202-1判断帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出差值的绝对值大于阈值Th的判断的情况下，静止/运动判断单元202-1把指示运动的静止/运动判断结果供应给区域判断单元203-1。在作出帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-1把指示“静止”的静止运动判断结果供应给区域判断单元203-1。
静止/运动判断单元202-2从帧存储器201中读出帧#n+1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n中作为对象的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-2判断帧#n+1中的像素值与帧#n中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-2。在作出帧#n+1中的像素的像素值与帧#n中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-2把指示“静止”的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-2。
静止/运动判断单元202-3从帧存储器201中读出帧#n中，作为指定区域的对象的像素的像素值、和帧#n-1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-3判断帧#n中的像素值与帧#n-1中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-2和区域判断单元203-3。在作出帧#n中的像素的像素值与帧#n-1中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-3把指示“静止”的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-3。
静止/运动判断单元202-4从帧存储器201中读出帧#n-1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n-2中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-4判断帧#n-1中的像素值与帧#n-2中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-3。在作出帧#n-1中的像素的像素值与帧#n-2中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止运动判断单元202-4把指示“静止”的静止/运动判断结果供应给区域判断单元203-3。
在静止/运动判断单元202-1供应的静止/运动判断结果指示“静止”，和静止/运动判断单元202-2供应的静止/运动判断结果指示运动的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素属于未覆盖背景区，并且把与判断像素相对应的未覆盖背景区判断标志设置成指示像素属于未覆盖背景区的“1”。
在静止/运动判断单元202-1供应的静止/运动判断结果指示运动，或静止/运动判断单元202-2供应的静止/运动判断结果指示静止的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素不属于未覆盖背景区，并且把与判断像素相对应的未覆盖背景区判断标志设置成指示像素不属于未覆盖背景区的“0”。
区域判断单元203-1把如上所述，已经设置成“1”或“0”的未覆盖背景区判断标志供应给判断标志存储帧存储器204。
在静止/运动判断单元202-2供应的静止/运动判断结果指示“静止”，和静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于静止区，并且把与区域中判断的像素相对应的静止区判断标志设置成指示像素属于静止区的“1”。
在静止/运动判断单元202-2供应的静止/运动判断结果指示运动，或静止/运动判断单元202-3供应的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于静止区，并且把与区域中判断的像素相对应的静止区判断标志设置成指示像素不属于静止区的“0”。
区域判断单元203-2把如上所述，已经设置成“1”或“0”的静止区判断标志供应给判断标志存储帧存储器204。
在静止/运动判断单元202-2供应的静止/运动判断结果指示运动，和静止/运动判断单元202-3供应的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于运动区，并且把与区域中判断的像素相对应的运动区判断标志设置成指示像素属于运动区的“1”。
在静止/运动判断单元202-2供应的静止/运动判断结果指示“静止”，或静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于运动区，并且把与区域中判断的像素相对应的运动区判断标志设置成指示像素不属于运动区的“0”。
区域判断单元203-2把如上所述，已经设置成“1”或“0”的运动区判断标志供应给判断标志存储帧存储器204。
在静止/运动判断单元202-3供应的静止/运动判断结果指示运动，和静止/运动判断单元202-4供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素属于覆盖背景区，并且把覆盖背景区判断标志设置成指示像素属于覆盖背景区的“1”。
在静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”，或静止/运动判断单元202-4供应的静止/运动判断结果指示运动的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素不属于覆盖背景区，并且把覆盖背景区判断标志设置成指示像素不属于覆盖背景区的“0”。
区域判断单元203-3把如上所述，已经设置成“1”或“0”的覆盖背景区判断标志供应给判断标志存储帧存储器204。
判断标志存储帧存储器204存储区域判断单元203-1供应的未覆盖背景区判断标志、区域判断单元203-2供应的静止区判断标志、区域判断单元203-2供应的运动区判断标志、和区域判断单元203-3供应的覆盖背景区判断标志。
判断标志存储帧存储器204把存储在其中的未覆盖背景区判断标志、静止区判断标志、运动区判断标志、和覆盖背景区判断标志供应给合成单元205。根据判断标志存储帧存储器204供应的未覆盖背景区判断标志、静止区判断标志、运动区判断标志、和覆盖背景区判断标志，合成单元205生成指示每个像素属于未覆盖背景区、静止区、运动区、或覆盖背景区的哪一个的区域信息，并且把区域信息供应给判断标志存储帧存储器206。
判断标志存储帧存储器206存储合成单元205供应的区域信息，并且输出存储的区域信息。
现在参照图36到图40描述区域指定单元103进行处理的例子。
在与前景相对应的对象发生移动的情况下，屏幕上与对象相对应的图像的位置随着每个帧而改变。如图36所示，在帧#n中，处在Yn(x，y)所指的位置上与对象相对应的图像在下一帧#n+1中处在位置Yn+1(x，y)上。
图37是沿着图像运动方向一个接一个排列成一行的、与前景对象相对应的图像的像素的像素值沿着时间方向展开的模型图。例如，在与前景对象相对应的图像运动方向相对于屏幕是水平的情况下，图37所示的模型图指示一行中相邻像素的像素值沿着时间方向展开的模型。
在图37中，帧#n中的行与帧#n+1中的行相同。
包含在帧#n中从左边算起第2个像素到第13个像素中的、与对象相对应的前景成分包含在帧#n+1中从左边算起第6个到第17个像素中。
在帧#n中，属于覆盖背景区的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区的像素是从左边算起的第2个到第4个像素。在帧#n+1中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区的像素是从左边算起的第6个到第8个像素。
对于图37所示的例子，由于包含在帧#n中的前景成分在帧#n+1中移动了4个像素，因此，运动量v是4。与运动量v相对应，虚拟分割数也是4。
接着，对在感兴趣帧之前和之后的帧中属于混合区的像素的像素值的变化加以描述。
在如图38所示，背景保持静止和前景的运动量v是4的帧#n中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素。由于运动量v是4，因此，在前一帧#n-1中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区。此外，在再提前一个帧的#n-2中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区。
请注意，由于与背景相对应的对象保持静止，帧#n-1中从左边算起的第15个像素的像素值与帧#n-2中从左边算起的第15个像素的像素值没有差异。同样，帧#n-1中从左边算起的第16个像素的像素值与帧#n-2中从左边算起的第16个像素的像素值没有差异，和帧#n-1中从左边算起的第17个像素的像素值与帧#n-2中从左边算起的第17个像素的像素值没有差异。
也就是说，与属于帧#n中覆盖背景区的像素相对应的帧#n-1和帧#n-2的像素只由背景成分组成，因此，像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动判断单元202-4作出与帧#n中属于混合区的像素相对应的帧#n-1和帧#n-2的像素的静止/运动判断结果是静止的判断。
由于属于帧#n中覆盖背景区的像素包括前景成分，因此，像素值与帧#n-1中的像素值只由背景成分组成的情况不同。于是，静止/运动判断单元202-3作出帧#n中属于混合区的像素和与之相对应的帧#n-1中的像素的静止/运动判断结果是运动的判断。
如上所述，在静止/运动判断单元202-3供应指示运动的静止/运动判断结果，和静止/运动判断单元202-4供应指示“静止”的静止/运动判断结果的情况下，区域判断单元203-3判断相对像素属于覆盖背景区。
在如图39所示，背景保持静止和前景的运动量v是4的帧#n中，包含在未覆盖背景区中的像素是从左边算起的第2个到第4个。由于运动量v是4，因此，在接在帧#n之后的帧#n+1中，从左边算起的第2个到第4个像素只包括背景成分，并且属于背景区。此外，在接在帧#n+1之后的帧#n+2中，从左边算起的第2个到第4个像素只包含背景成分，并且属于背景区。
请注意，由于与背景相对应的对象保持静止，帧#n+2中从左边算起的第2个像素的像素值与帧#n+1中从左边算起的第2个像素的像素值没有差异。同样，帧#n+2中从左边算起的第3个像素的像素值与帧#n+1中从左边算起的第3个像素的像素值没有差异，和帧#n+2中从左边算起的第4个像素的像素值与帧#n+1中从左边算起的第4个像素的像素值没有差异。
也就是说，与帧#n中属于未覆盖背景区的像素相对应的帧#n+1和帧#n+2的像素只由背景成分组成，因此，它们的像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动判断单元202-1作出与帧#n中属于混合区的像素相对应的帧#n+1和帧#n+2的像素的静止/运动判断结果是“静止”的判断。
由于帧#n中属于未覆盖背景区的像素包括前景成分，因此，像素值与帧#n+1中像素值只由背景成分组成的情况不同。于是，静止/运动判断单元202-2作出帧#n中属于混合区的像素和帧#n+1中与之相对应的像素的静止/运动判断结果是运动的判断。
如上所述，在静止/运动判断单元202-2供应指示运动的静止/运动判断结果，和静止/运动判断单元202-1供应指示“静止”的静止/运动判断结果的情况下，区域判断单元203-1判断相对像素属于未覆盖背景区。
图40是显示区域指定单元103对帧#n的判断条件的图形。如果在帧#n-2中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和在帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，和在帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和在帧#n中的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于覆盖背景区。
如果在帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，和帧#n中的像素和帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于静止区。
如果在帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n中的像素被判断为运动，和在帧#n中的像素和帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于运动区。
如果在帧#n中的像素和帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，和在帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和在帧#n+2中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于未覆盖背景区。
图41A到41D是显示区域指定单元103指定区域的结果的例子的图形。在图41A中，用白色显示被判断为属于覆盖背景区的像素。在图41B中，用白色显示被判断为属于未覆盖背景区的像素。
在图41C中，用白色显示被判断为属于运动区的像素。在图41D中，用白色显示被判断为属于静止区的像素。
图42是显示指示判断标志存储帧存储器206输出的区域信息的混合区的、作为图像的区域信息的图形。在图42中，用白色显示被判断为属于覆盖背景区或未覆盖背景区的像素，即被判断为属于混合区的像素。判断标志存储帧存储器206输出的、指示混合区的区域信息指示混合区和在前景区内具有结构的和被没有结构的部分包围着的部分。
接着，参照图43所示的流程图，描述区域指定单元103进行区域指定的处理。在步骤S201中，帧存储器201获取包括作为判断对象的帧#n在内的帧#n-2到帧#+2的图像。
在步骤S202中，静止/运动判断单元202-3判断帧#n-1的像素和与帧#n-1处在相同位置上的帧#n的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S203，在步骤S203中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否保持静止。
在步骤S203中，在作出帧#n的像素和处在相同位置上的帧#n+1的像素是“静止”的判断的情况下，流程转到步骤S204，在步骤S204中，区域判断单元203-2把与区域中的判断像素相对应的静止区判断标志设置成指示像素属于静止区的“1”。区域判断单元203-2把静止区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S205。
在步骤S202中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是运动的判断的情况下，或者，在步骤S203中，在作出帧#n的像素和与帧#n处在相同位置上的帧#n+1的像素是运动的判断的情况下，帧#n的像素不属于静止区，于是，跳过步骤S204中的处理，过程转到步骤S205。
在步骤S205中，静止/运动判断单元200-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S206，在步骤S206中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中。
在步骤S206中，在作出帧#n的像素和处在相同位置上的帧#n+1的像素是运动的判断的情况下，过程转到步骤S207，在步骤S207中，区域判断单元203-2把与区域中的判断像素相对应的运动区判断标志设置成指示像素属于运动区的“1”。区域判断单元203-2把运动区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S208。
在步骤S205中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是“静止”的判断的情况下，或者，在步骤S206中，在作出帧#n的像素和处在相同位置上的帧#n+1的像素是“静止”的判断的情况下，由于帧#n的像素不属于运动区，跳过步骤S207中的处理，过程转到步骤S208。
在步骤S208中，静止/运动判断单元200-4判断帧#n-2的像素和处在相同位置上的帧#n-1的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S209，在步骤S209中，静止/运动判断单元202-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中。
在步骤S209中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是运动的判断的情况下，流程转到步骤S210，在步骤S210中，区域判断单元203-3把与区域中的判断像素相对应的覆盖背景区判断标志设置成指示像素属于覆盖背景区的“1”。区域判断单元203-3把覆盖背景区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S211。
在步骤S208中，在作出帧#n-2的像素和处在相同位置上的帧#n-1的像素是运动的判断的情况下，或者，在步骤S209中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是“静止”的判断的情况下，帧#n的像素不属于覆盖背景区，因此，跳过步骤S211中的处理，过程转到步骤S211。
在步骤S211中，静止/运动判断单元200-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S212，在步骤S212中，静止/运动判断单元202-1判断帧#n+1的像素和处在相同位置上的帧#n+2的像素是否保持静止。
在步骤S212中，在作出帧#n+1的像素和处在相同位置上的帧#n+2的像素是“静止”的判断的情况下，流程转到步骤S213，在步骤S213中，区域判断单元203-1把与区域中的判断像素相对应的未覆盖背景区判断标志设置成指示像素属于未覆盖背景区的“1”。区域判断单元203-1把未覆盖背景区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S214。
在步骤S211中，在作出帧#n的像素和处在相同位置上的帧#n+1的像素是“静止”的判断和情况下，或者，在步骤S212中，在作出帧#n+1的像素和处在相同位置上的帧#n的像素是运动的判断的情况下，由于帧#n的像素不属于未覆盖背景区，因此，跳过步骤S213中的处理，过程转到步骤S214。
在步骤S214中，区域指定单元103判断帧#n中的所有像素是否都得到区域指定，并且，在作出并非所有像素都得到区域指定的判断的情况下，过程返回到步骤S202，重复为其它像素指定区域的处理。
在步骤S214中，在作出帧中的所有像素都得到区域指定的判断的情况下，流程转到步骤S215，在步骤S215中，合成单元205根据存储在判断标志存储帧存储器204中的未覆盖背景区判断标志和覆盖背景区判断标志，生成指示混合区的区域信息，并且还生成指示每个像素属于未覆盖背景区、静止区、运动区、或覆盖背景区的哪一个的区域信息，把生成的区域信息设置到判断标志存储帧存储器206中，然后，结束处理。
如上所述，区域指定单元103可以生成指示包含在帧中的每个像素属于运动区、静止区、未覆盖背景区、或覆盖背景区的哪一个的区域信息。
请注意，可以作出这样的安排，其中，区域指定单元103通过求出与未覆盖背景区和覆盖背景区相对应的区域信息的逻辑和，生成与混合区相对应的区域信息和由指示包含在帧中的每个像素属于运动区、静止区、或混合区的哪一个的标志组成的区域信息。
在与前景相对应的对象具有结构的情况下，区域指定单元103可以更精确地指定运动区。
区域指定单元103可以输出指示运动区的区域信息，作为指示前景区的区域信息，或输出指示静止区的区域信息，作为指示背景区的区域信息。
虽然已经对与背景相对应的对象保持静止的情况作了描述，但是，即使与背景区相对应的图像涉及到运动，也可以应用上述指定区域的处理。例如，如果与背景区相对应的图像作恒速运动，那么，区域指定单元103平移与运动相对应的整个图像，并且以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，如果与背景区相对应的图像涉及到在每个点上都不同的运动，那么，区域指定单元103选择与运动相对应的像素，然后，进行上述处理。
图44是显示区域指定单元103的结构的另一个例子的方块图。图44所示的区域指定单元103不使用运动向量。背景图像生成单元301生成与输入图像相对应的背景图像，并且把生成的背景图像供应给二值对象图像提取单元302。背景图像生成单元301提取，例如，包含在输入图像中与对象相对应的图像对象，生成背景图像。
模型图的例子显示在图45中，其中，与前景对象相对应，沿着图像的运动方向一个接一个排列成一行的像素的像素值沿着时间方向展开。例如，在与前景对象相对应的图像的运动方向相对于屏幕是水平的情况下，图45的模型图显示了一行中相邻像素的像素值沿着时间方向展开的模型。
在图45中，帧#n中的行与帧#n-1中的行和帧#n+1中的行相同。
在帧#n中，包含在从左边算起第6个像素到第17个像素中的、与对象相对应的前景成分包含在帧#n-1中从左边算起第2个到第13个像素中，和包含在帧#n+1中从左边算起第10个到第21个像素中。
在帧#n-1中，属于覆盖背景区的像素是从左边算起的第7个到第13个像素，和属于未覆盖背景区的像素是从左边算起的第2个到第4个像素。在帧#n中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区的像素是从左边算起的第6个到第8个像素。在帧#n+1中，属于覆盖背景区的像素是从左边算起的第19个到第21个像素，和属于未覆盖背景区的像素是从左边算起的第10个到第12个像素。
在帧#n-1中，属于背景区的像素是从左边算起的第1个、和从左边算起的第14个到第21个像素。在帧#n中，属于背景区的像素是从左边算起的第1个到第5个像素、和从左边算起的第18个到第21个像素。在帧#n+1中，属于背景区的像素是从左边算起的第1个到第9个像素。
由背景图像生成单元301生成的、与图45所示的例子相对应的背景图像的例子显示在图46中。背景图像由与背景对象相对应的像素组成，不包括与前景对象相对应的图像成分。
二值对象图像(binary object image)提取单元302根据背景图像和输入图像之间的相关性，生成二值对象数据，并且把生成的二值对象图像供应给时间变化检测单元303。
图47是显示二值对象图像提取单元302的配置的方块图。相关值计算单元321计算背景图像生成单元301供应的背景图像与输入图像之间的相关性，生成相关值，并且把生成的相关值供应给阈值处理单元322。
相关值计算单元321把表达式(4)作用于如图48A所示，背景图像中中心在X4上的块3×3、和如图48B所示，背景图像中中心在Y4上的块3×3，计算与，例如，Y4相对应的相关值。
X&OverBar;=Σi=08Xi9---(5)]]>Y&OverBar;=Σi=08Yi9---(6)]]>相关值计算单元321把如上所述与每个像素相对应地计算的相关值供应给阈值处理单元322。
此外，还可以作出相关值计算单元321把表达式(7)作用于如图49A所示，中心在X4上的、背景图像中的块3×3、和与背景图像的块相对应的、中心在Y4上的、输入图像中的块3×3，计算与Y4相对应的差值的绝对值之和。
相关值计算单元321把如上所述计算的差值的绝对值之和作为相关值供应给阈值处理单元322。
阈值处理单元322将相关图像的像素值与阈值th0相比较，并且，在相关值小于等于阈值th0的情况下，阈值处理单元322把二值对象图像的像素值设置成1，和在相关值大于阈值th0的情况下，阈值处理单元322把二值对象图像的像素值设置成0，于是，阈值处理单元322输出其每个像素值被设置成0或1的二值对象图像。阈值处理单元322可以事先存储阈值th0，也可以使用从外部输入的阈值th0。
图50是显示与图45所示的输入图像的模型相对应的二值对象图像的例子的图形。在二值对象图像中，与背景图像相关性高的像素的像素值被设置成0。
图51是显示时间变化检测单元303的结构的方块图。帧存储器341在将要对帧#n的像素作出区域判断的时候，存储二值对象图像提取单元302供应的、帧#n-1、帧#n、和帧#n+1的二值对象图像。
区域判断单元342根据存储在帧存储器341中的、帧#n-1、帧#n、和帧#n+1的二值对象图像，为帧#n的每个像素判断区域，生成区域信息，并且输出生成的区域信息。
图52是描述区域判断单元342所作的判断的图形。在帧#n的二值对象图像的感兴趣像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于背景区。
在帧#n的二值对象图像的感兴趣像素是1，帧#n-1的二值对象图像的相对像素的像素值是1，和帧#n+1的二值对象图像的相对像素是1的情况下，区域判断单元342判断帧#n的感兴趣像素属于前景区。
在帧#n的二值对象图像的感兴趣像素是1，和帧#n-1的二值对象图像的相对像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于覆盖前景区。
在帧#n的二值对象图像的感兴趣像素是1，和帧#n+1的二值对象图像的相对像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于未覆盖前景区。
图53是显示时间变化检测单元303判断与图45所示的输入图像的模型相对应的二值对象图像的例子的图形。由于帧#n的二值对象图像的相应像素是0，时间变化检测单元303判断帧#n从左边算起的第1个到第5个像素属于背景区。
由于帧#n的二值对象图像的相应像素是1，和帧#n+1的相应像素是0，时间变化检测单元303判断从左边算起的第6个到第9个像素属于未覆盖背景区。
由于帧#n的二值对象图像的像素的像素值是1，和帧#n+1的相应像素是1，时间变化检测单元303判断从左边算起的第10个到第13个像素属于前景区。
由于帧#n的二值对象图像的像素是1，和帧#n-1的相应像素是0，时间变化检测单元303判断从左边算起的第14个到第17个像素属于覆盖背景区。
由于帧#n的二值对象图像的相应像素是0，时间变化检测单元303判断从左边算起的第18个到第221个像素属于背景区。
现在参照图54所示的流程图，描述区域判断单元103指定区域的处理。在步骤S301中，例如，区域判断单元103的背景图像生成单元301通过根据输入图像，提取包含在输入图像中的、与背景对象相对应的图像对象，生成背景图像，并且把生成的背景图像供应给二值对象图像提取单元302。
在步骤S302中，二值对象图像提取单元302通过，例如，参照图48A和48B所述的计算，计算输入图像和背景图像生成单元301供应的背景图像之间的相关值。在步骤S303中，二值对象图像提取单元302通过，例如，将相关值与阈值相比较，从相关值和阈值中计算二值对象图像。
在步骤S304中，时间变化检测单元303进行区域判断处理，然后，结束处理。
下面参照图55所示的流程图，详细描述与步骤S304相对应的区域判断处理。在步骤S321中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是0，并且，在作出帧#n中的感兴趣像素是0的判断的情况下，流程转到步骤S322，作出意思是帧#n中的感兴趣像素属于背景区的设置，然后，结束处理。
在步骤S321中，在作出帧#n中的感兴趣像素是1的判断的情况下，流程转到步骤S323，和在步骤S323中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n-1中的相应像素是否是0，并且，在作出帧#n中的感兴趣像素是1，和帧#n-1中相应像素的像素值是0的判断的情况下，流程转到步骤S324，作出意思是帧#n中的感兴趣像素属于覆盖背景区的设置，然后，结束处理。
在步骤S323中，在作出帧#n中的感兴趣像素是0，或帧#n-1中的相应像素是1的判断的情况下，流程转到步骤S325，和在步骤S325中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n+1中的相应像素是否是0，并且，在作出帧#n中的感兴趣像素是1，和帧#n+1中的相应像素是0的判断的情况下，流程转到步骤S326，作出意思是帧#n中的感兴趣像素属于未覆盖背景区的设置，然后，结束处理。
在步骤S325中，在作出帧#n中的感兴趣像素是0，或帧#n+1中的相应像素是1的判断的情况下，流程转到步骤S327，和在步骤S327中，时间变化检测单元303的区域判断单元342把帧#n中的感兴趣像素设置成前景区，然后，结束处理。
如上所述，区域指定单元103可以指定输入图像的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区的哪一个，并且生成与指定结果相对应的区域信息。
图56是显示区域指定单元103的另一种配置的方块图。图56所示的区域指定单元103使用了运动检测单元102供应的运动向量和它的位置信息。与图44所示的那些相同的部分用相同的标号表示，并且略去不述。
强化单元361根据二值对象图像提取单元302供应的二值对象图像的N个帧，生成鲁棒二值对象图像，并且将其输出到时间变化检测单元303。
图57是描述强化单元361的配置的方块图。运动补偿单元381根据运动检测单元102供应的运动向量和它的位置信息，补偿N个帧的二值对象图像的运动，并且把经过运动补偿的二值对象图像输出到切换器382。
运动补偿单元381的运动补偿将参照图58和图59所示的例子加以描述。例如，在判断帧#n中的区域的情况下，如果输入，例如，如图58所示的帧#n-1、帧#n、和帧#n+1的二值对象图像，那么，如图59所示的例子所指的那样，运动补偿单元381根据运动检测单元102供应的运动向量，补偿帧#n-1的二值对象图像和帧#n+1的二值对象图像的运动，并且，把经过运动补偿的二值对象图像供应给切换器382。
切换器382把第1帧经过运动补偿的二值对象图像输出到帧存储器383-1，和把第2帧经过运动补偿的二值对象图像输出到帧存储器383-2。类似地，切换器382把第3到第N-1帧经过运动补偿的二值对象图像的每一个分别输出到帧存储器383-3到帧存储器383-(N-1)的每一个，并且，把第N帧经过运动补偿的二值对象图像输出到帧存储器383-N。
帧存储器381-1存储第1帧经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权单元384-1。帧存储器381-2存储第2帧经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权单元384-2。
类似地，帧存储器383-3到帧存储器383-(N-1)的每一个分别存储第3到第N-1帧之一经过运动补偿的二值对象图像的每一个，并且把存储的二值对象图像输出到加权单元384-3到加权单元384-(N-1)的每一个。帧存储器381-N存储第N帧经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权单元384-N。
加权单元384-1将帧存储器383-1供应的、第1帧经过运动补偿的二值对象图像的像素值与预定权重w1相乘，并且将结果输出到累加单元385。加权单元384-2将帧存储器383-2供应的、第2帧经过运动补偿的二值对象图像的像素值与预定权重w2相乘，并且将结果输出到累加单元385。
类似地，加权单元384-3到加权单元384-(N-1)的每一个将帧存储器383-3到帧存储器383-(N-1)之一供应的、第3帧到第N-1帧之一经过运动补偿的二值对象图像的像素值与预定权重w3到w(N-1)之一相乘，并且将结果输出到累加单元385。加权单元384-N将帧存储器383-N供应的、第N帧经过运动补偿的二值对象图像的像素值与预定权重wN相乘，并且将结果输出到累加单元385。
累加单元385累加其中经过运动补偿的第1到第N帧的每一个被乘以预定权重w1到wN之一的、与二值对象图像相对应的像素值，并且，通过将累加的像素值与预定阈值th0相比较，生成二值对象图像。
如上所述，强化单元361从二值对象图像的N个帧中生成鲁棒二值对象图像，将其供应给时间变化检测单元303，因此，即使输入图像含有噪声，与图44所示的情况相比，其配置显示在图56中的区域指定单元103也可以更精确地指定区域。
现在参照图60所示的流程图，描述其配置显示在图56中的区域指定单元103指定区域的处理。步骤S341到步骤S343中的处理分别与图54所示的流程图中所述的步骤S301到S303中的处理相同，因此，略去不述。
在步骤S344中，强化单元361进行鲁棒性处理。
在步骤S345中，时间变化检测单元303进行指定区域的处理，然后，结束处理。步骤S345中的处理细节与参照图55所示的流程图描述的处理细节相同，因此，略去不述。
现在参照图61所示的流程图，详细描述与图60所示的步骤S344中的处理相对应的鲁棒性处理。在步骤S361中，运动补偿单元381根据运动检测单元102供应的运动向量和它的位置信息，对输入的二值对象图像进行运动补偿处理。在步骤S362中，帧存储器383-1到帧存储器383-N之一存储通过切换器382供应的、经过运动补偿的二值对象图像。
在步骤S363中，强化单元361判断是否已经存储了N个二值对象图像，并且，在判断还没有存储N个二值对象图像的情况下，流程返回到步骤S361，强化单元361重复对二值对象图像进行运动补偿的处理，和存储二值对象图像的处理。
在步骤S363中，在判断已经存储了N个二值对象图像的情况下，流程转到步骤S364，加权单元384-1到384-N的每一个将N个二值对象图像的每一个与权重w1到wN之一相乘，对其加权。
在步骤S365中，累加单元385累加N个加权二值对象图像。
在步骤S366中，累加单元385通过，例如，与预定阈值th1相比较，从累加图像中生成二值对象图像，然后，结束处理。
如上所述，其配置显示在图56中的区域指定单元103根据鲁棒二值对象图像，可以生成区域信息。
如上所述，区域指定单元103可以生成指示包含在帧中的每一个像素属于运动区、静止区、未覆盖背景区、或覆盖背景区的哪一个的区域信息。
图62是显示混合比计算单元104的配置的例子的方块图。通过根据输入图像，进行与覆盖背景区的模型相对应的计算，估计混合比处理单元401为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定单元403。
通过根据输入图像，进行与未覆盖背景区的模型相对应的计算，估计混合比处理单元402为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定单元403。
由于可以作出与前景相对应的对象在快门间隔内作恒速运动的假设，因此，属于混合区的像素的混合比α具有如下所述的性质。也就是说，混合比α随着像素位置的改变线性地改变。
在像素位置的改变是一维的情况下，混合比α的改变用直线来表示，和在像素位置的改变是二维的情况下，混合比α的改变用平面来表示。
请注意，一个帧的间隔很短，因此，可以作出与前景相对应的对象是刚体和作恒速运动的假设。
在这种情况下，混合比α的斜率在快门间隔内与前景的运动量v成反比。
理想混合比α的例子显示在图63中。在理想混合比α的混合中斜率1可以表示成运动量v的倒数。
如图63所示，理想混合比α在背景区内具有1的值，在前景区内具有0的值，和在混合区内具有大于0和小于1的值。
至于图64所示的例子，利用帧#n-1中从左边算起第7个像素的像素值P06，帧#n中从左边算起第7个像素的像素值C06可以通过表达式(8)来表示。
C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v]]>=2/v·P06+Σi=12Fi/v---(8)]]>在表达式(8)中，像素值C06通过混合区中像素的像素值M来表示，和像素值P06通过背景区中像素的像素值B来表示。也就是说，混合区中像素的像素值M和背景区中像素的像素值B可以分别通过表达式(9)和表达式(10)来表示。
M＝C06 (9)B＝P06(10)在表达式(8)中，2/v对应于混合比α。由于运动量v是4，帧#n中从左边算起第7个像素的混合比α是0.5。
如上所述，通过把感兴趣帧#n中像素值C看成混合区中的像素值，和把帧#n之前的帧#n-1中的像素值P看成背景区中的像素值，可以把表示混合比α的表达式(3)重写成表达式(11)。
C＝α·P+f (11)在表达式(11)中，f是包含在感兴趣像素中的前景成分之和ΣiFi/v。
包含在表达式(11)中的变量是混合比α和前景成分的和值f两个变量。
类似地，图65显示了沿着时间方向展开未覆盖背景区中运动量v是4，和虚拟分割数是4的像素的模型。
在未覆盖背景区中，通过把感兴趣帧#n中的像素值C当作混合区的像素值，和把帧#n后面的帧#n+1中的像素值N当作背景区中的像素值，以与上述覆盖背景区中的表示相同的方式，把表示混合比α的表达式(3)表示成表达式(12)。
C＝α·N+f (12)请注意，虽然是在背景对象保持静止的假设下加以描述的，但是，即使背景对象是运动的，也可以利用处在与背景运动量v相对应的位置上的像素的像素值，应用表达式(8)到表达式(12)。例如，在图64中，在与背景相对应的对象的运动量v是2，和虚拟分割数是4的情况下，如果与背景相对应的对象在图中向右边移动，那么，在表达式(10)中背景区中的像素的像素值B是像素值P04。
由于表达式(11)和表达式(12)分别包含两个变量，因此，在这种状态下，不能获得混合比α。这里，由于图像一般存在很大的空间相关性，相邻像素具有粗略相同的像素值。
因此，由于前景成分图像一般存在很大的空间相关性，通过变换表达式来获取混合比，以便从前一帧或后一帧中获得前景成分之和。
在图66所示的帧#n中从左边算起第7个像素的像素值Mc可以用表达式(13)来表示。
Mc=2/v·B06+Σi=1112Fi/v---(13)]]>表达式(13)中右边第1个哑元(argument)2/v对应于混合比α。表达式(13)中右边第2个哑元可以利用后一帧#n+1中的像素值表示成表达式(14)Σi=1112Fi/v=β·Σi=710Fi/v---(14)]]>这里，利用背景成分的空间相关性，可以作出表达式(15)成立的假设。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12(15)
利用表达式(15)可以把表达式(14)重写成表达式(16)。
Σi=1112Fi/v=2/v·F]]>=β·4/v·F---(16)]]>因此，β可以用表达式(17)来表示。
β＝2/4(17)一般说来，在作出与混合区相关的前景成分与表达式(15)所示的相同的假设的情况下，对于混合区中的所有像素，表达式(18)由内分比的关系构成。
β＝1-α (18)在表达式(18)成立的情况下，表达式(11)可以像表达式(19)所示的那样展开。
C=α·P+f]]>=α·P+(1-α)·Σi=γγ+v-1Fi/v]]>=α·P+(1-α)·N---(19)]]>类似地，在表达式(18)成立的情况下，表达式(12)可以像表达式(20)所示的那样展开。
C=α·N+f]]>=α·N+(1-α)·Σi=γγ+v-1Fi/v]]>=α·N+(1-α)·P---(20)]]>在表达式(19)和表达式(20)中，由于C、N和P是已知像素值，包含在表达式(19)和表达式(20)中的变量只是混合比α。表达式(19)和表达式(20)中C、N和P之间的关系显示在图67中。C是用于计算混合比α的、感兴趣帧#n中感兴趣像素的像素值。N是沿着空间方向的位置与感兴趣像素的位置相对应的、帧#n+1中的像素的像素值。P是沿着空间方向的位置与感兴趣像素的位置相对应的、帧#n-1中的像素的像素值。
因此，由于表达式(19)和表达式(20)每一个只包括一个变量，利用三个帧中的像素值可以计算混合比α。通过求解表达式(19)和表达式(20)计算精确混合比α的条件是与混合区有关的前景成分是相同的，也就是说，在前景对象保持静止的状态下获取的前景图像对象中，与前景对象的运动方向相对应的、在图像对象的边界上依次排列的、数量加倍的运动量v的像素的像素值是不变的。
如上所述，属于覆盖背景区的像素的混合比α通过表达式(21)来计算，和属于未覆盖背景区的像素的混合比α通过表达式(22)来计算。
α＝(C-N)/(P-N) (21)α＝(C-P)/(N-P) (22)图68是显示估计混合比处理单元401的配置的方块图。帧存储器421以逐帧递增的方式存储输入图像，并且把作为输入图像输入的帧之后的帧供应给帧存储器422和混合比计算单元423。
帧存储器422以逐帧递增的方式存储输入图像，并且把帧存储器421供应的帧之后的帧供应给混合比计算单元423。
因此，在把帧#n+1作为输入帧输入到混合比计算单元423的情况下，帧存储器421把帧#n供应给混合比计算单元423，和帧存储器422把帧#n-1供应给混合比计算单元423。
混合比计算单元423根据帧#n中感兴趣像素的像素值C、它的空间位置与感兴趣像素的位置相对应的帧#n+1中的像素的像素值N、和它的空间位置与感兴趣像素的位置相对应的帧#n-1中的像素的像素值P，计算感兴趣像素的混合比，并且输出计算的估计混合比。例如，在背景保持静止的情况下，混合比计算单元423根据帧#n中感兴趣像素的像素值C、在帧中与感兴趣像素处在相同位置上的帧#n+1中的像素的像素值N、和在帧中与感兴趣像素处在相同位置上的帧#n-1中的像素的像素值P，计算感兴趣像素的混合比，并且输出计算的估计混合比。
如上所述，估计混合比处理单元401可以根据输入图像，计算估计混合比，并且将其供应给混合比确定单元403。
请注意，除了在估计混合比处理单元401通过表达式(21)所表示的运算，计算感兴趣像素的估计混合比的时候，估计混合比处理单元402通过表达式(22)所表示的运算，计算感兴趣像素的估计混合比的处理之外，估计混合比处理单元402的处理与估计混合比处理单元401的处理相同，因此，略去不述。
图69是显示估计混合比处理单元401计算估计混合比的例子的图形。图69所示的估计混合比表示在对于一行，与作恒速运动的对象相对应的前景运动量v是11的情况下的结果。
不用说，像图63所示的那样，混合比合区在混估计内近似线性地变化。
返回到图62，混合比确定单元403根据区域指定单元103供应的、指示作为混合比α计算对象的像素属于前景区、背景区、覆盖背景区、和未覆盖背景区的哪一个的区域信息，设置混合比α。在作为对象的像素属于前景区的情况下，混合比确定单元2403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成估计混合比处理单元401供应的估计混合比，和在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成估计混合比处理单元402供应的估计混合比。混合比确定单元403输出根据区域信息设置的混合比α。
图70是显示混合比计算单元104的另一种配置的方块图。选择单元441根据区域指定单元103供应的区域信息，把属于覆盖背景区的像素、和前一帧和后一帧中与之对应的像素供应给估计混合比处理单元442。选择单元441根据区域指定单元103供应的区域信息，把属于未覆盖背景区的像素、和前一帧和后一帧中与之对应的像素供应给估计混合比处理单元443。
估计混合比处理单元442根据从选择单元441输入的像素值，通过如表达式(21)所表示的运算，计算属于覆盖背景区的感兴趣帧的估计混合比，并且把计算的估计混合比供应给选择单元444。
估计混合比处理单元443根据从选择单元441输入的像素值，通过如表达式(22)所表示的运算，计算属于未覆盖背景区的感兴趣帧的估计混合比，并且把计算的估计混合比供应给选择单元444。
在作为对象的像素属于前景区的情况下，选择单元444根据区域指定单元103供应的区域信息，选择为0的估计混合比，并且把混合比α设置成它，和在作为对象的像素属于背景区的情况下，选择单元444选择为1的估计混合比，并且把混合比α设置成它。在作为对象的像素属于覆盖背景区的情况下，选择单元444选择估计混合比处理单元442供应的估计混合比，并且把混合比α设置成它，在作为对象的像素属于未覆盖背景区的情况下，选择单元444选择估计混合比处理单元443供应的估计混合比，并且把混合比α设置成它。选择单元442输出根据区域信息选择和设置的混合比α。
如上所述，具有像图70所示那样的另一种配置的混合比计算单元104可以为包含在图像中的每个像素计算混合比α，并且输出计算的混合比α。
下面参照图71所示的流程图，描述其配置显示在图62中的混合比计算单元104计算混合比α的处理。在步骤S401中，混合比计算单元104获取区域指定单元103供应的区域信息。在步骤S402中，估计混合比处理单元401通过与覆盖背景区相对应的模型进行计算估计混合比的处理，并且把估计混合比供应给混合比确定单元403。计算估计混合比的处理细节以后将参照图72所示的流程图加以描述。
在步骤S403中，估计混合比处理单元402通过与未覆盖背景区相对应的模型进行计算估计混合比的处理，并且把估计混合比供应给混合比确定单元403。
在步骤S404中，混合比计算单元104判断是否对整个帧都估计了混合比α，并且，在作出还没有对整个帧估计混合比的判断的情况下，流程返回到步骤S402，执行为下一个像素估计混合比α的处理。
在步骤S404中，在作出已经对整个帧都估计了混合比的判断的情况下，流程转到步骤S405，在步骤S405中，混合比确定单元403根据区域指定单元101供应的、指示作为像素属于前景区、背景区、覆盖背景区、还是未覆盖背景区的区域信息，设置混合比α。混合比确定单元403在作为对象的像素属于前景区的情况下，把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成估计混合比处理单元401供应的估计混合比，和在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成估计混合比处理单元402供应的估计混合比，然后，结束处理。
如上所述，根据区域指定单元103供应的区域信息、和输入图像，混合比计算单元104就可以计算与每个像素相对应的作为特征量的混合比α。
其配置显示在图70中的混合比计算单元104计算混合比α的处理与图71所示的流程图所述的处理相同，因此，略去不述。
现在，参照图72所示的流程图，描述与图71中的步骤S402相对应的、通过与覆盖背景区相对应的模型进行的混合比估计处理。
在步骤S421中，混合比计算单元423从帧存储器421中获取帧#n中感兴趣像素的像素值C。
在步骤S422中，混合比计算单元423从帧存储器422中获取与感兴趣像素相对应的、帧#n-1中的像素的像素值P。
在步骤S423中，混合比计算单元423获取与包含在输入图像中的感兴趣像素相对应的、帧#n+1中的像素的像素值N。
在步骤S424中，混合比计算单元423根据帧#n中感兴趣像素的像素值C、帧#n-1中像素的像素值P、和帧#n+1中像素的像素值N，计算估计混合比。
在步骤S425中，混合比计算单元423判断对于整个帧，计算估计混合比的处理是否已经结束了，并且，在作出对于整个帧，计算估计混合比的处理还没有结束的判断的情况下，流程返回到步骤S421，重复为下一个像素计算估计混合比的处理。
在步骤S425中，在作出对于整个帧，计算估计混合比的处理已经结束的判断的情况下，结束处理。
如上所述，估计混合比处理单元401根据输入图像，可以计算估计混合比。
如图71中步骤S403所示的、通过与未覆盖背景区相对应的模型进行混合比估计的处理与其中利用与未覆盖背景区的模型相对应的表达式的、如图72所示的流程图所指的处理相同，因此，略去不述。
请注意，图70所示的估计混合比处理单元442和估计混合比处理单元443进行与图72所示的流程图所指的处理相同的处理，计算估计混合比，因此，略去不述。
此外，虽然是在与背景相对应的对象保持静止的假设下进行描述的，但是，即使与背景区相对应的图像处在运动之中，也可以应用如上所述获取混合比α的处理。例如，在与背景相对应的图像作匀速运动的情况下，估计混合比处理单元401与背景运动相对应地移动整个图像，以与与背景相对应的象保持静止的情况相同的方式进行处理。此外，在与背景相对应的图像包含在每个局部位置上不同的背景运动，估计混合比处理单元401选择与背景运动相对应的像素，作为与属于混合区的像素相对应的像素，进行如上所述的处理。
此外，可以作出这样的安排，其中，混合比计算单元104通过与覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，输出计算的估计混合比作为混合比α。在这种情况下，混合比α对于属于覆盖背景区的像素，代表背景成分的比例，和对于属于未覆盖背景区的像素，代表前景成分的比例。通过对属于未覆盖背景区的像素，计算如上所述计算的混合比α与l之间的差值的绝对值，和为混合比α设置绝对值，图像处理设备可以为属于未覆盖背景区的像素获取指示背景成分的比例的混合比α。
请注意，类似地，可以作出这样的安排，其中，混合比计算单元104通过与未覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，输出计算的估计混合比，作为混合比α。
现在描述估计混合比处理单元104的另一种处理。
利用由于在快门间隔内与前景相对应的对象作恒速运动，混合比α随像素的位置线性变化的性质，可以构造出在空间上近似计算混合比α和前景成分之和f的表达式。利用多组属于混合区的像素的像素值和属于背景区的像素的像素值，通过求解近似计算混合比α和前景成分的和值f的表达式，计算混合比α。
在一般来说，混合比α的变化是线性的情况下，混合比α用表达式(23)表示。
α＝il+p (23)在表达式(23)中，i表示其中感兴趣像素的位置是0的、沿着空间方向的指标。l是混合比α的直线的斜率。p是包括感兴趣像素的混合比α在内的混合比α的直线的截距。在表达式(23)中，虽然指标i是已知的，但是斜率l和截距p是未知的。
指标i、斜率l、和截距p之间的关系显示在图73中。
在图73中，空心圆表示感兴趣像素，实心圆表示感兴趣像素附近的像素。
通过像表达式(23)那样近似计算混合比α，数个像素的数个不同混合比α通过两个变量来表示。在图73所示的例子中，5个像素的5个混合比用两个变量，即斜率l和截距p来表示。
在以图74所示的平面方式近似计算混合比α的情况中，考虑到与图像的水平方向和垂直方向两个方向相对应的运动v，通过把表达式(23)推广到平面上，混合比α被表示成表达式(24)。
α＝jm+kq+p(24)在表达式(24)中，j表示其中感兴趣像素的位置是0的、沿着水平方向的指标，和k表示沿着垂直方向的指标。m是混合比α的平面在水平方向的斜率，和q是混合比α的平面在垂直方向的斜率。p是混合比α的平面的截距。
例如，在图64所示的帧#n中，表达式(25)到表达式(27)分别对C05到C07成立。
C05＝α05·B05/v+f05(25)C06＝α06·B06/v+f06(26)C07＝α07·B07/v+f07(27)在作出前景成分一般来说保持一致，即，F01到F03相同，和F01到F03被写成Fc的假设情况下，表达式(28)成立。
f(x)＝(1-α(x))·Fc (28)在表达式(28)中，x表示沿着空间方向的位置。
把α(x)重写成表达式(24)，表达式(24)可以被表示成表达式(29)。
f(x)＝(1-(jm+kq+p))·Fc＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝js+kt+u (29)在表达式(29)中，(-m·Fc)、(-q·Fc)和(1-p)·Fc被重写成表达式(30)到(32)。
s＝-m·Fc (30)t＝-q·Fc (31)u＝(1-p)·Fc (32)在表达式(29)中，j表示其中感兴趣像素的位置是0的、沿着水平方向的指标，和k表示沿着垂直方向的指标。
如上所述，由于可以作出与前景对象相对应的对象在快门间隔内作恒速运动，和与前景相对应的成分一般来说保持一致的假设，可以用表达式(29)近似计算前景成分之和。
请注意，在线性近似计算混合比α的情况下，前景成分之和用表达式(33)表示。
f(x)＝is+u(33)利用表达式(24)和表达式(29)重写混合比α和表达式(13)中的前景成分之和，把像素值M表示成表达式(34)。
M＝(jm+kq+p)·B+js+kt+u＝jB·m+kB·q+B·p+j·s+k·t+u (34)在表达式(34)中，未知变量是6个值，即，混合比α的平面在水平方向的斜率m、混合比α的平面在垂直方向的斜率q、混合比α的平面的截距p、s、t、和u。
与感兴趣像素附近的像素相对应，为表达式(34)所表示的正规方程设置像素值M和像素值B，通过最小二乘法求解已经为其设置了像素值M和像素值B的多个正规方程，计算混合比α。
例如，通过把沿着水平方向感兴趣像素的指标j设置成0，把沿着垂直方向感兴趣像素的指标k设置成0，和针对感兴趣像素附近的3×3个像素，为由表达式(34)所表示的正规方程设置像素值M或像素值B，获得表达式(35)到表达式(43)M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u(35)M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (36)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(37)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (38)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u(39)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (40)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u(41)M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (42)M+1，+1＝(+1)·B+1，+1·m+(+1)·B0，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u (43)由于水平方向中感兴趣像素的指标j是0，和垂直方向中感兴趣像素的指标k是0，感兴趣像素的混合比α等于把j＝0和k＝0代入表达式(24)所得的值，即，截距p。
因此，根据表达式(35)到表达式(43)这9个表达式，通过最小二乘法，计算水平方向的斜率m、垂直方向的斜率q、截距p、s、t、和u，可以输出截距p，作为混合比α。
现在描述应用最小二乘法计算混合比α的更具体过程。
用一个指标x表示指标i和指标k，指标i、指标k和指标x之间的关系表示成表达式(44)。
x＝(j+1)·3+(k+1)(44)在水平方向的斜率m、在垂直方向的斜率q、截距p、s、t、和u分别用变量w0、w1、w2、w3、w4和w5来表示，和jB、kB、B、j、k和l分别用a0、a1、a2、a3、a4和a5来表示。考虑到误差容限ex，把表达式(35)到表达式(43)重写成表达式(45)。
Mx=Σy=05ay·wy+ex---(45)]]>
在表达式(45)中，x表示0到8之间的整数之一。
从表达式(45)中可以导出表达式(46)。
ex=Mx-Σy=05ay·wy---(46)]]>应用最小二乘法，把误差容限的平方和E定义为表达式(47)所表示的那样。
E=Σx=08ex2---(47)]]>为了使误差容限达到最小，误差容限的平方和E关于变量Wv的偏导数应该趋向0。其中，v是0到5之间的整数之一。因此，计算wy，便其满足表达式(48)。
&PartialD;E&PartialD;wv=2·Σx=08ex·&PartialD;ex&PartialD;wv]]>=2·Σx=08ex·av=0---(48)]]>将表达式(46)代入表达式(48)中，获得表达式(49)。
Σx=08(av·Σy=05ay·wy)=Σx=08av·Mx---(49)]]>通过把，例如，搜索法(高斯消元法)等应用于把0到5之间的整数之一代入表达式(49)中的v中获得的6个表达式中，计算wy。如上所述，w0表示水平方向的斜率m，w1表示垂直方向的斜率q，w2表示截距p，w3表示s，w4表示t，和w5表示u。
如上所述，通过把最小二乘法应用于设置了像素值M和像素值B的表达式，可以计算水平方向的斜率m、垂直方向的斜率q、截距p、s、t、和u。
在与表达式(35)到表达式(43)相对应的描述中，虽然已经对包含在混合区中的像素的像素值作为M、包含在背景区中的像素的像素值作为B作了描述，但是，对于包含在覆盖背景区中的和包含在未覆盖背景区中的感兴趣像素的每一种情况都需要构造正规方程。
例如，在获取包含在图64所示的帧#n的覆盖背景区中的像素的混合比α的情况下，为正规方程设置帧#n的像素C04到C08，和帧#n-1的像素的像素值P04到P08。
在获取包含在图65所示的帧#n的未覆盖背景区中的像素的混合比α的情况下，为正规方程设置帧#n的像素的C28到C32，和帧#n+1的像素的像素值发N28到N32。
此外，例如，在计算包含在图57所示的覆盖背景区中的像素的混合比α的情况下，可以构造如下所述的表达式(50)到表达式(58)。计算混合比α的像素的像素值是Mc5。在图75中，空心圆表示被当作背景的像素，和实心圆被当作混合区中的像素的像素。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u(50)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (51)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u(52)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (53)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u(54)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (55)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u(56)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (57)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u(58)在计算帧#n中包含在覆盖背景区中的像素的混合比α的情况下，在表达式(50)到表达式(58)中使用与帧#n中的像素相对应的、帧#n-1中背景区中的像素的像素值Bc1到Bc9。
在计算包含在图75所示的未覆盖背景区中的像素的混合比α的情况下，可以构造如下所述表达式(59)到表达式(67)。计算混合比α的像素的像素值是Mu5。。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u(59)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (60)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u(61)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (62)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u(63)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (64)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u(65)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (66)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u(67)在计算帧#n中包含在未覆盖背景区中的像素的混合比α的情况下，在表达式(59)到表达式(67)中使用与帧#n中的像素相对应的、帧#n+1中背景区中的像素的像素值Bu1到Bu9。
图76是显示混合比估计处理单元401的配置的方块图。把输入到估计混处理单元401的图像供应给延迟单元501和相加单元502。
延迟单元501把输入图像延迟一个帧，并且将其供应给相加单元502。在把帧#n输入到相加单元502中作为输入图像的那一时刻，延迟电路501把帧#n-1供应给相加单元502。
相加单元502为正规方程设置计算混合比α的像素附近的像素的像素值、和帧#n-1的像素值。例如，相加单元502根据表达式(50)到表达式(58)，为正规方程设置像素值Mc1到Mc9、和像素值Bc1到Bc9。相加单元502把已经为其设置了像素值的正规方程供应给计算单元503。
计算单元503通过利用搜索法等求解相加单元503供应的正规方程，计算估计混合比，并且输出计算的估计混合比。
如上所述，估计混合比处理单元401可以根据输入图像，计算估计混合比，并且将其供应给混合比确定单元403。
请注意，估计混合比处理单元402具有与估计混合比处理单元401相同的配置，因此，略去不述。
图77是显示估计混合比处理单元401计算的估计混合比的例子的图形。图77显示了与一行有关的估计混合比，其中，与作恒速运动的对象相对应的前景的运动量v是11，并且，通过以每块7×7个像素递增生成的表达式计算结果。
可以看出，在如图63所示的混合区中，估计混合比近似线性地改变。
混合比确定单元403根据区域指定单元101供应的、指示计算混合比的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区的哪一个的区域信息，计算混合比。在作为对象的像素属于前景区的情况下，混合比确定单元403把混合比设置成0，在作为对象的像素属于背景区的情况下，把混合比设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比设置成估计混合比处理单元401供应的估计混合比，和在作为对象的像素属于未覆盖背景区的情况下，把混合比设置成估计混合比处理单元402供应的估计混合比。混合比确定单元403输出根据区域信息设置的混合比。
参照图78所示的流程图，描述在估计混合比处理单元401具有图76所示的配置的情况下，混合比计算单元102计算混合比的处理。在步骤S501中，混合比计算单元102获取区域指定单元101供应的区域信息。在步骤S502中，估计混合比处理单元401通过与覆盖背景区相对应的模型进行混合比估计的处理，并且把估计混合比供应给混合比确定单元403。混合比估计的处理细节以后将参照图79所示的流程图加以描述。
在步骤S503中，估计混合比处理单元402通过与未覆盖背景区相对应的模型进行混合比估计的处理，并且把估计混合比供应给混合比确定单元403。
在步骤S504中，混合比计算单元102判断是否对整个帧都估计了混合比，并且，在作出还没有对整个帧估计混合比的判断的情况下，流程返回到步骤S502，执行为下一个像素估计混合比的处理。
在步骤S504中，在作出已经对整个帧都估计了混合比的判断的情况下，流程转到步骤S505，在步骤S505中，混合比确定单元403根据区域指定单元101供应的、指示计算混合比的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区的哪一个的区域信息，设置混合比。混合比确定单元403在作为对象的像素属于前景区的情况下，把混合比设置成0，在作为对象的像素属于背景区的情况下，把混合比设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比设置成估计混合比处理单元401供应的估计混合比，和在作为对象的像素属于未覆盖背景区的情况下，把混合比设置成估计混合比处理单元402供应的估计混合比，然后，结束处理。
如上所述，根据区域指定单元101供应的区域信息、和输入图像，混合比计算单元102就可以计算与每个像素相对应的作为特征量的混合比α。
利用混合比α能够把包含在像素值中的前景成分和背景成分分离开，同时去掉包含在与运动对象相对应的图像中的运动模糊的信息。
此外，根据混合比α合成图像能够建立包含与正在运动的对象的速度相对应的精确运动模糊的图像，仿佛再次进行了真实世界的图像拍摄。
现在参照图79所示的流程图，描述与图78所示的步骤S502相对应的、通过与覆盖背景区相对应的模型进行混合比估计的处理。
在步骤S521中，相加单元502为与覆盖背景区的模型相对应的正规方程设置包含在输入图像中的像素值、和包含在延迟电路501供应的图像中的像素值。
在步骤S522中，估计混合比处理单元401判断作为对象的像素的设置是否已经结束，并且，在作出为作为对象的像素的设置还没有结束的判断的情况下，流程返回到步骤S521，重复为正规方程设置像素值的处理。
在步骤S522中，在作出与作为对象的像素有关的像素值的设置已经结束的判断的情况下，流程转到步骤S523，计算单元503根据已经为其设置了像素值的正规方程，计算估计混合比，并且输出计算的估计混合比。
如上所述，估计混合比处理单元401可以根据输入图像，计算估计混合比。
在图78所示的步骤503中，通过与未覆盖背景区相对应的模型进行混合比估计的处理与利用与未覆盖背景区的模型相对应的正规方程的、图79中的流程图所示的处理相同，因此，略去不述。
请注意，虽然描述是在与背景相对应的对象保持静止的假设下作出的，但是，即使与背景区相对应的图像包含运动部分，也可以应用如上所述的获取混合比的处理。例如，在与背景区相对应的图像作恒速运动的情况下，估计混合比处理单元401与运动相对应地移动整个图像，并且以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，在与背景区相对应的图像在每个局部位置上包括不同运动的情况下，估计混合比处理单元401选择与运动相对应的像素，作为与属于混合区的像素相对应的像素，并且进行上述处理。
现在描述前景/背景分离单元105。图80是显示前景/背景分离单元105的配置的一个例子的方块图。把供应给前景/背景分离单元105的输入图像输入给分离单元601、切换器602、和切换器604。把区域指定单元103供应的、指示覆盖背景区的信息和指示未覆盖背景区的信息供应给分离单元601。把指示前景区的信息供应给切换器602。把指示背景区的信息供应给切换器604。
把混合比计算单元104供应的混合比α供应给分离单元601。
根据指示覆盖背景区的区域信息、指示未覆盖背景区的区域信息、和混合比α，分离单元601从输入图像中分离前景成分，并且把分离的前景成分供应给合成部分603，以及从输入图像中分离出背景成分，并且把分离的背景成分供应给合成部分605。
在输入与前景相对应的像素的情况下，根据指示前景区的区域信息，闭合切换器602，并且只把包含在输入图像中与前景相对应的像素供应给合成单元603。
在输入与背景相对应的像素的情况下，根据指示背景区的区域信息，闭合切换器604，并且只把包含在输入图像中与背景相对应的像素供应给合成单元605。
合成单元603根据分离单元601供应的与前景相对应的成分、切换器602供应的与前景相对应的像素，合成前景成分图像，并且输出合成的前景成分图像。由于前景区和混合区不重叠，因此，合成单元603通过，例如，把逻辑和运算应用于与前景相对应的成分和与前景相对应的像素，合成前景成分图像。
在前景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元603把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在前景成分图像合成处理中，合成单元603存储(或盖写)前景成分图像。因此，作为从合成单元603输出的前景成分图像的、与背景区相对应的像素存储0，作为像素值。
合成单元605根据与分离单元601供应的与背景相对应的成分、和切换器604供应的与背景相对应的像素，合成背景成分图像，并且输出合成的背景成分图像。由于背景区和混合区不重叠，因此，合成单元605通过，例如，把逻辑和运算作用于与背景相对应的成分和与背景相对应的像素，合成背景成分图像。
在背景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元605把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在背景成分图像合成处理中，合成单元605存储(或盖写)前景成分图像。因此，作为从合成单元603输出的前景成分图像的、与背景区相对应的像素存储0，作为像素值。
图81A是显示输入到前景/背景分离单元105的输入图像、和从前景/背景分离单元105输出的前景成分图像、和背景成分图像的图形。图81B是显示与输入到前景/背景分离单元105的输入图像、和从前景/背景分离单元105输出的前景成分图像、和背景成分图像相对应的模型的图形。
图81A是显示所显示的图像的示意图，和图81B是与图81A相对应，包括属于前景区的像素、属于背景区的像素、和属于混合区的像素的一行像素沿着时间方向展开的模型图。
如图81A和81B所示，从前景/背景分离单元105输出的背景成分图像由属于背景区的像素、和包含在混合区中的像素内的背景成分组成。
如图81A和81B所示，从前景/背景分离单元105输出的前景成分图像由属于前景区的像素、和包含在混合区中的像素内的前景成分组成。
混合区中的像素的像素值被前景/背景分离单元105分离成背景成分和前景成分。分离的背景成分与属于背景区的像素一起组成背景成分图像。分离的前景成分与属于前景区的像素一起组成前景成分图像。
如上所述，在前景成分图像中，与背景区相对应的像素的像素值被设置成0，和与前景区相对应的像素和与混合区相对应的像素的像素值被设置成有效像素值。类似地，在背景成分图像中，与前景区相对应的像素的像素值被设置成0，和与背景区相对应的像素和与混合区相对应的像素的像素值被设置成有效像素值。
现在对分离单元601从属于混合区的像素中分离出前景成分和背景成分的处理加以描述。
图82是包括与图中从左边移动到右边的对象相对应的前景的、指示前景成分和背景成分的两个帧的图像的模型。在图82所示的图像的模型中，前景的运动量v是4，和虚拟分割数也是4。
在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区。在帧#n中，从左边算起第2个到4个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n中，从左边算起第11个到13个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区。
在帧#n+1中，从左边算起第1个到15个和从左边算起第18个像素只由背景成分组成，并且属于背景区。在帧#n+1中，从左边算起第6个到8个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n+1中，从左边算起第15个到17个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并且属于前景区。
图83是描述从属于覆盖背景区的像素中分离前景成分的处理的图形。在图83中，α1到α18分别代表与帧#n中的像素相对应的混合比。在图83中，从左边算起第15个到第17个像素属于覆盖背景区。
帧#n中从左边算起第15个像素的像素值C15被表示成表达式(68)
C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(68)这里，α15表示帧#n中从左边算起第15个像素的混合比。P15表示帧#n-1中从左边算起第15个像素的像素值。
根据表达式(68)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成表达式(69)f15＝F09/v+F08/v+F07/v＝C15-α15·P15 (69)类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成表达式(70)，和帧#n中从左边算起第17个像素的前景成分之和f17被表示成表达式(71)f16＝C16-α16·P16 (70)f17＝C17-α17·P17 (71)如上所述，包含在属于覆盖背景区的像素的像素值C中的前景成分fc通过表达式(72)来计算fc＝C-α·P (72)P表示前一帧中的相对像素的像素值。
图84是描述从属于未覆盖背景区的像素中分离前景成分的处理的图形。在图84中，α1到α18分别表示与帧#n中的像素相对应的混合比。在图84中，从左边算起第2个到第14个像素属于未覆盖背景区。
帧#n中从左边算起第2个像素的像素值C02被表示成表达式(73)C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (73)这里，α2表示帧#n中从左边算起第2个像素的混合比。N02表示帧#n+1中从左边算起第2个像素的像素值。
根据表达式(73)，帧#n中从左边算起第2个像素的前景成分和f02被表示成表达式(74)f02＝F01/v＝C02-α2·N02(74)
类似地，帧#n中从左边算起第3个像素的前景成分和f03被表示成表达式(75)，和帧#n中从左边算起第4个像素的前景成分和f04被表示成表达式(76)f03＝C03-α3·N03 (75)f04＝C04-α4·N04 (76)如上所述，包含在属于未覆盖背景区的像素的像素值C中的前景成分fu通过表达式(77)来计算fu＝C-α·N (77)N表示后一帧中的相对像素的像素值。
如上所述，根据包括指示覆盖背景区的信息、指示未覆盖背景区的信息、和每个像素的混合比α的区域信息，分离单元601可以从属于混合区的像素中分离出前景成分和背景成分。
图85是显示进行上述处理的分离单元601的配置的例子的方块图。把输入分离单元601的图像供应给帧存储器621，和把混合比计算单元104供应的指示覆盖背景区和未覆盖背景区的区域信息、和混合比α输入分离处理模块622中。
帧存储器621以逐帧递增的方式存储输入图像，在处理对象是帧#n的情况下，帧存储器621存储比帧#n早一个帧的帧#n-1、帧#n、和比帧#n晚一个帧的帧#n+1。
帧存储器621把帧#n-1、帧#n、和#n+1中的相应像素供应给分离处理模块622。
分离处理模块622根据指示覆盖背景区和未覆盖背景区的区域信息、和混合比α，把参照图83和图84所述的计算应用于混帧#n-1、帧#n、和#n+1中相应像素的像素值，从帧#n中属于混合区的像素中分离出前景成分和背景成分，并且把它们供应给帧存储器623。
分离处理模块622包括未覆盖区处理单元631、覆盖区处理单元632、合成单元633、和合成单元634。
未覆盖区处理单元631的乘法器641将帧存储器621供应的帧#n+1的像素的像素值乘以合比α，并且将结果输出到切换器642。在帧存储器621供应的帧#n中的像素(与帧#n+1的像素相对应)属于未覆盖背景区的情况下，闭合切换器642，将乘法器641供应的被乘以混合比α的像素值供应给计算器643和合成单元634。从切换器642输出的帧#n+1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的前景成分相同。
计算器643通过从帧存储器621供应的帧#n的像素的像素值中减去切换器642供应的背景成分，获取前景成分。计算器643把属于未覆盖背景区的帧#n中的像素的前景成分供应给合成单元633。
覆盖区处理单元631的乘法器651将帧存储器621供应的帧#n-1的像素的像素值乘以合比α，并且将结果输出到切换器652。在帧存储器621供应的帧#n中的像素(与帧#n-1的像素相对应)属于覆盖背景区的情况下，闭合切换器652，将乘法器651供应的被乘以混合比α的像素值供应给计算器653和合成单元634。从切换器652输出的帧#n-1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。
计算器653通过从帧存储器621供应的帧#n的像素的像素值中减去切换器652供应的背景成分，获取前景成分。计算器653把属于覆盖背景区的帧#n中的像素的前景成分供应给合成单元633。
合成单元633合成计算器643供应的帧#n中属于未覆盖背景区的像素的前景成分、和计算器653供应的属于覆盖背景区的像素的前景成分，并且把结果供应给帧存储器623。
合成单元634合成切换器642供应的帧#n中属于未覆盖背景区的像素的背景成分、和切换器652供应的属于覆盖背景区的像素的背景成分，并且把结果供应给帧存储器623。
帧存储器623分别存储分离处理模块622供应的、帧#n中混合区内的像素的前景成分和背景成分。
帧存储器623输出存储在其中的、帧#n中混合区内的像素的前景成分、和存储在其中的、帧#n中混合区内的像素的背景成分。
利用作为特征量的混合比α能够把包含在像素值中的前景成分和背景成分完全分离开。
通过合成从分离单元601输出的、帧#n中混合区内的像素的前景成分、和属于前景区的像素，合成单元603生成前景成分图像。通过合成从分离单元601输出的、帧#n中混合区内的像素的背景成分、和属于背景区的像素，合成单元605生成背景成分图像。
图86A是显示与图82所示的帧#n相对应的前景成分图像的例子的图形。图86B是显示与图82所示的帧#n相对应的背景成分图像的例子的图形。
图86A显示了与图82所示的帧#n相对应的前景成分图像的例子。由于把前景和背景分开之前，最左边像素和从左边算起第14个像素只由背景成分组成，因此，像素值是0。
在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区，因此，背景成分是0，前景成分保持原来值。在把前景和背景分开之前，从左边算起第11个到第13个像素属于覆盖背景区，因此，前景成分是0，背景成分保持原来值。由于从左边算起第5个到第10个像素只由前景成分组成，因此，那些前景成分保持原来值。
图86B显示了与图82所示的帧#n相对应的背景成分图像的例子。在前景和背景被分开之前，最左边像素和从左边算起第14个像素由背景成分组成，因此，那些背景成分保持原来值。
在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区，因此，前景成分是0，和背景成分保持原来值。在前景和背景被分开之前，从左边算起第11个到第13个像素属于覆盖背景区，因此，前景成分是0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第5个到第10个像素只由前景成分组成，因此，像素值是0。
现在参照图87所示的流程图，描述前景/背景分离单元105对前景和背景的分离处理。在步骤S601中，分离单元601的帧存储器获取输入图像，并且存储作为前景和背景分离对象的帧#n，以及前一帧#n-1和后一帧#n+1。
在步骤S602中，分离单元601的分离处理模块622获取混合比计算单元104供应的区域信息。在步骤S603中，分离单元601的分离处理模块622获取混合比计算单元104供应的混合比α。
在步骤S604中，未覆盖区处理单元631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区的像素的像素值中提取背景成分。
在步骤S605中，未覆盖区处理单元631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区的像素的像素值中提取前景成分。
在步骤S606中，覆盖区处理单元632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区的像素的像素值中提取背景成分。
在步骤S607中，覆盖区处理单元632根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区的像素的像素值中提取前景成分。
在步骤608中，合成单元633合成在步骤S605的处理中提取的、属于未覆盖背景区的像素的前景成分、和在步骤S607的处理中提取的、属于覆盖背景区的像素的前景成分。把合成的前景成分供应给合成单元603。此外，合成单元603合成通过切换器602供应的、属于前景区的像素、和分离单元601供应的前景成分，生成前景成分图像。
在步骤609中，合成单元634合成在步骤S604的处理中提取的、属于未覆盖背景区的像素的背景成分、和在步骤S606的处理中提取的、属于覆盖背景区的像素的背景成分。把合成的背景成分供应给合成单元605。此外，合成单元605合成通过切换器604供应的、属于背景区的像素、和分离单元601供应的背景成分，生成背景成分图像。
在步骤S610中，合成单元603输出前景成分图像。在步骤S611中，合成单元605输出背景成分图像，然后，结束处理。
如上所述，根据区域信息和混合比α，前景/背景分离单元105可以从图像图像中分离出前景成分和背景成分，并且输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。
现在描述从前景成分图像中消除运动模糊的处理。
图88是显示运动模糊消除单元106的配置的例子的方块图。把运动检测单元102供应的运动向量和它的位置信息、和区域指定单元103供应的区域信息供应给处理增量决定单元801和建模单元802。把前景/背景分离单元105供应的前景成分图像供应给相加单元804。
处理增量决定单元801把根据运动向量、它的位置信息、和区域信息生成的处理增量，以及运动向量供应给建模单元802。处理增量决定单元801把生成的处理增量供应给相加单元804。
例如，如图89所示，在图89中用A表示的、处理增量决定单元801生成的处理增量表示从与前景成分的覆盖背景区相对应的像素开始，直到与未覆盖背景区相对应的像素，沿着运动方向依次排列的像素、或者从与未覆盖背景区相对应的像素开始，直到与覆盖背景区相对应的像素，沿着运动方向依次排列的像素。处理增量由，例如，左上点(作为通过处理增量指定的像素的最左或最高位置像素)和右下点两个数据组成。
建模单元802根据运动向量和输入的处理增量，进行建模。更明确地说，例如，可以作出这样的安排，其中，建模单元802事先为每个像素存储包含在处理增量中的像素个数、像素值沿着时间方向的虚拟分割数、和与前景成分的个数相对应的多个模型，并且根据处理增量和像素值沿着时间方向的虚拟分割数，选择如图90所示的指定像素值与前景成分之间的对应关系的模型。
例如，在与处理增量相对应的像素个数是12，和快门间隔中的运动量v是5的情况下，建模单元802把虚拟分割数设置成5，并且选择总共由8个前景成分组成的模型，其中，最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。
请注意，也可以作出这样的安排，其中，建模单元802不是从事先存储的模型中选择模型，而是在供应运动向量和处理增量的情况下，根据运动向量和处理增量生成模型。
建模单元802把所选的模型供应给表达式生成单元803。
表达式生成单元803根据建模单元802供应的模型，生成表达式。下面参照图90所示的前景成分图像的模型，在前景成分的个数是8，与处理增量相对应的像素个数是12，运动量v是5，和虚拟分割数是5的情况下，描述表达式生成单元803生成的表达式。
如果包含在前景成分图像中与快门间隔/v相对应的前景成分是F01/v到F08/v，那么，F01/v到F08/v与像素C01到C12之间的关系被表示成表达式(78)到表达式(89)C01＝F01/v (78)C02＝F02/v+F01/v(79)C03＝F03/v+F02/v+F01/v (80)C04＝F04/v+F03/v+F02/v+F01/v(81)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (82)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (83)
C07＝F07/v+F06/v+F05/v+F04/v+F03/v(84)C08＝F08/v+F07/v+F06/v+F05/v+F04/v(85)C09＝F08/v+F07/v+F06/v+F05/v (86)C10＝F08/v+F07/v+F06/v(87)C11＝F08/v+F07/v (88)C12＝F08/v(89)通过变换生成的表达式，表达式生成单元803生成另一组表达式。由表达式生成单元803生成的另一组表达式被表示成表达式(90)到表达式(101)C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(90)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(91)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(92)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(93)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v(94)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v(95)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v(96)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(97)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(98)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v(99)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v(100)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v
(101)表达式(90)到表达式(101)可以用表达式(102)来表示Cj=Σi=0108aij·fi/v---(102)]]>在表达式(102)中，j表示像素位置。在本例中，j具有1到12之间的值之一。此外，i表示前景值的位置。在本例中，i具有1到8之间的一个值。与i和j的值相对应，aij具有0或1的值之一。
考虑到误差容限，表达式(102)可以用表达式(103)来表示Cj=Σi=0108aij·Fi/v+ej---(103)]]>在表达式(103)中，ej表示包含在感兴趣像素Cj中的误差容限。
可以把表达式(103)重写成表达式(104)ej=Cj-Σi=0108aij·Fi/v---(104)]]>注意，为了使用最小二乘法，把误差容限的平方和E定义成表达式(105)E=Σi=0112ej2---(105)]]>为了使误差容限达到最小，应该使误差容限的平方和关于变量Fk的偏导数的值趋向0。求出满足表达式(106)的Fk&PartialD;E&PartialD;Fk=2·Σj=0112ej·&PartialD;ej&PartialD;Fk]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-adj/v)}=0---(106)]]>在表达式(106)中，运动量v是固定值，因此，可以导出表达式(107)Σj=0112akj·(Cj-Σi=0108aij·Fi/v)=0---(107)]]>展开表达式(107)和移动变元，得到表达式(108)Σj=0112(akj·Σi=0108aij·Fi)=v·Σj=0112akj·Cj---(108)]]>把表达式(108)展开成8个表达式，这8个表达式是把1到8之间的整数之一代入表达式(108)中的k中获得的。获得的8个表达式可以通过一个矩阵表示成一个表达式。这个表达式被称为正规方程。
表达式生成单元803根据这样的最小二乘法生成的正规方程的例子被表示成表达式(109)
5432100045432100345432102345432112345432012345430012345400012345F01F02F03F04F05F06F07F08=v·Σi=0812CiΣi=0711CiΣi=0610CiΣi=0509CiΣi=0408CiΣi=0307CiΣi=0206CiΣi=0105Ci---(109)]]>如果把表达式(109)表示成A·F＝v·c，那么，C、A和v是已知的，F是未知的。此外，虽然A和v在建模时就是已知的，但是，通过在相加运算中输入像素值，C才成为已知的。
通过把最小二乘法应用于正规方程，计算前景成分，处理包含在像素C中的误差容限。
表达式生成单元803把如上所述生成的正规方程供应给相加单元804。
相加单元804根据处理增量决定单元801供应的处理增量，为表达式生成单元803供应的矩阵表达式设置包含在前景成分图像中的像素值C。相加单元804把设置成像素值C的矩阵供应给计算单元805。
计算单元805通过基于诸如搜索法(Gauss-Jordan消元法)之类的方法的处理，计算经过运动模糊消除的前景成分Fi/v，计算作为经过运动模糊消除的前景的像素值的、与0到8之间的整数i之一相对应的Fi，和把由，例如，如图91所示的、作为经过运动模糊消除的像素值的Fi组成的、经过运动模糊消除的前景成分图像输出到选择单元807。
请注意，在如图91所示的经过运动模糊消除的前景成分图像中，C03到C10的每一个被设置成F01到F08的每一个，以便不改变可以对应于任意位置的、前景成分图像相对于屏幕的位置。
此外，例如，如图92所示，在与处理增量相对应的像素个数是8，和运动量v是4的情况下，运动模糊消除单元106生成用表达式(110)表示的矩阵表达式4321034321234321234301234F01F02F03F04F05=v·Σi=0508CiΣi=0407CiΣi=0306CiΣi=0205CiΣi=0104Ci---(110)]]>运动模糊消除单元106建立其个数与处理增量的长度相对应的表达式，并且计算经过运动模糊调整的像素值Fi。类似地，在存在，例如，100个包含在处理增量中的像素的情况下，通过生成与100个像素相对应的表达式，计算Fi。
如上所述，运动模糊消除单元106生成与运动量v和处理增量相对应的表达式，为生成的表达式设置前景成分图像的像素值，和计算经过运动模糊消除的前景成分图像。
现在参照图93所示的流程图，描述运动模糊消除单元106消除包含在前景成分图像中的运动模糊的处理。
在步骤S801中，运动模糊消除单元106的处理增量决定单元801根据运动向量和区域信息，生成处理增量，并且把生成的处理增量供应给建模单元802。
在步骤S802中，运动模糊消除单元106的建模单元802选择或生成与运动量v和处理增量相对应的模型。在步骤S803中，表达式生成单元803根据所选的模型，建立正规方程。
在步骤S804中，相加单元804为建立的正规方程设置前景成分图像的像素值。在步骤S805中，相加单元804判断与处理增量相对应的所有像素的像素值是否都得到设置，并且，在作出与处理增量相对应的像素的像素值还没有全部得到设置的判断的情况下，流程返回到步骤S804，重复为正规方程设置像素值的处理。
在步骤S805中，在作出与处理增量相对应的像素的像素值全部得到设置的判断的情况下，流程转到步骤S806，计算单元805根据相加单元804供应的像素值得到设置的正规方程，计算经过运动模糊量消除的前景的像素值，然后，结束处理。
如上所述，运动模糊消除单元106根据运动向量和区域信息，可以消除包含运动模糊的前景成分图像中的运动模糊。
也就是说，包含在作为取样数据的像素值中的运动模糊可以得到消除。
现在描述纠正单元107对背景成分图像的纠正。
图94是显示与，例如，如图90所示的前景成分图像的模型相对应的背景成分图像的模型的图形。
如图94所示，原始输入图像中与混合区相对应的背景成分图像的像素的像素值经过前景成分消除，因此，与混合比α相对应，像素值与原始输入图像中与背景区相对应的像素相比，只由少数前景成分组成。
例如，在，例如，如图94所示的背景成分图像中，像素值C01由4个背景成分B02/V组成，像素值C02由3个背景成分B03/V组成，像素值C03由2个背景成分B04/V组成，和像素值C04由1个背景成分B05/V组成。
此外，对于，例如，如图94所示的背景成分图像，像素值C09由1个背景成分B10/V组成，像素值C10由2个背景成分B11/V组成，像素值C11由3个背景成分B12/V组成，和像素值C12由4个背景成分B13/V组成。
如上所述，原始输入图像中与混合区相对应的像素的像素值与原始输入图像中与背景区相对应的像素相比，只由少数前景成分组成，因此，例如，与背景区的图像相比，前景成分图像中与混合区相对应的图像变成暗图像。
纠正单元107通过将背景成分图像中与混合区相对应的每个像素的像素值乘以与混合比α相对应的常数，纠正背景成分图像中与混合区相对应的像素的像素值。
例如，在输入图94所示的背景成分图像的情况下，纠正单元107将像素值C01乘以5/4，将像素值C02乘以5/3，将像素值C11乘以5/3，和将像素值C12乘以5/4。为了匹配，例如，如图91所示的经过运动模糊消除的前景成分图像的像素位置，纠正单元107把像素值C03到像素值C11设置成0。
纠正单元107输出，例如，如图95所示的与混合区相对应的像素的像素值经过纠正的背景成分图像。
如上所述，纠正单元107纠正背景成分图像中与混合区相对应的像素的像素值，并且对经过运动模糊消除的前景成分图像调整像素位置。
图96是显示用于生成系数组的运动模糊消除图像处理单元108的配置的方块图，生成的系数组用在沿着空间方向生成更高分辨率图像的分类自适应处理中。例如，其配置显示在图96中的运动模糊消除图像处理单元108根据输入HD图像，生成用在从SD图像中生成HD图像的分类自适应处理中的系数组。
背景成分教师图像帧存储器1001存储纠正单元107供应的教师图像的纠正背景成分图像。背景成分教师图像帧存储器1001把存储的教师图像的背景成分图像供应给加权平均单元1003-1和学习单元1006-1。
前景成分教师图像帧存储器1002存储运动模糊消除单元106供应的、教师图像经过运动模糊消除的前景成分图像。前景成分教师图像帧存储器1002把存储的教师图像的前景成分图像供应给加权平均单元1003-2和学习单元1006-2。
加权平均单元1003-1通过对本身是HD图像的教师图像的前景成分图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像供应给背景成分学生图像帧存储器1004。
例如，加权平均单元1003-1在图97所示的教师图像中把2×2(宽×高)的4个像素(它们是图中空心圆所代表的部分)取作一个增量，相加每个增量的4个像素的值，并且把和值除以4。加权平均单元1003-1为处在每个增量的中心上的学生图像的像素(它们是图中实心圆所代表的部分)设置如上所述的四分之一加权平均结果。
背景成分学生图像帧存储器1004存储与加权平均单元1003-1供应的教师图像的背景成分图像相对应的学生图像。背景成分学生图像帧存储器1004把存储在其中的与教师图像的背景成分图像相对应的学生图像供应给学习单元1006-1。
加权平均单元1003-2通过对，例如，前景成分教师图像帧存储器供应的本身是HD图像的教师图像的前景成分图像四分之一加权平均，生成作为学生图像的SD图像，并且把生成的SD图像供应给前景成分学生图像帧存储器1005。
前景成分学生图像帧存储器1005存储与加权平均单元1003-2供应的教师图像的前景成分图像相对应的学生图像。前景成分学生图像帧存储器1005把存储在其中的与教师图像的前景成分图像相对应的学生图像供应给学习单元1006-2。
学习单元1006-1根据背景成分教师图像帧存储器1001供应的教师图像的背景成分图像和背景成分学生图像帧存储器1004供应的与教师图像的背景成分图像相对应的学生图像，生成与背景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器1007。
学习单元1006-2根据前景成分教师图像帧存储器1002供应的教师图像的前景成分图像和前景成分学生图像帧存储器1005供应的与教师图像的前景成分图像相对应的学生图像，生成与前景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器1007。
系数组存储器1007存储与学习单元1006-1供应的背景成分图像和与学习单元1006-2供应的前景成分图像相对应的系数组。
在不需要特别区分学习单元1006-1和学习单元1006-2的情况下，下面把它们简称为学习单元1006。
图98是显示学习单元1006的配置的方块图。
分类单元1031包括类抽头获取单元1051和波形分类单元1052，并且分类输入图像的感兴趣像素。类抽头获取单元1051获取它们是与感兴趣像素相对应的学生图像的像素值的预定个类抽头，并且把获取的类抽头供应给波形分类单元1052。
例如，在图97中，在学生图像中从上面算起第i个和从左边算起第j个的像素(它是图中实心圆所指的部分)用Xij表示的情况下，类抽头获取单元1051获取总共由9个像素，即，与感兴趣像素Xij相邻，处在左上角、上边、右上角、左边、右边、左下角、下边、和右下角上的8个像素X(i-1)(j-1)、X(i-1)j、X(i-1)(j+1)、Xi(j-1)、Xi(j+1)、X(i-1)(j-1)、X(i-1)j、X(i+1)(j+1)以及感兴趣像素Xij组成的类抽头。把类抽头供应给波形分类单元1052。
注意，在这种情况下，虽然类抽头由包括3×3个像素的正方形方块组成，但是，这未必是正方形；而是，可以使用任意形状，例如，长方形、十字形等。此外，构成类抽头的像素个数也不限于3×3个像素的9个像素。
波形分类单元1052进行根据其特征把输入信号分成几类的分类处理，并且，根据类抽头，把感兴趣像素分成一类。例如，波形分类单元1052把感兴趣像素分成512个类之一，并且把与所分的类相对应的类号供应给预测抽头获取单元1032。
这里，简要描述一下分类处理。
现在，让我们假设给定感兴趣像素和它的3个相邻像素构成如图99A所示，由2×2个像素组成的类抽头，和每个像素用1个位来代表(具有0或1的电平)。图99A所示的实心圆表示感兴趣像素。在这种情况下，如图99B所示，通过每个像素的电平分布，包含感兴趣像素的2×2个像素的四像素块可以分成16(＝(21)4)种模式。在图99B中，空心圆表示0，实心圆表示1。因此，在这种情况下，感兴趣像素可以分成16种模式，其中，模式分类就是分类处理，并且由分类单元1031进行处理。
注意，可以作出这样的安排，其中，分类处理可以在考虑了图像(类抽头)的活动性(图像的复杂性)(变化强度)之后进行。
这里，一般说来，分配给每个像素大约8个位。此外，对于本实施例，如上所述，类抽头由3×3个像素的9个像素组成。因此，把这样的类抽头作为一个对象进行分类处理，类抽头将会变成被分类成其数字是(28)9的非常多个类的类抽头。
因此，对于本实施例，由分类单元1052对类抽头进行ADCR处理，并且，通过减少构成类抽头的像素的位数，降低类数。
为了简化描述，对于如图100A所示由排列在一行上的4个像素的类抽头，在ADRC处理中检测像素值的最大值MAX和像素值的最小值MIN。然后，把DR＝MAX-MIN取作由类抽头组成的块中的局部动态范围，并且根据动态范围DR，把构成类抽头的块的像素的像素值重新量化成K个位。
也就是说，从块内的每个像素值中减去最小值MIN，并且把差值除以DR/2K。把如此获得的相除值转换成与之相对应的代码(ADRC码)。具体地说，例如，在把K取作2的情况下，如图100B所示，判断相除值属于把动态范围DR分成4个(＝22)相等部分得到的范围的哪一个，并且，根据相除值属于最底层的范围、从底层算起第二层的范围、从底层算起第三层的范围、还是最上层的范围，把相除值分别编码成，例如，像00B、01B、10B或11B(B表示二进制数)那样的2-位代码。然后，在解码方，通过把ADRC代码00B、01B、10B或11B转换成最底层范围内的中值L00、从底层算起第二层范围内的中值L01、从底层算起第三层范围内的中值L10、或最上层范围内的中值L11、和把最小值MIN加入转换值中，进行解码，其中，这些范围是通过把动态范围DR分成4个相等部分获得的。
这里，如上所述的ADRC处理被称为非边缘匹配(non-edge-matching)。
注意，有关ADRC处理的细节公开在，例如，由本申请人申请的日本待审专利申请公布第3-53778等中。
通过进行如上所述利用比分配给构成类抽头的像素的位数少的位数进行重新量化的ADRC处理，可以降低类数，并且，上述ADRC处理由波形分类单元1052来进行。
虽然在本实施例中，波形分类单元1052根据ADRC代码进行分类处理，但是，也可以作出这样的安排，对经过DPCM(预测编码)、BTC(块截断编码)、VQ(向量编码)、DCT(离散余弦变换)、Hadamard(哈达玛)变换等的数据进行分类处理。
预测抽头获取单元1032根据类号，从学生图像的像素中获取与类相对应的、用于计算原始图像(教师图像)的预测值的、作为增量的预测抽头，并且把类号和获取的预测抽头供应给相应像素获取单元1033。
例如，在图97中，让我们假设原始图像(教师图像)中中心在学生图像(在图中用实心圆表示)中的像素Xij上的2×2的4个像素的像素值沿着从最左边到右边的方向，和沿着从上边到下边的方向，分别被表示成Yij(1)、Yij(2)、Yij(3)、Yij(4)，为了计算像素Yij(1)到Yij(4)的预测值计算所需的系数，预测抽头获取单元1032获取由，例如，中心在学生图像中的像素Xij上的3×3的9个像素X(i-1)(j-1)、X(i-1)j、X(i-1)(j+1)、Xi(j-1)、Xij、Xi(j+1)、X(i+1)(j-1)、X(i+1)j、X(i+1)(j+1)组成的正方形预测抽头。
具体地说，例如，为了计算图97中四角形所围的、教师图像中的4个像素Y33(1)到Y33(4)的预测值计算所需的系数，像素X22、X23、X24、X32、X33、X34、X42、X43、X44构成预测抽头(在这种情况中，感兴趣像素是X33)。
相应像素获取单元1033根据预测抽头和类号，获取与待预测像素值相对应的教师图像中的像素的像素值，并且把预测抽头、类号、和获取的与待预测像素值相对应的教师图像中的像素的像素值供应给正规方程生成单元1034。
例如，在计算教师图像中4个像素Y33(1)到Y33(4)的预测值所需的系数的情况下，相应像素获取单元1033获取像素Y33(1)到Y33(4)的像素值，作为与待预测像素值相对应的教师图像中的像素。
正规方程生成单元1034根据预测抽头、类号、和获取的待预测像素值，生成用于计算与预测抽头和待预测像素之间的相关性相对应的、用在自适应处理中的系数组的正规方程，并且把生成的正规方程与类号一起供应给系数计算单元1035。
系数计算单元1035通过求解正规方程生成单元1034供应的正规方程，生成与所分的类相对应的、用在自适应处理中的系数组。系数计算单元1035把计算的系数组与类号一起供应给系数组存储器1007。
可以作出这样的安排，其中，正规方程生成单元1034生成与这样的正规方程相对应的矩阵，和系数计算单元1035根据生成的矩阵计算系数组。
这里，描述一下自适应处理。
例如，让我们现在考虑一下从通过几个邻近像素的像素值x1、x2…(被适当地称为学生数据)和预定预测系数w1、w2…的线性组合定义的一维线性组合模型中获取教师图像中像素值y的预测值E[y]。在这种情况下，预测值E[y]可以用如下的表达式表示。
E[y]＝w1x1+w2x2+… (111)因此，一旦把由一组预测系数组成的矩阵W、由一组学生数据组成的矩阵X、和由一组预测值E[y]组成的矩阵Y′定义成X=x11x12···x1nx21x22···x2n············xm1xm2···xmn]]>W=w1w2···wn,Y′=E[y1]E[y2]···E[ym]]]>那么，如下观察表达式成立。
XW＝Y′(112)让我们现在考虑一下通过把最小二乘法应用于观察表达式，获取原始图像的像素值y附近的预测值E[y]。在这种情况下，一旦把由原始图像中的一组像素值y(被适当地称为教师数据)组成的矩阵Y和由与原始图像中的像素值y有关的预测值E[y]的一组残量e组成的矩阵E定义成
E=e1e2···em,Y=y1y2···ym]]>那么，根据表达式(112)，如下残差表达式成立。
XW＝Y+E (113)在这种情况下，通过求误差容限的平方和Σi=1me2]]>的极小值，可以获得用于获取原始图像中像素值y附近的预测值E[y]的预测系数wi。
因此，在上述误差容限的平方和对预测系数wi的导数等于0的情况下，也就是说，在预测系数wi满足如下表达式的情况下，预测系数wi是获取原始图像中像素值y附近的预测值E[y]的最佳值。
e1&PartialD;e1&PartialD;wi+e2&PartialD;e2&PartialD;wi+···+em&PartialD;em&PartialD;wi=0,i=(1,2,···,n)---(114)]]>这里，通过求表达式(113)关于预测系数wi的微分，如下的表达式成立。
&PartialD;ei&PartialD;w1=xi1,&PartialD;ei&PartialD;w2=xi2,···,&PartialD;ei&PartialD;wn=xin,i=(1,2,···,m)---(115)]]>从表达式(114)和表达式(115)中获取表达式(116)。
Σi=1meixi1=0,Σi=1meixi2=0,···,Σi=1meixin=0---(116)]]>此外，考虑残差表达式(113)中学习数据x、预测系数wi、教师数据y、和残量e之间的关系，从表达式(116)中可以获得如下正规方程。
(Σi=1mxi1xi1)w1+(Σi=1mxi1xi2)w2+···+(Σi=1mxi1xin)wn=(Σi=1mxi1yi)(Σi=1mxi2xi1)w1+(Σi=1mxi2xi2)w2+···+(Σi=1mxi2xin)wn=(Σi=1mxi2yi)···(Σi=1mxinxi1)w1+(Σi=1mxinxi2)w2+···+(Σi=1mxinxin)wn=(Σi=1mxinyi)---(117)]]>可以形成与待获取的预测系数wi的个数一样多的如表达式(117)所表示的正规方程，因此，通过求解表达式(117)，可以获得最佳预测系数wi。注意，表达式(117)可以应用，例如，搜索法(Gouss-Gordan消元法)来求解。
自适应处理包括为每个类获取最佳预测系数wi、和利用预测系数wi，通过方程(111)获取教师图像中像素值y附近的预测值E[y]。
正规方程生成单元1034生成用于为每个类计算最适当预测系数wi的正规方程，和系数计算单元1035根据生成的正规方程，计算预测系数wi。
注意，自适应处理不同于对不包含在变稀图像中，而是包含在再现的原始图像中的成分的内插处理。也就是说，虽然在只考虑表达式(111)的情况下，自适应处理与利用内插滤波器的内插处理相同，但是，与内插滤波器的抽头系数相对应的预测系数wi是利用教师数据y，通过照原来样子进行学习获得的，因此，自适应处理可以再现包含在原始图像中的成分。于是，可以认为，自适应处理起照原来样子建立图像的作用。
图101是描述其配置显示在图96中的运动模糊消除图像处理单元108生成的系数组的图形。区域指定单元103指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。
已经指定了区域和混合比计算单元104已经检测了混合比α的输入图像被前景/背景分离单元105分离成前景成分图像和背景成分图像。
运动模糊消除单元106从分离的前景成分图像中消除运动模糊。与前景成分图像的运动模糊的消除相对应，纠正单元107纠正分离的背景成分图像中与混合区相对应的像素值。
根据经过运动模糊消除的前景成分图像和经过纠正的背景成分图像，运动模糊消除图像处理单元108分别计算与前景成分图像相对应的系数组和与背景成分图像相对应的系数组。
也就是说，学习单元1006-1根据分离和纠正的背景成分图像，计算与背景成分图像相对应的系数组，和学习单元1006-2根据经过分离和运动模糊消除的前景成分图像，计算与前景成分图像相对应的系数组。
在预测要应用于分离和纠正前景成分图像的像素值的分类自适应处理中，与背景成分图像相对应的系数组用于预测与背景成分图像相对应的图像的像素值。
在预测要应用于已经从输入图像中分离出来的和经过运动模糊消除的前景成分图像的分类自适应处理中，与前景成分图像相对应的系数组用于预测与前景成分图像相对应的图像的像素值。
把运动模糊加入与前景成分图像相对应的预测图像中。与运动模糊加入前景成分图像中相对应，纠正与背景成分图像相对应的预测图像。
把与纠正背景成分图像相对应的预测图像和与经过运动模糊加入的前景成分图像相对应的预测图像合成成单个预测图像。
参照图102所示的流程图，对在其配置显示在图96中的运动模糊消除图像处理单元108中，通过分类自适应处理生成用在像素值预测中的系数组的学习处理加以描述。
在步骤S1001中，加权平均单元1003-1和加权平均单元1003-2生成与背景成分图像相对应的学生图像和与前景成分图像相对应的学生图像。也就是说，加权平均单元1003-1对，例如，存储在背景成分教师图像帧存储器1001中的教师图像的背景成分图像进行四分之一加权平均，生成与教师图像的背景成分图像相对应的学生图像。
加权平均单元1003-2对，例如，存储在背景成分教师图像帧存储器1002中的教师图像的前景成分图像进行四分之一加权平均，生成与教师图像的前景成分图像相对应的学生图像。
在步骤S1002中，学习单元1006-1根据存储在背景成分教师图像帧存储器1001中的教师图像的背景成分图像和存储在背景成分学生图像帧存储器1004中与教师图像的背景成分图像相对应的学生图像，生成与背景成分图像相对应的系数组。在步骤S1002中生成系数组的处理细节将参照图103所示的流程图加以描述。
在步骤S1003中，学习单元1006-2根据存储在前景成分教师图像帧存储器1002中的教师图像的前景成分图像和存储在前景成分学生图像帧存储器1005中与教师图像的背景成分图像相对应的学生图像，生成与前景成分图像相对应的系数组。
在步骤S1004中，学习单元1006-1和学习单元1006-2分别把与背景成分图像相对应的系数和与前景成分图像相对应的系数输出到系数组存储器1007。系数组存储器1007存储与前景成分图像相对应的系数组，或与背景成分图像相对应的系数组，然后，结束处理。
如上所述，其配置显示在图96中的运动模糊消除图像处理单元108可以生成与背景成分图像相对应的学生图像、和与前景成分图像相对应的系数组。
注意，不用说，步骤S1002和步骤S1003中的处理可以串行或并行地执行。
现在，参照图103，描述与步骤S1002相对应，学习单元1006-1生成与背景成分图像相对应的系数组的处理。
在步骤S1021中，学习单元1006-1判断在与背景成分图像相对应的输入图像中是否还存在未处理的像素，并且，在作出在与背景成分图像相对应的输入图像中还存在未处理像素的判断的情况下，流程转到步骤S1022，在步骤S1022中，以光栅扫描顺序从与背景成分图像相对应的输入图像中获取感兴趣像素。
在步骤S1023中，分类单元1031的类抽头获取单元1051从存储在背景成分学生图像帧存储器1004中的学生图像中获取与感兴趣像素相对应的类抽头。在步骤S1024中，分类单元1031的波形分类单元1052把ADRC处理应用于类抽头，这减少了构成类抽头的像素的位数，然后，分类感兴趣像素。在步骤S1025中，预测抽头获取单元1032根据所分的类，从存储在背景成分学生图像帧存储器1004中的学生图像图像中获取获取与感兴趣像素相对应的预测抽头。
在步骤S1026中，相应像素获取单元1033根据所分的类，从存储在背景成分教师图像帧存储器1001中的教师图像的背景成分图像中获取与待预测像素值相对应的像素。
在步骤S1027中，正规方程生成单元1034根据所分的类，把与预测抽头相对应的像素的像素值和待预测的像素值加入每个类的矩阵中，流程返回到步骤S1021，学习单元1006-1重复判断是否存在未处理像素。预测抽头和把与预测抽头相对应的像素的像素值和待预测的像素值加入其中的每个类的矩阵对应于计算每个类的系数组的正规方程。
在步骤S1021中，在作出在学生图像中再也没有未处理像素的判断的情况下，流程转到步骤S1028，在步骤S1028中，正规方程生成单元1034把为其设置了与预测抽头相对应的像素的像素值和待预测的像素值的每个类的矩阵供应给系数计算单元1035。系数计算单元1035通过求解为其设置了与预测抽头相对应的像素的像素值和待预测的像素值的、每个类的矩阵，计算与背景成分图像相对应的、每个类的系数组。
注意，系数组不限制通过线性预测来预测像素值，也可以作出这样的安排，其中，系数计算单元1035计算通过非线性预测来预测像素值的系数组。
在步骤S1029中，系数计算单元1035把与背景成分图像相对应的、每个类的系数组输出到系数组存储器1007，然后，结束处理。
如上所述，学习单元1006-1可以生成与背景成分图像相对应的系数组。
除了利用存储在背景成分学生图像帧存储器1002中的前景成分图像和存储在前景成分学生图像帧存储器105中与背景成分图像相对应的学生图像之外，与步骤S1003相对应，学习单元1006-1生成与前景成分图像相对应的系数组的处理与参照图103所示的流程图所述的处理相同，因此，略去不述。
如上所述，其配置显示在图96中的运动模糊消除图像处理单元108可以分别生成与经过纠正的背景成分图像相对应的系数组、和与经过运动模糊消除的前景成分图像相对应的系数组。
图104是显示通过进行分类自适应处理沿着空间方向生成更高分辨率图像的运动模糊消除图像处理单元108的配置的方块图。例如，其配置显示在图104中的运动模糊消除图像处理单元108根据本身是SD图像的输入图像，通过分类自适应处理，可以生成HD图像。
背景成分图像帧存储器1101存储纠正单元107供应的、经过纠正的背景成分图像。背景成分图像帧存储器1101把存储的背景成分图像供应给映射单元1103-1。
前景成分图像帧存储器1102存储运动模糊消除单元106供应的、经过运动模糊消除的前景成分图像。前景成分图像帧存储器1102把存储的前景成分图像供应给映射单元1103-2。
映射单元1103-1根据存储在系数组存储器1104中与背景成分图像相对应的系数组，通过分类自适应处理，生成与存储在背景成分图像帧存储器1101中的背景成分图像相对应的预测图像。映射单元1103-1把生成的预测图像供应给纠正单元1105。
纠正单元1105把与运动模糊加入单元1106加入的运动模糊相对应的、与背景成分图像中的混合区相对应的预测图像中的预定像素的像素值设置成0；或者，将预测图像中预定像素的像素值除以与加入的运动模糊相对应的预定值。纠正单元1005把上述经过纠正的预测图像供应给合成单元1107。
映射单元1103-2根据存储在系数组存储器1104中与前景成分图像相对应的系数组，通过分类自适应处理，生成与存储在前景成分图像帧存储器1102中的前景成分图像相对应的预测图像。映射单元1103-2把生成的预测图像供应给运动模糊加入单元1106。
运动模糊加入单元1106通过提供所需运动模糊调整量v′，例如，其值是输入图像的运动量v的一半的运动模糊调整量v′，或者与运动量v没有任何关系的运动模糊调整量v′，把运动模糊加入预测图像中。运动模糊加入单元1106通过将经过运动模糊消除的前景成分图像中预测图像中的像素值Fi除以运动模糊调整量v′，计算前景成分Fi/v′，计算前景成分Fi/v′之和，生成把运动模糊加入其中的像素值。
例如，在输入图105所示的预测图像，和运动模糊调整量v′是3的情况下，如图106所示，像素值C02是(F01)/v′，像素值C03是(F01+F02)/v′，像素值C04是(F01+F02+F03)/v′，和像素值C05是(F02+F03+F04)/v′。
运动模糊加入单元1106把上述经过运动模糊加入的前景成分图像的预测图像供应给合成单元1107。
合成单元1107合成纠正单元1105供应的、与经过纠正的背景成分图像相对应的预测图像、和运动模糊加入单元1106供应的、与经过运动模糊加入的前景成分图像相对应的预测图像，并且把合成的预测图像供应给帧存储器1108。
帧存储器1108存储合成单元1107供应的预测图像，并且还输出存储的图像，作为输出图像。
在不需要特别区分映射单元1103-1和映射单元1103-2的情况下，下面把它们简称为映射单元1103。
图107是显示映射单元1103的配置的方块图。
映射单元1131包括进行分类处理的分类单元1141、和进行自适应处理的预测抽头获取单元1142和预测计算单元1143。
分类单元1141包括类抽头获取单元1151和波形分类单元1152，对或者是背景成分图像或者是前景成分图像的输入图像中的感兴趣像素进行分类。
类抽头获取单元1151获取与输入图像中感兴趣像素相对应的预定个类抽头，并且把获取的类抽头供应给波形分类单元1152。例如，类抽头获取单元1151获取9个类抽头，并且把获取的类抽头供应给波形分类单元1152。
波形分类单元1152通过把ADRC处理应用于类抽头，减少构成类抽头的像素的位数，把感兴趣像素分类成预定个类之一，并且把与所分的类相对应的类号供应给预测抽头获取单元1142。例如，波形分类单元1152把感兴趣像素分类成512个类之一，并且把与所分的类相对应的类号供应给预测抽头获取单元1142。
预测抽头获取单元1142根据类号，从输入图像中获取与类相对应预定个预测抽头，并且把获取的预测抽头和类号供应给预测计算单元1143。
预测计算单元1143根据类号，从存储在系数组存储器1104的、与背景成分图像相对应的系数组和与前景成分图像相对应的系数组中获取与类相对应的、和与输入图像相对应的系数组。预测计算单元1143根据与类相对应的、和与输入图像相对应的系数组和预测抽头，通过线性预测，预测预测图像中的像素值。预测计算单元1143把预测像素值供应给帧存储器1132。
注意，可以作出这样的安排，其中，预测计算单元1143通过非线性预测，预测预测图像中的像素值。
帧存储器1132存储映射处理单元1131供应的预测像素值，和输出由预测像素值组成的图像。
现在，参照图108所示的流程图，描述其配置显示在图104中的运动模糊消除单元108建立图像的处理。
在步骤S1101中，映射单元1103-1根据存储在系数组存储器1104中与背景成分图像相对应的系数组，通过分类自适应处理，预测与存储在背景成分图像帧存储器1101中的背景成分图像相对应的图像。预定与背景成分图像相对应的图像的处理细节以后将参照图109加以描述。
在步骤S1102中，映射单元1103-2根据存储在系数组存储器1104中与前景成分图像相对应的系数组，通过分类自适应处理，预测与存储在前景成分图像帧存储器1102中的前景成分图像相对应的图像。
在步骤S1103中，纠正单元1105纠正与背景成分图像相对应的预测图像。
在步骤S1104中，运动模糊加入单元1106把运动模糊加入与前景成分图像相对应的预测图像中。
在步骤S1105中，合成单元1107将与背景成分图像相对应的预测图像和与前景区相对应的预测图像合成在一起。合成单元1107把合成图像供应给帧存储器1108。帧存储器存储合成单元1107供应的图像。
在步骤S1106中，帧存储器1108输出存储的合成图像，然后，结束处理。
如上所述，含有其配置显示在图104中的运动模糊消除单元108的图像处理设备分别生成与背景成分图像相对应的预测图像和与经过运动模糊消除的前景成分图像相对应的预测图像。
注意，不用说，步骤S1101中的处理和步骤S1102中的处理可以以串行的方式进行，也可以以并行的方式进行。
参照图109所示的流程图，描述与步骤S1101相对应，映射单元1103-1预测与背景成分图像相对应的图像的处理。
在步骤S1121中，映射单元1103-1判断在背景成分图像中是否还存在未处理的像素，并且，在作出在背景成分图像中还存在未处理像素的判断的情况下，流程转到步骤S1122，在步骤S1122中，映射处理单元1131获取存储在系数组存储器1104中与背景成分图像相对应的系数组。在步骤S1123中，映射处理单元1131以光栅扫描顺序，从存储在背景成分图像帧存储器1101中的背景成分图像中获取感兴趣像素。
在步骤S1124中，分类单元1141的类抽头获取单元1151从存储在背景成分图像帧存储器1101中的背景成分图像中获取与感兴趣像素相对应的类抽头。在步骤S1125中，分类单元1141的波形分类单元1152通过把ADRC处理应用于类抽头，减少构成类抽头的像素的位数，对感兴趣像素进行分类。在步骤S1126中，预测抽头获取单元1142根据所分的类，从存储在背景成分图像帧存储器1101中的背景成分图像中获取与感兴趣像素相对应的预测抽头。
在步骤S1127中，预测计算单元1143根据与背景成分图像和所分的类相对应的系数组和预测抽头，通过线性预测，预测预测图像的像素值。
注意，除了线性预测之外，预测计算单元1143也可以通过非线性预测，预测预测图像的像素值。
在步骤S1128中，预测计算单元1143把预测的像素值输出到帧存储器1132。帧存储器1132存储预测计算单元1143供应的像素值。过程返回到步骤S1121，重复是否还存在未处理像素的判断。
在步骤S1121中，在作出在背景成分图像中再也没有未处理像素的判断的情况下，帧存储器输出存储的与背景成分图像相对应的预测图像，然后，结束处理。
如上所述，映射单元1103-1根据纠正的背景成分图像，可以预测与背景成分图像相对应的图像。
除了利用存储在背景成分学生图像帧存储器1002中的前景成分图像和与前景成分图像相对应的系数组之外，与步骤S1102相对应，映射单元1103-2生成与前景成分图像相对应的预测图像的处理与参照图109所示的流程图所述的处理相同，因此，略去不述。
如上所述，其配置显示在图104中的运动模糊消除图像处理单元108可以分别生成与背景成分图像相对应的预测图像、和与经过运动模糊消除的前景成分图像相对应的预测图像。
图110是描述利用根据本发明的图像处理设备对图像进行另一种处理的流程图。在参照如图110所示的流程图所述的处理中，边缘改善处理可应用于经过运动模糊消除的图像。
在步骤S1201中，区域指定单元103根据运动检测单元102供应的运动向量和它的位置信息、和输入图像，指定前景区、背景区、覆盖背景区、和未覆盖背景区。步骤S1201中的处理与步骤S101中的处理相同，因此，省略对该处理的详细描述。
在步骤S1202中，混合比计算单元104根据区域指定单元103供应的区域信息和输入图像，计算混合比α。步骤S1202中的处理与步骤S102中的处理相同，因此，省略对该处理的详细描述。
在步骤S1203中，前景/背景分离单元105根据区域指定单元103供应的区域信息和混合比计算单元104供应的混合比α，把输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的前景成分图像。步骤S1203中的处理与步骤S103中的处理相同，因此，略去不述。
在步骤S1204中，运动模糊消除单元106根据运动检测单元102供应的运动向量和它的位置信息、和区域指定单元103供应的区域信息，从前景/背景分离单元105供应的前景成分图像中消除运动模糊。步骤S1204中的处理与步骤S104中的处理相同，因此，省略对该处理的详细描述。
在步骤S1205中，纠正单元107纠正前景/背景分离单元105供应的背景成分图像中与混合区相对应的像素值。步骤S1205中的处理与步骤S105中的处理相同，因此，略去不述。
在步骤S1206中，运动模糊消除图像处理单元108分别对经过运动模糊消除的前景成分图像、和纠正的前景成分图像进行边缘改善处理，然后，结束处理。运动模糊消除图像处理单元108进行的边缘改善处理以后再述。
如上所述，根据本发明的图像处理设备把输入图像分离成前景成分图像和背景成分图像，从前景成分图像中消除运动模糊，和分别对经过运动模糊消除的前景成分图像、和前景成分图像进行图像处理。
图111是显示对每个背景成分图像或每个前景成分图像应用效果不同的边缘改善处理的运动模糊消除图像处理单元108的配置的方块图。
背景成分图像帧存储器1201存储纠正单元107供应的纠正背景成分图像。背景成分图像帧存储器1201把存储的背景成分图像供应给边缘改善单元1203-1。
前景成分图像帧存储器1202存储运动模糊消除单元106供应的、经过运动模糊消除的前景成分图像。前景成分图像帧存储器1202把存储的前景成分图像供应给边缘改善单元1203-2。
边缘改善单元1203-1把适合于背景成分图像的边缘改善处理应用于存储在背景成分图像帧存储器1201中的背景成分图像。
例如，边缘改善单元1203-1进行与前景成分图像相比，进一步改善本身是静止图像的背景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于包含噪声的图像的情况下，可以提高背景成分图像的分辨率，而不会出现图像的人为失真。
边缘改善单元1203-1把经过边缘改善的背景成分图像供应给纠正单元1204与运动模糊加入单元1205加入的运动模糊相对应，纠正单元1104把背景成分图像中的混合区中的像素的像素值设置成0，或者，将混合区中的像素的像素值除以与加入的运动模糊相对应的预定值。纠正单元1005把如上所述纠正的图像供应给合成单元1106。
边缘改善单元1203-2把适合于前景成分图像的边缘改善处理应用于存储在前景成分图像帧存储器1202中的前景成分图像。
例如，边缘改善单元1203-2将前景成分图像与背景成分图像相比较，进行其边缘改善程度小于对背景成分图像的边缘改善程度的边缘改善处理。因此，即使经过运动模糊消除的前景成分图像包含噪声，也不会引起图像的人为失真，并且提高了前景成分图像中的分辨率。
边缘改善单元1203-3把经过边缘改善的前景成分图像供应给运动模糊加入单元单元1205。
在不需要特别区分边缘改善单元1203-1和边缘改善单元1203-2的情况下，下面把它们简称为边缘改善单元1203。
图112是显示边缘改善单元1203的配置的方块图。把前景成分图像和背景成分图像之一的输入图像输入高通滤波器1221和相加单元1223中。
高通滤波器1221根据输入的滤波系数，从输入图像中提取像素值随像素位置剧烈变化的成分，即，图像高频成分，消除像素值随像素位置变化小的成分，即图像低频成分，生成边缘图像。
例如，在输入图113A所示的图像的情况下，高通滤波器1221改变要提取的图像频率、要消除的图像频率、和要提取的图像增益。
参照图114到图117，描述滤波系数和边缘图像之间的关系。
图114是显示滤波系数的第一个例子的图形。在图114中，E表示10的乘方。例如，E-04表示10-4，和E-02表示10-2。
例如，高通滤波器1221将每个像素值，即，感兴趣像素像素的像素值、在空间方向Y中沿着预定方向与感兴趣像素相距1个像素到15个像素的像素的像素值、和在空间方向Y中沿着另一个方向与感兴趣像素相距1个像素到15个像素的像素的像素值乘以图114所示的滤波系数的相应系数。高通滤波器1221计算将像素的每个像素值乘以与之相对应的系数获得的结果之和，并且把计算和设置为感兴趣像素的像素值。
例如，在利用图114所示的滤波系数的情况下，高通滤波器1221将感兴趣像素的像素值乘以1.2169396，将屏幕上方与感兴趣像素相距1个像素的像素的像素值乘以-0.52539356，和将屏幕上方与感兴趣像素相距2个像素的像素的像素值乘以-0.22739914。
以此类推，在利用图114所示的滤波系数的情况下，高通滤波器1221将屏幕上方与感兴趣像素相距3个像素到13个像素的像素值乘以相应系数，将屏幕上方与感兴趣像素相距14个像素的像素的像素值乘以-0.00022540586，和将屏幕上方与感兴趣像素相距15个像素的像素的像素值乘以-0.00039273163。
在利用图114所示的滤波系数的情况下，以此类推，高通滤波器1221将屏幕下方与感兴趣像素相距1个像素到15个像素的每个像素的像素值乘以相应系数。
高通滤波器1221计算将感兴趣像素的像素值、屏幕上方与感兴趣像素相距1个像素到15个像素的像素的每个像素值、和屏幕下方与感兴趣像素相距1个像素到15个像素的像素的每个像素值乘以相应系数所得的结果之和。高通滤波器1221把计算和设置成感兴趣像素的像素值。
高通滤波器1221沿着空间方向X依次移动感兴趣像素的位置，重复如上所述的处理，为整个屏幕计算像素值。
然后，高通滤波器1221将根据上述系数计算像素值的图像中，感兴趣像素的像素值、在空间方程X中沿着预定方向与感兴趣像素相距1个像素到15个像素的像素的每个像素值、和在空间方程X中沿着另一个方向与感兴趣像素相距1个像素到15个像素的像素的每个像素值乘以相应系数。高通滤波器1221计算将像素的每个像素值乘以相应系数所得的结果之和，并且把计算和设置成感兴趣像素的像素值。
高通滤波器1221沿着空间方向Y依次移动感兴趣像素的位置，重复如上所述的处理，为整个屏幕计算像素值。
也就是说，在这种情况下，高通滤波器1221是利用图114所示的系数的所谓一维滤波器。
图115是显示在使用图114所示的系数的情况下，高通滤波器1221的操作的图形。如图115所示，在使用图114所示的系数的情况下，高通滤波器1221上提取图像成分的最大增益是1。
图116是显示滤波系数的第二个例子的图形。
图117是显示在使用图116所示的系数进行与使用图114所示的系数的处理相同的处理的情况下，高通滤波器1221的操作的图形。如图117所示，在使用图116所示的系数的情况下，高通滤波器1221上提取图像成分的最大增益是1.5。
如上所述，高通滤波器1221通过供应的滤波系数改变提取图像成分的增益。
虽然这里没有举出例子，但是，在提供不同滤波系数的情况下，高通滤波器1221可以以相同的方式改变提取的图像频率和消除的图像频率。
返回到图112，高通滤波器1221把生成的边缘图像供应给增益调整1222。
增益调整单元1222根据输入的增益调整系数，增强或减弱高通滤波器1221供应的边缘图像。在输入的增益调整系数发生改变的情况下，增益调整单元1222改变边缘图像的放大率(或衰减率)。例如，在输入表示放大率等于或大于1的增益调整系数的情况下，增益调整单元1222增强边缘图像，在输入表示放大率小于1的增益调整系数的情况下，增益调整单元1222削弱边缘图像。
增益调整单元1222把经过增益调整的边缘图像供应给相加单元1223。
相加单元1223相加分输入图像和增益调整单元1222供应的经过增益调整的边缘图像，输出相加图像。
例如，在输入图113A所示的输入图像，和供应来自高通滤波器1221的、如图113B所示的边缘图像的情况下，相加单元1223相加如图113A所示的输入图像和如图113B所示的边缘图像，输出如图113C所示的图像。
如上所述，边缘改善单元1203把边缘改善处理应用于输入图像。
例如，其配置显示在图112中的边缘改善单元1203-1利用如图116所示的系数，把程度更高的边缘改善处理应用于背景成分图像。其配置显示在图112中的边缘改善单元1203-2利用如图116所示的系数，把程度相对低一些的边缘改善处理应用于前景成分图像。
图118是显示边缘改善单元1203的另一种配置的方块图。在图118所示的例子中，边缘改善单元1203包括滤波器1241。
滤波器1241根据输入滤波系数，通过增强输入图像中像素值随像素位置剧烈变化的成分，即图像高频成分，生成边缘改善图像。
例如，在应用，例如，如图119所示的系数的情况下，滤波器1241根据，例如，如图119所示的系数，进行与针对高通滤波器1221所述的处理相同的处理。
图120是显示在使用如图119所示的系数的情况下，滤波器1241的操作的图形。如图120所示，在使用如图119所示的系数的情况下，滤波器1241把图像高频成分增强到原来的2倍，让图像低频成分按原样通过，生成边缘改善图像。
在使用如图119所示的系数的情况下，滤波器1241输出与在使用如图114所示的系数和增益调整单元1222的增益是1的情况下，来自其配置显示在图112中的边缘改善单元1203的输出图像相同的输出图像。
图121是显示供应给滤波器1241的滤波系数的第二个例子的图形。
图122是显示在使用如图121所示的系数的情况下，滤波器1241的操作的图形。如图122所示，在使用如图121所示的系数的情况下，滤波器1241把图像高频成分增强到原来的2.5倍，让图像低频成分按原样通过，生成边缘改善图像。
在使用如图121所示的系数的情况下，滤波器1241输出与在使用如图116所示的系数和增益调整单元1222的增益是1的情况下，来自其配置显示在图112中的边缘改善单元1203的输出图像相同的输出图像。
如上所述，其配置显示在图118中的边缘改善单元1203通过输入滤波系数改变图像中的高频成分的增益，可以改变图像中边缘改善的程度。
例如，其配置显示在图118中的边缘改善单元1203-1利用如图121所示的系数，把程度更高的边缘改善处理应用于背景成分图像。其配置显示在图118中的边缘改善单元1203-2利用如图119所示的系数，把程度相对低一些的边缘改善处理应用于前景成分图像。
如上所述，边缘改善单元1203-1和边缘改善单元1203-2根据，例如，不同的滤波系数或增益调整系数，把与前景成分图像或背景成分图像的性质相对应的边缘改善处理应用于每个前景成分图像或每个背景成分图像。
返回到图111，运动模糊加入单元1105通过与运动模糊加入单元1106相同的处理，通过给出所需的运动模糊调整量v′，例如，其值是输入图像的运动量v的一半的运动模糊调整量v′，或者与运动量v没有任何关系的运动模糊调整量v′，把运动模糊加入预测图像中。运动模糊加入单元1106通过将经过运动模糊消除的前景成分图像中的像素值Fi除以运动模糊调整量v′，计算前景成分Fi/v′，计算前景成分Fi/v′之和，生成把运动模糊加入其中的像素值。
运动模糊加入单元1105把把运动模糊加入经过边缘改善的前景成分图像中，并且把经过运动模糊加入的前景成分图像供应给合成单元1206。
合成单元1206合成纠正单元1204供应的、经过边缘改善和纠正的背景成分图像、和运动模糊加入单元1205供应的、经过边缘改善和运动模糊加入的前景成分图像，并且把合成的图像供应给帧存储器1207。
帧存储器1207存储合成单元1206供应的合成图像，并且还输出存储的图像，作为输出图像。
如上所述，其配置显示在图111中的运动模糊消除图像处理单元108把与每个图像的性质相对应的边缘改善处理应用于每个背景成分图像或每个前景成分图像，因此，提高了图像的分辨率，而不会人为地使图像失真。
图123是描述其配置显示在图111中的运动模糊消除图像处理单元108中的处理的图形。
区域指定单元103指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。指定了区域的输入图像由前景/背景分离单元105分离成背景成分图像和前景成分图像。
运动模糊消除单元106从分离的前景成分图像中消除运动模糊。纠正单元107纠正分离的前景成分图像中与混合区相对应的像素的像素值。
与每个图像的性质相对应，其配置显示在图111中的运动模糊消除图像处理单元108对纠正的背景成分图像和经过运动模糊消除的前景成分图像的每一个进行边缘改善处理。
与运动模糊加入前景成分图像中相对应，纠正经过边缘改善的背景成分图像。把所需运动模糊加入经过边缘改善的前景成分图像。
把经过边缘改善和纠正的背景成分图像和经过边缘改善和运动模糊加入的前景成分图像合成在一起。
现在，参照图124所示的流程图，对与图110所示的步骤S1206相对应，运动模糊消除图像处理单元108中的边缘改善处理加以描述。
在步骤S1401中，边缘改善单元1203-1通过与背景成分图像的性质相对应的边缘改善处理，对存储在背景成分图像帧存储器1201中的背景成分图像进行边缘改善。
在步骤S1402中，边缘改善单元1203-2通过与前景成分图像的性质相对应的边缘改善处理，对存储在前景成分图像帧存储器1202中的前景成分图像进行边缘改善。
在步骤S1403中，与把运动模糊加入前景成分图像中相对应，纠正单元1204纠正背景成分图像中的像素值。
在步骤S1404中，运动模糊加入单元1205把所需的运动模糊加入前景成分图像中。
在步骤S1405中，合成单元1206把经过边缘改善和纠正的背景成分图像和经过边缘改善和运动模糊加入的前景成分图像合成在一起。合成单元1206把合成图像供应给帧存储器1207。帧存储器1207存储合成单元1206供应的图像。
在步骤S1406中，帧存储器1207输出存储的合成图像，然后，结束处理。
如上所述，其配置显示在图111中的运动模糊消除图像处理单元108可以与每个图像的性质相对应，对每个背景成分图像和每个前景成分图像进行边缘改善处理，因此，可以提高分辨率，而不会出现图像的人为失真。
注意，不用说，步骤S1401和步骤S1402中的处理可以串行地或并行地进行。
图125是生成系数组的运动模糊消除图像处理单元108的配置的方块图，生成的系数组用于消除与经过运动模糊消除的前景成分图像相对应的噪声的分类自适应处理中。
其配置显示在图125中的运动模糊消除图像处理单元108不使用纠正的背景成分图像。
教师图像帧存储器2201存储运动模糊消除单元2001供应的、经过运动模糊消除的前景成分图像。教师图像帧存储器2201把作为存储的教师图像的、经过运动模糊消除的前景成分图像供应给噪声相加单元2202和学习单元2204。
噪声相加单元2202生成随机数，并且，通过把随机数加入教师图像帧存储器2201供应的前景成分图像中的每个像素中，把噪声加入前景成分图像中。噪声相加单元2202把经过噪声加入的前景成分图像供应给学生图像帧存储器2203。
学生图像帧存储器2203存储噪声相加单元2202供应的、经过噪声加入的、本身是前景成分图像的学生图像。学生图像帧存储器2203把存储的学生图像供应给学习单元2204。
根据教师图像帧存储器2201供应的、本身是前景成分图像的教师图像、和学生图像帧存储器2203供应的、经过噪声加入、本身是前景成分图像的学生图像，学习单元2204生成与经过噪声加入的前景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器2205。
系数组存储器2205存储学习单元2204供应的、与背景成分图像相对应的系数组。
现在，参照图126所示的流程图，描述其配置显示在图125中的运动模糊消除图像处理单元108生成用于消除噪声的分类自适应处理的系数组的学习处理。
在步骤S2201中，噪声相加单元2202通过把随机数加入作为存储在教师图像帧存储器2201中的教师图像的前景成分图像中的像素值中，生成与作为教师图像的前景成分图像相对应的学生图像。
在步骤S2202中，根据存储在教师图像帧存储器2201中的、本身是前景成分图像的教师图像、和存储在学生图像帧存储器2203中的、经过噪声加入、本身是前景成分图像的学生图像，学习单元2204生成与经过噪声加入的前景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器2205。生成系数组的处理细节与参照图103中的流程图所述的处理相同，因此，略去不述。
系数组存储器2205存储与经过噪声相加的前景成分图像相对应的系数组，然后，结束处理。
如上所述，其配置显示在图125中的运动模糊消除图像处理单元108可以生成与经过噪声相加的前景成分图像相对应的系数组。
图127是显示通过对经过运动模糊消除的前景成分图像进行分类自适应处理，消除噪声和对背景成分图像进行边缘改善的运动模糊消除图像处理单元108的配置的方块图。
帧存储器2301存储运动模糊消除单元2001供应的、经过运动模糊消除的前景成分图像。帧存储器2301把存储的经过运动模糊消除的前景成分图像供应给映射单元2302。
映射单元2302根据存储在系数组存储器2303中与前景成分图像相对应的系数组，通过分类自适应处理，生成与存储在帧存储器2301中的前景成分图像相对应的、经过噪声消除的预测图像。映射单元2302把生成的预测图像供应给帧存储器2304。
帧存储器2304存储经过噪声消除的预测图像，并且把存储的预测图像供应给合成单元2308。
帧存储器2305存储纠正单元2002供应的背景成分图像。帧存储器2305把存储的背景成分图像供应给边缘改善单元2306。
边缘改善单元2306通过边缘改善处理，改善存储在帧存储器2305中的背景成分图像的边缘，并且把经过边缘改善的背景成分图像供应给帧存储器2307。
帧存储器2307存储经过边缘改善的背景成分图像，并且把存储的背景成分图像供应给合成单元2308。
合成单元2308合成帧存储器2304供应的、与前景成分图像相对应的、经过噪声消除的预测图像、和帧存储器2307供应的、经过边缘改善的背景成分图像，输出合成的图像，作为输出图像。
图128是描述运动模糊消除图像处理单元108的处理的图形。
如图128所示，将输入图像分区，并且将其分离成前景成分图像和背景成分图像。把分离的输入图像合成成前景成分图像和背景成分图像。
消除包含在前景成分图像中的运动模糊。针对与混合区相对应的像素值，纠正背景成分图像。
运动模糊消除图像处理单元108通过应用分类自适应处理，消除经过运动模糊消除的前景成分图像中的噪声，并且对经过纠正的背景成分图像进行边缘改善。
现在，参照图129所示的流程图，描述其配置显示在图127中的运动模糊消除图像处理单元108建立图像的处理。
在步骤S2301中，映射单元2302根据存储在系数组存储器2303中与前景成分图像相对应的系数组，通过分类自适应处理，从存储在帧存储器7301中的前景成分图像中预测经过噪声消除的图像。除了用前景成分图像取代背景成分图像之外，预测图像的处理细节与参照图109所示的流程图所述的处理相同，因此，略去不述。
映射单元2302把从前景成分图像中消除了噪声的图像供应给帧存储器2304。帧存储器2304存储与前景成分图像相对应的经过噪声消除的预测图像，并且把存储的预测图像供应给合成单元2308。
在步骤S2302中，边缘改善单元2306对存储在帧存储器2305中的背景成分图像进行边缘改善处理。边缘改善单元2306把经过边缘改善的图像供应给帧存储器2307。帧存储器2307存储经过边缘改善的图像，并且把存储的边缘改善图像供应给合成单元2308。
在步骤S2303中，合成单元2308合成与前景成分图像相对应的经过噪声消除的预测图像、和边缘改善背景成分图像。合成单元2308输出存储的合成图像，然后，结束处理。
如上所述，含有其配置显示在图127中的运动模糊消除图像处理单元108的图像处理设备可以生成与前景成分图像相对应的经过噪声消除的预测图像，对背景成分图像进行边缘改善处理，和通过合成经过噪声消除的预测图像和边缘改善背景成分图像，输出图像，因此，可以降低前景成分图像中由于消除运动模糊的处理引起的噪声，并且还可以提高与整个图像有关的分辨率。
注意，不用说，步骤S2301和步骤2302中的处理可以以串行的方式，也可以以并行的方式进行。
图130是显示图像处理设备的功能的另一种配置的方块图。如图11所示的图像处理设备以顺序方式进行区域指定和混合比α的计算，而如图130所示的图像处理设备以并行方式进行区域指定和混合比α的计算。
与图11中的方块图所示的功能相同的部分用相同的标号表示，并且，略去不述。
把输入图像供应给对象提取单元101、区域指定单元103、混合比计算单元3001、和前景/背景分离单元3002。
混合比计算单元3001根据输入图像，对包含在输入图像中的每个像素计算假设像素属于覆盖背景区的估计混合比、和假设像素属于未覆盖背景区的估计混合比，并且，把假设像素属于覆盖背景区的估计混合比、和假设像素属于未覆盖背景区的估计混合比供应给前景/背景分离单元3002。
图131是显示混合比计算单元3001的配置的一个例子的方块图。
如图131所示的估计混合比处理单元401与如图62所示的估计混合比处理单元401相同。如图131所示的估计混合比处理单元402与如图62所示的估计混合比处理单元402相同。
估计混合比处理单元401根据输入图像，通过与覆盖背景区的模型相对应的运算，为每个像素计算估计混合比，并且输出计算的估计混合比。
估计混合比处理单元402根据输入图像，通过与未覆盖背景区的模型相对应的运算，为每个像素计算估计混合比，并且输出计算的估计混合比。
前景/背景分离单元3002根据混合比计算单元3001供应的、假设像素属于覆盖背景区的估计混合比和假设像素属于未覆盖背景区的估计混合比、和区域指定单元103供应的区域信息，把输入图像分离成背景成分图像和前景成分图像，并且把分离的图像供应给运动模糊消除图像处理单元108。
图132是显示前景/背景分离单元3002的配置的一个例子的方块图。
与图80所示的运动模糊消除单元106相同的部分用相同的标号表示，并且，略去不述。
选择单元3021根据区域指定单元103供应的区域信息，选择混合比计算单元3001供应的、假设像素属于覆盖背景区的估计混合比和假设像素属于未覆盖背景区的估计混合比之一，并且把所选的估计混合比作为混合比α供应给分离单元601。
分离单元601根据选择单元3021供应的混合比α、和区域信息，从属于混合区的像素的像素值中提取前景成分和背景成分，并且将其分离成未覆盖背景区中的背景成分、未覆盖背景区中的背景成分、覆盖背景区中的背景成分、和覆盖背景区中的前景成分。
分离单元601的配置与如图85所示的配置相同。
如上所述，其配置显示在图130中的图像处理设备可以与每个图像的性质相对应，对每个背景成分图像和每个前景成分图像进行处理。
如上所述，在根据本发明的图像处理设备中，把输入图像分离成背景成分图像和前景成分图像，并且进行适合于分离图像的处理，因此，例如，在不会出现不自然图像的情况下，生成分辨率更高的图像。
图133是显示图像处理设备的功能的另一种配置的方块图。
与图11所示的部分相同的那些部分用相同的标号表示，并且，略去不述。
对象提取单元101粗略提取与包含在输入图像中的前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。
运动检测单元102通过诸如块匹配、分级、相位相关性、和像素递归等的技术，计算与粗略提取的前景对象相对应的图像对象的运动向量，把计算的运动向量和运动向量位置信息提供给区域指定单元103。
区域指定单元103把输入图像的每一个像素分入前景区、背景区、或由覆盖背景区和未覆盖背景区组成的混合区之一中，并且把区域信息供应给混合比计算单元104和前景/背景分离单元4001。
混合比计算单元104根据输入图像、和区域指定单元103供应的区域信息，计算与包含在混合区中的像素相对应的混合比α，并且把计算的混合比供应给前景/背景分离单元4001。
根据区域指定单元103供应的区域信息、和混合比计算单元104供应的混合比α，前景/背景分离单元4001把输入图像分离成与前景对象相对应的图像成分、和只由背景成分组成的背景成分图像，并且向分离图像处理单元4002供应背景区中的图像、未覆盖背景区中只由背景成分组成的图像(下面将其称为未覆盖背景区中的背景成分图像)、未覆盖背景区中只由前景成分组成的图像(下面将其称为未覆盖背景区中的前景成分图像)、覆盖背景区中只由背景成分组成的图像(下面将其称为覆盖背景区中的背景成分图像)、覆盖背景区中只由前景成分组成的图像(下面将其称为覆盖背景区中的前景成分图像)、和前景区中的图像。
分离图像处理单元4002分别对前景/背景分离单元4001供应的、背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像进行处理。
例如，分离图像处理单元4002生成用在为背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像的每一个生成更高分辨率图像的分类自适应处理中。
例如，分离图像处理单元4002通过把分类自适应处理应用于背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像的每一个，建立更高分辨率的图像。
图134是描述其配置显示在图133中的分离图像处理单元4002中的处理的图形。区域指定单元103指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。
前景/背景分离单元4001把指定了其中的区域和通过混合比计算单元104计算出混合比α的输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。
分离图像处理单元4002根据分离的前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像，分别计算与前景区中的图像相对应的系数组、与背景区中的图像相对应的系数组、与覆盖背景区中的前景成分图像相对应的系数组、与覆盖背景区中的背景成分图像相对应的系数组、与未覆盖背景区中的前景成分图像相对应的系数组、和与未覆盖背景区中的背景成分图像相对应的系数组。
与背景区相对应的系数组用于在预测像素值的分类自适应处理中，预测背景区中的像素值。与未覆盖背景区中的背景成分图像相对应的系数组用于在预测像素值的分类自适应处理中，预测与未覆盖背景区中的背景成分图像相对应的像素值。与未覆盖背景区中的前景成分图像相对应的系数组用于在预测像素值的分类自适应处理中，预测与未覆盖背景区中的前景成分图像相对应的像素值。
与覆盖背景区中的背景成分图像相对应的系数组用于在预测像素值的分类自适应处理中，预测与覆盖背景区中的背景成分图像相对应的像素值。与覆盖背景区中的前景成分图像相对应的系数组用于在预测像素值的分类自适应处理中，预测与覆盖背景区中的前景成分图像相对应的像素值。
与前景区相对应的系数组用于在预测像素值的分类自适应处理中，预测前景区中的像素值。
把与背景区中的图像相对应的预测图像、与未覆盖背景区中的背景成分图像相对应的预测图像、与未覆盖背景区中的前景成分图像相对应的预测图像、与覆盖背景区中的背景成分图像相对应的预测图像、与覆盖背景区中的前景成分图像相对应的预测图像、和与前景区中的图像相对应的预测图像合成成单个预测图像。
图135是显示前景/背景分离单元4001的配置的一个例子的方块图。把供应给前景/背景分离单元4001的输入图像供应给分离单元4101、切换器4102、和切换器4103。把区域指定单元103供应的、指示覆盖背景区和未覆盖背景区的区域信息供应给分离单元4101。把指示前景区的区域信息供应给切换器4102。把指示背景区的区域信息供应给切换器4103。
把混合比计算单元104供应的混合比α供应给分离单元4101。
分离单元4101根据混合比α和指示覆盖背景区的区域信息，从输入图像中的覆盖背景区中分离出背景成分，以及前景成分，并且，输出包含分离前景成分的覆盖背景区中的前景成分图像、和包含分离背景成分的覆盖背景区中的背景成分图像。
分离单元4101根据混合比α和指示未覆盖背景区的区域信息，从输入图像中的未覆盖背景区中分离出背景成分，以及前景成分，并且，输出包含分离前景成分的未覆盖背景区中的前景成分图像、和包含分离背景成分的未覆盖背景区中的背景成分图像。
在输入与前景区相对应的像素的情况下，根据指示前景区的区域信息，闭合切换器4102，输出前景区中的图像。
在输入与背景区相对应的像素的情况下，根据指示背景区的区域信息，闭合切换器4103，输出背景区中的图像。
图136是显示分离单元4101的配置的一个例子的方块图。把输入分离单元4101的图像供应给帧存储器4121、和把指示覆盖背景区和未覆盖背景区的区域信息和混合比计算单元104供应的混合比α输入分离处理模块4122。
帧存储器4121以逐帧递增的方式存储输入图像。在帧#n是处理对象的情况下，帧存储器4121存储比帧#n提前一个帧的帧#n-1、帧#n、和比帧#n滞后一个帧的帧#n+1。
帧存储器4121把与帧#n-1、帧#n、和帧#n+1相对应的像素供应给分离处理模块4122。
分离处理模块4122根据混合比α和指示覆盖背景区和未覆盖背景区的区域信息，把参照图83和图84所述的计算应用于帧存储器4121供应的与帧#n-1、帧#n、和帧#n+1相对应的像素，从帧#n中属于混合区的像素中分离出前景成分和背景成分。
分离处理模块4122包括未覆盖区处理单元4131和覆盖区处理单元4132。
未覆盖区处理单元4131的乘法器4141将帧存储器4121供应的帧#n+1中的像素的像素值乘以混合比α，将其输出到切换器4142。在帧存储器4121供应的帧#n中的像素(与帧#n+1中的像素相对应)属于未覆盖背景区的情况下，闭合切换器4142，把乘法器4141供应的被乘以混合比α的像素值供应给计算器4143。从切换器4142输出的、帧#n+1中的像素的像素值被乘以混合比α之后所得的值与作为未覆盖背景区中的背景成分图像输出的、与帧#n相对应的像素的像素值的背景成分相同。
计算器4143通过从帧存储器4121供应的帧#n中的像素的像素值中减去切换器4142供应的背景成分，获得前景成分。计算器4142输出属于未覆盖背景区的由帧#n中的像素构成的前景成分图像。
覆盖区处理单元4132的乘法器4151将帧存储器4121供应的帧#n-1中的像素的像素值乘以混合比α，将其输出到切换器4152。在帧存储器4121供应的帧#n中的像素(与帧#n-1中的像素相对应)属于覆盖背景区的情况下，闭合切换器4152，把乘法器4151供应的被乘以混合比α的像素值供应给计算器4153。从切换器4142输出的、帧#n-1中的像素的像素值被乘以混合比α之后所得的值与作为覆盖背景区中的背景成分图像输出的、与帧#n相对应的像素的像素值的背景成分相同。
计算器4153通过从帧存储器4121供应的帧#n中的像素的像素值中减去切换器4152供应的背景成分，获得前景成分。计算器4152输出属于覆盖背景区的由帧#n中的像素构成的前景成分图像。
利用作为特征量的混合比α能够使包含在像素值中的前景成分和背景成分完全得到分离。
图137是显示用于生成系数组的分离图像处理单元4002的配置的方块图，生成的系数组用于沿着空间方向生成更高分辨率图像的分类自适应处理中。例如，其配置显示在图137中的分离图像处理单元4002根据输入HD图像，生成用于从SD图像中生成HD图像的分类自适应处理中的系数组。
背景区教师图像帧存储器4201存储前景/背景分离单元4001供应的教师图像中的背景区中的图像。背景区教师图像帧存储器4201把存储的教师图像中的背景区中的图像供应给加权平均单元4207-1和学习单元4214-1。
未覆盖背景区背景成分教师图像帧存储器4202存储前景/背景分离单元4001供应的教师图像中的未覆盖背景区中的背景成分图像。未覆盖背景区背景成分教师图像帧存储器4202把存储的教师图像中的未覆盖背景区中的背景成分图像供应给加权平均单元4207-2和学习单元4214-2。
未覆盖背景区前景成分教师图像帧存储器4203存储前景/背景分离单元4001供应的教师图像中的未覆盖背景区中的前景成分图像。未覆盖背景区前景成分教师图像帧存储器4203把存储的教师图像中的未覆盖背景区中的前景成分图像供应给加权平均单元4207-3和学习单元4214-3。
覆盖背景区背景成分教师图像帧存储器4204存储前景/背景分离单元4001供应的教师图像中的覆盖背景区中的背景成分图像。覆盖背景区背景成分教师图像帧存储器4204把存储的教师图像中的覆盖背景区中的背景成分图像供应给加权平均单元4207-4和学习单元4214-4。
覆盖背景区前景成分教师图像帧存储器4205存储前景/背景分离单元4001供应的教师图像中的覆盖背景区中的前景成分图像。覆盖背景区前景成分教师图像帧存储器4205把存储的教师图像中的覆盖背景区中的前景成分图像供应给加权平均单元4207-5和学习单元4214-5。
前景区教师图像帧存储器4206存储前景/背景分离单元4001供应的教师图像中的前景区中的图像。前景区教师图像帧存储器4206把存储的教师图像中的前景区中的图像供应给加权平均单元4207-6和学习单元4214-6。
加权平均单元4207-1通过对背景区教师图像帧存储器4201供应的、例如，本身是HD图像的教师图像中的前景区中的图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像供应给背景区学生图像帧存储器4208。
背景区学生图像帧存储器4208存储加权平均单元4207-1供应的、与教师图像中的背景区中的图像相对应的学生图像。背景区学生图像帧存储器4208把存储的与教师图像中的背景区中的图像相对应的学生图像供应给学习单元4214-1。
加权平均单元4207-2通过对未覆盖背景区背景成分教师图像帧存储器4202供应的、例如，本身是HD图像的教师图像中的未覆盖背景区中的背景成分图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像供应给未覆盖背景区背景成分学生图像帧存储器4209。
未覆盖背景区背景成分学生图像帧存储器4209存储加权平均单元4207-2供应的、与教师图像中的未覆盖背景区中的背景成分图像相对应的、作为SD图像的学生图像。未覆盖背景区背景成分学生图像帧存储器4209把存储的与教师图像中的未覆盖背景区中的背景成分图像相对应的学生图像供应给学习单元4214-2。
加权平均单元4207-3通过对未覆盖背景区前景成分教师图像帧存储器4203供应的、例如，本身是HD图像的教师图像中的未覆盖背景区中的前景成分图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像供应给未覆盖背景区前景成分学生图像帧存储器4210。
未覆盖背景区前景成分学生图像帧存储器4210存储加权平均单元4207-3供应的、与教师图像中的未覆盖背景区中的前景成分图像相对应的、作为SD图像的学生图像。未覆盖背景区前景成分学生图像帧存储器4210把存储的与教师图像中的未覆盖背景区中的前景成分图像相对应的学生图像供应给学习单元4214-3。
加权平均单元4207-4通过对覆盖背景区背景成分教师图像帧存储器4204供应的、例如，本身是HD图像的教师图像中的覆盖背景区中的背景成分图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像供应给覆盖背景区背景成分学生图像帧存储器4211。
覆盖背景区背景成分学生图像帧存储器4211存储加权平均单元4207-4供应的、与教师图像中的覆盖背景区中的背景成分图像相对应的、作为SD图像的学生图像。覆盖背景区背景成分学生图像帧存储器4211把存储的与教师图像中的覆盖背景区中的背景成分图像相对应的学生图像供应给学习单元4214-4。
加权平均单元4207-5通过对覆盖背景区前景成分教师图像帧存储器4205供应的、例如，本身是HD图像的教师图像中的覆盖背景区中的前景成分图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像供应给覆盖背景区前景成分学生图像帧存储器4212。
覆盖背景区前景成分学生图像帧存储器4212存储加权平均单元4207-5供应的、与教师图像中的覆盖背景区中的前景成分图像相对应的、作为SD图像的学生图像。覆盖背景区前景成分学生图像帧存储器4212把存储的与教师图像中的覆盖背景区中的前景成分图像相对应的学生图像供应给学习单元4214-5。
加权平均单元4207-6通过对前景区教师图像帧存储器4206供应的、例如，本身是HD图像的教师图像中的前景区中的图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像供应给前景区学生图像帧存储器4213。
前景区学生图像帧存储器4213存储加权平均单元4207-6供应的、与教师图像中的前景区中的图像相对应的学生图像。前景区学生图像帧存储器4213把存储的与教师图像中的前景区中的图像相对应的学生图像供应给学习单元4214-6。
根据背景区教师图像帧存储器4201供应的教师图像中的背景区中的图像、和背景区学生图像帧存储器4208供应的与教师图像中的背景区中的图像相对应的学生图像，学习单元4214-1生成与背景区相对应的系数组，并且把生成的系数组供应给系数组存储器4215。
根据未覆盖背景区背景成分教师图像帧存储器4202供应的教师图像中的未覆盖背景区中的背景成分图像、和未覆盖背景区背景成分学生图像帧存储器4209供应的与教师图像中的未覆盖背景区中的背景成分图像相对应的学生图像，学习单元4214-2生成与未覆盖背景区中的背景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器4215。
根据未覆盖背景区前景成分教师图像帧存储器4203供应的教师图像中的未覆盖背景区中的前景成分图像、和未覆盖背景区前景成分学生图像帧存储器4210供应的与教师图像中的未覆盖背景区中的前景成分图像相对应的学生图像，学习单元4214-3生成与未覆盖背景区中的前景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器4215。
根据覆盖背景区背景成分教师图像帧存储器4204供应的教师图像中的覆盖背景区中的背景成分图像、和覆盖背景区背景成分学生图像帧存储器4211供应的与教师图像中的覆盖背景区中的背景成分图像相对应的学生图像，学习单元4214-4生成与覆盖背景区中的背景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器4215。
根据覆盖背景区前景成分教师图像帧存储器4205供应的教师图像中的覆盖背景区中的前景成分图像、和覆盖背景区前景成分学生图像帧存储器4212供应的与教师图像中的覆盖背景区中的前景成分图像相对应的学生图像，学习单元4214-5生成与覆盖背景区中的前景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器4215。
根据前景区教师图像帧存储器4206供应的教师图像中的前景区中的图像、和前景区学生图像帧存储器4213供应的与教师图像中的前景区中的图像相对应的学生图像，学习单元4214-6生成与前景区相对应的系数组，并且把生成的系数组供应给系数组存储器4215。
系数组存储器4215存储学习单元4214-1供应的与背景区相对应的系数组、学习单元4214-2供应的与未覆盖背景区中的背景成分图像相对应的系数组、学习单元4214-3供应的与未覆盖背景区中的前景成分图像相对应的系数组、学习单元4214-4供应的与覆盖背景区中的背景成分图像相对应的系数组、学习单元4214-5供应的与覆盖背景区中的前景成分图像相对应的系数组、和学习单元4214-6供应的与前景区相对应的系数组。
注意，学习单元4214-1到4214-6具有与学习单元1006相同的配置，因此，略去不述。
图138是显示通过进行分类自适应处理，沿着空间方向生成更高分辨率图像的分离图像处理单元4002的配置的方块图。例如，其配置显示在图138中的分离图像处理单元4002根据本身是SD图像的输入图像，通过分类自适应处理，生成HD图像。
背景区帧存储器4301存储前景/背景分离单元4001供应的、由属于背景区的像素构成、背景区中的图像。背景区帧存储器4301把存储的背景区中的图像供应给映射单元4307-1。
未覆盖背景区背景成分图像区帧存储器4302存储前景/背景分离单元4001供应的、未覆盖背景区中的背景成分图像。未覆盖背景区背景成分图像帧存储器4302把存储的未覆盖背景区中的背景成分图像供应给映射单元4307-2。
未覆盖背景区前景成分图像区帧存储器4303存储前景/背景分离单元4001供应的、未覆盖背景区中的前景成分图像。未覆盖背景区前景成分图像帧存储器4303把存储的未覆盖背景区中的前景成分图像供应给映射单元4307-3。
覆盖背景区背景成分图像区帧存储器4304存储前景/背景分离单元4001供应的、覆盖背景区中的背景成分图像。覆盖背景区背景成分图像帧存储器4304把存储的覆盖背景区中的背景成分图像供应给映射单元4307-4。
覆盖背景区前景成分图像区帧存储器4305存储前景/背景分离单元4001供应的、覆盖背景区中的前景成分图像。覆盖背景区前景成分图像帧存储器4305把存储的覆盖背景区中的前景成分图像供应给映射单元4307-5。
前景区帧存储器4306存储前景/背景分离单元4001供应的、由属于前景区的像素构成、前景区中的图像。前景区帧存储器4306把存储的前景区中的图像供应给映射单元4307-6。
映射单元4307-1根据存储在系数组存储器4308中与背景区相对应的系数组，通过分类自适应处理，生成与存储在背景区帧存储器4301中的背景区中的图像相对应的预测图像。映射单元4307-1把生成的预测图像供应给合成单元4309。
映射单元4307-2根据存储在系数组存储器4308中与未覆盖背景区中的背景成分图像相对应的系数组，通过分类自适应处理，生成与存储在未覆盖背景区背景成分图像帧存储器4302中的未覆盖背景区中的背景成分图像相对应的预测图像。映射单元4307-2把生成的预测图像供应给合成单元4309。
映射单元4307-3根据存储在系数组存储器4308中与未覆盖背景区中的前景成分图像相对应的系数组，通过分类自适应处理，生成与存储在未覆盖背景区前景成分图像帧存储器4303中的未覆盖背景区中的前景成分图像相对应的预测图像。映射单元4307-3把生成的预测图像供应给合成单元4309。
映射单元4307-4根据存储在系数组存储器4308中与覆盖背景区中的背景成分图像相对应的系数组，通过分类自适应处理，生成与存储在覆盖背景区背景成分图像帧存储器4304中的覆盖背景区中的背景成分图像相对应的预测图像。映射单元4307-4把生成的预测图像供应给合成单元4309。
映射单元4307-5根据存储在系数组存储器4308由与覆盖背景区中的前景成分图像相对应的系数组，通过分类自适应处理，生成与存储在覆盖背景区前景成分图像帧存储器4305中的覆盖背景区中的前景成分图像相对应的预测图像。映射单元4307-5把生成的预测图像供应给合成单元4309。
映射单元4307-6根据存储在系数组存储器4308中与前景区相对应的系数组，通过分类自适应处理，生成与存储在前景区帧存储器4306中的前景区中的图像相对应的预测图像。映射单元4307-6把生成的预测图像供应给合成单元4309。
合成单元4309合成映射单元4307-1供应的与背景区中的图像相对应的预测图像、映射单元4307-2供应的与未覆盖背景区中的背景成分图像相对应的预测图像、映射单元4307-3供应的与未覆盖背景区中的前景成分图像相对应的预测图像、映射单元4307-4供应的与覆盖背景区中的背景成分图像相对应的预测图像、映射单元4307-5供应的与覆盖背景区中的前景成分图像相对应的预测图像、和映射单元4307-6供应的与前景区中的图像相对应的预测图像，并且把合成的预测图像供应给帧存储器4310。
帧存储器4310存储合成单元4309供应的预测图像，并且输出存储的图像，作为输出图像。
注意，映射单元4301-1到4307-6具有与映射单元1103相同的配置，因此，略去不述。
现在参照图139A到144B，描述本发明含有其配置显示在图138中的分离图像处理单元4002的图像处理设备的处理结果。
在生成通过例子示出的结果的处理中，在本发明的图像处理设备中的分类自适应处理中的类数总和大约等于传统分类自适应处理中的类数。也就是说，传统分类自适应处理中的类数是2048，在本发明的图像处理设备中的分类自适应处理中与每个区域中的图像相对应的类数被安排成512。
此外，在传统分类自适应处理中的预测抽头数和在本发明的图像处理设备中每个区域的分类自适应处理中的预测抽头数都是9，也就是说，是相同的。
参照图139A到141B，描述覆盖背景区中的预测结果。
图139A是显示教师图像的混合区中的图像的例子的图形。图139B是显示教师图像的混合区中的图像中与沿着空间方向的位置相对应的像素值的改变的图形。
图140A是显示与如图139A所示的教师图像相对应，通过传统分类自适应处理生成的、混合区中的图像的例子的图形。图140B是显示与如图139A所示的教师图像相对应，通过传统分类自适应处理生成的、混合区中的图像的像素值的改变的图形。
图141A是显示与如图139A所示的教师图像相对应，由其配置显示在图138中的分离图像处理单元4002生成的、混合区中的图像的例子的图形。图141B是显示与如图139A所示的教师图像相对应，由其配置显示在图138中的分离图像处理单元4002生成的、混合区中的图像中与沿着空间方向的位置相对应的像素值的改变的图形。
与教师图像相比，通过传统分类自适应处理生成的、混合区中的图像中的像素值以阶跃方式改变，并且在实际生成的图像中，用肉眼就可以确认以阶跃方式改变。
相反，通过其配置显示在图138中的分离图像处理单元4002生成的、混合区中的图像中的像素值与传统安排相比，变化得更平滑，这表明其变化与教师图像更接近。此外，在用肉眼确认分离图像处理单元4002生成的图像的情况中，与传统安排相比，可以把图像确认成更平滑的图像。
通过其配置显示在图138中的分离图像处理单元4002生成的、混合区中的图像与通过将输入图像分割成前景区、混合区、或背景区生成的图像相比，变化得更平滑。
参照图142A到图144B，描述像素值基本上随像素位置线性变化的前景区中的预测结果。
图142A是显示像素值基本上线性变化的教师图像中的前景区中的图像的例子的图形。图142B是显示像素值基本上线性变化的教师图像的前景区中的图像中与沿着空间方向的位置相对应的像素值的改变的图形。
图143A是显示通过传统分类自适应处理生成的、与图142A所示的图像相对应的、前景区中的图像的例子的图形。图143B是显示通过传统分类自适应处理生成的、与图142A所示的图像相对应的、前景区中的图像中，与沿着空间方向的位置相对应的像素值的改变的图形。
图144A是显示由其配置显示在图138中的分离图像处理单元4002生成的、与图142A所示的图像相对应的前景区中的图像的例子的图形。图144B是显示由其配置显示在图138中的分离图像处理单元4002生成的、与图142A所示的图像相对应的前景区中的图像中，与沿着空间方向的位置相对应的像素值的改变的图形。
与混合区的方式相同，与教师图像相比，通过传统分类自适应处理生成的、前景区中的图像中的像素值以阶跃方式改变，并且在实际生成的图像中，用肉眼就可以识别以阶跃方式的改变。
相反，通过其配置显示在图138中的分离图像处理单元4002生成的、前景区中的图像中的像素值与传统安排相比，变化得更平滑，并且非常接近教师图像中的值。在用肉眼确认分离图像处理单元4002生成的图像的情况中，观察不到图像与教师图像之间的差异。
图145是描述通过其配置显示在图133中的图像处理设备对图像进行的处理的流程图。
在步骤S4001中，区域指定单元103根据输入图像和运动检测单元102供应的运动向量和它的位置信息，指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。步骤S4001中的处理与步骤S101中的处理相同，因此，略去不述。
在步骤S4002中，混合比计算单元104根据输入图像和运动检测单元102供应的运动向量和它的位置信息，计算混合比α。步骤S4002中的处理与步骤S102中的处理相同，因此，略去不述。
在步骤S4003中，前景/背景分离单元4001根据区域指定单元103供应的区域信息和混合比计算单元104供应的混合比α，把输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。前景/背景分离单元4001分离图像的处理细节以后再述。
在步骤S4004中，分离图像处理单元4002对分离图像，即，背景区中的图像、前景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像的每一个进行图像处理，然后，结束处理。分离图像处理单元4002进行图像处理的细节以后再述。
如上所述，根据本发明的图像处理设备把输入图像分离成背景区中的图像、前景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像，并且，对分离图像，即，背景区中的图像、前景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像的每一个进行图像处理。
现在参照图146描述前景/背景分离单元4001对前景和背景的分离处理。在步骤S4101中，分离单元4101的帧存储器4121获取输入图像，并且存储作为分离前景和背景的对象的帧#n，以及前一帧#n-1和后一帧#n+1。
在步骤S4102中，分离单元4101的分离处理模块4122获取区域指定单元103供应的区域信息。在步骤S4103中，分离单元4101的分离处理模块4122获取混合比计算单元104供应的混合比α。
在步骤S4104中，未覆盖区处理单元4131根据区域信息和混合比α，从帧存储器4121供应的属于未覆盖背景区的像素的像素值中提取背景成分，并且输出它，作为未覆盖背景区的背景成分图像。
在步骤S4105中，未覆盖区处理单元4131根据区域信息和混合比α，从帧存储器4121供应的属于未覆盖背景区的像素的像素值中提取前景成分，并且输出它，作为未覆盖背景区的前景成分图像。
在步骤S4106中，覆盖区处理单元4132根据区域信息和混合比α，从帧存储器4121供应的属于覆盖背景区的像素的像素值中提取背景成分，并且输出它，作为覆盖背景区的背景成分图像。
在步骤S4107中，覆盖区处理单元4132根据区域信息和混合比α，从帧存储器4121供应的属于覆盖背景区的像素的像素值中提取前景成分，并且输出它，作为覆盖背景区的前景成分图像。
这样，前景/背景分离单元4001根据区域信息和混合比α，可以从输入图像中分离出前景成分和背景成分，输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。
现在参照图147所示的流程图，描述其配置显示在图137中的分离图像处理单元4002从分类自适应处理中生成用于预测像素值的系数组的学习处理。
在步骤S4201中，加权平均单元4207-1到4270-6生成背景区图像、前景区图像、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、和覆盖背景区的前景成分图像的学生图像。也就是说，加权平均单元4207-1对，例如，存储在背景区教师图像帧存储器4201中的教师图像的背景区图像进行四分之一加权平均，生成与教师图像的背景区相对应的学生图像。
加权平均单元4207-2对，例如，存储在未覆盖背景区背景成分教师图像帧存储器4202中的教师图像的未覆盖背景区图像中的背景成分图像进行四分之一加权平均，生成与教师图像的未覆盖背景区中的背景成分图像相对应的学生图像。
加权平均单元4207-3对，例如，存储在未覆盖背景区前景成分教师图像帧存储器4203中的教师图像的未覆盖背景区图像中的前景成分图像进行四分之一加权平均，生成与教师图像的未覆盖背景区中的前景成分图像相对应的学生图像。
加权平均单元4207-4对，例如，存储在覆盖背景区背景成分教师图像帧存储器4204中的教师图像的覆盖背景区图像中的背景成分图像进行四分之一加权平均，生成与教师图像的覆盖背景区中的背景成分图像相对应的学生图像。
加权平均单元4207-5对，例如，存储在覆盖背景区前景成分教师图像帧存储器4205中的教师图像的覆盖背景区图像中的前景成分图像进行四分之一加权平均，生成与教师图像的覆盖背景区中的前景成分图像相对应的学生图像。
加权平均单元4207-6对，例如，存储在前景区教师图像帧存储器4206中的教师图像的前景区图像进行四分之一加权平均，生成与教师图像的前景区相对应的学生图像。
在步骤S4202中，学习单元4214-1根据存储在背景区教师图像帧存储器4201中的教师图像的背景区图像、和存储在背景区学生图像帧存储器4208中与教师图像的背景区图像相对应的学生图像，生成与背景区相对应的系数组。
在步骤S4203中，学习单元4214-2根据存储在未覆盖背景区背景成分教师图像帧存储器4202中的教师图像的未覆盖背景区的背景成分图像、和存储在未覆盖背景区背景成分学生图像帧存储器4209中与教师图像的未覆盖背景区的背景成分图像相对应的学生图像，生成与未覆盖背景区的背景成分图像相对应的系数组。
在步骤S4204中，学习单元4214-3根据存储在未覆盖背景区前景成分教师图像帧存储器4203中的教师图像的未覆盖背景区的前景成分图像、和存储在未覆盖背景区前景成分学生图像帧存储器4210中与教师图像的未覆盖背景区的前景成分图像相对应的学生图像，生成与未覆盖背景区的前景成分图像相对应的系数组。
在步骤S4205中，学习单元4214-4根据存储在覆盖背景区背景成分教师图像帧存储器4204中的教师图像的覆盖背景区的背景成分图像、和存储在覆盖背景区背景成分学生图像帧存储器4211中与教师图像的覆盖背景区的背景成分图像相对应的学生图像，生成与覆盖背景区的背景成分图像相对应的系数组。
在步骤S4206中，学习单元4214-5根据存储在覆盖背景区前景成分教师图像帧存储器4205中的教师图像的覆盖背景区的前景成分图像、和存储在覆盖背景区前景成分学生图像帧存储器4212中与教师图像的覆盖背景区的前景成分图像相对应的学生图像，生成与覆盖背景区的前景成分图像相对应的系数组。
在步骤S4207中，学习单元4214-6根据存储在前景区教师图像帧存储器4206中的教师图像的前景区图像、和存储在前景区学生图像帧存储器4213中与教师图像的前景区图像相对应的学生图像，生成与前景区相对应的系数组。
在步骤S4208中，学习单元4214-1到4214-6分别把与背景区相对应的系数组、与未覆盖背景区的背景成分图像相对应的系数组、与未覆盖背景区的前景成分图像相对应的系数组、与覆盖背景区的背景成分图像相对应的系数组、与覆盖背景区的前景成分图像相对应的系数组、和与前景区相对应的系数组输出到系数组存储器4215。系数组存储器4215分别存储与背景区、前景区、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、和覆盖背景区的前景成分图像相对应的系数组。
因此，其配置显示在图137中的分离图像处理单元4002可以生成与背景区相对应的系数组、与未覆盖背景区的背景成分图像相对应的系数组、与未覆盖背景区的前景成分图像相对应的系数组、与覆盖背景区的背景成分图像相对应的系数组、与覆盖背景区的前景成分图像相对应的系数组、和与前景区相对应的系数组。
步骤S4202到步骤S4207中的处理细节与参照图103中的流程图所述的处理相同，因此，略去不述。
并且，不用说，步骤S4202到步骤S4207中的处理可以以串行的方式，也可以以并行的方式进行。
接着，参照图148所示的流程图，描述其配置显示在图138中的分离图像处理单元4002建立图像的处理。
在步骤S4301中，映射单元4307-1根据存储在系数组存储器4308中与背景区相对应的系数组，通过分类自适应处理预测与存储在背景区帧存储器4301中的背景区图像相对应的图像。
在步骤S4302中，映射单元4307-2根据存储在系数组存储器4308中与未覆盖背景区的背景成分图像相对应的系数组，通过分类自适应处理预测与存储在未覆盖背景区背景成分图像帧存储器4302中的未覆盖背景区的背景成分图像相对应的图像。
在步骤S4303中，映射单元4307-3根据存储在系数组存储器4308中与未覆盖背景区的前景成分图像相对应的系数组，通过分类自适应处理预测与存储在未覆盖背景区前景成分图像帧存储器4303中的未覆盖背景区的前景成分图像相对应的图像。
在步骤S4304中，映射单元4307-4根据存储在系数组存储器4308中与覆盖背景区的背景成分图像相对应的系数组，通过分类自适应处理预测与存储在覆盖背景区背景成分图像帧存储器4304中的覆盖背景区的背景成分图像相对应的图像。
在步骤S4305中，映射单元4307-5根据存储在系数组存储器4308中与覆盖背景区的前景区相对应的系数组，通过分类自适应处理预测与存储在覆盖背景区前景成分图像帧存储器4305中的覆盖背景区的前景区图像相对应的图像。
在步骤S4306中，映射单元4307-6根据存储在系数组存储器4308中与前景区相对应的系数组，通过分类自适应处理预测与存储在前景区帧存储器4306中的前景成分图像相对应的图像。
在步骤S4307中，合成单元4309合成与背景区图像相对应的预测图像、与未覆盖背景区的背景成分图像相对应的预测图像、与未覆盖背景区的前景成分图像相对应的预测图像、与覆盖背景区的背景成分图像相对应的预测图像、与覆盖背景区的前景成分图像相对应的预测图像、和与前景区相对应的预测图像。合成单元4309把合成图像供应给帧存储器4310。帧存储器4310存储合成单元4309供应的合成图像。
在步骤S4308中，帧存储器4310输出存储在其中的合成图像，然后，结束处理。
因此，含有其配置显示在图138中的分离图像处理单元4002的图像处理设备可以为分离的背景区图像、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、覆盖背景区的前景成分图像、和前景区图像的每一个生成预测图像。
步骤S4301到步骤S4306中的处理细节与参照图109所示的流程图所述的处理相同，因此，略去不述。
并且，不用说，步骤S4301到步骤S4306中的处理可以以串行的方式进行，也可以以并行的方式进行。
图149是显示把效果不同的边缘改善处理应用于背景区图像、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、覆盖背景区的前景成分图像、和前景区图像的分离图像处理单元4002的配置的方块图。
背景区帧存储器4501存储前景/背景分离单元4001供应的、由属于背景区的像素构成的背景区图像。背景区帧存储器4501把存储的背景区图像供应给边缘改善单元4507-1。
未覆盖背景区背景成分图像区帧存储器4502存储前景/背景分离单元4001供应的、未覆盖背景区的背景成分图像。未覆盖背景区背景成分图像帧存储器4502把存储的未覆盖背景区的背景成分图像供应给边缘改善单元4507-2。
未覆盖背景区前景成分图像区帧存储器4503存储前景/背景分离单元4001供应的、未覆盖背景区的前景成分图像。未覆盖背景区前景成分图像帧存储器4503把存储的未覆盖背景区的前景成分图像供应给边缘改善单元4507-3。
覆盖背景区背景成分图像区帧存储器4504存储前景/背景分离单元4001供应的、覆盖背景区的背景成分图像。覆盖背景区背景成分图像帧存储器4504把存储的覆盖背景区的背景成分图像供应给边缘改善单元4507-4。
覆盖背景区前景成分图像区帧存储器4505存储前景/背景分离单元4001供应的、覆盖背景区的前景成分图像。覆盖背景区前景成分图像帧存储器4505把存储的覆盖背景区的前景成分图像供应给边缘改善单元4507-5。
前景区帧存储器4506存储前景/背景分离单元4001供应的、由属于前景区的像素构成前景区图像。前景区帧存储器4306把存储的前景区图像供应给边缘改善单元4507-6。
边缘改善单元4507-1把适合于背景区的图像的边缘改善处理应用于存储在背景区帧存储器4501中的背景区图像，并且把经过边缘改善的背景区图像供应给合成单元4508。
例如，边缘改善单元4507-1进行与前景区相比，进一步改善本身是静止图像的背景区图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高背景区图像的分辨率，而不会出现图像的人为失真。
边缘改善单元4507-2把适合于未覆盖背景区的背景成分图像的边缘改善处理应用于存储在未覆盖背景区背景成分图像帧存储器4502中的图像，并且把经过边缘改善的图像供应给合成单元4508。
例如，边缘改善单元4507-2进行与前景区相比，进一步改善本身是静止图像的未覆盖背景区的背景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高背景成分图像的分辨率，而不会出现图像的人为失真。
边缘改善单元4507-3把适合于未覆盖背景区的前景成分图像的边缘改善处理应用于存储在未覆盖背景区前景成分图像帧存储器4503中的图像，并且把经过边缘改善的图像供应给合成单元4508。
例如，边缘改善单元4507-3进行与背景区相比，稍微少一点改善由运动前景成分构成的未覆盖背景区的前景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高未覆盖背景区的前景成分图像的分辨率，而不会出现图像的人为失真。
边缘改善单元4507-4把适合于覆盖背景区的背景成分图像的边缘改善处理应用于存储在覆盖背景区背景成分图像帧存储器4504中的图像，并且把经过边缘改善的图像供应给合成单元4508。
例如，边缘改善单元4507-4进行与前景区相比，进一步改善本身是静止图像的覆盖背景区的背景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高背景成分图像的分辨率，而不会出现图像的人为失真。
边缘改善单元4507-5把适合于覆盖背景区的前景成分图像的边缘改善处理应用于存储在覆盖背景区前景成分图像帧存储器4505中的图像，并且把经过边缘改善的图像供应给合成单元4508。
例如，边缘改善单元4507-5进行与背景区相比，稍微少一点改善由运动前景成分构成的覆盖背景区的前景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高覆盖背景区的前景成分图像的分辨率，而不会出现图像的人为失真。
边缘改善单元4507-6把适合于前景区图像的边缘改善处理应用于存储在前景区帧存储器4506中的前景区图像，并且把经过边缘改善的前景区图像供应给合成单元4508。
例如，边缘改善单元4507-6进行与背景区相比，稍微少一点改善运动前景区图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高前景成分图像的分辨率，而不会出现图像的人为失真。
合成单元4508合成边缘改善单元4507-1供应的经过边缘改善的背景区图像、边缘改善单元4507-2供应的经过边缘改善的未覆盖背景区的背景成分图像、边缘改善单元4507-3供应的经过边缘改善的未覆盖背景区的前景成分图像、边缘改善单元4507-4供应的经过边缘改善的覆盖背景区的背景成分图像、边缘改善单元4507-5供应的经过边缘改善的覆盖背景区的前景成分图像、和边缘改善单元4507-6供应的经过边缘改善的前景区图像，并且把合成的图像供应给帧存储器4509。
帧存储器4509存储合成单元4508供应的合成图像，并且输出存储的图像，作为输出图像。
因此，其配置显示在图149中的分离图像处理单元4002可以应用与背景区图像、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、覆盖背景区的前景成分图像、和前景区图像的每一个的图像性质相对应的边缘改善处理，因此，可以提高前景成分图像的分辨率，而不会出现图像的人为失真。
注意，边缘改善单元4507-1到4507-6具有与边缘改善单元1203相同的配置，因此，略去不述。
图150是说明其配置显示在图149中的分离图像处理单元4002进行的处理的图形。区域指定单元103指定输入图像的前景区、背景区、覆盖背景区、和未覆盖背景区。
已经指定了区域和混合比计算单元104已经检测了混合比α的输入图像被前景/背景分离单元4001分离成前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像。
分离图像处理单元4002把边缘改善处理应用于分离的前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像的每一个。
把经过边缘改善的前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像合成成一个图像。
图151是说明利用其配置显示在图133中的图像处理设备对图像进行的处理的流程图。
在步骤S4501中，区域指定单元103根据运动检测单元102供应的运动向量和它的位置信息，指定输入图像的前景区、背景区、覆盖背景区、和未覆盖背景区。步骤S4501中的处理与步骤S4001中的处理相同，因此，略去不述。
在步骤S4502中，混合比计算单元104根据输入图像和区域指定单元103供应的区域信息，计算混合比α。步骤S4502中的处理与步骤S4002中的处理相同，因此，略去不述。
在步骤S4503中，前景/背景分离单元4001根据区域指定单元103供应的区域信息和混合比计算单元104供应的混合比α，把输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。步骤S4503中的处理与步骤S4003中的处理相同，因此，略去不述。
在步骤S4504中，分离图像处理单元4002把边缘改善处理应用于分离的前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像的每一个，然后，结束处理。分离图像处理单元4002进行的图像处理细节以后再述。
因此，根据本发明的图像处理设备把输入图像分离成前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像，并且，对分离的前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像的每一个进行边缘改善处理。
接着，参照图152所示的流程图，描述与步骤S4504相对应的、分离图像处理单元4002的边缘改善处理。
在步骤S4521中，边缘改善单元4507-1通过与背景区图像的性质相对应的边缘改善处理，对存储在背景区帧存储器4501中的背景区图像进行边缘改善。
在步骤S4522中，边缘改善单元4507-2通过与未覆盖背景区的背景成分图像的性质相对应的边缘改善处理，对存储在未覆盖背景区背景成分图像帧存储器4502中的未覆盖背景区的背景成分图像进行边缘改善。
在步骤S4523中，边缘改善单元4507-3通过与未覆盖背景区的前景成分图像的性质相对应的边缘改善处理，对存储在未覆盖背景区前景成分图像帧存储器4503中的未覆盖背景区的前景成分图像进行边缘改善。
在步骤S4524中，边缘改善单元4507-4通过与覆盖背景区的背景成分图像的性质相对应的边缘改善处理，对存储在覆盖背景区背景成分图像帧存储器4502中的覆盖背景区的背景成分图像进行边缘改善。
在步骤S4525中，边缘改善单元4507-5通过与覆盖背景区的前景成分图像的性质相对应的边缘改善处理，对存储在覆盖背景区前景成分图像帧存储器4503中的覆盖背景区的前景成分图像进行边缘改善。
在步骤S4526中，边缘改善单元4507-6通过与前景区图像的性质相对应的边缘改善处理，对存储在前景区帧存储器4506中的前景区图像进行边缘改善。
在步骤S4527中，合成单元4508合成每一个都经过边缘改善的前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像。合成单元4508把合成图像供应给帧存储器4509。帧存储器4509存储合成单元4509供应的图像。
在步骤S4528中，帧存储器4509输出存储在其中的合成图像，然后，结束处理。
因此，其配置显示在图149中的分离图像处理单元4002可以进行与前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像的每一个的性质相对应的边缘改善处理，因此，可以提高分辨率，而不会使运动图像出现人为失真。
注意，不用说，步骤S4521到步骤S4526中的处理可以以串行的方式进行，也可以以并行的方式进行。
图153是显示用于分离输入图像和处理每个分离图像的图像处理设备的功能的又一种配置的方块图。图133所示的图像处理设备串行地进行区域指定和混合比α的指定，而图153所示的图像处理设备并行地进行区域指定和混合比α的指定。
与图133所示的方块图中的功能相同的部分用相同的标号表示，因此，略去不述。
把输入图像供应给对象提取单元101、区域指定单元103、混合比计算单元3001、和前景/背景分离单元4601。
根据输入图像，混合比计算单元3001为包含在输入图像中的每个像素计算在假设像素属于覆盖背景区的情况下的估计混合比、和在假设像素属于未覆盖背景区的情况下的估计混合比，并且把如此计算的、在假设像素属于覆盖背景区的情况下的估计混合比、和在假设像素属于未覆盖背景区的情况下的估计混合比供应给前景/背景分离单元4601。
根据混合比计算单元3001供应的、在假设像素属于覆盖背景区的情况下的估计混合比、和在假设像素属于未覆盖背景区的情况下的估计混合比、和区域指定单元103供应的区域信息，前景/背景分离单元4601把输入图像分离成前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像，并且把分离的图像供应给分离图像处理单元4002。
图154是显示前景/背景分离单元4601的配置的例子的方块图。
与图135所示的前景/背景分离单元4001相同的部分用相同的标号表示，并且，略去不述。
选择单元4621根据区域指定单元103供应的区域信息，选择在假设像素属于覆盖背景区的情况下的估计混合比、和在假设像素属于未覆盖背景区的情况下的估计混合比的一个或另一个，并且把所选的估计混合比供应给分离单元4101，作为混合比α。
分离单元4101根据选择单元4621供应的混合比α和区域信息，从属于混合区的像素的像素值中提取前景成分和背景成分，并且，将其分离成未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、和覆盖背景区的前景成分图像。
分离单元4101可以具有与图136所示的配置相同的配置。
其配置显示在图153中的图像处理设备能够与每个图像的各自性质相对应，对前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像的每一个进行处理。
图155是显示图像处理设备的功能的另一种配置的方块图。
与图11所示的部分相同的那些部分用相同的标号表示，并且，略去不述。
把供应给图像处理设备的输入图像供应给对象提取单元101、区域指定单元103、和区域处理单元5001。
对象提取单元101粗略提取包含在输入图像中与前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。对象提取单元101粗略提取包含在输入图像中与背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。
运动检测单元102通过诸如块匹配、分级、相位相关性、和像素递归等的技术，计算与粗略提取的前景对象相对应的图像对象的运动向量，把计算的运动向量和运动向量位置信息提供给区域指定单元103。
区域指定单元103把输入图像的每一个像素指定到前景区、背景区、或混合区中，并且把指示每个像素属于前景区、背景区、或混合区的哪一个的区域信息供应给区域处理单元5001。
区域处理单元5001根据区域指定单元103供应的区域信息，把输入图像分割成前景区、背景区、和混合区的每一个，并且对分输入图像的每一个进行图像处理。例如，区域处理单元5001把输入图像分割成前景区、背景区、和混合区的每一个，并且为分输入图像的每一个生成用于生成分辨率更高的图像的分类自适应处理中的系数。
例如，区域处理单元5001把输入图像分割成前景区、背景区、和混合区的每一个，并且通过把分类自适应处理应用于分输入图像的每一个，建立分辨率更高的图像。
图156是描述其配置显示在图155中的区域处理单元5001进行的处理的图形。区域处理单元5001分别计算与背景区相对应的系数组、与未覆盖背景区相对应的系数组、与前景区相对应的系数组、和与覆盖背景区相对应的系数组。
与背景区相对应的系数组用于在分类自适应处理用于预测像素值的情况中，预测背景区中的像素值。与未覆盖背景区相对应的系数组用于在分类自适应处理用于预测像素值的情况中，预测未覆盖背景区中的像素值。
与覆盖背景区相对应的系数组用于在分类自适应处理用于预测像素值的情况中，预测覆盖背景区中的像素值。与前景区相对应的系数组用于在分类自适应处理用于预测像素值的情况中，预测前景区中的像素值。
把与背景区相对应的预测图像、与未覆盖背景区相对应的预测图像、与前景区相对应的预测图像、和与覆盖背景区相对应的预测图像合成成一个预测图像。
图157是显示生成系数组的区域处理单元5001的配置的方块图，生成的系数组用于沿着空间方向生成分辨率更高的图像的分类自适应处理。教师图像帧存储器5101以逐帧递增的方式存储，例如，本身是HD图像的输入图像。教师图像帧存储器5101把存储的输入图像供应给区域分割单元4102。
根据区域指定单元103供应的区域信息，区域分割单元4102把教师图像分割成背景区、前景区、覆盖背景区、可未覆盖背景区。
区域分割单元5102把由属于作为分教师图像的、教师图像的背景区的像素组成的图像供应给背景区教师图像帧存储器5103，把由属于教师图像的未覆盖背景区的像素组成的图像供应给未覆盖背景区教师图像帧存储器5104、把由属于教师图像的覆盖背景区的像素组成的图像供应给覆盖背景区教师图像帧存储器5105、和把由属于教师图像的前景区的像素组成的图像供应给前景区教师图像帧存储器5106。
背景区教师图像帧存储器5103存储区域分割单元5102供应的、由属于教师图像的背景区的像素组成的图像。背景区教师图像帧存储器5103把存储在其中的由属于教师图像的背景区的像素组成的图像供应给加权平均单元5107-1和学习单元5112-1。
未覆盖背景区教师图像帧存储器5104存储区域分割单元5102供应的、由属于教师图像的未覆盖背景区的像素组成的图像。未覆盖背景区教师图像帧存储器5104把存储在其中的由属于教师图像的未覆盖背景区的像素组成的图像供应给加权平均单元5107-2和学习单元5112-2。
覆盖背景区教师图像帧存储器5105存储区域分割单元5102供应的、由属于教师图像的覆盖背景区的像素组成的图像。覆盖背景区教师图像帧存储器5105把存储在其中的由属于教师图像的覆盖背景区的像素组成的图像供应给加权平均单元5107-3和学习单元5112-3。
前景区教师图像帧存储器5106存储区域分割单元5102供应的、由属于教师图像的前景区的像素组成的图像。前景区教师图像帧存储器5106把存储在其中的由属于教师图像的前景区的像素组成的图像供应给加权平均单元5107-4和学习单元5112-4。
加权平均单元5107-1对，例如，背景区教师图像帧存储器5103供应的、由属于本身是HD图像的教师图像的背景区的像素组成的图像进行四分之一加权平均，以便生成作为学生图像的SD图像，并且把生成的SD图像供应给背景区学生图像帧存储器5108。
背景区学生图像帧存储器5108存储加权平均单元5107-1供应的、与由属于教师图像的背景区的像素组成的图像相对应的学生图像。背景区学生图像帧存储器5108把存储在其中的与由属于教师图像的背景区的像素组成的图像相对应的学生图像供应给学习单元5112-1。
加权平均单元5107-2对，例如，未覆盖背景区教师图像帧存储器5104供应的、由属于本身是HD图像的教师图像的未覆盖背景区的像素组成的图像进行四分之一加权平均，以便生成作为学生图像的SD图像，并且把生成的SD图像供应给未覆盖背景区学生图像帧存储器5109。
未覆盖背景区学生图像帧存储器5109存储加权平均单元5107-2供应的、与由属于教师图像的未覆盖背景区的像素组成的图像相对应的学生图像。未覆盖背景区学生图像帧存储器5109把存储在其中的与由属于教师图像的未覆盖背景区的像素组成的图像相对应的学生图像供应给学习单元5112-2。
加权平均单元5107-3对，例如，覆盖背景区教师图像帧存储器5105供应的、由属于教师图像的覆盖背景区的像素组成的图像进行四分之一加权平均，以便生成作为学生图像的SD图像，并且把生成的SD图像供应给覆盖背景区学生图像帧存储器5110。
覆盖背景区学生图像帧存储器5110存储加权平均单元5107-3供应的、与由属于教师图像的覆盖背景区的像素组成的图像相对应的学生图像。覆盖背景区学生图像帧存储器5110把存储在其中的与由属于教师图像的覆盖背景区的像素组成的图像相对应的学生图像供应给学习单元5112-3。
加权平均单元5107-4对，例如，前景区教师图像帧存储器5106供应的、由属于本身是HD图像的教师图像的前景区的像素组成的图像进行四分之一加权平均，以便生成作为学生图像的SD图像，并且把生成的SD图像供应给前景区学生图像帧存储器5111。
前景区学生图像帧存储器5111存储加权平均单元5107-4供应的、与由属于教师图像的前景区的像素组成的图像相对应的学生图像。前景区学生图像帧存储器5111把存储在其中的与由属于教师图像的前景区的像素组成的图像相对应的学生图像供应给学习单元5112-4。
根据背景区教师图像帧存储器5103供应的、由属于教师图像的背景区的像素组成的图像、和背景区学生图像帧存储器5108供应的、与由属于教师图像的背景区的像素组成的图像相对应的学生图像，学习单元5112-1生成与背景区相对应的系数组，并且把生成的系数组供应给系数组存储器5113。
根据未覆盖背景区教师图像帧存储器5104供应的、由属于教师图像的未覆盖背景区的像素组成的图像、和未覆盖背景区学生图像帧存储器5109供应的、与由属于教师图像的未覆盖背景区的像素组成的图像相对应的学生图像，学习单元5112-2生成与未覆盖背景区相对应的系数组，并且把生成的系数组供应给系数组存储器5113。
根据覆盖背景区教师图像帧存储器5105供应的、由属于教师图像的覆盖背景区的像素组成的图像、和覆盖背景区学生图像帧存储器5110供应的、与由属于教师图像的覆盖背景区的像素组成的图像相对应的学生图像，学习单元5112-3生成与覆盖背景区相对应的系数组，并且把生成的系数组供应给系数组存储器5113。
根据前景区教师图像帧存储器5106供应的、由属于教师图像的前景区的像素组成的图像、和前景区学生图像帧存储器5111供应的、与由属于教师图像的前景区的像素组成的图像相对应的学生图像，学习单元5112-4生成与前景区相对应的系数组，并且把生成的系数组供应给系数组存储器5113。
系数组存储器5113存储学习单元5112-1供应的与背景区相对应的系数组、学习单元5112-2供应的与未覆盖背景区相对应的系数组、学习单元5112-3供应的与覆盖背景区相对应的系数组、和学习单元5112-4供应的与前景区相对应的系数组。
学习单元5112-1到学习单元5112-4具有与学习单元1006相同的配置，因此，略去不述。
图158是显示进行分类自适应处理，和沿着空间方向生成分辨率更高的图像的区域处理单元5001的配置的方块图。帧存储器5201以逐帧递增的方式存储，例如，本身是SD图像的输入图像。帧存储器5201把存储的输入图像供应给区域分割单元5202。
区域分割单元5202根据区域指定单元103供应的区域信息，把输入图像分割成背景区、前景区、覆盖背景区、或未覆盖背景区。也就是说，区域分割单元5202取出分输入图像，并且，把由属于背景区的像素组成的图像供应给背景区帧存储器5203，把由属于未覆盖背景区的像素组成的图像供应给未覆盖背景区帧存储器5204，把由属于覆盖背景区的像素组成的图像供应给覆盖背景区帧存储器5205，和把由属于前景区的像素组成的图像供应给前景区帧存储器5206。
背景区帧存储器5203存储区域分割单元5202供应的、由属于背景区的像素组成的图像。背景区帧存储器5203把存储在其中的由属于背景区的像素组成的图像供应给映射单元5207-1。
未覆盖背景区帧存储器5204存储区域分割单元5202供应的、由属于未覆盖背景区的像素组成的图像。未覆盖背景区帧存储器5204把存储在其中的由属于未覆盖背景区的像素组成的图像供应给映射单元5207-2。
覆盖背景区帧存储器5205存储区域分割单元5202供应的、由属于覆盖背景区的像素组成的图像。覆盖背景区帧存储器5205把存储在其中的由属于覆盖背景区的像素组成的图像供应给映射单元5207-3。
前景区帧存储器5206存储区域分割单元5202供应的、由属于前景区的像素组成的图像。前景区帧存储器5206把存储在其中的由属于前景区的像素组成的图像供应给映射单元5207-4。
映射单元5207-1根据存储在系数组存储器5208中与背景区相对应的系数组，通过分类自适应处理，生成与存储在背景区帧存储器5203中由属于背景区的像素组成的图像相对应的预测图像。映射单元5207-1把生成的预测图像供应给合成单元5209。
映射单元5207-2根据存储在系数组存储器5208中与未覆盖背景区相对应的系数组，通过分类自适应处理，生成与存储在未覆盖背景区帧存储器5204中由属于未覆盖背景区的像素组成的图像相对应的预测图像。映射单元5207-2把生成的预测图像供应给合成单元5209。
映射单元5207-3根据存储在系数组存储器5208中与覆盖背景区相对应的系数组，通过分类自适应处理，生成与存储在覆盖背景区帧存储器5205中由属于覆盖背景区的像素组成的图像相对应的预测图像。映射单元5207-3把生成的预测图像供应给合成单元5209。
映射单元5207-4根据存储在系数组存储器5208中与前景区相对应的系数组，通过分类自适应处理，生成与存储在前景区帧存储器5206中由属于前景区的像素组成的图像相对应的预测图像。映射单元5207-4把生成的预测图像供应给合成单元5209。
合成单元5209合成映射单元5207-1供应的与由属于背景区的像素组成的图像相对应的预测图像、映射单元5207-2供应的与由属于未覆盖背景区的像素组成的图像相对应的预测图像、映射单元5207-3供应的与由属于覆盖背景区的像素组成的图像相对应的预测图像、和映射单元5207-4供应的与由属于前景区的像素组成的图像相对应的预测图像，并且把合成的预测图像供应给帧存储器5210。
帧存储器5210存储合成单元5209供应的预测图像，并且输出存储的图像，作为输出图像。
映射单元5201-1到5207-4具有与映射单元1103相同的配置，因此，略去不述。
现在参照图159A到164B，描述本发明含有其配置显示在图158中的区域处理单元5001的图像处理设备的处理结果的例子。
在生成如例子所示的结果的处理中，在根据本发明的图像处理设备的分类自适应处理中的类数总和与传统分类自适应处理中的类数相同。也就是说，传统分类自适应处理中的类数是2048，在利用根据本发明的图像处理设备对每个区域的分类自适应处理中的类数是512。
此外，在传统分类自适应处理中的预测抽头数和在利用根据本发明的图像处理设备对每个区域的分类自适应处理中的预测抽头数都是9，它们是相同的。
参照图159A到161B，描述覆盖背景区的预测结果。
图159A是显示教师图像的混合区中的图像的例子的图形。图159B是显示教师图像的混合区中的图像与沿着空间方向的位置相对应的像素值的改变的图形。
图160A是显示与如图159A所示的教师图像相对应，通过传统分类自适应处理生成的、混合区中的图像的例子的图形。图160B是显示与如图159A所示的教师图像相对应，通过传统分类自适应处理生成的、混合区中的图像与沿着空间方向的位置相对应的像素值的改变的图形。
图161A是显示与如图159A所示的教师图像相对应，由其配置显示在图158中的区域处理单元5001生成的、混合区中的图像的例子的图形。图161B是显示与如图159A所示的教师图像相对应，由其配置显示在图158中的区域处理单元5001生成的、混合区中的图像与沿着空间方向的位置相对应的像素值的改变的图形。
与教师图像相比，通过传统分类自适应处理生成的、混合区中的图像中的像素值以阶跃方式改变，并且在实际生成的图像中，用肉眼就可以确认以阶跃方式改变。
相反，通过其配置显示在图158中的区域处理单元5001生成的、混合区中的图像中的像素值与传统安排相比，变化得更平滑，这表明其变化与教师图像更接近。此外，在用肉眼确认区域处理单元5001生成的图像的情况中，与传统安排相比，可以把图像确认成更平滑的图像。
参照图162A到图164B，描述像素值基本上随像素位置线性变化的前景区中的预测结果。
图162A是显示像素值基本上线性变化的教师图像中的前景区中的图像的例子的图形。图162B是显示像素值基本上线性变化的教师图像的前景区中的图像中与沿着空间方向的位置相对应的像素值的改变的图形。
图163A是显示通过传统分类自适应处理生成的、与图162A所示的图像相对应的、前景区中的图像的例子的图形。图163B是显示通过传统分类自适应处理生成的、与图162A所示的图像相对应的、前景区中的图像中，与沿着空间方向的位置相对应的像素值的改变的图形。
图164A是显示由其配置显示在图158中的区域处理单元5001生成的、与图162A所示的图像相对应的前景区中的图像的例子的图形。图164B是显示由其配置显示在图158中的区域处理单元5001生成的、与图162A所示的图像相对应的前景区中的图像中，与沿着空间方向的位置相对应的像素值的改变的图形。
与混合区的方式相同，与教师图像相比，通过传统分类自适应处理生成的、前景区中的图像中的像素值以阶跃方式改变，并且在实际图像中，用肉眼就可以识别以阶跃方式的改变。
相反，通过其配置显示在图158中的区域处理单元5001生成的、前景区中的图像中的像素值与传统安排相比，变化得更平滑，并且非常接近教师图像中的值。在用肉眼确认区域处理单元5001生成的图像的情况中，观察不到图像与教师图像之间的差异。
此外，可以获得和比较通过传统分类自适应处理生成的图像的每个区域上的SN(信噪)比和利用根据本发明的图像处理设备进行分类自适应处理生成的图像的每个区域上的SN比。
通过传统分类自适应处理生成的图像的覆盖背景区中的SN比是32.1716dB，未覆盖背景区中的SN比是31.8744dB，前景区中的SN比是31.8835dB，和背景区中的SN比是31.9985dB。
相反，利用根据本发明的图像处理设备生成的图像的覆盖背景区中的SN比是32.1799dB，未覆盖背景区中的SN比是31.8922dB，前景区中的SN比是32.0925dB，和背景区中的SN比是32.0177dB。
这样，利用根据本发明的图像处理设备生成的图像中的SN比在所有区域中都大于通过传统分类自适应处理生成的图像的SN比。
图165是说明通过其配置显示在图155中的图像处理设备对图像进行的处理的流程图。
在步骤S5001中，区域指定单元103根据运动检测单元102供应的运动向量和它的位置信息，指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。步骤S5001中的处理与步骤S101中的处理相同，因此，略去不述。
在步骤S5002中，区域处理单元5001把输入图像分割成已经指定的前景区、背景区、覆盖背景区、和未覆盖背景区，并且对已经分割的前景区、背景区、覆盖背景区、和未覆盖背景区进行图像处理，然后，结束处理。
这样，根据本发明的图像处理设备把输入图像分割成前景区、背景区、覆盖背景区、和未覆盖背景区，并且对已经分割的前景区、背景区、覆盖背景区、和未覆盖背景区的每一个进行图像处理。
现在参照图166所示的流程图，描述其配置显示在图157中的区域处理单元5001通过分类自适应处理生成用于预测像素值的系数组的学习处理。
在步骤S5101中，区域分割单元5102根据区域指定单元103供应的区域信息，分割存储在教师图像帧存储器5101中的教师图像。也就是说，区域分割单元5102把由属于作为分教师图像的教师图像的背景区的像素组成的图像供应给背景区教师图像帧存储器5103。区域分割单元5102把由属于作为分教师图像的教师图像的未覆盖背景区的像素组成的图像供应给未覆盖背景区教师图像帧存储器5104。
区域分割单元5102把由属于作为分教师图像的教师图像的覆盖背景区的像素组成的图像供应给覆盖背景区教师图像帧存储器5105。区域分割单元5102把由属于作为分教师图像的教师图像的前景区的像素组成的图像供应给前景区教师图像帧存储器5106。
在步骤S5102中，加权平均单元5107-1到5107-4生成背景区、前景区、未覆盖背景区、和覆盖背景区的学生图像。也就是说，加权平均单元5107-1对，例如，存储在背景区教师图像帧存储器5103中由属于教师图像的背景区的像素组成的图像进行四分之一加权平均，以便生成与由属于教师图像的背景区的像素组成的图像相对应的学生图像。加权平均单元5107-2对，例如，存储在未覆盖背景区教师图像帧存储器5104中由属于教师图像的未覆盖背景区的像素组成的图像进行四分之一加权平均，以便生成与由属于教师图像的未覆盖背景区的像素组成的图像相对应的学生图像。
加权平均单元5107-3对，例如，存储在覆盖背景区教师图像帧存储器5105中由属于教师图像的覆盖背景区的像素组成的图像进行四分之一加权平均，以便生成与由属于教师图像的覆盖背景区的像素组成的图像相对应的学生图像。加权平均单元5107-4对，例如，存储在前景区教师图像帧存储器5106中由属于教师图像的前景区的像素组成的图像进行四分之一加权平均，以便生成与由属于教师图像的前景区的像素组成的图像相对应的学生图像。
在步骤S5103中，学习单元5112-1根据存储在背景区教师图像帧存储器5103中由属于教师图像的背景区的像素组成的图像、和存储在背景区学生图像帧存储器5108中与由属于教师图像的背景区的像素组成的图像相对应的学生图像，生成与背景区相对应的系数组。
在步骤S5104中，学习单元5112-2根据存储在未覆盖背景区教师图像帧存储器5104中由属于教师图像的未覆盖背景区的像素组成的图像、和存储在未覆盖背景区学生图像帧存储器5109中与由属于教师图像的未覆盖背景区的像素组成的图像相对应的学生图像，生成与未覆盖背景区的系数组。
在步骤S5105中，学习单元5112-3根据存储在覆盖背景区教师图像帧存储器5105中由属于教师图像的覆盖背景区的像素组成的图像、和存储在覆盖背景区学生图像帧存储器5110中与由属于教师图像的覆盖背景区的像素组成的图像相对应的学生图像，生成与覆盖背景区的系数组。
在步骤S5106中，学习单元5112-4根据存储在前景区教师图像帧存储器5106中由属于教师图像的前景区的像素组成的图像、和存储在前景区学生图像帧存储器5111中与由属于教师图像的前景区的像素组成的图像相对应的学生图像，生成与前景区相对应的系数组。
在步骤S5107中，学习单元5112-1到5112-4把与背景区相对应的系数组、与未覆盖背景区相对应的系数组、与覆盖背景区相对应的系数组、和与前景区相对应的系数组供应给系数组存储器5113。系数组存储器5113存储与背景区、前景区、未覆盖背景区、和覆盖背景区的每一个相对应的系数组。
这样，其配置显示在图157中的区域处理单元5001可以生成与背景区相对应的系数组、与未覆盖背景区相对应的系数组、与覆盖背景区相对应的系数组、和与前景区相对应的系数组。
步骤S5013到步骤S5106中的处理细节与参照图103所示的流程图所述的处理相同，因此，略去不述。
并且，不用说，步骤S5103到步骤S5106中的处理可以以串行的方式，也可以以并行的方式进行。
接着，参照图167所示的流程图，描述其配置显示在图158中的区域处理单元5001建立图像的处理。
在步骤S5201中，区域分割单元5202根据区域指定单元103供应的区域信息，把输入图像分割成背景区、前景区、覆盖背景区、或未覆盖背景区。也就是说，区域分割单元5202取出分输入图像，并且，把由属于背景区的像素组成的图像供应给背景区帧存储器5203，把由属于未覆盖背景区的像素组成的图像供应给未覆盖背景区帧存储器5204，把由属于覆盖背景区的像素组成的图像供应给覆盖背景区帧存储器5205，和把由属于前景区的像素组成的图像供应给前景区帧存储器5206。
在步骤S5202中，映射单元5207-1根据存储在系数组存储器5208中与背景区相对应的系数组，通过分类自适应处理预测与存储在背景区帧存储器5203中由属于背景区的像素组成的图像相对应的图像。
在步骤S5203中，映射单元5207-2根据存储在系数组存储器5208中与未覆盖背景区相对应的系数组，通过分类自适应处理预测与存储在未覆盖背景区帧存储器5204中由属于未覆盖背景区的像素组成的图像相对应的图像。
在步骤S5204中，映射单元5207-3根据存储在系数组存储器5208中与覆盖背景区相对应的系数组，通过分类自适应处理预测与存储在覆盖背景区帧存储器5205中由属于覆盖背景区的像素组成的图像相对应的图像。
在步骤S5205中，映射单元5207-4根据存储在系数组存储器5208中与前景区相对应的系数组，通过分类自适应处理预测与存储在前景区帧存储器5206中由属于前景区的像素组成的图像相对应的图像。
在步骤S5206中，合成单元5209合成与由属于背景区的像素组成的图像相对应的预测图像、与由属于未覆盖背景区的像素组成的图像相对应的预测图像、与由属于覆盖背景区的像素组成的图像相对应的预测图像、和与由属于前景区的像素组成的图像相对应的预测图像。合成单元5209把合成图像供应给帧存储器5210。帧存储器5210存储合成单元5209供应的合成图像。
在步骤S5207中，帧存储器5210输出存储的预测图像，然后，结束处理。
这样，含有其配置显示在图158中的区域处理单元5001的图像处理设备可以为背景区、未覆盖背景区、覆盖背景区、和前景区的每一个分割输入图像，和为每个分图像生成预测图像。
步骤S5202到步骤S5205中的处理细节与参照图109所示的流程图所述的处理相同，因此，略去不述。
并且，不用说，步骤S5202到步骤S5205中的处理可以以串行的方式进行，也可以以并行的方式进行。
此外，由运动模糊消除图像处理单元108、分离图像处理单元4002、和区域处理单元5001执行的处理不限于生成与SD图像和HD图像相对应的系数，或从SD图像中生成HD图像的处理，可以作出这样的安排，其中，例如，通过生成用于沿着空间方向生成更高分辨率图像的系数，生成沿着空间方向分辨率更高的图像。此外，也可以作出这样的安排，其中，运动模糊消除图像处理单元108、分离图像处理单元4002、和区域处理单元5001进行沿着时间方向生成更高分辨率图像的处理。
注意，可以作出这样的安排，其中，运动模糊消除图像处理单元108、分离图像处理单元4002、和区域处理单元5001从预定信息中生成系数，和根据生成的系数进行分类自适应处理。
此外，还可以作出这样的安排，其中，运动模糊消除图像处理单元108、分离图像处理单元4002、和区域处理单元5001根据分类自适应处理，进行其它处理，例如，把图像大小转换成所需大小、提取诸如RGS的彩色信号、噪声消除、图像压缩、编码等。例如，通过运动模糊消除图像处理单元108、分离图像处理单元4002、和区域处理单元5001，根据与已经进行了分类的类相对应的运动向量和每个图像，沿着与运动向量一致的方向用低压缩比和沿着与运动向量垂直的方向用高压缩比压缩每个区域的图像，可以图像失真比传统安排小地增加压缩比。
图168是显示把效果不同的边缘改善处理应用于背景区、未覆盖背景区、覆盖背景区、和前景区的每一个的区域处理单元5001的另一种配置的方块图。
帧存储器5501以逐帧递增的方式存储输入图像。帧存储器5501把存储在其中的输入图像供应给区域分割单元5502。
区域分割单元5502根据区域指定单元103供应的区域信息，把输入图像分割成背景区、前景区、覆盖背景区、或未覆盖背景区。也就是说，区域分割单元5502取出分输入图像，并且，把由属于背景区的像素组成的背景图像供应给背景区帧存储器5503，把由属于未覆盖背景区的像素组成的图像供应给未覆盖背景区帧存储器5504，把由属于覆盖背景区的像素组成的图像供应给覆盖背景区帧存储器5505，和把由属于前景区的像素组成的前景图像供应给前景区帧存储器5506。
背景区帧存储器5503存储区域分割单元5502供应的、由属于背景区的像素组成的背景图像。背景区帧存储器5503把存储在其中的背景图像供应给边缘改善单元5507-1。
未覆盖背景区帧存储器5504存储区域分割单元5502供应的、由属于未覆盖背景区的像素组成的图像。未覆盖背景区帧存储器5504把存储在其中的由属于未覆盖背景区的像素组成的图像供应给边缘改善单元4507-2。
覆盖背景区帧存储器5505存储区域分割单元5502供应的、由属于覆盖背景区的像素组成的图像。覆盖背景区帧存储器5505把存储在其中的由属于覆盖背景区的像素组成的图像供应给边缘改善单元4507-3。
前景区帧存储器5506存储区域分割单元5502供应的、由属于前景区的像素组成的前景图像。前景区帧存储器5506把存储在其中的前景图像供应给边缘改善单元5507-4。
边缘改善单元5507-1把适合于背景图像的边缘改善处理应用于存储在背景区帧存储器5503中的背景图像，并且把经过边缘改善的背景图像供应给合成单元5508。
例如，边缘改善单元5507-1进行与未覆盖背景区、覆盖背景区、或前景区相比，更多地改善本身是静止图像的背景图像的边缘的边缘改善处理。因此，可以更进一步提高背景图像的分辨率，而不会引起把边缘改善处理应用于运动图像的情况下的人为图像失真。
边缘改善单元5507-2把适合于未覆盖背景区的边缘改善处理应用于存储在未覆盖背景区帧存储器5504中的图像，并且把经过边缘改善的图像供应给合成单元5508。
例如，边缘改善单元5507-2进行与背景区相比，程度较低一些地改善作为包含运动前景成分的图像的未覆盖背景图像的边缘的边缘改善处理。因此，在提高未覆盖背景区图像中的分辨率的同时，可以减少把边缘改善处理应用于运动图像的情况下的人为图像失真。
边缘改善单元5507-3把适合于覆盖背景区的边缘改善处理应用于存储在覆盖背景区帧存储器5505中的图像，并且把经过边缘改善的图像供应给合成单元5508。
例如，边缘改善单元5507-3进行与背景区相比，程度较低一些地改善作为包含运动前景成分的图像的覆盖背景图像的边缘的边缘改善处理。因此，在提高覆盖背景区图像中的分辨率的同时，可以减少把边缘改善处理应用于运动图像的情况下的人为图像失真。
边缘改善单元5507-4把适合于前景图像的边缘改善处理应用于存储在前景区帧存储器5506中的前景图像，并且把经过边缘改善的前景图像供应给合成单元5508。
例如，边缘改善单元5507-4进行与背景区相比，边缘改善程度较低一些地改善运动前景图像的边缘的边缘改善处理。因此，在提高前景区图像中的分辨率的同时，可以减少把边缘改善处理应用于运动图像的情况下的人为图像失真。
合成单元5508合成边缘改善单元5507-1供应的经过边缘改善的背景图像、边缘改善单元5507-2供应的经过边缘改善的由属于未覆盖背景区的像素组成的图像、边缘改善单元5507-3供应的经过边缘改善的由属于覆盖背景区的像素组成的图像、和边缘改善单元5507-4供应的经过边缘改善的前景图像，并且把合成的图像供应给帧存储器5509。
帧存储器5509存储合成单元5508供应的合成图像，并且输出存储的图像，作为输出图像。
这样，其配置显示在图168中的区域处理单元5001可以把与每个图像的性质相对应的边缘改善处理应用于背景区、未覆盖背景区、覆盖背景区、和前景区每一个，因此，可以提高图像的分辨率，而不会出现图像的人为失真。
边缘改善单元5507-1到边缘改善单元5507-4具有与边缘改善单元1203相同的配置，因此，略去不述。
图169是描述其配置显示在图168中区域图像处理单元5001进行的处理的图形。
区域指定单元103指定输入图像的前景区、未覆盖背景区、覆盖背景区、和背景区。
已经指定了区域的输入图像由区域分割单元5001分割成各个区域。已经分割的背景区图像、未覆盖背景区图像、覆盖背景区图像、和背景区图像由其配置显示在图168中的区域分割单元5001分别进行与每个图像的性质相对应的、对每个图像的边缘改善。
合成每一个都经过边缘改善的背景区图像、未覆盖背景区图像、覆盖背景区图像、和前景区图像。
图170是描述利用其配置显示在图115中的图像处理设备对图像进行的处理的流程图。
在步骤S5501中，区域指定单元103根据运动检测单元102供应的运动向量和它的位置信息，指定输入图像的前景区、背景区、覆盖背景区、和未覆盖背景区。步骤S5501中的处理与步骤S5001中的处理相同，因此，略去不述。
在步骤S5502中，区域处理单元5001把输入图像分割成已经指定的前景区、背景区、覆盖背景区、和未覆盖背景区，并且对已经分割的前景区、背景区、覆盖背景区、和未覆盖背景区的图像进行边缘改善处理，然后结束处理。
这样，根据本发明的图像处理设备把输入图像分离成前景区、背景区、覆盖背景区、和未覆盖背景区，并且，已经分割的前景区、背景区、覆盖背景区、和未覆盖背景区的每一个进行边缘改善处理。
接着，参照图171所示的流程图，描述与步骤S5502相对应的、区域处理单元5001进行的边缘改善处理。
在步骤S5521中，区域分割单元5502根据区域指定单元103供应的区域信息，把输入图像分割成背景区、前景区、覆盖背景区、或未覆盖背景区。也就是说，区域分割单元5502把由属于作为分输入图像的背景区的像素组成的背景图像供应给背景区帧存储器5503，把由属于未覆盖背景区的像素组成的图像供应给未覆盖背景区帧存储器5504，把由属于覆盖背景区的像素组成的图像供应给覆盖背景区帧存储器5505，和把由属于前景区的像素组成的前景图像供应给前景区帧存储器5506。
在步骤S5522中，边缘改善单元5507-1通过与背景区图像的性质相对应的边缘改善处理，对存储在背景区帧存储器5503中的背景图像进行边缘改善。
在步骤S5523中，边缘改善单元5507-2通过与未覆盖背景区的背景成分图像的性质相对应的边缘改善处理，对存储在未覆盖背景区帧存储器5504中的未覆盖背景区图像进行边缘改善。
在步骤S5524中，边缘改善单元5507-3通过与覆盖背景区的背景成分图像的性质相对应的边缘改善处理，对存储在覆盖背景区帧存储器5505中的覆盖背景区图像进行边缘改善。
在步骤S5525中，边缘改善单元5507-4通过与前景区图像的性质相对应的边缘改善处理，对存储在前景区帧存储器5506中的前景图像进行边缘改善。
在步骤S5526中，合成单元5508合成经过边缘改善的背景图像、未覆盖背景区的图像、覆盖背景区的图像、和前景图像。合成单元5508把合成图像供应给帧存储器5509。帧存储器5509存储合成单元5508供应的图像。
在步骤S5527中，帧存储器5509输出存储在其中的合成图像，然后，结束处理。
这样，其配置显示在图168中的区域处理单元5001可以把与每个图像的性质相对应的边缘改善处理应用于背景图像、未覆盖背景区图像、覆盖背景区图像、和前景图像的每一个，因此，可以提高图像的分辨率，而不会使运动图像出现人为失真。
注意，不用说，步骤S5522到步骤S5525中的处理可以以串行的方式进行，也可以以并行的方式进行。
图172是描述其配置显示在图131中的图像处理设备的又一种处理的图形。
如图172所示，输入图像含有指定的前景区、背景区、和混合区，并且被分割成指定的前景区、背景区、和混合区。
把，例如，生成系数的处理、或噪声消除处理等应用于已经分割的前景区的图像和背景区的图像的每一个。
图173是显示生成系数组的区域处理单元5001的配置的方块图，生成的系数用在消除噪声的分类自适应处理中。教师图像帧存储器5701以逐帧递增的方式存储输入图像。教师图像帧存储器5701把存储的输入图像供应给区域分割单元5702。
区域分割单元5702根据区域指定单元103供应的区域信息，把作为输入图像的教师图像分割成背景区或前景区。
图173所示的区域处理单元5001既使用未覆盖背景区的图像，也不使用覆盖背景区的图像。
区域分割单元5702把作为分输入图像的教师图像的背景区图像供应给背景区教师图像帧存储器5703，并且把教师图像的前景区图像供应给前景区教师图像帧存储器5704。
背景区教师图像帧存储器5703存储区域分割单元5702供应的教师图像的背景区图像。背景区教师图像帧存储器5703把存储在其中的教师图像的背景区图像供应给噪声加入单元5705-1和学习单元5708-1。
前景区教师图像帧存储器5704存储区域分割单元5702供应的教师图像的前景区图像。前景区教师图像帧存储器5704把存储在其中的教师图像的前景区图像供应给噪声加入单元5705-2和学习单元5708-2。
噪声加入单元5705-1生成，例如，随机数，并且把随机数加入背景区教师图像帧存储器5703供应的教师图像的背景区图像的像素值中，从而把噪声加入背景区的图像中。噪声加入单元5705-1把已经加入噪声的背景区图像供应给背景区学生图像帧存储器5706。
背景区学生图像帧存储器5706存储噪声加入单元5705-1供应的、已经加入噪声的背景区图像，作为学生图像。背景区学生图像帧存储器5706把存储在其中与教师图像的背景区图像相对应的学生图像供应给学习单元4708-1。
噪声加入单元5705-2生成，例如，随机数，并且把随机数加入前景区教师图像帧存储器5704供应的教师图像的前景区图像的像素值中，从而把噪声加入前景区的图像中。噪声加入单元5705-2把已经加入噪声的前景区图像供应给前景区学生图像帧存储器5707。
前景区学生图像帧存储器5707存储噪声加入单元5705-2供应的、已经加入噪声的前景区图像，作为学生图像。前景区学生图像帧存储器5707把存储在其中与教师图像的前景区图像相对应的学生图像供应给学习单元4708-2。
根据背景区教师图像帧存储器5703供应的作为背景区的图像的教师图像、和背景区学生图像帧存储器5706供应的已经加入噪声的学生图像，学习单元5708-1生成与背景区相对应的系数组，并且把生成的系数组供应给系数组存储器5709。
根据前景区教师图像帧存储器5704供应的作为前景区的图像的教师图像、和前景区学生图像帧存储器5707供应的已经加入噪声的学生图像，学习单元5708-2生成与前景区相对应的系数组，并且把生成的系数组供应给系数组存储器5709。
系数组存储器5709存储学习单元5708-1供应的与背景区相对应的系数组、和学习单元5708-2供应的与前景区相对应的系数组。
图174是描述其配置显示在图173中的区域处理单元5001生成的系数组的图形。区域处理单元5001分别计算与背景区相对应的系数组和与前景区相对应的系数组。区域处理单元5001不生成与未覆盖背景区或覆盖背景区相对应的系数组。
也就是说，区域分割单元5702把输入图像分割成背景区的图像、由属于未覆盖背景区的像素组成的图像、由属于覆盖背景区的像素组成的图像、和前景区的图像。
学习单元5708-1根据分背景成分图像，计算与背景区相对应的系数组，和学习单元5708-2根据分前景成分图像，计算与前景区相对应的系数组。
与背景区相对应的系数组用于在预测从中已经消除了噪声的像素值的分类自适应处理中，预测背景区的像素值。与前景区相对应的系数组用于在预测从中已经消除了噪声的像素值的分类自适应处理中，预测前景区的像素值。
把与背景区的图像相对应的预测图像、与未覆盖背景区相对应的图像、与覆盖背景区相对应的图像、和与前景区的图像相对应的预测图像合成成一个图像。
参照图175所示的流程图，描述其配置显示在图173中的区域处理单元5001生成用于在分类自适应处理中预测像素值的系数组的学习处理。
在步骤S5701中，区域分割单元5702根据区域指定单元103供应的区域信息，区域分割存储在教师图像帧存储器5701中的教师图像。也就是说，区域分割单元5702把作为区域分割教师图像的教师图像的背景成分图像供应给背景区教师图像帧存储器5703。区域分割单元5702把作为区域分割教师图像的教师图像的前景成分图像供应给前景区教师图像帧存储器5704。
在步骤S5702中，噪声加入单元5705-1和5705-2为背景区和前景区两者生成学生图像。也就是说，噪声加入单元5705-1生成，例如，随机数，并且把随机数加入存储在背景区教师图像帧存储器5703中的背景区图像的像素值中，从而把噪声加入背景区的图像中。噪声加入单元5705-2生成，例如，随机数，并且把随机数加入存储在前景区教师图像帧存储器5704中的前景区图像的像素值中，从而把噪声加入前景区的图像中。
在步骤S5703中，学习单元5708-1根据存储在背景区教师图像帧存储器5703中作为背景区的图像的教师图像、和存储在背景区学生图像帧存储器5706中的已经加入了噪声的学生图像，生成与背景区相对应的系数组。生成系数组的处理细节与参照图103所示的流程图已经描述过的处理相同，因此，略去不述。
在步骤S5704中，学习单元5708-2根据存储在背前景区教师图像帧存储器5704中作为前景区的图像的教师图像、和存储在前景区学生图像帧存储器5707中的已经加入了噪声的学生图像，生成与前景区相对应的系数组。生成系数组的处理细节与参照图103所示的流程图已经描述过的处理相同，因此，略去不述。
在步骤S5705中，学习单元5708-1和学习单元5708-2分别把与背景区相对应的系数组和与前景区相对应的系数组供应给系数组存储器5709。系数组存储器5709分别存储与背景区相对应的系数组和与前景区相对应的系数组，然后，结束处理。
这样，其配置显示在图173中的区域处理单元5001可以生成与背景区相对应的系数组和与前景区相对应的系数组。
注意，不用说，步骤S5703和步骤S5704中的处理可以以串行的方式进行，也可以以并行的方式进行。
图176是显示用于进行分类自适应处理，生成已经消除了噪声的图像的区域处理单元5001的配置的方块图。帧存储器5901以逐帧递增的方式存储输入图像。帧存储器5901把存储在其中的输入图像供应给区域分割单元5902。
区域分割单元5902根据区域指定单元103供应的区域信息，把输入图像分割成前景区、和背景区、覆盖背景区、或未覆盖背景区。也就是说，区域分割单元5902把作为分输入图像的背景区图像供应给背景区帧存储器5903，和把前景区图像供应给前景区帧存储器5904。
区域分割单元5902把作为分输入图像的覆盖背景区和未覆盖背景区图像供应给合成单元5907。
背景区帧存储器5903记录区域分割单元5902供应的由属于背景区的像素组成的背景区图像。背景区帧存储器5903把存储的背景区图像供应给映射单元5905-1。
前景区帧存储器5904记录区域分割单元5902供应的由属于前景区的像素组成的前景区图像。前景区帧存储器5904把存储的前景区图像供应给映射单元5905-2。
映射单元5905-1根据存储在系数组存储器5906中与背景区相对应的系数组，通过分类自适应处理，生成与存储在背景区帧存储器5903中的背景区图像相对应的、已经从中消除了噪声的预测图像。映射单元5905-1把生成的预测图像供应给合成单元5907。
映射单元5905-2根据存储在系数组存储器5906中与前景区相对应的系数组，通过分类自适应处理，生成与存储在前景区帧存储器5904中的前景区图像相对应的、已经从中消除了噪声的预测图像。映射单元5905-2把生成的预测图像供应给合成单元5907。
合成单元5907合成映射单元5905-1供应的与背景区的图像相对应的预测图像、映射单元5905-2供应的与前景区的图像相对应的预测图像、和区域分割单元5902供应的覆盖背景区和未覆盖背景区的图像，并且把合成图像供应给帧存储器5908。
帧存储器5908存储合成单元5907供应的图像，并且输出存储在其中的图像，作为输出图像。
接着，参照图177所示的流程图，描述利用其配置显示在图176中的区域处理单元5001建立图像的处理。
在步骤S5901中，区域分割单元5902根据区域指定单元103供应的区域信息，把输入图像分割成背景区、前景区、覆盖背景区、或未覆盖背景区。也就是说，区域分割单元5902把由属于背景区的像素组成的、作为分输入图像的背景区图像供应给背景区帧存储器5903，并且把由属于前景区的像素组成的前景区图像供应给前景区帧存储器5904。
区域分割单元5902把由属于背景区的像素组成的背景区图像和由属于前景区的像素组成的前景区图像供应给合成单元5907。
在步骤S5902中，映射单元5905-1根据存储在系数组存储器5906中与背景区相对应的系数组，通过分类自适应处理，预测与存储在背景区帧存储器5903中的背景区图像相对应的、已经从中消除了噪声的图像。预测已经从中消除了噪声的图像的处理细节与参照图109所示的流程图已经描述过的处理相同，因此，略去不述。
在步骤S5903中，映射单元5905-2根据存储在系数组存储器5906中与前景区相对应的系数组，通过分类自适应处理，预测与存储在前景区帧存储器59034的前景区图像相对应的、已经从中消除了噪声的图像。预测已经从中消除了噪声的图像的处理细节与参照图109所示的流程图已经描述过的处理相同，因此，略去不述。
在步骤S5904中，合成单元5907合成与背景区的图像相对应的预测图像、与前景区的图像相对应的预测图像、和覆盖背景区和未覆盖背景区的图像。合成单元5907把合成图像供应给帧存储器5908。帧存储器5908存储合成单元5907供应的图像。
在步骤S5905中，帧存储器5908输出存储的合成图像，然后，结束处理。
这样，包含其配置显示在图176中的区域处理单元5001的图像处理设备可以把输入图像分割成背景区、未覆盖背景区、覆盖背景区、和前景区的每一个，为分背景区图像和分前景区图像的每一个生成预测图像，并且将预测图像与未覆盖背景区和覆盖背景区的图像合成在一起，因此，可以降低整个图像的噪声，而不会在混合区出现人为图像失真。
注意，不用说，步骤S5902和步骤S5903中的处理可以以串行的方式进行，也可以以并行的方式进行。
此外，对于本发明，图像处理包括让图像没有变化地通过的处理。
图178是显示根据本发明的图像处理设备的功能的又一种配置的方块图。
与图11所示的情况相同的部分用相同的标号表示，并且，略去不述。
把提供给图像处理设备的输入图像提供给对象提取单元101、区域指定单元103、混合比计算单元104、和前景/背景分离单元105。
对象提取单元101粗略提取包含在输入图像中与前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。对象提取单元101粗略提取包含在输入图像中与背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。
运动检测单元102通过诸如块匹配、分级、相位相关性、和像素递归等的技术，计算与粗略提取的前景对象相对应的图像对象的运动向量，把计算的运动向量和运动向量位置信息(指定与运动向量相对应的像素位置的信息)提供给区域指定单元103。
区域指定单元103把输入图像的每一个像素分入前景区、背景区、或混合区之一中，并且把区域信息供应给混合比计算单元104和前景/背景分离单元105。前景区、背景区、或混合区的细节以后再述。
混合比计算单元104根据输入图像、和区域指定单元103供应的区域信息，计算与包含在混合区中的像素相对应的混合比α，并且把计算的混合比供应给前景/背景分离单元105。
根据区域指定单元103供应的区域信息、和混合比计算单元104供应的混合比α，前景/背景分离单元105把输入图像分离成前景成分图像、和背景成分图像，并且把前景成分图像和背景成分图像供应给分离图像处理单元7001。
分离图像处理单元7001把不同处理应用于前景成分图像和背景成分图像的每一个。例如，分离图像处理单元7001根据背景成分图像，生成用在生成更高分辨率图像的分类自适应处理中的系数。
例如，分离图像处理单元7001把分类自适应处理应用于背景成分图像，以便建立分辨率更高的图像，并且把线性内插处理应用于前景成分图像，从而生成图像。
此外，分离图像处理单元7001把边缘改善处理只应用于背景成分图像，并且让前景成分图像按原样通过。
图179是描述利用根据本发明的图像处理设备对图像进行的处理的流程图。
在步骤S7001中，区域指定单元103根据运动检测单元102供应的运动向量和它的位置信息，指定前景区、背景区、覆盖背景区、和未覆盖背景区。步骤S7001中的处理与步骤S101中的处理相同，因此，略去不述。
在步骤S7002中，混合比计算单元104根据输入图像和区域指定单元103供应的区域信息，计算混合比α。步骤S7002中的处理与步骤S102中的处理相同，因此，略去不述。
在步骤S7003中，前景/背景分离单元105根据区域指定单元103供应的区域信息和混合比计算单元104供应的混合比α，把输入图像分离成由前景成分组成的前景成分图像和由背景成分组成的背景成分图像。步骤S7003中的处理与步骤S103中的处理相同，因此，略去不述。
在步骤S7004中，分离图像处理单元7001对前景成分图像和背景成分图像的每一个进行处理，然后，结束处理。分离图像处理单元7001进行的图像处理的细节以后再述。
这样，根据本发明的图像处理设备把输入图像分离成前景成分图像和背景成分图像，并且对分离的前景成分图像和背景成分图像进行图像处理。
图180是显示与背景成分图像相对应，生成系数组的分离图像处理单元7001的配置的方块图，生成的系数组用在沿着空间方向生成更高分辨率图像的分类自适应处理中。例如，其配置显示在图180中的分离图像处理单元7001根据与背景成分图像相对应的输入SD图像，生成用在从SD图像中生成HD图像的分类自适应处理中的系数。
其配置显示在图180中的分离图像处理单元7001没有使用前景成分图像。
教师图像帧存储器7021存储前景/背景分离单元105供应的背景成分图像。教师图像帧存储器7021把存储在其中的背景成分图像，即，教师图像，供应给加权平均单元7022和学习单元7024。
加权平均单元7022通过对，例如，教师图像帧存储器7021供应的、作为教师图像的、HD图像中的背景成分图像进行四分之一加权平均，生成作为学生图像的SD图像，并且把生成的SD图像供应给学生图像帧存储器7023。
学生图像帧存储器7023存储加权平均单元7022供应的、与作为教师图像的背景成分图像相对应的学生图像。学生图像帧存储器7023把存储的学生图像供应给学习单元7024。
学习单元7024根据教师图像帧存储器7021供应的、作为教师图像的背景成分图像、和学生图像帧存储器7023供应的、与背景成分图像相对应的学生图像，生成与背景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器7025。
系数组存储器7025存储学习单元7024供应的与背景成分图像相对应的系数组。
图181是显示学习单元7024的配置的方块图。
分类单元7121包括类抽头获取单元7131和波形分类单元7132，并且分类输入学生图像中作为关注的像素的感兴趣像素。类抽头获取单元7131获取与感兴趣像素相对应的、本身是学生图像的像素的预定个类抽头，并且把获取的类抽头供应给波形分类单元7132。
波形分类单元7132进行根据其特征，把输入信号分成几类的分类处理，并且，根据类抽头，把感兴趣像素分成一类。例如，波形分类单元7132把感兴趣像素分成512个类之一，并且把与所分的类相对应的类号供应给预测抽头获取单元7122。
预测抽头获取单元7122根据类号，从学生图像的像素中获取与该类相对应的、作为计算原始图像(教师图像)的预测值的增量的预测抽头，并且，把获取的预测抽头和类号供应给相应像素获取单元7123。
相应像素获取单元7123根据预测抽头和类号，获取与待预测像素值相对应的、教师图像中的像素的像素值，并且把预测抽头、类号、和获取的与待预测像素值相对应的、教师图像中的像素的像素值供应给正规方程生成单元7124。
正规方程生成单元7124根据预测抽头、类号、和获取的待预测像素，生成与预测抽头和待预测像素之间的关系相对应的、计算用在自适应处理中的系数组的正规方程，并且把获取的正规方程与类号一起供应给系数计算单元7125。
系数计算单元7125通过求解正规方程生成单元7124供应的正规方程，计算与所分的类相对应的、用在自适应处理中的系数组。系数计算单元7125把计算系数组与类号一起供应给系数组存储器7025。
可以作出这样的安排，其中，正规方程生成单元7124生成与这样的正规方程相对应的矩阵，和系数计算单元7125根据生成的矩阵，计算系数组。
正规方程生成单元7124为每一类生成计算最佳预测系数w的正规方程，和系数计算单元7125根据生成的正规方程，计算预测系数w。
此外，自适应处理不限于沿着空间方向建立高分辨率图像的处理，可以将其安排成建立，例如，图像分辨率相同，但噪声降低了的图像。
参照图182所示的流程图，描述其配置显示在图180中的分离图像处理单元7001通过分类自适应处理生成用于预测像素值的系数组的学习处理。
在步骤S7021中，加权平均单元7022通过对，例如，存储在教师图像帧存储器7021中的、作为教师图像的背景成分图像进行四分之一加权平均，生成与作为教师图像的背景成分图像相对应的学生图像。
在步骤S7022中，学习单元7024根据存储在教师图像帧存储器7021中的、作为教师图像的背景成分图像、和存储在学生图像帧存储器7023中与背景成分图像相对应的学生图像，生成与背景成分图像相对应的系数组，并且把生成的系数组供应给系数组存储器7025。系数组存储器7025存储与背景成分图像相对应的系数组，然后，结束处理。
这样，其配置显示在图180中的分离图像处理单元7001可以生成与背景成分图像相对应的系数组。
现在，参照图183所示的流程图，描述与步骤S7022中的处理相对应的、由学习单元7024执行的、生成与背景成分图像相对应的系数组的处理。
在步骤S7121中，学习单元7024判断在与背景成分图像相对应的学生图像中是否还存在未处理的像素，并且，在作出在与背景成分图像相对应的学生图像中还存在未处理的像素的判断的情况下，流程转到步骤S7122，在步骤S7122中，学习单元7024以光栅扫描顺序从与背景成分图像相对应的学生图像中获取感兴趣像素。
在步骤S7123中，分类单元7121的类抽头获取单元7131从存储在学生图像帧存储器7023中的学生图像中获取与感兴趣像素相对应的类抽头。在步骤S7124中，分类单元7121的波形分类单元7132通过把ADRC处理应用于类抽头，减少构成类抽头的像素的位数，并且对感兴趣像素进行分类。在步骤S7125中，预测抽头获取单元7122根据所分的类，从存储在学生图像帧存储器7023中的学生图像中，获取与感兴趣像素相对应的预测抽头。
在步骤S7126中，相应像素获取单元7123根据所分的类，从存储在教师图像帧存储器7021中的作为教师图像的背景成分图像中，获取与待预测像素值相对应的像素。
在步骤S7127中，正规方程生成单元7124根据已经作了分类的类，把与预测抽头相对应的像素的像素值和待预测像素值加入每个类的矩阵中，流程返回到步骤S7121，学习单元7024重复判断是否还存在未处理像素。把与预测抽头相对应的像素的像素值和待预测像素值加入的每个类的矩阵对应于为每个类计算系数组的正规方程。
在步骤S7121中，在作出在学生图像中没有未处理像素的判断的情况下，流程转到步骤S7128，在步骤S7128中，正规方程生成单元7124把已经设置了与预测抽头相对应的像素的像素值和待预测像素值的、每个类的矩阵供应给系数计算单元7125。系数计算单元7125通过求解已经设置了与预测抽头相对应的像素的像素值和待预测像素值的每个类的矩阵，计算与背景成分图像相对应的每个类的系数组。
注意，可以作出这样的安排，其中，系数计算单元7125除了通过线性预测之外，还通过非线性预测计算用于预测像素值的系数组。
在步骤S7129中，系数计算单元7125把与背景成分图像相对应的每个类的系数组输出到系数组存储器7025，然后，结束处理。
如上所述，学习单元7024可以生成与背景成分图像相对应的系数组。
如上所述，其配置显示在图180中的分离图像处理单元7001可以生成与背景成分图像相对应的系数组。
图184是显示通过对背景成分图像进行分类自适应处理，同时还对前景成分图像进行内插，沿着空间方向生成更高分辨率图像的分离图像处理单元7001的配置的方块图。例如，其配置显示在图184中的分离图像处理单元7001通过把分类自适应处理应用于作为SD图像的输入图像的背景成分图像，和把内插处理应用于作为SD图像的输入图像的前景成分图像，生成HD图像。
帧存储器7301存储分离图像处理单元105供应的背景成分图像。帧存储器7301把存储的背景成分图像供应给映射单元7302。
映射单元7302根据存储在系数组存储器7303中与背景成分图像相对应的系数组，通过分类自适应处理，生成与存储在帧存储器7301中的背景成分图像相对应的预测图像。映射单元7302把生成的预测图像供应给帧存储器7304。
帧存储器7304存储与存储的背景成分图像相对应的预测图像，并且把存储的预测图像供应给合成单元7308。
帧存储器7305存储分离图像处理单元105供应的前景成分图像。帧存储器7305把存储的前景成分图像供应给线性内插处理单元7306。
线性内插处理单元7306通过线性内插处理，生成与存储在帧存储器7305中的前景成分图像相对应的经过内插的图像。
例如，在计算在图97中用正方形围起来的、要经过内插的图像中的像素Y33(1)的像素值的情况下，线性内插处理单元7306将相应的预定权重乘以每个像素，即，X22、X23、X24、X32、X33、X34、X42、X43、X44，并且把乘积之和设置成像素Y33(1)的像素值。以此类推，在计算要经过内插的图像中的像素Y33(2)的像素值的情况下，线性内插处理单元7306将与计算像素Y33(1)的像素值的情况不同的预定权重乘以每个像素，即，X22、X23、X24、X32、X33、X34、X42、X43、X44，并且把乘积之和设置成像素Y33(2)的像素值。
线性内插处理单元7306通过相同的内插处理，根据X22、X23、X24、X32、X33、X34、X42、X43、X44，计算像素Y33(3)和像素Y33(4)的像素值。
线性内插处理单元7306把经过内插的图像供应给帧存储器7307。
帧存储器7307存储基于前景成分图像的、经过内插的图像，并且把存储的图像供应给合成单元7308。
合成单元7308合成帧存储器7304供应的、与背景成分图像相对应的预测图像和帧存储器7307供应的、基于前景成分图像的、经过内插的图像，并且输出合成图像，作为输出图像。
图185是显示映射单元7302的配置的方块图。
映射单元7321包括进行分类处理的分类单元7331、进行自适应处理的预测抽头获取单元7332、和预测计算单元7333。
分类单元7331包括类抽头获取单元7351和波形分类单元7352，对背景成分图像中的感兴趣像素进行分类处理。
类抽头获取单元7351获取输入图像中与感兴趣像素相对应的预定个类抽头，并且把获取的类抽头供应给波形分类单元7352。例如，类抽头获取单元7351获取9个类抽头，并且把获取的类抽头供应给波形分类单元7352。
波形分类单元7352通过把ADRC处理应用于类抽头，减少构成类抽头的像素的位数，把感兴趣像素分类成预定个类之一，并且把与所分的类相对应的类号供应给预测抽头获取单元7332。例如，波形分类单元7352把感兴趣像素分类成512个类之一，并且把与所分的类相对应的类号供应给预测抽头获取单元7332。
预测抽头获取单元7332根据类号，从输入图像中获取与该类相对应的预定个预测抽头，并且把获取的预测抽头和类号供应给预测计算单元7333。
预测计算单元7333根据类号，从存储在系数组存储器7303中与背景成分图像相对应的系数组中获取与该类相对应的系数组。预测计算单元7333根据与该类相对应的系数组、和预测抽头，通过线性内插，预测预测抽头的像素值。预测计算单元7333把预测的像素值供应给帧存储器7322。
注意，预测计算单元7333可以通过非线性内插预测预测图像的像素值。
帧存储器7322存储映射处理单元7321供应的预测像素值，并且输出由预测像素值构成的图像。
图186是描述其配置显示在图184中的分离图像处理单元7001进行的处理的图形。
如图186所示，把输入图像分割成几个区域，并且将其分离成前景成分和背景成分。把分离的输入图像合成成前景成分图像和背景成分图像。
分离图像处理单元7001把分类自适应处理应用于分离的背景成分图像。分离图像处理单元7001把线性内插处理应用于分离的前景成分图像。
现在，参照图187所示的流程图，描述其配置显示在图184中的分离图像处理单元7001建立图像的处理。
在步骤S7301中，映射单元7302根据存储在系数组存储器7308中与背景成分图像相对应的系数组，通过分类自适应处理，预测与存储在帧存储器7301中的背景成分图像相对应的图像。预测与背景成分图像相对应的图像的处理细节以后参照图188所示的流程图加以描述。
映射单元7302把与背景成分图像相对应的预测图像供应给帧存储器7304。帧存储器7304存储与背景成分图像相对应的预测图像，并且把存储的预测图像供应给合成单元7308。
在步骤S7302中，线性内插处理单元7306对存储在帧存储器7305中的前景成分图像进行线性内插。线性内插处理单元7306把经过线性内插的图像供应给帧存储器7307。帧存储器7307存储经过线性内插的图像，并且把存储的经过线性内插的图像供应给合成单元7308。
在步骤S7303中，合成单元7308合成与背景成分图像相对应的预测图像和对前景成分图像进行了线性内插的图像。合成单元7308输出存储的合成图像，然后，结束处理。
如上所述，含有其配置显示在图184中的分离图像处理单元7001的图像处理设备可以生成与背景成分图像相对应的预测图像，单独生成与前景成分图像相对应的经过线性内插的图像，合成生成的图像，和输出合成的图像。
注意，不用说，步骤S7301和步骤S7302中的处理可以以串行的方式进行，也可以以并行的方式进行。
参照图188所示的流程图，描述与步骤S7301相对应的、由映射单元7302预测与背景成分图像相对应的图像的处理。
在步骤S7321中，映射单元7302判断在背景成分图像中是否还存在未处理的像素，并且，在作出在背景成分图像中还存在未处理的像素的判断的情况下，流程转到步骤S7322，在步骤S7322中，映射处理单元7321获取存储在系数组存储器7303中与背景成分图像相对应的系数组。在步骤S7323中，映射处理单元7321以光栅扫描顺序从存储在帧存储器7301中的背景成分图像中获取感兴趣像素。
在步骤S7324中，分类单元7331的类抽头获取单元7351从从存储在帧存储器7301中的背景成分图像中获取与感兴趣像素相对应的类抽头。在步骤S7325中，分类单元7331的波形分类单元7352通过把ADRC处理应用于类抽头，减少构成类抽头的像素的位数，并且对感兴趣像素进行分类。在步骤S7326中，预测抽头获取单元7332根据所分的类，从存储在帧存储器7301中的背景成分图像中获取与感兴趣像素相对应的预测抽头。
在步骤S7327中，预测计算单元7333根据与背景成分图像相对应的系数组和所分的类、和预测抽头，通过线性预测，预测预测图像的像素值。
注意，除了通过线性预测之外，预测计算单元7333还可以通过非线性预测，预测预测图像的像素值。
在步骤S7328中，预测计算单元7333把预测的像素值供应给帧存储器7322。帧存储器7322存储预测计算单元7333供应的像素值。流程返回到步骤S7321，重复是否存在未处理像素的判断。
在步骤S7321中，在作出在背景成分图像中没有未处理像素的判断的情况下，流程转到步骤S7329，在步骤S7329中，帧存储器7322输出与存储的背景成分图像相对应的预测图像，然后，结束处理。
如上所述，映射单元7302根据背景成分图像，可以预测与背景成分图像相对应的图像。
如上所述，其配置显示在图184中的分离图像处理单元7001可以生成与背景成分图像相对应的预测图像，对前景成分图像进行线性内插，因此，生成空间方向的分辨率得到改善、而在包含运动模糊的前景成分图像中不会出现人为失真的图像。
图189是显示把边缘改善处理应用于背景成分图像的分离图像处理单元7001的配置的方块图。其配置显示在图189中的分离图像处理单元7001把边缘改善处理应用于背景成分图像，并且合成原样的前景成分图像和应用了边缘改善处理的背景成分图像。
把前景/背景分离单元105供应的背景成分图像输入边缘改善单元7501，和把前景/背景分离单元105供应的前景成分图像输入合成单元7502。
边缘改善单元7501把适合于背景成分图像的边缘改善处理应用于前景/背景分离单元105供应的背景成分图像，并且把经过边缘改善的背景成分图像供应给合成单元7502。
例如，边缘改善单元7501对作为静止图像的背景成分图像进行进一步改善边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高背景成分图像的分辨率，而不会在图像中出现人为失真。
此外，例如，在背景发生移动的情况下，边缘改善单元7501对背景成分图像进行与背景保持静止的情况相比，其程度较低一些的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以进一步提高背景成分图像的分辨率，而不会出现图像的人为失真。
合成单元7502合成边缘改善单元7501供应的、经过边缘改善的背景成分图像、和前景/背景分离单元105供应的前景成分图像，并且输出合成的图像。
如上所述，其配置显示在图189中的分离图像处理单元7001合成原样的前景成分图像和应用了与背景成分图像的性质相对应的边缘改善处理的背景成分图像，因此，可以提高图像的分辨率，而不会出现图像的人为失真。
图190是显示边缘改善单元7501的配置的方块图。把背景成分图像输入高通滤波器7521和相加单元7523。
高通滤波器7521提取像素值随像素位置剧烈变化的成分，即，所谓的图像高频成分，并且，根据输入的滤波系数，从背景成分图像中消除像素值随像素位置变化小的成分，即所谓的图像低频成分，生成边缘图像。
高通滤波器7521把生成的边缘图像供应给增益调整单元7522。
增益调整单元7522根据输入的增益调整系数，增强或减弱高通滤波器7521供应的边缘图像。在输入的增益调整系数发生改变的情况下，增益调整单元7522改变边缘图像的放大率(或衰减率)。例如，在输入表示放大率等于或大于1的增益调整系数的情况下，增益调整单元7522增强边缘图像，在输入表示放大率小于1的增益调整系数的情况下，增益调整单元7522减弱边缘图像。
增益调整单元7522把经过增益调整的边缘图像供应给相加单元7523。
相加单元7523相加背景成分图像和增益调整单元7522供应的经过增益调整的边缘图像，输出经过相加的图像。
如上所述，边缘改善单元7501把边缘改善处理应用于背景成分图像。
图191是显示边缘改善单元7501的另一种配置的方块图。在图191所示的例子中，边缘改善单元7501包括滤波器7541。
滤波器7541根据输入滤波系数，通过增强背景成分图像中像素值随像素位置剧烈变化的成分，即所谓的图像高频成分，生成边缘改善图像。
如上所述，边缘改善单元7501根据，例如，不同的滤波系数或增益调整系数，进行与背景成分图像的性质相对应的边缘改善处理。
图192是描述其配置显示在图189中的分离图像处理单元7001进行的处理的图形。
如图192所示，把输入图像分割成几个区域，并且将其分离成前景成分和背景成分。把分离的输入图像合成成前景成分图像和背景成分图像。
分离图像处理单元7001把边缘改善处理应用于分离的背景成分图像，并且输出经过边缘改善的背景成分图像。按原样输出前景成分图像。
现在，参照图193所示的流程图，描述其配置显示在图189中的分离图像处理单元7001进行的处理。
在步骤S7501中，边缘改善单元7501把边缘改善处理应用于背景成分图像。边缘改善单元7501把经过边缘改善的背景成分图像供应给合成单元7502。
在步骤S7502中，合成单元7502合成经过边缘改善的背景成分图像和前景/背景分离单元105供应的前景成分图像，输出合成的图像，然后，结束处理。
如上所述，含有其配置显示在图189中的分离图像处理单元7001的图像处理设备可以对背景成分图像进行边缘改善，合成经过边缘改善的背景成分图像和原样的前景成分图像，和输出合成的图像，因此，图像处理设备可以生成分辨率提高了，而在包含运动模糊的前景成分图像中不会出现人为失真的图像。
图194是进一步显示图像处理设备的功能的另一种配置的方块图。图178所示的图像处理设备串行地进行区域指定和混合比α，而图194所示的图像处理设备以并行的方式进行区域指定和混合比α。
与图178中的方块图所示的功能相同的部分用相同的标号表示，并且，略去不述。
把输入图像供应给对象提取单元101、区域指定单元103、混合比计算单元3001、和前景/背景分离单元3002。
混合比计算单元3001根据输入图像，对包含在输入图像中的每个像素计算假设像素属于覆盖背景区的估计混合比、和假设像素属于未覆盖背景区的估计混合比，并且，把假设像素属于覆盖背景区的估计混合比、和假设像素属于未覆盖背景区的估计混合比供应给前景/背景分离单元3002。
如上所述，根据本发明的图像处理设备可以对与背景图像和运动对象的图像的混合相对应的图像进行处理。
此外，根据本发明的图像处理设备可以充分地提高分辨率，而不会使包含运动模糊的图像变得不自然。
注意，虽然作为前景的对象的运动被描述成从左向右，但是，不用说，运动方向不局限于那个方向。
在上文中，已经给出了利用视频摄像机，把具有三维空间和时间轴信息的真实空间中的图像投影到具有二维空间和时间轴信息的时空上的情况的例子，但是，本发明不受这个例子的限制，可以应用于把第一维的较多数量第一信息投影到第二维的较少数量第二信息上的情况。
请注意，传感器不限于CCD，它可以是固态图像拍摄器件，例如，CMOS(互补型金属氧化物半导体(互补型金属氧化物薄膜半导体))、BBD(斗链器件)、CID(电荷注入器件)、或CPD(电荷启动器件)等的传感器，并且，不限于检测元件排列成矩阵状的传感器，可以是检测元件排列成一行的传感器。
存储执行本发明的信号处理的程序的记录媒体不仅可以被配置成，譬如，磁盘91(包括软盘(注册商标))、光盘92(包括CD-ROM(只读光盘存储器)和DVD(数字多功能盘))、磁光盘93(包括MD(小型盘)(注册商标))或半导体存储器94等，用于存储程序，为了把程序提供给用户而与图10所示的计算机分开分配给用户的可拆卸媒体，而且可以被配置成包含在存储单元28等中，用于存储程序，与计算机组装在一起事先提供给用户的ROM(只读存储器)22或硬盘。
此外，在本说明书中，描述记录在记录媒体中的程序的步骤当然包括按照上述次序那样的时间顺序执行的处理，并且还包括尽管没有按照时间顺序执行，但是并行地或单独执行的处理。
工业可应用性根据本发明的第一个方面，可以处理与背景图像和运动对象的图像的混合相对应的图像。
根据本发明的第二个方面，可以处理与背景图像和运动对象的图像的混合相对应的图像。
根据本发明的第三个方面，可以充分地提高分辨率，而不会使包含运动模糊的图像变得不自然。
根据本发明的第四个方面，可以处理与背景图像和运动对象的图像的混合相对应的图像。
权利要求
1.一种图像处理设备，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理设备包括区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，并且输出与指定结果相对应的区域指定信息；以及处理装置，用于为所述区域指定信息指定的每个区域处理所述输入图像数据。
2.根据权利要求1所述的图像处理设备，其中，所述处理装置与所述区域指定信息相对应，决定与所述输入图像数据的每个像素数据相对应的类。
3.根据权利要求1所述的图像处理设备，其中，所述处理装置与所述区域指定信息相对应，改善所述输入图像数据的边缘。
4.根据权利要求1所述的图像处理设备，其中，所述处理装置处理所述混合区和所述非混合区的至少一个区域的所述像素数据。
5.根据权利要求1所述的图像处理设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；并且，其中所述处理装置还为覆盖背景区和未覆盖背景区的每一个处理所述输入图像数据。
6.根据权利要求1所述的图像处理设备，其中，所述处理装置为所述区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
7.根据权利要求1所述的图像处理设备，其中，所述处理装置通过分类自适应处理，为所述区域指定信息指定的每个区域生成输出图像数据。
8.根据权利要求1所述的图像处理设备，其中，所述处理装置为所述区域指定信息指定的每个区域改善所述输入图像数据的边缘。
9.一种图像处理方法，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理方法包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及处理步骤，用于为所述区域指定信息指定的每个区域处理所述输入图像数据。
10.根据权利要求9所述的图像处理方法，其中，在所述处理步骤中，与所述区域指定信息相对应，决定与所述输入图像数据的每个像素数据相对应的类。
11.根据权利要求9所述的图像处理方法，其中，在所述处理步骤中，与所述区域指定信息相对应，改善所述输入图像数据的边缘。
12.根据权利要求9所述的图像处理方法，其中，在所述处理步骤中，处理所述混合区和所述非混合区的至少一个区域的所述像素数据。
13.根据权利要求9所述的图像处理方法，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；其中，在所述处理步骤中，还为覆盖背景区和未覆盖背景区的每一个处理所述输入图像数据。
14.根据权利要求9所述的图像处理方法，其中，在所述处理步骤中，为所述区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
15.根据权利要求9所述的图像处理方法，其中，在所述处理步骤中，通过分类自适应处理，为所述区域指定信息指定的每个区域生成输出图像数据。
16.根据权利要求9所述的图像处理方法，其中，在所述处理步骤中，为所述区域指定信息指定的每个区域改善所述输入图像数据的边缘。
17.一种存储计算机可读程序的记录媒体，所述计算机可读程序用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述程序包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及处理步骤，用于为所述区域指定信息指定的每个区域处理所述输入图像数据。
18.根据权利要求17所述的记录媒体，其中，在所述处理步骤中，与所述区域指定信息相对应，决定与所述输入图像数据的每个像素数据相对应的类。
19.根据权利要求17所述的记录媒体，其中，在所述处理步骤中，与所述区域指定信息相对应，改善所述输入图像数据的边缘。
20.根据权利要求17所述的记录媒体，其中，在所述处理步骤中，处理所述混合区和所述非混合区的至少一个区域的所述像素数据。
21.根据权利要求17所述的记录媒体，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；并且，其中，在所述处理步骤中，还为覆盖背景区和未覆盖背景区的每一个处理所述输入图像数据。
22.根据权利要求17所述的记录媒体，其中，在所述处理步骤中，为所述区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
23.根据权利要求17所述的记录媒体，其中，在所述处理步骤中，通过分类自适应处理，为所述区域指定信息指定的每个区域生成输出图像数据。
24.根据权利要求17所述的记录媒体，其中，在所述处理步骤中，为所述区域指定信息指定的每个区域改善所述输入图像数据的边缘。
25.一种使计算机执行如下步骤的程序，所述计算机用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及处理步骤，用于为所述区域指定信息指定的每个区域处理所述输入图像数据。
26.根据权利要求25所述的程序，其中，在所述处理步骤中，与所述区域指定信息相对应，决定与所述输入图像数据的每个像素数据相对应的类。
27.根据权利要求25所述的程序，其中，在所述处理步骤中，与所述区域指定信息相对应，改善所述输入图像数据的边缘。
28.根据权利要求25所述的程序，其中，在所述处理步骤中，处理所述混合区和所述非混合区的至少一个区域的所述像素数据。
29.根据权利要求25所述的程序，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；并且，其中，在所述处理步骤中，还为覆盖背景区和未覆盖背景区的每一个处理所述输入图像数据。
30.根据权利要求25所述的程序，其中，在所述处理步骤中，为所述区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
31.根据权利要求25所述的程序，其中，在所述处理步骤中，通过分类自适应处理，为所述区域指定信息指定的每个区域生成输出图像数据。
32.根据权利要求25所述的程序，其中，在所述处理步骤中，为所述区域指定信息指定的每个区域改善所述输入图像数据的边缘。
33.一种图像拍摄设备，包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及处理装置，用于为所述区域指定信息指定的每个区域处理所述输入图像数据。
34.根据权利要求33所述的图像拍摄设备，其中，所述处理装置与所述区域指定信息相对应，决定与所述输入图像数据的每个像素数据相对应的类。
35.根据权利要求33所述的图像拍摄设备，其中，所述处理装置与所述区域指定信息相对应，改善所述输入图像数据的边缘。
36.根据权利要求33所述的图像拍摄设备，其中，所述处理装置处理所述混合区和所述非混合区的至少一个区域的所述像素数据。
37.根据权利要求33所述的图像拍摄设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息；并且，其中，所述处理装置还为覆盖背景区和未覆盖背景区的每一个处理所述输入图像数据。
38.根据权利要求33所述的图像拍摄设备，其中，所述处理装置为所述区域指定信息指定的每个区域生成用在分类自适应处理中的系数。
39.根据权利要求33所述的图像拍摄设备，其中，所述处理装置通过分类自适应处理，为所述区域指定信息指定的每个区域生成输出图像数据。
40.根据权利要求33所述的图像拍摄设备，其中，所述处理装置为所述区域指定信息指定的每个区域改善所述输入图像数据的边缘。
41.一种图像处理设备，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理设备包括区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及类决定装置，用于与所述区域指定信息相对应，确定与所述输入图像数据的每组像素数据相对应的类。
42.根据权利要求41所述的图像处理设备，其中，所述类决定装置决定与只是所述混合区、所述前景区、和所述背景区的一部分的区域的所述像素数据相对应的类。
43.根据权利要求41所述的图像处理设备，还包括生成装置，用于处理与已经决定的所述类相对应的所述输入图像数据的所述像素数据，和生成用在分类自适应处理中的系数。
44.根据权利要求41所述的图像处理设备，还包括转换装置，用于与已经决定的所述类相对应，根据每个所述类的系数，处理所述输入图像数据的所述像素数据，和把所述输入图像数据转换成输出图像数据。
45.根据权利要求41所述的图像处理设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，所述类决定装置还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，决定与所述输入图像数据的所述像素数据相对应的所述类。
46.一种图像处理方法，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理方法包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及类决定步骤，用于与所述区域指定信息相对应，确定与所述输入图像数据的每组像素数据相对应的类。
47.根据权利要求46所述的图像处理方法，其中，在所述类决定步骤中，决定与只是所述混合区、所述前景区、和所述背景区的一部分的区域的所述像素数据相对应的类。
48.根据权利要求46所述的图像处理方法，还包括生成步骤，用于处理与已经决定的所述类相对应的所述输入图像数据的所述像素数据，和生成用在分类自适应处理中的系数。
49.根据权利要求46所述的图像处理方法，还包括转换步骤，用于与已经决定的所述类相对应，根据每个所述类的系数，处理所述输入图像数据的所述像素数据，和把所述输入图像数据转换成输出图像数据。
50.根据权利要求46所述的图像处理方法，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，所述类决定装置还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，决定与所述输入图像数据的所述像素数据相对应的所述类。
51.一种存储计算机可读程序的记录媒体，所述计算机可读程序用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述程序包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及类决定步骤，用于与所述区域指定信息相对应，确定与所述输入图像数据的每组像素数据相对应的类。
52.根据权利要求51所述的记录媒体，其中，在所述类决定步骤中，决定与只是所述混合区、所述前景区、和所述背景区的一部分的区域的所述像素数据相对应的类。
53.根据权利要求51所述的记录媒体，所述程序还包括生成步骤，用于处理与已经决定的所述类相对应的所述输入图像数据的所述像素数据，和生成用在分类自适应处理中的系数。
54.根据权利要求51所述的记录媒体，所述程序还包括转换步骤，用于与已经决定的所述类相对应，根据每个所述类的系数，处理所述输入图像数据的所述像素数据，和把所述输入图像数据转换成输出图像数据。
55.根据权利要求51所述的记录媒体，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，所述类决定装置还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，决定与所述输入图像数据的所述像素数据相对应的所述类。
56.一种使计算机执行如下步骤的程序，所述计算机用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及类决定步骤，用于与所述区域指定信息相对应，确定与所述输入图像数据的每组像素数据相对应的类。
57.根据权利要求56所述的程序，其中，在所述类决定步骤中，决定与只是所述混合区、所述前景区、和所述背景区的一部分的区域的所述像素数据相对应的类。
58.根据权利要求56所述的程序，还包括生成步骤，用于处理与已经决定的所述类相对应的所述输入图像数据的所述像素数据，和生成用在分类自适应处理中的系数。
59.根据权利要求56所述的程序，还包括转换步骤，用于与已经决定的所述类相对应，根据每个所述类的系数，处理所述输入图像数据的所述像素数据，和把所述输入图像数据转换成输出图像数据。
60.根据权利要求56所述的程序，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，所述类决定装置还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，决定与所述输入图像数据的所述像素数据相对应的所述类。
61.一种图像拍摄设备，包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的拍摄图像数据；区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及类决定装置，用于与所述区域指定信息相对应，确定与所述输入图像数据的每组像素数据相对应的类。
62.根据权利要求61所述的图像拍摄设备，其中，所述类决定装置决定与只是所述混合区、所述前景区、和所述背景区的一部分的区域的所述像素数据相对应的类。
63.根据权利要求61所述的图像拍摄设备，还包括生成装置，用于处理与已经决定的所述类相对应的所述输入图像数据的所述像素数据，和生成用在分类自适应处理中的系数。
64.根据权利要求61所述的图像拍摄设备，还包括转换装置，用于与已经决定的所述类相对应，根据每个所述类的系数，处理所述输入图像数据的所述像素数据，和把所述输入图像数据转换成输出图像数据。
65.根据权利要求61所述的图像处理设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，所述类决定装置还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，决定与所述输入图像数据的所述像素数据相对应的所述类。
66.一种图像处理设备，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理设备包括区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及边缘改善装置，用于与所述区域指定信息相对应，改善所述输入图像数据的边缘。
67.根据权利要求66所述的图像处理设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，所述边缘改善装置还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，改善所述输入图像数据的边缘。
68.一种图像处理方法，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理方法包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及边缘改善步骤，用于与所述区域指定信息相对应，改善所述输入图像数据的边缘。
69.根据权利要求68所述的图像处理方法，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，在所述边缘改善中，还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，改善所述输入图像数据的边缘。
70.一种存储计算机可读图像处理程序的记录媒体，所述程序用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述程序包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及边缘改善步骤，用于与所述区域指定信息相对应，改善所述输入图像数据的边缘。
71.根据权利要求70所述的记录媒体，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，在所述边缘改善中，还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，改善所述输入图像数据的边缘。
72.一种使计算机执行如下步骤的程序，所述计算机用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及边缘改善步骤，用于与所述区域指定信息相对应，改善所述输入图像数据的边缘。
73.根据权利要求72所述的记录媒体，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，在所述边缘改善中，还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，改善所述输入图像数据的边缘。
74.一种图像拍摄设备，包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区，和输出与指定结果相对应的区域指定信息；以及边缘改善装置，用于与所述区域指定信息相对应，改善所述输入图像数据的边缘。
75.根据权利要求74所述的图像拍摄设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；并且，其中，所述边缘改善装置还与已经指定的所述覆盖背景区和所述未覆盖背景区相对应，改善所述输入图像数据的边缘。
76.一种图像处理设备，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理设备包括区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；以及处理装置，用于为所述混合区和所述非混合区的至少一个区域处理所述像素数据。
77.根据权利要求76所述的图像处理设备，其中，所述处理装置借助于与处理其它区域的方法不同的方法处理所述区域指定装置指定的一个区域。
78.根据权利要求76所述的图像处理设备，其中，所述区域指定装置还指定所述前景区和所述背景区，和输出与指定结果相对应的所述区域指定信息。
79.根据权利要求76所述的图像处理设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息。
80.根据权利要求76所述的图像处理设备，还包括分离装置，用于根据所述区域指定信息，把所述混合区的所述像素数据分离成所述前景对象成分和所述背景对象成分；其中，所述处理装置处理所述前景对象成分和所述背景对象成分的至少一个。
81.一种图像处理方法，用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理方法包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；以及处理步骤，用于为所述混合区和所述非混合区的至少一个区域处理所述像素数据。
82.根据权利要求81所述的图像处理方法，其中，在所述处理步骤中，借助于与处理其它区域的方法不同的方法，处理通过所述区域指定步骤中的处理指定的一个区域。
83.根据权利要求81所述的图像处理方法，其中，在所述区域指定步骤中，还指定所述前景区和所述背景区，和输出与指定结果相对应的所述区域指定信息。
84.根据权利要求81所述的图像处理方法，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息。
85.根据权利要求81所述的图像处理方法，还包括分离步骤，用于根据所述区域指定信息，把所述混合区的所述像素数据分离成所述前景对象成分和所述背景对象成分；其中，在所述处理步骤中，处理所述前景对象成分和所述背景对象成分的至少一个。
86.一种存储计算机可读图像处理程序的记录媒体，所述程序用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述程序包括区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；以及处理步骤，用于为所述混合区和所述非混合区的至少一个区域处理所述像素数据。
87.根据权利要求86所述的记录媒体，其中，在所述处理步骤中，借助于与处理其它区域的方法不同的方法，处理通过所述区域指定步骤中的处理指定的一个区域。
88.根据权利要求86所述的记录媒体，其中，在所述区域指定步骤中，还指定所述前景区和所述背景区，和输出与指定结果相对应的所述区域指定信息。
89.根据权利要求86所述的记录媒体，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息。
90.根据权利要求86所述的记录媒体，所述程序还包括分离步骤，用于根据所述区域指定信息，把所述混合区的所述像素数据分离成所述前景对象成分和所述背景对象成分；其中，在所述处理步骤中，处理所述前景对象成分和所述背景对象成分的至少一个。
91.一种使计算机执行如下步骤的程序，所述计算机用于处理由具有时间积分效应的、具有预定个数像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；以及处理步骤，用于为所述混合区和所述非混合区的至少一个区域处理所述像素数据。
92.根据权利要求91所述的程序，其中，在所述处理步骤中，借助于与处理其它区域的方法不同的方法，处理通过所述区域指定步骤中的处理指定的一个区域。
93.根据权利要求91所述的程序，其中，在所述区域指定步骤中，还指定所述前景区和所述背景区，和输出与指定结果相对应的所述区域指定信息。
94.根据权利要求91所述的程序，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息。
95.根据权利要求91所述的记录媒体，还包括分离步骤，用于根据所述区域指定信息，把所述混合区的所述像素数据分离成所述前景对象成分和所述背景对象成分；其中，在所述处理步骤中，处理所述前景对象成分和所述背景对象成分的至少一个。
96.一种图像拍摄设备，包括图像拍摄装置，用于输出由具有时间积分效应的、具有预定个数像素的图像拍摄设备拍摄的主体图像，作为由预定个数像素数据组成的图像数据；区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区的至少一个，和输出与指定结果相对应的区域指定信息；以及处理装置，用于为所述混合区和所述非混合区的至少一个区域处理所述像素数据。
97.根据权利要求96所述的图像拍摄设备，其中，所述处理装置借助于与处理其它区域的方法不同的方法处理所述区域指定装置指定的一个区域。
98.根据权利要求96所述的图像拍摄设备，其中，所述区域指定装置还指定所述前景区和所述背景区，和输出与指定结果相对应的所述区域指定信息。
99.根据权利要求96所述的图像拍摄设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息。
100.根据权利要求96所述的图像拍摄设备，还包括分离装置，用于根据所述区域指定信息，把所述混合区的所述像素数据分离成所述前景对象成分和所述背景对象成分；其中，所述处理装置处理所述前景对象成分和所述背景对象成分的至少一个。
全文摘要
一种图像处理设备，能够处理与背景图像和运动对象图像的混合相对应的图像。区域识别块(103)根据输入图像数据，识别由构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区、和仅存在构成前景对象的前景对象成分和构成背景对象的背景对象成分之一的非混合区，并且输出与指定结果相对应的区域信息。区域处理块(5001)处理由区域信息识别的每个区域的输入图像。本发明可应用于处理图像的图像处理设备。
文档编号H04N5/262GK1969297SQ0280266
公开日2007年5月23日申请日期2002年6月13日优先权日2001年6月15日
发明者近藤哲二郎, 石桥淳一, 泽尾贵志, 藤原直树, 永野隆浩, 和田成司, 三宅彻申请人:索尼公司

完整全部详细技术资料下载

该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
技术研发人员：近藤哲二郎;石桥淳一;泽尾贵志;藤原直树;永野隆浩;和田成司;三宅彻
技术所有人：索尼公司
我是此专利的发明人

上一篇：图像处理设备和方法
上一篇：对置式发动机或直列式发动机中脉动共振点发生范围的控制方法

该领域下的技术专家
如您需求助技术专家，请点此查看客服电话进行咨询。
1、朱老师：1.新能源汽车电驱动技术 2.轮毂电机驱动与控制 3.开关磁阻电机驱动系统控制 4.智能电动汽车
2、徐老师：1.内燃机节能及排放控制技术 2.汽车节能与新能源汽车技术 3. 车辆现代设计理论与方法
3、赵老师：1.智能控制理论及应用 2.机器人控制技术 3.新能源控制技术与应用
4、卞老师：1.汽车动态仿真与控制 2.机构动力学 3.现代汽车设计技术 3.车辆系统动力学
如您是高校老师，可以点此联系我们加入专家库。