信号处理设备和信号处理方法、以及程序和记录介质的制作方法

专利名称：信号处理设备和信号处理方法、以及程序和记录介质的制作方法
技术领域：
本发明涉及一种信号处理设备和信号处理方法、以及程序和记录 介质，尤其涉及一种使得图像等能够更接近真实世界信号的信号处理 设备和信号处理方法、以及程序和记录介质。
背景技术：
使用传感器检测现实世界(真实世界)中的现象并处理从传感器 输出的采样数据的技术得到广泛使用。例如，现实世界使用成像传感 器来成像并且处理作为图像数据的采样数据的图像处理技术被广泛使 用。
同样，已知这种方案，其具有维度比通过用传感器检测第一信号 而获得的第一维度少的第二维度，该第一信号是具有第一维度的真实 世界的信号，获得包括关于第一信号的畸变的第二信号，以及基于第 二信号执行信号处理，从而产生与第二信号相比较具有减轻的畸变的 第三信号(例如，曰本未经审查专利申请公开号2001-250119)。
但是，常规地，考虑真实世界信号连续性的信号处理还没有执 行，所以获得更接近真实世界信号的图像等是困难的。

发明内容
本发明已经考虑到上述情况而提出，并且提供更接近真实世界信 号的图像等的获得。根据本发明的一种信号处理设备包括处理区域设置装置，用于 相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置 待处理的处理区域，该第一信号是真实世界信号并且被投影，由此真 实世界信号的连续性的一部分丢失；连续性设置装置，用于设置已经 在第二信号中丢失的真实世界信号的连续性；现实世界估计装置，用
于根据由连续性设置装置设置的连续性，估计对应于由处理区域设置 装置设置的处理区域内第二信号的真实世界的信号；以及信息供给装 置，用于根据用户操作将与处理区域、连续性和真实世界信号中至少 一个相关的信息提供给处理区域设置装置、连续性设置装置或现实世 界估计装置。
根据本发明的一种信号处理方法包括使用处理区域设置装置设 置处理区域的处理区域设置步骤，该处理区域设置装置用于相对于具 有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的 处理区域，该第一信号是真实世界信号并且被投影，由此真实世界信 号的连续性的一部分丢失；使用连续性设置装置设置连续性的连续性 设置步骤，该连续性设置装置用于设置已经在第二信号中丢失的真实 世界信号的连续性；使用现实世界估计装置估计真实世界信号的现实 世界估计步骤，该现实世界估计装置用于根据在连续性设置步骤中设 置的连续性，估计对应于在处理区域设置步骤中设置的处理区域内第 二信号的真实世界的信号；以及信息供给步骤，用于根据用户操作将 与处理区域、连续性和真实世界信号中至少一个相关的信息提供给处 理区域设置装置、连续性设置装置或现实世界估计装置。
根据本发明的一种程序使得计算机执行预先确定的信号处理，该 程序包括使用处理区域设置装置设置处理区域的处理区域设置步 骤，该处理区域设置装置用于相对于具有比第一信号具有的第一维度 少的第二维度的笫二信号设置待处理的处理区域，该第一信号是真实
世界信号并且被投影，由此真实世界信号的连续性的一部分丟失；使 用连续性设置装置设置连续性的连续性设置步骤，该连续性设置装置 用于设置已经在第二信号中丢失的真实世界信号的连续性；使用现实世界估计装置估计真实世界信号的现实世界估计步骤，该现实世界估 计装置用于根据在连续性设置步骤中设置的连续性，估计对应于在处
理区域设置步骤中设置的处理区域内第二信号的真实世界的信号；以 及信息供给步骤，用于根据用户操作将与处理区域、连续性和真实世 界信号中至少 一个相关的信息提供给处理区域设置装置、连续性设置 装置或现实世界估计装置。
根据本发明的一种记录介质存储使得计算机执行预先确定信号处 理的程序，该程序包括使用处理区域设置装置设置处理区域的处理 区域设置步骤，该处理区域设置装置用于相对于具有比第一信号具有 的第一维度少的第二维度的第二信号设置待处理的处理区域，该第一 信号是真实世界信号并且被投影，由此真实世界信号的连续性的一部 分丢失；使用连续性设置装置设置连续性的连续性设置步骤，该连续 性设置装置用于设置已经在第二信号中丢失的真实世界信号的连续 性；使用现实世界估计装置估计真实世界信号的现实世界估计步骤， 该现实世界估计装置用于根据在连续性设置步骤中设置的连续性，估 计对应于在处理区域设置步骤中设置的处理区域内第二信号的真实世 界的信号；以及信息供给步骤，用于根据用户操作将与处理区域、连 续性和真实世界信号中至少一个相关的信息提供给处理区域设置装 置、连续性设置装置或现实世界估计装置。
使用根据本发明的信号处理设备和信号处理方法、以及程序和记 录介质，处理区域由处理区域设置装置相对于具有比第一信号具有的 第一维度少的第二维度的第二信号来设置，该第一信号是真实世界信 号并且被投影，由此真实世界信号的连续性的一部分丢失；已经在第 二信号中丟失的真实世界信号的连续性由连续性设置装置来设置；并 且对应于由处理区域设置装置设置的处理区域内第二信号的真实世界 的信号由现实世界信号估计装置根据由连续性设置装置设置的连续性 来估计。另一方面，处理区域、连续性和真实世界信号中至少一个由 信息供给装置根据用户操作提供给处理区域设置装置、连续性设置装 置或现实世界估计装置。


图l是说明本发明原理的图。
图2是说明信号处理设备4的硬件构造实例的框图。 图3是说明图1中所示信号处理设备4的一种实施方案的构造实 例的框图。
图4是详细描述由信号处理设备4执行的信号处理原理的图。
图5是描述图像传感器上像素阵列实例的图。
图6是描述作为CCD的检测设备的操作的图。
图7是描述投射到与像素D至像素F相对应的检测元件中的光 与像素值之间关系的图。
图8是描述时间的消逝、投射到与一个像素相对应的检测元件中 的光、以及像素值之间关系的图。
图9是说明现实世界1中线形对象的图^^实例的图。
图IO是说明由实际成像获得的图像数据的像素值实例的图。
图11是说明具有不同于背景的颜色、具有单色和线形边缘的对 象的现实世界l图像实例的图。
图12是说明由实际成像获得的图像数据的像素值实例的图。
图13是图像数据的示意图。
图14是描述具有M块数据162的模型161的估计的图。
图15是描迷现实世界1的信号与数据3之间关系的图。
图16是说明创建表达式时所关注的数据3的实例的图。
图17是描述现实世界1中两个对象的信号，以及创建表达式时
属于混合区域的值的图。
图18是描述由表达式(18)，表达式(19),和表达式(22)
表示的连续性的图。
图19是说明从数据3中选取的M块数据162的实例的图。
图20是描迷数据3中现实世界1的信号在时间方向和二维空间
方向上的积分的图。图21是描述当产生具有空间方向上更高分辨率的高分辨率数据 时积分区域的图。
图22是描述当产生具有时间方向上更高分辨率的高分辨率数据 时积分区域的图。
图23是描述当产生具有时间-空间方向上更高分辨率的高分辨率 数据时积分区域的图。
图24是说明输入图像的原始图像的图。
图25是说明输入图像实例的图。
图26是说明通过应用常规类型分类适应处理而获得的图像的图。
图27是说明检测细线区域的结果的图。
图28是说明从信号处理设备4输出的输出图像实例的图。
图29是描述使用信号处理设备4的信号处理的流程图。
图30是说明数据连续性检测单元101的构造的框图。
图31是说明在背景前面具有细线的现实世界1中图像的图。
图32是描述使用平面近似背景的图。
图33是说明细线图像已经投影的图像数据横截面形状的图。 图34是说明细线图像已经投影的图像数据横截面形状的图。 图35是说明细线图像已经投影的图像数据横截面形状的图。 图36是描述检测峰值和检测单调增大/减小区域的处理的图。 图37是描迷检测细线区域的处理的图，其中峰值的像素值超过
阈值，而相邻像素的像素值等于或低于阈值。
图38是表示在由图37中虚线AA，指示的方向上排列的像素的像
素值的图。
图39是描述检测单调增大/减小区域中连续性的处理的图。 图40是说明检测细线图像已经投影到其中的区域的另一种处理 实例的图。
图41是描述连续性检测处理的流程图。
图42是描述检测时间方向上数据连续性的处理的图。图43是说明非连续性分量提取单元201的构造的框图。
图44是描述剔除次数的图。
图45是描述提取非连续性分量的处理的流程图。
图46是描述提取连续性分量的处理的流程图。
图47是描述提取连续性分量的另一种处理的流程图。
图48是描述提取连续性分量的再一种处理的流程图。
图49是说明连续性分量提取单元101的另一种构造的框图。
图50是描述具有数据连续性的输入图像中活动性的图。
图51是描述检测活动性的块的图。
图52是描述数据连续性相对于活动性的角度的图。
图53是说明数据连续性检测单元101的详细构造的框图。
图54是描述一组像素的图。
图55是描述像素组的位置与数据连续性的角度之间关系的图。
图56是描述检测数据连续性的处理的流程图。
图57是说明当检测时间方向和空间方向上数据连续性角度时选 取的一组像素的图。
图58是描述函数近似的原理的图，其是图3中所示现实世界估 计单元的一种实施方案的实例。
图59是描述在传感器是CCD的情况下积分效应的图。
图60是描述图59中所示传感器的积分效应的特定实例的图。
图61是描述图59中所示传感器的积分效应的另一个特定实例的图。
图62是表示图60中所示包含细线的现实世界区域的图。
图63是描述与图58中所示实例相比较，图3中所示现实世界估
计单元的一种实施方案的实例原理的困。
图64是表示图60中所示包含细线的数据区域的图。
图65是包含在图64中所示包含细线数据区域中的每个像素值绘
制在曲线图上的图。
图66是近似包含在图65中所示包含细线数据区域中的像素值的近似函数绘制在曲线图上的图。
图67是描述图60中所示包含细线现实世界区域具有的空间方向 上连续性的图。
图68是包含在图64中所示包含细线数据区域中的每个像素值绘 制在曲线图上的图。
图69是描述图68中指示的输入像素值的每个以预先确定移位量 移位的状态的图。
图70是考虑到空间方向连续性、近似包含在图65中所示包含细 线数据区域中的像素值的近似函数绘制在曲线图上的图。
图71是描述空间混合区域的图。
图72是描述近似空间混合区域中现实世界信号的近似函数的图。
图73是考虑到传感器积分性质和空间方向连续性、近似与图65 中所示包含细线数据区域相对应的现实世界信号的近似函数绘制在曲 线图上的图。
图74是描述使用具有图58中所示原理的函数近似技术中初级多 项式近似的现实世界估计单元的构造实例的框图。
图75是描述具有图74中所示构造的现实世界估计单元执行的现 实世界估计处理的流程图。
图76是描述分接范围的图。
图77是描述具有空间方向上连续性的现实世界信号的图。 图78是描述在传感器是CCD的情况下积分效应的图。 图79是描述横截面方向上距离的图。
图80是描述使用具有图58中所示原理的函数近似技术中二次多; 项式近似的现实世界估计单元的构造实例的框图。
图81是描述具有图80中所示构造的现实世界估计单元执行的现 实世界估计处理的流程图。
图82是描述分接范围的图。
图83是描述时间-空间方向上连续性方向的图。图84是描述在传感器是CCD的情况下积分效应的图。
图85是描述具有空间方向上连续性的现实世界信号的图。
图86是描述具有空间-时间方向上连续性的现实世界信号的图。
图87是描述使用具有图58中所示原理的函数近似技术中三次多 项式近似的现实世界估计单元的构造实例的框图。
图88是描述具有图87中所示构造的现实世界估计单元执行的现 实世界估计处理的流程图。
图89是描述再积分原理的图，其是图3中所示图像生成单元的 一种实施方案的实例。
图90是描述输入像素的实例以及近似对应于输入像素的现实世 界信号的近似函数的图。
图91是描述从图90中所示的近似函数中，在图90中所示的一 个输入像素中产生四个高分辨率像素的实例的图。
图92是描述使用具有图89中所示原理的再积分技术中一维再积 分技术的图像生成单元的构造实例的框图。
图93是描述具有图92中所示构造的图像生成单元执行的图像生 成处理的流程图。
图94是说明输入图像的原始图像实例的图。
图95是说明与图94中所示图像相对应的图像数据的实例的图。
图96是表示输入图像实例的图。
图97是表示与图96中所示图像相对应的图像数据的实例的图。 图98是说明通过使输入图像经历常规类型分类适应处理而获得
的图像实例的图。
图99是表示与图98中所示图像相对应的图像数据的实例的图。 图100是说明通过使输入图像经历根据本发明的一维再积分技水
而获得的图像实例的图。
图101是说明与图100中所示图像相对应的图像数据的实例的图。
图102是描述具有空间方向上连续性的现实世界信号的图。图103是描述使用具有图89中所示原理的再积分技术中二维再 积分技术的图像生成单元的构造实例的框图。 图104是描述横截面方向上距离的图。
图105是描述具有图103中所示构造的图像生成单元执行的图像 生成处理的流程图。
图106是描述输入像素实例的图。
图107是描述使用二维再积分技术在图106中所示一个输入像素 中产生四个高分辨率像素的实例的图。
图108是描述空间-时间方向上连续性方向的图。
图109是描述使用具有图89中所示原理的再积分技术中三维再 积分技术的图像生成单元的构造实例的框图。
图IIO是描述具有图109中所示构造的图像生成单元执行的图像 生成处理的流程图。
图lll是说明图1中所示信号处理设备4的另一种实施方案的构 造实例的框图。
图112是描述图111中所示信号处理设备4的处理的流程图。 图113是说明图111中所示信号处理设备4的应用实施方案的构 造实例的框图。
图114是描述图113中所示信号处理设备4的处理的流程图。
图115是说明处理区域设置单元11001的构造实例的框图。
图116是描述处理区域设置单元11001的处理的流程图。
图117是说明运动模糊出现的输入图像的图。
图118是说明显示由处理区域设置单元11001设置的M个版本 处理区域的帧的显示实例的图。
图119是说明图111中所示信号处理设备4的另一种应用实施方 案的构造实例的框图。
图120A是描述运动矢量的图。
图120B是描述运动矢量的图。
图120C是描述运动矢量的图。图120D是描述运动矢量的图。
图121是描述图119中所示信号处理设备4的处理的流程图。 图122是说明连续性设置单元11042的构造实例的框图。 图123是描述连续性设置单元11042的处理的流程图。 图124是描述连续性设置单元11042的处理的流程图。 图125是描述连续性设置单元11042的处理的图。 图126A是说明关于三种类型的运动量的每种而获得的输出图像 的图。
图126B是说明关于三种类型的运动量的每种而获得的输出图像 的图。
图126C是说明关于三种类型的运动量的每种而获得的输出图像 的图。
图126D是说明关于三种类型的运动量的每种而获得的输出图像 的图。
图126E是说明关于三种类型的运动量的每种而获得的输出图像 的图。
图127是说明图111中所示信号处理设备4的另一种应用实施方
案的构造实例的框图。
图128是描述图127中所示信号处理设备4的处理的流程图。 图129是说明图111中所示信号处理设备4的另一种应用实施方
案的构造实例的框图。
图130是描述图129中所示信号处理设备4的处理的流程图。
图131是描述图129中所示信号处理设备4的处理的流程图。
图132是描述图129中所示信号处理设备4的处理的图。
图133是描述使用信号处理设备4的主处理的流程图。
图134是说明输入图像中的处理区域和连续性方向的图。
图135A是说明现实世界1的光信号与从传感器2获得的关于光
信号的输入图像的图。
图135B是说明现实世界1的光信号与从传感器2获得的关于光信号的输入图像的图。
图136A是描述使用信号处理设备4的主处理的图。 图136B是描述使用信号处理设备4的主处理的图。 图136C是描述使用信号处理设备4的主处理的图。 图136D是描述使用信号处理设备4的主处理的图。 图136E是描述使用信号处理设备4的主处理的图。 图137是说明运动检测单元11062的构造实例的框图。 图138是描述运动量的图。
图139是说明当前景对象经过背景对象前面时由照相机拍摄的、 从照相机输出的图像的像素值的图。
图140是说明图139中所示图像中像素的像素值的差值的图。 图141是描述检测运动量的处理的流程图。 图142是描述检测相关性的处理的流程图。
图143是说明图111中所示信号处理设备4的另一种应用实施方 案的构造实例的框图。
图144是描述图143中所示信号处理设备4的处理的流程图。 图145是描述在传感器2是CCD的情况下积分效应的图。 图146是描述运动量的图。
图147A是描述由传感器2的积分效应产生的运动模糊的图。 图147B是描述由传感器2的积分效应产生的运动模糊的图。 图147C是描述由传感器2的积分效应产生的运动模糊的图。 图148A是描述由传感器2的积分效应产生的运动模糊的图。 图148B是描述由传感器2的积分效应产生的运动模糊的图。 图148C是描述由传感器2的积分效应产生的运动模糊的图。 图149是描述现实世界估计单元12003的现实世界估计处理的流 程图。
图150是说明公式生成单元12012的构造实例的框图。
图151是描述图149的步骤S12032中公式生成处理的流程图。
图152A是描述约束条件的图.图152B是描述约束条件的图。 图152C是描述约束条件的图。
图153是说明图111中所示信号处理设备4的另一种应用实施方
案的构造实例的框图。
图154是描述图153中所示信号处理设备4的处理的流程图。 图155是描述现实世界估计单元12073的现实世界估计处理的流程图。
图156是说明公式生成单元12082的构造实例的框图。
图157是描述图155的步骤S12102中公式生成处理的流程图。
图158是描述图153中所示信号处理设备4的处理概述的图。
图159是描述图153中所示信号处理设备4的处理概述的图.
图160A是描述约束条件的图。
图160B是描述约束条件的图。
图160C是描述约束条件的图。
图161是说明图111中所示信号处理设备4的另一种应用实施方
案的构造实例的框图。
图162是描述图161中所示信号处理设备4的处理的流程图。 图163是描述现实世界估计单元12163的现实世界估计处理的流程图。
图164是说明公式生成单元12172的构造实例的框图。 图165是描述图163的步骤S12172中公式生成处理的流程图。 图166是描述图161中所示信号处理设备4的处理概迷的图。 图167是说明图111中所示信号处理设备4的另一种应用实施方
案的构造实例的框图。
图168是描述图167中所示信号处理设备4的处理的流程图。 图169是描述现实世界估计单元12243的现实世界估计处理的流程图。
图170是说明公式生成单元12252的构造实例的图。
图171是描述图169的步骤S12232中乂^式生成处理的流程图。图172A是描述图167中所示信号处理设备4的处理概述的图。 图172B是描述图167中所示信号处理设备4的处理概述的图。 图173是说明图111中所示信号处理设备4的另一种应用实施方
案的构造实例的框图。
图174是描述图173中所示信号处理设备4的处理的流程图。 图175是描述现实世界估计单元12293的现实世界估计处理的流程图。
图176是说明公式生成单元12302的构造实例的图。 图177是描述图175的步骤S12292中公式生成处理的流程图。 图178是描述图173中所示信号处理设备4的处理概述的图。 图179A是描述图173中所示信号处理设备4的处理概述的图。 图179B是描述图173中所示信号处理设备4的处理概述的图。 图180是说明与图153，图161，图167和图173中所示信号处 理设备4相当的信号处理设备4的构造实例的框图。
图181是描述图180中所示信号处理设备4的处理的流程图。 图182是描述图180中所示信号处理设备4的处理的流程图。 图183是描述图180中所示信号处理设备4的处理的流程图。 图184是描述图180中所示信号处理设备4的处理的流程图。 图185是说明输入图像的图。
图186是描述相对于图185中所示输入图像指示平坦区域的图。 图187是说明作为图185中所示输入图像处理结果的输出图像的图。
图188是说明作为图185中所示输入图像处理结果的输出图像的图。
图189是描述相对于图188中所示输出图像指示不满意区域的图。
图190A是说明作为图188中所示输出图像再处理结果的输出图 像的图。
图1卯B是说明作为图188中所示输出图像再处理结果的输出图像的图。
图191A是说明作为在图190A和图190B中选择的输出图像再处 理结果的输出图像的图。
图191B是说明作为在图1卯A和图190B中选择的输出图像再处 理结果的输出图像的图。
图191C是说明作为在图190A和图1卯B中选择的输出图像再处 理结果的输出图像的图。
图191D是说明作为在图190A和图190B中选择的输出图像再处 理结果的输出图像的图。
图192是图185中所示输入图像已经放大的图。
图193是说明作为图192中所示输入图像处理结果的输出图像的图。
图194是说明作为图192中所示输入图像处理结果的输出图像的图。
具体实施例方式
图l说明本发明的原理。如附图中所示，具有空间、时间和质量 维度的现实世界l中的事件(现象)由传感器2获取，并形成数据。 现实世界1中的事件指光(图像)、声音、压力、温度、质量、湿 度、亮度/暗度或气味等。现实世界1中的事件分布在空间-时间方向 上。例如，现实世界1的图像是现实世界1的光强在空间-时间方向 上的分布。
注意传感器2，具有空间、时间和质量维度的现实世界1中的事 件中，传感器2可以获取的现实世界1中的事件由传感器2转换成数 据3。可以说指示现实世界1中事件的信息由传感器2获取。
也就是说，传感器2将指示现实世界1中事件的信息转换成数据 3。可以说，作为指示具有空间、时间和质量维度的现实世界1中亊 件(现象)的信息的信号由传感器2获取并形成数据。
以下，现实世界1中事件例如图像、声音、压力、温度、质量、湿度、亮度/暗度或气味等的分布将称作现实世界1的信号，其作为 指示事件的信息。同样，作为指示现实世界l的事件的信息的信号也 将简称作现实世界l的信号。在本说明书中，信号将被理解为包括现 象和事件，并且还包括在传输侧没有目的的那些事物。
从传感器2输出的数据3 (检测信号)是通过将指示现实世界1 的事件的信息投影到维度比现实世界1少的空间-时间上而获得的信 息。例如，作为运动图像的图像数据的数据3是通过将现实世界1的 三维空间方向和时间方向的图像投影到具有二维空间方向和时间方向 的时间-空间上而获得的信息。而且，如果数据3是例如数字数据， 数据3根据采样增量舍入。如果数据3是模拟数据，数据3的信息根 据动态范围压缩，或者信息的一部分由限幅器等删除。
因此，通过将所示作为指示具有预先确定维度数目的现实世界1 中事件的信息的信号投影到数据3 (检测信号)上，指示现实世界1 中事件的信息的一部分被丢弃。也就是说，指示现实世界l中事件的 倌息的一部分从传感器2输出的数据3中丢弃。
但是，即使指示现实世界1中事件的信息的一部分因投影而丢 弃，数据3包括用于估计作为指示现实世界l中事件(现象)的信息 的信号的有用信息。
对于本发明，具有包含在现实世界1或数据3中的连续性的信息 用作估计作为现实世界l信息的信号的有用信息。连续性是重新定义
的概念。
注意现实世界1，现实世界l中的事件包括在预先确定维度方向 上恒定的特性。例如，现实世界l中的对象(有形对象)具有在空间 方向或时间方向上连续的形状、图案或颜色，或者具有形状、图案或 颜色的重复图案。
因此，指示现实世界l中事件的信息包括在预先确定维度方向上 恒定的特性。
对于更具体的实例，线形对象例如线、细绳或粗绳具有在长度方 向上也就是空间方向上恒定的特性，即橫截面形状在长度方向上任意位置处是相同的。空间方向上的恒定特性即横截面形状在长度方向上 任意位置处相同，来自于线形对象为长形的特性。
因此，线形对象的图像具有在长度方向也就是空间方向上恒定的 特性，即横截面形状在长度方向上任意位置处是相同的。
而且，作为在空间方向上展开的有形对象的单调对象可以假定具 有这样的恒定特性，即在空间方向上具有相同颜色而不管其部分。
同样地，作为在空间方向上展开的有形对象的单调对象的图像具 有这样的恒定特性，即在空间方向上具有相同颜色而不管其部分。
这样，现实世界1 (真实世界)中的事件具有在预先确定维度方 向上恒定的特性，所以现实世界l的信号具有在预先确定维度方向上 恒定的特性.
在本说明书中，在预先确定维度方向上恒定的这种特性将称作连 续性。现实世界1 (真实世界)的信号的连续性意思是指示现实世界 1 (真实世界)的事件的信号具有的、在预先确定维度方向上恒定的特性。
现实世界l (真实世界)中存在无数这种连续性。
接下来，注意数据3,数据3由指示具有预先确定维度的现实世 界l亊件的信息的信号由传感器2投影而获得，并且包括与真实世界 中信号连续性相对应的连续性。可以说，数据3包括现实世界信号的 连续性已经投影于其中的连续性。
但是，如上所述，在从传感器2输出的数据3中，现实世界l的 信息的一部分已经丢失，所以包含在现实世界1 (真实世界)信号中 的连续性的一部分可能从数据中丢失。
换句话说，数据3包含现实世界1 (真实世界)信号连续性中的 至少一部分连续性作为数据连续性。数据连续性意思是数据3具有 的、在预先确定维度方向上恒定的特性。
对于本发明，现实世界l信号的连续性，或者数据3具有的数据 连续性用作估计作为指示现实世界1事件的信息的信号的重要数据。
例如，对于信号处理设备4，指示现实世界l中事件的、已经丢失的信息由数据3的信号处理使用数据连续性而产生。
现在，对于信号处理设备4，作为用作指示现实世界l中事件的 信息的信号维度的长度(空间)、时间和质量中，空间方向或时间方 向上的连续性被使用。
在图1中，传感器2由例如数字静物照相机、视频摄影机等形 成，并且拍摄现实世界l的图像，并将作为获得数据3的图像数据输 出到信号处理设备4。传感器2也可以是温度记录设备、使用光致弹 性的压力传感器等。
信号处理设备4由例如个人计算机等构成，并且执行关于数据3 的信号处理。
信号处理设备4例如如图2中所示构成。CPU(中央处理单元) 21根据存储在ROM (只读存储器)22或存储单元28中的程序执行 各种类型的处理。RAM (随机存取存储器)23在适当的时候存储待 由CPU 21执行的程序、数据等。CUP 21、 ROM 22和RAM 23通 过总线24互相连接。
同样经由总线24连接到CPU 21的是输入/输出接口 25。由键 盘、鼠标、麦克风等构成的输入设备26，以及由显示器、扬声器等 构成的输出单元27连接到输入/输出接口 25。 CPU 21执行与从输入 单元26输入的命令相对应的各种类型的处理。然后，CPUn将作为 处理结果而获得的图像和音频等输出到输出单元27。
连接到输入/输出接口 25的存储单元28由例如硬盘构成，并存 储CPU 21执行的程序和各种类型的数据。通信单元29经由互联网 和其它网络与外部设备通信。在该实例的情况下，通信单元29用作 获取从传感器2输出的数据3的获取单元。
而且，配置可以这样进行，其中程序经由通信单元29获得并存 储在存储单元28中.
连接到输入/输出接口 25的驱动器30驱动安装在那里的磁盘 51、光盘52、磁光盘53、或半导体存储器54等，并且获得记录在其 中的程序和数据。获得的程序和数据根据需要传送到存储单元28并存储。
图3是说明信号处理设备4的框图。
注意，信号处理设备4的功能由硬件实现还是由软件实现不相 关。也就是说，本说明书中的框图可以看作硬件框图或可以看作软件 功能框图。
对于其构造如图3中所示的信号处理设备4，作为数据3的实例 的图像数据输入，并且数据连续性从输入图像数据(输入图像)中检 测。接下来，由传感器2获取的现实世界1的信号从检测的数据连续 性中估计。然后，基于现实世界l的估计信号，图像生成，并且生成 的图像(输出图像)被输出。也就是说，图3是说明作为图像处理设 备的信号处理设备4构造的图。
输入到信号处理设备4的输入图像(作为数据3的实例的图像数 据)提供给数据连续性检测单元101和现实世界估计单元102。
数据连续性检测单元101从输入图像中检测数据的连续性，并将 指示检测的连续性的数据连续性信息提供给现实世界估计单元102和 图像生成单元103。数据连续性信息包括例如输入图像中具有数据连 续性的像素区域的位置、具有数据连续性的像素区域的方向(时间方 向和空间方向的角度或梯度)、或具有数据连续性的像素区域的长度 等。数据连续性检测单元101的详细构造将随后描述。
现实世界估计单元102基于输入图像和从数据连续性检测单元 101提供的数据连续性信息估计现实世界1的信号。也就是说，现实 世界估计单元102估计作为在获取输入图像时投射到传感器2中的现
实世界信号的图像。现实世界估计单元102将指示现实世界1信号估 计结果的现实世界估计信息提供给图像生成单元103。现实世界估计 单元102的详细构造将随后描述。
图像生成单元103基于从现实世界估计单元102提供的、指示现 实世界1的估计信号的现实世界估计信息生成更接近现实世界1信号 的信号，并输出生成的信号。或者，图像生成单元103基于从数据连 续性检测单元101提供的数据连续性信息，以及从现实世界估计单元102提供的、指示现实世界l的估计信号的现实世界估计信息生成更 接近现实世界l信号的信号，并输出生成的信号。
也就是说，图像生成单元103基于现实世界估计信息生成更接近 现实世界l图像的图像，并输出生成的图像作为输出图像。或者，图 像生成单元103基于数据连续性信息和现实世界估计信息生成更接近 现实世界l图像的图像，并输出生成的图像作为输出图像。
例如，图像生成单元103通过基于现实世界估计信息，在空间方 向或时间方向的期望范围内积分现实世界l的估计图像，来生成与输 入图像相比较具有空间方向或时间方向上更高分辨率的图像，并输出 生成的图像作为输出图像。例如，图像生成单元103通过外插/内插 生成图像，并输出生成的图像作为输出图像。
图像生成单元103的详细构造将随后描述。
接下来，将参考图4来描述本发明的原理。
例如，现实世界1的信号，其是例如图像，成像在作为传感器2 实例的CCD(电荷耦合器件)的感光面上。作为传感器2实例的 CCD具有积分性质，所以差异在从CCD输出的、关于现实世界l图 像的数据3中产生。传感器2的积分性质的细节将随后描述。
对于信号处理设备4的信号处理，由CCD获得的现实世界1的 图像与由CCD获取并输出的数据3之间的关系被明确地考虑。也就 是说，数据3与作为由传感器2获得的现实世界信息的信号之间的关 系被明确地考虑。
更具体地说，如图4中所示，信号处理设备4使用模型161来近 似(描述)现实世界1。模型161由例如N个变量表示。更准确地 说，模型161近似(描述)现实世界l的信号。
为了预测模型161，信号处理设备4从数据3中选取M块数据 162。当从数据3中选取M块数据162时，信号处理设备4使用例如 包含在数据3中的数据连续性。换句话说，信号处理设备4基于包含 在数据3中的数据连续性，选取预测模型161的数据162。因此，在 该情况下，模型161由数据连续性约束。也就是说，模型161近似具有连续性(预先确定维度方向上的恒 定特性)的现实世界l的事件(指示事件的信息(信号))，当使用 传感器2获取时该连续性产生数据3中的数据连续性。
现在，如果数据162的数目M为N或更多，其中N是模型的变 量数目，由N个变量表示的模型161可以从M块数据162中预测，
这样，信号处理设备4可以通过预测近似(描述)现实世界1 (的信号)的模型161来考虑作为现实世界1信息的信号。
接下来，将描述传感器2的积分效应。
在成像真实世界时，图像传感器例如CCD或CMOS (互补金属 氧化物半导体)传感器等，其作为获取图像的传感器2，将作为真实 世界信息的信号投影到二维数据上。图像传感器的像素每个具有预先 确定的面积，作为所谓感光面(感光区域)。到具有预先确定面积的 感光面的入射光在每个像素的空间方向和时间方向上积分，并且转换 成每个像素的单个像素值。
将参考图5至图8来描述图像的空间-时间积分。 图像传感器成像真实世界中的主体(对象)，并输出获得的图像 数据为单帧累加的成像结果。也就是说，图像传感器获取现实世界1
的信号，该信号为从现实世界l的主体反射的光，并输出数据3。
例如，图像传感器输出每秒30帧的图像数据。在该情况下，图 像传感器的曝光时间可以为1/30秒。曝光时间是从图像传感器开始 入射光到电荷的转换，到入射光到电荷的转换结束的时间。以下，曝 光时间也将称作快门时间。
图5是描述图像传感器上像素阵列实例的图。在图5中，A I表 示各个像素，像素设置在与由图像数据显示的图像相对应的平面上。 与单个像素相对应的单个检测元件设置在图像传感器上。当图像传感 器获取现实世界l的图像时， 一个检测元件输出与构成图像数据的一 个像素相对应的一个像素值。例如，检测元件空间方向X上的位蕈 (X坐标)对应于由图像数据显示的图像上的水平位置，并且检测元 件空间方向Y上的位置(Y坐标)对应于由图像数据显示的图像上的垂直位置。
现实世界l的光强分布在三维空间方向和时间方向上展开，但是 图像传感器在二维空间方向和时间方向上获取现实世界1的光，并产
生表示二维空间方向和时间方向上光强分布的数据3。
如图6中所示，检测设备例如CCD在对应于快门时间的时期中 将投射到感光面(感光区域)(检测区域)上的光转换成电荷，并积 累转换的电荷。该光是现实世界l的信息(信号)，关于其的强度由 三维空间位置和时间点确定。现实世界1的光强分布可以由函数 F(x，y，z，t)表示，其中三维空间中的位置x, y， z以及时间点t为变 量。
在检测设备CCD中积累的电荷量与投射到具有二维空间展开的 整个感光面上的光强、以及光投射到其上的时间量近似成比例。检测 设备将从投射到整个感光面上的光中转换的电荷加到在对应于快门时 间的时期中已经积累的电荷。也就是说，检测设备积分投射到具有二 维空间展开的整个感光面上的光，并累积与在对应于快门时间的时期 中积分的光相对应的量的变化。检测设备也可以说具有关于空间(感 光面)和时间(快门时间)的积分效应。
检测设备中累积的电荷由未显示的电路转换成电压值，电压值进 一步转换成像素值例如数字数据等，并且作为数据3输出。因此，从 图像传感器输出的各个像素值具有投影到一维空间上的值，该值是关 于快门时间的时间方向和检测设备感光面的空间方向积分具有时间-空间展开的现实世界l信息(信号)的部分的结果。
也就是说， 一个像素的像素值表示为F(x，y，t)的积分。F(x，y，t)是
表示检测设备感光面上的光强分布的函数。例如，像素值P由表达
式(1)表示。
P-f'〖:〖:F(x，y，t)dxdydt
在表达式(l)中，Xl表示检测设备感光面的左侧边界处的空间 坐标(X坐标)。X2表示检测设备感光面的右侧边界处的空间坐标
(X坐标)。在表达式(1)中，yi表示检测设备感光面的上侧边界处的空间坐标(Y坐标)。y2表示检测设备感光面的下侧边界处的空 间坐标(Y坐标)。并且，t表示入射光到电荷的转换开始的时间
点。t2表示入射光到电荷的转换结束的时间点。
注意实际上，从图像传感器输出的图像数据的像素值的增益对于 例如整个帧而校正。
图像数据的每个像素值是投射到图像传感器的每个检测元件的感 光面上的光的积分值，并且投射到图像传感器上的光中，比检测元件 感光面更细的现实世界1的光的波形在作为积分值的像素值中隐藏。
以下，在本说明书中，用预先确定维度表示作为参考的信号的波 形可以简称作波形。
因此，现实世界l的图像(光信号)以像素为增量在空间方向和 时间方向上积分，所以现实世界l的图像连续性的一部分从图像数据 中丢失，从而现实世界l的图像连续性的另一部分留在图像数据中。 或者，可能存在这种情况，其中已经从现实世界l的图像连续性变化 的连续性包括在图像数据中。
将进一步描述由具有积分效应的图像传感器获取的图像在空间方 向上的积分效应。
图7是描述到与像素D至像素F相对应的检测元件的入射光与 像素值之间关系的图。图7中的F(x)是以空间中(检测设备上)空间 方向X上的坐标x作为变量、表示现实世界1的光强分布的函数的 实例。换句话说，F(x)是表示空间方向Y和时间方向恒定的、现实世 界l的光强分布的函数的实例。在图7中，L表示与像素D至像素F 相对应的检测设备感光面的空间方向X上的长度。
单个像素的像素值表示为F(x)的积分。例如，像素E的像素值P 由表达式(2)表示。
在表达式(2)中，x,表示与像素E相对应的检测设备感光面左 侧边界处的空间方向X上的空间坐标。X2表示与像素E相对应的检 测设备感光面右侧边界处的空间方向X上的空间坐标。同样地，将进一步描述由具有积分效应的图像传感器获取的图像 在时间方向上的积分效应。图8是描述消逝的时间、到与单个像素相对应的检测元件的入射 光，以及像素值之间关系的图。图8中的F(t)是以时间点t作为变 量、表示现实世界1的光强分布的函数。换句话说，F(t)是表示空间 方向Y和空间方向X恒定的、现实世界1的光强分布的函数的实 例。Ts表示快门时间。帧弁n-l是时间方向上帧弁n之前的帧，而帧#11+1是时间方向上帧 弁n之后的帧。也就是"^兌，帧幷n-l、帧幷n和帧#11+1以帧弁n-l、帧弁n和 帧弁n+l的顺序显示。注意，在图8中所示实例中，快门时间ts和帧间隔是相同的。单个像素的像素值表示为F(t)的积分。例如，帧#11的像素的像 素值P由表达式(3)表示。nJV, …(3)在表达式(3)中，^表示入射光到电荷的转换开始的时刻。t2 表示入射光到电荷的转换结束的时刻。以下，传感器2在空间方向上的积分效应将简称作空间积分效 应，而传感器2在时间方向上的积分效应也将简称作时间积分效应。 并且，空间积分效应或时间积分效应将简称作积分效应。接下来，将描述由具有积分效应的图像传感器获取的数据3中包括的数据连续性的实例。图9是说明现实世界1的线形对象(例如细线)，即光强分布的 实例的图。在图9中，到附图上侧的位置表示光强(光度)，到附图 右上侧的位置表示在作为图像空间方向的一个方向的空间方向X上 的位置，并且到附图右侧的位置表示在作为图像空间方向的另 一个方 向的空间方向Y上的位置。现实世界1的线形对象的图像包括预先确定的连续性。也就是 说，图9中所示图像具有在长度方向上任意位置处横截面形状方面 (关于与长度方向垂直的方向上位置的变化，光度变化)的连续性。图IO是说明与图9中所示图像相对应、由实际图像拍摄获得的 图像数据的像素值的实例的图。也就是说，图10是通过使用图像传感器对直径比每个像素的感 光面长度L短，并且在从图像传感器像素阵列(像素的垂直或水平 阵列)偏移的方向上延伸的线形对象的图像成像而获得的图像数据的 模型图。图10中所示图像数据获取时投射到图像传感器中的图像是 图9中所示现实世界l的线形对象的图像。在图10中，到附图上侧的位置表示像素值，到附图右上侧的位 置表示作为图像空间方向的一个方向的空间方向X上的位置，并且 到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y 上的位置。图10中表示像素值的方向对应于图9中光度的方向，并 且图10中的空间方向X和空间方向Y也与图9中的方向相同。如果使用图像传感器获取直径比每个像素的感光面长度L短的 线形对象的图像，在模型表示中，例如，线形对象在作为图像获取结 果而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定 长度的多个弧形(半盘)。弧形具有近似相同的形状。 一个弧形形成 在垂直地一行像素上，或者水平地一行像素上。例如，图10中所示 的一个弧形形成在垂直地一行像素上。因此，对于由例如图像传感器获取并获得的图像数据，现实世界 1的线形对象图像具有的、在长度方向上任意位置处空间方向Y上横 截面形状相同的连续性丢失。而且，可以说，现实世界l的线形对象 图^^具有的连续性已经变成这种连续性，即在垂直地一行像素或水平 地一行像素上形成的、具有相同形状的弧形以预先确定的间隔排列。图11是说明具有直边且具有不同于背景的单色的对象在现实世 界l中的图像，即光强分布实例的图。在图11中，到附图上侧的位 置表示光强(光度)，到附图右上侧的位置表示作为图像空间方向的 一个方向的空间方向X上的位置，并且到附图右侧的位置表示作为 图像空间方向的另一个方向的空间方向Y上的位置。具有直边且具有不同于背景的单色的现实世界1的对象的图像包括预先确定的连续性。也就是说，图11中所示图像具有这种连续 性，即在边缘长度方向上任意位置处横截面形状(关于在与长度方向 垂直的方向上位置的变化，光度变化)相同。图12是说明与图11中所示图像相对应、由实际图像拍摄获得的 图像数据的像素值的实例的图。如图12中所示，图像数据为阶梯 形，因为图像数据由以像素为增量的像素值构成。图13是说明图12中所示图像数据的模型图。图13中所示模型图是通过使用图像传感器对具有直边以及不同 于背景的单色，并且在从图像传感器像素阵列(像素的垂直或水平阵 列)偏移的方向上延伸的现实世界1对象的图像成像而获得的图像数 据的模型图。图13中所示图像数据获取时投射到图像传感器中的图 像是图11中所示具有直边以及不同于背景的单色的现实世界1对象 的图像。在图13中，到附图上侧的位置表示像素值，到附图右上侧的位 置表示作为图像空间方向的一个方向的空间方向X上的位置，以及 到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y 上的位置。图13中表示像素值的方向对应于图11中光度的方向，并 且图13中的空间方向X和空间方向Y与图11中的方向相同。如果使用图像传感器获取具有直边以及不同于背景的单色的现实 世界l对象的图像，在模型表示中，例如，直边在作为图像获取结果 而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定长 度的多个爪形。爪形具有近似相同的形状。 一个爪形形成在垂直地一 行像素上，或者水平地一行像素上。例如，图13中所示的一个爪形 形成在垂直地一行像素上。因此，具有直边以及不同于背景的单色的现实世界l对象的图像 的连续性，即在边缘长度方向上任意位置处横截面形状相同，例如， 在通过使用困像传感器成像而获得的图像数据中丢失。而且，可以 说，具有直边以及不同于背景的单色的现实世界1对象的图像具有的 连续性已经变成这种连续性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形状的爪形以预先确定的间隔排列。数据连续性检测单元101检测例如作为输入图像的数据3的这种 数据连续性。例如，数据连续性检测单元101通过检测在预先确定维 度方向上具有恒定特性的区域来检测数据连续性。例如，数据连续性 检测单元101检测例如图10中所示相同的弧形以恒定间隔排列的区 域。同样，例如，数据连续性检测单元101检测例如图13中所示相 同的爪形以恒定间隔排列的区域。而且，数据连续性检测单元101通过检测指示相同形状排列的空 间方向上的角度(梯度)来检测数据的连续性。而且，例如，数据连续性检测单元101通过检测指示空间方向和 时间方向上相同形状排列的空间方向和时间方向上的角度(运动)来 检测数据的连续性。此外，例如，数据连续性检测单元101通过检测在预先确定维度 方向上具有恒定特性的区域的长度来检测数据中的连续性。以下，数据3中传感器2已经投影具有直边以及不同于背景的单 色的现实世界l对象的图像的部分也将称作二值边缘。现在，使用常规信号处理，期望高分辨率数据例如从数据3中产生。相反地，使用信号处理设备4的信号处理，现实世界1从数据3 中估计，并且高分辨率数据基于估计结果而产生。也就是说，现实世 界1从数据3中估计，并且高分辨率数据基于考虑数据3的估计的现 实世界l而产生。为了从现实世界l中产生高分辨率数据，需要考虑现实世界l与 数据3之间的关系。例如，考虑现实世界1如何由传感器2即CCD 投影到数据3上。传感器2即CCD如上所述具有积分性质。也就是^L，数据3的 一个单位(例如像素值)可以通过关于传感器2的检测设备(例如 CCD)的检测区域(例如感光面)积分现实世界l的信号来计算。将此应用到高分辨率数据，高分辨率数据可以通过施加处理到估计的现实世界1而获得，其中虛拟高分辨率传感器将现实世界1的信号投影到数据3。换句话说，如果现实世界l的信号可以从数据3中估计，包含在 高分辨率数据中的一个值可以通过对虚拟高分辨率传感器的检测元件 的每个检测区域(在时间-空间方向上)积分现实世界1的信号来获 得。例如，如果现实世界1信号的变化小于传感器2的检测元件检测 区域的大小，数据3不能表示现实世界1信号的小变化。因此，指示 现实世界1信号的小变化的高分辨率数据可以通过关于比现实世界1 信号的变化小的每个区域(在时间-空间方向上)积分从数据3中估 计的现实世界1的信号来获得。也就是说，对关于虚拟高分辨率传感器的每个检测元件的检测区 域积分估计的现实世界l的信号，能够获得高分辨率数据。对于信号处理设备4，图像生成单元103通过关于虚拟高分辨率 传感器的检测元件的检测区域在时间-空间方向上积分估计的现实世 界1的信号，来产生高分辨率数据。接下来，为了从数据3中估计现实世界1，在信号处理设备4 处，数据3与现实世界1之间的关系、连续性以及数据3中的空间或 时间混合(空间混合或时间混合)被使用。这里，混合意思是数据3中的值，其中现实世界l中两个对象的 信号混合以产生单个值。空间混合意思是因传感器2的空间积分效应，空间方向上两个对 象的信号的混合。时间混合将随后描述。现实世界l自身由无数亊件构成，因此，为了用数学表达式表示 现实世界l自身，例如，需要具有无数个变量。从数据3中预测现实世界l的所有事件是不可能的。同样地，从数据3中预测现实世界1的所有信号是不可能的。 因此，使用信号处理设备4，现实世界l的信号中，具有连续性且可以由函数f(x，y，z，t)表示的部分被关注，并且可以由函数f(x,y，z，t)表示且具有连续性的现实世界1信号的部分用由N个变量表示的模 型161近似。如图14中所示，模型161从数据3中的M块数据162 中预测。为了使得模型161能够从M块数据162中预测，首先，需要基 于连续性用N个变量表示模型161，第二，基于传感器2的积分性 质，产生使用N个变量、指示由N个变量表示的模型161与M块数 据162之间关系的表达式。因为模型161基于连续性由N个变量表 示，可以说使用N个变量、指示由N个变量表示的模型161与M块 数据162之间关系的表达式，描述具有连续性的现实世界l信号的部 分与具有数据连续性的数据3的部分之间的关系。换句话说，由N个变量表示的模型161近似的、具有连续性的 现实世界1信号的部分产生数据3中的数据连续性。数据连续性检测单元101检测数据连续性已经由具有连续性的现 实世界l信号的部分产生的数据3的部分，以及数据连续性已经产生 的部分的特性。例如，如图15中所示，在具有直边以及不同于背景的单色的现 实世界l对象的图像中，图15中由A指示的关注位置处的边缘具有 梯度，图15中的箭头B指示边缘的梯度。预先确定的边缘梯度可以 表示为关于参考轴的角度或者关于参考位置的方向。例如，预先确定 的边缘梯度可以表示为空间方向X的坐标轴与边缘之间的角度。例 如，预先确定的边缘梯度可以表示为由空间方向X的长度和空间方 向Y的长度指示的方向。当具有直边以及不同于背景的单色的现实世界1对象的图《象在传 感器2处获得并且数据3输出时，对应于边缘的爪形排列在数据3中 与现实世界1的图像中边缘的关注位置(A)相对应的位置处，其在 图15中由A'指示，并且对应于边缘的爪形在与现实世界l中图像边 缘的梯度相对应的方向上，图15中由B，指示的梯度的方向上排列。用N个变量表示的模型161近似产生数据3中数据连续性的现 实世界1信号的这种部分。当列出使用N个变量、指示由N个变量表示的模型161与M块 数据162之间关系的表达式时，使用数据连续性在数据3中产生的部 分的值。在该情况下，在图16中所示数据3中，注意数据连续性在其中 产生并且属于混合区域的值，表达式用积分现实世界l的信号、与由 传感器2的检测元件输出的值相等的值列出。例如，多个表达式可以 关于数据连续性在其中产生的数据3中多个值而列出。在图16中，A表示边缘的关注位置，A，表示与现实世界1的图 像中关注边缘的位置(A)相对应的像素(位置)。现在，混合区域意思是现实世界l中两个对象的信号混合并变为 一个值的数据3中的数据区域。例如，这样的像素值属于混合区域， 其中在具有直边以及不同于数据3中背景的单色的现实世界1对象的 图像中，具有直边的对象的图像和背景的图像被积分。图17是描述在列出表达式的情况下，现实世界1中两个对象的 信号以及属于混合区域的值的图。图17的左侧说明与在空间方向X和空间方向Y上具有预先确定 展开的现实世界l中两个对象相对应的现实世界l的信号，该信号在 传感器2的单个检测元件的检测区域处获取。图17的右侧说明数据 3中单个像素的像素值P，图17中左侧说明的现实世界1的信号已 经由传感器2的单个检测元件投影到其中。也就是说，说明数据3中 单个像素的像素值P，与在空间方向X和空间方向Y上具有预先确 定展开的现实世界l中两个对象相对应、并且由传感器2的单个检测 元件获取的现实世界l的信号已经投影到其中。图17中的L表示与现实世界1中一个对象相对应的现实世界1 的信号的光度，其在图17中以白色显示。图17中的R表示与现实 世界1中另一个对象相对应的现实世界1的信号的光度，其在图17 中显示为阴影。这里，混合比a是投射到在空间方向X和空间方向Y上具有预 先确定展开的传感器2的一个检测元件的检测区域中、与两个对象相对应的信号(面积)比。例如，混合比a表示投射到在空间方向X 和空间方向Y上具有预先确定展开的传感器2的一个检测元件的检 测区域中的光度L信号的面积，关于传感器2的单个检测元件的检 测区域的面积的比值。在该情况下，光度L、光度R和像素值P之间的关系可以由表 达式(4)表示。axL + f(l-a)xR = P …(4)注意，可能存在这种情况，其中光度R可以看作位于关注像素 右側的数据3中像素的像素值，并且可能存在这种情况，其中光度L 可以看作位于关注像素左侧的数据3中像素的像素值。而且，对于混合比a和混合区域，时间方向可以与空间方向相同 的方法考虑。例如，如果作为图像获取对象的现实世界l中的对象正 关于传感器2运动，投射到传感器2的单个检测元件的检测区域中的 两个对象的信号比在时间方向上变化。已经投射到传感器2的单个检 测元件的检测区域中、其比值在时间方向上变化的两个对象的信号由 传感器2的检测元件投影到数据3的单个值中。因传感器2的时间积分效应两个对象的信号在时间方向上的混合 将称作时间混合。数据连续性检测单元101检测现实世界1中两个对象的现实世界 1的信号例如已经投影到其中的数据3中的像素区域。数据连续性检 测单元101例如检测与现实世界1中图像边缘的梯度相对应的数据3 中的梯度。现实世界估计单元102通过基于例如具有由数据连续性检测单元 101检测的预先确定混合比a的像素区域以及区域的梯度，列出使用 N个变量、表示由N个变量表示的模型161与M块数据162之间关 系的表达式，并求解列出的表达式来估计现实世界l的信号。将进一步描述现实世界1的具体估计。在由函数F(x，y，z，t)表示的现实世界的信号中，让我们考虑使用由 空间方向X上的位置x、空间方向Y上的位置y以及时间点t确定的近似函数f(x，y，t)，来近似空间方向Z上横截面处(传感器2的位 置)由函数F(x,y，t)表示的现实世界的信号。现在，传感器2的检测区域具有在空间方向X和空间方向Y上 的展开。换句话说，近似函数f(x，y，t)是近似由传感器2获取的、具 有在空间方向和时间方向上的展开的现实世界l的信号的函数。让我们假定，来自传感器2的现实世界l的信号的投影产生数据 3的值P(x,y，t)。数据3的值P(x，y，t)是例如作为图像传感器的传感器 2输出的像素值。现在，如果传感器2的投影可以用公式表示，通过投影近似函数 f(x，y，t)而获得的值可以表示为投影函数S(x，y，t)。 获得投影函数S(x，y,t)具有下面的问题。首先，通常，表示现实世界l的信号的函数F(x，y，z，t)可以是具有无穷阶数的函数。第二，即使现实世界的信号可以描述为函数，经由传感器2投影 的投影函数S(x，y,t)通常不能确定。也就是说，传感器2的投影动 作，换句话说，传感器2的输入信号与输出信号之间的关系是未知 的，所以投影函数S(x，y，t)不能确定。对于第一个问题，让我们考虑用作为可描述函数(例如具有有穷 阶数的函数)的函数fi(x，y，t)与变量Wi的乘积的和来表示近似现实世 界l的信号的函数f(x，y，t)。同样，对于第二个问题，用公式表示传感器2的投影允许我们从 函数fi(x，y，t)的描述中描述函数Si(x，y，t)。也就是说，用函数fj(x，y，t)与变量Wj的乘积的和来表示近似现实 世界l的信号的函数f(x，y，t),可以获得表达式(5)。<formula>formula see original document page 36</formula>5)例如，如表达式(6)中所示，数据3与现实世界信号之间的关系可以通过用公式表示传感器2的投影从表达式(5)中如表达式(7)中所示而列出。<formula>formula see original document page 36</formula> ⑧Pj(Xj，yj，tj)-2wiSj(Xj，yj，tj)在表达式(7)中，j表示数据的索引。如果M个数据组(j=l~M)与N个变量Wi (i=l~N)存在于表 达式(7)中，表达式(8)满足，所以现实世界的模型161可以从数 据3中获得。NSM …(8)N是表示近似现实世界1的模型161的变量数目。M是包括在 数据3中的数据块162的数目。用表达式(5)表示近似现实世界1信号的函数f(x,y,t)允许变量 部分Wj可以独立地处理。这里，i表示变量数目。而且，由fi表示的 函数的形式可以独立地处理，并且期望的函数可以用于fj。因此，变量Wj的数目N可以不依赖于函数fi而定义，并且变量 Wi可以从变量Wi的数目N与数据块的数目M之间的关系中获得。也就是说，使用下面三条允许现实世界1从数据3中估计。首先，确定N个变量。也就是说，确定表达式(S)。这使得可 以使用连续性描述现实世界1。例如，现实世界1的信号可以用模型 161描述，其中横截面用多项式表示，并且相同的横截面形状在恒定 方向上连续。第二，例如传感器2的投影用公式表示，描述表达式(7)。例 如，这用公式表示使得现实世界1的信号的积分结果是数据3。第三，M块数据162被收集以满足表达式(8)。例如，数据 162从具有已经用数据连续性检测单元101检测的数据连续性的区域 中收集。例如，作为连续性的实例恒定的横截面连续的区域的数据 162被收集。这样，数据3与现实世界1之间的关系用表达式(5)描述，并 且M块数据162被收集，从而满足表达式(8),且现实世界l可以 估计。更具体地说，如果N-M,变量数目N和表达式数目M相等，所 以变量Wi可以通过列出联立方程而获得。同样，如果N<M，各种求解方法可以应用。例如，变量Wj可以 由最小二乘法获得。现在，将详细描迷最小二乘法的求解方法。首先，从现实世界1预测数据3的表达式(9)将根据表达式 (7)显示。<formula>formula see original document page 38</formula>、…(9)在表达式(9)中，P'j(Xj，yj，tj)是预测值。 预测值P'与观测值P的方差和E由表达式(10)表示。<formula>formula see original document page 38</formula>h …(10)变量Wi获得使得方差和E最小。因此，表达式(10)对于每个 变量Wk的偏微分值为O。也就是说，表达式(11)成立。M<formula>formula see original document page 38</formula>表达式(11)产生表达式(12)。<formula>formula see original document page 38</formula>' …(12) 当表达式(12)对k=l N成立时，获得最小二乘法的解。其正 则方程在表达式(13)中显示。<formula>formula see original document page 38</formula><formula>formula see original document page 39</formula>表达式(13 )可以表示为i;sN(j)Pi(j)、j=1 乂 …(16)从表达式(14)到表达式(16)中SmatWmat=Pmat 。在表达式(13)中，Si表示现实世界l的投影。在表达式(13) 中，Pj表示数据3。在表达式(13)中，Wi表示描述和荻得现实世界 1的信号的特性的变量。因此，将数据3输入表达式(13)中并通过矩阵解法等获得 WMAT使得现实世界1可以被估计。也就是说，现实世界1可以通过 计算表达式(17)来估计。WMAT =SMATPMAT ,h(17)注意，如果Smat不是正則的，SMAT的转置矩阵可以用来获得wMAT。现实世界估计单元102通过例如将数据3输入表达式(13 )中并由矩阵解法等获得WMAT来估计现实世界l。现在，将描迷更详细的实例。例如，现实世界l的信号的横截面 形状，即关于位置变化的光度变化将用多项式描述。让我们假设现实 世界1的信号的橫截面形状是恒定的，并且现实世界1的信号的横截 面以恒定速度运动。来自传感器2的现实世界1的信号到数椐3的投 影由现实世界1的信号在时间-空间方向上的三维积分来用公式表 示。现实世界1的信号的横截面以恒定速度运动的假设产生表达式 (18 )和表达式(19 )。^一v' …(18) ^_Vy …(19)这里，V,和Vy是恒定的。使用表达式(18)和表达式(19),现实世界l的信号的横截面形状可以在表达式(20)中表示。 f(x'，y') = f(x +vxt，y + vyt) …(20)由现实世界1的信号在时间-空间方向上的三维积分表示来自传 感器2的现实世界1的信号到数据3的投影产生表达式(21 )。 S(x，y，t)-〖'〖'〖f(x'，y')dxdydt=f' 「 f'f(x + vxt，y + vvt)dxdydt…(21)在表达式(21)中，S(x，y，t)表示从空间方向X的位置Xs到位置 xe、从空间方向Y的位置ys到位置ye，以及从时间方向t的时间点ts 到时间点te的区域，也就是表示为空间-时间立方体的区域的积分 值。使用表达式(21)可以由此确定的期望函数f(x'，y')来求解表达式(13 )使得现实世界1的信号可以被估计。在下文中，我们将使用表达式(22)中指示的函数作为函数f(x，，y')的实例。f(x'，y') = w'x'+wj'+Wj=w,(x + vxt) + w2(y + vyt) + w3 …(22)也就是说，现实世界l的信号被估计以包括表达式(18)、表达 式(19)以及表达式(22)中表示的连续性，这指示具有恒定形状的 横截面在空间-时间方向上运动，如图18中所示。将表达式(22 )代入表达式(21)产生表达式(W )。S(x，y，t)=〖'〖'〖'f(x + v,t，y + vyt)dxdydt=Vol匿(^(Xe +xs + v，(te +ts)) + ^i"(ye +ys + vy(te +t,)) + w2) -WoSoAy'O + w'SJx'yA + WzSJx'y't) ...(23)其中Volume = (xe ■ xs) (ye - ys) (te - ts)
s。(x，y，t) = Volume/2 x (Xe + xs + vx (te + ts))
si(x，y，t) = Volume/2 x (ye + ys + vy (te + ts))
s2(x，y，t) = 1成立。
图19是说明从数据3中选取的M块数据162的实例的图。例 如，让我们假定27个像素值被选取作为数据162，并且选取的像素 值为Pj(x，y，t)。在该情况下，j为0 26。
在图19中所示的实例中，如果与t为n的时间点处关注位置相 对应的像素的像素值为P13(x，y，t),并且具有数据连续性的像素的像素 值的阵列方向(例如由数据连续性检测单元IOI检测的形状相同的爪 形排列的方向)是连接P4(x，y，t)、 P,3(x,y，t)和P22(x，y，t)的方向，贝'J t 为n的时间点处的像素值P9(x，y，t) P17(x，y，t)、时间上早于n的n-1的 时间点t处的像素值P0(x，y，t)~P8(x，y，t)，以及时间上迟于n的n+1的 时间点t处的像素值Pw(x，y，t) P26(x，y，t)被选取。
现在，作为从为传感器2的图像传感器输出的数据3的像素值已 经获得的区域具有时间方向和二维空间方向展开。现在，例如，与像 素值相对应的立方体的重心(像素值已经获得的区域)可以用作空 间-时间方向上的像素位置。
从27个像素值Po(x,y，t) P26(x，y,t)以及表达式(23)中产生表达 式(13)，并获得W，使得现实世界l可以被估计。
这样，现实世界估计单元102从27个像素值Po(x，y，t)~P26(x，y，t) 以及表达式(23)中产生表达式(13)，并获得W，从而估计现实 世界1的信号。
注意，高斯函数、S形函数等可以用于函数fi(x，y，t)。
将参考图20至图23来描述从估计的现实世界1信号中产生与数 据3相对应的、具有更高分辨率的高分辨率数据的处理实例。
如图20中所示，数据3具有现实世界1的信号在时间方向和； 维空间方向上积分的值。例如，作为已经从为传感器2的图像传感器输出的数据3的像素值具有这样的值，其中作为投射到检测设备中的 光的现实世界1的信号在时间方向上以作为检测时间的快门时间积 分，并且在空间方向上以检测元件的感光区域积分。
相反地，如图21中所示，具有空间方向上更高分辨率的高分辨 率数据通过在时间方向上以与已经输出数据3的传感器2的检测时间 相同的时间、以及在空间方向上以比已经输出数据3的传感器2的检 测元件感光区域窄的区域，积分估计的现实世界l信号而产生。
注意，当产生具有空间方向上更高分辨率的高分辨率数据时，现 实世界l的估计信号被积分的区域可以完全脱离已经输出数据3的传 感器2的检测元件感光区域而设置。例如，高分辨率数据可以提供有 这样的分辨率，其为在空间方向上放大整数倍的数据3的分辨率，当 然，还可以提供有这样的分辨率，其为在空间方向上放大有理数例如 5/3倍的数据3的分辨率。
同样，如图22中所示，具有时间方向上更高分辨率的高分辨率 数据通过在空间方向上以与已经输出数据3的传感器2的检测元件感 光区域相同的区域、以及在时间方向上以比已经输出数据3的传感器 2的检测时间短的时间，积分估计的现实世界l信号而产生。
注意，当产生具有时间方向上更高分辨率的高分辨率数据时，现 实世界1的估计信号被积分的时间可以完全脱离已经输出数据3的传 感器2的检测元件快门时间而设置。例如，高分辨率数据可以提供有 这样的分辨率，其为在时间方向上放大整数倍的数据3的分辨率，当 然，还可以提供有这样的分辨率，其为在时间方向上放大有理数例如 7/4倍的数据3的分辨率。
去除了运动模糊的高分辨率数据通过仅在空间方向而不在时间方 向上积分估计的现实世界1信号来产生。
此外，如图23中所示，具有时间方向和空间方向上更高分辨率 的高分辨率数据通过在空间方向上以比已经输出数据3的传感器2的 检测元件感光区域小的区域，以及在时间方向上以比已经输出数据3 的传感器2的检测时间短的时间，积分估计的现实世界1信号而产生。
在该情况下，积分估计的现实世界1信号的区域和时间可以完全
不相关于已经输出数据3的传感器2的检测元件的感光区域和快门时 间而设置。
从而，图像生成单元103通过例如以期望的空间-时间区域积分 估计的现实世界1信号，来产生具有时间方向或空间方向上更高分辨 率的数据。
因此，关于现实世界l的信号更精确并且具有时间方向或空间方 向上更高分辨率的数据可以通过估计现实世界1的信号来产生。
图24至图28说明输入图像的实例以及用于信号处理的信号处理 设备4处理结果的实例。
图24是说明输入图像的原始图像(相当于现实世界1的光信 号)的图。图25是说明输入图像实例的图。图25中所示输入图像是 通过取属于由图24中所示图像的2x2像素构成的块的像素的像素值 平均值作为单个像素的像素值而产生的图像。也就是说，输入图像是 通过对图24中所示图像应用空间方向积分，模仿传感器的积分性质 而获得的图像。
图24中所示原始图像包含从垂直方向顺时针方向倾斜大约5度 的细线的图像。同样地，图25中所示输入图像包含从垂直方向顺时 针方向倾斜大约5度的细线的图像。
图26是说明通过对图25中所示输入图像应用常规类型分类适应 处理而获得的图像。现在，类型分类处理由类型分类处理和适应处理 构成，其中数据由类型分类适应处理基于其特性来分类，并对每一类 进行适应处理。在适应处理中，.例如低图像质量或标准图像质量图像 通过经历使用预先确定抽头系数的映射(映射)转换成高图像质量图
也就是说，使用适应处理，第一数据通过使用预先确定抽头系数 被映射(映射)而转换成第二数据.
现在，适应处理将关于使用抽头系数的映射方法来描述，其中例如线性组合模型被使用，而且通过用低通滤波器过滤高分辨率HD (高清晰度)图像而获得的低分辨率图像或标准分辨率SD (标准清 晰度)图像用作笫一数据，而用于获得SD图像的HD图像用作第二 数据。
现在，在上述条件下，构成HD图像的HD像素y可以使用从构 成SD图像的SD像素中选取的多个SD像素作为预测HD图像的预 测抽头以及抽头系数，通过下面的线性表达式(线性组合)获得。
N
…(24)
其中，在表达式(24)中，Xn表示构成关于HD像素y的预测抽 头、SD图像中第n个像素的像素值，并且Wn表示与第n个SD像素 (的像素值)相乘的第n个抽头系数。注意在表达式(24)中，预测 抽头由N个SD像素 构成。
现在，HD像素的像素值y可以由二次表达式或更高，代替表达 式(24)中所示线性表达式来获得。
现在，在HD图像中，假定yk表示第k个HD像素(的像素 值)的真实值，并且yk'表示由表达式(24)获得的真实值yk的预测 值，其预测误差ek如下面的表达式中表示，例如。
ek=yk-yk' …(25)
表达式(25)中的预测值yk，根据表达式(24)获得，所以将依
照表达式(24)的yk'代入表达式(25)中产生下面的表达式。
<formula>formula see original document page 44</formula>…(26)
其中，在表达式(26)中，Xn，k表示构成第k个HD像素的预测 抽头的第n个SD像素。
虽然表达式(26)中预测误差ek为0的抽头系数Wn对于预测 HD像素是最佳的，对于所有HD像素获得这种抽头系数wn通常是 困难的。
因此，作为表示最佳的抽头系数wn的规则，使用最小二乘法例 如，意思是最佳抽头系数wn可以通过使得作为统计误差的例如下面表达式中表示的均方误差的求和E达到最小来获得。 <formula>formula see original document page 45</formula>…(27)
其中，在表达式(27)中，k表示由HD像素yk以及构成关于该 HD像素yk的预测抽头的SD像素Xl,k， x2，k，…，XN,k构成的样品集 的数目。
使得表达式(27)中的均方误差的求和E最小(最小值)的抽 头系数Wn是这样的，即求和E对于抽头系数Wn的偏微分为0，因 此，下面的表达式必须满足。
<formula>formula see original document page 45</formula> (28)
现在，上面表达式(26)对抽头系数wn的偏微分产生下面的表
达式,<formula>formula see original document page 45</formula> (29)
表达式(28)和(29)产生下面的表达式
<formula>formula see original document page 45</formula> (30)
用表达式(26)代替表达式(30)中的ek使得表达式(30)能
够以表达式(31)中的正则方程的形式表示。
<formula>formula see original document page 45</formula>
…(31)
准备一定数目的HD像素yk和SD像素Xn,k的集合允许与抽头系 数Wn数据相同的列出的表达式(31)中正则方程可以获得，并且求 解表达式(31)可以获得最佳抽头系数wn。注意扫描(高斯-约旦消 除)等例如可以用于求解表达式(31),
如上所述，适应处理涉及取大量HD像素yi， y2， ...， yk作为导 师数据以用作为抽头系数学习的导师，同样取构成关于每个HD像素yk的预测抽头的SD像素Xl，k， x2，k，…，XN，k作为学生数据以用作为 抽头系数学习的学生，并且求解表达式(31),从而执行获得最佳抽 头系数wn的学习，进一步使用最佳抽头系数wn来执行根据表达式 (24) SD图像到HD图像的映射(转换)。
现在，对于构成HD像素yk的预测抽头的SD像素Xl，k，
X2,k， …，XN，k，
空间上或时间上接近对应于HD像素yk的SD图像上 位置的SD像素可以使用。
同样，使用类型分类适应处理，抽头系数wn的学习以及使用抽 头系数wn的映射可以根据类型执行。使用类型分类适应处理，类型 分类处理关于关注的HD像素yk执行，并且抽头系数Wn的学习以及
使用抽头系数Wn的映射对于由类型分类处理获得的每个类而执行。
关于HD像素yk的类型分类处理的一个实例是从SD图像中选取 多个SD像素用作用于HD像素yk类型分类的类抽头，并且使用由多 个SD像素构成的类抽头来执行M位ADRC (自适应动态范围编 码)。
在M位ADRC处理中，构成类抽头的SD像素的最大值MAX 和最小值MIN被检测，DR = MAX - MIN设置为局部动态范围，并 且构成类抽头的SD像素基于该动态范围DR重新量化为k位。也就 是说，最小值MIN从构成类抽头的SD 4象素中减去，并且减少值除 以DR/2K (量化)。因此，如果类抽头经历例如1位ADRC处理， 构成类抽头的每个SD像素是一位。在该情况下，通过以预先确定顺 序排列关于构成已经如上所述获得的类抽头的每个SD像素的1位像 素值而获得的位串作为ADRC编码输出，并且ADRC编码看作表^: 类的类编码。
注意，类型分类适应处理不同于例如简单的内插处理等，在于没 有包括在SD图像中但是包括在HD图像中的分量被再现。也就是 说，使用类型分类适应处理，通过仅看表达式(24)看起来这与使用 所谓内插滤波器的内插处理相同，但是相当于内插滤波器抽头系数的 抽头系数wn已经通过使用用作导师数据的HD图像和用作学生数据的SD图像学习来获得，所以包含在HD图像中的分量可以再现。
现在，执行各种类型转换的抽头系数wn可以依赖于使用哪种类 型组合的导师数据y和学生数据x在抽头系数wn学习中获得。
也就是说，在取高分辨率HD图像作为导师数据y并且取HD图 像的分辨率已经退化的SD图像作为学生数据x例如的情况下，将图 像映射到分辨率提高的图像的抽头系数Wn可以获得。此外，在取 HD图像作为导师数据y并且取HD图像的像素数目已经减少的SD 图像作为学生数据x例如的情况下，将图像映射到具有构成图像的増
大数目像素的图像的抽头系数Wn可以获得。
图26是通过使图25中所示输入图像经历例如上述类型分类适应 处理的映射而获得的图像。可以理解，在图26中所示图像中，细线 的图像不同于图24中原始图像。
图27是说明由数据连续性检测单元101从图25中实例中所示的 输入图像中检测细线区域的结果的图。在图27中，白色区域表示细 线区域，即图10中所示弧形排列于其中的区域。
图28是说明通过以图25中所示图4象作为输入图像，在信号处理 设备4处执行信号处理而获得的输出图像的实例的图。如图28中所 示，信号处理设备4产生更接近图24中所示原始图像的细线图像的 图像。
图29是描述使用信号处理设备4的信号处理的流程图。
在步骤S101中，数据连续性检测单元101执行检测连续性的处 理。数据连续性检测单元101检测包含在作为数据3的输入图像中的 数据连续性，并将指示检测的数据连续性的数据连续性信息提供给现 实世界估计单元102和图像生成单元103。
数据连续性检测单元101检测与现实世界的信号的连续性相对库 的数据的连续性，在步骤S101的处理中，由数据连续性检测单元 101检测的数据连续性或者是包含在数据3中的现实世界1图像连续 性的一部分，或者是已经从现实世界1信号的连续性变化的连续性。
例如，数据连续性检测单元101通过检测在预先确定维度方向上具有恒定特性的区域来检测数据连续性。同样，例如，数据连续性检
测单元101通过检测指示相同形状排列的空间方向上的角度(梯度)
来检测数据连续性。
步骤S101中的连续性检测处理的细节将随后描述。 注意，数据连续性信息可以用作指示数据3特性的特征。 在步骤S102中，现实世界估计单元102执行估计现实世界的处 理。也就是说，现实世界估计单元102基于输入图像以及从数据连续 性检测单元101提供的数据连续性信息来估计现实世界的信号。在步 骤S102的处理中例如，现实世界估计单元102通过预测近似(描 述)现实世界1的模型161来估计现实世界1的信号。现实世界估计 单元102将指示现实世界1的估计信号的现实世界估计信息提供给图 像生成单元103。
例如，现实世界估计单元102通过预测线形对象的宽度来估计现 实世界1信号。同样，例如，现实世界估计单元102通过预测指示线 形对象颜色的光度来估计现实世界1信号。
步骤S102中估计现实世界的处理细节将随后描述。 注意，现实世界估计信息可以用作指示数据3特性的特征。 在步骤S103中，图像生成单元103执行图像生成处理，并且处 理结束。也就是说，图像生成单元103基于现实世界估计信息产生图 像，并输出生成的图像。或者，图像生成单元103基于数据连续性信 息和现实世界估计信息产生图像，并输出生成的图像。
例如，在步骤S103的处理中，图像生成单元103基于现实世界 估计信息，在空间方向上积分估计的真实世界的光，从而产生与输入 图像相比较具有空间方向上更高分辨率的图像，并输出生成的图像。 例如，图像生成单元103基于现实世界估计信息，在时间-空间方向 上积分估计的真实世界的光，从而生成与输入图像相比较具有时间方 向和空间方向上更高分辨率的图像，并输出生成的图像。步骤S103 中的图像生成处理的细节将随后描述。
因此，信号处理设备4从数据3中检测数据连续性，并从检测的数据连续性中估计现实世界1。信号处理设备4然后基于估计的现实 世界1产生更接近现实世界1的信号。
如上所述，如果执行估计现实世界的信号的处理，可以获得准确 且高度精确的处理结果。
另外，如果作为具有第一维度的真实世界信号的第一信号被投 影，与真实世界信号的丢失连续性相对应的数据连续性对于具有第二 维度的第二信号而检测，该第二维度具有少于第一维度的维度数目， 真实世界信号的连续性的一部分从其中丢失，并且第一信号通过基于 检测的数据连续性估计丢失的真实世界信号连续性而估计，准确且高 度精确的处理结果可以关于真实世界中的事件而获得。
接下来，将描述数据连续性检测单元101的构造细节。 图30是说明数据连续性检测单元101的构造的框图。 当获取细线对象的图像时，其构造如图30中所示的数据连续性 检测单元101检测包含在数据3中的数据连续性，该连续性从对象具 有的横截面形状相同的连续性中产生。也就是说，具有图30中所示 构造的数据连续性检测单元101检测包含在数据3中的数据连续性， 该连续性从作为细线的现实世界1的图像具有的连续性中产生，即关 于垂直于长度方向的方向上位置变化的光度变化在长度方向上任意位 置处相同。
更具体地说，其构造如图30中所示的数据连续性检测单元101 在通过用具有空间积分效应的传感器2获取细线图像而获得的数据3 中，检测具有预先确定长度的多个弧形(半盘)以对角偏移相邻方式 排列的区域。
数据连续性检测单元101从作为数据3的输入图像中提取除具有 数据连续性的细线图像已经投影到其中的图像数据部分(下文中，具 有数据连续性的细线图像已经投影到其中的图像数据部分也将称作连 续性分量，并且其它部分将称作非连续性分量)之外的图像数据部分 (以下称作非连续性分量)，从提取的非连续性分量和输入图像中检 测现实世界l的细线图像已经投影到其中的像素，并检测由现实世界1的细线图像已经投影到其中的像素构成的输入图像的区域。
非连续性分量提取单元201从输入图像中提取非连续性分量，并 将指示提取的非连续性分量的非连续性分量信息与输入图像一起提供 给峰值检测单元202和单调增大/减小检测单元203。
例如，如图31中所示，如果细线存在于具有近似恒定光度的背 景前面的现实世界l的图像投影在数据3上，非连续性分量提取单元 201通过在平面上近似作为数据3的输入图像中的背景来提取作为背 景的非连续性分量，如图32所示。在图32中，实线表示数据3的像 素值，而虚线说明由近似背景的平面表示的近似值。在图32中，A 表示细线的图像已经投影到其中的像素的像素值，而PL表示近似背 景的平面。
这样，具有数据连续性的图像数据的部分处多个像素的像素值关 于非连续性分量是不连续的。
非连续性分量提取单元201检测作为数据3的图像数据的多个像 素的像素值的不连续部分，其中作为现实世界l光信号的图像已经投 影到其中并且现实世界l图像连续性的一部分已经丢失。
使用非连续性分量提取单元201提取非连续性分量的处理细节将 随后描述。
峰值检测单元202和单调增大/减小检测单元203基于从非连蜂 性分量提取单元201提供的非连续性分量信息，从输入图像中去除非 连续性分量。例如，峰值检测单元202和单调增大/减小检测单元203 通过将仅背景图像投影到其中的输入图像像素的像素值设置为0而从 输入图像中去除非连续性分量。同样，例如，峰值检测单元202和单 调增大/减小检测单元203通过从输入图像的每个像素的像素值中减 去由平面PL近似的值而从输入图像中去除非连续性分量。
因为背景可以从输入困像中去除，峰值检测单元202至连续性检 测单元204可以仅处理细线投影到其中的图像数据的部分，从而进一 步简化峰值检测单元202至连续性检测单元204的处理。
注意，非连续性分量提取单元201可以将非连续性分量已经从输入图像中去除的图像数据提供给峰值检测单元202和单调增大/减小 检测单元203。在下述处理的实例中，非连续性分量已经从输入图像中去除的图 像数据，即仅由包含连续性分量的像素构成的图像数据作为对象。现在，将描述峰值检测单元202至连续性检测单元204将检测 的、细线图像已经投影到其上的图像数据。如果没有光学LPF，如图31中所示细线图像已经投影到其上的 图像数据在空间方向Y上的横截面图像(关于空间方向上位置的变 化，像素值变化)可以看作图33中所示的梯形，或图34中所示的三 角形，因作为传感器2的图像传感器的空间积分效应。但是，普通的 图像传感器具有光学LPF，图像传感器获得已经通过光学LPF的图 像，并将获得的图像投影到数据3上，所以实际上，在空间方向Y 上具有细线的图像数据的横截面形状具有类似高斯分布的形状，如图 35中所示。峰值检测单元202至连续性检测单元204检测由细线图像已经投 影到其上的像素构成的区域，其中相同的横截面形状(关于空间方向 上位置的变化，像素值变化)以恒定间隔在屏幕中垂直方向上排列， 并且，通过检测与现实世界l细线的长度方向相对应的区域连接，检 测由细线图像已经投影到其上的像素构成的区域，即具有数据连续性 的区域。也就是说，峰值检测单元202至连续性检测单元204检测弧 形(半盘形)在输入图像中单个垂直行像素上形成的区域，并确定检 测的区域是否在水平方向上相邻，从而检测与作为现实世界1信号的 细线图像长度方向相对应的、弧形形成的区域的连接。同样，峰值检测单元202至连续性检测单元204检测由细线图像 已经投影到其上的像素构成的区域，其中相同的横截面形状以恒定间 隔在屏幕中水平方向上排列，并且，通过检测与现实世界l细线的长 度方向相对应的检测区域的连接，检测由细线图像已经投影到其上的 像素构成的区域，即具有数据连续性的区域。也就是说，峰值检测单 元202至连续性检测单元204检测孤形在输入图像中单个水平行像素上形成的区域，并确定检测的区域是否在垂直方向上相邻，从而检测 与作为现实世界1信号的细线图像长度方向相对应的、弧形形成的区 域的连接。首先，将描述检测细线图像已经投影到其上的像素区域的处理， 其中相同的弧形以恒定间隔在屏幕中垂直方向上排列。峰值检测单元202检测像素值比周围像素大的像素，即峰值，并 将指示峰值位置的峰值信息提供给单调增大/减小检测单元203。如果 以在屏幕中单个垂直方向行中排列的像素作为对象，峰值检测单元 202比较屏幕中上方的像素位置的像素值与屏幕中下方的像素位置的 像素值，并检测具有较大像素值的像素作为峰值。峰值检测单元202 从单个图像例如从单帧图像中检测一个或多个峰值。单个屏幕包含帧或场。这在下面的描述中同样成立。例如，峰值检测单元202从还没有取作关注像素的一帧图像的像 素中选择关注像素，比较关注像素的像素值与在关注像素上方的像素 的像素值，比较关注像素的像素值与在关注像素下方的像素的像素 值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值 的关注像素，并取检测的关注像素作为峰值。峰值检测单元202将指 示检测峰值的峰值信息提供给单调增大/减小检测单元203。存在峰值检测单元202没有检测到峰值的情况。例如，如果图像 的所有像素的像素值是相同值，或者如果像素值在一个或两个方向上 减小，检测不到峰值。在该情况下，没有细线图像投影在图像数据 上。单调增大/减小检测单元203基于从峰值检测单元202提供的指 示峰值位置的峰值信息，检测由细线图像已经投影到其上的像素构成 的区域的候选，其中像素关于由峰值检测单元202检测的峰值垂直地 排列在单行中，并且将指示检测的区域的区域信息与峰值信息一起提 供给连续性检测单元204。更具体地说，单调增大/减小检测单元203检测由具有参考峰值 像素值单调减小的像素值的像素构成的区域，作为由细线图像已经投影到其上的像素构成的区域的候选。单调减小意思是，在距离方向上 离峰值较远的像素的像素值比离峰值较近的像素的像素值小。同样，单调增大/减小检测单元203检测由具有参考峰值像素值 单调增大的像素值的像素构成的区域，作为由细线图像已经投影到其 上的像素构成的区域的候选。单调增大意思是，在距离方向上离峰值 较远的像素的像素值比离峰值较近的像素的像素值大。下面，关于具有单调增大像素值的像素区域的处理与关于具有单 调减小像素值的像素区域的处理相同，因此其描述将省略。同样，对 于关于检测细线图像已经投影到其上的像素区域的处理的描述，其中 相同的弧形以恒定间隔在屏幕中水平排列，关于具有单调增大像素值 的像素区域的处理与关于具有单调减小像素值的像素区域的处理相 同，因此其描述将省略。例如，单调增大/减小检测单元203获得关于峰值的垂直行中每 个像素的像素值、关于上方像素的像素值的差、以及关于下方像素的 像素值的差。单调增大/减小检测单元203然后通过检测差符号改变 的像素来检测像素值单调减小的区域。此外，单调增大/减小检测单元203使用峰值的像素值的符号作 为参考，从像素值单调减小的区域中检测由具有与峰值像素值符号相 同的像素值的像素构成的区域，作为由细线图像投影到其上的像素构 成的区域的候选。例如，单调增大/减小检测单元203比较每个像素的像素值的符 号与上方像素的像素值的符号以及下方像素的像素值的符号，并且检 测像素值符号改变的像素，从而检测像素值单调减小的区域中具有与 峰值符号相同的像素值的像素区域。因此，单调增大/减小检测单元203检测由在垂直方向上排列的 像素形成的区域，其中像素值关于峰值单调减小，并且与峰值具有相 同的符号。图36是描述峰值检测和单调增大/减小区域检测的处理的图，该 处理用于从关于空间方向Y上位置的像素值中，检测细线图像已丝投影到其中的像素区域。在图36至图38中，P表示峰值。在其构造如图30中所示的数 据连续性检测单元101的描述中，P表示峰值。峰值检测单元202比较像素的像素值与在空间方向Y上与其相 邻的像素的像素值，并通过检测像素值大于在空间方向Y上相邻的 两个像素的像素值的像素，来检测峰值P。由峰值P以及在空间方向Y上在峰值P两侧的像素构成的区域 是单调减小区域，其中在空间方向Y上两侧像素的像素值关于峰值 P的像素值单调减小。在图36中，由A表示的箭头和由B表示的箭 头代表在峰值P任一侧上存在的单调减小区域。单调增大/减小检测单元203获得每个像素的像素值与在空间方 向Y上相邻的像素的像素值之间的差，并检测差符号改变的像素。 单调增大/减小检测单元203取差符号改变的检测像素与(在峰值P 侧上)紧邻其在其之前的像素之间的边界，作为由细线图像已经投影到其中的像素构成的细线区域的边界。在图36中，细线区域的边界，即差符号改变的像素与(在峰值 P侧上)紧邻其在其之前的像素之间的边界，由C表示。此外，单调增大/减小检测单元203比较每个像素的像素值的符 号与在空间方向Y上与其相邻的像素的像素值，并检测单调减小区 域中像素值符号改变的像素。单调增大/减小检测单元203取像素值 符号改变的检测像素与(在峰值P侧上)紧邻其在其之前的像素之 间的边界作为细线区域的边界。在图36中，细线区域的边界，即像素值符号改变的像素与(在 峰值P侧上)紧邻其在其之前的像素之间的边界，由D表示。如图36中所示，由细线图像已经投影到其中的像素构成的细线 区域F是细线区域边界C与细线区域边界D之间的区域。单调增大/减小检测单元203从由这种单调增大/减小区域构成的 细线区域F中获得长于预先确定阈值的细线区域F，即细线区域F 具有比阈值更多的像素数目。例如，如果阈值为3，单调增大/减小检测单元203检测到包括4个或更多像素的细线区域F。另外，单调增大/减小检测单元203将从这样检测的细线区域F 中的峰值P的像素值、峰值P右侧的像素的像素值、以及峰值P左 侧的像素的像素值，每个与阈值相比较，检测具有这种峰值P的细 线像素区域F，其中峰值P的像素值超过阈值，峰值P右侧的像素 的像素值为阈值或更小、以及峰值P左侧的像素的像素值为阈值或 更小，并取检测的细线区域F作为由包含细线图像分量的像素构成 的区域的候选。换句话说，确定具有这种峰值P的细线区域F，其中峰值P的像 素值为阁值或更小，或者峰值P右侧的像素的像素值超过阈值，或 者峰值P左侧的像素的像素值超过阈值，不包含细线图像的分量， 并且从由包括细线图像分量的像素构成的区域的候选中去除。也就是，如图37中所示，单调增大/减小检测单元203比较峰值 P的像素值与阈值，并且也比较在空间方向X (由虚线AA'表示的方 向)上与峰值P相邻的像素的像素值与阈值，从而检测峰值P所属 的细线区域F，其中峰值P的像素值超过阈值，并且在空间方向X 上与其相邻的像素的像素值等于或小于阚值。图38是说明在由图37中虚线AA，表示的空间方向X上排列的 像素的像素值的图。峰值P所属的细线区域F，其中峰值P的像素 值超过阈值Ths，并且在空间方向X上与其相邻的像素的像素值等于 或小于阈值Ths,包含细线分量。注意，配置可以这样进行，其中单调增大/减小检测单元203以 背景的像素值作为参考，将峰值P的像素值和背景的像素值之间的 差与阈值相比较，并且也将在空间方向X上与峰值P相邻的像素的 像素值和背景的像素值之间的差与阈值相比较，从而检测峰值P所 属的细线区域F，其中峰值P的像素值和背景的像素值之间的差超过 阈值，并且其中在空间方向X上相邻的像素的像素值和背景的像素 值之间的差等于或小于阈值。单调增大/减小检测单元203将指示由以峰值P作为参考像素值单调减小并且像素值的符号与峰值P的相同的像素构成的区域的单
调增大/减小区域信息提供给连续性检测单元204，其中峰值P超过 阈值并且其中峰值P右侧的像素的像素值等于或低于阈值，以及峰 值P左侧的像素的像素值等于或低于阈值。
如果检测在屏幕垂直方向上以单行排列、细线图像已经投影到其 中的像素区域，属于由单调增大/减小区域信息指示的区域的像素在 垂直方向上排列，并且包括细线图像投影到其中的像素。也就是说， 由单调增大/减小区域信息指示的区域包括由在屏幕垂直方向上以单 行排列、细线图像已经投影到其中的像素形成的区域。
这样，峰值检测单元202和单调增大/减小检测单元203使用细 线图像已经投影到其中的像素中，空间方向上像素值的变化近似高斯 分布的特性，检测由细线图像已经投影到其中的像素构成的连续性区 域。
在由垂直方向上排列的像素构成的、由从单调增大/减小检测单 元203提供的单调增大/减小区域信息指示的区域中，连续性检测单 元204检测包括在水平方向上相邻的像素的区域，即具有类似像素值 变化且在垂直方向上重复的区域作为连续区域，并且输出峰值信息和 指示检测的连续区域的数据连续性信息，数据连续性信息包括单调增 大/减小区域信息、指示区域的连接的信息等。
弧形以与细线已经投影到其中的像素相邻的方式以恒定间隔排 列，所以检测的连续区域包括细线已经投影到其中的像素。
检测的连续区域包括孤形以相邻方式以恒定间隔排列、细线已经 投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续 性检测单元204输出指示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用在通过成像细线而获得的数 据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性因现实世 界1中细线图像的连续性而产生，该连续性的特性在长度方向上连 续，以便进一步缩小使用峰值检测单元202和单调增大/减小检测单 元203检测的区域的候选，图39是描述检测单调增大/减小区域的连续性的处理的图。 如图39中所示，如果由在屏幕垂直方向上以单行排列的像素形 成的细线区域F包括在水平方向上相邻的像素，连续性检测单元204 确定在两个单调增大/减小区域之间存在连续性，并且如果不包括在 水平方向上相邻的像素，确定两个细线区域F之间不存在连续性。 例如，如果包含在水平方向上与细线区域F。的像素相邻的像素，由 在屏幕垂直方向上以单行排列的像素构成的细线区域被确定与由 在屏幕垂直方向上以单行排列的像素构成的细线区域Fo连续。如果 包含在水平方向上与细线区域F,的像素相邻的像素，由在屏幕垂直 方向上以单行排列的像素构成的细线区域F。被确定与由在屏幕垂直 方向上以单行排列的像素构成的细线区域Fi连续。
这样，由在屏幕垂直方向上以单行排列、细线图像已经投影到其 中的像素构成的区域由峰值检测单元202至连续性检测单元204检 测。
如上所述，峰值检测单元202至连续性检测单元204检测由在屏 幕垂直方向上以单行排列、细线图像已经投影到其中的像素构成的区 域，并且还检测在屏幕水平方向上以单行排列、细线图像已经投影到 其中的像素构成的区域。
注意，处理顺序并不特别地限制，并且当然可以并行执行。
也就是说，峰值检测单元202对于在屏幕水平方向上以单行排列 的像素，检测具有比位于屏幕上左侧的像素的像素值以及位于屏幕上 右侧的像素的像素值大的像素值的像素作为峰值，并且将指示检测峰 值的位置的峰值信息提供给单调增大/减小检测单元203。峰值检测单 元202从一个图像例如一帧图像中检测 一个或多个峰值。
例如，峰值检测单元202从还没有取作关注像素的一帧图像的像 素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像素 的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素 值，检测像素值大于关注像素左侧的像素的像素值并大于关注像素右 侧的像素的像素值的关注像素，并取该检测的关注像素作为峰值。峰值检测单元202将指示检测峰值的峰值信息提供给单调增大/减小检 测单元203。
存在峰值检测单元202没有检测到峰值的情况。
单调增大/减小检测单元203检测关于由峰值检测单元202检测 的峰值在水平方向上以单行排列、细线图像已经投影到其中的像素构 成的区域的候选，并且将指示检测的区域的单调增大/减小区域信息 与峰值信息一起提供给连续性检测单元204。
更具体地说，单调增大/减小检测单元203检测由以峰值的像素 值作为参考具有单调减小的像素值的像素构成的区域，作为由细线图 像已经投影到其中的像素构成的区域的候选。
例如，单调增大/减小检测单元203对于关于峰值在水平方向上 以单行排列的每个像素，获得每个像素的像素值、关于左侧像素的像 素值的差、以及关于右侧像素的像素值的差。单调增大/减小检测单 元203然后通过检测差符号改变的像素来检测像素值单调减小的区 域。
此外，单调增大/减小检测单元203参考峰值的像素值的符号， 从像素值单调减小的区域中检测由具有与峰值像素值符号相同的像素 值的像素构成的区域，作为由细线图像已经投影到其中的像素构成的 区域的候选。
例如，单调增大/减小检测单元203比较每个像素的像素值的符 号与左侧像素的像素值的符号或右侧像素的像素值的符号，并且检测 像素值符号改变的像素，从而从像素值单调减小的区域中检测由具有 与峰值符号相同的像素值的像素构成的区域。
因此，单调增大/减小检测单元203检测由在水平方向上排列且 具有与峰值符号相同的像素值的像素构成的区域，其中像素值关于峰
值单调减小。
从由这种单调增大/减小区域构成的细线区域中，单调增大/减小 检测单元203获得长于预先设置的阈值的细线区域，即细线区域具有 比阈值更多的像素数目。另外，从这样检测的细线区域中，单调增大/减小检测单元203 将峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的 像素值，每个与阈值相比较，检测这种峰值所属的细线区域，其中峰 值的像素值超过阈值，峰值上方的像素的像素值在阈值内、以及峰值 下方的像素的像素值在阈值内，并取检测的细线区域作为由包含细线 图像分量的像素构成的区域的候选。
另一种说法是，峰值所属的细线区域，其中峰值的像素值在阈值 内，或峰值上方的像素的像素值超过阈值，或峰值下方的像素的像素 值超过阈值，被确定不包含细线图像分量，并且从由包含细线图像分 量的像素构成的区域的候选中去除。
注意，单调增大/减小检测单元203可以配置以取背景像素值作 为参考，将峰值的像素值和背景的像素值之间的差与阈值相比较，并
且也将背景的像素值和在垂直方向上与峰值相邻的像素的像素值之间 的差与阈值相比较，并且取检测的细线区域作为由包含细线图像分量 的像素构成的区域的候选，其中峰值的像素值和背景的像素值之间的 差超过阈值，而背景的像素值和在垂直方向上相邻的像素的像素值之 间的差在阈值内。
单调增大/减小检测单元203将指示由具有与峰值相同的像素值 符号以及关于作为参考的峰值单调减小的像素值的像素构成的区域的 单调增大/减小区域信息提供给连续性检测单元204，其中峰值超过阈 值，并且峰值右侧的像素的像素值在阈值内，以及峰值左侧的像素的 像素值在阈值内。
如果检测在屏幕水平方向上以单行排列、细线图像已经投影到其 中的像素构成的区域，属于由单调增大/减小区域信息指示的区域的 像素包括在水平方向上排列、细线图像已经投影到其中的像素。也就 是说，由单调增大/减小区域信息指示的区域包括由在屏幕水平方向 上以单行排列、细线图像已经投影到其中的像素构成的区域。
在由从单调增大/减小检测单元203提供的单调增大/减小区域信 息中指示的水平方向上排列的像素构成的区域中，连续性检测单元204检测包括在垂直方向上相邻的像素的区域，即具有类似像素值变 化且在水平方向上重复的区域作为连续区域，并且输出指示峰值信息 和检测的连续区域的数据连续性信息。数据连续性信息包括指示区域 的连接的信息。
在细线已经投影到其中的像素处，弧形以相邻方式以恒定间隔排 列，所以检测的连续区域包括细线已经投影到其中的像素。
检测的连续区域包括弧形以相邻方式以恒定间隔排列、细线已经 投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续 性检测单元204输出指示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用在通过成像细线而获得的数 据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性从在长度 方向上连续的现实世界l中细线图像的连续性中产生，以便进一步缩 小由峰值检测单元202和单调增大/减小检测单元203检测的区域的
候选o
因此，数据连续性检测单元101能够检测包含在作为输入图像的 数据3中的连续性。也就是说，数据连续性检测单元101可以检测由 作为已经投影到数据3上的细线的现实世界1图像产生的、包括在数 据3中的数据连续性。数据连续性检测单元101从数据3中检测由作 为细线的现实世界l图像已经投影到其中的像素构成的区域。
图40是说明使用数据连续性检测单元101检测细线图像已经投 影到其中、具有连续性的区域的另一种处理的实例的图。
如图40中所示，数据连续性检测单元101计算每个像素与相邻 像素的像素值差的绝对值.计算的差的绝对值与像素相对应地放置。 例如，在例如图40中所示的情况下，其中排列有具有各自像素值 P0, Pl和P2的像素，数据连续性检测单元101计算差d0-P0-Pl和 差dl=Pl-P2。另外，数据连续性检测单元101计算差d0和差dl的 绝对值。
如果包舍在像素值P0， Pl和P2中的非连续性分量相同，仅与 细线分量相对应的值设置为差d0和差dl。因此，在与像素对应放置的差的绝对值中，如果相邻的差值相
同，数据连续性检测单元101确定与两个差的绝对值相对应的像素
(差的两个绝对值之间的像素)包含细线分量。但是，如果差的绝对
值小，数据连续性检测单元101不需要检测细线。例如，如果差的绝 对值等于或大于阈值，数据连续性检测单元101确定像素包含细线分量。
数据连续性检测单元101也可以使用例如这样的简单方法检测细线。
图41是描述连续性检测处理的流程图。
在步骤S201中，非连续性分量提取单元201从输入图像中提取 非连续性分量，其是除细线已经投影到其中的部分之外的部分。非连 续性分量提取单元201将指示提取的非连续性分量的非连续性分量信 息与输入图像一起提供给峰值检测单元202和单调增大/减小检测单 元203。提取非连续性分量的处理细节将随后描述。
在步骤S202中，峰值检测单元202基于从非连续性分量提取单 元201提供的非连续性分量信息，从输入图像中去除非连续性分量， 以便只留下输入图像中包括连续性分量的像素。此外，在步骤S202 中，峰值检测单元202检测峰值。
也就是说，如果以屏幕的垂直方向作为参考执行处理，在包含连 续性分量的像素中，峰值检测单元202比较每个像素的像素值与上方 和下方像素的像素值，并检测像素值大于上方像素的像素值和下方像 素的像素值的像素，从而检测峰值。同样，在步骤S202中，如果以 屏幕的水平方向作为参考执行处理，在包含连续性分量的像素中，峰 值检测单元202比较每个像素的像素值与右侧和左侧像素的像素值， 并检测像素值大于右侧像素的像素值和左侧像素的像素值的像素，从 而检测峰值。
峰值检测单元202将指示检测的峰值的峰值信息提供给单调增大 /减小检测单元203。
在步骤S203中，单调增大/减小检测单元203基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续 性分量，以便只留下输入图像中包括连续性分量的像素。此外，在步 骤S203中，单调增大/减小检测单元203基于从峰值检测单元202提 供的指示峰值位置的峰值信息，通过检测关于峰值的单调增大/减
小，检测由具有数据连续性的像素构成的区域。
如果以屏幕垂直方向作为参考执行处理，单调增大/减小检测单 元203基于峰值的像素值以及关于峰值垂直排列的一行像素的像素 值，检测由单个细线图像已经投影到其中、垂直排列的一行像素构成 的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。 也就是说，在步骤S203中，如果以屏幕垂直方向作为参考执行处 理，对于峰值以及关于峰值垂直排列的一行像素，单调增大/减小检 测单元203获得每个像素的像素值与上方或下方像素的像素值之间的 差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值垂直 排列的一行像素，单调增大/减小检测单元203比较每个像素的像素 值的符号与上方或下方像素的像素值的符号，从而检测像素值符号改 变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及 峰值右侧和左侧像素的像素值与阈值相比较，并检测由其中峰值的像
的区域。
单调增大/减小检测单元203取这样检测的区域作为单调增大/减 小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供 给连续性检测单元204。
如果以屏幕水平方向作为参考执行处理，单调增大/减小检测单 元203基于峰值的像素值以及关于峰值水平排列的一行像素的像素 值，检测由单个细线图像已经投影到其中、水平排列的一行像素构成 的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。 也就是说，在步骤S203中，如果以屏幕水平方向作为参考执行处 理，对于峰值以及关于峰值水平排列的一行像素，单调增大/减小检 测单元203获得每个像素的像素值与右侧或左侧像素的像素值之间的差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值水平
排列的一行像素，单调增大/减小检测单元203比较每个像素的像素 值的符号与右侧或左侧像素的像素值的符号，从而检测像素值符号改 变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及 峰值上方和下方像素的像素值与阈值相比较，并检测由其中峰值的像
的区域。
单调增大/减小检测单元203取这样检测的区域作为单调增大/减 小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供 给连续性检测单元204。
在步骤S204中，单调增大/减小检测单元203确定是否所有像素 的处理已经结束。例如，非连续性分量提取单元201对于输入图像的 单个屏幕(例如帧、场等)的所有像素检测峰值，并确定是否已经检 测单调增大/减小区域。
如果在步躁S204中确定并不是所有像素的处理都已结束，即还 存在没有经历峰值检测和单调增大/减小区域检测处理的像素，则流 程返回到步骤S202，还没有经历峰值检测和单调增大/减小区域检测 处理的像素选作处理的对象，并且重复峰值检测和单调增大/减小区 域检测的处理。
如果在步骤S204中确定所有像素的处理已经结束，即峰值和单 调增大/减小区域已经关于所有像素而检测，则流程前进到步骤 S205,在那里连续性检测单元204基于单调增大/减小区域信息检测 已检测区域的连续性。例如，如果由单调增大/减小区域信息指示 的、由在屏幕垂直方向上排列的一行像素构成的单调增大/减小区域 包括在水平方向上相邻的像素，则连续性检测单元204确定在两个单 调增大/减小区域之间存在连续性，而如果不包括在水平方向上相邻 的像素，确定在两个单调增大/减小区域之间不存在连续性。例如， 如果由单调增大/减小区域信息指示的、由在屏幕水平方向上排列的 一行像素构成的单调增大/减小区域包括在垂直方向上相邻的像素，则连续性检测单元204确定在两个单调增大/减小区域之间存在连续 性，而如果不包括在垂直方向上相邻的像素，确定在两个单调增大/ 减小区域之间不存在连续性。
连续性检测单元204取检测的连续区域作为具有数据连续性的连 续性区域，并输出指示峰值位置和连续性区域的数据连续性信息。数 据连续性信息包含指示区域的连接的信息。从连续性检测单元204输 出的数据连续性信息指示由现实世界l细线图像已经投影到其中的像 素构成的、作为连续性区域的细线区域。
在步骤S206中，连续性方向检测单元205确定是否所有像素的 处理已经结束。也就是说，连续性方向检测单元205确定区域连续是 否已经关于输入图像某 一 帧的所有像素而检测。
如果在步骤S206中确定并不是所有像素的处理都已结束，即还 存在没有取作区域连续的检测对象的像素，则流程返回到步骤 S205，还没有经历区域连续性检测处理的像素选作处理像素，并且重 复区域连续性检测的处理。
如果在步骤S206中确定所有像素的处理已经结束，即所有像素 都已取作区域连续性检测的对象，则处理结束。
因此，包含在作为输入图像的数据3中的连续性被检测。也就是 说，由已经投影到数据3上的作为细线的现实世界1图像产生的、包 括在数据3中的数据连续性被检测，并且具有数据连续性、由作为细 线的现实世界l图像已经投影到其中的像素构成的区域从数据3中检 测。
现在，其构造如图30中所示的数据连续性检测单元101可以基 于具有从数据3的帧中检测的数据连续性的区域，检测时间方向的数 据连续性。
例如，如图42中所示，连续性检测单元204通过连接帧幷n中具 有检测的数据连续性的区域、帧#11-1中具有检测的数据连续性的区 域、以及帧#11+1中具有检测的数据连续性的区域的边缘，来检测时 间方向的数据连续性。帧#11-1是在时间方向上帧#11之前的帧，而帧#11+1是在时间方向
上帧^n之后的帧。也就是^兌，帧弁n-l、帧#11以及弁n+l以帧#11-1、帧 #n以及#11+1的顺序显示。
更具体地说，在图42中，G表示通过连接帧弁n中具有检测的数 据连续性的区域、帧弁n-l中具有检测的数据连续性的区域、以及帧 #n+l中具有检测的数据连续性的区域的一个边缘而获得的运动矢 量，而G'表示通过连接具有检测的数据连续性的区域的另一个边缘 而获得的运动矢量。运动矢量G和运动矢量G，是时间方向上数据连 续性的实例。
另外，其构造如图30中所示的数据连续性检测单元101可以输 出指示具有数据连续性的区域的长度的信息作为数据连续性信息。
图43是说明非连续性分量提取单元201构造的框图，其执行作 为不具有数据连续性的图像数据部分的非连续性分量的平面近似，并 提取非连续性分量。
其构造如图43中所示的非连续性分量提取单元201从输入图像 中选取由预先确定数目的像素构成的块，执行块的平面近似，使得块 与平面值之间的误差小于预先确定的阈值，从而提取非连续性分量。
输入图像提供给块选取单元221,并且也被输出而不改变。
块选取单元221从输入图像中选取由预先确定数目的像素构成的 块。例如，块选取单元221选取由7x7个像素构成的块，并将其提 供给平面近似单元222。例如，块选取单元221以光栅扫描顺序运动 用作被提取块中心的像素，从而从输入图像中顺序地选取块。
平面近似单元222在预先确定的平面上近似包含在块中的像素的 像素值。例如，平面近似单元222在由表达式(32)表示的平面上近 似包含在块中的像素的像素值。
z = ax + by + c …(32)
在表达式(32)中，x表示在屏幕一个方向(空间方向X)上像 素的位置，而y表示在屏幕另一个方向(空间方向Y)上像素的位 置.z表示由平面表示的应用值.a表示平面的空间方向X的梯度，而b表示平面的空间方向Y的梯度。在表达式(32)中，c表示平面 的偏移量(截距)。
例如，平面近似单元222通过回归处理获得梯度a、梯度b和偏 移量c，从而在由表达式(32)表示的平面上近似包含在块中的像素 的像素值。平面近似单元222通过包括剔除的回归处理获得梯度a、 梯度b和偏离量c，从而在由表达式(32)表示的平面上近似包含在 块中的像素的像素值。
例如，平面近似单元222使用最小二乘法获得由表达式(32)表 示的平面，其中关于块的像素的像素值的误差最小，从而在平面上近 似包含在块中的像素的像素值。
注意，虽然平面近似单元222已被描述为在由表达式(32)表示 的平面上近似块，但是这不局限于由表达式(32)表示的平面，而是 可以在由具有更高自由度的函数，例如n阶多项式(其中n为任意 整数)表示的平面上近似块。
重复确定单元223计算由块的像素值已经近似到其上的平面表示 的近似值与块的像素的相应像素值之间的误差。表达式(33)是显示 误差ei的表达式，该误差是由块的像素值已经近似到其上的平面表 示的近似值与块的像素的相应像素值zi之间的差。
e, 、 " = Zj-(ax,+￡yj+￡) …(33)
在表达式(33)中，z-帽(z上具有A的符号将被描述为z-帽。相
同的描述将在本说明书的下文中使用)表示由块的像素值近似到其上
的平面表示的近似值，a-帽表示块的像素值近似到其上的平面的空间 方向X的梯度，b-帽表示块的像素值近似到其上的平面的空间方向 Y的梯度，以及c-帽表示块的像素值近似到其上的平面的偏移量(截 距)。
重复确定单元223剔除这样的像素，即近似值与块的像素的相应 像素值之间的误差ei最大，如表达式(33)中所示。从而，细线已 经投影到其中的像素，即具有连续性的像素被剔除。重复确定单元 223将指示剔除像素的剔除信息提供给平面近似单元222。另外，重复确定单元223计算标准误差，并且如果标准误差等于 或大于预先设置以确定近似的结束的阈值，且块的像素的一半或更多 像素没有被剔除，则重复确定单元223使得平面近似单元222重复包 含在块中的像素上的平面近似处理，剔除像素已经从其中去除。
具有连续性的像素被剔除，所以在平面上近似剔除像素已经去除 的像素意味着平面近似非连续性分量。
当标准误差小于确定近似结束的阈值，或者块的像素的一半或更 多的像素已被剔除时，重复确定单元223结束平面近似。
对于由5x5个像素构成的块，标准误差es可以用例如表达式
(34)计算。
es=2>i-2)/(n-3)
=2((zi -("i + +￡)}/(n-3) …(34) 这里，n是像素数目。
注意，重复确定单元223并不局限于标准误差，并且可以设置以 对包含在块中的所有像素计算误差平方和，并执行下面的处理。
现在，当块的平面近似在光栅扫描方向上运动一个像素时，如图 44中所示，由附图中黑色圆点指示的、具有连续性的像素，即包含 细线分量的像素，将被多次剔除。
一旦完成平面近似，重复确定单元223输出表示用于近似块的像 素值的平面的信息(表达式32的平面的梯度和截距)作为非连续性 信息。
注意，配置可以这样进行，其中重复确定单元223比较每个像素 剔除的次数与预置的阈值，并取剔除次数等于或大于阈值的像素作为 包含连续性分量的像素，并输出指示包含连续性分量的像素的信息作 为连续性分量信息。在该情况下，峰值检测单元202至连续性方向检 测单元205在由连续性分量信息指示的、包含连续性分量的像素上执 行各自的处理。
剔除次数、近似块的像素的像素值的平面的空间方向X的梯 度、近似块的像素的像素值的平面的空间方向Y的梯度、由近似块的像素的像素值的平面表示的近似值，以及误差ei可以用作输入图 像的特征。
图45是描述使用其构造如图43中所示的非连续性分量提取单元 201提取非连续性分量的处理的流程图，该处理对应于步骤S201。
在步骤S221中，块选取单元221从输入图像中选取由预先确定 数目的像素构成的块，并将选取的块提供给平面近似单元222。例 如，块选取单元221选择还没有被选择的输入图像的像素的一个像 素，并选取以所选像素为中心的7x7个像素构成的块。例如，块选 取单元221可以光栅扫描顺序选择像素。
在步骤S222中，平面近似单元222在平面上近似选取的块。例 如，平面近似单元222通过回归处理在平面上近似选取块的像素的像 素值。例如，平面近似单元222通过回归处理在平面上近似除剔除像 素以外的选取块的像素的像素值。在步骤S223中，重复确定单元 223执行重复确定。例如，重复确定通过从块的像素的像素值和平面 近似值中计算标准误差，并计数剔除像素的数目来执行。
在步骤S224中，重复确定单元223确定标准误差是否等于或大 于阈值，并且如果确定标准误差等于或大于阈值，则流程前进到步骤 S225。
注意，配置可以这样进行，其中重复确定单元223在步骤S224 中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或 大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误 差等于或大于阈值，流程前进到步骤S225。
在步骤S225中，重复确定单元223计算块的每个像素的像素值 与近似的平面近似值之间的误差，剔除具有最大误差的像素，并通知 平面近似单元222。该过程返回到步骤S222,并且平面近似处理和重 复确定处理关于除剔除像素以外的块的像素而重复。
在步骤S225中，如果在步骤S221的处理中选取在光栅扫描方向 上移位一个像素的块，(由附图中黑色圃点指示的)包含细线分量的 像素被剔除多次，如图44中所示。如果在步骤S224中确定标准误差不等于或大于阈值，块已经在 平面上近似，从而流程前进到步骤S226。
注意，配置可以这样进行，其中重复确定单元223在步骤S224 中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或 大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误 差等于或大于阈值，流程前进到步骤S225。
在步骤S226中，重复确定单元223输出用于近似块的像素的像 素值的平面的梯度和截距作为非连续性分量信息。
在步骤S227中，块选取单元221确定是否输入图像一个屏幕的 所有像素的处理都已结束，并且如果确定仍然存在还没有取作处理对 象的像素，则流程返回到步骤S221,块从还没有经历处理的像素中 选取，并重复上面的处理。
如果在步骤S227中确定处理对输入图像一个屏幕的所有像素都 已结束，处理结束。
因此，其构造如图43中所示的非连续性分量提取单元201可以 从输入图像中提取非连续性分量。非连续性分量提取单元201从输入 图像中提取非连续性分量，从而峰值检测单元202和单调增大/减小 检测单元203可以获得输入图像与由非连续性分量提取单元201提取 的非连续性分量之间的差，以便执行关于包含连续性分量的差的处 理。
注意，在执行剔除的情况下的标准误差、在不执行剔除的情况下 的标准误差、像素的剔除次数、平面的空间方向X的梯度(表达式 (32)中的a-帽)、平面的空间方向Y的梯度(表达式(32)中的 b-帽)、平面转移的水平(表达式(32)中的c-帽)、以及输入图像 的像素值与由在平面近似处理中计算的平面表示的近似值之间的差可 以用作特征。
图46是描述与步骤S201相对应的、使用其构造如图43中所示 的非连续性分量提取单元201提取连续性分量的处理，代替提取非连 续性分量的处理的流程图。步骤S241至步骤S245的处理与步骤S221至步骤S225的处理相同，所以其描述将省略。
在步骤S246中，重复确定单元223输出由平面表示的近似值与 输入图像的像素值之间的差作为输入图像的连续性分量。也就是说， 重复确定单元223输出平面近似值与真实像素值之间的差。
注意，重复确定单元223可以配置以输出由平面表示的近似值与 输入图像的像素值之间的差，关于其差等于或大于预先确定预置的像 素的像素值，作为输入图像的连续性分量。
步骤S247的处理与步骤S227的处理相同，因此其描述将省略。
平面近似非连续性分量，所以非连续性分量提取单元201可以通 过从输入图像中每个像素的像素值中减去由近似像素值的平面表示的 近似值，从输入图像中去除非连续性分量。在该情况下，峰值检测单 元202至连续性检测单元204可以只处理输入图像的连续性分量，即 细线图像已经投影到其中的值，从而使用峰值检测单元202至连续性 检测单元204的处理变得更加容易。
图47是描述与步骤S201相对应的、使用其构造如图43中所示 的非连续性分量提取单元201提取连续性分量的另一种处理，代替提 取非连续性分量的处理的流程图。步骤S261至步骤S265的处理与 步骤S221至步骤S225的处理相同，因此其描述将省略。
在步骤S266中，重复确定单元223存储每个像素的剔除次数， 流程返回到步骤S262,并且重复处理。
在步骤S264中，如果确定标准误差不等于或大于阈值，块已经 在平面上近似，所以流程前进到步骤S267，重复确定单元223确定 是否输入图像一个屏幕的所有像素的处理都已结束，并且如果确定仍 然存在还没有取作处理对象的像素，则流程返回到步骤S261，关于 还没有经历处理的像素，选取块，并重复上面的处理。
如果在步骤S267中确定处理对输入困像一个屏幕的所有像素都 已结束，则流程前进到步骤S268,重复确定单元223选择还没有被 选择的像素，并确定所选像素的剔除次数是否等于或大于阈值。例 如，重复确定单元223在步骤S268中确定所选像素的剔除次数是否等于或大于预先存储的阈值。
如果在步骤S268中确定所选像素的剔除次数等于或大于阈值， 则所选像素包含连续性分量，从而流程前进到步骤S269，在那里重 复确定单元223输出所选像素的像素值(输入图像中的像素值)作为 输入图像的连续性分量，并且流程前进到步骤S270。
如果步骤S268中确定所选像素的剔除次数不等于或大于阈值， 则所选像素不包含连续性分量，从而跳过步骤S269中的处理，并且 过程前进到步骤S270。也就是说，不输出已经确定剔除次数不等于 或大于阈值的像素的像素值。
注意，配置可以这样进行，其中重复确定单元223对于已经确定 剔除次数不等于或大于阈值的像素，输出设置为O的像素值。
在步骤S270中，重复确定单元223确定是否输入图像一个屏幕 的所有像素的处理都已结束，以确定剔除次数是否等于或大于阈值， 并且如果确定处理并不是对所有像素都已结束，这意味着仍然存在还 没有取作处理对象的像素，从而流程返回到步骤S268，选择还没有 经历处理的像素，并重复上面的处理。
如果在步骤S270中确定处理对输入图像一个屏幕的所有像素都 已结束，处理结束。
因此，输入图像的像素中，非连续性分量提取单元201可以输出 包含连续性分量的像素的像素值作为连续性分量信息。也就是说，输 入图像的像素中，非连续性分量提取单元201可以输出包含细线图像 的分量的像素的像素值.
图48是描述与步骤S201相对应的、使用其构造如图43中所示 的非连续性分量提取单元201提取连续性分量的再一种处理，代替提 取非连续性分量的处理的流程图，步骤S281至步骤S288的处理与 步骤S261至步骤S268的处理相同，因此其描述将省略。
在步猓S289中，重复确定单元223输出由平面表示的近似值与 所选像素的像素值之间的差作为输入图像的连续性分量。也就是说， 重复确定单元223输出非连续性分量已经从输入图像中去除的图像作为连续性信息。
步骤S290的处理与步骤S270的处理相同，因此其描述将省略。 因此，非连续性分量提取单元201可以输出非连续性分量已经从 输入图像中去除的图像作为连续性信息。
如上所述，在真实世界光信号被投影，真实世界光信号的一部分 连续性已经丟失的第一图像数据的多个像素的像素值的非连续性部分 被检测，数据连续性从检测的非连续性部分中检测，近似光信号的模 型(函数)通过基于检测的数据连续性估计真实世界光信号的连续性 而产生，并且第二图像数据基于产生的函数而产生的情况下，关于真 实世界中的事件更准确且具有更高精度的处理结果可以获得。 图49是说明数据连续性检测单元101的另一种构造的框图。 使用其构造如图49中所示的数据连续性检测单元101，关注像 素的像素值的变化，该关注像素是输入图像的空间方向上的关注像 素，即输入图像的空间方向上的活动性被检测，由垂直方向上一行中
或水平方向上一行中的预先确定数目的像素构成的多组像素对于基于 关注像素和根据检测活动性的参考轴的每个角度而选取，选取的像素
组的相关性被检测，并且基于输入图像中参考轴的数据连续性的角度 基于相关性而检测。
数据连续性的角度意思是由参考轴以及恒定特性在数据3中重复 出现的预先确定维度方向所成的角度。恒定特性重复出现意思是例如 数据3中关于位置改变的值的变化，即横截面形状相同等。
参考轴可以是例如指示空间方向X (屏幕的水平方向)的轴、指 示空间方向Y (屏幕的垂直方向)的轴等。
输入图像提供给活动性检测单元401和数据选择单元402。
活动性检测单元401检测关于输入图像空间方向的像素值的变 化，即空间方向上的活动性，并将指示检测结果的活动性信息提供给 数据选择单元402和连续性方向推导单元404。
例如，活动性检测单元401检测关于屏幕水平方向的像素值的变 化和关于平面垂直方向的像素值的变化，并比较检测的水平方向上像素值的变化和垂直方向上像素值的变化，从而检测是否与垂直方向上 像素值的变化相比较水平方向上像素值的变化较大，或者是否与水平 方向上像素值的变化相比较垂直方向上像素值的变化较大。
活动性检测单元401将活动性信息提供给数据选择单元402和连 续性方向推导单元404，该活动性信息是指示与垂直方向上像素值的 变化相比较水平方向上像素值的变化较大，或者与水平方向上像素值 的变化相比较垂直方向上像素值的变化较大的检测结果。
如果与垂直方向上像素值的变化相比较水平方向上像素值的变化 较大，例如图50所示，弧形(半盘形)或爪形在垂直方向上的一行 像素上形成，并且弧形或爪形在垂直方向上多次重复地形成。也就是 说，如果与垂直方向上像素值的变化相比较水平方向上像素值的变化 较大，取参考轴为表示空间方向X的轴，输入图像中基于参考轴的 数据连续性的角度是45~卯度的任意值。
如果与水平方向上像素值的变化相比较垂直方向上像素值的变化 较大，弧形或爪形在水平方向上的一行像素上形成，并且弧形或爪形 在水平方向上多次重复地形成。也就是说，如果与水平方向上像素值 的变化相比较垂直方向上像素值的变化较大，取参考轴为表示空间方 向X的轴，输入图像中基于参考轴的数据连续性的角度是0~45度的 任意值。
例如，活动性检测单元401从输入图像中选取由以关注像素为中 心的3x3的9个像素构成的块，如图51中所示。活动性检测单元 401计算关于垂直相邻像素的像素值的差的和、以及关于水平相邻像 素的像素值的差的和。关于水平相邻像素的像素值的差的和hdiff可以 用表达式(35)获得。
<formula>formula see original document page 73</formula> …(35)
同样地，关于垂直相邻像素的像素值的差的和v础可以用表达式 (36)获得。
<formula>formula see original document page 73</formula> …(36)
在表达式(35)和表达式(36)中，P表示像素值，i表示水平方向上像素的位置，以及j表示垂直方向上像素的位置。
配置可以这样进行，其中活动性检测单元401比较计算的关于水 平相邻像素的像素值的差的和hdiff与关于垂直相邻像素的像素值的差 的和vdiff，以便确定输入图像中基于参考轴的数据连续性的角度范 围。也就是说，在该情况下，活动性检测单元401确定由关于空间方 向上位置的像素值的变化所指示的形状是在水平方向上重复形成，还 是在垂直方向上重复形成。
例如，关于在一水平行中的像素上形成的弧形水平方向上像素值 的变化大于垂直方向上像素值的变化，关于在一垂直行中的像素上形 成的弧形垂直方向上像素值的变化大于水平方向上像素值的变化，并 且可以说，数据连续性的方向，即作为数据3的输入图像具有的恒定 特征的预先确定维度方向的变化与数据连续性的正交方向上的变化相 比较较小。换句话说，与数据连续性方向正交的方向(以下也称作非 连续性方向)的差与数据连续性方向上的差相比较较大。
例如，如图52中所示，活动性检测单元401比较计算的关于水 平相邻像素的像素值的差的和hd附与关于垂直相邻像素的像素值的差 的和vdiff，并且如果关于水平相邻像素的像素值的差的和hdiff较大， 确定基于参考轴的数据连续性的角度是45~135度的任意值，而如果
关于垂直相邻像素的像素值的差的和Vdiff较大，确定基于参考轴的数
据连续性的角度是0 45度的任意值、或135 180度的任意值。
例如，活动性检测单元401将指示确定结果的活动性信息提供给
数据选择单元402和连续性方向推导单元404。
注意，活动性检测单元401可以通过选取任意大小的块，例如由
5x5的25个像素构成的块、由7x7的49个像素构成的块等来检测活动性。
数据选择单元402从输入图像的像素中顺序选择关注像素，并基 于从活动性检测单元401提供的活动性信息，对于基于关注像素和参 考轴的每个角度，选取由垂直方向上一行中或水平方向上一行中的预 先确定数目的像素构成的多组像素。例如，如果活动性信息指示与垂直方向上像素值的变化相比较水
平方向上像素值的变化较大，这意味着数据连续性角度是45-135度 的任意值，所以数据选择单元402对于基于关注像素和参考轴的 45 135度范围内的每个预先确定角度，选取由垂直方向上一行中的 预先确定数目的像素构成的多组像素。
如果活动性信息指示与水平方向上像素值的变化相比较垂直方向 上像素值的变化较大，这意味着数据连续性角度是0~45度或 135-180度的任意值，所以数据选择单元402对于基于关注像素和参 考轴的0 45度或135~180度范围内的每个预先确定角度，选取由水 平方向上一行中的预先确定数目的像素构成的多组像素。
而且，例如，如果活动性信息指示数据连续性的角度是45~135 度的任意值，数据选择单元402对于基于关注像素和参考轴的 45~135度范围内的每个预先确定角度，选取由垂直方向上一行中的 预先确定数目的像素构成的多组像素。
如果活动性信息指示数据连续性的角度是0~45度或135 180度 的任意值，数据选择单元402对于基于关注像素和参考轴的0~45度 或135 180度范围内的每个预先确定角度，选取由水平方向上一行中 的预先确定数目的像素构成的多组像素。
数据选择单元402将由选取像素构成的多组提供给误差估计单元
403。
误差估计单元403检测相对于多组选取像素的每个角度的像素組 的相关性。
例如，关于与一个角度相对应的、由垂直方向上一行中的预先确 定数目的像素构成的多组像素，误差估计单元403检测在像素组的相 应位置处像素的像素值的相关性。关于与一个角度相对应的、由水平 方向上一行中的预先确定数目的像素构成的多组像素，误差估计单元 403检测在组的相应位置处像素的像素值的相关性。
误差估计单元403将指示检测的相关性的相关性信息提供给连续 性方向推导单元404。误差估计单元403计算从数据选择单元402提供的包括关注像素的一组像素的像素值的和作为指示相关性的值，以 及在其它组中相应位置处像素的像素值的差的绝对值，并将差的绝对
值的和作为相关性信息提供给连续性方向推导单元404。
基于从误差估计单元403提供的相关性信息，连续性方向推导单 元404检测输入图像中基于参考轴的数据连续性角度，其对应于现实 世界l的光信号的丢失连续性，并输出指示角度的数据连续性信息。 例如，基于从误差估计单元403提供的相关性信息，连续性方向推导 单元404检测与具有最大相关性的像素组相对应的角度作为数据连续 性角度，并输出指示与已经检测的具有最大相关性的像素组相对应的 角度的数据连续性信息。
下面将描述0~90度(所谓第一象限)范围内的数据连续性角度 的检测。
图53是说明图49中所示数据连续性检测单元101的更详细构造 的框图。
数据选择单元402包括像素选择单元411-1至像素选择单元"1-L。误差估计单元403包括估计误差计算单元412-1至估计误差计算 单元412-L。连续性方向推导单元404包括最小误差角度选择单元 413。
首先，将描述如果由活动性信息指示的数据连续性角度是 45 135度的任意值，像素选择单元411-1至像素选择单元411-L的 处理。
像素选择单元411-1至像素选择单元411-L设置经过关注像素的 相互不同预先确定角度的直线，以指示空间方向X的轴作为参考 轴。像素选择单元411-1至像素选择单元411-L选择，属于关注像素 所属垂直行像素的像素中，关注像素上方的预先确定数目的像素、关 注像素下方的预先确定数目的像素以及关注像素作为一組。
例如，如图54中所示，像素选择单元411-1至像素选择单元 411-L从属于关注像素所属垂直行像素的像素中，选择以关注像素为 中心的9个像素作为一组像素。在图54中， 一个格形方块(一格)表示一个像素。在图54中， 中心处所示的圆形表示关注像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属 垂直行像素左侧的垂直行像素的像素中，选择最接近为每个而设置的 直线的位置处的像素。在图54中，关注像素左下方的圃形表示所选 像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于 关注像素所属垂直行像素左侧的垂直行像素的像素中，选择所选像素
上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以 及所选像素作为一组像素。
例如，如图54中所示，像素选择单元411-1至像素选择单元 411-L从属于关注像素所属垂直行像素左侧的垂直行像素的像素中， 选择以最接近直线的位置处的像素为中心的9个像素作为一 组像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属 垂直行像素次左侧的垂直行像素的像素中，选择最接近为每个而设置 的直线的位置处的像素。在图54中，远处左边的圆形表示所选像素 的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注 像素所属垂直行像素次左侧的垂直行像素的像素中，选择所选像素上 方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及 所选像素作为一组像素。
例如，如闺54中所示，像素选择单元411-1至像素选择单元 411-L从属于关注像素所属垂直行像素次左侧的垂直行像素的像素 中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属 垂直行像素右侧的垂直行像素的像素中，选择最接近为每个而设置的 直线的位置处的像素.在图54中，关注像素右上方的圃形表示所逸 像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于 关注像素所属垂直行像素右侧的垂直行像素的像素中，选择所选像素 上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一組像素。
例如，如图54中所示，像素选择单元411-1至像素选择单元 "1-L从属于关注像素所属垂直行像素右侧的垂直行像素的像素中， 选择以最接近直线的位置处的像素为中心的9个像素作为 一组像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属 垂直行像素次右侧的垂直行像素的像素中，选择最接近为每个而设置 的直线的位置处的像素。在图54中，远处右边的圆形表示所选像素 的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注 像素所属垂直行像素次右侧的垂直行像素的像素中，选择所选像素上 方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及 所选像素作为一组像素。
例如，如图54中所示，像素选择单元411-1至像素选择单元 411-L从属于关注像素所属垂直行像素次右侧的垂直行像素的像素 中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。
从而，像素选择单元411-1至像素选择单元411-L每个选择五组 像素。
像素选择单元411-1至像素选择单元411-L为相互不同的角度 (设置为相互不同角度的直线)选择像素组。例如，像素选择单元 411-1选择关于45度的像素组，像素选择单元411-2选择关于47.5 度的像素组，以及像素选择单元411-3选择关于50度的像素组。像 素选择单元411-4至像素选择单元411-L选择关于从52.5度至l35 度的每2.5度的角度的像素组。
注意，像素组的数目是可选数目，例如3或7，而不限制本发 明。而且，选作一组的像素数目是可选数目，例如5或13，而并不 限制本发明。
注意，像素选择单元411-1至像素选择单元411-L可以配置以从 垂直方向上预先确定范围内的像素中选择像素组。例如，像素选择单 元411-1至像素选择单元411-L可以从垂直方向上的121个像素(关注像素上方的60个像素和下方的60个像素)中选择像素组。在该情 况下，数据连续性检测单元101可以检测关于表示空间方向X的轴 高达88.09度的数据连续性的角度。
像素选择单元411-1将所选像素组提供给估计误差计算单元412-1，并且像素选择单元411-2将所选像素组提供给估计误差计算单元 412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将 所选像素组提供给每个估计误差计算单元412-3至估计误差计算单元 412-L。
估计误差计算单元412-1至估计误差计算单元412-L检测从像素 选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的 像素的像素值的相关性。例如，估计误差计算单元412-1至估计误差 计算单元412-L计算包含关注像素的组的像素的像素值与从像素选择 单元411-1至像素选择单元411-L的一个提供的另一组中相应位置处 像素的像素值之间的差的绝对值的和，作为指示相关性的值。
更具体地说，基于包含关注像素的组的像素的像素值，以及从像 素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注 像素左侧一垂直行像素的像素构成的组的像素的像素值，估计误差计 算单元412-1至估计误差计算单元412-L计算最顶端像素的像素值的 差，然后计算次顶端像素的像素值的差等等，以便计算从顶端像素开 始顺序的像素值的差的绝对值，进一步计算所计算的差的绝对值的 和。基于包含关注像素的组的像素的像素值，以及从像素选择单元
411- 1至像素选择单元411-L的一个提供的、由属于关注像素次左侧 一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元
412- 1至估计误差计算单元412-L计算从顶端像素开始顺序的像素值 的差的绝对值，并计算所计算的差的绝对值的和。
然后，基于包含关注像素的组的像素的像素值，以及从像素选择 单元411-1至像素选择单元411-L的一个提供的、由属于关注像素右 侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元 412-1至估计误差计算单元412-L计算最顶端像素的像素值的差，沐后计算次顶端像素的像素值的差等等，以便计算从顶端像素开始顺序 的像素值的差的绝对值，进一步计算所计算的差的绝对值的和。基于
包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像 素选择单元411-L的一个提供的、由属于关注像素次右侧一垂直行像 素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计 误差计算单元412-L计算从顶端像素开始顺序的像素值的差的绝对 值，并计算所计算的差的绝对值的和。
估计误差计算单元412-1至估计误差计算单元412-L将这样计算 的像素值差的绝对值的和全部加起来，从而计算像素值的差的绝对值 的总计.
估计误差计算单元412-1至估计误差计算单元412-L将指示检测 的相关性的信息提供给最小误差角度选择单元413。例如，估计误差 计算单元412-1至估计误差计算单元412-L将计算的像素值差的绝对 值的总计提供给最小误差角度选择单元413。
注意，估计误差计算单元412-1至估计误差计算单元412-L并不 局限于像素值差的绝对值的和，同样可以计算其它值作为相关性值， 例如像素值的平方差的和、或基于像素值的相关性系数等。
最小误差角度选择单元413基于由估计误差计算单元412-1至估 计误差计算单元412-L关于相互不同角度检测的相关性，检测输入图 像中基于参考轴的数据连续性角度，其对应于作为丢失的现实世界1 光信号的图像的连续性。也就是说，基于由估计误差计算单元412-1 至估计误差计算单元412-L关于相互不同角度检测的相关性，最小误 差角度选择单元413选择最大相关性，并取所选相关性关于其检测的 角度作为基于参考轴的数据连续性角度，从而检测输入图像中基于赉 考轴的数据连续性角度。
例如，在从估计误差计算单元412-1至估计误差计算单元412-L 提供的像素值差的绝对值的总计中，最小误差角度选择单元413选择 最小总计。关于所选总计被计算的像素值，最小误差角度选择单元 413参考属于关注像素次左侧一垂直行像素并且位于距离直线最近像素位置处的像素，以及属于关注像素次右侧 一垂直行像素并且位于距 离直线最近像素位置处的像素。
如图54中所示，最小误差角度选择单元413获得参考像素位置 与关注像素位置在垂直方向上的距离S。如图55中所示，最小误差 角度选择单元413从表达式(37)中检测作为图像数据的输入图像中
基于作为参考轴的指示空间方向x的轴的数据连续性的角度e，其对
应于丟失的现实世界1光信号连续性。 2 …(37)
接下来，将描述如果由活动性信息指示的数据连续性角度是
0~45度和135~180度的任意值，像素选择单元411-1至像素选择单 元411-L的处理。
像素选择单元411-1至像素选择单元411-L设置经过关注像素的 预先确定角度的直线，以指示空间方向X的轴作为参考轴，并且从 属于关注像素所属水平行像素的像素中，选择关注像素左侧的预先确 定数目的像素、关注像素右侧的预先确定数目的像素以及关注像素作 为一个像素组。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属 水平行像素上方的水平行像素的像素中，选择最接近为每个而设置的 直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然 后从属于关注像素所属水平行像素上方的水平行像素的像素中，选择 所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目 的像素以及所选像素作为一个像素組。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属 水平行像素次上方的水平行像素的像素中，选择最接近为每个而设置 的直线的位置处的像素，像素选择单元411-1至像素选择单元411-L 然后从属于关注像素所属水平行像素次上方的水平行像素的像素中， 选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定 数目的像素以及所选像素作为一个像素组。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素下方的水平行像素的像素中，选择最接近为每个而设置的
直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然 后从属于关注像素所属水平行像素下方的水平行像素的像素中，选择 所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目 的像素以及所选像素作为 一个像素组。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属 水平行像素次下方的水平行像素的像素中，选择最接近为每个而设置 的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L 然后从属于关注像素所属水平行像素次下方的水平行像素的像素中， 选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定 数目的像素以及所选像素作为一个像素组。
从而，像素选择单元411-1至像素选择单元411-L每个选择五组 像素。
像素选择单元411-1至像素选择单元411-L为相互不同的角度选 择像素组。例如，像素选择单元411-1选择关于0度的像素组，像素 选择单元411-2选择关于2.5度的像素组，以及像素选择单元411-3 选择关于5度的像素组。像素选择单元411-4至像素选择单元411-L 选择关于从7.5度至45度和从135度至180度的每2.5度的角度的像 素組。
像素选择单元411-1将所选像素组提供给估计误差计算单元 1,并且像素选择单元411-2将所选像素组提供给估计误差计算单元 412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将 所选像素纽提供给每个估计误差计算单元412-3至估计误差计算单元 412-L。
估计误差计算单元412-1至估计误差计算单元412-L检测从像素 选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的 像素的像素值的相关性。估计误差计算单元4U-1至估计误差计算单 元412-L将指示检测的相关性的信息提供给最小误差角度选择单元 413,最小误差角度选择单元413基于由估计误差计算单元412-1至估 计误差计算单元412-L检测的相关性，检测输入图像中基于参考轴的 数据连续性角度，其对应于作为丢失的现实世界1光信号的图像的连 续性。
接下来，将参考图56中的流程图描述其构造如图49中所示的数 据连续性检测单元101的处理，该处理对应于步骤S101中的处理。
在步骤S401中，活动性检测单元401和数据选择单元402从输 入图像中选择作为关注像素的关注像素。活动性检测单元401和数据 选择单元402选择同一个关注像素。例如，活动性检测单元401和数 据选择单元402以光栅扫描顺序从输入图像中选择关注像素。
在步骤S402中，活动性检测单元401检测关于关注像素的活动
性。例如，活动性检测单元401基于在由以关注像素为中心的预先确
定数目的像素构成的块的垂直方向上排列的像素的像素值的差，以及 在水平方向上排列的像素的像素值的差来检测活动性。
活动性检测单元401检测关于关注像素在空间方向上的活动性，
并将指示检测结果的活动性信息提供给数据选择单元402和连续性方
向推导单元404。
在步骤S403中，数据选择单元402从包括关注像素的一行像素 中选择以关注像素为中心的预先确定数目的像素作为一个像素組。例 如，数据选择单元402选择关注像素上方或左侧的预先确定数目的像 素、关注像素下方或右侧的预先确定数目的像素，其是属于关注像素 所属水平或垂直行像素的像素，以及关注像素，作为一个像素組。
在步骤S404中，数据选择单元402对于基于由步骤S训2的处理 检测的活动性的预先确定范围内的每个角度，从预先确定数目的像素 行中选择每个预先确定数目的像素作为一个像素組。例如，数据选择 单元402设置具有预先确定范围内的角度、经过关注像素的直线，以 指示空间方向X的轴作为参考轴，选择在水平方向或垂直方向上距 离关注像素一行或两行并且离直线最近的像素，并且选择所选像素上 方或左侧的预先确定数目的像素、所选像素下方或右侧的预先确定数目的像素、以及最接近直线的所选像素作为一个像素组。数据选择单
元402对每个角度选择像素组。
数据选择单元402将所选像素组提供给误差估计单元403。 在步骤S405中，误差估计单元403计算以关注像素为中心的像
素组与为每个角度所选的像素组之间的相关性。例如，误差估计单元
403对于每个角度计算包括关注像素的组的像素的像素值与在其它组
中相应位置处像素的像素值的差的绝对值的和，
数据连续性的角度可以基于为每个角度选择的像素组之间的相关
性来检测。
误差估计单元403将指示计算的相关性的信息提供给连续性方向 推导单元404。
在步骤S406中，基于在步骤S405的处理中计算的相关性，从具 有最强相关性的像素组的位置，连续性方向推导单元404检测作为图 像数据的输入图像中基于参考轴的数据连续性角度，其对应于丢失的 现实世界l光信号连续性。例如，连续性方向推导单元404选择像素 值的差的绝对值的总计中的最小总计，并从所选总计关于其计算的像
素组的位置中检测数据连续性角度e。
连续性方向推导单元404输出指示已经检测的数据连续性的角度
的数据连续性信息。
在步骤S407中，数据选择单元402确定是否所有像素的处理都 已结束，并且如果确定所有像素的处理还没有结束，则流程返回到步 骤S401，关注像素从还没有取作关注像素的像素中选择，并重复上 述处理。
如果在步骤S407中确定所有像素的处理都已结束，处理结束。 因此，数据连续性检测单元101可以检测图像数据中基于参考轴 的数据连续性角度，其对应于丢失的现实世界l光信号连续性。
注意，配置可以这样进行，其中其构造如图49中所示的数据连 续性检测单元101关于作为关注帧的关注帧中作为关注像素的关注像 素，检测输入图像的空间方向上的活动性；根据检测的活动性，对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从关注帧中 以及从在时间方向上在关注帧之前或之后的每个帧中选取由垂直方向 上一行或水平方向上一行中的预先确定数目的像素构成的多个像素
组；检测选取的像素组的相关性；以及基于该相关性，检测输入图像 中时间方向和空间方向上的数据连续性角度。
例如，如图57中所示，数据选择单元402根据检测的活动性， 对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从作为 关注帧的帧弁n、帧^n-l以及帧#11+1中选取由垂直方向上一行或水平 方向上一行中的预先确定数目的像素构成的多个像素组。
帧弁n-l是时间方向上桢#11之前的帧，而帧弁n+l是时间方向上帧 幷n之后的帧。也就是说，帧^n-l、帧#11和帧#11+1以帧#11-1、帧#11和 帧弁n+l的顺序显示.
误差估计单元403关于已经选取的多组像素检测每个单个角度和 单个运动矢量的像素组的相关性。连续性方向推导单元404基于像素 组的相关性检测输入图像中时间方向和空间方向上的数据连续性角 度，其对应于丢失的现实世界l光信号连续性，并输出指示角度的数 据连续性信息。
接下来，将参考图58至图88描述现实世界估计单元102 (图 3)的另一种实施方案实例。
图58是描述本实施方案实例的原理的图。
如图58中所示，现实世界1中的信号(光强分配)，其是投射 到传感器2上的图像，用预先确定的函数F表示。注意以下，对于 该实施方案实例的描述，用作现实世界l中图像的信号特别地称作光 信号，并且函数F特别地称作光信号函数F。
对于该实施方案实例，如果用光信号函数F表示的现实世界1中 的光信号具有预先确定的连续性，现实世界估计单元102通过用使用 来自传感器2的输入图像(包括与连续性相对应的数据连续性的图像 数据)，以及来自数据连续性检测单元101的数据连续性信息(与输 入图像数据的连续性相对应的数据连续性信息)的预先确定函数f近似光信号函数F来估计光信号函数F。注意对于该实施方案实例的描
述，以下，函数f特别地称作近似函数f。
换句话说，对于该实施方案实例，现实世界估计单元102使用由
近似函数f表示的模型161 (图4)近似(描述)由光信号函数F表
示的图像(现实世界l中的光信号)。因此，以下，该实施方案实例
称作函数近似方法。
现在，在进入函数近似方法的具体描述之前，将描述本申请已经
发明的函数近似方法的背景。
图59是描述在传感器2看作CCD的情况下的积分效应的图。 如图59中所示，多个检测元件2-l布置在传感器2的平面上。 对于图59中的实例，平行于检测元件2-1的预先确定边的方向
取作作为空间方向中的一个方向的X方向，并且与X方向正交的方
向取作作为空间方向中的另一个方向的Y方向。而且，与X-Y平面
垂直的方向取作用作时间方向的方向t。
而且，对于图59中的实例，传感器2的每个检测元件2-1的空
间形状用一边长度为1的正方形表示。传感器2的快门时间(曝光时
间)用l表示。
此外，对于图59中的实例，传感器2的一个检测元件2-1的中 心取作空间方向(X方向和Y方向)上的原点(X方向上位置x-O， 并且Y方向上y-0)，并且膝光时间的中间时间点取作时间方向(t 方向)上的原点(t方向上位置t-O)。
在该情况下，其中心在空间方向上原点(x-0， y=0)的检测元 件2-1使得光信号函数F(x，y，t)经历X方向上-0,5~0.5的范围，Y方向 上-0.5~0.5的范围，以及t方向上-0.5~0.5的范围的积分，并且输出 其积分值作为像素值P。
也就是说，从其中心位于空间方向上原点的检测元件2-1输出的 像素值P用下面的表达式(38)表示。
<formula>formula see original document page 86</formula>...(38)
其他检测元件2-1同样地也通过取主体检测元件2-1的中心为空间方向上的原点来输出表达式(38)中所示的像素值P。 图60是描述传感器2的积分效应的特定实例的图。 在图60中，X方向和Y方向代表传感器2的X方向和Y方向 (图59 )。
现实世界1中光信号的部分2301 (以下，这种部分称作区域) 代表具有预先确定连续性的区域的实例。
注意，区域2301是连续的光信号的部分(连续区域)。另一方 面，在图60中，区域2301显示为实际上划分成20个小区域(正方 形区域)。这是因为表示区域2301的大小相当于X方向上传感器2 的四个检测元件(像素)，以及Y方向上传感器2的五个检测元件 (像素)排列于其中的大小。也就是说，区域2301中的20个小区域 (可视区域)的每个相当于一个像素。
而且，区域2301内附图中所示白色部分表示与细线相对应的光 信号。因此，区域2301具有细线连续的方向上的连续性。以下，区 域2301称作包含细线的现实世界区域2301。
在该情况下，当包含细线的现实世界区域2301 (现实世界1中 光信号的一部分)由传感器2检测时，输入图像(像素值)的区域 2302 (以下，它称作包含细线的数据区域2302)因积分效应从传感 器2输出。
注意，包含细线的数据区域2302的每个像素在附图中表示为图 像，但是实际上是代表预先确定值的数据。也就是说，包含细线的现 实世界区域2301由传感器2的积分效应而变成(畸变)包含细线的 数据区域2302,其划分成每个具有预先确定像素值的20个像素(X 方向上4个像素且Y方向上5个像素的总共20个像素)。
图61是描述传感器2的积分效应的另一个特定实例(不同于图 60的实例)的图。
在图61中，X方向和Y方向代表传感器2的X方向和Y方向
(图59)。
现实世界1中光信号的部分(区域)2303代表具有预先确定连续性的区域的另一个实例(不同于图60中包含细线的现实世界区域 2301的实例)。
注意，区域2303是与包含细线的现实世界区域2301具有相同大 小的区域。也就是说，区域2303实际上与包含细线的现实世界区域 2301 —样，也是现实世界1中的连续光倌号的一部分(连续区 域)，但是在图61中显示为划分成20个相当于传感器2—个像素的 小区域(正方形区域)。
而且，区域2303包括具有预先确定第一光强(值)的第一部 分，以及具有预先确定第二光强(值)的第二部分边缘。因此，区域 2303具有边缘连续的方向上的连续性。以下，区域2303称作包含二 值边缘的现实世界区域2303。
在该情况下，当包含二值边缘的现实世界区域2303 (现实世界1 中光信号的一部分)由传感器2检测时，输入图像(像素值)的区域 2304 (以下，称作包含二值边缘的数据区域2304)因积分效应从传 感器2输出。
注意，包含二值边缘的数据区域2304的每个像素值与包含细线 的数据区域2302 —样在附图中表示为图像，但是实际上是代表预先 确定值的数据。也就是说，包含二值边缘的现实世界区域2303由传 感器2的积分效应而变成(畸变)包含二值边缘的数据区域2304， 其划分成每个具有预先确定像素值的20个像素(X方向上4个像素 且Y方向上5个像素的总共20个像素)。
常规图像处理设备已经将从传感器2输出的图像数据，例如包含 细线的数据区域2302,包含二值边缘的数据区域2304等看作原点 (基础)，并且也使得图像数据经历随后的图像处理。也就是说，尽 管从传感器2输出的图像数据已经因积分效应而变成(畸变)不同于 现实世界l中光信号的数据，常规图像处理设备基于不同于现实世界 1中光信号的数据是正确的假设而执行图像处理。
结果，常规图像处理设备提出一个问题，即基于现实世界中其细 节在图像数据从传感器2输出的阶段畸变的波形，非常难以从波形中恢复原始细节。
因此，对于函数近似方法，为了解决该问题，如上所述(图58 中所示)，现实世界估计单元102通过用基于从传感器2输出的图像 数据(输入图像)例如包含细线的数据区域2302和包含二值边缘的 数据区域2304的近似函数f近似光信号函数F (现实世界1中的光 信号)来估计光信号函数F。
因此，在现实世界估计单元102随后的阶段(在该情况下，图3 中的图像生成单元103)，处理可以通过取已经考虑积分效应的图像 数据，即可以用近似函数f表示的图像数据作为原点来执行。
以下，将参考附图独立地描述这种函数近似方法的三种具体方法 (第一至笫三函数近似方法)。
首先，将参考图62至图76描述第一函数近似方法。
图62是再次表示上述图60中所示包含细线的现实世界区域 2301的图。
在图62中，X方向和Y方向代表传感器2的X方向和Y方向 (图59 )。
第一函数近似方法是使用例如用作n维(n是任意整数)多项式 的近似函数f(x)近似一维波形(以下，这种波形称作X橫截面波形 F(x))的方法，其中与例如图62中所示包含细线的现实世界区域 2301相对应的光信号函数F(x，y，t)在X方向(附图中箭头2311的方 向)上投影。因此，以下，第一函数近似方法特别地称作一维近似函 数。
注意，对于一维近似方法，将被近似的X横截面波形F(x)当然 并不局限于与图62中包含细线的现实世界区域2301相对应的波形。 也就是说，如随后描述的，对于一维近似方法，任意波形可以被近似 只要X橫截面波形F(x)对应于具有连续性的现实世界1中的光信 号。
而且，光信号函数F(x，y，t)的投影方向并不局限于X方向，Y方 向或t方向可以使用。也就是说，对于一维近似方法，光信号函数F(x，y，t)在Y方向上投影的函数F(y)可以用预先确定的近似函数f(y) 近似，或者光信号函数F(x，y，t)在t方向上投影的函数F(t)可以用预 先确定的近似函数f(t)近似。
更具体地说， 一维近似方法是使用用作例如下面表达式(39)中 所示的n维多项式的近似函数f(x)来近似X横截面波形F(x)的方 法。
/(x) = w0 + w!x+ w2:t2 +…+ H^X" = ^vv,V …(39)
也就是说，对于一维近似方法，现实世界估计单元102通过计算 表达式(39)中xi的系数(特征)Wi来估计X横截面波形F(x)。
特征Wi的该计算方法并不局限于特定的方法，例如下面第一至 第三方法可以使用。
也就是说，第一方法是到目前为止已经使用的方法。
另一方面，第二方法是本申请者最新发明的方法，其是关于第一 方法考虑空间方向上连续性的方法。
但是，如随后描述的，对于第一和第二方法，传感器2的积分效 应没有考虑。因此，通过将由第一方法或第二方法计算的特征Wj代 入上面表达式(39)而获得的近似函数f(x)是关于输入图像的近似函 数，但是严格地说，不能称作X橫截面波形F(x)的近似函数。
因此，本申请者发明了关于第二方法进一步考虑传感器2积分效 应的计算特征Wi的第三方法。通过将使用该第三方法计算的特征Wi 代入上面表达式(39)而获得的近似函数f(x)可以称作X横截面波形 F(x)的近似函数，因为传感器2的积分效应被考虑。
因此，严格地说，第一方法和第二方法不能称作一维近似方法， 而只有第三方法可以称作一维近似方法。
换句话说，如图63中所示，第二方法不同于一维近似方法。也 就是说，图63是描述与笫二方法相对应的实施方案原理的图。
如图63中所示，对于与第二方法相对应的实施方案，如果用光 信号函数F表示的现实世界1中的光信号具有预先确定的连续性， 现实世界估计单元102不是用来自传感器2的输入图像(包含与连续性相对应的数据连续性的图像数据)，以及来自数据连续性检测单元
101的数据连续性信息(与输入图像数据的连续性相对应的数据连续 性信息)近似X横截面波形F(x)，而是用预先确定的近似函数f2(x) 近似来自传感器2的输入图像。
因此，难说第二方法是与第三方法具有同等水平的方法，因为仅 输入图像的近似被执行而没有考虑传感器2的积分效应。但是，第二 方法是优于常规第一方法的方法，因为第二方法考虑了空间方向上的 连续性。
以下，将以该顺序独立地描述第一方法、第二方法和第三方法的 细节。
注意以下，如果由第一方法、第二方法和第三方法产生的各自近 似函数f(x)与其他方法的相区分，它们分别特别地称作近似函数
fi(X)、近似函数f2(X)以及近似函数f3(X)。 首先，将描述第一方法的细节。
对于第一方法，如果上面表达式(外)中所示近似函数f,(x)在图 64中包含细线的现实世界区域2301内成立，下面的预测^〉式(40)
被定义。
P(x，y)-f,(x) + e …(40)
在表达式(40)中，x表示关于X方向相对于关注像素的像素位 置。y表示关于Y方向相对于关注像素的像素位置。e表示误差限 度。特别地，例如，如图64中所示，让我们假定关注像素是包含细 线的数据区域2302 (包含细线的现实世界区域2301 (图62)由传感 器2检测并输出其数据)中，附图中X方向上从左起第二像素以及 Y方向上从底部起第三像素。而且，让我们假定关注像素的中心是原 点(O，O)，并且其轴是分别平行于传感器2的X方向和Y方向(图 59)的x轴和y轴的坐标系(以下，称作关注像素坐标系)被i史置。 在该情况下，关注像素坐标系的坐标值(x，y)表示相对像素位置。
而且，在表达式(40)中，P(x，y)表示相对像素位置(x，y)中的像 素值，特别地，在该情况下，包含细线的数据区域2302中的P(x，y)例如图65中所示。
图65以图形方式表示该像素值P(x，y)。
在图65中，曲线图的各个垂直轴表示像素值，而水平轴表示X 方向上距离关注像素的相对位置x。而且，在附图中，分别地，从顶 部开始第一曲线图中的虚线表示输入像素值P(x，-2)，从顶部开始第 二曲线图中的断续三重虚线表示输入像素值P(x，-l)，从顶部开始第 三曲线图中的实线表示输入像素值P(x，O)，从顶部开始第四曲线图中 的断续线表示输入像素值P(x，l),并且从顶部开始第五(从底部开始 第一)曲线图中的断续双重虚线表示输入像素值P(x，2)。
当图65中所示20个输入像素值P(x，-2)， P(x，画l)， P(x，O), P(x，l) 和P(x，2)(但是，x是-1~2的任意一个整数值)分別代入上面表达式 (40)时，如下面表达式(41)中所示20个公式产生。注意，每个 ek ( k是1 20的整数值的任意一个)表示误差限度。
P(-l，-2)-f,(-l) + e,
P(0，-2)-f,(0) + e2
P(l，斧,(l) + e3
P(2，-2) = f,(2) + e4
P(-l，-l)-f,(-l) + es
P(0，-l) = f,(0) + e6
P(l，-lW,(l) + e7
P(2，-l)-f,(2) + e8
P(-l，0)-A(-l) + e,
P(0，0) = f,(0) + e10
P(l，0)-f,(l) + eu
P(2，0) = f,(2) + e12
P(-l，l)-f,(-l) + e,3
P(0，l) = f,(0) + e14
P(l，l)-f,(l) + e,s
P(2，l) = f,(2) + e16<formula>formula see original document page 93</formula>表达式(41)由20个公式构成，所以如果近似函数f，(X)的特征 Wi的数目少于20，也就是如果近似函数f"x)是具有少于19的维度数
目的多项式，特征Wi可以使用例如最小二乘法计算。注意，最小二
乘法的具体解法将随后描述。
例如，如果我们假定近似函数f"x)的维度数目是五，使用表达式 (41)用最小二乘法计算的近似函数&(x)(由计算的特征w产生的 近似函数f"x))变成图66中所示的曲线。
注意在图66中，垂直轴表示像素值，而水平轴表示距离关注像 素的相对位置x。
也就是说，例如，如果我们补充沿着x轴构成图64中包含细线 的数据区域2302而没有任何修改的各个20个像素值P(x，y)(图65 中所示各个输入像素值P(x，-2), P(x，-l)， P(x，O)， P(x，l)以及P(x，2)) (如果我们认为Y方向上的相对位置y恒定，并且重叠图65中所示 的五个曲线图)，与x轴平行的多条线(虚线、断续三重虚线、实 线、断续线、以及断续双重虚线)被分布，例如图66中所示。
但是，在图66中，分别地，虚线表示输入像素值P(x，-2),断续 三重虚线表示输入像素值P(x，-l)，实线表示输入像素值P(x，O)，断续 线表示输入像素值P(x，l)，以及断续双重虚线表示输入像素值 P(x，2)。而且，在相同像素值的情况下，多于2条线的线实际上重 叠，但是在图66中，线被画出以便区分每条线，以便不重叠每条 线。
这样分布的各个20个输入像素值(P(x，-2)， P(x，-l)， P(x,O)， P(x，l),以及P(x，2))，以及回归曲线(通过将使用最小二乘法计算 的特征Wi代入上面表达式(38)而获得的近似函数f,(x))以使得值 f"x)的误差达到最小，变成图66中所示的曲线(近似函数&(x))。因此，近似函数f"x)只表示在X方向上连接Y方向上P(x，-2)， P(x，画l)， P(x，O)， P(x，l)和P(x，2)的像素值(具有X方向上距离关注像 素的相同相对位置x的像素值)的平均值的曲线。也就是说，近似函
数fi(X)没有考虑包括在光信号中的空间方向上连续性而产生。
例如，在该情况下，包含细线的现实世界区域2301 (图62)看 作待近似的主体。该包含细线的现实世界区域2301具有空间方向上 的连续性，其由梯度Gf表示，如图67中所示。注意在图67中，X 方向和Y方向代表传感器2的X方向和Y方向(图59 )。
因此，数据连续性检测单元101 (图58)可以输出例如图67中 所示的角度e (用与梯度GF相对应的梯度Gf表示的数据连续性方 向，与x方向之间产生的角度e)作为与作为空间方向上连续性的梯 度GF相对应的数据连续性信息。
但是，对于第一方法，从数据连续性检测单元101中输出的数据 连续性信息根本不使用。
换句话说，例如图67中所示，包含细线的现实世界区域2301的
空间方向上的连续性方向是普通角度e方向。但是，第一方法是基于
包含细线的现实世界区域2301的空间方向上的连续性方向是Y方向 的假设(也就是假设角度e是90° )计算近似函数d(x)的特征Wi的方 法。
所以，近似函数f"x)变成其波形变緩和的函数，并且细节比原始 像素值减少。换句话说，虽然附图中没有显示，对于使用第一方法产 生的近似函数fi(x)，其波形变成不同于实际X横截面波形F(x)的波 形。
为此，本申请者已经发明相对于第一方法通过进一步考虑空间方 向上连续性(利用角度e)计算特征Wi的第二方法。
也就是说，笫二方法是基于包含细线的现实世界区域2301的连
续性方向是普通角度0方向的假设计算近似函数f2(X)的特征Wi的方法。
特别地，例如，表示与空间方向上连续性相对应的数据连续性的梯度Gf用下面的表达式(42)表示。 dx …(42)
注意在表达式(42 )中，dx表示例如图67中所示X方向上细微 运动的量，dy表示例如图67中所示关于dx在Y方向上细微运动的 量。
在该情况下，如果我们如下面表达式(43)中所示定义移位量 Cx(y)，对于第二方法，与第一方法中使用的表达式(40)相对应的 /〉式变成例如下面的表达式(44)。
Gf …(43) P(x，y) = f2(x-C,(y)) + e …(44)
也就是说，第一方法中使用的表达式(40)表示像素中心位置 (x，y)的X方向上的位置x是关于位于相同位置中的任何像素的像素 值P(x，y)的相同值。换句话说，表达式(40)表示具有相同像素值的 像素在Y方向上连续(表现出Y方向上的连续性)。
另一方面，第二方法中使用的表达式(44)表示其中心位置为 (x，y)的像素的像素值P(x，y)与位于X方向上距离关注像素(其中心位 置为原点(0，0)的像素)x的位置的像素的像素值(近似相当于f2(x)) 不同，而是与位于X方向上以移位量Cx(y)进一步远离其像素的位置 的像素(位于X方向上距离关注像素x+Cx(y)的位置中的像素)的像 素值(近似相当于f2(x)+Cx(y)相同的值。换句话说，表达式(44)表 示具有相同像素值的像素在对应于移位量Cx(y)的角度e方向上连续 (表现出普通角度0方向上的连续性)。
因此，移位量C,(y)是考虑空间方向上连续性(在该情况下，图 67中用梯度GF表示的连续性(严格地说，用梯度Gf表示的数据连 续性))的校正量，并且表达式(44)通过用移位量Q(y)校正表达 式(40)而获得。
在该情况下，当图64中所示包含细线的数据区域2302的20个 像素值P(x，y)(但是，x是-1 2的任意一个整数值，且y是-2~2的任何一个整数值)分别代入上面表达式(44)时，如下面表达式(45) 中所示的20个公式产生。尸(—1,一2) = /2(-卜C乂(-2)) + e, 尸(O，-2) = /2(0 —C,(-2)) + e22) = /2(卜(^(-2)) + 63 尸(2,-2) = /2(2-C"-2)) + e4 P(-1，-l) = /2(-l-C,(-l)) + e5 尸(0，-1) = /2(0-<^(-l)) + e61) = /2(卜<^(-1)) + 67 尸(2,-1) = /2(2-C,(-l)) + e8 尸(—1，0) = /2(-l) + e9 P(0,0) = /2(0) + e,0 P(l，0) = /2(l) + eil P(2，0) = /2(2) + e12 P(—l，l) = /2(—卜C,(l)) + e。 P(0，1) = A(0-Q(l)) + e14 P(U) = /2(1 —C,(l)) + e15 P(2,l) = /2(2-C,(l)) + e,6 尸(-1，2) = /2(—l-C,(2)) + e,7 尸(0，2) = /2(0-C,(2)) + e18 尸(1,2) = /2(卜(^(2)) + 619 7>(2，2) = /2(2-Cx(2)) + e2。 …(45)与上面表达式(41) 一样，表达式(45)由20个公式构成。因 此，对于第二方法，与第一方法一样，如果近似函数f"x)的特征Wi 的数目少于20，也就是如果近似函数f2(x)是具有少于19的维度数目 的多项式，特征Wi可以使用例如最小二乘法计算.注意，关于最小 二乘法的具体解法将随后描述。例如，与第一方法一样，如果我们假定近似函数f2(X)的维度数目 是五，对于第二方法，特征Wi如下计算。也就是说，图68以图形方式表示表达式(45)左侧中显示的像 素值P(x，y)。图68中所示各个五个曲线图基本上与图65中所示的相 同。如图68中所示，最大像素值(与细线相对应的像素值)在用梯 度Gf表示的数据连续性方向上连续。所以，对于第二方法，如果我们例如沿着x轴补充图68中所示 的各个输入像素值P(x,-2), P(x，-l)， P(x，O), P(x，l)以及P(x，2),我们 补充像素值在图69中所示状态中改变的像素值，而不是与笫一方法 一样补充像素值而没有任何修改(让我们假设y是恒定的，并且五个 曲线图在图68中所示的状态中重叠)。也就是说，图69表示图68中所示的各个输入像素值P(x，-2), P(x，画l)， P(x，O)， P(x，l)以及P(x,2)以上面表达式(43)中所示的移位 量C"y)移位的状态。换句话说，图69表示图68中所示的五个曲线 图运动好像表示数据连续性实际方向的梯度Gf看作梯度Gf'的状悉 (在附图中，由虚线构成的直线看作由实线构成的直线)。在图69中的状态中，如果我们例如沿着x轴补充各个输入像素 值P(x，-2)， P(x，画l)， P(x，O)， P(x，l)以及P(x，2)(在图69中所示的状 态中，如果我们重叠五个曲线图)，与x轴平行的多条线(虚线、断 续三重虚线、实线、断续线、以及断续双重虚线)被分布，例如图 70中所示。注意在图70中，垂直轴表示像素值，并且水平轴表示距离关注 像素的相对位置x。而且，分别地，虚线表示输入像素值P(x，-2)，断 续三重虚线表示输入像素值P(x，-l)，实线表示输入像素值P(x，O),断 续线表示输入像素值P(x，l)，以及断续双重虚线表示输入像素值 P(x，2)。而且，在同样像素值的情况下，多于2条线的线实际上重 叠，但是在图70中，线被画出以便区分每条线，以便不重叠每条一 这样分布的各个20个输入像素值P(x，y)(但是，x是-1~2的任 意一个整数值，并且y是-2~2的任意一个整数值)，以及回归曲线(通过将使用最小二乘法计算的特征Wi代入上面表达式(38)而获 得的近似函数f2(x))以使得值f2(x+C"y))的误差达到最小，变成图 70中实线所示的曲线f2(x)。因此，使用第二方法产生的近似函数f2(x)表示在X方向上连接 从数据连续性检测单元101 (图58)输出的角度e方向(也就是普通 空间方向上的连续性方向)上输入像素值P(x，y)的平均值的曲线。另一方面，如上所述，使用笫一方法产生的近似函数&(x)只表示 在X方向上连接Y方向(也就是与空间方向上的连续性不同的方 向)上输入像素值P(x，y)的平均值的曲线。因此，如图70中所示，使用第二方法产生的近似函数f2(x)变成 其波形的緩和度减小，而且关于原始像素值的细节减少程度比使用第 一方法产生的近似函数A(x)减少得小的函数。换句话说，虽然附图 中没有显示，对于使用第二方法产生的近似函数f2(x)，其波形变成 比使用第一方法产生的近似函数f!(x)更接近实际X横截面波形F(x) 的波形。但是，如上所述，近似函数f2(X)是考虑空间方向上连续性的函 数，但是仅是输入图像(输入像素值)看作原点(基础)而产生的函 数。也就是说，如上述图63中所示，近似函数f2(x)仅是近似不同于 X横截面波形F(x)的输入图像的函数，并且难说近似函数f2(x)是近 似X横截面波形F(x)的函数。换句话说，第二方法是基于上面表达 式(44)成立的假设计算特征Wi的方法，但是没有考虑上述表达式 (38)中的关系(没有考虑传感器2的积分效应)。因此，本申请者已经发明相对于第二方法通过进一步考虑传感器 2的积分效应计算近似函数fs(x)的特征Wi的第三方法。也就是说，笫三方法是引入空间混合或时间混合概念的方法'现 在，考虑空间混合和时间混合将使得描述复杂，所以空间混合和时间 混合中仅空间混合将在这里考虑，而时间混合将忽略。在笫三方法的描述之前，将参考图71描述空间混合。在图71中，现实世界l中光信号的部分2321 (以下，称作区域23")表示与传感器2的一个检测元件(像素)具有相同面积的区 域。当传感器2检测区域2321时，传感器2输出由区域2321经历时 间和空间方向(X方向、Y方向和t方向)上的积分而获得的值(一 个像素值)2322。注意，像素值2322在附图中表示为图像，但实际 上是代表预先确定值的数据。现实世界1中的区域2321清楚地分类成与前景(例如上面的细 线)相对应的光信号(附图中白色区域)，以及与背景相对应的光信 号(附图中黑色区域)。另一方面，像素值2322是由与前景相对应的现实世界1中光信 号和与背景相对应的现实世界l中光信号经历积分而获得的值。换句 话说，像素值2322是与对应于前景的光度与对应于背景的光度空间 混合的光度相对应的值。因此，如果与现实世界l中光信号的一个像素(传感器2的检测 元件)相对应的部分不是具有相同光度的光信号在空间上均匀分布的 部分，而是具有不同光度的光信号例如前景和背景分布于其中的部 分，当其区域由传感器2检测时，区域变成一个像素值，好像不同光 度因传感器2的积分效应而空间混合(在空间方向上积分)'因此， 由对应于前景的图像(现实世界1中光信号)和对应于背景的图像 (现实世界l中光信号)经历空间积分，也就是好4象被混合，即空间 混合的像素构成的区域在这里称作空间混合区域。因此，对于第三方法，现实世界估计单元102 (图58)通过使用 用作例如图72中所示一维多项式的近似函数f3(x)近似X横截面波形 F(x),来估计表示现实世界1中原始区域2321 (现实世界1中光信 号，部分2321对应于传感器2的一个像素)的X横截面波形F(x)。也就是说，图72表示与用作空间混合区域的像素值2322 (图 71)相对应的近似函数f3(x)，即近似与现实世界1中区域2331中的 实线(图71)相对应的X横截面波形F(x)的近似函数f3(x)的实例， 在图72中，附图中水平方向上的轴表示与从对应于像素值2322 (图的像素的左上端Xs到右下端Xe的边平行的轴，其看作X轴。附 图中垂直方向上的轴看作表示像素值的轴。在图72中，下面的表达式(46)被定义，如果由使得近似函数f3(X)经历从Xs到Xe的范围(像素宽度)内的积分而获得的结果通常与从传感器2输出的像素值P(x，y)完全相同(仅取决于误差限度 e)。<formula>formula see original document page 100</formula> …(46)在该情况下，近似函数f3(x)的特征Wi从图67中所示包含细线的数据区域2302的20个像素值P(x,y)(但是，x是-1~2的任意一个整数值，并且y是-2 2的任意一个整数值)中计算，所以表达式(46)中的像素值P变成像素值P(x，y)。而且，与第二方法一样，考虑空间方向上的连续性是必需的，因此，表达式(46)中积分范围中的开始位置Xs和结束位置、的每个取决于移位量Cx(y)。也就是说，表达式(46)中积分范围的开始位置Xs和结束位置Xe例如下面表达式(47)中表示。<formula>formula see original document page 100</formula> …(47)在该情况下，当图67中所示包含细线的数据区域2302的每个像 素值，即图68中所示输入像素值P(x，-2)， P(x，-l)， P(x，O)， P(x，l)以 及P(x，2)(但是，x是-1 2的任意一个整数值)的每个代入上面表达 式(46)(积分范围是上面表达式(47))时，下面表达式(站)中 的20个公式产生.<formula>formula see original document page 100</formula>F(2，—2)= 「 f3(x)dx + e44-C，(-2)-0.5 J 4f卜C'(-l)+0.5 f3(x)dx + e;P(0，-1)= f f3(x)dx + e6P(l，-1)= f f3(x)dx + e7P(2，-l)= f f3(x)dx + e84-c'(-o,s J ofl+O.S io5f3(x)dx + e9 ，(0+0.5p(0，0)=〖-。/3(x)dx + e'0,p(1，0)=Lsf3(x)dx+e"，P(2，0)=〖osf3(x)dx + e12f3(x)dx + e13 P(O，l)- ff3(x)dx + e"( _C'(l)+0.5P(")-f-Cdx + e"， P,L",f"x)dx + e",r卜C,(2)+0.5 f3(x)dx + e17P(0，2)= f f3(x)dx + el8 P(l，2)= ff3(x)dx + e19|C-CK(2)+0,5p(2，2)=f《(，f"x)dx + eM".(48)与上面表达式(45) —样，表达式(48)由20个公式构成。因 此，对于笫三方法，与第二方法一样，如果近似函数f3(x)的特征Wi 的数目少于20,也就是如果近似函数f3(x)是具有少于19的维度数目 的多项式，例如，特征Wj可以使用最小二乘法计算'注意，最小二 乘法的具体解法将随后描述。例如，如果我们假定近似函数f3(X)的维度数目是五，使用表达式(48)用最小二乘法计算的近似函数f3(x)(用计算的特征Wi产生的近似函数&(x))变成图73中实线所示的曲线。注意在图73中，垂直轴表示像素值，而水平轴表示距离关注像 素的相对位置x。如图73中所示，如果用第三方法产生的近似函数f3(x)(附图中 用实线显示的曲线)与用第二方法产生的近似函数f2(x)(附图中用 虚线显示的曲线)相比较，x=0处的像素值变大，而且曲线的梯度产 生陡峭波形。这是因为细节增加多于输入像素，导致与输入像素的分 辨率无关。也就是说，我们可以说近似函数f3(x)近似X横截面波形 F(x)。因此，虽然附图中没有显示，近似函数f3(X)变成比近似函数 f2(x)更接近X横截面波形F(x)的波形。图74表示使用这种一维近似方法的现实世界估计单元102的构 造实例。在图74中，现实世界估计单元102通过4吏用例如上面第三方法(最小二乘法)计算特征Wi，并且使用计算的特征Wi产生上面表达式(39)的近似函数f(x)来估计X横截面波形F(x)。如图74中所示，现实世界估计单元102包括条件设置单元 2331,输入图像存储单元2332，输入像素值获取单元2333，积分分 量计算单元2334，正则方程生成单元2335，以及近似函数生成单元 2336。条件设置单元2331设置用于估计对应于关注像素的X橫截面波 形F(x)的像素范围(以下，称作分接范围)，以及近似函数f(x)的维 度数目n。输入图像存储单元2332临时地存储来自传感器2的输入图像 (像素值)。输入像素值获取单元2333从输入图像存储单元2332中存储的输 入图像中，获取与由条件设置单元2331设置的分接范围相对应的输 入图像区域，并且将其作为输入像素值表提供给正则方程生成单元 2335。也就是说，输入像素值表是描述包括在输入图像区域中的像素 的各个像素值的表。注意，输入像素值表的具体实例将随后描述。现在，现实世界估计单元102使用上面的表达式(46)和表达式(47)在这里用最小二乘法计算近似函数f(x)的特征Wi，但是上面表达式(46)可以例如下面表达式(49)表示。 P(x，y)t (x - C'(y) + 0.5)i+1 -(x - Cx(y) - 0.5)i+1 . =x-+ exSi(xs，xe) + ei=。 ".(49)在表达式(49)中，Si(Xs，Xe)表示i维项的积分分量。也就是说，积分分量Sj(Xs，Xe)在下面表达式(50)中显示。。， 、xXSi(xs，xe) = ~^-^~ , 、' e i + 1 …(50)积分分量计算单元2334计算积分分量Si(xs，xe)。特别地，表达式(50)中所示的积分分量Si(Xs，Xe)(但是，值XS 和值Xe是上面表达式(46)中显示的值)可以计算，只要相对像素位置(x，y)，移位量Cx(y)，以及i维项的i已知。而且，这些中，分别 地，相对像素位置(x，y)由关注像素和分接范围确定，移位量C"y)由 角度e (由上面表达式(41)和表达式(43))确定，并且i的范围 由维度数目n确定。因此，积分分量计算单元2334基于由条件设置单元2331设置的 分接范围和维度数目，以及从数据连续性检测单元101输出的数据连 续性信息的角度0来计算积分分量Si(Xs，Xe)，并且将计算结果作为积 分分量表提供给正则方程生成单元2335。正则方程生成单元2335产生上面的表达式(46)，即正则方 程，在使用从输入像素值获取单元2333提供的输入像素值表，以及 从积分分量计算单元2334提供的积分分量表，用最小二乘法获得表 达式(49)右侧的特征Wi的情况下，并且将其作为正则方程表提供 给近似函数生成单元2336。注意正则方程的具体实例将随后描述。近似函数生成单元2336通过使用矩阵解法求解包括在从正则方 程生成单元2335提供的正则方程表中的正则方程，来计算上面表达 式(49)的各个特征Wi (也就是用作一维多项式的近似函数f(x)的各个系数Wi)，并且将这些输出到图像生成单元103。接下来，将参考图75中的流程图描述使用一维近似方法的现实 世界估计单元102 (图74)的现实世界估计处理(图29的步骤S102 中的处理)。例如，让我们假定作为从传感器2输出的一帧输入图像、包括上 述图60中包含细线的数据区域2302的输入图像已经存储在输入图像 存储单元2332中。而且，让我们假定数据连续性检测单元101已经 在步骤S101 (图29)的连续性检测处理中使包含细线的数据区域 2302经历其处理，并且已经输出角度e作为数据连续性信息。在该情况下，条件设置单元2331在图75的步骤S2301中设置条 件(分接范围和维度数目)。例如，让我们假定图76中所示的分接范围2351被设置，并且5 维度设置为维度数目。也就是说，图76是描述分接范围实例的图。在图76中，X方向 和Y方向分别是传感器2的X方向和Y方向(图59 )。而且，分接 范围2351表示由X方向上4个像素以及Y方向上5个像素总共20 个像素(附图中20个正方形)构成的像素组。此外，如图76中所示，让我们假定关注像素设置在分接范围 2351中附图中从左起第二像素以及从底部起第三像素处。而且，让 我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关注像素 坐标系的坐标值，其中关注像素的中心(O，O)取作原点)用例如图76 中所示数字l表示(1是0 19的任意整数值)。现在，描述将返回图75，其中在步骤S2302中，条件设置单元 2331设置关注像素。在步骤S2303中，输入像素值获取单元2333基于由条件设置单 元2331设置的条件(分接范围)获取输入像素值，并且产生输入像 素值表。也就是说，在该情况下，输入像素值获取单元2333获取包 含细线的数据区域2302 (图64)，并且产生由20个输入像素值P(l) 构成的表作为输入像素值表。注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间 的关系是下面表达式(51)中所示的关系。但是，在表达式(51) 中，左侧表示输入像素值P(l)，而右侧表示输入像素值P(x,y)。P(O) = P(O，O)P(l) = P(漏l，2)P(2) = P(0，2)P(3) = P(1，2)P(4) = P(2，2)P(5) = P(-l，l)P(6) = P(O，l)P(7) = P(l，l)P(8) = P(2，1)P(9) = P(-l，O)P(IO) = P(l，O)P(11) = P(2，0)P(12) = P(-l，-l)P(13) = P(0，國1)P(") = P(l,-l)P(15) = P(2，-l)P(16) = P(-l，-2)P(17) = P(0，-2)P(18) = P(l，-2)P(19) = P(2，誦2) ...(51)在步骤S2304中，积分分量计算单元2334基于由条件设置单元 2331设置的条件(分接范围和维度数目)，以及从数据连续性检测 单元101提供的数据连续性信息(角度e)计算积分分量，并且产生 积分分量表。在该情况下，如上所述，输入像素值不是P(x,y)而是P(l)，并且 作为像素编号1的值而获取，所以积分分量计算单元将表达式(50)中上面积分分量Si(X"Xe)计算为1的函数，例如下面表达式(52)左侧中所示的积分分量Sj(l)。Si(l) = Si(X"Xe) ...(52)特别地，在该情况下，下面表达式(53)中所示的积分分量S"l) 被计算。Si(O) = Si(-0.5， O.S)Si(l)-Si(曙1.5-C"2)， -0.5-Cx(2))S"2) = S"曙0.5画Cx(2)， 0.5-Cx(2))S"3) = Si(0.5-C"2)， 1.5-CX(2))S"4) = Si(1.5-C"2)， 2.5-Cx(2))Si(5) = Si(-1.5-C"l), -0.5-Cx(l))Si(6) = Si(-0.5-Cx(l)， 0.5-Cx(l))Si(7) - Si(0.5-C"l)， 1.5-CX(1))Si(8) = Si(1.5-Cx(l)， 2.5-Cx(l))Si(9) = Si(-1.5， -0.5)Si(lO) = Si(0.5， 1.5)Si(ll) = Si(1.5， 2.5)S"12) = Si(-1.5陽Cx(-l)， -0.5-Cx(-l))S"13) = Si(-0.5-C"-l)， 0.5-Cx(-l))Si(") = Si(0.5-Cx(-1)， 1.5-CX(-1))S"15) = Si(1.5-Cx(-1)， 2.5-Cx(-l))S, = Si(-1.5-Cx(-2)， -0'5-Cx(-2))Si(17) = Si(-0.5-Cx(-2)， 0.5-Cx(-2))S,(18) = Si(0.5-Cx(-2)， 1.5-Cx(-2))Si(19) == Si(1.5-C"-2)， 2.5-Cx(画2)) …(53)注意在表达式(53)中，左侧表示积分分量Si(l)，而右侧表示积 分分量Si(Xs，Xe)。也就是说，在该情况下，i是0 5，因此20个 S0(l)， 20个SK1)， 20个S2(1)， 20个S3(1)， 20个S4(l)以及20个S5(l) 总共120个Si(l)被计算。更具体地说，首先积分分量计算单元2334使用从数据连续性检 测单元101提供的角度e计算移位量Cx(-2)， Cx(-1), Cx(l)，和C"2) 的每个。接下来，积分分量计算单元2334使用计算的移位量Cx(-2)， Cx(-1)， Cx(l)，和Cx(2)关于i=0 5的每个计算表达式(52)右侧 中显示的20个积分分量Si(Xs，Xe)的每个。也就是说，计算120个积分 分量Si(Xs,Xe)。注意对于积分分量Si(Xs，Xe)的该计算，使用上面表达式(50)。随后，积分分量计算单元2334根据表达式(53)将计算的120个积分分量Si(Xs，Xe)的每个转换成相应的积分分量S"l)，并且产生包括转换后的120个积分分量Si(I)的积分分量表。注意，步骤S2303中的处理和步骤S2304中的处理的顺序并不局 限于图75中的实例，步骤S2304中的处理可以首先执行，或者步骤 S2303中的处理和步骤S2304中的处理可以同时执行。接下来，在步骤S2305中，正则方程生成单元2335基于在步骤 S2303的处理中由输入像素值获取单元2333产生的输入像素值表， 以及在步骤S2304的处理中由积分分量计算单元2334产生的积分分 量表来产生正则方程表。特别地，在该情况下，对应于上面表达式(49)的下面表达式 (54)的特征Wi使用最小二乘法计算。与此对应的正则方程表示为 下面的表达式(55)。<formula>formula see original document page 107</formula>注意在表达式(55)中，L表示分接范围中像素编号1的最大 值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实 例中，n-5且L-19'如果我们将表达式(55)中所示的正则方程的每个矩阵定义为下面的表达式(56) (58),正则方程表示为下面的表达式(59)丄 上 l 、<formula>formula see original document page 108</formula>如表达式(57)中所示，矩阵WMAT的各个分量是待获得的特征Wj。因此，在表达式(59)中，如果左侧的矩阵Smat和右側的矩陣 PMAT被确定，矩阵WMAT (也就是特征Wj)可以使用矩阵解法计算。特别地，如表达式(56)中所示，矩阵SMAT的各个分量可以计算，只要上面积分分量Si(l)已知。积分分量Si(l)包括在从积分分量计 算单元2334提供的积分分量表中，所以正则方程生成单元2335可以 使用积分分量表计算矩阵Smat的毎个分量。而且，如表达式(58)中所示，矩阵PMAT的各个分量可以计算，只要积分分量Si(l)和输入像素值P(l)已知。积分分量Si(l)与包括 在矩阵SMAT的各个分量中的那些相同，并且输入像素值P(l)包括在 从输入像素值获取单元2333提供的输入像素值表中，所以正则方程 生成单元2335可以使用积分分量表和输入像素值表计算矩阵Pmat的 每个分量。因此，正则方程生成单元2335计算矩阵Smat和矩陣Pmat的毎个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正则方程表输出到近似函数生成单元2336。当正则方程表从正则方程生成单元2335输出时，在步骤S2306 中，近似函数生成单元2336基于正则方程表计算用作上面表达式(59)中矩阵Wmat的各个分量的特征Wj (也就是，用作一维多项式 的近似函数f(X)的系数Wi)。特别地，上面表达式(59)中的正则方程可以转换为下面的表达 式(60 )。wMAT = s二Pm灯 …(60)在表达式(60)中，左侧矩阵WMAT的各个分量是待获得的特征Wi。关于矩阵SMAT和矩阵PMAT的各个分量包括在从正则方程生成单元2335提供的正则方程表中。因此，近似函数生成单元2336通过使 用正则方程表计算表达式(60)右侧中的矩阵来计算矩阵WMAT，并 将计算结果(特征Wi)输出到图像生成单元103。在步骤S2307中，近似函数生成单元2336确定是否所有像素的 处理都已完成。在步骤S2307中，如果确定所有像素的处理还没有完成，处理返 回到步骤S2302,其中随后的处理重复地执行。也就是说，没有变成 关注像素的像素顺序地取作关注像素，并且步骤S2302 S2307中的处理重复地执行。如果所有像素的处理都已完成(在步骤S2307中，如果确定所有像素的处理都已完成)，现实世界l的估计处理结束。注意使用这样计算的系数(特征)Wi产生的近似函数f(x)的波形 变成例如上述图73中近似函数f"x)的波形。因此，对于一维近似方法，用作一维多项式的近似函数f(x)的特 征在例如与一维X橫截面波形F(x)具有相同形式的波形在连续性方 向上连续的假设下计算。因此，对于一维近似方法，近似函数f(x)的 特征可以使用比其他函数近似方法少量的计算处理而计算。 接下来，将参考图77至图83描述第二函数近似方法。也就是说，第二函数近似方法是具有用例如图77中所示梯度Gf 表示的空间方向上连续性的现实世界1中光信号看作X-Y平面上 (在用作空间方向一个方向的X方向，以及与X方向正交的Y方向 上的平面水平上)的波形F(x，y)的方法，并且波形F(x，y)使用用作二 维多项式的近似函数f(x,y)近似，从而估计波形F(x，y)。因此，以 下，第二函数近似方法称作二维多项式近似方法。注意在图77中，分别地，水平方向表示用作空间方向的一个方 向的X方向，右上方向表示用作空间方向的另一个方向的Y方向，以及垂直方向表示光度。GF表示作为空间方向上连续性的梯度。而且，对于二维多项式近似方法的描述，让我们假定传感器2是 由布置在其平面上的多个检测元件2-1构成的CCD,例如图78中所 示。对于图78中的实例，平行于检测元件2-1的预先确定边的方向 取作用作空间方向的一个方向的X方向，并且与X方向正交的方向 取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向 取作用作时间方向的t方向。而且，对于图78中的实例，传感器2的每个检测元件2-1的空 间形状取作一边长度为1的正方形。传感器2的快门时间(膝光时 间)取作1。此外，对于图78中的实例，传感器2的某个检测元件2-1的中 心取作空间方向(X方向和Y方向)上的原点(X方向上位置为 x-O,且Y方向上位置为y-0)，而且曝光时间的中间时间点取作时 间方向(t方向)上的原点(t方向上位置为t=0)。在该情况下，其中心在空间方向上原点(x=0, y=0)的检测元 件2-1使得光信号函数F(x，y，t)经历X方向上-0.5~0.5的范围，Y方向 上-0.5 0.5的范围，以及t方向上-0.5 0.5的范围的积分，并且输出 积分值作为像素值P。也就是说，从其中心位于空间方向上原点的检测元件2-1输出的 像素值P用下面的表达式(61)表示。r.O.S fH).S f ).5 。.5￡5LF(x，y,t)dxdydt …(6D类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取 作空间方向上的原点来输出表达式(61)中所示的像素值P。顺便提及，如上所述，二维多项式近似方法是现实世界1中的光信号作为例如图77中所示波形F(x，y)处理，并且二维波形F(x，y)使 用用作二维多项式的近似函数f(x，y)近似的方法。首先，将描述用二维多项式表示这种近似函数f(x，y)的方法。如上所述，现实世界1中的光信号用其变量为三维空间x， y和 z上的位置以及时间点t的光信号函数F(x，y，t)表示。该光信号函数 F(x，y，t)，即在Y方向上任意位置y处投影在X方向上的一维波形这 里称作X横截面波形F(x)。当注意该X横截面波形F(x)时，如果现实世界1中的信号具有 在空间方向中某一方向上的连续性，可以设想与X横截面波形F(x) 具有相同形式的波形在连续性方向上连续。例如，对于图77中的实 例，与X横截面波形F(x)具有相同形式的波形在梯度Gf的方向上連 续。换句话说，可以说波形F(x，y)由与在梯度GF方向上连续的X横 截面波形F(x)具有相同形式的波形形成。因此，近似函数f(x，y)可以通过考虑近似波形F(x，y)的近似函数 f(x，y)的波形由与近似连续的X横截面F(x)的近似函数f(x)具有相同 形式的波形形成，而用二维多项式表示。将更详细地描述近似函数f(x，y)的表示方法。例如，让我们假定例如上述图77中所示现实世界1中的光信 号，也就是具有用梯度GF表示的空间方向上连续性的光信号由传感 器2检测(图78)，并且输出作为输入图像(像素值)。此外，让我们假定如图79中所示，数据连续性检测单元101 (图3)使得由该输入图像的X方向上4个像素以及Y方向上5个 像素总共20个像素(在附图中，用虚线表示的20个正方形)构成的 输入图像区域2401经历其处理，并且输出角度0 (用与梯度GF相对 应的梯度Gf表示的数据连续性方向，与X方向之间产生的角度e)作为数据连续性信息之一。注意，对于输入图像区域2401，附图中水平方向表示用作空间 方向中一个方向的X方向，并且附图中垂直方向表示用作空间方向 中另一个方向的Y方向。而且，在图79中，(x，y)坐标系被设置，使得从左起第二像素以 及从底部起第三像素中的像素取作关注像素，并且关注像素的中心取 作原点(O，O)。在X方向上关于经过原点(O，O)具有角度e的直线(具 有表示数据连续性方向的梯度Gf的直线)的相对距离(以下，称作 横截面方向距离)描述为x'，此外，在图79中，右侧的曲线图是X横截面波形F(x，)被近似的 函数，其表示用作n维(n是任意整数)多项式的近似函数f(x')。右 侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向距离，而 附图中垂直方向上的轴表示像素值。在该情况下，图79中所示近似函数f(x')是n维多项式，所以表 示为下面的表达式(62)。f(X') = W。 + W,JC'+VV2X'2 +…+ = S W …(62),'=0而且，因为角度e确定，经过原点(o，o)具有角度e的直线唯一确定，并且在Y方向上任意位置y处直线的X方向上的位置x,表示为 下面的表达式(63)。但是，在表达式(63)中，s代表cote "l/tane),x'-sxy …(63)也就是说，如图79中所示，与用梯度Gf表示的数据连续性相对 应的直线上的点用坐标值(x,，y)表示。横截面方向距离x，使用表达式(63)表示为下面的表达式(64)。x'-x-x,-x-sxy …(64)因此，输入图像区域2401中任意位置(x，y)处的近似函数f(x，y)使 用表达式(62)和表达式(64)表示为下面的表达式(65)。注意在表达式(65)中，Wi表示近似函数f(x，y)的系数。注意， 包括近似函数f(x，y)的近似函数f的系数Wi可以作为近似函数f的特征来估计。因此，近似函数f的系数Wj也称作近似函数f的特征 Wj。因此，具有二维波形的近似函数f(x，y)可以表示为表达式(65) 的多项式，只要角度0已知。因此，如果现实世界估计单元102可以计算表达式(65)的特征 Wi,现实世界估计单元102可以估计例如图77中所示的波形 F(x，y)。因此，以下，将描述计算表达式(65)的特征Wi的方法。 也就是说，当用表达式(65)表示的近似函数f(x，y)经历关于与 像素(传感器2的检测元件2-1 (图78))相对应的积分范围(空间 方向上的积分范围)的积分时，积分值变成关于像素的像素值的估计 值。下面的表达式(66)是用公式表示。注意对于二维多项式近似方 法，时间方向t看作恒定值，所以表达式(66)看作其变量为空间方 向(X方向和Y方向)上位置x和y的/^式。尸"，"=〖:w'(x"x+e…(66)々_ . 一 ■〖-0在表达式(66)中，P(x，y)表示其中心位置在来自传感器2的输 入图像的位置(x，y)(距离关注像素的相对位置(x，y))中的像素的像素 值。同样，e表示误差限度。因此，对于二维多项式近似方法，输入^(象素值P(x，y)与用作二维 多项式的近似函数f(x，y)之间的关系可以用表达式(66)表示，因 此，现实世界估计单元102可以通过使用表达式(66)用例如最小二 乘法等计算特征Wi (通过将计算的特征Wi代入表达式(64)而产生 近似函数f(x，y))来估计二维函数F(x,y)(波形F(x，y)，其中具有用 梯度GF (图77)表示的空间方向上连续性的现实世界1中光信号关 注空间方向来表示)。图80表示使用这种二维多项式近似方法的现实世界估计单元 102的构造实例。如图80中所示，现实世界估计单元102包括条件设置单元 2421，输入图像存储单元2422，输入像素值获取单元2423，积分分 量计算单元2424，正则方程生成单元2425，以及近似函数生成单元 2426。条件设置单元2421设置用于估计对应于关注像素的函数F(x，y) 的像素范围(分接范围)，以及近似函数f(x，y)的维度数目n。输入图像存储单元2422临时地存储来自传感器2的输入图像 (像素值)。输入像素值获取单元2423从输入图像存储单元2422中存储的输 入图像中，获取与由条件设置单元2421设置的分接范围相对应的输 入图像区域，并且将其作为输入像素值表提供给正则方程生成单元 2425.也就是说，输入像素值表是描述包括在输入图像区域中的像素 的各个像素值的表。注意，输入像素值表的具体实例将随后描述。顺便提及，如上所述，使用二维近似方法的现实世界估计单元 102通过使用最小二乘法求解上面表达式(66)来计算用上面表达式 (65)表示的近似函数f(x，y)的特征Wi。表达式(66)可以通过使用由下面表达式(67) (69)获得的 下面表达式(70)表示为下面的表达式(71)。
<formula>formula see original document page 114</formula>—(x+汰5—sxy+0，5s)w —(x+(X5—sxy—a5s)w —(x—a5—sxy+0,&)"2 +(x_0.5_sxy _0，&)'+2 g s(i + l)(i + 2)_ (x + 0.5 — s x y — 0.5s)i+2 — (x — 0.5 — s x y + 0.5s)i+2 + (x-0.5-sxy-0.5s)i+2} + e=2] WjSj (x - 0.5， x + 0.5， y — 0,5， y + 0.5) + e '=0 …(71)在表达式(71)中，Si(x-0.5，x+0.5，y-0.5，y+0,5)表示i维项的积分分量。也就是说，积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)如下面表达式(72)中所示。Si(x-0.5，x+0.5，y-0.5，y+0.5)=(x+05-sxy+(X&f2 -(x+OS-sxy-OiSs)'*2 -(x-ft5-sxy+aSsf2十(x-ftS-sxy _aSs)ws(i+l)(i+2) …(72)积分分量计算单元2424计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。特别地，表达式(72 )中所示的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)可以计算，只要相对像素位置(x，y)，上面表达式(65)中i 维项的变量s和i已知。当然，分别地，相对像素位置(x，y)由关注像 素和分接范围确定，变量s是由角度0确定的co份，并且i的范围由 维度数目n确定。因此，积分分量计算单元2424基于由条件设置单元2421设置的 分接范围和维度数目，以及从数据连续性检测单元101输出的数据连 续性信息的角度e来计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)，并且 将计算结果作为积分分量表提供给正则方程生成单元2425。正则方程生成单元2425产生正则方程，在使用从输入像素值获 取单元2423提供的输入像素值表，以及从积分分量计算单元2424提 供的积分分量表，用最小二乘法获得上面表达式(66)，也就是表达 式(71)的情况下，并且将其作为正则方程表输出到近似函数生成单 元2426。注意正则方程的具体实例将随后描述，近似函数生成单元2426通过使用矩阵解法求解包括在从正则方 程生成单元2425提供的正则方程表中的正则方程，来计算上面表达式(66)的各个特征Wi (也就是用作二维多项式的近似函数f(x，y)的 系数Wi)，并且将这些输出到图像生成单元103。接下来，将参考图81中的流程图描述应用二维多项式近似方法 的现实世界估计处理(图29的步骤S102中的处理)。例如，让我们假定具有用梯度Gp表示的空间方向上连续性的现 实世界1中光信号已经由传感器2检测(图78)，并且已经作为与 一帧相对应的输入图像存储在输入图像存储单元2422中。而且，让 我们假定数据连续性检测单元101已经使得输入图像中上述图79中 所示的区域2401经历步骤S101 (图29)的连续性检测处理中的处理，并且已经输出角度e作为数据连续性信息。在该情况下，在步骤S2401中，条件设置单元2421设置条件 (分接范围和维度数目)。例如，让我们假定图82中所示的分接范围2441已经设置，并且 5已经;殳置为维度数目。图82是描述分接范围实例的图。在图82中，X方向和Y方向 代表传感器2的X方向和Y方向(图78)。而且，分接范围2441 表示由X方向上4个像素以及Y方向上5个像素总共:20个像素(附 图中20个正方形)构成的像素組。此外，如图82中所示，让我们假定关注像素已经设置为分接范 围2441中附图中从左起第二像素以及从底部起第三像素的像素。而 且，让我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关 注像素坐标系的坐标值，其中关注像素的中心(O，O)取作原点)例如困 82中所示用数字1表示(1是0~19的任意整数值)。现在，描述将返回图81，其中在步骤S2402中，条件设置单元 2421设置关注像素，在步猓S2403中，输入像素值获取单元2423基于由条件"^置单 元2421设置的条件(分接范围)获取输入像素值，并且产生输入像 素值表。也就是说，在该情况下，输入像素值获取单元2423获取输 入图像区域2401 (图79),产生由20个输入像素值P(l)构成的表作为输入像素值表。注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间 的关系是下面表达式(73)中所示的关系。但是，在表达式(73) 中，左侧表示输入像素值P(l),而右侧表示输入像素值P(x，y)。P(O) = P(O，O)P(l) - P(-l，2)P(2) - P(0，2)P(3) - P(1，2)P(4) - P(2，2)P(5) - P(-l，l)P(6) - P(O，l)P(7) = P(l，l)P(8) - P(2，1)P(9) - P(画l，O)P(IO) = P(l，O)P(11) = P(2，0)P(12) = P(-l，-l)P(13) = P(0，-1)P(14) = P(l，-l)P(15) = P(2，-l)P(16) = P(-l,腸2)P(17) = P(0，-2)P(18) = P(l，-2)P(19) = P(2，画2) ".(73)在步骤S2404中，积分分量计算单元2424基于由条件设置单元 2421设置的条件(分接范围和维度数目)，以及从数据连续性检测 单元101提供的数据连续性信息(角度e)计算积分分量，并且产生 积分分量表。在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并且作为像素编号1的值而获得，所以积分分量计算单元2424将上面表 达式(72 )中的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)计算为1的函数， 例如下面表达式(74)左侧中所示的积分分量S"l)。 Si(l) = Si(x國0.5，x+0.5，y國0.5，y+0.5) …(74)特别地，在该情况下，下面表达式(75)中所示的积分分量Si(l) 被计算，Si(O) = Si(-0.5， 0.5， -0.5， 0.5)S"l) = Si(-1.5， -0.5, 1.5， 2.5)Si(2) = Si(-0.5， 0.5， 1.5， 2.5)Si(3) = Si(0.5， 1.5， 1.5， 2.5)S"4) = Si(1.5， 2.5， 1.5， 2.5)Sj(5) = Si(誦1.5， -0.5， 0.5， 1.5)S"6) = Si(醫0.5， 0.5， 0.5， 1.5)S"7) = Si(0.5， 1.5， 0.5， 1.5)S"8) = Si(1.5， 2.5， 0.5， 1.5)S"9) = Si(-1.5，誦0.5， -0.5， 0.5)Si(lO) = Si(0.5， 1,5， -0.5, 0.5)Si(ll) = Sj(1.5， 2.5， -0.5， 0.5)Sj(12) = Si(-1.5， -0.5， -1.5， -0.5)Si(13) = Si(-0.5， 0.5， -1.5， -0.5)S"14) = Si(0.5， 1.5， -1.5， -0.5)S"15) = Si(1.5， 2.5， -1.5， -0.5)Si(16) = Si(-1.5， -0.5， -2.5, -1.5)S"17) = Si(-0.5， 0.5， -2.5， -1.5)S"18) - S"0.5， 1.5, -2.5， -1.5)Si(19) = Si(1.5， 2.5， -2.5， -1.5) …(75)注意在表达式(75)中，左侧表示积分分量S"l)，而右侧表示积 分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i是 0~5，因此20个S0(l)， 20个S"l)， 20个S2(l)， 20个S3(l)， 20个S4(l)以及20个Ss(l)总共120个Si(l)被计算。更具体地说，首先积分分量计算单元2424计算与从数据连续性 检测单元101提供的角度e相对应的cot0，并取计算结果作为变量 s。接下来，积分分量计算单元2424使用计算的变量s关于i=0~5的 每个计算表达式(74)右侧中显示的20个积分分量Si(x-0.5，x+0.5，y-0.5,y+0.5)的每个。也就是说，计算120个积分分量Si(x-0.5,x+0.5，y-0.5，y+0.5)。注意对于积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的该计算， 使用上面表达式(72)。随后，积分分量计算单元2424根据表达式 (75)将计算的120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的每个转 换成相应的积分分量S"l)，并且产生包括转换后的120个积分分量 Sj(l)的积分分量表。注意，步骤S2403中的处理和步骤S2404中的处理的顺序并不局 限于图81中的实例，步骤S2404中的处理可以首先执行，或者步骤 S2403中的处理和步骤S2404中的处理可以同时执行。接下来，在步骤S2405中，正则方程生成单元2425基于在步骤 S2403的处理中由输入像素值获取单元2423产生的输入像素值表， 以及在步骤S2404的处理中由积分分量计算单元2424产生的积分分 量表来产生正则方程表。特别地，在该情况下，特征Wi使用上面表达式(71)用最小二 乘法计算(但是，在表达式(70)中，使用积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5M吏用表达式(74)转换成的Sj(l))，所以与此对 应的正则方程表示为下面的表达式(76)。<formula>formula see original document page 119</formula> .(76)注意在表达式(76)中，L表示分接范围中像素编号1的最大 值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实 例中，n-5且L-19。如果我们将表达式(76)中所示的正则方程的每个矩阵定义为下 面的表达式(77) ~ (79)，正则方程表示为下面的表达式(80)。
<formula>formula see original document page 120</formula> 如表达式(78)中所示，矩阵WMAT的各个分量是待获得的特征
因此，在表达式(80)中，如果左侧的矩阵smat和右侧的矩阵 pmat被确定，矩阵wmat可以使用矩阵解法计算。
特别地，如表达式(77)中所示，矩阵Smat的各个分量可以使 用上面的积分分量Si(l)计算。也就是说，积分分量Si(l)包括在从积分 分量计算单元2424提供的积分分量表中，所以正则方程生成单元 2425可以使用积分分量表计算矩阵SMAT的每个分量。
而且，如表达式(79)中所示，矩阵PMAT的各个分量可以使用 积分分量Si(l)和输入像素值P(l)计算。也就是说，积分分量Si(l)与包 括在矩阵SMAT的各个分量中的那些相同，并且输入像素值P(l)包括 在从输入像素值获取单元2423提供的输入像素值表中，所以正则方 程生成单元2425可以使用积分分量表和输入像素值表计算矩阵PMAT 的每个分量。
因此，正则方程生成单元2425计算矩阵Smat和矩陣Pmat的毎个分量，并且将计算结果(矩阵Smat和矩陣Pmat的毎个分量)作为
正则方程表输出到近似函数生成单元2426。
当正则方程表从正则方程生成单元2425输出时，在步骤S2406 中，近似函数生成单元2426基于正则方程表计算用作上面表达式 (80)中矩阵WMAT的各个分量的特征Wi (也就是，用作二维多项式 的近似函数f(x，y)的系数Wj)。
特别地，上面表达式(80)中的正则方程可以转换为下面的表达 式(81)。
WjvjAT =SmAtPmAT …(81)
在表达式(81)中，左侧矩阵Wmat的各个分量是待荻得的特征
Wi。关于矩阵Smat和矩陣Pmat的各个分量包括在从正則方程生成羊
元2425提供的正则方程表中。因此，近似函数生成单元2426通过使 用正则方程表计算表达式(81)右侧中的矩阵来计算矩阵WMAT，并 将计算结果(特征Wi)输出到图像生成单元103。
在步骤S2407中，近似函数生成单元2426确定是否所有像素的 处理都已完成。
在步骤S2407中，如果确定所有像素的处理还没有完成，处理返 回到步骤S2402,其中随后的处理重复地执行。也就是说，没有变成 关注像素的像素顺序地取作关注像素，并且步骤S2402 S2407中的 处理重复地执行。
如果所有像素的处理都已完成(在步猓S2407中，如果确定所有
像素的处理都已完成)，现实世界l的估计处理结束。
作为二维多项式近似方法的描述，计算与空间方向(X方向和Y 方向)相对应的近似函数f(x，y)的系数(特征)Wi的实例已经使用， 但是二维多项式近似方法同样可以应用于时间和空间方向(X方向和 t方向，或者Y方向和t方向)。
也就是说，上面的实例是现实世界1中的光信号具有用梯度GF (图77)表示的空间方向上连续性，因此，公式包括例如上面表达 式(66)中所示空间方向(X方向和Y方向)上的二維积分的情况下的实例。但是，关于二维积分的概念不仅可以应用于空间方向，而
且可以应用于时间和空间方向(X方向和t方向，或者Y方向和t方 向)。
换句话说，对于二维多项式近似方法，即使在需要估计的光信号 函数F(x，y，t)不仅具有空间方向上的连续性而且具有时间和空间方向 (但是，X方向和t方向，或者Y方向和t方向)上的连续性的情况 下，这可以用二维近似函数f近似。
特别地，例如，如果存在以均匀速度在X方向上水平运动的对 象，对象运动的方向用例如图83中所示X-t平面中的梯度Vp表示。 换句话说，可以说梯度Vf表示X-t平面中时间和空间方向上连续性 的方向。因此，数据连续性检测单元101可以输出例如图83中所示
的运动e(严格地说，虽然附图中没有显示，运动e是由用与梯度
Vp相对应的梯度Vf表示的数据连续性的方向与空间方向中X方向产 生的角度)作为与表示x-t平面中时间和空间方向上连续性的梯度
Vp相对应的数据连续性信息，以及上面的角度e (与用x-y平面中
的梯度GF表示的空间方向上的连续性相对应的数据连续性信息)。
因此，使用二维多项式近似方法的现实世界估计单元102可以通
过使用运动e代替角度e，以与上面方法相同的方法计算近似函数
f(X,t)的系数(特征)Wi。但是，在该情况下，待使用的公式不是上面
的表达式(66)而是下面的表达式(82)。
<formula>formula see original document page 122</formula>82)
注意在表达式(82)中，s是cote (但是，e是运动)。
而且，注意力集中在空间方向Y而不是空间方向X上的近似函 数f(y，t)可以与上面近似函数f(x，t)相同的方法处理。
因此，二维多项式近似方法考虑不是一维而是二维积分效应，所 以可以比一维近似方法更准确地估计现实世界l中的光信号.
接下来，将参考图84至图88描迷第三函数近似方法。
也就是说，第三函数近似方法是通过用注意力集中在具有时间和 空间方向的预先确定方向上连续性的现实世界l中光信号用例如光信号函数F(x,y，t)表示的近似函数f(x，y，t)近似光信号函数F(x，y，t)，来估 计光信号函数F(x，y，t)的方法。因此，以下，第三函数近似方法称作 三维多项式近似方法。
同样，对于三维函数近似方法的描述，让我们假定传感器2是由 布置在其平面上的多个检测元件2-1构成的CCD，例如图84中所 示。
对于图84中的实例，平行于检测元件2-1的预先确定边的方向 取作用作空间方向的一个方向的X方向，并且与X方向正交的方向 取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向 取作用作时间方向的t方向。
而且，对于图84中的实例，传感器2的各个检测元件2-1的空 间形状取作一边长度为1的正方形。传感器2的快门时间(咏光时 间)取作1。
此外，对于图84中的实例，传感器2的某个检测元件2-1的中 心取作空间方向(X方向和Y方向)上的原点(X方向上位置为 x=0，且Y方向上位置为y=0)，而且曝光时间的中间时间点取作时 间方向(t方向)上的原点(t方向上位置为t=0)。
在该情况下，其中心在空间方向上原点(x=0, y=0)的检测元 件2-1使得光信号函数F(x，y，t)经历X方向上-0.5~0.5的范围，Y方向 上-0.5 0.5的范围，以及t方向上-0.5~0.5的范围的积分，并且输出
积分值作为像素值P。
也就是说，从其中心位于空间方向上原点中的检测元件2-1输出 的像素值P用下面的表达式(83)表示。
p=￡sCCF"，y，t)dxdydt ...(83)
类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取 作空间方向上的原点来输出表达式(83)中所示的像素值P。
顺便提及，如上所述，对于三维函数近似方法，光信号函数 F(x，y，t)近似成三维近似函数f(x，y,t)。
特别地，例如，近似函数f(x，y，t)取作具有N个变量(特征)的函数，与表达式(83)相对应的输入像素值P(x,y，t)与近似函数 f(x,y,t)之间的关系表达式被定义。因此，如果多个N的M个输入像 素值P(x，y,t)被获取，N个变量(特征)可以从定义的关系表达式中 计算。也就是说，现实世界估计单元102可以通过获取M个输入像 素值P(x，y，t)并且计算N个变量(特征)来估计光信号函数F(x，y，t)。
在该情况下，现实世界估计单元102通过使用包括在来自传感器 2的输入图像(输入像素值)中的数据连续性作为约束(也就是，使 用将从数据连续性检测单元101输出的关于输入图像的数据连续性信 息)从整个输入图像中选取(获取)M个输入图像P(x，y，t)。结果， 近似函数f(x，y,t)由数据的连续性所约束。
例如，如图85中所示，如果与输入图像相对应的光信号函数 F(x，y，t)具有用梯度GF表示的空间方向上的连续性，数据连续性检测 单元101导致输出角度0 (用与梯度GF相对应的梯度Gf (没有显
示)表示的数据连续性方向，与x方向之间产生的角度e)作为关于
输入图像的数据连续性信息。
在这种情况下，让我们假定光信号函数F(x，y，t)投影在X方向上 的一维波形(这种波形在这里称作X横截面波形)具有相同的形 式，即使在Y方向上任意位置处投影的情况下。
也就是说，让我们假定存在具有相同形式的X横截面波形，其 是在连续性方向(相对于X方向的角度e方向)上连续的二维(空 间方向)波形，并且这种二维波形在时间方向t上连续的三维波形用 近似函数f(x，y，t)近似。
换句话说，在Y方向上从关注像素中心以位置y移位的X横截 面波形，变成经过关注像素中心的X横截面波形在X方向上以预先
确定量(量根据角度e而变化)运动(移位)的波形。注意以下，这
种量称作移位量。
该移位量可以如下计算。
也就是说，梯度Vf (例如，表示与图85中梯度VF相对应的数 据连续性方向的梯度Vf)和角度e表示为下面的表达式(84)。dx …(84)
注意在表达式(84)中，dx表示X方向上细微运动的量，且dy 表示关于dx在Y方向上细微运动的量。
因此，如果关于X方向的移位量描述为Cx(y)，这表示为下面的 表达式(85)。
Gf …(85)
如果移位量C"y)这样定义，与表达式(83)相对应的输入像素 值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式表示为下面的表达式 (86)。
P(x，y，t)- J'〖'〖:f(x，y，t)dxdydt + e ,
在表达式(86)中，e表示误差限度。ts表示t方向上的积分开 始位置，且te表示t方向上的积分结束位置。同样地，ys表示Y方向 上的积分开始位置，且ye表示Y方向上的积分结束位置。而且，xs
表示X方向上的积分开始位置，且Xe表示X方向上的积分结束位
置。但是，各自具体积分范围如下面表达式(87)中所示。 ts = t-0.5
te = t+0.5
ys = y-0.5
ye = y+0.5
xs = x-Cx(y)-0.5
xe = x-Cx(y)+0.5 ."(87)
如表达式(87)中所示，可以表示，具有相同形式的X横截面 波形通过在X方向上以移位量Cx(y)关于位置距离关注像素空间方向 上的(x，y)的像素移位积分范围，而在连续性方向(相对于X方向的
角度e方向)上连续.
因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数 f(x，y，t)之间的关系可以用表达式(86)表示(表达式(87)为积分范 围)，因此，光信号函数F(x，y,t)(例如，具有用例如图85中所示梯度vF表示的空间方向上连续性的光信号)可以通过使用表达式 (86)和表达式(87)例如用最小二乘法计算近似函数f(x，y，t)的N 个特征来估计。
注意，如果用光信号函数F(x，y，t)表示的光信号具有用例如图85 中所示梯度VF表示的空间方向上的连续性，光信号函数F(x，y，t)可以 如下近似。
也就是说，让我们假定光信号函数F(x，y，t)投影在Y方向上的一 维波形(以下，这种波形称作Y横截面波形)具有相同的形式，即 使在X方向上任意位置处投影的情况下。
换句话说，让我们假定存在具有相同形式的Y横截面波形在连 续性方向(相对于X方向的角度e方向)上连续的二维(空间方 向)波形，并且这种二维波形在时间方向t上连续的三维波形用近似 函数f(x，y，t)近似。
因此，在X方向上从关注像素中心移位x的Y横截面波形，变 成经过关注像素中心的Y横截面波形在Y方向上以预先确定移位量
(移位量根据角度e而变化)运动的波形。
该移位量可以如下计算。
也就是说，梯度GF表示为上面表达式(84)，所以如果关于Y 方向的移位量描述为Cy(x)，这表示为下面的表达式(88)。 Cy(x) = Gfxx …(88)
如果移位量Cy(x)这样定义，与表达式(83)相对应的输入像素 值P(x，y，t)与近似函数f(x，y,t)之间的关系表达式表示为上面的表达式 (86)，与当移位量Cx(y)被定义时一样。
但是，在该情况下，各自具体积分范围如下面表达式(89)中所示。
<formula>formula see original document page 126</formula>xs = x-0.5
xe = x+0.5 …(89)
如表达式(89)(以及上面表达式(86))中所示，可以表示， 具有相同形式的Y横截面波形通过在Y方向上以移位量Cy(x)关于位 置距离关注像素(x，y)的像素移位积分范围，而在连续性方向(相对于 X方向的角度0方向)上连续。
因此，对于三维近似方法，表达式(86)右侧的积分范围不仅可 以设置为表达式(87)而且可以设置为表达式(89)，因此，光信号 函数F(x,y，t)(具有用梯度GF表示的空间方向上连续性的现实世界1 中的光信号)可以通过使用表达式(89)用作积分范围的表达式 (86)，用例如最小二乘法等计算近似函数f(x，y，t)的n个特征来估 计。
因此，表示积分范围的表达式(87)和表达式(89)基本上表示 得相同，差别仅在于周围像素响应连续性方向在X方向上移位(表 达式(87)的情况下)还是在Y方向上移位(表达式(89)的情况 下)。
但是，响应连续性方向(梯度GF)，存在关于光信号函数 F(x，y,t)看作一组X横截面波形，还是看作一组Y横截面波形的差 别。也就是说，如果连续性方向接近Y方向，光信号函数F(x，y，t)优 选地看作一组X橫截面波形。另一方面，如果连续性方向接近X方 向，光信号函数F(x，y，t)优选地看作一组Y横截面波形。
因此，优选地，现实世界估计单元102准备表达式(87)和表达 式(89)作为积分范围，并且响应连续性方向选择表达式(87)和表 达式(89)中任何一个作为适当表达式(86)右侧的积分范围。
已经描述了在光信号函数F(x，y，t)具有空间方向(X方向和Y方 向)上连续性(例如，图85中用梯度GF表示的空间方向上的连续 性)的情况下的三维近似方法，但是三维近似方法可以应用于光信号 函数F(x，y，t)具有时间和空间方向(X方向、Y方向和t方向)上连 续性(用梯度VjT表示的连续性)的情况，如图86中所示。也就是说，在图86中，与帧#]\-1相对应的光信号函数取作 F(x，y,弁N-l)，与帧弁N相对应的光信号函数取作F(x,y，#N),以及与帧 #N+1相对应的光信号函数取作F(x，y，#N+l)。
注意在图86中，附图中水平方向取作用作空间方向的一个方向 的X方向，右上对角方向取作用作空间方向的另一个方向的Y方 向，并且垂直方向取作用作时间方向的t方向。
而且，帧幷N-1是时间上在帧弁N之前的帧，帧幷N+1是时间上在 帧弁N之后的帧。也就是i兌，帧#1\-1，帧弁N，和帧弁N+1以帧#]\-1， 帧弁N和帧弁N+1的顺序显示。
对于图86中的实例，沿着梯度Vf所示的方向(从附图中接近左 下侧的右上内部方向)的横截面光度看作通常恒定。因此，对于图 86中的实例，可以说光信号函数F(x，y，t)具有用梯度VF表示的时间 和空间方向上的连续性。
在该情况下，如果表示时间和空间方向上连续性的函数C(x，y，t) 被定义，并且上面表达式(86)的积分范围用定义的函数C(x，y，t)定 义，近似函数f(x，y，t)的N个特征可以计算，与上面表达式(87)和 表达式(89)—样。
函数C(x，y，t)并不局限于特定函数，只要它是表示连续性方向的 函数。但是，以下，让我们假定使用线性连续性，并且与作为表示上 述空间方向上连续性的函数的移位量Cx(y)(表达式(85))和移位 量Cy(x)(表达式(87))相对应的Cx(t)和Cy(t)，如下定义为与此对
应的函数C(x，y，t)。
也就是说，如果作为与表示上面空间方向上数据连续性的梯度
Gf相对应的时间和空间方向上数据连续性的梯度取作Vf，并且如果
该梯度Vf划分成X方向上的梯度(以下，称作Vfx)和Y方向上的
梯度(以下，称作Vfy),则分别地，梯度Vfx用下面表达式(卯)
表示，而梯度Vfy用下面表达式(91)表示。
v丄 h dt …(90)
、=&
fydt ".(91)在该情况下，函数Cx(t)使用表达式(90)中所示的梯度Vfx表示
为下面的表达式(92)。 C,(t)-vfxxt (92)
类似地，函数Cy(t)使用表达式(91)中所示的梯度V&表示为下
面的表达式(93)。
Cy(t) = vfyxt (93)
这样，当表示时间和空间方向上连续性2511的函数C"t)和函数 Cy(t)被定义时，表达式(86)的积分范围表示为下面的表达式 (94),
ts = t-0.5
te = t+0.5
ys = y-Cy(t)-0.5
ye = y-Cy(t)+0.5
xs= x-Cx(t)-0.5
xe = x-Cx(t)+0.5 …(94)
因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数 f(x，y，t)之间的关系可以用表达式(86)表示，因此，光信号函数 F(x，y，t)(具有时间和空间方向的预先确定方向上连续性的现实世界1 中光信号)可以通过使用表达式(94)作为表达式(86)右侧的积分 范围，用例如最小二乘法等计算近似函数f(x，y，t)的n+l个特征来估 计。
图87表示使用这种三维近似方法的现实世界估计单元102的构 造实例。
注意，由使用三维近似方法的现实世界估计单元102计算的近似 函数f(x，y，t)(实际上，其特征(系数))并不局限于特定函数，但 是n (n-N-l)维多项式在下面的描述中使用。
如图87中所示，现实世界估计单元102包括条件设置单& 2521，输入图像存储单元2522，输入像素值获取单元2523，积分分 量计算单元2524,正则方程生成单元2525，以及近似函数生成单元2526。
条件设置单元2521设置用于估计对应于关注像素的光信号函数 F(x，y，t)的像素范围(分接范围)，以及近似函数f(x，y，t)的维度数目 iu
输入图像存储单元2522临时地存储来自传感器2的输入图像 (像素值)。
输入像素值获取单元2523从输入图像存储单元2522中存储的输 入图像中，获取与由条件设置单元2521设置的分接范围相对应的输 入图像区域，并且将其作为输入像素值表提供给正则方程生成单元 2525。也就是说，输入像素值表是描述包括在输入图像区域中的像素 的各个像素值的表。
顺便提及，如上所述，使用三维近似方法的现实世界估计单元 102使用上面表达式(86)(但是，表达式(87)、表达式(90)或 表达式(94)作为积分范围)用最小二乘法计算近似函数f(x，y，t)的 N个特征(在该情况下，每个维度的系数)。
表达式(86)的右侧可以通过计算其积分表示为下面的表达式 (95)。
P(x，y，t)-力WiSi(Xs，Xe，ys，ye，t"te) + e
t …(95)
在表达式(95)中，Wi表示i维项的系数(特征)，并且Si(Xs，
Xe，ys，ye，ts，te)表示i维项的积分分量。但是，分别地，Xs表示X方向
上的积分范围开始位置，、表示X方向上的积分范围结束位置，ys 表示Y方向上的积分范围开始位置，ye表示Y方向上的积分范围结
束位置，ts表示t方向上的积分范围开始位置，te表示t方向上的积 分范围结束位置。
积分分量计算单元2524计算积分分量Si(Xs， xe， ys， ye， ts， te)。 也就是说，积分分量计算单元2524基于由条件设置单元2521设 置的分接范围和维度数目，以及从数据连续性检测单元101输出的数 据连续性信息的角度或运动(作为积分范围，在使用上面表达式 (87)或表达式(卯)的情况下为角度，在使用上面表达式(5M)的情况下为运动)来计算积分分量Si(Xs， xe， ys， ye， ts， te)，并且将计算结
果作为积分分量表提供给正则方程生成单元2525。
正则方程生成单元2525产生正则方程，在使用从输入像素值获 取单元2523提供的输入像素值表，以及从积分分量计算单元2524提 供的积分分量表，用最小二乘法获得上面表达式(95)的情况下，并 且将其作为正则方程表输出到近似函数生成单元2526。正则方程的 实例将随后描述。
近似函数生成单元2526通过使用矩阵解法求解包括在从正则方 程生成单元2525提供的正则方程表中的正则方程，来计算各个特征 wi (在该情况下，用作三维多项式的近似函数f(x，y，t)的系数Wj)， 并且将这些输出到图像生成单元103。
接下来，将参考图88中的流程图描述应用三维近似方法的现实 世界估计处理(图29的步骤S102中的处理)。
首先，在步骤S2501中，条件设置单元2521设置条件(分接范
围和维度数目)。
例如，让我们假定由L个像素构成的分接范围已经设置。并 且，让我们假定预先确定的编号1 (1是整数值O-L-l的任意一个) 附加到每个像素。
接下来，在步骤S2502中，条件设置单元25M设置关注像素。 在步骤S2503中，输入像素值获取单元2523基于由条件设置单 元2521设置的条件(分接范围)获取输入像素值，并且产生输入像 素值表。在该情况下，由L个输入像素值P(x，y，t)构成的表产生。这 里，让我们假定L个输入像素值P(x，y，t)的每个描述为用作其像素编 号1的函数的P(l)。也就是说，输入像素值表变成包括L个P(l)的 表。
在步猓S2504中，积分分量计算单元2524基于由条件设置单元 2521设置的条件(分接范围和维度数目)，以及从数据连续性检测 单元101提供的数据连续性信息(角度或运动)计算积分分量，并且 产生积分分量表。但是，在该情况下，如上所述，输入像素值不是P(x，y，t)而是 P(l)，并且作为像素编号1的值而获得，所以积分分量计算单元2524 导致将上面表达式(95)中的积分分量Si(Xs， xe， ys， ye， ts， U)计算为1 的函数，例如积分分量S《1)。也就是说，积分分量表变成包括Lxi个 Si(l)的表。
注意步骤S2503中的处理和步骤S2504中的处理的顺序并不局限 于图88中的实例，所以步骤S2504中的处理可以首先执行，或者步 骤S2503中的处理和步骤S2504中的处理可以同时执行。
接下来，在步骤S2505中，正则方程生成单元2525基于在步骤 S2503的处理中由输入像素值获取单元2523产生的输入像素值表， 以及在步骤S2504的处理中由积分分量计算单元2524产生的积分分 量表来产生正则方程表。
特别地，在该情况下，与上面表达式(95)相对应的下面表达式 (96)的特征Wi使用最小二乘法计算，与此对应的正则方程表示为 下面的表达式(97)。
<formula>formula see original document page 132</formula>…(97)
如果我们将表达式(97)中所示的正则方程的每个矩阵定义为下 面的表达式(98) ~ (100)，正则方程表示为下面的表达式 (101)。
<formula>formula see original document page 132</formula>…(98)<formula>formula see original document page 133</formula>s匿w隨-p丽 ...(ioi)
如表达式(99)中所示，矩阵Wmat的各个分量是待荻得的特征
Wi。因此，在表达式(101)中，如果左侧的矩阵SMAT和右侧的矩阵 PMAT被确定，矩阵WMAT (也就是特征Wi)可以使用矩阵解法计算。
特别地，如表达式(98)中所示，矩阵SMAT的各个分量可以计 算，只要上面的积分分量Sj(l)已知。积分分量Si(l)包括在从积分分量 计算单元2524提供的积分分量表中，所以正则方程生成单元2525可 以使用积分分量表计算矩阵SMAT的每个分量。
而且，如表达式(100)中所示，矩阵Pmat的各个分量可以奸 算，只要积分分量Si(l)和输入像素值P(l)已知。积分分量S"l)与包括 在矩阵SMAT的各个分量中的那些相同，并且输入像素值P(l)包括在 从输入像素值获取单元2523提供的输入像素值表中，所以正则方程 生成单元2525可以使用积分分量表和输入像素值表计算矩阵Pmat的 每个分量。
因此，正则方程生成单元2525计算矩阵Smat和矩降Pmat的毎
个分量，并且将计算结果(矩阵Smat和矩陣Pmat的毎个分量)作为
正则方程表输出到近似函数生成单元2526。
当正则方程表从正则方程生成单元2525输出时，在步骤S2506 中，近似函数生成单元2526基于正则方程表计算用作上面表达式 (101 )中矩阵WMAT的各个分量的特征Wi (也就是，近似函数f(x，y，t)的系数Wi)。
特别地，上面表达式(101)中的正则方程可以转换为下面的表 达式(102 )。
wmat = s"a丁Pmat …(102)
在表达式(102)中，左侧矩阵WMAT的各个分量是待获得的特
征Wi。关于矩阵Smat和矩陣PMAT的各个分量包括在从正则方程生
成单元2525提供的正则方程表中。因此，近似函数生成单元2526通 过使用正则方程表计算表达式(102)右侧中的矩阵来计算矩阵 WMAT,并且将计算结果(特征Wi)输出到图像生成单元103。
在步骤S2507中，近似函数生成单元2526确定是否所有像素的 处理都已完成。
在步骤S2507中，如果确定所有像素的处理还没有完成，处理返 回到步骤S2502，其中随后的处理重复地执行。也就是iJL，没有变成 关注像素的像素顺序地取作关注像素，并且步骤S2502-S2507中的 处理重复地执行。
如果所有像素的处理都已完成(在步骤S2507中，如果确定所有 像素的处理都已完成)，现实世界l的估计处理结束。
如上所述，三维近似方法考虑时间和空间方向上的三维积分效 应，而不是一维或二维积分效应，因此，可以比一维近似方法和二维 多项式近似方法更准确地估计现实世界l中的光信号。
接下来，将参考图89至图110描述图像生成单元103 (图3 )的 实施方案。
图89是描述本实施方案原理的图。
如图89中所示，本实施方案基于现实世界估计单元102使用函 数近似方法的条件。也就是说，让我们假定用作投射到传感器2中图 像的现实世界1中的信号(光强分布)用预先确定的函数F表示， 假设现实世界估计单元102通过用使用从传感器2输出的输入图像 (像素值P)以及从数据连续性检测单元101输出的数据连续性信息 的预先确定函数f近似函数F来估计函数F。注意以下对于本实施方案的描述，用作图像的现实世界1中的信
号特别地称作光信号，并且函数F特别地称作光信号函数F。而且， 函数f特别地称作近似函数f。
对于本实施方案，图像生成单元103关于使用从数据连续性检测 单元101输出的数据连续性信息，以及基于这种假设从现实世界估计 单元102输出的现实世界估计信息(在图89中的实例中，近似函数 f的特征或者其特征被识别的近似函数f)的预先确定时间-空间范围 积分近似函数f，并且输出积分值作为输出像素值M (输出图像)。 注意对于本实施方案，输入像素值描述为P，而输出像素值描述为M 以便区分输入图像像素和输出图像像素.
换句话说，当光信号函数F —旦被积分时，光信号函数F变成 输入像素值P，光信号函数F从输入像素值P中估计(用近似函数f 近似)，估计的光信号函数F (也就是，近似函数f)再次积分，并 且产生输出像素值M。因此，以下，由图像生成单元103执行的近 似函数f的积分称作再积分。而且，本实施方案称作再积分方法。
注意如随后描述的，对于再积分方法，产生输出像素值M的情 况下近似函数f的积分范围并不局限于产生输入像素值P的情况下光 信号函数F的积分范围(也就是，对于空间方向为传感器2的检测 元件的垂直宽度和水平宽度，对于时间方向为传感器2的曝光时 间)，任意积分范围可以使用，
例如，在产生输出像素值M的情况下，改变近似函数f的积分 范围的空间方向上积分范围使得根据其积分范围的输出图像的像素间 距改变。也就是i^，空间分辨率的创建可用。
同样地，例如，在产生输出像素值M的情况下，改变近似函数f 的积分范围的时间方向上积分范围引起时间分辨率的创建。
以下，将参考附图分别描述这种再积分方法的三种具体方法.
也就是说，三种具体方法是分别与函数近似方法的三种具体方法 (现实世界估计单元102的实施方案的上面三种具体实例)相对应的 再积分方法。特别地，第一方法是与上面一维近似方法(函数近似方法的一种 方法)相对应的再积分方法。因此，对于第一方法，执行一维再积 分，所以以下，这种再积分方法称作一维再积分方法。
第二方法是与上面二维多项式近似方法(函数近似方法的一种方 法)相对应的再积分方法。因此，对于第二方法，执行二维再积分， 所以以下，这种再积分方法称作二维再积分方法。
第三方法是与上面三维近似方法(函数近似方法的一种方法)相 对应的再积分方法。因此，对于第三方法，执行三维再积分，所以以
下，这种再积分方法称作三维再积分方法。
以下，将以该顺序描述一维再积分方法、二维再积分方法和三维 再积分方法的每个细节。
首先，将描述一维再积分方法，
对于一维再积分方法，假设近似函数f(X)使用一维近似方法产生。
也就是说，假设其变量为三维空间上的位置x， y和z，以及时 间点t的光信号函数F(x，y,t)投影在用作空间方向的X方向、Y方向 和Z方向以及用作时间方向的t方向的预先确定方向(例如X方 向)上的一维波形(对于再积分方法的描述，在这种波形的X方向 上投影的波形称作X橫截面波形F(x))，使用用作n维(n是任意 整数)多项式的近似函数f(x)近似。
在该情况下，对于一维再积分方法，输出像素值M例如下面的
表达式(103)计算。
M-G冲, (103)
注意在表达式(103)中，Xs表示积分开始位置，Xe表示积分结 束位置。而且，Ge表示预先确定的增益，
特别地，例如，让我们假定现实世界估计单元102已经使用例如
图90中所示的像素3101 (与传感器2的预先确定检测元件相对应的 像素3101)作为关注像素来产生例如图90中所示的近似函数f(x) (X横截面波形F(x)的近似函数f(x))。注意对于图90中的实例，像素3101的像素值(输入像素值)取 作P，并且像素3101的形状取作一边长度为1的正方形。而且，在 空间方向中，与像素3101的一边平行的方向(附图中水平方向)取 作X方向，而与X方向正交的方向(附图中垂直方向)取作Y方 向。
而且，在图90的下部，像素3101的中心取作其原点的空间方向 (X方向和Y方向)上的坐标系(以下，称作关注像素坐标系)， 以及坐标系中的像素3101被显示。
此外，在图90的向上方向，表示y-0处的近似函数f(x)的曲线 图(y是在附图中下部所示的关注像素坐标系中Y方向上的坐标值) 被显示。在该曲线图中，与附图中水平方向平行的轴是与附图中下部 所示的关注像素坐标系的X方向上的x轴相同的轴(原点也相 同)，而且与附图中垂直方向平行的轴取作表示像素值的轴。
在该情况下，下面表达式(104)的关系在近似函数f(x)与像素 3101的^f象素值P之间成立。
<formula>formula see original document page 137</formula> …(104)
而且，如图90中所示，让我们假定像素3101具有用梯度Gf表 示的空间方向上的数据连续性。此外，让我们假定数据连续性检测单 元IOI (图89)已经输出例如图90中所示的角度e作为与用梯度Gf 表示的数据连续性相对应的数据连续性信息。
在该情况下，例如，对于一维再积分方法，如图91中所示，四 个像素3111~3114可以在X方向上-0.5~0.5的范围内，以及在Y方向 上-0.5 0.5的范围内(图90中像素3101位于其中的范围内)重新创 建。
注意在图91的下部，与图90中相同的关注像素坐标系，以及其 关注像素坐标系中的像素3111~3114被显示。同样，在图91的上 部，与图卯中相同的曲线图(表示y-O处近似函数f(x)的曲线图) 被显示。
特别地，如图91中所示，对于一维再积分方法，使用下面表达式(105)的像素3111的像素值M(l)的计算，使用下面表达式 (106 )的像素3112的像素值M(2)的计算，使用下面表达式(107 ) 的像素3113的像素值M(3)的计算，以及使用下面表达式(108)的 像素3114的像素值M(4)的计算分别可用。
M(l)-2x 「"f(x)dx
A" …(105)
M(2)-2x『"f(x)dx
M(3)-2x f"f(x)dx
A" …(107)
M(4)-2x『"f(x)dx
A" …(108)
注意表达式(105)中的xsl，表达式(106)中的xs2，表达式
(107)中的xs3，和表达式(108)中的x"每个代表相应表达式的积
分开始位置。而且，表达式(105)中的xel，表达式(106)中的
xe2，表达式(107)中的xe3，和表达式(108)中的Xe4每个代表相应
表达式的积分结束位置。
表达式(105)至表达式(108)每个右侧的积分范围变成像素
3111至像素3114的每个的像素宽度(X方向上的长度)。也就是
{兌，Xel-Xsl， Xe2-Xs2, Xe3-Xs3,以及X"醫X"的每个变成0.5。
但是，在该情况下，可以设想与y=0处的近似函数f(x)具有相同 形式的一维波形不是在Y方向上而是在用梯度Gf表示的数据连续性 方向(也就是角度e方向)上连续(实际上，与y=0处的X横截面 波形F(x)具有相同形式的波形在连续性方向上连续)。也就是^C，在 图91中关注像素坐标系中原点(O，O)(图90中像素M01的中心)中 像素值f(O)取作像素值fl的情况下，像素值fl连续的方向不是Y方 向而是用梯度Gf表示的数据连续性的方向(角度e方向).
换句话说，在考虑Y方向上预先确定位置y (但是，y是除零以 外的数值)中近似函数f(x)的波形的情况，与像素值fl相对应的位 置不是位置(O，y)，而是通过在X方向上以预先确定的量从位置(O，y) 运动而获得的位置(C,(y)， y)(这里，让我们假定这种量也称作移位 量。而且，移位量是取决于Y方向上位置y的量，所以让我们假定该移位量描述为Cx(y))。
因此，作为上面表达式(105)至表达式(108)每个右侧的积分 范围，积分范围需要考虑待获得的像素值M(l)的中心存在于那里 (但是，1是1 4的任意整数值)的Y方向上的位置y，也就是移位 量Cx(y)而设置。
特别地，例如，像素3111和像素3112的中心存在于那里的Y 方向上的位置y不是y-0而是y-0.25。
因此，y==0.25处近似函数f(x)的波形相当于通过在X方向上以移 位量C"0.25)运动y=0处近似函数f(x)的波形而获得的波形。
换句话说，在上面表达式(105)中，如果我们假定关于像素 3111的像素值M(l)通过用预先确定的积分范围(从开始位置xsl到 结束位置xel)积分y=0处的近似函数f(x)而获得，其积分范围不是 变成从开始位置xsl=-0.5到结束位置xel=0的范围(像素3111在X 方向上占据的范围本身)，而是图91中所示的范围，也就是从开始 位置Xs尸-0.5+Cx(0.25)到结束位置xel=0+Cx(0.25)(如果像素3111尝 试以移位量Cx(0.25)运动，则为^f象素3111在X方向上占据的范 围)。
类似地，在上面表达式(106)中，如果我们假定关于像素3112 的像素值M(2)通过用预先确定的积分范围(从开始位置Xs2到结束位 置xe2)积分y-O处的近似函数f(x)而获得，其积分范围不是变成从 开始位置xs2=0到结束位置xe2=0.5的范围(像素3112在X方向上占 据的范围本身)，而是图91中所示的范围，也就是从开始位置 Xs产0+Cx(0.25)到结束位置xe2=0.5+Cx(0.25)(如果像素3112尝试以移 位量Q(0.25)运动，则为像素3112在X方向上占据的范围)。
而且，例如，像素3113和像素3114的中心存在于那里的Y方 向上的位置y不是y-0而是y=-0.25。
因此，y=-0.25处近似函数f(x)的波形相当于通过在X方向上以 移位量CJ-0.25)运动y=0处的近似函数f(x)的波形而获得的波形。
换句话说，在上面表达式(107)中，如果我们假定关于像素3113的像素值M(3)通过用预先确定的积分范围(从开始位置Xs3到 结束位置xe3)积分y=0处的近似函数f(x)而获得，其积分范围不是 变成从开始位置Xs3=-0.5到结束位置xe3=0的范围(像素3113在X 方向上占据的范围本身)，而是图91中所示的范围，也就是从开始 位置乂83=-0.5+<:"-0.25)到结束位置xe3-0+Cx(-0.25)(如果像素3113 尝试以移位量Cx(-0.25)运动，则为像素3113在X方向上占据的范 围)。
类似地，在上面表达式(108)中，如果我们假定关于像素3114 的像素值M(4)通过用预先确定的积分范围(从开始位置Xs4到结束位 置xe4)积分y-O处的近似函数f(x)而获得，其积分范围不是变成从 开始位置xs4=0到结束位置xe4=0.5的范围(像素3114在X方向上占 据的范围本身)，而是图91中所示的范围，也就是从开始位置 Xs4-0+Cx(-0.25)到结束位置xe4-0.5+Cx(-0.25)(如果像素3114尝试以 移位量Cx(-0.25)运动，则为像素3114在X方向上占据的范围)。
因此，图像生成单元103 (图89)通过将上面积分范围的相应积 分范围代入这些表达式的每个而计算上面表达式(105)至表达式 (108),并且输出这些的计算结果作为输出像素值M(1) M(4)。
这样，图像生成单元103可以通过使用一维再积分方法创建比输 出像素3101具有更高空间分辨率的四个像素，也就是像素Mil至像 素3114 (图91)，作为来自传感器2 (图89)的输出像素MOl (图 90)处的像素。此外，虽然附图中没有显示，如上所述，除像素 3111至像素3114之外，图像生成单元103可以通过适当地改变积分 范围而创建具有关于输出像素3101的任意增强空间分辨率的像素而 不退化。
图92表示使用这种一维再积分方法的图像生成单元103的构造 实例，
如图92中所示，该实例中所示的图像生成单元103包括条件设 置单元3121，特征存储单元3122，积分分量计算单元以及输 出像素值计算单元3124.条件设置单元3121基于从现实世界估计单元102提供的现实世 界估计信息(图92中实例中近似函数f(x)的特征)来设置近似函数 f(x)的维度数目n。
条件设置单元3121也设置再积分近似函数f(x)的情况下(计算 输出像素值的情况下)的积分范围。注意，由条件设置单元3121设 置的积分范围不需要是像素的宽度。例如，近似函数f(x)在空间方向 (X方向)上积分，因此，具体积分范围可以确定，只要输出像素 (待由图像生成单元103计算的像素)相对于来自传感器2 (图89) 的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。 因此，条件设置单元3121可以设置例如空间分辨能力为积分范围。
特征存储单元3122临时存储从现实世界估计单元102顺序提供 的近似函数f(x)的特征。随后，当特征存储单元3122存储近似函数 f(x)的全部特征时，特征存储单元3122产生包括近似函数f(x)的全部 特征的特征表，并且将其提供给输出像素值计算单元3124。
顺便提及，如上所述，图像生成单元103使用上面表达式
(103)计算输出像素值M，但是包括在上面表达式(103)右侧中
的近似函数f(x)具体地表示为下面的表达式(109)。
f(x)-xx'dx
S …(109)
注意在表达式(109)中，Wi表示从现实世界估计单元102提供
的近似函数f(x)的特征。
因此，当表达式(109)的近似函数f(x)代入上面表达式(103)
右侧的近似函数f(x)以便展开(计算)表达式(103)的右侧时，输
出像素值M表示为下面的表达式(110)。
M = Ge x三Wi x丄
i=0
i + l
…(110)
在表达式(110)中，ki(Xs，Xe)表示i维项的积分分量。也就是 说，积分分量kj(Xs,Xe)例如下面表达式(111)中所示。<formula>formula see original document page 142</formula>
i + l ...(111) 积分分量计算单元3123计算积分分量ki(xs，xe)。
特别地，如表达式(111)中所示，积分分量ki(Xs,Xe)可以计算， 只要积分范围的开始位置Xs和结束位置Xe，增益Ge，以及i维项的i
已知，
这些中，增益Ge用由条件设置单元3121设置的空间分辨能力
(积分范围)确定。
i的范围用由条件设置单元3121设置的维度数目n确定。
而且，积分范围的开始位置Xs和结束位置Xe的每个用从现在起
产生的输出像素的中心像素位置(x，y)和像素宽度，以及表示数据连续 性方向的移位量C"y)确定。注意(x，y)表示当现实世界估计单元102 产生近似函数f(x)时距离关注像素中心位置的相对位置。
此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度 的每个用由条件设置单元3121设置的空间分辨能力(积分范围)确 定。
而且，对于移位量Cx(y),以及从数据连续性检测单元101提供
的角度e，例如下面表达式(112)和表达式(113)的关系成立，因
此移位量Cx(y)用角度0表示。
<formula>formula see original document page 142</formula>
注意在表达式(112)中，Gf表示代表数据连续性方向的梯度， e表示从数据连续性检测单元101 (图89)输出的数据连续性信息之 一的角度(用作空间方向一个方向的X方向与用梯度Gf表示的数据 连续性方向之间产生的角度)，而且，dx表示X方向上细微运动的 量，且dy表示关于dx在Y方向(垂直于X方向的空间方向)上细 微运动的量。
因此，积分分量计算单元3123基于由条件设置单元3121设置的 维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元ioi输出的数据连续性信息的角度e计算积分分量ki(Xs，Xe)，并将计
算结果作为积分分量表提供给输出像素值计算单元3124。
输出像素值计算单元3124使用从特征存储单元3122提供的特征
表以及从积分分量计算单元3123提供的积分分量表来计算上面表达
式(110)的右侧，并且输出计算结果作为输出像素值M。
接下来，将参考图93中的流程图描述使用一维再积分方法的图
像生成单元103 (图92)的图像生成处理(图29的步骤S103中的处理)。
例如，现在让我们假定现实世界估计单元102已经在上述图29 中步骤S102的处理中产生例如图90中所示的近似函数f(x),当取例 如上述图90中所示像素3101作为关注像素时。
而且，让我们假定数据连续性检测单元101已经在上述图29中 步骤S101的处理中输出例如图90中所示的角度e作为数据连续性 信息。
在该情况下，条件设置单元3121在图93的步骤S3101中设置条 件(维度数目和积分范围)。
例如，现在让我们假定5已经设置为维度数目，而且空间四倍密 度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能 力)已经设置为积分范围。
也就是说，在该情况下已经设置四个像素3111至像素3114在X 方向上-0.5 0.5的范围内，以及Y方向上-0.5 0.5的范围内(图90中 像素3101的范围内)重新创建，例如图91中所示。
在步骤S3102中，特征存储单元3122获取从现实世界估计单元 102提供的近似函数f(x)的特征，并产生特征表。在该情况下，用作
五维多项式的近似函数f(X)的系数Wo Ws从现实世界估计单元102提 供，因此，(W。， W!， W2， W3， W4， W5)作为特征表产生。
在步骤S3103中，积分分量计算单元3123基于由条件设置单元 3121设置的条件(维度数目和积分范围)，以及从数据连续性检测 单元101提供的数据连续性信息(角度e)计算积分分量，并产生积分分量表。
特别地，例如，如果我们假定从现在起产生的各个像素
3111 3114附加编号1 4 (以下，这种编号称作模数)，积分分量计
算单元3123将上面表达式(111)的积分分量ki(Xs，Xe)计算为1的函
数(但是，l表示模数)，例如下面表达式(114)左侧中所示的积分 分量ki(l)。
k"l) = ki(Xs，Xe) ".(114)
特别地，在该情况下，下面表达式(115)中所示的积分分量ki(l) 被计算。
kj(l) = ki(-0.5-Cx(-0.25), 0-Cx(-0.25))
k"2) = ki(0-Cx(-0.25)， 0.5-Cx(-0.25))
k"3) = ki(國0.5-Cx(0.25)， 0-Cx(0.25))
ki(4) = ki(0-C寬(0.25)， 0,5-Cx(0.25)) …(115)
注意在表达式(115)中，左侧表示积分分量kj(l)，而右侧表示 积分分量ki(xs，xe)。也就是说，在该情况下，1是1 4的任何一个，丙 且i是0 5的任何一个，因此6个ki(1)， 6个ki(2)， 6个ki(3)和6个 ki(4)总共24个ki(l)被计算。
更具体地说，首先，积分分量计算单元3123使用从数据连续性 检测单元101提供的角度e从上面表达式(II2)和表达式(II3)中 计算移位量Q(-0.25)和Cx(0.25)的每个。
接下来，积分分量计算单元3123使用计算的移位量Cx(-(us)和 Cx(0.25)关于i-0~5计算表达式(115)中四个表达式的每个右侧的积
分分量ki(Xs,Xe)。注意对于积分分量ki(Xs，Xe)的该计算，使用上面表达
式(111)。
随后，积分分量计算单元3123根据表达式(115)将计算的M
个积分分量ki(Xs，Xe)的每个转换成相应的积分分量k;(l)，并且产生包
括转换后的24个积分分量kj(l)(也就是，6个ki(l)， 6个ki(2)， 6个 ki(3),以及6个ki(4))的积分分量表。
注意，步骤S3102中的处理和步骤S3103中的处理的顺序并不局限于图93中的实例，步骤S3103中的处理可以首先执行，或者步骤 S3102中的处理和步骤S3103中的处理可以同时执行。
接下来，在步骤S3104中，输出像素值计算单元3124基于在步 骤S3102的处理中由特征存储单元3122产生的特征表，以及在步骤 S3103的处理中由积分分量计算单元3123产生的积分分量表，分别 计算输出像素值M(1) M(4)。
特别地，在该情况下，输出像素值计算单元3124通过计算与上
面表达式(110)相对应的下面表达式(116)至表达式(119)的右
侧来计算像素3111 (模数1的像素)的像素值M(l)，像素3112 (模
数2的像素)的像素值M(2)，像素3113 (模数3的像素)的像素值
M(3)，以及像素3114 (模数4的像素)的像素值M(4)的每个。
M(l)-twjki(l)
^ …(116)
M(2) = ￡Wiki(2)
M(3) = twiki(3) M(4)-t一i(4)
…(117) …(118)
i=0
…(119)
在步骤S3105中，输出像素值计算单元3124确定是否所有像素 的处理都已完成。
在步骤S3105中，如果确定所有像素的处理还没有完成，处理返 回到步骤S3102,其中随后的处理重复地执行。也就是说，没有变成 关注像素的像素顺序地取作关注像素，并且步骤S3102 S3104中的 处理重复地执行。
如果所有像素的处理都已完成(在步骤S3105中，如果确定所有 像素的处理都已完成)，输出像素值计算单元3124在步骤S3106中 输出图像。然后，图像生成处理结束，
接下来，将参考图94至图101描述关于预先确定的输入图像， 通过使用 一维再积分方法而获得的输出图像与使用另 一种方法(常规 分类适应处理)而获得的输出图像之间的差异。图94是说明输入图像的原始图像的图，并且图95说明与图94 中原始图像相妗应的图像数据。在图95中，附图中垂直方向上的轴 表示像素值，并且附图中右下方向上的轴表示用作图像空间方向的一 个方向的X方向，以及附图中右上方向上的轴表示用作图像空间方 向的另一个方向的Y方向。注意，随后描迷的图97，图99和图101 中的各个轴对应于图95中的轴。
图96是说明输入图像实例的图。图96中说明的输入图像是通过 取属于图94中所示2x2像素构成的块的像素的像素值的平均作为一 个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方 向上积分图94中所示图像而获得的图像，其模仿传感器的积分性 质。而且，图97说明与图96中输入图像相对应的图像数据。
图94中说明的原始图像包括从垂直方向顺时针倾斜大约5°的细 线图像。类似地，图96中说明的输入图像包括从垂直方向顺时针倾 斜大约5。的细线图像。
图98是说明通过使图96中说明的输入图像经历常规类型分类适 应处理而获得的图像(以下，图98中说明的图像称作常规图像)的 图。而且，图99说明与常规图像相对应的图像数据。
注意，类型分类适应处理由分类处理和适应处理构成，数据由类 型分类处理基于其性质分类，并且对每一类经历适应处理，如上所 述。对于适应处理，例如，低质量或标准质量图像经历使用预先确定 分接系数的映射以便转换成高质量图像。
图100是说明通过对图96中说明的输入图像应用一维再积分方 法而获得的再积分图像(以下，图100中说明的图像称作图像)。而 且，图101说明与再积分图像相对应的图像数据。
可以理解，当图98中的常规图像与图100中的再积分图像相比 较时，常规图像中的细线图像不同于图94中原始图像中，但是另一 方面，再积分图像中的细线图像几乎与图94中原始图像中相同，
该差异由如下差异引起，即常规类型分类适应处理是在图96中 输入图像的基础(始点)上执行处理的方法，而另一方面， 一维再积分方法是考虑到细线的连续性估计图94中的原始图像(产生与原始 图像相对应的近似函数f(x))，并且在估计的原始图像的基础(始
点)上执行处理(执行再积分以便计算像素值)的方法。
因此，使用一维再积分方法，输出图像(像素值)通过在用作用
一维近似方法产生的一维多项式的近似函数f(x)(现实世界中X横截
面波形F(x)的近似函数f(x))的基础(始点)上在任意范围中积分近
似函数f(x)而产生。
因此，使用一维再积分方法，输出与常规其他方法相比较更近似
于原始图像(将投射到传感器2中的现实世界l中的光信号)的图像
成为可能。
而且，对于一维再积分方法，如上所述，积分范围是任意的，因 此，通过改变积分范围而创建不同于输入图像分辨率的分辨率(时间 分辨率或空间分辨率)成为可能。也就是说，产生具有相对于输入图
像分辨率的任意增强分辨率以及整数值的图像成为可能。
此外， 一维再积分方法能够使用比其他再积分方法更少的积分处
理量来计算输出图像(像素值)。
接下来，将参考图102至图108描述二维再积分方法。 二维再积分方法基于近似函数f(x，y)已经使用二维多项式近似方
法产生的条件。
也就是说，例如，假设表示具有用梯度GF表示的空间方向上连 续性的现实世界1 (图89)中光信号的图像函数F(x，y，t)已经用投影 在空间方向(X方向和Y方向)上的波形近似，也就是X-Y平面上 的波形F(x，y)已经使用用作n维(n是任意整数)多项式的近似函数 f(x，y)近似，例如图102中所示。
在图102中，在附图中分别地，水平方向表示用作空间方向中一 个方向的X方向，右上方向表示用作空间方向中另一个方向的Y方 向，以及垂直方向表示光度。GF表示作为空间方向上连续性的梯 度。
注意对于图102中的实例，连续性方向取作空间方向(X方向和Y方向)，所以待近似的光信号的投影函数取作函数F(x，y)，但是如 随后描述的，函数F(x，t)或函数F(y，t)可以4艮据连续性方向而作为近 似目标。
在图102中的实例的情况下，对于二维再积分方法，输出像素值
M如下面的表达式(120)计算。
M-Ge《〖:f(x，y)dxdy …,
注意在表达式(120)中，ys表示Y方向上的积分开始位置，且 ye表示Y方向上的积分结束位置。类似地，&表示X方向上的积分
开始位置，且Xe表示X方向上的积分结束位置，而且，Ge表示预先
确定的增益。
在表达式(120)中，积分范围可以任意地设置，因此，使用二 维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素 (来自传感器(图89)的输入图像的像素)的任意增强空间分辨率 的像素而不退化成为可能。
图103表示使用二维再积分方法的图像生成单元103的构造实例。
如图103中所示，该实例中的图像生成单元103包括条件设置单 元3201，特征存储单元3202，积分分量计算单元3203，以及输出像 素值计算单元3204。
条件设置单元3201基于从现实世界估计单元102提供的现实世 界估计信息(对于图103中的实例，近似函数f(x，y)的特征)来设置 近似函数f(x，y)的维度数目n。
条件设置单元3201也设置再积分近似函数f(x，y)的情况下(计算 输出像素值的情况下)的积分范围。注意，由条件设置单元3201设 置的积分范围不需要是像素的垂直宽度或水平宽度。例如，近似函数 f(x，y)在空间方向(X方向和Y方向)上积分，因此，具体积分范围 可以确定，只要输出像素(从现在起由图像生成单元103产生的像 素)相对于来自传感器2的输入图像的每个像素空间大小的相对大小 (空间分辨能力)已知。因此，条件设置单元3加1可以设置例如空间分辨能力为积分范围。
特征存储单元3202临时存储从现实世界估计单元102顺序提供 的近似函数f(x，y)的特征。随后，当特征存储单元3202存储近似函数 f(x，y)的全部特征时，特征存储单元3202产生包括近似函数f(x，y)的 全部特征的特征表，并且将其提供给输出像素值计算单元3204。
现在，将描述近似函数f(x，y)的细节。
例如，现在让我们假定具有用上述图102中所示梯度Gf表示的 空间方向上连续性的现实世界1 (图89)中光信号(用波F(x，y)表示 的光信号)已经由传感器2(图89)检测，并且已经作为输入图像 (像素值)而输出。
此外，例如让我们假定数据连续性检测单元101 (图3)已经使 得由该输入图像的X方向上4个像素以及Y方向上5个像素总共20 个像素(附图中用虛线表示的20个正方形)构成的输入图像的区域 3221经历其处理，并且已经输出角度e (用与梯度GF相对应的梯度 Gf表示的数据连续性方向与X方向之间产生的角度e)作为数据连 续性信息之一，如图104中所示。
注意，如从现实世界估计单元102看出，数据连续性检测单元
ioi应当仅输出关注像素处的角度e，因此，数据连续性检测单元
101的处理区域并不局限于输入图像中上面的区域3221。
而且，对于输入图像中的区域3221,附图中水平方向表示用作
空间方向的一个方向的X方向，而附图中垂直方向表示用作空间方
向的另一个方向的Y方向。
而且，在图104中，作为从左起第二像素以及从底部起第三像素
的像素取作关注像素，并且(x，y)坐标系被设置以便取关注像素的中心
作为原点(O，O)。 X方向上关于经过原点(o，o)具有角度e的直线(表示
数据连续性方向的梯度Gf的直线)的相对距离(以下，称作横截面 方向距离)取作x，。
此外，在图104中，右侧的曲线图表示用作n维(n是任意整 数)多项式的近似函数f(x，)，其是近似其变量为三维空间上的位置x, y和z，以及时间点t的图像函数F(x，y，t)在Y方向上任意位置y 处投影在X方向上的一维波形(以下，称作X横截面波形F(x'))的 函数。右侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向 距离，而附图中垂直方向上的轴表示像素值。
在该情况下，图104中所示近似函数f(x，)是n维多项式，所以表 示为下面的表达式(121)。
/(x') = w0 +，'+ 2"'2 + + ^ ;^" = 2^, …(121)
,.=0
而且，因为角度e确定，经过原点(o，o)具有角度e的直线唯一确
定，并且在Y方向上任意位置y处直线的X方向上的位置x!表示为 下面的表达式(122)。但是，在表达式(122)中，s代表cote。
、=8" …(122)
也就是说，如图104中所示，与用梯度Gf表示的数据连续性相 对应的直线上的点用坐标值(x,，y)表示。
横截面方向距离x，使用表达式(122 )表示为下面的表达式
(123)。
X'=x — X|-x-sxy …(123)
因此，输入图像区域3221中任意位置(x，y)处的近似函数f(x,y)使 用表达式(121)和表达式(123)表示为下面的表达式(l24)。
/"j) = 1>,.(h")' …(124)
注意在表达式(124)中，Wi表示近似函数f(x，y)的系数。 现在，描述将返回到图103，其中包括在表达式(l24)中的特 征w,从现实世界估计单元102提供，并且存储在特征存储单元3加2 中，当特征存储单元3202存储用表达式(l24)表示的所有特征Wj 时，特征存储单元3202产生包括所有特征Wi的特征表，并且将其提 供给输出像素值计算单元3204,
而且，当上面表达式(120)的右侧通过将表达式(l24)的近似 函数f(x，y)代入表达式(120)右侧中的近似函数f(x，y)而展开(计 算)时，输出像素值M表示为下面的表达式(l25)。<formula>formula see original document page 151</formula>
i.=0
(125)
在表达式(125)中，ki(x"Xe，ys,ye)表示i维项的积分分量。也就 是说，积分分量kj(Xs，Xe，ys,ye)例如下面表达式(126)中所示。
<formula>formula see original document page 151</formula>
积分分量计算单元3203计算积分分量ki(xs，xe，ys，ye)。 特别地，如表达式(125)和表达式(126)中所示，积分分量 ki(Xs，Xe，y"ye)可以计算，只要积分范围的X方向上开始位置&和X方 向上结束位置xe，积分范围的Y方向上开始位置ys和Y方向上结束 位置ye，增益Ge，以及i维项的i已知。
这些中，增益Ge用由条件设置单元3201设置的空间分辨能力
(积分范围)确定。
i的范围用由条件设置单元3201设置的维度数目ii确定。
变量s如上所述是cote,所以用从数据连续性检测单元101输出
的角度e确定。
而且，积分范围的X方向上开始位置Xs和X方向上结束位置 xe，以及积分范围的Y方向上开始位置ys和Y方向上结束位置ye的 每个用从现在起产生的输出像素的中心像素位置(x，y)和像素宽度确 定，注意(x，y)表示当现实世界估计单元102产生近似函数f(x)时距离 关注像素中心位置的相对位置。
此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度 的每个用由条件设置单元3201设置的空间分辨能力(积分范围)确 定。
因此，积分分量计算单元3203基于由条件设置单元3201设置的 维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元101输出的数据连续性信息的角度e计算积分分量ki(Xs，Xe，ys，ye)，并 将计算结果作为积分分量表提供给输出像素值计算单元3204。
输出像素值计算单元3204使用从特征存储单元3202提供的特征 表以及从积分分量计算单元3203提供的积分分量表来计算上面表达 式(125)的右侧，并且将计算结果作为输出像素值M输出到外部。
接下来，将参考图105中的流程图描述使用二维再积分方法的图 像生成单元103 (图104)的图像生成处理(图29的步骤S103中的 处理)。
例如，让我们假定用图102中所示函数F(x，y)表示的光信号已经 投射到传感器2中以变成输入图像，并且现实世界估计单元102已经 在上述图29中步骤S102的处理中以例如图106中所示一个像素 3231作为关注^^素产生用于近似函数F(x，y)的近似函数f(x，y)。
注意在图106中，像素3231的像素值(输入像素值)取作P， 并且像素3231的形状取作一边长度为1的正方形。而且，在空间方 向中，与像素3231的一边平行的方向取作X方向，而与X方向正交 的方向取作Y方向。而且，其原点为像素3231中心的空间方向(X 方向和Y方向)上坐标系(以下，称作关注像素坐标系)被设置。
而且，让我们假定在图106中，取像素3231作为关注像素的数 据连续性检测单元101已经在上述图29中步骤S101的处理中输出角 度0作为与用梯度Gf表示的数据连续性相对应的数据连续性信息。
描述将返回到图105，在该情况下，条件设置单元3201在步骤 S3201处设置条件(维度数目和积分范围)。
例如，现在让我们假定5已经设置为维度数目，而且空间四倍密 度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能 力)已经设置为积分范围。
也就是说，在该情况下已经设置四个像素3241至像素3244在X 方向上-0.5 0.5的范围内，以及Y方向上-0.5~0.5的范围内(图106 中像素3231的范围内)重新创建，例如图107中所示。注意同样在 图107中，与图106中相同的关注像素坐标系被显示。而且，在图107中，M(l)表示从现在起产生的像素3241的像素 值，M("表示从现在起产生的像素3242的像素值，M(3)表示从现在 起产生的像素3243的像素值，以及M(4)表示从现在起产生的像素 3244的像素值。
描述将返回到图105,在步骤S3202中，特征存储单元3202获 取从现实世界估计单元102提供的近似函数f(x，y)的特征，并且产生 特征表。在该情况下，用作5维多项式的近似函数f(X)的系数Wo W5 从现实世界估计单元102提供，因此，(wo， w" w2， w3, w4， ws)作为特 征表产生。
在步骤S3203中，积分分量计算单元3203基于由条件设置单元 3201设置的条件(维度数目和积分范围)，以及从数据连续性检测 单元101提供的数据连续性信息(角度e)计算积分分量，并产生积 分分量表。
特别地，例如，让我们假定编号(以下，这种编号称作模数) 1 4分别附加到从现在起产生的像素3241至像素3244，积分分量计 算单元3203将上面表达式(125)的积分分量ki(Xs,Xe，ys，ye)计算为1 的函数(但是，l表示模数)，例如下面表达式(127)的左侧中所示 的积分分量ki(l)。
k"l) = ki(xs，xe，ys，ye) …(127)
特别地，在该情况下，下面表达式(128)中所示的积分分量ki(l)
被计算。
ki(l) = ki(-0.5， 0， 0， 0.5)
k"2) = ki(O， 0.5， 0, 0.5)
k"3) = ki(-0.5， 0， -0.5， 0)
k州=ki(O， 0.5，-0.5， 0) …(128)
注意在表达式(128)中，左侧表示积分分量ki(l)，而右侧表示 积分分量ki(xs，xe，ys,ye)。也就是说，在该情况下，1是1~4的任何一 个，而且i是0 5的任何一个，因此6个ki(1)， 6个ki(2), 6个ki(3) 和6个k"4)总共24个ki(l)被计算。更具体地说，首先，积分分量计算单元3203使用从数据连续性 检测单元101提供的角度0计算上面表达式(122)的变量s (s=cot0)。
接下来，积分分量计算单元3203使用计算的变量s关于i=0 5 计算表达式(128)中四个表达式的每个右侧的积分分量 ki(xs，xe，ys，ye)。注意对于积分分量ki(Xs，Xe,y"ye)的该计算，使用上面表 达式(125)。
随后，积分分量计算单元3203根据表达式(128)将计算的24 个积分分量ki(Xs，Xe，ys，ye)的每个转换成相应的积分分量kj(l)，并且产 生包括转换后的24个积分分量ki(l)(也就是，6个k"l)， 6个 ki(2)， 6个ki(3)，以及6个k"4))的积分分量表。
注意，步骤S3202中的处理和步骤S3203中的处理的顺序并不局 限于图105中的实例，步骤S3203中的处理可以首先执行，或者步, S3202中的处理和步骤S3203中的处理可以同时执行。
接下来，在步骤S3204中，输出像素值计算单元3204基于在步 骤S3202的处理中由特征存储单元3202产生的特征表，以及在步骤 S3203的处理中由积分分量计算单元3203产生的积分分量表，分别 计算输出像素值M(1) M(4)。
特别地，在该情况下，输出像素值计算单元3204通过计算与上
面表达式(125)相对应的下面表达式(129)至表达式(132)的右
侧来计算像素3241 (模数1的像素)的像素值M(l),像素3242 (模
数2的像素)的像素值M(2)，像素3243 (模数3的像素)的像素值
M(3)，以及像素3244 (模数4的像素)的像素值M(4)的每个。
<formula>formula see original document page 154</formula>但是，在该情况下，表达式(129)至表达式(132)的每个n变 成5。
在步骤S3205中，输出像素值计算单元3204确定是否所有像素 的处理都已完成。
在步骤S3205中，如果确定所有像素的处理还没有完成，处理返 回到步骤S3202，其中随后的处理重复地执行。也就是说，没有变成 关注像素的像素顺序地取作关注像素，并且步骤S3202 S3204中的 处理重复地执行。
如果所有像素的处理都已完成(在步骤S3205中，如果确定所有 像素的处理都已完成)，输出像素值计算单元3204在步骤S3206中 输出图像。然后，图像生成处理结束。
因此，比输入像素3231具有更高空间分辨率的四个像素，也就 是像素3241至像素3244 (图107)可以通过使用二维再积分方法创 建，作为来自传感器2 (图89)的输入图像(图106)的像素3231 处的像素。此外，虽然附图中没有显示，如上所述，除像素3241至 #>素3244之外，图t^生成单元103可以通过适当地改变积分范围而 创建具有关于输入像素3231的任意增强空间分辨率的像素而不退 化。
如上所述，作为二维再积分方法的描述，使得关于空间方向(X 方向和Y方向)的近似函数f(x，y)经历二维积分的方法已经使用，但 是二维再积分方法可以应用于时间-空间方向(X方向和t方向，或 者Y方向和t方向)。
也就是说，上面的实例是现实世界l (图89)中的光信号具有用 例如图102中所示梯度GF表示的空间方向上连续性的情况下的实 例，因此，包括例如上面表达式(120)中所示空间方向(X方向和 Y方向)上二维积分的表达式已经使用，但是，关于二维积分的概念 不仅可以应用于空间方向而且可以应用于时间-空间方向(X方向和t 方向，或者Y方向和t方向)。
换句话说，对于用作二维再积分方法的假设的二维多项式近似方法，使用二维近似函数f执行近似是可能的，即使在表示光信号的图
像函数F(x，y，t)具有时间-空间方向(但是，X方向和t方向，或者Y 方向和t方向)上连续性以及空间方向上连续性的情况下。
特别地，例如，如果存在以均匀速度在X方向上水平运动的对 象，对象运动的方向用例如图108中所示X-t平面中的梯度Vf表 示。换句话说，可以说梯度Vf表示X-t平面中时间-空间方向上连续 性的方向。因此，数据连续性检测单元101 (图89)可以输出例如图
108中所示的运动e (严格地说，虽然附图中没有显示，运动e是由
用与梯度VF相对应的梯度Vf表示的数据连续性的方向与空间方向中
X方向产生的角度)作为与表示x-t平面中时间-空间方向上连续性
的梯度VF相对应的数据连续性信息，以及上面的角度e (与表示x-
Y平面中空间方向上连续性的梯度GF相对应的数据连续性信息)。 而且，使用二维多项式近似方法的现实世界估计单元102 (图
89)可以通过使用运动0 4戈替上述角度e,以与上面方法相同的方法
计算近似函数f(X,t)的系数(特征)Wi。但是，在该情况下，待使用
的公式不是上面的表达式(124)而是下面的表达式(I")。
/(jc，,) = ^>,.(x-",)' …(133)
注意在表达式(133)中，s是cote (但是，G是运动)。
而且，使用二维再积分方法的图像生成单元103 (图89)可以通
过将上面表达式(133)的f(x，t)代入下面表达式(134)的右侧并且
计算它来计算像素值M。
M-Gex〖'〖:f(x，一t (134)
注意在表达式(134)中，ts表示t方向上的积分开始位置，且te 表示t方向上的积分结束位置。类似地，Xs表示X方向上的积分开始 位置，且Xe表示X方向上的积分结束位置，Ge表示预先确定的增 益。
作为选择，注意力集中在空间方向Y而不是空间方向X上的近 似函数f(y，t)可以与上面近似函数f(X，t)相同的方法处理。
顺便提及，在表达式(133)中，通过将t方向看作恒定，也就是通过执行积分而忽略t方向上的积分，来获得在时间方向上不积分 的数据，也就是不具有运动模糊的数据成为可能。换句话说，该方法 可以看作二维再积分方法的一种，因为再积分在二维近似函数f的某
一维度恒定的条件下执行，或者实际上，可以看作一维再积分方法的
一种，因为x方向上的一维再积分执行。
而且，在表达式(134)中，积分范围可以任意地设置，因此， 使用二维再积分方法，通过适当地改变该积分范围来创建具有关于原 始像素(来自传感器2 (图89 )的输入图像的像素)的任意增强分辨 率的像素而不退化成为可能。
也就是说，对于二维再积分方法，通过任意地改变时间方向t上 的积分范围来创建时间分辨率成为可能。而且，通过任意地改变空间 方向X (或空间方向Y)上的积分范围来创建空间分辨率成为可能。 此外，通过适当地改变时间方向t上和空间方向X上的每个积分范围 来创建时间分辨率和空间分辨率成为可能。
注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可 以甚至使用 一维再积分方法执行，但是时间分辨率和空间分辨率二者 同时的创建理论上不能使用一维再积分方法执行，其仅通过执行二维 或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时 的创建仅通过使用二维再积分方法和随后描述的三维再积分方法而变 得可能。
而且，二维再积分方法不是考虑一维而是考虑二维积分效应，因 此，更近似于现实世界l (图89)中光信号的图像可以产生。
接下来，将参考图109和图IIO描述三维再积分方法.
对于三维再积分方法，近似函数f(x，y，t)已经使用三维近似方法产 生，这是假设。
在该情况下，对于三维再积分方法，输出像素值M计算为下面 的表达式(135),
<formula>formula see original document page 157</formula>(135)
注意在表达式(135)中，ts表示t方向上的积分开始位置，且t《表示t方向上的积分结束位置。类似地，ys表示Y方向上的积分开始 位置，且ye表示Y方向上的积分结束位置。而且，、表示X方向上
的积分开始位置，且、表示X方向上的积分结束位置。Ge表示预先
确定的增益。
而且，在表达式(135)中，积分范围可以任意地设置，因此， 对于三维再积分方法，通过适当地改变该积分范围来刮建具有关于原 始像素(来自传感器2 (图89)的输入图像的像素)的任意增强时 间-空间分辨率的像素而不退化成为可能。也就是说，当空间方向上 的积分范围减小时，像素间距可以没有限制地减小。另一方面，当空 间方向上的积分范围放大时，像素间距可以没有限制地放大。而且， 当时间方向上的积分范围减小时，时间分辨率可以基于实际波形来创 建。
图109表示使用三维再积分方法的图像生成单元103的构造实例。
如图109中所示，图像生成单元103的该实例包括条件设置单元 3301,特征存储单元3302，积分分量计算单元3303，和输出像素值 计算单元3304。
条件设置单元3301基于从现实世界估计单元102提供的现实世 界估计信息(对于图109中的实例，近似函数f(x，y，t)的特征)来设 置近似函数f(x，y，t)的维度数目n。
条件设置单元3301也设置再积分近似函数f(x，y，t)的情况下(计 算输出像素值的情况下)的积分范围。注意，由条件设置单元3M1 设置的积分范围不需要是像素的宽度(垂直宽度和水平宽度)或者快 门时间自身。例如，确定空间方向上的具体积分范围成为可能，只要 输出像素(从现在起由图像生成单元103产生的像素)相对于来自传 感器2 (图89)的输入图像的每个像素空间大小的相对大小(空间分 辨能力)已知。类似地，确定时间方向上的具体积分范围成为可能， 只要输出像素值关于传感器2 (图89)的快门时间的相对时间(时间 分辨能力)已知。因此，条件设置单元3301可以设置例如空间分辨能力和时间分辨能力为积分范围。
特征存储单元3302临时存储从现实世界估计单元102顺序提供 的近似函数f(x，y，t)的特征。随后，当特征存储单元3302存储近似函 数f(x，y，t)的全部特征时，特征存储单元3302产生包括近似函数 f(x，y，t)的全部特征的特征表，并且将其提供给输出像素值计算单元 3304。
顺便提及，当上面表达式(135)右侧的近似函数f(x，y，t)的右侧
被展开(计算)时，输出像素值M表示为下面的表达式(136)。
M-^Wi xki(xs，xe，ys，ye，ts，te)
i=。 …(136)
在表达式(136)中，ki(Xs，Xe，ys，ye，ts，te)表示i维项的积分分量。 但是，分别地，Xs表示X方向上的积分范围开始位置，Xe表示X方
向上的积分范围结束位置，h表示Y方向上的积分范围开始位置，ye 表示Y方向上的积分范围结束位置，"表示t方向上的积分范围开始
位置，以及te表示t方向上的积分范围结束位置。
积分分量计算单元3303计算积分分量ki(xs, Xe， ys, ye， ts， te)。 特别地，积分分量计算单元3303基于由条件设置单元3301设置 的维度数目和积分范围(空间分辨能力或时间分辨能力)，以及从数
据连续性检测单元ioi输出的数据连续性信息的角度e或运动e计算
积分分量ki(xs， xe， ys, ye, ts， te)，并将计算结果作为积分分量表提供给 输出像素值计算单元3304。
输出像素值计算单元3304使用从特征存储单元3302提供的特征 表以及从积分分量计算单元3303提供的积分分量表来计算上面表达 式(136)的右侧，并且将计算结果作为输出像素值M输出到外部。
接下来，将参考图110中的流程图描述使用三维再积分方法的图 像生成单元103 (图109)的图像生成处理(图29的步骤S103中的 处理).
例如，让我们假定现实世界估计单元102 (图89)已经在上述图 29中步骤S102的处理中以输入图像的预先确定像素作为关注像素， 产生用于近似现实世界l (图89)中光信号的近似函数f(x，y，t)。而且，让我们假定数据连续性检测单元101 (图89)已经在图 29中步骤S101的处理中以与现实世界估计单元102使用相同的像素
作为关注像素，输出角度e或运动e作为数据连续性信息。
在该情况下，条件设置单元3301在图110的步骤S3301中设置 条件(维度数目和积分范围)。
在步骤S3302中，特征存储单元3302获取从现实世界估计单元 102提供的近似函数f(x，y，t)的特征Wi,并产生特征表。
在步骤S3303中，积分分量计算单元3303基于由条件设置单元 3301设置的条件(维度数目和积分范围)，以及从数据连续性检测 单元101提供的数据连续性信息(角度e或运动0)计算积分分量， 并产生积分分量表。
注意，步骤S3302中的处理和步骤S3303中的处理的顺序并不局 限于图110中的实例，步骤S3303中的处理可以首先执行，或者步骤 S3302中的处理和步骤S3303中的处理可以同时执行。
接下来，在步骤S3304中，输出像素值计算单元3304基于在步 骤S3302的处理中由特征存储单元3302产生的特征表，以及在步骤 S3303的处理中由积分分量计算单元3303产生的积分分量表，计算 每个输出像素值。
在步骤S3305中，输出像素值计算单元33(M确定是否所有像章 的处理都已完成。
在步骤S3305中，如果确定所有像素的处理还没有完成，处理返 回到步骤S3302，其中随后的处理重复地执行。也就是说，没有变成 关注像素的像素顺序地取作关注像素，并且步骤S3302 S3304中的 处理重复地执行。
如果所有像素的处理都已完成(在步骤S3305中，如果确定所有 像素的处理都已完成)，输出像素值计算单元3304在步骤S"06中 输出图像。然后，图像生成处理结束。
因此，在上面表达式(135)中，积分范围可以任意地设置，西 此对于三维再积分方法，通过适当地改变该积分范围而创建具有关于原始像素(来自传感器2 (图89)的输入图像的像素)的任意增强分 辨率的像素而不退化成为可能。
也就是说，对于三维再积分方法，适当地改变时间方向上的积分 范围使得时间分辨率能够创建。而且，适当地改变空间方向上的积分 范围使得空间分辨率能够创建。此外，适当地改变时间方向上和空间 方向上的每个积分范围使得时间分辨率和空间分辨率能够创建。
特别地，对于三维再积分方法，当将三维退化成二维或一维时， 近似不是必要的，从而能够高精度处理。而且，倾斜方向上的运动可 以处理而不退化到二维。此外，不退化到二维能够在每个维度处理。 例如，对于二维再积分方法，在空间方向(X方向和Y方向)上退 化的情况下，用作时间方向的t方向上的处理不能执行。另一方面， 对于三维再积分方法，时间-空间方向上的任何处理可以执行。
注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可 以甚至使用一维再积分方法执行，但是时间分辨率和空间分辨率二者 同时的创建理论上不能使用 一维再积分方法执行，其仅通过执行二维 或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时 的创建仅通过使用上面二维再积分方法和三维再积分方法而成为可 能。
而且，三维再积分方法不是考虑一维和二维而是考虑三维积分效 应，因此，更近似于现实世界l (图89)中光信号的图像可以产生。
接下来，使用图3中所示的信号处理设备4，数据连续性在数据 连续性检测单元101处检测，并且现实世界l信号波形的估计，也就 是例如，近似X横截面波形F(x)的近似函数基于连续性在现实世界 估计单元102处获得。
因此，现实世界1信号的波形估计基于连续性在信号处理设备4 处执行，所以如果由数据连续性检测单元101检测的连续性不正确或 者其检测精度差，现实世界l信号的波形的估计精度也差。
而且，信号处理设备4基于例如在该情况下作为图像的现实世界 1信号具有的连续性而执行信号处理，比使用其他信号处理设备的信号处理具有更好精度的信号处理可以对于连续性存在的现实世界1信 号的部分而执行，因此，更接近与现实世界l信号相对应的图像的图 像可以输出。
但是，信号处理设备4不能以与连续性确实存在的四个部分相同 水平的精度，对于没有清晰连续性存在的现实世界1信号的部分执行 信号处理，因为信号处理基于连续性而执行，因此，包括关于与现实 世界1信号相对应的图像的误差的图像被输出。
因此，为了使用信号处理设备4获得更接近与现实世界1信号相 对应的图像的图像，使用信号处理设备4的信号处理将被执行的处理 区域，与信号处理设备4一起使用的连续性的精度等是问题。
这里，图111说明信号处理设备4的另一种实施方案的构造实例。
在图111中，信号处理设备4包括处理区域设置单元10001,连 续性设置单元10002，现实世界估计单元10003，图像生成单元 10004，图像显示单元10005，以及用户I/F (接口 ) 10006。
对于其构造如图111中所示的信号处理设备4，作为数据3的实 例的图像数据(输入图像)从传感器2 (图1)输入，并且输入图像 提供给处理区域设置单元10001，连续性设置单元10002，现实世界 估计单元10003，图像生成单元10004,以及图像显示单元10005。
处理区域设置单元10001设置输入图像的处理区域，并且将标识 处理区域的处理区域信息提供给连续性设置单元10002，现实世界估 计单元10003，以及图像生成单元IOO(H。
连续性设置单元10002从处理区域设置单元10001提供的处理区 域信息中识别输入图像中的处理区域，设置从该处理区域处的图像数 据中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性 信息提供给现实世界估计单元10003和图像生成单元10004。
现实世界估计单元10003由模型生成单元10011，公式生成单元 10012，以及现实世界波形估计单元10013构成，并且根据相应现实 世界1信号的连续性从处理区域内的图像数据中估计现实世界1信号。
也就是说，模型生成单元10011从处理区域设置单元10001提供
的处理区域信息中识别输入图像中的处理区域，根据构成处理区域的 像素以及与处理区域中的图像数据相对应的现实世界1信号的连续 性，产生用作模拟处理区域中像素的像素值与现实世界l信号之间关
系的模型的函数，并且将其提供给公式生成单元10012。
公式生成单元10012从处理区域设置单元10001提供的处理区域 信息中识别输入图像中的处理区域。此外，公式生成单元10012将构 成处理区域的每个像素的像素值代入用作已经从模型生成单元10011 提供的模型的函数中，从而产生公式，其提供给现实世界波形估计单 元10013。
现实世界波形估计单元10013通过计算从公式生成单元10012提 供的公式来估计现实世界l信号的波形。也就是说，现实世界波形估 计单元10013通过求解从公式生成单元10012提供的公式来获得近似 现实世界1信号的近似函数，并将近似函数作为现实世界1信号的波 形的估计结果提供给图像生成单元10004。注意，近似现实世界1信 号的近似函数包括具有恒定函数值的函数，而不管自变量值。
图像生成单元10004基于在现实世界估计单元10003处估计的、 表示现实世界1信号的波形的近似函数，以及从连续性设置单元 10002提供的连续性信息，来产生更接近现实世界1信号的信号。也 就是说，图像生成单元10004从处理区域设置单元10001提供的处理 区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单 元10003 (的现实世界波形估计单元10013)提供的近似函数，以及 从连续性设置单元10002提供的连续性信息产生关于处理区域更接近
与现实世界1信号相对应的图像的图像数据。
此外，图像生成单元10004合成输入图像和基于近似函数而产生 的图像数据(以下称作近似图像，如果适当的话)，产生输入图像的 处理区域的部分已经用近似图像取代的图像，并且将图像作为输出图 像提供给图像显示单元10005。图像显示单元10005由CRT (阴极射线管)或LCD (液晶显示 器)构成，并且显示输入图像或者从图像生成单元10004提供的输出 图像。
注意，图像显示单元10005可以由单个或多个CRT或LCD构 成。如果用单个CRT或LCD构成图像显示单元10005，配置可以这 样进行，其中单个CRT或LCD的屏幕划分成多个屏幕，输入图像 显示在一个屏幕上而输出图像显示在另一个屏幕上。此外，如果用多
个CRT或LCD构成图像显示单元10005，配置可以这样进行，其中 输入图像显示在一个CRT或LCD上，而输出图像显示在另一个 CRT或LCD上。
而且，图像显示单元10005根据用户I/F 10006的输出执行各种 类型的显示。也就是说，图像显示单元10005显示光标，例如，并且 如果用户操作用户I/F 10006以便移动光标，光标根据其操作运动。 而且，如果用户操作用户I/F 10006以便选择预先确定的范围，图像 显示单元10005根据其操作显示围绕在屏幕上选择的范围的帧。
用户I/F 10006由用户操作，并且根据用户操作，将与例如处理 范围、连续性和真实世界信号中至少一个相关的信息提供给处理区域 设置单元10001,连续性设置单元10002,或现实世界估计单元 10003,
也就是说，用户观看显示在图像显示单元10005上的输入图像或 输出图像，并且操作用户I/F 10006以提供关于输入图像或输出图像 的输入。用户I/F 10006由用户操作，并且根据用户操作，将与处理 范围、连续性或真实世界信号相关的信息，作为帮助处理区域设置单 元10001，连续性设置单元10002，或现实世界估计单元10003的处 理的帮助信息，提供给处理区域设置单元10001，连续性设置单元 10002,或现实世界估计单元10003。
当帮助信息从用户I/F 10006提供时，处理区域设置单元 10001，连续性设置单元10002，或现实世界估计单元10003每个基 于帮助信息执行处理区域的设置，连续性的设置，或现实世界l信号的估计。
但是注意，处理区域设置单元10001，连续性设置单元10002， 或现实世界估计单元10003每个可以执行处理区域的设置，连续性的 设置，或现实世界l信号的估计，即使不使用帮助信息，也就是，即 使没有用户操作用户I/F 10006。
特别地，对于处理区域设置单元10001，处理可以与图3中所示 数据连续性检测单元101相同的方法执行，如参考图30至图48描述 的，其中连续性区域从输入图像中检测，并且围绕连续性区域的矩形 (长方形)区域设置为处理区域。
而且，对于连续性设置单元10002,处理可以与图3中所示数据 连续性检测单元101相同的方法执行，如参考图49至图57描述的， 其中数据连续性从输入图像中检测，并且相应现实世界1信号的连续 性基于该数据的连续性而设置，也就是，例如，数据连续性设置为现 实世界1信号的连续性而不改变。
而且，对于现实世界估计单元10003，处理可以与图3中所示现 实世界估计单元102相同的方法执行，如参考图58至图88描述的， 其中现实世界1信号从由处理区域设置单元10001设置的处理区域的 图像数据中，与由连续性设置单元10002设置的连续性相对应地估 计。注意，虽然数据连续性已经用于估计现实世界l信号，图3中的 现实世界估计单元102，配置可以这样进行，其中使用相应现实世界 l信号的连续性，代替估计现实世界l信号的数据连续性。
接下来，将参考图112中的流程图描述图111中所示的信号处理 设备4的处理。
首先，在步骤S10001中，信号处理设备4执行预处理，并且流 程前进到步骤S10002。也就是说，信号处理设备4将从传感器2 (图 1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元10001,连续性设置单元10002，现实世界估计单元10003， 图像生成单元10004，以及图像显示单元10005。此外，信号处理设 备4使得图像显示单元10005显示输入图像。在步骤S10002中，用户I/F 10006确定是否存在由用户操作用户 I/F 10006的某种用户输入。在步骤S10002中，如果确定不存在用户 输入，也就是如果用户没有执行操作，步骤S10003至步骤S10005 跳过，并且流程前进到步骤S10006。
而且，如果在步骤S10002中确定已经存在用户输入，也就是如 果用户已经观看显示在图像显示单元10005上的输入图像并且操作用 户I/F 10006，从而做出指示某种指令或信息的用户输入，流程前进 到步骤S10003，在那里用户I/F 10006确定用户输入是否是指示信号 处理设备4处理结束的结束指令。
如果在步骤S10003中确定用户输入是结束指令，信号处理设备 结束处理。
而且，如果在步骤S10003中确定用户输入不是结束指令，流程 前进到步骤S10004，在那里用户I/F 10006确定用户输入是否是帮助 信息。如果在步骤S10004中确定用户输入不是帮助信息，流程跳过 步骤S10005，而前进到步骤S10006。
而且，如果在步骤S10004中确定用户输入是帮助信息，流程前 进到步骤S10005，在那里用户I/F 10006将帮助信息提供给处理区域 设置单元10001，连续性设置单元10002,或现实世界估计单元 10003,并且流程前进到步骤S10006。
在步骤S10006中，处理区域设置单元10001基于输入图像设置 处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单 元10002，现实世界估计单元10003，以及图像生成单元10004，并 且流程前进到步骤S10007。现在，如果帮助信息已经在前一个步骤 S10005中从用户I/F 10006提供，处理区域设置单元10001使用该帮 助信息执行处理区域的设置。
在步骤S10007中，连续性设置单元10002从处理区域设置单元 10001提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元10002设置在处理区域的图像数据中丢失的现实世界1 信号的连续性，并且将指示其连续性的连续性信息提供给现实世界估计单元10003，并且流程前进到步骤S10008。现在，如果帮助信息已 经在前一个步骤S10005中从用户I/F 10006提供，连续性设置单元 10002使用该帮助信息执行连续性的设置。
在步骤S10008中，现实世界估计单元10003根据相应现实世界 1信号的连续性，相对于输入图像处理区域中的图像数据估计现实世 界1信号。
也就是说，在现实世界估计单元10003处，模型生成单元10011 从处理区域设置单元10001提供的处理区域信息中识别输入图像中的 处理区域，并且从连续性设置单元10002提供的连续性信息中识别与 处理区域中图像数据相对应的现实世界l信号的连续性。此外，模型 生成单元10011根据构成输入图像中处理区域的像素，以及与处理区 域的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理 区域中每个像素的像素值与现实世界1信号之间关系的模型的函数， 并且将其提供给爿>式生成单元10012。
公式生成单元10012从处理区域设置单元10001提供的处理区域 信息中识别输入图像中的处理区域，并且将构成处理区域的输入图像 的每个像素的像素值代入用作从模型生成单元10011提供的模型的函 数中，从而产生获得近似现实世界l信号的近似函数的公式，其提供 给现实世界波形估计单元10013。
现实世界波形估计单元10013通过计算从公式生成单元10012提 供的公式来估计现实世界l信号的波形。也就是，现实世界波形估计 单元10013通过求解从公式生成单元10012提供的公式来获得用作模 拟现实世界1信号的模型的近似函数，并且将近似函数作为现实世界 1信号的波形的估计结果提供给图像生成单元10004。
注意，对于现实世界估计单元10003，如果帮助信息已经在前一 个步骤S10005中从用户I/F 10006提供，在模型生成单元10011和 公式生成单元10012处，处理使用该帮助信息执行。
在步骤S10008的处理之后，流程前进到步骤S10009，在那里图 像生成单元10004基于从现实世界估计单元10003 (的现实世界波形估计单元10013)提供的近似现实世界1信号的波形的近似函数来产 生更接近现实世界l信号的信号。也就是说，图像生成单元10004从 处理区域设置单元10001提供的处理区域信息中识别输入图像中的处 理区域，并且关于该处理区域，基于从现实世界估计单元10003提供 的近似函数，产生作为更接近与现实世界l信号相对应的图像的图像 数据的近似图像。此外，图像生成单元10004产生输入图^f象的处理区 域的部分已经用近似图像取代的图像作为输出图像，并且将其提供给 图像显示单元10005，并且流程从步骤S10009前进到步骤S10010。
在步骤S10010中，图像显示单元10005显示从图^(象生成单元 10004提供的输出图像，代替在步骤S10001中显示的输入图像，或 者与输入图像一起，并且流程前进到步骤S10011。
在步骤S10011中，用户I/F 10006以与步骤S10002相同的方法 确定是否存在由用户操作用户I/F 10006的某种用户输入，并且如果 确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步 骤S10011，并等待用户输入。
而且，如果在步骤S10011中确定存在用户输入，也就是如果用 户已经观看显示在图像显示单元10005上的输入图像或输出图像并且 操作用户1/F 10006，从而做出指示指令或信息的某种用户输入，流 程前进到步骤S10012，在那里用户I/F 10006确定用户输入是否是指 示信号处理设备4处理结束的结束指令。
如果在步骤S10012中确定用户输入是结束指令，信号处理设备 4结束处理。
而且，如果在步骤S10012中确定用户输入不是结束指令，流程 前进到步骤S10013，在那里用户I/F 10006确定用户输入是否是帮助 信息。如果在步骤S10013中确定用户输入不是帮助信息，流程返回 到步骤SlOOll，此后重复相同的处理。
而且，在步骤S10013中，如果确定用户输入是帮助信息，流程 返回到步骤S10005,并且如上所述，用户I/F 10006将帮助信息提供 给处理区域设置单元10001，连续性设置单元10002,或现实世界估计单元10003。然后流程从步骤S10005前进到步骤S10006,此后重 复相同的处理。
如上所述，对于图111中所示的信号处理设备4，帮助处理区域 设置单元10001，连续性设置单元10002,或现实世界估计单元 10003的帮助信息从用户I/F 10006提供给处理区域设置单元10001， 连续性设置单元10002,或现实世界估计单元10003，并且处理区域 设置，连续性设置，或现实世界1信号估计基于来自用户I/F 10006 的帮助信息在处理区域设置单元10001，连续性设置单元10002，或 现实世界估计单元10003处执行，从而提高处理区域设置单元 10001,连续性设置单元10002，或现实世界估计单元10003的处理 精度，并且能够产生例如满足用户喜好的高质量输出图像。
接下来，将描述图111中所示信号处理设备4的各种类型的应用 实例。
图113说明图111中所示信号处理设备4的应用实例的一种实施 方案的构造实例。
在图113中，处理区域设置单元11001，连续性设置单元 11002，现实世界估计单元11003，图像生成单元11004，图像显示单 元11005，以及用户I/F 11006,每个对应于图111中所示的处理区域 设置单元10001,连续性设置单元10002，现实世界估计单元 10003,图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003,图像生成单元10004，图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图ll3 中，现实世界估计单元11003包括模型生成单元11011，公式生成单 元11012，以及现实世界波形估计单元11013。模型生成单元 11011，公式生成单元11012，以及现实世界波形估计单元11013对 应于图111中的模型生成单元10011， >^式生成单元10012，以及现 实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011，公式生成单元10012，以及现实世界波形估计单元10013 ^每个相同的功能。但是注意，在图113中，用户I/F 11006通过用户操作用户I/F 11006输出的帮助信息仅提供给处理区域设置单元11001。也就是说，在图113中，用户可以通过操作用户I/F 11006关于 显示在图像显示单元11005上的图像指示取作处理区域的区域，并且 当用户执行操作以指示处理区域时，用户I/F 11006将表示取作由操 作指定的区域的处理区域的处理区域指示信息作为帮助信息提供给处 理区域设置单元11001。此外，在图113中，多个输出图像显示在图 像显示单元11005上，如随后描述的，显示在图^(象显示单元11005上 的输出图像可以由用户操作用户I/F 11006选择，并且当用户执行操 作以选择输出图像时，用户I/F 11006将表示由操作选择的输出图像 的选择信息作为帮助信息提供给处理区域设置单元11001。现在，通过操作用户I/F 11006指示处理区域的方法的实例包 括，例如通过用围绕处理区域的矩形指示的方法，通过剪裁(剪裁) 处理区域指示的方法，通过指向处理区域内的一个或多个任意点来指 示的方法等等；这里，用户通过例如通过操作用户I/F 11006指向处 理区域中的一个任意点来指示处理区域。在该情况下，用户I/F 11006将例如该点的图像上的坐标，作为表示用户指向的点的信息， 提供给处理区域设置单元11001,作为处理区域指示信息。接下来，将参考图114中所示的流程图描述图113中所示的信号 处理设备4。首先，在步骤S11001中，信号处理设备4执行预处理，并且流 程前进到步骤S11002。也就是说，信号处理设备4将从传感器2 (图 1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元11001，连续性设置单元11002，现实世界估计单元11003, 图像生成单元11004，以及图像显示单元11005,此外，信号处理设 备4使得图像显示单元11005显示输入图像。在步骤S11002中，用户I/F 11006确定是否存在由用户操作用户 I/F 11006的处理区域指示信息的某种用户输入，在步骤S11002中，如果确定不存在处理区域指示信息的用户输入，流程前进到步骤
S11003,在那里用户I/F 11006确定是否存在由用户操作用户I/F 11006的指示信号处理设备4处理结束的结束指令的输入。
如果在步骤S11003中确定存在结束指令的输入，也就是说，例 如，如果已经观看显示在图像显示单元11005上的输入图像的用户操 作用户I/F 11006以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图^^的图像质 量，处理结束。
而且，如果在步骤S11003中确定不存在结束指令的输入，流程 返回到步骤S11002，此后重复相同的处理。
另一方面，如果在步骤S11002中确定存在处理区域指示信息的 输入，也就是说，如果已经观看显示在图像显示单元11005上的输入 图像并且发现不满意的输入图像的图像质量的用户，因此操作用户 I/F 11006以便指向不满意部分，流程前进到步骤S11004,在那里用 户I/F 11006将表示用户通过操作用户I/F 11006指向的点的区域指 示信息作为帮助信息提供给处理区域设置单元11001，并且流程前进 到步骤S11005。
在步骤S11005中，处理区域设置单元11001设置M个即多个版 本的处理区域，并且将表示M个版本处理区域的M个版本的处理区 域信息提供给连续性设置单元11002，现实世界估计单元11003，以 及图像生成单元11004，并且流程基于作为从用户I/F 11006提供的 帮助信息的区域指示信息前进到步骤S11006。现在，如果处理区域 设置单元1101已经在前一个步骤S11004中提供有来自用户I/F 11006的帮助信息，处理区域的设置使用该帮助信息执行。
在步驟S11006中，连续性设置单元11002从处理区域设置单元 11001提供的M个版本的处理区域信息中识别输入图像中的M个版 本的处理区域。此外，连续性设置单元11002设置在M个版本的处 理区域图像数据的每个中丢失的现实世界1信号的连续性，并且将表 示M个版本处理区域的连续性的连续性信息提供给现实世界估计单元11003,并且流程前进到步骤S11007。
在步骤S11007中，现实世界估计单元11003根据相应现实世界 1信号的连续性，相对于输入图像处理区域中的图像数据估计现实世 界1信号。
也就是说，在现实世界估计单元11003处，模型生成单元11011 从处理区域设置单元11001提供的M个版本的处理区域信息中识别 输入图像中的M个版本的处理区域，并且基于从连续性设置单元 11002提供的M个版本处理区域的每个的连续性信息，识别与M个 版本处理区域图像数据的每个相对应的现实世界1信号的连续性。此 外，模型生成单元11011对于输入图像中M个版本处理区域的每
的现实世界l信号的连续性，来产生用^模拟处理区域中每个像素的 像素值与现实世界1信号之间关系的模型的函数，从而将关于M个 版本处理区域的每个而获得的M个版本的函数提供给公式生成单元 11012。
公式生成单元11012从处理区域设置单元11001提供的M个版 本的处理区域信息中识别输入图像中的M个版本的处理区域，并且 对于M个版本处理区域的每个，将构成输入图像所必需的像素的像 素值代入用作已经从模型生成单元11011提供的模型的函数中，从而 产生获得近似现实世界1信号的近似函数的公式，其然后提供给现实 世界波形估计单元11013。
现实世界波形估计单元11013求解从公式生成单元11012提供的 M个版本处理区域的公式，从而对于M个版本处理区域的每个估计 现实世界l信号的波形，也就是，获得用作模拟现实世界l信号的模 型的近似函数，并且将M个版本处理区域的每个的近似函数提供给 图像生成单元11004。
在步骤S11007的处理之后，流程前进到步骤S11008,在那里图 像生成单元11004基于从现实世界估计单元110(K3 (的现实世界波形 估计单元11013)提供的、关于M个版本处理区域的每个的近似函数产生更接近现实世界1信号的信号。也就是说，对于M个版本处 理区域的每个，图像生成单元11004从处理区域i更置单元11001提供 的M个版本的处理区域信息中识别输入图像中的M个版本的处理区 域，并且基于关于从现实世界估计单元11003提供的相应处理区域的 近似函数，产生作为更接近现实世界1信号的图像数据的近似图像。 此外，图像生成单元11004产生输入图像中M个版本的处理区域部 分已经用关于相应处理区域而获得的近似图像取代的M个版本的图 像作为输出图像，其然后提供给图像显示单元11005，并且流程从步 骤S11008前进到步骤S11009。在步骤S11009中，图像显示单元11005显示从图4象生成单元 11004提供的M个版本的输出图像，代替步骤S11001中显示的输入 图像，或者与输入图像一起，并且流程前进到步骤S11010。在步骤S11010中，用户I/F 11006确定是否存在由用户操作用户 I/F 11006的选择信息的输入。也就是说，M个版本的输出图像在步 骤S11009中显示在图像显示单元11005上，并且在步骤S11010中 确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 11006输入从M个版本的输出图像中选择具有期望质量的图像或者 具有更接近期望图像的质量的图像的选择信息。如果在步骤S11010中确定不存在选择信息的输入，流程前进到 步骤S11013，并且与步骤S11003中的情况一样，由用户I/F 11006 确定是否存在结束指令的输入。如果在步骤S11013中确定已经存在结束指令的输入，信号处理 设备4结束处理。而且，如果在步骤S11013中确定不存在结束指令的输入，流程 返回到步骤S11010，此后重复相同的处理。另一方面，如果在步驟S11010中确定已经存在选择信息的输 入，也就是，如果已经观看显示在图像显示单元11005上的M个版 本的输出图像的用户已经从M个版本的输出图像中选择期望图像或 者更接近期望图像的图像，流程前进到步骤SllOll，在那里用户I/F11006确定是否存在由用户操作用户I/F 11006的最终确定指令的输 入，该指令用于最终确定用户已经选作最终输出图像的输出图像。
如果在步骤S11011中确定存在最终确定指令的输入，流程前进 到步骤S11012,在那里图像显示单元11005例如在其整个屏幕上显 示用户已经选择的输出图像，并且处理结束。
而且，如果在步骤S11011中确定不存在最终确定指令的输入， 也就是，如果用户已经发现所选输出图像的图像质量不令人满意，并 且还没有执行最终确定指令的输入以便再次执行处理，流程返回到步 驟S11004，在那里用户I/F 11006将表示用户已经选择的输出图像的 选择信息，作为帮助信息提供给处理区域设置单元11001，并且流程 前进到步骤S11005。
在步骤S11005中，处理区域设置单元11001基于用作从用户I/F 11006提供的帮助信息的选择信息重新设置M个即多个处理区域。 也就是说，在该情况下，在步骤S11005中，处理区域设置单元 11001基于用于获得由选择信息表示的输出图像的输入图像处理区 域，重新设置M个版本的处理区域，其中选择信息用作已经从用户 I/F 11006提供的帮助信息。此外，在步骤S11005中，处理区域设置 单元11001将表示新的M个版本处理区域的M个版本的处理区域信 息提供给连续性设置单元11002,现实世界估计单元11003，以及图 像生成单元11004。然后流程从步骤S11005前进到步骤S11006，在 那里相同的处理在此后重复。
也就是说，因此，步骤S11004 S11013的该处理重复，最终处理 区域被设置，借此具有用户期望图像质量的输出图像被获得，因此用 户获得具有期望图像质量的输出图像。
如上所述，对于图113中所示的信号处理设备4，作为输入图像 处理结果的M个版本的输出图像展示给用户，供用户从M个版本的 输出图像中选择期望的一个，并且处理基于选择结果而再次执行，所 以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号 处理设备4向用户展示作为输入图像处理结果的M个版本的输出图像。另一方面，用户识别并判断M个版本输出图像的每个的图像质 量，并且提供反馈给信号处理设备4。信号处理设备4基于来自用户 的反馈再次处理输入图像，此后重复相同的处理。因此，满足用户喜 好的高质量输出图像可以容易地获得。现在，可以说接收来自用户的反馈并且在输入图像上执行处理的 信号处理设备4意味着信号处理设备4与用户合作执行处理。接下来，图115说明图113中所示处理区域设置单元11001的详 细构造实例。输入图像提供给图像存储器11021，并且图像存储器11021存储 提供到那里的输入图像。特征提取单元11022提取构成存储在图像存 储器11021中的输入图像的每个像素的特征，并且将其提供给特征存 储器11023。注意，特征提取单元11022能够提取例如颜色分量，表示边缘存 在或不存在或者像素值之间变化的陡度(或平滑度)的空间活动性， 水平方向和垂直方向之间空间和活动性差异的绝对值，多种类型特征 的组合等作为像素特征。现在，如果某个对象(对象)例如在输入图像中水平方向上运 动，在显示对象的部分处存在水平方向上的运动模糊。在这种水平方 向上的运动模糊出现的像素处，与垂直方向上的空间活动性相比较水 平方向上的空间活动性较大。因此，在该情况下，如果水平方向和垂 直方向之间空间活动性的差的绝对值用作像素特征，特征值大。特征存储器11023存储从特征提取单元11022提供的构成输入图 像的每个像素的特征。指定像素特征检测单元11024在控制单元11027的控制下，从存 储在特征存储器11023中的特征中检测由从用户I/F 11006 (图113) 提供的处理区域指定信息表示的点处像素(以下称作指定像素，如果 适当的话)的特征，并且将其作为指定像素特征提供给近似特征区域 检测单元11025。近似特征区域检测单元11025检测由具有近似从指定像素特征检测单元11024提供的指定像素特征的特征的像素构成的M个版本的 输入图像区域，并且将这些作为处理区域提供给区域信息生成单元 11026,也就是说，近似特征区域检测单元11025获得存储在特征存储器 11023中构成输入图像的每个像素的特征，以及使用预先确定的识别 函数获得到从指定像素特征检测单元11024提供的指定像素特征的距 离。此外，近似特征区域检测单元11025从构成输入图像的像素中检 测具有如下特征的像素，即到从指定像素特征检测单元11024提供的 指定像素特征的距离等于阈值或在阈值内(以下称作近似特征像素， 如果适当的话)，并且检测例如围绕近似特征像素的最小矩形区域作 为近似特征区域。近似特征区域检测单元11025对于从随后描述的阈值设置单元 11028提供的M个阅值的每个检测近似特征区域，并且将作为其结 果而获得的M个版本的近似特征区域作为处理区域提供给区域信息 生成单元11026。区域信息生成单元11026产生表示从近似特征区域检测单元 11025提供的M个版本处理区域的M个版本的处理区域信息，并且 输出，控制单元11027接收用作从用户I/F 11006 (图II3)提供的帮助 信息的处理区域指示信息或选择信息，并且根据该处理区域指示信息 或选择信息控制指定像素特征检测单元11024或阈值设置单元 11028。阈值设置单元11028在控制单元11027的控制下设置由近似特征 区域检测单元11025使用的M个阈值，并且将这些提供给近似特征 区域检测单元11025。接下来，将参考图116中所示的流程图描述图115中所示处理区 域设置单元11001执行的处理(处理区域设置处理)。处理区域设置处理在输入图像例如提供给处理区域设置单元 11001时开始。也就是说，在处理区域设置处理中，首先，在步骤S11031中， 图像存储器11021存储提供给处理区域设置单元11001的输入图像， 并且流程前进到步骤S11032。在步骤S11032中，特征提取单元 11022提取构成存储在图像存储器11021中的输入图像的每个像素的 特征，并将其提供给特征存储器11023，并且流程前进到步骤 S11033。在步骤S11033中，特征存储器11023存储从特征提取单元 11022提供的、构成输入图像的每个像素的特征，并且流程前进到步 骤S11034。
在步骤S11034中，控制单元11027确定是否存在来自用户I/F 11006的处理区域指示信息的输入。如果在步骤S11034中确定不存 在处理区域指示信息的输入，流程前进到步骤S11035，在那里控制 单元11027确定是否存在由用户操作用户I/F 11006的指示信号处理 设备4处理结束的结束指令的输入。
如果在步骤S11035中确定存在结束指令的输入，处理区域设置 单元11001结束处理区域设置处理。
而且，如果在步骤S11035中确定不存在结束指令的输入，流程 返回到步骤S11034，此后重复相同的处理。
如果在步骤S11034中确定存在处理区域指示信息的输入，控制 单元将处理区域指示信息提供给指定像素特征检测单元11024，并且 流程前进到步骤S11036。
在步骤S11036中，指定像素特征检测单元11024从存储在特征 存储器11023中的特征中，检测由从控制单元11027提供的处理区域 指示信息表示的点处像素(指定像素)的特征，并且将其作为指定像 素特征提供给近似特征区域检测单元11025，并且流程前进到步骤 S11037。
在步骤S11037中，阈值设置单元11028设置提供给近似特征区 域检测单元11025的M个阈值，并且流程前进到步骤S11038。现 在，M个不同的默认值例如存储在阈值设置单元11028中，并且M 个不同的默认值在步骤S11037中设置为M个阈值。另一种配置可以这样进行，其中阈值设置单元11028在步骤S11037中基于指定像素 特征设置M个可变阈值，也就是例如通过将存储在特征存储器 11023中具有关于指定像素特征的最大差(量值)的特征与指定像素 特征之间的差平均除以M+l或更大而获得的升序排列的M个值，作 为M个阈值。在步骤S11038中，近似特征区域检测单元11025对于从阈值设 置单元11028提供的M个阈值的每个检测近似特征区域，该近似特 征区域是围绕具有近似从指定像素特征检测单元11024提供的指定像 素特征的特征的像素的最小矩形区域。也就是说，近似特征区域检测单元11025使用预先确定的识别函 数，获得存储在特征存储器11023中构成输入图像的每个像素的特 征，与从指定像素特征检测单元11024提供的指定像素特征之间的距 离。此外，近似特征区域检测单元11025从阚值设置单元11028提供 的M个阈值中取任意阈值作为关注阈值，从构成输入图像的像素中 检测近似特征像素，其是具有到指定像素特征的距离在关注阈值内的 特征的像素，并且检测围绕近似特征像素的最小矩形区域作为与关注 阈值相对应的近似特征区域。近似特征区域检测单元110"将从阈值 设置单元11028提供的M个阈值的全部作为关注阚值，并且检测与 M个阈值的每个相对应的近似特征区域。注意，方案可以这样进 行，其中检测为近似特征像素的像素仅局限于距离指定像素的位置在 预先确定范围内的那些。近似特征区域检测单元11025然后从步骤S11038前进到 S11039，并且将关于M个阈值的每个而检测的近似特征区域设置为 处理区域，其提供给区域信息生成单元11026,此外，在步骤S11039 中，区域信息生成单元11026产生并输出表示从近似特征区域检测单 元11025提供的M个版本处理区域的M个版本的处理区域信息，并 且流程前进到步骤S11040。在步骤S11040中，控制单元11027确定选择信息是否已经从用 户I/F 11006提供，并且如果确定选择信息没有提供，流程前进到步骤S11042。在步骤S11042中，控制单元11027确定是否存在由用户 操作用户I/F 11006的最终确定指令或结束指令的输入。
在步骤S11042中，如果确定存在最终确定指令或结束指令的输 入，处理区域设置单元结束处理。
而且，在步骤S11042中，如果确定不存在最终确定指令或结束 指令的输入，流程返回到步骤S11040，此后重复相同的处理。
如果在步骤S11040中确定选择信息已经从用户I/F 11006提供给 控制单元11027，控制单元11027控制阈值设置单元11028以便设置 M个新的阈值，并且流程前进到步骤S11041。
在步骤S11041中，阈值设置单元11028根据控制单元11027的 控制设置M个新的阈值。也就是说，在该情况下，阈值设置单元 11028基于前一次设置的M个阈值中用于设置关于由从用户I/F 11006提供的选择信息选择的输出图像的处理区域的阈值，设置M 个新的阈值。
特别地，阈值设置单元11028将用于设置由从用户I/F 11006提 供的选择信息选择的输出图像的处理区域的阚值取作中心，并且以比 先前设置的M个阈值中相邻阁值之间的间隔更近的间隔设置M个 值，作为M个新的阈值。
阈值设置单元11028然后将M个新的阈值提供给近似特征区域 检测单元11025，并且流程从步骤S11041返回到S11038。
在步骤S11038中，近似特征区域检测单元11025关于从阈值设 置单元11028提供的新的M个阈值的每个，检测近似特征区域，其 是围绕具有近似从指定像素特征检测单元11024提供的指定像素特征 的特征的像素的最小矩形区域，此后重复相同的处理。
根据上述处理区域设置处理，M个处理区域即多个处理区域基 于来自用户的处理区域指示信息设置，并且随后的处理基于M个处 理区域的每个而执行。此外，作为处理结果的M个版本的输出图像 被显示，并且当用户从其中选择输出图像时，M个版本的新的处理 区域基于选择结果而设置，此后，重复相同的处理。因此，适当的处理区域通过用户从M个版本的输出图像中选择例如最接近期望图像 质量的输出图像来由用户设置，因此，用户可以获得具有期望图像质 量的输出图像。
注意虽然在上述配置中，首先，用户输入以指定像素表示的处理 区域指示信息，并且指定像素基于处理区域指示信息在处理区域设置 单元11001处设置；配置可以这样进行，其中指定像素被设置而没有 来自用户的处理区域指示信息。也就是说，对于处理区域设置单元 11001，连续性区域例如以与图3中所示数据连续性检测单元101相 同的方法检测，并且连续性区域中的预先确定像素可以设置为指定像 素。在该情况下，不需要用户输入处理区域指示信息，并且仅需要从 M个版本的输出图像中选择最接近期望图像质量的输出图像。
而且，虽然在上述配置中，M个版本的处理区域被设置，输出 图像对于这些M个处理区域的每个而显示，并且用户从这些中选择 期望的输出图像；配置可以这样进行，其中例如表示M个版本处理 区域的每个的一帧等显示在输入图像中，并且用户直接选择处理区域。
在该情况下，如果图像通过使用作为图像传感器的传感器2 (图 1 )获取对象例如汽车等以恒定速度在水平方向上运动的场景而获 得，并且(作为输入图像)显示在图像显示单元11005上，M个版 本的处理区域由处理区域设置单元11001设置，当通过操作用户I/F 11006执行因对象运动而具有运动模糊的部分的指示时。此外，对于 图像显示单元11005，如图118中所示，表示M个版本处理区域的 每个的帧显示在输入图像上。现在，在图118中，表示三个处理区域 的每个的帧被显示。当用户操作用户I/F 11006以便选择M个版本处 理区域的一个时，现实世界估计单元11003和图像生成单元11004执 行关于由用户选择的处理区域的处理，并且作为其处理结果的输出图 像显示在图像显示单元11005上。
因此，在该情况下，将由现实世界估计单元11003和图像生成单 元11004处理的处理区域可以容易地由用户选择。接下来，图119说明图111中所示信号处理设备4的应用的另一 种构造实例。在图ll9中，处理区域设置单元11041，连续性设置单元 11042，现实世界估计单元11043，图像生成单元11044，图像显示单 元11045，以及用户I/F 11046，每个对应于图111中所示的处理区域 设置单元10001，连续性设置羊元10002，现实世界估计单元 10003,图像生成单元10004，图像显示单元10005，以及用户I/F 10006,并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003，图像生成单元10004，图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图119 中，现实世界估计单元11043包括模型生成单元11051，公式生成单 元11052，以及现实世界波形估计单元11053。模型生成单元 11051, />式生成单元11052，以及现实世界波形估计单元11053对 应于图111中的模型生成单元10011，公式生成单元10012，以及现 实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011，公式生成单元10012，以及现实世界波形估计单元10013的 每个相同的功能。但是注意，在图119中，用户I/F 11046通过用户操作用户I/F 11046输出的帮助信息仅提供给连续性设置单元11042。也就是说，在图119中，用户可以通过操作用户1/F 11046指示 与关于显示在图像显示单元11045上的图像的现实世界1连续性相关 的信息，并且当用户执行操作以指示关于现实世界1连续性的信息 时，表示关于由该操作指示的连续性的信息的连续性指示信息作为帮 助信息由用户I/F 11046提供给连续性设置单元11042。此外，在图 119中，多个输出图像显示在图像显示单元11045上，如随后所迷 的，显示在图像显示单元11045上的输出图像可以由用户操作用户 I/F 11046选择，并且当用户执行操作以选择输出图像时，用户I/F 11046将表示由操作选择的输出图像的选择信息作为帮助信息提供给 连续性设置单元11042。注意例如作为连续性指示信息的运动量将由用户操作用户I/F 11046输入。
也就是说，例如，让我们假定通过使用作为图像传感器的传感器 2 (图1)获取现实世界1中对象例如汽车以恒定速度在水平方向上 运动的场景而获得的图像，作为输入图像输入到图119中所示的信号 处理"i殳备4。
在该情况下，与输入图像相对应的现实世界1的图像具有连续 性，因为具有某种形状的对象(该情况下汽车)以恒定速度在水平方 向上运动，并且用户观看输入图像并通过操作用户I/F 11046输入指 示与输入图像相对应的现实世界1连续性的连续性指示信息。特别 地，这里，用户I/F 11046配置有例如旋转或滑动音量(可变电阻 器)等，并且当用户操作用户I/F 11046时，用户I/F 11046将表示 与其操作相对应的运动量的连续值提供给连续性设置单元11042，作
为连续性指示信息。
这里关于运动量，运动矢量可以使用例如所谓块匹配，以及使用 的运动矢量的量值来检测。但是，在前景和背景的差运动分量交叉， 例如图120A中所示，例如， 一个汽车从左向右方向运动跨越的景物 是背景，而从右向左方向运动的另一个汽车是前景的图像(输入图 像)的情况下，精确地获得由图120B中矩形所指示的前景和背景的
运动分量交叉的部分处的运动矢量非常困难。
也就是说，图120C说明关于由图120B中矩形所指示的部分通 过块匹配而获得的每个块的运动矢量(图120C中所示，由图120B 中矩形所指示的获得的运动矢量的部分处的运动矢量(放大的))。 对于块匹配，匹配对于每个块执行而不区分前景和背景，所以可能难 以精确地获得对象之间分界部分处块的运动矢量(在该情况下，前景 汽车和背景汽车)。在如图120D中所示将块中心(重心位置)处的 运动矢量取作该块的运动矢量的情况下，例如，在由图120C中阴影 指示的块中，块匹配将获得与图120中所示真实的运动矢量相比较， 不同于块中心点处运动矢量的不准确的运动矢量。因此，对于图119中所示的信号处理设备4，用户输入输入图像 中对象的运动量作为连续性指示信息，并且连续性基于连续性指示信 息在连续性设置单元11042处设置。接下来，将参考图121中的流程图描述图119中所示信号处理设 备4的处理。对于图119中的信号处理设备4，现实世界基于连续性而估计， 因此，去除因传感器2的时间积分效应，因对象信号的时间方向混合 (时间混合)而产生的运动模糊的处理被执行。也就是说，在通过使用作为图像传感器的传感器2，获取对象例 如汽车等正在运动的现实世界l中的图像而获得的输入图像中，对象 随着时间而运动，所以该对象的光信号以及除该对象之外部分的光信 号因传感器2的时间积分效应而混合(时间混合)，从而引起例如对 象的边界部分等处的所谓运动模糊。图119中所示信号处理设备4产 生因这种时间混合而出现的运动模糊已经从输入图像中去除的高质量 输出图像。对于图119中所示的信号处理设备4，首先，在步骤S11061 中，执行预处理，并且流程前进到步骤S11062。也就是说，信号处 理i殳备4将从传感器2 (图1)作为数据3提供的例如输入图像的一 帧或一场提供给处理区域设置单元11041,连续性设置单元HO", 现实世界估计单元11043，图像生成单元11044，以及图像显示单元 11045。此外，信号处理设备4将输入图像显示在图像显示单元 11045上。这里注意，通过使用传感器2获取对象例如汽车以恒定速度在水 平方向上运动的场景而获得的、因时间混合而具有运动模糊的图像， 作为输入图像输入到信号处理设备4.在步骤S11062中，用户I/F 11046确定是否存在由用户操作用户 I/F 11046的连续性指示信息的输入。如果在步骤S11062中确定不存 在连续性指示信息的输入，流程前进到步骤S11063,在那里用户I/F 11046确定是否存在由用户操作用户I/F 11046的指示信号处理设备4处理结束的结束指令的输入。如果在步骤S11063中确定存在结束指令的输入，例如，如果已 经观看显示在图像显示单元11045上的输入图像的用户没有感觉到输 入图像的图像质量不令人满意，并且操作用户I/F 11046以便结束信 号处理设备4的处理，因为不需要使输入图像经历信号处理，处理结 束。而且，如果在步骤S11063中确定不存在结束指令的输入，流程 返回到步骤S11062，此后重复相同的处理。另一方面，如果在步骤S11062中确定存在连续性指示信息的输 入，也就是说，如果已经观看显示在图像显示单元11045上的输入图 像的用户感觉到输入图像(在该情况下，存在运动模糊)的图像质量 不令人满意，并且操作用户I/F 11046以便指示输入图像中对象的运 动量，流程前进到步骤S11064，在那里用户I/F 11046将用户已经通 过操作用户I/F 11046指示的表示运动量的连续性指示信息作为帮助 信息提供给连续性设置单元11042，并且流程前进到步骤S11065。在步骤S11065中，处理区域设置单元11041设置处理区域并将 表示处理区域的处理区域信息提供给连续性设置单元11042,现实世 界估计单元11043，以及图像生成单元110"，并且流程前进到步骤 S11066。现在调整配置可以这样进行，其中步骤S11065中处理区域的设 置可以基于由用户输入的处理区域指示信息来执行，或者配置可以这 样进行，其中这被执行而没有来自用户的处理区域指示信息。没有来 自用户的处理区域指示信息的处理区域的实例设置是使用输入图像以 及前一帧或后一帧的图像执行块匹配以从输入图像中检测运动矢量， 并且基于运动矢量执行设置。也就是说，例如，围绕具有预先确定量 值或更大的运动矢量的块的最小矩形区域可以设置为处理区域。在步骤S11066中，连续性设置单元11042从处理区域设置单元 11041提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元11042设置在处理区域处的图像数据中丢失的M个版本的现实世界1信号，并且将表示M个版本连续性的连续性信息提 供给现实世界估计单元11043，并且流程前进到步骤S11067。
现在，如果连续性指示信息已经在前一个步骤S11064中作为帮 助信息从用户I/F 11046提供，连续性设置单元11042基于连续性指 示信息设置M个版本的连续性。也就是说，连续性设置单元11042 设置以作为前一个步骤S11064中从用户I/F 11076提供的连续性指 示信息的运动量为中心的M个版本的运动量，作为M个版本的连续 性信息。
在步骤S11067中，现实世界估计单元11043根据相应现实世界 1信号的连续性，对于输入图像中处理区域内的图像数据估计现实世 界1信号。
也就是说，在现实世界估计单元11043处，模型生成单元11051 从处理区域设置单元11041提供的处理区域信息中识别输入图像中的 处理区域，并且从连续性设置单元11042提供的M个版本的连续性 信息中，识别与处理区域中图像数据相对应的现实世界1信号的M 个版本的连续性。此外，模型生成单元11051对于M个版本连续性 的每个，根据构成输入图像中处理区域的像素以及与处理区域中图像 数据相对应的现实世界1信号的连续性，来产生M个版本的函数作 为模拟处理区域中每个像素的像素值与现实世界1信号之间关系的模 型，从而将关于M个版本的连续性而获得的M个版本的函数提供玲 公式生成单元11052。
公式生成单元11052从处理区域设置单元11041提供的处理区域 信息中识别输入图像中的处理区域，并且关于构成处理区域的像素， 将输入图像中必需的像素的像素值代入用作从模型生成单元UO51提 供的模型的M个版本函数的每个中，从而产生获得近似现实世界1 信号的近似函数的M个版本的公式，其然后提供给现实世界波形估 计单元11053。
现实世界波形估计单元11053求解从公式生成单元11052提供的 M个版本的公式，从而估计M个版本的现实世界1信号波形，也就是，获得用作模拟现实世界1信号的模型的近似函数，并且将M个 版本的近似函数提供给图像生成单元11044。
在步骤S11067的处理之后，流程前进到步骤S11068,在那里图 像生成单元11044基于从现实世界估计单元11043 (的现实世界波形 估计单元11053 )提供的M个版本的近似函数产生更接近现实世界1 信号的恰好M个版本的信号。也就是说，图像生成单元11044从处 理区域设置单元11041提供的处理区域信息中识别输入图像中的处理 区域，并且基于关于处理区域从现实世界估计单元11043提供的M 个版本的近似函数，产生作为更接近与现实世界1信号相对应的图像 的图像数据的恰好M个版本的近似图像。此外，图像生成单元 11044产生输入图像的处理区域部分已经用M个版本的近似图像取 代的M个版本的图像作为输出图像，其然后提供给图像显示单元 11045，并且流程从步骤S11068前进到步骤S11069。
在步骤S11069中，图像显示单元11045显示从图像生成单元 11044提供的M个版本的输出图像，代替步骤S11061中显示的输入 图像，或者与输入图像一起，并且流程前进到步骤S11070。
在步骤S11070中，用户I/F 11046确定是否存在由用户操作用户 I/F 11046的选择信息的输入。也就是说，在步骤S11069中，M个版 本的输出图像显示在图像显示单元11045上，并且在步骤S11070中 确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 11046输入从M个版本的输出图像中选择具有期望图像质量或接近 期望图像质量的图像(在该情况下，运动模糊已经从其中去除的图 像)的选择信息。
在步骤S11070中，如果确定不存在选择信息的输入，流程前进 到步骤S11073，在那里由用户1/F 11046确定是否存在结束指令的输 入，以与步稞S11063中相同的方法。
如果在步骤S11073中确定已经存在结束指令的输入，信号处理 设备4结束处理。
而且，如果在步骤S11073中确定不存在结束指令的输入，流程返回到步骤S11070，此后重复相同的处理。
另一方面，如果在步骤S11070中确定已经存在选择信息的输 入，也就是说，已经观看显示在图像显示单元11045上的M个版本 的输出图像的用户已经从M个版本的输出图像中选择具有期望图像 质量或接近期望图像质量的图像，流程前进到步骤S11071,在那里 用户I/F 11046确定是否存在由用户操作用户I/F 11046的最终确定 信息的输入，该信息用于最终确定用户已经选作最终输出图像的输出 图像。
在步骤S11071中，如果确定存在最终确定指令的输入，流程前 进到步骤S11072，在那里图像显示单元11045例如在其整个屏幕上 显示用户已经选择的输出图像，并且处理结束。
而且，在步骤S11071中，如果确定不存在最终确定指令的输 入，也就是说，如果用户感觉到所选输出图像的图像质量不令人满 意，因此没有输入最终确定指令以便再次执行处理，流程返回到步骤 S11064，在那里用户I/F 11046将表示用户已经选择的输出图像的选 择信息作为帮助信息提供给连续性设置单元11042，并且流程前进到 步骤S11065。
在步骤S11065中，处理区域^L置单元11041以与上述相同的方
法设置处理区域，将表示处理区域的处理区域信息提供给连续性设置
单元11042,现实世界估计单元11043，以及图像生成单元110"， 并且流程前进到步骤S11066。现在，如果在这里设置的处理区域与 先前步骤S11065的处理中设置的相同，例如，因此将执行步骤 S11064 S11076的循环处理，从第二次起步骤S11065的全部处理可 以跳过。
在步骤S11066中，连续性设置单元11042基于用作从用户I/F 11046提供的帮助信息的选择信息，重新设置M个即多个版本的连 续性。也就是说，在该情况下，在步骤S11066中，连续性设置单元 11042基于关于用于获得选择信息表示的输出图像的输入图像而设置 的连续性，设置新的M个版本的连续性，其中选择信息用作从用户I/F 11(M6提供的帮助信息。此外，在步骤S11066中，连续性设置单 元11042将表示新的M个版本连续性的M个版本的连续性信息提供 给现实世界估计单元11043和图像生成单元11044。然后流程从步骤 S11066前进到S11067，此后重复相同的处理。
也就是说，步骤S11064 S11073的处理这样重复，直到最终，连 续性被设置，借此用户期望的图像质量，特别地，在该情况下，其运 动模糊已经(充分)去除的输出图像被获得，因此用户获得具有期望
图像质量的输出图像。
如上所述，对于图119中所示的信号处理设备4，用户被展示有 作为输入图像上处理结果的M个版本的输出图像，用户从M个版本 的输出图像中选择期望的一个，并且再处理基于选择结果而执行，所 以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号 处理设备4向用户展示M个版本的输出图像作为关于输入图像的处 理结果。另一方面，用户识别M个版本输出图像的每个的图像质 量，经过判断，并且给予信号处理设备4关于具有良好图4象质量的输 出图像的反馈。信号处理设备4基于来自用户的反馈再次处理输入图 像，此后重复相同的处理。因此，满足用户喜好的高质量输出图像可 以容易地获得。
注意，与对于图113中所示信号处理设备4的情况一样，配置可 以对于图119中所示信号处理设备4这样进行，其中M!个即多个处 理区域被设置，用户从Mi个版本的处理区域中选择期望的一个，之 后M2个即多个版本的连续性关于仅用户已经选择的处理区域而设
置，以便获得M2个版本的输出图像。
此外，注意，与图113中所示信号处理设备4的情况一样，对于 图119中所示信号处理设备4，配置可以这样进行，其中处理区域i更 置单元11041设置M!个即多个版本的处理区域，并且连续性设置单 元11042关于Mi个版本处理区域的每个设置M2个即多个版本的连 续性，从而产生M^M2个版本的输出图像，使得用户可以从其中选 择期望的一个.接下来，图122说明图ll9中所示连续性设置单元11042的详细 构造实例。
图像存储器11061提供有输入图像，以及如果必要的话；输入图 像之前或之后的帧的图像，并且图像存储器11061存储提供到那里的 图像。
运动检测单元11062提供有来自处理区域设置单元11041的处理 区域信息，运动检测单元11062从该图像存储器11061中读出由处理 区域信息识别的输入图像中处理区域的图像数据等，检测表示处理区 域中数据连续性的运动，并且将其提供给运动候选设置单元11063。
注意运动检测单元11062能够通过块匹配例如检测运动，或者可 以通过其他技术检测运动。其他技术将随后描述。
现在，虽然图122说明连续性设置单元11042的构造包括图像存 储器11061和运动检测单元11062，配置可以这样进行，其中连续性 设置单元11042仅由随后描述的运动候选设置单元11063，连续性信 息生成单元11064，以及控制单元11065构成，而没有图像存储器 11061和运动检测单元11062，如果仅与输入图像相对应的现实世界 1的连续性被设置而不从输入图像(处理区域)中检测运动，也就是 例如，如果仅现实世界l的连续性基于从用户输入的连续性指示信息 而设置。
运动候选设置单元11063基于从运动检测单元11062提供的表示 处理区域中数据连续性的运动，来设置表示相应现实世界l的连续性 的运动的M个版本的候选，并且将这些提供给连续性信息生成单元 11064。或者，运动候选设置单元11063遵循控制单元11065的控制 来设置表示输入图像处理区域中的现实世界1连续性的运动的M个 版本的候选，其提供给连续性信息生成单元11064。
连续性信息生成单元11064产生表示从运动候选设置单元11063 提供的M个版本运动候选的每个的连续性信息，并且将M个版本的 连续性信息输出到现实世界估计单元11046 (图119)。
控制单元11065接收用作从用户I/F 11046 (图119)提供的帮助信息的连续性指示信息或选择信息，并且根据连续性指示信息或选择
信息控制运动候选设置单元11063。
现在，将参考图123中所示的流程图描述图122中所示连续性设 置单元11042执行的处理(连续性设置处理)。
连续性设置处理在输入图像提供给图119中所示的信号处理设备 4时开始，例如。
也就是说，对于连续性设置处理，首先，在步骤S11081中，控 制单元11065确定是否存在从用户I/F 11046 (图119)的连续性指示 信息的输入。如果在步骤S11081中确定不存在连续性指示信息的输 入，流程前进到步骤S11082，在那里控制单元11065确定是否存在 由用户操作用户I/F 11046的指示信号处理设备4处理结束的结束指 令的输入。
在步骤S11082中，如果确定存在结束指令的输入，连续性设置 单元11042结束连续性设置处理。
而且，如果在步骤S11082中确定不存在结束指令的输入，流程 返回到步骤S11081，此后重复相同的处理。
如果在步骤S11082中确定存在连续性指示信息的输入，控制单 元11065将连续性指示信息提供给运动候选设置单元11063，并且流 程前进到步骤S11083。
在步骤S11083中，运动候选设置单元11063基于从控制单元 11065提供的连续性指示信息表示的运动量，设置输入图像处理区域 中对象运动量的M个版本的候选(运动候选)，将M个版本的运动 候选提供给连续性信息生成单元11064，并且流程前进到步骤 S11084。现在，配置可以这样进行，其中在步骤S11083中，例如以 连续性指示信息表示的运动量为中心的、以预先确定间隔的M个值 设置为M个版本的运动量候选，注意，该情况下预先确定的间隔可 能是恒定值，或者可能随着远离连续性指示信息表示的运动量而增大 或减小。
在步骤S11084中，连续性信息生成单元IIO64产生并输出表示从运动候选设置单元11063提供的M个版本运动量候选的M个版本 的连续性信息，并且流程前进到步骤S11085。
在步骤S11085中，控制单元11065确定选择信息是否已经从用 户I/F 11046提供，并且如果确定选择信息没有提供，流程前进到步 骤S11086。在步骤S11086中，控制单元11065确定是否存在由用户 操作用户I/F 11046的最终确定指令或结束指令的输入。
如果在步骤S11086中确定存在最终确定指令或结束指令的输 入，连续性设置单元11042结束连续性设置处理。
而且，如果在步骤S11086中确定不存在最终确定指令或结束指 令的输入，流程返回到步骤S11085，此后重复相同的处理。
如果在步骤S11085中确定选择信息已经从用户I/F 11046输入到 控制单元11065，控制单元11065控制运动候选设置单元11063以便 设置M个新的运动量候选，并且流程前进到步骤S11087。
在步骤S11041中，运动候选设置单元11063在控制单元11065 的控制下设置M个新的运动量候选。也就是说，在该情况下，运动 候选设置单元11063基于用作用来获得由从用户I/F 11046提供的选 择信息从先前设置的M个运动量候选中选择的输出图像的连续性信 息的运动量候选，设置M个新的运动量候选。
特别地，运动候选设置单元11063以用来获得由从用户I/F 11046提供的选择信息选择的输出图像的运动量候选为中心，以比先 前设置的M个运动量候选中相邻运动量候选之间的间隔短的间隔设 置值，作为M个新的运动量候选。
运动候选设置单元11063将M个新的运动候选提供给连续性信 息生成单元11064，并且流程从步骤S11087返回到S11084。
在步骤S11084中，连续性信息生成单元11064产生并输出表示 从运动候选设置单元11063提供的M个新的运动量候选的M个版本 的连续性信息，流程前进到步骤S11085,此后重复相同的处理，
根据上面的连续性设置处理，M个即多个版本的连续性基于来 自用户的连续性指示信息而设置，并且随后的处理对于M个版本连续性的每个而执行。此外，M个版本的输出图像作为其处理结果而 显示，并且当用户从其中选择输出图像时，M个新版本的连续性基 于选择结果而设置，此后重复相同的处理。因此，适当的连续性设置 例如由用户从M个版本的输出图像中选择最接近期望图像质量的输 出图像而执行，从而使得用户能够获得图像质量接近期望的输出图 像。
现在，虽然上述情况是如下配置，其中首先，用户输入表示输入 图像中对象的运动量的连续性指示信息，并且连续性设置单元11042 基于连续性指示信息设置第一 M个版本的运动量候选，但是配置可 以这样进行，其中第一 M个版本的运动候选被设置而没有来自用户 的连续性指示信息，也就是说，配置可以这样进行，其中在连续性设 置单元11042处，输入图像存储在图像存储器11061中，存储在图像 存储器11061中的输入图像处理区域中的运动量由运动检测单元 11062检测，并且第一 M个版本的运动量候选例如基于检测的运动 量来设置。
而且，配置可以这样进行，其中在连续性^:置单元11042处，第 一 M个版本的运动量候选基于以由连续性指示信息表示的运动量或 由运动检测单元11062检测的运动量为中心的某个运动量范围，或者 与连续性指示信息表示的或由运动检测单元11062检测的运动量无关 的某个运动量范围而设置。
现在，在基于某个运动量范围设置第一 M个版本的运动量候 选，随后根据用户对输出图像的选择设置M个新版本的运动量的情 况下连续性设置单元11042的处理，将参考图124中的流程图描述。 注意，用于设置M个版本运动量候选的运动量范围的最小值和最大
值将分别称作最小运动量Vmin和最大运动量Vmax，如果适当的话。
在该情况下，首先，在步骤S11091中，控制单元11065通过将
从最小运动量Vmin到最大运动量Vmax的范围平均划分成M+l份来获
得M个点，将这些提供给运动候选设置单元11063，并且流程前进 到步骤S11092。在步骤S11092中，控制单元11065获得将从最小运动量V^到最大运动量V随的范围平均划分成M+l份的M个点中 相邻点之间的距离L，并且流程前进到步骤S11093。
在步骤S11093中，运动候选设置单元11063将从控制单元 11065提供的M个点的值设置为M个运动量候选，并将M个运动量 候选提供给连续性信息生成单元11064，并且流程前进到步骤 S11094。
在步骤S11094中，连续性信息生成单元11064产生并输出表示 从运动候选设置单元11063提供的M个运动量候选的M个版本的连 续性信息，并且流程前进到步骤S11095。
在步骤S11095中，控制单元11065确定选择信息是否已经从用 户I/F 11046提供，并且如果确定选择信息没有提供，流程前进到步 骤S11096。在步骤S11096中，控制单元11065确定是否存在由用户 操作用户I/F 11046的最终确定指令或结束指令的输入。
如果在步骤S11096中确定存在最终确定指令或结束指令的输 入，连续性设置单元11042结束连续性设置处理。
而且，如果在步骤S11096中确定不存在最终确定指令或结束指 令的输入，流程返回到步骤S11095，此后重复相同的处理。
如果在步骤S11095中确定选择信息已经从用户I/F 11046提供给 控制单元11065，流程前进到步骤S11097，在那里控制单元110M将 先前设置的M个版本的运动量候选中、用作获得以产生由从用户I/F 11046提供的选择信息选择的输出图像的连续性信息的运动量候选 Va，增加或减去前一个步骤S11092中获得的距离L,并且分别将其 加法值或减法值重新设置为最大运动量V咖x或最小运动量Vmin。
随后，流程从步骤S11097返回到S11091,此后重复相同的处理。
因此，对于M为3,例如，连续性设置单元11042首先获得将 从最小运动量Vmin到最大运动量V咖x的范围平均划分成4份的3个 点^， V2和v3，如图125中所示，使得3个点的值设置为3个运动
量候选V" V2和V3，并且相邻的3个运动量候选V" V2和V3 (Vi和V2，以及V2和v3)之间的距离L获得。
此外，如果我们假定用户已经从关于三个版本的运动量候选V1，
v2和v3而获得的输出图像中，选择关于运动量候选v2例如而获得的 输出图像，连续性设置单元11042将通过将用于获得所选输出图像的 运动量候选va (在该情况下是v2)增加或减去距离L而获得的值分
别设置为新的最大运动量Vmax，或最小运动量Vmin'，如图125中所 示，获得将从最小运动量V幽'到最大运动量Vmx'的范围平均划分成
4份的3个点Vl，， V2，和v3，，使得3个点的值设置为3个运动量候选
Vi，， V 和V3'，而且相邻3个运动量候选V!'， V 和V3， ( V!'和V2，，以 及v 和v3，)之间的距离L，也获得。
然后，如果我们假定用户已经从关于三个运动量候选V ， V2'和 V3，而获得的输出图像中，选择关于运动量候选V!，例如而获得的输出
图像，连续性设置单元11042将通过将用于获得所选输出图像的运动
量候选Va'(在该情况下是V )增加或减去距离L，而获得的值分别设
置为新的最大运动量V咖x"或最小运动量Vmin"，如图l25中所示，
获得将从最小运动量Vnu,到最大运动量Vmax"的范围平均划分成4
份的3个点""，V2"和V3，'，使得3个点的值设置为3个运动量候选
Vl"， V2"和V3，，，而且相邻3个运动量候选V广,V '和V3" (Vi'，和
V2"，以及V2，，和v3，，)之间的多巨离L"也获得。
此后，运动量候选的范围以相同的方法变窄，直到最后，具有真 实值(工作非常接近真实值)作为连续性信息的输出图像获得。
也就是说，例如，让我们假定M为3，并且最小运动量Vn^和
最大运动量V,分别为0和50。此外，让我们假定用作输入图像的 图像具有例如通过拍摄以恒定速度在水平方向上运动的对象例如汽车
等而获得的运动模糊，如图126A中所示，例如，并且物体运动的魂 度，即运动量的真实值是20.
在该情况下，连续性设置单元获得将从最小运动量0到最大运动 量50的范围平均划分成4份的3个点，并且3个点的值设置为3个 运动量候选。因此，13 ( =1x50/4 ) , 25 ( =2x50/4 ) ， 37(=3x50/4)设置为3个运动量候选。注意，您的值中通过舍入小于 小数点的值而用于运动量候选的值，如果适当的话。
随后，输入图像在现实世界估计单元11043和图像生成单元 11044处关于3个运动量候选13， 25和37而处理，所以作为关于3 个运动量候选13， 25和37处理输入图像的结果的三个版本的输出图 像显示在图像显示单元11045上，如图126B中所示。
用户选择这三个输出图像中对象轮廓最清晰的一个，也就是输入 图像中的运动模糊减小最多的输出图像。在该情况下，真实运动值是 20，所以关于三个运动量候选13， 25，和37而获得的输出图像中， 关于最接近真实运动量20的例如运动量候选25而获得的输出图像具 有运动模糊的最大减小。因此，用户选择关于运动量候选25而获得 的输出图像。
另一方面，将从最小运动量零到最大运动量50的范围平均划分 成四份的三个点之间的距离L是50/4，所以当用户选择输出图像 时，连续性设置单元11042设置将用于获得所选输出图像的运动量候 选25增加或减去距离50/4的值，将这些每个取作新的最大运动量或 最小运动量，并且设置将最小运动量到最大运动量的范围平均划分成 四份的三个点作为三个新的运动量候选。
因此，在该情况下，19 ( ( =1x50/4+25 ) /2 ) ， 25 (=2x50/4) ， 31 ( (=3x50/4-25) /2 )设置为3个运动量候选。
随后，输入图像在现实世界估计单元11043和图像生成单元 11044处关于3个运动量候选19, 25,和31而处理，所以三个版本 的输出图像，其是关于3个运动量候选19， 25,和31处理输入图像 的结果，显示在图像显示单元11045上，如图126C中所示。
此后重复相同的处理，借此运动量的真实值设置为运动量候选， 并且输出图像关于真实运动量而获得。
也就是说，在作为关于三个运动量候选19， 25和31的输入图像 处理结果的三个输出困像中，关于最接近真实运动量20的运动量候 选19而获得的输出图像，例如具有运动模糊的最大减小(最清晰)。因此，用户选择关于运动量候选19而获得的输出图像。
在该情况下，连续性设置单元11042以与上述相同的方法设置三 个新的运动量候选16, 19， 22，从而作为关于三个运动量候选16, 19和22的输入图像处理结果的3个输出图像显示在图像显示单元 11045上，如图126D中所示。
在作为关于三个运动量候选16， 19和22的输入图像处理结果的 三个输出图像中，关于最接近真实运动量20的运动量候选19而获得 的输出图像例如具有运动模糊的最大减小(最清晰)。因此，用户选 择关于运动量候选19而获得的输出图像。
在该情况下，连续性设置单元11042以与上述相同的方法设置三 个新的运动量候选18， 19, 20，从而作为关于三个运动量候选18, 19和20的输入图像处理结果的3个输出图像显示在图像显示单元 H045上，如图126E中所示。
运动量候选20是真实运动量，因此关于运动量候选20而获得的
输出图像具有运动模糊从输入图像中的最大减小(最清晰)。
将真实值设置为表示现实世界1连续性的运动量使得输出图像能 够由现实世界估计单元11043和图像生成单元110"获得，其中因时 间混合而发生的运动模糊被去除(减小)。但是，可能存在这种情 况，其中仅使用信号处理设备4从输入图像中获得现实世界1连续性 的真实值是困难的。因此，存在一种方法，其中用户输入现实世界1 连续性的真实值，但是用户输入用数值表示的现实世界1连续性的真 实值例如运动量等是困难的。
另一方面，用户可以简单地通过观看作为处理结果的输出图像， 容易地确定或识别图像质量是否已经在输出图像中提高，例如运动模 糊是否减小。
因此，运动模糊可以通过信号处理设备4关于M个运动量候选 处理输入图像以便获得M个版本的输出图像，使得用户从M个输出 图像中选择具有运动模糊最大改善的输出图像，根据其选择结果设置 M个新的运动量候选，关于M个运动量候选获得M个输出图像，并且重复该处理而以非常有效地方式去除，如上所述。
也就是说，信号处理设备4向用户展示处理结果，并且让用户执 行人类擅长的图像质量识别和判断。信号处理设备4根据识别和判断 来接收反馈并且执行再处理。这样，具有更接近与现实世界l信号相 对应的图像的图像质量的图像可以容易地通过用户与信号处理设备4 之间的合作而获得，其中用户执行人类擅长的识别和判断，而信号处 理设备4接收识别和判断反馈并且执行它擅长的处理(信号处理)。
现在，作为在输入图像上关于M个运动量候选的处理结果的M 个输出图像中，基本上，关于最接近真实运动量的运动量候选而获得 的输出图像将具有运动模糊的最大减小，但是可能存在这种情况，其 中用户做错输出图像的图像质量识别和判断，并且选择不是关于最接 近真实运动量的运动量候选而获得的输出图像的输出图像。在这种情 况下，基本上，关于随后设置的新的M个运动量候选的每个而获得 的输出图像的图像质量将在先前输出图像的图像质量上退化，所以用 户可以认识到输出图像的前一次选择是错误的。为了处理这种情况， 图像显示单元11045优选地显示"返回"按钮，例如，借此信号处理i殳 备4的状态可以返回到前一次输出图像选择之前即刻的状态，所以在 用户操作"返回，，按钮的情况下，信号处理设备4的状态返回到前一次 输出图像选择之前即刻的状态。
而且，虽然这里进行的描述已经使用通过拍摄运动对象而获得的 图像作为输入图像，其他实例包括使用运动模糊因具有用于拍摄物体 的传感器2的照相机运动而发生的图像，例如图像用运动的手拍摄， 作为输入图像。如果输入图像具有照相机抖动模糊，照相机抖动模糊 已经校正的图像可以作为输出图像而获得。因此，图119中的信号处 理设备4可以用作运动模糊去除设备或照相机抖动模糊校正设备。
图127说明图111中所示信号处理设备4的应用实例的一种实施
方案的构造实例。
在图127中，处理区域设置单元11071，连续性设置单元 11072,现实世界估计单元11073，图像生成单元11074，图像显示单元11075,以及用户I/F 11076，每个对应于图111中所示的处理区域 设置单元10001，连续性设置单元10002，现实世界估计单元 10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006,并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003，图像生成单元10004，图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图127 中，现实世界估计单元11073包括模型生成单元11081，公式生成单 元11082，以及现实世界波形估计单元11083。模型生成单元 11081，公式生成单元11082，以及现实世界波形估计单元11083对 应于图111中的模型生成单元10011，公式生成单元10012，以及现 实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011，公式生成单元10012，以及现实世界波形估计单元10013的 每个相同的处理。
但是注意，在图127中，用户I/F 11076通过用户操作用户I/F 11076输出的帮助信息仅提供给现实世界估计单元11073。
也就是说，在图127中，用户可以通过操作用户I/F 11076指示 关于用于估计现实世界l信号的模型的模型信息，并且当用户执行操 作以指示模型信息时，用户I/F 11076将表示由操作指示的模型信息 的模型信息指示作为帮助信息提供给现实世界估计单元11073。此 外，在图127中，多个输出图像显示在图像显示单元110"上，如随 后描述的，并且显示在图像显示单元11075上的输出图像可以由用户 操作用户I/F 11076选择，并且当用户执行操作以选择输出图像时， 用户I/F 11076将表示由操作选择的输出图像的选择信息作为帮助信 息提供给现实世界估计单元11073。
现在，用于估计现实世界1信号的模型包括用作模拟现实世界1 光信号波形(例如，表达式(46 )中所示多项式 f3(x)=(w。+Wlx+w2x2+ ... wnxn等)的模型的近似函数，以及用作使用 近似函数(例如表达式(103)或表达式(104)等)模拟由传感器2 获得的图像数据中每个像素的像素值与现实世界1光信号之间关系的模型的函数(表达式)。以下，模拟现实世界l光信号波形的模型将
称作近似模型，并且模拟由传感器2获得的图像数据中每个像素的像 素值与现实世界1光信号之间关系的模型将称作关系模型，如果适当 的话。
指示作为例如表达式(46)中所示多项式的近似函数f3(x)的阶数 n的信息可以用作模型指示信息。而且，虽然各种函数例如样条函 数，三角函数，S形函数，高斯函数，线性函数(线性表达式)，具 有恒定函数值的函数等可以用于近似函数，指示将用于估计现实世界 l信号的近似函数类型的信息也可以用于模型指示信息。
在该情况下，但是，例如表达式(46)中所示多项式的近似函数 f3(x)用作近似模型，并且指示作为例如表达式(46)中所示多项式的 近似函数f3(x)的阶数n的信息作为模型指示信息从用户I/F 11076提 供给现实世界估计单元11073，当用户操作用户I/F 11076时。
接下来，将参考图128中所示的流程图描述图127中所示的信号 处理设备4。
首先，在步骤S11101中，图127中的信号处理设备4执行预处 理，并且流程前进到步骤S11072。也就是说，信号处理设备4将从 传感器2 (图1)作为数据3提供的输入图像的例如一帧或一场提供 给处理区域设置单元11071,连续性设置单元11072，现实世界估计 单元11073，图像生成单元11074，以及图像显示单元11075。此 外，信号处理设备4使得图像显示单元11075显示输入图像'
在步骤S11102中，用户I/F 11076确定是否存在由用户操作用户 I/F 11076的模型指示信息的输入。在步骤S11102中，如果确定不存 在模型指示信息的输入，流程前进到步骤S11103,在那里用户I/F 11076确定是否存在由用户操作用户I/F 11076的指示信号处理设备4 处理结束的结束指令的输入。
如果在步骤S11103中确定存在结束指令的输入，也就是说，例 如，如果已经观看显示在图像显示单元11075上的输入图像的用户操 作用户I/F 11076以便结束信号处理设备4的处理而不需要执行关于
1输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，处理结束。
而且，如果在步骤S11103中确定不存在结束指令的输入，流程 返回到步骤S11102，此后重复相同的处理。
另一方面，如果在步骤S11102中确定存在模型指示信息的输 入，也就是说，如果已经观看显示在图像显示单元11075上的输入图 像并且发现令人不满意的输入图像的图像质量的用户，因此操作用户 I/F 11076以便指示用作近似模型的近似函数的阶数，流程前进到步 骤S11104,在那里用户I/F 11076将表示由用户操作用户I/F 11076 指示的阶数的模型指示信息作为帮助信息提供给现实世界估计单元 11073,并且流程前进到步骤S11105。
在步骤S11105,处理区域设置单元11071设置处理区域，并将 表示处理区域的处理区域信息提供给连续性设置单元11072,现实世 界估计单元11073，以及图像生成单元11074，并且流程前进到步骤 S11106。现在，配置可以这样执行，其中步骤S11105中处理区域的 设置通过用户输入处理区域指示信息而执行，以便基于处理区域指示 信息而执行，或者这可以执行而没有来自用户的处理区域指示信息。
在步骤S11106中，连续性设置单元11072从处理区域设置单元 11071提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元11072设置在处理区域图像数据中丢失的现实世界1信 号的连续性，并且将表示处理区域连续性的连续性信息提供给现实世 界估计单元11073，并且流程前进到步骤S11107。现在，配置可以这 样进行，其中步骤S11106中连续性的设置通过用户输入连续性指示 信息而执行，以便基于连续性指示信息而执行，或者这可以执行而没 有来自用户的连续性指示信息。
在步骤S11107中，现实世界估计单元11073根据相应现实世界 1信号的连续性，对于输入图像的处理区域内的图像数据估计现实世 界1信号。
也就是说，在现实世界估计单元11073处，模型生成单元11081从处理区域设置单元11071提供的处理区域信息中识别输入图像中的 处理区域，并且基于从连续性设置单元11072提供的连续性信息，识 别与处理区域图像数据相对应的现实世界l信号的连续性。此外，模 型生成单元11081根据构成输入图像中处理区域的像素以及与其处理 区域的图像数据相对应的现实世界1信号的连续性，来产生用作模拟 处理区域中每个像素的像素值与现实世界l信号之间关系的关系模型 的M个函数，并且将M个版本的函数提供给4^式生成单元11082。
现在，如果模型指示信息已经在前一个步骤S11104中作为帮助 信息从用户I/F提供，模型生成单元11081产生函数作为M个版本 的关系模型。也就是说，模型生成单元11081取M个版本的阶数的 多项式，M个版本的阶数包括由前一个步骤S11104中从用户I/F 11076提供的模型指示信息表示的阶数，作为近似函数，并且产生作 为使用M个版本近似函数的关系模型的M个版本的函数。
乂^式生成单元11082从处理区域设置单元11071提供的处理区域 信息中识别输入图像中的处理区域，并且将构成输入图像所必需的像 素的像素值代入用作从模型生成单元11081提供的关系模型的M个 函数的每个中，对于处理区域中的每个像素，从而产生获得近似现实 世界1信号的近似函数的M个公式，其然后提供给现实世界波形估 计单元11083。
现实世界波形估计单元11083对于从公式生成单元11082提供的 M个公式而求解公式，从而估计现实世界1信号的波形，也就是， 获得用作模拟现实世界1信号的模型的近似函数，并且将M个版本 的近似函数提供给图像生成单元11074。
在步骤S11107中的处理之后，流程前进到步骤S11108，在那里 图像生成单元11074基于从现实世界估计单元11073 (的现实世界波 形估计单元11083)提供的M个近似函数，产生更接近现实世界1 信号的M个信号'也就是说，图像生成单元11074从处理区域设置 单元11071提供的处理区域信息中识别输入图像中的处理区域，并且 基于从现实世界估计单元11073对处理区域而提供的M个版本的近似函数，产生作为更接近现实世界1信号的图像数据的M个近似图 像。此外，图像生成单元11074产生输入图像中的处理区域部分已经 用M个近似图像取代的M个版本的图像作为输出图像，其然后提供 给图像显示单元11075，并且流程从步骤S11108前进到步骤 S11109。
在步骤S11109中，图像显示单元11075显示从图像生成单元 11074提供的M个版本的输出图像，代替步骤S11101中显示的输入 图像，或者与输入图像一起，并且流程前进到步骤SllllO。
在步骤SllllO中，用户I/F 11076确定是否存在由用户操作用户 I/F 11076的选择信息的输入。也就是说，M个版本的输出图像在步 骤S11109中显示在图像显示单元11075上，并且在步骤S11110中 确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 11076输入从M个版本的输出图像中选择具有期望图像质量的图像 或具有更接近期望图像质量的图像质量的图像的选择信息。
如果在步骤S11110中确定不存在选择信息的输入，流程前进到 步骤S11113，并且关于步骤S11113中的情况，由用户I/F 110冗确
定是否存在结束指令的输入。
如果在步骤S11113中确定已经存在结束指令的输入，信号处理
设备4结束处理。
而且，如果在步骤S11113中确定不存在结束指令的输入，流程 返回到步骤SllllO，此后重复相同的处理。
另一方面，如果在步骤S11110中确定已经存在选择信息的输 入，也就是如果已经观看显示在图像显示单元11075上的M个版本 的输出图像的用户已经从M个版本的输出图像中选择期望图像或具 有更接近期望图像质量的图像质量的图像，流程前进到步骤 Slllll，在那里用户I/F 11076确定是否存在由用户操作用户I/F 11076的最终确定指令的输入，该指令用于最终确定用户已经选作最
如果在步骤Slllll中确定存在最终确定指令的输入，流程前进到步骤S11112,在那里图像显示单元11075例如在其整个屏幕上显 示用户已经选择的输出图像，并且处理结束。
而且，如果在步骤Slllll中确定不存在最终确定指令的输入， 也就是，如果用户已经发现所选输出图像的图像质量不令人满意，并 且还没有执行最终确定指令的输入以便再次执行处理，流程返回到步 骤S11104，在那里用户I/F 11076将表示用户已经选择的输出图像的 选择信息作为帮助信息提供给现实世界估计单元11073，并且流程前 进到步骤S11105。
在步骤S11105中，处理区域设置单元11071以与上面相同的方 法设置处理区域，将表示处理区域的该处理区域信息提供给连续性设 置单元11072,现实世界估计单元11073，以及图像生成单元 11074,并且流程前进到步骤S11106。在步骤S11106中，连续性设 置单元11072以与上述相同的方法从处理区域^t置单元11071提供的 处理区域信息中识别输入图像中的处理区域，设置在处理区域处的图 像数据中丢失的现实世界1信号的连续性，并且将表示该连续性的连 续性信息提供给现实世界估计单元11073，并且流程前进到步骤 S11107。
注意，如果执行步骤S11104 S11113的循环处理，从第二次起例 如在步骤S11105中设置的处理区域与前一次在步骤S11105的处理 中的相同，而且，从第二次起在步骤S11106中所述的连续性与先前 步骤S11106中设置的相同。因此，如果执行步骤S11104 S11113的 循环处理，从第二次起步骤S11105和S11106的处理可以跳过。
在步骤S11107中，现实世界估计单元11073根据相应现实世界 1信号的连续性估计输入图像处理区域内的图像数据的现实世界1信 号。
也就是说，在现实世界估计单元11073处，模型生成单元11081 从处理区域设置单元11071提供的处理区域信息中识别输入图像中的 处理区域，并且从连续性设置单元11072提供的连续性信息中识别与 处理区域图像数据相对应的现实世界l信号的连续性。此外，模型生成单元11081基于用作在前一个步骤S11104中已经从用户I/F 11076 提供的帮助信息的选择信息，产生用作关系模型的M个版本的函 数，并且将M个函数提供给公式生成单元11082。
特别地，模型生成单元11081使用M个版本的近似函数重新产 生作为关系模型的M个函数，其中近似函数是具有M个版本阶数的 多项式，包括用来获得由用作在前一个步骤S11104中从用户I/F 11076提供的帮助信息的选择信息所指示的输出图像的近似函数的阶 数。
公式生成单元11082从处理区域设置单元11071提供的处理区域 信息中识别输入图像中的处理区域，并且将对于输入图像必需的像素 的像素值代入用作从模型生成单元11081提供的M个版本关系模型 的函数每个中，对于处理区域中的每个像素，从而重新产生获得近似 现实世界1信号的近似函数的M个公式，其提供给现实世界波形估 计单元11083。
现实世界波形估计单元11083求解从公式生成单元11082提供的 M个公式，从而估计M个版本的现实世界1信号波形，也就是重新 获得用作模拟现实世界1信号的模型的近似函数，并且将M个版本 的近似函数提供给图像生成单元11074。
在步骤S11107的处理之后，流程前进到步骤S11108,此后重复 相同的处理。
也就是说，因此，重复步骤S11104 S11113的处理，最终借此获 得高质量输出图像的近似函数的阶数，也就是以真实方式近似现实世 界l光信号的近似函数的阶数被设置，因此，获得高质量输出图像。
如上所述，同样对于图127中所示的信号处理设备4，作为输入 图像处理结果的M个版本的输出图像展示给用户，供用户从M个版 本的输出图像中选择期望的一个，并且处理基于选择结果再次执行， 所以满足用户喜好的髙质量输出图像可以容易地获得。也就4J兑，信 号处理设备4向用户展示作为输入图像处理结果的M个版本的输出 图像.另一方面，用户识别并判断M个版本输出图像的每个的图像质量，并且用具有出色图像质量的输出图像提供反馈给信号处理设备
4。信号处理设备4基于来自用户的反馈再次处理输入图像，此后重 复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获 得。
现在，对于图127中的信号处理设备4， M个现实世界估计单元 11073可以为M个版本的现实世界1信号的估计而提供(计算M个 近似函数)。此外，对于图127中的信号处理设备4， M个图像生成 单元11074可以提供用于从M个近似函数中产生M个输出图像。
图129说明图111中所示信号处理设备4的应用实例的一种实施 方案的构造实例。
在图129中，处理区域设置单元11091，连续性设置单元 11092，现实世界估计单元11093,图像生成单元11094，图像显示单 元11095，以及用户I/F 11096,每个对应于图111中所示的处理区域 设置单元10001,连续性设置单元10002，现实世界估计单元 10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003,图像生成单元10004，图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图l29 中，现实世界估计单元11093包括模型生成单元11101，公式生成单 元11102，以及现实世界波形估计单元11103。模型生成单元 11101，公式生成单元11102，以及现实世界波形估计单元11103对 应于模型生成单元10011，公式生成单元10012，以及现实世界波形 估计单元10013的每个，并且基本上执行与模型生成单元10011，公 式生成单元10012，以及现实世界波形估计单元10013的每个相同的 功能。
在图129中，用户操作用户I/F 11096，并且用作从用户I/F 11096输出的帮助信息的处理区域指示信息，连续性指示信息，或模 型指示信息提供给处理区域设置单元11091，连续性设置单元 11092，或现实世界估计单元11093。接下来，将参考图UO和图131中所示的流程图描迷图129中所 示的信号处理设备4。
首先，在步骤S11121中，信号处理设备4执行预处理，并且流 程前进到步骤S11122。也就是说，信号处理设备4将从传感器2 (图 1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元11091，连续性设置单元11092，现实世界估计单元11093， 图像生成单元11094，以及图像显示单元11095。此外，信号处理设 备4使得图像显示单元11095显示输入图像。
在步骤S11122中，用户I/F 11096确定是否存在由用户操作用户 I/F 11096的处理区域指示信息的输入。在步骤S11122中，如果确定 存在处理区域指示信息的用户输入，流程前进到步骤S11123,在那 里用户I/F 11096将处理区域指示信息作为帮助信息提供给处理区域 设置单元11091，并且流程前进到步骤S11124。
而且，在步骤S11122中，如果确定不存在处理区域指示信息的 输入，步骤S11123跳过并且流程前进到步骤S11124，在那里用户 I/F 11096确定是否存在由用户操作用户I/F 11096的连续性指示信息 的输入。在步骤S11124,如果确定存在连续性指示信息的用户输 入，流程前进到步骤S11125，在那里用户I/F 11096将连续性指示信 息作为帮助信息提供给连续性设置单元11092，并且流程前进到步骤 S11126。
而且，在步骤S11124中，如果确定不存在连续性指示信息的输 入，步骤S11125跳过并且流程前进到步骤S11126，在那里用户I/F 11096确定是否存在由用户操作用户I/F 11096的模型指示信息的输 入。在步骤S11126中，如果确定存在模型指示信息的用户输入，流 程前进到步骤S11127，在那里用户I/F 11096将模型指示信息作为帮 助信息提供给现实世界估计单元11093，并且流程前进到步骤 S11128。
在步骤S11126中，如果确定不存在模型指示信息的输入，步骤 S11127跳过并且流程前进到步骤S11128，在那里用户I/F 11096确定是否存在由用户操作用户I/F 11096的指示信号处理设备4处理结 束的结束指令的输入。
如果在步骤S11128中确定存在结束指令的输入，也就是说，例 如，如果已经观看显示在图像显示单元11095上的输入图像的用户操 作用户I/F 11096以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，处理结束。
而且，在步骤S11128中，如果确定不存在结束指令的输入，流 程前进到步骤S11129，在那里用户I/F 11096确定是否提供处理区域 指示信息给处理区域设置单元11091，提供连续性指示信息给连续性 设置单元11092，以及提供模型指示信息给现实世界估计单元11093 全部已经执行。如果在步骤S11129中确定提供处理区域指示信息给 处理区域设置单元11091，提供连续性指示信息给连续性设置单元 11092，或提供模型指示信息给现实世界估计单元11093，并不是全 部都已执行，也就是说，如果用户没有输入处理区域指示信息，连续 性指示信息或模型指示信息中任何一个作为帮助信息，提示用户输入 没有输入的信息的消息显示在图像显示单元11095上例如，并且流程 返回到步骤S11122，此后重复相同的处理。
另一方面，如果在步骤S11129中确定提供处理区域指示信息给 处理区域设置单元11091，提供连续性指示信息给连续性设置单元 11092，或提供模型指示信息给现实世界估计单元11093全部都已执 行，流程前进到步骤S11130，处理区域设置单元11091基于即刻之 前从用户I/F提供的处理区域指示信息设置处理区域，并且将处理区 域指示信息提供给连续性设置单元11092，现实世界估计单元 11093，以及图像生成单元11094，并且流程前进到步骤S11131。
在步骤S11131中，连续性设置单元11092从处理区域设置单元 11091提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元11092基于即刻之前从用户I/F 11096提供的连续性指 示信息，设置在处理区域处的图像数据中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性信息提供给现实世界估计单元
11093，并且流程前进到步骤S11132。
在步骤S11132中，现实世界估计单元11093根据现实世界1信 号的连续性，相对于输入图像中处理区域内的图像数据估计现实世界 l信号。
也就是说，在现实世界估计单元11093处，模型生成单元11101 从处理区域设置单元11091提供的处理区域信息中识别输入图像中的 处理区域，并且也从连续性设置单元11092提供的连续性信息中识别 与处理区域图像数据相对应的现实世界l信号的连续性。此外，模型 生成单元11101基于即刻之前从用户I/F 11096提供的模型指示信
据相对应的现实世界1信号的连续性，来产生用^模拟处理区域中每 个像素的像素值与现实世界l信号之间关系的模型的函数，并将其提 供给公式生成单元11102。
公式生成单元11102从处理区域设置单元11091提供的处理区域 信息中识别输入图像中的处理区域，并且将对于输入图像所必需的像 素的像素值代入用作从模型生成单元11101提供的关系模型的函数 中，对于处理区域的像素，从而产生获得近似现实世界l信号的近似 函数的公式，其提供给现实世界波形估计单元11103,
现实世界波形估计单元11103求解从公式生成单元11102提供的 公式，以便估计现实世界l信号，也就是，获得用作模拟现实世界l 信号的模型的近似函数，其提供给图像生成单元11094。
在步骤S11132的处理之后，流程前进到步骤S11133,在那里图 像生成单元11094基于从现实世界估计单元11093 (的现实世界波形 估计单元11103)提供的、关于处理区域的近似函数产生更接近现实 世界l信号的信号。也就是说，图像生成单元11094从处理区域设置 单元11091提供的处理区域信息中识别输入图像中的处理区域，并且 基于对于处理区域从现实世界估计单元11093提供的近似函数，产生 更接近现实世界l信号的近似图像。此外，图像生成单元11094产生出图像，其然后提供给图像显示单元11095，并且流程从步骤S11133 前进到步骤S11134。
在步骤S11134中，图像显示单元11095显示从图像生成单元 11094提供的输出图像，代替步骤S11121中显示的输入图像，或者 与输入图像一起，并且流程前进到步骤S11141。
在步骤S11141中，用户I/F 11096以与步骤S11122相同的方法 确定是否存在来自用户的处理区域指示信息的输入。如果在步骤 S11141中确定，也就是，如果已经观看在前一个步骤S11134中显示 的输出图像的用户感觉到其图像质量不令人满意并且通过操作用户 I/F 11096重新输入处理区域指示信息以便提高图像质量，例如，流 程前进到步骤S11142，用户I/F 11096将处理区域指示信息作为帮助 信息提供给处理区域设置单元11091，并且流程返回到图130中的步 骤S11130。
在该情况下，在步骤S11130中，处理区域设置单元11091基于 即刻之前从用户I/F 11096提供的处理区域指示信息设置新的处理区 域，并且将表示处理区域的处理区域信息提供给连续性设置单元 11092，现实世界估计单元11093，以及图像生成单元11094，并且流 程随后前进通过步骤S11131 S11133。在步骤S11131 S11133中，与 上述相同的处理关于新的处理区域而执行，从而产生新的输出图像， 并且流程前进到步骤S11134。在步骤S11134中，图像显示单元 11095显示关于新的处理区域而产生的输出图像，并且流程前进到图 131中的步骤S11141,此后重复相同的处理。
而且，如果在步骤S11141中确定不存在处理区域指示信息的输 入，流程跳过步骤S11142，前进到步骤是11143，并且用户I/F 11096以与步骤S11124中相同的方法确定是否存在来自用户的连续 性指示信息的新的输入。在步骤S11143中，如果确定存在连续性指 示信息的输入，也就是，例如，如果已经观看在前一个步骤S11134 中显示的输出图像的用户感觉到其图像质量不令人满意并且通过操作用户I/F 11096输入新的连续性指示信息以便提高图像质量，流程前 进到步骤S11144，在那里用户I/F 11092将连续性指示信息作为帮助 信息提供给连续性设置单元11096，并且流程返回到图130中的步骤
siim。
在该情况下，在步骤S11131中，连续性设置单元11092基于即 刻之前从用户I/F 11096提供的连续性指示信息，重新设置由前一次 从处理区域设置单元11091提供的处理区域信息识别的处理区域的图 像数据中丢失的现实世界1信号的连续性，并且将表示重新设置到那 里的连续性的连续性信息提供给现实世界估计单元11093，并且顺序 地前进到步骤S11132和S11133。在步骤S11132和S11133中，与上 述相同的处理关于重新设置的连续性而执行，从而产生新的输出图 像，并且流程前进到步骤S11134。在步骤S11134中，图像显示单元 11095显示关于重新设置的连续性而产生的输出图像，流程前进到图 131中的步骤S11141，此后重复相同的处理。
而且，在步骤S11143中，如果确定不存在连续性指示信息的输 入，步骤S11144被跳过并且流程前进到步骤是11"5,在那里用户 I/F 11096以与步骤S11126中相同的方法确定是否存在来自用户的模 型指示信息的新的输入。如果在步驟S11145中确定存在模型指示信 息的输入，也就是，如果已经观看在前一个步骤S11134中显示的输 出图像的用户感觉到其图像质量不令人满意并且通过操作用户I/F 11096输入新的模型指示信息以便提高图像质量，流程前进到步骤 S11146，在那里用户I/F 11096将该模型指示信息作为帮助信息提供 给现实世界估计单元11093，并且流程返回到图130中的步骤 S11132。
在该情况下，在步骤S11132中，现实世界估计单元11093根据 即刻之前从用户I/F输入的模型指示信息，关于输入图像中处理区域 内的图像数据重新估计现实世界1信号。
也就是说，在现实世界估计单元11093处，模型生成单元11101 基于即刻之前从用户I/F 11096提供的模型指示信息，根据构成由前一次从处理区域设置单元11091提供的处理区域信息所识别的处理区 域的像素，以及由前一次从连续性设置单元11092提供的连续性信息 识别的、与处理区域处的图像数据相对应的现实世界1信号的连续 性，重新产生用作模拟处理区域中每个像素的像素值与现实世界1信 号之间关系的关系模型的函数，并且将其提供给公式生成单元 11102。
公式生成单元11102将对于输入图像必需的像素的像素值代入用 作从模型生成单元11101提供的关系模型的函数中，对于前一次从处 理区域设置单元11091提供的处理区域信息中由输入图像中处理区域 识别的处理区域的像素，从而重新产生用于获得近似现实世界1信号 的近似函数的公式，其提供给现实世界波形估计单元11103。
在步骤S11132的处理之后，流程前进到步骤S11133,在那里图 像生成单元11094基于重新从现实世界估计单元11093 (的现实世界 波形估计单元11103)提供的近似函数，重新产生更接近现实世界1 信号的信号。也就是说，图像生成单元11094基于重新从现实世界估 计单元11093提供的近似函数，关于从前一次从处理区域设置单元 11091提供的处理区域信息中识别的处理区域，产生更接近现实世界 l信号的近似图像。此外，图像生成单元11094重新产生输入图像中 的处理区域部分已经用近似图像取代的图像作为输出图像，其然后提 供给图像显示单元11095，并且流程从步骤S11133前进到步骤 S11134。
在步骤S11134中，图像显示单元11095显示关于用作新的关系 模型的函数而产生的输出图像，流程前进到图131中的步骤 S11141，此后重复相同的处理。
另一方面，如果在步骤S11145中确定不存在模型指示信息的输 入，流程前进到步骤S11147,在那里用户I/F 11096确定是否存在通 过操作用户I/F 11096的用于结束信号处理设备的处理的结束指令的 输入。
如果在步骤S11147中确定不存在结束指令的输入，也就是，如果已经观看显示在图像显示单元11095上的输出图像的用户例如感觉 到其图像质量不令人满意并且试图通过输入处理区域指示信息，连续 性指示信息，或模型指示信息而获得具有更好图像质量的输出图像， 流程返回到步骤S11141，此后重复相同的处理。
而且，如果在步骤S11147中确定存在结束指令的输入，也就 是，如果已经观看显示在图像显示单元11095上的输出图像的用户例 如感觉到其图像质量是令人满意的并且已经操作用户I/F 11096以结 束信号处理设备4的处理，处理结束。
如上所述，对于信号处理设备4，在图129中，处理区域和连续 性基于来自用户的输入而设置，并且用于估计现实世界1信号的关系 模型被产生。此外，现实世界l信号使用处理区域、连续性和关系模 型来估计，并且输出图像使用现实世界l信号来产生。随后，输出图 像展示给用户，如果用户对其图像质量不满意，当用户执行改变处理 区域、连续性或关系模型的输入时，新的处理区域、连续性或关系模 型基于输入而设置(产生)，并且重复新的输出图像的产生。
也就是说，例如，如图132中所示，在输入图像显示在图像显示 单元11095上的状态中，用户通过操作由按钮、旋钮和鼠标构成的用 户接口 11096指示具有不满意图像质量的区域作为处理区域。
注意，关于用户指示处理区域的方法，例如，通过操作用作用户 接口 11096的鼠标在输入图像上点击两点的方法被提供。在该情况 下，处理区域设置单元11091将其对角线由两个点击点构成的矩形区 域设置为处理区域。
而且，图像质量不令用户满意的区域的实例包括如上所迷运动模 糊因时间混合而发生的区域，以及因为传感器2的空间积分效应，分 辨率因关于两个对象的信号在空间方向上的混合(空间混合)而退化 的区域。
现在在该情况下，让我们假定对于输入图像，例如，细微线形对 象例如远处的绳子被显示，并且空间混合在绳子边界部分处在绳子与 背景信号之间发生，因此，用户指示其分辨率因空间混合而退化的区域作为处理区域。如果用户通过在输入图像上点击两点来指示处理区
域，图像显示单元11095可以显示(展示)围绕以点击的两点作为其 对角线的矩形处理区域的框，并且用户可以参考该框来确认是否适当 的处理区域被设置。注意处理区域可以通过在输入图像上再次点击两 点而再次不同地指示。
此外，如图132中所示，用户通过操作构成用户接口 11096的例 如按钮、旋钮或鼠标，来指示与显示在处理区域上的图像相对应的现 实世界l连续性。在该情况下，连续性设置单元11092设置指示的连 续性而没有改变。
关于由用户指示连续性的方法，指示与显示在处理区域上的图像 相对应的现实世界连续性的方向的方法通过操作用作用户接口 11096 的旋钮例如来提供。也就是说，在该情况下，如上所述，细微线形对 象例如绳子显示在输入图像上，但是用户指示线形对象延伸的方向 (表示线形对象的直线的梯度)作为连续性方向。在该情况下，图像 显示单元11095可以显示根据用作用户接口 11096的旋钮的操作而旋 转的(图像的)箭头，并且用户可以通过该箭头确认是否适当的连续 性被设置。
而且，用户通过操作用户接口 11096来指示用于现实世界l信号 的估计的模型。也就是说，现在，如果我们假定对于现实世界估计单 元11093 ，例如，表达式(46 )中所示的多项式f3(x)
(=Wo+WiX+w2x2+." +wnxn )用作近似函数，用户通过操作用户接口
11096指示近似函数的维度数目n。在该情况下，现实世界估计单元 11093产生使用具有维度数目n的指示的多项式的关系模型作为近似 函数。
如上所述，图129中的信号处理设备4使用基于来自用户的输入 而获得的处理区域、连续性和关系模型来估计现实世界l信号，并且 使用现实世界l信号产生输出图像。随后，输出图像展示给用户，并 且如果用户对其图像质量不满意，当用户执行改变处理区域、连续性 或关系模型的输入时，输入反馈给信号处理设备4，并且信号处理设备4使用基于输入而获得的新的处理区域、连续性或关系模型产生新 的输出图像。
因此，当观看输出图像时，用户可以通过操作用户接口 11096来 获得具有高图像质量的输出图像。
接下来，将参考图133中的流程图来描述现实世界估计单元 11093的现实世界估计处理(图130中步骤S11132的处理)以及图 像生成单元11094的输出图像的产生处理(图130中步骤S11133的 处理)的细节，例如在细微线形对象例如远处的绳子如上所述显示， 并且绳子与背景信号之间的空间混合在绳子的边界部分处发生的输入 图像输入到图129中的信号处理设备4的情况下。
现在，让我们假定，对于处理区域设置单元11091，如图134中 所示，具有因输入图像中空间混合而退化的分辨率的区域设置为处理 区域，并且表示处理区域的处理区域信息被输出。此外，让我们假 定，对于连续性设置单元11092，如图134中所示，输入图像中线形 对象的连续性被设置，并且其连续性方向，是表示线形对象延伸 的方向的连续性信息被输出。而且，让我们假定，对于现实世界估计 单元11093，与表达式(46)完全相同的表达式(137)中所示多项 式f(x)用作近似函数，也就是说，这里，让我们假定当估计现实世界 l信号时，第一函数近似方法(一维近似方法)被使用。
N
=< …(137) 这里，在表达式(137)中，x表示构成处理区域的像素在x方
向上的位置(坐标)，并且Wn表示表征近似函数f(X)的系数。
而且，让我们假定表示近似函数f(x)的维度数目N的模型指示信 息从用户接口 11096提供给现实世界估计单元11093。
返回到图133，在步骤S11161中，现实世界估计单元11096的 模型生成单元11101基于从用户接口 11093提供的模型指示信息，以 及从连续性设置单元11092提供的连续性信息产生用作函数模型的函 数(表达式)。
也就是说，在该情况下，模型生成单元11101使用表达式(l37)中的近似函数f(x)产生用作与上面表达式(46)完全相同的 表达式(138)中所示函数模型的函数。<formula>formula see original document page 215</formula> …(138)
这里，在表达式(138)中，左侧的变量P表示构成输入图像的 像素的像素值。
表达式(138)的关系模型用于近似传感器2输出的输入图像中 像素的像素值与现实世界1光信号之间的关系，假设在传感器2的某 个像素处获得的像素值P是通过在像素P上左端位置Xs与右端位置 Xe之间的范围中积分表示现实世界信号的近似函数f(x)(近似现实世 界信号的模型)而获得的值.
也就是说， 一维近似函数用于模拟构成处理区域的像素的像素值 与现实世界1光信号之间的关系，假设与近似模型的时间-空间方向 x， y和t中一维方向上的某个位置相对应的每个像素的像素值通过 在一维方向上积分近似模型而获得。对于表达式(138)的关系模 型，构成处理区域的像素的像素值与现实世界l光信号相关，假设与 近似模型的时间-空间方向x， y和t中x方向上的某个位置相对应的 每个像素的像素值通过在x方向上积分近似模型而获得。
注意，表达式(138)中近似函数f(x)的维度数目N基于从用户 接口 11096提供的模型指示信息而确定.
而且，在表达式(138)中，积分范围中的开始点Xs和结束点xe 基于从连续性设置单元11092提供的连续性信息而确定。也就是说， 这里，积分范围中的开始点xs和结束点xe用下面的表达式表示。
xs=x-C,(y)-O.S
xe =x-C,(y) + 0.5 ...(139)
在表达式(139)中，让我们假定如图82中所示，像素的x方向 上和y方向上的宽度都是1，并且原点(O，O)取作在随后描述的步骤Sill62中设置的关注像素的中心(重心)。而且，在表达式(139) 中，如果我们假定对于表达式(42)和表达式(43)描述的情况， Cx(y)表示积分范围的移位量，并且由从线形对象延伸的方向与x轴 构成的角度在输入图像中用e表示，C"y)用下面的表达式表示。
tane …(140)
对于模型生成单元iiioi，表达式(140)中的角度e基于连续 性信息而识别。
在步骤S11161中，模型生成单元11101关于构成将由从处理区 域设置单元11091提供的处理区域信息识别的处理区域的每个像素产 生用表达式(138)表示的关系模型，并且将其提供给公式生成单元 11102，并且流程前进到步骤S11162。
在步骤S11162中，公式生成单元11102选择构成将从处理区域 设置单元11091提供的处理区域信息中识别的处理区域的像素中还没 有取作关注像素的像素，作为关注像素，并且流程前进到步骤 S11163。在步骤S11163中，公式生成单元11102关于关注像素设置 用于列出公式的输入图像的区域，用于获得表示用关注像素积分的现 实世界光信号的近似模型(以下，称作"公式区域"如果适当的话)。 也就是说，公式生成单元11102将输入图像中包括关注像素的例如
XaXya个像素，也就是水平(X)方向X垂直(y)方向设置为公式区 域。这更，构成公式区域的水平和垂直方向上的像素数目Xa和ya可
以预置，或者可以由用户操作用户接口 11096输入。而且，在上面的 情况下，其处理区域、连续性或近似模型不同的M个版本的输出图 像已经产生，但是配置可以这样进行，其中构成公式区域的水平和垂
直方向上像素数目Xa和ya的組合不同的M个版本的输出图像产生。
在该情况下，配置可以这样进行，其中M个版本输出图像中由用户 选择的一个反馈给公式生成单元11102, M个版本的新公式区域被设 置，并且输出图像关于M个版本的公式区域的每个再次产生。
在步稞S11163的处理之后，流程前进到步骤S11164，在那里公 式生成单元11102通过获取关于关注像素的公式区域的每个像素的像素值，并且将其代入关于关注像素而产生的表达式(138)的关系模 型，来产生获得用关注像素积分、表示现实世界1光信号的近似模 型。
也就是说，现在让我们假定以关注像素作为中心的3x3像素的区 域用作公式区域。此外，让我们假定图82中所示坐标系被建立，其 中像素的水平和垂直宽度都是1，并且关注像素的中心位置取作原 点，并且公式区域中3x3像素的每个像素值使用像素中心的坐标(x，y) 表示为P(x，y)。在该情况下，关注像素的像素值表示为P(O，O)。而 且，关注像素左下方的像素的像素值表示为P(-l，-l)，而关注像素下 方的像素的像素值表示为P(0，-1)。以下，类似地，关注像素右下 方、左侧、右侧、左上方、上方、和右上方像素的像素值分别是 P(l，-l)， P(-l,O), P(l，O), P(-l，l), P(O，l)以及P(l，l)。
在该情况下，公式生成单元11102通过将公式区域中九个像素的 像素值代入表达式(138)的关系模型，关于关注像素产生由表达式 (141)中所示九个表达式构成的公式。
这里，对于公式生成单元11102，关于关注像素而列出的公式数 目等于构成公式区域的像素数目。因此，通过求解关于关注像素而列 出的公式而获得的表达式(137)中近似函数f(x)的维度数目N (未 知量的数目wn)局限于构成公式区域的像素数目。相反地，构成公式
<formula>formula see original document page 217</formula>式区域的像素数目需要根据表达式(137)的近似函数f(x)的维度数 目N来确定。
当公式生成单元11102产生关于关注像素的公式时，公式生成单 元11102将公式提供给现实世界波形估计单元11103，并且流程从步 骤S11164前进到步骤S11165。
在步骤S11165中，现实世界波形估计单元11103通过例如使用 最小二乘法等求解从公式生成单元11102提供的关于关注像素的公 式，估计使用关注像素积分的现实世界l光信号的波形。也就是说， 在步骤S11165中，现实世界波形估计单元11103通过求解从公式生 成单元11102提供的关于关注像素的公式来获得用作规定表达式 (137)的近似函数f(x)的参数的变量wn，因此获得(标识)用变量
Wn规定的近似函数f(X)。
现实世界波形估计单元11103将关于关注像素而获得的近似函数 f(x)提供给图像生成单元11094，并且流程从步骤S11165前进到步骤 S111660
在步骤S11166中，公式生成单元11102确定构成从处理区域设 置单元11091提供的处理区域信息中识别的处理区域的所有像素是否 都已取作关注像素。在步骤S11166中，如果确定构成处理区域的所 有像素还没有都取作关注像素，流程返回到步骤Slll62，在那里公 式生成单元11102从构成处理区域的像素中选择还没有取作关注像素 的像素之一作为新的关注像素，此后重复相同的处理。
这里，步骤S11161 S11166中的上面处理在图130的步骤 S11132中执行(现实世界的估计)。
另一方面，如果在步骤S11166中确定构成处理区域的所有像素 都已取作关注像素，流程前进到步骤S11167,在那里图像生成单元 11094选择构成从处理区域设置单元11091提供的处理区域信息中识 别的处理区域的、还没有取作关注像素的像素之一作为关注像素，流 程前进到步骤S11168。
在步骤S11168中，图像生成单元11094通过根据与表达式(138)的关系模型完全相同的表达式(142)在x方向上积分(再积 分)从现实世界波形估计单元11103提供的近似函数中关于关注像素 的近似函数(以下，称作"关注近似函数，，如果适当的话)f(x)，获得 关于关注像素具有高图像质量的像素值Q。
Q = Gff(X)dX…,
但是，在表达式(142)中，G表示预先确定的增益。而且，在
表达式(142)中，积分范围的开始点Xs和结束点Xe基于从连续性设
置单元11092提供的连续性信息而确定。也就是说，这里，积分范围 的开始点Xs和结束点、例如用与表达式(139)完全相同的下面表达
式表示》
xs =x_Cx(y)_0.5
x, =x-Cx(y) + 0.5 …(143)
随后，流程从步骤S11168前进到步骤S11169,在那里图像生成 单元11094确定构成处理区域的所有像素是否都已取作关注像素。如 果在步骤S11169中确定构成处理区域的所有像素没有都已取作关注 像素，流程返回到步骤S11167，在那里图像生成单元11094选择构 成处理区域、还没有取作关注像素的像素的一个作为关注像素，此后
重复相同的处理。
而且，如果在步骤S11169中确定构成处理区域的所有像素都已
取作关注像素，也就是，如果由具有高图像质量的像素值构成的图像 (近似图像)关于处理区域而产生，流程前进到步骤S11170，在那 里图像生成单元11094合成输入图像和基于近似函数产生的近似图 像，因此产生输入图像的处理区域部分用近似图像取代的图像，将该 图像作为输出图像提供给图像显示单元11095,并且处理结束，
这里，步骤S11167 S11170中的上述处理在图130的步骤 S11133中执行(输出图像的产生)。
根据表达式(143)中所示积分范围的开始点Xs和结束点Xe，处 理区域的 一个像素取作近似图像的 一个像素，并且一个像素的像素值 Q通过执行表达式(142)的再积分而获得。因此，在该情况下，与处理区域的像素数目完全相同的近似图像产生，但是比处理区域具有 更多像素数目的图像可以获得作为近似图像。
也就是说，图像生成单元11094可以通过使用表达式(144)和 表达式(145)作为积分范围的开始点Xs和结束点、计算表达式
(142) 的再积分，获得在处理区域的x方向上具有两倍像素数目的 近似图像。
<formula>formula see original document page 220</formula>…(144)
<formula>formula see original document page 220</formula> …(145)
这里，用表达式(144)和表达式(145)表示的积分范围是通过 将用表达式(143)表示的积分范围平均划分成两个部分而获得的范 围。因此，如果使用表达式(144)和表达式(145)表示的积分范 围，处理区域的一个像素看作两个像素的近似图像，并且两个像素的 像素值Q通过关于分别用表达式(144)和表达式(145)表示的积 分范围执行表达式(142)的再积分而获得。
也就是说，表达式(144)的积分范围表示从处理区域中关注像 素的左端位置Xs到其中心的范围，而表达式(145)的积分范围表示 从关注像素的中心到其右端位置xe的范围。
因此，例如，现在，如果我们假定关注像素从其中心划分成左侧 和右侧，并且左侧的像素和右侧的像素分别称作第一关注像素和第二 关注像素，第一关注像素的像素值通过关于用表达式(144)表示的 积分范围执行表达式(142)的再积分而获得，而第二关注像素的像 素值通过关于用表达式(145)表示的积分范围执行表达式(l42)的 再积分而获得.在该情况下，具有其x方向上空间分辨率提高的髙质 量图像的近似图像可以获得.
注意表达式(142)的再积分的积分范围并不局限于表达式
(143) 、表达式(144)和表达式(145)中所示的那些.
而且，表达式(144)和表达式(145)中所示积分范围用于将关注像素划分成两个像素，但是具有其空间分辨率进一步提高的高质量 图像的近似图像可以通过使用将关注像素划分得更细的积分范围而获 得。注意如果将关注像素划分得更细，构成近似图像的像素数目增 加，但是这能够提高空间分辨率，以及以高放大倍数实现缩放。
这里，例如图133中流程图中所示的现实世界的估计处理，以及 输出图像的产生处理共同地称作展示处理，如果适当的话，以下。
根据展示处理，因时间混合或空间混合而退化的输入图像图像质 量提高的输出图像可以获得。
也就是说，例如，现在，如果我们解释空间混合，现实世界l光 信号清晰地分类成对应于前景的光信号(例如细线等)(附图中用白 色显示的部分)，以及对应于背景的光信号(附图中用黑色显示的部 分)，如图135A中所示。
如果现实世界l光信号的相同光度部分不是均匀地分布，并且具 有不同光度的光信号例如前景和背景分别分布在用作传感器2的图像 传感器的一个像素上，不同光度构成一个像素值，好像它们因传感器 2的积分效应在该像素处空间混合一样(在空间方向上积分)。因 此，空间混合是不同光度部分通过对于传感器2的像素空间积分而混 合的现象，例如现实世界l光信号的前景部分和背景部分，
从传感器2输出的输入图像包括通过现实世界1光信号关于构成 传感器2、具有一定有限大小的像素积分，并且进一步用具有一定有 限大小的像素量化而获得的像素值，因此例如，变成因空间混合和量 化的畸变图像，如图135B中所示。
因此，使用展示处理，近似图像通过基于与输入图像中的处理区 域相对应的现实世界1信号的连续性估计现实世界1信号，并且使用 估计的现实世界l信号去除(减小)输入图像中的畸变而产生.
也就是说，例如，对于使用一维近似方法的展示处理，关系模型 基于连续性信息而产生，并且由处理区域中关注像素附近的Xaxya像 素构成的区域取作公式区域。此外，获得关注像素中现实世界l光信 号的近似模型f(x)的公式通过将公式区域的像素的像素值代入关系模型而产生。随后，表示关注像素中现实世界1信号的近似模型f(X)通 过求解公式而获得，并且具有高图像质量的近似图像通过再积分近似
模型f(x)而获得。
特别地，例如，如图136A中所示，由输入图像中关注像素附近 的Xaxya像素构成的区域(图136A中具有3x3像素的区域)取作公 式区域。在图136A中，分别地，x轴取作水平方向，y轴取作深度 方向，并且像素值(的光度)取作垂直方向，从而表示传感器2的每 个位置(x,y)处像素的像素值。在图136A中，像素值用矩形平行六面 体表示，并且该矩形平行六面体的底面相当于传感器2的像素。
对于展示处理，公式区域的每个像素的像素值进一步获得，如闺 136B中所示。在图136B中，x轴取作水平方向，并且像素值取作垂 直方向，从而表示公式区域中每个像素的像素值。这可以同样适用于 随后描述的图136C和图136D。
对于展示处理，公式通过将公式区域中每个像素的像素值代入关 系模型而产生，此外，表示关注像素处现实世界l光信号的近似模型 f(x)通过求解公式而获得，但是这相当于执行下面。
也就是说，图136B中所示公式区域中每个位置(x，y)处像素的像 素值根据连续性信息在x轴方向上移位，如图136C中所示。这里， 如果我们假定连续性信息表示用作前景的细线延伸的方向，如使用图 135A和135B描述的，现实世界1光信号的波形表示为上面X横截 面波形在用连续性信息表示的方向上连续的波形。因此，为了准确地 估计表示现实世界1光信号的近似模型f(x)，如使用图91和图92描 述的，通过根据用连续性信息表示的方向在x轴方向上移位公式区域 中每个位置(x，y)处像素的像素值，现实世界l光信号波形的相位需要 与通过积分现实世界1光信号而获得的公式区域中每个像素的像素值 的相位一致。图136C说明其相位与现实世界1光信号波形中一致的 公式区域中每个像素的像素值。
将>^式区域中每个像素的像素值的相位与现实世界1光信号波形 的相位一致相当于根据以使用用作连续性信息表示的方向的角度e的表达式(140)表示的移位量C,(y)移位用表达式(139)表示的表达 式(138)积分范围中的开始点Xs和结束点xe。
现实世界1光信号在公式区域中的每个像素处积分，从而获得其 像素值。因此，如上所述，其相位与现实世界l光信号波形的相位一 致的公式区域中每个像素的像素值近似现实世界l光信号波形，如图 136D中所示。
因此，例如，表达式(137)的多项式，其近似相位与现实世界 1光信号波形的相位一致的公式区域中每个像素的像素值，获得作为 表示现实世界1光信号的近似模型f(x)。
当产生近似图像时，如图136E中所示，如果我们假定近似模型 f(x)是横截面波形，并且X横截面波形在用连续性信息表示的方向上 连续的波形是现实世界l光信号的估计波形，近似图像的像素的像素 值通过再积分估计波形而获得。这里，在图136E中，x轴取作水平 方向，y轴取作深度方向，并且现实世界1光信号的光度取作垂直方 向，从而表示传感器2的每个位置(x，y)处现实世界1光信号的光度。 在图136E中，不像图136A中，光度(像素值)表示为恒定量，这 是因为现实世界1光信号是恒定量。
注意对于上面的情况，关系模型已经使用，其中处理区域中每个 像素的像素值与现实世界l光信号之间的关系经历模拟，并且现实世 界1光信号已经使用一维近似方法来估计，假设与近似模型的时间-空间方向中x方向上的位置相对应的每个像素的像素值通过在x方向 上积分近似模型而获得，但是除了一维近似方法之外，现实世界l光 信号可以使用上面二维近似方法、或上面三维近似方法来估计，
也就是说，如果估计现实世界l光信号，关系模型可以使用，其 中处理区域中每个像素的像素值与现实世界1光信号之间的关系经历 模拟，假设与近似模型的时间-空间方向中x和y方向上的位置相对 应的每个像素的像素值通过在x和y方向上积分近似模型而获得，或 者关系模型可以使用，其中处理区域中每个像素的像素值与现实世界 1光信号之间的关系经历模拟，假设与近似模型的时间-空间方向中x(或y)和t方向上的位置相对应的每个像素的像素值通过在x和t 方向上积分近似模型而获得。
此外，如果估计现实世界1光信号，关系模型可以使用，其中处 理区域中每个像素的像素值与现实世界1光信号之间的关系经历模 拟，假设与近似模型的时间-空间方向中x， y和t方向上的位置相对 应的每个像素的像素值通过在x， y和t方向上积分近似模型而获得。
如果将空间方向(x和y方向)考虑为近似模型的积分方向，因 空间混合而退化的图像质量可以提高，并且如果考虑时间方向(t方 向)，因时间混合而退化的图像质量可以提高。此外，如果将时间-空间方向(空间方向和时间方向)考虑为近似模型的积分方向，因空 间混合和时间混合而退化的图像质量可以提高。
接下来，将描述图122中运动检测单元11062中检测运动的方法。
如果某一对象在输入图像中运动，关于检测用作对象运动的运动 矢量的方法例如，所谓块匹配方法已知。
但是，对于块匹配方法，匹配在关注帧与关注帧之前和之后的帧 之间执行，所以运动不能仅使用关注帧容易地检测。
为此目的，运动检测单元11062被配置以便从仅具有一帧的输入 图像中检测运动。
图137说明图122中运动检测单元11062的构造实例。
使用其构造如图137中所示的运动检测单元11062，输入图像的 处理区域中对象的运动方向被检测，并且输入图像被校正使得运动方 向变成水平方向。随后，在输入图像中对象的运动方向上经历一维微 分的特征，其是运动方向上相邻的像素的像素值的差值被检测。
此外，关注像素的特征与在运动方向上具有预先确定距离的相应 像素的特征之间的相关性被检测，并且对象的运动量根据相应像素与 关注像素之间的距离来检测，其表现出最大检测相关性。
其构造如图137中所示的运动检测单元11062包括运动方向检测单元lUOl,运动方向校正单元11202，特征检测单元11203,以及 运动量检测单元11204。
此外，运动方向检测单元11201包括活动性计算单元11211，以 及活动性评估单元11212。运动方向校正单元11202包括仿射变换单 元11213。
特征检测单元11203包括差值计算单元11214，差值评估单元 11215，中间图像创建单元11216，中间图像创建单元11217，帧存储 器11218，符号反转单元11219，以及帧存储器11220。
此外，运动量检测单元11204包括相关性检测单元11221，以及 相关性评估单元11222。
对于其构造如图137中所示的运动检测单元11062，存储在图 122中图像存储器11061中的输入图像提供给运动方向检测单元 11201和运动检测校正单元11202。此外，从图119中处理区域i更置 单元11041输出的处理区域信息也提供给运动方向检测单元11201和 运动方向校正单元11202。
运动方向检测单元11201获取输入图像和处理区域信息，并且从 获取的输入图像中检测处理区域中的运动方向。
当捕捉运动对象时，运动模糊在对象的图像上发生。这是由用作 捕捉对象图像的传感器2的照相机或摄影机的图像传感器的动作所引 起。
也就是说，图像传感器例如CCD (电荷耦合器件)或CMOS (互补金属氧化物半导体)传感器在曝光时间(快门时间)期间对于 每个像素将入射光连续地转换成电荷，进一步将电荷转换成一个像素 值。当捕捉的对象处于静止状态时，对象的同一部分的图像(光)在 曝光时间期间转换成一个像素值。如此捕捉的图像不包括运动模糊，
另一方面，当对象运动时，投射到一个像素中的对象部分的图像 在膝光时间期间改变，并且对象的不同部分的图像偶然地转换成一个 像素值.反过来说，对象的一个部分的图像投射到多个像素值中，这 就是运动模糊。运动模糊在对象的运动方向上发生。
当集中在运动模糊发生的部分(包括运动模糊的区域)的运动方 向上排列的像素的像素值时，对象的通常相同范围部分的图像投影到 在运动方向上排列的像素的像素值。因此，我们可以说在运动模糊发 生的部分处运动方向上排列的像素的像素值的变化进一步减小。
运动方向检测单元11201基于这种变化，也就是输入图像的处理
区域中像素的像素值中的活动性检测运动方向。
更具体地说，运动方向检测单元11201的活动性计算单元11211 对于每个预先确定的方向计算在各个方向上排列的像素的像素值的变 化(活动性)。例如，活动性计算单元11211对于每个预先确定的方 向计算与每个方向对应放置的^"素的像素值之间的差值作为活动性。 活动性计算单元11211将指示计算的像素值变化的信息提供给活动性 评估单元11212。
活动性评估单元11212从活动性计算单元11211提供的对于每个 预先确定方向的像素的像素值变化中选择最小的像素值变化，并且将 与所选像素值变化相对应的方向取作运动方向。
运动方向检测单元11201将如此检测的指示运动方向的运动方向 信息提供给运动方向校正单元11202。
运动方向校正单元11202同样提供有处理区域信息。运动方向校 正单元11202基于从运动方向检测单元1U01提供的运动方向信息转 换输入图像中处理区域内的图像数据，使得运动方向变成图像的水平 方向。
例如，运动方向校正单元11202的仿射变换单元11213使得输入 图像中处理区域内的图像数据经历基于从运动方向检测单元ll加l提 供的运动方向信息的仿射变换，使得运动方向信息中所示的运动方向 变成图像的水平方向。
运动方向校正单元11202将转换使得运动方向变成图像水平方向 的输入图像中处理区域内的图像数据提供给特征检测单元1 l加3 。
特征检测单元11203检测从运动方向校正单元11202提供的图像的特征。
也就是说，特征检测单元11203的差值计算单元11214将通过从 输入图像处理区域中的像素中选择一个像素而选择的像素设置为关注 像素。随后，特征检测单元11203的差值计算单元11214通过从关注 像素的像素值中减去在右侧与关注像素相邻的像素的像素值来获得差 值。
差值计算单元11214通过将输入图像处理区域中的像素顺序地取 作关注像素而获得差值。也就是说，差值计算单元11214关于输入图 像处理区域中的所有像素获得差值。差值计算单元11214将如此计算 的差值，与指示对应于每个获得差值的关注像素位置的信息(指示每 个差值的屏幕上位置的位置信息) 一起提供给差值评估单元11215。
差值评估单元11215确定差值是否为0或更多，将等于或大于0 的差值与指示每个差值的屏幕上位置的位置信息一起提供给中间图像 创建单元11216，并且将小于0的差值与指示每个差值的屏幕上位置 的位置信息一起提供给中间图像创建单元11217。
中间图像创建单元11216基于从差值评估单元11215提供的等于 或大于0的差值，连同指示差值的屏幕上位置的位置信息一起，创建 由每个差值构成的中间图像。也就是说，中间图^^创建单元11216通 过将从差值评估单元11215提供的等于或大于0的差值设置到由位置 信息指示的屏幕上位置处的像素，并且将0设置到没有差值从差值评 估单元11215提供的位置处的像素来创建中间图像。中间图像创建单 元11216将这样创建的中间图像(以下，称作未反转中间图像)提供 给帧存储器11218。
中间图像创建单元11217基于从差值评估单元11215提供的小于 0的差值(负值)，与指示差值的屏幕上位置的位置信息一起，创建 由差值构成的中间图像。也就是说，中间图像创建单元11217通过将 从差值评估单元11215提供的小于0的差值设置到由位置信息指示的 屏幕上位置处的像素，并且将0设置到没有差值从差值评估单元 11215提供的位置处的像素来创建中间图像。中间图像创建单元11217将这样创建的中间图像提供给符号反转单元11219。
符号反转单元11219反转设置到从中间图像创建单元11217提供 的中间图像的像素的小于0的差值的符号。设置到中间图像的像素的 值0的符号不反转。也就是说，符号反转单元11219选择设置到从中 间图像创建单元11217提供的中间图像的像素的小于0的差值，并且 将小于0的所选差值转换成与差值具有相同绝对值的大于0的值。例 如，差值-15通过反转其符号而转换成15。符号反转单元11219将这 样符号反转的中间图像(以下称作反转的中间图像)提供给帧存储器 11220。
帧存储器11218将由等于或大于0的差值以及0构成的未反转中 间图像作为特征提供给运动量检测单元11204。帧存储器11220将由 其符号反转的大于0的差值以及0构成的反转中间图像作为特征提供 给运动量检测单元11204。
运动量检测单元11204基于从特征检测单元11203提供的特征检 测运动。也就是说，运动量检测单元11204检测输入图像处理区域中 对象图像的像素中至少关注像素的特征，与关于关注像素在运动方向 上定位的相应像素的特征之间的相关性，并且根据检测的相关性检测 输入图像处理区域中对象图像的运动量。
运动量检测单元11204的相关性检测单元11221检测用作从特征 检测单元11203的帧存储器11218提供的特征的未反转中间图像，与 用作从特征检测单元11203的帧存储器11220提供的特征的反转中间 图像之间的相关性。相关性检测单元11221将检测的相关性提供给相 关性评估单元11222。
更具体地描述，例如运动量检测单元11204的相关性检测单元 11221在屏幕水平方向上关于从特征检测单元11203的帧存储器 11218提供的、由等于或大于0的差值以及O构成的未反转中间图像 以像素为单位，运动(移位)从特征检测单元11203的帧存储器 11220提供的、由其符号反转以便大于0的差值以及0构成的反转中 间图像。也就是说，相关性检测单元11221在水平方向上运动构成反转中间图像的像素的屏幕上位置。
未反转中间图像的像素与反转中间图像的像素之间屏幕上的位置 关系通过在屏幕水平方向上运动反转中间图像(的^^素)而改变。例 如，运动之前屏幕上位置与未反转中间图^^的关注^^素相对应的反转 中间图像的相应像素导致在运动之后以运动距离与对应于未反转中间 图像关注像素的位置相离。更具体地说，当未反转中间图像向右运动
20个像素时，反转中间图像的相应像素向右距离与未反转中间图像 的关注像素相对应的位置20个像素。反过来说，运动之后屏幕上位 置与未反转中间图像的关注像素相对应的反转中间图像的相应像素在 运动之前以运动距离与对应于关注像素的位置相离。
相关性检测单元11221计算与未反转中间图像以及运动的反转中 间图像相对应的像素的像素值之间的差，并且取差的绝对值的和作为 相关性值。
例如，相关性检测单元11221在关于未反转中间图像的屏幕左向 上70个像素至屏幕右向上70像素的范围内以一个像素的增量，在屏 幕的水平方向上运动(移位)反转中间图像，关于未反转中间图像以 及对于每个运动位置(每个运动距离)而运动的反转中间图像计算位 于屏幕上相同位置的像素的像素值之间的差，并且取差的绝对值的和 作为相关性值。
例如，当反转中间图像关于未反转中间图像运动到屏幕左向时， 运动距离用负数(-)表示。当反转中间图像关于未反转中间图像运 动到屏幕右向时，运动量用正数(+ )表示。相关性检测单元lim 关于未反转中间图像以及对于-70像素至+70像素的每个运动距离而 运动的反转中间图像计算位于屏幕上相同位置的像素的像素值之间的 差，并且取差的绝对值的和作为相关性值。
相关性检测单元11221将与运动距离相对应的相关性值提供给相 关性评估单元11222。也就是说，相关性检测单元11221将一对运动 距离和相关性值提供给相关性评估单元11222。
相关性评估单元11222根据相关性检测输入图像处理区域中对象图像的运动量。更具体地说，相关性评估单元11222将从相关性检测 单元11221提供的相关性中，与最大(最强)相关性相对应的运动距 离取作运动量。
例如，相关性评估单元11222选择用作从相关性检测单元11221 提供的相关性值的差的绝对值的和中的最小值，并且设置与所选最小 值相对应的运动距离为运动量。
相关性评估单元11222输出检测的运动量。
图138至图140是描述由图137中的运动检测单元11062检测运 动的原理的图。
现在，让我们假定用作待捕捉对象的白色前景对象位于用作另一 个待捕捉对象的黑色背景对象的前面，且从左侧向右侧运动，并且具 有图像传感器例如CCD或CMOS传感器的照相机使用预先确定的 膝光时间(快门时间)捕捉前景对象和背景对象。
在该情况下，当集中在从照相机输出的图像的一帧上时，背景对 象是黑色的，使得照相机关于背景对象图像输出例如像素值0。前景 对象是白色的，所以照相机关于前景对象图像输出例如像素值255。 注意这里让我们假定照相机输出0至28-1范围内的像素值。
图138上侧的图是说明当前景对象在照相机快门打开的时刻(开 始膝光的时刻)位置处于静止状态时由照相机输出的图像的像素值的 图。
图138下侧的图是说明当前景对象在照相机快门关闭的时刻(结 束咏光的时刻)位置处于静止状态时由照相机输出的图像的像素值的 图，
如图138中所示，前景对象的图像的运动量是从照相机快门打开 的时候直到照相机快门关闭的时刻前景对象的图像运动的距离.
图139是说明当在背景对象前面运动的前景对象由照相机捕捉时 从照相机输出的图像的像素值的图.照相机的图像传感器在咏光时间 (快门时间)期间对于每个像素将对象的图像(光)连续地转换成电 荷，并且进一步将电荷转换成一个像素值，因此，前景对象11251的图像投影到多个像素的像素值中。图139中所示图像的最大像素值与 图138中所示图像的最大像素值相比较小。
图139中所示像素值的斜坡宽度对应于背景对象的图像的宽度。
当关于图139中所示图像的每个像素相对于右侧相邻像素的差值 被计算，并设置到像素时，图140中所示由差值构成的图像被获得。
也就是说， 一个像素从图139中所示图像的像素中选择，并且设 置为注意的关注像素。随后，差值通过从关注像素的像素值中减去在 右侧与关注像素相邻的像素的像素值来获得。差值设置到与关注像素 相对应的位置处的像素。图139中所示图像的像素顺序地取作关注像 素，并且图140中所示由差值构成的图像被获得。
具有负(-)符号的差值在关于图138上侧的图中所示照相机快 门打开的时刻前景对象位置的左侧一个像素上出现，并且具有正 (+ )符号的差值在关于图138下侧的图中所示照相机快门关闭的时 刻前景对象位置的左侧一个像素上出现。
因此，当匹配在通过反转具有负(-)符号的差值的符号而获得 的值与图140中所示具有正(+ )符号的差值之间执行时，通过反转 具有负(-)符号的差值的符号而获得的值的运动距离与当执行匹配 时基于具有正(+ )符号的差值的运动量相同，例如。
例如，基于具有正(+ )符号的差值，通过反转具有负(-)符号 的差值的符号而获得的值在水平方向上运动，通过反转负差值而获得 的值与正差值之间的相关性对于其每个运动距离而检测，从而检测最 大(最强)相关性。当最大相关性被检测时的运动距离与运动量相 同。
更具体地说，例如，基于具有正(+ )符号的差值，通过反转具 有负(-)符号的差值的符号而获得的值在水平方向上运动，作为对 于其每个运动距离通过反转负差值而获得的值与正差值之间的相关 性，正差值从每个像素的反转值中减去。随后，减法结果中的最小 值，也就是最大相关性被检测。与检测的最大相关性相对应的运动距 离与运动量相同。如上所述，作为对象图像运动的量的运动量可以从瀑光时间(快 门时间)期间一帧图像中检测。
也就是说，特征检测单元11203的差值计算单元11214从输入图 像处理区域中的像素中选择一个像素，将其设置为关注像素，并且从 关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值，从 而计算图140中所示的差值，例如。差值评估单元11215基于差值的 符号将差值分类成正差值和负差值。
中间图像创建单元11216从分类的正差值中，创建由其正差值构 成的未反转中间图像。中间图像创建单元11217从分类的负差值中， 创建由其负差值构成的中间图像。符号反转单元11219通过反转由负 差值构成的中间图像的负像素值的符号来创建反转中间图像。
运动量检测单元11204获得具有最强相关性的未反转中间图像和 反转中间图像的运动距离，并且取获得的运动距离作为运动量。
当特征检测单元11203检测运动对象的图像，并且检测运动对象 的图像的特征时，运动量检测单元11204基于特征检测相关性，并且 根据检测的相关性来检测输入图像中对象的图像的运动量。
而且，当特征检测单元11203从属于运动对象的图像的像素中选 择注意的关注像素，并且检测关注像素的特征时，运动量检测单元 11204检测关注像素的特征与在运动方向上关于关注像素定位的相应 像素的特征之间的相关性，并且根据检测的相关性来检测输入图像处 理区域中对象的图像的运动量。
图141是描述由图137中的运动检测单元11062检测运动量的处 理的流程图。
在步骤S11201中，运动方向检测单元11201和运动方向校正单 元11202获取输入图像和处理区域信息，并且流程前进到步骤 S11202。
在步骤S11202中，运动方向检测单元11201的活动性计算单元 11211关于在步骤S11201的处理中获取的输入图像中处理区域的像 素计算活动性，并且流程前进到步骤S11203。例如，活动性计算单元11211选择输入图像处理区域的像素中注 意的关注像素。活动性计算单元11211在关注像素附近提取预先确定 数目的周围像素。例如，活动性计算单元11211提取由以关注像素为 中心的5x5像素(5像素乘5像素)构成的周围像素。
随后，活动性计算单元11211从提取的周围像素中检测与图像上 预先确定方向相对应的活动性。
对于下面的描述，水平方向上的像素阵列称作行，垂直方向上的 像素阵列称作列。
关于例如5x5周围像素，活动性计算单元11211通过计算在屏幕 上和下(垂直)方向上相邻像素的像素值之间的差，将计算的差的绝 对值的和除以差的数目，并且取结果作为活动性，来检测关于基于屏 幕水平方向的90度的角度(屏幕垂直方向)的活动性。
例如，像素值的差关于20对的屏幕上和下方向上相邻的两个像 素而计算，计算的差的绝对值的和除以20，并且结果(商)设置为 关于90度角度的活动性。
关于例如5x5周围像素，活动性计算单元11211通过计算最低行 中最左侧像素至从左侧起第四像素的各个像素值，与关于各个像素上 方四个像素以及右侧一个像素的像素的各个像素值之间的差，将计算 的差的绝对值的和除以差的数目，并且取结果为活动性，检测关于基 于屏幕水平方向的76度角度(tan"(4/1))的活动性。
例如，像素值的差关于四对具有垂直方向上四个像素以及水平方 向上一个像素的距离的右上方的两个像素而计算，计算的差的绝对值 的和除以四，并且结果(商)设置为关于76度角度的活动性。
活动性计算单元11211使用相同的处理检测关于基于屏幕水平方 向的卯度至180度范围内角度的活动性。如果检测关于90度至180 度范围内角度的活动性，活动性基于位于左上方的像素的像素值的差 来计算。
这样检测的活动性取作关于关注像素的活动性. 注意，检测的活动性可能是关于周围像素的活动性。而且，已经描述周围像素由5x5像素(5像素乘5像素)构成， 但是具有期望范围的像素可以使用而不是5x5像素。如果使用大量 周围像素，角度分辨率提高。
活动性计算单元11211将指示与多个方向相对应的活动性的信息 提供给活动性评估单元11212。
返回到图141，在步骤S11203中，活动性评估单元11212通过 基于在步骤S11202的处理中计算的与预先确定方向相对应的活动性 来选择最小活动性，并且将所选方向取作运动方向来获得运动方向， 并且流程前进到步骤S11204。
在步骤S11204中，运动方向校正单元11202基于在步骤S11203 的处理中获得的运动方向转换输入图像处理区域中的图像数据，使得 运动方向变成图像的水平方向，并且流程前进到步骤S11205。例 如，在步骤S11204中，运动方向校正单元11202的仿射变换单元 11213使得输入图像处理区域中的图像数据经历基于步骤S11203的 处理中获得的运动方向的仿射变换，使得运动方向变成图像的水平方 向。更具体地说，例如，当运动方向是18度的角度时，仿射变换单 元11213使得输入图像处理区域中的图像数据经历仿射变换以便基于 屏幕水平方向以顺时针方向旋转18度。
在步骤S11205中，特征检测单元11203的差值计算单元in" 关于被转换使得运动方向在步骤S11204的处理中变成屏幕水平方向 的输入图像处理区域中的每个像素计算相对于水平方向上相邻的像素 的像素值的差值，并且流程前进到步骤S11206。
例如，在步骤S11205中，差值计算单元11214通过从输入图像 处理区域中的像素中选择一个像素来设置注意的关注像素，随后，差 值计算单元11214通过从关注像素的像素值中减去右侧与关注像素相
邻的像素的像素值来获得差值.
在步骤S11206中，特征检测单元11203的差值评估单元11之1S 基于差值的符号分配差值，并且流程前进到步骤S11207。也就是 说，差值评估单元11215将等于或大于0的差值提供给中间图像创建单元11216,而将小于0的差值提供给中间图像创建单元11217。在 该情况下，差值评估单元11215将差值与指示屏幕上每个差值位置的 位置信息一起提供给中间图像创建单元11216或中间图像创建单元 11217。
在步骤S11207中，特征检测单元11203的中间图像创建单元 11216基于在步骤S11206的处理中分配的等于或大于0的差值(正 差值)来创建由正差值构成的中间图像，并且流程前进到步骤 S11208。也就是说，在步骤S11207中，中间图像创建单元11216通 过将正差值设置到用位置信息指示的屏幕上位置处的像素，并且将0 设置到没有差值提供的位置处的像素来创建中间图像。
因此，未反转中间图像在步骤S11207的处理中创建。在步驟 S11208中，特征检测单元11203的中间图像创建单元11217基于在 步骤S11206的处理中分配的小于0的差值(负差值)来创建由负差 值构成的中间图像，并且流程前进到步骤S11209。也就是说，在步 槺S11208中，中间图像创建单元11217通过将负差值设置到用位置 信息指示的屏幕上位置处的像素，并且将0设置到没有差值提供的位 置处的像素来创建中间图像。
在步骤S11209中，特征检测单元11203的符号反转单元1U19 反转在步骤S11208的处理中创建的、由负差值构成的中间图像的负 差值的符号。也就是说，在步骤S11209中，设置到负中间图像的像 素的负差值转换成具有相同绝对值的正值。
因此，在步骤S11209中，未反转中间图像创建，然后流程前进 到步骤S11210。
在步骤S11210中，运动量检测单元U204执行相关性检测处 理。步骤S11210中处理的细节将参考图142中的流程图随后描述，
在步猓S11211中，相关性评估单元11222选择在步骤S11H0的 处理中检测的相关性中的最强相关性，并且流程前进到步骤 S11212。
例如，在步猓S11211中，用作像素值的差的绝对值的和的相关性值中，最小相关性值被选择。
在步骤S11212中，相关性评估单元11222将与步骤S11211的处 理中选择的最强相关性相对应的运动距离设置为运动量，并且流程前 进到步骤S11213。例如，在步骤S11212中，用作像素值的差的绝对 值的和的相关性值中，与所选最小相关性值相对应的、在随后描述的 步骤S11223的处理中存储的反转中间图像的运动距离设置为运动 量。
在步骤S11213中，运动量检测单元11204输出在步骤S11210的 处理中检测的运动量，并且处理结束。
图142是描述与步骤S11210中的处理相对应的相关性检测处理 的流程图。
在步骤S11221中，运动量检测单元11204的相关性检测单元 11221在水平方向上以像素为增量运动在步骤S11209的处理中创建 的反转中间图像的像素的位置，并且流程前进到步骤S11222。
在步骤S11222中，相关性检测单元11221检测未反转中间图像 与其像素位置在步骤S11221的处理中运动的反转中间图像之间的相 关性，并且流程前进到步骤S11223。例如，在步骤S112M中，差值 在未反转中间图像的像素的像素值与在屏幕上相应位置处的反转中间 图像的像素的像素值之间计算，并且计算的差的绝对值的和检测为相 关性值。相关性检测单元11221将指示检测的相关性的相关性信息与 步骤S11221的处理中反转中间图像的像素的运动距离一起，提供给 相关性评估单元11222。
在步骤S11223中，相关性评估单元11222存储在步骤S11222的 处理中检测的相关性，以及步骤S11221的处理中反转中间图像的像 素的运动距离，并且流程前进到步骤S11224。例如，相关性评估单 元11222存储用作像素值的差的绝对值的和的相关性值，以及步骤 S11221的处理中反转中间图像的像素的运动距离。
在步骤S11224中，相关性检测单元11221确定是否关于所有运 动距离的相关性都已检测，并且如果确定相关性还没有对一些运动距离而检测，流程返回到步骤S11221,在那里检测关于下一个运动距
离的相关性的处理^:重复。
例如，在步骤S11224中，相关性检测单元11221确定是否所有 相关性都已检测，在图像中左向上70个像素至图像中右向上70个像 素的范围内运动反转中间图像的像素的情况下。
如果在步骤S11224中确定所有运动量的相关性都已检测，处理 结束(返回)。
因此，相关性检测单元11221可以检测相关性。
如上所述，其构造如图137中所示的运动检测单元11062可以从 图像的一帧中检测运动量。
现在，虽然运动已经在这里关于处理区域而检测，配置可以这样 进行，其中例如因手摇动而导致的整个屏幕上的运动，可以通过处理 整个屏幕而检测。
而且，即使在输入图像中存在大量具有相同设计的各个图案的情 况下，这些可以准确地检测，只要待处理的输入图像中处理区域的运 动距离和运动方向是恒定的。
虽然从图像的一帧中的运动距离检测已经在上面描述，无需说， 配置可以这样进行，其中运动距离从一个场检测。
而且，配置可以这样进行，其中运动量关于仅所选关注像素的周 围而检测。
图143说明图111中所示信号处理设备4的应用实例的另一种实 施方案的构造实例。
注意，图143说明从运动模糊发生的图像数据(以下称作运动模 糊图像数据，如果适当的话)中估计现实世界l光信号的信号处理设 备4的一种实施方案的构造实例，其中图像数据是具有例如以预先确 定的速度在预先确定的方向上运动的连续性的数据3的实例。也就是 说，该信号处理设备4从主体因例如主体(对象)在摄影时运动而以 模糊方式拍摄的图像(以下称作运动模糊图像，如果适当的话)中估 计不模糊的图像(以下称作不具有运动模糊的图像，如果适当的话)。因此，对于图143中的实施方案，运动模糊因拍摄运动对象而 发生的运动模糊图像作为输入图像输入到信号处理设备4。注意这 里，通过成像以恒定速度(运动量)在水平方向(从左到右的方向) 上运动的对象而获得的图像用作输入图像。
在图143中，处理区域设置单元12001，连续性设置单元 12002，现实世界估计单元12003，图像生成单元12004，图像显示单 元12005,以及用户I/F 12006，每个对应于图111中所示的处理区域 设置单元10001，连续性设置单元10002，现实世界估计单元 10003,图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003，图像生成单元10004,图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图143 中，现实世界估计单元12003包括模型生成单元12011，公式生成单 元12012，以及现实世界波形估计单元12013。模型生成单元 12011，公式生成单元12012，以及现实世界波形估计单元12013对 应于图111中的模型生成单元10011，公式生成单元10012,以及现 实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011，公式生成单元10012，以及现实世界波形估计单元10013的
每个相同的功能。
但是注意，在图143中，用户I/F 12006通过用户操作用户I/F 12006输出的帮助信息仅提供给处理区域设置单元12001。
也就是说，在图143中，用户可以通过操作用户I/F 12006关于 显示在图像显示单元12005上的图像指示取作处理区域的区域，并且 当用户执行操作以指示处理区域时，用户I/F 12006将表示取作指定 区域的处理区域的处理区域指示信息提供给处理区域设置单^ 12001。
现在，通过操作用户I/F 12006指示处理区域的方法的实例包 括，例如，使用围绕处理区域的矩形指示的方法，通过剪裁(剪裁) 处理区域指示的方法，通过指向处理区域内的一个或多个任意点来指示的方法等等；这里，让我们假定用户通过例如通过操作用户I/F U006指向处理区域中的一个任意点来指示处理区域。在该情况下， 用户I/F 12006将例如该点的图像上的坐标，作为表示用户指向的点 的信息，提供给处理区域设置单元12001,作为处理区域指示信息。
接下来，将参考图144中所示的流程图描述图143中所示的信号 处理i殳备4的处理。
首先，在步骤S12001中，信号处理设备4执行预处理，并且流 程前进到步骤S12002。也就是说，信号处理设备4将从传感器2 (图 1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元12001，连续性设置单元12002，现实世界估计单元12003， 图《象生成单元12004，以及图像显示单元12005。此外，信号处理设 备4使得图像显示单元12005显示输入图像。
在步骤S12002中，用户I/F 12006确定是否存在由用户操作用户 I/F 12006的某种用户输入。在步骤S12002中，如果确定不存在用户 输入，也就是如果用户没有执行操作，流程跳过步骤 S12003 S12005,并且前进到步骤S12006。
而且，在步骤S12002中，如果确定存在用户输入，也就是如果 用户已经观看显示在图像显示单元12005上的输入图像并且操作用户 I/F 12006，从而执行指示某种指令或信息的用户输入，流程前进到步 骤S12003，在那里用户I/F 12006确定用户输入是否是指示信号处理 设备4处理结束的用户指令。
如果在步骤S12003中确定用户输入是结束指令，也就是说，例 如，如果已经观看显示在图像显示单元12005上的输入图像的用户操 作用户I/F 12006以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，信号处理设备4结束处理。
而且，如果在步骤S12003中确定用户输入不是结束指令，流程 前进到步骤S12004，在那里用户I/F 12006确定用户输入是否是处理 区域指示信息。如果在步骤S12004中确定用户输入不是处理区域指示信息，步骤S12005跳过，并且流程前进到步骤S12006。
另一方面，如果在步骤S12004中确定存在处理区域指示信息的 输入，也就是说，如果已经观看显示在图像显示单元12005上的输入 图像并且发现不满意的输入图像的图像质量的用户，因此操作用户 I/F 12006以便指向不满意部分，流程前进到步骤S12005，在那里用 户I/F 12006将表示用户通过操作用户I/F 12006指向的点的处理区 域指示信息提供给处理区域设置单元12001，并且流程前进到步骤 S12006。
在步骤S12006中，处理区域设置单元12001基于从用户I/F 12006提供的处理区域指示信息设置处理区域，并且将其处理区域信 息提供给连续性设置单元12002，现实世界估计单元12003，以及图 像生成单元12004，并且流程前进到步骤S12007。但是，如果处理区 域指示信息没有从用户I/F 12006提供给处理区域设置单元12001 (如果步骤S12006的处理在步骤S12002或步骤S12004之后立即执 行)，处理区域设置单元12001通过执行预先确定的处理(例如，检 测运动模糊发生的输入图像中的区域的处理)自动地设置处理区域。
在步骤S12007中，连续性设置单元l2002从处理区域设置单元 12001提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元12002将在处理区域中显示的对象的运动量设置为表示 处理区域图像数据的每个中丟失的现实世界1信号的连续性的信息， 并且将表示连续性的连续性信息提供给现实世界估计单元12003，并 且流程前进到步骤S12008。注意该运动量可以由用户操作用户I/F 12006输入。而且，这里，连续性设置单元12002将表示输入图像中 对象运动量值的运动量设置为连续性信息，因为假设对象在水平方向 上运动，但是配置可以这样进行，其中表示对象运动的量值和方向的
运动矢量设置为连续性信息。
在步骤S12008中，现实世界估计单元12003根据从处理区域设 置单元12001提供的处理区域信息，基于相应现实世界1信号的运动 量，从输入图像处理区域中的图像数据(运动模糊图像的数据)中估计现实世界l信号(不具有运动模糊的图像)。
也就是说，对于现实世界估计单元12003，模型生成单元12011 从处理区域设置单元12001提供的处理区域信息中识别输入图像中的 处理区域，并且基于从连续性设置单元12002提供的连续性信息，识 别与处理区域图像数据相对应的现实世界1信号的运动量，也就是， 在该情况下，识别显示在处理区域中的对象的运动量。此外，模型生 成单元12011对于处理区域中水平线的每个，根据构成输入图像处理
界1信号的运动i，来产生模^处理区域内每个水平线中像素的像素 值与现实世界l光信号之间关系的模型(以下称作关系模型，如果适 当的话)，其提供给公式生成单元12012。
公式生成单元12012从处理区域设置单元12001提供的处理区域 信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像 素值代入根据处理区域的关系模型，其已经对于处理区域的每个水平 线从模型生成单元12011提供，从而产生用于获得近似现实世界1信 号的近似函数的公式，其然后提供给现实世界波形估计单元12013。 此外，公式生成单元12012基于处理区域信息产生约束近似函数的约 束条件表达式，并且将其提供给现实世界波形估计单元1^13。
现实世界波形估计单元12013求解从公式生成单元U012提供的 公式，从而估计现实世界l光信号的波形。也就是说，现实世界波形 估计单元12013通过求解从公式生成单元提供的公式来获得用作模拟 现实世界1光信号的模型的近似函数，并且将近似函数作为现实世界 1光信号的估计结果提供给图像生成单元12004.
现在，这种现实世界估计单元12003执行的步骤S12008的处理 将称作"现实世界估计处理"。"现实世界估计处理"的细节将参考图 149中的流程图随后描述。
在步骤S12008的处理之后，流程前进到步骤S12009，在那里图 像生成单元12004基于从现实世界估计单元12003 (的现实世界波形 估计单元12013)提供的、更接近现实世界1光信号的波形的近似函数产生由现实世界1光信号近似的信号。也就是说，图像生成单元
12004从处理区域设置单元12001提供的处理区域信息中识别输入图 像中的处理区域，并且基于从现实世界估计单元12003提供的关于相 应处理区域的近似函数，产生更接近现实世界1光信号的近似图像 (在该情况下，不具有运动模糊的图像，例如)。
此外，图像生成单元12004产生输入图^^中的处理区域部分已经 用近似图像(不具有运动模糊的图像)取代的图像作为输出图像，其 然后提供给图像显示单元12005，并且流程从步骤S12009前进到步 骤S12010。
在步骤S12010中，图像显示单元12005显示从图像生成单元 12004提供的输出图像，代替步骤S12001中显示的输入图像，或者 与输入图像一起，并且流程前进到步骤S12011。
在步骤S12011中，与步骤S12002的情况一样，用户I/F 12006 确定是否存在由用户操作用户I/F 12006的某种用户输入，并且如果 确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步 骤S12011，并且等待某种用户输入。
而且，如果在步骤S12011中确定存在用户输入，也就是如果用 户已经观看显示在图像显示单元12005上的输入图像或输出图像并且 操作用户I/F 12006，从而执行表示某种指令或信息的用户输入，流 程前进到步骤S12012，在那里用户I/F 12006确定用户输入是否是指 示信号处理设备4处理结束的结束指令。
如果在步骤S12012中确定用户输入是结束指令，也就是说，例 如，如果已经观看显示在图像显示单元12005上的输出图像的用户操 作用户I/F 12006以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，信号处理设备4结束处理。
而且，如果在步骤S12012中确定用户输入不是结束指令，流程 前进到步骤S12013，在那里用户I/F 12006确定用户输入是否是处理 区域指示信息。如果在步骤S12013中确定用户输入不是处理区域指示信息，流程返回到步骤S12011，此后重复相同的处理。
而且，如果在步骤S12013中确定用户输入是处理区域指示信 息，也就是说，如果已经观看显示在图像显示单元12005上的输出图 像并且发现不满意的输出图像的图像质量的用户，因此操作用户I/F 12006以便关于输出图像指向不满意部分，流程返回到步骤S12005， 在那里用户I/F 12006将表示用户通过操作用户I/F 12006指向的点 的区域指示信息提供给处理区域设置单元12001，如上所述，并且流 程从步骤S12005前进到步骤S12006,此后重复相同的处理。
也就是说，因此，步骤S12005 S12013的该处理重复，用户对输 出图像的不满意被解决，因此，用户获得具有期望图像质量的输出图 像。
如上所述，对于信号处理设备4，作为输入图像处理结果的输出 图像展示给用户，供用户从输出图像中选择新的处理区域，并且处理 基于该处理区域再次执行，所以满足用户喜好的高质量输出图像可以 容易地获得。也就是说，信号处理设备4向用户展示作为输入图像处 理结果的输出图像。另一方面，用户识别输出图像的图像质量，并且 将关于输出图像是否是具有期望图像质量或接近期望图像质量的图像 的反馈提供给信号处理设备4。信号处理设备4考虑来自用户的反馈 再次处理输入图像。因此，满足用户喜好的高质量输出图像可以容易 地获得。
现在，可以说接收来自用户的反馈并且在输入图像上执行处理的 信号处理设备4意味着信号处理设备4与用户合作执行处理。
现在，在开始现实世界估计单元12003的具体描述之前，将描述 模拟处理区域中每个像素的像素值与现实世界1光信号之间关系的关 系模型。
图145是描述在传感器2是CCD的情况下积分效应的图。 如图145中所示，多个检测元件2-1 (像素)排列在传感器2的 平面上。
在图145中所示实例中，平行于检测元件2-1的1个预先确定边的方向是作为空间方向中的一个方向的X方向，并且与X方向垂直 的方向是作为空间方向中的另一个方向的Y方向。垂直于X-Y平面 的方向是作为时间方向的t方向。
而且，在图145中所示实例中，传感器2的每个检测元件2-1的 空间形状是正方形，其中每边的长度是l。而且，传感器2的快门时 间(膝光时间)是l。
此外，在图145的实例中，传感器2的l个预先确定检测元件2-1的中心为空间方向(X方向Y方向)的原点(X方向上位置x=0， 并且Y方向上位置y-O),而且曝光时间的中间时间点为其在时间方 向(t方向)上的原点(t方向上位置t=0)。
在该情况下，其中心存在于空间方向上原点(x-0， y-0)的检 测元件2-1在X方向上-0,5~0.5的范围，Y方向上-0.5 0.5的范围， 以及t方向上-0.5~0.5的范围上积分表示现实世界1光信号的光信号 函数F(x，y，t)，并且输出其积分值作为像素值P。
也就是说，从其中心存在于空间方向上原点处的检测元件2-1输 出的像素值P用下面的表达式(146)表示。
ff"0.5 r "0.5 fM),5
p-〖丄II，，y，t)d乖…,
其他检测元件2-1也相同，对象检测元件2-1的中心是空间方向 上的原点，从而输出由表达式(146)表示的像素值P,
接下来，将参考图146，图147A至图147C，以及图148A至图 148C来描述因传感器2的积分效应而发生的运动模糊。在该实例 中，我们将假定在从传感器2输出的图像数据中不存在空间混合。也 就是说，我们将假定相同光度的光信号在与现实世界1光信号的一个 像素(传感器2的检测元件)相对应的部分处空间上均匀分布，
图146是描述存在这种连续性的情况下运动的运动量的图，即由 传感器2获取的用作现实世界1光信号的主体(对象)以恒定速度在 水平方向(X方向)上运动。
在图146中，X方向和t方向代表传感器2的X方向和t方向 (图145)。而且，膝光开始的时间点都是t方向上的原点(t方向上位置t-O)，并且开始曝光时X方向上主体的某个位置是X方向
上的原点(x方向上位置x-o)。
如果主体以恒定速度在水平方向(X方向)上运动，时间t与X 方向上主体的位置之间的关系由图146中虚线指示的直线表示。注 意，该虚直线的梯度表示主体运动的速度。
现在在该情况下，让我们假定主体在某个时间点At停止，随后 在无穷小的时间上重复运动一个像素，从而相当于以1/At的恒定速 度运动，如图146中实线指示的。
如上所述，假设与一个像素相对应的现实世界1光信号的部分是 恒定光度，并且其运动以一个像素的增量执行，不存在因传感器2的 积分效应而发生的空间混合和时间混合中的空间混合发生，因此我们 仅需要考虑时间混合。这里，将描述仅因传感器2的积分效应而发生 的时间混合的运动模糊，以便简化描述。
现在，运动量将由例如主体在曝光时间期间穿过的传感器2的像 素数目来表示。如果图146中的曝光时间是5At，例如，这意味着主 体在啄光时间期间运动经过的像素数目是5，因此运动量也是5。
图147A至图147C是描述在主体(对象)在曝光时间期间在X 方向上以运动量5的相等速度运动的情况下X横截面波形F(x)的 图，其中y和t在光信号函数F(x，y，t)中固定，也就是，近似投影在 处理区域中某一水平线中的光信号函数F(x，y，t)的X横截面波形F(x) 的近似函数f(x)。
在图147A至图147C的实例中，处理区域的X方向上的像素数 目(水平线中的像素数目)是八。
在图147A至图147C中，X方向表示传感器2的X方向(图 145)。而且，让我们假定处理区域左边缘处像素的中心为X方向上 的原点(X方向上位置x-0).
图147A表示开始瀑光时的近似函数f(x)与传感器2的X方向上 的位置之间的关系，图147A中的近似函数f(x)用下面的表达式 (147)表示。f(x)=Q。(—0.5《x<0.5)
Q,(0.5 S x<1.5)
Q2(1.5"<2.5)
Q3(2.5《x<3.5)
Q4(3.5 S x<4.5)
Q5(4.5 S x<5.5)
Q6(5.5 S x<6.5)
Q7(6.5 S x<")
…(147)
现在，如上所述，相同光度的光信号在与由近似函数f(x)近似的 现实世界l光信号的一个像素相对应的部分处空间上均匀分布，所以 在表达式(147)中，Q。 Q7每个是常数值。
现在，主体以运动量5的相等速度在运动。因此，例如，以曝光 时间为1，主体在前一次运动一个像素之后再次运动一个像素的时 间，是曝光时间/运动量，也就是1/5。
因此，以开始曝光的时间点为0，在时间点1/5处近似函数f(x) 与传感器2的X方向上的位置之间的关系如图147B中所示。因此， 近似函数f(x)是从图147A中所示的状态在X方向上移位一个像素的 函数。因此，此时的近似函数f(x)用下面的表达式(148)表示。
f(x)-
(0.5 " < 1.5)
Q,(1.5《x < 2.5)
Q2(2.5 " < 3.5)
Q3(3.5 " < 4.5)
Q4(4.5 " < 5.5)
Qs(5.5 " < 6.5)
Q6(6.5 " < 7.5)
Q7(7.5 " < 8.5)
…(148)
主体以相同的方法保持在X方向上以一个像素的增量运动，并 且在时间点4/5处，例如，近似函数f(x)与传感器2的X方向上的位 置之间的关系如图147C中所示。也就是说，在时间点4/5处主体已 经在X方向上运动四个像素，所以近似函数f(x)是从图"7A中的状 态在X方向上移位四个像素的函数。因此，此时的近似函数f(x)用下 面的表达式(149)表示。Q。(3.5 " < 4.5)
Q,(4.5 " < 5.5)
Q2(5.5 " < 6.5)
Q3(6.5 " < 7.5)
Q4(7.5 " < 8.5)
Q5(8,5 " < 9.S)
Q6(9.5 S x < 10.5)
.Q，(10.5《x<11.5)
…(149)
现在，如图145中上面描述的，从传感器2获得的像素值是开始 爆光时的现实世界1光信号至结束啄光时的现实世界1光信号已经积 分的值。换句话说，像素值是与由开始啄光时的光度至结束啄光时的 光度的时间混合而获得的光度相对应的值。
因此，如果与现实世界l光信号的一个像素(传感器2的检测元 件)相对应的部分不是相同光度的光信号随着时间均匀分布的部分， 而是随着时间光度不同的光信号分布的情况，例如主体运动的情况， 该部分由传感器2的检测导致不同光度因传感器2的积分效应而时间 混合(在时间方向上积分(累加))，并且变成一个像素值。包括对 于与一个像素相对应的主体图像(现实世界l光信号)光度随着时间
而不同的像素的区域，例如在主体运动或照相机因在主体摄影时手摇 动而摇动的情况下，将称作时间混合区域。因主体运动而发生的时间 混合区域将称作运动模糊区域。因此，运动模糊区域的像素值将具有 开始啄光时的主体图像(现实世界l光信号)至结束膝光时的主体图 像(现实世界l光信号)时间积分(累加)的值。图143中所示现实 世界估计单元12003从运动模糊区域中的像素值中估计现实世界1光 信号.也就是说，现实世界估计单元12003产生模拟运动模糊区域的 像素值与近似函数f(x)之间关系的关系模型，理解运动模糊区域中的 像素值是由近似现实世界1光信号的近似函数f(x)当从开始曝光时刻 至结束膝光时刻与运动量相对应地运动时积分而获得的值，并且基于 关系模型获得近似函数f(x)。
这里，假定运动量如上所述是5，主体在结束瀑光的时间点1处 在X方向上运动一个 >素，并且到达从曝光开始时的位置在X方向上运动5个像素的位置。但是，在该时刻，传感器2的膝光结束。因 此，以开始啄光的时间点为0，在作为爆光时间的1期间传感器2的 爆光主体，是时间点O, 1/5， 2/5， 3/5和4/5处的近似函数f(x)。
图148A至图148C是描述运动模糊区域中从传感器2输出的图 像数据，与近似表示现实世界1光信号的光信号函数F(x，y，t)已经投 影在X方向上的X横截面波形F(x)的近似函数f(x)之间的关系(关 系模型)的图。
在图148A至图148C中，X方向和t方向代表传感器2的X方 向和t方向(图145 )。区域12031表示与在传感器2的X方向上排 列的多个像素相对应的区域。这里，区域12031分成八个小区域(垂 直方向上长的矩形区域)，每个小区域对应于一个像素。注意这里， 区域12031的小区域的数目，也就是像素数目，与处理区域的每个水 平线中X方向上的像素数目相匹配。小区域的X方向上一边的长度 表示X方向上传感器2的像素的长度，并且t方向上一边的长度表示 传感器2的曝光时间。因此，区域12031可以理解为构成处理区域中 某个水平线的像素区域。
图148A表示当用近似函数f(x)表示的静止的现实世界1光信号 输入到传感器2的区域12031时，从传感器2输出的图像数据(像素
值)Q。 Q7的实例。
现在，让我们假定xo X7每个是区域12031中八个像素的X方向
上的中心坐标值。而且，X(^X^…〈X7的关系成立，并且在该情况 下，像素的X方向上的宽度是1，所以表达式x产Xo+l ， x2=Xl+l， ...， x7=x6+l的关系成立.在该情况下，近似函数f(x)可以 由表达式(150)表示。(x0 -0.5^x:^x。 +0.5) (x, —0.5"", +0.5) (x2 -0.5""2 +0.5) (x3 — 0.5 " S x3 + 0.5) (x4 —0.5"《x4 +0.5) (xs —0.5《"xs +0.5) (x6 —0.5Sx"6 +0.5) (x7-0.5《"x7+0.5) (150)
如果现实世界1光信号是静止的，在区域12031中八个像素处获 得的像素值是在曝光时间上从表达式(146)中积分表达式(150)中 的近似函数f(x)的值。在该情况下，膝光时间是1，所以在区域 12031中八个像素处获得的像素值与表达式(150)中作为近似函数 f(x)值的Qo Q7是相同的值，如图148A中所示。因此Qo Q7是在现 实世界1光信号是静止的，并且没有运动模糊在获得像素值Qq~Q7 的像素中发生的情况下区域12031中八个像素的像素值，因此以下将 称作不具有运动模糊的像素值。
图148B表示如果由近似函数f(x)表示的现实世界1光信号具有 以某一运动量v在水平方向上运动的连续性，当由近似函数f(x)表示 的信号输入时，关于传感器2的区域12031从传感器2输出的图像数 据(像素值)P。 p7的实例。现在，像素值Po P7是区域中X
方向上的坐标分别为Xo， x" X7的八个像素的像素值。
如果膝光时间中运动量v是5，例如，像素值Po P7可以使用运 动量v以及不具有运动模糊的像素值Qo Q7如图148C中所示表示。
也就是说，如参考图146和图147A至图147C描述的，如果现 实世界1光信号以恒定速度在水平方向上运动，与由近似函数f(x)表 示的光信号相对应的电荷存储在其X方向上的中心坐标为Xq X7的八 个像素处对于每个时间1/v (在图148C的情况下，1/5)的像素的位 置处。
现在，将其X方向上中心坐标值是Xl的像素表示为像素#1，并 且与在从作为膝光开始时间的0至时间点1/v的时间1/v上、像素#4 的位置处由近似函数f(x)表示的光信号相对应的电荷存储在其X方向上中心坐标值为X4的像素糾处。也就是说，在像素#4处，根据此时
存储的电荷的像素值是Q4/v,其是关于啄光时间1存储的电荷的像 素值Q4的1/v。也就是说，来自此时在像素#4处存储的电荷的像素 值是Q4/v，其是表达式(150)的近似函数f(x)中像素糾的位置处的 值Q4经历时间1/v的时间积分而获得的值。
接下来，在从时间点1/v至时间点2/v的1/v期间，与由像素#4 的位置处的近似函数f(x)表示的光信号相对应的电荷存储在像素弁4 处。此时，近似函数f(x)处于从开始膝光时的状态在X方向上移位一 个像素的状态中，因现实世界l光信号以运动量v在水平方向上运动 的连续性，所以存储在像素#4处的电荷的像素值是Q3/v，其是在X 方向上移位一个像素的近似函数f(x)中像素^的位置处的值Q3经历 时间1/v的时间积分而获得的值。
在曝光时间期间，近似函数f(x)以相等速度在X方向上运动， 所以随后，以与上述相同的方法，与像素值Q2/V相对应的电荷在从 时间点2/v至时间点3/v的时间1/v上存储在像素#4处，并且与像素 值Ch/v相对应的电荷在从时间点3/v至时间点4/v的时间1/v上存储 在像素#4处。此外，与像素值Qo/v相对应的电荷在从时间点4/v至 时间点5/v (在图148C的情况下，时间点1，也就是曝光结束时间) 的时间1/v上存储在像素糾处。因此最终，像素幷4的像素值P4是这
些像素值的和，也就是Q4/V+Q3/V+Q2/V+Q!/V+Q()/V。
除像素#4之外的像素也可以相同的方法考虑，所以区域12031 中的像素的像素值P4 P7使用运动量v以及不具有运动模糊的像素值 Qo^Q7由下面的表达式(151)表示。
<formula>formula see original document page 250</formula>15i)
因此，从传感器2输出的像素值Pi (i=0， 1，…，7)是不具有 运动模糊的多个像素值Qi的和(积分)，因此具有运动模糊。现在，在开始膝光的时间点，近似函数f(X)近似投影到处理区域中像素#0至像素#7上的现实世界光信号。而且，在该情况下，处理 区域中的主体在X方向(从左到右)运动。因此，到处理区域左侧 的像素，也就是像素#0， #1， #2和#3，在图148C中，不能使用近似 函数f(x)表示。因此，在表达式(151)中，不具有运动模糊的像素 值，也就是待获得的变量Q。 Q7的数目大于公式数目。也就是说，在表达式(151)中，待获得的变量数目是Q。 Q7八 个变量，但是这里公式数目是4，小于8。因此，为了获得不具有运 动模糊的像素值Q。 Q7,还需要使用不具有运动模糊的像素值Q。 Q7 的独立公式。因此这里，约束不具有运动模糊的像素值Q。~Q7的公 式被代入例如。这些公式将随后描述。图143中所示现实世界估计单元12003根据处理区域的X方向 上的像素数目以及运动量v，产生与表达式(151)相同的表达式作 为关系模型，并且基于关系模型，获得不具有运动模糊的像素值，也 就是用作近似现实世界1光信号的近似模型的近似函数f(x)。接下来，将参考图149中的流程图详细描述现实世界估计单元 12003 (图143)的现实世界估计处理(图144的步骤S11208中的处 理)。在步骤S12031中，模型生成单元12011产生关系模型。也就是 说，模型生成单元12011从处理区域设置单元12001提供的处理区域 信息中识别输入图像中的处理区域，并且也从连续性设置单元12002 提供的连续性信息中识别与处理区域图像数据相对应的运动量。此 外，模型生成单元12011，对于输入图像中的处理区域，根据构成处 理区域的水平线的像素，以及与处理区域中图像数据相对应的运动 量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器； 检测的像素的像素值Pi与由近似现实世界1光信号的近似模型表示 的、不具有运动模糊的像素的像素值Qi之间关系的关系模型，并且 将其提供给公式生成单元12012。模型生成单元12011然后从步骤 S12031前进到步骤S12032。特别地，模型生成单元12011根据处理区域水平线中的像素数目 以及运动量，产生参考图148A至图148C描述的、表示处理区域的 每个水平线中像素的像素值Pi与不具有运动模糊的像素值Qi之间关 系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素 数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关 系模型。在步骤S12032中，>5^式生成单元12012执行爿>式生成处理。也 就是说，公式生成单元12012从处理区域设置单元12001提供的处理 区域信息中识别输入图像中的处理区域，并且关于该处理区域，将输 入图像的每个像素的像素值Pi代入从模型生成单元12011提供的关 于处理区域的水平线的每个而获得的关系模型中，从而产生用于获得 由近似现实世界1光信号的近似函数表示的、不具有运动模糊的像素 值Qi的表达式(151)的公式(模型公式)。此外，公式生成单元12012产生约束条件表达式，其是用于约束 近似从处理区域设置单元12001提供的处理区域信息中识别的处理区 域的水平线中现实世界l光信号的近似模型的表达式。也就是说，对 于模型表达式，作为待获得变量的不具有运动模糊的像素值Qi的数 目大于公式数目，如表达式(151)中指示的，所以需要引入对于公 式总数数目等于或大于不具有运动模糊的像素值Qi的数目的公式， 以便获得不具有运动模糊的像素值Qi。这里，公式生成单元12012 产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有 运动模糊的像素值Qi之间的差小(存在空间相关性)。公式生成单 元12012将产生的模型公式与约束条件表达式组合在一起，产生正则 方程，其提供给现实世界波形估计单元12013，并且流程从步骤 S12032前进到步驟S12033。注意以下，如上所述4S式生成单元12012执行的步骤S12032中 的处理将称作"公式生成处理"。"公式生成处理"的细节将参考图151 中的流程图随后描述。在步骤S12033中，现实世界波形估计单元12013求解从^S式生成单元12012提供的、关于处理区域的每个水平线的正则方程，从而 估计现实世界l光信号的波形，也就是获得由近似函数表示的不具有 运动模糊的像素值Qi，并且将其像素值提供给图像生成单元12004。接下来，图150说明图143中所示公式生成单元12012的详细构 造实例。在图150中，公式生成单元12012包括模型公式生成单元 12051，和约束条件表达式生成单元12052，以及正则方程生成单元 12053。模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像 素值)与不具有运动模糊的像素值之间关系的关系模型从模型生成单 元12011输入到其构造如图150中所示的7>式生成单元12012，并且 提供给模型公式生成单元12051。而且，输入图像从传感器2 (图 l)输入到公式生成单元12012，并且输入图像提供给模型公式生成 单元12051。此外，处理区域信息从处理区域设置单元12001输入到 公式生成单元12012，并且处理区域信息提供给模型公式生成单元 12051和约束条件表达式生成单元12052。模型公式生成单元12051从处理区域信息中识别输入图像的处理 区域，并且代入输入图像中处理区域的像素值作为从模型生成单元 12011提供的关系模型的运动模糊图像中每个像素的像素值Pi,从而 产生表达式(151)中的模型公式。模型公式生成单元12051将模型 公式提供给正则方程生成单元12053。注意，从模型生成单元12011 获得的关系模型具有代入表达式(151)的运动量v中的特定值，例 如，并且从模型公式生成单元12051获得的模型公式具有代入表达式 (151)的像素值P4~P7中的特定值。约束条件表达式生成单元12052基于处理区域信息对于处理区域 中每个水平线的像素产生预先确定的约束条件，并且将约束条件表逸 式提供给正则方程生成单元12053。正则方程生成单元12053将从模型公式生成单元12051提供的模 型公式与从约束条件表达式生成单元12052提供的约束条件表达式组合在一起以产生正则方程，其提供给现实世界波形估计单元12013。接下来，将参考图151中的流程图详细描述公式生成单元12012 (图150)的公式生成处理(图149的步骤S12032中的处理)。在步骤S12051中，模型公式生成单元12051从模型生成单元 12011获得处理区域中每个水平线的关系模型，并且流程前进到步骤 S12052。在步骤S12052中，模型公式生成单元12051从传感器2获 取输入图像，并且也从处理区域设置单元12001获得处理区域信息。 模型公式生成单元12051然后从输入图像的处理区域信息中识别处理 区域内每个像素的像素值Pi，并且将像素值Pi代入从模型生成单元 12011获得的表达式(151)的关系模型中，从而产生处理区域的每 个水平线的模型公式。此外，模型公式生成单元12051将模型公式提 供给正则方程生成单元12053。如果模型公式生成单元12051已经从 模型生成单元12011获得由上面表达式(151)表示的关系模型，例 如，模型公式通过将输入图像的像素值代入表达式(151)的像素值P广P7中而产生。在步骤S12052的处理之后，流程前进到步骤S12053，在那里约 束条件表达式生成单元12052基于处理区域信息产生约束条件表达 式，并且将约束条件表达式提供给正则方程生成单元l2053,并且流 程前进到步骤S12054，也就是说，约束条件表达式生成单元12052 根据处理区域水平线中的像素数目，产生表示由近似函数表示的不具有运动模糊的相邻像素之间像素值Qi和Qw之间的差小的约束条件 的约束条件表达式。例如，如果处理区域的水平线中的像素数目是 8,并且这八个像素的不具有运动模糊的像素值用Qd^Q7表示，约束 表达式如下面的表达式(152)来表示，例如。Q产Q2 Q2=Q3 Q3=Q4 Q4=Q5Q5=Q6Q6=Q7 …(152)也就是说，表达式(152)表示处理区域的水平线中相邻像素的 像素值Qi和Qw相等。在步骤S12054中，正则方程生成单元12053将从模型公式生成 单元12051提供的表达式(151)的模型公式与从约束条件表达式生 成单元12052提供的表达式(152)的约束条件表达式组合在一起， 从而产生提供给现实世界波形估计单元12013的正则方程。此后，现实世界波形估计单元12013使用例如最小二乘方误差的 最小范数求解从正则方程生成单元12053提供的正则方程，从而对于 处理区域中每个水平线的像素，获得不具有运动模糊的像素值Qi。注意，上述现实世界波形估计处理对于处理区域内水平方向上排 列的像素的每个(水平线)而执行。也就是说，现实世界波形估计单 元12013对于每个水平线，对于处理区域中的每个像素获得不具有运 动模糊的像素值Qi。现实世界波形估计单元12013然后，已经对于 处理区域的所有水平线中的每个像素获得不具有运动模糊的像素值 Qi，将处理区域的每个像素的不具有运动模糊的像素值Qi提供给图 像生成单元12004。图像生成单元12004产生输入图^象处理区域中每 个像素的像素值Pi已经用不具有运动模糊的像素值Qi取代的图像作 为输出图像，并且将其提供给图像显示单元12005以显示。现在，图152A至图152C说明从传感器2输出的处理区域的某 个水平线中像素的像素值Pi与实际水平线中不具有运动模糊的像素 值Qi之间的关系。注意在附图中，与图148A至图148C中那些相对 应的部分用相同的参考数字表示，以下其描述将省略，如果适当的 话。图152A至图152C基本上与上述图148A至148C是相同的图， 因此，表示不具有运动模糊的像素值Qi与存在运动模糊的像素值Pi 之间的关系。此外，在图152A中，附加在不具有运动模糊的像素上的箭头12061-1 12061-7表示约束条件，即由箭头两端指示的不具有运动模 糊的像素之间像素值Qi和Qw之间的差小。图152A中所示约束条 件表示作为处理区域的区域12031的水平线中不具有运动模糊的所有 相邻像素之间像素值Qj和Qw之间的差小。图150中所示约束条件 表达式生成单元12052使用图152A中所示的约束条件，并且产生表 示约束条件的表达式(152 )的约束条件表达式。图153说明图111中所示信号处理设备4的应用实例的另一种实 施方案的另一种构造实例。注意，图153说明从运动模糊图像数据中估计现实世界1光信号 的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据 是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数 据3的实例。也就是说，该信号处理设备4从主体因例如主体(对 象)在成像时运动而以模糊方式获取的图像(运动模糊图像)中估计 不模糊的图像(不具有运动模糊的图像)。因此，对于图153中所示 的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输 入图像输入到信号处理设备4。注意这里，通过成像以恒定速度(运 动量)在水平方向(从左到右的方向)上运动的对象而获得的图像用 作输入图像。在图153中，处理区域设置单元12071，连续性设置单元 12072，现实世界估计单元12073，图像生成单元12074，图像显示单 元12075，以及用户I/F 12076，每个对应于图111中所示的处理区域 设置单元10001，连续性设置单元10002，现实世界估计单元 10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单 元10002,现实世界估计单元10003，图像生成单元10004,图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图153 中，现实世界估计单元12073包括模型生成单元12081，公式生成单 元12082，以及现实世界波形估计单元12083。模型生成单元 12081，公式生成单元12082，以及现实世界波形估计单元12083对应于图111中的模型生成单元10011,公式生成单元10012,以及现 实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011，公式生成单元10012，以及现实世界波形估计单元10013的 每个相同的功能。但是注意，在图153中，用户I/F 12076通过用户操作用户I/F 12076输出的帮助信息提供给处理区域设置单元12071和现实世界估 计单元12073。也就是说，在图153中，用户可以通过操作用户I/F 12076相对 于显示在图像显示单元12075上的图像指示不具有运动模糊的图像被 估计为平坦的区域作为平坦区域，并且当用户执行操作以指示平坦区 域时，用户I/F 12076将表示由该操作指定的平坦区域的平坦区域指 示信息提供给处理区域设置单元12071和现实世界估计单元12073。现在，通过操作用户I/F 12076指示平坦区域的方法的实例包 括，例如，使用围绕平坦区域的矩形指示的方法，通过剪裁(剪裁) 平坦区域指示的方法，通过指向平坦区域内的一个或多个任意点来指 示的方法等等；这里，用户通过例如通过操作用户I/F 12076指向平 坦处理区域中的一个任意点来指示平坦区域。在该情况下，用户I/F 12076将例如该点的图像上的坐标，作为表示用户指向的点的信息， 提供给处理区域设置单元12071和现实世界估计单元12073，作为处 理区域指示信息。接下来，将参考图154中所示的流程图描述图153中所示的信号 处理设备4的处理。首先，在步骤S12071中，信号处理设备4执行预处理，并且流 程前进到步骤S12072。也就是说，信号处理设备4将从传感器2 (图 1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元12071，连续性设置单元12072，现实世界估计单元12073， 图像生成单元12074,以及图像显示单元12075。此外，信号处理设 备4使得图像显示单元12075显示输入图像。在步骤S12072中，用户I/F 12076确定是否存在由用户操作用户I/F 12076的某种用户输入。在步骤S12072中，如果确定不存在用户 输入，也就是如果用户没有执行操作，流程跳过步骤 S12073 S12075，并且前进到步骤S12076。而且，在步骤S12072中，如果确定存在用户输入，也就是如果 用户已经观看显示在图像显示单元12075上的输入图像并且操作用户 I/F 12076,从而执行指示某种指令或信息的用户输入，流程前进到步 骤S12073，在那里用户1/F确定用户输入是否是指示信号处理设备4 处理结束的用户指令。如果在步骤S12073中确定用户输入是结束指令，也就是说，例 如，如果已经观看显示在图像显示单元12075上的输入图像的用户操 作用户I/F 12076以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，信号处理设备4结束处理。而且，如果在步骤S12073中确定用户输入不是结束指令，流程 前进到步骤S12074，在那里用户I/F 12076确定用户输入是否是平坦 区域指示信息。如果在步骤S12074中确定用户输入不是平坦区域指 示信息，步骤S12075跳过，并且流程前进到步骤S12076。另一方面，如果在步骤S12074中确定存在平坦区域指示信息的 输入，也就是说，如果已经观看显示在图像显示单元12075上的输入 图像并且发现不满意的输入图像的图像质量的用户，因此操作用户 I/F 12076以便指向不具有运动模糊的图像被估计为平坦图像的部 分，流程前进到步驟S12075，在那里用户I/F 12076将表示用户通过 搮作用户I/F 12076指向的点的平坦区域指示信息提供给处理区域设 置单元12071和现实世界估计单元12073，并且流程前进到步骤 S12076。在步骤S12076中，处理区域设置单元12071基于从用户I/F 12076提供的平坦区域指示信息，设置包括平坦区域的预先确定矩形 区域作为处理区域例如，并且将处理区域信息提供给连续性设置单元 12072，现实世界估计单元12073，以及图像生成单元12074，并且流程前进到步骤S12077。注意该处理区域可能由用户操作用户I/F 12076输入。但是，如果平坦区域指示信息没有从用户I/F 12076提供给处理 区域设置单元12071 (如果步骤S12076的处理在步骤S12072或步骤 S12074之后立即执行)，处理区域设置单元12071通过执行预先确 定的处理(例如，检测运动模糊出现的输入图像中的区域的处理)自 动地设置处理区域。在步骤S12077中，连续性设置单元12072从处理区域设置单元 12071提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元12072将在处理区域中显示的对象的运动量设置为表示 处理区域图像数据的每个中丢失的现实世界1信号的连续性的信息， 并且将表示连续性的连续性信息提供给现实世界估计单元12073，并 且流程前进到步骤S12078,注意该运动量可以由用户操作用户I/F 12076输入。而且，这里，连续性设置单元12072将表示对象运动量 值的运动量设置为输入图像中的连续性信息，因为假设对象在水平方 向上运动，但是配置可以这样进行，其中表示对象运动的量值和方向 的运动矢量设置为连续性信息。在步骤S12078中，现实世界估计单元12073根据从处理区域设 置单元12071提供的处理区域信息，以及从用户I/F 12076提供的平 坦区域指示信息，基于相应现实世界l信号的运动量，关于输入图像 的处理区域中的图像数据(运动模糊图像的数据)估计现实世界l光 信号(不具有运动模糊的图像)。也就是说，在现实世界估计单元12073处，模型生成单元12081 从处理区域设置单元12071提供的处理区域信息中识别输入图像中的 处理区域，并且基于从连续性设置单元12072提供的连续性信息，识 别与处理区域图像数据相对应的现实世界1信号的运动量，也就是， 在该情况下，识别显示在处理区域中的对象的运动量。此外，模型生 成单元12081对于处理区域中水平线的每个，根据构成输入图像处理 区域中每个水平线的像素以及与处理区域的图像数据相对应的现实世界1光信号的运动量，来产生模拟处理区域内每个水平线中像素的像 素值与现实世界l光信号之间关系的关系模型，其提供给公式生成单元12082。公式生成单元12082从处理区域设置单元12071提供的处理区域 信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像 素值代入根据从模型生成单元12081提供的处理区域的处理区域每个 水平线的关系模型中，从而产生用于获得用作近似现实世界l信号的 近似模型的近似函数的公式，其然后提供给现实世界波形估计单元 12083。此外，公式生成单元12082基于处理区域信息或平坦区域指 示信息产生约束近似函数的约束条件表达式，并且将其提供给现实世 界波形估计单元12083。现实世界波形估计单元12083求解从公式生成单元12082提供的 公式，从而估计现实世界1光信号的波形。也就是说，现实世界波形 估计单元12083通过求解从zi^式生成单元12082提供的^^式来获得用 作模拟现实世界1光信号的近似模型的近似函数，并且将近似函数作 为现实世界1光信号的估计结果提供给图像生成单元12074。现在，这种现实世界估计单元12073执行的步骤S12078的处理 将称作"现实世界估计处理"。"现实世界估计处理"的细节将参考图 155中的流程图随后描述。在步骤S12078的处理之后，流程前进到步骤S12079，在那里图 像生成单元12074基于从现实世界估计单元12073 (的现实世界波形 估计单元12083)提供的、更接近现实世界1光信号的波形的近似函 数产生更接近现实世界1光信号的信号。也就是说，图像生成单元 12074从处理区域设置单元12071提供的处理区域信息中识別输入困 像中的处理区域，并且基于从现实世界估计单元12073提供的关于相 应处理区域的近似函数，产生更接近现实世界1光信号的近似困像 (在该情况下，不具有运动模糊的图像，例如)。此外，图像生成单元12074产生输入图像中的处理区域部分已经 用近似图像(不具有运动模糊的图像)取代的图像作为输出图像，其然后提供给图像显示单元12075，并且流程从步骤S12079前进到步 骤S12080。
在步骤S12080中，图像显示单元12075显示从图像生成单元 12074提供的输出图像，代替步骤S12071中显示的输入图像，或者 与输入图像一起，并且流程前进到步骤S12081。
在步骤S12081中，与步骤S12072的情况一样，用户I/F 12076 确定是否存在由用户操作用户I/F 12076的某种用户输入，并且如果 确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步 骤S12081，并且等待某种用户输入。
而且，如果在步骤S12081中确定存在用户输入，也就是如果用 户已经观看显示在图像显示单元12075上的输入图像或输出图像并且 操作用户I/F 12076,从而执行表示某种指令或信息的用户输入并且 如果存在某种用户输入，流程前进到步骤S12082,在那里用户I/F 12076确定用户输入是否是指示信号处理设备4处理结束的结束指 令。
如果在步骤S12082中确定用户输入是结束指令，也就是iJC，例 如，如果已经观看显示在图像显示单元12075上的输出图像的用户操 作用户I/F 12076以便结束信号处理设备4的处理而不需要执行关于 输出图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，信号处理设备4结束处理。
而且，如果在步骤S12082中确定用户输入不是结束指令，流程 前进到步骤S12083，在那里用户I/F 12076确定用户输入是否是平坦 区域指示信息.如果在步骤S12083中确定用户输入不是平坦区域指 示信息，流程返回到步骤S12081，此后重复相同的处理。
而且，如果在步骤S12083中确定用户输入是平坦区域指示信 息，也就是说，如果已经观看显示在图像显示单元12075上的输出图 像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F 12076以便关于输出图像指向不具有运动模糊的图像被估计为平坦图 像的部分，流程返回到步骤S12075，在那里用户I/F 12076将表示用户通过操作用户I/F 12076指向的点的平坦区域指示信息提供给处理 区域设置单元12071和现实世界估计单元12073，如上所述，并且流 程从步骤S12075前进到步骤S12076,此后重复相同的处理。
也就是说，因此，步骤S12075 S12083的该处理重复，用户对输 出图像的不满意被解决，因此，用户获得具有期望图像质量的输出图 像。
如上所述，对于信号处理设备4，作为输入图像处理结果的输出 图像展示给用户，供用户从输出图像中指示新的平坦区域，其中不具 有运动模糊的图像被估计为平坦图像，并且处理基于该平坦区域再次 执行，所以满足用户喜好的高质量输出图像可以容易地获得。
也就是说，信号处理设备4向用户展示作为输入图像处理结果的 输出图像。另一方面，用户识别输出图像，并且以不具有运动模糊的 图像被估计为平坦图像的区域作为平坦区域提供反馈给信号处理设备 4。考虑来自用户的反馈的信号处理设备4例如对于仅从输入图像中 由用户指示的平坦区域，产生相邻像素的像素值之间的差小的约束条 件表达式，作为用来约束用作近似现实世界1光信号的近似模型的近 似函数的约束条件表达式。信号处理设备4使用约束条件表达式再次 处理输入图像，此后重复相同的处理。因此，信号处理设备4对于输 入图像的仅平坦区域产生相邻像素的像素值之间的差小的约束条件表 达式，所以输入图像对具有边缘的区域处理而不产生相邻像素的像素 值之间差小的约束条件表达式，所以输入图像中平坦区域中的噪声被 抑制，具有边缘的区域中的边缘被保持，并且满足用户喜好的高质量 输出图像可以容易地获得。
现在，可以说接收来自用户的反馈并且在输入图像上执行处理的 信号处理设备4意味着信号处理设备4与用户合作执行处理.
接下来，将参考图155中的流程图详细描述现实世界估计单元 12073 (图153)的现实世界估计处理(图154的步驟S12078中的处 理)。
在步骤S12101中，模型生成单元12081产生关系模型。也就是说，模型生成单元12081从处理区域设置单元12071提供的处理区域 信息中识别输入图像中的处理区域，并且也从连续性设置单元12072 提供的连续性信息中识别与处理区域图像数据相对应的运动量。此 外，模型生成单元12081，对于输入图像中的处理区域，根据构成处 理区域的水平线的像素，以及与处理区域中图像数据相对应的运动 量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2 检测的像素的像素值Pj与由近似现实世界1光信号的近似模型表示 的、不具有运动模糊的像素的像素值Qi之间关系的关系模型，并且 将其提供给公式生成单元12082。模型生成单元12081然后从步骤 S12101前进到步骤S12102,
特别地，模型生成单元12011根据处理区域水平线中的像素数目 以及运动量，产生参考图148A至图148C描述的、表示处理区域的 每个水平线中像素的像素值Pi与不具有运动模糊的像素值Qi之间关 系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素 数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关 系模型。
在步骤S12102中，公式生成单元12082执行7〉式生成处理。也 就是说，公式生成单元12082从处理区域设置单元12071提供的处理 区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构 成处理区域的输入图像的每个像素的像素值Pi代入从模型生成单元 12081提供的关于处理区域的每个水平线而获得的关系模型中，从而 产生用于获得由近似现实世界l光信号的近似函数表示的、不具有运 动模糊的像素值Qi的表达式(151)的公式(模型公式)。
此外，公式生成单元12082产生约束条件表达式，其是用于约束 近似从处理区域设置单元12071提供的处理区域信息中识别的处理区 域的水平线中现实世界l光信号的近似模型的表达式。也就是说，对 于模型表达式，作为待获得变量的不具有运动模糊的像素值Qi的数 目大于公式数目，如表达式(151)中指示的，所以需要引入对于公 式总数数目等于或大于不具有运动模糊的像素值Qi的数目的公式，以便获得不具有运动模糊的像素值Qi。这里，公式生成单元12082 产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有 运动模糊的像素值Qi之间的差小(存在空间相关性)。如果平坦区 域已经由用户指示，公式生成单元12082产生关于仅平坦区域的约束 条件表达式。
因此，即使在不具有运动模糊的图像不是平坦的并且具有某种图 案，例如使得图像具有高级别活动性的情况下，具有用户期望图像质 量的不具有运动模糊的图像可以获得。也就是说，公式生成单元 12082不将相邻像素的像素值之间的差小的约束条件应用于光强与在 不具有运动模糊的图像中没有由用户指示为平坦区域的部分显著不同 的边缘部分，并且将相邻像素的像素值之间的差小的约束条件应用于 由用户指示为平坦区域的平坦部分，从而产生约束条件表达式。因 此，边缘维持在边缘部分图像中，并且不具有运动模糊且噪声被抑制
的高图像质量的图像在平坦部分图像处获得。
而且，如果用户指示平坦区域，用户不需要关于处理区域中所有 像素确定每个像素的约束条件表达式，或者公式生成单元12082不需 要通过从输入图像的特征等估计平坦区域来确定约束条件表达式，并 且约束条件表达式可以容易地应用于不具有运动模糊的图像中仅平坦 图像部分。因此，信号处理设备4可以容易地获得具有用户期望图像 质量的输出图像。
公式生成单元12082将生成的模型公式与约束条件表达式组合在 一起以产生正则方程，并且将其提供给现实世界波形估计单元 12083，并且流程从步骤S12102前进到步骤S12103。
注意以下，如上所述4^式生成单元12082执行的步骤S12102中 的处理将称作"公式生成处理"。"公式生成处理"的细节将参考图157 中的流程图随后描述。
在步骤S12103中，现实世界波形估计单元12083求解从公式生 成单元12082提供的、关于处理区域每个水平线的正则方程，从而估 计现实世界l光信号的波形，也就是获得由近似函数表示的不具有运动模糊的像素值Qi,并且将其像素值提供给图像生成单元12074。
接下来，图156说明图153中所示公式生成单元12082的详细构 造实例。
在图156中，公式生成单元12082包括模型公式生成单元 12101，和约束条件表达式生成单元12102，以及正则方程生成单元 12103。
模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像 素值)与不具有运动模糊的像素值之间关系的关系模型从模型生成单 元12081输入到其构造如图156中所示的公式生成单元12082，并且 提供给模型公式生成单元12101,而且，输入图像从传感器2 (图 l)输入到公式生成单元12082，并且输入图像提供给模型公式生成 单元12101。
此外，处理区域信息从处理区域设置单元12071输入到公式生成 单元12082，并且处理区域信息提供给模型公式生成单元12101和约 束条件表达式生成单元12102。而且，平坦区域指示信息从用户I/F 12076输入到公式生成单元12082，其提供给约束条件表达式生成单 元12102,
模型公式生成单元12101从处理区域信息中识别输入图像的处理 区域，并且代入输入图像中处理区域的像素值作为从模型生成单元 12081提供的关系模型的运动模糊图像中每个像素的像素值Pi，从而 产生表达式(151)中的模型公式。模型公式生成单元12101将模型 公式提供给正则方程生成单元12103。注意，从模型生成单元12081 获得的关系模型具有代入表达式(151)的运动量v中的特定值，例 如，并且从模型公式生成单元12101获得的模型公式具有代入表达式
(151)的像素值P4 P7中的特定值。
约束条件表达式生成单元12102基于处理区域信息或平坦区域措
示信息对于处理区域中每个水平线的像素产生预先确定的约束条件， 并且将约束条件表达式提供给正则方程生成单元12103。
正则方程生成单元12103将从模型公式生成单元12101提供的模型公式与从约束条件表达式生成单元12102提供的约束条件表达式组 合在一起以产生正则方程，其提供给现实世界波形估计单元12083。
接下来，将参考图157中的流程图详细描述公式生成单元12082 (图156)的公式生成处理(图155的步骤S12102中的处理)。
在步骤S12121中，模型公式生成单元12101从模型生成单元 12081获得处理区域中每个水平线的关系模型，并且流程前进到步骤 S12122。在步骤S12122中，模型公式生成单元12101从传感器2获 取输入图像，并且也从处理区域设置单元12071获得处理区域信息。 模型公式生成单元12101然后从输入图像的处理区域信息中识别处理 区域内每个像素的像素值Pi，并且将像素值Pi代入从模型生成单元 12081获得的表达式(151)的关系模型中，从而产生处理区域的每 个水平线的模型公式。此外，模型公式生成单元12101将模型公式提 供给正则方程生成单元12103。如果模型公式生成单元12101已经从 模型生成单元12081获得由上面表达式(151)表示的关系模型，例 如，模型公式通过将输入图像的像素值代入表达式(151)的像素值
P广P7中而产生。
在步骤S12122的处理之后，流程前进到步骤S12123，在那里约 束条件表达式生成单元12102确定平坦区域指示信息是否已经从用户 I/F 12076输入，并且如果确定平坦区域指示信息没有输入，步骤 S12124跳过，并且流程前进到步骤S12125。在该情况下，在步骤 S12125中，约束条件表达式生成单元12102基于由例如执行预先确 定处理的处理区域设置单元12071自动设置的处理区域信息产生约束 条件表达式，将约束条件表达式提供给正则方程生成单元12103，并 且流程从步骤S12125前进到步猓S12126。也就是说，约束条件表达 式生成单元12102对于处理区域的每个水平线中的所有像素，产生表 示由近似函数表示的不具有运动模糊的相邻像素之间像素值Qi和 Qw之间的差小的约束条件的约束条件表达式，例如，如果处理区域 的水平线中的像素数目是8，并且这八个像素的不具有运动模糊的像 素值用Q。 Q7表示，约束表达式如上述表达式(152)中表示，例如o
另一方面，如果在步骤S12123中确定平坦区域指示信息已经从 用户I/F 12076输入，约束条件表达式生成单元12102前进到步骤 S12124，从用户I/F 12076获得平坦区域指示信息，并且流程前进到 步骤S12125。
在该情况下，在步骤S12125中，约束条件表达式生成单元 12102基于平坦区域指示信息产生约束条件表达式。也就是说，约束 条件表达式生成单元12102仅产生关于平坦区域的约束条件表达式 (将关于与平坦区域中的像素相对应的约束条件表达式的权重以及与 除平坦区域之外的像素相对应的约束条件表达式的权重从1比1变成 1比0。也就是说，约束条件表达式的部分的权重改变)。约束条件 表达式生成单元12102将生成的约束条件表达式提供给正则方程生成 单元12103，并且流程从步骤S12125前进到步骤S12126。
例如，如图148A至图148C或图152A至图152C中所示，如果 处理区域中的水平线由八个像素#0~#7构成，并且八个像素#0 #7中 像素#0 #5指定为平坦区域，约束条件表达式使用像素#0~#5的不具 有运动模糊的像素值Q。 Qs如下面表达式(153)中，例如。
Q2=Q3 Q3=Q4
Q4=Q5 …(153)
也就是说，表达式(153)表示处理区域的水平线中相邻像素的 像素值Qi和Qw相等。
因此，不具有运动模糊的图像中相邻像素的像素值之间的差小的 约束条件仅应用于现实图像平坦的区域，所以信号处理设备4可以产 生更接近现实世界1信号的不具有运动模糊的图像。
在步骤S12126中，正则方程生成单元12103将从模型公式生成 单元12101提供的表达式(151)的模型公式与从约束条件表达式生成单元12102提供的表达式(152)的约束条件表达式或表达式 (153)的约束条件表达式(其权重改变的约束条件表达式)组合在 一起，从而产生提供给现实世界波形估计单元12083的正则方程。
此后，现实世界波形估计单元12083使用例如最小二乘方误差的 最小范数求解从正则方程生成单元12103提供的正则方程，从而对于 处理区域中每个水平线的像素，获得不具有运动模糊的像素值Qj。
注意，上述现实世界估计处理对于处理区域内水平方向上排列的 像素的每个(水平线)而执行。也就是说，现实世界波形估计单元 12083对于每个水平线，对于处理区域中的每个像素获得不具有运动 模糊的像素值Qi。现实世界波形估计单元12083然后，已经对于处 理区域的所有水平线中的每个像素获得不具有运动模糊的像素值 Qi，将处理区域的每个像素的不具有运动模糊的像素值Qi提供给罔 像生成单元12074。图像生成单元12074产生输入图像处理区域中每 个像素的像素值Pi已经用不具有运动模糊的像素值Qi取代的图像作 为输出图像，并且将其提供给图像显示单元12075以显示。
而且，在上面描述中，用户操作用户I/F 12076以从输出图像中 指示平坦区域，但是具有边缘的区域的指示可以进行。在该情况下， 以与上述处理相同的方法，指示的具有边缘的区域作为边缘区域指示 信息提供给处理区域设置单元12071和现实世界估计单元12073。在 处理区域中，约束条件表达式生成单元12102产生关于除指示为边缘 区域的区域之外的区域的约束条件表达式(将关于与边缘区域中的像 素相对应的约束条件表达式的权重以及与处理区域内除边缘区域之外 的像素相对应的约束条件表达式的权重从1比1变成1比0。)也就 是说，约束条件表达式生成单元12102不产生关于边缘区域的约束条 件表达式.
此外，虽然上述处理不产生关于除平坦区域之外的约束条件表达 式，关于除平坦区域之外的约束条件表达式也可以使用较小的权重来 产生，与关于平坦区域的约束条件表达式的权重相比较。在该情况 下，例如约束条件表达式被产生，其中关于平坦区域的约束条件表达式以1加权，而关于除平坦区域之外的约束条件表达式用小于1，例
如0.5加权。
图158和图159是描述图153中所示信号处理设备4的处理概述 的图。
如图158中所示，用户观看输入图像12121并且想象不具有运动 模糊的图像12123，并且对输入图像12121指示估计为平坦的区域作 为平坦区域。而且，用户观看作为已经在信号处理设备4处理的输入 图像12121处理结果的输出图像12122，想象不具有运动模糊的图像 12123，并且对输出图像12122指示估计为平坦的区域作为平坦区 域，信号处理设备4产生仅关于用户已经指示为平坦区域的区域的约 束条件表达式，并且使用约束条件表达式产生更接近现实世界1光信 号的不具有运动模糊的图像。
因此，对于信号处理设备4，用户被展示有输入图像和输出图 像，并且用户关于输入图像或输出图像指示平坦区域。信号处理设备 4将不具有运动模糊的图像中相邻像素的像素值之间的差小的约束条 件应用到平坦区域，所以最佳约束条件可以容易地设置，并且更接近 现实世界l光信号的图像可以获得。而且，用户可以直接向信号处理 设备4指示对图像质量的不满意，并且可以容易地获得具有期望图像 质量的图像或者接近期望图像质量的图像。
图159是描述在用户观看输入图像并指示平坦区域的情况，以及 不指示平坦区域的情况下信号处理设备4的处理的图。
如图159中所示，如果用户不对输入图像12142指示平坦区域， 处理区域由信号处理设备4确定，并且约束条件表达式对于处理区域 的每个水平线中的所有像素以均等(相等)的方式产生，好像它们本 是这样(均等处理)。
另一方面，如果用户观看输入图像12142，想象不具有运动模糊 的图像12123，并且作出关于输入图像12142的不具有运动模糊的图 像12123中平坦区域的指示，非均等的处理执行。也就是说，在图
159的实例中，用户已经指示输入图像中像素值为P3和P4的像素作为平坦区域。
信号处理设备4基于由用户指示的平坦区域产生与输入图像中像
素值为P3和P4的像素相对应的不具有运动模糊的像素值Q3和Q4之 间的差小的约束条件表达式。而且，与平坦区域中的约束条件表达式
相比较，信号处理设备4以较小的权重产生关于除处理区域中平坦区
域之外的像素的约束条件表达式。也就是说，约束条件表达式以非均 等方式关于处理区域而产生，好像它们本是这样(非均等处理)。
因此，信号处理设备4可以将约束条件以比处理区域中其他区域
更大的权重应用于现实图像平坦的区域，而无需复杂的处理。因此，
信号处理设备4可以使得不具有运动模糊的图像更接近现实图像。
图160A至图160C表示从传感器2输出的处理区域的某个水平 线中像素的像素值Pi与水平线中不具有运动模糊的像素值Qi之间的 关系。注意在附图中，与图152A至图152C中那些相对应的部分用 相同的符号表示，并且其描述将在下面省略，如果适当的话。
图160A至图160C基本上分别与上述图152A至图152C相同， 因此表示不具有运动模糊的像素值Qi与具有运动模糊的像素值Pi之 间的关系。
在图160A至图160C中所示的实例中，用户操作用户I/F U076 以指示不具有运动模糊的像素的像素值为Qo和Qi的区域，不具有运 动模糊的像素的像素值为Q2 Qs的区域，以及不具有运动模糊的像
素的像素值为Q6和Q7的区域，作为平坦区域。
因此，如图160A中所示，不具有运动模糊的像素的相邻像素的 像素值Qi和Qw之间的差小的约束条件仅应用于不具有运动模糊的 像素的像素值为Q。和Q,的区域，不具有运动模糊的像素的像素值为 Qr^5的区域，以及不具有运动模糊的像素的像素值为Q6和Ch的区 域(指示为平坦区域的区域)。
图161说明图111中所示信号处理设备4的应用实例的另一种实 施方案的另一种构造实例。
注意，图161说明从运动模糊图像数据中估计现实世界1光信号的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据 是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数 据3的实例。也就是说，该信号处理设备4从主体因例如主体(对 象)在摄影时运动而以模糊方式获取的图像(运动模糊图像)中估计 不模糊的图像(不具有运动模糊的图像)。因此，对于图161中所示 的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输 入图像输入到信号处理设备4。注意这里，通过成像以恒定速度(运 动量)在水平方向(从左到右的方向)上运动的对象而获得的图像用 作输入图像。
在图161中，处理区域设置单元12161，连续性设置单元 12162，现实世界估计单元12163，图像生成单元12164，图像显示单 元12165，以及用户I/F 12166，每个对应于图111中所示的处理区域 设置单元10001，连续性设置单元10002，现实世界估计单元 10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003，图像生成单元10004，图像显 示单元10005,以及用户I/F 10006相同的处理。此外，在图161 中，现实世界估计单元12163包括模型生成单元12171，公式生成单 元12172，以及现实世界波形估计单元12173。模型生成单元 12171，公式生成单元12172，以及现实世界波形估计单元12173对 应于图111中的模型生成单元10011，公式生成单元10012,以及现 实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011， ^^式生成单元10012，以及现实世界波形估计单元10013的 每个相同的功能。
但是注意，在图161中，用户I/F 12166通过用户操作用户I/F 12166输出的帮助信息提供给处理区域设置单元12161和现实世界估 计单元12163。
也就是^L,在图161中，用户可以通过操作用户I/F 12166相对 于显示在图像显示单元12165上的图像指示不满意的区域以取作不满意区域，并且当用户执行操作以指示不满意区域时，用户I/F 12166 将表示作为由该操作指定的区域的不满意区域的不满意区域指示信息 提供给处理区域设置单元12161和现实世界估计单元12163。此外， 在图161中，如随后描述的，多个输出图像显示在图像显示单元 12165上，并且用户可以通过操作用户I/F 12166选择显示在图像显 示单元12165上的输出图像，并且当用户执行选择输出图像的操作 时，用户I/F 12166将表示由该操作选择的输出图像的选择信息作为 帮助信息提供给处理区域选择单元12161和现实世界估计单元 12163。
现在，通过操作用户I/F 12166指示不满意区域的方法的实例包 括，例如，使用围绕不满意区域的矩形指示的方法，通过剪裁(剪 裁)不满意区域指示的方法，通过指向不满意区域内的一个或多个, 意点来指示的方法等等；这里，让我们假定用户通过例如通过操作用 户I/F 12166指向不满意区域中的一个任意点来指示不满意区域。在 该情况下，用户I/F 12166将例如该点的图像上的坐标，作为表示用 户指向的点的信息，提供给处理区域设置单元12161和现实世界估计 单元12163，作为不满意区域指示信息。
接下来，将参考图162中所示的流程图描述图161中所示的信号 处理设备4的处理。
首先，在步骤S12141中，信号处理设备4执行预处理，并且流 程前进到步骤S12142。也就是说，信号处理设备4将从传感器2 (图 1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元12161，连续性设置单元12162，现实世界估计单元12163，； 图像生成单元12164，以及图像显示单元12165。此外，信号处理设 备4使得图像显示单元12165显示输入图像。
在步骤S12142中，用户I/F 12166确定是否存在由用户操作用户 I/F 12166的某种用户输入。在步骤S12142中，如果确定不存在用户 输入，也就是如果用户没有执行操作，流程跳过步骤 S12143 S12145，并且前进到步骤S12146。而且，在步骤S12142中，如果确定存在用户输入，也就是如果 用户已经观看显示在图像显示单元12165上的输入图像并且操作用户 I/F 12166，从而执行指示某种指令或信息的用户输入，并且如果已经 存在某种用户输入，流程前进到步骤S12143,在那里用户I/F 12166 确定用户输入是否是指示信号处理设备4处理结束的用户指令。如果在步骤S12143中确定用户输入是结束指令，也就是说，例 如，如果已经观看显示在图像显示单元12165上的输入图像的用户操 作用户I/F 12166以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，信号处理设备4结束处理。而且，如果在步骤S12143中确定用户输入不是结束指令，流程 前进到步骤S12144，在那里用户I/F 12166确定用户输入是否是不满 意区域指示信息。如果在步骤S12144中确定用户输入不是不满意区 域指示信息，步骤S12145跳过，并且流程前进到步骤S12146。另一方面，如果在步骤S12144中确定存在不满意区域指示信息 的输入，也就是说，如果已经观看显示在图像显示单元12165上的输 入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户 I/F 12166以便指向不满意部分，流程前进到步骤S12145,在那里用 户I/F 12166将表示用户通过操作用户I/F 12166指向的点的不满意 区域指示信息作为帮助信息提供给处理区域设置单元12161和现实世 界估计单元12163，并且流程前进到步骤S12146。在步骤S12146中，处理区域设置单元12161基于用作从用户I/F 12166提供的帮助信息的不满意区域指示信息，，没置例如包括不满意 区域的预先确定矩形区域作为处理区域，并且将其处理区域信息提供 给连续性设置单元12162，现实世界估计单元12163，以及图像生成 单元12164，并且流程前进到步骤S12147。注意该处理区域可能由用, 户操作用户1/F12166输入。但是，如果不满意区域指示信息没有从用户I/F 12166提供给处 理区域设置单元12161 (如果步骤S12146的处理在步骤S12142或步骤S12144之后立即执行)，处理区域设置单元12161通过执行预先 确定的处理(例如，检测运动模糊出现的输入图像中的区域的处理) 自动地设置处理区域。在步骤S12147中，连续性设置单元12162从处理区域设置单元 12161提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元12162将在处理区域中显示的对象的运动量设置为表示 处理区域图像数据的每个中丢失的现实世界1信号的连续性的信息， 并且将表示连续性的连续性信息提供给现实世界估计单元12163，并 且流程前进到步骤S12148。注意该运动量可以通过操作用户I/F 12166输入。而且，这里，连续性设置单元12162被配置以便将表示 输入图像中对象运动量值的运动量设置为连续性信息，因为假设对象 在水平方向上运动，但是配置可以这样进行，其中表示对象运动的量 值和方向的运动矢量设置为连续性信息。在步骤S12148中，现实世界估计单元12163根据从处理区域设 置单元12161提供的处理区域信息以及从用户I/F 12166提供的不满 意区域指示信息，基于相应现实世界l信号的运动量，关于输入图像 的处理区域中的图像数据(运动模糊图像的数据)，估计N个即多. 个版本的现实世界l光信号(不具有运动模糊的图像)。也就是说，在现实世界估计单元12163处，模型生成单元12171 从处理区域设置单元12161提供的处理区域信息中识别输入图像中的 处理区域，并且基于从连续性设置单元12162提供的连续性信息，识 别与处理区域图像数据相对应的现实世界1信号的运动量，也就是， 在该情况下，识別显示在处理区域中的对象的运动量。此外，模型生 成单元12171对于处理区域中水平线的每个，根据构成输入图像处理 区域中每个水平线的像素以及与处理区域的图像数据相对应的现实世 界1信号的运动量，来产生模拟处理区域内每个水平线中像素的像素 值与现实世界1光信号之间关系的关系模型，其提供给公式生成单元 12172'公式生成单元12172从处理区域设置单元12161提供的处理区域信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像素值代入根据处理区域从模型生成单元12171提供的处理区域的每个 水平线的关系模型中，从而产生用于获得近似现实世界1信号的近似 函数的公式。此外，公式生成单元12172基于处理区域信息或不满意 区域指示信息产生N个版本的约束条件表达式，其中约束近似函数 的约束条件表达式以N种方法加权。公式生成单元12172将获得用 作近似现实世界1光信号的近似模型的近似函数的公式与N个版本 约束条件的每个组合在一起，产生N个版本的正则方程，其提供给 现实世界波形估计单元12173。现实世界波形估计单元12173计算从公式生成单元12172提供的 N个版本正则方程的每个，从而估计N个版本的现实世界1信号的 波形。也就是说，现实世界波形估计单元12173求解从>^式生成单元 12172提供的N个版本正则方程的每个，从而获得用作模拟现实世界 1信号的近似模型的N个版本的近似函数，并且将近似函数作为N 个版本现实世界1信号的估计结果提供给图像生成单元12164。现在，这种现实世界估计单元12163执行的步骤S12148的处理 将称作"现实世界估计处理"。"现实世界估计处理，，的细节将参考图 163中的流程图随后描述。在步骤S12148的处理之后，流程前进到步骤S12149,在那里图 像生成单元12164基于从现实世界估计单元12163 (的现实世界波形 估计单元12173)提供的、更接近现实世界1信号的波形的N个版本 的近似函数，产生更接近现实世界1信号的N个版本的信号。也就 是说，图像生成单元12164从处理区域设置单元12161提供的处理区 域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元 12163提供的关于相应处理区域的N个版本的近似函数，产生更接近 现实世界1信号的N个版本的近似图像(不具有运动模糊的图 像)。此外，图像生成单元12164产生输入图像中的处理区域部分已经 用N个版本的近似图像(不具有运动模糊的图像)取代的图像作为N个版本的输出图像，其然后提供给图像显示单元12165，并且流程 从步骤S12149前进到步骤S12150。在步骤S12150中，图像显示单元12165显示从图像生成单元 12164提供的N个版本的输出图像，代替步骤S12141中显示的输入 图像，或者与输入图像一起，并且流程前进到步骤S12151。在步骤S12151中，用户I/F 12166确定是否存在由用户操作用户 I/F 12166的选择信息的输入。也就是说，在步骤S12150中，N个版 本的输出图像显示在图像显示单元12165上，并且在步骤S12151中 确定已经观看N个版本输出图像的用户是否已经通过操作用户I/F 12166输入用于从N个版本的输出图像中，选择作为具有期望图像质 量的图像或者接近期望图像质量的图像的图像的选择信息。如果在步骤S12151中确定不存在选择信息的输入，流程前进到 步骤S12154，并且用户I/F 12166确定是否存在结束指令的输入，与 步骤S12143的情况一样。如果在步骤S12154中确定存在结束指令的输入，信号处理设备 4结束处理。而且，如果在步骤S12154中确定不存在结束指令的输入，流程 返回到步骤S12151，此后重复相同的处理。另一方面，如果在步骤S12151中确定存在选择信息的输入，也 就是，如果已经观看显示在图像显示单元12165上的N个版本输出 图像的用户已经从N个版本的输出图像中选择作为具有期望图像质 量的图像或者接近期望图像质量的图像的图像，流程前进到步骤 S12152,在那里用户I/F 12166确定用户是否已经通过操作用户I/F 12166输入最终确定指令，该指令用于最终确定用户已经选作最终输 出图像的输出图像。如果在步骤S12152中确定存在最终确定指令的输入，流程前进 到步骤S12153，在那里图像显示单元12165在其整个屏幕上显示用 户已经选择的输出图像，并且处理结束。另一方面，如果在步骤 S12152中确定不存在最终确定指令的输入，也就是说，如果用户对所选输出图像的图像质量不满意，并且没有执行最终确定指令的输入以寸更再次执行处理，流程返回到步骤S12145,在那里用户I/F 12166 将表示用户已经选择的输出图像的选择信息作为帮助信息提供给处理 区域设置单元12161和现实世界估计单元12163，并且流程顺序前进 到步骤S12146, S12147,和S12148。在步骤S12146的处理区域设 置处理和步骤S12147的连续性设置处理中，前一次设置的处理区域 和连续性被设置。处理区域信息然后提供给连续性设置单元12162， 现实世界估计单元12163，以及图像生成单元12164，并且连续性信 息提供给现实世界估计单元12163。注意从第二次起执行的步骤 S12146和S12147的处理可以跳过。在步骤S12148中，现实世界估计单元12163可以基于用作从用 户I/F 12166提供的帮助信息的选择信息，使用N种新方法估计现实 世界l光信号(不具有运动模糊的图像)。也就是说，在该情况下，在步骤S12148中，现实世界估计单元 12163的公式生成单元12172基于用于获得由用作从用户I/F 12166 提供的帮助信息的选择信息表示的输出图像的约束条件公式，设置N 个新版本的约束条件公式。公式生成单元12172将用于获得用作近似 现实世界1光信号的近似模型的近似函数的公式与N个新的约束条 件公式的每个组合在一起，从而产生N个新版本的正则方程，并且 将N个新的正则方程提供给现实世界波形估计单元12173。此外，现 实世界波形估计单元12173计算从公式生成单元12172提供的N个 新的正则方程的每个，从而估计N个新版本的现实世界1光信号波 形。然后流程从步骤S12148前进到步骤S12149，此后重复相同的处 理。也就是"^兌，因此，步驟S12145 S12154的该处理重复，最终用户 获得具有期望图像质量的输出图像，其中用户对输出图像的不满意已 经解决。如上所述，对于信号处理设备4，作为输入图像处理结果的N个 版本的输出图像展示给用户，供用户从N个版本的输出图像中选择期望的一个，并且基于选择结果，处理再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用 户展示作为输入图像处理结果的N个版本的输出图像。另一方面， 用户识别N个版本输出图像的图像质量，并且将关于哪个输出图像 是具有良好图像质量的图像的判断的反馈提供给信号处理设备4。信 号处理设备4考虑来自用户的反馈再次处理输入图像，此后重复相同 的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。现在，可以说接收来自用户的反馈并且在输入图像上执行处理的 信号处理设备4意味着信号处理设备4与用户合作执行处理。接下来，将参考图163中的流程图详细描述现实世界估计单元 12163 (图161)的现实世界估计处理(图162的步骤S12148中的处 理)。在步骤S12171中，模型生成单元12171产生关系模型。也就是 说，模型生成单元12171从处理区域设置单元12161提供的处理区域 信息中识别输入图像中的处理区域，并且也从连续性设置单元12162 提供的连续性信息中识别与处理区域图像数据相对应的运动量。此 外，模型生成单元12171，对于输入图像中的处理区域，根据构成处 理区域的水平线的像素，以及与处理区域中图像数据相对应的运动 量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2 检测的像素的像素值Pi与由近似现实世界1光信号的近似模型表示 的、不具有运动模糊的像素的像素值Qi之间关系的关系模型，并且 将其提供给公式生成单元12172。模型生成单元12171然后从步猓 S12171前进到步骤S12172。特别地，模型生成单元12171根据处理区域水平线中的像素数目 以及运动量，产生参考图148A至图148C描述的、表示处理区域的 每个水平线中像素的像素值Pi与不具有运动模糊的像素值Qi之间关 系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素 数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关 系模型。在步骤S12172中，公式生成单元12172执行公式生成处理。也 就是说，公式生成单元12172从处理区域设置单元12161提供的处理 区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构 成处理区域的输入图像的每个像素的像素值Pi代入从模型生成单元 12171提供的关于处理区域的每个水平线而获得的关系模型中，从而 产生用于获得由近似现实世界l光信号的近似函数表示的、不具有运 动模糊的像素值Qi的表达式(151)的公式(模型公式)。此外，公式生成单元12172产生约束条件表达式，其是用于约束 近似从处理区域设置单元12161提供的处理区域信息中识别的处理区 域的水平线中现实世界l光信号的近似模型的表达式。也就是说，对 于模型表达式，作为待获得变量的不具有运动模糊的像素值Qi的数 目大于公式数目，如表达式(151)中指示的，所以需要引入对于公 式总数数目等于或大于不具有运动模糊的像素值Qi的数目的公式， 以便获得不具有运动模糊的像素值Qi。这里，公式生成单元12172 产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有 运动模糊的像素值Qi之间的差小(存在空间相关性)。如果不满意 区域已经由用户指示，公式生成单元12172产生关于不满意区域加权 的约束条件表达式。但是，具有不同图像质量的输出图像依赖于不满意区域如何加权 而获得，所以>公式生成单元12172产生N个版本的加权约束条件表 达式。因此，N个版本的输出图像产生并显示在信号处理设备4处。 用户观看N个版本的输出图像，并且从这些中选择具有期望图像质 量的图像或者接近期望图像质量的图像。因此，即使在不具有运动模糊的图像不是平坦的并且具有某种图 案，例如使得图像具有髙级别活动性的情况下，具有用户期望图像质 量的不具有运动模糊的图像可以获得。也就是说，公式生成单元 12172对于用户已经指示为不满意的区域，产生以N种方法加权的、相邻像素中不具有运动模糊的像素值之间的差小的约束条件表达式。 用户可以从作为其结果而获得的N个版本的输出图像中选择具有期望图像质量的图像，所以最佳约束条件关于不满意区域而设置的具有 期望图像质量的图像可以获得。
公式生成单元12172产生模型公式，也产生基于不满意区域指示 信息以N种方法加权的约束条件表达式，并且将产生的模型公式和 N个版本的约束条件表达式组合在一起以产生正则方程。公式生成单 元12172将N个版本的正则方程提供给现实世界波形估计单元 12173，并且流程从步骤S12172前进到步骤S12173。
注意以下，如上所述乂〉式生成单元12172执行的步骤S12172中 的处理将称作"公式生成处理"。"公式生成处理，，的细节将参考图165 中的流程图随后描述。
在步骤S12173中，现实世界波形估计单元12173求解从>^式生 成单元12172提供的N个版本的正则方程，从而估计N个版本的现 实世界1光信号的波形，也就是获得由N个版本近似函数表示的不 具有运动模糊的像素值，并且将N个版本的像素值提供给图像生成 单元12164.
接下来，图164说明图161中所示公式生成单元12172的详细构 造实例。
在图164中，公式生成单元12172包括模型公式生成单元 12191，权重设置单元12192，约束条件表达式生成单元12193，以及 正则方程生成单元12194。
模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像 素值)与不具有运动模糊的像素值之间关系的关系模型从模型生成单 元12171输入到其构造如图164中所示的公式生成单元12172，并且 提供给模型公式生成单元12191。而且，输入图像从传感器2 (困 1)输入到公式生成单元12172,其提供给模型公式生成单元12191。
此外，处理区域信息从处理区域设置单元12161输入到公式生成 单元12172，并且处理区域信息提供给模型公式生成单元12191和约 束条件表达式生成单元12192。而且，不满意区域指示信息和选择信 息从用户I/F 12166输入到'^式生成单元12172，并且分别地，不满意区域指示信息提供给约束条件表达式生成单元12193，而选择信息 提供给权重设置单元12192。
模型公式生成单元12191从处理区域信息中识别输入图像的处理 区域，并且代入输入图像中处理区域的像素值作为从模型生成单元 12171提供的关系模型的运动模糊图像中每个像素的像素值Pi,从而 对于处理区域中的每个水平线产生表达式(151)中的模型公式。模 型公式生成单元12191将模型公式提供给正则方程生成单元12194。 注意，从模型生成单元12171获得的关系模型具有代入表达式 (151)的运动量v中的特定值，例如，并且从模型公式生成单元 12191获得的模型公式具有代入表达式(151)的像素值P4~P7中的特 定值。
权重设置单元12192基于从用户I/F 12166输入的选择信息设置 应用于约束条件表达式的N个权重，并且将N个权重提供给约束条 件表达式生成单元12193。约束条件表达式生成单元12193基于处理 区域信息，从用户I/F 12166输入的不满意区域指示信息，以及在权 重设置单元12192处设置的N个权重，对于不满意区域中每个水平 线的像素产生以N种方法加权的N个版本的预先确定约束条件，并 且将N个版本的约束条件表达式提供给正则方程生成单元12194。
正则方程生成单元12194将从模型公式生成单元12191提供的模 型公式与从约束条件表达式生成单元12193提供的N个版本的约束 条件表达式组合在一起以产生N个版本的正则方程，其提供给现实 世界波形估计单元12173。
接下来，将参考图165中的流程图详细描述公式生成单元12172 (图164)的公式生成处理(图163的步骤S12172中的处理)。
在步骤S12191中，模型公式生成单元12191从模型生成单元 12171获得处理区域中每个水平线的关系模型，并且流程前进到步骤 S12192。在步骤S12192中，模型公式生成单元12191从传感器2获 取输入图像，并且也从处理区域设置单元12161获得处理区域信息. 模型公式生成单元12191然后从输入图像的处理区域信息中识别处理区域内每个像素的像素值Pi，并且将像素值Pi代入从模型生成单元
获得的表达式(151)的关系模型中，从而产生处理区域的每 个水平线的模型公式。此外，模型公式生成单元12191将模型公式提 供给正则方程生成单元12194。如果模型公式生成单元12191已经从 模型生成单元12171获得由上面表达式(151)表示的关系模型，例 如，模型公式通过将输入图像的像素值代入表达式(151)的像素值
P广P7中而产生。
在步骤S12192的处理之后，流程前进到步骤S12193，在那里权 重设置单元12192设置N个权重并且将每个权重提供给约束条件表 达式生成单元12193,并且流程前进到步骤S12194。这里，如果选择 信息从用户I/F 12166输入，权重设置单元12192基于用于获得选择 信息表示的输出图像的权重来设置N个新的权重。也就是说，当设 置第一权重时，权重设置单元12192 i殳置例如以0.5为中心的0 1范 围内相等间隔的N个权重。然后，如果选择信息从用户I/F 12166输 入，权重设置单元12192以用于获得选择信息表示的输出图像的权重 为中心，以比前一次设置更细的间隔设置N个新的权重(但是在0 1 的范围内)。
当用户从前一次处理输出的N个版本的输出图像中选择期望的 一个时，N个新的权重基于选择结果而设置，所以通过用户重复地从 N个输出图像中选择期望的一个，借此获得具有用户期望图像质量的 输出图像的权重最终被设置，因此，具有用户期望图像质量的输出图 像被获得。
在步骤S12194中，约束条件表达式生成单元12193确定不满意 区域指示信息是否已经从用户I/F 12166输入，并且如果确定不满奉 区域指示信息没有输入，步猓S12195跳过，并且流程前进到步骤 S12196。在该情况下，在步骤S12196中，约束条件表达式生成单元 12193基于由例如执行预先确定处理的处理区域设置单元12161自动 设置的处理区域信息，产生从权重设置单元12192提供的N个权重 应用于其上的约束条件表达式，并且将N个约束条件表达式提供给正则方程生成单元12194。也就是说，如果没有不满意区域指示信息 被输入，约束条件表达式生成单元12193对于处理区域水平线中的所 有像素产生N个版本的约束条件表达式。
例如，如果处理区域的水平线中的像素数目是八，例如图152A 至图152C中所示，并且这些像素的不具有运动模糊的像素值用 Qo Q7表示，约束表达式如下面的表达式(154)中表示，例如。
w(Q,-Q0) = o
W(Q2-Q') = 0
W(Q3 -Q2) = 0
W(Q「Q3) = 0
W(Q5-Q4) = 0
W(Q6-Qs) = 0
W(Q7_Q6) = 0 (154)
注意在表达式(154)中，W表示权重，并且约束条件表达式生 成单元12193产生表达式(154)中所示具有不同权重W的N个版 本的约束条件表达式。W的值越大，相邻像素的像素值之间的差小 的约束条件表达式的权重越大。也就是说，表达式(154)中约束条 件表达式(Qi+1-Qi) =0的权重W越大，像素值Qi和Qi+1强烈地约 束，好像它们本是这样，以便是相同的值。如果权重W小，这种约 束弱，好像它们本是这样，所以像素值Qi和Qi+1更容易取不同的 值。
另一方面，如果在步骤S12194中确定不满意区域指示信息已经 从用户I/F 12166输入，约束条件表达式生成单元12193从步骤 S12194前进到步骤S12195,从用户I/F 12166获得平坦区域指示信 息，并且流程前进到步骤S12196。
在该情况下，在步骤S12196中，约束条件表达式生成单元 12193基于处理区域信息和不满意区域指示信息产生从权重设置单元 12193提供的N个权重应用于其上的约束条件表达式，并且将N个 版本的约束条件表达式提供给正则方程生成单元12194。也就是说，如果不满意区域指示信息被输入，约束条件表达式生成单元12193产 生N个版本的约束条件表达式，其中N个权重应用于其上的约束条 件表达式对应于处理区域中由不满意区域指示信息表示的不满意区域 中每个水平线的像素。
例如，如图152A至152C中所示，如果处理区域中的水平线由 八个像素#0 #7构成，并且各个像素#0 #7的不具有运动模糊的像素 值用Qo Q7表示，具有像素值Q。 Q4的五个像素洲 糾由用户指定为 不满意区域，约束条件表达式如下面表达式(155)中。
W(Q广Qo) = 0
W(Q2-QO = 0
，3-Q2) = 0
，4-Q3) = 0 ，5-Q4) = 0 …(155)
注意在表达式(155)中，W表示权重，并且约束条件表达式生 成单元12193产生表达式(155)中所示具有不同权重W的N个版 本的约束条件表达式。W的值越大，相邻像素的像素值之间的差小 的约束条件的权重越大，与表达式(154)中的情况一样。
在步骤S12196的处理之后，流程前进到步骤S12197,在那里正 则方程生成单元12194将从模型公式生成单元12191提供的表达式 (151)的模型公式与从约束条件表达式生成单元12193提供的表达 式(154)或表达式(155)中所示的N个约束条件表达式组合在一 起，从而产生N个正则方程，并且N个正则方程提供给现实世界波 形估计单元12173。
随后，现实世界波形估计单元12173使用例如最小二乘方误差的 最小范数求解从正则方程生成单元12194提供的正则方程，从而获得 处理区域中每个水平线的像素的不具有运动模糊的N个像素值Qi。、
注意，上述现实世界估计处理对于处理区域内水平方向上排列的 像素的每个(水平线)而执行。也就是说，现实世界波形估计单元 12173对于每个水平线，对于处理区域中的每个像素获得不具有运动模糊的N个版本的像素值Qi。现实世界波形估计单元12173然后， 已经对于处理区域的所有水平线中的每个像素获得不具有运动模糊的 N个版本的像素值Qi，将处理区域的每个像素的不具有运动模糊的 N个版本的像素值Qi提供给图像生成单元12164。图像生成单元 12164产生输入图像处理区域中每个像素的像素值Pj已经用不具有运 动模糊的N个版本的像素值Qi取代的图像作为N个输出图像，并且 将这些提供给图像显示单元12165以显示。
而且，对于上述处理，当不满意区域由用户指示时，约束条件表 达式生成单元12193不产生关于除不满意区域之外的约束条件表达 式，但是关于除不满意区域之外的约束条件表达式也可以使用预先确 定的权重产生。在该情况下，例如，如图152A至图152C中所示， 如果处理区域中的水平线由八个像素#0 #7构成，不具有运动模糊的 像素#0 #7的像素值由Q『Q7表示，在由用户指示的不满意区域由具 有像素值Qo Q4的五个像素洲 糾构成的情况下，约束条件表达式生 成单元12193以预先确定的权重(例如，不同于不满意区域的像素的 权重的权重)W对于具有像素值Q5~Q7的三个像素#5 #7产生约束 条件表达式。
图166是描述图161中所示信号处理设备4的处理概述的图。 如图166中所示，用户观看输入图像12211，并且指示不满意的 区域作为不满意区域。信号处理设备4然后改变(设置)由用户指示 的不满意区域中约束条件表达式的权重，并且使用以N种方法加权 的约束条件表达式产生并显示N个输出图像12222-1~12222-N。用户 观看N个输出图像12222-1~12222-N，并且从N个输出图像中选择 具有期望图像质量的图像或者接近期望图像质量的图像。在图166中 的实例中，用户已经从N个输出图像12222-1 12222-N中选择 12222-N,
信号处理设备4基于用来获得由用户选择的输出图像12222-N的 约束条件表达式的权重，将N个新的权重应用于不满意区域中的约 束条件表达式(改变权重)，并且基于N个新的权重的N个新的输出图像的显示被重复。
因此，用户可以简单地通过选择输出图像并指示不满意区域来容 易地设置最佳约束条件，从而获得更接近现实世界l光信号的图像。 也就是说，用户可以容易地获得具有期望图像质量的图像或者更接近 期望图像质量的图像。
图167说明图111中所示信号处理设备4的应用实例的另一种实 施方案的另 一种构造实例。
注意，图167说明从运动模糊图像数据中估计现实世界1光信号 的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据 是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数 据3的实例，也就是说，该信号处理设备4从主体因例如主体(对 象)在摄影时运动而以模糊方式获取的图像(运动模糊图像)中估计 不模糊的图像(不具有运动模糊的图像)。因此，对于图167中所示 的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输 入图像输入到信号处理设备4,注意这里，通过成像以恒定速度(运 动量)在水平方向(从左到右的方向)上运动的对象而荻得的图像用 作输入图像。
在图167中，处理区域设置单元12241，连续性设置单元 12242，现实世界估计单元12243,图像生成单元12244，图像显示单 元12245，以及用户I/F 12246，每个对应于图111中所示的处理区域 设置单元10001，连续性设置单元10002，现实世界估计单元 10003,图像生成单元10004，图像显示单元10005,以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003,图像生成单元10004，图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图167 中，现实世界估计单元12243包括模型生成单元12251，公式生成单 元12252，以及现实世界波形估计单元12253。模型生成单元 12251，公式生成单元12252，以及现实世界波形估计单元12253对 应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011,公式生成单元10012,以及现实世界波形估计单元10013的 每个相同的功能。
但是注意，在图167中，用户I/F 12246通过用户操作用户I/F 12246输出的帮助信息提供给处理区域设置单元12241和现实世界估 计单元12243。
也就是说，在图167中，用户可以通过操作用户I/F 12246相对 于显示在图像显示单元12245上的图像指示不满意的区域以取作不满 意区域，并且当用户执行操作以指示不满意区域时，用户I/F 12246 将表示作为由该操作指定的区域的不满意区域的不满意区域指示信息 提供给处理区域设置单元12241和现实世界估计单元12243。此外， 在图167中，如随后描述的，多个输出图像显示在图像显示单元 12245上，并且用户可以通过操作用户I/F 12246选择显示在图4象显 示单元12245上的输出图像，并且当用户执行选择输出图像的操作 时，用户I/F 12246将表示由该操作选择的输出图像的选择信息作为 帮助信息提供给处理区域选择单元12241和现实世界估计单元 12243。
现在，通过操作用户I/F 12246指示不满意区域的方法的实例包 括，例如，使用围绕不满意区域的矩形指示的方法，通过剪裁(剪 裁)不满意区域指示的方法，通过指向不满意区域内的一个或多个任 意点来指示的方法等等；这里，让我们假定用户通过例如通过操作用 户I/F 12246指向不满意区域中的一个任意点来指示不满意区域。在 该情况下，用户I/F 12246将例如该点的图像上的坐标，作为表示用 户指向的点的信息，提供给处理区域设置单元12241和现实世界估计 单元12243,作为不满意区域指示信息。
接下来，将参考图168中所示的流程图描述图167中所示的信号 处理i殳备4的处理。
首先，在步骤S12211中，信号处理设备4执行预处理，并且流 程前进到步骤S12212。也就是说，信号处理设备4将从传感器2 (图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元12241，连续性设置单元12242，现实世界估计单元12243， 图像生成单元12244，以及图像显示单元12245。此外，信号处理设 备4使得图像显示单元12245显示输入图像。
在步骤S12212中，用户I/F 12246确定是否存在由用户操作用户 I/F 12246的某种用户输入。在步骤S12212中，如果确定不存在用户 输入，也就是如果用户没有执行操作，流程跳过步骤 S12213 S12215，并且前进到步骤S12216。
而且，在步骤S12212中，如果确定存在用户输入，也就是如果 用户已经观看显示在图像显示单元12245上的输入图像并且操作用户 I/F 12246，从而执行指示某种指令或信息的用户输入，并且如果已经 存在某种用户输入，流程前进到步骤S12213，在那里用户I/F 12246 确定用户输入是否是指示信号处理设备4处理结束的用户指令。
如果在步骤S12213中确定用户输入是结束指令，也就是说，例 如，如果已经观看显示在图像显示单元12245上的输入图像的用户操 作用户I/F 12246以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质 量，信号处理i史备4结束处理。
而且，如果在步骤S12213中确定用户输入不是结束指令，流程 前进到步骤S12214，在那里用户I/F 12246确定用户输入是否是不满 意区域指示信息。如果在步骤S12214中确定用户输入不是不满意区 域指示信息，步骤S12215跳过，并且流程前进到步骤S12216。
另一方面，如果在步骤S12214中确定存在不满意区域指示信息 的输入，也就是说，如杲已经观看显示在图像显示单元12245上的输 入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户 I/F 12246以便指向不满意部分，流程前进到步骤S12215,在那里用 户I/F 12246将表示用户通过操作用户I/F 12246指向的点的不满意 区域指示信息作为帮助信息提供给处理区域设置单元12241和现实世 界估计单元12243，并且流程前进到步骤S12216。在步骤S12216中，处理区域设置单元12241基于用作从用户I/F 12246提供的帮助信息的不满意区域指示信息，设置例如包括不满意 区域的预先确定矩形区域作为处理区域，并且将其处理区域信息提供 给连续性设置单元12242，现实世界估计单元12243，以及图像生成 单元12244,并且流程前进到步骤S12217。注意该处理区域可能由用 户操作用户I/F 12246输入。
但是，如果不满意区域指示信息没有从用户I/F 12246提供给处 理区域设置单元12241 (如果步骤S12216的处理在步骤S12212或步 骤S12214之后立即执行)，处理区域设置单元12241通过执行预先 确定的处理(例如，检测运动模糊出现的输入图像中的区域的处理) 自动地设置处理区域。
在步骤S12217中，连续性设置单元12242从处理区域设置单元 12241提供的处理区域信息中识别输入图像中的处理区域。此外，连 续性设置单元12242将在处理区域中显示的对象的运动量设置为表示 处理区域图像数据的每个中丢失的现实世界1光信号的连续性的信 息，并且将表示连续性的连续性信息提供给现实世界估计单元 12243，并且流程前进到步骤S12218。注意该运动量可以由用户操作 用户I/F 12246输入，而且，这里，连续性设置单元12242将表示对 象运动量值的运动量设置为输入图像中的连续性信息，因为假设对象 在水平方向上运动，但是配置可以这样进行，其中表示对象运动的量 值和方向的运动矢量设置为连续性信息。
在步骤S12218中，现实世界估计单元12243根据从处理区域设 置单元12241提供的处理区域信息以及从用户I/F 12246提供的不满 意区域指示信息，基于相应现实世界l光信号的运动量，关于输入图 像的处理区域中的图像数据(运动模糊图像的数据)，估计N个即 多个版本的现实世界l光信号(不具有运动模糊的图像)。
也就是说，在现实世界估计单元12243处，模型生成单元12251 从处理区域设置单元12241提供的处理区域信息中识别输入图像中的 处理区域，并且基于从连续性设置单元12242提供的连续性信息，识别与处理区域图像数据相对应的现实世界1光信号的运动量，也就 是，在该情况下，识别显示在处理区域中的对象的运动量。此外，模
型生成单元12251对于处理区域中水平线的每个，根据构成输入图像
实世界l光信号的运^量，来产生i拟处理区域内每个水平线中像素 的像素值与现实世界l光信号之间关系的关系模型，其提供给公式生 成单元12252。
公式生成单元12252从处理区域设置单元12241提供的处理区域 信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像 素值代入根据处理区域从模型生成单元12251提供的处理区域的每个 水平线的关系模型中，从而产生用于获得近似现实世界l光信号的近 似函数的公式，其然后提供给现实世界波形估计单元12253。此外， -公式生成单元12252基于处理区域信息或输入图像的特征产生N个 版本的约束条件表达式，其中约束近似函数的约束条件表达式以N 种方法加权。公式生成单元12252将获得用作近似现实世界1光信号 的近似模型的近似函数的公式与N个版本约束条件表达式的每个组 合在一起，产生N个版本的正则方程，其提供给现实世界波形估计 单元12253。
现实世界波形估计单元12253计算从公式生成单元12252提供的 N个版本正则方程的每个，从而估计N个版本的现实世界1光信号 的波形。也就是说，现实世界波形估计单元12253求解从公式生成单 元12252提供的N个版本正则方程的每个，从而获得用作模拟现实 世界1光信号的近似模型的N个版本的近似函数，并且将近似函数 作为N个版本现实世界1光信号的估计结果提供给图像生成单元 12244。
现在，这种现实世界估计单元12243执行的步猓S12218的处理 将称作"现实世界估计处理"。"现实世界估计处理，，的细节将参考困 169中的流程图随后描述。
在步骤S12218的处理之后，流程前进到步骤S12219，在那里图像生成单元l2244基于从现实世界估计单元12243 (的现实世界波形 估计单元12253 )提供的、更接近现实世界1光信号的波形的N个版 本的近似函数，产生更接近现实世界1光信号的N个版本的信号。 也就是说，图像生成单元12244从处理区域设置单元12241提供的处 理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计 单元12243提供的关于相应处理区域的N个版本的近似函数，产生 更接近现实世界1光信号的N个版本的近似图像(不具有运动模糊 的图像)。
此外，图像生成单元12244产生输入图像中的处理区域部分已经 用N个版本的近似图像(不具有运动模糊的图像)取代的图像作为 N个版本的输出图像，其然后提供给图像显示单元12245，并且流程 从步骤S12219前进到步骤S12220。
在步骤S12220中，图像显示单元12245显示从图像生成单元 12244提供的N个版本的输出图像，代替步骤S12211中显示的输入 图像，或者与输入图像一起，并且流程前进到步骤S12221。
在步骤S12221中，用户I/F 12246确定是否存在由用户操作用户 I/F 12246的选择信息的输入。也就是说，在步骤S12220中，N个版 本的输出图像显示在图像显示单元12245上，并且在步骤S12221中 确定已经观看N个版本输出图像的用户是否已经通过操作用户I/F 12246输入用于从N个版本的输出图像中，选择作为具有期望图像质 量的图像或者接近期望图像质量的图像的图像的选择信息。
如果在步驟S12221中确定不存在选择信息的输入，流程前进到 步躁S12224，并且用户I/F 12246确定是否存在结束指令的输入，与 步骤S12213的情况一样。
如果在步骤S12224中确定存在结束指令的输入，信号处理设备 4结束处理。
而且，如果在步骤S12224中确定不存在结束指令的输入，流程 返回到步骤S12221，此后重复相同的处理。
另一方面，如果在步骤S12221中确定存在选择信息的输入，也就是，如果已经观看显示在图像显示单元12245上的N个版本输出 图像的用户已经从N个版本的输出图像中选择作为具有期望图像质 量的图像或者接近期望图像质量的图像的图像，流程前进到步骤 S12222,在那里用户I/F 12246确定用户是否已经通过操作用户I/F 12246输入最终确定指令，该指令用于最终确定用户已经选作最终输 出图像的输出图像。
如果在步骤S12222中确定存在最终确定指令的输入，流程前进 到步骤S12223,在那里图像显示单元12245在其整个屏幕上显示用 户已经选择的输出图像，并且处理结束。
而且，如果在步骤S12222中确定不存在最终确定指令的输入， 也就是说，如果用户对所选输出图像的图像质量不满意，并且没有执 行最终确定指令的输入以便再次执行处理，流程返回到步骤 S12215，在那里用户I/F 12246将表示用户已经选择的输出图像的选 择信息作为帮助信息提供给处理区域设置单元12241和现实世界估计 单元12243，并且流程顺序前进到步骤S12216, S12217 ，和 S12218。在步骤S12216的处理区域设置处理和步驟S12217的连续 性设置处理中，前一次设置的处理区域和连续性被设置。处理区域信 息然后提供给连续性设置单元12242，现实世界估计单元12243，以 及图像生成单元12244，并且连续性信息提供给现实世界估计单元 12243。注意从第二次起执行的步骤S12216和S12217的处理可以跳 过。
在步骤S12218中，现实世界估计单元12243可以基于用作从用 户I/F 12246提供的帮助信息的选择信息，使用N种新方法估计现实 世界l光信号(不具有运动模糊的图像)。
也就是说，在该情况下，在步骤S12218中，现实世界估计单元 12243的公式生成单元12252基于用于获得由用作从用户I/F 12246 提供的帮助信息的选择信息表示的输出图像的约束条件公式，设置N 个新版本的约束条件公式。公式生成单元12252将用于获得用作近似 现实世界1光信号的近似模型的近似函数的公式与N个新的约束条件公式的每个组合在一起，从而产生N个新版本的正则方程，并且 将N个新的正则方程提供给现实世界波形估计单元12253。此外，现 实世界波形估计单元12253计算从公式生成单元12252提供的N个 新的正则方程的每个，从而估计N个新版本的现实世界1光信号波 形。然后流程从步骤S12218前进到步骤S12219,此后重复相同的处 理。
也就是说，因此，步骤S12215 S12214的该处理重复，最终用户 获得具有期望图像质量的输出图像，其中用户对输出图像的不满意已 经解决。
如上所述，对于信号处理设备4，作为输入图像处理结果的N个 版本的输出图像展示给用户，供用户从N个版本的输出图像中选择 期望的一个，并且基于选择结果，处理再次执行，所以满足用户喜好 的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用 户展示作为输入图像处理结果的N个版本的输出图像。另一方面， 用户识别N个版本输出图像的图像质量，并且将关于哪个输出图像 是具有良好图像质量的图像的判断的反馈提供给信号处理设备4。信 号处理设备4基于来自用户的反馈再次处理输入图像，此后重复相同 的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。
现在，可以说接收来自用户的反馈并且在输入图像上执行处理的 信号处理设备4意味着信号处理设备4与用户合作执行处理。
接下来，将参考图169中的流程图详细描述现实世界估计单元 12243 (图167)的现实世界估计处理(图168的步骤S12218的处 理)a
在步骤S12231中，模型生成单元12251产生关系模型.也就是 说，模型生成单元12251从处理区域设置单元12241提供的处理区域 信息中识别输入图像中的处理区域，并且也从连续性设置单元12242 提供的连续性信息中识别与处理区域图像数据相对应的运动量，此 外，模型生成单元12251，对于输入图像中的处理区域，根据构成处 理区域的水平线的像素，以及与处理区域中图像数据相对应的运动量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2 检测的像素的像素值与由近似现实世界1光信号的近似模型表示的、 不具有运动模糊的图像之间关系的关系模型，并且将其提供给公式生 成单元12252。模型生成单元12251然后从步骤S12231前进到步骤 S12232。
特别地，模型生成单元12251根据处理区域水平线中的像素数目 以及运动量，产生参考图148A至图148C描述的、表示处理区域的 每个水平线中像素的像素值Pi与不具有运动模糊的像素值Qi之间关 系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素 数目是8，且运动量v是5，上述表达式(151)产生作为关系模型，
在步骤S12232中，公式生成单元12252执行公式生成处理。也 就是说，公式生成单元12252从处理区域设置单元12241提供的处理 区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构 成处理区域的输入图像的每个像素的像素值代入从模型生成单元 12251提供的关于处理区域的每个水平线而获得的关系模型中，从而 产生用于获得由近似现实世界1光信号的近似函数表示的、不具有运 动模糊的像素值Qi的表达式(151)的公式(模型公式)。
此外，公式生成单元12252产生约束条件表达式，其是用于约束 近似从处理区域设置单元12241提供的处理区域信息中识别的处理区 域的水平线中现实世界l光信号的近似模型的表达式。也就是说，对 于表达式(151)中的模型表达式，作为待获得变量的不具有运动模 糊的像素值Qi的数目大于公式数目，所以需要引入对于公式总数数 目等于或大于不具有运动模糊的像素值Qi的数目的公式，以便获得 不具有运动模糊的像素值Qi。这里，公式生成单元12252产生约束 条件表达式以假定相邻像素之间，由近似函数表示的不具有运动模糊 的像素值Qi之间的差小(存在空间相关性)。这里，公式生成单元 12252产生关于由用户指示的不满意区域的像素，以及与处理区域内 不满意区域的那些具有类似特征(包括完全相同)的处理区域中的像 素的加权约束条件表达式。但是，具有不同图像质量的输出图像依赖于不满意区域如何加权
而获得，所以公式生成单元12252产生N个版本的加权约束条件表 达式。因此，N个版本的输出图像产生并显示在信号处理i殳备4处。 用户观看N个版本的输出图像，并且从这些中选择具有期望图像质 量的图像获得接近期望图像质量的图像。
因此，即使在不具有运动模糊的图像不是平坦的并且具有某种图 案，例如使得图像具有高级别活动性的情况下，具有用户期望图像质 量的不具有运动模糊的图像可以获得。也就是说，公式生成单元 12252对于用户已经指示为不满意的区域，产生以N种方法加权的、 相邻像素中不具有运动模糊的像素值之间的差小的约束条件表达式。 用户可以从作为其结果而获得的N个版本的输出图像中选择具有期 望图像质量的图像，所以最佳约束条件关于不满意区域而设置的具有 期望图像质量的图像可以获得。
而且，公式生成单元12252不仅产生关于不满意区域的像素的以 N种方法加权的约束条件表达式，而且产生关于处理区域中与不满意 区域的像素具有类似特征的像素的以N种方法加权的约束条件表达 式，与对于不满意区域的像素一样，所以如果对于与不满意区域中的
像素具有类似特征的所有像素提供相同的约束条件表达式，用户不需 要指示所有像素以取作不满意区域，并且可以简单地通过指示某个像
素以取作不满意区域，容易地设置关于与所指示像素具有类似特征的
像素的最佳约束条件，从而减小用户的负担。
公式生成单元12252产生模型公式，也产生基于不满意区域指示 信息关于不满意区域的像素以及处理区域中与不满意区域的像素具有 类似特征的像素、以N种方法加权的约束条件表达式，并且将产生 的模型公式与N个版本的约束条件表达式组合在一起以产生正则方 程。公式生成单元12252将N个版本的正则方程提供给现实世界波 形估计单元12253，并且流程从步骤S12232前进到步骤S12233。
注意以下，如上所述'^式生成单元12252执行的步骤S12232中 的处理将称作"公式生成处理，，，"公式生成处理"的细节将参考图171中的流程图随后描述。
在步骤S12233中，现实世界波形估计单元12253求解从公式生 成单元12252提供的关于处理区域中每个水平线的N个版本的正则 方程，从而估计N个版本的现实世界1光信号的波形，也就是获得 由N个版本近似函数表示的不具有运动模糊的像素值Qi,并且将N 个版本的像素值提供给图像生成单元12244。
接下来，图170说明图167中所示公式生成单元12252的详细构 造实例。
在图170中，公式生成单元12252包括模型公式生成单元 12271，特征提取单元12272,特征空间LUT (查找表)生成单元 12273，权重设置单元12274，约束条件表达式生成单元12275，以及 正则方程生成单元12276。
模拟处理区域内由传感器2检测的处理区域中每个水平线的像素 的像素值(运动模糊图像的像素值)与不具有运动模糊的像素值之间 关系的关系模型从模型生成单元12251输入到其构造如图170中所示 的公式生成单元12252，并且提供给模型公式生成单元12271。而 且，输入图像从传感器2 (图1)输入到公式生成单元12252，并且 输入图像提供给模型公式生成单元12271和特征提取单元12272。
此外，处理区域信息从处理区域设置单元12241输入到公式生成 单元12252，并且处理区域信息提供给模型公式生成单元12271和特 征提取单元12272。而且，不满意区域指示信息或选择信息作为帮助 信息从用户I/F 12246输入到公式生成单元12252，并且分别地，不 满意区域指示信息提供给特征空间LUT生成单元12273，而选择信 息提供给特征空间LUT生成单元12273和权重设置单元12274。
模型公式生成单元12271从处理区域信息中识别输入图像的处理 区域，并且代入输入图像中处理区域的像素值作为从模型生成单元 12251提供的处理区域中每个水平线的关系模型的运动模糊图像中每 个像素的像素值Pi，从而对于处理区域中的每个水平线产生模型公 式.模型公式生成单元12271然后将模型公式提供给正则方程生成单元12276。
特征提取单元12272从处理区域设置单元12241输入的处理区域 信息中和从输入图像中识别构成处理区域的像素(的像素值)，并且 关于构成处理区域的每个像素提取(检测)多个类型的特征。特征提 取单元12272将处理区域中每个像素的多个类型的特征提供给特征空 间LUT生成单元12273。
可以使用的像素的多个类型特征的实例包括关于与该像素相邻的 像素的像素值的差(一阶微分)，该差值的差(二阶微分)，作为像
素值的亮度和色差的比值，运动矢量，关于相邻帧中同一位置的像素 的像素值的差，表示其他活动性的任意值等。
特征空间LUT生成单元12273产生对于从特征提取单元12272 提供的处理区域中每个像素的多个类型特征的每个，将处理区域中每 个像素分类(类型分类)的特征空间LUT。
而且，特征空间LUT生成单元12273基于从用户I/F 12246输入 的不满意区域指示信息，选择(提取)不满意区域中的像素以及处理 区域的像素中与那些像素具有同一类特征的像素，将这些像素取作将 由约束条件表达式约束的约束像素，并且将关于约束像素的信息提供 给约束条件生成单元12275。
此外，如果选择信息已经从用户I/F 12246输入，也就是，如果 用户已经观看N个版本的输出图像并且通过操作I/F 12246选择期望 图像或者接近该期望的图像，特征空间LUT生成单元12273将关于 不满意区域的像素所属的类，关于用于获得选择信息表示的输出图像 的约束条件表达式的权重存储在产生的特征空间LUT中.当选择信 息从用户I/F 12246的输入重复时，特征空间LUT生成单元12273将 关于不满意区域的像素所属的类，关于用于获得这次选择的输出图像 的约束条件表达式的权重存储在产生的特征空间LUT中，代替前一 次存储的权重，并且最终存储对不满意区域的像素所属的类最佳的权 重。
因此，对具有由不满意区域的像素所属的类表示的特征的像素最佳的权重存储在特征空间LUT中，所以在最佳权重存储在特征空间 LUT中之后，用于约束与具有每个特征的像素相对应的条件表达式 的权重根据特征空间LUT存储到像素所属的类，从而即使用户不指 定不满意区域，具有用户期望图像质量的输出图像可以关于任意输入 图像而获得。
权重设置单元12274基于从用户I/F 12246输入的选择信息设置 应用于约束条件表达式的N个权重，并且将N个权重提供给约束条 件表达式生成单元12275。约束条件表达式生成单元12275基于在权 重设置单元12274处设置的N个权重，对于从特征空间LUT生成单 元12273提供的约束像素，产生N个版本的预先确定约束条件，并 且将N个版本的约束条件表达式提供给正则方程生成单元12276。
正则方程生成单元12276将从模型公式生成单元12271提供的模 型公式与从约束条件表达式生成单元12275提供的N个版本的约束 条件表达式组合在一起以产生N个版本的正则方程，其提供给现实 世界波形估计单元12253。
接下来，将参考图171中的流程图详细描述公式生成单元12252 (图170)的公式生成处理(图169的步骤S12232中的处理)。
在步骤S12251中，模型公式生成单元12271从模型生成单元 12251获得处理区域中每个水平线的关系模型，并且流程前进到步骤 S12252。在步骤S12252中，模型公式生成单元12271从传感器2获 取输入图像，并且也从处理区域设置单元12241获得处理区域信息。 模型公式生成单元12271然后从输入图像的处理区域信息中识别处理 区域内每个像素的像素值Pi，并且将像素值Pi代入从模型生成单元 12251获得的表达式(151)的关系模型中，从而产生处理区域的每 个水平线的模型公式。此外，模型公式生成单元12271将模型公式提 供给正则方程生成单元12276。如果模型公式生成单元12271已经从 模型生成单元12251获得由上面表达式(151)表示的关系模型，例 如，模型公式通过将输入图像的像素值代入表达式(151)的像素值
P广P7中而产生。在步骤S12252的处理之后，流程前进到步骤S12253,在那里特 征提取单元12272提取输入图像的特征并且将其提供给特征空间 LUT生成单元12273。也就是说，特征提取单元12272从处理区域设 置单元12241获得处理区域信息，并且获取输入图像。特征提取单元 12272基于处理区域信息识别输入图像处理区域中的图像数据，对于 处理区域中每个像素提取多个类型的特征，并且将多个类型的特征提 供给特征空间LUT生成单元12273。
在步骤S12253的处理之后，流程前进到步骤S12254,在那里特 征空间LUT生成单元12273基于从特征提取单元12272提供的多个 类型的特征来执行处理区域中每个像素的类型分类，并且产生特征空 间LUT。
注意如果特征空间LUT已经关于某个处理区域而产生，并且选 择信息已经从用户I/F 12246输入，也就是，用户已经观看N个版本 的输出图像并且选择期望图像或接近该期望的图像，代替执行步骤 S12253和S12254的处理，特征空间LUT生成单元12273关于由用 户指示的不满意区域的像素(如果不满意区域没有由用户指示，处理 区域中的像素)所属的类，存储用来获得选择信息表示的输出图像的 权重作为特征空间LUT中的LUT值。
当选择信息从用户I/F 12246的输入重复时，特征空间LUT生成 单元12273关于不满意区域中像素的特征类，存储关于用于获得这次 选择的输出图像的约束条件表达式的权重，代替前一次存储的权重， 并且最终存储对不满意区域的像素所属的类最佳的权重。
在该情况下，公式生成单元12252可以将特征空间LUT中存储
的约束条件表达式的权重同样应用于其他输入图像。也就是说，如果 另一个输入图像重新输入，^^式生成单元12252从输入图像的处理区 域中提取每个像素的多个类型的特征，并且基于多个类型的特征执行 处理区域中每个像素的类型分类。公式生成单元12252将已经作为特 征空间LUT中的类的LUT值而存储的权重，其中该类与由类型分 类获得的处理区域的每个像素的类相同，设置为与该像素相对应的约束条件表达式的权重。在该情况下，用户不需要对每个输入图像设置 最佳权重，从而减小用户的负担。而且，配置可以这样进行，其中每
当新的输入图像输入时，特征空间LUT重新产生或更新。
在步骤S12254的处理之后，流程前进到步骤S12255，在那里特 征空间LUT生成单元12273确定将由约束条件约束的约束像素，将 这些提供给约束条件表达式生成单元12275,并且流程前进到步骤
512256。 也就是说，特征空间LUT生成单元12273从用户I/F 12246 获得不满意区域指示信息，确定不满意区域的像素以及基于步骤 S12254中产生的特征空间LUT与那些像素属于相同特征类(分类类 型)的像素作为约束像素，并且将这些提供给约束条件表达式生成单 元12275。
现在，如果用户没有指示不满意区域并且不存在不满意区域指示 信息从用户I/F 12246的输入，特征空间LUT生成单元12273确定例 如处理区域中所有像素作为将由约束条件约束的约束像素。
在步骤S12256中，权重设置单元12274设置N个权重并且将每 个权重提供给约束条件表达式生成单元12275，并且流程前进到步骤
512257。 这里，如果选择信息从用户I/F 12246输入，权重设置单元 12274基于用于获得选择信息表示的输出图像的权重来设置N个新的 权重。也就是说，当设置第一权重时，权重设置单元12274设置例如 以0.5为中心的0~1范围内相等间隔的N个权重。然后，如果选择信 息从用户I/F 12246输入，权重设置单元12274以用于获得选择信息 表示的输出图像的权重为中心，以比前一次设置更细的间隔设置N 个新的权重(但是在0 1的范围内)。
因此，当用户从前一次处理输出的N个版本的输出图像中选择 期望的一个时，N个新的权重基于选择结果而设置，所以通过用户重 复地从N个输出图像中选择期望的一个，借此获得具有用户期望图 像质量的输出图像的权重最终被设置，因此，具有用户期望图像质量 的输出图像被获得.
在步骤S12257中，约束条件表达式生成单元12275对于在步骤S12255中确定的约束像素，基于在步骤S12256中设置的N个权重产 生约束条件表达式。也就是说，约束条件表达式生成单元12275对于 约束像素产生以N种方法加权的约束条件表达式。约束条件表达式 生成单元12275然后将产生的N个约束条件表达式提供给正则方程 生成单元12276。
例如，如果处理区域的水平线中约束像素的数目是八，例如图 152A至图152C中所示，并且这些约束像素的不具有运动模糊的像 素值用Qq Q7表示，约束表达式如上述表达式(154)中表示。约束 条件表达式生成单元12275产生如表达式(154)中所示具有不同权 重W的N个版本的约束条件表达式。
在步骤S12257的处理之后，流程前进到步骤S12258，在那里正 则方程生成单元12276将从模型公式生成单元12271提供的模型公式 与从约束条件表达式生成单元12275提供的N个约束条件表达式组 合在一起，从而产生N个正则方程，并且N个正则方程提供给现实 世界波形估计单元12253。
随后，现实世界波形估计单元12253使用例如最小二乘方误差的 最小范数求解从正则方程生成单元12276提供的N个正则方程，从 而获得处理区域的每个水平线中的像素的不具有运动模糊的N个像 素值Qi。
注意，上述现实世界估计处理对于处理区域内水平方向上排列的 像素的每个(水平线)而执行。也就是说，现实世界波形估计单元 12253对于每个水平线，对于处理区域中的每个像素获得不具有运动 模糊的N个像素值。在获得处理区域的所有水平线中不具有运动模 糊的N个像素值之后，现实世界波形估计单元12253将处理区域中 各个像素的不具有运动模糊的N个像素值提供给图像生成单元 12244。图像生成单元12244产生输入图像处理区域中每个像素的像 素值已经用不具有运动模糊的N个版本的像素值取代的N个版本的 输出图像，其提供给图像显示单元12245并显示。
而且，对于上述处理，约束条件表达式生成单元12275不产生关于除约束像素之外的约束条件表达式，但是关于除约束像素之外的约
束条件表达式也可以使用预先确定的权重产生。例如，如图152A至 152C中所示，如果处理区域中的水平线由八个像素#0~#7构成，不 具有运动模糊的像素#0~#7的像素值由Qo Q7表示，在约束像素由具 有像素值Q。 Q4的五个像素洲 糾构成的情况下，约束条件表达式可 以预先确定的权重(例如，不同于约束像素的像素的权重的权重)W 对于具有像素值(^ 07的三个像素#5 #7而产生。
图172A和图172B是描述图167中所示信号处理设备4的处理 概述的图。注意这里，三个特征A, B和C被提取，例如，作为处 理区域中像素的特征，并且特征空间LUT已经被编辑。
图172A和图172B中所示的实例取三个特征A C中仅两个特征 A和C，例如，并且特征空间LUT 12281取特征A作为水平轴而特 征C作为垂直轴。
如图172A和图172B中所示，用户观看输入图像12280并且指 示(指向)不满意的区域作为不满意区域。信号处理设备4基于由用 户指示的不满意区域设置处理区域，并且从处理区域内的输入图像数 据中提取每个像素的特征A C。信号处理设备4基于特征A C产生 特征空间LUT 12281 ，其中处理区域中每个像素已经经历类型分类。 也就是说，信号处理设备4根据以像素的特征A C作为分量的矢量 所属的部分空间，执行由像素的特征A C规定的特征空间中像素的 类型分类，并且产生将部分空间的类(特征类)与像素相关联的特征 空间LUT 12281。注意在图172A和图172B中，特征空间LUT 12281如上所述仅注意特征A和C。而且，特征空间LUT 12281中 的格子表示作为特征空间中部分空间的特征类。
信号处理设备4从特征空间LUT 12281中识别由用户指示的不 满意区域像素的特征类12282，并且将分类到该特征类12282的所有 像素设置为约束像素。此外，信号处理设备4设置N个版本的权 重，产生关于约束像素以N种方法加权的约束条件表达式，并且显 示使用N个版本约束条件表达式获得的N个输出图像。注意图172A和图172B说明输出图像12283和输出图像12284 已经显示的实例，其每个从约束像素已经应用有不同权重的约束条件 表达式而获得。输出图像12283上的圆形和输出图像12284上的三角 形表示约束像素。
信号处理设备4显示参考图172A和图172B描述的N个版本的 输出图像。用户然后从N个输出图像中选择期望图像或接近期望图 像的图像，并且信号处理设备4基于用于获得所选图像的权重重复N 个新权重的设置。
因此，用户可以容易地设置最佳权重和约束像素，以便获得更接 近现实世界l光信号的图像。也就是说，用户能够容易地获得具有期 望图像质量的图像或者接近期望图像质量的图像。而且，约束条件表 达式对于与不满意区域具有相同特征类的像素而产生，所以用户不需 要指示所有像素以取作不满意区域，从而能够减小用户的负担。
在图172A和图172B中，从像素中提取的三个特征A C的仅两 个特征A和C被观察，并且与不满意区域中的像素具有特征A和C 的相同类的像素取作约束像素，但是另一个配置可以进行，其中例如 与不满意区域中的像素具有特征A~C的全部或任何一个的相同类的 像素取作约束像素。此外，约束像素可以通过观察仅特征A和B， 或特征B和C来确定。观察哪个特征可以例如基于用户操作来确 定。而且，配置可以这样进行，其中对于信号处理设备4，仅关注特 征被提取。
图173说明图111中所示信号处理设备4的应用实例的实施方案 的另一种构造实例。
注意，图173说明从运动模糊发生的图像数据(运动模糊图像数 据)中估计现实世界1光信号的信号处理设备4的一种实施方案的构 造实例，该运动模糊图像数据是具有例如以预先确定的速度在预先确 定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设 备4从主体因例如主体(对象)在摄影时运动而以模糊方式获取的图 像(以下称作运动模糊图像，如果适当的话)中估计不模糊的图像(不具有运动模糊的图像)。因此，对于图173中所示的实施方案， 运动模糊因拍摄运动对象而发生的运动模糊图像作为输入图像输入到 信号处理设备4。注意这里，通过成像以恒定速度(运动量)在水平 方向(从左到右的方向)上运动的对象而获得的图像用作输入图像。
在图173中，处理区域设置单元12291，连续性设置单元 12292,现实世界估计单元12293，图像生成单元12294，图像显示单 元12295，以及用户I/F 12296，每个对应于图111中所示的处理区域 ，没置单元10001，连续性设置单元10002，现实世界估计单元 10003,图像生成单元10004,图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单 元10002，现实世界估计单元10003，图像生成单元10004,图像显 示单元10005，以及用户I/F 10006相同的处理。此外，在图173 中，现实世界估计单元12293包括模型生成单元12301, ^^式生成单 元12302，以及现实世界波形估计单元12303。模型生成单元 12301， 乂^式生成单元12302，以及现实世界波形估计单元12303对 应于图111中的模型生成单元10011， 7>式生成单元10012，以及现 实世界波形估计单元10013的每个，并且基本上执行与模型生成单元 10011，公式生成单元10012，以及现实世界波形估计单元10013的 每个相同的功能。
但是注意，在图173中，用户I/F 12296通过用户操作用户I/F 12296输出的帮助信息提供给处理区域设置单元12291和现实世界估 计单元12293。
也就是"i兌，在图173中，用户可以通过搮作用户I/F 12296相对 于显示在图像显示单元12295上的图像指示不满意的区域以取作不满 意区域，并且当用户执行操作以指示不满意区域时，用户I/F 12296 将表示作为由该操作指定的区域的不满意区域的不满意区域指示倌息 提供给处理区域设置单元12291和现实世界估计单元12293,此外， 在图173中，如随后描述的，多个输出图像显示在图像显示单元 12295上，并且用户可以通过操作用户I/F 12296选择显示在图像显示单元l2295上的输出图像，并且当用户执行选择输出图像的操作 时，用户I/F 12296将表示由该操作选择的输出图像的选择信息作为 帮助信息提供给处理区域选择单元12291和现实世界估计单元 12293。
现在，通过操作用户I/F 12296指示不满意区域的方法的实例包 括，例如，使用围绕不满意区域的矩形指示的方法，通过剪裁(剪 裁)不满意区域指示的方法，通过指向不满意区域内的一个或多个任 意点来指示的方法等等；这里，用户通过例如通过操作用户I/F 12296指向不满意区域中的一个任意点来指示不满意区域。在该情况 下，用户I/F 12296将例如该点的图像上的坐标，作为表示用户指向 的点的信息，提供给处理区域设置单元12291和现实世界估计单元 12293，作为不满意区域指示信息。
接下来，将参考图174中所示的流程图描述图173中所示的信号 处理设备4。
首先，在步骤S12271中，信号处理设备4执行预处理，并且流 程前进到步骤S12272。也就是说，信号处理设备4将从传感器2 (图 1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设 置单元12291，连续性设置单元12292，现实世界估计单元12293， 图像生成单元12294，以及图像显示单元12295。此外，信号处理设 备4使得图像显示单元12295显示输入图像。
在步骤S12272中，用户I/F 12296确定是否存在由用户操作用户 I/F 12296的某种用户输入。在步骤S12272中，如果确定不存在用户 输入，也就是如果用户没有执行操作，流程跳过步骤 S12273 S12275，并且前进到步骤S12276。
而且，在步骤S12272中，如果确定存在用户输入，也就是如果 用户已经观看显示在图像显示单元12295上的输入图像并且操作用户 I/F 12296，从而执行指示某种指令或信息的用户输入，流程前进到步 骤S12273，在那里用户I/F 12296确定用户输入是否是指示信号处理 设备4处理结束的结束指令。如果在步骤S12273中确定用户输入是结束指令，也就是说，例 如，如果已经观看显示在图像显示单元12295上的输入图像的用户操 作用户I/F 12296以便结束信号处理设备4的处理而不需要执行关于 输入图像的信号处理，因为用户没有发现不满意的输入图像的图^象质 量，信号处理设备4的处理结束。
而且，如果在步骤S12273中确定用户输入不是结束指令，流程 前进到步骤S12274，在那里用户I/F 12296确定用户输入是否是不满 意区域指示信息。如果在步骤S12274中确定用户输入不是不满意区 域指示信息，步骤S12275跳过，并且流程前进到步骤S12276。
另一方面，如果在步骤S12274中确定存在不满意区域指示信息 的输入，也就是说，如果已经观看显示在图像显示单元12295上的输 入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户 I/F 12296以便指向不满意部分，流程前进到步骤S12275，在那里用 户I/F 12296将表示用户通过操作用户1/F 12296指向的点的不满意 区域指示信息作为帮助信息提供给处理区域设置单元12291和现实世 界估计单元12293，并且流程前进到步骤S12276。
在步骤S12276中，处理区域设置单元12291基于作为帮助信息 从用户I/F 12296提供的不满意区域指示信息，设置例如包括不满意 区域的预先确定矩形区域作为处理区域，并且将其处理区域信息提供 给连续性设置单元12292，现实世界估计单元12293，以及图像生成 单元12294，并且流程前进到步骤S12277。注意该处理区域可能由用 户操作用户I/F 12296输入。
但是，如果不满意区域指示信息没有从用户I/F 12296提供给处 理区域设置单元12291 (如果步骤S12276的处理在步骤S12272或步 骤S12274之后立即执行)，处理区域设置单元12291通过执行预先 确定的处理(例如，检测运动模糊出现的输入图像中的区域的处理) 自动地设置处理区域，
在步骤S12277中，连续性设置单元12292从处理区域设置单元 12291提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元12292将在处理区域中显示的对象的运动量设置为表示 处理区域图像数据的每个中丟失的现实世界1光信号的连续性的信 息，并且将表示连续性的连续性信息提供给现实世界估计单元 12293，并且流程前进到步骤S12278,注意该运动量可以由用户操作 用户I/F 12296输入。而且，这里，表示对象运动量值的运动量由连 续性设置单元12292设置为连续性信息，因为假设对象在输入图像中 水平方向上运动，但是配置可以这样进行，其中表示对象运动的量值 和方向的运动矢量可以设置为连续性信息。
在步骤S12278中，现实世界估计单元12293根据从处理区域设 置单元12291提供的处理区域信息以及从用户I/F 12296提供的不满 意区域指示信息，基于相应现实世界l光信号的运动量，关于输入图 像的处理区域中的图像数据(运动模糊图像的数据)，以M种即多 种方法估计现实世界l光信号(不具有运动模糊的图像)。
也就是说，在现实世界估计单元12293处，模型生成单元12301 从处理区域设置单元12291提供的处理区域信息中识别输入图像中的 处理区域，并且基于从连续性设置单元12292提供的连续性信息，识 别与处理区域图像数据相对应的现实世界1光信号的运动量，也就 是，在该情况下，识别显示在处理区域中的对象的运动量。此外，模 型生成单元12301对于处理区域中水平线的每个，根据构成输入图像 处理区域中每个水平线的像素以及与处理区域的图像数据相对应的现 实世界l光信号的运动量，来产生用作模拟处理区域内每个水平线中
像素的像素值与现实世界l光信号之间关系的关系模型的函数，其提 供给公式生成单元12302。
公式生成单元12302从处理区域设置单元12291提供的处理区域 信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像 素值代入根据处理区域从模型生成单元12301提供的处理区域的每个 水平线的关系模型中，从而产生用于获得作为近似现实世界l光信号 的近似模型的近似函数的公式。此外，公式生成单元12302基于处理 区域信息以及输入图像中M个版本的特征，产生约束近似函数的M个版本的约束条件表达式。公式生成单元12302将获得用作近似现实 世界1光信号的近似模型的近似函数的公式与M个版本约束条件的 每个组合在一起，产生M个版本的正则方程，其提供给现实世界波 形估计单元12303。
现实世界波形估计单元12303计算从公式生成单元12302提供的 M个版本正则方程的每个，从而估计M个版本的现实世界1光信号 的波形。也就是说，现实世界波形估计单元12303求解从公式生成单 元12302提供的M个版本正则方程的每个，从而获得用作模拟现实 世界1光信号的近似模型的M个版本的近似函数，并且将近似函数 作为M个版本现实世界1光信号波形的估计结果提供给图像生成单 元12294。
现在，这种现实世界估计单元12293执行的步骤S12278的处理 以下将称作"现实世界估计处理"。"现实世界估计处理，，的细节将参考 图175中的流程图随后描述。
在步骤S12278的处理之后，流程前进到步骤S12279，在那里图 像生成单元12294基于从现实世界估计单元12293 (的现实世界波形 估计单元12303)提供的、更接近现实世界1光信号的波形的M个 版本的近似函数，产生更接近现实世界1光信号的M个版本的信 号。也就是说，图像生成单元12294从处理区域设置单元12291提供 的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界 估计单元12293提供的关于相应处理区域的M个版本的近似函数， 产生更接近现实世界1光信号的M个版本的近似图像(不具有运动 模糊的图像)。
此外，图像生成单元12294产生输入图像中的处理区域部分已经 用M个版本的近似图像(不具有运动模糊的图像)取代的图像作为 M个版本的输出图像，其然后提供给图像显示单元12295，并且流程 从步骤S12279前进到步骤S12280。
.在步骤S12280中，图像显示单元12295显示从图像生成单元 12294提供的M个版本的输出图像，代替步骤S12271中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S12281。
在步骤S12281中，用户I/F 12296确定是否存在由用户操作用户 I/F 12296的选择信息的输入。也就是说，在步骤S12280中，M个版 本的输出图像显示在图像显示单元12295上，并且在步骤S12281中 确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 12296输入用于从M个版本的输出图像中，选择作为具有期望图像 质量的图像或者接近期望图像质量的图像的图像的选择信息。
如果在步骤S12281中确定不存在选择信息的输入，流程前进到 步骤S12284，并且用户I/F 12296确定是否存在结束指令的输入，与 步骤S12273的情况一样。
如果在步骤S12284中确定存在结束指令的输入，信号处理设备 4结束处理。
而且，如果在步骤S12284中确定不存在结束指令的输入，流程 返回到步骤S12281，此后重复相同的处理。
另一方面，如果在步骤S12281中确定存在选择信息的输入，也 就是，如果已经观看显示在图像显示单元12295上的M个版本输出 图像的用户已经从M个版本的输出图像中选择作为具有期望图像质 量的图像或者接近期望图像质量的图像的图像，流程前进到步骤 S12282，在那里用户I/F 12296确定用户是否已经通过操作用户I/F 12296输入最终确定指令，该指令用于最终确定用户已经选作最终输 出图像的输出图像。
如果在步骤S12282中确定存在最终确定指令的输入，流程前进 到步骤S12283，在那里图像显示单元12295例如在其整个屏幕上显 示用户已经选择的输出图像，并且处理结束。
而且，如果在步骤S12282中确定不存在最终确定指令的输入， 也就是说，如果用户对所选输出图像的图像质量不满意，并且没有执 行最终确定指令的输入以便再次执行处理，流程返回到步骤 S12275，在那里用户I/F 12296将表示用户已经选择的输出图像的选 择信息作为帮助信息提供给处理区域设置单元12291和现实世界估计单元12293，并且流程顺序前进到步骤S12276, S12277 ，和 Sl2278。在步骤S12276的处理区域设置处理和步骤S12277的连续 性设置处理中，前一次设置的处理区域和连续性被设置。处理区域信 息然后提供给连续性设置单元12292，现实世界估计单元12293，以 及图像生成单元12294,并且连续性信息提供给现实世界估计单元 12293。注意从第二次起执行的步骤S12276和S12277的处理可以跳 过。
在步骤S12278中，现实世界估计单元12293可以基于用作从用 户I/F 12296提供的帮助信息的选择信息，使用M种新方法估计现实 世界l光信号(不具有运动模糊的图像)。
也就是说，在该情况下，在步骤S12278中，现实世界估计单元 12293的7>式生成单元12302基于用于获得由用作从用户I/F 12296 提供的帮助信息的选择信息表示的输出图像的约束条件表达式，设置 M个新版本的约束条件表达式。公式生成单元12302将用于获得用 作近似现实世界1光信号的近似模型的近似函数的公式与M个新的 约束条件表达式的每个组合在一起，从而产生M个新版本的正则方 程，并且将M个新的正则方程提供给现实世界波形估计单元 12303。此外，现实世界波形估计单元12303计算从公式生成单元 12302提供的M个新的正则方程的每个，从而估计M个新版本的现 实世界1光信号波形。然后流程从步骤S12278前进到步骤S12279, 此后重复相同的处理。
也就是说，因此，步骤S12275 S12284的该处理重复，最终用户 获得具有期望图像质量的输出图像，其中用户对输出图像的不满意已 经解决。
如上所述，对于信号处理设备4，作为输入图像处理结果的M 个版本的输出图像展示给用户，供用户从M个版本的输出图像中选 择期望的一个，并且基于选择结果，处理再次执行，所以满足用户喜 好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向 用户展示作为输入图像处理结果的M个版本的输出图像。另一方面，用户识别M个版本输出图像的图像质量，并且将关于哪个输出 图像是具有良好图像质量的图像的判断的反馈提供给信号处理设备 4。信号处理设备4基于来自用户的反馈再次处理输入图像，此后重 复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获 得。
现在，可以说接收来自用户的反馈并且在输入图像上执行处理的 信号处理设备4意味着信号处理设备4与用户合作执行处理。
接下来，将参考图175中的流程图详细描述现实世界估计单元 12293 (图173)的现实世界估计处理(图174的步骤S12278的处 理)。
在步骤S12291中，模型生成单元12301产生关系模型。也就是 说，模型生成单元12301从处理区域设置单元12291提供的处理区域 信息中识别输入图像中的处理区域，并且也从连续性设置单元12292 提供的连续性信息中识别与处理区域图像数据相对应的运动量。此 外，模型生成单元12301，对于输入图像中的处理区域，根据构成处 理区域的水平线的像素，以及与处理区域中图像数据相对应的运动 量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2 检测的像素的像素值与由近似现实世界1光信号的近似模型表示的、 不具有运动模糊的图像之间关系的关系模型，并且将其提供给公式生 成单元12302。模型生成单元12301然后从步骤S12291前进到步骤 S12292。
特别地，模型生成单元12301根据处理区域水平线中的像素数目 以及运动量，产生参考图148A至图148C描述的、表示处理区域的 每个水平线中像素的像素值Pi与不具有运动模糊的像素值Q,之间关 系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素 数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关 系模型。
在步骤S12292中，公式生成单元12302执行公式生成处理，也 就是说，公式生成单元12302从处理区域设置单元12291提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构 成处理区域的输入图像的每个像素的像素值代入从模型生成单元
12301提供的关于处理区域的每个水平线而获得的关系模型中，从而 对于处理区域的每个水平线产生用于获得由近似现实世界1光信号的 近似函数表示的、不具有运动模糊的像素值Qi的表达式(151)的公 式(模型公式)。
此外，公式生成单元12302产生约束条件表达式，其是用于约束 近似从处理区域设置单元12291提供的处理区域信息中识别的处理区 域的水平线中现实世界l光信号的近似模型的表达式。也就是说，对 于模型公式，作为待获得变量的不具有运动模糊的像素值的数目大于 7>式数目，如表达式(151)中所指示的，所以需要引入对于公式总 数数目等于或大于不具有运动模糊的像素值Qi的数目的公式，以便 获得不具有运动模糊的像素值Qi。这里，公式生成单元12302产生 约束条件表达式以假定相邻像素之间，由近似函数表示的不具有运动 模糊的像素值之间的差小(存在空间相关性)。这里，公式生成单元 12302将由用户指示的不满意区域的像素，以及处理区域中与不满意 区域的那些具有类似特征的像素取作约束像素，并产生关于约束像素 的加权约束条件表达式。
也就是说，公式生成单元12302对于处理区域中的每个像素提取 多个类型的特征，并且选择处理区域中与不满意区域的那些具有类似 特征的像素作为约束像素，其将经历约束条件表达式。特别地，公式 生成单元12302设置多个类型特征的一个或多个组合的M个版本， 并且关于M个版本特征(的一个或多个组合)的每个选择约束像 素。公式生成单元12302然后对于约束像素以预先确定的权重产生约 束条件表达式。因此，M个输出图像产生并显示。用户观看M个版 本的输出图像，并且从这些中选择具有期望图像质量的图像或者接近
期望图像质量的图像。
如上所述，公式生成单元12302不仅产生关于不满意区域的像素 的约束条件表达式，而且基于M个特征的一个或多个組合，对于处理区域中与不满意区域的像素具有类似特征的像素产生约束条件表达 式，与不满意区域的像素相同，所以用户可以通过从作为其结果而获
得的M个输出图像中选择期望的图像，容易地应用相同的约束条件 于期望应用相同约束条件的部分。因此，即使在存在用户期望应用相 同约束条件表达式的多个部分的情况下，不需要指示多个部分的每个 作为不满意区域，从而减小用户的负担。
公式生成单元12302产生模型公式，并且也基于不满意区域指示 信息，关于不满意区域的像素以及关于M个类型的特征(特征的一 个或多个组合的M个版本)处理区域中与不满意区域的像素具有类 似特征的像素，产生以预先确定权重加权的M个版本的约束条件表 达式，并且将产生的模型公式与M个版本的约束条件表达式组合在 一起以产生M个版本的正则方程。公式生成单元12302将M个版本 的正则方程提供给现实世界波形估计单元12303,并且流程从步骤 S12292前进到步骤S12293。
注意以下，如上所述公式生成单元12302执行的步骤S12292中 的处理将称作"公式生成处理"。"公式生成处理，，的细节将参考图177 中的流程图随后描述。
在步骤S12293中，现实世界波形估计单元12303求解从公式生 成单元12302提供的关于处理区域中每个水平线的M个版本的正则 方程，从而获得由M个版本近似函数表示的不具有运动模糊的像素 值Qi,并且将M个版本的像素值提供给图像生成单元12294。
接下来，图176说明图173中所示公式生成单元12302的详细构 造实例。
在图176中，公式生成单元12302包括模型公式生成单元 12321，特征提取单元12322，特征轴设置单元12323，特征空间 LUT生成单元12324，约束条件表达式生成单元12325，以及正则方 程生成单元12326。
模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像 素值)与对于处理区域中每个水平线而获得的不具有运动模糊的像素值之间关系的关系模型从模型生成单元12301输入到其构造如图176 中所示的公式生成单元12302，并且提供给模型公式生成单元 12321。而且，输入图像从传感器2 (图1)输入到公式生成单元 12302，并且输入图像提供给模型公式生成单元12321和特征提取单 元12322。
此外，处理区域信息从处理区域设置单元12291输入到公式生成 单元12302，并且处理区域信息提供给模型公式生成单元12321和特 征提取单元12322。而且，不满意区域指示信息和选择信息作为帮助 信息从用户I/F 12296输入到>^式生成单元12302，其中分别地，不 满意区域指示信息提供给特征空间LUT生成单元12324，而选择信 息提供给特征空间LUT生成单元12324和特征轴设置单元12323。
模型公式生成单元12321从处理区域信息中识别输入图像的处理 区域，并且代入输入图像中处理区域的像素值作为从模型生成单元 12301提供的处理区域中每个水平线的关系模型的运动模糊图像中每 个像素的像素值Pi，从而对于处理区域中每个水平线产生表达式 (151)中的模型公式。模型公式生成单元12321然后将模型公式提 供给正则方程生成单元12326。
特征提取单元12322从处理区域设置单元12291输入的处理区域 信息中和从输入图像中识别构成处理区域的像素(的像素值)，并且 关于构成处理区域的每个像素提取多个类型的特征。特征提取单元 12322将处理区域中每个像素的多个类型的特征提供给特征空间LUT 生成单元12324。
特征轴设置单元12323基于从用户I/F 12296输入的选择信息， 设置用于产生特征空间LUT的M个版本的特征轴。注意特征轴是表 示从输入图像中提取的多个特征中一个的轴，
特征空间LUT生成单元12324基于从特征提取单元12322提供 的处理区域中每个像素的多个类型的特征中，与从特征轴设置单元 12323提供的特征轴相对应的特征，分类(类型分类)处理区域中的 每个像素，并且产生特征空间LUT。而且，特征空间LUT生成单元12324关于从特征轴设置单元12323提供的M个版本特征轴的每 个，分类处理区域中的每个像素，因此产生M个版本的特征空间 LUT。而且，特征空间LUT生成单元12324基于产生的M个版本的 特征空间LUT以及从用户I/F 12296输入的不满意区域指示信息， 从处理区域的像素中选择不满意区域中的像素以及与那些像素具有类 似特征的像素，取这些像素作为约束像素，并且将关于约束像素的信 息提供给约束条件表达式生成单元12325。因此，特征空间LUT生 成单元12324基于M个版本的特征空间LUT选择M个版本的约束 像素。
此外，如果选择信息已经从用户I/F 12296输入，也就是，如果 用户已经观看M个版本的输出图像并且通过操作用户I/F 12296选择 期望图像或者接近该期望的图像，特征空间LUT生成单元12324关 于产生的M个版本的特征空间LUT中用于获得选择信息表示的输出 图像的特征空间LUT中，由用户指示的不满意区域中的像素(如果 用户没有指示不满意区域，处理区域的像素)的特征类，存储应用于 约束条件表达式的权重。
当选择信息从用户I/F 12296的输入重复时，特征空间LUT生成 单元12324删除前一次产生的特征空间LUT，并且对于这次产生的 M个版本的特征空间LUT中用来获得这次选择的输出图像的特征空 间LUT，关于不满意区域中的像素的特征类存储权重，并且最终将 权重存储在用于获得具有用户认为最佳的质量的输出图像的特征空间 LUT，也就是最佳特征空间LUT中。这样，该最佳特征空间LUT 存储属于最适合取作约束像素的像素的特征类的权重，所以在获得这 种最佳特征空间LUT之后，根据最佳特征空间LUT,与每个特征的 像素相对应的约束条件表达式的权重看作为该像素所属类而存储的权 重，从而使得具有用户期望图像质量的输出图像能够关于任意输入图 像而获得，即使在用户不指定不满意区域的情况下。
这里，特征空间LUT描述为存储权重，但是特征空间LUT可以 存储表示该权重被应用的信息(或者看作约束像素)，代替权重自身。
而且，已经描述特征轴设置单元12323设置M个版本的特征 轴，并且特征空间LUT生成单元12324产生在由M个版本特征轴的 每个规定的特征空间中执行处理区域的像素的类型分类的M个版本 的特征空间LUT，但是例如在另一种配置中，特征轴可以变得完全 相同，并且M个版本的特征空间LUT可以通过分段同一个特征轴并 且创建特征类，以及通过准备分段特征轴的M种方法来产生。
约束条件表达式生成单元12325对于从特征空间LUT生成单元 12324提供的M个版本的约束像素，以预先确定的权重产生M个版 本的预先确定约束条件，并且将M个版本的约束条件表达式提供给 正则方程生成单元12326。
正则方程生成单元12326将从模型公式生成单元12321提供的模 型公式与从约束条件表达式生成单元12325提供的M个版本约束条 件表达式的每个组合在一起以产生M个版本的正则方程，其提供给 现实世界波形估计单元12303。
接下来，将参考图177中的流程图详细描述公式生成单元12302 (图176)的公式生成处理(图175的步骤S12292中的处理)。
在步骤S12311中，模型公式生成单元12321从模型生成单元 12301获得处理区域中每个水平线的关系模型，并且流程前进到步骤 S12312。在步稞S12312中，模型公式生成单元12321从传感器2获 取输入图像，并且也从处理区域设置单元12291获得处理区域信息。 模型公式生成单元12321然后从输入图像的处理区域信息中识别处理 区域中每个像素的像素值Pi,并且将像素值Pi代入使用处理区域中 每个像素的像素值从模型生成单元12301获得的表达式(151)的关 系模型中，从而产生处理区域的每个水平线的模型公式。此外，模型 公式生成单元12321将模型公式提供给正则方程生成单元12326,如 果模型公式生成单元12321已经从模型生成单元12301获得由上面表 达式(151)表示的关系模型，例如，模型公式通过将输入图像的像 素值代入表达式(151)的像素值P4~P7中而产生。在步骤S12312的处理之后，流程前进到步骤S12313,在那里特 征提取单元12322提取输入图像的特征并且将其提供给特征空间 LUT生成单元12324。也就是说，特征提取单元12322从处理区域设 置单元12291获得处理区域信息，并且获取输入图像。特征提取单元 12322基于处理区域信息识别输入图像处理区域中的像素，对于处理 区域中每个像素提取多个类型的特征，并且将多个类型的特征提供给 特征空间LUT生成单元12324。
在步骤S12313的处理之后，流程前进到步骤S12314，在那里特 征轴设置单元12323通过组合例如由特征提取单元12322提取的多个 特征的一个或多个来设置M个特征轴，其提供给特征空间LUT生成 单元12324，并且流程前进到步骤S12315。这里，如果选择信息从用 户I/F 12296输入，特征设置单元12323基于用于获得由选择信息表 示的输出图像的特征轴来设置M个特征轴。也就是说，如果第一次 设置特征轴，特征轴设置单元12323取例如某个特征A作为一个特 征轴，以及取其他M个特征的每个作为其他特征轴，从而设置M个 特征轴(两个特征轴的M个版本的组合)。然后，如果选择信息从 用户I/F 12296输入，除了用于获得选择信息表示的输出图像的两个 特征轴，例如特征A和B的特征轴之外，特征轴设置单元12323以 除特征A和B之外的M个特征的每个作为新的其他特征轴来设置M 个新的特征轴(三个特征轴的M个版本的组合)。
因此，通过用户从前一次处理输出的M个输出图像中选择期望 的一个，M个新的特征轴基于选择结果而设置，并且将经历约束条 件的约束像素被确定，所以重复该处理最终设置具有用户期望图像质 量的输出图像被设置的特征轴，因此，用户可以获得具有期望图像质 量的输出图像。
注意，虽然上面描述设置由与M个特征轴(的组合)相同数目 的特征轴构成的M个特征轴，但是M个特征轴的设置方法并不局限 于此。也就是说，除此之外，由不同数目的特征轴(例如，仅特征A 的特征轴，特征A和B的特征轴等)构成的M个特征轴可以设置为M个特征轴。
在步骤S12315中，特征空间LUT生成单元12324基于步骤 S12314中设置的M个特征轴，将从特征提取单元12322提供的处理 区域中像素的特征的每个像素分类成特征类，并且产生M个特征空 间LUT。
也就是说，例如，让我们假定三个特征A， B和C已经作为多个 特征由特征轴提取单元12322提取，并且特征轴设置单元12323已经 从三个特征A~C中设置七个轴，这些是特征A， B， C， A和B， A 和C， B和C，以及A和B和C,作为M个特征轴。在该情况下， ，见察由特征轴设置单元12322设置的七个特征轴中例如特征A和B 的轴，特征空间LUT生成单元12324例如以预先确定的间隔分段特 征A和B的轴，从而形成在由特征A和B规定的空间(特征空间) 中产生的部分空间的特征类，并且通过登记(分类)其特征类中包含 特征A和B的像素的信息到其特征类来产生具有特征A和B的轴的 特征空间LUT。
现在，如果M个版本的特征空间LUT已经关于某个处理区域而 产生，并且选择信息从用户I/F 12296输入，也就是，用户已经观看 M个输出图像并且已经选择期望图像或者接近该期望的图像，特征 空间LUT生成单元12324将应用于约束条件表达式的权重作为LUT 值，关于不满意区域中像素的特征类，存储在用于获得选择信息表示 的输出图像的特征空间LUT中，代替步骤S12314和S12315中的处 理。
当选择信息从用户I/F 12296的输入重复时，特征空间LUT生成 单元12324删除前一次产生的特征空间LUT，并且关于这次产生的 M个版本的特征空间LUT中用于获得这次选择的输出图像的特征空 间LUT中不满意区域中的像素的特征类存储权重，并且最终将权重 存储在用于获得具有用户认为最佳的图像质量的输出图像的特征空间 LUT，也就是最佳特征空间LUT中。
在该情况下，公式生成单元12302可以将特征空间LUT中存储的约束条件表达式的权重同样应用到其他输入图像。也就是说，如果
另一个输入图像重新输入，公式生成单元12302从输入图像的处理区 域中提取每个像素的多个类型的特征，并且基于多个类型的特征执行 处理区域中每个像素的类型分类。公式生成单元12302将已经作为特 征空间LUT中的类的LUT值而存储的权重，其中该类与由类型分 类获得的处理区域的每个像素的类相同，设置为与该像素相对应的约 束条件表达式的权重。在该情况下，用户不需要对每个输入图像设置 最佳权重，从而减小用户的负担。而且，配置可以这样进行，其中每 当新的输入图像输入时特征空间LUT重新产生或更新。
在步骤S12315的处理之后，流程前进到步骤S12316，在那里特 征空间LUT生成单元12324确定将由约束条件约束的约束像素，将 这些提供给约束条件表达式生成单元12325，并且流程前进到步骤 S12317。也就是说，特征空间LUT生成单元12324从用户I/F 12296 获得不满意区域指示信息，关于步骤S12315产生的M个版本特征空 间LUT的每个，确定不满意区域的像素以及与那些像素属于相同特 征类的像素作为约束像素，并且将由该确定获得的M个版本的约束 像素提供给约束条件表达式生成单元12325。
现在，如果用户没有指示不满意区域并且不存在不满意区域指示 信息从用户I/F 12296的输入，特征空间LUT生成单元12324确定例 如处理区域中所有像素作为约束像素。
在步骤S12317中，约束条件表达式生成单元12325产生以预先 确定的权重加权的M个版本的约束条件表达式，其是与步骤S12315 中确定的M个版本约束像素相对应的约束条件.约束条件表达式生 成单元12325然后将产生的M个约束条件表达式提供给正则方程生 成单元12326。
例如，如果约束像素的数目是八，并且这些像素的不具有运动模 糊的像素值用Qo Q7表示，某一版本的约束条件表达式如上述表达 式(154)中表示。约束条件表达式生成单元12325产生如表达式 (154)中所示关于M个特征空间LUT的M个版本的约束条件表达式。
在步骤S12317的处理之后，流程前进到步骤S12318,在那里正 则方程生成单元12326将从模型公式生成单元12321提供的模型公式 与从约束条件表达式生成单元12325提供的M个约束条件表达式组 合在一起，从而产生M个正则方程，其提供给现实世界波形估计单 元12303。
随后，现实世界波形估计单元12303使用例如最小二乘方误差的 最小范数求解从正则方程生成单元12325提供的M个版本的正则方 程，从而获得处理区域的每个水平线中的像素的不具有运动模糊的 M个版本的像素值。
注意，上述现实世界估计处理对于处理区域内水平方向上排列的 像素的每个(水平线)而执行。也就是说，现实世界波形估计单元 12303对于每个水平线，对于处理区域中的每个像素获得不具有运动 模糊的M个像素值。在对于处理区域内所有水平线中的每个像素获 得不具有运动模糊的M个像素值之后，现实世界波形估计单元 12303将处理区域中每个像素的不具有运动模糊的M个像素值提供 给图像生成单元12294。图像生成单元12294产生输入图像处理区域 中每个像素的像素值已经用不具有运动模糊的M个版本的像素值取 代的M个版本的输出图像，其提供给图像显示单元12295并显示。
而且，对于上述处理，约束条件表达式生成单元12325不产生关 于除约束像素之外的约束条件表达式，但是除约束像素之外的约束条 件表达式也可以使用预先确定的权重(例如不同于约束像素的权重的 权重)W产生。
而且，在上述处理中，M个版本的特征空间LUT基于M个特 征轴而产生，但是公式生成单元12302可以设置分段特征类分类的 M种方法而不是上述特征轴，并且基于分段方法将处理区域中的像 素分类成特征类，从而产生M个版本的特征空间LUT。
图178是描述图173中所示信号处理设备4的处理概述的图。 如图178中所示，用户观看输入图像12341,并且指示不满意的区域作为不满意区域。或者，用户观看输入图像12341但并不指示不 满意区域，而是观看信号处理设备4基于预先确定条件处理的输出图 像12342，并且指示不满意的区域作为不满意区域。
信号处理设备4然后基于由用户指示的不满意区域设置处理区 域，并且对于处理区域的图像数据中的每个像素提取多个类型的特 征。信号处理设备4设置M个版本的特征轴，基于M个版本的特征 轴将每个像素分类成来自像素特征的特征类，并且产生特征空间 LUT 12343。注意虽然图178仅显示一个特征空间LUT 12343，信号 处理设备4产生M个版本的特征空间LUT。这里，特征空间LUT 12343中的格子表示特征类。而且，特征空间LUT 12343中所示的圆 形表示不满意像素。具有圆形的格子处特征类的像素取作约束像素。 注意在图178中，不满意像素仅属于一个特征类，但是不满意区域像 素所属的特征类不一定是一个。也就是说，不满意区域的像素可能属 于多个类。
信号处理设备4对于M个版本特征空间LUT的每个，确定属于 不满意区域像素的特征类的像素作为约束像素。此外，信号处理设备 4对于已经从M个版本特征空间LUT的每个确定的约束像素，产生 具有预先确定权重的约束条件表达式，并且显示作为结果获得的M 个输出图像12344-l 12344-M。用户从M个输出图像中选择期望困 像或者接近期望图像的图像，并且信号处理设备4基于用于获得所选 图像的特征轴重复M个新的特征轴的设置。
因此，用户可以容易地设置最佳约束像素，从而获得更接近现实 世界l光信号的图像。也就是说，用户可以容易地获得期望图像或者 接近期望图像的图像。而且，约束条件表达式对于不满意区域的相同 特征类的像素而产生，所以用户不需要指示所有像素以取作不满意区 域，从而减小用户的负担。
将参考图179A和图179B来描述图173中所示信号处理设备4 的处理概述。
在图179A和图179B中，三个特征A C作为像素的多个类型的特征而提取。在图179A中所示的实例中，特征空间LUT 12362对于 其特征轴取特征A作为水平轴且特征B作为垂直轴。而且，在图 179B中所示的实例中，特征空间LUT 12364对于其特征轴取特征A 作为水平轴且特征C作为垂直轴。
如图179A中所示，用户观看输入图像12361并且指示(指向) 不满意的区域作为不满意区域。信号处理设备4基于由用户指示的不 满意区域设置处理区域，并且对于处理区域的输入图像数据中的每个 像素提取特征A C。信号处理设备4基于每个像素的特征A C中的 特征A和B将每个像素分类成特征类，并且产生特征空间LUT 12362。
信号处理设备4从特征空间LUT 12362中识别由用户指示的不 满意区域像素的特征类12263，并且设置分类到该特征类12363的所 有像素作为约束像素。此外，信号处理设备4对于约束像素产生具有 预先确定权重的约束条件表达式，并且显示使用约束条件表达式获得 的输出图像12364。注意输出图像12364上圆形中的圆表示已经分类 到特征空间LUT 12362的特征类12363并且取作约束像素的像素。
图179B说明特征空间LUT 12365已经基于与图179A中情况不 同的特征轴而产生的情况。也就是说，信号处理设备4基于对于其特 征轴特征A作为水平轴且特征C作为垂直轴，产生特征空间LUT 12365，并且产生以分类到由用户指示的不满意区域中像素的特征类 12366的所有像素作为约束像素的约束条件表达式。注意该约束条件 表达式以与图179A中的情况相同的方式加权。信号处理设备4产生 并显示使用约束条件表达式获得的输出图像12367。
以与图179A和图179B相同的方法，信号处理设备4基于具有 不同特征轴的M个版本的特征LUT产生并显示M个输出图像。用 户然后从M个输出图像中选择期望图像或者接近期望图像的图像， 并且信号处理设备4基于用于获得所选图像的特征空间LUT的特征 轴重复设置M个新版本的特征轴.
因此，用户可以容易地设置最佳约束像素，以便获得更接近现实世界l光信号的图像。也就是说，用户能够容易地获得具有期望图像 质量的图像或者接近期望图像质量的图像。而且，约束条件表达式对 于与不满意区域具有相同特征类的像素而产生，所以用户不需要指示 所有像素以取作不满意区域，从而能够减小用户的负担。
图180说明相当于图153，图161，图167，和图173中所示信 号处理设备4的信号处理设备4的构造实例。
也就是说，在图180中，分别地，处理区域选择单元12381对应 于例如图153中的处理区域设置单元12071，运动量参数输入单元 12382对应于例如图153中的连续性设置单元12072，特征提取单元 12383，特征空间LUT生成单元12384，约束条件设置单元12385, 以及运动模糊去除处理单元12386对应于例如图153中的现实世界估 计单元12073，输出图像生成单元12387对应于例如图153中的图像 生成单元12072，图像显示单元12388对应于例如图153中的图像显 示单元12075，以及用户I/F 12389对应于例如图153中的用户I/F 12076。
注意，图180说明从运动模糊发生的图像数据(运动模糊图像数 据)中估计现实世界1光信号的信号处理设备4的一种实施方案的构 造实例，该运动模糊图像数据是具有例如以预先确定的速度在预先确 定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设 备4从主体因例如主体(对象)在摄影时运动而以模糊方式获取的图 像(运动模糊图像)中估计不模糊的图像(不具有运动模糊的图 像)，
对于图180中所示的实施方案，运动模糊因拍摄以恒定运动量在 水平方向(从左到右的方向)上运动的对象而发生的运动模糊图像输 入到信号处理设备4,并且提供给处理区域选择单元12381，特征提 取单元12383，约束条件设置单元12385，输出图像生成单元 12387,以及图像显示单元12388。
处理区域选择单元12381从输入图像中选择(设置)处理区域， 并且将处理区域的信息提供给运动量参数输入单元12382，约束条件设置单元12385，以及输出图像生成单元12387。
运动量参数输入单元12382设置表示对象运动的运动参数(表示 运动量的值)，并且将运动量参数提供给约束条件设置单元12385， 注意这里，运动量参数输入单元12382被配置以设置表示仅对象运动 量值的运动量，假设对象在水平方向上运动，但是其他配置可以进 行，其中表示对象运动的量值和方向的运动矢量被设置。
特征提取单元12383从输入图像中提取每个像素的多个类型的特 征，并且将多个类型的特征提供给特征空间LUT生成单元12384。 特征空间LUT生成单元12384基于M个即多个类型的特征轴，将输 入图像的每个像素分类成来自从特征提取单元12383提供的多个类型 特征的特征类，并且产生特征空间LUT。特征空间LUT生成单元 12384将特征空间LUT提供给约束条件设置单元12385。
约束条件设置单元12385从输入图像和从处理区域选择单元 12381提供的处理区域信息中识别处理区域中每个水平线的像素的像 素值，并且也从运动量参数输入单元12382提供的运动量参数中识别 对象的运动量。约束条件设置单元12385基于对象的运动量，对于处 理区域中的每个水平线，产生模拟处理区域中水平线的每个像素的像 素值与不具有运动模糊的像素的像素值之间关系的关系模型，将处理 区域水平线中每个像素的像素值代入关系模型中，并且产生每个水平 线的模型公式。
而且，约束条件设置单元12385设置约束不具有运动模糊的像素 的像素值的约束条件表达式。此时，约束条件设置单元12385基于从 特征空间LUT生成单元12384提供的特征空间LUT设置约束条件表 达式。约束条件设置单元12385将每个水平线的模型公式和约束条件 表达式提供给运动模糊去除处理单元12386。
运动模糊去除处理单元12386通过使用最小二乘方误差的最小范 数求解每个水平线的模型公式以及从约束条件设置单元12385提供的 约束条件表达式，获得关于处理区域中每个水平线的像素的不具有运 动模糊的像素值，从而获得不具有运动模糊的像素值。运动模糊去除处理单元12386将处理区域的每个水平线中像素的不具有运动模糊的 像素值提供给输出图像生成单元12387。
输出图像生成单元12387从处理区域选择单元12381提供的处理 区域信息中识别处理区域中每个水平线的像素，并且产生每个水平线 的像素已经用从运动模糊去除处理单元12386提供的处理区域每个水 平线中像素的不具有运动模糊的像素值取代的图像，作为输出图像。 输出图像生成单元12387将输出图像提供给图像显示单元12388并显 示。
图像显示单元12388显示输入图像以及从输出图像生成单元 12387提供的输出图像。
用户I/F 12389由用户操作，并且根据用户的操作，关于处理区 域和运动量的信息提供给例如处理区域选择单元12381和运动量参数 输入单元12382。
也就是说，用户观看显示在图像显示单元12388上的输入图像或 输出图像，并且搮作用户I/F 12389以便提供关于输入图像或输出图 像的输入。根据用户操作，用户I/F 12389将用于选择处理区域的信 息提供给处理区域选择单元12381。而且，根据用户操作，用户I/F 12389将处理区域中对象运动量的信息提供给运动量参数输入单元 12382。
此外，根据用户操作，用户I/F 12389将关于应用约束条件的区 域的信息提供给特征空间LUT生成单元12384和约束条件设置单元 12385，以便不均等地创建关于处理区域中像素的约束条件。而且， 根据用户操作，用户I/F 12389将指示约束条件权重的权重指示信息 提供给约束条件设置单元12385。
将参考图181和图182中的流程图描述图180中所示信号处理设 备4的处理，我们将假定对象以恒定速度在水平方向上运动。
首先，在步猓S12331中，信号处理设备4获取运动模糊图像的 图像信号作为输入图像，并且将其提供给处理区域选择单元12381， 特征提取单元12383，约束条件^L置单元12385，输出图像生成单&12387，以及图像显示单元12388。特征提取单元12383从输入图像 的每个像素中提取多个类型的特征，并且将多个类型的特征提供给特 征空间LUT生成单元12384。特征空间LUT生成单元12384基于从 特征提取单元12383提供的多个类型的特征，基于多个版本的特征轴 产生特征空间LUT (图179A和图179B)。此外，在步骤S12331 中，信号处理设备4使得图像显示单元12388显示输入图像，并且流 程前进到步骤S12332。
在步骤S12332中，用户I/F 12389确定用户是否已经指示运动模 糊区域，也就是，已经观看显示在图像显示单元12388上的输入图像 (运动模糊图像)的用户是否感觉到输入图像中存在运动模糊，并且 操作用户I/F 12389以便指向存在运动模糊的部分。在步骤S12332 中，如果确定用户没有指示运动模糊区域，也就是，已经观看显示在 图像显示单元12388上的输入图像的用户感觉到输入图像中不存在运 动模糊并且图像没有不令人满意，流程前进到图182中的步骤 S12342。在步骤S12342中，输出图像生成单元12387将输入图像提 供给图像显示单元12388，作为它显示在那里的输出图像。
另一方面，如果在步骤S12332中确定用户已经指示运动模糊区 域，用户I/F 12389将表示用户通过操作用户I/F 12389指示的运动 模糊区域的运动模糊区域指示信息提供给处理区域选择单元12381， 并且流程前进到步骤S12333。在步骤S12333中，处理区域选择单元 12381基于从用户I/F 12389提供的运动模糊区域指示信息，选择例 如包括运动模糊区域的矩形，作为输入图像的区域中的处理区域，并 且将表示该处理区域的处理区域信息提供给运动量参数输入单元 12382，约束条件设置单元12385,以及输出图像生成单元12387,在 步稞S12333的处理之后，流程前进到步骤S12334,在那里运动量参 数输入单元12382将表示处理区域中对象的运动量的运动参数输入到 约束条件设置单元12385。也就是说，例如，如果用户已经观看显示 在图像显示单元12388上的输入图像(运动模糊图像)，并且通过操 作用户I/F 12389输入处理区域中对象的运动量，运动量参数输入单元l2382将表示从用户I/F 12389输入的运动量的运动量参数提供给 约束条件设置单元12385。而且，运动量参数输入单元12382检测处 理区域中对象的运动量，并且将表示运动量的参数提供给约束条件设 置单元12385。约束条件设置单元12385基于运动量参数以及从处理 区域选择单元12381提供的处理区域信息，对于处理区域中的每个水 平线，产生并存储模拟处理区域的水平线中每个像素的像素值与不具 有运动模糊的像素的像素值之间关系的关系模型，并且流程从步骤 S12334前进到步骤S12335。
在步骤S12335中，用户I/F 12389确定平坦区域是否由用户从作 为输入图像的运动模糊图像中指示。如果在步骤S12335中由用户 I/F 12389确定平坦区域已经由用户操作用户I/F 12389从运动模糊图 像中指示，也就是，用户已经观看输入图像并且指示处理区域中不具 有运动模糊的图像估计为平坦的平坦区域，流程前进到步骤 S12336,并且用户I/F 12389将表示用户已经通过操作用户I/F 12389 指示的平坦区域的平坦区域指示信息提供给约束条件设置单元 12385。
在步骤S12336的处理之后，流程前进到步骤S12337,在那里特 征空间LUT生成单元12384从产生的多个特征空间LUT中选择由用 户操作用户I/F 12389选择的特征空间LUT，例如，并且将其提供给 约束条件设置单元12385，并且流程前进到步骤S12339。也就是说， 在步骤S12337中，与由特征空间LUT生成单元12384产生的多个 特征空间LUT相对应的按钮显示在图像显示单元12388上。当用户 通过操作用户I/F 12389在图4象显示单元12388上显示的按钮上点击 等，选择对应于所选按钮的特征空间LUT.在步骤S12339中，约束 条件设置单元12385从用户I/F 12389提供的平坦区域指示信息中识 别处理区域中的平坦区域。此外，约束条件设置单元12385从特征空 间LUT生成单元12384提供的特征空间LUT中，识别与平坦区域的 像素具有相同特征类的处理区域的像素。约束条件设置单元12385关 于作为平坦区域的像素以及与平坦区域的像素具有相同特征类的像素的约束像素，产生处理区域中每个水平线的约束条件表达式，并且将约束条件表达式提供给运动模糊去除处理单元12386，并且流程前进 到图182中的步骤S12340。例如，如果存在水平方向上排列的仅六 个约束像素，并且Qo Qs表示这些像素的每个的不具有运动模糊的 像素值，约束条件表达式由上述表达式(153)指示。另一方面，如果用户I/F 12389在图181的步骤S12335中确定不 存在运动模糊图像中平坦区域的指示，流程前进到步骤S12338，并 且确定不满意区域是否已经对于输出图像而指示，也就是用户已经观 看在先前步骤S12342 (图182 )中显示在图像显示单元12388上的输 出图像并且发现其不令人满意，并且已经通过操作用户I/F 12389指 示发现不令人满意的区域。在步骤S12338中，如果用户I/F 12389 已经确定不存在输出图像中不满意区域的指示，流程前进到步骤512339。 在该情况下，用户既没有指示平坦区域也没有指示不满意区 域，所以在步骤S12339中，约束条件设置单元12385关于约束^^素 产生每个水平线的约束条件表达式，其中处理区域中所有像素取作约 束像素，例如。约束条件设置单元12385将约束条件表达式提供给运动模糊去除 处理单元12386，并且流程从步骤S12339前进到图182中的步骤512340。 例如，如果在水平线中存在八个像素，并且Q。 Q7表示这 些像素的每个的不具有运动模糊的像素值，约束条件表达式如上述表 达式(152)指示。在步骤S12340中，约束条件设置单元12385从处理区域选择羊 元12381提供的处理区域信息和输入图像中，识别输入围像的处理区 域中每个水平线中的像素的像素值。而且，在步骤S12340中，约束 条件设置单元12385将输入图像中处理区域的每个水平线中像素的像 素值代入在步骤S12334中产生并存储的关系模型中，从而产生表达 式(151)中所示的模型公式。约束条件设置单元12385然后将模型 公式提供给运动模糊去除处理单元12386。在步骤S12340的处理之后，流程前进到步骤S12341,在那里运动模糊去除处理单元12386执行运动模糊去除处理。也就是说，运动 模糊去除处理单元12386使用从约束条件设置单元12385提供的约束 条件表达式和模型公式，产生处理区域中每个水平线的正则方程。此 外，运动模糊去除处理单元12386使用最小二乘方误差的最小范数求 解正则方程，从而获得处理区域中每个水平线的像素中不具有运动模 糊的像素值。运动模糊去除处理单元12386将处理区域的每个水平线 中不具有运动模糊的像素值提供给输出图像生成单元12387,并且流 程从步骤S12341前进到步骤S12342。在步骤S12342中，输出图像生成单元12387从处理区域选择单 元12381提供的处理区域信息中识别处理区域中每个水平线的像素， 并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理 单元12386提供的不具有运动模糊的像素值取代，从而产生输出图 像。此外，在步骤S12342中，输出图像生成单元12387提供并在图 像显示单元12388处显示输出图像，并且流程前进到步骤S12351。另一方面，在图181的步骤S12338中，如果用户I/F 12389确定 输出图像中的不满意区域已经指示，流程前进到步骤S12343,在那 里表示由用户操作用户I/F 12389指示的不满意区域的不满意区域指 示信息提供给约束条件设置单元12385，并且流程前进到步骤 S12344。在步骤S12344中，约束条件设置单元12385关于不满意区 域的像素处的约束条件表达式设置N个版本的权重，并且流程前进 到步骤S12345。在步骤S12345中，特征空间LUT生成单元12384 以与步骤S12337相同的方法，例如，从产生的多个特征空间LUT 中选择由用户操作用户I/F 12389选择的特征空间LUT，并且例如以 与步骤S12337的情况相同的方法，将特征空间LUT提供给约束条 件设置单元12385。在步骤S12345的处理之后，流程前进到步骤S12346，在那里约 束条件设置单元12385从用户I/F 12389提供的不满意区域指示信息 中识别不满意区域，并且也从处理区域选择单元12381提供的处理区 域信息中识别处理区域。约束条件设置单元12385从特征空间LUT生成单元12384提供的特征空间lut中，识别处理区域的像素中与 不满意区域中的像素具有相同特征类的像素，并且取这些作为约束像 素。约束条件设置单元12385然后使用步骤s12344中设置的n个权 重，以便对于每个水平线产生以n种不同方法加权的约束像素的约 束条件表达式。约束条件设置单元12385将n个版本的约束条件表 达式提供给运动模糊去除处理单元12386，并且流程前进到图182中 的步骤s12347。例如，如果存在水平方向上排列的仅八个约束像素，并且每个像 素的不具有运动模糊的像素值用Q。 Q7表示， 一个版本的约束条件 表达式如上述表达式(154)中，其中w表示关于约束条件表达式的 一个版本的w。约束条件设置单元12385产生表达式(154)的约束 条件表达式中具有不同权重w的n个版本的表达式。在步骤s12347中，约束条件设置单元12385从处理区域选择单 元12381提供的处理区域信息和输入图像中，识别输入图像中处理区 域的每个水平线中像素的像素值。而且，在步骤s12347中，约束条 件设置单元12385将输入图像处理区域中每个水平线的像素的像素值 代入步骤s12334中产生并存储的关系模型中，从而对于每个水平线 产生表达式(151)的模型公式。约束条件设置单元12385然后将模 型公式提供给运动模糊去除处理单元12386。在步骤s12347的处理之后，流程前进到步骤s12348，在那里运 动模糊去除处理单元12386执行运动模糊去除处理。也就是说，运动 模糊去除处理单元12386从约束条件设置单元12385提供的n个版 本约束条件表达式的每个以及模型公式中，产生处理区域中每个水平 线的n个版本的正则方程，并且使用最小二乘方误差的最小范数求 解n个正则方程，从而关于处理区域的每个水平线中的像素，获得 不具有运动模糊的n个版本的像素值。运动模糊去除处理单元12386 然后将不具有运动模糊的n个版本的像素值提供给输出图像生成单 元12387，并且流程从步骤s12348前进到步稞s12349.在步骤s12349中，输出图像生成单元12387从处理区域选择单元提供的处理区域信息中识别处理区域中每个水平线的像素， 并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理 单元12386提供的不具有运动模糊的N个版本的像素值取代，从而 产生N个版本的输出图像。此外，在步骤S12349中，输出图像生成 单元12387提供并在图像显示单元12388处显示N个版本的输出图 像，并且流程前进到步骤S12350。在步骤S12350中，用户I/F 12389确定输出图像是否由用户选 择。也就是说，在步骤S12349中，N个版本的输出图像显示在图像 显示单元12388上，并且在步骤S12350中确定已经观看N个版本输 出图像的用户是否已经从N个版本的输出图像中选择具有期望图像 质量的图像或者接近期望图像质量的图像。如果用户I/F 12389在步 骤S12350中确定用户没有选择输出图像，流程等待直到用户选择输 出图像。如果在步骤S12350中由用户I/F 12389确定用户已经选择输出图 像，流程前进到步骤S12351。在步骤S12351中，由用户I/F 12389确定是否存在对于处理区域 中图像的不满意。也就是说，在步骤S12351中确定用户是否已经观 看步骤S12342中显示在图像显示单元12388上的输出图像或者步骤 S12350中选择的输出图像，发现步骤S12333中选择的处理区域中的 图像不令人满意，并且操作用户I/F 12389以便指示不满意。如果在 步骤S12351中由用户I/F 12389确定存在对处理区域中图像的不满 意，流程返回到图181中的步骤S12335，并且重复上述处理。注意 在该情况下，在下一次执行的步骤S12344中，N个新版本的权重基 于用于获得在前一个步骤S12350中选择的输出图像的约束条件表达 式的权重而设置。因此，当用户从前一次处理输出的N个输出图像中选择期望的 一个时，N个新的权重基于选择结果而设置，所以通过用户重复从N 个版本输出图像中期望一个的选择，最终，借此可以获得具有用户期 望图像质量的输出图像的权重被设置。因此，用户可以获得输入图像的处理区域的部分已经变成具有期望图像质量的图像或者接近期望图 像质量的图像的输出图像。另一方面，在步骤S12351中，如果由用户I/F 12389确定不存在 对处理区域中图像的不满意，流程前进到步骤S12352,并且确定另 一个运动模糊区域是否已经被指示。也就是说，在步骤S12352中确 定用户是否已经观看步骤S12342中显示的输出图像或者步骤S12350 中选择的输出图像，感觉到除处理区域之外的图像中存在运动模糊， 并且通过操作用户I/F 12389指示具有运动模糊的区域。如果用户 I/F 12389在步骤S12352中确定存在另一个运动模糊区域的指示，流 程返回到步骤S12333,并且重复上述处理。也就是说，信号处理设 备4执行关于新的运动模糊区域的处理。注意在该情况下，处理执 行，以在前一个步骤S12342中显示的输出图像或者在步稞S12350 中选择的输出图像作为输入图像，或者以输入图像的处理区域已经用 关于该处理区域最终获得的像素值取代的图像作为输入图像。而且， 如果在步骤S12352中由用户I/F 12389确定另一个运动模糊区域没 有被指示，这意味着用户对输出图像满意，所以处理结束。将参考图183和图184中的流程图描述图180中所示信号处理设 备的其他处理。我们将假定对象以恒定速度在水平方向上运动。首先，在步骤S12371中，信号处理设备4获取运动模糊图像的 图像信号作为输入图像，并且将其提供给处理区域选择单元U381， 特征提取单元12383,约束条件设置单元12385,输出图像生成单元 12387,以及图像显示单元12388。特征提取单元12383从输入图像 的每个像素中提取多个类型的特征，并且将多个类型的特征提供给特 征空间LUT生成单元12384。特征空间LUT生成单元12384基于从 特征提取单元12383提供的多个类型的特征，基于多个版本的特征轴 产生特征空间LUT (图179A和图179B)。此外，在步骤S12371 中，信号处理设备4使得图像显示单元12388显示输入图像，并且流 程前进到步骤S12372。在步驟S12372中，用户I/F 12389确定用户是否已经指示运动模糊区域，也就是，已经观看显示在图像显示单元12388上的输入图像 (运动模糊图像)的用户是否感觉到输入图像中存在运动模糊，并且 操作用户I/F 12389以便指向存在运动模糊的部分。在步骤S12372 中，如果确定用户没有指示运动模糊区域，也就是，已经观看显示奉 图像显示单元12388上的输入图像的用户感觉到输入图像中不存在运 动模糊并且图像没有不令人满意，流程前进到图184中的步骤 S12382。在步骤S12382中，输出图像生成单元12387将输入图像提 供给图像显示单元12388,作为它显示在那里的输出图像。另一方面，如果在步骤S12372中确定用户已经指示运动模糊区 域，用户I/F 12389将表示用户通过操作用户I/F 12389指示的运动 模糊区域的运动模糊区域指示信息提供给处理区域选择单元12381 ， 并且流程前进到步骤S12373。在步骤S12373中，处理区域选择单元 12381基于从用户I/F 12389提供的运动模糊区域指示信息，选择例 如包括运动模糊区域的矩形，作为输入图像的区域中的处理区域，并 且将表示该处理区域的处理区域信息提供给运动量参数输入单元 12382，约束条件设置单元12385,以及输出图像生成单元12387。在步骤S12373的处理之后，流程前进到步骤S12374,在那里运 动量参数输入单元12382将表示处理区域中对象的运动量的运动参数 输入到约束条件设置单元12385。也就是说，例如，如果用户已经观 看显示在图像显示单元12388上的输入图像(运动模糊图像)，并且 通过操作用户I/F 12389输入处理区域中对象的运动量，运动量参数 输入单元12382将表示从用户I/F 12389输入的运动量的运动量参数 提供给约束条件设置单元12385。而且，运动量参数输入单元12382 检测处理区域中对象的运动量，并且将表示运动量的参数提供给约束 条件设置单元1238S,约束条件设置单元12385基于运动量参数以及 从处理区域选择单元12381提供的处理区域信息，对于处理区域中的 每个水平线，产生并存储模拟处理区域的水平线中每个像素的像素^ 与不具有运动模糊的像素的像素值之间关系的关系模型，并且流程从 步骤S12374前进到步骤S12375。在步骤S12375中，用户I/F 12389确定平坦区域是否由用户从作 为输入图像的运动模糊图像中指示。如果在步骤S12375中由用户 I/F 12389确定平坦区域已经由用户操作用户I/F 12389从运动模糊图 像中指示，也就是，用户已经观看输入图像并且指示处理区域中不具 有运动模糊的图像估计为平坦的平坦区域，流程前进到步骤 S12376,并且用户I/F 12389将表示用户已经通过操作用户I/F 12389 指示的平坦区域的平坦区域指示信息提供给约束条件设置单元 12385。
在步骤S12376的处理之后，流程前进到步骤S12377,在那里特 征空间LUT生成单元12384从产生的多个特征空间LUT中选择由用 户操作用户I/F 12389选择的特征空间LUT，例如，并且将其提供给 约束条件设置单元12385，并且流程前进到步骤S12379。也就是说， 在步骤S12377中，与由特征空间LUT生成单元12384产生的多个 特征空间LUT相对应的按钮显示在图像显示单元12388上。当用户 通过操作用户I/F 12389在图像显示单元12388上显示的按钮上点击 等，与所选按钮相对应的特征空间LUT在步骤S12377中选择。
在步骤S12379中，约束条件设置单元12385从用户I/F 12389提 供的平坦区域指示信息中识别处理区域中的平坦区域。此外，约束条 件设置单元12385从特征空间LUT生成单元12384提供的特征空间 LUT中，识别与平坦区域的像素具有相同特征类的处理区域的像 素。约束条件设置单元12385关于作为平坦区域的像素以及与平坦区 域的像素具有相同特征类的像素的约束像素，产生处理区域中每个水 平线的约束条件表达式，并且将约束条件表达式提供给运动模糊去除 处理单元12386，并且流程前进到图184中的步骤S12380。例如，如 果存在水平方向上排列的仅六个约束像素，并且Q『Qs表示这些像 素的每个的不具有运动模糊的像素值，约束条件表达式由上述表达式 (153)指示。
另一方面，如果用户I/F 12389在图183的步骤S12375中确定不 存在运动模糊图像中平坦区域的指示，流程前进到步骤S12378，并且确定不满意区域是否已经对于输出图像而指示，也就是用户已经观
看在先前步骤S12382 (图184)中显示在图像显示单元12388上的输 出图像并且发现其不令人满意，并且已经通过操作用户I/F 12389指 示发现不令人满意的区域。在步骤S12378中，如果用户I/F 12389 已经确定不存在输出图像中不满意区域的指示，流程前进到步骤
512379。 在该情况下，用户既没有指示平坦区域也没有指示不满意区 域，所以在步骤S12379中，约束条件设置单元12385关于约束像素 产生每个水平线的约束条件表达式，其中处理区域中所有像素取作约 束像素，例如。
约束条件设置单元12385将约束条件表达式提供给运动模糊去除 处理单元12386，并且流程从步骤S12379前进到图184中的步骤
512380。 例如，如果在水平线中存在八个像素，并且Q。 Q7表示这 些像素的每个的不具有运动模糊的像素值，约束条件表达式如上述表
达式(152)指示。
在步骤S12380中，约束条件设置单元12385从处理区域选择单 元12381提供的处理区域信息和输入图像中，识别输入图像的处理区 域中每个水平线中的像素的像素值。而且，在步骤S12380中，约束 条件设置单元12385将输入图像中处理区域的每个水平线中像素的像 素值代入在步骤S12384中产生并存储的关系模型中，从而产生表达 式(151)中所示的模型公式。约束条件设置单元12385然后将模型 公式提供给运动模糊去除处理单元12386。
在步骤S12380的处理之后，流程前进到步骤S12381,在那里约 束条件设置单元12385执行运动模糊去除处理。也就是说，运动模糊 去除处理单元12386使用从约束条件设置单元12385提供的约束条件 表达式和模型公式，产生处理区域中每个水平线的正则方程。此外， 运动模糊去除处理单元12386使用最小二乘方误差的最小范数求解JE 则方程，从而获得处理区域中每个水平线的像素中不具有运动模糊的 像素值.运动模糊去除处理单元12386将处理区域的每个水平线中不 具有运动模糊的像素值提供给输出图像生成单元12387，并且流程从步骤S12381前进到步骤S12382。
在步骤S12382中，输出图像生成单元12387从处理区域选择单 元12381提供的处理区域信息中识别处理区域中每个水平线的像素， 并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理 单元12386提供的不具有运动模糊的像素值取代，从而产生输出图 像。此外，在步骤S12382中，输出图像生成单元12387提供并在图 像显示单元12388处显示输出图像，并且流程前进到步骤S12391。
另一方面，在图183的步骤S12378中，如果用户I/F 12389确定 输出图像中的不满意区域已经指示，流程前进到步骤S12383,在那 里表示由用户操作用户I/F 12389指示的不满意区域的不满意区域指 示信息提供给约束条件设置单元12385，并且流程前进到步骤 S12384。在步骤S12384中，约束条件^:置单元12385关于不满意区 域的像素处的约束条件表达式设置预先确定的权重，并且流程前进到 步骤S12385。注意权重可以由用户操作用户I/F 12389来设置。
在步骤S12385中，特征空间LUT生成单元12384从产生的特征 空间LUT中选择M个版本的特征空间LUT，并且将M个版本的特 征空间LUT提供给约束条件设置单元12385。
在步骤S12385的处理之后，流程前进到步骤Sl2386,在那里约 束条件设置单元12385从用户I/F 12389提供的不满意区域指示信息 中识别不满意区域，并且也从处理区域选择单元1"81提供的处理区 域信息中识别处理区域。约束条件设置单元12385从特征空间LUT 生成单元12384提供的M个版本的特征空间LUT中，识别处理区域 的像素中与不满意区域中的像素具有相同特征类的像素，并且取这些, 作为约束像素。因此，约束条件设置单元12385对于每个水平线识别 M个版本的约束像素，约束条件设置单元12385然后使用步骤 S12384中设置的预先确定的权重，以便对于每个水平线产生约束像 素的M个版本的约束条件表达式。约束条件设置单元12385将M个 版本的约束条件表达式提供给运动模糊去除处理单元12386，并且流 程前进到图184中的步骤S12387。例如，如果存在水平方向上排列的仅八个约束像素，并且每个像
素的不具有运动模糊的像素值用Q。 Q7表示， 一个版本的约束条件 表达式如上述表达式(154)中，其中W表示关于约束条件表达式的 一个版本的W。因此，约束条件设置单元12385关于M个版本的约 束像素产生表达式(154)的约束条件表达式中的M个版本的表达 式。
在步骤S12387中，约束条件设置单元12385从处理区域选择单 元12381提供的处理区域信息和输入图像中，识别输入图像中处理区 域的每个水平线中像素的像素值。而且，在步骤S12387中，约束条 件设置单元12385将输入图像处理区域中每个水平线的像素的像素值 代入步骤S12374中产生并存储的关系模型中，从而对于每个水平线 产生表达式(151)的模型公式，约束条件设置单元12385然后将模 型公式提供给运动模糊去除处理单元12386。
在步骤S12387的处理之后，流程前进到步骤S12388，在那里运 动模糊去除处理单元12386执行运动模糊去除处理。也就是说，运动 模糊去除处理单元12386从约束条件设置单元12385提供的M个版 本约束条件表达式的每个以及模型公式中，产生处理区域中每个水平 线的M个版本的正则方程，并且使用最小二乘方误差的最小范数求 解M个正则方程，从而关于处理区域的每个水平线中的像素，获得 不具有运动模糊的M个版本的像素值。运动模糊去除处理单元 12386然后将不具有运动模糊的M个版本的像素值提供给输出图像 生成单元12387，并且流程从步骤S12388前进到步骤S12389。
在步骤S12389中，输出图像生成单元12387从处理区域选择单 元12381提供的处理区域信息中识别处理区域中每个水平线的像素， 并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理 单元12386提供的不具有运动模糊的M个版本的像素值取代，从而 产生M个版本的输出困像。此外，在步猓S12389中，输出围像生成 单元12387提供并在图像显示单元12388处显示M个版本的输出图 像，并且流程前进到步骤S12390。在步骤S12390中，用户I/F 12389确定输出图像是否由用户选 择。也就是说，在步骤S12389中，M个版本的输出图像显示在图像 显示单元12388上，并且在步骤S12390中确定已经观看M个版本输 出图像的用户是否已经从M个版本的瑜出图像中选择具有期望图像 质量的图像或者接近期望图像质量的图像。如果用户I/F 12389在步 骤S12390中确定用户没有选择输出图像，流程等待直到用户选择输 出图像。
如果在步骤S12390中由用户I/F 12389确定用户已经选择输出图 像，流程前进到步骤S12391。
在步骤S12391中，由用户I/F 12389确定是否存在对于处理区域 中图像的不满意。也就是说，在步猓S12391中确定用户是否已经观 看步骤S12382中显示在图像显示单元12388上的输出图像或者步骤 S12390中选择的输出图像，发现步骤S12373中选择的处理区域中的 图像不令人满意，并且操作用户I/F 12389以便指示不满意。如果在 步骤S12391中由用户I/F 12389确定存在对处理区域中图像的不满 意，流程返回到图183中的步猓S12375，并且重复上述处理。注意 在该情况下，在下一次执行的步骤S12385中，M个新版本的特征轴 基于用于获得在前一个步骤S12390中选择的输出图像的特征空间 LUT的特征轴而选择，并且具有M个版本特征轴的特征空间LUT 被选择.
因此，当用户从前一次处理输出的M个输出图像中选择期望的 一个时，M个新的特征轴基于选择结果而设置，所以通过用户重复 从M个版本输出图像中期望一个的选择，最终，借此可以获得具有 用户期望图像质量的输出图像的特征轴被设置。因此，用户可以获得 输入图像的处理区域的部分已经变成具有期望图像质量的图像或者接 近期望图像质量的图像的输出图像。
另一方面，在步骤S12391中，如果由用户I/F 12389确定不存在 对处理区域中图像的不满意，流程前进到步骤S12392，并且确定另 一个运动模糊区域是否已经被指示。也就是说，在步驟S12392中确定用户是否已经观看步骤S12382中显示的输出图像或者步骤S12390 中选择的输出图像，感觉到除处理区域之外的图像中存在运动模糊， 并且通过操作用户I/F 12389指示具有运动模糊的区域。如果用户 I/F 12389在步骤S12392中确定存在另一个运动模糊区域的指示，流 程返回到步骤S12373,并且重复上述处理。也就是说，信号处理设 备4执行关于新的运动模糊区域的处理。注意在该情况下，处理执 行，以在前一个步骤S12382中显示的输出图像或者在步骤S12390 中选择的输出图像作为输入图像，或者以输入图像的处理区域已经用 关于该处理区域最终获得的像素值取代的图像作为输入图像。
而且，如果在步骤S12392中由用户I/F 12389确定另 一个运动模 糊区域没有被指示，这意味着用户对输出图像满意，所以处理结束。
而且，配置可以这样进行，其中图181和图182中所示流程图的 处理与图183和图184中所示流程图的处理相结合。也就是说，如果 用户已经观看输出图像并指示不满意区域，约束条件设置单元12385 设置关于约束像素的约束条件表达式的N个版本的权重，并且也基 于M个版本的特征空间LUT识别M个版本的约束像素，以便产生 总共N乘M个版本的输出图像。而且，如果用户已经观看输出图像 并指示不满意区域，约束条件设置单元12385可以交替地执行不满意 区域的约束条件的N个版本权重的设置，以便产生N个输出图像， 以及基于M个特征空间LUT的M个版本约束像素的识别，从而产 生M个输出图像。
图185至图194是描述实施图181和图182中所示流程图中的处 理，以及图183和图184中所示流程图中的处理的组合的图180中所 示信号处理设备4的实例的图。
在这些实例中，用户从输入图像中指示处理区域并且进一步指示 运动模糊图像估计为平坦的区域.然后用户观看作为处理结果的输出 图像，指示不满意区域，并且获得作为再次处理结果的两个版本的输 出图像。此外，用户从这两个输出图像中选择更接近期望图像的图 像，并且获得基于选择结果而处理的四个版本的输出图像。最终，用户从四个版本的输出图像中选择期望图像或接近期望图像的图像。
现在，这里让我们假定运动量参数的真实值将提供给信号处理设备4。
图185说明已经观看输入图像的用户指示处理区域的状态。图 185中所示输入图像通过摄影(玩具)飞机在屏幕的水平方向从左到 右运动的时刻而获得。如图185中所示，边缘部分(轮廓部分)例如 字母"TAL"因运动模糊而不明显。这里，用户已经指示围绕字母 "TAL"显示于其中的部分的矩形区域作为处理区域。
图186是已经观看图185中所示输入图像的用户已经指向不具有 运动模糊的图像估计为平坦的部分作为平坦区域的实例。这里，图像 中用X标记的部分显示用户已经指向以指示平坦区域的位置，并且 在图186中，围绕字母"L，，的右侧、包括由用户指定位置的矩形区域 设置为平坦区域。而且，在图186中，用图像左上方的正方形围绕的 图像是用户已经指示的区域外围放大的图像，由矩形围绕的部分是由 用户指向设置的平坦区域.
图187说明作为由信号处理设备4执行图185中所示输入图像的 处理，而没有来自用户的平坦区域的指示而获得的处理结果的输出图 像。也就是说，信号处理设备4执行图181和图182中的步骤 S12331至步骤S12335，以及步骤S12338至步骤S12342,并且图 187中所示输出图像显示在图像显示单元12388上，在该情况下，约 束条件表达式对于处理区域中所有像素而产生。对于图187中所示的 输出图像，运动模糊与图185或图186中所示的输入图像相比较减 小，并且字母"TAL"更清晰。
图188说明在用户已经指示平坦区域的情况下，作为由信号处理 设备4基于平坦区域执行图185中所示输入图像的处理而获得的处理 结果的输出图像。也就是说，信号处理设备4执行图181和图182中 的步骤S12331至步骤S12337，以及步骤S12339至步骤S12342，并 且图188中所示输出图像显示在图像显示单元12388上。在该情况 下，约束条件表达式仅对平坦区域像素而产生。对于图188中所示的输出图像，与图187中的情况一样，运动模糊减小，并且字母"TAL，， 更清晰。而且，与图187中的情况相比较，边缘部分和平坦部分的图 像质量在图188中的输出图像中改进。图189是说明用户已经指示图188中所示输出图4象中不满意区域 的状态的图。也就是说，用户已经指示不具有运动模糊的图像质量与 想象的不同(图像质量退化)的输出图像中区域作为不满意区域。在 图189中实例的情况下，用户已经指示字母"TAL，，的"L，，右侧附近的 白色退化区域作为不满意区域。也就是说，图中矩形部分是指示为不 满意区域的区域。图190A和图190B显示由信号处理i殳备4基于如图189中所示 由用户指示的不满意区域执行处理而获得的输出图像，也就是说，信 号处理设备4执行图181和图182中的步骤S12331至步骤S12335， 步骤S12338，以及步骤S12343至步骤S12349,并且在图像显示单 元12388上显示图190A和图190B中所示的输出图像。对于图190A和图190B，信号处理设备4对于由用户指示的不满 意区域，产生具有两个版本的权重的约束条件表达式，并且显示通过像。这里，由正,方形(图I"A)围绕的图像曰显示由用户选择的图 像。图191A至图191D显示通过再次处理从图1卯A和图190B中选 择的图像而获得的输出图像。也就是说，在图181和图182中的步骤 S12331至步骤S12335,步骤S12338,以及步猓S12343至步骤 S12351的处理之后，信号处理设备4执行步骤S12375，步骤S12378 以及步骤S12383至步骤S12389的处理，并且在图像显示单元12388 上显示图191A至图191D的输出图像。对于图191A至图191D，信号处理设备4确定如何将由用户指 示的不满意区域中的约束条件反映到处理区域中不满意区域之外的区 域，所以特征空间LUT基于来自输入图像的多个类型特征的四个版 本的特征轴而产生，并且四个版本的输出图像基于四个版本的特征空间LUT产生和显示。用户从四个输出图像中选择具有期望图像质量的图像或者接近期 望图像质量的图像。这里，由正方形(该图191D)围绕的图像显示 由用户选择的图像。图192是图185中所示输入图像的字母"TAL"放大的图。图193显示在用户没有指示平坦区域和不满意区域的情况下从信 号处理设备4获得的输出图像。如图193中所示，运动模糊从输出图 像中减小(去除)，并且字母"TAL"清晰，图194说明在用户已经对于图192中所示的输入图像指示一次平 坦区域和两次不满意区域的情况下，从信号处理设备4获得的输出图 像。对于图194中所示的输出图像，字母"TAL"与图193中所示的输 出图像相比较清晰。此外，在图194中所示的输出图像中，字母"L" 侧面白色平坦区域的图像质量在图193的情况之上提高。现在，虽然上面已经描述了加权约束条件表达式并改变权重，权 重不仅可以应用于约束条件表达式而且可以应用于模型公式，其权重 被改变。除了在权利要求书中描述的本发明的实施方案之外，上述实施方 案包括关于下面给出的笫一至第六信号处理设备的实施方案。第一信号处理设备包括处理区域设置装置，用于设置数据中的 处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应 的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运 动矢量设置装置，用于设置图像数据中对象的运动矢量，其对应于一 部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型 生成装置，用于模拟处理区域中每个像素的像素值与不存在运动模糊 的每个像素的像素值之间的关系，理解处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢 量而运动时积分所获得的值；正则方程生成装置，用于从处理区域中像素的像素值已经代入由模型生成装置产生的模型中的笫 一公式，以及约束不存在运动模糊的像素之间关系的笫二公式中产生正则方程；权重改变装置，用于根据用户输入改变关于第一或第二公式的一部分的权重；以及现实世界估计装置，用于通过计算从其权重已经由权童 改变装置改变的第一或第二公式中产生的正则方程，来估计不存在运 动模糊的每个像素的像素值。第二信号处理设备，除了第一信号处理设备的特征之外，其还包 括显示装置，用于显示处理区域中像素的像素值，以及运动模糊中 像素的像素值的至少一个；其中权重改变装置对于显示在显示装置上 的每个像素的像素值，与用户输入相对应地改变第 一或第二公式的权 重。笫三信号处理设备，其中，除了第二信号处理设备的特征之外， 权重改变装置改变权重使得与根据用户输入的像素相对应的第 一或第 二公式的权重增加，并且其中现实世界估计装置通过计算从权重已经 改变的第一或第二公式中产生的正则方程来估计不具有运动模糊的像 素的像素值。第四信号处理设备，其中，除了第二信号处理设备的特征之外， 权重改变装置对于与根据用户输入的像素相对应的第一或第二公式设 置多个权重，并且其中现实世界估计装置通过计算从多个权重已经设 置的第一或第二公式中产生的多个正则方程的每个来估计不具有运动 模糊的像素的多个像素值，并且其中显示装置显示由现实世界估计装 置估计的不具有运动模糊的像素的多个像素值。第五信号处理设备，除了第二信号处理设备的特征之外，其还包 括特征检测装置，用于根据用户输入检测像素特征；以及像素选取 装置，用于选取具有与由特征检测装置检测的特征相类似的特征的像 素；其中权重改变装置改变权重使得与根据用户输入的像素相对应的 笫 一或笫二公式的权重增加，并且其中现实世界估计装置通过计算从权重已经改变的第一或笫二公式中产生的正则方程来估计不具有运动 模糊的像素的像素值。笫六信号处理设备，除了第二信号处理设备的特征之外，其还包 括特征检测装置，用于根据用户输入检测多个像素特征；以及像素选取装置，用于选取具有与由特征检测装置检测的多个特征的每个相类似的特征的像素；其中权重改变装置改变与具有类似于多个类型特 征的特征的像素相对应的第一或第二公式的权重，并且其中现实世界 估计装置通过计算从权重已经关于多个类型特征的每个而改变的第一 或第二公式中产生的多个正则方程的每个来估计不具有运动模糊的像 素的多个像素值，并且其中显示装置显示由现实世界估计装置估计的 不具有运动模糊的像素的多个像素值。上述实施方案也包括关于下面给出的信号处理方法、程序和记录 介质的实施方案。一种信号处理方法、程序和记录介质包括处理区域设置步骤， 用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个 具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一 部分已经丢失；运动矢量设置步骤，用于设置图像数据中对象的运动 矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信 号的连续性；模型生成步骤，用于模拟处理区域中每个像素的像素值 与不存在运动模糊的每个像素的像素值之间的关系，理解处理区域中 每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素 值在对应于运动矢量而运动时积分所获得的值；正则方程生成步骤， 用于从处理区域中像素的像素值已经代入在模型生成步骤中产生的模 型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公 式中产生正则方程；权重改变步骤，用于才艮据用户输入改变关于第一 或第二公式的一部分的权重；以及现实世界估计步骤，用于通过计算 从其权重已经在权重改变步骤中改变的第一或第二公式中产生的正则 方程，来估计不存在运动模糊的每个像素的像素值.工业适用性如上所述，根据本发明，更接近真实世界信号的图像等可以获得。
权利要求
1、一种信号处理设备，包括处理区域设置单元，其被配置为设置图像数据内的处理区域，在该图像数据中真实世界光信号已经被投影到每个均具有时间积分效应的多个像素中，由此真实世界光信号的一部分连续性已丢失；运动矢量设置单元，其被配置为设置所述图像数据内的对象的运动矢量，该运动矢量与对于所述图像数据已丢失其一部分连续性的真实世界光信号的连续性相对应；模型生成器，其被配置为模拟所述处理区域内的每个像素的像素值与还未出现运动模糊的每个像素的像素值之间的关系，假定所述处理区域内的每个像素的像素值是对未出现与所述对象相对应的运动模糊的每个像素的像素值在与所述运动矢量相对应地运动时进行积分而得到的值；正则方程生成器，其被配置为，关于由所述模型生成器生成的模型，从所述处理区域内的每个像素的像素值被赋值的第一公式以及约束还未出现所述运动模糊的每个像素之间的关系的第二公式生成正则方程；权重改变单元，其被配置为根据用户输入改变所述第一公式或所述第二公式的一部分的权重；以及真实世界估计单元，其被配置为通过计算从其权重被所述权重改变单元改变的所述第一公式或所述第二公式生成的所述正则方程，来估计还未出现所述运动模糊的每个像素的像素值。
2、根据权利要求l所述的信号处理设备，还包括显示器，其被配置为显示所述处理区域内的每个像素的像素值或还未出现所述运动模糊的每个像素的像素值中的至少一个；其中所述权重改变单元被配置为，对于由所述显示器显示的每个像素的像素值，根据所述用户输入来改变对应于像素的所述第 一公式或所述第二公式的权重。
3、 根据权利要求2所述的信号处理设备，其中 所述权重改变单元被配置为根据所述用户输入改变权重以增加对应于像素的所述第一公式或所述第二公式的权重；并且其中所述真实世界估计单元被配置为通过计算从所述权重被改 变的所述第一公式或所述第二公式中生成的所述正则方程，来估计还 未出现所述运动模糊的每个像素的像素值。
4、 根据权利要求2所述的信号处理设备，其中 所述权重改变单元被配置为根据所述用户输入来改变对应于像素的所述第一公式或所述第二公式的多个权重；并且其中所述真实世界估计单元被配置为通过计算从所述多个权重被改变的所述第 一公式或所述第二公式中分别生成的多个所述正则方程中的每一个来估计还未出现所述运动模糊的所述多个像素中的每一个的像素值；并且其中所述显示器被配置为显示由所述真实世界估计单元估计出的还未出现运动模糊的所述多个像素中的每一个的像素值。
5、 根据权利要求2所述的信号处理设备，还包括 特征检测器，其被配置为根据所述用户输入来检测像素特征；以及像素提取器，其被配置为提取具有与由所述特征检测器检测到 的特征相似的特征的像素；其中所述权重改变单元被配置为改变权重以增加与由所述像素提取器提取的像素相对应的所述第一公式或所述第二公式的权重；并且其中所述真实世界估计单元被配置为通过计算从所述权重被改 变的所述第一公式或所述第二公式中生成的所述正则方程来估计还未出现所述运动模糊的每个像素的像素值。
6、 根据权利要求2所述的信号处理设备，还包括特征检测器，其被配置为根据所述用户输入来检测像素的多个 类型的特征；以及像素提取器，其被配置为提取具有与由所述特征检测器关于所' 其中所述权重改变单元被配置为改变与具有与所述多个类型的 特征中的每个类型的特征相似的特征的像素相对应的所述第一公式或所述第二公式的权重；其中所述真实世界估计单元被配置为通过计算从所述权重已经 针对所述多个类型的特征中的每个类型改变的所述第一公式或所述第 二公式中生成的所述正则方程，来估计还未出现所述运动模糊的所述 多个类型的像素中的每个像素的像素值；并且其中所述显示器被配置为显示由所述真实世界估计单元估计出 的、还未出现所述运动模糊的所述多个像素中的每个像素的像素值。
7、 一种信号处理方法，包括处理区域设置步骤，用于设置图像数据内的处理区域，在该图 像数据中真实世界光信号已经被投影到每个均具有时间积分效应的多 个像素中，由此真实世界光信号的一部分连续性已丢失；运动矢量设置步骤，用于设置所述图像数据内的对象的运动矢 量，该运动矢量与对于所述图像数据已丢失一部分连续性的真实世界 光信号的连续性相对应；模型生成步骤，用于生成处理区域内的每个像素的像素值与还 未出现运动模糊的每个像素的像素值之间的关系模型，假定所述处理 区域内的每个像素的像素值是对未出现与所述对象相对应的运动模糊 的每个像素的像素值在与所述运动矢量相对应地运动时进行积分而得到的值；正则方程生成步骤，用于关于由所述模型生成步骤生成的模型 ，从所述处理区域内的每个像素的像素值已被赋值的第 一公式以及约 束还未出现所述运动模糊的每个像素之间的关系的第二公式生成正则方程；权重改变步骤，用于根据用户输入改变所述第一公式或所述第 二7>式的一部分的权重；以及真实世界估计步骤，用于通过计算从权重被所述权重改变步骤 改变的所述第一公式或所述第二公式生成的所述正则方程，来估计还 未出现所述运动模糊的每个像素的像素值。
全文摘要
本发明提供一种能够获得近似真实世界信号的图像的信号处理设备、信号处理方法、程序以及记录介质。对于具有投影的真实世界光信号以及比真实世界光信号的维度数目小的维度数目的输入图像，其稳定性部分缺乏，真实世界信号根据在稳定性设置部件(10002)中设置的稳定性从由真实世界信号估计部件(10003)中的处理区域设置部件(10001)设置的处理区域中的输入图像中估计。另一方面，根据用户操作，关于处理区域、稳定性和真实世界信号中至少一个的信息从用户接口(10006)提供给处理区域设置部件(10001)、稳定性设置部件(10002)，或真实世界估计部件(10003)。本发明可以应用于例如将运动模糊从图像中去除的情况。
文档编号G06T7/60GK101290677SQ20081008547
公开日2008年10月22日 申请日期2004年6月15日 优先权日2003年6月27日
发明者吉川和志, 小久保哲志, 尾花通雅, 白木寿一, 笠间英雄, 近藤哲二郎, 金丸昌宪 申请人:索尼株式会社