信号处理装置、方法及程序的制作方法

专利名称：信号处理装置、方法及程序的制作方法
技术领域：
本发明涉及信号处理装置、方法及程序，尤其涉及考虑从其获取 数据的现实世界的信号处理装置、方法和程序。
背景技术：
利用传感器检测现实世界(真实世界)中的现象并处理从传感器 输出的采样数据的技术得到了广泛使用。例如，这样的图像处理技术 得到了广泛的使用，其中利用成像传感器成像现实世界并处理作为图 像数据的采样数据。另外，日本未审查专利申请乂>开号2001 -250119中/>开了通过 利用传感器检测第一信号获得比第一维的维数低的第二维，所述第一信号是具有第一维的现实世界信号；获得第二信号，该第二信号包括 相对于第一信号的畸变；以及，基于第二信号进行信号处理，从而产 生比第二信号具有减轻的畸变的第三信号。然而，用于从第二信号估计第一信号的信号处理还没有考虑这样 的事实，即通过作为具有第一维的现实世界的信号的第一信号产生的、 比第一维的维数低的第二维的、其中丢失了现实世界信号的部分连续 性的第二信号具有对应于已经丢失的现实世界信号的稳定性的数据连 续性。发明内容本发明考虑上述情况而获得，本发明的一个目的是考虑从其获得数据的现实世界，从获得相对于现实世界的现象更准确和更精确的处 理结果。根据本发明的信号处理装置包括数据连续性检测装置，用于检 测第二信号的数据连续性，所述第二信号具有维数低于第一维的第二 维，所述第一维为第一信号所具有，所述第一信号为现实世界信号， 并被投影从而丟失了所述现实世界信号的部分连续性，所述将要检测 的连续性对应于已经丢失的所述现实世界信号的连续性；以及现实世 界估计装置，用于基于由所述数据连续性检测装置检测的所述数据连 续性，通过估计已经丢失的所述现实世界信号的连续性而估计所述第 一信号。数据连续性检测装置可检测由多个像素构成的图像数据的数据 连续性，从所述多个像素丢失了所述现实世界光信号的部分连续性， 并且所述多个像素为所述第二信号，其通过将作为所述第一信号的现实世界光信号投影到每个具有时间空间积分效应的多个检测单元上而 获得；其中所述现实世界估计装置基于由所述数据连续性检测装置检测的所述数据连续性，产生模拟表示所述现实世界光信号的第一函数 的第二函数。所迷现实世界估计装置基于由所述数据连续性检测装置检测的 所述数据连续性，通过假设在对应于所述图像数据的时间空间方向中 的至少一维方向上的位置的所述像素的像素值为通过在所述至少一维 方向上的积分效应获取的像素值而模拟所述图像数据产生模拟表示所 述现实世界光信号的第一函数的第二函数。现实世界估计装置通过假设对应于所述图像数据的时间空间方 向中的一维方向上的位置的所述像素的像素值为通过在所述一维方向 上的积分效应获取的像素值而模拟所述图像数据产生模拟表示所述现 实世界光信号的第一函数的第二函数，所述一维方向对应于由所述数 据连续性检测装置检测的所述数据连续性。所述现实世界估计装置通过假设对应于沿所述至少一维方向离 参考点预定距离的每个像素的像素值为通过在所述至少一维方向上的积分效应获取的像素值而模拟所述图像数据而产生模拟表示所述现实 世界光信号的第一函数的第二函数，所述至少一维方向对应于由所述 连续性检测装置检测的所述数据连续性。所述信号处理装置还可包括像素值产生装置，用于通过以希望的 增量在所述至少一维方向上积分由所述现实世界估计装置产生的所述 第二函数，而产生对应于希望大小的像素的像素值。像素值产生装置通过以对应于所述每个像素的增量在所述至少一维方向上积分所述第二函数而产生像素值；其中，所述信号处理装 置还包括输出装置，用于检测由所述像素值产生装置产生的像素值和 构成所述图像数据的多个像素的像素值之间的差值，并根据所述差值 选择性地输出所述第二函数。所述现实世界估计装置通过假设对应于所述图像数据的时间空 间方向中的至少二维方向上的位置的所述像素的像素值为通过在所述 至少二维方向上的积分效应获取的像素值，而通过利用多项式模拟所述图像数据而产生模拟表示所述现实世界光信号的第一函数的第二函 数，所述至少二维方向对应于由所述数据连续性检测装置检测的所述 数据连续性。所述现实世界估计装置通过假设对应于沿所述至少二维方向离 参考点预定距离的像素的像素值为通过在所述至少二维方向上的积分 效应获取的像素值，利用多项式模拟所述图像数据而产生模拟表示所 述现实世界光信号的第一函数的第二函数，所述至少二维方向对应于 由所述连续性检测装置检测的所述数据连续性的。所述信号处理装置还可包括像素值产生装置，用于通过以希望的 增量在所述至少二维方向上积分由所述现实世界估计装置产生的所述 第二函数，而产生对应于希望大小的像素的像素值。根据本发明的信号处理方法，包括数据连续性检测步骤，用于 检测第二像素的数据连续性，所述第二像素具有低于第一维的第二维， 所述第一维为第一信号所具有，所述第一信号为现实世界信号，并被 投影从而丟失了所述现实世界信号的部分连续性，所述将要检测的连续性对应于已经丢失的所述现实世界信号的连续性；以及现实世界估 计步骤，用于基于由所述数据连续性检测步骤检测的所述数据连续性， 通过估计已经丢失的所述现实世界的连续性而估计所述第一信号。根据本发明的程序使计算机执行如下步骤，所述步骤包括数据 连续性检测步骤，用于检测第二信号的数据连续性，所述第二信号具 有低于第一维的第二维，所述第一维为第一信号所具有，所述第一信 号为现实世界信号，并被投影从而丟失了所述现实世界信号的部分连 续性，所述将要检测的连续性对应于已经丟失的所述现实世界信号的 连续性；以及现实世界估计步骤，用于基于由所述数据连续性检测步 骤检测的所述数据连续性，通过估计已经丢失的所述现实世界信号的 连续性而估计所述第一信号。


图1示出了本发明的原理；图2是示出信号处理装置的结构实例的方框图；图3是示出信号处理装置的方框图；图4示出了常规图像处理装置的处理原理；图5示出了本发明图像处理装置的处理原理；图6详细示出了本发明原理；图7详细示出了本发明原理；图8示出了图像传感器上的像素布置的实例；图9示出了作为CCD的检测装置的操作；图10示出了被投影到对应于像素D到F的检测元件上的光与像 素值之间的关系；图ll示出了经过时间、被投影到对应于一个像素的检测元件上 的光以及像素值之间的关系；图12示出了现实世界中线形对象的图像实例；图13示出了通过实际图像拍摄获得的图像数据的像素值的实例；图14是图像数据的示意图；图15示出了具有不同于背景颜色的单色的线形的现实世界1的 图像的实例；图16示出了通过实际图像拍摄获得的图像数据的像素值的实例；图17是图像数据的示意图；图18示出了本发明原理；图19示出了本发明原理；图20示出了产生高分辨率数据的实例；图21示出了通过模型进行的模拟；图22示出了具有M块数据的模型的估计；图23示出了现实世界信号和数据之间的关系；图24示出了在产生表达时的关注数据的实例；图25示出了用于现实世界中的两个对象的信号、以及在产生表 达时属于混合区域的值；图26示出了由公式(18)、公式(19)以及公式(20)表示的 连续性；图27示出了从数据选取的M块数据的实例； 图28示出了其中获得作为数据的像素值的区域； 图29示出了在空间-时间方向中对像素位置的模拟； 图30示出了在数据中的时间方向和二维空间方向上对现实世界 的信号的积分；图31示出了在产生具有空间方向中更高分辨率的高分辨率数据 时的积分区域；图32示出了在产生具有时间方向中更高分辨率的高分辨率数据 时的积分区域；图33示出了在除去由于移动引起的模糊而产生高分辨率数据时 的积分区域；图34示出了在产生具有空间方向中更高分辨率的高分辨率数据 时的积分区域；图35示出了输入图像的原始图像；图36示出了输入图像的实例；图37示出了通过应用常规类型分类适应处理获得的图像； 图38示出了对具有细线的区域的检测结果； 图39示出了从信号处理装置输出的输出图像的实例； 图40是示出利用信号处理装置的信号处理的流程图； 图41是示出数据连续性检测单元的结构的方框图； 图42示出了在背景前具有细线的现实世界中的图像； 图43示出了利用平面对背景的模拟； 图44示出了其上投影有细线图像的图像数据的截面形状； 图45示出了其上投影有细线图像的图像数据的截面形状； 图46示出了其上投影有细线图像的图像数据的截面形状； 图47示出了检测峰值和检测单调增/减区域的处理； 图48示出了检测这样的细线区域的处理，其中峰值的像素值超 过阈值，而其相邻像素的像素值等于或小于阈值；图49示出了在由图48中的点线AA，表示的方向上排列的像素的像素值；图50示出了检测单调增/减区域中的连续性的处理；图51示出了其中通过在平面上的模拟选取连续性分量的图像的实例；图52示出了对单调减小的区域的检测结果；图53示出了其中被检测出连续性的区域；图54示出了其中检测出连续性的区域上的像素值；图55示出了用于检测其中被投影了细线图像的区域的另一处理实例；图56是示出连续性检测处理的流程图；图57示出了用于在时间方向上检测数据连续性的处理；图58是示出非连续性分量选取单元的结构的方框图；图59示出了排除的次数；图60示出了输入图像的实例；图61示出这样的图像，其中取作为没有排除的平面模拟的结果获得的标准误差为像素值；图62示出了这样的图像，其中取作为具有排除的平面模拟的结果获得的标准误差为像素值；图63示出了其中取排除次数为像素值的图像；图64示出了其中取平面的空间方向X上的梯度为像素值的图像;图65示出了其中取平面的空间方向Y上的梯度为像素值的图像;图66示出了由平面模拟值形成的图像；图67示出了由平面模拟值与像素值之差形成的图像；图68是示出用于选取非连续性分量的处理的流程图；图69是示出用于选取连续性分量的处理的流程图；图70是示出用于选取连续性分量的其它处理的流程图；图71是示出用于选取连续性分量的再一处理的流程图；图72是示出连续性分量选取单元的另一结构的方框图；图73示出了具有数据连续性的输入图像上的活度；图74示出了用于检测活度的块；图75示出了数据连续性相对于活度的角度；图76是示出数据连续性检测单元的详细结构的方框图；图77示出了一组像素；图78示出了像素组的位置与数据连续性角度的关系；图79是示出用于检测数据连续性的处理的流程图；图80示出了在检测在时间方向和空间方向上的数据连续性的角度时选取的一组像素；图81是示出数据连续性检测单元的另一详细结构的方框图； 图82示出了由对应于设置直线的角度范围的个数的像素构成的一组像素；图83示出了设置直线的角度范围；图84示出了设置直线的角度范围、像素组数、以及每个像素组 的像素个数；图85示出了像素组数和每个像素组的像素个数；图86示出了像素组数和每个像素组的像素个数；图87示出了像素组数和每个像素组的像素个数；图88示出了像素组数和每个像素组的像素个数；图89示出了像素组数和每个像素组的像素个数；图90示出了像素组数和每个像素组的像素个数；图91示出了像素组数和每个像素组的像素个数；图92示出了像素组数和每个像素组的像素个数；图93是示出用于检测数据连续性的处理的流程图；图94是示出数据连续性检测单元的另一详细结构的方框图；图95是示出数据连续性检测单元的再一详细结构的方框图；图96示出了块的实例；图97示出了用于计算关注块和参考块之间的像素值之差的绝对 值的处理；图98示出了关注像素附近的像素的位置与具有角度e的直线之 间在空间方向X上的距离；图99示出了平移量Y和角度e之间的关系；图100示出了相对于平移量Y，关注像素附近的像素的位置与经 过关注像素并具有角度e的直线之间在空间方向X上的距离；图101示出了这样的参考块，其中相对于经过关注像素并具有角 度e的直线在空间方向X轴上的距离最小；图102示出了用于平分将要检测的数据连续性的角度的范围的处理；图103是示出用于检测数据连续性的处理的流程图； 图104示出了在检测空间方向和时间方向中的数据连续性的角度 时选取的块；图105是示出数据连续性检测单元的结构的方框图，所述单元执 行基于输入图像的分量信号检测数据连续性的处理；图106是示出数据连续性检测单元的结构的方框图，所述单元执行基于输入图像的分量信号检测数据连续性的处理；图107是示出数据连续性检测单元的另一结构的方框图； 图108示出了输入图像中以参考轴为参考的数据连续性的角度； 图109示出了输入图像中以参考轴为参考的数据连续性的角度； 图iio示出了输入图像中以参考轴为参考的数据连续性的角度； 图iii示出了像素值相对于空间方向中的像素的位置的变化与输入图像中的回归线之间的关系；图112示出了回归线A与表示空间方向X的轴之间的角度，所述轴例如为参考轴；图113示出了区域的实例；图114是示出用于利用具有图107所示结构的数据连续性检测单 元检测数据连续性的处理的流程图；图115是示出数据连续性检测单元的另一结构的方框图；图116示出了像素值相对于空间方向中的像素的位置的变化与输 入图4象中的回归线之间的关系；图117示出了标准偏差和具有数据连续性的区域间的关系；图118示出了区域的实例；图119是示出用于利用具有图115所示结构的数据连续性检测单 元检测数据连续性的处理的流程图；图120是示出用于利用具有图115所示结构的数据连续性检测单 元检测数据连续性的其它处理的流程图；图121是示出采用本发明的用于检测细线或二值边缘的角度作为 数据连续性信息的数据连续性检测单元的结构的方框图；图122示出了对数据连续性信息的检测方法；图123示出了对数据连续性信息的检测方法；图124示出了数据连续性检测单元的另一详细结构；图125示出了水平/垂直确定处理；图126示出了水平/垂直确定处理；图127A示出了现实世界中的细线与由传感器成像的细线之间的关系；图127B示出了现实世界中的细线与由传感器成像的细线之间的关系；图127C示出了现实世界中的细线与由传感器成像的细线之间的关系；图128A示出了现实世界中的细线与背景之间的关系； 图128B示出了现实世界中的细线与背景之间的关系； 图129A示出了由传感器成像的图像中的细线与背景之间的关系；图129B示出了由传感器成像的图像中的细线与背景之间的关系；图130A示出了由传感器成像的图像中的细线与背景之间的关系的实例；图130B示出了由传感器成像的图像中的细线与背景之间的关系的实例；图131A示出了现实世界的图像中的细线与背景之间的关系； 图131B示出了现实世界的图像中的细线与背景之间的关系； 图132A示出了由传感器成像的图像中的细线与背景之间的关系；图132B示出了由传感器成像的图像中的细线与背景之间的关系；图133A示出了由传感器成像的图像中的细线与背景之间的关系的实例；图133B示出了由传感器成像的图像中的细线与背景之间的关系的实例；图134示出了获得细线角度的模型； 图135示出了获得细线角度的模型；图136A示出了对应于关注像素的动态范围块中的像素的最大值 和最小值；图136B示出了对应于关注像素的动态范围块中的像素的最大值 和最小值；图137A示出了如何获得细线角度； 图137B示出了如何获得细线角度； 图137C示出了如何获得细线角度； 图138示出了如何获得细线角度； 图139示出了选取块和动态范围块； 图140示出了最小二乘法求解； 图141示出了最小二乘法求解； 图142A示出了二值边缘； 图142B示出了二值边缘； 图142C示出了二值边缘；图143A示出了由传感器成像的图像的二值边缘；图143B示出了由传感器成像的图像的二值边缘；图144A示出了由传感器成像的图像的二值边缘的实例；图144B示出了由传感器成像的图像的二值边缘的实例；图145A示出了由传感器成像的图像的二值边缘；图145B示出了由传感器成像的图像的二值边缘；图146示出了用于获得二值边缘的角度的模型；图147A示出了用于获得二值边缘的角度的方法； 图147B示出了用于获得二值边缘的角度的方法； 图147C示出了用于获得二值边缘的角度的方法；图148示出了用于获得二值边缘的角度的方法；图149是示出用于检测细线或二值边缘沿数据连续性的角度的处 理的流程图；图150是示出数据选取处理的流程图；图151是示出对正规方程的相加处理的流程图；图152A是比较通过应用本发明获得的细线的梯度与利用相关值 获得的细线的角度的图；图152B是比较通过应用本发明获得的细线的梯度与利用扭关值 获得的细线角度的图；图153A是比较通过应用本发明获得二值边缘的梯度与利用相关 值获得的细线角度的图；图153B是比较通过应用本发明获得的二值边缘的梯度与利用相 关值获得的细线角度的图；图154是示出用于应用本发明检测混合比值作为数据连续性信息 的数据连续性检测单元的结构的方框图；图155A示出了如何获得混合比值；图155B示出了如何获得混合比值；图155C示出了如何获得混合比值；图156是示出检测沿数据连续性的混合比值的处理的流程图；图157是示出对正规方程的相加处理的流程图；图158A示出了细线的混合比值分布的实例；图158B示出了细线的混合比值分布的实例；图159A示出了二值边缘的混合比值分布的实例；图159B示出了二值边缘的混合比值分布的实例；图160示出了对混合比值的线性模拟；图161A示出了用于获得对象的移动作为数据连续性信息的方法；图161B示出了用于获得对象的移动作为数据连续性信息的方法；图162A示出了用于获得对象的移动作为数据连续性信息的方法；图162B示出了用于获得对象的移动作为数据连续性信息的方法；图163A示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；图163B示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；图163C示出了用于获得根据对象的移动的混合比值作为数据连 续性信息的方法；图164示出在获得根据对象的移动的混合比值作为数据连续性信 息时对混合比值的线性模拟；图165是示出了用于应用本发明检测处理区域作为数据连续性信 息的数据连续性检测单元的结构的方框图；图166是示出利用图165所示的数据连续性检测单元检测连续性 的处理的流程图；图167示出了利用图165所示的数据连续性检测单元检测连续性 的处理的积分范围；图168示出了利用图165所示的数据连续性检测单元检测连续性 的处理的积分范围；图169是示出了用于检测本发明所应用到的处理区域作为数据连 续性信息的数据连续性检测单元的另一结构的方框图；图170是示出利用图169所示的数据连续性检测单元检测连续性 的处理的流程图；图171示出了利用图169所示的数据连续性检测单元检测连续性 的处理的积分范围；图172示出了利用图169所示的数据连续性检测单元检测连续性 的处理的积分范围；图173是示出现实世界估计单元102的结构的方框图；图174示出了用于检测现实世界信号中的细线宽度的处理；图175示出了用于检测现实世界信号中的细线宽度的处理；图176示出了用于估计现实世界信号中的细线信号水平的处理；图177是示出估计现实世界的处理的流程图；图178是示出现实世界估计单元的另一结构的方框图；图179是示出边界检测单元的结构的方框图；图180示出了计算分配比值的处理；图181示出了计算分配比值的处理； 图182示出了计算分配比值的处理；图183示出了计算表示单调增/减区域的边界的回归线的处理； 图184示出了计算表示单调增/减区域的边界的回归线的处理； 图185是示出估计现实世界的处理的流程图； 图186是示出边界检测处理的流程图；图187是示出现实世界估计单元的结构的方框图，所述单元估计 空间方向中的导数值作为现实世界估计信息；图188是示出利用图187所示的现实世界估计单元的现实世界估 计处理的流程图；图189示出了参考像素；图190示出了获得空间方向中的导数值的位置；图191示出了空间方向中的导数值与平移量之间的关系；图192是示出现实世界估计单元的结构的方框图，所述单元估计 空间方向中的梯度作为现实世界估计信息；图193是示出利用图192所示的现实世界估计单元的现实世界估 计处理的流程图；图194示出了获得空间方向中的梯度的处理；图195示出了获得空间方向中的梯度的处理；图196是示出现实世界估计单元的结构的流程图，所述单元用于 估计帧方向中的导数值作为现实世界估计信息；图197是示出利用图196所示的现实世界估计单元的现实世界估 计处理的流程图；图198示出了参考像素；图199示出了获得帧方向中的导数值的位置；图200示出了帧方向中的导数值与平移量之间的关系；图201是示出现实世界估计单元的结构的方框图，所述单元估计 帧方向中的梯度作为现实世界估计信息；图202是示出利用图201所示的现实世界估计单元的现实世界估计处理的流程图；图203示出了获得帧方向中的梯度的处理； 图204示出了获得帧方向中的梯度的处理；图205示出了函数模拟的原理，其为图3所示的现实世界估计单元的实施例的实例；图206示出了在传感器为CCD的情况下的积分效应；图207示出了如图206所示的传感器的积分效应的具体实例；图208示出了如图206所示的传感器的积分效应的具体实例；图209示出了图207所示的包括细线的现实世界区域；图210作为图205所示的实例的对比，示出了图3所示的现实世界估计单元的实施例的实例的原理；图211示出了图207所示的包括细线的数据区域；图212示出了其中将图211所示的包括细线的数据区域中包含的每个像素值画成曲线图的图；图213示出了其中将模拟图212所示的包括细线的数据区域中包含的像素值的模拟函数画成曲线图的图；图214示出了图207示出的包括细线的现实世界区域所具有的空间方向中的连续性；图215示出了其中将图211所示的包括细线的数据区域中包含的每个像素值画成曲线图的图；图216示出了其中将图215所示的每个输入像素值平移预定平移量的状态；图217示出了其中考虑空间方向连续性，将模拟图212所示的包括细线的数据区域中包含的像素值的模拟函数画成曲线图的图； 图218示出了空间混合区域；图219示出了模拟空间混合区域中的现实世界信号的模拟函数； 图220示出了其中同时考虑传感器积分特性和空间方向连续性，将模拟对应于图212所示的包括细线的数据区域的现实世界信号的模拟函数画成曲线图的图；图221是示出现实世界估计单元的结构实例的方框图，所述单元 使用具有图205所示的原理的函数模拟技术中的基本多项式模拟；图222是示出具有图221所示结构的现实世界估计单元执行的现 实世界估计处理的流程图；图223示出了分块范围；图224示出了具有空间方向中的连续性的现实世界信号； 图225示出了在传感器为CCD的情况下的积分效应； 图226示出了截面方向中的距离；图227是示出现实世界估计单元的结构实例的方框图，所述单元 使用具有图205所示的原理的函数模拟技术中的二次多项式模拟；图228是示出具有图227所示结构的现实世界估计单元所执行的 现实世界估计处理的流程图；图229示出了分块范围；图230示出时间空间方向中的连续性方向；图231示出了在传感器为CCD的情况下的积分效应；图232示出了具有空间方向中的连续性的现实世界信号；图233示出了具有空间时间方向中的连续性的现实世界信号；图234是示出现实世界估计单元的结构实例的方框图，所述单元 使用具有图205所示的原理的函数模拟技术中的三次多项式模拟；图235是示出具有图234所示结构的现实世界估计单元所执行的 现实世界估计处理的流程图；图236示出了再积分的原理，再积分为图3所示的图像产生单元 的实施例的实例；图237示出了输入像素和用于模拟对应于输入像素的现实世界信 号的模拟函数的实例；图238示出了从图237所示的模拟函数，在图237所示的所述一 个输入像素中产生4个高分辨率像素的实例；图239是示出图像产生单元的结构实例的方框图，所述单元利用 具有图236所示的原理的再积分技术的一维再积分；图240是示出具有图239所示的结构的图像产生单元所执行的图 像产生处理的流程图；图241示出了输入图像的原始图像的实例；图242示出了对应于图241所示的图像的图像数据的实例；图243示出了输入图像的实例；图244示出了对应于图243所示的图像的图像数据的实例； 图245示出了对输入图像进行常规类型分类适应处理获得的图像 的实例；图246示出了对应于图245所示的图像的图像数据的实例；图247示出了对输入图像进行根据本发明的一维再积分技术处理获得的图像的实例；图248示出了对应于图247所示的图像的图像数据的实例；图249示出了具有空间方向连续性的现实世界信号；图250是示出图像产生单元的结构实例的方框图，所述单元使用具有图236所示的原理的再积分技术的二维再积分技术； 图251示出了截面方向中的距离；图252是示出具有图250所示的结构的图像产生单元所执行的图 像产生处理的流程图；图253示出了输入像素的实例；图254示出了利用二维再积分技术，在图253所示的一个输入像 素中产生4个高分辨率像素的实例；图255示出了空间时间方向中的连续性方向；图256是示出图像产生单元的结构实例的方框图，所述单元使用 具有图236所示的原理的再积分技术的三维再积分技术；图257是示出具有图256所示的结构的图像产生单元所执行的图 像产生处理的流程图；图258是示出应用本发明的图像产生单元的另一结构的方框图；图259是示出利用图258所示的图像产生单元的图像产生处理的 流程图；图260示出了从输入像素产生四倍密度像素的处理；图261示出了表示像素值的模拟函数与平移量之间的关系； 图262是示出应用本发明的图像产生单元的另一结构的方框图； 图263是示出利用图262所示的图像产生单元的图像产生处理的 流程图；图264示出了从输入像素产生四倍密度像素的处理；图265示出了表示像素值的模拟函数与平移量之间的关系；图266是示出利用类型分类适应处理校正技术中的一维再积分技术的图像产生单元的结构实例的方框图，所述单元是图3所示的图像产生单元的实施例的实例；图267是示出图266所示的图像产生单元的类型分类适应处理单元的结构实例的方框图；图268是示出图266所示的类型分类适应处理单元、以及用于通过学习确定类型分类适应处理校正单元使用的系数的学习装置的结构实例的方框图；图269是示出图268所示的类型分类适应处理单元的学习单元的 详细结构实例的方框图；图270示出了图267所示的类型分类适应处理单元的处理结果的实例；图271示出了图270所示的预测图像与HD图像之间的差值图像； 图272示出了图270中的HD图像的特定像素值、SD图像的特 定像素值、对应于图271所示的区域中包含的X方向上的6个连续 HD像素中自左4个HD像素的实际波形(现实世界信号)。图273示出了图270中的预测图像与HD图像之间的差值图像； 图274示出了图270中的HD图像的特定像素值、SD图像的特 定像素值、对应于图273所示的区域中包含的X方向上的6个连续 HD像素中自左4个HD像素的实际波形(现实世界信号)。图275示出了基于图272到图274所示的内容获得的结论；图276是示出图266所示的图像产生单元的类型分类适应处理校正单元的结构实例的方框图；图277是示出类型分类适应处理校正单元的学习单元的详细结构 实例的方框图；图278示出了像素内梯度；图279示出了图270所示的SD图像、以及以SD图像的每个像 素的像素内梯度作为其像素值的特征图像； 图280示出了像素内梯度计算方法； 图281示出了像素内梯度计算方法；图282是示出具有266所示结构的图像产生单元所执行的图像产 生处理的流程图；图283是详细示出图282所示的图像产生处理中的输入图像类型 分类适应处理的流程图；图284是详细示出图282所示的图像产生处理中的类型分类适应 处理的校正处理的流程图；图285示出了类型分块阵列的实例；图286示出了类型分类实例；图287示出了预测分块阵列实例；图288是示出图268所示的学习装置的学习处理的流程图；图289是示出图288所示的学习处理中的类型分类适应处理的具 体学习处理的流程图；图290是示出图288所示的学习处理中的类型分类适应处理的具 体学习处理的流程图；图291示出了图270所示的预测图像，以及其中将校正图像加到 预测图像上的图像(通过如图266所示的图像产生单元产生的图像)；图292是示出利用混合技术的信号处理装置的第一结构实例的方 框图，其为图l所示的信号处理装置的实施例的另一实例；图293是示出图292所示的信号处理装置的用于执行类型分类适 应处理的图像产生单元的结构实例的方框图；图294是示出相对于图293所示的图像产生单元的学习装置的结构实例的方框图；图295是示出由具有图292所示的结构的信号处理装置执行的信 号处理的流程图；图296是示出图295所示的信号处理的类型分类适应处理的具体 处理执行的流程图；图297是示出图294所示的学习装置的学习处理的流程图；图298是示出利用混合技术的信号处理装置的笫二结构实例的方 框图，其为图1所示的信号处理装置的实施例的另一实例；图299是示出具有图296所示的结构的信号处理装置所执行的信 号处理的流程图；图300是示出利用混合技术的信号处理装置的第三结构实例的方 框图，其为图1所示的信号处理装置的实施例的另一实例；图301是示出具有图298所示的结构的信号处理装置所执行的信 号处理的流程图；图302是示出利用混合技术的信号处理装置的笫四结构实例的方 框图，其为图l所示的信号处理装置的实施例的另一实例；图303是示出具有图300所示的结构的信号处理装置所执行的信 号处理的流程图；图304是示出利用混合技术的信号处理装置的第五结构实例的方 框图，其为图l所示的信号处理装置的实施例的另一实例；图305是示出具有图302所示的结构的信号处理装置所执行的信 号处理的流程图；图306是示出数据连续性检测单元的另一实施例的结构的方框图；图307是示出利用图306所示的数据连续性检测单元的数据连续 性检测处理的流程图。
具体实施方式
图l示出了本发明原理。如图所示，由传感器2获取在现实世界1中具有例如空间、时间、质量等的事件(现象)，并将其形成数据。 现实世界l中的事件指光(图像)、声音、压强、温度、质量、湿度、 亮度/暗度或动作等。现实世界l中的事件被分布在空间-时间方向上。 例如，现实世界l的图像是现实世界l的光强在空间-时间方向上的分 布。注意传感器2，由传感器2在现实世界1中的具有空间、时间和 质量的维度的事件中，将在现实世界l中可以由传感器2获取的事件 转换成数据3。可以说由传感器2获取表示现实世界1中的事件的信 息。也就是说，传感器2将表示现实世界1中的事件的信息转换成数 据3。可以说成，由传感器2获取作为表示具有例如空间、时间和质 量的维度的现实世界l中的事件(现象)的信息的信号，并将其形成 为数据。下面，将现实世界l中的例如光(图像)、声音、压强、温度、 质量、湿度、亮度/暗度或气味等的事件的分布称为现实世界1的信号， 所述信号是表示事件的信息。另外，作为表示现实世界l的事件的信 息的信号还可以简单地称为现实世界1的信号。在本说明书中，将信 号理解为包括现象和事件，并且还包括这样的事物，其没有传输方面 的目的。从传感器2输出的数据3(检测到的信号)是通过将表示现实世 界l的事件的信息投影到维度比现实世界l低的空间-时间上而获得的 信息。例如，作为移动图像的图像数据的数据3，是通过将现实世界l 的三维空间方向和时间方向上的图像投影到二维空间方向和时间方向 的时空上而获得的信息。另外，在数据3是例如数字数据的情况中， 根据釆样增量对数据3进行舍入。在数据3是模拟数据的情况中，或 者根据动态范围压缩数据3的信息，或者通过限幅器等删除信息的一 部分。从而，通过将示为表示具有预定维数的现实世界l中的事件的信 息的信号投影到数据3上(检测的信号)，减少了表示现实世界l中的事件的信息的一部分。也就是说，从传感器2输出的数据3减少了 表示现实世界l中的事件的信息的一部分。然而，即使由于投影减少了表示现实世界l中的事件的信息的一 部分，数据3也包括用于估计作为表示现实世界1中的事件(现象) 的信息的信号的有用信息。对于本发明，将在数据3中包括的具有连续性的信息用作作为现 实世界l的信息的用于估计信号的有用信息。连续性是新定义的概念。关注现实世界l，现实世界l中的事件包括在预定维度方向上不 变的特征。例如，现实世界l中的对象(有形对象)或者具有在空间 方向或时间方向上连续的形状、图形或颜色，或者具有重复模式的形 状、图形或颜色。因此，表示现实世界l中的事件的信息包括在预定维度方向上不 变的特征。对于更具体的实例，例如线、细绳或粗绳的线形对象具有在长度 方向上即空间方向上的不变的特征，也就是，在长度方向中的任意位 置上的横截面形状是相同的。在长度方向上的任意位置上的横截面形 状相同的在空间方向中的不变的特征来自于线形对象为长形的特征。因此，线性对象的图像具有在长度方向即空间方向上不变的特 征，即在长度方向中的任意位置上的横截面形状是相同的。另外，在空间方向上展开的作为有形对象的单个对象，可以说具 有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。同样，在空间方向上展开的作为有形对象的单个对象的图像可以 说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色 相同。这样，现实世界l (真实世界)中事件具有在预定维度方向上不 变的特征，因此现实世界1的信号具有在预定维度方向上不变的特征。在本说明书中，该在预定维度方向上不变的特征被称为连续性。 现实世界(真实世界)1的信号的连续性表示在预定维度方向上不变 的特征，所述维度方向被表示现实世界(真实世界)1的事件的信号所具有。在现实世界l(真实世界)中存在无数这样的连续性。下面，关注数据3，通过作为表示由传感器2投影的具有预定维 的现实世界1的事件的信息的信号而获得数据3,其包括对应于在真 是世界中的信号的连续性的连续性。可以说，数据3包括其中现实世 界信号的连续性被投影的连续性。然而，如上所述，在从传感器2输出的数据3中，已经丢失了现 实世界1的部分信息，因此丢失了在现实世界1(真实世界)的信号 中包含的部分连续性。换句话说，数据3包括现实世界1 (真实世界)的信号连续性中 的部分连续性作为数据连续性。数据连续性表示数据3具有的在预定 维度方向上不变的特征。对于本发明，将数据3具有的数据连续性用作用于估计作为表示 现实世界l的事件的信息的信号的重要数据。例如，对于本发明，利用数据连续性，通过对数据3的信号处理， 产生已经丟失的表示现实世界l中的事件的信息。现在，在本发明中，利用长度(空间)、时间和质量在空间方向 上或时间方向上的连续性，所述长度、时间和质量是用为表示现实世 界l中的时间的信息的信号的维度。再参考图1，传感器2的形式包括例如数字静物照相机、视频摄 影机等，其拍摄现实世界l的图像，并将作为获取数据3的图像数据 输出到信号处理装置4。传感器2还可以是温度记录装置、利用光致 弹性的压力传感器等。信号处理装置4由例如个人计算机等构成。信号处理装置4被例如如图2所示构成。CPU (中央处理单元) 21执行存储在ROM (只读存储器)22或存储器单元28中的各种处 理顺序程序(processing following program ) 。 RAM (随机存取存储 器)23在适当的时候存储将要由CPU 21执行的程序、数据等。CUP21 、 ROM22和RAM23通过总线24互相连接。在CPU 21上还通过总线24连接输入/输出接口 25。输入/输出接 口 25连接由键盘、鼠标、麦克风等构成的输入装置26、以及由显示 器、扬声器等构成的输出单元27。 CPU21对应于从输入单元26输入 的命令执行各种处理。然后，CPU21输出获得的图像和音频等作为处 理输出单元27的结果。连接输入/输出接口 25的存储单元28由例如硬盘构成，并存储 由CPU21执行的程序和各种数据。通信单元29通过互联网和其它网 络与外部装置通信。在该实例的情况下，通信单元29用作获取单元， 用于采集从传感器2输出的数据3。另外，可以进行这样的设置，其中通过通信单元29获得程序， 并将其存储在存储单元28中。连接输入/输出接口 25的驱动器30驱动磁盘51、光盘52、磁光 盘53、或安装在其中的半导体存储器54等，并获得记录在其中的程 序和数据。当需要时，将获得的程序和数据传输到存储单元28并存储。图3是示出信号处理装置4的方框图。注意，信号处理装置4的功能是由硬件实现或还由软件实现，是 不想关的。也就是说，在本说明书中的方框图可以用为硬件方框图或 用为软件功能方框图。在如图3所示的信号处理装置4中，输入作为数据3的实例的图 像数据，并且从输入图像数据(输入图像)检测数据的连续性。然后， 从检测到的数据连续性估计由传感器2获取的现实世界1的信号。然 后，根据现实世界l的估计信号，生成图像，并输出生成的图像(输 出图像)。也就是说，图3示出了作为图像处理装置的信号处理装置 4的结构。将输入信号处理装置4的输入图像(作为数据3的实例的图像数 据)提供给数据连续性检测单元101和现实世界估计单元102。数据连续性检测单元IOI检测来自输入图像的数据的连续性，并 将表示检测的连续性的数据连续性信息提供给现实世界估计单元102 和图像生成单元103。数据连续性信息包括例如具有数据连续性的像素区域的位置、具有数据连续性的像素的区域的方向(时间方向和空 间方向的角度或梯度)、或具有数据连续性的像素的区域的长度、或输入图像中的类似信息。下面将描述数据连续性检测单元101的详细结构。现实世界估计单元102根据输入图像和从数据连续性检测单元 101提供的数据连续性信息，估计现实世界l的信号。也就是说，现 实世界估计单元102在获取输入图像时估计作为现实世界投射到传感 器2上的信号的图像。现实世界估计单元102将表示对现实世界1的 信号的估计的结果的现实世界估计信息提供给图像生成单元103。下 面将描述现实世界估计单元102的详细结构。图像生成单元103根据从现实世界估计单元102提供的、表示现 实世界1的估计信号的现实世界估计信息生成进一步近似现实世界1 的信号的信号，并输出生成的信号。或者，图像生成单元103根据从 数据连续性检测单元IOI提供的数据连续性信息、和从现实世界估计 单元102提供的表示现实世界1的估计信号的现实世界估计信息生成 进一步近似现实世界l的信号的信号，并输出生成的信号。也就是说，图像生成单元103根据现实世界估计信息生成进一步 近似现实世界l的图像的图像，并输出生成的图像作为输出图像。或 者，图像生成单元103根据数据连续性信息和现实世界估计信息生成 进一步近似现实世界l的图像的图像，并输出生成的图像作为输出图像。例如，图像生成单元103通过根据现实世界估计信息集成在空间 方向或时间方向的希望范围内的现实世界l的估计图像，生成比输入 图像在空间方向或时间放上上具有更高的分辨率的图像，并输出生成 的图像作为输出图像。例如，图像生成单元103通过外推/内插生成图 像，并输出生成的图像作为输出图像。下面将描述图像生成单元103的详细结构。接着将参考图4至7描述本发明的原理。图4描述了利用常规信号处理装置121进行处理的原理图。常规信号处理装置121采用数据3作为处理参考，并以数据3作为处理对 象执行例如增加分辨率等的处理。在常规信号处理装置121中，从未 考虑过现实世界l，并且数据3是最终的参考，从而不能获得超过在 数据3中包含的信息的信息作为输出。另外，在常规信号处理装置121中，没有考虑由于传感器2的任 何数据3中的畸变(作为现实世界l的信息的信号、以及数据3之间 的差异)，从而常规信号处理装置121输出仍包含畸变的信号。另外， 根据由信号处理装置121进行的处理，还进一步放大数据3中存在的 由于传感器2的畸变，并输出包含放大的畸变的数据。从而，在常规的信号处理中，从未考虑过从其获得数据3的现实 世界l(的信号)。换句话说，在常规的信号处理中，认为现实世界l 被包括在数据3包含的信息帧中，从而由数据3中包含的信息和畸变 决定了信号处理的极限。本申请人已经单独地提出了考虑现实世界1 的信号处理，但是这没有考虑下文描述的连续性。相比于此，在根据本发明的信号处理中，明确地考虑现实世界l (的信号)而进行处理。图5示出了在根据本发明的信号处理装置4中的处理的原理图。其中与常规设置相同的是，由传感器2获得作为表示现实世界1 中的事件的信息的信号，并且传感器2输出数据3，在数据3中被投 影有作为现实世界1的信息的信号。然而，在本发明中，由传感器2获得的作为表示现实世界1的事 件的信息的信号被明确地考虑。也就是说，在已知数据3包含由于传 感器2的畸变(作为现实世界1的信息的信号、以及数据之间的差异) 的事实下进行信号处理。从而，在根据本发明的信号处理中，处理结果不会由于包含在数 据3中的信息和畸变而受到约束，并且，例如，对于现实世界l中的 事件，可以获得更精确、并且比常规方法具有更高精度的处理结果。 也就是说，在本发明中，对于输入到传感器2中的、作为表示现实世 界l的事件的信息的信号，可以获得更精确、并且具有更高精度的处理结果。图6和图7更详细地描述了本发明的原理。如图6所示，例如为图像的现实世界的信号，是通过由透镜、光 学LPF (低通滤镜)等构成的光学系统141，在作为传感器2的实例 的CCD(电荷耦合装置)的感光面上的图像。作为传感器2的实例的 CCD具有积分特性，从而在从CCD输出的数据3中生成与现实世界 l的图像差异。下面将详细描述传感器2的积分特性。在根据本发明的信号处理中，明确地考虑由CCD获得的现实世 界1的图像和由CCD的数据取得并输出的数据3之间的关系。也就 是说，明确地考虑数据3与作为由传感器2获得的现实世界的信息的 信号之间的关系。更具体的是，如图7所示，信号处理装置4使用模型161模拟(描 述)现实世界。模型161由例如N个变量表示。更精确的是，模型161 模拟(描述)现实世界l的信号。为了预测模型161，信号处理装置4从数据3提取M页数据162。 当从数据3提取M块数据162时，信号处理装置4使用包含在数据3 中的数据的连续性。换句话说，信号处理装置4根据包含在数据3中 的数据的连续性，提取用于预测模型161的数据162。随后，由数据 的连续性约束模型161。也就是说，模型161模拟(信息(信号)表示)具有连续性(在 预定维度方向上的不变特征)的现实世界中的事件，所述连续性产生 了数据3中的数据连续性。现在，在数据162的数M为N或更大的情况中，所述数是模型 变量的数目，可以从M块数据162预测由N个变量表示的模型161。这样，信号处理装置4通过预测模拟(描述)现实世界l (的信 号)的模型161，可以考虑作为现实世界l的信息的信号。接着，将描述传感器2的积分效应。作为用于拍摄图像的传感器2的图像传感器，例如CCD或CMOS (互补金属氧化物半导体)在成像现实世界时将作为现实世界的信息的信号投影到二维数据上。图像传感器的像素每个都具有预定面积称 为光敏面(光敏区域)。对每个像素积分在空间方向和时间方向上的 到达具有预定面积的光敏面上的入射光，并将所述入射光转换成每个 像素的单个像素值。下面将参考图8至图ll描述对图像的空间-时间积分。 图像传感器对现实世界中的主体(客体)成像，并将获得的图像 数据输出为多个单帧累加成像的结果。也就是说，图^f象传感器获取现 实世界l的信号，所述信号为从现实世界l的主体反射的光，并输出 数据3。例如，图像传感器输出30帧/秒的图像数据。在这种情况下，可 以使图像传感器的膝光时间为1/30秒。曝光时间是图像传感器开始将 入射光转换成电荷到结束将入射光转换成电荷的时间。下文中，还将 膝光时间称为快门时间。图8描述了在图像传感器上的像素阵列的实例。在图8中，A至 I表示各个像素。像素被设置在对应于由图像数据显示的图像的平面 中。在图像传感器上对应于单个像素设置单个检测元件。当图像传感 器拍摄现实世界l的图像时， 一个检测元件对应于构成图像数据的一 个像素输出一个像素值。例如，在检测元件的空间方向X (X坐标) 中的位置对应于由图像数据显示的图像上的水平位置，以及在检测元 件的空间方向Y (Y坐标)中的位置对应于由图像数据显示的图像上 的垂直位置。现实世界l中的光强分布在三维空间方向和时间方向中展开，但 是图像传感器在二维空间方向和时间方向中获取现实世界l的光，并 生成显示在二维空间方向和时间方向中的光强分布的数据3。如图9所示，例如是CCD的检测装置，在对应于快门时间的期 间将投射到光敏面(光敏区域)(检测区域)上的光转换成电荷，并 积累转换的电荷。所述光是现实世界l的信息(信号)，其强度由三 维空间位置和时刻决定。可以由函数F(x，y,z，t)表示现实世界l的光 强分布，其中在三维空间中的位置x、 y、 z,以及时刻t为变量。在检测装置CCD中积累的电荷量近似正比于投射到具有二维空 间范围的整个光敏面上的光强分布、以及光被投射到其上的时间量。 检测装置将从投射到整个光敏面上的光转换的电荷加到在对应于快门 时间的期间已经积累的电荷上。也就是说，检测装置积分投射到具有 二维空间范围的整个光敏面上的光，并累加对应于在对应快门时间期 间积分的光的变化量。还可以认为检测装置具有对空间(光敏面)和 时间(快门时间)的积分效应。通过未示出的电路将在检测装置中积累的电荷转换成电压值，再 将电压值转换成例如数字数据的像素值，并输出为数据3。因此，从 图像传感器输出的各个像素值具有投影到一维空间的值，所述值是积 分现实世界l的信息(信号)的部分的结果，所述现实世界具有关于 快门时间的时间方向、和检测装置的光敏面的空间方向的时空范围。也就是说， 一个像素的象素值被表示为积分F(x，y，t) 。 F(x，y，t) 是表示再检测装置的光敏面上的光强分布的函数。例如，像素值P由 公式(l)表示。在公式(1)中，^表示在检测装置的光敏面的左侧范围上的空间坐标(X坐标)。X2表示在检测装置的光敏面的右侧范围上的空间坐标(X坐标)。在公式(1)中，"表示在检测装置的光敏面的上侧 范围上的空间坐标(Y坐标)。y2表示在检测装置的光敏面的下侧范 围上的空间坐标(Y坐标)。另外，^表示开始将入射光转换成电荷的时刻。t2表示结束将入射光转换成电荷的时刻。注意实际上，从图像传感器输出的图像数据获得的像素值对于整 个帧被校正。图像数据的每个像素值是投射到图像传感器的每个检测元件的 光敏面上的光的积分值，并且，对于被投射到图像传感器上的光，比 检测元件的光面面更微小的现实世界1的光的波形被隐藏在成为积分 值的像素值中。公式(1)下面，在本说明书中，将用预定维表示的作为参考的信号波形简 单称为波形。从而，在空间方向和时间方向中将现实世界l的图像积分为像素 的累加，从而在图像数据中减少了现实世界1的图像的连续性的一部 分，从而在图像数据中只剩下现实世界l的图像连续性的另一部分。 或者，可能有这样的情况，其中在图像数据中包括从现实世界1的图 像的连续性改变的连续性。对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在 空间方向上的积分效应。图10描述了到达对应于像素D至像素F的检测元件的入射光与 像素值之间的关系。图10中的F (x)是表示现实世界l的光强分布 的函数的实例，其中在空间(在检测装置上)X空间方向中的坐标x 为变量。换句话说，F (x)是表示现实世界l的光强分布的函数的实 例，其中空间坐标Y和时间方向不变。在图IO中，L表示检测装置 的光敏面的空间方向X中对应于像素D至像素F的长度。将单个像素的像素值表示为积分F (x)。例如，像素E的像素 值P由公式(2)表示。P= /xX2F(x)dx1 公式(2 )在公式(2)中，^表示对应于像素E的在检测装置的光敏面的 左侧范围上的空间方向X中的空间坐标。X2表示对应于像素E的在检 测装置的光敏面的右侧范围上的空间方向X中的空间坐标。同样，对于由具有积分效应的图像传感器拍摄的图像，将进一步 描述在时间方向上的积分效应。图11描述了经过的时间与到达对应于单个像素的检测元件的入 射光之间的关系，并且图11中的像素值F (t)是表示现实世界1的 光强分布的函数，其中时刻t为变量。换句话说，F (t)是表示现实 世界1的光强分布的实例，其中空间方向Y和空间方向X不变。Ts 表示快门时间。帧弁n-l是在时间上比帧并n靠前的帧，而帧弁n+l是在时间上 在帧弁n后的帧。也就是说，以帧井n-l、帧并n和帧弁n+l的顺序显示 #n-l、帧#11和帧#11+1。注意，在图ll所示的实例中，快门时间ts和帧间隔是相同的。 将单个像素的像素值表示为积分F (x)。例如，将例如帧n的 像素的像素值由公式(3)表示。P = /tt2F(t)dx1 公式(3 )在公式(3)中，^表示开始将入射光转换成电荷的时刻。t2表示 结束将入射光转换成电荷的时刻。下文中，将由传感器2在空间方向的积分效应简单称为空间积分 效应，并将传感器2在时间方向的积分效应简单称为时间积分效应。 另外，将空间积分效应或时间积分效应简单称为积分效应。下面，将描述由具有积分效应的图像传感器获取的数据3中包括 的数据连续性的实例。图12示出了现实世界1的线形对象(例如细线)，即光强分布 的实例。在图12中，附图上侧的位置表示光强(水平)，图中上左侧 的位置表示在空间方向X中的位置，所述空间方向X是图像的空间方 向的一个方向，而图中右侧的位置表示在空间方向Y中的位置，所述 空间方向Y是图像的空间方向的另一个方向。现实世界l的线形对象的图像包括预定连续性。也就是说，图12 中所示的图像具有长度方向中的任意位置上的横截面的形状连续性 (当在垂直于长度方向的方向上的位置变化时的变化水平)。图13示出了通过对应于图12的图像的实际图像拍摄获得的图像 数据的像素值的实例。图14是图13所示的图像数据的模型图。图14所示的模型图是利用图像传感器对线形对象的图像成像而 获得的图像数据的模型图，所述线形对象的直径比每个像素的光敏面 的长度L短，并在偏离图像传感器的像素阵列(像素的垂直或水平阵列)的方向上延伸。当获取图14的图像数据时被投射到图像传感器中 的图像是如图12所示的现实世界1的线形对象的图像。在图14中，图中的上侧位置表示像素值，图中上右侧的位置表 示在空间方向X中的位置，空间方向X是图像的空间方向中的一个方 向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图 像的空间方向的另一个方向。图14中表示像素值的方向对应图12中 的水平的方向，图14中空间方向X和空间方向Y与图12中的所示方 向相同。在利用图像传感器拍摄直径比每个像素的光敏面的长度L窄的 线形对象的图像时，将线形对象在作为图像拍摄结果的图像数据中表 示为多个弧形(半圆)，其具有预定长度，并在例如模型表示中以对 角偏离的方式排列。所述弧形基本具有近似相同的形状。将一个弧形 垂直地形成在一行像素上，或水平地形成在一行像素上。例如，将如 图14所示的一个弧形垂直地形成在一行像素上。从而，通过由例如图像传感器拍摄并获得图像数据，丢失了这样 的连续性，其中现实世界l的线形对象图像的连续性为，在长度方向 的任何位置上在空间方向Y上的横截面相同。也可以说，现实世界l 的线形对象的图像所具有的连续性已经变为这样的连续性，即垂直地 或水平地在一行像素上形成的形状相同的弧形以预定间隔排列。图15示出了对象在现实世界1中的图像，即光强分布的实例， 所述对象具有直边缘并与背景有单色差。在图15中，图中上侧位置表 示光强(水平)，图中上右侧的位置表示空间方向X中的位置，空间 方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方 向Y中的位置，空间方向Y是图像空间方向的另一个方向。具有直边缘并且与背景有单色差的现实世界l的对象的图像包括 预定连续性。也就是说，图15所示的图像的连续性为，在长度方向上 的任意位置上的横截面(对于在垂直于长度方向的方向上的位置的变 化，水平的变化)相同。图16示出了由现实图像拍摄获得的图像数据的像素值的实例，其对应于如图15所示的图像。如图16所示，图像数据为阶形，因为 图像数据由具有像素增量的像素值构成图17是示出如图16所示的图像数据的模型图。图17所示的模型图是用图像传感器拍摄现实世界1的对象的图 像而获得的图像数据的模型图，所述对象具有直边缘并与背景具有单 色差，所述模型图以偏离图像传感器的像素的阵列的方向延伸(像素 的垂直或水平阵列)。在获取如图17所示的图像数据时被投射到图像 传感器中的图像是现实世界l的对象的图像，所述对象如图15所示具 有直边缘并与背景有单色差。在图17中，图中上侧位置表示像素值，图中上右侧的位置表示 空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及 图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方 向的另一个方向。图17中表示#^素值的方向对应于图15中的水平方 向，并且图17中的空间方向X和空间方向Y与图15中相同。在用图像传感器拍摄现实世界l的对象的图像的情况中，所述对 象具有直边缘并与背景有单色差，在作为图像拍摄的结果获得的图像 数据中将直边缘表示为多个爪形，其具有预定长度，并在例如模型表 示中以对角偏离的方式排列。所述爪形具有近似相同的形状。将一个 像素垂直地在一行像素上形成，或水平地在一行像素上形成。例如， 将如图17所示的一个爪形垂直地在一行像素上形成。从而，具有直边缘并与背景有单色差的现实世界l的对象的图像 的连续性在用图像传感器成像而获得的图像数据中丢失，所示连续性 例如为在边缘的长度方向中的任意位置上的横截面形状相同。也可以 说，具有直边缘并与背景有单色差的现实世界1的对象的图像所具有 的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形 成的形状相同的爪形以预定间隔排列。数据连续性检测单元101检测例如作为输入图像的数据3的该数 据连续性。例如，数据检测单元101通过检测在预定维度方向上具有 不变特征的区域而检测数据连续性。例如，数据连续性检测单元101检测这样的区域，其中相同的弧形以不变的间隔排列，如图14所示。 另外，数据连续性检测单元101检测这样的区域，其中相同的爪形以 不变的间隔排列，如图17所示。另外，数据连续性检测单元101通过检测空间方向中的角度(梯 度)而检测数据的连续性，所述角度表示相同形状的阵列。另外，例如，数据连续性检测单元101通过检测空间方向和时间 方向中的角度(移动)而检测数据的连续性，所述角度表示相同形状 在空间方向和时间方向中的阵列。另外，例如，数据连续性检测单元101通过检测在预定维度方向 上具有不变特征的区域的长度而检测数据的连续性。下文中，将数据3中传感器2投影现实世界1的对象的图像的部 分还称为二值边缘，所述对象具有直边缘并与背景有单色差。接着，将更详细地描述本发明原理。如图18所示，在常规信号处理中，从数据3产生例如希望的高 分辨率数据181。相反，在根据本发明的信号处理中，从数据3估计现实世界1， 并根据估计的结果产生高分辨率数据181。也就是说，如图19所示， 从数据3估计现实世界1，并根据考虑数据3估计的现实世界1产生 高分辨率数据181。为了从现实世界1产生高分辨率数据181，需要考虑现实世界l 和数据3之间的关系。例如，考虑为CCD的传感器2如何将现实世 界1投影到数据3上。传感器2 CCD如上所述具有积分特性。也就是说，可以通过用 传感器2的检测装置(如CCD )的检测区域(如光敏面)积分现实世 界l的信号而计算数据3的一个单元(如像素值)。将此应用到高分辨率数据181，可以通过施加处理而获得高分辨 率数据181，其中虚拟高分辨率传感器将从现实世界1到数据3的信 号投影到估计的现实世界1上。换句话说，如图20所示，如果可以从数据3估计现实世界1的信号，通过对虛拟高分辨率传感器的检测元件的每个检测区域积分现实世界l的信号(在时空方向)，可以获得包含在高分辨率数据191 中的一个值。例如，在这样的情况中，其中现实世界l的信号中的变化比传感 器2的检测元件的检测区域的尺寸小，则数据3不能表达现实世界1 中的信号的小变化。因此，通过用比现实世界l的信号中的变化小的 每个区域(在时间-空间方向)积分从数据3估计的现实世界1的信号， 可以获得表示现实世界1的信号变化的高分辨率数据181。也就是说，用相关于虛拟高分辨率传感器的每个检测元件的每个 区域积分估计的现实世界1的信号，使得可以获得高分辨率数据18。在本发明中，图像生成单元103通过在虚拟高分辨率传感器的检 测元件的时间-空间区域积分估计的现实世界l的信号，而生成高分辨 率数据181。接着，在本发明中，为了从数据3估计现实世界1，使用数据3 与现实世界l之间的关系、连续性以及数据3中的空间混合。这里，混合表示数据3中的值，其中混合现实世界l中的两个对 象的信号而获得信号值。空间混合表示由于传感器2的空间积分效应，两个对象的信号在 空间方向上的混合。现实世界l自身由无数的事件构成，因此，为了用数学表达表示 现实世界l自身，例如，需要无数个变量。从数据3不可能预测现实 世界l的所有事件。同样，不可能从数据3预测现实世界1的所有信号。因此，如图21所示，在本实施例中，对于现实世界l的信号， 具有连续性并且可以由函数函数f (x，y，z，t)表达的部分得到关注，并 且用由N个变量表示的模型161模拟现实世界1的信号的可以由函数 f (x,y，z，t)表示并具有连续性的部分。如图22所示，从数据3中的M 块数据162预测模型161。为了可以从M块数据162预测模型161,首先，需要根据连续性用N变量表示模型161，第二，利用N个变量产生表达式，所述表达 式根据传感器2的积分特性表示由N个变量表示的模型161和M块 数据162之间的关系。因为模型161是根据连续性由N个变量表示， 可以说，利用N个变量的表示由N个变量表示的模型161和M块数 据162之间的关系的表达式，描述了现实世界l的信号的具有连续性 的部分与数据3的具有数据连续性的部分之间的关系。换句话说，具有连续性的现实世界l的信号的部分产生了数据3 中的数据连续性，所述部分通过由N个变量表示的模型161模拟。数据连续性检测单元101检测数据3中具有由现实世界1的信号 中具有连续性的部分产生的数据连续性的部分、以及其中产生数据连 续性的部分的特征。例如，如图23所示，在现实世界1的对象的图像中，其中具有 直边缘并与背景有单色差，在图23中由A表示的关注位置上的边缘 具有梯度。图23中的箭头B表示边缘的梯度。预定边缘梯度可以被 表示为与左边轴或与到参考位置的方向所成的角度。例如，可以将预 定边缘梯度表示为空间方向X坐标轴与边缘之间的角度。例如，可以 将预定边缘梯度表示为由空间方向X的长度和空间方向Y的长度表示 的方向。当在传感器2中获得具有直边缘并与背景有单色差的现实世界l 的对象的图像并输出数据3时，在对应于现实世界l的图像中的边缘 的关注位置(A)的位置上，在数据3中排列对应于所述边缘的爪形， 所述关注位置在图23中由"A"表示，并且，在对应于现实世界l的图 像的边缘梯度的方向上，在图23中由"B"表示的梯度的方向上，排列 对应于边缘的爪形。由N个变量表示的模型161模拟在数据3中产生数据连续性的现 实世界l的信号中的部分。在利用N个变量列出表达式时，所述表达式表示由N个变量表 示的模型161与M块数据162之间的关系，使用数据3中被产生有数 据连续性的部分。在该情况下，在如图24所示的数据3中，关注被产生有数据连 续性并属于混合区域的值，用积分现实世界l的信号、等于由传感器 2的检测元件输出的值列出表达式。例如，可以关于被产生有数据连 续性的数据3中的多个值列出多个表达式。在图24中，A表示关注边缘的位置，A，表示对应于现实世界l 的图像中的关注边缘的位置(A)的像素(位置)。现在，混合区域表示数据3中的这样的数据区域，其中混合现实 世界l的两个对象的信号并将其变为一个值。例如，这样的像素值属 于混合区域，其中在数据3中的现实世界l的对象的图像中积分具有 直边缘的对象的图像和背景的图像，所述对象具有直边缘并与背景有 单色差。图25示出了现实世界1中的两个对象的信号以及在列出表达式 的情况下属于混合区域的值。图25的左边示出了对应于现实世界1的两个对象的现实世界1 的信号，所述现实世界具有在空间方向X和空间方向Y中的预定范围， 所述信号在传感器2的单个检测元件的检测区域获取。图25的右边示 出了数据3中的单个像素的像素值P，其中已经由传感器2的单个检 测元件投影图25的左边示出的现实世界l的信号。也就是说，在数据 3中示出了单个像素的像素值P,其中由传感器2的单个检测元件获 取的对应于现实世界l的两个对象的现实世界l的信号已经被投影， 所述现实世界l在空间方向X和空间方向Y上具有预定范围。图25中的L表示现实世界l的信号水平，其在图25中被示为白 色，对应于现实世界1中的一个对象。图25中的R表示现实世界1 的信号水平，其在图25中被示为阴影，对应于现实世界l中的另一个 对象。这里，混合比值cc是对应于被投射到传感器2的一个检测元件的 检测区域中的两个对象的信号(面积)比值，所述传感器2在空间方 向X和空间方向Y上具有预定范围。例如，混合比值a表示被投射到 到传感器2的 一个检测元件的检测区域中的水平L信号的面积与传感器2的一个检测元件的检测区域的面积的比值，所述传感器2在空间 方向X和空间方向Y上具有预定范围。在该情况下，水平L、水平R和像素值P之间的关系可以表达为 公式(4 )。"XL+ (1-a) XR = P 公式U) 注意，可能存在这样的情况，其中可以取水平R作为数据3中位 于关注像素右侧的像素的像素值，从而可能存在这样的情况，其中可 以取水平L作为数据3中位于关注像素左侧的像素的像素值。另外，对于混合值a和混合区域，可以以与空间方向相同的方式 考虑时间方向。例如，在其中作为图像拍摄对象的现实世界l中的对 象正移向传感器2的情况中，被投射到传感器2的单个检测元件的检 测区域中的两个对象的信号的比值在时间方向上变化。关于其的比值 在时间方向上变化、已经被投射到传感器2的单个检测元件的检测区 域中的两个对象的信号通过传感器2的检测元件被投影到数据3的单 个值上。由于传感器2的时间积分效应，两个对象的信号在时间方向上的 混合-皮称为时间混合。数据连续性检测单元101检测数据3中这样的像素区域，其中已 经被投影有例如现实世界l中的两个对象的现实世界l的信号。数据 连续性检测单元101对应于例如现实世界1中的图像边缘的梯度检测 数据3中的梯度。现实世界估计单元102通过如下估计现实世界的信号，其中，基 于例如具有由数据连续性检测单元101检测的预定混合比值a、和区 域梯度的像素区域，列出利用N个变量的表达式，所述表达式表示由 N个变量表示的模型161与M块数据162之间的关系；并求解所列出 的表达式。下面将描述对现实世界1的具体估计。在由函数F (x，y，z，t)表示的现实世界的信号中，考虑用由在空 间方向X中的位置x、在空间方向Y中的位置y以及时刻t确定的模拟函数f (x,y，t)来模拟在空间方向Z中的横截面上(传感器2的位 置)由函数F (x，y，t)表示的现实世界的信号。现在，传感器2的检测区域具有在空间方向X和空间方向Y中 的范围。换句话说，模拟函数f (x，y，t)是模拟由传感器2获取的具有 在空间方向和时间方向中的范围的现实世界1的信号的函数。可以说，现实世界l的信号的投影获得数据3的值P (x，y，t)。 数据3的值P (x，y，t)是例如图像传感器传感器2输出的像素值。现在，在可以公式化通过传感器2的投影的情况中，可以将通过 投影模拟函数f (x，y，t)所获得的值表示为投影函数S (x，y，t)获得投影函数S (x，y，t)具有下面的问题。首先，通常，表示现实世界1的信号的函数F (x，y，z,t)可以是 具有无限阶数的函数。第二，即使可以将现实世界的信号描述为函数，通常不能确定借 助传感器2的投影的投影函数S (x，y，t)。也就是说，传感器2的投 影的动作，换句话说，传感器2的输入信号与输出信号之间的关系是 未知的，所以不能确定投影函数S (x，y，t)对于第一个问题，考虑用可描述函数(即具有有限阶数的函数) fi (x，y，t)与变量Wj的乘积的和表达模拟现实世界1的信号的函数f (x，y，t)另外，对于第二个问题，传感器2的公式化投影允许从对函数fi(x，y，t)的描述来描述Sj (x，y，t)。也就是说，用函数fi(x，y，t)与变量Wi的乘积的和表达模拟现实世界l的信号的函数f (x，y，t)，则可以获得公式(5)。Nf(x，y,t) = ! Wifj(x,y,t)1=1 公式(5)例如，如公式(6)所示，通过公式化传感器2的投影，从公式 (5)可以公式化如公式(7)所示的数据3与现实世界的信号之间的 关系。Si(x，y，t) -"Jfj(x，y,t)dxdydt 公式("NPj(Xj，yj,tj) = ; WiSj(Xj,yj，tj)i=1 公式(7)在公式(7)中，j表示数据的指数。在M个数据组(j=l至M )与N个变量Wj (1=1至N )共存于 公式(7)中的情况下，满足公式(8),则可以从数据3获得现实世 界的模型161。n ^ m 公式(8 )N是表示模拟现实世界l的模型161的变量的个数。M是包括在 数据3中的数据块162的个数。用公式(5)表示模拟现实世界l的函数f (x，y，t)允许可以独立 地处理变量部分Wi。这里，I便是变量数。另外，可以独立地处理由 fi表示的函数的形式，并且对于fi可以使用希望的函数。因此，变量Wi的个数N可以不依赖于函数fi而确定，并且可以 从变量Wj的个数N与数据M的块数之间的关系获得变量Wi。也就是说，利用下面三条允许从数据3估计现实世界1。首先，N个变量是确定的。也就是说，公式(5)是确定的。这 使得可以利用连续性描述现实世界1。例如，可以用模型161描述现 实世界l的信号，其中用多项式表达横截面，并且相同的横截面形状 持续在不变的方向上。第二，例如将通过传感器2的投影公式化为表达公式(7)。例 如，这被公式化以使得对现实世界2的信号的积分的结果为数据3。第三，选取M块数据162满足公式(8)。例如，从已经用数据 连续性检测单元101检测的具有数据连续性的区域选取数据162。例 如，选举这样区域的数据162，其中作为连续性的实例持续有不变的 横截面。这样，用公式(5)描述了数据3与现实世界1之间的关系，选 取M块数据162，从而满足公式(8)，从而可以估计现实世界l。尤其是，在N-M的情况中，变量数N和表达式数M相等，从而可以通过公式化模拟方程而获得变量Wj。另外，在]NMVI的情况中，可以使用各种解决方法。例如，可以通过最小二乘法获得变量Wi。现在，将详细描述利用最小二乘法的解决方法。 首先，根据公式(7)可以示出用于从现实世界1预测数据3的 公式(9 )。<formula>formula see original document page 44</formula>卜 公式(9)在公式(9)中，P，j(Xj，"，tj)是预测值。7>式(10 )表示预测值P，与观察之P的方差E的和。E-.i (Pj(Xj.yj'tj)-P，j(Xj.yj.tj))2尸1 公式(IO) 获得这样的变量Wi，使得方差和E最小。因此，对公式(10) 的每个变量Wk的微分值为0。也就是说，公式(11)成立。* - —2 i WiSk(Xj, y」,tj) (Pj (Xj, yj, t』)- ! (Xj, y』,V) = 0公式(11 )公式(11)推出公式(12)。<formula>formula see original document page 44</formula>公式(12)当公式(12)对K-1至N成立时，获得通过最小二乘的解。公 式(13)示出了其正态方程。,IVJ)Vj) f s、(j)Vj)…ivj)s"j)、j-1 j=1 j=1is2(j)Vj) fs2(j)S2(j)，，. ^S2(j)SN(j) j=1 j=1 j=1is,(j) ZsN(j)s2。)... is"j)s"j),j=1 j=1 // 、w2、//J 、ZS，(j)Pj(j) !S2(j)Pj(j)j=1ZS"j)Pj(j),公式(13 )注意，在公式(13)中，将Sj(Xj，yj，tj)描述为Si(j)。s，(j)s，u) i s，(j)s"j)…i s，(j)s"j)、 j-1 j=1 j=1is2(j)s，(j) is2(j)s2(j)…i s2。)sN(j)j=1 j=1 j=lSMAT =、Z s"j)s，(j)z 、Z SN(j)S2(j)j=1Z SN(」')SN(j)j=1公式(14)WMAT =w2公式(15 )<formula>formula see original document page 46</formula>从公式(14 )至公式(16 ),可以将公式(13 )表达为Smat Wmat=Pmat o在公式(13)中，Si表示现实世界l的投影。在公式(13)中， Pj表示数据3。在公式(13)中，Wi表示描述和获得现实世界1的信 号的特征的变量。因此，通过将数据3输入公式(13)并获得矩阵解的WMAT,使 得可以估计现实世界1。也就是说，可以用计算公式(17)估计现实 世界l。w隨=s隨-4隨 公式(17)注意，在Smat不是正則的情况下，可以使用Smat的特置矩降来获得WMAT。现实世界估计单元102通过例如将数据3输入公式(13 )并获得 矩陣解的Wmat等，估计现实世界l。现在，将描述更详细的实例。例如，将用多项式描述现实世界l 的信号的横截面形状，即对于位置变化的水平变化。假设现实世界1 的信号的横截面形状不变，并且现实世界l的信号的横截面以恒定的 速度移动。从传感器2将现实世界1的信号到数据3的投影通过在现 实世界l的信号的时间-空间方向的三维积分而被公式化、现实世界l的信号的横截面以恒定速度移动的假设推出公式(18 ) 和7^式(19 )。<formula>formula see original document page 46</formula>公式(18)<formula>formula see original document page 47</formula>公式(19)这里，Vx和Vy都是不变的。利用公式(18)和公式(19),可以将现实世界l的信号的横截 面形状表示为公式(20)。f(x''y,) "("vxt, y"yt) 公式(20)通过在现实世界1的信号的时间-空间方向的三维积分公式化从 传感器2将现实世界1的信号到数据3的投影，推出公式(21)。<formula>formula see original document page 47</formula> 公式(21)在公式(21)中，S (x，y，t)表示在如下区域上的积分值，所述 区域为，在空间方向X上从位置Xs到位置xe,在空间方向Y上从位 置h到位置ye，以及在时间方向t上从时刻ts到时刻te，即所述区域 被表示为空间-时间立方体。利用确定公式(21)的希望的函数f (x，，y，)求解公式(13)， 使得可以估计现实世界1的信号。下面，将利用在公式(22)中表示的函数作为函数f (x，，y，)的实例。f(x，, y') = w工x' + w2y' + w3=w1(x + vxt) + w2(y + vxt) + w3公式(22)也就是说，将现实世界l的信号估计为包括在公式(18)、公式 (19)以及公式(22)中表示的连续性。这表示，具有恒定形状的横 截面在空间-时间方向中移动，如图26所示。将公式(22 )代入公式(21)推出公式(23 )。200710154345.2说明书第45/384页<formula>formula see original document page 48</formula> 公式(23)其中<formula>formula see original document page 48</formula>成立图27示出了从数据3中选取的M块数据162的实例。例如，可 以说将27个像素值提取作为数据162,并且选取的像素值为Pj( x，y，t )。 在该情况下，j为0至26。在图27的实例中，在这样的情况下，其中对应于在t-n的时刻 上的关注位置的像素的像素值为P13(x，y，t)，并且具有数据连续的像 素的像素值的阵列方向(例如这样的方向，其中排列有由数据连续性 检测单元101检测的形状相同的爪形)是连接P4 (x，y,t) 、 P13(x，y，t) 和p22(x,y，t)的方向，则选取在t-n的时刻上的像素值P9(x，y，t)至 P17 (x，y，t)、在t为先于n的时刻n-l的时刻上的像素值Po ( x，y，O 至P8 ( x，y，t),以及在t为n时刻后的n+l时刻上的像素值P18 ( x，y,t) 至P26 ( x，y,t)。现在，关于其已经获得了从为传感器2的图像传感器输出的数据 3的数据，具有时间方向和二维空间方向的范围，如图28所示。现在， 如图29所示，可以将对应于像素值的立方体的重心(关于其的像素值 已经被获得的区域)用作在空间-时间方向中的像素位置。通过从27个像素值P。 ( x，y，t)至P26 ( x，y，t)和公式(23 )产生 公式(13),并获得W,使得可以估计现实世界l。这样，现实世界估计单元102从27个像素值P。 (x，y，t)至P26 (x，y,t)和公式(23)产生公式(13),并获得W，从而估计现实世 界l的信号。注意，对于函数f (x，y，t)可以使用Gaussian函数、E函数等。 下面将参考图30至图34描述这样的处理的实例，所述处理从估计的现实世界1的信号，产生比数据3的分辨率更高的高分辨率数据181。如图30所示，数据3具有这样的值，其中将现实世界1的信号 在时间方向和二维空间方向上积分。例如，从为传感器2的图像传感 器输出的像素值数据3具有这样的值，其中以在作为时间方向上的检 测时间的快门时间、以及以在空间方向中的检测元件的光敏区域积分 成为被投射到检测装置中的光的现实世界l的信号。相反，如图31所示,通过在时间方向上以与输出数据3的传感 器2的检测时间相同的时间、以及在空间方向上以比输出数据3的传 感器2的检测元件的光敏区域小的区域，积分估计的现实世界1的信 号，而产生在空间方向上分辨率更高的高分辨率数据181。注意，当产生在空间方向上具有更高分辨率的高分辨率数据181 时，可以将在其上积分估计的现实世界1的信号的区域设置为完全脱 离输出数据3的传感器2的检测元件的光敏区域。例如，高分辨率数 据181可以具有这样的分辨率，其为数据3的分辨率在空间方向上放 大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在 空间方向上放大例如5/3倍的比值。另外，如图32所示，通过在空间方向上以与输出数据3的传感 器2的检测元件的光敏区域相同的区域、以及在时间方向上以比输出 数据3的传感器2的检测时间短的时间，积分估计的现实世界l的信 号，而产生在时间方向上分辨率更高的高分辨率数据181。注意，当产生在时间方向上具有更高分辨率的高分辨率数据181 时，可以将在其上积分估计的现实世界l的信号的时间设置为完全脱 离输出数据3的传感器2的检测元件的快门时间。例如，高分辨率数据181可以具有这样的分辨率，其为数据3的分辨率在时间方向上放 大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在 时间方向上i文大例如7/4倍的比值。如图33所示，通过只在空间方向而不在时间方向积分现实世界1 的信号，产生了具有去除移动斑点的高分辨率数据181。另外，如图34所示，通过在空间方向上以比输出数据3的传感 器2的检测元件的光敏区域小的区域，以及在时间方向上以比输出数 据3的传感器2的检测时间短的时间，积分估计的现实世界l的信号， 而产生在时间方向和空间方向上分辨率更高的高分辨率数据181。在该情况下，可以将在其上积分估计的现实世界1的信号的区域 和时间设置为完全不相关于输出数据3的传感器2的检测元件的光敏 区域和快门时间。从而，例如，图像生成单元103通过在希望的空间-时间区域积 分估计的现实世界1的信号，而产生在时间方向和空间方向上分辨率 更高的数据。因此，通过估计现实世界l的信号，可以产生关于现实世界l的 信号更精确、并在时间方向或空间方向具有更高分辨率的数据。下面将参考图35至39描述利用根据本发明的信号处理装置4的 输入图像和处理结果的实例。图35示出了输入图像的原始图像。图36示出了输入图像的实例。 如图36所示的输入图像通过取像素的像素值的平均值作为单个像素 的像素值而产生的图像，所述像素属于由如图35所示的图像的2x2 个像素构成的块。也就是说，输入图像是通过模仿传感器的积分特性 对图35中的图像施加空间方向积分而获得的图像。图35中的原始图像包含从垂直方向顺时针倾斜约5度的细线的 图像。同样，图36中的输入图像包含从垂直方向顺时针倾斜约5度的 细线的图像。图37示出了通过对图36的输入图像施加常规分类适应处理而获 得的图像。这里，分类处理由分类处理和适应处理构成，其中由分类调节处理根据数据的种类分类数据，并对每一类的数据进行适应处理。 在适应处理中，通过利用预定拍系数进行映射，将例如低图像质量或 标准图像质量图像转换成高图像质量图像。可以理解，在图37所示的图像中，细线的图像与图35中的原始 图像的细线不同。图38示出了由数据连续性检测单元101从图36中的实例所示的 输入图像检测细线区域的结果。在图38中，白色区域表示细线区域， 即其中排列由如图14所示的弧形的区域。图39示出了从根据本发明的信号处理装置4输出的输出图像的 实例，其以图36所示的图像为输入图像。如图39所示，根据本发明 的信号处理装置4获得了更接近图35中的原始图像的细线图像的图 像。图40是描述利用根据本发明的信号处理装置4处理信号的流程图。在步骤S101中，数据连续性检测单元101执行检测连续性的处 理。数据连续性检测单元101检测包含在成为数据3的输入图像中的 数据连续性，并将表示检测的数据连续性的数据连续性信息提供给现 实世界估计单元102和图像生成单元103。数据连续性检测单元101检测对应于现实世界的信号的连续性的 数据的连续性。在步骤S101的处理中，由数据连续性检测单元101 检测的数据连续性或者是包含在数据3中的现实世界l的图像的连续 性的一部分，或者是从现实世界l的信号的连续性变化的连续性。数据连续性检测单元101通过在预定维度方向上检测具有恒定特 征的区域，而检测数据连续性。另外，数据连续性检测单元IOI通过 检测表示相同形状的阵列的空间方向中的角度(梯度)而检测数据连 续性。在后文中将描述在步骤S101中的连续性检测处理的细节。 注意，可以将数据连续性信息用作表示数据3的特征的特征。 在步骤S102中，现实世界估计单元102执行估计现实世界的处估计单元102根据输入图像和从数据连续性 检测单元IOI提供的数据连续性信息，根据现实世界的信号。在例如 步骤S102的处理中，现实世界估计单元102通过预测模拟(描述)现 实世界1的模型161，估计现实世界1的信号。现实世界估计单元102 将表示现实世界1的估计信号的现实世界估计信息提供给图像生成单 元103。例如，现实世界估计单元102通过预测线形对象的宽度估计现实 世界1。另外，例如，现实世界估计单元102通过预测表示线形对象 的颜色的水平估计现实世界l的信号。在后文中将描述在步骤S102中估计现实世界的处理细节。注意，可以将现实世界估计信息用作表示数据3的特征的特征。在步骤S103中，图像生成单元103执行图像生成处理，并且所 述处理结束。也就是说，图像生成单元103根据现实世界估计信息生 成图像，并输出生成的图像。或者，图像生成单元103根据数据连续 性信息和现实世界估计信息生成图像，并输出生成的图像。例如，在步骤S103的处理中，图像生成单元103根据现实世界 估计信息，积分模拟在空间方向中生成的现实世界的光信号的函数， 从而生成比输入图像在空间方向上具有更高分辨率的图像，并输出生 成的图像。例如，图像生成单元103根据现实世界估计信息，积分模 拟在时间-空间方向中生成的现实世界的光信号的函数，从而生成比输 入图像在时间方向和空间方向上具有更高分辨率的图像，并输出生成 的图像。在后文中将描述在步骤S103中的图像生成处理中的细节。从而，根据本发明的信号处理装置4从数据3检测数据连续性， 并从检测的数据连续性估计现实世界1。信号处理装置4然后根据估 计的现实世界1产生更近似地模拟现实世界1的信号。如上所述，在执行估计现实世界的信号的处理的情况中，可以获 得精确度和高精度处理结果。另外，在投影具有第一维度的作为现实世界的信号的第一信号的 情况中，检测出对应于现实世界的信号的丢失连续性的第二维度的第二信号的数据连续性，所述第二维度的维数比第一维数少，从其角已 丟失了现实世界的信号连续性的一部分，并且通过根据检测的数据连 续性估计丢失的现实世界的信号连续性而估计第一信号，对于现实世界中的事件可以获得精确和高精度的处理结果。接着，将描述数据连续性检测单元101的结构细节。图41是示出数据连续性检测单元IOI的结构的方框图。一旦拍摄其为细线的对象的图像，其结构如图41所示的数据连 续性检测单元101检测包含在数据3中的数据连续性，该连续性从其 中为对象所具有的横截面形状相同的连续性产生。也就是说，其结构 如图41所示的数据连续性检测单元101检测包含在数据3中的数据连 续性，该连续性从其中在长度方向上的任意位置，相对于垂直于长度 方向的方向中的位置变化，光的水平的变化相同的连续性产生，后一 连续性为其为细线的现实世界l的图像所具有。尤其是，其结构如图41所示的数据连续性检测单元101检测通 过用具有空间积分效应的传感器2拍摄细线的图像而获得的在数据3 中的这样的区域，在所述区域中，以对角偏离相邻的方式排列具有预 定长度的多个弧形(半圓形)。数据连续性检测单元101选取除以下部分的图像数据部分，所述 没有被选取的部分为，其中具有数据连续性的细线的图像已经被从其 为数据3的输入图像投影(下文中，其中具有数据连续性的细线的图 像已经被投影的图像数据的部分也被称为连续性分量，并且将其它部 分称为非连续性分量)，从选取的非连续性分量和输入图像检测其中 现实世界l的细线的图像已经被投影的像素，并检测由其中现实世界 1的细线的图像已经被投影的像素构成的输入图像的区域。非连续性分量选取单元201从输入图像选取非连续性分量，并将 表示选取的非连续性分量的非连续性分量信息与输入图像一起提供给 峰值检测单元202和单调增加/减少检测单元203。例如，如图42所示，将其中在具有近似恒定的光水平的背景上 存在细线的现实世界l的图像投影到数据3中的情况中，非连续性分量选取单元201通过模拟在其为数据3的输入图像中的背景，而在平 面中选取其为背景的非连续性分量，如图43所示。在图43中，实线 表示数据3的像素值，虛线示出了由模拟背景的平面表示的近似值。 在图43中，A表示其中细线的图像已经被投影的像素的像素值，PL 表示模拟背景的平面。这样，在具有数据连续性的图像数据的部分上的多个像素的像素 值对于非连续性分量是不连续的。非连续性分量选取单元201检测其为数据3的图像数据的多个像 素的像素值的非连续部分，在所述非连续部分中，其为现实世界l的 光信号的图像已经被投影，并且现实世界l的图像的连续性的部分已 经被丢失。下文将描述用非连续性分量选取单元201选取非连续性分量的处 理的细节。峰值检测单元202和单调增/减检测单元203根据从非连续性分 量选取单元201提供的非连续性分量信息，从输入图像中除去非连续 性分量。例如，峰值检测单元202和单调增/减检测单元203通过将只 投影了背景图像的输入图像的像素的像素值设为0，而从输入图像中 除去非连续性分量。另外，例如，峰值检测单元202和单调增/减检测 单元203通过从输入图像的每个像素的像素值减去由平面PL模拟的 值，而从输入图像中除去非连续性分量。由于可以从输入图像中除去背景，峰值检测单元202至连续性检 测单元204可以只处理投影了细线的图像数据的部分，从而进一步简 化了峰值检测单元202至连续性检测单元204的处理。注意，非连续性分量选取单元201可以将其中已经从输入图像除 去非连续性分量的图像数据提供给峰值检测单元202和单调增/减检测 单元203。在下述的处理的实例中，对象为其中已经从输入图像除去非连续 性分量的图像数据，即只由包含连续性分量的像素构成的图像数据。 现在，将描述其上被投影了细线图像的图像数据，峰值检测单元202至连续性检测单元204将检测所述图像数据。在没有光学LPF的情况中，可以认为其上投影了如图42所示的 细线图像的图像数据在空间方向Y中的截面形状(对于在空间方向中 的位置的变化，像素值的变化)为如图44所示的梯形，或如图45所 示的三角形。然而，普通的图像传感器具有获得通过光学LPF的图像 的光学LPF，并将获得的图像投影到数据3上，因此，实际中，在空 间方向Y中具有细线的图像数据的截面形状为类似高斯分布的形状， 如图46所示。峰值检测单元202至连续性检测单元204检测由其上已经投影了 细线图像的像素构成的区域，其中相同的截面形状(对于在空间方向 中的位置的变化，像素值的变化)以恒定间隔垂直排列在屏幕中，并 且，所述单元还通过检测对应于现实世界1的细线的长度方向的区域 连接，检测由其上投影了细线图像的像素构成的区域，所述区域具有 数据连续性。也就是说，峰值检测单元202至连续性检测单元204检 测其中在输入图像中的单个垂直行像素上形成的弧形(半圆形)的区 域，并确定检测的区域在水平方向上是否相邻，从而检测形成弧形的 连接区域，所述区域对应于作为现实世界1的信号的细线图像的长度 方向。另夕卜，峰值检测单元202至连续性检测单元204检测由其上投影 了细线图像的像素构成的区域，其中相同的截面形状以恒定间隔水平 排列在屏幕中，并且，所述单元还通过检测对应于现实世界l的细线 的长度方向的检测区域的连接，检测由其上投影了细线图像的像素构 成的区域，所述区域具有数据连续性。也就是说，峰值检测单元202 至连续性检测单元204检测其中在输入图像中的单个水平行像素上形 成的弧形的区域，并确定检测的区域在垂直方向上是否相邻，从而检 测形成弧形的连接区域，所述区域对应于作为现实世界l的信号的细 线图像的长度方向。首先，将描述用于检测其上投影了细线图像的像素的区域的处 理，在所述区域中，相同的弧形以恒定的间隔垂直排列在屏幕中。峰值检测单元202检测像素值比周围像素大的像素，即峰值，并 将表示峰值位置的峰值信息提供给单调增/减检测单元203。在对象为 在屏幕中排列成单个垂直行的像素的情况中，峰值检测单元202比较像素位置在屏幕上方的像素值与像素位置在屏幕下方的像素值，并检 测具有最大像素值的像素作为峰值。峰值检测单元202从单个图像例 如从单帧图像检测一个或多个峰值。单个屏幕包括帧或场。这在下面的描述中也成立。 例如，峰值检测单元202从还没有被取为关注像素的一帧图像的 像素中选择关注像素，比较关注像素的像素值与在关注像素上方的像 素的像素值，比较关注像素的像素值与在关注像素下方的像素的像素 值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值 的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元将表 示检测到的峰值的峰值信息提供给单调增/减检测单元203 。存在峰值检测单元202未检测到峰值的情况。例如，在图像的所 有像素的像素值相同的情况中，或像素值在一个或两个方向减少的情 况中，检测不到峰值。在这些情况中，在图像数据上没有投影细线图 像。单调增/减检测单元203根据从峰值检测单元202提供的表示峰 值位置的峰值信息检测关于由峰值检测单元202检测的峰值的备选区 域，所述区域由其上投影了细线图像的像素构成，其中所述像素垂直 排列成单行，并且，所示单元203将表示检测的区域的区域信息与峰 值信息一起提供给连续性检测单元204。尤其是，单调增/减检测单元203检测由具有从峰值像素值单调 减小的像素值的像素构成的区域，作为由其上投影了细线图像的像素 构成的备选区域。单调减小表示，在长度方向上离峰值较远的像素的 像素值比离峰值较近的像素的像素值小。另外，单调增/减检测单元203检测由具有从峰值像素值单调增 大的像素值的像素构成的区域，作为由其上投影了细线图像的像素构 成的备选区域。单调增大表示，在长度方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值大。下面，对像素值单调增大的像素的区域的处理与对像素值单调减 小的像素的区域的处理相同，因此省略对其的描述。另外，在关于如 下的处理的描述中，其中检测由其上投影了细线图像的像素构成的区 域，其中相同的弧形以恒定间隔水平排列在屏幕中，关于像素值单调 增大的像素的区域的处理与关于像素值单调减小的像素的区域的处理 相同，从而省略对其的描述。例如，单调增/减检测单元203检测经过峰值的垂直行中的每个 像素的像素值、到上方像素的像素值的差、以及到下方像素的像素值 的差。单调增/减检测单元203然后通过检测其中差的符号改变的像素， 而检测其中像素值单调减小的区域。另外，单调增/减检测单元203从其中像素值单调减小的区域利 用峰值的像素值的符号作为参考，检测由具有与峰值像素值的正负相 同的像素值的像素构成的区域作为由其上投影了细线图像的像素构成 的备选区域。例如，单调增/减检测单元203比较每个像素的像素值的符号与 上方像素的像素值的符号以及下方像素的像素值的符号，并检测像素 值的符号改变的像素，从而检测像素值符号相同的像素区域作为其中 像素值单调减小的区域中的峰值。从而，单调增/减检测单元203检测由在垂直方向排列的像素形 成的区域，其中像素值关于峰值单调减小，并以相同符号的像素值作 为峰值。图47描述了峰值检测和单调增/减区域检测的处理，用于从相对 于在空间方向Y中的位置的像素值，检测其中投影了细线图像的像素 的区域。在图47到图49中，P表示峰值。在其结构在图41中示出的数 据连续性检测单元101的说明中，P表示峰值。峰值检测单元202比较在空间方向Y上的像素的像素值与相邻于 其的像素的像素值，并通过检测在空间方向Y上像素值大于其相邻两个像素的像素值的像素，而检测峰值P。由峰值P和在空间方向Y上的在峰值P两侧的像素构成的区域 是单调减小的区域，其中在空间方向Y中的两侧像素的像素值相对于 峰值P的像素值单调减小。在图47中，由A标出的箭头和由B标出 的箭头表示在峰值P的两侧的单调减小区域。单调增/减检测单元203获得每个像素的像素值与在空间方向Y 上相邻的像素的像素值的差，并检测其中差的符号改变的像素。单调 增/减检测单元203取在其上差的符号改变的检测像素与(在峰值P侧) 紧邻其的像素之间的边界作为由其中投影了细线图像的像素构成的细 线区域的边界。在图47中，由C表示细线区域的边界，其为其上的差的符号改 变的像素与(在峰值P侧)紧邻其的像素之间的边界。另外，单调增/减检测单元203比较每个像素的像素值与在空间 方向Y上与其相邻的像素的像素值，并检测其中像素值的符号在单调 减小区域改变的像素。单调增/减检测单元203取在其上像素值的符号 改变的检测像素与(在峰值P侧)紧邻其的像素之间的边界作为细线 区域的边界。在图47中，由P表示细线区域的边界，其为其上的像素值的符 号改变的像素与(在峰值P侧)紧邻其的像素之间的边界。如图47所示，由其中投影了细线图像的像素构成的细线区域F 为在细线区域边界C和细线区域边界D之间的区域。单调增/减检测单元203从由这种单调增/减区域构成的细线区域 F获得长于预定阈值的细线区域F，即具有比预定阈值更多的像素个 数的细线区域F。例如，在阈值为3的情况下，单调增/减检测单元203 检测出包括4个或更多像素的细线区域F。另外，单调增/减检测单元203从检测的细线区域F将峰值P的 像素值、峰值P的右侧的像素的像素值、以及峰值P的左侧的像素的 像素值中的每个与阈值比较，检测具有峰值P的细线像素区域F,其 中峰值P的像素值超过阈值，以及其中峰值P右侧的像素的像素值为阈值或更小、以及其中峰值P左侧的像素的像素值为阔值或更小，并取检测的细线区域F作为由包含细线图像的分量的像素构成的备选区 域。换句话说，确定出，这样的具有峰值P的细线区域F不包括细线 图像的分量，其中峰值P的像素值为阈值或更小，或其中峰值P右侧 的像素的像素值超过阈值，或其中峰值P左侧的像素的像素值超过阈 值，并将该区域从由包括细线图像的分量的像素构成的备选区域中除 去。也就是说，如图48所示，单调增/减检测单元203比较峰值P的 像素值与阈值，并比较在空间方向X (由虛线AA，表示的方向)中相 邻于峰值P的像素的像素值与阈值，从而检测峰值P所属的细线区域 F，其中峰值P的像素值超过阈值，以及其中在空间方向X上相邻于 其的像素的像素值等于或小于阈值。图49示出了在由图48中的AA，表示的空间方向X中排列的像素 的像素值。这样的峰值P所属的细线区域F包括细线分量，在所述细 线区域中，峰值P的像素值超过阈值Ths，以及其中在空间方向X上 相邻于其的像素的像素值等于或小于阈值Ths。注意，可以这样设置，其中单调增/减检测单元203取背景像素 值为参考，比较峰值P的像素值和背景的像素值之差与阈值，并且还 比较在空间方向上相邻于峰值P的像素的像素值和背景的像素值之差 与阈值，从而检测峰值P所属的细线区域F,其中峰值P的像素值和 背景的像素值之差超过阈值，以及其中在空间方向X上相邻的像素的 像素值和背景的像素值之差等于或小于阈值。单调增/减检测单元203将表示如下区域的单调增/减区域信息输 出给连续性检测单元204,所述区域由这样的像素构成，所述像素的 像素值以峰值P作为参考单调减小，并且像素值的符号与峰值P的符 号相同，其中峰值P超过阈值，并且其中峰值P右侧的像素的像素值 等于或低于阈值，以及峰值P左侧的像素的像素值等于或低于阈值。在检测这样的像素的区域的情况下，所述像素在屏幕的垂直方向述屏幕上已经投影了细线的图像，属于由单调增/ 减区域信息表示的区域的像素被排列在垂直方向上，并包括其上投影 了细线图像的像素。也就是说，由单调增/减区域信息表示的区域包括 由在屏幕的垂直方向上排列成单行的像素形成的区域，在所述屏幕中 已经投影了细线的图像。这样，顶点检测单元202和单调增/减检测等于203检测由其上 投影了细线的图像的像素构成的连续性区域，利用这样的性质，对于 其中被投影了细线的图像的像素，其像素值在空间方向Y上的变化近 似于高斯分布。在由在垂直方向上排列的像素构成的区域中，其由从单调增/减 检测单元203提供的单调增/减区域信息表示，连续性检测单元204检 测包括在水平方向上相邻的像素的区域，即具有类似像素值变化并在 垂直方向上重复的区域作为连续区域，并输出峰值信息和表示检测的 连续区域的数据连续性信息。数据连续性信息包括单调增/减区域信 息、表示区域的连接的信息等。对于已经被投影细线的像素,弧形以相邻的方式以不变的间隔对 准，从而检测的连续区域包括其中已经被投影细线的像素。检测的连续区域包括这样的像素，其中弧形相邻地以恒定间隔对 准，所述像素已经被投影细线，从而将检测的连续区域作为连续性区 域，并且连续性检测单元204输出表示检测的连续区域的数据连续性 信息。也就是说，连续性检测单元204使用通过成像细线而获得的数据 3中的连续性，其中弧形相邻地以恒定间隔对准，所述连续性由于现 实世界l中的细线的图像的连续性而被产生，所述连续性的实质为在 长度方向上的连续，从而进一步缩小利用峰值检测单元202和单调增/ 减检测单元203检测的备选区域。图50描述了检测单调增/减区域的连续性的处理。 如图50所示，在由在屏幕的垂直方向上对准为单行的像素形成 的细线区域F包括在水平方向中相邻的像素的情况下，连续性检测单元204确定在两个单调增/减区域之间存在连续性，并且在不包括在水 平方向中相邻的像素的情况下，确定在两个细线区域F之间不存在连 续性。例如，在包括在水平方向中相邻于细线区域F。的像素的像素的 情况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区 域Fa与由在屏幕的垂直方向上对准为单行的像素构成的细线区域F0 是连续的。在包括在水平方向中相邻于细线区域Fi的像素的像素的情 况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区域 F。与由在屏幕的垂直方向上对准为单行的像素构成的细线区域R是 连续的。这样，通过峰值检测单元202至连续性检测单元204检测由在屏 幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被 投影细线图像。如上所述，峰值检测单元202至连续性检测单元204检测由在屏 幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被 投影细线图像，并且还检测在屏幕的水平方向上对准为单行的像素构 成的区域，在所述屏幕上已经被投影细线图像。注意，处理顺序并不约束本发明，并且当然可以并行执行。也就是说，峰值检测单元202对于在屏幕中的水平方向上对准为 单行的像素检测作为峰值的像素，其具有比在屏幕上位于左侧和右侧 的像素的像素值更大的像素值，并且，所示单元202将表示检测的峰 值的位置的峰值信息提供给单调增/减检测单元203。峰值检测单元202 从例如一帧图像的一个图像中检测一个或多个峰值。例如，峰值检测单元202从还没有被取为关注像素的一帧图像的 像素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像 素的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素 值，检测像素值大于其左侧像素的像素值并大于其右侧像素的像素值 的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元202 将表示检测到的峰值的峰值信息提供给单调增/减检测单元203。存在峰值检测单元202未检测到峰值的情况。单调增/减检测单元203检测相对于由峰值检测单元202检测的 峰值的备选区域，所述区域由在水平方向中对准为单行的像素构成， 并且其中已经被投影细线图像，以及，所述单元203将表示检测区域 的单调增/减区域信息与峰值信息一起提供给连续性检测单元204。尤其是，单调增/减检测单元203检测由具有以峰值像素值为参 考单调减小的像素值的像素构成的区域，作为由其上投影了细线图像 的像素构成的备选区域。例如，对于相对峰值的在水平方向的单行中的每个像素，单调增 /减检测单元203获得每个像素的像素值、与左侧像素的像素值之差、 以及与右侧像素的像素值之差。单调增/减检测单元203然后通过检测 其中差的符号改变的像素，而检测其中像素值单调减小的区域。另外，单调增/减检测单元以峰值的像素值的符号为参考，检测中已经;投影细线图像的;素二成的备选区域。、、 '、例如，单调增/减检测单元203比较每个像素的像素值的符号与左侧的像素的像素值的符号或右侧的像素的像素值的符号，并检测像素值的符号改变的像素，从而从像素值单调减小的区域检测出由具有与峰值符号相同的像素值的像素构成的区域。这样，单调增/减检测单元203检测在水平方向上对准、并具有与峰值的符号相同的像素值的像素构成的区域，其中所述像素值相对于峰值单调減小。从由这种单调增/减区域构成的细线区域，单调增/减检测单元203获得比预先设置的阈值长的细线区域，即比阔值具有更多像素个数的细线区域。另外，从如此检测的细线区域，单调增/减检测单元203比较峰 值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素 值中的每一个与阈值，检测这样的包括峰值的细线区域，其中峰值的 像素值超过阈值，峰值上方的像素的像素值在阈值范围内、以及峰值 下方的像素的像素值在阈值范围内，并取检测的细线区域作为由包含细线图像的分量的像素构成的备选区域。换句话说，确定出，这样的具有峰值的细线区域不包括细线图像 的分量，其中峰值的像素值在阈值范围内，或峰值上方的像素的像素 值超过阈值，或峰值下方的像素的像素值超过阈值，并将该区域从由 包括细线图像的分量的像素构成的备选区域中除去。注意，可以将单调增/减检测单元203设置为取背景像素值为参 考，比较像素的像素值和背景的像素值之差与阈值，并且还比较背景 的像素值和在垂直方向上相邻于峰值的像素的像素值之差与阈值，从 而取这样的检测的细线区域作为由包括细线图像分量的像素构成的备 选区域，其中峰值的像素值和背景的像素值之差超过阈值，以及背景 的像素值和在垂直方向上相邻的像素的像素值之差在阈值范围内。单调增/减检测单元203将表示如下区域的单调增/减区域信息提 供给连续性检测单元204，所述区域由这样的像素构成，所述像素的 像素值的符号与峰值的符号相同，并以峰值P作为参考单调减小，其 中峰值超过阈值，并且峰值右侧的像素的像素值在阈值范围内，以及 峰值左侧的像素的像素值在阈值范围内。在检测由这样的像素构成的区域的情况下，所述像素在屏幕的水 平方向中对准为单行，在所述屏幕上已经投影了细线的图像，属于由 单调增/减区域信息表示的区域的像素包括被对准在水平方向上的像 素，其上投影了细线图像的像素。也就是说,由单调增/减区域信息表 示的区域包括由在屏幕的水平方向上对准成单行的像素形成的区域， 在所述屏幕中已经投影了细线的图像。在由在水平方向上对准的像素构成的区域中，其由从单调增/减 检测单元203提供的单调增/减区域信息表示，连续性检测单元204检 测包括在垂直方向上相邻的像素的区域，即具有类似像素值变化并在 水平方向上重复的区域作为连续区域，并输出表示峰值信息和检测的 连续区域的数据连续性信息。数据连续性信息包括表示区域的连接的 信息等。对于已经被投影细线的像素，弧形以相邻的方式以不变的间隔对准，从而检测的连续区域包括其中已经被投影细线的像素。检测的连续区域包括这样的像素，其中弧形以恒定间隔排列，所 迷像素已经被投影细线，从而将检测的连续区域作为连续性区域，并且连续性检测单元204输出表示检测的连续区域的数据连续性信息。也就是说，连续性检测单元204使用通过成像细线而获得的数据 3中的连续性，其中弧形相邻地以恒定间隔排列，所述连续性从现实 世界l中的细线的图像的连续性而产生，所述连续性为在长度方向上 的连续，从而进一步缩小利用峰值检测单元202和单调增/减检测单元 203检测的备选区域。图51示出了其中通过平面模拟选取连续性分量的图像的实例。图52示出了检测图51中的图像的峰值、并检测单调减小区域的 结果。在图52中，白色表示的部分为检测的区域。图53示出了其中通过检测图52中的图像的相邻区域的连续性而 检测连续性的区域。在图53中，示出为白色的部分是已经被确定连续 性的区域。可以理解，对连续性的检测还识别了所述区域。图54示出了如图53所示的区域的像素值，即已经被检测连续性 的区域的像素值。从而，数据连续性检测单元101可以检测在作为输入图像的数据 3中包含的连续性。也就是说，数据连续性检测单元101可以检测包 括在数据3中的数据连续性，所述数据连续性由现实世界l的图像产 生，所述图像为被投影到数据3上的细线。数据连续性检测单元101 从数据3检测由这样的像素构成的区域，在所述像素中被投影有为细 线的现实世界的图像。图55示出了利用数据连续性检测单元101检测真有连续性的区 域的其它处理的实例，其中被投影有细线图像。如图55所示，数据连 续性检测单元101每个像素与相邻像素的像素值差的绝对值。对应像 素放置计算出的差的绝对值。例如，在例如如图55所示的情况中，其 中存在具有各个像素值PO、 P1和P2的对准的像素，数据连续性检测 单元101计算差dO-PO-Pl和差dl=Pl-P2。另外，数据连续性检测单元101计算差d0和差dl的绝对值。在包含在像素值PO、 P1和P2中的非连续性分量相同的情况下， 只将对应于细线分量的值设置为差d0和差dl。因此，对于对应于像素放置的差的绝对值，在相邻差值相同的情 况下，数据连续性检测单元101确定，对应于两个差的绝对值的像素 (在两个差的绝对值之间的像素)包含细线分量。另外，对于根据像 素放置的差的绝对值，在相邻差值相同但是差的绝对值小于预定阈值 的情况下，数椐连续性检测单元确定，对应于两个差的绝对值的像素 (在两个差的绝对值之间的像素)不包含细线的分量。数据连续性检测单元101还可以利用例如这样的简单方法检测细线。图56是描述连续性检测处理的流程图。在步骤S201,非连緣性分量选取单元201从输入图像选取非连 续性分量，所述分量是除了已经被投影细线的部分的部分。非连续性 分量选取单元201将表示选取的非连续性分量的非连续性分量信息与 输入图像一起提供给峰值检测单元202和单调增/减检测单元203。下 面将描述用于选取非连续性分量的处理的细节。在步骤S202，峰值检测单元202根据从非连续性分量选取单元 201提供的非连续性分量信息，从输入图像除去非连续性分量，从而 只留下输入图像中的包括连续性分量的像素。另外，在步骤S202，峰 值检测单元202检测峰值。也就是说，在以屏幕的垂直方向作为参考而实施处理的情况中， 对于包含连续性分量的像素，峰值检测单元202比较每个像素的像素 值与上方和下方的像素的像素值，并确定像素值比上方像素的像素值 和下方像素的像素值都大的像素，从而检测峰值。另外，在步骤S202 中，在以屏幕的水平方向为参考而实施处理的情况中，对于包含连续 性分量的像素，峰值检测单元202比较每个像素的像素值与右侧和左 侧的像素的像素值，并确定像素值比右侧像素的像素值和左侧像素的 像素值都大的像素，从而检测峰值。峰值检测单元202将表示检测的峰值的峰值信息提供给单调增/ 减检测单元203。在步骤S203,单调增/减检测单元203根据从非连续性分量选取 单元201提供的非连续性分量信息，从输入图像除去非连续性分量， 从而只留下输入图像中的包括连续性分量的像素。另夕卜，在步骤S203, 单调增/减检测单元203根据从峰值检测单元202提供的表示峰值位置 的峰值信息，通过检测相对于峰值的单调增/减，检测由具有数据连续 性的像素构成的区域。在以屏幕的垂直方向作为参考而实施处理的情况中，单调增/减 检测单元203根据峰值的像素值和相对于峰值垂直对准的一行像素的 像素值，检测由垂直对准的一行像素构成的单调增/减，在所述像素中 已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的 区域。也就是说，在步骤S203中，在以屏幕的垂直方向作为参考而实 施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值垂 直对准的 一行像素，获得每个像素的像素值与上方和下方的像素的像 素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对 于峰值垂直对准的一行像素，单调增/减检测单元203比较每个像素的 像素值的符号与上方或下方的像素的像素值的符号，从而检测像素值 的符号改变的像素。另外，单调增/减检测羊元203比较峰值的像素值、 峰值右侧和左侧的像素的像素值与阈值，并检测由其中峰值的像素值 超过阈值、并且其中峰值右侧和左侧的像素的像素值在阈值范围之内 的像素构成的区域。单调增/减检测单元203取通过这样检测的区域作为单调增/减区 域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测 单元204。在以屏幕的水平方向作为参考而实施处理的情况中，羊调增/减 检测单元203根据峰值的像素值和相对于峰值水平对准的一行像素的 像素值，检测由水平对准的一行像素构成的单调增/减，在所述像素中 已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，在以屏幕的水平方向作为参考而实 施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值水 平对准的 一行像素，获得每个像素的像素值与右侧和左侧的像素的像 素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对 于峰值水平对准的一行像素，单调增/减检测单元203比较每个像素的 像素值的符号与右侧或左侧的像素的像素值的符号，从而检测像素值 的符号改变的像素。另夕卜，单调增/减检测单元203比较峰值的像素值、 峰值上侧和下侧的像素的像素值与阈值，并检测由其中峰值的像素值 超过阈值、并且其中峰值上侧和下侧的像素的像素值在阈值范围之内 的像素构成的区域。单调增/减检测单元203取通过这样检测的区域作为单调增/减区 域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测 单元204。在步骤S204，单调增/减检测单元203确定对所有像素的处理是 否结束。例如，非连续性分量选取单元201检测单屏(例如帧、场等) 输入图像的所有像素，并确定是否已经检测单调增/减区域。当在步骤S204中确定对所有像素的处理没有结束的情况下，即， 还存在没有经过峰值检测和单调增/减区域检测的处理的像素，则流程 返回步骤S202,将还没有经过峰值检测和单调增/减区域检测的处理 的像素选作为处理的对象，并且重复峰值检测和单调增/减区域检测的 处理。当在步骤S204中确定对所有像素的处理已经结束的情况下，在 已经对所有像素检测峰值和单调增/减区域的情况下，则流程进到步骤 S205，其中，连续性检测单元204根据单调增/减区域信息，检测检测 出的区域的连续性。例如，在由在屏幕的垂直方向上对准的一行像素 构成、由单调增/减区域信息表示的单调增/减区域在水平方向上包括 相邻像素的情况下，则连续性检测单元204确定，在两个单调增/减区 域之间存在连续性，而在不包括在水平方向上的相邻像素的情况下， 确定在两个单调增/减区域之间不存在连续性。例如，在由在屏幕的水平方向上对准的一行像素构成、由单调增/减区域信息表示的单调增/减区域在垂直方向上包括相邻像素的情况下，则连续性检测单元204 确定，在两个单调增/减区域之间存在连续性，而在不包括在垂直方向 上的相邻像素的情况下，确定在两个单调增/减区域之间不存在连续 性。连续性检测单元204取检测的连续性区域作为具有数据连续性的 连续性区域，并输出表示峰值位置和连续性区域的数据连续性信息。 数据连续性信息包含表示区域的连接的信息。从连续性检测单元204 输出的数据连续性信息表示作为连续性区域的细线区域，其由其中已 经被投影现实世界l的细线图像的像素构成。在步骤S206中，连续性方向检测单元205确定对所有像素的处 理是否已经结束。也就是说，连续性方向检测单元205确定是否已经 对特定帧的输入图像的所有像素检测区域连续性。当在步骤S206中确定对所有像素的处理还没有结束的情况下， 即，还存在没有被取作为区域连续性检测的对象的像素，则流程返回 步骤S205，选取还没有经过的像素，并重复检测区域连续性的处理。当在步骤S206中确定对所有像素的处理已经结束的情况下，即， 所有像素已经被取作为区域连续性检测的对象，则流程结束。从而，检测了在作为输入图像的数据3中的连续性。也就是说， 检测了在数据3中包含的这样数据连续性，所述连续性由现实世界1 的图像产生，所述图像是已经被投影到数据3上的细线，并且，从数 据3中检测出具有数据连续性的区域，所述区域由这样的像素构成， 在所述像素上已经投影了作为细线的现实世界l的图像。现在，在图41中示出的数据连续性检测单元101可以根据具有 从数据3的帧中检测的数据连续性的区域，检测时间维度的数据连续 性。例如，如图57所示，连续性检测单元204通过连接在帧#11中 的具有检测的数据连续性的区域、在帧弁n-l中具有检测的数据连续 性的区域、以及在帧#11+1中具有检测的数据连续性的区域的边缘，而检测时间维度的数据连续性。帧#11-1是在时间方向在帧#11之前的帧，而帧#11+1是在时间方向在帧井n之后的帧。也就是说，以帧#11-1、帧#11以及#11+1的 顺序显示帧并n-l、帧并n以及弁n+l。尤其是，在图57中，G表示通过连接在帧并n中的具有检测的 数据连续性的区域、在帧#11-1中具有检测的数据连续性的区域、以 及在帧#11+1中具有检测的数据连续性的区域的一个边缘而获得的移 动矢量，而G，表示通过具有检测的数据连续性的区域的另一个边缘所 获得的移动矢量。移动矢量G和移动矢量G，是在时间方向上的数据 连续性的实例。另外，具有如图41所示的结构的数据连续性检测单元101可以 输出表示具有数据连续性的区域的长度的信息作为数据连续性信息。图58是示出非连续性分量选取单元201的方框图，其进行对非 连续性分量的平面模拟，并选取非连续性分量，所示非连续性分量是 图像数据中不具有数据连续性的部分。具有如图58所示的结构的非连续性分量选取单元201从输入图 像选取由预定数的像素构成的块，进行对所述块的平面模拟，使得在 所述块与平面值之间的误差小于预定阈值，从而选取非连续性分量。将输入图像提供给块选取单元221，并将其不变的输出。块选取单元221从输入图像选取由预定数的像素构成的块。例如， 块选取单元221选取由7x7个像素构成的块，并将其提供给平面模拟 单元222。例如，块选取单元221以光栅扫描的顺序移动用作将被选 取的块的中心的像素，从而从输入图像顺序选取块。平面模拟单元222在预定平面上模拟在所述块中包括的像素的像 素值。例如，平面模拟单元222在由公式(24)表达的平面上模拟在 所述块中包括的像素的像素值。Z = ax + by + c 公式(24 )在公式(24)中，x表示在屏幕一个方向中的像素的位置(空间 方向X)，而y表示在屏幕另一个方向中的像素的位置(空间方向Y)。z表示由平面表示的应用值。a表示平面的空间方向X的梯度、而b 表示平面的空间方向Y的梯度。在表达式(24)中，c表示平面的偏 移(截距)。例如，平面模拟单元222通过回归处理获得梯度a、梯度b和截 距c，从而在由公式(24)表达的平面上模拟包含在块中的像素的像 素值。平面模拟单元222通过包括舍选的回归处理获得梯度a、梯度b 和截距c，从而在由公式(24)表达的平面上模拟包含在块中的像素 的像素值。例如，平面模拟单元222获得由表达式(24)表达的平面，其中 利用最小二乘法，而使得所述块的像素的像素值的误差最小，从而在 所述平面上模拟包含在块中的像素的像素值。注意，尽管平面模拟单元222已被描述为在由公式(24)表达的 平面上模拟块，但是其不限于由公式(24)表达的平面，而是，可以 在由具有更高自由度的函数表示的平面上模拟所述块，例如n阶多项 式(其中n为任意整数)。重复确定单元223计算模拟值与对应的块的像素的像素值之间的 误差，所述模拟值由在其上模拟块的像素值的平面表示。公式(25) 是示出模拟值与对应的块的像素的像素值zi之差的误差d的表达式， 其中所述模拟值由在其上模拟块的像素值的平面表示。 ei-Zi— = Zi —^i+Sy^) 公式(25)在公式(25)中，z-帽(在z上的A符号将被描述为z-帽在本说 明书的下文中将使用相同的描述)表示由在其上模拟块的像素值的平 面表示的模拟值，a-帽表示在其上模拟块的像素值的平面的空间方向 X的梯度，b帽表示在其上模拟块的像素值的平面的空间方向Y的梯 度，以及c帽表示在其上模拟块的像素值的平面的偏移(截距)。重复确定单元223排除这样的像素，所述像素的模拟值与对应的 块的像素的像素值的误差d如公式(25)所示。从而，其中已经被投 影细线的像素，即具有连续性的像素被排除。重复确定单元223将表 示排除像壹的排除信息提供给平面模拟单元222。另外，重复确定单元223计算标准误差，并这样的情况下，其中 标准误差等于或大于预先设置以确定模拟的结束的阈值，并且块的像 素的 一半或更多的像素没有被排除，则重复确定单元223使平面模拟 单元222重复在包含在块中的像素上的平面模拟处理，所述所述块已 经被除去排除的像素。具有连续性的像素被排除，从而，在平面上模拟已经除去排除像 素的像素表示，平面模拟非连续性分量。在标准误差低于用于确定模拟结束的阈值的情况下，或者块的像 素的一半或更多的像素已被排除，则重复确定单元223结束平面模拟在由5x5个像素构成的块中，可以利用例如公式(26)计算标准 误差es。es = Z (z厂2)/(n-3)=Z Uz「(Sxi+Syi+S)l/(n-3)公式(26)这里，n是像素个数。注意，重复确定单元223不限于标准误差，并可以被设置为计算 包含在块中的所有像素的方差和，并进行下面的处理。现在，当对块的平面模拟移动在光栅扫描方向中的一个像素时， 如图59所示，具有连续性、在图中由黑風点表示的像素，即包含细线 分量的像素，将被多次排除。一旦完成平面模拟，重复确定单元223将表示用于模拟块的像素 值的平面的信息(公式24的平面的梯度和截距)输出为非连续性信息。注意，可以进行这样的设置，其中重复确定单元223比较排除每 个像素的次数与预设的阈值，并取被排除了等于或大于阈值的多次的 像素作为包含连续性分量的像素，并将表示包含连续性分量的像素的 信息输出为连续性分量信息。在该情况下，峰值检测单元202至连续性检测单元205在包含由连续性分量信息表示的连续性分量的像素上 实施其各自的处理。下面将参考图60至图67描述非连续性分量选取处理的结果的实例。图60示出了由原始图像中的2x2个像素的像素值的平均值产生 的输入图像的实例，所述原始图像包含已经被生成为像素值的细线。图61示出了从图60所示的图像获得的图像，其中将作为无排除 的平面模拟的结果获得标准误差取为像素值。在图61所示的实例中， 对由相关于单个关注像素的5x5个像素值构成的块进行平面模拟。在 图61中，白色像素是具有更大像素值的像素，即具有更大标准误差的 像素，而黑色像素是具有较小像素值的像素，即具有较小标准误差的 像素。从图61可以确定，在将作为无排除的平面模拟的结果获得标准 误差取为像素值的情况中，在非连续性部分的边界处的大面积上获得 较大的值。在图62至图67的实例中，对由相关于单个关注像素的7x7个像 素值构成的块进行平面模拟。在对7x7个像素构成的块进行平面模拟 的情况中， 一个像素被重复包括在块49中，表示，包含连续性分量的 像素被排除49次。图62中，将通过具有图60中的图像排除的平面模拟获得的标准 误差取为像素值。在图62中，白色像素是具有更大像素值的像素，即具有更大标 准误差的像素，而黑色像素是具有较小像素值的像素，即具有较小标 准误差的像素。可以理解，标准误差在进行排除的情况中比在不进行 排除的情况中总体较小。图63中，将在具有图60中的图像排除的平面模拟中的排除次数 取为像素值。在图63中，白色像素是具有更大像素值的像素，即被排 除更多次数的像素，而黑色像素是具有较小像素值的像素，即被排除 较少次数的像素。从图63可以理解，其中被投影细线图像的像素被排除更多的次 数。利用其中取排除次数作为像素值的图像，可以生成用于掩盖输入 图像的非连续性部分的图像。在图64中示出的图像中，取用于模拟块的像素值的平面的空间 方向X的梯度作为像素值。在图65中示出的图像中，取用于模拟块 的像素值的平面的空间方向Y的梯度作为像素值。图66是由用于模拟块的像素值的平面表达的模拟值构成的图像。 可以理解，在图像66中，细线已经消失。图、7是由图60中的图像与图66中的被表达为平面的模拟值构 成的图像的差构成的图像，其中图60通过取原始图像中的2x2个像 素的块的平均值作为像素值而产生。图67所示的图像的像素值已经将 非连续性分量除去，从而只剩下其上被投影细线图像的值。从图67 可以理解，在由原始图像的像素值与由进行模拟的平面表示的模拟值 之差构成的图像中，较好地选取了原始图像的连续性分量。可以将以下值用作输入图像的特征排除次数、用于模拟块的像 素的像素值的平面的空间方向X的梯度、用于模拟块的像素的像素值 的平面的空间方向Y的梯度、由用于模拟块的像素的像素值的平面表 达的模拟值、以及误差ei。图68是描述利用具有图58所示的结构的非连续性分量选取单元 201选取非连续性分量的处理的流程图。在步骤S221中，块选取单元221从输入图像选取由预定数的像 素构成的块，并将其提供给平面模拟单元222。例如，块选取单元221 选择还没有被选取的输入图像的像素的一个像素，并选取以选择块为 中心的由7x7个像素构成的块。例如，块选取单元221可以以光栅扫 描的顺序选择像素。在步骤S222中，平面模拟单元222在平面上模拟所选取的块。 例如，平面模拟单元222通过回归处理在平面上模拟选取块的像素的 像素值。例如，平面模拟单元222通过回归处理在平面上模拟除排除 的像素以外的选取块的像素的像素值。在步骤S223中，重复确定单元 223执行重复确定。例如，通过从块的像素的像素值和平面模拟值计 算标准误差，并计算排除像素的个数。在步骤S224，重复确定单元223确定标准误差是否等于或大于阈值，并且在确定标准误差等于或大于阈值的情况下，流程进到步骤S225。注意，可以这样设置，其中重复确定单元223在步骤S224中确 定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于 阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等 于或大于阈值的情况下，流程进到步骤S225。在步骤S225，重复确定单元223计算块的每个像素的像素值与 模拟的平面模拟值之间的误差，排除具有最大误差的像素，并通知平 面模拟单元222。该过程返回到步骤S222，并且对除被排除的像素以 外的块的像素重复平面模拟处理和重复确定处理。在步骤S225，在这样的情况下，其中在步骤S221的处理中选取 这样的块，所述块被移动在栅格扫描方向中的一个像素，包括细线分 量的像素(图中由黑色圆点表示)被排除多次，如图59所示。在其中在步骤S224中确定标准误差不等于或大于阈值的情况 下，所述块已经在平面上被模拟，从而流程进到步骤S226。注意，可以这样设置，其中重复确定单元223在步骤S224中确 定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于 阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等 于或大于阈值的情况下，流程进到步骤S225。在步骤S226，重复确定单元223输出用于模拟块的像素的像素 值的平面的梯度和截距作为非连续性分量信息。在步骤S227，块选取单元221确定对一屏输入图像的所有像素 的处理是否已经结束，并在确定仍然存在未被取作为处理对象的像素 的情况下，流程返回到步骤S221,从仍未经过处理的像素选取块，并 重复上述处理。在步骤S227中确定对一屏输入图像的所有像素的处理已经结束 的情况下，该处理结束。从而，具有图58所示结构的非连续性分量选取单元201可以从 输入图像选取非连续性分量。非连续性分量选取单元201从输入图像选取非连续性分量，从而峰值检测单元202和单调增/减检测单元203 可以获得输入图像与由非连续性分量选取单元201选取的非连续性分 量之差，从而执行关于包含连续性分量的差的处理。注意，可以使用在平面模拟处理中计算的如下值作为特征在进 行排除的情况下的标准误差、在不进行排除的情况下的标准误差、排 除像素的次数、平面的空间方向X的梯度(在公式(24)中的a-帽)、 平面的空间方向Y的梯度(在公式(24)中的b-帽)、平面平移的水 平(在公式(24)中的c-帽)、以及在输入图像的像素值与由平面表 示的模拟值之差。图69是描述用于用具有图58所示的结构的非连续性分量选取单 元201选取连续性分量的处理的流程图，该处理代替了用于对应于步 骤S201选取非连续性分量的处理。步骤S241至步骤S245的处理与 步骤S221至步骤S225的处理相同，从而省略对其的描述。在步骤S246中，重复确定单元223输出由平面表示的模拟值与 输入图像的像素值之差作为输入图像的连续性分量。也就是说，重复 确定单元223输出平面模拟值与实际像素值之差。注意，可以将重复确定单元223设置为关于其由平面表示的模拟 值与输入图像的像素值之差等于或大于预定阈值的像素的像素值，输 出由平面表示的模拟值与输入图像的像素值之差，作为输入图像的连 续性分量。步骤S247的处理与步骤S227的处理相同，因此省略对其的描述。 平面模拟非连续性分量，因此，非连续性分量选取单元201通过 从在输入图像的每个像素的像素值中减去由用于模拟像素值的平面表 示的模拟值，可以从输入图像中除去非连续性分量。在这种情况下， 峰值检测单元202至连续性检测单元204可以只处理输入图像的连续 性分量，即已经被投影细线图像的值，从而利用峰值检测单元202至 连续性检测单元204的处理变得更加容易。图70是描述用于利用具有如图58所示的结构的非连续性分量选 取单元201选取连续性分量的另 一处理的流程图，所述处理取代了对应于步骤S201的用于选取非连续性分量的处理。步骤S261至步骤 S265的处理与步骤S221至步骤S225的处理相同，因此省略对其的描 述。在步骤S266中，重复确定单元223存储对每个像素的排除次数， 该流程返回到步骤S262，并且重复所述处理。在步骤S264,在确定标准误差不等于或大于阈值的情况下，所 述块已经在平面上模拟，从而流程进到步骤S267，重复确定单元223 确定对一屏输入图像的所有像素的处理是否已经结束，并且在确定仍 存在没有被取作为处理对象的像素的情况下，流程回到标准S261，关 于仍未经过处理的像素，选取块，并重复上述处理。在步骤S627中确定对一屏输入图像的所有像素的处理已经结束 的情况下，则流程进到步骤S268，重复确定单元223选择未被选择的 像素，并确定对选择像素的排除次数是否等于或大于阈值。例如，重 复确定单元223在步骤S268中确定对选择图像的排除次数是否等于或 大于预先存储的阈值。在步骤S268中确定对选择的像素的排除次数等于或大于阈值的 情况下，则选择的像素包含连续性分量，从而流程进到步骤S269，在 该步骤中，重复确定单元223输出选择像素的像素值(输入图像中的 像素值)作为输入图像的连续性分量，并且流程进到步骤S270。在步骤S268中确定对选择图像的排除次数不等于或大于阈值的 情况下，则选择图像不包含连续性分量，从而跳it在步骤S269中的处 理，并且过程进到步骤S270。也就是说，不输出逸样的像素的像素值， 关于所述像素，已经确定排除次数不等于或大于阚值。注意，可以这样设置，其中重复确定单元223输出关于已经被确 定对其的排除次数不等于或大于阈值的像素的设为o的像素值。在步骤S270中，重复确定单元223确定对一屏输入图像的所有 像素的处理是否已经结束，以确定排除次数是否等于或大于阈值，并 在确定所述处理对于所有像素还没有结束的情况下，这表示仍然存在 没有被取作为处理对象的像素，从而流程返回步骤S268，选择仍未经过处理的像素，并重复上述处理。在步骤S270中确定对于一屏输入图像的所有像素的处理已经结 束的情况下，则处理结束。从而，对于输入图像的像素，非连续性分量选取单元201可以输 入包含连续性分量的像素的像素值作为连续性分量信息。也就是说， 对于输入图像的像素，非连续性分量选取单元201可以输出包含细线 图像的分量的像素的像素值。图71是描述用于利用具有如图58所示的结构的非连续性分量选 取单元201选取连续性分量的另一处理的流程图，所述处理取代了对 应于步骤S201的用于选取非连续性分量的处理。步骤S281至步骤 S288的处理与步骤S261至步骤S268的处理相同，因此省略对其的描 述。在步骤S289中，重复确定单元223输出由平面表示的模拟值与 选择像素的像素值之差作为输入图像的连续性分量。也就是说，重复 确定单元223输出已经从输入闺像中除去非连续性分量的图像作为连 续性细线。步骤S290的处理与步骤S270的处理相同，因此省去对其的描述。 从而，非连续性分量选取单元201可以输出其中已经从输入图像 除去非连续性分量的图像作为连续性信息。如上所述，在已经投影现实世界光信号的情况下，检测出其中现 实世界光信号的部分连续性已经被丢失的第一图像数据的多个像素的 像素值的非连续性部分，从检测的非连续性部分检测数据连续性，通 过根据检测的数据连续性估计现实世界光信号的连续性，产生了用于 模拟光信号的模型(函数)，并根据产生的函数生成第二图像数据， 可以获得对于现实世界中的事件更精确并具有更高精度的处理结果。 图72是示出数据连续性检测单元101的另一结构的方框图。 在具有图72所示的结构的数据连续性检测单元101中，检测关 注像素的像素值，所述关注像素是在输入图像的空间方向中的关注像 素，即在输入图像的空间方向中的活度，对于根据关注像素的每个角度和根据检测活度的参考轴，选取在垂直方向或在水平方向中的一行 中的预定个数的像素构成的多组像素，检测选取的像素组的相关性， 并根据相关性检测在输入图像中基于参考轴的数据连续性的角度。数据连续性的角度表示由参考轴和预定维度方向所成的角度，在所示预定维度方向上，恒定特征在数据3中重复出现。恒定特征重复 出现表示这样的情况，其中，例如对于在数据3中的位置变化的值的 变化、即界面形状相同等。参考轴可以是例如表示空间方向X(屏幕的水平方向)的轴、表 示空间方向Y (屏幕的垂直方向)的轴等。将输入图像提供给活度检测单元401和数据检测单元402。活度检测单元401检测像素值对于输入图像的空间方向的变化， 即在空间方向中的活度，并将表示检测结果的活度信息提供给数据检 测单元402和连续性方向推导单元404。例如，活度检测单元401像素值对于屏幕水平方向的变化和像素 值对于平面垂直方向的变化，并比较检测的像素值在水平方向的变化 与像素值在垂直方向的变化，从而检测像素值在水平方向中的变化是 否大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化是 否大于像素值在水平方向中的变化。活度检测单元401将活度信息提供给数据选择单元402和连续性 方向推导单元404，所述活度信息是表示测像素值在水平方向中的变 化大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化大 于像素值在水平方向中的变化的检测结果。在其中像素值在水平方向中的变化大于像素值在垂直方向中的 变化的情况中，例如如图73所示，在垂直方向的一行中形成弧形(半 圓形)或爪形，并在垂直方向上重复多次形成弧形或爪形。也就是说， 在这样的情况下，其中像素值在水平方向上的变化大于像素值在垂直 方向上的变化，其中参考轴为表示空间方向X的轴，在输入图像中， 数据连续性相对于参考轴的角度是45度到90度之间的任意值。在其中像素值在垂直方向中的变化大于像素值在水平方向中的变化的情况中，例如在水平方向的一行中形成弧形(半圓形)或爪形， 并在水平方向上重复多次形成弧形或爪形。也就是说，在这样的情况 下，其中像素值在垂直方向上的变化大于像素值在水平方向上的变化，其中参考轴为表示空间方向x的轴，在输入图像中，数据连续性相对于参考轴的角度是0度到45度之间的任意值。例如，活度检测单元401从输入图像选取由以关注像素为中心的 3x3的9个像素构成的块，如图74所示。活度检测单元401计算垂直 相邻的像素的像素值之差的和、以及水平相邻的像素的像素值之差的 和。水平相邻的像素的像素值之差hdiff的和可以通过公式(27)获得。<formula>formula see original document page 79</formula>) 公式(27)同样，垂直相邻的像素的像素值之差Vdiff的和可以通过公式(28 )获得。<formula>formula see original document page 79</formula> 公式(28)在公式(27)和公式(28)中，P表示像素值，i表示像素在水 平方向中的位置，以及j表示像素在垂直方向中的位置。可以这样设置，其中活度检测单元401比较计算的水平相邻的像 素的像素值之差hdiff的和与垂直相邻的像素的像素值之差Vdiff的和， 从而确定在输入图像中数据连续性与参考轴所成的角度范围。也就是 说，在该情况下，活度检测单元401确定由像素值对于在空间方向中 的位置的变化表示的形状是否在水平方向上重复形成、或在垂直方向 上重复形成。例如，在一行水平行上形成的孤形在水平方向上的像素值的变化 大于在垂直方向上的像素值的变化，在一行水平行上形成的弧形在垂 直方向上的像素值的变化大于在水平方向上的像素值的变化，从而可 以认为，数据连续性的方向，即恒定特征在预定维度方向上的变化小 于数据连续性在正交的方向上的变化，所述恒定特征是作为数据3的 输入图像所具有的特征。换句话说，在垂直于数据连续性方向的方向像素的像素值之差hdiff的和与垂直相邻的像素的像素值之差Vdiff的 和，并在水平相邻的像素的像素值之差hdiff的和较大的情况下，确定 数据连续性与参考轴的角度是从45度到135度之间的任意值，而在垂 直相邻的像素的像素值之差Vdiff的和较大的情况下，确定数据连续性 与参考轴的角度是从0度到45度之间的任意值、或135度到180度之 间的任意值。例如，活度检测单元401将表示确定结果的活度信息提供给数据 检测单元402和连续性方向推导单元404。注意，活度检测单元401可以检测选取任意尺寸的块的活度，所 述块例如由5x5的25个像素构成的块、由7x7的49个像素构成的块 等。数据检测单元402随后从输入图像的像素中选择关注像素，并根 据来自活度检测单元401的活度信息，对于基于关注像素和参考轴的 每个角度，选取由垂直方向上的一行预定个数的像素或水平方向上的 一行预定个数的像素构成的多组像素。例如，在其中活度信息指示在水平方向上的像素值的变化大于在 垂直方向上的像素值的变化的情况下，这表示，数据连续性的角度是 从45度到135之间的任意值，从而数据选择单元402对于根据关注像 素和参考轴的在45度到135度范围中的每个预定角度，选取由在垂直 方向的一行预定个数的像素构成的多组像素。在活度信息指示在垂直方向上的像素值的变化大于在水平方向 上的像素值的变化的情况下，这表示，数据连续性的角度是从O度到 45中、或从135度到180度中的任意值，从而数据选择单元402对于 根据关注像素和参考轴的从0度到45中、或从135度到180度中的任 意值中的每个预定角度，选取由在水平方向的一行预定个数的像素构 成的多组像素。另外，例如，在活度信息指示数据连续性的角度是从45度到135 度中的任意值的情况下，数据选择单元402对于根据关注像素和参考 轴的在45度到135度范围中的每个预定角度，选取由在垂直方向的一行预定个数的像素构成的多组像素。在活度信息指示数据连续性的角度是从0度到45中、或从135 度到180度中的任意值的情况下，数据选择单元402对于根据关注像 素和参考轴的在从O度到45中、或从135度到180度范围中的每个预 定角度，选取由在水平方向的一行预定个数的像素构成的多组像素。数据选择单元402将由选取的像素构成的多组提供到误差估计单 元403。误差估计单元403检测相对于多组选取像素的每个角度的像素组 的相关性。例如，对于对应于一个角度的、由在垂直方向中的一行预定个数 的像素构成的多组像素，误差估计单元403检测在像素组的相应位置 上的像素的像素值的相关性。对于对应于一个角度的、由在水平方向 中的一行预定个数的像素构成的多组像素，误差估计单元403检测在 像素组的相应位置上的像素的像素值的相关性。误差估计单元403将表示检测的相关性的相关性信息提供到连续 性方向推导单元404。误差估计单元403计算从数据检测单元402提 供的包括关注像素的一组像素的像素值的和作为表示相关性的值，还 计算在其它组的相应位置上的像素的像素值之差的绝对值，并将差的 绝对值的和提供给连续性方向推导单元404作为相关性信息。根据从误差估计单元403提供的相关性信息，连续性方向推导单 元404检测输入图像中数据连续性与参考轴的角度，并输出表示角度 的数据连续性信息，其中所述数据连续性对应于现实世界l的光信号 的丢失连续性。例如，根据从误差估计单元403提供的相关性信息， 连续性方向推导单元404检测对应于具有最大相关性的像素组的角度 作为数据连续性的角度，并输出表示对应于检测出的具有最大相关性 的像素组的角度的数据连续性信息。下面将描述对在O度到90度范围(所谓的第一象限)中的数据 连续性角度。图76是示出图72中的数据连续性检测单元101的更具体的结构的方框图。数据选择单元402包括像素选择单元411-1到像素选择单元 411-L。误差估计单元403包括估计误差计算单元412-1到估计误差计 算单元412-L。连续性方向推导单元404包括最小误差角度选择单元 413。首先，描述在由活度信息表示的数据连续性角度是从45度到135 度中的任意值的情况下，像素选择单元411-1到像素选择单元411-L 的处理。像素选择单元411-1到像素选择单元411-L设置经过关注像素的 具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参 考轴线。像素选择单元411-1到像素选择单元411-L在包括关注像素 的垂直行像素中的像素中选择在关注像素上方的预定个数的像素、在 关注像素下方的预定个数的像素以及关注像素作为一组。例如，如图77所示，像素选择单元411-1到像素选择单元411-L 从包括关注像素的垂直行像素中的像素中选择以关注像素为中心的9 个像素作为一组像素。在图77中， 一个格形方块(一个方格)表示一个像素。在图77 中，中心所示的圆形表示关注象素。像素选择单元411-1到像素选择单元411-L从包括关注像素的垂 直行像素左侧的垂直行像素中的像素中选择位于最接近各自设置的直 线的位置上的像素。在图77中，在关注像素左下方的圆形表示选出的 像素的实例。像素选择单元411-1到像素选择单元411-L然后从包括 关注像素的垂直行像素的左侧的垂直行像素中的像素中选择在选择像 素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选 择的像素作为一组像素。例如，如图77所示，像素选择单元411-1到像素选择单元411-L 从包括关注像素的垂直行像素左侧的垂直行像素中的像素中选择在最 接近直线的位置上的像素为中心的9个像素作为一组像素。像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素次左侧的垂直行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，最左的圆形表示选出的像素的实例。 像素选择单元411-1到像素选择单元411-L然后从包括关注像素的垂 直行像素的第二左的垂直行像素中的像素中选择在所选像素上方的预 定个数的像素、在所选像素下方的预定个数的像素以及选择的像素作 为一组像素。例如，如图77所示，像素选择单元411-1到像素选择单元411-L 从包括关注像素的垂直行像素次左侧的垂直行像素的像素中选择以最 接近直线的位置上的像素为中心的9个像素作为一组像素。像素选择单元411-1到像素选择单元411-L从包括关注像素的垂 直行像素右侧的垂直行像素中的像素中选择位于最接近各自设置的直 线的位置上的像素。在图77中，在关注像素右上方的圆形表示选出的 像素的实例。像素选择单元411-1到像素选择单元411-L然后从包括 关注像素的垂直行像素的右侧的垂直行像素中的像素中选择在选择像 素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选 择的像素作为一組像素。例如，如图77所示，像素选择单元411-1到像素选择单元411-L 从包括关注像素的垂直行像素右侧的垂直行像素中的像素中选择在最 接近直线的位置上的像素为中心的9个像素作为一组像素。像素选择单元411-1到像素选择单元411-L从包括关注像素的垂 直行像素次右侧的垂直行像素中的像素中选择位于最接近各自设置的 直线的位置上的像素。在图77中，最右的圆形表示选出的像素的实例。 像素选择单元411-1到像素选择单元411-L然后从包括关注像素的垂 直行像素的第二右的垂直行像素中的像素中选择在选择像素上方的预 定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作 为一组像素。例如，如图77所示，像素选择单元411-1到像素选择单元411-L 从包括关注像素的垂直行像素次右侧的垂直行像素中的像素中选择在 最接近直线的位置上的像素为中心的9个像素作为一组像素。从而，像素选择单元411-1到像素选择单元411-L每一个选择五 组像素。像素选择单元411-1到像素选择单元411-L选择(设置为)互不 相同角度的(直线)的像素组。例如，像素选择单元411-1选择45度 的像素组，像素选择单元411-2选择选择47.5度的像素组，以及像素 选择单元411-3选择50度的像素组。像素选择单元411-1到像素选择 单元411-L选择从52.5度到135度的每隔2.5度的角度的像素组。注意，像素组的个数是可选的，例如为3或7，并且并不限制本 发明。另外，被逸择为一组的像素个数是可选的数目，例如为5或13, 并且并不限制本发明。注意，可以将像素选择单元411-1到像素选择单元411-L设置为 从在垂直方向上的预定范围内的像素选择像素组。例如，像素选择单 元411-1到像素选择单元411-L可以从在垂直方向上的121个像素(在 关注像素上方的60个像素和下方的60个像素)中选择像素组。在该 情况下，数据连续性检测单元101可以检测出达到88.09度的数据连 续性与由空间方向X表示的轴线所成的角度。像素选择单元411-1将选择的像素组提供给估计误差计算单元 412-1,而像素选择单元411-2将选择的像素组提供给估计误差计算单 元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个 将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元 412-L中的每个。估计误差计算单元412-1到估计误差计算单元412-L检测从像素 选择单元411-1到像素选择单元411-L中的每个提供的在多组位置上 的像素的像素值的相关性。例如，估计误差计算单元412-1到估计误 差计算单元412-L计算包括关注像素的组的像素的像素值与从像素选 择单元411-1到像素选择单元411-L中的一个提供的另一组的相应位 置的像素的像素值之差的绝对值的和作为表示相关性的值。尤其是，根据包括关注像素的组的像素的像素值与从像素选择单 元411-1到像素选择单元411-L中的一个提供的由关注像素左侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计 误差计算单元412-L计算最顶端像素的像素值之差，然后计算次顶端 像素的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值 之差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素 的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L 中的一个提供的由关注像素次左侧的垂直行像素构成的组的像素的像 素值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶 端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝 对值的和。然后，根据包括关注像素的组的像素的像素值与从像素选择单元 411-1到像素选择单元411-L中的一个提供的由关注像素右侧的垂直 行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误 差计算单元412-L计算最顶端像素的像素值之差，然后计算次顶端像 素的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值之 差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素的 组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中 的一个提供的由关注像素次右侧的垂直行像素构成的组的像素的像素 值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶端 像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对 值的和。估计误差计算单元412-1到估计误差计算单元412-L将全部这样 算出的全部像素值之差的绝对值相加，从而计算像素值之差的绝对值 的总和。估计误差计算单元412-1到估计误差计算单元412-L将表示检测 的相关性的信息提供给最小误差角度选择单元413。例如，估计误差 计算单元412-1到估计误差计算单元412-L将计算的像素值之差的绝 对值总和提供给最小误差角度选择单元413。注意，估计误差计算单元412-1到估计误差计算单元412-L并不 限于像素值之差的绝对值总和，还可以计算其它值作为相关值，如像素值的平方差的和、或根据像素值的相关性系数等。最小误差角度选择单元413根据由估计误差计算单元412-1到估 计误差计算单元412-L检测的互不相同角度的相关性，检测输入图像 中数据连续性与参考轴的角度，所述连续性角度对应于作为丢弃的现 实世界l的光信号的图像连续性。也就是说，根据由估计误差计算单 元412-1到估计误差计算单元412-L检测的互不相同角度的相关性， 最小误差角度选择单元413选择最大相关性，并取在其上检测出选择 的相关性的角度作为数据连续性与参考轴的角度，从而在输入图像中 检测出数据连续性与参考轴所成的角度。例如，在从估计误差计算单元412-1到估计误差计算单元412-L 提供的像素值之差的绝对值的总和中，最小误差角度选择单元413选 择最小总和。对于计算出其的选择的总和的像素值，最小误差角度选 择单元413参考(make reference to)属于在关注像素再次左的一行 垂直行像素中的、并位于离直线最近的位置上的像素、和属于在关注 像素再次右的一行垂直行像素中的、并位于离直线最近的位置上的像 素。如图77所示，最小误差角度选捧单元413获得参考像素的位置 在垂直方向上距离关注像素的位置的距离S。如图78所示，最小误差 角度选择单元413根据公式(29)计算数据连续性与表示空间方向X的轴线所成的角度e，所述轴线是作为图像数据的输入图像中的参考轴线，所述连续性对应于丟弃的现实世界l的光信号连续性。 <formula>formula see original document page 86</formula> 公式(29)下面，将描述在由活度信息表示的数据连续性角度是从0度到45 度和135度到180度中的任意值的情况下，像素选择单元411-1到像 素选捧单元411-L的处理。像素选择单元411-1到像素选择单元411-L设置经过关注像素的 具有预定角度的直线，其中以表示空间方向X的轴线为参考轴线，并 且，在包括关注像素的水平行像素中的像素中选择在关注像素左侧的 预定个数的像素、在关注像素右侧的预定个数的像素以及关注像素作为一组。像素选择单元411-1到像素选择单元411-L在包括关注像素的水 平行像素上方的水平行像素中的像素中选择位于最接近各自设置的直 线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后 在包括关注像素的水平行像素上方的水平行像素中的像素中选择在选 择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以 及选择的像素作为一组像素。像素选择单元411-1到像素选择单元411-L在包括关注像素的水 平行像素上方两行的水平行像素中的像素中选择位于最接近各自设置 的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L 然后在包括关注像素的水平行像素的上方两行的垂直行像素中的像素 中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个 数的像素以及选择的像素作为一组像素。像素选择单元411-1到像素选择单元411-L在包括关注像素的水 平行像素下方的水平行像素中的像素中选择位于最接近各自设置的直 线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后 在包括关注像素的水平行像素的下方的水平行像素中的像素中选择在 选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素 以及选择的像素作为 一组像素。像素选择单元411-1到像素选择单元411-L在包括关注像素的水 平行像素下方二行的水平行像素中的像素中选择位于最接近各自设置 的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L 然后在包括关注像素的水平行像素的下方二行的垂直行像素中的像素 中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个 数的像素以及选择的像素作为一组像素。从而，像素选择单元411-1到像素选择单元411-L每一个选择五 组像素。像素选择单元411-1到像素选择单元411-L选择互不相同角度的 像素组。例如，像素选择单元411-1选择0度的像素组，像素选择单元411-2选择2.5度的像素组，以及像素选择单元411-3选择5度的像 素组。像素选择单元411-1到像素选择单元411-L选择从7.5度到45 度和从135度到180度的每隔2.5度的角度的像素组。像素选择单元411-1将选择的像素组提供给估计误差计算单元 412-1，而像素选择单元411-2将选择的像素组提供给估计误差计算单 元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个 将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元 412-L中的每个。估计误差计算单元412-1到估计误差计算单元412-L检测从像素 选择单元411-1到像素选择单元411-L中的每个提供的在多组中各位 置上的像素的像素值的相关性。估计误差计算单元412-1到估计误差 计算单元412-L将表示检测的相关性的信息提供给最小误差角度选择 单元413。最小误差角度选择单元413根据由估计误差计算单元412-1到估 计误差计算单元412-L检测的相关性，检测输入图像中数据连续性与 参考轴的角度，所述连续性对应于作为丢弃的现实世界l的光信号的 图像连续性。接着，下面将参考图79的流程图描述对应于步骤S101中的处理 的、利用具有如图72所示的结构的数据连续性检测单元101进行的数 据连续性检测处理。在步骤S401中，活度检测单元401和数据选择单元402选择关 注像素，所述像素是输入图像中的关注像素。活度检测单元401和数 据选择单元402选择同一个关注像素。例如，活度检测单元401和数 据选择单元402以栅格扫描的顺序从输入图像中选择关注像素。在步骤S402中，活度检测单元401检测关注像素的活度。例如， 活度检测单元401根据在以关注像素为中心的预定个数的像素构成的 块的垂直方向上对准的像素的像素值之差、以及在水平方向上对准的 像素的像素值之差而检测活度。活度检测单元401检测关注像素在空间方向中的活度，并将表示检测结果的活度信息提供给数据选择单元402和连续性方向推导单元 404。在步骤S403中，数据选择单元402从包括关注像素的一行像素 中选择预定个数的以关注像素为中心的像素作为像素组。例如，数据 选择单元402择预在关注像素的上方或左侧的预定个数的像素、以及 在关注像素下方或右侧的预定个数的像素、以及关注像素，作为像素 组，其中所述预定个数的像素属于包括关注像素的垂直或水平像素行。在步骤S404中，数据选择单元402根据由在步骤S402中的处理 检测的活度，每次从对于在预定范围中的每个角度的预定个数的像素 行中选择预定个数的像素作为像素组。例如，数据选择单元402设置 具有在预定范围内的角度的、经过关注像素的直线，以表示空间方向 X的轴线作为参考轴线，选择在水平方向或垂直方向上距离关注像素 一行或两行、并且离直线最近的像素，并且选择在选择的像素上方或 左侧的预定个数的像素、在选择的像素的下方或右侧的预定个数的像 素、以及最接近直线的选择的像素作为像素组。数据选择单元402选 择每个角度的像素组。数据选择单元402将选择的像素组提供给误差估计单元403。在步骤S405，误差估计单元403计算以关注像素为中心的#>素 组与每个角度的被选像素组之间的相关性。例如，误差估计单元403 对于每个角度计算包括关注像素的像素组的像素值与在其它组中的相 应位置的像素的像素值之差的绝对值的和。根据每个角度的选定像素组之间的相关性，可以检测数据连续性 的角度。误差估计单元403将表示算出的相关性的信息提供给连续性方向 推导单元404。在步骤S406中，根据在步骤S405中的处理计算的相关性，从具 有最强相关性的像素组的位置，连续性方向推导单元404基于作为图 像数据的输入图像中的参考轴检测数据连续性角度，所述连续性角度 对应于现实世界1的光信号连续性。例如，连续性方向推导单元404选择像素值之差的绝对值的总和中的最小总和，并从被计算出选择的总和的像素组的位置检测数据连续性角度e。连续性方向推导单元404输出表示被检测出的数据连续性的角度 的数据连续性信息。在步骤S407中，数据选择单元402确定对所有像素的处理是否 已经结束，并在确定对所有像素的处理仍未结束时，流程回到步骤 S401，从仍未被取为关注像素的像素中选择关注像素，并重复上述处 理。在步骤S407中确定已经结束对所有像素的处理的情况下，该处 理结束。从而，数据连续性检测单元101可以基于图像数据中的参考轴检 测数据连续性角度，所述数据连续性角度对应于丟失的现实世界l的 光信号连续性。注意，可以这样设置，其中，具有图72中的结构的数据连续性 检测单元IOI检测关注像素在输入图像的空间方向中的活度，所述关 注像素是关注帧中的关注像素；根据检测的活度，对于基于关注像素 和空间方向参考轴的每个角度和移动矢量，从关注帧和从在时间方向 上在关注帧之前或之后的每个帧中选取由在垂直方向上一行或水平方 向上一行中的预定个数的像素构成的多个像素组；检测选取的像素组 的相关性；以及根据该相关性，检测在输入固像的时间方向和空间方 向中的数据连续性的角度。例如，如图80所示，根据检测的活度，对于基于关注像素和空 间方向参考轴的每个角度和移动矢量，数据选择单元402从作为关注 帧的帧弁n、帧弁n-l以及帧并n+l中选取由在垂直方向上一行或水平方 向上一行中的预定个数的像素构成的多个像素组。帧并n-l在时间方向上在帧弁n之前，而帧弁n+l在时间方向上在 帧弁n之后。也就是i兌，以帧#11-1、 #n和弁n+l的顺序显示帧#11-1、 #n 和#11+1。误差估计单元403对于选取的多组像素检测每个单独角度和单独移动矢量的像素组的相关性。连续性方向推导单元404根据像素组的 相关性检测输入图像中的时间方向和空间方向中的数据连续性角度， 所述数据连续性角度对应于丢失的现实世界l的光信号连续性，并输 出表示角度的数据连续性信息。图81是更详细地示出图72中所示的数据连续性检测单元101的 另一结构的方框图。其中用相同的标号表示与图76中相同的部分，并 省略对其的描述。数据选择单元402包括像素选择单元421-1至像素选择单元 421-L。误差估计单元403包括估计误差计算单元422-1至估计误差计 算单元422-L。利用图81中所示的数据连续性检测单元IOI，选取对应于角度范 围的数量的组，其中像素组由对应于角度范围的数量的像素构成，检 测选取的像素组的相关性，并根据检测的相关性检测在输入图像中基 于参考轴的数据连续性角度。首先，描述在由活度信息表示的数据连续性角度是从45度到135 度中的任意值的情况下，像素选择单元421-1到像素选择单元421-L 的处理。如图82左边所示，利用图76所示的数据连续性检测单元101, 选取无关于设置直线角度的预定个像素的像素组，而如图82右边所 示，利用如图81所示的数据连续性检测单元101，选取对应于设置直 线的角度范围的多个像素的像素组。另外，利用如图81所示的数据连 续性检测单元101，选取对应于设置直线的角度范围的多个像素组。像素选择单元421-1到像素选择单元421-L设置在45度到135 度的范围中、经过关注像素并具有彼此不同的预定角度的直线，其中 以表示空间方向X的轴线为参考轴线。像素选择单元421-1到像素选择单元421-L在属于包括关注像素 的一垂直行像素的像素中选择在关注像素上方的对应于为每个设置的 每个直线的角度范围的个数的像素、在关注像素下方的多个像素以及 关注像素作为一组。像素选择单元421-1到像素选择单元421-L从包括关注像素的一 垂直行像素左侧和右侧的、在水平方向上以关注像素为参考距离关注 像素为预定距离的垂直行像素中选择位于最接近为每个角度的设置直 线的像素，并从对于选择像素的一行垂直行像素中，选择在选择像素 上方的对应于设置直线的角度范围的个数的像素、在选择像素下方的 对应于设置直线的角度范围的个数的像素以及选择的像素作为一组像 素。也就是说，像素选择单元421-1到像素选择单元421-L选择对应 于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1 到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素 组。例如，当用传感器2成像细线的图像的情况下，所述细线与空间 方向X成约45度的角度，并在检测元件的检测区域具有近似相同宽 度的宽度，将细线的图像投影到数据3上，使得在空间方向Y的一行 上对准的三个像素上形成弧形作为细线图像。相反，当用传感器2成 像细线的图像的情况下，所述细线与空间方向X近似垂直，并在检测 元件的检测区域具有近似相同的宽度，将细线的图像投影到数据3上， 使得在空间方向Y的一行上对准的多个像素上形成弧形作为细线图 像。对于像素组中包括的相同个数的像素，在细线与空间方向X成约 45度角度的情况下，像素组中的其上被投影细线图像的像素的个数更 小了，这表示分辨率下降。另一方面，在细线与空间方向近似垂直的 情况下，在其上投影细线图像的部分像素上进行的处理可能导致精度 的降低。因此，为了使其上被投影细线图像的像素的个数近似相等，像素 选择单元421-1到像素选择单元421-L选择像素和像素组，使得在设 置直线与空间方向X成接近45度角度的情况下减少在每个像素组中 包括的像素个数、并增加像素组的组数，而在设置直线与空间方向X 接近垂直的情况下增加每个像素组中的像素的个数，并减少像素组的组数。例如，如图83和84所示，在设置直线的角度在大于等于45度 并小于63.4度的情况下(该范围由图83和84中的A表示)，则像素 选择单元421-1到像素选择单元421-L从关注像素的一垂直行中选择 以关注像素为中心的五个像素作为像素组，并且还从这样的像素中选 择五个像素作为像素组，所述像素属于在关注像素的水平方向上五个 像素范围内的左侧和右侧的行上。也就是说，在设置直线的角度在大于等于45度但小于63.4度的 情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择 每个由5个像素构成的11个像素组。在该情况下，被选作为最接近设 置直线的像素的像素是在垂直方向上离关注像素为5个像素到9个像 素的位置上。在图84中，行数表示在关注像素左侧或右侧的像素行数，从其 上选择像素作为像素组。在图84中， 一行中的像素数表示从关注像素 的垂直行、或在关注像素的左侧或右侧的行中选作为像素组的像素个 数。在图84中，像素的选择范围表示将被选择的像素在垂直方向中的 位置，所述像素的位置最接近关注像素的设置直线。如图85所示，例如，在设置直线的角度为45度的情况下，像素 选择单元421-1在关注像素的一垂直行中选择5个以关注像素为中心 的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向 上五个像素范围内的像素的 一行的像素中选取五个像素作为像素组。 也就是说，像素选择单元421-1从输入图像选择11个每个由5个像素 构成的像素组。在该情况下，在被选为最接近设置直线的像素中的像 素中，离关注像素最远的像素在垂直方向上离关注像素有五个像素。注意，在图85到图92中，由虛线表示的方形(由虛线分开的单 个方格)表示单个像素，由实线表示的方形表示像素组。在固85到图 92中，关注像素在空间方向X上的坐标为0,并且关注像素在空间方 向Y上的坐标为O。另外，在图85到图92中，阴影方形表示关注像素或最接近设置直线的像素。在图85到图92中，由深色线表示的方形表示选择的以 关注像素为中心的像素组。如图86所示，例如，在设置直线的角度为60.9度的情况下，像 素选择单元421-2在关注像素的一垂直行中选择5个以关注像素为中 心的像素作为像素組，并且另外从在关注像素的左侧和右侧的水平方 向上五个像素范围内的像素的行中选取五个像素作为像素组。也就是 说，像素选择单元421-2从输入图像选择11个每个由5个像素构成的 像素组。在该情况下，在被选为最接近设置直线的像素的像素中，离 关注像素最远的像素在垂直方向上离关注像素有九个像素。例如，如图83和84所示，在设置直线的角度为大于等于63.4 度但小于71.6度(在闺83和84中由B表示该范围)的情况下，像素 选择单元421-1到像素选择单元421-L在关注像素的一垂直行中选择 7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的 左侧和右侧的水平方向上4个像素范围内的像素的一行中选取7个像 素作为像素组。也就是说，在设置直线的角度为大于等于63.4度但小于71.6度 的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选 择9个每个由7个像素构成的像素组。在该情况下，被选为最接近设 置直线的像素的像素在垂直方向上离关注像素为8到ll个像素。如图87所示，例如，在设置直线的角度为63.4度的情况下，像 素选择单元421-3在关注像素的一垂直行中选择7个以关注像素为中 心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方 向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是 说，像素选择单元421-3从输入图像选择9个每个由7个像素构成的 像素组。在该情况下，在被选为最接近设置直线的像素的像素中，离 关注像素最远的像素在垂直方向上离关注像素有8个像素。如图88所示，例如，在设置直线的角度为70.0度的情况下，像 素选择单元421-4在关注像素的一垂直行中选择7个以关注像素为中 心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是 说，像素选择单元421-4从输入图像选择9个每个由7个像素构成的 像素组。在该情况下，在被选为最接近设置直线的像素的像素中，离 关注像素最远的像素在垂直方向上离关注像素有11个像素。例如，如图83和84所示，在设置直线的角度为大于等于71.6 度但小于76度(在图83和84中由C表示该范围)的情况下，像素 选择单元421-1到像素选择单元421-L在关注像素的一垂直行中选择 9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的 左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素 作为像素组。也就是说，在设置直线的角度为大于等于71.6度但小于76度的 情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择 7个每个由9个像素构成的像素组。在该情况下，被选为最接近设置 直线的像素的像素在垂直方向上离关注像素为9到ll个像素。如图89所示，例如，在设置直线的角度为71.6度的情况下，像 素选择单元421-5在关注像素的一垂直行中选择9个以关注像素为中 心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方 向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是 说，像素选择单元421-5从输入图像选棒7个每个由9个像素构成的 像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像 素最远的像素在垂直方向上离关注像素有9个像素。如图90所示，例如，在设置直线的角度为74.7度的情况下，像 素选择单元421-6在关注像素的一垂直行中选择9个以关注像素为中 心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方 向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是 说，像素选择单元421-6从输入图像选择7个每个由9个像素构成的 像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像 素最远的像素在垂直方向上离关注像素有11个像素。例如，如图但小于87.7度(在图83和84中由D表示该范围)的情况下，像素选 择单元421-1到像素选择单元421-L在关注像素的一垂直行中选择11 个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左 侧和右侧的水平方向上2个像素范围内的像素的行中选取9个像素作 为像素组。也就是说，在设置直线的角度为大于等于76度但小于87.7 度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像 选择5个每个由11个像素构成的像素组。在该情况下，被选为最接近 设置直线的像素的像素在垂直方向上离关注像素为8到50个像素。如图91所示，例如，在设置直线的角度为76度的情况下，像素 选择单元421-7在关注像素的一垂直行中选择11个以关注像素为中心 的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向 上2个像素范围内的像素的行中选取11个像素作为像素组。也就是说， 像素选择单元421-7从输入图像选择5个每个由11个像素构成的像素 组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最 远的像素在垂直方向上离关注像素有8个像素。如图92所示，例如，在设置直线的角度为87.7度的情况下，像 素选择单元421-8在关注像素的一垂直行中选择11个以关注像素为中 心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方 向上2个像素范围内的像素的行中选取11个像素作为像素組。也就是 说，像素选择单元421-8从输入图像选择5个每个由11个像素构成的 像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像 素最远的像素在垂直方向上离关注像素有50个像素。从而，像素选择单元421-1到像素选择单元421-L每个选择对应 于角度范围的预定个数的像素组，所示像素组由对应于角度范围的预 定个数的像素构成。像素选择单元421-1将选择的像素组提供给估计误差计算单元 422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算 单元422-2。同样，像素选择单元421-3到像素选择单元421-L将选择 的像素组提供给估计误差计算单元422-3到估计误差计算单元422-L。估计误差计算单元422-1到估计误差计算单元422-L检测从像素 选择单元421-1到像素选择单元421-L中的每个提供的多组中在相应 位置上的像素的像素值的相关性。例如，估计误差计算单元422-1到 估计误差计算单元422-L计算从像素选择单元421-1到像素选择单元 421-L中的每个提供包括关注像素的像素组的像素的像素值与在其它 多组中的相应位置上的像素的像素值之差的绝对值的和，并用算出的 和除以包括关注像素的像素组以外的像素组中包括的像素的个数。用 算出的和除以包括关注像素的像素组以外的像素组中包括的像素的个 数是为了归一化表示相关性的值，因为被选的像素个数根据设置的直 线的角度而不同。估计误差计算单元422-1到估计误差计算单元422-L将表示相关 性的检测信息提供给最小误差角度选择单元413。例如，估计误差计 算单元422-1到估计误差计算单元422-L将像素值之差的归一化的和 提供给最小误差角度选择单元413。接着，将描述在由活度信息表示的数据连续性的角度是在O度到 45度和135度到180度中的任意值的情况下，像素选择单元421-1到 像素选择单元421-L的处理。像素选择单元421-1到像素选择单元421-L设置在0到45度或 135度到180度的范围中、经过关注像素并具有彼此不同的预定角度 的直线，其中以表示空间方向X的轴线为参考轴线。像素选择单元421-1到像素选择单元421-L,在包括关注像素的 一水平行像素中选择在关注像素左侧的对应于设置直线的角度范围的 个数的像素、在关注像素右侧的对应于设置直线的角度范围的个数的 像素、以及选择像素作为一组。像素选择单元421-1到像素选择单元421-L在距离包括关注像素 的水平行像素上方和下方的、在垂直方向上以像素为参考并离该像素 为预定距离的水平行像素中选择位于最接近每个角度的设置直线的像 素，并从选择像素的一行水平行像素中，选择在选择像素左侧的对应 于设置直线的角度范围的个数的像素、在选择直线的角度范围的个数的像素以及选择的像素作为 一组像素。也就是说，像素选择单元421-1到像素选择单元421-L选择对应 于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1 到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素 组。像素选择单元421-1将选择的像素组提供给估计误差计算单元 422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算 单元422-2。同样，像素选择单元421-3到像素选择单元421-L的每一 个将选择的像素组提供给估计误差计算单元422-3到估计误差计算单 元422-L的每个。估计误差计算单元422-1到估计误差计算单元422-L检测从像素 选择单元421-1到像素选择单元421-L中的每个提供的多组中在相应 位置上的像素的像素值的相关性。估计误差计算单元422-1到估计误差计算单元422-L将表示相关 性的检测信息提供给最小误差角度选择单元413。接着，将参考图93中的流程周描述利用具有图81所示的结构的 数据连续性检测单元101进行的对应于在步骤S101中的数据连续性检 测的处理。步骤S421和步骤S422的处理与步骤S401和步骤S402的处理相 同，因此省略对其的描述。在步骤S423中，对于对应于在步骤S422中的处理中检测的活度 的范围中的每个角度，数据检测单元402从包括关注像素的像素行中 选择以关注像素为中心的、对应于角度范围的预定多个像素作为像素 组。例如，数据选择单元402从属于像素的垂直行或水平行的像素中 选择由设置直线的角度范围确定的个数、在关注像素的上方或左侧、 在关注像素的下方或右侧的像素以及关注像素作为像素组。在步骤S424，对于根据在步骤S422的处理中检测的活度的范围 中的每个预定角度，数据检测单元402从对应于角度范围的预定个数 的像素行中选择对应于角度范围的预定个数的像素作为像素组。例如，数据选择单元402设置具有预定范围角度的、经过关注像素的直线， 其中以表示空间方向X的轴线为参考轴线，选择最接近直线、同时在 水平方向或垂直方向上距离关注像素为根据设置直线的角度范围的预 定范围的像素，并选择在选择像素的上方或左侧的对应于设置直线的 角度范围的个数的像素、在像素的下方或右侧的对应于设置直线的角 度范围的个数的像素、以及最接近选择直线的像素作为像素组。数据 检测单元402选择每个角度的像素组。.数据选捧单元402将选择的像素提供给误差估计单元403。在步骤S425中，误差估计单元403计算以关注像素为中心的像 素组与为每个角度逸择的像素组之间的相关性。例如，误差估计单元 403计算包括关注像素的像素组的像素的像素值与在其它组的相应位 置的像素的像素值之差的绝对值的和，并用像素值之差的绝对值的和 除以所述其它组的像素的个数，从而计算相关性。可以这样设置，其中根据为每个角度选择的像素组之间的互相关 性检测数据连续性的角度。误差估计单元403将表示计算的相关性的信息提供给连续性方向 推导单元404。步骤S426和步骤S427与步骤S406和步骤S407的处理相同，因 此省略对其的描述。从而，数据连续性检测单元101可以更精密并准确地检测基于图 像数据中的参考轴线的数据连续性角度，其对应于丟失的现实世界1 的光信号的连续性。利用具有图81所示的结构的数据连续性检测单元 101，在数据连续性角度为约45度的情况下，可以尤其估计其上被投 影了细线图像的更多像素的相关性，从而可以更精确地检测数据连续 性的角度。注意，可以这样设置，同样利用具有图81所示结构的数据连续 性检测单元101，其中对于特定关注像素检测输入图像的空间方向中 的活度，所述关注像素是关注帧中的关注像素，并从根据空间角度范 围确定的一定个数的在一垂直行或一水平行上的像素组，选取对应于空间角度范围的个数的像素，根据检测的活度，对于基于关注像素和 在空间方向中的参考轴线的每个角度和移动矢量，从关注帧和在时间 方向上在关注帧之前和之后的帧中检测选取像素组的相关性，并根据 相关性检测在输入图像中的时间方向和空间方向上的数据连续性角 度。图94是示出数据连续性检测单元101的另一结构的方框图。 利用具有图94所示的结构的数据连续性检测单元101，对于作为 关注像素的像素，选取由以关注像素为中心的预定个数的像素构成的 块、以及每个由围绕关注像素的预定个数的像素构成的多个块，检测 以预定像素为中心的块与周围块的相关性，并且根据相关性，检测输 入图像中基于参考轴的数据连续性角度。数据检测单元441随后从输入图像的像素中选择关注像素，选取 由以关注像素为中心的预定个数的像素构成的块、以及由关注像素周 围的预定个数的像素构成的多个块，并将选取的块提供给误差估计单 元442。例如，数据选择单元441对于基于关注像素和参考轴的每个预定 角度范围，选取由以关注像素为中心的5x5个像素构成的块，以及由 在关注像素周围的5x5个像素构成的两个块。误差估计单元442检测从数据选择单元441提供的以关注像素为 中心的块与在关注像素周围的块的相关性，并将表示检测的相关性的 相关性信息提供给连续性方向推导单元443。例如，误差估计单元442检测相对于每个角度的由以关注像素为 中心的5x5个像素构成的块的像素值与对应于一个角度范围的由5x5 个像素构成的两个块的像素值的相关性。根据从误差估计单元442提供的相关性信息，从具有最大相关性 的在关注像素周围的块的位置，连续性方向推导单元443检测输入图 像中基于参考轴的数据连续性的角度，所述连续性的角度对应于丢失 的现实世界1的光信号的连续性，并输出表示角度的数据连续性信息。 例如，连续性方向推导单元443根据从误差根据单元442提供的相关性信息，检测与由以关注像素为中心的5x5个像素构成的块具有最大 相关性的、由关注像素周围的5x5个像素构成的两个块的角度范围， 作为连续性数据的角度，并输出表示检测的角度的数据连续性信息。图95为示出图94所示的数据连续性检测单元101的更详细结构 的方框图。数据选择单元441包括像素选择单元461-1到像素选择单元 461-L。误差估计单元442包括估计误差计算单元462-1到估计误差计 算单元462-L。连续性方向推导单元443包括最小误差角度选择单元 463。例如，数据选择单元441包括像素选择单元461-1到像素选择单 元461-8。误差估计单元442包括估计误差计算单元462-1到估计误差 计算单元462-8。每个像素选择单元461-1到像素选择单元461-8选取由以关注像 素为中心的预定个数的像素构成的块、以及由根据基于关注像素和参 考轴的预定角度范围的预定个数的像素构成的两个块。图96描述了由像素选择单元461-1到像素选择单元461-L选取 的5x5个像素块的实例。图96的中心位置表示关注像素的位置。注意，5x5像素块只是一个实例，但是在块中包括的像素的个数 并不限制本发明。例如，像素选择单元461-1选取以关注像素为中心的5x5像素块， 并对应于O度到18.4度和161.6度到180度，选取以从关注像素向右 平移5个像素的像素为中心的5x5像素块(图96中由A表示)、选 取以从关注像素向左平移5个像素的像素为中心的5x5像素块(图96 中由A，表示)。像素选择单元461-1将选取的三个5x5像素块提供给 估计误差计算单元462-1。像素选择单元461-2选取以关注像素为中心的5x5像素块，并对 应于18.4度到33.7度的角度范围，选取以从关注像素向右平移10个 像素、向上平移5个像素的像素为中心的5x5像素块(图96中由B 表示)、选取以从关注像素向左平移10个像素、向下平移5个像素的像素为中心的5x5像素块(图96中由B，表示)。像素选择单元461-2 将选取的三个5x5像素块提供给估计误差计算单元462-2。像素选择单元461-3选取以关注像素为中心的5x5像素块，并对 应于33.7度到56.3度的角度范围，选取以从关注像素向右平移5个像 素、向上平移5个像素的像素为中心的5x5像素块(图96中由C表 示)、选取以从关注像素向左平移5个像素、向下平移5个像素的像 素为中心的5x5像素块(图96中由C，表示)。像素选择单元461-3 将选取的三个5x5像素块提供给估计误差计算单元462-3。像素选择单元461-4选取以关注像素为中心的5x5像素块，并对 应于56.3度到71.6度的角度范围，选取以从关注像素向右平移5个像 素、向上平移IO个像素的像素为中心的5x5像素块(图96中由D表 示)、选取以从关注像素向左平移5个像素、向下平移10个像素的像 素为中心的5x5像素块(图96中由D，表示)。像素选择单元461-4 将选取的三个5x5像素块提供给估计误差计算单元462-4。像素选择单元461-5选取以关注像素为中心的5x5像素块，并对 应于71.6度到108.4度的角度范围，选取以从关注像素向上平移5个 像素的像素为中心的5x5像素块(图96中由E表示)、选取以从关 注像素向下平移5个像素的像素为中心的5x5像素块(图96中由E， 表示)。像素选择单元461-5将选取的三个5x5像素块提供给估计误 差计算单元462-5。像素选择单元461-6选取以关注像素为中心的5x5像素块，并对 应于108.4度到123.7度的角度范围，选取以从关注像素向左平移5 个像素、向上平移IO个像素的像素为中心的5x5像素块(图96中由 F表示)、选取以从关注像素向右平移5个像素、向下平移10个像素 的像素为中心的5x5像素块(图96中由F，表示)。像素选择单元461-6 将选取的三个5x5像素块提供给估计误差计算单元462-6。像素选择单元461-7选取以关注像素为中心的5x5像素块，并对 应于123.7度到146.3度的角度范围，选取以从关注像素向左平移5 个像素、向上平移5个像素的像素为中心的5x5像素块(图96中由G表示)、选取以从关注像素向右平移5个像素、向下平移5个像素的 像素为中心的5x5像素块(图96中由G，表示)。像素选择单元461-7 将选取的三个5x5像素块提供给估计误差计算单元462-7。像素选择单元461-8选取以关注像素为中心的5x5像素块，并对 应于146.3度到161.6度的角度范围，选取以从关注像素向左平移10 个像素、向上平移5个像素的像素为中心的5x5像素块(图96中由H 表示)、选取以从关注像素向右平移10个像素、向下平移5个像素的 像素为中心的5x5像素块(图96中由H，表示)。像素选择单元461-8 将选取的三个5x5像素块提供给估计误差计算单元462-8。下文中，将由以关注像素为中心的预定个数的像素构成的块称为 关注块。下文中，将由对应于基于关注像素和参考轴的预定角度范围的预 定个数的像素称为参考块。这样，例如，像素选择单元461-1到像素选择单元461-8从以关 注像素为中心的25x25个像素的范围中选取关注块和参考块。估计误差计算单元462-1到估计误差计算单元462-L检测关注块 与从像素选择单元461-1到像素选择单元461-L提供的两个参考块之 间的相关性，并将表示检测的相关性的相关性信息提供给最小误差角 度选择单元463。例如，估计误差计算单元462-1对于由以关注像素为中心的5x5 个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度 获取的、以从关注像素向右平移5个像素的像素为中心的5x5像素参 考块，计算关注块中的像素的像素值与参考块中的像素的像素值之差 的绝对值。在该情况下，如图97所示，为了在计算像素值之差的绝对值中 使用关注像素的像素值，以关注块的中心像素与参考块的中心像素重 叠的位置作为参考，估计误差计算单元462-1计算在这样的情况下重 叠的位置上的像素像素值之差的绝对值，在所述情况中，将关注块的 位置对于参考块向左平移两个像素或向右平移两个像素的任一个，并向上平移两个像素或向下平移两个像素的任一个。这表示在关注块和参考块的25种位置中的相应位置上的像素的像素值之差的绝对值。换 句话说，在计算像素值之差的绝对值的情况中，由相对移动的关注块 和参考块构成的范围为9x9个像素。在图97中，方块表示像素，A表示参考块，B表示关注块。在 图97中,深色线表示关注像素。也就是说，图97示出了将关注块对 于参考块向右平移两个像素并向上平移一个像素的情况。另外，估计误差计算单元462-1对于由以关注#>素为中心的5x5 个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度 选取的、以从关注像素向左平移5个像素的像素为中心的5x5像素参 考块，计算关注块中的像素的像素值与参考块中的像素的像素值之差 的绝对值。估计误差计算单元462-1然后获得已经计算的差的绝对值之和， 并将差的绝对值之和提供给最小误差角度选择单元463作为表示相关 性的相关性信息。估计误差计算单元462-2对于由5x5个像素构成的关注块、以及 对应于18.4度到33.7以选取的两个5x5像素参考块，计算像素值之 差的绝对值，并还计算已经算出的差的绝对值的和。估计误差计算单 元462-2将算出的差的绝对值之和提供给最小误差角度选择对于463 作为表示相关性的相关性信息。同样，估计误差计算单元462-3到估计误差计算单元462-8对于 5x5个像素构成的关注块、以及对应于预定角度范围选取的两个5x5 像素参考块，计算像素值之差的绝对值，并还计算已经算出的差的绝 对值的和。估计误差计算单元462-3到估计误差计算单元462-8每个 将差的绝对值之和提供给最小误差角度选择单元463作为表示相关性 的相关性信息。最小误差角度选择单元463检测对应于在这样的参考块位置上的 两个参考块的角度作为数据连续性角度，在所示位置上，从估计误差 计算单元462-1到估计误差计算单元462-8提供的作为相关性信息的像素值之差的绝对值的和中获得为表示最强相关性的最小值，并且，
所述单元463输出表示检测的角度的数据连续性信息。
现在将描述参考块的位置和数据连续性的角度范围之间的关系。 在用n阶一维多项式近似用于模拟现实世界信号的模拟函数f (x)的情况中，可以将模拟函数f (x)表达为公式(30)。
<formula>formula see original document page 105</formula>
'1=() 公式(30) 在由模拟函数f ( x )模拟的现实世界1的信号的波形具有与空间 方向Y的特定梯度(角度)时，由通过将公式(30)中的x取为x+yy 而获得的公式(31)表达用于模拟现实世界1的信号的模拟函数f ( x，
<formula>formula see original document page 105</formula>公式(31)
Y表示在空间方向X中的位置变化与在空间方向Y中的位置变化 的比值。下文中，将y称为平移量。
图98示出了，在关注像素的位置与角度e为0度的直线之间在空 间方向x上的距离为o，即直线经过关注像素的情况下，从关注像素
的周围像素的位置到在空间方向x中具有角度e的直线的距离。这里， 像素的位置是像素的中心。另外，在所述位置在直线左侧的情况下， 位置与直线之间的距离由负值表示，在所述位置在直线右侧的情况下， 位置与直线之间的距离由正值表示。
例如，在关注像素右侧的相邻像素的位置，即其中在空间方向x 上的坐标x增i，与具有角度e的直线在空间方向x上的距离为i， 以及，在关注像素左侧的相邻像素的位置，即其中在空间方向x上的 坐标x减i，与具有角度e的直线在空间方向x上的距离为-i。在关注像素上方的相邻像素的位置，即其中在空间方向y上的坐标y增1， 与具有角度e的直线在空间方向x上的距离为-Y，以及，在关注像素 下方的相邻像素的位置，即其中在空间方向y上的坐标y减1,与具
有角度e的直线在空间方向x上的距离为y。
在角度e大于45度但小于90度的情况下，平移量Y大于o但小 于l,平移量y和角度e之间存在关系式Y=l/tane。图99示出了平移
量y和角度e之间的关系。
现在，注意关注像素附近的像素的位置与经过关注像素并具有角 度e的直线之间在空间方向x上的距离相对于平移量Y的变化的变化。
图ioo示出了关注像素附近的像素的位置与经过关注像素并具有
角度e的直线之间在空间方向x上的距离相对于平移量Y的图。在图 ioo中，朝向右上方的单点虛线表示在其底部与关注像素相邻的像素
的位置与直线在空间方向x上的距离相对于平移量y。朝向左下方的
单点虛线表示在其上部与关注像素相邻的像素的位置与直线在空间方
向x上相对于平移量y的距离。
在图100中，朝向右上方的两点虛线表示在关注像素的向下两个
像素、向左一个像素的像素的位置与直线在空间方向x上相对于平移 量Y的距离。朝向左下方的两点虛线表示在关注像素向上两个像素、
向右一个像素的像素的位置与直线在空间方向x上相对于平移量Y的距离。
在图100中，朝向右上方的三点虚线表示在关注像素的向下一个
像素、向左一个像素的像素的位置与直线在空间方向x上相对于平移
量Y的距离。朝向左下方的两点虚线表示在关注像素向上一个像素、 向右一个像素的像素的位置与直线在空间方向x上相对于平移量Y的距离。
从图100中可以找出对于平移量Y的具有最小距离的像素。 也就是说，在平移量Y为0到1/3的情况下，从在上部相邻于关
注像素的像素和在下部相邻于关注像素的像素到直线的距离是最小
的。也就是说，在角度e是71.6度到90度的情况下，从在上部相邻于关注像素的像素和在下部相邻于关注像素的像素到直线的距离是最 小的。
在平移量Y为1/3到2/3的情况下，从在关注像素上方两个像素、 右侧 一个像素的像素和在关注像素下方两个像素、左侧 一个像素的像 素到直线的距离是最小的。也就是说，在角度0是56.3度到71.6度 的情况下，从在关注像素上方两个像素、右侧一个像素的像素和在关 注像素下方两个像素、左侧一个像素的像素到直线的距离是最小的。
在平移量Y为2/3到1的情况下，从在关注像素上方一个像素、 右侧一个像素的像素和在关注像素下方一个像素、左侧一个像素的像 素到直线的距离是最小的。也就是说，在角度e是45度到56.3度的 情况下，从在关注像素上方一个像素、右侧一个像素的像素和在关注 像素下方一个像素、左侧一个像素的像素到直线的距离是最小的。
角度0范围在0度到45度的直线与像素之间的关系也可以同样考虑。
可以用关注块和参考块代替图98中的像素，以考虑参考块和直 线在空间方向X上的距离。
图ioi示出了这样的参考块，其与经过关注像素并具有角度e的
直线相对于空间方向X的轴线的距离最小。
图101中的A到H和A，到H，表示图96中的参考块A到H和A， 到H，。
也就是说，在具有在0度到18.4度和161.6到180.8度之间的任 一角度e、并经过关注像素以空间方向X轴作为参考的直线与每个参 考块A到H和A，到H，之间的在空间方向X上的距离中，直线与参考 块A和A，之间的距离是最小的。因此，反之，在关注块与参考块A 和A，之间的相关性最大的情况下，这意味着，在连接关注块和参考块 A和A，的方向上重复出现相同的特定特征，因此可以认为，数据连续 性的角度在0度到18.4度和161.6到180.0度的范围内。
在具有在18.4度到33.7度之间的任一角度0、并经过关注像素 以空间方向X轴作为参考的直线与每个参考块A到H和A，到H，之间的在空间方向X上的距离中，直线与参考块B和B，之间的距离是最 小的。因此，反之，在关注块与参考块B和B，之间的相关性最大的情 况下，这意味着，在连接关注块和参考块B和B，的方向上重复出现相 同的特定特征，因此可以认为，数据连续性的角度在18.4度到33.7 度的范围内。
在具有在33.7度到56.3度之间的任一角度0、并经过关注像素 以空间方向X轴作为参考的直线与每个参考块A到H和A，到H，之间 的在空间方向X上的距离中，直线与参考块C和C，之间的距离是最 小的。因此，反之，在关注块与参考块C和C，之间的相关性最大的情 况下，这意味着，在连接关注块和参考块C和C，的方向上重复出现相 同的特定特征，因此可以认为，数据连续性的角度在33.7度到56.3 度的范围内。
在具有在56.3度到71.6度之间的任一角度9、并经过关注像素 以空间方向X轴作为参考的直线与每个参考块A到H和A，到H，之间 的在空间方向X上的距离中，直线与参考块D和D，之间的距离是最 小的。因此，反之，在关注块与参考块D和D，之间的相关性最大的情 况下，这意味着，在连接关注块和参考块D和D，的方向上重复出现相 同的特定特征，因此可以认为，数据连续性的角度在56.3度到71.6 度的范围内。
在具有在71.6度到108.4度之间的任一角度e、并经过关注像素 以空间方向X轴作为参考的直线与每个参考块A到H和A，到H，之间 的在空间方向X上的距离中，直线与参考块E和E，之间的距离是最 小的。因此，反之，在关注块与参考块E和E，之间的相关性最大的情 况下，这意味着，在连接关注块和参考块E和E，的方向上重复出现相 同的特定特征，因此可以认为，数据连续性的角度在71.6度到108.4 度的范围内。
在具有在108.4度到123.7度之间的任一角度0、并经过关注像 素以空间方向X轴作为参考的直线与每个参考块A到H和A，到H， 之间的在空间方向X上的距离中，直线与参考块F和F，之间的距离是最小的。因此，反之，在关注块与参考块F和F，之间的相关性最大的 情况下，这意味着，在连接关注块和参考块F和F，的方向上重复出现 相同的特定特征，因此可以认为，数据连续性的角度在108.4度到123.7 度的范围内。
在具有在123.7度到146.3度之间的任一角度0、并经过关注像 素以空间方向X轴作为参考的直线与每个参考块A到H和A，到H， 之间的在空间方向X上的距离中，直线与参考块G和G，之间的距离 是最小的。因此，反之，在关注块与参考块G和G，之间的相关性最 大的情况下，这意味着，在连接关注块和参考块G和G，的方向上重 复出现相同的特定特征，因此可以认为，数据连续性的角度在123.7 度到146.3度的范围内。
在具有在146.3度到161.6度之间的任一角度9、并经过关注《象 素以空间方向X轴作为参考的直线与每个参考块A到H和A，到H， 之间的在空间方向X上的距离中，直线与参考块H和H，之间的距离 是最小的。因此，反之，在关注块与参考块H和H，之间的相关性最 大的情况下，这意味着，在连接关注块和参考块H和H，的方向上重 复出现相同的特定特征，因此可以认为，数据连续性的角度在146.3 度到161.6度的范围内。
这样，数据连续性检测单元101可以根据关注块与参考块之间的 相关性检测数据连续性的角度。
注意，利用具有图94所示的结构的数据连续性检测单元101，可 以这样设置，其中将数据连续性的角度范围输出为数据连续性信息， 或这样设置，其中将表示数据连续性的角度范围的代表值输出为数据 连续性信息。例如，可以将数据连续性的角度范围的中间值用作代表 值。
另外，利用具有图94所示的结构的数据连续性检测单元101，通 过使用关注块与参考块之间的最大相关性，允许减半要检测的数据连 续性的角度范围，即，要检测的数据连续性的角度分辨率被两倍了。
例如，当关注块与参考块E和E，之间的相关性最大，最小误差角度选择单元463比较参考块D和D，与关注块的相关性与参考块F 和F，与关注块的相关性，如图102所示。在参考块D和D，与关注块 之间的相关性比参考块F和F，与关注块的相关性大的情况下，则最小 误差角度选择单元463将71.6度到90度的范围设置为数据连续性的 角度。或者，在该情况下，最小误差角度选择单元463可以将81度设 置为数振连续性角度的代表值。在参考块F和F，与关注块之间的相关性比参考块D和D，与关注 块的相关性大的情况下，则最小误差角度选择单元463将卯度到108.4 度的范围设置为数据连续性的角度。或者，在该情况下，最小误差角 度选择单元463可以将99度设置为数据连续性角度的代表值。最小误差角度选择单元463利用相同的处理对于其它角度同样可 以减半将要检测的数据连续性角度的范围。参考图102所述的技术还称为简化16方向检测。从而，具有图94所示的结构的数据连续性检测单元101利用简 单的处理，可以在更窄的范围中检测数据连续性的角度。接着，将参考图103中所示的流程图，描述对应于在步骤S101 中的处理利用具有图94所示的结构的数据连续性检测单元101检测数 据连续性的处理。在步骤S441中，数据选择单元441从输入图像选择关注像素。 例如，数据选择单元441以栅格扫描的顺序从输入图像中选择关注像 素。在步骤S442中，数据选择单元441选择由以关注像素为中心的 预定个数的像素构成的关注块。例如，数据选择单元441选择由以关 注像素为中心的5x5个像素构成的关注块。在步骤S443中，数据选择单元441选择由在关注像素周围的预 定位置的预定个数的像素构成的参考块。数据选择单元441对于每个 基于关注像素和参考轴的预定角度范围，选择由以基于关注块的尺寸 的预定位置为中心的5x5个像素构成的参考块。数据选择单元441将关注块和参考块提供给误差估计单元442。在步骤S444,误差估计单元442对于每个基于关注像素和参考 轴的预定角度范围，计算关注块和对应于角度范围的参考块之间的相 关性。误差估计单元442将表示计算的相关性的相关性信息提供给连 续性方向推导单元443。在步骤S445中，连续性方向推导单元443从具有与关注块的最 大相关性的参考块的位置，检测输入图像中基于参考轴的数据连续性 的角度，其对应于丟失的现实世界l的光信号的图像连续性。连续性方向推导单元443将表示检测的数据连续性角度的数据连 续性信息输出。在步骤S446,数据选择单元441确定对所有像素的处理是否已 经结束，在确定对所有像素的处理仍未结束的情况下，该流程返回步 骤S441，从仍未被选的像素中选择关注的像素作为关注像素，并重复 上述处理。在步骤S446中，在确定对所有像素的处理已经结束的情况下， 该处理结束。从而，具有图94所示的结构的数据连续性检测单元101利用更 容易的处理，可以检测图像数据中基于参考轴的数据连续性角度，其 对应于丢失的现实世界l的光信号的连续性。另外，具有图94所示的 结构的数据连续性检测单元101可以利用输入图像中较窄范围的像素 的像素值检测数据连续性的角度，从而，即使在输入图像中存在噪音 等情况下，仍可以更精确地检测数据连续性的角度。注意，对于具有图94所示的结构的数据连续性检测单元101，可 以这样设置，其中，对于关注帧中的关注像素，除了选取以关注像素 为中心、并由关注帧中的预定个数的像素构成的块，还可以选取每个 由以关注像素周围的预定个数的像素构成的多个块、从在时间方向上 在关注帧之前或之后的帧中，以对应于关注像素的位置上的像素为中 心、并由预定个数的像素构成的块、以及每个由以对应于关注像素的 位置上的像素周围的预定个数的像素构成的多个块，并检测以关注像 素为中心的块与在空间方向和时间方向上在其周围的块的相关性，从而基于相关性，在时间方向和空间方向上检测输入图像的数据连续性 的角度。例如，如图104所示，数据选择单元441依次从作为关注帧的帧 #n中选择关注像素、并从帧#11中选取以关注像素为中心、并由预 定个数的像素构成的块、以及每个由以关注像素周围的预定个数的像 素构成的多个块。另夕卜，数据选择单元441从#11-1和帧#11+1中选取 以对应于关注像素的位置的位置上的像素为中心、并由预定个数的像 素构成的块、以及每个由对应于关注像素的位置上的像素周围的预定 个数的像素构成的多个块。数据选择单元441将选取的块提供给误差 估计单元442。误差估计单元442检测从数据选择单元441提供的以关注像素为 中心的块与在时间方向和空间方向上其周围的块的相关性，并将表示 检测的相关性的相关性信息提供给连续性方向推导单元443。根据从 误差估计单元442提供的相关性信息，连续性方向推导单元443从具 有最大相关性的块在空间方向或时间方向上的位置，检测输入图像的 数据连续性在空间方向或时间方向上的角度，其对应于丢失的现实世 界l的光信号连续性，并输出表示角度的数据连续性信息。另外，数据连续性检测单元101可以根据输入图像的分量信号进 行数据连续性检测处理。图105示出数据连续性检测单元101根据输入图像的分量信号进 行数据连续性检测处理的结构的方框图。每个数据连续性检测单元481-1到481-3具有与上述或下文描述 的数据连续性检测单元101相同的结构，并且在输7^图像的每个分量 信号上执行上述或下述的处理。数据连续性检测单元481-1基于输入图像的第一分量信号检测数 据连续性，并将表示从第一分量信号检测的数据的连续性的信息提供 给确定单元482。例如，数据连续性检测单元481-1基于输入图像的 亮信号检测数据连续性，并将表示从亮信号检测的数据的连续性的信 息提供给确定单元482。数据连续性检测单元481-2基于输入图像的第二分量信号检测数 据连续性，并将表示从第二分量信号检测的数据的连续性的信息提供 给确定单元482。例如，数据连续性检测单元481-2基于作为输入图 像的颜色差异信号的I信号检测数据连续性，并将表示从I信号检测 的数据的连续性的信息提供给确定单元482。数据连续性检测单元481-3基于输入图像的第三分量信号检测数 据连续性，并将表示从第三分量信号检测的数据的连续性的信息提供 给确定单元482。例如，数据连续性检测单元481-1基于作为输入图 像的颜色差异信号的Q信号检测数据连续性，并将表示从Q信号检测 的数据的连续性的信息提供给确定单元482。确定单元482基于从数据连续性检测单元481-1到481-3提供的 从每个分量信号检测的表示数据连续性的信息，检测输入图像的最终 数据连续性，并输出表示检测的数据连续性的数据连续性信息。例如，确定单元482在从数据连续性检测单元481-1到481-3提 供的从每个分量信号检测的数据连续性中的取最大数据连续性取作为 最终数据连续性。或者，确定单元482在从数据连续性检测单元481-1 到481-3提供的从每个分量信号检测的数据连续性中的最小数据连续 性取作为最终数据连续性。另外，例如，确定单元482在从数据连续性检测单元481-1到 481-3提供的从每个分量信号检测的数据连续性中的平均数据连续性 取作为最终数据连续性。确定单元482可以被设置为在从数据连续性 检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中 的中点(中间值)取作为最终数据连续性。另外，例如，基于外部输入的信号，确定单元482在从数据连续 性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性 中取由外部输入信号指定的数据连续性作为最终数据连续性。确定单 元482可以被设置为在从数据连续性检测单元481-1到481-3提供的 从每个分量信号检测的数据连续性中取预定数据连续性作为最终数据 连续性。而且，确定单元482可以被设置为基于在从数据连续性检测单元 481-1到481-3提供的检测分量信号的数据连续性的处理中获得的误差 确定最终数据连续性。下面将描述可以在检测数据连续性的处理中获 得的误差。图106示出了用于基于输入图像的分量信号检测数据连续性的数 据连续性检测单元101的另一结构。分量处理单元491根据输入图像的分量信号产生一个信号，并将 其提供给数据连续性检测单元492。例如，分量处理单元491累加在 屏幕的相同位置上的像素的输入图像的每个分量信号的值，从而产生 由分量信号的和构威的信号。例如，分量处理单元491对于在屏幕上的相同位置上的像素，对 输入图像的每个分量信号的像素值取平均，从而产生由分量信号的像 素值的平均值构成的信号。数据连续性检测单元492基于从分量处理单元491提供的信号输 入，检测输入图像中的数据连续性，并输出表示检测的数据连续性的 数据连续性信息。数据连续性检测单元492具有与上述或下文所述的数据连续性检 测单元101相同的结构，并在从分量处理单元491提供的信号上执行 上述或下文描述的处理。从而，数据连续性检测单元101通过基于分量信号检测输入图像 的数据连续性而可以检测数据连续性，从而即使在输入图像中存在噪 音等情况下，仍可以更精确地检测数据连续性。例如，数据连续性检 测单元101通过基于分量信号检测输入图像的数据连续性，可以更精 确地检测数据连续性角度(梯度)、混合比例、以及其有数据连续性 的区域。注意，分量信号不限于亮信号和颜色差异信号，而可以是其它格 式的其它分量信号，例如RGB信号、YUV信号等。如上所述，在其中投影现实世界的亮信号的设置中，检测数据连 续性相对于参考轴的角度，所述连续性对应于现实世界的光信号的连续性，其具有现实世界的光信号的部分丟失的连续性的图像数据中被 丟失的部分，并通过基于检测的角度估计现实世界光信号的已经丟失 的连续性估计光信号，从而可以获得更精确的处理结果。另外，在这样的设置中，其中在图像数据中选取多组由每个角度 的预定个数的像素构成的像素组，所述角度基于关注像素和参考轴， 所述图像数据通过将现实世界的光信号投影到多个检测元件上获得， 在所述图像中已经丢失了现实世界光信号的部分连续性，检测选取的 每个角度的多组中对应位置上的像素的像素值的相关性，基于检测的 相关性，检测对应于现实世界光信号的已经丟失的连续性的图像数据 中的数据连续性基于参考轴的角度，以及基于检测的图像数据中基于 参考轴的数据连续性的角度，通过估计现实世界光信号的已丢失的连 续性而估计光信号，从而可以获得对现实世界事件的更精确的处理结 果。图107是示出数据连续性检测单元101的另一结构的方框图。利用如图107所示的数据连续性检测单元101，投影现实世界的 光信号，选择对应于关注像素的区域，关注像素是图像数据中的关注 的像素，图像数据中已丢失了现实世界光信号的部分连续性，以及基 于相关性值设置像素的分数，其中关注像素的像素值与属于被选区域 的像素的像素值的相关性值等于或大于阈值，从而检测属于该区域的 像素的分数，并基于检测的分数检测回归线，从而检测对应于现实世 界光信号的丢失的连续性的图像数据的数据连续性。帧存储器501将输入图像存储在增加的帧中，并将构成存储的帧 的像素的像素值提供给像素获取单元502。帧存储器501通过将输入 图像的当前帧存储在一页中，将存储在另 一页中的在当前帧前一帧(过 去)的帧的像素的像素值提供给像素获取单元502，并在输入图像的 帧的切换时间点上切换页，可以将作为移动图像的输入图像的帧的像 素的像素值提供给像素获取单元502。像素获取单元502基于从帧存储器501提供的像素的像素值选择 作为关注的像素的关注像素，并选择由对应于所述关注像素的预定个数的像素构成的区域。例如，像素获取单元502选择由以关注像素为 中心的5x5个像素构成的区域。像素获取单元502选择的区域的尺寸不限制本发明。 像素获取单元502获取选择区域的像素的像素值，并将选择区域 的像素的像素值提供给分数检测单元503。基于从像素获取单元502提供的选择区域的像素的像素值，分数 检测单元503通过基于相关性设置像素的分数，检测属于所述区域的 像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值 的相关性值等于或大于阈值。下面将描述在分数检测单元503中基于 相关性设置分数的处理的细节。分数检测单元503将检测的分数提供给回归线计算单元504。 回归线计算单元504基于从分数检测单元503提供的分数计算回 归线。例如，回归线计算单元504基于从分数检测单元503提供的分 数计算回归线。另外，回归线计算单元504基于从分数检测单元503提供的分数计算作为预定曲线的回归线。回归线计算单元504将表示 计算的回归线和计算结果的计算结果参数提供给角度计算单元505。计算参数表示的计算结果包括下文描述的变分和共变分。角度计算单元505基于由从回归线计算单元504提供的计算结果参数表示的回归线，检测作为图像数据的输入图像的数据的连续性， 其对应于现实世界的光信号的已经丢失的连续性。例如，基于由从回 归线计算单元504提供的计算结果参数表示的回归线，角度计算单元 505检测输入图像的数据连续性基于参考轴的角度，其对应于现实世 界l的光信号的连续性。角度计算单元505输出表示输入图像中的数 据连续性基于参考轴的角度的数据连续性信息。下面将参考图108到图IIO描述输入图像中的数据连续性基于参 考轴的角度。在图108中，每个圆形表示单个像素，双圓形表示关注像素。圆 形的颜色示意性地表示了像素的像素值，其中较亮色表示更大的像素 值。例如，黑色表示30的像素值，而白色表示120的像素值。在人观察由图108所示的像素构成的图像的情况下，看图像的人 可以识别出直线在对角右上的方向上延伸。一旦输入有图8所示的像素构成的输入图像，具有图107所示的 结构的数据连续性检测单元101检测出直线在对角右上的方向上延 伸。图109示出了具有数值的图108所示的像素的像素值。每个圆形 表示一个像素，圆形中的数值表示像素值。例如，关注像素的像素值为120，在关注像素上方的像素的像素 值为100，以及在关注像素下方的像素的像素值为100。另外，在关注 像素左侧的像素的像素值为80，在关注像素的右侧的像素的像素值为 80。同样，在关注像素左下的像素的像素值为100,以及在关注像素 右上的像素的像素值为100。在关注像素左上的像素的像素值为30， 以及在关注像素右下的像素的像素值为30。具有图107所示结构的数据连续性检测单元101对图109所示的 输入图像画出回归线A，如图110所示。图111示出了输入图像中的像素值的变化与像素在空间方向中的 位置的关系以及回归线A。在具有数据连续性的区域中的像素的像素 值以例如峰形变化，如图lll所示。具有图107所示结构的数据连续性检测单元IOI通过最小二乘法 画出回归线A,其中利用具有数据连续性的区域中的像素的像素值进 行加权。由数据连续性检测单元101获得的回归线A表示在关注像素 附近的数据连续性。如图112所示，通过获得回归线A与表示例如作为参考轴的空间方向x的轴线之间的角度e,而检测输入图像中的数据连续性基于参考轴的角度。接着，将描述利用具有图107所示的结构的数据连续性检测单元 101计算回归线的具体方法。例如，根据从像素获取单元502提供的由以关注像素为中心、在 空间方向X上的9个像素和在空间方向Y上的5个像素共45个像素构成的区域中的像素的像素值，分数检测单元503检测对应于属于该 区域的像素的坐标的分数。例如，分数检测单元503通过利用计算公式(32 )计算分数，检 测属于该区域的坐标(Xi， yj)的分数Lj，j。f exp (0.050 (255— IP0, o-P u I) -1) (I卩o, o—Pu I) "h)在公式(32)中，Po，。表示关注像素的像素值，Pi, j表示在坐标 (Xi，")上的像素的像素值。Th表示阈值。i表示在该区域中的空间方向X上的像素的序数，其中lSGk。 j 表示在该区域中的空间方向Y上的像素的序数，其中l￡j$l。k表示在该区域中的空间方向X上的像素的个数，以及l表示在 该区域中的空间方向Y上的像素的个数。例如，在由空间方向X上9 个像素、在空间方向Y上5个像素的总共45个像素构成的区域的情 况下，K为9，而l为5。图113示出了由像素获取单元502获取的区域的实例。在图113 中，打点的方形每个表示一个像素。例如，如图113所示，在由以关注像素为中心、在空间方向X上 9个像素、在空间方向Y上5个像素的区域中，其中关注像素的坐标 (x， y)为(0， 0)的情况下，则在该区域左上的像素的坐标(x, y) 为(-4， 2)，该区域右上的像素的坐标(x， y)为(4， 2),该区域 左下的像素的坐标(x， y)为(-4, -2)以及该区域右下的像素的坐 标(x， y)为(4，画2)。该区域左侧的像素在空间方向X上的序数i为1，而该区域右侧 的像素在空间方向X上的序数i为9。该区域下侧的像素在空间方向 Y上的序数j为l，而该区域上侧的像素在空间方向Y上的序数i为5。也就是说，以关注像素的坐标(x5， y3)为(0, 0)，在区域的 左上的像素的坐标(Xl, y5)为(-4， 2)，该区域右上的像素的坐标 (x9, y5)为(4, 2)，该区域左下的像素的坐标(Xl， yi)为(-4，-2)以及该区域右下的像素的坐标(x9， yj为(4， -2)。分数检测单元503利用公式(32)计算关注像素的像素值与属于该区域的像素的像素值之差的绝对值作为相关值，从而这不限于输入图像中已经被投影现实世界1的细线图像的具有数据连续性的区域，而是，可以检测表示在具有双值边缘数据连续性的输入图像的区域中的像素值的空间变化特征的分数，其中已经投影具有直边缘、并且与 背景有单色差的现实世界l的对象的图像。注意，分数检测单元503不限于像素的像素值之差的绝对值，而 可以被设置为检测基于其它相关性值的分数，例如相关性系数等。另外，在公式(32)中应用指数函数是为了放大对于像素值之差 的分数差，并可以设置为其中应用其它函数。阔值Th可以是可选值。例如，阈值Th可以是30。这样，分数检测单元503基于相关性值，利用属于选择区域的像 素的像素值设置具有相关性的像素的分数，从而检测属于该区域的像 素的分数。另夕卜，分数检测单元503进行公式(33)的计算，从而计算分数， 从而检测属于所述区域的坐标(Xi，的分数U j。公式(33 )当坐标Up yj)的分数为U j (lSi^k， 132)时，空间方向Y 上的坐标Xi的分数U j的和qi由公式(34)表达，而空间方向X上的 坐标yj的分数U j的和hj由公式(35)表达。(lPo.o-Pi,jl)"h) (iPo,o-Pul)〉Th)公式(34 )公式(35)分数的和u由公式(36 )表达。公式(36)在图U3所示的实例中，关注像素的坐标的分数Ls， 3为3，在关 注像素上方的像素的坐标的分数Ls, 4为1,在关注像素的右上的像素 的坐标的分数L6,4为4，在关注像素上方两个像素、右侧一个像素的 像素的坐标L6， 5为2，在关注像素的上方两个像素、右侧两个像素的 像素的坐标的分数L7,5为3。另外，在关注像素的下方的像素的坐标 的分数Ls,2为2，在关注像素左侧像素的坐标的分数L4， 3为1,在关注像素的左下像素的坐标的分数L4， 2为3，在关注像素的下方一个像 素、左侧两个像素的像素的坐标的分数L3， 2为2,以及，在关注像素 的下方两个像素、左侧两个像素的像素的坐标的分数L3， i为4。在如 图113所示的区域中的所有其它像素的分数为0，并且省略对图113 中分数为0的像素的描述。在如图113所示的区域中，由于其中i为1的所有分数L为0， 空间方向Y上的分数的和化为0，以及由于其中i为2的所有分数L 为0， q2为0。由于L3, 2为2和L3, i为4,因此q3为6。同才羊，q4为 4、 q5为6、 q6为6、 q 为3、 qs为0、 以及q9为0。在如图113所示的区域中，由于L3,,为4，空间方向X上的分数 的和lh为4。以及由于L3, 2为2、 L4, 2为3、以及Ls, 2为2，因此h2 为7。同样，h3为4， h4为5、以及hs为5。在如图113所示的区域中，分数的和u为25。在空间方向Y上的分数U j的和屮与坐标Xj相乘的结果的和Tx 由公式(37)示出。<formula>formula see original document page 121</formula>公式(37)在空间方向X上的分数U j的和hj与坐标yj相乘的结果的和T 由公式(38)示出。<formula>formula see original document page 121</formula>例如，在如图113所示的区域中，qi为O, ^为-4，所以q^i为 0，而q2为0， X2为-3，所以q2X2为0。同才羊，q3为6， X3为-2，所以 q3x3^-12; q4:^ 4, x4i^-l, f々"q4x4^-4; q5力6， x5力0， ^j"J^ q5x5》O.， q6为6, x6为1,所以q6x6》6; q 为3， x 为2，所以q7x7 为6; qs为0， Xs为3，所以qsXs为0; 以及q分为0， x9为4,所以q9x9 为0。因此，作为qat到q^9的和的T^为-4。例如，在如图113所示的区域中，hi为4， 71为-2,所以ho^为 -8，而h2为7， y2为-l，所以h2y2为-7,同样，113为4, y3为0，所以 h;jy3为0; 114为5， y4为1，所以114>^4为5;以及，hs为5， ys为2，所 以hsys为10。因此，作为h^到hsys的和的Ty为0。另外，Qi被如下定义。<formula>formula see original document page 121</formula>(38 )<formula>formula see original document page 121</formula>公式(39 )x的变分Sx由公式(40)表达。<formula>formula see original document page 121</formula>公式(40)y的变分Sy由公式(41)表达。<formula>formula see original document page 121</formula>公式(41)共变分Sxy由公式(42)表达,Sxy = Z Z Lj jXiyj_TxTy/ui=1 j=1 k=￡ QjXj-TxTy/u公式(42 )考虑获得在公式(43)中所示的基本回归线 y =站+ b公式(43 )通过最小二乘法可以如下获得的梯度a和截距b。<formula>formula see original document page 122</formula>公式(44 )<formula>formula see original document page 122</formula>公式(45 )然而，应该注意，用于获得校正回归线的条件是，分数U j相对 于回归线的分布为高斯分布。为了实现该另一方法，需要分数检测单 元503将该区域的像素的像素值转换为分数U j，使得分数U j具有 高斯分布。回归线计算单元504进行公式(44)和公式(45)的计算以获得 回归线。角度计算单元505进行公式(46)的计算以将回归线的梯度a转换为与作为参考轴的空间方向x上的轴线的角度e。0 = tan-1 (a) 公式(46)现在，在回归线计算单元504计算为预定曲线的回归线的情况中，角度计算单元505在关注像素的位置上获得回归线对于参考轴的角度e。这里，在检测每个像素的数据连续性中不需要截距b。因此考虑获得如公式(47)所示的基本回归线。y = ax 公式U7)在该情况下，回归线计算单元504可以通过最小二乘法获得如公式(48)的梯度a <formula>formula see original document page 123</formula>公式(48 )下面将参考如图114所示的流程描述对应于步骤S101中的处理 的、利用具有如图107所示结构的数据连续性检测单元101检测数据 连续性的处理。在步骤S501中，像素获取单元502从仍未被选作为关注像素的 像素中选择关注像素。例如，像素获取单元502以栅格扫描顺序选择 关注像素。在步骤S502中，像素获取单元502获取在以关注像素为中 心的区域中包括的像素的像素值，并将获取的像素的像素值提供给分 数检测单元503 。例如，像素获取单元502选择以关注像素为中心的9 x5 个像素构成区域，并获取在该区域中包括的像素的像素值。在步骤S503,分数检测单元503将包括在所述区域中的像素的 像素值转换为分数，从而检测分数。例如，分数检测单元503通过如 />式(32)所示的计算将像素值转换为分数U j。在该情况下，分数 检测单元503将该区域的像素的像素值转换为分数U j，使得分数U j具有高斯分布。分数检测单元503将转换的分数提供给回归线计算单 元504。在步骤S504中，回归线计算单元504基于从分数检测单元503 提供的分数获得回归线。例如，回归线计算单元504基于从分数检测 单元503提供的分数获得回归线。尤其是，回归线计算单元504通过执行如公式(44)和公式(45)中所示的计算获得回归线。回归线计 算单元504将表示作为计算结果的回归线的计算结果参数提供给角度 计算单元505。在步骤S505中，角度计算单元505计算回归线对于参考轴的角 度，从而检测图像数据的数据连续性，其对应于现实世界的光信号的 已经丟失的连续性。例如，角度计算单元505通过公式(46)的计算，将回归线的梯度a转换为对于作为参考轴的空间方向x的角度e。注意，可以这样设置，其中角度计算单元505输出表示梯度a的 数据连续性信息。在步骤S506中，像素获取单元503确定对所有像素的处理是否 已经结束，在确定对所有像素的处理仍未结束时，流程返回S501，从 仍未被选作为关注像素的像素中选择关注像素，并重复上述处理。在确定在步骤S506中对所有像素的处理已经结束的情况下，该 处理结束。这样，具有如图107所示的结构的数据连续性检测单元101可以 检测图像数据中的数据连续性基于参考轴的角度，其对应于现实世界 1的光信号的丟失的连续性。尤其是，具有图107所示的结构的数据连续性检测单元101基于 在较窄区域中的像素的像素值，可以获得比像素更小的角度。如上所述，在其中投影现实世界的光信号的情况下，选择对应于 关注像素的区域，所述关注像素是在图像数椐中关注的像素，图像数 据中已丢失现实世界光信号的部分连续性，以及设置像素的基于相关 性值的分数，其中关注像素的像素值与属于选择区域的像素的像素值 的相关性值等于或大于阈值，从而检测属于该区域的像素的分数，并 且基于检测的分数检测回归线，从而检测图像数据的数据连续性，其 对应于现实世界光信号的已丢失的连续性，随后通过基于图像数据的 检测数据估计丢失的现实世界光信号的连续性而估计光信号，从而可 以获得对现实世界中的事件的更精确的处理结果。注意，利用具有图107所示结构的数据连续性检测单元101,可以这样设置，其中将在包括关注像素的关注帧的预定区域中的、在时 间方向上在关注帧之前或之后的帧中的像素的像素值转换成分数，并 基于分数获得回归平面，从而可以同时检测数据连续性在空间方向中 的角度和时间方向的数据连续性的角度。图115是示出数据连续性检测单元101的另一结构的方框图。利用具有图115所示结构的数据连续性检测单元101，投影现实 世界的光信号，选择对应于关注像素的区域，所述关注像素是图像数 据中的关注的像素，所述图像数据已丢失了现实世界光信号的部分连 续性，并基于相关性值设置像素的分数，其中关注像素的像素值与属 于选择区域的像素的像素值的相关性值等于或大于阈值，从而检测属 于该区域的像素的分数，并且基于检测的分数检测回归线，从而检测 图像数据的数据连续性，其对应于现实世界光信号的已丢失的连续性。帧存储器601将输入闺像存储在增加的帧中，并将构成存储的帧 的像素的像素值提供给像素获取单元602。帧存储器601通过将输入 图像的当前帧存储在一页中，将存储在另 一页中的在当前帧前一帧(过 去)的帧的像素的像素值提供给像素获取单元602,并在输入图像的 帧的切换时间点上切换页，可以将为移动图像的输入图像的帧的像素 的像素值提供给像素获取单元602。像素获取单元602基于从帧存储器601提供的像素的像素值选择 作为关注的像素的关注像素，并选择由对应于选择的关注像素的预定 个数的像素构成的区域。例如，像素获取单元602选择由以关注像素 为中心的5x5个像素构成的区域。像素获取单元602选择的区域的尺寸不限制本发明。像素获取单元602获取选择区域的像素的像素值，并将选择区域 的像素的像素值提供给分数检测单元603。基于从像素获取单元602提供的选择区域的像素的像素值，分数 检测单元603通过基于相关性设置像素的分数，检测属于所述区域的 像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值 的相关性值等于或大于阈值。下面将描述在分数检测单元603中基于相关性设置分数的处理的细节。分数检测单元603将检测的分数提供给回归线计算单元604。 回归线计算单元604基于从分数检测单元603提供的分数计算回 归线。例如，回归线计算单元604基于从分数检测单元603提供的分 数计算回归线。另外，回归线计算单元604基于从分数检测单元603 提供的分数计算为预定曲线的回归线。回归线计算单元604将表示计 算的回归线和计算结果的计算结果参数提供给区域计算单元605。计 算参数表示的计算结果包括下文描述的变分和共变分。区域计算单元605基于由从回归线计算单元604提供的计算结果参数表示的回归线，检测具有作为图像数据的输入图像的数据的连续 性的区域，其对应于现实世界的光信号的已经丢失的连续性。图116示出了输入图像中的像素值的变化与像素在空间方向中的 像素位置的关系以及回归线A。在具有数据连续性的区域中的像素的 像素值以例如峰形变化，如图116所示。具有图115所示结构的数据连续性检测单元IOI通过最小二乘法 画出回归线A，其中利用具有数据连续性的区域中的像素的像素值进 行计量。由数据连续性检测单元101获得的回归线A表示在关注像素 附近的数据连续性。画出回归线表示采用高斯函数的近似。如图117所示，具有图115 所示的结构的数据连续性检测单元通过获得例如标准偏差，可以给出 数据3中的区域的一般宽度，在数据3中已投影细线的图像。另外， 具有图115所示的结构的数据连续性检测单元基于相关性系数，可以 给出数据3中的区域的一般宽度，在数据3中已投影细线的图像。接着，将描述利用具有图115所示的结构的数据连续性检测单元 101计算回归线的具体方法。根据从像素获取单元602提供的由以关注像素为中心、在空间方 向X上的9个像素和在空间方向Y上的5个像素共45个像素构成的 区域中的像素的像素值，分数检测单元603检测对应于属于该区域的 像素的坐标的分数。例如，分数检测单元603通过利用计算公式(49)计算分数，检 测属于该区域的坐标(Xi， yj)的分数Li，j。<formula>formula see original document page 127</formula>在公式(49)中，Po，G表示关注像素的像素值，Pi, j表示在坐标 (Xi， yj)上的像素的像素值。Th表示阚值。i表示在该区域中的空间方向X上的像素的序数，其中lSSk。 j 表示在该区域中的空间方向Y上的像素的序数，其中15j2。k表示在该区域中的空间方向X上的像素的个数，以及l表示在 该区域中的空间方向Y上的像素的个数。例如，在由空间方向X上9 个像素、在空间方向Y上5个像素的总共45个像素构成的区域的情 况下，K为9，而l为5。图118示出了由像素获取单元602获取的区域的实例。在图118 中，打点的方形每个表示一个像素。例如，如图118所示，在由以关注像素为中心、在空间方向X上 9个像素、在空间方向Y上5个像素的区域中，其中关注像素的坐标 (x， y)为(0， 0)的情况下，则在该区域左上的像素的坐标(x, y) 为(-4， 2),该区域右上的像素的坐标(x, y)为(4， 2)，该区域 左下的像素的坐标(x， y)为(-4， -2)以及该区域右下的像素的坐 标(x， y)为(4， -2)。该区域左侧的像素在空间方向X上的序数i为1，而该区域右侧 的像素在空间方向X上的序数i为9。该区域下侧的像素在空间方向 Y上的序数j为l，而该区域上侧的像素在空间方向Y上的序数i为5。也就是说，以关注像素的坐标(x5， y3)为(0， 0)，在区域的 左上的像素的坐标(Xl， y5)为(-4， 2),该区域右上的像素的坐标 (x9， y5)为(4, 2)，该区域左下的像素的坐标(x" yi)为(-4， -2)以及该区域右下的像素的坐标(x9， yi)为(4, -2)。分数检测单元603利用公式(49)计算关注像素的像素值与属于该区域的像素的像素值之差的绝对值作为相关值，从而这不限于输入 图像中已经被投影现实世界l的细线图像的具有数据连续性的区域， 而是，可以检测表示在具有双值边缘数据连续性的输入图像的区域中 的像素值的空间变化特征的分数，其中已经投影具有直边缘、并且与 背景有单色差的现实世界1的对象的图像。注意，分数检测单元603不限于像素的像素值之差的绝对值，而 可以被设置为检测基于其它相关性值的分数，例如相关性系数等。另外，在公式(49)中应用指数函数是为了放大对于像素值之差 的分数差，并可以设置为其中应用其它函数。阈值Th可以是可选值。例如，阈值Th可以是30。这样，分数检测单元603基于相关性值，利用属于选择区域的像 素的像素值设置具有等于或大于阈值的相关性的像素的分数，从而检 测属于该区域的像素的分数。另外，分数检测单元603进行公式(50)的计算，从而计算分数， 从而检测属于所述区域的坐标(Xi， yj)的分数U j。<formula>formula see original document page 128</formula>公式(50 )当坐标(Xi， yj)的分数为U j (15iSk， 时，空间方向Y上的坐标Xi的分数U j的和化由公式(51)表达，而空间方向X上的 坐标yj的分数U j的和hj由公式(52 )表达。
<formula>formula see original document page 128</formula>公式(51)<formula>formula see original document page 128</formula>公式(52)分数的和u由公式(53 )表达。<formula>formula see original document page 129</formula>公式(53 )在图118所示的实例中，关注像素的坐标的分数Ls, 3为3，在关 注像素上方的像素的坐标的分数Ls, 4为1，在关注像素的右上的像素 的坐标的分数L6，4为4，在关注像素上方两个像素、右侧一个像素的 像素的坐标L6, 5为2,在关注像素的上方两个像素、右侧两个像素的 像素的坐标的分数L7, 5为3。另外，在关注像素的下方的像素的坐标 的分数Ls,2为2，在关注像素左侧像素的坐标的分数L4， 3为1，在关 注像素的左下像素的坐标的分数L4， 2为3，在关注像素的下方一个像 素、左侧两个像素的像素的坐标的分数L3， 2为2，以及，在关注像素 的下方两个像素、左侧两个像素的像素的坐标的分数L3， ！为4。在如 图118所示的区域中的所有其它像素的分数为0，并且省略对图118 中分数为0的像素的描述。在如图118所示的区域中，由于其中i为1的所有分数L为0， 空间方向Y上的分数的和qt为0，以及由于其中i为2的所有分数L 为0， q2为0。由于L3, 2为2和L3, i为4，因此q3为6。同样，q4为 4、 qs为6、 q6为6、 q 为3、 qs为0、以及q9为0。在如图118所示的区域中，由于L3, i为4，空间方向X上的分数 的和&为4。以及由于L3， 2为2、 L4, 2为3、以及Ls, 2为2，因此h2 为7。同样，h3为4， h4为5、以及hs为5。在如图118所示的区域中，分数的和u为25。在空间方向Y上的分数Li， j的和qi与坐标Xi相乘的结果的和Tx 由公式(54)示出。公式(54 )在空间方向X上的分数U j的和hj与坐标yj相乘的结果的和T: 由公式(55)示出。例如，在如图118所示的区域中，qt为0， Xt为-4，所以q!x,为 0，而q2为0， &为-3,所以q2X2为0。同才羊，q3为6， 乂3为-2，所以 q3x3<^-12; q4;H; 4, x4^7-l， ^fk^ q4x4;^-4; q5力6， x5力0， ^j"J^ q5x5》0; q6为6， x石为1，所以q6x6为6; q 为3， x 为2，所以q7x7 为6; qs为0， Xs为3，所以qsXs为0;以及q 为0， x9为4,所以q9x9 为0。因此，作为q^i到q9X9的和的1\为-4。例如，在如图118所示的区域中，1h为4， ^为-2，所以ho^为 -8，而h2为7, y2为-l，所以h2y2为-7。同样，113为4， y3为0，所以 h3y3为0; h为5， y4为1，所以11^4为5;以及，hs为5， ys为2，所 以hsy5为10。因此，作为ho^到hsys的和的Ty为0。另外，Qi被如下定义。公式(55 )Qi = Luyj公式(56 )x的变分Sx由公式(57)表达。 Sx = Z qiX「Tx/Li公式(57)y的变分Sy由公式(58)表达。 Sy = Z hjy卜T;/u公式(58 )共变分Sxy由公式(59)表达<<formula>formula see original document page 131</formula>公式(59 )考虑获得在公式(60)中所示的基本回归线。<formula>formula see original document page 131</formula>公式(60)通过最小二乘法可以如下获得的梯度a和截距b。<formula>formula see original document page 131</formula>公式(61)<formula>formula see original document page 131</formula>公式(62 )然而，应该注意，用于获得校正回归线的条件是，分数Li, j相对 于回归线的分布为高斯分布。为了实现该另一方法，需要分数检测单 元603将该区域的像素的像素值转换为分数U j，使得分数U j具有 高斯分布。回归线计算单元604进行公式(61)和公式(62)的计算以获得 回归线。另外，在检测每个像素的数据连续性中不需要截距b。因此考虑 获得如公式(63)所示的基本回归线。<formula>formula see original document page 131</formula>公式(63 )在该情况下，回归线计算单元604可以通过最小二乘法获得如公式(64)的梯度,<formula>formula see original document page 132</formula>公式(64 )利用用于确定具有数据连续性的区域的第一技术，使用在公式 (60)中示出的对回归线的估计误差。利用公式(65)中的计算获得y的变分Sy.x。<formula>formula see original document page 132</formula>利用变分通过公式(66)中的计算:<formula>formula see original document page 132</formula>公式(65) 获得估计误差的分散,<formula>formula see original document page 132</formula>公式(66)因此，下面的表达式获得了标准偏差。U—2 公式(67) 然而，在处理其中已经投影细线图像的区域的情况中，标准偏差 的量等于细线的宽度，因此不能分类地确定大标准偏差表示区域不是 具有数据连续性的区域。然而，例如，可以使用表示利用标准偏差检 测的区域的信息，以检测其中很可能发生级别分类调节处理失败的区 域，因为在其中细线较窄的具有数据连续性的区域的部分中，发生级 别分类调节处理的失败。区域计算单元605通过公式(67)中的计算计算标准偏差，并例 如基于标准偏差，计算具有数据连续性的输入图像的部分。区域计算 单元605以预定系数乘以标准偏差以获得距离，并取在离回归线为荻得距离内的区域作为具有数据连续性的区域。例如，区域计算单元605 计算离回归线在标准偏差距离内的区域作为具有数据连续性的区域，所述区域以回归线为其中心。利用第二技术，使用分数相关性检测具有数据连续性的区域。 通过公式(68)示出的计算可以获得相关性系数rxy，其基于x的变分S,、 y的变分Sy、以及共变分Sxy。rxy = Sxy々SxSy 、 1-, 、公式(68)相关性包括正相关性和负相关性，从而区域计算单元604获得相 关性系数i^的绝对值，并确定相关性系数iv的绝对值越接近1，则 相关性越大。尤其是，区域计算单元605比较阔值与相关性系数rxy 的绝对值，并检测其中相关性系数iV等于或大于阈值的区域作为具有 数据连续性的区域。下面将参考如图119所示的流程图描述对应于步骤S101中的处 理的、利用具有如图115所示结构的数据连续性检测单元IOI检测数 据连续性的处理。在步骤S601中，像素获取单元602从仍未被选作为关注像素的 像素中选择关注像素。例如，像素获取单元602以栅格扫描顺序选择 关注像素。在步骤S602中，像素获取单元602获取在以关注4象素为中 心的区域中包括的像素的像素值，并将获取的像素的像素值提供给分 数检测单元603。例如，像素获取单元602选择以关注像素为中心的9x5 个像素构成区域，并获取在该区域中包括的像素的像素值。在步骤S603,分数检测单元603将包括在所述区域中的像素的 像素值转换为分数，从而检测分数。例如，分数检测单元603通过如 公式(49)所示的计算将像素值转换为分数Uj。在该情况下，分数 检测单元603将该区域的像素的像素值转换为分数U j，使得分数U j具有高斯分布。分数检测单元603将转换的分数提供给回归线计算单 元604。在步骤S604中，回归线计算单元604基于从分数检测单元603 提供的分数获得回归线。例如，回归线计算单元604基于从分数检测单元603提供的分数获得回归线。尤其是，回归线计算单元604通过 执行如公式(61)和公式(62)中所示的计算获得回归线。回归线计 算单元604将表示作为计算结果的回归线的计算结果参数提供给区域 计算单元605。在步骤S605中，区域计算单元605计算关于回归线的标准偏差。 例如，可以这样设置，其中区域计算单元605通过公式(67)中的计 算，计算关于回归线的标准偏差。在步骤S606中，区域计算单元605从标准偏差确定具有数据连 续性的输入图像的区域。例如，区域计算单元605用预定系数乘标准 偏差以获得距离，并确定离回归线在获得的距离内的区域作为具有数 据连续性的区域。区域计算单元605输出表示具有数据连续性的区域的数据连续性"f §息。在步骤S607中，像素获取单元603确定对所有像素的处理是否 已经结束，在确定对所有像素的处理仍未结束时，流程返回S601，从 仍未被选作为关注像素的像素中选棒关注像素，并重复上述处理。在确定在步骤S607中对所有像素的处理已经结束的情况下，该 处理结束。下面将参考图120所示的流程图描述利用具有图115所示结构的 数据连续性检测单元101检测数据连续性的对应于步骤S101中的处理 的其它处理。步骤S621到步骤S624的处理与步骤S601到步骤S604 的处理相同，从而省略对其的描述。在步骤S625中，区域计算单元605计算关于回归线的相关系数。 例如，区域计算单元605通过公式(68)的计算，计算关于回归线的 相关系数。在步骤S626中，区域计算单元605从相关性系数确定具有数据 连续性的输入图像的区域。例如，区域计算单元605比较相关性系数 的绝对值与预先存储的阈值，并确定区域计算单元605输出表示具有数据连续性的区域的数据连续性信息。步骤S627的处理与步骤S607的处理相同，从而省略对其的描述。 从而，具有图115所示结构的数据连续性检测单元101可以检测 具有数据连续性的图像数据中的区域，所述数据连续性对应于丟失的 现实世界1的光信号的连续性。如上所述，在其中投影了现实世界的光信号的情况中，选择对应 于关注像素的区域，所述关注像素是图像数据中的关注的像素，所述 图像数据已经丢失了现实世界光信号的部分连续性，以及基于相关性 值设置像素的分数，其中所述关注像素的像素值与属于选择区域的像 素的像素值的相关值等于或大于阈值，从而检测属于所述区域的像素 的分数，并基于检测的分数检测回归线，从而检测具有图像数据的数 据连续性的区域，所述数据连续性对应于已经丢失的现实世界光信号 的连续性，以及随后通过基于检测的图像数据的数据连续性估计丢失 的现实世界的光信号的连续性，而估计光信号，从而可以获得对现实 世界中的事件的更精确的处理结果。图121示出了另一种形式的数据连续性检测单元101的结构。 图121所示的数据连续性检测单元101包括数据选择单元701、 数据补充单元702、以及连续性方向推导单元703。数据选择单元701取输入图像的每个像素作为关注像素，选择对 应于每个关注像素的像素的像素值数据，以及将其输出到数据补充单 元702。数据补充单元702基于从数据选择单元701输入的数据进行最小 二乘法补充计算，并将补充计算结果输出给连续性方向推导单元703。 由数据补充单元702进行的补充计算是关于在后述最小二乘法计算中 使用的求和项的计算，可以认为其计算结果是图像数据的用于检测角 度连续性的特征。连续性方向推导单元703从由数据补充单元702输入的补充计算 结果计算连续性方向，即数据连续性具有的相对于参考轴的角度(例如细线或二值边缘的梯度或方向)，并将其输出作为数据连续性信息。接着，将参考图122概括描述数据连续性检测单元101在检测连 续性(方向或角度)中的操作。图122和图123中对应于图6和图7 中的部分以相同的符号表示，并在下文适当地省略对其的描述。如图122所示，通过光学系统141 (例如由透镜、LPF (低通滤 光器)等组成)将现实世界1的信号(例如图像)成像到传感器2 (例 如CCD (电荷耦合装置))或CMOS (互补金属氧化物半导体)的 感光面上。传感器2由例如CCD或CMOS的具有积分特性的器件构 成。由于这样的结构，从由传感器2输出的数据3获得的图像与现实 世界l的图像不同(与现实世界l的图像的差异发生)。因此，如图123所示，数据连续性检测单元101使用模型705通 过模拟表达并从模拟表达中提取数据连续性，而以模拟方式描述现实 世界l。模型705由例如N个变量表达。更精确的说，模型705模拟 (描述)现实世界l的信号。为了预计模型705，数据连续性检测单元101从数据3中选取M 块数据706。随后，由数据的连续性约束模型705。也就是说，模型705模拟现实世界1的事件(表示事件的信息(信 号))的连续性，所述现实世界l具有的连续性(在预定维度方向上 的不变特征)，在由传感器2获得数据3时产生数据3中的数据连续 性。现在，在数据706的个数M为N或更大时，所述N是模型705 的变量个数N，可以从M块数据706预计由N个变量表示的才莫型705。另外，通过预计模拟(描述)现实世界l (的信号)的模型705， 数据连续性检测单元101得出包含在信号中的数据连续性，所述信号 是作为例如细线或二值边缘方向(梯度、或在取预定方向为轴的情况 下与该轴的角度)的现实世界的信息，并将其输出作为数据连续性信 息。接着，将参考图124描述数据连续性检测单元101,其输出来自 输入图像的细线的方向(角度)作为数据连续性信息。数据选择单元701由水平/垂直确定单元711、以及数据获取单元 712构成。水平/垂直确定单元711从关注像素与周围像素的像素值之 差确定关于输入图像中的细线的水平方向的角度是接近水平方向还是 接近垂直方向，并将确定结果输出给数据获取单元712和数据补充单 元702。更具体的说，例如，在该技术中，还可以使用其它技术。例如， 可以使用简化的16方向检测。如图125所示，在关注像素与周围像素 之差(像素之间的像素值之差)中，水平/垂直确定单元711获得在水 平方向上的像素之差的和(活度)(hdiff)与在垂直方向上的像素之 差的和(活度)(vdiff)之间的差，并确定是关注像素和与其在垂直 方向上的相邻像素之间的差之和更大、还是关注像素和与其在水平方 向上的相邻像素之间的差之和更大。现在，在图125中，每个栅格表 示一个像素，并且在图形中心的像素是关注像素。另外，图中由虚线 箭头表示的像素之差是在水平方向上的像素之差，并且其和由hdiff 表示。同样，图中由实线箭头表示的像素之差是在垂直方向上的像素 之差，并且其和由vdiff表示。基于已经获得的在水平方向上的像素的像素值的差之和hdiff和 在垂直方向上的像素的像素值的差之和vdiff,在(hidff-vdiff)为正 的情况下，这表示在水平方向上的像素的像素值的变化(活度)大于 在垂直方向上的，从而在如图126所示的由e (0度^e^l80度)表示 与水平方向的角度的情况中，水平/垂直确定单元711确定像素属于45 度^^135度的细线，即接近垂直方向的角度，相反，在(hidff-vdiff) 为负的情况下，这表示在垂直方向上的像素的像素值的变化(活度) 更大，从而水平/垂直确定单元711确定像素属于0度^e^45度或者135 度50￡180度的细线，即接近水平方向的角度(在细线延伸的方向(角 度)上的每个像素是表示细线的像素，因此在这些像素之间的变化(活 度)应该更小)。另外，水平/垂直确定单元711具有计数器(未示出)用子识别 输入图像的各个像素，并且可以任何适当或需要的时间使用。另外，尽管相关于图125中的实例进行了描述，其中在以关注像 素为中心的3x3个像素范围中比较在垂直方向和水平方向上的像素之 间的像素值之差的和，以确定细线是接近垂直方向还是接近水平方向， 但是利用更多个数的像素可以以相同的技术确定细线的方向，例如， 可以基于以关注像素为中心的5x5个像素、7x7个像素等，即更多个 像素来进行确定。基于从水平/垂直确定单元711输入的关于细线方向的确定结果， 数据获取单元712读取(获取)在由多个排列在对应于关注像素的水 平方向上的像素构成的块的增量上、或在由多个排列在对应于关注像 素的垂直方向上的像素构成的块的增量的像素值，并且随同读出获取 的每个关注像素的多个对应像素的在对应于从水平/垂直确定单元711 提供的确定结果的方向上的相邻像素之差，将在预定个数像素的块中 包含的像素的像素值的最大和最小值数据输出给数据补充单元702。 下文中，将由数据获取单元712获得的对应于关注像素获得的多个像 素构成的块称为获取块(由多个像素组成，每个像素由栅格表示)， 如图139所示，其在下文中被作为实例描述，用黑色方形表示的像素 为在关注像素，获取的块是上方和下方的三个像素和左侧和右侧的一 个像素，共15个像素。数据补充单元702的差异补充单元721检测从数据选择单元701 输入的差数据，基于从数据选择单元701的水平/垂直确定单元711输 入的水平方向或垂直方向的确定结果，执行在下文的最小二乘法方案 中需要的补充处理，并将补充结果输出给连续性方向推导单元703。 尤其是，在多个像素中，将在由水平/垂直确定单元711确定的方向上 的相邻像素i与像素(i+l)的像素值之差的数据取为yi，并且在对 应于关注像素获取的块由n个像素构成的情况下，差补充单元721计 算每个水平方向或垂直方向上的(yl) 2+ (y2)2+ (y3"+…的补 充，并将其输出给连续性方向推导单元703。一旦获得为在从数据选择单元701输入的对应于关注像素的获取 块中包括的每个像素设置的块中包括的像素的像素值的最大值和最小值(下文中称为动态范围块(对于在下述图139中示出的获取的块中 的像素，在像素pixl2的上方和下方3个像素共7个像素的动态范围 块被示出为由黑实线围绕的动态范围块B1))，最大最小值获取单元 722从其差计算(检测)动态范围Dri (在对应于获取块中第i个像素 的动态范围块中包括的像素的像素值的最大值和最小值之差)，并将 其输出到差值补充单元723。差值补充单元723检测从最大最小值获取单元722输入的动态范 围Dri和从数据选择单元701输入的差值数据，基于动态范围Dri和 已经检测的差值数据对从数据选择单元701的水平/垂直确定单元711 输入的每个水平方向或垂直方向补充通过将动态范围Dri乘以差值数 据yi而获得的值，并将计算结果输出给连续性方向推导单元703。也 就是说，差值补充单元723输出的计算结果在每个水平方向或垂直方 向上为ylxDrl+y2xDr2+y3xDr3+…连续性方向推导单元703的连续性方向计算单元731基于从数据 补充单元702输入的在每个水平方向或垂直方向上的补充计算结果计 算细线的角度(方向)，并将计算的角度输出作为连续性信息。现在，将描述计算细线的方向(细线的梯度或角度)的方法。放大如图127A所示的输入图像中由白线围绕的部分示出了，细 线(白线在图中右上方向上对角地延伸)实际如图127B所示。也就 是说，在现实世界中，图像如图127C所示，细线水平(图127C中的 更亮的阴影部分)和背景水平两个水平形成了边界，而没有其它的水 平。相反，由传感器2拍摄的图像，即在像素增量上成像的图像，是 其中如图127B所示的图像，存在在细线方向上的块的重复阵列，所 述块由在垂直方向上排列的多个像素构成，其中由于积分效应使得背 景水平和细线水平在空间上混合，使得其比值(混合比值)根据特定 图形而变化。注意，在图127B中，每个方形栅格表示CCD的一个像 素，可以认为其每边的长度为d一CCD。另外，被格形填充的栅格部分 是像素值的最小值，等于背景水平，在其它阴影填充部分中，P月影密 度越低，则具有的像素值更大(因此，没有阴影的白色栅格具有最大像素值)。在如图128A所示细线存在于现实世界的背景上的情况下，可以 将现实世界的图像显示为如图128B所示，其中将水平作为水平轴， 并将对应于水平的部分的图像的面积作为垂直轴，示出了对应于图像 中的背景的面积与对应于细线的部分的面积之间的在图像中的占用的 面积的关系。同样，如图129A所示，由传感器2拍摄的图像是这样的图像， 其中存在在细线存在的方向上块的重复阵列，所述块由具有混合的背 景水平和细线水平的像素构成，所述像素在垂直方向上排列在背景水 平的像素中，使得其混合比值根据特定图形而变化，并且从而，如图 129B所示，通过空间混合背景和细线获得由这样的像素构成的混合空 间区域，所述像素的水平在背景水平(背景区域)和细线水平之间。 现在，虽然图129B中的垂直轴为像素个数，但是每个像素的面积是 (d一CDD) 2，从而可以说图129B中的像素值水平与像素个数之间的 关系与像素值水平与面积分布之间的关系相同。关于图130A中(31像素x31像素的图像)示出的实际图像中的 由白线围绕的部分获得了相同的结果，如图130B所示。在图130B中， 图130A中的背景部分(在图130A中表现为黑色的部分)具有多个低 像素值水平的像素的分布(像素值为约20)，这些很少变化的部分构 成了图像的背景区域。相反，图130B中像素值水平不低的部分，即 像素值水平分布为约40到约160的像素是属于构成细线图像的空间混 合区域的像素，并且，当每个像素值的像素个数不多时，其被分布在 宽的像素值范围上。现在，例如沿图131A中所示的箭头方向(Y座标方向)观察现 实世界图像中的背景和细线中的每个的水平，其如图131B所示地变 化。也就是说，从箭头开始到细线的背景区域具有较低的背景水平， 细线区域具有高水平的细线水平，并且通过细线区域返回到背景区域 使得返回到低水平的背景水平。因此，这形成了脉冲形的波形，其中 只有细线区域为高水平。相反，在由传感器2拍摄的图像中，图132B中示出了对应于图 131A中的箭头的图132A中X = X1空间方向上的像素(在图132A中 由黑点表示的像素)的像素值与这些像素的空间方向Y之间的关系。 注意，在图132A中，沿右上延伸的两条白线之间表示现实世界图像 的图^f象中的细线。也就是说，如图132B所示，对应于图132A中的中心像素的像 素具有最大的像素值，从而像素的像素值当空间方向Y的位置从图的 底部移向中心像素时增大，然后当通过中心位置后逐渐减小。从而， 如图132B所示形成峰形波形。另外，对应于图132A中X=X0和X2 的空间方向的像素的像素值的变化也具有相同的形状，只是峰值位置 根据细线的梯度在空间方向Y上移动了。即使在例如如图133A所示的由传感器2实际拍摄的图像的情况 下，仍可以获得同样的结果，如图133B所示。也就是说，图133B示 出了在图133A中的图像中由白线围出的范围中的细线附近的像素值 在每个预定空间方向X(图中，X=561、 562、 563)对应于空间方向 Y的像素值变化。这样，由实际传感器2拍摄的图像也就有波形，其 中X-561时，峰值在Y-730; X- 562时，峰值在Y- 705;以及X =563时，峰值在Y-685。从而，表示现实世界图像的细线附近的水平变化的波形为脉冲波 形，而表示由传感器2拍摄的图像中的像素值变化的波形为峰形波形。也就是说，换句话说，现实世界图像的水平为如图131B所示的. 波形，但是由于经过由传感器2的拍摄在成像的图像的变化中发生了 畸变，并且，因此可以说，这变成了与现实世界图像不同的波形(其 中丟失了现实世界的信息)，如图132B所示。因此，设置用于从由传感器2获得的图像数据近似描述现实世界 的模型(相当于图123中的模型705),以从由传感器2拍摄的图像 获得现实世界图像的连续性信息。例如，在细线的情况中，如图134 所示，设置现实世界图像。也就是说，这样设置参数，将在图像左边 的具有背景部分的水平设置为Bl，将在图像右边的背景部分水平设置为B2，将细线部分的水平设置为L，将细线的混合比值设置为oc，将细线的宽度设置为W，以及将细线与水平方向的角度设置为e,将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近 似表达现实世界的模拟函数，并从模拟函数获得细线的角度(与参考 轴的梯度或角度)。此时，可以将背景区域的左边和右边模拟为相同，从而被统一为 B(=B1=B2),如图135所示。另外，细线的宽度为一个或更多个像 素。当利用传感器2拍摄这样设置的现实世界时，将拍摄的图像成像 为如图136A所示。注意，在图136A中，向右上方延伸的两个白线之 间的空间表示现实世界图像中的细线。也就是说，在现实世界的细线位置上的像素的水平最接近细线的 水平，因此当在垂直方向(空间方向Y)上远离细线时像素值减小， 并且在不接触细线区域的位置上的像素，即背景区域像素具有背景值 的像素值。这里，位于细线区域和背景区域之间的像素的像素值具有 这样的像素值，其中背景水平的像素值B与细线水平L的像素值L以 混合比值ot混合。在通过这样取成像的图像中的每个像素作为关注像素的情况中， 数据获取单元712选取对应于关注像素的获取块的像素，选取构成选 取的获取块的每个像素的动态范围块，以J良从构成动态范围块的像素 选取具有最大像素值的像素和具有最小像素值的像素。也就是说，如 图136A所示，在选取对应于获取块中的预定像素(在图中一个栅格 中用黑实线描述的方格的像素pix4)的动态范围块(例如图中由黑实 线围绕的7个像素pixl到7)中的像素的情况中，如图136A所示， 对应于每个像素的现实世界的图像如图136B所示。也就是说，如图136B所示，在像素pixl中，左边占约l/8的面 积的部分是背景区域，而右边占约7/8的面积的部分是细线区域。在 像素pix2中，基本上整个区域是细线区域。在像素pix3中，左边占 约7/8的面积的部分是细线区域，而右边占约1/8的面积的部分是背 景区域。在像素pix4中，左边占约2/3的面积的部分是细线区域，而右边占约1/3的面积的部分是背景区域。在像素pix5中，左边占约1/3 的面积的部分是细线区域，而右边占约2/3的面积的部分是背景部分。 在像素pix6中，左边占1/8的面积的部分是细线区域，而右边占约7/8 的面积的部分是背景区域。另外，在像素pix7中，整个区域是背景区 域-因此，图136A和图136B中所示的动态范围块中的像素pixl到 pix7的像素值是这样的像素值，其中背景水平和细线水平以对应于细 线区域和背景区域的比例的混合比值混合。也就是说，像素pixl的背景水平:前景水平的混合比值为约1:7, 像素pix2的背景水平:前景水平的混合比值为约0:1，像素pix3的背 景水平:前景水平的混合比值为约1:7，像素pix4的背景水平:前景水 平的混合比值为约1:2，像素pix5的背景水平:前景水平的混合比值为 约2:1，像素pix6的背景水平:前景水平的混合比值为约7:1，以及像 素pix7的背景水平:前景水平的混合比值为约1:0。因此，在选取的动态范围块中的像素pixl到pix7的像素值中， 像素pix2的最大，其后是像素pixl和pix3,然后以像素pix4、 5、 6 和7的像素值次序。因此，在如图136B所示的情况中，最大值是像 素pix2的像素值，以及最小值是像素pix7的像素值。另外，如图137A所示，可以说细线的方向是其中的像素连续具 有最大像素值的方向，因此，其中排列具有最大值的像素的方向是细 线的方向。现在，表示细线方向的梯度Gn是相对于空间方向X上的单位长 度的在空间方向Y上的变化比(距离变化)，从而，在例如图137A 中的图示情况下，图中相对于空间方向X上的一个像素的距离的空间 方向Y上的距离为梯度Gfl。空间方向XO到X2上的空间方向Y上的像素值的变化使得每个 空间方向X的峰形波形以预定间隔重复，如图137B所示。如上所述， 细线的方向在由传感器2拍摄的图像中是其中连续具有最大值的像素 的方向，从而其上为空间方向X上的最大值的空间方向Y上的间隔S为细线的梯度Gn。也就是说，如图137C所示，垂直方向上相对于水 平方向上一个像素距离的变化量为Gfl。因此，当以对应于其梯度的 水平方向作为参考轴，并将细线与其的角度表达为e,如图137C所示，则可以将细线的梯度Gfl (对应于以水平方向作为参考轴的角度)表达为在下面公式(69)中示出的关系。e = Tan-1 (Gfi) (= Tan-1(S)) 公式"9)另外,在建立例如如图135所示的模型的情况中，还假设空间方 向Y上的像素的像素值之间的关系使得如图137B所示的峰形波形由 理想三角形形成(等腰三角波形，其中引导边沿或延伸边沿线性变化)， 并且如图138所示，其中在预定关注像素的空间方向X上、在空间方 向Y上存在的像素的像素值的最大值为Max = L (这里，像素值对应 于现实世界的细线的水平)，以及最小值为Min-B(这里，像素值 对应于现实世界的背景的水平)，如下面公式(70)所示的关系成立。L-B = GflXd-y 公式(70) 这里，3_7表示空间方向Y上的像素之间的像素值之差。 也就是说，空间方向中的Gn越大，细线越接近垂直，从而峰形 波形为具有更大的底的等腰三角形的波形，相反，梯度S越小，波形 的等腰三角形的底越小。因此，梯度Gn越大，空间方向Y上的像素 之间的像素值之差3_7越小，而梯度S越小，空间方向Y上的像素之 间的像素值之差d一y越大。因此，通过获得使上述公式(70)成立的梯度Gfl，使得可以获 得细线相对于参考轴的角度e。公式(70)是以Gn为变量的单变量函 数，因此这可以通过利用一组关注像素附近(垂直方向上)的像素之 间的像素值之差d—y、以及最大值和最小值之差(L-B)获得，然而， 如上所述，这使用了这样的近似表达，所述表达假设空间方向Y上的 像素值的变化采用理想三角形，从而对对应于关注像素的选取块的每 个像素选取动态范围块，并还从其最大值和最小值获得动态范围Dr， 以及通过最小二乘法，利用空间方向Y上的像素之间的像素值之差 d一y，对选取块中的每个像素，统计地获得动态范围Dr。现在，在开始描述通过最小二乘法的统计处理之前，首先详细描 述选取块和动态范围块。例如如图139所示，选取的块可以是在空间方向Y上在关注像素 (图中其中用黑实线画出的方形的栅格的像素)上方和下方的三个像 素、以及在空间方向X上在右侧和左侧的一个像素，共15个像素， 或类似的等。另外，在该情况中，对于选取块中的每个像素之间的像 素值之差d_y，例如将对应于像素pixll的差表达为d一yll，在空间方 向X=X0的情况下，获得在像素pixll和pixl2、 pixl2和pixl3、 pixl3 和pixl4、pix15和pixl6、以及pixl6和pixl7之间的像素值之差d—yll 到d—y16。这里，对于空间方向X=X1和X2等以同样的方法获得像素 之间的像素值之差。从而，存在18个像素之间的像素值之差d—y。另外，关于选取块的像素，基于水平/垂直确定单元711的确定 结果为这样的情况确定例如关于pixll，动态范围块的像素在垂直 方向上，从而如图139所示，取像素pixll以及其垂直方向(空间方 向Y)上的上方和下方各3个像素，从而动态范围块Bl的范围为7 个像素，获得在该动态范围块Bl中的像素的像素值的最大值和最小 值，并还将从最大值和最小值获得的动态范围取为动态范围Drll。同 样，从图139中以相同方式示出的动态范围块B2的7个像素获得关 于选取块的像素pixl2的动态范围Drl2。从而基于对选取块中的18 个像素差(Lyi和相应的动态范围Dri的组合，利用最小二乘法统计地获得梯度Gn。接着，将描述单变量最小二乘法方案。假设这里水平/垂直确定 单元711的确定结果是垂直方向。单变量最小二乘法方案是用于获得例如由预测值Dri一c构成的直 线的梯度Gfl，所述直线到图140中全部由黑点表示的实际测量值的 距离最小。从而，从基于在上述公式(70)中表示的关系的下述技术 获得梯度S。也就是说，以最大值和最小值之差作为动态范围Dr，可以将上 述公式(70)描述为下面的公式(71)。<formula>formula see original document page 146</formula>(71)从而，通过将选取块中的每个像素之间的差d一yi代入上述公式(71)可以获得动态范围Dri_c。因此，下面的公式(72)的关系满足每个像素。<formula>formula see original document page 146</formula>(72)这里，差d一yi是每个像素i在空间方向Y上的像素之间的像素 值之差(例如，与像素i上方或下方相邻的像素的像素值之差)，以 及Dri一c是当公式(70)关于像素i成立时获得的动态范围。如上所述，这里使用的最小二乘法是用于获得梯度Gn的方法， 其中选取块的像素i的动态范围Dri_c与作为利用参考图136A和图 136B所述的方法获得的像素i的实际测量值的动态范围Dri_r的差方 和Q对于图像中的所有像素最小。因此，通过下面的公式(73)可以 获得差方和Q。<formula>formula see original document page 146</formula>公式(73 )公式(73)中示出的差方和Q是二次函数，其采用关于变量Gfi (梯度Gfl)的如图141所示的下凸曲线，因此其上梯度Gn最小的 Gflmin是最小二乘法的解。对公式(73 )中的差方和Q的取对变量Gn的微分，获得dQ/dGfl， 如公式(74)所示。孚=i 2(-d一yi)(Dri一r-Gf,xd一yi) 3Gfli=1 公式(74) 对于公式(74)，采用图141中所示的差方和Q的最小值的Gflmin 是0，从而通过扩展其中公式(74)为0的公式获得具有下面公式(75) 的梯度Gfl。<formula>formula see original document page 147</formula> 公式(75)上述公式(75)就是所谓的单变量(梯度Gn)的正规方程。 从而，通过将获得的梯度Gn代入上述公式(69)，获得对应于 细线的梯度Gn的以水平方向为参考轴的细线角度e。现在，在上述描述中，已经描述了这样的情况，其中关注像素在 细线上，细线在以水平方向为参考轴的45度^6<135度的角度范围内， 但是在这样的情况中，其中关注像素在细线上，细线接近水平方向， 在以水平方向为参考轴的0度￡9<45度或135^9<108度的角度范围内， 与像素i在水平方向上的相邻像素之间的像素值之差为d一xi,并以同 样的方法，在从多个像素获得对应于像素i的最大像素值或最小像素 值时，从相对于像素i的水平方向上的多个像素中选择将要选取的动 态范围块的像素。在该情况的处理中，只是简单地替换上述中水平方 向和垂直方向之间的关系，因此省略对其的描述。另外，类似地处理可以用于获得对应于二值边缘的梯度的角度。 也就是说，放大输入图像中例如图142A中由白线包围的部分， 示出了图像的边缘部分(图中在黑色横幅上以白色书写的叉形符号的 下部)(下文中，由两个值水平构成的图像的边缘部分还称为二值边 缘)实际如图142B所示。也就是说，在现实世界，图像具有由两种 水平第一水平(横幅的场水平)和第二水平(符号水平(图142C中具有低浓度的阴影部分))形成的边界，而不存在其它水平。相反， 在由传感器2拍摄的图像中，即以像素增量拍摄到的图像，其中排列 第一水平像素的部分和其中排列第二水平的像素的部分在一个区域上 相邻，在所述区域中，在这样的方向上存在重复的阵列，在所述方向 上，边缘表现为由像素构成的块，所述像素是在空间上混合第一水平 和第二水平所得，并排列在垂直方向上，从而其比值(混合比值)根据特定图形变化。也就是说，如图143A所示，关于空间方向X-XO、 X1以及X2， 空间方向Y上的像素值的各变化如图143B所示，像素值是从图的底 部到接近二值边缘(图143A中朝向右上的直线)边界为预定最小像 素值，但是像素值在二值边缘边界附近逐渐增大，并在图中穿过边缘 的点Pe上，像素值到达预定最大值。尤其是，空间方向X-XO的变化 使得像素值在经过具有像素值的最小值的点Ps后像素值逐渐增大，并 到达像素值为最大值的点P0,如图143B所示。相比于此，在空间方 向X=X1上的像素的像素值变化表现为在空间方向上偏移的波形，并 在图中通过点Pl增大到像素值的最大值，其中像素值从像素值的最 小值逐渐增大的位置在空间方向Y的正向上具有方向偏移，如图143B 所示。另外，在空间方向X-X2上空间方向Y中的像素值的变化经过 图中的P2点而减小，其在空间方向Y的正方向上继续平移，并从像 素值的最大值变到最小值。在实际图像中用白线包围的部分上还可以观察类似的趋势。也就 是说，在图144A中的实际图像(31像素x31像素图像)中由白线包 围的部分中，背景部分(图144A中显示为黑色的部分)分布由如图 144B所示的具有低像素值的多个像素(像素值为约90)，这些具有 较少变化的部分形成图像的背景区域。相反，图144B中像素值不低 的部分，即像素值分布在约100到200的像素是属于符号区域和背景 区域之间的空间混合区域的像素的分布，当每个像素值的像素个数较 少时，该分布覆盖宽范围的像素值。另外，具有高像素值的符号区域 中的多个像素(图144A中显示为白色的部分)分布在示为220的像 素值附近。因此，图145B示出了在图145A所示的图像边缘，对于预定空 间方向X,在空间方向Y上的像素值的变化。也就是说，图145B示出了关于图145A的图像中由白线围绕的 范围的边缘附近的像素值，对于每个预定空间方向X (图中，X=658、 659、 660)，像素值对应于空间方向Y的变化。可以看到，在由实际 的传感器2等拍摄的图像中，当X=658,像素值在Y-374附近开始增大(图中由黑色圆形表示的分布)，并到达在X = 382附近的最大 值。另外，当X=659，像素值在Y-378附近开始增大，其在空间方 向Y的正向上被平移(图中由黑色三角形表示的分布)，并到达在 X-386附近的最大值。另外，当X-660时，像素值在Y-382附近开 始增大，其在空间方向Y的正向上被进一步平移(图中由黑色方形表 示的分布)，并到达在X-390附近的最大值。因此，为了从由传感器2拍摄的图像中获得现实世界的图像的连 续性信息，建立模型以从由传感器2获取的图像数据近似描述现实世 界。例如，在二值边缘的情况中，如图146所示设置现实世界图像。 也就是说，这样设置参数，将在图像左边的符号部分水平设置为VI， 将在图像右边的符号部分水平设置为V2，将在二值边缘附近的像素的混合比值设置为a，以及将边缘与水平方向的角度设置为e，将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近似 表达现实世界的函数，并从模拟函数获得边缘的方向(与参考轴的梯 度或角度)。这里，表示边缘方向的梯度是相对于空间方向X上的单位距离的 在空间方向Y上的变化比(距离变化)，从而，在例如图147A中的 图示情况下，图中相对于空间方向X上的一个像素距离的空间方向Y 上的距离为梯度。空间方向XO到X2每一个上的空间方向Y上的像素值的变化使 得每个空间方向X的相同波形以预定间隔重复，如图147B所示。如 上所述，边缘的方向在由传感器2拍摄的图像中是其中在空间上连续 发生类似的像素值变化(在该情况下，在预定空间方向Y上的像素值 变化从最小值变化到最大值)的方向，从而对于每个空间方向X，在 像素值在空间方向Y上开始变化的位置、或空间方向Y上变化结束的 位置上的间隔S为边缘的梯度Gfe。也就是说，如图147C所示，垂直 方向上相对于水平方向上一个像素距离的变化量为梯度Gfe。这里，该关系与关于上述参考图137A到C描述的细线的梯度 Gn的关系相同。因此，关系表达式相同。也就是说，在二值边缘情况下的关系式如图148所示，以背景区域的像素值为VI，以符号区域的 像素值为V2，每个作为最小值和最大值。另外，以靠近边缘的像素的 混合比值为a，以边缘梯度为Gfe，成立的关系式与上述公式(69)到(71)相同(其中用Gfe代替Gfl)。因此，图124所示的数据连续性检测单元101可以利用相同的处 理检测对应于细线的梯度的角度，以及对应于边缘的梯度的角度作为 数据连续性信息。因此，下面，梯度将同指细线的梯度和二值边缘的 梯度，并称为梯度Gf。另外，在上述公式(73)到(75)中的梯度Gfi可以是Gfe，因此，可以由Gf替换。接着，将参考图149中的流程图描述检测数据连续性的处理。 在步骤S701，水平/垂直确定单元711起动计数器T，其识别输 入图像的每个像素。在步骤S702,水平/垂直确定单元711进行处理以选取在下面步 骤中需要的数据。这里，将参考图150的流程图描述用于选取数据的处理。 在步骤S711中，如参考图125描述的，对于每个关注像素T, 数据选择单元701的水平/垂直确定单元711计算关于在水平、垂直和 对角方向上相邻的9个像素的在水平方向上的像素的像素值的像素值 之差的和(活度)(hdiff)与在垂直方向上的像素之差的和(活度) (vdiff)，并获得其差(hidff-vdiff);在(hidff-vdiff) 并且关注 像素T取水平方向为参考轴的情况下，确定像素接近靠近垂直方向的细线或二值边缘，其中与参考轴的角度e为45度se〈35度，并将表示使用的选取块对应于垂直方向的确定结果输出给lt据获取单元712 和数据补充单元702。另一方面，在(hidff-vdiff) <0并且关注像素取水平方向为参考 轴的情况下，水平/垂直确定单元711确定像素接近靠近水平方向的细 线或边缘，其中细线或二值边缘与参考轴的角度e为0度￡6<45度或 135度￡6<180度，并将表示使用的选取块对应于水平方向的确定结果 输出给数据获取单元712和数据补充单元702。也就是说，细线或二值边缘的梯度更接近垂直方向表示，例如如图131A所示，图中箭头交叉的细线部分更大，因此设置在垂直方向 上具有增加个数的像素的选取块(设置垂直长的选取块)。同样，在 细线的梯度更靠近水平方向的情况下，设置在水平方向上具有增加个 数的像素的选取块(设置水平长的选取块)。这样，不需要增加不必 的计算量而可以计算精确最大值和最小值。在步骤S712中，数据获取单元712选取对应于从水平/垂直确定 单元711输入的表示关注像素的水平方向或垂直方向的确定结果的选 取块的像素。也就是说，例如如图139所示，选取以关注像素为中心 的(水平方向上的3个像素)x (垂直方向上的7个像素)共21个像 素作为选取块并存储。在步骤S713,数据获取单元712选取对应于如下方向的动态范 围块的像素并将其存储，所述方向对应于对选取块中的每个像素的水 平/垂直确定单元711的确定结果。也就是说，如上文参考图139描述 的，在该情况下，对于例如选取块的像素pixll，水平/垂直确定单元 711的确定结果表示垂直方向，从而数据获取单元712选取在垂直方 向上的动态范围块Bl,并以同样的方法选取像素pixl2的动态范围块 B2。并同样地选取其它选取块的动态范围块。也就是说，利用该数据选取处理(选择将要处理的区域)，将用 于计算关于特定关注像素T的正规方程所需的像素信息存储在数据获 取单元712中。这里，返回到图149中的流程。在步骤S703，数据补充单元702进行处理以补充正规方程(公 式(74))中每项所需的值。这里，将参考图151的流程图描述对正规方程的补充处理。 在步骤S721中，差值补充单元721根据数据选择单元701的水 平/垂直确定单元711的确定结果，获得(检测)存储在数据获取单元 712中的选取块的像素之间的像素值之差，并将其升高到第二阶(平 方)并补充。也就是说，在水平/垂直确定单元711的确定结果是垂直方向的情况下，差值补充单元721获得垂直方向中的选取块的每个像 素的相邻像素的像素值之差，并将其平方和补充。同样，在水平/垂直 确定单元711的确定结果是水平方向的情况下，差值补充单元721获 得水平方向中的选取块的每个像素的相邻像素的像素值之差，并将其平方和补充。从而，差值补充单元721产生各项的差方和作为上述公 式(75)中的分母，并将其存储。在步骤S722中，最大最小值获取单元722获得存储在数据获取 单元712中的动态范围块中包括的像素的像素值的最大值和最小值， 并在步骤S723中，从最大值和最小值获得(检测)动态范围，并将其 输出给差值补充单元723。也就是说，在如图136B所示的由像素pixl 到pix7构成的7像素动态范围块的情况下，检测出pix2的像素值为 最大值，检测出pix7的像素值为最小值，以及获得其差作为动态范围。在步骤S724中，差值补充单元723从存储在数据获取单元712 中的选取块的像素，获得在对应于数据选择单元701的水平/垂直确定 单元711的确定结果的方向上的相邻像素之间像素值之差，并补充由 从最大最小值获取单元722输入的动态范围相乘的值。也就是说，差 值补充单元721产生各项和作为上述公式(75)中的分子，并将其存储-这里，返回到对图149中的流程图的描述。在步骤S704中，差值补充单元721确定像素之间的像素值之差 (在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之 间的像素值之差)是否被补充给选取块的所有像素，在确定例如像素 之间的像素值之差没有被补充给选取块的所有像素时，流程返回步骤 S702，并重复后面的处理。也就是说，重复步骤S702到步骤S704的 处理直到确定像素之间的像素值之差已经被补充给选取块的所有像 素。当在步骤S704中确定像素之间的像素值之差已经被补充给选取 块的所有像素的情况下，在步骤S705,差值补充单元721和723将存 储在其中的补充结果输出给连续性方向推导单元703。在步骤S706，连续性方向计算单元731利用最小二乘法求解上 述公式(75)中给出的正规方程，所述求基于从数据补充单元702 的差值补充单元721输入的获取块中的像素的、在对应于水平/垂直确 定单元711的确定结果的方向上的相邻像素之间的像素值的差方和； 从差值补充单元723输入的获取块中像素的、在对应于水平/垂直确定 单元711的确定结果的方向上的相邻像素之间的像素值之差；以及对 应于获得的块的像素的动态范围的乘积的和，从而统计地计算并输出 表示连续性方向的角度(表示细线或二值边缘的梯度的角度)，作为 关注像素的数据连续性信息。在步骤S707中，数据获取单元712确定是否已经对所有输入图 像的像素进行处理，在确定仍未对输入图像的所有像素处理的情况下， 即仍没有输出输入图像的所有像素的细线或二值边缘的角度信息的情 况下，在步骤S708中对计数器T加1，并且过程返回步骤S702。也 就是说，重复步骤S702到步骤S708的处理，直到变化要处理的输入 图像的像素，并对输入图像的所有像素进行处理。可以根据例如栅格 扫描等由计数器T改变像素，或根据其它规则顺序改变。当在步骤S707中确定已经对输入图像的所有像素进行处理的情 况下，在步骤S709,数据获取单元712确定是否存在下一个输入图像， 在确定存在下一个输入图像的情况下，处理返回步骤S701，并重复下 面的处理。当在步骤S709中确定不存在下一个输入图像时，处理结束。 根据上述处理，检测出细线或二值边缘的角度作为连续性信息并输出。通过该统计处理获得的细线或二值边缘的角度近似地匹配利用 相关性获得的细线或二值边缘的角度。也就是说，对于如图152A所 示的图像中由白线围绕的范围的图像，如图152B所示，对于细线的用相关性;方法获得"细线梯度的角i(图中的黑色圆形)与通过利用图124中的数据连续性检测单元101进行统计处理获得的细线角度(图中的黑色三角形)在细线附近的空间方向Y的坐标上近似符合。 注意，在图152B中，在图中黑线之间的空间方向Y- 680到730是在 细线上的坐标。同样，对于如图153A所示的图像中由白线围绕的范围的图像， 如图153B所示，对于二值边缘的在水平方向上的预定坐标的在空间 方向Y上的梯度的变化表示通过利用相关性的方法获得的二值边缘的 梯度的角度(图中的黑色圆形)与通过利用图124中的数据连续性检 测单元101进行统计处理获得的二值边缘的角度(图中的黑色三角形) 在细线附近的空间方向Y的坐标上近似符合。注意，在图153B中， 空间方向Y- (约)376到(约)388是在细线上的坐标。因此，如图124所示的数据连续性检测单元101利用用于获得细 线或二值边缘的角度的每个像素附近的信息，不同于利用与由预定像 素构成的块的相关性的方法，可以统计地获得表示细线或二值边缘的 梯度的角度(以水平方向作为参考轴的角度)作为数据连续性，并且 因此，不存在如在利用相关性的方法中的根据预定角度的切换，从而， 可以利用相同的处理获得所有细线或二值边缘的梯度的角度，从而可 以简化处理。另外，尽管描述了数据连续性检测单元101的实例，所述单元输 出细线或二值边缘与预定参考轴的角度作为连续性信息，但是可以考 虑，根据后面的处理，以改善处理效率地方式输出角度。在该情况下， 数据连续性检测单元101的连续性方向推导单元703和连续性方向计 算单元731可以不变地输出通过最小二乘法获得的细线或二值边缘的 梯度Gf作为连续性信息。另外，尽管描述了获得对选取块中的每个像素计算的公式(75) 中的动态范围Dri—r,但是设置充分大的动态范围块，即设置较多关 注像素及较多的周围像素的动态范围，将在动态范围的全部次数中选 择图像中的像素的像素值的最大值和最小值。因此，可以这样设置， 其中对动态范围Drij进行计算，其中以获得的为固定值的动态范围 Dri一r作为选取块或图像数据中的像素的从最大值到最小值的动态范围，而不计算选取块的每个像素。也就是说，可以如下面的公式(76)进行设置，通过只补充像素之间的像素值之差以获得细线的角度(梯度Gf)。通过这样固定动态范围可以简化计算处理，并以更快的速度进行处理。<formula>formula see original document page 155</formula>接着，将参考图154描述数据连续性检测单元101检测像素的混 合比值作为数据连续性信息。注意，在如图154所示的数据连续性检测单元101中，对应于图 124中所示的数据连续性检测单元101的部分的部分以相同的标号表 示，并省略对其的描述。在如图154所示的数据连续性检测单元101中，与图124所示的 数据连续性检测单元101不同之处在于，提供数据补充单元751和混 合比值推导单元761代替数据补充单元702和连续性方向推导单元 703。数据补充单元751的最大最小值获取单元752执行与图124中最 大最小值获取单元722相同的处理，并获得动态范围块中像素的像素 值的最大值和最小值，获得最大值和最小值的差(动态范围)，以及 将其输出给补充单元753和755，并将最大值输出给差值计算单元754。补充单元753平方由最大最小值获取单元获得的值，对选取块的 所有像素进行补充，获得其和，以及将其输出给混合比值推导单元 761。差值计算单元754获得数据获取单元712获取的块中的每个像素 之间的差和对应于动态范围块的最大值，并将其输出给补充单元755。补充单元755将从最大最小值获取单元752输入的获取块的每个 像素的最大值和最小值之差(动态范围)与从差值计算单元754输入 的获取块中的每个像素的像素值与对应的动态范围块的最大值的差相乘，获得其和，并将其输出给混合比值推导单元761。混合比值推导单元761的混合比值计算单元762基于从数据补充 单元的补充单元753和755输入的值，通过最小二乘法统计地获得关 注像素的混合比值，并将其输出作为数据连续性信息。 接着，将描述混合比值推导方法。如图155A所示，在图像上存在细线的情况下，由传感器2拍摄 的图像如图155B所示。在该图像中，关注图155B中在空间方向X=X1 上由黑色实线围绕的像素。注意，图155B中在白线之间的区域表示 对应于现实世界细线区域的位置。该像素的像素值M应该是对应于背 景区域的水平的像素值B和对应于细线区域的水平的像素值L之间的 中间色，更具体的是，该像素值Ps应该是根据背景区域和细线区域之 间的面积比值的每个水平的混合水平。因此，像素值Ps可以由下面的 乂>式(77)表达。Ps = "XB+ (1-a) XL 公式(77) 这里，a是混合比值，尤其是，表示背景区域在关注像素中所占 的面积比值。因此，可以说(l-a)表示细线区域所占的面积比值。这 里，可以认为背景区域的像素是在背景中存在的对象的分量，从而可 以称为背景对象分量。另外，可以认为细线区域的像素是在相对于背 景对象的前景中存在的对象的分量，从而可以称为前景对象分量。从而，可以通过扩展公式(77)由下面的公式(78)表达混合比值a。a = & _ l) / (b l) 公式(78)另外，在这该情况下，假设像素值位于横跨第一像素值(像素值 B)区域和第二像素值(像素值L)区域的位置上，西此，可以用像 素值的最大值Max替换像素值L，并进而可以用像素值的最小值替换 像素值B。因此，可以将混合比值a表达为下面的公式(79)。a - (Ps誦Max) / (Min - Max) 公式(79 )作为上述的结果，可以从关于关注像素的动态范围块的动态范围(等于(Miii-Max))、以及关注像素与动态范围块中的像素的最大值之差获得混合比值CC，但是，为了进一步改善精度，这里将通过最小二乘法统计地获得混合比值a。也就是说，扩展上述公式(79)得到下面的公式(80)。 <formula>formula see original document page 157</formula> 公式(80 )在上述公式(71)的情况下，该公式(80)是单变量最小二乘方 程。也就是说，在公式(71)中，通过最小二乘法获得梯度Gf,但是 这里，获得混合比值a。因此，通过求解如公式(81)所示的正规方 程可以统计地获得混合比值a。
<formula>formula see original document page 157</formula>公式(81)
这里，i用于标识选取块的像素。因此，在公式(81)中，选取 块中的像素个数为n。接着，将参考图156中的流程图描述利用混合比值作为数据连续 性的用于检测数据连续性的处理。在步骤S731中，水平/垂直确定单元711对计数器U进行初始化， 其识别输入图像的像素。在步骤S732中，水平/垂直确定单元711进行处理，以选取下面 步骤所需的数据。注意，步骤S732的处理与参考图150中的流程图所 述的处理相同，因此省略对其的描述。在步骤S733中，数据补充单元751进行处理，以补充用于计算 正规方程(这里指公式(81))的每项所需的值。这里，将参考图157中的流程图描述用于补充正规方程的处理。在步骤S751中，最大最小值获取单元752获取存储在数据获取 单元712中的动态范围块中包含的像素的像素值的最大值和最小值， 并将其中的最小值输出给差值计算单元754。在步骤S752，最大最小值获取单元752从最大值和最小值之差 获取动态范围，并将其输出给差值补充单元753和755。在步骤S753，补充单元753对从最大最小值获取单元752输入 的动态范围(Max-Min)求平方并进行补充。也就是说，补充单元753 通过补充产生等于上述公式(81)中分母的值。在步骤S754，差值计算单元754获得从最大最小值获取单元752 输入的动态范围块的最大值与在选取块中当前正被处理的像素的像素 值之差，并将其输出给补充单元755。在步骤S755中，补充单元755将从最大最小值获取单元752输 入的动态范围乘以从差值计算单元754输入的正被处理的像素的像素 值与动态范围块的像素的最大值之差，并补充。也就是说，补充单元 755产生等于上述公式(81)的分子项的值。如上所述，数据补充单元751通过补充计算上述公式(81)的各项。这里，返回到对图156中的流程图的描述。在步骤S734中，差值补充单元721确定是否已结束对选取块的 所有像素的补充，在确定例如对选取块的所有像素的补充仍未结束的 情况下，该过程返回步骤S732，并重复随后的处理。也就是说，重复 步骤S732到步骤S734的处理直到确定对选取块的所有像素的补充已 经结束。在步骤S734中，在确定对选取块的所有像素的补充已经结束的 情况下，在步骤S735，补充单元753和755将存储在其中的补充结果 输出给混合比值推导单元761。在步骤S736,混合比值推导单元761的混合比值计算单元762 通过最小二乘法统计地计算并输出关注像素的混合比值作为数据连续 性信息，其中通过基于动态范围的平方和、以及从数据补充单元751 的补充单元753和755输入的选取块的像素的像素值与动态块的最大 值之差乘以动态范围的和，求解公式(81)所示的正规方程。在步骤S737，数据获取单元712确定对输入图像中的所有像素 的处理是否已经进行，在确定例如仍未进行对输入图像中的所有像素 的处理的情况下，即在确定仍未输出输入图像的所有像素的混合比值的情况下，在步骤S738中，计数器加l，并且过程返回步骤S732。也就是说，重复步骤S732到步骤S738的处理，直到改变输入图 像中将要处理的像素，并对输入图像的所有像素计算混合值。可以例 如根据栅格扫描等由计数器V改变像素，或根据其它规则顺序改变。 当在步骤S737中确定已经对输入图像的所有像素进行处理时， 在步骤S739中，数据获取单元712确定是否存在下一个输入图像，在 确定存在下一个输入图像的情况下，该过程返回步骤S731，并重复后 面的处理。当在步骤S739中确定没有下一个输入图像的情况下，处理结束。 由于上述处理，检测出像素的混合比值作为连续性信息，并输出。 图158B示出了例如根据上述技术，关于图158A所示图像中的 白线内的细线图像，在预定空间方向X( =561、 562、 563)上的混合 比值的变化。如图158B所示，在水平方向上连续的混合比值在空间 方向Y上的变化分别是，在空间方向X=563的情况下，混合比值在空 间方向Y=660附近开始上升，峰值为Y-685附近，并下降到达Y=710。 另夕卜，在空间方向X=562的情况下，混合比值在空间方向Y=680附近 开始上升，峰值为￥=705附近，并下降到达￥=735。另外，在空间方 向X=561的情况下，混合比值在空间方向Y=705附近开始上升，峰值 为Y-725附近，并下降到达Y=755 。从而，如图158B所示，在连续空间方向X上的每个混合比值的 变化与根据混合比值变化的像素值的变化相同(如图133B中示出的 像素值的变化)，并且循环连续，因此可以理解,在细线附近的像素 的混合比值被精确表示。另外，同样，图159B示出了关于图159A所示闺像中的白线内 的二值边缘图像，在预定空间方向X( =658、 659、 660)上的混合比 值的变化。如图159B所示，在水平方向上连续的混合比值在空间方 向Y上的变化分别是，在空间方向X=660的情况下，混合比值在空间 方向Y=750附近开始上升，峰值为Y=765附近。另外，在空间方向 X=659的情况下，混合比值在空间方向Y=760附近开始上升，峰值为Y-775附近。另外，在空间方向X=658的情况下，混合比值在空间方 向Y=770附近开始上升，峰值为Y=785附近。从而，如图159B所示，二值边缘的每个混合比值的变化与根据 混合比值变化的像素值的变化近似相同(如图145B中示出的像素值 的变化)，并且循环连续，因此可以理解，在二值边缘附近的像素值 的混合比值被精确表示。根据上述，通过最小二乘法可以统计地获得每个像素的混合比值 作为数据连续性信息。另外，可以基于该混合比值直接产生每个像素 的像素值。另夕卜，如果设混合比值的变化具有连续性，并且，混合比值的变 化是线性的，则如下面的公式(82)表示的关系成立。 a = mxy + n 公式(82)这里，m表示当混合比值a相对于空间方向Y变化时的梯度， 另外，当混合比值a线性变化时，n相当于截距。也就是说，如图160所示,表示混合比值的直线是表示等于背景 区域水平的像素值B与等于细线水平的像素L之间的边界的直线，在 该情况下，当相对空间方向Y前进单位距离时，混合比值的变化量为 梯度m。因此，将公式(82)代入公式(77)获得下面的公式(83)。<formula>formula see original document page 160</formula>(83 )另外，扩展公式(83)获得下面的公式(84)<formula>formula see original document page 160</formula>(84 )在公式(84)中，第一项m表示混合比值在空间方向中的梯度， 第二项表示混合比值的截距。因此，可以这样设置，其中利用两个变 量的最小二乘法产生正规方程以获得公式(84)中的m和n。然而，混合比值a的梯度m是上述细线或二值边缘的梯度(上 述梯度Gf)自身，因此可以这样设置，其中首先使用上述方法获得细 线或二值边缘的梯度Gf，然后使用该梯度并将其代入公式(84)，从 而形成关于截距项的单变量函数，并利用单变量最小二乘法获得与上述技术相同的结果。尽管描述了用于检测细线或二值边缘在空间方向上的角度(梯度)或混合比值作为数据连续性信息的数据连续性检测单元101的上 述例子，但是可以这样设置，其中通过用例如时间方向(帧方向)T 轴代替空间方向轴(空间方向X和Y)中的一个，获得对应于空间方 向中的角度的物理量。也就是说，对应于通过用时间方向(帧方向) T轴代替空间方向轴(空间方向X和Y)中的一个而获得的角度的物 理量是对象的移动矢量(移动矢量方向)。尤其是，如闺161A所示，当对象相关于空间方向Y在时间上在 图中向上移动时，对象的移动轨迹在相当于图中细线的部分示出(相 比于图131A)。因此，在时间方向T上的细线的梯度表示图161A中 对象的移动方向(表示对象的移动的角度)(相当于移动矢量的方向)。 因此，在现实世界中，在由图161A中的箭头表示的预定时刻的帧中， 如图161B所示获得脉冲形波形，其中将成为对象轨迹的部分是对象 的水平(颜色)，以及其它部分是背景水平。这样，利用传感器2成像具有移动的对象的情况下，如图162A 所示，从时刻Tl到T3的帧的每个像素的像素值分布都釆用在空间方 向Y上的峰形分布，如图162B所示。可以认为该关系与参考图132A 和图132B所述的在空间方向X和Y上的关系相同。因此，在对象在 帧方向T上具有移动时，可以以与利用上述细线的梯度或二值边缘的 角度(梯度)信息相同的方法，获得对象的移动矢量的方向作为数据 连续性信息。注意，在图162B中，帧方向T (时间方向T)中的每个 栅格是构成一帧的图像的快门时间。另外，同样，如图163A所示，对于每个帧方向T,存在对象在 空间方向Y上的移动的情况下，如图163B所示，可以获得对应于对 象在对应预定时刻的帧上相对于空间方向Y的移动的每个像素值。此 时，图163B中由黑实线包围的像素的像素值是其中背景水平和对象 水平在帧方向上以混合比值p混合的l象素值，其对应于例如如图163C 所示的对象的移动。该关系与参考图155A、图155B以及图155C所述的关系相同。
另外，如图164所示，由在帧方向(时间方向)上的混合比值P 可以线性近似对象的水平O和背景的水平B。该关系与参考图160所 述的在空间方向上的混合比值的线性近似关系相同。
因此，利用与在空间方向中的混合比值a的情况下相同的技术可 以获得在时间(帧)方向上的混合比值p作为数据连续性信息。
另外,可以这样设置，其中选择帧方向或一维空间方向，获得数 据连续性角度或移动矢量方向，以及同样地选择性地获得混合比值a 和(3。
根据上述，投影现实世界的光信号，选择对应于图像数据中的关 注像素的区域，所述图像中已丟失了现实世界光信号的部分连续性， 检测选择的区域中的用于检测对应于丢失的现实世界光信号的连续性 的图像数据连续性相对于参考轴的角度的特征，基于检测的特征统计 地检测角度，以及基于检测的图像数据的连续性相对于参考轴的角度 通过估计丢失的现实世界光信号的连续性而估计光信号，从而可获得 连续性的角度(移动矢量的方向)或(时间-空间)混合比值。
接着，将参考图165描述数据连续性信息检测单元101，其将其 中利用数据连续性信息进行处理的区域中的信息输出作为数据连续性 信息。
角度检测单元801检测输入图像中具有连续性区域的空间方向 角度，所述区域即构成图像中具有连续性的细线和二值边缘的部分， 并将检测到的角度输出给现实世界估计单元802。注意，该角度检测 单元801与图3中数据连续性检测单元101相同。
现实世界估计单元802基于从角度角度检测单元801输入的表示 数据连续性方向的角度和输入图像的信息估计现实世界。也就是说， 现实世界估计单元802从输入图像和输入图像的每个像素获得近似地 描述现实世界光信号的光强分布的模拟函数的系数，并将获得的作为 对现实世界的估计结果的系数输出给误差计算单元803。注意，该现 实世界估计单元802与图3所示的现实世界估计单元102相同。误差计算单元803基于从现实世界估计单元802输入的系数公式 化表示近似描述的现实世界光强分布的模拟函数，并且还基于模拟函 数积分对应于每个像素位置的光强，从而根据从模拟函数估计的光强 分布产生每个像素的像素值，并将其输出给比较单元804，以与实际 输入的像素值的差作为误差。
比较单元804比较每个像素的从误差计算单元803输入的误差与 预先设置的阈值，从而分辨其中存在将被利用连续性信息处理的像素 的处理区域和非处理区域，并输出分辨其中将要利用连续性信息进行 处理的处理区域和非处理区域的区域信息作为连续性信息。
接着，将参考图166中的流程图描述利用图165中的数据连续性 检测单元101的连续性检测处理。
角度检测单元801获取在步骤S801中输入的图像，并在S802中 检测表示连续性方向的角度。尤其是，角度检测单元801检测当取水 平方向为参考轴时的细线、或表示具有例如二值边缘的连续性方向的 角度，并将其输出给现实世界估计单元802。
在步骤S803，现实世界估计单元802基于从角度检测单元801 输入的角度信息和输入图像信息，获得由多项式构成的模拟函数f ( x ) 的系数，所述函数近似地描述了表达现实世界的函数F (x)，并将其 输出给误差计算单元803。也就是说，表达现实世界的模拟函数f (x) 示出为如下面的z^式(85)的初始多项<formula>formula see original document page 163</formula>
'一 公式(85)
这里，wi是多项式的系数，现实世界估计单元802获得该系数 wi并将其输出给误差计算单元803。另外，基于从角度检测单元801 输入的角度可以获得来自连续性方向的梯度(Gf-taiT19, Gf:梯度， 9:角度)，从而，通过代入该梯度Gf的约束条件可以用获得如下面 的公式(86)所示的二元多项式描述上述公式(85)。<formula>formula see original document page 164</formula>
i=0 公式(86) 也就是说，上述公式(86)描述了通过用平移量a (=-dy/Gf:dy
为在空间方向Y上的变化量)表示由于利用公式(85)描述的初始模
拟函数f ( x)平行于空间方向Y上移动发生的平移的宽度而获得的二
元函数f (x，y)。
因此，现实世界估计单元802利用输入图像和在连续性方向上的
角度信息解出上述公式(86)的每个系数wi，并将获得的系数wi输
出给误差计算单元803。
这里，返回描述图166中的流程图。
在步骤S804,误差计算单元803基于现实世界估计单元802输 入的系数，进行对每个像素的再积分。尤其是，误差计算单元803基 于从现实世界估计单元802输入的系数如下面的公式(87)所示将上 述公式(86)对每个像素积分。
<formula>formula see original document page 164</formula>公式(87)
这里，Ss表示在图167中示出的空间方向上的积分结果。另外，如图167所示，其积分范围是，在空间方向X上为Xm到xm+B，在空
间方向Y上为ym到ym+A。另外，在图167中，认为每个栅格(方格) 表示一个像素，并且空间方向X和空间方向Y上的栅格都为1。
因此，如图168所示，误差计算单元803对每个像素进行如下面 的公式(88)所示的积分算术运算，其中在模拟函数f (x，y)中所示 的曲线表面的空间方向X上的积分范围是Xm到xm + 1，以及在空间方 向Y上的范围是ym到ym+1 ( A=B=1)，并计算通过空间积分近似表 达现实世界的模拟函数获得的每个像素的像素值Ps。
<formula>formula see original document page 165</formula>公式(88 )
换句话说，根据该处理，误差计算单元803用作所谓的一种像素 产生单元，并从模拟函数产生像素值。
在步骤S805中，误差计算单元803计算利用如上述公式(88 ) 所示的积分获得的像素值与输入图像的像素值之差，并将其作为误差 输出给比较单元804。换句话说，误差计算单元803获得对应于如图 167和168所示的积分范围(在空间方向X上为Xm到xm + 1，在空间方 向Y上为ym到ym+1)的像素的像素值与利用在对应于像素的范围上 的积分结果获得的像素值之差作为误差，并将其输出给比较单元804。
在步骤S806中，比较单元804确定利用从误差计算单元803输入的积分获得的像素值与输入图像的像素值之间的误差的绝对值是否 等于预定的阈值或更小。在步骤S806中，在确定所述误差是预定的阈值或更小的情况下， 由于利用积分获得的像素值是接近输入图像的像素的像素值的值，比 较单元804将用于计算像素的像素值的模拟函数组看作利用现实世界 中的光信号的光强分布充分近似的函数，并在步骤S807中将正被处理 的像素的区域看作其中基于连续性信息利用模拟函数进行处理的处理 区域。更具体的是，比较单元804将现在处理过的像素存储在未示出 的存储器中作为在随后处理区域中的像素。另一方面，当在步骤S806中确定误差不是阈值或更小的情况下， 由于通过积分获得的像素值是远离实际像素值的值，比较单元804将 用于计算像素的像素值的模拟函数组看作利用现实世界中的光信号的 光强分布不充分近似的函数，并在步骤S808中将正被处理的像素的区 域看作其中在随后的阶段不进行基于连续性信息利用模拟函数的处理 的非处理区域。更具体的是，比较单元804将现在处理过的像素的区 域存储在未示出的存储器中作为随后的非处理区域。在步骤S809中，比较单元804确定是否已经进行对所有像素的 处理，在确定仍未对所有的像素进行处理的情况下，处理返回步骤 S802,其中重复进行后面的处理。换句话说，重复进行步骤S802到 S809中的处理，直到确定进行了其中比较利用积分获得的像素值与输 入的像素值的处理，并确定该像素是否已经对所有像素确定该像素是 处理区域。在步骤S809中，在确定已经对所有像素完成其中进行对利用再 积分获得的像素值与输入像素值的比较的确定处理、并且确定像素是 否是处理区域后，在步骤S810中，比较单元804输出区域信息，其中 关于存储在未示出的存储器中的输入图像，识别处理区域和非处理区 域作为连续性信息，在处理区域中，在后面的处理中基于在空间方向 上的连续性信息进行处理，而在非处理区域中，不进行基于在空间方 向上的连续性信息的处理。根据上述处理，基于通过利用基于连续性信息计算的模拟函数f (X )在对应于每个像素的区域上的积分结果获得的像素值与实际输入 图像的像素值之间的误差，对每个区域(每个像素)进行对模拟函数 的表达的可靠性的评估，从而，将具有最小误差的区域认为是处理区 域，即只有其中的像素的通过基于模拟函数的积分获得的像素值是可 靠存在的区域，而将除此以外的其它区域认为是非处理区域，从而， 只有可靠区域可以基于空间方向中的连续性信息得到处理，并且可以 进行需要的单独处理，从而可以改善处理速度，并且所述处理可以对 可靠的区域单独进行，从而防止图像质量由于该处理而恶化。接着，将参考图169描述数据连续性信息检测单元101的另一实 施例，其输出其中存在将要利用数据连续性信息处理的像素的区域信 息作为数据连续性信息。移动检测单元821检测输入图像的具有连续性的区域，即在图像 的帧方向上具有连续性的移动(移动矢量Vf的方向)，并将检测的移 动输出给现实世界估计单元822。注意，该移动检测单元821与图3 中数据连续性检测单元101相同。现实世界估计单元822基于从移动检测单元821输入的数据连续 性和输入图像信息的移动估计现实世界。具体为，现实世界估计单元 822获得模拟函数的系数，所述函数基于输入的移动和输入图像的每 个像素在帧方向(时间方向)上近似描述现实世界中光信号的光强分 布，并将获得的系数作为在现实世界中的估计结果输出给误差计算单 元823。注意，该现实世界估计单元822与图3中的现实世界估计单 元102相同。误差计算单元823形成表示现实世界在帧方向上的光强分布的模 拟函数，其中基于从现实世界估计单元822输入的系数近似描述了所 述现实世界，并且，从该模拟函数对每帧积分相当于每个像素位置的 光强，从通过模拟函数估计的光强分布产生每个像素的像素值，并将 与实际输入的像素值之差输出给比较单元824作为误差。比较单元824通过比较从误差计算单元823输入的关于每个像素的误差与预定阈值，识别处理区域和非处理区域，在所述处理区域中 存在将要利用连续性信息处理的像素，并将其中识别处理区域和非处 理区域的区域信息输出作为连续性信息，其中在处理区域中利用连续 性信息进行处理。接着，将参考图170中的流程图描述利用图169的数据连续性检 测单元101进行的连续性检测处理。移动检测单元801在步骤S801中获取输入图像，并在步骤S822 中检测表示连续性的移动。更具体的是，移动检测单元801检测例如 物质在输入图像中的移动(移动方向矢量Vf)，并将其输出给现实 世界估计单元822。在步骤S823中,现实世界估计单元822获得由多项式构成的函 数f (t)的系数，所述函数基于从移动检测单元821输入的移动信息 和输入图像的信息近似地描述了表示现实世界的在帧方向上的函数F (t)，并将其输出给误差计算单元823。也就是说，表达现实世界的 函数f (t)示出为如下述公式(89)的初始多项式。f (t) = W。t、tn—1 +Wn—tt+Wn i=0公式(89)这里，wi是多项式的系数，现实世界估计单元822获得该系数 wi并将其输出给误差计算单元823。另外，基于从移动检测单元821 输入的移动可以获得作为连续性的移动(Vf=tan"ev， Vf:移动矢量 在帧方向上的梯度，0v:移动矢量在帧方向上的角度)，从而，通过 代入该梯度的约束条件可以用如下面的公式(卯)所示的二元多项式 描述上述公式(89)。<formula>formula see original document page 169</formula>卜0 7>式(90)也就是说，上述公式(90)描述了通过用平移量ott (=-dy/Vf:dy为在空间方向Y上的变化量)表示由于利用公式(89)描述的初始模拟函数f (t)平行于空间方向Y上移动发生的平移的宽度而获得的二元函数f (t，y)。因此，现实世界估计单元822利用输入图像和连续性移动信息解出上述公式(90)的每个系数wi，并将获得的系数wi输出给误差计算单元823。这里，返回描述图170中的流程图。在步骤S824,误差计算单元823基于现实世界估计单元822输 入的系数，在帧方向上进行对每个像素的积分。也就是说，误差计算 单元823基于从现实世界估计单元822输入的系数如下面的公式(91) 所示将上述公式(90)对每个像素积分。<formula>formula see original document page 169</formula>这里，St表示在图171中示出的在帧方向上的积分结果。如图171<formula>formula see original document page 169</formula>所示，其积分范围是，在帧方向T上为Tm到Tm + B，在空间方向Y上为ym到ym+A。另外，在图171中，认为每个栅格(方格)表示一个像素，并且帧方向T和空间方向Y上的栅格都为1。这里"关于帧方向 T为'"是指对于一帧的数值的快门时间为1。因此，如图172所示，误差计算单元823对每个像素进行如公式 (92)所示的积分算术运算，其中在模拟函数f (t，y)中所示的曲线 表面的帧方向T上的积分范围是Tm到Tm + 1，以及在空间方向Y上的 范围是ym到ym+I (A=B=1)，并计算从近似表达现实世界的模拟函数 获得的每个像素的像素值Pt。<formula>formula see original document page 170</formula>也就是说，根据该处理，误差计算单元823用作所谓的一种像素 值产生单元，并从模拟函数产生像素值。在步骤S825中，误差计算单元823计算利用如上述公式(92) 所示的积分获得的像素值与输入图像的像素值之差，并将其作为误差 输出给比较单元824。也就是说，误差计算单元823获得对应于如图 171和172所示的积分范围(在帧方向T上为1V到Tm+1，在空间方 向Y上为ym到ym+1)的像素的像素值与利用在对应于该像素的范围 上的积分结果获得的像素值之差作为误差，并将其输出给比较单元824。在步骤S826中，比较单元824确定利用从误差计算单元823输 入的积分获得的像素值与输入图像的像素值之间的误差的绝对值是否 等于预定的阈值或更小。在步骤S826中，在确定所述误差是预定阈值或更小的情况下， 由于利用积分获得像素值是接近输入图像的像素的像素值的值，比较 单元824将用于计算像素的像素值的模拟函数组看作利用现实世界中 的光信号的光强分布充分近似的函数，并在步骤S827中将正被处理的 像素的区域看作处理区域。更具体的是，比较单元824将现在处理过 的像素存储在未示出的存储器中作为在后续处理区域中的像素。另一方面，当在步骤S826中确定误差不是阈值或更小的情况下， 由于通过积分获得的像素值是远离实际像素值的值，比较单元824将 用于计算像素的像素值的模拟函数看作利用现实世界中的光信号的光强分布不充分近似的函数，并在步骤S828中将正被处理的像素的区域 看作其中在随后的阶段不进行基于连续性信息利用模拟函数的处理的 非处理区域。更具体的是，比较单元824将现在处理过的像素的区域 存储在未示出的存储器中作为后续的非处理区域。在步骤S829中，比较单元824确定是否已经进行对所有像素的 处理，在确定仍未对所有的像素进行处理的情况下，处理返回步骤 S822，其中重复进行后面的处理。换句话说，重复进行步骤S822到 S829中的处理，直到已经对所有像素完成了确定处理，其中比较利用 积分获得的像素值与输入的像素值的处理，并确定该像素是否是处理 区域。在步骤S829中，在确定已经对所有像素完成其中对利用再积分 获得的像素值与输入像素值进行比较、并且确定像素是否是处理区域 的确定处理后，在步骤S830中，比较单元824输出区域信息，其中关 于存储在未示出的存储器中的输入图像，识别处理区域和非处理区域 作为连续性信息，在处理区域中，在后面的处理中基于在帧方向上的 连续性信息进行处理，而在非处理区域中，不进行基于在帧方向上的连续性信息的处理。根据上述处理，基于通过利用基于连续性信息计算的模拟函数f (t )在对应于每个像素的区域上的积分结果获得的像素值与实际输入 图像的像素值之间的误差，对每个区域(每个像素)进行对模拟函数 的表达的可靠性的评估，从而，将具有最小误差的区域认为是处理区 域，即只有其中的像素的通过基于模拟函数的积分获得的像素值是可 靠存在的区域，而将除此以外的其它区域认为是非处理区域，从而， 只有可靠区域可以基于帧方向中的连续性信息得到处理，并且可以进 行必要的单独处理，从而可以提高处理速度，并且所述处理可以对可 靠的区域单独进行，从而防止图像质量由于该处理而恶化。可以这样设置，其中结合图165和图169中的数据连续性信息检 测单元101的结构，选择任意一维空间方向和时间方向，以及选择性 地输出区域信息。根据上述结构，通过每个具有空间-时间积分效应的传感器的多 个检测元件投影现实世界中的光信号，检测由多个像素构成的图像数 据的数据连续性，所述像素具有由检测元件投影的像素值，其中丢失 了现实世界的光信号的部分连续性,在对应于检测的连续性的每个像 素的像素值的条件下模拟对应于现实世界的光信号的函数，并且图像 数据的对应于在空间和时间方向的一个一雄方向中的至少一个位置是 利用至少在该一维方向上的积分效应获取的像素值，因此，检测通过 估计对应于现实世界的光信号的函数、并至少在对应于初始方向上的 每个像素的增量上对所估计的函数而进行积分获得的像素值与每个像 素的像素值的差值，并根据该差值选择性地输出所迷函数，从而，可 以将这样的单独区域认为是处理区域，其中具有通过基于模拟函数的 积分获得的像素值的像素可靠地存在，并且，将除此以外的其它区域 认为是非处理区域，可以基于帧方向中的连续性信息单独地处理可靠 区域，从而可以单独进行必要的处理，从而可以提高处理速度，另夕卜， 由于可以单独地对可靠区域进行处理，防止图像质量由于该处理而恶 化。信号的估计。图173是示出现实世界估计单元102的结构的方框图。 利用具有图173所示结构的现实世界估计单元102，基于输入图 像和从连续性检测单元IOI提供的数据连续性信息，检测作为现实世 界l中的信号的细线的宽度，并估计细线的水平(现实世界l的信号 的光强)。线宽检测单元2101基于从连续性检测单元101提供的、表示用 作由像素构成的细线区域、其上投影有细线图像的连续性区域的数据 连续性信息检测细线的宽度。线宽检测单元2101将表示检测的细线的 宽度的细线宽度信息与数据连续性信息一起提供给信号水平估计单元 2102。信号水平估计单元2102基于输入图像、从线宽检测单元2101提 供的表示细线宽度的细线宽度信息以及数据连续性信息估计细线图像 的水平，所述图像用作现实世界l中的信号，即光强水平，并输出表 示细线宽度和细线图像水平的现实世界估计信息。图174和图175描述了检测现实世界1的信号中的细线的宽度的处理。在图174和图175中，用粗线围绕的区域(由4个方形构成的区 域)表示一个像素，用虚线围绕的区域表示其上投影有细线图像的由 像素构成的细线区域，以及圆形表示细线区域的重心。在图174和图 175中，阴影线表示投影到传感器2上的细线图像。换句话说，可以 认为阴影线表示其中将现实世界1的细线图像投影到传感器2上的区 域。在图174和图175中，S表示将要从细线区域的重心位置计算出 的梯度，D是细线区域的重复。这里，细线区域彼此相邻，从而梯度 S是像素增量中的重心之间的距离。另外，细线区域的重复D表示在 两个细线区域中彼此相邻的像素个数。在图174和图175中，W表示细线的宽度。在图174中，梯度为2，重复D为2。在图175中，梯度为3，重复D为1。细线区域彼此相邻，并在细线区域彼此相邻方向上的其重心之间 的距离为一个像素，从而W:D-1:S成立，可以通过重复D/梯度S获 得细线宽度W。例如，如图174所示，当梯度S为2，重复D为2, 2/2为1，因 此细线宽度W为1。另外，例如，如图175所示，当梯度S为3，重 复D为1,则细线宽度为1/3。线宽检测单元2101从而基于从细线区域的重心位置计算的梯度 和细线区域的重复检测细线的宽度。图176是描述了用于估计现实世界1中的信号的细线信号的水平 的处理的图示。在图176中，用粗线围绕的区域(由4个方形构成的区域)表示 一个像素，用虛线围绕的区域表示由其上投影有细线图像的像素构成 的细线区域。在图176中，E表示在细线区域中的像素增量上的细线 区域的长度，D表示细线区域的重复(相邻于另一个细线区域的像素 个数)。当处理增量(细线区域)内的水平不变时，对细线信号的水平进 行近似，并当水平等于对应于相邻像素的像素值的水平时，对除细线 以外的图像的水平进行近似，其中细线被投影为像素的像素值。将细线信号的水平表示为C，可以认为，对于被投影在细线区域 上的信号(图像)，图中投影细线信号的部分的左侧部分的水平为A, 图中投影细线信号的部分的右侧部分的水平为B。这里，乂>式(93)成立。细线区域的<象素值之和=(E-D ) /2 x A+ ( E-D ) 72 x B+D x C公式(93)细线宽度是不变的，细线区域的宽度为一个像素，从而在细线区 域中的细线的面积(其中投影信号的部分)等于细线区域的重复D。 细线区域的宽度是一个像素，从而在细线区域中的像素增量上的细线 区域面积等于细线区域的长度E。对于细线区域，细线左侧的面积为(E-D)/2。对于细线区域， 细线右侧的面积为(E-D) /2。公式(93)右边的第一项是其中投影这样的信号的像素值的部分， 所述信号具有与在被投影到相邻于左侧的像素上的信号相同的水平， 并可以#皮表示成7>式(94)。A-Zofi xAj -ZV(E-D) x (i+0.5) xAj公式(94)在公式(94)中，Ai表示相邻于左侧的像素的像素值。 在公式(94)中，(Xi表示面积比例，在所述面积中具有与被投影 到相邻于左侧的像素上的信号相同的水平的信号被投影到细线区域的像素上。换句话说，OCi表示与相邻于左侧的像素的像素值相同、被包括在细线区域的像素的像素值中的像素值的比例。i表示相邻于细线区域的左侧的像素的位置。例如，在图176中，与相邻于细线区域左侧的像素的像素值A0 相同、被包括在细线区域的像素的像素值中的像素值的比例为ao。在 图176中，与相邻于细线区域左侧的像素的像素值A^目同、被包括在 细线区域的像素的像素值中的像素值的比例为Od。在图176中，与相 邻于细线区域左侧的像素的像素值A2相同、被包括在细线区域的像素的像素值中的像素值的比例为a2。公式(93 )右边第二项表示其中投影这样的信号的像素值的部分， 所述信号具有与在被投影到相邻于右侧的像素上的信号相同的水平， 并可以#皮表示成 >式(95)。B-Z;8jXBj -ZV(E-D) x (j+0.5) xBj公式(95)在公式(95)中，Bj表示相邻于右侧的像素的像素值。 在公式(95)中，Pj表示面积比例，在所述面积中具有与被投影 到相邻于右侧的像素上的信号相同的水平的信号被投影到细线区域的 像素上。换句话说，Pj表示与相邻于右侧的像素的像素值相同、被包 括在细线区域的像素的像素值中的像素值的比例。 j表示相邻于细线区域的右侧的像素的位置。例如，在图176中，与相邻于细线区域右侧的像素的像素值B0 相同、被包括在细线区域的像素的像素值中的像素值的比例为Po。在 图176中，与相邻于细线区域右侧的像素的像素值Bi相同、被包括在 细线区域的像素的像素值中的像素值的比例为^。在图176中，与相 邻于细线区域右侧的像素的像素值82相同、被包括在细线区域的像素 的像素值中的像素值的比例为p2。从而,信号水平估计单元2102通过基于公式(94)和公式(95) 计算除具有被包括在细线区域中的像素值的细线以外的图像的像素 值、并基于公式(93)从细线区域中的像素值除去除细线以外的图像 的像素值，获得只包括细线的图像的被包括在细线区域中的像素值。 随后，信号水平估计单元2102基于只包括细线的图像的像素值和细线 的面积获得细线信号的水平。更具体的是，信号水平估计单元2102 通过将包括具有被包括在细线区域中的像素值的细线的图像的像素值 除以在细线区域中的细线的面积，即细线区域的重复D，而计算细线 信号的水平。信号水平估计单元2102输出表示现实世界1的信号中的细线宽 度和细线信号水平的现实世界估计信息。利用本发明的技术，在几何形状上描述了细线的波形，而不是像 素，从而可以采用任意分辨率。接着，将参考图177中的流程图描述对应于在步骤S102中的处 理的现实世界估计处理。在步骤S2101,线宽检测单元2101基于数据连续性信息检测细 线的宽度。例如，线宽检测单元2101通过将细线区域的重复除以由细 线区域中的重心位置计算出的梯度而估计现实世界1的信号中的细线 的宽度。在步骤S2102,信号水平估计单元2102基于细线宽度和相邻于 细线区域的像素的像素值估计细线的信号水平，并输出表示估计的细 线的宽度和信号水平的现实世界估计信息，处理结束。例如，信号水 平估计单元2102通过计算其上被投影除被包括在细线区域中的细线以外的图像的像素值、并除去其上被投影除来自细线区域的细线以外 的图像的像素值而获得其上投影只包括细线的图像的像素值，并通过 基于获得的其上只投影包括细线的图像的像素值、和细线的面积计算 细线的信号水平而估计现实世界l的信号中的细线的水平。从而，现实世界估计单元102可以估计现实世界1的信号的细线 的宽度和水平。如上所述，投影现实世界的光信号，检测其中丢失了现实世界的 光信号的部分连续性的关于第一图像数据的数据连续性，基于表示对 应于数据连续性的现实世界中的光信号的波形的模型从第一图像数据 的连续性估计现实世界的光信号的波形，以及在将估计的光信号转换 成第二图像数据的情况下，对于现实世界中的光信号可以获得更精确 的更高精度处理结果。图178是示出现实世界估计单元102的另一结构的方框图。利用具有图178所示的结构的现实世界估计单元102,再次基于 输入图像和从数据连续性检测单元101提供的数据连续性信息检测区 域，同样，基于检测的区域检测用作现实世界1中的信号的图像的细 线的宽度，以及估计现实世界1中的信号的光强(水平)。例如，利 用具有图178所示的结构的现实世界估计单元102，再次检测由其上 投影有细线图像的像素构成的连续性区域，同样，基于检测的区域检 测用作现实世界l中的信号的图像的细线的宽度，以及估计现实世界 l中的信号的光强。从数据连续性检测单元101提供、被输入具有图178所示结构的现实世界估计单元102的数据连续性信息包括非连续性分量信息，其表示用作数据3的输入图像中的除其上投影有细线闺像的连续性分量之外的非连续性分量；单调增/减区域信息，其表示连续性区域的单调增/减区域；表示连续性区域的信息等。例如，在数据连续性信息中 包括的非连续性分量信息由模拟例如输入图像中的背景的非连续性分量的平面梯度和截距构成。将输入现实世界估计单元102的数据连续性信息提供给边界检测单元2121。将输入到现实世界估计单元102的输入图像提供给边界检 测单元2121和信号水平估计单元2102。边界检测单元2121从数据连续性信息中包括的非连续性分量信 息和输入图像产生只由其上投影有细线图像的连续性分量构成的图 像，计算表示其中投影有用作现实世界l的信号的细线图像的比例的 分配比值，以及同样通过从计算的分配比值计算表示细线区域的边界 的回归线而检测用作连续性区域的细线区域。图179是示出边界检测单元2121的结构的方框图。分配比值计算单元2131从数据连续性信息、包括在数据连续性 信息中的非连续性分量信息以及输入图像产生只由连续性分量构成的 图像，在所述连续性分量上投影有细线图像。更具体的是，分配比值 计算单元2131基于包括在数据连续性信息中的单调增/减区域信息从 输入图像检测连续性区域的相邻单调增/减区域，并通过从属于检测的 单调增/减区域的像素的像素值中减去将在由包括在连续性分量信息 中的梯度和截距表示的平面处模拟的模拟值，产生只由连续性分量构 成的图像，在所述连续性分量上投影有细线图像。注意，分配比值计算单元2131通过从输入图像中的像素的像素 值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模 拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上 投影有细线图像。分配比值计算单元2131基于只由连续性分量构成的图像，计算 表示其中将用作现实世界1的信号的细线图像分配到属于连续性区域 中的相邻单调增/减区域的两个像素上的比例的分配比值。分配比值计 算单元2131将计算的分配比值提供给回归线计算单元2132。将参考图180到图182描述在分配比值计算单元2131中的分配 比值计算处理。图180中左边两列的数值表示通过从输入图像中的像素的像素值 中减去将在由包括在连续性分量信息中的梯度和截距表示的平面处模 拟的模拟值而计算出的图像的垂直排列成两列的像素的像素值。图180中用左边方形围绕的两个区域表示单调增/减区域2141 - 1和单调 增/减区域2141-2，其为两个相邻的单调增/减区域。换句话说，在单 调增/减区域2141-1和单调增/减区域2141-2中所示的数值表示属 于由数据连续性检测单元101检测的、用作连续性区域的单调增/减区 域的像素的像素值。图180中右边一列的数值表示通过相加图180中左侧两列的像素 的像素值中的水平排列的像素的像素值而获得的值。换句话说，图180 中右边一列的数值表示通过相加关于由垂直排列的一列像素构成的两 个单调增/减区域的水平相邻的像素的其上投影有细线图像的像素值 而获得的值。例如，当属于单调增/减区域2141 - 1和单调增/减区域2141-2 中的任何一个，其分别由垂直排列的一列像素构成，并且水平相邻的 像素的像素值为2和58时,相加的值是60。当属于单调增/减区域2141 - i和单调增/减区域2141 - 2中的任何一个，其分别由垂直排列的一 列像素构成，并且水平相邻的像素的像素值为1和65时，相加的值是 66。可以理解，图180中右侧列中的数值，即通过相加关于由垂直排 列的一列像素构成的两个单调增/减区域的水平方向上相邻的像素的 其上投影有细线图像的像素值而获得的值通常是常数。类似，通过相加关于由水平排列的一列像素构成的两个单调增/ 减区域的垂直方向上相邻的像素的其上投影有细线图像的像素值而获 得的值通常是常数。分配比值计算单元2131通过利用相加关于两个单调增/减区域的 相邻像素的其上投影有细线图像的像素值而获得的值通常是常数的特 征来计算细线图像如何被分配到一列中的像素的像素值上。分配比值计算单元2131通过将属于由垂直排列的一列像素构成平相邻的、其上^影有细线图像的像素值而获得的值'，而计算关于属 于两个相邻的单调增/减区域的每个像素的分配比值。然而，再计算結果，即计算的分配比值超过100的情况下，将分配比值设为100。例如，如图181所示，当属于由垂直排列的一列像素构成的两个 相邻单调增/减区域的水平相邻的像素的像素值分别为2和58时，相加的值是60，因此，计算出对于对应的像素的分配比值分别是3.5和 96.5。当属于由垂直排列的一列像素构成的两个相邻单调增/减区域的 水平相邻的像素的像素值分别为1和65时，相加的值是66，因此， 计算出对于对应的像素的分配比值分别是1.5和98.5。在该情况中，在三个单调增/减区域相邻的情况下，考虑哪一列 是第一个被计算的，在通过相加水平相邻的每个像素的其上投影有细 线图像的像素值而获得的两个值中，基于更接近峰值P的像素值的值 计算分配比值，如图182所示。例如，当峰值P的像素值为81，而属于单调增/减区域的关注像 素的像素值为79，在相邻于左侧的像素的像素值为3、并且相邻于右 侧的像素的像素值为-1的情况下，通过相加相邻于左侧的像素值获得 的值是82，通过相加相邻于右侧的像素的像素值获得的值是78，因此， 选择更接近峰值P的像素值81的82，从而基于相邻于左侧的像素计 算分配比值。类似，当峰值P的像素值为81，而属于单调增/减区域 的关注像素的像素值为75，在相邻于左侧的像素的像素值为0、并且 相邻于右侧的像素的像素值为3的情况下，通过相加相邻于左侧的像 素值获得的值是75，通过相加相邻于右侧的像素的像素值获得的值是 78，因此，选择更接近峰值P的像素值81的78，从而基于相邻于右 侧的像素计算分配比值。从而，分配比值计算单元2131计算关于由垂直排列的一列像素 构成的单调增/减区域的分配比值。利用相同的处理，分配比值计算单元2131计算关于由水平排列 的一列像素构成的单调增/减区域的分配比值。回归线计算单元2132假设单调增/减区域的边界是直线，并通过 基于由分配比值计算单元2131计算的分配比值计算表示单调增/减区 域的边界的回归线，而再次检测连续性区域内的单调增/减区域。下面将参考图183和图184描述在回归线计算单元2132中计算 表示单调增/减区域的边界的回归线的处理。在图183中，白色圆形表示位于单调增/减区域2141-1到单调 增/减区域2141-5的上部边界的像素。回归线计算单元2132利用回 归处理计算关于单调增/减区域2141-1到单调增/减区域2141-5的 上部边界的回归线。例如，回归线计算单元2132计算出直线A，其中 与位于单调增/减区域2141-1到单调增/减区域2141-5的上部边界 的像素的距离的平方和变为最小值。另外，在图183中，黑色圆形表示位于单调增/减区域2141-1 到单调增/减区域2141-5的下部边界的像素。回归线计算单元2132 利用回归处理计算关于单调增/减区域2141-1到单调增/减区域2141 -5的下部边界的回归线。例如，回归线计算单元2132计算出直线B， 其中与位于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的像素的距离的平方和变为最小值。回归线计算单元2132通过基于计算的回归线确定单调增/减区域 的边界而检测连续性区域内的单调增/减区域。如图184所示，回归线计算单元2132基于计算的直线A确定单 调增/减区域2141-1到单调增/减区域2141-5的上部边界。例如， 回归线计算单元2132从最接近计算出的直线A的像素确定关于每个 单调增/减区域2141 - 1到单调增/减区域2141 — 5的上侧边界。例如， 回归线计算单元2132这样确定上侧边界，使得最接近计算出的回归线 A的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域 2141-5的每个区域中。如图184所示，回归线计算单元2132基于计算出的直线B确定 单调增/减区域2141-1到单调增/减区域2141-5的下部边界。例如， 回归线计算单元2132从最接近计算出的直线B的像素确定关于每个 单调增/减区域2141 - 1到单调增/减区域2141 - 5的下侧边界。例如， 回归线计算单元2132这样确定下侧边界，使得最接近计算出的回归线 B的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域2141-5的每个区域中。从而，回归线计算单元2132同样基于用于再现由数据连续性检 测单元101检测的连续性区域的边界的回归线检测其中像素值从峰值 单调增或减的区域。换句话说，回归线计算单元2132同样通过基于计 算出的回归线确定单调增/减区域的边界检测用作连续性区域内的单 调增/减区域的区域，并将表示检测的区域的区域信息提供给线宽检测 单元2101。如上所述，边界检测单元2121计算表示其中用作现实世界1的 信号的细线图像投影到像素上的比例的分配比值，并同样通过从计算 的分配比值计算表示单调增加区域的边界的回归线而检测连续性区域 内的单调增/减区域。从而可以检测更精确的单调增/减区域。图178中所示的线宽检测单元2101以与图173所示情况相同的 处理，基于从边界检测单元2121提供的表示检测的区域的区域信息而 检测细线的宽度。线宽检测单元2101将表示检测的细线的宽度的细线 宽度信息与数据连续性信息一起提供给信号水平估计单元2102。图178中所示的信号水平估计单元2102的处理与图173所示的 情况的处理相同，从而省略对其的描述。图185是描述利用具有图178所示结构的现实世界估计单元102 的对应于步骤S102中的处理的现实世界估计处理的流程图。在步骤S2121，边界检测单元2121执行边界检测处理，用于同 样基于属于由数据连续性检测单元101检测的连续性区域的像素的像 素值来检测区域。下面将描述边界检测处理的细节。在步骤S2122和步骤S2123中的处理与在步骤S2101和步骤 S2102中的处理相同，因此省略对其的描述。图186是用于描述对应于步骤S2121中的处理的边界检测处理的 流程图。在步骤S2131中，分配比值计算单元基于表示单调增/减区域的 数据连续性信息和输入图像计算表示其中投影了细线图像的比例的分 配比值。例如，分配比值计算单元2131基于包括在数据连续性信息冲的单调增/减区域信息从输入图像检测连续性区域中的相邻单调增/减 区域，并通过从属于检测的单调增/减区域的像素的像素值中减去将在 由包括在连续性分量信息中的梯度和截距表示的平面处模拟的模拟 值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。随后，分配比值计算单元2131通过关于属于两个相邻单调增 /减区域的每个像素将属于由一列像素构成的两个单调增/减区域的像 素的像素值除以相邻像素的像素值的和，而计算分配比值。分配比值计算单元2131将计算的分配比值提供给回归线计算单 元2132。在步骤S2132，回归线计算单元2132同样通过基于表示其中投 影了信息图像的比例的分配比值计算表示单调增/减区域的边界的回 归线，而检测连续性区域内的区域。例如，回归线计算单元2132假设 单调增/减区域的边界是直线，并通过计算表示单调增/减区域的一端 边界的回归线，并计算表示单调增/减区域的另一端边界的回归线，而 再次检测连续性区域内的单调增/减区域。回归线计算单元2132将表示在连续性区域中再次检测的区域的 区域信息提供给线宽检测单元2101，该处理结束。从而，具有图178所示结构的现实世界估计单元102再次检测由 其上投影了细线图像的像素构成的区域，基于再次检测的区域检测用 作现实世界l的信号的图像中的细线的宽度，以及估计现实世界l中 的信号的光强(水平)分布。从而，可以更精确地检测细线的宽度， 并关于现实世界1的信号更精确地估计光强。如上所述，在投影了现实世界的光信号的情况下，检测第一图像 数据中多个像素的像素值的非连续性部分，在所述第一图像数据中丢 失现实世界的光信号的部分连续性，从检测的非连续性部分检测具有 数据连续性的连续性区域，从检测的连续性部分检测具有数据连续性 的连续性区域，基于属于检测的连续性区域的像素的像素值再次检测 区域，以及基于检测的区域估计现实世界，对于现实世界中的事件可 以获得更精确和更高精度的处理结果。接着，将参考图187描述关于现实世界估计单元102，其输出具 有连续性的区域中的每个像素在空间方向上的模拟函数的导数值作为 现实世界估计信息。参考像素选取单元2201基于从数据连续性检测单元101输入的 数据连续性信息(作为连续性的角度或区域信息)确定输入图像中的 每个像素是否是处理区域，在是处理区域的情况下，选取用于获得模 拟函数所需的参考像素信息，所述模拟函数用于模拟输入图像的像素 的像素值(计算所需的关注像素周围多个像素的像素值和位置)，并 将其输出给模拟函数估计单元2202。模拟函数估计单元2202利用最小二乘法，基于从参考像素选取 单元2201输入的参考像素信息估计用于近似描述关注像素周围的像 素的像素值的模拟函数，并将估计的模拟函数输出给微分处理单元 2203。微分处理单元2203基于从模拟函数估计单元2202输入的模拟函 数，从根据数据连续性信息(例如细线或二值边缘的相对于预定轴的 角度梯度)的角度获得将要从关注像素产生的像素位置的平移量， 计算在该位置上的所述模拟函数根据平移量的微分(用于对应于沿一维方向的连续性的直线的距离模拟每个像素的像素值的函数的导数 值)，另外，相加关于关注像素的像素值和位置的信息和梯度作为其 连续性，以及将其输出给图像产生单元103作为现实世界估计信息。接着，将参考图188中的流程图描述利用图187中的现实世界估 计单元102的现实世界估计处理。在步骤S2201中，参考像素选取单元2201从数据连续性检测单 元101以及输入图像获取角度和区域信息作为数据连续性信息。在步骤S2202，参考像素选取单元2201从输入图像的未处理的 像素中设置关注像素。在步骤S2203中，参考像素选取单元2201基于数据连续性信息 的区域信息，确定关注像素是否被包括在处理区域中，在关注像素不 是处理区域中的一个像素的情况下，处理进到步骤S2210，通过模拟函数估计单元2202通知微分处理单元2203关注像素是非处理区域， 微分处理单元2203响应其将相应关注像素的导数值设为0，另外对其 相加关注像素的像素值，并将其输出给图像产生单元103作为现实世 界估计信息，并且处理进到步骤S2211。另外，在确定关注像素位于 处理区域的情况下，则处理进到步骤S2204。在步骤S2204，参考像素选取单元2201基于包括在数据连续性 信息中的角度信息确定具有数据连续性的方向的角度更接近水平方向还是更接近垂直方向。也就是说，在具有数据连续性的角度e为45°>&0°，或180°>&135°的情况下，参考像素选取单元2201确定关注像素的连续性方向接近水平方向，在具有数据连续性的角度e为135°>0^45°的情况下，确定关注像素的连续性方向接近垂直方向。在步骤S2205,参考像素选取单元2201选取分别对应于从输入 图像确定的方向的参考像素的位置信息和像素值，并将其输出给模拟 函数估计单元2202。也就是说，参考像素变成将用于计算后面描述的 模拟函数的数据，因此优选根据其梯度选取。因此，对应于水平方向 和垂直方向的任何确定方向，选取在长范围上在其方向上的参考像素。 更具体的是，例如，如图189所示，在梯度Gf接近垂直方向的情况下， 确定方向为垂直方向。在该情况中，例如如图189所示，当取中心的 像素(0， 0)为关注像素时，参考像素选取单元2101选取(-1， 2)、 (-l， 1) 、 ( -l， 0) 、 ( -1， -l) 、 ( - l， -2) 、 (0， 2)、 (0， 1) 、 (0， 0) 、 (0， -1) 、 (0， -2)、 (1， 2) 、 (1, 1)、 (1， 0) 、 (1， - 1)、以及(1， -2)像素的每个像素值。注意在 图189中，可以说每个像素在水平方向和垂直方向上的长度为1。换句话说，参考像素选取单元2201选取垂直方向上长范围中的 像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为 中心的分别在垂直方向(上/下)的两个像素和分别在水平方向(左/ 右)的l个像素。相反，在确定方向为水平方向的情况下，参考像素选取单元2201 选取水平方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在垂直方向(上/下)的l个像素和分别在水平方向(左/右)的2个像素，并将其输出给模拟函数估 计单元2202。显然，参考像素的个数并不限于上述的15个像素，而 是可以采用任何像素个数。在步骤S2206中，模拟函数估计单元2202利用最小二乘法基于 从参考像素选取单元2201输入的参考像素的信息估计模拟函数f( x )， 并将其输出给微分处理单元2203。也就是说，模拟函数f (x)是如下述公式(96)所示的多项式。f(X) -W^n + W^n^ + '.'+WnW公式(96)从而，如果获得公式(96)中的多项式的每个系数Wi到Wn+1， 则可以获得用于模拟每个参考像素的像素值(参考像素值)的模拟函 数f (x)。然而，需要超过系数个数的像素值，因此，例如，在如图 189所示的情况下，参考像素的个数为共15个，因此在多项式中可以 获得的系数的个数限于15。在该情况下，可以说多项式达到14维， 并通过获得系数Wi到\￥15而估计模拟函数。注意，在该情况下，通 过建立由15维多项式构成的模拟函数f (x)可以采用联立方程。因此，当釆用如图189所示的15个参考像素值时，模拟函数估 计单元2202通过利用最小二乘法求解下面的公式(97 )而估计模拟函 数f (x)。p-2) = f (-1 - Cx (-2))p(-1,-1) = f (-1 - Cx (-l))p(-10) = f (-1) (-f (-1 -Cx (O)))p(-1,1) = f (-1 - Cx (l))p(-12) = f (-1 - Cx (2))p(o,-2) = f (0 - Cx (-2))p(o,-1) = f (0 - Cx (-l))p(o,0) = f (0) (=f (0 - Cx(0)))p(o,1》=f (0 - Cx (l))p(o,2) - f (0 - Cx (2))p(1,-2) = f (1 - Cx (-2))p(1,-1) = f (1 - Cx (-1))p(1,0) = f (1) (=f (1 _ Cx(o)))pu,1》=f (1 - Cx (1))p",2) = f (1 - Cx (2))公式(97 )注意，参考像素的个数可以根据多项式的阶数而改变。这里，Cx (ty)表示平移量，当用Gf表示作为连续性的梯度时， 则定义Cx (ty) =ty/Gf。该平移量Cx (ty)表示在空间方向Y=0的 位置上的模拟函数f (x)沿梯度Gf连续(具有连续性)的条件下，在 空间方向Y = ty的位置上平移相对于空间方向X的宽度。因此，例如， 在将模拟函数限定为在空间方向Y = 0的位置上的f (x)时，该模拟 函数f (x)必须相对于空间方向X沿梯度Gf在空间方向Y-ty上平移 Cx (ty )，从而将函数定义为f ( x - Cx (ty) ) <=f ( x - ty/Gf)。在步骤S2207中，微分处理单元2203基于从模拟函数估计单元 2202输入的模拟函数f (x)获得在将要产生的像素位置上的平移量。也就是说，在产生像素为分别在水平方向和垂直方向上有两倍的 密度(共四倍密度)的情况下，微分处理单元2203首先获得在中心位 置的平移量Pin (Xin， Yin)以将关注4象素分成两个1象素Pa和Pb， 其变成如图190所示的在垂直方向上的二倍密度，从而获得关注像素在中心位置Pin (Xin, Yin)的导数值。该平移量变成Cx ( 0 )，因 此实际变为0。注意，在图190中，其整体重心位置为(Xin， Yin) 的像素Pin为方形，整体重心位置分别为(Xin， Yin + 0.25 )和(Xin， Yin-0.25)的像素Pa和Pb在图中水平方向上为矩形。在步骤S2208中微分处理单元2203微分模拟函数f (x)以获得 模拟函数的初始微分函数f (x)，，获得对应于获得的平移量的位置上 的导数值,并将其输出给图像产生单元103作为现实世界估计信息。 也就是说，在该情况下，微分处理单元2203获得导数值f (Xin)，， 并将其位置(在该情况下为关注像素(Xin，Yin))、其像素值以及在 连续性方向上的梯度信息加到其上，并将其输出。在步骤S2209中，微分处理单元2203确定是否已经获得用于产 生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值 只是用于二倍密度所需的导数值(只获得在空间方向Y上变成二倍密 度的导数值)，从而确定没有获得用于产生希望密度的像素所需的导 数值，并且处理返回步骤S2207。在步骤S2207中，微分处理单元2203再次基于从模拟函数估计 单元2202输入的模拟函数f (x)获得在将要产生的像素的位置上的 平移量。也就是说，在该情况下，微分处理单元2203获得用于进一步 将分开的像素Pa和Pb分别分成两个像素所需的导数值。在图l卯中 分别以黑色圆形表示Pa和Pb的位置，从而微分处理单元2203获得 对应于每个位置的平移量。像素Pa和Pb的平移量分别是Cx (0.25) 和Cx (-0.25)。在步骤S2208中，微分处理单元2203对模拟函数f ( x )进行初 始微分，获得在对应于平移量的位置上的导数值。所述平移量对应于 每个像素Pa和Pb，并将其输出给图像产生单元103，作为现实世界 估计信息。也就是说，在釆用如图189所示的参考像素的情况下，如图191 所示，微分处理单元2203获得关于获得的模拟函数f (x)的微分函 数f ( x)，，获得在位置(Xin國Cx ( 0.25 ))和(Xin画Cx ( -0.25 ))上的导数值，其分别是对空间方向X平移平移量Cx( 0.25 )和Cx( -0.25 ) 的f (Xin-Cx (0.25))，和f ( Xin-Cx (-0.25))，的位置，将对应于 其导数值的位置信息与其相加，并将其输出作为现实世界估计信息。 注意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。在步骤S2209中，微分处理单元2203再次确定是否获得用于产 生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变 成四倍密度的导数值，从而确定已经获得用于产生希望密度的像素所 需的导数值，并且处理进到步骤S2211。在步骤S2211中，参考像素选取单元2201确定是否已经处理所 有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2202。 另外，在步骤S2211中，在确定已经处理所有的像素的情况下，该处 理结束。如上所述，在产生像素以在关于输入图像的水平方向和垂直方向 上变成四倍密度的情况下，通过利用在将要分开的像素的中心位置的 模拟函数的导数值的外推/内插来分割像素，从而为了产生四倍密度像 素，需要共3个导数值的信息。也就是说，如图190所示，用于产生四个像素POl、 P02、 P03 和P04所需的导数值在最后被一个像素所需(在图190中，像素POl、 P02、 P03和P04为方形，其重心位置为图中四个交叉符号的位置， 并且像素Pin的每边的长度为1，因此像素POl、 P02、 P03和P04的 每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在水平 方向或在垂直方向上的二倍密度像素(在该情况下，为垂直方向)(在 步骤S2207和S2208中的上述第一处理)，并且，另外将分割的两个 像素在垂直于初始分割方向的方向上分割(在该情况下为水平方向) (在步骤S2207和S2208中的上述第二处理)。注意，在上述实例中，已经描述了在计算四倍密度像素的时间上 的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下， 可以通过重复进行步骤S2207到S2209中的处理获得用于计算像素值 所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f (X)是连续函数，从而即使 对于密度不是复数密度的像素值，仍可以获得需要的导数值。根据上述设置，可以获得用于模拟关注像素附近的像素的像素值 的模拟函数，并且可以将在对应于空间方向中的像素位置的位置上的 导数值输出作为现实世界估计信息。利用如图187所述的现实世界估计单元102，已经将用于产生图 像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位 置上的模拟函数f (x)的梯度相同的值。现在，将参考图192描述现实世界估计单元102，其中只直接获 得用于产生像素所需的模拟函数f (x)的梯度，而不获得模拟函数f (x),并将其输出作为现实世界估计信息。参考像素选取单元2211基于从数据连续性检测单元101输入的 数据连续性信息(作为连续性的角度，或区域信息)，确定输入图像 的每个像素的是否是处理区域，在确定为是处理区域的情况下，选取 用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括 关注像素的在垂直方向上排列的周边多个像素，或包括关注像素的在 水平方向上排列的周边多个像素、以及每个像素值的信息)，并将其 输出给梯度估计单元2212。梯度估计单元2212基于从参考像素选取单元2211输入的参考像 素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给 图像产生单元103作为现实世界估计信息。具体是，梯度估计单元2212 获得模拟函数f (x)在关注像素的位置上的梯度,所述函数利用像素 之间的像素值的差值信息近似表达现实世界，并将其与关注像素的位 置信息和像素值、以及连续性方向上的梯度信息一起输出作为现实世 界估计信息。下面，将参考图193中的流程图描述利用图192中的现实世界估 计单元102的现实世界估计处理。在步骤S2221中，参考像素选取单元2211从数据连续性检测单 元101与输入图像一起获取角度和区域信息作为数据连续性信息。在步骤S2222中，参考像素选取单元2211从输入图像的未处理 的像素中设置关注像素。在步骤S2223中，参考像素选取单元2211基于数据连续性信息 中的区域信息确定关注像素是否在处理区域中，在确定关注像素不在 处理区域中的情况下，该处理进到步骤S2228中，其中，通知梯度估 计单元2212关注像素位于非处理区域中，梯度估计单元2212响应其 将对应于关注像素的梯度设为0，并将关注像素的像素值加到其中， 并将其作为现实世界估计信息输出给图像产生单元103，并且，该处 理进到步骤S2229。另外，在确定关注像素位于处理区域中的情况下， 该处理进到步骤S2224。在步骤S2224中，参考像素选取单元2211基于包括在数据连续 性信息中的角度信息确定具有数据连续性的方向的角度是接近水平方 向还是接近垂直方向。也就是说，在具有数据连续性的角度0为 45。>e^0°，或180°>0^135°的情况下，参考像素选取单元2211确定关 注像素的连续性方向接近水平方向，在具有数据连续性的角度e为 135°>&45°的情况下，确定关注像素的连续性方向接近垂直方向。在步骤S2225，参考像素选取单元2211选取分别对应于从输入 图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度 估计单元2212。也就是说，参考像素变成将用于计算后面描述的梯度 的数据，因此优选根据表示连续性方向的梯度选取。因此，对应于水 平方向和垂直方向的任何确定方向，选取在长范围上在其方向上的参 考像素。更具体的是，例如，如图194所示，在确定了梯度接近垂直 方向的情况下，当取图194的中心的像素(0， 0)为关注像素，参考 像素选取单元2111选取(0， 2) 、 (0， 1) 、 (0， 0) 、 (0， - 1)、 (0， -2)中的每个像素值。注意在图194中，可以说每个像素在水 平方向和垂直方向上的长度为1。换句话说，参考像素选取单元2211选取垂直方向上长范围中的 像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为 中心的在垂直方向(上/下)的两个像素。相反，在确定方向为水平方向的情况下，参考像素选取单元2211 选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5 个像素，其为以关注像素为中心的在水平方向(左/右)的2个像素， 并将其输出给模拟函数估计单元2202。显然，参考像素的个数并不限 于上迷的5个像素，而是可以采用任何像素个数。在步骤S2226中，梯度估计单元2212基于从参考像素选取单元 2211输入的参考像素的信息、和在连续性方向中的梯度Gf，计算每个 像素值的平移量。也就是说，在取对应于空间方向Y-O的模拟函数f (x)为基准的情况下，对应于空间方向Y--2、 -1、 l和2的模拟 函数沿作为连续性的梯度Gf连续，如图194所示，从而将每个模拟函 数描述为f (x-Cx (2) ) 、 f (x-Cx (1) ) 、 f (x-Cx ( -l)) 以及f (X-Cx ( -2))，并且，将其表示为对于每个空间方向Y = -2、 -1， 1, 2在空间方向X上平移每个平移量的函数。因此，梯度估计单元2212获得其平移量Cx ( - 2 )到Cx ( 2 )。 例如，在如图194所示选取参考像素的情况下，关于其平移量，图中 的参考像素(0，2 )变成Cx ( 2 ) = 2/Gf，参考像素(O，l)变成Cx (1) =1/Gf,参考像素(O，O)变成Cx (0) =0，参考像素(O，-l)变成 Cx ( - 1) - - 1/Gf，以及参考像素(0， - 2 )变成Cx ( - 2 ) = - 2/Gf。在步骤S2227中，梯度估计单元2212计算(估计)在关注像素 的位置上的模拟函数f (x)的梯度。例如，如图194所示，在关于关 注像素的连续性方向为接近垂直方向的角度的情况下，在水平方向上 相邻的像素之间的像素值表现出更大的差，但是，在垂直方向的像素 之间的变化较小并相似，因此，梯度估计单元2212通过获取在垂直方 向上的像素之间的变化，用垂直方向上的像素之间的差代替在水平方 向上的差，并获得在关注像素的位置上的模拟函数f ( x )的梯度作为 根据平移量在空间方向X上的变化。也就是说，如果假设存在近似描述现实世界的模拟函数f (x), 则上述平移量和各个参考像素的像素值之间的关系如图195所示。这 里图194中各个像素的像素值被从上部开始表示为P (0， 2) 、 P (0，1) 、 P (0， 0) 、 P (0， -1)以及P (0, - 2)。从而，关于像素值 P和关注像素(O， O)附近的平移量Cx，获得5对关系(P，Cx) = ( (P(0, 2) , -Cx (2) 、 (P (0， 1) ， -Cx (1) ) 、 (P (0， -l), -Cx(-l)、 (P(O， -2)， -Cx ( -2))以及(P (0， 0) ， 0)。 这里，对于像素值P,平移量Cx,以及梯度Kx (在模拟函数f(x)上的梯度)，如下述公式(98)关系成立。P = Kx x Cx公式(98 )上述公式(98)是关于变量Kx的单变量函数，从而梯度估计单 元2212利用一个变量的最小二乘法获得梯度Kx (梯度)。也就是说，梯度估计单元2212通过求解如下述公式(99)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。<formula>formula see original document page 193</formula>公式(99)这里，i表示用于识别上述参考像素的每对像素值p和平移量C 的数l到m。另外，m表示包括关注像素的参考像素个数。在步骤S2229中，参考像素选取单元2211确定是否已经处理所 有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2222。 另外，在确定已经在步骤S2229中处理所有像素的精况下，该处理结 束。注意，通过上述处理将要输出作为现实世界估计信息的梯度在计 算将要通过外推/内插最后获得的希望像素值时釆用。另外，对于上述 实例，已经描述了在计算二倍密度像素时的梯度作为实例，但是，在 计算密度大于二倍密度的情况下，可以获得用于计算像素值所需的更 多位置的梯度。例如，如图190所示，当产生在空间方向上共具有四倍密度的像素的情况下，其中在水平方向为二倍密度，在垂直方向上也为二倍密度，可以如上所述获得对应于图190中各个位置Pin、 Pa和Pb的模 拟函数f (x)的梯度Kx。另外，在上述实例中，已经描述了用于获得二倍密度的实例，但 是，模拟函数f (x)是连续函数，从而，即使像素的像素值位于不是 复数密度的位置上，仍可以获得需要的梯度。根据上述设置，可以通过利用关注像素附近的像素值，产生和输 出模拟函数上的梯度，用于产生空间方向上的像素作为现实世界估计 信息，而不获得近似表示现实世界的模拟函数。接着，将'参考图196描述现实世界估计单元102，其对于具有连 续性的区域中的每个像素，输出在一个帧方向(时间方向)的模拟函 数上的导数值作为现实世界估计信息。参考像素选取单元2231基于从数据连续性检测单元101输入的 数据连续性信息(作为连续性的移动(移动矢量)，以及区域信息) 确定输入图像中的每个像素是否在处理区域中，并且在每个像素位于 处理区域的情况下，选取用于获得模拟输入图像中的像素的像素值的 模拟函数所需的参考像素信息(用于计算所需的关注像素周围的多个 像素位置及其像素值)，并将其输出给模拟函数估计单元2202。模拟函数估计单元2232利用最小二乘法，基于从参考像素选取 单元2231输入的在帧方向中的参考像素信息估计模拟函数，其近似描 述了关注像素周围每个像素的像素值，并将估计的函数输出给微分处 理单元2233。微分处理单元2233基于从模拟函数估计单元2232输入的帧方向 中的模拟函数，获得根据数据连续性信息的移动将要从关注像素产生 的像素位置在帧方向上的平移量，根据其平移量计算在帧方向上的模 拟函数上的位置的导数值(对应于沿初始方向距离对应于连续性的直 线的距离模拟每个像素的像素值的模拟函数的导数值)，还将关注像 素的位置和像素值以及关于作为连续性的移动的信息加到其上，并将 其输出给图像产生单元103作为现实世界估计信息。接着，将参考图197中的流程图，描述利用图196中的现实世界 估计单元102的现实世界估计处理。在步骤S2241中，参考像素选取单元2231从数据连续性检测单 元101和输入图像一起获取作为数据连续性信息的移动和区域信息。在步骤S2242中，参考像素选取单元2231从输入图像中的未处 理像素中设置关注像素。在步骤S2243中，参考像素选取单元2231基于数据连续性信息 中的区域信息确定关注像素是否在处理区域中，在确定关注像素不在 处理区域中的情况下，该处理进到步骤S2250中，通过模拟函数估计 单元2232通知差值处理单元2233关注像素位于非处理区域中，差值 处理单元2233响应其将对应于关注像素的导数值设为0,并将关注像 素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生 单元103，并且，该处理进到步骤S2251.另外，在确定关注像素位于 处理区域中的情况下，该处理进到步骤S2244。在步骤S2244中，参考像素选取单元2231基于包括在数据连续 信息中的移动信息，确定具有数据连续性的方向的移动是接近空间方 向还是接近帧方向。也就是说，如图198所示，如果取表示空间和时 间方向在由作为参考轴的帧方向T和空间方向Y构成的表面内的角度为ev，在具有数据连续性的角度ev为45°>ev^o°,或i8o°>ev^i35°的情况下，参考像素选取单元2201确定关注像素的连续性移动接近帧 方向(时间方向)，在具有数据连续性的角度ev为135、ev^45。的情 况下，确定关注像素的连续性方向接近空间方向。在步骤S2245中，参考^^素选取单元2201对应于从输入图像分 别确定的方向选取参考像素的像素值和位置信息，并将其输出给模拟 函数估计单元2232。也就是说，参考像素变成将要用于计算下面描述 的模拟函数的数据，因此优选根据其角度选取。从而对应于帧方向和 空间方向的任意确定方向，选取在其方向上较长范围中的参考像素。 具体是，例如如图198所示，在移动方向Vf接近空间方向的情况下确 定方向为空间方向。在该情况下，如图198所示，当取图198的中心的像素(t, y) = (0， 0)为关注像素时，参考像素选取单元2131选 取选取(t， y) = ( - l， 2) 、 ( -l， 1) 、 ( -l, 0) 、 ( -l, -1) 、 ( -1， - 2) 、 (0， 2) 、 (0， 1) 、 (0， 0) 、 (0, -1)、 (0， - 2) 、 (1， 2) 、 (1， 1) 、 (1， 0) 、 (1， -1)、以及(1， -2)像素的每个像素值。注意在图198中，可以说每个像素在帧方向 和空间方向上的长度为1。换句话说，参考像素选取单元2231选取相对于帧方向在空间方 向上较长范围中的像素作为参考像素，使得参考像素共为15个像素， 其为以关注像素为中心的分别在空间方向(图中上/下)的两个像素x 分别在帧方向(图冲左/右)的1个帧。相反，在确定方向为帧方向的情况下，参考像素选取单元2231 选取帧方向上长范围中的像素作为参考像素，使得参考像素共为15 个像素，其为以关注像素为中心的分别在空间方向(图中上/下)的l 个像素和分别在帧方向(图中左/右)的2个帧，并将其输出给模拟函 数估计单元2232。显然，参考像素的个数并不限于上述的15个像素，而是可以采用任何像素个数。在步骤S2246中，模拟函数估计单元2232利用最小二乘法基于 从参考像素选取单元2231输入的参考俸素的信息估计模拟函数f(t), 并将其输出给微分处理单元2233。也就是说，模拟函数f (t)是如下述^^式(100)所示的多项式。公式(100 )从而，如果获得公式(100)中的多项式的每个系数Wi到wn+1，则可以获得用于模拟每个参考像素的像素值的在帧方向中的模拟函数 f (t)。然而，需要超过系数个数的参考像素值，因此，例如，在如图198所示的情况下，参考像素的个数为共15个，因此在多项式中可 以获得的系数的个数限于15。在该情况下，可以说多项式达到14维， 并通过获得系数Wi到\￥15而估计模拟函数。注意，在该情况下，通 过建立由15维多项式构成的模拟函数f (x)可以采用联立方程。因此，当采用如图198所示的15个参考像素值时，模拟函数估计单元2232通过利用最小二乘法求解下面的公式(101)而估计模拟 函数f (t)。p(-1-2)- f (-1 - Ct (-2))p(-1-1)=f (-1 - Ct (-l))p(-1,0)- f (-1) (-f (-1 -Ct (O)))p(-1,1)- f (-1 - Ct (l))p(-1,2)=f (-1 - Ct (2))p(o,-2)=f (0 - Ct (-2))p(o,-1)- f (0 - Ct (-l))p(o,0)=f (0) (=f (0 - Ct(o)))p(o,1)=f (0 - Ct (l))p(o,2)=f (0 - Ct (2))p(1,-2)=f (1 - Ct (-2))p(1,-1)=f (1 - Ct (-l))p(1,0)=f (1) (-f (1 - Ct(o)))p(1,1)=f (1 - Ct (l))p(1,2)=f (1 - Ct (2))公式(101)注意，参考像素的个数可以根据多项式的阶数而改变。这里，Ct(ty)表示平移量，其与上述Cx (ty)相同，当用Vf 表示作为连续性的梯度时，则定义Ct(ty) -ty/Vf。该平移量Ct(ty) 表示，在限定在空间方向Y=0的位置上的模拟函数f (t)沿梯度Vf 连续(具有连续性)的条件下，在空间方向Y-ty的位置上平移相对 于帧方向T的宽度。因此，例如，在将模拟函数限定为在空间方向Y -O的位置上的f (t)时，该模拟函数f (t)必须相对于帧方向T在 空间方向Y—y上平移Ct (ty),从而将函数定义为f (t-Ct (ty)) <=f (t-ty/Vf)。在步骤S2247中，微分处理单元2233基于从模拟函数估计单元 2232输入的模拟函数f (t)获得在将要产生的像素位置上的平移量。也就是说，在产生像素为分别在帧方向和空间方向上有两倍的密度(共四倍密度)的情况下，微分处理单元2233首先获得例如在中心 位置的下述平移量Pin (Tin, Yin)，其被分成两个下述像素Pat和 PM，变成如图199所示的在空间方向上的二倍密度，从而获得关注像 素在中心位置Pin (Tin, Tin)的导数值。该平移量变成Ct(O)，因 此实际变为0。注意，在图199中，其整体重心位置为(Tin, Yin) 的^f象素Pin为方形，整体重心位置分别为(Tin, Yin + 0.25 )和(Tin, Yin-0.25 )的像素Pat和Pbt在图中水平方向上分别为矩形。在步骤S2248中，微分处理单元2233微分模拟函数f (t)，以 获得模拟函数的初始微分函数f (t)，，获得对应于获得的平移量的位 置上的导数值，并将其输出给图像产生单元103作为现实世界估计信 息。也就是说，在该情况下，微分处理单元2233获得导数值f ( Tin )，， 并将其位置(在该情况下为关注像素(Tin，Yin))、其像素值以及在 连续性方向上的移动信息加到其上，并将其输出。在步骤S2249中，微分处理单元2233确定是否已经获得用于产 生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值 只是用于空间方向中的二倍密度所需的导数值(未获得在帧方向上变 成二倍密度的导数值)，从而确定没有获得用于产生希望密度的像素 所需的导数值，并且处理返回步骤S2247。在步骤S2247中，微分处理单元2203再次基于从模拟函数估计 单元2202输入的模拟函数f (t)获得在将要产生的像素的位置上的平 移量。也就是说，在该情况下，微分处理单元2203获得用于进一步将 分开的像素Pat和Pbt分别分成两个像素所需的导数值。在图199中 分别以黑色圆形表示Pat和Pbt的位置，从而微分处理单元2233获得 对应于每个位置的平移量。像素Pat和Pbt的平移量分别是Ct ( 0.25 ) 和Ct (-0.25 )。在步骤S2248中，微分处理单元2233对模拟函数f (t)进行微 分，获得在对应于平移量的位置上的导数值。所述平移量对应于每个 像素Pat和Pbt，并将其输出给图像产生单元103,作为现实世界估计 信息。也就是说，在采用如图198所示的参考像素的情况下，如图200 所示，微分处理单元2233获得关于获得的模拟函数f (t)的微分函数 f ")，，获得在位置(Tin誦Ct (0.25))和(Tin-Ct (-0.25))上的 导数值，其分别是对时间方向T平移平移量Ct (0.25)和Ct (-0.25) 的f (Tin-Ct ( 0.25 ))，和f ( Tin画C"-0.25 ))，的位置，将对应于其 导数值的位置信息与其相加，并将其输出作为现实世界估计信息。注 意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。在步骤S2249中，微分处理单元2233再次确定是否获得用于产 生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变 成在空间方向Y上和在帧方向T上的二倍密度(共四倍密度)的导数 值，从而确定已经获得用于产生希望密度的像素所需的导数值，并且 处理进到步骤S2251。在步骤S2251中，参考像素选取单元2231确定是否已经处理所 有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2242。 另外，在步骤S2251中，在确定已经处理所有的像素的情况下，该处 理结束。如上所述，在产生像素以在关于输入图像的帧方向(时间方向) 和空间方向上变成四倍密度的情况下，通过利用在将要分开的像素的 中心位置的模拟函数的导数值的外推/内插来分割像素，从而为了产生 四倍密度像素，需要共3个导数值的信息。也就是说，如图199所示，用于产生四个像素P01t、 P02t、 P03t 和P04t所需的导数值在最后被一个像素所需(在图199中，像素P01t、 P02t、 P03t和P04t为方形，其重心位置为图中四个交叉符号的位置， 并且像素Pin的每边的长度为1，因此像素P01t、 P02t、 P03t和P04t 的每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在帧 方向或在空间方向上的二倍密度像素(在步骤S2247和S2248中的上 述第一处理)，并且，另外将分割的两个像素在垂直于初始分割方向 的方向上分割(在该情况下为帧方向)(在步骤S2247和S2248中的 上述第二处理)。注意，在上述实例中，已经描述了在计算四倍密度像素的时间上 的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下，可以通过重复进行步骤S2247到S2249中的处理获得用于计算像素值 所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二 倍密度像素值的实例，但是，模拟函数f (t)是连续函数，从而即使 对于密度不是复数密度的像素值，仍可以获得需要的导数值。根据上述设置，利用关注像素附近的像素的像素值可以获得用于 近似表达每个像素的像素值的模拟函数，并且可以将用于产生像素所 需的位置上的导数值输出作为现实世界估计信息。利用如图196所述的现实世界估计单元102，已经将用于产生图 像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位 置上的模拟函数f (t)的梯度相同的值。现在，将参考图201描述现实世界估计单元102,其中只直接获 得用于产生像素所需的模拟函数在帧方向上的梯度，而不获得模拟函 数，并将其输出作为现实世界估计信息。参考像素选取单元2251基于从数据连续性检测单元101输入的 数据连续性信息(作为连续性的移动，或区域信息)，确定输入图像 的每个像素的是否是处理区域，在为处理区域的情况下，选取用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括关注像 素的在空间方向上排列的周边多个像素，或包括关注像素的在帧方向 上排列的周边多个像素、以及每个像素值的信息)，并将其输出给梯 度估计单元2252。梯度估计单元2252基于从参考像素选取单元2251输入的参考像 素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给 图像产生单元103作为现实世界估计信息。具体是,梯度估计单元2252 获得模拟函数在关注像素的位置上在帧方向上的梯度，所述函数利用 像素之间的像素值的差值信息近似表达每个参考像素的像素值，并将 其与关注像素的位置信息和像素值、以及连续性方向上的移动信息一 起输出作为现实世界估计信息。下面，将参考图202中的流程图描述利用图201中的现实世界估 计单元102的现实世界估计处理。在步骤S2261中，参考像素选取单元2251从数据连续性检测单 元101与输入图像一起获取移动和区域信息作为数据连续性信息。在步骤S2262中，参考像素选取单元2251从输入图像的未处理 的像素中设置关注像素。在步骤S2263中，参考像素选取单元2251基于数据连续性信息 中的区域信息确定关注像素是否在处理区域中，在确定关注像素不在 处理区域中的情况下，该处理进到步骤S2268中，其中，通知梯度估 计单元2252关注像素位于非处理区域中，梯度估计单元2252响应其 将对应于关注像素的梯度设为0,并将关注像素的像素值加到其中， 并将其作为现实世界估计信息输出给图像产生单元103，并且，该处 理进到步骤S2269。另夕卜，在确定关注像素位于处理区域中的情况下， 该处理进到步骤S2264。在步骤S2264中，参考像素选取单元2211基于包括在数据连续 信息中的移动信息确定作为数据连续性的移动是接近帧方向还是接近 空间方向的移动。也就是说，如果取表示空间和时间方向在由作为参 考轴的帧方向T和空间方向Y构成的表面内的角度为ev,在具有数 据连续性的移动9v为45°>ev^0°,或180、ev^l35。的情况下，参考像 素选取单元2251确定关注像素的作为连续性的移动接近帧方向，在具 有数据连续性的角度ev为135、6v^45。的情况下，确定关注像素的连 续性移动接近空间方向。在步骤S2265，参考像素选取单元2251选取分别对应于从输入 图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度 估计单元2252。也就是说，参考像素变成将用于计算后面描述的梯度 的数据，因此优选根据作为连续性的移动选取。因此，对应于帧方向 和空间方向的任何确定方向，选取在长范围上在其方向上的参考像素。 更具体的是，例如，如图203所示，在确定移动接近空间方向的情况 下，当取图203的中心的像素(t，y) = (0， 0)为关注像素时，参考像素选取单元2151选取(t,y) = (0， 2) 、 (O，l)、 (O，O)、 (0， -l)、 (0, -2)中的每个像素值。注意在图203中，可以说每个像 素在帧方向和空间方向上的长度为1。换句话说，参考像素选取单元2251选取空间方向上长范围中的 像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为 中心的在空间方向(图中上/下)的两个像素。相反，在确定方向为帧方向的情况下，参考像素选取单元2251 选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在帧方向(左/右)的2个像素，并 将其输出给模拟函数估计单元2252。显然，参考像素的个数并不限于 上述的5个像素，而是可以采用任何像素个数。在步骤S2266中,梯度估计单元2252基于从参考像素选取单元 2251输入的参考像素的信息、和在连续性方向中的移动Vf,计算每个 像素值的平移量。也就是说，在取对应于空间方向Y-0的模拟函数f (t)为基准的情况下，对应于空间方向Y-""2、 -1、 l和2的模拟 函数沿作为连续性的移动Vf连续，如图203所示，从而将每个模拟函 数描述为f (t-Ct (2) ) 、 f (t-Ct (1) ) 、 f (t-Ct ( 一l))以 及f (t-Ct ( - 2)),并且，将其表示为对于每个空间方向Y= -2、 -l， 1， 2在帧方向T上平移每个平移量的函数。因此，梯度估计单元2252获得其平移量Ct ( - 2 )到Ct ( 2 )。 例如，在如图203所示选取参考像素的情况下，关于其平移量，图中 的参考像素(0,2 )变成Ct ( 2 ) = 2/Vf,参考像素(O，l)变成Ct (1) =1/Vf，参考像素(O，O)变成Ct (0) =0，参考像素(O，-l)变成 Ct ( - 1) 一 1/Vf，以及参考像素(0， - 2 )变成Ct ( - 2 ) = - 2/Vf。 梯度估计单元2252获得这些平移量Ct ( - 2 )到Ct ( 2 )。在步骤S2267中，梯度估计单元2252计算(估计)在关注像素 的帧方向上的梯度。例如，如图203所示，在关于关注像素的连续性 方向为接近空间方向的角度的情况下，在帧方向上相邻的像素之间的 像素值表现更大的差，但是，在空间方向的像素之间的变化较小并相似，因此，梯度估计单元2252通过获取在空间方向上的像素之间的变 化，用帧方向上的像素之间的差代替在空间方向上的像素之间的差， 并获得在关注像素处的梯度作为根据平移量在帧方向T上的变化。也就是说，如果假设存在近似描述现实世界的模拟函数f (t)， 则上迷平移量和各个参考像素的像素值之间的关系如图204所示。这 里，图204中的各个像素的像素值被从上部开始表示为P (0， 2) 、 P (0， 1) 、 P (0， 0) 、 P (0， -1)以及P (0， -2)。从而，关于 像素值P和关注像素(0， 0)附近的平移量Ct，获得5对关系(P，Ct) =((P ( 0, 2 ) ， - Ct ( 2 ) 、 ( P ( 0， 1) ， - Ct ( 1) ) 、 ( P ( 0， - 1) ， - C" - 1) ) 、 ( P ( 0, - 2 ) , - C" - 2 ))以及(P ( 0， 0 ) ， 0 )。这里，对于像素值P,平移量Ct，以及梯度Kt (在模拟函数f (t)上的梯度)，如下述公式(102)关系成立。P = KtxCt 公式(102)上述公式(102 )是关于变量Kt的单变量函数，从而梯度估计单元2212利用一个变量的最小二乘法获得变量Kt (梯度)。也就是说，梯度估计单元2252通过求解如下述公式(103)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。 mK+ =m 2—1 公式(103 )这里，i表示用于识别上述参考像素的每对像素值P和平移量Ct 的数l到m。另外，m表示包括关注像素的参考像素个数。在步骤S2269中，参考像素选取单元2251确定是否已经处理所 有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2262。 另外，在确定已经在步骤S2269中处理所有像素的情况下，该处理結束。注意，通过上述处理将要输出作为现实世界估计信息的帧方向上 的梯度在计算将要通过外推/内插最后获得的希望像素值时采用。另 外，对于上述实例，已经描述了在计算二倍密度像素时的梯度作为实 例，但是，在计算密度大于二倍密度的情况下，可以获得用于计算像 素值所需的更多位置的梯度。例如，如图190所示，当产生在时间和空间方向上共具有四倍密 度的像素的情况下，其中在水平方向产生二倍密度并在帧方向上也产 生二倍密度，可以如上所述获得对应于图190中各个位置Pin、 Pat 和Pbt的模拟函数f (t)的梯度Kt。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实 例，但是，模拟函数f (t)是连续函数，从而，即使像素的像素值位 于不是复数密度的位置上,仍可以获得需要的梯度。显然，对于用于获得模拟函数相对于帧方向或空间方向的梯度或 导数值的处理顺序没有限制。另外，在上述实例中，在空间方向，已 经描述了利用空间方向Y和帧方向T之间的关系，但是可以采用空间 方向X和帧方向T之间的关系来代替该关系。另外，可以从时间和空 间方向的二维关系选择性地获得梯度(任一维度方向)或导数值。根据上述设置，可以通过利用关注像素附近的像素值，在用于产 生像素所需的位置处的帧方向(时间方向)上产生和输出模拟函数上 的梯度作为现实世界估计信息，而不获得近似表示现实世界的在帧方 向上的模拟函数。接着，将参考图205到235描述现实世界估计单元102 (图3) 的另一实施例。图205描述了该实施例的特征。如图205所示，利用预定函数F表示作为被投影在传感器2上的 图像的现实世界l中的信号(光强分布)。注意，下文中，在对该实 施例的描述中，用作现实世界l中的图像的信号尤其指光信号,以及 函数F尤其指光信号函数F。200710154345.2说明书第202/384页在该实施例中，在由光信号函数F表示的现实世界1中的光信号 具有预定连续性的情况下，现实世界估计单元102通过利用来自传感 器2的输入图像(包括对应于连续性的数据连续性的图像数据)、和 来自于数据连续性检测单元101的数据连续性信息(对应于输入图像 数据的连续性的数据连续性信息)的预定函数f模拟光信号函数F而 估计光信号函数F,注意，下文在对该实施例的描述中，函数f尤其 指模拟函数f。换句话说，在该实施例中，现实世界估计单元102对利用模型161 (图7)由光信号函数F表示的图像(现实世界l中的光信号)进行 模拟(描述)，所述模型由模拟函数f表示。因此，下文中，该实施 例称为函数模拟方法。现在，在进入对函数模拟方法的具体描述之前，将描述关于其中 本申请人已经发明的背景的函数模拟方法。图206描述了其中将传感器看作CCD的积分效应。如图206所示，将多个检测元件2-l设置在传感器2的平面上。在图206的实例中，取平行于检测元件2-1的预定边的方向作 为X方向，其为空间方向中的一个方向，并取垂直于X的方向的方向 为Y方向，其为空间方向中的另一个方向。另外，取垂直于X-Y平 面的方向作为用作时间方向的方向t。另外，在图206的实例中，用方形表示传感器2的每个检测元件 2-1的空间形状，其一边的长度为1。传感器2的快门时间(曝光时 间),皮表示为1。另外，在图206的实例中，取传感器2的一个检测元件2-l的 中心作为空间方向(X方向和Y方向)中的原点(在X方向上位置 x=0,以及在Y方向上位置y=0)，并且，取曝光时间的中间时刻为 时间方向(t方向)上的原点(在t方向上的位置t-O)。在该情况下，中心在空间方向中的原点(x=0，y=0)的检测元件2 -l对光信号函数F(x, y， t)进行积分，其范围为在x方向上从-0.5 到0.5，在Y方向上从-0.5到0.5，以及在t方向上从-0.5到0.5,并将205其积分值输出作为像素值P。也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(104)表示。/+0，5广+0.5广+0.5, 、 _0 5 /-0 5 /一05 F"y，t)dxclydt公式(104 )通过以同样的方法取其中心为空间方向中的原点，另 一个检测元 件2 - 1也输出了如公式104所示的像素值P。图207描述了传感器2的积分效应的具体实例 在图207中，X方向和Y方向表示传感器2的X方向和Y方向 (图206)。现实世界1的光信号的部分2301 (下文中，该部分指区域)表示 具有预定连续性的区域的实例。注意，区域2301是连续性光信号(连续性区域)的部分。另一 方面，在图207中，区域2301被示出为在实际中分成的20个小区域 (方形区域)。这是为了示出，区域2301的尺寸等于其中排列在x 方向上的传感器2的四个检测元件(像素)，以及在y方向上的传感 器2的五个检测元件(像素)的尺寸。也就是说，区域2301中的每 20个小区域(虛拟区域)等于一个像素。另外，区域2301中的白色部分表示对应于细线的光信号。因此， 区域2301在其中细线连续的方向上具有连续性。下文中，区域2301 指包括细线的现实世界区域2301。在该情况下，当包括细线的现实世界区域2301(现实世界1中的 光信号的部分)被传感器2检测时，通过积分效应从传感器2输出输 入图像(像素值)的区域2302 (下文中，其指包括细钱的数据区域 2302 )。注意，包括细线的数据区域2302的每个像素由图中的闺像表示， 但是在实际中为表示预定值的数据。也就是说，通过传感器2的积分 效应，包括细线的现实世界区域2301被变为(变形为)包括细线的数 据区域2302，其被分成每个具有预定像素值的20个像素(在X方向上的四个像素和在Y方向上的五个像素，共20个像素)。图208描述了传感器2的积分效应的另 一具体实例(不同于图207 的实例)。在图208中，X方向和Y方向表示传感器2的X方向和Y方向 (图206)。现实世界1中的光信号的部分(区域)2303表示具有预定连续性 的区域的另一实例(不同于图207中包括细线的实际区域2301的实 例)。注意，区域2303与包括细线的现实世界区域2301具有相同的尺 寸。也就是说，与现实中的包括细线的现实世界区域2301相同，区域 2303也是现实世界1中连续光信号的一部分(连续区域)，但是被示 出为分成等于图208中的传感器2的一个像素的20个小区域(方形区 域)。另外，区域2303包括具有预定第一光强(值)的第一部分边缘， 以及具有预定第二光强(值)的第二部分边缘。因此，区域23(B具有 在其中边缘连续的方向上的连续性。下文中，区域2303指包括二值边 缘的现实世界区域2303。在该情况中，当由传感器2检测包括二值边缘的现实世界区域 2303时(现实世界l中的光信号的部分)，通过积分效应从传感器2 输出输入图像(像素值)的区域2304 (下文冲，指包括二值边缘的数 据区域2304)。注意，将包括二值边缘的数据区域2304的每个像素值与包括细 线的数据区域2302 —样显示为图中的图像，但是，实际上为表示预定 值的数据。也就是说，通过传感器2的积分效应，将包括二值边缘的 现实世界区域2303变为(变形为)包括二值边缘的数据区域2304, 其被分成每个具有预定像素值的20个像素(在X方向的四个像素和 在Y方向上的五个像素共20个像素)。常规图像处理装置具有从传感器2输出的关注图像数据，例如， 包括细线的数据区域2302，包括二值边缘的数据区域2304等作为原点(基准)，并且，对图像数据进行随后的图像处理。也就是说，不考虑通过积分效应将从传感器2输出的图像数据变为(变形为)不同 于现实世界l中的光信号的数据，常规图像处理装置在假设不同于现 实世界l中的光信号的数据是正确的情况下进行图像处理。从而，常规图像处理装置具有这样的问题，其中基于现实世界的 细节发生扭曲的波形(图像数据)，在从传感器2输出图像数据的阶 段，很难从该波形恢复原始细节。因此，利用函数模拟方法，为了解决该问题，如上所述(如图205 所示)，现实世界估计单元102通过利用基于图像数据(输入图像) 的模拟函数f模拟光信号函数F(现实世界l中的光信号)而估计光 信号函数F,所述图像数据例如是从传感器2中输出的包括细线的数 据区域2302和包括二值边缘数据区域2304。从而，在现实世界估计单元102的下一个级(在该情况中为图3 中的图像产生单元103),可以通过取其中考虑了积分效应的图像数 据，即可以由模拟函数f表示的图像数据作为原点来进行处理。下文中，将参考附图单独播述该函数模拟方法的三种具体方法 (第一到第三函数模拟方法)。首先，将参考图209到图223描述笫一函数模拟方法。图209示出了再次描述的图207所示的包括细线的现实世界区域2301。在图209中，X方向和Y方向表示传感器2的X方向和Y方向 (图206)。第 一 函数模拟方法是用于模拟一维波形的方法(下文中，该波形 指X截面波形F(x)),其中，在x方向上(图中箭头2311的方向) 投影对应于如图209所示的包括细线的现实世界区域2301的光信号函 数F (x， y， t)，其中，模拟函数f(x)用作n维(n为任意整数)多 项式。因此，下文中，第一函数模拟方法尤其指一维多项式模拟方法。注意，在一维多项式模拟方法中，将要模拟的X截面波形F(x) 不限于对应于图209中包括细线的现实世界区域2301的波形。也就是说，如下文所述，在一维多项式模拟方法中，只要X截面波形F(x) 对应于具有连续性的现实世界l中的光信号，则可以模拟任何波形。另外，光信号函数F(x， y， t)的投影方向不限于X方向，或者还 可以采用Y方向或t方向。也就是说，在一维多项式模拟方法中，可 以利用预定模拟函数f (y)对一个将光信号函数F(x， y， t)投影到Y 方向上的函数F (y)进行模拟，或可以利用预定模拟函数f (t)对一 个将光信号函数F(x， y， t)投影到t方向上的函数F (t)进行模拟。尤其是， 一维多项式模拟方法是以模拟函数f(x)用作n维多项 式用于例如对X截面波形F (x)进行模拟的方法，所述多项式如下 面7>式(105)所示。n<formula>formula see original document page 209</formula>公式(105)也就是说，在一维多项式模拟方法中，现实世界估计单元102通 过计算公式(105)中的系数(特征)J的Wi，而估计X截面波形F (x)。该特征Wi计算方法不限于特定方法，例如，可以采用下面的第 一到第三方法。也就是说，第一方法是目前采用的方法。另一方面，第二方法是由本申请人新发明的方法，其相对于第一 方法考虑了在空间方向上的连续性。然而，如上所述，在第一和第二方法中，没有考虑传感器2的积 分效应，因此，通过对上述〃>式(105)代入通过第一方法或第二方法 计算得到的特征Wi获得的模拟函数f( x )是关于输入图像的模拟函数， 但是严格的说，不能指X截面波形F (x)的模拟函数。因此，本申请人发明了第三方法，其相对于第二方法还考虑了传 感器2的积分效应而计算特征Wi。通过对上述公式(105)代入利用 该第三方法计算的特征Wi而获得的模拟函数f (x)可以被称为X截 面波形F (x)的模拟函数，其中考虑了传感器2的积分效应。从而，严格地说，第一方法和第二方法不能被称为一维多项式模被称作一维多项式模拟方法。换句话说，如图210所示，第二方法是根据本发明的现实世界估 计单元102的实施例，其不同于一维多项式模拟方法。也就是说，图 210描述了对应于第二方法的实施例的原理。如图210所示，在对应于第二方法的实施例中，在用光信号函数 F表示的现实世界1的光信号具有预定连续性的情况下，现实世界估 计单元102没有利用来自传感器2的输入图像(包括对应于连续性的 数据连续性的图像数据)、和从数据连续性检测单元101输入的数据 连续性信息(对应于输入图像数据的连续性的连续性信息)对X截面 波形F ( x)进行模拟，而是利用预定模拟函数f2 ( x )对来自传感器2 的输入图像进行模拟。从而，很难说第二方法是与第三方法具有相同水平的方法，其中 没有考虑传感器2的积分效应，而只对输入图像进行模拟。然而，第 二方法是优于常规第一方法的方法，其中，第二方法考虑了空间方向 上的连续性。下文中，将以第一方法，第二方法，以及第三方法的次序单独描 述这三种方法的内容。注意，在下文中，由第一方法、第二方法和第三方法产生的各个 模拟函数f (x)彼此区别的情况下，它们尤其指模拟函数^ (x),模拟函数f2 (X)，以及模拟函数f3 (X)。 首先，将描述第一方法的内容。在第一方法中，在这样的条件下，其中在上述公式(105)中所 示的模拟函数A (x)在图211中的包括细线的现实世界区域2301中 成立，定义了下面的预测7^式(106)。P(x，y) 二f，(x)+e公式(106 )在公式(106)中，x表示从关注像素相对于X方向的像素位置。 y表示从关注像素相对于Y方向的像素位置。e表示误差余量。尤其 是，例如，如图211所示，可以说，在包括细线的数据区域2302 (包 括细线的现实世界区域2301的数据(图209 )由传感器2检测，并被输出)中，关注像素是图中X方向上从左侧开始的第二个像素，也是Y 方向上自底部开始的第三个像素。另外，可以说，关注像素的中心为 原点(0， 0)，并且建立其轴分别为平行于传感器2 (图206)的X 方向和Y方向的x轴和y轴的坐标系(下文中，指关注像素坐标系)。 在该情况中，关注像素坐标系的坐标值(x， y)表示相对像素位置。另夕卜，在公式(106)中，P(x， y)表示在相对像素位置(x， y) 上的像素值。尤其是，在该情况下，包括细线的数据区域2302中的P (x， y)如图212所示。图212以曲线图的方式表示该像素值P (x， y)。在图212中，曲线图的各垂直轴表示像素值，以及水平轴表示在 X方向上距离关注像素的相对位置x。另外，图中分别为自上的第 一曲线图中的虛线表示输入像素值P(x，-2)，自上的第二曲线图中的 三点连线表示输入像素值P(x，-l)，自上的第三曲线图中的实线表示 输入像素值P(x，O)，自上的第四曲线图中的单点连线表示输入像素 值P(x，l)，自上的第六曲线图中的两点连线表示输入像素值P( x，2 )。当对上述公式(106)分别代入如图212所示的20个输入像素值 P ( x，-2 ) 、 P ( x，-l) 、 P ( x，O ) 、 P ( x，l)以及P ( x，2 )(然而，x 是-1到2的任意整数值)时，产生下面公式(107)所示的二十个方 程，注意每个ek ( k为1到20的任意整数)表示误差余量。P(-1，一2)=(一1)+e!P(O, -2)- fl(0) +e2P(1，一2)=f，(1)+e3P(2, -2)- fl(2)+e4P(-1.H)=f，(一l)+e5P(O， 一1)(0〉+e6P(1，一1)=f ，("+e7P(2， 一1〉(2)+e8P(-1，0)=fl(H)+e9P(O，O)=f(0)+e10P(1,0)=f，("+e"P(2, 0)=f(2)+e12P(-1，1)- fi(H)+e13P(0，1)=f(0)+e14P(1,1)=f，(1) +e15P(2,1)=f，(2)+e16P(-1,2)=f ，(_1)+e17P(0,2)(0) +e18P(1，2)=f ，("+e19P(2，2)"1(2)+e20公式(107 )公式(107)由二十个方程构成，从而例如在模拟函数A (x)的 特征Wj数小于20的情况下，即在模拟函数& (x)是具有小于19的 维数的多项式的情况下，可以利用最小二乘法计算特征Wi。注意，下 面将描述最小二乘法的具体求解。例如，如果说模拟函数A (x)的维数为5，利用公式(107)由 最小二乘法计算的模拟函数^ (x)(通过计算特征Wi产生的模拟函 数&(x))变成如图213所示的曲线。注意，在图213中，垂直轴表示像素值，水平轴表示距离关注像 素的相对位置x。也就是说，例如，如果将构成图211中包括细线的数据区域2302 的二十个像素值P(x， y)(如图212所示分别为输入像素值P(x，-2)、 P (x，-l) 、 P (x,O) 、 P (x，l)以及P (x，2))不经过任何修改地沿 x轴补充(如果认为在Y方向上的相对位置y不变，并重叠图212所 示的5个曲线)，如图213所示的平行于x轴的多条直线(虛线、三点连线、实线、单点连线以及两点连线)被分布。然而，在图213中分别为虛线表示输入像素值P (x，-2)，三 点连线表示输入像素值P (x，-l)，实线表示输入像素值P (x，O)， 单点连线表示输入像素值P( x， 1),两点连线表示输入像素值P( x，2 )。 另外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但 是在图213中，所述直线被绘出以区分每条直线，因此，没有彼此重 叠的直线。当各20个输入4象素值(P ( x,-2 ) 、 P ( x，國l) 、 P ( x，O ) 、 P ( x，l) 以及P(x，2))这样被分布时，用于最小化函数值6 (x)的误差的回 归曲线(通过对上述公式(104)代入利用最小二乘法计算的特征Wi 而获得的模拟函数& (x))变成如图213所示的曲线(模拟函数ii (x))。从而，模拟函数A (x)只是表示了在X方向上连接在Y方向上 的像素值(自关注像素在X方向上具有相同的相对位置x的像素值) P (x,画2) 、 P (x，-l) 、 P (x，O) 、 P (x，l)以及P (x，2)的方法的曲 线。也就是说，没有考虑光信号包括的空间方向中的连续性而产生模 拟函数ii (x)。例如，在该情况中，将包括细线的现实世界区域2301 (图209) 看作是将要模拟的对象。该包括细线的现实世界区域2301具有在空间 方向上的连续性，其由梯度Gf表示，如图214所示。注意，在图214 中，X方向和Y方向表示传感器2的X方向和Y方向(图20"。因此，数据连续性检测单元101 (图205)可以输出如图214所 示的角度0 (在由对应于梯度Gf的梯度Gf表示的数据连续性方向和x方向之间产生的角度e)作为对应于作为空间方向中的连续性的梯度GF的数据连续性信息。然而，在第一方法中，完全没有使用从数据连续性检测单元101 输出的数据连续性信息。换句话说，例如如图214所示，在包括细线的现实世界区域2301中的空间方向中的连续性方向为基本角度e方向。然而，第一方法是假设包括细线的现实世界区域2301的空间方向中的连续性方向为Y 方向(即假设角度9为90°)时用于计算模拟函数(x)的特征Wi 的方法。因此，模拟函数& (x)变成其波形变得平緩的函数，并且其细 节比原始像素值减少。换句话说，虽然图中没有示出，在利用第一方 法产生的模拟函数A (x)中，其波形变成与实际X截面波形F (x) 不同的波形。为此，本申请人已经发明了用于计算特征Wj的第二方法，其相对于第一方法还考虑了空间方向中的连续性(利用角度e)。也就是说，第二方法是在假设包括细线的现实世界区域2301的连续性方向为基本角度e方向时，用于计算模拟函数f2 (x)的特征Wj的方法o尤其是，例如，表示对应于空间方向中的连续性的数据连续性的梯度Gf,由下面的公式(108)表示。<formula>formula see original document page 214</formula>公式(108 )注意，在公式(108)中，dx表示如图214所示的在X方向上的 微小移动量，dy表示如图214所示的相对于dx的在Y方向上的微小 移动量。在该情况中，如果定义平移量Cx (y)如下面公式(109)所示， 利用第二方法，对应于在第一方法中使用的公式(106)的方程变成如 下面公式(110)所示。<formula>formula see original document page 214</formula>Gf 公式(109)<formula>formula see original document page 214</formula>公式(110)也就是说，在第一方法中采用的公式(106)表示在像素中心位 置(x， y)的X方向上的位置x与位于相同位置上的任意像素的像素 值P (x，y)相同。换句话说，公式(106)表示具有相同像素值的像素在Y方向上连续(在Y方向上表现出连续性)。另一方面，在第二方法中采用的公式(110)表示其中心位置为 (x， y)的像素值P (x， y)不等于位于距离关注像素(其中心位置 为(0，0 )的像素)为X方向上的x的位置上的像素的像素值(等于 f2(x)的模拟值)，并且，与在X方向上距离其像素为平移量Cx (y) 的位置上的像素的像素值(等于f2(x + Cx(y))的模拟值)相同(在 X方向上距离关注像素为x + Cx (y)的位置上的像素)。换句话说， 公式(110)表示具有相同像素值的像素在对应于平移量Cx (y)的角度e方向上连续(在基本角度e方向上表现出连续性)从而，平移量Cx (y)是考虑在空间方向中的连续性(图214中 由梯度GF表示的连续性(严格地说，用梯度Gf表示的数据连续性)) 的校正量，以及利用平移量Cx( y )通过校正公式(106 )获得公式(110 )。在该情况下，当分别对上述公式(110)代入图211中所示的包 括细线的数据区域的二十个像素值P (x， y)(然而，x为-l到2的 任一整数值，而y为-2到2的任一整数值)时，产生如下面y〉式(111) 所示的二十个方程。P(-1,-2) P(O， 一2) P(1，一2) P(2, -2)P(-1，一1) P(O, -1) P(1，一1) P(2， 一1)P(-l,O) P(O，O)P(1,0) P(2，0)P(-U) P(0,1) P(1,1) P(2，1)P(-1，2) P(0,2) P(1,2) P(2,2)f2f2 f2 卞2 f2 f2 f2 f2 f2 f2 f2 f2 于2 f2 于2 f2 f2 f2 f2 卞2+CX(—2))+e，0- Cx(—2))+e21- Gx(-2))+e3 2_Cx(—2))+e4 +Gx(-1))+e50- Gx(-1))+e61- Cx(H))+e72- Cx(—1))+e8 —1)+e90) +e101) +ei12) +e12+Cx(1))+e130— Gx(")+e141— Gx(1))+e152— Gx(1))+e16 +Gx(2))+e170— Gx(2))+e181— Gx(2))+e192— Gx(2))+e20公式(111)公式(111)如上述公式(107)由二十个方程构成。因此相对于 第一方法，在第二方法中，在模拟函数f2 (x)的特征Wi数小于20的 情况下，即在模拟函数f2 (x)是具有小于19的维数的多项式的情况 下，可以利用最小二乘法计算特征Wj。注意，下面将描述最小二乘法 的具体求解。例如，如果说模拟函数f2 (x)的维数与第一方法相同，均为5,在第二方法中如下计算特征Wi。也就是说，图215以曲线图的方式表示公式(111)左侧所示的 像素值P(x, y)。由图215所示的各个5个曲线图如图212所示的 基本相同。如图215所示，最大像素值(对应于细线的像素值)在由梯度Gf表示的数据连续性方向上连续。因此，在第二方法中，如果例如沿x轴补充如图215所示的各个输入像素值P ( x，國2 ) 、 P ( x，誦l) 、 P ( x，O ) 、 P ( x，l)以及P ( x，2 )， 在像素值变化为如图216所示的状态后补充像素值代替如第一方法中 没有修改的补充像素值(假设y不变，并且5个图形在状态上重叠， 如图215所示)。也就是说，图216表示这样的状态，其中如图215所示的各个输 入像素值P ( x，-2 ) 、 P ( x，國l) 、 P ( x,O ) 、 P ( x，l)以及P ( x，2 )被 平移如上述公式(109)所示的平移量Cx (y)。换句话说，图216表 示了这样的状态，其中如图215所示的五个曲线图被平移，如同表示数据连续性的实际方向上的梯度GF被认为是梯度GF，(在图中，由虛线构成的直线被认为是由实线构成的直线)。在图216中的状态中，例如，如果将各输入像素值P ( x，-2 ) 、 P (x，-l) 、 P ( x，O ) 、 P ( x，l)以及P ( x，2 )沿x轴补充(在图216所 示的状态中，如果重叠5个曲线)，如图217所示的平行于x轴的多 条直线(虛线、三点连线、实线、单点连线以及两点连线)被分布。注意，在图217中，垂直轴表示像素值，水平轴表示距离关注像 素的相对位置x。同样，虛线表示输入像素值P (x，-2)，三点连线表 示输入像素值P (x，-l)，实线表示输入像素值P (x，O)，单点连线 表示输入像素值P(x， 1)，两点连线表示输入像素值P (x，2)。另 外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但是 在图217中，所述直线被绘出以区分每条直线，因此，没有彼此重叠 的直线。当各20个输入像素值P(x，y)(然而，x为-l到2的任意整数， y为-2到2的任意整数)这样被分布，并且用来最小化函数值f2 (x + CX (y))的误差的回归曲线(通过对上述公式(104)代入利用最 小二乘法计算的特征Wj而获得的模拟函数f2 (x))变成如图217中实线所示的曲线f2 (x)。从而，利用第二方法产生的模拟函数f2 (x)表示了在X方向上 连接从数据连续性检测单元101 (图205)输出的在角度0方向(即 在基本空间方向中的连续性方向)上的输入像素值P (x，y)的方法的曲线。另一方面，如上所述，利用第一方法产生的模拟函数& (X)只是表示了在X方向上连接在Y方向(即，不同于空间方向中的连续性 的方向)上的输入像素值P (x，y)的方法。因此，如图217所示，利用第二方法产生的模拟函数f2 (x)变 成其中波形平緩程度下降的函数，另外，相对于原始像素值的细节减 少程度比第一方法产生的模拟函数fi (x)减少。换句话说，虽然图中 没有示出，利用第二方法产生的模拟函数f2 (x)中，其波形变成比利 用第一方法产生的模拟函数A (x)更接近实际X截面的波形F (x) 的波形。然而，如上所述，模拟函数f2 (x)是考虑空间方向中的连续性 的函数，但只是其中将输入图像(输入像素值)看作原点(基准)而 产生的函数。也就是说，如图210所示，模拟函数f2 (x)只是模拟不 同于X截面波形F (x)的输入图像的函数，而难以认为模拟函数f2 (x)是模拟X截面波形F (x)的函数。换句话说，第二方法是在假 设上述公式(110)成立下用于计算特征Wi的方法，但是不考虑上述 公式(104)中的关系(不考虑传感器2的积分效应)。因此，本申请人已经发明了用于计算模拟函数f3 (X)的特征Wi 的第三方法，其相对于第二方法还考虑了传感器2的积分效应。 也就是说，第三方法是引入空间混合区域的概念的方法。 在描述第三方法前，将参考图218描述空间混合区域。 在图218中，现实世界l中的光信号的部分2321 (下文中，指区 域2321 )表示具有与传感器2的一个检测元件(像素)相同面积的区 域。当传感器2检测区域2321时，传感器2输出通过对区域2321进 行在时间和空间方向上(X方向、Y方向和t方向)的积分而获得的 值( 一个像素值)2322。注意，图中将像素值2322表示为图像，但是 实际为表示预定值的数据。现实世界1中的区域2321被清楚地分成对应于前景(例如上述细线)的光信号(图中的白色区域)、和对应于背景的光信号(图中 黑色区域)。另一方面，像素值2322是通过对对应于前景的现实世界1中的 光信号和对应于背景的现实世界l中的光信号进行积分而获得的值。 换句话说，像素值2322是对应于其中空间混合对应于前景的光和对应 于背景的光的水平的值。从而，在下述情况下，即其中对应于现实世界1的光信号的一个 像素(传感器2的检测元件)的部分不是其中具有相同水平的信号空 间均匀地分布的部分，而是其中分布例如前景和背景的具有不同水平 的光信号的部分， 一旦其区域被传感器2检测，该区域变成一个像素 值，如同通过传感器2的积分效应(在空间方向中的积分)空间混合 不同的光水平一样。从而，这里，将由这样的像素构成的区域称为空 间混合区域，在所述像素中，对对应于前景(现实世界l中的光信号) 的图像、和对应于背景的图像(现实世界l中的光信号)进行空间积 分。因此，在第三方法中，现实世界估计单元102 (图205)通过利 用用作如图219所示的一维多项式的模拟函数f3 (x)模拟X截面波 形F (x)，而估计表示现实世界l中的原始区域2321 (在现实世界l 的光信号中，部分2321对应于传感器2的一个像素)的X截面波形F (x)。也就是说，图219示出了对应于用作空间混合区域(图218)的 像素值2322的模拟函数f3 (x)的实例，即，模拟对应于现实世界1 中的区域2331内的实线的X截面波形F(x)的模拟函数f"x)(图 218)。在图219中，图中水平方向上的轴线表示平行于对应于像素值 2322的像素的左上端&到右下端Xe的边的轴线(图218)，将其取为 x轴。图中垂直方向上的轴线被取为表示像素值的轴线。在图219中，在通过对模拟函数f3 (x)进行在从&到xe (像素 宽度)的范围上进行积分获得的结果通常等于从传感器2输出的像素 值P(x, y)的条件下(只依赖于误差的余量)，限定下面公式(112)9<formula>formula see original document page 220</formula>公式(112)在该情况下，从如图214所示的包括细线的数据区域2302的20 个像素值P(x， y)(然而，x为-l到2的任一整数值，而y为-2 到2的任一整数值)计算模拟函数f3 ( x )的特征Wi，从而公式(112 ) 中的像素值P变成P (x， y)。另外，如同在第二方法中，需要考虑空间方向的连续性，因此，公式(112)的积分范围中的开始位置Xs和结束位置Xe每个都依赖于平移量Cx(y)。也就是说，公式(112)的积分范围中的开始位置xs和结束位置、每个如下面公式(113)所示。 <formula>formula see original document page 220</formula> 公式(U3) 在该情况下，当将如图214所示的包括细线的数据区域2302每 个像素值，即如图215所示的各个输入像素值P (x，-2) 、 P(x，-l)、 P (x，O) 、 P (x，l)以及P (x，2)(然而，x为从-l到2的任意整数 值)代入上述公式(112)中(积分范围为上述公式(113))，产生 在下面/>式(114)中的20个方程。<formula>formula see original document page 221</formula><formula>formula see original document page 222</formula>"w 公式(114)公式(114)如上述公式(111)由二十个方程构成。因此相对于 第二方法，在第三方法中，当在模拟函数f3 (x)的特征Wi数小于20 的情况下，即在模拟函数f3 (x)是具有小于19的维数的多项式的情 况下，可以利用最小二乘法计算特征Wi。注意，下面将描述最小二乘 法的具体求解。例如，如果说模拟函数& (x)的维数为5，利用公式(114)由最小二乘法计算的模拟函数f3 (X)(通过计算出的特征Wi产生的模拟函数f3(x))变成如图220中实线所示的曲线。注意，在图220中，垂直轴表示像素值，水平轴表示距离关注像 素的相对位置x。如图220所示，在将利用第三方法产生的模拟函数f3 (x)(如 图中实线所示的曲线)与利用第二方法产生的模拟函数f2 (x)(如图 中虚线所示的曲线)相比较的情况下，在x-0处的像素值变大，并且<formula>formula see original document page 222</formula>曲线的梯度产生更陡的波形。这是因为细节增为多于输入像素，导致 与输入像素的分辨率无关。也就是说，可以说模拟函数f3 (X)模拟了X截面波形F(x)。因此，虽然图中没有示出，模拟函数f3 (x)变 成比模拟函数f2 ( x)更接近X截面波形F ( x)的波形。图221示出了利用该一维多项式模拟方法的现实世界估计单元 102的结构实例。在图221中，现实世界估计单元102通过利用上述第三方法(最 小二乘法)计算特征Wi，而估计X截面波形F (x)，并利用计算出 的特征Wi产生上述公式(105)的模拟函数f (x)。如图221所示，现实世界估计单元102包括条件设置单元2231、 输入图像存储单元2332、输入像素值获取单元2333、积分分量计算单 元2334、正规方程产生单元2335、以及模拟函数产生单元2336。条件设置单元2331设置用于估计对应于关注像素的X截面波形 F (x)的像素范围(下文称分块范围)、以及模拟函数f (x)的维数 iu输入图像存储单元2332临时存储来自传感器2的输入图像(像 素值)。输入像素值获取单元2333获取存储在输入圓像存储单元2332中 的输入图像的对应于由条件设置单元2231设置的分块范围的输入图 像区域，并将其提供给正规方程产生单元2335作为输入像素值表。也 就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个 像素值的表。注意，下面将描述输入像素值表的具体实例。这里，现实世界估计单元102利用上述〃^式(112 )和z〉式(113 ) 通过最小二乘法计算模拟函数f (x)的特征Wi，但是上述公式(112) 可以表示成如公式(115)所示。<formula>formula see original document page 223</formula><formula>formula see original document page 224</formula>公式(115)在公式(115)中，Si(Xs， Xe)表示i维项的积分分量。也就是说，积分分量Si (xs， xe)如下面/>式(116)所示。<formula>formula see original document page 224</formula>公式(116)积分分量计算单元2334计算积分分量Si ( xs, xe)。 尤其是，只要已知相对像素位置(x, y)、平移量Cx (y)、以 及i维项的i,便可以计算如公式(116)所示的Sj (xs， xe)(然而，值Xs和值Xe是如上述公式(112)所示的值)。另外，其中分别，由关注像素和分块范围确定相对像素位置(x， y),由角度e (通过上 述公式(107)和公式(109))确定平移量Cx (y),以及由维数n 确定范围i。因此，积分分量计算单元2334基于由条件设置单元2331设置的 维数和分块范围、从数据连续性检测单元101输出的数据连续性信息 的角度0计算积分分量Si (xs， xe)，并将计算结果提供给正规方程 产生单元2335作为积分分量表。正规方程产生单元2335在利用从输入像素值获取单元2333提供 的输入像素值表、以及从积分分量计算单元2334提供的积分分量表通 过最小二乘法获得的公式(115)右侧的特征Wi的情况下，产生上述 公式(112),即正规方程，并将其作为正规方程表提供给模拟函数产 生单元2336。注意，下面将描述正规方程的具体实例。模拟函数产生单元2336通过利用矩阵方法求解包括在从正规方 程产生单元2335提供的正规方程表中的正规方程，而计算上述公式 (115)的各个特征Wi (即，作为一维多项式的模拟函数f (x)的各 个系数Wi)，并将其输出给图像产生单元103。接着，将参考图222的流程图描述采用一维多项式模拟方法的现 实世界估计单元102(图221 )的现实世界估计处理(图40中步骤S102 的处理)。例如，假设如上述作为从传感器2输出的一帧输入图像的、包括图207中的包括细线的数据区域2302的输入图像已经被存储在输入图 像存储单元2332中。另外，假设数据连续性检测单元101已经在步骤 S101中的连续性检测处理(图40)中对包括细线的数据区域2302进行了其处理，并已经输出角度e作为数据连续性信息。在该情况下，条件设置单元2331在图222的步骤S2301中设置 条件(分块范围和维数)。例如，假设设置了如图223所示的分块范围2351，并将维数设置 为5维。也就是说，闺223描述了分块范围的实例。在图223中，X方向 和Y方向分别为传感器2的X方向和Y方向(图206)。另外，分块 范围2351表示由共20个像素(图中20个方形)构成的像素组，其中 为X方向上的4个像素和Y方向上的5个像素。另外，如图223所示,假设图中分块范围2351的关注像素被设 置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图 223所示，根据自关注像素的相对像素位置(x， y)(在其中取关注 像素的中心(O，O)为原点的关注像素坐标系中的坐标值)，由数l表 示每个像素(1为从0到19的任何整数值)。现在，将返回图222进行描述，其中在步骤S2302中，条件设置 单元2331设置关注像素。在步骤S2303中，输入像素值获取单元2333基于由条件设置单 元2331设置的条件(分块范围)获取输入像素值，并产生输入像素值 表。也就是说，在该情况下，输入像素值获取单元2333获取包括细线 的数据区域2302 (图211),并产生由20个输入像素值P (1)构成 的表作为输入像素值表。注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y) 之间的关系是如下面的公式(117)所示的关系。然而，在公式(117) 中，左侧表示输入像素值P (1)，右侧表示输入像素值P (x, y)。P(O)-P(O，O)p(1)=P(-1，2)P(2)=P(0，2)P(3)-PO，2)P(4)=P(2，2)P(5)=P(—1，1)P(6)-P(O，"P(7)=P(1,1)P(8)-P(2，1)P(9)=P(H,0)P(10)=P(1,0)P(11)=P(2,0)P(12)=P(H， 一1)P(13)=P(0， 一1)P(14)=P(1,-1)P(15)=P(2， —1)P(16)=P(-1，—2)P(17)=P(0， —2)P(18)=P(1，—2)P(19)=P(2， —2)公式(117)在步骤S2304,积分分量计算单元2334基于由条件设置单元2331 设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度e)计算积分分量，并产生积分分量表。在该情况下，如上所述，输入像素值不是P(x, y)而是P(l)， 并被获取作为像素数1的值，从而积分分量计算单元2334将上述公式(116)中的积分分量Si(Xs, Xe)计算为l的函数，如下面公式(118)中左侧所示的积分分量Si (1)。 Si (lj = Si xe)公式(118)尤其是，在该情况下，计算出如下面公式(119)所示的积分分 量Si (1)。SiSisiSj SjSjS;i(O)=S(一O. 5， 0.5)=S(-1.5-Cx(2). -0.5-Cx(2))i (2)=S(一0,5-Cx(2)，0.5-Gx(2))i(3)=S(0.5-Gx(2)，1.5-Cx(2))i(4)=S(1.5-GX(2)，2. 5-Gx(2))i(5)=S(H.5-Cx(1), -0. 5-Cx(1))i(6)-S(-0. 5-Gx(1)，0.5-Gx(1))i(7)=S(0.5-Cx(1)，1.5-Gx(1))i(8)=S(1.5-Cx(1)，2.5-Cx(1))i(9)=S(-1.5， —0.5)(10)=S(0. 5,1.5)(11)=S(1.5. 2.5)(12〉=S(一1.5-Cx(-1)， —0.5-Gx(-1))(13)=S(—0.5—Cx(-1)'0.5-Cx(H))(14)=S(0.5-Gx(—1),1.5-Gx(-1))(15)=S(1.5-Gx(-1)'2.5-Cx(-1))(16)=S(-1.5-Gx(—2)，-0,5-Gx(-2))(17)=S(一0.5-Gx(-2〉，0.5-Gx(-2))08)-S(0.5-Gx(-2)， 1.5-Cx(-2))(W=sa5-Gx(-2),2.5-Gx(-2"s s s s s s s s s s公式(119)注意，在公式(119)中，左侧表示积分分量Si (1)，以及右侧 表示积分分量Si (xs, xe)。也就是说，在该情况下，i为0到5，因 此，计算出20S0(1) 、 20Si(1) 、 20S2(1) 、 20S3(1) 、 20S4(1)、 以及20 S5 (1)共120个20 Si (1)。尤其是，第一积分分量计算单元2334利用从数据连续性检测单 元101提供的角度e计算每个平移量Cx ( - 2) 、 Cx ( -1) 、 Cx (1) 以及Cx (2)。接着，积分分量计算单元2334利用计算的平移量Cx (- 2 ) 、 Cx ( - 1) 、 Cx (1)以及Cx ( 2 )计算如公式(118 )右侧 所示的关于1=0到5的每个的20个积分分量Si (xs, xe)中的每个。 也就是说，计算120个积分分量Si (xs， xe)。注意，在对该积分分量 Si (xs， xe)的计算中，使用了上述公式(116)。接着，积分分量计 算单元2334根据公式(119)将每个计算的120个积分分量Si ( xs， xe)转换成相应的积分分量Si (1)，并产生包括转换的120个积分分量Si (1)的积分分量表。注意，步骤S2303中的处理和步骤S2304中的处理的顺序不限于 图222中的实例，可以先执行步骤S2304中的处理，或者可以同时执 ^f亍步骤S2303中的处理和步骤S2304中的处理。接着，在步骤S2305中，正规方程产生单元2335基于由输入像 素值获取单元2333在步骤S2303中的处理中产生的输入像素值表、以 及由积分分量计算单元2334在步骤S2304的处理中产生的积分分量 表，而产生正规方程表。尤其是，在该情况下，利用最小二乘法计算对应于上述公式(115) 的下面^>式(120)的特征。对应于此的正规方程如下面7>式(121) 所示。<formula>formula see original document page 228</formula>公式(121)注意，在公式(121)中，L表示分块范围中的像素数l的最大值。 n表示作为多项式的模拟函数f (x)的维数。尤其是，在该情况下，n =5,以及L:19。如果限定如公式(121)所示的正规方程的每个矩阵如公式(122 ) 到(124)所示，正规方程被表示为如下公式(125)。<formula>formula see original document page 229</formula>
公式(125 )如公式(123)所示，各个矩阵WMAT的分量为将要获得的特征 Wi。因此，在公式(125)中，如果确定了左侧的矩阵Smat和右側的矩阵PMAT，可以利用矩阵解计算矩阵WMAT (即特征Wi)。尤其是，如公式(122)所示，只要已知上述积分分量Si (1)，便可以计算矩阵Smat的各个分量。积分分量Si (1)被包括在从积分 分量计算单元2334提供的积分分量表中，从而正规方程产生单元2335 可以利用积分分量表计算矩阵Smat的毎个分量。另外，如公式(124)所示，只要已知积分分量Si (1)和像素值 P (1)，就可以计算矩阵Pmat的各个分量。积分分量Si (1)与被包 括在矩阵Smat的各个分量中的那些相同，另外，输入像素值P (1) 被包括在从输入像素值获取单元2333提供的输入像素值表中，从而， 正规方程产生单元利用积分分量表和输入像素值表可以计算矩阵Pmat的毎个分量。从而，正规方程产生单元2335计算矩阵smat和矩阵Pmat的毎个分量，并将计算结果(矩阵Smat和矩降Pmat的毎个分量)作为正规方程表输出给模拟函数产生单元2336。当从正规方程产生单元2335输出正规方程表时，在步骤S2306 中，模拟函数产生单元2336基于正规方程表计算特征Wi (即作为一 维多项式的模拟函数f (x)的系数Wj)，作为上述公式(125)中的 矩阵Wmat的各个分量。尤其是，可以将上述公式(125)中的正规方程转换为下面的公 式(126)。<formula>formula see original document page 230</formula>公式(126 )在公式(126)中，左侧矩阵WMAT的各个分量是将要获得的特征Wi。关于矩阵Smat和矩陣pmat的各个分量被包括在从正规方程产生单元2335提供的正规方程表中。因此，模拟函数产生单元2336通 过利用正规方程表计算公式(126 )的右侧中的矩阵而计算矩阵WMAT， 并将计算结果(特征Wi)输出给图像产生单元103。在步骤S2307中，模拟函数产生单元2336确定是否已经完成对 全部像素的处理。在步骤S2307中，在确定仍未完成对全部像素的处理时，该处理 返回步骤S2303，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2302到S2307。在已经完成对全部像素的处理的情况下(在步骤S2307中，在确 定已经完成对全部像素的处理的情况下)，对现实世界l的估计处理 结束。注意，通过这样计算的利用系数(特征)Wi产生的模拟函数f ( x ) 的波形变成如上述图220中模拟函数B (x)的波形。从而，在一维多项式模拟方法中，在假设具有与一维X截面波形 F (x)相同的形式的波形在连续性方向上连续，计算作为一维多项式 的模拟函数f (x)的特征。因此，在一维多项式模拟方法中，可以利 用比其它函数模拟方法更少的计算处理量计算模拟函数f ( x )的特征。换句话说，在一维多项式模拟方法中，例如，每个具有时-空积 分效应的传感器的多个检测元件(例如图206中的传感器2的检测元 件2-l)投影现实世界l中的光信号(例如图207中的现实世界1中 的光信号的l部分2301 ),图205中的数据连续性检测单元IOI(图3) 检测由多个像素构成的图像数据(例如图207中的图像数据(输入图 像区域)2302)中的数据连续性(例如，图214中由Gf表示的数据连 续性)，所述像素具有由检测元件2-l投影的像素值(例如在图212 中的各个曲线图中示出的输入像素值P (x， y))，所述连续性丢失 了现实世界l的光信号的部分连续性(例如图214中由梯度Gf表示 的连续性)。例如，在这样的条件下，其中在对应于图像数据的时-空方向的 一维方向(例如，图209中的箭头2311的方向,即X方向)中的位 置上的像素的像素值(例如，作为上述公式(112)左侧的输入像素值 P)为通过一维方向中的积分效应获取的像素值(例如，如公式(112) 右侧所示，通过在X方向上积分模拟函数f3 (x)而获得的值)，所 述一维方向对应于由数据连续性检测单元IOI检测的数据连续性，则 图205(图3)中的现实世界估计单元102通过利用预定模拟函数f(尤 其是，例如图220中的模拟函数f3 ( x ))模拟表示现实世界1的光信 号的光信号函数F (尤其是，X截面波形F(x))，而估计光信号函数F。具体地说，例如，在这样的条件下，其中，在对应于沿一维方向 (例如，图X方向)上离对应于由连续性检测处理单元101检测的数 据连续性(例如图216中对应于梯度Gf的线(虛线))的直线的距离 (例如图216中的平移量Cx (y))的像素的像素值为通过一维方向 中的积分效应获取的像素值(例如，如公式(112)右侧所示，通过在 X方向上积分模拟函数f3( x)而获得的值，其中积分范围如公式(112 ) 所示)，则现实世界估计单元102通过利用模拟函数f模拟光信号函 数F而估计光信号函数F。因此，在一维多项式模拟方法中，可以利用比其它函数模拟方法更少的计算处理量计算模拟函数的特征。接着，将参考图224到图230描述第二函数模拟方法。 也就是说，第二函数模拟方法是这样的方法，其中将例如具有在 由例如如图224所示的梯度Gp表示的空间方向上的连续性的现实世 界l中的光信号看作在X-Y平面上的波形F (x， y)(在作为空间方 向的一个方向的X方向和垂直于X方向的Y方向上的平面水平)， 并且利用作为二维多项式的模拟函数f (x， y)模拟波形F(x, y), 从而估计波形F(x， y)。因此，下文中，第二函数模拟方法称二维多项式模拟方法。注意，在图224中，分别为，水平方向表示作为空间方向的一个 方向的X方向，右上方向表示作为空间方向的另一个方向的Y方向，以及垂直方向表示光水平。GF表示作为空间方向冲的连续性的梯度。另外，在描述二维多项式模拟方法中，假设传感器2为由设置在 其平面上的多个检测元件2-l构成的CCD，如图225所示。在图225的实例中，取平行于检测元件2-1的预定边的方向为 作为空间方向的一个方向的X方向，取垂直于X方向的方向为作为空 间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间 方向的t方向。另夕卜，在图225所示的实例中，取传感器2的各个检测元件2-1的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间) 为1。另外，在图225所示的实例中，取传感器2的一个特定检测元件 2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x-0的位置，以及Y方向上y-O的位置)，并取曝光时间的中间时刻为 时间方向中(t方向)的原点(t方向中t-0的位置)。在该情况下，中心在空间方向中的原点(x=0，y=0)的检测元件2 -l对光信号函数F(x， y， t)进行积分，其范围为在x方向上从-0.5 到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5,并将积 分值输出作为像素值P。也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(127)表示。 +0.5 r+0.5 / +0.5-05L).5L).5 F(x，y't)dxdydt-0.5 "-0.5 "0.5 公式(127)类似，通过取将要处理的检测元件2-1的中心为空间方向中的 原点，另一个检测元件2-l也输出了如公式(127)所示的像素值P。另外，如上所述，二维多项式模拟方法是这样的方法，其中将现 实世界l的光信号处理作为例如如图224所示的波形F (x， y)，并 且利用作为二维多项式的模拟函数f(x， y)模拟二维波形F(x， y)。首先，将描述表示具有二维多项式的模拟函数f (x， y)的方法。如上所述，用光信号函数F(x, y， t)表示现实世界l的光信号， 在所示函数中的变量为在三维空间x、 y和z上的位置以及时刻t。这 里，将这样的光信号函数F (x， y， t)，即在Y方向上的任意位置被 投影到X方向上的一维波形称为X截面波形F (x)。当关注该X截面波形F (x)时，在现实世界1中的信号具有在 空间方向中的特定方向上的连续性的情况下，可以考虑具有与X截面 波形F (x)相同的形式的波形在连续性方向上连续。例如，在图224 中的实例中，具有与X截面波形F (x)相同的形式的波形在梯度Gf 方向上连续。换句话说，可以认为，通过在梯度Gp方向上连续的具有与X截面波形F (x)相同的形式的波形形成波形F (x， y)。因此，通过考虑由具有与模拟连续的X截面波形F (x)的模拟 函数f (x)相同的形式的连续波形形成用于模拟波形F (x， y)的模 拟函数f(x, y)的波形，可以由二维多项式表示模拟函数f (x, y)。 下面将更详细地描述模拟函数f (x， y)的表示方法。 例如，假设由传感器2 (图225)检测上述图224所示的现实世 界1的光信号，即在由梯度Gp表示的空间方向上具有连续性的光信 号，并将其输出作为输入图像(像素值)。另外，假设如图226所示，数据连续性检测单元101 (图3)对 该输入图像的由在X方向上的4个像素和在Y方向上的5个像素共 20个像素(图中，由虚线表示的20个方形)构成的输入图像区域2401 进行其处理，并输出角度9 (由对应于梯度Gf的梯度Gf表示的数据连续性方向和x方向之间的角度e)作为一个数据连续性信息。注意，在输入图像区域2401中，图中的水平方向表示作为空间 方向的一个方向的X方向，以及图中的垂直方向表示作为空间方向 中的另一个方向的Y方向。另外，在图226中，建立(x， y)坐标系，从而取为自左的第二 个像素、同时为自底部的第三个像素的像素作为关注像素，并取关注 像素的中心为原点(0， 0)。将在X方向上相对于通过原点(0， 0) 并具有角度e的直线(具有表示数据连续性方向的梯度Gf的直线)的 相对距离(下文中，称为截面方向距离)描述为x，。另外，在图226中，右侧的曲线图是其中模拟X截面波形F(x，) 的函数，其表示作为n维(n为任意整数)多项式的模拟函数f(x，)。 在右侧曲线图中的轴线中，图中水平方向上的轴线表示截面方向距离， 以及图中垂直方向上的轴线表示像素值。在该情况下，如图226所示的模拟函数f (x，)是n维多项式， 因而由下面公式(128)表示。f(X') = W。+W，X，+W2X' +…+WnX，" = ￡ WjX,'' 公式(128)另外，由于角度e确定，因此具有角度e并通过原点(o， o)的直线是唯一确定的，在Y方向上的任意位置y上，直线在x方向上的 位置x，由下面公式(129)表示。然而，在公式(129)中，s表示cote。<formula>formula see original document page 235</formula>公式(129 )也就是说，如图226所示，由坐标值(x" y)表示对应于由梯 度Gf表示的数据连续性的直线上的点。利用公式(129)，将截面方向距离x，表示成如下面公式(130)。<formula>formula see original document page 235</formula>公式(130)因此，利用公式(128)和公式(130)，将输入图像区域2410内的任意位置(x, y)上的模拟函数f(x， y)表示成下面的公式(131)。<formula>formula see original document page 235</formula>'=() 公式(131) 注意，在公式(131)中，Wi表示模拟函数f(x， y)的系数。注 意，可以将包括模拟函数f (x, y)的模拟函数f的系数Wi取值为模 拟函数f的特征。因此，模拟函数f的系数Wi也称为模拟函数f的特 征Wj。从而，只要角度e已知，可以将具有二维波形的模拟函数f (x，y)表示成公式(131)的多项式。因此，如果现实世界估计单元102可以计算公式(131)的特征 Wi，则现实世界估计单元102可以估计如图224所示的波形F(x， y)。 接着，下文中，将描述用于计算公式(131)的特征Wi的方法。 也就是说，当在对应于一个像素(传感器2 (图225)的检测单 元2-l)的积分范围(在空间方向中的积分范围)上对由公式(131) 表示的模拟函数f (x， y)进行积分时，积分值变成关于像素的像素 值的估计值。这由下面的公式(132)中的方程表示。注意，在二维多 项式模拟方法中，将时间方向t看作不变值，从而公式(132)被看作 其中以在空间方向(X方向和Y方向)中的位置x和y为变量的方程。<formula>formula see original document page 236</formula> 公式(132)在公式(132)中，P (x， y)表示其中心位置为来自传感器2的 输入图像的位置(x， y)(自关注像素的相对位置(x， y))的像素 的像素值。另外，e表示误差余量。从而，在二维多项式模拟方法中，可以用公式(132)表示输入 像素值P(x， y)和作为二维多项式的模拟函数f(x， y)之间的关系， 因此，通过利用公式(132)(通过对公式(130)代入计算的特征Wj 而产生模拟函数f(x， y))由例如最小二乘法等计算特征Wi，现实 世界估计单元102可以估计二维函数F (x， y)(其中在空间方向中 突出表示具有由梯度Gf (图224)表示的空间方向中的连续性的现实 世界l中的光信号的波形F (x， y))。图227示出了采用该二维多项式模拟方法的现实世界估计单元 102的结构实例。如图227所示，现实世界估计单元102包括条件设置单元2421、 输入图像存储单元2422、输入像素值获取单元2423、积分分量计算单 元2424、正规方程产生单元2425、以及才莫拟函数产生单元2426。条件设置单元2421设置用于估计对应于关注像素的函数F ( x， y)的像素范围(分块范围)、以及模拟函数f (x， y)的维数n。输入图像存储单元2422临时存储来自传感器2的输入图像(像 素值)。输入像素值获取单元2423获取存储在输入图像存储单元2422中 的输入图像的对应于由条件设置单元2421设置的分块范围的输入图 像区域，并将其提供给正规方程产生单元2425作为输入像素值表。也 就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个 像素值的表。注意，下面将描述输入像素值表的具体实例。另外，如上所述，采用二维函数模拟方法的现实世界估计单元102 通过利用最小二乘法求解上述公式(132)而计算由上述公式(131) 表示的模拟函数f (x， y)的特征Wj。通过利用从下面公式(133)到(135)获得的下面的公式(136) 可以将公式(132)表示成下面的公式(137)。<formula>formula see original document page 237</formula>公式(133 )<formula>formula see original document page 237</formula>公式(134 )<formula>formula see original document page 237</formula>公式(135 )<formula>formula see original document page 237</formula>公式(136)<formula>formula see original document page 237</formula>公式(137)在公式(137)中，Si ( x-0.5，x+0.5，y-0.5，y+0.5 )表示i维项的积 分分量。也就是i兌，^ 、分分量Si ( x-0.5，x+0.5，y-0.5，y+0.5 ) j口下面公式在(138)所示。Sj (x-O. 5' x+0. 5， y-O. 5, y+0. 5)=(x+0.5-sxy+0.5s)W-(x+0.5-sxy-0.5s)i"画(x-0.5-sxy+0.5s)w+(x-0.5-sxy-0.5s)ws(i+"(i+2)公式(138 )积分分量计算单元 2424 计算积分分量 Si (x-0.5,x+0.5，y-0.5，y+0.5 )。尤其是，只要已知相对像素位置(x， y)、上述公式(131)中i 维项的s和i变量，便可以计算如公式(138)所示的积分分量Si (x-0.5，x+0.5，y-0.5，y+0.5)。其中分别地，相对像素位置(x， y)由 关注像素和分块范围确定，变量s为由角度e确定的cot0，以及范围 i由维数n确定。因此，积分分量计算单元2424基于由条件设置单元2421设置的 维数和分块范围、从数据连续性检测单元101输出的数据连续性信息 的角度6计算积分分量Si ( x-0.5，x+0.5，y-0.5，y+0.5 )，并将计算结果 提供给正规方程产生单元2425作为积分分量表。正规方程产生单元2425在利用从输入像素值获取单元2423提供 的输入像素值表、以及从积分分量计算单元2424提供的积分分量表通 过最小二乘法获得上述公式(132)即公式(137)的情况下，产生正 规方程，并将其作为正规方程表输出给模拟函数产生单元2426。注意， 下面将描述正规方程的具体实例。模拟函数产生单元2426通过利用矩阵方法求解包括在从正规方 程产生单元2425提供的正规方程表中的正规方程，而计算上述公式 (132)的各个特征Wi (即，作为二维多项式的模拟函数f (x， y)的 各个系数Wi)，并将其输出给图像产生单元103。接着，将参考图228的流程图描述采用二维多项式模拟方法的现 实世界估计处理(图40中步骤S102的处理)。例如，假设具有由梯度GF表示的空间方向中的连续性的现实世界l中的光信号已经由传感器2检测、并^皮存储入输入图像存储单元 2422作为对应于一帧的输入图像。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图40)中对输入图像的上述 如图226所示的区域2401进行了其处理，并已经输出角度e作为数 据连续性信息。在该情况下，在步骤S2401中，条件设置单元2421设置条件(分 块范围和维数)。例如，假设设置了如图229所示的分块范围2441，并将维数设置 为5维。图229描述了分块范围的实例。在图229中，X方向和Y方向分 别为传感器2的X方向和Y方向(图225)。另外，分块范围2441 表示由共20个像素(图中20个方形)构成的像素组，其中为X方向 上的4个像素和Y方向上的5个像素。另外，如图229所示，假设图中分块范围2441的关注像素被设 置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图 229所示，根据自关注像素的相对像素位置(x， y)(在其中取关注 像素的中心(O，O)为原点的关注像素坐标系中的坐标值)，由数l表 示每个像素(1为从0到19的任何整数值)。现在，将返回图228进行描述，其中在步骤S2402中，条件设置 单元2421设置关注像素。在步骤S2403中，输入像素值获取单元2423基于由条件设置单 元2421设置的条件(分块范围)获取输入像素值，并产生输入像素值 表。也就是说，在该情况下，输入像素值获取羊元2423获取输入图像 区域2402 (图226)，并产生由20个输入像素值P (1)构成的表作 为输入像素值表。注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y) 之间的关系是如下面的公式(139)所示的关系。然而，在公式(139) 中，左侧表示输像素值P(l)，右侧表示输入像素值P (x， y)。p(1)=P(-1，2)P(2)=P(0,2)P(3)-P(1'2)P(4)-P(2,2)P(5)-P(-I，"P(6)=P(0,1)P(7)-P(1,1)P(8)=P(2，1)P(9)-P(-I，O)P(10) P(川=P(1,0) =P(2,0)P(12)-P(-I， —1)P(13)-P(O，H)P(14)=P(1,—1)P(15)-P(2, —1)P(16)=P(-1，-2)P(17)-P(O, -2)P(18)=P(1,—2)P(19)=P(2， 一2)公式(139 )在步骤S2404,积分分量计算单元2424基于由条件设置单元2421 设置的条件(分块范围和维数)、以及从数据连续性检测单元ioi提供的数据连续性信息(角度e)计算积分分量，并产生积分分量表。在该情况下，如上所述，输入像素值不是P(x， y)而是P(l)， 并被获取作为像素数1的值，从而积分分量计算单元2424将上述公式 (138)中的积分分量Si ( x-0.5，x+0.5，y-0.5，y+0.5 )计算为1的函数， 如下面公式(140)中左侧所示的积分分量Si (1)。Si (1) = Si (x - 0.5, x + 0.5, y - 0.5, y + 0.5)公式(14q )尤其是，在该情况下，计算出如下面公式(141)所示的积分分 量Si (1)。s(0)=S(一O. 5，0. 5， 一O. 5， 0.5)s("二S(一1.5，一O. 5,1.5， 2.5)s(2)二s(一O. 5,0. 5,1.5, 2.5)s(3)s(0. 5,1.5,1.5， 2.5)s(4)二s(1.5， 2.5,1.5， 2.5)s(5)s(一1.5，-0. 5， 0. 5,1.5)s(6)=s(-0. 5，0. 5， 0. 5， 1.5)s(7)s(0. 5,1.5， 0. 5,1.5)s(8)=s(1.5， 2.5， 0. 5， 1.5)s(9)s(一1.5，一O. 5， —0. 5,0.5)s(10)=s(0. 5,1.5, -O. 5， 0. 5)s(:川s(1.5， 2.5， 一O. 5.0.5)s(12)s(—1.5，一O. 5，一1.5, -0.5)s(13)s(一O. 5，0. 5， —1.5, —0.5)s(14)=s(0. 5,1.5， 一1.5， 一0.5)s(15)s(1.5,25， 一1.5, -0,5)sU6)=s(一1.5'一O. 5， 一2. 5， 一1，5)s07)s(一O. 5,0. 5, -2. 5, -1.5)s(18)s(0. 5， 15,-2. 5, -1.5)s(19)s(1.5,25, -2.5， —1.5)公式(141)注意，在公式(141)中，左侧表示积分分量Si (1)，以及右侧 表示积分分量Si ( x-0.5，x+0.5，y-0.5，y+0.5 )。也就是说，在该情况下， i为0到5，因此，计算出20 S。 (1) 、 20 Si (1) 、 20S2 (1) 、 20 S3 (1) 、 20S4 (1)、以及20Ss (1)共120个20Si (1)。尤其是，第一积分分量计算单元2424计算与从数据连续性检测 单元ioi提供的角度e对应的cote,并取计算结果为变量s。接着， 积分分量计算单元2424利用计算的变量s计算如公式(140)右侧所 示的关于i=0到5的每个的20个积分分量Si( x-0.5，x+0.5，y-0.5，y+0.5 ) 中的每个。也就是说，计算120个积分分量Sj( x-0.5，x+0.5，y-0.5，y+0.5 )。 注意，在对该积分分量Si ( x-0.5，x+0.5，y-0.5，y+0.5 )的计算中，使用 了上述公式(138)。接着，积分分量计算单元2424根据公式(141) 将每个计算的120个积分分量Si ( x-0.5，x+0.5，y-0.5，y+0.5 )转换成相 应的积分分量Si(l)，并产生包括转换的120个积分分量Si(1)的积 分分量表。注意，步骤S2403中的处理和步骤S2404中的处理的顺序不限于 图228中的实例，可以先执行步骤S2404中的处理，或者可以同时执 行步骤S2403中的处理和步骤S2404中的处理。接着，在步骤S2405中，正规方程产生单元2425基于由输入像 素值获取单元2423在步骤S2403中的处理中产生的输入像素值表、以 及由积分分量计算单元2424在步骤S2404的处理中产生的积分分量 表，而产生正规方程表。尤其是，在该情况下，利用最小二乘法计算通过上述公式(137) 计算特征Wi(然而，在公式(136)中，使用利用公式(140)从积分 分量Si ( x-0.5，<formula>formula see original document page 242</formula>公式(142 )注意，在公式(142)中，L表示分块范围中的像素数l的最大值。 n表示作为多项式的模拟函数f (x)的维数。尤其是，在该情况下，n =5,以及L-19。如果限定如公式(142 )所示的正规方程的每个矩阵如公式(143 ) 到(145)所示，则正规方程被表示为如下公式(146)。SMAT 二Z S。(i)S。(1) Z So(l)、1-0 1=0Z S,(I)Sq(I) I S，(i)S，1-0 1=0、I! Sn(l)S0(l)z S。(i)S，Z s0(i)sn(i)1=0i S，(i)S"i) 1=0ZSn(l)Sn1=0公式(143 )诉MAT:W1、V公式(144 )PMAT =￡ S01=01-0、2! Sn(l)P(l)、公式(145 )SMATWMAT = PMAT公式(146 )如公式(144)所示，矩阵WMAT的各个分量为将要获得的特征 Wj。因此，在公式(146)中，如果确定了左侧的矩阵Smat和右側的 矩陣Pmat,可以利用矩阵解计算矩阵WMAT。尤其是，如公式(143)所示，利用上述积分分量Si (1)，可以 计算矩阵Smat的各个分量。也就是说，积分分量Si (1)被包括在从 积分分量计算单元2424提供的积分分量表中，从而正规方程产生单元 2425可以利用积分分量表计算矩阵Smat的毎个分量。另外，如公式(145)所示，利用积分分量Si (1)和输入像素值p(l),可以计算矩阵pmat的各个分量。也就是说，积分分量Si(l) 与被包括在矩阵smat的各个分量中的那些相同，另外，输入像素值P(1)被包括在从输入像素值获取单元2423提供的输入像素值表中， 从而，正规方程产生单元2425利用积分分量表和输入像素值表可以计算矩阵pmat的每个分量。从而，正规方程产生单元2425计算矩阵Smat和矩降Pmat的毎个分量，并将计算结果(矩阵smat和矩阵Pmat的毎个分量)作为正规方程表输出给模拟函数产生单元2426。当从正规方程产生单元2425输出正规方程表时，在步骤S2406 中，模拟函数产生单元2426基于正规方程表计算特征Wi (即作为二 维多项式的模拟函数f (x， y)的系数Wi)，作为上述公式(146)中 的矩阵Wmat的各个分量。尤其是，可以将上述公式(146)中的正规方程转换为下面的公 式(147)。<formula>formula see original document page 244</formula>公式(147 )在公式(147)中，左侧矩阵WMAT的各个分量是将要获得的特 征Wj。关于矩阵Smat和矩陣Pmat的各个分量被包括在从正规方程产 生单元2425提供的正规方程表中。因此，模拟函数产生单元2426通 过利用正规方程表计算公式(147 )的右侧中的矩阵而计算矩阵WMAT， 并将计算结果(特征Wi)输出给图像产生单元103。在步骤S2407中，模拟函数产生单元2426确定是否已经完成对全部像素的处理。在步骤S2407中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2402,其中重复进行后面的处理。也就是说，随后取未变 成关注像素的像素作为关注像素，并重复进行步骤S2402到S2407。在已经完成对全部像素的处理的情况下(在步骤S2407中，在确 定已经完成对全部像素的处理的情况下)，对现实世界l的估计处理 结束。作为对二维多项式模拟方法的描述，已经采用了用于对应于空间 方向(X方向和Y方向)计算模拟函数f (x， y)的系数(特征)Wj 的实例，但是也可以将二维多项式模拟方法施加到时间和空间方向(X 方向和t方向、或Y方向和t方向)。也就是说，上述实例是这样的实例，其中现实世界l中的光信号 具有由梯度Gf (图224)表示的空间方向中的连续性，以及因此，如 上述公式(132)所示，所示方程包括在空间方向(X方向和Y方向) 中的二维积分。然而，关于二维积分的构思不仅可以被施加到空间方 向，还可以^皮施力口到时间和空间方向(X方向和t方向，或Y方向和 t方向)。换句话说，在二维多项式模拟方法中，即使在这样的情况下，其 中，将要被估计的光信号函数F (x， y， t)不仅具有空间方向中的连 续性，还具有时间和空间方向中的连续性(然而，X方向和t方向， 或Y方向和t方向)，这可以利用二维多项式4莫拟。尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象 的情况下，对象的移动方向由例如X-t平面中的梯度Vf表示，如图 230所示。换句话说，可以认为梯度Vf表示在X-t平面中的时间和 空间方向上的连续性方向。因此，数据连续性检测单元101可以输出如图230所示的移动e (严格地说，虽然图中没有示出，移动e是由用对应于梯度Vp的梯度Vf表示的数据连续性方向和空间方向中的X方向产生的角度)作为数据连续性信息，其对应于表示在x-t平面中 的时间和空间方向上的连续性的梯度vF、以及角度e (对应于在x-Y平面中由梯度GF表示的空间方向的连续性的连续性信息)。因此，采用二维多项式模拟方法的现实世界估计单元102通过用移动e代替角度e，可以以与上述方法相同的方法计算模拟函数f(x，t)的系数(特征)Wi。然而，在该情况下，将要使用的公式不是上述公式(132),而是下面的公式(148)。<formula>formula see original document page 246</formula>公式(148)注意，在公式(148 )中，s为cote (然而，e是移动)。 另外，可以以与上述模拟函数f (x， t)相同的方法，处理关注 空间方向Y而不是空间方向X的模拟函数f (y， t)。从而，在二维多项式模拟方法中，例如，每个具有时间-空间积 分效应的传感器的多个检测元件(例如图225中传感器2的检测元件 2-1)投影现实世界1的光信号(图205)，图205中的数据连续性 检测单元101检测图像数据(例如，图205中的输入图像)中的数据 连续性(例如，图226中由Gf表示的数据连续性)，所述图像数据由 具有利用检测元件2 - 1投影的像素值的多个像素构成，其丢失了现实 世界1的光信号的部分连续性(例如，图224中由梯度Gf表示的連 续性)。例如，在这样的条件下，其中至少在对应于图像数据的时-空方 向的二维方向(例如，图224和图225中的空间方向和空间方向Y) 中的位置上的像素的像素值(例如，作为上述公式(131)左侧的输入 像素值P (x， y))为通过二维方向中的积分效应获取的像素值(例 如，如7〉式(132)右侧所示，通过在X方向和Y方向上积分上述^> 式(131)中的模拟函数f(x， y)而获得的值)，所述二维方向对应 于由数据连续性检测单元101检测的数据连续性，则图205 (图3)中 的现实世界估计单元102通过利用作为多项式的模拟函数f (例如如 公式(131)中的模拟函数f(x, y))模拟表示现实世界l的光信号 的光信号函数F(尤其是，图224中的函数F(x, y))，而估计光 信号函数F。具体为，例如，在这样的条件下，其中，在对应于沿二维方向上 离对应于由连续性检测处理单元101检测的数据连续性(例如图226的直线的距离(例如图226中的截面 方向距离x，)的像素的像素值为通过至少在二维方向中的积分效应获 取的像素值，则现实世界估计单元102通过利用作为多项式的第二函 数^^拟表示现实世界的光信号的第一函数而估计表示光信号的第一函 数。因此，在二维多项式模拟方法中，考虑二维积分效应而不是一维 积分效应,从而可以比一维多项式模拟方法更精确地估计现实世界1 中的光信号。接着，将参考图231到图235描述第三函数模拟方法。也就是说，第三函数模拟方法是这样的方法，其中关注具有在时 空方向的预定方向上的连续性的现实世界l中的光信号由光信号函数 F(x, y， t)表示的情况，利用模拟函数f(x， y， t)模拟光信号函 数F (x, y， t)，从而估计光信号函数F (x， y, t)。因此，下文中， 第三函数模拟方法称为三维函数模拟方法。另外，在描述三维多项式模拟方法中，假设传感器2为由设置在 其平面上的多个检测元件2 - 1构成的CCD,如图231所示。在图231的实例中，取平行于检测元件2-1的预定边的方向为作为空间方向的一个方向的x方向，:^垂直于X方向的方向为作为空间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间 方向的t方向。另外，在图231所示的实例中，取传感器2的各个检测元件2-1 的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间) 为1。另外，在图231所示的实例中，取传感器2的一个特定检测元件 2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x二 O的位置，以及Y方向上y-O的位置)，并取曝光时间的中间时刻为 时间方向中(t方向)的原点(t方向中t-O的位置)。在该情况下，到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0，5到0.5,并将积分值输出作为像素值P。也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(149)表示。/+0.5广+0.5广+0.5 — , 、 ， ，iu厂"f" F x，y，t)dxdydt -0.5 公式(149)类似,通过取将要处理的检测元件2-1的中心为空间方向中的 原点，另一个检测元件2-l也输出了如公式(149)所示的像素值P。另外，如上所述，在三维多项式模拟方法中，将光信号函数F(x， y， t)模拟为三维多项式的模拟函数f (x， y， t)。尤其是，例如，取模拟函数f (x， y, t)为具有N变量(特征) 的函数，定义对应于公式(149)的输入像素值P (x， y， t)与模拟 函数f(x， y， t)之间的关系式。从而，在获取大于N的M个输入 像素P(x， y， t)的情况下，可以从定义的关系式计算N个变量(特 征)。也就是说，现实世界估计单元102通过获取M个输入像素P( x， y， t)并计算N个变量(特征)可以估计光信号函数F (x， y， t)。在该情况下，现实世界估计单元102通过利用来自传感器2的输 入图像(输入像素值)中包括的数据连续性作为约束(即，利用数据 连续性信息作为将要从数据连续性检测单元101输出的输入图像)， 从整个输入图像中选取(获取)M个输入图像P (x， y， t)。因此， 预测函数f(x， y， O由数据连续性约束。例如，如图232所示，在对应于输入图像的光信号函数F(x， y，t)具有由梯度GF表示的空间方向中的连续性的情况下，数据连续性检测单元101最后输出角度e (在由对应于梯度Gf的梯度Gf (未示出)表示的数据连续性方向与x轴之间的角度e)作为相对于输入图像的连续性信息。在该情况下，就认为即使在投影到Y方向的任意位置的情况下， 其中光信号函数F(x， y, t)被投影在X方向的一维波形(该波形在 此称作X截面波形)具有相同的形式。也就是说，就认为存在具有相同形式的X截面波形，其为在连续性方向(相对于x方向的角度e方向)上连续的二维(空间方向)波形，并且用模拟函数f(x， y， t)模拟三维波形，其中这样的二维波 形在时间方向t上连续。换句话说，在Y方向上从关注像素的中心平移y位置的X截面 波形变成这样的波形，其中通过关注像素中心的X截面波形在X方向上被移动(平移)预定量(根据角度e的变化量)。注意，下文中， 该量称为平移量。可以如下计算平移量。也就是说，梯度Vf (例如，表示对应于图232中的梯度Vf的数据连续性方向的梯度Vf)和角度e如下面公式(150)所示。Gf = tan 0 =，公式(150 )注意，在公式(150)中，dx表示在X方向中的微小移动量，dy 表示相对于dx在Y方向上的微小移动量。因此，如果将相对于X方向的移动量描述为Cx(y),其由下面 />式(151)表示。Gx(y) = ff 公式(151)如果这样定义平移量Cx (y)，则对应于公式(149)的输入像 素值P(x， y, t)与模拟函数f(x， y, t)之间的关系式如下面的公 式(152)所示。P(x, y， t) = jTe/vyef (x， y， t)dxdydt+eJts Jys JXs 公式(152)在公式(152)中，e表示误差余量。ts表示在t方向上的积分开 始位置，以及te表示在t方向上的积分结束位置。同样,、表示在Y 方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。另外，Xs表示在X方向上的积分开始位置，以及Xe表示在X方向上的积分结束位置。然而，各个具体积分范围如下面公式(153)所示。<formula>formula see original document page 250</formula>(153)如公式(153)所示，通过在X方向上将积分范围相对于在空间 方向上距离关注像素为(x， y)距离的像素平移平移量Cx (y)，可 以将其表示为具有相同形式的X截面波形在连续性方向(相对于X方向的角度e方向)上连续。从而，在三维函数模拟方法中，像素值P(x， y， t)与三维模拟 函数f(x， y， t)之间的关系可以利用公式(152)表示(积分范围为 公式(153))，因此，通过例如利用公式(152)和公式(153)的最 小二乘法计算模拟函数f(x， y， t)的N个特征，可以估计光信号函 数F(x， y， t)(例如，具有由如图232所示的梯度Vp表示的空间 方向中的连续性的光信号)。注意，在由光信号函数F (x， y, t)表示的光信号具有由如图 232所示的梯度VF表示的空间方向中的连续性的情况下，可以如下模 拟光信号函数F (x， y， t)。也就是说，假设其中在Y方向上投影有光信号函数F (x, y， t) 的一维波形(下文中，这样的波形称为Y截面波形)具有相同的形式， 即使在X方向的任意位置上的投影的情况下。换句话说，假设存在其中具有相同形式的Y截面波形的二维(空间方向)波形在连续性方向(相对于x方向的角度e方向)上连续，并且用模拟函数f(x， y， t)模拟三维波形，其中这样的二维波形在 时间方向t上连续。因此，在X方向上从关注像素的中心平移x位置的Y截面波形 变成这样的波形，其中通过关注像素中心的Y截面波形在Y方向上被移动(平移)预定平移量(根据角度e的变化平移量)。可以如下计算平移量。也就是说，梯度Gf如上述公式(150)所示，从而如果相对于Y方向的平移量被描述为Cy (x)，其被表示为下面的公式(154)。 Gv(x) =<3fxxy 公式(154)如同对平移量Cx (y)的定义，如果这样定义平移量Cx (y)， 则对应于公式(149)的输入像素P (x， y， t)与模拟函数f (x， y， t)之间的关系式如上述的公式(152)所示。然而，在该情况下，各个具体积分范围如下面公式(155)所示。 ts = t-O. 5 te = t+0. 5 ys = y-Gy(x)_0.5 ye = y-Gy(x)+05 xs = x-O. 5 xe = x+0.56 公式(155 )如公式(155)(和上述公式(152))所示，通过在Y方向上将 积分范围相对于距离关注像素为(x， y)的像素平移平移量Cx (y)， 可以将其表示为具有相同形式的Y截面波形在连续性方向(相对于X方向的角度e方向)上连续。从而，在三维函数模拟方法中，上述公式(152)右侧的积分范 围不仅可以设为公式(153)还可以设为公式(155)，因此，通过例 如利用其中釆用公式(155)作为积分范围的公式(152)的最小二乘 法计算模拟函数f(x， y, t)的n个特征，可以估计光信号函数F(x， y， t)(例如，具有由梯度G!^表示的空间方向中的连续性的现实世界 1中的光信号)。从而，表示积分范围的公式(153)和公式(155)表示基本相同 但只有一个差别，所述差别是关于周边像素是在响应于连续性方向的 X方向上平移(在公式(153)的情况下)还是在响应于连续性方向的 Y方向上平移(在公式(155)的情况下)。然而，响应于连续性方向(梯度Gf)，存在关于将光信号函数F(x, y, t)看作一组X截面波形、或一组Y截面波形的差别。也就 是说，在连续性方向接近Y方向的情况下，优选将光信号函数F(x, y， t)看作一组X截面波形。另一方面，在连续性方向接近X方向的 情况下，优选将光信号函数F(x， y, t)看作一组Y截面波形。因此，优选的是，现实世界估计单元102同时预备公式(153) 和公式(155)作为积分范围，并根据连续性方向选择公式(153)和 公式(155)中的任一个作为适当公式(152)右侧的积分范围。尽管已经描述了在这样的情况下的三维函数方法，其中光信号函 数F(x， y， t)具有空间方向(X方向和Y方向)中的连续性(例如， 由如图232的梯度GF表示的空间方向上的连续性)，但是可以将三 维函数方法应用到这样的情况中，其中光信号函数F(x, y， t)具有 在时间和空间方向(X方向、Y方向以及t方向)上的连续性(由梯 度Vf表示的连续性)，如周233所示。也就是说，在图233中，取对应于帧#]\-1的光信号函数为F (x, y， #N-1),取对应于帧^N的光信号函数为F (x, y， #N),以及取 对应于帧弁N十1的光信号函数为F (x, y， #N+1)。注意，在图233中，取水平方向为空间方向的一个方向的X方向， 取右上方向为空间方向的另一个方向的Y方向，以及取垂直方向为作 为图中时间方向的t方向。另外，帧#N-1在时间上在帧弁N之前，而帧弁N+1在时间上在帧 弁N之后。也就是说，以帧弁N-1、 #N和弁N+1的顺序显示帧弁N-1、 #N 和#固。在图233所示的实例中，将沿如梯度VF (图中自左下附近的边 的右上向内的方向)所示的方向上的截面光水平看作基本不变。因此， 在图233的实例中，可以认为光信号函数F(x, y， t)具有由梯度 Vr表示的在时间空间方向中的连续性。在该情况下，当定义表示在时间和空间方向中的连续性的函数C (x, y， t)，并且用定义的函数C (x， y, t)定义上述公式(152) 的积分范围，则利用上述公式(153)和公式(155)可以计算模拟函数f (x, y， t)的N个特征。函数C (x， y， t)不限于特定函数，只要其为表示连续性方向 的函数。然而下文中，假设釆用线性连续性，并定义对应于作为表示 上述空间方向中的连续性的函数的平移量Cx (y)(公式(151))和 平移量Cy (x)(公式153)的Cx (t)和Cy (t)作为如下文的对应 于其的函数C (x， y， t)。也就是说，如果将对应于表示上述空间方向中的数据连续性的梯 度Gf的在时间和空间方向中的数据连续性取为Vf,并且如果将该梯 度Vf分成在X方向中的梯度(下文称为Vfx )和在Y方向上的梯度(下 文称为Vfy)，则分别地，梯度Vfx由下面公式(156)表示，以及梯 度V&由下面公式(157)表示。Vf =鱼公式(156)Vf =鱼公式(157 )在该情况下，利用公式(156)中的Vfx将函数Cx (t)表示为下 面的7>式(158)。 Gx(t) -Vfxxt公式(158)类似，利用公式(157)中的Vfy将函数Cy (O表示为下面的公式(159 )。Gy(t) =VfyXtyy 公式(159)从而，当定义了表示时间和空间方向中的连续性2511的函数Cx (t)和Cy (t)时，公式(152)的积分范围被表示为公式(160)。ts = t-O. 5 te 二 t+0. 5 ys = y-Gy(tH.5ye = y-cy(t)+o,5xs = x_Gx(t)—0.5xe = x—Gx(t)+0.5 、丄'， 、ex 公式(160)从而，在三维函数模拟方法中，像素值P(x， y， t)与三维模拟 函数f(x， y, t)之间的关系可以利用公式(152)表示，因此，通过 例如利用以公式(160)作为公式(152)右侧的积分范围的最小二乘 法等计算模拟函数f(x， y， t)的n+l个特征，可以估计光信号函数 F(x， y， t)(具有在时间和空间方向中的预定方向上的连续性的现 实世界l的光信号)。图234示出了釆用该三维多项式模拟方法的现实世界估计单元 102的结构实例。注意，通过现实世界估计单元102采用三维函数模拟方法计算的 模拟函数f(x， y， t)(实际上，其特征(系数))不限于特定函数， 在下面的描述中采用了 n (n-N-l)维的多项式。如图234所示，现实世界估计单元102包括条件设置单元2521、 输入图像存储单元2522、输入像素值获取单元2523、积分分量计算单 元2524、正规方程产生单元2525、以及模拟函数产生单元2526。条件设置单元2521设置用于估计对应于关注像素的光信号函数 F(x, y， t)的像素范围(分块范围)、以及模拟函数f(x， y， t) 的维数n。输入图像存储单元2522临时存储来自传感器2的输入图像(像 素值)。输入像素值获取单元2523获取存储在输入图像存储单元2522中 的输入图像的对应于由条件设置单元2521设置的分块范围的输入图 像区域，并将其提供给正规方程产生单元2525作为输入像素值表。也 就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。另外，如上所述，采用三维函数模拟方法的现实世界估计单元102 通过利用上述公式(152)(然而，以公式(153)、公式(156)或公 式(160)为积分范围)的最小二乘法计算模拟函数f (x, y)的N个 特征(在该情况下，为每一维的系数)。通过计算对公式(152)右侧的积分可以将其表示为下面的公式 (161)。nP(x， y. t) = Z WjSj (xs, xe， ys, ye， ts, te) +ei-0 公式(161)在公式(161)中，Wi表示i维项的系数(特征)，另外，Si (xs， xe, ys， ye， ts， te)表示i维项的积分分量。然而，分别地，&表示在 X方向上的积分范围开始位置，Xe表示在X方向上的积分范围结束位 置，ys表示在Y方向上的积分范围开始位置，ye表示在Y方向上的积分范围结束位置，ts表示在t方向上的积分范围开始位置，以及"表示在t方向上的积分范围结束位置。积分分量计算单元2524计算积分分量Si ( xs， xe, ys， ye, ts， te)。 也就是说，积分分量计算单元2524基于由条件设置单元2521设 置的维数和分块范围、从数据连续性检测单元101输出的数据连续性 信息的角度或移动(对于整数范围，在利用上述公式(153 )或公式(156 ) 的情况下的角度，以及在利用上述公式(160)的情况下的移动)计算 积分分量Si(xs， xe，ys, ye， ts， te)，并将计算结果提供给正规方程 产生单元2525作为积分分量表。正规方程产生单元2525在利用从输入像素值获取单元2523提供 的输入像素值表、以及从积分分量计算单元2524提供的积分分量表通 过最小二乘法获得上述公式(161)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元2526。下面将描迷正规方程 的具体实例。模拟函数产生单元2526通过利用矩阵方法求解包括在从正规方 程产生单元2525提供的正规方程表中的正规方程，而计算各个特征 Wi(在该情况下，作为三维多项式的模拟函数f (x， y)的各个系数wj ，并将其输出给图像产生单元103。接着，将参考图235的流程图描述采用三维函数模拟方法的的现 实世界估计处理(图40中步骤S102的处理)。首先，在步骤S2501中，条件设置单元2521设置条件(分块范 围和维数)。例如，假设设置了由L个像素构成的分块范围2441。另外，假 设预定数1 (1为0到L-l中的任意整数)被附加到每个像素。接着，在步骤S2502中，条件设置单元2521设置关注像素。 在步骤S2503中，输入像素值获取单元2523基于由条件设置单 元2521设置的条件(分块范围)获取输入像素值，并产生输入像素值 表。在该情况下，产生由L个输入像素值P (x， y， t)构成的表。这 里，假设将L个输入像素值P (x， y， t)中的每个描述为作为其像素 的数l的函数的P(l)。也就是说，输入像素值表变成包括L个P(O 的表。在步骤S2504,积分分量计算单元2524基于由条件设置单元2521 设置的条件(分块范围和维数)、以及从数据连续性检测单元101提 供的数据连续性信息(角度或移动)计算积分分量，并产生积分分量 表。然而，在该情况下，如上所述，输入像素值不是P(x, y， t)而 是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2524 将上述公式(161)中的积分分量Si(Xs， xe, ys， ye， ts, tj计算为如 积分分量Si (1)的l的函数。也就是说，积分分量表变成包括Lxi Si (1)的表。注意，步骤S2503中的处理和步骤S2504中的处理的顺序不限于 图235中的实例，可以先执行步骤S2504中的处理，或者可以同时执 行步骤S2503中的处理和步骤S2504中的处理。接着，在步骤S2505中，正规方程产生单元2525基于由输入像 素值获取单元2523在步骤S2503中的处理中产生的输入像素值表、以 及由积分分量计算单元2524在步骤S2504的处理中产生的积分分量表，而产生正规方程表。尤其是，在该情况下，利用最小二乘法计算对应于上述公式(161) 的下面公式(162)的特征Wi。对应于此的正规方程如下面公式(163) 所示。<formula>formula see original document page 257</formula> 公式(162 )<formula>formula see original document page 257</formula> 公式(163 )如果定义如公式(163 )所示的正规方程的每个矩阵如公式(164 ) 到(166)所示，则正规方程被表示为如下公式(167)。<formula>formula see original document page 257</formula> 公式(164 )<formula>formula see original document page 258</formula>公式(167 )如公式(165)所示，矩阵WMAT的各个分量为将要获得的特征 Wi。因此，在公式(167)中，如果确定了左侧的矩阵Smat和右側的矩阵PMAT，可以利用矩阵解计算矩阵WMAT (即特征Wi)。尤其是，如公式(164)所示，只要已知上述积分分量Si (1)， 可以计算矩阵Smat的各个分量。积分分量& (1)被包括在从积分分 量计算单元2524提供的积分分量表中，从而正规方程产生单元2525 可以利用积分分量表计算矩阵Smat的毎个分量。另外，如公式(166)所示，只要已知积分分量Si (1)和输入像素值P(l)，可以计算矩阵PMAT的各个分量。积分分量Si(l)与被 包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2523提供的输入像素值表中，从而， 正规方程产生单元2525利用积分分量表和输入像素值表可以计算矩阵pmat的每个分量。从而，正规方程产生单元2525计算矩阵Smat和矩陣Pmat的毎 个分量，并将计算结果(矩阵Smat和矩降Pmat的毎个分量)作为正 规方程表输出给模拟函数产生单元2526。当从正规方程产生单元2525输出正规方程表时，在步骤S2506 中，模拟函数产生单元2526基于正规方程表计算特征Wi (即模拟函 数f (x， y， t)的系数Wi),作为上述公式(167)中的矩阵WMAT 的各个分量。尤其是，可以将上述公式(167)中的正规方程转换为下面的公 式(168 )。WMAT = SMA1TPMAT公式(168)在公式(168)中，左侧矩阵WMAT的各个分量是将要获得的特征Wj。关于矩阵Smat和矩陣pmat的各个分量被包括在从正规方程产生单元2525提供的正规方程表中。因此，模拟函数产生单元2526通 过利用正规方程表计算公式(168 )的右侧中的矩阵而计算矩阵WMAT， 并将计算结果(特征Wi)输出给图像产生单元103。在步骤S2507中，模拟函数产生单元2526确定是否已经完成对 全部像素的处理。在步骤S2507中，在确定仍未完成对全部像素的处理时，该处理 返回步骤S2502，其中重复进行后面的处理。也就是说，随后取未变 成关注像素的像素作为关注像素，并重复进行步骤S2502到S2507。在已经完成对全部像素的处理的情况下(在步骤S5407中，在确 定已经完成对全部像素的处理的情况下)，对现实世界l的估计处理 结束。如上所述，三维函数模拟方法考虑在时间和空间方向上的三维积 分效应代替一维或二维积分效应，因此，可以比一维多项式模拟方法 和二维多项式模拟方法更精确地估计现实世界1的光信号。换句话说，在三维函数模拟方法中，例如，在这样的条件下，其中，每个具有时间-空间积分效应的传感器的多个检测元件(例如图231中传感器2的检测元件2-l)投影现实世界l的光信号，在具有 利用检测元件投影的像素值的多个像素构成的输入图像中，所述输入 图像丢失了现实世界l的光信号的部分连续性(例如，图232中由梯 度Gf表示的、或图233中由梯度vf表示的连续性)，对应于时空方 向中的至少一维方向(例如图233中空间方向X、空间方向Y以及时 间方向t的三维方向)的一个位置的上述像素的上述像素值(例如公 式(153)左侧的输入^^素值P(x， y， z))为通过至少一维方向中的积 分效应获取的像素值(例如，如公式(153)右侧所示，通过对;f莫拟函 数f(x， y, t)在空间方向X、空间方向Y以及时间方向t三维中积 分所获的值)，则图205 (图3)中的现实世界估计单元102 (例如具 有图234所示的结构)利用预定模拟函数f(尤其是，例如，公式(152) 右侧的模拟函数f(x， y， t))模拟表示现实世界中的光信号的光信 号函数F(尤其是，例如图232和图233中的光信号函数F(x, y, t)) 而估计光信号函数F，另外，例如，在图205 (图3)中的数据连续性检测单元101检 测输入图像数据的连续性的情况下，在对应于在图像数据的时空方向 对应于由数据连续性检测单元101检测的数据连续性的至少一维方向 中的位置上的像素的像素值是通过至少一维方向上的积分效应获取的 像素值的条件下，现实世界估计单元102通过利用模拟函数f模拟光 信号函数F而估计光信号函数F。具体为，例如，在这样的条件下，其中，在对应于沿至少一维方 向上离对应于由连续性检测处理单元101检测的数据连续性的直线的 距离(例如上述公式(151)中的平移量Cx(y))的像素的像素值为 通过至少在一维方向中的积分效应获取的像素值(例如，如公式(153) 右侧所示，以上述公式(152)为积分范围，通过对模拟函数f(x， y， t)在X方向、Y方向以及t方向三维中积分所获的值)，则现实世界 估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函 数。因此，三维函数模拟方法可以更精确地估计现实世界l中的光信号。接着，将参考图236到图257描述图像产生单元103 (图3)的 实施例。图236描述了本实施例的特征。如图236所示，本实施例基于现实世界估计单元102采用函数模 拟方法的条件。也就是说，假设作为投影到传感器2中的图像的现实 世界l的信号(光强分布)由预定函数F表示，这是现实世界估计单 元102利用从传感器2输出的输入图像(像素值P)和从数据连续性 检测单元101输出的数据连续性信息由预定函数f模拟函数F而估计 函数F的假设。注意，下文中，在对本实施例的描述中，作为图像的现实世界l 中的信号尤其称为光信号，函数F尤其称为光信号函数F。另外，函 数f尤其称为模拟函数f。在该实施例中，基于该假设，图像产生单元103利用从数据连续 性检测单元101输出的数据连续性信息和从现实世界估计单元102输 出的现实世界估计信息(在图236的实例中，模拟函数f的特征)在 预定时间空间区域上积分模拟函数f，并输出积分值作为输出像素值 M(输出图像)。注意，在该实施例中，将输入像素值描述为P，并 将输出像素值描述为M，以区分输入像素值和输出像素值。换句话说，当对光信号函数F积分一次，光信号函数F变成输入 像素值P，从输入像素值P估计光信号函数F (用模拟函数f模拟)， 再次对估计的光信号函数F (即模拟函数f)积分，从而产生输出像素 值M。因此，下文中，由图像产生单元103执行的对模拟函数f的积 分称为再积分。另外，本实施例称为再积分方法。注意，如下文所述，在再积分方法中，在产生输出像素值M的 情况下，模拟函数f的积分范围不限于在产生输入像素值P的情况下 光信号函数F的积分范围(即，传感器2的检测元件的垂直宽度和水 平宽度、时间方向上的传感器2的曝光时间)，可以采用任何积分范围。例如，在产生输出像素值M的情况下，改变模拟函数f的积分 范围在空间方向上的积分范围，允许改变根据其积分范围的输出图像 的像素间距。也就是说，可以产生空间分辨率。同样，例如，在产生输出像素值M的情况下，改变模拟函数f 的积分范围在时间方向上的积分范围，允许产生时间分辨率。此后，将参考附图分别描述该再积分方法的三种特定方法。也就是说，这些特定方法分别是对应于三种特定函数模拟方法 (现实世界估计单元102的实施例的上述三种特定实例)的方法的再 积分方法。尤其是，第一方法是对应于上述一维多项式模拟方法(一种函数 模拟方法的方法)的再积分方法。因此，在第一方法中，进行一维再 积分，从而下文中，将这样的再积分方法称为一维再积分方法。第二方法是对应于上述二维多项式模拟方法(一种函数模拟方法 的方法)的再积分方法。因此，在第二方法中，进行二维再积分，从 而下文中，将这样的再积分方法称为二维再积分方法。第三方法是对应于上述三维多项式模拟方法( 一种函数模拟方法 的方法)的再积分方法。因此，在第三方法中，进行三维再积分，从 而下文中，将这样的再积分方法称为三维再积分方法。下文中，将以一维再积分方法、二维苒积分方法以及三维再积分 方法的顺序对其进行详细描述。首先将描述一维再积分方法。在一维再积分方法中，假设利用 一维多项式模拟方法产生模拟函 数f (x)。也就是说，假设利用作为n维多项式(ii为任意整数)的模拟函 数f(x)模拟一维波形(在对再积分方法的描述中，将投影到X方向 上的波形称为X截面波形F(x))，在所述一维波形中，其变量为 三维空间中的位置x、 y和z以及时刻t的光信号函数F (x， y， t)被 投影到作为空间方向的X方向、Y方向和Z方向(例如，X方向)的预定方向上、以及作为时间方向的t方向。在该情况下，在一维再积分方法中，如下面公式(168)计算输 出像素值M。M = GexJ"xXef(x)dxs />式(169)注意，在公式(169)中，Xs表示积分开始位置，Xe表示积分结束位置。另外，Ge表示预定增益。尤其是，例如，假设现实世界估计单元102已经产生如图237所 示的模拟函数f (x) (X截面波形F (x)的模拟函数f (x))，其 中以如图237所示的像素3101 (对应于传感器2的预定检测元件的4象 素3101)作为关注像素。注意，在图237的实例中，取像素3101的像素值(输入像素值) 为P，取像素3101的形状为边长为1的方形。另外，在空间方向中， 取平行于像素3101的一边的方向(图中的水平方向)为X方向，取 垂直于X方向的方向(图中为垂直方向)为Y方向。另外，在图237的下方，示出了其中取原点为关注像素3101的 中心的空间方向(X方向和Y方向)中的坐标系(下文中，称为关注 像素坐标系)、以及坐标系中的像素3101。另外，在图237的上方，示出了表示模拟函数f (x)在y-O时 的曲线图(y为在图中下方所示的关注像素坐标系中在Y方向上的坐 标值)。在该曲线图中，平行于图中水平方向的轴线与在图中下方所 示的关注像素坐标系中的X方向上的x轴线相同(原点也相同)，另 外，取平行于图中垂直方向的轴线为表示像素值的轴线。在该情况下，在模拟函数f (x)和像素3101的像素值P之间的 下面公式(170)中的关系成立。X0.5 _05f(x)dx+e/>式(170 )另外，如图237所示，假设像素3101具有由梯度Gf表示的空间 方向中的数据连续性。另外，假设数据连续性检测单元101 (图236)已经输出如图237所示的角度e作为对应于由梯度Gf表示的数据连续 性的数据连续性信息。在该情况下，例如，在一维再积分方法中，如图238所示，在X 方向上-0.5到0.5的范围、同时在Y方向上-0.5到0.5的范围中(其中 图237中的像素3101所在的范围)可以新产生四个像素3111到3114。注意，在图238的下方，示出了与图237中相同的关注像素坐标 系、以及在关注像素坐标系中的像素3111到3114。另外，在图238 的上方，示出了与图237中相同的曲线图(表示在y-O上的模拟函数 f (x)的曲线图)。尤其是，如图238所示，在一维再积分方法中，可以分别进行利 用下面公式(171)计算像素3111的像素值M (1)、利用下面公式 (172)计算像素3112的像素值M (2)、利用下面公式(173)计算 像素3113的像素值M ( 3 )、以及利用下面公式(174 )计算像素3114 的像素值M (4)。=2x/YXe1f(x)dxxs1 xe2M(2) =2x //f(x)dxM(3) =2x JYXe3f(x)dxxs3M(4) -Zx/^f^dx公式(171) 公式(172 )公式(173 )XS4公式(174 )注意，公式(171)中的Xs"公式(172)中的Xs2、公式(173)中的Xd以及公式(174)中的Xs4分别表示相应的公式的积分开始位置。另外，公式(171)中的Xd、公式(172)中的Xe2、公式(173)中的Xd以及公式(174)中的Xe4分别表示相应的公式的积分结束位置。在每个公式(171 )到(174 )的右侧的积分范围变成每个像素3111 到像素3114的像素宽度(在X方向上的长度)。也就是说，每个Xd- Xsi、 Xe2 - XS2、 Xe3 - XS3、 以及Xe4 - Xs4变成0,5。然而，在该情况下，可以考虑，具有与在y-0上的模拟函数f (x)相同的形式的一维波形不是在Y方向上而是在由梯度Gf表示的 数据连续性方向(即角度e方向)上连续(实际上，具有与y = 0时 的X截面波形F (x)相同的形式的波形在连续性方向上连续)。也 就是说，在取在图238中的关注像素坐标系的原点(0， 0)(图237 中像素3101的中心)上的像素值f (0)作为像素值fl的情况下，像 素值fl连续的方向不是Y方向而是由由梯度Gf表示的数据连续性方向(角度e方向)。换句话说,在考虑在Y方向上预定位置y (然而，y为除0以外 的数值)上的模拟函数f (x)的波形的情况下，对应于像素值fl的位 置不是位置(0， y)而是位置(Cx (y) ， y)，其通过在X方向上从 位置(0， y)移动预定量而获得(这里，假设该量还被称为平移量。 另外，平移量是根据在Y方向上的位置y的量，因此假设将该平移量 描述为Cx (y))。因此，作为每个上述公式(171)到公式(174)右侧的积分范围， 需要考虑在其中存在将要获得的像素值M (1)(然而，1是1到4的 任意整数值)的中心，即平移量Cx(y)的Y方向上的位置y而设置 积分范围。尤其是，例如，其中存在像素3111和像素3112的中心的在Y方 向上的位置y不是y = 0而是y - 0.25。因此，模拟函数f (x)在y = 0.25的波形相当于通过将在y = 0 上的模拟函数f (x)的波形在X方向上移动平移量Cx (0.25)而获得 的波形。换句话说，在上述公式(171)中，如果假设相对于像素3111的 像素值M( 1 )是通过在预定积分范围(从开始位置xsl到结束位置xel) 上积分y-O上的模拟函数f (x)而获得，则其积分范围变为不是从 开始位置xsl = -0.5到结束位置xel=0 (像素3111在X方向上所占的范 围本身)，而是如图238所示的范围，即从开始位置Xs产-0.5+Cx(0.25) 到结束位置xel=0+Cx( 0.25 )(在将像素3111临时移动平移量Cx( 0.25 )的情况下，像素3111在X方向上所占的范围)。类似，在上述公式(171)中，如果假设相对于像素3112的像素 值M ( 2 )是通过在预定积分范围(从开始位置&2到结束位置xe2)上 积分y = 0上的模拟函数f (x)而获得，则其积分范围变为不是从开 始位置xs2 = 0到结束位置xe2=0.5 (像素3112在X方向上所占的范围 本身)，而是如图238所示的范围，即从开始位置xs2=0+Cx (0.25) 到结束位置xe2=0.5+Cx (0.25)(在将像素3112临时移动平移量Cx (0.25)的情况下，像素3112在X方向上所占的范围)。另外，例如，其中存在像素3113和像素3114的中心的在Y方向 上的位置y不是y = 0而是y = -0.25。因此，在y = -0.25上的模拟函数f (x)的波形相当于通过在X 方向上将y-O上的模拟函数f (x)的波形移动平移量Cx (-0.25)而 获得的波形。换句话说，在上述公式(173)中，如果假设相对于像素3113的 像素值M( 3 )是通过在预定积分范围(从开始位置xs3到结束位置xe3) 上积分y = 0上的模拟函数f (x)而获得，则其积分范围变为不是从 开始位置xs3 = -0.5到结束位置Xef0(像素3113在X方向上所占的范 围本身)，而是如图238所示的范围，即从开始位置xs3= - 0.5+Cx( -0.25 ) 到结束位置xe3=0+Cx( -0.25 X在将像素3113临时移动平移量Cx( -0.25 ) 的情况下，像素3113在X方向上所占的范围)。类似，在上述公式(173)中，如果假设相对于像素3114的像素值M ( 4 )是通过在预定积分范围(从开始位置Xs4到结束位置xe4)上积分y = 0上的模拟函数f (x)而获得，则其积分范围变为不是从开 始位置xs4 - 0到结束位置xe4=0.5 (像素3114在X方向上所占的范围 本身)，而是如图238所示的范围，即从开始位置x,0+Cx (-0.25) 到结束位置xe4=0.5+Cx (-0.25)(在将像素3114临时移动平移量Cx (-0.25)的情况下，像素3114在X方向上所占的范围)。因此，图像产生单元102(图236)通过对公式(171)到公式(174) 中的每个代入上述积分范围的相应的积分范围而计算上述公式(171)到公式(174)，并输出这些公式的计算结果作为输出像素值M (1) 到M ( 4 )。从而，图像产生单元102通过采用一维再积分方法可以生成比输 出像素3101具有更高分辨率的四个像素，即像素3111到像素3114(图 238)作为位于来自传感器2 (图236)的输出像素3101 (图237 )上 的像素。另外，虽然图中没有示出，如上所述，除了像素3111到像素 3114，图像产生单元102通过适当变化积分范围可以产生相对于输出 像素3101具有任意幂数的空间分辨率的像素，而不会降级。图239示出了使用该一维再积分方法的图像产生单元103的结构实例。如图239所示，在该实例中所示的图像产生单元103包括条件 设置单元3121、特征存储单元3122、积分分量计算单元3123、以及 输出像素值计算单元3124。条件设置单元3121基于从现实世界估计单元102提供的现实世 界估计信息(在图239的实例中的模拟函数f (x)的特征)设置模拟 函数f (x)的维数n。条件设置单元3121还设置在再积分模拟函数f (x)的情况中(在 计算输出像素值的情况中)的积分范围。注意，由条件设置单元3121 设置的积分范围不需要为像素的宽度。例如，在空间方向(X方向) 上积分模拟函数f(x)，因此，只要已知相对于来自传感器2(图236) 的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元 103计算的像素)的相对尺寸(空间分辨率的幂数)，则可以确定具 体积分范围。因此，条件设置单元3121可以设置例如空间分辨率幂数 作为积分范围。特征存储单元3122临时存储从现实世界估计单元102顺序提供 的模拟函数f (x)的特征。然后，当特征存储单元3122存储了模拟 函数f ( x)的全部特征，则特征存储单元3122产生包括模拟函数f ( x) 的全部特征的特征表，并将其提供给输出像素值计算单元3124。另外，如上所述，图像产生单元103利用上述公式(169)计算输出像素值M，但是包括在上述公式(169)的右侧的模拟函数f(x)具体由下面公式(175)表示。 n i<formula>formula see original document page 268</formula>公式(175 )注意，在公式(175)中，Wj表示从现实世界估计单元102提供 的模拟函数f (x)的特征。因此，当将公式(175)的模拟函数f (x)代入上述公式(169) 右侧的模拟函数f (x)以展开(计算)公式(169)的右侧，则输出 像素值M被表示为下面的公式(176)。<formula>formula see original document page 268</formula>公式(176 )在公式(176)中，Ki (xs, xe)表示i维项的积分分量。也就是说，积分分量Kj (xs， xe)如下面公式(177)所示。<formula>formula see original document page 268</formula>公式(177)积分分量计算单元3123计算积分分量Kj ( xs， xe)。尤其是，如公式(177)所示，只要已知积分范围的开始位置xs和结束位置x。增益Ge和i维项的i，则可以计算积分分量Ki (xs，xe)。其中，利用由条件设置单元3121设置的空间分辨率幂数(积分范围)确定增益Ge。利用由条件设置单元3121设置的维数n确定范围i。 另外，利用现在将产生的输出像素的中心像素位置(x， y)和像 素宽度、以及表示数据连续性方向的平移量Cx (y)确定积分范围的 开始位置&和结束位置&。注意，当现实世界估计单元102产生模拟 函数f(x)时，(x， y)表示距离关注像素的中心位置的相对位置。另外，利用由条件设置单元3121设置的空间分辨率幂数(积分 范围)确定现在将产生的输出像素的中心像素位置(x， y)和像素宽 度。另外，对于平移量Cx (y)和从数据连续性检测单元101提供的 角度e，如下面公式(178)和公式(179)的关系成立，因此，利用 角度e确定平移量Cx (y)。Gf = tan0 - ，ax 公式(178 )Gx(y)-ff 公式(179 )注意，在公式(178)中，Gf表示表示数据连续性方向的梯度，e 表示从数据连续性检测单元101 (图236 )输出的数据连续性信息之一 的角度(作为空间方向之一的X方向与由梯度Gf表示的数据连续性 方向之间的角度)。另外，dx表示在X方向上的微小移动量，以及 dy表示相当于dx在Y方向(垂直于X方向的空间方向)上的微小移动量o因此，积分分量计算单元3123基于由条件设置单元3121设置的 维数和空间分辨率幂数(积分范围)、以及从数据连续性检测单元101输出的数据连续性信息的角度e而计算积分分量Ki (Xs， xe),并将计算结果提供给输出像素值计算单元3124作为积分分量表。输出像素值计算单元3124利用从特征存储单元3122提供的特征表、以及从积分分量计算单元3123提供的积分分量表而计算上述公式 (176)的右侧，并将计算结果输出作为输出像素值M。接着，将参考图240中的流程图描述采用一维再积分方法利用图像产生单元103 (图239)的图像产生处理(图40的步骤S103中的处理)。例如，现在，假设现实世界估计单元102已经产生如图237所示 的模拟函数f (x)，同时，取上述如图237所示的像素3101作为在 上述图40的步骤S102的处理中的关注像素。另外，假设数据连续性检测单元101已经输出如图237所示的角 度e作为在上述图40的步骤S101中的处理中的数据连续性信息。在该情况下，条件设置单元3121在图240的步骤S3101中设置 条件(维数和积分范围)。例如，现在，假设设置维数为5，另外设置空间四倍密度(空间 分辨率幂数，其导致像素的宽度间距在上、下、左、右边上变成1/2 幂)作为积分范围。也就是说，在该情况下，因此，已经设置在X方向上的-0.5到 0.5的范围、同时在Y方向上的-0.5到0.5的范围(图237的像素3101 的范围上)上新产生像素3111到像素3114四个像素，如图238所示。在步骤S3102中，特征存储单元3122获取从现实世界估计单元 102提供的模拟函数f (x)的特征，并产生特征表。在该情况下，从 现实世界估计单元102提供作为5维多项式的模拟函数f (x)的系数 w。到w5， 因此，产生(w0， 'w" w2， w3， w4， w5)作为特征表。在步骤S3103中，积分分量计算单元3123基于由条件设置单元 3121设置的条件(维数和积分范围)、已经从数据连续性检测单元101 提供的数据连续性信息(角度e)而计算积分分量，并产生积分分量 表。尤其是，例如，如果假设各个现在将产生的像素3111到3114被附加数(下文称该数为模数)1到4，积分分量计算单元3123将上述公式(177)的积分分量Ki (xs， xe)计算为1的函数(然而，l表示模数)，如如下面公式(180)左侧所示的积分分量Ki (1)。 Ki u) = Ki (Xs' xe) 公式(180)尤其是，在该情况下，计算如下面公式(181)所示的积分分量kj(2) -ki(0-Gx(-0.25),0.5-Cx(-0.25)) kj(3) -k^-O.S—GxaXZSLO-C^O.ZS))^(4) -kiaj—c^o.zsho.s-CxOJ.zs))公式(181)注意，在公式(181)中，左侧表示积分分量Ki (1)，右侧表示 积分分量Ki(Xs， xe)。也就是说，在该情况下，1是1到4中的任意 一个，i是0到5中的任意一个，因此计算6Kj (1) , 6IQ (2) ， 6Ki (3 )，以及6Kj ( 4 )共24个Ki (1)。更具体的是，首先，积分分量计算单元3123利用从数据连续性 检测单元101提供的角度e从上述公式(178)和公式(179)计算每 个平移量Cx (-0.25 )和Cx ( 0.25 )。接着，积分分量计算单元3123利用计算的平移量Cx (-0.25 )和 Cx (0.25)计算公式(181)中四个公式每个右侧的关于i = 0到5的 积分分量Ki(Xs， xe)。注意，在该对积分分量Ki(Xs， xe)的计算中， 釆用了上述公式(177)。随后，积分分量计算单元3123根据公式(181)将计算的24个 积分分量Kj(Xs， xe)的每个转换成相应的积分分量Kj (1)，并产生 包括被转换成的24个积分分量Kj (1)(即，6Kj (1) 、 6Ki (2)、 6Ki (3)以及6Ki (4))的积分分量表。注意，步骤S3102中的处理和步骤S3103中的处理的顺序不限于 图240中的实例，可以先执行步骤S3103中的处理，或者可以同时执 行步骤S3102中的处理和步骤S3103中的处理。接着，在步骤S3104中，输出像素值计算单元3124基于由特征 存储单元3122在步骤S3102中的处理产生的特征表、以及由积分分量 计算单元3123在步骤S3103的处理中产生的积分分量表分别计算输出 像素值M (1)到M (4)。尤其是，在该情况下，输出像素值计算单元3124通过计算对应 于上述公式(176)的下面公式(182)到公式(185)的右侧而计算如 下中的每个像素31U的像素值M (1)(模数为l的像素)、像素 3112的像素值M ( 2 )(模数为2的像素)、像素3113的像素值M (3)(模数为3的像素)、以及像素3114的像素值M(4)(模数 为4的像素)。<formula>formula see original document page 272</formula>在步骤S3105中，输出像素值计算单元3124确定是否已经完成 对全部像素的处理。在步骤S3105中，在确定仍未完成对全部像素的处理时，该处理 返回步骤S3102,其中重复进行后面的处理。也就是说，随后取未变 成关注像素的像素作为关注像素，并重复进行步骤S3102到S3104。在已经完成对全部像素的处理的情况下(在步骤S3105中，在确 定已经完成对全部像素的处理的情况下)，输出像素值计算单元3124 在步骤S3106中输出图像。然后，图像产生处理结束。下面，将参考图241到图248,关于预定输入图像，描述通过釆 用一维再积分方法获得的输出图像和通过釆用其它方法(常规分类适应处理)获得的输出图像的差别。图241示出了输入图像的原始图像，图242示出了对应于图241 中的原始图像的图像数据。在图242中，图中垂直方向的轴线表示像 素值，以及图中右下方向的轴线表示作为图像的空间方向的一个方向 的X方向，图中右上方向的轴线表示作为图像的空间方向的另一个方 向的Y方向。注意，在后面的图244、图246、以及图248中的各个 轴线对应于图242中的轴线。图243示出了输入图像的实例。如图243所示的输入图像是通过 取属于如图241所示的由2x2个像素构成的块的像素的像素值的平均 值作为一个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方向上积分如图241所示的图像而获得的图像，其模仿了传感 器的积分性质。另外，图244示出了对应于图243中的输入图像的图 像数据。图241所示的原始图像包括离垂直方向顺时针倾斜约5。的细线图 像。类似，如图243所示的输入图像包括离垂直方向顺时针倾斜约5° 的细线图像。图245示出了通过对如图243所示的输入图像进行常规分类适应 处理而获得的图像(下文中，由图245所示的图像称为常规图像)。 另外，图246示出了对应于常规图像的图像数据。注意，分类适应处理由分类处理和适应处理构成，分类调节处理 根据数据的性质分类数据，并对每一类的数据进行适应处理。在适应 处理中，通过利用预定拍系数进行映射，将例如低质量或标准质量图 像转换成高质量图像。图247示出了通过对如图243所示的输入图像施加应用本发明的 一维再积分方法获得的图像(下文中，如图247所示的图像称为根据 本发明的图像)。另外，图248示出了对应于根据本发明的图像的图可以理解，当将图245中的常规图像与图247中的根据本发明的 图像进行比较时，在常规图像中的细线图像不同于图241的原始图像 中的细线，但是，另一方面，在根据本发明的图像中，细线图像与图 241中的原始图像的细线几乎相同。该差异是由以下的差别导致的，其中，常规类型分类适应处理是 基于(源于)图243中的输入图像进行处理的方法，另一方面，根据 本发明的一维再积分方法是考虑细线的连续性而估计图241中的原始 图像(产生对应于原始图像的模拟函数f (x))、并基于(源于)估 计的原始图像进行处理(进行再积分以计算像素值)的方法。从而，在一维再积分方法中，通过基于作为利用一维多项式模拟 方法产生的一维多项式的模拟函数f ( x )(现实世界中的X截面波形 F(x)的模拟函数f(x))，在任意范围上积分模拟函数f (x)而产生输出图像(像素值)。因此，在一维再积分方法中，可以比常规的其它方法输出更接近原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。换句话说， 一维再积分方法基于如下的条件图236中的数据连 续性检测单元101检测由多个像素构成的输入图像中的数据连续性， 所述像素具有像素值，其中由每个具有空间-时间积分效应的传感器 2的多个检测元件将现实世界1的光信号投影到输入图像上，并被所 述检测元件投影，在输入图像中丢失了现实世界l的光信号的部分连 续性，并且在对应于输入图像的时间-空间方向的一维方向中的位置 的像素的像素值是通过在其一维方向上的积分效应而获取的像素值的 假设下，现实世界估计单元102响应检测的数据连续性通过利用预定 模拟函数f (x)模拟表示现实世界l的光信号的光信号函数F (尤其 是，X截面波形F(x))而估计光信号函数F。具体说，例如， 一维再积分方法基于这样的条件在这样的假设 下，对应于沿一维方向离对应于检测的数据连续性的直线的距离的每 个像素的像素值是通过在其一维方向上的积分效应而获得的像素值， 则用模拟函数f (x)模拟X截面波形F (x)。在一维再积分方法中，例如，图236 (图3)中的图像产生单元 103通过积分由现实世界估计单元102估计的X截面波形F (x)，即 基于该假设的在一维方向上的希望增量中的模拟函数f (x)，而产生 对应于具有希望尺寸的像素的像素值M，并将其输出作为输出图像。因此，在一维再积分方法中，可以比常规的其它方法输出更接近 原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。另外，在一维再积分方法中，如上所述，积分范闺是任意的，因 此，可以通过变化积分范围产生与输入图像的分辨率不同的分辨率(时 间分辨率或空间分辨率)。也就是说，可以产生相对于输入图像分辨率具有任意幂次的分辨率以及整数值的图像。另外， 一维再积分方法可以使用比其它再积分方法更少的计算处理量而计算输出图像(像素值)。接着，将参考图249到图255描述二维再积分方法。二维再积分方法基于这样的条件，其中已经利用二维多项式模拟 方法产生模拟函数f (x， y)。也就是说，假设已经利用被投影到空间方向上的波形模拟了表示 现实世界l中的光信号(图236)的图像函数F (x， y, t)，所述光 信号具有由梯度Gp表示的空间方向中的连续性，即，利用作为n维 多项式(n为任意整数)的模拟函数f (x，y)模拟在X-Y平面上的波 形F (x， y)，如图249所示。在图249中，图中分别为，水平方向表示作为空间方向中的一个 方向的X方向，右上方向表示作为空间方向中的另一个方向的Y方向，以及垂直方向表示光水平。GF表示作为空间方向中的连续性的梯度。注意，在图249的实例中，取连续性方向为空间方向(X方向和 Y方向)，从而取将要模拟的光信号的投影函数为函数F (x， y), 但是如下文所述，函数F (x, t)或函数F (y， t)可以是根据连续性 方向的模拟目标。在图249中的实例的情况下，在二维再积分方法中，如下面公式 (186)计算输出像素值M。M = Gex/y:e/x:ef(x，y)dxdy公式(186 )注意，在公式(186)中，ys表示在Y方向上的积分开始位置， 以及ye表示在Y方向上的积分结束位置。类似，Xs表示在X方向上的积分开始位置，以及Xe表示在X方向上的积分结束位置。另外，Ge表示预定增益。在公式(186)中，积分范围可以任意设置，因此，在二维积分 方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传 感器2 (图236 )输入的图像的像素)具有任意幂次的空间分辨率的像 素，而不会降级。图250示出了采用二维再积分方法的图像产生单元103的給构实例。如图250所示，在该实例中所示的图像产生单元103包括条件 设置单元3201、特征存储单元3202、积分分量计算单元3203、以及 输出像素值计算单元3204。条件设置单元3201基于从现实世界估计单元102提供的现实世 界估计信息(在图250的实例中的模拟函数f (x， y)的特征)设置 模拟函数f (x， y)的维数n。条件设置单元3201还设置在再积分模拟函数f (x， y)的情况中 (在计算输出像素值的情况中)的积分范围。注意，由条件设置单元 3201设置的积分范围不需要为像素的水平或垂直宽度。例如，在空间 方向(X方向或Y方向)上积分模拟函数f (x， y)，因此，只要已 知相对于来自传感器2的输入图像的每个像素的空间尺寸的输出像素 (将由图像产生单元103现在产生的像素)的相对尺寸(空间分辨率 的幂数)，则可以确定具体积分范围。因此，条件设置单元3201可以 设置例如空间分辨率幂数作为积分范围。特征存储单元3202临时存储从现实世界估计单元102顺序提供 的模拟函数f(x， y)的特征。然后，当特征存储单元3202存储了模 拟函数f(x， y)的全部特征时，则特征存储单元3202产生包括模拟 函数f (x， y)的全部特征的特征表，并将其提供给输出像素值计算 单元3124。现在，将详细描述模拟函数f (x， y)。例如，假设传感器2 (图236)已经检测出具有由上述图249所 示的梯度GF表示的空间方向连续性的现实世界1的光信号(由波形F (x， y)表示的光信号)，并将其输出作为输入图像(像素值)。另外，例如，假设数据连续性检测单元101 (图3)已经对输入 图像的在X方向上的4个像素和在Y方向上的5个像素共20个像素 (图中由虛线表示的20个方形)构成的输入图像的区域3221进行了 其处理，并输出角度6 (在由对应于梯度Gp的由梯度Gf表示的数据连续性方向与x方向之间的角度e)作为数据连续性信息的一个，如图251所示。注意，如在现实世界估计单元102所示，数据连续性检测单元101可以只输出关注像素上的角度e，因此，数据连续性检测单元ioi的处理区域不限于输入图像中的上述区域3221。另外，在输入图像的区域3221中，图中水平方向表示作为空间 方向的一个方向的X方向，以及图中垂直方向表示作为空间方向的另 一个方向的Y方向。另外，在图251中，取为自左的第二个像素、同时为自底部的第 三个像素的像素作为关注像素，并建立(x， y)坐标系，取关注像素 的中心为原点(a， 0)。将在X方向上相对于通过原点(0， 0)并具 有角度e的直线(具有表示数据连续性方向的梯度Gf的直线)的相对 距离(下文中，称为截面方向距离)描述为x，。另外，在图251中，右侧的曲线图是表示作为n维(n为任意整 数)多项式的模拟函数f (x，)，其为模拟一维波形(下文中称为X 截面波形F(x，))的函数，在所述一维波形中，将变量为在三维空 间中的位置x、 y和z、以及时刻t的图4象函数F(x， y， t)在X方向 上投影到Y方向中的任意位置y上。在右侧曲线图中的轴线中，图中 水平方向上的轴线表示截面方向距离，以及图中垂直方向上的轴线表 示像素值。在该情况下，如图251所示的模拟函数f (x，)是n维多项式， 因而由下面/〉式(187)表示。门f (X，) = W。+W，X，+W2X， +…+WnX，n = Z W,X''i=() 公式(187)另外，由于角度e确定，因此具有角度e并通过原点(0， O)的直线是唯一确定的，在Y方向上的任意位置y上，直线在X方向上的位置xt由下面公式(188)表示。然而，在公式(188)中，s表示cote。Xi - s x y公式(188)也就是说，如图251所示，由坐标值(xp y)表示对应于由梯 度Gf表示的数据连续性的直线上的点。利用公式(188)，将截面方向距离x，表示成如下面公式(189)。x'= x -xi = x -s x y 公式us"因此，利用公式(187)和公式(189)，将输入图像区域3221内的任意位置(x, y)上的模拟函数f(x， y)表示成下面的公式(190)。nf(x，y) = Z Wj(x-sxy)i=t) 公式(190)注意，在公式(190)中，Wi表示模拟函数f (x, y)的特征。现在，将返回图250进行描述，其中从现实世界估计单元102提供包括在公式(190)中的特征Wi，并将其存储到特征存储单元3202中。当特征存储单元3202存储了由公式(190)表示的全部特征Wi，则特征存储单元3202产生包括全部特征Wi的特征表，并将其提供给输出像素值计算单元3204。当将公式(190)的模拟函数f (x, y)代入上述公式(186)右侧的模拟函数f (x， y)以展开(计算)公式(186)的右侧，则输出像素值M被表示为下面的公式(191)。…J"Kxrsxy/2^-SXys)i+2-(XrSXy/2+(Xs-Sxys)i+2l M^eXjl WjX S(i+"(i+2) n=Z WjXkj(Xs，Xe，ys'ye)i=0公式(191)在公式(191)中，Ki ( xs， xe， ys， ye )表示i维项的积分分量。也就是说，积分分量Ki (xs， xe, ys， ye)如下面公式(192)所示。 ki(xs，xe，ys，ye)=r J(Vsxye)i+2-(Xe-sxys)i+2-(Xs-Sxye)i+2+(Xs-Sxys)i+2) 一、 s(i+1)(i+2) ^~~ >式(192)积分分量计算单元3303计算积分分量Ki (xs， xe， ys， ye)。 尤其是，如公式(191)和公式(192)所示，只要已知积分范围 在X方向上的开始位置&和在X方向上的结束位置Xe、积分范围在Y 方向上的开始位置h和在Y方向上的结束位置ye、 i维项的增益Ge和i，则可以计算积分分量Ki( Xs魯xc》ys》J o其中，利用由条件设置单元3201设置的空间分辨率幂数(积分范围)确定增益Ge。利用由条件设置单元3201设置的维数n确定范围i。变量s如上所述为cote，从而由从数据连续性检测单元101输出的角度e确定。另外,由现在将产生的输出像素的中心像素位置(x， y)和像素 宽度确定积分范围在X方向上的开始位置&和在X方向上的结束位 置xe、以及积分范围在Y方向上的开始位置ys和在Y方向上的结束 位置ye中的每一个。注意，当现实世界估计单元102产生模拟函数f (x)时，(x, y)表示距离关注像素的中心位置的相对位置。另外，利用由条件设置单元3201设置的空间分辨率幂数(积分 范围)确定现在将产生的输出像素的中心像素位置(x， y)和像素宽 度。因此，积分分量计算单元3203基于由条件设置单元3201设置的 维数和空间分辨率幂数(积分范闺)、以及从数据连续性检测单元101 输出的数据连续性信息的角度e而计算积分分量KiUs, Xe， ys, ye), 并将计算结果提供给输出像素值计算单元3204作为积分分量表。输出像素值计算单元3204利用从特征存储单元3202提供的特征 表、以及从积分分量计算单元3203提供的积分分量表而计算上述公式 (191)的右侧，并将计算结果输出作为输出像素值M。接着，将参考图252中的流程图描述采用二维再积分方法利用图 像产生单元103 (图251)的图像产生处理(图40的步骤S103中的处 理)。例如，假设已经将如图249所示的由函数F (x， y)表示的光信 号投影到传感器2中以变成输入图像，并且，现实世界估计单元102 已经产生用于模拟函数F (x， y)的模拟函数f(x， y)，其中取上述 如图253所示的一个像素3231作为在上述图40的步骤S102的处理中 的关注像素。注意，在图253中，取像素3231的像素值(输入像素值)为P， 取像素3231的形状为边长为1的方形。另外，在空间方向中，取平行 于《象素3231的一边的方向为X方向，取垂直于X方向的方向为Y方 向。另外，设置原点为像素3231的中心的空间方向(X方向和Y方 向)中的坐标系(下文中称为关注像素坐标系)。另外，假设在图253中，取像素3231为关注像素的数据连续性检测单元ioi在上述图40的步骤sioi的处理中，已经输出角度e作为对应于由梯度Gf表示的数据连续性的数据连续性信息。下面返回图252描述，在该情况下，条件设置单元3201在步骤 S3201中设置条件(维数和积分范围)。例如，现在，假设设置维数为5,另外设置空间四倍密度(空间 分辨率幂数，其导致像素的间距宽度在上、下、左、右边上变成1/2 幂)作为积分范围。也就是说，在该情况下，已经设置在X方向上的-0.5到0.5的范 围、同时在Y方向上的-0.5到0.5的范围(图253的^f象素3231的范围 上)上新产生像素3241到像素3244四个像素，如图254所示。注意， 在图254中，示出了与图253相同的关注像素坐标系。另外，在图254中，M (1)表示现在将产生的像素3241的像素 值、M(2)表示现在将产生的像素3242的像素值、M(3)表示现在 将产生的像素3243的像素值、以及M( 4 )表示现在将产生的像素3244 的像素值。现在返回图252描述，在步骤S3202中，特征存储单元3202获 取从现实世界估计单元102提供的模拟函数f (x， y)的特征，并产 生特征表。在该情况下，从现实世界估计单元102提供作为5维多项 式的模拟函数f (X)的系数W。到Ws，因此，产生(Wo， w" w2， w3， w4， w5)作为特征表。在步骤S3203中，积分分量计算单元3203基于由条件设置单元 3201设置的条件(维数和积分范围)、从数据连续性检测单元101提供的数据连续性信息(角度e)而计算积分分量，并产生积分分量表。尤其是，例如，假设数(下文称该数为模数)l到4被分别附加到现在将产生的像素3241到3244,积分分量计算单元3203将上述公式(191)的积分分量Kj (Xs， xe， ys， ye)计算为1的函数(然而，1表示模数)，如如下面公式(193)左侧所示的积分分量Ki (1)。 Ki (1) - Ki (Xs, xe, ys, ye)公式(193 )尤其是，在该情况下，计算如下面公式(194)所示的积分分量 Ki (1)。k;n) - kj-0.5,0, 0,0.5〉 (0， 0. 5， 0， 0. 5) (一O. 5, 0, -O. 5,0) (0， 0.5， 一O. 5,0)k(2) =k(3) =k(4) =k公式(194 )注意，在公式(194)中，左侧表示积分分量Ki (1),右侧表示 积分分量Ki (xs， xe， ys， ye)。也就是说，在该情况下，l是1到4 中的任意一个，i是0到5中的任意一个，因此计算6Ki(1) ， 6 Kj (2 ) ， 6Ki ( 3 )，以及6Kj ( 4 )共24个Ki (1)。更具体的是，首先，积分分量计算单元3203利用从数据连续性 检测单元101提供的角度e计算上述公式(188)的变量s(s-cote)。接着，积分分量计算单元3203利用计算的变量s计算公式(194 ) 中四个公式每个右侧的关于i-O到5的积分分量Kj(Xs， xe, ys， ye)。 注意，在该对积分分量Ki (xs， xe， ys， ye)的计算中，采用了上述公 式(191)。随后，积分分量计算单元3203根据公式(194 )将计算的24个 积分分量Ki(Xs， xe， ys， ye)的每个转换成相应的积分分量Ki (1)， 并产生包括被转换成24个积分分量Kj (1)(即，6 Ki (1) 、 6 Kj ( 2 )、 6Kj ( 3 )以及6 Kj ( 4 ))的积分分量表。注意，步骤S3202中的处理和步骤S3203中的处理的顺序不限于 图252中的实例，可以先执行步骤S3203中的处理，或者可以同时执 行步骤S3202中的处理和步骤S3203中的处理。接着，在步骤S3204中，输出像素值计算单元3204基于由特征存储单元3202在步骤S3202中的处理产生的特征表、以及由积分分量 计算单元3203在步骤S3203的处理中产生的积分分量表分别计算输出 像素值M (1)到M ( 4 )。尤其是，在该情况下，输出像素值计算单元3204通过计算对应 于上述公式(191)的下面公式(195)到公式(198)的右侧而计算如 图254所示的如下中的每个像素3241的像素值M (1)(模数为1 的像素)、像素3242的像素值M ( 2 )(模数为2的像素)、像素3243 的像素值M ( 3 )(模数为3的像素)、以及像素3244的像素值M ( 4 ) (模数为4的像素)。M(" = S Wj xkji =0M(2) = S WjXkj(2)i=0M(3) = I] WjXkj(3)i=0M(4) - i WjXkj(4)i=0公式(195 )公式(196 )公式(197)乂>式(198)然而，在该情况下，公式(195)到公式(198)的每个n变为5。在步骤S3205中，输出像素值计算单元3204确定是否已经完成 对全部像素的处理。在步骤S3205中，在确定仍未完成对全部像素的处理时，该处理 返回步骤S3202，其中重复进行后面的处理。也就;l:说，随后取未变 成关注像素的像素作为关注像素，并重复进行步骤S3202到S3204。在已经完成对全部像素的处理的情况下(在步骤S3205中，在确 定已经完成对全部像素的处理的情况下)，输出像素值计算单元3204 在步骤S3206中输出图像。然后，图像产生处理结束。从而，通过采用一维再积分方法可以生成比输出像素3231具有 更高空间分辨率的四个像素，即像素3241到像素3244 (图254)作为 位于来自传感器2 (图236)的输入图像的像素3231 (图253 )上的像素。另夕卜，虽然图中没有示出，如上所述，除了像素3241到像素3244， 图像产生单元103通过适当变化积分范围可以产生相对于输入像素 3231具有任意幂数的空间分辨率的像素，而不会降级。如上所述，在描述二维再积分方法中，已经采用了相对于空间方 向(X方向和Y方向)对模拟函数f (x， y)进行二维积分的实例， 但是可以将二维再积分方法用于时间-空间方向(X方向和t方向，或 Y方向和t方向)。也就是说，上述实例是这样的实例，其中现实世界l中的光信号 (图236 )具有由如图249所示的梯度GF表示的空间方向中的连续性， 以及因此，如上述^>式(186)所示，采用如乂>式(186)所示的包括 空间方向(X方向和Y方向)中的二维积分的公式。然而，关于二维 积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间 方向(X方向和t方向，或Y方向和t方向)。换句话说，在作为二维再积分方法的假设的二维多项式模拟方法 中，即使在这样的情况下，其中，表示光信号的函数F(x， y, t)不 仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然 而，X方向和t方向，或Y方向和t方向)，这可以利用二维多项式 模拟。尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象 的情况下，对象的移动方向由如图255所示的X-t平面中的梯度VF 表示。换句话说，可以认为梯度Vp表示在X-t平面中的时间和空间 方向上的连续性方向。因此，数据连续性检测单元101 (图236)可以 输出如图255所示的移动e (严格地说，虽然图中没有示出，移动e 是由用对应于梯度Vp的梯度Vf表示的数据连续性方向与空间方向中 的X方向产生的角度)作为数据连续性信息，其对应于表示在X-t平面中的时间和空间方向上的连续性的梯度vF、以及角度e (对应于表示在X-Y平面中空间方向中的连续性的梯度GF的数据连续性信 息)。另外，采用二维多项式模拟方法的现实世界估计单元102(图236 )通过用移动e代替角度e，可以以与上述方法相同的方法计算模拟函数f(X， t)的系数(特征)Wi。然而，在该情况下，将要使用的公式不是上述公式(190)，而是下面的公式(199)。<formula>formula see original document page 284</formula>
一 公式(199)注意，在公式(199)中，s为cote (然而，e是移动)。因此，采用二维再积分方法的图像产生单元103 (图236)通过 将上述公式(199)的f(x， t)代入下面公式(200)的右侧并计算可 以计算像素值M。M-GexJ* e fXef(x， t)dxdts s 公式(200)注意，在公式(200)中，ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。类似，Xs表示在X方向上的积 分开始位置，以及Xe表示在X方向上的积分结束位置。另外，Ge表 示预定增益。可选的是，可以以与上述函数f(X， t)相同的方法处理才莫拟函数f (y， t)，其关注空间方向Y而不是空间方向X。另外，在公式(199)中，通过将t方向看作常量，可以获得不 在时间方向上积分的数据，即没有由于移动模糊的数据，即，通过省 略在t方向上的积分而进行积分。换句话说，该方法可以看作一种二 维再积分方法，因为在二维多项式的一个特定维度为常量的条件下进 行再积分，或者实际上，可以看作一种一维再积分方法，因为在X方 向上进行一维再积分。另外，在公式(200)中，可以任意设置积分范围，因此，在二 维再积分方法中，通过适当地变化积分范围，可以产生相对于原始像 素(来自传感器2(图236)的输入图像的像素)具有任意幂数的分辨 率的像素，而不会降级。也就是说，在二维再积分方法中，通过适当地变化在时间方向t 上的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方的积分范围可以产生空间分辨率。另外，通 过适当地变化在时间方向t上、和在空间方向X上每个的积分范围可 以同时产生时间分辨率和空间分辨率。注意，如上所述，即使在一维再积分方法中，可以进行产生时间 分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论 上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或 更多维积分下才有可能。也就是说，只有通过采用二维再积分和下述 的三维再积分方法，才可以同时产生时间分辨率和空间分辨率。另外，二维再积分方法考虑二维积分效应而不是一维积分效应， 因此，可以产生更接近现实世界l中的光信号(图236)的图像。换句话说，在二维再积分方法中，例如，图236 (图3)中的数 据连续性检测单元IOI检测由多个像素构成的输入图像的数据的连续 性(例如，由图251中的梯度Gf表示的数据连续性)，所述像素具有 像素值，其中由每个具有空间-时间积分效应的传感器2的多个检测 元件投影将现实世界l的光信号投影为输入图像，并且被所述图像检 测元件所投影，在输入图像中丢失了现实世界l的光信号的部分连续 性(例如由图149中的梯度Gp表示的连续性)。随后，例如，在这样的假设下，对应于图像数据的时间-空间方 向的二维方向(例如图249中的空间方向X和空间方向Y)中的至少 一个位置的像素的像素值是通过在至少二维方向上的积分效应而获取 的像素值，图236 (图3)中的现实世界估计单元102响应由连续性检 测单元检测的数据连续性通过利用作为多项式的模拟函数f (x， y) 模拟表示现实世界l的光信号的光信号函数F (尤其是，图249中的 函数F(x， y))而估计光信号函数F。具体说，例如，在这样的条件下，对应于沿二维方向离对应于由 连续性检测单元IOI检测的数据连续性(例如，对应于图251中的梯 度Gf的直线(箭头))的直线的至少一个距离(例如，图251中的截 面方向距离x，)的像素的像素值是通过至少在二维方向上的积分效应 而获得的像素值，则现实世界估计单元102通过利用作为多项式的第二函数模拟表示现实世界的光信号的第一函数而估计第一函数。在二维再积分方法中，基于这样的假设，例如，图236 (图3)中的图像产生单元103 (图250中的结构)产生对应于图236中的像素(例如，输出图像(像素值M))的像素值。尤其是，例如像素3241到像素3244)，所述像素通过积分由现实世界估计单元102估计的函数F(x， y)，即在二维方向中的至少希望增量上的模拟函数f (x, y)(例如通过计算上述公式(186)的右侧)，而具有希望的尺寸。因此，在二维再积分方法中，不仅可以产生时间分辨率和空间分 辨率中的一个，还可以同时产生时间分辨率和空间分辨率。另外，在二维再积分方法中，可以比一维再积分方法产生更接近现实世界l的光信号的图像。接着，将参考图256和图257描述三维再积分方法。 在三维再积分方法中，假设已经利用三维函数模拟方法产生模拟函数f (x, y, t)。在该情况下，在三维再积分方法中，输出像素值M被计算为如下公式(201)。M = Gexf (x. y， t) dxdydts Yss 公式(201)注意，在公式(201)中，ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。类似，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。另外，&表示在X方向上的积分开始位置，以及Xe表示在X方向上的积分结束位 置。另外，Ge表示预定增益。在7〉式(201)中，积分范围可以任意i殳置，因此，在三维再积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2 (图236)输入的图像的像素)具有任意幂次的时间空间分辨 率的像素，而不会降级。也就是说，当减小空间方向上的积分范围， 可以不受约束地减小像素间距。另一方面，当增大空间方向上的积分 范围，可以不受约束地增大像素间距。另外，当减小时间方向上的积分范围，可以基于实际波形产生时间分辨率。图256示出了采用三维再积分方法的图# 产生单元103的结构实例。如图256所示，在该图像产生单元103的实例中包括条件设置 单元3301、特征存储单元3302、积分分量计算单元3303、以及输出 像素值计算单元3304。条件设置单元3301基于从现实世界估计单元102提供的现实世 界估计信息(在图256的实例中的模拟函数f (x， y， t)的特征)设 置模拟函数f (x， y, t)的维数n。条件设置单元3301设置在再积分模拟函数f (x， y, t)的情况 中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单 元3301设置的积分范围不需要为像素的宽度(水平或垂直宽度)或快 门时间自身。例如，只要已知相对于来自传感器2 (图236)的输入图 像的每个像素的空间尺寸的输出像素(将由图像产生单元103现在产 生的像素)的相对尺寸(空间分辨率的幂数)，则可以确定空间方向 中的具体积分范围。类似，只要已知相对于传感器2(图236)的快门 时间的输出像素的相对时间(时间分辨率的幂数)，则可以确定时间 方向中的具体积分范围。因此，条件设置单元3301可以设置例如空间 分辨率幂数和时间分辨率幂数作为积分范闺。特征存储单元3302临时存储从现实世界估计单元102顺序提供 的模拟函数f (x， y， t)的特征。然后，当特征存储单元3302存储了 模拟函数f (x， y, t)的全部特征时，则特征存储单元3302产生包括 模拟函数f (x， y， t)的全部特征的特征表，并将其提供给输出像素 值计算单元3304。另外，当展开上述公式(201)右侧的模拟函数f (x， y)，则输出像素值M被表示为下面的公式(202)。 nM = ; WjXki(Xs,Xe,ys, ye， ts.te)公式(202)在公式(202)中，Kj (xs, xe， ys, ye， ts， te)表示i维项的积分分量。然而，分别为，Xs表示在X方向上的积分范围开始位置，以及、表示在X方向上的积分范围结束位置；ys表示在Y方向上的积分范围开始位置，以及ye表示在Y方向上的积分范围结束位置；ts表示在t方向上的积分范围开始位置，以及te表示在t方向上的积分范围结束位置。积分分量计算单元3303计算积分分量Kj( xs, xe, ys, ye， ts, te)。 尤其是，积分分量计算单元3303基于由条件设置单元3301设置 的维数和积分范围(空间分辨率幂或时间分辨率幂)、从数据连续性检测单元ioi输出的数据连续性信息的角度e或移动e计算积分分量Si(xs， xe， ys, ye, ts， te)，并将计算结果提供输出像素值计算单元 3304作为积分分量表。输出像素值计算单无3304利用从特征存储单元3302提供的特征 表、以及从积分分量计算单元3303提供的积分分量表而计算上述公式 (202)的右侧，并将计算结果输出作为输出像素值M。接着，将参考图257中的流程图描述采用三维再积分方法利用图 像产生单元103 (图2256)的图像产生处理(图40的步骤S103中的 处理)。例如，假设现实世界估计单元102已经产生模拟函数f(x， y， t)， 所述函数以输入图像的预定像素作为在上述图40的步骤S102的处理 中的关注像素，而模拟现实世界l中的光信号(图236)。另外，假设数据连续性检测单元101 (图236)已经输出角度e 或移动9作为数据连续性信息，以与现实世界估计单元102相同的像 素作为关注像素。在该情况下，条件设置单元3301在图257的步骤S3301中设置 条件(维数和积分范围)。在步骤S3302中，特征存储单元3302获取从现实世界估计单元 102提供的模拟函数f (x， y， t)的特征，并产生特征表。在步骤S3303中，积分分量计算单元3303基于由条件设置单元 3301设置的条件(维数和积分范围)、从数据连续性检测单元101提供的数据连续性信息(角度e或移动e)而计算积分分量，并产生积 分分量表。注意，步骤S3302中的处理和步骤S3303中的处理的顺序不限于 图257中的实例，可以先执行步骤S3303中的处理，或者可以同时执 行步骤S3302中的处理和步骤S3303中的处理。接着，在步骤S3304中，输出像素值计算单元3304基于由特征 存储单元3302在步骤S3202中的处理产生的特征表、以及由积分分量 计算单元3303在步骤S3303的处理中产生的积分分量表计算每个输出 像素值。在步骤S3305中，输出像素值计算单元3304确定是否已经完成 对全部像素的处理。在步骤S3305中，在确定仍未完成对全部像素的处理时，该处理 返回步骤S3302，其中重复进行后面的处理。也就是说，随后取未变 成关注像素的像素作为关注像素，并重复进行步骤S3302到S3304。在已经完成对全部像素的处理的情况下(在步骤S3305中，在确 定已经完成对全部像素的处理的情况下)，输出像素值计算单元3304 在步骤S3306中输出图像。然后，图像产生处理结束。在公式(201)中，积分范围可以任意设置，因此，在三维再积 分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从 传感器2 (图236 )输入的图像的像素)具有任意幂次的分辨率的像素， 而不会降级。也就是说，在三维再积分方法中，通过适当地变化在时间方向上 的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方向 上的积分范围可以产生空间分辨率。另外，通过适当地变化在时间方 向上、和在空间方向上的每个积分范围可以同时产生时间分辨率和空 间分辨率。尤其是，在三维再积分方法中，当从三维降级到二维或一维时不需要模拟，从而允许高精度处理。另外，可以处理在倾斜方向上的移 动，而不降级到二维。另外，不降级到二维允许在每个维度上的处理。例如，在二维再积分方法中，在在空间方向(X方向和Y方向)中降 级的情况下，不能进^f亍在作为时间方向的t方向上的处理。另一方面， 在三维再积分方法中，可以进行在时间-空间方向中的任何处理。注意，如上所述，即使在一维再积分方法中，可以进行产生时间 分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论 上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或 更多维积分下才有可能。也就是说，只有通过采用上述二维再积分和 三维再积分方法，才可以同时产生时间分辨率和空间分辨率。另外，三维再积分方法考虑三维积分效应而不是一维积分效应和 二维再积分效应，因此，可以产生更接近现实世界l中的光信号(图 236)的图像。换句话说，在三维再积分方法中，例如，在对应于由多个像素构 成的输入图像的时间-空间方向的至少一维方向中的至少一个位置的 像素的像素值是通过在至少一维方向上的积分效应而获取的像素值 所述多个像素具有像素值，每个具有时间-空间积分效应的传感器2 的多个检测单元将现实世界l中的光信号投影为输入图像，并且被所 述检测元件投影，在所述输入图像中丢失了现实世界l中的光信号的 部分连续性的条件下，图236 (图3)中的现实世界估计单元102通过 利用预定模拟函数f模拟表示现实世界1的光信号的光信号函数F而 估计光信号函数F。另外，例如，在图236 (图3)的数据连续性检测单元101检测 输入图像的连续性的情况下，在这样的条件下，对应于对应由数据连 续性检测单元101检测的数据连续性的图像数据在时间-空间方向中 的一维方向中的至少一个位置上的像素的像素值是通过至少在一维方 向上的积分效应而获得的像素值，则现实世界估计单元102通过利用 模拟函数f模拟光信号函数F而估计光信号函数F。具体说，例如，在这样的条件下，对应于沿一维方向离对应于由 连续性检测单元101检测的数据连续性的直线的至少一个距离的像素 的像素值是通过至少在一维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用模拟函数模拟光信号函数F而估计光信 号函数。在三维再积分方法中，例如，图236 (图3)中的图像产生单元 103 (图256中的结构)(例如通过计算上述公式(201)的右侧)产 生对应于这样的像素的像素值，所述像素通过积分由现实世界估计单 元102估计的函数F，即在一维方向中的至少希望增量上的模拟函数 f,而具有希望的尺寸。因此，在三维再积分方法中，可以常规图像产生方法、或上述一维再积分方法或二维再积分方法产生更接近现实世界1的光信号(图 236)的图像。接着，将参考258描述图像产生单元103,在这样的情况下，即 从现实世界估计单元102输入的现实世界估计信息是近似表示参考像 素的每个像素值的模拟函数f (x)上的每个像素的导数值或梯度的信 息，则所述图像产生单元103基于每个像素的导数值或梯度新产生像 素。注意，在获得近似表示参考像素的每个像素值的模拟函数f (x) 后，这里提到的"导数值"表示在预定位置上利用从其模拟函数f (x) 获得的一维微分方程f (x)，(在模拟函数在帧方向中的情况下，从其 模拟函数f (t)获得的一维微分方程f (t)，)而获得的值。另外，这 里提到的术语"梯度，，表示从周边像素的像素值直接获得的模拟函数f (x )的预定位置上的梯度，而没有获得上述模拟函数f( x)(或f( t))。 然而，导数值表示在模拟函数f (x)的预定位置上的梯度，因此，两 种情况都表示在模拟函数f (x)的预定位置上的梯度。因此，在描述 图258和图262中的图像产生单元103中，对于作为从现实世界估计 单元102输入的现实世界估计信息的导数值和梯度，它们是统一的， 并被称为模拟函数f (x)或f (t)上的梯度。梯度获取单元3401关于近似表示从现实世界估计单元102输入 的参考像素的像素值的模拟函数f (x)，获取每个像素的梯度信息、 相应像素的像素值、以及在连续性方向上的连续性，并将其输出给外推/内插单元3402。外推/内插单元3402利用基于从梯度获取单元3401输入的模拟 函数f (x)上的每个像素的梯度、相应像素的像素值、以及在连续性 方向上的梯度的外推/内插，而产生比输入图像具有特定幂数的更高密 度的像素，并输出像素作为输出图像。接着，将参考图259的流程图描述图258中的图像产生单元103 的图像产生处理。在步骤S3401中，梯度获取单元3401获取关于从现实世界估计 单元102输入的模拟函数f (x)上的梯度(导数值)、每个像素的位 置和像素值、以及在连续性方向上的梯度的信息作为现实世界估计信 息。这里，例如，在产生由具有在空间方向X和空间方向Y上的二 倍密度(共4倍)的像素构成的图像作为输入图像的情况下，从现实 世界估计单元102输入如图260所示的像素Pin的关于如下的信息 梯度f( Xin )，(在像素Pin中心位置上的梯度)、f( Xin - Cx( -0.25 ))， (当从像素Pin产生Y方向上的二倍密度的像素，在像素Pa的中心 位置上的梯度)、f ( Xin - Cx ( 0.25 ))，(当从像素Pin产生Y方向 上的二倍密度的像素，在像素Pb的中心位置上的梯度)、像素Pin 的位置和像素值、以及在连续性方向上的梯度Gf。在步骤S3402中，梯度获取单元3401从输入的现实世界估计信 息选择相应的关注像素的信息，并将其输出给外推/内插单元3402。在步骤S3403中，外推/内插单元3402获得来自输入像素的位置 信息的平移量、以及在连续性方向上的梯度Gf。这里，将平移量Cx (ty)定义为Cx (ty) = ty/Gf，其中Gf表示 作为连续性的梯度。该平移量Cx (ty)表示在模拟函数f (x)的空间 方向Y = ty上的位置相对于空间方向X的平移宽度，所述模拟函数f (x)被定义为位于空间方向Y-O的位置上。因此，例如，在将在空 间方向Y = 0的位置上的模拟函数定义为f (x)的情况下，在空间方 向Y=ty上，该模拟函数f (x)变成对于空间方向X平移Cx (ty)的函数，从而该模拟函数被定义为f (x-Cx(ty) ) (=f (x-ty/Gf)。例如，在如图260所示的像素Pin的情况中，当将图中一个像素(图中一个像素尺寸在水平方向和垂直方向上都为1)分成在垂直方向上的两个像素时(当在垂直方向上产生二倍密度像素时)，外推/内插单元3402获得将要获得的像素Pa和Pb的平移量。也就是说，在该情况下，从像素Pin看，在空间方向Y上对像素Pa和Pb分别平移-0.25和0.25,从而像素Pa和Pb的平移量分别变成Cx (-0.25)和Cx(0.25)。注意，在图260中，像素Pin为其基本重心位置为(Xin、Yin)的方形，而像素Pa和Pb是其基本重心位置分别为(Xin、Yin+0.25)和(Xin、 Yin - 00.25 )的、在图中水平方向上的矩形。在步骤S3404中，外推/内插单元3402基于在步骤S3403的处理中获得的平移量Cx、被获取作为现实世界估计信息的像素Pin的模拟函数f (x)上的关注像素的梯度f (xin)、以及像素Pin的像素值，通过下面公式(203)和公式(204)利用外推/内插获得像素Pa和Pb的像素值。Pa = Pin - f (Xin)' x Cx (0.25)公式(203)Pb = Pin - f (Xin)' x Cx (-0.25)公式(204)在上述公式(203)和公式(204)中，Pa、 Pb和Pin分别表示 像素Pa、 Pb和Pin的像素值。也就是说，如图261所示，通过将关注像素Pin中的梯度f(Xin)， 乘以在X方向的移动距离，即平移量，而设置像素值的变化量，并且 基于关注像素的像素值设置新产生的像素的像素值。在步骤S3405中，外推/内插单元3402确定是否已经获得具有预 定分辨率的像素。例如，在预定分辨率为相对于输入图像中的像素具 有在垂直方向上的二倍密度的像素的情况下，外推/内插单元3402确 定通过上述处理已经获得具有预定分辨率的像素，但是，例如，在希 望输入图像中的像素为相对于输入图像中的像素具有四倍密度(在水 平方向上的二倍x在垂直方向上的二倍)的像素的情况下，则还没有 通过上述处理获得具有预定密度的像素。因此，在希望四倍密度的像的情况下，外推/内插单元3402确定仍未获得具有预定分辨率的像 素，并且该处理返回步骤S3403。在步骤S3403中，外推/内插单元3402在第二处理中，分别从将 要产生的像素的中心位置获得将要获得的像素POl、 P02、 P03和P04 (相对于关注像素Pin具有四倍密度的像素)的平移量。也就是说， 在该情况下，像素P01和P02是将要从像素Pa获得的像素，从而分 别获得从像素Pa的平移量。这里，像素P01和P02分别被相对于空 间方向X从像素Pa平移0.25和-0.25，因此，每个值本身变成其平 移量(由于所述像素被相对于空间方向X平移)。类似，像素P03和 P04分别被相对于空间方向X从像素Pb平移-0.25和0.25，因此， 每个值本身变成其平移量。注意，在图260中，像素POl、 P02、 P03 和P04是其重心位置为图中四个叉形标记的位置，并且，像素Pin的 每边的长度为1，因此，像素POl、 P02、 P03和P04每边的长度分别 大约为5。在步骤S3404中，外推/内插单元3402基于在步骤S3403中获得 的平移量Cx、在被获取作为现实世界估计信息的像素Pa和Pb的模 拟函数f (x)的预定位置上的梯度f (Xin-Cx ( -0.25))，和f ( Xin -Cx(0.25))，、以及在上述处理中获得的像素Pa和Pb的像素值， 通过公式(205)到公式(208)利用外推/内插获得像素POl、 P02、 P03和P04的像素值，并将其存储在未示出的存储器中。POl = Pa + f (Xin - Cx (0.25))' x (-0,25)公式(205) 公式(206)公式(207) 公式(208 )P02 = Pa + f (Xin - Cx (0.25))' x (0.25) P03 - Pb + f (Xin - Cx (-0.25))， x (-0.25)P04 = Pb + f (Xin - Cx (-0.25))' x (0.25)在上述公式(205)到公式(208)中，P01到P04分别表示像素 P01到P04的像素值。在步骤S3405中，外推/内插单元3402确定是否已获得具有预定 分辨率的像素，在该情况下，已经获得希望的四倍密度像素，因此，外推/内插单元3402确定已经获得具有预定分辨率的像素，处理进到 步骤S3楊。在步骤S3406中，梯度获取单元3401确定是否已经完成对全部 像素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返 回到步骤S3402，其中重复进行后面的步骤。在步骤S3406中，在梯度获取单元3401确定已经完成对全部像 素的处理的情况下，外推/内插单元3402在步骤S3407中输出由存储 在未示出的存储器中的产生的像素构成的图像。也就是说，如图261所示，根据在空间方向X上距离关注像素的 距离，利用外推/内插获得新像素的像素值，所述关注像素的梯度利用 模拟函数f (x)上的梯度f (x)，获得。注意,在上述实例中，已经描述了在以计算四倍密度像素作为实 例时的梯度(导数值)，但是在可以获得在更多位置上的梯度信息作 为现实世界估计信息的情况下，利用与上述相同的方法可以计算比上 述实例具有更大的空间方向中的密度的像素。另外，对于上述实例，已经描述了获得二倍密度的像素值的实例， 但是模拟函数f (x)是连续函数，因此，在即使关于具有不同于二倍 密度的像素值仍可以获得需要的梯度(导数值)信息的情况下，可以 产生由更高密度像素构成的图像。根据上述描述，基于被提供作为空间方向中的现实世界估计信息 的、用于模拟输入图像的每个像素的像素值的模拟函数f (x)的梯度 (或导数值)f (x)，信息，可以产生比输入图像具有更高分辨率的图 像的像素。接着，将参考图262描述图像产生单元103，其基于在从现实世 界估计单元102输入的现实世界估计信息是从作为表示参考像素的近 似像素值的帧方向(时间方向)上的函数的f (t)获得的每个像素的 导数值或梯度信息的情况下的每个像素的导数值或梯度信息，而产生 新像素值以输出图像。梯度获取单元3411获取从现实世界估计单元102输入的每个像素位置上的，从表示参考像素的模拟像素值的f (t)获取的梯度信息、 相应的像素值以及作为连续性的移动，并将这样获得的信息输出给外推单元3412。外推单元3412基于从梯度获取单元3411输入的每个像素的从模 拟函数f (t)获得的梯度、相应的像素值以及作为连续性的移动利用 外推产生比输入图像更高的预定阶数的高密度像素，并将这样产生的 图像输出作为输出图像。接着，将参考图263的流程图描述利用如图262所示的图像产生 单元103的图像产生处理。在步骤S3421中，梯度获取单元3411获取从现实世界估计单元 102输入的每个像素的关于如下的信息从模拟函数f (t)获得的梯 度(导数值)、位置、像素值、以及作为连续性的移动，并将其作为 现实世界估计信息。例如，在从在空间方向和帧方向上都具有二倍像素密度(即，共 为四倍像素密度)的输入图像产生图像的情况下，从现实世界估计单 元102接收的关于如图264所示的像素Pin的输入信息包括梯度f (Tin )，(在像素Pin中心上的梯度)、f ( Tin - Ct ( 0.25 ))，(在 从像素Pin产生Y方向上的二倍密度的像素的步骤中，在像素Pat的 中心上的梯度)、f ( Tin - Ct ( - 0.25 ))，(在从像素Pin产生Y方 向上的二倍像素密度的像素的步骤中，在像素PM的中心上的梯度)、 像素Pin的位置、像素值、以及作为连续性的移动(移动矢量)。在步骤S3422中，梯度获取单元3411从输入的现实世界估计信 息选择关于关注像素的信息，并将其这样获取的信息输出给外推单元 3412。在步骤S3423中，外推单元3412基于这样输入的位置信息计算关于像素和连续性方向上的梯度的平移量。这里，将作为连续性的移动(在具有帧方向和空间方向的平面上的梯度)作为Vf，通过公式Ct (ty) -tyZVf获得平移量Ct (ty)。该平移量Ct (ty)表示在空间方向Y-ty的位置上计算的，模拟函数f (t)在帧方向T上的平移量。注意，所述模拟函数f (t)被定义为 位于空间方向Y = 0的位置上。因此，在空间方向Y-ty上，该模拟 函数f (t)在时间方向T上平移Ct (ty),从而该模拟函数在Y-ty 上被定义为f (t - Ct (ty) ) <=f (t - ty/Vf)。例如，考虑如图264所示的像素Pin。在将图中一个像素(假设 图中像素尺寸在帧方向和空间方向上都为1)分成在空间方向上的两 个像素的情况下(当在空间方向上产生二倍像素密度图像的情况下)， 外推单元3412计算用于获得像素Pat和Pbt的平移量。也就是说，在 空间方向Y上对像素Pat和Pbt分别从像素Pin平移0.25和-0.25。 从而用于获得像素Pat和Pbt的像素值的平移量分别为Ct (0.25)和 Ct ( -0.25)。注意，在图264中，像素Pin为其基本重心位置约为 (Xin、 Yin)的方形。另一方面，像素Pat和Pbt是其基本重心位置 分别约为(Xin、 Yin+0.25)和(Xin、 Yin - 00.25)的、其长边在图 中水平方向上的矩形。在步骤S3424中，外推单元3412基于在步骤S3423中获得的平移量、被获取作为现实世界估计信息并提供像素Pin的像素值的模拟函数f(t)上的关注像素、以及像素Pin的像素值，通过下面公式(209)和公式(210)利用外推计算像素Pat和Pbt的像素值。 pat - Pin - f(Tin)' x Ct(0.2S) 公式(209)pbt - Pin - f《Xin) ' x Ct(-0.25) 公式(210)在上述公式(209)和公式(210)中，Pat、 Pbt和Pin分别表示 4象素Pat、 Pbt和Pin的像素值。也就是说，如图265所示，通过将关注像素Pin中的梯度f(Xin)， 乘以在X方向的距离，即平移量，而计算像素值的变化量。然后，基 于关注像素的像素值利用这样计算的变化确定将产生的新像素的像素 值。在步骤S3425中，外推单元3412确定这样产生的像素是否提供 要求的分辨率。例如，在用户要求相比于输入图像为在空间方向上的 二倍像素密度的分辨率的情况下，外推单元3412确定已经获得要求的分辨率。但是，在用户要求相比于输入图像为四倍像素密度(在帧方 向和空间方向上均为二倍像素密度)的分辨率的情况下，则上述处理 没有提供要求的像素密度。因此，在用户要求四倍像素密度的分辨率的情况下，外推单元3412确定仍未获得要求的分辨率，并且流程返回 到步骤S3423。在用于第二处理的步骤S3423中，外推单元3412分别计算从作 为基础的像素的平移量，以获得像素P01t、 P02t、 P03t和P04t(相对 于关注像素Pin具有四倍像素密度)的中心。也就是说，在该情况下， 像素P01t和P02t从像素Pat获得，从而计算从像素Pat的平移量以 获得这些像素。这里，分别将像素P01t和P02t在帧方向T上从像素 Pat平移-0.25和0.25,因此，将其之间没有转换的距离用作平移量。 同样，分别将像素P03t和P04t在帧方向T上从像素Pbt平移-0.25 和0.25，因此，将其之间没有转换的距离用作平移量。注意，在图264 中，每个像素P01t、 P02t、 P03t和P04t为方形，其重心位置由图中 四个叉形标记的相应的一个表示，并且，由于像素Pin的每边的长度 为1，因此，像素P01t、 P02t、 P03t和P04t每边的长度为约0.5。在步骤S3424中，外推单元3412基于在步骤S3423中获得的平 移量Ct、在被获取作为现实世界估计信息的、在像素Pat和Pbt的相 应位置上的模拟函数f (t)的梯度f (Tin—Ct (0.25))，和f (Tin-Ct(0.25))，、以及在上述处理中获得的像素Pat和Pbt的像素值， 通过下面公式(211)到公式(214)利用外推获得像素P01t、 P02t、 P03t和P04t的像素值。将这样获得的4象素P01t、 P02t、 P03t和P04t 的像素值存储在未示出的存储器中。P01t = Pat + f(Tin - Ct(0.25))' x (-0.25) 公气(211) P02t - Pat + f(Tin - Ct(0.25))' x (0.25)公式(^12 ) P03t = Pbt + f(Tin - Ct(-0.25〉)曙x (-0.25) 公式(213 ) P04t = Pbt + f(Tin - Ct(-0.25))' x (0.25) 公式(214)在上述公式(211)到公式(212)中，P01t到P04t分别表示像 素P01t到P04t的像素值。在步骤S3425中，外推单元3412确定是否已获得达到要求分辨 率的像素密度。在该情况下，已经获得要求的四倍密度像素，因此， 外推单元3412确定已经获得达到要求分辨率的像素密度，然后流程进 到步骤S3426。在步骤S3426中，梯度获取单元3411确定是否已经完成对全部 像素的处理。在梯度获取单元3411确定仍未完成对全部像素的处理的 情况下，该流程返回到步骤S3422，并重复后面的处理。在步骤S3426中，在梯度获取单元3411确定已经完成对全部像 素的处理的情况下，外推单元3412在步骤S3427中输出由存储在未示 出的存储器中的产生的像素构成的图像。也就是说，如图265所示，利用模拟函数f (t)上的梯度f (t)， 获得所述关注像素的梯度，并根据在帧方向T上距离关注像素的帧数计算新像素的像素值。尽管在上述实例中，已经描述了在计算四倍密度像素时的梯度 (导数值)的实例，但是在可以获得在更多位置上的梯度信息作为现 实世界估计信息的情况下，利用与上述相同的技术还可以计算在帧方 向中的像素。尽管已经描述了获得二倍像素密度的图像的设置，但是还可以这 样设置，其中利用模拟函数f (t)是连续函数的性质，基于需要的梯 度(导数值)信息获得更高像素密度的图像。根据上述描述，上述处理基于关于被提供作为现实世界估计信息 的、作为用于提供输入图像的每个像素的像素值的模拟值的模拟函数 f (t)的梯度(或导数值)的f (t)，的信息，可以产生在帧方向上比 输入图像具有更高分辨率的像素图像。在上述本实施例中，从由多个像素形成的图像数据检测数据连续 性，所述多个像素具有通过多个检测元件的作用而投影现实世界中的 光信号所获得的像素值；由于利用每个具有时间空间积分效应的多个 检测元件的投影，丢失了现实世界中的光信号的部分连续性。然后采 用在时间空间方向的一维方向上从图像数据中的关注像素平移的多个像素的梯度作为对应于现实世界光信号的函数。随后，利用匹配相应 像素的中心、以及在上述采用的像素上的梯度，对于上述在预定方向 上从关注像素的中心平移的多个像素的每个计算直线。然后，釆用上 述获得的关注像素中的直线两端的值作为比由关注像素形成的输入图 像具有更高像素密度的图像的像素值。这允许产生在时间空间方向中 比输入图像具有更高分辨率的图像。接着，将参考图266到图291描述根据本实施例的图像产生单元 103 (参考图3)的另一设置。图266示出了根据本实施例的图像产生单元103的结构实例。图266所示的图像产生单元103包括类型分类适应单元3501， 用于进行常规类型分类适应处理；类型分类适应校正单元3502，用于 进行对类型分类适应处理(下面将具体描述)的结果的校正；以及相 加单元3503，用于相加从类型分类适应单元3501输出的图像和从类 型分类适应处理校正单元3502输出的图像，并将相加的图像作为输出 图像输出给外部电路。注意，下文中，将从类型分类适应处理单元3501输出的图像称 为"预测图像"。另一方面，将从类型分类适应处理校正单元3502输出 的图像称为"校正图像"或"减法预测图像"。注意，下面将描述"预测图 像"和"减法预测图像，，的概念。另外，在本实施例中，例如，假设进行类型分类适应处理用于提 高输入图像的空间分辨率。也就是说，进行类型分类适应处理用于将 具有标准分辨率的输入图像转换成具有高分辨率的预测图像。注意，下文中相应地将具有标准分辨率的图像称为"SD (标准精 度)图像"。另外，相应地将构成SD图像的像素称为"SD像素"。另一方面，下文中相应地将高分辨率图像称为"HD (高精度)图 像"。另外，将构成HD图像的像素相应地称为"HD"像素。下面，将描述根据本实施例的类型分类适应处理的具体实例。首先，获得包括关注像素和其周围像素的每个SD像素(例如将 被称为"类型分块"的SD像素)的特征，用于计算对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。 然后，基于上述获得的特征(确定了类型分块的类型代码)，从预备 类型中选择类型分块的类型。
然后，基于上述确定的类型代码、和包括关注像素和其周围的像 素的SD像素(下文中将该SD像素称为"预测分块，，.注意，类型分块 也可以用作预测分块)，利用形成从预备的多个系数组(每个系数组 对应于特定类型代码设置)中选择的系数组的系数进行积-和计算，从 而获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图 像(HD图像)的HD像素。
因此，利用根振本实施例的配置，在类型分类适应处理单元3501 对输入图像(SD图像)进行常规类型分类适应处理以产生预测图像 (HD图像)。另外，利用从类型分类适应处理校正单元3502输出的 校正图像(通过相加预测图像和校正图像)在相加单元3503中校正上 述获得的预测图像，从而获得输出图像(HD图像)。
也就是说，从连续性的角度看，可以将根据本实施例的配置认为 是用于基于关于连续性进行处理的图像处理装置(图3)的图像产生 单元103的配置。另一方面，从分类类型适应处理的角度看，还可以 将根据本实施例的配置认为是这样的图像处理装置的配置，相比于由 传感器2和类型分类适应处理单元3501形成的常规图像处理装置，所 述装置还包括数据连续性检测单元101、现实世界估计单元102、类型 分类适应校正单元3502、以及相加单元3503，以对分为类型适应处理 执行校正。
因此，下文中，相对于上述再积分装置，将根据本实施例的该配 置称为"类型分类处理校正装置"。
下面将详细描述利用类型分类处理校正装置的图像产生单元
103。
在图266中，当将现实世界l的信号(光强分布)输入传感器2 中时，从传感器2输出输入图像。将输入图像输入图像产生单元103 的类型分类适应处理单元3501以及数据连续性检测单元101。类型分类适应处理单元3501对输入图像进行常规类型分类适应 处理，以产生预测图像，并将预测图像输出给相加单元3503。
如上所述，在类型分类适应处理单元3501中，采用从传感器2 输^v的输入图像(图像数据)作为将要被处理的目标图像以及参考图 像。也就是说，虽然由于上述积分效应，来自传感器2的输入图像不 同于(变形)现实世界1的信号，但是类型分类适应处理单元3501 利用不同于现实世界1的信号的输入图像作为正确的参考图像进行处 理。
从而，在利用基于输入图像(SD图像)的类型分类适应处理产 生HD图像的情况下(其中在SD图像中在从传感器2输出输入图像 的输入阶段已经丟失了原始细节)，则这样的HD图像可能具有这样 的问题，即不能完全再现原始细节。
为了解决上述问题，在类型分类处理校正装置中，图像产生单元 103的类型分类适应处理校正单元3502利用将被输入传感器2的用于 估计原始图像(具有原始连续性的现实世界l的信号)的信息(现实 世界估计信息)作为将被处理的目标图像以及参考图像，代替来自传 感器2的输入图像，从而产生用于校正从类型分类适应处理单元3501 输出的预测图像的校正图像。
通过数据连续性检测单元101和现实世界估计单元102的作用产 生现实世界估计信息。
也就是说，数据连续性检测单元101检测包括在从传感器2输出 的输入图像中的数据连续性(对应于包括在现实世界l的信号中的连 续性的数据连续性，其被输入传感器2)，并将检测结果作为数据连 续性信息输出给现实世界估计单元102。
注意，尽管图266示出了其中采用角度作为数据连续性信息的设 置，但是数据连续性信息不限于角度，而可以采用各种信息作为数据 连续性信息。
现实世界估计单元102基于上述输入的角度(数据连续性信息) 产生现实世界估计信息，并将上述产生的现实世界估计信息输出给图像产生单元103的类型分类适应校正单元3502。
注意，尽管图266中示出了其中釆用特征量图像(下文将对其进 行详细描述)作为现实世界估计信息的设置，但是现实世界估计信息 不限于特征量图像，而是如上述可以采用各种信息。
类型分类适应处理校正单元3502基于上述输入的特征量图像(现 实世界估计信息)产生校正图像，并将校正图像示出给相加单元3503。
相加单元3503相加从类型分类适应处理单元3501输出的预测图 像和从类型分类适应处理校正单元3502输出的校正图像，并将相加的 图像(HD图像)作为输出图像输出给外部电路。
上述输出图像比预测图像具有更高精度地接近现实世界1的信号 (图像)。也就是说，类型分类适应处理校正装置使得用户可以解决 上述问题。
另外，在具有如图266所示的结构的信号处理装置(图像处理装 置)4中，可以将该处理应用于一帧的整个面积上。也就是说，尽管 利用下文的混合技术(例如下文参考图292所述的设置)的信号处理 装置等需要识别像素区域以产生输出图像，有利的是，如图266所示 的信号处理装置4不需要识别所述像素区域。
接着，下面将详细描述图像产生单元103的类型分类适应处理单 元3501。
图267示出了类型分类适应处理单元3501的结构实例。 在图267中，将从传感器2输入的输入图像(SD图像)提供给 区域选取单元3511和区域选取单元3515。区域选取单元3511选取类 型分块(位于包括关注像素(SD像素)的预定位置上的SD像素)， 并将该类型分块输出给图形检测单元3512。图形检测单元3512基于 上述输入的类型分块检测输入图像的图形。
类型代码确定单元3513基于由图形检测单元3512检测的图形确 定类型代码，并将类型代码输出给系数存储器3514和区域选取单元 3515。系数存储器3514存储通过学习预备的每个类型代码的系数，读 取对应于从类型代码确定单元3513输入的类型代码的系数，并将系数输出给预测计算单元3516。
注意，下面将参考如图269所示的类型分类适应处理学习单元的 方框图，描述用于获得存储在系数存储器3514中的系数的学习处理。
另外，存储在系数存储器3514中的系数如下所述用于产生预测 图像(HD图像)。因此，将存储在系数存储器3514中的系数称为"预 测系数",以区分上述系数与其它种系数。
区域选取单元3515基于从类型代码确定单元3513输入的类型代 码，选取用于从自传感器2输入的输入图像(SD图像)预测和产生预 测图像(HD图像)所需的预定分块(位于包括关注像素的预定位置 上的SD像素)，并将预测分块输出给预测计算单元3516。
预测计算单元3516利用从区域选取单元3515输入的预测分块和 从系数存储器3514输入的预测系数进行积和计算，产生对应于输入图 像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD 像素，并将HD像素输出给相加单元3503。
尤其是，系数存储器3514将对应于从类型代码确定单元3513提 供的类型代码的预测系数输出给预测计算单元3516。预测计算单元 3516利用从区域选取单元3515提供的、并从输入图像的预定像素的 像素值选取的预测分块、以及从系数存储器3514提供的预测系数执行 由下面公式215表示的积-和计算，从而获得(预测和估计)预测图像
(HD图像)的HD像素。
<formula>formula see original document page 304</formula>
在公式(215)中，q，表示预测图像(HD图像)的HD像素。每 个Ci (i表示1到n的整数)表示相应的预测分块(SD像素)。另夕卜， 每个di表示相应的预测系数。
如上所述，类型分类处理单元3501基于SD图像(输入图像) 预测和估计相应的HD图像，因此，在该情况下，将从类型分类适应 处理单元3501输出的HD图像称为"预测图像"。
图268示出了用于确定存储在类型分类适应单元3501的系数存储器3514中的预测系数(公式(215)中的di)的学习装置(用于获 得预测系数的计算装置)。
注意，在类型分类适应处理校正技术中，除系数存储器3514外， 系数存储器(校正系数存储器3554，其将在下文中参考图276而被描 述)被包括在类型分类适应处理校正单元3502中。因此，如图268 所示，根据类型分类适应处理技术的学习装置3504包括学习单元3561 (下文中将其称为"类型分类适应处理校正学习单元3561")，用于确 定存储在类型分类适应处理校正单元3502的校正系数存储器3554中 的系数，以及学习单元3521 (其在下文中被称为"类型分类适应处理 学习单元3521")用于确定存储在类型分类适应处理单元3501系数存 储器3514中的预测系数(公式(215)中的dj 。
因此，当下文中将用于类型分类适应处理学习单元3521中的老 师图像称为"第一老师图像"，则下文中将用于类型分类适应处理校正 学习单元3561中的老师图像称为"第二老师图像"。同样，当下文中将 用于类型分类适应处理学习单元3521中的学生图像称为"第一学生图 像，，，则下文中将用于类型分类适应处理校正学习单元3561中的学生
图像称为"第二学生图像"。
注意，下面将描述类型分类适应处理校正学习单元3561。
图269示出了类型分类适应处理学习单元3521的具体结构实例。
在图269中，将特定图像输入类型分类适应处理校正学习单元
3561 (图268 )、以及下降转换器单元3531和正规方程产生单元3536
中作为第一老师图像(HD图像)。
下降转换器单元3531基于输入的第 一老师图像(HD图像)产生
比第一老师图像具有更低分辨率的第一学生图像(SD圓像)(将第一
老师图像转换成较低分辨率的第一学生图像)，并将第一学生图像输
出给区域选取单元3532和3535、和类型分类适应处理校正学习单元
3561 (图268 )。
如上所述，类型分类适应处理学习单元3521包括下降转换器单
元3531,因此，第一老师图像(HD图像)不需要具有比来自上述传感器2 (图266)的输入图像更高的分辨率。原因在于，在该情况下， 将经过下降转换处理(用于减少图像分辨率的处理)的第一老师图像 用作第一学生图像即SD图像。也就是说，对应于第一学生图像的第 一老师图像用作HD图像。因此，可以将来自传感器2的输入图像不 经过任何转换地用作第 一老师图像。
区域选取单元3532从上述提供的第一学生图像(SD图像)中选 取用于类型分类所需要的类型分块(SD像素)，并将类型分块输出给 图形检测单元3533。图形检测单元3533检测上述输入的类型分块的 图形，并将检测结果输出给类型代码确定单元3534。类型代码确定单 元3534确定对应于输入图形的类型代码，并将类型代码输出给区域选 取单元3535和正规方程产生单元3536。
区域选取单元3535基于从类型代码确定单元3534输入的类型代 码自从下降转换器单元3531中输入的第一学生图像(SD图像)中选 取预测分块(SD像素)，并且，将预测分块输出给正规方程产生单元 3536和预测计算单元3558。
注意，区域选取单元3532、图形检测单元3533、类型代码确定 单元3534，以及区域选取单元3535具有基本相同的结构，并且，与 如图267所示的类型分类适应处理单元3501的区域选取单元3511、 图形检测单元3512、类型代码确定单元3513、以及区域选取单元3515 相同地作用。
正规方程产生单元3536基于从区域选取羊元3535输入的第 一学 生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单 元3545输入的全部类型代码的每个类型代码的第一老师图像(HD图 像)的HD像素而产生正规方程，并将正规方程提供给系数确定单元 3537。当从正规方程产生单元3536接收对应于特定类型代码的正规方 程时，系数确定单元3537利用正规方程计算预测系数。然后，系数确 定单元3537将计算的预测系数的方式提供给预测计算单元3538，并 将预测系数按照与类型代码相关联存储在系数存储器3514中。
下面，将详细描述正规方程产生单元3536和系数确定单元3537。<formula>formula see original document page 307</formula>公式(217)因此，产生并求解由公式(217)表示的正规方程，从而确定预 测系数dj作为唯一解。尤其是，假设，公式(217)中表示正规方程的矩阵被定义为下 面公式(218)到(220)。在该情况下，正规方程由下面公式(221)在上述公式(215)中，每个预测系数dj在学习处理之前是未确定的系数。学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素。将m个HD像素中的每一个表示为q"k表示1到m的整数)。则从公式(215)得到下面的公式(216)。 nJ-0 公式(216)也就是说，公式(216)表示，通过计算公式(216)的右侧可以 预测和估计HD像素qk。注意，在公式(216)中，ek表示误差。也 就是说，作为预测图像(HD图像)的HD像素qk，不完全匹配实际 HD像素qk，并包括特定误差ek，所述预测图像是计算右侧的结果。因此，例如，通过学习处理，将获得表示误差ek的平方和的最小 值的预测系数di。尤其是，预备用于学习处理中的HD像素qk的个数应该大于n (即m大于n)。在该情况下,利用最小二乘法确定预测系数di作为也就是说，利用最小二乘法的用于获得公式(216)右侧的预测 系数di的正规方程由下面公式(217)所示。<formula>formula see original document page 307</formula><formula>formula see original document page 308</formula>如公式(219)所示，矩阵DMAT的每个分量为将要获得的预测系 数di。在本实施例中，如果确定了左侧的矩阵CMAT和右侧的矩阵Qmat，可以利用矩阵计算获得矩阵DMAT (即预测系数di)。尤其是，如公式(218)所示，由于已知预测分块Cik，因此可以计算矩阵CMAT的各个分量。在本实施例中，区域选取单元3535选取 预测分块Cik。正规方程产生单元3536利用从区域选取单元3535提供 的预测分块Cik计算矩阵Cmat的毎个分量。另外，在本实施例，预测分块c化和HD像素qk是已知的。因此 可以计算如公式(220)所示的矩阵Qmat的各个分量。注意，预测分 块Cik与矩阵Cmat中相同，另外，HD像素qk是对应于预测分块cik 中包括的关注像素(第一学生图像的SD像素)的第一老师图像的HD 像素。从而，正规方程产生单元3536基于从区域选取单元3535提供的预测分块Cjk和第一老师图像而计算矩阵Qmat的毎个分量。如上所述，正规方程产生单元3536计算矩阵Cmat和矩陣Qmat 的每个分量，并将相关于类型代码的计算结果提供给系数确定单元 3537。系数确定单元3537基于对应于提供的特定类型代码的正规方程，计算作为上述公式(221)中的每个矩阵DMAT的分量的预测系数di。尤其是，可以将上述公式(221)转换为下面的公式(222)。DMAT = ^tQmAT 、 p , 、公式(222)在公式(222 )中，左侧矩阵DMAT的各个分量是将要获得的预测 系数山。另一方面，从正规方程产生单元3536提供矩阵CMAT和矩阵 Qmat的各个分量。在本实施例中，当从正规方程产生单元3536接收 对应于当前类型代码的矩阵Cmat和矩陣Qmat的各个分量，系数确定 单元3537执行由公式(222)的右侧表示的矩阵计算，从而计算矩阵 DMAT。然后，系数确定单元3537将计算结果(预测系数dj提供给 预测计算单元3538，并将计算结果与类型代码相关联地存储在系数存 储器3514中。预测计算单元3538利用从区域选取单元3535输入的预测分块和 由系数确定单元3537确定的预测系数执行积-和计算，从而产生对应 于第一学生图像(SD图像)的关注像素(SD像素)的预测图像(作 为第一老师图像的预测图像)的HD像素。将上述产生的HD像素作 为学习预测图像输出给类型分类适应处理校正学习单元3561 (图268)。尤其是，在预测计算单元3538中，将从预测选取单元3535提供 的第一学生图像中的特定像素位置周围的像素值中选取的预测分块用 作、(i表示1到n的整数)。另外，将从系数确定单元3537提供的 每个预测系数用作dj。预测计算单元3538利用上述采用q和di执行 由上述公式(215)表示的积-和计算，从而获得学习预测图像(HD 图像)的HD像素q，(即，从而预测和估计第一老师图像)。现在，将参考图270到图275描述上述常规类型分类适应处理(类 型分类适应处理单元3501 )的问题，即其中，当基于其中在输入阶段 丟失了原始细节的从传感器2输出的输入图像(SD图像)，通过如图 266所示的类型分类适应处理单元3501产生HD图像(现实世界1的 信号的预测图像)的情况下，不能完全再现原始细节。图270示出了类型分类适应单元3501的处理结果的实例。在图270中，HD图像3541包括一条具有相对于图中垂直方向为 顺时针约5度的梯度的细线。另一方面，从HD图像3541产生SD图 像3542，使得将HD图像3541的每个2x2个像素(HD像素)块的平 均值用作其相应的单个像素(SD像素)。也就是说，SD图像3542 是HD图像3541的"下降转换的，，(减小的分辨率)的图像。换句话说，可以假设HD图像3541是在该模拟中将被从传感器2 (图266)输出的图像(现实世界1的信号(图266))。在该情况下， 可以假设SD图像3542是对应于HD图像3541的图像，其从传感器2 获得，所述传感器在该模拟中具有空间方向上的特定积分性质。也就 是说，可以假设在该模拟中SD图像3542是从传感器2输入的图像。在该模拟中，将SD图像输入类型分类适应处理单元3501 (图 266)。从类型分类适应处理单元3501输出的预测图像是预测图像 3534。也就是说，预测图像3534是通过常规类型分类适应处理产生的 HD图像(与原始HD图像3541具有相同的分辨率的图像)。注意， 利用由类型分类适应处理学习单元3561 (图269)以HD图像3541 作为第一老师图像和以SD图像3542作为第一学生图像进行的学习/计算处理而获得用于类型分类适应处理单元3501的预测计算中的预 测系数(存储在系数存储器3514 (图267)中的预测系数)。比较HD图像3541、 SD图像3542以及预测图像3543,确定了 预测图像3543比SD图像3542更接近HD图像3541 。比较结果表示，类型分类适应处理3501基于其中已经丢失HD 图像3541的原始细节的SD图像3542，利用常规类型分类适应处理产 生具有再现的原始细节的预测图像3543。然而，比较预测图像3543和HD图像3541 ，不能肯定地说预测 图像3543完全再现了 HD图像3541。为了研究该预测图像3543相对于HD图像3541的不完全再现， 本申请人通过利用相加单元3546相加HD图像3541和预测图像3543 的反图像而形成了相加图像，即通过从HD图像3541中减去预测图像 3543而获得的减法图像3544(在像素值之差较大的情况下，减法图像 的像素由接近白色的密度形成。另一方面，在像素值之差较小的情况 下，减法图像的像素由接近黑色的密度形成。)。同样，本申请人通过利用相加单元3546相加HD图像3541和 SD图像3542的反图像而形成了相加图像，即通过从HD图像3541 中减去SD图像3542而获得的减法图像3545(在像素值之差较大的情 况下，减法图像的像素由接近白色的密度形成。另一方面，在像素值 之差较小的情况下，减法图像的像素由接近黑色的密度形成。)。然后，比较减法图像3544和减法图像3545，本申请人获得如下 所述的研究结果。也就是说，表现HD图像3541和SD图像3542之间的像素值的 较大差的区域(即，在减法图像3545中由接近白色的密度形成的区域) 通常匹配表现HD图像3541和预测图像3543之间的像素值的较大差 的区域(即，减法图像3544中由接近白色的密度形成的区域)。换句话说，预测图像3543中表现相对于HD图像3541的不充分 再现结果的区域通常匹配表现HD图4象3541和SD图像3542之间的 像素值的较大差的区域(即在减法图像3545中由接近白色的密度形成的区域)。然后，为了解决研究结果的原因，本申请人还进行了如下研究。也就是说，首先，本申请人研究在表现HD图像3541和预测图 像3543之间的像素值的较小差的区域(即在减法图像3544中由接近 黑色的密度形成的区域)中的再现结果。在上述区域中，获得用于该 研究的信息为HD图像3541的实际值；SD图像3542的实际像素值； 对应于HD图像3541的实际波形(现实世界1中的信号)。图271 和图272中示出了研究结果。图271示出了研究目标区域的实例。注意，在图271中，由X方 向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一 个空间方向。也就是说，本申请人研究了图271中所示的减法图像3544的区 域3544- 1的再现结果，所述区域是表现HD图像3541和预测图像 3543之间的像素值的较小差的区域实例。图272的图表示出了 HD图像3541的实际像素值；SD图像3542 的实际像素值，其对应于图271所示的区域3544- 1中在X方向上的 一组6个HD像素的左侧4个像素；以及实际波形(现实世界l的信号)。在图272中，垂直轴表示像素值，水平轴表示平行于空间方向X 的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个 HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原 点为基础定义每个坐标值。注意，以减法图像3544的HD像素的像素 宽度为0.5而定义X轴坐标值。也就是说，减法图像3544是HD图像， 因此，图中以0.5的像素宽度Lt (下文中将称为"HD像素宽度Lt") 画出HD图像的每个像素。另一方面，在该情况下，以为HD像素宽 度Lt两倍的像素宽度，即以1的像素宽度Ls(下文中将称为"SD像素 宽度Ls")画出SD图像3542的每个像素。另外，在图272中，实线表示HD图像3541的像素值，点线表 示SD图像3542的像素值，以及虛线表示沿X方向的现实世界1的信号波形。注意，实际上难于画出现实世界l的实际波形。因此，如图272所示的虛线表示利用上述线性多项式模拟技术(如图266所示的 根据第一实施例的现实世界估计单元102)模拟沿X方向的波形的模 拟函数f (x)。然后，本申请人以与上述关于表现其之间的像素值的小差的区域 的研究同样的方法，研究了在表现HD图像3541和预测图像3543之 间的像素值的较大差的区域(即在减法图像3544中由接近白色的密度 形成的区域)中的再现结果。在上述区域中，同样获得用于该研究的 信息为HD图像3541的实际值；SD图像3542的实际像素值；对应 于HD图像3541的实际波形(现实世界1中的信号)。图273和图 274中示出了研究结果。图273示出了研究目标区域的实例。注意，在图273中，由X方 向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一 个空间方向。也就是说，本申请人研究了图273中所示的减法图像3544的区 域3544- 2的再现结果，所述区域是表现HD图像3541和预测图像 3543之间的像素值的较大差的区域实例。图274的图表示出了 HD图像3541的实际像素值；SD图像3542 的实际像素值，其对应于图273所示的区域3544-2中在X方向上的 一组6个HD像素的左侧4个像素；以及实际波形(现实世界l的信 号)。在图274中，垂直轴表示像素值，水平轴表示平行于空间方向X 的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个 HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原 点为基础定义每个坐标值。注意，以1的SD像素宽度Ls定义X轴坐 标值0在图274中，实线表示HD图像3541的像素值，点线表示SD图 像3542的像素值，以及虚线表示沿X方向的现实世界l的信号波形。 注意，如图274所示的虛线表示以与图272所示的虚线相同的方法模拟沿X方向的波形的模拟函数f (x)。比较图272和图274所示的图表，从图中所示的模拟函数f (x) 显然可以看出，图中每个区域包括线对象。然而，存在如下的差异。也就是说，在图272中线对象在约0到 l的x的区域上延伸，而在图274中，线对象在约-0.5到0.5的x的区 域上延伸。也就是说，在图272中，线对象的大部分被包括在位于SD 图像3542中的0到1的x的区域上的单个SD像素内，另一方面，在 图274中，线对象的部分被包括在位于SD图像3542中0到1的x的 区域上的单个SD像素中(线对象与背景邻接的边缘也被包括在其中)。因此，在如图272所示的情况下，在延伸于HD图像3541的0 到1.0的x的区域上的两个HD像素(由实线表示)之间的像素值之 差较小。相应的SD像素的像素值(图中由点线表示)是两个HD像 素的像素值的平均值。因此，可以容易理解，SD图像3542的SD像 素与HD图像3541的两个HD像素之间的像素值之差较小。在该状态下(如图272所示的状态)，考虑利用常规类型分类适 应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预 测图像3543的像素)的再现处理，其中以延伸在0到l.O的x的区域 上的单个SD像素作为关注像素。在该情况下，如图271所示，产生 的预测图像3543的HD像素以充分高的精度模拟HD图像3541的HD 像素。也就是说，在区域3544- 1中，在预测图像3543和HD图像 3541之间的像素值之差较小，因此，形成的减法图像具有接近黑色的 密度，如图271所示。另一方面，在如图274所示的情况下，在延伸于HD图像3541 的0到1.0的x的区域上的两个HD像素(由实线表示)之间的像素 值之差较大。相应的SD像素的像素值(图中由点线表示)是两个HD 像素的像素值的平均值。因此，可以容易理解，SD图像3542的SD 像素与HD图像3541的两个HD像素之间的像素值之差比如图272 所示的相应差较大。在该状态下(如图274所示的状态)，考虑利用常规类型分类适应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预 测图像3543的像素)的再现处理，其中以延伸在0到1.0的x的区域 上的单个SD像素作为关注像素。在该情况下，如图273所示，产生 的预测图像3543的HD像素以较差的精度模拟HD图像3541的HD 像素。也就是说，在区域3544-2中，在预测图像3543和HD图像 3541之间的像素值之差较大，因此，形成的减法图像具有接近白色的 密度，如图273所示。比较如图272所示和如图274所示的用于模拟现实世界1的信号 的模拟函数f (x)(图中由虛线表示)，可以如下理解。也就是说， 模拟函数f (x)在图272中0到1的x的区域上的变化较小，而模拟 函数f (x)在图274中0到1的x的区域上的变化较大。因此，存在如图272所示的SD图像3542中的SD像素，其在0 到l的x的范围上延伸，在其上模拟函数f(x)的变化较小(即，现 实世界l的信号的变化较小)。从该角度上，上述的研究结果还可以如下文所述。也就是说，在 基于延伸在其上模拟函数f (x)的变化较小(即现实世界l的信号的 变化较小)的区域上的SD像素、如延伸在如图272所示的0到1.0 的x的区域上的SD像素再现HD像素的情况下，利用常规类型分类 适应处理，产生的HD像素以充分高的精度模拟现实世界1的信号(在 该情况下，直线对象的图像)。另一方面，存在如图274所示的SD图像3542中的另一个SD像 素，其在0到1的x的范围上延伸，在其上模拟函数f (x)的变化较 大(即，现实世界l的信号的变化较大)。从该角度上，上述的研究结果还可以如下文所迷。也就是说，在 基于延伸在其上模拟函数f (x)的变化较大(即现实世界l的信号的 变化较大)的区域上的SD像素、如延伸在如图274所示的0到1.0 的x的区域上的SD像素再现HD像素的情况下，，利用常规类型分 类适应处理，产生的HD像素以较差的精度模拟现实世界1的信号(在 该情况下，直线对象的图像)。上述研究结果的结论为如图275所示的情况，利用基于像素之间 的关系的常规信号处理(例如，类型分类适应处理)，难于再现延伸 在对应于单个像素的区域上的细节。也就是说，图275描述了本申请人获得的研究结果。 在图275中，图中水平方向表示为空间方向的X方向，沿其上排 列有传感器2 (图266)的检测元件。另一方面，图中垂直方向表示光 量水平或像素值。点线表示现实世界l的信号(图266)的X截面波 形F(x)。实线表示在传感器2接收上述表示的现实世界1的信号(图 像)的情况下从传感器2输出的像素值P。另外，传感器2的检测元 件的宽度(在X方向上的长度)由Le表示。X截面波形F (x)相对 于作为传感器2的检测元件的宽度L的传感器2的像素宽度"的变 化由AP表示。这里，上述SD图像3542 (图270 )是用于模拟从传感器2输入 的图像(图266)的图像。在该模拟下，以SD图像3542的SD像素 宽度Ls (图272和图274)为传感器2的像素宽度Lc (检测元件的宽 度)，可以进行估计。尽管已经描述了对表现为细线的现实世界1的信号(模拟函数f (x))的研究，对于现实世界l中的信号水平可以有多种变化。因此，基于研究结果可以估计在如图275所示的条件下的再现结 果。估计的再现结果如下所述。也就是说，在利用常规类型分类适应处理再现HD像素(例如， 从图266中的类型分类适应处理单元3501输出的预测图像的像素)的 情况下，其中以其上现实世界1的信号的变化AP (在X截面波形F (x)上的变化)较大的SD像素(从传感器2输出的像素)作为关注 像素，则产生的HD像素以较差的精度模拟现实世界1中的信号(如 图275所示的X截面波形F (x))。尤其是，在例如类型分类适应处理的常规方法中，基于从传感器 2输出的多个像素之间的关系进行图像处理。也就是说，如图275所示，考虑位于对应于单个像素的区域上的在X截面波形F (x)上表现快速变化AP，即现实世界l中的信号的 快速变化的信号。对该信号积分(严格地说，时间空间积分)，并只 输出单个像素值P(在单个信号上的像素由统一像素值P表示)。在常规方法中，以像素值P同时为参考和目标而进行图像处理。 换句话说，在常规方法中，不考虑单个像素上的现实世界l的信号(X 截面波形F(x))的变化，即不考虑延伸在单个像素上的细节，而进 行图像处理。只要图像处理是以像素增量进行的，则任何图像处理(即使类型 分类适应处理)难于高精度地再现现实世界1的信号在单个像素上的 变化。尤其是，现实世界1的信号的大的变化AP将导致其中的显著 难度。换句话说，上述类型分类适应处理的问题，即，利用类型分类适 应处理对原始细节的不充分再现的原因如下，所述问题通常发生在其 中在从传感器2输出图像的阶段已经丢失细节的输入图像(SD图像) 的情况中。所述原因在于，类型分类适应处理在像素增量上进行(具 有单个像素值的单个像素)，而不考虑现实世界l的信号在单个像素上的变化。注意，所有包括类型分类适应处理的常规图像处理方法都具体相 同的问题，问题的原因是完全相同的。如上所述，常规图像处理方法具有同样的问题和同样的问题的原因。另一方面，数据连续性检测单元101和现实世界估计单元102(图 3)的组合使得可以利用现实世界l的信号的连续性基于来自传感器2 的输入图像(即，其中已经丟失了现实世界l的信号变化的图像)而 估计现实世界l的信号。也就是说，现实世界估计单元102具有输出 现实世界估计信息的功能，其允许估计现实世界l的信号。因此，可以基于现实世界估计信息估计现实世界1的信号在单个 像素上的变化。在本说明书中，本申请人已经提出了例如图266所示的类型分类适应处理校正方法，其基于这样的机制，其中，利用基于现实世界估 计信息产生的预定校正图像(其表示由于现实世界l的信号在单个像 素上的变化而导致的预测图像的估计误差)校正由常规类型分类适应 处理产生的预测图像(其表示不考虑现实世界l的信号在单个像素上 的变化而预测的现实世界l中的图像)，从而解决上述问题。也就是说，在图266中，数据连续性检测单元101和现实世界估 计单元102产生现实世界估计信息。然后，类型分类适应处理校正单 元3502基于上述产生的现实世界估计信息产生具有预定格式的校正 图像。接着，相加单元3503利用从类型分类适应处理校正单元3502 输出的校正图像校正从类型适应处理单元3501输出的预测图像(尤其 是，相加预测图像和校正图像，并输出相加的图像作为输出图像)。注意，已经详细描述了用于进行类型分类适应处理校正方法的包 括在图像产生单元103中的类型分类适应处理单元3501。另外，相加 单元3503的种类不受特别限制，只要相加单元3503具有相加预测图 像和校正图像的功能。相加单元3503的实例包括各种加法器、相加程 序等。因此，下面将详细描述未描述过的类型分类适应处理校正单元3502。首先描述类型分类适应处理校正单元3502的机制。如上所述，在图270中，设HD图像3541为将输入传感器2 (图 266)的原始图像(现实世界1中的信号)。另外，设SD图像3542 为来自传感器2的输入图像。在该情况下，可以设预测图像3543为从 类型分类适应处理单元3501输出的预测图像(通过预测原始图像(HD 图像3541)而获得的图像)。另一方面，通过从HD图像3541中减去预测图^f象3543而获得的 图像为减法图像3544。因此，通过如下作用再现HD图4象3541:类型分类适应处理校正 单元3502产生减法图像3544 ，并输出减法图像3544作为校正图像； 以及加法单元3503相加从类型分类适应处理单元3501输出的预测图像3543和从类型分类适应处理校正单元3502输出的减法图像3544 (校正图像)。也就是说，类型分类适应处理校正单元3502适当地预测减法图 像(与从类型分类适应处理单元3501输出的预测图像具有相同的分辨 率)，其为表示现实世界l中的信号(将被输入传感器2的原始图像) 的图像与从类型分类适应处理单元3501输出的预测图像之差，并输出 上述预测的减法图像(下文将称为"减法预测图像")作为校正图像， 从而几乎完全地再现现实世界l中的信号(原始图像)。另一方面，如上所述，在如下之间存在关系现实世界l中的信 号(将被输入传感器2的原始图像)与从类型分类适应处理单元3501 输出的预测图像之差(误差)；以及现实世界l中的信号在输入图像 的单个像素上的变化。另外，现实世界估计单元102估计现实世界1 中的信号，从而允许估计每个像素的特征，所述特征表示现实世界1 中的信号在输入图像的单个像素上的变化。在这样的结构中，类型分类适应处理校正单元3502接收输入图 像的每个像素的特征，并基于其产生减法预测图像(预测减法图像)。尤其是，例如，类型分类适应处理校正单元3502从现实世界估 计单元102接收图像(下文称为"特征量图像")作为其中特征由每个 像素值表示的现实世界估计信息。注意，特征量图像与来自传感器2的输入图像具有相同的分辨率。 另 一方面，校正图像(减法预测图像)与从类型分类适应处理单元3501 输出的预测图像具有相同的分辨率。在该结构中，类型分类适应处理校正单元3502基于特征量图像， 利用常规类型分类适应处理，以特征量图像为SD图像并以校正图像 (减法预测图像)为HD图像，预测和计算减法图像，从而获得合适 的减法预测图像作为预测计算的结果。上述为类型分类适应处理校正单元3502的设置。图276示出了在所述机制上工作的类型分类适应处理校正单元 3502的结构实例。在图276中，将从现实世界估计单元102输入的特征量图像(SD 图像)提供给区域选取单元3551和3555。区域选取单元3551从提供 的特征量图像选取用于类型分类所需的类型分块(包括关注像素的位 于预定区域上的一组SD像素)，并将选取的类型分块输出给图形检 测单元3552。图形检测单元3552基于上述输入的类型分块检测特征 量图像的图形。类型代码确定单元3553基于上述由图形检测单元3552检测的图 形确定类型代码，并将确定的类型代码输出给校正系数存储器3554 和区域选取单元3555。校正系数存储器3554存储通过学习获得的每 个类型代码的系数。校正系数存储器3554读出对应于从类型代码确定 单元3553输入的类型代码，并将类型代码输出给校正计算单元3556。注意，下面将参考图277所示的类型分类适应处理校正学习单元 的方框图描述用于计算存储在校正系数存储器3554中的系数的学习 处理。另一方面，存储在校正系数存储器3554中的系数，即预测系数 如下文所述预测减法图像(用于产生作为HD图像的减法预测图像)。 然而，上述术语"预测系数，，表示存储在类型分类适应处理单元3501 的系数存储器3514 (图267)中的系数。因此，存储在校正系数存储 器3554中的预测系数在下文中将称为"校正系数"，以区分该系数与系 数存储器3514中的预测系数。区域选取单元3555基于从类型代码确定单元3553输入的类型代 码，从自现实世界估计单元102输入的特征量图像(SD图像)选取用 于预测减法图像(HD图像)(即用于产生作为HD图像的减法预测 图像)所需的、对应于类型代码的预测分块(包括关注像素的位于预 定区域上的一组SD像素)，并将选取的类型分块输出给校正计算单 元3556。校正计算单元3556利用从区域选取单元3555输入的预测分 块和从校正系数存储器3554输入的校正系数执行积-和计算，从而产 生对应于特征量图像(SD图像)的关注像素(SD像素)的减法预测 图像(HD图像)的HD像素。尤其是，校正系数存储器3554将对应于从类型代码确定单元3553提供的类型代码的校正系数输出给校正计算单元3556。校正计算单元3556利用从区域选取单元3555提供的输入图像中的像素的预定位置上的像素值选取的预测分块(SD像素)和从校正系数存储器3554提供的校正系数执行由下面公式(233 )表示的积-和计算，从而获得减法预测图像(HD图像)的HD像素(即，预测和估计减法图像)。 n<formula>formula see original document page 321</formula>
在公式(223)中，u，表示减法预测图像(HD图像)的HD像素。 每个ai (i为1到ir的整数)表示相应的预测分块(SD像素)。另一 方面，每个gi表示相应的校正系数。因此，当如图266所示的类型分类适应处理单元3501输出由上 述公式(215)表示的HD像素q，，类型分类适应处理校正单元3502 输出由公式(223)表示的减法预测图#>的HD像素u，。然后，相加 单元3503求预测图像的HD像素q，和减法预测图像的HD像素u，的 和(下文中表示为"o"，)，并将该和输出给外部电路作为输出图像的 HD像素。也就是说，最后从图像产生单元103输出的输出图像的HD像素0，由下面/>式(224)表示。<formula>formula see original document page 321</formula>
图277示出了用于确定存储在类型分类适应处理校正单元3502 的校正系数存储器3554中的校正系数(用于上述公式(222)中的gi) 的学习单元、即上述如图268所示的学习装置3504的类型分类适应处 理校正学习单元3561的详细结构实例。在上述图268中，当完成学习处理，类型分类适应处理学习单元 3521输出基于第 一学生图像利用通过学习获得的预测系数预测第一 老师图像而获得的学习预测图像，并将用于学习处理的第一老师图像 (HD图像)和第一学生图像(SD图像)输出给类型分类适应处理校正学习单元3561。返回图277，在这些图像中，将第一学生图像输入数据连续性检 测单元3572。另一方面，在这些图像中，将第一学生图像和学习预测图像输入 给相加单元3571。注意，在输入相加单元3571前将学习预测图4象取 反。相加单元3571相加输入的第一老师图像和取反的输入学习预测 图像，即产生第一老师图像和学习预测图像的减法图像，并将产生的 减法图像输出给正规方程产生单元3578作为用于类型分类适应处理 校正学习单元3561冲的老师图像(其将被称为"第二老师图像"以区分 该图像与第一老师图像)。数据连续性检测单元3572检测包含在输入的第一学生图像中的 数据连续性，并将检测结果输出给现实世界估计单元3573作为数据连 续性信息。现实世界估计单元3573基于上述输入的数据连续性信息产生特 征量图像，并将产生的图像输出给区域选取单元3574和3577作为用 于类型分类适应处理校正学习单元3561中的学生图像(该学生图像将 被称为"第二学生图像"，以区分该学生闺像与上述第一学生图像)。区域选取单元3574从上述提供的第二学生图像(SD图像)选取 用于类型分类所需的SD像素(类型分块)，并将选取的类型分块输 出给图形检测单元3575。图形检测单元3575检测输入的类型分块的 图形，并将检测结果输出给类型代码确定单元3576。类型代码确定单 元3576确定对应于输入图形的类型代码，并将确定的类型代码输出给 区域选取单元3577和正规方程产生单元3578。区域选取单元3577基于从类型代码确定单元3576输入的类型代 码从自现实世界估计单元3573输入的第二学生图像(SD图像)选取 预测分块(SD像素)，并将选取的预测分块输出给正规方程产生单元 3578。注意，区域选取单元3574、图形检测单元3575、类型代码确定单元3576,以及区域选取单元3577具有基本相同的结构，并且，分 别与如图276所示的类型分类适应处理校正单元3502的区域选取单元 3551、图形检测单元3552、类型代码确定单元3553、以及区域选取单 元3555相同地作用。另外，上述数据连续性检测单元3572和现实世 界估计单元3773具有基本相同的结构，并且分别与图266中所示的数 据连续性检测单元101和现实世界估计单元102相同地作用。正规方程产生单元3578基于从区域选取单元3577输入的第二学 生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单 元3576输入的每个类型代码的第二老师图像(HD图像)的HD像素 而产生正规方程，并将正规方程提供给系数确定单元3579。当从正规 方程产生单元3578接收相应类型代码的正规方程时，校正系数确定单 元3579利用正规方程计算校正系数，其相关于类型代码，并被存储在 校正系数存储器3554中。下面，将详细描述正规方程产生单元3578和校正系数确定单元3579。在上述公式(223)中，所有校正系数gi在学习之前是未确定。 在本实施例中，学习处理通过输入每个类型代码的老师图像(HD图 像)的多个HD像素而进行。假设，对应于特定类型代码存在m个 HD像素，并将m个HD像素中的每个表示为uk(k表示1到m的整 数)。在该情况下，从上述公式(223)得到下面的公式(225)。Uk = I giXaik+ek1=0 公式(225)也就是说，公式(225)表示，通过计算公式(225)的右侧可以 预测和估计对应于特定类型代码的HDl象素。注意，在^&式(225)中， ek表示误差。也就是说，作为该公式右侧的计算结果的减法预测图像 (HD图像)的HD像素Uk，不完全匹配实际减法图像的HD像素Uk, 而是包括特定误差ek。在公式(225)中，例如，校正系数ai通过学习使得误差ek的平 方和表现最小值而获得。在本实施例中，预备m (m>n)个HD像素Uk用于学习处理。 在该情况下，利用最小二乘法可以计算校正系数ai作为唯一解。也就是说，利用最小二乘法计算公式(225)右侧中的校正系数 aj的正规方程由下面公式(226)表示。<formula>formula see original document page 324</formula>公式(226)当公式(226)中的矩阵为下面公式(227)到公式(229) 正规方程由下面公式(230)表示。<formula>formula see original document page 324</formula>公式(227 )<formula>formula see original document page 324</formula>公式(228 )<formula>formula see original document page 325</formula>公式(229 )<formula>formula see original document page 325</formula>公式(230)如公式(228)所示，矩阵gmat的每个分量为将要获得的校正系 数&。在本实施例中，在公式(230)中，如果确定了其左侧的矩阵 amat和右侧的矩阵UMAT，可以利用矩阵求解方法计算矩阵GMAT (即 校正系数gi)。尤其是，在本实施例中，由于已知预测分块aik，因此可以获得 由公式(227)表示的矩阵Amat的各个分量。区域选取单元3577选 取每个预测分块aik，并且正规方程产生单元3578利用从区域选取单 元3577提供的预测分块aik计算矩阵Amat的毎个分量。另一方面，在本实施例，准备预测分块aik和减法图像的HD像 素Uk是已知的，因此可以计算如^^式(299)所示的矩阵Umat的各个 分量。注意，预测分块a化与矩阵Amat中相同。另外，减法图像的 HD像素Uk匹配从相加单元3571输出的第二老师图像的相应HD像 素。在本实施例中，正规方程产生单元3578利用从区域选取单元3577 提供的预测分块aik和第二老师图像(第一老师图像和学习预测图像的减法图像)而计算矩阵umat的每个分量。如上所述，正规方程产生单元3578计算每个类型代码的矩阵 Amat和矩降Umat的毎个分量，并将相关于类型代码的计算结果提供 给校正系数确定单元3579。校正系数确定单元3579基于对应于提供的类型代码的正规方程， 计算作为由上述公式(230)表示的毎个矩降Gmat的分量的校正系数200710154345.2说明书第323/384页gi。尤其是，可以将由上述公式(230)表示的正规方程转换为下面 的公式(231)。公式(231)在公式(231)中，其左侧矩阵GMAT的各个分量是将要获得的校 正系数gi。注意，从正规方程产生单元3578提供矩阵AMAT和矩阵UMAT 的各个分量。在本实施例中，当从正规方程产生单元3578接收对应于 特定类型代码的矩阵AMAT的分量和矩阵UMAT的分量，校正系数确定 单元3579通过执行由公式(231)的右侧表示的矩阵计算而计算矩阵 GMAT，并将相关于类型代码的计算结果(校正系数gi)存储在校正系 数存储器3554中。上文详细描述了类型分类适应处理校正单元3502和类型分类适 应处理校正学习单元3561，其中后者是学习单元，并且是类型分类适 应处理校正单元3502的子单元。注意，在本发明中采用的特征量图像不特别限制，只要通过类型 分类适应处理校正单元3502基于其产生校正图像(减法预测图像)。 换句话说，用于本发明的特征量图像中的每个像素的像素值，即特征 不特别限制，只要所述特征表示现实世界1中的信号(图266)在单 个像素(传感器2 (图266)的像素)上的变化。例如，可以采用"像素内梯度"作为特征。注意，"像素内梯度"是这里新定义的术语。下面将描述像素内梯度。如上所述，通过以三维空间中的位置x， y和z以及时间t为变 量的函数F(x， y， t)表示作为图266中的图像的现实"i^界1的信号。现在，假设其为图像的现实世界l中的信号具有在特定空间方向 上的连续性。在该情况下，考虑通过沿空间方向X方向、Y方向和Z 方向中的特定方向(例如X方向)投影函数F (x， y， t)获得的一维 波形(将通过沿X方向投影函数F (x， y， t)获得的波形称为"X截 面波形F (x)")。在该情况下，可以理解，在沿连续性方向的附近可以获得类似上述一维波形F (x)的波形。基于上述内容，在本实施例中，现实世界估计单元102基于数据 连续性信息(例如角度)利用n (n表示特定整数)阶多项式模拟函 数f (x)模拟X截面波形F (x)，所述数据连续性信息反映了现实 世界l中的信号的连续性，并从例如数据连续性检测单元101输出。图278示出了由下面公式(232)表示的f4 (x)(其为5多项式 函数)，和由下面公式(233)表示的f5(x)(其为一阶多项式函数)， 作为该多项式模拟函数f (x)的实例。<formula>formula see original document page 327</formula>公式(232)<formula>formula see original document page 327</formula>公式(233 )注意，公式(232)中W。到Ws的每个和公式(233)中W。，到 W 表示通过现实世界估计单元102计算的函数的相应阶数的系数。另一方面，在图278中，将图中水平方向上的x轴定义为以关注 像素的左端作为原点(x=0),并表示沿空间方向X距离关注像素的 相对位置。注意，将x轴定义为以传感器2的检测元件的宽度Le为1。 另一方面，图中垂直方向上的轴线表示像素值。如图278所示， 一维模拟函数fs(x)(由公式(232)表示的模 拟函数f5( x ))利用线性模拟模拟关注像素周围的X截面波形F( x)。 在该说明书中，将线性模拟函数的梯度称为"像素内梯度"。也就是说， 像素内梯度由公式(233)中x的系数w，表示。快变像素内梯度反映了关注像素附近的X截面波形F (x)中的 较大变化。另一方面，渐变梯度反映了关注像素附近的X截面波形F (x)中的较小变化。如上所述，像素内梯度适当地反映了现实世界l的信号在单个像 素(传感器2的像素)上的变化。因此，可以采用像素内梯度作为特 征。例如，图279示出了利用像素内梯度为特征产生的实际特征量图像c也就是说，图279左边的图像与上述图270所示的SD图像3542 相同。另一方面，图279右边的图像是如下述产生的特征量图像3591。 也就是说，获得图中左边SD图像3542的每个像素的像素内梯度。然 后，以对应于像素内梯度的值为像素值产生图中右边的图像。注意， 特征量图像3591具有下面的特征。也就是说，在像素内梯度为0(即 线性模拟函数平行于X方向)的情况下，产生具有对应于黑色的密度 的图像。另一方面，在像素内梯度为90° (即线性模拟函数平行于Y 方向)的情况下，产生具有对应于白色的密度的图像。SD图像3542中的区域3542 - 1对应上述图271所示的减法图像 3544中的区域3544- 1 (其在参考图272的上述中用作其中现实世界 1的信号在单个像素上的变化较小的区域实例)。在图279中，特征 量图像3591中的区域3591- 1对应SD图像3542中的区域3542- 1。另一方面，SD图^象3542中的区域3542 -2对应上述图273所示 的减法图像3544中的区域3544-2 (其在参考图274的上述中用作其 中现实世界l的信号在单个像素上的变化较大的区域实例)。在图279 中，特征量图像3591中的区域3591-2对应SD图像3542中的区域 3542- 2。比较SD图像3542的区域3542-1和特征量图像3591的区域 3591 - 1，可以理解，其中现实世界l的信号的变化较小的区域对应具 有接近黑色的密度的特征量图像3591的区域(对应于具有渐变像素内 梯度的区域)。另 一方面，比较SD图像3542的区域3542 - 2和特征量图像3591 的区域3591 -2，可以理解，其中现实世界1的信号的变化较大的区 域对应具有接近白色的密度的特征量图像3591的区域(对应于具有快 变像素内梯度的区域)。如上所述，利用对应于像素内梯度的值作为像素值产生的特征量 图像适当地反映了现实世界1的信号在每个像素上的变化程度。接着，将描述像素内梯度的具体计算方法。也就是说，以关注像素附近的像素内梯度为"grad",则像素内梯度grad由下面公式(234)表示。 P —Pgrad =X n 公式(234)在公式(234)中，Pn表示关注像素的像素值。另外，Pc表示中心像素的像素值。尤其是，如图280所示，考虑具有特定数据连续性的来自传感器 2的输入图像中的5x5的像素(图中5x5 = 25个像素的区域)的区域 3601 (其在下文中称为"连续性区域3601")。在连续性区域3601的 情况下，中心像素是位于连续性区域3601的中心的像素3602。因此， Pc是中心像素3602的像素值。另外，在像素3603是关注像素的情况 下，则Pn是关注像素3603的像素值。另外，在公式(234)中，Xn，表示在关注像素中心的截面方向距离。注意，以中心像素(在如图280所示的情况中为像素3602)的中 心为空间方向中的原点(0, 0),将"截面方向距离"定义为在关注中 心像素和平行于数据连续性方向、并经过原点的直线(在如图280所 示情况中为直线3604)之间沿X方向上的相对距离。图281示出了图280中的连续性区域3601内的每个像素的截面 方向距离。也就是说，在图281中，在连续性区域3601 (图中5x5 = 25个像素的方形区域)中的每个像素内标记的值表示相应像素上的截 面方向距离。例如，在关注像素3603上的截面方向距离xj为-2卩。注意，将X轴和Y轴定义为在X方向和Y方向上的像素宽度都 为1。另外，将X方向定义为以正方向对应于图中的右方向。另外， 在该情况下，|3表示在Y方向上相邻于中心像素3602 (图中在其下方 相邻)的像素3605上的截面方向距离。在本实施例中，数据连续性检 测单元101提供如图281所示的角度e(直线3604的方向和X方向之 间的角度e)作为数据连续性信息，因此，利用下面的公式(235)可 以容易地获得值p。公式(235)如上所述，基于中心像素(例如图281中的像素3602)和关注像 素(例如图281中的像素3603)的两个输入像素值和角度e，可以利 用简单的计算获得像素内梯度。在本实施例中，现实世界估计单元102 以对应于像素内梯度的值为像素值产生特征量图像，从而较大地减少 了处理量。注意，在需要更高精度像素内梯度的设置中，现实世界估计单元 102可以通过最小二乘法利用包括关注像素的其附近的像素计算像素 内梯度。尤其是，假设包括关注像素并在其周围的m (m表示2或更 大的整数)个像素由指数i表示(i表示1到m的整数)。现实世界 估计单元102将输入像素值Pi和相应的截面方向距离Xi，代入下面公式 (236)的右侧，从而计算关注像素上的像素内梯度grad。也就是说， 利用与上述相同具有单个变量的最小二乘法计算像素内梯度。Z x，？xPjgra"1^-;~Z(x，i)2i = 1公式(236)接着，将参考图282描述由利用类型分类适应处理校正方法的图 像产生单元103 (图226)进行的用于产生图像的处理(如图40所示 的步骤S103中的处理)。在图266中，当接收到作为图像的现实世界l中的信号，传感器 2输出输入图像。将输入图像输入图像产生单元103的类型分类适应 处理单元3501，以及将其输入数据连续性检测单元101。然后，在图282所示的步骤S3501中，类型分类适应处理单元 3501对输入图像(SD图像)进行类型分类适应处理，以产生预测图 像(HD图像)，并将产生的预测图像输出给相加单元3503。注意，下文中将该由类型分类适应处理单元3501进行的步骤 S3501称为"输入图像类型分类适应处理"。下面将参考图283中的流 程图描述在该情况下的"输入图像类型分类适应处理"。数据连续性检测单元101在与步骤S3501中的处理几乎同时地检测包括在输入图像中的数据连续性，并将检测结果(在该情况中为角度)输出给现实世界估计单元102作为数据连续性信息(如图40所示 的步骤S101中的处理)。现实世界估计单元102基于输入图像(数据连续性信息)产生现 实世界估计信息(特征量图像，其在该情况下为SD图像)，并将现 实世界估计信息提供给类型分类适应处理校正单元3502 (图40所示 的步骤S102中的处理)。然后，在步骤S3502中，类型分类适应处理校正单元3502对上 述提供的特征量图像(SD图像)进行类型分类适应处理，从而产生减 法预测图像(HD图像)(即，从而因此预测并计算实际图像(现实 世界1中的信号)与从类型分类适应处理单元3501输出的预测图4象之 间的减法图像(HD图像))，并将减法预测图像输出给相加单元3503 作为校正图像。注意，下文中将该由类型分类适应处理校正单元3502进行的步 骤S3502中的处理称为"类型分类适应处理校正处理"。下面将参考图 284中的流程图详细描述在该情况下的"类型分类适应处理校正处 理"。然后，在步骤S3503中，相加单元3503进行如下求和通过类 型分类适应处理单元3501利用步骤S3501中的处理产生的预测图像 (HD图像)的关注像素(HD像素)；以及通过类型分类适应处理校 正单元3502利用步骤S3502中的处理产生的校正图像(HD图像)的 相应像素(HD像素)，从而产生输出图像(HD图像)的像素(HD 像素)。在步骤S3504中，相加单元3503确定是否已经对全部像素进行处理。在步骤S3504中确定仍未对全部像素进行处理的情况下，流程返 回步骤S3501，并重复后面的处理。也就是说，对未经过处理的每个 剩余像素依次进行步骤S3501到S3503的处理。在完成对全部像素的处理时(当在步骤S3504中确定已经对全部像素进行处理的情况下)，在步骤S3505中，相加单元3504将输出图 像(HD图像)输出给外部电路，从而结束用于产生图像的处理。接着，将参考附图依次详细描述"输入图像类型分类适应处理(步 骤S3501中的处理)，，和"类型分类适应校正处理(步骤S3502中的处 理)，，。首先，参考图283中的流程图详细描述由类型分类适应处理单元 3501 (图267)执行的"输入图像类型分类适应处理"。当将输入图像(SD图像)输入类型分类适应处理单元3501，在 步骤S3521中，区域选取单元3511和3515分别接收所述输入图像。在步骤S3522中，区域选取单元3511从输入图像选取关注像素 (SD像素)，并选取位于距离关注像素的预定相对位置上的(一个或 多个)像素(SD像素)作为类型分块，并将选取的类型分块提供给图 形检测单元3512。在步骤S3523中，图形检测单元3512检测上述提供的类型分块 的图形，并将检测图形提供给类型代码确定单元3512。在步骤S3524中，类型代码确定单元3513从预备的多种代码中 确定适于上述提供的类型代码的图形的类型代码，并将确定的类型代 码提供给系数存储器3514和区域选取单元3515。在步骤S3525中，系数存储器3514从通过学习处理预备的多个 预测系数(组)中，检测用于随后处理中的对应于提供的类型代码的 预测系数(组)，并将选择的预测系数提供给预测计算单元3516。注意，下面将参考图288中的流程图描述学习处理。在步骤S3526，区域选取单元3515从输入图4象选取关注^^素(SD 像素)，并选取位于距离关注像素的预定相对位置(其被设置在与类 型分块相同的位置上)上的(一个或多个)像素(SD像素)作为预测 分块，并将选取的预测分块提供给预测计算单元3516。在步骤S3527中，预测计算单元3516利用从系数存储器3514提 供的预测系数对从区域选取单元3515提供的预测分块进行计算处理 以产生预测图像(HD图像)，并将产生的预测图像输出给相加单元3503。尤其是，预测计算单元3516如下进行计算处理。也就是说，以 从区域选取单元3515提供的预测分块的每个像素为q (i表示1到n 的整数)，并以从系数存储器3514提供的每个预测系数为dp则预测 计算单元3516进行由上述公式(215)右侧表示的计算，从而计算对 应于关注像素(SDl象素)的HD像素q，。然后，预测计算单元3516 将计算的HD像素q，输出给相加单元3503作为形成预测图像(HD图 像)的像素，从而输入图像类型分类适应处理结束。接着，将参考图284的流程图详细描述由类型分类适应处理校正 单元3502 (图276)执行的"类型分类适应处理校正处理"。当将特征量图4象(SD图像)输入类型分类适应处理校正单元3502 作为来自现实世界估计单元102的现实世界估计信息，在步骤S3541 中，区域选取单元3551和3555分别接收所述特征量图像。在步骤S3542中，区域选取单元3551选取关注像素(SD像素)， 并选取位于距离关注像素的预定相对位置上的( 一个或多个)像素(SD 像素)作为类型分块，并将选取的类型分块提供给图形检测单元3552。尤其是，在该情况下，假设区域选取单元3551选取例如如图285 所示的类型分块(一组像素)3621。也就是说，图285示出了类型分 块的布置实例。在图285中，图中水平轴表示作为一个空间方向的X方向，而图 中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素 3621 -2表示。在该情况下，被选取为类型分块的像素共为如下5个像素关注 像素3621 - 2;沿Y方向相邻于关注像素3621 - 2的像素3621 - 0和 3621 - 4;以及沿X方向相邻于关注像素3621 - 2的像素3621 - 1和 4象素3621 -3，其构成像素组3621。显然，用于本实施例的类型分块的布置并不限于如图285所示的 实例，而是可以采用各种布置，只要所述布置包括关注像素3624-2。返回图284,在步骤S3543，图形检测单元3552对这样提供的类型分块的图形进行检测，并提供检测到的图形到类型代码确定单元3553。具体地说，在这种情况下，图形检测单元3552对形成图285所 示的类型分块的5个像素3621-0到3621-4的每一个，检测属于该像 素值的类型，即特征值(例如像素内梯度)，并将检测结果以例如单 数据組的形式输出为图形。这里，假设检测到例如如图286所示的图形。也就是说，图286 示出了类型分块图形的实例。在图286中，图中水平轴表示类型分块，图中垂直轴表示像素内 梯度。另一方面，假设预备的类型共有类型3631、类型3632和类型 3633三种类型。在该情况下，图286示出了这样的图形，其中类型分块3621-0 属于类型3631，类型分块3621 -l属于类型3631,类型分块3621 -2 属于类型3633，类型分块3621 -3属于类型3631，以及类型分块3621 -4属于类型3632。如上所述，5个类型分块3621 - 0到3621 - 4中的每个属于三种 类型3631到3633中的一种。因此，在该情况下，存在包括如图286 所示图形的共273 ( =35)种图形。返回图284，在步骤S3544，类型代码确定单元3553从预备的多 个类型代码中确定对应于上述提供的类型分块的图形的类型代码，并 将确定的类型代码提供给校正系数存储器3554和区域选取单元3555。 在该情况下，存在273个图形，因此，存在273 (或更多的)预备类 型代码。在步骤S3545中，校正系数存储器3554从利用学习处理在上述 确定的多组校正系数组中对应于上述提供的类型代码选择将用于后面 的处理中的校正系数(组)，并将选择的校正系数提供给校正计算单 元3556。注意，将预备的每个校正系数组相关于一种预备的类型代码 存储在校正系数存储器3554中。因此，在该情况下，校正系数组数匹 配预备的类型代码数(即273或更多)。注意，下面将参考图288中的流程图描述学习处理。在步骤S3546中，区域选取单元3555从输入图像选取关注像素 (SD像素)、和位于距离关注像素的预定相对位置(不依赖于类型分 块的位置确定的一个或多个位置。然而，预测分块的位置可以匹配类 型分块的位置)上的像素(SD像素)作为预测分块，并将选取的预测 分块提供给校正计算单元3556。尤其是，在该情况下，假设选取如图287所示的预测分块(组) 3641。也就是说，图287示出了预测分块的布置的实例。在图287中，图中水平轴表示作为一个空间方向的X方向，而图 中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素 3641 -l表示。即，像素3641 - 1是对应于类型分块3621 - 2(图285) 的像素。在该情况下，被选取为预测分块(组)的像素为以关注像素3641 -1为中心的5x5个像素3041 (由共25个像素形成一组像素)。显然，用于本实施例的预测分块的布置并不限于如图287所示的 实例，而是可以采用各种其中包括关注像素3641 - 1布置。返回图284，在步骤S3547中，校正计算单元3556利用从校正 系数存储器3554提供的预测系数对从区域选取单元3555提供的预测 分块进行计算，从而产生减法预测图像(HD图像)。然后，校正计 算单元3556将减法预测图像输出给相加单元3503作为校正图像。尤其是，以从区域选取单元3555提供的类型分块为a; (i表示1 到n的整数)，并以从校正系数存储器3554提供的每个校正系数为 gi，则校正计算单元3556进行由上述公式(223)右侧表示的计算， 从而计算对应于关注像素(SD像素)的HD像素u，。然后，校正计 算单元3556将计算的HD像素输出给相加单元3503作为校正图像 (HD图像)的像素，从而类型分类适应校正处理结束。接着，将参考图288的流程图描述通过学习装置(图268)进行 的学习处理，即用于产生用于类型分类适应处理单元3501 (图267) 中的预测系数的学习处理、和用于产生用于类型分类适应处理校正卑元3502 (图276)中的校正系数的学习处理。在步骤S3561中，类型分类适应处理学习单元3521产生用于类 型分类适应处理单元3501中的预测系数。也就是说，类型分类适应处理学习单元3521接收特定图像作为 第一老师图像(HD图像)，并基于第一老师图像产生具有降低的分 辨率的学生图像(SD图像)。然后，类型分类适应处理学习单元3521利用类型分类适应处理 基于第一学生图像(SD图像)产生允许对笫一老师图像(HD图像) 的适当预测的预测系数，并将产生的预测系数存储在类型分类适应处 理单元3501的系数存储器3514 (图267)中。注意，下文中将该由类型分类适应处理学习单元3521执行的步 骤S3561中的处理称为"类型分类处理学习处理"。下面将参考图289 详细描述在该情况下的"类型分类适应处理学习单元"。当产生用于类型分类适应处理单元3501中的预测系数，在步骤 S3562,类型分类适应处理校正学习单元3561产生用于类型分类适应处 理校正单元3502中的校正系数。也就是说，类型分类适应处理校正学习单元3561从类型分类适 应处理学习单元3521接收第一老师图像、第一学生图像以及学习预测 图像(利用由类型分类适应处理学习单元3521产生的预测系数预测第 一老师图像获得的图像)。接着，类型分类适应处理校正学习单元3561产生第一老师图像 和学习预测图像之间的减法图像，用作第二老师图像，并基于第一学 生图像产生特征量图像，作为第二学生图像。然后，类型分类适应处理校正学习单元3561利用类型分类适应 处理基于第二学生图像(SD图像)产生允许对第二老师图像(HD图 像)的适当预测的预测系数，并将产生的预测系数存储在类型分类适 应处理校正单元3502的校正系数存储器3554中作为校正系数，从而 结束学习处理。注意，下文中将该通过类型分类适应处理校正学习单元3561执行的步骤S3562中的处理称为"类型适应处理校正学习处理"。下面将 参考图290的流程图详细描述在该情况下的"类型分类适应处理校正 学习处理"。接着，将参考附图依次描述"类型分类适应处理学习处理(步骤 S3561中的处理)"和"类型分类适应处理校正学习处理(步骤S3562 中的处理)"。首先，参考图289中的流程图详细描述由类型分类适应处理学习 单元3521 (图26a)执行的"类型分类适应处理学习处理"。在步骤S3581中，下降转换器单元3531和正规方程产生单元3536 各接收特定图像作为第一老师图像(HD图像)。注意，还将第一老 师图像如上所述输入类型分类适应处理校正学习单元3561。在步骤S3582中,下降转换器单元3531对输入的第一老师图像 进行"下降转换，，处理(将图像转换成下降分辨率的图像)，从而产生第一学生图像(SD图像)。然后，下降转换单元3531将产生的第一 学生图像提供给类型分类适应处理校正学习单元3561 、以及区域选取 单元3532和3535。在步骤S3583中，区域选取单元3532从上述提供的第一学生图 像选取类型分块，并将选取的类型分块输出给图形检测单元3533。尽 管严格地说，在向/从步骤S3583所示的处理和上述步骤S3522(图283) 所示的处理之间的块输入/输出信息中存在差异(下文中将该差异简称 为"输入/输出差异")，但是步骤S3583中的处理与上述步骤S3522中 的处理基本相同。在步骤S3584中，图形检测单元3533从上述^:供的类型分块中 检测用于确定类型代码的图形，并将检测的图形提供给类型代码确定 单元3534。注意，除了输入/输出，步骤S3584所示的处理与上述步 骤S3523 (图283 )所示的处理基本相同。在步骤S3585中，类型代码确定单元3524基于上述提供的类型 分块的图形确定类型代码，并将确定的类型代码提供给区域选取单元 3535和正规方程产生单元3536。注意，除了输入/输出以外，步骤S3585中的处理与上述步骤S3524 (图283)中的处理基本相同。在步骤S3586中，区域选取单元3535对应于提供的类型代码从 第 一 学生图像中选取预测分块，并将选取的预测分块提供给正规方程 产生单元3536和预测计算单元3538。注意，除了输入/输出以外，步 骤S3586中的处理与上述步骤S3526 (图283 )中的处理基本相同。在步骤S3587中，正规方程产生单元3536基于从区域选取单元 3535提供的预测分块(SD像素)和笫一老师图像(HD图像)的HD 像素的相应HD像素而产生由上述公式(217)表示的正规方程(即公 式(221))，并将产生的正规方程与从类型代码确定单元3534提供 的类型代码一起提供给系数确定单元3537。在步骤S3588中，系数确定单元3537求解上述提供的正规方程， 从而确定预测系数。也就是说，系数确定单元3537计算上述公式(222 ) 的右侧，从而计算预测系数。然后，系数确定单元3537将确定的预测 系数提供给预测计算单元3538，并将上述提供的关于类型代码的预测 系数存储在系数存储器3514中。在步骤S3589中，预测计算单元3538利用从系数确定单元3537 提供的预测系数对从区域选取单元3535提供的预测分块进行计算，从 而产生学习预测图像(HD像素)。尤其是，以从区域选取单元3535提供的每个预测分块为q(i表 示l到n的整数)，并以从系数确定单元3537提供的每个预测系数为 di，则预测计算单元3538计算上述公式(215)的右侧，从而计算HD 像素q，，其被用作学习预测图像的像素，并且预测第一老师图像的相 应HD像素q。在步骤S3590中，确定是否已经对全部像素进行处理。在确定仍 未对全部像素进行处理的情况下，该流程返回步骤S3583。也就是说， 重复步骤S3533到步骤S3590的处理直到完成对全部像素的处理。然后，在步骤S3590中，在确定已经进行对全部像素的处理的情 况下，预测计算单元3538将学习预测图像(由HD像素q，构成的HD 图像，每个像素q，从步骤S3589中对于其的处理产生)输出给类型分类适应处理校正学习单元3561，从而类型分类适应处理学习处理结 束。如上所述，在该实例中，在完成对全部像素的处理后，将作为预 测第一老师图像的HD图像的学习预测图像输入类型分类适应处理校 正学习单元3561。也就是说，将形成图像的全部HD像素(预测像素) 同时输出。然而，本发明不限于上述其中同时输出形成图像的全部像素的设 置。而是，可以这样设置，其中在每次由步骤S3589中的处理产生 HD像素(预测像素)时将产生的HD像素输出给类型分类适应处理 校正学习单元3561p在该设置下，省略步骤S3591中的处理。接着，将参考图290详细描述由类型分类适应处理校正学习单元 3561 (图277)执行的"类型分类适应处理校正学习处理"。当从类型分类适应处理学习单元3521接收第 一老师图像(HD图 像)和学习预测图像(HD图像)时，在步骤S3601，相加单元3571 从第一老师图像减去学习预测图像，从而产生减法图像(HD图像)。 然后，相加单元3571将产生的减法图像提供给正规方程产生单元3578 作为第二老师图像。当从类型分类适应处理学习单元3521接收第一学生图像(SD图 像)，在步骤S3602中，数据连续性检测羊元3572和现实世界估计单 元3573基于输入的第一学生图像(SD图像)产生特征量图像，并将 产生的特征量图像提供给区域选取单元3574和3577作为第二学生图 像。也就是说，数据连续性检测单元3572检测包含在第一学生图像 中的数据连续性，并将检测结果(在该情况下为角度)输出给现实世 界估计单元3573作为数据连续性信息。注意，除了输入/输出以外， 由数据连续性检测单元3572进行的步骤S3602所示的处理与上述图 40所示的步骤S101中的处理基本相同。现实世界估计单元3573基于上述输入的角度(数据连续性信息) 产生现实世界估计信息(在该情况下为作为SD图像的特征量图像)，并将产生的现实世界估计信息提供给区域选取单元3574和3577作为 第二学生图像。注意，除了输入/输出以外，由现实世界估计单元3573 进行的步骤S3602所示的处理与上述图40所示的步骤S102中的处理 基本相同。注意，本发明不限于其中以图290所示的次序进行步骤S3601中 的处理和步骤S3602中的处理的设置。也就是说，可以这样设置，其 中在步骤S3601的处理前进行步骤S3602中的处理。另外，可以同时 进行步骤S3601中的处理和步骤S3602中的处理。在步骤S3603中，区域选取单元3574从上述提供的第二学生图 像(特征量图像)逸取类型分块，并将选取的类型分块输出给图形检 测单元3575。注意,除了输入/输出以外，步骤S3603中所示的处理 与上述(图284)步骤S3542中所示的处理基本相同。也就是说，在 该情况下，选取具有如图285所示的布置的一组像素3621作为类型分 块。在步骤S3604中，图形检测单元3575从上述提供的类型分块中 检测图形以确定类型代码，并将检测的图形提供给类型代码确定单元 3576。注意，除了输入/输出以外，步骤S3604中所示的处理与上述(图 284)步骤S3543中所示的处理基本相同。也就是说，在该情况下，图 形检测单元3575在完成学习处理时检测至少273个图形。在步骤S3605中，类型代码确定单元3576基于上述提供的类型 分块的图形确定类型分块，并将类型分块提供给区域选取单元3577 和正规方程产生单元3578。注意，除了输入/输出以外，步骤S3605 中所示的处理与上述(图284)步骤S3544中所示的处理基本相同。 也就是说，在该情况下，类型代码确定单元3576在完成学习处理时确 定至少273个类型代码。在步骤S3606，区域选取单元3577对应于上述提供的类型代码 从第二学生图像(特征量图像)选取预测分块，并将选取的预测分块 提供给正规方程产生单元3578。注意，除了输入/输出以外，步骤S3606 中所示的处理与上述(图284)步骤S3546中所示的处理基本相同。也就是说，在该情况下，选取具有如图287所示的布置的一组像素作 为预测分块。在步骤S3607中，正规方程产生单元3578基于从区域选取单元 3577提供的预测分块(SD像素)、和第二老师图像(第一老师图像 和学习预测图像之间的减法图像，其为HD图像)产生由上述^>式 (226)表示的正规方程(即公式(230))，并将产生的正规方程与 从类型代码确定单元3576提供的类型代码一起提供给校正系数确定 单元3579。在步骤S3608中，校正系数确定单元3579通过求解上述提供的 正规方程确定校正系数，即通过计算上述公式(231)的右侧计算校正 系数，并将相关于提供的类型代码的计算的校正系数存储在校正系数 存储器3554中。在步骤S3609,确定是否已经对全部像素进行处理。在确定仍未 对全部像素进行处理的情况下，该流程返回步骤S3603。也就是"^兌， 重复步骤S3603到步骤S3609的处理直到完成对全部像素的处理。另一方面，在步骤S3609中，在确定已经进行对全部像素的处理 的情况下，类型分类适应处理校正学习处理结束。如上所述，在类型分类适应校正处理方法中，通过相加从类型分 类适应处理单元3501输出的预测图像和从类型分类适应处理校正单 元3502输出的校正图像(减法预测图像)而产生相加图像，并输出产 生的相加图像。例如，假设将上述图270所示的HD图像3541转换成下降分辨 率图像，即，获得具有下降的分辨率的SD图像3542，则将上述获得 的SD图像3542用作输入图像。在该情况下，类型分类适应处理单元 3501输出如图291所示的预测图像3543。然后，通过相加预测图像 3543和从类型分类适应处理校正单元3502输出的校正图像(未示出) 而产生图像(例如，利用校正图像校正预测图像3543),从而产生如 图271所示的输出图像3651。比较输出图像3651、预测图像3543、以及作为原始图像的HD图像3541 (图270)，确定了输出图像3651比预测图像3543更接近 HD图像3541。如上所述，相比于其它包括类型分类适应处理的技术，类型分类 适应处理校正方法允许输出更接近原始图像(将被输入传感器2的现 实世界l的信号)的图像。换句话说，在类型分类适应处理校正方法中，例如，数据连续性 检测单元101检测由多个像素形成的输入图像(图266)中包含的数 据连续性，所述像素具有通过由传感器(例如图266中所示的传感器 2)的多个检测元件投影现实世界1中的光信号而获得的像素值，其中 由于由每个具有时间-空间积分效应的多个检测元件将现实世界1中 的光信号投影为像素值，因此丢失了现实世界中的光信号的部分连续 性。例如，图266中所示的现实世界估计单元102对应于检测的数据 连续性检测包含在表示现实世界1的光信号(例如，对应于如图266 所示的特征量图像的像素的特征)的光信号函数F(x)(图275)中 的现实世界特征，从而估计现实世界l中的光信号。尤其是，例如，假定表示沿至少一维方向离表示上述提供的数据 连续性的直线(例如图280中的直线3604)的距离(例如图280中所 示的截面方向距离Xn，)的像素值，表示影响相应像素的至少一维积 分效应，现实世界估计单元102利用例如如图278所示的模拟函数f5 (x)模拟光信号函数F (x),并检测其为相应像素(例如如图280 所示的像素3603)附近的模拟函数f5 (x)的梯度的像素内梯度(例 如，在上述公式(234)中的grad，和公式(233 )中的x的系数wl，) 作为现实世界特征，从而估计现实世界l中的光信号。然后，例如，如图266所示的图像产生单元103基子由现实世界 估计装置检测的现实世界特征预测并产生比输入图像具有更高质量的 输出图像(图266)。尤其是，在图像产生单元103中，例如，类型分类适应处理单元 3501基于输入图像中关注像素附近的多个像素的像素值预测关注像素(例如，如图266所示的预测图像的像素，和上述公式(224)中的 q，)的像素值，在所述输入图像中，已经丟失了作为现实世界中的光 信号的部分连续性。另一方面，例如，类型分类适应处理校正单元3502基于从如图 266所示的现实世界估计单元102提供的特征量图像(现实世界估计 信息)预测校正项(例如如图266所示的校正图像(减法预测图像) 的像素，以及公式(224)中的u，)，用于校正由类型分类适应处理 单元3501预测的预测图像的关注像素的像素值。然后，例如，如图266所示的相加单元3503利用由类型分类适 应处理单元3501预测的校正项(例如，由公式(224)表示的计算) 校正由类型分类适应处理单元3501预测的预测图像的关注像素的像 素值。另外，用于类型分类适应处理校正方法中的分量实例包括如图 268所示的类型分类适应处理学习单元3521,用于通过学习确定存储 在如图267所示的系数存储器3514中的预测系数；以及如图268所示 的学习装置3504，其被包括在如图268所示的类型分类适应处理校正 学习单元3561中，用于通过学习确定存储在如图276所示的校正系数 存储器3554中的校正系数。尤其是，例如，如图269所示的类型分类适应处理学习单元3521 包括下降转换器单元3521，用于对学习图像数据进行下降转换处理； 系数确定单元3537，用于以学习图像数据为第一老师图像、以受到下 降转换器单元3531的下降转换处理的学习图像数据为第一学生图像， 通过学习第一老师图像与第一学生图像之间的关系而产生预测系数； 以及区域选取单元3532到正规方程产生单元3536。另一方面，例如，如图277所示的类型分类适应处理校正学习单 元3561包括数据连续性检测单元3572和现实世界估计单元3573， 用于检测第一学生图像中的数据连续性、基于上述检测的数据连续性 检测对应于第 一 学生图像的每个像素的现实世界特征，以及利用对应 于检测的现实世界特征的值作为像素值产生特征量图像(尤其是,例3如如图279所示的特征量图像3591 )，其被用作第二学生图像(例如 图277中的第二学生图像)；相加单元3571，用于产生第一学生图像 和学习预测图像之间的图像数据(减法图像)，其被用作第二老师图 像;校正系数确定单元3579,用于通过学习第二老师图像和第二学生 图像之间的关系而产生校正系数；以及区域选取单元3574到正规方程 产生单元3578。从而，类型分类适应处理校正方法允许比包括类型分类适应处理 的其它常规方法输出更接近原始图像(将被输入传感器2的现实世界 1中的信号)的图像。注意，类型分类适应处理和简单的内插处理的差异如下。也就是 说，不同于简单的内插，类型分类适应处理允许再现包含在HD图像 中的在SD图像中已经丢失的分量。也就是说，只要参考上述公式(215 ) 和(223)，类型分类适应处理看上去与利用所谓的内插过滤器的内插 处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生 数据(第一老师图像和第一学生图像，或第二老师图像和第二学生图 像)的学习获得对应于内插过滤器的系数的预测系数di和校正系数gi， 从而再现包含在HD图像中的分量。因此，上述类型分类适应处理可 以说是具有改善图像质量(改善分辨率)的功能的处理。尽管描述了具有改善空间分辨率的功能的设置，由于类型分类适 应处理釆用通过利用合适种类的老师数据和学生数据进行学习而获得 各种系数，因此允许各种用于改善S/N(信噪比)、改善模糊等的处 理。也就是说，在类型分类适应处理中，可以例如以具有高S/N的图 像为老师数据、并以基于老师图像产生的具有降低S/N(或降低分辨 率)的图像为学生数据而获得系数，从而改善S/N (或改善模糊)。尽管描述了具有如图3所示的结构的图像处理装置作为根据本发 明的设置，但是根据本发明的设置不限于如图3所示的设置，而可以 采用各种修改。也就是说，如图1所示的信号处理装置4的设置不限 于如图3所示的设置，而是可以进行各种修改。例如，具有如图3所示结构的信号处理装置基于包含在作为图像 的现实世界l中的信号中的数据连续性进行信号处理。从而，相比于 由其它信号处理装置进行的信号处理，具有如图3所示结构的信号处 理装置可以对其中可以获得现实世界1中的信号的连续性的区域进行 高精度的信号处理，从而输出更接近现实世界l中的信号的图像数据。然而，具有如图3所示的结构的信号处理装置基于连续性执行信 号处理，因此对于其中不能获得现实世界l的信号连续性的区域，不 能以与对于其中存在连续性的区域的处理相同地精度执行信号处理， 导致了相对于现实世界l中的信号包含误差的输出图像数据。因此，可以这样设置，在如图3所示的信号处理装置的结构上， 还包括用于不利用连续性进行信号处理的另一装置(或程序)。在这 样的设置中，具有如图3所示结构的信号处理装置对其中可以获得现 实世界l中的信号的连续性的区域执行信号处理。另一方面，添加的 装置(或程序等)对其中不能获得现实世界l的信号的连续性的区域 进行信号处理。注意，下文中将该设置称为"混合方法"。下面将参考图292到图305描述5个具体混合方法(下文中将其 称为"第一混合方法，，到"第五混合方法")。注意，使用该混合方法的信号处理装置的每个功能既可以通过硬 件实现也可以通过软件实现。也就是说，图292到图294、图298、图 300、图302以及图304所示的方框图可以被认为是硬件方框图或软件 方框图。图292示出了采用第 一混合方法的信号处理装置的结构实例。 在图292所示的信号处理装置中，当接收作为数据3的实例(图 1)的图像数据，基于输入的图像数据(输入图像)进行下文所述的图 像处理，从而产生图像，并输出产生的图像(输出图像)。也就是说， 图292示出了作为图像处理装置的图像处理装置4 (图1)的结构。将输入图像处理装置4的输入图像(作为数据3的实例的图像数 据)提供给数据连续性检测单元4101、现实世界估计单元4102以及 图像产生单元4104。数据连续性检测单元4101从输入图像检测数据连续性，并将表 示检测的连续性的连续性信息提供给现实世界估计单元4102和图像 生成单元4103。如上所述，数据连续性检测单元4101与图3所示的数据连续性 检测单元101具有基本相同的结构和功能。因此，数据连续性检测单 元4101可以具有上述各种结构。注意，数据连续性检测单元4101还具有产生用于指定关注^^素 的区域的信息(下文中将其称为"区域指定信息")的功能，并将产生 的信息提供给区域检测单元4111。这里所用的区域指定信息不受特别限制，而可以这样设置，其中 在产生数据连续性信息后产生新信息，或者可以这样设置，其中在产 生数据连续性信息的同时产生该信息。尤其是，可以采用例如估计误差作为区域指定信息。也就是说， 例如，在数据连续性检测单元4101利用最小二乘法计算作为数据连续 性的角度的同时获得估计误差。可以采用估计误差作为区域指定信息。现实世界估计单元4102基于输入图像和从数据连续性检测单元 4102提供的数据连续性信息估计现实世界1中的信号(图1)。也就 是说，现实世界估计单元4102在已经获取输入图像的阶段估计作为现 实世界l的信号的图像，所述图像将被输入传感器2 (图1)。现实世 界估计单元4102将用于表示对现实世界1的信号的估计结果的现实世 界估计信息提供给图像产生单元4103。如上所述，现实世界估计单元4102与图3所示的现实世界估计单元102具有基本相同的结构和功能。因此，现实世界估计单元4102 可以具有各种上述结构。图像产生单元4103基于从现实世界估计单元4102提供的表示现 实世界1的估计信号的现实世界估计信息产生类似现实世界1中的信 号的信号，并将产生的信号提供给选择器4112。可选的是，闺像产生 单元4103产生更接近现实世界1的信号的信号，其中基于从数据连 续性检测单元4101提供的用于表示现实世界1中的估计信号的数据连续性信息；以及从现实世界估计单元4102提供的现实世界估计信息， 并将产生的信号提供给选择器4112。也就是说，图像产生单元4103基于现实世界估计信息产生类似 于现实世界l中的图像的图像，并将产生的图像提供给选择器4112。 可选的是，图像产生单元4103基于数据连续性信息和现实世界估计信 息产生更接近现实世界l中的图像的图像，并将产生的图像提供给选 择器4112。如上所述，图像产生单元4103与图3所示的图像产生单元103 具有基本相同的结构和功能。因此，图像生成单元4103可以具有各种 上述结构。图像产生单元4104对输入图像进行预定图像处理以产生图像， 并将产生的图像提供给选择器4112。注意，由图像产生单元4104执行的图像处理不特别限制，只要 采用除在数据连续性检测单元4101、现实世界估计单元4102以及图 像产生单元4103中采用的图像处理以外的图像处理。例如，图像产生单元4104可以进行常规类型分类适应处理。图 293示出了用于进行类型分类适应处理的图像产生单元4104的结构实 例。注意，下面将参考图293详细描述用于执行类型分类处理的图像 产生单元4104。另外，下面将同时参考图293描述类型分类适应处理。连续性区域检测单元4105包括区域检测单元4111和选择器4112。区域检测单元4111基于从数据连续性检测单元4101提供的区域 指定信息检测被提供给选择器4112的图像(关注像素)属于连续性区 域还是非连续性区域，并将检测结果提供给选择器4112。注意，由区域检测单元4111执行的区域检测处理不特别限制。 例如，可以提供上述估计误差作为区域指定信息。在该情况下，可以 这样设置，其中，在上述提供的估计误差小于预定阈值的情况下，区 域检测单元4111确定输入图像的关注像素属于连续性区域，在上述提 供的估计误差大于预定阈值的情况下，确定输入图像的关注像素属子非连续性区域。选择器4112基于从区域检测单元4111提供的检测结果检测从图 像产生单元4103提供的图像和从图像产生单元4104提供的图像中选 择一个，并将选择的图像向外输出作为输出图像。也就是说，在区域检测单元4111确定关注像素属于连续性区域 的情况下，选择器4112选择从图像产生单元4103提供的图像(由图 像生成单元4103产生的、对应于输入图像的关注像素的像素)作为输 出图像。另一方面,在区域检测单元4111确定关注像素属于非连续性区 域的情况下，选择器4112选择从图像产生单元4104提供的图像(由 图像生成单元4104产生的、对应于输入图像的关注像素的像素)作为 输出图像。注意，选择器4112可以输出像素增量的输出图像(即，可以输 出每个选择像素的输出图像)，或者可以这样设置，其中存储经过处 理的像素直到完成对全部像素的处理，并在完成对全部像素的处理时 同时输出全部像素(一次输出整个图像)。接着，将参考图293描述用于执行作为图像处理的实例的类型分 类适应处理的图像产生单元4104。在图293中，假设由图像产生单元4104执行的类型分类适应处 理是用于例如改善输入图像的空间分辨率。也就是说，假设类型分类 适应处理是用于将具有标准分辨率的输入图像转换成具有高分辨率的 作为图像的预测图像的处理。注意，下文中将具有标准分辨率的图像适当地称为"SD (标准精 度)图像"，并将构成SD图像的像素适当地称为"SD像素"。另一方面，下文中将具有高分辨率的图像适当地称为"HD(高精 度)图像"，并将构成HD图像的像素适当地称为"HD像素"。尤其是，由图像产生单元4104执行的类型分类适应处理如下所述。也就是说，为了获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素，首先，获得由关注^^素 和其周围像素形成的SD像素(下文中还将该SD像素称为"类型分块") 的特征，基于其特征，通过选择相关于特征的预备类型中的一种识别 每个类型分块的类型(即，识别类型分块组的类型代码)。然后，利用如下计算积-和基于识别的类型代码从预备的多个 系数组(每个系数组对应特定类型代码)中选择的一种的系数；由关 注像素和其周围的SD像素形成的SD像素(下文中将该输入图像的 SD像素称为"预测分块"，注意，预测分块可以匹配类型分块)，从而 获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像 (HD图像)的HD像素。尤其是，在图l中，当将现实世界l中的信号(光强分布)输出 给传感器2，传感器2输出输入图像。在图293中，将输入固像(SD图像)提供给图像产生单元4104 的区域选取单元4121和4125。区域选取单元4125从上述提供的输入 图像选取用于类型分类所需的类型分块(位于包括关注像素(SD像素) 的预定区域上的SD像素)，并将选取的类型分块输出给图形检测单 元4122。图形检测单元4122基于上述输入的类型分块检测输入图像 的图形。类型代码确定单元4123基于由图形检测单元4122检测的图形确 定类型代码，并将确定的类型代码输出给系数存储器4124和区域选取 单元4125。系数存储器4124存储通过学习获得的每个类型代码的系 数。系数存储器4124读出对应于从类型代码确定单元4123输入的类 型代码的系数，并将上述读出的系数输出给预测计算单元4126。注意，下面将参考图294所示的学习装置的方框闺描迷用于获得 存储在系数存储器4124中的系数的学习处理。注意，存储在系数存储器4124中的系数用于产生下述预测图像 (HD图像)。因此，下文中将存储在系数存储器4124中的系数称为 "预测系数"。区域选取单元4125基于从类型代码确定单元4123输入的类型代码响应于类型代码，从自传感器2输入的输入图像(SD图像)选取用 于预测和产生预测图像(HD图像)所需的预测分块(位于包括关注 像素的预定区域上的SD像素)，并将选取的预测分块输出给预测计 算单元4126。预测计算单元4126利用从区域选取单元4125输入的预测分块和 从系数存储器4124输入的预测系数执行积-和计算，从而产生对应于 输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像) 的HD像素。然后，预测计算单元4126将产生的HD像素输出给选择 器4112。尤其是，系数存储器4124将对应于从类型代码确定单元4123提供的类型代码的预测系数输出给预测计算单元4126。预测计算单元4126利用从区域选取单元4125提供的、并从预定像素区域中的像素值选取的预测分块、以及从系数存储器4124提供的预测系数执行由下面公式(237)表示的积-和计算，从而获得(预测和估计)对应于预测图像(HD图像)的HD像素。 nq' = Z djXCji=0公式(237)在公式(237)中，q，表示预测图像(HD图像)的HD像素。每 个Ci(i表示l到n的整数)表示相应的预测分块(SD像素)。另夕卜， 每个dj表示相应的预测系数。如上所述，图像产生单元4104基于SD图像(输入图像)预测 和估计相应的HD图像，因此，在该情况下，将从图像产生单元4104 输出的HD图像称为"预测图像"。图294示出了用于确定存储在图像产生单元4104的系数存储器 4124中的预测系数(公式(237)中的d》的学习装置(用于计算预 测系数的装置)。在图294中，将特定图像输入下降转换器单元4141和正规方程 产生单元4146中作为老师图像(HD图像)。下降转换器单元4146基于这样输入的老师图像(HD图像)产生比输入的老师图像具有更低分辨率的学生图像(SD图像)(即，对老 师图像进行下降转换处理，从而获得学生图像)，并将产生的学生图 像输出给区域选取单元4142和4145。如上所述，学习装置4131包括下降转换器单元4141，因此，不 需要制备出如相应于来自传感器2(图l)的输入图像的老师图像(HD 图像)那样的高分辨率图像。原因在于，可以将通过对老师图像进行 下降转换处理而获得的学生图像(具有下降的分辨率)用作SD图像。 在该情况下，对应于学生图像的老师图像可以用作HD图像。因此， 可以将来自传感器2的输入图像不经过任何转换地用作老师图像。区域选取单元4142从自下降转换器单元4141中提供的学生图像 (SD图像)中选取用于类型分类所需的类型分块(SD像素)，并且， 将选取的类型分块输出给图形检测单元4143。图形检测单元4143检 测上述输入的类型分块的图形，并将检测结果输出给类型代码确定单 元4144。类型代码确定单元4144确定对应于输入图形的类型代码， 并将类型代码分别输出给区域选取单元4145和正规方程产生单元 4146。区域选取单元4145基于从类型代码确定单元4144输入的类型代 码从自下降转换器单元4141中输入的学生图像(SD图像)中选取预测分块(SD像素)，并且，将选取的预测分块输出给正规方程产生单 元4146。注意，上述区域选取单元4142、图形检测单元4143、类型代码 确定单元4144,以及区域选取单元4145具有基本相同的结构，并且， 与如图293所示的图像产生单元4104的区域选取单元4121、图形检 测单元4122、类型代码确定单元4123、以及区域选取单元4125相同 地作用。正规方程产生单元4146基于从区域选取单元4145输入的学生图 像(SD图像)的预测分块(SD像素)，以及每个类型代码的老师图 像(HD图像)的HD像素而产生从类型代码确定单元4144输入的每 个类型代码的正规方程，并将产生的正规方程提供给系数确定单元4147。当从正规方程产生单元4146接收对应于特定类型代码的正规方 程时，系数确定单元4147利用正规方程计算预测系数，并将计算的预 测系数存储在相关于类型代码的系数存储器4142中。现在，将详细描述正规方程产生单元4146和系数确定单元4147。 在上述公式(237)中，每个预测系数di在学习处理之前是未确 定的系数。学习处理通过输入每个类型代码的老师图像(HD图像) 的多个HD像素而进行。假设，对应于特定类型代码存在m个HD像 素。在该情况下，将m个HD像素表示为q"k表示l到m的整数)。 则从公式(237)得到下面的公式(238)。qk = I! dixcik+eki=0公式(238 )也就是说，公式(238)表示，通过执行由公式(238)右侧表示 的计算可以预测和估计HD像素qk。注意，在公式(238)中，ek表 示误差。也就是说，预测图像(HD图像)的HD像素qk，不完全匹配 实际HD像素qk，并包括特定误差ek，所述预测图像是计算右侧的计 算结果。在本实施例中，通过学习处理使得公式(238)所示的误差ek的 平方和表现最小值而获得预测系数di，从而获得用于预测实际HD像 素qk的最优预测系数dj。尤其是，在本实施例中，基于例如通过学习收集的m个HD像 素qk(其中m大于n)，通过利用最小二乘法的学习处理确定最优预 测系数di作为唯一解。也就是说，利用最小二乘法的用于获得公式(238)右侧的预测 系数di的正规方程由下面公式(239)所示。<formula>formula see original document page 353</formula>公式(239 )也就是说，在本实施例中，产生并求解由公式(239)表示的正 规方程，从而确定预测系数di作为唯一解。尤其是，将形成由公式(239)表示的正规方程的分量矩阵定义 为下面公式(240)到(242)，则正规方程由下面公式(243)表示。<formula>formula see original document page 353</formula>公式(241)k=1QMAT =Z c2kxqkk=l,Z cnkxqk.k=1公式(242)公式(243 )从式(241)可以理解，矩阵DMAT的每个分量为将要获得的预测 系数di。在本实施例中，如果确定了公式(243)左侧的矩阵CMAT和右侧的矩阵QMAT，可以利用矩阵求解方法计算矩阵DMAT (即预测系 数di)。尤其是，从式(240)可以理解，只要已知预测分块Cik，则可以计算矩阵CMAT的各个分量。区域选取单元4145选取预测分块Cik。在本实施例中，正规方程产生单元4146利用从区域选取单元4145提供 的预测分块c&可以计算矩阵Cmat的毎个分量。另外，如可以从公式(242)所理解的，只要已知预测分块Cik和 HD像素qk,则可以计算矩阵Qmat的各个分量。注意，预测分块Cik 与矩阵CMAT中相同，HD像素qk是对应于预测分块cik中包括的关注 像素(学生图像的SD像素)的老师图像的HD像素。在本实施例中， 正规方程产生单元4146利用从区域选取单元4145提供的预测分块cik 和老师图像而可以计算矩阵Qmat的毎个分量。如上所述，正规方程产生单元4146对于每个类型代码计算矩阵 Cmat和矩陣Qmat的毎个分量，并将相关于类型代码的计算结果提供 给系数确定单元4147。系数确定单元4147基于对应于提供的特定类型代码的正^L方程， 计算每个作为由上述公式(243)表示的矩阵DMAT的分量的预测系数di。尤其是，可以将由上述公式(243)表示的正规方程转换为下面 的公式(244)。<formula>formula see original document page 355</formula>公式(244 )在公式(244 )中，左侧矩阵DMAT的各个分量是将要获得的预测 系数dj。注意，从正规方程产生单元4146提供矩阵cmat和矩阵QMAT 的各个分量。在本实施例中，当从正规方程产生单元4146接收对应于特定类型代码的矩阵cmat和矩阵Qmat的各个分量，系数确定单元4147计算由公式(244 )的右侧表示的矩阵计算，从而计算矩阵DMAT， 并将关于类型代码的计算结果(预测系数di)存储在系数存储器4124中。注意，类型分类适应处理和简单的内插处理的差异如下。也就是 说，例如，不同于简单的内插，类型分类适应处理允许再现包含在HD 图像中的在SD图像中已经丢失的分量。也就是说，只要参考上述公 式(237)，类型分类适应处理看上去与利用所谓的内插过滤器的内插 处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生 数据的学习获得对应于内插过滤器的系数的预测系数di，从而再现包 含在HD图像中的分量。因此，上述类型分类适应处理可以说是具有 改善图像质量(改善分辨率)的功能的处理。尽管描述了具有改善空间分辨率的功能的^L置，由于类型分类适 应处理采用通过利用合适种类的老师数据和学生数据进行学习而获得 各种系数，因此允许用于各种改善S/N(信噪比)、改善模糊等的处理o也就是说，在类型分类适应处理中，可以例如以具有高S/N的图 像为老师数据、并以基于老师图像产生的具有降低S/N (或降低分辨 率)的图像为学生数据而获得系数，从而改善S/N (或改善模糊)。上面描述了用于执行类型分类适应处理的图像产生单元4104和 学习装置4131的结构。注意，尽管图像产生单元4104可以具有用于执行不同于上述的类型分类适应处理的图像处理的结构，但是为了便于描述，将描述与上述图293所示的结构相同的图像产生单元4104。也就是说，假设图 像产生单元4104执行类型分类适应处理以产生具有比输入图像更高 的空间分辨率的图像，并将产生的图像提供给选择器4112。接着，将参考图295描述由采用第一混合方法的信号处理装置(图 292 )进行的信号处理。假设，在本实施例中，数据连续性检测单元4101利用最小二乘 法计算角度(如下之间的角度图像关注像素附近的连续性方向(其 为一个空间方向)，所述图像表示现实世界l中的信号(图1);以 及作为另一空间方向的X方向(该方向平行于传感器2的检测元件的 特定边))，并输出计算的角度作为数据连续性信息。另外，数据连续性检测单元4101输出在计算角度时伴随计算结 果计算的估计误差(利用最小二乘法的误差)，其被用作区域指定信 息。在图1中，当将现实世界l中的作为图像的信号输入给传感器2 时，从传感器2输出输入图像。如图292所示，将输入图像输入图像产生单元4104、以及数据连 续性检测单元4101和现实世界估计单元4102。然后，在如图295所示的步骤S4101中，图#>产生单元4014以 输入图像(SD图像)的特定SD像素为关注像素执行上述类型分类适 应处理，从而产生预测图像(HD图像)的HD像素(对应于关注像 素的HD像素)。然后，图像产生单元4104将产生的HD像素提供给 选择器4112。注意，为了区分从图像产生单元4104输出的像素和从图像产生 单元4103输出的像素，下文中，将从图像产生单元4104输出的像素 称为"第一像素"，而将从图像产生单元4103输出的像素称为"第二像 素"。另外，下文中，将该由图像产生单元4104执行的处理(在该情 况下为步骤S4101中的处理)称为"执行类型分类适应处理"。下面将参考图296的流程图详细描述"执行类型分类适应处理"的实例。另一方面，在步骤S4102中，数据连续性检测单元4101检测对 应于连续性方向的角度，并计算其估计误差。将检测的角度分别提供 给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。 另 一方面，将计算的估计误差提供给区域检测单元4111作为区域指定 信息。在步骤S4103中，现实世界估计单元4102基于由数据连续性检 测单元4101检测的角度和输入图像估计现实世界1中的信号。注意，由现实世界估计单元4102执行的估计处理不特定限制于 上面的描述，而是可以釆用上述的各种技术。假设现实世界估计单元 4102利用预定函数f(下文中将其称为"模拟函数f")模拟表示现实世 界l中的信号的函数F (下文中将其称为"光信号函数F"),从而估 计现实世界l中的信号(光信号F)。另外，例如，假设现实世界估计单元4102将模拟函数f的特征 (系数)提供给图像产生单元4103作为现实世界估计信息。在步骤S4104中，图像产生单元4103基于由现实世界估计单元 4102估计的现实世界1中的信号，对应于通过由图像产生单元4104 进行的类型分类适应处理而产生的第一像素(HD像素)，产生第二 像素(HD像素)，并将产生的第二像素提供给选择器4112。在该结构中，例如，从现实世界估计单元4102提供模拟函数f 的特征(系数)。然后，图像产生单元4103基于上述提供的模拟函数 f的特征计算模拟函数f在预定积分范围上的积分，从而产生第二像素 (HD像素)。注意，这样确定积分范围，使得产生的第二像素与从图像产生单 元4104输出的第一像素(HD像素)具有相同的尺寸(相同的分辨率)。 也就是说，将积分范围确定为沿空间方向上具有与将产生的第二像素 的宽度相同的宽度的范围。注意，根据本发明的步骤次序不限于如图295所示的设置,其中 依次进行步骤S4101中的"执行类型分类适应处理"和步骤S4102到步骤S4104的一组处理，而是可以这样设置，其中在步骤S4101中的"执 行类型分类适应处理"之前执行骤S4102到步骤S4104的一组处理。 另外，可以这样设置，其中同时执行步骤S4101中的"执行类型分类适 应处理"和步骤S4102到步骤S4104的一组处理。在步骤S4105中，区域检测单元4111基于通过由数据连续性检 测单元4101进行步骤S4102中的处理计算的估计误差(区域指定信 息)，检测通过由图像产生单元4103进行步骤S4101中的处理产生的 第二像素(HD像素)的区域。这里，第二像素是对应于输入图像的SD像素的HD像素，所述 SD像素由数据连緣性检测单元4101用作关注像素。因此，关注像素 (输入图像的SD像素)与第二像素(HD像素)之间的区域类型(连 续性区域或非连续性区域)相同。注意，从数据连续性检测单元4101输出的区域指定信息是在利 用最小二乘法计算关注像素附近的角度时的估计误差。在该结构中，区域检测单元4111比较关于从数据连续性检测单 元4101提供的关注像素(输入图像的SD像素)的估计误差与预定阈 值。作为比较的结果，在估计误差小于阈值的情况下，区域检测单元 4111检测第二像素属于连续性区域。另一方面，在估计误差等于或大 于阈值的情况下，区域检测单元4111检测第二像素属于非连续性区 域。然后，将检测结果提供给选择器4112。当从区域检测单元4111接收检测结果，选择器4112在步骤S4106 中确定检测的区域是否属于连续性区域。在步骤S4106中，在确定检测的区域属于连续性区域的情况下， 在步骤S4107中，选择器4112向外输出从图像产生单元4103提供的 第二像素作为输出图像。另一方面，在步骤S4106中，在确定检测的区域不属于连续性区 域的情况下(即属于非连续性区域)，在步骤S4108中，选择器4112 向外输出从图像产生单元4104提供的第一像素作为输出图像。接着，在步骤S4109中，确定是否对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该处理返回步骤S4101。也就是 说，重复步骤S4101到步骤S4109的处理，直到完成对全部像素的处 理。
另一方面，在步骤S4109中，在确定已经对全部像素进行处理的 情况下，该处理结束。
如上所述，在如图295中的流程图所示的设置中，在每次产生第 一像素(HD像素)和第二像素(HD像素)时，将从第一像素和第二 像素中选择的输出图像以增量输出作为像素的输出图像。
然而，如上所述，本发明不限于这样的设置，其中将输出数据以 像素增量输出，而可以这样设置，其中以图像形式输出输出数据，即 在每次完成对全部像素的处理时同时输出形成图像的像素。注意，在 这样的设置中，步骤S4107和步骤S4108各包括增加的处理，用于临 时存储选择器4112中的像素(第一像素和第二像素)，而不是在每次 产生像素时输出像素，并且在步骤S4109的处理后同时输出全部像素。
接着，将参考图296中的流程图详细描述由具有如图293所示结 构的图像产生单元4104执行的"用于执行类型分类处理的处理"(例如 上述图295的步骤S4101中的处理)。
当从传感器2将输入图像(SD图像)输入图像产生单元4104， 在步骤S4121，区域选取单元4121和区域选取单元4125都输入输入 图像。
在步骤S4122中，区域选取单元4121从输入图像选取关注像素 (SD像素)和位于每个相对于关注像素为预定相对位置的( 一个或多 个)位置上的像素(SD像素)作为类型分块，并将其提供给图形检测 单元4122。
在步骤S4133中，图形检测单元4122检测提供的类型分块的图 形，并将其提供给类型代码确定单元4123。
在步骤S4124中，类型代码确定单元4123从多个预定的类型代 码确定匹配提供的类型分块的图形的类型代码，并将其分别提供给系 数存储器4124和区域选取单元4125。在步骤S4125,系数存储器4124基于提供的类型代码，从通过
并将其提供给预测计算单元4126。
注意，下面将参考图297中的流程图描述学习处理。
在步骤S4126中，区域选取单元4125从对应于向其提供的类型 代码的输入图像选取关注像素(SD像素)，和位于每个相对于关注像 素为预设相对位置的位置(一个或多个位置，独立于类型分块的位置 设置的位置，然而，可以是与类型分块相同的位置)上的像素(SD像 素)作为预测分块，并将其提供给预测计算单元4126。
在步骤S4127中，预测计算单元4116利用从系数存储器4124提 供的预测系数计算从预测选取单元4125提供的预测分块，并产生向外 (在图292的实例中为选择器4112)输出的预测图像(第一像素)。
尤其是，预测计算单元4126以从区域选取单元4125提供的每个 预测分块为Ci (i表示1到n的整数)，并以从系数存储器4124提供 的每个预测系数为di，则进行由上述公式(237)右侧的计算，从而计 算位于关注像素(SD像素)上的HD像素q，，并将其向外输出作为 预测图像(HD图像)的预定像素(第一像素)。然后，该处理结束。
接着，将参考图297中的流程图描述由学习装置4131 (图294) 进行的关于图像产生单元4104的学习处理(用于通过学习产生将由图 像产生单元4104使用的预测系数的处理)。
在步骤S4141中，下降转换器单元4141和正规方程产生单元4146 各向其输入预定图像作为老师图像(HD图像)。
在步骤S4142中，下降转换器单元4141对输^v的老师图像进行 "下降转换，，处理(分辨率下降)，从而产生学生图像(SD图像)，将 其分别提供给区域选取单元4142和4145。
在步骤S4143中，区域选取单元4142从向其提供的学生图像选 取类型分块，并将其输出给图形检测单元4143。注意，步骤S4143中 的处理与上述步骤S4122 (图296)中的处理基本相同。
在步骤S4144中，图形检测单元4143从向其提供的类型分块中检测用于确定类型代码的图形，并将其提供给类型代码确定单元
4144。注意，步骤S4144所示的处理与上述步骤S4123 (图296)所 示的处理基本相同。
在步骤S4145中，类型代码确定单元4144基于向其提供的类型 分块的图形确定类型代码，并将其提供给区域选取单元4145和正规方 程产生单元4146。注意，步骤S4145中的处理与上述步骤S4124 (图 296)中的处理基本相同。
在步骤S4146中，区域选取单元4145对应于向其提供的类型代 码从学生图像中选取预测分块，并将其提供给正规方程产生单元 4146。注意，步骤S4146中的处理与上述步骤S4126 (图296)中的 处理基本相同。
在步骤S4147中，正规方程产生单元4146基于从区域选取单元 4145提供的预测分块(SD像素)和老师图像(HD图像)的预测HD 像素而产生由上述公式(239)表示的正规方程(即公式(243))， 并将产生的正规方程与从类型代码确定单元4144提供的类型代码相 关联，并将其提供给系数确定单元4147。
在步骤S4148中，系数确定单元3537求解上述提供的正规方程， 从而确定预测系数，即，通过计算上述公式(244)的右侧而计算预测 系数，并将其相关于向其提供的类型代码存储在系数存储器4124中。
接着，在步骤S4149中，确定是否已经^i"全部像素进行处理。在 确定仍未对全部像素进行处理的情况下，该处理返回步骤S4143。也 就是说，重复步骤S4143到步骤S4149的处理直到完成对全部像素的 处理。
然后，当在步骤S4149中确定已经进行对全部像素的处理的情况
下，该处理结束。
接着，将参考图298到图299描述第二混合方法。
图298示出了采用第二混合方法的信号处理装置的结构实例。
在图298中，对应于釆用第一混合方法的信号处理装置(图292)
的部分由相应的标号表示。在图292的结构实例中(第一混合方法)，从数据连续性检测单 元4101输出区域识别信息，并输入给区域检测单元4111,但是在图 298所示的结构实例中(第二混合方法)，从现实世界估计单元4102 输出区域识别信息，并输入给区域检测单元4111。
该区域识别信息不特别限制，而是可以是在现实世界估计单元 4102估计现实世界1的信号(图1)后新产生的信息，或者可以是伴 随估计现实世界1的信号的情形而产生的信息。
尤其是，例如，可以使用估计误差作为区域识别信息。
现在，将描述估计误差。
如上所述，从数据连续性检测单元4101输出的估计误差(图292 中的区域识别信息)是在例如从数据连续性检测单元4101输出的连续 性检测信息是角度，并且利用最小二乘法计算所述角度的情况下，伴 随最小二乘计算的进行而计算的估计误差。
相反，从现实世界估计单元4102输出的估计误差(图298中的 区域识别信息)为例如映射误差。
也就是说，由现实世界估计单元4102估计现实世界1的信号， 使得从估计的现实世界l的信号可以产生任意大小的像素(可以计算 像素值)。这里，将通过这样产生新像素称为映射。
因此，在估计现实世界1的信号后，现实世界估计单元4102在 输入图像的关注像素(在估计现实世界l的情况下用作关注像素的像 素)所在的位置上从估计的现实世界1的信号产生(映射)新的像素。 也就是说，现实世界估计单元4102从估计的现实世界1的信号进行对 输入图像中的关注像素的像素值的预测计算。
现实世界估计单元4102然后计算新映射像素的像素值(被预测 的输入图像的关注像素的像素值)与实际输入图像的关注# 素的像素 值之差。将该差称为映射误差。
通过计算映射误差(估计误差)，现实世界估计单元4102从而 可以将计算的映射误差(估计误差)提供给区域选取单元4111作为区 域识别信息。尽管如上所述，由区域检测单元4111进行的用于区域检测的处 理不特别限制，但是在例如对区域检测单元4111提供上述映射误差 (估计误差)作为区域识别信息的现实世界估计单元4102的情况下， 在提供的映射误差(估计误差)小于预定阈值的情况下，输入图像的 关注像素被检测为连续性区域，另一方面，在提供的映射误差(估计 误差)等于或大于预定阔值的情况下，输入图像的关注像素被检测为 非连续性区域。
其它结构与图292所示基本相同。也就是说，采用第二混合方法 的信号处理装置(图298)还包括数据连续性检测单元4101、现实 世界估计单元4102、图像产生单元4103、图像产生单元4104、以及 连续性区域检测单元4105 (区域检测单元4111和选择器4112)，其 与采用第一混合方法的信号处理装置(图292)具有基本相同的结构 和功能。
图299是描述具有图298所示结构的信号处理装置的处理(第二 混合方法的信号处理)的流程图。
第二混合方法的信号处理类似于第一混合方法的信号处理(图 295的流程图所示的处理)。因此，这里，将适当地省略对相关于第 一混合方法的处理的说明，而将参考图299中的流程图描述不同于根 据第一混合方法的处理的根据第二混合方法的处理。
注意，这里，象在第一混合方法的情况中一样，假设数据连续性 检测单元4101利用最小二乘法计算角度(位于现实世界l (图1)的 信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一 个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的 方向)之间的角度)，并输出计算的角度作为数据连续性信息。
然而，尽管在上述第一混合方法中，数据连续性检测单元4101 将区域识别信息(例如估计误差)提供给区域检测单元4111，但是在 第二混合方法中，现实世界估计单元4102将区域识别信息(例如估计 误差(映射误差))提供给区域检测单元4111。
因此，在第二混合方法中，执行步骤S4162的处理作为数据连续性检测单元4101的处理。该处理相当于在第一混合方法中在图295 中步骤S4102的处理。也就是说，数据连续性检测单元4101基于输入 图像检测对应于连续性方向的角度，并将检测的角度作为数据连续性 信息分别提供给现实世界估计单元4102和图像产生单元4103。
另外，在第二混合方法中，执行步骤S4163的处理作为现实世界 估计单元4102的处理。该处理相当于在第一混合方法中在图295中步 骤S4103的处理。也就是说，在步骤S4162的处理中，现实世界估计 单元4102基于由数据连续性检测单元4101检测的角度估计现实世界 l(图l)中的信号，并计算估计的现实世界l的信号的估计误差，即 映射误差，并将其作为区域识别信息提供给区域检测单元4111。
其它处理与第一混合方法的处理(在图295的流程图中示出的处 理的相应处理)基本相同，因此省略对其的描述。
接着，将参考图300和图301描述第三混合方法。
图300示出了采用第三混合方法的信号处理装置的结构实例。
在图300中，对应于釆用第一混合方法的信号处理装置(图292) 的部分由相应的标号表示。
在图292的结构实例中(第一混合方法)，将连续性区域检测单 元4105设置在图像产生单元4103和图像产生单元4104的后面，而在 图300所示的结构实例中(第三混合方法)，将对应的连续性区域检 测单元4161设置在数据连续性检测单元4101的下端、和现实世界估 计单元4102和图像产生单元4104的上端。
由于布置位置中的该差异，因此第一混合方法中的连续性区域检 测单元4105与第三混合方法中的连续性区域检测单元4161之间存在 一些差异。下面将主要关于该差异描述连续性检测单元4161。
连续性区域检测单元4161包括区域检测单元4171和执行命令产 生单元4172。其中，区域检测单元4171与连续性区域检测单元4105 的区域检测单元4111 (图292)具有基本相同的结构和功能。另一方 面，执行命令产生单元4172的功能与连续性区域检测单元4105的选 择器4112 (图292)的功能有一些不同。也就是说，如上所述，选择器4112基于来自区域检测单元4111 的检测结果选择来自图像产生单元4103的图像和来自图像产生单元 4104的图像中的一个，并输出选择的图像作为输出图像。这样，选择 器4112输入来自图像产生单元4103的图像和来自图像产生单元4104 的图像以及来自区域检测单元4111的检测结果，并输出输出图像。另一方面，根据第三混合方法的执行命令产生单元4172基于区 域检测单元4171的检测结果，选择是由图像产生单元4103还是由图 像产生单元4104执行用于产生位于输入图像的关注像素(已经被数据 连续性检测单元4101取为关注像素的像素)上的新像素。也就是说，在区域检测单元4171将检测结果提供给执行命令产 生单元4172，以提供输入图像的关注像素是连续性区域的结果时，执 行命令产生单元4172选择图像产生单元4103，并向现实世界估计单 元4102提供命令以开始处理(下文中，将这样的命令称为执行命令)。 现实世界估计单元4102然后开始其处理，产生现实世界估计信息，并 将其提供给图像产生单元4103。图像产生单元4103基于提供的现实 世界估计信息(按需要从数据连续性检测单元4101另外提供的数据连 续性信息)产生新的图像，并将其向外输出作为输出图像。相反，在区域检测单元4171将检测结果提供给执行命令产生单元4172，以提供输入图像的关注像素是非连续性区域的结果时，执行命令产生单元4172选择图像产生单元4104,并向图像产生单元4104提供执行命令。图像产生单元4104然后开始其处理，对输入图像进行预定图像处理(在该情况下为类型分类适应处理)，产生新的图像， 并将其向外输出作为输出图像。从而，根据第三混合方法的执行命令产生单元4172向区域检测 单元4171输入检测结果，并输出执行命令。也就是说，执行命令产生 单元4172不输入或输出图像。注意，除连续性区域检测单元4161以外的结构与图292中的结 构基本相同。也就是说，釆用第三混合方法的信号处理装置(图300 中的信号处理装置)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图4象产生单元4104，其与釆用 第一混合方法的信号处理装置(图292)具有基本相同的结构和功能。 然而，在第三混合方法中，现实世界估计单元4102和图像产生 单元4104只有在从执行命令产生单元4172输入执行命令时才执行其 处理。现在，在图300所示的实例中，图像的输出单元在其像素单元中。 因此，虽然没有示出，例如，还可以在图像产生单元4103和图像产生 单元4104的下面提供图像合成单元，以使输出单元为一帧的整个图像 (以一次输出全部像素)。该图像合成单元相加(合成)从图像产生单元4103和图像产生 单元4104输出的像素值，并取相加值为相应像素的像素值。在该情况 下，图像产生单元4103和图像产生单元4104中没有接收到执行命令 的一个不执行其处理，并连续对图像合成单元提供预定不变的值(例 如0)。图像合成单元对全部像素重复执行该处理，并当完成对全部像素 的处理时， 一次向外输出全部像素(作为一帧图像数据)。接着，将参考图301的流程图描述采用第三混合方法的信号处理 装置(图300)的信号处理。注意，这里，与第一混合方法的情况相同，假设数据连续性检测 单元4101使用最小二乘法计算角度(位于现实世界l (图1)的信号 的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方 向的X方向(平行于传感器2 (图1)的检测元件的预定一边的方向) 之间的角度)，并输出计算的角度作为数据连续性信息。假设数据连续性检测单元4101将计算的估计误差(最小二乘的 误差)与计算的角度一起输出作为区域识别信息。在图l中，当将现实世界1的信号投影到传感器2上时，传感器 2输出输入图像。在图300中，将输入图像输入图像产生单元4104,另外还输入数 据连续性检测单元4101和现实世界估计单元4102。现在，在图301的步骤S4181中，数据连续性检测单元4101基 于输入图像检测对应于连续性方向的角度，并还计算其估计误差。将 检测的角度分别提供给现实世界估计单元4102和图像产生单元4103 作为数据连续性信息。另外，将计算的估计误差提供给区域检测单元 4171作为区域识别信息。注意，步骤S4181中的处理与上述步骤S4102 (图295)中的处 理基本相同。另外，如上所述，此时(除非从执行命令产生单元4172提供了 执行命令)，现实世界估计单元4101和图像产生单元4103都不执行 其处理。在步骤S4182中，区域检测单元4171基于由数据连续性检测单 元4101计算的估计误差(提供的区域识别信息)检测输入图像中的关 注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像 素的像素)的区域，并将其检测结果提供给执行命令产生单元4172。 注意，步骤S4182中的处理与上述步骤S4105 (图295)中的处理基 本相同。当将区域检测单元4171的检测结果提供给执行命令产生单元 4172，在步骤S4183中，执行命令产生单元4172确定检测区域是否是 连续性区域。注意，步骤S4183中的处理与上述步骤S4106 (图295) 中的处理基本相同。在步骤S4183中，在确定检测区域不是连续性区域的情况下，执 行命令产生单元4172将执行命令提供给图像产生单元4104。图像产 生单元4104然后执行步骤S4184中"用于执行类型分类适应处理的处 理"，以产生第一像素(关注像素(输入图像的SD像素)上的HD像 素)，并在步骤S4185中向外输出通过类型分类适应处理产生的第一 像素作为输出图像。注意，步骤S4184中的处理与上述步骤S4101 (图295)中的处 理基本相同。也就是说，图296中的流程图是描述步骤S4184中的处 理细节的流程图。相反，在步骤S4183中，在确定检测区域是连续性区域的情况下， 执行命令产生单元4172将执行命令提供给现实世界估计单元4102， 然后，在步骤S4186中，现实世界估计单元4102基于由数据连续性检 测单元4101检测的角度和输入图像估计现实世界1的信号。注意，步 骤S4186中的处理与上述步骤S4103 (图295)中的处理基本相同。在步骤S4187中，图像产生单元4103基于由现实世界估计单元 4102估计的现实世界1的信号，产生检测区域(即，输入图像中的关 注像素(SD像素))中的第二像素(HD像素)，并在步骤S"88中 输出第二像素作为输出图像。注意，步骤S4187中的处理与上述步骤 S4104 (图295)中的处理基本相同。当将第一像素或第二像素输出作为输出图像(在步骤S4185或步 骤S4188的处理后面)时，在步骤S4189中，确定是否完成对全部像 素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返回 步骤S4181。也就是说，重复步骤S4181到S4189的处理直到完成对 全部像素的处理。然后，在步骤S4189中，在确定已经完成对全部像素的处理的情 况下，该处理结束。这样，在图301的流程图的实例中，在每次产生第一像素(HD 像素)和第二像素(HD像素)时，以像素增量输出第一像素或第二 像素作为输出图像。然而，如上所述，如下的设置允许在完成对全部像素的处理后一 次输出全部像素作为输出图像，在所述设置中，在具有图300所示的 结构的信号处理装置的最后部分(在图像产生单元4103和图像产生单 元4104的下面)还提供了图像合成单元(未示出)。在该情况下，在 步骤S4185和步骤S4188的处理中将像素(第一像素或第二像素)输 出给图像合成单元而不是向外输出。然后，在步骤S4189的处理前， 增加这样的处理，其中图像合成单元合成从图像产生单元4103提供的 像素的像素值和从图像产生单元4104提供的像素的像素值，并在用于 产生输出图像的像素的步骤S4189的处理后，增加这样的处理，其中图像合成单元输出全部像素。接着，将参考图302到图303描述第四混合方法。图302示出了采用第四混合方法的信号处理装置的结构实例。在图302中，对应于采用第三混合方法的信号处理装置(图300) 的部分由相应的标号表示。在图300的结构实例中(第三混合方法)，从数据连续性检测单 元4101将区域识别信息输入给区域检测单元4171，但是在图302所 示的结构实例中(第四混合方法)，从现实世界估计单元4102输出区 域识别信息并输入区域检测单元4171。其它结构与图300中基本相同。也就是说，釆用第四混合方法的 信号处理装置(图302中的信号处理装置)还包括数据连续性检测 单元4101、现实世界估计单元4102、图像产生单元4103、图像产生 单元4104、以及连续性区域检测单元4161 (区域检测单元4171和执 行命令产生单元4172)，其与采用第三混合方法的信号处理装置(图 300)具有基本相同的结构和功能。另外，虽然图中没有示出，如同第三混合方法，可以这样设置， 其中将例如图像合成单元设置在图像产生单元4103和图像产生单元 4104的下面，以一次输出全部像素。图303是描述具有图302所示结构的信号处理装置的信号处理(才根据第四混合方法的信号处理)的流程图。根据第四混合方法的信号处理类似于根据第三混合方法的信号处理(图301中的流程图所示的处理)。因此，将适当地省略相关于 第三混合方法的处理的描述，并将参考图303主要描述不同于根据第 三混合方法的处理的根据第四混合方法的处理。注意，这里，如同第三混合方法中的情况，假设数据连续性检测 单元4101使用最小二乘法计算角度(位于现实世界l (图1)的信号 的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方 向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向) 之间的角度)，并输出计算的角度作为数据连续性信息。然而，尽管如上述在第三混合方法中，数据连续性检测单元4101 将区域识别信息(例如估计误差)提供给区域检测单元4171，但是在 第四混合方法中，现实世界估计单元4102将区域识别信息(例如估计 误差(映射误差))提供给区域检测单元4171。因此，在第四混合方法中，执行步骤S4201的处理作为数据连续 性检测单元4101的处理。该处理相当于在第三混合方法中图301中步 骤S4181的处理。也就是说，数据连续性检测单元4101基于输入图傳-检测对应于连续性方向的角度，并将检测的角度作为数据连续性信息 分别提供给现实世界估计单元4102和图像产生单元4103。另外，在第四混合方法中，执行步骤S4202的处理作为现实世界 估计单元4102在步骤S4202中的处理。该处理相当于在第三混合方法 中，在图295的步骤S4182中的处理。也就是说，现实世界估计单元 4102基于由数据连续性检测单元4101检测的角度估计现实世界l(图 l)的信号，并计算估计的现实世界l的信号的估计误差，即映射误差， 以及将其作为区域识别信息提供给区域检测单元4171。其它处理与第三混合方法的处理(如图301所示的处理的相应处 理)基本相同，因此省略对其的描述。接着，将参考图304和图305描述第五混合方法。图304示出了采用第五混合方法的信号处理装置的结构实例。在图304中，对应于采用第三和第四混合方法的信号处理装置(图 300和图302)的部分由相应的标号表示。在图300所示的结构实例中(第三混合方法)，将一个连续性区 域检测单元4161设置在数据连续性检测单元4101的下端和现实世界 估计单元4102和图像产生单元4104的上端。同样，在图302所示的结构实例中(第四混合方法)，将一个连 续性区域检测单元4161设置在现实世界估计单元4102的下端和图像 产生单元4103和图像产生单元4104的上端。相反，在图304所示的结构实例中(第五混合方法)，如第三混 合方法，将连续性区域检测单元4181设置在数据连续性检测单元4101的下端和现实世界估计单元4102和图像产生单元4104的上端。另外， 如同第四混合方法，将连续性区域检测单元4182设置在现实世界估计 单元4102的下端和图像产生单元4103和图像产生单元4104的上端。连续性区域检测单元4181和4182都与连续性区域检测单元4161 (图300或图302)具有基本相同的结构和功能。也就是说，区域检 测单元4191和区域检测单元4201都与区域检测单元4171具有基本相 同的结构和功能。换句话说，第五混合方法是第三混合方法和第四混合方法的组合。也就是说，在第三混合方法和第四混合方法中，基于一个区域识 别信息(在第三混合方法的情况中，来自数据连续性检测单元4101 的区域识别信息，以及在第四混合方法的情况中，来自现实世界估计 单元4102的区域识别信息)确定输入图像的关注像素是连续性区域还 是非连续性区域。因此，第三混合方法和第四混合方法可能将为非连 续性区域的区域检测为连续性区域。因此，在笫五混合方法中，在基于来自数据连续性检测单元4101 的区域识别信息(在第五混合方法中将其称为第一区域识别信息)检 测输入图像的关注像素是连续性区域还是非连续性区域之后，另外基 于来自现实世界估计单元4102的区域识别信息(在第五混合方法中将 其称为第二区域识别信息)检测输入图像的关注像素是连续性区域还是非连续性区域。这样，在第五混合方法中，进行两次区域检测处理，从而对连续 性区域的检测精确度提高并优于第三混合方法和第四混合方法的精确 度。另外，在第一混合方法和第二混合方法中，如同在第三混合方法 和第四混合方法中，只提供一个连续性区域检测单元4105 (图292或 图298)。因此，对连续性区域的检测精确度相比于第一混合方法和 第二混合方法也提高了。从而，可以实现输出比第一到第四混合方法 都接近现实世界l (图1)的信号的图像数据。然而，不变的是，即使第一到第四混合方法使用采用本发明的图像产生单元4104，其进行常规图像处理；以及用于利用数据连续性产 生图像的装置或程序等(即，数据连续性检测单元4101、现实世界估 计单元4102、以及图像产生单元4103)。因此，第一到第四混合方法可以输出比任何常规信号处理装置更 接近现实世界1 (图1)的信号的图像数据、或进行根据本发明具有图 3所示结构的信号处理。另 一方面，从处理速度方面看，第 一到第四混合方法中只需要一 次区域检测处理，因此这优于第五混合方法，其中进行两次区域检测 处理。因此，用户(或制造商)等可以选择性地使用满足输入图像所需 质量、以及需要的处理时间(直到输出输出图像的时间)的混合方法。注意，图304中的其它结构与图300或图302中的结构基本相同。 也就是说，采用第五混合方法的信号处理装置(图304)还包括数 据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103 以及图像产生单元4104，其与采用第三或第四混合方法的信号处理装 置(图300或图302)具有基本相同的结构和功能。然而，在第五混合方法中，现实世界估计单元4102只有在从执 行命令产生单元4192输入执行命令时才执行其处理，图像产生单元 4103只有在从执行命令产生单元4202输入执行命令时才执行其处理， 以及图像产生单元4104只有在从执行命令产生单元4192或执行命令 产生单元4202输入执行命令时才执行其处理。另外，在第五混合方法中，虽然图中没有示出，如同第三或第四 混合方法，可以这样设置，其中将例如图像合成单元设置在图像产生 单元4103和图像产生单元4104的下端以一次输出全部像素。接着将参考图305的流程图描述采用第五混合方法(图304)的 信号处理装置的信号处理。注意，这里，如同第三和第四混合方法，假设数据连续性检测单 元4101使用最小二乘法计算角度(位于现实世界l (图1)的信号的 关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2 (图1)的检测元件的预定一边的方向) 之间的角度)，并输出计算的角度作为数据连续性信息。这里假设，如同第三混合方法，数据连续性检测单元4101将计 算的估计误差(最小二乘误差)与计算的角度一起输出作为第一区域 识别信息。另外假设，如同第四混合方法，现实世界估计单元4102输出映 射误差(估计误差)作为第二区域识别信息。在图1中，当将现实世界l的信号投影到传感器2上，传感器2 输出输入图像。在图304中，将该输入图像输入图像产生单元4104,并且还输入 数据连续性检测单元4101、现实世界估计单元4102、图像产生单元 4103以及图像产生单元4104。现在，在图305的步骤S4221中，数据连续性检测单元4101基 于输入图像检测对应于连续性方向的角度，并计算其估计误差。将检 测的角度分别提供给现实世界估计单元4102和图像产生单元4103作 为数据连续性信息。另外，将计算的估计误差提供给区域检测单元 4191作为第一区域识别信息。注意，步骤S4221中的处理与上述步骤S4181 (图301)中的处 理基本相同。另外，如上所述，此时(除非从执行命令产生单元4192提供了 执行命令)，现实世界估计单元4102和图像产生单元4104都不执行 其处理。在步骤S4222中，区域检测单元4191基于由数据连续性检测单 元4101计算的估计误差(提供的第一区域识别信息)检测输入图像中 的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关 注像素的像素)的区域，并将其检测结果提供给执行命令产生单元 4192。注意，步骤S4222中的处理与上述步骤S4182 (图301)中的 处理基本相同。当将区域检测单元4181的检测结果提供给执行命令产生单元4192,在步骤S4223中，执行命令产生单元4192确定检测区域是否是 连续性区域。注意，步骤S4223中的处理与上述步骤S4183 (图301) 中的处理基本相同。在步骤S4223中，在确定检测区域不是连续性区域(为非连续性 区域)的情况下，执行命令产生单元4192将执行命令提供给图像产生 单元4104。图像产生单元4104然后执行步骤S4224中"用于执行类型 分类适应处理的处理"，以产生第一像素(关注像素(输入图像的SD 像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适 应处理产生的第一像素作为输出图像。注意，步骤S4224中的处理与上述步骤S4184 (图301)中的处 理基本相同。也就是说，图296中的流程图是描述步骤S4184中的处 理细节的流程图。步骤S4225中的处理与上述步骤S4185 (图301) 中的处理基本相同。相反，在步骤S4223中，在确定检测区域是连续性区域的情况下， 执行命令产生单元4192将执行命令提供给现实世界估计单元4102， 然后，在步骤S4226中，现实世界估计单元4102基于由数据连续性检 测单元4101检测的角度和在步骤S4221中的输入图像估计现实世界1 的信号，并还计算其估计误差(映射误差)。将估计的现实世界l的 信号提供给图像产生单元4103作为现实世界估计信息。另外，将计算 的估计误差提供给区域检测单元4201作为第二区域识别信息。注意，步骤S4226中的处理与上述步骤S4202 (图303 )中的处 理基本相同。另外，如上所述，此时(除非从执行命令产生单元4192或从执 行命令产生单元4202提供了执行命令)，图像产生单元4103和图像 产生单元4104都不执行其处理。在步骤S4227中，区域检测单元4201基于由数据连续性检测单 元4101计算的估计误差(提供的第二区域识别信息)检测输入图像中 的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关 注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4202。注意，步骤S4227中的处理与上述步骤S4203 (图303)中的 处理基本相同。当将区域检测单元4201的检测结果提供给执行命令产生单元 4202时，在步骤S4228中，执行命令产生单元4202确定检测区域是 否是连续性区域。注意，步骤S4228中的处理与上述步骤S4204 (图 303)中的处理基本相同。在步骤S4228中，在确定检测区域不是连续性区域(为非连续性 区域)的情况下，执行命令产生单元4202将执行命令提供给图像产生 单元4104。图像产生单元4104然后执行步骤S4224中"用于执行类型 分类适应处理的处理"，以产生第一像素(关注像素(输入图像的SD 像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适 应处理产生的第一像素作为输出图像。注意，步骤S4224中的处理与上述步骤S4205 (图303)中的处 理基本相同。另外，步骤S4225中的处理与上述步骤S4206 (图303) 中的处理基本相同。相反，在步骤S4228中，在确定检测区域是连续性区域的情况下， 执行命令产生单元4202将执行命令提供给图像产生单元4103。在步 骤S4229中，图像产生单元4103基于由现实世界估计单元4102估计 的现实世界l的信号(如果需要，以及来自数据连续性检测单元4101 的数据连续性信号)，产生由区域检测单元4201检测的区域(即输入 图像中的关注像素(SD像素))上的第二像素(HD像素)。然后， 在步骤S4230中，图像产生单元4103向外输出产生的第二像素作为输 出图像。注意，步骤S4229和步骤S4230中的处理与上迷步骤S4207和 S4208 (图303 )中的处理基本相同。当将第一像素和第二像素输出作为输出图像(在步骤S4225或步 骤S4230的处理后)，在步骤S4231中，确定是否完成对全部像素的 处理，在仍未完成对全部像素的处理的情况下，该处理返回步骤 S4221。也就是说，重复步骤S4221到S4231的处理直到完成对全部像素的处理。然后，在步骤S4231，在确定已经完成对全部像素的处理的情况 下，该处理结束。上文参考图292到图305描述了混合方法作为根据本发明的信号 处理装置4 (图1)的实施例的实例。如上所述，在混合方法中，还在具有如图3所示结构的根据本发 明的信号处理装置中添加了其它装置(或程序等)，其不利用连续性 进行处理。换句话说，在混合方法中，将具有如图3所示结构的根据本发明 的信号处理装置(或程序等)添加到常规信号处理装置(或程序等) 中。也就是说，在混合方法中，例如如图292或图298所示的连续性 区域检测单元4105检测图像数据中具有图像数据的数据连续性的数 据区域(例如，在图295的步骤S4106中、或图299的步骤S4166所 述的连续性区域)，在所述图像数据中，已经投影了现实世界l的光 信号，并已经丢失了现实世界l的光信号的部分连续性(例如，图292 或图298中的输入图4象)。另外，如图292和图298所示的现实世界估计单元4102基于图 像数据的数据连续性，通过模拟现实世界l的光信号的丟失的连续性 而估计光信号，所述图像数据已经丢失了现实世界l的光信号的部分 连续性。另外，如图292和图298所示的数据连续性检测单元4101检测 图像数据中的图像数据的数据连续性相对于参考轴角度(例如，在图 295的步骤S4102和图299的步骤S4162中所述的角度)，在所述图 像数据中已经投影了现实世界l的光信号，并且丢失了规实世界l的 光信号的部分连续性。在该情况下，例如，图292和图298所示的连 续性区域检测单元4105基于角度检测图像数据中具有数据连续性的 区域，以及现实世界估计单元4102通过对所述区域估计已经丢失的现 实世界1的光信号的连续性而估计光信号。然而，在图292中，连续性区域检测单元4105基于在具有随角 度变化的连续性的模型与输入图像之间的误差，检测输入图像中具有 数据连续性的区域(也就是说，估计误差是图中的区域识别信息，其 通过图295的步骤S4102的处理计算)。相反，在图298中，将连续性区域检测单元4105设置在现实世 界估计单元4102的下端，并基于在对应于由现实世界估计单元4102 计算的输入图像表示现实世界1的光信号的现实世界模型与输入图像 之间的误差(即通过在图295的步骤S4163中的处理计算的现实世界 信号的估计误差(映射误差)，其例如为图中的区域识别信息)，选 择性地输出(例如，图298中的选择器4112执行图299中的步骤S4166 到S4168的处理)由现实世界估计单元4102估计的现实世界模型，即， 从图像产生单元4103输出图像。尽管上面描述了图292和图298的实例，但是图300、图302以 及图304也是同样的。因此，在混合方法中，对应于具有图3所示结构的信号处理装置 的装置(或程序等)对现实世界l的信号中存在连续性的部分(具有 数据连续性的图像数据的区域)执行信号处理，而常规信号处理装置 (或程序等)可以对现实世界l的信号中不存在显著连续性的部分执 行信号处理。从而，可以实现比常规信号处理装置和具有图3所示结 构的根据本发明的信号处理都输出更接近现实世界(图1)的信号的 图像数据。接着，将参考图306和图307描述从数据连续性检测单元101直 接产生图像的实例。图306所示的数据连续性检测单元101是图165中所示的数据连 续性检测单元101加上图像产生单元4501。图像产生单元4501获取 从现实世界估计单元802输出的现实世界模拟函数f ( x )的系数作为 现实世界估计信息，并通过基于该系数再积分每个像素而产生并输出 图像。接着，将参考图307中的流程图描述图306中的数据连续性检测处理。注意，图307的流程图中的步骤S4501到S4504和步骤S4506 到S4511的处理与图166的步骤S801到S810中的处理相同，因此省 略对其的描述。在步骤S4504中，图像产生单元4501基于从现实世界估计单元 802输入的系数再积分每个像素，并产生和输出图像。由于上述处理，数据连续性检测单元101不仅可以输出区域信息 还可以输出用于区域确定的图像(由基于现实世界估计信息产生的像 素构成)。从而，在图306所示的数据连续性检测单元101中，提供了图像 产生单元4501。也就是说，图306中的数据连续性检测单元101可以 基于输入图像的数据连续性产生输出图像。因此，可以将具有如图306 所示结构的装置解释为图1所示的信号处理装置(图像处理装置)4 的另一实施例，而不是数据连续性检测单元101的一个实施例。另外，在应用上述混合方法的信号处理装置中，可以将具有如图 306所示结构的装置(即，与图306中的数据连续性检测单元101具 有相同功能和结构的信号处理装置)应用为信号处理单元，用于对现 实世界1的信号中存在连续性的部分进行信号处理。尤其是，例如，在应用图292中采用第一混合方法的信号处理装 置的情况下，对现实世界l的信号中存在连续性的部分进行信号处理 的单元是数据连续性检测单元4101、现实世界估计单元4102以及图 像产生单元4103。尽管图中没有示出，可以采用具有图306所示结构 的信号处理装置(图像处理装置)代替上述数据连续性检测单元4101、 现实世界估计单元4102以及图像产生单元4103。在该情况下，图306 中的比较单元804将其输出作为区域识别信息提供给区域检测单元 4111，并且图像产生单元4501将输出图像(第二像素)提供给选择器 4112。注意，传感器2可以是例如固态成像装置的传感器，例如BBD (库链式装置)、CID (电荷注入装置)、或CPD (电荷填充装置) 等。从而，图像处理装置可以包括区域选择装置，用于选择对应于 关注像素的区域，所述关注像素是在由多个像素构成的图像数据中的 关注像素，所述像素通过将现实世界光信号投影到每个具有时间空间 积分效应的多个检测元件上而获取，并其上已经丟失了现实世界光信 号的部分连续性；存储检测装置，用于根据关注像素的像素值与属于 由区域选^%装置选择的区域的像素的像素值的相关值，检测对应于属 于该区域的像素的分数，并还将分数设置给每个像素；连续性检测装 置，用于通过基于由分数检测装置检测的分数检测回归线，而检测图 像数据的对应于丟失的现实世界光信号连续性的数据连续性；以及现 实世界估计装置，用于基于由连续性检测装置检测的图像数据的数据 连续性，通过估计已经丢失的现实世界光信号的连续性而估计光信号。可以这样设置，其中连续性检测装置基于由分数检测装置检测的 分数检测回归线，并基于回归线检测对应于丟失的现实世界光信号连 续性的图像数据的数据连续性的相对于参考轴的角度，以及，现实世 界估计装置基于图像数据的数据连续性的相对于参考轴的角度，通过 估计丢失的现实世界光信号连续性而估计光信号。可以这样设置，其中连续性检测装置基于估计误差相对于回归线 和分数的标准微分而检测具有数据连续性的区域，以及，现实世界估 计装置基于由连续性检测装置检测的具有数据连续性的区域，产生模 拟表示现实世界的光信号的第一函数的第二函数。图像处理装置可以包括角度检测装置，用于检测由多个像素构 成的图像数据的数据连续性相对于参考轴的角度，从所述像素已经丢 失了现实世界光信号的部分连续性，其中通过将现实世界光信号投影 到每个具有时间空间积分效应的多个检测元件上而获得图像数据；以 及现实世界估计装置，用于基于由角度检测装置检测的角度，通过模 拟丢失的现实世界光信号而模拟光信号。角度检测装置可以包括像素选取装置，用于基于图像数据中的 关注像素和参考轴选取相对于多个角度中的每个角度的由预定个数的 像素构成的多组像素；以及相关值检测装置，用于检测由像素选取装置选取的每个角度的多个组的相应位置上的像素之间的像素值的相关值；从而，基于由相关值检测装置检测的相关值，检测出图像数据的 数据连续性相对于参考轴的角度，其对应于给出的现实世界光信号的 连续性。像素选取装置可以基于图像数据的关注像素和参考轴，选取多组 像素，所述像素组由以每个角度的模拟直线中的一个像素为中心、相 对于图像数据的垂直方向或水平方向上成的多个像素构成；以及相关 值检测装置基于图像数据中的关注像素和参考轴，可以检测在选取的 以具有预定角度的模拟直线上的像素为中心的多组的相应位置的像素 之间的像素值的相关值。像素选取装置可以基于图像数据的关注像素和参考轴，选取对应 于由对应角度范围的个数的像素构成的角度范围的个数的像素组，其 位于图像数据的垂直方向或水平方向，以每个角度的模拟直线上的像 素为中心。像素选取装置可以从图像数据检测垂直方向和水平方向活度，并 根据检测的活度，基于图像数据的关注像素和参考轴，选取位于图像 数据中垂直方向或水平方向的多个像素构成的多个像素组，其以每个 角度的模拟直线上的像素为中心。图像处理装置基于由相关值检测装置检测的相关值可以控制角 度检测装置或现实世界估计装置的作用。像素选取装置可以基于图像数据中的关注像素和参考轴选取以 预定角度的每个直线的模拟中的像素为中心的图像块；以及，相关值 检测装置可以基于图像数据中的关注像素和参考轴，检测以预定角度 的每个直线的模拟中的像素为中心的图像块的相关值。角度检测装置可以包括区域选择装置，用于选择对应于图像数 据中的关注像素的区域；以及特征检测装置，用于对应于由区域选择 装置选择的区域内的丢失的现实世界光信号的连续性，检测用于检测 图像数据中的数据连续性的相对于参考轴的角度的特征；其中，基于 由特征检测装置检测的特征统计地检测角度；以及其中，现实世界估计装置基于由角度检测装置检测的图像数据中的数据连续性相对于参 考轴的角度，通过估计丢失的现实世界光信号的连续性而估计光信号。 可以这样设置，其中区域选择装置还包括活度检测装置，用于基 于图像数据中的关注像素检测相对于图像数据的垂直方向和水平方向 活度，从而根据由活度检测装置的检测结果选择图像数据中的处理区域；特征检测装置还可以包括动态范围检测装置，用于选择动态范围， 其为由区域选择装置选择的区域中的像素的像素值的最大值和最小植 之差；以及垂直检测装置，用于检测在对应于由活度检测装置的检测 结果的方向上的相邻像素之间的差值；以及角度检测装置，其可以根 据动态范围和差值，检测图像数据中对应于丢失的现实世界光信号的 连续性的数据连续性相对于参考轴的角度。图像处理装置还可以包括混合比值估计装置，用于基于由动态范 围检测装置检测的区域中的像素的像素值的最大值和最小值，估计区 域中的前景对象分量和背景对象分量之间的混合比值；以及现实世界 估计装置，用于基于由其中已经丢失了现实世界光信号的部分连续性 的多个像素构成的图像数据的数据连续性，通过估计丢失的现实世界 光信号的连续性而估计光信号。图像处理装置还可以包括连续性区域检测装置，用于检测具有 由多个像素构成的图像数据的数据连续性的区域，从所述像素已经丢 失了现实世界光信号的部分连续性、并通过将现实世界光信号投影到 每个具有时间空间积分效应的多个检测元件上而获得；以及现实世界 估计装置，用于基于由其中已经丢失了现实世界光信号的连续性的多 个像素构成的图像数据的数据连续性，通过模拟丢失的现实世界光信 号而模拟光信号。图像处理装置还可以包括角度检测装置，用于检测闺像数据中的 数据连续性相对于参考轴的角度，其中连续性区域检测装置基于该角 度检测具有图像数据中的数据连续性的区域；以及，现实世界估计装 置通过对区域估计丢失的现实世界光信号的连续性而估计光信号。连续性区域检测装置可以基于具有沿一个角度的连续性的模型与图像数据之间的误差，检测图像数据中具有数据连续性的区域。连续性区域检测装置可以被设置在现实世界估计装置的下端，并可以基于模拟由现实世界估计装置产生的表示现实世界光信号的第一函数的第二函数与图像数据之间的误差，选择性地输出由现实世界估计装置产生的第二函数。连续性区域检测装置可以检测已经丢失了现实世界光信号的一部分连续性的图像数据中的多个像素的像素值的非连续性部分，从检测的非连续性部分检测具有数据连续性的连续性区域；以及现实世界 估计装置可以基于属于由连续性区域检测装置检测的连续性区域的像 素的像素值再次检测该区域，从而基于再次检测的区域估计光信号。连续性区域检测装置可以包括非连续性检测装置，用于检测图 像数据中多个像素的像素值的非连续性部分；峰值检测装置，用于从 非连续性部分检测像素值变化的峰值；单调增/减区域检测装置，用于 检测其中像素值从峰值单调增加或减小的单调增/减区域；以及连续性 检测装置，用于从由单调增/减区域检测装置检测的单调增/减区域检 测相邻于另一个单调增/减区域的单调增/减区域作为第一图像数据中 具有数据连续性的连续性区域；其中现实世界估计装置基于属于由连 续性检测装置检测的连续性区域的像素的像素值，再次检测其中像素 值从峰值单调增大或单调减小的区域，其中光信号基于再次检测的区 域而被估计。现实世界估计装置可以基于属于由连续性检测装置检测的连续 性区域的多个像素的像素值的回归的回归线，再次检测其中像素值从 峰值单调增大或单调减小的区域，并基于再次检测的区域产生对应于 光信号的信号。可以这样设置，其中非连续性检测装置获得对应于图像数据的多 个像素的像素值的回归平面，并检测由具有这样的像素值的像素构成 的区域作为非连续性部分，所述像素值离回归线的距离等于或大于阈 值；以及其中，现实世界估计装置检测连续性区域中的相邻单调增/ 减区域、检测通过从相邻单调增/减区域的像素的像素值减去由回归平面表示的模拟值的差值、检测相邻单调增/减区域中的相应像素间的差 值的分量的分配比值、以及对应于分配比值，再次检测其中像素值从 峰值单调增大或单调减小的区域。现实世界估计装置可以产生模拟表示现实世界光信号的第一函 数的第二函数，以及图像处理装置还可以包括图像形成装置，用于基 于第二函数产生图像数据。图像处理装置可以包括图像数据连续性检测装置，用于检测由 多个像素构成的第一图像数据的数据连续性，在所述多个像素中已经 丢失了现实世界光信号的部分连续性，其中通过将现实世界光信号投 影到每个具有时间空间积分效应的多个检测装置上而获得图像数据； 现实世界估计装置，用于基于表示对应数据连续性的现实世界光信号 的波形的模型，从第 一 图像数据中的数据连续性产生模拟现实世界光 信号的波形的信号；以及图像形成装置，用于将由现实世界估计装置 产生的信号转换成第二图像数据。现实世界估计装置可以基于如下直线的梯度估计现实世界中的 细线的线宽，所述直线连接第一区域的重心和第二区域的重心、或第 三区域的重心和第四区域的重心，以及其中第一区域和第二区域、或 第三区域和第四区域重叠的重叠区域，相对于第一区域的水平连续 相邻设置，所述第一区域由多个像素的垂直方向的阵列构成，所述像 素通过将由图像数据连续性检测装置检测的细线的光信号投影到多个 检测元件上获取，以及由多个其它像素的垂直方向阵列构成的第二区 域；或者第三区域的垂直连续相邻设置，所述第三区域由多个像素的 水平方向的阵列构成，所述像素通过将由图像数据连续性检测装置检 测的细线的光信号投影到多个检测元件上获取，以及由多个其它像素 的水平方向阵列构成的第四区域；从而从第一图像数据中的像素的像 素值估计细线的光信号的水平，所述细线在空间上小于每个检测元件 的感光面，所述检测元件具有时间空间积分效应，其上已经被投影了 现实世界光信号。现实世界估计装置可以基于通过从第一区域或第三区域中的第一像素的像素值中减去相邻于第一像素的第二像素的像素值、以及基 于第一区域或第三区域的第一像素内的细线的面积，估计细线光信号 的水平。图像数据连续性检测装置可以获得对应于笫一图像数据中的多 个像素的像素值的回归平面，检测由具有这样的像素值的像素构成的 区域，所述像素值离回归平面的距离等于或大于阈值，以及，现实世 界估计装置基于通过从第一区域或第三区域中的第一像素的像素值中 减去由回归平面模拟的值、以及基于第一区域或第三区域的第一像素 内的细线的面积，估计细线光信号的水平。图像处理装置可以包括数据连续性检测装置，用于检测由多个像素构成的第一图像数据中的数据连续性，所述像素已经丟失了现实世界光信号的部分连续性，并且所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获得；现实世界估计装置，用于对应于由数据连续性检测装置检测的数据连续性，检测表示现实世界光信号的第一函数所具有的现实世界的特征；以及图像产生装置，用于基于由现实世界估计装置检测的现实世界特征预测和产生比第一图像数据具有更高质量的第二图像数据。现实世界估计装置可以在如下假设下利用预定第二函数模拟第一函数，假设在至少一维方向上离对应于由连续性检测装置检测的数 据连续性的参考点对应预定距离的像素的像素值是通过在至少一维方 向上的积分效应获取的像素值，从而检测作为预定像素中的第二函数 的梯度的像素内梯度作为现实世界特征。图像产生装置可以包括图像预测装置，用于从位于第二图像数据 中的关注像素周围的、其中已经丟失了现实世界光信号的连续性的第 一图像数据中的多个像素的像素值预测关注像素的像素值；校正项预 测装置，用于预测校正项，所述校正项用于从由现实世界估计装置检 测的现实世界特征校正由图像预测装置预测的关注像素的像素值；以 及校正装置，用于利用由校正项预测装置预测的校正项校正由图像预 测装置预测的关注像素的像素值。图像处理装置可以包括第一学习装置，用于通过学习确定第一 系数，所述系数在预测关注像素的像素值时用于图像预测装置中；以 及第二学习装置，用于通过学习而确定第二系数，所述第二系数用于 校正项预测装置中，所述装置用于预测校正项，所述校正项用于校正 由图像预测装置预测的关注像素的像素值。第一学习装置可以包括下降转换装置，用于下降转换学习图像 数据；以及第一系数产生装置，用于以学习图像数据为第一老师图像、 以由下降转换装置下降转换的学习图像数据作为第一学生数据，通过 学习第一老师图像和第一学生图像之间的关系而产生第一系数。第一学习装置还可以包括学习图像预测装置，用于利用由第一系 数产生装置产生的第一系数产生用于从第一学生图像预测第一老师图 像的图像数据。第二学习装置可以包括学生图像产生装置，用于检测图像数据 中的数据连续性，所述图像数据在产生第一系数时由第一系数产生装 置用作第一学生图像、基于检测的数据连续性，检测对应于构成第一 学生图像的每个像素的现实世界特征、以及产生取对应于检测的现实 世界特征为像素值的图像数据作为第二学生图像；老师图像产生装置， 用于产生在产生第一系数时由第一系数产生装置用作第一老师图像的 图像数据与预测由学习图像预测装置产生的第 一 老师图像的图像数据 之差构成的图像数据；以及第二系数产生装置，用于通过学习由老师 图像产生装置产生的第二老师图像与由学生图像产生装置产生的第二 学生图像之间的关系而产生第二系数。图像处理装置可以包括数据连续性检测装置，用于检测由多个 像素构成的图像数据的数据连续性，所述像素已经丢失了现实世界光 信号的部分连续性、并通过将现实世界光信号投影到每个具有时间空 间积分效应的多个检测元件上而获得；以及，现实世界估计装置，用 于对应于由图像数据连续性检测装置检测的连续性，产生对应于时间 空间方向上的相对于图像数据的关注像素的一维方向上的位置上的多 个像素的像素值的梯度。现实世界估计装置可以产生对模拟对应于相对关注像素的 一 维 方向上的位置上的多个像素的像素值的函数的微分。现实世界估计装置可以对应于由连续性检测装置检测的连续性， 产生用于模拟对应于沿 一维方向离参考点的距离的每个像素的像素值 的函数的微分。现实世界估计装置可以从对应于关注像素的多个像素的像素值， 检测一维方向中的位置上的多个像素的像素值的梯度。图像处理装置还可以包括像素值产生装置，用于对应于数据连续 性，获得从图像数据中的关注像素的中心位置在一维方向上平移的位 置上的像素值的梯度，并产生直线在关注像素中的两端的值作为比关 注像素具有更高分辨率的像素的像素值，所述关注像素具有以从关注 像素的中心位置在一维方向上平移的位置为中心的梯度。用于存储用于实施根据本发明的信号处理的程序存储介质不限 于封装介质，所述封装介质单独地分布在计算机中以给用户提供程序，例如磁盘51 (包括软盘、光盘52 (包括CD-ROM (紧凑盘-只读存储 器))、DVD多功能数码光盘)、磁光盘53 (包括MD (迷你盘)(注 册商标))、半导体存储器54等，如图2所示，其中已经记录了程序； 但是还可以由其中记录程序的ROM22枸成，或包括在单元28中的硬 盘等，将这些预先设置入计算机而提供给用户。注意，可以按需要通过电缆或无线通信介质，如局域网、互联网、 数字卫星传播等、通过例如路由器、调制解调器等将用于执行上述一 组处理的程序装入计算机。应注意，在本说明书中，描述记录在记录介质中的程序的步骤包 括以上述次序为时间顺序实施的处理，显然，这不限于时间顺序处理， 还可以包括平行或单独执行的处理。工业应用性根据本发明，投影作为具有第一维的现实世界信号的第一信号， 检测第二维的第二信号的对应于丢失的现实世界信号的连续性的数据连续性，所述第二维具有比第一维少的维数，并且其中丟失了现实世 界信号的部分连续性，以及基于检测的数据连续性通过估计丟失的现 实世界信号的连续性估计第一信号，从而通过考虑从其获取数据的现 实世界，而获得对现实世界中的事件的准确和高精度的处理结果。
权利要求
1.一种图像处理装置，包括图像数据连续性检测器，被配置为检测由多个像素构成的第一图像数据的数据连续性，所述多个像素通过将现实世界的光信号投影到每个都具有空间时间积分效应的多个检测单元上而获得，在所述多个像素中丢失了现实世界光信号的部分连续性；现实世界估计部件，被配置为从所述第一图像数据中的所述数据连续性，基于表示相应于所述数据连续性的所述现实世界光信号的波形的模型，产生模拟所述现实世界光信号的波形的信号；及图像产生器，被配置为将由所述现实世界估计部件产生的所述信号转换为第二图像数据。
2. 根据权利要求l的图像处理装置，其中所述图像数据连续性检 测器被配置为检测包括在水平方向上连续地毗邻的第一区域和第二区域的区域，所 述第一区域由所述图像数据连续性检测器检测出的、在垂直方向上布 置的多个像素形成，且所述第二区域由在垂直方向上布置的多个其它 像素形成；其中第三区域和第四区域在垂直方向上连续地毗邻的另一区域， 所述第三区域由通过将所述现实世界的细线的所述光信号投影到第二 多个检测单元上获得的、在水平方向上布置的另一多个像素形成，且 所述第四区域由在水平方向上布置的另一多个其它像素形成，其中所述现实世界估计部件被配置为基于以下内容估计所述现实 世界的所述细线的线宽联结所述第一区域的重心和所述第二区域的重心、或所述第三区域的重心和所述第四区域的重心的直线的梯度；及其中所述第一区域和所述第二区域重叠、或其中所述第三区域和所述第四区域重叠的重叠部分，且所述现实世界估计部件被配置为估计在空间上小于每一具有空间积分效应的检测单元的光接收表面的所述细线的所述光信号的水 平，其中所述现实世界的所述光信号投影在所述检测单元上，所述水 平从在所述第 一 图像数据内的像素的像素值估计出。
3. 根据权利要求2的图像处理装置，其中所述现实世界估计部件 被配置为基于从所述第一区域或所述第三区域的第一像素的像素值中 减去毗邻所述第 一像素的第二像素的像素值得到的值与在所述第 一 区 域或所述第三区域中的所述第一像素内的所述细线的面积，估计所述 细线的所述光信号的水平。
4. 根据权利要求2的图像处理装置，其中所述图像数据连续性检 测器被配置为寻找相应于在所述第一图像数据内的所述多个像素的像 素值的回归线，以便检测由具有这样的像素值的像素构成的区域与 所述回归平面的距离等于或大于阈值；且其中所述现实世界估计部件被配置为基于所述检测出的区域内 的值和在所述第一区域或所述第三区域的所述第一像素内的所述细线 的表面积估计所述细线的所述光信号的水平，其中从所述第一区域或 所述第三区域的第一像素的像素值减去由所述回归平面模拟的值。
5. —种图像处理方法，包括检测由多个像素构成的第 一 图像数据的数据连续性，所述多个像 素通过将现实世界的光信号投影到每个都具有空间时间积分效应的多 个检测单元上而获得，在所述多个像素中丢失了现实世界光信号的部 分连续性；从所述第 一图像数据中的所述数据连续性，基于表示相应于所述 数据连续性的所述现实世界光信号的波形的模型，产生模拟所述现实 世界光信号的波形的信号；及将由在所述产生步骤中产生的所述信号转换为第二图像数据。
全文摘要
本发明公开了一种信号处理装置、方法及程序。考虑从其获取数据的现实世界，可以获得高精度的对现实世界的事件的处理结果。数据连续性检测单元(101)检测对应于第二维输入图像丢失的现实世界的图像连续性的数据连续性，所述第二维输入图像是具有第一维的现实世界中的图像被投影成的，并小于第一维度，其中丢失了现实世界图像的部分连续性。根据由数据连续性检测单元(101)检测的数据连续性，现实世界估计单元(102)估计丢失的现实世界图像的连续性，从而估计现实世界图像。本发明可以应用于用于输出比输入图像具有更高分辨率的输出图像的图像处理装置。
文档编号H04N7/01GK101232584SQ20071015434
公开日2008年7月30日 申请日期2004年2月12日 优先权日2003年2月13日
发明者三宅彻, 和田成司, 永野隆浩, 泽尾贵志, 石桥淳一, 藤原直树, 近藤哲二郎 申请人:索尼株式会社