图像处理装置和方法、记录介质及程序的制作方法

专利名称：图像处理装置和方法、记录介质及程序的制作方法
技术领域：
本发明涉及图像处理装置和方法、记录介质及程序，尤其涉及考虑从其获取数据的现实世界的图像处理装置和方法、记录介质和程序。
背景技术：
利用传感器检测现实世界(真实世界)中的现象并处理从传感器输出的采样数据的技术得到了广泛使用。例如，这样的图像处理技术得到了广泛的使用，其中利用成像传感器成像现实世界并处理作为图像数据的采样数据。
另外，日本未审查专利申请公开号2001-250119中公开了通过利用传感器检测第一信号获得比第一维的维数低的第二维，所述第一信号是具有第一维的现实世界信号；获得第二信号，该第二信号包括相对于第一信号的畸变；以及，基于第二信号进行信号处理，从而产生比第二信号具有减轻的畸变的第三信号。
然而，用于从第二信号估计第一信号的信号处理还没有考虑这样的事实，即通过作为具有第一维的现实世界的信号的第一信号产生的、比第一维的维数低的第二维的、其中丢失了现实世界信号的部分连续性的第二信号具有对应于已经丢失的现实世界信号的稳定性的数据连续性。

发明内容
本发明考虑上述情况而获得，本发明的一个目的是考虑从其获得数据的现实世界，从获得相对于现实世界的现象更准确和更精确的处理结果。
根据本发明的图像处理装置包括第一角度检测装置，用于利用匹配处理检测由多个像素构成的图像数据中图像数据连续性的对应于参考轴的角度，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上获取，在该图像数据中已经丢失了所述现实世界光信号的部分连续性；第二角度检测装置，用于基于对应于由所述第一角度检测装置检测的角度的预定区域中的所述图像数据利用统计处理检测所述角度；以及现实世界估计装置，用于基于由所述第二角度检测装置检测的所述角度通过估计所述现实世界光信号的所述丢失的连续性而估计所述光信号。
第一角度检测装置可包括像素检测装置，用于基于所述图像数据中的关注像素检测以相邻于每个角度的直线的多个像素为中心的图像块；以及相关性检测装置，用于检测由所述像素检测装置检测的图像块的相关性；其中根据由所述相关性检测装置检测的所述图像块的相关值检测所述图像数据的连续性相对于参考轴的角度。
第二角度检测装置还可包括多个统计处理装置；其中根据由所述第一角度检测装置检测的角度利用所述多个统计处理装置中的一个统计处理装置检测所述角度。
多个统计处理装置中的一个统计处理装置还可包括动态范围检测装置，用于检测动态范围，所述动态范围为所述预定区域中的像素的像素值的最大值和最小值之差；差值检测装置，用于检测根据所述预定区域中的活度的方向中相邻像素之间的差值；以及统计角度检测装置，用于根据所述动态范围和所述差值，统计地检测对应于现实世界光信号的所述丢失的连续性的图像数据的连续性相对于参考轴的角度。
多个统计处理装置的一个统计处理装置可包括分数检测装置，用于取其相对于所述预定区域中的另一个像素的像素值的相关值等于或大于阈值的像素数作为对应于所述关注像素的分数；以及统计角度检测装置，用于通过基于由所述分数检测装置检测的每个关注像素的分数检测回归线而统计地检测所述图像数据的连续性相对于参考轴的角度。
根据本发明的图像处理方法包括第一角度检测步骤，用于利用匹配处理检测由多个像素构成的图像数据中图像数据连续性对应于参考轴的角度，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了所述现实世界光信号的部分连续性；第二角度检测步骤，用于基于对应于在所述第一角度检测步骤中检测的角度的预定区域中的所述图像数据利用统计处理检测所述角度；以及现实世界估计步骤，用于基于在所述第二角度检测步骤中检测的所述角度通过估计所述现实世界光信号的所述丢失的连续性而估计所述光信号。
根据本发明的记录介质程序是可由计算机读取并执行下列处理的程序第一角度检测步骤，用于利用匹配处理检测由多个像素构成的图像数据中图像数据连续性的对应于参考轴的角度，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了所述现实世界光信号的部分连续性；第二角度检测步骤，用于基于对应于在所述第一角度检测步骤中检测的角度的预定区域中的所述图像数据利用统计处理检测所述角度；以及现实世界估计步骤，用于基于在所述第二角度检测步骤中检测的所述角度通过估计所述现实世界光信号的所述丢失的连续性而估计所述光信号。
根据本发明的程序使计算机执行以下处理第一角度检测步骤，用于利用匹配处理检测由多个像素构成的图像数据中图像数据连续性的对应于参考轴的角度，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了所述现实世界光信号的部分连续性；第二角度检测步骤，用于基于对应于在所述第一角度检测步骤中检测的角度的预定区域中的所述图像数据利用统计处理检测所述角度；以及现实世界估计步骤，用于基于在所述第二角度检测步骤中检测的所述角度通过估计所述现实世界光信号的所述丢失的连续性而估计所述光信号。
利用根据本发明的图像处理装置和方法、以及程序，利用匹配处理检测由多个像素构成的图像数据中图像数据连续性的对应于参考轴的角度，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了所述现实世界光信号的部分连续性；基于对应于检测的角度的预定区域中的图像数据利用统计处理检测角度；通过基于利用统计处理检测的角度估计现实世界光信号丢失的连续性而估计光信号。


图1示出了本发明的原理；图2是示出本发明信号处理装置4的结构实例的方框图；图3是示出本发明信号处理装置4的方框图；图4示出了常规图像处理装置121的处理原理；图5示出了本发明图像处理装置4的处理原理；图6详细示出了本发明原理；图7详细示出了本发明原理；图8示出了图像传感器上的像素布置的实例；图9示出了作为CCD的检测装置的操作；图10示出了被投影到对应于像素D到F的检测元件上的光与像素值之间的关系；图11示出了通过时间、被投影到对应于一个像素的检测元件上的光以及像素值之间的关系；图12示出了现实世界中线形对象的图像实例；图13示出了通过实际图像拍摄获得的图像数据的像素值的实例；图14是图像数据的示意图；图15示出了具有不同于背景颜色的单色的线形的现实世界1的图像的实例；图16示出了通过实际图像拍摄获得的图像数据的像素值的实例；图17是图像数据的示意图；图18示出了本发明原理；图19示出了本发明原理；图20示出了产生高分辨率数据181的实例；图21示出了通过模型161的模拟；图22示出了具有M块数据162的模型161的估计；图23示出了现实世界1信号和数据3之间的关系；图24示出了在产生表达时的关注数据3的实例；图25示出了用于现实世界中的两个对象的信号、以及在产生表达时属于混合区域的值；图26示出了由公式(18)、公式(19)以及公式(20)表示的连续性；图27示出了从数据选取的M块数据的实例；图28示出了其中获得作为数据3的像素值的区域；图29示出了在空间-时间方向中对像素位置的模拟；图30示出了在数据3中的时间方向和二维空间方向上对现实世界1的信号的积分；图31示出了在产生具有空间方向中更高分辨率的高分辨率数据181时的积分区域；图32示出了在产生具有时间方向中更高分辨率的高分辨率数据181时的积分区域；图33示出了在除去由于移动的模糊而产生高分辨率数据181时的积分区域；图34示出了在产生具有时间空间方向中更高分辨率的高分辨率数据181时的积分区域；图35示出了输入图像的原始图像；图36示出了输入图像的实例；
图37示出了通过应用常规类型分类适应处理获得的图像；图38示出了对具有细线的区域的检测结果；图39示出了从信号处理装置4输出的输出图像的实例；图40是示出利用信号处理装置4的信号处理的流程图；图41是示出数据连续性检测单元的结构的方框图；图42示出了在背景上具有细线的现实世界1中的图像；图43示出了利用平面对背景的模拟；图44示出了其上投影有细线图像的图像数据的截面形状；图45示出了其上投影有细线图像的图像数据的截面形状；图46示出了其上投影有细线图像的图像数据的截面形状；图47示出了检测峰值和检测单调增/减区域的处理；图48示出了检测这样的细线区域的处理，其中峰值的像素值超过阈值，而其相邻像素的像素值等于或小于阈值；图49示出了在由图48中的点线AA’表示的方向上排列的像素的像素值；图50示出了检测单调增/减区域中的连续性的处理；图51示出了其中通过在平面上的模拟被选取连续性分量的图像的实例；图52示出了对单调减小的区域的检测结果；图53示出了其中被检测出连续性的区域；图54示出了其中检测出连续性的区域上的像素值；图55示出了用于检测其中被投影了细线图像的区域的另一处理实例；图56是示出连续性检测处理的流程图；图57示出了用于在时间方向上检测数据连续性的处理；图58是示出非连续性分量选取单元201的结构的方框图；图59示出了排除的次数；图60示出了输入图像的实例；图61示出这样的图像，其中取作为没有排除的平面模拟的结果获得的标准误差为像素值；图62示出了这样的图像，其中取作为具有排除的平面模拟的结果获得的标准误差为像素值；图63示出了其中取排除次数为像素值的图像；图64示出了其中取平面的空间方向X上的梯度为像素值的图像；图65示出了其中取平面的空间方向Y上的梯度为像素值的图像；图66示出了由平面模拟值形成的图像；图67示出了由平面模拟值与像素值之差形成的图像；图68是示出用于选取非连续性分量的处理的流程图；图69是示出用于选取连续性分量的处理的流程图；图70是示出用于选取连续性分量的其它处理的流程图；图71是示出用于选取连续性分量的再一处理的流程图；图72是示出数据连续性检测单元101的另一结构的方框图；图73示出了具有数据连续性的输入图像上的活度；图74示出了用于检测活度的块；图75示出了相对于活度的数据连续性的角度；图76是示出数据连续性检测单元101的详细结构的方框图；图77示出了一组像素；图78示出了像素组的位置与数据连续性角度的关系；图79是示出用于检测数据连续性的处理的流程图；图80示出了在检测在时间方向和空间方向上的数据连续性的角度时选取的一组像素；图81是示出数据连续性检测单元101的另一详细结构的方框图；图82示出了由对应于设置直线的角度范围的个数的像素构成的一组像素；图83示出了设置直线的角度范围；图84示出了设置直线的角度范围、像素组数、以及每个像素组的像素个数；图85示出了像素组数和每个像素组的像素个数；
图86示出了像素组数和每个像素组的像素个数；图87示出了像素组数和每个像素组的像素个数；图88示出了像素组数和每个像素组的像素个数；图89示出了像素组数和每个像素组的像素个数；图90示出了像素组数和每个像素组的像素个数；图91示出了像素组数和每个像素组的像素个数；图92示出了像素组数和每个像素组的像素个数；图93是示出用于检测数据连续性的处理的流程图；图94是示出数据连续性检测单元101的另一详细结构的方框图；图95是示出数据连续性检测单元101的再一详细结构的方框图；图96示出了块的实例；图97示出了用于计算关注块和参考块之间的像素值之差的绝对值的处理；图98示出了关注像素附近的像素的位置与具有角度θ的直线之间在空间方向X上的距离；图99示出了平移量γ和角度θ之间的关系；图100示出了相对于平移量γ，关注像素附近的像素的位置与经过关注像素并具有角度θ的直线之间在空间方向X上的距离；图101示出了这样的参考块，其中相对于经过关注像素并具有角度θ的直线在空间方向X轴上的距离最小；图102示出了用于平分将要检测的数据连续性的角度的范围的处理；图103是示出用于检测数据连续性的处理的流程图；图104示出了在检测空间方向和时间方向中的数据连续性的角度时选取的块；图105是示出数据连续性检测单元的结构的方框图，所述单元执行基于输入图像的分量信号检测数据连续性的处理；图106是示出数据连续性检测单元101的结构的方框图，所述单元执行基于输入图像的分量信号检测数据连续性的处理；
图107是示出数据连续性检测单元101的另一结构的方框图；图108示出了输入图像中以参考轴为参考的数据连续性的角度；图109示出了输入图像中以参考轴为参考的数据连续性的角度；图110示出了输入图像中以参考轴为参考的数据连续性的角度；图111示出了像素值相对于空间方向中的像素的位置的变化与输入图像中的回归线之间的关系；图112示出了回归线A与表示空间方向X的轴之间的角度，所述轴例如为参考轴；图113示出了区域的实例；图114是示出用于利用具有图107所示结构的数据连续性检测单元101检测数据连续性的处理的流程图；图115是示出数据连续性检测单元101的另一结构的方框图；图116示出了像素值相对于空间方向中的像素的位置的变化与输入图像中的回归线之间的关系；图117示出了标准偏差和具有数据连续性的区域间的关系；图118示出了区域的实例；图119是示出用于利用具有图115所示结构的数据连续性检测单元101检测数据连续性的处理的流程图；图120是示出用于利用具有图115所示结构的数据连续性检测单元101检测数据连续性的其它处理的流程图；图121是示出采用本发明的用于检测细线或二值边缘的角度作为数据连续性信息的数据连续性检测单元的结构；图122示出了对数据连续性信息的检测方法；图123示出了对数据连续性信息的检测方法；图124示出了数据连续性检测单元的另一详细结构；图125示出了水平/垂直确定处理；图126示出了水平/垂直确定处理；图127A示出了现实世界中的细线与由传感器成像的细线之间的关系；
图127B示出了现实世界中的细线与由传感器成像的细线之间的关系；图127C示出了现实世界中的细线与由传感器成像的细线之间的关系；图128A示出了现实世界中的细线与背景之间的关系；图128B示出了现实世界中的细线与背景之间的关系；图129A示出了由传感器成像的图像中的细线与背景之间的关系；图129B示出了由传感器成像的图像中的细线与背景之间的关系；图130A示出了由传感器成像的图像中的细线与背景之间的关系的实例；图130B示出了由传感器成像的图像中的细线与背景之间的关系的实例；图131A示出了现实世界的图像中的细线与背景之间的关系；图131B示出了现实世界的图像中的细线与背景之间的关系；图132A示出了由传感器成像的图像中的细线与背景之间的关系；图132B示出了由传感器成像的图像中的细线与背景之间的关系；图133A示出了由传感器成像的图像中的细线与背景之间的关系的实例；图133B示出了由传感器成像的图像中的细线与背景之间的关系的实例；图134示出了获得细线角度的模型；图135示出了获得细线角度的模型；图136A示出了对应于关注像素的动态范围块中的像素的最大值和最小值；图136B示出了对应于关注像素的动态范围块中的像素的最大值和最小值；图137A示出了如何获得细线角度；图137B示出了如何获得细线角度；图137C示出了如何获得细线角度；
图138示出了如何获得细线角度；图139示出了动态范围块的选取块；图140示出了最小二乘法求解；图141示出了最小二乘法求解；图142A示出了二值边缘；图142B示出了二值边缘；图142C示出了二值边缘；图143A示出了由传感器成像的图像的二值边缘；图143B示出了由传感器成像的图像的二值边缘；图144A示出了由传感器成像的图像的二值边缘的实例；图144B示出了由传感器成像的图像的二值边缘的实例；图145A示出了由传感器成像的图像的二值边缘；图145B示出了由传感器成像的图像的二值边缘；图146示出了用于获得二值边缘的角度的模型；图147A示出了用于获得二值边缘的角度的方法；图147B示出了用于获得二值边缘的角度的方法；图147C示出了用于获得二值边缘的角度的方法；图148示出了用于获得二值边缘的角度的方法；图149是示出用于检测细线或二值边缘沿数据连续性的角度的处理的流程图；图150是示出数据选取处理的流程图；图151是示出对正规方程的相加处理的流程图；图152A示出了通过利用本发明获得细线的梯度与利用相关值获得的细线角度间的比较；图152B示出了通过利用本发明获得细线的梯度与利用相关值获得的细线角度间的比较；图153A示出了通过利用本发明获得二值边缘的梯度与利用相关值获得的细线角度间的比较；图153B示出了通过利用本发明获得二值边缘的梯度与利用相关值获得的细线角度间的比较；图154是示出应用本发明的用于检测混合比值作为数据连续性信息的数据连续性检测单元的结构的方框图；图155A示出了如何获得混合比值；图155B示出了如何获得混合比值；图155C示出了如何获得混合比值；图156是示出检测沿数据连续性的混合比值的流程图；图157是示出对正规方程的相加处理的流程图；图158A示出了细线的混合比值分布的实例；图158B示出了细线的混合比值分布的实例；图159A示出了二值边缘的混合比值分布的实例；图159B示出了二值边缘的混合比值分布的实例；图160示出了对混合比值的线性模拟；图161A示出了用于获得对象的移动作为数据连续性信息的方法；图161B示出了用于获得对象的移动作为数据连续性信息的方法；图162A示出了用于获得对象的移动作为数据连续性信息的方法；图162B示出了用于获得对象的移动作为数据连续性信息的方法；图163A示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；图163B示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；图163C示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；图164示出在获得根据对象的移动的混合比值作为数据连续性信息时对混合比值的线性模拟；图165示出了用于根据本发明检测作为数据连续性信息的处理区域的数据连续性检测单元的结构；图166是示出利用图165所示的数据连续性检测单元检测连续性的处理的流程图；
图167示出了利用图165所示的数据连续性检测单元检测连续性的处理的积分范围；图168示出了利用图165所示的数据连续性检测单元检测连续性的处理的积分范围；图169示出了用于根据本发明检测作为数据连续性信息的处理区域的数据连续性检测单元的另一结构；图170是示出利用图169所示的数据连续性检测单元检测连续性的处理的流程图；图171示出了利用图169所示的数据连续性检测单元检测连续性的处理的积分范围；图172示出了利用图169所示的数据连续性检测单元检测连续性的处理的积分范围；图173是示出数据连续性检测单元的另一实例的结构的方框图；图174是示出图173所示的数据连续性检测单元的简单型角度检测单元的结构的实例的方框图；图175是示出图173所示的数据连续性检测单元的回归型角度检测单元的结构实例的方框图；图176是示出图173所示的数据连续性检测单元的梯度型角度检测单元的结构实例的方框图；图177是示出利用图173所示的数据连续性检测单元检测数据连续性的处理的流程图；图178示出了用于检测对应于由简单型角度检测单元检测的角度的角度的方法；图179是示出回归型角度检测处理的流程图，其为图177所示的流程图中步骤S904的处理；图180示出了其中进行分数转换处理的作为范畴范围的像素；图181示出了其中进行分数转换处理的作为范畴范围的像素；图182示出了其中进行分数转换处理的作为范畴范围的像素；图183示出了其中进行分数转换处理的作为范畴范围的像素；
图184示出了其中进行分数转换处理的作为范畴范围的像素；图185是示出数据连续性检测单元的另一实施例的结构的方框图；图186是描述利用图185所示的数据连续性检测单元的检测数据连续性的处理的流程图；图187是示出现实世界估计单元102的结构的方框图；图188示出了用于检测现实世界1的信号的细线的宽度的处理；图189示出了用于检测现实世界1的信号的细线的宽度的处理；图190示出了用于估计现实世界1的信号的细线信号的水平的处理；图191是示出用于估计现实世界的处理的流程图；图192是示出现实世界估计单元102的另一结构的方框图；图193是示出边界检测单元2121的结构的方框图；图194示出了计算分配比值的处理；图195示出了计算分配比值的处理；图196示出了计算分配比值的处理；图197示出了用于计算表示单调增减区域的边界的回归线的处理；图198示出了用于计算表示单调增减区域的边界的回归线的处理；图199是示出用于估计现实世界的处理的流程图；图200是示出用于边界检测的处理的流程图；图201是示出现实世界估计单元的结构的方框图，其估计空间方向的导数值作为现实世界估计信息；图202是示出利用图201所示的现实世界估计单元的现实世界估计处理的流程图；图203示出了参考像素；图204示出了用于获得空间方向中的导数值的位置；图205示出了空间方向中的导数值与平移量之间的关系；
图206是示出现实世界估计单元的结构的方框图，所述单元估计空间方向中的梯度作为现实世界估计信息；图207是示出利用图206所示的现实世界估计单元的现实世界估计处理的流程图；图208示出了用于获得空间方向中的梯度的处理；图209示出了用于获得空间方向中的梯度的处理；图210是示出现实世界估计单元的结构的方框图，所述单元估计帧方向中的导数值作为现实世界估计信息；图211是示出利用图210所示的现实世界估计单元的现实世界估计处理的流程图；图212示出了参考像素；图213示出了用于获得帧方向中的导数值的位置；图214示出了帧方向中的导数值与平移量之间的关系；图215是示出现实世界估计单元的结构的方框图，所述单元估计帧方向中的梯度作为现实世界估计信息；图216是示出利用图215所示的现实世界估计单元的现实世界估计处理的流程图；图217示出了用于获得帧方向中的梯度的处理；图218示出了用于获得帧方向中的梯度的处理；图219示出了函数模拟的特征，其为图3所示的现实世界估计单元的实施例的实例；图220示出了在传感器为CCD的情况下的积分效应；图221示出了图220所示的传感器的积分效应的具体实例；图222示出了图220所示的传感器的积分效应的具体实例；图223示出了图221所示的包括细线的现实世界区域；图224相比于图219所示的实例，示出了图3所示的现实世界估计单元的实施例的实例的特征；图225示出了图221所示的包括细线的数据区域；图226示出了其中在曲线图上画出图225所示的包括细线的数据区域中包含的每个像素值的图；图227示出了其中在曲线图上画出用于模拟图226所示的包括细线的数据区域中包含的像素值的模拟函数的图；图228示出了图221所示的包括细线的现实世界区域具有的空间方向中的连续性；图229示出了其中在曲线图上画出图225所示的包括细线的数据区域包含的每个像素值的图；图230示出了其中将图229所示的每个输入像素值平移预定平移量的状态；图231示出了考虑空间方向连续性，在曲线图上画出模拟图226所示的包括细线的数据区域中包含的像素值的模拟函数的图；图232示出了空间混合区域；图233示出了模拟空间混合区域中的现实世界信号的模拟函数；图234示出了考虑传感器积分效应和空间方向连续性，在曲线图上画出模拟图226所示的包括细线的数据区域中包含的像素值的模拟函数的图；图235是示出现实世界估计单元的结构实例的方框图，所述单元利用具有图219所示特征的函数模拟技术的基本多项式模拟；图236是示出具有图235所示结构的现实世界估计单元所执行的现实世界估计处理的流程图；图237示出了分块范围；图238示出了具有空间方向连续性的现实世界信号；图239示出了在传感器为CCD的情况下的积分效应；图240示出了在截面方向上的距离；图241是示出现实世界估计单元的结构实例的方框图，所述单元利用具有图219所示特征的模拟函数技术的二次多项式模拟；图242是示出具有图241所示的结构的现实世界估计单元所执行的现实世界估计处理的流程图；图243示出了分块范围；
图244示出了在时间空间方向上的连续性方向；图245示出了在传感器为CCD的情况下的积分效应；图246示出了具有空间方向连续性的现实世界信号；图247示出了具有空间时间方向上的连续性的现实世界信号；图248是示出现实世界估计单元的结构实例的方框图，所述单元利用具有图219所示的特征的函数模拟技术的3次多项式模拟；图249是示出具有图248所示结构的现实世界估计单元所执行的现实世界估计处理的流程图；图250示出了将被输入图3所示的现实世界估计单元的输入图像的实例；图251示出了在图250所示的关注像素中心上的现实世界光信号水平与在截面方向距离x’上的现实世界光信号的水平之差；图252示出了截面方向距离x’；图253示出了截面方向距离x’；图254示出了块中每个像素的截面方向距离x’；图255示出了不考虑正规方程中的权重的处理结果；图256示出了考虑正规方程中的权重的处理结果；图257示出了不考虑正规方程中的权重的处理结果；图258示出了考虑正规方程中的权重的处理结果；图259示出了再积分的特征，其为图3所示的图像产生单元的实施例的实例；图260示出了输入像素和用于模拟对应于输入像素的现实世界信号的模拟函数的实例；图261示出了从图260所示的模拟函数在图260所示的一个输入像素中产生4个高分辨率像素的实例；图262是示出图像产生单元的结构实例的方框图，其利用具有图259所示特征的再积分技术的一维再积分技术；图263是示出具有图262所示结构的图像产生单元所执行的图像产生处理的流程图；
图264示出了输入图像的原始图像的实例；图265示出了对应于图264所示的图像的图像数据的实例；图266示出了输入图像的实例；图267示出了对应于图266所示的图像的图像数据的实例；图268示出了通过对输入图像进行常规类型分类适应处理获得的图像；图269示出了对应于图268所示的图像的图像数据的实例；图270示出了通过对输入图像进行根据本发明的一维再积分技术而获得的图像实例；图271示出了对应于图270所示的图像的图像数据的实例；图272示出了具有空间方向的连续性的现实世界信号；图273是示出图像产生单元的结构实例的方框图，所述单元利用具有图259所示的特征的再积分技术的二维再积分技术；图274示出了截面方向上的距离；图275是示出具有图273所示结构的图像产生单元所执行的图像产生处理的流程图；图276是输入像素的实例；图277是利用二维再积分技术在图276所示的一个输入像素上产生4个高分辨率像素的实例；图278示出了空间时间方向中的连续性方向；图279是示出图像产生单元的结构实例的方框图，所述单元利用具有图259所示特征的再积分技术的三维再积分技术；图280是示出具有图279所示结构的图像产生单元所执行的图像产生处理的流程图；图281是示出应用本发明的图像产生单元的另一结构的方框图；图282是示出利用图281所示的图像产生单元的图像产生处理的流程图；图283示出了从输入像素产生4倍密度像素的处理；图284示出了表示像素值的模拟函数与平移量之间的关系；
图285是示出采用本发明的图像产生单元的另一结构的方框图；图286是示出利用图285所示的图像产生单元的图像产生处理的流程图；图287示出了从输入像素产生4倍密度像素的处理；图288示出了表示像素值的模拟函数与平移量之间的关系；图289是示出图像产生单元的结构实例的方框图，所述单元在类型分类适应处理校正技术中利用一维再积分技术，其为图3所示的图像产生单元的实施例的实例；图290是示出图289所示的图像产生单元的类型分类适应处理单元的结构实例的方框图；图291是示出图289所示的类型分类适应处理单元、和用于确定类型分类适应处理校正单元通过学习使用的系数的学习装置的结构实例的方框图；图292是示出用于图291所示的类型分类适应处理的学习单元的详细结构实例的方框图；图293示出了图290所示的类型分类适应处理单元的处理结果的实例；图294示出了图293所示的预测图像与HD图像之间的差别；图295示出了图293中的HD图像的特定像素值、SD图像的特定像素值、对应于图294所示的区域中包含的X方向上的6个连续HD像素中自左4个HD像素的实际波形(现实世界信号)。
图296示出了图293中的预测图像与HD图像之间的差值图像；图297示出了图293中的HD图像的特定像素值、SD图像的特定像素值、对应于图296所示的区域中包含的X方向上的6个连续HD像素中自左4个HD像素的实际波形(现实世界信号)。
图298示出了基于图295到图297所示的内容获得的结论；图299是示出图289所示的图像产生单元的类型分类适应处理校正单元的结构实例的方框图；图300是示出图291所示的类型分类适应处理校正单元的学习单元的详细结构实例的方框图；图301示出了像素内梯度；图302示出了图293所示的SD图像、以及以SD图像的每个像素的像素内梯度作为其像素值的特征图像；图303示出了像素内梯度计算方法；图304示出了像素内梯度计算方法；图305是示出具有289所示结构的图像产生单元所执行的图像产生处理的流程图；图306是详细示出图305所示的图像产生处理中的输入图像类型分类适应处理的流程图；图307是详细示出图305所示的图像产生处理中的类型分类适应处理的校正处理的流程图；图308示出了类型分块阵列的实例；图309示出了类型分类实例；图310示出了预测分块阵列实例；图311是示出图291所示的学习装置的学习处理的流程图；图312是示出图311所示的学习处理中的类型分类适应处理的具体学习处理的流程图；图313是示出图311所示的学习处理中的类型分类适应处理的具体学习处理的流程图；图314示出了图293所示的预测图像，以及其中将校正图像加到预测图像上的图像(通过如图289所示的图像产生单元产生的图像)；图315是示出利用混合技术的信号处理装置的第一结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；图316是示出图315所示的信号处理装置的用于执行类型分类适应处理的图像产生单元的结构实例的方框图；图317是示出相对于图316所示的图像产生单元的学习装置的结构实例的方框图；图318是示出由具有图315所示的结构的信号处理装置执行的信号处理的流程图；图319是示出图318所示的信号处理的类型分类适应处理的具体处理执行的流程图；图320是示出图317所示的学习装置的学习处理的流程图；图321是示出利用混合技术的信号处理装置的第二结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；图322是示出具有图319所示的结构的信号处理装置所执行的信号处理的流程图；图323是示出利用混合技术的信号处理装置的第三结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；图324是示出具有图321所示的结构的信号处理装置所执行的信号处理的流程图；图325是示出利用混合技术的信号处理装置的第四结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；图326是示出具有图323所示的结构的信号处理装置所执行的信号处理的流程图；图327是示出利用混合技术的信号处理装置的第五结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；图328是示出具有图325所示的结构的信号处理装置所执行的信号处理的流程图；图329是示出数据连续性检测单元的另一实施例的结构的方框图；图330是示出利用图329所示的数据连续性检测单元的数据连续性检测处理的流程图。
图331示出了光学块的结构；图332示出了光学块的结构；图333示出了OLPF的结构；图334示出了OLPF的函数；图335示出了OLPF的函数；
图336是示出根据本发明的信号处理装置的另一结构的方框图；图337是示出图336所示的OLPF除去单元的结构的方框图；图338示出了类型分块的实例；图339示出了利用图336所示的信号处理装置的信号处理的流程图；图340是示出OLPF除去处理的流程图，其为图399所示的流程图中步骤S5101的处理；图341示出了用于学习图337所示的OLPF除去单元的系数的学习装置；图342示出了学习方法；图343示出了老师图像和学生图像；图344是示出图342所示的学习装置的老师图像产生单元和学生图像产生单元的结构的方框图；图345示出了用于产生学生图像和老师图像的方法；图346示出了OLPF模拟方法；图347示出了老师图像的实例；图348示出了学生图像的实例；图349是示出学习处理的流程图；图350示出了经过OLPF除去处理的图像；图351示出了经过OLPF除去处理的图像与没有经过OLPF除去处理的图像之间的比较；图352是示出现实世界估计单元的另一结构实例的方框图；图353示出了OLPF的影响；图354示出了OLPF的影响；图355是示出利用图352所示的现实世界估计单元的现实世界估计处理的流程图；图356示出了将选取的分块实例；图357比较了从由图352所示的现实世界估计单元模拟的现实世界模拟函数产生的图像与利用其它技术产生的图像；
图358比较了从由图352所示的现实世界估计单元模拟的现实世界模拟函数产生的图像与利用其它技术产生的图像；图359是示出信号处理装置的其它结构的方框图；图360是示出利用图359所示的信号处理装置的信号处理的流程图；图361是示出用于学习图359所示的信号处理装置的系数的学习装置的结构的方框图；图362是示出图361所示的老师图像产生单元和学生图像产生单元的结构的方框图；图363是示出利用图361所示的学习装置的学习处理的流程图；图364示出了各种图像处理之间的关系；图365示出了利用由连续函数构成的模拟函数的现实世界估计；图366示出了由分离函数构成的模拟函数；图367示出了由连续函数和分离函数构成的模拟函数；图368示出了利用由分离函数构成的模拟函数获得像素值的方法；图369是示出了现实世界估计单元的另一结构的方框图；图370是示出另一图369所示的现实世界估计单元的现实世界估计处理的流程图；图371示出了将选取的分块实例；图372示出了由X-t平面上的分离函数构成的模拟函数；图373示出了将选取的分块的另一实例；图374示出了由二维分离函数构成的模拟函数；图375示出了由二维分离函数构成的模拟函数；图376示出了关注区域的每个像素的体积比；图377是示出现实世界估计单元的另一结构的方框图；图378是示出利用图377所示的现实世界估计单元的现实世界估计处理的流程图；图379示出了将选取的分块的另一实例；
图380示出了由二维分离函数构成的模拟函数；图381示出了由二维分离函数构成的模拟函数；图382示出了由每个区域的多项式连续函数构成的模拟函数；图383示出了由每个区域的多项式分离函数构成的模拟函数；图384是示出图像产生单元的另一结构的方框图；图385是示出利用图384所示的图像产生单元的图像产生处理的流程图；图386示出了用于产生4倍密度像素的方法；图387示出了常规技术和采用由分离函数构成的模拟函数的情况之间的关系；图388是示出图像产生单元的另一结构的方框图；图389是示出利用图388所示的图像产生单元的图像产生处理的流程图；图390示出了关注像素；图391示出了用于计算关注像素的像素值的方法；图392示出了利用由空间方向中的分离函数构成的模拟函数的处理结果和其它处理结果；图393示出了利用由分离函数构成的模拟函数的处理结果和其它处理结果；图394示出了由传感器的成像；图395示出了像素位移；图396示出了检测装置的操作；图397示出了通过成像对应于移动前景的对象和对应于静止背景的对象而获得的图像；图398示出了背景区域、前景区域、混合区域、覆盖背景区域、以及未覆盖背景区域；图399是在时间方向上延伸在其上成像有对应于静止前景的对象和对应于静止背景的对象的图像上相邻排列成一行的像素的像素值的模型图；
图400是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图401是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图402是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图403示出了其中选取属于前景区域、背景区域、以及混合区域的像素的实例；图404示出了其中在时间方向上延伸像素及其像素值的模型；图405是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图406是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图407是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图408是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图409是其中在时间方向上延伸像素值、并分割对应于快门时间的时间的模型图；图410示出了利用由在时间空间方向上的分离函数构成的模拟函数的处理结果和其它处理结果；图411示出了包括水平方向上的移动斑点的图像；图412示出了利用由在时间空间方向上的分离函数构成的模拟函数对图411所示的图像的处理结果和其它处理结果；图413示出了包括在倾斜方向上的移动斑点的图像；图414示出了利用由在时间空间方向上的分离函数构成的模拟函数对图413所示的图像的处理结果和其它处理结果；图415示出了利用由在时间空间方向上的分离函数构成的模拟函数对包括在倾斜方向上的移动斑点的图像的处理结果。
具体实施例方式
图1示出了本发明原理。如图所示，由传感器2获取在现实世界1中具有例如空间、时间、质量等的事件(现象)，并将其形成数据。现实世界1中的事件指光(图像)、声音、气压、温度、质量、湿度、亮度/暗度或动作等。现实世界1中的事件被分布在空间-时间方向上。例如，现实世界1的图像是现实世界1的光强在空间-时间方向上的分布。
注意传感器2，对于现实世界1中的具有空间、时间和质量的维度的事件，由传感器2将在现实世界1中可以由传感器2获取的事件转换成数据3。可以说由传感器2获取表示现实世界1中的事件的信息。
也就是说，传感器2将表示现实世界1中的事件的信息转换成数据3。可以说成，由传感器2获取作为表示具有例如空间、时间和质量的维度的现实世界1中的事件(现象)的信息的信号，并将其形成为数据。
下面，将现实世界1中的例如光(图像)、声音、气压、温度、质量、湿度、亮度/暗度或气味等的事件的分布称为现实世界1的信号，其作为表示事件的信息。另外，作为表示现实世界1的事件的信息的信号还可以简单地称为现实世界1的信号。在本说明书中，将信号理解为包括现象和事件，并且还包括这样的事物，其没有传输方面的目的。
从传感器2输出的数据3(检测到的信号)是通过将表示现实世界1的事件的信息投影到维度比现实世界1低的空间-时间上而获得的信息。例如，作为移动图像的图像数据的数据3，是通过将现实世界1的三维空间方向和时间方向上的图像投影到二维空间方向和时间方向的时空上而获得的信息。另外，在数据3是例如数字数据的情况中，根据样品增量完成数据3。在数据3是模拟数据的情况中，或者根据动态范围压缩数据3的信息，或者通过限幅器等删除信息的一部分。
从而，通过将示为表示具有预定维数的现实世界1中的事件的信息的信号投影到数据3上(检测的信号)，则减少了表示现实世界1中的事件的信息的一部分。也就是说，传感器2输出的数据3减少了表示现实世界1中的事件的信息的一部分。
然而，即使由于投影减少了表示现实世界1中的事件的信息的一部分，数据3包括用于估计作为表示现实世界1中的事件(现象)的信息的信号的有用信息。
对于本发明，将在数据3中包括的具有连续性的信息用作作为现实世界1的信息的用于估计信号的有用信息。连续性是新定义的概念。
关注现实世界1，现实世界1中的事件包括在预定维度方向上不变的特征。例如，现实世界1中的对象(有形对象)或者具有在空间方向或时间方向上连续的形状、图形或颜色，或者具有重复模式的形状、图形或颜色。
因此，表示现实世界1中的事件的信息包括在预定维数方向上不变的特征。
对于更具体的实例，例如线、细绳或粗绳的线形对象具有在长度方向上即空间方向上的不变的特征，也就是，在长度方向中的任意位置上的横截面形状是相同的。在长度方向上的任意位置上的横截面相同的在空间方向中的不变的特征，来自于线形对象为长形的特征。
因此，线性对象的图像具有在长度方向即空间方向上不变的特征，即在长度方向中的任意位置上的横截面形状是相同的。
另外，在空间方向上展开的作为有形对象的单个对象，可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。
同样，在空间方向上展开的作为有形对象的单个对象的图像可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。
这样，现实世界1(真实世界)中事件具有在预定维度方向上不变的特征，因此现实世界1的信号具有在预定维度方向上不变的特征。
在本说明书中，该在预定维度方向上不变的特征被称为连续性。现实世界(真实世界)1的信号的连续性表示在预定维度方向上不变的特征，所述维度方向被表示现实世界(真实世界)1的事件的信号所具有。
在现实世界1(真实世界)中存在无数这样的连续性。
下面，关注数据3，通过作为表示由传感器2投影的具有预定维的现实世界1的事件的信息的信号而获得数据3，其包括对应于在真是世界中的信号的连续性的连续性。可以说，数据3包括其中现实世界信号的连续性被投影的连续性。
然而，如上所述，在从传感器2输出的数据3中，已经丢失了现实世界1的部分信息，因此丢失了在现实世界1(真实世界)的信号中包含的部分连续性。
换句话说，数据3包括现实世界1(真实世界)的信号连续性中的部分连续性作为数据连续性。数据连续性表示数据3具有的在预定维度方向上不变的特征。
对于本发明，将数据3具有的数据连续性用作用于估计作为表示现实世界1的事件的信息的信号的重要数据。
例如，对于本发明，利用数据连续性，通过对数据3的信号处理，产生已经丢失的表示现实世界1中的事件的信息。
现在，在本发明中，利用长度(空间)、时间和质量在空间方向上或时间方向上的连续性，所述长度、时间和质量是用为表示现实世界1中的时间的信息的信号的维度。
再参考图1，传感器2的形式包括例如数字静物照相机、视频摄影机等，其拍摄现实世界1的图像，并将作为获取数据3的图像数据输出到信号处理装置4。传感器2还可以是温度记录装置、利用光致弹性的压力传感器等。
信号处理装置4由例如个人计算机等构成。
信号处理装置4被例如如图2所示构成。CPU(中央处理单元)21执行存储在ROM(只读存储器)22或存储器单元28中的各种处理顺序程序(processing following program)。RAM(随机存取存储器)23在适当的时候存储将要由CPU 21执行的程序、数据等。CUP21、ROM22和RAM23通过总线24互相连接。
在CPU 21上还通过总线24连接输入/输出接口25。输入/输出接口25连接由键盘、鼠标、麦克风等构成的输入装置26、以及由显示器、扬声器等构成的输出单元27。CPU21对应于从输入单元26输入的命令执行各种处理。然后，CPU21输出获得的图像和音频等作为处理输出单元27的结果。
连接输入/输出接口25的存储单元28由例如硬盘构成，并存储由CPU21执行的程序和各种数据。通信单元29通过互联网和其它网络与外部装置通信。在该实例的情况下，通信单元29用作获取单元，用于采集从传感器2输出的数据3。
另外，可以进行这样的设置，其中通过通信单元29获得程序，并将其存储在存储单元28中。
连接输入/输出接口25的驱动器30驱动磁盘51、光盘52、磁光盘53、或安装在其中的半导体存储器54等，并获得记录在其中的程序和数据。当需要时，将获得的程序和数据传输到存储单元28并存储。
图3是示出信号处理装置4的方框图。
注意，信号处理装置4的功能是由硬件实现或还由软件实现，是不想关的。也就是说，在本说明书中的方框图可以用为硬件方框图或用为软件功能方框图。
在如图3所示的信号处理装置4中，输入作为数据3的实例的图像数据，并且从输入图像数据(输入图像)检测数据的连续性。然后，从检测到的数据连续性估计由传感器2获取的现实世界1的信号。然后，根据现实世界1的估计信号，生成图像，并输出生成的图像(输出图像)。也就是说，图3示出了作为图像处理装置的信号处理装置4的结构。
将输入信号处理装置4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元101和现实世界估计单元102。
数据连续性检测单元101检测来自输入图像的数据的连续性，并将表示检测的连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。数据连续性信息包括例如具有数据连续性的像素区域的位置、具有数据连续性的像素的区域的方向(时间方向和空间方向的角度或梯度)、或具有数据连续性的像素的区域的长度、或输入图像中的类似信息。下面将描述数据连续性检测单元101的详细结构。
现实世界估计单元102根据输入图像和从数据连续性检测单元101提供的数据连续性信息，估计现实世界1的信号。也就是说，现实世界估计单元102在获取输入图像时估计作为现实世界投射到传感器2上的信号的图像。现实世界估计单元102将表示对现实世界1的信号的估计的结果的现实世界估计信息提供给图像生成单元103。下面将描述现实世界估计单元102的详细结构。
图像生成单元103根据从现实世界估计单元102提供的、表示现实世界1的估计信号的现实世界估计信息生成进一步近似现实世界1的信号的信号，并输出生成的信号。或者，图像生成单元103根据从数据连续性检测单元101提供的数据连续性信息、和从现实世界估计单元102提供的表示现实世界1的估计信号的现实世界估计信息生成进一步近似现实世界1的信号的信号，并输出生成的信号。
也就是说，图像生成单元103根据现实世界估计信息生成进一步近似现实世界1的图像的图像，并输出生成的图像作为输出图像。或者，图像生成单元103根据数据连续性信息和现实世界估计信息生成进一步近似现实世界1的图像的图像，并输出生成的图像作为输出图像。
例如，图像生成单元103通过根据现实世界估计信息集成在空间方向或时间方向的希望范围内的现实世界1的估计图像，生成比输入图像在空间方向或时间放上上具有更高的分辨率的图像，并输出生成的图像作为输出图像。例如，图像生成单元103通过外推/内插生成图像，并输出生成的图像作为输出图像。
下面将描述图像生成单元103的详细结构。
接着将参考图4至7描述本发明的原理。
图4描述了利用常规信号处理装置121进行处理的原理图。常规信号处理装置121采用数据3作为处理参考，并以数据3作为处理对象执行例如增加分辨率等的处理。在常规信号处理装置121中，从未考虑过现实世界1，并且数据3是最终的参考，从而不能获得超过在数据3中包含的信息的信息作为输出。
另外，在常规信号处理装置121中，没有考虑由于传感器2的任何数据3中的畸变(作为现实世界1的信息的信号、以及数据3之间的差异)，从而常规信号处理装置121输出仍包含畸变的信号。另外，根据由信号处理装置121进行的处理，还进一步放大数据3中存在的由于传感器2的畸变，并输出包含放大的畸变的数据。
从而，在常规的信号处理中，从未考虑过从其获得数据3的现实世界1(的信号)。换句话说，在常规的信号处理中，认为现实世界1被包括在数据3包含的信息帧中，从而由数据3中包含的信息和畸变决定了信号处理的极限。本申请人已经单独地提出了考虑现实世界1的信号处理，但是这没有考虑下文描述的连续性。
相比于此，在根据本发明的信号处理中，明确地考虑现实世界1(的信号)而进行处理。
图5示出了在根据本发明的信号处理装置4中的处理的原理图。
其中与常规设置相同的是，由传感器2获得作为表示现实世界1中的事件的信息的信号，并且传感器2输出数据3，在数据3中被投影有作为现实世界1的信息的信号。
然而，在本发明中，由传感器2获得的作为表示现实世界1的事件的信息的信号被明确地考虑。也就是说，在已知数据3包含由于传感器2的畸变(作为现实世界1的信息的信号、以及数据之间的差异)的事实下进行信号处理。
从而，在根据本发明的信号处理中，处理结果不会由于包含在数据3中的信息和畸变而受到约束，并且，例如，对于现实世界1中的事件，可以获得更精确、并且比常规方法具有更高精度的处理结果。也就是说，在本发明中，对于输入到传感器2中的、作为表示现实世界1的事件的信息的信号，可以获得更精确、并且具有更高精度的处理结果。
图6和图7更详细地描述了本发明的原理。
如图6所示，例如为图像的现实世界的信号，是通过由透镜、光学LPF(低通滤镜)等构成的光学系统141，在作为传感器2的实例的CCD(电荷耦合装置)的感光面上的图像。作为传感器2的实例的CCD具有积分特性，从而在从CCD输出的数据3中生成与现实世界1的图像差异。下面将详细描述传感器2的积分特性。
在根据本发明的信号处理中，明确地考虑由CCD获得的现实世界1的图像和由CCD的数据取得并输出的数据3之间的关系。也就是说，明确地考虑数据3与作为由传感器2获得的现实世界的信息的信号之间的关系。
更具体的是，如图7所示，信号处理装置4使用模型161模拟(描述)现实世界。模型161由例如N个变量表示。更精确的是，模型161模拟(描述)现实世界1的信号。
为了预测模型161，信号处理装置4从数据3提取M页数据162。当从数据3提取M块数据162时，信号处理装置4使用包含在数据3中的数据的连续性。换句话说，信号处理装置4根据包含在数据3中的数据的连续性，提取用于预测模型161的数据162。随后，由数据的连续性约束模型161。
也就是说，模型161模拟(信息(信号)表示)具有连续性(在预定维度方向上的不变特征)的现实世界中的事件，所述连续性产生了数据3中的数据连续性。
现在，在数据162的数M为N或更大的情况中，所述数是模型变量的数目，可以从M块数据162预测由N个变量表示的模型161。
这样，信号处理装置4通过预测模拟(描述)现实世界1(的信号)的模型161，可以考虑作为现实世界1的信息的信号。
接着，将描述传感器2的积分效应。
作为用于拍摄图像的传感器2的图像传感器，例如CCD或CMOS(互补金属氧化物半导体)在成像现实世界时将作为现实世界的信息的信号投影到二维数据上。图像传感器的像素每个都具有预定面积称为光敏面(光敏区域)。对每个像素积分在空间方向和时间方向上的到达具有预定面积的光敏面上的入射光，并将所述入射光转换成每个像素的单个像素值。
下面将参考图8至图11描述对图像的空间-时间积分。
图像传感器对现实世界中的主体(客体)成像，并将获得的图像数据输出为多个单帧累加成像的结果。也就是说，图像传感器获取现实世界1的信号，所述信号为从现实世界1的主体反射的光，并输出数据3。
例如，图像传感器输出30帧/秒的图像数据。在这种情况下，可以使图像传感器的曝光时间为1/30秒。曝光时间是图像传感器开始将入射光转换成电荷到结束将入射光转换成电荷的时间。下文中，还将曝光时间称为快门时间。
图8描述了在图像传感器上的像素阵列的实例。在图8中，A至I表示各个像素。像素被设置在对应于由图像数据显示的图像的平面中。在图像传感器上对应于单个像素设置单个检测元件。当图像传感器拍摄现实世界1的图像时，一个检测元件对应于构成图像数据的一个像素输出一个像素值。例如，在检测元件的空间方向X(X坐标)中的位置对应于由图像数据显示的图像上的水平位置，以及在检测元件的空间方向Y(Y坐标)中的位置对应于由图像数据显示的图像上的垂直位置。
现实世界1中的光强分布在三维空间方向和时间方向中展开，但是图像传感器在二维空间方向和时间方向中获取现实世界1的光，并生成显示在二维空间方向和时间方向中的光强分布的数据3。
如图9所示，例如是CCD的检测装置，在对应于快门时间的期间将投射到光敏面(光敏区域)(检测区域)上的光转换成电荷，并积累转换的电荷。所述光是现实世界1的信息(信号)，其强度由三维空间位置和时刻决定。可以由函数F(x，y，z，t)表示现实世界1的光强分布，其中在三维空间中的位置x、y、z，以及时刻t为变量。
在检测装置CCD中积累的电荷量近似正比于投射到具有二维空间范围的整个光敏面上的光强分布、以及光被投射到其上的时间量。检测装置将从投射到整个光敏面上的光转换的电荷加到在对应于快门时间的期间已经积累的电荷上。也就是说，检测装置积分投射到具有二维空间范围的整个光敏面上的光，并累加对应于在对应快门时间期间积分的光的变化量。还可以认为检测装置具有对空间(光敏面)和时间(快门时间)的积分效应。
通过未示出的电路将在检测装置中积累的电荷转换成电压值，再将电压值转换成例如数字数据的像素值，并输出为数据3。因此，从图像传感器输出的各个像素值具有投影到一维空间的值，所述值是积分现实世界1的信息(信号)的部分的结果，所述现实世界具有关于快门时间的时间方向、和检测装置的光敏面的空间方向的时空范围。
也就是说，一个像素的象素值被表示为积分F(x，y，t)。F(x，y，t)是表示再检测装置的光敏面上的光强分布的函数。例如，像素值P由公式(1)表示。
P=∫t1t2∫y1y2∫x1x2F(x,y,t)dxdydt]]>公式(1)在公式(1)中，x1表示在检测装置的光敏面的左侧范围上的空间坐标(X坐标)。x2表示在检测装置的光敏面的右侧范围上的空间坐标(X坐标)。在公式(1)中，y1表示在检测装置的光敏面的上侧范围上的空间坐标(Y坐标)。y2表示在检测装置的光敏面的下侧范围上的空间坐标(Y坐标)。另外，t1表示开始将入射光转换成电荷的时刻。t2表示结束将入射光转换成电荷的时刻。
注意实际上，从图像传感器输出的图像数据获得的像素值对于整个帧被校正。
图像数据的每个像素值是投射到图像传感器的每个检测元件的光敏面上的光的积分值，并且，对于被投射到图像传感器上的光，比检测元件的光面面更微小的现实世界1的光的波形被隐藏在成为积分值的像素值中。
下面，在本说明书中，将用预定维表示的作为参考的信号波形简单称为波形。
从而，在空间方向和时间方向中将现实世界1的图像积分为像素的累加，从而在图像数据中减少了现实世界1的图像的连续性的一部分，从而在图像数据中只剩下现实世界1的图像连续性的另一部分。或者，可能有这样的情况，其中在图像数据中包括从现实世界1的图像的连续性改变的连续性。
对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在空间方向上的积分效应。
图10描述了到达对应于像素D至像素F的检测元件的入射光与像素值之间的关系。图10中的F(x)是表示现实世界1的光强分布的函数的实例，其中在空间(在检测装置上)X空间方向中的坐标x为变量。换句话说，F(x)是表示现实世界1的光强分布的函数的实例，其中空间坐标Y和时间方向不变。在图10中，L表示检测装置的光敏面的空间方向X中对应于像素D至像素F的长度。
将单个像素的像素值表示为积分F(x)。例如，像素E的像素值P由公式(2)表示。
P=∫x1x2F(x)dx]]>公式(2)在公式(2)中，x1表示对应于像素E的在检测装置的光敏面的左侧范围上的空间方向X中的空间坐标。x2表示对应于像素E的在检测装置的光敏面的右侧范围上的空间方向X中的空间坐标。
同样，对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在时间方向上的积分效应。
图11描述了经过的时间与到达对应于单个像素的检测元件的入射光之间的关系，并且图11中的像素值F(t)是表示现实世界1的光强分布的函数，其中时刻t为变量。换句话说，F(t)是表示现实世界1的光强分布的实例，其中空间方向Y和空间方向X不变。Ts表示快门时间。
帧#n-1是在时间上比帧#n靠前的帧，而帧#n+1是在时间上在帧#n后的帧。也就是说，以帧#n-1、帧#n和帧#n+1的顺序显示#n-1、帧#n和帧#n+1。
注意，在图11所示的实例中，快门时间ts和帧间隔是相同的。
将单个像素的像素值表示为积分F(x)。例如，将例如帧n的像素的像素值由公式(3)表示。
P=∫t1t2F(t)dx]]>公式(3)在公式(3)中，t1表示开始将入射光转换成电荷的时刻。t2表示结束将入射光转换成电荷的时刻。
下文中，将由传感器2在空间方向的积分效应简单称为空间积分效应，并将传感器2在时间方向的积分效应简单称为时间积分效应。另外，将空间积分效应或时间积分效应简单称为积分效应。
下面，将描述由具有积分效应的图像传感器获取的数据3中包括的数据连续性的实例。
图12示出了现实世界1的线形对象(例如细线)，即光强分布的实例。在图12中，附图上侧的位置表示光强(水平)，图中上左侧的位置表示在空间方向X中的位置，所述空间方向X是图像的空间方向的一个方向，而图中右侧的位置表示在空间方向Y中的位置，所述空间方向Y是图像的空间方向的另一个方向。
现实世界1的线形对象的图像包括预定连续性。也就是说，图12中所示的图像具有长度方向中的任意位置上的横截面的形状连续性(当在垂直于长度方向的方向上的位置变化时的变化水平)。
图13示出了通过对应于图12的图像的实际图像拍摄获得的图像数据的像素值的实例。
图14是图13所示的图像数据的模型图。
图14所示的模型图是利用图像传感器对线形对象的图像成像而获得的图像数据的模型图，所述线形对象的直径比每个像素的光敏面的长度L短，并在偏离图像传感器的像素阵列(像素的垂直或水平阵列)的方向上延伸。当获取图14的图像数据时被投射到图像传感器中的图像是如图12所示的现实世界1的线形对象的图像。
在图14中，图中的上侧位置表示像素值，图中上右侧的位置表示在空间方向X中的位置，空间方向X是图像的空间方向中的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像的空间方向的另一个方向。图14中表示像素值的方向对应图12中的水平的方向，图14中空间方向X和空间方向Y与图12中的所示方向相同。
在利用图像传感器拍摄直径比每个像素的光敏面的长度L窄的线形对象的图像时，将线形对象在作为图像拍摄结果的图像数据中表示为多个弧形(半圆)，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述弧形基本具有近似相同的形状。将一个弧形垂直地形成在一行像素上，或水平地形成在一行像素上。例如，将如图14所示的一个弧形垂直地形成在一行像素上。
从而，通过由例如图像传感器拍摄并获得图像数据，丢失了这样的连续性，其中现实世界1的线形对象图像的连续性为，在长度方向的任何位置上在空间方向Y上的横截面相同。也可以说，现实世界1的线形对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的弧形以预定间隔排列。
图15示出了对象在现实世界1中的图像，即光强分布的实例，所述对象具有直边缘并与背景有单色差。在图15中，图中上侧位置表示光强(水平)，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。
具有直边缘并且与背景有单色差的现实世界1的对象的图像包括预定连续性。也就是说，图15所示的图像的连续性为，在长度方向上的任意位置上的横截面(对于在垂直于长度方向的方向上的位置的变化，水平的变化)相同。
图16示出了由现实图像拍摄获得的图像数据的像素值的实例，其对应于如图15所示的图像。如图16所示，图像数据为阶形，因为图像数据由具有像素增量的像素值构成。
图17是示出如图16所示的图像数据的模型图。
图17所示的模型图是用图像传感器拍摄现实世界1的对象的图像而获得的图像数据的模型图，所述对象具有直边缘并与背景具有单色差，所述模型图以偏离图像传感器的像素的阵列的方向延伸(像素的垂直或水平阵列)。在获取如图17所示的图像数据时被投射到图像传感器中的图像是现实世界1的对象的图像，所述对象如图15所示具有直边缘并与背景有单色差。
在图17中，图中上侧位置表示像素值，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。图17中表示像素值的方向对应于图15中的水平方向，并且图17中的空间方向X和空间方向Y与图15中相同。
在用图像传感器拍摄现实世界1的对象的图像的情况中，所述对象具有直边缘并与背景有单色差，在作为图像拍摄的结果获得的图像数据中将直边缘表示为多个爪形，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述爪形具有近似相同的形状。将一个像素垂直地在一行像素上形成，或水平地在一行像素上形成。例如，将如图17所示的一个爪形垂直地在一行像素上形成。
从而，具有直边缘并与背景有单色差的现实世界1的对象的图像的连续性在用图像传感器成像而获得的图像数据中丢失，所示连续性例如为在边缘的长度方向中的任意位置上的横截面形状相同。也可以说，具有直边缘并与背景有单色差的现实世界1的对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的爪形以预定间隔排列。
数据连续性检测单元101检测例如作为输入图像的数据3的该数据连续性。例如，数据检测单元101通过检测在预定维度方向上具有不变特征的区域而检测数据连续性。例如，数据连续性检测单元101检测这样的区域，其中相同的弧形以不变的间隔排列，如图14所示。另外，数据连续性检测单元101检测这样的区域，其中相同的爪形以不变的间隔排列，如图17所示。
另外，数据连续性检测单元101通过检测空间方向中的角度(梯度)而检测数据的连续性，所述角度表示相同形状的阵列。
另外，例如，数据连续性检测单元101通过检测空间方向和时间方向中的角度(移动)而检测数据的连续性，所述角度表示相同形状在空间方向和时间方向中的阵列。
另外，例如，数据连续性检测单元101通过检测在预定维度方向上具有不变特征的区域的长度而检测数据的连续性。
下文中，将数据3中传感器2投影现实世界1的对象的图像的部分还称为二值边缘，所述对象具有直边缘并与背景有单色差。
接着，将更详细地描述本发明原理。
如图18所示，在常规信号处理中，从数据3产生例如希望的高分辨率数据181。
相反，在根据本发明的信号处理中，从数据3估计现实世界1，并根据估计的结果产生高分辨率数据181。也就是说，如图19所示，从数据3估计现实世界1，并根据考虑数据3估计的现实世界1产生高分辨率数据181。
为了从现实世界1产生高分辨率数据181，需要考虑现实世界1和数据3之间的关系。例如，考虑为CCD的传感器2如何将现实世界1投影到数据3上。
传感器2CCD如上所述具有积分特性。也就是说，可以通过用传感器2的检测装置(如CCD)的检测区域(如光敏面)积分现实世界1的信号而计算数据3的一个单元(如像素值)。
将此应用到高分辨率数据181，可以通过施加处理而获得高分辨率数据181，其中虚拟高分辨率传感器将从现实世界1到数据3的信号投影到估计的现实世界1上。
换句话说，如图20所示，如果可以从数据3估计现实世界1的信号，通过对虚拟高分辨率传感器的检测元件的每个检测区域积分现实世界1的信号(在时空方向)，可以获得包含在高分辨率数据191中的一个值。
例如，在这样的情况中，其中现实世界1的信号中的变化比传感器2的检测元件的检测区域的尺寸小，则数据3不能表达现实世界1中的信号的小变化。因此，通过用比现实世界1的信号中的变化小的每个区域(在时间-空间方向)积分从数据3估计的现实世界1的信号，可以获得表示现实世界1的信号变化的高分辨率数据181。
也就是说，用相关于虚拟高分辨率传感器的每个检测元件的每个区域积分估计的现实世界1的信号，使得可以获得高分辨率数据18。
在本发明中，图像生成单元103通过在虚拟高分辨率传感器的检测元件的时间-空间区域积分估计的现实世界1的信号，而生成高分辨率数据181。
接着，在本发明中，为了从数据3估计现实世界1，使用数据3与现实世界1之间的关系、连续性以及数据3中的空间混合。
这里，混合表示数据3中的值，其中混合现实世界1中的两个对象的信号而获得信号值。
空间混合表示由于传感器2的空间积分效应，两个对象的信号在空间方向上的混合。
现实世界1自身由无数的事件构成，因此，为了用数学表达表示现实世界1自身，例如，需要无数个变量。从数据3不可能预测现实世界1的所有事件。
同样，不可能从数据3预测现实世界1的所有信号。
因此，如图21所示，在本实施例中，对于现实世界1的信号，具有连续性并且可以由函数函数f(x，y，z，t)表达的部分得到关注，并且用由N个变量表示的模型161模拟现实世界1的信号的可以由函数f(x，y，z，t)表示并具有连续性的部分。如图22所示，从数据3中的M块数据162预测模型161。
为了可以从M块数据162预测模型161，首先，需要根据连续性用N变量表示模型161，第二，利用N个变量产生表达式，所述表达式根据传感器2的积分特性表示由N个变量表示的模型161和M块数据162之间的关系。因为模型161是根据连续性由N个变量表示，可以说，利用N个变量的表示由N个变量表示的模型161和M块数据162之间的关系的表达式，描述了现实世界1的信号的具有连续性的部分与数据3的具有数据连续性的部分之间的关系。
换句话说，具有连续性的现实世界1的信号的部分产生了数据3中的数据连续性，所述部分通过由N个变量表示的模型161模拟。
数据连续性检测单元101检测数据3中具有由现实世界1的信号中具有连续性的部分产生的数据连续性的部分、以及其中产生数据连续性的部分的特征。
例如，如图23所示，在现实世界1的对象的图像中，其中具有直边缘并与背景有单色差，在图23中由A表示的关注位置上的边缘具有梯度。图23中的箭头B表示边缘的梯度。预定边缘梯度可以被表示为与左边轴或与到参考位置的方向所成的角度。例如，可以将预定边缘梯度表示为空间方向X坐标轴与边缘之间的角度。例如，可以将预定边缘梯度表示为由空间方向X的长度和空间方向Y的长度表示的方向。
当在传感器2中获得具有直边缘并与背景有单色差的现实世界1的对象的图像并输出数据3时，在对应于现实世界1的图像中的边缘的关注位置(A)的位置上，在数据3中排列对应于所述边缘的爪形，所述关注位置在图23中由“A”表示，并且，在对应于现实世界1的图像的边缘梯度的方向上，在图23中由“B”表示的梯度的方向上，排列对应于边缘的爪形。
由N个变量表示的模型161模拟在数据3中产生数据连续性的现实世界1的信号中的部分。
在利用N个变量列出表达式时，所述表达式表示由N个变量表示的模型161与M块数据162之间的关系，使用数据3中被产生有数据连续性的部分。
在该情况下，在如图24所示的数据3中，关注被产生有数据连续性并属于混合区域的值，用积分现实世界1的信号、等于由传感器2的检测元件输出的值列出表达式。例如，可以关于被产生有数据连续性的数据3中的多个值列出多个表达式。
在图24中，A表示关注边缘的位置，A’表示对应于现实世界1的图像中的关注边缘的位置(A)的像素(位置)。
现在，混合区域表示数据3中的这样的数据区域，其中混合现实世界1的两个对象的信号并将其变为一个值。例如，这样的像素值属于混合区域，其中在数据3中的现实世界1的对象的图像中积分具有直边缘的对象的图像和背景的图像，所述对象具有直边缘并与背景有单色差。
图25示出了现实世界1中的两个对象的信号以及在列出表达式的情况下属于混合区域的值。
图25的左边示出了对应于现实世界1的两个对象的现实世界1的信号，所述现实世界具有在空间方向X和空间方向Y中的预定范围，所述信号在传感器2的单个检测元件的检测区域获取。图25的右边示出了数据3中的单个像素的像素值P，其中已经由传感器2的单个检测元件投影图25的左边示出的现实世界1的信号。也就是说，在数据3中示出了单个像素的像素值P，其中由传感器2的单个检测元件获取的对应于现实世界1的两个对象的现实世界1的信号已经被投影，所述现实世界1在空间方向X和空间方向Y上具有预定范围。
图25中的L表示现实世界1的信号水平，其在图25中被示为白色，对应于现实世界1中的一个对象。图25中的R表示现实世界1的信号水平，其在图25中被示为阴影，对应于现实世界1中的另一个对象。
这里，混合比值α是对应于被投射到传感器2的一个检测元件的检测区域中的两个对象的信号(面积)比值，所述传感器2在空间方向X和空间方向Y上具有预定范围。例如，混合比值α表示被投射到到传感器2的一个检测元件的检测区域中的水平L信号的面积与传感器2的一个检测元件的检测区域的面积的比值，所述传感器2在空间方向X和空间方向Y上具有预定范围。
在该情况下，水平L、水平R和像素值P之间的关系可以表达为公式(4)。
α×L+(1-α)×R＝P 公式(4)注意，可能存在这样的情况，其中可以取水平R作为数据3中位于关注像素右侧的像素的像素值，从而可能存在这样的情况，其中可以取水平L作为数据3中位于关注像素左侧的像素的像素值。
另外，对于混合值α和混合区域，可以以与空间方向相同的方式考虑时间方向。例如，在其中作为图像拍摄对象的现实世界1中的对象正移向传感器2的情况中，被投射到传感器2的单个检测元件的检测区域中的两个对象的信号的比值在时间方向上变化。关于其的比值在时间方向上变化、已经被投射到传感器2的单个检测元件的检测区域中的两个对象的信号通过传感器2的检测元件被投影到数据3的单个值上。
由于传感器2的时间积分效应，两个对象的信号在时间方向上的混合被称为时间混合。
数据连续性检测单元101检测数据3中这样的像素区域，其中已经被投影有例如现实世界1中的两个对象的现实世界1的信号。数据连续性检测单元101对应于例如现实世界1中的图像边缘的梯度检测数据3中的梯度。
现实世界估计单元102通过如下估计现实世界的信号，其中，基于例如具有由数据连续性检测单元101检测的预定混合比值α、和区域梯度的像素区域，列出利用N个变量的表达式，所述表达式表示由N个变量表示的模型161与M块数据162之间的关系；并求解所列出的表达式。
下面将描述对现实世界1的具体估计。
在由函数F(x，y，z，t)表示的现实世界的信号中，考虑用由在空间方向X中的位置x、在空间方向Y中的位置y以及时刻t确定的模拟函数f(x，y，t)来模拟在空间方向Z中的横截面上(传感器2的位置)由函数F(x，y，t)表示的现实世界的信号。
现在，传感器2的检测区域具有在空间方向X和空间方向Y中的范围。换句话说，模拟函数f(x，y，t)是模拟由传感器2获取的具有在空间方向和时间方向中的范围的现实世界1的信号的函数。
可以说，现实世界1的信号的投影获得数据3的值P(x，y，t)。数据3的值P(x，y，t)是例如图像传感器传感器2输出的像素值。
现在，在可以公式化通过传感器2的投影的情况中，可以将通过投影模拟函数f(x，y，t)所获得的值表示为投影函数S(x，y，t)获得投影函数S(x，y，t)具有下面的问题。
首先，通常，表示现实世界1的信号的函数F(x，y，z，t)可以是具有无限阶数的函数。
第二，即使可以将现实世界的信号描述为函数，通常不能确定借助传感器2的投影的投影函数S(x，y，t)。也就是说，传感器2的投影的动作，换句话说，传感器2的输入信号与输出信号之间的关系是未知的，所以不能确定投影函数S(x，y，t)对于第一个问题，考虑用可描述函数(即具有有限阶数的函数)fi(x，y，t)与变量wi的乘积的和表达模拟现实世界1的信号的函数f(x，y，t)另外，对于第二个问题，传感器2的公式化投影允许从对函数fi(x，y，t)的描述来描述Si(x，y，t)。
也就是说，用函数fi(x，y，t)与变量wi的乘积的和表达模拟现实世界1的信号的函数f(x，y，t)，则可以获得公式(5)。
f(x,y,t)=Σi=1Nwifi(x,y,t)]]>公式(5)例如，如公式(6)所示，通过公式化传感器2的投影，从公式(5)可以公式化如公式(7)所示的数据3与现实世界的信号之间的关系。Si(x，y，t)＝∫∫∫fi(x，y，t)dx dy dt公式(6)Pj(xj,yj,tj)=Σi=1NwiSi(xj,yj,tj)]]>公式(7)在公式(7)中，j表示数据的指数。
在M个数据组(j＝1至M)与N个变量wi(I＝1至N)共存于公式(7)中的情况下，满足公式(8)，则可以从数据3获得现实世界的模型161。
N≤M 公式(8)N是表示模拟现实世界1的模型161的变量的个数。M是包括在数据3中的数据块162的个数。
用公式(5)表示模拟现实世界1的函数f(x，y，t)允许可以独立地处理变量部分wi。这里，I便是变量数。另外，可以独立地处理由fi表示的函数的形式，并且对于fi可以使用希望的函数。
因此，变量wi的个数N可以不依赖于函数fi而确定，并且可以从变量wi的个数N与数据M的块数之间的关系获得变量wi。
也就是说，利用下面三条允许从数据3估计现实世界1。
首先，N个变量是确定的。也就是说，公式(5)是确定的。这使得可以利用连续性描述现实世界1。例如，可以用模型161描述现实世界1的信号，其中用多项式表达横截面，并且相同的横截面形状持续在不变的方向上。
第二，例如将通过传感器2的投影公式化为表达公式(7)。例如，这被公式化以使得对现实世界2的信号的积分的结果为数据3。
第三，选取M块数据162满足公式(8)。例如，从已经用数据连续性检测单元101检测的具有数据连续性的区域选取数据162。例如，选举这样区域的数据162，其中作为连续性的实例持续有不变的横截面。
这样，用公式(5)描述了数据3与现实世界1之间的关系，选取M块数据162，从而满足公式(8)，从而可以估计现实世界1。
尤其是，在N＝M的情况中，变量数N和表达式数M相等，从而可以通过公式化模拟方程而获得变量wi。
另外，在N＜M的情况中，可以使用各种解决方法。例如，可以通过最小二乘法获得变量wi。
现在，将详细描述利用最小二乘法的解决方法。
首先，根据公式(7)可以示出用于从现实世界1预测数据3的公式(9)。
P′j(xj,yj,tj)=Σi=1NwiSi(xj,yj,tj)]]>公式(9)在公式(9)中，P’j(xj，yj，tj)是预测值。
公式(10)表示预测值P’与观察之P的方差E的和。
E=Σj=1M(Pj(xj,yj,tj)-P′j(xj,yj,tj))2]]>公式(10)获得这样的变量wi，使得方差和E最小。因此，对公式(10)的每个变量wk的微分值为0。也就是说，公式(11)成立。
∂E∂wk=-2Σj=1MwiSk(xj,yj,tj)(Pj(xj,yj,tj)-Σi=1MwiSi(xj,yj,tj))=0]]>公式(11)公式(11)推出公式(12)。
Σj=1M(Sk(xj,yj,tj)Σi=1NwiSi(xj,yj,tj))=Σj=1MSk(xj,yj,tj)Pj(xj,yj,tj)]]>公式(12)当公式(12)对K＝1至N成立时，获得通过最小二乘的解。公式(13)示出了其正态方程。
公式(13)注意，在公式(13)中，将Si(xj，yj，tj)描述为Si(j)。
公式(14)WMAT=w1w2···wN]]>公式(15)
PMAT=Σj=1MS1(j)Pj(j)Σj=1MS2(j)Pj(j)···Σj=1MSN(j)Pj(j)]]>公式(16)从公式(14)至公式(16)，可以将公式(13)表达为SMATWMAT＝PMAT。
在公式(13)中，Si表示现实世界1的投影。在公式(13)中，Pj表示数据3。在公式(13)中，wi表示描述和获得现实世界1的信号的特征的变量。
因此，通过将数据3输入公式(13)并获得矩阵解的WMAT，使得可以估计现实世界1。也就是说，可以用计算公式(17)估计现实世界1。
WMAT＝SMAT-1PMAT公式(17)注意，在SMAT不是正则的情况下，可以使用SMAT的转置矩阵来获得WMAT。
现实世界估计单元102通过例如将数据3输入公式(13)并获得矩阵解的WMAT等，估计现实世界1。
现在，将描述更详细的实例。例如，将用多项式描述现实世界1的信号的横截面形状，即对于位置变化的水平变化。假设现实世界1的信号的横截面形状不变，并且现实世界1的信号的横截面以恒定的速度移动。从传感器2将现实世界1的信号到数据3的投影通过在现实世界1的信号的时间-空间方向的三维积分而被公式化。
现实世界1的信号的横截面以恒定速度移动的假设推出公式(18)和公式(19)。
dxdt=vx]]>公式(18)
dydt=vy]]>公式(19)这里，vx和vy都是不变的。
利用公式(18)和公式(19)，可以将现实世界1的信号的横截面形状表示为公式(20)。
f(x′，y′)＝f(x+vxt，y+vyt) 公式(20)通过在现实世界1的信号的时间-空间方向的三维积分公式化从传感器2将现实世界1的信号到数据3的投影，推出公式(21)。
S(x,y,t)=∫xsxe∫ysye∫tstef(x′,y′)dxdydt]]>=∫xsxe∫ysye∫tstef(x+vxt,y+vyt)dxdydt]]>公式(21)在公式(21)中，S(x，y，t)表示在如下区域上的积分值，所述区域为，在空间方向X上从位置xs到位置xe，在空间方向Y上从位置ys到位置ye，以及在时间方向t上从时刻ts到时刻te，即所述区域被表示为空间-时间立方体。
利用确定公式(21)的希望的函数f(x’，y’)求解公式(13)，使得可以估计现实世界1的信号。
下面，将利用在公式(22)中表示的函数作为函数f(x’，y’)的实例。
f(x′，y′)＝w1x′+w2y′+w3＝w1(x+vxt)+w2(y+vxt)+w3公式(22)也就是说，将现实世界1的信号估计为包括在公式(18)、公式(19)以及公式(22)中表示的连续性。这表示，具有恒定形状的横截面在空间-时间方向中移动，如图26所示。
将公式(22)代入公式(21)推出公式(23)。
S(x,y,t)=∫xsxθ∫ysyθ∫tstθf(x+vxt,y+vyt)dxdydt]]>=Volume(w02(xe+xs+vx(te+ts))]]>+w12(ye+ys+vy(te+ts))+w2)]]>=w0S0(x,y,t)+w1S1(x,y,t)+w2S2(x,y,t)]]>公式(23)其中体积＝(xe-xs)(ye-ys)(te-ts)S0(x，y，t)＝体积/2×(xe+xs+vx(te+ts))S1(x，y，t)＝体积/2×(ye+ys+vy(te+ts))S2(x，y，t)＝1成立图27示出了从数据3中选取的M块数据162的实例。例如，可以说将27个像素值提取作为数据162，并且选取的像素值为Pj(x，y，t)。在该情况下，j为0至26。
在图27的实例中，在这样的情况下，其中对应于在t＝n的时刻上的关注位置的像素的像素值为P13(x，y，t)，并且具有数据连续的像素的像素值的阵列方向(例如这样的方向，其中排列有由数据连续性检测单元101检测的形状相同的爪形)是连接P4(x，y，t)、P13(x，y，t)和P22(x，y，t)的方向，则选取在t＝n的时刻上的像素值P9(x，y，t)至P17(x，y，t)、在t为先于n的时刻n-1的时刻上的像素值P0(x，y，t)至P8(x，y，t)，以及在t为n时刻后的n+1时刻上的像素值P18(x，y，t)至P26(x，y，t)。
现在，关于其已经获得了从为传感器2的图像传感器输出的数据3的数据，具有时间方向和二维空间方向的范围，如图28所示。现在，如图29所示，可以将对应于像素值的立方体的重心(关于其的像素值已经被获得的区域)用作在空间-时间方向中的像素位置。
通过从27个像素值P0(x，y，t)至P26(x，y，t)和公式(23)产生公式(13)，并获得W，使得可以估计现实世界1。
这样，现实世界估计单元102从27个像素值P0(x，y，t)至P26(x，y，t)和公式(23)产生公式(13)，并获得W，从而估计现实世界1的信号。
注意，对于函数f(x，y，t)可以使用Gaussian函数、∑函数等。
下面将参考图30至图34描述这样的处理的实例，所述处理从估计的现实世界1的信号，产生比数据3的分辨率更高的高分辨率数据181。
如图30所示，数据3具有这样的值，其中将现实世界1的信号在时间方向和二维空间方向上积分。例如，从为传感器2的图像传感器输出的像素值数据3具有这样的值，其中以在作为时间方向上的检测时间的快门时间、以及以在空间方向中的检测元件的光敏区域积分成为被投射到检测装置中的光的现实世界1的信号。
相反，如图31所示，通过在时间方向上以与输出数据3的传感器2的检测时间相同的时间、以及在空间方向上以比输出数据3的传感器2的检测元件的光敏区域小的区域，积分估计的现实世界1的信号，而产生在空间方向上分辨率更高的高分辨率数据181。
注意，当产生在空间方向上具有更高分辨率的高分辨率数据181时，可以将在其上积分估计的现实世界1的信号的区域设置为完全脱离输出数据3的传感器2的检测元件的光敏区域。例如，高分辨率数据181可以具有这样的分辨率，其为数据3的分辨率在空间方向上放大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在空间方向上放大例如5/3倍的比值。
另外，如图32所示，通过在空间方向上以与输出数据3的传感器2的检测元件的光敏区域相同的区域、以及在时间方向上以比输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1的信号，而产生在时间方向上分辨率更高的高分辨率数据181。
注意，当产生在时间方向上具有更高分辨率的高分辨率数据181时，可以将在其上积分估计的现实世界1的信号的时间设置为完全脱离输出数据3的传感器2的检测元件的快门时间。例如，高分辨率数据181可以具有这样的分辨率，其为数据3的分辨率在时间方向上放大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在时间方向上放大例如7/4倍的比值。
如图33所示，通过只在空间方向而不在时间方向积分现实世界1的信号，产生了具有去除移动斑点的高分辨率数据181。
另外，如图34所示，通过在空间方向上以比输出数据3的传感器2的检测元件的光敏区域小的区域，以及在时间方向上以比输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1的信号，而产生在时间方向和空间方向上分辨率更高的高分辨率数据181。
在该情况下，可以将在其上积分估计的现实世界1的信号的区域和时间设置为完全不相关于输出数据3的传感器2的检测元件的光敏区域和快门时间。
从而，例如，图像生成单元103通过在希望的空间-时间区域积分估计的现实世界1的信号，而产生在时间方向和空间方向上分辨率更高的数据。
因此，通过估计现实世界1的信号，可以产生关于现实世界1的信号更精确、并在时间方向或空间方向具有更高分辨率的数据。
下面将参考图35至39描述利用根据本发明的信号处理装置4的输入图像和处理结果的实例。
图35示出了输入图像的原始图像。图36示出了输入图像的实例。如图36所示的输入图像通过取像素的像素值的平均值作为单个像素的像素值而产生的图像，所述像素属于由如图35所示的图像的2×2个像素构成的块。也就是说，输入图像是通过模仿传感器的积分特性对图35中的图像施加空间方向积分而获得的图像。
图35中的原始图像包含从垂直方向顺时针倾斜约5度的细线的图像。同样，图36中的输入图像包含从垂直方向顺时针倾斜约5度的细线的图像。
图37示出了通过对图36的输入图像施加常规分类适应处理而获得的图像。这里，分类处理由分类处理和适应处理构成，其中由分类调节处理根据数据的种类分类数据，并对每一类的数据进行适应处理。在适应处理中，通过利用预定拍系数进行映射，将例如低图像质量或标准图像质量图像转换成高图像质量图像。
可以理解，在图37所示的图像中，细线的图像与图35中的原始图像的细线不同。
图38示出了由数据连续性检测单元101从图36中的实例所示的输入图像检测细线区域的结果。在图38中，白色区域表示细线区域，即其中排列由如图14所示的弧形的区域。
图39示出了从根据本发明的信号处理装置4输出的输出图像的实例，其以图36所示的图像为输入图像。如图39所示，根据本发明的信号处理装置4获得了更接近图35中的原始图像的细线图像的图像。
图40是描述利用根据本发明的信号处理装置4处理信号的流程图。
在步骤S101中，数据连续性检测单元101执行检测连续性的处理。数据连续性检测单元101检测包含在成为数据3的输入图像中的数据连续性，并将表示检测的数据连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。
数据连续性检测单元101检测对应于现实世界的信号的连续性的数据的连续性。在步骤S101的处理中，由数据连续性检测单元101检测的数据连续性或者是包含在数据3中的现实世界1的图像的连续性的一部分，或者是从现实世界1的信号的连续性变化的连续性。
数据连续性检测单元101通过在预定维度方向上检测具有恒定特征的区域，而检测数据连续性。另外，数据连续性检测单元101通过检测表示相同形状的阵列的空间方向中的角度(梯度)而检测数据连续性。
在后文中将描述在步骤S101中的连续性检测处理的细节。
注意，可以将数据连续性信息用作表示数据3的特征的特征。
在步骤S102中，现实世界估计单元102执行估计现实世界的处理。也就是说，现实世界估计单元102根据输入图像和从数据连续性检测单元101提供的数据连续性信息，根据现实世界的信号。在例如步骤S102的处理中，现实世界估计单元102通过预测模拟(描述)现实世界1的模型161，估计现实世界1的信号。现实世界估计单元102将表示现实世界1的估计信号的现实世界估计信息提供给图像生成单元103。
例如，现实世界估计单元102通过预测线形对象的宽度估计现实世界1。另外，例如，现实世界估计单元102通过预测表示线形对象的颜色的水平估计现实世界1的信号。
在后文中将描述在步骤S102中估计现实世界的处理细节。
注意，可以将现实世界估计信息用作表示数据3的特征的特征。
在步骤S103中，图像生成单元103执行图像生成处理，并且所述处理结束。也就是说，图像生成单元103根据现实世界估计信息生成图像，并输出生成的图像。或者，图像生成单元103根据数据连续性信息和现实世界估计信息生成图像，并输出生成的图像。
例如，在步骤S103的处理中，图像生成单元103根据现实世界估计信息，积分模拟在空间方向中生成的现实世界的光信号的函数，从而生成比输入图像在空间方向上具有更高分辨率的图像，并输出生成的图像。例如，图像生成单元103根据现实世界估计信息，积分模拟在时间-空间方向中生成的现实世界的光信号的函数，从而生成比输入图像在时间方向和空间方向上具有更高分辨率的图像，并输出生成的图像。在后文中将描述在步骤S103中的图像生成处理中的细节。
从而，根据本发明的信号处理装置4从数据3检测数据连续性，并从检测的数据连续性估计现实世界1。信号处理装置4然后根据估计的现实世界1产生更近似地模拟现实世界1的信号。
如上所述，在执行估计现实世界的信号的处理的情况中，可以获得精确度和高精度处理结果。
另外，在投影具有第一维度的作为现实世界的信号的第一信号的情况中，检测出对应于现实世界的信号的丢失连续性的第二维度的第二信号的数据连续性，所述第二维度的维数比第一维数少，从其角已丢失了现实世界的信号连续性的一部分，并且通过根据检测的数据连续性估计丢失的现实世界的信号连续性而估计第一信号，对于现实世界中的事件可以获得精确和高精度的处理结果。
接着，将描述数据连续性检测单元101的结构细节。
图41是示出数据连续性检测单元101的结构的方框图。
一旦拍摄其为细线的对象的图像，其结构如图41所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从其中为对象所具有的横截面形状相同的连续性产生。也就是说，其结构如图41所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从其中在长度方向上的任意位置，相对于垂直于长度方向的方向中的位置变化，光的水平的变化相同的连续性产生，后一连续性为其为细线的现实世界1的图像所具有。
尤其是，其结构如图41所示的数据连续性检测单元101检测通过用具有空间积分效应的传感器2拍摄细线的图像而获得的在数据3中的这样的区域，在所述区域中，以对角偏离相邻的方式排列具有预定长度的多个弧形(半圆形)。
数据连续性检测单元101选取除以下部分的图像数据部分，所述没有被选取的部分为，其中具有数据连续性的细线的图像已经被从其为数据3的输入图像投影(下文中，其中具有数据连续性的细线的图像已经被投影的图像数据的部分也被称为连续性分量，并且将其它部分称为非连续性分量)，从选取的非连续性分量和输入图像检测其中现实世界1的细线的图像已经被投影的像素，并检测由其中现实世界1的细线的图像已经被投影的像素构成的输入图像的区域。
非连续性分量选取单元201从输入图像选取非连续性分量，并将表示选取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增加/减少检测单元203。
例如，如图42所示，将其中在具有近似恒定的光水平的背景上存在细线的现实世界1的图像投影到数据3中的情况中，非连续性分量选取单元201通过模拟在其为数据3的输入图像中的背景，而在平面中选取其为背景的非连续性分量，如图43所示。在图43中，实线表示数据3的像素值，虚线示出了由模拟背景的平面表示的近似值。在图43中，A表示其中细线的图像已经被投影的像素的像素值，PL表示模拟背景的平面。
这样，在具有数据连续性的图像数据的部分上的多个像素的像素值对于非连续性分量是不连续的。
非连续性分量选取单元201检测其为数据3的图像数据的多个像素的像素值的非连续部分，在所述非连续部分中，其为现实世界1的光信号的图像已经被投影，并且现实世界1的图像的连续性的部分已经被丢失。
下文将描述用非连续性分量选取单元201选取非连续性分量的处理的细节。
峰值检测单元202和单调增/减检测单元203根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像中除去非连续性分量。例如，峰值检测单元202和单调增/减检测单元203通过将只投影了背景图像的输入图像的像素的像素值设为0，而从输入图像中除去非连续性分量。另外，例如，峰值检测单元202和单调增/减检测单元203通过从输入图像的每个像素的像素值减去由平面PL模拟的值，而从输入图像中除去非连续性分量。
由于可以从输入图像中除去背景，峰值检测单元202至连续性检测单元204可以只处理投影了细线的图像数据的部分，从而进一步简化了峰值检测单元202至连续性检测单元204的处理。
注意，非连续性分量选取单元201可以将其中已经从输入图像除去非连续性分量的图像数据提供给峰值检测单元202和单调增/减检测单元203。
在下述的处理的实例中，对象为其中已经从输入图像除去非连续性分量的图像数据，即只由包含连续性分量的像素构成的图像数据。
现在，将描述其上被投影了细线图像的图像数据，峰值检测单元202至连续性检测单元204将检测所述图像数据。
在没有光学LPF的情况中，可以认为其上投影了如图42所示的细线图像的图像数据在空间方向Y中的截面形状(对于在空间方向中的位置的变化，像素值的变化)为如图44所示的梯形，或如图45所示的三角形。然而，普通的图像传感器具有获得通过光学LPF的图像的光学LPF，并将获得的图像投影到数据3上，因此，实际中，在空间方向Y中具有细线的图像数据的截面形状为类似高斯分布的形状，如图46所示。
峰值检测单元202至连续性检测单元204检测由其上已经投影了细线图像的像素构成的区域，其中相同的截面形状(对于在空间方向中的位置的变化，像素值的变化)以恒定间隔垂直排列在屏幕中，并且，所述单元还通过检测对应于现实世界1的细线的长度方向的区域连接，检测由其上投影了细线图像的像素构成的区域，所述区域具有数据连续性。也就是说，峰值检测单元202至连续性检测单元204检测其中在输入图像中的单个垂直行像素上形成的弧形(半圆形)的区域，并确定检测的区域在水平方向上是否相邻，从而检测形成弧形的连接区域，所述区域对应于作为现实世界1的信号的细线图像的长度方向。
另外，峰值检测单元202至连续性检测单元204检测由其上投影了细线图像的像素构成的区域，其中相同的截面形状以恒定间隔水平排列在屏幕中，并且，所述单元还通过检测对应于现实世界1的细线的长度方向的检测区域的连接，检测由其上投影了细线图像的像素构成的区域，所述区域具有数据连续性。也就是说，峰值检测单元202至连续性检测单元204检测其中在输入图像中的单个水平行像素上形成的弧形的区域，并确定检测的区域在垂直方向上是否相邻，从而检测形成弧形的连接区域，所述区域对应于作为现实世界1的信号的细线图像的长度方向。
首先，将描述用于检测其上投影了细线图像的像素的区域的处理，在所述区域中，相同的弧形以恒定的间隔垂直排列在屏幕中。
峰值检测单元202检测像素值比周围像素大的像素，即峰值，并将表示峰值位置的峰值信息提供给单调增/减检测单元203。在对象为在屏幕中排列成单个垂直行的像素的情况中，峰值检测单元202比较像素位置在屏幕上方的像素值与像素位置在屏幕下方的像素值，并检测具有最大像素值的像素作为峰值。峰值检测单元202从单个图像例如从单帧图像检测一个或多个峰值。
单个屏幕包括帧或场。这在下面的描述中也成立。
例如，峰值检测单元202从还没有被取为关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素上方的像素的像素值，比较关注像素的像素值与在关注像素下方的像素的像素值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元将表示检测到的峰值的峰值信息提供给单调增/减检测单元203。
存在峰值检测单元202未检测到峰值的情况。例如，在图像的所有像素的像素值相同的情况中，或像素值在一个或两个方向减少的情况中，检测不到峰值。在这些情况中，在图像数据上没有投影细线图像。
单调增/减检测单元203根据从峰值检测单元202提供的表示峰值位置的峰值信息检测关于由峰值检测单元202检测的峰值的备选区域，所述区域由其上投影了细线图像的像素构成，其中所述像素垂直排列成单行，并且，所示单元203将表示检测的区域的区域信息与峰值信息一起提供给连续性检测单元204。
尤其是，单调增/减检测单元203检测由具有从峰值像素值单调减小的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。单调减小表示，在长度方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值小。
另外，单调增/减检测单元203检测由具有从峰值像素值单调增大的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。单调增大表示，在长度方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值大。
下面，对像素值单调增大的像素的区域的处理与对像素值单调减小的像素的区域的处理相同，因此省略对其的描述。另外，在关于如下的处理的描述中，其中检测由其上投影了细线图像的像素构成的区域，其中相同的弧形以恒定间隔水平排列在屏幕中，关于像素值单调增大的像素的区域的处理与关于像素值单调减小的像素的区域的处理相同，从而省略对其的描述。
例如，单调增/减检测单元203检测经过峰值的垂直行中的每个像素的像素值、到上方像素的像素值的差、以及到下方像素的像素值的差。单调增/减检测单元203然后通过检测其中差的符号改变的像素，而检测其中像素值单调减小的区域。
另外，单调增/减检测单元203从其中像素值单调减小的区域利用峰值的像素值的符号作为参考，检测由具有与峰值像素值的正负相同的像素值的像素构成的区域作为由其上投影了细线图像的像素构成的备选区域。
例如，单调增/减检测单元203比较每个像素的像素值的符号与上方像素的像素值的符号以及下方像素的像素值的符号，并检测像素值的符号改变的像素，从而检测像素值符号相同的像素区域作为其中像素值单调减小的区域中的峰值。
从而，单调增/减检测单元203检测由在垂直方向排列的像素形成的区域，其中像素值关于峰值单调减小，并以相同符号的像素值作为峰值。
图47描述了峰值检测和单调增/减区域检测的处理，用于从相对于在空间方向Y中的位置的像素值，检测其中投影了细线图像的像素的区域。
在图47到图49中，P表示峰值。在其结构在图41中示出的数据连续性检测单元101的说明中，P表示峰值。
峰值检测单元202比较在空间方向Y上的像素的像素值与相邻于其的像素的像素值，并通过检测在空间方向Y上像素值大于其相邻两个像素的像素值的像素，而检测峰值P。
由峰值P和在空间方向Y上的在峰值P两侧的像素构成的区域是单调减小的区域，其中在空间方向Y中的两侧像素的像素值相对于峰值P的像素值单调减小。在图47中，由A标出的箭头和由B标出的箭头表示在峰值P的两侧的单调减小区域。
单调增/减检测单元203获得每个像素的像素值与在空间方向Y上相邻的像素的像素值的差，并检测其中差的符号改变的像素。单调增/减检测单元203取在其上差的符号改变的检测像素与(在峰值P侧)紧邻其的像素之间的边界作为由其中投影了细线图像的像素构成的细线区域的边界。
在图47中，由C表示细线区域的边界，其为其上的差的符号改变的像素与(在峰值P侧)紧邻其的像素之间的边界。
另外，单调增/减检测单元203比较每个像素的像素值与在空间方向Y上与其相邻的像素的像素值，并检测其中像素值的符号在单调减小区域改变的像素。单调增/减检测单元203取在其上像素值的符号改变的检测像素与(在峰值P侧)紧邻其的像素之间的边界作为细线区域的边界。
在图47中，由P表示细线区域的边界，其为其上的像素值的符号改变的像素与(在峰值P侧)紧邻其的像素之间的边界。
如图47所示，由其中投影了细线图像的像素构成的细线区域F为在细线区域边界C和细线区域边界D之间的区域。
单调增/减检测单元203从由这种单调增/减区域构成的细线区域F获得长于预定阈值的细线区域F，即具有比预定阈值更多的像素个数的细线区域F。例如，在阈值为3的情况下，单调增/减检测单元203检测出包括4个或更多像素的细线区域F。
另外，单调增/减检测单元203从检测的细线区域F将峰值P的像素值、峰值P的右侧的像素的像素值、以及峰值P的左侧的像素的像素值中的每个与阈值比较，检测具有峰值P的细线像素区域F，其中峰值P的像素值超过阈值，以及其中峰值P右侧的像素的像素值为阈值或更小、以及其中峰值P左侧的像素的像素值为阈值或更小，并取检测的细线区域F作为由包含细线图像的分量的像素构成的备选区域。
换句话说，确定出，这样的具有峰值P的细线区域F不包括细线图像的分量，其中峰值P的像素值为阈值或更小，或其中峰值P右侧的像素的像素值超过阈值，或其中峰值P左侧的像素的像素值超过阈值，并将该区域从由包括细线图像的分量的像素构成的备选区域中除去。
也就是说，如图48所示，单调增/减检测单元203比较峰值P的像素值与阈值，并比较在空间方向X(由虚线AA’表示的方向)中相邻于峰值P的像素的像素值与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值超过阈值，以及其中在空间方向X上相邻于其的像素的像素值等于或小于阈值。
图49示出了在由图48中的AA’表示的空间方向X中排列的像素的像素值。这样的峰值P所属的细线区域F包括细线分量，在所述细线区域中，峰值P的像素值超过阈值Ths，以及其中在空间方向X上相邻于其的像素的像素值等于或小于阈值Ths。
注意，可以这样设置，其中单调增/减检测单元203取背景像素值为参考，比较峰值P的像素值和背景的像素值之差与阈值，并且还比较在空间方向上相邻于峰值P的像素的像素值和背景的像素值之差与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值和背景的像素值之差超过阈值，以及其中在空间方向X上相邻的像素的像素值和背景的像素值之差等于或小于阈值。
单调增/减检测单元203将表示如下区域的单调增/减区域信息输出给连续性检测单元204，所述区域由这样的像素构成，所述像素的像素值以峰值P作为参考单调减小，并且像素值的符号与峰值P的符号相同，其中峰值P超过阈值，并且其中峰值P右侧的像素的像素值等于或低于阈值，以及峰值P左侧的像素的像素值等于或低于阈值。
在检测这样的像素的区域的情况下，所述像素在屏幕的垂直方向中排列成单行，在所述屏幕上已经投影了细线的图像，属于由单调增/减区域信息表示的区域的像素被排列在垂直方向上，并包括其上投影了细线图像的像素。也就是说，由单调增/减区域信息表示的区域包括由在屏幕的垂直方向上排列成单行的像素形成的区域，在所述屏幕中已经投影了细线的图像。
这样，顶点检测单元202和单调增/减检测等于203检测由其上投影了细线的图像的像素构成的连续性区域，利用这样的性质，对于其中被投影了细线的图像的像素，其像素值在空间方向Y上的变化近似于高斯分布。
在由在垂直方向上排列的像素构成的区域中，其由从单调增/减检测单元203提供的单调增/减区域信息表示，连续性检测单元204检测包括在水平方向上相邻的像素的区域，即具有类似像素值变化并在垂直方向上重复的区域作为连续区域，并输出峰值信息和表示检测的连续区域的数据连续性信息。数据连续性信息包括单调增/减区域信息、表示区域的连接的信息等。
对于已经被投影细线的像素，弧形以相邻的方式以不变的间隔对准，从而检测的连续区域包括其中已经被投影细线的像素。
检测的连续区域包括这样的像素，其中弧形相邻地以恒定间隔对准，所述像素已经被投影细线，从而将检测的连续区域作为连续性区域，并且连续性检测单元204输出表示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用通过成像细线而获得的数据3中的连续性，其中弧形相邻地以恒定间隔对准，所述连续性由于现实世界1中的细线的图像的连续性而被产生，所述连续性的实质为在长度方向上的连续，从而进一步缩小利用峰值检测单元202和单调增/减检测单元203检测的备选区域。
图50描述了检测单调增/减区域的连续性的处理。
如图50所示，在由在屏幕的垂直方向上对准为单行的像素形成的细线区域F包括在水平方向中相邻的像素的情况下，连续性检测单元204确定在两个单调增/减区域之间存在连续性，并且在不包括在水平方向中相邻的像素的情况下，确定在两个细线区域F之间不存在连续性。例如，在包括在水平方向中相邻于细线区域F0的像素的像素的情况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区域F-1与由在屏幕的垂直方向上对准为单行的像素构成的细线区域F0是连续的。在包括在水平方向中相邻于细线区域F1的像素的像素的情况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区域F0与由在屏幕的垂直方向上对准为单行的像素构成的细线区域F1是连续的。
这样，通过峰值检测单元202至连续性检测单元204检测由在屏幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像。
如上所述，峰值检测单元202至连续性检测单元204检测由在屏幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像，并且还检测在屏幕的水平方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像。
注意，处理顺序并不约束本发明，并且当然可以并行执行。
也就是说，峰值检测单元202对于在屏幕中的水平方向上对准为单行的像素检测作为峰值的像素，其具有比在屏幕上位于左侧和右侧的像素的像素值更大的像素值，并且，所示单元202将表示检测的峰值的位置的峰值信息提供给单调增/减检测单元203。峰值检测单元202从例如一帧图像的一个图像中检测一个或多个峰值。
例如，峰值检测单元202从还没有被取为关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像素的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素值，检测像素值大于其左侧像素的像素值并大于其右侧像素的像素值的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元202将表示检测到的峰值的峰值信息提供给单调增/减检测单元203。
存在峰值检测单元202未检测到峰值的情况。
单调增/减检测单元203检测相对于由峰值检测单元202检测的峰值的备选区域，所述区域由在水平方向中对准为单行的像素构成，并且其中已经被投影细线图像，以及，所述单元203将表示检测区域的单调增/减区域信息与峰值信息一起提供给连续性检测单元204。
尤其是，单调增/减检测单元203检测由具有以峰值像素值为参考单调减小的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。
例如，对于相对峰值的在水平方向的单行中的每个像素，单调增/减检测单元203获得每个像素的像素值、与左侧像素的像素值之差、以及与右侧像素的像素值之差。单调增/减检测单元203然后通过检测其中差的符号改变的像素，而检测其中像素值单调减小的区域。
另外，单调增/减检测单元以峰值的像素值的符号为参考，检测由具有与峰值像素值的符号相同的像素值的像素构成的区域作为由其中已经被投影细线图像的像素构成的备选区域。
例如，单调增/减检测单元203比较每个像素的像素值的符号与左侧的像素的像素值的符号或右侧的像素的像素值的符号，并检测像素值的符号改变的像素，从而从像素值单调减小的区域检测出由具有与峰值符号相同的像素值的像素构成的区域。
这样，单调增/减检测单元203检测在水平方向上对准、并具有与峰值的符号相同的像素值的像素构成的区域，其中所述像素值相对于峰值单调减小。
从由这种单调增/减区域构成的细线区域，单调增/减检测单元203获得比预先设置的阈值长的细线区域，即比阈值具有更多像素个数的细线区域。
另外，从如此检测的细线区域，单调增/减检测单元203比较峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值中的每一个与阈值，检测这样的包括峰值的细线区域，其中峰值的像素值超过阈值，峰值上方的像素的像素值在阈值范围内、以及峰值下方的像素的像素值在阈值范围内，并取检测的细线区域作为由包含细线图像的分量的像素构成的备选区域。
换句话说，确定出，这样的具有峰值的细线区域不包括细线图像的分量，其中峰值的像素值在阈值范围内，或峰值上方的像素的像素值超过阈值，或峰值下方的像素的像素值超过阈值，并将该区域从由包括细线图像的分量的像素构成的备选区域中除去。
注意，可以将单调增/减检测单元203设置为取背景像素值为参考，比较像素的像素值和背景的像素值之差与阈值，并且还比较背景的像素值和在垂直方向上相邻于峰值的像素的像素值之差与阈值，从而取这样的检测的细线区域作为由包括细线图像分量的像素构成的备选区域，其中峰值的像素值和背景的像素值之差超过阈值，以及背景的像素值和在垂直方向上相邻的像素的像素值之差在阈值范围内。
单调增/减检测单元203将表示如下区域的单调增/减区域信息提供给连续性检测单元204，所述区域由这样的像素构成，所述像素的像素值的符号与峰值的符号相同，并以峰值P作为参考单调减小，其中峰值超过阈值，并且峰值右侧的像素的像素值在阈值范围内，以及峰值左侧的像素的像素值在阈值范围内。
在检测由这样的像素构成的区域的情况下，所述像素在屏幕的水平方向中对准为单行，在所述屏幕上已经投影了细线的图像，属于由单调增/减区域信息表示的区域的像素包括被对准在水平方向上的像素，其上投影了细线图像的像素。也就是说，由单调增/减区域信息表示的区域包括由在屏幕的水平方向上对准成单行的像素形成的区域，在所述屏幕中已经投影了细线的图像。
在由在水平方向上对准的像素构成的区域中，其由从单调增/减检测单元203提供的单调增/减区域信息表示，连续性检测单元204检测包括在垂直方向上相邻的像素的区域，即具有类似像素值变化并在水平方向上重复的区域作为连续区域，并输出表示峰值信息和检测的连续区域的数据连续性信息。数据连续性信息包括表示区域的连接的信息等。
对于已经被投影细线的像素，弧形以相邻的方式以不变的间隔对准，从而检测的连续区域包括其中已经被投影细线的像素。
检测的连续区域包括这样的像素，其中弧形以恒定间隔排列，所述像素已经被投影细线，从而将检测的连续区域作为连续性区域，并且连续性检测单元204输出表示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用通过成像细线而获得的数据3中的连续性，其中弧形相邻地以恒定间隔排列，所述连续性从现实世界1中的细线的图像的连续性而产生，所述连续性为在长度方向上的连续，从而进一步缩小利用峰值检测单元202和单调增/减检测单元203检测的备选区域。
图51示出了其中通过平面模拟选取连续性分量的图像的实例。图52示出了检测图51中的图像的峰值、并检测单调减小区域的结果。在图52中，白色表示的部分为检测的区域。
图53示出了其中通过检测图52中的图像的相邻区域的连续性而检测连续性的区域。在图53中，示出为白色的部分是已经被确定连续性的区域。可以理解，对连续性的检测还识别了所述区域。
图54示出了如图53所示的区域的像素值，即已经被检测连续性的区域的像素值。
从而，数据连续性检测单元101可以检测在作为输入图像的数据3中包含的连续性。也就是说，数据连续性检测单元101可以检测包括在数据3中的数据连续性，所述数据连续性由现实世界1的图像产生，所述图像为被投影到数据3上的细线。数据连续性检测单元101从数据3检测由这样的像素构成的区域，在所述像素中被投影有为细线的现实世界的图像。
图55示出了利用数据连续性检测单元101检测具有连续性的区域的其它处理的实例，其中被投影有细线图像。
如图55所示，数据连续性检测单元101每个像素与相邻像素的像素值差的绝对值。对应像素放置计算出的差的绝对值。例如，在例如如图55所示的情况中，其中存在具有各个像素值P0、P1和P2的对准的像素，数据连续性检测单元101计算差d0＝P0-P1和差d1＝P1-P2。另外，数据连续性检测单元101计算差d0和差d1的绝对值。
在包含在像素值P0、P1和P2中的非连续性分量相同的情况下，只将对应于细线分量的值设置为差d0和差d1。
因此，对于对应于像素放置的差的绝对值，在相邻差值相同的情况下，数据连续性检测单元101确定，对应于两个差的绝对值的像素(在两个差的绝对值之间的像素)包含细线分量。
数据连续性检测单元101还可以利用例如这样的简单方法检测细线。
图56是描述连续性检测处理的流程图。
在步骤S201，非连续性分量选取单元201从输入图像选取非连续性分量，所述分量是除了已经被投影细线的部分的部分。非连续性分量选取单元201将表示选取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增/减检测单元203。下面将描述用于选取非连续性分量的处理的细节。
在步骤S202，峰值检测单元202根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像除去非连续性分量，从而只留下输入图像中的包括连续性分量的像素。另外，在步骤S202，峰值检测单元202检测峰值。
也就是说，在以屏幕的垂直方向作为参考而实施处理的情况中，对于包含连续性分量的像素，峰值检测单元202比较每个像素的像素值与上方和下方的像素的像素值，并确定像素值比上方像素的像素值和下方像素的像素值都大的像素，从而检测峰值。另外，在步骤S202中，在以屏幕的水平方向为参考而实施处理的情况中，对于包含连续性分量的像素，峰值检测单元202比较每个像素的像素值与右侧和左侧的像素的像素值，并确定像素值比右侧像素的像素值和左侧像素的像素值都大的像素，从而检测峰值。
峰值检测单元202将表示检测的峰值的峰值信息提供给单调增/减检测单元203。
在步骤S203，单调增/减检测单元203根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像除去非连续性分量，从而只留下输入图像中的包括连续性分量的像素。另外，在步骤S203，单调增/减检测单元203根据从峰值检测单元202提供的表示峰值位置的峰值信息，通过检测相对于峰值的单调增/减，检测由具有数据连续性的像素构成的区域。
在以屏幕的垂直方向作为参考而实施处理的情况中，单调增/减检测单元203根据峰值的像素值和相对于峰值垂直对准的一行像素的像素值，检测由垂直对准的一行像素构成的单调增/减，在所述像素中已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，在以屏幕的垂直方向作为参考而实施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值垂直对准的一行像素，获得每个像素的像素值与上方和下方的像素的像素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对于峰值垂直对准的一行像素，单调增/减检测单元203比较每个像素的像素值的符号与上方或下方的像素的像素值的符号，从而检测像素值的符号改变的像素。另外，单调增/减检测单元203比较峰值的像素值、峰值右侧和左侧的像素的像素值与阈值，并检测由其中峰值的像素值超过阈值、并且其中峰值右侧和左侧的像素的像素值在阈值范围之内的像素构成的区域。
单调增/减检测单元203取通过这样检测的区域作为单调增/减区域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测单元204。
在以屏幕的水平方向作为参考而实施处理的情况中，单调增/减检测单元203根据峰值的像素值和相对于峰值水平对准的一行像素的像素值，检测由水平对准的一行像素构成的单调增/减，在所述像素中已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，在以屏幕的水平方向作为参考而实施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值水平对准的一行像素，获得每个像素的像素值与右侧和左侧的像素的像素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对于峰值水平对准的一行像素，单调增/减检测单元203比较每个像素的像素值的符号与右侧或左侧的像素的像素值的符号，从而检测像素值的符号改变的像素。另外，单调增/减检测单元203比较峰值的像素值、峰值上侧和下侧的像素的像素值与阈值，并检测由其中峰值的像素值超过阈值、并且其中峰值上侧和下侧的像素的像素值在阈值范围之内的像素构成的区域。
单调增/减检测单元203取通过这样检测的区域作为单调增/减区域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测单元204。
在步骤S204，单调增/减检测单元203确定对所有像素的处理是否结束。例如，非连续性分量选取单元201检测单屏(例如帧、场等)输入图像的所有像素，并确定是否已经检测单调增/减区域。
当在步骤S204中确定对所有像素的处理没有结束的情况下，即，还存在没有经过峰值检测和单调增/减区域检测的处理的像素，则流程返回步骤S202，将还没有经过峰值检测和单调增/减区域检测的处理的像素选作为处理的对象，并且重复峰值检测和单调增/减区域检测的处理。
当在步骤S204中确定对所有像素的处理已经结束的情况下，在已经对所有像素检测峰值和单调增/减区域的情况下，则流程进到步骤S205，其中，连续性检测单元204根据单调增/减区域信息，检测检测出的区域的连续性。例如，在由在屏幕的垂直方向上对准的一行像素构成、由单调增/减区域信息表示的单调增/减区域在水平方向上包括相邻像素的情况下，则连续性检测单元204确定，在两个单调增/减区域之间存在连续性，而在不包括在水平方向上的相邻像素的情况下，确定在两个单调增/减区域之间不存在连续性。例如，在由在屏幕的水平方向上对准的一行像素构成、由单调增/减区域信息表示的单调增/减区域在垂直方向上包括相邻像素的情况下，则连续性检测单元204确定，在两个单调增/减区域之间存在连续性，而在不包括在垂直方向上的相邻像素的情况下，确定在两个单调增/减区域之间不存在连续性。
连续性检测单元204取检测的连续性区域作为具有数据连续性的连续性区域，并输出表示峰值位置和连续性区域的数据连续性信息。数据连续性信息包含表示区域的连接的信息。从连续性检测单元204输出的数据连续性信息表示作为连续性区域的细线区域，其由其中已经被投影现实世界1的细线图像的像素构成。
在步骤S206中，连续性方向检测单元205确定对所有像素的处理是否已经结束。也就是说，连续性方向检测单元205确定是否已经对特定帧的输入图像的所有像素检测区域连续性。
当在步骤S206中确定对所有像素的处理还没有结束的情况下，即，还存在没有被取作为区域连续性检测的对象的像素，则流程返回步骤S205，选取还没有经过的像素，并重复检测区域连续性的处理。
当在步骤S206中确定对所有像素的处理已经结束的情况下，即，所有像素已经被取作为区域连续性检测的对象，则流程结束。
从而，检测了在作为输入图像的数据3中的连续性。也就是说，检测了在数据3中包含的这样数据连续性，所述连续性由现实世界1的图像产生，所述图像是已经被投影到数据3上的细线，并且，从数据3中检测出具有数据连续性的区域，所述区域由这样的像素构成，在所述像素上已经投影了作为细线的现实世界1的图像。
现在，在图41中示出的数据连续性检测单元101可以根据具有从数据3的帧中检测的数据连续性的区域，检测时间维度的数据连续性。
例如，如图57所示，连续性检测单元204通过连接在帧#n中的具有检测的数据连续性的区域、在帧#n-1中具有检测的数据连续性的区域、以及在帧#n+1中具有检测的数据连续性的区域的边缘，而检测时间维度的数据连续性。
帧#n-1是在时间方向在帧#n之前的帧，而帧#n+1是在时间方向在帧#n之后的帧。也就是说，以帧#n-1、帧#n以及#n+1的顺序显示帧#n-1、帧#n以及#n+1。
尤其是，在图57中，G表示通过连接在帧#n中的具有检测的数据连续性的区域、在帧#n-1中具有检测的数据连续性的区域、以及在帧#n+1中具有检测的数据连续性的区域的一个边缘而获得的移动矢量，而G’表示通过具有检测的数据连续性的区域的另一个边缘所获得的移动矢量。移动矢量G和移动矢量G’是在时间方向上的数据连续性的实例。
另外，具有如图41所示的结构的数据连续性检测单元101可以输出表示具有数据连续性的区域的长度的信息作为数据连续性信息。
图58是示出非连续性分量选取单元201的方框图，其进行对非连续性分量的平面模拟，并选取非连续性分量，所示非连续性分量是图像数据中不具有数据连续性的部分。
具有如图58所示的结构的非连续性分量选取单元201从输入图像选取由预定数的像素构成的块，进行对所述块的平面模拟，使得在所述块与平面值之间的误差小于预定阈值，从而选取非连续性分量。
将输入图像提供给块选取单元221，并将其不变的输出。
块选取单元221从输入图像选取由预定数的像素构成的块。例如，块选取单元221选取由7×7个像素构成的块，并将其提供给平面模拟单元222。例如，块选取单元221以光栅扫描的顺序移动用作将被选取的块的中心的像素，从而从输入图像顺序选取块。
平面模拟单元222在预定平面上模拟在所述块中包括的像素的像素值。例如，平面模拟单元222在由公式(24)表达的平面上模拟在所述块中包括的像素的像素值。
Z＝ax+by+c 公式(24)在公式(24)中，x表示在屏幕一个方向中的像素的位置(空间方向X)，而y表示在屏幕另一个方向中的像素的位置(空间方向Y)。z表示由平面表示的应用值。a表示平面的空间方向X的梯度、而b表示平面的空间方向Y的梯度。在表达式(24)中，c表示平面的偏移(截距)。
例如，平面模拟单元222通过回归处理获得梯度a、梯度b和截距c，从而在由公式(24)表达的平面上模拟包含在块中的像素的像素值。平面模拟单元222通过包括舍选的回归处理获得梯度a、梯度b和截距c，从而在由公式(24)表达的平面上模拟包含在块中的像素的像素值。
例如，平面模拟单元222获得由表达式(24)表达的平面，其中利用最小二乘法，而使得所述块的像素的像素值的误差最小，从而在所述平面上模拟包含在块中的像素的像素值。
注意，尽管平面模拟单元222已被描述为在由公式(24)表达的平面上模拟块，但是其不限于由公式(24)表达的平面，而是，可以在由具有更高自由度的函数表示的平面上模拟所述块，例如n阶多项式(其中n为任意整数)。
重复确定单元223计算模拟值与对应的块的像素的像素值之间的误差，所述模拟值由在其上模拟块的像素值的平面表示。公式(25)是示出模拟值与对应的块的像素的像素值zi之差的误差ei的表达式，其中所述模拟值由在其上模拟块的像素值的平面表示。
ei=zi-z^=zi-(a^xi+b^yi+c^)]]>公式(25)在公式(25)中，z-帽(在z上的^符号将被描述为z-帽在本说明书的下文中将使用相同的描述)表示由在其上模拟块的像素值的平面表示的模拟值，a-帽表示在其上模拟块的像素值的平面的空间方向X的梯度，b帽表示在其上模拟块的像素值的平面的空间方向Y的梯度，以及c帽表示在其上模拟块的像素值的平面的偏移(截距)。
重复确定单元223排除这样的像素，所述像素的模拟值与对应的块的像素的像素值的误差ei如公式(25)所示。从而，其中已经被投影细线的像素，即具有连续性的像素被排除。重复确定单元223将表示排除像素的排除信息提供给平面模拟单元222。
另外，重复确定单元223计算标准误差，并这样的情况下，其中标准误差等于或大于预先设置以确定模拟的结束的阈值，并且块的像素的一半或更多的像素没有被排除，则重复确定单元223使平面模拟单元222重复在包含在块中的像素上的平面模拟处理，所述所述块已经被除去排除的像素。
具有连续性的像素被排除，从而，在平面上模拟已经除去排除像素的像素表示，平面模拟非连续性分量。
在标准误差低于用于确定模拟结束的阈值的情况下，或者块的像素的一半或更多的像素已被排除，则重复确定单元223结束平面模拟在由5×5个像素构成的块中，可以利用例如公式(26)计算标准误差es。
es=Σ(zi-z^)/(n-3)]]>=Σ{(zi-(a^xi+b^yi+c^)}/(n-3)]]>公式(26)这里，n是像素个数。
注意，重复确定单元223不限于标准误差，并可以被设置为计算包含在块中的所有像素的方差和，并进行下面的处理。
现在，当对块的平面模拟移动在光栅扫描方向中的一个像素时，如图59所示，具有连续性、在图中由黑圆点表示的像素，即包含细线分量的像素，将被多次排除。
一旦完成平面模拟，重复确定单元223将表示用于模拟块的像素值的平面的信息(公式24的平面的梯度和截距)输出为非连续性信息。
注意，可以进行这样的设置，其中重复确定单元223比较排除每个像素的次数与预设的阈值，并取被排除了等于或大于阈值的多次的像素作为包含连续性分量的像素，并将表示包含连续性分量的像素的信息输出为连续性分量信息。在该情况下，峰值检测单元202至连续性检测单元205在包含由连续性分量信息表示的连续性分量的像素上实施其各自的处理。
下面将参考图60至图67描述非连续性分量选取处理的结果的实例。
图60示出了由原始图像中的2×2个像素的像素值的平均值产生的输入图像的实例，所述原始图像包含已经被生成为像素值的细线。
图61示出了从图60所示的图像获得的图像，其中将作为无排除的平面模拟的结果获得标准误差取为像素值。在图61所示的实例中，对由相关于单个关注像素的5×5个像素值构成的块进行平面模拟。在图61中，白色像素是具有更大像素值的像素，即具有更大标准误差的像素，而黑色像素是具有较小像素值的像素，即具有较小标准误差的像素。
从图61可以确定，在将作为无排除的平面模拟的结果获得标准误差取为像素值的情况中，在非连续性部分的边界处的大面积上获得较大的值。
在图62至图67的实例中，对由相关于单个关注像素的7×7个像素值构成的块进行平面模拟。在对7×7个像素构成的块进行平面模拟的情况中，一个像素被重复包括在块49中，表示，包含连续性分量的像素被排除49次。
图62中，将通过具有图60中的图像排除的平面模拟获得的标准误差取为像素值。
在图62中，白色像素是具有更大像素值的像素，即具有更大标准误差的像素，而黑色像素是具有较小像素值的像素，即具有较小标准误差的像素。可以理解，标准误差在进行排除的情况中比在不进行排除的情况中总体较小。
图63中，将在具有图60中的图像排除的平面模拟中的排除次数取为像素值。在图63中，白色像素是具有更大像素值的像素，即被排除更多次数的像素，而黑色像素是具有较小像素值的像素，即被排除较少次数的像素。
从图63可以理解，其中被投影细线图像的像素被排除更多的次数。利用其中取排除次数作为像素值的图像，可以生成用于掩盖输入图像的非连续性部分的图像。
在图64中示出的图像中，取用于模拟块的像素值的平面的空间方向X的梯度作为像素值。在图65中示出的图像中，取用于模拟块的像素值的平面的空间方向Y的梯度作为像素值。
图66是由用于模拟块的像素值的平面表达的模拟值构成的图像。可以理解，在图像66中，细线已经消失。
图67是由图60中的图像与图66中的被表达为平面的模拟值构成的图像的差构成的图像，其中图60通过取原始图像中的2×2个像素的块的平均值作为像素值而产生。图67所示的图像的像素值已经将非连续性分量除去，从而只剩下其上被投影细线图像的值。从图67可以理解，在由原始图像的像素值与由进行模拟的平面表示的模拟值之差构成的图像中，较好地选取了原始图像的连续性分量。
可以将以下值用作输入图像的特征排除次数、用于模拟块的像素的像素值的平面的空间方向X的梯度、用于模拟块的像素的像素值的平面的空间方向Y的梯度、由用于模拟块的像素的像素值的平面表达的模拟值、以及误差ei。
图68是描述利用具有图58所示的结构的非连续性分量选取单元201选取非连续性分量的处理的流程图。
在步骤S221中，块选取单元221从输入图像选取由预定数的像素构成的块，并将其提供给平面模拟单元222。例如，块选取单元221选择还没有被选取的输入图像的像素的一个像素，并选取以选择块为中心的由7×7个像素构成的块。例如，块选取单元221可以以光栅扫描的顺序选择像素。
在步骤S222中，平面模拟单元222在平面上模拟所选取的块。例如，平面模拟单元222通过回归处理在平面上模拟选取块的像素的像素值。例如，平面模拟单元222通过回归处理在平面上模拟除排除的像素以外的选取块的像素的像素值。在步骤S223中，重复确定单元223执行重复确定。例如，通过从块的像素的像素值和平面模拟值计算标准误差，并计算排除像素的个数。
在步骤S224，重复确定单元223确定标准误差是否等于或大于阈值，并且在确定标准误差等于或大于阈值的情况下，流程进到步骤S225。
注意，可以这样设置，其中重复确定单元223在步骤S224中确定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等于或大于阈值的情况下，流程进到步骤S225。
在步骤S225，重复确定单元223计算块的每个像素的像素值与模拟的平面模拟值之间的误差，排除具有最大误差的像素，并通知平面模拟单元222。该过程返回到步骤S222，并且对除被排除的像素以外的块的像素重复平面模拟处理和重复确定处理。
在步骤S225，在这样的情况下，其中在步骤S221的处理中选取这样的块，所述块被移动在栅格扫描方向中的一个像素，包括细线分量的像素(图中由黑色圆点表示)被排除多次，如图59所示。
在其中在步骤S224中确定标准误差不等于或大于阈值的情况下，所述块已经在平面上被模拟，从而流程进到步骤S226。
注意，可以这样设置，其中重复确定单元223在步骤S224中确定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等于或大于阈值的情况下，流程进到步骤S225。
在步骤S226，重复确定单元223输出用于模拟块的像素的像素值的平面的梯度和截距作为非连续性分量信息。
在步骤S227，块选取单元221确定对一屏输入图像的所有像素的处理是否已经结束，并在确定仍然存在未被取作为处理对象的像素的情况下，流程返回到步骤S221，从仍未经过处理的像素选取块，并重复上述处理。
在步骤S227中确定对一屏输入图像的所有像素的处理已经结束的情况下，该处理结束。
从而，具有图58所示结构的非连续性分量选取单元201可以从输入图像选取非连续性分量。非连续性分量选取单元201从输入图像选取非连续性分量，从而峰值检测单元202和单调增/减检测单元203可以获得输入图像与由非连续性分量选取单元201选取的非连续性分量之差，从而执行关于包含连续性分量的差的处理。
注意，可以使用在平面模拟处理中计算的如下值作为特征在进行排除的情况下的标准误差、在不进行排除的情况下的标准误差、排除像素的次数、平面的空间方向X的梯度(在公式(24)中的a-帽)、平面的空间方向Y的梯度(在公式(24)中的b-帽)、平面平移的水平(在公式(24)中的c-帽)、以及在输入图像的像素值与由平面表示的模拟值之差。
图69是描述用于用具有图58所示的结构的非连续性分量选取单元201选取连续性分量的处理的流程图，该处理代替了用于对应于步骤S201选取非连续性分量的处理。步骤S241至步骤S245的处理与步骤S221至步骤S225的处理相同，从而省略对其的描述。
在步骤S246中，重复确定单元223输出由平面表示的模拟值与输入图像的像素值之差作为输入图像的连续性分量。也就是说，重复确定单元223输出平面模拟值与实际像素值之差。
注意，可以将重复确定单元223设置为关于其由平面表示的模拟值与输入图像的像素值之差等于或大于预定阈值的像素的像素值，输出由平面表示的模拟值与输入图像的像素值之差，作为输入图像的连续性分量。
步骤S247的处理与步骤S227的处理相同，因此省略对其的描述。
平面模拟非连续性分量，因此，非连续性分量选取单元201通过从在输入图像的每个像素的像素值中减去由用于模拟像素值的平面表示的模拟值，可以从输入图像中除去非连续性分量。在这种情况下，峰值检测单元202至连续性检测单元204可以只处理输入图像的连续性分量，即已经被投影细线图像的值，从而利用峰值检测单元202至连续性检测单元204的处理变得更加容易。
图70是描述用于利用具有如图58所示的结构的非连续性分量选取单元201选取连续性分量的另一处理的流程图，所述处理取代了对应于步骤S201的用于选取非连续性分量的处理。步骤S261至步骤S265的处理与步骤S221至步骤S225的处理相同，因此省略对其的描述。
在步骤S266中，重复确定单元223存储对每个像素的排除次数，该流程返回到步骤S262，并且重复所述处理。
在步骤S264，在确定标准误差不等于或大于阈值的情况下，所述块已经在平面上模拟，从而流程进到步骤S267，重复确定单元223确定对一屏输入图像的所有像素的处理是否已经结束，并且在确定仍存在没有被取作为处理对象的像素的情况下，流程回到标准S261，关于仍未经过处理的像素，选取块，并重复上述处理。
在步骤S627中确定对一屏输入图像的所有像素的处理已经结束的情况下，则流程进到步骤S268，重复确定单元223选择未被选择的像素，并确定对选择像素的排除次数是否等于或大于阈值。例如，重复确定单元223在步骤S268中确定对选择图像的排除次数是否等于或大于预先存储的阈值。
在步骤S268中确定对选择的像素的排除次数等于或大于阈值的情况下，则选择的像素包含连续性分量，从而流程进到步骤S269，在该步骤中，重复确定单元223输出选择像素的像素值(输入图像中的像素值)作为输入图像的连续性分量，并且流程进到步骤S270。
在步骤S268中确定对选择图像的排除次数不等于或大于阈值的情况下，则选择图像不包含连续性分量，从而跳过在步骤S269中的处理，并且过程进到步骤S270。也就是说，不输出这样的像素的像素值，关于所述像素，已经确定排除次数不等于或大于阈值。
注意，可以这样设置，其中重复确定单元223输出关于已经被确定对其的排除次数不等于或大于阈值的像素的设为0的像素值。
在步骤S270中，重复确定单元223确定对一屏输入图像的所有像素的处理是否已经结束，以确定排除次数是否等于或大于阈值，并在确定所述处理对于所有像素还没有结束的情况下，这表示仍然存在没有被取作为处理对象的像素，从而流程返回步骤S268，选择仍未经过处理的像素，并重复上述处理。
在步骤S270中确定对于一屏输入图像的所有像素的处理已经结束的情况下，则处理结束。
从而，对于输入图像的像素，非连续性分量选取单元201可以输入包含连续性分量的像素的像素值作为连续性分量信息。也就是说，对于输入图像的像素，非连续性分量选取单元201可以输出包含细线图像的分量的像素的像素值。
图71是描述用于利用具有如图58所示的结构的非连续性分量选取单元201选取连续性分量的另一处理的流程图，所述处理取代了对应于步骤S201的用于选取非连续性分量的处理。步骤S281至步骤S288的处理与步骤S261至步骤S268的处理相同，因此省略对其的描述。
在步骤S289中，重复确定单元223输出由平面表示的模拟值与选择像素的像素值之差作为输入图像的连续性分量。也就是说，重复确定单元223输出已经从输入图像中除去非连续性分量的图像作为连续性细线。
步骤S290的处理与步骤S270的处理相同，因此省去对其的描述。
从而，非连续性分量选取单元201可以输出其中已经从输入图像除去非连续性分量的图像作为连续性信息。
如上所述，在已经投影现实世界光信号的情况下，检测出其中现实世界光信号的部分连续性已经被丢失的第一图像数据的多个像素的像素值的非连续性部分，从检测的非连续性部分检测数据连续性，通过根据检测的数据连续性估计现实世界光信号的连续性，产生了用于模拟光信号的模型(函数)，并根据产生的函数生成第二图像数据，可以获得对于现实世界中的事件更精确并具有更高精度的处理结果。
图72是示出数据连续性检测单元101的另一结构的方框图。
在具有图72所示的结构的数据连续性检测单元101中，检测关注像素的像素值，所述关注像素是在输入图像的空间方向中的关注像素，即在输入图像的空间方向中的活度，对于根据关注像素的每个角度和根据检测活度的参考轴，选取在垂直方向或在水平方向中的一行中的预定个数的像素构成的多组像素，检测选取的像素组的相关性，并根据相关性检测在输入图像中基于参考轴的数据连续性的角度。
数据连续性的角度表示由参考轴和预定维度方向所成的角度，在所示预定维度方向上，恒定特征在数据3中重复出现。恒定特征重复出现表示这样的情况，其中，例如对于在数据3中的位置变化的值的变化、即界面形状相同等。
参考轴可以是例如表示空间方向X(屏幕的水平方向)的轴、表示空间方向Y(屏幕的垂直方向)的轴等。
将输入图像提供给活度检测单元401和数据检测单元402。
活度检测单元401检测像素值对于输入图像的空间方向的变化，即在空间方向中的活度，并将表示检测结果的活度信息提供给数据检测单元402和连续性方向推导单元404。
例如，活度检测单元401像素值对于屏幕水平方向的变化和像素值对于平面垂直方向的变化，并比较检测的像素值在水平方向的变化与像素值在垂直方向的变化，从而检测像素值在水平方向中的变化是否大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化是否大于像素值在水平方向中的变化。
活度检测单元401将活度信息提供给数据选择单元402和连续性方向推导单元404，所述活度信息是表示测像素值在水平方向中的变化大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化大于像素值在水平方向中的变化的检测结果。
在其中像素值在水平方向中的变化大于像素值在垂直方向中的变化的情况中，例如如图73所示，在垂直方向的一行中形成弧形(半圆形)或爪形，并在垂直方向上重复多次形成弧形或爪形。也就是说，在这样的情况下，其中像素值在水平方向上的变化大于像素值在垂直方向上的变化，其中参考轴为表示空间方向X的轴，在输入图像中，数据连续性相对于参考轴的角度是45度到90度之间的任意值。
在其中像素值在垂直方向中的变化大于像素值在水平方向中的变化的情况中，例如在水平方向的一行中形成弧形(半圆形)或爪形，并在水平方向上重复多次形成弧形或爪形。也就是说，在这样的情况下，其中像素值在垂直方向上的变化大于像素值在水平方向上的变化，其中参考轴为表示空间方向X的轴，在输入图像中，数据连续性相对于参考轴的角度是0度到45度之间的任意值。
例如，活度检测单元401从输入图像选取由以关注像素为中心的3×3的9个像素构成的块，如图74所示。活度检测单元401计算垂直相邻的像素的像素值之差的和、以及水平相邻的像素的像素值之差的和。水平相邻的像素的像素值之差hdiff的和可以通过公式(27)获得。
hdiff＝∑(Pi+1，j-Pi，j) 公式(27)同样，垂直相邻的像素的像素值之差Vdiff的和可以通过公式(28)获得。
vdiff＝∑(Pi，j+1-Pi，j) 公式(28)在公式(27)和公式(28)中，P表示像素值，i表示像素在水平方向中的位置，以及j表示像素在垂直方向中的位置。
可以这样设置，其中活度检测单元401比较计算的水平相邻的像素的像素值之差hdiff的和与垂直相邻的像素的像素值之差Vdiff的和，从而确定在输入图像中数据连续性与参考轴所成的角度范围。也就是说，在该情况下，活度检测单元401确定由像素值对于在空间方向中的位置的变化表示的形状是否在水平方向上重复形成、或在垂直方向上重复形成。
例如，在一行水平行上形成的弧形在水平方向上的像素值的变化大于在垂直方向上的像素值的变化，在一行水平行上形成的弧形在垂直方向上的像素值的变化大于在水平方向上的像素值的变化，从而可以认为，数据连续性的方向，即恒定特征在预定维度方向上的变化小于数据连续性在正交的方向上的变化，所述恒定特征是作为数据3的输入图像所具有的特征。换句话说，在垂直于数据连续性方向的方向(下文中也称为非连续性方向)上的差大于在数据连续性方向上的差。
例如，如图75所示，活度检测单元401比较计算的水平相邻的像素的像素值之差hdiff的和与垂直相邻的像素的像素值之差Vdiff的和，并在水平相邻的像素的像素值之差hdiff的和较大的情况下，确定数据连续性与参考轴的角度是从45度到135度之间的任意值，而在垂直相邻的像素的像素值之差Vdiff的和较大的情况下，确定数据连续性与参考轴的角度是从0度到45度之间的任意值、或135度到180度之间的任意值。
例如，活度检测单元401将表示确定结果的活度信息提供给数据检测单元402和连续性方向推导单元404。
注意，活度检测单元401可以检测选取任意尺寸的块的活度，所述块例如由5×5的25个像素构成的块、由7×7的49个像素构成的块等。
数据检测单元402随后从输入图像的像素中选择关注像素，并根据来自活度检测单元401的活度信息，对于基于关注像素和参考轴的每个角度，选取由垂直方向上的一行预定个数的像素或水平方向上的一行预定个数的像素构成的多组像素。
例如，在其中活度信息指示在水平方向上的像素值的变化大于在垂直方向上的像素值的变化的情况下，这表示，数据连续性的角度是从45度到135之间的任意值，从而数据选择单元402对于根据关注像素和参考轴的在45度到135度范围中的每个预定角度，选取由在垂直方向的一行预定个数的像素构成的多组像素。
在活度信息指示在垂直方向上的像素值的变化大于在水平方向上的像素值的变化的情况下，这表示，数据连续性的角度是从0度到45中、或从135度到180度中的任意值，从而数据选择单元402对于根据关注像素和参考轴的从0度到45中、或从135度到180度中的任意值中的每个预定角度，选取由在水平方向的一行预定个数的像素构成的多组像素。
另外，例如，在活度信息指示数据连续性的角度是从45度到135度中的任意值的情况下，数据选择单元402对于根据关注像素和参考轴的在45度到135度范围中的每个预定角度，选取由在垂直方向的一行预定个数的像素构成的多组像素。
在活度信息指示数据连续性的角度是从0度到45中、或从135度到180度中的任意值的情况下，数据选择单元402对于根据关注像素和参考轴的在从0度到45中、或从135度到180度范围中的每个预定角度，选取由在水平方向的一行预定个数的像素构成的多组像素。
数据选择单元402将由选取的像素构成的多组提供到误差估计单元403。
误差估计单元403检测相对于多组选取像素的每个角度的像素组的相关性。
例如，对于对应于一个角度的、由在垂直方向中的一行预定个数的像素构成的多组像素，误差估计单元403检测在像素组的相应位置上的像素的像素值的相关性。对于对应于一个角度的、由在水平方向中的一行预定个数的像素构成的多组像素，误差估计单元403检测在像素组的相应位置上的像素的像素值的相关性。
误差估计单元403将表示检测的相关性的相关性信息提供到连续性方向推导单元404。误差估计单元403计算从数据检测单元402提供的包括关注像素的一组像素的像素值的和作为表示相关性的值，还计算在其它组的相应位置上的像素的像素值之差的绝对值，并将差的绝对值的和提供给连续性方向推导单元404作为相关性信息。
根据从误差估计单元403提供的相关性信息，连续性方向推导单元404检测输入图像中数据连续性与参考轴的角度，并输出表示角度的数据连续性信息，其中所述数据连续性对应于现实世界1的光信号的丢失连续性。例如，根据从误差估计单元403提供的相关性信息，连续性方向推导单元404检测对应于具有最大相关性的像素组的角度作为数据连续性的角度，并输出表示对应于检测出的具有最大相关性的像素组的角度的数据连续性信息。
下面将描述对在0度到90度范围(所谓的第一象限)中的数据连续性角度。
图76是示出图72中的数据连续性检测单元101的更具体的结构的方框图。
数据选择单元402包括像素选择单元411-1到像素选择单元411-L。误差估计单元403包括估计误差计算单元412-1到估计误差计算单元412-L。连续性方向推导单元404包括最小误差角度选择单元413。
首先，描述在由活度信息表示的数据连续性角度是从45度到135度中的任意值的情况下，像素选择单元411-1到像素选择单元411-L的处理。
像素选择单元411-1到像素选择单元411-L设置经过关注像素的具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素中选择在关注像素上方的预定个数的像素、在关注像素下方的预定个数的像素以及关注像素作为一组。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L选择以关注像素为中心的9个像素作为在包括关注像素的垂直行像素中的一组。
在图77中，一个格形方块(方格)表示一个像素。在图77中，中心的圆形表示关注象素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素左侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，在关注像素左下方的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的左侧的垂直行像素中选择在选择像素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素左侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次左侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，次左的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的第二左的垂直行像素中选择在关注像素上方的预定个数的像素、在关注像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次左侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素右侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，在关注像素右上方的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的右侧的垂直行像素中选择在选择像素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素右侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次右侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，次右的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的第二右的垂直行像素中选择在关注像素上方的预定个数的像素、在关注像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次右侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。
从而，像素选择单元411-1到像素选择单元411-L选择五组像素。
像素选择单元411-1到像素选择单元411-L选择不同角度的(直线)的像素组。例如，像素选择单元411-1选择45度的像素组，像素选择单元411-2选择选择47.5度的像素组，以及像素选择单元411-3选择50度的像素组。像素选择单元411-1到像素选择单元411-L选择从52.5度到135度的每隔2.5度的角度的像素组。
注意，像素组的个数是可选的，例如为3或7，并且并不限制本发明。另外，被选择为一组的像素个数是可选的，例如为5或13，并且并不限制本发明。
注意，可以将像素选择单元411-1到像素选择单元411-L设置为从在垂直方向上的预定范围内的像素选择像素组。例如，像素选择单元411-1到像素选择单元411-L可以从在垂直方向上的121个像素(在关注像素上方的60个像素和下方的60个像素)中选择像素组。在该情况下，数据连续性检测单元101可以检测出达到88.09度的数据连续性与由空间方向X表示的轴线所成的角度。
像素选择单元411-1将选择的像素组提供给估计误差计算单元412-1，而像素选择单元411-2将选择的像素组提供给估计误差计算单元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元412-L中的每个。
估计误差计算单元412-1到估计误差计算单元412-L检测从像素选择单元411-1到像素选择单元411-L中的每个提供的在多组位置上的像素的像素值的相关性。例如，估计误差计算单元412-1到估计误差计算单元412-L计算包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的另一组的相应位置的像素的像素值之差的绝对值的和作为表示相关性的值。
尤其是，根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素左侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L计算最顶端的像素值之差，然后计算次顶端的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素次左侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。
然后，根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素右侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L计算最顶端的像素值之差，然后计算次顶端的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素次右侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。
估计误差计算单元412-1到估计误差计算单元412-L计算这样算出的全部像素值之差的绝对值的和的总和，从而计算像素值之差的绝对值的总和。
估计误差计算单元412-1到估计误差计算单元412-L将表示检测的相关性的信息提供给最小误差角度选择单元413。例如，估计误差计算单元412-1到估计误差计算单元412-L将计算的像素值之差的绝对值总和提供给最小误差角度选择单元413。
注意，估计误差计算单元412-1到估计误差计算单元412-L并不限于像素值之差的绝对值总和，还可以计算其它如相关值的值，如像素值的平方差的和、或根据像素值的相关性系数等。
最小误差角度选择单元413根据由估计误差计算单元412-1到估计误差计算单元412-L检测的不同角度的相关性，检测输入图像中数据连续性与参考轴的角度，所述连续性对应于作为丢弃的现实世界1的光信号的图像连续性。也就是说，根据由估计误差计算单元412-1到估计误差计算单元412-L检测的不同角度的相关性，最小误差角度选择单元413选择最大相关性，并取在其上检测出选择的相关性的角度作为数据连续性与参考轴的角度，从而在输入图像中检测出数据连续性与参考轴所成的角度。
例如，在从估计误差计算单元412-1到估计误差计算单元412-L提供的像素值之差的绝对值的总和中，最小误差角度选择单元413选择最小总和。对于从其计算出选择的总和的像素值，最小误差角度选择单元413参考(make reference to)属于在关注像素次左的一行垂直行像素中的、并位于离直线最近的位置上的像素、和属于在关注像素次右的一行垂直行像素中的、并位于离直线最近的位置上的像素。
如图77所示，最小误差角度选择单元413获得参考像素的位置在垂直方向上距离关注像素的位置的距离S。如图78所示，最小误差角度选择单元413根据公式(29)计算数据连续性与表示空间方向X的轴线所成的角度，所述轴线是作为图像数据的输入图像中的参考轴线，所述连续性对应于丢弃的现实世界1的光信号连续性。
θ＝tan-1(s/2) 公式(29)下面，将描述在由活度信息表示的数据连续性角度是从0度到45度和135到180中的任意值的情况下，像素选择单元411-1到像素选择单元411-L的处理。
像素选择单元411-1到像素选择单元411-L设置经过关注像素的具有预定角度的直线，其中以表示空间方向X的轴线为参考轴线，并且，在包括关注像素的水平行像素中选择在关注像素左侧的预定个数的像素、在关注像素右侧的预定个数的像素以及关注像素作为一组。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素上方的水平行像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的的水平行像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素次上侧的水平行像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的第二上方的垂直行像素中选择在关注像素左侧的预定个数的像素、在关注像素右侧的预定个数的像素以及选择的像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素下方的水平行像素中选择位于最接近各自设置的直线的位置上的像素。。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的下方的水平行像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素次下方的水平行像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的第二下方的垂直行像素中选择在关注像素左侧的预定个数的像素、在关注像素右侧的预定个数的像素以及选择的像素作为一组像素。
从而，像素选择单元411-1到像素选择单元411-L选择五组像素。
像素选择单元411-1到像素选择单元411-L选择不同角度的像素组。例如，像素选择单元411-1选择0度的像素组，像素选择单元411-2选择选择2.5度的像素组，以及像素选择单元411-3选择5度的像素组。像素选择单元411-1到像素选择单元411-L选择从7.5度到45度和从135度到180的每隔2.5度的角度的像素组。
像素选择单元411-1将选择的像素组提供给估计误差计算单元412-1，而像素选择单元411-2将选择的像素组提供给估计误差计算单元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元412-L中的每个。
估计误差计算单元412-1到估计误差计算单元412-L检测从像素选择单元411-1到像素选择单元411-L中的每个提供的在多组位置上的像素的像素值的相关性。估计误差计算单元412-1到估计误差计算单元412-L将表示检测的相关性的信息提供给最小误差角度选择单元413。
最小误差角度选择单元413根据由估计误差计算单元412-1到估计误差计算单元412-L检测的相关性，检测输入图像中数据连续性与参考轴的角度，所述连续性对应于作为丢弃的现实世界1的光信号的图像连续性。
接着，下面将参考图79的流程图描述对应于步骤S101中的处理的、利用具有如图72所示的结构的数据连续性检测单元101进行的数据连续性检测处理。
在步骤S401中，活度检测单元401和数据选择单元402选择关注像素，所述像素是输入图像中的关注像素。活度检测单元401和数据选择单元402选择同一个关注像素。例如，活度检测单元401和数据选择单元402以栅格扫描的顺序从输入图像中选择关注像素。
在步骤S402中，活度检测单元401检测关注像素的活度。例如，活度检测单元401根据在以关注像素为中心的预定个数的像素构成的块的垂直方向上对准的像素的像素值之差、以及在水平方向上对准的像素的像素值之差而检测活度。
活度检测单元401检测关注像素在空间方向中的活度，并将表示检测结果的活度信息提供给数据选择单元402和连续性方向推导单元404。
在步骤S403中，数据选择单元402从包括关注像素的一行像素中选择预定个数的以关注像素为中心的像素作为像素组。例如，数据选择单元402择预在关注像素的上方或左侧的预定个数的像素、以及在关注像素下方或右侧的预定个数的像素、以及关注像素，作为像素组，其中所述预定个数的像素属于包括关注像素的垂直或水平像素行。
在步骤S404中，数据选择单元402根据由在步骤S402中检测的活度，从对于在预定范围中的每个角度的预定个数的像素行中选择预定个数的每个像素作为像素组。例如，数据选择单元402设置具有在预定范围内的角度的、经过关注像素的直线，以表示空间方向X的轴线作为参考轴线，选择在水平方向或垂直方向上距离关注像素一行或两行、并且离直线最近的像素，并且选择在选择的像素上方或左侧的预定个数的像素、在选择的像素的下方或右侧的预定个数的像素、以及最接近直线的选择的像素作为像素组。数据检测单元402选择每个角度的像素组。
数据选择单元402将选择像素组提供给误差估计单元403。
在步骤S405，误差估计单元403计算以关注像素为中心的像素组与每个角度的被选像素组之间的相关性。例如，误差估计单元403对于每个角度计算包括关注像素的像素组的像素值与在其它组中的相应位置的像素的像素值之差的绝对值的和。
根据每个角度的选定像素组之间的相关性，可以检测数据连续性的角度。
误差估计单元403将表示算出的相关性的信息提供给连续性方向推导单元404。
在步骤S406中，根据在步骤S405中的处理计算的相关性，从具有最强相关性的像素的位置，连续性方向推导单元404检测基于作为图像数据的输入图像中的参考轴的数据连续性角度，所述连续性角度对应于现实世界1的光信号连续性。例如，连续性方向推导单元404选择像素值之差的绝对值的总和中的最小总和，并从被计算出选择的总和的像素组的位置检测数据连续性角度θ。
连续性方向推导单元404输出表示被检测出的数据连续性的角度的数据连续性信息。
在步骤S407中，数据选择单元402确定对所有像素的处理是否已经结束。并在确定对所有像素的处理仍未结束时，流程回到步骤S401，从仍未被取为关注像素的像素中选择关注像素，并重复上述处理。
在步骤S407中确定已经结束对所有像素的处理的情况下，该处理结束。
从而，数据连续性检测单元101可以检测基于图像数据中的参考轴的数据连续性角度，所述数据连续性角度对应于丢失的现实世界1的光信号连续性。
注意，可以这样设置，其中，具有图72中的结构的数据连续性检测单元101检测关注像素在输入图像的空间方向中的活度，所述关注像素是关注帧中的关注像素；根据检测的活度，对于基于关注像素和空间方向参考轴的每个角度和移动矢量，从关注帧和从在时间方向上在关注帧之前或之后的每个帧中选取由在垂直方向行或水平方向行中的预定个数的像素构成的多个像素组；检测选取的像素组的相关性；以及根据该相关性，检测在输入图像的时间方向和空间方向中的数据连续性的角度。
例如，如图80所示，根据检测的活度，对于基于关注像素和空间方向参考轴的每个角度和移动矢量，数据选择单元402从作为关注帧的帧#n、帧#n-1以及帧#n+1中选取由在垂直方向行或水平方向行中的预定个数的像素构成的多个像素组。
帧#n-1在时间方向上在帧#n之前，而帧#n+1在时间方向上在帧#n之后。也就是说，以帧#n-1、#n和#n+1的顺序显示帧#n-1、#n和#n+1。
误差估计单元403对于选取的多组像素检测每个单独角度和单独移动矢量的像素组的相关性。连续性方向推导单元404根据像素组的相关性检测输入图像中的时间方向和空间方向中的数据连续性角度，所述数据连续性角度对应于丢失的现实世界1的光信号连续性，并输出表示角度的数据连续性信息。
图81是更详细地示出图72中所示的数据连续性检测单元101的另一结构的方框图。其中用相同的标号表示与图76中相同的部分，并省略对其的描述。
数据选择单元402包括像素选择单元421-1至像素选择单元421-L。误差根据单元403包括估计误差计算单元422-1至估计误差计算单元422-L。
利用图81中所示的数据连续性检测单元101，选取对应于角度范围的多组，其中像素组由对应于角度范围的多组像素构成，检测选取的像素组的相关性，并根据检测的相关性检测在输入图像中基于参考轴的数据连续性角度。
首先，描述在由活度信息表示的数据连续性角度是从45度到135度中的任意值的情况下，像素选择单元421-1到像素选择单元421-L的处理。
如图82左边所示，利用图76所示的数据连续性检测单元101，选取无关于设置直线角度的预定个像素的像素组，而如图82右边所示，利用如图81所示的数据连续性检测单元101，选取对应于设置直线的角度范围的多个像素的像素组。另外，利用如图81所示的数据连续性检测单元101，选取对应于设置直线的角度范围的多个像素组。
像素选择单元421-1到像素选择单元421-L设置在45度到135度的范围中、经过关注像素并具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。
像素选择单元421-1到像素选择单元421-L在包括关注像素的垂直行像素中选择在关注像素上方的对应于每个直线的角度范围的个数的像素、在关注像素下方的多个像素以及关注像素作为一组。
像素选择单元421-1到像素选择单元421-L在包括关注像素的垂直行像素左侧和右侧的、在水平方向上以关注像素为参考距离关注像素为预定距离的垂直行像素中选择位于最接近每个角度的设置直线的像素，并从对于选择像素的一行垂直行像素中，选择在选择像素上方的对应于设置直线的角度范围的个数的像素、在选择像素下方的对应于设置直线的角度范围的个数的像素以及选择的像素作为一组像素。
也就是说，像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数像素组。
例如，当用传感器2成像细线的图像的情况下，所述细线与空间方向X成约45度的角度，并在检测元件的检测区域具有近似相同垂直的宽度，将细线的图像投影到数据3上，使得在空间方向Y的一行上对准的三个像素上形成弧形作为细线图像。相反，当用传感器2成像细线的图像的情况下，所述细线与空间方向X，并在检测元件的检测区域具有近似相同的宽度，将细线的图像投影到数据3上，使得在空间方向Y的一行上对准的多个像素上形成弧形作为细线图像。
对于像素组中包括的相同个数的像素，在细线与空间方向X成约45度角度的情况下，像素组中的其上被投影细线图像的像素的个数更小了，这表示分辨率下降。另一方面，在细线与空间方向近似垂直的情况下，在其上投影细线图像的部分像素上进行的处理可能导致精度的降低。
因此，为了使其上被投影细线图像的像素的个数近似相等，像素选择单元421-1到像素选择单元421-L选择像素和像素组，使得在设置直线与空间方向X成接近45度角度的情况下减少在每个像素组中包括的像素个数、并增加像素组的组数，而在设置直线与空间方向X接近垂直的情况下增加每个像素组中的像素的个数，并现少像素组的组数。
例如，如图83和84所示，在设置直线的角度在大于等于45度并小于63.4度的情况下(该范围由图83和84中的A表示)，则像素选择单元421-1到像素选择单元421-L从关注像素的垂直行中选择以关注像素为中心的五个像素作为像素组，并且还从这样的像素中选择五个像素作为像素组，所述像素属于在关注像素的水平方向上五个像素范围内的左侧和右侧的行上。
也就是说，在设置直线的角度在大于等于45度但小于63.4度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择每个由5个像素构成的11个像素组。在该情况下，被选作为最接近设置直线的像素的像素在垂直方向上离关注像素为5个像素到9个像素。
在图84中，行数表示在关注像素左侧或右侧的像素行数，从其上选择像素作为像素组。在图84中，一行中的像素数表示从关注像素的垂直行、或在关注像素的左侧或右侧的行中选作为像素组的像素个数。在图84中，像素的选择范围表示将被选择的像素在垂直方向中的位置，所述像素最接近经过关注像素的设置直线。
如图85所示，例如，在设置直线的角度为45度的情况下，像素选择单元421-1在关注像素的垂直行中选择5个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上五个像素范围内的像素的行中选取五个像素作为像素组。也就是说，像素选择单元421-1从输入图像选择11个每个由5个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有五个像素。
注意，在图85到图92中，由虚线表示的方形(由虚线分开的单个方格)表示单个像素，由实线表示的方形表示像素组。在图85到图92中，关注像素在空间方向X上的坐标为0，并且关注像素在空间方向Y上的坐标为0。
另外，在图85到图92中，阴影方形表示关注像素或最接近设置直线的像素。在图85到图922中，由深色线表示的方形表示选择的以关注像素为中心的像素组。
如图86所示，例如，在设置直线的角度为60.9度的情况下，像素选择单元421-2在关注像素的垂直行中选择5个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上五个像素范围内的像素的行中选取五个像素作为像素组。也就是说，像素选择单元421-2从输入图像选择11个每个由5个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有九个像素。
例如，如图83和84所示，在设置直线的角度为大于等于63.4度但小于71.6度(在图83和84中由B表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。
也就是说，在设置直线的角度为大于等于63.4度但小于71.6度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择9个每个由7个像素构成的像素组。在该情况下，被选为最接近设置直线的像素离关注像素最远的像素在垂直方向上离关注像素为8到11个像素。
如图87所示，例如，在设置直线的角度为63.4度的情况下，像素选择单元421-3在关注像素的垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是说，像素选择单元421-3从输入图像选择9个每个由7个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有8个像素。
如图88所示，例如，在设置直线的角度为70.0度的情况下，像素选择单元421-4在关注像素的垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是说，像素选择单元421-4从输入图像选择9个每个由7个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有11个像素。
例如，如图83和84所示，在设置直线的角度为大于等于71.6度但小于76度(在图83和84中由C表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。
也就是说，在设置直线的角度为大于等于71.6度但小于76度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择7个每个由9个像素构成的像素组。在该情况下，被选为最接近设置直线的像素离关注像素最远的像素在垂直方向上离关注像素为9到11个像素。
如图89所示，例如，在设置直线的角度为71.6度的情况下，像素选择单元421-5在关注像素的垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是说，像素选择单元421-5从输入图像选择7个每个由9个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有9个像素。
如图90所示，例如，在设置直线的角度为74.7度的情况下，像素选择单元421-6在关注像素的垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是说，像素选择单元421-6从输入图像选择7个每个由9个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有11个像素。
例如，如图83和84所示，在设置直线的角度为大于等于76度但小于87.7度(在图83和84中由D表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取9个像素作为像素组。也就是说，在设置直线的角度为大于等于76度但小于87.7度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择11个每个由5个像素构成的像素组。在该情况下，被选为最接近设置直线的像素离关注像素最远的像素在垂直方向上离关注像素为8到50个像素。
如图91所示，例如，在设置直线的角度为76度的情况下，像素选择单元421-7在关注像素的垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取11个像素作为像素组。也就是说，像素选择单元421-7从输入图像选择5个每个由11个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有8个像素。
如图92所示，例如，在设置直线的角度为87.7度的情况下，像素选择单元421-8在关注像素的垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取11个像素作为像素组。也就是说，像素选择单元421-8从输入图像选择5个每个由11个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有50个像素。
从而，像素选择单元421-1到像素选择单元421-L每个选择对应于角度范围的预定个数的像素组，所示像素组由对应于角度范围的预定个数的像素构成。
像素选择单元421-1将选择的像素组提供给估计误差计算单元422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算单元422-2。同样，像素选择单元421-3到像素选择单元421-L将选择的像素组提供给估计误差计算单元422-3到估计误差计算单元422-L。
估计误差计算单元422-1到估计误差计算单元422-L检测从像素检测单元421-1到像素检测单元421-L中的每个提供的多组中在相应位置上的像素的像素值的相关性。例如，估计误差计算单元422-1到估计误差计算单元422-L计算从像素检测单元421-1到像素检测单元421-L中的每个提供包括关注像素的像素组的像素的像素值与在其它多组中的相应位置上的像素的像素值之差的绝对值的和，并用算出的和除以包括关注像素的像素组以外的像素组中包括的像素的个数。用算出的和除以包括关注像素的像素组以外的像素组中包括的像素的个数是为了归一化表示相关性的值，因为被选的像素个数根据设置的直线的角度而不同。
估计误差计算单元422-1到估计误差计算单元422-L将表示相关性的检测信息提供给最小误差角度选择单元413。例如，估计误差计算单元422-1到估计误差计算单元422-L将像素值之差的归一化的和提供给最小误差角度选择单元413。
接着，将描述在由活度信息表示的数据连续性的角度是在0度到45度和135度到180度中的任意值的情况下，像素选择单元421-1到像素选择单元421-L的处理。
像素选择单元421-1到像素选择单元421-L设置在0到45度或135度到180度的范围中、经过关注像素并具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。
像素选择单元421-1到像素选择单元421-L，在包括关注像素的水平行像素中选择在关注像素左侧的对应于设置直线的角度范围的个数的像素、在关注像素右侧的对应于设置直线的角度范围的个数的像素、以及选择像素作为一组。
像素选择单元421-1到像素选择单元421-L在距离包括关注像素的水平行像素上方和下方的、在垂直方向上以关注像素为参考并离关注像素为预定距离的水平行像素中选择位于最接近每个角度的设置直线的像素，并从选择像素的一行水平行像素中，选择在选择像素左侧的对应于设置直线的角度范围的个数的像素、在选择像素右侧的对应于设置直线的角度范围的个数的像素以及选择的像素作为一组像素。
也就是说，像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数像素组。
像素选择单元421-1将选择的像素组提供给估计误差计算单元422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算单元422-2。同样，像素选择单元421-3到像素选择单元421-L将选择的像素组提供给估计误差计算单元422-3到估计误差计算单元422-L。
估计误差计算单元422-1到估计误差计算单元422-L检测从像素检测单元421-1到像素检测单元421-L中的每个提供的多组中在相应位置上的像素的像素值的相关性。
估计误差计算单元422-1到估计误差计算单元422-L将表示相关性的检测信息提供给最小误差角度选择单元413。
接着，将参考图93中的流程图描述利用具有图81所示的结构的数据连续性检测单元101进行的对应于在步骤S101中的数据连续性检测的处理。
步骤S421和步骤S422的处理与步骤S401和步骤S402的处理相同，因此省略对其的描述。
在步骤S423中，对于对应于在步骤S422中检测的活度的范围中的每个角度，数据检测单元402从包括关注像素的像素行中选择以关注像素为中心的、对应于角度范围的预定多个像素作为像素组。例如，数据选择单元402从属于垂直行或水平行的像素的像素中选择由设置直线的角度范围确定的个数、在关注像素的上方或左侧、在关注像素的下方或右侧的像素以及关注像素作为像素组。
在步骤S424，对于根据在步骤S422的处理中检测的活度的范围中的每个预定角度，数据检测单元402从对应于角度范围的预定个数的像素行中选择对应于角度范围的预定个数的像素作为像素组。例如，数据选择单元402设置具有预定范围角度的、经过关注像素的直线，其中以表示空间方向X的轴线为参考轴线，选择最接近直线、同时在水平方向或垂直方向上距离关注像素为根据设置直线的角度范围的预定范围，并选择在像素的上方或左侧的对应于设置直线的角度范围的个数的像素、在像素的下方或右侧的对应于设置直线的角度范围的个数的像素、以及最接近选择直线的像素作为像素组。数据检测单元402选择每个角度的像素组。
数据选择单元402将选择的像素提供给误差估计单元403。
在步骤S425中，误差估计单元403计算以关注像素为中心的像素组与选择每个角度的像素组之间的相关性。例如，误差估计单元403计算包括关注像素的像素组的像素的像素值与在其它组的相应位置的像素的像素值之差的绝对值的和，并用像素值之差的绝对值的和除以所述其它组的像素的个数，从而计算相关性。
可以这样设置，其中根据每个角度的像素组之间的相关性检测数据连续性的角度。
误差估计单元403将表示计算的相关性的信息提供给连续性方向推导单元404。
步骤S426和步骤S427与步骤S406和步骤S407的处理相同，因此省略对其的描述。
从而，数据连续性检测单元101可以更精密并准确地检测基于图像数据中的参考轴线的数据连续性角度，其对应于丢失的现实世界1的光信号的连续性。利用具有图81所示的结构的数据连续性检测单元101，在数据连续性角度为约45度的情况下，可以尤其估计其上被投影了细线图像的更多像素的相关性，从而可以更精确地检测数据连续性的角度。
注意，可以这样设置，同样利用具有图81所示结果的数据连续性检测单元101，其中其中对于特定关注像素检测输入图像的空间方向中的活度，所述关注像素是关注帧中的关注像素，并从根据空间角度范围确定的在垂直行或水平行上的一定个数的像素组，选取对应于空间角度范围的个数的像素，根据检测的活度，对于基于关注像素和在空间方向中的参考轴线的每个角度和移动矢量，从关注帧和在时间方向上在关注帧之前和之后的帧中检测像素组的相关性，并根据相关性检测在输入图像中的时间方向和空间方向上的数据连续性角度。
图94是示出数据连续性检测单元101的另一结构的方框图。
利用具有图94所示的结构的数据连续性检测单元101，对于作为关注像素的像素，选取由以关注像素为中心的预定个数的像素构成的块、以及每个由围绕关注像素的预定个数的像素构成的多个块，检测以预定像素为中心的块与周围块的相关性，并且根据相关性，检测输入图像中基于参考轴的数据连续性角度。
数据检测单元441随后从输入图像中选择关注像素，选取由以关注像素为中心的预定个数的像素构成的块、以及由关注像素周围的预定个数的像素构成的多个块，并将选取的块提供给误差估计单元442。
例如，数据选择单元441对于基于关注像素和参考轴的每个预定角度范围，选取由以关注像素为中心的5×5个像素构成的块，以及由在关注像素周围的5×5个像素构成的两个块。
误差估计单元442检测从数据选择单元441提供的以关注像素为中心的块与在关注像素周围的块的相关性，并将表示检测的相关性的相关性信息提供给连续性方向推导单元443。
例如，误差估计单元442检测相对于每个角度的由以关注像素为中心的5×5个像素构成的块的像素值与对应于一个角度范围的由5×5个像素构成的两个块的像素值的相关性。
根据从误差估计单元442提供的相关性信息，从具有最大相关性的在关注像素周围的块的位置，连续性方向推导单元443检测输入图像中基于参考轴的数据连续性的角度，所述连续性的角度对应于丢失的现实世界1的光信号的连续性，并输出表示角度的数据连续性信息。例如，连续性方向推导单元443根据从误差根据单元442提供的相关性信息，检测与由以关注像素为中心的5×5个像素构成的块具有最大相关性的、由关注像素周围的5×5个像素构成的两个块的角度范围，作为连续性数据的角度，并输出表示检测的角度的数据连续性信息。
图95为示出图94所示的数据连续性检测单元101的更详细结构的方框图。
数据选择单元441包括像素选择单元461-1到像素选择单元461-L。误差估计单元442包括估计误差计算单元462-1到估计误差计算单元462-L。连续性方向推导单元443包括最小误差角度选择单元463。
例如，数据选择单元441包括像素选择单元461-1到像素选择单元461-8。误差估计单元442包括估计误差计算单元462-1到估计误差计算单元462-8。
每个像素选择单元461-1到像素选择单元461-8选取由以关注像素为中心的预定个数的像素构成的块、以及由根据基于关注像素和参考轴的预定角度范围的预定个数的像素构成的两个块。
图96描述了由像素选择单元461-1到像素选择单元461-L选取的5×5个像素块的实例。图96的中心位置表示关注像素的位置。
注意，5×5像素块只是一个实例，但是在块中包括的像素的个数并不限制本发明。
例如，像素选择单元461-1选取以关注像素为中心的5×5像素块，并对应于0度到18.4度和161.6度到180度，选取以从关注像素向右平移5个像素的像素为中心的5×5像素块(图96中由A表示)、选取以从关注像素向左平移5个像素的像素为中心的5×5像素块(图96中由A’表示)。像素选择单元461-1将选取的三个5×5像素块提供给估计误差计算单元462-1。
像素选择单元461-2选取以关注像素为中心的5×5像素块，并对应于18.4度到33.7度的角度范围，选取以从关注像素向右平移10个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由B表示)、选取以从关注像素向左平移10个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由B’表示)。像素选择单元461-2将选取的三个5×5像素块提供给估计误差计算单元462-2。
像素选择单元461-3选取以关注像素为中心的5×5像素块，并对应于33.7度到56.3度的角度范围，选取以从关注像素向右平移5个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由C表示)、选取以从关注像素向左平移5个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由C’表示)。像素选择单元461-3将选取的三个5×5像素块提供给估计误差计算单元462-3。
像素选择单元461-4选取以关注像素为中心的5×5像素块，并对应于56.3度到71.6度的角度范围，选取以从关注像素向右平移5个像素、向上平移10个像素的像素为中心的5×5像素块(图96中由D表示)、选取以从关注像素向左平移5个像素、向下平移10个像素的像素为中心的5×5像素块(图96中由D’表示)。像素选择单元461-4将选取的三个5×5像素块提供给估计误差计算单元462-4。
像素选择单元461-5选取以关注像素为中心的5×5像素块，并对应于71.6度到108.4度的角度范围，选取以从关注像素向上平移5个像素的像素为中心的5×5像素块(图96中由E表示)、选取以从关注像素向下平移5个像素的像素为中心的5×5像素块(图96中由E’表示)。像素选择单元461-5将选取的三个5×5像素块提供给估计误差计算单元462-5。
像素选择单元461-6选取以关注像素为中心的5×5像素块，并对应于108.4度到123.7度的角度范围，选取以从关注像素向左平移5个像素、向上平移10个像素的像素为中心的5×5像素块(图96中由F表示)、选取以从关注像素向右平移5个像素、向下平移10个像素的像素为中心的5×5像素块(图96中由F’表示)。像素选择单元461-6将选取的三个5×5像素块提供给估计误差计算单元462-6。
像素选择单元461-7选取以关注像素为中心的5×5像素块，并对应于123.7度到146.3度的角度范围，选取以从关注像素向左平移5个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由G表示)、选取以从关注像素向右平移5个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由G’表示)。像素选择单元461-7将选取的三个5×5像素块提供给估计误差计算单元462-7。
像素选择单元461-8选取以关注像素为中心的5×5像素块，并对应于146.3度到161.6度的角度范围，选取以从关注像素向左平移10个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由H表示)、选取以从关注像素向右平移10个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由H’表示)。像素选择单元461-8将选取的三个5×5像素块提供给估计误差计算单元462-8。
下文中，将由以关注像素为中心的预定个数的像素构成的块称为关注块。
下文中，将由对应于基于关注像素和参考轴的预定角度范围的预定个数的像素称为参考块。
这样，例如，像素选择单元461-1到像素选择单元461-8从以关注像素为中心的25×25个像素中选取关注块和参考块。
估计误差计算单元462-1到估计误差计算单元462-L检测关注块与从像素选择单元461-1到像素选择单元461-L提供的两个参考块之间的相关性，并将表示检测的相关性的相关性信息提供给最小误差角度选择单元463。
例如，估计误差计算单元462-1对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度获取的、以从关注像素向右平移5个像素的像素为中心的5×5像素参考块，计算关注像素中的像素的像素值与参考块中的像素的像素值之差的绝对值。
在该情况下，如图97所示，为了在计算像素值之差的绝对值中使用关注像素的像素值，以关注块的中心像素与参考块的中心像素重叠的位置作为参考，估计误差计算单元462-1计算在这样的情况下重叠的位置上的像素像素值之差的绝对值，在所述情况中，将关注块的位置对于参考块向左平移两个像素或向右平移两个像素，并向上平移两个像素或向下平移两个像素。这表示在关注块和参考块的25中位置中的相应位置上的像素的像素值之差的绝对值。换句话说，在计算像素值之差的绝对值的情况中，由相对移动的关注块和参考块构成的范围为9×9个像素。
在图97中，方块表示像素，A表示参考块，B表示关注块。在图97中，深色线表示关注像素。也就是说，图97示出了将关注块对于参考块向右平移两个像素并向上平移一个像素的情况。
另外，估计误差计算单元462-1对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度获取的、以从关注像素向左平移5个像素的像素为中心的5×5像素参考块，计算关注像素中的像素的像素值与参考块中的像素的像素值之差的绝对值。
估计误差计算单元462-1然后获得已经计算的差的绝对值之和，并将差的绝对值之和提供给最小误差角度选择单元463作为表示相关性的相关性信息。
估计误差计算单元462-2对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于18.4度到33.7度获取的两个5×5像素参考块，计算像素值之差的绝对值，并还计算已经算出的差的绝对值的和。估计误差计算单元462-2将算出的差的绝对值之和提供给最小误差角度选择对于463作为表示相关性的相关性信息。
同样，估计误差计算单元462-3到估计误差计算单元462-8对于5×5个像素构成的关注块、以及对应于预定角度范围获取的两个5×5像素参考块，计算像素值之差的绝对值，并还计算已经算出的差的绝对值的和。估计误差计算单元462-3到估计误差计算单元462-8每个将差的绝对值之和提供给最小误差角度选择对于463作为表示相关性的相关性信息。
最小误差角度选择单元463检测对应于在这样的参考块位置上两个参考块的角度作为数据连续性角度，在所示位置上，从估计误差计算单元462-1到估计误差计算单元462-8提供的作为相关性信息的像素值之差的绝对值的和被获得为表示最强相关性的最小值，并且，所述单元463输出表示检测的角度的输出数据连续性信息。
现在将描述参考块的位置和数据连续性的角度范围之间的关系。
在用n阶一维多项式近似用于模拟现实世界信号的模拟函数f(x)的情况中，可以将模拟函数f(x)表达为公式(30)。
f(x)=w0xn+w1xn-1+···+wn-1x+wn]]>=Σi=0nwixn-i]]>公式(30)在由模拟函数f(x)模拟的现实世界1的信号的波形具有与空间方向Y的特定梯度(角度)时，由通过将公式(30)中的x取为x+γy而获得的公式(31)表达用于模拟现实世界1的信号的模拟函数f(x，y)。
f(x,y)=w0(x+γy)n+w1(x+γy)n-1+···+wn-1(x+γy)+wn]]>=Σi=0nwi(x+γy)n-i]]>公式(31)γ表示在空间方向X中的位置变化与在空间方向Y中的位置变化的比值。下文中，将γ称为平移量。
图98示出了，在关注像素的位置与角度为0度的直线之间在空间方向X上的距离为0，即直线经过关注像素的情况下，从关注像素的周围像素的位置到在空间方向X中具有角度θ的直线的距离。这里，像素的位置是像素的中心。另外，在所述位置在直线左侧的情况下，位置与直线之间的距离由负值表示，在所述位置在直线右侧的情况下，位置与直线之间的距离由正值表示。
例如，在关注像素右侧的相邻像素的位置，即其中在空间方向X上的坐标x增1，与具有角度θ的直线在空间方向X上的距离为1，以及，在关注像素左侧的相邻像素的位置，即其中在空间方向X上的坐标x减1，与具有角度θ的直线在空间方向X上的距离为-1。在关注像素上方的相邻像素的位置，即其中在空间方向Y上的坐标y增1，与具有角度θ的直线在空间方向X上的距离为-γ，以及，在关注像素下方的相邻像素的位置，即其中在空间方向Y上的坐标y减1，与具有角度θ的直线在空间方向X上的距离为γ。
在角度θ大于45度但小于90度的情况下，平移量γ大于0但小于1，平移量γ和角度θ之间存在关系式γ＝1/tanθ。图99示出了平移量γ和角度θ之间的关系。
现在，注意关注像素附近的像素的位置与经过关注像素并具有角度θ的直线的在空间方向X上的距离相对于平移量γ的变化的变化。
图100示出了关注像素附近的像素的位置与经过关注像素并具有角度θ的直线的在空间方向X上相对于平移量γ的距离。在图100中，朝向右上方的单点虚线表示在其底部与关注像素相邻的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的单点虚线表示在其上部与关注像素相邻的像素的位置与直线在空间方向X上相对于平移量γ的距离。
在图100中，朝向右上方的两点虚线表示在关注像素的向下两个像素、向左一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的两点虚线表示在关注像素向上两个像素、向右一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。
在图100中，朝向右上方的三点虚线表示在关注像素的向下一个像素、向左一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的两点虚线表示在关注像素向上一个像素、向右一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。
从图100中可以找出对于平移量γ的具有最小距离的像素。
也就是说，在平移量γ为0到1/3的情况下，从在上部相邻于关注像素的像素和在下部相邻于关注像素的像素到直线的距离是最小的。也就是说，在角度θ是71.6度到90度的情况下，从在上部相邻于关注像素的像素和在下部相邻于关注像素的像素到直线的距离是最小的。
在平移量γ为1/3到2/3的情况下，从在关注像素上方两个像素、右侧一个像素的像素和在关注像素下方两个像素、左侧一个像素的像素到直线的距离是最小的。也就是说，在角度θ是56.3度到71.6度的情况下，从在关注像素上方两个像素、右侧一个像素的像素和在关注像素下方两个像素、左侧一个像素的像素到直线的距离是最小的。
在平移量γ为2/3到1的情况下，从在关注像素上方一个像素、右侧一个像素的像素和在关注像素下方一个像素、左侧一个像素的像素到直线的距离是最小的。也就是说，在角度θ是45度到56.3度的情况下，从在关注像素上方一个像素、右侧一个像素的像素和在关注像素下方一个像素、左侧一个像素的像素到直线的距离是最小的。
角度范围在0度到45度的直线与像素之间的关系也可以同样考虑。
可以用关注块和参考块代替图98中的像素，以考虑参考块和直线在空间方向X上的距离。
图101示出了这样的参考块，其与经过关注像素并具有角度θ的直线的在空间方向X上的距离最小。
图101中的A到H和A’到H’表示图96中的参考块A到H和A’到H’。
也就是说，在具有在0度到18.4度和161.6到180.8度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块A和A’之间的距离是最小的。因此，反之，在关注块与参考块A和A’之间的相关性最大的情况下，这意味着，在连接关注块和参考块A和A’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在0度到18.4度和161.6到180.8度的范围内。
在具有在18.4度到33.7度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块B和B’之间的距离是最小的。因此，反之，在关注块与参考块B和B’之间的相关性最大的情况下，这意味着，在连接关注块和参考块B和B’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在18.4度到33.7度的范围内。
在具有在33.7度到56.3度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块C和C’之间的距离是最小的。因此，反之，在关注块与参考块C和C’之间的相关性最大的情况下，这意味着，在连接关注块和参考块C和C’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在33.7度到56.3度的范围内。
在具有在56.3度到71.6度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块D和D’之间的距离是最小的。因此，反之，在关注块与参考块D和D’之间的相关性最大的情况下，这意味着，在连接关注块和参考块D和D’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在56.3度到71.6度的范围内。
在具有在71.6度到108.4度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块E和E’之间的距离是最小的。因此，反之，在关注块与参考块E和E’之间的相关性最大的情况下，这意味着，在连接关注块和参考块E和E’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在71.6度到108.4度的范围内。
在具有在108.4度到123.7度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块F和F’之间的距离是最小的。因此，反之，在关注块与参考块F和F’之间的相关性最大的情况下，这意味着，在连接关注块和参考块F和F’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在108.4度到123.7度的范围内。
在具有在123.7度到146.3度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块G和G’之间的距离是最小的。因此，反之，在关注块与参考块G和G’之间的相关性最大的情况下，这意味着，在连接关注块和参考块G和G’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在123.7度到146.3度的范围内。
在具有在146.3度到161.6度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块H和H’之间的距离是最小的。因此，反之，在关注块与参考块H和H’之间的相关性最大的情况下，这意味着，在连接关注块和参考块H和H’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在146.3度到161.6度的范围内。
这样，数据连续性检测单元101可以根据关注块与参考块之间的相关性检测数据连续性的角度。
注意，利用具有图94所示的结构的数据连续性检测单元101，可以这样设置，其中将数据连续性的角度范围输出为数据连续性信息，或这样设置，其中将表示数据连续性的角度范围的代表值输出为数据连续性信息。例如，可以将数据连续性的角度范围的中间值用作代表值。
另外，利用具有图94所示的结构的数据连续性检测单元101，通过使用关注块与参考块之间的最大相关性，允许减半对数据连续性的角度范围的检测，即，数据连续性的角度分辨率被两倍了。
例如，当关注块与参考块E和E’之间的相关性最大，最小误差角度选择单元463比较参考块D和D’与关注块的相关性与参考块F和F’与关注块的相关性，如图102所示。在参考块D和D’与关注块之间的相关性比参考块F和F’与关注块的相关性大的情况下，则最小误差角度选择单元463将71.6度到90度的范围设置为数据连续性的角度。或者，在该情况下，最小误差角度选择单元可以将81度设置为数据连续性角度的代表值。
在参考块F和F’与关注块之间的相关性比参考块D和D’与关注块的相关性大的情况下，则最小误差角度选择单元463将90度到108.4度的范围设置为数据连续性的角度。或者，在该情况下，最小误差角度选择单元可以将99度设置为数据连续性角度的代表值。
最小误差角度选择单元463利用相同的处理对于其它角度同样可以减半将要检测的数据连续性角度的范围。
参考图102所述的技术还称为简化16方向检测。
从而，具有图94所示的结构的数据连续性检测单元101利用简单的处理，可以在更窄的范围中检测数据连续性的角度。
接着，将参考图103中所示的流程图，描述利用具有图94所示的结构的数据连续性检测单元101对应于在步骤S101中的处理检测数据连续性的处理。
在步骤S441中，数据选择单元441从输入图像选择关注像素。例如，数据选择单元441以栅格扫描的顺序从输入图像中选择关注像素。
在步骤S442中，数据选择单元441选择由以关注像素为中心的预定个数的像素构成的关注块。例如，数据选择单元441选择由以关注像素为中心的5×5个像素构成的关注块。
在步骤S443中，数据选择单元441选择由在关注像素周围的预定位置的预定个数的像素构成的参考块。数据选择单元441对于每个基于关注像素和参考轴的预定角度范围，选择由以基于关注像素的尺寸的预定位置为中心的5×5个像素构成的参考块。
数据选择单元441将关注块和参考块提供给误差估计单元442。
在步骤S444，误差估计单元442对于每个基于关注像素和参考轴的预定角度范围，计算关注块和对应于角度范围的参考块之间的相关性。误差估计单元442将表示计算的相关性的相关性信息提供给连续性方向推导单元443。
在步骤S445中，连续性方向推导单元443从具有与关注块的最大相关性的参考块的位置，检测输入图像中基于参考轴的数据连续性的角度，其对应于丢失的现实世界1的信号的图像连续性。
连续性方向推导单元443将表示检测的数据连续性角度的数据连续性信息输出。
在步骤S446，数据选择单元441确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束的情况下，该流程返回步骤S441，从仍未被选的像素中选择关注的像素作为关注像素，并重复上述处理。
在步骤S446中，在确定对所有像素的处理已经结束的情况下，该处理结束。
从而，具有图94所示的结构的数据连续性检测单元101利用更容易的处理，可以检测图像数据中基于参考轴的数据连续性角度，其对应于丢失的现实世界1的光信号的连续性。另外，具有图94所示的结构的数据连续性检测单元101可以利用输入图像中较窄范围的像素的像素值检测数据连续性的角度，从而，即使在输入图像中存在噪音等情况下，仍可以更精确地检测数据连续性的角度。
注意，对于具有图94所示的结构的数据连续性检测单元101，可以这样设置，其中，对于关注帧中的关注像素，除了选取以关注像素为中心、并由关注帧中的预定个数的像素构成的块，还可以选取每个由以关注像素周围的预定个数的像素构成的多个块、从在时间方向上在关注帧之前或之后的帧中，以对应于关注像素的位置上的像素为中心、并由预定个数的像素构成的块、以及每个由以对应于关注像素的位置上的像素周围的预定个数的像素构成的多个块，并检测以关注像素为中心的块与在其周围的块子阿空间方向和时间方向上的相关性，从而基于相关性，在时间方向和空间方向上检测输入图像的数据连续性的角度。
例如，如图104所示，数据选择单元441依次选择关注帧#n中的关注像素、并从帧#n中选取以关注像素为中心、并由预定个数的像素构成的块、以及每个由以关注像素周围的预定个数的像素构成的多个块。另外，数据选择单元441从#n-1和帧#n+1中选取以对应于关注像素的位置上的像素为中心、并由预定个数的像素构成的块、以及每个由对应于关注像素的位置上的像素周围的预定个数的像素构成的多个块。数据选择单元441将选取的块提供给误差估计单元442。
误差估计单元442检测从数据选择单元441提供的以关注像素为中心的块与其周围的块在时间方向和空间方向上的相关性，并将表示检测的相关性的相关性信息提供给连续性方向推导单元443。根据从误差估计单元442提供的相关性信息，连续性方向推导单元443从具有最大相关性的块在空间方向或时间方向上的位置，检测输入图像的数据连续性在空间方向或时间方向上的角度，其对应于丢失的现实世界1的光信号连续性，并输出表示角度的数据连续性信息。
另外，数据连续性检测单元101可以根据输入图像的分量信号进行数据连续性检测处理。
图105示示出数据连续性检测单元101根据输入图像的分量信号进行数据连续性检测处理的结构的方框图。
每个数据连续性检测单元481-1到481-3具有与上述或下文描述的数据连续性检测单元101相同的结构，并且在输入图像的每个分量信号上执行上述或下文中的处理。
数据连续性检测单元481-1基于输入图像的第一分量信号检测数据连续性，并将表示从第一分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-1基于输入图像的亮信号检测数据连续性，并将表示从亮信号检测的数据的连续性的信息提供给确定单元482。
数据连续性检测单元481-2基于输入图像的第二分量信号检测数据连续性，并将表示从第二分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-2基于输入图像的作为颜色差异的信号的I信号检测数据连续性，并将表示从I信号检测的数据的连续性的信息提供给确定单元482。
数据连续性检测单元481-3基于输入图像的第三分量信号检测数据连续性，并将表示从第三分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-1基于输入图像的作为颜色差异信号的Q信号检测数据连续性，并将表示从Q信号检测的数据的连续性的信息提供给确定单元482。
确定单元482基于从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的表示数据连续性的信息，检测输入图像的最终数据连续性，并输出表示检测的数据连续性的数据连续性信息。
例如，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取最大数据连续性作为最终数据连续性。或者，例如，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取最小数据连续性作为最终数据连续性。
另外，例如，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取平均数据连续性作为最终数据连续性。确定单元482可以被设置为在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取中点(中间值)作为最终数据连续性。
另外，例如，基于外部输入的信号，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取由外部输入信号指定的数据连续性作为最终数据连续性。确定单元482可以被设置为在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取预定数据连续性作为最终数据连续性。
而且，确定单元482可以被设置为基于在从数据连续性检测单元481-1到481-3提供的检测分量信号的数据连续性的处理中获得的误差确定最终数据连续性。下面将描述可以在检测数据连续性的处理中获得的误差。
图106示出了用于基于输入图像的分量信号检测数据连续性的数据连续性检测单元101的另一结构。
分量处理单元491根据输入图像的分量信号产生一个信号，并将其提供给数据连续性检测单元492。例如，分量处理单元491累加在屏幕的相同位置上的信号的输入图像的每个分量信号的值，从而产生由分量信号的和构成的信号。
例如，分量处理单元491对于在屏幕上的相同位置上的像素，对输入图像的每个分量信号的像素值取平均，从而产生由分量信号的平均值构成的信号。
数据连续性检测单元492基于从分量处理单元491提供的信号输入，检测输入图像中的数据连续性，并输入表示检测的数据连续性的数据连续性信息。
数据连续性检测单元492具有与上述或下文所述的数据连续性检测单元101相同的结构，并在从分量处理单元491提供的信号上执行上述或下文描述的处理。
从而，数据连续性检测单元101通过基于分量信号检测输入图像的数据连续性二可以检测数据连续性，从而即使在输入图像中存在噪音等情况下，仍可以更精确地检测数据连续性。例如，数据连续性检测单元101通过基于分量信号检测输入图像的数据连续性，可以更精确地检测数据连续性角度(梯度)、混合比例、以及具有数据连续性的区域。
注意，分量信号不限于亮信号和颜色差异信号，而可以是其它格式的其它分量信号，例如RGB信号、YUV信号等。
如上所述，在其中投影现实世界的亮信号的设置中，检测数据连续性相对于参考轴的角度，所述连续性对应于现实世界的亮信号的连续性，并从具有现实世界的亮信号的部分丢失的连续性的图像数据中被丢失的部分，并通过基于检测的角度估计现实世界亮信号的已经丢失的连续性估计亮信号，从而可以获得更精确的处理结果。
另外，在这样的设置中，其中在图像数据中选取多组由每个角度的预定个数的像素构成的像素组，所述角度基于关注像素和参考轴，所述图像数据通过将现实世界的光信号投影到多个检测元件上获得，在所述图像中已经丢失了现实世界光信号的部分连续性，检测选取的每个角度的多组中对应位置上的像素的像素值的相关性，基于检测的相关性，检测对应于现实世界光信号的已经丢失的连续性的图像数据中的数据连续性基于参考轴的角度，以及基于检测的图像数据中基于参考轴的数据连续性的角度，通过模拟现实世界光信号的已丢失的连续性而模拟光信号，从而可以获得对现实世界事件的更精确的处理结果。
图107是示出数据连续性检测单元101的另一结构的方框图。
利用如图107所示的数据连续性检测单元101，投影现实世界的光信号，选择对应于关注像素的区域，关注像素是图像数据中的关注的像素，图像数据中已丢失了现实世界光信号的部分连续性，以及基于相关性值设置像素的分数，其中关注像素的像素值与属于被选区域的像素的像素值的相关性值等于或大于阈值，从而检测输入该区域的像素的分数，并基于检测的分数检测回归线，从而检测对应于现实世界光信号的丢失的连续性的图像数据的数据连续性。
帧存储器501将输入图像存储在增加的帧中，并将构成存储的帧的像素的像素值提供给像素获取单元502。帧存储器501可以将为移动图像的输入图像的帧的像素的像素值提供给像素获取单元502，通过将输入图像的当前帧存储在一页中，将存储在另一页中的在当前帧前一帧(过去)的帧的像素的像素值提供给像素获取单元502，并在输入图像的帧的切换时间点上切换页。
像素像素获取单元502基于从帧存储器501提供的像素的像素值选择作为关注的像素的关注像素，并选择由对应于关注像素的预定个数的像素构成的区域。例如，像素获取单元502选择由以关注像素为中心的5×5个像素构成的区域。
像素获取单元502选择的区域的尺寸不限制本发明。
像素获取单元502获取选择区域的像素的像素值，并将选择区域的像素的像素值提供给分数检测单元503。
基于从像素获取单元502提供的选择区域的像素的像素值，分数检测单元503通过基于相关性设置像素的分数，检测属于所述区域的像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值。下面将描述在分数检测单元503中基于相关性设置分数的处理的细节。
分数检测单元503将检测的分数提供给回归线计算单元504。
回归线计算单元504基于从分数检测单元503提供的分数计算回归线。例如，回归线计算单元504基于从分数检测单元503提供的分数计算回归线。另外，例如，回归线计算单元504基于从分数检测单元503提供的分数计算为预定曲线的回归线。回归线计算单元504将表示计算的回归线和计算结果的参数提供给角度计算单元505。计算参数表示的计算结果包括下文描述的变分和共变分。
角度计算单元505基于由从回归线计算单元504提供的计算结果参数表示的回归线，检测作为图像数据的输入图像的数据的连续性，其对应于现实世界的光信号的已经丢失的连续性。例如，基于由从回归线计算单元504提供的计算结果参数表示的回归线，角度计算单元505检测输入图像的数据的连续性的基于参考轴的角度，其对应于现实世界的光信号的连续性。角度计算单元505输出表示输入图像中的数据连续性的基于参考轴的角度的数据连续性信息。
下面将参考图108到图110描述输入图像中的数据连续性的基于参考轴的角度。
在图108中，每个圆形表示单个像素，双圆形表示关注像素。圆形的颜色示意性地表示了像素的像素值，其中较亮色表示更大的像素值。例如，黑色表示30的像素值，而白色表示120的像素值。
在人观察由图108所示的像素构成的图像的情况下，看图像的人可以识别出直线在对角右上的方向上延伸。
一旦输入有图8所示的像素构成的图像，具有图107所示的结构的数据连续性检测单元101检测出直线在对角右上的方向上延伸。
图109示出了具有数值的图108所示的像素的像素值。每个圆形表示一个像素，圆形中的数值表示像素值。
例如，关注像素的像素值为120，在关注像素上方的像素的像素值为100，以及在关注像素下方的像素的像素值为100。另外，在关注像素左侧的像素的像素值为80，在关注像素的右侧的像素的像素值为80。同样，在关注像素左下的像素的像素值为100，以及在关注像素右上的像素的像素值为100。在关注像素左上的像素的像素值为30，以及在关注像素右下的像素的像素值为30。
具有图107所示结构的数据连续性检测单元101对图109所示的输入图像画出回归线A，如图110所示。
图111示出了输入图像中的像素值的变化与像素在空间方向中的位置的关系以及回归线A。在具有数据连续性的区域中的像素的像素值以例如峰形变化，如图111所示。
具有图107所示结构的数据连续性检测单元101通过最小二乘法画出回归线A，其中利用具有数据连续性的区域中的像素的像素值进行计量。由数据连续性检测单元101获得的回归线A表示在关注像素附近的数据连续性。
如图112所示，通过获得回归线A与表示例如作为参考轴的空间方向X的轴线之间的角度θ，而检测输入图像中的数据连续性基于参考轴的角度。
接着，将描述利用具有图107所示的结构的数据连续性检测单元101计算回归线的具体方法。
例如，根据从像素获取单元502提供的由以关注像素为中心、在空间方向X上的9个像素和×空间方向Y上的5个像素共45个像素构成的区域中的像素的像素值，分数检测单元503检测对应于属于该区域的像素的坐标的分数。
例如，分数检测单元503通过利用计算公式(32)计算分数，检测属于该区域的坐标(xi，yj)的分数Li，j。
Li,j=exp(0.050(255-|P0,0-Pi,j|)-1)(|P0,0-Pi,j|)≤Th)0(|P0,0-Pi,j|)>Th)]]>公式(32)在公式(32)中，P0，0表示关注像素的像素值，Pi，j表示在坐标(xi，yj)上的像素的像素值。Th表示阈值。
i表示在该区域中的空间方向X上的像素的序数，其中1≤i≤k。j表示在该区域中的空间方向Y上的像素的序数，其中1≤j≤l。
k表示在在该区域中的空间方向X上的像素的个数，以及l表示在该区域中的空间方向Y上的像素的个数。例如，在由空间方向X上为9个像素、在空间方向Y上为5个像素的总共45个像素构成的区域的情况下，K为9，而l为5。
图113示出了由像素获取单元502获取的区域的实例。在图113中，打点的方形每个表示一个像素。
例如，如图113所示，在由以关注像素为中心、在空间方向X上为9个像素、在空间方向Y上为5个像素的区域中，其中关注像素的坐标(x，y)为(0，0)，则在该区域左上的像素的坐标(x，y)为(-4，2)，该区域右上的像素的坐标(x，y)为(4，2)，该区域左下的像素的坐标(x，y)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。
该区域左侧的像素在空间方向X上的序数i为1，而该区域右侧的像素在空间方向X上的序数i为9。该区域下侧的像素在空间方向Y上的序数j为1，而该区域上侧的像素在空间方向Y上的序数i为5。
也就是说，以关注像素的坐标(x5，y3)为(0，0)，在区域的左上的像素的坐标(x1，y5)为(-4，2)，该区域右上的像素的坐标(x9，y5)为(4，2)，该区域左下的像素的坐标(x9，y1)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。
分数检测单元503利用公式(32)计算关注像素的像素值与属于该区域的像素的像素值之差的绝对值作为相关值，从而这不限于输入图像中已经被投影现实世界1的细线图像的具有数据连续性的区域，而是，可以检测表示在具有双值边缘数据连续性的输入图像的区域中的像素值的空间变化特征的分数，其中已经投影具有直边缘、并且与背景有单色差的现实世界1的对象的图像。
注意，分数检测单元503不限于像素的像素值之差的绝对值，而可以被设置为检测基于其它相关性值的分数，例如相关性系数等。
另外，在公式(32)中施加分量函数是为了放大对于像素值之差的分数差，并可以设置为其中施加其它函数。
阈值Th可以是可选值。例如，阈值Th可以是30。
这样，分数检测单元503基于相关性值，利用属于选择区域的像素的像素值设置具有相关性的像素的分数，从而检测属于该区域的像素的分数。
另外，分数检测单元503进行公式(33)的计算，从而计算分数，从而检测属于所述区域的坐标(xi，yj)的分数Li，j。
Li,j=255-|P0,0-Pi,j|(|P0,0-Pi,j|)≤Th)0(|P0,0-Pi,j|)>Th)]]>公式(33)当坐标(xi，yj)的分数为Li，j(1≤i≤k，1≤j≤l)时，空间方向Y上的坐标xi的分数Li，j的和qi由公式(34)表达，而空间方向X上的坐标yj的分数Li，j的和hj由公式(35)表达。
qi=Σj=1lLi,j]]>公式(34)hj=Σi=1kLi,j]]>公式(35)分数的和u由公式(36)表达。
u=Σi=1kΣj=1lLi,j]]>=Σi=1kqi]]>=Σj=1khj]]>公式(36)在图113所示的实例中，关注像素的坐标的分数L5，3为3，在关注像素上方的像素的坐标的分数L5，4为1，在关注像素的右上的像素的坐标的分数L6，4为4，在关注像素上方两个像素、右侧一个像素的像素的坐标L6，5为2，在关注像素的上方两个像素、右侧两个像素的像素的坐标的分数L7，5为3。另外，在关注像素的下方的像素的坐标的分数L5，2为2，在关注像素左侧像素的坐标的分数L4，3为1，在关注像素的左下像素的坐标的分数L4，2为3，在关注像素的下方一个像素、左侧两个像素的像素的坐标的分数L3，2为2，以及，在关注像素的下方两个像素、左侧两个像素的像素的坐标的分数L3，1为4。在如图113所示的区域中的所有其它像素的分数为0，并且省略对图113中分数为0的像素的描述。
在如图113所示的区域中，由于其中i为1的所有分数L为0，空间方向Y上的分数的和q1为0，以及由于其中i为2的所有分数L为0，q2为0。由于L3，2为2和L3，1为4，因此q3为6。同样，q4为4、q5为6、q6为6、q7为3、q8为0、以及q9为0。
在如图113所示的区域中，由于L3，1为4，空间方向X上的分数的和h1为4。以及由于L3，2为2、L4，2为3、以及L5，2为2，因此h2为7。同样，h3为4，h4为5、以及h5为5。
在如图113所示的区域中，分数的和u为25。
在空间方向Y上的分数Li，j的和qi与坐标xi相乘的结果的和Tx由公式(37)示出。
Tx=q1x1+q2x2+···+qkxk]]>=Σi=1kqixi]]>公式(37)在空间方向X上的分数Li，j的和hj与坐标yj相乘的结果的和Ty由公式(38)示出。
Ty=h1y1+h2y2+···+hlyl]]>=Σj=1lhjyj]]>公式(38)例如，在如图113所示的区域中，q1为0，x1为-4，所以q1x1为0，而q2为0，x2为-3，所以q2x2为0。同样，q3为6，x3为-2，所以q3x3为-12；q4为4，x4为-1，所以q4x4为-4；q5为6，x5为0，所以q5x5为0；q6为6，x6为1，所以q6x6为6；q7为3，x7为2，所以q7x7为6；q8为0，x8为3，所以q8x8为0；以及q9为0，x9为4，所以q9x9为0。因此，作为q1x1到q9x9的和的Tx为-4。
例如，在如图113所示的区域中，h1为4，y1为-2，所以h1y1为-8，而h2为7，y2为-1，所以h2y2为-7。同样，h3为4，y3为0，所以h3y3为0；h4为5，y4为1，所以h4y4为5；以及，h5为5，y5为2，所以h5y5为10。因此，作为h1y1到h5y5的和的Ty为0。
另外，Qi被如下定义。
Qi=Σj=1lLi,jyj]]>公式(39)x的变分Sx由公式(40)表达。
Sx=Σi=1kqixi2-Tx2/u]]>公式(40)y的变分Sy由公式(41)表达。
Sy=Σj=1lhjyxj2-Ty2/u]]>公式(41)共变分Sxy由公式(42)表达。
Sxy=Σi=1kΣj=1lLi,jxjyj-TxTy/u]]>=Σi=1kQixi-TxTy/u]]>公式(42)考虑获得在公式(43)中所示的基本回归线。
y＝ax+b 公式(43)通过最小二乘法可以如下获得的梯度a和截距b。
a=uΣi=1kΣj=1lLi,jxiyj-TxTyuΣi=1kqixi-Tx2]]>=SxySx]]>公式(44)b=TyΣi=1kqixi2-TxΣi=1kΣj=1lLi,jxiyjuΣi=1kqixi2-Tx2]]>公式(45)然而，应该注意，用于获得校正回归线的条件是，相对于回归线的分数Li，j的分布为高斯分布。为了实现该另一方法，需要分数检测单元503将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。
回归线计算单元504进行公式(44)和公式(45)的计算以获得回归线。
角度计算单元505进行公式(46)的计算以将回归线的梯度转换为与作为参考轴的空间方向X上的轴线的角度θ。
θ＝tan-1(a) 公式(46)现在，在回归线计算单元504计算为预定曲线的回归线的情况中，角度计算单元505在关注像素的位置上获得回归线对于参考轴的角度θ。
这里，在检测每个像素的数据连续性中不需要截距b。因此考虑获得如公式(47)所示的基本回归线。
y＝ax 公式(47)在该情况下，回归线计算单元504可以通过最小二乘法获得如公式(48)的梯度。
a=Σi=1kΣj=1lLi,jxiyjΣi=1kqixi2]]>公式(48)下面将参考如图114所示的流程描述对应于步骤S101中的处理的、利用具有如图107所示结构的数据连续性检测单元101检测数据连续性的处理。
在步骤S501中，像素获取单元502从仍未被选作为关注像素的像素中选择关注像素。例如，像素获取单元502以栅格扫描顺序选择关注像素。在步骤S502中，像素获取单元502获取在以关注像素为中心的区域中包括的像素的像素值，并将获取的像素的像素值提供给分数检测单元503。例如，像素获取单元502选择以关注像素为中心的9×5个像素构成区域，并获取在该区域中包括的像素的像素值。
在步骤S503，分数检测单元503将包括在所述区域中的像素的像素值转换为分数，从而检测分数。例如，分数检测单元503通过如公式(32)所示的计算将像素值转换为分数Li，j。在该情况下，分数检测单元503将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。分数检测单元503将转换的分数提供给回归线计算单元504。
在步骤S504中，回归线计算单元504基于从分数检测单元503提供的分数获得回归线。例如，回归线计算单元504基于从分数检测单元503提供的分数获得回归线。尤其是，回归线计算单元504通过执行如公式(44)和公式(45)中所示的计算获得回归线。回归线计算单元504将表示作为计算结果的回归线的计算结果参数提供给角度计算单元505。
在步骤S505中，角度计算单元505计算回归线对于参考轴的角度，从而检测图像数据的数据连续性，其对应于现实世界的光信号的已经丢失的连续性。例如，角度计算单元505通过公式(46)的计算，将回归线的梯度转换为对于作为参考轴的空间方向X的θ。
注意，可以这样设置，其中角度计算单元505输出表示梯度a的数据连续性信息。
在步骤S506中，像素获取单元503确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束时，流程返回S501，从仍未被选作为关注像素的像素中选择关注像素，并重复上述处理。
在确定在步骤S506中对所有像素的处理已经结束的情况下，该处理结束。
这样，具有如图107所示的结构的数据连续性检测单元101可以检测图像数据中的数据连续性基于参考轴的角度，其对应于现实世界1的光信号的丢失连续性。
尤其是，具有图107所示的结构的数据连续性检测单元101基于在较窄区域中的像素的像素值，可以获得比像素更小的下＝角度。
如上所述，在其中投影现实世界的光信号的情况下，选择对应于关注像素的区域，所示关注像素是在图像数据中关注的像素，图像数据中已丢失现实世界信号的部分连续性，以及设置像素的基于相关性值的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值，从而检测属于该区域的像素的分数，并且基于检测的分数检测回归线，从而检测图像数据的数据连续性，其对应于现实世界信号的已丢失的连续性，随后通过基于图像数据的检测数据模拟丢失的现实世界光信号的连续性而模拟光信号，从而可以获得对现实世界中的事件的更精确的处理结果。
注意，利用具有图107所示结构的数据连续性检测单元101，可以这样设置，其中将在包括关注像素的关注帧的预定区域中的、在时间方向上在关注帧之前或之后的帧中的像素的像素值转换成分数，并基于分数获得回归平面，从而可以同时检测数据连续性在空间方向中的角度和时间方向的数据连续性的角度。
图115是示出数据连续性检测单元101的另一结构的方框图。
利用具有图115所示结构的数据检测单元101，投影现实世界的光信号，选择对应于关注像素的区域，所示关注像素是图像数据中的关注的像素，所数图像数据已丢失了现实世界光信号的部分连续性，并基于相关性值设置像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值，从而检测属于该区域的像素的分数，并且基于检测的分数检测回归线，从而检测图像数据的数据连续性，其对应于现实世界信号的已丢失的连续性。
帧存储器601将输入图像存储在增加的帧中，并将构成存储的帧的像素的像素值提供给像素获取单元602。帧存储器601可以将为移动图像的输入图像的帧的像素的像素值提供给像素获取单元602，通过将输入图像的当前帧存储在一页中，将存储在另一页中的在当前帧前一帧(过去)的帧的像素的像素值提供给像素获取单元602，并在输入图像的帧的切换时间点上切换页。
像素像素获取单元602基于从帧存储器601提供的像素的像素值选择作为关注的像素的关注像素，并选择由对应于选择的关注像素的预定个数的像素构成的区域。例如，像素获取单元602选择由以关注像素为中心的5×5个像素构成的区域。
像素获取单元602选择的区域的尺寸不限制本发明。
像素获取单元602获取选择区域的像素的像素值，并将选择区域的像素的像素值提供给分数检测单元603。
基于从像素获取单元602提供的选择区域的像素的像素值，分数检测单元603通过基于相关性设置像素的分数，检测属于所述区域的像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值。下面将描述在分数检测单元603中基于相关性设置分数的处理的细节。
分数检测单元603将检测的分数提供给回归线计算单元604。
回归线计算单元604基于从分数检测单元603提供的分数计算回归线。例如，回归线计算单元604基于从分数检测单元603提供的分数计算回归线。另外，回归线计算单元604基于从分数检测单元603提供的分数计算为预定曲线的回归线。回归线计算单元604将表示计算的回归线和计算结果的参数提供给区域计算单元605。计算参数表示的计算结果包括下文描述的变分和共变分。
区域计算单元605基于由从回归线计算单元604提供的计算结果参数表示的回归线，检测具有作为图像数据的输入图像的数据的连续性的区域，其对应于现实世界的光信号的已经丢失的连续性。
图116示出了输入图像中的像素值的变化与像素在空间方向中的位置的关系以及回归线A。在具有数据连续性的区域中的像素的像素值以例如峰形变化，如图116所示。
具有图115所示结构的数据连续性检测单元101通过最小二乘法画出回归线A，其中利用具有数据连续性的区域中的像素的像素值进行计量。由数据连续性检测单元101获得的回归线A表示在关注像素附近的数据连续性。
画出回归线表示采用高斯函数的近似。如图117所示，具有图115所示的结构的数据连续性检测单元通过获得例如标准偏差，可以给出数据3中的区域的一般宽度，在数据3中已投影细线的图像。另外，具有图115所示的结构的数据连续性检测单元基于相关性系数，可以给出数据3中的区域的一般宽度，在数据3中已投影细线的图像。
接着，将描述利用具有图115所示的结构的数据连续性检测单元101计算回归线的具体方法。
根据从像素获取单元602提供的由以关注像素为中心、在空间方向X上的9个像素和×空间方向Y上的5个像素共45个像素构成的区域中的像素的像素值，分数检测单元603检测对应于属于该区域的像素的坐标的分数。
例如，分数检测单元603通过利用计算公式(49)计算分数，检测属于该区域的坐标(xi，yj)的分数Li，j。
Li,j=exp(0.050(255-|P0,0-Pi,j|)-1)(|P0,0-Pi,j|)≤Th)0(|P0,0-Pi,j|)>Th)]]>公式(49)在公式(49)中，P0，0表示关注像素的像素值，Pi，j表示在坐标(xi，yj)上的像素的像素值。Th表示阈值。
i表示在该区域中的空间方向X上的像素的序数，其中1≤i≤k。j表示在该区域中的空间方向Y上的像素的序数，其中1≤j≤l。
k表示在在该区域中的空间方向X上的像素的个数，以及l表示在该区域中的空间方向Y上的像素的个数。例如，在由空间方向X上为9个像素、在空间方向Y上为5个像素的总共45个像素构成的区域的情况下，K为9，而l为5。
图118示出了由像素获取单元602获取的区域的实例。在图118中，打点的方形每个表示一个像素。
例如，如图118所示，在由以关注像素为中心、在空间方向X上为9个像素、在空间方向Y上为5个像素的区域中，其中关注像素的坐标(x，y)为(0，0)，则在该区域左上的像素的坐标(x，y)为(-4，2)，该区域右上的像素的坐标(x，y)为(4，2)，该区域左下的像素的坐标(x，y)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。
该区域左侧的像素在空间方向X上的序数i为1，而该区域右侧的像素在空间方向X上的序数i为9。该区域下侧的像素在空间方向Y上的序数j为1，而该区域上侧的像素在空间方向Y上的序数i为5。
也就是说，以关注像素的坐标(x5，y3)为(0，0)，在区域的左上的像素的坐标(x1，y5)为(-4，2)，该区域右上的像素的坐标(x9，y5)为(4，2)，该区域左下的像素的坐标(x9，y1)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。
分数检测单元603利用公式(49)计算关注像素的像素值与属于该区域的像素的像素值之差的绝对值作为相关值，从而这不限于输入图像中已经被投影现实世界1的细线图像的具有数据连续性的区域，而是，可以检测表示在具有双值边缘数据连续性的输入图像的区域中的像素值的空间变化特征的分数，其中已经投影具有直边缘、并且与背景有单色差的现实世界1的对象的图像。
注意，分数检测单元603不限于像素的像素值之差的绝对值，而可以被设置为检测基于其它相关性值的分数，例如相关性系数等。
另外，在公式(49)中施加分量函数是为了放大对于像素值之差的分数差，并可以设置为其中施加其它函数。
阈值Th可以是可选值。例如，阈值Th可以是30。
这样，分数检测单元603基于相关性值，利用属于选择区域的像素的像素值设置具有等于或大于阈值的相关性的像素的分数，从而检测属于该区域的像素的分数。
另外，分数检测单元603进行公式(50)的计算，从而计算分数，从而检测属于所述区域的坐标(xi，yj)的分数Li，j。
Li,j=255-|P0,0-Pi,j|(|P0,0-Pi,j|)≤Th)0(|P0,0-Pi,j|)>Th)]]>公式(50)当坐标(xi，yj)的分数为Li，j(1≤i≤k，1≤j≤l)时，空间方向Y上的坐标xi的分数Li，j的和qi由公式(51)表达，而空间方向X上的坐标yj的分数Li，j的和hj由公式(52)表达。
qi=Σj=1lLi,j]]>公式(51)
hj=Σi=1kLi,j]]>公式(52)分数的和u由公式(53)表达。
u=Σi=1kΣj=1lLi,j]]>=Σi=1kqi]]>=Σj=1khj]]>公式(53)在图118所示的实例中，关注像素的坐标的分数L5，3为3，在关注像素上方的像素的坐标的分数L5，4为1，在关注像素的右上的像素的坐标的分数L6，4为4，在关注像素上方两个像素、右侧一个像素的像素的坐标L6，5为2，在关注像素的上方两个像素、右侧两个像素的像素的坐标的分数L7，5为3。另外，在关注像素的下方的像素的坐标的分数L5，2为2，在关注像素左侧像素的坐标的分数L4，3为1，在关注像素的左下像素的坐标的分数L4，2为3，在关注像素的下方一个像素、左侧两个像素的像素的坐标的分数L3，2为2，以及，在关注像素的下方两个像素、左侧两个像素的像素的坐标的分数L3，1为4。在如图118所示的区域中的所有其它像素的分数为0，并且省略对图118中分数为0的像素的描述。
在如图118所示的区域中，由于其中i为1的所有分数L为0，空间方向Y上的分数的和q1为0，以及由于其中i为2的所有分数L为0，q2为0。由于L3，2为2和L3，1为4，因此q3为6。同样，q4为4、q5为6、q6为6、q7为3、q8为0、以及q9为0。
在如图118所示的区域中，由于L3，1为4，空间方向X上的分数的和h1为4。以及由于L3，2为2、L4，2为3、以及L5，2为2，因此h2为7。同样，h3为4，h4为5、以及h5为5。
在如图118所示的区域中，分数的和u为25。
在空间方向Y上的分数Li，j的和qi与坐标xi相乘的结果的和Tx由公式(54)示出。
Tx=q1x1+q2x2+···+qkxk]]>=Σi=1kqixi]]>公式(54)在空间方向X上的分数Li，j的和hj与坐标yj相乘的结果的和Ty由公式(55)示出。
Ty=h1y1+h2y2+···+hlyl]]>=Σj=1lhjyj]]>公式(55)例如，在如图118所示的区域中，q1为0，x1为-4，所以q1x1为0，而q2为0，x2为-3，所以q2x2为0。同样，q3为6，x3为-2，所以q3x3为-12；q4为4，x4为-1，所以q4x4为-4；q5为6，x5为0，所以q5x5为0；q6为6，x6为1，所以q6x6为6；q7为3，x7为2，所以q7x7为6；q8为0，x8为3，所以q8x8为0；以及q9为0，x9为4，所以q9x9为0。因此，作为q1x1到q9x9的和的Tx为-4。
例如，在如图118所示的区域中，h1为4，y1为-2，所以h1y1为-8，而h2为7，y2为-1，所以h2y2为-7。同样，h3为4，y3为0，所以h3y3为0；h4为5，y4为1，所以h4y4为5；以及，h5为5，y5为2，所以h5y5为10。因此，作为h1y1到h5y5的和的Ty为0。
另外，Qi被如下定义。
Qi=Σj=1lLi,jyj]]>公式(56)x的变分Sx由公式(57)表达。
Sx=Σi=1kqixi2-Tx2/u]]>公式(57)y的变分Sy由公式(58)表达。
Sy=Σj=1lhjyxj2-Ty2/u]]>公式(58)共变分Sxy由公式(59)表达。Sxy=Σi=1kΣj=1lLi,jxjyj-TxTy/u]]>=Σi=1kQixi-TxTy/u]]>公式(59)考虑获得在公式(60)中所示的基本回归线。
y＝ax+b公式(60)通过最小二乘法可以如下获得的梯度a和截距b。
a=uΣi=1kΣj=1lLi,jxiyj-TxTyuΣi=1kqixi-Tx2]]>=SxySx]]>公式(61)b=TyΣi=1kqixi2-TxΣi=1kΣj=1lLi,jxiyjuΣi=1kqixi2-Tx2]]>公式(62)然而，应该注意，用于获得校正回归线的条件是，相对于回归线的分数Li，j的分布为高斯分布。为了实现该另一方法，需要分数检测单元603将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。
回归线计算单元604进行公式(61)和公式(62)的计算以获得回归线。
另外，在检测每个像素的数据连续性中不需要截距b。因此考虑获得如公式(63)所示的基本回归线。
y＝ax 公式(63)在该情况下，回归线计算单元604可以通过最小二乘法获得如公式(64)的梯度。
a=Σi=1kΣj=1lLi,jxiyjΣi=1kqixi2]]>公式(64)利用用于确定具有数据连续性的区域的第一技术，使用在公式(60)中示出的对回归线的估计误差。
利用公式(65)中的计算获得y的变分Sy·x。
Sy·x=Σ(yi-axi-b)2]]>=Sy-Sxy2/Sx]]>=Sy-aSxy]]>公式(65)利用变分通过公式(66)中的计算，获得估计误差的分散。
Vy·x＝Sy·x/(u-2)＝(Sy-aSxy)/(u-2) 公式(66)因此，下面的表达式获得了标准偏差。
Vy·x=Sy-aSxyu-2]]>公式(67)然而，在处理其中已经投影细线图像的区域的情况中，标准偏差的量等于细线的宽度，因此不能分类地确定大标准偏差表示区域不具有数据连续性。然而，例如，可以使用利用标准偏差的表示检测区域的信息，以检测其中很可能发生级别分类调节处理失败的区域，因为在其中细线较窄的具有数据连续性的区域的部分中，发生级别分量调节处理的失败。
区域计算单元605通过公式(67)中的计算计算标准偏差，并例如基于标准偏差，计算具有数据连续性的输入图像的部分。区域计算单元605以预定系数乘以标准偏差以获得距离，并取在离回归线为获得距离内的区域作为具有数据连续性的区域。例如，区域计算单元605计算离回归线在标准偏差距离内的区域作为具有数据连续性的区域，所述区域以回归线为其中心。
利用第二技术，使用分数相关性检测具有数据连续性的区域。
通过公式(68)示出的计算可以获得相关性系数rxy，其基于x的变分Sx、y的变分Sy、以及共变分Sxy。
rxy=Sxy/SxSy]]>公式(68)相关性包括正相关性和负相关性，从而区域计算单元604获得相关性系数rxy的绝对值，并确定相关性系数rxy的绝对值越接近1，则相关性越大。尤其是，区域计算单元605比较阈值与相关性系数rxy的绝对值，并检测其中相关性系数rxy等于或大于阈值的区域作为具有数据连续性的区域。
下面将参考如图119所示的流程描述对应于步骤S101中的处理的、利用具有如图115所示结构的数据连续性检测单元101检测数据连续性的处理。
在步骤S601中，像素获取单元602从仍未被选作为关注像素的像素中选择关注像素。例如，像素获取单元602以栅格扫描顺序选择关注像素。在步骤S602中，像素获取单元602获取在以关注像素为中心的区域中包括的像素的像素值，并将获取的像素的像素值提供给分数检测单元603。例如，像素获取单元602选择以关注像素为中心的9×5个像素构成区域，并获取在该区域中包括的像素的像素值。
在步骤S603，分数检测单元603将包括在所述区域中的像素的像素值转换为分数，从而检测分数。例如，分数检测单元603通过如公式(49)所示的计算将像素值转换为分数Li，j。在该情况下，分数检测单元603将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。分数检测单元603将转换的分数提供给回归线计算单元604。
在步骤S604中，回归线计算单元604基于从分数检测单元603提供的分数获得回归线。例如，回归线计算单元604基于从分数检测单元603提供的分数获得回归线。尤其是，回归线计算单元604通过执行如公式(61)和公式(62)中所示的计算获得回归线。回归线计算单元604将表示作为计算结果的回归线的计算结果参数提供给角度计算单元605。
在步骤S605中，区域计算单元605计算关于回归线的标准偏差。例如，可以这样设置，其中区域计算单元605通过公式(67)中的计算，计算关于回归线的标准偏差。
在步骤S606中，区域计算单元605从标准偏差确定具有数据连续性的输入图像的区域。例如，区域计算单元605用预定系数乘标准偏差以获得距离，并确定离回归线在获得的距离内的区域作为具有数据连续性的区域。
区域计算单元605输出表示具有数据连续性的区域的数据连续性信息。
在步骤S607中，像素获取单元603确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束时，流程返回S601，从仍未被选作为关注像素的像素中选择关注像素，并重复上述处理。
在确定在步骤S607中对所有像素的处理已经结束的情况下，该处理结束。
下面将参考图120所示的流程图描述利用具有图115所示结构的数据连续性检测单元101检测数据连续性的对应于步骤S101中的处理的其它处理。步骤S621到步骤S624的处理与步骤S601到步骤S604的处理相同，从而省略对其的描述。
在步骤S625中，区域计算单元605计算关于回归线的相关系数。例如，区域计算单元605通过公式(68)的计算，计算关于回归线的相关系数。
在步骤S626中，区域计算单元605从相关性系数确定具有数据连续性的输入图像的区域。例如，区域计算单元605比较相关系数的绝对值与预先存储的阈值，并确定其中相关系数的绝对值等于或大于阈值的区域作为具有数据连续性的区域。
区域计算单元605输出表示具有数据连续性的区域的数据连续性信息。
步骤S627的处理与步骤S607的处理相同，从而省略对其的描述。
从而，具有图115所示结构的数据连续性检测单元101可以检测具有数据连续性的图像数据中的区域，所述连续性对应于丢失的现实世界1的光信号的连续性。
如上所述，在其中投影了现实世界的光信号的情况中，选择对应于关注像素的区域，所述关注像素是图像数据中的关注的像素，所述图像数据已经丢失了现实世界光信号的部分连续性，以及基于相关值设置信号的分数，其中所述关注像素的像素值与属于选择区域的像素的像素值的相关值等于或大于阈值，从而检测属于所述区域的像素的分数，并基于检测的分数检测回归线，从而检测具有图像数据的数据连续性的区域，所述连续性对应于已经丢失的现实世界光信号的连续性，以及随后通过基于检测的图像数据的数据连续性模拟丢失的现实世界的光信号的连续性，而模拟光信号，从而可以获得对现实世界中的事件的更精确的处理结果。
图121示出了另一种形式的数据连续性检测单元101的结构。
图121所示的数据连续性检测单元101包括数据选择单元701、数据补充单元702、以及连续性方向推导单元703。
数据选择单元701取输入图像的每个像素作为关注像素，选择对应于每个关注像素的像素的像素值数据，以及将其输出到数据补充单元702。
数据补充单元702基于从数据选择单元701输入的数据进行最小二乘法补充计算，并将补充计算结果输出给连续性方向推导单元703。由数据补充单元702进行的补充计算是关于在后述最小二乘法计算中使用的求和项的计算，可以认为其计算结果是图像数据的用于检测角度连续性的特征。
连续性方向推导单元703从由数据补充单元702输入的补充计算结果计算连续性方向，即数据连续性具有的相对于参考轴的角度(例如细线或二值边缘的梯度或方向)，并将其输出作为数据连续性信息。
接着，将参考图122概括描述数据连续性检测单元101在检测连续性(方向或角度)中的操作。图122和图123中对应于图6和图7中的部分以相同的符号表示，并在下文适当地省略对其的描述。
如图122所示，通过光学系统141(例如由透镜、LPF(低通滤光器)等组成)将现实世界1的信号(例如图像)成像到传感器2(例如CCD(电荷耦合装置))或CMOS(互补金属氧化物半导体)的感光面上。传感器2由具有积分特性的器件构成，例如CCD或CMOS。由于这样的结构，从由传感器2输出的数据3获得的图像与现实世界1的图像不同(与现实世界1的图像的差异发生)。
因此，如图123所示，数据连续性检测单元101使用模型705通过模拟表达并从模拟表达中提取数据连续性，而以模拟方式描述现实世界1。模型705由例如N个变量表达。更精确的说，模型705模拟(描述)现实世界1的信号。
为了预计模型705，数据连续性检测单元101从数据3中选取M块数据706。随后，由数据的连续性约束模型705。
也就是说，模型705模拟现实世界1的事件(表示事件的信息(信号))的连续性，所述现实世界1具有的连续性(在预定维度方向上的不变特征)在由传感器2获得数据3时产生数据3中的数据连续性。
现在，在数据706的个数M为N或更大时，所述N是模型705的变量个数N，可以从M块数据706预计由N个变量表示的模型705。
另外，通过预计模拟(描述)现实世界1(的信号)的模型705，数据连续性检测单元101得出包含在信号中的数据连续性，所述信号是作为例如细线或二值边缘方向(梯度、或在取预定方向为轴的情况下与该轴的角度)的现实世界的信息，并将其输出作为数据连续性信息。
接着，将参考图124描述数据连续性检测单元101，其输出来自输入图像的细线的方向(角度)作为数据连续性信息。
数据选择单元701由水平/垂直确定单元711、以及数据获取单元712构成。水平/垂直确定单元711从关注像素与周围像素的像素值之差确定输入图像中的细线与水平方向的角度是接近水平方向还是接近垂直方向，并将确定结果输出给数据获取单元712和数据补充单元702。
更具体的说，例如，在该技术中，还可以使用其它技术。例如，可以使用简化的16方向检测。如图125所示，在关注像素与周围像素之差(像素之间的像素值之差)中，水平/垂直确定单元711获得在水平方向上的像素之差的和(活度)(hdiff)与在垂直方向上的像素之差的和(活度)(vdiff)之间的差，并确定是关注像素与在垂直方向上的相邻像素之间的差之和更大、还是关注像素与在水平方向上的相邻像素之间的差之和更大。现在，在图125中，每个栅格表示一个像素，并且在图形中心的像素是关注像素。另外，图中由虚线箭头表示的像素之差是在水平方向上的像素之差，并且其和由hdiff表示。同样，图中由实线箭头表示的像素之差是在垂直方向上的像素之差，并且其和由vdiff表示。
基于已经获得的在水平方向上的像素的像素值的差之后hdiff和在垂直方向上的像素的像素值的差之和vdiff，在(hidff-vdiff)为正的情况下，这表示在水平方向上的像素的像素值的变化(活度)大于在垂直方向的，从而在如图126所示的由θ(1度≤θ≤180度)表示与水平方向的角度的情况中，水平/垂直确定单元711确定像素属于45度≤θ≤135度的细线，即接近垂直方向的角度，相反，在(hidff-vdiff)为负的情况下，这表示在垂直方向上的像素的像素值的变化(活度)更大，从而水平/垂直确定单元711确定像素属于0度≤θ≤45度的细线，即接近水平方向的角度(在细线延伸的方向(角度)上的每个像素是表示细线的像素，因此在这些像素之间的变化(活度)应该更小)。
另外，水平/垂直确定单元711具有计数器(未示出)用于识别输入图像的各个像素，并且可以任何适当或需要的时间使用。
另外，尽管相关于图125中的实例进行了描述，其中在以关注像素为中心的3×3个像素范围中比较在垂直方向和水平方向上的像素之间的像素值之差的和，以确定细线是接近垂直方向还是接近水平方向，但是利用更多个数的像素可以以相同的技术确定细线的方向，例如，可以基于以关注像素为中心的5×5个像素、7×7个像素等，即更多个像素来进行确定。
基于从水平/垂直确定单元711输入的关于细线方向的确定结果，数据获取单元712读取(获取)在由多个排列在对应于关注像素的水平方向上的像素构成的块的增量上、或在由排列在对应于关注像素的垂直方向上的像素构成的块的增量的像素值，并且随同获取每个关注像素的多个对应像素的在对应于从水平/垂直确定单元711提供的确定结果的方向上的相邻像素之差，将在预定个数像素的块中包含的像素的像素值的最大和最小值数据输出给数据补充单元702。下文中，将由数据获取单元712获得的对应于关注像素的多个像素构成的块称为获取块(由多个像素组成，每个像素由栅格表示)，如图139所示，其在下文中被作为实例描述，用黑色方形表示的像素为在关注像素，获取的块是上方和下方的三个像素和左侧和右侧的一愕像素，共15个像素。
数据补充单元702的差异补充单元721检测从数据选择单元701输入的数据差，基于从数据选择单元701的水平/垂直确定单元711输入的水平方向或垂直方向的确定结果，执行在下文的最小二乘法方案中需要的补充处理，并将补充结果输出给连续性方向推导单元703。尤其是，在多个像素中，将在由水平/垂直确定单元711确定的方向上的相邻像素I与像素(i+1)的像素值之差的数据取为yi，并且在对应于关注像素获取的块由n个像素构成的情况下，差补充单元721计算每个水平方向或垂直方向上的(y1)2+(y2)2+(y3)2+…的补充，并将其输出给连续性方向推导单元703。
一旦获得为在从数据选择单元701输入的对应于关注像素的获取块中包括的每个像素设置的块中包括的像素的像素值的最大值和最小值(下文中称为动态范围块(对于在下述图139中示出的获取的块中的像素，在象素pix12的上方和下方3个像素共7个像素的动态范围块，示出为由黑实线围绕的动态范围块B1))，最大最小值获取单元722从其差计算(检测)动态范围Dri(在对应于获取块中第i个像素的动态范围块中包括的像素的像素值的最大值和最小值之差)，并将其输出到差值补充单元723。
差值补充单元723检测从最大最小值获取单元722输入的动态范围Dri和从数据选择单元701输入的差值数据，基于动态范围Dri和已经检测的差值数据对从数据选择单元701的水平/垂直确定单元711输入的每个水平方向或垂直方向补充通过将动态范围Dri乘以差值数据yi而获得的值，并将计算结果输出给连续性方向推导单元703。也就是说，差值补充单元723输出的计算结果在每个水平方向或垂直方向上为y1×Dr1+y2×Dr2+y3×Dr3+…连续性方向推导单元703的连续性方向计算单元731基于从数据补充单元702输入的在每个水平方向或垂直方向上的补充计算结果计算细线的角度(方向)，并将计算的角度输出作为连续性信息。
现在，将描述计算细线的方向(梯度或细线的角度)的方法。
放大如图127A所示的输入图像中由白线围绕的部分示出了，细线(白线在图中右上方向上对角地延伸)实际如图127B所示。也就是说，在现实世界中，图像如图127C所示，细线水平(图127C中的更亮的阴影部分)和背景水平两个水平形成了边界，而没有其它的水平。相反，由传感器2拍摄的图像，即在像素增量上成像的图像，是其中如图127B所示的图像，存在在细线方向上的块的重复阵列，所述块由多个像素构成，其中由于积分效应使得背景水平和细线水平在空间上混合，其在垂直方向上排列使得其比值(混合比值)根据特定图形而变化。注意，在图127B中，每个方形栅格表示CCD的一个像素，可以认为其每边的长度为d_CCD。另外，被格形填充的栅格部分是像素值的最小值，等于背景水平，在其它阴影填充部分中，阴影密度越低，则具有的像素值更大(因此，没有阴影的白色栅格具有最大像素值)。
在如图128A所示细线存在于现实世界的背景上的情况下，可以将现实世界的图像显示为如图128B所示，其中将水平作为水平轴，并将对应于水平的部分的图像的面积作为垂直轴，示出了对应于图像中的背景的面积与对应于细线的部分的面积之间的在图像中的占用的面积的关系。
同样，如图129A所示，由传感器2拍摄的图像是这样的图像，其中存在在这样的方向上重复的阵列，在所述方向上，细线表现为多个块，所述块由具有混合的背景水平和细线水平的像素构成，其在垂直方向上排列在背景水平的像素中，使得其混合比值根据特定图形而变化，并且从而，如图129B所示，通过空间混合背景和细线获得由这样的像素构成的混合空间区域，所述像素的水平在背景水平区域(背景区域)和细线水平之间。现在，图129B中的垂直轴为像素个数，因为每个像素的面积是(d_CDD)2，从而可以说图129B中的像素水平与像素个数之间的关系与像素水平与面积分布之间的关系相同。
关于图130A中(31像素×31像素的图像)示出的实际图像中的由白线围绕的部分获得了相同的结果，如图130B所示。在图130B中，图130A中的背景部分(在图130A中表现为黑色的部分)具有多个低像素值水平的像素的分布(像素值为约20)，这些很少变化的部分构成了图像的背景区域。相反，图130B中像素值水平不低的部分，即像素值水平分布为约40到约60的像素是属于构成细线图像的空间混合区域的像素，并且，当每个像素值的像素个数不多时，其被分布在宽的像素值范围上。
现在，例如沿图131A中所示的箭头方向(Y座标方向)观察现实世界图像中的背景和细线中的每个的水平，其如图131B所示地变化。也就是说，从箭头开始到细线的背景区域具有较低的背景水平，细线区域具有高水平的细线水平，并且通过细线区域返回到背景区域使得返回到低水平的背景水平。因此，这形成了脉冲形的波形，其中只有细线区域为高水平。
相反，在由传感器2拍摄的图像中，图132B中示出了对应于图131A中的箭头的图132A中X＝X1空间方向上的像素(在图132A中由黑点表示的像素)的像素值与这些像素的空间方向Y之间的关系。注意，在图132A中，沿右上延伸的两条白线之间表示现实世界图像中的细线。
也就是说，如图132B所示，对应于图132A中的中心像素的像素具有最大的像素值，从而像素的像素值当空间方向Y的位置从图的底部移向中心像素时增大，然后当通过中心位置后逐渐减小。从而，如图132B所示形成峰形波形。另外，对应于图132A中X＝X0和X2的空间方向的像素的像素值的变化也具有相同的形状，只是峰值位置根据细线的梯度在空间方向Y上移动了。
即使在例如如图133A所示的由传感器2实际拍摄的图像的情况下，仍可以获得同样的结果，如图133B所示。也就是说，图133B示出了在图133A中的图像中由白线围出的范围中的细线附近的像素值在每个预定空间方向X(图中，X＝561、562、563)上的像素值变化对应于空间方向Y的变化。这样，由传感器2拍摄的图像也就有波形，其中X＝561是，峰值在Y＝730；X＝562时，峰值在Y＝705；以及X＝563时，峰值在Y＝685。
从而，表示现实世界图像的细线附件的水平变化的波形为脉冲波形，而表示由传感器2拍摄的图像中的像素值变化的波形为峰形波形。
也就是说，换句话说，现实世界图像的水平为如图131B所示的波形，但是由于经过由传感器2的拍摄在成像的图像的变化中发生了畸变，并且，因此可以说，这变成了与现实世界图像不同的波形(其中丢失了现实世界的信息)，如图132B所示。
因此，设置用于从由传感器2获得的图像数据近似描述现实世界的模型(相当于图123中的模型705)，以从由传感器2拍摄的图像获得现实世界图像的连续性信息。例如，在细线的情况中，如图134设置现实世界图像。也就是说，这样设置参数，将在图像左边的具有背景部分的水平设置为B1，将在图像右边的背景部分水平设置为B2，将细线部分的水平设置为L，将细线的混合比值设置为α，将细线的宽度设置为W，以及将细线与水平方向的角度设置为θ，将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近似表达现实世界的模拟函数，并从模拟函数获得细线的角度(与参考轴的梯度或角度)。
此时，可以将左边和右边背景区域模拟为相同，从而被统一为B(＝B1＝B2)如图135所示。另外，细线的宽度为一个或更多个像素。当利用传感器2拍摄这样设置的现实世界时，将拍摄的图像成像为如图136A所示。注意，在图136A中，向右上方延伸的两个白线之间的空间表示现实世界图像中的细线。
也就是说，在现实世界的细线位置上的像素的水平接近细线的水平，因此当在垂直方向(空间方向Y)上远离细线时像素值减小，并且在不接触细线区域的位置上的像素，即背景区域像素具有背景值的像素值。这里，位于细线区域和背景区域之间的像素的像素值具有这样的像素值，其中背景水平的像素值B与细线水平L的像素值L以混合比值α混合。
在通过这样取成像的图像中的每个像素作为关注像素的情况中，数据获取单元712选取对应于关注像素的获取块的像素，选取构成选取的获取块的每个像素的动态范围块，以及从构成动态范围块的像素选取具有最大像素值的像素和具有最小像素值的像素。也就是说，如图136A所示，在选取对应于获取块中的预定像素(对应在图中一个栅格中用黑实线描述的方格的像素pix4)的动态范围块(例如图中由黑实线围绕的7个像素pix1到7)中的像素的情况中，如图136A所示，对应于每个像素的现实世界的图像如图136B所示。
也就是说，如图136B所示，在像素pix1中，左边占约1/8的面积的部分是背景区域，而右边占约7/8的面积的部分是细线区域。在像素pix3中，左边占约7/8的面积的部分是细线区域，而右边占约1/8的面积的部分是背景区域。在像素pix4中，左边占约2/3的面积的部分是细线区域，而右边占约1/3的面积的部分是背景区域。在像素pix5中，左边占约1/3的面积的部分是细线区域，而右边占约2/3的面积的部分是背景部分。在像素pix6中，左边占1/8的面积的部分是细线区域，而右边占约7/8的面积的部分是背景区域。另外，在像素pix7中，整个区域是背景区域。
因此，图136A和图136B中所示的动态范围块中的像素pix1到pix7的像素值是这样的像素值，其中背景水平和细线水平以对应于细线区域和背景区域的比例的混合比值混合。也就是说，像素pix1的背景水平∶前景水平的混合比值为约1∶7，像素pix2的背景水平∶前景水平的混合比值为约0∶1，像素pix3的背景水平∶前景水平的混合比值为约1∶7，像素pix4的背景水平∶前景水平的混合比值为约1∶2，像素pix5的背景水平∶前景水平的混合比值为约2∶1，像素pix6的背景水平∶前景水平的混合比值为约7∶1，以及像素pix7的背景水平∶前景水平的混合比值为约1∶0。
因此，在选取的动态范围块中的像素pix1到pix7的像素值中，像素pix2的最大，其后是像素pix1和pix3，然后以像素pix4、5、6和7的像素值次序。因此，在如图136B所示的情况中，最大值是像素pix2的像素值，以及最小值是像素pix7的像素值。
另外，如图137A所示，可以说细线的方向是其中的像素连续具有最大像素值的方向，因此，其中排列具有最大值的像素的方向是细线的方向。
现在，表示细线方向的梯度Gf1是相对于空间方向X上的单位长度的在空间方向Y上的变化比(距离变化)，从而，在例如图137A中的图示情况下，图中相对于空间方向X上的一个像素的空间方向Y上的距离为梯度Gf1。
空间方向X0到X2上的空间方向Y上的像素值的变化使得每个空间方向X的峰形波形以预定间隔重复，如图137B所示。如上所述，细线的方向在由传感器2拍摄的图像中是其中连续为具有最大值的像素的方向，从而其上为空间方向X上的最大值的空间方向Y上的间隔S为细线的梯度Gf1。也就是说，如图137C所示，垂直方向上相对于水平方向上一个像素距离的变化量为Gf1。因此，当以对应于其梯度的水平方向作为参考轴，并将细线与其的角度表达为θ，如图137C所示，则可以将细线的梯度Gf1(对应于以水平方向作为参考轴的角度)表达为在下面公式(69)中示出的关系。
θ＝Tan-1(Gf1)(＝Tan-1(S)) 公式(69)另外，在建立例如如图135所示的模型的情况中，还假设空间方向Y上的像素的像素值之间的关系使得如图137B所示的峰形波形由理想三角形形成(二等边三角波形，其中引导边沿或延伸边沿线性变化)，并且如图138所示，其中在预定关注像素的空间方向X上、在空间方向Y上存在的像素的像素值的最大值为Max＝L(这里，像素值对应于现实世界的细线的水平)，以及最小值为Min＝B(这里，像素值对应于现实世界的背景的水平)，如下面公式(70)所示的关系成立。
L-B＝Gf1×d_y 公式(70)这里，d_y表示空间方向Y上的像素之间的像素值之差。
也就是说，空间方向中的Gf1越大，细线越接近垂直，从而峰形波形为具有更大的底的等腰三角形的波形，相反，梯度S越小，波形的等腰三角形的底越小。因此，梯度Gf1越大，空间方向Y上的像素之间的像素值之差d_y越小，而梯度S越小，空间方向Y上的像素之间的像素值之差d_y越大。
因此，通过获得使上述公式(70)成立的梯度Gf1，使得可以获得细线相对于参考轴的角度θ。公式(70)是以Gf1为变量的单变量函数，因此这可以通过利用一组关注像素附近(垂直方向上)的像素之间的像素值之差d_y、以及最大值和最小值之差(L-B)获得，然而，如上所述，这使用了这样的近似表达，所述表达假设空间方向Y上的像素值的变化采用理想三角形，从而对对应于关注像素的选取块的每个像素选取动态范围块，并还从其最大值和最小值获得动态范围Dr，以及通过最小二乘法，利用空间方向Y上的像素之间的像素值之差d_y，对选取块中的每个像素，统计地获得。
现在，在开始描述通过最小二乘法的统计处理之前，首先详细描述选取块和动态范围块。
例如如图139所示，选取的块可以是在空间方向Y上在关注像素(图中其中用黑实线画出的方形的栅格的像素)上方和下方的三个像素、以及在空间方向X上在右侧和左侧的一个像素，共15个像素，或类似的等。另外，在该情况中，对于选取块中的每个像素之间的像素值之差d_y，例如将对应于像素pix11的差表达为d_y11，在空间方向X＝X0的情况下，获得在像素pix11和pix12、pix12和pix13、pix13和pix14、pix15和pix16、以及pix16和pix17之间的像素值之差d_y11到d_y16。这里，对于空间方向X＝X1和X2等以同样的方法获得像素之间的像素值之差。从而，存在18个像素之间的像素值之差d_y。另外，关于选取块的像素，基于水平/垂直确定单元711的确定结果确定这样的情况，其中例如关于pix11，动态范围块的像素在垂直方向上，从而如图139所示，取像素pix11以及其垂直方向(空间方向Y)上的上方和下方各3个像素，从而动态范围块B1的范围为7个像素，获得在该动态范围块B1中的像素的像素值的最大值和最小值，并还将从最大值和最小值获得的动态范围取为动态范围Dr11。同样，从图139中以相同方式示出的动态范围块B2的7个像素获得关于选取块的像素pix12的动态范围Dr12。从而基于对选取块中的18个像素差d_yi和相应的动态范围Dri的组合，利用最小二乘法统计地获得梯度Gf1。
接着，将描述单变量最小二乘法。假设这里水平/垂直确定单元711的确定结果是垂直方向。
单变量最小二乘法是用于获得例如由预测值Dri_c构成的直线的梯度Gf1，所述直线到图140中全部由黑点表示的实际测量值的距离最小。从而，从基于在上述公式(70)中表示的关系的下述技术获得梯度S。
也就是说，以最大值和最小值之差作为动态范围Dr，可以将上述公式(70)描述为下面的公式(71)。
Dr＝Gf1×d_y 公式(71)从而，通过将选取块中的每个像素之间的差d_yi代入上述公式(71)可以获得动态范围Dri_c。因此，下面的公式(72)的关系满足每个像素。
Dri_c＝Gf1×d_yi 公式(72)这里，差d_yi是每个像素i在空间方向Y上的像素之间的像素值之差(例如，像素i与相邻上方或下方的像素的像素值之差)，以及Dri_c是当公式(70)关于像素i成立时获得的动态范围。
如上所述，这里使用的最小二乘法是用于获得梯度Gf1，其中选取块的像素i的动态范围Dri_c与作为利用参考图136A和图136B所述的方法获得的像素i的实际测量值的动态范围Dri_r的差方和Q对于图像中的所有像素最小。因此，通过下面的公式(73)可以获得差方和Q。
Q=Σi=1n{Dri_r-Dri_c}2]]>=Σi=1n{Dri_r-Gf1×d_yi}2]]>公式(73)公式(73)中示出的差方和是二次函数，其采用关于变量Gf1的如图141所示的下凸曲线，因此其上梯度Gf1最小的Gf1min是最小二乘法的解。
对公式(73)中的差方和Q的取对变量Gf1的微分，获得dQ/dGf1，如公式(74)所示。
∂Q∂Gf1=Σi=1n2(-d_yi)(Dri_r-Gf1×d_yi)]]>公式(74)对于公式(74)，采用图141中所示的差方和Q的最小值的Gf1min是0，从而通过扩展其中公式(74)为0的公式获得具有下面公式(75)的梯度Gf1。
Gf1=Σi=1nDri_r×d_yiΣi=1n(d_yi)2]]>公式(75)上述公式(75)就是所谓的单变量(梯度Gf1)的正规方程。
从而，通过将获得的梯度Gf1代入上述公式(69)，获得对应于细线的梯度Gf1的以水平方向为参考轴的细线角度θ。
现在，在上述描述中，已经描述了这样的情况，其中关注像素在细线上，细线在以水平方向为参考轴的45度≤θ＜135度的角度范围内，但是在这样的情况中，其中关注像素在细线上，细线接近水平方向，在以水平方向为参考轴的0度≤θ＜45度或135≤θ＜108度的角度范围内，像素i与在水平方向上的相邻像素之间的像素值之差为d_xi，并以同样的方法，在从多个像素获得对应于像素i的最大像素值或最小像素值时，从相对于像素i的水平方向上的多个像素中选择将要选取的动态范围块的像素。在该情况的处理中，只是简单地替换上述中水平方向和垂直方向之间的关系，因此省略对其的描述。
另外，类似地处理可以用于获得对应于二值边缘的梯度的角度。
也就是说，放大输入图像中例如图142A中由白线包围的部分，示出了图像的边缘部分(图中在黑色横幅上以白色书写的叉形符号的下部)(下文中，由两个值水平构成的图像的边缘部分还称为二值边缘)实际如图142B所示。也就是说，在现实世界，图像具有由两种水平形成的边界，第一水平(横幅的场水平)和第二水平(符号水平(图142C中具有低浓度的阴影部分))，而不存在其它水平。相反，在由传感器2拍摄的图像中，即被拍摄到像素增量中的图像，其中排列第一水平像素的部分和其中排列第二水平的像素的部分在一个区域上相邻，在所述区域中，在这样的方向上存在重复的阵列，在所述方向上，边缘表现为由像素构成的块，所述像素是在空间上混合第一水平和第二水平所得，并排列在垂直方向上，从而其比值(混合比值)根据特定图形变化。
也就是说，如图143A所示，关于空间方向X＝X0、X1以及X2，空间方向Y上的像素值的各变化如图143B所示，像素值图的底部到接近二值边缘(图143A中朝向右上的直线)边界为预定最小像素值，但是像素值在二值边缘附近逐渐增大，并在图中穿过边缘的点PE上，像素值到达预定最大值。尤其是，空间方向X的变化使得像素值在经过具有像素值的最小值的点Ps后像素值逐渐增大，并到达像素值为最大值的点P0，如图143B所示。相比于此，在空间方向X＝X1上的像素的像素值变化表现为在空间方向上偏移的波形，并在图中通过点P1增大到像素值的最大值，其中像素值从像素值的最小值逐渐增大的位置在空间方向Y的正向上具有方向偏移，如图143B所示。另外，在空间方向X＝X2上空间方向Y中的像素值的变化经过图中的P2点而减小，其在空间方向Y的正方向上继续平移，并从像素值的最大值变到最小值。
在实际图像中用白线包围的部分上还可以观察类似的趋势。也就是说，在图144A中的实际图像(31像素×31像素图像)中由白线包围的部分中，背景部分(图144A中显示为黑色的部分)分布由如图144B所示的具有低像素值的多个像素(像素值为约90)，这些具有较少变化的部分形成图像的背景区域。相反，图144B中像素值不低的部分，即像素值分布在约100到200的像素是属于符号区域和背景区域之间的空间混合区域的像素的分布，当每个像素值的像素个数较少时，该分布覆盖宽范围的像素值。另外，具有高像素值的符号区域中的多个像素(图144A中显示为白色的部分)分布在示为220的像素值附近。
因此，图145B示出了在图145A所示的图像边缘，对于预定空间方向X，在空间方向Y上的像素值的变化。
也就是说，图145B示出了关于图145A的图像中由白线围绕的范围的边缘附近的像素值，对于每个预定空间方向X(图中，X＝658、659、660)，像素值对应于空间方向Y的变化。可以看到，在由实际的传感器2等拍摄的图像中，当X＝658，像素值在Y＝374附近开始增大(图中由黑色圆形表示的分布)，并在Y＝382附近到达最大值。另外，当X＝659，像素值在Y＝378附近开始增大，其在空间方向Y的正向上被平移(图中由黑色三角形表示的分布)，并在Y＝386附近到达最大值。另外，当X＝660时，像素值在Y＝382附近开始增大，其在空间方向Y的正向上被进一步平移(图中由黑色方形表示的分布)，并在Y＝390附近到达最大值。
因此，为了从由传感器2拍摄的图像中获得现实世界的图像的连续性信息，建立模型以从由传感器2获取的图像数据近似描述现实世界。例如，在二值边缘的情况中，如图146设置现实世界图像。也就是说，这样设置参数，将在图像左边的符号部分水平设置为V1，将在图像右边的符号部分水平设置为V2，将在二值边缘附近的像素的混合比值设置为α，以及将边缘与水平方向的角度设置为θ，将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近似表达现实世界的函数，并从模拟函数获得边缘的方向(与参考轴的梯度或角度)。
这里，表示边缘方向的梯度是相对于空间方向X上的单位长度的在空间方向Y上的变化比(距离变化)，从而，在例如图147A中的图示情况下，图中相对于空间方向X上的一个像素的空间方向Y上的距离为梯度。
空间方向X0到X2上的空间方向Y上的像素值的变化使得每个空间方向X的相同波形以预定间隔重复，如图147B所示。如上所述，边缘的方向在由传感器2拍摄的图像中是其中在空间上连续发生类似的像素值变化(在该情况下，在预定空间方向Y上的像素值变化从最小值变化到最大值)，从而对于每个空间方向X，在像素值在空间方向Y上开始变化的位置、或空间方向Y上变化结束的位置上的间隔S为边缘的梯度Gfe。也就是说，如图147C所示，垂直方向上相对于水平方向上一个像素距离的变化量为Gfe。
这里，该关系与关于上述参考图137A到C描述的细线的梯度Gf1的关系相同。因此，关系表达式相同。也就是说，在二值边缘情况下的关系式如图148所示，以背景区域的像素值为V1，以符号区域的像素值为V2，每个作为最小值和最大值。另外，以靠近边缘的像素的混合比值为α，以边缘梯度为Gfe，成立的关系式与上述公式(69)到(71)相同(其中用Gfe代替Gf1)。
因此，图124所示的数据连续性检测单元101可以利用相同的处理检测对应于细线的梯度的角度，以及对应于边缘的梯度的角度作为数据连续性信息。因此，下面，梯度将同指细线的梯度和二值边缘的梯度，并称为梯度Gf。另外，在上述公式(73)到(75)中的梯度Gf1可以是Gfe，因此，可以由Gf替换。
接着，将参考图149中的流程图描述检测数据连续性的处理。
在步骤S701，水平/垂直确定单元711起动计数器T，其识别输入图像的每个像素。
在步骤S702，水平/垂直确定单元711进行处理用于选取在下面步骤中需要的数据。
这里，将参考图150的流程图描述用于选取数据的处理。
在步骤S711中，如参考图125的描述，对于每个关注像素T，数据检测单元701的水平/垂直确定单元711计算关于在水平、垂直和对角方向上相邻9个像素的在水平方向上的像素的像素值的像素值之差的和(活度)(hdiff)与在垂直方向上的像素之差的和(活度)(vdiff)，并获得其差(hidff-vdiff)；在(hidff-vdiff)≥0并且关注像素T取水平方向为参考轴的情况下，确定像素接近靠近垂直方向的细线或二值边缘，其中与参考轴的角度θ为45度≤θ＜135度，并将表示使用的选取块对应于垂直方向的确定结果输出给数据获取单元712和数据补充单元702。
另一方面，在(hidff-vdiff)＜0并且关注像素取水平方向为参考轴的情况下，水平/垂直确定单元711确定像素接近靠近水平方向的细线或边缘，其中细线或二值边缘与参考轴的角度θ为0度≤θ＜45度或135度≤θ＜180度，并将表示使用的选取块对应于水平方向的确定结果输出给数据获取单元712和数据补充单元702。
也就是说，细线或二值边缘的梯度更接近垂直方向表示，例如如图131A所示，图中插入有箭头的细线部分更大，因此设置在垂直方向上具有增加个数的像素的选取块(设置垂直长的选取块)。同样，在细线的梯度更靠近水平方向的情况下，设置在水平方向上具有增加个数的像素的选取块(设置水平长的选取块)。这样，不需要增加不必的计算量而可以计算精确最大值和最小值。
在步骤S712中，数据获取单元712对应于从水平/垂直确定单元711输入的表示关注像素的水平方向或垂直方向的确定结果选取选取块的像素。也就是说，例如如图139所示，选取以关注像素为中心的(水平方向上的3个像素)×(垂直方向上的7个像素)共21个像素作为选取块并存储。
在步骤S713，数据获取单元712选取对应于如下方向的动态范围块的像素并将其存储，所述方向对应于对选取块中的每个像素的水平/垂直确定单元711的确定结果。也就是说，如上文参考图139的描述，在该情况下，对于例如选取块的像素pix11，水平/垂直确定单元711的确定结果表示垂直方向，从而数据获取单元712选取在垂直方向上的动态范围块B1，并以同样的方法选取像素pix12的动态范围块B2。并同样地选取其它选取块的动态范围块。
也就是说，利用该数据选取处理(选择将要处理的区域)，将用于计算关于特定关注像素T的正规方程所需的像素信息存储在数据获取单元712中。
这里，返回到图149中的流程。
在步骤S703，数据补充单元702进行处理，用于补充正规方程中每项所需的值(公式(74))。
这里，将参考图151的流程描述对正规方程的补充处理。
在步骤S721中，差值补充单元721根据数据选择单元701的水平/垂直确定单元711的确定结果，获得(选择)存储在数据获取单元712中的选取块的像素之间的像素值之差，并将其升高到第二阶(平方)并补充。也就是说，在水平/垂直确定单元711的确定结果是垂直方向的情况下，差值补充单元721获得垂直方向中的选取块的每个像素与相邻像素的像素值之差，并将其平方和补充。同样，在水平/垂直确定单元711的确定结果是水平方向的情况下，差值补充单元721获得水平方向中的选取块的每个像素与相邻像素的像素值之差，并将其平方和补充。从而，差值补充单元721产生各项的差方和作为上述公式(75)中的分母，并将其存储。
在步骤S722中，最大最小值获取单元722获得存储在数据获取单元712中的动态范围块中包括的像素的像素值的最大值和最小值，并在步骤S723中，从最大值和最小值获得(检测)动态范围，并将其输出给差值补充单元723。也就是说，在如图136B所示的由像素pix1到pix7构成的7像素动态范围块的情况下，检测出pix2的像素值为最大值，检测出pix7的像素值为最小值，以及获得其差作为动态范围。
在步骤S724中，差值保持单元723从存储在数据获取单元712中的选取块的像素，获得在对应于数据选择单元701的水平/垂直确定单元711的结果的方向上的相邻像素之间像素值之差，并补充由从最大最小值获取单元722输入的动态范围相乘的值。也就是说，差值补充单元721产生多项和作为上述公式(75)中的分子，并将其存储。
这里，返回到对图149中的流程的描述。
在步骤S704中，差值补充单元721确定像素之间的像素值之差(在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值之差)是否被补充给选取块的所有像素，在确定例如像素之间的像素值之差没有对于选取块的所有像素补充时，流程返回步骤S702，并重复后面的处理。也就是说，重复步骤S702到步骤S704的处理直到确定像素之间的像素值之差已经对于选取块的所有像素补充。
当在步骤S704中确定像素之间的像素值之差已经被补充给选取块的所有像素的情况下，在步骤S705，差值补充单元721和723将存储在其中的补充结果输出给连续性方向推导单元703。
在步骤S706，连续性方向计算单元731利用最小二乘法求解上述给出的公式(75)中的正规方程，基于从数据补充单元702的差值补充单元721输入的获取块中的像素的、在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值的差方和；从差值补充单元723输入的获取块中像素的、在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值之差；以及对应于获得的块的像素的动态范围的乘积的和，从而统计地计算并输出表示连续性方向的角度(表示细线或二值边缘的梯度的角度)，作为关注像素的数据连续性信息。
在步骤S707中，数据获取单元712确定是否已经对所有输入图像的像素进行处理，在确定仍未对输入图像的所有像素处理的情况下，即仍没有输出输入图像的所有像素的细线或二值边缘的角度信息，在步骤S708中对计数器加1，并且过程返回步骤S702。也就是说，重复步骤S702到步骤S708的处理，直到处理并变化输入图像的像素，并对输入图像的所有像素进行处理。可以根据例如栅格扫描等由计数器T改变像素，或根据其它规则顺序改变。
当在步骤S707中确定已经对输入图像的所有像素进行处理的情况下，在步骤S709，数据获取单元712确定是否存在下一个输入图像，在确定存在下一个输入图像的情况下，处理返回步骤S701，并重复下面的处理。
当在步骤S709中确定不存在下一个输入图像时，处理结束。
根据上述处理，检测出细线或二值边缘的角度作为连续性信息并输出。
通过该统计处理获得的细线或二值边缘的角度近似地匹配利用相关性获得的细线或二值边缘的角度。也就是说，对于如图152A所示的图像中由白线围绕的范围的图像，如图152B所示，通过利用相关性获得的表示细线梯度的角度(图中的黑色圆形)与通过利用图124中的数据连续性检测单元101进行统计处理获得的细线角度(图中的黑色三角形)对于细线的在水平方向上的预定坐标的在空间方向Y上的梯度的变化在细线附近的空间方向Y的坐标上近似符合。注意，在图152B中，在图中黑线之间的空间方向Y＝680到730之间是在细线上的坐标。
同样，对于如图153A所示的图像中由白线围绕的范围的图像，如图153B所示，通过利用相关性获得的表示二值边缘的梯度的角度(图中的黑色圆形)与通过利用图124中的数据连续性检测单元101进行统计处理获得的二值边缘的角度(图中的黑色三角形)对于二值边缘的在水平方向上的预定坐标的在空间方向Y上的梯度的变化在细线附近的空间方向Y的坐标上近似符合。注意，在图153B中，在图中空间方向Y＝(约)376到(约)388之间是在细线上的坐标。
因此，如图124所示的数据连续性检测单元101利用用于获得细线或二值边缘的每个像素附近的信息，不同于利用与由预定像素构成的块的相关性的方法，可以统计地获得表示细线或二值边缘的梯度的角度(以水平方向作为参考轴的角度)作为数据连续性，并且因此，不存在如在利用相关性的方法中的根据预定角度的切换，从而，可以利用相同的处理获得所有细线或二值边缘的梯度的角度，从而可以简化处理。
另外，尽管描述了数据连续性检测单元101的实例，所述单元输出细线或二值边缘与预定参考轴的角度作为连续性信息，但是可以考虑，根据后面的处理，以改善处理效率地方式输出角度。在该情况下，数据连续性检测单元101的连续性方向推导单元703和连续性方向计算单元731可以不变地输出通过最小二乘法获得的细线或二值边缘的梯度Gf作为连续性信息。
另外，尽管描述了获得对选取块中的每个像素计算的公式(75)中的Dri_r，但是设置充分大的动态范围块，即设置较多关注像素及较多的周围像素的动态范围，将在动态范围的全部次数中选择图像中的像素的像素值的最大值和最小值。因此，可以这样设置，其中对动态范围Dri_r进行计算，其中以获得的为固定值的动态范围Dri_r作为选取块或图像数据中的像素的从最大值到最小值的动态范围，而不计算选取块的每个像素。
也就是说，可以如下面的公式(76)进行设置，通过只补充像素之间的像素值之差以获得细线的角度(梯度Gf)。通过这样固定动态范围可以简化计算处理，并以更快的速度进行处理。
Gf=Dr×Σi=1nd_yiΣi=1n(d_yi)2]]>公式(76)接着，将参考图154描述数据连续性检测单元检测像素的混合比值作为数据连续性信息。
注意，在如图154所示的数据连续性检测单元101中，对应于图124中数据连续性检测单元101的部分的部分以相同的标号表示，并省略对其的描述。
在如图154所示的数据连续性检测单元101中，与图124所示的数据连续性检测单元101不同之处在于，提供数据补充单元751和混合比值推导单元761代替数据补充单元702和连续性方向推导单元703。
数据补充单元751的最大最小值获取单元752执行与图124中最大最小值获取单元722相同的处理，并获得动态范围块中像素的像素值的最大值和最小值，获得最大值和最小值的差(动态范围)，以及将其输出给补充单元753和755，并将最大值输出给差值计算单元754。
补充单元753平方由最大最小值获取单元获得的值，对选取块的所有像素进行补充，获得其和，以及将其输出给混合比值推导单元761。
差值计算单元754获得数据获取单元712获取的块中的每个像素之间的差和对应于动态范围块的最大值，并将其输出给补充单元755。
补充单元755将从最大最小值获取单元752输入的获取块的每个像素的最大值和最小值之差(动态范围)与从差值计算单元754输入的获取块中的每个像素的像素值与对应的动态范围块的最大值的差相乘，获得其和，并将其输出给混合比值推导单元761。
混合比值推导单元761的混合比值计算单元762基于从数据补充单元的补充单元753和755输入的值，通过最小二乘法统计地获得关注像素的混合比值，并将其输出作为数据连续性信息。
接着，将描述混合比值推导方法。
如图155A所示，在图像上存在细线的情况下，由传感器2拍摄的图像如图155B所示。在该图像中，关注图155B中在空间方向X＝X1上由黑色实线围绕的关注像素。注意，图155B中在白线之间的区域表示对应于现实世界细线区域的位置。该像素的像素值M应该是对应于背景区域的水平的像素值B和对应于细线区域的水平的像素值L之间的中间色，更具体的是，该像素值Ps应该是根据背景区域和细线区域的面积比值的每个水平的混合水平。因此，像素值Ps可以由下面的公式(77)表达。
Ps＝α×B+(1-α)×L 公式(77)这里，α是混合比值，尤其是，表示背景区域在关注像素中所占的面积比值。因此，可以说(1-α)表示细线区域所占的比值。这里，可以认为背景区域的像素是在背景中存在的对象的分量，从而可以称为背景对象分量。另外，可以认为细线区域的像素是在相对于背景对象的前景中存在的对象的分量，从而可以成为前景对象分量。
从而，可以通过扩展公式(77)由下面的公式(78)表达混合比值α。
α＝(Ps-L)/(B-L) 公式(78)另外，在这该情况下，假设像素值位于横跨第一像素值(像素值B)区域和第二像素值(像素值L)区域的位置上，因此，可以用像素值的最大值Max替换像素值L，可以用像素值的最小值替换像素值B。因此，可以将混合比值α表达为下面的公式(79)。
α＝(Ps-Max)/(Min-Max) 公式(79)作为上述的结果，可以从关于关注像素的动态范围块的动态范围(等于(Min-Max))、以及关注像素与动态范围块中的像素的最小值之差获得混合比值α，但是，为了进一步改善精度，这里将通过最小二乘法统计地获得混合比值。
也就是说，扩展上述公式(79)得到下面的公式(80)。
(Ps-Max)＝α×(Min-Max) 公式(80)在上述公式(71)的情况下，该公式(80)是单变量最小二乘方程。也就是说，在公式(71)中，通过最小二乘法获得梯度Gf，但是这里，获得混合比值α。因此，通过求解如公式(81)所示的正规方程可以统计地获得混合比值α。
α=Σi=1n((Mini-Maxi)(Psi-Maxi))Σi=1n((Mini-Maxi)(Mini-Maxi))]]>公式(81)这里，I用于标识选取块的像素。因此，在公式(81)中，选取块中的像素个数为n。
接着，将参考图156描述利用混合比值作为数据连续性的用于检测数据连续性的处理。
在步骤S731中，水平/垂直确定单元711起动计数器U，其识别输入图像的像素。
在步骤S732中，水平/垂直确定单元711进行处理，以选取下面步骤所需的数据。注意，步骤S732的处理与参考图150所述的处理相同，因此省略对其的描述。
在步骤S733中，数据补充单元751进行处理，以补充用于计算正规方程(这里指公式(81))的每项所需的值。
这里，将参考图157中的流程图描述用于补充正规方程的处理。
在步骤S751中，最大最小值获取单元752获取存储在数据获取单元712中的动态范围块中包含的像素的像素值的最大值和最小值，并将其中的最小值输出给差值计算单元754。
在步骤S752，最大最小值获取单元752从最大值和最小值之差获取动态范围，并将其输出给差值补充单元753和755。
在步骤S753，补充单元753平方从最大最小值获取单元752输入的动态范围(Max-Min)也就是说，补充单元753通过补充产生等于上述公式(81)中分母的值。
在步骤S754，差值计算单元754获得从最大最小值获取单元752输入的动态范围块的最大值与在选取块中当前正被处理的像素的像素值之差，并将其输出给补充单元755。
在步骤S755中，补充单元755将从最大最小值获取单元752输入的动态范围乘以从差值计算单元754输入的正被处理的像素的像素值与动态范围块的像素的最大值之差，并补充。也就是说，补充单元755产生等于上述公式(81)的分子项的值。
如上所述，数据补充单元751通过补充计算上述公式(81)的各项。
这里，返回到对图156中的流程图的描述。
在步骤S734中，差值补充单元721确定是否结束对选取块的所有像素的补充，在确定例如对选取块的所有像素的补充仍未结束的情况下，该过程返回步骤S732，并重复随后的处理。也就是说，重复步骤S732到步骤S734的处理直到确定对选取块的所有像素的补充已经结束。
在步骤S734中，在确定对选取块的所有像素的补充已经结束的情况下，在步骤S735，补充单元753和755将存储在其中的补充结果输出给混合比值推导单元761。
在步骤S736，混合比值推导单元761的混合比值计算单元762通过最小二乘法统计地计算并输出关注像素的混合比值作为数据连续性信息，其中通过基于动态范围的平方和、以及从数据补充单元751的补充单元753和755输入的选取块的关注像素的像素值与动态块的最大值之差乘以动态范围的和，求解公式(81)所示的正规方程。
在步骤S737，数据获取单元712确定对输入图像中的所有像素的处理是否已经进行，在确定例如仍未进行对输入图像中的所有像素的处理的情况下，即在确定仍未输出输入图像的所有像素的混合比值的情况下，在步骤S738中，计数器加1，并且过程返回步骤S732。
也就是说，重复步骤S732到步骤S738的处理，直到改变输入图像中将要处理的像素，并对输入图像的所有像素计算混合值。可以例如根据栅格扫描等由计数器改变像素，或根据其它规则顺序改变。
当在步骤S737中确定已经对输入图像的所有像素进行处理时，在步骤S739中，数据获取单元712确定是否存在下一个输入图像，在确定存在下一个输入图像的情况下，该过程返回步骤S731，并重复后面的处理。
当在步骤S739中确定没有下一个输入图像的情况下，处理结束。
由于上述处理，检测出像素的混合比值作为连续性信息，并输出。
图158B示出了根据上述技术，关于图158A所示图像中的白线内的细线图像，在预定空间方向X(＝561、562、563)上的混合比值的变化。如图158B所示，在水平方向上连续的混合比值在空间方向Y上的变化分别是，在空间方向X＝563的情况下，混合比值在空间方向Y＝660附近开始上升，峰值为Y＝685附近，并下降到达Y＝710。另外，在空间方向X＝562的情况下，混合比值在空间方向Y＝680附近开始上升，峰值为Y＝705附近，并下降到达Y＝735。另外，在空间方向X＝561的情况下，混合比值在空间方向Y＝705附近开始上升，峰值为Y＝725附近，并下降到达Y＝755。
从而，如图158B所示，在连续空间方向X上的每个混合比值的变化与根据混合比值变化的像素值的变化相同(如图133B中示出的像素值的变化)，并且循环连续，因此可以理解，在细线附近的像素的混合比值被精确表示。
另外，同样，图159B示出了关于图159A所示图像中的白线内的二值边缘图像，在预定空间方向X(＝658、659、660)上的混合比值的变化。如图159B所示，在水平方向上连续的混合比值在空间方向Y上的变化分别是，在空间方向X＝660的情况下，混合比值在空间方向Y＝750附近开始上升，峰值为Y＝765附近。另外，在空间方向X＝659的情况下，混合比值在空间方向Y＝760附近开始上升，峰值为Y＝775附近。另外，在空间方向X＝658的情况下，混合比值在空间方向Y＝770附近开始上升，峰值为Y＝785附近。
从而，如图159B所示，二值边缘的每个混合比值的变化与根据混合比值变化的像素值的变化相同(如图145B中示出的像素值的变化)，并且循环连续，因此可以理解，在二值边缘附近的像素值的混合比值被精确表示。
根据上述，通过最小二乘法可以统计地获得每个像素的混合比值作为数据连续性信息。另外，可以基于该混合比值直接产生每个像素的像素值。
另外，如果设混合比值的变化具有连续性，并且，混合比值的变化是线性的，则如下面的公式(82)表示的关系成立。
α＝m×y+n公式(82)这里，m表示当混合比值α相对于空间方向Y变化时的梯度，另外，当混合比值α线性变化时，n相当于截距。
也就是说，如图60所示，表示混合比值的直线是表示等于背景区域水平的像素值B与等于细线水平的像素L之间的边界的直线，在该情况下，当相对空间方向Y前进单位距离时，混合比值的变化量为梯度m。
因此，将公式(82)代入公式(77)获得下面的公式(83)。
M＝(m×y+n)×B+(1-(m×y+n))×L 公式(83)另外，扩展公式(83)获得下面的公式(84)M-L＝(y×B-y×L)×m+(B-L)×n 公式(84)在公式(84)中，第一项m表示混合比值在空间方向中的梯度，第二项表示混合比值的截距。因此，可以这样设置，其中利用两个变量的最小二乘法产生正规方程以获得公式(84)中的m和n。
然而，混合比值α的梯度m是上述细线或二值边缘的梯度(上述梯度Gf)自身，因此可以这样设置，其中首先使用上述方法获得细线或二值边缘的梯度Gf，然后使用该梯度并将其代入公式(84)，从而形成关于截距项的单变量函数，并利用单变量最小二乘法获得与上述技术相同的结果。
尽管描述了用于检测细线或二值边缘在空间方向上的角度(梯度)或混合比值作为数据连续性信息的数据连续性检测单元101，但是可以这样设置，其中通过用例如时间方向(帧方向)T轴代替空间方向轴(空间方向X和Y)中的一个，获得对应于空间方向中的角度的物理量。也就是说，对应于通过用时间方向(帧方向)T轴代替空间方向轴(空间方向X和Y)中的一个而获得的角度的物理量是对象的移动矢量(移动矢量方向)。
尤其是，如图161A所示，当对象相关于空间方向Y在时间上在图中向上移动时，对象的移动轨迹在相当于图中细线的部分示出(相比于图131A)。因此，在时间方向T上的细线的梯度表示图161A中对象的移动方向(表示对象的移动的角度)(相当于移动矢量的方向)。因此，在现实世界中，在由图161A中的箭头表示的预定时刻的帧中，如图161B所示获得脉冲形波形，其中为对在象轨迹的部分是对象的水平(颜色)，以及其它部分是背景水平。
这样，利用传感器2成像具有移动的对象的情况下，如图162A所示，从时刻T1到T3的帧的每个像素的像素值分布都采用在空间方向Y上的峰形分布，如图162B所示。可以认为该关系与参考图132A和图132B所述的在空间方向X和Y上的关系相同。因此，在对象在帧方向T上具有移动时，可以以与利用上述细线的梯度或二值边缘的角度(梯度)信息相同的方法，获得对象的移动矢量的方向作为数据连续性信息。注意，在图162B中，帧方向T(时间方向T)中的每个栅格是构成一帧的图像的快门时间。
另外，同样，如图163A所示，对于每个帧方向T，存在对象在空间方向Y上的移动的情况下，如图163B所示，可以获得对应于对象在对应预定时刻的帧上相对于空间方向Y的移动的每个像素值。这里，图163B中由黑实线包围的像素的像素值是其中背景水平和对象水平在帧方向上以混合比值β混合的像素值，其对应于例如如图163C所示的对象的移动。
该关系与参考图155A、图155B以及图155C所述的关系相同。
另外，如图164所示，由在帧方向(时间方向)上的混合比值β可以虚线近似对象的水平O和背景的水平B。该关系与参考图160所述的在空间方向上的混合比值的线性近似关系相同。
因此，利用与在空间方向中的混合比值α的情况下相同的技术可以获得在时间(帧)方向上的混合比值β作为数据连续性信息。
另外，可以这样设置，其中选择帧方向或一维空间方向，获得数据连续性角度或移动矢量方向，以及同样地选择性地获得混合比值α和β。
根据上述，投影现实世界的光信号，选择对应于图像数据中的关注像素的区域，所述图像中已丢失了现实世界光信号的部分连续性，检测选择的区域中的用于检测对应于丢失的现实世界光信号的连续性的图像数据连续性相对于参考轴的角度的特征，基于检测的特征统计地检测角度，以及基于检测的图像数据的连续性相对于参考轴的角度通过模拟丢失的现实世界光信号的连续性而模拟光信号，从而获得连续性的角度(移动矢量的方向)或(时间-空间)混合比值。
接着，将参考图165描述数据连续性信息检测单元101，其将其中利用数据连续性信息进行处理的区域中的信息输出作为数据连续性信息。
角度检测单元801检测输入图像中具有连续性区域的空间方向角度，所述区域即构成图像中具有连续性的细线和二值边缘的部分，并将角度输出给现实世界估计单元802。注意，该角度检测单元801与图3中数据连续性检测单元101相同。
现实世界估计单元802基于从角度角度检测单元801输入的表示数据连续性方向的角度和输入图像的信息估计现实世界。也就数说，现实世界估计单元802从输入图像和输入图像的每个像素获得近似地描述现实世界光信号的光强分布的模拟函数的系数，并将获得的作为对现实世界的估计结果的系数输出给误差计算单元803。注意，该现实世界估计单元802与图3所示的现实世界估计单元102相同。
误差计算单元803基于从现实世界估计单元802输入的系数公式化表示近似描述的现实世界光强分布的模拟函数，并且还基于模拟函数积分对应于每个像素位置的光强，从而根据从模拟函数估计的光强分布产生每个像素的像素值，并将其输出给比较单元804，以与实际输入的像素值的差作为误差。
比较单元804比较每个像素的从误差计算单元803输入的误差与预先设置的阈值，从而分辨其中存在将被利用连续性信息处理的像素的处理区域和非处理区域，并输出分辨其中将要利用连续性信息进行处理的处理区域和非处理区域的区域信息作为连续性信息。
接着，将参考图166描述利用图165中的数据连续性检测单元101的连续性检测处理。
角度检测单元801获取在步骤S801中输入的图像，并在S802中检测表示连续性方向的角度。尤其是，角度检测单元801检测当取水平方向为参考轴时的细线、或表示具有例如二值边缘的连续性方向的角度，并将其输出给现实世界估计单元802。
在步骤S803，现实世界估计单元802基于从角度检测单元801输入的角度信息和输入图像信息，获得由多项式构成的模拟函数f(x)的系数，所述函数近似地描述了表达现实世界的函数F(x)，并将其输出给误差计算单元803。也就是说，表达现实世界的模拟函数f(x)示出为如下面的公式(85)的初始多项式。
f(x)=w0xn+w1xn-1+···+wn-1x+wn]]>=Σi=0nwixn-i]]>公式(85)这里，wi是多项式的系数，现实世界估计单元802获得该系数wi并将其输出给误差计算单元803。另外，基于从角度检测单元801输入的角度可以获得来自连续性方向的梯度(Gf＝tan-1θ，Gf梯度，θ角度)，从而，通过代入该梯度Gf的约束条件可以用获得如下面的公式(86)所示的二元多项式描述上述公式(85)。
f(x,y)=w0(x-αy)n+w1(x-αy)n-1+···+wn-1(x-αy)+wn]]>+wn-1(x-αy)+wn]]>=Σi=0nwi(x-αy)n-i]]>公式(86)也就是说，上述公式(86)描述了通过用平移量α(＝-dy/Gfdy为在空间方向Y上的变化量)表示由于利用公式(85)描述的初始模拟函数f(x)平行于空间方向Y上移动发生的平移的宽度而获得的二元函数f(x，y)。
因此，现实世界估计单元802利用输入图像和在连续性方向上的角度信息解出上述公式(86)的每个系数，并将获得的系数wi输出给误差计算单元803。
这里，返回描述图166中的流程图。
在步骤S804，误差计算单元803基于现实世界估计单元802输入的系数，进行对每个像素的再积分。尤其是，误差计算单元803基于从现实世界估计单元802输入的系数如下面的公式(87)所示将上述公式(86)对每个像素积分。
Ss=∫ymym+B∫xmxm+Af(x,y)dxdy]]>=∫ymym+B∫xmxm+A(Σi=0nwi(x-αy)n-i)dxdy]]>=Σi=0nwi∫ymym+B∫xmxm+A(x-αy)n-idxdy]]>=Σi=0nwi×1(n-i+2)(n-i+1)α]]>×[{(xm+A-α(ym+B))n-i+2-(xm-α(ym+B))n-i+2}]]>-{(xm+A-αym)n-i+2-(xm-αym)n-i+2}]]]>公式(87)这里，Ss表示在图167中示出的空间方向上的积分结果。另外，如图167所示，其积分范围是，在空间方向X上为xm到xm+B，在空间方向Y上为ym到ym+A。另外，在图167中，认为每个栅格(方格)表示一个像素，并且空间方向X和空间方向Y上的栅格都为1。
因此，如图168所示，误差计算单元803对每个像素进行如公式(88)所示的积分算法操作，其中在模拟函数f(x，y)中所示的曲线表面的空间方向X上的积分范围是xm到xm+1，以及在空间方向Y上的范围是ym到ym+1(A＝B＝1)，并计算通过空间积分近似表达现实世界的模拟函数获得的每个像素的像素值Ps。
Ps=∫ymym+1∫xmxm+1f(x,y)dxdy]]>=∫ymym+1∫xmxm+1(Σi=0nwi(x-αy)n-i)dxdy]]>=Σi=0nwi∫ymym+1∫xmxm+1(x-αy)n-idxdy]]>=Σi=0nwi×1(n-i+2)(n-i+1)α]]>×[{(xm+1-α(ym+1))n-i+2-(xm-α(ym+1))n-i+2}]]>-{(xm+1-αym)n-i+2-(xm-αym)n-i+2}]]]>公式(88)换句话说，根据该处理，误差计算单元803用作所谓的一种像素产生单元，并从模拟函数产生像素值。
在步骤S805中，误差计算单元803计算利用如上述公式(88)所示的积分获得的像素值与输入图像的像素值之差，并将其作为误差输出给比较单元804。换句话说，误差计算单元803获得对应于如图167和168所示的积分范围(在空间方向X上为xm到xm+1，在空间方向Y上为ym到ym+1)的像素的像素值与利用在对应于像素的范围上的积分结果获得的像素值之差作为误差，并将其输出给比较单元804。
在步骤S806中，比较单元804确定利用从误差计算单元803输入的积分获得的像素值与输入图像的像素值之间的误差的绝对值是否等于阈值或更小。
在步骤S806中，在确定所述误差是阈值或更小的情况下，由于利用积分获得像素值是接近输入图像的像素的像素值的值，比较单元804将用于计算像素的像素值的模拟函数组看作利用现实世界中的光信号的光强分布充分近似的函数，并在步骤S807中将正被处理的像素的区域看作其中基于连续性信息利用模拟函数进行处理的处理区域。更具体的是，比较单元804将现在处理过的像素存储在未示出的存储器中作为在随后处理区域中的像素。
另一方面，当在步骤S806中确定误差不是阈值或更小的情况下，由于通过积分获得的像素值是远离实际像素值的值，比较单元804将用于计算像素的像素值的模拟函数看作利用现实世界中的光信号的光强分布不充分近似的函数，并在步骤S808中将正被处理的像素的区域看作其中在随后的阶段不进行基于连续性信息利用模拟函数的处理的非处理区域。更具体的是，比较单元804将现在处理过的像素的区域存储在未示出的存储器中作为随后的非处理区域。
在步骤S809中，比较单元804确定是否已经进行对所有像素的处理，在确定仍未对所有的像素进行处理的情况下，处理返回步骤S802，其中重复进行后面的处理。换句话说，重复进行步骤S802到S809中的处理，直到确定进行了其中比较利用积分获得的像素值与输入的像素值的处理，并确定该像素是否已经对所有像素确定该像素是处理区域。
在步骤S809中，在确定已经对所有像素完成其中进行对利用再积分获得的像素值与输入像素值的比较的确定处理、并且确定像素是否是处理区域后，在步骤S810中，比较单元804输出区域信息，其中关于存储在未示出的存储器中的输入图像，识别处理区域和非处理区域作为连续性信息，在处理区域中，在后面的处理中基于在空间方向上的连续性信息进行处理，而在非处理区域中，不进行基于在空间方向上的连续性信息的处理。
根据上述处理，基于通过利用基于连续性信息计算的模拟函数f(x)在对应于每个像素的区域上的积分结果获得的像素值与实际输入图像的像素值之间的误差，对每个区域(每个像素)进行对模拟函数的表达的可靠性的评估，从而，将具有最小误差的区域认为是处理区域，即只有其中的像素的通过基于模拟函数的积分获得的像素值是可靠存在的区域，而将除此以外的其它区域认为非处理区域，从而，只有可靠区域可以基于空间方向中的连续性信息得到处理，并且可以进行需要的单独处理，从而可以改善处理速度，并且所述处理可以对可靠的区域单独进行，从而防止图像质量由于该处理而损坏。
接着，将参考图169描述数据连续性信息检测单元101的另一实施例，其输出其中存在将要利用数据连续性信息处理的像素的区域信息作为数据连续性信息。
移动检测单元821检测输入图像的具有连续性的区域，即在图像的帧方向上具有连续性的移动(移动矢量Vf的方向)，并将检测的移动输出给现实世界估计单元822。注意，该移动检测单元821与图3中数据连续性检测单元101相同。
现实世界估计单元822基于从移动检测单元821输入的数据连续性和输入图像信息的移动估计现实世界。具体为，现实世界估计单元822获得模拟函数的系数，所述函数基于输入的移动和输入图像的每个像素在帧方向(时间方向)上近似描述现实世界中光信号的光强分布，并将获得的系数作为在现实世界中的估计结果输出给误差计算单元823。注意，该现实世界估计单元822与图3中的现实世界估计单元102相同。
误差计算单元823形成表示现实世界在帧方向上的光强分布的模拟函数，其中基于从现实世界估计单元822输入的系数近似描述了所述现实世界，并且，从该模拟函数对每帧积分相当于每个所需位置的光强，从通过模拟函数估计的光强分布产生每个像素的像素值，并将与实际输入的像素值之差输出给比较单元824作为误差。
比较单元824通过比较从误差计算单元823输入的关于每个像素的误差与预定阈值，识别处理区域和非处理区域，在所述处理区域中存在将要利用连续性信息处理的像素，并将其中识别处理区域和非处理区域的区域信息输出作为连续性信息，其中在处理区域中利用连续性信息进行处理。
接着，将参考图170描述利用图169的数据连续性检测单元101进行的连续性检测处理。
移动检测单元801在步骤S801中获取输入图像，并在步骤S822中检测表示连续性的移动。更具体的是，移动检测单元801检测例如物质在输入图像中的移动(移动方向矢量Vf)，并将其输出给现实世界估计单元822。
在步骤S823中，现实世界估计单元822获得由多项式构成的函数f(t)的系数，所述函数基于从移动检测单元821输入的移动信息和输入图像的信息近似地描述了表示现实世界的在帧方向上的函数F(t)，并将其输出给误差计算单元823。也就是说，表达现实世界的函数f(t)示出为如下述公式(89)的初始多项式。
f(t)=w0tn+w1tn-1+···+wn-1t+wn]]>=Σi=0nwitn-i]]>公式(89)这里，wi是多项式的系数，现实世界估计单元822获得该系数wi并将其输出给误差计算单元823。另外，基于从移动检测单元821输入的移动可以获得作为连续性的移动(Vf＝tan-1θv，Vf移动矢量在帧方向上的梯度，θv移动矢量在帧方向上的角度)，从而，通过代入该梯度的约束条件可以用获得如下面的公式(90)所示的二元多项式描述上述公式(89)。
f(t,y)=w0(t-αy)n+w1(t-αy)n-1+···]]>+wn-1(t-αy)+wn]]>=Σi=0nwi(t-αy)n-i]]>公式(90)也就是说，上述公式(90)描述了通过用平移量αt(＝-dy/Vf:dy为在空间方向Y上的变化量)表示由于利用公式(89)描述的初始模拟函数f(t)平行于空间方向Y上移动发生的平移的宽度而获得的二元函数f(t，y)。
因此，现实世界估计单元822利用输入图像和连续性移动信息解出上述公式(90)的每个系数wi，并将获得的系数wi输出给误差计算单元823。
这里，返回描述图170中的流程图。
在步骤S824，误差计算单元823基于现实世界估计单元822输入的系数，进行对每个像素的积分。也就是说，误差计算单元823基于从现实世界估计单元822输入的系数如下面的公式(91)所示将上述公式(90)对每个像素积分。
St=∫ymym+B∫tmtm+Af(t,y)dtdy]]>=∫ymym+B∫tmtm+A(Σi=0nwi(t-αy)n-i)dtdy]]>=Σi=0nwi∫ymym+B∫tmtm+A(t-αy)n-idtdy]]>=Σi=0nwi×1(n-i+2)(n-i+1)α]]>×[{(tm+A-α(ym+B))n-i+2-(tm-α(ym+B))n-i+2}]]>-{(tm+A-αym)n-i+2-(tm-αym)n-i+2}]]]>公式(91)这里，St表示在图171中示出的在帧方向上的积分结果。另外，如图171所示，其积分范围是，在帧方向T上为Tm到Tm+B，在空间方向Y上为ym到ym+A。另外，在图171中，认为每个栅格(方格)表示一个像素，并且帧方向T和空间方向Y上的栅格都为1。
因此，如图172所示，误差计算单元823对每个像素进行如公式(92)所示的积分算法操作，其中在模拟函数f(t，y)中所示的曲线表面的帧方向T上的积分范围是Tm到Tm+1，以及在空间方向Y上的范围是ym到ym+1(A＝B＝1)，并计算从近似表达现实世界的模拟函数获得的每个像素的像素值Pt。
Pt=∫ymym+1∫tmtm+1f(t,y)dtdy]]>=∫ymym+1∫tmtm+1(Σi=0nwi(t-αy)n-i)dtdy]]>=Σi=0nwi∫ymym+1∫tmtm+1(t-αy)n-idtdy]]>=Σi=0nwi×1(n-i+2)(n-i+1)α]]>×[{(tm+1-α(ym+1))n-i+2-(tm-α(ym+1))n-i+2]]]>-{(tm+1-αym)n-i+2-(tm-αym)n-i+2}]]]>公式(92)也就是说，根据该处理，误差计算单元823用作所谓的一种像素产生单元，并从模拟函数产生像素值。
在步骤S825中，误差计算单元823计算利用如上述公式(92)所示的积分获得的像素值与输入图像的像素值之差，并将其作为误差输出给比较单元824。也就是说，误差计算单元823获得对应于如图171和172所示的积分范围(在帧方向T上为Tm到Tm+1，在空间方向Y上为ym到ym+1)的像素的像素值与利用在对应于像素的范围上的积分结果获得的像素值之差作为误差，并将其输出给比较单元824。
在步骤S826中，比较单元824确定利用从误差计算单元823输入的积分获得的像素值与输入图像的像素值之间的误差的绝对值是否等于阈值或更小。
在步骤S826中，在确定所述误差是阈值或更小的情况下，由于利用积分获得像素值是接近输入图像的像素的像素值的值，比较单元824将用于计算像素的像素值的模拟函数组看作利用现实世界中的光信号的光强分布充分近似的函数，并在步骤S827中将正被处理的像素的区域看作处理区域。更具体的是，比较单元824将现在处理过的像素存储在未示出的存储器中作为在随后处理区域中的像素。
另一方面，当在步骤S826中确定误差不是阈值或更小的情况下，由于通过积分获得的像素值是远离实际像素值的值，比较单元824将用于计算像素的像素值的模拟函数看作利用现实世界中的光信号的光强分布不充分近似的函数，并在步骤S828中将正被处理的像素的区域看作其中在随后的阶段不进行基于连续性信息利用模拟函数的处理的非处理区域。更具体的是，比较单元824将现在处理过的像素的区域存储在未示出的存储器中作为随后的非处理区域。
在步骤S829中，比较单元824确定是否已经进行对所有像素的处理，在确定仍未对所有的像素进行处理的情况下，处理返回步骤S822，其中重复进行后面的处理。换句话说，重复进行步骤S822到S829中的处理，直到确定进行了其中比较利用积分获得的像素值与输入的像素值的处理，并确定该像素是否已经对所有像素确定该像素是处理区域。
在步骤S829中，在确定已经对所有像素完成其中进行对利用再积分获得的像素值与输入像素值的比较的确定处理、并且确定像素是否是处理区域后，在步骤S830中，比较单元824输出区域信息，其中关于存储在未示出的存储器中的输入图像，识别处理区域和非处理区域作为连续性信息，在处理区域中，在后面的处理中基于在帧方向上的连续性信息进行处理，而在非处理区域中，不进行基于在帧方向上的连续性信息的处理。
根据上述处理，基于通过利用基于连续性信息计算的模拟函数f(t)在对应于每个像素的区域上的积分结果获得的像素值与实际输入图像的像素值之间的误差，对每个区域(每个像素)进行对模拟函数的表达的可靠性的评估，从而，将具有最小误差的区域认为是处理区域，即只有其中的像素的通过基于模拟函数的积分获得的像素值是可靠存在的区域，而将除此以外的其它区域认为非处理区域，从而，只有可靠区域可以基于帧方向中的连续性信息得到处理，并且可以进行需要的单独处理，从而可以改善处理速度，并且所述处理可以对可靠的区域单独进行，从而防止图像质量由于该处理而损坏。
可以这样设置，其中结合图165和图169中的数据连续性信息检测单元101的结构，选择一维空间方向和时间方向，以及选择性地输出区域信息。
根据上述结构，通过每个具有空间-时间积分效应的传感器的多个检测元件投影现实世界中的光信号，检测由多个像素构成的图像数据的数据连续性，所述像素具有由检测元件投影的像素值，其中丢失了现实世界的光信号的部分连续性，在对应于检测的连续性的每个像素的像素值的条件下模拟对应于现实世界的光信号的函数，并且对应于在空间方向的一维和数据方向中的至少一个位置为利用至少在一维方向上的积分效应获取的像素值，因此，检测通过模拟对应于现实世界的光信号的函数、并至少在对应于初始方向上的每个像素的增量上积分估计的函数而获得的像素值与每个像素的像素值的差值，并根据差值选择性地输出所述函数，从而，可以将这样的单独区域认为是处理区域，其中具有通过基于模拟函数的积分获得的像素值的像素可靠地存在，并且，将除此以外的其它区域认为是非处理区域，可以基于帧方向中的连续性信息单独地处理可靠区域，从而可以单独进行需要的处理，从而改进了处理速度，另外，由于可以单独地对可靠区域进行处理，防止由于该处理而损坏图像质量。
接着，将参考图173描述连续性检测单元101，其中可以更精确并更快速地获得作为连续性的角度。
简单类型的角度检测单元901与参考图95所述的连续性检测单元101基本相同，比较对应于关注像素的块与关注像素周围的周边像素块，以检测关注像素和周边像素之间的角度，其中对应于关注像素和的块与周边像素块的相关性最强，这就是所谓的块匹配，从而简单地检测作为连续性的角度属于16个方向的哪个范围(例如，在将数据连续性角度取为θ的情况下，16个范围为0≤θ＜18.4，18.4≤θ＜26.05，26.05≤θ＜33.7，33.7≤θ＜45，45≤θ＜56.3，56.3≤θ＜63.95，63.95≤θ＜71.6，71.6≤θ＜90，90≤θ＜108.4，108.4≤θ＜116.05，116.05≤θ＜123.7，123.7≤θ＜135，135≤θ＜146.3，146.3≤θ＜153.95，153.95≤θ＜161.6，以及161.6≤θ＜180，如后图178所示)，并将每个中值(或者其范围内的表示值)输出给确定单元902。
确定单元902基于从简单类型角度检测单元901输入的简单获得的作为连续性信息的角度，确定输入角度是接近垂直方向的角度，还是接近水平方向的角度，或者还是其它的情况，并根据确定结果控制开关903连接终端903a和903b中的任一个，以将输入图像提供给回归型角度检测单元904或梯度型角度检测单元905，并在开关903连接终端903a时还将从简单类型角度检测单元901输入的简单获得的角度信息提供给回归型角度检测单元904。
尤其是，在确定单元902确定从简单类型角度检测单元901提供的连续性方向为接近水平方向或垂直方向的角度的情况下(例如，在从简单类型角度检测单元901输入的连续性的角度θ为0≤θ＜18.4、71.6≤θ＜108.4、或161.6≤θ＜180的情况下)，确定单元902控制开关903连续终端903a以将输入图像提供给回归型角度检测单元904，在其它情况下，即在连续性方向接近45度或135度的情况下，确定单元902控制开关903连接终端903b以将输入图像提供给梯度型角度检测单元905。
回归型角度检测单元904的结构与参考图上述图107描述的连续性检测单元101类似，回归地(在关注像素的像素值与属于对应于关注像素的区域的像素的像素值的相关值等于或大于阈值的情况下，将对应于相关值的分数设置为这样的像素，从而检测属于所述区域的像素的分数，并通过基于检测的分数检测的回归线获得数据连续性的角度)检测数据连续性的角度，并将检测的角度输出给现实世界估计单元102作为数据连续性信息。然而，当回归线角度检测单元904检测角度，回归线角度检测单元904限制对应于关注像素的范围(范畴)，设置分数，并基于从确定单元902提供的角度回归地检测角度。
梯度型角度检测单元905与参考图124描述的连续性检测单元101基本类似，基于对应于关注像素的块(上述动态范围块)的像素值的最大值和最小值之差检测数据连续性角度，即动态范围(基本上，基于动态范围块中的像素的最大值和最小值之间的梯度)，并将该角度输出给现实世界估计单元102作为数据连续性信息。
接着，将参考图174描述简单型角度检测单元901的结构，但是简单型角度检测单元901具有与上述参考图95描述的数据连续性检测单元101的结构基本相同的结构。因此，如图174所示的简单型角度检测单元901的数据选择单元911、误差估计单元912、连续性方向推导单元913、像素选择单元921-1到921-L、估计误差计算单元922-1到922-L、以及最小误差角度选择单元923类似于如图95所示的数据连续性检测单元101的数据选择单元441、误差估计单元442、连续性方向推导单元443、像素选择单元461-1到461-L、估计误差计算单元462-1到462-L、以及最小误差角度选择单元443，因此省略对其的描述。
接着，将参考图175描述回归型角度检测单元904的结构，但是回归型角度检测单元904的结构与参考图107所述的数据连续性检测单元101的结构基本相同。因此，图175所示的回归型角度检测单元904的帧存储器931、像素获取单元932、回归线计算单元934、以及角度计算单元935与图107所示的数据连续性检测单元101的帧存储器501、像素获取单元502、回归线计算单元504、以及角度计算单元505基本相同，因此省略对其的描述。
这里，回归型角度检测单元904与图107所示的数据连续性检测单元101的不同在于分数检测单元933。分数检测单元933具有与图107所示的分数检测单元503相同的功能，但是还包括分数存储器933a，基于角度范围信息检测分数，其基于从确定单元902输入的由简单型角度检测单元901检测的数据连续性的角度检测对应于存储在分数存储器933a中的关注像素的分数，并将检测的分数信息提供给回归线计算单元934。
接着，将参考图176描述梯度型角度检测单元905的结构，但是梯度型角度检测单元905的结构与参考图124所述的数据连续性检测单元101的结构基本相同。因此，图176所示的数据选择单元941、数据补充单元942、连续性方向推导单元943、水平/差值确定单元951、数据获取单元952、差值补充单元961、最大最小值获取单元962、差值补充单元963、以及连续性方向计算单元971类似于图124所示的数据选择单元701、数据补充单元702、连续性方向推导单元703、水平/差值确定单元711、数据获取单元712、差值补充单元721、最大最小值获取单元722、差值补充单元723、以及连续性方向计算单元731，因此省略对其的描述。
接着，将参考图177描述检测数据连续性的处理。
在步骤S901，简单型角度检测单元901执行简单型角度检测处理，并将检测的角度输出给确定单元902。注意，简单型角度检测处理与参考图103的流程图所述的检测数据连续性的处理相同，因此省略对其的描述。
在步骤S902中，确定单元902基于从简单型角度检测单元901输入的数据连续性的角度信息，确定数据连续性的角度是接近水平方向还是垂直方向。尤其是，在数据连续性的角度，即从简单型角度检测单元901输入的角度θ在例如0≤θ＜18.4、71.6≤θ＜108.4、或161.6≤θ＜180的情况下，确定单元902确定数据连续性的角度是接近水平方向还是接近垂直方向。
在步骤S902中，在确定数据连续性的角度是水平方向或垂直方向的情况下，该处理进到步骤S903。
在步骤S903中，确定单元902控制开关903连接终端903a，并还将从简单型角度检测单元901提供的数据连续性的角度信息提供给回归线角度检测单元904。根据该处理，将输入图像和由简单型检测单元901检测的数据连续性的角度信息提供给回归线角度检测单元904。
在步骤S904，回归线角度检测单元904执行回归线角度检测处理，并将检测的角度输出给现实世界估计单元102作为数据连续性信息。注意，下面将参考图179描述回归线角度检测处理。
在步骤S905，简单型角度检测单元901的数据选择单元911确定是否对全部像素完成处理，在确定仍未多全部像素完成处理的情况下，该处理返回步骤S901，其中重复进行后面的处理。
另一方面，当在步骤S902中确定数据连续性方向既不是水平方向也不是垂直方向时，该处理进到步骤S906。
在步骤S906中，确定单元902控制开关903连接终端903b。根据该处理，将输入图像提供给梯度型角度检测单元905。
在步骤S907中，梯度型角度检测单元905执行梯度型角度检测处理以检测角度，并将检测的角度输出给现实世界估计单元102作为连续性信息。注意，梯度型角度检测处理与上述参考图149描述的检测数据连续性的处理基本相同，因此省略对其的描述。
也就是说，当在步骤S902中确定由简单型角度检测单元901检测的数据连续性的角度为对应于没有倾斜直线的白色区域的角度(18.4≤θ＜71.6，或108.4≤θ＜161.6)时，在关注像素如图178所示为图中中心的情况下，在步骤S903的处理中，确定单元902控制开关903连接终端903a，从而回归型角度检测单元904在步骤S904的处理中利用相关值获得回归线以从回归线中检测数据连续性的角度。
另外，当在步骤S902的处理中确定由简单型角度检测单元901检测的数据连续性的角度为对应于具有倾斜直线的区域的角度(0≤θ＜18.4、71.6≤θ＜108.4、或161.6≤θ＜180)时，在关注像素如图178所示为图中中心的情况下，在步骤S906的处理中，确定单元902控制开关903连接终端903b，从而梯度型角度检测单元905在步骤S907的处理中检测数据连续性的角度。
回归型角度检测单元904比较对应于关注像素的块与对应于周边像素的块之间的相关性，并从相对于对应于具有最大相关性的块的像素的角度获得数据连续性的角度。因此，在数据连续性的角度接近水平方向或垂直方向的情况下，存在属于具有最大相关性的块的像素远离关注像素的可能性，从而需要扩大搜索区域以精确检测强相关周边像素的块，这导致巨大处理的可能，并且进一步扩大搜索区域可能导致偶尔在实际不存在连续性的位置上检测出与对应于关注像素的块强相关的块，并且可能导致对角度的检测角度的破坏。
相反，在梯度型检测单元905中，数据连续性的角度接近水平方向或垂直方向，则动态块中取最大值和最小值的像素之间的距离越远，导致选取块中具有相同梯度(表示像素值变化的梯度)的像素增多，因此，进行统计处理可以更精确地检测数据连续性的角度。
另一方面，在梯度型角度检测单元905中，数据连续性的角度接近45度或135度，则动态块中取最大值和最小值的像素之间的距离越近，导致选取块中具有相同梯度(表示像素值变化的梯度)的像素减少，因此，进行统计处理不利于数据连续性的角度的精确度。
相反，在回归型角度检测单元904中，在数据连续性的角度为约45度或135度的情况下，对应于关注像素的块与对应于强相关的块之间的距离较短，从而可以更精确地检测数据连续性的角度。
因此，通过根据回归型角度检测单元904和梯度型角度检测单元905的各自特征，基于由简单型角度检测单元901检测的角度进行切换处理可以更精确地检测在所以范围中的角度。另外，可以精确地检测数据连续性的角度，从而可以更精确地估计现实世界，因此对于现实世界中的事件可以获得更精确和更高精度的(图像)处理结果。
接着，将参考图179中的流程图描述图177的流程图中的步骤S904的处理回归型角度检测处理。
注意，利用回归型角度检测单元904的回归型角度检测处理类似于参考图114的流程图所述的检测数据连续性的处理，图179所示的流程图中的步骤S921到S922和步骤S924到步骤S927的处理与图114所示的流程图中的步骤S501到步骤S506的处理相同，因此省略对其的描述。
在步骤S923，分数检测单元933基于从确定单元902提供的由简单型角度检测单元901检测的数据连续性信息的角度，从将要处理的像素排除参考分数存储器933a的分数范围的其它像素。
也就是说，例如，在由简单型角度检测单元901检测的角度θ的范围为45≤θ≤56.3的情况下，将对应于图180所示的斜线的像素范围存储在范畴存储器933a中作为对应于该范围的分畴，并且分数检测单元933从将要处理的范围排除除对应于所述范畴的范围的其它范围中的像素。
作为对应于每个角度的范畴范围的更详细的实例，例如，在由简单型角度检测单元901检测的数据连续性的角度为50度的情况下，预先如图181所示定义范畴范围中的图像和除范畴范围外的像素。注意，图181示出了在以关注像素为中心的31像素×31像素的范围的情况下的实例，示为0和1的每个分配表示像素位置，图的中心由圆形包围的位置是关注像素的位置。另外，示出为1的位置上的像素是范畴范围内的像素，示出为0的位置上的像素为在范畴范围外的像素。注意，上述描述也适用于下面的图182到图183。
也就是说，如图181所示，作为范畴范围的像素被设置为以关注像素为中心，沿约50度的角度，具有特定的范围宽度。
另外，同样，在由简单型角度检测单元901检测的角度为60度的情况下，作为范畴范围的像素被设置为以关注像素为中心、沿约60的方向，并具有特定的范围宽度，如图182所示。
另外，在由简单型角度检测单元901检测的角度为67度的情况下，作为范畴范围的像素被设置为以关注像素为中心、沿约67的方向，并具有特定的范围宽度，如图183所示。
另外，在由简单型角度检测单元901检测的角度为81度的情况下，作为范畴范围的像素被设置为以关注像素为中心、沿约81的方向，并具有特定的范围宽度，如图184所示。
如上所述，从将要处理的范围排除除范畴范围以外的像素，在步骤S924的处理中的将每个像素值转换成分数的处理中可以省略对远离数据连续性的位置上的像素的处理，从而处理将要处理的沿数据连续性方向的强相关的像素，从而提高处理速度。另外，只利用将要处理的沿数据连续性方向的强相关的像素获得分数，从而可以更精确地检测数据连续性的角度。
注意，属于范畴范围的像素不限于图181到图184所示的的范围，而可以是沿由简单型角度检测单元901检测的角度的位置上的具有各种宽度的范围，其由以关注像素为中心的多个像素构成。
另外，在参考图173所述的数据连续性检测单元101中，确定单元902基于由简单型角度检测单元901检测的数据连续性的角度信息控制开关903，以将输入图像输入回归型角度检测单元904或梯度型角度检测单元905，但是可以这样设置，其中将输入图像同时输入回归型角度检测单元904和梯度型角度检测单元905，在两个单元中都进行角度检测处理，然后基于由简单型角度检测单元901检测的数据连续性的角度信息输出任意处理中检测的角度信息。
图185示出了数据连续性检测单元101的结构，其被设置为，使得，将输入图像同时输入回归型角度检测单元904和回归型角度检测单元905，在两个单元中都进行角度检测处理，然后基于由简单型角度检测单元901检测的数据连续性的角度信息输出任意处理中检测的角度信息。注意，与图173所示的数据连续性检测单元101相同的部件以相同的标号示出，从而省略对其的描述。
在图185所示的数据连续性检测单元101中，相对于图173所示的数据连续性检测单元101的差别在于，除去了开关103，将输入图像同时输入回归型角度检测单元904和梯度型角度检测单元905，在每个输出端分别提供开关982，通过其各自的开关982a和982b的开关连接示出两种方法检测的角度信息。注意，图185所示的开关182与图173所示的开关903基本相同，因此省略对其的描述。
接着，将参考图186的流程图，描述利用图185中的数据连续性检测单元101的数据连续性检测处理。注意，图186所示的流程图中的步骤S941、S943到S945和S947的处理与图177所示的步骤S901、S904、S907、S902、以及S905的处理相同，因此省略对其的描述。
在步骤S942中，确定单元将从简单型角度检测单元901输入的数据连续性的角度信息输出给回归型角度检测单元904。
在步骤S946中，确定单元902控制开关982以连接终端982a。
在步骤S948中，确定单元902控制开关982以连接终端982b。
注意，在图186所示的的流程图中，步骤S943和S944的处理顺序可以交换。
根据上述设置，简单型角度检测单元901利用匹配处理检测对应于由多个像素构成的图像数据的图像数据连续性的参考轴的角度，所述像素通过将现实世界光信号投影到多个检测元件上获得，所述每个元件具有空间-时间积分效应，所述像素已经丢失了现实世界的光信号的部分连续性，以及，回归型角度检测单元905或梯度型角度检测单元905基于在对应于检测角度的预定区域中的图像数据，利用统计处理检测角度，从而更快更精确地检测数据连续性的角度。
接着，将描述对现实世界1中的信号的估计。
图187为示出现实世界估计单元102的结构的方框图。
在具有图187所示的的结构的现实世界估计单元102中，基于输入图像和从连续性检测单元101提供的数据连续性信息，检测作为现实世界1中的光信号的细线的宽度，并估计细线的水平(现实世界1中的信号光强)。
线宽检测单元2101基于从连续性检测单元101提供的数据连续性信息检测细线的宽度，所述数据连续性信息表示由多个像素构成的作为细线区域的连续性区域，其上被投影了细线图像。线宽检测单元2102将检测出的表示细线宽度的细线宽度信息与数据连续性信息一起提供给信号水平估计单元2102。
信号水平估计单元2102基于输入图像、从线宽检测单元2101提供的表示细线宽度的细线宽度细线、以及数据连续性信息估计作为现实世界1中的信号的细线图像的水平，即光强水平，并输出表示细线宽度和细线图像的水平的现实世界估计信息。
图188和图189示出了用于检测现实世界1中的信号中的细线宽度的处理。
在图188和图189中，用实线围绕的区域(由4个方形构成的区域)表示一个像素，用虚线围绕的区域表示由其上被投影细线图像的像素构成的细线区域，以及圆形表示细线区域的重心。在图188和图189中，阴影线表示投影在传感器2中的细线图像。换句话说，可以认为阴影线表示其中现实世界1中的细线图像被投影到传感器2上的区域。
在图188和图189中，S表示将要从细线区域的重心位置计算的特定，以及D是细线区域的重复。这里，细线区域彼此相邻，从而梯度S是像素增量的其重心之间的距离。另外，细线区域的重复D表示两个细线区域中彼此相邻的像素个数。
在图188和图189中，W表示细线宽度。
在图188中，梯度S为2，以及重复D为2。
在图189中，梯度S为3，以及重复D为1。
细线区域彼此相邻，并且其重心在细线区域彼此相邻的方向上的距离为一个像素，从而W∶D＝1∶S成立，通过重复D/梯度S可以获得细线宽度W。
例如，如图188所示，当梯度S为2，并且重复D为2，2/2为1，从而细线宽度W为1。另外，例如，如图189所示，当梯度S为3，并且重复为1，则细线宽度W为1/3。
线宽检测单元2101从而基于从细线区域的重心位置计算的梯度检测细线的宽度和细线区域的重复。
图190示出了估计现实世界1中的信号中的细线信号的水平的处理。
在图190中，用实线围绕的区域(由4个方形构成的区域)表示一个像素，用虚线围绕的区域表示由其上被投影细线图像的像素构成的细线区域，以及圆形表示细线区域的重心。在图190中，E表示细线区域中像素增量的细线区域的长度，以及D为细线区域的重复(相邻于另一个细线区域的像素个数)。
当处理增量(细线区域)中的水平不变时，模拟细线信号的水平，并且当水平等于对应于相邻像素的像素值的水平时，模拟除其中将细线投影为像素的像素值上的细线之外的图像的水平。
将细线信号的水平表示为C，可以认为，对于被投影在细线区域上的信号(图像)，图中投影细线信号的部分的左侧部分的水平为A，图中投影细线信号的部分的左侧部分的水平为B。
这里，公式(93)成立。
细线区域的像素值之和＝(E-D)/2×A+(E-D)/2×B+D×C公式(93)细线宽度是不变的，细线区域的宽度为一个像素，从而在细线区域中的细线的面积(其中投影信号的部分)等于细线区域的重复D。细线区域的宽度是一个像素，从而在细线区域中的像素增量上的细线区域面积等于细线区域的长度E。
对于细线区域，细线左侧的面积为(E-D)/2。对于细线区域，细线右侧的面积为(E-D)/2。
公式(93)右边的第一项是其中投影这样的信号的像素值的部分，所述信号具有与在被投影到相邻于左侧的像素上的信号相同的水平，并可以被表示成公式(94)。
A＝∑αi×Ai＝∑1/(E-D)×(i+0.5)×Ai公式(94)在公式(94)中，Ai表示相邻于左侧的像素的像素值。
在公式(94)中，αi表示面积比例，在所述面积中具有与被投影到相邻于左侧的像素上的信号相同的水平的信号被投影到细线区域的像素上。换句话说，αi表示与相邻于左侧的像素的像素值相同、被包括在细线区域的像素的像素值中的像素值的比例。
i表示相邻于细线区域的左侧的像素的位置。
例如，在图190中，与相邻于细线区域左侧的像素的像素值A0相同、被包括在细线区域的像素的像素值中的像素值的比例为α0。在图190中，与相邻于细线区域左侧的像素的像素值A1相同、被包括在细线区域的像素的像素值中的像素值的比例为α1。在图190中，与相邻于细线区域左侧的像素的像素值A2相同、被包括在细线区域的像素的像素值中的像素值的比例为α2。
公式(93)右边第二项表示其中投影这样的信号的像素值的部分，所述信号具有与在被投影到相邻于右侧的像素上的信号相同的水平，并可以被表示成公式(95)。
B＝∑βj×Bj＝∑1/(E-D)×(j+0.5)×Bj公式(95)在公式(95)中，Bj表示相邻于右侧的像素的像素值。
在公式(95)中，βj表示面积比例，在所述面积中具有与被投影到相邻于右侧的像素上的信号相同的水平的信号被投影到细线区域的像素上。换句话说，βj表示与相邻于右侧的像素的像素值相同、被包括在细线区域的像素的像素值中的像素值的比例。
j表示相邻于细线区域的右侧的像素的位置。
例如，在图190中，与相邻于细线区域右侧的像素的像素值B0相同、被包括在细线区域的像素的像素值中的像素值的比例为β0。在图190中，与相邻于细线区域右侧的像素的像素值B1相同、被包括在细线区域的像素的像素值中的像素值的比例为β1。在图190中，与相邻于细线区域右侧的像素的像素值A2相同、被包括在细线区域的像素的像素值中的像素值的比例为β2。
从而，信号水平估计单元2102通过基于公式(94)和公式(95)计算除具有被包括在细线区域中的像素值的细线以外的图像的像素值、并基于公式(93)从细线区域中的像素值除去除细线以外的图像的像素值，获得只包括细线的图像的被包括在细线区域中的像素值。随后，信号水平估计单元2102基于只包括细线的图像的像素值和细线的面积获得细线信号的水平。更具体的是，信号水平估计单元2102通过将包括具有被包括在细线区域中的像素值的细线的图像的像素值除以在细线区域中的细线的面积，即细线区域的重复D，而计算细线信号的水平。
信号水平估计单元2102输出表示现实世界1的信号中的细线宽度和细线信号水平的现实世界估计信息。
利用本发明的技术，在轮廓上描述了细线的波形代替像素，从而可以采用任何分辨率。
接着，将参考图191中的流程图描述对应于在步骤S102中的处理的现实世界估计处理。
在步骤S2101，线宽检测单元2101基于数据连续性信息检测细线的宽度。例如，线宽检测单元2101通过将细线区域的重复除以从细线区域中的重心位置计算的梯度而估计现实世界1的信号中的细线的宽度。
在步骤S2102，信号水平估计单元2102基于细线宽度和相邻于细线区域的像素的像素值估计细线的信号水平，并输出表示估计的细线的宽度和信号水平的现实世界估计信息，从而处理结束。例如，信号水平估计单元2102通过计算其上被投影除被包括在细线区域中的细线以外的图像的像素值、并除去其上被投影除来自细线区域的细线以外的图像的像素值而获得其上投影只包括细线的图像的像素值，并通过基于获得的其上只投影包括细线的图像的像素值、和细线的面积计算细线的信号水平而估计现实世界1的信号中的细线的水平。
从而，现实世界估计单元102可以估计现实世界1的信号的细线的宽度和水平。
如上所述，投影现实世界的光信号，检测其中丢失了现实世界的光信号的部分连续性的关于第一图像数据的数据连续性，基于表示对应于数据连续性的现实世界中的光信号的波形的模型从第一图像数据的连续性估计现实世界的光信号的波形，以及在将估计的光信号转换成第二图像数据的情况下，对于现实世界中的光信号可以获得更精确的更高精度处理结果。
图192是示出现实世界估计单元102的另一结构的方框图。
利用具有图192所示的结构的现实世界估计单元102，再次基于输入图像和从数据连续性检测单元101提供的数据连续性信息检测区域，同样，基于检测的区域检测用作现实世界1中的信号的图像的细线的宽度，以及估计现实世界1中的信号的光强(水平)。例如，利用具有图192所示的结构的现实世界估计单元102，再次检测由其上投影有细线图像的像素构成的连续性区域，同样，基于检测的区域检测用作现实世界1中的信号的图像的细线的宽度，以及估计现实世界1中的信号的光强。
从数据连续性检测单元101提供、被输入具有图192所示结构的现实世界估计单元102的数据连续性细线包括非连续性分量信息，其表示用作数据3的输入图像中的除其上投影有细线图像的连续性分量之外的非连续性分量；单调增/减区域信息，其表示连续性区域的单调增/减区域；表示连续性区域的信息等。例如，在数据连续性信息中包括的非连续性分量细线由模拟例如输入图像中的背景的非连续性分量的平面梯度和截距构成。
将输入现实世界估计单元102的数据连续性信息提供给边界检测单元2121。将输入到现实世界估计单元102的输入图像提供给边界检测单元2121和信号水平估计单元2102。
边界检测单元2121从数据连续性信息中包括的非连续性分量信息和输入图像产生只由其上投影有细线图像的连续性分量构成的图像，计算表示其中投影有用作现实世界1的信号的细线图像的比例的分配比值，以及同样通过从计算的分配比值计算表示细线区域的边界的回归线而检测用作连续性区域的细线区域。
图193是示出边界检测单元2121的结构的方框图。
分配比值计算单元2131从数据连续性信息、包括在数据连续性信息中的非连续性分量信息以及输入图像产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。更具体的是，分配比值计算单元2131基于包括在数据连续性信息中的单调增/减区域信息从输入图像检测连续性区域的相邻单调增/减区域，并通过从属于检测的单调增/减区域的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。
注意，分配比值计算单元2131通过从输入图像中的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。
分配比值计算单元2131基于只由连续性分量构成的图像，计算表示其中将用作现实世界1的信号的细线图像分配到属于连续性区域中的相邻单调增/减区域的两个像素上的部分的分配比值。分配比值计算单元2131将计算的分配比值提供给回归线计算单元2132。
将参考图194到图196标书在分配比值计算单元2131中的分配比值计算处理。
图194中左边两列的数值表示通过从输入图像中的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值而计算的图像的垂直排列成两列的像素的像素值。图194中用左边方形围绕的两个区域表示单调增/减区域2141-1和单调增/减区域2141-2，其为两个相邻的单调增/减区域。换句话说，在单调增/减区域2141-1和单调增/减区域2141-2中所示的数值表示属于由数据连续性检测单元101检测的、用作连续性区域的单调增/减区域的像素的像素值。
图194中右边一列的数值表示通过相加图194中左侧两列的像素的像素值中的水平排列的像素的像素值而获得的值。换句话说，图194中右边一列的数值表示通过相加关于由垂直排列的一列像素构成的两个单调增/减区域的水平相邻的像素的其上投影有细线图像的像素值而获得的值。
例如，当属于单调增/减区域2141-1和单调增/减区域2141-2中的任何一个，其分别由垂直排列的一列像素构成，水平相邻的像素的像素值为2和58，相加的值是60。当属于单调增/减区域2141-1和单调增/减区域2141-2中的任何一个，其分别由垂直排列的一列像素构成，水平相邻的像素的像素值为1和65，相加的值是66。
可以理解，图194中右侧列中的数值，即通过相加关于由垂直排列的一列像素构成的两个单调增/减区域的水平相邻的像素的其上投影有细线图像的像素值而获得的值通常是常数。
类似，通过相加关于由水平排列的一列像素构成的两个单调增/减区域的垂直相邻的像素的其上投影有细线图像的像素值而获得的值通常是常数。
分配比值计算单元2131通过利用相加关于两个单调增/减区域的相邻像素的其上投影有细线图像的像素值而获得的值通常是常数的特征计算细线图像如何被分配到一列中的像素的像素值上。
如图195所示，分配比值计算单元2131通过将属于由垂直排列的一列像素构成的两个相邻单调增/减区域的每个像素的像素值除以通过相加每个水平相邻的、其上投影有细线图像的像素值而获得的值，而计算关于属于两个相邻的单调增/减区域的每个像素的分配比值。然而，再计算结果，即计算的分配比值超过100的情况下，将分配比值设为100。
例如，如图195所示，当属于由垂直排列的一列像素构成的两个相邻单调增/减区域的水平相邻的像素的像素值分别为2和58时，相加的值是60，因此，计算出对于对应的像素的分配比值分别是3.5和96.5。当属于由垂直排列的一列像素构成的两个相邻单调增/减区域的水平相邻的像素的像素值分别为1和65时，相加的值是66，因此，计算出对于对应的像素的分配比值分别是1.5和98.5。
在该情况中，在三个单调增/减区域相邻的情况下，考虑哪一列是第一计算的，在通过相加水平相邻的每个像素的其上投影有细线图像的像素值而获得的两个值中，基于更接近峰值P的像素值的值计算分配比值，如图196所示。
例如，当峰值P的像素值为81，而属于单调增/减区域的关注像素的像素值为79，在相邻于左侧的像素的像素值为3、并且相邻于右侧的像素的像素值为-1的情况下，通过相加相邻于左侧的像素值获得的值是82，通过相加相邻于右侧的像素的像素值获得的值是78，因此，选择更接近峰值P的像素值81的82，从而基于相邻于左侧的像素计算分配比值。类似，当峰值P的像素值为81，而属于单调增/减区域的关注像素的像素值为75，在相邻于左侧的像素的像素值为0、并且相邻于右侧的像素的像素值为3的情况下，通过相加相邻于左侧的像素值获得的值是75，通过相加相邻于右侧的像素的像素值获得的值是78，因此，选择更接近峰值P的像素值81的78，从而基于相邻于右侧的像素计算分配比值。
从而，分配比值计算单元2131计算关于由垂直排列的一列像素构成的单调增/减区域的分配比值。
利用相同的处理，分配比值计算单元2131计算关于由水平排列的一列像素构成的单调增/减区域的分配比值。
回归线计算单元2132假设单调增/减区域的边界是直线，并通过基于由分配比值计算单元2131计算的分配比值计算表示单调增/减区域的边界的回归线，而再次检测连续性区域内的单调增/减区域。
下面将参考图197到图198描述在回归线计算单元2132中计算表示单调增/减区域的边界的回归线的处理。
在图197中，白色圆形表示位于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的像素。回归线计算单元2132利用回归处理计算关于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的回归线。例如，回归线计算单元2132计算出直线A，其中与位于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的像素的距离的平方和变为最小值。
另外，在图197中，黑色圆形表示位于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的像素。回归线计算单元2132利用回归处理计算关于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的回归线。例如，回归线计算单元2132计算出直线B，其中与位于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的像素的距离的平方和变为最小值。
回归线计算单元2132通过基于计算的回归线确定单调增/减区域的边界而检测连续性区域内的单调增/减区域。
如图198所示，回归线计算单元2132基于计算的直线A确定单调增/减区域2141-1到单调增/减区域2141-5的上部边界。例如，回归线计算单元2132从最接近计算的直线A的像素确定关于每个单调增/减区域2141-1到单调增/减区域2141-5的上侧边界。例如，回归线计算单元2132这样确定上侧边界，使得最接近计算的回归线A的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域2141-5的每个区域中。
如图198所示，回归线计算单元2132基于计算的直线B确定单调增/减区域2141-1到单调增/减区域2141-5的下部边界。例如，回归线计算单元2132从最接近计算的直线B的像素确定关于每个单调增/减区域2141-1到单调增/减区域2141-5的下侧边界。例如，回归线计算单元2132这样确定下侧边界，使得最接近计算的回归线B的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域2141-5的每个区域中。
从而，回归线计算单元2132同样基于用于再现由数据连续性检测单元101检测的连续性区域的边界的回归线检测其中像素值从峰值单调增或减的区域。换句话说，回归线计算单元2132同样通过基于计算的回归线确定单调增/减区域的边界检测用作连续性区域内的单调增/减区域的区域，并将表示检测的区域的区域信息提供给线宽检测单元2101。
如上所述，边界检测单元2121计算表示其中用作现实世界1的信号的细线图像投影到像素上的比值的分配比值，并同样通过从计算的分配比值计算表示单调增加区域的边界的回归线而检测连续性区域内的单调增/减区域。从而可以检测更精确的单调增/减区域。
图192中所示的线宽检测单元2101以与图187所示情况相同的处理，基于从边界检测单元2121提供的表示检测的区域的区域信息而检测细线的宽度。线宽检测单元2101将表示检测的细线的宽度的细线宽度信息与数据连续性信息一起一起提供给信号水平估计单元2102。
图192中所示的信号水平估计单元2102的处理与图187所示的情况的处理相同，从而省略对其的描述。
图199是描述利用具有图192所示结构的现实世界估计单元102的对应于步骤S102中的处理的现实世界估计处理的流程图。
在步骤S2121，边界检测单元2121执行边界检测处理，用于同样基于属于由数据连续性检测单元101检测的连续性区域的像素的像素值检测区域。下面将描述边界检测处理的细节。
在步骤S2122和步骤S2123中的处理与在步骤S2101和步骤S2102中的处理相同，因此省略对其的描述。
图200是用于描述对应于步骤S2121中的处理的边界检测处理的流程图。
在步骤S2131中，分配比值计算单元基于表示单调增/减区域的数据连续性信息和输入图像计算表示其中投影了细线图像的比例的分配比值。例如，分配比值计算单元2131基于包括在数据连续性信息中的单调增/减区域信息从输入图像检测连续性区域中的相邻单调增/减区域，并通过从属于检测的单调增/减区域的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。随后，分配比值计算单元2131通过关于属于两个相邻单调增/减区域的每个像素将属于由一列像素构成的两个单调增/减区域的像素的像素值除以相邻像素的像素值的和，而计算分配比值。
分配比值计算单元2131将计算的分配比值提供给回归线计算单元2132。
在步骤S2132，回归线计算单元2132同样通过基于表示其中投影了信息图像的比例的分配比值计算表示单调增加区域的边界的回归线，而检测连续性区域内的区域。例如，回归线计算单元2132假设单调增/减区域的边界是直线，并通过计算表示单调增/减区域的一端边界的回归线，并计算表示单调增/减区域的另一端边界的回归线，而再次检测连续性区域内的单调增/减区域。
回归线计算单元2132将表示在连续性区域中再次检测的区域的区域信息提供给线宽检测单元2101，从而该处理结束。
从而，具有图192所示结构的现实世界估计单元102再次检测由其上投影了细线图像的像素构成的区域，基于再次检测的区域检测用作现实世界1的信号的图像中的细线的宽度，以及估计现实世界1中的信号的光强(水平)分布。从而，可以更精确地检测细线的宽度，并关于现实世界1的信号更精确地估计光强。
如上所述，在投影了现实世界的光信号的情况下，检测第一图像数据中多个像素的像素值的非连续性部分，在所述第一图像数据中丢失现实世界的光信号的部分连续性，从检测的非连续性部分检测具有数据连续性的连续性区域，从检测的连续性部分检测具有数据连续性的连续性区域，基于属于检测的连续性区域的像素的像素值再次检测区域，以及基于检测的区域估计现实世界，对于现实世界中的事件可以获得更精确和更高精度的处理结果。
接着，将参考图201描述关于现实世界估计单元102，其输出具有连续性的区域中的每个像素在空间方向上的模拟函数的导数值作为现实世界估计信息。
参考像素选取单元2201基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的角度或区域信息)确定输入图像中的每个像素是否是处理区域，在为处理区域的情况下，选取用于获得模拟函数所需的参考像素信息，所述模拟函数用于模拟输入图像的像素的像素值(计算所需的关注像素周围多个像素的像素值和位置)，并将其输出给模拟函数估计单元2202。
模拟函数估计单元2202利用最小二乘法，基于从参考像素选取单元2201输入的参考像素信息估计用于近似描述关注像素周围的像素的像素值的模拟函数，并将估计的模拟函数输出给微分处理单元2203。
微分处理单元2203基于从模拟函数估计单元2202输入的模拟函数，从根据数据连续性信息(例如细线或二值边缘的相对于预定轴的角度梯度)的角度获得将要从关注像素产生的像素位置的平移量，计算在该位置上的所述模拟函数根据平移量的微分(用于模拟每个像素的像素值的函数的导数值对应于到对应于沿一维方向的连续性的直线的距离)，另外，相加关于关注像素的像素值和位置的信息和梯度作为其连续性，以及将其输出给图像产生单元103作为现实世界估计信息。
接着，将参考图202描述利用图201中的现实世界估计单元102的现实世界估计处理。
在步骤S2201中，参考像素选取单元2201从数据连续性检测单元101以及输入图像获取角度和区域信息作为数据连续性信息。
在步骤S2202，参考像素选取单元2201从输入图像的未处理的像素中设置关注像素。
在步骤S2203中，参考像素选取单元2201基于数据连续性信息的区域信息，确定关注像素是否被包括在处理区域中，在关注像素不是处理区域中的一个像素的情况下，处理进到步骤S2210，通过模拟函数估计单元2202通知微分处理单元2203关注像素是非处理区域，微分处理单元2203响应其将相应关注像素的导数值设为0，另外对其相加关注像素的像素值，并将其输出给图像产生单元103作为学生会色剂估计信息，并且处理进到步骤S2211。另外，在确定关注像素位于处理区域的情况下，则处理进到步骤S2204。
在步骤S2204，参考像素选取单元2201基于包括在数据连续性信息中的角度信息确定具有数据连续性的方向的角度更接近水平方向还是更接近垂直方向。也就是说，在具有数据连续性的角度θ为45°＞θ≥0°，或180°＞θ≥135°的情况下，参考像素选取单元2201确定关注像素的连续性方向接近水平方向，在具有数据连续性的角度θ为135°＞θ≥45°的情况下，确定关注像素的连续性方向接近垂直方向。
在步骤S2205，参考像素选取单元2201选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给模拟函数估计单元2202。也就是说，参考像素变成将用于计算后面的模拟函数的数据，因此优选根据其梯度选取。因此，对应于水平方向和垂直方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图203所示，在梯度Gf接近垂直方向的情况下，确定方向为垂直方向。在该情况中，例如如图203所示，当取中心的像素(0，0)为关注像素，参考像素选取单元2101选取(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每个像素值。注意在图203中，可以说每个像素在水平方向和垂直方向上的长度为1。
换句话说，参考像素选取单元2201选取垂直方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在垂直方向(上/下)的两个像素和分别在水平方向(左/右)的1个像素。
相反，在确定方向为水平方向的情况下，参考像素选取单元2201选取水平方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在垂直方向(上/下)的1个像素和分别在水平方向(左/右)的2个像素，并将其输出给模拟函数估计单元2202。显然，参考像素的个数并不限于上述的15个像素，而是可以采用任何像素个数。
在步骤S2206中，模拟函数估计单元2202利用最小二乘法基于从参考像素选取单元2201输入的参考像素的信息估计模拟函数f(x)，并将其输出给微分处理单元2203。
也就是说，模拟函数f(x)是如下述公式(96)所示的多项式。
f(x)＝w1xn+w2xn-1+…+wn+1公式(96)
从而，如果获得公式(96)中的多项式的每个系数W1到Wn+1，则可以获得用于模拟每个参考像素的像素值(参考像素值)的模拟函数f(x)。然而，需要超过系数个数的像素值，因此，例如，在如图203所示的情况下，参考像素的个数为共15个，因此在多项式中可以获得的系数的个数限于15。在该情况下，可以说多项式达到14维，并通过获得系数W1到W15而估计模拟函数。注意，在该情况下，通过建立由15维多项式构成的模拟函数f(x)可以采用联立方程。
因此，当采用如图203所示的15个参考像素值，模拟函数估计单元2202通过利用最小二乘法求解下面的公式(97)而估计模拟函数f(x)。
P(-1，-2)＝f(-1-Cx(-2))P(-1，-1)＝f(-1-Cx(-1))P(-1，0)＝f(-1)(＝f(-1-Cx(0)))P(-1，1)＝f(-1-Cx(1))P(-1，2)＝f(-1-Cx(2))P(0，-2)＝f(0-Cx(-2))P(0，-1)＝f(0-Cx(-1))P(0，0)＝f(0)(＝f(0-Cx(0)))P(0，1)＝f(0-Cx(1))P(0，2)＝f(0-Cx(2))P(1，-2)＝f(1-Cx(-2))P(1，-1)＝f(1-Cx(-1))P(1，0)＝f(1)(＝f(1-Cx(0)))P(1，1)＝f(1-Cx(1))P(1，2)＝f(1-Cx(2))公式(97)注意，参考像素的个数可以根据多项式的阶数而改变。
这里，Cx(ty)表示平移量，当用Gf表示作为连续性的梯度，则定义Cx(ty)＝ty/Gf。该平移量Cx(ty)表示，在空间方向Y＝0的位置上的模拟函数f(x)沿梯度Gf连续(具有连续性)的条件下，在空间方向Y＝ty的位置上平移相对于空间方向X的宽度。因此，例如，在将模拟函数限定为在空间方向Y＝0的位置上的f(x)时，该模拟函数f(x)必需相对于空间方向X沿梯度Gf在空间方向Y＝ty上平移Cx(ty)，从而将函数定义为f(x-Cx(ty))＜＝f(x-ty/Gf)。
在步骤S2207中，微分处理单元2203基于从模拟函数估计单元2202输入的模拟函数f(x)获得在将要产生的像素位置上的平移量。
也就是说，在产生像素为分别在水平方向和垂直方向上有两倍的密度(共四倍密度)的情况下，微分处理单元2203首先获得在中心位置的平移量Pin(Xin，Yin)以将关注像素分成两个像素Pa和Pb，其变成如图204所示的在垂直方向上的二倍密度，从而获得关注像素在中心位置Pin(Xin，Yin)的导数值。该平移量变成Cx(0)，因此实际变为0。注意，在图204中，其基本重心位置为(Xin，Yin)的像素Pin为方形，基本重心位置分别为(Xin，Yin+0.25)和(Xin，Yin-0.25)的像素Pa和Pb在图中水平方向上为矩形。
在步骤S2208中微分处理单元2203微分模拟函数f(x)以获得模拟函数的初始微分函数f(x)’，获得对应于获得的平移量的位置上的导数值，并将其输出给图像产生单元103作为现实世界估计信息。也就是说，在该情况下，微分处理单元2203获得导数值f(Xin)’，并将其位置(在该情况下为关注像素(Xin，Yin))、其像素值以及在连续性方向上的梯度信息加到其上，并将其输出。
在步骤S2209中，微分处理单元2203确定是否已经获得用于产生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值只是用于二倍密度所需的导数值(只获得在空间方向Y上变成二倍密度的导数值)，从而确定没有获得用于产生希望密度的像素所需的导数值，并且处理返回步骤S2207。
在步骤S2207中，微分处理单元2203再次基于从模拟函数估计单元2202输入的模拟函数f(x)获得在将要产生的像素的位置上的平移量。也就是说，在该情况下，微分处理单元2203获得用于进一步将分开的像素Pa和Pb分别分成两个像素所需的导数值。在图204中分别以黑色圆形表示Pa和Pb的位置，从而微分处理单元2203获得对应于每个位置的平移量。像素Pa和Pb的平移量分别是Cx(0.25)和Cx(-0.25)。
在步骤S2208中，微分处理单元2203对模拟函数f(x)进行初始微分，获得在对应于平移量的位置上的导数值。所述平移量对应于每个像素Pa和Pb，并将其输出给图像产生单元103，作为现实世界估计信息。
也就是说，在采用如图203所示的参考像素的情况下，如图205所示，微分处理单元2203获得关于获得的模拟函数f(x)的微分函数f(x)’，获得在位置(Xin-Cx(0.25))和(Xin-Cx(-0.25))上的导数值，其分别是对空间方向X平移平移量Cx(0.25)和Cx(-0.25)的f(Xin-Cx(0.25))’和f(Xin-Cx(-0.25))’的位置，将对应于其导数值的位置信息与其相加，并将其输出作为现实世界估计信息。注意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。
在步骤S2209中，微分处理单元2203再次确定是否获得用于产生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变成四倍密度的导数值，从而确定已经获得用于产生希望密度的像素所需的导数值，并且处理进到步骤S2211。
在步骤S2211中，参考像素选取单元2201确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2202。另外，在步骤S2211中，在确定已经处理所有的像素的情况下，该处理结束。
如上所述，在产生像素以在关于输入图像的水平方向和垂直方向上变成四倍密度的情况下，通过利用在将要分开的像素的中心位置的模拟函数的导数值的外推/内插，分割像素，从而为了产生四倍密度像素，需要共3个导数值的信息。
也就是说，如图204所示，用于产生四个像素P01、P02、P03和P04所需的导数值在最后被一个像素所需(在图204中，像素P01、P02、P03和P04为方形，其重心位置为图中四个交叉符号的位置，并且像素Pin的每边的长度为1，因此像素P01、P02、P03和P04的每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在水平方向或在垂直方向上的二倍密度像素(在该情况下，为垂直方向)(在步骤S2207和S2208中的上述第一处理)，并且，另外将分割的两个像素在垂直于初始分割方向的方向上分割(在该情况下为水平方向)(在步骤S2207和S2208中的上述第二处理)。
注意，在上述实例中，已经描述了在计算四倍密度像素的时间上的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下，可以通过重复进行步骤S2207到S2209中的处理获得用于计算像素值所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(x)是连续函数，从而即使对于密度不是复数密度的像素值，仍可以获得需要的导数值。
根据上述设置，可以获得用于模拟关注像素附近的像素的像素值的模拟函数，并且可以将在对应于空间方向中的像素位置的位置上的导数值输出作为现实世界估计信息。
利用如图201所述的现实世界估计单元102，已经将用于产生图像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位置上的模拟函数f(x)的梯度相同的值。
现在，将参考图206描述现实世界估计单元102，其中只直接获得用于产生像素所需的模拟函数f(x)的梯度，而不获得模拟函数f(x)，并将其输出作为现实世界估计信息。
参考像素选取单元2211基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的角度，或区域信息)，确定输入图像的每个像素的是否是处理区域，在确定为处理区域的情况下，选取用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括关注像素的在垂直方向上排列的周边多个像素，或包括关注像素的在水平方向上排列的周边多个像素、以及每个像素值的信息)，并将其输出给梯度估计单元2212。
梯度估计单元2212基于从参考像素选取单元2211输入的参考像素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给图像产生单元103作为现实世界估计信息。具体是，梯度估计单元2212获得模拟函数f(x)在关注像素的位置上的梯度，所述函数利用像素之间的像素值的差值信息近似表达现实世界，并将其与关注像素的位置信息和像素值、以及连续性方向上的梯度信息一起输出作为现实世界估计信息。
下面，将参考图207中的流程图描述利用图206中的现实世界估计单元102的现实世界估计处理。
在步骤S2221中，参考像素选取单元2211从数据连续性检测单元101与输入图像一起获取角度和区域信息作为数据连续性信息。
在步骤S2222中，参考像素选取单元2211从输入图像的未处理的像素中设置关注像素。
在步骤S2223中，参考像素选取单元2211基于数据连续性的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2228中，其中，通知梯度估计单元2212关注像素位于非处理区域中，梯度估计单元2212响应其将对应于关注像素的梯度设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2229。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2224。
在步骤S2224中，参考像素选取单元2211基于包括在数据连续信息中的角度信息确定具有数据连续性的方向的角度是接近水平方向还是接近垂直方向。也就是说，在具有数据连续性的角度θ为45°＞θ≥0°，或180°＞θ≥135°的情况下，参考像素选取单元2211确定关注像素的连续性方向接近水平方向，在具有数据连续性的角度θ为135°＞θ≥45°的情况下，确定关注像素的连续性方向接近垂直方向。
在步骤S2225，参考像素选取单元2211选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度估计单元2212。也就是说，参考像素变成将用于计算后面的梯度的数据，因此优选根据表示连续性方向的梯度选取。因此，对应于水平方向和垂直方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图208所示，在梯度接近垂直方向的情况下，当取图208的中心的像素(0，0)为关注像素，参考像素选取单元2111选取(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每个像素值。注意在图208中，可以说每个像素在水平方向和垂直方向上的长度为1。
换句话说，参考像素选取单元2211选取垂直方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在垂直方向(上/下)的两个像素。
相反，在确定方向为水平方向的情况下，参考像素选取单元2211选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在水平方向(左/右)的2个像素，并将其输出给模拟函数估计单元2202。显然，参考像素的个数并不限于上述的5个像素，而是可以采用任何像素个数。
在步骤S2226中，梯度估计单元2212基于从参考像素选取单元2211输入的参考像素的信息、和在连续性方向中的梯度Gf，计算每个像素值的平移量。也就是说，在取对应于空间方向Y＝0的模拟函数f(x)为基的情况下，对应于空间方向Y＝-2、-1、1和2的模拟函数沿作为连续性的梯度Gf连续，如图208所示，从而将每个模拟函数描述为f(x-Cx(2))、f(x-Cx(1))、f(x-Cx(-1))以及f(x-Cx(-2))，并且，将其表示为对于每个空间方向Y＝-2、-1，1，2在空间方向X上平移每个平移量的函数。
因此，梯度估计单元2212获得其平移量Cx(-2)到Cx(2)。例如，在如图208所示选取参考像素的情况下，关于其平移量，图中的参考像素(0，2)变成Cx(2)＝2/Gf，参考像素(0，1)变成Cx(1)＝1/Gf，参考像素(0，0)变成Cx(0)＝0，参考像素(0，-1)变成Cx(-1)＝-1/Gf，以及参考像素(0，-2)变成Cx(-2)＝-2/Gf。
在步骤S2227中，梯度估计单元2212计算(估计)在关注像素的位置上的模拟函数f(x)的梯度。例如，如图208所示，在关于关注像素的连续性方向为接近垂直方向的角度的情况下，在水平方向上相邻的像素之间的像素值表现更大的差，但是，在垂直方向的像素之间的变化较小并相似，因此，梯度估计单元2212通过获取在垂直方向上的像素之间的变化，用垂直方向上的像素之间的差代替在水平方向上的差，并获得在关注像素的位置上的模拟函数f(x)的梯度作为根据平移量在空间方向X上的变化。
也就是说，如果假设存在近似描述现实世界的模拟函数f(x)，则上述平移量和各个参考像素的像素值之间的关系如图209所示。这里图208中各个像素的像素值被从上表示为P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。从而，关于像素值P和关注像素(0，0)附近的平移量Cx，获得5对关系(P，Cx)＝((P(0，2)，-Cx(2)、(P(0，1)，-Cx(1))、(P(0，-1)，-Cx(-1)、(P(0，-2)，-Cx(-2))以及(P(0，0)，0)。
这里，对于像素值P，平移量Cx，以及梯度Kx(在模拟函数f(x)上的梯度)，如下述公式(98)关系成立。
P＝Kx×Cx公式(98)上述公式(98)是关于变量Kx的单变量函数，从而梯度估计单元2212利用一个变量的最小二乘法获得梯度Kx(梯度)。
也就是说，梯度估计单元2212通过求解如下述公式(99)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。
Kx=Σi=1m(Cxi-Pi)Σi=1m(Cxi)2]]>公式(99)这里，i表示用于识别上述参考像素的每对像素值p和平移量C的数1到m。另外，m表示包括关注像素的参考像素个数。
在步骤S2229中，参考像素选取单元2211确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2222。另外，在确定已经在步骤S2229中处理所有像素的情况下，该处理结束。
注意，通过上述处理将要输出作为现实世界估计信息的梯度在计算将要通过外推/内插最后获得的希望像素值时采用。另外，对于上述实例，已经描述了在计算二倍密度像素时的梯度作为实例，但是，在计算密度大于二倍密度的情况下，可以获得用于计算像素值所需的更多位置的梯度。
例如，如图204所示，当产生在空间方向上共具有四倍密度的像素的情况下，其中在水平方向为二倍密度，在垂直方向上为二倍密度，可以如上所述获得对应于图204中各个位置的Pin、Pa和Pb的模拟函数f(x)的梯度Kx。
另外，在上述实例中，已经描述了用于获得二倍密度的实例，但是，模拟函数f(x)是连续函数，从而，即使像素的像素值位于不是复数密度的位置上，仍可以获得需要的梯度。
根据上述设置，可以通过利用关注像素附近的像素值，产生和输出模拟函数上的梯度，用于产生空间方向上的像素作为现实世界估计信息，而不获得近似表示现实世界的模拟函数。
接着，将参考图210描述现实世界估计单元102，其对于具有连续性的区域中的每个像素，输出在一个帧方向(时间方向)的模拟函数上的导数值作为现实世界估计信息。
参考像素选取单元2231基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的移动(移动矢量)，以及区域信息)确定输入图像中的每个像素是否在处理区域中，并且在每个像素位于处理区域的情况下，选取用于获得模拟输入图像中的像素的像素值的模拟函数所需的参考像素信息(用于计算所需的关注像素周围的多个像素位置及其像素值)，并将其输出给模拟函数估计单元2202。
模拟函数估计单元2232利用最小二乘法，基于从参考像素选取单元2231输入的在帧方向中的参考像素信息估计模拟函数，其近似描述了关注像素周围每个像素的像素值，并将估计的函数输出给微分处理单元2233。
微分处理单元2233基于从模拟函数估计单元2232输入的帧方向中的模拟函数，获得根据数据连续性信息的移动将要从关注像素产生的像素位置在帧方向上的平移量，根据其平移量计算在帧方向上的模拟函数上的位置的导数值(对应于沿初始方向距离对应于连续性的直线的距离模拟每个像素的像素值的模拟函数的导数值)，还将关注像素的位置和像素值以及关于作为连续性的移动的信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。
接着，将参考图211中的流程图，描述利用图210中的现实世界估计单元102的现实世界估计处理。
在步骤S2241中，参考像素选取单元2231从数据连续性检测单元101和输入图像一起获取作为数据连续性信息的移动和区域信息。
在步骤S2242中，参考像素选取单元2231从输入图像中的未处理像素中设置关注像素。
在步骤S2243中，参考像素选取单元2231基于数据连续性的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2250中，通过模拟函数估计单元2232通知差值处理单元2233关注像素位于非处理区域中，差值处理单元2233响应其将对应于关注像素的导数值设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2251。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2244。
在步骤S2244中，参考像素选取单元2231基于包括在数据连续信息中的移动信息，确定具有数据连续性的方向的移动是接近空间方向还是接近帧方向。也就是说，如图212所示，如果取表示空间和时间方向在由作为参考轴的帧方向T和空间方向Y构成的表面内的角度为θv，在具有数据连续性的角度θv为45°＞θv≥0°，或180°＞θv≥135°的情况下，参考像素选取单元2201确定关注像素的连续性移动接近帧方向(时间方向)，在具有数据连续性的角度θv为135°＞θv≥45°的情况下，确定关注像素的连续性方向接近空间方向。
在步骤S2245中，参考像素选取单元2201对应于从输入图像分别确定的方向选取参考像素的像素值和位置信息，并将其输出给模拟函数估计单元2232。也就是说，参考像素变成将要用于计算下面的模拟函数的数据，因此优选根据其角度选取。从而对应于帧方向和空间方向的任意预定方向，选取在其方向上较长范围中的参考像素。具体是，例如如图212所示，在移动方向Vf接近空间方向的情况下确定方向为空间方向。在该情况下，如图212所示，当取图212的中心的像素(t，y)＝(0，0)为关注像素时，参考像素选取单元2131选取选取(t，y)＝(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每个像素值。注意在图212中，可以说每个像素在帧方向和空间方向上的长度为1。
换句话说，参考像素选取单元2231选取相对于帧方向在空间方向上较长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在空间方向(图中上/下)的两个像素×分别在帧方向(图中左/右)的1个像素。
相反，在确定方向为帧方向的情况下，参考像素选取单元2231选取帧方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在空间方向(图中上/下)的1个像素和分别在帧方向(图中左/右)的2个像素，并将其输出给模拟函数估计单元2232。显然，参考像素的个数并不限于上述的15个像素，而是可以采用任何像素个数。
在步骤S2246中，模拟函数估计单元2232利用最小二乘法基于从参考像素选取单元2231输入的参考像素的信息估计模拟函数f(t)，并将其输出给微分处理单元2233。
也就是说，模拟函数f(t)是如下述公式(100)所示的多项式。
f(t)＝W1tn+W2tn-1+…+Wn-1公式(100)从而，如果获得公式(100)中的多项式的每个系数W1到Wn+1，则可以获得用于模拟每个参考像素的像素值的在帧方向中的模拟函数f(t)。然而，需要超过系数个数的参考像素值，因此，例如，在如图212所示的情况下，参考像素的个数为共15个，因此在多项式中可以获得的系数的个数限于15。在该情况下，可以说多项式达到14维，并通过获得系数W1到W15而估计模拟函数。注意，在该情况下，通过建立由15维多项式构成的模拟函数f(x)可以采用联立方程。
因此，当采用如图212所示的15个参考像素值，模拟函数估计单元2232通过利用最小二乘法求解下面的公式(101)而估计模拟函数f(t)。
P(-1，-2)＝f(-1-Ct(-2))P(-1，-1)＝f(-1-Ct(-1))P(-1，0)＝f(-1)(＝f(-1-Ct(0)))P(-1，1)＝f(-1-Ct(1))P(-1，2)＝f(-1-Ct(2))P(0，-2)＝f(0-Ct(-2))P(0，-1)＝f(0-Ct(-1))P(0，0)＝f(0)(＝f(0-Ct(0)))P(0，1)＝f(0-Ct(1))P(0，2)＝f(0-Ct(2))P(1，-2)＝f(1-Ct(-2))P(1，-1)＝f(1-Ct(-1))P(1，0)＝f(1)(＝f(1-Ct(0)))P(1，1)＝f(1-Ct(1))P(1，2)＝f(1-Ct(2))公式(101)注意，参考像素的个数可以根据多项式的阶数而改变。
这里，Ct(ty)表示平移量，其与上述Cx(ty)相同，当用Vf表示作为连续性的梯度，则定义Ct(ty)＝ty/Vf。该平移量Ct(ty)表示，在限定在空间方向Y＝0的位置上的模拟函数f(t)沿梯度Vf连续(具有连续性)的条件下，在空间方向Y＝ty的位置上平移相对于帧方向T的宽度。因此，例如，在将模拟函数限定为在空间方向Y＝0的位置上的f(t)时，该模拟函数f(t)必需相对于帧方向T在空间方向Y＝ty上平移Ct(ty)，从而将函数定义为f(t-Ct(ty))＜＝f(t-ty/Vf)。
在步骤S2247中，微分处理单元2233基于从模拟函数估计单元2232输入的模拟函数f(t)获得在将要产生的像素位置上的平移量。
也就是说，在产生像素为分别在帧方向和空间方向上有两倍的密度(共四倍密度)的情况下，微分处理单元2233首先获得例如在中心位置的下述平移量Pin(Tin，Yin)，其在下述被分成两个像素Pat和Pbt，变成如图213所示的在空间方向上的二倍密度，从而获得关注像素在中心位置Pin(Tin，Tin)的导数值。该平移量变成Ct(0)，因此实际变为0。注意，在图213中，其基本重心位置为(Tin，Yin)的像素Pin为方形，基本重心位置分别为(Tin，Yin+0.25)和(Tin，Yin-0.25)的像素Pat和Pbt在图中水平方向上分别为矩形。
在步骤S2248中，微分处理单元2233微分模拟函数f(t)，以获得模拟函数的初始微分函数f(t)’，获得对应于获得的平移量的位置上的导数值，并将其输出给图像产生单元103作为现实世界估计信息。也就是说，在该情况下，微分处理单元2233获得导数值f(Tin)’，并将其位置(在该情况下为关注像素(Tin，Yin))、其像素值以及在连续性方向上的移动信息加到其上，并将其输出。
在步骤S2249中，微分处理单元2233确定是否已经获得用于产生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值只是用于空间方向中的二倍密度所需的导数值(未获得在帧方向上变成二倍密度的导数值)，从而确定没有获得用于产生希望密度的像素所需的导数值，并且处理返回步骤S2247。
在步骤S2247中，微分处理单元2203再次基于从模拟函数估计单元2202输入的模拟函数f(t)获得在将要产生的像素的位置上的平移量。也就是说，在该情况下，微分处理单元2203获得用于进一步将分开的像素Pat和Pbt分别分成两个像素所需的导数值。在图213中分别以黑色圆形表示Pat和Pbt的位置，从而微分处理单元2233获得对应于每个位置的平移量。像素Pat和Pbt的平移量分别是Ct(0.25)和Ct(-0.25)。
在步骤S2248中，微分处理单元2233对模拟函数f(t)微分，获得在对应于平移量的位置上的导数值。所述平移量对应于每个像素Pat和Pbt，并将其输出给图像产生单元103，作为现实世界估计信息。
也就是说，在采用如图212所示的参考像素的情况下，如图214所示，微分处理单元2233获得关于获得的模拟函数f(t)的微分函数f(t)’，获得在位置(Tin-Ct(0.25))和(Tin-Ct(-0.25))上的导数值，其分别是对时间方向T平移平移量Ct(0.25)和Ct(-0.25)的f(Tin-Ct(0.25))’和f(Tin-Ct(-0.25))’的位置，将对应于其导数值的位置信息与其相加，并将其输出作为现实世界估计信息。注意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。
在步骤S2249中，微分处理单元2233再次确定是否获得用于产生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变成在空间方向Y上和在帧方向T上的二倍密度(共四倍密度)的导数值，从而确定已经获得用于产生希望密度的像素所需的导数值，并且处理进到步骤S2251。
在步骤S2251中，参考像素选取单元2231确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2242。另外，在步骤S2251中，在确定已经处理所有的像素的情况下，该处理结束。
如上所述，在产生像素以在关于输入图像的帧方向(时间方向)和空间方向上变成四倍密度的情况下，通过利用在将要分开的像素的中心位置的模拟函数的导数值的外推/内插，分割像素，从而为了产生四倍密度像素，需要共3个导数值的信息。
也就是说，如图213所示，用于产生四个像素P01t、P02t、P03t和P04t所需的导数值在最后被一个像素所需(在图213中，像素P01t、P02t、P03t和P04t为方形，其重心位置为图中四个交叉符号的位置，并且像素Pin的每边的长度为1，因此像素P01t、P02t、P03t和P04t的每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在帧方向或在空间方向上的二倍密度像素(在步骤S2247和S2248中的上述第一处理)，并且，另外将分割的两个像素在垂直于初始分割方向的方向上分割(在该情况下为帧方向)(在步骤S2247和S2248中的上述第二处理)。
注意，在上述实例中，已经描述了在计算四倍密度像素的时间上的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下，可以通过重复进行步骤S2247到S2249中的处理获得用于计算像素值所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(t)是连续函数，从而即使对于密度不是复数密度的像素值，仍可以获得需要的导数值。
根据上述设置，可以获得用于近似表达关注像素附近的每个像素的像素值的模拟函数，并且可以将用于产生像素所需的位置上的导数值输出作为现实世界估计信息。
利用如图210所述的现实世界估计单元102，已经将用于产生图像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位置上的模拟函数f(t)的梯度相同的值。
现在，将参考图215描述现实世界估计单元102，其中只直接获得用于产生像素所需的模拟函数在帧方向上的梯度，而不获得模拟函数，并将其输出作为现实世界估计信息。
参考像素选取单元2251基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的移动，或区域信息)，确定输入图像的每个像素的是否是处理区域，在为处理区域的情况下，选取用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括关注像素的在空间方向上排列的周边多个像素，或包括关注像素的在帧方向上排列的周边多个像素、以及每个像素值的信息)，并将其输出给梯度估计单元2252。
梯度估计单元2252基于从参考像素选取单元2251输入的参考像素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给图像产生单元103作为现实世界估计信息。具体是，梯度估计单元2252获得模拟函数在关注像素的位置上的梯度，所述函数利用像素之间的像素值的差值信息近似表达每个参考像素的像素值，并将其与关注像素的位置信息和像素值、以及连续性方向上的移动信息一起输出作为现实世界估计信息。
下面，将参考图216中的流程图描述利用图215中的现实世界估计单元102的现实世界估计处理。
在步骤S2261中，参考像素选取单元2251从数据连续性检测单元101与输入图像一起获取移动和区域信息作为数据连续性信息。
在步骤S2262中，参考像素选取单元2251从输入图像的未处理的像素中设置关注像素。
在步骤S2263中，参考像素选取单元2251基于数据连续性的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2268中，其中，通知梯度估计单元2252关注像素位于非处理区域中，梯度估计单元2252响应其将对应于关注像素的梯度设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2269。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2264。
在步骤S2264中，参考像素选取单元2211基于包括在数据连续信息中的移动信息确定作为数据连续性的移动是接近帧方向还是接近空间方向的移动。也就是说，如果取表示空间和时间方向在由作为参考轴的帧方向T和空间方向Y构成的表面内的角度为θv，在具有数据连续性的移动θv为45°＞θv≥0°，或180°＞θv≥135°的情况下，参考像素选取单元2251确定关注像素的作为连续性的移动接近帧方向，在具有数据连续性的角度θv为135°＞θv≥45°的情况下，确定关注像素的连续性移动接近空间方向。
在步骤S2265，参考像素选取单元2251选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度估计单元2252。也就是说，参考像素变成将用于计算后面的梯度的数据，因此优选根据作为连续性的移动选取。因此，对应于帧方向和空间方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图217所示，在确定移动接近空间方向的情况下，当取图217的中心的像素(t，y)＝(0，0)为关注像素，参考像素选取单元2151选取(t，y)＝(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每个像素值。注意在图217中，可以说每个像素在帧方向和空间方向上的长度为1。
换句话说，参考像素选取单元2251选取空间方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在空间方向(图中上/下)的两个像素。
相反，在确定方向为帧方向的情况下，参考像素选取单元2251选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在帧方向(左/右)的2个像素，并将其输出给模拟函数估计单元2252。显然，参考像素的个数并不限于上述的5个像素，而是可以采用任何像素个数。
在步骤S2266中，梯度估计单元2252基于从参考像素选取单元2251输入的参考像素的信息、和在连续性方向中的移动Vf，计算每个像素值的平移量。也就是说，在取对应于空间方向Y＝0的模拟函数f(t)为基的情况下，对应于空间方向Y＝-2、-1、1和2的模拟函数沿作为连续性的移动Vf连续，如图217所示，从而将每个模拟函数描述为f(t-Ct(2))、f(t-Ct(1))、f(t-Ct(-1))以及f(t-Ct(-2))，并且，将其表示为对于每个空间方向Y＝-2、-1，1，2在帧方向T上平移每个平移量的函数。
因此，梯度估计单元2252获得其平移量Ct(-2)到Ct(2)。例如，在如图217所示选取参考像素的情况下，关于其平移量，图中的参考像素(0，2)变成Ct(2)＝2/Vf，参考像素(0，1)变成Ct(1)＝1/Vf，参考像素(0，0)变成Ct(0)＝0，参考像素(0，-1)变成Ct(-1)＝-1/Vf，以及参考像素(0，-2)变成Ct(-2)＝-2/Vf。梯度估计单元2252获得这些平移量Ct(-2)到Ct(2)。
在步骤S2267中，梯度估计单元2252计算(估计)在关注像素的帧方向上的梯度。例如，如图217所示，在关于关注像素的连续性方向为接近空间方向的角度的情况下，在帧方向上相邻的像素之间的像素值表现更大的差，但是，在空间方向的像素之间的变化较小并相似，因此，梯度估计单元2252通过获取在空间方向上的像素之间的变化，用帧方向上的像素之间的差代替在空间方向上的差，并获得在关注像素上的梯度作为根据平移量在帧方向T上的变化。
也就是说，如果假设存在近似描述现实世界的模拟函数f(t)，则上述平移量和各个参考像素的像素值之间的关系如图218所示。这里，图218中的各个像素的像素值被从上表示为P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。从而，关于像素值P和关注像素(0，0)附近的平移量Ct，获得5对关系(P，Ct)＝((P(0，2)，-Ct(2)、(P(0，1)，-Ct(1))、(P(0，-1)，-Ct(-1)、(P(0，-2)，-Ct(-2))以及(P(0，0)，0)。
这里，对于像素值P，平移量Ct，以及梯度Kt(在模拟函数f(t)上的梯度)，如下述公式(102)关系成立。
P＝Kt×Ct公式(102)上述公式(102)是关于变量Kt的单变量函数，从而梯度估计单元2212利用一个变量的最小二乘法获得变量Kt(梯度)。
也就是说，梯度估计单元2252通过求解如下述公式(103)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。
Kt=Σi=1m(Cti-Pi)Σi=1m(Cti)2]]>公式(103)这里，i表示用于识别上述参考像素的每对像素值p和平移量Ct的数1到m。另外，m表示包括关注像素的参考像素个数。
在步骤S2269中，参考像素选取单元2251确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2262。另外，在确定已经在步骤S2269中处理所有像素的情况下，该处理结束。
注意，通过上述处理将要输出作为现实世界估计信息的梯度在计算将要通过外推/内插最后获得的希望像素值时采用。另外，对于上述实例，已经描述了在计算二倍密度像素时的梯度作为实例，但是，在计算密度大于二倍密度的情况下，可以获得用于计算像素值所需的更多位置的梯度。
例如，如图204所示，当产生在时间和空间方向上共具有四倍密度的像素的情况下，其中在水平方向或帧方向上产生二倍密度，可以如上所述获得对应于图204中各个位置的Pin、Pat和Pbt的模拟函数f(t)的梯度Kt。
另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(t)是连续函数，从而，即使像素的像素值位于不是复数密度的位置上，仍可以获得需要的梯度。
显然，对于用于获得模拟函数相对于帧方向或空间方向的梯度或导数值的处理顺序没有限制。另外，在上述实例中，在空间方向，已经描述了利用空间方向Y和帧方向T的关系，但是可以采用空间方向X和帧方向T之间的关系代替该关系。另外，可以从时间和空间方向的二维关系选择性地获得梯度(任一维度方向)或导数值。
根据上述设置，可以通过利用关注像素附近的像素值，在用于产生像素所需的位置上的帧方向(时间方向)上产生和输出模拟函数上的梯度作为现实世界估计信息，而不获得近似表示现实世界的在帧方向上的模拟函数。
接着，将参考图219到249描述现实世界估计单元102(图3)的另一实施例。
图219描述了该实施例的特征。
如图219所示，利用预定函数F表示作为被投影在传感器2上的图像、现实世界1中的信号(光强分布)。注意，下文中，在对该实施例的描述中，用作现实世界1中的图像的信号，尤其指光信号，以及函数F尤其指光信号函数F。
在该实施例中，在由光信号函数F表示的现实世界1中的光信号具有预定连续性的情况下，现实世界估计单元102通过利用来自传感器2的输入图像(包括对应于连续性的数据连续性的图像数据)、和来自于数据连续性检测单元101的数据连续性信息(对应于输入图像数据的连续性的数据连续性信息)的预定函数f模拟光信号函数F而估计光信号函数F。注意，下文在对该实施例的描述中，函数f尤其指模拟函数f。
换句话说，在该实施例中，现实世界估计单元102模拟(描述)利用模型161(图7)由光信号函数F表示的图像(现实世界1中的光信号)，所述模型由模拟函数f表示。因此，下文中，该实施例称为函数模拟方法。
现在，在进入对函数模拟方法的具体描述之前，将描述关于其中本申请人已经发明的背景的函数模拟方法。
图220描述了其中将传感器看作CCD的积分效应。
如图220所示，将多个检测元件2-1设置在传感器2的平面上。
在图220的实例中，取平行于检测元件2-1的预定边的方向作为X方向，其为空间方向中的一个方向，并取垂直于X的方向的方向为Y方向，其为空间方向中的另一个方向。另外，取垂直于X-Y平面的方向作为用作时间方向的方向t。
另外，在图220的实例中，用方形表示传感器2的每个检测元件2-1的空间形状，其一边的长度为1。传感器2的快门时间(曝光时间)被表示为1。
另外，在图220的实例中，取传感器2的一个检测元件2-1的中心作为空间方向(X方向和Y方向)中的原点(在X方向上位置x＝0，以及在Y方向上位置y＝0)，并且，取曝光时间的中间时刻为时间方向(t方向)上的原点(在t方向上的位置t＝0)。
在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将其积分值输出作为像素值P。
也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(104)表示。
P=∫-0.5+0.5∫-0.5+0.5∫-0.5+0.5F(x,y,t)dxdydt]]>公式(104)通过以同样的方法取其中心为空间方向中的原点，另一个检测元件2-1也输出了如公式104所示的像素值P。
图221描述了传感器2的积分效应的具体实例在图221，X方向和Y方向表示传感器2的X方向和Y方向(图220)。
现实世界1的光信号的部分2301(下文中，该部分指区域)表示具有预定连续性的区域的实例。
注意，区域2301是连续性光信号(连续性区域)的部分。另一方面，在图221中，区域2301被示出为在实际中分成的20个小区域(方形区域)。这是为了示出，区域2301的尺寸等于其中排列在x方向上的传感器2的四个检测元件(像素)，以及在y方向上的传感器2的五个检测元件(像素)的尺寸。也就是说，区域2301中的每20个小区域(虚拟区域)等于一个像素。
另外，区域2301中的白色部分表示对应于细线的光信号。因此，区域2301在其中细线连续的方向上具有连续性。下文中，区域2301指包括细线的现实世界区域2301。
在该情况下，当包括细线的现实世界区域2301(现实世界1中的光信号的部分)被传感器2检测时，通过积分效应从传感器2输出输入图像(像素)的区域2302(下文中，其指包括细线的数据区域2302)。
注意，包括细线的数据区域2302的每个像素由图中的图像表示，但是在实际中为表示预定值的数据。也就是说，通过传感器2的积分效应，包括细线的现实世界区域2301被变为(变形)包括细线的数据区域2302，其被分成每个具有预定像素值的20个像素(在X方向上的四个像素和在Y方向上的五个像素，共20个像素)。
图222描述了传感器2的积分效应的另一具体实例(不同于图221的实例)。
在图222中，X方向和Y方向表示传感器2的X方向和Y方向(图220)。
现实世界1中的光信号的部分(区域)2303表示具有预定连续性的区域的另一实例(不同于图221中包括细线的实际区域2301的实例)。
注意，区域2303与包括细线的现实世界区域2301具有相同的尺寸。也就是说，与现实中的包括细线的现实世界区域2301相同，区域2303也是现实世界1中连续光信号的部分(连续区域)，但是被示出为分成等于图222中的传感器2的一个像素的20个小区域(方形区域)。
另外，区域2303包括具有预定第一光强(值)的第一部分边缘，以及具有预定第二光强(值)的第二部分边缘。因此，区域2303具有在其中边缘连续的方向上的连续性。下文中，区域2303指包括二值边缘的现实世界区域2303。
在该情况中，当由传感器2检测包括二值边缘的现实世界区域2303时(现实世界1中的光信号的部分)，通过积分效应从传感器2输出输入图像(像素值)的区域2304(下文中，指包括二值边缘的数据区域2304)。
注意，将包括二值边缘的数据区域2304的每个像素值与包括细线的数据区域2302相同的显示为图中的图像，但是，实际上为表示预定值的数据。也就是说，通过传感器2的积分效应，将包括二值边缘的现实世界区域2303变为(变形为)包括二值边缘的数据区域2304，其被分成每个具有预定像素值的20个像素(在X方向的四个像素和在Y方向上的五个像素共20个像素)。
常规图像处理装置具有从传感器2输出的关注图像数据，例如，包括细线的数据区域2302，包括二值边缘的数据区域2304等作为原点(基)，并且，对图像数据进行随后的图像处理。也就是说，无论通过积分效应将从传感器2输出的图像数据变为(变形为)不同于现实世界1中的光信号的数据，常规图像处理装置在假设不同于现实世界1中的光信号的数据已经校正的情况下进行图像处理。
从而，常规图像处理装置具有这样的问题，其中基于其中变化了现实世界的细节的波形(图像数据)，在从传感器2输出图像数据的阶段，难于从波形存储原始细节。
因此，利用函数模拟方法，为了解决该问题，如上所述(如图219所示)，现实世界估计单元102通过利用基于图像数据(输入图像)的模拟函数f模拟光信号函数F(现实世界1中的光信号)而估计光信号函数F，所述图像数据例如从传感器2中输出的包括细线的数据区域2302和包括二值边缘数据区域2304。
从而，在现实世界估计单元102的下一个阶段(在该情况中为图3中的图像产生单元103)，通过取图像数据，即可以由模拟函数f表示的图像数据作为原点可以进行处理，在所述图像数据中考虑了积分效应。
下文中，将参考附图单独描述该函数模拟方法的三种具体方法(第一到第三函数模拟方法)。
首先，将参考图223到图237描述第一函数模拟方法。
图223示出了再次描述的图221所示的包括细线的现实世界区域2301。
在图223中，X方向和Y方向表示传感器2的X方向和Y方向(图220)。
第一函数模拟方法是用于模拟一维波形的方法(下文中，该波形指X截面波形F(x))，其中，在x方向上(图中箭头2311的方向)投影对应于如图223所示的包括细线的现实世界区域2301的光信号函数F(x，y，t)，其中，模拟函数f(x)用作n维(n为任意整数)多项式。因此，下文中，第一函数模拟方法尤其指一维多项式模拟方法。
注意，在一维多项式模拟方法中，将要模拟的X截面波形F(x)不限于对应于图223中包括细线的现实世界区域2301的波形。也就是说，如下文所述，在一维多项式模拟方法中，只要X截面波形F(x)对应具有连续性的现实世界1中的光信号，则可以模拟任何波形。
另外，光信号函数F(x，y，t)的投影方向不限于X方向，或者还可以采用Y方向或t方向。也就是说，在一维多项式模拟方法中，可以利用预定模拟函数f(y)模拟其中将光信号函数F(x，y，t)投影到Y方向上的函数F(y)，或可以利用预定模拟函数f(t)模拟其中将光信号函数F(x，y，t)投影到t方向上的函数F(t)。
尤其是，一维多项式模拟方法是以模拟函数f(x)用作n维多项式用于模拟例如X截面波形F(x)的方法，所述多项式如下面公式(105)所示。
f(x)=w0+w1x+w2x+···+wnxn=Σi=0nwixi]]>公式(105)也就是说，在一维多项式模拟方法中，现实世界估计单元102通过计算公式(105)中的系数(特征)xi的wi，而模拟X截面波形F(x)。
该计算特征wi的方法不限于特定方法，例如，可以采用下面的第一到第三方法。
也就是说，第一方法是目前采用的方法。
另一方面，第二方法是由本申请人新发明的方法，其相对于第一方法考虑在空间方向上的连续性。
然而，如上所述，在第一和第二方法中，没有考虑传感器2的积分效应，因此，通过对上述公式(105)代入通过第一方法或第二方法计算得到的特征wi获得的模拟函数f(x)是关于输入图像的模拟函数，但是严格的说，不能指X截面波形F(x)的模拟函数。
因此，本申请人发明了第三方法，其相对于第二方法还考虑传感器2的积分效应而计算特征wi。通过对上述公式(105)代入利用该第三方法计算的特征wi而获得的模拟函数f(x)可以指X截面波形F(x)的模拟函数，其中考虑了传感器2的积分效应。
从而，严格的说，第一方法和第二方法不能指一维多项式模拟方法，只有第三方法可以指一维多项式模拟方法。
换句话说，如图224所示，第二方法是根据本发明的现实世界模拟单元102的实施例，其不同于一维多项式模拟方法。也就是说，图224描述了对应于第二方法的实施例的特征。
如图224所示，在对应于第二方法的实施例中，在用光信号函数F表示的现实世界1的光信号具有预定连续性的情况下，现实世界估计单元102没有利用来自传感器2的输入图像(包括对应于连续性的数据连续性的图像数据)、和从数据连续性检测单元101输入的数据连续性信息(对应于输入图像数据的连续性的连续性信息)模拟X截面波形F(x)，而是利用预定模拟函数f2(x)模拟了来自传感器2的输入图像。
从而，难于说，第二方法是与第三方法具有相同水平的方法，其中没有考虑传感器2的积分效应，而进行只对输入图像的模拟。然而，第二方法是优于常规第一方法的方法，其中，第二方法考虑了空间方向上的连续性。
下文中，将以第一方法，第二方法，以及第三方法的次序单独描述这三种方法的内容。
注意，在下文中，由第一方法、第二方法和第三方法产生的各个模拟函数f(x)彼此区别的情况下，它们尤其指模拟函数f1(x)，模拟函数f2(x)，以及模拟函数f3(x)。
首先，将描述第一方法的内容。
在第一方法中，在这样的条件下，其中在上述公式(105)中所示的模拟函数f1(x)在图225中的包括细线的现实世界区域2301中成立，定义了下面的预测公式(106)。
P(x，y)＝f1(x)+e公式(106)在公式(106)中，x表示从关注像素相对于X方向的像素位置。Y表示从关注像素相对于Y方向的像素位置。e表示误差余量。尤其是，例如，如图225所示，可以说，在包括细线的数据区域2302(其数据为由传感器2检测包括细线的现实世界的区域2301的数据(图223)，并输出)中，关注像素是X方向上自左侧的第二个像素，也是Y方向上自底部的第三个像素。另外，可以说，关注像素的中心为原点(0，0)，并且建立其轴分别为平行于传感器2(图220)的X方向和Y方向的x轴和y轴的系统(下文中，指关注像素坐标系)。在该情况中，关注像素坐标系的坐标值(x，y)表示相对像素位置。
另外，在公式(106)中，P(x，y)表示在相对像素位置(x，y)上的像素值。尤其是，在该情况下，包括细线的数据区域2302中的P(x，y)如图212所示。
图226以曲线图的方式表示该像素值P(x，y)。
在图226中，曲线图的各垂直轴表示像素值，以及水平轴表示在x方向上距离关注像素的相对位置x。另外，图中分别为，自上的第一曲线图中的虚线表示输入像素值P(x，-2)，自上的第二曲线图中的三点连线表示输入像素值P(x，-1)，自上的第三曲线图中的实线表示输入像素值P(x，0)，自上的第四曲线图中的虚线表示输入像素值P(x，1)，自上的第五曲线图(从底部的第一曲线图)中的两点连线表示输入像素值P(x，2)。
当对上述公式(106)分别代入如图226所示的20个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)(然而，x是-1到2的任何整数值)，产生下面公式(107)所示的二十个方程，注意每个ek(k为1到20的任何整数)表示误差余量。
P(-1，-2)＝f1(-1)+e1P(0，-2)＝f1(0)+e2P(1，-2)＝f1(1)+e3P(2，-2)＝f1(2)+e4P(-1，-1)＝f1(-1)+e5P(0，-1)＝f1(0)+e6P(1，-1)＝f1(1)+e7P(2，-1)＝f1(2)+e8P(-1，0)＝f1(-1)+e9P(0，0)＝f1(0)+e10P(1，0)＝f1(1)+e11P(2，0)＝f1(2)+e12P(-1，1)＝f1(-1)+e13P(0，1)＝f1(0)+e14P(1，1)＝f1(1)+e15P(2，1)＝f1(2)+e16P(-1，2)＝f1(-1)+e17P(0，2)＝f1(0)+e18P(1，2)＝f1(1)+e19P(2，2)＝f1(2)+e20公式(107)公式(107)由二十个方程构成，从而例如在模拟函数f1(x)的特征wi数小于20的情况下，即在模拟函数f1(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征wi。注意，下面将描述最小二乘法的具体求解。
例如，如果说模拟函数f1(x)的维数为5，利用公式107由最小二乘法计算的模拟函数f1(x)(通过计算特征wi产生的模拟函数f1(x))变成如图227所示的曲线。
注意，在图227中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。
也就是说，例如，如果将构成图225中包括细线的数据区域2302的二十个像素值P(x，y)(如图226所示分别为输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2))不经过任何修改地沿x轴补充(如果认为在Y方向上的相对位置y不变，并重叠图226所示的5个曲线)，如图227所示的平行于x轴的多条直线(虚线、三点连线、实线、断开线以及两点连线)被分布。
然而，在图227中分别为，虚线表示输入像素值P(x，-2)，三点连线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断开线表示输入像素值P(x，1)，两点连线表示输入像素值P(x，2)。另外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但是在图227中，所述直线被绘出以区分每条直线，因此，没有彼此重叠的直线。
当各20个输入像素值(P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2))这样被分布，以最小化函数值f1(x)的误差的回归曲线(通过对上述公式(104)代入利用最小二乘法计算的特征wi而获得的模拟函数f1(x))变成如图227所示的曲线(模拟函数f1(x))。
从而，模拟函数f1(x)只是表示了在x方向上连接在Y方向上的像素值(自关注像素在X方向上具有相同的相对位置x的像素值)P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)的方法的曲线。也就是说，没有考虑光信号包括的空间方向中的连续性而产生模拟函数f1(x)。
例如，在该情况中，将包括细线的现实世界区域2301(图223)认为将要模拟的客体。该包括细线的现实世界区域2301具有在空间方向上的连续性，其由梯度Gf表示，如图228所示。注意，在图228中，X方向和Y方向表示传感器2的X方向和Y方向(图220)。
因此，数据连续性检测单元101(图219)可以输出如图228所示的角度θ(在由对应于梯度GF的梯度Gf表示的数据连续性方向和X方向之间产生的角度θ)作为对应于作为空间方向中的连续性的梯度GF的数据连续性信息。
然而，在第一方法中，完全没有使用从数据连续性检测单元101输出的数据连续性信息。
换句话说，例如如图228所示，在包括细线的现实世界区域2301中的空间方向中的连续性方向为基本角度θ方向。然而，第一方法是假设包括细线的现实世界区域2301的空间方向中的连续性方向为Y方向(即假设角度θ为90)下，用于计算模拟函数f1(x)的特征wi的方法。
因此，模拟函数f1(x)变成其波形变模糊的函数，并且其细节比原始像素值减少。换句话说，虽然图中没有示出，在利用第一方法产生的模拟函数f1(x)中，其波形变成与实际X截面波形F(x)不同的波形。
为此，本申请人已经发明了用于计算特征wi的第二方法，其相对于第一方法还考虑了空间方向中的连续性(利用角度θ)。
也就是说，第二方法是在假设包括细线的现实世界区域2301的连续性方向为基本角度θ方向下，用于计算模拟函数f2(x)的特征wi的方法。
尤其是，例如，表示对应于空间方向中的连续性的数据连续性的梯度Gf，由下面的公式(108)表示。
Gf=tanθ=dydx]]>公式(108)注意，在公式(108)中，dx表示如图214所示的在X方向上的微小移动量，dy表示如图228所示的相对于dx的在Y方向上的微小移动量。
在该情况中，如果定义平移量Cx(y)如下面公式(109)所示，利用第二方法，对应于在第一方法中使用的公式(106)的方程变成如下面公式(110)所示。
Cx(y)=yGf]]>公式(109)P(x，y)＝f2(x-Cx(y))+e公式(110)也就是说，在第一方法中采用的公式(106)表示在像素中心位置(x，y)的X方向上的位置x与位于相同位置上的任何像素的像素值P(x，y)相同。换句话说，公式(106)表示具有相同像素值的像素在Y方向上连续(在Y方向上表现连续性)。
另一方面，在第二方法中采用的公式(110)表示其中心位置为(x，y)的像素值P(x，y)不等于位于距离关注像素(其中心位置为(0，0)的像素)为X方向上的x的位置上的像素的像素值(等于f2(x)的模拟值)，并且，与在X方向上距离其像素为平移量Cx(y)的位置上的像素的像素值(等于f2(x+Cx(y))的模拟值)相同(在X方向上距离关注像素为x+Cx(y)的位置上的像素)。换句话说，公式(110)表示具有相同像素值的像素在对应于平移量Cx(y)的角度θ方向上连续(在基本角度θ方向上表现连续性)从而，平移量Cx(y)是考虑在空间方向中的连续性(图228中由梯度GF表示的连续性，严格地说，用梯度Gf表示的数据连续性)的校正量，以及利用平移量Cx(y)通过校正公式(106)获得公式(110)。
在该情况下，当分别对上述公式(110)代入图225中所示的包括细线的数据区域的二十个像素值P(x，y)(然而，x为-1到2的任一整数值，而y为-2到2的任一整数值)，产生如下面公式(111)所示的二十个方程。
P(-1，-2)＝f2(-1-Cx(-2))+e1P(0，-2)＝f2(0-Cx(-2))+e2P(1，-2)＝f2(1-Cx(-2))+e3P(2，-2)＝f2(2-Cx(-2))+e4P(-1，-1)＝f2(-1-Cx(-1))+e5P(0，-1)＝f2(0-Cx(-1))+e6P(1，-1)＝f2(1-Cx(-1))+e7P(2，-1)＝f2(2-Cx(-1))+e8P(-1，0)＝f2(-1)+e9P(0，0)＝f2(0)+e10P(1，0)＝f2(1)+e11P(2，0)＝f2(2)+e12P(-1，1)＝f2(-1-Cx(1))+e13P(0，1)＝f2(0-Cx(1))+e14P(1，1)＝f2(1-Cx(1))+e15P(2，1)＝f2(2-Cx(1))+e16P(-1，2)＝f2(-1-Cx(2))+e17P(0，2)＝f2(0-Cx(2))+e18P(1，2)＝f2(1-Cx(2))+e19P(2，2)＝f2(2-Cx(2))+e20公式(111)公式(111)如上述公式(107)由二十个方程构成。因此相对于第一方法，在第二方法中，当在模拟函数f2(x)的特征wi数小于20的情况下，即在模拟函数f2(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征wi。注意，下面将描述最小二乘法的具体求解。
例如，如果说模拟函数f2(x)的维数与第一方法相同为5，在第二方法中如下计算特征wi。
也就是说，图229以曲线图的方式表示公式(111)左侧所示的像素值P(x，y)。由图229所示的各个5个曲线图如图226所示的基本相同。
如图229所示，最大像素值(对应于细线的像素值)在由梯度Gf表示的数据连续性方向上连续。
因此，在第二方法中，如果例如沿x轴补充如图229所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)，在像素值变化为如图230所示的状态后补充像素值代替如第一方法中没有修改的补充像素值(假设y不变，并且5个图形在状态上重叠，如图229所示)。
也就是说，图230表示这样的状态，其中如图229所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)被平移如上述公式(109)所示的平移量Cx(y)。换句话说，图230表示了这样的状态，其中如图229所示的五个曲线图被平移，如同表示数据连续性的实际方向上的梯度GF被认为是梯度GF’(在图中，由虚线构成的直线被认为是由实线构成的直线)。
在图230中的状态中，例如，如果将各输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)沿x轴补充(在图230所示的状态中，如果重叠5个曲线)，如图231所示的平行于x轴的多条直线(虚线、三点连线、实线、断开线以及两点连线)被分布。
注意，在图231中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。同样，虚线表示输入像素值P(x，-2)，三点连线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断开线表示输入像素值P(x，1)，两点连线表示输入像素值P(x，2)。另外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但是在图231中，所述直线被绘出以区分每条直线，因此，没有彼此重叠的直线。
当各20个输入像素值P(x，y)(然而，x为-1到2的任意整数，y为-2到2的任意整数)这样被分布，以最小化函数值f2(x+Cx(y))的误差的回归曲线(通过对上述公式(104)代入利用最小二乘法计算的特征wi而获得的模拟函数f2(x))变成如图231中实线所示的曲线f2(x)。
从而，利用第二方法产生的模拟函数f2(x)表示了在X方向上连接从数据连续性检测单元101(图219)输出的在角度θ方向(即在基本空间方向中的连续性)上的输入像素值P(x，y)的方法的曲线。
另一方面，如上所述，利用第一方法产生的模拟函数f1(x)只是表示了在X方向上连接在Y方向(即，不同于空间方向中的连续性的方向)上的输入像素值P(x，y)。
因此，如图231所示，利用第二方法产生的模拟函数f2(x)变成其中波形模糊程度下降的函数，另外，相对于原始像素值的细节减少程度比第一方法产生的模拟函数f1(x)减少。换句话说，虽然图中没有示出，利用第二方法产生的模拟函数f2(x)中，其波形变成比利用第一方法产生的模拟函数f1(x)更接近实际X截面的波形F(x)的波形。
然而，如上所述，模拟函数f2(x)是考虑空间方向中的连续性的函数，但是只是其中将输入图像(输入像素值)看作原点而产生的函数。也就是说，如图224所示，模拟函数f2(x)只是模拟不同于X截面波形F(x)的输入图像的函数，而难于认为模拟函数f2(x)是模拟X截面波形F(x)的函数。换句话说，第二方法是在假设上述公式(110)成立下用于计算特征wi的方法，但是不考虑上述公式(104)中的关系(不考虑传感器2的积分效应)。
因此，本申请人已经发明用于计算模拟函数f3(x)的特征wi的第三方法，其相对于第二方法还考虑了传感器2的积分效应。
也就是说，第三方法是引入空间混合区域的概念的方法。
在描述第三方法前，将参考图232描述空间混合区域。
在图218中，现实世界1中的光信号的部分2321(下文中，指区域2321)表示具有与传感器2的一个检测元件(像素)相同面积的区域。
当传感器2检测区域2321时，传感器2输出通过对区域2321进行在时间和空间方向上(X方向、Y方向和t方向)的积分而获得的值(一个像素值)2322。注意，图中将像素值2322表示为图像，但是实际为表示预定值的数据。
现实世界1中的区域2321被清楚地分成对应于前景(例如上述细线)的光信号(图中的白色区域)、和对应于背景的光信号(图中黑色区域)。
另一方面，像素值2322是通过对对应于前景的现实世界1中的光信号和对应于背景的现实世界1中的光信号进行积分而获得的值。换句话说，像素值2322是对应于其中空间混合对应于前景的光和对应于背景的光的水平的值。
从而，在这样的情况下，其中对应于现实世界1的光信号的一个像素(传感器2的检测元件)的部分不是其中具有相同水平的信号空间均匀地分布的部分，而是其中分布例如前景和背景的具有不同水平的光信号的部分，一旦其区域被传感器2检测，该区域变成一个像素值，如同通过传感器2的积分效应(在空间方向中的积分)空间混合不同的光水平。从而，这里，将由这样的像素构成的区域称为空间混合区域，在所述像素中，对对应于前景(现实世界1中的光信号)的图像、和对应于背景的图像(现实世界1中的光信号)进行空间积分。
因此，在第三方法中，现实世界估计单元102(图219)通过利用用作如图233所示的一维多项式的模拟函数f3(x)模拟X截面波形F(x)，而估计表示现实世界1中的原始区域2321(在现实世界1的光信号中，部分2321对应于传感器2的一个像素)的X截面波形F(x)。
也就是说，图233示出了对应于用作空间混合区域(图232)的像素值2322的模拟函数f3(x)的实例，即，模拟对应于现实世界1中的区域2331内的实线的X截面波形F(x)的模拟函数f3(x)(图218)。在图233中，图中水平方向上的轴线表示平行于对应于像素值2322的像素的左上端xs到右下端xe的边的像素(图232)，将其取为x轴。图中垂直方向上的轴线被取为表示像素值的轴线。
在图233中，在通过对模拟函数f3(x)进行在从xs到xe(像素宽度)的范围上进行积分获得的结果通常等于从传感器2输出的像素值P(x，y)的条件下(只依赖于误差余量)，限定下面公式(112)。
P=∫xsxef3(x)dx+e]]>=∫xsxe(w0+w1x+w2x2+···+wnxn)dx+e]]>=w0(xe-xs)+···+wn-1xen-xsnn+wnxen+1-xsn+1n+1+e]]>公式(112)在该情况下，从如图228所示的包括细线的数据区域2302的20个像素值P(x，y)(然而，x为-1到2的任一整数值，而y为-2到2的任一整数值)计算模拟函数f3(x)的特征wi，从而公式(112)中的像素值P变成P(x，y)。
另外，如同在第二方法中，需要考虑空间方向的连续性，因此，公式(112)的积分范围中的开始位置xs和结束位置xe每个都依赖于平移量Cx(y)。也就是说，公式(112)的积分范围中的开始位置xs和结束位置xe每个如下面公式(113)所示。
xs＝x-Cx(y)-0.5xe＝x-Cx(y)+0.5公式(113)在该情况下，当将如图228所示的包括细线的数据区域2302每个像素值，即如图229所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)(然而，x为从-1到2的任意整数值)代入上述公式(112)中(积分范围为上述公式(113))，产生在下面公式(114)中的20个方程。
P(-1,-2)=∫-1-Cx(-2)-0.5-1-Cx(-2)+0.5f3(x)dx+e1,]]>P(0,-2)=∫0-Cx(-2)-0.50-Cx(-2)+0.5f3(x)dx+e2,]]>P(1,-2)=∫1-Cx(-2)-0.51-Cx(-2)+0.5f3(x)dx+e3,]]>P(2,-2)=∫2-Cx(-2)-0.52-Cx(-2)+0.5f3(x)dx+e4,]]>P(-1,-1)=∫-1-Cx(-1)-0.5-1-Cx(-1)+0.5f3(x)dx+e5,]]>P(0,-1)=∫0-Cx(-1)-0.50-Cx(-1)+0.5f3(x)dx+e6,]]>P(1,-1)=∫1-Cx(-1)-0.51-Cx(-1)+0.5f3(x)dx+e7,]]>P(2,-1)=∫2-Cx(-1)-0.52-Cx(-1)+0.5f3(x)dx+e8,]]>P(-1,0)=∫-1-0.5-1+0.5f3(x)dx+e9,]]>P(0.0)=∫0-0.50+0.5f3(x)dx+e10,]]>
P(1,0)=∫1-0.51+0.5f3(x)dx+e11,]]>P(2,0)=∫2-0.52+0.5f3(x)dx+e12,]]>P(-1,1)=∫-1-Cx(1)-0.5-1-Cx(1)+0.5f3(x)dx+e13,]]>P(0.1)=∫0-Cx(1)-0.50-Cx(1)+0.5f3(x)dx+e14,]]>P(1,1)=∫1-Cx(1)-0.51-Cx(1)+0.5f3(x)dx+e15,]]>P(2,1)=∫2-Cx(1)-0.52-Cx(1)+0.5f3(x)dx+e16,]]>P(-1,2)=∫-1-Cx(2)-0.5-1-Cx(2)+0.5f3(x)dx+e17,]]>P(0,2)=∫0-Cx(2)-0.50-Cx(2)+0.5f3(x)dx+e18,]]>P(1,2)=∫1-Cx(2)-0.51-Cx(2)+0.5f3(x)dx+e19,]]>P(2,2)=∫2-Cx(2)-0.52-Cx(2)+0.5f3(x)dx+e20]]>公式(114)公式(114)如上述公式(111)由二十个方程构成。因此相对于第二方法，在第三方法中，当在模拟函数f3(x)的特征wi数小于20的情况下，即在模拟函数f3(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征wi。注意，下面将描述最小二乘法的具体求解。
例如，如果说模拟函数f3(x)的维数为5，利用公式114由最小二乘法计算的模拟函数f3(x)(通过计算特征wi产生的模拟函数f3(x))变成如图234中实线所示的曲线。
注意，在图234中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。
如图234所示，在将利用第三方法产生的模拟函数f3(x)(如图中实线所示的曲线)与利用第二方法产生的模拟函数f2(x)(如图中虚线所示的曲线)相比较的情况下，在x＝0处的像素值变大，并且曲线的梯度产生更陡的波形。这是因为细节增为多于输入像素，导致与输入像素的分辨率无关。也就是说，可以说模拟函数f3(x)模拟了X截面波形F(x)。因此，虽然图中没有示出，模拟函数f3(x)变成比模拟函数f2(x)更接近X截面波形F(x)的波形。
图235示出了利用该一维多项式模拟方法的现实世界估计单元102的结构实例。
在图235中，现实世界估计单元102通过利用上述第三方法(最小二乘法)计算特征wi，而估计X截面波形F(x)，并利用计算的特征wi产生上述公式(105)的模拟函数f(x)。
如图235所示，现实世界估计单元102包括条件设置单元2231、输入图像存储单元2332、输入像素值获取单元2333、积分分量计算单元2334、正规方程产生单元2335、以及模拟函数产生单元2336。
条件设置单元2331设置用于估计对应于关注像素的X截面波形F(x)的像素范围(下文称分块范围)、以及模拟函数f(x)的维数n。
输入图像存储单元2332临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2333获取存储在输入图像存储单元2332中的输入图像的对应于由条件设置单元2231设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2335作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的具体实例。
这里，现实世界估计单元102利用上述公式(112)和公式(113)通过最小二乘法计算模拟函数f(x)的特征wi，但是上述公式(112)可以表示成如公式(115)所示。
P(x,y)]]>=Σi=0nwi×(x-Cx(y)+0.5)i+1-(x-Cx(y)-0.5)i+1i+1+e]]>=Σi=0nwi×Si(xs,xe)+e]]>公式(115)
在公式(115)中，Si(xs，xe)表示i维项的积分分量。也就是说，积分分量Si(xs，xe)如下面公式(116)所示。
Si(xs,xe)=xei+1-xsi+1i+1]]>公式(116)积分分量计算单元2334计算积分分量Si(xs，xe)。
尤其是，只要已知相对像素位置(x，y)、平移量Cx(y)、以及I维项的i，便可以计算如公式(116)所示的Si(xs，xe)(然而，值xs和值xe是如上述公式(112)所示的值)。另外，其中分别，由关注像素和分块范围确定相对像素位置(x，y)，由角度θ(通过上述公式(107)和公式(109))确定平移量Cx(y)，以及由维数n确定范围i。
因此，积分分量计算单元2334基于由条件设置单元2331设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量Si(xs，xe)，并将计算结果提供给正规方程产生单元2335作为积分分量表。
正规方程产生单元2335在利用从输入像素值获取单元2333提供的输入像素值表、以及从积分分量计算单元2334提供的积分分量表通过最小二乘法获得的公式(115)右侧的特征wi的情况下，产生上述公式(112)，即正规方程，并将其作为正规方程表提供给模拟函数产生单元2336。注意，下面将描述正规方程的具体实例。
模拟函数产生单元2336通过利用矩阵方法求解包括在从正规方程产生单元2335提供的正规方程表中的正规方程，而计算上述公式(115)的各个特征wi(即，作为一维多项式的模拟函数f(x)的各个系数wi)，并将其输出给图像产生单元103。
接着，将参考图236的流程图描述采用一维多项式模拟方法的现实世界估计单元102(图235)的现实世界估计处理(图40中步骤S102的处理)。
例如，假设如上述作为从传感器2输出的一帧输入图像的、包括图221中的包括细线的数据区域2302的输入图像已经被存储入输入图像存储单元2332。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图40)中对包括细线的数据区域2302进行了其处理，并已经输出角度θ作为数据连续性信息。
在该情况下，条件设置单元2331在图236的步骤S2301中设置条件(分块范围和维数)。
例如，假设设置了如图237所示的分块范围2351，并将维数设置为5维。
也就是说，图237描述了分块范围的实例。在图237中，X方向和Y方向分别为传感器2的X方向和Y方向(图220)。另外，分块范围2351表示由共20个像素(图中20个方形)构成的像素组，其中为X方向上的4个像素和Y方向上的5个像素。
另外，如图237所示，假设图中分块范围2351的关注像素被设置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图237所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到19的任何整数值)。
现在，将返回图236进行描述，其中在步骤S2302中，条件设置单元2331设置关注像素。
在步骤S2303中，输入像素值获取单元2333基于由条件设置单元2331设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2333获取包括细线的数据区域2302(图225)，并产生由20个输入像素值P(l)构成的表作为输入像素值表。
注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y)之间的关系是如下面的公式(117)所示的关系。然而，在公式(117)中，左侧表示输像素值P(l)，右侧表示输入像素值P(x，y)。
P(0)＝P(0，0)P(1)＝P(-1，2)P(2)＝P(0，2)P(3)＝P(1，2)P(4)＝P(2，2)P(5)＝P(-1，1)P(6)＝P(0，1)P(7)＝P(1，1)P(8)＝P(2，1)P(9)＝P(-1，0)P(10)＝P(1，0)P(11)＝P(2，0)P(12)＝P(-1，-1)P(13)＝P(0，-1)P(14)＝P(1，-1)P(15)＝P(2，-1)P(16)＝P(-1，-2)P(17)＝P(0，-2)P(18)＝P(1，-2)P(19)＝P(2，-2)公式(117)在步骤S2304，积分分量计算单元2334基于由条件设置单元2331设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2334将上述公式(116)中的积分分量Si(xs，xe)计算为l的函数，如下面公式(118)中左侧所示的积分分量Si(l)。
Si(l)＝Si(xs，xe)公式(118)尤其是，在该情况下，计算出如下面公式(119)所示的积分分量Si(l)。
Si(0)＝Si(-0.5，0.5)Si(1)＝Si(-1.5-Cx(2)，-0.5-Cx(2))Si(2)＝Si(-0.5-Cx(2)，0.5-Cx(2))Si(3)＝Si(0.5-Cx(2)，1.5-Cx(2))Si(4)＝Si(1.5-Cx(2)，2.5-Cx(2))Si(5)＝Si(-1.5-Cx(1)，-0.5-Cx(1))Si(6)＝Si(-0.5-Cx(1)，0.5-Cx(1))Si(7)＝Si(0.5-Cx(1)，1.5-Cx(1))Si(8)＝Si(1.5-Cx(1)，2.5-Cx(1))Si(9)＝Si(-1.5，-0.5)Si(10)＝Si(0.5，1.5)Si(11)＝Si(1.5，2.5)Si(12)＝Si(-1.5-Cx(-1)，-0.5-Cx(-1))Si(13)＝Si(-0.5-Cx(-1)，0.5-Cx(-1))Si(14)＝Si(0.5-Cx(-1)，1.5-Cx(-1))Si(15)＝Si(1.5-Cx(-1)，2.5-Cx(-1))Si(16)＝Si(-1.5-Cx(-2)，-0.5-Cx(-2))Si(17)＝Si(-0.5-Cx(-2)，0.5-Cx(-2))Si(18)＝Si(0.5-Cx(-2)，1.5-Cx(-2))Si(19)＝Si(1.5-Cx(-2)，2.5-Cx(-2))公式(119)注意，在公式(119)中，左侧表示积分分量Si(l)，以及右侧表示积分分量Si(xs，xe)。也就是说，在该情况下，i为0到5，因此，计算出20S0(l)、20S1(l)、20S2(l)、20S3(l)、20S4(l)、以及20S5(l)共120个20Si(l)。
尤其是，第一积分分量计算单元2334利用从数据连续性检测单元101提供的角度θ计算每个平移量Cx(-2)、Cx(-1)、Cx(1)以及Cx(2)。接着，积分分量计算单元2334利用计算的平移量Cx(-2)、Cx(-1)、Cx(1)以及Cx(2)计算如公式(118)右侧所示的关于i＝0到5的每个的20个积分分量Si(xs，xe)中的每个。也就是说，计算120个积分分量Si(xs，xe)。注意，在对该积分分量Si(xs，xe)的计算中，使用了上述公式(116)。接着，积分分量计算单元2334根据公式(119)将每个计算的120个积分分量Si(xs，xe)转换成相应的积分分量Si(l)，并产生包括转换的120个积分分量Si(l)的积分分量表。
注意，步骤S2303中的处理和步骤S2304中的处理的顺序不限于图236中的实例，可以先执行步骤S2304中的处理，或者可以同时执行步骤S2303中的处理和步骤S2304中的处理。
接着，在步骤S2305中，正规方程产生单元2335基于由输入像素值获取单元2333在步骤S2303中的处理中产生的输入像素值表、以及由积分分量计算单元2334在步骤S2304的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算对应于上述公式(115)的下面公式(120)的特征。对应于此的正规方程如下面公式(121)所示。
P(l)=Σi=0nwi×Si(l)+e]]>公式(120) 公式(121)注意，在公式(121)中，L表示分块范围中的像素数l的最大值。n表示作为多项式的模拟函数f(x)的维数。尤其是，在该情况下，n＝5，以及L＝19。
如果限定如公式(121)所示的正规方程的每个矩阵如公式(122)到(124)所示，正规方程被表示为如下公式(125)。
公式(122)WMAT=w0w1···wn]]>公式(123)PMAT=Σl=0LS0(l)P(l)Σl=0LS1(l)P(l)···Σl=0LSn(l)P(l)]]>公式(124)SMATWMAT＝PMAT公式(125)如公式(123)所示，各个矩阵WMAT的分量为将要获得的特征wi。因此，在公式(125)中，如果确定了左侧的矩阵SMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT(即特征wi)。
尤其是，如公式(122)所示，只要已知上述积分分量Si(l)，便可以计算矩阵SMAT的各个分量。积分分量Si(l)被包括在从积分分量计算单元2334提供的积分分量表中，从而正规方程产生单元2335可以利用积分分量表计算矩阵SMAT的每个分量。
另外，如公式(124)所示，只要已知积分分量Si(l)和像素值P(l)，就可以计算矩阵PMAT的各个分量。积分分量Si(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2333提供的输入像素值表中，从而，正规方程产生单元利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元2335计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元2336。
当从正规方程产生单元2335输出正规方程表时，在步骤S2306中，模拟函数产生单元2336基于正规方程表计算特征wi(即作为一维多项式的模拟函数f(x)的系数wi)，作为上述公式(125)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(125)中的正规方程转换为下面的公式(126)。
WMAT=SMAT-1PMAT]]>公式(126)在公式(126)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元2335提供的正规方程表中。因此，模拟函数产生单元2336通过利用正规方程表计算公式(126)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S2307中，模拟函数产生单元2336确定是否已经完成对全部像素的处理。
在步骤S2307中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2303，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2302到S2307。
在已经完成对全部像素的处理的情况下(在步骤S2307中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
注意，通过这样计算的利用系数(特征)wi产生的模拟函数f(x)的波形变成如上述图234中模拟函数f3(x)的波形。
从而，在一维多项式模拟方法中，在假设具有与一维X截面波形F(x)相同的形式的波形在连续性方向上连续下，计算作为一维多项式的模拟函数f(x)的特征。因此，在一维多项式模拟方法中，可以利用比其它函数模拟方法更少的计算处理量计算模拟函数f(x)的特征。
换句话说，在一维多项式模拟方法中，例如，每个具有时-空积分效应的传感器的多个检测元件(例如图220中的传感器2的检测元件2-1)投影现实世界1中的光信号(例如图221中的现实世界1中的光信号的l部分2301)，图219中的数据连续性检测单元101(图3)检测由多个像素构成的图像数据(例如图221中的图像数据(输入图像数据)2302)中的数据连续性(例如，图228中由Gf表示的数据连续性)，所述像素具有由检测元件2-1投影的像素值(例如在图226中的各个曲线图中示出的输入像素值P(x，y))，所述连续性丢失了现实世界1的光信号的连续性的部分(例如图228中由梯度GF表示的连续性)。
例如，在这样的条件下，其中在对应于图像数据的时-空方向的一维方向(例如，图223中的箭头2311的方向，即X方向)中的位置上的像素的像素值(例如，作为上述公式(112)左侧的输入像素值P)为通过一维方向中的积分效应获取的像素值(例如，如公式(112)右侧所示，通过在X方向上积分模拟函数f3(x)而获得的值)，所述一维方向对应于由数据连续性检测单元101检测的数据连续性，则图219(图3)中的现实世界估计单元102通过利用预定模拟函数f(尤其是，例如图234中的模拟函数f3(x))模拟表示现实世界1的光信号的光信号函数F(尤其是，X截面波形F(x))，而估计光信号函数F。
具体地说，例如，在这样的条件下，其中，在对应于沿一维方向(例如，图X方向)上离对应于由连续性检测处理单元101检测的数据连续性(例如图230中对应于梯度Gf的线(虚线))的直线的距离(例如图230中的平移量Cx(y))的像素的像素值为通过一维方向中的积分效应获取的像素值(例如，如公式(112)右侧所示，通过在X方向上积分模拟函数f3(x)而获得的值，其中积分范围如公式(112)所示)，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。
因此，在一维多项式模拟方法中，可以利用比其它函数模拟方法更少的计算处理量计算模拟函数的特征。
接着，将参考图238到图244描述第二函数模拟方法。
也就是说，第二函数模拟方法是这样的方法，其中将例如具有在由例如如图238所示的梯度GF表示的空间方向上的连续性的现实世界1中的光信号看作在X-Y平面上的波形F(x，y)(在作为空间方向的一个方向的X方向和垂直于X方向的Y方向上的平面水平)，并且利用作为二维多项式的模拟函数f(x，y)模拟波形F(x，y)，从而估计波形F(x，y)。因此，下文中，第二函数模拟方法称二维多项式模拟方法。
注意，在图238中，分别为，水平方向表示作为空间方向的一个方向的X方向，右上方向表示作为空间方向的另一个方向的Y方向，以及垂直方向表示光水平。GF表示作为空间方向中的连续性的梯度。
另外，在描述二维多项式模拟方法中，假设传感器2为由设置在其平面上的多个检测元件2-1构成的CCD，如图239所示。
在图239的实例中，取平行于检测元件2-1的预定边的方向为作为空间方向的一个方向的X方向，取垂直于X方向的方向为作为空间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间方向的t方向。
另外，在图239所示的实例中，取传感器2的各个检测元件2-1的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间)为1。
另外，在图239所示的实例中，取传感器2的一个特定检测元件2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光时间的中间时刻为时间方向中(t方向)的原点(t方向中t＝0的位置)。
在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将积分值输出作为像素值P。
也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(127)表示。
P=∫-0.5+0.5∫-0.5+0.5∫-0.5+0.5F(x,y,t)dxdydt]]>公式(127)类似，通过取将要处理的检测元件2-1的中心为空间方向中的原点，另一个检测元件2-1也输出了如公式(127)所示的像素值P。
另外，如上所述，二维多项式模拟方法是这样的方法，其中将现实世界1的光信号处理作为例如如图238所示的波形F(x，y)，并且利用作为二维多项式的模拟函数f(x，y)模拟二维波形F(x，y)。
首先，将描述表示具有二维多项式的模拟函数f(x，y)的方法。
如上所述，用光信号函数F(x，y，t)表示现实世界1的光信号，在所示函数中的变量为在三维空间x、y和z上的位置以及时刻t。这里，将这样的光信号函数F(x，y，t)，即在Y方向上的任意位置被投影到X方向上的一维波形称为X截面波形F(x)。
当关注该X截面波形F(x)，在现实世界1中的信号具有在空间方向中的特定方向上的连续性的情况下，可以考虑具有与X截面波形F(x)相同的形式的波形在连续性方向上连续。例如，在图238中的实例中，具有与X截面波形F(x)相同的形式的波形在梯度GF方向上连续。换句话说，可以认为，通过在梯度GF方向上连续的具有与X截面波形F(x)相同的形式的波形形成波形F(x，y)。
因此，通过考虑由具有与模拟X截面波形F(x)的模拟函数f(x)相同的形式的连续波形形成用于模拟波形F(x，y)的模拟函数f(x，y)，可以由二维多项式表示模拟函数f(x，y)。
下面将更详细地描述模拟函数f(x，y)的表示方法。
例如，假设由传感器2(图239)检测上述图238所示的现实世界1的光信号，即在由梯度GF表示的空间方向上具有连续性的光信号，并将其输出作为输入图像(像素值)。
另外，假设如图240所示，数据连续性检测单元101(图3)对该输入图像的由在X方向上的4个像素和在Y方向上的5个像素共20个像素(图中，由虚线表示的20个方形)构成的输入图像区域2401进行其处理，并输出角度θ(由对应于梯度GF的梯度Gf表示的数据连续性方向和X方向之间的角度θ)作为一个数据连续性信息。
注意，在输入图像区域2401中，图中的水平方向表示作为空间方向的一个方向的X方向，以及图中的垂直方向表示作为空间方向中的另一个方向的Y方向。
另外，在图240中，建立(x，y)坐标系，从而取为自左的第二个像素、同时为自底部的第三个像素的像素作为关注像素，并取关注像素的中心为原点(0，0)。将在X方向上相对于通过原点(0，0)并具有角度θ的直线(具有表示数据连续性方向的梯度Gf的直线)的相对距离(下文中，称为截面方向距离)描述为x’。
另外，在图240中，右侧的曲线图是其中模拟X截面波形F(x’)的函数，其表示作为n维(n为任意整数)多项式的模拟函数f(x’)。在右侧曲线图中的轴线中，图中水平方向上的轴线表示截面方向距离，以及图中垂直方向上的轴线表示像素值。
在该情况下，如图240所示的模拟函数f(x’)是n维多项式，因而由下面公式(128)表示。
f(x′)=w0+w1x′+w2x′+···+wnx′n=Σi=0nwix′i]]>公式(128)另外，由于角度θ确定，因此具有角度θ并通过原点(0，0)的直线是唯一确定的，在Y方向上的任意位置y上，直线在X方向上的位置x1由下面公式(129)表示。然而，在公式(129)中，s表示cotθ。
x1＝s×y公式(129)也就是说，如图240所示，由坐标(x1，y)表示对应于由梯度Gf表示的数据连续性的直线上的点。
利用公式(129)，将截面方向距离x’表示成如下面公式(130)。
x’＝x-x1＝x-s×y公式(130)因此，利用公式(128)和公式(130)，将输入图像区域2410内的任意位置(x，y)上的模拟函数f(x，y)表示成下面的公式(131)。
f(x,y)=Σi=0nwi(x-s×y)i]]>公式(131)注意，在公式(131)中，wi表示模拟函数f(x，y)的系数。注意，可以将包括模拟函数f(x，y)的模拟函数f的系数wi取值为模拟函数f的特征。因此，模拟函数f的系数wi也称为模拟函数f的特征wi。
从而，只要角度θ已知，可以将具有二维波形的模拟函数f(x，y)表示成公式(131)的多项式。
因此，如果现实世界估计单元102可以计算公式(131)的特征wi，则现实世界估计单元102可以估计如图238所示的波形F(x，y)。
接着，下文中，将描述用于计算公式(131)的特征wi的方法。
也就是说，当在对应于一个像素(传感器2(图239)的检测单元2-1)的积分范围(在空间方向中的积分范围)上对由公式(131)表示的模拟函数f(x，y)进行积分时，积分值变成关于像素的像素值的估计值。这由下面的公式(132)中的方程表示。注意，在二维多项式模拟方法中，将时间方向t看作不变值，从而公式(132)被看作其中以在空间方向(X方向和Y方向)中的位置x和y为变量的方程。
P(x,y)=∫y-0.5y+0.5∫x-0.5x+0.5Σi=0nwi(x-s×y)i+e]]>公式(132)在公式(132)中，P(x，y)表示其中心位置为来自传感器2的输入图像的位置(x，y)(自关注像素的相对位置(x，y))的像素的像素值。另外，e表示误差余量。
从而，在二维多项式模拟方法中，可以用公式(132)表示输入像素值P(x，y)和作为二维多项式的模拟函数f(x，y)之间的关系，因此，通过利用公式(132)(通过对公式(130)代入计算的特征wi而产生模拟函数f(x，y))由例如最小二乘法等计算特征wi，现实世界估计单元102可以估计二维函数F(x，y)(其中在空间方向中突出表示具有空间方向中的由梯度GF(图238)表示的连续性的现实世界1中的光信号的波形F(x，y))。
图241示出了采用该二维多项式模拟方法的现实世界估计单元102的结构实例。
如图241所示，现实世界估计单元102包括条件设置单元2421、输入图像存储单元2422、输入像素值获取单元2423、积分分量计算单元2424、正规方程产生单元2425、以及模拟函数产生单元2426。
条件设置单元2421设置用于估计对应于关注像素的函数F(x，y)的像素范围(分块范围)、以及模拟函数f(x，y)的维数n。
输入图像存储单元2422临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2423获取存储在输入图像存储单元2422中的输入图像的对应于由条件设置单元2421设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2425作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的具体实例。
另外，如上所述，采用二维函数模拟方法的现实世界估计单元102通过利用最小二乘法求解上述公式(132)而计算由上述公式(131)表示的模拟函数f(x，y)的特征wi。
通过利用从下面公式(133)到(135)获得的下面的公式(136)可以将公式(132)表示成下面的公式(137)。
∫xidx=xi+1i+1]]>公式(133)∫(x-s×y)idx=(x-s×y)i+1(i+1)]]>公式(134)∫(x-s×y)idy=(x-s×y)i+1s(i+1)]]>公式(135)∫y-0.5y+0.5∫x-0.5x+0.5(x-s×y)idxdy=∫y-0.5y+0.5[(x-s×y)i+1(i+1)]x-0.5x+0.5dy]]>=∫y-0.5y+0.5(x+0.5-s×y)i+1-(x-0.5-s×y)i+1i+1dy]]>=[(x+0.5-s×y)i+2s(i+1)(i+2)]y-0.5y+0.5-[(x-0.5-s×y)i+2s(i+1)(i+2)]y-0.5y+0.5]]>=(x+0.5-s×y+0.5s)i+2-(x+0.5-s×y-0.5s)i+2-(x-0.5-s×y+0.5s)i+2+(x-0.5-s×y-0.5s)i+2s(i+1)(i+2)]]>公式(136)P(x,y)=Σni=0wis(i+1)(i+2){(x+0.5-s×y+0.5s)i+2]]>-(x+0.5-s×y-0.5s)i+2-(x-0.5-s×y+0.5s)i+2]]>+(x-0.5-s×y-0.5s)i+2}+e]]>=Σi=0nwisi(x-0.5,x+0.5,y-0.5,y+0.5)+e]]>公式(137)在公式(137)中，Si(x-0.5，x+0.5，y-0.5，y+0.5)表示i维项的积分分量。也就是说，积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)如下面公式在(138)所示。
Si(x-0.5,x+0.5,y-0.5,y+0.5)=]]>(x+0.5-s×y+0.5s)i+2-(x+0.5-s×y-0.5s)i+2-(x-0.5-s×y+0.5s)i+2+(x-0.5-s×y-0.5s)i+2s(i+1)(i+2)]]>公式(138)积分分量计算单元2424计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。
尤其是，只要已知相对像素位置(x，y)、上述公式(131)中i维项的s和i变量，便可以计算如公式(138)所示的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。其中分别地，相对像素位置(x，y)由关注像素和分块范围确定，变量s为由角度θ确定的cotθ，以及范围i由维数n确定。
因此，积分分量计算单元2424基于由条件设置单元2421设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)，并将计算结果提供给正规方程产生单元2425作为积分分量表。
正规方程产生单元2425在利用从输入像素值获取单元2423提供的输入像素值表、以及从积分分量计算单元2424提供的积分分量表通过最小二乘法获得上述公式(132)即公式(137)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元2426。注意，下面将描述正规方程的具体实例。
模拟函数产生单元2426通过利用矩阵方法求解包括在从正规方程产生单元2425提供的正规方程表中的正规方程，而计算上述公式(132)的各个特征wi(即，作为二维多项式的模拟函数f(x，y)的各个系数wi)，并将其输出给图像产生单元103。
接着，将参考图228的流程图描述采用二维多项式模拟方法的的现实世界估计处理(图40中步骤S102的处理)。
例如，假设具有由梯度GF表示的空间方向中的连续性的现实世界1中的光信号已经由传感器2(图239)检测、并被存储入输入图像存储单元2422作为对应于一帧的输入图像。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图40)中对输入图像的上述如图240所示的区域2401进行了其处理，并已经输出角度θ作为数据连续性信息。
在该情况下，在步骤S2401中，条件设置单元2421设置条件(分块范围和维数)。
例如，假设设置了如图243所示的分块范围2441，并将维数设置为5维。
图243描述了分块范围的实例。在图243中，X方向和Y方向分别为传感器2的X方向和Y方向(图239)。另外，分块范围2441表示由共20个像素(图中20个方形)构成的像素组，其中为X方向上的4个像素和Y方向上的5个像素。
另外，如图243所示，假设图中分块范围2441的关注像素被设置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图243所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到19的任何整数值)。
现在，将返回图242进行描述，其中在步骤S2402中，条件设置单元2421设置关注像素。
在步骤S2403中，输入像素值获取单元2423基于由条件设置单元2421设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2423获取输入图像区域2402(图240)，并产生由20个输入像素值P(l)构成的表作为输入像素值表。
注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y)之间的关系是如下面的公式(139)所示的关系。然而，在公式(139)中，左侧表示输像素值P(l)，右侧表示输入像素值P(x，y)。
P(0)＝P(0，0)P(1)＝P(-1，2)P(2)＝P(0，2)P(3)＝P(1，2)P(4)＝P(2，2)P(5)＝P(-1，1)P(6)＝P(0，1)P(7)＝P(1，1)P(8)＝P(2，1)P(9)＝P(-1，0)P(10)＝P(1，0)P(11)＝P(2，0)P(12)＝P(-1，-1)P(13)＝P(0，-1)P(14)＝P(1，-1)P(15)＝P(2，-1)P(16)＝P(-1，-2)P(17)＝P(0，-2)P(18)＝P(1，-2)P(19)＝P(2，-2)公式(139)在步骤S2404，积分分量计算单元2424基于由条件设置单元2421设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2424将上述公式(138)中的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)计算为l的函数，如下面公式(140)中左侧所示的积分分量Si(l)。
Si(l)＝Si(x-0.5，x+0.5，y-0.5，y+0.5)公式(140)尤其是，在该情况下，计算出如下面公式(141)所示的积分分量Si(l)。
Si(0)＝Si(-0.5，0.5，-0.5，0.5)Si(1)＝Si(-1.5，-0.5，1.5，2.5)Si(2)＝Si(-0.5，0.5，1.5，2.5)Si(3)＝Si(0.5，1.5，1.5，2.5)Si(4)＝Si(1.5，2.5，1.5，2.5)Si(5)＝Si(-1.5，-0.5，0.5，1.5)Si(6)＝Si(-0.5，0.5，0.5，1.5)Si(7)＝Si(0.5，1.5，0.5，1.5)Si(8)＝Si(1.5，2.5，0.5，1.5)Si(9)＝Si(-1.5，-0.5，-0.5，0.5)Si(10)＝Si(0.5，1.5，-0.5，0.5)Si(11)＝Si(1.5，2.5，-0.5，0.5)Si(12)＝Si(-1.5，-0.5，-1.5，-0.5)Si(13)＝Si(-0.5，0.5，-1.5，-0.5)Si(14)＝Si(0.5，1.5，-1.5，-0.5)Si(15)＝Si(1.5，2.5，-1.5，-0.5)Si(16)＝Si(-1.5，-0.5，-2.5，-1.5)Si(17)＝Si(-0.5，0.5，-2.5，-1.5)Si(18)＝Si(0.5，1.5，-2.5，-1.5)Si(19)＝Si(1.5，2.5，-2.5，-1.5)公式(141)注意，在公式(141)中，左侧表示积分分量Si(l)，以及右侧表示积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i为0到5，因此，计算出20S0(l)、20S1(l)、20S2(l)、20S3(l)、20S4(l)、以及20S5(l)共120个20Si(l)。
尤其是，第一积分分量计算单元2424利用从数据连续性检测单元101提供的角度θ计算cotθ，并取计算结果为变量s。接着，积分分量计算单元2424利用计算的变量s计算如公式(140)右侧所示的关于i＝0到5的每个的20个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)中的每个。也就是说，计算120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。注意，在对该积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的计算中，使用了上述公式(138)。接着，积分分量计算单元2424根据公式(141)将每个计算的120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)转换成相应的积分分量Si(l)，并产生包括转换的120个积分分量Si(l)的积分分量表。
注意，步骤S2403中的处理和步骤S2404中的处理的顺序不限于图242中的实例，可以先执行步骤S2404中的处理，或者可以同时执行步骤S2403中的处理和步骤S2404中的处理。
接着，在步骤S2405中，正规方程产生单元2425基于由输入像素值获取单元2423在步骤S2403中的处理中产生的输入像素值表、以及由积分分量计算单元2424在步骤S2404的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算通过上述公式(137)计算特征wi(然而，在公式(136)中，使用利用公式(140)从积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)转换来的Si(l))，对应于此的正规方程如下面公式(142)所示。
公式(142)注意，在公式(142)中，L表示分块范围中的像素数l的最大值。n表示作为多项式的模拟函数f(x)的维数。尤其是，在该情况下，n＝5，以及L＝19。
如果限定如公式(142)所示的正规方程的每个矩阵如公式(143)到(145)所示，则正规方程被表示为如下公式(146)。
公式(143)WMAT=w0w1···wn]]>公式(144)PMAT=Σl=0LS0(l)P(l)Σl=0LS1(l)P(l)···Σl=0LSn(l)P(l)]]>公式(145)SMATWMAT＝PMAT公式(146)如公式(144)所示，矩阵WMAT的各个分量为将要获得的特征wi。因此，在公式(146)中，如果确定了左侧的矩阵SMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT。
尤其是，如公式(143)所示，利用上述积分分量Si(l)，可以计算矩阵SMAT的各个分量。也就是说，积分分量Si(l)被包括在从积分分量计算单元2424提供的积分分量表中，从而正规方程产生单元2425可以利用积分分量表计算矩阵SMAT的每个分量。
另外，如公式(145)所示，利用积分分量Si(l)和输入像素值P(l)，可以计算矩阵PMAT的各个分量。也就是说，积分分量Si(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2423提供的输入像素值表中，从而，正规方程产生单元2425利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元2425计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元2426。
当从正规方程产生单元2425输出正规方程表时，在步骤S2406中，模拟函数产生单元2426基于正规方程表计算特征wi(即作为二维多项式的模拟函数f(x，y)的系数wi)，作为上述公式(146)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(146)中的正规方程转换为下面的公式(147)。
WMAT=SMAT-1PMAT]]>公式(147)在公式(147)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元2425提供的正规方程表中。因此，模拟函数产生单元2426通过利用正规方程表计算公式(147)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S2407中，模拟函数产生单元2426确定是否已经完成对全部像素的处理。
在步骤S2407中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2402，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2402到S2407。
在已经完成对全部像素的处理的情况下(在步骤S2407中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
作为对二维多项式模拟方法的描述，已经采用了用于对应于空间方向(X方向和Y方向)计算模拟函数f(x，y)的系数(特征)wi的实例，但是也可以将二维多项式模拟方法施加到时间和空间方向(X方向和t方向、或Y方向和t方向)。
也就是说，上述实例是这样的实例，其中现实世界1中的光信号具有由梯度Gf(图238)表示的空间方向中的连续性，以及因此，如上述公式(132)所示，所示方程包括在空间方向(X方向和Y方向)中的二维积分。然而，关于二维积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间方向(X方向和t方向，或Y方向和t方向)。
换句话说，在二维多项式模拟方法中，即使在这样的情况下，其中，将要被估计的光信号函数F(x，y，t)不仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然而，X方向和t方向，或Y方向和t方向)，这可以利用二维多项式模拟。
尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象的情况下，对象的移动方向由例如X-t平面中的梯度Vf表示，如图244所示。换句话说，可以认为梯度Vf表示在X-t平面中的时间和空间方向上的连续性方向。因此，数据连续性检测单元101可以输出如图244所示的移动θ(严格地说，虽然图中没有示出，移动θ是由用对应于梯度VF的梯度Vf表示的数据连续性方向和空间方向中的X方向产生的角度)作为数据连续性信息，其对应于表示在X-t平面中的时间和空间方向上的连续性的梯度VF、以及角度θ(对应于在X-Y平面中由梯度GF表示的空间方向的连续性的连续性信息)。
因此，采用二维多项式模拟方法的现实世界估计单元102通过用移动θ代替角度θ，可以以与上述方法相同的方法计算模拟函数f(x，t)的系数(特征)wi。然而，在该情况下，将要使用的公式不是上述公式(132)，而是下面的公式(148)。
P(x,t)=∫t-0.5t+0.5∫x-0.5x+0.5Σi=0nwi(x-s×t)idxdt+e]]>公式(148)注意，在公式(148)中，s为cotθ(然而，θ是移动)。
另外，可以以与上述模拟函数f(x，t)相同的方法，处理关注空间方向Y代替空间方向X的模拟函数f(y，t)。
从而，在二维多项式模拟方法中，例如，每个具有时间-空间积分效应的传感器的多个检测元件(例如图239中传感器2的检测元件2-1)投影现实世界1的光信号(图219)，图219中的数据连续性检测单元101检测图像数据(例如，图219中的输入图像)中的数据连续性(例如，图240中由Gf表示的数据连续性)，所述图像数据由具有利用检测元件2-1投影的像素值的多个像素构成，其丢失了现实世界1的光信号的部分连续性(例如，图239中由梯度GF表示的连续性)。
例如，在这样的条件下，其中在对应于图像数据的时-空方向的二维方向(例如，图238和图239中的空间方向和空间方向Y)中的位置上的像素的像素值(例如，作为上述公式(131)左侧的输入像素值P(x，y))为通过二维方向中的积分效应获取的像素值(例如，如公式(132)右侧所示，通过在X方向和Y方向上积分模拟上述公式(131)中的函数f(x，y)而获得的值)，所述二维方向对应于由数据连续性检测单元101检测的数据连续性(例如，如公式(132)右侧所示)，则图219(图3)(图241中的结构)中的现实世界估计单元102通过利用作为多项式的模拟函数f(例如如公式(131)中的模拟函数f(x，y))模拟表示现实世界1的光信号的光信号函数F(尤其是，图238中的函数F(x，y))，而估计光信号函数F。
具体为，例如，在这样的条件下，其中，在对应于沿二维方向上离对应于由连续性检测处理单元101检测的数据连续性(例如图240中对应于梯度Gf的线(箭头))的直线的距离(例如图240中的截面方向距离x’)的像素的像素值为通过至少在二维方向中的积分效应获取的像素值，则现实世界估计单元102通过利用作为多项式的第二函数模拟表示现实世界的光信号的第一函数而估计表示光信号的第一函数。
因此，在二维多项式模拟方法中，考虑二维积分效应而不是一维积分效应，从而可以比一维多项式模拟方法更精确地估计现实世界1中的光信号。
接着，将参考图245到图249描述第三函数模拟方法。
也就是说，第三函数模拟方法是这样的方法，其中关注具有在时空方向的预定方向上的连续性的现实世界1中的光信号由光信号函数F(x，y，t)表示的情况，利用模拟函数f(x，y，t)模拟光信号函数F(x，y，t)，从而估计光信号函数F(x，y，t)。因此，下文中，第三函数模拟方法称为三维函数模拟方法。
另外，在描述三维多项式模拟方法中，假设传感器2为由设置在其平面上的多个检测元件2-1构成的CCD，如图245所示。
在图245的实例中，取平行于检测元件2-1的预定边的方向为作为空间方向的一个方向的X方向，取垂直于X方向的方向为作为空间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间方向的t方向。
另外，在图245所示的实例中，取传感器2的各个检测元件2-1的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间)为1。
另外，在图245所示的实例中，取传感器2的一个特定检测元件2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光时间的中间时刻为时间方向中(t方向)的原点(t方向中t＝0的位置)。
在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将积分值输出作为像素值P。
也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(149)表示。
P=∫-0.5+0.5∫-0.5+0.5∫-0.5+0.5F(x,y,t)dxdydt]]>公式(149)类似，通过取将要处理的检测元件2-1的中心为空间方向中的原点，另一个检测元件2-1也输出了如公式(149)所示的像素值P。
另外，如上所述，在三维多项式模拟方法中，将光信号函数F(x，y，t)模拟为三维多项式的模拟函数f(x，y，t)。
尤其是，例如，取模拟函数f(x，y，t)为具有N变量(特征)的函数，定义对应于公式(149)的输入像素P(x，y，t)与模拟函数f(x，y，t)之间的关系式。从而，在获取大于N的M个输入像素P(x，y，t)的情况下，可以从定义的关系式计算N个变量(特征)。也就是说，现实世界估计单元102通过获取M个输入像素P(x，y，t)并计算N个变量(特征)可以估计光信号函数F(x，y，t)。
在该情况下，现实世界估计单元102通过利用来自传感器2的输入图像(输入像素值)中包括的数据连续性作为约束(即，利用数据连续性信息作为将要从数据连续性检测单元101输出的输入图像)，从整个输入图像中选取(获取)M个输入图像P(x，y，t)。
例如，如图246所示，在对应于输入图像的光信号函数F(x，y，t)具有由梯度GF表示的空间方向中的连续性的情况下，数据连续性检测单元101最后输出角度θ(在由对应于梯度GF的梯度Gf(未示出)表示的数据连续性方向与X轴之间的角度θ)作为相对于输入图像的连续性信息。
在该情况下，就认为即使在投影到Y方向的任意位置的情况下，其中光信号函数F(x，y，t)被投影在X方向的一维波形(该波形在此称作X截面波形)具有相同的形式。
也就是说，就认为存在具有相同形式的X截面波形，其为在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且用模拟函数f(x，y，t)模拟三维波形，其中这样的二维波形在时间方向t上连续。
换句话说，在Y方向上从关注像素的中心平移y位置的X截面波形变成这样的波形，其中通过关注像素中心的X截面波形在X方向上被移动(平移)预定量(根据角度θ的变化量)。注意，下文中，该量称为平移量。
可以如下计算平移量。
也就是说，梯度Vf(例如，表示对应于图246中的梯度VF的数据连续性方向的梯度Vf)和角度θ如下面公式(150)所示。
Gf=tanθ=dydx]]>公式(150)注意，在公式(150)中，dx表示在X方向中的微小移动量，dy表示相对于dx在Y方向上的微小移动量。
因此，如果将相对于X方向的移动量描述为Cx(y)，其由下面公式(151)表示。
Cx(y)=yGf]]>公式(151)如果这样定义平移量Cx(y)，则对应于公式(149)的输入像素P(x，y，t)与模拟函数f(x，y，t)之间的关系式如下面的公式(152)所示。
P(x,y,t)=∫tstθ∫ysyθ∫xsxθf(x,y,t)dxdydt+e]]>公式(152)在公式(152)中，e表示误差余量。ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。同样，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。另外，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。然而，各个具体积分范围如下面公式(153)所示。
ts＝t-0.5te＝t+0.5ys＝y-0.5ye＝y+0.5xs＝x-Cx(y)-0.5xe＝x-Cx(y)+0.5公式(153)如公式(153)所示，通过在X方向上将积分范围平移平移量Cx(y)到达位于在空间方向上距离关注像素为(x，y)的像素，可以将其表示为具有在连续性方向(相对于X方向的角度θ)上连续的相同形式的X截面波形。
从而，在三维函数模拟方法中，像素值P(x，y，t)与三维模拟函数f(x，y，t)之间的关系可以利用公式(152)表示(积分范围为公式(153))，因此，通过例如利用公式(152)和公式(153)的最小二乘法计算模拟函数f(x，y，t)的N个特征，可以估计光信号函数F(x，y，t)(例如，具有由如图246所示的梯度VF表示的空间方向中的连续性的光信号)。
注意，在由光信号函数F(x，y，t)表示的光信号具有由如图246所示的梯度VF表示的空间方向中的连续性的情况下，可以如下模拟光信号函数F(x，y，t)。
也就是说，假设假设其中在Y方向上投影有光信号函数F(x，y，t)的一维波形(下文中，这样的波形称为Y截面波形)具有相同的形式，即使在X方向的任意位置上的投影的情况下。
换句话说，假设存在其中具有相同形式的Y截面波形的二维(空间方向)波形在连续性方向(相对于X方向的角度θ方向)上连续，并且用模拟函数f(x，y，t)模拟三维波形，其中这样的二维波形在时间方向t上连续。
因此，在X方向上从关注像素的中心平移x位置的Y截面波形变成这样的波形，其中通过关注像素中心的Y截面波形在Y方向上被移动(平移)预定平移量(根据角度θ的变化平移量)。
可以如下计算平移量。
也就是说，梯度Gf如上述公式(150)所示，从而如果相对于Y方向的平移量被描述为Cy(x)，其被表示为下面的公式(154)。
Cy(x)＝Gf×x公式(154)如同对平移量Cx(y)的定义，如果这样定义平移量Cx(y)，则对应于公式(149)的输入像素P(x，y，t)与模拟函数f(x，y，t)之间的关系式如上述的公式(152)所示。
然而，在该情况下，各个具体积分范围如下面公式(155)所示。
ts＝t-0.5te＝t+0.5ys＝y-Cy(x)-0.5ye＝y-Cy(x)+0.5xs＝x-0.5xe＝x+0.5公式(155)如公式(155)(和上述公式(152))所示，通过在Y方向上将积分范围平移平移量Cx(y)到达位于在空间方向上距离关注像素为(x，y)的像素，可以将其表示为具有在连续性方向(相对于X方向的角度θ)上连续的相同形式的Y截面波形。
从而，在三维函数模拟方法中，上述公式(152)右侧的积分范围不仅可以设为公式(153)还可以设为公式(155)，因此，通过例如利用其中采用公式(155)作为积分范围的公式(152)的最小二乘法计算模拟函数f(x，y，t)的n个特征，可以估计光信号函数F(x，y，t)(例如，具有由梯度GF表示的空间方向中的连续性的现实世界1中的光信号)。
从而，表示积分范围的公式(153)和公式(155)表示基本相同但只有一个差别，所述差别是关于周边像素是在对应于连续性方向的X方向上平移(在公式(153)的情况下)还是在对应于连续性方向的Y方向上平移(在公式(155)的情况下)。
然而，对应于连续性方向(梯度GF)，存在关于将光信号函数F(x，y，t)看作一组X截面波形、或一组Y截面波形的差别。也就是说，在连续性方向接近Y方向的情况下，优选将光信号函数F(x，y，t)看作一组X截面波形。另一方面，在连续性方向接近X方向的情况下，优选将光信号函数F(x，y，t)看作一组Y截面波形。
因此，优选的是，现实世界估计单元102同时预备公式(153)和公式(155)作为积分范围，并根据连续性方向选择公式(153)和公式(155)中的任一个作为模拟公式(152)右侧的积分范围。
尽管已经描述了在这样的情况下的三维函数方法，其中光信号函数F(x，y，t)具有空间方向(X方向和Y方向)中的连续性(例如，由如图246的梯度GF表示的空间方向上的连续性)，但是可以将三维函数方法应用到这样的情况中，其中光信号函数F(x，y，t)具有在时间和空间方向(X方向、Y方向以及t方向)上的连续性(由梯度Vf表示的连续性)，如图247所示。
也就是说，在图247中，取对应于帧#N-1的光信号函数为F(x，y，#N-1)，取对应于帧#N的光信号函数为F(x，y，#N)，以及取对应于帧#N+1的光信号函数为F(x，y，#N+1)。
注意，在图247中，取水平方向为空间方向的一个方向的X方向，取右上方向为空间方向的另一个方向的Y方向，以及取垂直方向为作为图中时间方向的t方向。
另外，帧#N-1在时间方向上在帧#N之前，而帧#N+1在时间方向上在帧#N之后。也就是说，以帧#N-1、#N和#N+1的顺序显示帧#N-1、#N和#N+1。
在图247所示的实例中，将沿如梯度VF(图中自左下附近的边的右上向内的方向)所示的方向上的截面光水平看作基本不变。因此，在图247的实例中，可以认为光信号函数F(x，y，t)具有由梯度VF表示的在时间空间方向中的连续性。
在该情况下，当定义表示在时间和空间方向中的连续性的函数C(x，y，t)，并且用定义的函数C(x，y，t)定义上述公式(152)的积分范围，则利用上述公式(153)和公式(155)可以计算模拟函数f(x，y，t)的N个特征。
函数C(x，y，t)不限于特定函数，只要其为表示连续性方向的函数。然而下文中，假设采用线性连续性，并定义对应于作为表示上述空间方向中的连续性的函数的平移量Cx(y)(公式(151))和平移量Cy(x)(公式153)的Cx(t)和Cy(t)作为对应于如下文的其函数C(x，y，t)。
也就是说，如果对应于表示上述空间方向中的数据连续性的梯度Gf将在时间和空间方向中的数据连续性取为Vf，并且如果将该梯度Vf分成在X方向中的梯度(下文称为Vfx)和在Y方向上的梯度(下文称为Vfy)，则分别地，梯度Vfx由下面公式(156)表示，以及梯度Vfy由下面公式(157)表示。
Vfx=dxdt]]>公式(156)Vfy=dydt]]>公式(157)在该情况下，利用公式(156)中的Vfx将函数Cx(t)表示为下面的公式(158)。
Cx(t)＝Vfx×t公式(158)类似，利用公式(157)中的Vfy将函数Cy(t)表示为下面的公式(159)。
Cy(t)＝Vfy×t公式(159)从而，当定义了表示时间和空间方向中的连续性2511的函数Cx(t)和Cy(t)时，公式(152)的积分范围被表示为公式(160)。
ts＝t-0.5te＝t+0.5ys＝y-Cy(t)-0.5ye＝y-Cy(t)+0.5xs＝x-Cx(t)-0.5xe＝x-Cx(t)+0.5公式(160)从而，在三维函数模拟方法中，像素值P(x，y，t)与三维模拟函数f(x，y，t)之间的关系可以利用公式(152)表示，因此，通过例如利用以公式(160)作为公式(152)右侧的积分范围的最小二乘法等计算模拟函数f(x，y，t)的n+1个特征，可以估计光信号函数F(x，y，t)(具有在时间和空间方向中的预定方向上的连续性的现实世界1的光信号)。
图248示出了采用该三维多项式模拟方法的现实世界估计单元102的结构实例。
注意，通过现实世界估计单元102采用三维函数模拟方法计算的模拟函数f(x，y，t)(实际上，其特征(系数))不限于特定方程，但是在下面的描述中采用了n(n＝N-1)维的多项式。
如图248所示，现实世界估计单元102包括条件设置单元2521、输入图像存储单元2522、输入像素值获取单元2523、积分分量计算单元2524、正规方程产生单元2525、以及模拟函数产生单元2526。
条件设置单元2521设置用于估计对应于关注像素的函数F(x，y，t)的像素范围(分块范围)、以及模拟函数f(x，y，t)的维数n。
输入图像存储单元2522临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2523获取存储在输入图像存储单元2522中的输入图像的对应于由条件设置单元2521设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2525作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。
另外，如上所述，采用三维函数模拟方法的现实世界估计单元102通过利用上述公式(152)(然而，以公式(153)、公式(156)或公式(160)为积分范围)的最小二乘法计算模拟函数f(x，y)的N个特征(在该情况下，为每一维的系数)。
通过计算对公式(152)右侧的积分可以将其表示为下面的公式(161)。
P(x,y,t)=Σi=0nwiSi(xs,xe,ys,ye,ts,te)+e]]>公式(161)在公式(161)中，wi表示i维项的系数(特征)，另外，Si(xs，xe，ys，ye，ts，te)表示i维项的积分分量。然而，分别地，xs表示在X方向上的积分范围开始位置，xe表示在X方向上的积分范围结束位置，ys表示在Y方向上的积分范围开始位置，ye表示在Y方向上的积分范围结束位置，ts表示在t方向上的积分范围开始位置，以及te表示在t方向上的积分范围结束位置。
积分分量计算单元2524计算积分分量Si(xs，xe，ys，ye，ts，te)。
也就是说，积分分量计算单元2524基于由条件设置单元2521设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度或移动(对于整数范围，在利用上述公式(153)或公式(156)的情况下的角度，以及在利用上述公式(160)的情况下的移动)计算积分分量Si(xs，xe，ys，ye，ts，te)，并将计算结果提供给正规方程产生单元2525作为积分分量表。
正规方程产生单元2525在利用从输入像素值获取单元2523提供的输入像素值表、以及从积分分量计算单元2524提供的积分分量表通过最小二乘法获得上述公式(161)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元2526。下面将描述正规方程的具体实例。
模拟函数产生单元2526通过利用矩阵方法求解包括在从正规方程产生单元2525提供的正规方程表中的正规方程，而计算各个特征wi(在该情况下，作为三维多项式的模拟函数f(x，y)的各个系数wi)，并将其输出给图像产生单元103。
接着，将参考图235的流程图描述采用三维函数模拟方法的的现实世界估计处理(图40中步骤S102的处理)。
首先，在步骤S2501中，条件设置单元2521设置条件(分块范围和维数)。
例如，假设设置了由L个像素构成的分块范围2441。另外，假设预定数l(l为0到L-1中的任意整数)属于每个像素。
接着，在步骤S2502中，条件设置单元2521设置关注像素。
在步骤S2503中，输入像素值获取单元2523基于由条件设置单元2521设置的条件(分块范围)获取输入像素值，并产生输入像素值表。在该情况下，产生由L个输入像素值P(x，y，t)构成的表。这里，假设将L个输入像素值P(x，y，t)中的每个描述为作为其像素的数l的函数的P(l)。也就是说，输入像素值表变成包括L个P(l)的表。
在步骤S2504，积分分量计算单元2524基于由条件设置单元2521设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度或移动)计算积分分量，并产生积分分量表。
然而，在该情况下，如上所述，输入像素值不是P(x，y，t)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2524将上述公式(161)中的积分分量Si(xs，xe，ys，ye，ts，te)计算为如积分分量Si(l)的l的函数。也就是说，积分分量表变成包括L×i Si(l)的表。
注意，步骤S2503中的处理和步骤S2504中的处理的顺序不限于图249中的实例，可以先执行步骤S2504中的处理，或者可以同时执行步骤S2503中的处理和步骤S2504中的处理。
接着，在步骤S2505中，正规方程产生单元2525基于由输入像素值获取单元2523在步骤S2503中的处理中产生的输入像素值表、以及由积分分量计算单元2524在步骤S2504的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算对应于上述公式(161)计算下面公式(162)的特征wi。对应于此的正规方程如下面公式(163)所示。
P(l)=Σi=0nwiSi(l)+e]]>公式(162) 公式(163)如果定义如公式(163)所示的正规方程的每个矩阵如公式(164)到(166)所示，则正规方程被表示为如下公式(167)。
公式(164)
WMAT=w0w1···wn]]>公式(165)PMAT=Σl=0LS0(l)P(l)Σl=0LS1(l)P(l)···Σl=0LSn(l)P(l)]]>公式(166)SMATWMAT＝PMAT公式(167)如公式(165)所示，矩阵WMAT的各个分量为将要获得的特征wi。因此，在公式(167)中，如果确定了左侧的矩阵SMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT(即特征wi)。
尤其是，如公式(164)所示，只要已知上述积分分量Si(l)，可以计算矩阵SMAT的各个分量。积分分量Si(l)被包括在从积分分量计算单元2524提供的积分分量表中，从而正规方程产生单元2525可以利用积分分量表计算矩阵SMAT的每个分量。
另外，如公式(166)所示，只要已知积分分量Si(l)和输入像素值P(l)，可以计算矩阵PMAT的各个分量。积分分量Si(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2523提供的输入像素值表中，从而，
正规方程产生单元2525利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元2525计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元2526。
当从正规方程产生单元2525输出正规方程表时，在步骤S2506中，模拟函数产生单元2526基于正规方程表计算特征wi(即模拟函数f(x，y，t)的系数wi)，作为上述公式(167)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(167)中的正规方程转换为下面的公式(168)。
WMAT=SMAT-1PMAT]]>公式(168)在公式(168)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元2525提供的正规方程表中。因此，模拟函数产生单元2526通过利用正规方程表计算公式(168)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S2507中，模拟函数产生单元2526确定是否已经完成对全部像素的处理。
在步骤S2507中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2502，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2502到S2507。
在已经完成对全部像素的处理的情况下(在步骤S5407中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
如上所述，三维函数模拟方法考虑在时间和空间方向上的三维积分效应代替一维或二维积分效应，因此，可以比一维多项式模拟方法和二维多项式模拟方法更精确地估计现实世界1的光信号。
换句话说，在三维函数模拟方法中，例如，在这样的条件下，其中，每个具有时间-空间积分效应的传感器的多个检测元件(例如图245中传感器2的检测元件2-1)投影现实世界1的光信号，在具有利用检测元件投影的像素值的多个像素构成的输入图像中，所述输入图像丢失了现实世界1的光信号的部分连续性(例如，图246中由梯度GF表示的、或图247中由梯度VF表示的连续性)，对应于时空方向中的至少一维方向(例如图247中空间方向X、空间方向Y以及时间方向t的三维方向)的一个位置的上述像素的上述像素值(例如公式(153)左侧的输入像素值P(x，y，z))为通过至少一维方向中的积分效应获取的像素值(例如，如公式(153)右侧所示，通过对模拟函数f(x，y，t)在空间方向X、空间方向Y以及时间方向t三维中积分所获的值)，则图219(图3)中的现实世界估计单元102(例如具有图248所示的结构)利用预定模拟函数f(尤其是，例如，公式(152)右侧的模拟函数f(x，y，t))模拟表示现实世界中的光信号的光信号函数F(尤其是，例如图246和图247中的光信号函数F(x，y，t))而估计光信号函数F，另外，例如，在图219(图3)中的数据连续性检测单元101检测输入图像数据的连续性的情况下，在对应于在输入数据的时空方向对应于由数据连续性检测单元101检测的数据连续性的至少一维方向中的位置上的像素的像素值是通过至少一维方向上的积分效应获取的像素值的条件下，现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。
具体为，例如，在这样的条件下，其中，在对应于沿至少一维方向上离对应于由连续性检测处理单元101检测的数据连续性的直线的距离(例如上述公式(151)中的平移量Cx(y))的像素的像素值为通过至少在一维方向中的积分效应获取的像素值(例如，如公式(153)右侧所示，以上述公式(152)为积分范围，通过对模拟函数f(x，y，t)在X方向、Y方向以及t方向三维中积分所获的值)，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数。
因此，三维函数模拟方法可以更精确地估计现实世界1中的光信号。
接着，将参考图250到图259描述现实世界估计单元102利用模型161模拟具有连续性的现实世界1的信号的情况下，用于选取数据162的选取方法的另一实例。
在下面的实例中，选取根据每个像素的重要水平增加权重的每个像素的像素值，将选取的值用作数据162(图7)，并利用模型161(图7)模拟现实世界1的信号。
尤其是，例如，假设将如图250所示的输入图像2701作为来自传感器2(图1)的输入图像输入现实世界估计单元102(图3)。
在图250中，图中水平轴表示作为一个空间方向的X方向，图中垂直方向表示作为另一个空间方向的Y方向。
另外，输入图像2701由每个具有像素宽度LC(垂直宽度和水平宽度)的7×16个像素(图中的方形)的像素值(图中由阴影线表示，但实际上为具有一个值的数据)构成。
将关注像素取为具有像素值2701-1的像素(下文中，将具有像素值2701-1的像素称为关注像素2701-1)，并且将关注像素2701-1中的数据连续性方向用梯度Gf表示。
图251示出了在关注像素2701-1的中心的现实世界1光信号的水平与在截面方向距离x’中的现实世界1的光信号水平之差(下文中称为水平差)。也就是说，图中水平方向的轴表示截面方向距离x’，图中垂直方向上的轴表示水平差。注意，水平方向中的轴上的数值被标为长度为1的像素宽度Lc。
现在，将参考图252和图253描述截面方向距离x’。
图252示出了以图250所示的输入图像2701的关注像素2701-1为中心的5×5像素块。另外，在图252中，如同图250，图中水平轴表示作为一个空间方向的X方向，图中垂直方向表示作为另外一个方向的Y方向。
此时，例如，如果我们取关注像素2701-1的中心为空间方向中的原点(0，0)，并且还示出通过原点平行于数据连续性方向的直线(在图252所示的实例中，由梯度Gf表示数据连续性的方向)。将在x方向上相对于直线的相对距离称为截面方向距离x’。在图252所示的实例中，示出了在y方向上距离关注像素2701-1两个像素的像素2701-2的中心点上的截面方向距离x’。
图253示出了如图250所示的输入图像2701的如图252所示的块中的每个像素的截面方向距离。也就是说，在图253中，输入图像2701中，每个像素标出的值(在图中是5×5＝25个像素的方形区域)表示相应像素上的截面方向距离。例如，像素2701-2上的截面方向距离xn’为-2β。
注意，如上所述，将每个像素宽度Lc定义为在X方向和Y方向上的像素宽度都为1。另外，将X方向定义为以正方向对应于图中的右方向。另外，β表示在Y方向上相邻于关注像素2701-1(图中在其下方相邻)的像素2701-3上的截面方向距离。在本情况下，数据连续性检测单元101提供如图253所示的角度θ(由梯度Gf表示的方向和X方向之间的角度θ)作为数据连续性信息，因此，利用下面的公式(169)可以容易地获得值β。
β=1tanθ]]>公式(169)现在，返回图251进行描述。示出实际的水平差是困难的，因此在图251所示的实例中，预先产生对应于图250所示的输入图像2701的比输入图像2701具有更高分辨率的图像(未示出)。在高分辨率图像的像素中，位于输入图像2701的关注像素2701-1的基本中心上的像素(高分辨率图像的像素)与位于直线上的每个像素(高分辨率图像的像素)的像素值之差被示出为水平差，所述直线通过输入图像2701的关注像素2701-1的中心。
在图251中，如示出的水平差，具有由梯度Gf表示的数据连续性的区域(下文中，在描述权重中，将该区域称为连续性区域)表现为在约-0.5和约1.5的截面方向距离x’之间的范围中。
因此，像素(输入图像2701的像素)具有的截面方向距离x’越小，包括连续性区域的可能性越大。也就是说，在现实世界估计单元102利用模型161模拟具有连续性的现实世界1的信号的情况下，具有小截面方向距离x’的像素(输入图像2701的像素)的像素值作为数据162的重要水平高。
相反，像素(输入图像2701的像素)具有的截面方向距离x’越大，包括连续性区域的可能性越小。也就是说，在现实世界估计单元102利用模型161模拟具有连续性的现实世界1的信号的情况下，具有大截面方向距离x’的像素(输入图像2701的像素)的像素值作为数据162的重要水平低。
上述重要水平的关系可以适于来自传感器2的全部输入图像(图1)以及输入图像2701。
为此，在利用模型161模拟具有连续性的现实世界1的信号的情况下，现实世界估计单元102根据根据其截面方向距离x’对每个像素(来自传感器2的输入图像的像素)的像素值进行加权，以获取加权的像素值，并且可以将获取的值(加权像素值)用作数据162。也就是说，在获取输入图像的像素值作为数据162的情况下，获取像素值，使得其截面方向距离x’越大，则其权重越小，如图251所示。
另外，如图254所示，在利用模型161模拟具有连续性的现实世界1的信号的情况下，现实世界估计单元102根据根据其空间相关性(即，根据由梯度Gf表示的连续性方向距离关注像素2701-1的距离)对每个像素(来自传感器2的输入图像的像素，如图254所示的实例中的输入图像2701的像素)的像素值进行加权，以获取加权的像素值，并且可以将获取的值(加权像素值)用作数据162。也就是说，在获取输入图像的像素值作为数据162的情况下，获取像素值，使得其截面方向距离x’越小(由梯度Gf表示的连续性方向的距离越大)，则其权重越小，如图254所示。注意，图254示出与图250示出的相同的输入图像2701。
在上述两种加权(如图251所示的加权和如图254所示的加权)中，可以采用任意一种，或可以同时采用两种。注意，在同时采用两种的情况下，最后采用的加权计算方法不限于任何特定方法。例如，作为最后的权重，可以采用两种权重的积，或采用根据由梯度Gf表示的数据连续性方向的距离校正由加权图251所示的的加权确定的权重所获的的权重(例如，每次数据连续性方向的距离增1，则权重减少预定值)。
现实世界估计单元102利用确定的权重获取每个像素的像素值，并使用加权像素值作为数据162，从而使得将要产生的模型161更接近现实世界1的信号。
尤其是，例如，现实世界估计单元102还可以通过利用上述由SMATWMAT＝PMAT表示的正规方程(即最小二乘法)计算作为模型161的模拟函数的特征(即，矩阵WMAT的每个分量)而估计现实世界1的信号。
在该情况下，在输入图像中，如果将对应于每个具有像素数l(l为1到M的任意整数)的像素的权重表示为vl，则现实世界估计单元可以利用下面公式(170)所示的矩阵作为矩阵SMAT，并还利用下面公式(171)所示的矩阵作为矩阵PMAT。
公式(170)
PMAT=Σj=1MvjS1(j)Pj(j)Σj=1MvjS2(j)Pj(j)···Σj=1MvjSN(j)Pj(j)]]>公式(171)从而，相比于利用上述公式(13)所示的矩阵作为矩阵SMAT，和利用上述公式(15)所示的矩阵作为矩阵PMAT的情况，使用如上述函数模拟技术(图219)的最小二乘法的现实世界估计单元102可以通过利用包括权重的矩阵(即，上述公式(170)和上述公式(171))计算更接近现实世界1的信号的模拟函数的特征。
也就是说，使用最小二乘法的现实世界估计单元102可以通过执行上述加权处理(作为用于正规方程中的矩阵，如公式(170)和公式(171)中所示，只通过利用包括权重vl的矩阵)而不改变其结构，而计算更接近现实世界1的信号的模拟函数的特征。
尤其是，例如，图255示出了由现实世界估计单元102利用不包括权重vl的矩阵(例如，上述公式(13)和公式(15))作为正规方程中的矩阵来产生模拟函数(计算模拟函数的特征)、以及图像产生单元103(图3)再积分所述模拟函数所产生的图像实例。
另一方面，图256示出了由现实世界估计单元102利用包括权重vl的矩阵(例如，上述公式(170)和公式(171))作为正规方程中的矩阵来产生模拟函数(计算模拟函数的特征)、以及图像产生单元103(图3)再积分所述模拟函数所产生的图像实例。
当比较图255所示的图像与图256所示的图像，例如，图255所示的图像区域2711和图256所示的图像区域2712都表现出叉尖(相同部分)。
在图255所示的图像区域2711中，显示了重叠的不连续的多条直线，但是在图256所示的图像区域2712中，显示了近似一条连续直线。
当考虑叉尖实际是连续的时(从人眼看是一条连续直线)，可以认为图256所示的图像区域2712比图255所示的图像区域2711更真实地再现了现实世界1的信号，即叉尖的图像。
另外，图257示出了由现实世界估计单元102利用不包括权重vl的矩阵(例如，上述公式(13)和公式(15))作为正规方程中的矩阵来产生模拟函数(计算模拟函数的特征)、以及图像产生单元103再积分所述模拟函数所产生的另一图像实例(与图255中不同的图像)。
相反，图258示出了由现实世界估计单元102利用包括权重vl的矩阵(例如，上述公式(170)和公式(171))作为正规方程中的矩阵来产生模拟函数(计算模拟函数的特征)、以及图像产生单元103再积分所述模拟函数所产生的另一图像实例(是相应于图257的图像，但却是与图256中所示的图像不同的实例)。
当比较图257所示的图像与图258所示的图像，例如，图257所示的图像区域2713和图258所示的图像区域2714都表现出梁(beam)的部分(相同部分)。
在图257所示的图像区域2713中，显示了重叠的不连续的多条直线，但是在图258所示的图像区域2714中，显示了近似一条连续直线。
当考虑梁实际是连续的时(从人眼看是一条连续直线)，可以认为图258所示的图像区域2714比图257所示的图像区域2713更真实地再现了现实世界1的信号，即梁的图像。
根据上述设置，检测由具有像素值的多个像素构成的图像数据的数据连续性，在所述像素上由每个具有空间-时间积分效应的传感器的多个检测元件投影现实世界光信号，所述像素已经丢失了现实世界光信号的部分连续性，假设对应于至少一维方向上的位置的像素的加权像素值是通过在至少一维方向上的积分效应获取的像素值，则对应于检测的数据连续性，根据至少在时间-空间方向中的一维方向上到图像数据中的关注像素的距离，对图像数据中的每个像素进行加权，利用作为多项式的第二函数模拟表示现实世界光信号的第一函数，从而估计第一函数，因此，可以更真实地表示图像。
接着，将参考图259到图280描述图像产生单元103(图3)的实施例。
图259描述了本实施例的特征。
如图259所示，本实施例基于现实世界估计单元102采用函数模拟方法的条件。也就是说，假设作为投影到传感器2中的图像的现实世界1的信号(光强分布)由预定函数F表示，这是现实世界估计单元102利用从传感器2输出的输入图像(像素值P)和从数据连续性检测单元101输出的数据连续性信息由预定函数f模拟函数F而估计函数F的假设。
注意，下文中，在对本实施例的描述中，作为图像的现实世界1中的信号尤其称为光信号，函数F尤其称为光信号函数F。另外，函数f尤其称为模拟函数f。
在该实施例中，基于该假设，图像产生单元103利用从数据连续性检测单元101输出的数据连续性信息和从现实世界估计单元102输出的现实世界估计信息(在图259的实例中，模拟函数f的特征)在预定时间空间区域上积分模拟函数f，并输出积分值作为输出像素值M(输出图像)。注意，在该实施例中，将输入像素值描述为P，并将输出像素值描述为M，以区分输入像素值和输出像素值。
换句话说，当对光信号函数F积分一次，光信号函数F变成输入像素值P，从输入像素值P估计光信号函数F(用模拟函数f模拟)，再次对估计的光信号函数F(即模拟函数f)积分，从而产生输出像素值M。因此，下文中，由图像产生单元103执行的对模拟函数f的积分称为再积分。另外，本实施例称为再积分方法。
注意，如下文所述，在再积分方法中，在产生输出像素值M的情况下，模拟函数f的积分范围不限于在产生输入像素值P的情况下光信号函数F的积分范围(即，传感器2的检测元件的垂直宽度和水平宽度、时间方向上的传感器2的曝光时间)，可以采用任何积分范围。
例如，在产生输出像素值M的情况下，改变模拟函数f的积分范围在空间方向上的积分范围，允许改变根据其积分范围的输出图像的像素间距。也就是说，可以用于产生空间分辨率。
同样，例如，在产生输出像素值M的情况下，改变模拟函数f的积分范围在时间方向上的积分范围，允许产生时间分辨率。
此后，将参考附图分别描述该重积分方法的三种特定方法。
也就是说，这些特定方法分别是对应于三种特定函数模拟方法(现实世界估计单元102的实施例的上述三种特定实例)的方法的再积分方法。
尤其是，第一方法是对应于上述一维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第一方法中，进行一维再积分，从而下文中，将这样的再积分方法称为一维再积分方法。
第二方法是对应于上述二维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第二方法中，进行二维再积分，从而下文中，将这样的再积分方法称为二维再积分方法。
第三方法是对应于上述三维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第三方法中，进行三维再积分，从而下文中，将这样的再积分方法称为三维再积分方法。
下文中，将以一维再积分方法、二维再积分方法以及三维再积分方法的顺序对其进行详细描述。
首先将描述一维再积分方法。
在一维再积分方法中，假设利用一维多项式模拟方法产生模拟函数f(x)。
也就是说，假设利用作为n维多项式(n为任意整数)的模拟函数f(x)模拟一维波形(在对再积分方法的描述中，将投影到X方向上的波形称为X截面波形F(x))，在所述一维波形中，其变量为三维空间中的x、y和z以及时刻t的光信号函数F(x，y，t)被投影到作为空间方向的X方向、Y方向和Z方向、以及作为时间方向的t方向的预定方向上。
在该情况下，在一维再积分方法中，如下面公式(172)计算输出像素值M。
M=Ge×∫xsxef(x)dx]]>公式(172)注意，在公式(172)中，xs表示积分开始位置，xe表示积分结束位置。另外，Ge表示预定增益。
尤其是，例如，假设现实世界估计单元102已经产生如图260所示的模拟函数f(x)(X截面波形F(x)的模拟函数f(x))，其中以如图260所示的像素3101(对应于传感器2的预定检测元件的像素3101)作为关注像素。
注意，在图260的实例中，取像素3101的像素值(输入像素值)为P，取像素3101的形状为边长为1的方形。另外，在空间方向中，取平行于像素3101的一边的方向(图中的水平方向)为X方向，取垂直于X方向的方向(图中为垂直方向)为Y方向。
另外，在图260的下方，示出了其中取关注像素3101的中心为原点的空间方向(X方向和Y方向)中的坐标系(下文中，称为关注像素坐标系)、以及坐标系中的像素3101。
另外，在图260的上方，示出了表示模拟函数f(x)在y＝0时的曲线图(y为在图中下方所示的关注像素坐标系中在Y方向上的坐标值)。在该曲线图中，平行于图中水平方向的轴线与在图中下方所示的关注像素坐标系中的X方向上的x轴线相同(原点也相同)，另外，取平行于图中垂直方向的轴线为表示像素值的轴线。
在该情况下，在模拟函数f(x)和像素3101的像素值P之间的下面公式(173)中的关系成立。
P=∫-0.50.5f(x)dx+e]]>公式(173)另外，如图260所示，假设像素3101具有由梯度Gf表示的空间方向中的数据连续性。另外，假设数据连续性检测单元101(图259)已经输出如图260所示的角度θ作为对应于由梯度Gf表示的数据连续性的数据连续性信息。
在该情况下，例如，在一维再积分方法中，如图261所示，在X方向上-0.5到0.5的范围、同时在Y方向上-0.5到0.5的范围中(其中图260中的像素3101所在的范围)可以新产生四个像素3111到3114。
注意，在图261的下方，示出了与图260中相同的关注像素坐标系、以及在关注像素坐标系中的像素3111到3114。另外，在图261的上方，示出了与图260中相同的曲线图(表示在y＝0上的模拟函数f(x)的曲线图)。
尤其是，如图261所示，在一维再积分方法中，可以分别进行利用下面公式(174)计算像素3111的像素值M(1)、利用下面公式(175)计算像素3112的像素值M(2)、利用下面公式(176)计算像素3113的像素值M(3)、以及利用下面公式(177)计算像素3114的像素值M(4)。
M(1)=2×∫xs1xe1f(x)dx]]>公式(174)M(2)=2×∫xs2xe2f(x)dx]]>公式(175)M(3)=2×∫xs3xe3f(x)dx]]>公式(176)M(4)=2×∫xs4xe4f(x)dx]]>公式(177)注意，公式(174)中的xs1、公式(175)中的xs2、公式(176)中的xs3以及公式(177中的xs4分别表示相应的公式的积分开始位置。另外，公式(174)中的xe1、公式(175)中的xe2、公式(176)中的xe3以及公式(177)中的xe4分别表示相应的公式的积分结束位置。
在每个公式(174)到(177)的右侧的积分范围变成每个像素3111到像素3114的像素宽度(在X方向上的长度)。也就是说，每个xe1-xs1、xe2-xs2、xe3-xs3、以及xe4-xs4变成0.5。
然而，在该情况下，可以考虑，具有与在y＝0上的模拟函数f(x)相同的形式的一维波形不是在Y方向上而是在由梯度Gf表示的数据连续性方向(即角度θ方向)上连续(实际上，具有与y＝0时的X截面波形F(x)相同的形式的波形在连续性方向上连续)。也就是说，在取在图261中的关注像素坐标系的原点(0，0)(图260中像素3101的中心)上的像素值f(0)作为像素值fl的情况下，像素值fl连续的方向不是Y方向而是由由梯度Gf表示的数据连续性方向(角度θ方向)。
换句话说，在考虑在Y方向上预定位置y(然而，y为除0以外的数值)上的模拟函数f(x)的波形的情况下，对应于像素值fl的位置不是位置(0，y)而是位置(Cx(y)，y)，其通过在X方向上从位置(0，y)移动预定量而获得(这里，假设该量还被称为平移量。另外，平移量是根据在Y方向上的位置y的量，因此假设将该平移量描述为Cx(y))。
因此，作为每个上述公式(174)到公式(177)右侧的积分范围，需要考虑在其中存在将要获得的像素值M(l)(然而，l是1到4的任意整数值)的中心，即平移量Cx(y)的Y方向上的位置y而设置积分范围。
尤其是，例如，其中存在像素3111和像素3112的中心的在Y方向上的位置y不是y＝0而是y＝0.25。
因此，模拟函数f(x)在y＝0.25的波形相当于通过将在y＝0上的模拟函数f(x)的波形在X方向上移动平移量Cx(0.25)而获得的波形。
换句话说，在上述公式(174)中，如果假设相对于像素3111的像素值M(1)是通过在预定积分范围(从开始位置xs1到结束位置xe1)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs1＝-0.5到结束位置xe1＝0(像素3111自身在X方向上所占的范围)，而是如图238所示的范围，即从开始位置xs1＝-0.5+Cx(0.25)到结束位置xe1＝0+Cx(0.25)(在将像素3111临时移动平移量Cx(0.25)的情况下，像素3111在X方向上所占的范围)。
类似，在上述公式(175)中，如果假设相对于像素3112的像素值M(2)是通过在预定积分范围(从开始位置xs2到结束位置xe2)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs2＝0到结束位置xe2＝0.5(像素3112自身在X方向上所占的范围)，而是如图261所示的范围，即从开始位置xs2＝0+Cx(0.25)到结束位置xe2＝0.5+Cx(0.25)(在将像素3112临时移动平移量Cx(0.25)的情况下，像素3112在X方向上所占的范围)。
另外，例如，其中存在像素3113和像素3114的中心的在Y方向上的位置y不是y＝0而是y＝-0.25。
因此，在y＝-0.25上的模拟函数f(x)的波形相当于通过在X方向上将y＝0上的模拟函数f(x)的波形移动平移量Cx(-0.25)而获得的波形。
换句话说，在上述公式(176)中，如果假设相对于像素3113的像素值M(3)是通过在预定积分范围(从开始位置xs3到结束位置xe3)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs3＝-0.5到结束位置xe3＝0(像素3113自身在X方向上所占的范围)，而是如图261所示的范围，即从开始位置xs3＝-0.5+Cx(-0.25)到结束位置xe3＝0+Cx(-0.25)(在将像素3113临时移动平移量Cx(-0.25)的情况下，像素3113在X方向上所占的范围)。
类似，在上述公式(177)中，如果假设相对于像素3114的像素值M(4)是通过在预定积分范围(从开始位置xs4到结束位置xe4)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs4＝0到结束位置xe4＝0.5(像素3114自身在X方向上所占的范围)，而是如图261所示的范围，即从开始位置xs4＝0+Cx(-0.25)到结束位置xe4＝0.5+Cx(-0.25)(在将像素3114临时移动平移量Cx(-0.25)的情况下，像素3114在X方向上所占的范围)。
因此，图像产生单元102(图259)通过对公式(174)到公式(177)中的每个代入上述积分范围的相应的积分范围而计算上述公式(174)到公式(177)，并输出这些公式的计算结果作为输出像素值M(1)到M(4)。
从而，图像产生单元102通过采用一维再积分方法可以生成比输入像素3101具有更高分辨率的四个像素，即像素3111到像素3114(图261)作为位于来自传感器2(图259)的输出像素3101(图260)上的像素。另外，虽然图中没有示出，如上所述，除了像素3111到像素3114，图像产生单元102通过适当变化积分范围可以产生相对于输入像素3101具有任意幂数的空间分辨率的像素，而不会降级。
图262示出了使用该一维再积分方法的图像产生单元103的结构实例。
如图262所示，在该实例中所示的图像产生单元103包括条件设置单元3121、特征存储单元3122、积分分量计算单元3123、以及输出像素值计算单元3124。
条件设置单元3121基于从现实世界估计单元102提供的现实世界估计信息(在图262的实例中的模拟函数f(x)的特征)设置模拟函数f(x)的维数n。
条件设置单元3121还设置在再积分模拟函数f(x)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3121设置的积分范围不需要为像素的宽度。例如，在空间方向(X方向)上积分模拟函数f(x)，因此，只要已知相对于来自传感器2(图259)的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103计算的像素)的相对尺寸(空间分辨率的幂数)，则可以确定具体积分范围。因此，条件设置单元3121可以设置例如空间分辨率幂数作为积分范围。
特征存储单元3122临时存储从现实世界估计单元102顺序提供的模拟函数f(x)的特征。然后，当特征存储单元3122存储了模拟函数f(x)的全部特征，则特征存储单元3122产生包括模拟函数f(x)的全部特征的特征表，并将其提供给输出像素值计算单元3124。
另外，如上所述，图像产生单元103利用上述公式(172)计算输出像素值M，但是包括在上述公式(172)的右侧的模拟函数f(x)具体由下面公式(178)表示。
f(x)=Σi=0nwi×xidx]]>公式(178)注意，在公式(175)中，wi表示从现实世界估计单元102提供的模拟函数f(x)的特征。
因此，当将公式(178)的模拟函数f(x)代入上述公式(172)右侧的模拟函数f(x)以展开(计算)公式(172)的右侧，则输出像素值M被表示为下面的公式(179)。
M=Ge×Σi=0nwi×xei+1-xsi+1i+1]]>Σi=0nwi×ki(xs,xe)]]>公式(179)在公式(179)中，Ki(xs，xe)表示i维项的积分分量。也就是说，积分分量Ki(xs，xe)如下面公式(180)所示。
ki(xs,xe)=Ge×xei+1-xsi+1i+1]]>公式(180)积分分量计算单元3123计算积分分量Ki(xs，xe)。
尤其是，如公式(180)所示，只要已知积分范围的开始位置xs和结束位置xe、i维项的增益Ge和i，则可以计算积分分量Ki(xs，xe)。
其中，利用由条件设置单元3121设置的空间分辨率幂数(积分范围)确定增益Ge。
利用由条件设置单元3121设置的维数n确定范围i。
另外，利用现在将产生的输出像素的中心像素位置(x，y)和像素宽度、以及表示数据连续性方向的平移量Cx(y)确定积分范围的开始位置xs和结束位置xe。注意，当现实世界估计单元102产生模拟函数f(x)时，(x，y)表示距离关注像素的中心位置的相对位置。
另外，利用由条件设置单元3121设置的空间分辨率幂数(积分范围)确定现在将产生的输出像素的中心像素位置(x，y)和像素宽度。
另外，对于平移量Cx(y)和从数据连续性检测单元101提供的角度θ，如下面公式(181)和公式(182)的关系成立，因此，利用角度θ确定平移量Cx(y)。
Gf=tanθ=dydx]]>公式(181)Cx(y)=yGf]]>公式(182)注意，在公式(181)中，Gf表示表示数据连续性方向的梯度，θ表示从数据连续性检测单元101(图259)输出的数据连续性信息之一的角度(作为空间方向之一的X方向与由梯度Gf表示的数据连续性方向之间的角度)。另外，dx表示在X方向上的微小移动量，以及dy表示相当于dx在Y方向(垂直于X方向的空间方向)上的微小移动量。
因此，积分分量计算单元3123基于由条件设置单元3121设置的维数和空间分辨率幂数(积分范围)、以及从数据连续性检测单元101输出的数据连续性信息的角度θ而计算积分分量Ki(xs，xe)，并将计算结果提供给输出像素值计算单元3124作为积分分量表。
输出像素值计算单元3124利用从特征存储单元3122提供的特征表、以及从积分分量计算单元3123提供的积分分量表而计算上述公式(179)的右侧，并将计算结果输出作为输出像素值M。
接着，将参考图263中的流程图描述采用一维再积分方法利用图像产生单元103(图262)的图像产生处理(图40的步骤S103中的处理)。
例如，现在，假设现实世界估计单元102已经产生如图260所示的模拟函数f(x)，同时，取上述如图260所示的像素3101作为在上述图40的步骤S102的处理中的关注像素。
另外，假设数据连续性检测单元101已经输出如图260所示的角度θ作为在上述图40的步骤S101中的处理中的数据连续性信息。
在该情况下，条件设置单元3121在图263的步骤S3101中设置条件(维数和积分范围)。
例如，现在，假设设置维数为5，另外设置空间四倍密度(空间分辨率幂数，其导致像素的宽度间距在上、下、左、右边上变成1/2幂)作为积分范围。
也就是说，在该情况下，因此，已经设置在X方向上的-0.5到0.5的范围、同时在Y方向上的-0.5到0.5的范围(图260的像素3101的范围上)上新产生像素3111到像素3114四个像素，如图261所示。
在步骤S3102中，特征存储单元3122获取从现实世界估计单元102提供的模拟函数f(x)的特征，并产生特征表。在该情况下，从现实世界估计单元102提供作为5维多项式的模拟函数f(x)的系数w0到w5，因此，产生(w0，w1，w2，w3，w4，w5)作为特征表。
在步骤S3103中，积分分量计算单元3123基于由条件设置单元3121设置的条件(维数和积分范围)、已经从数据连续性检测单元101提供的数据连续性信息(角度θ)而计算积分分量，并产生积分分量表。
尤其是，例如，如果假设各个现在将产生的像素3111到3114对应于数(下文称该数为模数)1到4，积分分量计算单元3123将上述公式(177)的积分分量Ki(xs，xe)计算为l的函数(然而，l表示模数)，如如下面公式(183)左侧所示的积分分量Ki(l)。
ki(l)＝ki(xs，xe) 公式(183)尤其是，在该情况下，计算如下面公式(184)所示的积分分量Ki(l)。
ki(1)＝ki(-0.5-Cx(-0.25)，0-Cx(-0.25))ki(2)＝ki(0-Cx(-0.25)，0.5-Cx(-0.25))ki(3)＝ki(-0.5-Cx(0.25)，0-Cx(0.25))ki(4)＝ki(0-Cx(0.25)，0.5-Cx(0.25)) 公式(184)注意，在公式(184)中，左侧表示积分分量Ki(l)，右侧表示积分分量Ki(xs，xe)。也就是说，在该情况下，l是1到4中的任意一个，i是0到5中的任意一个，因此计算6Ki(1)，6Ki(2)，6Ki(3)，以及6Ki(4)共24个Ki(l)。
更具体的是，首先，积分分量计算单元3123利用从数据连续性检测单元101提供的角度θ从上述公式(181)和公式(182)计算每个平移量Cx(-0.25)和Cx(0.25)。
接着，积分分量计算单元3123利用平移量Cx(-0.25)和Cx(0.25)计算公式(184)中四个公式每个右侧的关于i＝0到5的积分分量Ki(xs，xe)。注意，在该对积分分量Ki(xs，xe)的计算中，采用了上述公式(180)。
随后，积分分量计算单元3123根据公式(184)将计算的24个积分分量Ki(xs，xe)的每个转换成相应的积分分量Ki(l)，并产生包括被转换成24个积分分量Ki(l)(即，6Ki(1)、6Ki(2)、6Ki(3)以及6Ki(4))的积分分量表。
注意，步骤S3102中的处理和步骤S3103中的处理的顺序不限于图263中的实例，可以先执行步骤S3103中的处理，或者可以同时执行步骤S3102中的处理和步骤S3103中的处理。
接着，在步骤S3104中，输出像素值计算单元3124基于由特征存储单元3122在步骤S3102中的处理产生的特征表、以及由积分分量计算单元3123在步骤S3103的处理中产生的积分分量表分别计算输出像素值M(1)到M(4)。
尤其是，在该情况下，输出像素值计算单元3124通过计算对应于上述公式(179)的下面公式(185)到公式(188)的右侧而计算如下中的每个像素3111的像素值M(1)(模数为1的像素)、像素3112的像素值M(2)(模数为2的像素)、像素3113的像素值M(3)(模数为3的像素)、以及像素3114的像素值M(4)(模数为4的像素)。
M(1)=Σi=05wiki(1)]]>公式(185)M(2)=Σi=05wiki(2)]]>公式(186)
M(3)=Σi=05wiki(3)]]>公式(187)M(4)=Σi=05wiki(4)]]>公式(188)在步骤S3105中，输出像素值计算单元3124确定是否已经完成对全部像素的处理。
在步骤S3105中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3102，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3102到S3104。
在已经完成对全部像素的处理的情况下(在步骤S3105中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3124在步骤S3106中输出图像。然后，图像产生处理结束。
下面，将参考图264到图271，关于预定输入图像，描述通过采用一维再积分方法获得的输出图像和通过采用其它方法(常规分类适应处理)获得的输出图像的差别。
图264示出了输入图像的原始图像，图265示出了对应于图264中的原始图像的图像数据。在图265中，图中垂直方向的轴线表示像素值，以及图中右下方向的轴线表示作为图像的空间方向的一个方向的X方向，图中右上方向的轴线表示作为图像的空间方向的另一个方向的Y方向。注意，在后面的图267、图269、以及图271中的各个轴线对应于图265中的轴线。
图266示出了输入图像的实例。如图266所示的输入图像是通过取属于如图264所示的由2×2个像素构成的块的像素的像素值的平均值作为一个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方向上积分如图264所示的图像而获得的图像，其模仿了传感器的积分性质。另外，图267示出了对应于图266中的输入图像的图像数据。
图264所示的原始图像包括离垂直方向顺时针倾斜约5°的细线图像。类似，如图266所示的输入图像包括离垂直方向顺时针倾斜约5°的细线图像。
图268示出了通过对如图266所示的输入图像进行常规分类适应处理而获得的图像(下文中，由图268所示的图像称为常规图像)。另外，图269示出了对应于常规图像的图像数据。
注意，分类适应处理由分类处理和适应处理构成，分类调节处理根据数据的性质分类数据，并对每一类的数据进行适应处理。在适应处理中，通过利用预定拍系数进行映射，将例如低质量或标准质量图像转换成高质量图像。
图270示出了通过对如图266所示的输入图像施加应用本发明的一维再积分方法获得的图像(下文中，如图270所示的图像称为根据本发明的图像)。另外，图271示出了对应于根据本发明的图像的图像数据。
可以理解，当将图268中的常规图像与图270中的根据本发明的图像进行比较时，在常规图像中的细线图像不同于图264的原始图像中的细线，但是，另一方面，在根据本发明的图像中，细线图像与图264中的原始图像的细线几乎相同。
该差异是由以下的差别导致的，其中，常规类型分类适应处理是基于(源于)图266中的输入图像进行处理的方法，另一方面，根据本发明的一维再积分方法是考虑细线的连续性、并基于(源于)估计的原始图像进行处理(进行再积分以计算像素值)而估计图264中的原始图像(产生对应于原始图像的模拟函数f(x))的方法。
从而，在一维再积分方法中，通过基于利用一维多项式模拟方法产生的一维多项式的模拟函数f(x)(现实世界中的X截面波形F(x)的模拟函数f(x))，在任意范围上积分模拟函数f(x)而产生输出图像(像素值)。
因此，在一维再积分方法中，可以比常规的其它方法输出更接近原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。
换句话说，一维再积分方法基于如下的条件图259中的数据连续性检测单元101检测由多个像素构成的输入图像中的数据连续性，所述像素具有这样的像素值，其上由每个具有空间-时间积分效应的传感器2的多个检测元件投影现实世界1的光信号，所述检测元件丢失了现实世界1的光信号的部分连续性，并且在这样的假设下，对应于输入图像的时间-空间方向的一维方向中的位置的像素的像素值是通过在其一维方向上的积分效应而获取的像素值，现实世界估计单元102响应检测的数据连续性通过利用预定模拟函数f(x)模拟表示现实世界1的光信号的光信号函数F(尤其是，X截面波形F(x))而估计光信号函数F。
具体说，例如，一维再积分方法基于这样的条件在这样的假设下，对应于沿一维方向离对应于检测的数据连续性的直线的距离的每个像素的像素值是通过在其一维方向上的积分效应而获得的像素值，则用模拟函数f(x)模拟X截面波形F(x)。
在一维再积分方法中，例如，图259(图3)中的图像产生单元103通过积分由现实世界估计单元102估计的X截面波形F(x)，即基于该假设的在一维方向上的希望增量中的模拟函数f(x)，而产生具有希望尺寸的像素的像素值M，并将其输出作为输出图像。
因此，在一维再积分方法中，可以比常规的其它方法输出更接近原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。
另外，在一维再积分方法中，如上所述，积分范围是任意的，因此，可以通过变化积分范围可以产生与输入图像的分辨率不同的分辨率(时间分辨率或空间分辨率)。也就是说，可以产生相对于输入图像具有任意幂次的分辨率以及整数值的图像。
另外，一维再积分方法可以使用比其它再积分方法更少的计算处理量而计算输出图像(像素值)。
接着，将参考图272到图278描述二维再积分方法。
二维再积分方法基于这样的条件，其中已经利用二维多项式模拟方法产生模拟函数f(x，y)。
也就是说，假设已经利用被投影到空间方向上的波形模拟了表示现实世界1中的光信号(图259)的图像函数F(x，y，t)，所述光信号具有由梯度GF表示的空间方向中的连续性，即，利用作为n维多项式(n为任意整数)的模拟函数f(x，y)模拟在X-Y平面上的波形F(x，y)，如图272所示。
在图272中，图中分别为，水平方向表示作为空间方向中的一个方向的X方向，右上方向表示作为空间方向中的另一个方向的Y方向，以及垂直方向表示光水平。GF表示作为空间方向中的连续性的梯度。
注意，在图272的实例中，取连续性方向为空间方向(X方向和Y方向)，从而取将要模拟的光信号的投影函数为函数F(x，y)，但是如下文所述，函数F(x，t)或函数F(y，t)可以是根据连续性方向的模拟目标。
在图272中的实例的情况下，在二维再积分方法中，如下面公式(189)计算输出像素值M。
M=Ge×∫ysye∫xsxef(x,y)dxdy]]>公式(189)注意，在公式(189)中，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。类似，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。另外，Ge表示预定增益。
在公式(189)中，积分范围可以任意设置，因此，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图259)输入的图像的像素)具有任意幂次的空间分辨率的像素，而不会降级。
图273示出了采用二维再积分方法的图像产生单元103的结构实例。
如图273所示，在该实例中所示的图像产生单元103包括条件设置单元3201、特征存储单元3202、积分分量计算单元3203、以及输出像素值计算单元3204。
条件设置单元3201基于从现实世界估计单元102提供的现实世界估计信息(在图273的实例中的模拟函数f(x，y)的特征)设置模拟函数f(x，y)的维数n。
条件设置单元3201还设置在再积分模拟函数f(x，y)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3201设置的积分范围不需要为像素的水平或垂直宽度。例如，在空间方向(X方向或Y方向)上积分模拟函数f(x，y)，因此，只要已知相对于来自传感器2的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103现在产生的像素)的相对尺寸(空间分辨率的幂数)，则可以确定具体积分范围。因此，条件设置单元3201可以设置例如空间分辨率幂数作为积分范围。
特征存储单元3202临时存储从现实世界估计单元102顺序提供的模拟函数f(x，y)的特征。然后，当特征存储单元3202存储了模拟函数f(x，y)的全部特征时，则特征存储单元3202产生包括模拟函数f(x，y)的全部特征的特征表，并将其提供给输出像素值计算单元3124。
现在，将详细描述模拟函数f(x，y)。
例如，假设传感器2(图259)已经检测出具有由上述图272所示的梯度GF表示的空间方向连续性的现实世界1(图259)的光信号(由波形F(x，y)表示的光信号)，并将其输出作为输入图像(像素值)。
另外，例如，假设数据连续性检测单元101(图3)已经对输入图像的在X方向上的4个像素和在Y方向上的5个像素共20个像素(图中由虚线表示的20个方形)构成的输入图像的区域3221进行了其处理，并输出角度θ(在由对应于梯度GF的梯度Gf表示的数据连续性方向与X方向之间的角度θ)作为数据连续性细线的一个，如图274所示。
注意，如在现实世界估计单元102所示，数据连续性检测单元101可以只输出关注像素上的角度θ，因此，数据连续性检测单元101的处理区域不限于输入图像中的上述区域3221。
另外，在输入图像的区域3221中，图中水平方向表示作为空间方向的一个方向的X方向，以及图中垂直方向表示作为空间方向的另一个方向的Y方向。
另外，在图274中，取为自左的第二个像素、同时为自底部的第三个像素的像素作为关注像素，并建立(x，y)坐标系，取关注像素的中心为原点(0，0)。将在X方向上相对于通过原点(0，0)并具有角度θ的直线(具有表示数据连续性方向的梯度Gf的直线)的相对距离(下文中，称为截面方向距离)描述为x’。
另外，在图274中，右侧的曲线图是表示作为n维(n为任意整数)多项式的模拟函数f(x’)，其为模拟一维波形(下文中称为X截面波形F(x’))的函数，在所述一维波形中，将变量为在三维空间中的位置x、y和z、以及时刻t的图像函数F(x，y，t)在X方向上投影到Y方向中的任意位置y上。在右侧曲线图中的轴线中，图中水平方向上的轴线表示截面方向距离，以及图中垂直方向上的轴线表示像素值。
在该情况下，如图274所示的模拟函数f(x’)是n维多项式，因而由下面公式(190)表示。
f(x')=w0+w1x'+w2x'+···+wnx'n=Σi=0nwix'i]]>公式(190)另外，由于角度θ确定，因此具有角度θ并通过原点(0，0)的直线是唯一确定的，在Y方向上的任意位置y上，直线在X方向上的位置x1由下面公式(191)表示。然而，在公式(191中，s表示cotθ。
x1＝s×y 公式(191)也就是说，如图274所示，由坐标(x1，y)表示对应于由梯度Gf表示的数据连续性的直线上的点。
利用公式(191)，将截面方向距离x’表示成如下面公式(192)。
x′＝x-x1＝x-s×y 公式(192)因此，利用公式(190)和公式(192)，将输入图像区域3221内的任意位置(x，y)上的模拟函数f(x，y)表示成下面的公式(193)。
f(x,y)=Σi=0nwi(x-s×y)]]>公式(193)注意，在公式(193)中，wi表示模拟函数f(x，y)的特征。
现在，将返回图250进行描述，其中从现实世界估计单元102提供包括在公式(193)中的特征wi，并将其存储到特征存储单元3202中。当特征存储单元3202存储了由公式(193)表示的全部特征wi，则特征存储单元3202产生包括全部特征wi的特征表，并将其提供给输出像素值计算单元3204。
当将公式(193)的模拟函数f(x，y)代入上述公式(189)右侧的模拟函数f(x，y)以展开(计算)公式(189)的右侧，则输出像素值M被表示为下面的公式(194)。
M=Ge×Σi=0nwi×{(xe-s×ye)i+2-(xe-s×ys)i+2-(xs-s×ye)i+2+(xs-s×ys)i+2}s(i+1)(i+2)]]>=Σi=0nwi×ki(xs,xe,ys,ye)]]>公式(194)在公式(194)中，Ki(xs，xe，ys，ye)表示i维项的积分分量。也就是说，积分分量Ki(xs，xe，ys，ye)如下面公式(195)所示。
ki(xs,xe,ys,ye)]]>=Ge×{(xe-s×ye)i+2-(xe-s×ys)i+2-(xs-s×ye)i+2+(xs-s×ys)i+2}s(i+1)(i+2)]]>公式(195)积分分量计算单元3303计算积分分量Ki(xs，xe，ys，ye)。
尤其是，如公式(194)和公式(195)所示，只要已知积分范围在X方向上的开始位置xs和在X方向上的结束位置xe、积分范围在Y方向上的开始位置ys和在Y方向上的结束位置ye、i维项的增益Ge和i，则可以计算积分分量Ki(xs，xe，ys，ye)。
其中，利用由条件设置单元3201设置的空间分辨率幂数(积分范围)确定增益Ge。
利用由条件设置单元3201设置的维数n确定范围i。
变量s如上所述为cotθ，从而由从数据连续性检测单元101输出的角度θ确定。
另外，由现在将产生的输出像素的中心像素位置(x，y)和像素宽度确定每个分范围在X方向上的开始位置xs和在X方向上的结束位置xe、以及积分范围在Y方向上的开始位置ys和在Y方向上的结束位置ye。注意，当现实世界估计单元102产生模拟函数f(x)时，(x，y)表示距离关注像素的中心位置的相对位置。
另外，利用由条件设置单元3201设置的空间分辨率幂数(积分范围)确定现在将产生的输出像素的中心像素位置(x，y)和像素宽度。
因此，积分分量计算单元3203基于由条件设置单元3201设置的维数和空间分辨率幂数(积分范围)、以及从数据连续性检测单元101输出的数据连续性信息的角度θ而计算积分分量Ki(xs，xe，ys，ye)，并将计算结果提供给输出像素值计算单元3204作为积分分量表。
输出像素值计算单元3204利用从特征存储单元3202提供的特征表、以及从积分分量计算单元3203提供的积分分量表而计算上述公式(194)的右侧，并将计算结果输出作为输出像素值M。
接着，将参考图274中的流程图描述采用二维再积分方法利用图像产生单元103(图275)的图像产生处理(图40的步骤S103中的处理)。
例如，假设已经将如图272所示的由函数F(x，y)表示的光信号投影到传感器2中以变成输入图像，并且，现实世界估计单元102已经产生用于模拟函数F(x，y)的模拟函数f(x，y)，其中取上述如图253所示的像素3231作为在上述图40的步骤S102的处理中的关注像素。
注意，在图276中，取像素3231的像素值(输入像素值)为P，取像素3231的形状为边长为1的方形。另外，在空间方向中，取平行于像素3231的一边的方向为X方向，取垂直于X方向的方向为Y方向。另外，设置原点为像素3231的中心的空间方向(X方向和Y方向)中的坐标系(下文中称为关注像素坐标系)。
另外，假设在图276中，取像素3231为关注像素的数据连续性检测单元101在上述图40的步骤S101的处理中，已经输出角度θ作为对应于由梯度Gf表示的数据连续性的数据连续性信息。
下面返回图275描述，在该情况下，条件设置单元3201在步骤S3201中设置条件(维数和积分范围)。
例如，现在，假设设置维数为5，另外设置空间四倍密度(空间分辨率幂数，其导致像素的间距宽度在上、下、左、右边上变成1/2幂)作为积分范围。
也就是说，在该情况下，已经设置在X方向上的-0.5到0.5的范围、同时在Y方向上的-0.5到0.5的范围(图276的像素3231的范围上)上新产生像素3241到像素3244四个像素，如图277所示。注意，在图277中，示出了与图276相同的关注像素坐标系。
另外，在图277中，M(1)表示现在将产生的像素3241的像素值、M(2)表示现在将产生的像素3242的像素值、M(3)表示现在将产生的像素3243的像素值、以及M(4)表示现在将产生的像素3244的像素值。
现在返回图275描述，在步骤S3202中，特征存储单元3202获取从现实世界估计单元102提供的模拟函数f(x，y)的特征，并产生特征表。在该情况下，从现实世界估计单元102提供作为5维多项式的模拟函数f(x)的系数w0到w5，因此，产生(w0，w1，w2，w3，w4，w5)作为特征表。
在步骤S3203中，积分分量计算单元3203基于由条件设置单元3201设置的条件(维数和积分范围)、已经从数据连续性检测单元101提供的数据连续性信息(角度θ)而计算积分分量，并产生积分分量表。
尤其是，例如，假设各个现在将产生的像素3241到3244对应于数(下文称该数为模数)1到4，积分分量计算单元3203将上述公式(194)的积分分量Ki(xs，xe，ys，ye)计算为l的函数(然而，l表示模数)，如如下面公式(196)左侧所示的积分分量Ki(l)。
ki(l)＝ki(xs，xe，ys，ye) 公式(196)尤其是，在该情况下，计算如下面公式(197)所示的积分分量Ki(l)。
ki(1)＝ki(-0.5，0，0，0.5)ki(2)＝ki(0，0.5，0，0.5)ki(3)＝ki(-0.5，0，-0.5，0)ki(4)＝ki(0，0.5，-0.5，0) 公式(197)注意，在公式(197)中，左侧表示积分分量Ki(l)，右侧表示积分分量Ki(xs，xe，ys，ye)。也就是说，在该情况下，l是1到4中的任意一个，i是0到5中的任意一个，因此计算6Ki(1)，6Ki(2)，6Ki(3)，以及6Ki(4)共24个Ki(l)。
更具体的是，首先，积分分量计算单元3203利用从数据连续性检测单元101提供的角度θ计算上述公式(191)的变量s(s＝cotθ)。
接着，积分分量计算单元3203利用计算的变量s计算公式(197)中四个公式每个右侧的关于i＝0到5的积分分量Ki(xs，xe，ys，ye)。注意，在该对积分分量Ki(xs，xe，ys，ye)的计算中，采用了上述公式(194)。
随后，积分分量计算单元3203根据公式(197)将计算的24个积分分量Ki(xs，xe，ys，ye)的每个转换成相应的积分分量Ki(l)，并产生包括被转换成24个积分分量Ki(l)(即，6Ki(1)、6Ki(2)、6Ki(3)以及6Ki(4))的积分分量表。
注意，步骤S3202中的处理和步骤S3203中的处理的顺序不限于图275中的实例，可以先执行步骤S3203中的处理，或者可以同时执行步骤S3202中的处理和步骤S3203中的处理。
接着，在步骤S3204中，输出像素值计算单元3204基于由特征存储单元3202在步骤S3202中的处理产生的特征表、以及由积分分量计算单元3203在步骤S3203的处理中产生的积分分量表分别计算输出像素值M(1)到M(4)。
尤其是，在该情况下，输出像素值计算单元3204通过计算对应于上述公式(194)的下面公式(198)到公式(201)的右侧而计算如图254所示的如下中的每个像素3241的像素值M(1)(模数为1的像素)、像素3242的像素值M(2)(模数为2的像素)、像素3243的像素值M(3)(模数为3的像素)、以及像素3244的像素值M(4)(模数为4的像素)。
M(1)=Σi=0nwi×ki(1)]]>公式(198)M(2)=Σi=0nwi×ki(2)]]>公式(199)M(3)=Σi=0nwi×ki(3)]]>公式(200)M(4)=Σi=0nwi×ki(4)]]>公式(201)然而，在该情况下，公式(198)到公式(201)的每个n变为5。
在步骤S3205中，输出像素值计算单元3204确定是否已经完成对全部像素的处理。
在步骤S3205中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3202，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3202到S3204。
在已经完成对全部像素的处理的情况下(在步骤S3205中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3204在步骤S3206中输出图像。然后，图像产生处理结束。
从而，通过采用一维再积分方法可以生成比输出像素3231具有更高空间分辨率的四个像素，即像素3241到像素3244(图277)作为位于来自传感器2(图259)的输出图像的像素3231(图276)上的像素。另外，虽然图中没有示出，如上所述，除了像素3241到像素3244，图像产生单元103通过适当变化积分范围可以产生相对于输入像素3231具有任意幂数的空间分辨率的像素，而不会降级。
如上所述，在描述二维再积分方法中，已经采用了相对于空间方向(X方向和Y方向)对模拟函数f(x，y)进行二维积分的实例，但是可以将二维再积分方法用于时间-空间方向(X方向和t方向，或Y方向和t方向)。
也就是说，上述实例是这样的实例，其中现实世界1中的光信号(图259)具有由如图272所示的梯度GF表示的空间方向中的连续性，以及因此，如上述公式(189)所示，采用如公式(189)所示的包括空间方向(X方向和Y方向)中的二维积分的公式。然而，关于二维积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间方向(X方向和t方向，或Y方向和t方向)。
换句话说，在作为二维再积分方法的假设的二维多项式模拟方法中，即使在这样的情况下，其中，表示光信号函数F(x，y，t)不仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然而，X方向和t方向，或Y方向和t方向)，这可以利用二维多项式模拟。
尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象的情况下，对象的移动方向由如图278所示的X-t平面中的梯度VF表示。换句话说，可以认为梯度VF表示在X-t平面中的时间和空间方向上的连续性方向。因此，数据连续性检测单元101(图259)可以输出如图278所示的移动θ(严格地说，虽然图中没有示出，移动θ是由用对应于梯度VF的梯度Vf表示的数据连续性方向与空间方向中的X方向产生的角度)作为数据连续性信息，其对应于表示在X-t平面中的时间和空间方向上的连续性的梯度VF、以及角度θ(对应于表示在X-Y平面中空间方向中的连续性的梯度GF的数据连续性信息)。
另外，采用二维多项式模拟方法的现实世界估计单元102(图259)通过用移动θ代替角度θ，可以以与上述方法相同的方法计算模拟函数f(x，t)的系数(特征)wi。然而，在该情况下，将要使用的公式不是上述公式(193)，而是下面的公式(202)。
f(x,y)=Σi=0nwi(x-s×t)]]>公式(202)注意，在公式(202)中，s为cotθ(然而，θ是移动)。
因此，采用二维再积分方法的图像产生单元103(图259)通过将上述公式(202)的f(x，t)代入下面公式(203)的右侧并计算可以计算像素值M。
M=Ge×∫tste∫xsxef(x,t)dxdt]]>公式(203)注意，在公式(203)中，ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。类似，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。另外，Ge表示预定增益。
可选的是，可以以与上述函数f(x，t)相同的方法处理模拟函数f(y，t)，其关注空间方向Y而不是空间方向X。
另外，在公式(202)中，通过将t方向看作常量，可以获得不在时间方向上积分的数据，即没有由于移动模糊的数据，即，通过省略在t方向上的积分而进行积分。换句话说，该方法可以看作一种二维再积分方法，其中在二维多项式的一个特定维度为常量的条件下进行再积分，或者实际上，可以看作一种一维再积分方法，其中在X方向上进行一维再积分。
另外，在公式(203)中，可以任意设置积分范围，因此，在二维再积分方法中，通过适当地变化积分范围，可以产生相对于原始像素(来自传感器2(图259)的输入图像的像素)具有任意幂数的分辨率的像素，而不会降级。
也就是说，在二维再积分方法中，通过适当地变化在时间方向t上的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方向X(或空间方向Y)上的积分范围可以产生空间分辨率。另外，通过适当地变化在时间方向t上、和在空间方向X上每个的积分范围可以同时产生时间分辨率和空间分辨率。
注意，如上所述，即使在一维再积分方法中，可以进行产生时间分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或更多维积分下才有可能。也就是说，只有通过采用二维再积分和下述的三维再积分方法，才可以同时产生时间分辨率和空间分辨率。
另外，二维再积分方法考虑二维积分效应而不是一维积分效应，因此，可以产生更接近现实世界1中的光信号(图259)的图像。
换句话说，在二维再积分方法中，例如，图259(图3)中的数据连续性检测单元101检测由多个像素构成的输入图像的数据的连续性(例如，由图274中的梯度Gf表示的数据连续性)，所述像素具有这样的像素值，其上由每个具有空间-时间积分效应的传感器2的多个检测元件投影了现实世界1的光信号，并且所述由检测元件投影的像素值丢失了现实世界1的光信号的部分连续性(例如由图172中的梯度GF表示的连续性)。
随后，例如，在这样的假设下，对应于输入图像的时间-空间方向的二维方向(例如图272中的空间方向X和空间方向Y)中的至少一个位置的像素的像素值是通过在至少二维方向上的积分效应而获取的像素值，图259(图3)中的现实世界估计单元102响应由连续性检测单元检测的数据连续性通过利用作为多项式的模拟函数f(x，y)模拟表示现实世界1的光信号的光信号函数F(尤其是，图272中的函数F(x，y))而估计光信号函数F。
具体说，例如，在这样的条件下，对应于沿二维方向离对应于由连续性检测单元101检测的数据连续性(例如，对应于图274中的梯度Gf的直线(箭头))的直线的距离(例如，图274中的截面方向距离x’)的像素的像素值是通过至少在二维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用作为多项式的第二函数模拟表示现实世界的光信号的第一函数而估计第一函数。
在二维再积分方法中，基于这样的假设，例如，图259(图3)中的图像产生单元103(图273中的结构)(例如通过计算上述公式(186)的右侧)产生对应于图259中的像素(例如，输出图像(像素值M))的像素值。尤其是，例如图277中的像素3241到像素3244)，所述像素通过积分由现实世界估计单元102估计的函数F(x，y)，即在二维方向中的希望增量上的模拟函数f(x，y)，而具有希望的尺寸。
因此，在二维再积分方法中，不仅可以产生时间分辨率和空间分辨率中的一个，还可以同时产生时间分辨率和空间分辨率。另外，在二维再积分方法中，可以比一维再积分方法产生更接近现实世界1(图259)的光信号的图像。
接着，将参考图279和图280描述三维再积分方法。
在三维再积分方法中，假设已经利用三维函数模拟方法产生模拟函数f(x，y，t)。
在该情况下，在三维再积分方法中，输出像素值M被计算为如下公式(204)。
M=Ge×∫tste∫ysye∫xsxef(x,y,t)dxdydt]]>公式(204)注意，在公式(204)中，ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。类似，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。另外，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。另外，Ge表示预定增益。
在公式(204)中，积分范围可以任意设置，因此，在三维再积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图259)输入的图像的像素)具有任意幂次的时间空间分辨率的像素，而不会降级。也就是说，当减小空间方向上的积分范围，可以不受约束地减小像素间距。另一方面，当增大空间方向上的积分范围，可以不受约束地增大像素间距。另外，当减小时间方向上的积分范围，可以基于实际波形产生时间分辨率。
图279示出了采用三维再积分方法的图像产生单元103的结构实例。
如图279所示，在该图像产生单元103的实例中包括条件设置单元3301、特征存储单元3302、积分分量计算单元3303、以及输出像素值计算单元3304。
条件设置单元3301基于从现实世界估计单元102提供的现实世界估计信息(在图279的实例中的模拟函数f(x，y，t)的特征)设置模拟函数f(x，y，t)的维数n。
条件设置单元3301设置在再积分模拟函数f(x，y，t)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3301设置的积分范围不需要为像素的宽度(水平或垂直宽度)或快门时间自身。例如，只要已知相对于来自传感器2(图259)的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103现在产生的像素)的相对尺寸(空间分辨率的幂数)，则可以确定空间方向中的具体积分范围。类似，只要已知相对于传感器2(图259)的快门时间的输出像素的相对时间(时间分辨率的幂数)，则可以确定时间方向中的具体积分范围。因此，条件设置单元3301可以设置例如空间分辨率幂数和时间分辨率幂数作为积分范围。
特征存储单元3302临时存储从现实世界估计单元102顺序提供的模拟函数f(x，y，t)的特征。然后，当特征存储单元3302存储了模拟函数f(x，y，t)的全部特征时，则特征存储单元3302产生包括模拟函数f(x，y，t)的全部特征的特征表，并将其提供给输出像素值计算单元3304。
另外，当展开上述公式(204)右侧的模拟函数f(x，y)，则输出像素值M被表示为下面的公式(205)。
M=Σi=0nwi×ki(xs,xe,ys,ye,ts,te)]]>公式(205)在公式(205)中，Ki(xs，xe，ys，ye，ts，te)表示i维项的积分分量。然而，分别为，xs表示在X方向上的积分范围开始位置，以及xe表示在X方向上的积分范围结束位置；ys表示在Y方向上的积分范围开始位置，以及ye表示在Y方向上的积分范围结束位置；ts表示在t方向上的积分范围开始位置，以及te表示在t方向上的积分范围结束位置。
积分分量计算单元3303计算积分分量Ki(xs，xe，ys，ye，ts，te)。
尤其是，积分分量计算单元3303基于由条件设置单元3301设置的维数和积分范围(空间分辨率和时间分辨率)、从数据连续性检测单元101输出的数据连续性信息的角度或移动θ计算积分分量Si(xs，xe，ys，ye，ts，te)，并将计算结果提供输出像素值计算单元3304作为积分分量表。
输出像素值计算单元3304利用从特征存储单元3302提供的特征表、以及从积分分量计算单元3303提供的积分分量表而计算上述公式(205)的右侧，并将计算结果输出作为输出像素值M。
接着，将参考图280中的流程图描述采用三维再积分方法利用图像产生单元103(图279)的图像产生处理(图40的步骤S103中的处理)。
例如，假设现实世界估计单元102(图259)已经产生模拟函数f(x，y，t)，所述函数以输入图像的预定像素作为在上述图40的步骤S102的处理中的关注像素，而模拟现实世界1中的光信号(图259)。
另外，假设数据连续性检测单元101(图259)已经输出角度θ或移动θ作为数据连续性信息，以与现实世界估计单元102相同的像素作为关注像素。
在该情况下，条件设置单元3301在图280的步骤S3301中设置条件(维数和积分范围)。
在步骤S3302中，特征存储单元3302获取从现实世界估计单元102提供的模拟函数f(x，y，t)的特征，并产生特征表。
在步骤S3303中，积分分量计算单元3123基于由条件设置单元3301设置的条件(维数和积分范围)、从数据连续性检测单元101提供的数据连续性信息(角度θ或移动θ)而计算积分分量，并产生积分分量表。
注意，步骤S3302中的处理和步骤S3303中的处理的顺序不限于图280中的实例，可以先执行步骤S3303中的处理，或者可以同时执行步骤S3302中的处理和步骤S3303中的处理。
接着，在步骤S3304中，输出像素值计算单元3304基于由特征存储单元3302在步骤S3202中的处理产生的特征表、以及由积分分量计算单元3303在步骤S3303的处理中产生的积分分量表计算每个输出像素值。
在步骤S3305中，输出像素值计算单元3304确定是否已经完成对全部像素的处理。
在步骤S3305中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3302，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3302到S3304。
在已经完成对全部像素的处理的情况下(在步骤S3305中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3304在步骤S3306中输出图像。然后，图像产生处理结束。
在公式(204)中，积分范围可以任意设置，因此，在三维再积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图259)输入的图像的像素)具有任意幂次的空间分辨率的像素，而不会降级。
也就是说，在三维再积分方法中，通过适当地变化在时间方向上的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方向上的积分范围可以产生空间分辨率。另外，通过适当地变化在时间方向上、和在空间方向上每个的积分范围可以同时产生时间分辨率和空间分辨率。
尤其是，在三维再积分方法中，当从三维降级到二维或一维时不需要模拟，从而允许高精度处理。另外，可以处理在倾斜方向上的移动，而不降级到二维。另外，不降级到二维允许在每个维度上的处理。例如，在二维再积分方法中，在在空间方向(X方向和Y方向)中降级的情况下，不能进行在作为时间方向的t方向上的处理。另一方面，在三维再积分方法中，可以进行在时间-空间方向中的任何处理。
注意，如上所述，在一维再积分方法中，可以进行产生时间分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或更多维积分下才有可能。也就是说，只有通过采用上述二维再积分和三维再积分方法，才可以同时产生时间分辨率和空间分辨率。
另外，三维再积分方法考虑三维积分效应而不是一维积分效应和二维再积分效应，因此，可以产生更接近现实世界1中的光信号(图259)的图像。
换句话说，在三维再积分方法中，在这样的条件下，对应于由多个像素构成的输入图像的时间-空间方向的至少一维方向中的一个位置的像素的像素值是通过在至少一维方向上的积分效应而获取的像素值，所述像素值上由每个具有时间-空间积分效应的传感器2的多个检测单元投影了现实世界1中的光信号，并且所述由检测元件投影的像素值丢失了现实世界1中的光信号的部分连续性，则图259(图3)中的现实世界估计单元102通过利用预定模拟函数f模拟表示现实世界1的光信号的光信号函数F而估计光信号函数F。
另外，例如，在图259(图3)的数据连续性检测单元101检测输入图像的连续性的情况下，在这样的条件下，对应于对应由数据连续性检测单元101检测的数据连续性的图像数据在时间-空间方向中的至少一维方向中的位置上的像素的像素值是通过至少在一维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。
具体说，例如，在这样的条件下，对应于沿一维方向离对应于由连续性检测单元101检测的数据连续性的直线的距离的像素的像素值是通过至少在一维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用利用模拟函数模拟光信号函数F而估计光信号函数。
在三维再积分方法中，例如，图259(图3)中的图像产生单元103(图279中的结构)(例如通过计算上述公式(201)的右侧)产生对应于这样的像素的像素值，所述像素通过积分由现实世界估计单元102估计的函数F，即在一维方向中的希望增量上的模拟函数f，而具有希望的尺寸。
因此，在三维再积分方法中，可以常规图像产生方法、或上述一维再积分方法或二维再积分方法产生更接近现实世界1的光信号(图259)的图像。
接着，将参考281描述图像产生单元103，在这样的情况下，从现实世界估计单元102输入的现实世界估计信息是近似表示每个参考像素的像素值的模拟函数f(x)上的每个像素的导数值或梯度的信息，则所述图像产生单元103基于每个像素的导数值或梯度新产生像素。
注意，在描述图281和图285中的图像产生单元103中，在获得近似表示每个参考像素的像素值的模拟函数f(x)后，这里提到的“导数值”表示在预定位置上利用从其模拟函数f(x)获得的一维微分方程f(x)’(在模拟函数在帧方向中的情况下，从其模拟函数f(t)获得的一维微分方程f(t)’)而获得的值。另外，这里提到的术语“梯度”表示从周边像素的像素值直接获得的模拟函数f(x)的预定位置上的梯度，而没有获得上述模拟函数f(x)(f(t))。然而，导数值表示在模拟函数f(x)的预定位置上的梯度，因此，两种情况都表示在模拟函数f(x)的预定位置上的梯度。因此，对于作为从现实世界估计单元102输入的现实世界估计信息的导数值和梯度，它们是统一的，并被称为模拟函数f(x)或f(t)上的梯度。
梯度获取单元3401关于近似表示从现实世界估计单元102输入的参考像素的像素值的模拟函数f(x)，获取每个像素的梯度信息、相应像素的像素值、以及在连续性方向上的连续性，并将其输出给外推/内插单元3402。
外推/内插单元3402利用基于从梯度获取单元3401输入的模拟函数f(x)上的每个像素的梯度、相应像素的像素值、以及在连续性方向上的连续性的外推/内插，而产生比输入图像具有特定幂数的更高密度的像素，并输出像素作为输出图像。
接着，将参考图282的流程图描述图281中的图像产生单元103的图像产生处理。
在步骤S3401中，梯度获取单元3401获取关于从现实世界估计单元102输入的模拟函数f(x)上的梯度(导数值)、每个像素的位置和像素值、以及在连续性方向上的梯度的信息作为现实世界估计信息。
这里，例如，在产生由具有在空间方向X和空间方向Y上的二倍密度(共4倍)的像素构成的图像作为输入图像的情况下，从现实世界估计单元102输入如图283所示的像素Pin的关于如下的信息梯度f(Xin)’(在像素Pin中心位置上的梯度)、f(Xin-Cx(-0.25))’(当从像素Pin产生Y方向上的二倍密度的像素，在像素Pa的中心位置上的梯度)、f(Xin-Cx(0.25))’(当从像素Pin产生Y方向上的二倍密度的像素，在像素Pb的中心位置上的梯度)、像素Pin的位置和像素值、以及在连续性方向上的梯度Gf。
在步骤S3402中，梯度获取单元3401从输入的现实世界估计信息选择相应的关注像素的信息，并将其输出给外推/内插单元3402。
在步骤S3403中，外推/内插单元3402获得来自输入像素的位置信息的平移量、以及在连续性方向上的梯度Gf。
这里，将平移量Cx(ty)定义为Cx(ty)＝ty/Gf，其中Gf表示作为连续性的梯度。该平移量Cx(ty)表示在模拟函数f(x)的空间方向Y＝ty上的位置相对于空间方向X的平移宽度，所述模拟函数f(x)被定义为位于空间方向Y＝0的位置上。因此，例如，在将在空间方向Y＝0的位置上的模拟函数定义为f(x)的情况下，在空间方向Y＝ty上，该模拟函数f(x)变成对于空间方向X平移Cx(ty)的函数，从而该模拟函数被定义为f(x-Cx(ty))＜＝f(x-ty/Gf)。
例如，在如图283所示的像素Pin的情况中，当将图中一个像素(图中像素尺寸在水平方向和垂直方向上都为1)分成在垂直方向上的两个像素时(当在垂直方向上产生二倍密度像素时)，外推/内插单元3402获得将要获得的像素Pa和Pb的平移量。也就是说，在该情况下，从像素Pin看，在空间方向Y上对像素Pa和Pb分别平移-0.25和0.25，从而像素Pa和Pb的平移量分别变成Cx(-0.25)和Cx(0.25)。注意，在图283中，像素Pin为其基本重心位置为(Xin、Yin)的方形，而像素Pa和Pb是其基本重心位置分别为(Xin、Yin+0.25)和(Xin、Yin-00.25)的、在图中水平方向上的矩形。
在步骤S3404中，外推/内插单元3402基于在步骤S3403的处理中获得的平移量Cx、被获取作为现实世界估计信息的像素Pin的模拟函数f(x)上的关注像素、以及像素Pin的像素值，通过下面公式(206)和公式(207)利用外推/内插获得像素Pa和Pb的像素值。
Pa＝Pin-f(Xin)′×Cx(0.25)公式(206)Pb＝Pin-f(Xin)′×Cx(-0.25) 公式(207)在上述公式(206)和公式(207)中，Pa、Pb和Pin分别表示像素Pa、Pb和Pin的像素值。
也就是说，如图284所示，通过将关注像素Pin中的梯度f(Xin)’乘以在X方向的移动距离，即平移量，而设置像素值的变化量，并且基于关注像素的像素值设置新产生的像素的像素值。
在步骤S3405中，外推/内插单元3402确定是否已经获得具有预定分辨率的像素。例如，在预定分辨率为相对于输入图像中的像素具有在垂直方向上的二倍密度的像素的情况下，外推/内插单元3402确定通过上述处理已经获得具有预定分辨率的像素，但是，例如，在希望输入图像中的像素为相对于输入图像中的像素具有四倍密度(在水平方向上的二倍×在垂直方向上的二倍)的像素的情况下，则还没有获得通过上述处理的具有预定密度的像素。因此，在希望四倍密度的图像的情况下，外推/内插单元3402确定仍未获得具有预定分辨率的像素，并且该处理返回步骤S3403。
在步骤S3403中，外推/内插单元3402在第二处理中，分别获得将要获得的像素P01、P02、P03和P04(相对于关注像素Pin具有四倍密度的像素)从将要产生的像素的中心位置的平移量。也就是说，在该情况下，像素P01和P02是将要从像素Pa获得的像素，从而分别获得从像素Pa的平移量。这里，像素P01和P02分别被相对于空间方向X从像素Pa平移0.25和-0.25，因此，每个其值变成其平移量(由于所述像素被相对于空间方向X平移)。类似，像素P03和P04分别被相对于空间方向X从像素Pb平移-0.25和0.25，因此，每个其值变成其平移量。注意，在图283中，像素P01、P02、P03和P04是其重心位置为图中四个叉形标记的位置，并且，像素Pin的每边的长度为1，因此，像素P01、P02、P03和P04每边的长度分别为0.5。
在步骤S3404中，外推/内插单元3402基于在步骤S3403中获得的平移量Cx、在被获取作为现实世界估计信息的像素Pa和Pb的模拟函数f(x)的预定位置上的梯度f(Xin-Cx(-0.25))’和f(Xin-Cx(0.25))’、以及在上述处理中获得的像素Pa和Pb的像素值，通过公式(208)到公式(211)利用外推/内插获得像素P01、P02、P03和P04的像素值，并将其存储在未示出的存储器中。
P01＝Pa+f(Xin-Cx(0.25))′×(-0.25) 公式(208)P02＝Pa+f(Xin-Cx(0.25))′×(0.25)公式(209)P03＝Pb+f(Xin-Cx(-0.25))′×(-0.25) 公式(210)P04＝Pb+f(Xin-Cx(-0.25))′×(0.25) 公式(211)在上述公式(208)到公式(211)中，P01到P04分别表示像素P01到P04的像素值。
在步骤S3405中，外推/内插单元3402确定是否已获得具有预定分辨率的像素，在该情况下，已经获得希望的四倍密度像素，因此，外推/内插单元3402确定已经获得具有预定分辨率的像素，处理进到步骤S3406。
在步骤S3406中，梯度获取单元3401确定是否已经完成对全部像素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返回到步骤S3402，其中重复进行后面的步骤。
在步骤S3406中，在梯度获取单元3401确定已经完成对全部像素的处理的情况下，外推/内插单元3402在步骤S3407中输出由存储在未示出的存储器中的产生的像素构成的图像。
也就是说，如图284所示，根据在空间方向X上距离关注像素的距离，利用外推/内插获得新像素的像素值，所述关注像素的梯度利用模拟函数f(x)上的梯度f(x)’获得。
注意，在上述实例中，已经描述了在以计算四倍密度像素作为实例时的梯度(导数值)，但是在可以获得在更多位置上的梯度信息作为现实世界估计信息的情况下，利用与上述相同的方法可以计算比上述实例具有更大的空间方向中的密度的像素。
另外，对于上述实例，已经描述了获得二倍密度的像素值的实例，但是模拟函数f(x)是连续函数，因此，在即使关于具有不同于二倍密度的像素值仍可以获得需要的梯度(导数值)信息的情况下，可以产生由更高密度像素构成的图像。
根据上述描述，基于被提供作为空间方向中的现实世界估计信息的、用于模拟输入图像的每个像素的像素值的模拟函数f(x)的梯度(或导数值)f(x)’信息，可以产生比输入图像具有更高分辨率的图像的像素。
接着，将参考图285描述图像产生单元103，其基于在从现实世界估计单元102输入的现实世界估计信息是每个像素的导数值或梯度信息的情况下，从作为表示参考像素的模拟像素值的帧方向(时间方向)上的函数的f(t)获得每个像素的导数值或梯度信息，而产生新像素值以输出图像。
梯度获取单元3411获取从现实世界估计单元102输入的每个像素位置上的，从表示参考像素的模拟像素值的f(t)获取的梯度信息、相应的像素值以及作为连续性的移动，并将这样获得的信息输出给外推单元3412。
外推单元3412基于从梯度获取单元3411输入的每个像素的从模拟函数f(t)获得梯度、相应的像素值以及作为连续性的移动利用外推产生比输入图像更高的预定阶数的高密度像素，并将这样产生的图像输出作为输出图像。
接着，将参考图286的流程图描述利用如图285所示的图像产生单元103的图像产生处理。
在步骤S3421中，梯度获取单元3411获取从现实世界估计单元102输入的每个像素的关于如下的信息从模拟函数f(t)获得的梯度(导数值)、位置、像素值、以及作为连续性的移动，并将其作为现实世界估计信息。
例如，在从在空间方向和帧方向上都具有二倍像素密度(即，共为四倍像素密度)的输入图像产生图像的情况下，从现实世界估计单元102接收的关于如图287所示的像素Pin的输入信息包括梯度f(Tin)’(在像素Pin中心上的梯度)、f(Tin-Ct(0.25))’(在从像素Pin产生Y方向上的二倍密度的像素的步骤中，在像素Pat的中心上的梯度)、f(Tin-Ct(-0.25))’(在从像素Pin产生Y方向上的二倍密度的像素的步骤中，在像素Pbt的中心上的梯度)、像素Pin的位置、像素值、以及作为连续性的移动(移动矢量)。
在步骤S3422中，梯度获取单元3411从输入的现实世界估计信息选择关于关注像素的信息，并将其这样获取的信息输出给外推单元3412。
在步骤S3423中，外推单元3412基于这样输入的位置信息计算关于像素和连续性方向上的梯度的平移量。
这里，将作为连续性的移动(在具有帧方向和空间方向的平面上的梯度)作为Vf，通过公式Ct(ty)＝ty/Vf获得平移量Ct(ty)。该平移量Ct(ty)表示在空间方向Y＝ty的位置上计算的，模拟函数f(t)在帧方向T上的平移量。注意，所述模拟函数f(t)被定义为位于空间方向Y＝0的位置上，例如，在空间方向Y＝ty上，该模拟函数f(t)在时间方向T上平移Ct(ty)，从而该模拟函数在Y＝ty上被定义为f(t-Ct(ty))＜＝f(t-ty/Vf)。
例如，考虑如图287所示的像素Pin。在将图中一个像素(假设图中像素尺寸在帧方向和空间方向上都为1)分成在空间方向上的两个像素的情况下(当在空间方向上产生二倍像素密度图像的情况下)，外推单元3412计算用于获得像素Pat和Pbt的平移量。也就是说，在空间方向Y上对像素Pat和Pbt分别从像素Pin平移0.25和-0.25。从而用于获得像素Pat和Pbt的像素值的平移量分别为Ct(0.25)和Ct(-0.25)。注意，在图287中，像素Pin为其基本重心位置约为(Xin、Yin)的方形。另一方面，像素Pat和Pbt是其基本重心位置分别约为(Xin、Yin+0.25)和(Xin、Yin-00.25)的、其长边在图中水平方向上的矩形。
在步骤S3424中，外推单元3412基于在步骤S3423中获得的平移量、被获取作为现实世界估计信息并提供像素Pin的像素值的模拟函数f(t)上的关注像素、以及像素Pin的像素值，通过下面公式(212)和公式(213)利用外推计算像素Pat和Pbt的像素值。
pat＝Pin-f(Tin)′×Ct(0.25) 公式(212)pbt＝Pin-f(Xin)′×Ct(-0.25)公式(213)在上述公式(212)和公式(213)中，Pat、Pbt和Pin分别表示像素Pat、Pbt和Pin的像素值。
也就是说，如图288所示，通过将关注像素Pin中的梯度f(Xin)’乘以在X方向的距离，即平移量，而计算像素值的变化量。然后，基于关注像素的像素值利用这样计算的变化确定将产生的新像素的像素值。
在步骤S3425中，外推单元3412确定这样产生的像素是否提供要求的分辨率。例如，在用户要求相比于输入图像为在空间方向上的二倍像素密度的分辨率的情况下，外推单元3412确定已经获得要求的分辨率。但是，在用户要求相比于输入图像为四倍像素密度(在帧方向上的二倍像素密度×在空间方向上的二倍像素密度)的分辨率的情况下，则上述处理没有提供要求的像素密度。因此，在用户要求四倍像素密度的分辨率的情况下，外推单元3412确定仍未获得要求的分辨率，并且流程返回到步骤S3423。
在用于第二处理的步骤S3423中，外推单元3412分别计算从作为基础的像素的平移量，以获得像素P01t、P02t、P03t和P04t(相对于关注像素Pin具有四倍像素密度)的中心。也就是说，在该情况下，像素P01t和P02t从像素Pat获得，从而计算从像素Pat的平移量以获得这些像素。这里，分别将像素P01t和P02t在帧方向T上从像素Pat平移-0.25和0.25，因此，将其之间没有转换的距离用作平移量。同样，分别将像素P03t和P04t在帧方向T上从像素Pbt平移-0.25和0.25，因此，将其之间没有转换的距离用作平移量。注意，在图287中，每个像素P01t、P02t、P03t和P04t为方形，其重心位置由图中四个叉形标记的相应的一个表示，并且，由于像素Pin的每边的长度为1，因此，像素P01t、P02t、P03t和P04t每边的长度为约0.5。
在步骤S3424中，外推单元3412基于在步骤S3423中获得的平移量Ct、在被获取作为现实世界估计信息的、在像素Pat和Pbt的相应位置上的模拟函数f(t)的梯度f(Tin-Ct(0.25))’和f(Tin-Ct(0.25))’、以及在上述处理中获得的像素Pat和Pbt的像素值，通过下面公式(214)到公式(217)利用外推获得像素P01t、P02t、P03t和P04t的像素值。将这样获得的像素P01t、P02t、P03t和P04t的像素值存储在未示出的存储器中。
P01t＝Pat+f(Tin-Ct(0.25))′×(-0.25) 公式(214)P02t＝Pat+f(Tin-Ct(0.25))′×(0.25) 公式(215)P03t＝Pbt+f(Tin-Ct(-0.25))′×(-0.25) 公式(216)P04t＝Pbt+f(Tin-ct(-0.25))′×(0.25) 公式(217)在上述公式(214)到公式(217)中，P01t到P04t分别表示像素P01t到P04t的像素值。
在步骤S3425中，外推单元3412确定是否已获得达到要求分辨率的像素密度。在该情况下，已经获得要求的四倍密度像素，因此，外推单元3412确定已经获得达到要求分辨率的像素密度，然后流程进到步骤S3426。
在步骤S3426中，梯度获取单元3411确定是否已经完成对全部像素的处理。在梯度获取单元3411确定仍未完成对全部像素的处理的情况下，该流程返回到步骤S3422，并重复后面的处理。
在步骤S3426中，在梯度获取单元3411确定已经完成对全部像素的处理的情况下，外推单元3412在步骤S3427中输出由存储在未示出的存储器中的产生的像素构成的图像。
也就是说，如图288所示，利用模拟函数f(t)上的梯度f(t)’获得所述关注像素的梯度，并根据在帧方向T上距离关注像素的帧数计算新像素的像素值。
尽管在上述实例中，已经描述了在计算四倍密度像素时的梯度(导数值)的实例，但是在可以获得在更多位置上的梯度信息作为现实世界估计信息的情况下，利用与上述相同的技术还可以计算在帧方向中的像素。
尽管已经描述了获得二倍像素密度的图像的设置，但是还可以这样设置，其中利用模拟函数f(t)是连续函数性质，基于需要的梯度(导数值)信息获得更高像素密度的图像。
根据上述描述，上述处理基于关于被提供作为现实世界估计信息的、作为用于提供输入图像的每个像素的像素值的模拟值的模拟函数f(t)的梯度(或导数值)的f(t)’的信息，可以产生在帧方向上比输入图像具有更高分辨率的像素图像。
在上述本实施例中，从由多个像素形成的图像数据检测数据连续性，所述像素具有通过多个检测元件的作用而投影现实世界中的光信号所获得的像素值；由于利用每个具有时间空间积分效应得多个检测元件得投影，丢失了现实世界中的光信号的部分连续性。然后采用在时间空间方向的一维方向上从图像数据中的关注像素平移的多个像素的梯度作为对应于现实世界光信号的函数。随后，利用匹配相应像素的中心的中心、以及在上述采用的像素上的梯度，对于上述在预定方向上从关注像素的中心平移的多个像素的每个计算直线。然后，采用上述获得的关注像素中的直线两端的值作为比由关注像素形成的输入图像具有更高像素密度的图像的像素值。这允许产生在时间空间方向中比输入图像具有更高分辨率的图像。
接着，将参考图289到图314描述根据本实施例的图像产生单元103(参考图3)的另一设置。
图289示出了根据本实施例的图像产生单元103的结构实例。
图289所示的图像产生单元103包括类型分类适应单元3501，用于进行常规类型分类适应处理；类型分类适应校正单元3502，用于进行对类型分类适应处理(下面将具体描述)的结果的校正；以及相加单元3503，用于相加从类型分类适应单元3501输出的图像和从类型分类适应处理校正单元3502输出的图像，并将相加的图像作为输出图像输出给外部电路。
注意，下文中，将从类型分类适应处理单元3501输出的图像称为“预测图像”。另一方面，将从类型分类适应处理校正单元3502输出的图像称为“校正图像”或“减法预测图像”。注意，下面将描述“预测图像”和“减法预测图像”的概念。
另外，在本实施例中，例如，假设进行类型分类适应处理用于提高输入图像的空间分辨率。也就是说，进行类型分类适应处理用于将具有标准分辨率的输入图像转换成具有高分辨率的预测图像。
注意，下文中相应地将具有标准分辨率的图像称为“SD(标准精度)图像”。另外，相应地将构成SD图像的像素称为“SD像素”。
另一方面，下文中相应地将高分辨率图像称为“HD(高精度)图像”。另外，将构成HD图像的像素相应地称为“HD”像素。
下面，将描述根据本实施例的类型分类适应处理的具体实例。
首先，获得包括关注像素和其周围像素的每个SD像素(例如将被称为“类型分块”的SD像素)的特征，用于计算对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。然后，基于上述获得的特征(确定了类型分块的类型代码)，从预备类型中选择类型分块的类型。
然后，基于上述确定的类型代码、和包括关注像素和其周围的像素的SD像素(下文中将该SD像素称为“预测分块”。注意，类型分块也可以用作预测分块)，利用形成从预备的多个系数组(每个系数组对应于特定类型代码设置)中选择的系数组的系数进行积-和计算，从而获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。
因此，利用根据本实施例的配置，在类型分类适应处理单元3501对输入图像(SD图像)进行常规类型分类适应处理以产生预测图像(HD图像)。另外，利用从类型分类适应处理校正单元3502输出的校正图像(通过相加预测图像和校正图像)在相加单元3503中校正上述获得的预测图像，从而获得输出图像(HD图像)。
也就是说，可以将根据本实施例的配置认为是用于基于关于连续性的连续性进行处理的图像处理装置(图3)的图像产生单元103的配置。另一方面，还可以将根据本实施例的配置认为是这样的图像处理装置的配置，关于分类类型适应处理，相比于由传感器2和类型分类适应处理单元3501的常规图像处理装置，所述装置还包括数据连续性检测单元101、现实世界估计单元102、类型分类适应校正单元3502、以及相加单元3503。
因此，下文中，相对于上述再积分装置，将根据本实施例的该配置称为“类型分类处理校正装置”。
下面将详细描述利用类型分类处理校正装置的图像产生单元103。
在图289中，当将现实世界1的信号(光强分布)输入传感器2中时，从传感器2输出输入图像。将输入图像输入图像产生单元103的类型分类适应处理单元3501以及数据连续性检测单元101。
类型分类适应处理单元3501对输入图像进行常规类型分类适应处理，以产生预测图像，并将预测图像输出给相加单元3503。
如上所述，在类型分类适应处理单元3501中，采用从传感器2输入的输入图像(图像数据)作为将要被处理的目标图像以及参考图像。也就是说，虽然由于上述积分效应，来自传感器2的输入图像不同于(变形)现实世界1的信号，但是类型分类适应处理单元3501利用不同于现实世界1的信号的输入图像作为合适的参考图像进行处理。
从而，在利用基于输入图像(SD图像)的类型分类适应处理产生HD图像的情况下，在SD图像中已经从传感器2输出的输入图像在输入阶段丢失了原始细节，则，这样的HD图像可能具有这样的问题，即不能完全再现原始细节。
为了解决上述问题，在类型分类处理校正装置中，图像产生单元103的类型分类适应处理校正单元3502利用将被输入传感器2的用于估计原始图像(具有原始连续性的现实世界1的信号)的信息(现实世界估计信息)作为将被处理的目标图像以及参考图像，代替来自传感器2的输入图像，从而产生用于校正从类型分类适应处理单元3501输出的预测图像的校正图像。
通过数据连续性检测单元101和现实世界估计单元102的作用产生现实世界估计信息。
也就是说，数据连续性检测单元101检测包括在从传感器2输出的输入图像中的数据连续性(对应于包括在现实世界1的信号中的连续性的数据连续性，其将被输入传感器2)，并将检测结果作为数据连续性信息输出给现实世界估计单元102。
注意，尽管图289示出了其中采用角度作为数据连续性信息的设置，但是数据连续性信息不限于角度，而可以采用各种信息作为数据连续性信息。
现实世界估计单元102基于上述输出的角度(数据连续性信息)产生现实世界估计信息，并将上述产生的现实世界估计信息输出给图像产生单元103的类型分类适应校正单元3502。
注意，尽管图289中示出了其中采用特征量图像(下文将对其进行详细描述)作为现实世界估计信息的设置，但是数据连续性信息不限于特征量图像，而是如上述可以采用各种信息。
类型分类适应处理校正单元3502基于上述输入的特征量图像(现实世界估计信息)产生校正图像，并将校正图像示出给相加单元3503。
相加单元3503相加从类型分类适应处理单元3501输出的预测图像和从类型分类适应处理校正单元3502输出的校正图像，并将相加的图像作为输出图像输出给外部电路。
上述输出图像比预测图像具有根高精度地接近现实世界1的信号(图像)。也就是说，类型分类适应处理校正装置使得用户可以解决上述问题。
另外，在具有如图289所示的结构的信号处理装置(图像处理装置)4中，可以将该处理应用于一帧的整个面积上。也就是说，尽管利用下文的混合技术(例如下文参考图292所述的设置)的信号处理装置等需要识别像素区域以产生输出图像，有利的是，如图266所示的信号处理装置4不需要识别所述像素区域。
接着，下面将详细描述图像产生单元103的类型分类适应处理单元3501。
图290示出了类型分类适应处理单元3501的结构实例。
在图290中，将从传感器2输入的输入图像(SD图像)提供给区域选取单元3511和区域选取单元3515。区域选取单元3511选取类型分块(位于包括关注像素(SD像素)的预定位置上的SD像素)，并将该类型分块输出给图形检测单元3512。图形检测单元3512基于上述输入的类型分块检测输入图像的图形。
类型代码确定单元3513基于由图形检测单元3512检测的图形确定类型代码，并将类型代码输出给系数存储器3514和区域选取单元3515。系数存储器3514存储通过学习预备的每个类型代码的系数，读取对应于从类型代码确定单元3513输入的类型代码的系数，并将系数输出给预定计算单元3516。
注意，下面将参考如图292所示的类型分类适应处理学习单元的方框图，描述用于获得存储在系数存储器3514中的系数的学习处理。
另外，存储在系数存储器3514中的系数如下所述用于产生预测图像(HD图像)。因此，将存储在系数存储器3514中的系数称为“预测系数”，以区分上述系数与其它种系数。
区域选取单元3515基于从类型代码确定单元3513输入的类型代码，选取用于从传感器2输入的输入图像(SD图像)预测和产生预测图像(HD图像)所需的预定分块(位于包括关注像素的预定位置上的SD像素)，并将预测分块输出给预测计算单元3516。
预测计算单元3516利用从区域选取单元3515输入的预测分块和从系数存储器3514输入的预测系数进行积和计算，产生对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素，并将HD像素输出给相加单元3503。
尤其是，系数存储器3514将对应于从类型代码确定单元3513提供的类型代码的预测系数输出给预测计算单元3516。预测计算单元3516利用从区域选取单元3515提供的、并从输入图像的预定像素的像素值选取的预测分块、以及从系数存储器3517提供的预测系数执行由下面公式(218)表示的积-和计算，从而获得(预测和估计)预测图像(HD图像)的HD像素。
q'=Σi=0ndi×ci]]>公式(218)在公式(218)中，q’表示预测图像(HD图像)的HD像素。每个ci(i表示1到n的整数)表示相应的预测分块(SD像素)。另外，每个di表示相应的预测系数。
如上所述，类型分类处理单元3501基于SD图像(输入图像)预测和估计相应的HD图像，因此，在该情况下，将从类型分类适应处理单元3501输出的HD图像称为“预测图像”。
图291示出了用于确定存储在类型分类适应单元3501的系数存储器3514中的预测系数(公式(215)种的di)的学习装置(用于获得预测系数的计算装置)。
注意，在类型分类适应处理校正技术中，除系数存储器3514外，系数存储器(校正系数存储器3554，其将在下文中参考图299而被描述)被包括在类型分类适应处理校正单元3502中。因此，如图291所示，根据类型分类适应处理技术的学习装置3504包括学习单元3561(下文中将其称为“类型分类适应处理校正学习单元3561”)，用于确定存储在类型分类适应处理校正单元3502的校正系数存储器3554中的系数，以及学习单元3521(其在下文中被称为“类型分类适应处理学习单元3521”)用于确定存储在类型分类适应处理单元3501系数存储器3514中的预测系数(公式(215)中的di)。
因此，当下文中将用于类型分类适应处理学习单元3521中的老师图像称为“第一老师图像”，则下文中将用于类型分类适应处理校正学习单元3561中的老师图像称为“第二老师图像”。同样，当下文中将用于类型分类适应处理学习单元3521中的学生图像称为“第一学生图像”，则下文中将用于类型分类适应处理校正学习单元3561中的学生图像称为“第二学生图像”。
注意，下面将描述类型分类适应处理校正学习单元3561。
图292示出了类型分类适应处理单元3521的具体结构实例。
在图292中，将特定图像输入类型分类适应处理校正处理单元3561(图291)、以及下降转换器单元3531和正规方程产生单元3536中作为第一老师图像(HD图像)。
下降转换器单元3531基于输入的第一老师图像(HD图像)产生比第一老师图像具有更低分辨率的第一学生图像(SD图像)(将第一老师图像转换成较低分辨率的第一学生图像)，并将第一学生图像输出给区域选取单元3532和3535、和类型分类适应处理校正学习单元3561(图291)。
如上所述，类型分类适应处理学习单元3521包括下降转换器单元3531，因此，第一老师图像(HD图像)不需要具有比来自上述传感器2(图289)的输入图像更高的分辨率。原因在于，在该情况下，将经过下降转换处理(用于减少图像分辨率的处理)的第一老师图像用作第一学生图像即SD图像。也就是说，对应于第一学生图像的第一老师图像用作HD图像。因此，可以将来自传感器2的输入图像不经过任何转换地用作第一老师图像。
区域选取单元3532从上述提供的第一学生图像(SD图像)中选取用于类型分类所需要的类型分块(SD像素)，并将类型分块输出给图形检测单元3533。图形检测单元3533检测上述输入的类型分块的图形，并将检测结果输出给类型代码确定单元3534。类型代码确定单元3534确定对应于输入图形的类型代码，并将类型代码输出给区域选取单元3535和正规方程产生单元3536。
区域选取单元3535基于从类型代码确定单元3534输入的类型代码自从下降转换器单元3531中输入的第一学生图像(SD图像)中选取预测分块(SD像素)，并且，将预测分块输出给正规方程产生单元3536和预测计算单元3558。
注意，区域选取单元3532、图形检测单元3533、类型代码确定单元3534，以及区域选取单元3535具有基本相同的结构，并且，与如图290所示的类型分类适应处理单元3501的区域选取单元3511、图形检测单元3512、类型代码确定单元3513、以及区域选取单元3515相同地作用。
正规方程产生单元3536基于从区域选取单元3535输入的第一学生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单元3545输入的全部类型代码的每个类型代码的第一老师图像(HD图像)的HD像素而产生正规方程，并将正规方程提供给系数确定单元3537。当从正规方程产生单元3536接收特定类型代码的正规方程时，系数确定单元3537利用正规方程计算预测系数。然后，系数确定单元3537将计算的预测系数提供给预测计算单元3538，并将预测系数存储在相关于类型代码的系数存储器3514中。
下面，将详细描述正规方程产生单元3536和系数确定单元3537。
在上述公式(218)中，每个预测系数di在学习处理之前是未确定的系数。学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素。将每个m个HD像素表示为qk(k表示1到m的整数)。则从公式(218)得到下面的公式(219)。
qk=Σi=0ndi×cik+ek]]>公式(219)也就是说，公式(219)表示，通过计算公式(219)的右侧可以预测和估计HD像素qk。注意，在公式(219)中，ek表示误差。也就是说，作为预测图像(HD图像)的HD像素qk’不完全匹配实际HD像素qk，并包括特定误差ek，所述预测图像是计算右侧的结果。
因此，在公式(219)中，通过学习处理，将获得表示误差ek的平方和的最小值的预测系数di。
尤其是，预备用于学习处理中的HD像素qk的个数应该大于n(即m大于n)。在该情况下，利用最小二乘法确定预测系数di作为唯一解。
也就是说，利用最小二乘法的用于获得公式(219)右侧的预测系数di的正规方程由下面公式(220)所示。
公式(217)因此，产生并求解由公式(220)表示的正规方程，从而确定预测系数di作为唯一解。
尤其是，假设，公式(220)中表示正规方程的矩阵被定义为下面公式(221)到(223)。在该情况下，正规方程由下面公式(224)所示。
公式(221)
DMAT=d1d2···dn]]>公式(222)QMAT=Σk=1mc1k×qkΣk=1mc2k×qk···Σk=1mcnk×qk]]>公式(223)CMATDMAT＝QMAT公式(224)如公式(222)所示，矩阵WMAT的每个分量为将要获得的预测系数di。在本实施例中，如果确定了公式(224)左侧的矩阵CMAT和右侧的矩阵QMAT，可以利用矩阵计算获得矩阵DMAT(即预测系数di)。
尤其是，如公式(221)所示，由于已知预测分块cik，因此可以计算矩阵CMAT的各个分量。在本实施例中，正规方程产生单元3536利用从区域选取单元3535提供的预测分块cik计算矩阵CMAT的每个分量。
另外，在本实施例，预测分块cik和HD像素qk是已知的。因此可以计算如公式(223)所示的矩阵QMAT的各个分量。注意，预测分块cik与矩阵CMAT中相同，另外，HD像素qk是对应于预测分块cik中包括的关注像素(第一学生图像的SD像素)的第一老师图像的HD像素。从而，正规方程产生单元3536基于从区域选取单元3535提供的预测分块cik和第一老师图像而计算矩阵QMAT的每个分量。
如上所述，正规方程产生单元3536计算矩阵CMAT和矩阵QMAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元3537。
系数确定单元3537基于对应于提供的特定类型代码的正规方程，计算作为上述公式(224)中的每个矩阵DMAT的分量的预测系数di。
尤其是，可以将上述公式(224)转换为下面的公式(225)。
DMAT=CMAT-1QMAT]]>公式(225)在公式(225)中，左侧矩阵DMAT的各个分量是将要获得的预测系数di。另一方面，从正规方程产生单元3536提供矩阵CMAT和矩阵QMAT的各个分量。在本实施例中，当从正规方程产生单元3536接收对应于当前类型代码的矩阵CMAT和矩阵QMAT的各个分量，系数确定单元3537执行由公式(225)的右侧表示的矩阵计算，从而计算矩阵DMAT。然后，系数确定单元3537将计算结果(预测系数di)提供给预测计算单元3538，并将关于类型代码的计算结果存储在系数存储器3514中。
预测计算单元3538利用从区域选取单元3535输入的预测分块和由系数确定单元3537确定的预测系数执行积-和计算，从而产生对应于第一学生图像(SD图像)的关注像素(SD像素)的预测图像(作为第一老师图像的预测图像)的HD像素。将上述产生的HD像素作为学习预测图像输出给类型分类适应处理校正学习单元3561(图291)。
尤其是，在预测计算单元3538中，将从预测选取单元3535提供的第一学生图像中的特定像素位置周围的像素值中选取的预测分块用作ci(i表示1到n的整数)。另外，将从系数确定单元3537提供的每个预测系数用作di。预测计算单元3538利用上述采用ci和di执行由上述公式(218)表示的积-和计算，从而获得学习预测图像(HD图像)的HD像素q’(即，从而预测和估计第一老师图像)。
现在，将参考图293到图298描述上述常规类型分类适应处理(类型分类适应处理单元3501)的问题，即其中，当基于其中在输入阶段丢失了原始细节的从传感器2输出的输入图像(SD图像)，通过如图266所示的类型分类适应处理单元3501产生HD图像(现实世界1的信号的预测图像)的情况下，不能完全再现原始细节。
图293示出了类型分类适应单元3501的处理结果的实例。
在图293中，HD图像3541包括具有相对于图中垂直方向为顺时针约5度的梯度。另一方面，从HD图像3541产生SD图像3542，使得将HD图像3541的每个2×2个像素(HD像素)块的平均值用作其相应的单个像素(SD像素)。也就是说，SD图像3542是HD图像3541的“下降转换的”(减小的分辨率)的图像。
换句话说，可以假设HD图像3541是在该模拟中将被从传感器2(图289)输出的图像(现实世界1的信号(图289))。在该情况下，可以假设SD图像3542是对应于HD图像3541的图像，其从传感器2获得，所述传感器在该模拟中具有空间方向上的特定积分性质。也就是说，可以假设在该模拟中SD图像是从传感器2输入的图像。
在该模拟中，将SD图像输入类型分类适应处理单元3501(图289)。从类型分类适应处理单元3501输出的预测图像是预测图像3534。也就是说，预测图像3534是通过常规类型分类适应处理产生的HD图像(与原始HD图像3541具有相同的分辨率的图像)。注意，利用由类型分类适应处理学习单元3561(图292)以HD图像3541作为第一老师图像和以SD图像3542作为第一学生图像进行的学习/计算处理而获得用于类型分类适应处理单元3501的预测计算中的预测系数(存储在系数存储器3514(图290)中的预测系数)。
比较HD图像3541、SD图像3542以及预测图像3543，确定了预测图像3543比SD图像3542更接近HD图像3541。
比较结果表示，类型分类适应处理3501基于其中已经丢失HD图像3541的原始细节的SD图像3542，利用常规类型分类适应处理产生具有再现的原始细节的预测图像3543。
然而，比较预测图像3543和HD图像3541，不能限定地说预测图像3543完全再现了HD图像3541。
为了研究该预测图像3543相对于HD图像3541的不完全再现，本申请人通过利用相加单元3546相加HD图像3541和预测图像3543的反图像而形成了相加图像，即通过从HD图像3541中减去预测图像3543而获得的减法图像(在像素值之差较大的情况下，减法图像的像素由接近白色的密度形成。另一方面，在像素值之差较小的情况下，减法图像的像素由接近黑色的密度形成。)。
同样，本申请人通过利用相加单元3546相加HD图像3541和SD图像3542的反图像而形成了相加图像，即通过从HD图像3541中减去SD图像3542而获得的减法图像(在像素值之差较大的情况下，减法图像的像素由接近白色的密度形成。另一方面，在像素值之差较小的情况下，减法图像的像素由接近黑色的密度形成。)。
然后，比较减法图像3544和减法图像3545，本申请人获得如下所述的研究结果。
也就是说，表现HD图像3541和SD图像3542之间的像素值的较大差的区域(即，在减法图像3545中由接近白色的密度形成的区域)通常匹配表现HD图像3541和预测图像3543之间的像素值的较大差的区域(即，减法图像3544中由接近白色的密度形成的区域)。
换句话说，预测图像3543中表现相对于HD图像3541的不充分再现的区域通常匹配表现HD图像3541和SD图像3542之间的像素值的较大差的区域(即在减法图像3545中由接近白色的密度形成的区域)。
然后，为了解决研究结果的原因，本申请人还进行了如下研究。
也就是说，首先，本申请人研究在表现HD图像3541和预测图像3543之间的像素值的较小差的区域(即在减法图像3544中由接近黑色的密度形成的区域)中的再现结果。在上述区域中，获得用于该研究的信息为HD图像3541的实际值；SD图像3542的实际像素值；对应于HD图像3541的实际波形(现实世界1中的信号)。图294和图295中示出了研究结果。
图294示出了研究目标区域的实例。注意，在图294中，由X方向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一个空间方向。
也就是说，本申请人研究了图294中所示的减法图像3544的区域3544-1的再现结果，所述区域是表现HD图像3541和预测图像3543之间的像素值的较小差的区域实例。
图295的图表示出了HD图像3541的实际像素值；SD图像3542的实际像素值，其对应于图294所示的区域3544-1中在X方向上的一组6个HD像素的左侧4个像素；以及实际波形(现实世界1的信号)。
在图295中，垂直轴表示像素值，水平轴表示平行于空间方向X的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原点为基础定义每个坐标值。注意，以减法图像3544的HD像素的像素宽度为0.5而定义X轴坐标值。也就是说，减法图像3544是HD图像，因此，图中以0.5的宽度Lt(下文中将称为“HD像素宽度”Lt)画出HD图像的每个像素。另一方面，在该情况下，以为HD像素宽度Lt两倍的像素宽度，即以1的像素宽度Ls(下文中将称为“SD像素宽度”Ls)画出SD图像3542的每个像素。
另外，在图295中，实线表示HD图像3541的像素值，点线表示SD图像3542的像素值，以及虚线表示沿X方向的现实世界1的信号波形。注意，实际上难于画出现实世界1的实际波形。因此，如图295所示的虚线表示利用上述线性多项式模拟技术(如图289所示的根据第一实施例的现实世界估计单元102)模拟沿X方向的波形的模拟函数f(x)。
然后，本申请人以与上述关于表现其之间的像素值的小差的区域的研究同样的方法，研究了在表现HD图像3541和预测图像3543之间的像素值的较大差的区域(即在减法图像3544中由接近白色的密度形成的区域)中的再现结果。在上述区域中，同样获得用于该研究的信息为HD图像3541的实际值；SD图像3542的实际像素值；对应于HD图像3541的实际波形(现实世界1中的信号)。图296和图297中示出了研究结果。
图296示出了研究目标区域的实例。注意，在图296中，由X方向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一个空间方向。
也就是说，本申请人研究了图296中所示的减法图像3544的区域3544-2的再现结果，所述区域是表现HD图像3541和预测图像3543之间的像素值的较大差的区域实例。
图297的图表示出了HD图像3541的实际像素值；SD图像3542的实际像素值，其对应于图296所示的区域3544-2中在X方向上的一组6个HD像素的左侧4个像素；以及实际波形(现实世界1的信号)。
在图274中，垂直轴表示像素值，水平轴表示平行于空间方向X的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原点为基础定义每个坐标值。注意，以1的SD像素宽度Ls定义X轴坐标值。
在图297中，实线表示HD图像3541的像素值，点线表示SD图像3542的像素值，以及虚线表示沿X方向的现实世界1的信号波形。注意，如图274所示的虚线表示以与图272所示的虚线相同的方法模拟沿X方向的波形的模拟函数f(x)。
比较图295和图297所示的图表，从图中所示的模拟函数f(x)显然可以看出，图中每个区域包括线对象。
然而，存在如下的差异。也就是说，在图295中线对象在约0到1的x的区域上延伸，而在图297中，线对象在约-0.5到0.5的x的区域上延伸。也就是说，在图295中，线对象的大部分被包括在位于SD图像3542中的0到1的x的区域上的单个SD像素内，另一方面，在图297中，线对象的部分被包括在位于SD图像3542中0到1的x的区域上的单个SD像素中(线对象与背景的边缘也被包括在其中)。
因此，在如图295所示的情况下，在延伸于HD图像3541的0到1.0的x的区域上的两个HD像素(由实线表示)之间的像素值之差较小。相应的SD像素的像素值(图中由点线表示)是两个HD像素的像素值的平均值。因此，可以容易理解，SD图像3542的SD像素与HD图像3541的两个HD像素之间的像素值之差较小。
在该状态下(如图295所示的状态)，考虑利用常规类型分类适应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预测图像3543的像素)的再现处理，其中以延伸在0到1.0的x的区域上的单个SD像素作为关注像素。在该情况下，如图294所示，产生的预测图像3543的HD像素以充分高的精度模拟HD图像3541的HD像素。也就是说，在区域3544-1中，在预测图像3543和HD图像3541之间的像素值之差较小，因此，形成的减法图像具有接近黑色的密度，如图294所示。
另一方面，在如图297所示的情况下，在延伸于HD图像3541的0到1.0的x的区域上的两个HD像素(由实线表示)之间的像素值之差较大。相应的SD像素的像素值(图中由点线表示)是两个HD像素的像素值的平均值。因此，可以容易理解，SD图像3542的SD像素与HD图像3541的两个HD像素之间的像素值之差比如图295所示的相应差较大。
在该状态下(如图297所示的状态)，考虑利用常规类型分类适应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预测图像3543的像素)的再现处理，其中以延伸在0到1.0的x的区域上的单个SD像素作为关注像素。在该情况下，如图296所示，产生的预测图像3543的HD像素以较差的精度模拟HD图像3541的HD像素。也就是说，在区域3544-2中，在预测图像3543和HD图像3541之间的像素值之差较大，因此，形成的减法图像具有接近白色的密度，如图296所示。
比较如图295所示和如图297所示的用于模拟现实世界1的信号的模拟函数f(x)(图中由虚线表示)，可以如下理解。也就是说，模拟函数f(x)在图295中0到1的x的区域上的变化较小，而模拟函数f(x)在图297中0到1的x的区域上的变化较大。
因此，存在如图295所示的SD图像3542中的SD像素，其在0到1的x的范围上延伸，在其上模拟函数f(x)的变化较小(即，现实世界1的信号的变化较小)。
从该角度上，上述的研究结果还可以如下文所述。也就是说，在基于延伸在其上模拟函数f(x)的变化较小(即现实世界1的信号的变化较小)的区域上的SD像素再现HD像素的情况下，所述区域如延伸在如图295所示的0到1.0的x的区域上，利用常规类型分类适应处理，产生的HD像素以充分高的精度模拟现实世界1的信号(在该情况下，直线对象的图像)。
另一方面，存在如图297所示的SD图像3542中的SD像素，其在0到1的x的范围上延伸，在其上模拟函数f(x)的变化较大(即，现实世界1的信号的变化较大)。
从该角度上，上述的研究结果还可以如下文所述。也就是说，在基于延伸在其上模拟函数f(x)的变化较大(即现实世界1的信号的变化较大)的区域上的SD像素再现HD像素的情况下，所述区域如延伸在如图297所示的0到1.0的x的区域上，利用常规类型分类适应处理，产生的HD像素以较差的精度模拟现实世界1的信号(在该情况下，直线对象的图像)。
上述研究结果的结论为如图298所示的情况，利用基于像素之间的关系的常规信号处理(例如，类型分类适应处理)，难于再现延伸在对应于单个像素的区域上的细节。
也就是说，图298描述了本申请人获得的研究结果。
在图298中，图中水平方向表示为空间方向的X方向，沿其上排列有传感器2(图289)的检测元件。另一方面，图中垂直方向表示光量水平或像素值。点线表示现实世界1的信号(图289)的X截面波形F(x)。实现表示在传感器2接收上述表示的现实世界1的信号(图像)的情况下从传感器2输出的像素值P。另外，传感器2的检测元件的宽度(在X方向上的长度)由Lc表示。X截面波形F(x)相对于作为传感器2的检测元件的宽度Lc的传感器2的像素宽度Lc的变化由ΔP表示。
这里，上述SD图像3542(图293)是用于模拟从传感器2输入的图像(图289)的图像。在该模拟下，以SD图像3542的SD像素宽度(图295和图297)为传感器2的像素宽度Lc(检测元件的宽度)，可以进行估计。
尽管已经描述了对表现为细线的现实世界1的信号(模拟函数f(x))的研究，对于现实世界1中的信号水平可以有多种变化。
因此，基于研究结果可以估计在如图298所示的条件下的再现结果。估计的再现结果如下所述。
也就是说，如图298所示，在利用常规类型分类适应处理再现HD像素(例如，从图289中的类型分类适应处理单元3501输出的预测图像的像素)的情况下，其中以其上现实世界1的信号的变化ΔP(在X截面波形F(x)上的变化)较大的SD像素(从传感器2输出的像素)作为关注像素，则产生的HD像素以较差的精度模拟现实世界1中的信号(如图298所示的X截面波形F(x))。
尤其是，在例如类型分类适应处理的常规方法中，基于从传感器2输出的多个像素之间的关系进行图像处理。
也就是说，如图298所示，考虑位于对应于单个像素的区域上的在X截面波形F(x)上表现快速变化ΔP，即现实世界1中的信号的快速变化的信号。对该信号积分(严格地说，时间空间积分)，并只输出单个像素值P(在单个信号上的信号由统一像素值P表示)。
在常规方法中，以像素值同时为参考和目标而进行图像处理。换句话说，在常规方法中，不考虑单个像素上的现实世界1的信号(X截面波形F(x))的变化，即不考虑延伸在单个像素上的细节，而进行图像处理。
只要图像处理是以像素增量进行的，则任何图像处理(即使类型分类适应处理)难于高精度地再现现实世界1的信号在单个像素上的变化。尤其是，现实世界1的信号的大的变化ΔP将导致其中的显著错误。
换句话说，上述类型分类适应处理的问题，即，在图289中，利用类型分类适应处理对原始细节的不充分再现的原因如下，所述问题通常发生在其中在从传感器2输出图像的阶段已经丢失细节的输入图像(SD图像)的情况中。所述原因在于，类型分类适应处理在像素增量上进行(具有单个像素值的单个像素)，而不考虑现实世界1的信号在单个信号上的变化。
注意，所有包括类型分类适应处理的常规图像处理方法都具体相同的问题，问题的原因是完全相同的。
如上所述，常规图像处理方法具有同样的问题和同样的问题的原因。
另一方面，数据连续性检测单元101和现实世界估计单元102(图3)的组合使得可以利用现实世界1的连续性基于来自传感器2的输入图像(即，其中已经丢失了现实世界1的信号变化的图像)而估计现实世界1的信号。也就是说，现实世界估计单元102具有输出现实世界估计信息的功能，其允许估计现实世界1的信号。
因此，可以基于现实世界估计信息估计现实世界1的信号在单个像素上的变化。
在本说明书中，本申请人已经提出了例如图289所示的类型分类适应处理校正方法，其基于这样的机制，其中，利用基于现实世界估计信息产生的预定校正图像(其表示由于现实世界1的信号在单个像素上的变化而导致的预测图像的估计误差)校正由常规类型分类适应处理产生的预测图像(其表示不考虑现实世界1的信号在单个像素上的变化而预测的现实世界1中的图像)，从而解决上述问题。
也就是说，在图289中，数据连续性检测单元101和现实世界估计单元102产生现实世界估计信息。然后，类型分类适应处理校正单元3502基于上述产生的现实世界估计信息产生具有预定格式的校正图像。接着，相加单元3503利用从类型分类适应处理校正单元3502输出的校正图像校正从类型适应处理单元3501输出的预测图像(尤其是，相加预测图像和校正图像，并输出相加的图像作为输出图像)。
注意，已经详细描述了用于进行类型适应处理校正方法的包括在图像产生单元103中的类型分类适应处理单元3501。另外，相加单元3503的种类不受特别限制，只要相加单元3503具有相加预测图像和校正图像的功能。相加单元3503的实例包括各种加法器、相加程序等。
因此，下面将详细描述未描述过的类型分类适应处理校正单元3502。
首先描述类型分类适应处理校正单元3502的机制。
如上所述，在图293中，设HD图像3541为将从传感器2(图289)输入的原始图像(现实世界1中的信号)。另外，设SD图像3542为来自传感器2的输入图像。在该情况下，可以设预测图像3543为从类型分类适应处理单元3501输出的预测图像(通过预测原始图像(HD图像3541)而获得的图像)。
另一方面，通过从HD图像3541中减去预测图像3543的图像为减法图像3544。
因此，通过如下作用再现HD图像3541类型分类适应处理校正单元3502产生减法图像3544，并输出减法图像3544作为校正图像；以及加法单元3503相加从类型分类适应处理单元3501输出的预测图像3543和从类型分类适应处理校正单元3502输出的减法图像3544(校正图像)。
也就是说，类型分类适应处理校正单元3502适当地预测减法图像(与从类型分类适应处理单元3501输出的预测图像具有相同的分辨率)，其为表示现实世界1中的信号(将被输入传感器2的原始图像)的图像与从类型分类适应处理单元3501输出的预测图像之差，并输出上述预测的减法图像(下文将称为“减法预测图像”)作为校正图像，从而几乎完全地再现现实世界1中的信号(原始图像)。
另一方面，如上所述，在如下之间存在关系现实世界1中的信号(将被输入传感器2的原始图像)与从类型分类适应处理单元3501输出的预测图像之差(误差)；以及现实世界1中的信号在输入图像的单个像素上的变化。另外，现实世界估计单元102估计现实世界1中信号，从而允许估计每个像素的特征，所述特征表示现实世界1中的信号在输入图像的单个像素上的变化。
在这样的结构中，类型分类适应处理校正单元3502接收输入像素的每个像素的特征，并基于其产生减法预测图像(预测减法图像)。
尤其是，例如，类型分类适应处理校正单元3502才能够现实世界估计单元102接收图像(下文称为“特征量图像”)作为其中特征由每个像素值表示的现实世界估计信息。
注意，特征量图像与来自传感器2的输入图像具有相同的分辨率。另一方面，校正图像(减法预测图像)与从类型分类适应处理单元3501输出的预测图像具有相同的分辨率。
在该结构中，类型分类数据处理校正单元3502基于特征量图像，利用常规类型分类适应处理，以特征量图像为SD图像并以校正图像(减法预测图像)为HD图像，预测和计算减法图像，从而获得合适的减法预测图像作为预测计算的结果。
上述为类型分类适应处理校正单元3502的设置。
图299示出了在所述机制上工作的类型分类适应处理校正单元3502的结构实例。
在图299中，将从现实世界估计单元102输入的特征量图像(SD图像)提供给区域选取单元3551和3555。区域选取单元3551从提供的特征量图像选取用于类型分类所需的类型分块(包括关注像素的位于预定区域上的一组SD像素)，并将选取的类型分块输出给图形检测单元3552。图形检测单元3552基于上述输入的类型分块检测特征量图像的图形。
类型代码确定单元3553基于上述由图形检测单元3553检测的图形确定类型代码，并将确定的类型代码输出给校正系数存储器3554和区域选取单元3555。校正系数存储器3554存储通过学习获得的每个类型代码的系数。校正系数存储器3554读出对应于从类型代码确定单元3553输入的类型代码，并将类型代码输出给校正计算单元3556。
注意，下面将参考图300所示的类型分类适应处理校正学习单元的方框图描述用于计算存储在校正系数存储器3554中的系数的学习处理。
另一方面，存储在校正系数存储器3554中的系数，即预测系数如下文所述预测减法图像(用于产生作为HD图像的减法预测图像)。然而，上述术语“预测系数”表示存储在类型分类适应处理单元3501的系数存储器3514(图290)中的系数。因此，存储在校正系数存储器3554中的预测系数在下文中将称为“校正系数”，以区分该系数与系数存储器3514中的预测系数。
区域选取单元3555基于从类型代码确定单元3553输入的类型代码，从自现实世界估计单元102输入的特征量图像(SD图像)选取用于预测减法图像(HD图像)(即用于产生作为HD图像的减法预测图像)所需的、对应于类型代码的预测分块(包括关注像素的位于预定区域上的一组SD像素)，并将选取的类型分块输出给校正计算单元3556。校正计算单元3556利用从区域选取单元3555输入的预测分块和从校正系数存储器3554输入的校正系数执行积-和计算，从而产生对应于特征量图像(SD图像)的关注像素(SD像素)的减法预测图像(HD图像)的HD像素。
尤其是，校正系数存储器3554将对应于从类型代码确定单元3553提供的类型代码的校正系数输出给校正计算单元3556。校正计算单元3556利用从区域选取单元3555提供的输入图像中的像素的预定位置上的像素值选取的预测分块(SD像素)和从校正系数存储器3554输入的校正系数执行由下面公式(226)表示的积-和计算，从而获得减法预测图像(HD图像)的HD像素(即，预测和估计减法图像)。
u'=Σi=0ngi×ai]]>公式(226)在公式(226)中，u’表示减法预测图像(HD图像)的HD像素。每个ai(i为1到n的整数)表示相应的预测分块(SD像素)。另一方面，每个gi表示相应的校正系数。
因此，当如图289所示的类型分类适应处理单元3501输出由上述公式(218)表示的HD像素q’，类型分类适应处理校正单元3502输出由公式(226)表示的减法预测图像的HD像素u’。然后，相加单元3503求预测图像的HD像素q’和减法预测图像的HD像素u’的和(下文中表示为“o’”)，并将该和输出给外部电路作为输出图像的HD像素。
也就是说，最后从图像产生单元103输出的输出图像的HD像素o’由下面公式(227)表示。
o'=q'+u'=Σi=0ndi×ci+Σi=0ngi×ai]]>公式(227)图300示出了用于确定存储在类型分类适应处理校正单元3502的校正系数存储器3554中的校正系数(用于上述公式(222)中的gi)的学习单元、即上述如图291所示的学习装置3504的类型分类适应处理校正学习单元3561的详细结构实例。
在上述图291中，当完成学习处理，类型分类适应处理学习单元3521输出基于第一学生图像利用通过计算获得的预测系数预测第一老师图像而获得的学习预测图像，并将用于学习处理的第一老师图像(HD图像)和第一学生图像(SD图像)输出给类型分类适应处理校正学习单元3561。
返回图300，在这些图像中，将第一学生图像输入数据连续性检测单元3572。
另一方面，在这些图像中，将第一学生图像和学习预测图像输入给相加单元3571。注意，在输入相加单元3571前将学习预测图像取反。
相加单元3571相加输入的第一老师图像和取反的输入学习预测图像，即产生第一老师图像和学习预测图像的减法图像，并将产生的减法图像输出给正规方程产生单元3578作为用于类型分类适应处理校正学习单元3561中的老师图像(其将被称为“第二老师图像”以区分该图像与第一老师图像)。
数据连续性检测单元3572检测包含在输入的第一学生图像中的数据连续性，并将检测结果输出给现实世界估计单元3573作为数据连续性信息。
现实世界估计单元3573基于上述输入的数据连续性信息产生特征量图像，并将产生的图像输出给区域选取单元3574和3577作为用于类型分类适应处理校正学习单元3561中的学生图像(该学生图像将被称为“第二学生图像”，以区分该学生图像与上述第一学生图像)。
区域选取单元3574从上述提供的第二学生图像(SD图像)选取用于类型分类所需的SD像素(类型分块)，并将选取的类型分块输出给类型检测单元3575。图形检测单元3575检测输入的类型分块的图形，并将检测结果输出给类型代码确定单元3576。类型代码确定单元3576确定对应于输入图形的类型代码，并将确定的类型代码输出给区域选取单元3577和正规方程产生单元3578。
区域选取单元3577基于从类型代码确定单元3576输入的类型代码从自现实世界估计单元3573输入的第二学生图像(SD图像)选取预测分块(SD像素)，并将选取的预测分块输出给正规方程产生单元3578。
注意，区域选取单元3574、图形检测单元3575、类型代码确定单元3576，以及区域选取单元3577具有基本相同的结构，并且，分别与如图299所示的类型分类适应处理校正单元3502的区域选取单元3551、图形检测单元3552、类型代码确定单元3553、以及区域选取单元3555相同地作用。另外，上述数据连续性检测单元3572和现实世界估计单元3773具有基本相同的结构，并且分别与数据连续性检测单元101和如图289所示的现实世界估计单元102相同地作用。
正规方程产生单元3578基于从区域选取单元3577输入的第二学生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单元3576输入的每个类型代码的第二老师图像(HD图像)的HD像素而产生正规方程，并将正规方程提供给系数确定单元3579。当从正规方程产生单元3578接收相应类型代码的正规方程时，校正系数确定单元3579利用正规方程计算校正系数，其相关于类型代码，并被存储在校正系数存储器3554中。
下面，将详细描述正规方程产生单元3578和校正系数确定单元3579。
在上述公式(226)中，所有校正系数gi在学习之前是未确定。在本实施例中，学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素，并将每个m个HD像素表示为uk(k表示1到m的整数)。在该情况下，从上述公式(226)得到下面的公式(228)。
uk=Σi=0ngi×aik+ek]]>公式(228)也就是说，公式(228)表示，通过计算公式(228)的右侧可以预测和估计对应于特定类型代码的HD像素。注意，在公式(228)中，ek表示误差。也就是说，作为该公式右侧的计算结果的减法预测图像(HD图像)的HD像素uk’不完全匹配实际减法图像的HD像素uk，而是包括特定误差ek。
在公式(228)中，例如，校正系数ai通过学习使得误差ek的平方和表现最小值而获得。
在本实施例中，预备m(m＞n)个HD像素uk用于学习处理。在该情况下，利用最小二乘法可以计算校正系数ai作为唯一解。
也就是说，利用最小二乘法计算公式(228)右侧中的校正系数ai的正规方程由下面公式(229)表示。
公式(229)当公式(229)中的矩阵为下面公式(230)到公式(232)，则正规方程由下面公式(233)表示。
公式(230)GMAT=g1g2···gn]]>公式(231)
UMAT=Σk=1ma1k×ukΣk=1ma2k×uk···Σk=1mank×uk]]>公式(232)AMATGMAT＝UMAT公式(233)如公式(231)所示，矩阵GMAT的每个分量为将要获得的校正系数gi。在本实施例中，在公式(233)中，如果确定了其左侧的矩阵AMAT和右侧的矩阵UMAT，可以利用矩阵求解方法计算矩阵GMAT(即校正系数gi)。
尤其是，在本实施例中，由于已知预测分块aik，因此可以获得由公式(230)表示的矩阵AMAT的各个分量。区域选取单元3577选取每个预测分块aik，并且正规方程产生单元3578利用从区域选取单元3577提供的预测分块aik计算矩阵AMAT的每个分量。
另一方面，在本实施例，预测分块aik和HD像素uk是已知的，因此可以计算如公式(232)所示的矩阵uMAT的各个分量。注意，预测分块aik与矩阵AMAT中相同。另外，减法图像的HD像素uk匹配从相加单元3571输出的第二老师图像的相应HD像素。在本实施例中，正规方程产生单元3578利用从区域选取单元3577提供的预测分块aik和第二老师图像(第一老师图像和学习预测图像的减法图像)而计算矩阵UMAT的每个分量。
如上所述，正规方程产生单元3578计算每个类型代码的矩阵AMAT和矩阵UMAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元3579。
校正系数确定单元3579基于对应于提供的类型代码的正规方程，计算作为由上述公式(233)表示的每个矩阵GMAT的分量的校正系数gi。
尤其是，可以将由上述公式(233)表示的正规方程转换为下面的公式(234)。
GMAT=AMAT-1UMAT]]>公式(234)在公式(234)中，其左侧矩阵GMAT的各个分量是将要获得的校正系数gi。注意，从正规方程产生单元3578提供矩阵AMAT和矩阵UMAT的各个分量。在本实施例中，当从正规方程产生单元3578接收对应于特定类型代码的矩阵AMAT的分量和矩阵UMAT的分量，校正系数确定单元3579通过执行由公式(234)的右侧表示的矩阵计算而计算矩阵GMAT，并将相关于类型代码的计算结果(校正系数gi)存储在校正系数存储器3554中。
上文详细描述了类型分类适应处理校正单元3502和类型分类适应处理校正学习单元3561，其中后者是学习单元，并且是类型分类适应处理校正单元3502的子单元。
注意，在本发明中采用的特征量图像不特别限制，只要通过类型分类适应处理校正单元3502基于其产生校正图像(减法预测图像)。换句话说，用于本发明的特征量图像中的每个像素的像素值，即特征不特别限制，只要所述特征表示现实世界1中的信号(图289)在单个像素(传感器2(图289)的像素)上的变化。
例如，可以采用“像素内梯度”作为特征。
注意，“像素内梯度”是这里新定义的术语。下面将描述像素内梯度。
如上所述，通过以三维空间中的位置x，y和z以及时间t为变量的函数F(x，y，t)表示作为图289中的图像的现实世界1的信号。
现在，假设其为图像的现实世界1中的信号具有在特定空间方向上的连续性。在该情况下，考虑通过沿空间方向X方向、Y方向和Z方向中的特定方向(例如X方向)投影函数F(x，y，t)获得的一维波形(将通过沿X方向投影函数F(x，y，t)获得的波形称为“X截面波形F(x)”)。在该情况下，可以理解，在沿连续性方向的附近可以获得类似上述一维波形F(x)的波形。
基于上述内容，在本发明中，现实世界估计单元102基于数据连续性信息(例如角度)利用n(n表示特定整数)阶多项式模拟函数f(x)模拟X截面波形F(x)，所述数据连续性信息反映了现实世界1中的信号的连续性，并从例如数据连续性检测单元101输出。
图301示出了由下面公式(235)表示的f4(x)(其为5多项式函数)，和由下面公式(236)表示的f5(x)(其为一阶多项式函数)，作为该多项式模拟函数f(x)的实例。
f4(x)＝w0+w1x+w2x2+w3x3+w4x4+w5x5公式(235)f5(x)＝w0’+w1’x 公式(236)注意，公式(235)中W0到W5的每个和公式(236)中W0’到W1’表示通过现实世界估计单元102计算的函数的相应阶数的系数。
另一方面，在图301中，将图中水平方向上的x轴定义为以关注像素的左端作为原点(x＝0)，并表示沿空间方向X距离关注像素的相对位置。注意，将x轴定义为以传感器2的检测元件的宽度Lc为1。另一方面，图中垂直方向上的轴线表示像素值。
如图301所示，一维模拟函数f5(x)(由公式(232)表示的模拟函数f5(x))利用线性模拟模拟关注像素周围的X截面波形F(x)。在该说明书中，将线性模拟函数的梯度称为“像素内梯度”。也就是说，像素内梯度由公式(236)中x的系数w1’表示。
快变像素内梯度反映了关注像素附近的X截面波形F(x)中的较大变化。另一方面，渐变梯度反映了关注像素附近的X截面波形F(x)中的较小变化。
如上所述，像素内梯度适当地反映了现实世界1的信号在单个像素(传感器2的像素)上的变化。因此，可以采用像素内梯度作为特征。
例如，图302示出了利用像素内梯度为特征产生的实际特征量图像。
也就是说，图302左边的图像与上述图293所示的SD图像3542相同。另一方面，图302右边的图像是如下述产生的特征量图像3591。也就是说，获得特征左边SD图像3542的每个像素的像素内梯度。然后，以对应于像素内梯度的值为像素值产生图中右边的图像。注意，特征量图像3591具有下面的特征。也就是说，在像素内梯度为0(即线性模拟函数平行于X方向)的情况下，产生具有对应于黑色的密度的图像。另一方面，在像素内梯度为90°(即线性模拟函数平行于Y方向)的情况下，产生具有对应于白色的密度的图像。
SD图像3542中的区域3542-1对应上述图294所示的减法图像3544中的区域3544-1(其在参考图295的上述中用作其中现实世界1的信号在单个像素上的变化较小的区域实例)。特征量图像3591中的区域3591-1对应SD图像3542中的区域3542-1。
另一方面，SD图像3542中的区域3542-2对应上述图296所示的减法图像3544中的区域3544-2(其在参考图297的上述中用作其中现实世界1的信号在单个像素上的变化较大的区域实例)。特征量图像3591中的区域3591-2对应SD图像3542中的区域3542-2。
比较SD图像3542的区域3542-1和特征量图像3591的区域3591-1，可以理解，其中现实世界1的信号的变化较小的区域对应具有接近黑色的密度的特征量图像3591的区域(对应于具有渐变像素内梯度的区域)。
另一方面，比较SD图像3542的区域3542-2和特征量图像3591的区域3591-2，可以理解，其中现实世界1的信号的变化较大的区域对应具有接近白色的密度的特征量图像3591的区域(对应于具有快变像素内梯度的区域)。
如上所述，利用对应于像素内梯度的值作为像素值产生的特征量图像适当地反映了现实世界1的信号在单个像素上的变化程度。
接着，将描述像素内梯度的具体计算方法。
也就是说，以关注像素附近的像素内梯度为“grad”，则像素内梯度grad由下面公式(237)表示。
grad=Pn-Pcx'n]]>公式(237)在公式(237)中，Pn表示关注像素的像素值。另外，PC表示中心像素的像素值。
尤其是，如图303所示，考虑具有特定数据连续性的来自传感器2的输入图像中的5×5的像素(图中5×5＝25个像素的区域)的区域3601(其在下文中称为“连续性区域3601”)。在连续性区域3601的情况下，中心像素是位于连续性区域3601的中心的像素3602。因此，PC是中心像素3602的像素值。另外，在像素3603是关注像素的情况下，则Pn是关注像素3603的像素值。
另外，在公式(237)中，xn’表示在关注像素中心的截面方向距离。注意，以中心像素(在如图303所示的情况中为像素3602)为空间方向中的原点(0，0)，将“截面方向距离”定义为在关注像素中心和平行于数据连续性方向、并经过原点的直线(在如图303所示情况中为直线3604)之间沿X方向上的相对距离。
图304示出了图303中的连续性区域3601内的每个像素的截面方向距离。也就是说，在图304中，在连续性区域3601(图中5×5＝25个像素的方形区域)中的每个像素内标记的值表示相应像素上的截面方向距离。例如，在关注像素3603上的截面方向距离xn’为-2β。
注意，将X轴和Y轴定义为在X方向和Y方向上的像素宽度都为1。另外，将X方向定义为以正方向对应于图中的右方向。另外，在该情况下，β表示在Y方向上相邻于中心像素3602(图中在其下方相邻)的像素3605上的截面方向距离。在本实施例中，数据连续性检测单元101提供如图304所示的角度θ(直线方向3604的方向和X方向之间的角度θ)作为数据连续性信息，因此，利用下面的公式(238)可以容易地获得值β。
β=1tanθ]]>公式(238)如上所述，基于中心像素(例如图304中的像素3602)和关注像素(例如图304中的像素3603)的两个输入像素值和角度θ，可以利用简单的计算获得像素内梯度。在本实施例中，现实世界估计单元102以对应于像素内梯度的值为像素值产生特征量图像，从而较大地减少了处理量。
注意，在需要更高精度像素内梯度的设置中，现实世界估计单元102可以通过最小二乘法利用包括关注像素的其附近的像素计算像素内梯度。尤其是，假设包括关注像素并在其周围的m(m表示2或更大的整数)个像素由指数i表示(i表示1到m的整数)。现实世界估计单元102将输入像素值Pi和相应的截面方向距离xi’代入下面公式(239)的右侧，从而计算关注像素上的像素内梯度grad。也就是说，公式(239)与上述利用最小二乘法获得一个变量的公式相同。
grad=Σi=1mx'i2×PiΣi=1m(x'i)2]]>公式(239)接着，将参考图305描述由利用类型分类适应处理校正方法的图像产生单元103(图289)进行的用于产生图像的处理(如图40所示的步骤S103中的处理)。
在图289中，当接收到作为图像的现实世界1中的信号，传感器2输出输入图像。将输入图像输入图像产生单元103的类型分类适应处理单元3501，以及将其输入数据连续性检测单元101。
然后，在图305所示的步骤S3501中，类型分类适应处理单元3501对输入图像(SD图像)进行类型分类适应处理，以产生预测图像(HD图像)，并将产生的预测图像输出给相加单元3503。
注意，下文中将该由类型分类适应处理单元3501进行的步骤S3501称为“输入图像类型分类适应处理”。下面将参考图306中的流程图描述在该情况下的“输入图像类型分类适应处理”。
数据连续性检测单元101在与步骤S3501中的处理几乎同时地检测包括在输入图像中的数据连续性，并将检测结果(在该情况中为角度)输出给现实世界估计单元102作为数据连续性信息(如图40所示的步骤S101中的处理)。
现实世界估计单元102基于输入图像(数据连续性信息)产生现实世界估计信息(特征量图像，其在该情况下为SD图像)，并将现实世界估计信息提供给类型分类适应处理校正单元3502(图40所示的步骤S102中的处理)。
然后，在步骤S3502中，类型分类适应处理校正单元3502对上述提供的特征量图像(SD图像)进行类型分类适应处理，从而产生减法预测图像(HD图像)(即，从而因此并计算实际图像(现实世界1中的信号)与从类型分类适应处理单元3501输出的预测图像之间的减法图像(HD图像))，并将减法预测图像输出给相加单元3503作为校正图像。
注意，下文中将该由类型分类适应处理校正单元3502进行的步骤S3502中的处理称为“类型分类适应处理校正处理”。下面将参考图307中的流程图详细描述在该情况下的“类型分类适应处理校正处理”。
然后，在步骤S3503中，相加单元3503进行如下求和通过类型分类适应处理单元3501利用步骤S3501中的处理产生的预测图像(HD图像)的关注像素(HD像素)；以及通过类型分类适应处理校正单元3502利用步骤S3502中的处理产生的校正图像(HD图像)的相应像素(HD像素)，从而产生输入图像(HD图像)的像素(HD像素)。
在步骤S3504中，相加单元3503确定是否已经对全部像素进行处理。
在步骤S3504中确定仍未对全部像素进行处理的情况下，流程返回步骤S3501，并重复后面的处理。也就是说，对未经过处理的每个剩余像素依次进行步骤S3501到S3503的处理。
在完成对全部像素的处理时(当在步骤S3504中确定已经对全部像素进行处理的情况下)，在步骤S3505中，相加单元3504将输出图像(HD图像)输出给外部电路，从而结束用于产生图像的处理。
接着，将参考附图依次详细描述“输入图像类型分类适应处理(步骤S3501中的处理)”和“类型分类适应校正处理(步骤S3502中的处理)”。
首先，参考图306中的流程图详细描述由类型分类适应处理单元3501(图290)执行的“输入图像类型分类适应处理”。
当将输入图像(SD图像)输入类型分类适应处理单元3501，在步骤S3521中，区域选取单元3511和3515分别接收所述输入图像。
在步骤S3522中，区域选取单元3511从输入图像选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置上的(一个或多个)像素(SD像素)作为类型分块，并将选取的类型分块提供给图形检测单元3512。
在步骤S3523中，图形检测单元3512检测上述提供的类型分块的图形，并将检测图形提供给类型代码确定单元3512。
在步骤S3524中，类型代码确定单元3513从预备的多种代码中确定适于上述提供的类型代码的图形的类型代码，并将确定的类型代码提供给区域选取单元3515。
在步骤S3525中，系数存储器3514从通过学习处理预备的多个预测系数(组)中，检测用于随后处理中的对应于提供到类型代码的预测系数(组)，并将选择的预测系数提供给预测计算单元3516。
注意，下面将参考图311中的流程图描述学习处理。
在步骤S3536，区域选取单元3515从输入图像选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置(其被设置在与类型分块相同的位置上)上的(一个或多个)像素(SD像素)作为预测分块，并将选取的预测分块提供给预测计算单元3516。
在步骤S3527中，预测计算单元3516利用从系数存储器3514提供的预测系数对从预测选取单元3515提供的预测分块进行计算处理以产生预测图像(HD图像)，并将产生的预测图像输出给相加单元3503。
尤其是，预测计算单元3516如下进行计算处理。也就是说，以从区域选取单元3515提供的预测分块的每个像素为ci(i表示1到n的整数)，并以从系数存储器3514提供的每个预测系数为di，则预测计算单元3516进行由上述公式(218)右侧表示的计算，从而计算对应于关注像素(SD像素)的HD像素q’。然后，预测计算单元3516将计算的HD像素q’输出给相加单元3503作为形成预测图像(HD图像)的像素，从而输入图像类型分类适应处理结束。
接着，将参考图307的流程图详细描述由类型分类适应处理校正单元3502(图299)执行的“类型分类适应处理校正处理”。
当将特征量图像(SD图像)输入类型分类适应处理校正单元3502作为来自现实世界估计单元102的现实世界估计信息，在步骤S3541中，区域选取单元3551和3555分别接收所述特征量图像。
在步骤S3542中，区域选取单元3551选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置上的(一个或多个)像素(SD像素)作为类型分块，并将选取的类型分块提供给图形检测单元3552。
尤其是，在该情况下，假设区域选取单元3551选取例如如图285所示的类型分块(一组像素)3621。也就是说，图285示出了类型分块的布置实例。
在图308中，图中水平轴表示作为一个空间方向的X方向，而图中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素3621-2表示。
在该情况下，被选取为类型分块的像素共为如下5个像素关注像素3621-2；沿Y方向相邻于关注像素3621-2的像素3621-0和3621-4；以及沿X方向相邻于关注像素3621-2的像素3621-1和像素3621-3，其构成像素组3621。
显然，用于本实施例的类型分块的布置并不限于如图308所示的实例，而是可以采用各种布置，只要所述布置包括关注像素3624-2。
返回图307，在步骤S3543，图形检测单元3552对这样提供的类型分块的图形进行检测，并提供检测到的图形到类型代码确定单元3553。
具体地说，在这种情况下，图形检测单元3552对形成图308所示的类型分块的5个像素3621-0到3621-4的每一个，检测属于该像素值的类型，即特征值(例如像素内梯度)，并将检测结果以例如单数据组的形式输出为图形。
这里，假设检测到例如如图309所示的图形。也就是说，图309示出了类型分块图形的实例。
在图309中，图中水平轴表示类型分块，图中垂直轴表示像素内梯度。另一方面，假设预备的类型共有类型3631、类型3632和类型3633三种类型。
在该情况下，图309示出了这样的图形，其中类型分块3621-1属于类型3631，类型分块3621-2属于类型3633，类型分块3621-3属于类型3631，以及类型分块3621-4属于类型3632。
如上所述，5个类型分块3621-0到3621-4中的每个属于三种类型3631到3633中的一种。因此，在该情况下，存在包括如图286所示图形的共273(＝35)种图形。
返回图307，在步骤S3544，类型代码确定单元3553从预备的多个类型代码中确定对应于上述提供的类型分块的图形的类型代码，并将确定的类型代码提供给校正系数存储器3554和区域选取单元3555。在该情况下，存在273个图形，因此，存在273(或更多的)预备类型代码。
在步骤S3545中，校正系数存储器3554从利用学习处理在上述确定的多组校正系数组中对应于上述提供的类型代码选择将用于后面的处理中的校正系数(组)，并将选择的校正系数提供给校正计算单元3556。注意，将预备的每个校正系数组相关于一种预备的类型代码存储在校正系数存储器3554中。因此，在该情况下，校正系数组数匹配预备的类型代码数(即273或更多)。
注意，下面将参考图311中的流程图描述学习处理。
在步骤S3546中，区域选取单元3555从输入图像选取关注像素(SD像素)、和位于距离关注像素的预定相对位置(不依赖于类型分块的位置确定的一个或多个位置。然而，预测分块的位置可以匹配类型分块的位置)上的像素(SD像素)作为预测分块，并将选取的预测分块提供给校正计算单元3556。
尤其是，在该情况下，假设选取如图310所示的预测分块(组)3641。也就是说，图310示出了预测分块的布置的实例。
在图310中，图中水平轴表示作为一个空间方向的X方向，而图中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素3641-1表示。即，像素3641-1是对应于类型分块3621-2(图308)的像素。
在该情况下，在如图310所示的实例中，被选取为预测分块(组)的像素为以关注像素3641-1为中心的5×5个像素3041(由共25个像素形成一组像素)。
显然，用于本实施例的预测分块的布置并不限于如图310所示的实例，而是可以采用各种其中包括关注像素3641-1布置。
返回图307，在步骤S3547中，校正计算单元3556利用从校正系数存储器3554提供的预测系数对从区域选取单元3555提供的预测分块进行计算，从而产生减法预测图像(HD图像)。然后，校正计算单元3556将减法预测图像输出给相加单元3503作为校正图像。
尤其是，以从区域选取单元3555提供的类型分块为ai(i表示1到n的整数)，并以从校正系数存储器3554提供的每个校正系数为gi，则校正计算单元3556进行由上述公式(226)右侧表示的计算，从而计算对应于关注像素(SD像素)的HD像素u’。然后，校正计算单元3556将计算的HD像素输出给相加单元3503作为校正图像(HD图像)的像素，从而类型分类适应校正处理结束。
接着，将参考图311的流程图描述通过学习装置(图291)进行的学习处理，即用于产生用于类型分类适应处理单元3501(图290)中的预测系数的学习处理、和用于产生用于类型分类适应处理校正单元3502(图299)中的校正系数的学习处理。
在步骤S3561中，类型分类适应处理学习单元3521产生用于类型分类适应处理单元3501中的预测系数。
也就是说，类型分类适应处理学习单元3521接收特定图像作为第一老师图像(HD图像)，并基于第一老师图像产生具有降低的分辨率的学生图像(SD图像)。
然后，类型分类适应处理学习单元3521利用类型分类适应处理基于第一学生图像(SD图像)产生允许对第一老师图像(HD图像)的适当预测的预测系数，并将产生的预测系数存储在类型分类适应处理单元3501的系数存储器3514(图290)中。
注意，下文中将该由类型分类适应处理学习单元3521执行的步骤S3561中的处理称为“类型分类处理学习处理”。下面将参考图312详细描述在该情况下的“类型分类适应处理学习单元”。
当产生用于类型分类适应处理单元3501中的预测系数，在步骤S3562，类型分类适应处理校正学习单元3561产生用于类型分类适应处理校正单元3502中的校正系数。
也就是说，类型分类适应处理校正学习单元2561从类型分类适应处理学习单元3521接收第一老师图像、第一学生图像以及学习预测图像(利用由类型分类适应处理学习单元3521产生的预测系数预测第一老师图像获得的图像)。
接着，类型分类适应处理校正学习单元3561产生第一老师图像和学习预测图像之间的减法图像，用作第二老师图像，并基于第一学生图像输出特征量图像，作为第二学生图像。
然后，类型分类适应处理校正学习单元3561利用类型分类适应处理基于第二学生图像(SD图像)产生允许对第二老师图像(HD图像)的适当预测的预测系数，并将产生的预测系数存储在类型分类适应处理校正单元3502的校正系数存储器3554中作为校正系数，从而结束学习处理。
注意，下文中将该通过类型分类适应处理校正学习单元3561执行的步骤S3562中的处理称为“类型适应处理校正学习处理”。下面将参考图313的流程图详细描述在该情况下的“类型分类适应处理校正学习处理”。
接着，将参考附图依次描述“类型分类适应处理学习处理(步骤S3561中的处理)”和“类型分类适应处理校正学习处理(步骤S3562中的处理)”。
首先，参考图312中的流程图详细描述由类型分类适应处理学习单元3521(图292)执行的“类型分类适应处理学习处理”。
在步骤S3581中，下降转换器单元3531和正规方程产生单元3536各接收特定图像作为第一老师图像(HD图像)。注意，还将第一老师图像如上所述输入类型分类适应处理校正学习单元3561。
在步骤S3582中，下降转换器单元3531对输入的第一老师图像进行“下降转换”处理(将图像转换成下降分辨率的图像)，从而产生第一学生图像(SD图像)。然后，下降转换单元3531将产生的第一学生图像提供给类型分类适应处理校正学习单元3561、以及区域选取单元3532和3535。
在步骤S3583中，区域选取单元3532从上述提供的第一学生图像选取类型分块，并将选取的类型分块输出给图形检测单元3533。尽管严格地说，在向/从步骤S3583所示的处理和上述步骤S3522(图306)所示的处理之间的块输入/输出信息中存在差异(下文中将该差异简称为“输入/输出差异”)，但是步骤S3583中的处理与上述步骤S3522中的处理基本相同。
在步骤S3584中，图形检测单元3533从上述提供的类型分块中检测用于确定类型代码的图形，并将检测的图形提供给类型代码确定单元3534。注意，除了输入/输出，步骤S3584所示的处理与上述步骤S3523(图306)所示的处理基本相同。
在步骤S3585中，类型代码确定单元3524基于上述提供的类型分块的图形确定类型代码，并将确定的类型代码提供给区域选取单元3535和正规方程产生单元3536。注意，除了输入/输出以外，步骤S3585中的处理与上述步骤S3524(图306)中的处理基本相同。
在步骤S3586中，区域选取单元对应于提供的类型代码从第一学生图像中选取预测分块，并将选取的预测分块提供给正规方程产生单元3536和预测计算单元3538。注意，除了输入/输出以外，步骤S3586中的处理与上述步骤S3526(图306)中的处理基本相同。
在步骤S3587中，正规方程产生单元3536基于从区域选取单元3535提供的预测分块(SD像素)和第一老师图像(HD图像)的HD像素的相应HD像素而产生由上述公式(220)表示的正规方程(即公式(221))，并将产生的正规方程与从类型代码确定单元3534提供的类型代码一起提供给系数确定单元3537。
在步骤S3588中，系数确定单元3537求解上述提供的正规方程，从而确定预测系数。也就是说，系数确定单元3537计算上述公式(225)的右侧，从而计算预测系数。然后，系数确定单元3537将确定的预测系数提供给预测计算单元3538，并将上述提供的关于类型代码的预测系数存储在系数存储器3514中。
在步骤S3589中，预测计算单元3538利用从系数确定单元3537提供的预测系数对从区域选取单元3535提供的预测分块进行计算，从而产生学习预测图像(HD像素)。
尤其是，以从区域选取单元3535提供的每个预测分块为ci(i表示1到n的整数)，并以从系数确定单元3537提供的每个预测系数为di，则预测计算单元3538计算上述公式(218)的右侧，从而计算HD像素q’，其被用作学习预测图像的像素，并且预测第一老师图像的相应HD像素q。
在步骤S3590中，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该流程返回步骤S3583。也就是说，重复步骤S3533到步骤S3590的处理直到完成对全部像素的处理。
然后，在步骤S3590中，在确定已经进行对全部像素的处理的情况下，预测计算单元3538将学习预测图像(由HD像素q’构成的HD图像，每个像素q’从步骤S3589中对于其的处理产生)输出给类型分类适应处理校正学习单元3561，从而类型分类适应处理学习处理结束。
如上所述，在该实例中，在完成对全部像素的处理后，将作为预测第一老师图像的HD图像的学习预测图像输入类型分类适应处理校正学习单元3561。也就是说，将形成图像的全部HD像素(预测像素)同时输出。
然而，本发明不限于上述其中同时输出形成图像的全部像素的设置。而是，可以这样设置，其中在每次由步骤S3589中的处理产生HD像素(预测像素)时将产生的HD像素输出给类型分类适应处理校正学习单元3561。在该设置下，省略步骤S3591中的处理。
接着，将参考图313详细描述由类型分类适应处理校正学习单元3561(图300)执行的“类型分类适应处理校正学习处理”。
当从类型分类适应处理学习单元3521接收第一老师图像(HD图像)和学习预测图像(HD图像)时，在步骤S3601，相加单元3571从第一老师图像减去学习预测图像，从而产生减法图像(HD图像)。然后，相加单元3571将产生的减法图像提供给正规方程产生单元3578作为第二老师图像。
当从类型分类适应处理学习单元3521接收第一学生图像(SD图像)，在步骤S3602中，数据连续性检测单元3572和现实世界估计单元3573基于输入的第一学生图像(SD图像)产生特征量图像，并将产生的特征量图像提供给区域选取单元3574和3577作为第二学生图像。
也就是说，数据连续性检测单元3572检测包含在第一学生图像中的数据连续性，并将检测结果(在该情况下为角度)输出给现实世界估计单元3573作为数据连续性信息。注意，除了输入/输出以外，由数据连续性检测单元3572进行的步骤S3602所示的处理与上述图40所示的步骤S101中的处理基本相同。
现实世界估计单元3573基于上述输入的角度(数据连续性信息)产生现实世界估计信息(在该情况下为作为SD图像的特征量图像)，并将产生的现实世界估计信息提供给区域选取单元3574和3577作为第二学生图像。注意，除了输入/输出以外，由现实世界估计单元3573进行的步骤S3602所示的处理与上述图40所示的步骤S102中的处理基本相同。
注意，本发明不限于其中以图313所示的次序进行步骤S3601中的处理和步骤S3602中的处理的设置。也就是说，可以这样设置，其中在步骤S3601的处理前进行步骤S3602中的处理。另外，可以同时进行步骤S3601中的处理和步骤S3602中的处理。
在步骤S3603中，区域选取单元3574从上述提供的第二学生图像(特征量图像)选取类型分块，并将选取的类型分块输出给图形检测单元3575。注意，除了输入/输出以外，步骤S3603中所示的处理与上述(图307)步骤S3542中所示的处理基本相同。也就是说，在该情况下，选举具有如图308所示的布置的一组像素3621作为类型分块。
在步骤S3604中，图形检测单元3575从上述提供的类型分块中检测图形以确定类型代码，并将检测的图形提供给类型代码确定单元3576。注意，除了输入/输出以外，步骤S3604中所示的处理与上述(图307)步骤S3543中所示的处理基本相同。也就是说，在该情况下，图形检测单元3575在完成学习处理时检测至少273各图形。
在步骤S3605中，类型代码确定单元3576基于上述提供的类型分块的图形确定类型分块，并将类型分块提供给区域选取单元3577和正规方程产生单元3578。注意，除了输入/输出以外，步骤S3605中所示的处理与上述(图307)步骤S3544中所示的处理基本相同。也就是说，在该情况下，类型代码确定单元3576在完成学习处理时确定至少273各类型代码。
在步骤S3606，区域选取单元3577对应于上述提供的类型代码从第二学生图像(特征量图像)选取预测分块，并将选取的预测分块提供给正规方程产生单元3578。注意，除了输入/输出以外，步骤S3606中所示的处理与上述(图307)步骤S3546中所示的处理基本相同。也就是说，在该情况下，选取具有如图310所示的布置的一组像素作为预测分块。
在步骤S3607中，正规方程产生单元3578基于从区域选取单元3577、和第二老师图像(第一老师图像和学习预测图像之间的减法图像，其为HD图像)产生由上述公式(229)表示的正规方程(即公式(230))，并将产生的正规方程与从类型代码确定单元3576提供的类型代码一起提供给校正系数确定单元3579。
在步骤S3608中，校正系数确定单元3579通过求解上述提供的正规方程确定校正系数，即通过计算上述公式(234)的右侧计算校正系数，并将相关于提供的类型代码的计算的校正系数存储在校正系数存储器3554中。
在步骤S3609，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该流程返回步骤S3603。也就是说，重复步骤S3603到步骤S3609的处理直到完成对全部像素的处理。
另一方面，在步骤S3609中，在确定已经进行对全部像素的处理的情况下，类型分类适应处理校正学习处理结束。
如上所述，在类型分类适应校正处理方法中，通过相加从类型分类适应处理单元3501输出的预测图像和从类型分类适应处理校正单元3502输出的校正图像(减法预测图像)而产生相加图像，并输出产生的相加图像。
例如，假设将上述图293所示的HD图像3541转换成下降分辨率图像，即，获得具有下降的分辨率的SD图像3542，则将上述获得的SD图像3542用作输入图像。在该情况下，类型分类适应处理单元3501输出如图314所示的预测图像3543。然后，通过相加预测图像3543和从类型分类适应处理校正单元3502输出的校正图像(未示出)而产生图像(例如，利用校正图像校正预测图像3543)，从而产生如图294所示的输出图像3651。
比较输出图像3651、预测图像3543、以及作为原始图像的HD图像3541(图293)，确定了输出图像3651比预测图像3543更接近HD图像3541。
如上所述，相比于其它包括类型分类适应处理的技术，类型分类适应处理校正方法允许输出更接近原始图像(将被输入传感器2的现实世界1的信号)的图像。
换句话说，在类型分类适应处理校正方法中，例如，如图289所示的数据连续性检测单元101检测由多个像素形成的输入图像(图289)中包含的数据连续性，所述像素具有通过由传感器(例如图289中所示的传感器2)的多个检测元件投影现实世界1中的光信号而获得的像素值，其中由于由每个具有实际空间积分效应的多个检测元件将现实世界1中的光信号投影为像素值，因此丢失了现实世界中的光信号的部分连续性。
例如，如图289所示的现实世界估计单元102对应于检测的数据连续性检测包含在表示现实世界1的光信号(例如，对应于如图289所示的特征量图像的像素的特征)的光信号函数F(x)(图298)中的现实世界特征，从而估计现实世界1中的光信号。
尤其是，例如，表示沿至少一维方向离表示上述提供的数据连续性的直线(例如图303中的直线3604)的距离(例如图303中所示的截面方向距离Xn’)的像素值，表示影响相应像素的至少一维积分效应，现实世界估计单元102利用例如如图301所示的模拟函数f5(x)模拟光信号函数F(x)，并检测其为相应像素(例如如图303所示的像素3603)附近的模拟函数f5(x)的梯度的像素内梯度(例如，在上述公式(234)中的grad，和公式(233)中的x的系数w1’)作为现实世界特征，从而估计现实世界1中的光信号。
然后，例如，如图289所示的图像产生单元103基于由现实世界估计装置检测的现实世界特征预测并产生比输入图像具有更高质量的输出图像(图289)。
尤其是，在图像产生单元103中，例如，如图289所示的类型分类适应处理单元3501基于输入图像中关注像素附近的多个像素的像素值预测关注像素(例如，如图289所示的预测图像的像素，和上述公式(224)中的q’)的像素值，在所述输入图像中，已经丢失了作为现实世界中的光信号的部分连续性。
另一方面，例如，如图289所示的类型分类适应处理校正单元3502基于从如图289所示的现实世界估计单元102提供的特征量图像(现实世界估计信息)预测校正项(例如如图289所示的校正图像(减法预测图像)的像素，以及公式(227)中的u’)，用于校正由类型分类适应处理单元3501预测的预测图像的关注像素的像素值。
然后，例如，如图289所示的相加单元3503利用由类型分类适应处理单元3501预测的校正项(例如，由公式(224)表示的计算)校正由类型分类适应处理单元3501预测的预测图像的关注像素的像素值。
另外，用于类型分类适应处理校正方法中的分量实例包括如图291所示的类型分类适应处理学习单元3521，用于通过学习确定存储在如图290所示的系数存储器3514中的预测系数；以及如图291所示的学习装置3504，其被包括在如图291所示的类型分类适应处理校正学习单元3561中，用于通过学习确定存储在如图299所示的校正系数存储器3554中的校正系数。
尤其是，例如，如图292所示的类型分类适应处理学习单元3521包括下降转换器单元3521，用于对学习图像数据进行下降转换处理；系数确定单元3537，用于以学习图像数据为第一老师图像、以受到下降转换器单元3531的下降转换处理的学习图像数据为第一学生图像，通过学习第一老师图像与第一学生图像之间的关系而产生预测系数；以及区域选取单元3532到正规方程产生单元3536。
类型分类适应处理学习单元3521还包括预测计算单元3538，其利用例如由系数确定单元3537产生的预测系数用于产生学习预测图像，作为用于从第一学生图像预测老师图像的图像数据。
另一方面，例如，如图300所示的类型分类适应处理校正学习单元3561包括数据连续性检测单元3572和现实世界估计单元3573，用于检测第一学生图像中的数据连续性、基于上述检测的数据连续性检测对应于第一学生图像的每个像素的现实世界特征，以及利用对应于检测的现实世界特征的值作为像素值产生特征量图像(尤其是，例如如图302所示的特征量图像3591)，其被用作第二学生图像(例如图300中的第二学生图像)；相加单元3571，用于产生第一学生图像和学习预测图像之间的图像数据(减法图像)，其被用作第二老师图像；校正系数确定单元3579，用于通过学习第二老师图像和第二学生图像之间的关系而产生校正系数；以及区域选取单元3574到正规方程产生单元3578。
从而，类型分类适应处理校正方法允许比包括类型分类适应处理的其它方法输出更接近原始图像(将被输入传感器2的现实世界1中的信号)的图像。
注意，类型分类适应处理和简单的内插处理的差异如下。也就是说，不同于简单的内插，类型分类适应处理允许再现包含在HD图像中的在SD图像中已经丢失的分量。也就是说，只要参考上述公式(218)和(226)，类型分类适应处理看上去与利用所谓的内插过滤器的内插处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生数据(第一老师图像和第一学生图像，或第二老师图像和第二学生图像)的学习获得对应于内插过滤器的系数的预测系数di和校正系数gi，从而再现包含在HD图像中的分量。因此，上述类型分类适应处理可以说是具有改善图像质量(改善分辨率)的功能的处理。
尽管描述了具有改善空间分辨率的功能的设置，由于类型分类适应处理采用通过利用合适种类的老师数据和学生数据进行学习而获得各种系数，因此允许各种用于改善S/N(信噪比)、改善模糊等的处理。
也就是说，在类型分类适应处理中，可以例如以具有高S/N的图像为老师数据、并以基于老师图像产生的具有降低S/N(或降低分辨率)的图像为学生数据而获得系数，从而改善S/N(或改善模糊)。
尽管描述了具有如图3所示的结构的图像处理装置作为根据本发明的设置，但是根据本发明的设置不限于如图3所示的设置，而可以采用各种修改。也就是说，如图1所示的信号处理装置4的设置不限于如图3所示的设置，而是可以进行各种修改。
例如，具有如图3所示结构的信号处理装置基于包含在作为图像的现实世界1中的信号中的数据连续性进行信号处理。从而，相比于由其它信号处理装置进行的信号处理，具有如图3所示结构的信号处理装置可以对其中可以获得现实世界1中的信号的连续性的区域进行高精度的信号处理，从而输出更接近现实世界1中的信号的图像数据。
然而，具有如图3所示的结构的信号处理装置基于连续性执行信号处理，因此对于其中不能获得现实世界1的信号连续性的区域，不能以与对于其中存在连续性的区域的处理相同地精度执行信号处理，导致了相对于现实世界1中的信号包含误差的输出图像数据。
因此，可以这样设置，在如图3所示的信号处理装置的结构上，还包括用于不利用连续性进行信号处理的另一装置(或程序)。在这样的设置中，具有如图3所示的信号处理装置对其中可以获得现实世界1中的信号的连续性的区域执行信号处理。另一方面，添加的装置(或程序等)对其中不能获得现实世界1的信号的连续性的区域进行信号处理。注意，下文中将该设置称为“混合方法”。
下面将参考图315到图328描述5个具体混合方法(下文中将其称为“第一混合方法”到“第五混合方法”)。
注意，使用该混合方法的信号处理装置的每个功能既可以通过硬件实现也可以通过软件实现。也就是说，图315到图317、图321、图323、图325以及图327所示的方框图可以被认为是硬件方框图或软件方框图。
图315示出了采用第一混合方法的信号处理装置的结构实例。
在图315所示的信号处理装置中，当接收作为数据3的实例(图1)的图像数据，基于输入的图像数据(输入图像)进行下文所述的图像处理，从而产生图像，并输出产生的图像(输出图像)。也就是说，图315示出了作为图像处理装置的图像处理装置4(图1)的结构。
将输入图像处理装置4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4104。
数据连续性检测单元4101从输入图像检测数据连续性，并将表示检测的连续性的连续性信息提供给现实世界估计单元4102和图像生成单元4103。
如上所述，数据连续性检测单元4101与图3所示的数据连续性检测单元101具有基本相同的结构和功能。因此，数据连续性检测单元4101可以具有上述各种结构。
注意，数据连续性检测单元4101还具有产生用于指定关注像素的区域(下文中将其称为“区域指定信息”)的信息的功能，并将产生的信息提供给区域检测单元4111。
这里所用的区域指定信息不受特别限制，而可以这样设置，其中在产生数据连续性信息后产生新信息，或者可以这样设置，其中在产生数据连续性信息的同时产生该信息。
尤其是，可以采用例如估计误差作为区域指定信息。也就是说，例如，在数据连续性检测单元4101利用最小二乘法计算作为数据连续性的角度的同时获得估计误差。可以采用估计误差作为区域指定信息。
现实世界估计单元4102基于输入图像和从数据连续性检测单元4102提供的数据连续性信息估计现实世界1中的信号(图1)。也就是说，现实世界估计单元4102在已经获取输入图像的阶段估计作为现实世界1的信号的图像，所述图像将被输入传感器2(图1)。现实世界估计单元4102将用于表示对现实世界1的信号的估计结果的现实世界估计信息提供给图像产生单元4103。
如上所述，现实世界估计单元4102与图3所示的现实世界估计单元102具有基本相同的结构和功能。因此，现实世界估计单元4102可以具有各种上述结构。
图像产生单元4103基于从现实世界估计单元4102提供的表示现实世界1的估计信号的现实世界估计信息产生类似现实世界1中的信号的信号，并将产生的信号提供给选择器4112。可选的是，图像产生单元4103产生更接近现实世界1的信号的信号，其中基于从数据连续性检测单元4101通过的用于表示现实世界1中的估计信号的数据连续性信息；以及从现实世界估计单元4102提供的现实世界估计信息，并将产生的信号提供给选择器4112。
也就是说，图像产生单元4103基于现实世界估计信息产生类似于现实世界1中的图像的图像，并将产生的图像提供给选择器4112。可选的是，图像产生单元4103基于数据连续性信息和现实世界估计信息产生更接近现实世界1中的图像的图像，并将产生的图像提供给选择器4112。
如上所述，图像产生单元4103与图3所示的图像产生单元103具有基本相同的结构和功能。因此，图像生成单元4103可以具有各种上述结构。
图像产生单元4104对输入图像进行预定图像处理以产生图像，并将产生的图像提供给选择器4112。
注意，由图像产生单元4104执行的图像处理不特别限制，只要采用除在数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103中采用的图像处理以外的图像处理。
例如，图像产生单元4104可以进行常规类型分类适应处理。图316示出了用于进行类型分类适应处理的图像产生单元4104的结构实例。注意，下面将参考图316详细描述用于执行类型分类处理的图像产生单元4104。另外，下面将同时参考图316描述类型分类适应处理。
连续性区域检测单元4105包括区域检测单元4111和选择器4112。
区域检测单元4111基于从数据连续性检测单元4101提供的区域指定信息检测被提供给选择器4112的图像(关注像素)属于连续性区域还是非连续性区域，并将检测结果提供给选择器4112。
注意，由区域检测单元4111执行的区域检测处理不特别限制。例如，可以提供上述估计误差作为区域指定信息。在该情况下，可以这样设置，其中，在上述提供的估计误差小于预定阈值的情况下，区域检测单元4111确定输入图像的关注像素属于连续性区域，在上述提供的估计误差大于预定阈值的情况下，确定输入图像的关注像素属于非连续性区域。
选择器4112基于从区域检测单元4111提供的检测结果检测从图像产生单元4103提供的图像和从图像产生单元4104提供的图像中选择一个，并将选择的图像向外输出作为输出图像。
也就是说，在区域检测单元4111确定关注像素属于连续性区域的情况下，选择器4112选择从图像产生单元4103提供的图像(由图像生成单元4103产生的、对应于输入图像的关注像素的像素)作为输出图像。
另一方面，在区域检测单元4111确定关注像素属于非连续性区域的情况下，选择器4112选择从图像产生单元4104提供的图像(由图像生成单元4104产生的、对应于输入图像的关注像素的像素)作为输出图像。
注意，选择器4112可以输出像素增量的输出图像(即，可以输出每个选择像素的输出图像)，或者可以这样设置，其中存储经过处理的像素直到完成对全部像素的处理，并在完成对全部像素的处理时同时输出全部像素(一次输出整个图像)。
接着，将参考图316描述用于执行作为图像处理的实例的类型分类适应处理的图像产生单元4104。
在图316中，假设由图像产生单元4104执行的类型分类适应处理是用于例如改善输入图像的空间分辨率。也就是说，假设类型分类适应处理是用于将具有标准分辨率的输入图像转换成具有高分辨率的作为图像的预测图像的处理。
注意，下文中将具有标准分辨率的图像适当地称为“SD(标准精度)图像”，并将构成SD图像的像素适当地称为“SD像素”。
另一方面，下文中将具有高分辨率的图像适当地称为“HD(高精度)图像”，并将构成HD图像的像素适当地称为“HD像素”。
尤其是，由图像产生单元4104执行的类型分类适应处理如下所述。
也就是说，为了获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素，首先，获得由关注像素和其周围像素形成的SD像素(下文中还将该SD像素称为“类型分块”)的特征，基于其特征，通过选择相关于特征的预备类型中的一种识别每个类型分块的类型(即，识别类型分块组的类型代码)。
然后，利用如下计算积-和基于识别的类型代码从预备的多个系数组(每个系数组对应特定类型代码)中选择的一种的系数；由关注像素和其周围的SD像素形成的SD像素(下文中将该输入图像的SD像素称为“预测分块”，注意，预测分块可以匹配类型分块)，从而获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。
尤其是，在图1中，当将现实世界1中的信号(光强分布)输出给传感器2，传感器2输出输入图像。
在图316中，将输入图像(SD图像)提供给图像产生单元4104的区域选取单元4121和4125。区域选取单元4125从上述提供的输入图像选取用于类型分类所需的类型分块(位于包括关注像素(SD像素)的预定区域上的SD像素)，并将选取的类型分块输出给图形检测单元4122。图形检测单元4122基于上述输入的类型分块检测输入图像的图形。
类型代码确定单元4123基于由图形检测单元4122检测的图形确定类型代码，并将确定的类型代码输出给系数存储器4124和区域选取单元4125。系数存储器4124存储通过学习获得的每个类型代码的系数。系数存储器4124读出对应于从类型代码确定单元4123输入的类型代码的系数，并将上述读出的系数输出给预测计算单元4126。
注意，下面将参考图317所示的学习装置的方框图描述用于获得存储在系数存储器4124中的系数的学习处理。
注意，存储在系数存储器4124中的系数用于产生下述预测图像(HD图像)。因此，下文中将存储在系数存储器4124中的系数称为“预测系数”。
区域选取单元4125基于从类型代码确定单元4123输入的类型代码相应于类型代码，从自传感器2输入的输入图像(SD图像)选取用于预测和产生预测图像(HD图像)所需的预测分块(位于包括关注像素的预定区域上的SD像素)，并将选取的预测分块输出给预测计算单元4126。
预测计算单元4126利用从区域选取单元4125输入的预测分块和从系数存储器4124输入的预测系数执行积-和计算，从而产生对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。然后，预测计算单元4126将产生的HD像素输出给选择器4112。
尤其是，系数存储器4124将对应于从类型代码确定单元4123提供的类型代码的预测系数输出给预测计算单元4126。预测计算单元4126利用从区域选取单元4125提供的、并从预定像素区域中的像素值选取的预测分块、以及从系数存储器4124提供的预测系数执行由下面公式(240)表示的积-和计算，从而获得(预测和估计)对应于预测图像(HD图像)的HD像素。
q'=Σi=0ndi×ci]]>公式(240)在公式(237)中，q’表示预测图像(HD图像)的HD像素。每个ci(i表示1到n的整数)表示相应的预测分块(SD像素)。另外，每个di表示相应的预测系数。
如上所述，图像产生单元4104基于SD图像(输入图像)预测和估计相应的HD图像，因此，在该情况下，将从图像产生单元4104输出的HD图像称为“预测图像”。
图317示出了用于确定存储在图像产生单元4104的系数存储器4124中的预测系数(公式(237)种的di)的学习装置(用于计算预测系数的装置)。
在图317中，将特定图像输入下降转换器单元4141和正规方程产生单元4146中作为老师图像(HD图像)。
下降转换器单元4146基于这样输入的老师图像(HD图像)产生比输入的老师图像具有更低分辨率的学生图像(SD图像)(即，对老师图像进行下降转换处理，从而获得学生图像)，并将产生的学生图像输出给区域选取单元4142和4145。
如上所述，学习装置4131包括下降转换器单元4141，因此，不需要制备出如相应于来自传感器2(图1)的输入图像的老师图像(HD图像)那样的高分辨率图像。原因在于，可以将通过对老师图像进行下降转换处理而获得的学生图像(具有下降的分辨率)用作SD图像。在该情况下，对应于学生图像的老师图像可以用作HD图像。因此，可以将来自传感器2的输入图像不经过任何转换地用作老师图像。
区域选取单元4142从自下降转换器单元4141中提供的学生图像(SD图像)中选取用于类型分类所需的类型分块(SD像素)，并且，将选取的类型分块输出给图形检测单元4143。图形检测单元4143检测上述输入的类型分块的图形，并将检测结果输出给类型代码确定单元4144。类型代码确定单元4144确定对应于输入图形的类型代码，并将类型代码分别输出给区域选取单元4145和正规方程产生单元4146。
区域选取单元4145基于从类型代码确定单元4144输入的类型代码从自下降转换器单元4141中输入的学生图像(SD图像)中选取预测分块(SD像素)，并且，将选取的预测分块输出给正规方程产生单元4146注意，上述区域选取单元4142、图形检测单元4143、类型代码确定单元4144，以及区域选取单元4145具有基本相同的结构，并且，与如图316所示的图像产生单元4104的区域选取单元3121、图形检测单元3122、类型代码确定单元3123、以及区域选取单元3125相同地作用。
正规方程产生单元4146基于从区域选取单元4145输入的学生图像(SD图像)的预测分块(SD像素)，以及每个类型代码的老师图像(HD图像)的HD像素而产生从类型代码确定单元4144输入的每个类型代码的正规方程，并将产生的正规方程提供给系数确定单元4147。
当从正规方程产生单元4146接收对应于特定类型代码的正规方程时，系数确定单元4147利用正规方程计算预测系数，并将计算的预测系数存储在相关于类型代码的系数存储器4142中。
现在，将详细描述正规方程产生单元4146和系数确定单元4147。
在上述公式(240)中，每个预测系数di在学习处理之前是未确定的系数。学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素。在该情况下，将m个HD像素表示为qk(k表示1到m的整数)。则从公式(240)得到下面的公式(241)。
qk=Σi=0ndi×cik+ek]]>公式(241)也就是说，公式(241)表示，通过执行由公式(241)右侧表示的计算可以预测和估计HD像素qk。注意，在公式(241)中，ek表示误差。也就是说，预测图像(HD图像)的HD像素qk’不完全匹配实际HD像素qk，并包括特定误差ek，所述预测图像是计算右侧的计算结果。
在本实施例中，通过学习处理使得公式(241)所示的误差ek的平方和表现最小值而获得预测系数di，从而获得用于预测实际HD像素qk的最优预测系数di。
尤其是，在本实施例中，基于例如通过学习收集的m个HD像素qk(其中m大于n)，通过利用最小二乘法的学习处理确定最优预测系数di作为唯一解。
也就是说，利用最小二乘法的用于获得公式(241)右侧的预测系数di的正规方程由下面公式(242)所示。
公式(242)
也就是说，在本实施例中，产生并求解由公式(242)表示的正规方程，从而确定预测系数di作为唯一解。
尤其是，将形成由公式(242)表示的正规方程的分量矩阵定义为下面公式(243)到(245)，则正规方程由下面公式(246)表示。
公式(243)DMAT=d1d2···dn]]>公式(244)QMAT=ΣK=1mc1k×qkΣk=1mc2k×qk···Σk=1mcnk×qk]]>公式(245)CMATDMAT＝QMAT公式(246)
从式(244)可以理解，矩阵DMAT的每个分量为将要获得的预测系数di。在本实施例中，如果确定了公式(246)左侧的矩阵CMAT和右侧的矩阵QMAT，可以利用矩阵求解方法计算矩阵DMAT(即预测系数di)。
尤其是，从式(243)可以理解，只要已知预测分块cik，则可以计算矩阵CMAT的各个分量。区域选取单元4145选取预测分块cik。在本实施例中，正规方程产生单元4146利用从区域选取单元4145提供的预测分块cik可以计算矩阵CMAT的每个分量。
另外，如可以从公式(245)所理解的，只要已知预测分块cik和HD像素qk，则可以计算矩阵QMAT的各个分量。注意，预测分块cik与矩阵CMAT中相同，HD像素qk是对应于预测分块cik中包括的关注像素(学生图像的SD像素)的老师图像的HD像素。在本实施例中，正规方程产生单元4146利用从区域选取单元4145提供的预测分块cik和老师图像而可以计算矩阵QMAT的每个分量。
如上所述，正规方程产生单元4146对于每个类型代码计算矩阵CMAT和矩阵QMAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元4147。
系数确定单元4147基于对应于提供的特定类型代码的正规方程，计算每个作为由上述公式(246)表示的矩阵DMAT的分量的预测系数di。
尤其是，可以将由上述公式(246)表示的正规方程转换为下面的公式(247)。
DMAT=CMAT-1QMAT]]>公式(247)在公式(247)中，左侧矩阵DMAT的各个分量是将要获得的预测系数di。注意，从正规方程产生单元4146提供矩阵CMAT和矩阵QMAT的各个分量。在本实施例中，当从正规方程产生单元4146接收对应于特定类型代码的矩阵CMAT和矩阵QMAT的各个分量，系数确定单元4147计算由公式(247)的右侧表示的矩阵计算，从而计算矩阵DMAT，并将关于类型代码的计算结果(预测系数di)存储在系数存储器4124中。
注意，类型分类适应处理和简单的内插处理的差异如下。也就是说，例如，不同于简单的内插，类型分类适应处理允许再现包含在HD图像中的在SD图像中已经丢失的分量。也就是说，只要参考上述公式(240)，类型分类适应处理看上去与利用所谓的内插过滤器的内插处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生数据的学习获得对应于内插过滤器的系数的预测系数di，从而再现包含在HD图像中的分量。因此，上述类型分类适应处理可以说是具有改善图像质量(改善分辨率)的功能的处理。
尽管描述了具有改善空间分辨率的功能的设置，由于类型分类适应处理采用通过利用合适种类的老师数据和学生数据进行学习而获得各种系数，因此允许用于各种改善S/N(信噪比)、改善模糊等的处理。
也就是说，在类型分类适应处理中，可以例如以具有高S/N的图像为老师数据、并以基于老师图像产生的具有降低S/N(或降低分辨率)的图像为学生数据而获得系数，从而改善S/N(或改善模糊)。
上面描述了用于执行类型分类适应处理的图像产生单元4104和学习装置4131的结构。
注意，尽管图像产生单元4104可以具有用于执行不同于上述的类型分类适应处理的图像处理的结构，但是为了便于描述，将描述与上述图316所示的结构相同的图像产生单元4104。也就是说，假设图像产生单元4104执行类型分类适应处理以产生具有比输入图像更高的空间分辨率的图像，并将产生的图像提供给选择器4112。
接着，将参考图318描述由采用第一混合方法的信号处理装置(图315)进行的信号处理。
假设，在本实施例中，数据连续性检测单元4101利用最小二乘法计算角度(如下之间的角度图像关注像素附近的连续性方向(其为一个空间方向)，所述图像表示现实世界1中的信号(图1)；以及作为另一空间方向的X方向(该方向平行于传感器2的检测元件的特定边))，并输出计算的角度作为数据连续性信息。
另外，数据连续性检测单元4101输出在计算角度时伴随计算结果计算的估计误差(利用最小二乘法的误差)，其被用作区域指定信息。
在图1中，当将现实世界1中的作为图像的信号输入给传感器2时，从传感器2输出输入图像。
如图315所示，将输入图像输入图像产生单元4104、以及数据连续性检测单元4101和现实世界估计单元4102。
然后，在如图318所示的步骤S4101中，图像产生单元4014以输入图像(SD图像)的特定像素为关注像素执行上述类型分类适应处理，从而产生预测图像(HD图像)的HD像素(对应于关注像素的HD像素)。然后，图像产生单元4104将产生的HD像素提供给选择器4112。
注意，为了区分从图像产生单元4104输出的像素和从图像产生单元4103输出的像素，下文中，将从图像产生单元4104输出的像素称为“第一像素”，而将从图像产生单元4103输出的像素称为“第二像素”。
另外，下文中，将该由图像产生单元4104执行的处理(在该情况下为步骤S4101中的处理)称为“执行类型分类适应处理”。下面将参考图319的流程图详细描述“执行类型分类适应处理”的实例。
另一方面，在步骤S4102中，数据连续性检测单元4101检测对应于连续性方向的角度，并计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另一方面，将计算的估计误差提供给区域检测单元4111作为区域指定信息。
在步骤S4103中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和输入图像估计现实世界1中的信号。
注意，由现实世界估计单元4102执行的估计处理不特定限制于上面的描述，而是可以采用上述的各种技术。假设现实世界估计单元4102利用预定函数f(下文中将其称为“模拟函数f”)模拟表示现实世界1中的信号的函数F(下文中将其称为“光信号函数F”)，从而估计现实世界1中的信号(光信号F)。
另外，例如，假设现实世界估计单元4102将模拟函数f的特征(系数)提供给图像产生单元4103作为现实世界估计信息。
在步骤S4104中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1中的信号，对应于通过由图像产生单元4104进行的类型分类适应处理而产生的第一像素(HD像素)，产生第二像素(HD像素)，并将产生的第二像素提供给选择器4112。
在该结构中，例如，从现实世界估计单元4102提供模拟函数f的特征(系数)。然后，图像产生单元4103基于上述提供的模拟函数f的特征计算模拟函数f在预定积分范围上的积分，从而产生第二像素(HD像素)。
注意，这样确定积分范围，使得产生的第二像素与从图像产生单元4104输出的第一像素(HD像素)具有相同的尺寸(相同的分辨率)。也就是说，将积分范围确定为沿空间方向上具有与将产生的第二像素的宽度相同的宽度的范围。
注意，根据本发明的步骤次序不限于如图318所示的设置，其中依次进行步骤S4101中的“执行类型分类适应处理”和步骤S4102到步骤S4104的一组处理，而是可以这样设置，其中在步骤S4101中的“执行类型分类适应处理”之前执行骤S4102到步骤S4104的一组处理。另外，可以这样设置，其中同时执行步骤S4101中的“执行类型分类适应处理”和步骤S4102到步骤S4104的一组处理。
在步骤S4105中，区域检测单元4111基于通过由数据连续性检测单元4101进行步骤S4102中的处理计算的估计误差(区域指定信息)，检测通过由图像产生单元4103进行步骤S4101中的处理产生的第二像素(HD像素)的区域。
这里，第二像素是对应于输入图像的SD像素的HD像素，所示SD像素由数据连续性检测单元4101用作关注像素。因此，关注像素(输入图像的SD像素)与第二像素(HD像素)之间的区域类型(连续性区域或非连续性区域)相同。
注意，从数据连续性检测单元4101输出的区域指定信息是在利用最小二乘法计算关注像素附近的角度时的估计误差。
在该结构中，区域检测单元4111比较关于从数据连续性检测单元4101提供的关注像素(输入图像的SD像素)的估计误差与预定阈值。作为比较的结果，在估计误差小于阈值的情况下，区域检测单元4111检测第二像素属于连续性区域。另一方面，在估计误差等于或大于阈值的情况下，区域检测单元4111检测第二像素属于非连续性区域。然后，将检测结果提供给选择器4112。
当从区域检测单元4111接收检测结果，选择器4112在步骤S4106中确定检测的区域是否属于连续性区域。
在步骤S4106中，在确定检测的区域属于连续性区域的情况下，在步骤S4107中，选择器4112向外输出从图像产生单元4103提供的第二像素作为输出图像。
另一方面，在步骤S4106中，在确定检测的区域不属于连续性区域的情况下(即属于非连续性区域)，在步骤S4108中，选择器4112向外输出从图像产生单元4104提供的第一像素作为输出图像。
接着，在步骤S4109中，确定是否对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该处理返回步骤S4101。也就是说，重复步骤S4101到步骤S4109的处理，直到完成对全部像素的处理。
另一方面，在步骤S4109中，在确定已经对全部像素进行处理的情况下，该处理结束。
如上所述，在如图318中的流程图所示的设置中，在每次产生第一像素(HD像素)和第二像素(HD像素)时，将从第一像素和第二像素中选择的输出图像以增量输出作为像素的输出图像。
然而，如上所述，本发明不限于这样的设置，其中将输出数据以像素增量输出，而可以这样设置，其中以图像形式输出输出数据，即在每次完成对全部像素的处理时同时输出形成图像的像素。注意，在这样的设置中，步骤S4107和步骤S4108各包括增加的处理，用于临时存储选择器4112中的像素(第一像素和第二像素)，而不是在每次产生像素时输出像素，并且在步骤S4109的处理后同时输出全部像素。
接着，将参考图319中的流程图详细描述由具有如图316所示结构的图像产生单元4104执行的“用于执行类型分类处理的处理”(例如上述图318的步骤S4101中的处理)。
当从传感器2将输入图像(SD图像)输入图像产生单元4104，在步骤S4121，区域选取单元4121和区域选取单元4125都输入输入图像。
在步骤S4122中，区域选取单元4121从输入图像选取关注像素(SD像素)和位于每个相对于关注像素为预定相对位置的(一个或多个)位置上的像素(SD像素)作为类型分块，并将其提供给图形检测单元4122。
在步骤S4133中，图形检测单元4122检测提供的类型分块的图形，并将其提供给类型代码确定单元4123。
在步骤S4124中，类型代码确定单元4123从多个预定的类型代码确定匹配提供的类型分块的图形的类型代码，并将其分别提供给系数存储器4124和区域选取单元4125。
在步骤S4125，系数存储器4124基于提供的类型代码，从通过预先学习处理确定的多个预测系数(组)读出将使用的预测系数(组)，并将其提供给预测计算单元4126。
注意，下面将参考图320中的流程图描述学习处理。
在步骤S4126中，区域选取单元4125从对应于向其提供的类型代码的输入图像选取关注像素(SD像素)，和位于每个相对于预设的关注像素为相对位置的位置(一个或多个位置，独立于类型分块的位置设置的位置，然而，可以是与类型分块相同的位置)上的像素(SD像素)作为预测分块，并将其提供给预测计算单元4126。
在步骤S4127中，预测计算单元4116利用从系数存储器4124提供的预测系数计算从预测选取单元4125提供的预测分块，并产生向外(在图292的实例中为选择器4112)输出的预测图像(第一像素)。
尤其是，预测计算单元4126以从区域选取单元4125提供的每个预测分块为ci(i表示1到n的整数)，并以从系数存储器4124提供的每个预测系数为di，则进行由上述公式(237)右侧的计算，从而计算位于关注像素(SD像素)上的HD像素q’，并将其向外输出作为预测图像(HD图像)的预定像素(第一像素)。然后，该处理结束。
接着，将参考图320中的流程图描述由学习装置4131(图317)进行的关于图像产生单元4104的学习处理(用于产生将由图像产生单元4104通过学习使用的预测系数的处理)。
在步骤S4141中，下降转换器单元4141和正规方程产生单元4146各向其输入预定图像作为老师图像(HD图像)。
在步骤S4142中，下降转换器单元4141对输入的老师图像进行“下降转换”处理(分辨率下降)，从而产生学生图像(SD图像)，将其分别提供给区域选取单元4142和4145。
在步骤S4143中，区域选取单元4142从上述提供的学生图像选取类型分块，并将其输出给图形检测单元4143。注意，步骤S4143中的处理与上述步骤S4122(图319)中的处理基本相同。
在步骤S4144中，图形检测单元4143从上述提供的类型分块中检测用于确定类型代码的图形，并将其提供给类型代码确定单元4144。注意，步骤S4144所示的处理与上述步骤S4123(图319)所示的处理基本相同。
在步骤S4145中，类型代码确定单元4144基于上述提供的类型分块的图形确定类型代码，并将其提供给区域选取单元4145和正规方程产生单元4146。注意，步骤S4145中的处理与上述步骤S4124(图319)中的处理基本相同。
在步骤S4146中，区域选取单元4145对应于向其提供的类型代码从学生图像中选取预测分块，并将其提供给正规方程产生单元4146。注意，步骤S4146中的处理与上述步骤S4126(图319)中的处理基本相同。
在步骤S4147中，正规方程产生单元4146基于从区域选取单元4145提供的预测分块(SD像素)和老师图像(HD图像)的预测HD像素而产生由上述公式(242)表示的正规方程(即公式(243))，并将产生的正规方程与从类型代码确定单元4144提供的类型代码相关联，并将其提供给系数确定单元4147。
在步骤S4148中，系数确定单元3537求解上述提供的正规方程，从而确定预测系数，即，通过计算上述公式(247)的右侧而计算预测系数，并将其相关于向其提供的类型代码存储在系数存储器4124中。
接着，在步骤S4149中，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该处理返回步骤S4143。也就是说，重复步骤S4143到步骤S4149的处理直到完成对全部像素的处理。
然后，当在步骤S4149中确定已经进行对全部像素的处理的情况下，该处理结束。
接着，将参考图321到图322描述第二混合方法。
图321示出了采用第二混合方法的信号处理装置的结构实例。
在图321中，对应于采用第一混合方法的信号处理装置(图315)的部分由相应的标号表示。
在图315的结构实例中(第一混合方法)，从数据连续性检测单元4101输出区域识别信息，并输入给区域检测单元4111，但是在图321所示的结构实例中(第二混合方法)，从现实世界估计单元4102输出区域识别信息，并输入给区域检测单元4111。
该区域识别信息不特别限制，而是可以是在现实世界估计单元4102估计现实世界1的信号(图1)后新产生的信息，或者可以是伴随模拟现实世界1中的信号产生的信息。
尤其是，例如，可以使用估计误差作为区域识别信息。
现在，将描述估计误差。
如上所述，从数据连续性检测单元4101输出的估计误差(图315中的区域识别信息)是在例如从数据连续性检测单元4101输出的连续性检测信息是角度，并且利用最小二乘法计算所述角度的情况下，伴随最小二乘计算的进行而计算的估计误差。
相反，从现实世界估计单元4102输出的估计误差(图321中的区域识别信息)为例如映射误差。
也就是说，由现实世界估计单元4102估计现实世界1的信号，使得从估计的现实世界1的信号可以产生任意大小的像素(可以计算像素值)。这里，将通过这样产生新像素称为映射。
因此，在估计现实世界1的信号后，现实世界估计单元4102输入图像的关注像素(在估计现实世界1的情况下用作关注像素的像素)所在的位置上从估计的现实世界1的信号产生(映射)新的像素。也就是说，现实世界估计单元4102从估计的现实世界1的信号进行对下＝输入图像中的关注像素的像素值的预测计算。
现实世界估计单元4102然后计算新映射像素的像素值(被预测的输入图像的关注像素的像素值)与实际输入图像的关注像素的像素值之差。将该差称为映射误差。
通过计算映射误差(估计误差)，现实世界估计单元4102从而可以将计算的映射误差(估计误差)提供给区域选取单元4111作为区域识别信息。
尽管如上所述，由区域检测单元4111进行的用于区域检测的处理不特别限制，但是在例如对区域检测单元4111提供上述映射误差(估计误差)作为区域识别信息的现实世界估计单元4102的情况下，在提供的映射误差(估计误差)小于预定阈值的情况下，输入图像的关注像素被检测为连续性区域，另一方面，在提供的映射误差(估计误差)大于预定阈值的情况下，输入图像的关注像素被检测为非连续性区域。
其它结构与图315所示基本相同。也就是说，采用第二混合方法的信号处理装置(图321)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103、图像产生单元4104、以及连续性区域检测单元4105(区域检测单元4111和选择器4112)，其与采用第一混合方法的信号处理装置(图315)具有基本相同的结构和功能。
图322是描述具有图321所示结构的信号处理装置的处理(第二混合方法的信号处理)的流程图。
第二混合方法的信号处理类似于第一混合方法的信号处理(图318的流程图所示的处理)。因此，这里，将适当地省略对相关于第一混合方法的处理的说明，而将参考图322中的流程图描述不同于根据第一混合方法的处理的根据第二混合方法的处理。
注意，这里，在第一混合方法的情况中，假设数据连续性检测单元4101利用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
然而，尽管在上述第一混合方法中，数据连续性检测单元4101将区域识别信息(例如估计误差)提供给区域检测单元4111，但是在第二混合方法中，现实世界估计单元4102将区域识别信息(例如估计误差(映射误差))提供给区域检测单元4111。
因此，在第二混合方法中，执行步骤S4162的处理作为数据连续性检测单元4101的处理。该处理相当于在第一混合方法中在图318中步骤S4102的处理。也就是说，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并将检测的角度作为数据连续性信息分别提供给现实世界估计单元4102和图像产生单元4103。
另外，在第二混合方法中，执行步骤S4163的处理作为现实世界估计单元4102的处理。该处理相当于在第一混合方法中在图318中步骤S4103的处理。也就是说，在步骤S4162的处理中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度估计现实世界1(图1)中的信号，并计算估计的现实世界1的信号的估计误差，即映射误差，并将其作为区域识别信息提供给区域检测单元4111。
其它处理与第一混合方法的处理(在图295的流程图中示出的处理的相应处理)基本相同，因此省略对其的描述。
接着，将参考图323和图324描述第三混合方法。
图323示出了采用第三混合方法的信号处理装置的结构实例。
在图323中，对应于采用第一混合方法的信号处理装置(图315)的部分由相应的标号表示。
在图315的结构实例中(第一混合方法)，将连续性区域检测单元4105设置在图像产生单元4103和图像产生单元4104的后面，而在图323所示的结构实例中(第三混合方法)，将对应的连续性区域检测单元4161设置在数据连续性检测单元4101的下端、和现实世界估计单元4102和图像产生单元4104的上端。
由于布置位置中的该差异，因此第一混合方法中的连续性区域检测单元4105与第三混合方法中的连续性区域检测单元4161之间存在一些差异。下面将主要关于该差异描述连续性检测单元4161。
连续性区域检测单元4161包括区域检测单元4171和执行命令产生单元4172。其中，区域检测单元4171与连续性区域检测单元4105的区域检测单元4111(图315)具有基本相同的结构和功能。另一方面，执行命令产生单元4172的功能与连续性区域检测单元4105的选择器4112(图315)的功能有一些不同。
也就是说，如上所述，选择器4112基于来自区域检测单元4111的检测结果选择来自图像产生单元4103的图像和来自图像产生单元4104的图像中的一个，并输出选择的图像作为输出图像。这样，选择器4112输入来自图像产生单元4103的图像和来自图像产生单元4104的图像以及来自区域检测单元4111的检测结果，并输出输出图像。
另一方面，根据第三混合方法的执行命令产生单元4172基于区域检测单元4171的检测结果，选择是由图像产生单元4103还是由图像产生单元4104执行用于产生位于输入图像的关注像素(已经被数据连续性检测单元4101取为关注像素的像素)上的新像素。
也就是说，在区域检测单元4171将检测结果提供给执行命令产生单元4172，以提供输入图像的关注像素是连续性区域的结果时，执行命令产生单元4172选择图像产生单元4103，并向现实世界估计单元4102提供命令以开始处理(下文中，将这样的命令称为执行命令)。现实世界估计单元4102然后开始其处理，产生现实世界估计信息，并将其提供给图像产生单元4103。图像产生单元4103基于提供的现实世界估计信息(按需要从数据连续性检测单元4101另外提供的数据连续性信息)产生新的图像，并将其向外输出作为输出图像。
相反，在区域检测单元4171将检测结果提供给执行命令产生单元4172，以提供输入图像的关注像素是非连续性区域的结果时，执行命令产生单元4172选择图像产生单元4104，并向图像产生单元4104提供执行命令。图像产生单元4104然后开始其处理，对输入图像进行预定图像处理(在该情况下为类型分类适应处理)，产生新的图像，并将其向外输出作为输出图像。
从而，根据第三混合方法的执行命令产生单元4172向区域检测单元4171输入检测结果，并输出执行命令。也就是说，执行命令产生单元4172不输入或输出图像。
注意，除连续性区域检测单元4161以外的结构与图315中的结构基本相同。也就是说，采用第三混合方法的信号处理装置(图323中的信号处理装置)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104，其与采用第一混合方法的信号处理装置(图315)具有基本相同的结构和功能。
然而，在第三混合方法中，现实世界估计单元4102和图像产生单元4104只有在从执行命令产生单元4172输入执行命令时才执行其处理。
现在，在图323所示的实例中，图像的输出单元在其像素单元中。因此，虽然没有示出，例如，还可以在图像产生单元4103和图像产生单元4104的下面提供图像合成单元，以使输出单元为一帧的整个图像(以一次输出全部像素)。
该图像合成单元相加(合成)从图像产生单元4103和图像产生单元4104输出的像素值，并取相加值为相应像素的像素值。在该情况下，图像产生单元4103和图像产生单元4104中没有接收到执行命令的一个不执行其处理，并连续对图像合成单元提供预定不变的值(例如0)。
图像合成单元对全部像素重复执行该处理，并当完成对全部像素的处理时，一次向外输出全部像素(作为一帧图像数据)。
接着，将参考图324的流程图描述采用第三混合方法的信号处理装置(图323)的信号处理。
注意，这里，与第一混合方法的情况相同，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
假设数据连续性检测单元4101将计算的估计误差(最小二乘的误差)与计算的角度一起输出作为区域识别信息。
在图1中，当将现实世界1的信号投影到传感器2上时，传感器2输出输入图像。
在图323中，将输入图像输入图像产生单元4104，另外还输入数据连续性检测单元4101和现实世界估计单元4102。
现在，在图324的步骤S4181中，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并还计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另外，将计算的估计误差提供给区域检测单元4171作为区域识别信息。
注意，步骤S4181中的处理与上述步骤S4102(图318)中的处理基本相同。
另外，如上所述，此时(除非从执行命令产生单元4172提供了执行命令)，现实世界估计单元4101和图像产生单元4103都不执行其处理。
在步骤S4182中，区域检测单元4172基于由数据连续性检测单元4102计算的估计误差(提供的区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4102检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4172。注意，步骤S4182中的处理与上述步骤S4105(图318)中的处理基本相同。
当将区域检测单元4171的检测结果提供给执行命令产生单元4172，在步骤S4183中，执行命令产生单元4172确定检测区域是否是连续性区域。注意，步骤S4183中的处理与上述步骤S4106(图318)中的处理基本相同。
在步骤S4183中，在确定检测区域不是连续性区域的情况下，执行命令产生单元4172将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4184中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4185中向外输出通过类型分类适应处理产生的第一像素作为输出图像。
注意，步骤S4184中的处理与上述步骤S4101(图318)中的处理基本相同。也就是说，图319中的流程图是描述步骤S4184中的处理细节的流程图。
相反，在步骤S4183中，在确定检测区域是连续性区域的情况下，执行命令产生单元4172将执行命令提供给现实世界估计单元4102，然后，在步骤S4186中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和输入图像估计现实世界1的信号。注意，步骤S4186中的处理与上述步骤S4103(图318)中的处理基本相同。
在步骤S4187中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1的信号，产生检测区域(即，输入图像中的关注像素(SD像素))中的第二像素(HD像素)，并在步骤S4188中输出第二像素作为输出图像。注意，步骤S4187中的处理与上述步骤S4104(图318)中的处理基本相同。
当将第一像素或第二像素输出作为输出图像(在步骤S4185或步骤S4188的处理后面)时，在步骤S4189中，确定是否完成对全部像素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返回步骤S4181。也就是说，重复步骤S4181到S4189的处理直到完成对全部像素的处理。
然后，在步骤S4189中，在确定已经完成对全部像素的处理的情况下，该处理结束。
这样，在图324的流程图的实例中，在每次产生第一像素(HD像素)和第二像素(HD像素)时，以像素增量输出第一像素或第二像素作为输出图像。
然而，如上所述，如下的设置允许在完成对全部像素的处理后一次输出全部像素作为输出图像，在所述设置中，在具有图323所示的结构的信号处理装置的最后部分(在图像产生单元4103和图像产生单元4104的下面)还提供了图像合成单元(未示出)。在该情况下，在步骤S4185和步骤S4188的处理中将像素(第一像素或第二像素)输出给图像合成单元而不是向外输出。然后，在步骤S4189的处理前，增加这样的处理，其中图像合成单元合成从图像产生单元4103提供的像素的像素值和从图像产生单元4104提供的像素的像素值，并在用于产生输出图像的像素的步骤S4189的处理后，增加这样的处理，其中图像合成单元输出全部像素。
接着，将参考图325到图326描述第四混合方法。
图325示出了采用第四混合方法的信号处理装置的结构实例。
在图325中，对应于采用第三混合方法的信号处理装置(图323)的部分由相应的标号表示。
在图323的结构实例中(第三混合方法)，从数据连续性检测单元4101将区域识别信息输入给区域检测单元4171，但是在图325所示的结构实例中(第四混合方法)，从现实世界估计单元4102输出区域识别信息并输入区域检测单元4171。
其它结构与图323中基本相同。也就是说，采用第四混合方法的信号处理装置(图325中的信号处理装置)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103、图像产生单元4104、以及连续性区域检测单元4161(区域检测单元4171和执行命令产生单元4172)，其与采用第三混合方法的信号处理装置(图323)具有基本相同的结构和功能。
另外，虽然图中没有示出，如同第三混合方法，可以这样设置，其中将例如图像合成单元设置在图像产生单元4103和图像产生单元4104的下面，以一次输出全部像素。
图326是描述具有图325所示结构的信号处理装置的信号处理(根据第四混合方法的信号处理)的流程图。
根据第四混合方法的信号处理类似于根据第三混合方法的信号处理(图324中的流程图所示的处理)。因此，将适当地省略相关于第三混合方法的处理的描述，并将参考图326主要描述不同于根据第三混合方法的处理的根据第四混合方法的处理。
注意，这里，如同第三混合方法中的情况，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
然而，尽管如上述在第三混合方法中，数据连续性检测单元4101将区域识别信息(例如估计误差)提供给区域检测单元4171，但是在第四混合方法中，现实世界估计单元4102将区域识别信息(例如估计误差(映射误差))提供给区域检测单元4171。
因此，在第四混合方法中，执行步骤S4201的处理作为数据连续性检测单元4101的处理。该处理相当于在第三混合方法中图324中数据连续性检测单元4101的处理。也就是说，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并将检测的角度作为数据连续性信息分别提供给现实世界估计单元4102和图像产生单元4103。
另外，在第四混合方法中，执行步骤S4202的处理作为现实世界估计单元4102在步骤S4202中的处理。该处理相当于在第三混合方法中，在图318的步骤S4182中的处理。也就是说，现实世界估计单元4102基于由数据连续性检测单元4102检测的角度估计现实世界1(图1)的信号，并计算估计的现实世界1的信号的估计误差，即映射误差，以及将其作为区域识别信息提供给区域检测单元4171。
其它处理与第三混合方法的处理(如图324所示的处理的相应处理)基本相同，因此省略对其的描述。
接着，将参考图327和图328描述第五混合方法。
图327示出了采用第五混合方法的信号处理装置的结构实例。
在图327中，对应于采用第三和第四混合方法的信号处理装置(图323和图325)的部分由相应的标号表示。
在图323所示的结构实例中(第三混合方法)，将一个连续性区域检测单元4161设置在数据连续性检测单元4101的下端和现实世界估计单元4102和图像产生单元4104的上端。
同样，在图325所示的结构实例中(第四混合方法)，将一个连续性区域检测单元4161设置在现实世界估计单元4102的下端和图像产生单元4103和图像产生单元4104的上端。
相反，在图327所示的结构实例中(第五混合方法)，如第三混合方法，将连续性区域检测单元4181设置在数据连续性检测单元4101的下端和现实世界估计单元4102和图像产生单元4104的上端。另外，如同第四混合方法，将连续性区域检测单元4182设置在现实世界估计单元4102的下端和图像产生单元4103和图像产生单元4104的上端。
连续性区域检测单元4181和4182都与连续性区域检测单元4161(图323或图325)具有基本相同的结构和功能。也就是说，区域检测单元4191和区域检测单元4201都与区域检测单元4171具有基本相同的结构和功能。
换句话说，第五混合方法是第三混合方法和第四混合方法的组合。
也就是说，在第三混合方法和第四混合方法中，基于一个区域识别信息(在第三混合方法的情况中，来自数据连续性检测单元4101的区域识别信息，以及在第四混合方法的情况中，来自现实世界估计单元4102的区域识别信息)确定输入图像的关注像素是连续性区域还是非连续性区域。因此，第三混合方法和第四混合方法可能将为非连续性区域的区域检测为连续性区域。
因此，在第五混合方法中，在基于来自数据连续性检测单元4101的区域识别信息(在第五混合方法中将其称为第一区域识别信息)检测输入图像的关注像素是连续性区域还是非连续性区域之后，另外基于来自现实世界估计单元4102的区域识别信息(在第五混合方法中将其称为第二区域识别信息)检测输入图像的关注像素是连续性区域还是非连续性区域。
这样，在第五混合方法中，进行两次区域检测处理，从而对连续性区域的检测精确度提高并优于第三混合方法和第四混合方法的精确度。另外，在第一混合方法和第二混合方法中，如同在第三混合方法和第四混合方法中，只提供一个连续性区域检测单元4105(图312或图321)。因此，对连续性区域的检测精确度相比于第一混合方法和第二混合方法也提高了。从而，可以实现输出比第一到第四混合方法都接近现实世界1(图1)的信号的图像数据。
然而，不变的是，即使第一到第四混合方法使用采用本发明的图像产生第一4104，其进行常规图像处理；以及用于利用数据连续性产生图像的装置或程序等(即，数据连续性检测单元4101、现实世界估计单元4102、以及图像产生单元4103)。
因此，第一到第四混合方法可以输出比任何常规信号处理装置更接近现实世界1(图1)的信号的图像数据、或进行根据本发明具有图3所示结构的信号处理。
另一方面，从处理速度方面看，第一到第四混合方法中只需要一次区域检测处理，因此这优于第五混合方法，其中进行两次区域检测处理。
因此，用户(或制造商)等可以选择性地使用满足输入图像所需质量、以及需要的处理时间(直到输出输出图像的时间)的混合方法。
注意，图327中的其它结构与图323或图325中的结构基本相同。也就是说，采用第五混合方法的信号处理装置(图327)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104，其与采用第三或第四混合方法的信号处理装置(图323或图325)具有基本相同的结构和功能。
然而，在第五混合方法中，现实世界估计单元4102只有在从执行命令产生单元4192输入执行命令时才执行其处理，图像产生单元4103只有在从执行命令产生单元4202输入执行命令时才执行其处理，以及图像产生单元4104只有在从执行命令产生单元4192或执行命令产生单元4202输入执行命令时才执行其处理。
另外，在第五混合方法中，虽然图中没有示出，如同第三或第四混合方法，可以这样设置，其中将例如图像合成单元设置在图像产生单元4103和图像产生单元4104的下端以一次输出全部像素。
接着将参考图328的流程图描述采用第五混合方法(图327)的信号处理装置的信号处理。
注意，这里，如同第三和第四混合方法，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
这里假设，如同第三混合方法，数据连续性检测单元4101将计算的估计误差(最小二乘误差)与计算的角度一起输出作为第一区域识别信息。
另外假设，如同第四混合方法，现实世界估计单元4102输出映射误差(估计误差)作为第二区域识别信息。
在图1中，当将现实世界1的信号投影到传感器2上，传感器2输出输入图像。
在图327中，将该输入图像输入图像产生单元4104，并且还输入数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104。
现在，在图328的步骤S4221中，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另外，将计算的估计误差提供给区域检测单元4191作为区域识别信息。
注意，步骤S4121中的处理与上述步骤S4182(图324)中的处理基本相同。
另外，如上所述，此时(除非从执行命令产生单元4192提供了执行命令)，现实世界估计单元4102和图像产生单元4104都不执行其处理。
在步骤S4222中，区域检测单元4191基于由数据连续性检测单元4101计算的估计误差(提供的第一区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4192。注意，步骤S4222中的处理与上述步骤S4182(图324)中的处理基本相同。
当将区域检测单元4181的检测结果提供给执行命令产生单元4192，在步骤S4223中，执行命令产生单元4192确定检测区域是否是连续性区域。注意，步骤S4223中的处理与上述步骤S4183(图324)中的处理基本相同。
在步骤S4223中，在确定检测区域不是连续性区域(为非连续性区域)的情况下，执行命令产生单元4192将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4224中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适应处理产生的第一像素作为输出图像。
注意，步骤S4224中的处理与上述步骤S4184(图324)中的处理基本相同。也就是说，图319中的流程图是描述步骤S4184中的处理细节的流程图。步骤S4225中的处理与上述步骤S4185(图324)中的处理基本相同。
相反，在步骤S4223中，在确定检测区域是连续性区域的情况下，执行命令产生单元4192将执行命令提供给现实世界估计单元4102，然后，在步骤S4226中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和在步骤S4221中的输入图像估计现实世界1的信号，并还计算其估计误差(映射误差)。将估计的现实世界1的信号提供给图像产生单元4103作为现实世界估计信息。另外，将计算的估计误差提供给区域检测单元4201作为第二区域识别信息。
注意，步骤S4226中的处理与上述步骤S4202(图326)中的处理基本相同。
另外，如上所述，此时(除非从执行命令产生单元4192或从执行命令产生单元4202提供了执行命令)，图像产生单元4103和图像产生单元4104都不执行其处理。
在步骤S4227中，区域检测单元4201基于由数据连续性检测单元4101计算的估计误差(提供的第二区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4202。注意，步骤S4227中的处理与上述步骤S4203(图326)中的处理基本相同。
当将区域检测单元4201的检测结果提供给执行命令产生单元4202时，在步骤S4228中，执行命令产生单元4202确定检测区域是否是连续性区域。注意，步骤S4228中的处理与上述步骤S4204(图326)中的处理基本相同。
在步骤S4228中，在确定检测区域不是连续性区域(为非连续性区域)的情况下，执行命令产生单元4202将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4224中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适应处理产生的第一像素作为输出图像。
注意，步骤S4224中的处理与上述步骤S4205(图326)中的处理基本相同。另外，步骤S4225中的处理与上述步骤S4206(图326)中的处理基本相同。
相反，在步骤S4228中，在确定检测区域是连续性区域的情况下，执行命令产生单元4202将执行命令提供给图像产生单元4103。在步骤S4229中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1的信号(如果需要，以及来自数据连续性检测单元4101的数据连续性信号)，产生由区域检测单元4201检测的区域(即输入图像中的关注像素(SD像素))上的第二像素(HD像素)。然后，在步骤S4203中，图像产生单元4103向外输出产生的第二像素作为输出图像。
注意，步骤S4229和步骤S4230中的处理与上述步骤S4207和S4208(图326)中的处理基本相同。
当将第一像素和第二像素输出作为输出图像(在步骤S4225或步骤S4230的处理后)，在步骤S4231中，确定是否完成对全部像素的处理，在仍未完成对全部像素的处理的情况下，该处理返回步骤S4221。也就是说，重复步骤S4221到S4231的处理直到完成对全部像素的处理。
然后，在步骤S4231，在确定已经完成对全部像素的处理的情况下，该处理结束。
上文参考图315到图328描述了混合方法作为根据本发明的信号处理装置4(图1)的实施例的实例。
如上所述，在混合方法中，还在具有如图3所示结构的根据本发明的信号处理装置中添加了其它装置(或程序等)，其不利用连续性进行处理。
换句话说，在混合方法中，将具有如图3所示结构的根据本发明的信号处理装置(或程序等)添加到常规信号处理装置(或程序等)中。
也就是说，在混合方法中，例如如图315或图321所示的连续性区域检测单元4105检测图像数据中具有图像数据的数据连续性的数据区域(例如，在图318的步骤S4106中、或图322的步骤S4166所述的连续性区域)，在所述图像数据中，已经投影了现实世界1的光信号，并已经丢失了现实世界1的光信号的部分连续性(例如，图315或图321中的输入图像)。
另外，如图315和图321所示的现实世界估计单元4102基于图像数据的数据连续性，通过模拟现实世界1的光信号的丢失的连续性而估计光信号，所述图像数据已经丢失了现实世界1的光信号的部分连续性。
另外，如图315和图321所示的数据连续性检测单元4101检测图像数据中的图像数据的数据连续性相对于参考轴角度(例如，在图318的步骤S4102和图322的步骤S4162中所述的角度)，在所述图像数据中已经投影了现实世界1的光信号，并且丢失了现实世界1的光信号的部分连续性。在该情况下，例如，图315和图321所示的连续性区域检测单元4105基于角度检测图像数据中具有数据连续性的区域，以及现实世界估计单元4102通过对所述区域估计已经丢失的现实世界1的光信号的连续性而估计光信号。
然而，在图315中，连续性区域检测单元4105基于在具有随角度变化的连续性的模型与输入图像之间的误差，检测输入图像中具有数据连续性的区域(也就是说，估计误差是图中的区域识别信息，其通过图318的步骤S4102的处理计算)。
相反，在图321中，将连续性区域检测单元4105设置在现实世界估计单元4102的下端，并基于在对应于由现实世界估计单元4102计算的输入图像表示现实世界1的光信号的现实世界模型与输入图像之间的误差(即通过在图318的步骤S4163中的处理计算的现实世界信号的估计误差(映射误差)，其例如为图中的区域识别信息)，选择性地输出(例如，图321中的选择器4112执行图322中的步骤S4166到S4168的处理)由现实世界估计单元4102估计的现实世界模型，即，从图像产生单元4103输出图像。
尽管上面描述了图315和图321的实例，但是图323、图325以及图327也是同样的。
因此，在混合方法中，对应于具有图3所示结构的信号处理装置的装置(或程序等)对现实世界1的信号中存在连续性的部分(具有数据连续性的图像数据的区域)执行信号处理，而常规信号处理装置(或程序等)可以对现实世界1的信号中不存在显著连续性的部分执行信号处理。从而，可以实现比常规信号处理装置和具有图3所示结构的根据本发明的信号处理都输出更接近现实世界(图1)的信号的图像数据。
接着，将参考图329和图330描述从数据连续性检测单元101直接产生图像的实例。
图329所示的数据连续性检测单元101是图165中所示的数据连续性检测单元101加上图像产生单元4501。图像产生单元4501获取从现实世界估计单元802输出的现实世界模拟函数f(x)的系数作为现实世界估计信息，并通过基于该系数再积分每个像素而产生并输出图像。
接着，将参考图330中的流程图描述图329中的数据连续性检测处理。注意，图330的流程图中的步骤S4501到S4504和步骤S4506到S4511的处理与图166的步骤S801到S810中的处理相同，因此省略对其的描述。
在步骤S4504中，图像产生单元4501基于从现实世界估计单元802输入的系数再积分每个像素，并产生和输出图像。
由于上述处理，数据连续性检测单元101不仅可以输出区域信息还可以输出用于区域确定的图像(由基于现实世界估计信息产生的像素)。
从而，在图329所示的数据连续性检测单元101中，提供了图像产生单元4501。也就是说，图329中的数据连续性检测单元101可以基于输入图像的数据连续性产生输出图像。因此，可以将具有如图329所示结构的装置解释为图1所示的信号处理装置(图像处理装置)的另一实施例，而不是数据连续性检测单元101的一个实施例。
另外，在应用上述混合方法的信号处理装置中，可以将具有如图329所示结构的装置(即，与图329中的数据连续性检测单元101具有相同功能和结构的信号处理装置)应用为信号处理单元，用于对现实世界1的信号中存在连续性的部分进行信号处理。
尤其是，例如，在应用图315中采用第一混合方法的信号处理装置的情况下，对现实世界1的信号中存在连续性的部分进行信号处理的信号处理单元是数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103。尽管图中没有示出，可以采用具有图329所示结构的信号处理装置(图像处理装置)代替上述数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103。在该情况下，图329中的比较单元804将其输出作为区域识别信息提供给区域检测单元4111，并且图像产生单元4501将输出图像(第二像素)提供给选择器4112。
在上述描述中，描述了这样的实例，其中在处理图像时，通过处理由采用积分效应的传感器2获取的图像数据估计现实世界，从而进行适于满足现实世界的图像处理。
然而，被投影到传感器2上的光信号实际通过设置在传感器2的紧前的由透镜等构成的光学系统投影。因此，在通过估计现实世界来处理由传感器2获取的图像时，需要考虑光学系统的影响。
图331示出了设置在传感器2前端的光学系统(光学块5110)的结构实例。
通过光学块5110的透镜5101将现实世界光信号投影到IR减切滤波器5102上。IR减切滤波器除去可能由CCD5104(对应于传感器2)接收的光频分量的红外区域中的光分量。根据该处理，除去不能由人眼分辨的不需要的光。另外，在通过IR减切滤波器5102后，将光信号投影到OLPF(光学低通滤波器)5103上。
OLPF5103对在CCD5104的像素面积或更小面积的范围上变化的高频光信号进行平滑处理，以减少被投影到CCD5104的一个像素的面积中的光的不规则性。
因此，为了考虑由于光学块5110的影响，需要分别考虑由IR减切滤波器5102和OLPF5103进行的处理导致的影响。另外，该IR减切滤波器5102和OLPF5103构成了如图332所示的积分型滤波器5122，因此，有时以积分形式对齐的安装和分离。另外，通过提供例如如图332所示的只通过短波光的滤波器5111可以抑制IR减切滤波器5102的影响。
现在，将描述图像处理，其中考虑由于OLPF5103的影响。
如图333所示，OLPF5103包括两个液晶5121a和5121b，以及例如由两个液晶5102a和5102b夹住的相板5122。
如图334所示，每个厚度为t的液晶板5121a和5121b被设置为以具有预定角度的晶轴作为光的进入方向。当将具有该角度的光投影到在Z方向上的液晶板5121a上时，入射光被分解为与入射光方向相同的常态光和与入射光方向成一定角度的非常态光。并发出到具有特定间距d的下一阶段的晶体5121b(在x方向上)。此时，液晶板5121a获取具有不同角度波形的两种光，其相差90度，并发出这两种光作为常态光(例如，在y方向上的波形)L1和非常态光L2(例如在x方向上的波形)。
相板5122(图334中未示出)允许通过常态光和非常态光中的每个波形并且还产生具有垂直于其波形的光，并将其发出给液晶板5121b，也就是说，在该情况下，相板5122允许通过入射常态光的波形，并且，由于入射常态光具有在y方向上的波形，而产生在x方向上的波形，另外，对于非常态光，相板5122允许被投影到其上的入射非常态光自身通过，并且由于入射非常态光具有在x方向上的波形，而产生与其相差90度的在y方向上的波形，并将两种光线发出给晶体板5121b。
晶体板5121b在入射位置将每个入射常态光L1和非常态光L2分解为常态光和非常态光(L1和L3，以及L2和L4)。并将其输出使得相互距离为b。从而，如图335所示，例如，从纸的背面投影的光L1被液晶5121a分解成光L1和L2，并且，进一步由液晶5121b分别分解成L1和L3，以及L2和L4。注意，此时，在一次分解中，将光能分解为一半，因此，OLPF5103输出入射光，同时以在水平方向和垂直方向中25％的比例将入射光分成间隔距离d(还称为OLPF移动量d)的位置，。从而，在CCD5104的每个象素上接收四个不同像素的光，其分别以25％的比例重叠，并且，将所述光转变成像素值，从而产生图像数据。
利用下面公式(248)获得该OLPF移动量d。
d＝t×(ne2-no2)/(2×ne×no)(公式248)注意，OLPF5103不限于将入射光分成上述四个像素，而是可以利用更多个数的晶体将入射光分成不同于上述的更多像素。
从而，通过光学块5110改变了来自现实世界的入射光投影到传感器2上的入射光。现在，将描述对图像数据的处理，其中考虑上述光学块5110的特性(尤其考虑OLPF5103的特性)。
图336示出信号处理装置的方框图。其被构成为考虑上述光学块5110的特性而处理图像数据。注意，具有与参考图3描述的结构相同的结构的部件以相同标号表示，因此省略对其的描述。
尤其考虑包括在输入图像中的上述光学块5110的OLPF5103的特性的OLPF除去单元5131将输入图像转换(估计)成将被投影到光学块5110上的图像。并将转换的图像输出给图像数据连续检测单元101和现实世界估计单元102。
接着，将参考图337描述如图336所示的OLPF除去单元5131的结构。
类型分块选取单元5141选取对应于输入图像数据的像素的位置上的多个像素(例如，在水平方向上，垂直方向上或上/下/左/右/倾斜等方向上的包括关注像素的9个像素，如图338所示。注意，在图338中，由双圆形表示关注像素，由圆形表示其它像素)的像素值作为类型分块，并将其输出给特征计算单元5142。
特征计算单元5142基于从类型分块选取单元5141输入的类型分块的像素值计算特征，并将结果输出给类型分类单元5143。例如，特征的实例包括类型分块的像素的像素值的和，以及相邻像素之差的和。
类型分类单元5143基于从特征计算单元5142输入的特征确定每个像素的类型(类型代码)。选取确定的类型信息给预测分块选取单元5145，并另外控制系数存储器5144将对应于确定类型的预测系数提供给像素值计算单元5146。在特征为相邻像素和的情况下，该类型根据所述值的范围被设置为其和。例如，在其和为零到10的情况下，将类型代码设为1，以及在其和的范围在11到20的情况下，将类型代码设为2。
通过利用下述学习装置5150预先参考图341的学习处理计算基于存储在系数存储器5144中的特征的每个类型代码的预测系数，并将其存储。
预测分块选取单元5145基于从类型分类单元5143输入的类型信息。选取对应于输入图像的关注像素的作为预测分块(有时与类型分块相同)的多个像素的像素值，并将选取的像素值输出给像素值计算单元5146。为每个类型设置预测分块，例如，在类型1的情况下为单个关注像素，在类型2的情况下为以关注像素为中心的3×3个像素，在类型3的情况下，为以关注像素为中心的5×5个像素。
像素值计算单元5146基于从预测分块选取单元5145输入的作为预测分块的像素的像素值和从系数存储器5144提供的预测系数值计算像素值，基于计算的像素值产生输出图像并输出。像素值计算单元5146通过执行如下面公式(249)所示的乘积算法操作。获得(预测和估计)预测图像的像素。
q'=Σi=0ndi×ci]]>公式(249)在公式(249)中，q’表示预测图像(从学生图像预测的图像)的预测像素。每个ci(i表示1到n的整数)表示相应的预测分块。另外，每个di表示相应的预测系数。
如上所述，OLPF除去单元5131通过从输入图像除去由于OLPF的影响预测和估计相对于输入图像获得的图像。
接着，将参考图339中的流程图，描述由图336所示的信号处理装置进行的信号处理。注意，图339中的流程图的步骤S5102到S5104的处理与参考图40的流程图的处理相同，因此省略对其的描述。
在步骤S5101中，OLPF除去单元5131执行用于除去OLPF的处理。
现在，将参考图340的流程图描述用于除去OLPF的处理。
在步骤S5011中，类型分块选取单元5141选取输入图像的每个像素的类型分块，并将选取的类型分块的像素的像素值输出给特征计算单元5142。
在步骤5012中，特征计算单元5142基于从类型分块选取单元5141输入的类型分块的像素的像素值计算预定特征，并将其输出给类型分类单元5143。
在步骤5013中，类型分类单元5143基于从特征计算单元5142输入的特征，分类类型，并将分类的类型代码输出给预测分块选取单元5145。
在步骤S5014中，预测分块选取单元5145基于从类型分类单元5143输入的类型代码信息从输入图像中选取作为预测分块的多个像素的像素值，并将选取的像素值输出给像素值计算单元5146。
在步骤S5015中，类型分类单元5143控制系数存储器5144，根据输出给像素值计算单元5146的分类类型(类型代码)读出相应的预测系数。
在步骤5016中，像素值计算单元5146基于从预测分块选取单元5145输入的作为预测分块的像素的像素值和从系数存储器5144提供的预测系数计算像素值。
在步骤S5017中，像素值选取单元5146确定是否计算全部像素的像素值，在确定仍未计算全部像素的像素值的情况下，处理返回步骤S5011中，也就是说，重复步骤S5011到步骤5017的处理，直到确定已经计算全部像素的像素值。
在步骤S5017中，在确定已经计算全部像素的像素值的情况下，像素值计算单元5146输出计算的图像。
根据上述设置，可以除去由光学块5110产生的OLPF5103产生的对图像的影响。
接着，将参考图341描述学习装置5150，其学习预先存储在图337所示的系数存储器5144中预测系数。
学习装置5150利用高分辨率图像作为输入图像，产生由具有标准分辨率构成的学生图像和老师图像，并执行学习处理。注意，下文中，适当地将具有标准分辨率的图像称为“SD(标准精度)图像”。可选的是，另一方面，下文中将适当地将高分辨率图像称为“HD(高精度)图像”。另外，适当地将形成HD图像的像素称为“HD像素”。
另外，学习装置的类型分块选取单元5162、特征计算单元5163、以及预测分块选取单元5165与图337所示的OLPF除去单元5131的类型分块选取单元5141、特征计算单元5142、以及预测分块选取单元5145，因此省略对其的描述。
学生图像产生单元5151将作为输入图像的HD图像转换成考虑OLPF5103的SD图像，产生由OLPF5103光学影响的学生图像，并将其输出给学习单元5152的图像存储器5161。
学习单元5152的图像存储器5161临时存储由SD图像构成的学生图像，然后将其输出给类型分块选取单元5162和预测分块选取单元5165。
类型分类单元5164将对从特征选取单元5163输入的每个像素的类型的分类结果(上述类型代码)输出给预测分块选取单元5165和学习存储器5167。
补充计算单元5166利用补充从自预测分块选取单元5165输入的预测分块的像素的像素值和从老师图像产生单元5153输入的输入图像的像素的像素值产生用于产生下述正规方程所需的求和项，并将其输出给学习存储器5167。
学习存储器5167存储从类型分类单元5164提供的类型代码和从补充计算单元5166输入的补充结果，所述结果彼此相关，并将这些适当地提供给正规方程计算单元5168。
正规方程计算单元5168基于存储在学习存储器5167中的类型代码和补充结果产生正规方程，并且还计算正规方程以获得每个预测系数，然后存储每个获得的预测系数，其相关于系数存储器5154中的相应的类型代码。注意，存储在该系数存储器5154中的预测系数将被存储在图337所示的OLPF除去单元5131的系数存储器中。
下面将详细描述正规方程计算单元5168。
在上述公式(249)中，每个预测系数di在学习之前是未确定的。学习处理通过输入每个类型代码的老师图像的多个像素而进行。假设，对应于特定类型代码的老师图像存在m个像素，并将老师图像的每个m个像素表示为qk(k表示1到m的整数)，则从上述公式(249)得到下面的公式(250)。
qk=Σi=0ndi×cik+ek]]>公式(250)也就是说，公式(250)表示，通过其右侧可以预测和估计特定老师图像的像素qk。注意，在公式(250)中，ek表示误差。也就是说，作为该公式右侧的计算结果的预测图像(通过从学生图像进行预测计算获得的图像)的像素qk’不完全匹配老师图像的实际像素qk，而是包括特定误差ek。
因此，在公式(250)中，例如，通过学习处理获得表现误差ek的平方和的最小值的预测系数di。
尤其是，预备用于学习处理的老师图像的像素qk的个数应该大于n(即m＞n)。在该情况下，利用最小二乘法可以确定预测系数di作为唯一解。
也就是说，用于利用最小二乘法获得公式(250)右侧中的预测系数di的正规方程由下面公式(251)表示。
公式(251)因此，产生并求解由公式(251)表示的正规方程，从而确定预测系数di作为唯一解。
尤其是，假设表示正规方程的公式(251)中的矩阵被定义为如下公式(252)到(254)。在该情况下，由下面公式(255)表示正规方程。
公式(252)DMAT=d1d2···dn]]>公式(253)
QMAT=ΣK=1mc1k×qkΣk=1mc2k×qk···Σk=1mcnk×qk]]>公式(254)CMATDMAT＝QMAT公式(255)如公式(253)所示，矩阵GMAT的每个分量为将要获得的预测系数di。因此，在公式(255)中，如果确定了其左侧的矩阵CMAT和右侧的矩阵QMAT，可以利用矩阵计算获得矩阵DMAT(即预测系数di)。
尤其是，如公式(252)所示，只要已知预测分块cik，则可以计算矩阵CMAT的各个分量。在本实施例中，预测分块选取单元5165选取预测分块cik，从而补充计算单元5166利用从预测分块选取单元5165提供的预测分块cik补充矩阵CMAT的每个分量。
另外，在本实施例，只要已知预测分块cik和老师图像的像素qk，则可以计算如公式(254)所示的矩阵QMAT的各个分量。注意，预测分块cik与矩阵CMAT的各个分量包括的相同，以及老师图像的像素qk是对应于关注像素的老师图像的SD像素(学生图像的SD像素)。因此，补充计算单元5166基于从预测分块选取单元5165提供的预测分块cik和老师图像计算矩阵QMAT的每个分量。
从而，补充计算单元5166计算矩阵CMAT和矩阵QMAT的每个分量，并将计算结果与相应的类型代码相关，并将其存储在学习存储器5167中。
正规方程计算单元5168产生对应于存储在学习存储器5167中的类型代码的正规方程，计算作为上述公式(255)中矩阵DMAT的每个分量的预测系数di。
尤其是，可以将上述公式(255转换为下面的公式(256)。
DMAT=CMAT-1QMAT]]>公式(256)在公式(256)中，其左侧矩阵DMAT的各个分量是将要获得的预测系数di。另外，从学习存储器5167提供矩阵CMAT和矩阵QMAT的各个分量。在本实施例中，当接收对应于存储在学习存储器5167中的特定类型代码的矩阵CMAT的分量和矩阵QMAT的每个分量，正规方程计算单元5168执行由公式(255)的右侧表示的矩阵计算，从而计算矩阵DMAT。然后，正规方程计算单元5168将相关于类型代码的计算结果(预测系数di)存储在系数存储器5154中。
接着，将基于上述图337中OLPF除去单元5131和学习单元5131之间的关系描述用于学习的学生图像和老师图像。
如图342所示，学习单元5152利用经过OLPF5103的滤波器处理的图像(下文中称为具有OLPF的图像)和未经过滤波器处理的图像(下文中称为没有OLPF的图像)，通过学习获得预测系数。
OLPF除去单元5131利用由学习单元5152通过学习获得的预测系数(参考图339的流程图描述的处理)，将具有OLPF的图像转换成其中除去OLPF5103的滤波处理的影响的图像(下文中称为OLPF除去图像)。
也就是说，如图343所示，利用由作为具有OLPF的图像的老师图像和作为没有OLPF的图像的学生图像构成的学习对，执行在学习单元5152中进行的学习处理。
因此，通过在其中具有OLPF的状态下在传感器2上接收入射光的情况下、和在其中不具有OLPF的状态下在传感器2上接收入射光的情况下产生图像而构成学习对，但是通过精确定位像素增量中的每个图像而使用每个图像实际是非常困难的。
为了解决该问题，学习装置5110通过模拟，利用作为输入图像的高分辨率图像产生具有OLPF的图像和没有OLPF的图像。
现在，将描述利用学习装置5110中的老师图像产生单元5153产生老师图像的方法，以及利用学生图像产生单元5151产生学生图像的方法。
图344是示出学习装置5110的老师图像产生单元5153和学生图像产生单元5151的详细结构的方框图。
老师图像产生单元5153的1/16平均处理单元5153a获得作为输入图像的高分辨率图像的整个范围中的4×4像素共16的像素的像素值的平均像素值，用获得的平均像素值替换全部16个像素的像素值，而产生并输出老师图像。根据该处理，HD图像的像素数变成1/16像素(在水平方向上和在垂直方向上各为1/4像素)。
也就是说，该1/16平均处理单元5153a将作为输入图像的HD图像的每个像素看作投影到传感器2上的光，并将HD图像的4×4像素的范围看作SD图像的一个像素，从而产生一种空间积分效应，并虚拟产生图像(没有OLPF的图像)，其将被在传感器2上产生，并没有OLPF5103的影响。
如参考图334和图335所示，学生图像产生单元5151的OLPF处理单元5151a分散以25％增量输入的HD图像的像素的像素值，并将其叠加，从而当将HD图像的每个像素看成光时模拟由于OLPF5103导致的操作。
1/16平均处理单元5135b与老师图像产生单元5153的1/16平均处理单元5153a相同，用4×4像素的共16个像素的平均像素值替换全部16个像素的像素值，并产生由SD图像构成的学生图像。
尤其是，对全部像素进行处理，其中OLPF模拟处理单元5151a分散通过例如如图345所示将在入射位置上的像素P1的像素值分成各个像素P1到P4获得的值，然后，通过分别叠加分散的值而获得像素值。根据该该处理，例如，如图345所示的像素P4变成像素P1到P4的平均像素值。
在图345中，每个栅格对应于HD图像的一个像素。另外，由点线围绕的4×4像素对应于SD图像的一个像素。
也就是说，在图345中，像素P1和P2之间的距离、像素P1和P3之间的距离、以及像素P2和P4之间的距离等于图335所示的OLPF5103的移动量。
像素P1和P2之间的距离、像素P1和P3之间的距离、以及像素P2和P4之间的距离变为2个像素的原因是，OLPF5103的OLPF移动量实际为3.35μm，但是另一方面，CCD5104的像素间距(在水平方向和垂直方向上的像素之间的宽度)实际为6.45μm，其相对比值为1.93，如图346所示。也就是说，将OLPF移动量设置为2个像素，例如图中由点线围绕的像素，以将像素间距设置为4个像素，因此，其相对比值变成2.0，并且因此，可以在类似实际测量值1.93的情况下模拟将被投影到传感器2上的OLPF5103的影响。
类似，如图346所示，可以这样设置，其中将OLPF移动量设置为4个像素，并将像素间距设置成8个像素，即只要将OLPF移动量和像素间距设置为保持该比例，则可以采用其它OLPF移动量和像素间距。另外，即使将OLPF移动量设置为6像素，将像素间距设置成11像素，其相对比值保持为1.83，仍可以进行利用该比例的处理模拟。
在老师图像产生单元5153产生如图347所示的图像的情况下，学生图像产生单元5151产生如图348所示的图像。由于将HD图像的4×4像素实际显示为SD图像的单个像素，因此两个图像都被显示为马赛克图形，但是在如图347所示的老师图像中，以白色示出的边缘部分比图348所示的学生图像更清楚，因此，在学生图像上产生了受到OLPF5103的影响的图像。
接着，将参考图349的流程图描述学习处理。
在步骤S5031中，如上文参考图345描述的学生图像产生单元5151的OLPF模拟处理单元5151a分散以增量25％被输入4个像素的HD图像的像素的像素值，通过叠加分散在每个像素位置上的像素值而产生像素值，模拟OLPF5103导致的操作，并将处理结果输出给1/16平均处理单元5151b。
在步骤S5032中，1/16平均处理单元5151b关于从OLPF模拟处理单元5151a输入的经过OLPF模拟处理的图像获得在4×4像素共16个像素增量上的平均像素值，接着用其平均像素值依次替换16个像素的像素值，产生学生图像，其变成SD图像，并将其输出给学习单元5152的图像存储器5161。
在步骤S5033中，类型分块选取单元5162从存储在图像存储器5161中的图像数据选取作为关注像素的类型分块的像素的像素值，并将选取的像素的像素值输出给特征计算单元5163。
在步骤S5034中，特征获取单元5163利用从类型分块选取单元5162输入的类型分块的像素的像素值信息，计算对应于关注像素的特征，并将计算的信息输出给类型分类单元5164。
在步骤S5035中，类型分类单元5164基于输入的特征分类对应于将要变成关注像素的像素的类型，以确定类型代码，将其输出给预测分块选取单元5165，并还将其存储在学习存储器中。
在步骤S5036中，预测分块选取单元5165基于从类型分类单元5164输入的类型代码选取对应于存储在图像存储器5161中的图像数据的关注像素的预测分块的像素的像素值信息，并将其输出给补充计算单元5166。
在步骤S5037，老师图像产生单元5153的1/16平均处理单元5153a关于作为输入图像的HD图像获得在4×4像素共16个像素增量上平均像素值，并用获得的平均像素值替换16个像素的像素值，从而产生没有OLPF的图像(表现为SD图像)，其没有受到OLPF5103的影响，并将其输出给补充计算单元5166。
在步骤S5038中，补充计算单元5166基于从老师图像产生单元5153输入的老师图像的像素的像素值补充将要变成正规方程的每项的和的值，并将补充的值输出给学习存储器5167，并将其相关于相应类型代码存储。
在步骤S5039中，正规方程计算单元5168确定是否对输入图像的全部像素完成补充处理，在确定仍未对输入图像的全部像素完成补充处理的情况下，该处理返回步骤S5032，其中重复后面的处理。换句话说，重复步骤S5032到步骤S5039的处理，直到完成对输入图像的全部像素的补充处理。
在确定在步骤S5039中已经完成对输入图像的全部像素的补充处理的情况下，正规方程计算单元5168基于存储在学习存储器5167中的补充结果相关于相应的类型代码计算正规方程，获得其预测系数，并将其输出给系数存储器5154。
在步骤S5041中，正规方程计算单元5168确定是否完成对全部类型的计算以获得预测系数，在确定仍未完成对全部类型的用于获得预测系数的计算，则处理返回步骤S5040。换句话说，重复步骤S5040的处理，直到完成对全部类型的用于获得预测系数的计算。
在步骤S5041中，在确定已经对全部类型完成用于获得预测系数的计算的情况下，该处理结束。
根据上述学习处理，OLPF除去单元5131可以产生类似于现实世界的图像的图像，其中通过利用存储在系数存储器5154中的预测系数，例如将预测系数复制到系数存储器5144中等，从经过OLPF5103的滤波处理的输入图像中除去OLPF处理影响。
例如，通过使用该获得的预测系数，在输入例如如图348所示的经过OLPF5103的滤波处理的图像(通过模拟OLPF5103的处理获得的图像)的情况下，OLPF除去单元5131利用上述参考图340的流程图的OLPF除去处理而产生如图350所示的图像。
可以理解，如图350所示的上述处理的图像与如图347所示的未经过OLPF5103的滤波处理的输入图像基本相同。
另外，如图351所示，可以理解，在比较图347、图348以及图350的图像中的在y方向上的特定同一位置上的在x方向上的像素变化时，除去OLPF的影响的图像表现出比经过OLPF的滤波处理的图像更接近未受到OLPF的影响的图像的值。
注意，在图351中，实现表示对应于图347所示的图像(没有OLPF的图像)的像素值，点线表示如图348所示的图像(具有OLPF的图像)，以及单点线表示如图350所示的图像(OLPF除去图像)。
根据上述设置，借助低通滤波器获取其中将现实世界光信号投影到每个具有空间积分效应的多个像素上的图像数据，估计被投影到光学低通滤波器上的光信号，从而考虑通过光学低通滤波器在空间方向的至少一维上分散和积分光信号，因此，通过考虑从其中获取数据的现实世界，可以获得对现实世界的事件的更准确和高精度的处理结果。
在上述实例中，已经描述了这样的实例，其中在数据连续性检测单元101的上一阶段除去OLPF5103的滤波处理的影响，但是可以考虑OLPF5103的影响地利用现实世界估计单元102估计现实世界。因此，在该情况下，信号处理装置的结构变成参考图3所示的结构。
图352为示出现实世界估计单元102的结构的方框图，其中考虑OLP5103的影响而估计现实世界。
如图352所示，现实世界估计单元102包括条件设置单元5201、输入图像存储单元5202、输入像素值获取单元5203、积分分量计算单元5204、正规方程产生单元5205、以及模拟函数产生单元5206。
条件设置单元5201设置用于估计函数F(x，y)的对应于关注像素的像素范围(分块范围)、以及模拟函数f(x，y)、g(x，y)的维数n。
输入图像存储单元5202临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元5203从存储在输入图像存储单元5202中的输入图像中获取对应于由条件设置单元5201设置的分块范围输入图像区域，并将其提供给正规方程产生单元5205作为输入像素值表。也就是说，输入像素值表是其中描述包括在输入图像区域中的像素的各像素值的表。注意，下面将描述输入像素值表的特定实例。
另外，如参考图344和图345所述，OLPF5103将入射光分成具有OLPF移动量d的四个点。因此，在图像的像素中，通过叠加在包括其自身像素位置的四个点上的像素值的各25％而产生其像素值。注意，图253示出了，由点线围绕的范围表示不同的四个像素点，并且叠加每个的25％。
如上所述，由OLPF5103将入射光分成如图354所示的四个点，表示传感器2紧前的分散光分布的模拟函数g(x，y)变成如公式(257)所示的关系式，其利用模拟现实世界的模拟函数f(x，y)。注意，图354示出在其顶部具有凸形的曲线表示模拟函数f(x，y)，并且其中将这些曲线分成4个曲线然后叠加的模拟函数是g(x，y)。
g(x，y)＝f(x，y)+f(x-d，y)+f(x，y-d)+f(x-d，y-d)公式(257)另外，用下面公式(258)表示现实世界的模拟函数f(x，y)。
f(x,y)=Σi=0nwi×(x-s×y)i]]>公式(258)这里，wi表示模拟函数的系数，以及s(＝cotθθ是连续性角度)表示作为连续性的梯度。
因此，用下面公式(259)表示用于表示传感器2紧前的光分布的模拟函数g(x，y)。
g(x,y)=Σi=0nwi×(x-s×y)i+Σi=0nwi×(x-d-s×y)i]]>+Σi=0nwi×(x-s×(y-d))i+Σi=0nwi×(x-d-s×(y-d))i]]>公式(259)现实世界估计单元102如上所述计算模拟函数f(x，y)的特征wi。
可以将公式(259)表示为如下公式(260)。
P=∫y-0.5y+0.5∫x-0.5x+0.5g(x,y)dxdy]]>=∫y-0.5y+0.5∫x-0.5x+0.5{Σi=0nwi×(x-s×y)i+Σi=0nwi×(x-d-s×y)i]]>+Σi=0nwi×(x-s×(y-d))i+Σi=0nwi×(x-d-s×(y-d))idxdy]]>=∫y-0.5y+0.5∫x-0.5x+0.5Σi=0nwi×(x-s×y)idxdy]]>+∫y-0.5y+0.5∫x-0.5x+0.5Σi=0nwi×(x-d-s×y)idxdy]]>+∫y-0.5y+0.5∫x-0.5x+0.5Σi=0nwi×(x-s×(y-d))idxdy]]>+∫y-0.5y+0.5∫x-0.5x+0.5Σi=0nwi×(x-d-s×(y-d))idxdy]]>=Σi=0nwis(i+1)(i+2){(x+0.5-s×y+0.5)i+2-(x+0.5-s×y-0.5)i+2-(x-0.5-s×y+0.5)i+2+(x-0.5-s×y-0.5)i+2}]]>+Σi=0nwis(i+1)(i+2){(x+0.5-s×y+0.5)i+2-(x+0.5-s×y-0.5)i+2-(x-0.5-s×y+0.5)i+2+(x-0.5-s×y-0.5)i+2}]]>+Σi=0nwis(i+1)(i+2){(x+0.5-s×(y+0.5-d))i+2-(x+0.5-s×(y-0.5-d))i+2]]>-(x-0.5-s×(y+0.5-d))i+2+(x-0.5-s×(y-0.5-d))i+2}]]>+Σi=0nwis(i+1)(i+2){(x+0.5-d-s×(y+0.5-d))i+2-(x+0.5-d-s×(y-0.5-d2)i+2]]>-(x-0.5-d-s×(y+0.5-d))i+2+(x-0.5-d-s×(y-0.5-d))i+2}]]>=Σi=0nwis(i+1)(i+2){(x+0.5-s×y+0.5)i+2-(x+0.5-s×y-0.5)i+2-(x-0.5-s×y+0.5)i+2+(x-0.5-s×y-0.5)i+2]]>+(x+0.5-d-s×y+0.5)i+2-(x+0.5-d-s×y-0.5)i+2-(x-0.5-d-s×y+0.5)i+2+(x-0.5-d-s×y-0.5)i+2]]>+(x+0.5-s×(y+0.5-d))i+2-(x+0.5-s(y-0.5-d))i+2-(x-0.5-s×(y+0.5-d))i+2+(x-0.5-s×(y-0.5-d))i+2]]>+(x+0.5-d-s×(y+0.5-d))i+2+(x+0.5-d-s×(y-0.5-d))i+2]]>-(x-0.5-d-s×(y+0.5-d))i+2+(x-0.5-d-s×(y-0.5-d))i+2}]]>=Σi=0nwi×Si(x-0.5,x+0.5,y-0.5,y+0.5)+e]]>公式(260)在公式(260)中，Si(x-0.5，x+0.5，y-0.5，y+0.5)表示I维项的积分分量。也就是说，积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)如下面公式(261)所示。
si(x-0.5,x+0.5,y-0.5,y+0.5)=]]>(x+0.5-s×y+0.5s)i+2-(x+0.5-s×y-0.5s)i+2-(x-0.5-s×y+0.5s)i+2+(x-0.5-s×y-0.5s)i+2s(i+1)(i+2)]]>公式(261)积分分量计算单元5204计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。
尤其是，只要已知相对像素位置(x，y)、梯度s、以及i维项的i，则可以计算公式(261)中所示的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。其中，分别是，相对像素位置(x，y)由关注像素和分块范围确定，变量s为cotθ，其由角度θ确定，以及i的范围由n维的数值确定。
因此，积分分量计算单元Si(x-0.5，x+0.5，y-0.5，y+0.5)基于由条件设置单元5201设置的分块范围和维数、以及从数据连续性检测单元101输出的数据连续性信息的角度θ，计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)，并将计算结构提供给正规方程产生单元5205作为积分分量表。
正规方程产生单元5205在利用从输入像素值获取单元5203提供的输入像素值表、以及从积分分量计算单元5206提供的积分分量表通过最小二乘法获得上述公式(260)的情况下，产生正规方程，并将其作为正规方程表输出给模拟函数产生单元5206。注意，下面将描述正规方程的具体实例。
模拟函数产生单元5206通过利用矩阵方法求解包括在从正规方程产生单元5205提供的正规方程表中的正规方程，而计算上述公式(259)的各个特征wi(即，作为二维多项式的模拟函数f(x，y)的各个系数wi)，并将其输出给图像产生单元103。
接着，将参考图355的流程图描述考虑OLPF5103的影响的现实世界估计处理(图40中步骤S102的处理)。
例如，假设具有由梯度GF表示的空间方向中的连续性的现实世界1中的光信号已经由传感器2检测、并被存储入输入图像存储单元5202作为对应于一帧的输入图像。另外，假设数据连续性检测单元101已经输出角度θ作为输入图像的数据连续性信息。
在该情况下，在步骤S5201中，条件设置单元5201设置条件(分块范围和维数)。
例如，假设设置了如图356所示的分块范围5201，并将维数设置为5维。
图356描述了分块范围的实例。在图356中，X方向和Y方向分别为传感器2的X方向和Y方向。另外，分块范围5241表示由共20个像素(图中20个方形)构成的像素组，其中为X方向上的4个像素和Y方向上的5个像素。
另外，如图356所示，假设图中分块范围5241的关注像素被设置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图356所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到19的任何整数值)。
现在，将返回图355进行描述，其中在步骤S5202中，条件设置单元5201设置关注像素。
在步骤S5203中，输入像素值获取单元5203基于由条件设置单元5201设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元5203产生由20个输入像素值P(l)构成的表作为输入像素值表。
注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y)之间的关系是如下面的公式(262)所示的关系。然而，在公式(262)中，左侧表示输像素值P(l)，右侧表示输入像素值P(x，y)。
P(0)＝P(0，0)P(1)＝P(-1，2)P(2)＝P(0，2)P(3)＝P(1，2)P(4)＝P(2，2)P(5)＝P(-1，1)P(6)＝P(0，1)P(7)＝P(1，1)P(8)＝P(2，1)P(9)＝P(-1，0)P(10)＝P(1，0)P(11)＝P(2，0)P(12)＝P(-1，-1)P(13)＝P(0，-1)P(14)＝P(1，-1)P(15)＝P(2，-1)P(16)＝P(-1，-2)P(17)＝P(0，-2)P(18)＝P(1，-2)P(19)＝P(2，-2)公式(262)在步骤S5204，积分分量计算单元5204基于由条件设置单元5201设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元5204将上述公式(261)中的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)计算为l的函数，如下面公式(263)中左侧所示的积分分量Si(l)。
Si(l)＝Si(x-0.5，x+0.5，y-0.5，y+0.5) 公式(263)尤其是，在该情况下，计算出如下面公式(264)所示的积分分量Si(l)。
Si(0)＝Si(-0.5，0.5，-0.5，0.5)Si(1)＝Si(-1.5，-0.5，1.5，2.5)Si(2)＝Si(-0.5，0.5，1.5，2.5)Si(3)＝Si(0.5，1.5，1.5，2.5)Si(4)＝Si(1.5，2.5，1.5，2.5)Si(5)＝Si(-1.5，-0.5，0.5，1.5)Si(6)＝Si(-0.5，0.5，0.5，1.5)Si(7)＝Si(0.5，1.5，0.5，1.5)Si(8)＝Si(1.5，2.5，0.5，1.5)Si(9)＝Si(-1.5，-0.5，-0.5，0.5)Si(10)＝Si(0.5，1.5，-0.5，0.5)Si(11)＝Si(1.5，2.5，-0.5，0.5)Si(12)＝Si(-1.5，-0.5，-1.5，-0.5)Si(13)＝Si(-0.5，0.5，-1.5，-0.5)Si(14)＝Si(0.5，1.5，-1.5，-0.5)Si(15)＝Si(1.5，2.5，-1.5，-0.5)Si(16)＝Si(-1.5，-0.5，-2.5，-1.5)Si(17)＝Si(-0.5，0.5，-2.5，-1.5)Si(18)＝Si(0.5，1.5，-2.5，-1.5)Si(19)＝Si(1.5，2.5，-2.5，-1.5)公式(264)注意，在公式(264)中，左侧表示积分分量Si(l)，以及右侧表示积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i为0到5，因此，计算出20S0(l)、20S1(l)、20S2(l)、20S3(l)、20S4(l)、以及20S5(l)共120个20Si(l)。
尤其是，第一积分分量计算单元5204利用从数据连续性检测单元101提供的角度θ计算cotθ，并取计算结果为变量s。接着，积分分量计算单元5204利用计算的变量s计算如公式(264)右侧所示的关于i＝0到5的每个的20个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)中的每个。也就是说，计算120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。注意，在对该积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的计算中，使用了上述公式(261)。接着，积分分量计算单元5204根据公式(264)将每个计算的120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)转换成相应的积分分量Si(l)，并产生包括转换的120个积分分量Si(l)的积分分量表。
注意，步骤S5203中的处理和步骤S5204中的处理的顺序不限于图355中的实例，可以先执行步骤S5204中的处理，或者可以同时执行步骤S5203中的处理和步骤S5204中的处理。
接着，在步骤S5205中，正规方程产生单元5205基于由输入像素值获取单元5203在步骤S5203中的处理中产生的输入像素值表、以及由积分分量计算单元5204在步骤S5204的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算通过上述公式(260)计算特征wi(然而，在公式(258)中，使用利用公式(262)从积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)转换来的Si(l))，对应于此的正规方程如下面公式(265)所示。
公式(265)注意，在公式(265)中，L表示分块范围中的像素数l的最大值。n表示作为多项式的模拟函数f(x)的维数。尤其是，在该情况下，n＝5，以及L＝19。
如果限定如公式(265)所示的正规方程的每个矩阵如公式(266)到(268)所示，则正规方程被表示为如下公式(269)。
公式(266)WMAT=w0w1···wn]]>公式(267)PMAT=Σl=0LS0(l)P(l)Σl=0LS1(l)P(l)···Σl=0LSn(l)P(l)]]>公式(268)SMATWMAT＝PMAT公式(269)如公式(267)所示，矩阵WMAT的各个分量为将要获得的特征wi。因此，在公式(269)中，如果确定了左侧的矩阵SMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT。
尤其是，如公式(266)所示，利用上述积分分量Si(l)，可以计算矩阵SMAT的各个分量。也就是说，积分分量Si(l)被包括在从积分分量计算单元5204提供的积分分量表中，从而正规方程产生单元5205可以利用积分分量表计算矩阵SMAT的每个分量。
另外，如公式(268)所示，利用积分分量Si(l)和输入像素值P(l)，可以计算矩阵PMAT的各个分量。也就是说，积分分量Si(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元5203提供的输入像素值表中，从而，正规方程产生单元5205利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元5205计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元5206。
当从正规方程产生单元5205输出正规方程表时，在步骤S5206中，模拟函数产生单元5206基于正规方程表计算特征wi(即作为二维多项式的模拟函数f(x，y)的系数wi)，作为上述公式(269)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(269)中的正规方程转换为下面的公式(270)。
WMAT=SMAT-1PMAT]]>公式(270)在公式(270)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元5205提供的正规方程表中。因此，模拟函数产生单元5206通过利用正规方程表计算公式(270)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S5207中，模拟函数产生单元5206确定是否已经完成对全部像素的处理。
在步骤S5207中，在确定仍未完成对全部像素的处理时，该处理返回步骤S5202，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S5202到S5207。
在已经完成对全部像素的处理的情况下(在步骤S5207中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
图357中的A示出了高精度输入图像(自行车轮辐的图像)，图357中的B示出了图357中图像A经过OLPF5103的处理获得的图像，图357中的C是通过参考上述图355所示的流程图描述的处理利用从图357所示的B的图像估计的现实世界的模拟函数产生其像素的图像，以及图357中的D是由通过常规类型分类适应处理产生的图357中的B的图像产生的图像。
可以理解，图357中的C的图像显示较强的边缘，从而相比于图357的D的图像清楚地显示轮辐的轮廓。
另外，图358示出了图357中A到D的图像在垂直方向的特定位置上的在水平方向上的像素值的变化。在图358中，单点线对应于图357的A的图像，实现对应于图357的B的图像，虚线对应于图357的C的图像，以及双点线对应于图357的D的图像。如图358所示，在其中显示轮辐图像的约X＝10的空间方向上，可以理解，作为图352所示的由现实世界估计单元102处理的图像的虚线考虑了OLPF5103的影响，其可以获得比通过常规类型分类适应处理产生的由双点线表示的图像更接近输入图像的值。
尤其是，其中像素值较小的部分是轮辐的边缘部分的反射部分，但是对于这部分，通过考虑OLPF的处理改善了表现。
根据如图352所示的现实世界估计单元102，可以获得其中考虑OLPF5103的影响的现实世界中的模拟函数f(x)，并且，还可以从其中考虑OLPF5103的影响的现实世界中的模拟函数f(x)产生其中考虑OLPF5103的影响的像素。
如上所述，作为对二维多项式模拟技术的描述，已经采用了这样的实例，其中计算模拟函数f(x，y)相对于空间方向(X方向和Y方向)的系数(特征)wi，但是，显然，还可以采用一维多项式模拟技术，其中使用空间方向(X方向和Y方向)的任意单个方向。
根据上述设置，假设对应于图像数据的空间方向的至少一维方向上的位置的关注像素的像素值是通过对应于光学低通滤波器的多个现实世界函数在至少一维方向上的积分获取的像素值，其中所述图像数据通过借助光学低通滤波器将现实世界光信号投影到每个具有时间空间积分效应的多个像素上获得，所述图像数据已经丢失了现实世界光信号的部分连续性，则通过估计多个现实世界函数而估计对应于现实世界光信号的函数，从而可以更真实地估计现实世界。
在上述设置中，图336所示的信号处理装置已经执行了信号处理以从自传感器2输入的图像除去OLPF5103的影响，如图352所示的现实世界估计单元102考虑OLPF5103的影响产生了现实世界模拟函数，利用信号处理进行考虑OLPF5103的影响的处理，但是，例如，可以这样设置，其中取没有OLPF的HD图像作为老师图像，取具有OLPF的SD图像作为学生图像，通过学习设置预测系数，以及利用类型分类适应处理产生图像。
图359为示出信号处理装置5221的结构的方框图，其被构成为取没有OLPF的HD图像作为老师图像，取具有OLPF的SD图像为学生图像，通过学习设置预测系数，并利用类型分类适应处理产生图像。
注意，图359所示的信号处理装置5221与图337所示的OLPF除去单元5131具有基本相同的结构，信号处理第一5221的类型分类选取单元5241、特征计算单元5242、类型分类单元5243、系数存储器5244、预测分块选取单元5245、以及像素值计算单元5246与OLPF除去单元5131的信号处理单元的类型分类选取单元5141、特征计算单元5142、类型分类单元5143、系数存储器5144、预测分块选取单元5145、以及像素值计算单元5146基本相同，因此省略对其的描述。然而，通过学习获得存储在系数存储器5244中的预测系数，所述学习不同于系数存储器5144中的学习。下面将参考图361的学习装置描述对存储在系数存储器5244中的预测系数的学习。
接着，将参考图360的流程图描述由如图359所示的信号处理装置5221进行的信号处理，但是该处理与图340所示的流程图中的处理基本相同，因此省略对其的描述。
根据上述设置，通过借助光学低通滤波器将现实世界光信号投影到每个具有空间时间积分效应的多个像素上而获取第一图像数据，从第一图像数据获取对应于第二图像数据中的关注像素的多个像素，预先进行学习，以预测由光信号获取的第二图像数据，其将被基于第一图像数据而被直接投影到光学低通滤波器上，并且基于选取的多个像素预测第二图像数据中的关注像素的像素值，从而所述预测使得可以产生忠实于现实世界的图像。
接着，将参考图161描述学习装置，其学习(上述图359所示的信号处理装置作为预测装置，用于利用预测系数预测像素值，因此，学习预测系数表示学习预测平均值)将要被存储在图359所示的信号处理装置的系数存储器5244中的预测系数。注意，图361所示的学习单元5252与图341所示的学习单元5152基本相同，学习单元5252的图像存储器5261、类型分块选取单元5262、特征选取单元5263、类型分类单元5264、预测分块选取单元5265、补充计算单元5266、学习存储器5267、正规方程计算单元5268、以及系数存储器5254与学习单元5152的图像存储器5161、类型分块选取单元5162、特征选取单元5163、类型分类单元5164、预测分块选取单元5165、补充计算单元5166、学习存储器5167、正规方程计算单元5168、以及系数存储器5154基本相同，因此省略对其的描述。
另外，如图362所示，老师图像产生单元5253的1/16平均处理单元5253a和学生图像产生单元5251的OLPF模拟处理单元5251a与图344所示的老师图像产生单元5153的1/16平均处理单元5153a和学生图像产生单元5251的OLPF模拟处理单元5151a基本相同，因此省略对其的描述。
学生图像产生单元5251的1/64平均处理单元5251b在OLPF模拟中将经过OLPF5103的处理的HD图像的每个像素看作作为被投影到传感器2上的光的输入图像，将HD图像的8×8像素的范围看作SD图像的单个像素，从而产生一种空间积分效应，并实际产生图像(没有OLPF的SD图像)，其将被在传感器2上产生，并没有OLPF5103的影响。
接着，将参考图363的流程图描述由图361所示的学习装置进行的学习处理。
注意，步骤S5231的处理和步骤S5233到S5241的处理与参考图349的流程图描述的步骤S5031的处理和步骤S5033到S5041的处理相同，因此省略对其的描述。
在步骤S5232中，1/64平均处理单元5251b关于从OLPF模拟处理单元5251a输入的经过OLPF模拟的图像获得在8×8像素共64个像素增量上的平均像素值，并用其平均像素值依次替换64个像素的像素值，从而产生学生图像，其表现为SD图像，并将其输出给学习单元5252的图像存储器5261。
根据上述处理，将在取没有OLPF的HD图像作为老师图像、并取具有OLPF的SD图像作为学生图像的情况下的预测系数存储在系数存储器5254中。另外，将存储在该系数存储器5254中的预测系数复制到信号处理装置5221等的系数存储器5244中，使得进行图360所示的信号处理，并还使得将具有OLPF的SD图像转换成没有OLPF的HD图像。
总结上述处理，现实世界图像受到OLPF处理，将由成像装置(传感器2)拍摄的SD图像(图中现实世界+LPF+成像装置)转换成其中通过337所示的OLPF除去单元5131除去OLPF的处理的SD图像(图中现实世界+成像装置)，如图364中的箭头A所示，另外，在OLPF的处理之前由连续性检测单元101和现实世界估计单元102估计现实世界，如图364中的箭头A’所示。
另外，图352中的现实世界估计单元102在OLPF的处理之前从SD图像(图中的现实世界+LPF+成像装置)估计现实世界，如图364中的箭头B所示。
另外，图359所示的信号处理装置5221产生HD图像，在所述图像中在没有OLPF的影响的情况下由成像装置SD图像(图中的现实世界+LPF+成像装置)拍摄现实世界，如图364中的箭头C所示。
另外，常规类型分类适应处理产生HD图像，在所述图像中在借助OLPF的情况下由成像装置从SD图像(图中现实世界+LPF+成像装置)拍摄现实世界，如图364中的箭头D所示。
另外，图3中所示的信号处理装置从SD图像(图中的现实世界+LPF+成像装置)估计受到OLPF的影响的现实世界，如图364中的箭头E所示。
根据上述设置，当对应于第二图像数据的光信号通过光学低通滤波器计算对应于光信号的图像数据，将其输出作为第一图像数据，从第一图像数据选取对应于第二图像数据中的关注像素的多个像素，并进行学习以从选取的多个像素的像素值预测关注像素的像素值，从而可以产生更忠实于现实世界的图像。
另外，在上述设置中，已经将模拟现实世界的模拟函数f(x)处理成连续函数，但是例如，可以将模拟函数f(x)设置成对于每个区域是分离的。
也就是说，如图365所示，利用多项式模拟了作为表示现实世界光强分布的一维截面的曲线(图中以点线示出的曲线)的函数(模拟函数)，并利用该曲线连续存在于连续性方向上的特征估计现实世界。
然而，作为截面的该曲线不需要总是例如多项式的连续函数，例如，其可以是对于每个区域变化的分离函数，如图366所示。也就是说，在图366的情况下，当区域为a1≤x＜a2时，模拟函数f(x)＝w1，当区域为a2≤x＜a3时，模拟函数f(x)＝w2，当区域为a3≤x＜a4时，模拟函数f(x)＝w3，当区域为a4≤x＜a5时，模拟函数f(x)＝w4，以及，当区域为a5≤x＜a6时，模拟函数f(x)＝w5，从而对每个区域设置不同的模拟函数f(x)。另外，可以考虑，wi基本为每个区域的光强水平。
从而，将如图366所示的分离的模拟函数定义为作为通用式的下面的公式(271)。
f(x)＝wi(ai≤x＜ai+1)公式(271)这里，i表示设置的区域数。
从而，将如图366所示的截面分布(对应于截面曲线)设置为每个区域的常数。注意，图366所示的像素值的截面分布在其形状上与图365所示的点线的曲线分布非常不同，但是实际上，通过将其中设置每个函数f(x)的范围的宽度(在该情况下为ai≤x＜ai+1)减小到微小宽度，则可以利用连续函数的截面曲线在地理上设置可以模拟分离函数的截面分布的水平。
因此，通过采用由公式(271)定义的由现实世界分离函数构成的模拟函数f(x)，可以由下面的公式(272)获得像素值P。
P=∫xsxef(x)dx]]>公式(272)这里，Xe和Xs表示在X方向上的积分范围，其中分别为，Xs表示积分开始位置，以及Xe表示积分结束位置。
然而，实际上难于直接获得如上述公式(271)所示的模拟现实世界的函数。
可以假设图366所示的像素值截面分布相对于连续性方向连续存在，从而在空间中的光强分布变成如图367所示。图367的左侧部分对应在其中由连续性函数构成的模拟函数f(x)连续存在于连续性方向上的情况下的像素值分布，而图367的右侧部分是对应于左侧部分的相同分布，其对应在其中由分离函数构成的模拟函数f(x)连续存在于连续性方向上的情况下的像素值分布。
也就是说，提供了其中如图366所示的截面形状连续在连续性方向上的状态，从而在采用由分离函数构成的模拟函数f(x)的情况下，每个水平wi在连续性方向上分布为带形。
为了确定利用由如图367的右侧部分所示的分离函数定义的模拟函数f(x)的每个区域的水平，需要获得根据像素的总面积的占据其中设置每个像素(每个函数)的范围上的每个区域的面积的比例的权重与其水平之间的积和，利用相应像素的像素值产生正规方程，并利用最小二乘法获得每个区域的像素值。
也就是说，如图368所示，在分离函数如图368的左侧部分分布的情况下，当获得图368中用粗线围绕的栅格所示的关注像素的像素值(注意，图368是俯视图，示出了取纸的空间为X-Y平面时的像素阵列，每个栅格对应一个像素)时，在关注像素的阴影部分上方的三角形(其底边在上面的三角形)范围是由f(x)＝w2设置的范围，阴影部分是由f(x)＝w3设置的范围，以及阴影部分下方的三角形(其底边在下面的三角形)是由f(x)＝w4设置的范围。
在关注像素的面积为1的情况下，假设由f(x)＝w2的范围所占的比例为0.2，由f(x)＝w3的范围所占的比例为0.5，以及由f(x)＝w4的范围所占的比例为0.3，则关注像素的像素值由像素值与每个范围的比例的积的和表示，从而通过下面公式(273)的计算而获得。
P＝0.2×w2+0.5×w3+0.3×w4公式(273)因此，通过关于利用公式(273)所示的关系产生每个像素的关系式，可以获得像素水平，例如，为了获得水平w1到w5，如果可以利用包括所有水平的至少5个像素的像素值获得表示关系的公式(273)，则可以利用最小二乘法获得表示像素值水平的w1到w5(在方程数与未知数个数相同的情况下的联立方程)。
从而，通过采用连续二维关系式，可以获得由分离函数构成的模拟函数f(x)。
另外，由于通过连续性检测单元101确定了作为连续性的角度θ，从而唯一确定通过原点(0，0)并具有角度θ的直线，并且由下面的公式(274)表示直线在Y方向的任意位置y上的在X方向上的位置x1。然而，在公式(274)中，s表示作为连续性的梯度，当由角度θ表示作为连续性的梯度时，将所述梯度表示为cotθ(＝s)。
x1＝s×y 公式(274)也就是说，将对应于数据连续性的直线上的点表示为坐标值(x1，y)。
根据公式(274)，将截面方向距离x’(沿其中存在连续性的直线在X方向上的平移距离)表示为下面公式(275)。
x′＝x-x1＝x-s×y公式(275)因此，利用公式(271)和公式(275)将任意位置上的模拟函数f(x，y)表示成下面的公式(276)。
f(x，y)＝wi(ai≤(x-s×y)＜ai+1) 公式(276)注意，在公式(276)中，wi为表示每个区域中的光强水平的特征。下文中，将wi还称为特征。
因此，只要可以计算公式(276)的每个区域的特征wi，现实世界估计单元102通过估计由分离函数构成的模拟函数f(x，y)可以估计波形F(x，y)。
因此，下文中，将描述用于计算公式(276)的特征wi的方法。
也就是说，当用对应于像素(传感器2的检测元件)的积分范围(空间方向中的积分范围)积分由公式(276)表示的模拟函数f(x，y)时，积分值变成关于像素的像素值的估计值。这由下面的公式(277)表示。注意，在采用连续性函数的二维多项式模拟方法中，将帧方向T认为是恒定值，从而公式(277)被取为其中变量为空间方向(X方向和Y方向)中的位置x和y的公式。
P(x,y)=∫ysye∫xsxef(x,y)dxdy]]>公式(277)在公式(277)中，P(x，y)表示其中心位置位于来自传感器2的输入图像的位置(x，y)(到关注像素的相对位置(x，y))上的像素的像素值。
从而，在二维模拟方法中，可以用公式(277)表示输入像素值P(x，y)与二维模拟函数f(x，y)之间的关系，因此，现实世界估计单元102通过例如利用公式(277)以最小二乘法等计算特征wi，可以估计二维函数F(x，y)(波形F(x，y)，其中现实世界1中的光信号具有在空间方向上的连续性)。
现在，将参考图369描述现实世界估计单元102的结构，其利用上述分离函数建立模拟函数f(x，y)，并估计现实世界。
如图369所示，现实世界估计单元102包括条件设置单元5301、输入图像存储单元5302、输入像素值获取单元5303、积分分量计算单元5304、正规方程产生单元5305、以及模拟函数产生单元5306。
条件设置单元5301设置用于估计对应于关注像素的函数F(x，y)的像素范围(分块范围)、以及模拟函数f(x，y)的范围(例如ai≤x＜ai+1的宽度、i的数值)。
输入图像存储单元5302临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元5303获取存储在输入图像存储单元5302中的输入图像的对应于由条件设置单元5301设置的分块范围的输入图像区域，并将其提供给正规方程产生单元5305作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的特定实例。
另外，如上所述，采用二维函数模拟方法的现实世界估计单元102通过利用最小二乘法求解上述公式(277)而计算由上述公式(276)表示的模拟函数f(x，y)的特征wi。
可以将公式(277)表示为下面的公式(278)。
f(x,y)=Σi=0nwiTi(xs,xe,ys,ye)]]>公式(278)在公式(278)中，Ti(xs，xe，ys，ye)表示对作为特征wi的区域(作为光水平wi的区域)、或作为积分分量的区域的积分结果，即表示面积。下文中，将Ti(xs，xe，ys，ye)称为积分分量。
积分分量计算单元5304计算积分分量Ti(xs，xe，ys，ye)(＝(x-0.5，x+0.5，y-0.5，y+0.5)在获得多个像素的区域的情况下)。
尤其是，如参考图368的描述，公式(278)所示的积分分量Ti(xs，xe，ys，ye)用于获得将要获得的像素的特定特征wi的面积。因此，积分分量计算单元5304通过基于每个特征的宽度d和数据连续性的角度θ信息获得每个特征wi地理占有的面积、或通过根据Simpson法则进行多次分割和积分可以获得Ti(xs，xe，ys，ye)，但是，用于获得面积的方法不限于此，例如，可以通过Monte Carlo方法获得面积。
如图368所示，只要已知ai≤(x-s×y)＜ai+1的宽度、表示连续性梯度的变量s、以及相对像素位置(x，y)，则可以计算特征wi。其中，相对像素位置(x，y)由关注像素和分块范围确定，变量s为cotθ，其由角度θ确定，以及ai≤(x-s×y)＜ai+1的宽度被预先设置，因此，每个值变成已知值。
因此，积分分量计算单元5304基于由条件设置单元5301设置的宽度和分块范围、以及从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量Ti(x-0.5，x+0.5，y-0.5，y+0.5)，并将计算结果提供给正规方程产生单元5305作为积分分量表。
正规方程产生单元5305在利用从输入像素值获取单元5303提供的输入像素值表、以及从积分分量计算单元5304提供的积分分量表通过最小二乘法获得上述公式(277)即公式(278)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元5306。注意，下面将描述正规方程的具体实例。
模拟函数产生单元5306通过利用矩阵方法求解包括在从正规方程产生单元5305提供的正规方程表中的正规方程，而计算上述公式(278)的各个特征wi，并将其输出给图像产生单元103。
接着，将参考图370的流程图描述采用利用分离函数的二维多项式模拟方法的现实世界估计处理(图40中步骤S102的处理)。
例如，假设具有由梯度GF表示的空间方向中的连续性的现实世界1中的光信号已经由传感器2检测、并被存储入输入图像存储单元5302作为对应于一帧的输入图像。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图406)中输出角度θ作为数据连续性信息。
在该情况下，在步骤S5301中，条件设置单元5301设置条件(分块范围、ai≤x＜ai+1的宽度(同一特征的宽度)、以及i的数值)。
例如，假设设置了如图371所示的分块范围，并将宽度设置为d。
图371描述了分块范围的实例。在图371中，X方向和Y方向分别为传感器2的X方向和Y方向。另外，分块范围表示由图371中右图中共15个像素(图中右图中用粗线围绕的15个栅格)构成的像素组。
另外，如图371所示，假设图中分块范围的关注像素被设置在阴影部分的像素上。另外，假设如图371所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到14的任何整数值)。
现在，将返回图370进行描述，其中在步骤S5302中，条件设置单元5301设置关注像素。
在步骤S5303中，输入像素值获取单元5303基于由条件设置单元5301设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元5303获取输入图像区域(图371中由0到14标出的像素)中的像素的像素值，并产生由15个输入像素值P(l)构成的表作为输入像素值表。
在步骤S5304，积分分量计算单元5304基于由条件设置单元5301设置的条件(分块范围、宽度和i数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
在该情况下，积分分量计算单元5304计算上述公式(278)中的积分分量Ti(xs，xe，ys，ye)(＝(x-0.5，x+0.5，y-0.5，y+0.5)在将q一个像素的尺寸表示为1×1的情况下)作为l的函数，如下面公式(279)中左侧所示的积分分量Ti(l)。
Ti(l)＝Ti(x-0.5，x+0.5，y-0.5，y+0.5) 公式(279)也就是说，在该情况下，如果i为0到5，因此，则计算15T0(l)、15T1(l)、15T2(l)、15T3(l)、15T4(l)、以及15T5(l)共90个Ti(l)。
注意，步骤S5303中的处理和步骤S5304中的处理的顺序不限于图370中的实例，可以先执行步骤S5304中的处理，或者可以同时执行步骤S5303中的处理和步骤S5304中的处理。
接着，在步骤S5305中，正规方程产生单元5305基于由输入像素值获取单元5303在步骤S5303的处理中产生的输入像素值表、以及由积分分量计算单元5304在步骤S5304的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算通过上述公式(278)计算特征wi，从而对应于此的正规方程如下面公式(280)所示。
公式(280)注意，在公式(280)中，L表示分块范围中的像素数l的最大值。n表示限定多项式的模拟函数f(x)的特征wi的i数。尤其是，在该情况下，L＝15。
如果限定如公式(280)所示的正规方程的每个矩阵如公式(281)到(283)所示，则正规方程被表示为如下公式(284)。

公式(281)WMAT=w0w1···wn]]>公式(282)PMAT=Σl=1LviT0(l)P(l)Σl=1LviT1(l)P(l)···Σl=1LviTn(l)P(l)]]>公式(283)TMAT×WMAT＝PMAT公式(284)如公式(282)所示，矩阵WMAT的各个分量为将要获得的特征wi。因此，在公式(284)中，如果确定了左侧的矩阵TMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT。
尤其是，如公式(281)所示，利用上述积分分量Ti(l)，可以计算矩阵TMAT的各个分量。也就是说，积分分量Ti(l)被包括在从积分分量计算单元5304提供的积分分量表中，从而正规方程产生单元5305可以利用积分分量表计算矩阵TMAT的每个分量。
另外，如公式(283)所示，利用积分分量Ti(l)和输入像素值P(l)，可以计算矩阵PMAT的各个分量。也就是说，积分分量Ti(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元5303提供的输入像素值表中，从而，正规方程产生单元5305利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元5305计算矩阵TMAT和矩阵PMAT的每个分量，并将计算结果(矩阵TMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元5306。
当从正规方程产生单元5305输出正规方程表时，在步骤S5306中，模拟函数产生单元5306基于正规方程表计算特征wi(即作为由分离函数构成的二维多项式的模拟函数f(x，y)的每个区域的系数wi)，作为上述公式(284)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(284)中的正规方程转换为下面的公式(285)。
WMAT=TMAT-1PMAT]]>公式(285)在公式(285)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵TMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元5305提供的正规方程表中。因此，模拟函数产生单元5306通过利用正规方程表计算公式(285)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S5307中，模拟函数产生单元5306确定是否已经完成对全部像素的处理。
在步骤S5307中，在确定仍未完成对全部像素的处理时，该处理返回步骤S5302，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S5302到S5307的处理。
在已经完成对全部像素的处理的情况下(在步骤S5307中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
作为对利用分离函数的二维多项式模拟方法的描述，已经采用了用于对应于空间方向(X方向和Y方向)计算模拟函数f(x，y)的系数(特征)wi的实例，但是也可以将利用分离函数的二维多项式模拟方法施加到时间和空间方向(X方向和t方向、或Y方向和t方向)。
也就是说，上述实例是这样的实例，其中现实世界1中的光信号具有空间方向中的连续性，以及因此，如上述公式(277)所示，所示方程包括在空间方向(X方向和Y方向)中的二维积分。然而，关于二维积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间方向(X方向和t方向，或Y方向和t方向)。
换句话说，在利用分离函数的二维多项式模拟方法中，即使在将要被估计的光信号函数F(x，y，t)不仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然而，X方向和t方向，或Y方向和t方向)的情况下，这可以利用二维多项式分离函数模拟。
尤其是，例如，在图372所示的对象(图中的玩具平面)D1(图中底部帧中的图像)在X方向上以均匀速度水平移向对象D2(图中中间帧的图像)的情况下，对象的移动方向由例如X-T平面中的轨迹L1表示，如图372的上部所示。注意，图372的上部示出了像素值在平面上的变化，其中取图中的OPQR为顶点。
换句话说，可以认为轨迹L1表示在X-T平面中的时间和空间方向上的连续性方向。因此，数据连续性检测单元101可以输出如图372所示的跟踪角度(严格地说，虽然图中没有示出，由作为在对象从D1移动到D2时的轨迹(上述移动)的数据连续性方向和空间方向中的X方向之间的角度)作为数据连续性信息，其对应于表示在X-T平面中的时间和空间方向上的连续性的梯度(作为连续性的角度)、以及上述角度θ(对应于在X-Y平面中由特定梯度(角度)表示的空间方向的连续性的数据连续性信息)。
因此，采用利用二维多项式分离函数的模拟技术的现实世界估计单元102通过用移动θ代替角度θ，可以以与上述方法相同的方法计算模拟函数f(x，t)的特征wi。然而，在该情况下，将要使用的公式不是上述公式(277)，而是下面的公式(286)。
P(x,t)=∫tste∫xsxef(x,t)dxdt]]>公式(286)在在X-T平面上处理的情况下，每个像素与图371右侧所示的分离函数之间的关系变成如图373所示。也就是说，在图373中，在空间方向X上的截面形状(具有分离函数的截面形状)在相对于帧方向T的特定连续性方向上连续。因此，在水平为5种水平w1到w5的情况下，变成图371的左侧所示的相同水平的带分布在连续性方向上。
因此，在该情况下，通过采用如图373右侧所示的X-T平面上的像素可以获得像素值。注意，在图373的右侧中，每个栅格代表一个像素，X方向表示像素宽度，但是对于帧方向，每个栅格增量相当于一帧。
另外，可以以与上述模拟函数f(x，t)相同的方法，处理关注空间方向Y代替空间方向X的模拟函数f(y，t)。
上述已经描述了关于用于建立由分离函数构成的二维多项式模拟函数、并估计现实世界的方法，但是，还可以采用由分离函数构成的三维多项式模拟函数估计现实世界。
例如，考虑如图374所示的在每个区域上不同的二维多项式分离函数。也就是说，在图374的情况中，当区域为a1≤x＜a2，并且b1≤y＜b2，模拟函数为f(x，y)＝w1，当区域为a2≤x＜a3，并且b3≤y＜b4，模拟函数为f(x，y)＝w2，当区域为a3≤x＜a4，并且b5≤y＜b6，模拟函数为f(x，y)＝w3，当区域为a4≤x＜a5，并且b7≤y＜b8，模拟函数为f(x，y)＝w4，以及当区域为a3≤x＜a4，并且b9≤y＜b10，模拟函数为f(x，y)＝w5，从而对每个区域设置不同的模拟函数f(x，y)。另外，可以考虑，wi基本是每个区域的光强水平。
从而，将如图374所示的分离函数定义为作为通用式的下面的公式(287)。
f(x，y)＝wi(aj≤x＜aj+1& b2k-1≤y＜b2k) 公式(287)注意，j和k是任意整数，但是i是用于识别区域的顺序数，其可以用j和k的组合表示。
从而，将如图374所示的截面分布(对应于截面曲线)设置为每个区域的常数。
因此，通过采用由公式(287)定义的由现实世界分离函数构成的模拟函数f(x，y)，可以由下面的公式(288)获得像素值P(x，y)。
P(x,y)=∫ysye∫xsxef(x,y)dxdy]]>公式(288)这里，xe和xs表示在X方向上的积分范围，其中分别为，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。类似，ye和ys表示在Y方向上的积分范围，其中分别为，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。
然而，实际上难于直接获得如上述公式(287)所示的模拟现实世界的函数。
可以假设图374所示的像素值的截面分布相对于帧方向上的连续性方向连续存在，从而在空间中的光强分布变成如图375所示。图375的左侧部分对应在其中由连续性函数构成的模拟函数f(x，y)连续存在于帧方向和x方向的连续性方向上的情况下的像素值在X-T平面上的分布，而图374的右侧部分示出了其中光强水平在X-Y平面上的截面在帧方向上连续的分布。
也就是说，提供了其中如图374所示的截面形状连续在连续性方向上的状态，从而如图375的右侧所示，每个水平wi的区域在连续性方向上分布为杆形。
为了确定利用由如图375的右侧部分所示的分离函数定义的模拟函数f(x，y)的每个三维区域的像素值，如同上述二维的采用面积的方法，采用根据体积的比例用于计算。也就是说，在每个像素的总体积中(由X方向、Y方向和T方向构成的三维体积)，获得根据由其中设置每个像素的范围占有的体积的比例的权重与其水平的乘积的和，采用相应像素的像素值，从而利用最小二乘法获得每个区域的像素值。
也就是说，如图376所示，假设一个区域的水平是f(x，y)＝w1，另一个区域的水平是f(x，y)＝w2，以边界R为边界。另外，假设在XYT空间中由图中ABCDEFGH构成的立方体表示关注像素。另外，假设关注像素中的具有边界R的截面为由IJKL构成的矩形。
另外，假设在像素P中，由作为以IBJ-KFL构成的三角柱的部分占有的比例以M1表示，由除了以上之外的部分(由ADCJI-EGHLK构成的五角柱形)的体积占有的比例由M2表示。注意，这里的术语“体积”表示在XYT空间上的占有区域的大小。
此时，用每个区域的像素值与比例的积的和表示关注像素的像素值P，因此，可以通过下面公式(289)所示的计算获得。
P＝M1×w1+M2×w2公式(289)因此，通过关于利用公式(289)所示的关系产生表示相对于每个像素的关系式，可以获得像素值水平，例如，为了获得水平w1到w2作为表示像素值的系数，如果可以利用包括每个系数的至少2个像素的像素值获得表示关系的公式(289)，则可以利用最小二乘法获得表示像素值水平的w1到w2(在方程数与未知数个数相同的情况下的联立方程)。
从而，通过采用具有连续性的三维关系式，可以获得由分离函数构成的模拟函数f(x，y)。
例如，基于从连续性检测单元101输出的相当于作为X-Y平面形中的连续性的角度θ的移动θ，可以获得X-T平面和Y-T平面形上的速度vx和vy(实际上，X-T平面和Y-T平面的梯度)，因此，在X方向和Y方向上的任意位置(x，y)上的连续性直线的在X方向上的位置x1和在Y方向上的位置y1可以由下面公式(290)表示。
x1＝vx×t，y1＝vy×t 公式(290)也就是说，对应于数据连续性的直线上的点由坐标值(x1，y1)表示。
根据公式(290)，截面方向距离x’和y’(沿存在连续性的直线在X方向和Y方向上的平移距离)由下面公式(291)表示。
x′＝x-x1＝x-vx×ty′＝y-y1＝y-vy×t 公式(291)因此，根据公式(287)和公式(291)将输入图像中的任意位置(x，y)上的模拟函数f(x，y)表示成下面的公式(292)。
f(x，y，t)＝wi(aj≤(x-vx×t)＜aj+1 & b2k-1≤(y-vy×t)＜b2k)公式(292)因此，如果现实世界估计单元102可以计算公式(292)的每个区域的特征wi，则现实世界估计单元102通过估计由分离函数构成的模拟函数f(x，y，t)可以估计波形F(x，y，t)。
因此，下文中，将描述用于计算公式(292)的特征wi的方法。
也就是说，当用对应于像素(传感器2的检测元件)的积分范围(空间方向中的积分范围)积分由公式(292)表示的模拟函数f(x，y，t)时，积分值变成关于像素的像素值的估计值。这由下面的公式(293)表示。
P(x,y,t)=∫xsxe∫ysye∫tstef(x,y,t)dxdydt]]>公式(293)在公式(293)中，P(x，y，t)表示其中心位置位于来自传感器2的输入图像的位置(x，y，t)(到关注像素的相对位置(x，y，t))上的像素的像素值。
从而，在三维模拟方法中，可以用公式(293)表示输入像素值P(x，y，y)与三维模拟函数f(x，y，t)之间的关系，因此，现实世界估计单元102通过例如利用公式(293)以最小二乘法等计算特征wi，可以估计三维函数F(x，y，t)(波形F(x，y，t)，其中在时间空间方向上表示具有在空间方向上的连续性的现实世界1中的光信号)。
接着，将参考图377描述现实世界估计单元102的结构，其建立由上述分离函数构成的三维模拟函数f(x，y，t)，并估计现实世界。
如图377所示，现实世界估计单元102包括条件设置单元5321、输入图像存储单元5322、输入像素值获取单元5323、积分分量计算单元5324、正规方程产生单元5325、以及模拟函数产生单元5326。
条件设置单元5321设置用于估计对应于关注像素的函数F(x，y，t)的像素范围(分块范围)、以及模拟函数f(x，y，t)的范围(例如aj≤(x-vx×t)＜aj+1以及b2k-1≤(y-vy×t)＜b2k的宽度、i的数值)。
输入图像存储单元5322临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元5323获取存储在输入图像存储单元5322中的输入图像的对应于由条件设置单元5321设置的分块范围的输入图像区域，并将其提供给正规方程产生单元5325作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的特定实例。
另外，如上所述，采用三维函数模拟方法的现实世界估计单元102通过利用最小二乘法求解上述公式(293)而计算由上述公式(292)表示的模拟函数f(x，y，t)的特征wi。
可以将公式(293)表示为下面的公式(294)。
P(x,y,t)=Σi=0nwiTi(xs,xe,ys,ye,ts,te)]]>公式(294)在公式(294)中，Ti(xs，xe，ys，ye，ts，te)表示在作为积分范围的区域中，对作为特征wi的区域(作为光水平wi的区域)的积分结果，即体积。下文中，将Ti(xs，xe，ys，ye，ts，te)称为积分分量。注意，该公式(294)对应在二维算法操作中的积分分量Ti(xs，xe，ys，ye)。
积分分量计算单元5324计算积分分量Ti(xs，xe，ys，ye，ts，te)(＝(x-0.5，x+0.5，y-0.5，y+0.5，t-0.5，t+0.5)在获得一个像素的区域的情况下)。
尤其是，如参考图376的描述，公式(294)所示的积分分量Ti(xs，xe，ys，ye，ts，te)用于获得将要获得的像素的预定特征wi的体积。因此，积分分量计算单元5324通过基于每个特征的宽度d和e以及连续性方向信息(例如作为特定连续性轴线的角度θ)获得每个特征wi地理占有的体积、或通过根据Simpson法则进行多次分割和积分可以获得Ti(xs，xe，ys，ye，ts，te)，但是，用于获得体积的方法不限于此，例如，可以通过Monte Carlo方法获得体积。
如图376所示，只要已知aj≤(x-vx×t)＜aj+1以及b2k-1≤(y-vy×t)＜b2k的宽度、连续性方向信息(例如，速度vx或vy，或相对于特定连续性轴线的角度θ)、以及相对像素位置(x，y，t)，则可以计算特征wi。其中，相对像素位置(x，y，t)由关注像素和分块范围确定，连续性信息通过由连续性检测单元101检测的信息确定，以及aj≤(x-vx×t)＜aj+1以及b2k-1≤(y-vy×t)＜b2k的宽度被预先设置，因此，每个值变成已知值。
因此，积分分量计算单元5324基于由条件设置单元5321设置的宽度和分块范围、以及从数据连续性检测单元101输出的数据连续性信息计算积分分量Ti(x-0.5，x+0.5，y-0.5，y+0.5，t-0.5，t+0.5)，并将计算结果提供给正规方程产生单元5325作为积分分量表。
正规方程产生单元5325在利用从输入像素值获取单元5323提供的输入像素值表、以及从积分分量计算单元5324提供的积分分量表通过最小二乘法获得上述公式(293)即公式(294)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元5326。
模拟函数产生单元5326通过利用矩阵方法求解包括在从正规方程产生单元5325提供的正规方程表中的正规方程，而计算上述公式(294)的各个特征wi，并将其输出给图像产生单元103。
接着，将参考图378的流程图描述采用利用分离函数的三维模拟方法的现实世界估计处理(图40中步骤S102的处理)。
例如，假设具有由相对于X-t平面和Y-t平面的速度vx和vy表示的时间空间方向中的连续性的现实世界1中的光信号已经由传感器2检测、并被存储入输入图像存储单元5322作为对应于一帧的输入图像。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图406)中获得vx和vy作为输入图像的数据连续性信息。
在该情况下，在步骤S5321中，条件设置单元5321设置条件(分块范围、aj≤(x-vx×t)＜aj+1以及b2k-1≤(y-vy×t)＜b2k的宽度(同一特征(变成同一模拟函数的区域的宽度d和e))、以及i的数值)。
例如，假设设置了如图379所示的分块范围，并将在水平方向上的宽度×在垂直方向上的宽度＝d×e设置为宽度。
图379描述了分块范围的实例。在图379中，X方向和Y方向分别为传感器2的X方向和Y方向。另外，t表示帧数，分块范围表示由图379中右图中作为9像素每帧×3帧的像素P0到像素P26的共27个像素构成的像素组。
另外，如图379所示，假设图中的关注像素被设置在帧数t＝n的中心部分的像素P13上。另外，假设如图379所示，根据自关注像素的相对像素位置(x，y，t)(在其中取关注像素的中心(0，0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到26的任何整数值)。
现在，将返回图378进行描述，其中在步骤S5322中，条件设置单元5321设置关注像素。
在步骤S5323中，输入像素值获取单元5323基于由条件设置单元5321设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元5323获取输入图像区域(图379中由P0到P26标出的像素)中的像素的像素值，并产生由27个输入像素值P(l)构成的表作为输入像素值表。
在步骤S5324，积分分量计算单元5324基于由条件设置单元5321设置的条件(分块范围、宽度和i数)、以及从数据连续性检测单元101提供的数据连续性信息计算积分分量，并产生积分分量表。
在该情况下，积分分量计算单元5324计算上述公式(294)中的积分分量Ti(xs，xe，ys，ye，ts，te)(＝(x-0.5，x+0.5，y-0.5，y+0.5，t-0.5，t+0.5)在将一个像素的尺寸表示为X方向×Y方向×帧方向＝1×1×1的情况下)作为l的函数，如下面公式(295)中左侧所示的积分分量Ti(l)。
Ti(l)＝Ti(x-0.5，x+0.5，y-0.5，y+0.5，t-0.5，t+0.5)公式(295)也就是说，在该情况下，如果i为0到5，则计算27T0(l)、27T1(l)、27T2(l)、27T3(l)、27T4(l)、以及27T5(l)共162个Ti(l)，并产生包括上述的积分分量表。
注意，步骤S5323中的处理和步骤S5324中的处理的顺序不限于图378中的实例，可以先执行步骤S5324中的处理，或者可以同时执行步骤S5323中的处理和步骤S5324中的处理。
接着，在步骤S5325中，正规方程产生单元5325基于由输入像素值获取单元5323在步骤S5323的处理中产生的输入像素值表、以及由积分分量计算单元5324在步骤S5324的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算通过上述公式(295)计算特征wi，从而对应于此的正规方程如下面公式(296)所示。
公式(296)注意，在公式(296)中，L表示分块范围中的像素数l的最大值。n表示限定多项式的模拟函数f(x)的特征wi的i数。v1表示权重。尤其是，在该情况下，L＝27。
该正规方程与上述公式(280)具有相同的格式，并采用与上述二维方法中相同的技术，从而省略对求解顺序正规方程的描述。
在步骤S5327中，模拟函数产生单元5326确定是否已经完成对全部像素的处理。
在步骤S5327中，在确定仍未完成对全部像素的处理时，该处理返回步骤S5322，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S5322到S5327的处理。
在已经完成对全部像素的处理的情况下(在步骤S5327中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
从而，例如，如图380所示，对在连续性方向(在X方向上的速度为vx，以及在Y方向上的速度为vy)上的用粗线画出的每个杆形区域设置了作为各个特征的水平w1到w5(分离函数)，并估计现实世界的模拟函数。在该情况下，在每个杆形区域中，其相对于X-Y平面的截面尺寸为d×e。
另外，用细线画出的杆形区域表示其中在Y方向的速度vy＝0的情况。也就是说，在只在水平方向上移动的情况下，其中设置各个水平wi的杆形区域保持平行于X-t平面。这可以应用于其中在X方向上的速度vx＝0的情况，也就是说，在该情况下，每个杆形区域保持平行于Y-t平面。
另外，在其中不存在时间方向上的变化但具有在X-Y平面上的连续性的情况下，每个函数的杆形区域保持平行于X-Y平面的位置。换句话说，在其中不存在时间方向上的变化但具有在X-Y平面上的连续性的情况下，存在细线或二值边缘。
另外，上述描述了其中在二维空间中设置其上设置有分离函数的每个区域(将杆形区域设置为构成平面)的情况，但是如图381所示，例如可以以立体的方式将每个区域设置在XYT的三维空间中。
另外，在上述实例中，已经描述其中将常数特征wi设置为每个区域的分离函数的情况，但是即使在采用非常数连续函数的情况下仍可以实现同样的情况。也就是说，例如，如图382所示，当采用相对于X方向的函数，可以这样设置，其中将特征w1设置为在图中x0≤x＜x1的区域上的w1＝f0(x)，以及将特征w2设置为在图中x1≤x＜x2的区域上的w2＝f1(x)。甚至对每个区域可以设置连续函数作为不同的函数。在该情况下，可以采用多项式模拟函数或除此以外的函数作为将设置的函数。
另外，在其中将常数特征wi设置为每个区域的分离函数的情况下，可以设置在每个区域上不完全连续的函数。也就是说，例如，如图383所示，当采用相对于X方向的函数，可以这样设置，其中将特征w1设置为在图中x0≤x＜x1的区域上的w1＝f0(x)，以及将特征w2设置为在图中x1≤x＜x2的区域上的w2＝f1(x)，从而即使各个函数(例如f0(x)和f1(x))是不连续的，仍可以进行相同的处理。在该情况下，可以采用多项式模拟函数或除此以外的函数作为将设置的函数。
从而，在用分离函数设置每个像素值的情况下，图377所示的现实世界估计单元102通过设置在连续性方向(角度或移动(可以从移动获得的速度方向))上的每个杆形区域不连续的函数可以设置现实世界的模拟函数。
接着，将描述图像产生单元103，其基于由图369所示的现实世界估计单元102估计的现实世界估计信息产生图像。
如图384所示的图像产生单元103包括现实世界估计信息获取单元5341、权重计算单元5342、以及像素产生单元5343。
现实世界估计信息获取单元5341获取作为从如图369所示的现实世界估计单元102输出的现实世界估计信息的特征，即设置在连续性方向上分割的每个区域的像素值的函数(由分离函数构成的模拟函数f(x))，并将其输出给权重计算单元5342。
权重计算单元5342基于作为从现实世界估计信息获取单元5341输入的现实世界估计信息的在连续性方向上分割的区域的信息，计算将要产生的像素包括的每个区域的比值作为权重，并将计算结果与从现实世界估计信息获取单元5341输入的对每个区域设置的函数信息输出给像素产生单元5343。
像素产生单元5343基于从权重计算单元输入的根据包括在将要产生的像素中的每个区域的面积比值计算的权重信息获得水平，并为每个区域设置水平的函数(由分离函数构成的模拟函数f(x))，获得水平与对将要产生的每个像素获得的权重的积的和，并将其输出作为像素的像素值。
接着，将参考图385的流程图描述由图384所示的图像产生单元103进行的图像产生处理。
在步骤S5341中，现实世界估计信息获取单元5341获取从图369所示的现实世界估计单元102输入的现实世界估计信息(由分离函数构成的模拟函数f(x))，并将其输出给权重计算单元5342。
权重计算单元5342在步骤S5342中设置将要产生的像素，在步骤S5343中基于输入的现实世界估计信息获得在将要产生的像素中包括的每个设置区域相对于将要产生的像素的面积比值，计算其作为每个区域的权重，并将其与从现实世界估计信息获取单元5341输入的设置每个区域的水平的函数输出给像素产生单元5343。
下面将描述例如如图386所示设置特征的情况。假设输入图像的像素由细线栅格示出，以及将要产生的像素由粗线栅格示出。也就是说，在该情况下，产生四倍密度像素。另外，假设在相对于由w1到w5示出的像素阵列的向右上倾斜的设置为带形的5个区域是设置在连续性方向上的区域，并且每个区域的水平为w1到w5。
在假设图386中阴影形状的像素为将要产生的关注像素的情况下，该关注像素在区域w3和w4上延伸，因此，当关注像素内每个区域占有的面积分别是m1和m2时，对于将要产生的权重，当将要产生的像素的面积为m，则分别为，区域w3的权重为m1/m，以及区域w4的权重为m2/m。从而，权重计算单元5342将获得的每个区域的权重信息、以及设置每个区域的水平的函数的信息输出给像素产生单元5343。
在步骤S5344中，像素产生单元5343基于从权重计算单元5342输入的关注像素延伸的每个区域的权重、以及每个区域的水平确定像素值，并产生像素。
也就是说，在参考图386描述的关注像素的情况下，像素产生单元5343获取区域w3为m1/m和区域w4为m2/m的信息作为各个权重信息。另外，像素产生单元5343获得与同时获取的每个像素的水平的积的和以确定像素值，并产生像素。
也就是说，例如，在确定区域w3到w4的水平为w3到w4(都为常数)的模拟函数的情况下，通过获得与权重的积的和确定如下面公式(297)所示的像素值。
P＝w3×m1/m+w4×m2/m公式(297)在步骤S5345中，现实世界估计信息获取单元5341确定是否完成对全部将要产生的图像像素的处理，在确定仍未完成对全部像素的处理的情况下，处理返回步骤S5342，其中重复进行后面的处理。换句话说，重复进行步骤S5342到S5345的处理直到确定已经完成对全部像素的处理。
在步骤S5345中，在确定已经完成对全部像素的处理的情况下，该处理结束。
也就是说，例如，在对象在水平方向上暂时向右移动的情况下，如图387的A所示，已知对于在现实世界中X-T空间中的像素值的实际变化，表示相同像素值水平的区域在连续性方向上连续。因此，当利用图387中的B所示的模型产生更高密度的像素时，像素形状不能表示向右上倾斜的实际线性移动，因此，例如，当试图产生放大图像时，在其中由于地理设置在梯形图形中的像素值的变化而像素值变化的边界附近的放大图像的像素产生不能反映准确的像素值。
相反，在通过图369所示的现实世界估计单元102估计现实世界的模拟函数的模型中，如图387的C所示，在连续性方向上产生忠实于实际移动的模型，因此，可以准确表示在像素水平上的或更小的变化，从而使得可以例如准确地产生用于放大图像的高密度像素。
根据上述处理，通过考虑在像素水平或更小的区域上的光强分布可以产生像素，并且可以产生更高密度的像素，从而使得可以例如逼真地产生放大图像。
接着，将参考图388描述图像产生单元103，其基于由图377所示的现实世界估计单元102估计的现实世界估计信息产生图像。
如图388所示的图像产生单元103包括现实世界估计信息获取单元5351、权重计算单元5352、以及像素产生单元5353。
现实世界估计信息获取单元5351获取作为从如图377所示的现实世界估计单元102输出的现实世界估计信息的特征，即设置在连续性方向上分割的每个区域的像素值的函数(由分离函数构成的模拟函数f(x))，并将其输出给权重计算单元5352。
权重计算单元5352基于作为从现实世界估计信息获取单元5351输入的现实世界估计信息的在连续性方向上分割的区域的信息，计算将要产生的像素包括的每个区域的体积比值作为权重，并将计算结果与从现实世界估计信息获取单元5351输入的对每个区域设置的函数信息输出给像素产生单元5353。
像素产生单元5353基于从权重计算单元输入的根据包括在将要产生的像素中的每个区域的体积比值计算的权重信息获得水平，并为每个区域设置水平的函数(由分离函数构成的模拟函数f(x))，获得水平与对将要产生的每个像素获得的权重的积的和，并将其输出作为像素的像素值。
接着，将参考图389的流程图描述由图388所示的图像产生单元103进行的图像产生处理。
在步骤S5351中，现实世界估计信息获取单元5351获取从图377所示的现实世界估计单元102输入的现实世界估计信息(由分离函数构成的模拟函数f(x))，并将其输出给权重计算单元5352。
权重计算单元5352在步骤S5352中设置将要产生的像素，在步骤S5353中基于输入的现实世界估计信息获得在将要产生的像素中包括的每个设置区域相对于将要产生的像素的体积比值，计算其作为每个区域的权重，并将其与从现实世界估计信息获取单元5351输入的设置每个区域的水平的函数输出给像素产生单元5353。
例如，如图390所示，假设将关注像素设置为X方向、Y方向和帧方向T的三维空间中的将要产生的像素。注意，在图390中，由粗线表示的立方体为关注像素。另外，由细线表示的立方体表示相邻于关注像素的像素。
下面将描述例如如图391所示设置特征的情况。假设由w1到w3示出的设置为杆形的3个区域是设置在连续性方向上的区域，并且每个区域的水平为w1到w3。
在假设图391中，关注像素在区域w3和w4上延伸，因此，当关注像素内每个区域占有的体积分别是M1和M3时，对于将要产生的权重，当将要产生的像素的体积为M，则分别为，区域w1的权重为M1/M，区域w2的权重为M2/M，以及区域w3的权重为M3/M。从而，权重计算单元5352将获得的每个区域的权重信息、以及设置每个区域的水平的函数的信息输出给像素产生单元5353。
在步骤S5354中，像素产生单元5353基于从权重计算单元5342输入的关注像素延伸的每个区域的权重、以及每个区域的水平确定像素值，并产生像素。
也就是说，在参考图391描述的关注像素的情况下，像素产生单元5353获取区域w1的权重为M1/M，区域w2的权重为M2/M，以及区域w3的权重为M3/M的信息作为各个权重信息。另外，像素产生单元5353获得与同时获取的每个像素的水平的积的和以确定像素值，并产生像素。
也就是说，例如，在确定区域w1到w3的水平为w1到w3(都为常数)的模拟函数的情况下，通过获得与权重的积的和确定如下面公式(298)所示的像素值。
P＝w1×M1/M+w2×M2/M+w3×M3/M 公式(298)在步骤S5355中，现实世界估计信息获取单元5351确定是否完成对全部将要产生的图像像素的处理，在确定仍未完成对全部像素的处理的情况下，处理返回步骤S5352，其中重复进行后面的处理。换句话说，重复进行步骤S5352到S5355的处理直到确定已经完成对全部像素的处理。
在步骤S5355中，在确定已经完成对全部像素的处理的情况下，该处理结束。
图392的A到D示出了在产生16倍密度(分别在水平方向上的4倍密度和在垂直方向上的4倍密度)像素作为原始图像的情况下的处理结果。图392的A示出了原始图像，图392的B示出了经过常规类型分类适应处理的处理结果，图392的C示出了由上述多项式构成的现实世界模拟函数的处理结果，以及，图392的D示出了由分离函数构成的现实世界的模拟函数的处理结果。
在由分离函数构成的现实世界的模拟函数的处理结果中，可以理解，产生了类似与原始图像的具有较少斑点的清晰图像。
另外，图393示出了高密度原始图像，比较了由上述多项式构成的现实世界的模拟函数与在获得水平方向中的4像素×垂直方向中的4像素的平均像素值，并将其16个像素的像素值作为获得的平均像素值而将空间分辨率减小到1/16之后由分离函数构成的现实世界的模拟函数的处理结果。注意，在图393中，实线表示原始图像，虚线表示由多项式构成的现实世界模拟函数的处理结果，单点线表示由分离函数构成的现实世界模拟函数的处理结果。另外，图中水平轴表示X方向上的坐标位置，以及垂直轴表示像素值。
可以理解，在x＝651到655上，由分离函数构成的现实世界模拟函数的处理结果更接近原始图像，相比于由多项式构成的现实世界模拟函数的处理结果，在产生16倍密度像素时精确地再现了像素值。
根据上述处理，通过考虑在像素水平或更小的区域上的光强分布可以产生像素，并且可以产生更高默读的像素，从而使得可以例如清楚地产生放大图像。
另外，如上所述，根据用于设置由分离函数构成的现实世界模拟函数的方法，即使图像中发生移动斑点，这也可以被除去。
现在，将参考图394到图409描述输入图像和移动斑点。
图394描述了传感器2的成像。传感器2包括例如CCD视频照相机，其包括CCD(电荷耦合装置)面积传感器用作固态成像装置等。对应于现实世界的前景的对象在对应于现实世界背景与传感器之间移动，例如在图中从左边水平移到右边。
传感器2拍摄对应于前景的对象的图像以及对应于背景的对象的图像。传感器2以一帧的增量输出拍摄的图像。例如，传感器2输出30帧每秒的图像。在该情况下，可以将传感器2的曝光时间设置为1/30秒。曝光时间是从传感器2开始将输入光转换为电荷到结束将输入光转换成电荷的时间。下文中，还将曝光时间称为快门时间。
图395示出了像素的位移。在图395中，A到I表示单独的像素。像素位于对应于图像的平面上。对应于多个像素的单个检测元件位于传感器2上。在传感器2拍摄图像时，一个检测元件输出对应于构成图像的一个像素的一个像素值。例如，检测元件在X方向上的位置X对应于图像的水平位置，检测元件在Y方向上的位置Y对应于图像的水平位置。
如图396所示，为例如CCD的检测元件在对应于快门时间的时间中将输入光转换成电荷，并累计转换的电荷。电荷量近似正比于输入的光强和输入光的时间量。也就是说，检测装置积分将输入的光，并累计在对应于快门时间的时间中对应于积分光的变化量。
通过未知电路将在检测装置上累计的电荷转换成电压值，并还将电压值转换成例如数字数据等的像素值并输出。因此，从传感器2输出的单个像素值具有投影到一维空间上的值，这是对前景或背景的对象的具有时间空间展开的部分在快门时间的时间方向积分的结果。
图397描述了拍摄对应于移动前景的对象和对应于背景的对象而获得的图像。图397中的A示出了通过拍摄移动对象和对应于静止背景的对象获得的图像。在图397的A所示的实例中，对应于前景的对象相对于屏幕从左水平移动到右。
图397的B是其中对应于图397的A所示的图像的单线的像素值在时间方向上延伸的模型图。图397中的B的水平方向对应于图397的A中的空间方向X。
在背景中的像素中，其像素值只包括背景分量，即只有对应于背景对象的图像的分量。在前景区域中的像素中，其像素值只包括前景分量，即只有对应于前景对象的图像的分量。
在混合区域的像素中，其像素值包括前景分量和背景分量。由于其像素值包括前景分量和背景分量，还可以将混合区域称为应变区域。混合区域还被分类为覆盖背景区域和未覆盖背景区域。
覆盖背景区域是对应于相对于前景区域的前景对象的移动方向上的前端部分的位置上的混合区域，即其背景分量根据过去的时间被前景覆盖的区域。
另一方面，未覆盖背景区域是相对于前景区域的前景对象的移动方向上的后端部分的位置上的混合区域，即，其背景分量根据经过的时间出现的区域。
图398示出了如上述的背景区域、前景区域、混合区域、覆盖背景区域、以及未覆盖背景区域。在将这些相关于图397所示的图像时，背景区域是静止部分，前景区域是移动部分，混合区域的覆盖背景区域是从背景变化到前景的部分，以及混合区域的未覆盖背景区域是从前景变化到背景区域的部分。
图399是其中通过拍摄对应于静止前景的对象和对应于静止背景的对象获得的图像的像素的像素值相邻排成一行的模型图。例如，可以将排列在屏幕上的一行上的像素选择为相邻排成一行的像素。
图399所示的像素值F01到F04是对应于静止前景对象的像素的像素值。图399所示的像素值B01到B04是对应于静止背景对象的像素的像素值。
图399中的垂直方向对应时间，其中时间图中上部向下流过。图399中的矩形的上边位置对应传感器2开始将输入光转换成电荷的时刻，以及图399中的矩形的下边位置对应传感器2完成将输入光转换成电荷的时刻。也就是说，矩形的从上边到下边的距离对应快门时间。
下面将描述与实例相同的快门时间和帧间隔。
图399中的水平方向对应图397所示的空间方向X。尤其是，在图399所示的实例中，图399中从由“F01”标出的矩形的左边到由“B04”标出的矩形的右边的距离是八倍像素间距，即对应连续8个像素的间隔。
在前景对象和背景对象为静止的情况下，被输入到传感器2上的光在对应于快门时间的期间不发生变化。
现在，将对应于快门时间的时间分成两个或多个相等长度的长度。实际设置的分割数对应对应于前景的对象在快门时间中的移动量v。例如，如图400所示，将实际分割数对应于为4的移动量v而设置为4，从而将对应于快门时间的实际分成4段。
图400中的顶部行对应快门打开后的第一段时间。图中自顶部的第二行对应快门打开后的第二段时间。图中自顶部的第三行对应快门打开后的第三段时间。图中自顶部的第四行对应快门打开后的第四段时间。
下文中，将对应于移动量v的分割的快门时间还称为快门时间/v。
当对应于前景的对象是静止时，输入到传感器2上的光不变化，因此前景分量F01/v等于通过以像素值F01除以实际分割数所获得的值。类似，当对应于前景的对象是静止时，因此前景分量F02/v等于通过以像素值F02除以实际分割数所获得的值，前景分量F03/v等于通过以像素值F03除以实际分割数所获得的值，以及前景分量F04/v等于通过以像素值F04除以实际分割数所获得的值。
当对应于背景的对象是静止时，输入到传感器2上的光不变化，因此背景分量B01/v等于通过以像素值B01除以实际分割数所获得的值。类似，当对应于背景的对象是静止时，因此背景分量B02/v等于通过以像素值B02除以实际分割数所获得的值，背景分量B03/v等于通过以像素值B03除以实际分割数所获得的值，以及背景分量B04/v等于通过以像素值B04除以实际分割数所获得的值。
也就是说，当对应于前景的对象是静止时，输入到传感器2上的对应于前景对象的光在对应于快门时间的时间中不变化，因此对应快门打开后的第一段时间/v的前景分量F01/v、对应快门打开后的第二段时间/v的前景分量F01/v、对应快门打开后的第三段时间/v的前景分量F01/v、对应快门打开后的第四段时间/v的前景分量F01/v变成了相同的值。F02/v到F04/v具有与F01/v相同的关系。
在对应于背景的对象是静止的情况下，输入到传感器2上的对应于背景对象的光在对应于快门时间的时间中不变化，因此对应快门打开后的第一段时间/v的背景分量B01/v、对应快门打开后的第二段时间/v的背景分量B01/v、对应快门打开后的第三段时间/v的背景分量B01/v、对应快门打开后的第四段时间/v的背景分量B01/v变成了相同的值。B02/v到B04/v具有与B01/v相同的关系。
接着，将描述对应于前景的对象移动、对应于背景的对象静止的情况。
图401为其中在对应于前景的对象向图中右边移动的情况下，包括覆盖背景区域的一行像素的像素值在时间方向上延伸的模型图。在图401中，前景移动量v为4。可以假设一帧为短时间段，从而对应于前景的对象是直的部分，并以恒定的速度移动。在图401中，对应于前景的对象的图像移动使得显示在特定帧的下一个帧上的右侧的四个像素的平移。
在图401中，最左边的像素到自左第四个像素属于前景区域。在图401中，自左第五个像素到自左第七个像素使用作为覆盖背景区域的混合区域。在图401中，最右边的像素属于背景区域。
对应于前景的对象随着时间移动从而覆盖对应于背景的区域，从而包括在属于覆盖背景区域的像素的像素值中的分量在对应于快门时间的时间中的特定时刻从背景分量变成前景分量。
例如，由图401中的粗线框标出的像素值M被表示为下面的公式(299)。
M＝B02/v+B02/v+F07/v+F06/v 公式(299)例如，自左第五个像素包括对应于一个快门时间/v的背景分量，并包括对应于三组快门时间/v的前景分量，因此，自左第五个像素的混合比值α为1/4。自左第六个像素包括对应于2组快门时间/v的背景分量，并包括对应于2组快门时间/v的前景分量，因此，自左第六个像素的混合比值α为1/2。自左第7个像素包括对应于3组快门时间/v的背景分量，并包括对应于1组快门时间/v的前景分量，因此，自左第7个像素的混合比值α为3/4。
可以假设对应于前景的对象为直的部分，并且前景图像以恒定速度移动使得由下一帧的右侧上的四个像素的平移显示，从而，例如，图401中自左第四个像素在快门打开后的第一段快门时间/v的前景分量F07/v等于图401中自左第五个像素在快门打开后的第二段快门时间/v的前景分量。类似，前景分量F07/v分别等于对应于图401中自左第六个像素在快门打开后的第三段快门时间/v的前景分量、以及对应于图401中自左第七个像素在快门打开后的第四段快门时间/v的前景分量。
可以假设对应于前景的对象为直的部分，并且前景图像以恒定速度移动使得由下一帧的右侧上的四个像素的平移显示，从而，例如，图401中自左第三个像素在快门打开后的第一段快门时间/v的前景分量F06/v等于图401中自左第四个像素在快门打开后的第二段快门时间/v的前景分量。类似，前景分量F06/v分别等于对应于图401中自左第5个像素在快门打开后的第三段快门时间/v的前景分量、以及对应于图401中自左第6个像素在快门打开后的第四段快门时间/v的前景分量。
可以假设对应于前景的对象为直的部分，并且前景图像以恒定速度移动使得由下一帧的右侧上的四个像素的平移显示，从而，例如，图401中自左第2个像素在快门打开后的第一段快门时间/v的前景分量F05/v等于图401中自左第3个像素在快门打开后的第二段快门时间/v的前景分量。类似，前景分量F05/v分别等于对应于图401中自左第4个像素在快门打开后的第三段快门时间/v的前景分量、以及对应于图401中自左第5个像素在快门打开后的第四段快门时间/v的前景分量。
可以假设对应于前景的对象为直的部分，并且前景图像以恒定速度移动使得由下一帧的右侧上的四个像素的平移显示，从而，例如，图401中最左边像素在快门打开后的第一段快门时间/v的前景分量F04/v等于图401中自左第2个像素在快门打开后的第二段快门时间/v的前景分量。类似，前景分量F04/v分别等于对应于图401中自左第3个像素在快门打开后的第三段快门时间/v的前景分量、以及对应于图401中自左第4个像素在快门打开后的第四段快门时间/v的前景分量。
对应于这样的移动对象的前景区域的状态是移动斑点。另外，对应于移动对象的前景区域包括移动斑点，从而可以被称为应变区域。
图402为其中前景向图中右边移动的情况下，包括未覆盖背景区域的一行像素的像素值在时间方向上延伸的模型图。在图402中，前景移动量v为4。可以假设一帧为短时间段，从而对应于前景的对象是直的部分，并以恒定的速度移动。在图402中，对应于前景的对象的图像移动以特定帧的下一个帧上的右侧的四个像素的平移而移动。
在图402中，最左边的像素到自左第四个像素属于背景区域，自左第五个像素到自左第七个像素使用作为未覆盖背景区域的混合区域。在图402中，最右边的像素属于前景区域。
已经覆盖对应于背景的对象的对应于前景的对象随着时间移动从对应于背景的对象上移开，从而包括在属于未覆盖背景区域的像素的像素值中的分量在对应于快门时间的时间中的特定时刻从前景分量变成背景分量。
例如，由图402中的粗线框标出的像素值M’被表示为下面的公式(300)。
M′＝F02/v+F01/v+B26/v+B26/v 公式(300)例如，自左第五个像素包括对应于3组快门时间/v的背景分量，并包括对应于1组快门时间/v的前景分量，因此，自左第五个像素的混合比值α为3/4。自左第六个像素包括对应于2组快门时间/v的背景分量，并包括对应于2组快门时间/v的前景分量，因此，自左第六个像素的混合比值α为1/2。自左第7个像素包括对应于1组快门时间/v的背景分量，并包括对应于3组快门时间/v的前景分量，因此，自左第7个像素的混合比值α为1/4。
如果概括公式(299)和公式(300)，则像素值M由公式(301)表示。
M=α×B+ΣiFi/v]]>公式(301)这里，α表示混合比值。B表示背景像素值，以及Fi/v表示前景分量。
可以假设对应于前景的对象为直的部分，以恒定速度移动，并且移动量v为4，从而，例如，图402中自左第5个像素在快门打开后的第一段快门时间/v的前景分量F01/v等于图402中自左第6个像素在快门打开后的第二段快门时间/v的前景分量。类似，前景分量F01/v分别等于对应于图402中自左第7个像素在快门打开后的第三段快门时间/v的前景分量、以及对应于图402中自左第8个像素在快门打开后的第四段快门时间/v的前景分量。
可以假设对应于前景的对象为直的部分，以恒定速度移动，并且实际分割数为4，从而，例如，图402中自左第6个像素在快门打开后的第一段快门时间/v的前景分量F02/v等于图402中自左第7个像素在快门打开后的第二段快门时间/v的前景分量。类似，前景分量F02/v分别等于对应于图402中自左第8个像素在快门打开后的第三段快门时间/v的前景分量。
可以假设对应于前景的对象为直的部分，以恒定速度移动，并且移动量v为4，从而，例如，图402中自左第7个像素在快门打开后的第一段快门时间/v的前景分量F03/v等于图402中自左第8个像素在快门打开后的第二段快门时间/v的前景分量。
在描述图400到图402时，在实际分割数为4的条件下进行了描述，但是实际分割数对应移动量v。移动量v通常对应对应于前景的对象的移动速度。例如，当对应于前景的对象移动使得由特定帧的下一帧的右侧的四个像素的平移显示，则将移动量v设置为4。实际分割数对应移动量v，因此被设置为4。类似，例如，当对应于前景的对象移动使得由特定帧的下一帧的左侧的6个像素的平移显示，则将移动量v设置为6。实际分割数因此被设置为6。
图403和图404示出了上述前景区域、背景区域、由覆盖背景区域或未覆盖背景区域构成的混合区域、以及对应于分割的快门时间的前景分量和背景分量之间的关系。
图403示出了从包括对应于在静止背景上移动的对象的前景的图像中选取前景区域、背景区域和混合区域中的像素的实例。在图403所示的实例中，对应于前景的对象相对于屏幕水平移动。
帧#n+1是帧#n的下一帧，以及帧#n+2是帧#n+1的下一帧。
图404示出了从帧#n到帧#n+2中的任一中选取前景区域、背景区域和混合区域中的像素的实例，移动量被设置为4，并且选取的像素的像素值在时间方向上延伸。
由于对象对应于前景移动，因此前景区域中的像素值包括4个对应于快门时间/v的时间的不同前景分量。例如，位于图404所示的前景区域中的像素的最左边的像素包括F01/v、F02/v、F03/v、以及F04/v。也就是说，前景区域中的像素包括移动斑点。
对应于背景的对象是静止的，因此，被输入传感器2的对应于背景的光在对应于快门时间的时间中不变化。在该情况下，背景区域中的像素值不包括移动斑点。
属于由覆盖背景区域和未覆盖背景区域构成的混合区域的像素的像素值包括前景分量和背景分量。
接着，将描述这样的模型，其中当对应于对象的图像移动时，在多个帧中的一行上相邻排列的像素的像素值在帧的相同位置上在时间方向上延伸。例如，当对应于对象的图像相对于屏幕水平移动时，可以选择在屏幕上的一行相邻排列的像素作为相邻排列为一行的像素。
图405是其中帧上的相同位置上的像素的像素值在时间方向上延伸的模型图，所述像素是在通过拍摄静止背景获得的图像的三帧上的相邻排列为一行的像素。帧#n-1是帧#n的下一帧，以及帧#n+1是帧#n的下一帧。其它帧以同样方法表示。
图405中所示的像素值B01到B02是对应于静止背景的对象的像素的像素值。对应于背景的对象是静止的，从而相应象素的像素值在帧#n-1到帧#n+1中不变化。例如，帧#n和帧#n+1中对应于帧#n-1中具有像素值B05的像素的位置的像素都具有像素值B05。
图406是其中帧上的相同位置上的像素的像素值在时间方向上延伸的模型图，所述像素是在通过拍摄对应于图中向右移动的对象的前景和静止背景获得的图像的三帧上的相邻排列为一行的像素。图406所示的模型包括覆盖背景区域。
在图406中，可以假设对应于前景的对象为直的部分，并且以恒定速度移动，并且前景图像的移动使得由下一帧的右侧上的四个像素的平移显示，因此，前景的移动量v为4，实际分割数为4。
例如，图406中帧#n-1上的最左边的像素在打开快门后的第一快门时间/v中的前景分量变为F12/v，同样，图406中自左第二个像素在打开快门后的第2快门时间/v中的前景分量变为F12/v。图406中自左第三个像素在打开快门后的第3快门时间/v中的前景分量、以及图406中自左第四个像素在打开快门后的第4快门时间/v中的前景分量变为F12/v。
图406中帧#n-1上的最左边的像素在打开快门后的第2快门时间/v中的前景分量变为F11/v，同样，图406中自左第二个像素在打开快门后的第3快门时间/v中的前景分量变为F11/v。图406中自左第三个像素在打开快门后的第4快门时间/v中的前景分量也变为F11/v。
图406中帧#n-1上的最左边的像素在打开快门后的第3快门时间/v中的前景分量变为F10/v，同样，图406中自左第二个像素在打开快门后的第4快门时间/v中的前景分量变为F10/v。图406中帧#n-1上的最左边的像素在打开快门后的第4快门时间/v中的前景分量变为F9/v。
对应于背景的对象是静止的，因此，图406中帧#n-1上的自左第二个像素在打开快门后的第1快门时间/v中的背景分量变为B01/v。图406中帧#n-1上的自左第4个像素在打开快门后的第1到第3快门时间/v中的背景分量变为B03/v。
在图406的帧#n-1中，最左边的像素属于前景区域，自左第二到第四像素属于作为覆盖背景区域的混合区域。
在图406的帧#n-1中，自左第5到第12像素属于背景区域，其像素值分别是B04到B11。
在图406的帧#n中，自左第1到第5像素属于前景区域。帧#n上的前景区域中的快门时间/v的前景分量是F05/v到F12/v中的任一个。
可以假设对应于前景的对象为直的部分，并以恒定速度移动，前景图像移动使得由下一帧的右侧上的四个像素的平移显示，从而，图406的帧#n上自左第五个像素在快门打开后的第一段快门时间/v的前景分量变为F12/v，图406上自左第6个像素在快门打开后的第2段快门时间/v的前景分量也变为F12/v。图406上自左第7个像素在快门打开后的第3段快门时间/v的前景分量、及图406的自左第8个像素在快门打开后的笫4段快门时间/v的前景分量变为F12/v。
图406的帧#n上自左第五个像素在快门打开后的第2段快门时间/v的前景分量变为F11/v，图406上自左第6个像素在快门打开后的第3段快门时间/v的前景分量也变为F11/v。图406上自左第7个像素在快门打开后的第4段快门时间/v的前景分量变为F11/v。
图406的帧#n上自左第五个像素在快门打开后的第3段快门时间/v的前景分量变为F10/v，图406上自左第6个像素在快门打开后的第4段快门时间/v的前景分量也变为F10/v。图406的帧#n上自左第5个像素在快门打开后的第4段快门时间/v的前景分量变为F09/v。
对应于背景的对象是静止的，从而，图406的帧#n上自左第6个像素在快门打开后的第一段快门时间/v的背景分量变为B05/v。图406的帧#n上自左第7个像素在快门打开后的第1到第2段快门时间/v的背景分量变为B06/v。图406的帧#n上自左第8个像素在快门打开后的第1到第3段快门时间/v的背景分量变为B07/v。
在图406的帧#n中，自左第六到第八像素属于作为覆盖背景区域的混合区域。
在图406的帧#n中，自左第9到第12像素属于背景区域，其像素值分别是B08到B11。
在图406的帧#n+1中，自左第9到第12像素属于前景区域。在帧#n+1上的前景区域中，前景分量是F01/v到F12/v中的任一个。
可以假设对应于前景的对象为直的部分，并以恒定速度移动，前景图像移动使得由下一帧的右侧上的四个像素的平移显示，从而，图406的帧#n+1上自左第9个像素在快门打开后的第一段快门时间/v的前景分量变为F12/v，图406上自左第10个像素在快门打开后的第2段快门时间/v的前景分量也变为F12/v。图406上自左第11个像素在快门打开后的第3段快门时间/v的前景分量、及图406的自左第12个像素在快门打开后的第4段快门时间/v的前景分量变为F12/v。
图406的帧#n+1上自左第9个像素在快门打开后的第2段快门时间/v的前景分量变为F11/v，图406上自左第10个像素在快门打开后的第3段快门时间/v的前景分量也变为F11/v。图406上自左第11个像素在快门打开后的第4段快门时间/v的前景分量变为F11/v。
图406的帧#n+1上自左第9个像素在快门打开后的第3段快门时间/v的前景分量变为F10/v，图406上自左第10个像素在快门打开后的第4段快门时间/v的前景分量也变为F10/v。图406的帧#n+1上自左第9个像素在快门打开后的第4段快门时间/v的前景分量变为F09/v。
对应于背景的对象是静止的，从而，图406的帧#n+1上自左第10个像素在快门打开后的第一段快门时间/v的背景分量变为B09/v。图406的帧#n+1上自左第11个像素在快门打开后的第1到第2段快门时间/v的背景分量变为B10/v。图406的帧#n+1上自左第12个像素在快门打开后的第1到第3段快门时间/v的背景分量变为B11/v。
在图406的帧#n+1中，自左第10到第12像素属于作为覆盖背景区域的混合区域。
图407是其中从图406所示的像素值选取前景分量的图像的模型图。
图408是其中帧上的相同位置上的像素的像素值在时间方向上延伸的模型图，所述像素是在通过拍摄对应于图中向右移动的对象的前景和静止背景获得的图像的三帧上的相邻排列为一行的像素。在图408中包括未覆盖背景区域。
在图408中，可以假设对应于前景的对象为直的部分，并且以恒定速度移动。对应于前景的对象的移动使得由下一帧的右侧上的四个像素的平移显示，因此，移动量v为4。
例如，图408中帧#n-1上的最左边的像素在打开快门后的第一快门时间/v中的前景分量变为F13/v，同样，图408中自左第二个像素在打开快门后的第2快门时间/v中的前景分量变为F13/v。图408中帧#n-1上的自左第三个像素在打开快门后的第3快门时间/v中的前景分量、以及图408中自左第四个像素在打开快门后的第4快门时间/v中的前景分量变为F13/v。
图408中帧#n-1上的自左第2像素在打开快门后的第1快门时间/v中的前景分量变为F14/v，同样，图408中自左第3个像素在打开快门后的第2快门时间/v中的前景分量变为F14/v。图408中自左第三个像素在打开快门后的第1快门时间/v中的前景分量变为F15/v。
对应于背景的对象是静止的，因此，图408中帧#n-1上的最左的像素在打开快门后的第2到第4快门时间/v中的背景分量变为B25/v。图408中帧#n-1上的自左第2个像素在打开快门后的第3到第4快门时间/v中的背景分量变为B26/v。图408中帧#n-1上的自左第3个像素在打开快门后的第4快门时间/v中的背景分量变为B27/v。
在图408的帧#n-1中，最左边的像素到第3像素属于作为覆盖背景区域的混合区域。
在图408的帧#n-1中，自左第4到第12像素属于前景区域。帧的前景分量是F13/v到F24/v中的任一个。
图408的帧#n中最左到第4像素属于背景区域，其像素值分别为B25到B28。
可以假设对应于前景的对象为直的部分，并以恒定速度移动，前景图像移动使得由下一帧的右侧上的四个像素的平移显示，从而，图408的帧#n上自左第五个像素在快门打开后的第一段快门时间/v的前景分量变为F13/v，图408上自左第6个像素在快门打开后的第2段快门时间/v的前景分量也变为F13/v。图408上自左第7个像素在快门打开后的第3段快门时间/v的前景分量、及图408的自左第8个像素在快门打开后的第4段快门时间/v的前景分量变为F13/v。
图408的帧#n上自左第6个像素在快门打开后的第1段快门时间/v的前景分量变为F14/v，图408上自左第7个像素在快门打开后的第2段快门时间/v的前景分量也变为F14/v。图408上自左第8个像素在快门打开后的第1段快门时间/v的前景分量变为F15/v。
对应于背景的对象是静止的，从而，图408的帧#n上自左第5个像素在快门打开后的第2到第4段快门时间/v的背景分量变为B29/v。图408的帧#n上自左第6个像素在快门打开后的第3到第4段快门时间/v的背景分量变为B30/v。图408的帧#n上自左第7个像素在快门打开后的第4段快门时间/v的背景分量变为B31/v。
在图408的帧#n中，自左第5到第7像素属于作为未覆盖背景区域的混合区域。
在图408的帧#n中，自左第8到第12像素属于前景区域。对应于帧#n上的前景区域中的快门时间/v的时间的值是F13/v到F20/v中的任一个。
在图408的帧#n+1中，最左到第8像素属于背景区域，其像素值分别是B25到B32。
可以假设对应于前景的对象为直的部分，并以恒定速度移动，前景图像移动使得由下一帧的右侧上的四个像素的平移显示，从而，图408的帧#n+1上自左第9个像素在快门打开后的第一段快门时间/v的前景分量变为F13/v，图408上自左第10个像素在快门打开后的第2段快门时间/v的前景分量也变为F13/v。图408上自左第11个像素在快门打开后的第3段快门时间/v的前景分量、及图408的自左第12个像素在快门打开后的第4段快门时间/v的前景分量变为F13/v。
图408的帧#n+1上自左第10个像素在快门打开后的第1段快门时间/v的前景分量变为F14/v，图408上自左第11个像素在快门打开后的第2段快门时间/v的前景分量也变为F14/v。图408上自左第12个像素在快门打开后的第1段快门时间/v的前景分量变为F15/v。
对应于背景的对象是静止的，从而，图408的帧#n+1上自左第9个像素在快门打开后的第2到第4段快门时间/v的背景分量变为B33/v。图408的帧#n+1上自左第10个像素在快门打开后的第3到第4段快门时间/v的背景分量变为B34/v。图408的帧#n+1上自左第11个像素在快门打开后的第4段快门时间/v的背景分量变为B35/v。
在图408的帧#n+1中，自左第9到第11像素属于作为未覆盖背景区域的混合区域。
在图408的帧#n+1中，自左第12像素属于前景区域。对应于帧#n+1上的前景区域中的快门时间/v的时间的前景分量是F13/v到F16/v中的任一个。
图409是其中从图408所示的的像素值中选取前景分量的图像的模型图。
上述已经描述了输入图像和移动斑点，并且利用实际分割数描述了像素内的分量变化，但是通过例如将实际分割数设置为无限，则每个分量具有与位于图373右边部分中的以w1到w5示出的带形区域具有相同的结构。
也就是说，可以认为，为连续性方向上的每个区域设置水平作为在X-T平面(在X-Y平面上也相同)的分离函数就是设置快门时间中的分量变化作为线性区域代替实际分割数。
因此，通过利用由在连续性方向上的每个区域的分离函数构成的模拟函数估计现实世界可以估计用于产生上述移动斑点的机制。
因此，通过利用该特性，即通过在一个快门时间内产生一个像素(在帧方向上的一个像素或更少)可以基本除去移动斑点。
图410是在通过类型分类适应处理除去移动斑点的情况下的处理结果、与在利用通过设置在连续性方向上的每个区域的分离函数获得的现实世界模拟函数除去移动斑点的情况下的处理结果之间的比较。注意，在图410中，虚线示出了输入图像中的像素值变化(其中存在移动斑点的图像)、实线示出了在通过类型分类适应处理除去移动斑点的情况下的处理结果，以及单点线示出了在利用通过设置连续性方向上的每个区域的分离函数而获得的现实世界模拟函数除去移动斑点的情况下的处理结果。另外，水平轴表示输入图像的X方向上的座标，垂直轴表示像素值。
可以理解，相比于在通过类型分类适应处理除去移动斑点的情况下的处理结果，在利用通过设置连续性方向上的每个区域的分离函数而获得的现实世界模拟函数除去移动斑点的情况下的处理结果中，在以约x＝379、376为中心的边缘部分上的像素值变化是强烈的，移动斑点被除去，从而图像对比度变清楚。
另外，当在如图411所示飞机形对象作为玩具在水平方向上移动时的图像上发生移动斑点，图412中的A到D示出了在利用通过设置在连续性方向上的每个区域的分离函数获得的现实世界模拟函数从图像中除去移动斑点的情况下的处理结果(图像的由图369所示的现实世界估计单元102和由图384所示的图像产生单元103产生的移动斑点被除去)、与在利用其它方法从图像中除去移动斑点的情况下的处理结果之间的比较。
也就是说，图412中的A是图像自身(在斑点除去处理之前的图像)，其中发生图411中的黑色帧部分的移动斑点，图412中的B是利用由设置在每个区域上的分离函数构成的现实世界模拟函数从图412的A所示的其中具有移动斑点的图像除去移动斑点之后的图像，图412中的C是在其中作为输入图像的主体为静止的情况下拍摄的图像，以及图412中的D是利用其它方法除去移动斑点的处理结果的图像。
可以理解，利用由设置在每个区域上的分离函数构成的现实世界模拟函数除去其移动斑点的图像(图412中的B所示的图像)在图中“C”和“A”的相邻部分上为更清楚的图像，另外，相比于利用其它方法除去移动斑点的处理结果的图像(图412中的D所示的图像)，其为其中将特征显示得更加清楚得区域。因此，可以理解，通过利用由设置在每个区域上的分离函数构成的现实世界模拟函数除去移动斑点得处理清楚地显示了细节部分。
另外，当在如图413所示飞机形对象作为玩具在倾斜方向(倾斜右上方向)上移动时的图像上发生移动斑点，图414中的A到D示出了在利用通过设置在连续性方向上的每个区域的分离函数获得的现实世界模拟函数从图像中除去移动斑点的情况下的处理结果(图像的由图377所示的现实世界估计单元102和由图388所示的图像产生单元103产生的移动斑点被除去)、与在利用其它方法从图像中除去移动斑点的情况下的处理结果之间的比较。
也就是说，图414中的A是在斑点除去处理之前的图像，其中发生图413中的黑色帧部分的移动斑点，图414中的B是利用由设置在每个区域上的分离函数构成的现实世界模拟函数从图414的A所示的其中具有移动斑点的图像除去移动斑点之后的图像，图414中的C是在其中作为输入图像的主体为静止的情况下拍摄的图像，以及图414中的D是利用其它方法除去移动斑点的处理结果的图像。注意，处理得图像是在由图413中的粗线矩形标出的位置附近。
如图参考图412的描述，可以理解，利用由设置在每个区域上的分离函数构成的现实世界模拟函数除去其移动斑点的图像在图中“C”和“A”的相邻部分上为更清楚的图像，另外，相比于利用其它方法除去移动斑点的处理结果的图像，其为其中将特征显示得更加清楚得区域。因此，可以理解，通过利用由设置在每个区域上的分离函数构成的现实世界模拟函数除去移动斑点得处理清楚地显示了细节部分。
另外，在利用设置在每个区域上的分离函数构成的现实世界模拟函数除去移动斑点的情况下，当如图415的A所示，以其中在右上方向上发生移动斑点的倾斜方向输入上部的原始图像时，则输出如图415的B所示的图像。也就是说，在图像中的条纹移动斑点发生在原始图像的中心部分上的情况下，通过利用设置在每个区域上的分离函数构成的现实世界模拟函数除去移动斑点，条纹图像变成清楚的图像。
也就是说，如图412的A到D和图415的A和B所示，图377所示的现实世界估计单元102和图388所示的图像产生单元103将用于估计如图391所示的现实世界的每个三维杆形区域的模拟函数分别设置为分离函数，因此，可以除去在水平方向、垂直方向以及作为其组合的倾斜方向上的由于移动发生的移动斑点。
根据上述设置，将现实世界光信号投影到每个具有时间空间积分效应的多个像素上，检测图像数据的连续性，其中已经丢失了现实世界光信号的部分连续性，假设对应于图像数据的时间空间方向的至少一维方向的位置上的像素的像素值对应于由图像数据连续性检测装置检测的图像数据的连续性，则利用分离函数模拟图像数据，从而估计对应于现实世界光信号的函数，因此，可以产生用于放大图像的高密度像素和新帧的像素，并在两种情况下都可以产生更清楚的图像。
注意，传感器2可以是例如固态成像装置的传感器，例如BBD(戽链式装置)、CID(电荷注入装置)、或CPD(电荷填充装置)等。
从而，根据本发明的图像处理装置可以包括输入装置，用于输入由多个像素构成的图像数据，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获取，其上已经丢失了现实世界光信号的部分连续性；以及现实世界估计装置，用于考虑通过光学低通滤波器在空间方向的至少一维方向上分散和积分的光信号而估计将被投影到光学低通滤波器上的光信号。
可以提供现实世界估计装置，假设对应于图像数据的空间方向的至少一维方向的位置的关注像素的像素值是通过在至少一维方向上积分对应于被光学低通滤波器分散的空间方向中多个光信号的多个现实世界函数获取的像素值，则所述装置通过估计多个现实世界函数产生模拟现实世界光信号的函数。
还可以提供检测图像数据的连续性的图像数据连续性检测装置，并且基于由图像数据连续性检测装置检测的连续性，假设对应于图像数据的空间方向的至少一维方向的位置的关注像素的像素值是通过在至少一维方向上积分对应于光学低通滤波器的多个现实世界函数获取的像素值，则现实世界估计装置通过估计多个现实世界函数可以产生模拟现实世界光信号的函数。
还可以提供像素值产生装置，其通过在至少一维方向上以希望的增量积分由现实世界估计装置估计的现实世界函数，产生对应于具有希望尺寸的像素的像素值。
另外，对学习组件可以提供计算装置，用于在对应于第二图像数据的光信号通过光学低通滤波器时计算对应于光信号的图像数据，以输出计算结果作为第一图像数据；第一分块选取装置，用于从第一图像数据选取对应于第二图像数据中的关注像素的多个像素；以及学习装置，用于学习预测装置，预测装置用于根据由第一分块选取单元选取的多个像素的像素值预测关注像素的像素值，所述学习组件学习预测装置，预测装置用于从第一图像数据预测第二图像数据。
对学习组件还可以提供第二分块选取装置，用于从第一图像数据选取对应于第二图像数据中的关注像素的多个像素；以及特征检测装置，用于基于由第二分块选取装置选取的多个像素的像素值检测对应于关注像素的特征。可以将学习装置设置为学习预测装置，预测装置用于对于由特征检测装置检测的每个特征从由第一分块选取装置选取的多个像素的像素值预测关注像素的像素值。
可以将计算装置设置为基于分散将要处理的光学低通滤波器的光信号的相移量与成像装置像素间距离的关系，从第二图像数据计算第一图像数据。
对图像处理装置可以提供输入装置，用于通过借助光学低通滤波器将现实世界光信号投影到每个具有空间积分效应的多个检测元件上，而获取的第一图像数据；第一分块选取装置，用于从第一图像数据选取对应于第二图像数据中的关注像素的多个像素；存储装置，用于存储预先学习的预测装置，以预测将由光信号获取的第二图像数据，所述光信号从第一图像数据被投影到光学低通滤波器上；以及预测计算装置，用于基于由第一分块选取装置和预测装置选取的多个像素预测第二图像数据中的关注像素的像素值，所述图像处理装置从第一图像数据预测第二图像数据。
对图像处理装置还可以提供第二分块选取装置，用于从第一图像数据选取对应于第二图像数据中的关注像素的多个像素；特征检测装置，用于基于由第二分块选取装置选取的多个像素的像素值，检测对应于关注像素的特征。预测装置可以被预先学习，以对于由特征检测装置检测的每个特征从由第一分块选取装置选取的多个像素的像素值，预测关注像素的像素值。
预测装置可以被预先学习，以预测将由光信号获取的第二图像数据，所述光信号从第一图像数据被直接投影到光学低通滤波器上，基于分散将要处理的光学低通滤波器的光信号的相移量与成像装置的像素间距离之间的关系，从第二图像数据计算第一图像数据。
根据本发明的图像处理装置，还可以包括图像数据连续性检测装置，用于检测由多个像素构成的图像数据的连续性，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获取，其上已经丢失了现实世界光信号的部分连续性；以及现实世界估计装置，假设对应于图像数据的时间空间方向的至少一维方向上的位置的像素的像素值是通过对应于由图像数据连续性检测装置检测的图像数据的连续性在至少一维空间上积分而获取的像素值，则所述现实世界估计装置通过利用分离函数模拟图像数据而估计现实世界光信号。
可以将现实世界估计装置设置为在至少一维方向上以特定增量划分的分离函数作为模拟现实世界光信号的函数。
可以将以特定增量划分的每个分离函数的特定增量中的水平设置为恒定值。
可以将以特定增量划分的每个分离函数的特定增量中的水平设置为用多项式模拟。
用于存储用于实施根据本发明的信号处理的程序的存储介质不限于封装介质，所述封装介质单独地分布在计算机中以给用户提供程序，例如磁盘51(包括软盘、光盘52(包括CD-ROM(紧凑盘-只读存储器))、DVD多功能数码光盘)、磁光盘53(包括MD(迷你盘)(注册商标))、半导体存储器54等，如图2所示，其中已经记录了程序；但是还可以由其中记录程序的ROM22构成，或包括在单元28中的硬盘等，将这些预先设置入计算机而提供给用户。
注意，可以按需要通过电缆或无线通信介质，如局域网、互联网、数字卫星传播等、通过例如路由器、调制解调器等将用于执行上述一组处理的程序装入计算机。
应注意，在本说明书中，描述记录在记录介质中的程序的步骤包括以上述次序为时间顺序实施的处理，显然，这不限于时间顺序处理，还可以包括平行或单独执行的处理。
工业应用性根据本发明，如上所述，可以获得准确和高精度的处理结果。
另外，根据本发明，可以获得对现实世界事件的更准确和更高精度的处理结果。
权利要求
1.一种图像处理装置，包括图像数据连续性检测部件，用于检测由多个像素构成的图像数据的连续性，所述多个像素通过将现实世界光信号投影到每个都具有空间时间积分效应的多个检测元件获得，在所述多个像素中丢失了所述现实世界光信号的部分连续性；以及现实世界估计部件，用于通过在假设相应于在所述图像数据的所述空间时间方向中的至少一维方向上的位置的每个像素的像素值是通过相应于所述图像数据连续性检测部件检测到的所述图像数据连续性的所述至少一维方向的积分获得的像素值的情况下，利用非连续函数模拟所述图像数据，而估计所述现实世界光信号。
2.根据权利要求1的图像处理装置，其中所述现实世界估计部件产生在所述至少一维方向上以预定增量划分的非连续函数，作为模拟所述现实世界光信号的函数。
3.根据权利要求2的图像处理装置，其中在以所述预定增量划分的所述预定增量的各个非连续函数内的级别是常数值。
4.根据权利要求2的图像处理装置，其中在以所述预定增量划分的所述预定增量的各个非连续函数内的级别由多项式等式模拟。
全文摘要
一种图像处理装置和方法、记录介质以及程序。简化的角度检测单元(901)通过利用来自输入图像的相关性简单地检测连续性的角度。判断单元(902)当简单地获得的角度接近水平方向或垂直方向时将开关(903)连接终端(903a)，并将简单地检测的角度信息输出给回归型角度检测单元(904)。回归型角度检测单元(904)以回归的方式统计地检测并输出连续性的角度。另一方面，当简单地获得的连续性的角度接近45度时，判断单元(902)将开关(903)连接终端(903b)。这里，梯度型角度检测单元(905)以梯度的方式从输入图像检测并输出连续性的方向。从而，可以更精确地检测连续性的角度。
文档编号G06T7/20GK101064039SQ200710112170
公开日2007年10月31日 申请日期2004年2月13日 优先权日2003年2月28日
发明者近藤哲二郎, 永野隆浩, 石桥淳一, 泽尾贵志, 藤原直树, 和田成司, 三宅彻 申请人:索尼株式会社