专利名称：波前编码成像系统的优化图像处理的制作方法
本申请为2003年2月27日提交的、发明名称为“波前编码成像系统的优化图像处理”、申请号为038093715的专利申请的分案申请。
相关申请
本申请要求2002年2月27日提交的第60/360147号美国专利申请的优先权，该申请内容通过引用包含在本说明书中。
背景技术：
波前编码是指一组专用的非球面光学系统(aspheric optics)、检测与信号处理。在现有技术中，信号处理由非球面光学系统支配，因此能消除因波前编码导致的空间模糊。非球面光学系统“编码”波前，以便使抽样图像不受与散焦(misfocus)相关的像差的影响。来自编码波前的中间图像(即被检测器抽样获取的图像)锐度差且不清晰。信号处理对来自检测器的信号进行处理，以清除由非球面光学系统引致的空间模糊，从而对波前编码实现“解码”。
作为例子，
图1显示了一个现有技术波前编码成像系统100。系统100包括光学系统101和波前编码的非球面光学元件110，它们协同工作以在检测器120形成中间图像。元件110用于对系统100的波前进行编码。来自检测器120的数据流125由图像处理部分140进行处理，以解码波前并产生最终图像141。数字滤波器(“滤波器核心”(filter kernel))130由图像处理部分140执行实现。滤波器核心130由滤波器抽头(filtertap)，或“权”组成，“权”为具有最大动态范围的实数值或整数值，最大动态范围取决于用于处理的硬件和软件的限制，例如128位扩展浮点运算、实数数学计算，以及整数值的定标/截断。例如，定标通常可以包括一系列的部分乘积、计算和累加。
在现有技术中，光学元件110和检测器120不一定必须与图像处理部分140所能达到的处理能力相匹配；因此，最终图像141可能会出现显著的图像质量劣化情形。假如要使光学元件110和检测器120与图像处理部分140所能达到的处理能力相匹配，则需要非常复杂且耗资不菲的硬件设备，以用在检测器性能、改进元件110的光学设计、和/或与图像处理部分140有关的计算机处理运算能力等方面。
发明简介 如下所述，本发明所披露的波前编码成像系统同时实现了对其非球面光学系统和电子装置的优化。在一个实施例中，对光学和电子学同时加以优化以提供理想的光学和/或机械性能，因此像差得以控制，使物理透镜数目最小化，对机械公差要求降低，等等。在另一个实施例中，对光学系统和电子最终同时加以优化，重点在于对电子参量的优化，以便减少为硬件处理所需要的硅和/或存储器的数量；这有助于优化使用非理想检测器获取的图像的质量和/或利用固定的硬件处理解决方案(例如，费用低廉的解决方案)来优化图像质量。
着重优化电子处理例如对涉及很多单元器件数量和专用硬件处理技术的成像应用非常重要。这类应用的例子包括用于蜂窝电话、视频会议以及个人通信装置中的微型照相机。通过同时优化光学和机械以及电子参量，就可以制造出高品质的成像系统，其在物理元件、装置和图像处理等方面费用低廉。
因此，在一些方面，所披露的波前编码成像系统具有优化的成像处理。在一方面，优化图像处理所用的硬件实施方式，其中数字滤波器的滤波器抽头值是一组专用的、简化了的整数。而这些整数又使图像处理所用硬件的复杂性、尺寸和/或费用得以减小。这组简化了的滤波器抽头值例如是“二的幂”数值，二的幂数值的和值与差值，且滤波器的相邻滤波器抽头值的差值是二的幂。与抽头值简化的这些例子有关的限制使得与图像处理相关的乘法运算(或通用的部分乘积累加运算)的次数减少了。
滤波器抽头值与滤波器核心的空间位置有关。另外，滤波器抽头值的动态范围可以是关于光学元件和波前编码元件定位的空间位置的函数。在一个实施例中，接近滤波器核心的几何中心的抽头值具有动态范围较大，而接近滤波器核心的边缘的抽头值则具有动态范围较小，当随着距光轴距离增大而波前编码响应趋于向小数值收敛时非常有用。另外，由于当以检测器或人眼处理时检测器或人眼对不同波带响应不同，所以滤波器抽头值可以是关于多色成像信道特性的函数。
例如，两种便于描述波前编码光学系统的光学形式且适于实现系统优化的方式可以包括，各个幂数的加权求和，p(x，y)＝∑ai[sign(x)|x|^bi+sign(y)|y|^bi]，以及余弦形式p(r，θ)＝∑ai r^bi*cos(ci*θ+φi)。
一方面，本发明提供了一种图像处理方法，包括步骤对形成光学图像的波前进行波前编码；将光学图像转换为数据流；以及利用一组简化的滤波器核心对数据流进行处理，反向转换码波前编码的作用并形成最终图像。
处理步骤可包括使用与光学图像的调制传递函数(MTF)互补(complimentary)的滤波器核心的步骤。
波前编码步骤、转换步骤以及处理步骤可这样进行以利用该组简化的滤波器核心将调制传递函数与数据流数学运算处理进行空间关联。
一方面，该方法包括以下步骤将该组简化滤波器核心用公式表示为利用等路径轮廓光学系统对波前进行相位改变(phase modification)而生成的光学图像的调制传递函数。
该方法可包括利用一组简化的滤波器核心处理数据的步骤，所述简化组滤波器核心由多个区域组成，其中至少一个区域具有零值。
波前编码步骤可包括对波前进行波前编码以使光学图像的点散布函数(PSF)与该组简化滤波器核心的区域实现空间相关的步骤，其中在最终图像中包含有大量的点散布函数信息。
另一方面，该方法包括这样一个步骤修改波前编码、转换和处理步骤之中的一个步骤，而后优化并重复(以一个设定的循环)波前编码、转换和处理步骤之中的另一个步骤。例如，处理步骤可包含利用具有加权矩阵的一组简化的滤波器核心。
另一方面，本发明提供了一种图像处理方法，包括步骤对形成光学图像的波前进行波前编码；将光学图像转换为数据流；以及利用色彩专用的滤波器核心处理数据流，反向转换波前编码的作用并生成最终图像。
另一方面，本发明提供了一种图像处理方法，包括步骤对形成光学图像的波前进行波前编码；将光学图像转换为数据流；对数据流进行色彩空间转换；将经色彩空间转换的数据流的空间信息和色彩信息分离入一个或多个分离的信道；对空间信息和色彩信息之一或两者进行去模糊(deblur)处理；重新组合这些信道，以对去模糊的空间信息和去模糊的色彩信息实现重新组合；以及对重组合的去模糊的空间与色彩信息进行色彩空间转换，从而生成输出图像。该方法可包括一个从数据流中滤除噪声的第一滤除噪声步骤。一方面，该方法产生光学图像的调制传递函数以使得第一滤除噪声步骤与空间相关共同存在。第二滤除噪声步骤可用于处理重组合的去模糊的空间与色彩信息。第二滤除噪声步骤可包括使用光学图像调制传递函数的补数(complement)的步骤。
另一方面，本发明提供了一种用于产生光学图像的光学成像系统。波前编码元件对形成光学图像的波前进行编码。检测器将光学图像转换为数据流。图像处理器利用一组简化的滤波器核心处理数据流以反向转换波前编码的作用并生成最终图像。滤波器核心可与光学图像的点散布函数空间互补(complimentary)。滤波器核心的空间频域型式(version)可与光学图像的调制传递函数互补(complimentary)。
另一方面，本发明提供了一种电子装置，包括照相机，所述照相机具有(a)波前编码元件，其对在照相机中形成光学图像的波前进行相位改变，(b)用于将光学图像转换为数据流的检测器，和(c)图像处理器，其用于利用一组简化的滤波器核心处理数据流以反向转换波前编码的作用并生成最终图像。该电子装置例如是一种蜂窝电话或远程会议设备。
另一方面，图像处理方法包括步骤利用用以形成光学图像的等路径轮廓光学系统对波前进行波前编码；将光学图像转换为数据流；和对数据流进行处理以反向转换波前编码的作用并生成最终图像。
附图的简要说明 图1显示了现有技术的波前编码光学成像系统； 图2显示了一个采用优化图像处理的波前编码光学成像系统； 图3显示了另一个采用优化图像处理的波前编码光学成像系统； 图4显示了另一个采用优化图像处理的波前编码光学成像系统； 图5示意性描述了一个滤波器核心及其相关的图像处理部分； 图6A显示了一组普通的滤波器核心，而图6B显示了一组简化的滤波器核心； 图7A显示了用于一组通用滤波器核心的通用逻辑ALU(算术逻辑单元)；图7B和图7C显示的是另选的用于一组简化的滤波器核心的专用逻辑ALU； 图8显示了一个具有优化的滤波器核心的波前编码光学成像系统； 图9A显示了一个具有优化图像处理和采用对角线重构的滤波器核心的波前编码光学成像系统； 图9B显示了一个具有优化图像处理和采用圆形重构的滤波器核心的波前编码光学成像系统； 图10显示了一个具有色彩优化图像处理和滤波器核心的波前编码光学成像系统； 图11A显示了一个采用具有单次移位差分抽头的优化图像处理和梯度滤波器核心的波前编码光学成像系统； 图11B显示了一个采用定标抽头的优化图像处理和定标滤波器核心的波前编码光学成像系统； 图11C显示了一个采用定标累加抽头的优化图像处理和分布式滤波器核心的波前编码光学成像系统； 图11D显示了一个采用累加定标抽头的优化图像处理和分布式滤波器核心的波前编码光学成像系统； 图12示意性显示了经图1所示系统处理后所得的最终图像和经图2所示系统处理后所得的最终图像； 图13示意性显示了经图1所示系统处理后所得的最终图像和经采用图11滤波器的图2所示系统处理后所得的最终图像；和 图14显示了在图12和图13中所用的滤波器核心的频率响应特性曲线。
图15显示了一个具有优化的色彩图像处理的光学成像系统； 图16A显示了一个具有优化的色彩图像处理的光学成像系统； 图16B描述与图16A有关的一个相关性和色彩成分分析； 图17-图23显示(demostrate)了图16A各处理阶段的图像分量； 图24显示了一个具有特定波前编码成像系统特性的电子装置的方框图； 图25以示意图方式显示了在各系统部件之间进行选择优化折衷的过程，在设计阶段对各系统部件一起优化设计从而构建起光学成像系统； 图26显示了等轮廓线光学系统的选定轮廓； 图27显示了等轮廓线光学系统的选定轮廓； 图28显示了等轮廓线光学系统的选定轮廓； 图29显示了等轮廓线光学系统的选定轮廓； 图30显示了针对图16的一个轮廓，沿路径表面形状的表面轮廓和所得到的调制传递函数，以及横穿路径表面形状的表面轮廓和所得到的调制传递函数； 图31显示了沿路径表面形状的表面轮廓和所得到的调制传递函数，以及横穿路径表面形状的表面轮廓和所得到的调制传递函数 图32显示了针对图16的一个轮廓，沿路径表面形状的表面轮廓和所得到的调制传递函数，以及横穿路径表面形状的表面轮廓和所得到的调制传递函数； 图33显示了另一种关于图26一个型面的表面轮廓、调制传递函数、沿轮廓线表面形式和横跨轮廓线表面形式； 图34显示了图32实施例的未进行波前编码的抽样的点散布函数； 图35显示了图32实施例的进行了波前编码的抽样的点散布函数； 图36和图37显示并对比了图34和图35的抽样点散布函数的横断面； 图38显示了一个二维数字滤波器的实施例； 图39显示了一个经过图38滤波器处理的点散布函数； 图40描述了大量的关于焦点对准的抽样点散布函数分别和图35和图38所示数字滤波器的秩-幂数据点。
图41显示了在空间频域中的滤波之前和之后的相应调制传递函数；和 图42显示了一种设计方法，用于优化光学系统、检测器、波前编码光学元件、数字滤波器(滤波器核心)、和/或图像处理硬件。
具体实施例的详细说明 图2显示了一个具有优化图像处理的波前编码光学成像系统200。系统200包括光学系统201和波前编码的非球面光学元件210，两者协同工作以在检测器220中形成中间图像。光学元件210用于对系统200中的波前进行编码；例如，光学元件210是可改变波前相位的相位掩模。来自检测器220的数据流225为图像处理部分240所处理，从而对波前加以解码并形成最终图像241。系统200具有滤波器核心230，滤波器核心230具有一组简化的滤波器核心值，其与图像处理部分240的具体的图像处理执行过程有最佳匹配。可以利用该组简化的滤波器核心值构建并配置滤波器核心230，以便使系统200的最终图像241基本上等同于系统100的最终图像141。如下所详述，适用于与滤波器核心230一起使用的一组简化的滤波器核心值(即，抽头或权重值)特定实施例包括(i)二的幂，(ii)二的幂的和与差，(iii)限定为二的幂的相邻抽头之间的差，以及(iv)具有被处理图像的空间位置或色彩所指定的数值范围的抽头。
图3显示了另一个具有优化图像处理的波前编码光学成像系统300。系统300包括光学系统301和波前编码的非球面光学元件310，两者协同工作以在检测器320中形成中间图像。光学元件310用于对系统300中的波前进行编码。来自检测器320的数据流325为图像处理部分340所处理，从而对波前加以解码并形成最终图像341。图像处理部分340利用滤波器核心330来处理数据流325。检测器320、数据流325、滤波器核心330和图像处理部分340构造并配置形成了在复杂度、尺寸大小和/或成本方面优化的系统300。最终图像341基本上等同于图1的最终图像141。如下所详述，检测器320和数据流325可采用稍后实现对角线重构的对角线读出(readout)，和/或用于滤色器阵列检测器的多信道读出。当进行滤色器阵列处理时使用对角线重构是有用的，因为对图像中的对角线元素执行了许多颜色插值算法。与对所有颜色都均等地进行处理相比，用于专门颜色的滤波器核心以及数据处理具有更少的花费和提高的性能。滤波器核心330可与图2中滤波器核心230完全相同；尽管本领域普通技术人员都能意识到(apprecitate)，滤波器核心230可包括如下所述的颜色和方向(例如，对角线方向)的卷积效果。
图4显示了另一个具有优化图像处理的波前编码光学成像系统400。系统400包括光学系统401和波前编码的非球面光学元件410，两者协同工作以在检测器420中形成中间图像。光学元件410用于对系统400中的波前进行编码。来自检测器420的数据流425为图像处理部分440所处理，从而对波前加以解码并形成最终图像441。图像处理部分440利用滤波器核心430来处理数据流425。图像处理部分440可进行优化处理，以使最终图像441效果基本上等同于图1的最终图像141。对光学系统401和图像处理部分440一起进行优化，以用于执行可选择的重构算法，例如对角线处理或利用一组简化的核心值进行处理，从而有助于以较低花费、较小尺寸等条件实现较高性能。
图5描述了滤波器核心530和图像处理部分540的一个实施方案；滤波器核心530和图像处理部分540例如可用于上述的系统特定实施例200-400中(例如，用做图4中的滤波器核心430和图像处理部分440)。如图所示，检测器520捕获光学系统的中间图像，就像上述检测器220、320、420那样；数据流525输入到图像处理部分540，就像上述数据流225、325、425那样。滤波器核心530是一具有符合如下条件的数值的简化的组滤波器核心，这些数值被限定为其绝对值是二的幂(包含零)，这例如{-2N，...，-4，-2，1，0，1，2，4，...，2N}。如下所详述，图像处理部分540如图所示仅通过移位实现与滤波器核心530的乘法；只使用这种操作方式是因为滤波器核心530被限定为2的幂。在一个实施方案中，滤波器核心530可表示为指数形式或者等值表示为系数移位。
更具体地讲，数字滤波是线性滤波和非线性滤波两者乘积的总和。在图5实施例中，滤波器核心530作用于检测器520采样得到的模糊中间图像。考虑到滤波器核心530和模糊中间(intemediate)图像是分离的二维物体，将滤波器核心530居中到自检测器520输出的特定图像像素上。在与图像像素重叠的每个滤波器核心处，求取相应滤波器核心值和图像像素的乘积；而后累加这些乘积。对于线性滤波，这个累加之和就是经过滤波的最终图像像素。为了进行卷积(convolution)处理，而后以相同步骤使滤波器核心530居中到在整幅图像中的其它各个像素上，从而针对各个像素都产生一个类似的值。因此，对于N×N二维滤波器核心的线性滤波，每个经过滤波的图像像素都具有N2个乘积以及N2-1次这些乘积的累加。因此，对波前编码光学成像系统200、300、400，可利用各个光学元件以及与图像处理部分之特定硬件实现手段相匹配的滤波器核心加以优化，以便减少乘法、求和的次数并减少相关实施费用。注意滤波器核心值0只需要存储，从而控制核中的稀疏度(sparseness)，这也使实施费用得以减少。
图6A和图6B分别显示了一组普通滤波器核心示意图和(基于2n值的)一组简化的滤波器核心示意图。在图6A中，普通组滤波器核心的系数不仅仅局限于为二的幂；因此需要通用算术逻辑单元(ALU 550)来执行对各个滤波器系数(即滤波器核心值)和图像像素的乘法运算，如图所示。通用ALU 550执行一系列中间逻辑运算(称做部分乘积552)以及为了形成最终乘积(像素输出)而对中间结果所做的累加运算(在累加器554)。另一方面，在图6B中，由于简化组滤波器核心具体实现是核心值为二的幂，所以用以形成乘积的运算逻辑装置(logic)是移位器560。每个图像像素的移位位数由滤波器值二的幂的幂指数确定。例如简化组滤波器核心由两个滤波器核心值为二的幂的组成，则运算逻辑装置只需要两个移位器和一个加法器。所有移位器560的累加得出最终产物(像素输出)。因此，与图6A中的通用ALU 550相比，图6B是简化情形，因为移位和加和逻辑被预先设定为移位-加和次序，而不是对一般部分乘积的累加。
本领域普通技术人员应该意识到，图6B的运算逻辑与其它乘法或通用定标(scaling)实施方式相比要有利得多。例如基于整数的查询表(LUT)乘法。位数较短的ALU通常对在LUT中的标量操作数进行运算，以提高速度并简化指令集，因为一系列的部分乘积的求和运算与LUT方法相比运算次数更多并占用更多寄存空间。与通用的部分乘积累加器乘法器相同，LUT乘法器也为通用的定标运算保留资源。另一方面，图6B的运算逻辑具有一组简化的定标运算，通过利用二的幂系数的移位逻辑运算实现。通用ALU 550需要对通用滤波器核心值进行运算处理，因此，图6B的运算逻辑与通用ALU 550相比，运算次数少，速度快。
图7A、图7B和图7C进一步详细显示出了图6A和图6B中运算逻辑装置，比较用在线性滤波器中各个抽头上的通用的和专用的运算逻辑功能图7A示意性说明了通用ALU 550；图7B和图7C示意性说明了专用ALU 560的可选择结构。在这个实施例中，假定一组通用滤波器核心和一组简化滤波器核心，简化组滤波器核心的范围为在1和128之间的正整数值。通用组滤波器核心可具有1和128之间的所有的值。简化组滤波器核心只可以是在这个范围内为二的幂的数值，即1、2、4、8、16、32、64和128。现在假定来求取图像像素p和值为7的一组通用的滤波器核心的乘积。使用通用ALU 550，总共需要三次移位，(4+2+1)×p，或如图7A所示，Q＝3。这三次移位用于形成与因子4(二次移位)、而后是2(一次移位)、再而后是1(不移位)的部分乘积。因此，值为127的一组通用的滤波器核心实施作用需要七次移位和七次中间求和。
相比之下，由于使用值为二的幂的简化组滤波器核心，ALU 560A只进行一次移位。通用ALU 570非常复杂，诸如向量机或流水线设备，与这样一种单次移位相比需要占用更多资源。
图7C所示另一专用ALU 560B表示的是一种对已知的不为二的幂的系数的移位-减法次序。继续前述实施例，假如给像素值p的系数是127，则127p采用二的幂的加和实施方式为64+32+16+8+4+2+1＝127。因此，在ALU560B中，逻辑算法是减法即累加二的幂的负值，以实现128-1＝127，只需要一次移位和一次减法运算就可以生成最终结果(像素输出)。
图8显示了具有一组简化滤波器核心的波前编码光学成像系统800。系统800包括光学系统801和波前编码的非球面光学元件810，两者协同工作以在检测器820形成了中间图像。光学元件810用于对系统800中的波前进行编码。来自检测器820的数据流825为图像处理部分840所处理，从而对波前加以解码并形成最终图像841。图像处理部分840利用滤波器核心830来处理数据流825。通过简化滤波器核心830中的一组滤波器核心，该组滤波器核心是值的函数和空间位置的函数，可以针对光学系统801、波前编码非球面光学元件810以及检测器820，对图像处理部分840的硬件实现加以优化。滤波器核心830的区域A、B、C和D表示出简化的几何组。对于这个实施例，滤波器核心830的值在区域A和D中被限定为零值，在区域B中被限定为中等范围(或动态范围)的值，而在区域C中被限定为大范围的值。在前述范围内所有特定的核值都具体体现为二的幂值、二的幂值的和与差等等。
波前编码光学成像系统800因而得以优化，以硬件方式实现滤波器核心的简化几何组(例如，通过滤波器核心830和图像处理部分840)。简化几何组核心在具有专门硬件处理器的系统中非常重要，与各种不同的波前编码光学系统和检测器一起使用，或者与改变特性的光学系统一起使用，例如波前编码的变焦光学系统。例如，光学系统801和光学元件810可调整场深，还可以在核心尺寸内调整定标。通过将滤波器核心830的系数值定位在适当空间位置上而获取前述动态范围。通过设计光学系统801和光学元件810以便使定标核值位于适当的动态范围内，图像处理部分840针对设定最大核约束条件的这种光学系统801和光学元件810进行优化。虽然在几何区域A-D内不同滤波器核心具有不同值，但是对值的优化安排是相对于图像处理部分840的能力加以进行的。例如，光学元件810的转动(例如转动45度角)将要求核心等价转动；这是不能被允许的，因为B区域将因此处于仅具有近零系数而非中等动态范围B区域系数的处理空间。该转动(rotaion)仅当处理空间和核心空间都转动的情形下才可被允许。
图9A显示了一个其检测器和数据流读取得到优化的波前编码光学成像系统900A。系统900A包括光学系统901A和波前编码的非球面光学元件910A，两者协同工作以在检测器920A中形成中间图像。光学元件910A用于对系统900A中的波前进行编码。来自检测器920A的数据流925A为图像处理部分940A所处理，从而对波前加以解码并形成最终图像941A。图像处理部分940A利用滤波器核心930A来处理数据流925A。在这个实施例中，检测器920A和数据流925A并不是依典型的行列格式进行读取；相反，读出格式例如是依据对角线读出的。利用这样一种对角线读出格式，因为图像格式不是基于行和列的，所以图像处理部分940A不能采用直线处理方法(例如，矩形可分离的或秩-N处理方法)。假如数据格式是对角线的，则对光学系统901A和波前编码非球面光学元件910A如此进行安排，以使点状物体(或其点发散功能)所得到的最终图像充分包含沿对角线(在某种意义上等同于数据流对角线)的所有信息。相应的滤波器核心930A和图像处理部分940A因此以对角线格式优化地作用在图像数据925A上，如图所示；且可对单个或两个对角线进行处理。在一个实施方案中，将对角线重新映射为行-列顺序并以直线形式操作，而后再以对角线顺序的输出次序进行重新映射。在一个实施例中，可对光学系统901A和光学元件910A与图像处理部分940A一起进行优化，以提供几何方向中的信息，它减少了成本花费。一个例子就是光学元件910A以这样一种方式旋转，从而使与读取的数据流925A的对角线角度相对应。
图9B显示了一个其检测器和数据流读取得到优化的波前编码光学成像系统900B。系统900B包括光学系统901B和波前编码的非球面光学元件910B，两者协同工作以在检测器920B中形成中间图像。元件910B用于对系统900B中的波前进行编码。来自检测器920B的数据流925B为图像处理部分940B所处理，从而对波前加以解码并形成最终图像941B。图像处理部分940B利用滤波器核心930B来处理数据流925B。检测器920B和数据流925B并未采用典型的直线设计，且并不是依典型的行列格式进行读出的。确切地讲，读出格式例如是依环形或基于径向由对数-极坐标(log-polar)检测器读出数据。利用这样一种读出格式，因为图像格式不是基于行和列的，所以图像处理部分940B不能采用直线处理方法(例如，矩形可分离的或秩-N处理方法)。假如数据格式是圆形的或环形的，则对光学系统901B和波前编码非球面光学元件910B如此进行安排，以使点状物体(或其点发散功能)所得到的最终图像基本上包含沿环形或径向区域(在某种意义上等同于数据流925B)的所有信息。相应的滤波器核心930B和图像处理部分940B因此以圆形格式优化地作用在图像数据925B上，如图所示。在一个实施例中，将同心环重新映射为行-列顺序并以直线形式操作，而后再以圆形顺序的输出次序进行重新映射。在一个实施例中，可对光学系统901B和光学元件910B与图像处理部分940B一起进行优化，以提供几何方向中的信息，从而减少了成本花费 图10显示了一个优化用于彩色成像的波前编码光学成像系统1000。系统1000包括光学系统1001和波前编码的非球面光学元件1010，两者协同工作以在检测器1020中形成中间图像。光学元件1010用于对系统1000中的波前进行编码。来自检测器1020的数据流1025为图像处理部分1040所处理，从而对波前加以解码并形成最终图像1041。图像处理部分1040利用滤波器核心1030来处理数据流1025。光学系统1001、非球面光学(opticsal)元件1010、检测器1020、数据流1025、滤波器核心1030和图像处理部分1040协同工作，因此各个颜色信道在生成最终输出图像1041时都具有分立特性。例如，由于颜色的作用，波前编码光学成像系统1000优点在于人眼可“看见”各种颜色有差别。人眼对于绿色光亮非常敏感，而对于蓝色光亮敏感度最低。因此，在蓝色信道的与滤波器核心1030和图像处理部分1040有关的空间分辨率、空间带宽和动态范围，可远远小于绿色信道的-从而不会使图像1041为人眼观察所察觉到的图像质量变劣。与以均等地处理所有颜色信道相比，通过减少对颜色作用的需求，使系统1000的光-机械的和光-电的实施方式得以进一步优化。
图11A-11D显示了利用专用滤波器(即，在图像处理部分1140中)得到优化的波前编码光学成像系统1100的几个相关实施方案。各个系统1100A-1100D都包括有光学系统1101和波前编码的非球面光学元件1110，两者协同工作以在检测器1120中形成中间图像。光学元件1110用于对系统1100中的波前进行编码。来自检测器1120的数据流1125为图像处理部分1140所处理，从而对波前加以解码并形成最终图像1141。图像处理部分1140利用滤波器核心1130来处理数据流1125。光学系统1101、非球面光学元件1110、检测器1120和数据流1125协同工作，因此滤波器核心1130采用专用滤波手段而图像处理部分1140采用专用抽头1145，从而提供了实现所需的成本节约和/或设计性能。
更具体地讲，图11A-11D光学系统分别描述了四个最优情况，考虑了任意给定系数或系数子群，使其具体结构得以最佳实施。图11A-11D实施例的任意组合或各种组合都可用有效的图像处理部分加以实现。
图11A具体显示了一个梯度滤波处理的实施方案。光学系统1101A、非球面光学元件1110A、检测器1120A和数据流1125A协同工作，从而滤波器核心1130A采用梯度滤波而图像处理部分1140A采用专用差分抽头1145A。滤波器核心1130A的简化组滤波器核心使相邻系数的差值支持具有效率的执行方式。例如，通过配置滤波器核心1130A和图像处理部分1140A，可使第一与第二抽头之间的差值、第二与第三抽头之间的差值、第三与第四抽头之间的差值等等都是二的幂(或者另外能够得以有效执行的数值或数值组)。如果滤波器核心1130A各个差值是二的幂值的简化组，则各个被执行滤波器抽头的几何结构就是差分抽头1145A。差分抽头1145A是一种具有效率的执行方式，因为对核心1130A中任意系数值只需要进行单次求和运算。在线性滤波现有技术中，例如为FIR抽头延迟线所采用的，只是将原始图像像素值传播到下一抽头，而先前定标值却不会进入到下一阶段。在差分抽头1145A恢复先前定标值1146A，进行单次加法或减法运算即可生成下一值。由于在前结果1146A被传播到了下一抽头，所以图像处理部分1140A的硬件实现设备的尺寸大小和成本费用都可以得到进一步减小。在差分抽头1145A中也可以结合其它的加法和减法组合；差分抽头1145A并不局限于单次加法(或减法)，相反本领域普通技术人员可认识到，任意组合的加法和减法都可以连同使用于向前传播在前结果1146A-恰是向前传播动作1146A提供了生成优化方案的能力，这与特定的差分抽头设计方案相反。
利用数值为单次加法差分抽头提供一个非常清楚的例子；假定系数顺序为[3，-5，11，7，-1，0]。假如输入像素值p，则第一抽头产生结果为3p。下一抽头产生结果为-5p，或者，另选地利用来自前一步骤的3p，生成-8p，而将这两个值相加得到3p-8p＝-5p。类似地，系数11是由前一-5p加上16p后得到的。注意在这个例子中，通过单次移位(p至16p)和单次加法就得到了定标因子11x，而11x传统的实现方式是基于部分乘积的，需要8+2+1，或者说，需要两次移位和两次加和运算。该实施例接下来是7p＝(11p-4p)和-1p＝(7p-8p)。在一些实施例中，差值可以为零，在这种情形下梯度核就转变为了定标核，定标核在图11B中有详细描述。
图11B具体显示了一个定标滤波处理的实施方案。光学系统1101B、非球面光学元件1110B、检测器1120B和数据流1125B协同工作，从而滤波器核心1130B采用定标滤波而图像处理部分1140B采用专用定标抽头1145B。滤波器核心1130B的简化组滤波器核心使相邻系数之间定标因子支持具体效率的执行方式。例如，配置滤波器核心1130B和图像处理部分1140B，使得第一与第二抽头之间的定标因子、第二与第三抽头之间的定标因子、第三与第四抽头之间的定标因子等等都是二的幂(或者另外能够得以有效执行的数值或数值组)。例如，假设相邻滤波器核心系数的各个定标因子是作为二的幂的一组简化值，则各个用以实施滤波器抽头的几何结构都是定标抽头1145B，且可在二进制计算机上以简单的移位加以实施(可通过其它装置以比2的幂更加有效的方式而有效实施其它定标因子)。无论选择的是什么定标因子，定标滤波器抽头1145B都是一种具体效率的执行方式，因为在任意一个抽头上只需要图像像素的定标值被传送到下一抽头以及核累加器。在线性滤波现有技术中，例如为FIR抽头延迟线所采用的，虽然定标值也被传播(propogated)到累加器，但还不得不将原始图像像素值传播到下一抽头。对两种数值的存储(延迟像素值和定标像素值)需要两种寄存器。在图11B中，由于滤波器核心1130B的定标滤波，所以只需要一个寄存器用以存储定标像素值(定标自前一抽头)。由于原始图像像素信息不会传播到所有后续抽头，所以图像处理部分1140B的硬件实现设备的尺寸大小和成本费用都可以得到进一步减小。一个滤波器核心实施例是[3，-12，6，0，-3，0]，相邻像素之间定标是二的幂的因数。
图11C显示了一个进行分布运算特性滤波处理的实施方案。光学系统1101C、非球面光学元件1110C、检测器1120C和数据流1125C协同工作，从而滤波器核心1130C采用分布运算特性滤波而图像处理部分1140C采用专用分布运算抽头1145C。抽头1145C执行对定标值的累加。滤波器核心1130C的简化组滤波器核心能使分布的所有系数都支持具体效率的执行方式。例如，配置滤波器核心1130C和图像处理部分1140C，使得只有两个被执行的定标因子或乘法器，以提供五个用于重构的独特系数(5个系数包括两个系数的正值和负值，外加零系数)。定标滤波器抽头1145C支持有效的执行，因为单个抽头可以被“过计时(overclocked)”以服务于多个像素。一些执行方式优选过计时如在1145C中的乘法器，另有一些执行方式可以优选过计时如在图11D所示1145D中的累加器。在线性滤波现有技术中，例如为FIR抽头延迟线所采用的，每个像素和系数都需要一个分离而独特的运算符。
图11D显示了一个进行分布运算特性滤波处理的实施例。光学系统1101D、非球面光学元件1110D、检测器1120D和数据流1125D共同作用，应能使滤波器核心1130D采用分布运算特性滤波而图像处理部分1140D采用专用分布运算抽头1145D。抽头1145D执行对累加值的定标。滤波器核心1130D的简化组滤波器核心应能使分布的所有系数都支持富有效率的执行方式。例如，配置滤波器核心1130D和图像处理部分1140D，应使得只有两个被执行的定标因子或乘法器，以提供五个用于重构的独特系数(5个系数包括两个系数的正值和负值，外加零系数)。如图11C所示，定标滤波器抽头1145D支持有效的执行，因为单个抽头可以被“过计时(overclocked)”以服务于多个像素。一些执行方式优选地过计时如在1145D中的累加器。在线性滤波现有技术中，例如为FIR抽头延迟线所采用的，每个像素和系数都需要一个分离而独特的运算符。
一种设计特定的波前编码非球面光学元件(例如，图11A-D中的独特元件1110)和特定的滤波器核心(例如，图11A-D中的独特滤波器核心1130)的方法，其采用了多个目的在于进行图像处理的加权矩阵。系统设计的其它目标，例如图像质量、像差敏感度等，也可以具有相关的权矩阵。作为设计和优化处理的一部分，可优化连接加权矩阵以达到所设定目标。由于对光学和信号处理可以一起进行优化，所以可以达成许多种类型的解决方案，例如，如果只对光学或信号处理的一种进行优化的话，则这许多种类型的解决方案不是难于认识到就是根本不可能认识到。
例如，用于通用整数滤波器(例如，为图6A逻辑装置所采用的)的一个加权矩阵对于所有可能的整数值具有零值。相反，为二的幂的简化组滤波器核心(例如，为图6B逻辑装置所采用的)的加权矩阵仅对于那些为二的幂的整数值才是零值。整数零具有零权重值，因为这个值对于执行实施而言并不重要。其它整数具有较高的权重值。当对那些不为二的幂但却大于零的整数设定权重值时，可在光学、滤波器核心、图像处理和最终图像之间进行最佳条件选配，通过设定大于零的适当权重值，在成本花费和性能之间寻求最佳性价平衡点。
在一个实施例中，在采用二的幂的和的简化组滤波器核心中，加权矩阵对于那些为二的幂的整数是零值，对于那些由两个二的幂值的和或差构造出的整数(例如6＝4+2或7＝8-1)则是一个较高的值，而那些由三个二的幂值的和或差构造出的整数(例如11＝8+2+1，或11＝8+4-1)则是一个更高些的值。当同时使用二的幂的正值和负值时，则整数例如七的权重被减小了，因为7＝8-1。相反，通常实施方式(例如图6A)需要三个数求和，例如，7＝4+2+1。
加权矩阵还可用于优化梯度滤波器(例如图11A中的滤波器1130A)或定标滤波器(例如图11B中的滤波器1130B)。相邻整数值可以根据它们的差值或梯度或定标因子而设定权重。在一个实施例中，假如它们的差值或比值是二的幂，则每一对整数值都被赋予一个零值，否则被赋予一个大值。该系数对还取决于像素的读取方式，因为读取方式决定了邻近像素的相邻规则，且因为读取和核心的取向都包含在加权矩阵中。本领域普通技术人员可以意识到，当整数的差值是一系列二的幂的和值等时，其它梯度核心滤波器可赋予小值。
图12图示出了经由图1所示系统100处理过后的最终图像1201和经由图2所示系统200处理过后的最终图像1202。在这个实施例中，系统100、200分别都具有相同的光学系统101、201和检测器120、220，但是具有不同的滤波器核心和图像处理部分(分别在矩形可分离处理中执行一维核滤波器)。图像1201是利用作为通用整数滤波器的滤波器核心1 30形成的。图像1202是利用作为采用二的幂值的简化组滤波器的滤波器核心230形成的。图像1201、1202相同，但是图像1202与图像1201相比其对比度较高，如图所示。而且，进行比较，简化组滤波器核心230与滤波器核心130通用整数滤波器相比，其执行实施的体积尺寸小且花费代价小。
图13图示出了经由图1所示系统100处理过后的最终图像1301和经由图2所示系统200处理过后的最终图像1302。与图12相同，系统100、200分别都具有相同的光学系统101、201和检测器120、220，但是具有不同的滤波器核心和图像处理部分(分别在矩形可分离处理中执行一维核滤波器)。系统200采用图11A所示核滤波器1130A作为图2中的核滤波器230。系统100采用通用整数滤波器作为核滤波器130；因此图像1301是由通用整数滤波器形成的。图像1301、1302相同，只是图像1302与图像1301相比其对比度较低而已。由于对比度也是一个可能的成像要求指标，所以可设定降低的对比度以符合这项指标要求。而且，用于处理图像1302的简化组梯度滤波器核心与通用整数滤波器相比，其执行实施的体积尺寸小且花费代价小。
图14显示了关于图12和图13中使用的三种数字滤波器的频率响应特性曲线。每个滤波器的频率响应特性曲线都稍有不同，且具有不同的实施方式。特定成像应用优选一条频率响应特性曲线，而另外的成像应用优选另一条不同的频率响应特性曲线。二的幂简化组的频率响应特性曲线(例如为图2滤波器核心230所采用)具有最大对比度。在这个实施例中，通用整数频率响应特性曲线具有第二高的对比度，而简化组梯度为二的幂的滤波器核心1130具有最低的频率响应特性曲线。这当然不是普遍情形。因此，根据应用用途，选择适当的频率响应特性曲线；假如滤波器核心采用简化组滤波器核心值，则具体实施可以节约花费成本并降低复杂程度。
再来看图10，用于颜色的优化图像处理具有特定优点。图15因此描述了另一种进行颜色优化图像处理的光学成像系统。系统1500包括光学系统1501和波前编码非球面光学元件1510，两者协同工作以在检测器1520中形成中间图像。光学元件1510用于对系统1500中的波前进行编码。来自检测器1520的数据流1525为一系列处理模块1522、1524、1530、1540、1552、1554、1560所处理，从而对波前加以解码并形成最终图像1570。块1522和块1524用于预处理数据流1525以降低噪声。具体讲，FPN块1522用于校正检测器1510的固定模式噪声(例如，像素增益和偏差，以及非线性响应)；预滤波块1524利用波前编码非球面光学元件1510的知识用以进一步减少数据流1525的噪声。颜色转换块1530将RGB颜色分量(由数据流1525)转换到新的色彩空间。模糊&滤波块1540通过一个或多个新色彩空间信道的滤波从新色彩空间图像中去除模糊。块1552和块1554用于后处理来自块1540的数据，以进一步降低噪声。具体讲，SC块1552利用块1540中数字滤波的知识来滤除各单个数据信道中的噪声；MC块1554利用块1540中数字滤波的知识来滤除多个数据信道中的噪声。在生成图像1570之前，另一个颜色转换块将色彩空间图像分量转换回RGB颜色分量。
图16A示意性描述了一个色彩处理系统1600，其由色彩滤波器阵列检测器1602生成最终的三色图像1660。系统1600采用光学系统1601(其具有一个或多个波前编码的光学元件或表面)对系统1600的波前进行编码，并且在检测器1602生成中间光学图像。光学系统1601对波前编码因此在检测器1602上形成了模糊图像。这个中间图像而后为噪声消减处理(NRP)与色彩空间转换块1620所处理。块1620的噪声消减处理例如用于去除检测器的非线性添加性噪声；而块1620的色彩空间转换用于去除合成图像之间的空间相关性，以便减少为模糊去除处理(在块1642、1644)所需的硅和/或存储器的数量。源自块1620的数据还被切分为两种信道空间图像信道1632以及一个或多个色彩信道1634。因此，主要的空间信道1632在处理块1642中被去除了大量模糊。色彩信道基本上在处理块1644中得到较少的模糊去除。在模糊去除处理之后，信道1632和1634重新组合并在噪声消减处理与色彩空间转换块1650中进行处理。这样进一步去除了为模糊去除处理所加重的图像噪声；而色彩空间转换将图像转换为RGB格式形成最终图像1660。
图17-图23进一步图示出了对系统1600具体实施例的色彩空间转换和模糊去除处理。检测器1602是CCD检测器，具有拜耳(bayer)滤色器阵列。图17分别显示出了通过系统1600成像但在光学系统1601中未采用波前编码(即，在光学系统1601中没有波前编码光学元件)的实际物体的红色、绿色和蓝色分量的图像1700、1702和1704。在图像1700、1702和1704中，各个彩色图像都具有高度空间相似性，而且图像的许多部分都模糊不清。如下所述，没有波前编码就无法校正模糊的(blured)图像。
图18分别显示了通过采用波前编码光学系统1601的系统1600成像的原始的红色、绿色和蓝色分量的图像1800、1802和1804。图像1800、1802和1804表示自数据流1625导出的并且处在为块1620处理之前的图像。各分量图像1800、1802和1804彼此非常相似；并且各图像都因非球面光学系统1601而导致存在模糊。
图19显示的是经过块1642模糊去除处理之后的图18色彩分量图像；图像1900是图像1800经过块1642处理过后的对应图像；图像1902是图像1802经过块1644处理过后的对应图像；图像1904是图像1804经过块1644处理过后的对应图像。对于这个实施例，处理块1644不执行任何处理。还有，不使用处理块1620和1650。各个分量图像1900、1902和1904尖锐而清晰；并且组合这三个分量图像将可产生尖锐而清晰的三色图像。
图20显示的是经过从RGB到YIQ的色彩空间转换(块1620)之后、在空间与色彩信道1632和1634处理之前的分量图像2000、2002和2004。分量图像2000、2002和2004因此表示经过块1620处理之后的在信道1632和信道1634的图18的分量图像。注意，Y信道图像2000与图18中红色与绿色图像1800、1802相同。但是，I与Q信道图像2002、2004与图18中所有信道的图像都有很大区别。YIQ色彩空间变换(块1620)致使Y信道分量图像2000包含有大量主要的空间信息。I信道分量图像2002含有的空间信息比Y信道分量图像2000要少得多，尽管某些空间信息是可以看得见的。注意，在各张图像的右侧标示有强度标。在这些图像所示的强度标度内，Q信道分量图像2004基本上不含空间信息。
图21显示的是经过空间信道1632的模糊去除处理1642之后的YIQ波前编码图像2100、2102、2104。I与Q信道图像2002、2004没有在块1644中经过滤波，从而节省了处理与存储空间；因此，图像2102、2104与图像2002、2004相同。本领域普通技术人员明白，在块1644可以分辨率低且位深度小的滤波器对图像2002、2004进行滤波。在将经过滤波的图21YIQ图像变换回RGB空间(块1650)之后，最终的三色图像1660色彩尖锐图案清晰，并且具有比产生基于图19的最终图像所需的处理更少的处理。
YIQ色彩空间是可用的许多线性与非线性色彩空间变换中的一种。一种执行色彩空间变换的方法是选择单个空间来表示整个图像。波前编码的光学系统和处理器可共同工作，因此能够实现优化的(optimimal)、动态的、色彩空间变换，减少信号处理量并提高图像质量。例如，在图16A中，波前编码系统1600可采用色彩空间处理块1620，在空间上改变整个图像。这种空间变化可定义为动态色彩空间(DCS)。这种空间改变的色彩空间变换1620在一个区域内执行单次变换，所述区域是动态的且并不限于封闭区域。例如，一幅上半边是蓝天、下半边是沙滩的图像就非常适合于下面的分割色彩空间对图像上半边进行“蓝色空间信息保存”色彩空间变换，而对图像下半边进行“斑褐色信息保存”色彩空间变换。随着每一场景的改变，可将这种空间变化区域以优化方式限定，限定为一组有序的直线块，或者限定为任意给定的像素，或者限定为动态分配的轮廓。在转换处理部分1620中的动态块分配方法对总计算能力非常敏感，而理想的总处理能力和精度折衷是成像系统所期望的，并且受到关于光学系统1601的空间校正效应的知识的导引或限制。
通常，DCS可提供组合的噪声消减、色彩面阵列插值、以及费用成本降低了的图像去模糊处理。DCS算法适合用于各种软硬件系统中的处理方法。一种DCS方案执行动态线性色彩空间变换。其它DCS方案执行动态非线性色彩空间变换。可以根据处理系统的资源和应用目的，通过非线性色彩空间变换或其它诸如HSV的变换来组合或先后处理(preceeded)DCS。
通用DCS算法可以理解为图16B的彻底校正和主成分分析。图16B完全适合用于图16A的块1620中。拜耳传感器1602和输出图像1632的附图标记数字与图16A相同，从而表明了之间的联系。由于DCS是可逆变换，所以本领域普通技术人员都明白无论精确还是近似，逆DCS处理完全发生在图16A的块1650内。通过对在具有任意数目(多于一个)色彩信道的任意像素区域的多信道图像中颜色估算相关性来确定主成分(或主颜色)，为该具体区域确定最优化(以最小二乘法)的色彩空间变换。换言之，DCS允许图16A中的块1620(和逆DCS变换的块1650)连同所有其它波前编码系统参量一起进行优化。在具有图16B检测器1602的拜耳检测器实施例中，通过把采样色彩信道收集到矩阵1603A的列中，从而形成色彩信道矩阵。可以使用各种方案提供对在各个理想位置上的图像色彩信道的估算。在整个区域内并非所有像素都需要进行估算。例如，图16B显示了一种零级保持方法，其本质上是将附近的红色与蓝色像素值拷贝道各个绿色像素位置上，并且由4×4区域内的16个像素生成8×3矩阵中的8行数据。通过对色彩信道矩阵1603A的相关性估算1603B的主成分分析，实现色彩空间转换1603C。这只是这样的一个例子而已，通过堆叠数值形成多信道彩色系统(sytems)的色彩信道矩阵；本领域普通技术人员明白，只要不背离本发明精神实质范围则采用其它方式也是可以的。
对相关矩阵1603B进行主成分估算1603C形成针对选定的具体区域和信道的最优的色彩空间转换矩阵(marix)。通过将第一主成分施加到色彩信道矩阵1603A(在图16B中)形成经过转换的空间图像1632(在图16A中)，从而获得空间强度图像1632(在图16A中)。而后对空间图像1632进行模糊去除处理1642，提供图像重构并同时进行能拜耳型式插值(Bayer-pattern interpolation)处理。而后在块1650，通过利用各个区域的色彩信道转换矩阵(matricies)1603C的逆形式对经过重构的空间信道进行再次转换，而回到原始色彩空间，生成最终图像1660。在这个实施例，色彩信道图像1634还可通过利用第二与第三主成分由DCS析取得到。
但是，在DCS转换时，不能确保只对空间信道1632进行空间信道模糊去除处理1642。被转换的各块或区域包含有其自身唯一映射矩阵，但所有区域都共享一个公共的空间图像1642。在多数情形下，对给定区域的最佳转换并不能把所有空间信息都转换到空间图像1642。在这种情形下，可以通过模糊去除处理块1644对色彩信道进行去模糊处理。因此，通过利用各个色彩空间转换矩阵(matricies)1650给动态区域“上色”从而实现最终图像组合。
图22显示了经过利用DCS算法进行的色彩空间转换之后的图18的分量图像。在进行具有动态改变的色彩空间的转换之后，基本上所有空间信息都包含在信道1(2200)中。其它两个色彩信道2(2202)、3(2203)在所示强度标度内基本上不含空间信息。图23显示了经过滤波去除了图像模糊情形之后的这些分量图像。在这个实施例中只有信道1(2300)经过了滤波，这还是因为信道2(2302)、3(2303)中的低分辨率造成的。在由DCS转换到RGB(处理块1650)之后，最终图像再次尖锐和清晰，与图21所示最终图像相比，其色彩的人工产物(artifact)更小(且具有更少的严格处理与存储需求)。
当用于诸如蜂窝电话、视频会议设备和小型照相机之类的电子装置时，这里讨论的波前编码成像系统具有一些特定优点。图24显示了这样一种电子装置2400，其可用于说明这些特定优点。装置2400具有光学透镜2402，其将来自物空间2404的图像形成在数字检测器2406上(例如，3-色CMOS阵列的数字检测器)，如图所示。检测器2406将图像转换为数据流2408。微处理器2410处理数据流以生成最终图像2412。
光学透镜2402是波前编码的；透镜2402的一个表面2414例如是波前编码的非球面光学元件。因此，光学透镜2402和元件2404可用做前面讨论过的光学系统和波前编码光学元件(例如，图2中的光学系统201、光学元件210)。微处理器2410例如是前面讨论过的处理部分(例如，图2中的图像处理部分240)。微处理器2410采用滤波器核心处理数据流2408，从而对受透镜2402的相位操作影响的波前进行解码，并生成清新的图像(crisp image)2412。图像2412例如可显示于LCD显示屏2414或者其它显示屏上。
例如，构造并配置光学透镜2402的波前编码作用以及微处理器2410的后处理作用，可减少散焦引起的像差诸如散焦、场弯曲、或者与制造与装配相关的散焦。因此，电子装置2400可采用单个(塑料的)光学元件2402而不需采用其它复杂的光学元件。
而且，通过选择合适的滤波器核心(例如，一组简化的值为二的幂的滤波器核心)和相应的相位掩模(phase mask)(即，表面波前编码元件2414)，微处理器2410工作所需的处理器负载和存储器需要得以降低。在一个实施例中，微处理器2410采用图5所示的图像处理部分540和核心530，用以减少这种处理器负载和存储器需求。在另一个实施例中，微处理器2410采用图6B和/或图7所示的逻辑装置架构(archietectures)，用以减少这种处理器负载和存储器需求。同样，微处理器2410可采用图像处理部分840和核心830以实现其它特性优点，如图8所讨论过的那样。例如，基于包含色彩处理目标在内的设计考虑，微处理器2410可采用图10、图16A和/或图17相关披露的处理技术。在另一个实施例中，电子装置2400可采用具体实现图9A或图9B或者图11A-11D之一所示成像结构的光电元件。通过简化处理需求，可以利用较便宜的处理器或较少存储器来构造电子装置2400。本领域普通技术人员应该意识到，节省出的存储器可转用于(translate)其它存储器件或卡2416，从而导致进一步的节省。
本领域普通技术人员还应意识到，电子装置2400可进一步包括其它电子部件2420，用以实现其它所需操作与功能，例如蜂窝电话功能。
因此，显而易见的是，可对上述波前编码光学成像系统进行特定的折衷或“优化”，用以达成例如图像特性目标和/或成本花费目标。举例来讲，参看图25，其中描述了波前编码成像系统的各个组成部分。作为组成部分的光学系统2501例如是图2所示光学系统201。相位掩膜2410例如是图2所示波前编码非球面光学元件210。作为组成部分的检测器2520例如是图2所示检测器220，而核心滤波器2530例如是图2所示滤波器核心230。图像处理部分2540例如是图2所示图像处理部分240。
图25描述了一个三组成部分的优化结构2570，其利用一组简化的滤波器核心2530(例如图8)实现；优化结构2570因此将波前编码光学元件2510、滤波器核心2530和图像处理部分2540联系在一起(在设计中)。如果需要，标准检测器2520和光学系统2501也不必用优化结构2570来进行优化。在另一个实施例中，一个四组成部分的优化结构2572利用具有特定读取格式的检测器2520(例如在图9A、9B中所示)。因此，在优化结构2572中，波前编码光学元件2510、滤波器核心2530和图像处理部分2540也都联系在一起(在设计中)。在优化彩色图像的实施例中(例如图10所示)，一个二组成部分的优化结构2574可包括与图像处理部分2540联系在一起(在设计中)的特定色彩检测器2520。本领域普通技术人员应该意识到，光学系统2501例如可利用任意优化2570、2572、2574进行优化，以达成可支持其它优化的成像特性。
在本发明的特定实施例中，上述成像系统中所用的光学系统和光学元件的型式也是优化的。这些型式例如是为类似于散焦的像差提供较低可变性，较高的调制传递函数，以及较低的噪声增益值。如下文所详述，这些光学系统和光学元件可组成或构成成像系统，例如显微镜、内窥镜、望远镜、机器视觉系统、小型照相机、以及蜂窝电话照相机、摄像机、数码相机、条线代码扫描器、生物测量系统等等。两种实施例方便地描述了波前编码光学器件的光学型式以及适于进行本发明所述系统的优化，可包括各个幂数的加权求和，p(x，y)＝∑ai[sign(x)|x|^bi+sign(y)|y|^bi]，以及余弦形式p(r，θ)＝∑ai r^bi*cos(ci*θ+φi)。如下文所详述，该光学系统还可包括专门的围路曲面(contour surface)(在本说明书中有时称为“等轮廓线光学系统(constant profile path optics)”)，用以在波前编码光学元件(例如图2所示光学元件210)中提供相位变化。还有，波前编码光学元件和光学系统(分别例如光学元件210和光学系统201)可组合为单个的光学元件或系统(例如采用透镜和/或镜子)。在一个实施例中，光学系统利用与滤波器核心互补(complimentary)的频域在光学成像系统中产生调制传递函数；例如，调制传递函数的高幂次(high power)意味着滤波器核心的低幂次。调制传递函数和滤波器核心可提供一定程度的(例如，在滤波器核心和波前编码非球面光学元件之间的)空间相关，如上所述。
如上所述，这些波前编码成像系统具有非传统的非球面光学系统和图像处理。这样的系统的一个合理目标是，生成的最后图像基本上对类似于散焦的像差不敏感。这种不敏感支持(a)大的场深度或聚焦深度，(b)对例如导致产生散焦像差的制造和/或装配误差的容限，和/或(c)光学生成的散焦像差(例如，球像差、散光、佩茨瓦尔场曲像差、色像差、温度相关的散焦)。在这种成像系统中的内部光学系统形成具有特定模糊情节的图像，也对那些类似于散焦的像差不敏感。而且，在这种波前编码光学成像系统中彗差效应也被减小了。在被检测器(例如图2所示数字检测器220，捕获中间图像以生成数字数据流225)捕获成像之后，可进行图像处理以去除中间图像的模糊部分，从而生成尖锐清晰且具有高信噪比(SNR)的最终图像。
使这种波前编码成像系统实现的设计步骤应能使该光学系统不敏感于类似于散焦的像差，点散布函数(PSF)的大小和形状紧密且恒定，它是关于波长、视场角、物体位置等等的函数，并且因此而导致的调制传递函数具有很高的值。下述的等轮廓线光学系统提供了有效设计，以用于这种系统。
特定等轮廓线光学系统是基于对光学型式的参量化有效描述(例如，少量的参量)；这种型式例如支持具有选定成像和/或成本特性的高性能光学成像系统。通常，不需要这些参量有效型式。即，各部分非球面表面的表面高度可被指定为设计和优化过程中的独立变量；但是用于优化这种通常情形的变量的数目非常多且不能实用。等轮廓线光学系统因此有助于将功效强大且通用的光学型式用于设计和优化过程中。
在一个实施方案中，等轮廓线光学系统包括非球面光学元件，其表面高度沿路径限定，且其表面的函数形式或轮廓与沿路径的归一化型式(normalized version)相同。实际表面高度随路径不同而不同，但是沿每一路径的函数形式或轮廓却不这样。这样的光学元件表面轮廓用于改变在光学系统中的波前的相位；由这些相位改变导致的图像效应之后在图像处理中例如通过使用滤波器核心对其进行反向转换。例如，当在光学成像系统中特定等轮廓线光学系统具有被改变的波前相位时，由此引起的在中间图像(由检测器捕获)上的调制传递函数与图像处理所用滤波器核心的函数特性和空间特性相关。因此，等轮廓线光学系统和滤波器核心彼此互补(complimentary)，用以提供理想的成像特性。
图26显示了等轮廓线光学系统的四个实施例2600A-2600D。例如参看在轮廓2600A中的路径。这些路径都沿着光学系统的正方形轮廓线；对于这一光学型式，在正方形轮廓线的归一化型式(normalized versions)上具有相等的归一化表面高度。轮廓2600B的路径是五边形的，沿每个五边形的归一化型式的表面高度的函数形式都相同。轮廓2600C和2600D的路径分别是十字形的和星形的。与轮廓2600A、2600B相同，这些函数形式沿公共路径(common paths)都具有公共的归一化表面高度。
图27显示了等轮廓线光学系统的其它变型2700A、2700B轮廓2700B表示波前编码光学系统，其路径轨迹可具有如区域#1所示的闭合围线。另一方面，轮廓2700A的路径轨迹是开放围线。在两种轮廓中，区域#1包含一组相关路径。沿区域#1中各路径归一化型式的表面高度函数形式都相同。对于区域2、3、4和5而言也是这样的。沿各区域中各路径的实际表面高度可不同。不同区域的函数形式可以相关或不相关。轮廓2700B光学系统是开放围线和封闭围线的组合体；区域#1路径轨迹为封闭围线，而其它四个区域为开放围线。因此，对各个区域而言，沿各路径的表面高度的函数形式都是相同的，但是实际表面高度在区域内会有所不同。
如本领域普通技术人员将能意识到的那样，有关图26和图27所示路径轮廓的变型可包括非直线的路径。即，如图26和图27所示的直线路径可以采用其它形式的由曲线段构成的路径。例如，五边形形式的轮廓2700A被切分为多个直线区域，可替代为圆形形式，各个区域由弧段路径组成。
如图28所示，等轮廓线光学系统中的路径类型还可在不同区域加以变化。轮廓2800A的外部区域中的路径轨迹是封闭的正方形围线，而其内部区域中的路径轨迹是封闭的圆形围线。所述外部区域和内部区域可加以对调，如轮廓2800B所示。如2800B所示，外部区域中只有一些路径需要闭合。
图29显示了两个轮廓2900A、2900B，其中光学系统中至少一个区域是不被等轮廓线光学系统改变的。在轮廓2900A、2900B中，仅在该光学系统的外部区域由路径构成多边形；内部区域不存在路径，且因此不存在特定表面形状。可以这样理解，轮廓2900A、2900B光学系统各自与轮廓2600A、2600B关联，只是对内部区域路径施加的幅度为零。
用于描述图26-图29专用表面的参量可被认为是两个分量的组合1)描述沿专用光学系统之路径的光学表面高度的轮廓的分量；和2)描述横跨路径的表面高度的分量。第二组分量例如可描述在给定区域内各个路径的幅度改变。假如将在一个区域内的一组路径的幅度都设定为零，则可得到如图29所示的光学系统。
在一个实施例中，等轮廓线光学系统的一个区域的表面的数学表达如下 S(R，θ，a，b)＝C(a)D(b) 其中针对该区域内的特定路径，沿该区域内各条路径的光学表面都可由参量C(a)表示，而以D(b)估算。参数“a”和“b”表示特定表面的特性。C(a)的贡献在于对区域内所有路径都为恒等常数。D(b)的贡献在于对区域内各条路径都有所改变。参量C(a)的可限定沿各条路径的表面以及在D(b)区域内各路径之间或横跨D(b)区域内各路径进行调制的整个表面。等轮廓线光学系统的光学表面还可针对特定光学系统，沿着各路径或横跨各路径加以区分。
考虑2600A光学表面，其中路径限定正方形围线的开放边。这就导致产生了四个区域，左侧边区域、右侧边区域、上边区域、下边区域。沿着这四个区域各路径的表面轮廓的数学表达例如如下 C(a)＝a0+a1x+a2x2…|x|＜1 因此一组参数ai构成了沿光学系统这四个区域的各条归一化路径的表面高度的多项式表达。在这个实施例中，区域中各条路径的长度都归一化至统一值(unity)，因此对每条路径都进行基本表面轮廓C(a)“拉伸”。不必一定将路径长度假定为归一化的长度，尽管这么做非常有用。
每条路径都可通过增益或常数项加以调制，而无须改变沿各条路径的表面函数形式。横跨区域内各路径施加增益的一个实施例，可通过数学方式表达为 D(b)＝b0+b1(路径号)+b2(路径号)2+b3(路径号)3+… 路径号＝0，1，2，3... 其中路径号参数是序列值，用于描述区域内的一组路径。一个区域内路径的数目可以很多。例如，可将逼近光学中心的(轮廓2700A)区域#1路径设定其路径号＝0，与之相比稍稍偏远光学中心一些的相邻路径设定其路径号＝1，再下一个相邻路径设定其路径号＝2，等等依此类推。因此，整个表面的数学表达由“沿路径”表面表述和“横跨路径”表面描述的乘积组成。在数学上，可给出一个区域的表面描述为 S(R，θ，a，b)＝C(a)D(b)，其中光学表面由参数向量a和b实现参量表达。
假设沿路径的表面的基本形式是二阶多项式或更低阶的多项式，则沿归一化路径的二阶导数是一常数。在这个特定实施例中，等轮廓线光学系统例如可被称做“等功率(power)路径光学系统”。等功率路径光学系统是对波前编码光学系统特别有效率的形式。关于光学参量，二阶多项式C(a)可表达如下 C(a)＝厚度+倾角+光功率， 其中，零阶项a0描述厚度大小，一阶项a1x描述倾角大小，而二阶项a2x2描述光功率大小。若使用更高阶的项，则光功率大小或二阶导数值，可沿轮廓围线改变。由于二阶多项式是对球面的近似，所以更高阶的项还可更加精确地模拟光功率。
对于特定光学成像系统，这些高阶项可能非常重要。假如倾角参量是非零阶，则所描述的光学表面具有不连续点。假定现今可以制造加工具有很高精度的不规则表面，则就不需要回避具有不连续点的表面。对于特定光学系统，横跨路径项D如此选定，以便光学表面的区域中心是平坦的(或近于平坦的)。通常在接近表面边缘处，D的斜率变得非常大。中心区域还对不需要改变的光学成像光束，以便控制散焦像差，而中心区域之外的光束典型地导致产生成像系统的散焦效应。
由于中心光束的散焦效应比(then)外部光束要小，所以可对中心区域和外部区域的轮廓围线形状加以区分改变，从而对这些光束产生不同的作用。这就允许形成在焦点对准的和焦点没有对准的点散布函数、高调制传递函数，以及定制用于数字滤波的功率谱。数字滤波的功率谱在滤波之前对附加噪声的功率谱进行调制。因此，通过联合对用于噪声消减和成像的光学和数字处理进行如上所述的设计，在滤波之后的噪声消减技术作用效果更好。
等轮廓线光学系统实施例 如下所述的等轮廓线光学系统的特定实施例都遵从S(R，θ，a，b)＝C(a)D(b)形式，其中所用特定路径是轮廓2600A中的那些路径，正方形围线的每一边都限定归于四个区域中的一个。图30显示了一个表面轮廓3000，其在焦点对准的调制传递函数3002，以及沿路径表面形式C(a)3004和横跨路径表面形式D(b)3006。横跨路径的幅度3006采用三阶多项式表达，而沿路径表面形式3004采用二阶多项式表达。这种类型的光学系统，沿归一化的正方形路径围线具有近似为常数量的光功率。表面轮廓3000和在焦调制传递函数3002通过等表面与等调制传递函数高度的围线表示。注意，等高围线沿着表面的直径，从大致圆形变为矩形。因此而产生的在焦调制传递函数具有大致呈“+”形的非圆形围线。在底部的曲线图3004、3006中显示的是沿路径的和横跨路径幅度的以波标示的函数型式。沿路径边(sides)使用大约一个波的光功率(如图所示，从最小的2.8至最大的3.8个波)，横跨路径的幅度变化介于-0.1和-0.4之间。
等轮廓线光学系统的另一实施例如图31所示。使用多项式形式S(R，θ，a，b)＝C(a)D(b)，C(a)是二阶等光功率多项式，而D(b)是三阶多项式。注意，表面轮廓3100和调制传递函数3102与图30所示的那些存在很大差别。这一实施例中的调制传递函数3102与图30中调制传递函数3002相比更为紧密，不对称性不显著。沿路径围线边(sides)使用大约六个波的光功率(如图中3104所示)，横跨路径的增大幅度最大值约为4。
图32显示了大体上遵从图30、图31形式的另一实施例，具有描述沿路径函数形式的二阶常数光功率多项式和描述横跨路径幅度的三阶多项式；只是幅度函数形式有所改变，因此使中心区域平坦。表面轮廓3200具有四个侧边区域，中心区域平坦，而其相应产生的调制传递函数3202大致为四边金字塔形。这样一种调制传递函数形状3202适合用于非均匀采样，例如三色拜耳滤色器阵列检测器(参见图16-23)中绿色信道所见。沿路径3204使用小于一个波(wave)的光功率，则横跨路径3206所用的幅度变化为从0至-9。
图33显示了等(contant)轮廓线光学系统的一个实施例，其具有如图26中的轮廓2600B所示的多边形路径。对于这个实施例，在五个五边形(pentagan)路径区域中各直线段的表面函数形式都一样。可用二阶光功率多项式描述沿路径的表面的函数形式(3304)，而用三阶多项式描述横跨路径的幅度(3306)。光学表面(轮廓3300)具有十个形状不同的波瓣和一个非常平坦的中心区域。相应的调制传递函数3302具有以二维调制传递函数平面中心为中心的近似圆形。沿路径3304使用约1.5个波的光功率，则横跨路径3306所用的幅度变化为从0至18。
图34显示了未进行波形编码且针对一系列散焦值的图32实施例的采样PSF(点散布函数)。各个点散布函数格网图中的小正方形表示单个像素采样(输出自检测器)。用于生成这些点散布函数的物理参量是10微米的照明波长；具有25.4微米中心和100％填充因数的灰度级像素；光学系统的工作F-值为1.24；散焦像差系数W20在0-2波内变动。因此，显而易见的是，若不采用波前编码，则采样点散布函数将由于散焦效应而不可避免具有很大的尺寸变化。
图35类似地显示了图32实施例的采样PSF，但是已进行了波形编码。注意，(对于系列散焦值的)采样点散布函数具有一个尖峰以及随着距尖峰距离而减低的宽阔的基底区。各个点散布函数都相同，且基本上不受散焦的影响。格网图中的小正方形表示单个像素。
图36和图37显示对比关于图34和图34采样点散布函数的截面图。图36和图37所示点散布函数具有五个散焦值，均匀分布在0-2波之间。图36所示采样点散布函数被归一化为固定容量，而图37所示点散布函数被归一化为恒定峰值。因此图36和图37描述了不采用波前编码条件下系统的采样点散布函数中的改变，以及在采用波前编码条件下系统的采样点散布函数中缺少变化的情形。
图38显示了一个二维数字滤波器的实施例(作为图像且基于零散焦点散布函数进行绘制)，可用于从图35采样点散布函数中去除波前编码模糊。这个数字滤波器例如是作为滤波器核心用于图像处理(例如，在图2所示部分240中)中。注意，这个核只在滤波器接近中心处才具有很高的值，并随着距该中心的距离增大而缩减。该滤波器以及图35采样点散布函数在空间上都是紧凑的。
在使用图38二维滤波器对图35采样点散布函数进行处理之后，得到图39点散布函数。注意，这些点散布函数(表示的点散布函数采用了波前编码，且在图像处理部分经过了滤波处理)具有近乎理想的形状，并且基本上不随散焦变化而改变。
图40分别描述了针对图35在焦采样点散布函数和图38数字滤波器的大量的在称为“秩”(rank)几何概念中包含的功率。矩形地(Rectangulaly)可分离的光学系统，例如P(x)P(y)＝exp(j[X^3+Y^3])所描述的立方体，形成一个逼近近似为p(x)p(y)的采样点散布函数，其中独立变量x和y是在一个方形栅格上限定的横轴和垂轴。这种可分离特性使得矩形可分离滤波能够得以有效计算。矩形可分离光学系统的一个缺点是，点散布函数会因散焦而产生空间偏移。特定等轮廓线光学系统的一个有用的特征就在于，它们不会导致点散布函数产生空间偏移。等轮廓线光学系统还可产生点散布函数、调制传递函数以及相应数字滤波器，逼近低秩，有助于进一步提高处理效率。图39的上部的图表示出只有两个几何秩对这个特定采样点散布函数具有显著值；因此这个系统近似为一个二阶(rank two)系统。与这个实施例相应的数字滤波器(图39下部的图)也是低秩，且至少可与采样点散布函数的一样低。实际上，对这个实施例点散布函数的滤波可以利用有效计算的可分离滤波进行。
图41显示了在空间频域中的滤波前和滤波后的相应调制传递函数。为了便于比较(comparisong)，还显示出了相同物理系统在未经波前编码处理条件下的调制传递函数。所示这两个系统在五个步骤中具有从0到2的波的散焦值。未经波前编码处理的系统的调制传递函数因散焦而呈现出急剧变化。具有等轮廓线光学系统的系统调制传递函数在滤波之前基本上不随散焦改变而变化。经过滤波的调制传递函数，是由图38二维数字滤波器滤波所得结果；这样的调制传递函数具有很大的值，而仅当最大散焦值时才有所降低。本领域普通技术人员应能明白，其它型式的等轮廓线光学系统可通过采用更大处理能力和/或更低的滤波前调制传递函数，而就较大数量散焦实现控制调制传递函数轮廓。
图32所示轮廓围线光学系统的数学形式可表达如下。在四个区域中沿路径的函数形式的多项式表示为 C(x)＝0.4661-0.7013x^2，|x|＜1 横跨路径幅度的多项式表示为 D(y)＝-1.8182+0.5170y+2.520y^2-10.1659y^3，0.25＜y＜1 ＝-1.8182，0＜y＜0.25 在这个实施例中，沿路径围线的形式给定为一个单调的二阶多项式；而横跨路径的幅度给定为一个三阶多项式，改变形式以便使中心区域比较平坦。在所示的这些实施例中，对沿路径和横跨路径幅度使用更高阶的多项式，则可支持更高的性能。
可利用专用技术设计等轮廓线光学系统，对可具有大量像差、渐晕(vignetting)和宽松公差的非理想光学系统进行优化。这些技术使光学系统设计不适用于传统分析方法。图42描述了设计流程4200，对这些技术中的特定例进行了描述。
在流程4200中，如图所示，(在设计中)改进光学系统并可重复循环进行。例如，流程4200包括用于设计等轮廓线光学系统的步骤4202。为了精确模拟采样点散布函数和调制传递函数，可利用光学表面模型(步骤4202)，对关于数字检测器的信息(步骤4206)添加透镜像差效应(步骤4204)。这些透镜像差通常是场角、波长、物位置和变焦距位置的函数；该像差还可以是等轮廓线光学系统的特定表面形式的函数(步骤4202)。在设计流程步骤4204中考虑的一个像差是渐晕。渐晕通常在传统光学系统设计中用以折衷锐度聚光，在波前编码光学系统中的渐晕，会导致光学设计和实际光学系统之间匹配很差。光学表面和像差导致产生采样点散布函数，光学表面和像差既可以通过基于光束方法进行模拟，也可以通过傅立叶变换方法进行模拟，傅立叶变换方法取决于所设计透镜速率和数字检测器的空间分辨率。这些通常类型的点散布函数模拟方法都为光学模拟领域的普通技术人员所公知。
在采样点散布函数和调制传递函数经过模拟之后，使用数字滤波器(步骤4208)去除波前编码模糊。这种数字滤波器可以是通用的并为设计流程4200中每次迭代而计算的，或者也可以是形式固定或限定的。一个有限形式数字滤波器的例子是矩形可分离滤波器。因此，假如数字滤波器是有限的，则可优化等轮廓线光学系统设计，因为可分离滤波器的秩为1，所以可以使秩的点散布函数和调制传递函数最小化。其它有限数字滤波器是这样一些滤波器，它们的成本花费被分配给专用滤波器值和滤波器值顺序，以便优化图像处理部分的具体实施(例如，硬件实施)。作为部分设计流程4200，这些成本花费可被减少或增大。有限数字滤波器的再一个实施例是那些具有专门功率谱特性的滤波器。由于数字滤波器功率谱改进加性噪声，控制滤波器特性从而控制经过数字滤波的加性噪声特性。通过限制数字滤波器，可联同优化噪声特性一起来优化噪声消减技术。
在对采样点散布函数/调制传递函数进行滤波(步骤4208)之后，进行品质评估(步骤4210)。评估4210典型地为系统的且专用的，但是可包括(a)在设计范围之内和之外的经滤波的点散布函数/调制传递函数的品质和/或(b)数字滤波器的特性(和/或其实施方式和/或噪声效应)。因此利用非线性优化和品质估算，修改光学系统并重复迭代流程4200。修改的光学系统可包括喊有波前编码的特定表面以及其它表面，和/或在该光学系统中的元件的厚度和距离。可以相同方式对沿路径和横跨路径幅度的函数形式的参量进行优化。
可对上述方法和系统进行改变而不背离其精神实质范围。因此应当注意到，在上述说明书中记载的或在附图中显示的内容是示例说明性质的而非限定性质的。例如，本领域普通技术人员应能意识到，尽管在图示中经常把波前编码元件与成像系统中光学系统分开表示(例如，光学元件210与光学系统201在图中分开表示)，但是这些部件可以组合为单一项或组合项，而不背离本发明精神实质范围，例如图24所示。后面的权利要求希望能够覆盖本发明记述的所有通用的与专用的特征，以及本发明方法和系统的所有描述范围。
权利要求
1.图像处理方法，包括
利用具有四重或五重对称性的非球面光学元件对形成光学图像的电磁能量的波前进行波前编码；
将所述光学图像转换为数据流；以及
利用一组简化的滤波器核心处理数据流，以反向转换波前编码的作用并生成最终图像。
2.权利要求1所述的方法，其中，所述处理步骤包括根据所述非球面光学元件的旋转对所述一组简化的滤波器核心进行旋转。
3.权利要求1所述的方法，其中所述一组简化的滤波器核心包括滤波器抽头值，所述滤波器抽头值为一组简化的整数。
4.光学成像系统，包括
具有四重或五重对称性的波前编码元件，用于对形成光学图像的电磁能量的波前进行编码；
检测器，用于将所述光学图像转换为数据流；以及
图像处理器，用于利用一组简化的滤波器核心处理所述数据流以生成最终图像。
5.光学成像系统，包括
波前编码元件，其对形成光学图像的电磁能量的波前进行编码；
检测器，用于将所述光学图像转换为数据流；以及
图像处理器，用于利用一组简化的滤波器核心处理所述数据流以生成最终图像，所述一组简化的滤波器核心的空间频域形式与所述光学图像的空间频谱互补；
所述波前编码元件、所述检测器和所述图像处理器协同工作，以使利用所述一组简化的滤波器核心对所述数据流的处理与所述光学图像在空间上关联。
6.图像处理方法，包括
对形成光学图像的电磁能量的波前进行波前编码；
将所述光学图像转换为数据流；以及
利用一组简化的滤波器核心处理所述数据流，以生成最终图像，
所述一组简化的滤波器核心具有选自由(a)二的幂系数，(b)二的幂系数的和值，(c)二的幂系数的差值，(d)由所述光学图像内的空间位置规定的数值范围，以及(e)由所述光学图像内的色彩规定的数值范围组成的组中的系数值。
7.图像处理方法，包括
对形成光学图像的电磁能量的波前进行波前编码；
将所述光学图像转换为数据流；以及
利用一组简化的滤波器核心处理所述数据流，以生成最终图像，
所述波前编码和所述处理的步骤协同工作，以在存在类似散焦的像差、大的聚焦深度、大的场深度、制造误差和装配误差中至少之一的情况下，在空间频率响应范围内保持图像的质量。
8.图像处理方法，包括
对形成光学图像的电磁能量的波前进行波前编码；
将所述光学图像转换为数据流；以及
利用一组简化的滤波器核心处理所述数据流，以生成最终图像，
其中所述处理包括使用能够利用所述一组简化的滤波器核心减少实现所述处理所需的存储器的数量的硬件。
9.光学成像系统，包括
波前编码元件，其对形成光学图像的电磁能量的波前进行编码；
检测器，用于将所述光学图像转换为数据流；以及
图像处理器，用于利用一组简化的滤波器核心处理所述数据流以生成最终图像，所述图像处理器具有利用所述一组简化的滤波器核心减少在所述图像处理器中需要的存储器数量的硬件。
10.权利要求9所述的光学成像系统，其中，所述一组简化的滤波器核心具有由二的幂系数、二的幂系数的和值以及二的幂系数的差值中至少之一组成的系数。
11.权利要求9所述的光学成像系统，其中，所述一组简化的滤波器核心具有多个区域，其中至少一个所述区域具有零值。
12.处理由光学系统形成的光学图像的光学处理方法，包括
利用波前编码光学系统在所述光学图像中引入空间模糊；
将所述光学图像转换为数据流；以及
利用一组简化的滤波器核心处理所述数据流以去除空间模糊并生成最终图像。
13.权利要求12所述的方法，其中，所述最终图像具有大的场深度、大的聚焦深度、以及制造和/或装配误差的容限中的一个或多个。
14.权利要求12所述的方法，其中，所述波前编码光学系统和所述处理协同工作，以使所述最终图像对散焦相关的像差不敏感。
15.权利要求14所述的方法，其中，所述散焦相关的像差包括散焦、场曲像差、制造和装配相关的散焦、球像差、散光、佩茨瓦尔场曲像差、色像差以及温度相关的散焦中的一个或多个。
16.光学成像系统，包括
等功率路径光学系统，其对形成光学图像的电磁能量的波前进行编码；
检测器，用于将所述光学图像转换为数据流；以及
图像处理器，用于利用一组简化的滤波器核心处理所述数据流以反向转换波前编码的作用，并生成最终图像。
17.电子装置，包括
光学系统，包括至少一个表面，所述表面对穿过其传输的电磁能量的波前进行编码，所述光学系统配置用于形成光学图像；
检测器，用于将光学图像转换为数据流；以及
微处理器，用于利用一组简化的滤波器核心处理所述数据流以生成最终图像。
18.权利要求18所述的电子装置，进一步包括存储装置，所述存储装置符合通过使用所述一组简化的滤波器核心而减小的存储要求。
19.图像处理方法，包括
对形成光学图像的电磁能量的波前在空间频率范围内进行波前编码；
将所述光学图像转换为数据流；以及
利用一组简化的滤波器核心处理所述数据流，以生成最终图像，
其中所述一组简化的滤波器核心的系数在所述空间频率范围内改变对比度。
20.权利要求19所述的方法，其中，所述一组简化的滤波器核心的系数在空间频率范围内增大对比度。
21.权利要求19所述的方法，其中，所述一组简化的滤波器核心的系数在空间频率范围内减小对比度。
全文摘要
一种图像处理方法，包括步骤对形成光学图像的波前进行波前编码；将光学图像转换为数据流；以及利用滤波器核心处理数据流以反向转换波前编码的作用并生成最终图像。例如，该组滤波器核心可以是一组简化的滤波器核心，或色彩专用的核心。本发明还披露了用于处理彩色图像的方法和系统，例如通过将色彩与空间信息分离到分离的信道中而进行处理。本发明的方法和系统可用于例如形成电子设备，其具有简化的光-机械装置、光-电子装置以及降低的处理复杂度或成本。
文档编号G02B27/00GK101118317SQ20071013635
公开日2008年2月6日 申请日期2003年2月27日 优先权日2002年2月27日
发明者格雷戈里·爱德华·约翰逊, R·道斯基 爱德华, K·梅肯 阿什利, B·瓦奇 汉斯 申请人:Cdm光学有限公司