专利名称：用于修改图像场数据的技术的制作方法
技术领域：
本发明一般涉及处理视频信号数据的技术，尤其涉及处理视频二进制数据以校正成像的光场上的变动，例如补偿由照相机等中的透镜、传感器灵敏度变动和外壳内部反射等导致的荫影效应(shadingeffect)。
背景技术：
图像荫影是图像场上的非均匀光响应。在光学系统中，它可以归因于透镜特性、光被引导到的光传感器上的灵敏度变动、透镜相对于所采用的光传感器的像平面的调准不当、内部照相机反射以及特定系统中可能存在的其他因素。在只有一个透镜的情况下，用于查看其上光强度均匀的景象的简单的透镜一般会产生该景象的具有很不均匀的光强度的图像。光强度通常在图像中央最高，而在其边缘下降，差不多会下降60％或更多。如果这种效应未被校正，则这种透镜显然不适合于大多数光学应用。可以通过使用对景象成像但却不会使其产生强度变动的复杂的透镜组合件来提供校正。
电子照相机将景象成像到二维传感器上，例如电荷耦合器件(CCD)、互补硅上金属(CMOS)器件或其他类型的光传感器。这些器件包括排列在小的二维表面上的大量光检测器(一般有二百万、三百万、四百万或更多)，这些光检测器分别生成与光或其他冲击该单元的光辐射(包括频谱邻近可见光波长的红外和紫外区域)的强度成比例的信号。这些单元形成图像的像素，它们一般被以光栅样式扫描，以便在其被扫描时生成逐一冲击传感器单元的辐射强度的数据串行流。颜色数据一般是通过使用交替分布在传感器上的对每个不同颜色成分(例如红、绿和蓝)敏感的光检测器来获得的。将图像对象景象成像到光传感器的透镜的荫影效应、光传感器对冲击它的各种颜色的光的不均匀的灵敏度以及可能存在的其他因素导致光传感器上光的不均匀分布，从而来自传感器的视频信号包括叠加在其上的不合需要的强度变动的数据。
已经建议，不使用复杂且昂贵的透镜以及昂贵且精心挑选的图像光传感器来消除透镜荫影效应，而是以补偿这些效应的方式来处理来自光传感器的信号。施加到来自每个光检测器单元的信号的补偿的量取决于该单元在图像光传感器的表面上的位置。
发明内容
本发明的电子信号处理技术允许补偿透镜荫影和/或其他类似现象，例如传感器灵敏度变动和内部照相机反射，其将可预测的光学变动叠加到多单元光传感器上的图像上。这些技术对于数字照相机和其他类型的视频设备尤其有用，但并不限于这种光学照相系统应用。这些技术可以以低成本实现，要求最少量的存储器，并且以与从光传感器获得视频数据的速率相同的速率工作，从而不会不利地影响视频系统的性能。这是通过向光传感器的输出信号实时应用校正因子来完成的，以便补偿光传感器上的复杂的不合需要的强度样式以及形状上规则的样式，例如圆形、椭圆或双曲线形的样式。
在这种补偿的示例中，每个像素的数据被校正一个量，这个量是像素相对于图像或其他光样式的光学中心(在这里也称为光样式的锚定点或重心)的半径的函数。每个像素的位置首先被从光栅或其他线性扫描样式的x-y坐标位置转换成一个径向距离，然后该径向距离被用于根据存储在小型存储器中的少量校正信息生成用于该像素的校正。这避免了必须为每个像素保存校正数据，从而不必包括大存储器来存储这种数据。使用专用于执行这些操作的电路允许了它们以光传感器输出视频数据的速率相同的速率被执行，而不必采用极快速的、昂贵的数字信号处理器。在特定应用中，像素的径向位置是由加法器电路根据扫描位置计算的，而不需要更复杂的电路来执行乘法或除法。
在一个示例中，通过将具有均匀强度的景象成像到光传感器上、捕获光传感器上所产生的强度变动的数据，根据已知的几何样式表征强度变动，然后存储相对少量的定义该几何样式的数据点，来校准每个照相机或某个其他设备的光学系统，以便使存储校正数据所需的存储器的量最小化。在图像修改过程期间，通过某种形式的内插获得对存储的值之间的校正值的确定。为了避免图像强度的显著不连续，这些少量的数据点最好被拟合到一条平滑的曲线，该曲线被选择为匹配要校正的图像上的强度变动。除了校正透镜荫影之外，这些技术还校正由光学传感器和/或其与入射图像光的交互作用而导致的强度变动。
本发明的额外目的、优点和特征在以下对其示例性实施例的描述中，这些描述应当结合附图来理解。这里引用的每个专利、专利申请、文章或出版物在这里通过这种引用被全部结合进来。
图1示意性地示出了可以利用本发明的技术的电子视频设备；图2是图1的设备的电子处理系统的一部分的框图；图3A、3B和3C示出图2的系统对三种不同类型的视频数据的修改；图4A是图像半径上的样本强度校正函数的曲线；图4B示出利用存储在图2的存储器中的更少量的数据来代表图4A的曲线的一种方式；图5提供了存储在图2的存储器中的代表图4A的曲线的一种形式的数据的示例；图6示出了图2的处理系统根据图像像素的线性扫描位置来计算其径向位置的一种方式；图7示出了存储在图2的寄存器中的数据；图8示出了其中在这里使用的量被限定的椭圆；图9示出了被补偿的示例性透镜荫影样式；图10示出了沿着图9的两条径向线的样本强度变动曲线；
图11包括用于指示这里描述的技术所提供的图像补偿效应的曲线；以及图12示出了为其提供补偿的多图像荫影样式。
具体实施例方式
由于前述现象，变动叠加到图像或其他所需要光样式上，导致了该图像的每个像素中的能量的变动。这些能量变动与所捕获的图像数据本身无关。为了补偿光传感器上的这种能量变动，每个像素值例如可以通过乘法与荫影校正密度因子相结合。根据象素在图像传感器矩阵中的地理位置，该因子对于图像传感器中的每个像素是唯一的。在理想情况下，在校准过程期间，可以创建一个因子表，该表将图像的每个像素的所需补偿因子存储在存储器中。这将允许通过利用图像捕获设备中的处理单元执行以下方程来实现所需的荫影补偿PixelOut＝PixelIn*F(X，Y)(1)其中，PixelOut＝图像荫影补偿模块的输出；换言之就是经校正的像素，PixelIn＝图像荫影补偿模块的输入。校正前的像素，以及F(X，Y)＝校正因子，它取决于表达为X和Y直角坐标的像素位置。
在具有用于光传感器的每个像素的校正因子的存储装置的集成电路上实现由此方程定义的过程将是非常昂贵的，这主要是因为需要大量存储器，从而实现起来需要大面积的硅。因此，这里描述的技术采用了该过程的唯一近似，它要求非常少的存储器和处理功率，但仍从图像中消除了不合需要的光样式。
最少数目的荫影校正因子被存储在一个或多个稀疏二维查找表中。对于每个颜色可以使用单独的查找表。这些表可以基于径向、双曲线或正交坐标系统。例如在数字照相机中的图像荫影校正时，一个或多个二维外推算法被用来根据存储在照相机内的非易失性存储器中的少量荫影校正因子计算出每个图片元素位置处每个颜色的荫影校正因子，或者所有颜色的单个校正因子。这些荫影校正因子是在采用均匀强度图像的校准过程期间得出的，它们不需要被均匀地分配在图像场上。在特定实现方式中，校正因子基于从带荫影的图像表示的光学中心定义的圆形、椭圆或双曲线函数，所述带荫影的图像表示是由使用非完美透镜或光传感器而导致的。这些校正因子是在照相机的校正过程期间获取的。图像场的“光学中心”(或者称为“重心”或“锚定点)”经典地定义为(XC，YC)＝(I1D1+I2D2+...)/(I1+I2+...)(2)其中I1、I2是相对于所定义的单个图像参考原点(X0，Y0)的图像像素1、2的强度，D1、D2是这些相应的图像像素相对于(X0，Y0)偏移的距离。
对于由非完美透镜导致的圆形荫影样式，重心位于投射到图像光传感器上的变动的强度荫影样式的最大强度点处。在一个实施例中，该重心被用作上述查找表的单个参考数据点。这在图像场的外围提供了粒度更精细的荫影校正，从而更有效地校正了圆形、椭圆或双曲线荫影样式。
一种扩展校正了由多个同时出现的因素(例如非均匀的图像传感器灵敏度与透镜渐晕相结合)导致的复杂荫影样式。在该扩展的第一种形式中，计算上述稀疏查找表中所结合的校正因子的算法被选择为图片元素和“有效重心”之间的距离的函数。该有效重心是通过以下方式得出的首先隔离每个荫影现象(即每个单独的非均匀光样式)，然后利用上述重心公式(2)计算每个现象的重心。然后这两个或更多个重心被算术地组合，以形成本发明所使用的有效重心。如果采用正交坐标系统，则用于得出有效重心的组合算法可以是两个或更多个计算出的重心中的每一个的坐标的简单线性平均，如以下方程所示(XCE，YCE)＝[(XC1+XC2+XC3....+XCN)/N]，[(YC1+YC2+YC3....+YCN)/N](3)其中(XCE，YCE)是有效重心的坐标，(XCN，YCN)是与每个荫影现象相关联的每个个体重心的坐标，N是个体现象的总数，从而是重心的总数。可替换地，这个确定可以通过使用更复杂的线性和非线性加权函数来执行。
在该扩展的第二种形式中，图像荫影校正因子被选择成个体像素和多个重心之间的距离的函数，其中每个重心是根据相同或不同定义的原点计算出的。在这种方法中，包括校正因子计算在内的校准同样是通过隔离每个荫影现象来实现的。但是，在这种情况下，通过使用这两个或更多个重心而得出的个体校正因子被算术地组合，以创建单组荫影校正因子，这些荫影校正因子被用来补偿景象捕获时间的多个荫影现象。用来得出这些组合的荫影校正因子的算法可以使用线性、分段线性或非线性加权，从而在选择针对特定图像元素位置的图像荫影校正因子方面提供了很大程度的灵活性。
注意，在数字照相机的情况下，一种隔离荫影样式现象的方式是首先在去除照相机的透镜的情况下，利用均匀的光照射数字照相机的光传感器。这允许了测量仅与传感器相关联的荫影样式，以及要计算的传感器的荫影样式重心。然后，利用通过照相机的透镜的均匀光照射照相机的光传感器，并且再测量所得到的荫影样式。然后通过逐像素地从第二测量结果中减去第一测量结果来得出由透镜单独产生的荫影样式。然后可以单独地计算透镜荫影样式重心。
在本文中，数字照相机、视频捕获设备或其他类型的数字成像设备的光学照相系统(即透镜、图像传感器和/或外壳)的荫影校正因子是在校准过程期间得出的。此校准是通过使用被校准的设备的透镜和外壳将均匀强度的景象成像到被校正的设备所采用的图像传感器上来执行的。所产生的图像传感器上的圆形、双曲线或其他变动的数据是通过测量图像传感器光检测器信号来得出的，并且一个或多个补偿数学函数被计算。优选地，只存储相对少量的数据点，以使得存储校正数据所需的存储器量达到最小，并且在图像修改过程期间通过一种形式的内插获得对所存储的值之间的值的确定，这是响应于校准时计算出的荫影校正因子的。为了避免图像强度的显著不连续，这些少量数据点优选被拟合到一条或多条平滑曲线，这些曲线被选择成匹配被校正的图像上的一个或多个强度变动。由于在校准过程期间采用了数字成像设备的整个光学照相系统，因此这些技术除了校正由于透镜荫影单独导致的非均匀性之外，还校正了由图像传感器和/或其与入射图像光的交互作用而导致的任何强度变动。
光学设备示例在照相机或其他视频获取设备中描述了本发明的技术的实现方式，其中图像的数字数据被实时修改，以补偿被照相机的光学系统、光传感器和来自内部照相机表面的反射叠加在图像上的强度修改。在图1中，这种照相机被示意性地示为包括外壳11、成像光学系统13、生成控制信号17的用户控制装置15、具有内部电连接21的视频输入-输出插座19以及具有内部电连接25的卡插槽23，非易失性存储卡27被可去除地插入在该卡插槽23中。照相机所捕获的图像数据被存储在存储卡27上，或内部非易失性存储器(未示出)上。图像数据也可以通过插座19被输出到另一个视频设备。存储卡27可以是商业上可获得的半导体闪速电可擦除可编程只读存储器(EEPROM)，小型可去除放置磁盘或照相机可将视频数据编程到其中的其他非易失性存储器。或者，尤其是在照相机拍摄三十图像帧每秒之类的电影时，可以改为使用较大容量的存储介质，例如磁带或可写光盘。
光学系统13可以是单个透镜，如图所示，但通常是一组透镜。景象31的图像23通过快门33以可见光辐射形式形成在图像传感器35的二维表面上。传感器的电输出37承载一个模拟信号，其是通过扫描图像29所被投射到其上的传感器35的表面的各个光检测器而产生的。传感器35一般包含大量个体光检测器，这些光检测器被排列在二维行列阵列中，用于检测图像29的各个像素。按时间顺序在输出37上获得与冲击个体光检测器的光的强度成比例的信号，获得方式一般是通过以光栅样式来扫描它们，其中，从最顶部的行开始，从左至右每次一个地扫描光检测器的行，以生成视频数据帧，从该视频数据帧可以重建图像29。模拟信号37被施加到模数转换器电路芯片39，该芯片在电路41中生成图像29的数字数据。一般，电路41中的信号是代表冲击传感器35的各个光检测器的光的强度的数字数据各个序列块。
在本实施例中，电路41中的视频数据的处理和对照相机操作控制是由单个集成电路芯片43提供的。除了与电路17、21、25和41相连接以外，电路芯片43还连接到控制和状态线路45。线路45又与快门33、传感器29、模数转换器39以及照相机的其他组件相连接，以提供它们的同时操作。单独的易失性随机访问存储器电路芯片47也连接到处理器芯片43，以临时存储数据。此外，单独的非易失性可再编程存储器芯片49连接到处理器芯片43，以存储处理器程序、校准数据等等。在照相机内提供了常规时钟电路51，以向电路芯片和其他组件提供时钟信号。电路的时钟电路也可以不是单独的组件，而是被包括在处理器芯片43内。
处理器芯片43的功能框图在图2中示出。数字信号处理器(DSP)55是关键组件，其控制芯片43和照相机的其他组件的操作。但是由于DSP 55并不广泛地处理视频数据，如下所述，因此它可以是相对简单且便宜的处理器。存储器管理单元57将DSP 55接口到外部存储器芯片47和49，以及外部接口电路59，该外部接口电路59通过相应的电路21和25连接到输入-输出连接器19和卡插槽23(图1)。
现在一般性地描述视频数据从模数转换器39经过图2的框图的流程(图1)。线路41中的输入数据在块61中被预处理，然后作为一个输入被提供到乘法器电路63。乘法器63的另一个输入65承载了修改输入视频数据的数据，经修改后的视频数据出现在乘法器63的输出67。在本示例中，线路65中的修改数据校正被照相机元件施加在图像上的透镜荫影和强度变动效应。在适当的进一步图像处理69之后，视频数据被引导经过照相机的存储器管理单元57去到输出接口59，然后或者经过线路21去到输入-输出插座19，或者经过线路25去到存储卡插槽23(图1)，或者经过两者，以便显示和/或存储。
线路65中的校正数据是通过专用处理电路71的块生成的。块71包括电路73，该电路计算一个与每个图像像素相对于为其获取视频数据的图像的有效中心的径向位置相关的量，其中计算是按照这种获取顺序进行的。在该特定示例中，该量是半径的数学平方(ri2)。该半径是针对每个像素从生成该像素的视频信号的光检测器的x-y坐标的线性位置的计算的，并且是以与从传感器接收到视频数据的速率相同的速率计算的。进行线性位置到径向位置的这一转换是因为图像数据的修改是按照图像上的半径的函数而变化的。然后计算出的半径函数被计算电路75用来生成施加到乘法器63的修改因子。虽然电路75可以每次解一个代表要对视频数据进行的依赖于半径的修改的方程，但是在本实施例中却是存储器77存储所使用的查找表。但是为了减小存储器77的大小，只有少量的校正数据点被存储，并且电路75计算存储的点之间的那些点的值。一组寄存器79存储被计算电路73和75两者使用的参数。
计算电路73和75独立于DSP 55操作。DSP也可以被用来进行这些计算，但这将会要求极快的处理器，如果甚至可以获得足够快的速度的话，则将会是很昂贵的，并且会占用芯片43上相当大的空间。在无需DSP 55参与的情况下专用于执行所需的重复计算的电路73和75结构是相当简单的，在芯片43上占用的空间很少，并且将DSP 55释放出来以执行其他功能。
存储图像修改数据和参数的一个或多个存储器77和79优选的是易失性随机访问类型，以获得与其他处理器电路的访问速度和过程兼容性，以便它们可以全都被包括在单个低成本的芯片上。图像修改数据和参数是在每个照相机的制造的最终阶段为其一次生成的，然后被永久存储在非易失性存储器49中。然后，在每次系统被初始化时，这些数据在通过控制和状态线路83操作的DSP 55的控制下，通过线路81被加载到存储器77和79中。
参考图3A，说明了图2的系统的操作的一个方面，其中传感器35(图1)对于每个图像像素包括单个光检测器。传感器的数字化输出41包括来自传感器35的一行中的相邻光检测器的连续的数据块87、89、91等。每个数据块包含量化被单个光检测器单元感测的图像29的一个像素的强度的10、12或更多个比特，以系统时钟51通过控制计数器85(图2)所控制的速率出现在电路41中。数据块87、89、91等之一例如可以在时钟信号的每个周期期间出现。
数据块93、95、97等是由修改处理电路71(图2)以与图像数据87、89、91等相同的速率并且与之同步地生成的。即，修改数据93被生成以与图像数据87同时出现在乘法器63处，以此类推。由于光检测器的扫描样式是已知的，因此计算电路73以与从这些光检测器读出图像数据的顺序和速率相同的顺序和速率生成传感器35表面上光检测器的位置的半径。然后，为每个特定图像像素生成的修改因子数据与该像素的强度数据相组合。乘法器63中对相同像素的图像数据87和生成的修改数据93的组合产生经修改的数据98。经修改的数据块99和100类似地分别通过组合数据98和95以及91和97而获得。
常规视频系统处理图像的多个不同颜色成分中每一个的数据。典型商用传感器将光检测器交替放置在被红、绿和蓝滤光器覆盖的行上。存在若干种不同的商用色敏光检测器排列。在一个这种排列中，一行包含交替的对红色和绿色敏感光检测器，而下一行包含交替的对蓝色和绿色敏感的光检测器，这些光检测器也沿着行被定位成提供多个列中的交替的颜色灵敏性。其他标准排列使用两个交替颜色的其他组合。如图3B所示，一个这种传感器的线路41中的输出包括连续的红、绿和蓝数据段。块101、103、105等代表交替的对红色和绿色敏感的光检测器的单独数据，其中每个块是在连续时钟周期中的每一个期间输出的。
如果对于所有被检测到的离散颜色只有一组校正数据，则从该组数据生成每个图像像素的图像修改因子，而不考虑颜色。在通过信号修改而去除的图像上的变动对所有颜色的影响程度相同或接近相同时，这样做是相当足够的。但是，在变动很依赖于颜色的情况下，对于每个颜色成分使用单独的校正因子。依赖于颜色的修改的使用在图3B中示出，其中连续的修改因子113、115、117等与每个连续的图像数据块101、103、105等相组合。结果是经修改的数据块120、122、124等。修改因子113、117、121等是从红色校正数据取得的，而修改因子115、119、123等来自绿色校正数据。
一种商业上可获得的类型特定的光传感器将多个光检测器堆叠在每个光部位或像素处。顶部的检测器传递红色和绿色，而过滤出它所敏感的颜色，例如蓝色。紧挨此顶部检测器下方的检测器传递绿色并过滤出它所敏感的颜色，在本示例中是红色。然后，底部的传感器对绿色敏感。图3C示出了具有此类传感器的图2的系统的操作。数据块125、127、129、131等被输出，其中三个用于一个像素的所有颜色，另三个针对下一个相邻像素，以此类推。如果对于所有颜色只维护一组校正数据，则相同的修改因子与来自每个光部位的三个数据块相组合，例如修改因子133用于生成颜色数据块125、127和129的部位。如果对于每个颜色维护单独的校正数据，则修改因子可以不同，但是所有三个都是针对图像传感器上的单个径向位置计算的。当在乘法器63中组合时，产生了连续的经修改的数据块137、138、139等。
其他类型的颜色系统也通过这里描述的技术来校正。例如，存在一种商用颜色系统，其只使用两个颜色成分。此外，存在四色系统，其中单独的具有宽频谱范围的检测器被用于获取“黑白”信息。
圆形样式修改许多荫影样式，尤其是透镜的荫影样式，在形状上可以表征为圆形。从而，每个像素的校正因子于是可以利用以下方程计算为沿着到图像几何平面上的参考的几何距离的一维函数PixelOut＝PixelIn*F[(X-XC)2+(Y-YC)2](4)其中PixelOut是对PixelIn校正之前输入的位于(X，Y)处的像素的经校正的值的输出。校正因子F[(X-XC)2+(Y-YC)2]取决于像素(X，Y)与图像的重心(XC，YC)的距离。
示例性透镜荫影校正函数141在图4A中示出。记住，虽然示出了隔离的透镜荫影函数来说明本发明，但是本发明一般地适用于由于许多原因导致的多种荫影非均匀性的校正。同样，荫影非均匀性也可以归因于非均匀传感器灵敏度和内部照相机反射(只举出两个)。如果由这些来源引导的变动要与由透镜特性导致的变动相结合地被校正，则实际校正函数是不同的，如下所述，但是一般方法是相同的。
从图4A中可见，传感器35(图1)的光检测器阵列上的在图像23的光学中心处，校正相对为零。该中心优选位于其上具有均匀强度的对象景象的图像的检测到的图像强度最大的点处。但是，一般来说，光学中心(XC，YC)是根据以上方程(2)确定的。检测到的图像的强度于是按照偏离该中心的径向距离ri的函数减小。结果，施加到检测到的图像信号的强度校正的量，即透镜荫影增益，按照半径ri2的函数增大，如曲线141所示。图像强度增大的量在图像边缘处迅速上升。已经发现这个透镜荫影效应是圆形对称的；即由曲线141指示的所需的校正沿着从检测到的图像的光学中心在检测到的图像上延伸的任何径向线是相同的。
许多透镜导致与图4A所示的类似的荫影样式。在这些情况下，已经发现曲线141近似于半径平方的指数函数；即任何图像像素的强度校正是其相对于光学中心的径向距离的平方的函数f(ri2)。从而，为每个照相机或采用具有该荫影特性的透镜的其他光学系统写出一个方程，该方程由DSP 55或专用电路为每一个像素解出，以确定该像素的校正量。但是，已经发现，维护在图像处理期间被查找的曲线141的值的表更为高效。图4B示出曲线141的一部分的展开图，其中取了连续点143-147的值来代表曲线。在照相机校正的特定情况中，仅存储了在沿曲线141的半径的相等增量处取得的64个值来代表曲线。为了计算这些点之间的半径的校正量，计算器75(图2)可以使用某些内插算法，但是已经发现，最好也存储点143-147的每个连续的对之间的直线的斜率，然后计算器75也可以使用这些斜率。
荫影表77(图2)的示例在图5中示出。在这种情况下，维护三个单独的校正曲线的数据，其中每一个用于原色红、绿和蓝中的每一个。例如，第二个这样的曲线142在图4A中示出。对于64个间隔中的每一个，存储ri2的基值以及从该基本值到下一基本值的直线的斜率的值。对于输入到计算电路75的ri2的每个值，这些电路按时间顺序提供检测到的图像的红、绿和蓝色成分的校正因子的值，然后这些值被用来校正传入的视频数据，如先前参考图3B所述。当然，如果每个颜色成分要接收与图3A所示相同的校正因子，则图5的表只需要维护一组基值和斜率数字。在任一种情况下，存储在表77中的数据的量都是较小的，因此芯片43上需要包括来存储它的存储器的大小可以保持较小。
被电路73(图2)实现来计算ri2值以输入到计算电路75中的示例性技术在图6中示出。计算是根据以下方式进行的得知各个传感器光检测器在x-y坐标系统中的位置，然后将这些位置的度量转换成圆形坐标系统中它们相对于光学中心的半径的值。通过使用以下事实而简化了计算光检测器是以光栅样式从一端到另一端、一次一行地沿传感器35上的直线被扫描的，直到所有光检测器的输出已经被接收到以获得完整的数据视频帧。
在图6中，个体光部位或像素由黑点表示。一个、两个、三个或更多个光检测器位于每个像素处，这取决于所使用的传感器的类型，其示例如上所述。虽然典型矩阵阵列在每一侧包含数百或数千个像素，但是图6的阵列被假定为大小是20乘20像素，其目的是说明计算过程。像素151是阵列的最左上的像素，其位置被表示为X0Y0，这是因为它位于像素阵列的第一行第一列中。顶行的其他像素随后被扫描，以按该顺序获得其信号输出，然后按标准视频光栅扫描样式扫描从顶部开始的第二行的像素，扫描时从最左像素往右，以此类推。像素153被选择为位于将景象成像到光检测器阵列上的透镜的荫影样式的中心。像素153是荫影函数光学中心，并且其位置被表示为(XC，YC)。荫影样式中心像素153的地址被指定为(0，0)。如果正如本文中为简单起见而假设的，此像素也是阵列的中心像素，则在所考虑的小型示例性阵列中，像素151承载地址(10，10)。右侧的下一像素具有地址(9，10)，第二行的第一像素为(10，9)，以此类推。第一像素151相对于中心(XC，YC)的半径被指定为R0，一般像素xiyi的半径被指定为ri。
量ri2由电路73(图2)针对每个像素根据其矩阵坐标(xi，yi)来计算。为了大大简化执行此计算的电路，电路73所执行的算法最好依赖于算术加法，而不需要任何乘法、除法、平均根或其他复杂的算术操作。每个像素的半径的平方是通过使用加法器来计算的。现在可以描述该算法。
在开始扫描指定的像素行时，从中心到给定行的第一像素(最左像素)的初始半径RINT按下式计算RINIT2＝|R02-2Y0HY+(1+2nY)HY2|(5)其中Y0指示最上方的行的y坐标，R0是从中心(XC，YC)到最左上方的像素(X0，Y0)的半径。算法还适应于省略一部分像素或像素行的扫描样式。量HY代表每一步进中的行数。如果每行都要被扫描，则HY＝1，如果每隔一行被扫描，则HY＝2，依此类推。量nY是从最顶部算起的实际被扫描的行的数目(如果有行被跳过，则nY仍计数0、1、2等等)，其中对于第二行nY＝0，对于第三行nY＝1，以此类推。
为了简化半径计算，某些被频繁引用的量在工厂校准期间被一次计算，并被永久存储在非易失性存储器49(图2)中，并且在系统初始化期间被传送到寄存器79(图2)，如图7所示。例如，以上方程上使用的量Y0和R0也被如此存储。量HY2也被存储在寄存器79中，但当扫描特性由于照相机或其他系统的用户通过控制装置15(图1)选择的函数而变化时，该量可以被DSP 55重写。由于要扫描的第一像素151的半径函数R02是已知的，因此电路73只需要从寄存器79中读取该值，并将其施加到计算电路75。但是下一像素(9，10)以及帧的其余像素的半径函数需要由电路73计算。
对于沿着这一指定的像素行上的每个像素，从中心(0，0)到每个给定像素的半径ri2被按顺序计算，如下ri2＝|RINIT2-2X0HX+(1+2nX)HX2|(6)其中RINT2是由以上方程(5)计算的行的第一像素的半径，X0是指该行的初始像素的x坐标，HX是每一步进中的像素数目，nX是从左算起实际使用的像素的数目(如果像素被跳过，则nX仍计数0、1、2等)，其中对于第二像素nX＝0，对于第三像素nX＝1，等等。X0的值在工厂校准期间被存储在非易失性存储器49中，并且在系统初始化期间被传送到寄存器79(图7)，并且HX2被DSP 55存储，用于要发生的扫描的类型。寄存器79还存储由DSP 55设置的至少一比特，用于指示何时省略荫影校正。
由于已知扫描样式是在一行上从一个像素移动到另一个像素，然后在另一行上同样地移动，因此方程(1)和(2)的计算不需要对于每个像素进行，相反，该过程可以被大大简化。由于第一像素151的半径函数R02是已知的，因此每个其他像素的半径函数通过在其上构建来计算。当扫描过一行时，除第一像素外的像素的ri2通过将以下加到紧挨着的前一像素的半径值来计算(1+2mX)HX2(7)其中mx是从像素行中的初始像素经过的HX步进的数目。类似的，第一行之后的每行的RINIT2是通过将以下加到紧挨着的前一行的RINIT2来计算的(1+2mY)HY2(8)其中my是从顶部行经过的HY步进的数目。方程(7)和(8)的计算比起方程(5)和(6)的计算来简单的多，因此可以使电路73(图2)很简单，并且可以为每个新的像素计算半径函数。简单化后的方程(3)是通过对于一行中的连续像素取方程(2)的半径函数的差来得出的。类似地，简化后的方程(4)是通过对于连续的像素行取方程(1)的半径函数的差来得出的。
由于每个照相机的光学系统、传感器或物理配置可能具有不同的成像或其他特性，因此最好作为制造过程的一部分使每个单元被校准，并且从该校准产生的参数被存储在非易失性存储器49(图2)中，以便在系统初始化期间被传送到寄存器79(图2和7)。均匀白色二维景象31(图1)被成像到传感器35上。传感器35随后被扫描，并且图像数据通过存储器管理单元57直接被存储在存储器47中，而没有透镜荫影校正或任何其他这种修改。但是，由于透镜荫影效应，存储的视频数据在帧上将不会具有均匀的强度。然后这个存储的图像帧数据被DSP 55所处理，以利用以上方程(2)确定重心，即坐标(XC，YC)。(XC，YC)处的像素通常是光学系统的中心像素153(图6)，它通常是其上具有均匀强度的景象31的图像29(图1)的最大强度点，但不一定是光学系统的中心。左上角像素的坐标(X0，Y0)是通过定义传感器35上光检测器阵列的图像帧的边缘来确定的。在中心和角落坐标已经被确定之后，最大半径值R02随后被计算。根据存储的样式的重心(XC，YC)，以及图像中每个像素的坐标(X，Y)，通过用于圆形强度分布近似的方程(4)计算出完整的校正因子集合，其中每一个针对一个像素。为了将这个完整的校正因子集合简化到存储在照相机本身内的稀疏集合，只有来自位于重叠在完整的图像数据集合上的路线栅格的交点下的那些像素的校正因子被选择为由照相机存储和使用。
该过程校正由光学系统13、传感器29(图1)或其他内部照相机变动(例如内部照相机表面的反射)引起的任何强度荫影。但是，如果传感器29不需要校正，则所进行的校正是只针对透镜系统13的。类似地，如果使透镜系统13形成图像29而不会在其上造成强度变动，则所进行的校正是只针对传感器29的。
椭圆和双曲线强度样式模型对于某些光分布，不采用强度分布的圆形近似模型，而是可以使用另一种几何近似，如果它更好地表征该分布的话。椭圆和双曲线荫影样式近似是可以使用的这种其他近似的示例。在这种情况下，根据以下方程来使用个体像素校正因子PixelOut＝PixelIn*F[a(X-XC)2+b(Y-YC)2+c(X-XC)(Y-YC)](9)其中PixelOut是经校正的像素，PixelIn是校正前的像素，F[a(...]是校正因子，它取决于从像素位置(X，Y)到锚定点(XC，YC)的距离。常数a、b和c定义椭圆或双曲线的形状和大小。
图8示出椭圆161，其中示出了方程(9)的参数。量“a”是长轴的一半，“b”是椭圆的短轴的一半。量“c”是焦点163和165之间的距离的一半。添加到这些标准的数学量的是点167，它在经过焦点163和165的长轴的中部，是椭圆光分布的光学中心(XC，YC)。椭圆161代表这种分布的相等强度的区域。如果常数a、b和c的相对值使得方程(9)方括号内的量定义一条双曲线，则它是示出具有相等强度的分布位置的双曲线。
二维表面上的椭圆或双曲线强度分布可以通过一族这样的曲线来定义这种曲线代表强度值延伸出该页面的分布的等值线，或者如果示出校正分布的倒数，则该曲线代表强度校正值延伸进该页面的分布的等值线。图9中所示的示例示出了均匀白光图像(强度在边缘处相对于中央有所下降)的椭圆强度分布，或者施加到所获取的图像数据的校正因子的分布(边缘处的值高于中央处的值的反函数)。这种曲线族的椭圆171、172、173和174中的每一个包括具有相同相对值“v”的那些分布点，该值“v”是代表分布的最大强度(v＝1.0)和最小强度(v＝0)之间的等值线的相对高度的分数。
为了通过存储在少量存储器中的足以校正图像数据的少量数据来表征所述分布，在校准期间沿着图9所示的多条线177、178、179、180、181、182、183和183获取数据，以在该所述分布上延伸。这些线中的每一条在光学中心(XC，YC)和图像场的边线之间延伸，在本示例中与这些边线的长度的中点和所有四个角相交。所述分布的形状可以从椭圆上与这些线交叉的强度值来获得。例如沿着线177的点185、186、187和189处的值可以被示为图10的值185’、186’、187’和189’。按与以上针对圆形分布情况描述的方式相同的方式，一条曲线被拟合到这些值。另一条曲线178’被包括在图10中，它经过点191’、192’和193’，这些点是沿图9的线178的椭圆交点191、192和193的各自的强度值。虽然这些点集合的值是相同的，但是它们的间距是不同的，从而导致曲线177’和178’彼此偏移。来自其他线179-184的点一般生成不同的个体曲线。在本示例中，这些来自线177-184中的一些或全部的校正因子数据被用于校正来自光检测器的图像数据。虽然来自沿线177-184中不同的线的点的多个校正数据集合可能变成校正数据，但是以下描述的特定示例利用拟合这种数据点的均值的单个校正因子曲线，作为进一步的简化近似。
正如圆形样式近似方法那样，该校正因子曲线被存储在硬件中，作为其分段线性近似。每颜色64个条目(总共192个条目)的查找表(LUT)被存储。每个条目代表与锚定点相距一定距离的一个点处的校正因子。一个点处的校正因子的值以及从该点到下一点的斜率被存储在每个条目中。因此，当计算相对于锚定点(XC，YC)的某点(X，Y)处的校正因子的值时，我们在LUT中找出(X，Y)下的位置的最接近的条目，并且根据该条目的值和斜率，计算点(X，Y)处的校正因子的线性近似。
就存储器和处理功率来说，利用硬件实时地执行该计算可能是较昂贵的。因此，当样式是椭圆或双曲线时，以上描述的用于圆形样式校正的简化计算技术也适用。由于要校正的像素作为时间“t”的函数按已知顺序(光栅顺序)到达，因此差分方程方法利用对先前像素计算的距离的平方来计算到锚定点的距离的平方。这是通过使用加法器而不是乘法器来完成的。正如上述圆形分布情况那样，通过将增量步进添加到为前一像素计算的径向距离，来计算按扫描顺序的到下一像素的增量径向距离。
椭圆和双曲线强度样式校准当假定椭圆或双曲线校正因子分布时，校准数据的获取最初与圆形样式情况的类似。均匀的白色二维景象31(图1)被成像到图1所示的数字照相机的传感器35上。传感器35随后被扫描，并且图像数据通过存储器管理单元57直接被存储在存储器47中，而没有透镜荫影校正或任何其他这种修改。但是，由于透镜荫影效应，存储的视频数据在帧上将不会具有均匀的强度。然后通过定义传感器35上光检测器阵列的图像帧的边缘来确定左上角像素的坐标(X0，Y0)。然后这个存储的图像帧数据与(X0，Y0)相结合，被DSP 55所处理，以确定重心，即坐标(XC，YC)。在中心和角落坐标已经被确定之后，最大半径值随后被计算。根据存储的图像的重心(XC，YC)，以及图像中每个像素的坐标(X，Y)，计算出完整的校正因子集合，其中每一个针对一个像素。
以下概述特定示例中当利用椭圆或双曲线校正因子分布模型时用于校准照相机或其他光学系统的步骤1)在被校准的照相机中的荫影校正阶段之前，来自均匀白色图像的图像数据被捕获。换言之，避开荫影校正阶段。
2)定义最大图像大小和图像原点(X0，Y0)。定义图像窗口相对于原点的开始(X0，Y0)。
3)白色校准图像被划分成8×8像素的块。如果图像大小不是8的倍数，则从两个相对的图像边缘补偿差异。对于每个块，计算红色像素的均值，计算绿色像素的均值，并且计算蓝色像素的均值。对于每个块，按照该块的红色、绿色和蓝色平均值的加权平均函数计算平均像素强度级别。本文中接下来的计算是对块值执行的，而不是对个体像素值执行的。
4)通过取强度等高线并找出其重心来找出荫影样式的重心(光学中心)(XC，YC)。
a)根据图像的强度值计算荫影样式的重心。
b)取等值线高度为Min_Height+0.8*(Max_Height-Min_Height)，其中Min_Height是图像中的最小强度值，Max_Height被取为图像中的最大强度值。取相对高的等值线，以便它最可能被完全包含在图像内部。如果等值线被边缘切割，则可能发生轻微的不精确。
c)对于每个水平坐标x(图像中的每一列)，计算f(x)，即超过预定义的等值线高度的强度值的数目。然后根据Xc=a·x*f(x)/a·f(x)]]>来计算XC。类似地，对于每个垂直坐标y(图像中的每一行)，计算f(y)，即超过预定义的等值线高度的强度值的数目。然后根据Yc=a·y*f(y)/a·f(y)]]>来计算YC。
5)在确定光学中心之后，确定最好地近似图像荫影样式的形状的椭圆/双曲线形状。实际上，这意味着找出a、b和c，以便2维函数p(xi，yi)＝a*(xi-XC)2+b*(yi-YC)2+c*(xi-XC)*(yi-YC)尽可能地接近图像荫影样式的形状。
a)根据图像的强度值计算椭圆/双曲线形状值a、b和c。
b)通过求以下表达式的解析最小值来找出值a、b和ca·[a*(xi-XC)2+b*(yi-YC)2+c(xi-XC)*(yi-YC)-v]2,]]>其中{(xi，yi)}是预定义的等高线上的点，v是等值线的高度。结果是以下3个方程的方程组i)---a*a·[(xi-XC)4]+b*a·[(yi-YC)^2*(xi-XC)2]+c*a·[(xi-]]>(XC)3*(yi-YC)]=a·[v*(xi-XC)2]]]>ii)---a*a·[(xi-XC)2*(yi-YC)2]+b*a·[(yi-YC)4]+c*a·[(xi-XC)*(yi]]>YC)3]=a·[v*(yi-YC)2]]]>iii)---a*a·[(xi-XC)3*(yi-YC)]+b*a·[(yi-YC)*(xi-XC)3]+c*a·[(xi]]>XC)2*(yi-YC)2]=a·[v*(xi-XC)*(yi-YC)]]]>c)通过利用已知技术解此三个方程的方程组来找出a、b和c的值。
d)将预定义的等高线的高度取为Min_Height+0.65*(Max_Height-Min_Height)，其中Min_Height为图像中的最小强度值，Max Height是图像中的最大强度值。这一次等值线较低，从而使得在被选择为角落的图像偏远部分计算将会更精确。如果等值线被图像边缘切割，则应当不会对上述计算的结果有重大影响。
e)如果c2-4*a*b＞＝0，则所找出的形状是双曲线形的，并且因此有两个可能的双曲线一个以a、b和c作为参数，而另一个以-a、-b和-c作为参数。注意，在双曲线的情况下，P(xi，yi)在图像中的某些部分可能得到负值。由于图像荫影校正硬件忽略这些部分，因此确保图像中需要校正的部分对应于图像中P(xi，yi)为正的部分，是很重要的。上述两个可能的双曲线之一满足此条件，并且会产生相对较小的误差。另一个双曲线不满足此条件，会产生相对较大的误差。通过计算误差，我们识别出两个可能的双曲线中的哪一个是正确的那个。
f)最后，参数a、b和c被归一化，从而使得它们将会具有独立于图像大小的相同的值范围。这是通过将Pmax(P(xi，yi)的最大值)归一化到取决于图像大小的值来完成的。Pmax被归一化到在6个MSB中为111111的值，这意味着查找表(LUT)将会被完全使用。
6)接下来，每个块的值被除以重心处的值，以便缩放。为了找出图像的每个图片元素处的图像荫影校正因子(Ki)，取每个经缩放的值的倒数。
7)为了计算单个图像荫影校正函数f_IS_color(P)，取六条直线，每一条将图像荫影样式的重心连接到六个边缘点之一，这六个边缘点是四个角落以及图像的水平边缘的中部的两个点，如图9所示。沿这些线的K值由三阶多项式近似。通过对上升最慢的多项式和上升最快的多项式取平均，产生了校正函数f_IS_color(P)。以下是此分析的细节a)检查六个边缘点(见图9)中每一个处的P值。具有负的P值的边缘点被忽略(这可能发生在双曲线的情况下)。如上所述，p(xi，yi)＝a*(xi-XC)2+b*(yi-YC)2+c*(xi-XC)*(yi-YC)。
b)如果所有六个边缘点都被忽略，则取垂直边缘的中部的两个边缘点(图9)。
c)对于连接其余边缘点的每条线，找出取决于P值的多项式1+a1*P+a2*P2+a3*P3，它将近尽可能地接近沿该线上的K值。参数a1、a2和a3是通过求以下表达式的解析最小值来找出的a·[1+a1*Pi+a2*Pi2+a3*Pi3-Ki]2]]>其中{Pi}是沿着该线的点的P值，{Ki}是沿着该线的点的K值。
结果是以下3个方程的方程组a1*a·Pi2+a2*a·Pi3+a3*a·Pi4=a·[(Ki-1)*Pi]]]>a1*a·Pi3+a2*a·Pi4+a3*a·Pi5=a·[(Ki-1)*Pi2]]]>a1*a·Pi4+a2*a·Pi5+a3*a·Pi6=a·[(Ki-1)*Pi3]]]>通过以已知方法解这三个方程的方程组来找出量a1、a2和a3。
d)对于每个多项式，计算P的最大值的导数的值。如果结果为负，则多项式对于相关P值不是单调增大的。如果为近似而取得的线相对较短，则可能发生这种情况。在这种情况下，该多项式和产生它的线被忽略。
e)对上升最慢的多项式和上升最快的多项式取平均，以取得a1、a2和a3的最终值。
f)然后通过下式计算校正函数f_IS_color(P)f_IS_color(P)＝min(2047，256*(1+a1*P+a2*P*P+a3*P*P*P)+0.5)
此方程指示由此函数产生的校正因子限于总共11比特(2047)，具有8比特分数(256)。
利用经校准的函数的结果在图11中示出，其中具有示例性的曲线集合。曲线195示出当光检测器被一个或多个颜色均匀照射时，包括光学中心(XC，YC)的元素行上的光检测器的输出，用输出195所代表。所述输出在与光传感器的相对的边缘相邻的行的末尾处下降。经校准的校正函数197在理想情况下提供曲线195的倒数，因此当两个被组合在一起时，产生均匀的强度函数199。正是此均匀函数随后被照相机或其他光学设备用来代表入射在光传感器上的光样式的数据。
补偿多个荫影样式如前所述，荫影非均匀性可能归罪于许多同时存在的因素。为了进一步补偿多个荫影现象，上述技术的扩展通过使用叠加原理添加了灵活性。每个荫影样式的重心(XC，YC)由以上方程2的“重心”定义。要校正的合成荫影样式由若干个彼此叠加的荫影现象构成。这些现象最好在校准时间上是分离的，并且多个荫影样式被可视化，其中每一个具有其自己的重心。然后这些重心可以被组合成“有效重心”，并且被用于形成图2的查找表77，或者每个被独自使用以得出单独的查找表，这些查找表随后被组合以形成查找表77。在后一种情况下，用来组合这些荫影校正因素以便用于表77中的算法可以是线性、分段线性或非线性的。从而，提供了在针对特定图像元素位置选择荫影密度校正因子方面的很大程度的灵活性。
如果对于此扩展的实现采用了有效重心，则可以根据以上方程(3)通过使用一个或多个计算出的重心中每一个的坐标的简单线性平均来算术地组合两个或更多个重心，以创建所述有效重心。其示例在图12中示出，其中，除了图9的具有重心(XC1，YC1)的椭圆荫影样式之外，还存在具有重心(XC2，YC2)的圆形荫影样式。可以使用方程(3)来计算有效重心(XCE，YCE)。每个像素的校正值可以以按以上参考图9描述的方式来获得，只不过现在重心是(XCE，YCE)，并且沿起源于该中心的线177-184所确定的荫影样式的值是两个荫影样式中每一个的值的算术组合。但是，此扩展的原理并不排除使用更复杂的线性和非线性加权函数来实现此组合。
如果利用以上在“具体实施方式
”开头处描述的此扩展的第二种形式，则按照图片元素和多个重心之间的距离的函数来计算查找表77中的元素。在此方法中，校准时对校正因子的计算也类似地通过隔离每个荫影现象来完成。但是，在这种情况下，从来自两个或更多个荫影样式的重心得出的各个校正因子表被算术地组合以创建表77中使用的校正因子。表77随后可被用来补偿这些多个荫影现象的叠加。用来得出这些组合的荫影校正因子的算法可使用线性、分段线性或非线性加权，从而在针对特定图像元素位置选择荫影密度校正因子方面提供了很大程度的灵活性。如果使用线性方法，则查找表77中代表的像素位置处的有效校正因子可以通过使用位于多个个体荫影样式校正因子表中相应图像元素位置处的多个校正因子的简单线性平均来计算，如以下方程所示FEN＝[(F1+F2+F3....+FN)/N](10)其中FEN是特定图像元素的有效荫影样式校正因子，F1、F2、F3、...FN是每个预组合的查找表中的相应的个体图像元素校正因子，N是被组合的荫影样式校正查找表的总数。
可替换地，可以执行从个体荫影现象校正表获得的来自多个相邻图像元素位置的荫影校正因子的平均或复杂算术处理，以实现荫影校正因子的所需组合，以便包括在表77中。
另一种补偿彼此叠加的多个荫影现象的方式是使用以上提到的相同的校准方法，其中每个荫影现象被单独可视化。但是，图2的荫影处理器71并不将测量到的荫影现象的数据组合到一个“有效重心”或一个“有效荫影样式校正因子表”中，而是采用多个“荫影处理”元素，这些“荫影处理”元素中的每一个响应于在校准时测量的个体荫影现象。在图像荫影校正时，每个“荫影处理”元素计算响应于每个个体荫影现象的荫影校正因子。应用到被校正的像素的实际荫影校正因子是根据由这多个“荫影处理”元素针对该像素计算的各个校正因子而计算的。此计算可以基于多个校正因子的线性、分段线性或非线性组合。
扩展方法校准现在将讨论被此扩展用来获得荫影校正因子以及其他参数以用于图1所示的数字照相机中的校准过程。这些荫影校正因子被存储在非易失性存储器49(图2)中，以便在系统初始化期间传送到寄存器79(图2和7)。所采用的校准过程实质上与以上所述的相同，只不过它针对多个荫影样式重复多次，重复的次数等于荫影样式的数目。如前所述，这些荫影样式可能是同时出现的现象的结果，例如不均匀的图像传感器灵敏度、透镜渐晕、图像传感器相对于透镜的中心轴不垂直、透镜安装方位误差以及内部照相机反射。
这些荫影样式中的每一个具有其自己的唯一的重心，这些重心是由前述方法所计算的。在执行此扩展方法校准过程期间，这两个或更多个重心被算术地组合，以形成“有效重心”，该有效重心被用来在上文详细描述的校准荫影校正因子过程期间取代单个重心。对于简单情况，用来导出有效补偿(XCE，YCE)的组合算法是两个或更多个计算出的重心中的每一个的坐标的线性平均，如之前方程3中所示。额外的线性或非线性加权因子被结合到此方程中，如以下方程11中所示，以改进所产生的荫影校正并增加灵活性。
(XCE，YCE)＝[(W1XC1+W2XC2+W2XC3...+WNXCN)/N]，[(W1YC1+W2YC2+W3YC3....+WNYCN)/N](11)其中(XCE，YCE)＝有效重心的坐标；(XCN，YCN)＝与每个荫影现象相关联的每个单个重心的坐标；N＝单个重心的总数；以及(W1，W2，W3...WN)＝重心加权因子。
或者，按照图片元素和多个重心之间的距离的函数来计算荫影校正因子元素集合。在这种情况下，所得出的个体校正因子表被算术地组合，以创建以查找表形式存储在非易失性存储器49中的校正因子。用来得出这些组合的荫影校正因子的算法可以使用线性、分段线性或非线性加权，从而在针对特定图像元素位置选择荫影密度校正因子方面提供了很大程度的灵活性。如果使用线性方法，则通过多个个体荫影样式校正因子表中位于相应图像元素位置的多个校正因子的简单线性平均来计算特定图像元素位置处的有效校正因子，如之前方程10中所示。额外的线性或非线性加权被结合到此方程中，如以下方程12中所示，以改进所产生的荫影校正并增加灵活性FEN＝[(W1F1+W2F2+W3F3....+WNFN)/N](12)其中FEN＝特定图像元素的有效荫影样式校正因子；F1、F2、F3；FN＝每个预先组合的查找表中的相应的个体图像元素校正因子；N＝被组合的荫影样式校正查找表的总数；以及(W1，W2，W3...WN)＝针对每个预先组合的查找表中的每个图像元素荫影校正因子的加权常数，来自线性或非线性偏差。
在多个“荫影处理”元素的情况下，图2的荫影处理71，图1的“视频信号处理器”43的一部分，校准过程响应于不同的荫影现象存储不同的校正参数。在图像荫影校正时，这些校正参数被这多个“荫影处理”元素用来确定施加到被处理的图像数据的校正因子。
结论虽然已经针对特定实施例描述了本发明，但是将会理解本发明有权利在所附权利要求的完整范围内受到保护。
权利要求
1.对于通过光场入射到其上具有各个像素的二维阵列的光传感器而获得的数字视频信号，其中所述光场的视频信号根据所述阵列上的附加强度分布样式而被改变，所述像素被线性地扫描经过所述光场而产生的所述各个像素的输出序列形成所述光传感器数字视频信号，一种修改所述视频信号以校正所述强度分布样式的方法，包括按照所述像素相对于所述强度分布样式的光学中心的径向距离的函数来维护所述强度分布样式的修改数据，所述强度分布样式被定义为包括所述传感器上的至少一个椭圆或双曲线强度样式，根据被扫描的各个像素在所述二维阵列内的线性位置来计算所述被扫描的各个像素的径向距离，根据由所述被扫描的各个像素的计算出的径向距离所获取的图像修改数据来生成所述被扫描的各个像素的修改，以及将生成的图像修改数据与被扫描的相应各个像素的输出相组合，从而根据所述图像修改数据来修改所述各个像素的输出序列。
2.如权利要求1所述的方法，其中所述计算、生成和组合步骤至少是按与所述被扫描的像素的输出序列出现在所述图像传感器输出的视频信号中的速度相同的速度对所述被扫描的各个像素执行的。
3.如权利要求1所述的方法，其中被维护的图像修改数据包括所述各个像素的输出中对所述光场上的强度变动的校正，所述强度变动是由将所述光场成像在所述传感器上的光学系统中的任何一个或多个、由所述传感器本身上的灵敏度变动、或者由容纳所述光学系统和传感器的外壳的内表面的光反射所引起的。
4.如权利要求1所述的方法，其中维护所述图像修改数据包括针对所述被扫描的各个像素维护多个图像修改数据集合，对于所述光场的多个颜色成分中的每一个有一个数据集合。
5.如权利要求1所述的方法，其中所述维护、计算和生成功能都是在单个集成电路芯片上完成的。
6.如权利要求5所述的方法，其中所述维护、计算和生成功能都是由专用于执行这些功能的电子电路执行的。
7.如权利要求1所述的方法，其中维护图像修改数据包括存储沿着所述强度分布样式上从其光学中心开始的单个半径上的点、以及所述点之间的斜率的值。
8.如权利要求7所述的方法，其中所述存储的点的值是通过以下步骤计算的由查看其上具有均匀强度的图像场的设备光学系统通过所述光学传感器进行测量，通过定义一个或多个椭圆或双曲线集合表征所述传感器的视频信号输出的强度变动，找出所述强度变动样式的单个光学中心，然后计算沿着所述单个半径的点集合的值作为所述修改数据。
9.如权利要求8所述的方法，其中表征所述传感器的视频信号输出的强度变动包括定义两个或更多个椭圆或双曲线集合。
10.如权利要求1所述的方法，其中按照所述像素相对于所述样式的光学中心的径向距离的函数维护所述强度分布样式的修改数据包括，定义所述样式以包括所述传感器上的两个或更多个椭圆或双曲线强度分布。
11.如权利要求10所述的方法，其中将所述样式定义为两个或更多个椭圆或双曲线强度分布包括找出所述强度变动样式的单个光学中心，然后计算沿着单个半径的点集合的值作为所述修改数据。
12.如权利要求1所述的方法，其中根据所述各个像素在所述二维阵列内的线性位置来计算所述各个像素的径向距离包括将一个值添加到为紧挨着的前一个被扫描的像素计算的径向距离。
13.如权利要求12所述的方法，其中计算所述各个像素的径向距离还包括不依赖所述单个半径的角位置而进行此操作。
14.如权利要求12所述的方法，其中计算所述各个像素的径向距离还包括在没有乘法或除法的情况下进行此操作。
15.一种修改来自具有各个像素的二维阵列的光传感器的数字视频信号以补偿施加在入射到其上的光场上的强度变动样式的方法，包括维护根据将所述强度变动样式表征为两个或更多个几何形状的组合而得出的图像修改数据，所述两个或更多个几何形状被组合以通过单个光学中心和单个定义形状来定义所述样式，根据所述图像修改数据生成针对被扫描的各个像素的修改，以及将所生成的图像修改数据与被扫描的相应各个像素的输出相组合，从而根据所述图像修改数据来修改所述各个像素的输出。
16.如权利要求15所述的方法，其中所述两个或更多个几何形状包括圆形、椭圆或双曲线形状。
17.如权利要求16所述的方法，其中维护图像修改数据包括将所述两个或更多个几何形状表示为具有一个光学中心的单个几何样式。
18.如权利要求17所述的方法，其中生成针对所述各个像素的修改包括参考沿着从所述光学中心延伸的半径的单个数据集合，所述光学中心不依赖所述半径的角方向。
19.如权利要求17所述的方法，其中生成针对所述各个像素的修改还包括按照各个像素相对于所述光学中心的径向位置的函数来参考修改值的表，并通过将一个值添加到为紧挨着的前一个被扫描的像素计算的径向距离来计算所述二维阵列内各个像素的径向距离。
20.一种集成电路芯片，包含能够接收和处理各个光检测器的数据流的电路，所述数据流是通过根据预定样式线性扫描入射到其上的二维光场而获得的，包括所述电路的第一部分，其通过将一个增量添加到前一个单个光检测器的半径来与被扫描的光学图像同步地确定被扫描的各个光检测器的径向距离，并且根据所述径向距离访问所存储的对被扫描的光学图像的椭圆或双曲线修改数据，以及所述电路的第二部分，其接收所述输入数据以及被访问的存储图像修改数据以输出各个光检测器的修改数据流。
21.如权利要求20所述的电路芯片，其中所述所存储的椭圆或双曲线修改数据包括由椭圆或双曲线强度曲线集合表征的数据，从而可以针对在所述光场上引起的不合需要的强度变动来提供补偿。
22.一种视频成像设备，包括光学传感器，其具有二维检测器阵列，这些检测器以光栅样式被扫描，以输出代表其上的光学辐射的强度的串行数据流，相对于所述传感器固定的光学系统，用于将光学辐射场成像到所述传感器上，存储器，其存储用于所述光学传感器和光学系统的强度校正数据，所述校正数据是作为沿着被成像的光场上的半径从其中心延伸的连续曲线上的点和所述点之间的斜率的值被存储的，所述存储的点的值是通过在所述设备光学系统查看其上具有均匀强度的图像场时将所述光学传感器的强度输出样式表征为两个或更多个不同的几何形状的组合来确定的，专用的计算电路，其将所述光栅扫描样式的位置转换成所述光场上的径向距离，专用的校正确定电路，其针对计算出的径向距离从所述存储器读取值，并根据其计算要对所述串行数据流进行的强度校正的量，以及组合电路，其利用所确定出的强度校正量修改从所述光学传感器输出的串行数据流，从而针对所述被成像的光场上的强度变动来校正所述串行数据流。
23.如权利要求22所述的成像设备，其中所述两个或更多个不同的几何形状包括至少一个椭圆或双曲线。
24.一种视频成像设备，包括光学传感器，其具有检测器的二维阵列，这些检测器以光栅样式被扫描，以输出代表其上的光学辐射场的多个颜色成分的强度的串行数据流，相对于所述传感器固定的光学系统，用于将所述光学辐射场成像到所述传感器上，存储器，其存储用于所述光学传感器和光学系统的强度校正数据，所述校正数据是作为各自沿着被成像的光场上的半径从其中心延伸的多个连续曲线上的点和所述点之间的斜率的值被存储的，所述存储的点的值是由查看其上具有均匀强度的图像场的设备光学系统通过所述光学传感器测量的，所述多个曲线对于所述多个颜色成分中的每一个包括一个单个曲线，并且定义所述光学传感器上的由至少一个椭圆或双曲线表征的强度样式，专用的计算电路，其将所述光栅扫描样式的位置转换成所述光场上的径向距离，专用的校正确定电路，其针对计算出的径向距离从所述存储器读取值，并从其计算要对所述串行数据流的多个颜色成分中的每一个进行的强度校正的量，以及组合电路，其利用所确定出的强度校正量修改从所述光学传感器输出的串行数据流，从而针对所述被成像的光场上的强度变动来校正所述串行数据流。
全文摘要
提供了可实现在数字照相机、视频图像捕获设备和其他光学系统中的用于修改图像数据的技术，以校正出现在来自二维光传感器的数据中的图像阴影变动。这些变动例如可能由不完美的透镜、光传感器上的不均匀的灵敏度以及光学系统的外壳内的内部反射导致。为了校正这些变动，少量修改数据被存储在照相机或其他光学系统内的小型存储器内，最好对于每个原色有单独的校正数据。修改数据是实时生成的，生成的速率与获取图像数据的速率相同，从而修改的发生不会减慢来自图像传感器的数据传送。
文档编号H04N5/217GK1898697SQ200480038566
公开日2007年1月17日 申请日期2004年12月14日 优先权日2003年12月30日
发明者维克多·品托, 伊莱兹·加里尔 申请人:卓然公司