成像系统的制作方法

专利名称：成像系统的制作方法
技术领域：
本发明涉及成像系统，更具体地说，涉及一种通过执行数字信号处理来 校正成像光学系统中产生的重影的图像处理技术。
背景技术：
在成像光学系统中，当具有特别大发光强度的光源位于拍摄视角附近或 拍摄视角之内时，从透镜镜筒或图像传感器反射来的光线被反射在透镜表面 或结构元件(螺钉、光圈等)上，从而在光接收部件的图像传感器上形成光圈形状或结构元件形状的图像时，就产生重影(参见图13)。特别是，在 对象的暗部上产生的重影很明显，使得图像变得非常难看。为了防止产生这种重影，在透镜表面上涂上抗反射涂层很有效。然而， 抗反射涂层的使用是导致照相机价格升高的原因。如上所述，就减小尺寸和降低价格而言，仅在成像光学系统中防止产生 在成像光学系统上的重影是一大障碍。进一步地，利用多层干涉膜滤光片的 图像传感器，近来对其相关技术提出改进，然而它只吸收特定的波长成份。 于是，在这种图像传感器中，反射成份增加得更多，使得更有可能产生重影。发明内容因此，本发明的主要目的在于提供一种成像系统，其通过利用简单方法 来电校正/减小由于对象内强光所产生的重影，重新生成好看的拾取图像。 为了解决上述问题，本发明的成像系统包括信号处理电路，其通过对利用成像光学系统获得的成像信号执行信号处 理来产生图像信号，其中成像光学系统包括透镜、光圈、图像传感器和透镜 镜筒；
主光源检测器，其检测包含在所述图像信号的拾取图像中的主光源； 估计重影发生器，其基于所述主光源和成像光学系统的布局信息以及所 述透镜镜筒的结构信息，产生估计重影；匹配装置，其通过利用图样匹配在所述拾取图像中搜索所述估计重影， 提取估计重影图像；和重影去除器，其从所述拾取图像中去除所述估计重影图像。 在这种结构中，所述主光源检测器判断具有规定值以上亮度水平的主光 源是否包含在所述拾取图像之中。当包含在其中时，主光源检测器将检测到 的主光源的信息提供给所述估计重影发生器。估计重影发生器基于所接收到 的有关主光源的信息，产生估计重影。此处假定，通过仿真等预先提供成像 光学系统的布局信息、透镜镜筒的结构信息和主光源信息的相互关系。所述 估计重影发生器基于这种相互关系产生对应于主光源信息的估计重影，并且 将其提供给所述匹配装置。该匹配装置通过利用所述信号处理电路在所述拾 取图像中执行图样匹配来提取对应于所述估计重影的估计重影图像，并且将 其提供给所述重影去除器。重影去除器通过从来自所述信号处理电路的拾取 图像中去除所述估计重影图像，获得消除了重影成份的输出视频信号。这是 一种基于电学方法减轻重影的方式。在这种方法中，通过一种较之在透镜表 面上涂抗反射涂层的情况要简单得多的方式，可以获得精确的对象图像。进 一步地，即使在图像传感器使用多层干涉滤光片的情况下，也可以有效地抑 制重影的产生。在上述结构中还具有这样的实施例，即，所述主光源检测器基于与所述 拾取图像的亮度、位置和颜色有关的信息来检测所述主光源。进一步地，在上述结构中具有这样的实施例，即，所述主光源检测器检 测亮度水平大于与成像光学系统的孔径值相 一致的亮度水平的图像部分，作 为所述主光源。此外，在上述结构中具有这样的实施例，即，所述主光源检测器检测亮 度水平大于根据图像传感器的曝光时间所确定的亮度水平的图像部分，作为
所述主光源。而且，在上述结构中具有这样的实施例，即，所述估计重影发生器基于 与主光源亮度和位置有关的信息、有关光圈、透镜布局和透镜镜筒结构的信 息，产生所述估计重影。进一步地，在上述结构中具有这样的实施例，即，所述估计重影发生器 进一步包括用于存储所产生的估计重影的形状的存储装置。通过从该存储装 置中选择估计重影的形状，可以快速地产生估计重影。进一步地，通过存储 各种类型的重影形状，可以产生各种类型的估计重影。此外，在上述结构中具有这样的实施例，即，所述估计重影发生器根据 与主光源亮度和位置有关的信息、有关光圈、透镜布局和透镜镜筒结构的信息产生第一估计重影，并且产生形状是第一估计重影的N (N是任意实数) 倍大的第二估计重影，该第二估计重影也像第一估计重影那样被预计产生； 并且所述估计重影发生器进一步包括用于存储第一估计重影和第二估计重 影的存储装置。在该实施例中，有可能对形状是由于透镜布局而被预计产生 的所产生重影的形状N倍大的重影作出响应。而且，在上述结构中具有这样的实施例，即，所述估计重影发生器 基于与所述主光源亮度和位置有关的信息，确定所述估计重影的形状； 基于与所述主光源颜色有关的信息，确定所述估计重影的颜色；并且 基于与所述主光源亮度有关的信息，确定所述估计重影的亮度。 进一步，在上述结构中具有这样的实施例，即，所述估计重影发生器针 对所述估计重影的亮度设置一阈值，然后当所述估计重影的亮度小于所述阈 值时停止产生所述估计重影。这使得在重影产生的可能性足够小时，可以优 先进行高速处理。此外，在上述结构中具有这样的实施例，即，所述估计重影发生器基于 与所述主光源亮度和位置有关的信息以及与光圈和透镜布局有关的信息，设 置对应于所述估计重影的尺寸的阈值，然后当所述估计重影的尺寸小于该阈
值时停止产生所述估计重影。这使得在重影的影响力足够小时，可以优先进 行高速处理。而且，在上述结构中具有这样的实施例，即，所述估计重影发生器进一 步包括用于形成类似形状的估计重影的变焦装置。因此，即使在仅具有很小 存储空间的成像系统中，也可以实现对各种类型重影的适当校正。进一步地，在上述结构中具有这样的实施例，即，所述匹配装置从所述 拾取图像中提取图样与估计重影相匹配的图像，作为估计重影图像。此外，在上述结构中具有这样的实施例，即，所述匹配装置分别从所述 拾取图像和所述估计重影图像中提取轮廓，并且提取所提取轮廓之间的差异 最小的位置，作为估计重影图像。而且，在上述结构中具有这样的实施例，即，在计算所述拾取图像的轮 廓与所述估计重影图像的轮廓之间的差异时，所述匹配装置可选地将所述估 计重影轮廓附近的数据设置为匹配判断的目标。这即是将包含在重影中的实 际对象的轮廓消除，从而通过限制重影附近的数据来计算匹配度，这对于提 高匹配度精度的目的来说很有利。进一步地，在上述结构中具有这样的实施例，即，所述匹配装置包括用 于从所述拾取图像和估计重影中提取轮廓的差分滤波器，其中该差分滤波器还用作用于在所述信号处理电路中执行轮廓校正处理的 差分滤波器。此外，在上述结构中具有这样的实施例，即，所述匹配装置包括图样匹 配机，其中所述图样匹配机还用作用于活动图像编码的运动检测机。在提供有活动 图像记录功能的照相机系统中，用于查找与基准图像的差异和位置信息的运 动才企测机被预先载入。该实施例中，这样的运动检测机还可以用作匹配装置。而且，在上述结构中具有这样的实施例，即， 一旦检测到至少一个所述 估计重影图样，所述匹配装置就基于预先执行的仿真结果，推测出同时产生的另一估计重影图像。因此，可以改进处理速度。
进一步地，在上述结构中具有这样的实施例，即，所述重影去除器从所 述拾取图像中去除由所述匹配装置判断为与所述拾取图像中的估计重影相 一致的估计重影图像。这意味着，如果重影产生的位置在视频上被控制(管 理)，则并不总是需要产生估计重影图像。此外，在上述结构中具有这样的实施例，即，所述重影去除器对于所述 拾取图像的饱和部分停止去除所述估计重影图像的处理。当输入信号饱和 时，通过执行所述去除处理，产生重影处的像素的信号水平低于其周边像素 的信号水平。因此，所述重影并未被所述去除过程消除。相反，产生了具有低信号水平的暗重影。在该实施例中，通过在所述饱和部分中终止去除处理， 可以避免这种不便。根据本发明，采用较之在透镜表面上涂上抗反射涂层的情况要简单得多 的结构，可以高速消除重影。因此，可以获得好看的拾取图像。进一步地， 即使在多层干涉膜滤光片用于图像传感器的情况下，也可以有效地抑制重影 的产生。本发明的成像系统可以有效地用作静物照相机、电影摄像机等，其能够 利用简单的结构高速地消除重影，并且能够获得好看的摄影图像。


通过对下文所描述的优选实施例的理解，本发明的其它目的将变得明显， 并且在所附权利要求书中得到清晰地详细说明。本领域的技术人员应理解，通 过具体实施本发明，本发明还具有许多其它的优点。图1是根据本发明第一实施例的成像系统的结构框图；图2是根据本发明第一实施例的校正重影的原理示意图；图3是根据本发明第一实施例的匹配装置的具体结构的框图；图4是根据本发明第一实施例的匹配装置的具体结构的框图；图5是才艮据本发明第 一实施例的匹配装置的另 一具体结构的框图；图6是根据本发明第二实施例的成像系统的变焦装置的结构框图7是根据本发明第三实施例的成像系统的信号处理电路的结构框图； 图8是根据本发明第三实施例的轮廓增强处理的示意图； 图9是共用差分滤波器时根据本发明第三实施例的成像系统的结构框图； 图IO是根据本发明第四实施例的MPEG视频编码处理的结构框图； 图11是根据本发明第四实施例的在运动检测机中执行的处理的示意图； 图12是当根据本发明第六实施例的成像系统饱和时在去除处理中产生的 问题的示意图；和图13是产生重影的原理的示意图。
具体实施方式
下文中，将参照附图详细描述根据本发明的成像系统的实施例。 (第一实施例)图1是包括根据本发明第一实施例的成像系统100在内的数字照相机的 结构框图。在图l中，附图标记l是对象；2是透镜；3是光圈；4是图像 传感器；5是放大器，用于放大来自图像传感器4的图像信号；6是信号处 理电路，用于对来自放大器5的图像信号执行规定的信号处理；7是曝光时 间控制电路，用于控制图像传感器4的曝光时间；8是光圈控制电路，用于 控制光圈3的孔径值；9是主光源检测器；10是估计重影发生器；11是重 影管理存储器；12是匹配装置；而13是重影去除器。透镜2和光圈3构成 成像光学系统。放大器5、信号处理电路6、曝光时间控制电路7、光圏控 制电路8、主光源检测器9、估计重影发生器IO、重影管理存储器ll、匹配 装置12和重影去除器13构成成像系统100。主光源检测器9利用来自信号处理电路6的拾取图像Pi,从拾取图像 Pi中检测主光源M，即超出作为检测标准的亮度水平的引起重影的强光源。 同时，主光源检测器9获得与主光源M的亮度、位置和颜色有关的信息， 并且将该信息作为主光源M的信息输出。估计重影发生器10基于主光源检测器9所提供的与主光源M的亮度和
位置有关的信息，在重影管理存储器11的条件存储器lib内搜索匹配条件，并且从重影存储器lla中提取与搜索到的条件相对应的估计重影Ge的形状。 重影管理存储器11将估计重影Ge的形状存储到重影存储器lla，其中估计重影Ge的形状是根据光圈、透镜布局和透镜镜筒的结构信息，针对规定的光源产生的。同时，重影管理存储器11将成像光学系统的条件(孔径值、曝光时间)与光源信息(位置、亮度、颜色)相关联，并且将这种关联存储到条件存储器llb。匹配装置12通过图样匹配，基于来自信号处理电路6的拾取图像Pi,搜索与在估计重影发生器10中产生的估计重影Ge相匹配的重影。重影去除器13从来自信号处理电路6的拾取图像Pi中，去除由匹配装置12获得的估计重影图像Pg，并且输出已经校正/减轻了重影的输出视频信号Po。通过预先执行的仿真，可计算估计重影Ge的形状，这些形状是^^艮据光 圈、透镜布局和透镜镜筒的结构信息针对规定的光源产生的。所计算的估计 重影Ge的形状被存储在重影管理存储器11的重影存储器lla中。同时，在 将估计重影Ge与成像光学系统的条件(孔径值、曝光时间)和光源信息(位 置、亮度、颜色)相关联后，将这种关联存储在条件存储器lib中。来自对象1的光线穿过透镜2和光圏3在图像传感器4的光电转换面上 形成图像。从图像传感器4输出的图像信号在放大器5中被放大，随后被输 入到信号处理电路6。曝光时间控制电路7和光圈控制电路8根据放大器5 的输出执行下列控制，从而从放大器中获得适合的电平输出。也就是说，曝 光时间控制电路7控制图像传感器4的曝光时间，而光圈控制电路8控制光 圈3。因此，可以获得适合的曝光状态。信号控制电路6对图像信号执行白 平衡和对比度的调节以及轮廓校正等，并将图像信号作为拾取图像Pi输出 到主光源检测器9、匹配装置12和重影去除器13。曝光时间控制电路7将在图像传感器4中所设定的曝光时间提供给主光 源检测器9。此外，光圏控制电路8将在光圈3中所设定的孔径值提供给主
光源检测器9。主光源检测器9根据所接收到的曝光时间和孔径值适当地改 变作为检测标准的亮度水平。这种调节是基于以下原因进行的图像传感器 4所接收到的光通量依据曝光时间而改变；进入成像光学系统的光通量依据 孔径值而改变；以及输入图像的曝光水平由于这两个因素而改变。主光源检测器9通过利用从信号处理电路6提供的拾取图像Pi来检测 主光源M。从拾取图像Pi中，将亮度水平超出检测标准的强光源^r测为主 光源M。这种强光源是产生重影的原因。 一旦检测到主光源M，主光源检 测器9就获得与所检测到的主光源M的亮度、位置和颜色有关的信息，并 且将该信息作为主光源M的信息输出到估计重影发生器10。在拍摄时，估计重影发生器10从光圈控制电路8中获得透镜布局信息 和孔径值。进一步地，估计重影发生器IO基于来自主光源检测器9的与主 光源M的亮度和位置有关的信息，从存储在条件存储器lla中的一组条件 中搜索匹配条件，并且从重影存储器lla的记录内容(重影Ge的一组形状) 中提取与通过搜索所提取出的条件相对应的估计重影Ge的形状。进一步地， 估计重影发生器IO基于主光源M的颜色信息确定估计重影Ge的颜色，并 且基于亮度信息确定估计重影Ge的亮度。在估计重影Ge的亮度小于规定 值时，并且在根据与主光源M的亮度和位置有关的信息以及与光圈和透镜 布局有关的信息估计出的估计重影Ge的尺寸小于规定值时，估计重影发生 器IO不产生重影。估计重影发生器IO基于从主光源检测器9提供的主光源的信息和存储 在重影管理存储器11中的仿真信息所产生的估计重影Ge,被输出至下一级 的匹配装置12中。拾取图像Pi和估计重影Ge被输入到匹配装置12。匹配装置12通过对 拾取图像Pi和估计重影Ge执行图样匹配，从实际的拾取图像Pi中搜索与 估计重影Ge相匹配的重影G。然后，匹配装置12将搜索到的重影G作为 估计重影图像Pg输出到重影去除器13。重影去除器13从信号处理电路6 所提供的拾取图像Pi中去除估计重影图像Pg。通过这样，所获得是输出视
频信号PO (其中重影被校正/减轻)，在该信号中，包含在拾取图像Pi中的 实际重影成份被选择性地消除。此外，不需要产生诸如估计重影图像Pg之类的去除图像。也有可能通 过地址管理来从实际拾取图像Pi中去除重影。接下来，将参照图2描述在重影去除器13中执行的重影校正的原理。 在下文的说明中，假定拾取图像Pi包含重影Gl和G2。由于诸如太阳光之 类的主光源M，光圈3产生这些重影。估计重影图像Pg是需要去除的图像， 它是基于匹配装置12从拾取图像Pi搜索到的估计重影Gel和Ge2所产生的。 通过由重影去除器13中的去除器13a从拾取图像Pi中去除估计重影图像 Pg，只有重影Gl和G2成份被消除。因此，可以获得重影得到校正和减小 的输出^L频信号Po。接下来，将参照图3和图4描述匹配装置12的具体结构。图3是匹配 装置12的具体结构的框图。在图3中，附图标记21是差分滤波处理电路， 22是差分滤波处理电路，23是匹配电路，24是匹配判断电路。差分滤波处理电路21从信号处理电路6所提供的拾取图像Pi中提取轮 廓，以产生拾取图像轮廓提取结果Pi、。差分滤波处理电路22提取由估计重 影发生器IO提供的估计重影Ge的轮廓，以产生匹配目标图像Gm。通过从 拾取图像轮廓提取结果Pi、中的匹配参考块Pm中去除匹配目标图像Gm获 得去除结果，匹配电路23以去除结果来计算估计重影Ge与拾取图像Pi中 所产生的实际重影G的匹配度a 。匹配判断电路24基于匹配度a在拾取图 像Pi中搜索与估计重影Ge相匹配的重影G。当重影G作为搜索结果被发现 时，匹配判断电路24产生估计重影图像Pg并将其输出到重影去除器13。图4是匹配电路23的具体结构的框图。在图4中，附图标记14是估计 重影位置存储装置，15是去除器。估计重影位置存储装置14存储由差分滤 波处理电路22根据估计重影Ge产生的匹配目标图像Gm的坐标。去除器 15通过从匹配参考块Pm中去除匹配目标图像Gm来计算估计重影图像Gm 与实际重影G的匹配度a。这时，去除器15只有在实际重影G符合由估计
重影位置存储装置14提供的匹配目标图像Gm的坐标时，才通过执行去除 过程计算匹配度a。接下来，将描述前述结构的匹配装置12的操作。匹配装置12接收从信 号处理电路6输入的拾取图像Pi,和来自估计重影发生器IO的估计重影Ge。 匹配装置12通过图样匹配在拾取图像Pi中搜索与估计重影Ge匹配的重影。 也就是说，差分滤波处理电路21通过轮廓提取产生拾取图像轮廓提取结果 Pi、。拾取图像轮廓提取结果被匹配参考块Pm单元传输到匹配电路23。同 样的，差分滤波处理电路22通过轮廓提取根据估计重影Ge产生匹配目标图 像Gm。该匹配目标图像由在左上方具有坐标原点(0， 0)的坐标系管理， 匹配目标图像Gm的坐标被存储在估计重影位置存储装置14中。估计重影 位置存储装置14向去除器15提供匹配目标图像Gm的坐标。去除器15， 基于符合匹配目标图像Gm的坐标的实际重影G的去除条件，从拾取图像轮 廓提取结果Pi、的匹配参考块Pm中去除匹配目标图像Gm，以计算估计重影 Ge与实际重影G的匹配度oc 。所计算的匹配度a被输出到匹配判断电路24。去除器15通过在拾取图像轮廓提取结果Pi、中移动匹配参考块Pm以覆 盖全部像素，例如从左上端到右下端，来计算匹配度a。匹配判断电路24， 一旦接收到所提供的匹配度ct,就将具有最小匹配度a值的匹配参考块Pm 判断为匹配估计重影Ge的匹配参考块Pm。图5示出了匹配电路23的另一结构实例。附图标记15a是用于乂人匹配 参考块Pm中去除匹配目标图像Gm的去除器，16是估计重影提取装置。去 除器15a向估计重影提取装置16提供通过从拾取图像轮廓提取结果Pi、的匹 配参考块Pm中去除匹配目标图像Gm所获得的去除结果。由去除器15a获 得的去除结果除了重影外也包含该对象的轮廓信息，这一点不同于图4的情 况。基于实际重影G符合估计重影位置存储装置14所提供的匹配目标图像 Gm的坐标的提取条件，估计重影提取装置16可选地从去除器15a的去除结 果中提取规定的去除结果，以计算估计重影Ge与拾取图像Pi中所产生的实 际重影G的匹配度cc 。所计算的匹配度oc被输出到匹配判断电路24。
在这样的匹配电路23结构中，除了重影，实际对象轮廓也在拾取图像 轮廓提取结果Pi、的重影G内被提取。因此，如果拾取图像轮廓提取结果Pi、 像之前那样被使用，那么有可能会误判重影。因此，匹配电路23仅针对估 计重影Ge附近的数据判断匹配度a。也就是说，匹配目标图像用坐标进行 管理，并且仅当实际重影G匹配目标图像Gm的坐标时，才根据匹配参考块 Pm和匹配目标图像Gm之间的差异来计算匹配度a。结果，仅仅关注通过 排除实际拾取图像Pi的轮廓的重影来计算匹配度cc是可能的。
当匹配判断电路24基于匹配度a在拾取图像Pi中找到了与估计重影 Ge相匹配的重影G时，匹配判断电路24产生估计重影图像Pg并将其输出 到重影去除器13。 (第二实施例)
被诸如螺钉或光圈之类的透镜镜筒结构元件反射的光在图像传感器上 形成图像时，就产生重影。因此，期望根据透镜布局产生相似形状的重影， 该重影的尺寸为所产生重影形状的N (N是任意实数)倍大。因此，估计重 影发生器IO基于与主光源M的亮度和位置有关的信息以及诸如光圈、透镜 布局、透镜镜筒之类的结构信息，预先产生估计重影Ge的形状和颜色。进 一步地，估计重影发生器IO也将N倍相似形状的估计重影的信息存储在重 影管理存储器ll中。因此，也有可能校正N倍相似形状的重影。假定实数 N的可能范围预先通过仿真计算得到。
如前所述，为了存储与将要产生的N倍尺寸的重影形状有关的信息， 需要大容量的存储器。如果图像系统没有或者不能配置大容量的存储器，则 可以按如图6所示的方式构成。在图6中，预想的最小重影形状被预先存储 在重影管理存储器u中，N倍数量级的相似形状的重影通过此处提供的变 焦装置17产生。基于成像光学系统和光源信息的条件，估计重影发生器IO 选择和读取与在存储于重影管理存储器11中的估计重影中所产生的重影相似的重影形状。更进一步的，N倍数量级的相似形状的重影用变焦装置17 产生，并被作为估计重影Ge输出。假定预先通过对成像光学系统条件、光
源信息和变焦大小之间的关系的仿真来执行计算。通过使用图6所示的实施 例，即使在具有较小存储容量的成像系统中也可以获得重影校正。 (第三实施例)总的来说，成像系统的信号处理电路6具有图7所示的结构。也就是i兌， 信号处理电路6包括AWB电路31，基于光源色温对白对象校正颜色平^T; Y校正电路32，通过将光通量与电视机等的显示特性的倒数相乘来线性显 示对象；亮度信号产生电路33;轮廓增强处理电路34，在亮度信号产生后， 增加高频成份以使图像进入高分辨率的视角；加法器35;分色电路36;矩 阵处理电路37，调整传感器的光谱特性和由于信号处理而变得不平^f軒的色 调平衡；等等。这里，将参照图8描述轮廓增强处理电路34。当输入到成像系统的图 像信号通过透镜或光学低通滤波器时，其中的高频成份得到衰减。轮廓增强 处理通过将输入图像信号的衰减的高分辨率成份增强到原始信号，来恢复分 辨率。作为这种处理的实例，描述具有衰减的高频成份的信号Sl被输入的 情况。在这种情况下，对信号Sl使用差分滤波器，以产生信号S2，在信号 S2中，只提取输入信号的高频成份，即输入信号的轮廓。然后，信号S2被 加入到信号S1中，以增强被衰减的高频成份。从而，有可能产生轮廓被增 强的信号S3。通过使用这个原理，也有可能在轮廓增强处理电路34中使用如图3所 示的差分滤波处理电路21作为差分滤波器。图9示出了当差分滤波处理电 路用于双重目的时的电路框图。估计重影发生器IO从重影管理存储器11中读出估计重影Ge，并将其 提供给轮廓增强处理电路34。轮廓增强处理电路34将通过从估计重影Ge 中提取轮廓所获得的匹配目标图像Gm输出到匹配装置12。从信号处理电 路6输出的拾取图像Pi也被提供给轮廓增强处理电路34。轮廓增强处理电 路34也提取拾取图像Pi的轮廓信息，并将其输出到匹配装置12。匹配装置 12通过第一实施例中所述的图样匹配产生估计重影图像Pg，并将其提供给
重影去除器13。重影去除器13从实际拾取图像Pi中去除估计重影图4象Pg, 以产生输出视频信号Po。通常，轮廓增强处理电路34根据拍摄模式等具有很多滤波特性。进一 步的，在模拟增益水平增加的状态下，在成像系统的光通量控制的低亮度时， 信号在放大器5中被放大。结果噪声成份也被放大。当在这种方式下;Ji大的 信号由轮廓增强处理电路34进行信号处理时，噪声成份也被增强。因此， 滤波特性也应该根据模拟增益水平来改变。通过在轮廓增强处理电路34中 也使用差分滤波处理电路21作为差分滤波器，可以获得以下益处。即，有 可能选择用于基于透镜信息、对象信息和从主光源检测器9得到的主光源信 息从拾取图像Pi中提取轮廓的差分滤波特性。进一步的，重影形状#4居组 成成像系统的透镜的数量的不同而不同。在这种情况下，有可能根据照相系 统挑选在多个差分滤波特性中具有最优特性的滤波器。 (第四实施例)在载有MPEG型活动图像记录功能的静物照相机或录像机的系统中， 图10所示的MPEG视频编码处理被执行。参考图10,运动检测机41搜索 与参考图像的差异变得更小的位置，作为宏模块单元，并且所获得的位置信 息(运动矢量)和差值被编码。此处将参照图11描述运动检测机41的处理。使用宏模块单元，比较参考帧Fl中的候选模块B1和编码目标帧F2中 的编码目标宏模块B2，模块中的每个像素差异的总和D通过以下公式(1) 所表达的模块匹配方法进行计算。参考帧Fl中的候选模块Bl的位置和编 码目标宏模块B2的位置之间的差异，在差异的总和D变为最小时，成为运 动矢量V。￡> = Z|P/——- ( 1 )这里，"i"是宏模块中的像素数。在图11中，模块被图示为具有4x4 像素。但是，在实际中，在MPEG2的情况下，基于16xl6的像素单元进 行处理。
如前所述，运动检测机41计算关于参考图像及其位置信息的差异，并 被预先载入具有活动图像记录功能的相机系统中。因此，也可以使用运动检 测机41作为匹配装置12。当运动检测机41用作匹配装置12时，作为编码 目标帧F2的代替品的拾取图像Pi和作为参考帧Fl中候选模块B1的代替品 的估计重影Ge,被运动检测机41比较。结果，可以计算模块内每个像素的 差异的总和最小时的位置，也就是，与估计重影相匹配的重影的位置。因此， 重影可以从拾取图像中被去除和校正。 (第五实施例)根据光源、光圈和透镜布局的状况，存在多个重影G产生于拾取图像 Pi的情况，如图2所示。在这些情况下，如果对所有的重影执行图样匹配处 理，那么处理时间变得非常长。因此，产生多个重影的情况和每个重影的相 对位置关系也通过仿真被预先计算出来，并且所计算的位置关系被存储到重 影管理存储器11的条件存储存储器llb。通过这么做，其他部分重影的位 置可以根据单个估计重影来获取。因此，通过从所产生的多个重影中用匹配 装置12检测至少单个重影图样，就可以同时产生其余重影的估计重影。 (第六实施例)图12示出了拾取图像信号Sll被输入到重影去除器13,同时估计重影 的信号水平为S12的情况下，像素单元的信号水平的去除结果(S13)。水 平轴指示每个像素的信号(逐个地)，图12示出了对整个8个像素的去除 处理。重影成份通过从输入信号Sll去除估计重影来消除。这时，输入信号 已达到饱和水平，使得如果执行去除处理，那么产生重影的像素的信号水平 将低于其周围像素的信号水平。因此，重影没有通过去除而被消除。相反， 产生具有低信号水平的重影，即，暗重影。为了避免此类不便，可以这样做， 即，重影去除器13判断在输入的拾取图像中超过规定阈值的信号水平是否 饱和，并在饱和时，确定不执行去除。本发明已参照最优选实施例进行了详细描述。不过，在不偏离所附权利 要求的精神和广阔范围的情况下，可以对各个部分进行组合和修改。
权利要求
1、一种成像系统，包括信号处理电路，其通过对利用成像光学系统获得的拾取信号执行信号处理来产生图像信号，其中该成像光学系统包括透镜、光圈、图像传感器和透镜镜筒；主光源检测器，其检测包含在所述图像信号的拾取图像中的主光源；估计重影发生器，其基于所述主光源和所述成像光学系统的布局信息以及所述透镜镜筒的结构信息，产生估计重影；匹配装置，其通过利用图样匹配在所述拾取图像中搜索所述估计重影，提取估计重影图像；和重影去除器，其从所述拾取图像中去除所述估计重影图像。
2、 根据权利要求1所述的成像系统，其中，所述主光源检测器基于所 述拾取图像的亮度、位置和颜色的信息来检测所述主光源。
3、 根据权利要求1所述的成像系统，其中，所述主光源检测器将亮度 水平大于与所述成像光学系统的孔径值相适应的亮度水平的图像部分检测 为所述主光源。
4、 根据权利要求1所述的成像系统，其中，所述主光源-险测器将亮度 水平大于与所述图像传感器的曝光时间相适应的亮度水平的图像部分检测 为所述主光源。
5、 根据权利要求1所述的成像系统，其中，所述估计重影发生器基于 与所述主光源的亮度和位置有关的信息、与所述光圈、透镜布局和所述透镜 镜筒结构有关的信息，产生所述估计重影。
6、 根据权利要求5所述的成像系统，其中，所述估计重影发生器进一 步包括用于存储所产生的所述估计重影的形状的存储装置。
7、 根据权利要求1所述的成像系统，其中所述估计重影发生器根据与所述主光源的亮度和位置有关的信息、与所 述光圈、透镜布局和所述透镜镜筒结构有关的信息，产生第一估计重影；还 像所述第一估计重影那样预计产生形状是所述第一估计重影的N(N是任意 实数)倍大的第二估计重影；并且所述估计重影发生器进一步包括用于存储所述第一估计重影和所述第 二估计重影的存储装置。
8、 根据权利要求1所述的成像系统，其中，所述估计重影发生器 基于与所述主光源的亮度和位置有关的信息，确定所述估计重影的形状； 基于与所述主光源的颜色有关的信息，确定所述估计重影的颜色；并且 基于与所述主光源的亮度有关的信息，确定所述估计重影的亮度。
9、 根据权利要求1所述的成像系统，其中，所述估计重影发生器针对 所述估计重影的亮度设置阈值，然后当所述估计重影的亮度小于所述阈值 时，停止产生所述估计重影。
10、 根据权利要求1所述的成像系统，其中，所述估计重影发生器基于 与所述主光源的亮度和位置有关的信息以及与所述光圈和透镜布局有关的 信息，针对所述估计重影的尺寸设置阈值，然后当所述估计重影的尺寸小于 该阈值时，停止产生所述估计重影。
11、 根据权利要求6所述的成像系统，其中，所述估计重影发生器进一 步包括用千形成类似形状的所述估计重影的变焦装置。
12、 根据权利要求7所述的成像系统，其中，所述估计重影发生器进一 步包括用于形成类似形状的所述估计重影的变焦装置。
13、 根据权利要求8所述的成像系统，其中，所述估计重影发生器进一 步包括用于形成类似形状的所述估计重影的变焦装置。
14、 根据权利要求9所述的成像系统，其中，所述估计重影发生器进一 步包括用于形成类似形状的所述估计重影的变焦装置。
15、 根据权利要求10所述的成像系统，其中，所述估计重影发生器进 一步包括用于形成类似形状的所述估计重影的变焦装置。
16、 根据权利要求1所述的成像系统，其中，所述匹配装置从所述拾取图像中提取图样与所述估计重影相匹配的图像，作为所述估计重影图像。
17、 根据权利要求1所述的成像系统，其中，所述匹配装置分别从所述拾取图像和所述估计重影图像中提取轮廓，并且提取所提取轮廓之间的差异 最小的位置，作为所述估计重影图像。
18、 根据权利要求13所述的成像系统，其中，在计算所述拾取图像的 轮廓与所述估计重影图像的轮廓之间的差异时，所述匹配装置选择性地将所 述估计重影的所述轮廓附近的数据作为匹配判断的目标。
19、 根据权利要求13所述的成像系统，其中，所述匹配装置包括差分滤波器，该差分滤波器用于从所述拾取图像和所 述估计重影中提取轮廓，其中分滤波器。
20、 根据权利要求1所述的成像系统，其中， 所述匹配装置包括图样匹配机，其中所述图样匹配机还用作对活动图像进行编码的运动检测才几。
21、 根据权利要求1所述的成像系统，其中， 一旦检测到至少一个所述 估计重影图样，所述匹配装置就基于预先执行的仿真结果，推测出同时产生 的另一估计重影图像。
22、 根据权利要求1所述的成像系统，其中，所述重影去除器从所述拾 取图像中去除所述匹配装置认定的与所述拾取图像中的所述估计重影相一 致的所述估计重影图像。
23、 根据权利要求1所述的成像系统，其中，所述重影去除器对于所述 拾取图像中的饱和部分，停止所述估计重影图像的去除处理。
24、 一种数字照相4几，包括 成像光学系统，其用于形成图像； 图像传感器，其拍摄所述图像并产生电信号；和 如权利要求1所述的成像系统，其对所述电信号执行信号处理。
全文摘要
一种信号处理电路，通过对成像信号执行信号处理来产生图像信号，其中成像信号通过包含透镜、光圈、图像传感器和透镜镜筒的拾取光学系统来获得。主光源检测器检测包含在图像信号的拾取图像中的主光源。估计重影发生器基于主光源和成像光学系统的布局信息以及透镜镜筒的结构信息产生估计重影。匹配装置通过使用图样匹配在拾取图像中搜索估计重影来提取估计重影图像。重影去除器从拾取图像中去除估计重影图像。
文档编号H04N5/235GK101119438SQ20071013588
公开日2008年2月6日 申请日期2007年7月30日 优先权日2006年7月31日
发明者小川真由, 猪熊一行, 藤井俊哉 申请人:松下电器产业株式会社