成像装置的制作方法

专利名称：成像装置的制作方法
技术领域：
本发明涉及一种能够校正对象图像的畸变特别是广角畸变的成像 装置。
背景技术：
近几年流行的数码相机以数字数据的形式获取图像。不同于相片 图像，数字图像数据可经受各种图像处理，以允许后期进行所谓润色 来修改图像和校正颜色。还有一项公知的技术是，在图像获取过程中 在图片帧内检测人物面部并且进行控制以获得合适的面部大小以及适
当的亮度(例如参见日本专利特开公开No. 2004-320284，对应于美国 专利申请公开No. 2004/0207743)。
同时，当对象图像通过透镜形成在摄影胶片上或图像传感器上， 有时图像会模糊或畸变。这些模糊和畸变发生的一个主要原因是所使 用透镜的像差。特别地，模糊是由球面像差、像散(astigmatism)、慧 差(coma)和场曲造成的。
图像的畸变在另一方面是由畸变像差造成的。因为畸变像差是入 射光较多远离透镜中心折射的现象，导致的图像的畸变(下文中的光 学畸变)根据透镜和孔径光阑之间的位置关系而改变。因此，在变焦 透镜中，这个变焦透镜的孔径光阑改变与透镜系统的相对位置，很难 均匀地减少光学畸变。
对于胶片照相机，为了减少光学畸变，除了布置摄影胶片的配置 或者拍摄镜头的设计之外没有其他的选择。然而，对于数码相机来说， 光学畸变可以通过对图像数据应用电子图像变图像转换处理换处理被减少。例如，已经知道一种以不同的放大率显示图像的不同部分的视
频摄影机(参见例如日本特开公开No. 09-018763)，和一种tongguo利 用一个图像转换处理减少捕获图像的光学畸变的数码相机(参见例如 曰本专利特开No. 11-252431)。
除了光学畸变，已知还存在广角畸变。广角畸变是当三维对象通 过透镜被投射到平面(图像传感器的光接收平面或摄影胶片)时发生 的一种现象，并且它具有从图片帧的中央径向拉长图像的作用。因此， 广角畸变通常在广角图像中变得很明显，并且在图片帧的外围中更加 突出。
由于广角畸变由成像装置的基本原理所导致，所以广角畸变不能 被完全消除。然而，已经知道当采用具有较大像差的透镜时，广角畸 变变得较不明显(参见例如日本专利特开No. 11-065033)。
通常，普通透镜具有45度视角，并且广角畸变不是问题。然而近 几年，具有70度或更大视角的广角透镜开始普及，由于广角畸变造成 的图像质量损失变成一个严重的问题。例如，如果用这种广角透镜获 取群像(group image)，由于广角畸变，在图片帧外围的人可能带有 畸变的面部。
虽然如此，如果用具有较大像差的透镜来减少广角畸变，那么捕 获图像的光学畸变将显著增加。例如，用这种透镜获取建筑物或这种 直线物体将只能得到其中直线发生弯曲的不自然的图像。在专用效果 照相机中，例如公开号11-065033的透镜适应胶片单元，这不是一个问 题，但是对于一般的数码相机却是一个严重的问题。

发明内容
考虑到前述内容，本发明的一个目的是提供一种能够根据图片帧 中的对象种类来校正图像的畸变的成像装置。为了达到上述和其他目的，根据本发明的成像装置包括拍摄透 镜；图像传感器；和用于校正用拍摄透镜捕获的图像的光学畸变和广 角畸变的畸变校正器。当校正由拍摄透镜的畸变像差所引发的光学畸 变时，所述畸变校正器对所述图像施加图像转换处理，以向该图像提 供光学畸变的相反符号的畸变。当校正广角畸变时，畸变校正器对所 述图像施加图像转换处理，以将相应于广角畸变大小的负畸变提供给 图像。
优选提供校正选择器用于选择如何校正光学畸变和广角畸变。优 选地，当由于拍摄透镜的畸变像差造成的光学畸变为负并且具有用于 校正广角畸变的大小时，则校正选择器不选择校正光学畸变和广角畸 变，而是用由拍摄透镜的畸变像差造成的光学畸变来校正广角畸变。
同样优选地，提供面部检测器用于在图像中检测人物的面部。这 样，当在图像中检测到人物面部时，校正选择器优选选择校正广角畸 变。更加优选地是，当在预定的入射角之外检测到人物面部时，校正 选择器选择校正广角畸变。
进一步优选地，当校正选择器选择校正广角畸变和光学畸变时， 产生校正了光学畸变的光学畸变校正图像，和校正了广角畸变的广角 畸变校正图像。
在这种情况下，优选广角畸变校正图像通过应用图像转换处理以 对光学畸变校正图像给予负畸变来产生。
优选提供存储设备，用于储存光学畸变校正图像和广角畸变校正 图像，并且更加优选地提供显示设备，该显示设备首先从存储设备中 获取光学畸变校正图像和广角畸变校正图像，平分这些图像中的每一 幅，然后并列放置这些图像的对应一半，以及优选提供图像选择器，用于选择所述光学畸变校正图像和所述广角畸变校正图像中的一幅， 然后从存储设备中删除没有被选择的一幅图像。
更加优选地，图像转换处理是使用坐标变换函数的坐标变换处理， 并且成像装置包括校正系数表，该校正系数表包含坐标变换函数的系 数。
根据本发明，成像装置具有畸变校正器，该畸变校正器执行图像 转换处理以校正光学和广角畸变。因此，可易于生成基本没有畸变的
图像。此夕卜，在广角畸变校正之前，检测光学畸变的倍率(magnification) 以及检测人物面部的存在/不存在，以及可以根据图像的情况和对象种 类产生适当校正的图像。


本发明的以上目的和优点，通过以下结合附图阅读的详细说明时 将变得更清楚，其中
图1是根据本发明的数码相机的透视图； 图2是数码相机的后视图3是示出根据第一实施例的数码相机的电气配置的结构图； 图4A到图4D是示出用来生成带有负畸变的图像的图像转换处理 的说明图5A到图5C是光学畸变的说明图6是示出广角畸变机制的说明图7是根据第一实施例的数码相机的操作的流程图8是用于有选择地校正广角畸变和光学畸变中的一个的流程图9是示出根据第二实施例的数码相机的电气配置的结构图10是根据第二实施例的数码相机的操作的流程图11是用于根据拍摄镜头的特性判定是否校正广角畸变的流程
图12是示出根据第三实施例的数码相机的电气配置的结构图；.图13是根据第三实施例的数码相机的操作的流程图14A和图14B是示出根据面部检测结果的图像畸变校正的说明
图15是用于根据人物面部的位置来判定是否校正广角畸变的流程
图16A和图16B是示出根据人物面部的位置的图像畸变校正的说
明图17是用于存储通过坐标变换处理生成的光学畸变校正图像和 广角畸变校正图像的流程图18是用于存储通过使用拍摄镜头的失真像差所生成的光学畸变 校正图像和广角畸变校正图像的流程图19是用于通过对光学畸变校正图像施加坐标变换处理来产生 广角畸变校正图像的流程图；以及
图20是用以阐明在广角畸变校正图像与光学畸变校正图像之间 差异的显示器的说明图。
具体实施例方式
参照图1，数码相机(成像装置)10由照相机主体11和可拆卸透 镜单元12组成。
透镜单元12包括透镜筒16和位于该透镜筒16中的拍摄镜头17。 该透镜单元12和照相机主体11在它们的安装部分具有用于相互联锁 的卡口爪(未示出)。当透镜单元12安装在照相机主体11上并且被 转动时，则卡口爪相互联锁，并且透镜单元12可靠地附着到照相机主 体11上。如果需要，可以将透镜单元12从照相机主体U上拆卸下来 并替换为带有不同类型拍摄镜头的另一透镜单元。
在照相机主体11的前表面上提供开锁按钮18和闪光发射器19。 为了防止透镜筒16从照相机主体11上意外掉落， 一旦透镜单.元12被附着到照相机主体ll上，则透镜单元12被锁定。开锁按钮18被按下 以解除透镜单元12的锁定。众所周知，例如，当主要对象较暗时，激 活闪光发射器19。
在照相机主体11的顶表面上提供快门释放按钮21、模式选择转盘 22等。快门释放按钮21被分两步按下。快门释放按钮21被按下一半 则激活初步操作，如自动对焦调节(AF)和自动曝光调节(AE),当 完全按下快门释放按钮21时，捕获物体的图像。模式选择转盘22切 换数码相机10的工作模式。数码相机10在不同的工作模式下工作， 工作模式例如再现模式、多图像捕获模式和设置模式。
再现模式用于再现记录介质，例如存储卡23 (见附图3)中的图 像，并且在显示面板24 (以后说明)上显示再现的图像。图像捕获模 式用于捕获并将对象图像存储在存储卡23中。数码相机10提供远景 模式、近景模式、肖像模式、自动模式、手动模式、广角畸变校正模 式和全景(group shot)模式，并且用模式选择器转盘来选择这些模式 中的一个。例如，在自动模式下，光学摄像条件被自动地设定。在广 角畸变校正模式下，在捕获的图像上自动校正广角畸变。在全景模式 下，用于全景的光学摄像条件被自动地设定。数码相机10对不同的图 像捕获模式执行不同的摄像条件，并且根据选择的图像捕获模式自动 设定摄像条件。
设置模式允许精细调节照相机设置，例如显示面板24的亮度和快 门声音。在设置模式下，再现模式的设置和每个图像捕获模式的拍摄 条件可以被精细并独立地改变。
再现模式的设置参数可以是例如显示面板24的显示方法。图像捕 获模式的设置参数可以是例如图像畸变校正的必要性(开/关)和图像 畸变校正的方法。如图2所示，数码相机10的后表面具有电源按钮26、变焦键27、 十字键28和显示面板24。当电源按钮26被按下一段时间，打开和关 闭数码相机10。变焦键27被按下以通过改变拍摄镜头17的焦距来连 续改变图像的放大率。四个方向的十字键28被按下以在显示面板24 上选择菜单、图像等。显示面板24是液晶显示面板。在图像捕获模式 下，显示面板24相当于电子取景器，用于实时显示直通图像。
在照相机主体11的侧面上有卡槽、通信端口和电源连接器(都未 示出)。存储卡23或类似的存储介质被插入和移出卡槽。通信端口耦 合到外部设备，外部设备例如电脑和打印机，以允许传送和接收捕获 的图像和所需的信息。电源连接器被耦合到外部电源以对数码相机10 的内部电池充电。
如图3所示，拍摄镜头17例如由变焦透镜31、聚焦透镜32和孔 径光阑33组成。该变焦透镜31和该聚焦透镜32可以沿拍摄镜头17 的光轴L在广角侧与远摄侧之间移动。变焦透镜31根据对变焦键27 的按压来移动，并且改变图像的放大率。聚焦透镜32与变焦透镜31 协同移动或响应按下快门释放按钮21—半而移动，以对对象完成聚焦。 孔径光阑33改变孔径的大小并改变用于图像捕获的光量。特别是，当 快门释放按钮21被按下一半时，孔径光阑33根据曝光量改变孔径的 大小。
变焦透镜31、聚焦透镜32和孔径光阑33由透镜马达36驱动。该 透镜马达36包括分别驱动变焦透镜31、聚焦透镜32和孔径光阑33的 多个马达。透镜马达36由从CPU 37接收控制信号的马达驱动器38控 制。
在拍摄镜头17后面放置CCD 39。该CCD 39对通过拍摄镜头17 聚焦在光接收表面上的对象图像进行光电变换，并且输出模拟图像信 号。由从CPU 37接收控制信号的CCD驱动器41控制CCD 39的操作。CCD39产生两种类型的图像信号， 一种是以大量像素记录的图像 信号(在下文中主(principal)图像信号)，它在当完全按下快门释放 按钮21来记录图像时产生，另一种则是用于在取景时在显示面板24 上显示直通图像的直通图像信号。主图象信号首先被转换为数字形式 的主图象数据，并且经过各种图像处理，然后存储在存储卡23中。同 时，直通图像信号首先被转换为数字形式的直通图像数据，并经过各 种简单图像处理，然后暂时存储在SDRAM 42中。该直通图像数据被 从SDRAM 42中取得，并通过解码器43转变为模拟形式的复合信号， 然后被显示在显示面板24上。CCD 39以例如每秒30帧的帧频产生直 通图像信号。
从CCD 39中输出的图像信号被输入到用于从图像中去除噪音的 相关双釆样电路(CDS) 44中，然后由信号放大电路(AMP) 46放大。 放大后的图像信号由A/D转换器(A/D) 47转换为图像数据。该图像 数据是对应于CCD 39的每个单元中的电荷量的RGB图像数据。
DSP48包括图像输入控制器51、图像质量校正电路52、 Y/C转换 电路53和压縮/解压縮电路54。图像输入控制器51暂时地存储(缓存) 来自A/D 47的图像数据，并且把数据写入通过数据总线57连接的 SDRAM 42。
图像质量校正电路52从SDRAM 42获取图像数据，并且对图像 数据应用如灰度级处理、白平衡校正处理和伽玛校正处理的图像质量 校正处理，然后再次将该校正后的图像数据存储到SDRAM 42。
Y/C转换电路53在图像质量校正电路52校正图像质量之后，从 SDRAM 42中获取图像数据，并且将所述数据转换成亮度信号Y和色 差信号Cr、 Cb。在Y/C变换之后，压縮/解压縮电路54以诸如JPEG 格式来压縮略图像数据，并且以预定文件格式输出数据。该压縮后的图像数据通过介质控制器56存储在存储卡23中。
此外，AE/AWB检测电路和AF检测电路(都未示出)也连接到 数据总线57。所述AE/AWB检测电路确定快门速度和孔径光阑值的组 合，并且根据计算的曝光量计算白平衡的校正量。所述AF检测电路移 动聚焦透镜32并确定最大对比度位置。CPU 37将聚焦透镜32放置到 最大对比度位置。
SDRAM 42是用于临时存储图像数据的工作存储器，并且也是装 载数码相机10的控制程序和其他所需程序的地方。所述SDRAM 42具 有VRAM区用于存储直通图像，直通图像以上述帧频进行更新。
CPU 37从EEPROM 58中获取控制程序并且运行该程序以控制数 码相机10的所有部件。该EEPROM 58包含所述控制程序和数码相机 10的各种设置信息。所述EEPROM 58还带有光学畸变校正系数表(在 下文中的光学校正表)60和广角畸变校正系数表(在下文中的广角校 正表)61。
光学校正表60包含用于校正捕获图像的光学畸变的坐标变换函数 的系数(参数)。特别是，光学校正表60包含用于拍摄镜头17的每 个焦距的多个系数集An (n=l， 2， 3，…)。考虑到得自所用透镜结 构的在每个焦距处的光学畸变，来确定每个系数集。
广角校正表61包含用于校正捕获图像的广角畸变的坐标变换函数 的系数(参数)，并且包含用于不同广角畸变大小的多个系数集。
畸变校正部件62包含校正量计算部件63、焦距确定部件64和畸 变估算部件65。畸变校正部件62对主图象的未处理的图像数据(在下 文中中的原始主图象数据)应用坐标变换处理，并且校正畸变和广角 畸变。焦距确定部件64根据所用透镜单元12中的变焦透镜31的位置，
在拍摄时演算拍摄镜头17的焦距，并且将该焦距作为焦距数据与图像 数据相关联，然后存储焦距数据到SDRAM 42。
根据焦距数据，畸变估算部件65估算捕获图像的广角畸变的大小。 将估算的大小与图像数据相关联，并且作为畸变数据存储在SDRAM 42 中。
校正量计算部件63对原始主图像数据应用坐标变换处理(图像转 换处理)，使图像具有正的或负的大小与由拍摄透镜17的畸变像差所 导致的光学畸变相同的畸变。优选使用例如如下的变换函数来执行该 坐标变换处理，R=IAnxrn=Alxr+A2xr2+A3xr3+...，其中，r是每个像
素距离原始图像中心的高度，而R是每个像素在坐标变换处理后的高 度。此外，系数An (Al， A2， A3，...)是确定变换函数的特性的参 数，并且用光学校正表60或广角校正表61中的系数替换。
为了校正广角畸变，当使用广角校正表61中的系数对原始主图像 数据应用坐标变换处理时，得到的图像通常带有桶形畸变。即，图像 在校正量计算部件63中经过坐标变换处理后收縮成桶形。在这种情况 下，如图4A和4B所示，经过处理的图像72可能比原始图像的图片图 片帧71更窄，导致在其外围具有没有图像数据的空白部分74。
为了解决图4B的这个问题，确定系数An，以便当图像变成桶形 时使图像被放大。 一个示例是A1〉1。当由此确定系数An时，图像72 首先被放大，如图4C所示，并且然后，如图4D所示，在区域76中与 图片帧71 —样大小的图像在坐标变换处理后变为图像77。
替代A1〉1，系数可以是AB1。在这种情况下，调节高阶项系数 (A2， A3，...)以放大整个图像。在另一方面，光学校正表60包含系数集，该系数集用于校正取决 于透镜的畸变像差的正和负的畸变。因此，当对原始主图像数据应用 坐标变换处理时，有些时候原始图像出现正畸变，并且在另一些时候 原始图像出现负畸变。
当校正正畸变时，放大图像，类似于使用广角校正表61的坐标变 换处理，使得不失去图像外围。当校正负畸变时，图像被放大以便放 大率随着从中心的距离而增加。在任何情况下，至少图像的一部分被 放大，并且在经过处理后的图像将具有原始图像没有的像素。然而， 将相邻像素的数据插入这些像素。
接下来，解释具有上述结构的数码相机10的操作。例如，当从前 面捕获栅格图像时，理想的图像看上去将与真实的栅格一致，例如图
5A所示，其中，在图像82中的任何地方，栅格81都被平均分隔。然 而，实际上，拍摄镜头的畸变像差导致了图像的光学畸变。例如，在 远摄侧处的数码相机10的拍摄镜头17捕获图像将造成所谓枕形畸变 (在下文中的正畸变)，如图5B所述，这里当与理想图像对比时，图 像83的外围被放大更多。相反，用广角侧处的拍摄镜头17捕获图像 时将造成所谓桶形畸变(在下文中的负畸变)，如图5C所示，这里当 与理想图像比较时，图像84的外围被縮小更多。
正畸变或是负畸变以及畸变大小由所使用的拍摄镜头17的配置和 焦距决定。此外，有时畸变可能是复杂的，畸变的符号根据图的高度 而转变。因此，以下的实施例将利用在远景侧产生正畸变和在广角侧 产生负畸变的拍摄镜头解释，除非阐述另外的拍摄镜头特性。
众所周知，图像的正畸变通过用图像转换处理导致同样大小的负 畸变来校正。类似地，图像的负畸变通过用图像转换处理产生同样大 小的正畸变来校正。.除上述光学畸变以外，当捕获三维对象时，出现广角畸变导致对 象图像从图片帧的中心被径向拉长。
例如，如图6所示，当数码相机IO捕获水平成直线的三个球体86a 到86c的图像时，在所捕获的图像87的中心出现位于拍摄镜头17前面 的球体86b的图形88b。该图形88b是圆盘，并且丝毫不小于从前方看 到的球体86b的理想形状。
这里，因为球体86a到86c都是三维的，当从拍摄镜头17观察时， 在拍摄镜头17对角前面的球体86c的直径被感知为线段P1P2。当球体 86c的光通过拍摄镜头17被聚焦到CCD 39的光接收表面89上时，三 角形P0P1P2在几何上与三角形P0P3P4非常相似，但是三角形P0P1P2 与三角形P0P3P5并不相似。结果，线段P1P2被从理想线段P3P4拉长 为线段P3P5，并且聚焦在光接收表面89上。用这种方式，具有大入射 角度0并且位于图片帧外围的球体86c的图形88c被从图像87的中心 径向拉长。对于图形88a和88d到88i也同样适用。
如上所述，广角畸变是由对象、拍摄镜头和光接收表面的几何位 置以及对象是三维的所导致的，并且独立于由拍摄镜头17的像差导致 的光学畸变等图像畸变发生。特别是，对拍摄镜头17具有大入射角度 的图形来说，广角畸变更加显著。
接下来，参考附图7，解释对广角畸变进行的校正。当捕获主图像 时，得到拍摄镜头17的焦距数据。然后，根据该焦距数据，估算出广 角畸变的大小。
根据该广角畸变的大小，畸变校正部件62从广角校正表61中选 择系数，并且使用该选择的系数对原始主图像数据应用坐标变换处理。 产生对应于该广角畸变大小的负畸变，以消除径向拉长广角畸变，并且由此产生校正了广角畸变的图像。
当用这种方式校正广角畸变时，如果可以选择校正广角畸变和光 学畸变中的一个，则将会更加方便。即，数码相机可以被设置为根据 例如所选择的图像捕获模式来选择广角畸变校正函数或光学畸变校正 函数，或设有选择器按钮以允许使用者选择这些函数中的一个。
图8示出了一个实施例，在这个实施例中根据图像捕获模式选择 广角畸变校正函数或光学畸变校正函数。根据在图像捕获期间得到的 焦距数据，估算出广角畸变和光学畸变的大小，并且作为畸变信息被 存储。当选择广角畸变校正函数时，则通过所述的坐标变化处理来校 正广角畸变。
另一方面，当选择光学畸变校正函数时，畸变校正部件62根据所 述焦距从光学校正表60中选择坐标变换处理的系数。
例如，使用在广角侧处的拍摄镜头17捕获的图像将具有负畸变， 但是使用根据焦距选择的系数，由该拍摄镜头17的像差造成的该负畸 变通过坐标变换处理导致的正畸变被消除，并且生成校正了广角畸变 的图像。
另外，使用在远景侧处的拍摄镜头17捕获的图像将具有正畸变， 但是从光学校正表60中选择产生负畸变的系数。由拍摄透镜17的像 差造成的正畸变通过坐标变换处理产生的负畸变被消除，并且生成校 正了光学畸变的图像。
使用这种方法，选择和校正广角畸变或光学畸变中的一个允许容 易地生成根据对象种类和拍摄条件适当校正的图像。
由于EEPROM 58具有有限的存储大小，光学校正表60和广角校正表61不能总是包含用于每一个拍摄镜头17的各种系数。此外，例
如，当手动调节焦距或其他参数时，在光学校正表60和广角校正表61
中不能找到用于校正在经调节的焦距上的畸变的适当系数。在这种情 况下，缺少的系数利用校正表中的系数来插值。
在上述实施例中，产生负畸变的坐标变换处理被应用于带有广角 畸变的图像，透镜的畸变像差可以用来校正广角畸变。这将作为第二 实施例在下文中解释，在第二实施例中同样的元件用与第一实施例同 样的数字来表示，并且省略对其的详细解释。
在图9中，拍摄镜头212具有至少在广角侧产生负畸变的光学特 性。但是，更优选拍摄镜头212跨广角端到远摄端都产生负畸变。此 外，数码相机210可以启用和禁用(开/关)广角校正功能。因此，如 图10所示，当在广角畸变校正功能关闭的情况下捕获图像时，畸变校 正部件211对原始主图像数据应用用于光学畸变校正的坐标变换处理， 并且生成校正了光学畸变的图像。
当在广角畸变校正功能打开的情况下捕获图像时，畸变校正部件 211在校正量计算部件63中禁用坐标变换处理。即，畸变校正部件211 不对捕获的图像应用坐标变换处理。结果，由拍摄镜头212畸变像差 造成的使图像收縮的光学畸变和使图像拉长的广角畸变相互抵消，生 成校正了广角畸变的图像。
如所述，数码相机210使用拍摄镜头212的畸变像差校正广角畸 变，并且不需要用于校正广角畸变的图像处理。这使得它能够容易在 短时间内生成校正了广角畸变的图像。此外，不需要在EEPROM 58中 存储用于广角畸变校正的系数，可以节省存储容量。
.在数码相机210中在启用广角畸变校正功能的情况下校正广角畸变，并且在禁用广角畸变校正功能的情况下校正光学畸变，除此之外， 可以根据附着的拍摄镜头212的特性有选择地校正光学畸变和广角畸 变。
例如，在开启广角畸变校正功能时，数码相机210只在拍摄镜头
212的畸变像差造成的光学畸变具有足够大小以减少广角畸变时，才可 以被设定为禁用校正量计算部件63的图像转换处理，而不是总是禁用 图像转换处理。
换句话说，如图11所示，当在关闭广角畸变校正功能的情况下捕 获图像时，畸变校正部件211根据畸变数据从光学校正表113中选择 系数，并且使用所选择的系数对原始主图像数据应用用于光学畸变校 正的坐标变换处理。
在另一方面，当在开启广角畸变校正功能的情况下捕获图像时， 畸变校正部件211根据畸变数据比较捕获图像的光学畸变和广角畸变。 然后，如果光学畸变具有负号和足够量以校正广角畸变，则畸变校正 部件211禁用校正量计算部件63的坐标变换处理并且使用由拍摄镜头 212的畸变像差造成的负畸变来校正广角畸变。
然而，如果光学畸变具有正号，则即使当广角畸变校正功能开启 时，畸变校正部件211在校正量计算部件63中对原始主图像数据应用 坐标变换处理，并且校正光学畸变而不是广角畸变。
即使当光学畸变具有负号并且启用广角畸变校正功能时，如果光 学畸变不具有校正广角畸变的大小，则畸变校正部件211再一次在校 正量计算部件63中应用坐标变换处理并且校正光学畸变而不是广角畸 变。
此外，如果光学畸变过大以致过分地校正广角贿变并且使图像小于理想形状以致显出负畸变，则畸变校正部件211即使在开启广角畸 变校正功能时依然应用坐标变换处理，以便校正光学畸变而不是广角 畸变。
用这种方法，数码相机210根据拍摄镜头212的特性决定校正广 角畸变还是光学畸变，并且生成根据捕获图像时的条件适当校正了畸 变的图像。同样还可以防止广角畸变没有被充分校正以及此外光学畸 变变得显著的情况。
在第一和第二实施例中，根据图像捕获模式的设定选择性地校正 广角畸变和光学畸变中的一个，可以根据对象的类型来选择性地校正 两者中的一个。这将作为第三实施例在下文中解释，在第三实施例中 同样的元件由与上述实施例同样的数字表示，并且省略对其的详细解 释。
如图12所示，数码相机310包括用于在图片帧中检测人物面部的 面部检测部件311。所得到的信息，如存在/不存在人物面部、所检测 到的面部的位置、大小、数量，被作为面部检测数据存储到SDRAM 42 中。面部检测数据被畸变校正部件312获取，并用来决定校正光学畸 变还是广角畸变。面部检测通过所谓图形匹配方法来执行，该图形匹 配方法将捕获的图像与眼睛、鼻子、嘴以及其他特征部分的模板图像 相比较，但是也可以代之以使用普通的方法如检测图像中的肉色像素。
畸变校正部件312校正广角畸变或光学畸变。根据面部检测数据 来决定是校正广角畸变还是光学畸变。
如图13所示，当用数码相机310捕获图像时，获得焦距数据和对 象的图像。然后，根据该焦距数据，获得并保存表示广角畸变和光学 畸变的大小的畸变数据。在这个例子中，面部检测部件311检测图片帧中的人物面部，并 且将如存在/不存在人物面部、检测到的面部的位置和大小的信息作为 面部检测数据进行存储。
当检测到人物面部时，畸变校正部件312根据畸变数据从广角校 正表61中选择适当的系数，并且使用所选择的系数对原始主图像数据 应用用于广角畸变校正的坐标变换处理。
另一方面，当没有检测到人物面部时，畸变校正部件312根据焦 距从光学校正表113中选择适当的系数，并且使用所选择的系数应用
用于光学畸变校正的坐标变换处理。
使用这种方法，数码相机310根据面部检测的结果，决定校正广 角畸变还是光学畸变，并且自动对捕获图像的对象执行适当的畸变校 正。
为了确切，如图14A所示，当在捕获图像的图片帧316a中检测到 人物面部317a、 317b时，数码相机310对图片帧316a中的图像应用用
于广角畸变校正的坐标变换处理，并且将校正了广角畸变的图片帧 316b存储在存储卡23中。因此，提升了图片帧316b中的背景318上 的光学畸变。然而，图片帧316b中的面部317a、 317b被校正使得它们 与它们的实际形状接近相同，而由于广角畸变，屈片帧316a中的面部 317a、 317b与它们的实际形状不同。
另一方面，如图14B所示，当在图片帧316c中没有检测到人物面 部时，数码相机310对图片帧316c应用用于光学畸变校正的坐标变换 处理，并且将校正了光学畸变的图片帧316d存储在存储卡23中。因 此，广角畸变在图片帧316中依然有些引人注目。然而，图片帧316d 中的建筑物319被校正使得它们具有它们应该具有的直线，而图片帧316c中的建筑物319被畸变为桶形。
使用这种方法，数码相机310自动对全景或与人有关的图像执行 广角畸变校正而不是光学畸变校正，在上述与人有关的图像中，广角 畸变对人、主要对象的影响比光学畸变校正对背景的影响更加重要。 另一方面，如果捕获的图像是与建筑有关的图像或直线对象的图像， 则光学畸变被自动校正，在上述与建筑有关的图像或直线对象的图像 中，光学畸变比广角畸变更重要。因此，用数码相机310，能够容易地 产生根据对象的种类校正了广角畸变或光学畸变的图像。
在第三实施例中，根据是否检测到人物面部，来选择广角畸变校 正还是光学畸变校正，可以根据所检测到的人物面部的大小、数量或
位置或是它们的组合做出选择。
例如，如图15所示，当在捕获的图片帧中没有检测到人物面部时， 畸变校正部件312根据焦距从光学校正表113中选择合适的系数，并 且使用选择的系数对原始主图像数据应用用于光学畸变校正的坐标变 换处理。
另一方面，当检测到人物面部时，根据检测到的面部的位置来校 正广角畸变或是光学畸变。即，畸变校正部件312根据面部检测数据 和焦距数据来判定检测到的面部是否在预定的入射角内(例如对角线 上的45度入射)。
如果检测到的面部在预定的入射角内，畸变校正部件312根据焦 距从光学校正表113中选择适当的系数，并且使用选择的系数对原始 主图像数据应用用于光学畸变校正的坐标变换处理。
如果检测到的面部在预定的入射角外Z畸变校正部件312根据畸 变数据从广角校正表61中选择适当的系数，并且使用选择的系数对原始主图像数据应用用于广角畸变校正的坐标变换处理。
因为根据图片帧中的检测面部的位置，例如在预定入射角内部或 外部，来选择广角畸变校正或光学畸变校正图片帧，根据广角畸变对 捕获的人物的影响，自动地并且适当地校正畸变。
更加具体的，如图16A所示，当在图片帧321中检测到人物面部
322a到322c时，将这些面部的位置与预定入射角的区域323进行比较。 在图片帧321中，面部322a到322c都在区域323中，并且实际上广角 畸变并不显著。因此，对图片帧321应用用于光学畸变校正的坐标变 换处理，并且将在背景324上校正了光学畸变的图像325存储在存储 卡23中。
同样，如图16B所示，当在图片帧326中检测到人物面部322a 到322f时，将这些面部的位置与预定入射角的区域323进行比较。在 图片帧326中，广角畸变实际在位于区域323中的面部322a到322c 上并不显著，在位于区域323外的面部322d到322f上显著。因此，对 图片帧326应用用于广角畸变校正的坐标变换处理，并且将校正了在 面部322a到322f上的广角畸变的图像327存储在存储卡23中。
采用这种方法，当人物面部在广角畸变不明显的预定入射角内时 校正光学畸变，而当人物面部在广角畸变明显的预定入射角外时则校 正广角畸变。因此，可以容易地生成根据在人物面部上的广角畸变的 大小校正了广角畸变或光学畸变的图像。
此外，如果根据检测到的人物面部的大小选择广角畸变校正或光 学畸变校正，不仅对人物的存在自动进行检测，还对这个人物是否是 主要对象进行检测。这允许对捕获的图像进行更加有效的畸变校正。
在第三实施例中，类似于第一实施例，通过对捕获的图像应用坐标变换处理来校正广角畸变，如第二实施例那样，可以使用由拍摄镜 头的畸变像差造成的光学畸变来校正广角畸变。
在第一到第三实施例中，被校正了广角畸变或光学畸变的图像被 存储在存储卡23中。然而，也可以在存储卡23中存储校正了广角畸 变的图像(在下文中的广角畸变校正图像)和校正了光学畸变的图像 (在下文中的光学畸变校正图像)。
例如，当如第一实施例那样通过应用坐标变换处理来校正光学畸
变时，对暂时存储在SDRAM 42中的图像数据应用用于广角畸变校正 的坐标变换处理，如图17所示，并且将广角畸变校正图像存储到存储 卡23中。在这个例子中，图像数据没有从SDRAM 42中删除。然后， 将用于光学畸变校正的坐标变换处理应用于SDRAM 42中的图像数 据，并且将光学畸变校正图像存储到存储卡23中。在这个步骤，图像 数据被从SDRAM 42中删除。
可选择地，当如第二实施例那样只用由拍摄镜头的畸变像差造成 的负畸变来校正广角畸变时，暂时存储在SDRAM 42中的图像数据首 先被作为广角畸变校正图像存储到存储卡23中，如图18所示。再次， 图像数据没有从SDRAM 42中删除。然后，将用于光学畸变校正的坐 标变换处理应用于SDRAM 42中的图像数据，并且将光学畸变校正图 像存储到存储卡23中。最后，图像数据被从SDRAM 42中删除。
如果至少在捕获图像时存储广角畸变校正图像和光学畸变校正图 像，而不是存储其中之一，则可以在以后复查畸变校正的效果，并且 选择合适的校正。
当然，即使当根据面部检测的结果来选择校正广角畸变校正或光 学畸变校正时，如第三实施例，根据需要可以将广角畸变校正图像和 光学畸变校正图像都存储到存储卡23中。例如，数码相机可以被设置为当在捕获的图像中检测到人物面 部时将广角畸变校正图像以及光学畸变校正图像都存储到存储卡23 中，而当没有检测到人物面部时只存储光学畸变校正图像。进一步， 数码相机可以被设置为当在捕获的图像中检测到预定入射角之外的 人物面部时将广角畸变校正图像以及光学畸变校正图像都保存到存储 卡23中，而当没有检测到人物面部或检测到预定入射角内的人物面部 时则只存储光学畸变校正图像。
如所述，即使在根据面部检测的结果来决定是否校正广角畸变的 情况下，如果认为需要广角畸变变换，则将广角畸变校正图像和光学 畸变校正图像都存储到存储卡23中。这样允许在以后比较两个校正图 像并且选择合适的一个。此外，如果数码相机被设置为当根据面部检 测的结果认为不需要广角畸变校正时，则只存储光学畸变校正图像，
那么可以避免存储卡23的浪费。
如上所述已经清楚了，广角畸变校正图像和光学畸变校正图像都 通过对原始主图像数据应用坐标变换处理来生成。因此，当对原始主 图像数据应用坐标变换处理时，先生成广角畸变校正图像和光学畸变 校正图像的哪个没有区别。
进一步，当两个校正图像都被存储时，如果变换函数是仅校正在 图片帧的外围处的广角畸变的一个变换函数，则无需为了两幅图像存 储全部图像数据，为了一幅校正图像存储全部图像数据并且为了另一 幅校正图像存储与该全部图像数据的差异数据。
例如，光学畸变校正图像可以作为全部图像数据被存储到存储卡
23中，并且对于广角畸变校正图像可以只存储差异数据。为了在显示 面板24上显示广角畸变校正图像，将差异数据加到光学畸变校正图像， 然后作为广角畸变校正图像显示。如果对于广角畸变校正图像和光学畸变校正图像中的一个只存储差异数据，可以节约存储卡23的容量。 在畸变校正部件中计算差异数据。
此外，当执行坐标变换处理以生成并存储广角以及光学畸变校正 图像时，不需要对原始主图像数据应用坐标变换处理。
例如，如图19所示，首先对原始主图像数据应用用于光学畸变校
正的坐标变换处理，并且将光学畸变校正图像存储迸存储卡23中。在 这个例子中，SDRAM 42中的原始主图像数据被光学畸变校正图像的 数据重写覆盖。然后，对光学畸变校正图像的数据应用用于广角畸变 校正的坐标变换处理，并且得到的广角畸变校正图像存储进存储卡23 中。
同样，如果广角畸变校正图像被首先存储进存储卡23中，将用于 光学畸变校正的坐标变换处理应用于SDRAM 42中的广角畸变校正图 像的数据，并且将得到的光学畸变校正图像存储进存储卡23中。
通过对广角畸变校正图像数据应用用于光学畸变校正的坐标变换 处理，以得到光学畸变校正图像，或反之亦然，在坐标变换处理期间 可以节约SDRAM 42的容量。
当对光学畸变校正图像数据应用用于广角畸变校正的坐标变换处 理时，畸变校正部件参考畸变数据并比较在原始主图像数据上的光学 畸变和广角畸变的大小。畸变校正部件从广角校正表61中选择或估计 需要的系数，并且使用该选择的系数执行坐标变换处理。当对广角畸 变校正图像数据应用用于光学畸变校正的坐标变换处理时也是如此。
进一步，当光学畸变和广角畸变中的一个在已经被校正了另一种 畸变的图像数据中被校正时，在捕获图像时不需要执行坐标变换处理。 例如，通过畸变校正部件选择或估计的坐标变换函数的系数，可以被与图像数据相关联并被存储到存储卡23中。然后，当在显示面板24 上显示图像时执行坐标变换处理。
连同广角畸变校正图像和光学畸变校正图像，原始主图像数据也
可以被存储到存储卡23中。
如果将相同对象的广角畸变校正图像、光学畸变校正图像和原始 图像存储进存储卡23中，优选在显示面板24上阐明这些图像之间的 差异。 一般的数码相机，例如，通常使用縮小像，所谓縮略图，这样 一次可以显示多幅图像。然而，当在显示器上縮小时，广角畸变校正 图像和光学畸变校正图像不能完全显示畸变大小和校正效果。
至于数码相机把广角畸变和光学畸变校正图像都存储在存储卡 中，显示面板24可以被等分为上和下两部分，如图20所示，并且广 角畸变校正图像341和光学畸变校正图像342的上半部分被彼此叠置 地显示。
在广角畸变校正图像341中，人物面部343b到343f与它们的实 际形状近似相同，但是在背景344上光学畸变非常显著。另一方面， 在光学畸变校正图像342中，在人物面部343b到343f上广角畸变非常 显著，但是在背景344上的光学畸变被适当地校正，在背景344中直 线看上去笔直。
在图像外围处广角畸变趋于明显并且光学畸变也一样。因此，当 将广角畸变校正图像341与光学畸变校正图像342进行比较时，通过 在显示面板24上显示外围，例如这些图像的上(下)半部分，它们之 间的差异变得明显。
作为代替，广角畸变校正图像和光学畸变校正图像的右(或左) 半部分可以被一起显示。此外，代之以原样显示图像的半部分，图像可以在广角畸变和光学畸变趋于明显的图像外围处被放大，并且一起 上和下(或右和左)显示。这样更有效地在显示器上阐明畸变大小和 校正结果。
当广角畸变校正图像和光学畸变校正图像被一起显示时，更优选
不仅在显示面板24上显示图像，还在连接到数码相机上的电视屏幕或
计算机监视器上显示图像。
同样优选允许使用者在观看时从存储卡23中选择和删除广角畸变 校正图像和光学畸变校正图像之一。这样可以比通过指定文件名或缩 略图更为有效地避免对需要图像的错误删除和此类操作错误。该特征 可以进一步消除为了选择和删除再次显示图像的过程，从而给使用者 带来更多方便。
在第一到第三实施例中在捕获图像时校正广角畸变和/或光学畸 变，可以存储焦距数据和其他需要的数据以及图像数据，并且在以后 例如当从存储卡23中获取图像时校正畸变。
在第一到第三实施例中，根据选择的图像捕获模式来校正广角畸 变或光学畸变。然而，可以允许在每次捕获图像时决定是否需要广角 畸变校正和光学畸变校正。
虽然在第三实施例首先当捕获图像(快门释放按钮被半按)时得 到焦距数据，但是焦距数据也可以在其他时间得到，该其他时间如在 图像捕获之后(在取得图像数据之后)。
虽然第一到第三实施例的数码相机具有CCD图像传感器，但也可 以使用CMOS或其他种类的具有公知结构的图像传感器。
虽然利用数码相机来解释第一到第三实施例，但是本发明也适用于移动相机电话、PDA、数码摄像机、电视摄像机和其他通用成像装 置。
EEPROM 58包含用于每种类型的透镜单元的系数数据。透镜单元 具有指示单元类型的信号元件，当透镜单元被附着到相机主体时检测 该单元类型。然后选择用于检测到的透镜单元的系数数据。
尽管已经通过优选实施例并参考附图充分描述了本发明，对于本 领域技术人员来说各种改变和修改是显而易见的。因此，除非这些改 变和变形脱离本发明的范围，否则它们应该被解释为包括在本发明的 范围内。
权利要求
1.一种成像装置，具有拍摄镜头和用于将通过所述拍摄镜头形成的对象图像光电转换成电子图像信号的图像传感器，包括用于校正光学畸变和广角畸变的畸变校正器，当校正由所述拍摄镜头的畸变像差造成的所述光学畸变时，所述畸变校正器执行图像转换处理以给予所述图像与所述光学畸变相反符号的畸变，并且当校正所述广角畸变时所述畸变校正器执行图像转换处理以给予所述图像相应于所述广角畸变的大小的负畸变。
2. 如权利要求l所述的成像装置，进一步包括用于选择校正所述光学畸变和所述广角畸变的哪一个的校正选择器。
3. 如权利要求2所述的成像装置，其中，当所述图像中的畸变为负并且具有用于校正所述广角畸变的大小时，所述校正选择器不选择 所述光学畸变和所述广角畸变，而是用由所述畸变像差造成的光学畸 变来校正所述广角畸变。
4. 如权利要求2所述的成像装置，进一步包括用于在所述图像中检测人物面部的面部检测器， 其中，当在所述图像中检测到人物面部时，所述校正选择器选择 校正所述广角畸变。
5. 如权利要求4所述的成像装置，其中，当在预定入射角之外检 测到人物面部时，所述校正选择器选择校正所述广角畸变。
6. 如权利要求2所述的成像装置，其中，当所述校正选择器选择 校正所述广角畸变以及所述光学畸变时，所述畸变校正器生成校正了 所述光学畸变的光学畸变校正图像以及校正了所述广角畸变的广角畸变校正图像。
7. 如权利要求6所述的成像装置，其中，通过应用所述图像转换 处理以将负畸变给予所述光学畸变校正图像来生成所述广角畸变校正 图像。
8. 如权利要求6所述的成像装置，进一步包括 用于存储所述光学畸变校正图像和所述广角畸变校正图像的存储设备。
9. 如权利要求8所述的成像装置，进一步包括显示设备，用于从所述存储设备中获取所述光学畸变校正图像和 所述广角畸变校正图像，并且将所述校正图像的每个分为两半，然后 并列所述图像的相应半部；以及图像选择器，用于选择所述光学畸变校正图像和所述广角畸变校 正图像之一，并且从所述存储设备中删除所述校正图像中的未选择的一个°
10. 如权利要求1所述的成像装置，其中，所述图像转换处理是使用坐标变换函数的坐标变换处理。
11. 如权利要求IO所述的成像装置，进一步包括包含所述坐标变换函数的系数的校正系数表。
全文摘要
一种成像装置。数码相机包括畸变校正部件，该畸变校正部件由焦距确定部件、畸变估算部件和校正量计算部件组成。该焦距确定部件在捕获图像时估算焦距。根据该焦距，畸变估算部件估算在捕获图像中的广角畸变和光学畸变的大小。根据该估算，畸变校正部件从光学畸变校正系数表或广角畸变校正系数表中选择适当的系数。使用所选择的系数，校正量计算部件应用坐标变换处理以对捕获的图像造成正的或负的畸变，并且校正广角畸变或光学畸变。
文档编号H04N5/232GK101309367SQ20081012772
公开日2008年11月19日 申请日期2008年3月27日 优先权日2007年3月27日
发明者长伦生 申请人:富士胶片株式会社