摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
【技术领域】
[0001] 本发明设及摄像装置、固体摄像元件、相机模块、电子设备及摄像方法。具体地，本 发明设及能够进行更有效的相机抖动校正的摄像装置、固体摄像元件、相机模块、电子设备 及摄像方法。
【背景技术】
[0002] 在诸如数码相机和数码摄像机等具有摄像功能的电子设备中，在过去已采用了对 拍摄过程中的相机抖动进行校正W输出不受相机抖动影响的图像的相机抖动校正系统。目 前存在如下两种类型的相机抖动校正：电子相机抖动校正和光学相机抖动校正。
[0003] 在电子相机抖动校正中，通过在连续图像之间从拍摄图像中检测正被拍摄的被摄 体的抖动来对相机抖动进行校正，并且根据抖动量来进行使图像的位置移动的图像处理。 运种电子相机抖动校正不需要机械机构，并能够使结构小型化。然而，由于抖动是基于图像 检测到的，所W当图像在暗处不清晰时，就难W检测抖动。另外，与之前的图像的比较需要 用于存储所有之前的图像的存储区域。
[0004] 此外，在电子相机抖动校正中，由于从两个帖（图像）中检测相机抖动量，所W有 把握地确定图像中的移动物体（动态体）或每个场景中由于相机抖动而引起的图像偏移就 变得极其困难。已提出了包括动态体或相机抖动的的确定的算法，但目前仍在对运些算法 进行改善。
[0005] 此外，在光学相机抖动校正中，通过如下方式来对相机抖动进行校正：通过使用 巧螺仪等检测图像传感器如何发生抖动，并使透镜或图像传感器进行反向校正的增量的操 作。在光学相机抖动校正中，由于检测物理抖动，所W与电子相机抖动校正不同的是，不会 出现动态体与相机抖动之间的错误识别。另外，由于不需要与之前的图像进行比较，所W也 就不需要用于累积之前的图像的帖存储器。然而，光学相机抖动校正不仅增大了操作单元 的结构的尺寸，还增加了因结构的操作而产生的功耗。
[0006] 另外，在采用互补金属氧化物半导体（CM0巧图像传感器作为摄像元件的摄像装 置中，由于摄像元件的每行会发生曝光周期的偏移（成像时序的偏移），所W在过去难W完 全消除相机抖动的影响。
[0007] 因此，提出了基于从拍摄被摄体图像中的预定行时的抖动量计算出的校正量针对 各行的被摄体图像进行校正的相机抖动校正处理。
[0008] 引用列表 [000引专利文献
[0010] 专利文献 1 :JP2006-304313A
【发明内容】
[0011] 技术问题
[0012] 同时，虽然在目前的电子相机抖动校正和光学相机抖动校正中均能够均一地校正 整个图像，但是难W有效地校正由于相机抖动而出现在图像中的失真。
[0013] 本发明是针对运种情况而提出的，并且能够进行更有效的相机抖动校正。
[0014] 问题的解决方案
[0015] 根据本发明的实施例的摄像装置、固体摄像元件、相机模块或电子设备包括：摄像 单元，其拍摄被摄体W输出拍摄的图像；检测单元，其物理地检测所述摄像单元发生抖动时 的抖动角度；W及校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素的位 置W及由所述检测单元检测出的所述抖动角度来计算校正量，W根据所述校正量对所述图 像进行校正。
[0016] 根据本发明的实施例，提供了用于摄像装置的摄像方法，所述摄像装置包括拍摄 被摄体W输出拍摄的图像的摄像单元W及物理地检测所述摄像单元发生抖动时的抖动角 度的检测单元，所述摄像方法包括如下步骤：通过所述摄像单元输出所述图像；通过所述 检测单元输出所述抖动角度；W及基于构成由所述摄像单元输出的所述图像的像素的位置 W及由所述检测单元检测出的所述抖动角度来计算校正量，W根据所述校正量对所述图像 进行校正。
[0017] 在本发明的实施例中，包括拍摄被摄体W输出拍摄的图像的摄像单元W及物理地 检测所述摄像单元发生抖动时的抖动角度的检测单元，并且基于构成由所述摄像单元输出 的所述图像的像素的位置W及由所述检测单元检测出的所述抖动角度来计算校正量，且根 据所述校正量对所述图像进行校正。
[0018] 本发明的有益效果
[0019] 根据本发明的实施例，能够进行更有效的相机抖动校正。
【附图说明】
[0020] 图1是示出了应用了本发明的摄像装置的实施例的构造示例的框图。
[0021] 图2是用于说明摄像元件的传感器表面与被摄体表面之间的关系的说明图。
[0022] 图3是图示了传感器表面发生抖动之前与传感器表面发生抖动之后的关系的图。
[0023] 图4是用于说明抖动的Y方向上的距离差的图。
[0024] 图5图示了通过使用Y轴方向上的仰角和被摄体距离作为参数而获得的误差距离 5y的示例。
[00巧]图6是用于说明抖动角度0下的在旋转运动的X方向上的校正的图。
[0026] 图7是用于说明抖动角度0下的光瞳位置的变化的图。
[0027] 图8图示了通过使用X轴方向上的仰角和被摄体距离作为参数而获得的误差距离 5X。
[002引图9图示了成像高度与校正量之间的关系。
[0029] 图10是用于通过比较来说明相机抖动校正处理的效果的图。
[0030] 图11是用于通过比较来说明相机抖动校正处理的效果的图。
[0031] 图12是用于通过比较来说明相机抖动校正处理的效果的图。
[0032] 图13是用于说明巧螺仪数据与图像数据之间的同步的图。
[0033] 图14是用于说明巧螺仪数据与图像数据之间的同步的图。
[0034] 图 15 图示了俯仰角（pitchangle)、偏航角（yawangle)和滚转角（rollangle) 的定义。
[0035] 图16图示了全局快口系统的图像传感器中的抖动角度对图像的影响。
[0036] 图17图示了全局快口系统的图像传感器中的抖动角度对图像的影响。
[0037] 图18图示了卷帘快口系统的图像传感器中的抖动角度对图像的影响。
[0038] 图19图示了卷帘快口系统的图像传感器中的抖动角度对图像的影响。
[0039] 图20图示了卷帘快口系统的图像传感器中的抖动角度对图像的影响。
[0040] 图21图示了包括使用桶形移位化arrelshift)系统的相机抖动校正功能的摄像 装置的构造示例。
[0041] 图22是用于说明摄像方法的流程图。
[0042] 图23是图示了应用了本发明的摄像装置的另一实施例的构造示例的框图。
[0043] 图24是用于说明AF控制信号的电流值与被摄体距离之间的关系。
[0044] 图25图示了预定的被摄体距离与X方向上的误差距离5X之间的关系的示例。
[0045] 图26是用于通过比较来说明相机抖动校正处理的效果的图。
[0046] 图27是图示了应用了本发明的固体摄像元件的实施例的构造示例的框图。
【具体实施方式】
[0047] 下面将参考附图对本发明的实施例进行详细地说明。
[004引图1是图示了应用了本发明的摄像装置的实施例的构造示例的框图。
[0049] 如图1所示，摄像装置11是诸如数码相机和数码摄像机等具有拍摄图像的主要功 能的电子设备，并且包括光学系统12、记录媒介13、显示器14和相机模块15。另外，例如， 对于摄像装置11，除具有拍摄图像的主要功能的电子设备之外，还可使用诸如被称为所谓 的智能手机或平板电脑的多功能便携式终端等包括摄像功能的电子设备。
[0050] 光学系统12具有一个或多个透镜，并使来自被摄体的光聚集，W在相机模块15的 图像传感器21的传感器表面上形成被摄体的像。
[0051] 记录媒介13是安装在摄像装置11中的内置型存储器或者是可拆卸地附接至摄像 装置11的可移除型存储器（例如，电可擦可编程只读存储器巧EPROM))，并记录从相机模块 15输出的拍摄图像。
[0052] 显示器14例如具有诸如液晶面板或有机电致发光巧L)面板等显示单元，并显示 从相机模块15输出的拍摄图像。
[0053] 相机模块15包括图像传感器21、巧螺仪传感器22、信号同步单元23、参数保持单 元24和相机抖动校正处理单元25。
[0054] 图像传感器21具有用于拍摄被摄体的光学图像W将拍摄到的图像转换成电信号 的X-Y型摄像元件W及用于对从摄像元件输出的信号进行信号处理的信号处理单元，并输 出具有拍摄的被摄体的图像信号。例如，图像传感器21由具有摄像元件和整体地层叠在摄 像元件上的信号处理单元的忍片构成，或由具有摄像元件的忍片和组合在摄像元件的忍片 上的信号处理单元的忍片的单元构成。另外，信号处理单元进行诸如放大摄像元件的输出 的自动增益控制（AGC)或模拟数字（AD)转换等预处理，W及将经过预处理的数字信号转换 成适当的图像信号格式（诸如Bayer、YUV或RGB等）的处理。
[00巧]巧螺仪传感器22被安装成与图像传感器21相邻，并物理地（W非图像处理的方 式）检测图像传感器21发生抖动时的抖动角度。例如，巧螺仪传感器22是用于检测角速 度的检测单元，并W恒定的时序输出用于表示从检测出的角速度获得的抖动角度的巧螺仪 数据（在下文中，适当地，还被称为相机抖动量信息）。
[0056] 信号同步单元23进行使从图像传感器21输出的图像信号与W恒定的时序从巧螺 仪传感器22输出的相机抖动量信息同步的同步处理，并将图像信号和相机抖动量信息输 出至相机抖动校正处理单元25。注意，稍后将参考图13和图14对由信号同步单元23进行 的同步处理进行说明。
[0057] 参数保持单元24保持包括光学系统12和图像传感器21的模块的几何光学特定 参数（例如，视角和模块瞳距（pupildistance))。
[0058] 相机抖动校正处理单元25根据从信号同步单元23输出的图像信号、与该图像信 号同步的相机抖动量信息W及保持在参数保持单元24中的特定参数来计算图像信号的校 正量。相机抖动校正处理单元25接着进行根据计算出的校正量对图像信号的相机抖动进 行校正的相机抖动校正处理，将数据转换成减少了相机抖动的发生的图像信号（在下文 中，适当地，还被称为相机抖动校正图像），并且将校正图像提供至记录媒介13和显示器 14。注意，稍后将参考图15至图20对由相机抖动校正处理单元25进行的详细的相机抖动 校正处理进行说明。
[0059] 首先，将参考图2至图12对相机抖动校正处理单元25中的相机抖动校正处理的 原理和估算进行说明。
[0060] 首先，如图2所示，定义图像传感器21的传感器表面S与被摄体表面之间的关系。
[0061] 被摄体表面上的每个点穿过未示出的光学系统12(图1)的透镜的光瞳位置I，从 而在传感器表面S上形成图像。例如，与光学系统12的光轴交叉的被摄体表面上的点C穿 过光瞳位置I，从而在传感器表面S的大致中屯、处形成图像（运里的大致中屯、包括被摄体表 面S上的图像上的中屯、或传感器表面S的光学中屯、，或者图像上的中屯、或传感器表面S的 光学中屯、附近，在下文中，适当地被称为中屯、点），且被摄体表面上的位于相对于光学系统 12的光轴的仰角a处的点A在传感器表面S上的与从点A穿过光瞳位置I的光束Ll交叉 的点处形成图像。
[0062] 另外，如图所示，假定从传感器表面S的中屯、点到光瞳位置I的光学距离为模块瞳 距山且假定从被摄体表面上的点C到光瞳位置I的光学距离为被摄体距离D。假定与图面 垂直并指向前方的轴为X轴，假定在附图中从下指向上的轴为Y轴，且假定在附图中从左指 向右的轴为Z轴。
[0063] 然后，假定摄像装置11由于拍摄过程中的相机抖动而发生抖动，且传感器表面S 围绕预定旋转中屯、绕着X轴旋转地移动了抖动角度0。
[0064] 目P，如图3所示，当传感器表面S围绕旋转中屯、0旋转地移动了抖动角度0时，传 感器表面S移动至传感器表面S'且光瞳位置I移动至光瞳位置1'。此时，在摄像装置11 发生抖动之前位于仰角a处的点A在传感器表面S'上的与从点A穿过光瞳位置1'的光 束LR交叉的位置处形成图像。目P，来自被摄体表面上的点A的光在传感器表面S'上的沿 着穿过摄像装置11发生抖动之后的光瞳位置r的光束LR(而不是穿过摄像装置11发生 抖动之前的光瞳位置I的光束LI)的点处形成图像。
[0065] 此时，摄像装置11发生抖动之后的光束LR相对于光学系统12的光轴的仰角是未 知的，并无法被直接地估算出。因此，假定被摄体表面上的穿过摄像装置11发生抖动之后 的光瞳位置r并平行于光束Ll的光束L2与被摄体表面相交的点A'对应于被摄体表面上 的点A，将讨论运种位置关系。
[0066] 首先，当从旋转中屯、0到传感器表面S的中屯、点的距离为旋转半径r，在抖动角度 0的旋转运动中，通过如下的公式（1)来表示传感器表面S的中屯、点在Z轴方向上移动的 移动量ACzW及传感器表面S的中屯、点在Y轴方向上移动的移动量A切。
[0067] [公式U
[0068] ACz=r?SIN0
[0069] A切=r? (1-C0S0 ) ? ? ? (1)
[0070] 另外，通过如下的公式（2)来表示在摄像装置11发生抖动之前被摄体表面上的与 仰角a的光束Ll相交的点A在传感器表面上的成像高度AW及在摄像装置11发生抖动 之后被摄体表面上的与平行于光束Ll的光束L2相交的点A'在传感器表面上的成像高度 A'。
[007。[公式引
[0072] A=d?TAN曰
[0073] A' =d?TAN(曰 + 0 ) ? ??似
[0074] 因此，当在传感器表面上可W忽略被摄体表面上的点A与点A'之间的距离差时， 通过如下的公式（3)来表示在抖动角度0情况下的传感器表面S的旋转运动中的成像高 度的变化量AA。
[007引[公式引
[0076] AA=d.灯AN(a+ 目）-TANa) ? ? ? (3)
[0077] W此方式，如公式（3)所表示，可仅通过使用模块瞳距t抖动角度0和仰角a来 获得成像高度的变化量AA,且运些值都是已知量。因此，例如，如果模块瞳距t抖动角度 0和仰角a能够经受实际应用时，则能够很精确地进行相机抖动校正。于是，假定可W忽 略被摄体表面上的点A与点A'之间的距离差，为了评估模块瞳距t抖动角度0和仰角a 是否能够经受实际应用，需要考虑产生的误差量。
[0078] 例如，如图4所示，假定传感器表面S上的与从被摄体表面上的点A穿过光瞳位置 I的光束Ll相交的点为点a,且假定包含传感器表面S在内的平面表面上的与从被摄体表 面上的点A'穿过光瞳位置I'的光束L2相交的点为点a'。此时，被摄体表面上的点A与点 A'之间的Y方向上的距离差（A-A')在几何光学上等于包含传感器表面S在内的平面表面 上的点a与点a'在Y方向上的距离差（a-a')，并由如下的公式（4)表示。
[007引[公式"
[0080]
[0081]能够从W此方式获得的距离差（A-A')获得传感器表面上的像素数的误差距离 5 (0，a，