成像元件、成像方法以及电子设备与流程

本公开涉及图像拾取元件、图像拾取方法和电子设备，具体地，涉及实现更好的图像稳定效果的图像拾取元件、图像拾取方法和电子设备。

背景技术：

传统地，作为用于校正由于在捕获图像时相机抖动而发生的模糊的技术，一般使用光学图像稳定(ois)和电子图像稳定(eis)。

例如，在光学图像稳定中，图像模糊能通过沿与陀螺仪传感器等检测到的移动相反的方向移动透镜以移位形成在图像拾取元件上的图像来校正。

然而，光学图像稳定使用于移动透镜的系统复杂化并且例如增加其功耗，此外，由于图像拾取元件和用于图像稳定的控制系统被提供为单独的部分，因此难以将其彼此结合来控制。此外，在光学图像稳定中，需要在每个校正方向上提供驱动部分，并且为了避免系统的复杂性，在紧凑的设备中仅校正偏航方向和俯仰方向上的模糊并且不校正滚转方向上的模糊。

另一方面，在电子图像稳定中，能通过执行用于叠加多个图像的图像处理来校正图像的模糊，所述多个图像通过连续执行可能导致很少模糊的短时间曝光的高速成像而获得。

例如，专利文献1公开了一种图像处理方法，其能够从在适当曝光下以比快门速度快的速度捕获的多个图像输出转换为与适当曝光相同亮度的清晰图像。另外，专利文献2公开了一种固态图像拾取元件，其能够根据基于由陀螺仪传感器检测到的模糊角度的校正量和构成图像的像素的布置位置来有效地校正由于相机抖动而在图像中发生的变形。

引文列表

专利文献

专利文献1：国际公开第2014/156731号

专利文献2：日本专利申请公开第2005-38396号

技术实现要素：

本发明要解决的问题

然而，在传统的电子图像稳定中，由于其图像稳定效果低于光学图像稳定，因此需要能够获得更好的图像稳定效果的电子图像稳定。

本公开鉴于这种情况做出，并且本公开的目的是获得更好的图像稳定效果。

问题的解决方案

根据本公开的一个方面的图像拾取元件包括：像素阵列单元，该像素阵列单元包括布置成阵列的多个像素，并且配置为通过eis成像输出多个帧，eis成像以高速连续地执行短时间曝光成像；以及曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过规定值。

根据本公开的一个方面的图像拾取方法是图像拾取装置的图像拾取方法，该图像拾取装置具有像素阵列单元，该像素阵列单元包括布置成阵列的多个像素并通过eis成像输出多个帧，该eis成像以高速连续地执行短时间曝光成像，该方法包括：基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息确定像素阵列单元的模糊是否超过规定值；以及使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过所述规定值。

根据本公开的一个方面的电子设备包括图像拾取元件，该图像拾取元件具有：像素阵列单元，包括布置成阵列的多个像素并且配置为通过eis成像输出多个帧，eis成像以高速连续地执行短时间曝光成像；以及曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过规定值。

根据本公开的一个方面，其中多个像素布置成阵列的像素阵列单元通过eis成像输出多个帧，eis成像以高速连续地执行短时间曝光成像。然后，基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过规定值。

发明的效果

根据本公开的一个方面，能获得更好的图像稳定效果。

附图说明

图1是示出使用本技术的图像拾取元件的一实施方式的配置示例的框图。

图2是示出传统ois成像和eis成像的图。

图3是示出使用本技术的eis成像的图。

图4是示出使用本技术的eis成像的图。

图5是示出图像与陀螺仪数据之间的同步的图。

图6是用于说明其中组合频闪光发射的eis成像的图。

图7是示出图像拾取装置的配置示例的框图。

图8是示出图像传感器的使用示例的图。

具体实施方式

在下文中，应用本技术的具体实施方式将参照附图被详细描述。

<图像拾取元件的配置示例>

图1是示出应用本技术的图像拾取元件的一实施方式的配置示例的框图。

图1所示的图像拾取元件11形成有层叠存储芯片13，其层叠在具有传感器基板和信号处理基板的层叠结构的成像芯片12上，并且成像芯片12与陀螺仪传感器14和发光器件15连接。

成像芯片12包括像素阵列单元21、模数转换器(adc)单元22、陀螺仪接口单元23、曝光控制单元24、图像合成单元25、输出帧配置单元26、输出单元27、以及输入单元28。

像素阵列单元21是形成有多个像素的成像平面，所述多个像素布置成阵列以接收由未示出的光学系统会聚的光，并输出与每个像素接收的光的光量对应的水平的像素信号。例如，在曝光控制单元24的控制下，像素阵列单元21连续地执行eis成像，其通过以短曝光时间高速成像来引起很少的模糊，并输出组成多个帧的像素信号。

adc单元22对从像素阵列单元21输出的像素信号执行例如相关双采样(cds)的处理，以执行像素信号的ad转换并去除复位噪声。

陀螺仪接口单元23获取从陀螺仪传感器14输出的陀螺仪数据(模糊信息)，并根据需要将陀螺仪数据(模糊信息)提供给曝光控制单元24、图像合成单元25和输出帧配置单元26。另外，如稍后将参照图5描述地，陀螺仪接口单元23管理陀螺仪数据的提供，使得图像和陀螺仪数据同步。

曝光控制单元24基于从陀螺仪接口单元23提供的陀螺仪数据和经由输入单元28从未示出的外部处理器提供的控制信息(曝光时间、增益等)执行曝光控制。例如，曝光控制单元24使像素阵列单元21通过将由处理器给出的曝光时间分成导致很少模糊的短曝光时间来执行eis成像。此外，在完成通过像素阵列单元21的eis成像的情况下，曝光控制单元24使图像合成单元25执行图像合成。此外，曝光控制单元24使发光器件15在预定时间执行频闪光发射。

像素信号从adc单元22提供给图像合成单元25，并且图像合成单元25执行图像合成，用于在曝光控制单元24的控制下合成由像素阵列单元21捕获的多个帧并且将合成的图像提供给输出帧配置单元26。例如，基于从陀螺仪接口单元23提供的陀螺仪数据获得的移动矢量，图像合成单元25执行图像处理，用于随着在校正图像中产生的相机抖动的方向上移位多个帧中的每个帧而合成多个帧中的每个帧。

输出帧配置单元26以输出格式形成帧，其中嵌入数据等被添加到从图像合成单元25提供的图像，并经由输出单元27输出帧。

输出单元27是用于根据例如相机串行接口2(csi)将从输出帧配置单元26提供的输出帧输出到图像拾取元件11外部的接口。

输入单元28是例如根据相机控制接口(cci)从处理器(未示出)接收控制信息并将控制信息提供给曝光控制单元24的接口。

存储芯片13包括图像数据缓冲器29，并且图像数据缓冲器29临时存储例如图像合成单元25用于执行图像合成的多个帧。

陀螺仪传感器14安装在图像拾取元件11的附近，并且物理地(不通过处理图像)检测图像拾取元件11已抖动的抖动角度。例如，陀螺仪传感器14是检测角速度的检测单元，并输出陀螺仪数据，该陀螺仪数据指示由从在恒定时间检测到的角速度获得的抖动角度表示的相机抖动量。

在曝光控制单元24的控制下，发光器件15向对象发射具有强亮度的频闪光。

图像拾取元件11以这种方式配置，使得曝光控制单元24能基于从陀螺仪传感器14输出的陀螺仪数据来确定像素阵列单元21的模糊是否超过规定值(例如，角速度：2度/秒)，并使像素阵列单元21执行eis成像直到确定模糊超过规定值。利用这种配置，图像拾取元件11能通过延长eis图像的总曝光时间比从处理器给出的曝光时间长来获取更高质量的eis图像。或者，即使在从处理器给出的曝光时间内，图像拾取元件11也能避免在eis图像中出现模糊。

注意，在互补金属氧化物半导体(cmos)图像传感器中，一般由焦平面快门捕获图像，其中对于每行像素顺序地开始曝光并且读出像素信号。在以下参照附图的描述中，由这种焦平面快门获取的图像由平行四边形表示。

<传统ois成像和eis成像>

参照图2，传统ois成像和eis成像将被描述。

例如，在ois成像中，执行普通成像，其中根据从处理器给出的曝光时间和增益来获取由ois稳定的图像。

此外，在eis成像中，由处理器给出的曝光时间(等于ois成像中的曝光时间)被分成短时间段(其不会引起相机抖动)，多个帧被捕获，并且帧被合成从而获取单个稳定的eis图像。

在这种ois成像和eis成像中，根据从处理器给出的成像条件(曝光时间、增益等)执行成像。由于该成像条件基于从其ois性能等推测的最长曝光时间来控制，所以通过在允许图像稳定特性的范围内利用长时间曝光进一步执行成像，可以期望更高的图像质量。

<使用本技术的eis成像>

参照图3和图4，图1的图像拾取元件11的eis成像将被描述。

例如，在图3和图4中，虚线平行四边形表示由处理器给出的曝光时间，并且，通常，控制被执行使得eis成像的曝光时间的总和变得等于由处理器给出的曝光时间。

相反，在图像拾取元件11中，曝光控制单元24经由陀螺仪接口单元23直接观察从陀螺仪传感器14输出的陀螺仪信息，并确定陀螺仪数据超过规定值的大的模糊(虚直线)是否已发生。然后，曝光控制单元24使像素阵列单元21继续eis成像，直到确定陀螺仪数据超过规定值的大的模糊已经发生。

例如，如图3所示，在已经过处理器给出的曝光时间之后发生陀螺仪数据超过规定值的大的模糊的情况下，曝光控制单元24使像素阵列单元21终止那时的eis成像。然后，曝光控制单元24使图像合成单元25使用紧接在模糊发生之前的帧来合成图像，并且图像合成单元25合成帧以输出单个稳定的eis图像。

结果，图像拾取元件11能将eis成像中的曝光时间的总和延长到比从处理器给出的曝光时间长。一般地，特别是在低照度环境中，由于在曝光时间的总和较长的情况下能提高图像质量，因此图像拾取元件11能获取具有更好的图像稳定效果的高质量图像。

另一方面，如图4所示，在经过处理器给出的曝光时间之前发生使陀螺仪数据超过规定值的大的模糊的情况下，在那时，曝光控制单元24使像素阵列单元21终止eis成像。然后，曝光控制单元24使图像合成单元25使用紧接在模糊发生之前的帧来合成图像，并且图像合成单元25合成帧以输出单个稳定的eis图像。

结果，图像拾取元件11能在图像模糊发生之前终止eis成像，并且排除包括已发生的这种模糊的图像而不在图像合成中使用。在这种情况下，图像拾取元件11不能获取如参照图3描述的高质量图像；然而，能防止由于相机抖动引起的成像失败。

如上所述，在图像拾取元件11中，成像芯片12直接获取从陀螺仪传感器14输出的陀螺仪数据并且尽可能长地执行曝光，使得与传统技术相比，例如，图像质量能在低照度环境下的成像中改善。此外，即使在由处理器给出的曝光时间期间发生意外的大的相机抖动的情况下，图像拾取元件11也能避免成像失败。

此外，在ois成像中，例如，由于图像稳定功能通过在消除相机抖动的方向上移动光学部件和图像拾取元件中的一个来实现，因此驱动部件需要提供给每个校正轴。因此，一般地，在诸如被称为智能电话的小型设备中采用的图像拾取装置中，仅校正了在偏航方向和俯仰方向上的模糊。另一方面，图像拾取元件11能利用eis成像，并且除了偏航方向和俯仰方向之外还能校正滚转方向上的模糊，而无需添加驱动部件等。

<陀螺仪数据的同步>

参照图5，图像拾取元件11中的图像与陀螺仪数据之间的同步将被描述。

一般地，在eis成像中合成多个帧的情况下帧之间的位移信息是重要的，并且相机抖动能通过消除位移来校正。此外，在用于图像拾取元件11的cmos图像传感器中，焦平面快门用作电子快门系统，从而发生图像中的读取时间偏差。为此，在由于焦平面快门引起的图像中的读取时间偏差和由于相机抖动引起的帧之间的位置偏差重叠的情况下，可能发生图像质量的进一步劣化。

因此，图像拾取元件11使图像与陀螺仪数据同步，准确地识别每帧中垂直方向上的每个位置的抖动量，并正确地校正这些偏差，从而能有效地执行对图像中引起的相机抖动的校正。

在图5的上侧，通过由像素阵列单元21执行eis成像而获取的多个帧被示出，并且在图5的下侧，曝光开始时间和读取时间被示出。

作为一示例，曝光在第一帧1和第二帧2中由虚线围绕的垂直方向上的位置将被考虑。这里，在帧1中由虚线围绕的位置处的曝光中心是时间t1+((时间t2-t1)/2。此外，在帧2中由虚线围绕的位置处的曝光中心是时间t3+((时间t4-t3)/2。然后，用于叠加eis成像中的帧的运动矢量是从帧1的曝光中心到帧2的曝光中心的移动量。

然后，在图像拾取元件11中，曝光控制单元24能使从陀螺仪接口单元23提供的陀螺仪数据与像素阵列单元21的成像时间同步，使得从帧1的曝光中心到帧2的曝光中心的运动矢量能被精确地获取。

换言之，通过同步图像读取和陀螺仪数据读取，图像拾取元件11能精确地识别帧之间在垂直方向上的每个位置处的位移量。结果，图像合成单元25能使用针对每个帧的垂直方向上的每个位置同步的位移量来合成帧。因此，图像拾取元件11抑制图像质量的劣化(该图像质量的劣化通过重叠由焦平面快门引起的图像内的读取时间偏差和由于相机抖动引起的帧之间的位置偏差导致)，以执行更有效的图像稳定。换言之，由于图像拾取元件11能基于高精度和详细的位移量执行图像稳定，因此帧同步能以高质量执行，并且能实现通过合成多个帧而获得的eis图像的改善的图像质量。

另外，在图像拾取元件11中，由于成像芯片12和陀螺仪传感器14能彼此结合地执行控制，因此与传统图像拾取元件(其中使用这种结合的控制是困难的)相比，能最大化作为安装图像稳定的结果的曝光时间延长的效果。

<与频闪光发射结合的eis成像>

参照图6，与频闪光发射相结合的eis成像将被描述。

如图6所示，首先，曝光控制单元24将要提供给发光器件15的发光信号设定为h电平，并使发光器件15发射频闪光。然后，与发光信号同步，曝光控制单元24使像素阵列单元21在发射频闪光同时用频闪光照射对象的时段内执行eis成像。结果，获取通过对用频闪光照射的对象成像而获得的eis图像。

此后，曝光控制单元24将要提供给发光器件15的发光信号设定为l电平，并且终止通过发光器件15的频闪光的光发射。然后，曝光控制单元24使像素阵列单元21再次执行eis成像以避免频闪光发射的定时完成，并且基于陀螺仪数据执行长期eis成像，如以上参照图3和图4所述。结果，获取通过对频闪光未到达的背景成像而获得的eis图像。

以这种方式，在图像拾取元件11中，由像素阵列单元21进行的eis成像结合提供给发光器件15的发光信号(发送到外部的控制信号)被控制，并且在获取对象的eis图像及其背景的eis图像之后，合成这些图像。利用这种配置，图像拾取元件11能将在具有频闪光的环境中的图像和在没有频闪光的环境中的图像存储为单个eis图像。因此，能获得与作为成像技术之一的慢同步成像相同的效果。这里，图6示出了使用前帘同步的示例；然而，可以采用后帘同步。

此外，仍在对象的eis图像和背景的eis图像被合成的情况下，图像拾取元件11能使用陀螺仪数据并获取其中偏差被防止的eis图像。

这里，如上所述，除了在图像拾取元件11内部执行处理之外，例如，可以有一配置，其中基于陀螺仪数据的运动矢量被添加到多个帧并且在随后的阶段中输出到处理器，并且在处理器中执行合成处理。

例如，在传统的eis成像中，由于在一次成像中仅使用一个连续帧，因此在使用频闪光的成像中，即使对于多个短时间曝光帧，也需要同步以保持屏幕内的亮度均匀性。然而，传统上难以对短时间曝光的多个帧执行这种控制。

另一方面，在图像拾取元件11中，eis成像连续高速执行两次，并且保持并使用eis成像期间的运动矢量信息，使得在表观成像时间延长的同时，由频闪光发射等引起的成像环境的改变能被控制。利用这种配置，图像拾取元件11能在低照度环境中实现高图像质量。

如上所述，图像拾取元件11通过eis成像连续地获取多个帧，使得即使在低照度环境中也能结合频闪光发射等获取更好的eis图像。

注意，上述图像拾取元件11可应用于例如各种电子设备，诸如包括数字静态照相机或数字摄像机的图像拾取系统、具有图像拾取功能的移动电话、或具有图像拾取功能的其它设备。

<图像拾取装置的配置示例>

图7是示出要安装在电子设备中的图像拾取装置的配置示例的框图。

如图7所示，图像拾取装置101包括光学系统102、图像拾取元件103、信号处理电路104、监视器105和存储器106，并且能捕获静止图像和运动图像。

光学系统102包括一个或更多个透镜，并且将来自对象的图像光(入射光)引导到图像拾取元件103，以在图像拾取元件103的光接收表面(传感器部分)上形成图像。

作为图像拾取元件103，上述图像拾取元件11被应用。在图像拾取元件103中，根据经由光学系统102在光接收表面上形成的图像，电子被累积一定时间段。然后，与在图像拾取元件103中累积的电子对应的信号被提供给信号处理电路104。

信号处理电路104对从图像拾取元件103输出的像素信号执行各种信号处理。通过由信号处理电路104执行信号处理而获得的图像(图像数据)被提供给监视器105并显示，或提供给存储器106并存储(记录)。

在如上所述配置的图像拾取装置101中，通过应用上述图像拾取元件11，例如，即使在低照度环境中也能获取高质量图像。

<图像传感器的使用示例>

图8是示出上述图像传感器(图像拾取元件11)的使用示例的图。

上述图像传感器能在各种情况下用于感测光，诸如可见光、红外光、紫外光和x射线，例如，如下所述。

·用于捕获要观看的图像的电子设备，诸如数码相机或具有相机功能的手机

·用于交通的设备，诸如用于捕获车辆前方和后方、周围环境、车辆内部等的图像的车载传感器、用于监视行驶车辆或街道的监控摄像机、用于为了安全驾驶(诸如自动停止、驾驶员状况的识别)测量车辆之间的距离等的距离测量传感器等

·家用电器(诸如电视机、冰箱和空调)中提供的设备，用于捕获用户手势的图像并根据手势执行设备操作

·医疗或保健中使用的设备，诸如内窥镜和使用红外光接收的血管造影设备

·用于安全的设备，诸如用于犯罪预防的监控摄像机或用于人员识别的相机

·用于美容护理的设备，诸如用于捕获皮肤图像的皮肤测量设备、用于捕获头皮图像的显微镜等

·用于运动的设备，诸如用于运动的运动相机、可穿戴式相机等

·用于农业的设备，诸如用于监控田地或农产品状况的摄像机

注意，本技术还可以具有以下配置。

(1)

一种图像拾取元件，包括：

像素阵列单元，包括布置成阵列的多个像素并且配置为通过电子图像稳定(eis)成像输出多个帧，所述电子图像稳定成像以高速连续地执行短时间曝光成像；以及

曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过规定值。

(2)

根据(1)所述的图像拾取元件，其中

即使在从外部处理器给出的曝光时间已经过去的情况下，曝光控制单元也使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过规定值。

(3)

根据(1)所述的图像拾取元件，其中

即使在没有经过从外部处理器给出的曝光时间的情况下，曝光控制单元也在确定像素阵列单元的模糊超过规定值的情况下使像素阵列单元终止eis成像。

(4)

根据(1)至(3)中任一项所述的图像拾取元件，还包括：

图像合成单元，配置为执行图像处理，用于在根据模糊信息校正模糊的方向上移位从像素阵列单元输出的多个帧并合成所述帧。

(5)

根据(4)所述的图像拾取元件，其中

图像合成单元使用与由像素阵列单元捕获的帧中的每个位置同步的模糊信息来执行用于合成所述帧的图像处理。

(6)

根据(1)至(5)中任一项所述的图像拾取元件，其中

曝光控制单元结合用于执行外部设备的预定控制的控制信号控制像素阵列单元的eis成像。

(7)

一种图像拾取装置的图像拾取方法，所述图像拾取装置具有像素阵列单元，像素阵列单元包括布置成阵列的多个像素并通过电子图像稳定(eis)成像输出多个帧，电子图像稳定成像以高速连续地执行短时间曝光成像，该方法包括：

基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息确定像素阵列单元的模糊是否超过规定值；以及

使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过规定值。

(8)

一种具有图像拾取元件的电子设备，该图像拾取元件包括：

像素阵列单元，包括布置成阵列的多个像素并且配置为通过电子图像稳定(eis)成像输出多个帧，电子图像稳定成像以高速连续地执行短时间曝光成像；以及

曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行eis成像直到确定像素阵列单元的模糊超过规定值。

注意，本实施方式不限于上述实施方式，并且可以在本公开的范围内进行各种改变。

附图标记列表

11图像拾取元件

12成像芯片

13存储芯片

14陀螺仪传感器

15发光器件

21像素阵列单元

22adc单元

23陀螺仪接口单元

24曝光控制单元

25图像合成单元

26输出帧配置单元

27输出单位

28输入单元

29图像数据缓冲器。