其他装置诸如按钮、开关、或其他触觉部件被接收。在一些实施例中，设备必须首先能作为相机操作(例如，在相机模式中)，以便设备呈现超分辨率模式激活单元810。当用户已激活了超分辨率模式时，设备可接收来自用户的输入以开始捕获光学样本。这个输入可在用户按压快门开关820的情况下被接收。
[0094]现在转向图9，示出了例示图像捕获设备900的实施例的框图。图像捕获设备900例示了用于实施光学图像稳定的图像捕获设备的部件的外壳。图像捕获设备900的透镜910在这里被例示为能从外壳看到。这个图像捕获设备910可以是图1的图像捕获设备100和/或图3的图像捕获设备300、或者实施光学图像稳定的其他设备的外壳。
[0095]前面具体描述中的一些部分已根据对计算机存储器内的数据位的操作的算法和符号表示进行了呈现。这些算法描述和表示是数据处理领域的技术人员所使用的方法，而这些方法也能最有效的将他们的工作实质传达给该领域其他技术人员。算法在这里并且通常被设想为导致期望结果的操作的自给序列。操作是需要对物理量进行物理操纵的那些操作。
[0096]然而应当记住，所有这些和类似术语是要与适当的物理量相关联，并且仅仅是应用于这些物理量的便利标签。除非另外特别说明，否则从上述讨论中显而易见的是，可以理解在整个说明书中，利用术语诸如在以下权利要求中示出的术语的讨论是指计算机系统或类似的电子计算设备的动作和过程，该设备可操纵在计算机系统寄存器和存储器内表示为物理(电子)量的数据、或将该数据转换成在计算机存储器、寄存器或其他此类信息存储、传输或显示设备中同样显示为物理量的其他数据。
[0097]本发明的实施例还涉及用于执行本文的操作的装置。将此类计算机程序存储在非暂态计算机可读介质中。机器可读介质包括用于以机器(例如计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“R0M”)、随机存取存储器(“RAM”)、磁盘存储介质、光学存储介质、闪存存储设备)。
[0098]前面附图中所示的过程或方法可由包括硬件(例如，电路、专用逻辑部件等)、软件(例如，具体实现在非暂态计算机可读介质上)、或两者的组合的处理逻辑部件来执行。虽然这些过程或方法在上文中是根据某些顺序操作来描述的，但是应当理解，所述操作中的一些操作可以另一次序来执行。此外，一些操作可并行地而非顺序地执行。
[0099]本发明的实施例没有参考任何特定编程语言来进行描述。应当理解，可使用多种编程语言来实现本文所述的本发明的实施例的教导内容。
[0100]在前面的说明书中，已参考本发明的特定示例性实施例对本发明的实施例进行了描述。显然，可在不脱离如下文提及的权利要求中的本发明的更广泛的实质和范围的情况下对其进行各种修改。因此，说明书和附图应被认为是出于例示性目的而非限制性目的。
【主权项】
1.一种图像捕获设备，包括: 电子图像传感器，所述电子图像传感器用于捕获多个光学样本； 光学图像稳定(OIS)处理器，所述OIS处理器用于控制至所述电子图像传感器的光学路径的多个偏移，其中每个偏移与多个已知子像素偏移中的一个已知子像素偏移对应； 控制电路，所述控制电路用于激活所述电子图像传感器并且用于使得所述Ois处理器在每个光学样本的每次捕获之间控制至所述电子图像传感器的所述光学路径的相应偏移，使得相应采样偏移对于所述多个光学样本中的每个光学样本是已知的。
2.根据权利要求1所述的图像捕获设备，还包括: 透镜，所述光学路径穿过所述透镜；和 相机模块，所述相机模块用于容纳所述透镜和所述电子图像传感器。
3.根据权利要求2所述的图像捕获设备，其中所述OIS处理器通过平移所述透镜来控制至所述电子图像传感器的所述光学路径的偏移。
4.根据权利要求2所述的图像捕获设备，其中所述OIS处理器通过使所述相机模块倾斜来控制至所述电子图像传感器的所述光学路径的偏移。
5.根据权利要求1所述的图像捕获设备，其中所捕获的第一光学样本是参考光学样本，并且其中所述多个光学样本中的每个光学样本的所述相应采样偏移是相对于所述参考光学样本的。
6.根据权利要求2所述的图像捕获设备，其中所述相机模块的后焦距被固定在不超过四毫米，并且所述相机模块的光圈数不超过四。
7.根据权利要求2所述的图像捕获设备，其中所述OIS处理器通过向用于执行使所述相机模块倾斜和平移所述透镜中的一者的致动器施加已知电压来控制至所述电子图像传感器的所述光学路径的偏移，其中向所述致动器施加的所述电压确定使所述相机模块倾斜和平移所述透镜中的所述相应一者的量值。
8.根据权利要求7所述的图像捕获设备，其中所述已知电压是子像素偏移系数和预先确定的子像素偏移量的乘积。
9.根据权利要求1所述的图像捕获设备，其中所述控制电路还使用惯性传感器来确定所述图像捕获设备是静止的，并且响应于确定所述图像捕获设备是静止的而激活所述OIS处理器。
10.根据权利要求5所述的图像捕获设备，其中所述多个已知偏移包括沿水平面的对应于半个像素的第一偏移以及沿像平面的对应于半个像素的第二偏移。
11.根据权利要求5所述的图像捕获设备，其中所述控制电路用于控制相应偏移，使得与所述参考光学样本的参考像素对应的偏移光学样本的偏移像素包括不同的颜色数据。
12.根据权利要求1所述的图像捕获设备，还包括: 超分辨率电路，所述超分辨率电路用于组合所述光学样本以创建超分辨率图像。
13.—种包括非暂态机器可读存储介质的制造制品，在所述非暂态机器可读存储介质中存储有可执行程序指令，所述可执行程序指令对图像捕获设备进行编程以: 使用图像传感器沿第一光学路径来捕获第一光学样本； 使用光学图像稳定(OIS)处理器来控制对所述光学路径的已知偏移，其中所述已知偏移与子像素偏移对应； 由所述图像传感器通过所述经偏移的光学路径来捕获第二光学样本，使得所述第二光学样本相对于所述第一光学样本的偏移为所述子像素偏移；以及 组合所述第一光学样本和所述第二光学样本，以创建超分辨率图像。
14.根据权利要求13所述的装置，还包括对所述图像捕获设备进行编程以执行以下操作的指令: 将所述OIS处理器校准到子像素精度，其中对所述图像捕获设备进行编程以将所述OIS处理器校准到子像素精度的所述指令包括用于执行以下操作的指令: 使用所述图像传感器沿参考光学路径来捕获参考光学样本； 使用所述光学图像稳定(OIS)处理器来控制对所述光学路径的从所述参考光学路径到目标光学路径的未校准的偏移，其中所述未校准的偏移不与已知子像素偏移相关联；由所述图像传感器沿所述目标光学路径来捕获目标光学样本； 通过在子像素栅格上配准所述参考光学样本和所述目标光学样本，以子像素精度来确定所述目标光学样本相对于所述参考光学样本的校准偏移；以及使用所述未校准的偏移和所述校准偏移来计算子像素系数。
15.根据权利要求14所述的装置，其中所述子像素系数被计算为由所述OIS处理器施加到致动器的电压除以所述校准偏移的商。
16.一种用于由图像捕获设备来捕获超分辨率图像的方法，包括: 由图像传感器通过至所述图像传感器的光学路径来捕获第一光学样本； 由光学图像稳定(OIS)处理器来控制至所述图像传感器的所述光学路径的第一经校准的偏移，其中所述第一经校准的偏移与子像素偏移相关联； 由所述图像传感器通过所述第一经偏移的光学路径来捕获第二光学样本，使得所述第二光学样本相对于所述第一光学的偏移为所述子像素偏移；以及 组合所述第一光学样本和所述第二光学样本，以创建密集采样的图像。
17.根据权利要求16所述的方法，还包括: 由所述光学图像稳定(OIS)处理器来控制至所述图像传感器的所述光学路径的第二经校准的偏移，其中所述第二经校准的偏移与单像素偏移相关联； 由所述图像传感器通过所述第二经偏移的光学路径来捕获第三光学样本，使得所述第三光学样本相对于所述第一光学的偏移为约一个像素；以及 组合所述第一光学样本、所述第二光学样本和所述第三光学样本，以增大所述密集采样的图像的采样密度。
18.根据权利要求16所述的方法，还包括: 由所述光学图像稳定(OIS)处理器来控制至所述图像传感器的所述光学路径的多个经校准的偏移，其中相应经校准的偏移与相应偏移相关联； 由所述图像传感器通过所述多个经偏移的光学路径来捕获多个光学样本，其中相应光学样本相对于所述第一光学样本的偏移为所述相应偏移。
19.根据权利要求18所述的方法，还包括: 组合所述第一光学样本、所述第二光学样本和所述多个光学样本，以创建所述密集采样的图像；以及 由所述密集采样的图像创建完全采样的超分辨率图像，其中所述密集采样的图像不被去马赛克。
20.根据权利要求18所述的方法，其中在所述第一光学样本、所述第二光学样本和所述多个光学样本不在子像素栅格上配准的情况下，所述第一光学样本、所述第二光学样本和所述多个光学样本被组合以创建所述密集采样的图像。
【专利摘要】本发明公开了一种用于使用图像捕获设备来创建超分辨率图像的系统和方法。在一个实施例中，电子图像传感器通过光学路径来捕获参考光学样本。随后，光学图像稳定(OIS)处理器将至电子图像传感器的光学路径调节已知量。然后沿经调节的光学路径捕获第二光学样本，使得第二光学样本相对于第一光学样本的偏移不超过子像素偏移。OIS处理器可重复该过程来捕获多个偏移处的多个光学样本。光学样本可被组合以创建超分辨率图像。
【IPC分类】H04N5-232, G06T3-40
【公开号】CN104769934
【申请号】CN201380058172
【发明人】R·L·巴尔, D·J·廷文特
【申请人】苹果公司
【公开日】2015年7月8日
【申请日】2013年10月3日
【公告号】DE112013005334T5, US20140125825, WO2014074250A1