用于光学图像稳定的机构和方法与流程

本发明涉及用于光学图像稳定的机构以及涉及用于光学图像稳定的方法。

背景技术：

在静止和运动画面照相机领域内，图像稳定一直是个问题。在本申请的上下文内，图像稳定可以指在曝光时间期间运动效应的降低，即除此以外会导致运动模糊的运动。应该注意，运动效应取决于快门的类型。在运动画面应用中，诸如在使用摄像机时，每个单独的图像可以非常清晰，可是由于多余的运动，像这样记录的视频序列会难以跟踪。在这种情况下，典型的“多余的运动”可能通过振动或震动引起，并且这也可以在本申请的上下文中被处理。这种类型的运动经常要求更加复杂的方法，因为存在多余的运动和预期的运动(例如平移运动)两者。在这些情况下，数字图像稳定可以作为针对光学图像稳定的唯一措施或者附加措施而被应用。

本公开将涉及一种光学图像稳定机构，即在照相机光路中的部件为了补偿多余的运动而被移动的技术。被移动的部件典型地可以是透镜元件或图像传感器。

弹性地和可控地悬置光学部件是众所周知的，其中由垫片(通常每个滚珠一个垫片)支撑的滚珠轴承使能够在平面中自由运动，见例如US 20120027391。如在引用的文件中所讨论的，垫片和滚珠构造可能随着时间易于受到磨损，影响滚珠的形状或者垫片的表面，两者都会影响图像稳定的性能。在所引用的文件中公开的方案是由陶瓷材料形成滚珠。

技术实现要素：

为了消除或至少减轻现有技术中的一些缺陷，本公开涉及一种用于光学图像稳定的改进机构。本发明的用于照相机的图像稳定机构包括：能够检测所述照相机的运动的移动传感器，在所述照相机光路中的元件，滚珠和垫片，用作允许所述元件在与所述光路正交的平面中移动的轴承，能够在所述平面中移动所述元件的驱动器机构，处理器，被配置成作为对由所述移动传感器探测到的所述照相机的运动的响应而控制所述驱动器以移动所述元件，由此稳定来自所述照相机的图像。所述稳定机构的特征在 于，所述处理器进一步被配置成沿着辅助运动路径移动所述元件以便将由所述滚珠产生的磨损分布在垫片上。这种辅助运动路径可以引起图像移位，并且因此所述处理器通过用于移位所述图像的其它装置能够补偿由所述辅助运动路径产生的图像移位。

创造性的稳定机构将提供改进的耐磨性。

在一个或者多个实施例中，在所述光路中的所述元件可以是透镜或者图像传感器。本公开中没有任何内容使得其它元件丧失被移动的资格，但是透镜或图像传感器从功能角度来说是最可能的元件。透镜可以是单透镜或透镜组件，或者任何其它透镜元件。

在一个或者若干实施例中，所述辅助运动路径可以是连续运动路径、间歇式运动路径或者其组合。

沿着辅助运动路径运动的运动速度在任何实施例中可被限制以便导致所述照相机的视场中的移位小于每帧所述图像传感器的像素的一小部分，通过简单装置能够使运动模糊消除。

在一个或者多个实施例中，所述处理器可以被配置成使用所述照相机的当前运动作为所述辅助运动路径的输入。这将在详细的描述中结合某些实施例中所述照相机的运动的幅度如何能够影响所述辅助运动路径来举例说明，然而作为替代或者此外，能够使用其它参数。

作为对其它控制方法的组合功能或者作为辅助运动的独立控制，所述处理器可以被配置成使用所述滚珠的运动的热图作为所述辅助运动路径的输入。这将对应于降低磨损的统计方法。该方法具有潜在优势，该优势在于，其解释了所述滚珠的实际运动，而不是预测滚珠的运动。

在一个或者若干实施例中，使用数字裁剪和缩放可以移位所述图像。这能够对应于数字图像稳定，并且其将在详细的描述中可以进一步举例说明。对详细的描述的参考不应该被解释为是表示将本实施例的可用性限制到在详细的描述中呈现的精确的实施例中，而仅应解释为对进一步阐释的参考。

在另一个实施例中，预期的图像移位通过移动所述照相机的平移(pan)机构和倾斜机构可以全部或局部地消除。能够预测组合的实施例，其中平移机构和倾斜机构与数字图像稳定一起使用，例如平移机构和倾斜机构能够消灭较大的移位，同时数字图像稳定消灭任何残留移位。因为数字图像稳定能够以任何方式应用，这不必导致任何进一步的复杂化。

在一个或者多个实施例中，所述处理器可以被设置成使用光学变焦、缩放和裁剪来增加图像稳定机构的稳定能力范围。

根据第二方面，本发明涉及一种用于控制照相机的稳定机构的方法，包括：通过 运动传感器探测所述照相机的运动，将所述运动的信息转发到所述照相机的处理器，使用所述处理器控制驱动器以在光路中移动元件，以便抵消所述照相机的运动，使用所述处理器控制所述驱动器以在所述光路中沿着辅助运动路径移动所述元件，其中所述元件通过滚珠和垫片悬架来悬置，例如结合图像稳定机构公开的滚珠和垫片悬架。

类似于本发明机构的实施例，在其一个或者多个实施例中，所述方法被设置成引发并控制是连续运动路径、间歇式运动路径或者其组合的辅助运动路径。

在一个或者多个实施例中，所述元件可以以受限制的速度沿着所述辅助运动路径移动，使得对所述照相机图像传感器的影响被限制到每帧像素的小部分。

在其它或者组合的实施例中，所述照相机的运动可以被用作所述辅助运动路径的输入。

在又一些实施例中，所述滚珠的运动的热图可以被用作所述辅助运动路径的输入。

根据又一概念，本发明涉及包括计算机可读存储介质的计算机程序产品，该计算机可读存储介质具有在由处理器执行时适于根据之前或下面描述的方法实施的指令。

附图说明

图1是在本发明的一个或者多个实施例中使用的滚珠和垫片装置的一部分的示意立体图。

图2是图示现有技术的实施例的滚珠和垫片装置的一部分的示意平面图。

图3是图示本发明第一实施例的类似于图2的平面视图。

图4是图示本发明第二实施例的类似于图3的平面视图。

图5是图示本发明第三实施例的类似于图4的平面视图。

图6是本发明第四实施例的类似于图5的平面视图。

图7图示照相机的视场。

图8是图示照相机的运动的一种效应的类似于图7的视图。

图9是照相机和照相机悬架的示意图。

实施方式

图1是根据本发明第一实施例的机构的一部分的示意立体图。该机构包括滚珠102和垫片104，并且在使用该机构期间，该滚珠将沿着轨迹106行进以便补偿所探测到的照相机的运动。该机构自身将与图像传感器关联或者与透镜元件关联，并且通过移位图像传感器和透镜元件中的任何一个，该机构将可能影响在图像传感器上的图像位 置。理论上，该机构会与能够影响光路的光学系统中的任何部件关联，诸如镜子，如果存在设置在光路上的镜子，然而在实践中将使用图像传感器或者透镜部件。

在现有技术中，已经公开了滚珠/垫片机构、滚珠/垫片机构的基本控制或其悬架的细节，并且其将不是本公开的主要问题。概括起来，某些种类的倾斜传感器(例如加速计或者陀螺仪装置，或者两者的组合)可以用于探测照相机的运动。使用成像系统的现有设置，诸如与缩放级别和焦距有关的透镜参数，处理器可以确定在图像平面(在传感器上)中图像运动的最终效应，其中通过移动透镜组件或图像传感器(或者任何能够影响光束路径的其它部件)可以引发反向运动。

实际上引发反向运动的驱动器例如可以基于电磁或压电装置。可以使用的一种特定类型的驱动器是所称的音圈电机(voice coil actuator)，然而也可以使用其它类型的驱动器。

用于移动透镜或传感器的装置可以包括一个或多个滚珠/垫片机构。在实际示例中，完整的布置可能具有三个支撑点或者更多，以提供稳定的布置。并不是所有支撑点都需要提供给本发明的机构。

图2是图示其中没有应用本发明的情况的示意平面图。如通过实线所图示的，滚珠(未示出)将沿着路径106相对于垫片104移动，以使图像稳定。路径106不是基于真实情况的，其仅仅是基于照相机围绕中心点任意移动的。在照相机通过例如固定装置或三脚架完全或局部支撑的情况下，图案可能是完全不同的。一种效应是照相机将更倾向于在一个方向上而不是在另一方向上移动。然而，根据简化的示例，显而易见的是，在垫片104的中心将存在过度磨损，最终导致机构的低劣性能和最终失效。在图2(或者针对该情况的任何图)中仅显示了一个垫片，然而在通常安装中，存在两个垫片，其在滚珠的任一侧以相对的关系布置；一个垫片被布置在要被移动的物品上并且另一垫片被布置在基部上。垫片可以不形成分离的结构，其可以简单的是另一结构的平面部分。还应该澄清，滚珠确实能够以另一方式被悬置在其中一个结构中，例如在插座中，在这种情况下，仅需要一个垫片或平面部分。可以使用霍尔传感器装置或者另一机构以确保该垫片或多个垫片在每次使用之后返回到期望的起始点。

根据本发明的第一个举例的实施例，可以应用运动辅助路径。此运动辅助路径在图3中图示为在垫片104上的虚线108。在图3的视图中还没有考虑稳定运动的效应。现在，在图3的实施例中，机构被布置成在垫片表面上方慢慢地到处移动滚珠。单词“慢慢地”不是定量测量，而是该情况不是仅一种单一速度是可能的类型，其将进一步被讨论。首先注意辅助运动效应。通过比较(以及可能通过组合)图2和图3的视图容易领会该效应。通过使用图3的辅助运动，图2中图示的运动中心将不断地在垫 片上到处移动，并且这将降低垫片的磨损，或者至少在垫片104的较大表面区域上分布磨损，因此有效地增加了垫片的寿命。在一般水平上，滚珠102的磨损将不会受太大影响，然而通过利用较硬材料制造滚珠，整个机构的组合寿命可以被延长。辅助运动还将影响在图像平面中的图像位置，并且这将参考图7和图8进行讨论，并且因为这部分地涉及“慢慢地”的定义或者缺少其定义，因此这也将被讨论。还可以注意到，虚线表示如果没有应用稳定运动则滚珠将具有的位置，如果应用稳定运动则表示“稳定中点”。在实际情况中，在可以连续应用稳定运动的情况下，滚珠的实际路径根本不会遵循虚线。然而，滚珠将多次穿越该虚线。

如果图3的实施例中的辅助运动是慢的且可选地是连续的，那么图4中图示的实施例的运动具有间歇式的本质。在此实施例中，该滚珠在一个位置保持静止一段时间(根据辅助运动)，在这段时间过后，该滚珠移动到新位置，在该新位置该滚珠保持静止一段时间，以此类推。这在图4的连接点中被图示，其中该点对应于滚珠静止的位置(即，不存在引发的辅助路径的位置)。在这些位置的每个位置中，滚珠可能如图2所图示到处移动，以致影响图像稳定，由此实现磨损分布。

在又一进一步的实施例中，辅助运动可以是有效地显示随着时间变化的速度曲线的连续运动和间歇式运动的组合。如本文所公开的本发明不应该被限制在该方面，至少不应限制在其最宽范围中。

在由图5图示的实施例中，为了控制辅助运动，使用统计资料。轮廓线意在表示关于滚珠随着时间运动的热图。热图不必将辅助运动与图像稳定运动分开，因为其是对于磨损而言至关重要的滚珠的实际历史位置。参见图5的示例，很明显，滚珠主要位于右上象限中以及位于左下角中。此输入可以用于控制辅助运动，使得滚珠朝向右下角或左上角以便稍微均衡磨损。使用热图作为输入可以在多种不同复杂水平上实施，例如热图(或者对应的统计测量)可以连续用作输入，或者该热图可以在暂时地间隔开的分离事件中使用，在这些事件中，针对直到下次事件的时间，计算期望的辅助路径。在本示例中，热图已经被给予轮廓图的形式，因为这是说明性的且容易理解的示例。在实践中，热图可以通过各种统计测量来表示，并且由权利要求限定的本发明不应该限制在该方面。

图6图示包括又一个控制机构的进一步的实施例。再次示出垫片104，并且在本实施例中，垫片的表面已经被分割成三个功能性的同中心区段；中心区段112、中间区段114以及外部区段116。在实际情况中，显然将限制垫片104的表面区域，这将限制滚珠102可用的运动范围。另一给定参数是在照相机移动得更大时，即 在运动幅度增加时，用于滚珠的运动范围也增加了。这可以用作针对辅助运动的控制的有价值的输入。实质上当通过加速计或陀螺仪(或者其它合适的传感器)探测到照相机的运动幅度增加时，将控制辅助运动以便朝向垫片104的中间移动滚珠102。在图6的实施例中，想法是在某幅度之上，滚珠104将被控制成行进到中心区段112并且在中心区段112中行进，并且在某幅度之下，滚珠将被控制成行进到外部区段116并且在外部区段116中行进，以及在这些幅度之间，滚珠104可以被控制成行进到中间区段114并在中间区段114中行进。短语“到并在…中”不意味着滚珠被控制成唯一在这些区段中行进，所产生的稳定照相机的运动仍可以促使滚珠在预定区域外部行进。

在本实施例中对这些区段的使用仅基于便于阐释的目的，可存在更多区段，诸如四个、五个、六个等，存在更少区段，诸如两个或者甚至没有区段。后者的示例可以是用于辅助运动的工作半径是照相机的运动幅度的连续的、反向的函数。在所公开的实施例中，照相机的运动幅度被用作输入，然而实际函数可以取决于更多参数，诸如在较短的或延长的时间段上照相机运动的频率、统计资料等。

在相对于图5和图6公开的任何实施例中，可以应用如相对于图3或图4公开的运动模式。因此其可以是连续运动、以及间歇式运动、变化速度运动或者其组合。

在下面的部分中，将描述如何消除辅助运动效应的几个示例。

在图7中，举了场景图像的例子。成像到图像传感器的内容通过外部矩形118限定，并且在显示器上示出的内容或者至少在视频流中被转发的内容通过内部虚线矩形120限定。在本示例中，图像传感器可以说是超大尺寸，然而通过使用模拟数字缩放可以实现相同效果。在图8的视图中，辅助运动已经促使成像到图像传感器上的图像在位置上移位，但是由于传感器尺寸过大的事实(或者使用数字缩放)，如之前的相同区域将为用户示出。在图7和图8之间的位置上的移位在实践中将相距数以百计的帧，使得由辅助运动引起的逐步图像移位既不能被人眼探测到也不能被开发成例如探测运动的探测算法探测到。

辅助运动的运动精确速度优选地应该是其导致相邻图像帧之间的成像视图中的像素的部分移位。即使速度尽可能地慢以对应于每帧像素的1/100，但每秒30-60帧的普通帧速率(fps)将导致辅助运动在降低磨损方面是显著的。这能够被进一步举例：考虑到速度是每帧像素的1/100并且考虑到使用1080p传感器。能够假定可以引起对传感器的20％的最大值进行延伸的辅助运动，即约200像素。为了移动该距离，将要求20000帧，这对应于在30fps下的约10分钟。在图3中举例的 模式或类型的路径从启动到结束(或者从启动到再次启动)将需要约30分钟。

从实践角度可以推断用于辅助运动的建议速度，并且从该实践角度，每帧像素的1/10也是可能的，并且更慢的速度也是可能的。在减慢运动时，不存在显而易见的下限值。在最终加速运动时，其会导致图像中的伪影。这些伪影通过例如去卷积可以被校正，然而该校正以及类似的校正从计算观点是要求过高的，这使得它们更不适合应用在现场直播中。

辅助运动在多个实施例中将在图像传感器上到处移动图像，并且因此需要实施要显示给用户的传感器区域的选择。示出给用户的区域的选择可以从受控的辅助运动、透镜系统的当前设置等推断，即其是可预测的并且从各种可用输入数据可以计算。

替代如上面段落中使用可预测方法，或者除了上面段落中使用可预测方法之外，可以使用数字图像稳定，例如基于相邻帧中特征的识别和定位的数字图像稳定。值得注意的是，通过来自各传感器的输入可以支持现有的数字图像稳定，并且因此技术的组合可以用于达到期望的最终结果。

在本发明的所有实施例中，本发明额外的益处在于其不需要任何复杂的技术，如果鉴于在相关技术领域中可用的技术而考虑，则至少不需要任何复杂的技术。基本上，可以使用如今用于光学图像稳定的任何驱动单元，并且也存在用于监控滚珠位置的技术。针对创造性的目的，滚珠的位置是令人感兴趣的，然而该信息可以通过监控与滚珠互相作用的垫片或多个垫片的位置或运动而推断。

此外，光学图像稳定可能不能够消除所有类型的震动或振动的效应。在广义的示例中，可以说光学图像稳定可以用于负责在第一频率间隔(其在一端部或更多端部可以开放并且可以包括若干间隔分段)内的移动稳定，同时数字图像稳定可以用于负责在第二频率间隔(其可以在一端部或多个端部处开放并且可以包括若干间隔分段)内的移动稳定。第一频率间隔和第二频率间隔可以部分地重叠。数字图像稳定能够在更高频率处负责校正，在该更高频率处，陀螺仪或者稳定机构太慢以至于不能响应，而光学图像稳定能够在更低频率处负责校正，或者正好相反。

回到参考图6描述的实施例，其中辅助运动由照相机的所探测的运动部分地控制，对去除由辅助运动引起的可视效应的最近描述的提议解决方案，可以在照相机的多余的运动的情况下使用。因此，在一个实施例中，处理器被设置成如果探测到照相机的多余的运动，则光学地缩小，因此扩大在图像传感器上成像的视场(对应于图7和图8中的区域118)。这将有效地增加照相机在开始影响为用户 示出的区域之前能够移动的量。作为缩小的结果，处理器还将不得不重新调节为用户示出的视图，目的在于隐藏缩小过程的效应。该过程将增加该机构的稳定能力范围，或者实际上增加包括该机构的照相机的稳定能力范围。

由于区域118和区域120之间的尺寸差异，使用光学缩小和光学放大还能用于最小化丢弃的像素数量。当辅助运动路径在垫片中间时，光学缩放能够设置成使区域118和区域120具有相同尺寸。辅助运动移动到距离垫片中心越远，那么照相机必须光学缩小更多以使得所有区域120被包括在区域118中。然后，区域120的图像可以被调整比例到普通尺寸以适合连续的图像流。

在相同或相关实施例中，缩放级别基于滚珠的位移可以动态地变化(在其稳定运动中)，所需要的补偿量能够最小化。在裁剪的情况下，这意味着当滚珠越接近垫片的中心则分辨率越高。

图9例举了一个实施例，其中使用硬件对辅助运动的效应进行消除。图9示出示意性地悬置使得其能够平移和倾斜的照相机122。处理器可以用于控制平移机构和倾斜机构，使得通过在平移P和倾斜T方向上的反向运动消除辅助运动的效应。显而易见地，所考虑的效应是将图像定位在图像芯片上的效应，而不是降低磨损的效应。

如果适当地考虑，则图7、图8、图9的实施例可以自由组合。作为这种情况的一个示例，平移和倾斜马达的使用可以通过数字图像稳定来支持，从而降低任何残留效应。