装备有传输动态校正了抖动效应的图像序列的摄像机的移动设备，尤其是旋翼无人机的制作方法
【技术领域】
[0001] 本发明设及对由移动设备(尤其是诸如无人机之类的机动化飞行装置)上安装的 相机捕捉的数字图像的处理。
【背景技术】
[0002] 本发明有利地适用于由诸如四螺旋奖遥控直升机(qua化icopter)之类的旋翼无 人机的前置相机收集的图像。运样的无人机的典型示例是法国己黎醋股份有限公司 (Parrot SA)的AR.Drone 2.0，它是一种装备了一系列传感器（加速计、3-轴巧螺仪、高度 计）、捕捉无人机正对着的场景的图像的前置相机、W及捕捉飞越的地面的图像的俯视相机 的四螺旋奖遥控直升机。该无人机装备有由相应电机驱动的多个旋翼，所述电机能够W不 同方式被控制W便在姿态和速度方面引导无人机。
[0003] 在WO 2010/061099 A2、EP 2 364 757 Al或者EP 2 613 214 AUParrot SA)中描 述了该无人机的各种方面。
[0004] 前置相机可被用于"沉浸模式"驾驶，也就是其中用户W与就好像他自己位于该无 人机上相同的方式使用相机的图像。
[0005] 它还可用于捕捉无人机正对的场景的图像的序列。用户因此可W W与将由无人机 所承载(而非手持)的相机或便携式摄像机相同的方式使用该无人机。收集到的图像可被记 录随后被广播、放到线上的视频序列托管网站、发送到其他因特网用户、在社交网络上共享 等。
[0006] 对于要被记录和通信的运些图像，期望它们尽可能具有较少的缺陷，尤其是由于 无人机的行为造成的缺陷，运些缺陷可能生成相机所捕捉的图像的振荡、变形或者其他不 合时宜的假像。
[0007] 运样的缺陷在"沉浸式驾驶"配置下可能是可接受的。但是，如果问题是使用该无 人机作为移动摄像机来捕捉将被记录并且此后再现的序列，运些缺陷是极其妨碍的，因此 希望将它们减少到最低程度。本发明尤其针对消除称为抖动(wobble)的缺陷，该缺陷是图 像的模糊和变形效应。该效应出现在存在高频率和低幅度振动的情况下，典型的是传送到 相机支架的电机振动，所述振动必定造成随着图像上波动的出现W及波浪的形成而使得直 线变形的结果。运一效应即使并不十分显著也会迅速被肉眼察觉到，所W它非常迅速地劣 化了图像的视觉质量。
[000引运一具体假像是由于相机的传感器(诸如无人机上的那些)所使用的卷帘式快口 类型(而不是全域快口）的机制造成的，其中并没有在同一时间对图像的所有像素获得构成 该图像的各行，而是一行接一行的。在捕捉图像期间发生的振动因此在图像中生成变形，运 些变型从一行到下一行是不同的，因此出现了波动。
[0009]对抖动效应的逐行校正（"行内校正"）可使用巧螺仪测量来被执行，巧螺仪测量提 供代表无人机且因此是相机在=个轴上的瞬时旋转的信号，包括由于振动造成的快速变 化。从可对每一行精确地且与相机的传感器同步地捕捉无人机的姿态的时刻起，对巧螺仪 测量的逆变换的应用允许在一定程度上补偿抖动效应。
[0010] 运种类型的某一技术被具体地描述于本申请人名下的2014年7月2日的申请FR 14 56302，"Drnoe a voilure tournante muni d'une cam有ra vid有o d有livrant des sequences d'images stabilis有es"中。
[0011] US 2012/0242847 Al描述了相同性质的技术，该技术应用于卷帘式快口摄像机， 用于校正在W手臂可及长度拿着相机的用户的移动和颤动的影响下而产生的变形。对于配 备有巧螺仪传感器的相机，可能评估传感器的瞬时旋转W及通过对传感器提供的图像信号 的合适的电子处理来实时地补偿运些移动。
[0012] 也就是说，如在下面的具体实施例中将要更为精确地阐述的那样，使用巧螺仪信 号进行抖动补偿的运种方法易于在某些条件下产生过度校正，从而生成新假像，后果是经 校正的图像反而比在任何校正之前获得的原始图像更加劣化。
【发明内容】
[0013] 本发明的出发点是观察到运一现象与相机的曝光时间有关联并且仅仅在长曝光 时间的情况下发生(对应于暗场景）。
[0014] 实际上，当曝光时间接近于相机所经受的振动（也就是生成期望被减少的抖动的 振动)的周期时，通过相机的长曝光时间自然地滤除了该抖动。原始图像于是具有由于移动 造成的模糊但具有很少波动或没有波动。但是如果施加了来自巧螺仪信号的反向校正-其 反映相机上的振动的影响但是不考虑通过长曝光时间进行过滤的影响，则运一反向校正在 图像上造成原始图像上不存在的波动的出现(除了由于移动造成的轻微模糊之外）。
[0015] 本发明的基本原理在于在图像的稳定化的链中，在提供巧螺仪信号的电路和失真 校正电路之间插入过滤器，使得反映由于振动导致的相机的瞬时旋转的巧螺仪信号根据取 决于当前图像的相机曝光时间的传递函数被过滤。对于每一个图像，将生成具有与曝光时 间反向变化的截止频率的过滤器，从而逐步从校正信号(巧螺仪信号）中抑制由于增加曝光 时间而被自然过滤的相机移动，并且因此不引入劣化结果的错误校正。
[0016] 更准确地，本发明提出一种移动设备，尤其是诸如无人机之类的机动化飞行装置， 该移动设备W它本身所已知的方式(尤其是来自上述US 2012/0242847 Al的方式)包括具 有镜头的相机、在给定的曝光时间期间在其上形成场景图像的数字传感器、和用于读取逐 行提供视频数据作为输出的卷帘式快口类型的传感器的机构，W及包括适合于根据所捕捉 的场景的照度级别来动态调整曝光时间伺服机构的曝光控制电路。巧螺仪单元通过表示所 述移动设备的姿态的瞬时变化的巧螺仪信号。包括防抖动过滤器的图像处理单元接收所述 视频数据和巧螺仪信号作为输入，并且提供处理和校正了特定于该移动设备的振动所引入 的假像的视频数据作为输出。
[0017] 本发明的特征在于，防抖动过滤器根据曝光控制电路确定的曝光时间，动态地修 改施加于图像处理电路的输入处的巧螺议信号的增益，W便当曝光时间增加时，减少过滤 器的增益，反之亦然。
[0018] 根据各种有利的附加特征：
[0019] -过滤器的增益变化规则是单调变化规则，它可被限制在最大增益1和最小增益零 之间；
[0020] -防抖动过滤器是数字过滤器，适合于对于一给定图像生成低通己特沃斯过滤器， 其阶数是预定义的，且其截止频率按照为所述给定图像确定的曝光时间而变化；
[0021] -该己特沃斯过滤器的截止频率Fc按照曝光时间texp的变化规则是Fc= 1/2 ? texp类 型的规则；
[0022] -该数字过滤器W正向和相反方向被应用于巧螺仪信号两次；
[0023] -该相机对于采集窗口期间提供视频数据作为输出，并且对于处理窗口期间对给 定图像应用防抖动过滤器，该处理窗口在对该图像的采集的窗口之前开始并且在该图像的 采集窗口之后结束。
【附图说明】
[0024] 现在将通过参考附图描述本发明的示例性实施例，附图中相同的附图标记在全部 附图中表示相同或者功能上相似的元素。
[0025] 附图Ia到Ic例示出在应用任何校正过滤之前可在棋盘图像上观察到的冻胶和抖 动类型的假像。
[0026] 附图2a到2d例示出通过应用各种失真校正技术W短曝光时间获得的高对比度竖 直条的图像。
[0027] 附图3a到3d例示出与附图2a到2d的那些相同的相应图像，但是采用接近于相机所 经受的振动的周期的长曝光时间。
[0028] 附图4W框图例示出根据本发明的对抖动类型的假像进行校正和过滤的不同元 素。
[0029] 附图5例示出关于相机所经受的特征振动频率的最佳增益/曝光时间