用于调整所俘获视频的定向的系统和方法
【技术领域】
[0001] 本发明大体上设及用于通过利用建构至视频记录装置中的加速计数据来调整场 景中对象的所俘获视频的定向的系统和方法。
【背景技术】
[0002] 通常，在便携式摄像机的预览中或在视频电话（VT)应用的本地视图中，对象的图 像定向始终与场景中对象的真实定向相同，而不管所述装置的定向如何。
[0003] 然而，当编码帖时，每一帖中对象的图像定向取决于俘获帖的时刻装置的定向，其 未必与场景中对象的真实定向匹配。因此，如果在俘获对象时装置旋转角度0，那么在所记 录视频中，对象的视图也将旋转角度e，而非在所俘获场景中呈现对象的真实定向。
【发明内容】
[0004] 在一个实施例中，本发明提供一种用于编码视频俘获装置上俘获的视频的方法。 所述方法包括在俘获场景的视频时读取来自视频俘获装置的定向数据。所述方法进一步包 括基于定向数据产生旋转矩阵。所述方法进一步包括调整所俘获视频的定向W与场景的真 实定向匹配。所述方法进一步包括编码所述经调整的所俘获视频。在另一实施例中，本发 明提供一种用于编码视频俘获装置上的视频俘获的系统。所述系统包括经配置W俘获场景 的视频的图像传感器。所述系统进一步包括经配置W提供来自视频俘获装置的定向数据的 惯性测量单元。所述系统进一步包括旋转模块，其经配置W基于定向数据产生旋转矩阵且 调整所俘获视频的定向W与场景的真实定向匹配。所述系统进一步包括经配置W编码所述 经调整的所俘获视频的编码器。在另一实施例中，本发明提供一种用于编码视频俘获装置 上俘获的视频的系统。所述系统进一步包括用于在俘获场景的视频时读取来自视频俘获装 置的定向数据的装置。所述系统进一步包括用于基于定向数据产生旋转矩阵的装置。所述 系统进一步包括用于调整所俘获视频的定向W与场景的真实定向匹配的装置。所述系统进 一步包括用于编码所述经调整的所俘获视频的装置。
【附图说明】
[0005] 图1为根据本发明的一个实施例显示屏上的场景俘获和图像变换的说明。
[0006] 图2为根据本发明的一个实施例的系统级概观的框图。
[0007] 图3为展示用于所俘获视频的定向调整的过程的概观的流程图。
[000引图4为展示用于读取来自加速计单元的数据的过程的概观的流程图。
[0009] 图5为展示用于基于旋转矩阵调整视频定向的过程的概观的流程图。
【具体实施方式】
[0010] 本发明的实施例设及用于基于从传感器收集的与视频俘获装置相关联的数据调 整所俘获视频的定向的系统和方法。举例来说，可基于从建构到视频俘获装置中的重力传 感器或加速计单元俘获的定向数据调整所俘获视频的定向。特定来说，大部分现代移动电 话包含具有视频和图像俘获功能的内置相机。举例来说，典型的现今移动电话相机可提供 W至多每秒30帖记录视频的能力。
[0011] 此外，移动电话经常包括建构到装置中用于用户接口控制的加速计。加速计测量 在某一时刻施加到装置的力。该些力可用于确定用户移动装置的方向且因此提供定向数 据。加速度值表达为表示X、Y和Z轴中的加速度分量的3维向量。加速度的定向可相对于 所述装置使得当装置在水平桌子上面朝上时在Z轴中施加Ig，且当装置放置为垂直于桌面 时沿着Y轴施加Ig。加速计可用于基于电话的定向或装置如何被用户固持而在装置的屏幕 上呈现图像或视频的风景或肖像视图。
[0012] 在视频记录期间，如上文所论述，所俘获视频的定向未必与场景中所俘获对象的 "真实定向"匹配。举例来说，如果在记录期间视频记录装置倾斜或旋转一角度，那么所俘获 视频当在装置上重放时将旋转相同角度。因此，当视频在移动装置屏幕上重放时所记录视 频可看上去"倾斜"或"旋转"，同时保持在正常垂直或水平定向中。此外，如果视频经发射 或存储W供在另一装置（例如，电视机）上重放，那么视频也将呈现为旋转或倾斜其在移动 装置上记录期间所倾斜的相同的角度。然而，如本文中所论述，实施例可使用从视频装置传 感器所俘获的数据来恰当地定向装置W供重放。作为一个实例，一旦读取加速计数据，所述 数据就可用于计算旋转矩阵W校正倾斜的视频定向使得视频将W在正常定向中重放的方 式编码。
[0013] 图1为展示通过视频俘获装置120记录的树110的旋转定向的场景100的一个实 施例的说明。视频俘获装置120可包括移动电话、平板PC、数码相机或包括内置式位置传感 器（例如，加速计或惯性测量单元）的任何记录装置。
[0014] 如所展示，当记录树110时视频俘获装置120倾斜一角度。视频俘获装置130可 为与视频俘获装置120相同的装置或另一装置，且包含本文中所描述的基于视频俘获装置 120的位置旋转所俘获图像的实施例。如所展示，装置130展示在无任何倾斜的情况下记录 树110,使得装置130的定向与场景100中所俘获树的真实定向匹配。如视频俘获装置120 的屏幕125上所示，树110的定向经定向使得屏幕125上展示的树的顶部指向视频屏幕125 的左上部分128或朝向视频屏幕125的左上部分128旋转。在无本文中所描述的定向调整 系统的情况下，树110的顶部的图像将继续指向装置130的左上部分，即使保持在垂直位置 中时也如此。
[0015] 因此，实施例通过读取来自视频俘获装置的内置式加速计或惯性测量单元的数据 而校正此显示缺陷。所述数据可用于导出旋转矩阵，所述旋转矩阵在视频编码期间旋转所 俘获对象使得最终视频将与屏幕上对象的真实定向匹配。如装置130中所示，在图像变换 之后，屏幕135展示树的定向沿着垂直轴线指向上方（在12点位置处），该与对象的真实定 向匹配。
[0016] 图2为图1的系统120的框图。相机210提供W不同帖速率俘获场景的图像或视 频的能力。举例来说，相机210可W每秒30帖的帖速率俘获视频。相机连接到处理器220， 处理器220结合加速计单元230工作，加速计单元230测量视频俘获装置120的加速计读 数。加速计单元230还可由=轴巧螺仪代替加速计组成W导出视频俘获装置的空间定向W 用于调整所俘获视频的定向。
[0017] 处理器220可导出方向余弦矩阵或旋转矩阵w校正记录期间视频俘获装置的旋 转。展示一组系统模块240,其在系统内一起作用W提供调整所俘获视频的定向的许多功 能。运动稳定器模块242可在记录期间使图像或视频稳定，且使用加速计单元230数据用 于防止模糊的功能性。图像俘获模块244可处理相机210所俘获的视频的每一帖且结合旋 转模块246工作W计算用于当前帖的定向调整的旋转矩阵。旋转模块246可经配置W读取 来自加速计单元230的加速计或惯性测量单元数据W导出逐帖调整所俘获视频的定向的 旋转矩阵。显示装置250可随后显示定向经调整的所俘获视频或显示未经调整定向视频。
[0018] 图3为展示如本文中所论述用于调整所俘获视频的定向