用于稳定和重新成帧的方法和系统的制作方法
【专利说明】用于稳定和重新成帧的方法和系统
[0001]本申请要求享有于2013年3月8日递交申请的美国临时申请N0.61/775，324的优先权。
【背景技术】
[0002]便携式电子设备正变得越来越普遍。这些设备，例如移动电话、音乐播放器、摄像机、平板计算机等通常包括设备的组合，从而使携带多个对象是多余的。例如，目前的触摸屏移动电话，例如苹果的iPhone或三星的Galaxy android电话包括视频和静态摄像机、全球定位导航系统、网络浏览器、文字和电话、视频和音乐播放器等。这些设备通常允许多个网络，例如wif1、有线和蜂窝(例如3G)，以发送和接收数据。
[0003]便携式电子产品中的辅助特征的质量得到了不断提高。例如，早期的“拍照手机”包括了低分辨率传感器，具有定焦镜头并且没有闪光灯。如今，很多移动电话包括全高清视频功能、编辑和过滤工具以及高清显示器。有了这些功能改善，很多用户都在使用这些设备作为其主要的摄影设备。因此，存在对于性能更加改进并且专业级别的嵌入式摄影工具的需求。
[0004]例如，移动设备上的许多视频是以用户可能无意中旋转移动设备从而将视频的水平和竖直方向对于观看者而言倾斜的方式记录的。在极端情况下，用户可能开始用相机在竖直方向上拍摄并且改变到水平方向。这将导致当显示给观看者时开始是正确的方向但最后旋转90度的视频。要解决此问题，需要后期处理，这是希望经由社交网络直接共享视频的用户不希望的选项。
[0005]另外，在竖直位置用移动设备记录视频往往导致高度大于宽度的视频。这个最后的结果对在通常宽度大于高度的大多数显示器(例如电视屏幕)上使用并非最佳。在许多情况下，用户拍摄视频没有特别注意水平方向，尤其是当拍摄社会活动、现场事件或其他被摄体时(其中用户正经历将其关注点从他们用来记录的设备移开)。此外，大多数移动电话被设计为在竖直方向上使用。因此，用户可能开始在设备的预期方向上使用设备，只是后来认识到应该在水平方向上拍摄视频。
[0006]因此，希望克服嵌入在移动电子设备中的当前摄像机的这些问题。
【发明内容】
[0007]—种用于动态地保持视频的水平成帧的方法和装置。系统允许用户在摄像的同时自由地旋转设备，同时在拍摄期间在设备取景器或屏幕上的覆盖层中观察最终输出。随后对所得记录进行校正，以保持具有稳定水平线的单一方向。系统和方法可操作以在所捕捉视频的所捕捉表示上显示覆盖层，其中，所述覆盖层指示相对于所述方向的修正图像。
[0008]在一个方面，本发明涉及一种保存图像数据的方法，所述方法包括下列步骤:接收表示具有第一方向的第一图像的数据；接收表示指示相对于重力的设备竖直方向的第二方向的数据；重新定向所述第一图像，使得所述第二方向成为所述第一图像的竖直方向以产生重新定向的图像；以及保存所述重新定向的图像。
[0009]在另一个方面，本发明还涉及一种处理视频流的方法，所述方法包括下列步骤:初始化视频捕捉模式；接收表示视频流的第一数据；显示所述视频流的表示；接收表示纵横比的第二数据；接收表示旋转位置的第三数据；以及将表示所述纵横比和所述旋转位置的图形覆盖在所述视频流的所述表示上。
[0010]在另一个方面，本发明还涉及一种装置，所述装置包括:图像传感器，用于捕捉具有第一方向的图像数据；旋转传感器，用于确定旋转值；处理器，用于响应于所述旋转值而确定第二方向，并且用于响应于所述第二方向而重新定向所述图像数据，以产生重新定向的图像；以及存储所述重新定向的图像。
【附图说明】
[0011]从将结合附图阅读的优选实施例的以下详细描述，本公开的这些和其他方面、特征和优点将被描述或变得显而易见。
[0012]在附图中，其中类似的附图标记贯穿所有视图表示类似的元件:
[0013]图1不出了移动电子设备的不例性实施例的框图；
[0014]图2示出了根据本发明的具有有源显示器的示例性移动设备显示器；
[0015]图3示出了根据本公开的用于图像稳定和重新成帧的示例性过程；
[0016]图4示出了根据本发明的具有捕捉初始化400的示例性移动设备显示器；
[0017]图5示出了根据本公开的用于启动图像或视频捕捉的示例性过程500。
【具体实施方式】
[0018]本文列出的范例说明了本发明的优选实施例，并且这些范例不应被解释为以任何方式限制本发明的范围。
[0019]参考图1，示出了移动电子设备的示例性实施例的框图。虽然所描绘的移动电子设备是移动电话100，但是本发明同样可以在任何数量的设备，例如音乐播放器、摄像机、平板计算机、全球定位导航系统等上实现。移动电话通常包括发送和接收电话呼叫和文本消息、通过蜂窝网络或本地无线网络与互联网介接、拍摄照片和视频、回放音频和视频内容以及运行应用程序(例如文字处理、程序或视频游戏)的能力。许多移动电话包括GPS并且还包括触摸屏面板作为用户接口的一部分。
[0020]移动电话包括主处理器150，所述主处理器150耦合到其他主要组件中的每一者。主处理器或处理器在各种部件(例如网络接口、摄像机140、触摸屏170和其他输入/输出I/O接口 180)之间路由信息。主处理器150还处理用于直接在设备上或通过音频/视频接口在外部设备上回放的音频和视频内容。主处理器150可操作以控制各子设备，例如摄像机140、触摸屏170以及USB接口 130。主处理器150进一步操作以在移动电话中执行子程序用于处理数据(类似于计算机)。例如，主处理器可用于在照片已经由摄像机功能140拍摄之后处理图像文件。这些处理可包括裁剪、压缩、颜色和亮度调整等。
[0021]蜂窝网络接口 110由主处理器150控制，并且用于通过蜂窝无线网络接收和发送信息。可以将此信息编码为各种格式，例如时分多址(TDMA)、码分多址(CDMA)或正交频分复用(OFDM)。经由蜂窝网络接口 110从设备发送和接收信息。接口可以包括用于将信息编码和解码成适当的格式以用于传输的多个天线编码器、解调器等。蜂窝网络接口 110可以用于促进语音或文本传输，或从互联网发送和接收信息。这个信息可以包括视频、音频和或图像。
[0022]无线网络接口 120或wifi网络接口用于通过wifi网络发送和接收信息。可以根据不同的wifi标准(802.1 lg、802.1 lb,802.1 Iac等)将此信息编码为各种格式。该接口可以包括用于将信息编码和解码成适当的格式以用于传输并且将信息解码以用于解调的多个天线编码器、解调器等。wifi网络接口 120可以用于促进语音或文本传输，或从互联网发送和接收信息。这个信息可以包括视频、音频和或图像。
[0023]通用串行总线(USB)接口 130用于通过有线等通常向计算机或其他有USB能力的设备发送和接收信息。USB接口 120可以用于发送和接收信息、连接到互联网、发送和接收语音和文本呼叫。另外，此有线链路可以用于使用移动设备蜂窝网络接口 110或wifi网络接口 120将有USB能力的设备连接到另一个网络。USB接口 120可以由主处理器150用来向计算机发送和接收配置信息。
[0024]存储器160或存储设备可以耦合到主处理器150。存储器160可用于存储与移动设备的操作相关和主处理器150所需要的特定信息。存储器160可用于存储音频、视频、照片或由用户存储和检索的其他数据。
[0025]输入输出(I/O)接口 180包括按钮、用于电话呼叫的扬声器/麦克风、音频记录和回放或语音激活控制。移动设备可以包括通过触摸屏控制器耦合到主处理器150的触摸屏170。触摸屏170可以是使用电容式和电阻式触摸传感器中的一个或多个的单点触摸屏或多点触摸屏。智能电话还可以包括额外的用户控制，例如但不限于开/关按钮、激活按钮、音量控制、振铃控制以及多按钮小键盘或键盘。
[0026]现在转向图2，示出了根据本发明的具有有源显示器的示例性移动设备显示器200。示例性移动设备应用可操作用于允许用户:在拍摄的同时以任何成帧来记录和自由地旋转其设备，在拍摄期间在设备的取景器上的覆盖层中观察最终输出，并且最后在最终输出中校正其方向。
[0027]根据该示例性实施例，当用户开始拍摄时，考虑其当前方向并且使用基于设备的传感器的重力向量来指示水平线。对于每一个可能的方向，例如纵向(portrait) 210 (其中设备的屏幕和相关光学传感器的高度大于宽度)或横向(landscape) 250 (其中设备的屏幕和相关光学传感器的宽度大于高度)，选择最佳目标纵横比。内嵌矩形225内接于整个传感器内，在针对给定(当前)方向给定期望的最佳纵横比的情况下，其最佳适配传感器的最大边界。稍微填充传感器的边界，以便为校正提供“喘息空间”。通过实质上与设备的自身旋转(从设备的集成陀螺仪采样得到)相反地进行旋转来变换这个内嵌矩形225，以补偿旋转220、230、240。变换的内矩形225最佳地内接于减去填充的整个传感器的最大可用边界内。取决于设备的最当前方向，相对于旋转的量调整变换的内矩形225的尺寸以插入在两个最佳纵横比之间。
[0028]例如，如果选择用于纵向方向的最佳纵横比为正方形(I: I)，并且选择用于横向方向的最佳纵横比较宽(16: 9)，则随着内接矩形从一个方向旋转到另一个方向，内接矩形将最佳地插入在1:1和16: 9之间。对内接矩形进行采样并且然后进行变换以适配最佳输出尺寸。例如，如果最佳输出尺寸是4: