用于变换图像的系统和方法
【技术领域】
[0001] 本发明设及通常在图像处理领域的计算机实现的方法和系统W及计算机可读介 质。
【背景技术】
[0002] 现在，人们具有可W用来拍摄图片的多种选择。除专口用于获取胶片或数字形式 的图像的传统的照相机之外，诸如智能手机的许多移动设备也能够拍摄图片。例如，移动设 备可W包括照相机和使得用户能够利用移动设备上的照相机拍摄图片的图像捕捉软件。运 些图像可W存储至移动设备并随后查看。此外，一些互联网社交网络使得用户能够在线共 享照片。运些照片共享社交网络的会员可W利用他们的移动设备拍摄图片并将图片上传至 照片共享社交网络W便让其他人看到。
[0003] 图像在被捕捉到之后可W修改。例如，移动设备或支持社交网络的系统可W提供 滤镜或其他类型的编辑工具W允许手动改动图像。有时，使用运些编辑工具，图像的拥有者 可W选择修改图像W提供美学改善。在其他情况下，编辑工具可W允许图像的拥有者修改 图像的被认为不希望的其他方面。
【发明内容】
[0004] 本发明具体地提供用于变换图像W解决倾斜的技术。在本公开的各个方面中，提 供获得利用移动设备来捕捉图像的系统、方法和计算机可读介质。图像优选地由内置于移 动设备中的照相机捕捉。没有任何限制，移动设备尤其是移动通信设备，优选地，电子移动 通信设备，例如移动电话，尤其是智能电话或用于无线通信的任何其他手持移动通信设备。
[0005] 还获得在捕捉图像的时刻或该时刻附近的移动设备的运动传感器数据。为了该目 的，移动设备可W包括监测移动设备的运动和方位并输出对应的运动传感器数据的至少一 个运动传感器。运动传感器可W例如测量加速力和/或旋转力或速度。在实施方式中，运动 传感器数据的获取包括从巧螺仪中取样数据。取样数据可W通过低通滤波器过滤W减少噪 声。在实施方式中，运动传感器数据的获取包括从移动设备上的加速计中取样数据。
[0006] 旋转角基于运动传感器数据计算，并且图像基于旋转角变换。
[0007] 在实施方式中，图像的变换包括基于计算的旋转角旋转图像。图像的变换还可W 包括或者可替换地基于移动设备的用户界面的查看框的尺寸缩放图像。
[000引在实施方式中，变换的图像显示在移动设备上。
[0009] 在实施方式中，确定旋转角由移动设备执行。
[0010] 在实施方式中，图像的变换由移动设备执行。
[0011] 在实施方式中，提供允许用户选择图像的自动变换的用户输入元件，并且接收对 于图像的自动变换的选择。图像的变换响应于接收的选择。
[0012] 在实施方式中，在图像被变换之前，获取的图像显示在移动设备的显示器上。在变 换之后，经变换的图像图像代替所获取的图像显示在显示器上。
[0013] 在实施方式中，将旋转角与预先确定阔值角度相比较。在旋转角不超过预先确定 的阔值角度时，显示变换图像。
[0014] 在实施方式中，显示的用户界面包括第一控制元件，其使能在第一粒度下的用户 控制的变换图像的旋转。接收应用于第一控制元件的第一用户输入，并且基于第一用户输 入在第一粒度下旋转经变换的图像。
[0015] 在实施方式中，显示在用户界面中的使能在第二粒度下的用户控制的变换图像的 旋转的第二控制元件。接收应用于第二控制元件的第二用户输入，并且基于第二用户输入 W第二粒度旋转经变换的图像。
[0016] 在实施方式中，第一控制元件和第二控制元件在第一方向上从基准位置的运动在 第一旋转方向上旋转图像，并且第一控制元件和第二控制元件在第二方向上从基准位置的 运动在第二旋转方向上旋转图像。
[0017] 在实施方式中，用户界面使得用户能够定义旋转点，变换图像绕该旋转点旋转。接 收应用于用户界面的定义旋转点的第一用户输入。接收应用于用户界面的定义旋转方向和 粒度的第二用户输入。经变换的图像根据基于第一用户输入和第二用户输入的旋转方向和 粒度绕旋转点旋转。
[0018] 在实施方式中，图像的变换由社交网络系统执行。
[0019] 从附图和W下详细描述中，本发明的许多其他特征和实施方式将变得显而易见。
【附图说明】
[0020] 图1示出根据本公开的实施方式的示例移动设备。
[0021] 图2示出根据本公开的实施方式的在图1中示出的示例图像变换模块。
[0022] 图3示出根据本公开的实施方式的用于基于运动传感器数据来变换图像的示例过 程。
[0023] 图4A示出根据本公开的实施方式的显示变换之前的图像的示例用户界面。
[0024] 图4B示出根据本公开的实施方式的在图像旋转之后的图4A中示出的示例用户界 面。
[0025] 图4C示出根据本公开的实施方式的在图像缩放并旋转之后的图4A中示出的示例 用户界面。
[0026] 图5A示出根据本公开的实施方式提供用户对变换图像的控制的示例用户界面。
[0027] 图5B示出根据本公开的实施方式的在图像变换之后在图5A中示出的示例用户界 面。
[0028] 图6A示出根据本公开的实施方式的示例控制元件。
[0029] 图6B示出根据本公开的实施方式的示例控制元件。
[0030] 图7示出根据本公开的实施方式的用于变换图像的示例过程。
[0031] 图8示出根据本公开的实施方式的将图像绕用户定义的旋转点变换的示例过程。
[0032] 图9A示出根据本公开的实施方式的显示在进行图8中的过程之前的图像的示例用 户界面。
[0033] 图9B示出根据本公开的实施方式的显示根据图8的过程变换的图像的图9A的示例 用户界面。
[0034] 图10是根据本公开的实施方式的用于变换图像的示例系统的网络图。
[0035] 图11示出了根据本发明的实施方式的可用于实现在本文中描述的一个或多个实 施方式的计算机系统的实例。
[0036] 描述本发明的各种实施方式的附图仅为了说明的目的，其中附图使用相同参考数 字确定相同元件。本领域技术人员通过下面的讨论可W容易认识到在不偏离在此所述的本 发明的原理的情况下可W采用在附图中说明的结构和方法的替换实施方式。
【具体实施方式】
[0037] 图像变换
[0038] 通过照相机(包括内置于移动设备中的照相机)捕捉的图像可能会有某些缺点。缺 点会反映图像捕捉过程中的不规律性和其他因素。例如，在照相机在图像捕捉的时刻期间 倾斜时，得到的捕捉图像会反映照相机的倾斜。在个人W不符合图像对准期望的方式控制 照相机位置时会出现倾斜。倾斜图像是美学上不希望有的或者不忠实于图像中描绘的内容 的真实性。
[0039] 照相机可W布置在移动设备内。在实施方式中，移动设备的倾斜可基于移动设备 的轴与基准轴的偏差。在移动设备的纵轴（或横轴）没有与垂直基准轴或水平基准轴对准 (即，并行)时，可W认为移动设备是倾斜的。图像捕捉期间倾斜的移动设备会使得捕捉图像 在显示在移动设备的查看框内时看起来是倾斜的。
[0040] 应当理解，虽然移动设备的倾斜在本公开中可W描述为基于移动设备的纵轴与垂 直基准轴的偏差，但移动设备的倾斜还可W基于移动设备的横轴与垂直基准轴的偏差。例 如，在移动设备的横轴(或纵轴)没有与垂直基准轴或水平基准轴对准（即，并行)时，可W认 为移动设备是倾斜的。
[0041] 为了解决上述缺点，本公开的系统、方法和计算机可读介质的各种实施方式可W 设及使用移动设备的能力矫正出现的倾斜图像。移动设备可W包括监测移动设备的运动和 方位的运动传感器。运动传感器可W例如测量沿着X-轴、y-轴和Z -轴的加速力和旋转力。示 例运动传感器可W包括例如巧螺仪和加速计。从一个或多个运动传感器产生的运动传感器 数据可W用于确定移动设备相对于基准轴的倾斜(或者倾度）。
[0042] 可W获得利用移动设备捕捉的图像，W及反映在捕捉图像的时刻或时刻附近的移 动设备位置的移动设备的运动传感器数据。然后可W基于运动传感器数据计算对于校正倾 斜图像所必需的旋转角，并且可W基于旋转角变换图像。
[0043] 例如，移动设备可W包括照相机和使得用户能够利用移动设备上的照相机拍摄图 片的图像捕捉软件。如果用户在保持移动设备倾斜时拍摄图片，那么捕捉的图像在显示在 移动设备上的查看框内时将会是相应地倾斜的。本公开的实施方式使得用户能够变换(例 如，旋转）图像W使图像变直或者另外校正移动设备和得到的图像的倾斜。W运种方法，例 如可W在将捕捉的图像存储在移动设备上或者将其上传至远程设备(诸如使用户能够在线 存储并共享照片的社交网络系统的远程服务器)之前，使图像变直。在一个实施方式中，图 像捕捉软件可W是社交网络系统的移动应用的一部分，用户可W将其下载至移动设备W使 得用户能够捕捉图像并将它们在线发布至社交网络系统。例如，基于运动传感器的倾斜校 正可W被包括为移动应用的一部分，并使得用户能够校正捕捉图像的倾斜。在一个实施方 式中，在获得图像之后倾斜校正可W在没有用户确认的情况下自动发生。在另一个实施方 式中，倾斜校正在变换图像之前需要用户发起或确认。
[0044] 图1示出根据本公开的实施方式的示例移动设备。移动设备100被示出为包括照相 机105、图像捕捉模块110、运动传感器115、图像变换模块120、显示器125W及处理设备130。 应当理解，示出的部件不旨在限制，而且为了避免使本公开的细节不清楚，移动设备100的 其他部件没有示出-例如，操作系统、扬声器、麦克风、输入控制元件(例如，触摸屏、键盘、数 字键盘等）、通信端口、收发器、存储器等。示例移动设备100可W包括，但不限于，智能电话、 平板电脑、笔记本电脑、个人数字助理(PDA)、移动电话等，如结合附图11论述的。
[0045] 照相机105布置在移动设备100上并且使得用户能够利用移动设备105捕捉图像。 照相机105可W例如包括透镜和图像传感器，该图像传感器用于产生代表由照相机105拍摄 的图像（例如，图片）的图像数据。例如，图像传感器可W包括，但不限于，电荷禪合器件 (CCD)图像传感器或互补金属氧化物半导体(CMOS)传感器，用于捕捉光并将其转变为电信 号。可W包括额外的电气电路W将来自图像传感器的电信号转变为代表图像的数字信号。
[0046] 图像捕捉模块110结合照相机105运行W使得能够捕捉图像。例如，图像捕捉模块 110可W控制图像捕捉期间照相机105的操作。图像捕捉模块110还可W例如产生用户界面 或取景器W允许用户使用移动设备100上的照相机105拍摄图片。
[0047] 运动传感器115布置在移动设备100上并且提供移动设备100的运动传感器数据。 术语"运动传感器数据"在本文中广义地使用并且通常设及有关移动、位置、方位、速度等的 数据。运动传感器115可W包括加速计、巧螺仪或者可W产生运动传感器数据的任何其他类 型的工具或资源。例如，运动传感器115可W基于加速力(例如，来自加速计），沿着=个轴的 旋转力(例如，来自巧螺仪），加速力和旋转力的组合等。应当理解，运动传感器115不旨在限 于单个运动传感器，而是可W包括多于一个运动传感器(例如，加速计和巧螺仪）。
[004引图像变换模块120通过旋转所捕捉的图像来变换该捕捉图像，并且在有些情况下， 加之缩放该图像。在一个实施方式中，变换基于从运动传感器115得来的运动传感器数据。 在获得捕捉图像W及移动设备100在捕捉图像的时刻或该时刻附近的移动设备100的运动 传感器数据之后，图像变换模块120确定旋转该捕捉图像W对于校正捕捉图像时移动设备 100的倾斜所必需的旋转角。例如，图像变换模块120可W使用移动设备100的操作系统的应 用编程接口（API)接收并处理运动传感器数据。例如，移动设备100的操作系统的构架可W 使能应用（诸如实现本公开的倾斜校正的实施方式的应用）W便接收来自设备硬件的运动 传感器数据并处理那些数据。
[0049] 在实施方式中，图像变换模块120可W指定参照系，然后可W通过运动传感器115 将移动设备的方位或运动与那个参照系相比较。运动传感器数据可W在不同的实施方式中 改变形