专利名称：使用元数据字段的运动模糊检测的制作方法
技术领域：
本发明一般涉及在配备照相机的移动通信设备上管理图像质量的领域。尤其，本 发明涉及用于校正由移动通信设备的照相机捕获的运动模糊图像的系统和方法。
背景技术：
许多移动通信设备配备有照相机部件，因此，经常称作照相电话。尽管一些设备提 供的照相机分辨率接近数字照相机的分辨率，但是由它们的照相机部件捕获的图像质量仍 然有不足。移动通信设备的一些照相机部件，例如硬件、软件和控制装置，不如数字照相机 的那些部件鲁棒。例如，照相电话具有的下一次拍摄延迟典型地比独立的数字照相机更慢。 并且，照相电话经常需要每次拍摄后在屏幕上提示保存照片。此外，大多数照相电话的闪光 范围是大多数独立数字照相机的一部分。需要用于照片工业的照相电话标准以缩小差距。 该照相电话标准应该提供用于测量照片质量和批准公开照相电话的传感器、镜头以及其它 照相机元件的类型的准则。由于照相电话的低捕获速度和它们的用户的行为，在照相电话中用于校正运动模 糊的电子图像稳定是非常有用的。典型地，通过当捕获照片时估计相机运动并随后使用信 号处理技术补偿运动模糊，或者通过安装能够补偿相机运动的机械部件来实现电子图像稳 定。两种方法都是昂贵的并且需要比在照相电话中典型可用资源更多的资源
图1是示出根据本发明的照相电话的部件的示例的框图。图2是示出根据本发明的元数据的示例的数据格式，该元数据可以利用照相电话 例如图1的照相电话来传送。图3是示出可以由照相电话例如图1的照相电话执行的用于获得元数据连同相关 的图像的步骤的示例的流程图。图4是示出用于基于在图3中收集的相关的元数据来处理图像的步骤的示例的流 程图。
具体实施例方式无线通信设备的光学传感器在捕获期间遇到移动的情况，并且该移动可以通过数 种方法来测量，包括使用加速计、陀螺仪或者第二照相机作为运动传感器的运动检测。在捕 获期间检测的移动然后被存储在与该图像(例如静止图像)相关联的元数据中。存储信息 可以稍后用于后处理以校正运动模糊。以这种方式，图像稳定可以解决模糊主题的校正，而 无需在无线通信设备中进行大量处理或者在捕获之后进行盲解卷积。在捕获期间测量运动 模糊，并且将该值存储在元数据中。该信息被用于随后的打印、显示或传送期间的后处理中 以校正运动模糊。参考图1，提供了示出根据本发明的无线通信设备的内部部件100的示例的框图。该示例实施例包括一个或多个有线或无线的收发信机102，一个或多个处理器104，存储 器部分106，一个或多个输出设备108，以及一个或多个输入设备110。每个实施例可以包括 用户接口，用户接口包含(一个或多个)输出设备108和(一个或多个)输入设备110。每个 收发信机102可以直接有线连接到另一个部件或者利用无线通信技术进行通信，例如但不 限于基于蜂窝的通信(例如(使用AMPS的)模拟通信)、数字通信(使用CDMA、TDMA、GSM、 iDEN、GPRS或者EDGE)、和下一代通信(使用UMTS、WCDMA、LTE或者IEEE802. 16)、及它们的 变型；对等网络或者自组(ad hoc)通信(例如家庭射频(HomeRF)、蓝牙和IEEE 802. 11 (a, b，g或者n))；以及其它无线通信形式(例如红外线技术)。每个收发信机102可以是接收 机、发射机或者两者。例如，对于该无线通信设备的一个实施例，发射器可以是接收机或者 包括接收机部分，其配置为接收来自远程设备的存在(presence)数据。内部部件100还可以包括部件接口 112，用于提供到用于附加或增强功能的辅助 部件或附件的直接连接。辅助部件或附件可以与收发信机102和/或部件接口 112通信， 辅助部件或附件包括一个或多个传感器，用于检测光、声、气味、运动、连通性以及功率，以 产生远程和本地状态数据。内部部件100优选地包括电源114，例如电力供应装置(power supply)或便携式电池，用于为其它内部部件提供电力。内部部件100的输入设备110和输出设备108可以包括多种可视的、音频的和/ 或机械的输出。例如，(一个或多个)输出设备108可以包括可视输出设备，例如液晶显示 器、等离子显示器、白炽灯、荧光灯以及发光二极管指示器。输出设备108的其它示例包括 音频输出设备(例如扬声器、警报器和/或蜂鸣器)和/或机械输出设备(例如基于运动 的振动机构)。同样地，例如，输入设备110可以包括可视输入设备(例如光学传感器(例 如，照相机))、音频输入设备(例如麦克风)以及机械输入设备(例如按钮或按键选择传感 器、触摸垫传感器、触摸屏传感器、电容式传感器和开关)。对于本发明，内部部件包括运动传感器116，运动传感器116可以包括在输入设备 110内部或者设置在输入设备110之外。并且，输入设备110包括光学传感器，例如照相机， 其可以与运动传感器116集成或分开设置。运动传感器116响应于检测包括光学传感器的 无线通信设备的一个或多个部件的移动，产生对应于设备运动的原始数据。对于一个实施 例，运动传感器116可以是加速计或者陀螺仪。对于另外一个实施例，运动传感器116可以 是第二光学传感器，该第二光学传感器与第一光学传感器协作用于捕获例如静止图像或者 运动视频的图像。而对于另外一个实施例，运动传感器116可以是用于捕获相关联图像的 相同光学传感器。其它检测运动的方式包括但不限于可以检测无线通信设备位置的定位 系统，例如全球定位系统或者基于三角测量(triangulation-based)的定位系统。处理器104可以使用内部部件100的存储器部分106来存储和检索数据。可以由 存储器部分106存储的数据包括但不限于操作系统、应用程序以及数据。每个操作系统包 括控制无线通信设备基本功能的可执行代码，所述基本功能例如是在内部部件100的部件 之间的交互、经由每个收发信机102和/或部件接口 112与外部设备的通信、以及向和从存 储器部分106存储和检索应用程序和数据。每个应用程序包括可执行代码，其利用操作系 统来提供用于无线通信设备的更特定(specific)的功能性。数据是非可执行代码或者信 息，其可以由用于执行无线通信设备的功能的操作系统或应用程序来参考和/或操作。可以理解，图1是仅仅用于解释说明的目的，并用于例示示出根据本发明的无线通信设备的部件，并且不意味着无线通信设备要求的各种部件的完整示意图。因此，无线通 信设备可以包括未在图1中示出的各种其它部件，或者可以包括两个或多个部件的组合或 者一个特殊部件分成两个或多个独立的部件，并且其仍在本发明的范围内。参考图2，示出了示出根据本发明的元数据的示例的数据格式。元数据可以存储在存储器部分106中并且经由无线通信设备内部部件100的收发信机102来传送。一般来说， 与图像相关联的元数据字段200提供了用于识别和解释图像的基本信息。另外，元数据字 段200还可以包括用于增强图像以供后续处理的信息。因此，如图2所示，元数据字段200 包括用于上述目的的多个字段，例如第一元数据210和第二元数据220。对于本发明，元数据字段200可以包括平移运动信息、旋转运动信息、或者这两种 类型的信息。对于平移运动信息，平移运动可以以单维或多维方式来表示。对于一个实施 例，如图2所示，平移运动信息可以包括第一维度230、第二维度240和第三维度250。例如， 平移运动信息的第一、第二、第三维度可以分别对应于在三维轴的χ、y和ζ维中的线性矩。 对于旋转运动信息，旋转运动可以以单方向或多方向来表示。对于一个实施例，旋转运动可 以包括围绕三维轴的轴的第一方向260、第二方向270和第三方向280。例如，旋转运动的 第一、第二、第三方向可以分别对应于pitch(纵倾)旋转运动(围绕横向轴或横截轴的运 动)、yaw(横倾)旋转运动(围绕垂直轴的运动)、以及roll (横摆)或tilt (倾斜)旋转 运动(围绕纵轴的运动)。参考图3，示出了例示用于获得元数据300连同相关的图像的步骤的示例的流程 图，其可以由无线通信设备的内部部件100来执行，用于运动模糊校正。在步骤310，无线 通信设备使用无线通信设备的光学传感器110来捕获图像。无线通信设备可以响应于检测 到在输入设备110处(例如在输入设备用户接口处)的激活来捕获图像。接下来，在步骤 320，无线通信设备确定运动信息是否可用于捕获的图像。例如，处理器104可以从捕获图 像的输入设备110或者从与输入设备相关联的运动传感器116搜寻运动信息。由此，输入 设备110或者与输入设备相关联的运动传感器116产生运动信息。与捕获图像类似，无线 通信设备可以响应于检测到在输入设备110(例如在输入设备的用户接口处)的激活来产 生运动信息。如果运动信息不可用，则图像被存储在存储器部分106中而没有与之相关联 的任何运动信息。另一方面，如果运动信息是可用的，那么在步骤340，无线通信设备然后可以从输 入设备110或者与输入设备相关联的运动传感器116检索运动信息。在步骤350，无线通 信设备可以随后格式化运动信息，以备存储在存储器部分106中。例如，在处理器104将元 数据存储在存储器部分中之前，可以将运动信息并入到与图像相关联的一个元数据字段或 者多个元数据字段中。此后，在步骤330，无线通信设备可以在无线通信设备的存储器部分 106中存储运动信息。对于一个实施例，所存储的图像和相关联的运动信息可以经由无线通 信链路传送到远程设备，从而基于该相关联的运动信息来处理图像。当设备正在以无线方 式通信或者在其他情况下以非无线方式进行通信时，可以传送图像和相关联的运动信息。参考图4，示出了例示基于相关联的元数据400来处理所述图像的步骤的示例的 流程图，其可以由远程设备来执行，该远程设备接收图像和元数据或者在其他情况下具有 对图像和元数据的访问权。为了最小化在无线通信设备上的处理负担，图4示出的步骤由 远程设备而不是无线通信设备本身来执行。在步骤410，远程设备通过经由收发信机102访问无线通信设备的存储器部分106或者通过从存储器部分106接收图像，来检索图像。然 后在步骤420，远程设备确定元数据字段或类似形式的运动信息是否可用。例如，远程设备 可以访问无线通信设备的存储器部分106，从无线通信设备的收发信机102接收运动信息， 或者从包括图像的图像文件提取运动信息。如果运动信息是不可用的或者是不可访问的， 则在步骤430，远程设备可以“原样”输出图像，即在无线通信设备的输出设备108、远程设 备或者两者上都没有进行根据本发明的运动模糊校正。在另一方面，如果运动信息是可用 的，则在步骤440，远程设备检索运动信息。类似前面的步骤，远程设备可以访问无线通信设 备的存储器部分106，从无线通信设备的收发信机102接收运动信息，或者从包括图像的图 像文件中提取运动信息。接下来，在步骤450，远程设备可以基于运动信息来校正或者在其 他情况下补偿运动模糊。例如，远程设备可以执行逆点扩展函数(inverse point spread function)或者解卷积技术，以便通过补偿运动模糊来提高图像质量。此后，远程设备可以 输出在无线通信设备的输出设备108、远程设备或者两者处进行了根据本发明的运动模糊 校正后的图像。 尽管示出并描述了本发明的优选实施例，可以理解本发明不限于此。本领域技术 人员能够想到许多修改、改变、变化、替代和等效而不偏离由所附权利要求书定义的本发明 的精神和范围。
权利要求
一种用于运动模糊检测的无线通信设备的方法，所述方法包括使用所述无线通信设备的光学传感器捕获图像；使用所述无线通信设备的运动传感器产生运动信息；在所述无线通信设备的存储器部分中存储所述运动信息；和经由无线通信链路向远程设备传送所述图像和相关联的运动信息，从而基于所述相关联的运动信息来处理所述图像。
2.根据权利要求1所述的方法，进一步包括确定所述运动信息是否是可用的；和一旦确定所述运动信息是可用的，则检索所述运动信息。
3.根据权利要求1所述的方法，进一步包括检测在所述方法的用户接口处的激活，其 中响应于检测到所述用户接口的所述激活而发生捕获图像和产生运动信息的步骤。
4.根据权利要求1所述的方法，进一步包括在所述存储器部分中存储与所述图像相 关联的元数据之前，将所述运动信息并入到所述元数据中。
5.根据权利要求1所述的方法，其中经由无线通信链路向远程设备传送所述图像和所 述相关的运动信息的步骤包括当所述设备在其他情况下没有以无线方式进行通信时，传 送所述图像和所述相关联的运动信息。
6.根据权利要求1所述的方法，其中经由无线通信链路向远程设备传送所述图像和所 述相关的运动信息的步骤包括当所述设备在其他情况下以无线方式通信时，传送所述图 像和所述相关联的运动信息。
7.根据权利要求1所述的方法，其中所述运动信息包括平移运动信息。
8.根据权利要求7所述的方法，其中所述平移运动信息包括在至少两个维度中的平移 运动。
9.根据权利要求1所述的方法，其中所述运动信息包括旋转运动信息。
10.根据权利要求9所述的方法，其中所述旋转运动信息包括至少两个方向上的旋转 运动。
11.一种具有运动模糊检测的无线通信设备，包括收发信机，所述收发信机配置为提供与远程设备的无线通信；光学传感器，所述光学传感器配置为捕获图像；运动传感器，所述运动传感器配置为产生与由上述光学传感器捕获的图像相关联的运 动信息；处理器，所述处理器配置为控制通过所述收发信机进行的无线通信，所述处理器进一 步配置为控制与所述图像相关联的运动信息的识别和存储；以及存储器部分，所述存储器部分配置为存储所述图像和相关联的运动信息。
全文摘要
一种用于运动模糊检测的无线通信设备包括收发信机(102)、光学传感器(110)、运动传感器(116)、处理器(104)和存储器(106)。该收发信机(102)提供与远程设备的无线通信。该光学传感器(110)捕获图像，而该运动传感器(116)产生与由该光学传感器捕获的图像相关联的运动信息。该处理器(104)控制通过该收发信机(102)进行的无线通信，并进而控制与该图像相关联的运动信息的识别和存储。该存储器(106)存储该图像和相关联的运动信息。存储后，该设备就可以经由无线通信链路传送该图像和相关联的运动信息到远程设备，从而基于相关联的运动信息处理该图像。
文档编号H04W4/18GK101874417SQ200880117923
公开日2010年10月27日 申请日期2008年11月19日 优先权日2007年11月28日
发明者乔治·C·约翰 申请人:摩托罗拉公司