运动和图像质量监视器的制作方法

专利名称：运动和图像质量监视器的制作方法
技术领域：
本发明的示例性实施方式主要涉及运动和图像质量监视，尤其 涉及一种通过运动和图像质量监视来改善图像匹配和/或提供节电的
技术。
背景技术：
对移动电话用户来说，随着带有相机的移动电话的广泛使用， 相机应用正在日益普及。作为结果，基于例如图像匹配或辨别的移
动应用也在兴起，这其中包括所谓的移动视觉搜索。在名为"Scalable Visual Search System Simplifying Access to Network and Device Functionality"的美国专利申请11/592,460中描述的视觉搜索系统就 是一个这样的应用，其中该申请的内容通过引用将其全部并入本文。 与关键字搜索不同，视觉搜索系统通常是以分析诸如图像或视 频数据(例如视频剪辑)之类的媒体对象或媒体内容的感性内容为 基础，并且使用输入样本图像作为查询。视觉搜索系统不同于在因 特网上通常使用的图像搜索，所述图像搜索是将用户输入的关键字 与因特网上的相关图像文件相匹配。而视觉搜索系统则通常基于那 些用于对照多种图像特征或图像属性来分析媒体对象的复杂算法， 其中所述媒体对象可以是输入图像(例如用户使用在其移动电话上 工作的相机捕获的图像)，所述图像属性可以是图像内部的颜色、 紋理、形状、复杂度、对象和区域。为了便于实施有效的视觉搜索， 图像连同其属性以及与图像相关联的其他元数据通常会被标引并保 存在视觉数据库中，其中所述视觉数据库可以是存储了预定兴趣点 ("POI")图像及其相应的特征和相关元数据(即文本标记)的集 中式数据库。在移动视觉搜索中，移动设备使用大型视觉数据库来与输入图像进行匹配。在将输入图像与视觉数据库中存储的图像相 匹配之后，移动视觉搜索可以将附加于所存储的图像的上下文信息 传送到用户。基于上文可以明确知道，在移动视觉搜索系统中，用 于将输入图像与视觉数据库图像相匹配的图像匹配引擎的健壮性起 着重要的作用。
但是，如果将移动电话上的相机用于以图像匹配为基础的应用、 例如移动视觉搜索，那么将会存在特殊的问题。举个例子，其中一 个主要问题是输入图像的质量。运动会因为移动设备上成像应用的 形状因子和自发特性而成为 一个问题，并且它有可能极大降低输入 图像的质量(将其称为"运动模糊")。而这转而将会影响图像匹 配应用的性能。实验结果显示，运动模糊是限制移动设备上的图像 匹配性能的一个主要因素。
另一个问题源于用户体验。由于手部运动和其他图像噪声，图
像匹配结果有可能会反复"翻转(flip over)"或改变，由此将会提 供较差的用户体验。特别地，在将电话移动时，辨别引擎可能因为 运动模糊和其他人为因素而返回错误的结果。
由此需要一种用于确保较差图像质量、例如因为移动或环境条 件改变而导致的较差图像质量不会对各种图像匹配应用、例如移动 视觉搜索应用的实施产生不利影响的方法。

发明内容
一般来说，本发明的示例性实施方式提供了 一项优于已知现有 技术的改进，其中所述改进是通过提供一种用于监视与捕获图像相 关联的运动和/或图像质量的方法实现的，所述图像可以与各种图像 匹配或辨别应用、例如移动视觉搜索应用结合使用。根据本发明的 示例性实施方式，监视器可以检测图像质量变化，并且举例来说， 它可以只在图像特征稳定时才允许结合使用捕获图像以及图像匹配 应用(例如视觉搜索应用)。通过要求只在视觉搜索应用中使用稳 定图像，可以得到一个结果，那就是通过减少应用"翻转"的次数，极大改善了用户体验，或者这样做提供了一个不同的结果。根据其 他示例性实施方式，4企测到的运动和/或图像质量变化可以用于节电 目的，例如，所述节电可以通过依靠检测到的运动量和/或捕获图像 的质量而开启和关闭工作在移动设备上的多个应用和/或组件来实 现。
根据一个方面，在这里提供了一种用于监视捕获图像的运动和
图像质量的方法。在一个实施方式中，该方法可以包括(1 )检测 捕获图像中的运动；以及(2)响应于检测到的运动来采取动作，其 中所述动作包括在将捕获图像用于图像匹配应用之前稳定捕获图 像，或是响应于检测到的超出预定阈值的运动来节约电力。
在一个示例性实施方式中，检测捕获图像中的运动包括对捕 获图像的两个或更多连续帧的 一 个或多个特征进行比较。比较特征 进而可以包括(1)对捕获图像的两个或更多帧进行采样；(2) 过滤两个或更多采样帧以去除噪声；(3 )从采样帧中提取一个或多 个特征；以及(4)计算所提取的采样帧特征的差别。在一个示例性 实施方式中，比较捕获图像的两个或更多连续帧中的一个或多个特 征还可以包括将相应的采样帧分成两个或更多子区域，其中过滤两 个或更多采样帧包括过滤采样帧的相应子区域，从采样帧中提取一 个或多个特征包括从釆样帧的相应子区域中提取一个或多个特征， 以及计算所提取特征之间差别包括针对采样帧的相应子区域计算所 提取特征之间的差别。这个示例性实施方式的方法还可以包括累 积计算得到的相应子区域所提取特征之间的差别，以及整合所累积 的两个或更多子区域的差别。
根据另一个方面，在这里提供了一种用于监视捕获图像的运动 和图像质量的设备。在一个示例性实施方式中，该设备包括处理器 以及与处理器通信的存储器，其中该存储器存储处理器可执行应用。 在一个示例性实施方式中，该应用进而可以被配置成在执行时冲企测 捕获图像中的运动，以及响应于检测到的运动来采取动作。其中该 动作包括在将捕获图像用于图像匹配应用之前稳定捕获图像，或根据另一个方面，在这里提供了一种用于监视捕获图像的运动 和图像质量的计算机程序产品。该计算机程序产品可以包括至少一 个计算机可读存储介质，并且在该介质中存储了计算机可读程序代
码部分。在一个示例性实施方式中，计算机可读程序代码部分包括
(1)用于检测捕获图像中的运动的第一可执行部分；以及(2)响
应于纟企测到的运动而促使执行一 个动作的第二可执行部分，其中所
述动作包括在将捕获图像用于图像匹配应用之前稳定捕获图像， 或是响应于检测到的超出预定阈值的运动来节约电力。
根据另一个方面，在这里提供了一种用于监视捕获图像的运动 和图像质量的设备。在一个示例性实施方式中，该设备包括(1) 用于检测捕获图像中的运动的装置；以及(2)响应于检测到的运动 而采取动作的装置，其中所述动作包括在将捕获图像用于图像匹 配应用之前稳定捕获图像，或是响应于检测到的超出预定阈值的运 动来节约电力。


在以这种方式笼统描述了本发明的示例性实施方式之后，现在 将对附图加以参考，其中所述附图不必按比例绘制，并且其中 图1是根据本发明示例性实施方式的移动终端的示意性框图； 图2是 一 种得益于本发明示例性实施方式的系统的示意性框图； 图3示出的是一个得益于本发明示例性实施方式的视觉搜索系
统；
图4示出的是能够作为本发明示例性实施方式的视觉搜索系统 中的各种服务器或设备工作的实体；
图5示出的是如何通过采样捕获图像帧来执行本发明示例性实 施方式的监视处理；
图6示出的是依照本发明示例性实施方式而通过分割采样帧得 到的子区域；帧子区域的图像特征所采取的步骤；
图8示出了如何可以根据本发明示例性实施方式来整合相应子 区域分冲斤；以及
图9A-图9D是示出了可以作为依照本发明示例性实施方式检测 的低/高图像质量的结果而采取的动作或响应的流程图。
具体实施例方式
现在，在下文中将会参考附图来对本发明的示例性实施方式进 行更全面的描述，这其中显示了本发明的某些实施方式，但是并不 是所有实施方式。实际上，本发明的示例性实施方式是可以采用众 多不同的形式实现的，并且不应该被解释成是局限于这里阐述的实 施方式；相反，这些实施方式是为了使本公开满足适当的法律要求 而被提供的。相同的数字始终表示相同的元件。 综述
总的来说，本发明的示例性实施方式提供了 一种用于监视捕获 图像的运动和图像质量的技术。如果检测到较差的图像质量和/或高 度运动，那么作为响应，移动设备可以采取不同的步骤或动作。举 个例子，在一个示例性实施方式中，在捕获图像的帧之间检测到了 大量变化，由此表明捕获图像的质量很差，这时可以指示上述类型 的视觉搜索系统不要基于新的图像帧来更新搜索查询。换句话说， 示例性实施方式中的运动和图像质量监视器可以用于确保在视觉搜 索或类似图像匹配应用使用图像之前稳定所述图像。由此，示例性 实施方式减少了此类应用"翻转"的次数，或者提供了新的结果； 由此改善了用户的总的体验。在另一个示例性实施方式中，运动和 图像质量监视器可以用于节电目的，其中举例来说，所述节电是通 过响应于检测到的运动而关闭移动设备的一个或多个组件或是移动 设备本身来实现的。
运动和图像质量监视器检测到的变化可以是某种运动的结果，举例来说，所述运动可以是因为用户手部移动和/或照明之类的环境 变化导致的。特别地，该运动和图像质量监视器可以使用与图像匹 配中所使用的相同的图像特征来比较采样帧。结果，示例性实施方 式中的运动和图像质量监视器不但可以用于监^f见运动，而且还可以 作为 一般的输入图像质量监视器。
此外，如下文中更详细"i仑述的那才羊，其中一个示例性实施方式 的运动和图像质量监视器可以被设计成与图像匹配系统 一起工作， 以便将执行运动和图像质量监视所需要的附加计算以及相应开销减 至最小。
示例性实施方式中的运动和图像质量监视器不但可以在单相机 或多相机移动设备上实施，而且还可以在具有任何类型的传感器的 其他任何移动设备上实施，其中所述传感器包括但不局限于运动传 感器。
总体系统和移动设备
图1示出了一个可以得益于本发明示例性实施方式的移动终端 IO的框图。但是应该理解，在下文中描述的图示移动电话仅仅例证 了 一种可以得益于本发明的移动电话，由此不应该用它来限制本发 明示例性实施方式的范围。虽然在这里例证并且在下文中将会出于 示例性目的描述移动电话10的若干实施方式，但是其他类型的移动 终端也很容易使用本发明的示例性实施方式，例如便携数字助理 (PDA)、寻呼机、移动电视、膝上型计算机以及其他类型的语音 和文本通信系统。此外，非移动设备同样很容易使用本发明的实施 方式。
另外，虽然本发明方法的若干实施方式是由移动终端10实现或 使用的，但是除了移动终端之外的其他终端同样可以使用该方法。 此外，本发明示例性实施方式中的系统和方法主要是结合移动通信 应用来描述的。但是应该理解，本发明示例性实施方式的系统和方 法也可以与移动通信工业中以及移动通信工业以外的多种其他应用 结合使用。如图1所示，其中一个示例性实施方式的移动终端IO可以包括
与发射器14以及接收器16进行可操作通信的天线12。该移动终端 IO还可以包括分别向发射器14提供信号以及从接收器16接收信号 的控制器20或其他处理元件。该信号可以包括符合适用蜂窝系统的 空中接口标准的信令信息，以及用户语音和/或用户生成数据。就此 而论，移动终端10能够结合一个或多个空中接口标准、通信协议、 调制类型以及接入类型来操作。作为例证，移动终端IO能够依照第 一、第二和/或第三代通信协议或类似协议中的任何一种来工作。例 如，移动终端10能够依照第二代(2G )无线通信协议IS-136( TDMA )、 GSM以及IS-95 (CDMA)或第三代无线通信协i义宽带码分多址 (WCDMA)来工作。
应该理解的是，控制器20包括实施移动终端10的音频和逻辑 功能所需要的电路。例如，控制器IO可以包括数字信号处理器设备、 微处理器设备，以及各种模数转换器、数模转换器和其他支持电路。 移动终端IO的控制和信号处理功能是根据这些设备的相应能力而在 其间分配的。由此，控制器20还可以包括在调制和传输之前巻积编 码和交织消息及数据的功能。此外，控制器20还可以包括内部语音 编码器，并且可以包括内部数据调制解调器。更进一步，控制器20 可以包括操作保存在存储器中的 一个或多个软件程序的功能。举个 例子，控制器20能够操作连接程序，例如常规的Web浏览器。然 后，该连接程序允许移动终端10传送和接收Web内容，例如基于 位置的内容，其中举例来说，所述传送和接收可以才艮据无线应用协 议(WAP)来进行。
移动终端IO还可以包括用户接口，其中该用户接口包4舌输出设 备(例如常规的耳机或扬声器24、振铃器22、麦克风26、显示器 28),以及用户输入接口，并且所有这些都与控制器20相耦合。该 用户输入接口允许移动终端IO接收数据，并且它可以包括允许移动 终端10接收数据的任意数量的设备，例如小键盘30 、触摸显示器(未 显示)或其他输入设备。在包含小键盘30的实施方式中，小键盘30可以包括常规数字(0-9)和相关按4t (#, *),以及其他那些用于
操作移动终端10的按键。作为替换，小键盘30可以包括常规的 QWERTY小键盘。移动终端10还包括用于为各种被配备成才乘作移
池34、例如震动电池组。
在一个示例性实施方式中，移动终端10可以包括与控制器20 通信的相机模块36。该相机模块36可以是任何用于捕获图像、视频 剪辑或视频流来进行存储、显示和传输的装置。例如，相机模块36 可以包括能用视野中的对象、捕获图像形成数字图像文件或是用记 录视频数据形成一见频流的数码相4几。同样，相机模块36可以包括从 捕获图像中创建数字图像文件或是从记录视频数据中创建视频流所 需要的所有硬件和软件，所述硬件可以是镜头或其他光学设备。作 为替换，相机模块36可以只包括查看图像或视频流所需要的硬件， 而移动终端10的存储器设备则除了供控制器20执行的指令，其中 所述指令采用的是从捕获图像中创建数字图像文件或是从记录视频 数据中创建视频流所需要的软件的形式。在 一 个示例性实施方式中， 相机模块36还可以包括处理元件，例如在处理图像数据或视频流的 过程中为控制器20提供帮助的协处理器，以及用于压缩和/或解压缩 图像数据或视频流的编码器和/或解码器。所述编码器和/或解码器可 以根据JPEG标准4各式以及类似才各式来编码和/或解码。
移动终端10还可以包括与控制器20通信的位置模块70,例如 GPS模块。该位置模块70可以是用于确定移动终端IO的位置的任 何装置。此外，位置模块70还可以是用于在相机模块36捕获的图 像中确定兴趣点(POI)位置的任何装置，其中所述兴趣点可以是商 店、书店、餐厅、咖啡店、百货商店以及其他公司等等，这一点在 名为"Method, Device, Mobile Terminal and Computer Program Product for a Point of Interest-Based Scheme for Improving Mobile Visual Searching Functionalities"的美国临时申请60/913,733( "， 733申请") 中给出了更全面的描述，其中该申请的内容在这里引入作为参考。同样，这里使用的兴趣点可以包括用户感兴趣的任何实体，例如产
品和其他对象等等。位置模块70可以包括用于定位移动终端或图像 中的POI的位置的所有硬件。作为替换或补充，位置模块70可以使 用移动终端10的存储设备来存储供控制器20执行的指令，其中所 述指令采用的是确定移动终端或POI图像的位置所需要的软件的形 式。此外，位置模块70能够通过使用控制器20来经由发射器14/ 接收器16向服务器发射/接收位置信息，其中所述位置信息可以是移 动终端10的位置以及-一个或多个POI的位置，所述服务器可以是视 觉地图服务器54 (在这里也被称为視觉搜索服务器)和兴趣点商店 服务器51 (在这里也被称为视觉搜索数据库)，在下文中将会对此 进行更全面的描述。
一个示例性实施方式的移动终端还可以包括统一的移动视觉搜 索/地图绘制客户端68 (在这里也被称为视觉搜索客户端)，以便实 施如上述类型的移动视觉搜索。该统一视觉搜索客户端68可以包括 地图绘制模块99以及移动视觉搜索引擎97(在这里也被称为移动视 觉搜索模块)。所述统一视觉搜索/地图绘制客户端68可以包括由控 制器20执行的如下功能的任何硬件和/或软件装置(如，733申请更 全面描述的那样)当移动终端IO指向兴趣点，并且当POI处于相 机模块36的视线以内或者当在相机模块在图像中捕获到了 POI时， 这些装置能够辨别兴趣点。移动视觉搜索引擎97还能够接收有关移 动终端10的位置和地点以及POI位置的信息。移动视觉搜索引擎97 还能辨别或识别POI，并且允i午移动终端10的用户从涉及相应POI 的一系列动作中进行选择。例如，其中一个动作可以包括但不局限 于在某个地理区域内搜索其他相似的POI(即候选者)。这些相似的 POI可以保存在地图绘制模块99的用户简档中。此外，在一个示例 性实施方式中，地图绘制模块99可以启动相机模块36的第三人地 图一见图以及第一人相机视图。在被才丸行时，相机一见图将会显示移动 终端IO的周围区域，并且叠加一组与POI集合相对应的^L觉标签集 合。根据一个示例性实施方式，视觉搜索客户端68还可以包括用于
监视相机模块36捕获的图像的质量的运动和/或图像质量监视器92 ， 其中举例来说，所述图像质量是通过从运动和/或其他环境变化所导 致的图像特征的相对变化中确定的。举个例子，如果检测到很大的 变化(例如运动)，并且由此导致图像质量较差，那么捕获图像不 会被视觉搜索引擎97用来定位POI以及为用户提供与这些POI相关 联的反馈。作为替换或补充，如下文中更详细描述的那样，如果对 移动终端10和/或相机模块36釆取某些其他动作(例如关闭相机模 块36,关闭背光，切换用于视觉搜索客户端的输入方法等等)，那 么有可能导致确定出现了大量运动或变化。由此，示例性实施方式 的运动和/或图像质量监视器92可以包括由控制器20执行的任何硬 件和/或软件装置，这些装置能够确定捕获图像的相对运动和/或图像 质量，并且^f故出相应的响应。
移动终端10还可以包括用户身伤4莫块(UIM) 38。 UIM38通常 是一个内置了处理器的存储设备。举例来说，UIM38可以包括订户 身份模块(SIM)、通用集成电路卡(UICC)、通用订户身份模块
(USIM)、可拆卸用户身份模块(R-UIM)等等。UIM38通常存储 了涉及移动订户的信息元素。除了 UIM 38之外，移动终端10还可 以配备有存储器。例如，移动终端IO可以包括易失性存储器40,例 如包含了用于临时存储数据的緩存区域的易失性随机存取存储器
(RAM)。该移动终端10还可以包括其他非易失性存储器42，其 中所述非易失性存储器可以是嵌入式和/或可拆卸的。作为补充或替 换，非易失性存储器42包括EEPROM、闪存或类似存储器，例如可 以乂人Sunnyvale, California的SanDisk7^司或Fremont, California的 Lexar Media公司得到的存储器。这些存储器可以存储供移动终端10 使用的任意数量的信息和数据，以便实施移动终端10的功能。举个 例子，这些存储器可以包括能够唯一标识移动终端10的标识符，例 如国际移动i殳备标识(IMEI)码。
现在参考图2，该图提供的是从本发明的示例性实施方式中获益的一种系统的例证。该系统可以包括多个网络设备。如所示， 一个
或多个移动终端100中的每一个都可以包括用于向基点或基站(BS) 44传送信号以及从基点或基站(BS) 44接收信号的天线12。基站 44可以是一个或多个蜂窝或移动网络的一部分，其中每一个蜂窝或 移动网络都包括操作网络所需要的元件，例如移动交换中心(MSC) 46。正如本领域技术人员公知的那样，移动网络还可以被称为基站 /MSC/互连功能(BMI)。在操作中，当移动终端10发起和接收呼 叫时，MSC46能够路由往来于移动终端10的呼叫。当移动终端10 包含在某个呼叫中时，MSC46还可以提供与陆线干线相连的连接。 另外，MSC 46能够控制往来于移动终端10的消息转发，并且还可 以控制往来于消息传递中心且用于移动终端IO的消息转发。应该指 出的是，虽然在图2的系统中显示了 MSC46，但是MSC46仅仅是 一个示例性网络设备，并且本发明并不仅限于在使用了 MSC的网络 中运用。
MSC 46可以耦合到数据网络，例如局域网(LAN)、城域网 (MAN )和/或广域网(WAN) 。 MSC 46可以直接耦合到数据网络。 但是，在一个典型实施方式中，MSC46耦合到GTW48,而GTW 48 则耦合到WAN,例如因特网50。而诸如处理元件(例如个人计算机、 服务器计算机等等)之类的设备则转而可以经由因特网50耦合到移 动终端10。举个例子，如下所述，处理元件可以包括与如下所述的 计算系统52、视觉地图服务器54、兴趣点商店服务器51等等相关 联的一个或多个处理元件。
BS44还可以耦合到一个信令GPRS (通用分组无线电服务)支 持节点(SGSN)56。正如本领域技术人员所知道的那样，SGSN56 通常能为分组交换服务执行与MSC46相类似的功能。与MSC 46相 似，SGSN56可以耦合到数据网络，例如因特网50。该SGSN56可 以直接耦合到数据网络。但是，在更典型的实施方式中，SGSN 56 耦合的是分组交换核心网络，例如GPRS核心网络58。然后，该分 组交换核心网络耦合到另一个GTW 48,例如GTW GPRS支持节点(GGSN)60,并且GGSN60耦合到因特网50。除了 GGSN60之外，分组交换核心网络还可以耦合到GTW 48。此外，GGSN 60也可以耦合到消息传递中心。就此而论，与MSC 46相似，GGSN 60和SGSN56能够控制消息转发，例如MMS消息转发。GGSN 60和SGSN 56还能为移动终端10控制往来于消息传递中心的消息转发。
此外，通过将SGSN 56耦合到GPRS核心网络58以及GGSN 60，诸如计算系统52和/或视觉地图服务器54之类的设备可以经由因特网50、 SGSN 56以及GGSN 60耦合到移动终端10。就此而i仑，诸如计算系统52和/或视觉地图服务器54之类的设备可以经由SGSN56、 GPRS核心网络58以及GGSN 60而与移动终端IO进行通信。通过直接或间接地将移动终端10和其他设备(例如计算系统52、视觉地图服务器54等等)连接到因特网50,移动终端10可以与其他设备以及与对方进行通信，其中举例来说，所述通信可以依据超文本传输协议(HTTP)，由此可以执行移动终端IO的各种功能。
虽然在这里没有显示和描述每一个可能的移动网络中的每一个元件，但是应该了解，移动终端10可以通过BS44耦合到多个不同网络中的一个或多个网络。就此而论，所述一个或多个网络能够支持依照第一代(1G)、第二代(2G) 、 2.5G、第三代(3G)和/或未来移动通信协议等等中的一个或多个协议的通信。例如，所述一个或多个网络能够支持依照2.5G无线通信协议GPRS、增强数据GSM环境(EDGE)等等的通信。更进一步，举例来说，所述一个或多个网络能够支持依据3G无线通信协议的通信，例如使用了宽带码分多址(WCDMA )无线电接入技术的通用移动电话系统(UMTS )网络。某些窄带AMPS (NAMPS)以及TACS网络同样可以得益于本发明的实施方式，并且双模式或更高模式的移动站也应如此(例如数字/模拟或TDMA/CDMA/模拟电话)。
移动终端10还可以耦合到一个或多个无线接入点(AP) 62。AP 62可以包括被配置成根据例如射频(RF )、蓝牙(BT ) 、 Wibree、红外(IrDA)或是多种不同无线组网技术中的任何一种的技术来与移动终端10进行通信，其中所述无线组网技术包括无线LAN(WLAN)技术，例如IEEE 802.11 (例如802.lla、 802.1 lb、 802.1 lg、802.11n等等)、诸如IEEE 802.16之类的WiMAX技术、和/或诸如IEEE802.15之类的超宽带(UWB)技术等等。与MSC 46相同，AP62可以直接耦合到因特网50。但在一个实施方式中，AP是经由GTW48间接耦合到因特网50的。此外，在一个实施方式中，BS44可以被认为是另一个AP62。正如所了解的那样，通过直接或间接地将移动终端10、计算系统52、视觉地图服务器54和/或任何数量的其他设备连接到因特网50,移动终端IO既可以相互通信，也可以与计算系统52、视觉地图服务器54、 POI商店服务器51或其他设备进行通信，由此执行移动终端IO的各种功能，例如向计算系统52、— 见觉地图服务器54和/或POI商店服务器51传送数据、内容等等和/或接收 96(在图3中显示)来提供与一个或多个移动终端IO或是一个或多个POI相关的地图数据。此外，视觉地图服务器54可以对相机模块36获取的图像或视频剪辑进行比较，并且确定这些图像或视频是否保存在视觉地图服务器54中。此外，视觉地图服务器54还可以借助集中式POI数据库服务器74 (在图3中显示)来存储与关联于相机模块36获取的一个或多个图像或视频剪辑的一个或多个POI有关的各种类型的信息。
涉及一个或多个POI的信息可以与视觉标签相联系，所述标签则可以被传送到移动终端IO来进行显示。此外，兴趣点商店服务器51可以存储与一个或多个POI商店的地理位置有关的数据，并且可以存储涉及各种兴趣点的数据，其中所述数据包括但不局限于POI位置、POI类别(例如咖啡店或餐厅、运动场、音乐会等等)、涉及POI的产品信息等等。视觉地图服务器54可以传送和接收来自兴趣点商店服务器51的信息，并且经由因特网50而与移动终端10进行通信。同样，兴趣点商店服务器51可以与视觉地图服务器54进行通信，作为替换和补充，它既可以直接经由WLAN、蓝牙、Wibee或类似传输来与移动终端IO通信，也可以经由因特网50来与移动终端IO通信。这里使用的术语"图像"、"视频剪辑"、"数据"、"内容"、"信息"以及类似的术语能够可交换地用于指示那些能够依照本发明实施方式而被传送、接收和/或保存的数据。由此，此类术语的运用不应该限制本发明的实质和范围。
虽然在图2中没有显示，但是作为将移动终端IO经由因特网50耦合到计算系统52、视觉地图服务器54和/或POI商店服务器51的补充或替换，移动终端10和计算系统52、视觉地图服务器54和/或POI商店服务器还可以相互耦合和通信，其中举例来说，所述通信依照的是RF、 BT、 IrDA或是任意数量的不同有线或无线通信技术，这其中包括LAN、 WLAN、 WiMAX和/或UWB技术。作为补充或替换，计算系统52、视觉地图服务器54和/或POI商店服务器中的一个或多个可以包括能够存储此后被传送到移动终端IO的内容的可拆卸存储器。更进一步，移动终端IO可以耦合到一个或多个电子设备，例如打印机、数字投影仪和/或其他多媒体捕获、生成和/或存储设备(例如其他终端)。与计算系统52、视觉地图服务器54和/或POI商店服务器相同，移动终端10可以被配置成与便携式电子设备进行通信，其中举例来说，所述通信依据的技术可以是RF、BT 、 IrDA或是任意数量的不同有线或无线通信技术，其中包括USB 、LAN、 WLAN、 WiMAX和/或UWB技术。
现在将参考图3来描述视觉搜索系统实施方式的示例性移动视觉搜索应用。在本示例中，移动视觉搜索应用结合图3所示的—见觉搜索系统来工作，以便改善在线地图绘制应用。本领域普通技术人员可以理解，本发明的示例性实施方式可以结合使用了图像匹配或辨别的相机应用来实施，以便改善所执行的应用得到的结果。这里描述的移动视觉搜索应用和视觉搜索系统仅仅提供的是此类相机应用的一个示例，由此不应该用它来限制本发明示例性实施方式的范围。此外，举例来说，图3的视觉搜索系统的某些元件可以在图1的移动终端IO上使用。然而应该指出的是，图3的系统也可以在多种其他的移动和固定设备上使用，由此不应该将本发明的示例性实施方式局限于只在诸如图1的移动终端10之类的设备上应用。由此，
以下描述是作为示例而不是限制给出的。例如，图3的视觉搜索系统可以在相机、录像机或类似设备上使用。此外，图3的系统还可以在移动终端10的设备、组件、元件或模块上使用。
现在参考图3,该图提供的是一个根据本发明的一个示例性实施方式来改善与移动视觉搜索应用相整合(也就是混合)的、在线地图绘制应用的视觉搜索系统。如所示，该系统可以包括如上所述的视觉地图服务器54,其中所述视觉地图服务器与如上所述的移动终端10以及兴趣点商店服务器51进行通信。该视觉地图服务器54可以是能够存储图像或视频剪辑以及地图数据、POI数据和视觉标签的任何设备或装置，例如硬件或软件。在一个示例性实施方式中，视觉移动服务器54可以包括用于存储地图数据的地图服务器96,以及用于存储POI数据和视觉标签的集中式POI数据库服务器74。此外，视觉地图服务器54还可以包括用于执行包括软件执行在内的这些功能的处理器(相关示例参见图4)。图像和视频剪辑可以对应于代表移动终端IO的用户而被存储的用户简档。此外，图像和视频剪辑还可以与位置信息相联系，其中所述位置信息涉及的是在一个或多个图像或视频剪辑中捕获的一个或多个对象的位置。
同样，兴趣点商店服务器51可以是能够存储涉及兴趣点的信息的任何设备或装置，例如硬件或软件。兴趣点商店服务器51可以包括用于执行或运行功能或软件指令的处理器。(相关示例参见图4 )
简档。这个兴趣点信息可以在本地POI数据库服务器98 (在这里也将其称为视觉搜索广告方输入控制/接口 )中加载，并且是代表兴趣点商店服务器51 (例如咖啡店、餐厅、商店等等)而被存储的，此外，各种形式的信息都可以与POI信息相关联，例如涉及POI的位置、地点或地理数据以及产品信息，其中所述产品信息包括但不局限于产品、价格、数量等等的标识。本地POI数据库服务器98 (既视觉搜索广告方输入控制/接口 )既可以包含在兴趣点商店服务器51 中，也可以位于POI商店服务器51以外。
在图3的^L觉搜索系统的示例性实施方式中，为了伸、用移动祸L 觉搜索应用，移动终端10的用户可以启动视觉搜索客户端68 (例如 使用小键盘30或者使用显示器28上显示的菜单选项)，将相机模 块36指向咖啡店之类的兴趣点，并且捕获咖啡店的图像。(视觉搜 索客户端68的)移动视觉搜索模块97可以调用一个辨别方案，以 便辨别咖啡店，并且允许用户从显示器28上显示且与指定POI相关 的若干动作的列表中进行选择，其中在本示例中，所述指定POI是 咖啡店。举个例子，其中一个相关动作可以是搜索其他类似的POI
(例如其他咖啡店)(也就是一个或多个候选POI)。响应于用户选 择这个动作，视觉搜索客户端68可以向视觉地图服务器54传送所 捕获的咖啡店的图像，并且视觉地图服务器54可以在集中式POI数 据库服务器74中发现和定位附近的其他咖啡店。视觉地图服务器54 还可以从地图服务器96中检索周围区域的开销地图，其中所述开销 地图包含了与关联于所捕获的咖啡店图像的其他咖啡店(或是用户 感兴趣的任何物理实体)相对应的叠加—见觉标签。该4见觉地图服务 器54可以将这个开销地图传送到移动终端10,所述移动终端10则 会显示周围区域的开销地图，其中该地图包括与其他POI(例如其他 咖啡店 > 相对应的叠加视觉标签。然后，用户可以使用摇杆、箭头、 按钮、指示笔或是本领域技术人员已知的小键盘30上的其他输入方 式来获取与地图上的其他附近标签相关的更多信息。
参考图4，该图显示的是能够操作如上所述的POI商店服务器 51、本地POI数据库服务器98、集中式POI数据库服务器74、地图 服务器96和/或视觉地图服务器54的服务器94的框图。如图4所示， 在一个示例性实施方式中，服务器94能够允许产品制造商、产品广 告商、公司所有者、服务供应商、网络运营商等用户输入相关信息
(例如经由接口 940),其中举例来说，所述相关信息涉及的是POI。 举例来说，保存在存储器944中的信息可以包括网页、网链接、黄页信息、图像、视频、联系信息、地址信息、诸如建筑物路径点之 类的位置信息、定位信息、地图数据等等。服务器94通常包括与存
储器944相连的处理器942、控制器或类似设备。此外，处理器还可
以连接到至少一个接口 940或其他装置，以便传送和/或接收数据、
内容等等。存储器可以包括易失性和/或非易失性存储器，并且通常 存储了与如上所述的一个或多个POI相关的信息。存储器944还可
以存储供处理器执行与依照本发明实施方式的服务器操作相关联的 步骤的软件应用、指令等等。就此而论，存储器可以包括用于存储、 上传/下载POI数据、地图数据等等以及用于传送/接收去往/来自移 动终端10和去往/来自兴趣点商店服务器及视觉搜索服务器的POI 数据的软件指令(由处理器执行)。
运动和图像质量监视器
如上所述，本发明的示例性实施方式提供了一个用于监视相机 模块36捕获的图像质量的运动和图像质量监视器，并且举例来说， 该监视器是在移动视觉搜索或是如上所述的类似的图像匹配或辨认 应用中使用的。在以上的图1显示的一个示例性实施方式中，运动 和图像质量监视器92可以驻留在移动设备中，并且可以结合如上所 述的视觉搜索客户端98来工作。但是，正如本领域普通技术人员所 了解的那样，监视器还可以替代地驻留在视觉搜索或进行此类监视 的类似图像匹配系统的任何实体上。此外，移动设备10不必执行这 里描述的运动和图像质量监视。作为替换，在一个示例性实施方式 中，视觉搜索实体或类似的图像匹配系统可以为移动设备执行所述 监视。
在下文中将会参考图5-图9D来描述一个用于实现上述监视的示 例性方法。正如本领域普通技术人员所了解的那样，下文仅仅是可 以用于监视运动和/或图像质量的方法的 一个示例，并且不脱离本发 明示例性实施方式的实质和范围的情况下，其他方法同样是可以使 用的。如图5所示，在一个示例性实施方式中，举例来说，捕获图像或视频可以每K个帧被采样一次(也就是帧F、帧F+K等等)， 以便实施与视觉数据库中的图像进行的图像匹配处理，其中F和K 是正整数。在第K个帧之前还可以获取另一个采样(也就是帧F-1、 帧(F+K-l)等等)。此后，如下所述，这个第二采样帧可以与第K 个帧相结合，以便监视运动和图像质量变化。由于在至少一个实施 方式中已经出于图像匹配目的并通过使用采样帧执行监视而采样了 第K个帧，因此，示例性实施方式中的运动和图像质量监视器可以 被设计成与图像匹配系统 一 起工作，从而将附加的计算和开销减至 最小。
然后，如图6所示，所采样的每一个输入图像或视频帧可以分 成包含了多个子区域的网格。虽然并非必要，但是划分成子区域的 处理提供了更具鲁棒性的运动检测。在图7中显示了为了分析网格 中的每一个子区域而采取的步骤。如图所示，在这里可以首先对子 区域进行过滤，以便去除噪声(步骤701)。然后，从子区域中可以 提取图像特征(步骤702)，并且可以计算图像帧(也就是第K个 帧和第(K-l)个帧)之间的差别(步骤703 ),以及在所有子区域 上累积所述差别(步骤704)。根据一个示例性实施方式，图像特征 比较包括比较已经在图像匹配引擎中使用的各种特征(例如用于 将捕获图像与保存在视觉数据库中的图像和信息相匹配)。结果， 由于其中一个帧(例如第K个帧)中的图像特征可以直接供图像匹 配引擎使用，因此可以大为减少处理时间以及与监视运动和图像质 量变化相关联的成本。
现在转到图8,在累积了计算得到的每一个子区域内部的差别之 后，这时可以整合这些子区域结果，以便具有鲁棒性地检测运动和 图像质量变化。举例来说，整合所述结果可以包括对发觉超出某 个预定阈值的运动的子区域数量进行计算，和/或计算子区域变化的 加权百分比，这二者都会影响到关于帧中的运动的整体评估。虽然 并不是必要的，但是通过使用这种整合方法，本发明的示例性实施 方式将会更具鲁棒性地地对抗图像噪声，例如具有运动对象的静止图像帧、场景照明变化和/或低紋理背景。特别地，通过将帧划分成 子区域并且随后整合每一个子区域的结果，可以将因为相机移动而 导致的运动与在捕获场景中发生的运动(例如移动的汽车)区分开 来。这是因为场景中发生的运动只在子区域的子集中被发觉，而相 机移动所导致的运动则有可能出现在所有子区域中。转到图8，如所 示，整合器或"决策器"800的输出可以是在帧内部检测到了少量运 动或没有检测到运动，抑或是存在着数量足以危及图像质量的运动。
正如本领域普通技术人员所了解的那样，举例来说，决策器800可
以包括任何被配置成整合不同子区域的结果并且随后通过将整合结 果与预定结果相比较来确定运动量是否足以保证采取某种动作的装 置，例如硬件、软件或是软硬件组合。作为替换，在整合之前，决 策器还可以首先将每一个子区域的结果与预定阈值相比较。
如上所述，上文仅仅是一种可以用于检测运动以及确定图像质 量的方法，在不脱离本发明示例性实施方式的实质和范围的情况下， 其他那些相似的方法同样是可以使用的。举个例子，根据一个示例
性实施方式，移动i殳备可以包括能够4企测沿着某条轴线(例如x， y 或z轴)的加速度的加速度传感器。运动可以是根据将可接受与不 可接受加速度相比的阈值来检测的，而所述加速度则是由加速度传 感器检测的。在这个示例性实施方式中不必分析连续帧，取而代之 的是，在这里可以设置一个关于最大许可运动的阈值。
如上所述，示例性实施方式中的移动设备可以响应于对于较差 图像质量或是图像帧之间的大量变化或运动的检测来采取若干种动 作中的一个或多个动作。图9A 9D示出了这其中的少量可能动作或 响应。图9A示出了运动和图像质量监视器与图像匹配系统结合工作 的实施方式，在该实施方式中，所4企测的是运动或质量变化，并且 图像质量的变化量是很大的，如图9A所示，整个图像匹配系统有可 能输出低图像匹配置信度，并且图像匹配是无法执行的。相比之下， 如果检测到少量运动和质量变化，并且其数量小到不足以危及输入 图像质量，则可以实施图像匹配，并且可以计算并且向移动设备的屏幕或显示器输出图像匹配置信度。这样一来，在将捕获图像与图 像匹配系统结合使用之前，运动和图像质量监视器将会通过操作来 稳定捕获图像。
举个例子，在一个实施方式中(如图9B所示)，在图像匹配应 用是上述类型的移动视觉搜索应用的情况下，如果检测到很高的运 动和/或很低的图像质量，则可以指示视觉搜索系统始终保持现有搜 索结果("緩存")，或者将其保持至达到或超越某个阈值(例如 任何图像相关量度中的差别，时间差别，或是在视觉搜索系统中提 供的其他任何上下文中的差别)。在一个示例性实施方式中，其中 没有向用户显示搜索结果。作为替换，只有一部分现有搜索结果是 可以显示的。此外，在一个示例性实施方式中可以显示用以表明没 有显示结果或者只显示了一部分结果的视觉效果(例如文本消息或 显示)。另一方面，如果检测到很低的运动和/或很高的图像质量(例 如通过达到或超出某个阈值来确定，其中所述阈值可以是帧之间的
特定图像特征的百分比变化)，视觉搜索系统可以执行新的图像匹 配来更新结果。
如图9C和9D所示，在这里还可以确定是否关闭或打开移动设 备的特定组件，或者时候继续保持特定动作(例如动作A)或另一 个动作(例如动作B)。举个例子，可以打开或关闭的组件可以包 括背光、相机、处理器或是与移动设备或相机模块相关联的其他任 何硬件組件。在一个示例性实施方式中，这些组件可以一直关闭或 者关闭至达到或超出某个阈值(例如捕获图像特征的百分比变化)。 举个例子，在一个示例性实施方式中，在大的持续的运动中，其中 可以使用运动检测来关闭屏幕背光，以便节约移动设备的能耗。
根据图9D,举例来说，可采取的动作可以包括显示结果、计算 结果、关闭子组件、切换应用、切换应用模式、切换输入方法(例 如语音识别、图像、运动或文本输入等等)或是其他任何类型的动 作。
本领域普通技术人员将会了解，如果在检测到的运动程度很高和/或所确定的图像质量很低时(例如与某个预定阈值相比较)决定 关闭特定设备、切换到特定应用或是特定输入方法等等，那么同样 可以在运动和图像质量监视器的结果是检测到的运动很低和/或所确 定的图像质量很高时做出相反的决定。
根据另 一 个示例性实施方式，移动设备还能检测何时放好了将 移动设备，例如将其放在手袋或手提包中。特别地，根据这个示例 性实施方式，移动设备可以被配置成分析相机模块接收的可见光的 等级。举例来说，如果用以辨别相机模块视野中的对象的光量不足， 则移动设备可以假设该设备处于口袋或手提包中并转入休眠，此后 则有间隔地唤醒，以便尝试了解相机是否可以看到有意义的事物。 前文中的这种处理是非常有益的，这是因为如果将移动设备放在口 袋中并且忘记将其关闭，那么将会以超出预期的速度耗尽移动设备 的电池。
结论
本发明示例性实施方式的系统、方法、电子设备和计算机程序 产品主要是结合移动通信应用的上下文描述的。但是应该理解，本 发明实施方式的系统、方法、电子设备和计算机程序产品是可以与 移动通信工业以内以及移动通信工业以外的多种其他应用结合使用 的。例如，本发明示例性实施方式的系统、方法、电子设备和计算 机程序产品是可以与有线和/或无线网络(例如因特网)应用结合使 用的。
如上所述并且正如本领域技术人员所了解的那样，本发明的实 施方式可以被配置成是系统、方法或电子设备。相应地，本发明的 实施方式可以包括各种装置，这其中包括纯硬件、纯软件或是软硬 件组合。此外，本发明的实施方式可以釆用计算机可读存储介质上 的计算机程序产品的形式，所述存储介质中则包含了计算机可读程 序指令(例如计算机软件)。任何适当的计算机可读存储介质都是 可以使用的，这其中包括硬盘、CD-ROM、光学存《诸设备或是磁存储设备。
在上文中，本发明的示例性实施方式是参考方法、设备(即系 统)和计算机程序产品的框图和流程图例证来描述的。应该理解的 是，框图和流程图例证中的每个方框以及框图和流程图例证中的方 框组合分别可以由包括计算机程序指令在内的各种装置来实施。这 些计算机程序指令可以加载到通用计算机、专用计算机或其他可编
程数据处理设备商，以便产生一种机器，由此，在计算机或其他可 编程数据处理设备上执行的指令将会创建一个用于实施一个或多个 流程图方框中规定的功能的装置。
这些计算机程序指令还可以保存在计算机可读存储器中，其中
该存储器可以指示计算机或其他可编程数据处理设备以特定方式工 作，由此，保存在计算机可读存储器中的指令将会产生一个制品， 其中该制品包含了用于实施一个或多个流程图方框中规定的功能的
计算机可读指令。所述计算机可读指令也可以加载到计算机或其他 可编程数据处理设备上，以便促使在计算机或其他可编程设备上执 行一系列操作步骤，从而产生一个计算机实施的进程，由此，在计 算机或其他可编程设备上执行的指令将会提供用于实施一个或多个 流程图方框中规定的功能的步骤。
相应地，框图和流程图例证中的方框支持将用于执行特定功能 的装置组合在一起，并且支持将用于执行特定功能的步骤以及用于 执行特定功能的程序指令装置组合在一起。此外还应该理解，框图 和流程图例证中的每 一 个方框以及框图和流程图例证中的方框组合 可以由基于专用硬件并执行特定功能或步骤的计算机系统来实施， 或者由专用硬件与计算机指令的组合来实施。
对于本发明的这些示例性实施方式所附属的领域中的普通技术 人员来说，在得益于先前描述和相关附图中给出的教导的情况下，
些修改和其他实施方式同样是包含在附加权利要求的范围中的。虽然在这里使用了专门的术语，但是这些术语仅仅是以普通和描述性 的意义来^f吏用的，它们并不具有限制目的。
权利要求
1.一种用于监视捕获图像的运动和图像质量的方法，所述方法包括检测捕获图像中的运动；以及响应于检测到的运动来采取动作，其中所述动作包括在将所述捕获图像用于图像匹配应用之前稳定所述捕获图像，或是响应于检测到的超出预定阈值的运动来节约电力。
2. 权利要求l的方法，其中检测捕获图像中的运动包括对所 述捕获图像的两个或更多连续帧的一个或多个特征进行比较。
3. 权利要求2的方法，其中所比较的特征是从一组用于图像匹 配应用的特征中选出的。
4. 权利要求2的方法，其中比较一个或多个特征还包括 对所述捕获图像的两个或更多帧进行采样；过滤两个或更多采样帧以去除噪声； 从采样帧中提取一个或多个特征；以及 计算所提取的采样帧的特征的差别。
5. 权利要求4的方法，其中比较一个或多个特征还包括 将相应的采样帧分成两个或更多子区域，其中过滤两个或更多采样帧包括过滤所述采样帧的相应子区域，从所述采样帧中提取一个 或多个特征包括从所述采样帧的相应子区域中提取一个或多个特 征，以及计算所提取特征之间差别包括针对所述采样帧的相应子区 域来计算所提取特征之间的差别；累积针对相应子区域而计算得到的所提取特征之间的差别；以及整合所累积的两个或更多子区域的差别。
6. 权利要求l的方法，其中检测捕获图像中的运动包括 检测与捕获图像相关联的加速度量；以及将检测到的加速度与预定阈值相比较。
7. 权利要求l的方法，其中在将捕获图像用于图像匹配应用之前稳定捕获图像包括确定检测到的运动是否超出预定阈值；以及如果检测到的运动超出了预定阈值，则阻止图像匹配应用使用所 述捕获图像。
8. 权利要求7的方法，其中所述图像匹配应用包括移动视觉搜 索应用，并且其中阻止所述图像匹配应用使用捕获图像包括指示 所述移动视觉搜索应用不要根据捕获图像来产生新的搜索结果。
9. 权利要求l的方法，其中节约电力还包括当检测到的运动 超出预定阈值时，关闭用于捕获图像的电子设备中的一个或多个组 件。
10. 权利要求1的方法，其中该动作是从包含下列各项的群组中 选出的当4企测到的运动超出预定阈值时，阻止所述图像匹配应用 使用捕获图像，指示移动视觉搜索应用不要根据捕获图像来产生新 的搜索结果，关闭用于捕获图像的电子设备中的一个或多个组件， 从工作于电子设备的第一应用切换到第二应用，改变工作在电子设 备的应用的工作模式，以及改变工作在电子设备上的应用的输入方 法。
11. 一种用于监视捕获图像的运动和图像质量的设备，所述设备 包括处理器；以及与处理器通信的存储器，其中该存储器存储处理器可执行的应 用，其中该应用被配置成在执行时检测捕获图像中的运动，以及响 应于检测到的运动来采取动作，其中该动作包括在将捕获图像用 于图像匹配应用之前稳定捕获图像，或是响应于检测到的超出预定 阈值的运动来节约电力。
12. 权利要求ll的设备，其中为了检测捕获图像中的运动，该 应用被进一步配置成在执行时，比较捕获图像的两个或更多连续 帧中的一个或多个特征。
13. 权利要求12的设备，其中为了比较两个或更多连续帧中的一个或多个特征，该应用被进一步配置成在执行时， 对所述捕获图像的两个或更多帧进行采样； 过滤两个或更多采样帧以去除噪声； 从采样帧中提取一个或多个特征；以及 计算所提取的采样帧的特征的差别。
14. 权利要求13的设备，其中为了比较两个或更多连续帧中的 一个或多个特征，该应用被进一步配置成在执行时，将相应的采样帧分成两个或更多子区域，其中过滤两个或更多采 样帧包括过滤所述采样帧的相应子区域，从所述采样帧中提取 一 个 或多个特征包括从所述采样帧的相应子区域中提取 一 个或多个特 征，以及计算所提取特征之间差别包括针对所述釆样帧的相应子区域计算所提取特征之间的差别；累积针对相应子区域而计算得到的所提取特征之间的差别；以及 整合所累积的两个或更多子区域的差别。
15. 权利要求ll的设备，其中为了检测捕获图像中的运动，该 应用被进一步配置成在执行时，检测与捕获图像相关联的加速度量；以及 将检测到的加速度与预定阈值相比较。
16. 权利要求ll的设备，其中为了在将捕获图像用于图像匹配 应用之前稳定捕获图像，该应用被进一步配置成在执行时，确定^r测到的运动是否超出预定阈值；以及 如果检测到的运动超出了预定阈值，则阻止图像匹配应用使用所 述捕获图像。
17，权利要求16的设备，其中所述图像匹配应用移动视觉搜索 应用，并且其中为了阻止所述图像匹配应用包括使用捕获图像，该 应用进一步被配置成在执行时，指示所述移动视觉搜索应用不要 根据捕获图像来产生新的搜索结果。
18.权利要求ll的设备，其中图像匹配应用保存在所述存储器
19. 权利要求ll的设备，其中为了节电，该应用被进一步配置 成在执行时，当检测到的运动超出预定阈值时，关闭用于捕获图 像的电子设备中的一个或多个组件。
20. 权利要求ll的设备，还包括可以由处理器操作的相机模块，该相机模块被配置成捕获一个或 多个图像，所述存储器被配置成存储一个或多个捕获图像。
21. —种用于监视捕获图像的运动和图像质量的计算机程序产 品，其中该计算机程序产品包括至少一个计算机可读存储介质，并 且在该介质中存储了计算机可读程序代码部分，该计算机可读程序 代码部分包括用于检测捕获图像中的运动的第 一 可执行部分；以及 用于响应于检测到的运动而采取 一 个动作的第二可执行部分，其 中所述动作包括在将所述捕获图像用于图像匹配应用之前稳定所 述捕获图像，或是响应于检测到的超出预定阈值的运动来节约电力。
22. 权利要求21的计算机程序产品，其中第一可执行部分被配 置成比较捕获图像的两个或更多连续帧中的一个或多个特征。
23. 权利要求22的计算机程序产品，其中为了比较两个或更多 连续帧中的一个或多个特征，第一可执行部分进一步被配置成对所述捕获图像的两个或更多帧进行采样； 过滤两个或更多采样帧以去除噪声； 从采样帧中提取一个或多个特征；以及 计算所提取的采样帧的特征的差别。
24. 权利要求23的计算机程序产品，其中为了比较两个或更多 连续帧中的一个或多个特征，第一可执行部分进一步被配置成将相应的采样帧分成两个或更多子区域，其中过滤两个或更多采 样帧包括过滤所述釆样帧的相应子区域，从所述采样帧中提取 一 个 或多个特征包括从所述采样帧的相应子区域中提取一个或多个特 征，以及计算所提取特征之间差别包括针对所述采样帧的相应子区 域来计算所提取特征之间的差别；累积针对相应子区域而计算得到的所提取特征之间的差别；以及 整合所累积的两个或更多子区域的差别。
25. 权利要求21的计算机程序产品，其中第一可执行部分被配 置成检测与捕获图像相关联的加速度量；以及 将检测到的加速度与预定阈值相比较。
26. 权利要求21的计算机程序产品，其中为了在将捕获图像用 于图像匹配应用之前稳定捕获图像，第一可执行部分进一步被配置 成确定检测到的运动是否超出预定阈值；以及 如果检测到的运动超出了预定阈值，则阻止图像匹配应用使用所 述捕获图像。
27. 权利要求26的计算机程序产品，其中所述图像匹配应用移 动视觉搜索应用，并且其中为了阻止所述图像匹配应用使用捕获图 像，所述第二可执行部分进一步被配置成指示所述移动视觉搜索 应用不要根据捕获图像来产生新的搜索结果。
28. 权利要求21的计算机程序产品，其中为了节电，所述第二 可执行部分进一步被配置成当检测到的运动超出预定阈值时，关 闭用于捕获图像的电子设备中的一个或多个组件。
29. —种用于监视捕获图像的运动和图像质量的设备，所述设备 包括用于检测捕获图像中的运动的装置；以及响应于检测到的运动而采取动作的装置，其中所述动作包括在 将所述捕获图像用于图像匹配应用之前稳定所述捕获图像，或是响 应于检测到的超出预定阈值的运动来节约电力。
全文摘要
本发明提供了一种用于监视与捕获图像相关联的运动和/或图像质量的方法、设备和计算机程序产品。响应于检测到的运动以及与捕获图像相关联的相应图像质量，在这里可以采取各种动作。具体地，举例来说，所述运动和图像质量监视器可以只在捕获图像的图像特征稳定(也就是在捕获图像的连续帧之间检测到很少或是没有运动)的时候才允许捕获图像与移动视觉搜索系统之类的图像匹配应用结合使用。检测到的运动和/或图像质量的变化进一步可以用于节能目的，其中举例来说，所述目的是通过根据检测到的运动量和/或捕获的图像质量接通或切断工作在移动设备上的各种应用和/或组件来实现的。
文档编号G06K9/22GK101681430SQ200880013506
公开日2010年3月24日 申请日期2008年3月19日 优先权日2007年4月24日
发明者C·P·施罗特, K·普利, M·贾科布, 江 高 申请人:诺基亚公司