保护移动设备上的内容不被挖掘的制作方法

文档序号:12167198阅读:178来源:国知局
本申请是于2014年12月15日提交的标题为“PROTECTINGCONTENTONAMOBILEDEVICEFROMMINING(保护移动设备上的内容不被挖掘)”的非临时美国专利申请No.14/570,496的继续申请并要求其优先权,其是于2014年8月27日提交的美国临时申请序列号62/042,775以及于2014年10月8日提交的美国临时申请序列号62/061,240的非临时申请,其全部内容通过引用并入本文。
背景技术
::由于对诸如智能电话和平板计算机的移动设备的使用,用户与移动应用的交互一直在增加。但与基于Web的应用不同,移动应用在它们提供的特性方面能够显著不同。例如,链接结构、用户界面、和与其它应用的交互能够从一个应用到另一个应用而不一致。另外,由于移动应用通常是关闭的(例如,无法被爬取),所以用户的动作无法被用作改善用户体验的场境,诸如个性化搜索、定向广告、以及提供个性化建议和协助。为了解决这些问题,移动设备可以包括内容代理,其挖掘、分析、和存储来自屏幕的信息或在移动设备上输出的音频内容。这样的代理可以通过捕获和挖掘视觉和音频内容来提供更流畅、个人、和简化的用户体验。技术实现要素:虽然内容代理可以实现更个性化和简化的用户体验,但是一些用户和一些移动应用可能不希望某些内容被捕获和挖掘。实施方式为用户和移动应用开发人员提供了一种机制,以指定和保护内容不被内容代理挖掘和分析。该机制可以处于挖掘限制记号的形式,其对移动设备的用户可以是可见的或者不可见的。在一些实施方式中,移动应用开发者可以在由应用生成的内容中自动地包括一个或多个挖掘限制记号。在一些实施方式中,移动设备的用户可以控制对挖掘限制记号的包括。挖掘限制记号可以保护所有内容,例如整个屏幕或音频文件,或者保护屏幕上显示的内容的一个或多个部分。挖掘限制记号可以阻止任何挖掘或可以对移动设备上呈现的内容中的一些或全部提供限制。在一些实施方式中,用户可以在移动应用的安装时指示来自移动应用的内容将经由挖掘限制记号被保护。在一些实施方式中,系统可以提供用户界面,其使得用户能够经由挖掘限制记号来选择性地打开和关闭保护,并且可选地经由对所挖掘内容的限制来指定不同的保护等级。根据本公开的某些方面,一种方法包括:由运行在移动设备上的第一应用识别来自该移动设备的帧缓冲区数据中的挖掘限制记号,该挖掘限制记号在移动设备上输出之前已经由第二应用插入,以及确定挖掘限制记号是否阻止内容的挖掘,其中挖掘包括帧缓冲区数据的副本或派生的非暂时性存储。该方法还可以包括:在挖掘限制记号阻止挖掘时阻止挖掘。当挖掘限制记号不阻止挖掘时,该方法可以包括:基于挖掘限制记号来确定对于数据的限制并且向数据提供该限制以用于进一步处理。根据本公开的某些方面,一种方法包括确定要在移动设备的屏幕上显示的内容包括与挖掘限制触发器匹配的内容,在该内容中插入挖掘限制记号,该挖掘限制记号至少保护内容的一部分,以及在屏幕上显示包括所插入的挖掘限制记号的内容。根据本公开的某些方面,移动设备可以包括:至少一个处理器、显示设备、以及存储指令的存储器,所述指令在由至少一个处理器执行时使移动设备执行操作。该操作可以包括:识别移动设备的帧缓冲区中的低阶位(orderbit)或高阶位中的挖掘限制记号,确定该挖掘限制记号是否阻止内容的挖掘,其中挖掘包括在帧缓冲区中的数据的副本或者派生的非暂时性存储,以及在挖掘限制记号阻止挖掘时,阻止在帧缓冲区中挖掘数据。根据本公开的某些方面,移动设备可以包括至少一个处理器、显示设备、和存储指令的存储器,所述指令在由至少一个处理器执行时生成用户界面。该用户界面可以被配置为:接收挖掘限制触发器,该挖掘限制触发器默认与阻止挖掘的第一挖掘限制记号相关联,接收对于挖掘限制触发器的限制,将挖掘限制触发器与第一挖掘限制记号的关联替换为挖掘限制触发器与许可具有该限制的挖掘的第二挖掘限制记号的关联,并且存储与第二挖掘限制记号相关联的挖掘限制触发器。根据本公开的某些方面,一种方法包括:由运行在移动设备上的第一应用执行对由第二移动应用生成的内容的识别,以及确定该内容包括与挖掘限制触发器匹配的内容。该方法还包括:确定挖掘限制触发器是否阻止内容的挖掘,其中挖掘包括在帧缓冲区中存储数据的副本或派生,并且在挖掘限制记号阻止挖掘时阻止挖掘。该方法还可以包括:在挖掘限制记号不阻止挖掘时,基于该挖掘限制记号确定对于数据的限制,并且为数据提供限制以用于进一步处理。根据本公开的某些方面,包含在计算机可读存储设备上的计算机程序产品包括指令,其在由形成在基底中的至少一个处理器执行时使得移动设备执行所公开的方法、操作、或过程中的任何一个。另一个一般方面包括:具有用户界面的系统和/或用于生成用户界面的方法,该用户界面使得用户能够控制在移动设备上呈现的哪些内容可以被挖掘以简化及个性化移动设备上的用户体验。另一个一般方面包括:用于选择用于挖掘的内容的系统和/或方法,基本如在结合附图中的至少一个示出和/或描述的,并且如权利要求中更完整地阐述的。在一个一般方面,包含在计算机可读存储设备上的计算机程序产品包括指令,其在由形成在基底中的至少一个处理器执行时使得移动设备执行所公开的方法、操作或过程中的任何一个。另一个一般方面包括:具有用户界面的系统和/或用于生成用户界面的方法,该用户界面使得用户能够控制在移动设备上呈现的哪些内容可以被挖掘以简化及个性化移动设备上的用户体验。另一个一般方面包括:用于选择用于挖掘的内容的系统和/或方法,基本如在结合附图中的至少一个示出和/或描述的,并且如权利要求中更完整地阐述的。可以实现本文描述的主题的实施方式中的一个或多个,以便实现以下优点中的一个或多个。作为一个示例,实施方式可以向移动设备的移动应用开发者和用户提供机制来控制什么内容可以被用于增强移动环境中的用户体验。该机制可以是粒状的,允许用户或开发者有能力控制对数据元素、媒体类型、或包括特定词或文本格式的内容的挖掘。该机制还可以是灵活的,允许用户或开发者设置限制水平,使得可以保护内容不被挖掘、可以挖掘但不共享、可以挖掘和共享但是在不生成内容的设备上限制挖掘(例如不允许在接收者设备上挖掘)、或者可以挖掘除非到期等。一些实施方式可以包括用户界面,其向用户提供机会来控制移动应用中的一个或多个的挖掘参数。在一些实施方式中,该机制可以是可见的,向用户提供关于对于内容的保护等级的反馈。在附图和下面的描述中阐述了一个或多个实施方式的细节。其它特征根据说明书和附图以及根据权利要求书将是显而易见的。附图说明图1是图示根据所公开主题的示例系统的框图。图2图示了根据实施方式的、具有可见挖掘限制记号的移动计算设备的示例显示。图3图示了根据实施方式的、具有基于在所显示的内容中的挖掘限制触发器来插入的可见挖掘限制记号的移动计算设备的示例显示。图4图示了根据实施方式的、具有基于媒体类型来插入的可见挖掘限制记号的移动计算设备的示例显示。图5图示了根据实施方式的、具有保护数据元素的可见挖掘限制记号的移动计算设备的示例显示。图6图示了根据实施方式的、用于将内容指定为受保护不被挖掘并用于指定挖掘限制触发器的示例用户界面。图7图示了根据实施方式的、用于指定对内容挖掘的限制的示例用户界面。图8图示了根据所公开的实施方式的、用于捕获在移动设备上呈现的内容的、遵守由挖掘限制记号表示的限制的示例过程的流程图。图9图示了根据所公开的实施方式的、用于在移动设备上输出的内容中插入挖掘限制记号的示例过程的流程图。图10示出可以被用于实现所描述的技术的计算机设备的示例。图11示出可以被用于实现所描述的技术的分布式计算机设备的示例。各附图中相似的附图标记指示相似的元素。具体实施方式图1是根据示例实施方式的移动内容代理系统的框图。内容代理120可以是在跨移动应用提供一致的用户体验的过程中的第一步,使得相似类型的可动作内容跨应用表现相同,提供场境以用于个性化某些任务——诸如对搜索结果进行排名和提供协助,提供界面以在屏幕上快速发现用户相关和内容相关的内容,或者显现屏幕中显示的实体之间的深入的关系。内容代理120还可以是过程中的第一步,其允许移动设备的用户与另一用户共享屏幕或者将一个移动设备的状态传输到另一移动设备或者允许移动设备利用来自用户的最小输入来自动执行任务。内容代理120可以通过以间隔捕获移动设备上的屏幕的图像并且提供内容以用于进一步经由识别工具来处理,帮助实现这些目标。进一步的处理可以由内容代理120或者由可以是系统100的一部分的其它模块、代理、或引擎(未示出)来执行。例如,在一些实施方式中,进一步的处理可以包括:在移动应用环境中,在单个捕获的图像上或在顺序捕获的图像的窗口或这两者上执行实体检测。实体可以被消除歧义、排名、并且与用户简档相关联。实体可以是人、地点、项目、想法、主题、词、短语、抽象概念、实在的元素、其它合适的事物、或者这些的任何组合,并且可以被用于个性化提供给用户的协助。在一些实施方式中,进一步的处理可以包括:识别移动设备的捕获的图像中的可动作内容,并且提供可动作内容的默认动作。可动作内容可以包括:所发现的实体、地标、和适合模板的数据——诸如电话号码、电子邮件地址、街道地址、日期等。每个类型的可动作内容可以与默认动作相关联。系统可以生成为每个可动作项目提供视觉提示的注释数据。当用户选择视觉提示时,系统可以发起默认动作。系统可以跨在移动设备上所使用的所有应识别可动作的内容,使用户体验一致。例如,虽然一些移动应用将电话号码转换为可以被选择和调用的链接,而其它移动应用不能。由系统生成的注释数据能够跨移动应用来提供相同的功能。在一些实施方式中,进一步的处理可以包括:识别捕获的图像中对移动设备的用户重要或相关的内容。内容可以是重要的或相关的,因为它总结文本的主体或者因为它关于用户偏好而得到高排名。例如,系统可以基于用户简档来识别感兴趣的实体,该用户简档可以包括用户明确指定的兴趣或者基于与移动应用的过去的交互来被确定为与用户相关的实体和实体集合。当系统识别结构元素中的相关实体——例如列表中的多个条目中的一个时,系统可以将整个结构元素(例如,整个列表条目)包括为相关内容。系统还可以识别图像中的文本主体,并且使用常规的概述算法来识别有效地概述文本主体的文本元素。概述主体的元素被视为是重要或相关的内容,并且可以使用注释数据中的视觉提示来高亮显示或以其它方式与其它屏幕内容区分。在一些实施方式中,进一步的处理可以包括:识别在移动设备上显示的屏幕中的实体,并且提供界面以用于显现关于实体的信息而不离开移动应用的场境。例如,界面可以将早前描述的可动作内容界面与触发洞察(insight)界面的不同输入组合。例如,针对实体而生成的视觉提示可以是可动作的,以在利用短轻敲选择实体时发起默认动作,并且可以可动作以利用长按在屏幕上发起提供对实体到其它实体的连接的洞察的过程。第二输入可以被称为洞察选择。如果用户对一个实体执行洞察选择,则系统可以遍历数据图表以找到与也出现在屏幕上的图表中的所选实体相关的其它实体。如果找到了任何相关的实体,则系统可以提供注释数据,其示出连接并且可选地示出对该连接的描述。如果用户同时对两个实体执行洞察选择,则系统可以走查(walk)数据图表以确定两个实体之间的关系——如果存在关系,并且提供解释该连接的注释数据。在一些实施方式中,进一步的处理可以包括:识别屏幕捕获图像中的关键项目并且生成将关键项目与屏幕捕获图像相匹配的索引。关键项目可以是经由对图像执行的识别而发现的词、短语、实体、地标、徽标等。索引可以是倒排索引,其对于每个关键项目包括与该关键项目相关联的图像的列表。在一些实施方式中,针对图像所生成的任何注释数据也可以与图像一起存储。系统可以使用常规信号以及对移动环境唯一的信号来对关键项目进行排名。在一些实施方式中,进一步的处理可以包括:与其它方共享捕获的屏幕或先前捕获的屏幕。系统可以使得用户能够选择要共享的屏幕的区域。由于跨在移动设备上运行的所有移动应用共享工作,所以共享图片的工作方式与共享新闻文章相同,从而使用户体验更流畅和一致。用户还可以例如通过查询先前捕获的屏幕的索引并选择先前捕获的屏幕来选择共享先前查看的屏幕以共享。共享可以直接从移动设备到移动设备或经由服务器来发生。在服务器实施方式中,共享屏幕可以包括:从发送者的数据将屏幕复制到接收者的所共享屏幕的数据存储,并且发送屏幕准备好被观看的通知。在一些实施方式中,进一步的处理可以包括:将内容传送到接收者设备,但阻止在接收者设备上进行挖掘。例如,在诸如视频聊天应用、文本收发应用、和图片共享应用的基于通信的移动应用中,始发移动设备或发送内容(例如,文本、图像、视频、或音频)的移动设备可以安装内容代理或者可以不安装内容代理,但是接收者移动设备可以运行内容代理。始发移动设备的用户可能期望保持接收者设备不捕获在始发移动设备上生成以及从始发移动设备传送的内容。因此,在一些实施方式中,始发移动设备可以在共享内容中插入挖掘限制记号,其阻止在接收者设备上进行挖掘。上述的进一步的处理的非限制性示例是挖掘的示例。如本文所使用的,挖掘包括:存储所捕获的图像和/或从捕获的图像导出的数据的非暂时性副本,例如从捕获的图像中提取的对象或特征——例如文本、实体、地标、徽标等以及这些对象在图像中的位置。对象或特征可以被用于上述进一步处理或被用于其它分析过程。本文所使用的挖掘排除了为了检测内容中的挖掘限制记号的目的而执行的任何本地处理或存储。图1的系统100包括对由移动应用和/或操作系统插入到内容中的挖掘限制记号敏感的内容代理120。挖掘限制记号可以阻止内容代理120挖掘捕获的图像,例如,阻止其提取和分析对象并且存储所捕获的图像的副本,或者可以提供关于对对象和/或副本的使用的限制。挖掘限制记号可以由一个或多个移动应用110或操作系统115插入。在一些实施方式中,内容代理120可以访问挖掘限制触发器以确定捕获的图像是否包括与挖掘限制触发器相对应的内容。当内容代理找到这样的内容时,其可以在触发器阻止挖掘时终止任何进一步的处理,或者可以根据由触发器表示的任何限制来处理内容。在一些实施方式中,系统100可以提供设置用户界面(UI)140,其使得用户能够调整和改变由移动应用110、操作系统115、或这两者插入的挖掘限制记号的方面。虽然图1中的系统100被描述为客户端-服务器系统,其中一些数据处理可以在服务器190处发生,诸如进一步处理的某些方面,但是可以使用其它配置。例如,数据处理可以仅在移动设备180上发生,并且一些任务可以由不同的元素执行。因此,实施方式不限于所图示的确切配置。移动内容代理系统100可以包括移动设备180。移动设备180可以是任何移动个人计算设备,诸如智能电话或其它手持计算设备、平板计算机、可穿戴计算设备等,其在封闭的移动环境而不是常规的基于web的开放环境中操作。移动设备180可以是如图10所描绘的计算机设备1000的示例。移动设备180可以包括形成在基底中的一个或多个处理器,其被配置为执行一个或多个机器可执行指令或软件、固件的片、或其组合。移动设备180可以包括操作系统115和被配置为暂时地、永久地、半永久地、或其组合地存储一个或多个数据片的一个或多个计算机存储器。因此,移动设备180可以包括以软件、固件、或其组合的形式表示机器可执行指令的应用,其包括移动应用110、内容代理120、和设置UI140。常规地,诸如移动应用110的移动应用在封闭环境中操作,这意味着用户采用单独的应用来执行常规上在基于web的浏览器环境中执行的活动。例如,移动设备180的用户可以分别使用由hotels.com或opentable.com提供的移动应用,而不是前往hotels.com预约酒店或去opentable.com进行预订。移动设备180还可以包括一个或多个输出设备103。该输出设备可以包括用于显示视觉内容的显示设备和用于呈现音频内容的扬声器。移动设备180可以包括内容代理120。内容代理120可以被配置为,例如通过复制或读取移动设备的帧缓冲区的内容来捕获当前屏幕。应当理解,移动设备以数据的形式来提供视觉内容和音频内容。因此,帧缓冲区中的数据表示由移动应用和用户所理解的对象,例如文本、图片、图标、徽标等。因此,如本文所使用的内容可以被理解为帧缓冲区中的数据以及它们对用户或移动应用来表示的对象。挖掘的内容可以被理解为表示通过计算机从帧缓冲区数据中识别和提取对象,使得表示词cat(猫)的位被计算机识别为文本拼写c-a-t和/或表示猫的实体,以及表示图像的位被识别为图像等。内容代理120可以以间隔或根据移动设备180的用户的命令来捕获当前屏幕。例如,用户可以执行动作——诸如向上滑动、向下滑动、斜向滑动、双指滑动等,其发起由内容代理120进行的屏幕捕获。替选地,内容代理120可以以某一间隔——可能是小的间隔来捕获屏幕,所述间隔例如每半秒或每秒。内容代理120可以提供捕获的内容125——例如来自帧缓冲区的数据以供挖掘。如上所指示,这包括对象的提取(例如,经由对数据执行的识别)和/或副本的存储以供后续使用。在一些实施方式中,内容代理120还可以捕获发送到输出设备103的音频内容。因此,在一些实施方式中,取决于实施方式,捕获的内容125可以包括音频文件、注释或标记(例如,“火车笛声”或“引擎声音”),或者在音频文件中识别的文本。内容代理120可以使用被用于经由输出设备103产生声音的输出音频缓冲区。图1的内容代理120对被插入到内容中的挖掘限制记号敏感,如本文将更详细地描述的。还应当理解,内容代理120可以在用户许可下操作,例如,由移动设备的用户安装或激活的程序操作。在一些实施方式中,内容代理120还可以捕获用户输入动作。用户输入动作表示用户输入手势,诸如轻敲、滑动、文本输入、或者用户采取来与移动设备180的触摸屏幕交互的任何其它动作。内容代理120可以记录每个动作的时间戳,其指示动作何时发生。内容代理120还可以记录触摸动作的屏幕坐标、滑动或涂抹(smudge)动作的开始和结束坐标、以及录入以用于键盘动作的文本。如果用户执行多指动作,则存储以用于输入动作的数据可以包括具有相同时间戳的多个条目。例如,如果用户利用两个手指“捏合(pinch)”来缩小,则内容代理120可以记录第一(例如食指)数位的一个数据条目和第二(例如拇指)数位的第二数据条目,每个都具有相同的时间戳。用户输入动作可以被视为所捕获的内容125中的另一类型的内容。内容代理120可以向另一个引擎、应用、或模块提供捕获的内容125以及可选地提供任何元数据以用于挖掘(例如进一步处理)。挖掘可以包括捕获的内容125的非暂时存储或捕获的内容的派生(derivation)。派生包括:存储少于所有捕获的内容125、将附加数据与捕获的内容125一起存储、或者修改捕获的内容125。如上所述,进一步的处理可以包括识别(图像、徽标、文本等)、实体提取、索引、传送等,以向移动设备的用户提供附加功能或信息。元数据可以包括与挖掘限制记号所包围(encompass)的捕获的图像的区域相关联的任何限制以及从该区域提取的数据和对象。元数据还可以包括:时间戳、移动设备类型、移动设备的位置、移动设备标识符、在屏幕被捕获时运行的移动应用——或者换言之生成屏幕或音频内容的应用、以及其它设备信息——诸如哪些应用是活动的、环境光、设备的运动等。限制可以限制对内容的某些使用,诸如共享或索引,或者可以限制在某个时间之前或之后的任何使用。其它元数据可以协助进一步的处理(例如,实体消歧、对搜索结果排名),并且决定从帧缓冲区中的数据中提取的什么提取对象与移动设备的用户最为相关。进一步的处理的另一种形式包括:使用处于用户输入动作形式的所捕获内容来自动化某些任务或共享应用状态。例如,在例如经由对先前捕获的图像的索引的搜索来从搜索结果中选择先前捕获的图像之后,系统可以包括尝试将用户带回到生成屏幕的移动应用并且使用用户输入动作来重新创建导致所捕获的图像的一系列交互的应用。因此,系统可以允许用户跳回到他们先前曾在应用中的地方。共享用户输入动作可以使得用户能够在维持特定状态的同时切换移动设备。换言之,移动设备的用户可以与第二移动设备共享屏幕和用户输入动作,并且第二移动设备可以使用用户输入动作的序列和所共享的屏幕来实现由所共享屏幕表示的状态。用户输入动作还可以被用于使用最少的附加数据来重复一些先前执行的动作。例如,系统可以使得用户能够使用新的日期和时间来重复对餐馆的预订。移动设备180还可以包括设置UI140。设置UI140可以被配置为使得用户能够控制哪些内容被保护以不被挖掘,并且如果允许挖掘,则对内容施加限制。换言之,在一些实施方式中,设置UI可以向移动设备180的用户提供控制内容代理120的动作的能力。由设置UI140提供的粒度水平可以取决于实施方式。例如,设置UI140可以使得用户能够选择移动应用110或移动应用110的类型,并且打开或关闭对由移动应用110生成的或者在移动应用100正在运行时生成的内容的挖掘,所述内容包括用户输入动作。作为另一示例,设置UI140可以使得用户能够对由移动应用110或移动应用110的类型(例如,通信移动应用)生成的内容施加限制。作为另一示例,设置UI140可以使得用户能够关闭内容代理120或禁用对内容代理120的所有挖掘。作为另一示例,设置UI140可以使得用户能够将某些数据元素、媒体类型、或文本指定为受保护不被挖掘,而不管哪个应用生成了内容。例如,设置UI140可以使得用户能够关闭内容代理120对用户输入动作的收集。作为另一示例,设置UI140可以使得用户能够阻止对图片的挖掘。在一些实施方式中,设置UI140可以阻止对实体类型的挖掘,例如阻止对电话号码或电子邮件地址的挖掘。设置UI140还可以使得用户能够选择限制水平,这可以允许对做记号的内容的挖掘,但是在某个时间段之后或者在某个时间段之前不允许某些使用或任何使用。例如,限制可以允许对生成内容的设备上的内容的挖掘但不允许对任何其它设备上的内容的挖掘。在一些实施方式中,内容代理120的开发者可以提供设置UI140。在一些实施方式中,移动应用110的开发者可以提供与移动应用110相关的设置UI140的一些功能,使得限制和挖掘限制触发器仅应用于由移动应用110生成的内容。在一些实施方式中,UI140可以被配置有使得用户能够看到由挖掘限制记号保护的、当前所显示的任何内容的功能。例如,当用户执行预定手势或输入序列时,即使挖掘限制记号本身对于用户不可见,UI140也可以高亮显示或以其它方式向用户提供对挖掘限制记号所保护的内容的指示。在一些实施方式中,UI140可以被配置有使得用户能够选择在设备上当前显示的内容并且指示该内容的一个或多个部分来由挖掘限制记号保护的功能。换言之,UI140可以使得用户能够查看内容并将所显示的内容的一部分标记为限制挖掘,从而针对所标记的内容来生成挖掘触发器。移动设备180可以包括挖掘限制触发器130。挖掘限制触发器130可以由移动应用110、操作系统115、或设置UI140建立。挖掘限制触发器130表示其导致插入挖掘限制记号或以其它方式使得内容代理120忽略具有限制的内容或处理该内容的条件。所述条件可以基于特定数据元素、媒体类型(例如,图片、音频文件、视频文件等)、特定文本格式、特定模式或正则表达式、特定类型的移动应用、或者可以表示文本中发现的词、短语、或n元。在一些实施方式中,触发器可以是针对移动应用的标识符,使得由该移动应用生成的任何内容包括挖掘限制记号。在一些实施方式中,触发器可以是移动应用类型,使得该类型的任何应用可以插入挖掘限制记号以保护内容。例如,当移动应用是通信应用时或者当经由传感器——诸如相机或麦克风捕获了内容时,操作系统的组件可以插入该记号。记号可以保护某些媒体类型——诸如图像、视频和音频,或者可以保护在通信应用中生成的任何内容——例如图像或视频共享应用。在一些实施方式中,特定触发器可以具有相关联的挖掘限制记号类型。挖掘限制记号的类型可以表示保护等级,或者换言之,限制挖掘和对所挖掘的内容的使用。例如,一种类型可以阻止任何挖掘。换言之,由所捕获的图像表示的内容不被提供以用于挖掘。这意味着没有对象被提取并被用于进一步的处理,诸如实体检测、生成洞察、或提供其它的个性化协助。另一类型的挖掘限制记号可以允许挖掘,但阻止共享。如上所述,内容代理120可以制作所捕获的屏幕的副本,并且将该副本提供给使得用户能够指定另一用户接收该副本的程序。用户还可以将副本与该用户拥有的另一移动设备共享,使得该用户可以将第一移动设备的状态传输到第二设备。挖掘限制记号类型可以阻止该副本的这种共享。另一种类型的挖掘限制记号可以许可共享,但是阻止在接收者设备上的挖掘。另一类型的挖掘限制记号可以允许挖掘,但具有期满日期。期满日期可以被绑定到从捕获的图像提取的任何对象和作出的任何副本。因此,对象或副本的任何使用可以在期满日期之后停止。另一类型的挖掘限制记号可以允许挖掘而不进行索引等。在一些实施方式中,设置UI140保持挖掘限制触发器130中的至少一些。在一些实施方式中,挖掘限制触发器130可以在移动应用110安装时由移动应用或用户来设置。在一些实施方式中,挖掘限制触发器130可以包括条目,其使得内容代理120避免收集用户输入动作、或者在特定移动应用运行时避免收集用户输入动作。虽然设置UI140和内容代理120被图示为在移动设备180上运行的单独的应用,但是应当理解,在设置UI140和内容代理120中标识的组件中的一个或多个可以是操作系统115的一部分。在一些实施方式中,内容代理120和设置UI140的所有组件可以是操作系统115的一部分。在一些实施方式中,设置UI140的组件中的一个或多个可以在服务器190处执行,例如,从而用户可以具有挖掘限制触发器简档,其被下载以针对用户登录的任何移动设备来更新挖掘限制触发器130。移动内容代理系统100可以包括服务器190,服务器190可以是采取多个不同设备的形式的一个或多个计算设备,例如标准服务器、这样的服务器的群组、或者机架服务器系统,其可以跨多个计算设备分布。另外,服务器190可以以例如膝上型计算机的个人计算机来实现。服务器190可以是如图10所描绘的计算机设备1000的示例,或如图11所描绘的计算机设备1100的示例。服务器190可以包括移动设备180的用户的用户帐户,并且可以被用于存储信息,诸如针对用户所挖掘的内容的索引,或者可以被用于共享所捕获的屏幕图像。在一些实施方式中,系统100可以包括所挖掘的内容的索引。该索引可以被存储在移动设备180处或服务器190处或者这两者处。索引可以是存储键值和图像列表(例如,由内容代理120捕获的图像)的倒排索引,其包括键值。键值可以是在对捕获的内容125进一步处理期间发现的文本、实体、徽标、位置等。每个所捕获的图像可以与元数据相关联,元数据包括例如时间戳、图像的键值的排名、可以找到键值的图像中的坐标等。在一些实施方式中,元数据可以包括期满日期。可以基于与图像和/或图像中所识别的关键项目相关联的挖掘限制记号来设置期满日期。移动设备180可以与服务器190通信,并且通过网络160来与其它移动设备通信。网络160可以是例如互联网,或者网络160可以是有线或无线局域网(LAN)、广域网(WAN)等,其使用例如网关设备、桥接器、交换机等来实现。网络160还可以表示蜂窝通信网络。经由网络160,服务器190可以与移动设备180通信以及向移动设备180传送数据/从移动设备180传送数据,并且移动设备180可以与服务器190和其它计算设备通信并向服务器190和其它计算设备传输数据。移动内容代理系统100表示一个示例配置,并且实施方式可以包含其它配置。例如,一些实施方式可以对设置UI140、内容代理120、操作系统115、移动应用110、和挖掘限制触发器130中的一个或多个组件进行组合。单个模块或引擎、设置UI140的组件中的一个或多个可以由服务器190执行。作为另一个示例,诸如挖掘限制触发器130和捕获的内容125的数据存储中的一个或多个可以被组合成单个数据存储,跨多个数据存储或者文件分布,可以跨多个计算设备分布,或者可以被存储在服务器190处。在移动内容代理系统100收集和存储特定于用户数据或者可以利用个人信息的方面,可以向用户提供机会来控制程序或特征是否收集用户信息(例如关于用户的社交网络、社交动作或活动、用户输入动作、职业、用户的偏好、或用户的当前位置的信息),或者控制是否和/或如何接收可能与用户更相关的内容。另外,可以在存储或使用某些数据之前以一种或多种方式来处理这些数据,使得个人可识别信息被去除。例如,可以对用户的身份进行处理,使得无法确定用户的个人可识别的信息,或者可以在获得位置信息的情况下将用户的地理位置一般化(例如到城市、邮政编码、或州层级),使得无法确定用户的特定位置。因此,用户可以控制移动内容代理系统如何收集和使用关于用户的信息。这里应当注意,并且可应用于本文所描述的各个实施例的是,可以提供能力来确定内容和其它功能的捕获是否与在设备屏幕上显示的图像的内容、布局、功能、或者其它方面的使用权一致,以及相应地提供设置能力。例如,可以提供限制内容捕获的一些挖掘限制触发器,进行所述内容捕获会违反服务条款、内容许可证、或对使用的其它限制。这样的触发器或设置可以被手动地或自动地作出,诸如在建立新的服务或设备使用许可时由用户作出,或者通过应用安装例程等,并且可以是不可经由设置UI140来修改的。为了向移动设备的用户和内容提供者提供能力来控制什么移动内容可用于分析和存储以改善用户体验,所公开的实施方式提供了识别并遵从内容中的挖掘限制记号的内容代理。挖掘限制记号对于移动设备的用户可以是可见的或者不可见的。可见标记可以向用户提供内容被保护不被挖掘的确认。可见的挖掘限制记号可以充当提醒——视觉材料受保护以免被挖掘或通过限制来保护。例如,挖掘限制记号可以保护屏幕上的某些字段(例如,美元金额),并且挖掘限制记号可以向用户提供这些字段的保护的视觉指示。当可见标记可能令人分心时,可以使用人无法察觉的(例如不可见的)挖掘限制记号。例如,如果用户已经指令系统来自工作电子邮件系统的所有内容不被挖掘,则该用户可能不需要对其的视觉提醒,并且使用不可见的挖掘限制记号来保护由工作电子邮件应用生成的内容可能更为简单。在一些实施方式中,可见标记可以向用户提供施加于内容挖掘的限制的指示。保护音频内容的挖掘限制记号也可以是人可察觉的。例如,保护音频的挖掘限制记号可以向音频添加重复的声音——诸如短蜂鸣(beep)、啁啾声(chirp)、铃声、或其它声音,其使听者知道音频内容被保护不被捕获。声音还可以是对施加于音频内容的挖掘的限制的指示。图2图示了具有可见挖掘限制记号205的移动计算设备的示例显示200。移动内容代理系统——诸如图1的系统100可以在显示200中生成挖掘限制记号205。在图2的实例中,显示200包括可见挖掘限制记号205,其包括由移动应用生成的所有内容。在图2的示例中,挖掘限制记号205是与由移动应用生成的内容一起显示的水印。在一些实施方式中,在显示200中生成内容的移动应用可能已经插入了挖掘限制记号。在一些实施方式中,例如经由存储在图1的挖掘限制触发器130中的挖掘限制触发器,操作系统可以在确定生成内容的移动应用被保护之后已经插入挖掘限制记号。在一些实施方式中,挖掘限制记号205可以具有颜色或图案,其提供对所提供的保护的类型的指示。例如,如果挖掘限制记号205是红色的,则挖掘限制记号205可以阻止对显示200中的内容的任何挖掘。如果挖掘限制记号205是绿色的,则挖掘限制记号205可以允许捕获和挖掘,但阻止所挖掘的内容——例如从内容或内容的副本提取的对象与另一移动计算设备共享。在一些实施方式中,挖掘限制记号可以阻止在服务器上与用户相关联的帐户共享所挖掘的内容。如果挖掘限制记号205是黄色的,则挖掘限制记号205可以允许在给定时间段内捕获和挖掘内容,在给定时间段之后不再使用所挖掘的内容。当然,不同的图案也可以传达对所提供的保护的类型的指示。应当理解,尽管在图2的示例中的挖掘限制记号205是可见的,但是实施方式不限于此。挖掘限制记号可以被添加到用户可能不能看到或者可能没有注意到的显示的低阶位或高阶位(例如帧缓冲区)。在本实施方式中,挖掘限制记号可以是不太可能出现在高阶位或低阶位中的某种图案。系统可以使用不同的样式来指示保护等级,类似于可见的挖掘限制记号205的颜色或水平。图3图示了具有基于在显示的内容中的挖掘限制触发器310来插入的可见挖掘限制记号305的移动计算设备的示例显示300。移动内容代理系统——诸如图1的系统100,可以在显示300中生成挖掘限制记号305。在图3的示例中,用户可能已经提供了术语——特许保密的(PRIVILEGED)以作为挖掘限制触发器,这可以使得生成显示300中的内容的移动应用或操作系统插入挖掘限制记号305。挖掘限制记号305与图2的挖掘限制记号205的相似之处可以在于它是水印并且可以包括对保护的类型的指示。挖掘限制记号305是保护显示300中的文本但不保护出现在显示的顶部和底部的控制元素的挖掘限制记号的示例。图4图示了根据实施方式的、具有保护媒体类型的可见挖掘限制记号405的移动计算设备的示例显示400。在图4的示例中,媒体类型是图片。移动内容代理系统——诸如图1的系统100,可以生成挖掘限制记号405。在一个实施方式中,计算设备的用户可以针对该特定移动应用或者针对所有移动应用来将图片选择为受保护的媒体类型。在另一实施方式中,移动应用的开发者可能已经决定出现在由移动应用生成的内容中的图片将受到保护。在任一实施方式中,系统可以在作为受保护媒体类型的图片周围插入挖掘限制记号405。在该示例中,挖掘限制记号405对于移动设备的用户也是可见的,并且可以包括对挖掘保护等级的指示。例如,特定图案或颜色可以指示:不挖掘、挖掘但不共享、挖掘但针对有限的时间段等。当然,挖掘限制记号405可以采取任何形状,例如矩形、椭圆形、圆形、或围住由标记保护的介质的任何其它形状。此外,代替形状轮廓,挖掘限制记号405可以是覆盖或包围媒体的水印。在一些实施方式中,图片介质类型可以是由移动应用、操作系统、或这两者识别的挖掘限制触发器的示例。在一些实施方式中,系统还可以保护用户在通信应用——诸如生成显示400的应用中录入的文本。例如,系统可以确定正在运行的应用是通信应用,并且可以在用户正在向输入栏录入时,为该输入添加挖掘限制记号,该挖掘限制记号允许在移动设备上挖掘但将阻止在不同设备上进行挖掘。在一些实施方式中,对通信中的文本输入的保护可以在设备层级处发生,使得系统提供挖掘限制记号以保护在任何通信应用中或者经由诸如相机或麦克风的传感器提供的文本输入。在一些实施方式中,移动应用可以为文本输入插入挖掘限制记号。图5图示了根据实施方式的、具有保护数据元素的可见挖掘限制记号505的移动计算设备的示例显示500。移动内容代理系统——诸如图1的系统100,可以生成显示500中的挖掘限制记号505。在图5的示例中,数据元素是密码,但是数据元素可以是其它类型的元素,诸如用户名、电子邮件、电话号码等。在各个实施方式中,计算设备的用户可以选择数据元素以作为受保护的,操作系统可以默认地或根据服务条款来保护该数据元素,或者移动应用的开发者可能已经决定应当保护该数据元素。在一些实施方式中,密码可以是挖掘限制触发器的示例。类似于图4的挖掘限制记号405,挖掘限制记号505不限于使用任何特定图案或颜色的任何特定形状的轮廓,并且可以包括任何图案和颜色的水印。在一些实施方式中,系统可以比数据元素本身更多地进行保护,例如通过保护显示500的弹出窗口510中包含的内容不被挖掘。图6图示了根据实施方式的、用于指定受保护不被挖掘的内容并用于指定挖掘限制触发器的示例用户界面600。移动内容代理系统——诸如图1的系统100,可以生成用户界面600。在一些实施方式中,用户界面600可以由设置UI140生成。在图6的实例中,用户界面600允许用户选择和调整适用于所有移动应用的设置,或者换言之,设置对于内容代理是全局的。应当理解,在一些实施方式中,每个移动应用可以具有类似于用户界面600的设置用户界面,但是挖掘限制记号设置将仅应用于由该移动应用生成的内容。换言之,如果设置用户界面是用于特定移动应用的并且用户选择“禁用图片”,则该特定移动应用将利用挖掘限制记号来标记图片,但是其它移动应用可能不会。在一些实施方式中,这样的设置用户界面可以在安装时被呈现给用户,或者可以在安装之后可访问。还应当理解,所图示的控制、媒体类型、和数据元素以及示例和实施方式不限于在用户界面600中图示的媒体类型、数据元素、或控件。在图6的示例中,用户界面600包括用于保护各种类型的媒体和数据元素的控件610。在一些实施方式中,控件610可以包括禁用所有控件615。禁用所有控件615可以使得用户能够通过终止内容代理直到不选择禁用全部控件615、或者通过操作系统插入挖掘限制记号来保护所有内容来关闭内容代理,而不管什么应用生成内容。这样的挖掘限制记号可以总是被插入到帧缓冲区中,例如,直到禁用所有控件615不被选择。在这样的实施方式中,禁用全部控件615可以被视为挖掘限制触发器。控件610还可以包括控件620以保护诸如视频、音频、文本输入、图片的媒体类型。选择控件620中的一个可以使得系统生成挖掘限制触发器,其将使得系统插入挖掘限制记号以保护对应的媒体,例如如图4所图示。在用户界面600的示例中,其中控件全局应用,操作系统可以分析被提供以用于在移动设备上输出的、由挖掘限制触发器保护的媒体类型的内容。如果挖掘限制触发器确实保护该媒体类型,则操作系统可以在输出内容之前插入适当的挖掘限制记号。当然,如果触发器是用于特定移动应用的,则移动应用可以在提供用于输出的内容之前插入挖掘限制记号。控件610还可以包括控件625以保护某些数据元素,诸如密码、用户名、电子邮件地址等。选择控件625中的一个可以使得系统生成对应的挖掘限制触发器。类似于针对媒体类型的控件620,控件625可以使得操作系统或移动应用(取决于实施方式)插入挖掘限制记号以在待在移动设备上输出的文本中识别出对应的文件元素时保护该文件元素。在一些实施方式中,系统可以使用标记或模板来识别数据元素。控件610还可以包括控件630以保护对手势或用户输入动作的收集,诸如滑动、点击、涂抹、轻敲等。如上所讨论,例如,内容代理可以捕获这样的用户交互以协助重复任务的自动化。控件630可以使得用户能够关闭对这样的用户输入动作的收集。与其它控件620和625一样,控件630可以在专用用户界面中被提供,使得在特定应用正在运行时内容代理不收集用户输入动作。用户界面600还可以包括控件635,其表示受保护的词、短语、术语、或n元。用户可以提供该用户希望触发保护不被内容挖掘的词或短语。因此,添加控件635中的一个可以使得系统生成相应的挖掘限制触发器。当要在移动设备上输出的内容包括受保护的字或短语(例如,如挖掘限制触发器中所指示的)时,操作系统可以分析匹配该触发器的文本的内容,并且如果找到匹配的触发器则插入挖掘限制记号以保护内容不被挖掘。在一些实施方式中,内容代理可以在屏幕捕获的图像上执行识别并查找与挖掘限制触发器相对应的项目,例如控件635中的一个。因此,用户界面600的控件635使得用户能够以移动应用开发人员无法针对所有用户作出预计的方式来个性化对内容的保护。例如,如果用户不想要与特定人员的通信或提及该特定人员的通信被挖掘,则用户可以经由控件635将该人员的姓名、昵称、和/或部分电子邮件地址添加为挖掘限制触发器。除了词、短语、术语等之外,控件635可以包括文本格式。例如,用户可以指定文本格式,诸如Calibri斜体字体,并且系统可以将该文本格式存储为挖掘限制触发器。然后,在一个实施方式中,当系统在待输出到显示器的内容中找到具有指定格式的文本时,系统可以确定该内容受保护,并且例如在帧缓冲区的低阶位或高阶位中插入挖掘限制记号。在另一实施方式中,内容代理可以确定屏幕捕获图像是否包括由挖掘限制触发器保护的内容,并且可以根据触发器及其限制来处理该内容(例如,如果记号阻止挖掘,则通过中断任何进一步处理等)。由控件610和635表示的挖掘限制触发器中的任何一个可以是可定制的,使得与挖掘限制触发器相关联的挖掘限制记号具有保护等级。保护等级可以阻止挖掘或可以允许具有一个或多个限制的挖掘。图7图示了根据实施方式的、用于指定对挖掘内容的限制的示例用户界面700。移动内容代理系统——诸如图1的系统100,可以响应于对创建挖掘限制触发器的控件的选择而生成用户界面710。在图7的示例中,系统响应于对用户界面600的“禁用音频(DisableAudio)”控件的选择而生成用户界面710。用户界面710可以使得用户能够选择对任何受保护内容的限制。例如,用户可以限制任何所捕获的音频不被共享。因此,例如,任何捕获的音频和对音频的任何识别、分析、和存储可以保持在移动设备上,但是可能不与服务器上的另一设备和/或用户账户共享等。在另一示例中,捕获的音频可以具有期满日期,使得它不会在该日期之后保留。在另一示例中,可以共享音频,但是可能不在第二设备(例如目的地设备)上挖掘音频。换言之,音频可以与另一设备共享,但是另一设备上的内容代理可能不捕获或索引该音频内容。在一些实施方式中,该限制可以允许与接收者设备共享但不允许接收者设备共享该内容。例如,当接收者设备上的内容代理遇到挖掘限制记号时,它可以挖掘并索引该内容,但添加不允许共享的限制。在另一示例中,可以分析所捕获的音频,例如以识别与用户相关的实体,但是所挖掘的内容可能不被索引。虽然在用户界面710中图示了这三个示例,但是应当理解,实施方式可以包括其它限制,诸如在指定日期之前不共享等。每个限制可以由不同模式或类型的挖掘限制记号表示。因此,例如,当通过选择用户界面600中的控件来生成挖掘限制触发器时,系统可以将挖掘限制记号与阻止挖掘的挖掘限制触发器相关联。在用户例如经由用户界面710选择限制时,系统可以将另一挖掘限制记号与挖掘限制触发器相关联。在一些实施方式中,挖掘限制记号的颜色或图案或两者可以反映特定限制。在一些实施方式中,挖掘限制记号可以包括对生成内容的设备的指示。例如,挖掘限制记号可以基于设备标识符的散列或其它唯一信息,诸如最新近加电的时间戳等。在内容通常被传送到其它设备(例如,作为通信类型移动应用的一部分)但是用户或移动应用开发者不希望该内容在共享该内容的设备上被挖掘时,这样的挖掘限制记号可以被插入。因此,例如,在始发设备上运行的内容代理可以识别作为其设备标识符的散列的挖掘限制记号,并且确定挖掘被许可。挖掘限制记号可以与内容一起被传送到由用户识别的第二设备。然而,在第二设备上运行的内容代理将识别该挖掘限制记号,但不会将该记号识别为其设备标识符的散列。因此,第二设备上的内容代理可以确定挖掘限制记号阻止挖掘。还应当理解,任何挖掘限制触发器可以与这些限制中的一个或多个相关联。图8图示了根据所公开的实施方式的、用于捕获在移动设备上呈现的内容的、遵守由挖掘限制记号表示的限制的示例过程800的流程图。过程800可以由在移动设备上执行的内容代理——诸如图1的系统100的内容代理120来执行。过程800可以被用于识别不提供以供进一步处理的内容,以及识别被提供以供进一步处理但具有一个或多个限制的内容。过程800可以由内容代理捕获在移动设备上呈现的内容开始(805)。内容可以包括显示的图像或在扬声器上播放的音频。捕获的图像可以使用常规技术来获得,诸如读取或复制帧缓冲区。可以通过读取从经由音频输出缓冲区发送到播放设备的音频来捕获音频。在一些实施方式中,内容代理可以对捕获的屏幕的图像执行识别,例如字符识别、图像识别、徽标识别等。因此,内容代理可以识别词、图片、位置、地标、徽标等。内容代理可以在内容中查找挖掘限制记号(810)。在一些实施方式中,内容代理可以在帧缓冲区的高阶位或低阶位中查找挖掘限制记号。在一些实施方式中,作为识别的一部分,内容代理可以识别挖掘限制记号。例如,内容代理可以识别图像中的水印,并识别图像中的水印的位置。作为另一示例,内容代理可以识别具有指示形状是挖掘限制记号的预定边界格式的形状。在另一实施方式中,内容代理可以检测以人不可听的频率出现的音频文件中的模式。在另一实施方式中,内容代理可以检测音频或视频文件中的像素的小变化。在一些实施方式中,内容代理可以查找与挖掘限制触发器相对应的内容,如下面关于图9所描述的。例如,内容代理可以对内容执行识别,并确定内容中的任何一个是否对应于挖掘限制触发器。如果内容代理找到与挖掘限制触发器相对应的内容,则可以暗示挖掘限制记号(例如,810,是)如果内容代理无法定位挖掘限制记号(810,否),则内容代理可以继续处理内容或提供内容以供进一步处理(815)。例如,如果内容代理还未执行识别,则其可以执行对内容的识别。如果已经执行了识别,则内容代理或另一代理、模块、或引擎可以开始对内容的分析,例如以识别内容中的实体,经由所识别的项目对图像编索引,发起个性化帮助等。然后,对于该特定的所捕获图像过程800结束。如果内容代理定位了挖掘限制记号(810,是),则内容代理可以确定挖掘限制记号是否阻止挖掘(820)。例如,挖掘限制记号的图案、颜色、或类型可以指示受保护内容不能被挖掘或者可以被挖掘但具有限制。这些限制的非限制性示例在图7的用户界面710中图示。挖掘限制记号可以是可见的或者可以由帧缓冲区的低阶位或高阶位中的特定模式表示。在一些实施方式中,挖掘限制记号可以是散列,并且当设备无法将散列解释为其自己的设备标识符时,内容代理可以将挖掘限制记号视为阻止挖掘。如果挖掘限制记号不阻止挖掘(820,否),则内容代理可以将对做记号内容的限制作为元数据提供,并且提供内容以供进一步处理,如上面关于步骤815所讨论的。如果挖掘限制记号确实阻止挖掘(820,是),则内容代理可以确定挖掘限制记号应用于部分内容还是整个图像(830)。例如,可见水印或边界可以包围整个屏幕,或者在帧缓冲区的低阶位或高阶位中找到的模式可以保护整个屏幕,而可见水印或边界可以保护小于整个屏幕。在一些实施方式中,挖掘限制记号可以通过以用户不容易察觉的方式修改显示的内容来保护某物。例如,挖掘限制记号可以对查看显示器的人实际上不可察觉的但是系统可以容易地察觉的字符、间隔、背景颜色等的微小改变进行组合。如果挖掘限制记号应用于部分内容(830,是),则内容代理可以保留或模糊部分内容,但提供剩余内容以供进一步处理(835)。例如,在一些实施方式中,由挖掘限制记号保护的图像的区域可以用全零、全一来替换,或者可以被丢弃。如果内容代理已经对图像执行了识别,则在进一步处理之前可以丢弃由挖掘限制记号保护的屏幕部分中的所识别项目。如果挖掘限制记号应用于整个图像(840,否),则内容代理可以丢弃捕获的图像(840)以及与对捕获的图像执行的与识别有关的任何信息。因此,不提供该内容以供进一步处理。然后,过程800结束遵从生成内容的移动应用、操作系统、和/或计算设备的用户所请求的挖掘限制的内容代理。在一些实施方式中,内容代理可以执行类似于过程800的过程,但是针对用户输入动作。换言之,内容代理可以检查挖掘限制触发器以确定是否捕获用户输入动作,并且如果捕获到用户输入动作,则确定是否存在与用户输入动作相关联的任何限制。因此,与从图像挖掘的内容一样,可以捕获用户输入动作,但是可以期满、可以不共享等。图9图示了根据所公开的实施方式的、用于在呈现在移动设备上的内容中插入挖掘限制记号的示例过程900的流程图。过程900可以由移动应用或在的移动计算设备上运行的操作系统——诸如图1的系统100的设备180来执行。在这个意义上,过程900可以被理解为由在移动设备上运行的应用执行。过程900可以被用来响应于待在移动设备上输出(例如,在屏幕上显示或者经由音频信号播放)的内容中的挖掘限制触发器,而包括挖掘限制记号。然而,应当理解,移动应用或操作系统可以在与挖掘限制触发器无关的待输出的内容中包括一些挖掘限制记号。在这个意义上,应用开发者可以包括标记,并且除了可能在安装时之外,用户可能不具有关闭对标记的包含的选项。因此,应当理解,一些移动应用可以硬编码对挖掘限制记号的包含,并且一些移动应用可以使用挖掘限制触发器来向用户提供机会来控制包含或排除标记以及可选地对限制进行控制。过程900可以通过获得待在移动设备上输出的内容开始(905)。例如,移动应用可以在将内容发送到操作系统以用于在移动设备上输出之前检查内容。一般来说,移动应用生成内容,并且因此,可以访问待被包括在内容中的任何文本或媒体。作为另一示例,操作系统可以在将来自移动应用的内容变换为帧缓冲区的图像之前检查该内容。移动设备可以确定要输出的文本内容是否包括挖掘限制触发器(910)。挖掘限制触发器可以是具有特定格式的词、短语、n元、或文本,如图6的控件635所图示。挖掘限制触发器还可以是数据元素,例如密码、用户id等,如图6的控件625所图示。移动设备可以将文本和文本格式与已保存的挖掘限制触发器——例如图1的挖掘限制触发器130进行比较,以确定是否存在匹配。在数据元素的情况下,移动设备可以将文本与模板或类类型进行比较以确定触发器是否匹配。在一些实施方式中,移动设备可以使用文本的标记来确定文本是否匹配挖掘限制触发器。如果文本确实包括挖掘限制触发器(910,是),则移动设备可以确定挖掘限制触发器保护部分内容还是整个屏幕。例如,挖掘限制触发器可以包括对内容的一部分是否受保护的指示。在一些实施方式中,词、短语、和n元可以保护输出到移动设备的所有内容。在一些实施方案中,数据元素可以保护内容的一部分,例如,仅保护与数据元素相对应的文本或与数据元素相关的显示的区域。如果触发器确实保护所有内容(915,是),则移动设备可以插入保护所有内容不被挖掘的挖掘限制记号(920)。这可以由挖掘限制记号的图案或颜色(或两者)确定。挖掘限制记号可以作为被发送到帧缓冲区的内容的高阶位或低阶位中的模式、作为内容周围的边界、或作为在内容后面显示的不透明图像、或者用于插入水印的其它常规技术。移动设备可以提供内容以供输出(940),因为所有内容都被保护不被挖掘,因此不需要寻找额外的挖掘限制触发器。如果触发器不保护所有内容,则移动设备可以插入保护与相匹配的挖掘限制触发器相对应的内容的挖掘限制记号(925)。移动设备可以通过确定与文本相对应的区域并提供如上所述的水印或边界来插入挖掘限制记号。作为另一示例,移动设备可以在用户提供的文本周围插入很少使用但不引人注目的字符,以将文本标记为受保护。移动设备还可以确定内容是否包括由挖掘限制触发器保护的媒体类型或移动应用类型(930)。例如,移动应用开发者或用户可以确定:不应当挖掘图片、视频、或音频,应当仅挖掘但不共享,可以在接收者设备上共享但不挖掘等。保护媒体类型的挖掘限制触发器的示例被图示为图6的控件620。作为另一示例,操作系统可以确定通信应用中的内容可以被保护以阻止在接收者设备上进行挖掘。如果移动设备确定内容包括受保护的媒体类型或应用类型(930,是),则移动设备可以在与受保护的媒体类型相对应的内容中插入挖掘限制记号(935)。例如,移动设备可以在图片周围插入红色边界以作为该图片被保护不被挖掘或者可以通过限制来被挖掘的指示。作为另一示例,移动设备可以插入包围表示音频文件的图标的水印图像或图案。作为另一示例,移动设备可以对音频或视频文件的像素进行小的改变。作为另一示例,移动设备可以向音频文件以不可听的频率添加模式。当移动设备针对匹配挖掘限制触发器并且被插入了任何适当的挖掘限制记号的内容,来检查了要在移动设备上输出的内容时,移动设备可以继续提供内容以供输出(940)。然后,过程900结束,其中内容包括指令内容代理如何处理该内容的适当的挖掘限制记号。在一些实施方式中,内容代理可以执行过程900的一部分,并且可以在不使用挖掘限制记号的情况下阻止挖掘内容。例如,内容代理可以对屏幕捕获图像执行识别,并且可以确定任何文本内容是否包括挖掘限制触发器,如关于步骤910所讨论的。如果内容代理找到与挖掘限制触发器相对应的文本,并且触发器如上面关于步骤915所述的保护所有内容,则内容代理可以终止对屏幕捕获图像和任何相对应的所识别对象或特征的任何进一步处理。如果触发器不保护所有内容,则内容代理可以确定触发器保护的内容(例如,部分内容,或允许通过限制进行挖掘),并且可以根据挖掘限制触发器所表示的任何限制来进行。关于图8的过程800和图9的过程900,应当理解,在移动应用开发者、内容代理的开发者、和操作系统之间协调挖掘限制记号的格式及其相对应的保护等级,使得每个组件知道哪个格式表示哪个等级的保护。因此,尽管每个等级的特定格式不重要,但是每个组件应当理解各种格式及其相对应的含义。还应当理解,诸如内容代理120的挖掘应用的开发者可以自我认证(certify)或被认证为遵照挖掘限制记号。这样的认证可以鼓励用户使用这些挖掘应用,知道挖掘应用将遵守隐私条例。图10示出了可以作为图1的系统100和/或移动设备180操作的通用计算机设备1000的示例,其可以与这里描述的技术一起使用。计算设备1000旨在表示各种示例形式的计算设备,诸如膝上型计算机、台式计算机、工作站、个人数字助理、蜂窝电话、智能电话、平板计算机、服务器、和其它计算设备——包括可穿戴设备。这里所示的组件、它们的连接和关系以及它们的功能仅意在作为是示例,并不意在限制在本文档中描述和/或要求保护的本发明的实施方式。计算设备1000包括经由接口1008连接的处理器1002、存储器1004、存储设备1006、和扩展端口1010。在一些实施方式中,计算设备1000可以包括经由接口1008连接的收发器1046、通信接口1044、和GPS(全球定位系统)接收器模块1048等。设备1000可以通过通信接口1044来无线地通信,所述通信接口1044可以在必要时包括数字信号处理电路。组件1002、1004、1006、1008、1010、1040、1044、1046、和1048中的每一个可以被安装在公共主板上或视情况以其它方式安装。处理器1002可以处理指令以用于在计算设备1000内执行,所述指令包括存储在存储器1004或存储设备1006上的指令,以在外部输入/输出设备——诸如显示器1016上显示GUI的图形信息。显示器1016可以是监视器或平面触摸屏显示器。在一些实施方式中,可以视情况连同多个存储器和多个类型的存储器一起使用多个处理器和/或多个总线。此外,可以连接多个计算设备1000,其中每个设备提供必要操作的部分(例如,作为服务器组、刀片服务器群组、或多处理器系统)。存储器1004存储计算设备1000内的信息。在一个实施方式中,存储器1004是一个或多个易失性存储器单元。在另一实施方式中,存储器1004是一个或多个非易失性存储器单元。存储器1004还可以是另一形式的计算机可读介质,诸如磁盘或光盘。在一些实施方式中,存储器1004可以包括通过扩展接口来提供的扩展存储器。存储设备1006能够为计算设备1000提供大容量存储。在一个实施方式中,存储设备1006可以是或包括计算机可读介质,诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其它类似的固态存储器设备、或设备阵列,包括存储区域网络或其它配置中的设备。计算机程序产品可以有形地体现在这样的计算机可读介质中。计算机程序产品还可以包括指令,其在被执行时执行一个或多个方法——诸如上述的方法。计算机可读或机器可读介质是存储设备,诸如存储器1004、存储设备1006、或处理器1002上的存储器。接口1008可以是管理计算设备1000的带宽密集型操作的高速控制器或管理较低带宽密集型操作的低速控制器,或这样的控制器的组合。可以提供外部接口1040以便实现设备1000与其它设备的近区域通信。在一些实施方式中,控制器1008可以耦合到存储设备1006和扩展端口1014。可以包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的扩展端口可以耦合到一个或多个输入/输出设备,诸如键盘、指示设备、扫描仪,或者例如通过网络适配器来耦合到诸如交换机或路由器的联网设备。计算设备1000可以以多种不同的形式实现,如图所示。例如,其可以被实现为标准服务器1030,或者在这样的服务器群组中多次实现。还可以将计算设备1000实现为机架服务器系统的一部分。另外,可以以计算设备——诸如膝上型计算机1032、个人计算机1034、或平板计算机/智能电话1036实现计算设备1000。整个系统可以由彼此通信的多个计算设备1000组成。其它配置是可能的。图11示出了通用计算机设备1100的示例,所述通用计算机设备1100可以是图1的服务器190的示例,其可以与这里描述的技术一起使用。计算设备1100旨在表示大规模数据处理设备的各种示例形式,诸如服务器、刀片服务器、数据中心、大型主机、和其它大规模计算设备。计算设备1100可以是具有可能包括网络附接的存储节点的多个处理器的分布式系统,其由一个或多个通信网络互连。这里所示的组件、它们的连接和关系、以及它们的功能仅意在作为示例性,并且不意味着限制本文当中描述和/或要求保护的本发明的实施方式。分布式计算系统1100可以包括任何数目的计算设备1180。计算设备1180可以包括:通过局域网或广域网、专用光链路、调制解调器、桥接器、路由器、交换机、有线或无线网络等进行通信的服务器或机架服务器、大型主机等。在一些实施方式中,每个计算设备可以包括多个机架。例如,计算设备1180a包括多个机架1158a-1158n。每个机架可以包括一个或多个处理器,诸如处理器1152a-1152n和1162a-1162n。处理器可以包括数据处理器、网络附接的存储设备、和其它计算机控制的设备。在一些实施方式中,一个处理器可以作为主处理器操作并且控制调度和数据分发任务。处理器可以通过一个或多个机架交换机1158互连,并且一个或多个机架可以通过交换机1178连接。交换机1178可以处理多个连接的计算设备1100之间的通信。每个机架可以包括存储器,诸如存储器1154和存储器1164,以及存储,例如1156和1166。存储1156和1166可以提供大容量存储,并且可以包括易失性或非易失性存储,诸如网络附接的盘、软盘、硬盘、光盘、磁带、闪存或其它类似的固态存储器设备、或设备阵列,包括存储区域网络或其它配置中的设备。存储1156或1166可以在多个处理器、多个机架、或多个计算设备之间共享,并且可以包括存储可由一个或多个处理器执行的指令的计算机可读介质。存储器1154和1164可以包括例如一个或多个易失性存储器单元或单元、一个或多个非易失性存储器单元、和/或其它形式的计算机可读介质,诸如磁盘或光盘、闪存、高速缓存、随机存取存储器(RAM)、只读存储器(ROM)、及其组合。诸如存储器1154的存储器也可以在处理器1152a-1152n之间共享。诸如索引的数据结构可以例如跨存储1156和存储器1154存储。计算设备1100可以包括未示出的其它组件,诸如控制器、总线、输入/输出设备、通信模块等。诸如系统100的整个系统可以由彼此通信的多个计算设备1100组成。例如,设备1180a可以与设备1180b、1180c、和1180d通信,并且这些可以统称为系统100。作为另一示例,图1的系统100可以包括一个或多个计算设备1100。计算设备中的一些可以地理上彼此靠近地安置,并且其它计算设备可以在地理上彼此远离地安置。系统1100的布局仅作为示例,并且系统可以采取其它布局或配置。根据本公开的某些方面,一种方法包括:由运行在移动设备上的第一应用识别来自该移动设备的帧缓冲区数据中的挖掘限制记号,该挖掘限制记号在移动设备上输出之前已经由第二应用插入,以及确定挖掘限制记号是否阻止内容的挖掘,其中挖掘包括帧缓冲区数据的副本或派生的非暂时性存储。该方法还可以包括:在挖掘限制记号阻止挖掘时阻止挖掘。当挖掘限制记号不阻止挖掘时,该方法可以包括:基于挖掘限制记号来确定对数据的限制并且向数据提供该限制以用于进一步处理。这些和其它方面可以包括以下特征中的一个或多个。例如,限制可以是从数据提取的对象、或者数据的副本的期满日期。作为另一示例,限制可以阻止:共享从数据提取的数据和对象的副本、共享在期满日期之后从数据提取的数据和对象的副本、和/或共享在指定日期之前从数据提取的数据和对象的副本。作为另一示例,挖掘限制记号对移动设备的用户可以是可见的。作为另一示例,该方法还可以包括:在安装第二应用期间提供用户界面,该用户界面请求来自移动设备的用户指示是否插入挖掘限制记号;以及从用户接收指示待被插入挖掘限制记号的指示,其中第二应用响应于接收到指示而插入挖掘限制记号。作为另一个示例,该方法还可以包括:确定挖掘限制记号是否阻止挖掘小于所有数据的数据的第一部分,并且在挖掘限制记号阻止对第一部分的挖掘时,提供数据的剩余部分以用于挖掘,该剩余部分不包括第一部分。作为另一示例,该方法可以包括:确定挖掘限制记号是否阻止挖掘小于所有数据的数据的第一部分,在挖掘限制记号阻止对第一部分的挖掘时,模糊内容的第一部分并提供该内容以用于进一步处理,该内容包括经模糊的第一部分。作为另一示例,该限制可以阻止在没有生成内容的设备上进行挖掘。根据本公开的某些方面,一种方法包括:确定要在移动设备的屏幕上显示的内容包括与挖掘限制触发器匹配的内容,在该内容中插入挖掘限制记号,该挖掘限制记号至少保护内容的一部分,以及在屏幕上显示包括所插入的挖掘限制记号的内容。这些和其它方面可以包括以下特征中的一个或多个。例如,该方法还可以包括从移动设备的用户接收文本,其中该文本是挖掘限制触发器。作为另一示例,挖掘限制触发器可以由生成内容的应用的开发者确定。作为另一个示例,该方法还可以包括确定挖掘限制触发器保护少于所有内容,其中插入挖掘限制记号包括定位该挖掘限制记号,使得内容的该部分由挖掘限制记号包围,并且剩余的内容没被包围。作为另一示例,该方法还可以包括:从移动设备的用户接收对数据元素的指示,其中数据元素是挖掘限制触发器。作为另一示例,挖掘限制触发器可以表示数据元素,并且确定该内容包括与挖掘限制触发器匹配的内容可以包括:确定该内容包括与数据元素的模式匹配的内容。作为另一示例,挖掘限制触发器可以指定文本格式,并且确定内容包括与挖掘限制触发器匹配的内容可以包括:确定该内容包括具有该文本格式的文本。作为另一示例,挖掘限制触发器可以是媒体类型。作为另一个示例,该方法还可以包括:在所述屏幕上的显示之后,由内容代理识别内容中的挖掘限制记号,=以及响应于识别挖掘限制记号而忽略由挖掘限制记号保护的内容的部分。作为另一示例,挖掘限制记号对移动设备的用户可以是可见的,并且可以提供受保护的该部分的指示。作为另一示例,该部分可以表示内容的全部。作为另一示例,挖掘限制记号可以包括移动设备的设备标识符的散列。根据本公开的某些方面,移动设备可以包括至少一个处理器、显示设备、以及存储指令的存储器,所述指令在由至少一个处理器执行时使得移动设备执行操作。该操作可以包括识别移动设备的帧缓冲区中的低阶位或高阶位中的挖掘限制记号,确定挖掘限制记号是否阻止内容的挖掘,其中挖掘包括帧缓冲区中的数据的副本或派生的非暂时性存储,以及在挖掘限制记号阻止挖掘时阻止在帧缓冲区中对数据的挖掘。这些和其它方面可以包括以下特征中的一个或多个。例如,存储器还可以存储指令,所述指令在由至少一个处理器执行时使得移动设备执行操作,其包括:在限制记号不阻止挖掘时基于该挖掘限制记号来确定对于帧缓冲区中的数据的限制以及向数据提供该限制以用于进一步处理。作为另一示例,存储器还可以存储指令,所述指令在由至少一个处理器执行时使得移动设备执行操作,其包括:在待被发送到帧缓冲区的内容中识别与挖掘限制触发器匹配的内容中的文本,将挖掘限制记号插入到该内容中,以及将该内容提供给帧缓冲区以用于在显示设备上显示。作为另一示例,存储器还可以存储指令,所述指令在由至少一个处理器执行时使得移动设备执行操作,其包括:确定存储器存储阻止对所有内容的挖掘的挖掘限制触发器,响应于该确定将挖掘限制记号插入到内容中,以及将内容提供给帧缓冲区以用于在显示设备上显示。根据本公开的某些方面,移动设备可以包括至少一个处理器、显示设备、和存储指令的存储器,所述指令在由至少一个处理器执行时生成用户界面。用户界面可以被配置为:接收挖掘限制触发器,挖掘限制触发器默认地与阻止挖掘的第一挖掘限制记号相关联,接收对于挖掘限制触发器的限制,将该挖掘限制触发器与第一挖掘限制记号的关联替换为将挖掘限制触发器与许可具有该限制的挖掘的第二挖掘限制记号相关联,以及存储与第二挖掘限制记号相关联的挖掘限制触发器。这些和其它方面可以包括以下特征中的一个或多个。例如,存储器还可以存储指令,该指令在由至少一个处理器执行时执行移动应用。该移动应用可以被配置为:生成内容以用于在显示设备上显示,确定内容包括与挖掘限制触发器匹配的内容,在内容中插入第二挖掘限制记号,以及将内容提供给帧缓冲区以用于在显示设备上显示。在这样的实施方式中,存储器还可以存储指令,所述指令在被至少一个处理器执行时执行内容代理,其被配置为:从帧缓冲区读取数据,确定数据包括挖掘限制触发器,以及响应于所述确定,阻止挖掘数据。作为另一示例,存储器还可以存储指令,所述指令在被至少一个处理器执行时执行内容代理,其被配置为捕获在显示设备上显示的内容,并且用户界面可以被进一步配置为:接收禁用对内容的挖掘的指示,以及响应于接收到所述指示,终止该内容代理。作为另一示例,存储器还可以存储指令,所述指令在由至少一个处理器执行时执行内容代理,其被配置为捕获在显示设备上显示的内容,并且用户界面还可以被配置为:接收禁用对内容的挖掘的指示以及将所述指示存储为第二挖掘限制触发器。在这样的实施方式中,存储器还可以存储指令,所述指令在由至少一个处理器执行时使得移动设备:将用于在显示设备上显示的第二内容复制到帧缓冲区,确定第二挖掘限制触发器存在,以及响应于所述确定,在所述帧缓冲区中插入第一挖掘限制记号,其中所述第一挖掘限制记号阻止内容代理挖掘帧缓冲区中的数据。作为另一示例,作为接收挖掘限制触发器的一部分,用户界面还可以被配置为:接收对显示设备上显示的内容的一部分的选择,接收用于该部分的标记,以及基于该标记和所选择的内容的部分来生成挖掘限制触发器。根据本公开的某些方面,一种方法包括由运行在移动设备上的第一应用执行对由第二移动应用生成的内容的识别,并且确定该内容包括与挖掘限制触发器匹配的内容。该方法还包括:确定挖掘限制触发器是否阻止内容的挖掘,其中挖掘包括在帧缓冲区中存储数据的副本或派生,并且在挖掘限制记号阻止挖掘时阻止挖掘。该方法还可以包括:在挖掘限制记号不阻止挖掘时,基于挖掘限制记号来确定对于数据的限制,并且向数据提供该限制以用于进一步处理。各个实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式,该可编程系统包括可以是专用或通用的至少一个可编程处理器,其被耦合以从存储系统、至少一个输入设备、和至少一个输出设备接收数据和指令,以及向存储系统、至少一个输入设备、和至少一个输出设备传送数据和指令。这些计算机程序(也称为程序、软件、软件应用或代码)包括用于在衬底中形成的可编程处理器的机器指令,并且可以以高级过程和/或面向对象的编程语言、和/或以汇编/机器语言来实现。如本文所使用的,术语“机器可读介质”“计算机可读介质”指代任何非暂时性计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器(包括读访问存储器)、可编程逻辑器件(PLD)),其用于向可编程处理器提供机器指令和/或数据。这里描述的系统和技术可以在计算系统中实现,所述计算系统包括后端组件(例如作为数据服务器)、或包括中间件组件(例如应用服务器)、或者包括前端组件(例如具有有用户可以通过其与这里描述的系统和技术的实施方式相交互的、图形用户界面或Web浏览器的客户端计算机)、或者这样的后端、中间件、或前端组件的任何组合。系统的组件可以通过数字数据通信的任何形式或介质(例如通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)、和互联网。计算系统可以包括客户端和服务器。客户端和服务器通常对彼此处于远程并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。已经描述了多个实施方式方式。然而,在不脱离本发明的精神和范围的情况下可以进行各种修改。另外,在附图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。另外,可以根据所描述的流程来提供其它步骤或者可以消除步骤,并且可以将其它组件添加到所描述的系统或从所述系统去除。因此,其它实施方式在所附权利要求的范围内。当前第1页1 2 3 当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1