随着计算设备变得更加移动，用户可携带能够处理和显示信息的多个计算设备。每个计算设备可以提供不同的功能并且可包括不同的用户交互方法。即使当用户可以访问多于一个的计算设备时，用户一次通常也只能与一个计算设备交互。
技术实现要素：
本技术的多个方面涉及用于利用辅助计算设备来补充主计算设备的计算机实现的方法。该方法包括确定在主计算设备上显示的活动应用窗口的内容，主计算设备与用户账户相关联。该方法还包括识别与用户账户相关联并位于主计算设备附近的辅助计算设备，以及选择与所确定的活动应用窗口的内容相关的一个或多个补充项目。该方法还包括在主计算设备上显示活动应用窗口的同时提供所选择的一个或多个补充项目以在辅助计算设备上显示。
本技术的方面还涉及一种系统。该系统包括一个或多个处理器电路以及非暂时性计算机可读介质，该非暂时性计算机可读介质包括存储在其中的指令，所述指令在由所述一个或多个处理器电路执行时使得一个或多个处理器电路进行操作。所述操作包括：确定在主计算设备上显示的活动应用窗口的内容，所述主计算设备与用户账户相关联。所述操作还包括确定与用户账户相关联的一个或多个候选计算设备，并获得一个或多个候选计算设备的位置信息。所述操作还包括：基于所获得的位置信息，选择一个或多个计算设备中被确定为接近主计算设备的一个计算设备作为辅助计算设备，以及选择与所确定的活动应用窗口的内容相关的一个或多个补充项目。所述操作还包括在主计算设备上显示活动应用窗口的同时，提供所选择的一个或多个补充项目以在辅助计算设备上显示。
本技术的多个方面还涉及一种非暂时性机器可读介质，包括存储在其中的指令，所述指令在由机器执行时使得所述机器进行操作。所述操作包括确定由用户在主计算设备上显示的活动应用窗口中输入的内容，所述主计算设备与用户账户相关联。所述操作还包括识别与用户账户相关联并位于主计算设备附近的辅助计算设备，以及选择与确定的活动应用窗口的内容相关的一个或多个补充项目。所述操作还包括在主计算设备上显示活动应用窗口的同时，提供所选择的一个或多个补充项目以在辅助计算设备上显示。
应当理解，根据以下具体实施方式，本技术的其他配置对于本领域技术人员来说将变得显而易见，其中通过说明的方式示出和描述本技术的各个配置。如同将认识到的，本技术能够具有其他不同的配置，并且其若干细节能够在各个其他方面中进行修改，皆不脱离本技术的范围。因此，附图和具体实施方式本质上被视为说明性而非限制性的。
附图说明
附图图示所公开的方面并与说明书一起用于解释所公开的方面的原理，附图被包括以提供进一步理解并且并入说明书并构成说明书的一部分。
图1图示根据本技术的各个方面的示例网络环境。
图2示出根据本技术的各个方面的图示示例过程的流程图。
图3示出根据本技术的各个方面的图示示例过程的流程图。
图4示出根据本技术的各个方面的示例第一界面和第二界面。
图5示出根据本技术的各个方面的示例第一界面和第二界面。
图6示出根据本技术的各个方面的示例第一界面和第二界面。
图7概念性图示可以由其实现本技术的一些实施方式的示例电子系统。
具体实施方式
下面给出的具体实施方式意图作为对本技术的各个配置的描述，并非意图表示可以实践本技术的唯一配置。附图合并于此并构成具体实施方式的一部分。具体实施方式包括具体细节，目的是提供对本技术的透彻理解。但是，本技术不限于这里给出的具体细节，并且可以在没有这些具体细节的情况下实施。在一些实例下，按照框图的形式来示出结构和组件，以避免模糊本技术的概念。
本技术补充在主计算设备上显示的活动应用窗口的内容，其中提供补充项目以在辅助计算设备上显示。如下进一步所述，活动应用窗口的内容例如可包括由活动应用生成的或者通过使用主计算设备的用户输入的媒体内容、文本、web内容、用户界面元素等等。提供补充项目用于通过提供附加内容、信息、用户界面元素等等来补充应用窗口的内容，以使用辅助计算设备来扩展用户与活动应用的交互。补充项目可以与主计算设备上显示的活动应用窗口的内容相关，例如，基于生成活动应用窗口的活动应用，或者基于在活动应用窗口中显示的内容的主题。
根据各个方面，主计算设备和辅助计算设备与用户账户相关联。用户账户可以是在线用户账户或者基于云的用户账户，其用于访问各个web服务和应用，诸如电子邮件、社交网络、操作系统、web应用(即文本编辑器、电子表格应用、演示应用)等等。通过认证用户账户凭证可以授权对web服务和应用的访问。可通过登入用户账户来发起用户认证，登入用户账户是通过例如web门户、web应用、应用登录页面等等来进行的。
在一个或多个实施方式中，本技术可以确定与用户账户相关联的主计算设备上显示的活动应用窗口的内容。可以识别与用户账户相关联并位于主计算设备附近的辅助计算设备。可以选择与确定的活动应用窗口的内容相关的一个或多个补充项目并且在主计算设备上显示活动应用窗口的同时提供所述一个或多个补充项目以在辅助计算设备上显示。
图1图示示例网络环境100，其中可以利用辅助计算设备来提供与正在主计算设备上显示的活动应用窗口的内容相关的补充项目。网络环境100包括主计算设备102、辅助计算设备104和服务器108。主计算设备102、辅助计算设备104和服务器108可通过网络106相互通信。服务器108可包括一个或多个计算设备110和数据存储112。
主计算设备102和辅助计算设备104可以是具有处理器电路、存储器和用于与其他计算设备(例如包括服务器108)交换数据的通信能力的系统或设备。在一些方面中，主计算设备102和辅助计算设备104可以有能力显示信息、内容和各个项目以及在相应的计算设备上接收用户输入。通过示例而非限制的方式，处理设备可包括台式计算机、膝上型计算机、手持式计算机、个人数字助理(pda)、蜂窝式电话、网络装置、相机、智能电话、增强通用分组无线业务(egprs)移动电话、媒体播放器、导航设备、电子邮件设备、游戏控制台、或者这些数据处理设备或其他数据处理设备中的任何一个的组合。
服务器108可以是具有处理器电路、存储器和用于与其他计算设备(例如包括主计算设备102和辅助计算设备104)交换数据的通信能力的任何系统或设备。服务器108可以利用与在线用户账户或基于云的用户账户相关联的凭证信息，以提供对与用户账户或其他资源相关联的各个web服务或应用的访问。在一些示例方面中，服务器108可包括单个计算设备(例如计算设备110)。在其他实施方式中，服务器108可以表示共同工作来执行计算机服务器(例如服务器群)的动作的多于一个的计算设备。此外，服务器108可以表示各种形式的服务器，包括但不限于web服务器、应用服务器、代理服务器、web服务器、或服务器群。
在一些方面中，服务器108被配置为执行计算机指令，以用与内容相关并被提供用于在辅助计算设备104上显示的补充项目来补充主计算设备102上的活动应用窗口的内容，。当用户在利用主计算设备102时，服务器108可以确定在主计算设备102上显示的活动应用窗口的内容，并基于所确定的活动应用窗口的内容来选择补充项目。在一个或多个实施方式中，服务器108可以定位与用户账户相关联的辅助计算设备104并确定辅助计算设备104位于主计算设备102附近(例如在其阈值距离内)。服务器108可以提供所选择的补充项目，以在辅助计算设备104上显示。
在一些方面中，包括主计算设备102、辅助计算设备104和计算设备110的计算设备可通过通信接口(未示出)以无线方式通信，该通信接口在必要时可包括数字信号处理电路。通信接口可以被提供用于在各种模式或协议下通信，该模式或协议例如全球移动通信系统(gsm)语音呼叫、短消息服务(sms)、增强型消息收发服务(ems)或多媒体消息收发服务(mms)消息收发、码分多址(cdma)、时分多址(tdma)、个人数字蜂窝(pdc)、宽带码分多址(wcdma)、cdma2000、或通用分组无线电系统(gprs)等等。例如，通信可通过射频收发器(未示出)进行。此外，例如可以使用蓝牙、近场通信(nfc)、wifi、或其他这样的收发器来进行短距离通信。
在一些方面中，网络环境100可以是跨越一个或多个网络(诸如例如网络106)的分布式客户端/服务器系统。网络106可以是连接任何数目的移动客户端、固定客户端和服务器的大型计算机网络，例如局域网(lan)、广域网(wan)、互联网、蜂窝网络、或其组合。此外，网络106可包括但不限于任何以下网络拓扑结构中的一个或多个，包括总线网络、星形网络、环形网络、网状网络、星形总线网络、树状或层级结构网络等等。在一些方面中，每个客户端(例如主计算设备102和辅助计算设备104)与服务器(例如服务器108)之间的通信可经由虚拟专用网络(vpn)、安全外壳(ssh)隧道或其他安全网络连接来发生。在一些方面中，网络106可以进一步包括公司网络(例如内联网)和一个或多个无线接入点。
图2示出根据本技术的各个方面，图示用于提供用于在辅助计算设备上显示的补充项目的示例过程200的流程图。过程200的步骤不需要按照所示顺序进行。应当理解，所描绘的顺序是一个或多个示例方法的图示，并且本技术并不意在限于所示的特定顺序或层级。可以重新布置这些步骤，和/或可以同时进行两个或更多步骤。下面参照图4和图5讨论图2。
在图2的框205中，在主计算设备102上显示的活动应用窗口的内容由服务器108确定，其中主计算设备102与用户账户相关联。活动应用窗口的内容可包括在操作期间可以在主计算设备102上的活动应用窗口中显示的文本、媒体内容、web内容、用户界面元素或任何其他信息。例如，用户可以在允许用户查看和编辑文本文档的基于云的文本编辑器或安装在主计算设备102上的文本编辑器中工作。主计算设备102可以显示与文本编辑器相关联的活动应用窗口，该活动应用窗口可包括与文本编辑器和/或由用户输入的文本相关联的用户界面元素。活动应用窗口的内容可包括用于与文本编辑器交互的用户界面元素(例如，用于打开或关闭文本编辑器的元素、用于编辑或格式化文本的元素等等)。来自用户的输入可包括由用户录入到文本编辑器中的字符，并且例如可以对应于文本文档的标题、文本文档的内容、文本文档的格式等等。
在一些方面中，用户可以在使用基于云的电子表格应用或安装在主计算设备102上的电子表格应用。主计算设备102可以显示包括与电子表格和/或用户录入的输入相关联的用户界面元素的活动应用窗口。活动应用窗口的内容可包括用于与电子表格应用交互的用户界面元素(例如，用于打开或关闭电子表格应用的元素、用户可用的公式等等)。来自用户的输入可包括用户录入电子表格应用中的一个或多个字符，并且例如可以对应于电子表格的标题、公式、单元格内容等等。
根据本技术的多个方面，在主计算设备102上显示的活动应用窗口可以与诸如电子邮件应用、web浏览器、社交网络等等的web服务或应用相关联。活动应用窗口的内容可包括与web服务和应用相关联的用户界面元素，诸如用于在web浏览器内导航的用户界面元素、用于准备、发送和阅读电子邮件的用户界面元素等等。来自用户的输入可包括录入到浏览器或电子邮件应用中的字符或命令，并且例如可以对应于搜索词项、导航命令、电子邮件内容等等。
如上所述，用户账户可以是用于访问各种web服务的基于云的用户账户。作为示例，用户可以登录主计算设备102上的基于云的用户账户，这使得服务器108能够与主计算设备102交互。例如通过在线门户或操作系统的登入过程，用户可以登录基于云的用户账户。在用户登录用户账户之后，用户可通过在主计算设备102上执行一个或多个应用来利用主计算设备102，其可以显示先前提到的活动应用窗口的任何内容。
在一个或多个实施方式中，主计算设备102上显示的活动应用窗口可以与web应用相关联。如上所述，与基于云的用户账户相关联的凭证可用于访问web应用。作为示例，用户可以在主计算设备102上运行web浏览器以查看web应用并与其交互。web应用可以由服务器108或单独的服务器托管。服务器108可通过周期性地访问托管web应用的服务器来确定主计算设备102上显示的活动应用窗口的内容。替选地，托管web应用的服务器可以在用户与web应用交互的任何时候或在接收预定数目的用户输入之后更新服务器108。
在一些方面中，主计算设备102上显示的活动应用窗口可以与主计算设备102上本地安装的应用相关联。当与主计算设备102上运行的应用相关联的窗口在与主计算设备102相关联的屏幕上可见，并且是用户可以与之交互的窗口或者是在主计算设备102的显示上处于焦点的窗口时，该应用可以被视为活动应用。活动应用可以经由应用编程接口将活动应用窗口的内容的一部分或全部传送给服务器108。服务器108可通过经由应用编程接口接收与活动应用相关联的活动应用窗口的内容来确定在主计算设备102上显示的活动应用窗口的内容。活动应用可以周期性地传送活动应用窗口的内容。替选地，每当用户与活动应用交互时或者在接收预定数目的用户输入之后，活动应用可以更新服务器108。
根据本技术的多个方面，主计算设备102可以对主计算设备102上显示的活动应用窗口或者主计算设备102的显示的一部分进行屏幕捕获，以获得与主计算设备102上显示的活动应用窗口相关联的位图数据。服务器108可通过接收主计算设备102上显示的活动应用窗口的位图数据来确定主计算设备102上显示的活动应用窗口的内容。服务器108可以使用光学字符识别来处理所接收的位图数据，例如以确定主计算设备102上显示的活动应用窗口的内容。在一些情况下，用户可以在主计算设备102上使用可以不向服务器108传送信息的应用。如果服务器108没有从主计算设备102上的活动应用接收信息，并且不能从托管web应用的服务器访问活动应用窗口的内容，则服务器108可以从主计算设备102上的操作系统请求位图数据。主计算设备102上的操作系统可将所请求的位图数据发送给服务器108，并且服务器108可通过光学字符识别将位图数据处理成用户可读文本。
应当理解，所显示的活动应用窗口的位图数据是通过示例而非限制的方式提供的，并且可以接收其他类型的数据。例如，主计算设备102上的操作系统或者在后台运行的应用可以处理主计算设备102上显示的活动应用窗口并将经过处理的数据发送给服务器108。
服务器108还可以在主计算设备102上显示的活动应用窗口的内容当中确定用户指示的内容。用户指示的内容可以是和用户与主计算设备102上显示的活动应用窗口之间的交互相关联的任何内容。例如，用户指示的内容可以是新的字符输入、链接的选择、最接近光标的显示的信息等等。服务器108可以周期性地访问主计算设备102上显示的活动应用窗口，并确定用户指示的内容。服务器108可以使用用户指示的内容来预测用户可能感兴趣的补充项目，并提供补充项目以在辅助计算设备104上显示。作为示例，用户可以在基于云的文本编辑器上键入报告。当用户键入报告时，服务器108可以访问与新用户输入相关联的文本编辑器中的改变，并且可以使用该改变来获得与文本编辑器中的改变相关的补充项目。在一些方面中，服务器108可以访问互联网上的用户活动。作为示例，用户可以选择主计算设备102上运行的浏览器中显示的网页中的链接，以导航到新的网页。服务器108可访问与新网页相关联的关键词项或新网页中的关键词项并获得与关键词项相关的补充项目。服务器108可以提供与要在辅助计算设备104上显示的关键词项相关的选择的补充项目。在一些方面中，服务器108可以接收在主计算设备102上显示的光标的位置并基于该光标位置来确定用户指示的内容。服务器108可将在主计算设备102上的活动应用窗口中显示的、在距光标位置的预定距离内的内容确定为用户指示的内容。本技术不限于确定用户指示的内容的这些示例。
在框210中，识别与用户账户相关联并位于主计算设备102附近的辅助计算设备。用户可具有多个计算设备，用户已经使用该多个计算设备登录并访问单个用户账户下的应用和服务。服务器108可以维护用户已经用来登录用户账户的计算设备的列表。该列表可以使用相应计算设备的标识符来索引，该标识符诸如mac地址、ip地址、设备标识符等等。列表可按照用户最近使用的顺序排列。
本技术提供用于在辅助计算设备上显示的补充项目，以补充和扩展用户对主计算设备上的活动应用窗口的体验。因此，与主计算设备的接近度是将与用户账户相关联的计算设备中的一个识别为用于本技术的辅助计算设备的因素。在一些实施方式中，确定计算设备相对于主计算设备102的位置的位置。服务器108可以从主计算设备102以及与用户账户相关联的其他计算设备请求位置信息(诸如gps坐标)。替选地，主计算设备102和/或其他计算设备可以以各种间隔向服务器108或服务器108可访问的另一个服务器报告它们相应的位置信息。该位置信息不限于gps坐标。例如，位置信息可以基于蜂窝网络塔三角测量、wi-fi网络标识符和位置等等。
服务器108可以基于位于主计算设备102的阈值距离内来对其他计算设备进行排名。在一些情况下，服务器108可能能够仅确定主计算设备102的位置，因为其他计算设备中的一个或多个例如可能缺少gps功能。服务器108可以使得主计算设备102通过使用短距离通信技术——诸如例如蓝牙或近场通信(nfc)——来确定任何其他计算设备的相对位置。响应于与其他计算设备的短程通信，服务器108可以基于从主计算设备102接收的数据来确定其他计算设备位于主计算设备102的阈值距离内。
服务器108可以选择位于主计算设备102的阈值距离内的其他计算设备中的一个。在一些方面中，阈值距离可以预定义，例如5英尺、10英尺等等。可将阈值距离定义为使得服务器108选择主计算设备102的用户可访问的计算设备。如果确定多个计算设备在阈值距离内，则服务器108可以基于当前收费水平、用户当前是否登录到计算设备上的用户账户、屏幕大小、第二多个计算设备中的每个计算设备的平均用户使用时间等等来选择其中一个计算设备。
在图2的框215中，选择与所确定的主计算设备102上显示的活动应用窗口的内容相关的补充项目。补充项目可以是与所确定的主计算设备102上显示的活动应用窗口的内容相关的任何项目。补充项目的意图补充在主计算设备102上显示的活动应用窗口的内容，并且例如可包括，基于所确定的主计算设备102上显示的活动应用窗口的内容的搜索查询的搜索结果、与用户对生成活动应用窗口的活动应用的使用相关的历史信息、对于从确定的内容得出的问题的基于web的答案或者本地存储的答案、与确定的内容中识别的联系人相关的社交图信息等等。作为示例，当用户在文本编辑器上键入报告时，补充项目可包括基于在主计算设备102上显示的文本编辑器的活动应用窗口的文本内容的搜索查询的一个或多个搜索结果。搜索查询可以基于在活动应用窗口中显示的文本内容的一部分，例如报告的标题、报告中最频繁或最近使用的单词或短语等等。在一些情况下，可以使用预测性搜索方法来提炼搜索结果。基于确定的内容的一部分，可以通过使用对一个或多个自动完成建议的搜索查询来提炼搜索结果。自动完成建议例如可以基于与用户账户相关联的搜索历史、搜索词项的流行度等等。
在一些实施方式中，补充项目可包括用户界面元素，以扩展在主计算设备102上运行的活动应用的用户界面。例如，用户界面元素或识别用户界面元素的指令可通过主计算设备102上的文本编辑器提供给服务器108。服务器108可以提供用户界面元素以用于在辅助计算设备104上显示。用户界面元素可以在辅助计算设备104上显示。
图4示出在主计算设备102上显示的活动应用窗口的内容以及在辅助计算设备104上显示的补充项目的示例。图4将活动应用窗口405示出为在主计算设备102的第一屏幕400上显示，并且将补充项目415示出为在辅助计算设备104的第二屏幕410上显示。如图所示，第一屏幕400正在显示活动应用窗口405，其包括这样的内容，诸如用户输入信息以及与文本编辑器相关联的用户界面元素。服务器108可以基于上述方法来确定主计算设备102上显示的活动应用窗口的内容，并且可通过对主计算设备102上显示的活动应用窗口的内容的一部分执行搜索查询来获得补充项目。服务器可以选择主计算设备102上显示的活动应用窗口的内容的一部分，诸如报告的标题，并基于报告的标题来执行搜索查询。服务器108可将基于搜索查询的搜索结果作为补充项目发送给辅助计算设备104以用于显示。服务器可以发送指向搜索结果的链接、搜索结果的片段等等。根据本技术的各个方面，第二屏幕410和补充项目415提供显示搜索结果的辅助计算设备104的示例。在一些方面中，服务器108可以基于报告中的使用频率来选择主计算设备102上显示的活动应用窗口的内容的一部分。替选地，服务器可以选择在主计算设备102上的活动应用窗口中显示的最新内容。内容的所选部分可用于获得补充项目，并且补充项目可以传输给辅助计算设备104以用于显示。
在一个或多个实施方式中，服务器108可基于用户与活动应用的历史活动来获得与确定的内容相关的补充项目。作为示例，用户可以在主计算设备102上的电子表格应用中用公式工作。图5示出在主计算设备102上显示的活动应用窗口以及以用户界面元素的形式在辅助计算设备104上显示的补充项目的示例。更具体而言，图5将活动应用窗口505示出为在主计算设备102的第一屏幕500上显示，并且将以用户界面元素515的形式的补充项目示出为在辅助计算设备104的第二屏幕510上显示。如图所示，第一屏幕500正在显示活动应用窗口505，其包含内容，该内容包括用户输入信息以及与电子表格应用相关联的用户界面元素。如果电子表格应用是web应用，则服务器108可通过从托管web应用的服务器访问最常用的公式来选择一个或多个补充项目。如果电子表格应用是在主计算设备102上运行的本地应用，则电子表格应用可以经由应用编程接口将最常用的公式发送给服务器108。根据本技术的各个方面，第二屏幕510和用户界面元素515提供了被提供用于在辅助计算设备104上显示的补充项目的示例，其中补充项目包括常用公式。在一些方面中，主计算设备102上的电子表格应用可以发送指令，以指定在辅助计算设备104上显示的内容。如上所述，指令可以指定用户界面元素或最常用的公式。
在一个或多个实施方式中，服务器108可通过将至少一部分内容用作用于在服务器108或辅助计算设备104上运行的应用的输入，来选择与所确定的活动应用窗口的内容相关的补充项目。作为示例，可以如上所述选择来自内容的一个或多个词项。可将一个或多个词项用作在服务器108上运行的词典应用上的输入，并且服务器108可将词典应用产生的一个或多个词项的定义提供给辅助计算设备104，作为补充项目以供显示。替选地，选择补充项目可包括：接收关于辅助计算设备104上的可用应用的信息。如果词典应用在辅助计算设备104上可用，则服务器108可以经由应用编程接口向辅助计算设备104提供所选择的一个或多个词项，以用作词典应用的输入。
在图2的框220中，将选择的补充项目提供用于在辅助计算设备上显示，其中辅助计算设备与用户账户相关联。作为示例，用户先前可能已经向辅助计算设备104注册用户账户或者登录到辅助计算设备104上的用户账户，这使得服务器108能够与辅助计算设备104交互。在一些方面中，在主计算设备102上显示活动应用窗口的同时，辅助设备104可以显示选择的补充项目，诸如搜索查询的搜索结果或者最常用的公式。因为补充项目的意图补充和扩展用户对主计算设备102上显示的活动应用窗口的内容的体验，所以当活动应用窗口关闭且应用终止时，可以不再在辅助计算设备104上显示补充项目。
可以在辅助计算设备104上安装并配置为与服务器108通信的应用中显示提供给辅助计算设备104的补充项目以支持本技术。应用可以是在主计算设备102上执行的与辅助计算设备104兼容的活动应用的版本。应用可以专门设计为传送和接收来自服务器108的补充项目，并且是与可以在主计算设备102上执行的各种不同的应用可兼容的。
图3示出根据本技术的各个方面，图示用于允许用户通过辅助计算设备104与在主计算设备102上运行的活动应用进行交互的示例过程300的流程图。过程300的步骤不需要按所示顺序进行。应当理解，所描绘的顺序是一个或多个示例方法的图示，并且本技术并不意在限于所呈现的特定顺序或层级。可以重新布置这些步骤，和/或可以同时进行两个或更多步骤。
下面参照图6讨论图3。图6示出在主计算设备102上显示的活动应用窗口以及在辅助计算设备104上显示的补充项目的示例。更具体而言，图6示出活动应用窗口605，其具有用户界面元素610以作为在主计算设备102的第一屏幕600上显示的活动应用窗口的内容。第二用户界面620包括作为选择的补充项目的用户界面元素630以及在辅助计算设备104的第二屏幕615上显示的用户输入625。
为了说明的目的，可以在过程200之后进行过程300。如上所述，主计算设备102上显示的活动应用窗口可以与主计算设备102上运行的活动应用相关联，并且由服务器108提供给辅助计算设备104的补充项目可包括与活动应用相关联的用户界面元素。
在图3的框305中，在辅助计算设备104上显示用户界面元素形式的补充项目。辅助计算设备104接收用户输入，并且辅助计算设备104可将与用户输入相关联的用户输入数据发送给服务器108。服务器108可以从辅助计算设备104接收用户输入数据，并将用户输入数据提供给主计算设备102。作为示例，用户可以在主计算设备102上打开聊天应用，其可以在第一屏幕600上显示关联的活动应用窗口605。服务器108可以确定在主计算设备102上显示的活动应用窗口的内容是聊天应用，并获得与聊天应用相关的补充项目。例如，补充项目可包括用于将聊天应用的用户界面扩展到辅助计算设备的用户界面元素或者识别用户界面元素的指令、用于在辅助计算设备上打开移动聊天应用的指令等等。服务器108可以提供所选择的补充项目，以在辅助计算设备104上显示。第二用户界面620是由辅助计算104显示的补充项目的示例。第二用户界面620可以与辅助计算设备104中的移动聊天应用相关联。可以打开移动聊天应用，并且可以显示用户界面元素620。用户界面元素620可以允许用户在辅助计算设备104上绘制表情符号，作为用户输入625。响应于接收并识别用户输入625，移动聊天应用可以显示用户界面元素630，该用户界面元素630示出与用户输入625最相似的表情符号。移动聊天应用可以经由应用编程接口将与所接收的用户输入625相关联的用户输入数据发送给服务器108。
在图3的框310中，将用户输入数据提供给主计算设备102。服务器108可将用户输入数据发送给主计算设备102作为对主动应用的输入，并且主计算设备102可将用户输入数据显示为与用户界面元素610一起可见。在一些方面中，可以在主计算设备102中打开与用户输入数据相关联的新应用，并且可将用户输入数据用作对新应用的输入。
在本文讨论的系统收集关于用户的个人信息或者可以利用个人信息的情形下，可以向用户提供机会来控制程序或特征是否收集用户信息(例如关于用户的社交网络、社交行为或活动、职业、用户偏好、或用户当前位置的信息)，或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容。此外，某些数据在被存储或使用之前可能会以一种或多种方式进行处理，从而去除个人可识别信息。例如，可以对用户的身份进行处理，使得无法对用户确定个人可识别信息，或者在获得位置信息的情况下可将用户的地理位置泛化(诸如至城市、邮政编码或州级)，使得无法确定用户的具体位置。因此，用户可以控制如何收集关于用户的信息并由内容服务器使用。
图7概念性地示出可以实现本技术的一些实施方式的示例电子系统。电子系统700可以是计算机、电话、pda或任何其他种类的电子设备。这样的电子系统包括用于各种类型的计算机可读介质和针对各种其他类型的计算机可读介质的接口。电子系统700包括总线708、处理器712、系统存储器704、只读存储器(rom)710、永久存储设备702、输入设备接口714、输出设备接口706和网络接口716。
总线708统一表示以通信方式连接电子系统700的多个内部设备的系统、外设和芯片组总线。例如，总线708以通信方式将处理器712与rom710、系统存储器704以及永久存储设备702相连接。
从这些不同的存储器单元中，处理器712检索要执行的指令和要处理的数据，以执行主题公开的过程。不同实施方式中处理单元可以是单个处理器或多核处理器。处理器712表示一个或多个处理器电路，处理器电路可包括各种逻辑门、寄存器、以及用于加载和执行指令序列的其他电路。处理器电路例如可以是通用集成电路处理器或专用集成电路(asic)处理器。
rom710存储处理单元712和电子系统的其他模块所需的静态数据和指令。另一方面，永久存储设备702是读写存储器设备。该设备是非易失性存储单元，其在电子系统700关闭时也存储指令和数据。本公开的一些实施方式使用大容量存储设备(例如磁盘或光盘及其对应的磁盘驱动器)作为永久存储设备702。
其他实施方式使用可移动存储设备(例如软盘、闪存驱动器及其对应的磁盘驱动器)作为永久存储设备702。与永久存储设备702类似，系统存储器704是读写存储器设备。但是，与存储设备702不同，系统存储器704是易失性读写存储器，诸如随机存取存储器。系统存储器704存储处理器在运行时需要的指令和数据中的一些。在一些实施方式中，本公开的过程被存储在系统存储器704、永久存储设备702、或rom710中。例如，根据一些实施方式，各个存储器单元包括用于显示网页、处理向网页的用户输入以及生成url的指令。处理单元712从这些各种存储器单元中检索要执行的指令和要处理的数据，以执行一些实施方式的过程。
总线708还连接到输入设备接口714和输出设备接口706。输入设备接口714使得用户能够向电子系统传送信息和选择命令。与输入设备接口714一起使用的输入设备例如包括字母数字键盘和指示设备(也称为“光标控制设备”)。输出设备接口706例如使得能够显示电子系统700生成的图像。与输出设备接口706一起使用的输出设备例如包括打印机和显示设备，例如阴极射线管(crt)或液晶显示器(lcd)。一些实施方式包括这样的设备，例如充当输入设备和输出设备两者的触摸屏。
最后如图7所示，总线708还通过网络接口716将电子系统700耦合到网络(未示出)。按照这种方式，计算机可以是计算机网络(例如局域网(lan)、广域网(wan)、或内联网、或网络的网络，例如互联网)的一部分，电子系统700的任何或全部组件可与本公开结合使用。
很多上述特征和应用被实现为软件进程，该软件进程被指定为记录在计算机可读存储介质(也称为计算机可读介质)上的指令集。当由一个或多个处理单元(例如一个或多个处理器、处理器的核或其他处理单元)执行这些指令时，它们使得处理单元进行指令中指示的动作。计算机可读介质的示例包括但不限于cd-rom、闪存驱动器、ram芯片、硬盘驱动器、eprom等等。计算机可读介质不包括载波以及通过无线方式或有线连接来传递的电子信号。
在本说明书中，术语“软件”意在包括驻留在只读存储器中的固件或存储在磁存储中的应用，它们可以被读入存储器以供处理器处理。此外，在一些实施方式中，可将本公开的多个软件方面实现为较大程序的子部分，同时保持主题公开的不同软件方面。在一些实施方式中，也可将多个软件方面实现为单独的程序。最后，共同实现这里所述软件方面的单独程序的任何组合均落入主题公开的范围。在一些实施方式中，在被安装为在一个或多个电子系统上操作时，软件程序限定执行和进行软件程序的操作的一个或多个特定机器实施方式。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以按照任何形式的编程语言来编写，包括编译或解释语言、声明或过程语言，并且它可以按照任何形式部署，包括作为独立程序或作为模块、组件、子程序、对象或适用于计算环境的其他单元。计算机程序可能但不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中、存储在专用于所讨论的程序的单个文件中、或者存储在多个协同文件中(例如存储一个或多个模块、子程序或部分代码的文件)。可将计算机程序部署为在一台计算机上或位于一个站点或跨多个站点分布并通过通信网络互连的多台计算机上执行。
上述这些功能可以在数字电子电路中、在计算机软件、固件或硬件中实现。这些技术可以使用一个或多个计算机程序产品来实现。可编程处理器和计算机可以包括在移动设备中，或者封装为移动设备。过程和逻辑流程可由一个或多个可编程处理器以及由一个或多个可编程逻辑电路来进行。通用和专用计算设备和存储设备可通过通信网络互连。
一些实施方式包括电子组件，例如微处理器、存储以及将计算机程序指令存储在机器可读介质或计算机可读介质(替选地称为计算机可读存储介质、机器可读介质或者机器可读存储介质)中的存储器。这样的计算机可读介质的一些示例包括ram、rom、只读压缩盘(cd-rom)、可记录压缩盘(cd-r)、可重写压缩盘(cd-rw)、只读数字通用压缩盘(例如dvd-rom、双层dvd-rom)、各种可记录/可重写dvd(例如dvd-ram、dvd-rw、dvd+rw等等)、闪存(例如sd卡、迷你sd卡、微型sd卡等等)、磁性或固态硬盘驱动器、只读和可刻录蓝光光盘、超密度光盘、任何其他光学或磁性介质、以及软盘。计算机可读介质可以存储计算机程序，该计算机程序可通过至少一个处理单元执行并包括用于进行各种操作的指令集。计算机程序或计算机代码的示例例如包括编译器产生的机器代码、以及包括更高级代码的文件，该更高级代码由计算机、电子组件或微处理器使用编译器执行。
虽然以上讨论主要涉及执行软件的微处理器或多核处理器，但是一些实施方式由一个或多个集成电路——例如专用集成电路(asic)或现场可编程门阵列(fpga)——进行。在一些实施方式中，这样的集成电路执行存储于电路本身的指令。
如同在本说明书和本申请的任何权利要求中使用的，术语“计算机”、“服务器”、“处理器”和“存储器”指代电子设备或其他技术设备。这些术语排除人或人群。为了说明的目的，术语显示意指在电子设备上显示。如同本说明书和本申请的任何权利要求中使用的，术语“计算机可读介质”完全限于以计算机可读形式存储信息的有形物理对象。这些术语排除任何无线信号、有线下载信号和任何其他短暂信号。
为了提供与用户的交互，本说明书中所述主题的实施方式可以在具有以下的计算机上实现：用于向用户显示信息的显示设备——例如阴极射线管(crt)或液晶显示器(lcd)监视器以及用户可以由其向计算机提供输入的键盘和指示设备——例如鼠标或轨迹球。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以按照任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可通过向用户使用的设备发送文档以及从设备接收文档来与用户交互；例如通过响应于从web浏览器接收的请求，将网页发送到用户的客户端设备上的web浏览器。
本说明书中所述主题的实施例可以在计算系统中实现，该计算系统包括后端组件——例如作为数据服务器，或者包括中间件组件——例如应用服务器，或者包括前端组件——例如具有用户通过其可与本说明书中所述主题的实施方式交互的图形用户界面或web浏览器的客户端计算机，或者包括一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的示例包括局域网(lan)和广域网(wan)、网间网络(例如互联网)和对等网络(例如adhoc对等网络)。
计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端与服务器之间的关系是通过在相应计算机上运行的计算机程序产生的，并且彼此具有客户端-服务器关系。在一些实施例中，服务器向客户端设备传输数据(例如html页面)(例如用于向与客户端设备交互的用户显示数据和从该用户接收用户输入的目的)。可以在服务器处从客户端设备接收在客户端设备处生成的数据(例如用户交互的结果)。
应当理解，所公开的过程中的步骤的任何特定顺序或层级都是示例方法的图示。基于设计偏好，应当理解，可以重新布置处理中的步骤的特定顺序或层级，或者进行所有示出的步骤。某些步骤可以同时进行。例如，在某些情形下，多任务和并行处理可能是有利的。此外，上述实施例中的各个系统组件的分离不应理解为在所有实施例中都需要这样的分离，并且应当理解，所述程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品。
提供之前的描述是为了使得本领域任何技术人员能够实践本文所述的各种方面。对于本领域技术人员来说，对这些方面的各种修改将是显而易见的，并且这里定义的一般原理可以应用于其他方面。因此，权利要求并非限于本文所示的方面，而是要符合与语言权利要求一致的全部范围，其中除非特别说明，以单数形式引用元素并非意图表示“一个且仅一个”，而是“一个或多个”。除非另外特别说明，否则术语“一些”指代一个或多个。男性代词(例如his)包括女性和中性(例如her和its)，反之亦然。标题和副标题(如果有)仅为方便而用，并不限制主题公开。
诸如“方面”的短语并不暗示这样的方面对本技术是必不可少的，或者这样的方面适用于本技术的所有配置。涉及一个方面的公开可以适用于所有配置或一个或多个配置。诸如方面的短语可以指代一个或多个方面，反之亦然。诸如“配置”的短语并不暗示这样的配置对于本技术是必不可少的，或者这样的配置适用于本技术的所有配置。涉及配置的公开可以适用于所有配置或一个或多个配置。诸如配置的短语可以指代一个或多个配置，反之亦然。