用于设备个性化的用户交互模式提取的制作方法

背景技术：

个体用户具有不同的方式来显示其设备上的应用和与其设备上的应用进行交互，并且他们的交互模型可以是动态的。虽然许多现有的设备允许用户进行定制以满足他们的个人需求，但是这样的定制通常是静态的。因此，用户典型地面临着为了跟上不断变化的需求而不断调整设备配置的需求。

该背景技术被提供以引入针对下面的

技术实现要素：
和具体实施方式的简要上下文。该背景技术并不旨在帮助确定所要求保护的主题的范围，也不被视为将所要求保护的主题限制在解决上述任何或所有缺点或问题的实现中。

发明内容

利用诸如智能电话、平板计算机、个人计算机（pc）、游戏控制台等设备可操作的上下文知晓个性化系统从使用遥测数据点生成的设备用户的行为和交互的图形中提取用户交互模式。遥测数据是从在设备上执行的所装配的应用、操作系统和其他组件挖掘的。将机器学习模式辨识算法应用于行为和交互图，以生成可包括活动的优先化列表的数据集。该列表用于自动实现本地设备的个性化和个人体验的优化，其针对用户进行剪裁，同时还使得能够挂起与较低优先级应用相关联的后台代理和进程，以预留诸如处理器周期、存储器、电池电力等设备资源，并提高设备性能。

在说明性示例中，个性化包括，在设备的用户界面（ui）上构成和再现开始屏幕，并在ui的锁定屏幕中放置反映优先化列表的定制的通知。可以根据诸如日子/时间、设备类型和位置以及其他因素之类的上下文来实现个性化，使得开始屏幕和锁定屏幕提供具有上下文相关性的信息和体验。用户与ui上的个性化控件和对象的交互本身可以被挖掘为遥测数据，并且用作具有模式辨识算法的良性环的一部分，在某些情况下其可以促进机器学习。

个性化系统还可以与在设备上可操作的数字助理一起操作，或者在一些情况下被并入到所述数字助理中。数字助理典型地使用语音对话与用户交互，并且可以提供各种服务并执行不同的任务。数字助理可以适于例如在与用户相适应并且上下文相关地执行任务、提供服务、提出建议等时挖掘遥测数据和/或使用交互模式数据集、上下文和其他信息。

提供本发明内容以便以简化形式介绍概念的选择，下面将在具体实施方式中进一步描述这些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。应当理解，上述主题可以被实现为计算机控制的装置、计算机进程、计算系统、或实现为诸如一个或多个计算机可读存储介质的制品。通过阅读以下具体实施方式并且查阅相关联的图，这些和各种其它特征将是显而易见的。

附图说明

图1示出了其中设备可以通过网络进行通信和交互的说明性计算环境；

图2示出了涉及可在设备上操作的数字助理的说明性交互；

图3示出了包括客户端和服务的说明性个性化系统；

图4示出了其中应用和操作系统被装配以用于与由个性化客户端暴露的应用编程接口进行交互的说明性布置；

图5示出了遥测数据类型的说明性纲要；

图6示出了机器学习算法在闭环配置中对遥测数据的应用；

图7示出了其中在工作日期间用户与设备上的各种应用进行交互的说明性使用场景；

图8、9、11和12示出了在设备显示器上暴露的说明性用户界面（ui）的屏幕截图；

图10示出了其中在工作之后用户与设备上的各种应用进行交互的另一说明性使用场景；

图13示出了包括数字助理组件和个性化客户端的说明性分层架构；

图14示出了针对数字助理的说明性输入和可由数字助理执行的一般功能的说明性分类；

图15、16和17示出了用户和数字助理之间的说明性接口；

图18描绘了涉及用户和数字助理的说明性使用场景；

图19、20和21示出了当实现用于设备个性化的当前用户交互模式提取时可以执行的说明性方法；

图22是可以部分地用于实现用于设备个性化的当前用户交互模式提取的诸如个人计算机（pc）之类的说明性计算机系统的简化框图；

图23示出了可以部分地用于实现用于设备个性化的当前用户交互模式提取的说明性设备的框图；

图24是说明性移动设备的框图；以及

图25是说明性多媒体控制台的框图。

在图中相同的附图标记表示相同的元件。除非另有说明，否则元件不是按比例绘制的。应强调的是，图中显示的特定ui可以随着根据特定实现的需求所显示的那样而改变。尽管在图中以纵向模式示出ui，但是也可以使用横向模式来实现本布置。

具体实施方式

图1示出了说明性环境100，其中各种用户105采用通过通信网络115进行通信的相应设备110。设备110在一些情况下可以支持语音电话能力，并且除了各种其他特征之外典型地还支持诸如因特网浏览和多媒体（例如，音乐、视频等）消费之类的数据消费应用。设备110可以包括例如用户装备、移动电话、蜂窝电话、特性电话、平板计算机和智能电话，用户经常将其用于发出和接收语音和/或多媒体（即视频）呼叫，参与消息传送（例如发短信）和电子邮件通信，使用采用数据的应用和访问服务，浏览万维网等。

然而，可替换类型的电子设备也可以被设想到可用在通信环境100内，只要它们配置有通信能力并且可以连接到通信网络115即可。这样的可替换设备不同地包括手持式计算设备、pda（个人数字助理）、便携式媒体播放器、使用头戴式受话器和耳机的设备（例如，蓝牙兼容设备）、平板手机设备（例如，组合智能电话/平板计算机）、可穿戴式计算机、诸如gps（全球定位系统）系统之类的导航设备、膝上型pc（个人计算机）、台式计算机、多媒体控制台、游戏系统等。在下面的讨论中，术语“设备”的使用旨在覆盖配置有通信能力并且能够连接到通信网络115的所有设备。

环境100中的各种设备110可以支持不同的特征、功能和能力（这里一般称为“特征”）。给定设备上支持的某些功能可以类似于其他设备上支持的功能，而其他特征可以是给定设备独有的。在各种设备110上支持的特征之间的重叠程度和/或独特性可以根据实现而变化。例如，一些设备110可以支持触摸控件、手势辨识和语音命令，而其他设备110可以允许更有限的ui。一些设备可以支持视频消费和因特网浏览，而其他设备可以支持更有限的媒体处置和网络接口特征。

如所示，设备110可以访问通信网络115以便实现各种用户体验。通信网络可以包括各种组合或子组合中的多种网络类型和网络基础设施中的任何一种，包括蜂窝网络、卫星网络、诸如wi-fi和以太网之类的ip（因特网协议）网络、公共交换电话网络（pstn）和/或诸如bluetooth®网络之类的短距离网络。可以例如由移动运营商、企业、因特网服务提供商（isp）、电话服务提供商、数据服务提供商等来支持网络基础设施。通信网络115典型地包括这样的接口，其支持到因特网120的连接，使得移动设备110可以访问由一个或多个内容提供商125提供的内容并且在一些情况下还可以访问服务提供商130。相应地，通信网络115典型地被允许支持各种类型的设备到设备通信，包括云上（over-the-top）通信，以及不利用常规电话号码以提供各方之间的连接的通信。

诸如腕带和其他可穿戴设备之类的附件设备114也可以存在于环境100中。这种附件设备114典型地适于使用像蓝牙那样的短距离通信协议与设备110互操作以支持功能，诸如，监视穿戴者的生理（例如，心率、迈出的步伐、燃烧的卡路里等，被称为“生物特征数据”）和环境状况（温度、湿度、紫外线（uv）水平等，被称为“环境数据”）以及显露来自耦合设备110的通知。

图2示出了如下面更详细描述的个性化布置的概述，其中设备110托管可以在独立的基础上或在一些情况下与数字助理210结合地操作的个性化客户端205。个性化客户端205典型地通过通信网络115与由远程服务提供商130支持的个性化服务215进行互操作。如图3中所示，客户端205和服务215形成个性化系统300，其被配置为提取与设备的用户交互的模式并提供个性化体验。

在典型的实现中，在相应的客户端和服务处利用本地和远程代码执行的混合。然而，在一些情况下，诸如其中到远程服务的连接受限或不可用的情况，本地代码执行可以基本上独立地用于执行设备个性化的提取和提供。本地和远程处理的特定分布通常可以是考虑了用于诸如处理能力、存储器、网络带宽、电力等资源的分配的各种适用要求而做出的设计选择。在一些实现中，可以配置设备以支持本地和远程处理的动态分布，以提供资源分配和用户体验的额外优化。

再次参照图2，个性化客户端205被配置为使得能够与可用于设备110的一个或多个应用240进行交互，以便遥测数据245可被挖掘并用于提取用户交互模式。在一些情况下，应用240可以是例如第三方应用，其中，应用作者、开发人员或提供者是与个性化系统和/或设备操作系统（os）的提供者不相同的实体。在用于设备个性化的当前用户交互模式提取的一些实现中也可以支持第一方应用。个性化服务215还可以支持与应用240的直接交互，如线250所指示。在一些情况下，也可以使用操作系统255挖掘遥测数据。在典型的实现中，在通知用户（即，关于为什么数据被收集以及由个性化系统提供的好处）并且得到用户的同意的情况下，在匿名的基础上执行数据挖掘。

如图4中所示，装配了给定设备上的应用240、os255和数字助理210，分别由附图标记405、410和415所指示。该装配使得能够通过由个性化客户端205暴露的api420进行交互以实施遥测数据挖掘。所挖掘的特定遥测数据可以因实现和应用而异。如图5中的纲要500所示，遥测数据245可以包括和/或标识设备id505；产品/应用510；活动515；活动状态520（例如活动的开始和结束）；活动持续时间525；日期/时间530；和其他数据535以满足特定实现的需求。应强调的是，图5中所示的特定遥测数据类型旨在说明而不是穷举。应进一步强调的是，遥测数据可以描述关联于与应用的用户交互的事件以及由应用自己的处理和逻辑导致的事件。因此，在一些情况下，个性化系统可以被配置为使用遥测数据来将本机应用行为与用户的行为模式进行比较和对比。

如图6中所示，在设备110上本地挖掘的遥测数据245由个性化系统300使用各种组件服务作为良性学习环605的一部分来处置。挖掘可以基本上连续地或基于周期来执行。遥测数据245可以被本地存储在设备110上并且被本地利用（例如，在实现本地用户交互模式提取和设备个性化的情况下）和/或通过网络115传送到远程服务215（图1）。

用户交互模式提取服务610将机器学习模式辨别算法应用于遥测数据，以使用例如聚类算法或概率朴素贝叶斯分类器（probabilisticnaivebayesclassifier）来确定结果的统计度量作为相关趋势。分别使用生成服务620和递送服务625，从所提取的用户交互模式生成用户交互模式数据集615，并且将其递送到本地设备110。

数据集615典型地包括本地个性化客户端205可以用于自动实现针对用户105的设备个性化的优先化活动的列表630。例如，设备ui上显示的开始屏幕和锁定屏幕可以被个性化以控制反映优先化活动的诸如应用启动控件和通知之类的对象的尺寸和/或放置（其示例在下面在伴随图8、9、11和12的文本中提供）。在可替换的实现中，服务215可以被配置为在相对较少的或没有本地客户端处理的情况下提供个性化。列表630还可以用于通过对于更低优先级活动、后台进程、应用等的挂起、减缓或停止的操作来分配设备资源。对于安装典型数量的应用的用户，存在这样的合理的可能性，即，一些应用不必要地消耗宝贵的资源，即使它们并非被主动使用。

良性学习环605可以被实现为动态过程。例如，用户与应用、os和个性化对象（诸如应用启动控件和通知）的交互可以被挖掘作为遥测数据的一部分，并往回反馈给服务215。这种反馈可用于使得能够进行用户交互模式数据集615和列表630的额外细化，以便优化用户的设备个性化和体验。还可以将新的或经修改的算法640引入到系统中以在一些情况下提供额外的细化和优化。

图7示出了其中在工作日期间用户105与设备110上的各种应用交互的说明性使用场景。在该示例中，在工作时，用户有规律地与其日历应用705、电话应用710、电子邮件应用715和地图应用720以及数字助理210进行交互。安装在用户设备上的其他应用730和735在工作期间获得相对少的使用或没有使用。从应用中的仪器收集的遥测数据使得个性化系统能够分析与相应应用相关联的活动，以便提取用户的交互模式，生成活动的优先化列表，并使用日期/时间戳将模式与日子和时间相关。

个性化系统可以采用用户交互模式数据集来剪裁设备上的设备个性化和用户体验。如图8中所示，在工作日小时期间，设备ui800可以被配置为在开始屏幕上示出对于较高优先级应用做得更突出并且对于较低优先级应用做得不太突出的应用启动控件。在该示例中，使用触敏图标（例如，贴片）实现启动控件，所述触敏图标对于日历、电话、地图和数字助理应用具有较大尺寸，而用于较低优先级应用的图标较小。除了针对具有不同优先级的应用不同地对图标定尺寸之外，图标的显示顺序也可以反映优先级。因此，例如，如所示，最常用的日历和电话应用图标705和710位于ui800的顶行中。

图9示出了显示个性化锁定屏幕的设备上的ui900。锁定屏幕通常在设备上被用作一种控制访问特征和功能并减少对于触摸屏控件的无意识输入和非故意访问的机会。用户经常可以使用手势或一些其他控制操纵来从锁定屏幕移动到开始屏幕。在一些情况下，使用口令来解锁设备。锁定屏幕典型地不示出应用图标，而是替代地提供基本信息，诸如日期和时间、应用通知、设备状态（诸如网络访问和电池状态（在可适用的情况下））等。

如所示，个性化锁定屏幕一目了然地向用户示出了其较高优先级的应用发生了什么。在该示例中，来自日历应用的用户的下一个约会910被示出在ui上的在时间和日期显示下的一个区域中。朝着ui的顶部显示示出了用户位置的实况动态更新的地图915。来自经常使用的较高优先级的电话和电子邮件应用的通知920示出在ui的底部，以分别指示例如新的语音邮件和电子邮件消息。

图10示出了其中在工作之后在家里用户105与设备110上的各种应用交互的另一说明性使用场景。在该示例中，在工作之后，用户有规律地与她的照片应用1005、即时消息传送应用1010、音乐应用1015和web浏览器应用1020进行交互。在工作之后，其他应用1030和1035获得用户105的相对少的使用。与图7中所示的示例一样，从应用中的仪器收集的遥测数据使得个性化系统能够分析与相应应用相关联的活动，以便提取用户的交互模式，生成活动的优先化列表，并使用日期/时间戳将模式与日子和时间相关。

如图11中所示，个性化系统可以采用用户交互模式数据集来使用针对开始屏幕的定制ui1100来剪裁设备个性化和用户体验。在工作之后，设备ui1100被配置为示出用于照片、消息传送、音乐和浏览器应用的较大尺寸的图标，同时使得用于较低优先级应用的图标更小。此外，最常用的照片应用图标1005位于ui1100的顶行中。

图12示出了在工作时间后为用户显示个性化锁定屏幕的设备上的ui1200。在该示例中，用户的朋友通过照片应用1005共享的三张新照片的缩略图1205被显示在ui的顶部。来自经常使用的、优先级较高的照片、消息传送和音乐应用的通知1220被示出在ui的底部，以指示例如新的共享照片、新的即时消息和新的共享歌曲。

用户交互模式不仅可以与日子和时间相关，而且可以与各种上下文数据相关。上下文数据可以包括例如用户的位置、语言、日程表、用户的偏好、其他人（例如，同事，朋友/家人等）的存在/不存在、所存储的联系人（在某些情况下包括，到本地用户或远程用户的社交图的链接，诸如由外部社交联网服务维护的那些社交图）、呼叫历史、消息传送历史、浏览历史、设备类型、设备能力、通信网络类型和/或其中提供的特征/功能、移动数据计划约束/限制、访问网络利用（例如，是否使用家庭网络或漫游/被访问的网络）、sim（订户标识模块）利用（例如，当给定设备上支持多个sim卡时）、与通信的其他方相关联的数据（例如他们的日程表、偏好等）等。

不同类型的上下文数据可以以各种组合使用，并且不是所有类型都需要在每个实现中使用。在说明性示例中，用户交互模式与上下文数据的相关性可以使得个性化系统能够标识不属于用户典型使用模式的一部分的一次性和/或特殊事件，诸如节日、婚礼、出生、假期、紧急情况等。对于循环性事件，比如生日和节日，系统可以为下一次发生提供设备个性化和用户体验。个性化系统还可以标识行为和交互模式，以区分针对用户生活（比如工作和个人生活）的不同方面的设备和体验个性化。例如，与用于个人呼叫的其他sim相比，系统可以标识出，用户对于用于工作的sim（例如，在双sim设备中）具有不同的电话交互。在本示例中，这种标识使得个性化系统能够剪裁适合于并且有助于不同上下文中的每一个上下文（无论是工作还是个人）的设备和表面体验。

在个性化设备或用户体验时，还可以存在雇主政策、成本、移动电话订阅条款、网络利用率（例如，漫游或家庭网络）以及在一些情况下可以考虑的其他因素/数据。例如，系统可以向用户建议在呼叫同事时利用工作sim/移动电话计划进行国际呼叫，因为这样的使用符合公司政策，并且关于用户的个人sim/移动电话计划的国际呼叫是比较昂贵的（例如，在用户呼叫计划的范围之外）。当确定设备正在被访问的网络上漫游并且用户不希望承担与被访问的网络的使用相关的成本时，该系统还可以选择性地禁用移动电话和数据功能，但可能除了用于到/来自某些联系人的一些呼叫/消息、在紧急情况期间等等之外。

当提取用户交互模式时，个性化系统可以使用其他人的存在或不存在。指示其他设备与用户设备的接近度的数据可以包括在遥测数据中，并且在生成用于个性化给定设备和用户体验的用户交互模式数据集615（图6）时使用。例如，个性化系统可以确定，用户在独自一人时典型地使用在设备上的特定应用，但是当配偶的设备在附近（即，在某个预定的距离阈值内）时交互的模式是不同的，或者与在处于较小群中或独自一人时的行为相比，朋友在处于较大群中时具有不同的行为。

在其他说明性示例中，用户与设备上的应用的交互可以与描述设备的位置和/或移动的上下文数据相关。当该设备在汽车中使用并通过诸如gps（全球定位系统）组件或加速度计之类的传感器检测到运动时，可以提取和分析与设备上的应用的用户交互模式。当在将来的实例中检测到运动时，系统可以确定用户再次驾驶汽车。在这种情况下，开始屏幕和锁定屏幕可以个性化，以示出地图应用或启动数字助理，来使用内部扬声器或音频端点设备（诸如有线或无线头戴式受话器、耳机等）大声朗读转弯方向。

现在给出附加的实现细节。图13示出了可以在给定设备110上实例化的说明性分层架构1300。架构1300典型地以软件实现，但是在一些情况下也可以利用软件、固件和/或硬件的组合。架构1300被布置成层并且包括应用层1305、os（操作系统）层1310和硬件层1315。硬件层1315提供由设备110用于其上面的各层的各种硬件（例如，输入和输出设备、联网和无线电硬件等）的抽象。在该说明性示例中，硬件层支持麦克风1320和音频端点1325，其可以包括例如设备的内部扬声器、有线或无线头戴式受话器/耳机、外部扬声器/设备等。

在该说明性示例中的应用层1305支持各种应用240（例如，web浏览器、地图应用、电子邮件应用、新闻应用等）以及个性化客户端205。应用通常使用本地执行代码来实现。然而，在一些情况下，这些应用可以依赖于由远程服务器或其他计算平台提供的服务和/或远程代码执行，比如由服务提供商130或其他基于云的资源支持的那些。虽然个性化客户端205在此被示为在应用层1305中实例化的组件，但是应当理解，给定应用提供的功能可以全部或部分地使用在os或硬件层中支持的组件来实现。

os层1310支持数字助理210和各种其他os组件1355。在典型的实现中，数字助理210可以与服务提供商130交互，如线1360所指示的那样。也就是说，在一些实现中，数字助理210可以部分地利用或完全利用在服务提供商130处支持的或者使用其他远程资源的远程代码执行。此外，它可以利用和/或与其他os组件1355（和/或在架构1300的其他层中被实例化的其他组件）进行交互，如可能被需要来实现本文所述的各种特征和功能那样。在一些实现中，由个性化客户端205支持的功能中的一些或全部功能可以被并入数字助理，如图13中的虚线矩形所示的那样。

图14示出了典型地可由数字助理210原生地或与应用240组合地支持的功能1400的说明性分类。对于数字助理210的输入典型地可以包括用户输入1405、来自内部源的数据1410和来自外部源的数据1415（其可以包括第三方内容1418）。例如，来自内部源的数据1410可以包括由设备上的gps组件或者某个其他知晓位置组件报告的设备110的当前位置。外部来源数据1415包括例如由诸如服务提供商130（图1）之类的外部系统、数据库、服务等提供的数据。各种输入可以单独使用或以各种组合使用，以使得数字助理210在其操作时能够利用上下文数据1420。之前在上面的伴随图12的文本中提供了上下文数据的示例。

如所示，功能1400说明性地包括与用户交互1425（例如通过语音辨识系统、自然语言ui和其他ui）；执行任务1430（例如，在用户的日历中记下约会、发送消息和电子邮件等）；提供服务1435（例如，回答来自用户的问题，绘制到目的地的方向的地图，设置警报，转发通知，阅读电子邮件、新闻、博客等）；聚集信息1440（例如，查找由用户请求的关于书或电影的信息，定位最近的意大利餐馆等）；操作设备1445（例如，设置偏好，调整屏幕亮度，打开和关闭诸如wi-fi和蓝牙之类的无线连接，与其他设备通信，控制智能器具等）；以及执行各种其他功能1450。功能的列表1400并不旨在是穷举的，并且数字助理210和/或应用240可以提供其他功能，如针对设备个性化的用户交互模式提取的特定实现可能需要的那样。

根据给定设备110所支持的特征和功能，用户典型地可以以多种方式与数字助理210交互。例如，如图15中所示，数字助理210可以暴露有形的用户接口1505，其使得用户105能够采用物理交互1510来支持设备110上的体验、特征和功能。这样的物理交互可以包括，使用比如触摸屏上的敲击、轻拍、拖动等基于触摸的输入等对诸如按钮、菜单、键盘等物理和/或虚拟的控件进行操纵。

如图16中所示，数字助理210可以采用具有ui的语音辨识系统1605，该ui可以从用户105取得语音输入1610。语音输入1610可用于调用设备110上的各种动作、特征和功能，提供输入到系统和应用等。在一些情况下，语音输入1610可以独立地用于支持特定用户体验，而在其他情况下，语音输入可以与其他非语音输入或诸如实现设备上的物理控制或在ui上实现的虚拟控制的那些输入或使用手势的那些输入（如下所述）之类的输入组合地使用。

数字助理210还可以采用具有如图17所示的ui的手势辨别系统1705。这里，系统1705可以感测由用户105执行的手势1710作为输入，以调用设备110上的各种动作、特征和功能，提供输入到系统和应用等。可以使用诸如光学感测、触摸感测、接近感测等各种技术来感测用户手势1710。在一些情况下，可以利用语音命令、手势和真实或虚拟控件的物理操纵的各种组合来与数字助理进行交互。在一些情况下，数字助理可以被自动调用和/或适应于作为响应对生物特征数据或环境数据进行操作。

因此，由于数字助理典型地保持对于设备状态和其他上下文的知晓，所以可以通过诸如用户输入、所接收到的通知或与生物特征的或环境的数据相关联的所检测到的事件之类的特定上下文来调用或控制它。例如，与用户安静地坐在室内时的情况相比，当生物特征的和环境的数据指示用户是活跃的并且在室外走来走去时，数字助理可以以特定的方式运转并且显露出适当的用户体验。如果用户看起来好像是有压力的或受到了困扰，则数字助理可能建议令人放松和平静的音乐选择。当数据指示用户打盹睡着了时，数字助理可以使设备音频静音，设置唤醒报警，并指示用户的在线状态为忙。

图18在用于设备个性化的当前用户交互模式提取的上下文中描绘了涉及用户105和在设备110上操作的数字助理210的说明性使用场景。在这个特定的示例中，用户以其名称“科尔塔纳”（cortana）来指代数字助理。当用户要求数字助理向其朋友发送消息时，数字助理知道——例如，从用户交互模式数据集中表达的先前交互和可用上下文中——用户典型地使用在这个时刻附近用消息传送的文本来与该特定朋友通信。利用该信息，数字助理响应于用户的请求，利用所期望的消息向所述朋友发出文本消息。数字助理使用音频ui对用户说话以确认其所采取的动作。稍后在对话中，当用户要求要向另一个朋友发送消息时，数字助理使用数据集和上下文知道，使用电子邮件与该人进行通信。在一些情况下，数字助理可以向用户做出关于要采取的动作步骤的建议并在采取动作之前等待来自用户的确认。

图19示出了可以在设备上执行的说明性方法1900的流程图。除非特别说明，否则流程图中所示的在所附文本中描述的方法或步骤不被约束为特定的顺序或次序。此外，方法或其步骤中的一些可以并行地发生或执行，并且并不是所有的方法或步骤都必须在给定的实现中执行，这取决于这种实现的要求，并且可以可选地利用一些方法或步骤。

在步骤1905中，使用例如在应用中实例化的仪器从一个或多个应用收集遥测数据。在步骤1910中，获得活动的优先化列表。在一些情况下可以周期性地获得经更新的列表。该列表由模式辨识方法生成，以从遥测数据中提取用户交互模式。在步骤1915中，响应于活动的优先化列表来个性化设备。在步骤1920中，对于与具有低于预定阈值的优先级的活动相关联的应用，挂起操作。在步骤1925中，优先化活动与日子/时间或上下文中的一个或多个相关（上文在伴随图12的文本中提供了上下文示例）。

图20是用于操作在设备上的数字助理的说明性方法2000的流程图。在步骤2005中，暴露数字助理以便通过监视用户行为和与设备的交互来维护设备用户的上下文知晓。在步骤2010中，使用上下文知晓并响应于从所监视的用户交互和行为生成的活动的优先化列表来执行任务或者提供服务。在步骤2015中，通过数字助理ui向用户显露对可能的动作和服务的建议。在步骤2020中，控制设备上的操作以最小化具有低于预定阈值的优先级的活动的资源利用。

在步骤2025中，通过控制在ui上的应用图标和通知的呈现来个性化设备。例如，开始屏幕和锁定屏幕可以如图8、9、11和12中所示的在所附文本中描述的那样个性化。在步骤2030中，可以基于一天中的时间、一周中的天、设备类型、设备位置，设备运动或其他上下文来修改应用图标和通知的呈现。在步骤2035中，可以根据包括网络访问和/或带宽的资源的可用性在设备上本地生成活动的优先化列表。

图21示出了可以由服务提供商（例如，图1中的服务提供商130）执行的说明性方法2100。在步骤2105中，服务与本地设备上的个性化客户端进行的互操作。在步骤2110中，通过网络获得遥测数据。在步骤2115中，将模式辨识过程应用于遥测数据以提取用户交互模式。在步骤2120中，通过转换模式辨识过程的结果来生成用户交互模式数据集。

在步骤2125中，将用户交互模式数据集提供给本地设备上的个性化客户端，用于个性化设备和分配资源。在步骤2130中，与个性化客户端实现良性学习环并且基于来自环的数据流来调整模式辨识过程和/或数据集。例如，在一些情况下，良性学习环可以有助于机器学习。如果适当的话，新的和/或经修改的模式辨识算法也可以被引入到个性化系统中。

图22是可以利用其实现用于设备个性化的当前用户交互模式提取的诸如pc、客户端机器或服务器之类的说明性计算机系统2200的简化框图。计算机系统2200包括处理器2205、系统存储器2211和将包括系统存储器2211的各种系统组件耦合到处理器2205的系统总线2214。系统总线2214可以是几种类型的总线结构中的任何一种，包括存储器总线或存储器控制器、外围总线或使用各种总线架构中的任一种的局部总线。系统存储器2211包括只读存储器（rom）2217和随机存取存储器（ram）2221。包含基本例程的基本输入/输出系统（bios）2225存储在rom2217中，所述基本例程有助于诸如在启动期间在计算机系统2200内的元件之间传输信息。计算机系统2200还可以包括用于从内部安置的硬盘（未示出）读取和写入内部安置的硬盘的硬盘驱动器2228、用于从可移除磁盘2233（例如，软盘）读取或写入可移除磁盘2233的磁盘驱动器2230和用于从诸如cd（紧致盘）、dvd（数字通用盘）或其他光学介质之类的可移除光盘2243读取或写入可移除光盘2243的光盘驱动器2238。硬盘驱动器2228、磁盘驱动器2230和光盘驱动器2238分别通过硬盘驱动器接口2246、磁盘驱动器接口2249和光学驱动器接口2252连接到系统总线2214。驱动器及其相关联的计算机可读存储介质为计算机系统2200提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。虽然该说明性示例包括硬盘、可移除磁盘2233、以及可移除光盘2243，但是也可以在用于设备个性化的当前用户交互模式提取的一些应用中使用可以存储可由计算机访问的数据的其它类型的计算机可读存储介质，诸如磁带盒、闪存卡、数字视频盘、数据盒、随机存取存储器（ram）、只读存储器（rom）等。此外，如本文所使用的，术语计算机可读存储介质包括媒体类型的一个或多个实例（例如，一个或多个磁盘、一个或多个cd等）。为了本说明书和权利要求书的目的，短语“计算机可读存储介质”及其变体不包括波、信号和/或其他暂时和/或无形通信介质。

许多程序模块可以存储在硬盘、磁盘2233、光盘2243、rom2217或ram2221上，包括操作系统2255、一个或多个应用程序2257、其他程序模块2260和程序数据2263。用户可以通过诸如键盘2266之类的输入设备和诸如鼠标之类的指示设备2268将命令和信息键入到计算机系统2200中。其他输入设备（未示出）可以包括麦克风、操纵杆、游戏垫、碟形卫星天线、扫描仪、轨迹球、触摸板、触摸屏、触敏设备、语音命令模块或设备、用户运动或用户手势捕获设备等。这些和其他输入设备通常通过耦合到系统总线2214的串行端口接口2271连接到处理器2205，但是可以通过诸如并行端口、游戏端口或通用串行总线（usb）之类的其他接口连接。监视器2273或其他类型的显示设备也经由诸如视频适配器2275之类的接口连接到系统总线2214。除了监视器2273之外，个人计算机典型地还包括其他外围输出设备（未示出），诸如扬声器和打印​​机。图22中所示的说明性示例还包括主机适配器2278、小型计算机系统接口（scsi）总线2283和连接到scsi总线2283的外部存储设备2276。

计算机系统2200可以在使用到一个或多个远程计算机（诸如远程计算机2288）的逻辑连接的联网环境中操作。远程计算机2288可以被选择为另一个个人计算机、服务器、路由器、网络pc、对等设备或其他公共网络节点，并且典型地包括上文相对于计算机系统2200描述的许多或所有元件，但是在图22中示出了仅单个代表性的远程存储器/存储设备2290。图22中描绘的逻辑连接包括局域网（lan）2293和广域网（wan）2295。这种联网环境通常部署在例如办公室、企业范围的计算机网络、内联网和因特网中。

当在lan联网环境中使用时，计算机系统2200通过网络接口或适配器2296连接到局域网2293。当在wan联网环境中使用时，计算机系统2200典型地包括宽带调制解调器2298、网络网关或用于通过诸如因特网之类的广域网2295建立通信的其他手段。可以是内部或外部的宽带调制解调器2298经由串行端口接口2271连接到系统总线2214。在联网环境中，与计算机系统2200有关的程序模块或其部分可以存储在远程存储器存储设备2290中。应注意，图22中所示的网络连接是说明性的，并且可以使用在计算机之间建立通信链路的其他手段，这取决于用于设备个性化的当前用户交互模式提取的应用的具体需求。

图23示出了设备的说明性架构2300，所述设备能够执行本文所述的用于提供用于设备个性化的当前用户交互模式提取的各种组件。因此，图23中所图示的架构2300示出了可以适用于服务器计算机、移动电话、pda、智能电话、台式计算机、上网本计算机、平板计算机、gps设备、游戏控制台和/或膝上型计算机的架构。架构2300可以用于执行本文呈现的组件的任何方面。

图23中所图示的架构2300包括cpu（中央处理单元）2302，包括ram2306和rom2308的系统存储器2304，以及将存储器2304耦合到cpu2302的系统总线2310。包含基本例程的基本输入/输出系统被存储在rom2308中，所述基本例程有助于在诸如启动期间在架构2300内的元件之间传输信息。架构2300还包括用于存储用于实现应用、文件系统和操作系统的软件代码或其他计算机执行的代码的大容量存储设备2312。

大容量存储设备2312通过连接到总线2310的大容量存储装置控制器（未示出）连接到cpu2302。大容量存储设备2312及其相关联的计算机可读存储介质为架构2300提供非易失性存储。

虽然本文包含的计算机可读存储介质的描述是指诸如硬盘或cd-rom驱动器之类的大容量存储设备，但是本领域技术人员应当理解，计算机可读存储介质可以是可由架构2300访问的任何可用存储介质。

作为示例而非限制，计算机可读存储介质可以包括以任何方法或技术实现的易失性和非易失性、可移除和不可移除介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。例如，计算机可读介质包括但不限于ram、rom、eprom（可擦除可编程只读存储器）、eeprom（电可擦除可编程只读存储器）、闪存或其他固态存储器技术，cd-rom、dvd、hd-dvd（高分辨率dvd）、蓝光或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备，或可用于存储所期望的信息并且可以由架构2300访问的任何其他介质。

根据各种实施例，架构2300可以通过网络操作在使用到远程计算机的逻辑连接的联网环境中。架构2300可以通过连接到总线2310的网络接口单元2316连接到网络。应当理解，网络接口单元2316也可以用于连接到其他类型的网络和远程计算机系统。架构2300还可以包括用于接收和处理来自包括键盘、鼠标或电子触笔（在图23中未示出）的许多其他设备的输入的输入/输出控制器2318。类似地，输入/输出控制器2318可以向显示屏幕、打印机或其他类型的输出设备（在图23中也未示出）提供输出。

应当理解，本文描述的软件组件可以在加载到cpu2302中并执行时将cpu2302和整个架构2300从通用计算系统转换为被定制来促进本文呈现的功能的专用计算系统。cpu2302可以由任何数量的晶体管或其它分立电路元件构成，所述晶体管或其它分立电路元件可以单独地或集体地表现出任何数量的状态。更具体地，cpu2302可以响应于包含在本文公开的软件模块内的可执行指令而作为有限状态机操作。这些计算机可执行指令可以通过指定cpu2302如何在状态之间转换从而转换构成cpu2302的晶体管或其它分立硬件元件，来转换cpu2302。

对本文中呈现的软件模块进行编码也可以转换本文呈现的计算机可读存储介质的物理结构。在本说明书的不同实现中，物理结构的具体转换可能取决于各种因素。这些因素的示例可以包括但不限于，用于实现计算机可读存储介质的技术，无论计算机可读存储介质被表征为主存储装置还是辅助存储装置等。例如，如果计算机可读存储介质被实现为基于半导体的存储器，则本文公开的软件可以通过转换半导体存储器的物理状态而被编码在计算机可读存储介质上。例如，软件可以转换构成半导体存储器的晶体管、电容器或其它分立电路元件的状态。该软件还可以转换这些组件的物理状态，以便在其上存储数据。

作为另一示例，本文公开的计算机可读存储介质可以使用磁性技术或光学技术来实现。在这样的实现中，当软件被编码在磁性介质或光学介质中时，本文呈现的软件可以转换磁介质或光学介质的物理状态。这些转换可以包括，改变给定磁性介质内特定位置的磁特性。这些转换还可以包括，改变给定光学介质内的特定位置的物理特征或特性以改变这些位置的光学特性。在不背离本说明书的范围和精神的情况下，物理介质的其他转换是可能的，其中，提供前述示例仅用于促进该讨论。

鉴于上述内容，应当理解，许多类型的物理转换发生在架构2300中，以便存储和执行本文呈现的软件组件。还应当理解，架构2300可以包括其他类型的计算设备，包括手持式计算机、嵌入式计算机系统、智能电话、pda和本领域技术人员已知的其他类型的计算设备。还应设想到，架构2300可以不包括图23中所示的所有组件，可以包括图23中未明确示出的其他组件，或者可以利用与图23中所示的架构完全不同的架构。

图24是一般在2402处示出的诸如移动电话或智能电话之类的包括各种可选的硬件和软件组件的说明性设备110的功能框图。移动设备中的任何组件2402可以与任何其他组件通信，但是为易于说明，并非所有的连接都示出。移动设备可以是各种计算设备（例如，蜂窝电话、智能电话、手持式计算机、pda等）中的任何一个或被并入其他设备或系统（例如，器具、汽车等）中，并且可以允许与诸如蜂窝或卫星网络之类的一个或多个移动通信网络2404进行无线双向通信。

所图示的设备110可以包括用于执行诸如信号编码、数据处理、输入/输出处理、电力控制和/或其他功能之类的任务的控制器或处理器2410（例如，信号处理器、微处理器、微控制器、asic（专用集成电路）或其他控制和处理逻辑电路）。操作系统2412可以控制组件2402（包括电力状态、上锁（above-lock）状态和下锁（below-lock）状态、数据保存状态）的分配和使用，并且提供对一个或多个应用程序2414的支持。应用程序可以包括常见的移动计算应用（例如，图像捕获应用、电子邮件应用、日历、联系人管理器、web浏览器、消息传送应用）或任何其他计算应用。

所图示出的设备110可以包括存储器2420。存储器2420可以包括不可移除存储器2422和/或可移除存储器2424。不可移除存储器2422可以包括ram、rom、闪存、硬盘或其他公知的存储器存储技术。可移除存储器2424可以包括在gsm（全球移动通信系统）系统中公知的闪存或订户身份模块（sim）卡或诸如“智能卡”之类的其他公知的存储器存储技术。存储器2420可以用于存储用于运行操作系统2412和应用程序2414的数据和/或代码。示例数据可以包括要经由一个或多个有线或无线网络发送到一个或多个网络服务器或其他设备和/或从其接收的网页、文本、图像、声音文件、视频数据或其他数据集。

存储器2420还可以被布置为或包括以任何方法或技术实现的一个或多个计算机可读存储介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。例如，计算机可读介质包括但不限于ram、rom、eprom、eeprom、闪存或其他固态存储器技术，cd-rom（紧凑盘rom）、dvd（数字通用盘）hd-dvd（高清晰度dvd）、蓝光或其他光存储装置，磁带盒、磁带、磁盘存储装置或其他磁性存储设备，或可用于存储所期望的信息并且可由设备110访问的任何其他介质。

存储器2420可以用于存储诸如国际移动订户身份（imsi）之类的订户标识符以及诸如国际移动装备标识符（imei）之类的装备标识符。这样的标识符可以被传送到网络服务器以标识用户和装备。设备110可以支持一个或多个输入设备2430；诸如触摸屏2432；用于实现用于语音辨识、语音命令等的语音输入的麦克风2434；照相机2436；物理键盘2438；轨迹球2440；和/或接近传感器2442；以及一个或多个输出设备2450，诸如扬声器2452和一个或多个显示器2454。在一些情况下也可以利用使用手势辨识的其他输入设备（未示出）。其他可能的输出设备（未示出）可以包括压电或触觉输出设备。一些设备可以服务多于一个的输入/输出功能。例如，触摸屏2432和显示器2454可以组合成单个输入/输出设备。

无线调制解调器2460可以耦合到天线（未示出），并且可以支持处理器2410和外部设备之间的双向通信，如本领域中所熟知的。调制解调器2460一般性地示出，并且可以包括用于与移动通信网络2404进行通信的蜂窝调制解调器和/或其他基于无线电的调制解调器（例如，蓝牙2464或wi-fi2462）。无线调制解调器2460典型地被配置为与一个或多个蜂窝网络通信，诸如用于单个蜂窝网络内、蜂窝网络之间，或者设备与公共交换电话网（pstn）之间的数据和语音通信的gsm网络。

该设备还可以包括至少一个输入/输出端口2480、电源2482、诸如gps接收器之类的卫星导航系统接收器2484、加速度计2486、陀螺仪（未示出）和/或物理连接器2490，其可以是usb端口、ieee1394（firewire（火线））端口和/或rs-232端口。所图示的组件2402不是必需的或全包含的，因为可以删除任何组件并且可以添加其他组件。

图25是多媒体控制台1104的说明性功能框图。多媒体控制台1104具有中央处理单元（cpu）2501，其具有级别1高速缓存器2502、级别2高速缓存器2504和闪速rom（只读存储器）2506。级别1高速缓存器2502和级别2高速缓存器2504临时存储数据，并因而减少存储器访问周期的数量，从而提高处理速度和吞吐量。cpu2501可以配置有多于一个的核，并且因此配置有附加级别1和级别2高速缓存器2502和2504。闪速rom2506可以存储在多媒体控制台1104上电时的引导过程的初始阶段期间加载的可执行代码。

图形处理单元（gpu）2508和视频编码器/视频编解码器（编码器/解码器）2514形成用于高速和高分辨率图形处理的视频处理流水线。数据通过总线从gpu2508运送到视频编码器/视频编解码器2514。视频处理流水线将数据输出到a/v（音频/视频）端口2540，以传送到电视或其他显示器。存储器控制器2510连接到gpu2508，以便于处理器访问各种类型的存储器2512，诸如但不限于ram。

多媒体控制台1104包括优选地在模块2518上实现的i/o控制器2520、系统管理控制器2522、音频处理单元2523、网络接口控制器2524、第一usb（通用串行总线）主机控制器2526、第二usb控制器2528和前面板i/o子配件2530。usb控制器2526和2528用作针对以下组件的主机：外围控制器2542（1）和2542（2）、无线适配器2548、和外部存储器设备2546（例如，闪存、外部cd/dvdrom驱动器、可移除介质等）。网络接口控制器2524和/或无线适配器2548提供对网络（例如，因特网、家庭网络等）的访问，并且可以是各种各样的各种有线或无线适配器组件中的任何一种，包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等。

提供系统存储器2543以存储在引导过程期间加载的应用数据。提供介质驱动器2544并且介质驱动器2544可以包括dvd/cd驱动器、硬驱动器或其他可移除介质驱动器等。介质驱动器2544可以在多媒体控制台1104的内部或外部。应用数据可以经由介质驱动器2544访问以供多媒体控制台1104执行，回放等。介质驱动器2544经由诸如串行ata总线之类的总线或其他高速连接（例如，ieee1394）而连接到i/o控制器2520。

系统管理控制器2522提供与确保多媒体控制台1104的可用性相关的各种服务功能。音频处理单元2523和音频编解码器2532形成具有高保真度和立体声处理的对应音频处理流水线。音频数据经由通信链路在音频处理单元2523和音频编解码器2532之间运送。音频处理管线将数据输出到a/v端口2540，以便由具有音频能力的外部音频播放器或设备再现。

前面板i/o子配件2530支持以下组件的功能：电力按钮2550和弹出按钮2552，以及暴露在多媒体控制台1104的外表面上的任何led（发光二极管）或其他指示器。系统电源模块2539向多媒体控制台1104的组件提供电力。风扇2538冷却多媒体控制台1104内的电路。

cpu2501、gpu2508、存储器控制器2510以及多媒体控制台1104内的各种其他组件通过一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线和使用各种总线架构中的任何一种的处理器或局部总线。作为示例，这种架构可以包括外围组件互连（pci）总线、pci-express总线等。

当多媒体控制台1104上电时，应用数据可以从系统存储器2543加载到存储器2512和/或高速缓存器2502和2504中并在cpu2501上执行。应用可以呈现图形用户界面，其在导航到多媒体控制台1104上可用的不同媒体类型时提供一致的用户体验。在操作中，介质驱动器2544内包含的应用和/或其他媒体可以从介质驱动器2544启动或播放，以向多媒体控制台1104提供额外的功能。

通过简单地将系统连接到电视或其他显示器，多媒体控制台1104可以作为独立系统来操作。在这种独立模式中，多媒体控制台1104允许一个或多个用户与系统进行交互，观看电影或听音乐。然而，在集成了通过网络接口控制器2524或无线适配器2548可用的宽带连接的情况下，多媒体控制台1104可进一步作为较大网络社区的参与者进行操作。

当多媒体控制台1104上电时，为多媒体控制台操作系统的系统使用预留一定量的硬件资源。这些资源可以包括存储器（例如16mb）、cpu和gpu周期（例如5％）、联网带宽（例如8kbps）等的预留。由于这些资源在系统引导时间处预留，所以从应用的角度，所保留的资源不存在。

具体地，存储器预留优选地足够大以包含启动内核、并发的系统应用和驱动器。cpu预留优选地是恒定的，使得如果系统应用未使用所保留的cpu使用，则空闲线程将占用任何未使用的周期。

关于gpu预留，通过使用gpu中断以调度代码来将弹出窗口再现为覆盖物，而显示由系统应用生成的轻量级消息（例如，弹出窗口）。覆盖物所需的内存量取决于覆盖物面积大小，并且覆盖物优选地随屏幕分辨率进行缩放。在并发系统应用使用全用户界面的情况下，优选地使用与应用分辨率无关的分辨率。可以使用定标器来设置该分辨率，使得消除了改变频率并导致tv重新同步的需要。

在多媒体控制台1104引导了并且系统资源被预留之后，并发系统应用执行以提供系统功能。系统功能被封装在在上述预留的系统资源内执行的一组系统应用中。操作系统内核标识作为系统应用线程的线程对比游戏应用线程。优选地，系统应用被调度以便在预定时间和间隔在cpu2501上运行，从而向应用提供一致的系统资源视图。调度是为了最小化在控制台上运行的游戏应用的高速缓存器破坏。

当并发系统应用需要音频时，由于时间灵敏度，音频处理相对于游戏应用被异步调度。当系统应用是活跃的时，（下述）多媒体控制台应用管理器控制游戏应用音频级别（例如静音、衰减）。

输入设备（例如，控制器2542（1）和2542（2））由游戏应用和系统应用共享。输入设备不是预留资源，而是要在系统应用和游戏应用之间切换，以使每个应用都具有设备的焦点。应用管理器优选地控制输入流的切换，而不知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。

用于设备个性化的当前用户交互模式提取的各种示例性实施例现在通过说明的方式呈现，并且不是作为所有实施例的穷举列表。一个示例包括设备，包括：一个或多个处理器；用于与所述设备的用户交互的用户界面（ui）；以及存储设备，其存储与一个或多个应用相关联的代码和计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：从所述一个或多个应用收集遥测数据，所述遥测数据至少描述与所述一个或多个应用的​​用户交互，获得与所述一个或多个应用相关联的活动的优先化列表，所述优先化列表是通过应用模式辨识方法生成的，以从所述遥测数据提取用户交互模式，响应于活动的优先化列表个性化所述设备，以及将与列表中具有低于预定阈值的优先级的活动相关联的应用的操作挂起。

在另一个示例中，设备还包括通过在ui上构成和再现屏幕来进行个性化，该屏幕使用响应于优先化列表而在ui上强调的用户可控对象，所述对象至少用作针对所述一个或多个应用的启动控件。在另一个示例中，设备还包括通过在ui上构成和再现锁定屏幕来进行个性化，锁定屏幕响应于优先化列表示出内容或通知。在另一个示例中，设备还包括响应于优先化列表操作在设备上的数字助理，数字助理操作包括，在ui上再现用户体验，该ui适于使用音频的用户交互。在另一示例中，设备还包括，响应于语音输入、手势输入或手动输入来配置数字助理，用于执行以下各项中的至少一个：共享联系人信息，共享存储的联系人，安排会议，查看用户日历，安排提醒，发出呼叫，操作设备，玩游戏，购买，记笔记，安排闹钟或唤醒提醒，发送消息，为更新而检查社交媒体，废弃网站，与搜索服务进行交互，共享或示出文件，发送到网站的链接或发送到资源的链接，数字助理还被配置为使用应用于遥测数据的一个或多个机器学习技术来实现所述执行。在另一个示例中，优先化列表与日子和时间相关联，并且设备还包括，响应于与日子和时间的相关性进行个性化。在另一个示例中，优先化列表与上下文数据相关，还包括响应于与上下文数据的相关性来个性化设备。在另一个示例中，上下文数据包括以下各项中的一个或多个：时间/日期、用户或设备的位置、语言、日程表、设备上安装的应用、用户偏好、用户行为、用户活动、存储的联系人、呼叫历史、消息传送历史、浏览历史、设备类型、设备能力或通信网络类型。在另一个示例中，该设备还包括，从远程服务获得活动的优先化列表。在另一个示例中，遥测数据描述以下各项中的一个或多个：设备、产品、应用、活动、活动状态、活动持续时间、日期或时间。

另一个示例包括在具有支持图形和音频并支持应用的用户界面（ui）的设备上操作数字助理的方法，所述方法包括：在所述设备上暴露所述数字助理，以便通过监视用户行为和与设备和应用的交互来收集遥测数据而维护设备用户的上下文知晓，数字助理还通过ui使用语音交互来与设备用户进行交互；响应于从所监视的用户行为和交互而生成的优先化活动列表，通过使用上下文知晓来执行任务或提供服务；以及控制所述设备的操作以管理具有低于预定阈值的优先级的活动的资源利用。

在另一个示例中，所述监视使用在应用、操作系统或数字助理中的一个中实例化的仪器，并且上下文知晓包括，标识与所监视的用户行为和交互相关联的一次性或非循环性事件。在另一个示例中，执行包括通过ui提供针对与其他设备的用户通信的方法的建议。在另一个示例中，该方法还包括，响应于从所监视的用户行为和交互生成的优先化活动列表以及使用上下文知晓，为用户个性化设备，使得i）与关联于相对更低优先级的活动的应用相比，与相对更高优先级的活动相关联的应用在ui上被强调，使用配置应用图标的尺寸或配置应用图标的显示顺序中的一项来实现应用强调，以及ii）与关联于相对更低的优先级的通知相比，与更高优先级的应用相关联的通知在ui上被强调，通过配置通知图标的显示顺序来实现通知强调。在另一个示例中，该方法还包括，基于一天中的时间、设备类型、设备位置或其他上下文来改变应用强调或通知强调。在另一个示例中，该方法还包括，根据包括网络带宽的设备资源的可用性在设备上本地生成优先化活动列表。

另外的示例包括存储指令的一个或多个计算机可读存储器设备，当由计算机服务器中布置的一个或多个处理器执行时，所述指令执行包括以下步骤的方法：与本地设备上的个性化客户端进行互操作，所述个性化客户端暴露用于在所述设备上可执行的一个或多个应用的应用编程接口（api），以从布置在所述一个或多个应用中的仪器收集遥测数据，所述遥测数据描述设备用户与所述一个或多个应用之间的交互；通过网络获得遥测数据；对遥测数据应用模式辨识过程以提取用户交互模式；通过转换模式辨识过程的结果而生成用户交互模式数据集；以及将用户交互模式数据集提供给本地设备上的个性化客户端，本地设备使用用户交互模式数据集来为用户个性化设备并分配在设备上的资源。

在另一个示例中，一个或多个计算机可读存储器设备还包括，利用个性化客户端实现良性学习环，并且基于从良性学习环接收的数据流迭代地生成或调整用户交互模式数据集或模式辨识过程。在另一个示例中，一个或多个计算机可读存储器设备还包括配置模式辨识过程以利用聚类算法或朴素贝叶斯分类器之一。在另一个示例中，个性化包括，根据由用户交互模式数据集建立的优先级来显示应用图标或通知。

基于上述内容，应当理解，本文已经公开了用于设备个性化的用户交互模式提取的技术。尽管已经以特定于计算机结构特征、方法学和转换性动作、特定计算机器和计算机可读存储介质的语言描述了本文所呈现的主题，但是应当理解，在所附权利要求中限定的本发明不一定限于本文描述的特定特征、动作或介质。相反，特定特征、动作和介质被公开为实现权利要求的示例形式。

上述主题仅通过说明的方式提供，而不应被解释为限制性的。在不背离本发明的真实精神和范围的情况下，可以对本文所描述的主题做出各种修改和改变，而不需要遵循所图示和所描述的示例实施例和应用，其在下面的权利要求中阐述。