一种用于移动终端的推荐方法及装置与流程

本发明涉及信息技术领域，尤其涉及一种用于移动终端的推荐方法及装置。

背景技术：

如今，移动应用程序(APP)在人们的日常生活中占据了很重要的地位。通常平均每个用户的移动设备上大约安装有65个应用程序。用户每天大约花费94分钟的时间在应用程序的使用上，已超过上网的时间。然而，实际上平均每个用户每周只运行15个应用程序，大部分安装的应用程序的使用频率很少。造成这种差异的原因有以下几个方面：首先，用户可能在表达他们的需求时遇到了重大困难；此外，在大多数情况下，当用户试图使用一个不常见的或很少被使用的应用程序功能，可能会遇到困难。在某种程度上，这是由于应用程序的开发者继续在现有的应用程序中添加更多的功能和内容，却没有简化它们。此外，应用程序的开发人员通常无法设计应用程序的同时配以适应用户行为的接口和功能或建立一个系统自适应大多数用户的行为。在大多数情况下，应用程序的利润与其使用频率成正比。因此，随着复杂性的增加可能会导致该应用程序使用频率的下降，从而导致利润减少。

在这种背景下，根据现有技术，通过预测用户在移动终端的下一步操作，再利用应用程序上提供的服务去匹配用户的需求可以缓解上述问题。本发明所公开方法和系统是针对解决上述一个或多个问题以及其他问题。

技术实现要素：

本发明一方面公开了用于移动终端的推荐方法。所述方法包括：

收集显示在移动终端屏幕上的文本信息；识别屏幕上的一个或多个焦点；收集移动终端的情景信息；根据文本信息、焦点以及情景信息，向用户推荐一个或多个兴趣点；以及根据用户选择的一个或多个兴趣点，推荐一项或多项内容给用户，所述内容至少包括一个应用程序内容和应用程序功能。

本发明另一个方面公开了一种用于包括显示器的移动终端的推荐装置。所述装置包括：兴趣点识别器，用于收集显示在移动终端屏幕上的文本信息；用户焦点识别器，用于识别屏幕上的一个或多个焦点；情景识别器，用于收集移动终端的情景信息；基于焦点的模拟模块，用于根据文本信息、焦点以及情景信息，向用户推荐一个或多个兴趣点；以及搜索和推荐引擎，用于根据用户选择的一个或多个兴趣点，推荐一项或多项内容给用户，所述内容至少包括一个应用程序内容和应用程序功能。

附图说明

为便于对实施例理解，结合附图对实施例进行描述，仅用于解释本发明，而不能解释为对本发明的限制。

1:图1为本发明实施例操作环境的示意图。

2:图2为本发明实施例计算系统的框图。

3：图3为本发明实施例基于焦点推荐系统的系统架构图。

4:图4为本发明实施例基于焦点推荐过程的流程图。

5:图5为本发明实施例焦点增强型条件随机域模型的示意图。

6:图6为本发明实施例搜索推荐引擎的示意图。

7：图7为本发明实施例基于焦点推荐系统的操作示意图。

8:图8为图7的显示界面示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。除非另外指出，在各图中相同的参考数字用于相同的部件。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1显示的是本发明实施例的操作环境100。如图1所示，操作环境100包括终端102、服务器104，网络106。用户108运行终端102访问网络106以获得服务器104上提供的特定服务。虽然环境100中只显示一台服务器104和一个终端102，但是可以包括任意数量的102终端或服务器104，且其他设备也可能包括在内。

网络106可以包括任何合适类型的通信网络以提供连接到一个或多个终端102和服务器104的网络连接。例如，网络106可以包括有线或无线的互联网或其他类型的计算机网络或电信网络。

所述终端可以指任何合适的具备某些计算功能的用户终端，例如个人电脑(PC)、计算机工作站，服务器电脑，便携式计算设备(平板电脑)，智能电话或手机，或任何其他用户端计算设备。在实施例中，终端102可以是一个无线终端，如智能手机、平板电脑或移动电话等。

终端(如终端102)可以包括一个或多个客户端。该客户端可以包括任何合适的应用软件、硬件、应用软件和硬件的结合以实现一定的客户端功能。例如，客户端可以是一个应用程序，如浏览器应用程序，地图应用程序，购物应用程序，社交网络服务应用程序，短讯功能应用程序，服务/商户评价应用程序等。此外，一个应用程序可以包含不同的内容和不同的应用功能来提供相应的服务。

所述服务器是指用于提供一定网络服务器功能以支持特定服务的一个或多个服务器。这样的服务，例如信息搜索服务，需要用户在访问服务器之前，进行服务器认证来获得。网络服务器可以包括一个或多个处理器以并行执行计算机程序。服务器可以支持由一个或多个客户端在终端102提供的各种功能。

终端102或服务器104可以在任何合适的运算平台上实现。图2显示的是本发明实施例中运行终端102和/或服务器104的计算系统200的框图。

如图2所示，计算系统200包括处理器202，存储介质204，显示器206，通信模块208，数据库210及外围设备212。其中某些设备可被省略，也可以包括其他设备。

处理器202可以包括任何数量的合适的处理器。此外，处理器202可以包括用于多线程或并行处理的多个核心。处理器202执行计算机程序指令序列以实现各种流程。存储介质204包括内存模块，比如ROM、RAM、闪存模块和可擦可重写内存，以及大容量存储器，比如CD–ROM，U盘，以及硬盘等。存储介质204可以存储由处理器202执行时，实现各种步骤的计算机程序。

此外，通信模块208包括网络设备，用于通过网络106建立连接。数据库210包括一个或多个数据库，用于存储特定数据，并在存储的数据上执行特定的操作，比如数据库搜索。

显示器206包括任何合适类型的计算机显示设备或电子设备显示器(如基于设备的CRT、LCD，触摸屏)。当显示器206是触摸屏的时候，用户手势或手写笔执行的动作可以被追踪和记录。外围设备212包括各种传感器和其他输入/输出设备，比如摄像头、运动传感器(如加速度计、陀螺仪)，环境传感器(如环境光传感器，温度和湿度传感器)和位置传感器(如距离传感器、定位传感器、磁强计)。此外，外围设备212可以应用眼球追踪技术来追踪用户在显示器206上的焦点。

操作过程中，当用户102使用终端时，终端102会预测用户的意图，然后执行下一步可能的行动。例如，一旦用户的意图被确定为“找到一个餐厅”，终端102可以基于推荐系统提前预加载并准备相关的应用程序以供用户选择。

推荐系统同时利用显示在手机(如终端102)屏幕上的文本信息和用户与移动终端之间的互动信息。具体的，在此使用兴趣点(Point-of-Interest)这样的术语表示实时显示在手机屏幕上的名字实体。例如，名字实体可以是一家餐厅的名字。不同的兴趣点可以代表不同的用户意图，而每个兴趣点也可以对应用户进一步执行的不同应用功能。

在本发明实施例中，推荐系统可以利用用户在手机屏幕上的焦点位置判断用户的意图。该焦点可以是用户手势的触摸点或眼球追踪系统获取的注视点。因此，手机屏幕上焦点的坐标信息可以被利用来加强条件随机场模型在判断哪些兴趣点代表用户意图中的作用。

图3显示的是基于焦点推荐系统300的系统架构。推荐系统300可以应用于包括显示屏的终端(如终端102)和/或连接到终端的服务器(如服务器106)。如图3所示，推荐系统300包括兴趣点(POI)识别器302，用户焦点识别器304，情景识别器306，焦点增强型条件随机域(FPCRF)模型模块308，以及搜索推荐引擎310。其中某些组件可被省略，也可以添加其他组件。

兴趣点识别器302用于从最近(如在过去的几分钟)显示在手机屏幕上对应坐标的文本信息中找出兴趣点。兴趣点识别器302可以从显示文本中划分兴趣点。在移动终端被预定义的字典可用于划分兴趣点。预定义的字典包括能够表示用户兴趣的单词和短语。在本发明实施例中，当显示文本中的单词与字典里的单词相匹配时，兴趣点就可以被识别。具体的，当划分兴趣点时，兴趣点识别器只能从文本数据中提取名词。其他无关的词或短语会被排除在外。兴趣点识别器302可以通过自动选择表示用户兴趣的单词或短语以减少无关的信息。划分出的候选单词(即兴趣点)被传递给焦点增强型条件随机域模型模块308。

在一个实施例中，当屏幕亮着时(如用户正在使用移动终端)，兴趣点识别器302可以在一个预定义的时间间隔内(如每秒钟)处理在手机屏幕上经常出现的文本信息。例如，第一秒时，兴趣点识别器302划分出来自于本秒显示的文本信息中的第一组5个候选兴趣点。下一秒，兴趣点识别器302划分来自于本秒显示的文本信息中的第二组3候选人兴趣点。候选兴趣点被保存在一个基于堆栈的缓冲区。

在另一个实施例中，当当前屏幕变化时，兴趣点识别器302可以处理手机屏幕上的文本信息。例如，在前一个屏幕中，用户在使用短信应用程序发信息。兴趣点识别器302可以从消息传递屏幕中提取一组候选兴趣点。在当前屏幕上，用户在浏览器应用程序上浏览新闻。兴趣点识别器302可以从浏览器屏幕提取另一组候选兴趣点。候选兴趣点被保存在一个基于堆栈的缓冲区。

用户焦点识别器304用于在手机屏幕上通过用户和移动终端之间的互动找到焦点的位置。焦点可以以不同的方式检测，包括人类在移动终端的操作手势，如点击，手势，抓，摇，敲，或者眼部注视跟踪系统。此外，用户焦点识别器304可以发送识别的焦点位置到焦点增强型条件随机域模型模块308。

情景识别器306用于通过移动终端上的传感器收集相关信息。情景信息包括，例如，时间，地点等。情景信息可以有助于消除有歧义的用户意图。情景识别器306将收集到的情景信息发送到焦点增强型条件随机域模型308。

此外，条件随机域模型可以应用于模拟移动终端上短期用户的兴趣。条件随机域模型可以分析用户情景，用户配置文件和兴趣点信息。在实施例中，条件随机域模型可以成为焦点增强型条件随机域(FPCRF)模型。

焦点增强型条件随机域模型模块308用于识别不同用户情境下的兴趣点和通过权衡来自于其他模块的多模型信息来推荐兴趣点(如兴趣点识别器302，用户焦点识别器304，情景识别器306等)。即，利用显示在屏幕上的兴趣点信息将手机屏幕上的焦点情景化，可以表示用户的兴趣信息。例如，如果用户对去饭店吃饭感兴趣，其会注视在手机屏幕上的饭店名字周围的位置。

用户配置文件3082用于存储用户设置，偏好和用户历史，如浏览历史，应用程序使用，之前选择的兴趣点，最喜欢的应用程序，常用的应用程序功能等等。此外，根据从其他模块收集的信息和与用户配置文件3082相关的信息，焦点增强型条件随机域模型模块308可以应用条件随机域模型来预测最可能代表用户兴趣的一个或多个兴趣点。在一些实施例中，最靠前的兴趣点会出现在手机屏幕上以供用户选择。在一些实施例中，焦点增强型条件随机域模型模块308会自动选择一个或多个靠前的兴趣点。被选中的兴趣点会被发送到搜索推荐引擎310。

搜索和推荐引擎310用于搜索最新的内容和/或功能。这样的内容或功能与基于用户的历史信息(如保存在用户配置文件3082的信息)进行个性化推荐时获得的兴趣点相关。在某些实施例中，搜索推荐引擎310使用云服务在线数据库中进行搜索。此外，搜索推荐引擎310提供一个列表(如应用程序/内容列表312)，用于推荐基于用户兴趣获得的兴趣点最相关的应用程序功能和应用程序内容。应用程序功能/内容列表312是一个排序列表，最相关的应用程序功能或应用程序内容位于列表的顶部。

在操作过程中，用户在查看手机屏幕上的文本信息时，移动终端上的推荐系统300收集文本数据，通过兴趣点识别器302提取兴趣点。用户焦点识别器304收集用户的焦点，情景识别器306从移动终端上的传感器上收集情景信息。此外，焦点增强型条件随机域模型模块308处理提取的兴趣点，收集的重点和情景信息并根据用户兴趣排名兴趣点。搜索推荐引擎310根据由焦点增强型条件随机域模型模块308提供的最佳兴趣点可以实现个性化推荐。个性化推荐包括应用程序排名列表中提供的应用程序内容和应用程序功能。

在本发明实施例中，推荐系统300能够自动推断当前操作移动终端的用户的兴趣，并预测用户是否对出现在手机屏幕上的兴趣点感兴趣。根据预测，手机终端可以自动调整兴趣点的显示策略。即，在向用户展示兴趣点之前，推荐系统300评估哪个兴趣点代表当前用户的兴趣。进一步的，判断用户对兴趣点感兴趣的方式可以使移动终端提前准备相关的应用程序。

图4显示的是本发明实施例中基于焦点推荐过程的流程图。如图4所示，移动终端(如终端102)暗中在预定的时间间隔中收集用户的文本数据，比如每一分钟。文本数据包括显示在手机屏幕上的文本。时间间隔可以根据不同的设备和移动终端的电池电量进行配置。从用户文本数据中检测候选兴趣点和其相应的坐标，并存储在基于堆栈的缓冲区(S402)。

当用户与移动终端通过手势、眼睛注视跟踪系统等进行互动时，移动终端可以确定移动终端显示屏焦点的位置信息(S404)。此外，收集情景信息，如当前时间和移动终端的位置(S406)。

具体的，检测到的候选兴趣点和其坐标信息，焦点的坐标，情景信息会被发送到一个焦点增强型条件随机域(FPCRF)模型。焦点增强型条件随机域模型将基于兴趣点、焦点、情景信息以及用户配置文件之间的坐标距离从缓冲区重新排名兴趣点(S408)。

具体地，在一个实施例中，预测用户兴趣的兴趣点的问题可以通过公式表示。在时间T内，用户行为的第一个i兴趣点表示为P(P₁，…，P_i)。第一个i兴趣点可以用于训练。例如，在时间T内，从以前的屏幕中检测到第一个i兴趣点。移动终端上与第i个兴趣点有关的用户情景信息包括位置l_i和时间t_i。第m个候选兴趣点的坐标可以表示为(x_m，y_m)。候选焦点(从手指触摸，眼球追踪等获得的)的坐标可以表示为(x_f，y_f)。模型的目标是预测用户是否点击从当前屏幕文本中提取的兴趣点P_i+1，…，P_m中的其中一个。从不同的来源中捕获的各种类型的信息被表示为焦点增强型条件随机域模型中不同的特征，包括兴趣点的位置、焦点的位置、情景信息，当前正在运行的应用程序，以前选定的兴趣点等。捕获的信息和相应的特征表示在接下来的段落中将详细解释。

为提取手机屏幕上隐藏在用户焦点(如手指触摸)中的信息，可以用欧几里得距离来衡量屏幕上手指触摸点(x_f，y_f)和兴趣点位置(x_i，y_i)之间的距离以代表用户对当前兴趣点的兴趣。然后，对该距离值基于不同的手机屏幕大小进行归一化。归一化后的欧几里得距离根据方程(1)进行计算。

$d(f,i)=\frac{1}{Normalizer}\sqrt{{(x_f-x_i)}^2+{(y_f-y_i)}^2}---\left(1\right)$

情景特征包括从移动终端收集的当前位置、时间、日期和电池电量。情景数据进行离散化，从而转化为离散值。例如，位置数据可被归类为主要的位置分类，比如家，工作，外面。时间数据可被归类为早上，中午，下午和晚上。日期信息可以被归类为工作日和周末。电池电量可以通过平均分配的10个等级表示。

此外，目前运行在移动终端上的应用程序表示了用户的下一步的需求。因此，当前运行在移动终端上的应用程序的描述可被利用。这些特征可被表示成词袋。此外，之前兴趣点的点击信息可以作为二元特征的一部分。

图5显示的是本发明实施例中的焦点增强型条件随机域模型的建模过程。具体的，条件概率被定义为隐藏状态502在特定的兴趣点观测序列504下的概率。隐藏状态502包括R和N,分别对应于“用户感兴趣”和“用户不感兴趣”。兴趣点观测序列504包括但不限于焦点和兴趣点之间的归一化欧几里得距离，情景特征(如地点、时间、日期和电池电量)、当前正在运行的应用程序的特征(没有显示)。

在训练阶段，基于某个兴趣点是否在过去被点击过，隐藏状态决定是否分配给这个兴趣点。在预测阶段，给定一个被分类兴趣点的观测序列(包括情景功能和互动功能)，模型将恢复标签序列(即隐藏状态)使观测序列的条件概率最大化。此外，被预测到的处于R状态的兴趣点将被输出，并显示在移动终端的屏幕上。

请继续参阅图4，当用户选择一个或多个兴趣点时，根据所选的兴趣点和用户的情景信息，移动终端可以根据应用程序的内容、功能进行个性化搜索和推荐(S410)。特别地，搜索推荐引擎(如搜索推荐引擎310)可以根据选定的兴趣点和用户配置文件来确认应用程序或应用程序功能。

图6显示的是本发明实施例中的搜索推荐引擎。接收到被选中的兴趣点之后，搜索推荐引擎310将检索与来自于应用程序数据库的每个兴趣点相关的应用程序和/或功能。应用程序数据库包括大量的应用程序和功能，和与应用程序和功能相应的描述和评论。基于相应的描述和评论，搜索推荐引擎310将排列检索到的应用程序和/或功能。此外，排名后的应用程序/内容列表与可能输出的每个选定的兴趣点相关联。

在某些实施例中，计算查询可能性(QL)得分来生成一个相关应用程序和/或功能的排名列表。特别地，对于每一个应用程序，相应的描述和用户评论被预处理生成为词袋。设每个兴趣点为poi，包含在兴趣点中的单词为w，应用程序/功能为d，关于兴趣点p的应用程序/功能QL得分可用算式(2)进行计算。

SCORE(poi，d)＝∏_w∈poip(w|d)＝∏_w∈poi(1-μ)p_ml(w|d)+μp(w|D) (2)

在算式(2)中，D表示应用程序词料库。p_ml(w|d)和p(w|D)通过最大似然估计值进行估计(MLE)。μ代表平滑参数。在一些实施例中，可以使用Jelinek Mercer平滑法来计算平滑参数μ。

继续参阅图4，当用户选择某项应用程序内容或功能时，将下一个可能的执行步骤在移动终端上展示(S412)。同时，用户的选择可用于更新在用于预测未来的焦点增强型条件随机域模型上的用户配置文件。

图7显示的是本发明实施例的焦点推荐系统(如系统300)。图8为本发明实施例的焦点推荐系统在移动终端中的显示实例。用户从他/她的朋友收到一个消息，兴趣点识别器302在后端识别到大量的兴趣点。例如，如图7左侧所示，识别后的兴趣点(如图7中蓝色的单词和短语，即zagat has released its list of San Francisco’s Top 50restaurants and……this year zangat did not publish a list of popular或者图8中所示的圣弗朗西斯科的最佳餐厅下-2015标题下的由虚线和文字表示的一系列文字信息)包括两个餐厅的名字:“kokkari estiatorio”和“gary danko”。用户与移动终端互动，比如，盯着屏幕。用户的焦点位置的用户将被收集(如红色圆圈所示，即图7中的眼睛中的虚框或者图8中的圆形虚框A)。

此外，焦点加强型条件随机域(FPCRF)模型根据收集到的信息可以推荐概率最高额一个或多个兴趣点(如图7中用红色下划线标注的单词即Kokkari和Danko，或者图8中黑色下划线B标注的单词)。在一些实施例中，被推荐的兴趣点显示在手机屏幕上的提示窗口中以供用户选择。例如，概率最高的兴趣点是“kokkari”。此外，用户确认了兴趣点“kokkari”的预测后(如点击这个词)，通过云服务器上的搜索推荐推荐引擎310推荐与暗示下一步期望运动的兴趣点相关的功能。例如，应用程序的功能包括显示餐馆的介绍性信息(如饮食类型、地址、图片)，提供一个选项来显示完整的菜单，和/或提供一个选项来列表Yelp上的评论，如图7右侧中所示(或者图8中右侧所示的饭店详细信息)。

因此，本发明提供了一个框架来预测在移动终端上未来期望的运动。整合显示在屏幕上的文本信息，用户和移动终端之间的互动用于预测。从用户体验的角度，用户选择移动应用服务匹配他/她的需求时所遇到的困难会减少。此外，在本发明实施例中，在识别用户的意图时，用户手机屏幕上的焦点信息会被用于强化推荐系统。

此外，本发明实施例提供了条件随机概率模型以共同利用异构信息从用户一侧来预测下一个行动。这种方法提供一种自然的用户体验，可以非侵入性地捕获到用户的兴趣并推荐用户下一步。

在本发明实施例中，手机终端只是作为一个例子。其公开的系统和方法可适用于其他具有显示器的设备，如平板电脑，电脑，手表等，从多模式信息出发预测用户的偏好。本发明提供一种独特的用户体验模式以丰富人们的生活。

本发明具体实施例所述的方法仅用于解释，相类似的想法和实现方法均可以应用于其他不同的系统中，将本发明所述系统和方法应用于不同领域，进行改进，替换，调整或者相当于本发明所公开的具体技术实施方案都是本领域普通技术人员不需要通过创造性劳动就能实现的。