信息推荐方法、装置、设备及存储介质与流程

文档序号:22321621发布日期:2020-09-23 01:56阅读:121来源:国知局
信息推荐方法、装置、设备及存储介质与流程

本申请涉及人机交互领域,特别涉及一种信息推荐方法、装置、设备及存储介质。



背景技术:

用户通过终端上安装的短视频应用程序观看短视频,短视频应用程序会根据用户经常观看的视频类型,依据相关的算法向用户推荐用户喜欢观看的短视频。

以一个短视频中出现多个人为例,示意性的,用户观看的短视频属于舞蹈类型的视频,用户对视频中位于中间位置的舞蹈人员感兴趣,想查看关于该舞蹈人员的相关视频。但该舞蹈人员不是该短视频的发布者,用户通常会翻看该短视频的评论,从评论中可能查询到该舞蹈人员在短视频应用程序上的用户帐号,从而进一步搜索该舞蹈人员在短视频应用程序上的视频内容。

上述技术方案中,用户需要翻看短视频的评论来查询感兴趣的人员的信息,步骤较为繁琐,或者,在评论中无法找到关于该人员的相关信息,从而使得用户无法观看感兴趣的视频。



技术实现要素:

本申请实施例提供了一种信息推荐方法、装置、设备及存储介质,通过眼球追踪技术获取用户的兴趣元素,从而向用户推荐与兴趣元素匹配的视频。所述技术方案如下:

根据本申请的一方面,提供了一种信息推荐方法,所述方法包括:

获取目标客户端在播放第一视频的视频画面时的用户兴趣区域,所述第一视频是第一用户帐号发布的视频;

从所述用户兴趣区域中提取兴趣元素,所述兴趣元素包括人物元素和物体元素中的至少一种;

从所述兴趣元素中提取兴趣子元素;

响应于所述兴趣子元素与第二用户帐号关联,将所述第二用户帐号的信息推荐至目标客户端。

根据本申请的另一方面,提供了一种信息推荐方法,所述方法包括:

显示在播放第一视频时的视频画面,所述第一视频是由第一用户帐号发布的视频;

采集眼球追踪数据和屏幕操作数据中的至少一种数据;

在所述视频画面上显示第二用户帐号的信息,所述第二用户帐号与兴趣元素中的兴趣子元素关联,所述兴趣元素在所述视频画面中的用户兴趣区域中,所述用户兴趣区域是通过所述眼球追踪数据和所述屏幕操作数据中的至少一种数据得到的。

根据本申请的另一方面,提供了一种信息推荐装置,所述装置包括:

获取模块,用于获取目标客户端在播放第一视频的视频画面时的用户兴趣区域,所述第一视频是第一用户帐号发布的视频;

元素提取模块,用于从所述用户兴趣区域中提取兴趣元素,所述兴趣元素包括人物元素和物体元素中的至少一种;

所述元素提取模块,用于从所述兴趣元素中提取兴趣子元素;

信息推荐模块,用于响应于所述兴趣子元素与第二用户帐号关联,将所述第二用户帐号的信息推荐至目标客户端。

根据本申请的另一方面,提供了一种信息推荐装置,所述装置包括:

显示模块,用于显示在播放第一视频时的视频画面,所述第一视频是由第一用户帐号发布的视频;

采集模块,用于采集眼球追踪数据和屏幕操作数据中的至少一种数据;

所述显示模块,用于在在所述视频画面上显示第二用户帐号的信息,所述第二用户帐号与兴趣元素中的兴趣子元素关联,所述兴趣元素在所述视频画面中的用户兴趣区域中,所述用户兴趣区域是通过所述眼球追踪数据和所述屏幕操作数据中的至少一种数据得到的。

根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的信息推荐方法。

根据本申请的另一方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的信息推荐方法。

根据本申请的另一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行如上方面所述的信息推荐方法。

本申请实施例提供的技术方案带来的有益效果至少包括:

通过获取用户在观看视频时的用户兴趣区域,利用用户兴趣区域确定用户对视频中的哪部分内容感兴趣,通过对兴趣元素的精细划分能够准确获取用户所感兴趣的视频内容,从而将与用户感兴趣的视频内容关联的第二用户帐号推荐给目标客户端(用户),简化了用户对感兴趣的相关视频进行搜索时的步骤,提高了人机交互效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的信息推荐方法的界面示意图;

图2是本申请一个示例性实施例提供的计算机系统的框架图;

图3是本申请一个示例性实施例提供的信息推荐方法的流程图;

图4是本申请另一个示例性实施例提供的信息推荐方法的流程图;

图5是本申请另一个示例性实施例提供的信息推荐方法的界面示意图;

图6是本申请另一个示例性实施例提供的信息推荐方法的流程图;

图7是本申请另一个示例性实施例提供的信息推荐方法的界面示意图;

图8是本申请另一个示例性实施例提供的信息推荐方法的流程图;

图9是本申请另一个示例性实施例提供的信息推荐方法的界面示意图;

图10是本申请另一个示例性实施例提供的信息推荐方法的流程图;

图11是本申请一个示例性实施例提供的用户帐号的主页界面示意图;

图12是本申请一个示例性实施例提供的第二视频的视频画面的示意图;

图13是本申请另一个示例性实施例提供的信息推荐方法的流程图;

图14是本申请一个示例性实施例提供的信息推荐装置的结构框图;

图15是本申请另一个示例性实施例提供的信息推荐装置的结构框图;

图16是本申请一个示例性实施例提供的服务器的装置结构示意图;

图17是本申请一个示例性实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

首先,对本申请实施例涉及的名词进行介绍。

眼球追踪技术(eyetracking):是指通过获取使用终端的用户的眼球运动信息控制终端执行与眼球运动信息对应的操作,无需用户进行手动操作终端。比如,终端通过获取用户眼球移动的轨迹,判断用户需要将正在查看的页面切换至下一页面,则终端对页面进行切换。

眼球追踪技术包括三种方式:第一,根据眼球和眼球周边的特征变化进行跟踪;第二,根据虹膜角度的变化进行跟踪;第三,向虹膜投射红外线等光束来提取特征。

人类眼球的采样能力限制了从周围环境中提取视觉信息的方式,由于将实现从视野范围的中央区域移出时,视觉精度会迅速下降,所以通过眼动行为可获得视线落在的位置。

眼动行为包括注视行为和扫视行为。注视行为是指视线在目标上保持一定的时长以获得视觉信息的行为,注视行为的时间通常在80至600毫秒之间变化。在注视的过程中,用户的眼球并不是完全静止的(会产生如微眼跳、眼颤等行为);扫视行为是指视线从一点移动至另一点的快速眼动行为,与注视行为相反,通过扫视行为几乎不会获得任何有效的视觉信息,扫视行为的时间通常在20至40毫秒之间变化。

ai(artificialintelligence,人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、视频处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、人脸识别、物体识别等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。

以通过眼球追踪数据来获取兴趣元素为例进行说明。如图1所示,本申请实施例提供了一种信息推荐方法。本申请实施例提供的方法应用于视频推荐场景中。该方法应用于如图2所示的计算机系统中,该方法包括如下步骤:

1、终端采集眼球追踪数据。

终端210上运行有支持视频播放功能的应用程序,用户在该应用程序上观看第一用户帐号发布的视频11,终端210启动摄像头,且启动眼动追踪系统追踪用户的眼球的运动轨迹和聚焦在视频上的注视点。终端210将采集到的眼球追踪数据发送至该应用程序的后台服务器中。

2、后台服务器根据眼球追踪数据确定用户感兴趣的是视频信息。

后台服务器调用兴趣分析系统,兴趣分析系统用于确定用户产生兴趣的视频区域。示意性的,该兴趣分析系统根据眼球追踪数据对用户观看视频时视线所在的视频区域进行评分,根据评分确定用户产生兴趣的视频区域。

首先,兴趣分析系统根据视频中出现的人员或事物进行识别。如图1所示,视频中出现了两位舞蹈人员。示意性的,左边的舞蹈人员对应第一用户,第一用户在该视频应用程序中对应有第一用户帐号,右边的舞蹈人员对应第二用户,第二用户在该视频应用程序中对应有第二用户帐号,第一用户在视频中对应区域101,第二用户在视频中对应区域102。用户观看的视频为第一用户帐号发布的视频。

然后,兴趣分析系统根据用户的注视点所在的区域占整个视频区域的比例确定视频中用户感兴趣的区域。示意性的,用户的注视点所在的区域是区域101,区域101占整个视频区域的60%,则兴趣分析系统确定区域101为用户感兴趣的区域。即用户对视频中的第一用户更感兴趣。

在一些实施例中,兴趣分析系统可结合多种判定条件综合判定用户兴趣区域。示意性的,通过判断用户的注视点落在视频中某一区域的时长,当注视点落在某一区域的时长超过时长阈值时,将该区域判定为用户兴趣区域。示意性的,兴趣分析系统通过眼球追踪数据判断用户的眼动行为属于扫视行为还是注视行为,当用户的眼动行为属于注视行为,则兴趣分析系统判断用户注视的区域为用户兴趣区域。通过对判定条件的权重计算,确定用户感兴趣的区域,该区域包括兴趣元素。

兴趣分析系统对区域101进行精细化分割,如图1所示,将区域101划分为区域103、区域104和区域105,区域101包括第一用户的头部元素,区域102包括第一用户的上半身元素,区域103包括第一用户的下半身元素。兴趣分析系统根据用户的注视点所在区域进一步确定用户感兴趣的兴趣子元素,比如,用户的注视点落在区域104,则兴趣分析系统确定区域104为用户感兴趣的区域,区域104中包括的上半身元素为用户感兴趣的兴趣子元素。

3、后台服务器将用户感兴趣的视频信息发送至终端。

后台服务器调用人像识别系统/物体识别系统对该区域104进行识别。示意性的,该区域104包括第一用户的上半身元素,后台服务器调用物体识别系统识别出该区域包括芭蕾舞服,确定发布过与芭蕾舞服相关的视频的用户帐号,如用户帐号a发布过关于“初学者如何购买芭蕾舞服”和“推荐芭蕾舞服”的相关视频,且后台服务器判断用户帐号a不是第一用户帐号,则后台服务器将用户帐号a的相关视频信息16发送至终端210。

用户在终端210上查看到与用户帐号a的相关视频信息16,用户可点击视频信息16观看用户帐号a发布的视频。

本申请实施例提供的方法,无需用户手动查找想要观看的视频,基于眼球追踪数据即可实现向用户推荐其感兴趣的视频,简化了用户查询自己感兴趣的视频的步骤,提高了视频信息的推荐效率。

本申请实施例提供的信息推荐方法可以应用于具有较强的数据处理能力的计算机设备中。在一种可能的实施方式中,本申请实施例提供的信息推荐方法可以应用于个人计算机、工作站或服务器中,即可以通过个人计算机、工作站或服务器进行信息推荐。

示意性的,将信息推荐功能实现为应用程序的一部分,并将该应用程序安装在终端中,使得终端具有向目标客户端推荐信息的功能;或者,将信息推荐功能设置在应用程序的后台服务器中,使得安装有该应用程序的终端借助后台服务器向目标客户端推荐信息。

请参考图2,其示出了本申请一个示例性实施例提供计算机系统的结构示意图。该计算机系统200中包括终端210和服务器220,其中,终端210与服务器220之间通过通信网络进行数据通信,可选地,通信网络可以是有线网络也可以是无线网络,且该通信网络可以是局域网、城域网以及广域网中的至少一种。

终端210中安装有支持视频播放功能的应用程序,该应用程序可以是新闻应用程序、社交应用程序、短视频应用程序、直播应用程序、音乐应用程序、购物应用程序、虚拟现实应用程序等,本申请实施例对此不作限定。

在一些实施例中,终端210可以是智能手机、平板电脑、膝上便携式笔记本电脑等移动终端,也可以是台式电脑、投影式电脑等终端,本申请实施例对终端的类型不加以限定。

服务器220可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdeliverynetwork,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。在一种可能的实施方式中,服务器220是终端210中应用程序的后台服务器。

如图2所示,在本申请实施例中,用户在终端210上观看第一用户帐号发布的视频11,终端210利用眼球追踪技术采集用户在观看视频时的眼球追踪数据12,并将眼球追踪数据12发送至服务器220,通过服务器220获取到用户的眼球追踪数据12,服务器220调用兴趣分析系统13对眼球追踪数据12进行分析,得到该用户观看视频时的用户兴趣区域14,该用户兴趣区域14用于表示用户对视频中人员或事物产生兴趣时,人员或事物在视频中所对应的区域。服务器220调用人像识别系统/物体识别系统15对用户兴趣区域14中的人员或事物进行识别,得到第二用户帐号的相关信息16。在一些实施例中,终端210通过接收到用户在显示屏上的操作来获取用户兴趣区域14,比如,当用户放大视频中显示的人物时,终端将用户的放大操作作为兴趣点数据发送至服务器220中,服务器220根据放大操作确定用户放大的人物对应的视频区域是用户兴趣区域14。

示意性的,第一用户帐号发布的是关于舞蹈的视频,该视频中包括第一用户帐号对应的第一用户和第二用户帐号对应的第二用户在跳舞,终端210采集到的眼球追踪数据表示用户对第二用户更感兴趣,则服务器220将第二用户帐号的相关信息16发送至终端210,在终端上显示有第一用户帐号发布的视频11,在第一用户帐号的视频11上叠加显示有第二用户帐号的相关信息16。用户可通过点击第二用户帐号的相关信息16查看第二用户帐号发布的视频。

在其他可能的实施方式中,上述兴趣分析系统13和人像识别系统/物体识别系统15也可以设置在终端中,并由终端210结合采集到的眼球追踪数据和屏幕操作数据中的至少一种数据确定视频中用户感兴趣的人员或事物,而无需借助服务器220。

图3示出了本申请一个示例性实施例提供的信息推荐方法的流程图。本实施例以该方法用于如图2所示的计算机系统200中的服务器220为例进行说明,该方法包括如下步骤:

步骤301,获取目标客户端在播放第一视频的视频画面时的用户兴趣区域,第一视频是第一用户帐号发布的视频。

目标客户端是观看第一视频的用户使用的客户端。示意性的,用户在应用程序上观看第一视频,该应用程序包括视频播放应用程序、音乐播放应用程序、直播应用程序、短视频应用程序中的至少一种。在一些实施例中,用户需登录用户帐号才能在应用程序上发布视频,用户在观看视频时不需要登录用户帐号。本申请实施例以用户在应用程序上观看第一用户帐号发布的视频为例进行说明。

用户兴趣区域是指用户在观看视频时对视频中的元素产生兴趣,该元素对应的视频区域为用户兴趣区域。用户兴趣区域是通过眼球追踪数据和屏幕操作数据中的至少一种数据得到的。用户兴趣区域中的元素包括人物元素和物体元素中的至少一种。本申请实施例中,用户兴趣区域是视频区域中的部分区域。

示意性的,终端采集眼球追踪数据和屏幕操作数据中的至少一种数据,并将数据发送至应用程序的服务器中,服务器根据该数据判定第一视频中的用户兴趣区域。

步骤302,从用户兴趣区域中提取兴趣元素,兴趣元素包括人物元素和物体元素中的至少一种。

示意性的,服务器包括兴趣分析系统,该兴趣分析系统用于根据眼球追踪数据和屏幕操作数据中的至少一种数据分析第一视频中的兴趣元素。示意性的,该兴趣分析系统是基于兴趣分析模型构建的,兴趣分析模型是具有兴趣元素识别能力的机器学习模型,通过将用户观看第一视频时的眼球追踪数据输入至兴趣分析模型中,得到第一视频中的兴趣元素;或者,通过将用户观看第一视频时的屏幕操作数据输入至兴趣分析模型中,得到第一视频中的兴趣元素。

在一些实施例中,兴趣分析模型先对视频中的元素对应的区域进行划分,比如,将视频中的人物元素对应的视频区域与其它视频区域进行划分;或者,将视频中的物体元素对应的视频区域与其它视频区域进行划分。然后再从划分后的视频中确定兴趣元素,该划分后的视频区域为用户兴趣区域。在另一些实施例中,通过预先训练好的元素划分模型对视频中的元素进行划分,然后将划分元素后的视频输入至兴趣分析模型中,从多个划分后的元素中得到视频中的兴趣元素。

兴趣元素是指视频中存在用户感兴趣的视频内容,包括视频中的人物元素和物体元素中的至少一种。在一些实施例中,兴趣元素还包括场景元素,比如,视频是在咖啡店拍摄的,场景元素为室内元素;又比如,视频是在网球场拍摄的,场景元素为室外元素。

在一些实施例中,兴趣分析模型是通过如下方式训练得到的:

获取样本眼球追踪数据,样本眼球追踪数据标定有兴趣元素;

将样本眼球追踪数据入至兴趣分析模型中,得到样本眼球追踪数据的预测兴趣元素;

根据标定的兴趣元素和预测兴趣元素对兴趣分析模型进行训练,得到训练后的兴趣分析模型。

在一些实施例中,兴趣分析模型是通过如下方式训练得到的:

获取样本屏幕操作数据,样本屏幕操作数据标定有兴趣元素;

将样本屏幕操作数据输入至兴趣分析模型中,得到样本屏幕操作数据的预测兴趣元素;

根据标定的兴趣元素和预测兴趣元素对兴趣分析模型进行训练,得到训练后的兴趣分析模型。

可以理解的是,训练兴趣分析模型的样本数据可以是混合样本数据,混合样本数据包括眼球追踪数据和屏幕操作数据两种类型的数据。

步骤303,从兴趣元素中提取兴趣子元素。

响应于兴趣元素属于人物元素时,兴趣子元素包括人物元素中的头部元素、上半身元素和下半身元素中的至少一种。

可以理解的是,还可以对兴趣子元素进行划分,如头部元素包括面部五官元素和头发元素;上半身元素包括手臂元素、胸部元素、后背元素;下半身元素包括腿部元素和脚部元素。本申请实施例以兴趣子元素包括头部元素、上半身元素和下半身元素为例进行说明。

响应于兴趣元素属于物体元素时,兴趣子元素包括物体元素的标志元素和结构元素中的至少一种。

标志元素是指能够指示一个物品的特征元素。示意性的,标志元素是物体所属的品牌标志(logo),如视频中显示有一辆汽车的汽车logo,该汽车logo代表该汽车的特征。

结构元素是指构成一个物品的元素。示意性的,视频中显示有一张桌子,该桌子的结构元素包括桌面元素和桌腿元素;视频中显示有一辆汽车,该汽车的结构元素包括车身元素和车轮元素。

示意性的,服务器中包括人像识别系统和物体识别系统中的至少一种系统。人像识别系统是基于人脸识别模型构建的,物体识别系统是基于物体识别模型构建的。

响应于兴趣元素属于人物元素时,服务器调用人脸识别模型对兴趣元素进行识别,得到人物元素的头部元素、上半身元素和下半身元素中的至少一种元素。

响应于兴趣元素属于物体元素时,服务器调用物体识别模型对兴趣元素进行识别,得到物体元素的标志元素和结构元素。

示意性的,将兴趣元素输入至人脸识别模型或物体识别模型中,输出兴趣子元素;或者,将用户在观看视频时的眼球追踪数据输入至兴趣分析模型中,输出兴趣子元素。

步骤304,响应于兴趣子元素与第二用户帐号关联,将第二用户帐号的信息推荐至目标客户端。

示意性的,服务器预先存储有兴趣子元素与第二用户帐号的关联关系,当服务器通过上述步骤302和步骤303识别出兴趣子元素时,服务器根据关联关系确定与兴趣子元素对应的第二用户帐号,从而将与第二用户帐号的信息推荐至目标客户端。

目标客户端是观看上述第一视频的用户使用的客户端。第二用户帐号的信息包括第二用户帐号、第二用户帐号对应的昵称、第二用户帐号的性别、第二用户帐号对应的头像、第二用户帐号的个性签名中的至少一种。在一些实施例中,服务器还将第二用户帐号发布在应用程序上的视频推荐至目标客户端。

可以理解的是,服务器还可以将视频中的兴趣元素直接与第二用户帐号进行关联,响应于服务器检测到与第二用户帐号关联的兴趣元素时,将第二用户帐号推荐至目标客户端。

综上所述,本实施例提供的方法,通过获取用户在观看视频时的用户兴趣区域,利用用户兴趣区域确定用户对视频中的哪部分内容感兴趣,通过对兴趣元素的精细划分能够准确获取用户所感兴趣的视频内容,从而将与用户感兴趣的视频内容关联的第二用户帐号推荐给目标客户端(用户),简化了用户对感兴趣的相关视频进行搜索时的步骤,提高了人机交互效率。

图4示出了本申请另一个示例性实施例提供的信息推荐方法的流程图。本实施例以该方法用于如图2所示的计算机系统200中的服务器220为例进行说明,该方法包括如下步骤:

步骤401,获取目标客户端在播放第一视频的视频画面时的用户兴趣区域,第一视频是第一用户帐号发布的视频。

获取用户兴趣区域的方式包括如下方式中的至少一种:

获取眼球追踪数据;根据眼球追踪数据从视频画面中获取第一用户兴趣区域;或,获取屏幕操作数据;根据屏幕操作数据从视频画面中获取第二用户兴趣区域。

眼球追踪数据是指利用眼球追踪技术采集到的、用于记录聚焦在视频上的视线变化的数据。示意性的,眼球追踪数据是通过终端(如智能手机、笔记本电脑等)的摄像头采集到的,终端将采集到的眼球追踪数据发送至服务器中;或者,通过专业的采集设备(如,能够发射红外线的红外设备、眼镜形态的眼动仪)采集眼球追踪数据,该专业的采集设备与服务器相连或该专业的采集设备与终端相连,由该专业的采集设备将采集到的追踪数据发送至服务器中或由终端将采集到的追踪数据发送至服务器中。本申请实施例对此不加以限定。

眼球追踪数据的测量指标包括眼动轨迹图、眼动时间、眼动的方向和距离、瞳孔直径中的至少一种。

眼动轨迹图是指将眼球运动信息叠加在视景图像上形成注视点以及注视点移动的路线图。眼动轨迹图能够直观地反应视线移动时的特征。

眼动时间是指关于眼球在进行各种动作时对应的时间信息,眼动时间包括注视时间(注视停留时间)、眼跳时间、回视时间、追随运动时间以及注视过程中的微动时间(包括自发性高频眼球微颤、慢速漂移和微跳时间)。示意性的,还可以将眼动时间进行分解,比如将注视时间分解为单次注视时间、首次注视时间、总注视时间等。

眼动的方向和距离是指眼球在移动时的朝向和移动的距离。根据眼动的方向和距离可以计算出眼球移动的速度(眼动速度)。

瞳孔直径能够反映一个人的心理活动情况,比如,当一个人呈现震惊的神态,瞳孔的直径将会变大。通过测量瞳孔直径的变化也能确定一个人接收到的信息发生了变化。

示意性的,用户打开终端上的短视频应用程序,终端启动摄像头采集用户在观看短视频(第一用户帐号发布的第一视频)时的视线变化,即采集眼球追踪数据。终端将用户的眼球追踪数据上传至短视频应用程序的后台服务器中,从而使得后台服务器获取眼球追踪数据。

屏幕操作数据是终端的显示屏接收到触摸操作时产生的数据。触摸操作包括:双指放大操作(单手双指或双手双指)、双击操作(单指双击)、连击操作(单指连击且操作次数多于两次)、双指缩小操作(单手双指或双手双指)中的至少一种。在一些实施例中,终端是具有外部接入设备的终端,比如终端是台式电脑,台式电脑连接有鼠标。示意性的,当用户通过滑动鼠标滚轮放大显示屏中显示的内容时,台式电脑采集到屏幕操作数据。

示意性的,用户打开终端上的短视频应用程序观看第一视频,当用户通过放大操作放大第一视频的视频画面中的元素时,终端根据用户的操作采集屏幕操作数据。终端将屏幕操作数据上传至短视频应用程序的后台服务器中,从而使得后台服务器获得屏幕操作数据。

步骤402,从用户兴趣区域中提取兴趣元素,兴趣元素包括人物元素和物体元素中的至少一种。

示意性的,眼球追踪数据包括注视点数据和眼动行为数据。短视频的后台服务器根据注视点数据和眼动行为数据确定第一视频中的兴趣元素。后台服务器从第一用户兴趣区域中的确定兴趣元素,或,从从第二用户兴趣区域中提取兴趣元素。

在一些实施例中,服务器包括兴趣分析系统,该兴趣分析系统构建有兴趣分析模型,将获取到的眼球追踪数据输入至兴趣分析模型中,兴趣分析模型基于采集到的注视点数据和眼动行为数据输出短视频(第一视频)中用户感兴趣的兴趣元素。比如,兴趣分析模型输出用户对短视频中的人物元素感兴趣。

在一些实施例中,服务器包括人脸识别模型和物体识别模型中的至少一种模型,服务器首先调用兴趣分析模型对第一视频中用户感兴趣的兴趣区域进行识别,再调用人脸识别模型、物体识别模型对兴趣区域中含有的元素进行识别,即通过人脸识别模型、物体识别模型识别视频中是否含有人物元素和物体元素中的至少一种兴趣元素。

如图5中的左图所示,服务器调用兴趣分析模型对第一视频中用户感兴趣的兴趣区域进行识别,该兴趣区域为区域101,然后服务器调用人脸识别模型对区域101中的元素进行识别,得到区域101中包括人物元素,即用户对区域101中的人物元素感兴趣。

步骤403,响应于兴趣元素属于人物元素,对兴趣元素进行划分,得到人物元素的头部元素、人物元素的上半身元素和人物元素的下半身元素。

示意性的,响应于兴趣元素属于人物元素,服务器调用兴趣分析模型还进一步根据注视点数据和眼动行为数据对兴趣元素进行划分,得到人物元素的身体部位元素。

如图5中的右图所示,兴趣分析模型进一步对用户感兴趣的人物元素进行划分,得到头部元素对应的区域103、上半身元素对应的区域104和下半身区域对应的元素105。

步骤404,从头部元素、上半身元素和下半身元素中确定兴趣子元素。

示意性的,注视点数据包括注视点位置,眼动行为数据包括注视行为。注视点位置是指用户在观看视频时的视线聚焦在视频中的位置。眼动行为是指用户在观看视频时的眼球转动行为,眼动行为包括注视行为和扫视行为。步骤404可替换为如下步骤4041和步骤4042:

步骤4041,获取注视点数据对应的第一兴趣值和眼动行为数据对应的第二兴趣值。

服务器通过如下步骤获取注视点数据对应的第一兴趣值和眼动行为数据对应的第二兴趣值:

步骤420,获取注视点位置所在的第一区域占第一视频区域的面积比例,根据面积比例确定第一区域的第一兴趣值;或获取注视点位置在第一区域内的注视时长,根据注视时长确定第一区域的第一兴趣值。

示意性的,服务器预先存储有面积比例与第一兴趣值的第一对应关系,根据该第一对应关系和面积比例确定第一兴趣值。如图5中的右图所示,注视点位置所在的第一区域为区域103,区域103占第一视频区域的面积比例为20%,则服务器根据第一对应关系和面积比例确定第一区域的第一兴趣值为20。示意性的,面积比例和第一兴趣值之间呈正相关关系,即面积比例越大对应的第一兴趣值越大,用户对该区域中的元素越感兴趣。

示意性的,服务器预先存储有注视时长与第一兴趣值的第二对应关系,根据该第二对应关系和注视时长确定第一兴趣值。如图5中的右图所示,注视点位置在区域103的注视时长为10秒,则服务器根据第二对应关系和注视时长确定第一区域的第一兴趣值为20。示意性的,注视时长和第一兴趣值之间呈正相关关系,即注视时间越长对应的第一兴趣值越大,用户对该区域中的元素越感兴趣。

步骤440,响应于眼动行为属于注视行为且注视行为产生在第一区域,确定第一区域的第二兴趣值。

示意性的,服务器预先存储有眼动行为和第二兴趣值之间的第三对应关系,注视行为对应的第二兴趣值高于扫视行为对应的第二兴趣值。

如图5中的右图所示,服务器根据眼球追踪数据确定用户的眼动行为为注视行为,且用户注视的区域为区域103,服务器确定第一区域的第二兴趣值为60。

步骤4042,根据第一兴趣值和第二兴趣值从头部元素、上半身元素和下半身元素中确定兴趣子元素。

示意性的,结合第一兴趣值和第二兴趣值的权重确定兴趣子元素。服务器根据上述步骤计算每个元素对应的兴趣值,从而将兴趣值高的元素确定为兴趣子元素。比如,第一兴趣值的权重为0.4,第二兴趣值的权重为0.6。服务器根据上述步骤分别计算区域103、区域104和区域105的兴趣值,以表一表示三个区域各自的第一兴趣值、第二兴趣值和综合兴趣值。

表一

由表一可知,区域103的兴趣值最高,服务器将区域103确定为用户感兴趣的区域,区域103中包含头部元素,服务器将头部元素确定为兴趣子元素。

服务器获取与兴趣子元素匹配的第二视频,包括如下三种情况:

步骤405a,响应于兴趣子元素属于头部元素,获取与头部元素匹配的第二视频。

与头部匹配的第二视频包括:含有与头部元素的面部轮廓相似的元素的视频、含有与头部元素代表的性别特征相似的元素的视频、含有与头部元素表示的身份具有关联关系的元素的视频。

示意性的,服务器调用人脸识别模型对头部元素进行识别,识别出与该头部元素的面部轮廓相似的用户a,用户a可能是发布第一视频的用户,或,用户a可能是与发布第一视频的第一用户长相相似的用户,服务器获取含有该用户a的视频,或获取用户a发布的视频。

示意性的,服务器调用人脸识别模型对头部元素进行识别,识别出与该头部元素代表的性别特征是男性,服务器获取含有男性用户的视频。

示意性的,服务器调用人脸识别模型对头部元素进行识别,识别出该头部元素是用户a的头部元素,在视频应用程序上用户a使用第一用户帐号关注了第二用户帐号(用户b的用户帐号),即用户a和用户b在视频应用程序上具有好友关系,则服务器获取含有用户b的视频,或用户b发布的视频。

可以理解的是,获取与人物元素匹配的第二视频的方式可以分别单独实施,或两两组合实施,或全部组合实施。

步骤406a,将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

服务器将获取到的第二视频的发布者信息推荐至目标客户端。在一些实施例中,服务器确定与头部元素匹配的第二视频中含有用户b,该视频是用户c发布的视频,则服务器将用户c对应的用户帐号推荐至目标客户端。如图5所示,在视频画面上显示有关于舞蹈的第二用户帐号的信息16。

步骤405b,响应于兴趣子元素属于上半身元素,获取与上半身元素匹配的第二视频。

与服务器识别头部元素的过程类似,服务器根据上半身元素对应的信息获取第二视频。比如,服务器根据上半身元素的形态(如弯腰、扭动等),查找含有与该形态相同或相似的形态的视频。

步骤406b,将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

参见步骤406a的实施方式此处不再赘述。

步骤405c,响应于兴趣子元素属于下半身元素,获取与下半身元素匹配的第二视频。

与服务器识别上半身元素的过程类似,服务器根据下半身元素对应的信息获取第二视频。比如,服务器根据下半身元素的形态(如跑步、踢腿、一字马等),查找含有与该形态相似的视频。

步骤406c,将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

参见步骤406a的实施方式此处不再赘述。

可以理解的是,上述三种情况可以分别单独实施,也可以两两组合实施,也可以全部组合实施。

基于图4的可选实施例中,当人物元素中包含装饰元素时,服务器获取与兴趣子元素匹配的视频的方式还包括如下步骤:

步骤405d,响应于兴趣子元素中包括人物元素对应的装饰元素,获取与装饰元素匹配的第三视频。

示意性的,服务器调用机器学习模型识别出任务元素对应的装饰元素。

响应于人物元素属于头部元素,装饰元素包括发型元素(如发色、直发、卷发、长发、短发等)、妆容元素(如口红色号、底妆色号、眼影色号等)、配饰元素(如耳环、发夹、发圈等)中的至少一种。

在一个示例中,服务器调用机器学习模型识别头部元素对应的装饰元素为妆容元素,服务器获取与该妆容元素匹配的第三视频,该第三视频包括含有该妆容元素的视频,如第三视频中的人物使用了与第一视频中包含的口红相同或相近色号的口红,或者,口红销售视频,该视频中销售的口红与第一视频中包含的口红的口红色号相同或相近。

响应于人物元素属于上半身元素,装饰元素包括服饰元素、配饰元素(如帽子、围巾、背包、项链、手链等)、皮肤标记元素(如胎记、纹身等)中的至少一种。

在一个示例中,服务器调用机器学习模型识别上半身元素对应的装饰元素为配饰元素,服务器获取与配饰元素匹配的第三视频,该第三视频包括含有该配饰元素的视频,如第三视频中的人物佩戴了与第一视频中包含的围巾款式相同或相近的围巾,或者,围巾销售视频,该视频中销售的围巾与第一视频中包含的围巾款式相同或相近。

响应于人物元素属于下半身元素,装饰元素包括服饰元素、配饰元素(如脚链等)、皮肤标记元素中的至少一种。

在一个示例中,服务器调用机器学习模型识别下半身元素对应的装饰元素为服饰元素,服务器获取与服饰元素匹配的第三视频,该第三视频包括含有该服饰元素的视频,如第三视频中的人物穿戴了与第一视频中包含的鞋子相同或相近的鞋子,或者,鞋履销售视频,该视频中销售的鞋子与第一视频中包含的鞋子相同或相近。

步骤406d,将第三视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

参见步骤406a的实施方式此处不再赘述。

综上所述,本实施例提供的方法,通过获取用户在观看视频时的用户兴趣区域,利用用户兴趣区域确定用户对视频中的哪部分内容感兴趣,通过对兴趣元素的精细划分能够准确获取用户所感兴趣的视频内容,从而将与用户感兴趣的视频内容关联的第二用户帐号推荐给目标客户端(用户),简化了用户对感兴趣的相关视频进行搜索时的步骤,同时,为用户提供了多种搜索方式,提高了人机交互效率。

通过对兴趣元素进行精细划分,使得服务器能够根据不同的兴趣子元素进一步确定用户感兴趣的视频,也使得兴趣视频的确定结果更加准确,从而使得服务器能够准确根据兴趣视频向客户端推荐第二用户帐号的信息。

通过获取与兴趣元素所属的类型对应的第二视频,从而确定发布该视频的第二用户帐号的信息,使得服务器能够准确向客户端推荐用户感兴趣的视频,提高了人机交互效率。

当兴趣子元素中包括装饰身体部位的装饰元素,将与装饰元素匹配的视频作为用户感兴趣的视频,从而将发布该视频的用户帐号作为第二用户帐号推荐给目标客户端。使得服务器向用户推荐的视频类型更加丰富多样,不局限于单一类型。

通过眼球追踪数据计算用户的视线在各个兴趣子元素对应的区域中的第一兴趣值和第二兴趣值,使得服务器能够根据兴趣值准确向目标客户端推荐第二用户帐号的信息。

通过多种判定条件综合判定第一视频中用户感兴趣的兴趣子元素,使得服务器的判定结果更加准确,从而使得服务器能够准确向目标客户端推荐第二用户帐号的信息。

基于图4的可选实施例中,服务器还可以通过屏幕操作数据从用户兴趣区域中提取兴趣子元素,该方法还包括如下步骤,如图6所示:

在一些实施例中,屏幕操作数据包括放大操作数据。

步骤410a,获取放大操作数据对应的放大比例。

终端接收到放大操作,采集放大操作数据,将放大操作数据发送至服务器中,服务器根据放大操作数据获取对应的放大比例,比如,放大比例为1:2。

步骤430a,响应于放大比例大于比例阈值,将放大操作数据对应的元素确定为兴趣子元素。

示意性的,第一阈值为60%,当第一视频中的元素的放大比例超过60%时,将该元素确定为兴趣子元素。

如图7的左图所示,用户观看第一用户帐号发布的视频11,用户在终端上施加双指放大操作,终端的显示屏显示如图7的右图所示的画面,在该画面中区域103被放大显示,且放大比例超过比例阈值,则服务器将区域103中的头部元素确定为兴趣子元素。

步骤410b,获取放大区域呈放大状态时的持续时长,放大区域与放大操作数据对应。

步骤430b,响应于持续时长大于时间阈值,将放大操作数据对应的元素确定为兴趣子元素。

示意性的,第三阈值为10秒,当第一视频中的元素呈放大状态的持续时长大于10秒,将该元素确定为兴趣子元素。

步骤410c,获取放大操作数据对应的放大面积。

步骤430c,响应于放大面积大于面积阈值,将放大操作数据对应的元素确定为兴趣子元素。

示意性的,以终端是智能手机为例,智能手机的显示屏的尺寸为6.0英寸,第二阈值为4.0英寸,当第一视频中的元素被放大后的视频区域的尺寸大于4.0英寸时,将该元素确定为兴趣子元素。

在一些实施例中,响应于终端接收到第一视频上的放大操作,且接收到第一视频上的缩小操作,获取被放大的元素的放大部分呈放大状态的持续时长;响应于该持续时长小于另一时间阈值,将被放大的元素确定为不感兴趣的元素,放大部分为该元素的子元素。比如,另一时间阈值为5秒,当第一视频中的人物元素的头部元素被放大后,头部元素呈放大状态的时长短于5秒,则服务器将头部元素确定为用户不感兴趣的元素。

可以理解的是,上述通过屏幕操作数据确定兴趣子元素的方式,可同样用于服务器确定兴趣元素的方式。

可以理解的是,上述根据眼球追踪数据和屏幕操作数据提取兴趣元素或提取兴趣子元素的方法可以分别独立实施,也可以组合实施。

综上所述,本实施例提供的方法,通过获取用户在观看视频时的手势操作采集的屏幕操作数据,利用屏幕操作数据确定用户对视频中的哪部分内容感兴趣,通过对兴趣元素的精细划分能够准确获取用户所感兴趣的视频内容,从而将与用户感兴趣的视频内容关联的第二用户帐号推荐给目标客户端(用户),简化了用户对感兴趣的相关视频进行搜索时的步骤,提高了人机交互效率。

基于图4的可选实施例中,服务器还可对视频中的物体元素进行识别,对物体元素的识别包括如下步骤,如图8所示:

步骤801,响应于兴趣元素属于物体元素,对兴趣元素进行划分,得到物体元素的标志元素和结构元素。

与人物元素的划分方式类似,示意性的,响应于兴趣元素属于物体元素,服务器调用兴趣分析模型还进一步根据注视点数据和眼动行为数据对兴趣元素进行划分,得到物体元素的标志元素和结构元素。

如图9的左图所示,兴趣分析模型根据眼球追踪数据确定用户感兴趣的区域是区域201,区域201中包含的元素为兴趣元素,该兴趣元素属于物体兴趣元素(汽车),兴趣分析模型进一步对用户感兴趣的物体元素进行划分,得到标志元素对应的区域202和结构元素对应的区域203,如图9的右图所示。

步骤802,从标志元素和结构元素中确定兴趣子元素。

示意性的,注视点数据包括注视点位置,眼动行为数据包括注视行为。步骤802可替换为如下步骤8021和步骤8022:

步骤8021,获取注视点数据对应的第三兴趣值和眼动行为数据对应的第四兴趣值。

服务器通过如下步骤获取注视点数据对应的第三兴趣值和眼动行为数据对应的第四兴趣值:

步骤820,获取注视点位置所在的第二区域占第一视频的视频区域的面积比例,根据面积比例确定第二区域的第三兴趣值;或,获取关注点位置在第二区域内的注视时长,根据注视时长确定第二区域的第三兴趣值。

示意性的,服务器预先存储有注视时长与第三兴趣值的第五对应关系,根据该第五对应关系和注视时长确定第三兴趣值。如图9所示,注视点位置在区域202的注视时长为10秒,则服务器根据第五对应关系和注视时长确定第二区域的第三兴趣值为20。示意性的,注视时长和第三兴趣值之间呈正相关关系,即注视时间越长对应的第三兴趣值越大,用户对该区域中的元素越感兴趣。

在一些实施例中,服务器预先存储有面积比例与第三兴趣值的第四对应关系,根据第四对应关系和面积比例确定第三兴趣值。如图9所示,注视点位置所在的第二区域为区域202,区域202占第一视频区域的面积比例为20%,则服务器根据第四对应关系和面积比例确定第二区域的第三兴趣值为20。示意性的,面积比例和第三兴趣值之间呈正相关关系,即面积比例越大对应的第三兴趣值越大,用户对该区域中的元素越感兴趣。

步骤840,响应于眼动行为属于注视行为且注视行为产生的在第二区域,确定第二区域的第四兴趣值。

示意性的,服务器预先存储有眼动行为和第四兴趣值之间的第六对应关系,注视行为对应的第四兴趣值高于扫视行为对应的第四兴趣值。

如图9所示,服务器根据眼球追踪数据确定用户的眼动行为为注视行为,且用户注视的区域为区域202,服务器确定第二区域的第四兴趣值为60。

步骤8022,根据第三兴趣值和第四兴趣值从标志元素和结构元素中确定兴趣子元素。

示意性的,结合第三兴趣值和第四兴趣值的权重确定兴趣子元素。服务器根据上述步骤计算每个元素对应的兴趣值,从而将兴趣值高的元素确定为兴趣子元素。比如,第三兴趣值的权重为0.3,第四兴趣值的权重为0.7。服务器根据上述步骤分别计算区域202和区域203的兴趣值,以表二表示三个区域各自的第三兴趣值、第四兴趣值和综合兴趣值。

表二

由表二可知,区域202的兴趣值最高,服务器将区域202确定为用户感兴趣的区域,区域202中包含标志元素,服务器将标志元素确定为兴趣子元素。

服务器获取与兴趣子元素匹配的第二视频,包括如下两种情况:

步骤803a,响应于兴趣子元素属于标志元素,获取与标志元素匹配的第二视频。

与标志元素匹配的第二视频包括:含有与标志元素相同元素的视频、含有与标志元素相近元素的视频和含有与标志元素属于同类型标志元素的视频。

示意性的,服务器调用物体识别模型对标志元素进行识别,识别出含有与该标志元素相同的元素的视频,如标志元素为品牌a,服务器获取含有品牌a的视频。

示意性的,服务器调用物体识别模型对标志元素进行识别,识别出含有与标志元素相近元素的视频,如标志元素的轮廓为等边三角形,服务器获取含有任意三角形的标志元素的视频。

示意性的,服务器调用物体识别模型对标志元素进行识别,识别出含有与标志元素属于同类型标志元素的视频,如标志元素的轮廓为三角形,服务器获取含有五边形的标志元素的视频。

可以理解的是,获取与物品元素匹配的第二视频的方式可以分别单独实施,或两两组合实施,或全部组合实施。

步骤804a,将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

服务器将获取到的第二视频的发布者信息推荐至目标客户端。在一些实施例中,服务器确定与标志元素匹配的第二视频中含有物体a,该视频是用户c发布的视频,则服务器将用户c对应的用户帐号推荐至目标客户端。如图9的右图所示,在视频画面上显示有关于汽车的第二用户帐号的信息26。

步骤803b,响应于兴趣子元素属于结构元素,获取与结构元素匹配的第二视频。

与服务器识别标志元素的过程类似,服务器根据结构元素对应的信息获取第二视频。比如,服务器根据结构元素的颜色、纹理、材质、结构等因素查找含有与该结构元素相同或相似的结构元素的视频。

步骤804b,将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

参见步骤804a的实施方式此处不再赘述。

可以理解的是,上述实施例中对兴趣元素进行识别并划分时,在视频画面上并不显示标定的区域(即并不显示虚线),附图中仅为示意。

可以理解的是,当兴趣元素属于物体元素时,上述通过眼球追踪数据确定兴趣子元素的方法还可以替换为通过屏幕操作数据确定兴趣子元素的方法。比如,当用户放大车辆的标志元素,且标志元素的放大比例超过比例阈值时,表明用户对视频中的车辆的品牌刚兴趣,该标志元素为兴趣子元素。具体实施方式参见如图6所示的步骤410a至步骤430c,此处不再赘述。

综上所述,本实施例提供的方法,通过获取与兴趣元素所属的类型对应的第二视频,从而确定发布该视频的第二用户帐号的信息,使得服务器能够准确向客户端推荐用户感兴趣的视频,提高了人机交互效率。

通过眼球追踪数据计算用户的视线在各个兴趣子元素对应的区域中的第三兴趣值和第四兴趣值,使得服务器能够根据兴趣值准确向目标客户端推荐第二用户帐号的信息。

还可通过屏幕操作数据确定兴趣子元素,使得服务器确定兴趣子元素的方式更加多样。

通过多种判定条件综合判定第一视频中用户感兴趣的兴趣子元素,使得服务器的判定结果更加准确,从而使得服务器能够准确向目标客户端推荐第二用户帐号的信息。

在一些实施例中,服务器还将第二用户帐号发布的视频也推荐至目标客户端:服务器根据视频热度对第二用户帐号发布的视频进行排序;服务器根据排序从视频中提取视频热度排名前n的视频,n为正整数;服务器将排名前n的视频推荐至目标客户端。

示意性的,n取2,如图5的右图、图7的右图和图9的右图所示,显示第二用户帐号发布的视频中视频热度排名前2的视频。

示意性的,以视频播放的点赞数作为衡量视频热度的标准。点赞数是通过触发视频画面上的爱心控件得到的,如图5、图7和图9中用户界面右下角的爱心控件。由爱心控件下方的数字可知,图9的所示的视频热度高于图5所示的热度。

在一些实施例中视频热度也可根据转发数、评论数、播放量等作为衡量标准,本申请实施例对此不加以限定。

图10示出了本申请另一个示例性实施例提供的信息推荐方法,本实施例以该方法用于如图2所示的计算机系统200中的终端210为例进行说明,该方法包括如下步骤:

步骤1001,显示在播放第一视频时的视频画面,第一视频是由第一用户帐号发布的视频。

示意性的,用户使用的终端上显示有第一视频的视频画面,如图5的左图和图9的左图所示。示意性的,当第一视频包括至少两个人物元素时,视频中包括发布视频的用户,或者视频中不包括发布视频的用户,比如,图5中左侧的舞蹈人员为第一用户帐号对应的第一用户,该视频是由第一用户帐号发布的;或者,该视频时候由第一用户帐号发布的,在视频中的舞蹈人员不包括第一用户。

步骤1002,采集眼球追踪数据和屏幕操作数据中的至少一种数据。

当终端检测到视频应用程序被打开且视频处于播放状态时,终端启动摄像头采集眼球追踪数据。终端将眼球追踪数据上传至视频应用程序的后台服务器中,后台服务器根据眼球追踪数据确定用户感兴趣的兴趣元素,并进一步确定兴趣子元素,如图5的右图和图9的右图所示。

当检测到视频应用程序被打开且视频处于播放状态时,显示屏接收到操作,终端根据接收到的操作采集屏幕操作数据。终端将屏幕操作数据上传至视频应用程序的后台服务器中,后台服务器根据屏幕操作数据确定用户感兴趣的兴趣原故事,并进一步确定兴趣子元素,如图7的右图所示。

步骤1003,在视频画面上显示第二用户帐号的信息,第二用户帐号与兴趣元素中的兴趣子元素关联,兴趣元素在视频画面中的用户兴趣区域中,用户兴趣区域是通过眼球追踪数据和屏幕操作数据中的至少一种数据得到的。

当服务器根据兴趣子元素确定与兴趣子元素相关的视频后,服务器将发布视频的用户帐号推荐至客户端中,在客户端上显示有提示信息,如图5的右图、图7的右图和图9的右图所示,在视频画面的右上角显示有提示信息。可以理解的是,提示信息还可以显示在视频画面的左上角,以及视频画面上的任意位置,本申请实施例对此不加以限定。

综上所述,本实施例的方法,通过将服务器推荐的第二用户帐号的信息显示在视频画面上,使得用户能够更加直观地看到服务器推荐的第二用户帐号的信息,简化了用户的搜索过程,提高了人机交互效率。

基于图10的可选实施例中,在视频画面上显示第二用户帐号的信息后,该方法还包括:

步骤1004a,响应于接收到第二用户帐号的信息上的触发操作,显示第二用户帐号的主页界面,主页界面包括第二用户帐号发布的第二视频。

示意性的,当终端为包括触摸显示屏的终端,如智能手机、平板电脑,触发操作包括单击操作、双击操作、长按操作、滑动操作、拖动操作、悬停操作以及它们的组合操作;当终端为连接外部输入设备的终端,如台式电脑、笔记本电脑,触发操作为通过外部输入设备(如键盘、鼠标等)进行的操作。

在一个示例中,用户使用的终端为智能手机,用户点击如图5所示的提示信息16,显示如图11所示的第二用户帐号的主页界面901。在主页界面901中包括第二用户帐号发布的所有视频以及第二用户帐号的个人信息(如第二用户帐号的性别、昵称、粉丝数、关注数、视频获赞数等信息),在一些实施例中,主页界面901还包括第二用户使用第二用户帐号点赞的视频数量。在一些实施例中,当显示主页界面901时,用户可自主选择观看第二用户帐号发布的视频。

或,

步骤1004b,响应于接收到第二用户帐号的信息上的触发操作,显示第二用户帐号发布的第二视频的视频画面,第二视频是第二用户帐号发布的视频中视频热度最高的视频。

示意性的,当终端为包括触摸显示屏的终端,如智能手机、平板电脑,触发操作包括单击操作、双击操作、长按操作、滑动操作、拖动操作、悬停操作以及它们的组合操作;当终端为连接外部输入设备的终端,如台式电脑、笔记本电脑,触发操作为通过外部输入设备(如键盘、鼠标等)进行的操作。

在一个示例中,用户使用的终端为智能手机,用户点击如图5所示的提示信息16,显示如图12所示的视频画面,在视频画面上显示有一名舞蹈人员902在跳舞的视频,该视频是由第二用户帐号发布的视频,该第二用户帐号对应的第二用户可以是舞蹈人员902,也可以不是舞蹈人员902,该视频是第二用户帐号发布的视频中视频热度排名最高的视频。

综上所述,本实施例的方法,通过用户对第二用户帐号的信息进行操作,用户可直接查看第二用户帐号在视频应用程序上的主页界面(第二用户帐号的个人资料信息),或者查看第二用户帐号发布的视频热度最高的视频,以直观的方式向用户推荐其感兴趣的视频内容,提高了人机交互效率。

图13示出了本申请另一个示例性实施例提供的信息推荐方法,本实施例以该方法用于如图2所示的计算机系统200中为例进行说明,该方法包括如下步骤:

步骤1301,开始。

步骤1302,用户打开视频应用程序,观看视频。

示意性的,视频应用程序为短视频应用程序。

步骤1303a,终端开启摄像头,终端调用眼动跟踪系统追踪用户观看单个视频的眼动行为和注视点。

用户在观看视频时,视线会发生变化,眼动追踪系统记录用户的视线变化,将视线变化转换为眼动追踪数据,眼动追踪数据包括眼动行为数据和注视点数据。

步骤1303b,终端的显示屏接收屏幕操作数据。

示意性的,用户通过双指放大操作将第一视频中的元素进行放大,终端的显示屏接收到双指放大操作,操作采集系统采集双指放大操作对应的操作数据,并将该操作数据发送至短视频应用程序的后台服务器。

步骤1304,服务器调用兴趣分析系统根据用户的眼动行为和注视点判断用户在该段视频中的兴趣子元素;或根据屏幕操作数据判断兴趣子元素。

终端将眼动追踪数据上传至短视频应用程序的后台服务器中,服务器调用兴趣分析系统对眼动追踪数据进行分析,得到用户观看短视频时的用户兴趣区域。兴趣分析系统还可以进一步对眼动追踪数据进行分析,得到兴趣元素中的兴趣子元素。兴趣分析系统将兴趣子元素传输给识别系统。

终端将屏幕操作数据上传至短视频应用程序的后台服务器中,服务器调用兴趣分析系统对屏幕操作数据进行分析,得到用户观看视频时的用户兴趣区域。兴趣分析系统还可以进一步对屏幕操作数据进行分析,示意性的,服务器获取放大操作数据对应的放大比例,响应于放大比例大于比例阈值,将放大操作数据对应的元素确定为兴趣子元素。兴趣分析系统将兴趣子元素传输给识别系统。

与服务器确定视频中的兴趣子元素的方式类似,示意性的,服务器通过眼球追踪数据确定视频中的兴趣元素包括如下方式:

服务器获取注视点数据对应的第五兴趣值和眼动行为数据对应的第六兴趣值;服务器根据第五兴趣值和第六兴趣值确定第一视频中的兴趣元素。

示意性的,注视点数据包括注视点位置,眼动行为数据包括注视行为。服务器获取第五兴趣值和第六兴趣值包括如下方式:

服务器获取注视点位置所在第三区域占第一视频的视频区域的面积比例,根据面积比例确定第三区域的第五兴趣值;或服务器获取注视点位置在第三区域内的注视时长,根据注视时长确定第三区域的第五兴趣值;响应于眼动行为属于注视行为且注视行为产生在第三区域,服务器确定第三区域的第六兴趣值。

步骤1305,服务器调用识别系统对兴趣子元素对应的人物元素/物体元素进行识别。

服务器调用识别系统对兴趣子元素进行识别。示意性的,服务器调用物体识别系统对兴趣子元素对应的物体元素进行识别;服务器调用人物识别系统对兴趣子元素对应的人体元素进行识别。

步骤1306,服务器记录兴趣子元素,并标记兴趣子元素对应的人像信息/物体信息。

识别系统将识别数据传输至兴趣子元素标记单元。兴趣子元素标记单元根据兴趣子元素所属的类型对兴趣子元素进行标记。

步骤1307,服务器判断兴趣子元素是否与视频发布者关联。

示意性的,兴趣子元素属于人物元素时,服务器判断该人物元素是否为视频发布者对应的人物元素,即判断视频中用户感兴趣的人物是否为视频发布者。若用户感兴趣的人物为视频发布者,则进入步骤1313;若用户感兴趣的人物不是视频发布者,则进入步骤1308。

步骤1308,服务器判断是否存在与兴趣子元素关联的视频内容。

当用户感兴趣的人物不是视频发布者,服务器继续判断是否存在与视频中的兴趣子元素相关联的视频内容。若存在与视频中的兴趣子元素相关联的视频内容,则进入步骤1309;若不存在与视频中的兴趣子元素相关联的视频内容,则进入步骤1313。

步骤1309,服务器调出用户帐号的信息。

当存在于视频中的兴趣子元素相关联的视频内容,服务器调出用户帐号的信息,并向终端发送该视频内容。

步骤1310,终端展示用户帐号的提示信息。

步骤1311,用户点开用户帐号的主页。

用户点击显示在终端上的用户帐号的提示信息,打开用户帐号的主页,在主页界面上显示用户帐号的信息以及用户帐号在短视频应用程序上发布的视频。

步骤1312,用户继续观看视频。

示意性的,用户通过点击视频播放服务器向用户推荐的关联视频,该关联视频是通过检测用户感兴趣的兴趣元素或兴趣子元素进行推荐的。

步骤1313,终端不展示内容。

当服务器判断兴趣子元素与视频发布者存在关联时,将不向终端发送调出的用户帐号的信息,终端也不展示相关内容。

当服务器判断不存在与兴趣子元素关联的视频内容,服务器也不向终端发送调出的用户帐号的信息,终端也不展示相关内容。

步骤1314,结束。

综上所述,本实施例的方法,通过根据眼动追踪的方式判断用户对视频中的产生兴趣的兴趣元素,并直接推荐相关用户帐号及内容,能够帮助用户更快速的查询到最感兴趣的内容,提高人机交互效率。

可以理解的是,上述步骤1304a至步骤1309可在观看一个视频的过程中反复执行,其中步骤1304a和步骤1304b可分别单独执行,也可组合执行,也可交替执行。

在一些实施中,利用上述实施例提供的信息推荐方法还可对用户不感兴趣的视频进行筛除。比如,用户观看如图5所示的视频,服务器根据眼球追踪数据判断用户对视频中的右侧舞蹈人员不感兴趣,服务器将不再向用户推荐关于该右侧舞蹈人员的相关视频。

图14是本申请一个示例性实施例提供的信息推荐装置的结构框图,该装置包括:

获取模块1410,用于获取目标客户端在播放第一视频的视频画面时的用户兴趣区域,第一视频是第一用户帐号发布的视频;

元素提取模块1420,用于从用户兴趣区域中提取兴趣元素,兴趣元素包括人物元素和物体元素中的至少一种;

所述元素提取模块1420,用于从兴趣元素中提取兴趣子元素;

信息推荐模块1430,用于响应于兴趣子元素与第二用户帐号关联,将第二用户帐号的信息推荐至目标客户端。

在一个可选的实施例中,所述元素提取模块1420,用于响应于兴趣元素属于人物元素,对兴趣元素进行划分,得到人物元素的头部元素、人物元素的上半身元素和人物元素的下半身元素;从头部元素、上半身元素和下半身元素中确定兴趣子元素。

在一个可选的实施例中,所述获取模块1410,用于响应于兴趣子元素属于头部元素,获取与头部元素匹配的第二视频;所述信息推荐模块1430,用于将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端;或,所述获取模块1410,用于响应于兴趣子元素属于所述上半身元素,获取与上半身元素匹配的第二视频;所述信息推荐模块1430,将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端;或,所述获取模块1410,用于响应于兴趣子元素属于下半身元素,获取与下半身元素匹配的第二视频;所述信息推荐模块1430,用于将第二视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

在一个可选的实施例中,所述获取模块1410,用于响应于兴趣子元素中包括人物元素对应的装饰元素,获取与装饰元素匹配的第三视频;所述信息推荐模块1430,用于将第三视频的发布者信息作为第二用户帐号的信息推荐至目标客户端。

在一个可选的实施例中,所述获取模块1410,用于获取眼球追踪数据;根据眼球追踪数据从视频画面中获取第一用户兴趣区域;或,获取屏幕操作数据;根据屏幕操作数据从视频画面中获取第二用户兴趣区域。

在一个可选的实施例中,眼球追踪数据包括注视点数据和眼动行为数据;

所述获取模块1410,用于获取注视点数据对应的第一兴趣值和眼动行为数据对应的第二兴趣值;所述元素提取模块1420,用于根据第一兴趣值和第二兴趣值从头部元素、上半身元素和下半身元素中确定兴趣子元素。

在一个可选的实施例中,注视点数据包括注视点位置,眼动行为数据包括注视行为;

所述获取模块1410,用于获取注视点位置所在的第一区域占第一视频的视频区域的面积比例,根据面积比例确定第一区域的第一兴趣值;或,获取注视点位置在第一区域内的注视时长,根据注视时长确定第一区域的第一兴趣值;响应于眼动行为属于注视行为且注视行为产生在第一区域,确定第一区域的第二兴趣值。

在一个可选的实施例中,所述元素提取模块1420,用于响应于兴趣元素属于物体元素,对兴趣元素进行划分,得到物体元素的标志元素和结构元素;从标志元素和结构元素中确定兴趣子元素。

在一个可选的实施例中,眼球追踪数据包括注视点数据和眼动行为数据;

所述获取模块1410,用于获取注视点数据对应的第三兴趣值和眼动行为数据对应的第四兴趣值;所述元素提取模块1420,用于根据第三兴趣值和第四兴趣值从标志元素和结构元素中确定兴趣子元素。

在一个可选的实施例中,注视点数据包括注视点位置,眼动行为数据包括注视行为;

所述获取模块1410,用于获取注视点位置所在的第二区域占第一视频的视频区域的面积比例,根据面积比例确定第二区域的第三兴趣值;或,获取注视点位置在第二区域内的注视时长,根据注视时长确定第二区域的第三兴趣值;响应于眼动行为属于注视行为且注视行为产生在第二区域,确定第二区域的第四兴趣值。

在一个可选的实施例中,眼球追踪数据包括注视点数据和眼动行为数据;

所述获取模块1410,用于获取注视点数据对应的第五兴趣值和眼动行为数据对应的第六兴趣值;所述元素提取模块1420,用于根据第五兴趣值和第六兴趣值确定第一视频中的兴趣元素。

在一个可选的实施例中,注视点数据包括注视点位置,眼动行为数据包括注视行为;

所述获取模块1410,用于获取注视点位置所在的第三区域占第一视频的视频区域的面积比例,根据面积比例确定第三区域的第五兴趣值;或,获取注视点位置在第三区域内的注视时长,根据注视时长确定第三区域的第五兴趣值;响应于眼动行为属于注视行为且注视行为产生在第三区域,确定第三区域的第六兴趣值。

在一个可选的实施例中,所述获取模块1410,用于获取放大操作数据对应的放大比例;所述获取模块1410,用于响应于放大比例大于比例阈值,将放大操作数据对应的元素确定为兴趣子元素。

在一个可选的实施例中,所述获取模块1410,用于获取放大区域呈放大状态的持续时长,放大区域与所述放大操作数据对应;所述元素提取模块1420,用于响应于持续时长大于时间阈值,将放大操作数据对应的元素确定为兴趣子元素。

在一个可选实施例中,所述获取模块1410,用于获取放大操作数据对应的放大面积;所述元素提取模块1420,用于响应于放大面积大于面积阈值,将放大操作数据对应的元素确定为兴趣子元素。

在一个可选的实施例中,所述信息推荐模块1430,用于根据视频热度对第二用户帐号发布的视频进行排序;根据排序从视频中提取视频热度排名前n的视频,n为正整数;将排名前n的视频推荐至目标客户端。

综上所述,本实施例提供的装置,通过获取用户在观看视频时的眼球追踪数据,利用眼球追踪数据确定用户对视频中的哪部分内容感兴趣,通过对兴趣元素的精细划分能够准确获取用户所感兴趣的视频内容,从而将与用户感兴趣的视频内容关联的第二用户帐号推荐给目标客户端(用户),简化了用户对感兴趣的相关视频进行搜索时的步骤,提高了人机交互效率。

通过对兴趣元素进行精细划分,使得服务器能够根据不同的兴趣子元素进一步确定用户感兴趣的视频,也使得兴趣视频的确定结果更加准确,从而使得服务器能够准确根据兴趣视频向客户端推荐第二用户帐号的信息。

通过获取与兴趣元素所属的类型对应的第二视频,从而确定发布该视频的第二用户帐号的信息,使得服务器能够准确向客户端推荐用户感兴趣的视频,提高了人机交互效率。

当兴趣子元素中包括装饰身体部位的装饰元素,将与装饰元素匹配的视频作为用户感兴趣的视频,从而将发布该视频的用户帐号作为第二用户帐号推荐给目标客户端。使得服务器向用户推荐的视频类型更加丰富多样,不局限于单一类型。

通过眼球追踪数据计算用户的视线在各个兴趣子元素对应的区域中的第一兴趣值和第二兴趣值,使得服务器能够根据兴趣值准确向目标客户端推荐第二用户帐号的信息。

通过多种判定条件综合判定第一视频中用户感兴趣的兴趣子元素,使得服务器的判定结果更加准确,从而使得服务器能够准确向目标客户端推荐第二用户帐号的信息。

通过获取与兴趣元素所属的类型对应的第二视频,从而确定发布该视频的第二用户帐号的信息,使得服务器能够准确向客户端推荐用户感兴趣的视频,提高了人机交互效率。

通过眼球追踪数据计算用户的视线在各个兴趣子元素对应的区域中的第三兴趣值和第四兴趣值,使得服务器能够根据兴趣值准确向目标客户端推荐第二用户帐号的信息。

通过多种判定条件综合判定第一视频中用户感兴趣的兴趣子元素,使得服务器的判定结果更加准确,从而使得服务器能够准确向目标客户端推荐第二用户帐号的信息。

图15是本申请另一个示例性实施例提供的信息推荐装置的结构框图,该装置包括:

显示模块1510,用于显示在播放第一视频时的视频画面,第一视频是由第一用户帐号发布的视频;

采集模块1520,用于采集眼球追踪数据和屏幕操作数据中的至少一种数据;

所述显示模块1510,用于在视频画面上显示第二用户帐号的信息,第二用户帐号与兴趣元素中的兴趣子元素关联,兴趣元素在视频画面中的用户兴趣区域中,用户兴趣区域是通过眼球追踪数据和屏幕操作数据中的至少一种数据得到的。

在一个可选的实施例中,所述显示模块1510,用于响应于接收到第二用户帐号的信息上的触发操作,显示第二用户帐号的主页界面,主页界面包括第二用户帐号发布的第二视频;或,响应于接收到第二用户帐号的信息上的触发操作,显示第二用户帐号发布的第二视频的视频画面,第二视频是第二用户帐号发布的视频中视频热度最高的视频。

综上所述,本实施例提供的装置,通过将服务器推荐的第二用户帐号的信息显示在视频画面上,使得用户能够更加直观地看到服务器推荐的第二用户帐号的信息,简化了用户的搜索过程,提高了人机交互效率。

通过用户对第二用户帐号的信息进行操作,用户可直接查看第二用户帐号在视频应用程序上的主页资料,或者查看第二用户帐号发布的视频热度最高的视频,以直观的方式向用户推荐其感兴趣的视频内容,提高了人机交互效率。

需要说明的是:上述实施例提供的信息推荐装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的信息推荐装置与信息推荐方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图16示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器可以如图2所示的计算机系统200中的服务器220。

服务器1600包括中央处理单元(cpu,centralprocessingunit)1601、包括随机存取存储器(ram,randomaccessmemory)1602和只读存储器(rom,readonlymemory)1603的系统存储器1604,以及连接系统存储器1604和中央处理单元1601的系统总线1605。服务器1600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(i/o系统,inputoutputsystem)1606,和用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1607。

基本输入/输出系统1606包括有用于显示信息的显示器1608和用于用户输入信息的诸如鼠标、键盘之类的输入设备1609。其中显示器1608和输入设备1609都通过连接到系统总线1605的输入输出控制器1610连接到中央处理单元1601。基本输入/输出系统1606还可以包括输入输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1607通过连接到系统总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。大容量存储设备1607及其相关联的计算机可读介质为服务器1600提供非易失性存储。也就是说,大容量存储设备1607可以包括诸如硬盘或者紧凑型光盘只读存储器(cd-rom,compactdiscreadonlymemory)驱动器之类的计算机可读介质(未示出)。

计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器(eprom,erasableprogrammablereadonlymemory)、带电可擦可编程只读存储器(eeprom,electricallyerasableprogrammablereadonlymemory)、闪存或其他固态存储其技术,cd-rom、数字通用光盘(dvd,digitalversatiledisc)或固态硬盘(ssd,solidstatedrives)、其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。其中,随机存取记忆体可以包括电阻式随机存取记忆体(reram,resistancerandomaccessmemory)和动态随机存取存储器(dram,dynamicrandomaccessmemory)。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1607可以统称为存储器。

根据本申请的各种实施例,服务器1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1600可以通过连接在系统总线1605上的网络接口单元1611连接到网络1612,或者说,也可以使用网络接口单元1611来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由cpu执行。

在一个可选的实施例中,提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的信息推荐方法。

在一个可选的实施例中,提供了一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的信息推荐方法。

可选地,该计算机可读存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、固态硬盘(ssd,solidstatedrives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(reram,resistancerandomaccessmemory)和动态随机存取存储器(dram,dynamicrandomaccessmemory)。上述本申请实施例序号仅为了描述,不代表实施例的优劣。

请参考图17,其示出了本申请一个示例性实施例提供的计算机设备1700的结构框图。该计算机设备1700可以是便携式移动终端,比如:智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器。计算机设备1700还可能被称为用户设备、便携式终端等其他名称。

通常,计算机设备1700包括有:处理器1701和存储器1702。

处理器1701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1701可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1701可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1701还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器1702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器1702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1701所执行以实现本申请实施例中提供的信息推荐方法。

在一些实施例中,计算机设备1700还可选包括有:外围设备接口1703和至少一个外围设备。具体地,外围设备包括:射频电路1704、触摸显示屏1705、摄像头1706、音频电路1707、定位组件1708和电源1709中的至少一种。

外围设备接口1703可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1701和存储器1702。在一些实施例中,处理器1701、存储器1702和外围设备接口1703被集成在同一芯片或电路板上;在一些其他实施例中,处理器1701、存储器1702和外围设备接口1703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路1704用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路1704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1704包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等。射频电路1704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路1704还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本申请对此不加以限定。

触摸显示屏1705用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏1705还具有采集在触摸显示屏1705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1701进行处理。触摸显示屏1705用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,触摸显示屏1705可以为一个,设置计算机设备1700的前面板;在另一些实施例中,触摸显示屏1705可以为至少两个,分别设置在计算机设备1700的不同表面或呈折叠设计;在再一些实施例中,触摸显示屏1705可以是柔性显示屏,设置在计算机设备1700的弯曲表面上或折叠面上。甚至,触摸显示屏1705还可以设置成非矩形的不规则图形,也即异形屏。触摸显示屏1705可以采用lcd(liquidcrystaldisplay,液晶显示器)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件1706用于采集图像或视频。可选地,摄像头组件1706包括前置摄像头和后置摄像头。通常,前置摄像头用于实现视频通话或自拍,后置摄像头用于实现照片或视频的拍摄。在本申请实施例中,前置摄像头用于在用户观看视频时,采集用户的眼球追踪数据。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能,主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能。在一些实施例中,摄像头组件1706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路1707用于提供用户和计算机设备1700之间的音频接口。音频电路1707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1701进行处理,或者输入至射频电路1704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备1700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1701或射频电路1704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1707还可以包括耳机插孔。

定位组件1708用于定位计算机设备1700的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件1708可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1709用于为计算机设备1700中的各个组件进行供电。电源1709可以是交流电、直流电、一次性电池或可充电电池。当电源1709包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,计算机设备1700还包括有一个或多个传感器1710。该一个或多个传感器1710包括但不限于:加速度传感器1711、陀螺仪传感器1714、压力传感器1713、指纹传感器1714、光学传感器1715以及接近传感器1716。

加速度传感器1711可以检测以计算机设备1700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1711可以用于检测重力加速度在三个坐标轴上的分量。处理器1701可以根据加速度传感器1711采集的重力加速度信号,控制触摸显示屏1705以横向视图或纵向视图进行用户界面的显示。加速度传感器1711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1714可以检测计算机设备1700的机体方向及转动角度,陀螺仪传感器1714可以与加速度传感器1711协同采集用户对计算机设备1700的3d动作。处理器1701根据陀螺仪传感器1714采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1713可以设置在计算机设备1700的侧边框和/或触摸显示屏1705的下层。当压力传感器1713设置在计算机设备1700的侧边框时,可以检测用户对计算机设备1700的握持信号,根据该握持信号进行左右手识别或快捷操作。当压力传感器1713设置在触摸显示屏1705的下层时,可以根据用户对触摸显示屏1705的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1714用于采集用户的指纹,以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1714可以被设置计算机设备1700的正面、背面或侧面。当计算机设备1700上设置有物理按键或厂商logo时,指纹传感器1714可以与物理按键或厂商logo集成在一起。

光学传感器1715用于采集环境光强度。在一个实施例中,处理器1701可以根据光学传感器1715采集的环境光强度,控制触摸显示屏1705的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1705的显示亮度;当环境光强度较低时,调低触摸显示屏1705的显示亮度。在另一个实施例中,处理器1701还可以根据光学传感器1715采集的环境光强度,动态调整摄像头组件1706的拍摄参数。

接近传感器1716,也称距离传感器,通常设置在计算机设备1700的正面。接近传感器1716用于采集用户与计算机设备1700的正面之间的距离。在一个实施例中,当接近传感器1716检测到用户与计算机设备1700的正面之间的距离逐渐变小时,由处理器1701控制触摸显示屏1705从亮屏状态切换为息屏状态;当接近传感器1716检测到用户与计算机设备1700的正面之间的距离逐渐变大时,由处理器1701控制触摸显示屏1705从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图17中示出的结构并不构成对计算机设备1700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从该计算机可读存储介质读取该计算机指令,该处理器执行该计算机指令,使得该计算机设备执行如上所述的信息推荐方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的可选的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1