基于视频流的直播交互方法及其相应的装置与流程

文档序号:11157588阅读:763来源:国知局
基于视频流的直播交互方法及其相应的装置与制造工艺

本发明涉及互联网技术领域,具体涉及一种基于视频流的直播交互方法及其相应的装置。



背景技术:

在网络技术日趋成熟的今天,网络互动直播逐渐被人们所了解。网络互动直播通常是指含有互动内容的网络直播,其经历了从早期的文字互动(聊天交流)到语音互动,再到视频互动的过程。由于互动的简单释义是互相作用、互相影响,因此网络互动直播难于在传统的广播、电视直播中实现。网络直播因其基于网络,继承并发展了因特网的特点,而网络直播的最大特点在于观众/听众的主动性的增加,在于直播过程中史无前例的互动性。

现有的技术方案中,通过用户观看主播的表演,根据观看到的主播的精彩表演来派送礼品,从而实现互动性。再比如,用户通过观看游戏主播的表演过程中,某一个游戏角色完成获胜或连续击杀等,此时,用户相应派送礼物或点赞以实现互动,该过程需要人为去判别主播是否完成相应的动作或游戏角色是否完成某个特定动作,增加了人为操作,智能性不高。

可见,现有技术在实现用户与主播端主播的互动性方面,操作繁琐,智能性不高,缺乏趣味性,降低用户的观看体验。



技术实现要素:

鉴于上述问题,本发明提出一种基于视频流的直播交互方法及其相应的装置。

本发明还提供一种用于执行本发明的基于视频流的直播交互方法的移动终端。

为解决上述问题,本发明采用如下各方面的技术方案:

第一方面,本发明提供一种基于视频流的直播交互方法,包括如下步骤:

对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物的特征变化信息,以此产生对应的动作事件;

依据该动作事件,确定为该动作事件预设的响应指令;

执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。

结合第一方面,在第一方面的第一种实现方式中,所述对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物的特征变化信息,以此产生对应的动作事件的步骤,包括如下具体步骤:

识别出所接收的各视频流的每个图像帧中的特征物;

当连续多个图像帧包含预设的所述特征物的特征时,确定该些图像帧各自所含特征之间的特征变化信息;

将所确定的特征变化信息与预设的动作事件参数模板进行匹配,当该特征变化信息与一个所述的参数模板相匹配时,产生该参数模板相对应的动作事件。

结合第一方面的第一种实现方式,在第一方面的第二种实现方式中,所述特征变化信息与所述参数模板具有相同的参数描述项,通过彼此对应的参数描述项进行比对实现彼此之间的匹配。

结合第一方面,在第一方面的第三种实现方式中,所述特征物为适于被以特征描述的所述视频流中的人物角色、物品角色、活动部件中任意之一,其相应的特征变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置和/或形状变化信息。

结合第一方面,在第一方面的第四种实现方式中,在对所述视频流图像进行图像识别时,调用为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态,以确定所述特征变化信息。

结合第一方面,在第一方面的第五种实现方式中,还包括如下步骤:

接收用户对直播间提供的特征物列表中的一个或多个的选定,将被选定的特征物确定为后续进行图像识别的特征物,该特征物列表所列的特征物,以所述视频流中与该特征物相对应的缩略图进行显示。

结合第一方面,在第一方面的第六种实现方式中,还包括如下步骤:

接收针对所述预设的动作事件的响应指令的配置,将该动作事件与其对应的响应指令进行关联性存储,以供依据该动作事件确定该响应指令。

结合第一方面,在第一方面的第七种实现方式中,所述依据该动作事件,确定为该动作事件预设的响应指令的步骤中,当且仅当所述动作事件达到预定产生次数时,确定所述的响应指令。

结合第一方面,在第一方面的第八种实现方式中,所述响应指令为如下任意指令:

用于向主播用户派发电子礼品的派送指令,该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息;

用于向主播用户发送预设文本的发送指令,该指令导致产生至少发送给所述主播用户包含所述文本的通知信息;

用于向直播间广播预设文本的广播指令,该指令导致直播间的多个用户接收到包含所述文本的通知信息。

第二方面,本发明提供一种基于视频流的直播交互装置,包括:

识别模块:用于对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物的特征变化信息,以此产生对应的动作事件;

确定模块:用于依据该动作事件,确定为该动作事件预设的响应指令;

发送模块:用于执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。

结合第二方面,在第二方面的第一种实现方式中,所述识别模块中,具体包括:

识别单元:用于识别出所接收的各视频流的每个图像帧中的特征物;

确定单元:用于当连续多个图像帧包含预设的所述特征物的特征时,确定该些图像帧各自所含特征之间的特征变化信息;

匹配单元:用于将所确定的特征变化信息与预设的动作事件参数模板进行匹配,当该特征变化信息与一个所述的参数模板相匹配时,产生该参数模板相对应的动作事件。

结合第二方面的第一实现方式,在第二方面的第二种实现方式中,所述特征变化信息与所述参数模板具有相同的参数描述项,通过彼此对应的参数描述项进行比对实现彼此之间的匹配。

结合第二方面,在第二方面的第三种实现方式中,所述特征物为适于被以特征描述的所述视频流中的人物角色、物品角色、活动部件中任意之一,其相应的特征变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置和/或形状变化信息。

结合第二方面,在第二方面的第四种实现方式中,在对所述视频流图像进行图像识别时,调用为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态,以确定所述特征变化信息。

结合第二方面,在第二方面的第五种实现方式中,还包括如下模块:

选定模块:用于接收用户对直播间提供的特征物列表中的一个或多个的选定,将被选定的特征物确定为后续进行图像识别的特征物,该特征物列表所列的特征物,以所述视频流中与该特征物相对应的缩略图进行显示。

结合第二方面,在第二方面的第六种实现方式中,包括如下步骤:

配置单元:用于接收针对所述预设的动作事件的响应指令的配置,将该动作事件与其对应的响应指令进行关联性存储,以供依据该动作事件确定该响应指令。

结合第二方面,在第二方面的第七种实现方式中,所述确定模块中,当且仅当所述动作事件达到预定产生次数时,确定所述的响应指令。

结合第二方面,在第二方面的第八种实现方式中,所述响应指令为如下任意指令:

用于向主播用户派发电子礼品的派送指令,该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息;

用于向主播用户发送预设文本的发送指令,该指令导致产生至少发送给所述主播用户包含所述文本的通知信息;

用于向直播间广播预设文本的广播指令,该指令导致直播间的多个用户接收到包含所述文本的通知信息。

第三方面,本发明提供一种移动终端,包括:

触敏显示器,用于显示用户界面,实现人机交互;

一个或多个处理器;

存储器;

一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行上述所述方法的模块。

相对于现有技术,本发明的技术方案至少具备如下优点:

本发明提出一种基于视频流的直播交互方法及其相应装置,通过利用图像识别技术识别当前视频流中人物角色或物品角色的动作信息以自动判定当前视频流中播放事件的状态,使得终端根据识别的动态变化信息,再结合与观看端用户的互动作出相应的反应,避免了每个环节都需要人去确认。

具体而言,本发明通过对当前视频流中人物角色或物品角色或活动部件的动态变化信息进行图像识别,以此动态变化信息产生对应的动作事件,并依据所述动作事件确定与之对应的响应指令以执行该指令来向直播间的至少一个用户发送响应该动作事件的反馈信息。

本发明的实施能够将图像识别技术应用于直播技术中,自动的识别当前视频流画面中的人物或物品的动态变化,通过图像识别技术来知晓当前视频流播放事件的进度或环节并自动发送对应的反馈信息,实现直播的自动交互,不需要人为去确认每一个事件环节,提高了用户的新鲜感,且操作简单,灵活性高。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明的一种基于视频流的直播交互方法实施例一流程框图;

图2为本发明的一种基于视频流的直播交互方法实施例二流程框图;

图3为本发明的一种基于视频流的直播交互装置实施例一的结构示意图;

图4为本发明的一种基于视频流的直播交互装置实施例二的结构示意图;

图5为本发明的一种移动终端部分结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S11、S12等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。

本领域普通技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本领域普通技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

本发明所述图片分类展示方法主要适用于智能手机终端或者智能平板终端等具有通信功能的终端,不限制于其操作系统的类型,可以是Android、IOS、WP、塞班等操作系统。

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参阅图1,本发明所提供一种基于视频流的直播交互方法中,具体的一种实施方式中,具体包括如下步骤:

S11、对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物的特征变化信息,以此产生对应的动作事件。

本发明实施例中,优选以下各具体步骤获取该视频流中特征物的特征变化信息,以此产生对应的动作事件:

其一、识别出所接收的各视频流的每个图像帧中的特征物;

所述特征物为选取用于提取其动态变化信息来判定当前视频流中播放事件的状态的参考物,其可以为所述视频流中的人物角色、物品角色、活动部件中任意之一,例如,当前的直播间主播或当前直播的游戏事件的游戏人物角色或当前直播赛事的参赛角色等。

其二、当连续多个图像帧包含预设的所述特征物的特征时,确定该些图像帧各自所含特征之间的特征变化信息;

对所述视频流中所述特征物进行识别时,具体识别其具备的特征的动态变化过程。当识别到连续多个图像帧包含预设的所述特征物的参考特征时,进一步识别该特征在不同图像帧之间的变化信息,所述特征物的变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置的变化、形状的变化、位置及形状的变化。

具体的,当连续多个图像帧播放时,其包含的特征物的特定特征发生位置的变化或形状的变化,则确定为该些图像帧各自所含特征之间的特征变化信息。

一种可能的应用场景中,例如,当前直播的为游戏事件,当识别到某个游戏角色的击杀动作时,该识别过程可具体通过识别该游戏角色持有的刀剑或其他器件的形状变化及该游戏角色手臂或身躯的位置变化来确定这一击杀动作的完成,当该动作完成时则记记录完成一次击杀动作即该游戏角色的特征变化信息。

其三、将所确定的特征变化信息与预设的动作事件参数模板进行匹配,当该特征变化信息与一个所述的参数模板相匹配时,产生该参数模板相对应的动作事件。

本发明实施例中,由所确定的特征变化信息产生对应的动作事件具体通过彼此的描述参数项进行匹配来实现。述特征变化信息与所述参数模板具有相同的参数描述项,通过彼此对应的参数描述项进行比对实现彼此之间的匹配。

例如,在上述游戏直播的应用场景中,所述击杀动作的参数描述项可以为:击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化,相对应的所述特征物的特征变化参数描述项为:特征物A的特征a的坐标变化、特征b的坐标变化、特征物B的形状变化,在该实施例中所述特征物A即击杀者、特征a为其手臂、特征b为其身躯中心点、特征物B为刀剑,也即参数描述项对应为:击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化。当识别到所述特征物的这一动态变化信息时,则确定为其完成一次击杀动作。

S12、依据该动作事件,确定为该动作事件预设的响应指令。

本发明实施例中,所述终端预存有所述动作事件与其响应指令的映射关系,以供依据该动作事件确定该响应指令。当识别到产生某一特定动作事件时,依据该映射关系表确定与之对应的响应指令,以便终端执行该指令以向直播间的至少一个用户发送响应该事件的反馈信息。

该映射关系中包含有动作事件的属性与响应指令的对应关系,一种可能的设计中,该映射关系中还包含动作事件发送的次数与响应指令的对应关系,该对应关系用于表征当且仅当所述动作事件达到预定产生次数时,确定所述的响应指令,一种可能的设计中,所述映射关系中包含有特定动作事件的不同发生次数对应不同的响应指令。

例如,在上述游戏直播的应用场景中,当识别到游戏角色M完成一次击杀时,预设的响应指令为一次点赞,并为该次击杀动作进行计数,当识别到其完成两次击杀动作时,预设的响应指令为派送一个礼品,并继续为该击杀动作计数以便终端为该击杀动作作出相应的反应时将所述派送礼品或点赞的反馈信息与游戏角色M完成击杀的次数一并显示于用户界面。

优选的,当接收针对所述预设的动作事件的响应指令的配置,将该动作事件与其对应的响应指令进行关联性存储,以实时刷新所述映射关系,以供依据该动作事件确定该响应指令。

S13、执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。

优选的,本发明实施例中所述响应指令具体为如下任意形式:

其一、用于向主播用户派发电子礼品的派送指令,该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息;

例如游戏直播中,当游戏角色完成连续五杀时,终端自动识别该游戏角色的这一动态变化信息,并自动为其派送一个成就展示或一个虚拟物品等电子礼品,所述终端执行该指令时,在直播间的至少一个用户发送派送包含该电子礼品的派送通知信息,优先的,将该游戏角色的击杀次数也显示于用户界面,当用户因为暂时离开或其他事情错过了该游戏角色的这一击杀场景时,其也可以通过用户界面上显示的通知信息及击杀成果信息来作出相应的互动,从而增强用户与直播方的互动性,提高了用户的新鲜感。

其二、用于向主播用户发送预设文本的发送指令,该指令导致产生至少发送给所述主播用户包含所述文本的通知信息;

在执行该响应指令时的所述预设的文本信息可以为记录直播视频流中动态变化信息的发生次数或为识别到某一动态变化信息而派送的虚拟物品的属性及数量等信息。该文本信息用于通知用户知晓这一动态变化过程及终端响应于该动态变化过程相应作出的反馈信息,如此情况下,用户不用实时人为去确认当前直播事件的进展并且用户可以由该通知信息啦推测已经发生的事件,以便用户实时跟进直播事件进展,提升用户体验。

其三、用于向直播间广播预设文本的广播指令,该指令导致直播间的多个用户接收到包含所述文本的通知信息。

在执行该响应指令时反馈的通知信息用于发送至所有的直播间用户,确保所有用户都接收到该通知信息。

需要注意的是,本发明实施例所述响应指令的类型也可以为其他指令,不仅限于上述三种指令,在此不做限定。

请参考图2,本发明的另一个实施例中,还包括一个步骤S14用于接收用户对直播间提供的特征物列表中的一个或多个的选定,将被选定的特征物确定为后续进行图像识别的特征物,该特征物列表所列的特征物,以所述视频流中与该特征物相对应的缩略图进行显示。

本发明实施例中,所述视频流中可能包含多个特征物,当多个特征物同时出现在同一画面时,用户可以选择特别关注某一特征物的动态变化信息,例如,某一赛事的直播过程中,用户只想关注其想关注的参赛者的表现,此时,用户可以通过选定特征物列表中的一个或多个进行关注。

具体的,终端提供选定特征物的用户交互界面以便用户选定特征物列表中的一个或多个,所述终端将被选定的特征物确定为后续进行图像识别的特征物,当对所述视频流进行图像识别时,对被选定的特征物进行动态信息变化的识别并记录以便终端根据该识别结果执行相应的响应指令以向直播间用户反馈对应的通知信息。

所述特征物列表所列的特征物,以所述视频流中与该特征物相对应的缩略图进行显示。所述特征物列表中还包含为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态,以确定所述特征变化信息。

例如,用户选定某一个或多个特征物为待识别特征物时,终端依据该特征物列表,确定该待识别的特征物的初始状态,以该初始状态为动态信息变化的参考基准点,在此基础上确定其后续的动态变化信息。

参考图3所示,为了进一步对本发明所述基于视频流的直播交互方法进行阐述,对其进行模块化说明,提供一种基于视频流的直播交互装置,一种实施例中,包括识别模块11、确定模块12、发送模块13,此外如图4所示实施例中,该装置还包括选定模块14。其中,

识别模块11:用于对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物的特征变化信息,以此产生对应的动作事件。

本发明实施例中,优选以下各具体单元获取该视频流中特征物的特征变化信息,以此产生对应的动作事件:

识别单元:用于识别出所接收的各视频流的每个图像帧中的特征物;

所述特征物为选取用于提取其动态变化信息来判定当前视频流中播放事件的状态的参考物,其可以为所述视频流中的人物角色、物品角色、活动部件中任意之一,例如,当前的直播间主播或当前直播的游戏事件的游戏人物角色或当前直播赛事的参赛角色等。

确定单元:用于当连续多个图像帧包含预设的所述特征物的特征时,确定该些图像帧各自所含特征之间的特征变化信息;

对所述视频流中所述特征物进行识别时,具体识别其具备的特征的动态变化过程。当识别到连续多个图像帧包含预设的所述特征物的参考特征时,进一步识别该特征在不同图像帧之间的变化信息,所述特征物的变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置的变化、形状的变化、位置及形状的变化。

具体的,当连续多个图像帧播放时,其包含的特征物的特定特征发生位置的变化或形状的变化,则确定为该些图像帧各自所含特征之间的特征变化信息。

一种可能的应用场景中,例如,当前直播的为游戏事件,当识别到某个游戏角色的击杀动作时,该识别过程可具体通过识别该游戏角色持有的刀剑或其他器件的形状变化及该游戏角色手臂或身躯的位置变化来确定这一击杀动作的完成,当该动作完成时则记记录完成一次击杀动作即该游戏角色的特征变化信息。

匹配单元:用于将所确定的特征变化信息与预设的动作事件参数模板进行匹配,当该特征变化信息与一个所述的参数模板相匹配时,产生该参数模板相对应的动作事件。

本发明实施例中,由所确定的特征变化信息产生对应的动作事件具体通过彼此的描述参数项进行匹配来实现。述特征变化信息与所述参数模板具有相同的参数描述项,通过彼此对应的参数描述项进行比对实现彼此之间的匹配。

例如,在上一游戏直播的应用场景中,所述击杀动作的参数描述项可以为:击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化,相对应的所述特征物的特征变化参数描述项为:特征物A的特征a的坐标变化、特征b的坐标变化、特征物B的形状变化,在该实施例中所述特征物A即击杀者、特征a为其手臂、特征b为其身躯中心点、特征物B为刀剑,也即参数描述项对应为:击杀者的手臂坐标变化、身躯中心点的坐标变化、刀剑的形状变化。当识别到所述特征物的这一动态变化信息时,则确定为其完成一次击杀动作。

确定模块12:依据该动作事件,确定为该动作事件预设的响应指令。

本发明实施例中,所述终端预存有所述动作事件与其响应指令的映射关系,以供依据该动作事件确定该响应指令。当识别到产生某一特定动作事件时,依据该映射关系表确定与之对应的响应指令,以便终端执行该指令以向直播间的至少一个用户发送响应该事件的反馈信息。

该映射关系中包含有动作事件的属性与响应指令的对应关系,一种可能的设计中,该映射关系中还包含动作事件发送的次数与响应指令的对应关系,该对应关系用于表征当且仅当所述动作事件达到预定产生次数时,确定所述的响应指令,一种可能的设计中,所述映射关系中包含有特定动作事件的不同发生次数对应不同的响应指令。

例如,在上述游戏直播的应用场景中,当识别到游戏角色M完成一次击杀时,预设的响应指令为一次点赞,并为该次击杀动作进行计数,当识别到其完成两次击杀动作时,预设的响应指令为派送一个礼品,并继续为该击杀动作计数以便终端为该击杀动作作出相应的反应时将所述派送礼品或点赞的反馈信息与游戏角色M完成击杀的次数一并显示于用户界面。

优选的,当配置单元接收针对所述预设的动作事件的响应指令的配置时,将该动作事件与其对应的响应指令进行关联性存储,以实时刷新所述映射关系,以供依据该动作事件确定该响应指令。

发送模块13:用于执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。

优选的,本发明实施例中所述响应指令具体为如下任意形式:

其一、用于向主播用户派发电子礼品的派送指令,该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息;

例如游戏直播中,当游戏角色完成连续五杀时,终端自动识别该游戏角色的这一动态变化信息,并自动为其派送一个成就展示或一个虚拟物品等电子礼品,所述终端执行该指令时,在直播间的至少一个用户发送派送包含该电子礼品的派送通知信息,优先的,将该游戏角色的击杀次数也显示于用户界面,当用户因为暂时离开或其他事情错过了该游戏角色的这一击杀场景时,其也可以通过用户界面上显示的通知信息及击杀成果信息来作出相应的互动,从而增强用户与直播方的互动性,提高了用户的新鲜感。

其二、用于向主播用户发送预设文本的发送指令,该指令导致产生至少发送给所述主播用户包含所述文本的通知信息;

在执行该响应指令时的所述预设的文本信息可以为记录直播视频流中动态变化信息的发生次数或为识别到某一动态变化信息而派送的虚拟物品的属性及数量等信息。该文本信息用于通知用户知晓这一动态变化过程及终端响应于该动态变化过程相应作出的反馈信息,如此情况下,用户不用实时人为去确认当前直播事件的进展并且用户可以由该通知信息推测已经发生的事件等,以便用户实时跟进直播事件进展,提升用户体验。

其三、用于向直播间广播预设文本的广播指令,该指令导致直播间的多个用户接收到包含所述文本的通知信息。

执行该响应指令时反馈的通知信息用于发送至所有的直播间用户,确保所有用户都接收到该通知信息。

需要注意的是,本发明实施例所述响应指令的类型也可以为其他指令,不仅限于上述三种指令,在此不做限定。

请参考图4,本发明的另一个实施例中,还包括一个选定模块14用于接收用户对直播间提供的特征物列表中的一个或多个的选定,将被选定的特征物确定为后续进行图像识别的特征物,该特征物列表所列的特征物,以所述视频流中与该特征物相对应的缩略图进行显示。

本发明实施例中,所述视频流中可能包含多个特征物,当多个特征物同时出现在同一画面时,用户可以选择特别关注某一特征物的动态变化信息,例如,某一赛事的直播过程中,用户只想关注其想关注的参赛者的表现,此时,用户可以通过选定特征物列表中的一个或多个进行关注。

具体的,终端提供选定特征物的用户交互界面以便用户选定特征物列表中的一个或多个,所述终端将被选定的特征物确定为后续进行图像识别的特征物,当对所述视频流进行图像识别时,对被选定的特征物进行动态信息变化的识别并记录以便终端根据该识别结果执行相应的响应指令以向直播间用户反馈对应的通知信息。

所述特征物列表所列的特征物,以所述视频流中与该特征物相对应的缩略图进行显示。所述特征物列表中还包含为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态,以确定所述特征变化信息。

例如,用户选定某一个或多个特征物为待识别特征物时,终端依据该特征物列表,确定该待识别的特征物的初始状态,以该初始状态为动态信息变化的参考基准点,在此基础上确定其后续的动态变化信息。

结合上述的实施例可知,本发明最大的效果在于,本发明通过对对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物如人物角色、物品角色或活动部件的特征动态变化信息,当识别到预存的特征物列表的某一特征物的动态变化信息与预设的动作事件的参数相匹配时,则产生对应的动作事件,依据该动作事件,执行预设的该动作事件相对应的响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。

通过本发明的实施,终端可以自动识别直播间直播事件的变化过程或进展,并根据识别的事件的变化过程执行相应的自动交互操作,避免了每一事件的进展需要用户确认,增强了方案的灵活性及易操作性。另外,用户可以根据终端发送的自动交互后的通知信息与主播进行互动,从而增强用户与直播方的互动性,提高了用户的新鲜感,提升用户体验。

本发明实施例还提供一种了一种移动终端,如图5所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例图片分类展示方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:

图5示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图5,手机包括:触敏显示器0513、处理器0511、存储器0514等部件。本领域技术人员可以理解,图5中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

下面结合图5对手机的各个构成部件进行具体的介绍:

存储器0514可用于存储软件程序以及模块,处理器0511通过运行存储在存储器0514的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器0514可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器0514可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

触敏显示器0513可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器,并能接收处理器发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏显示器。

触敏显示器0513可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单,如信息编辑界面等。触敏显示器0513可包括显示面板,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置触敏显示器。进一步的,当触敏显示器0513检测到在其上或附近的触摸操作后,传送给处理器以确定触摸事件的类型,随后处理器根据触摸事件的类型在触敏显示器上提供相应的视觉输出。

手机还可包括至少一种传感器0512,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在手机移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

处理器0511是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器0514内的软件程序和/或模块,以及调用存储在存储器0514内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器0511可包括一个或多个处理单元;优选的,处理器0511可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器0511中。

手机还包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理系统与处理器0511逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。

在本发明实施例中,该终端所包括的处理器0511还具有以下功能:

对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物的特征变化信息,以此产生对应的动作事件;

依据该动作事件,确定为该动作事件预设的响应指令;

执行所述响应指令以向直播间的至少一个用户发送响应该动作事件的反馈信息。

所述对所接收的主播用户的视频流进行图像识别,获取该视频流中特征物的特征变化信息,以此产生对应的动作事件的步骤,包括如下具体步骤:

识别出所接收的各视频流的每个图像帧中的特征物;

当连续多个图像帧包含预设的所述特征物的特征时,确定该些图像帧各自所含特征之间的特征变化信息;

将所确定的特征变化信息与预设的动作事件参数模板进行匹配,当该特征变化信息与一个所述的参数模板相匹配时,产生该参数模板相对应的动作事件。

所述特征变化信息与所述参数模板具有相同的参数描述项,通过彼此对应的参数描述项进行比对实现彼此之间的匹配。

所述特征物为适于被以特征描述的所述视频流中的人物角色、物品角色、活动部件中任意之一,其相应的特征变化信息为该人物角色、物品角色、或活动部件在该视频流的多个连续图像帧所表现的位置和/或形状变化信息。

在对所述视频流图像进行图像识别时,调用为特征物预设的参考特征以便在视频流图像中确定所述特征物的初始状态,以确定所述特征变化信息。

接收用户对直播间提供的特征物列表中的一个或多个的选定,将被选定的特征物确定为后续进行图像识别的特征物,该特征物列表所列的特征物,以所述视频流中与该特征物相对应的缩略图进行显示。

接收针对所述预设的动作事件的响应指令的配置,将该动作事件与其对应的响应指令进行关联性存储,以供依据该动作事件确定该响应指令。

所述依据该动作事件,确定为该动作事件预设的响应指令的步骤中,当且仅当所述动作事件达到预定产生次数时,确定所述的响应指令。

所述响应指令为如下任意指令:

用于向主播用户派发电子礼品的派送指令,该指令导致产生至少发送给所述主播用户包含派送所述电子礼品的通知信息;

用于向主播用户发送预设文本的发送指令,该指令导致产生至少发送给所述主播用户包含所述文本的通知信息;

用于向直播间广播预设文本的广播指令,该指令导致直播间的多个用户接收到包含所述文本的通知信息。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述图片分类展示方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和图片分类展示方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种图片分类展示方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例图片分类展示方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上对本发明所提供的一种移动终端进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1