基于机器人的音视频宣传方法和系统与流程

本发明实施例涉及智能移动机器人技术领域，尤其涉及一种基于机器人的音视频宣传方法和系统。

背景技术：

近年来，随着机器人技术的迅猛发展，在很多应用场合中都开始应用机器人，一定程度上替代了人工所进行的劳动。相对于传统的工业机器人来说，近年来，应用于服务行业的服务机器人渐渐进入人们的视野。

目前，在诸如企业、会展等场所使用机器人的主要目的是迎宾，一般通过设置机器人具有一定的人机交互功能来实现迎宾功能，对机器人的使用模式单一。

另外，目前的诸如电视剧、电影等影视作品的宣传，多通过电视、网页、海报的方式进行宣传，宣传方式单一，效果不佳。

技术实现要素：

本发明实施例提供一种基于机器人的音视频宣传方法和系统，基于机器人实现音视频的宣传，扩展了机器人的使用模式，使得音视频的宣传效果更加生动、智能。

本发明实施例提供一种基于机器人的交互方法，包括：

通过第一显示屏幕播放音视频，并获取所述音视频中人物的情绪特征；

从预先建立的表情图像库中，确定与所述情绪特征对应的至少一个表情图像；

通过第二显示屏幕显示所述至少一个表情图像，其中，所述机器人为人形机器人，所述第二显示屏幕位于所述机器人的头部区域。

本发明实施例提供一种音视频宣传系统，设置在机器人中，包括：

第一播放模块，用于通过第一显示屏幕播放音视频；

获取模块，用于获取所述音视频中人物的情绪特征；

确定模块，用于从预先建立的表情图像库中，确定与所述情绪特征对应的至少一个表情图像；

第二播放模块，用于通过第二显示屏幕显示所述至少一个表情图像，其中，所述机器人为人形机器人，所述第二显示屏幕位于所述机器人的头部区域。

本发明实施例提供的基于机器人的音视频宣传方法和系统，在人形机器人身体的不同位置分别设置不同的显示屏幕，比如包括位于胸前的第一显示屏幕和位于头部的第二显示屏幕。机器人中可以预先存储有要播放的音视频，需要播放该音视频时，可以通过第一显示屏幕播放该音视频。而且，在播放的过程中，通过获取音视频中人物的情绪特征，进而匹配获得与该情绪特征对应的表情图像，通过第二显示屏幕显示出该表情图像，从而达到了机器人播放音视频的同时，相应地做出对应表情展示的效果，扩展了机器人的使用模式，也提高了音视频宣传的生动性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于机器人的音视频宣传方法实施例一的流程图；

图2为本发明实施例提供的基于机器人的音视频宣传方法实施例二的流程图；

图3为本发明实施例提供的基于机器人的音视频宣传方法实施例三的流程图；

图4为本发明实施例提供的基于机器人的音视频宣传方法实施例四的流程图；

图5为本发明实施例提供的音视频宣传系统实施例一的结构示意图；

图6为本发明实施例提供的音视频宣传系统实施例二的结构示意图；

图7为本发明实施例提供的音视频宣传系统实施例三的结构示意图；

图8为本发明实施例提供的音视频宣传系统实施例四的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1为本发明实施例提供的基于机器人的音视频宣传方法实施例一的流程图，该方法的执行主体为机器人，具体来说是机器人中设置的各功能模块，各功能模块可以实现为软件、硬件或软件和硬件的组合。如图1所示，该方法包括如下步骤：

步骤101、通过第一显示屏幕播放音视频，并获取所述音视频中人物的情绪特征。

本发明各实施例中，根据实际的音视频宣传需求，可以在相应的场地设置多个可以移动行走的人形机器人。比如在影院大厅、宣传舞台、人口流动量比较大的地铁口附近、商场等场地。

可以在人形机器人身体的不同位置分别设置不同的显示屏幕，比如包括位于胸前的第一显示屏幕和位于头部的第二显示屏幕。机器人中可以预先存储有要播放的音视频，需要播放该音视频时，可以通过第一显示屏幕播放该音视频，即在第一显示屏幕上显示播放窗口，以用于播放该音视频。

在播放音视频的过程中，为了增强互动效果，可以获取音视频中人物的情绪特征，进而令机器人在另一位于头部区域的第二显示屏幕上显示与该情绪特征对应的表情图像，生动地体现机器人的感情变化。

在一个可选实施例中，获取音视频中人物的情绪特征，可以通过如下方式实现：

根据预先建立的播放进度与情绪特征的对应关系，以及播放的音视频的当前播放进度，确定与当前播放进度对应的情绪特征。

在该实现方式下，相当于比如音视频的提供方或者机器人的维护者预先通过一定的方式已经获取了音视频中人物的情绪特征，并将获得的情绪特征与获取该情绪特征时对应的播放进度进行了关联，将体现情绪特征和播放进度的对应关系的数据库或列表预先存储在机器人中。当机器人播放该音视频时，基于播放进度，查询上述对应关系，以获得与当前播放进度对应的情绪特征。其中，上述的一定的方式与如下可选获取情绪特征的方式相同，仅是获取的时机和主体不同。

在另一个可选实施例中，获取音视频中人物的情绪特征，可以是机器人实时识别获取的，可以通过如下方式实现：

对音视频中人物的人脸图像进行表情识别，获取对应的表情特征；和/或，对音视频的声音进行语气识别，获取对应的语气特征。

实际上，音视频中可能包含一个或多个人物图像帧，可以依次针对所有的人物图像帧都进行情绪特征的识别获取处理，当然，当包含多个人物图像的时候，可选的，可以根据实际需求选定音视频中包含的特定的一个或几个人物为目标人物，从而针对选定的目标人物对应的目标人物图像帧，获取其对应的情绪特征。此时，可以首先对音视频进行图像帧的切分处理，得到音视频中包含的各个图像帧，继而依次从各图像帧中识别出包含目标人物或包含人物的图像帧，进而每在识别出的一个人物图像帧时，识别其中是否具有预设的情绪特征。其中，对于人物图像帧的识别，可以是基于目前已经存在的各种人脸检测与识别方式实现。

一般的，获取音视频中人物的情绪特征，相当于识别人物图像帧是否具有一定的情绪特征，其中，情绪特征包括如下特征中的至少一种：表情特征、语音特征。

具体的，对于表情特征，该表情特征比如是表征人物喜、怒、哀、乐等表情的特征。实际实现时，可以先对人物图像帧进行关键点特征检测，以获得人物图像帧中包含的各关键点特征，比如眼睛特征、嘴部特征等，继而通过对检测到的关键点特征进行表情类别分类处理，以确定该人物图像帧是否具有某类表情特征。其中，对于人脸关键点检测、表情识别的实现方式可以采用现有的相关检测、识别模型实现，本实施例不赘述。

对于语音特征，主要是识别音视频中的音频信号中是否包含预设的语音特征，比如笑声、哭声、吼声、尖叫声等，可以通过预先训练获得的声音模型进行识别实现。

步骤102、从预先建立的表情图像库中，确定与所述情绪特征对应的至少一个表情图像。

步骤103、通过第二显示屏幕显示所述至少一个表情图像。

本实施例中，可以预先建立并存储在机器人中一个表情图像库，该表情图像库中可以按照表情类别分别存储有不同表情类别对应的表情图像，该表情图像可以是预先设计好的卡通表情。其中，每种表情类别对应的表情图像可以是一个或多个，每种表情类别与每种情绪特征对应。从而，当获取到某种情绪特征后，可以查询该表情图像库以获得对应的至少一个表情图像，进而，通过机器人头部的第二显示屏幕显示该至少一个表情图像。

由于第二显示屏幕设置在人形机器人的头部，具体的，该第二显示屏幕相当于机器人的脸，在其上显示与播放的音视频中人物的情绪特征对应的表情图像，可以增加互动效果。

本实施例中，在人形机器人身体的不同位置分别设置不同的显示屏幕，比如包括位于胸前的第一显示屏幕和位于头部的第二显示屏幕。机器人中可以预先存储有要播放的音视频，需要播放该音视频时，可以通过第一显示屏幕播放该音视频。而且，在播放的过程中，通过获取音视频中人物的情绪特征，进而匹配获得与该情绪特征对应的表情图像，通过第二显示屏幕显示出该表情图像，从而达到了机器人播放音视频的同时，相应地做出对应表情展示的效果，扩展了机器人的使用模式，也提高了音视频宣传的生动性。

机器人除了在播放音视频时可以显示上述表情图像之外，还可以提供与该音视频相关的交互功能，下面结合图2-图4所示实施例介绍用户可以基于该交互功能所进行的交互操作。

图2为本发明实施例提供的基于机器人的音视频宣传方法实施例二的流程图，如图2所示，在图1所示实施例的基础上，可选的，在步骤103之后，还可以包括如下步骤：

步骤201、检测到用户靠近时，通过第一显示屏幕显示提示信息，提示信息用于提示是否开启与音视频对应的游戏。

步骤202、若接收到确认开启与音视频对应的游戏的响应，则在第一显示屏幕上显示游戏互动窗口，并停止音视频的播放或以小播放窗口的方式播放音视频。

本实施例中，为进一步增加互动效果，机器人除了提供播放音视频以及显示与音视频中人物的情绪特征对应的表情图像外，还可以提供用户与该音视频对应的游戏供有兴趣的用户体验。

具体来说，当机器人检测到周围有用户存在时，通过比如位于胸前的第一显示屏幕提示用户是否开启与正在播放的音视频对应的游戏。其中，对于附近是否存在用户即对于附近人体的检测，可以是基于机器人上安装的比如红外检测装置实现的。其中，与音视频对应的游戏，可以是基于该音视频开发的相应游戏。

当接收到用户通过语音或按键等输入方式输入的确认响应时，在第一显示屏幕上显示游戏互动窗口，以供该用户进行游戏操作。此时，对于正在播放的音视频来说，可以停止音视频的播放或以小播放窗口的方式播放音视频。

本实施例中，机器人基于对周围是否存在用户的检测以提示用户是否开启游戏应用，当用户确定开启时，显示游戏窗口以供用户操作，使得机器人并不仅局限于音视频播放、表情图像显示的功能，对机器人的使用模式进一步扩展，而且还可以吸引更多的用户关注该音视频，增强了音视频的宣传效果。

图3为本发明实施例提供的基于机器人的音视频宣传方法实施例三的流程图，在图1所示实施例基础上，如图3所示，可选的，步骤103之后，还可以包括如下步骤：

步骤301、响应于用户在第一显示屏幕上显示的音视频播放窗口上触发的互动操作指令，显示互动区域。

步骤302、接收并显示用户在所述互动区域内输入的互动信息。

本实施例中，机器人还提供用户针对播放的音视频进行诸如评论、投票等互动操作。

具体地，在第一显示屏幕上的音视频播放窗口播放音视频的过程中，用户可以基于自己的需求，进行发布自己关于该音视频的评论，投票支持自己喜爱的明星等互动操作。此时，音视频播放窗口中显示的播放界面上除了音视频之外，还可以包括诸如发布评论、投票等互动操作按钮，用户通过点击操作而触发相应的互动操作指令。机器人基于接收到的互动操作指令，在音视频播放窗口中显示相应的互动区域，比如评论区域、投票区域。

可以理解的是，本实施例中，可以在没有用户操作时以全屏方式显示音视频，并不显示与其相关的互动区域，以提高用户的观看体验。而当有用户触发上述互动操作指令时，才显示对应的互动区域，此时，第一显示屏幕上用于显示音视频画面的区域相对变小。

在显示互动区域后，用户可以在该互动区域进行互动操作，比如输入评论内容、进行投票等。机器人基于用户的互动操作，在互动区域中显示用户的互动操作结果。

可选的，机器人当检测到用户一定时间内没有进行互动操作，或者进行了一定的互动操作后，在一定时间内没有接收到进一步的后续互动操作，则隐藏互动区域，转而全屏显示音视频播放画面。

本实施例中，机器人在播放音视频的同时，基于用户触发的互动操作指令，显示相应的互动区域，以接收并显示用户输入的互动信息，增强了人机互动效果。

图4为本发明实施例提供的基于机器人的音视频宣传方法实施例四的流程图，在图1所示实施例基础上，如图4所示，可选的，步骤103之后，还可以包括如下步骤：

步骤401、响应于用户触发的订票请求，对订票请求进行处理。

本实施例中，机器人可以设置在比如影院大厅中。目前应用于影院的多为取票自助终端设备，而如果用户并没有预先网上订票，达到影院才发现柜台排队买票的人很多，当前手机终端的网络信号又不好，无法实现网络订票时，用户只能选择排队在柜台买票或放弃观看。

面对该问题，本实施例中，可以在影院大厅放置多台机器人，机器人可以播放比如某部上映影片的音视频片段，以起到影片宣传的效果，同时，该机器人还提供订票服务。因此，用户如果在观看到该音视频之后，想要买票观看对应的影片，可以在机器人上触发订票请求，响应用户的订票请求，机器人便按照订票的处理逻辑，进行订票处理。可以理解的是，用户的购票行为并不限定在购票与正在播放的音视频对应的影片。

本实施例中，在机器人中设置订票功能，当多个机器人应用在影院场景中时，基于该订票功能，用户可以方便地进行自助订票，无需柜台排队购票，或者缓解柜台购票的压力，扩展了机器人的使用模式的同时，还可以提高购票效率。

图5为本发明实施例提供的音视频宣传系统实施例一的结构示意图，该系统设置在机器人中，如图5所示，包括：第一播放模块11、获取模块12、确定模块13、第二播放模块14。

第一播放模块11，用于通过第一显示屏幕播放音视频。

获取模块12，用于获取所述音视频中人物的情绪特征。

确定模块13，用于从预先建立的表情图像库中，确定与所述情绪特征对应的至少一个表情图像。

第二播放模块14，用于通过第二显示屏幕显示所述至少一个表情图像，其中，所述机器人为人形机器人，所述第二显示屏幕位于所述机器人的头部区域。

可选的，所述获取模块12具体用于：根据预先建立的播放进度与情绪特征的对应关系，以及所述音视频的当前播放进度，确定与所述当前播放进度对应的情绪特征。

或者可选的，所述获取模块12具体用于：对所述音视频中人物的人脸图像进行表情识别，获取对应的表情特征；和/或，对所述音视频的声音进行语气识别，获取对应的语音特征。

图5所示系统可以执行图1所示实施例的方法，实现原理和技术效果参考图1所示实施例，不再赘述。

图6为本发明实施例提供的音视频宣传系统实施例二的结构示意图，在图5所示实施例基础上，如图6所示，还包括：

检测模块21，用于检测是否有用户靠近。

所述第一播放模块11还用于：在所述检测模块21检测到用户靠近时，通过所述第一显示屏幕显示提示信息，所述提示信息用于提示是否开启与所述音视频对应的游戏；若接收到确认开启与所述音视频对应的游戏的响应，则在所述第一显示屏幕上显示游戏互动窗口，并停止所述音视频的播放或以小播放窗口的方式播放所述音视频。

图6所示系统可以执行图2所示实施例的方法，实现原理和技术效果参考图2所示实施例，不再赘述。

图7为本发明实施例提供的音视频宣传系统实施例三的结构示意图，在图5所示实施例基础上，如图7所示，所述第一播放模块11还用于：响应于用户在所述第一显示屏幕上显示的音视频播放窗口上触发的互动操作指令，显示互动区域。

所述系统还包括：接收模块31，用于接收所述用户在所述互动区域内输入的互动信息。

所述第一播放模块11还用于：显示所述用户在所述互动区域内输入的互动信息。

图7所示系统可以执行图3所示实施例的方法，实现原理和技术效果参考图3所示实施例，不再赘述。

图8为本发明实施例提供的音视频宣传系统实施例四的结构示意图，在图5所示实施例基础上，如图8所示，该系统还包括：

订票模块41，用于响应于用户触发的订票请求，对所述订票请求进行处理。

图8所示系统可以执行图4所示实施例的方法，实现原理和技术效果参考图4所示实施例，不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。

而且可以理解的是，虽然本发明实施例从如何使用机器人来提高服务处理效率的方法的角度进行了描述，但是，实现该方法的机器人亦在本发明权利要求的覆盖范围内。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。