一种基于3D虚拟观众的交互方法、系统、装置和存储介质与流程

本发明涉及视频数据处理领域，尤其涉及一种基于3d虚拟观众的交互方法、系统、装置和存储介质。

背景技术：

随着媒体技术的发展以及移动智能终端的普及，现在出现越来越多的媒体节目，用户可以轻松地通过移动智能终端点播不同的媒体节目，观众在观看节目时，可以通过弹幕对节目进行留言评论，提高观众的观看体验；同时，播放平台也可以获取观众的反应信息，有助与节目的调整。

现有的技术，在显示弹幕时，都是控制弹幕从屏幕的一端移动至屏幕的另一端，当弹幕比较多时，观众难以查看自己的弹幕是否已经发送，且不利于观众了解相关弹幕信息是谁发送的，降低了观众的操作体验。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种

本发明所采用的第一技术方案是：

一种基于3d虚拟观众的交互方法，包括以下步骤：

获取用户终端上传的图片信息，并根据图片信息生成3d虚拟图像；

获取用户终端上传的弹幕信息后，结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示。

进一步，所述图片信息为人脸图片，所述获取用户终端上传的图片信息，并根据图片信息生成3d虚拟图像这一步骤，具体包括以下步骤：

获取用户终端上传的人脸图片，结合人脸图片和预设的人体模型生成初级的3d虚拟图像；

获取设置信息，结合设置信息和初级的3d虚拟图像生成最终的3d虚拟图像。

进一步，还包括建立3d虚拟观众席的步骤，所述建立3d虚拟观众席的步骤具体为：

按照3d虚拟图像的生成顺序，依次将3d虚拟图像渲染至预设的3d座椅上，以生成3d虚拟观众席。

进一步，所述获取用户终端上传的弹幕信息后，结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示这一步骤，具体包括以下步骤：

将预设的触发信息发送至用户终端，以使用户终端上显示输入框；

获取通过输入框上传的弹幕信息后，结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示。

进一步，所述结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示这一步骤，具体为：

在3d虚拟图像渲染出预设格式的显示框，根据弹幕信息在显示框上动态显示对应的弹幕。

进一步，还包括弹幕管理步骤，所述弹幕管理步骤具体为：

在获得弹幕信息后，对弹幕信息进行自动识别并判断弹幕信息是否符合要求，以及在判断到弹幕信息不符合要求时，删除该弹幕信息。

本发明所采用的第二技术方案是：

一种基于3d虚拟观众的交互系统，包括：

图片上传模块，用于获取用户终端上传的图片信息，并根据图片信息生成3d虚拟图像；

弹幕上传模块，用于获取用户终端上传的弹幕信息后，结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示。

进一步，所述图片信息为人脸图片，所述图片上传模块包括图片上传单元和设置单元；

所述图片上传单元用于获取用户终端上传的人脸图片，结合人脸图片和预设的人体模型生成初级的3d虚拟图像；

所述设置单元用于获取设置信息，结合设置信息和初级的3d虚拟图像生成最终的3d虚拟图像。

进一步，还包括观众席建立模块，所述观众席建立模块具体用于按照3d虚拟图像的生成顺序，依次将3d虚拟图像渲染至预设的3d座椅上，以生成3d虚拟观众席。

本发明所采用的第三技术方案是：

一种计算机代码自动生成装置，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行上所述方法。

本发明所采用的第四技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过将弹幕信息和3d虚拟图像进行匹配渲染，可以清晰地让观众了解到自己发送的弹幕是否已经发送，且可以了解到其他的弹幕的发送情况，提高了观众的观看体验，间接地提高观看乐趣。

附图说明

图1是本发明一种基于3d虚拟观众的交互方法的步骤流程图；

图2是本发明一种基于3d虚拟观众的交互系统的结构框图。

具体实施方式

如图1所示，本实施例提供了一种基于3d虚拟观众的交互方法，包括以下步骤：

s1、获取用户终端上传的图片信息，并根据图片信息生成3d虚拟图像；

s2、获取用户终端上传的弹幕信息后，结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示。

本实施例中，观众通过app或链接连接至播放平台，比如客户预先在移动智能终端上安装有app，通过app点击登录对应的节目，也可以通过点击url链接进入节目平台。进入节目平台后，观众通过智能终端上传图片信息，所述图片信息可以为自拍照、画像或者卡通图片等；播放云平台接收到图片信息后，根据图片信息生成虚拟图像，比如虚拟成一个卡通形象，或一个大头娃形象。在节目播放过程中，节目主持人可以与观众进行互动，观众通过上传弹幕回应进行，当观众上传弹幕信息后，将弹幕信息与对应的3d虚拟图像进行匹配，并在显示画面上渲染出对应的弹幕。其中，所述3d虚拟图像进行匹配的步骤可以通过以下方式进行实现，第一种方式为：在3d虚拟图像的头部位置或其他位置弹出显示框，在显示框内显示弹幕内容。第二种方式为：当需要显示弹幕时，动态显示3d虚拟图像的嘴巴，再动态渲染弹幕从嘴巴里吐出来。第三种方式为：弹幕还是从屏幕的一端移动至屏幕的另一端，但是弹幕的前面位置显示有该3d虚拟图像的缩小版，通过3d虚拟图像可以了解该弹幕是谁发送的。

通过上述方式，可以清晰地让观众了解到自己发送的弹幕是否已经发送出来，且可以了解到其他的弹幕是谁发的，提高了观众的观看体验，间接地提高观看乐趣。

其中，所述图片信息为人脸图片，所述步骤s1具体包括步骤s11～s12：

s11、获取用户终端上传的人脸图片，结合人脸图片和预设的人体模型生成初级的3d虚拟图像；

s12、获取设置信息，结合设置信息和初级的3d虚拟图像生成最终的3d虚拟图像。

s13、按照3d虚拟图像的生成顺序，依次将3d虚拟图像渲染至预设的3d座椅上，以生成3d虚拟观众席。

终端用户将人脸图片上传至播放平台后，播放平台根据人脸图片进行人脸识别判断，判断是否符合要求，比如终端用户上传了宠物的图片，则这种图片不符合要求，则该图片不能用于生成虚拟图像。具体地，在识别人脸后，对人脸图片进行适当的修剪，以使人脸的尺寸适中，再结合人脸图片和预设的人体模型生成初级的3d虚拟图像，此时的3d虚拟图像是一个比较简单的形象，比如观众参加的是一场篮球比赛节目，观众可以设置该3d虚拟图像穿上对应队员的衣服，以支持对应的球队。设置完成3d虚拟图像后，将成3d虚拟图像渲染至预设的3d座椅上，并生成3d虚拟观众席，其中，所述3d座椅可以为真实的座椅，也可以为虚拟的座椅；当3d座椅为真实的座椅时，比如为球场的座椅，通过3d扫描仪器在球场内进行3d扫描，并生成对应的3d座椅数据。在安排3d虚拟图像的座位顺序时，可以根据3d虚拟图像生成的时间来安排，也可以根据用户app的会员等级来安排。

其中，所述步骤s2具体包括步骤s21～s22：

s21、将预设的触发信息发送至用户终端，以使用户终端上显示输入框；

s22、获取通过输入框上传的弹幕信息后，结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示。

当主持人与观众进行互动时，云平台会方式预设的触发信息给用户终端，以使用户的终端上显示输入框，比如直播时主持人询问观众“今晚球员哈登表现如何？”用户终端连线会弹出一个卡片，点击该卡片可以弹出输入框，观众可以选择是否输入弹幕内容，当需要输入弹幕内容时，点击卡片并输入内容。通过在输入框内输入内容，并发送至云平台，云平台根据接收到弹幕信息匹配3d虚拟图像，并渲染出与3d虚拟图像匹配显示的弹幕。其中，通过触发信息触发弹出输入框，可以有效的避免观众恶意发送弹幕信息，方便云平台的管理。

具体地，所述步骤中的结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示这一步骤，具体为：在3d虚拟图像渲染出预设格式的显示框，根据弹幕信息在显示框上动态显示对应的弹幕。

在本实施例中，当观众发送弹幕时，在对应的3d虚拟图像上产生一个气泡性的文字框，文字通过动态地显示方式进行显示，比如观众发送“我爱哈登”，在文字框内，先显示“我”字，后逐个显示其他字，最后显示“我爱哈登”整个句子。如此，给观众的感觉是3d虚拟图像在说话，更好地提高观众的体验。

进一步作为优选的实施方式，还包括弹幕管理步骤，所述弹幕管理步骤具体为：

在获得弹幕信息后，对弹幕信息进行自动识别并判断弹幕信息是否符合要求，以及在判断到弹幕信息不符合要求时，删除该弹幕信息。

在节目视频播放的过程中，观众可以在弹幕框内输入文字，所述文字会出现在终端的显示屏幕上。由于观众可能会发送粗语或者其他不良的语言，因此需要对弹幕信息进行识别，过滤掉不符合要求的弹幕，具体可采用现有的技术来进行识别，比如通过建立识别数据库，将弹幕语句分别与数据库进行匹配，查找是否存有不符合要求的语音。

如图2所示，本实施例还提供了一种基于3d虚拟观众的交互系统，包括：

图片上传模块，用于获取用户终端上传的图片信息，并根据图片信息生成3d虚拟图像；

弹幕上传模块，用于获取用户终端上传的弹幕信息后，结合弹幕信息和3d虚拟图像渲染显示画面，以使弹幕信息与3d虚拟图像匹配显示。

进一步作为优选的实施方式，所述图片信息为人脸图片，所述图片上传模块包括图片上传单元和设置单元；

所述图片上传单元用于获取用户终端上传的人脸图片，结合人脸图片和预设的人体模型生成初级的3d虚拟图像；

所述设置单元用于获取设置信息，结合设置信息和初级的3d虚拟图像生成最终的3d虚拟图像。

进一步作为优选的实施方式，还包括观众席建立模块，所述观众席建立模块具体用于按照3d虚拟图像的生成顺序，依次将3d虚拟图像渲染至预设的3d座椅上，以生成3d虚拟观众席。

本实施例的一种基于3d虚拟观众的交互系统，可执行本发明方法实施例所提供的一种基于3d虚拟观众的交互方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种计算机代码自动生成装置，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行上所述方法。

本实施例的一种计算机代码自动生成装置，可执行本发明方法实施例所提供的一种基于3d虚拟观众的交互方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种基于3d虚拟观众的交互方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。