一种3D虚拟观众席生成方法、系统、装置和存储介质与流程

本发明涉及视频数据处理领域，尤其涉及一种3d虚拟观众席生成方法、系统、装置和存储介质。

背景技术：

随着媒体技术的发展以及移动智能终端的普及，现在出现越来越多的媒体节目，在媒体节目中，观众可以实时与媒体平台进行交互，实现交流互动，比如观众可以通过弹幕进行评论，增加观众的体验，同时媒体平台也能获取观众的反应信息。

虽然观众可以通过弹幕与媒体平台进行互动，但是难以给予观众一种在节目录制现场的感觉，现在观众希望获取在媒体节目中，与主持人和节目嘉宾一起进行节目的感觉，但是现有的技术还无法解决上述问题。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种观众形象虚拟到播放现场的3d虚拟观众席生成方法、系统、装置和存储介质。

本发明所采用的第一技术方案是：

一种3d虚拟观众席生成方法，包括以下步骤：

获取终端用户上传的图片信息，并根据图片信息生成虚拟图像；

结合虚拟图像和预设的3d座椅生成3d虚拟观众席；

结合3d虚拟观众席和现场采集的视频信息生成视频流数据。

进一步，所述图片信息为人脸图片，所述获取终端用户上传的图片信息，并根据图片信息生成虚拟图像这一步骤，具体包括以下步骤：

获取终端用户的基本信息和上传的人脸图片后，根据人脸图片进行人脸识别，以及根据识别到的人脸生成虚拟图像；

将虚拟图像与基本信息进行匹配，以及根据多个虚拟图像生成图像数据池。

进一步，所述基本信息包括位置信息和时间信息，所述结合虚拟图像和预设的3d座椅生成3d虚拟观众席这一步骤，具体包括以下步骤：

根据位置信息将图像数据池中的虚拟图像分成多组；

依次根据时间信息对各组内的虚拟图像进行排序，以使各虚拟图像对应一个座椅序号；

根据座椅序号分别将各虚拟图像渲染配置到对应的3d座椅上，以生成多个3d虚拟观众席。

进一步，所述基本信息还包括路由id信息，所述结合3d虚拟观众席和现场采集的视频信息生成视频流数据这一步骤，具体包括以下步骤：

结合3d虚拟观众席和现场采集的视频信息生成视频流数据；

根据路由id信息将路由视频流数据发送至3d虚拟观众席中的各终端上。

进一步，还包括弹幕管理步骤，所述弹幕管理步骤具体包括以下步骤：

获取终端用户的基本信息和上传的弹幕信息后，将弹幕信息与基本信息进行匹配；

对弹幕信息进行自动识别，并判断弹幕信息是否合格要求，若符合，将弹幕信息融入视频流数据中；反之，删除该弹幕信息。

进一步，还包括以下步骤：

获取终端用户上传的语音信息，并将语音信息融入视频流数据中。

本发明所采用的第二技术方案是：

一种3d虚拟观众席生成系统，包括：

图片上传模块，用于获取终端用户上传的图片信息，并根据图片信息生成虚拟图像；

虚拟观众模块，用于结合虚拟图像和预设的3d座椅生成3d虚拟观众席；

数据生成模块，用于结合3d虚拟观众席和现场采集的视频信息生成视频流数据。

进一步，所述图片信息为人脸图片，所述图片上传模块包括图片上传单元和信息匹配单元；

所述图片上传单元用于获取终端用户的基本信息和上传的人脸图片后，根据人脸图片进行人脸识别，以及根据识别到的人脸生成虚拟图像；

所述信息匹配单元用于将虚拟图像与基本信息进行匹配，以及根据多个虚拟图像生成图像数据池。

本发明所采用的第三技术方案是：

一种计算机代码自动生成装置，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行上所述方法。

本发明所采用的第四技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明中的终端用户通过移动智能终端上传图片信息，播放平台根据图片信息生成虚拟图像，并结合虚拟图像和预设的3d座椅生成3d虚拟观众席，观众在观看节目时，可以看到自己的虚拟图像，从而给予观众现在录制节目的感觉，极大地提高了观众的观看体验。

附图说明

图1是本发明一种3d虚拟观众席生成方法的步骤流程图；

图2是本发明一种3d虚拟观众席生成系统的结构框图。

具体实施方式

如图1所示，本实施例提供了一种3d虚拟观众席生成方法，包括以下步骤：

s1、获取终端用户上传的图片信息，并根据图片信息生成虚拟图像；

s2、结合虚拟图像和预设的3d座椅生成3d虚拟观众席；

s3、结合3d虚拟观众席和现场采集的视频信息生成视频流数据。

本实施例中，终端用户通过app或链接连接至播放平台，比如客户预先在移动智能终端上安装有app，通过app点击登录对应的节目，比如cctv5的综艺节目。终端用户通过智能终端上传图片信息，所述图片信息可以为自拍照、画像或者卡通图片等；云平台接收到图片信息后，根据图片信息生成虚拟图像，比如虚拟成一个卡通形象，并结合虚拟图像和预设的3d座椅生成3d虚拟观众席，所述3d座椅可以为真实的座椅，也可以为虚拟的座椅；当3d座椅为真实的座椅时，比如为球场的座椅，通过3d扫描仪器在球场内进行3d扫描，并生成对应的3d座椅数据。结合3d虚拟观众席和现场采集的视频信息生成视频流数据，所述视频流数据具体可以通过以下方式进行生成，第一种方式：在直播现场通过大屏幕展示3d虚拟观众席，然后节目录制时，将主持人和大屏幕上的3d虚拟观众席一起录制下来，生成视频流数据，并将视频流数据传输至用户终端进行播放。第二种方式：将3d虚拟观众席制作成数据模型，再将节目录制的数据与数据模型进行融合，从而生成视频流数据，并将视频流数据传输至用户终端进行播放。

通过上述的方法，可以将终端用户的虚拟图像显示在视频中，用户观看视频时，有可能观看到自己的虚拟图像，从而给予终端用户现在参与节目录制的感觉，极大地提高了终端用户的观看体验。

其中，所述图片信息为人脸图片，步骤s1具体包括步骤s11～s12：

s11、获取终端用户的基本信息和上传的人脸图片后，根据人脸图片进行人脸识别，以及根据识别到的人脸生成虚拟图像；

s12、将虚拟图像与基本信息进行匹配，以及根据多个虚拟图像生成图像数据池。

终端用户将人脸图片上传至播放平台后，播放平台根据人脸图片进行人脸识别判断，判断是否符合要求，比如终端用户上传了宠物的图片，则这种图片不符合要求，则该图片不能用于生成虚拟图像。具体地，在识别人脸后，对人脸图片进行适当的修剪，以使人脸的尺寸适中。将符合要求的人脸图片生成虚拟图像，所述虚拟图像为将真实的人脸进行卡通化的图像，也可以为其他形式的虚拟形象。由于通过终端进行联网观看的观众可到数千至数十万，多个虚拟图像生成图像数据池。

其中，所述基本信息包括位置信息和时间信息，步骤s2具体包括步骤s21～s23：

s21、根据位置信息将图像数据池中的虚拟图像分成多组；

s22、依次根据时间信息对各组内的虚拟图像进行排序，以使各虚拟图像对应一个座椅序号；

s23、根据座椅序号分别将各虚拟图像渲染配置到对应的3d座椅上，以生成多个3d虚拟观众席。

由于图像数据池中虚拟图像可达数万之多，而一个3d虚拟观众席的3d座椅可能只有几百个或者上千个，因此需要对图像数据池中虚拟图像进行分组，再针对不同的组生成不同的3d虚拟观众席。在本实施例中，根据位置信息对图像数据池进行分组，所述位置信息为终端用户的位置信息，由于终端用户在上传数据时，上传的数据中带有基站的相关信息，因此可以获得终端用户相关的位置信息。根据位置信息进行分组，可以使同一个3d虚拟观众席内的观众尽量为附近地区的用户，间接地提高用户的观看的乐趣，从而提高了观看体验。当进行分组后，按照时间信息给各虚拟图像分配座椅，所述时间信息为各终端连接进入节目播放平台的时间，依次将虚拟图像与对应的3d座椅进行融合渲染后，生成了3d虚拟观众席。

所述基本信息还包括路由id信息，步骤s3具体包括步骤s31～s32：

s31、结合3d虚拟观众席和现场采集的视频信息生成视频流数据；

s32、根据路由id信息将路由视频流数据发送至3d虚拟观众席中的各终端上。

由于不同的3d虚拟观众席对应的视频流数据是不同的，因此，在结合3d虚拟观众席和现场采集的视频信息生成视频流数据后，根据路由id信息将路由视频流数据发送至3d虚拟观众席中的各终端，具体地，由于同一个3d虚拟观众席内的视频流数据是相同的，而同一个3d虚拟观众席的观众处于同一个电信管理区内，因此，云平台只需将一路视频流数据发送至该电信管理区内，再由该电信管理区内复制视频流数据发送至各终端上，从而实现播放，如此可以大大地减少网络的数据的传输，节约的网络传输成本。

进一步作为优选的实施方式，还包括弹幕管理步骤，所述弹幕管理步骤具体包括以下步骤：

获取终端用户的基本信息和上传的弹幕信息后，将弹幕信息与基本信息进行匹配；

对弹幕信息进行自动识别，并判断弹幕信息是否合格要求，若符合，将弹幕信息融入视频流数据中；反之，删除该弹幕信息。

在节目视频播放的过程中，观众可以在弹幕框内输入文字，所述文字会出现在终端的显示屏幕上。由于观众可能会发送粗语或者其他不良的语言，因此需要对弹幕信息进行识别，过滤掉不符合要求的弹幕，具体可采用现有的技术来进行识别，比如通过建立识别数据库，将弹幕语句分别与数据库进行匹配，查找是否存有不符合要求的语音。

进一步作为优选的实施方式，还包括以下步骤：

获取终端用户上传的语音信息，并将语音信息融入视频流数据中。

具体的，节目中当主持人与观众进行互动时，比如采访某位观众，移动智能终端可以采集用户的语音信息，并将语音信息上传至云平台，从而融入视频流数据中。

如图2所示，本实施例还提供了一种3d虚拟观众席生成系统，包括：

图片上传模块，用于获取终端用户上传的图片信息，并根据图片信息生成虚拟图像；

虚拟观众模块，用于结合虚拟图像和预设的3d座椅生成3d虚拟观众席；

数据生成模块，用于结合3d虚拟观众席和现场采集的视频信息生成视频流数据。

进一步作为优选的实施方式，所述图片信息为人脸图片，所述图片上传模块包括图片上传单元和信息匹配单元；

所述图片上传单元用于获取终端用户的基本信息和上传的人脸图片后，根据人脸图片进行人脸识别，以及根据识别到的人脸生成虚拟图像；

所述信息匹配单元用于将虚拟图像与基本信息进行匹配，以及根据多个虚拟图像生成图像数据池。

本实施例的一种3d虚拟观众席生成系统，可执行本发明方法实施例所提供的一种3d虚拟观众席生成方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种计算机代码自动生成装置，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行上所述方法。

本实施例的一种计算机代码自动生成装置，可执行本发明方法实施例所提供的一种3d虚拟观众席生成方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种3d虚拟观众席生成方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。