虚拟礼物的显示方法、装置、设备及存储介质与流程

本申请涉及直播技术领域，具体而言，本申请涉及一种虚拟礼物的显示方法、装置、设备及存储介质。

背景技术：

传统的直播方式大多是室内直播，一般在房间里面进行，主播局限于直播房间，并通过直播房间内固定的直播设备进行直播，环境单一，活动区域小，影响了直播效果。现在户外直播吸引越来越多的用户参与，如生日派对、婚礼现场、车展和运动会等热闹人多的地方都是比较适合户外直播的，能有效提高用户的兴趣。

然而，现有的户外直播的送礼方式基本上基于传统的虚拟礼物栏，其虚拟礼物种类单一固定，无法满足用户根据户外直播场景的个性化送礼的需求。

技术实现要素：

本申请的目的旨在至少解决上述技术缺陷之一，特别是虚拟礼物展示形式单一，无法满足个性化需求的问题。

第一方面，本申请实施例提供了一种虚拟礼物的显示方法，包括以下步骤：

接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像；

将所述全景图像下发至直播间的各个客户端进行渲染显示，以使得所述客户端将主播视频融合到所述全景图像的设定区域进行显示；

根据所述图像数据识别所述场景的场景类型，从虚拟礼物库中筛选出与所述场景类型相匹配的候选虚拟礼物下发至所述客户端；

接收客户端反馈的用户选择的目标虚拟礼物，将所述目标虚拟礼物添加到所述主播视频中，以使得所述客户端在所述全景图像中展示所述目标虚拟礼物的特效。

在一实施例中，所述接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像的步骤之前，还包括：

获取用户对预配置的三维模型的选择指令，根据所述选择指令向所述客户端下发所述三维模型对应的拍摄指示；

所述接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像的步骤包括：

接收所述客户端上传的一场景的多张照片的图像数据，其中，所述照片为用户根据所述拍摄指示拍摄得到；

根据所述三维模型对所述照片进行拼接，生成所述全景图像。

在一实施例中，所述根据所述图像数据生成全景图像的步骤包括：

对所述图像数据进行合法性校验；

若通过合法性校验，则根据所述三维模型对所述照片进行拼接，生成所述全景图像；否则，发出提示信息，以对不通过合法性校验的图像数据进行重新采集。

在一实施例中，所述将所述全景图像下发至直播间的各个客户端进行渲染显示，以使得所述客户端将主播视频融合到所述全景图像的设定区域进行显示的步骤包括：

将所述全景图像下发至所述直播间连接的各个客户端，以在所述客户端的显示界面进行渲染；

在所述全景图像中选择设定区域，根据所述设定区域的3d坐标参数对主播视频的图像进行3d图像处理，融合到所述全景图像的设定区域内。

在一实施例中，所述根据所述图像数据识别所述场景的场景类型的步骤包括：

从所述图像数据中提取特征物信息；

将所述特征物信息与预存的各场景进行匹配计算，根据匹配结果确定所述场景的场景类型。

在一实施例中，所述从虚拟礼物库中筛选出与所述场景类型相匹配的候选虚拟礼物下发至所述客户端的步骤，包括：

从预配置的场景数据库中查询所述场景类型对应的场景标识；

遍历所述虚拟礼物库中各个虚拟礼物，筛选出与所述场景标识相对应的候选虚拟礼物，将所述候选虚拟礼物下发至所述客户端。

在一实施例中，所述根据所述图像数据生成全景图像的步骤之后，还包括：

对所述全景图像添加自定义标签，并保存在全景图像数据库中。

第二方面，本申请实施例还提供了一种虚拟礼物的显示方法，包括以下步骤：

获取用户拍摄的一场景的图像数据，将所述图像数据上传至服务器生成全景图像；

接收所述服务器下发至直播间的所述全景图像并进行渲染显示，将主播视频融合到所述全景图像的设定区域进行显示；

接收服务器下发的候选虚拟礼物；其中，所述候选虚拟礼物是所述服务器根据所述图像数据识别所述场景的场景类型，且从虚拟礼物库中筛选出与所述场景类型相匹配得到；

将用户选择的目标虚拟礼物反馈至所述服务器以使得所述服务器将所述目标虚拟礼物添加到所述主播视频中；在所述全景图像中展示所述目标虚拟礼物的特效。

第三方面，本申请实施例还提供了一种虚拟礼物的显示装置，包括：

全景图像生成模块，用于接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像；

全景图像下发模块，用于将所述全景图像下发至直播间的各个客户端进行渲染显示，以使得所述客户端将主播视频融合到所述全景图像的设定区域进行显示；

候选礼物下发模块，用于根据所述图像数据识别所述场景的场景类型，从虚拟礼物库中筛选出与所述场景类型相匹配的候选虚拟礼物下发至所述客户端；

礼物特效展示模块，用于接收客户端反馈的用户选择的目标虚拟礼物，将所述目标虚拟礼物添加到所述主播视频中，以使得所述客户端在所述全景图像中展示所述目标虚拟礼物的特效。

第四方面，本申请实施例还提供了一种虚拟礼物的显示装置，包括：

图像数据上传模块，用于获取用户拍摄的一场景的图像数据，将所述图像数据上传至服务器生成全景图像；

全景图像渲染模块，用于接收所述服务器下发至直播间的所述全景图像并进行渲染显示，将主播视频融合到所述全景图像的设定区域进行显示；

候选礼物接收模块，用于接收服务器下发的候选虚拟礼物；其中，所述候选虚拟礼物是所述服务器根据所述图像数据识别所述场景的场景类型，且从虚拟礼物库中筛选出与所述场景类型相匹配得到；

目标礼物反馈模块，用于将用户选择的目标虚拟礼物反馈至所述服务器以使得所述服务器将所述目标虚拟礼物添加到所述主播视频中；在所述全景图像中展示所述目标虚拟礼物的特效。

第五方面，本申请实施例还提供了一种虚拟礼物的显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面任一实施例所述的虚拟礼物的显示方法的步骤。

第六方面，本申请实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面任一实施例所述的虚拟礼物的显示方法的步骤。

上述实施例提供的虚拟礼物的显示方法、装置、设备及存储介质，通过接收客户端上传的一场景的图像数据生成全景图像；将全景图像下发至客户端进行渲染显示，以将主播视频融合到全景图像的设定区域；根据图像数据识别场景的场景类型，从虚拟礼物库中筛选出与场景类型相匹配的候选虚拟礼物下发至客户端；接收客户端反馈的用户选择的目标虚拟礼物，将目标虚拟礼物添加到主播视频，在全景图像中展示目标虚拟礼物的特效，实现了观众亲临主播所在场景的效果，根据场景推送虚拟礼物，使得虚拟礼物的内容和特效更加符合当前主播视频所在场景，增强了虚拟礼物效果的表现力，有利于提高观众向主播送礼的积极性。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是一实施例提供的网络直播系统的框架示意图；

图2是一实施例提供的虚拟礼物的显示方法的流程图；

图3是一实施例提供的全景图像合成方法的流程图；

图4是一实施例提供的虚拟礼物的显示方法的另一流程图；

图5是一实施例提供的天空盒全景图像的虚拟礼物的显示效果图；

图6是一实施例提供的虚拟礼物的显示装置的结构示意图；

图7是一实施例提供的虚拟礼物的显示装置的另一结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

在对本申请实施例提供的方法进行介绍之前，首先对本申请实施例的应用场景进行介绍。本申请实施例提供的方法应用于网络直播系统中，请参考图1，图1是一实施例提供的网络直播系统的框架示意图，该系统框架可以包括服务端和客户端，客户端包括一个或多个主播客户端(即主播端，下同)10和多个观众客户端(即观众端，下同)20，位于服务端上的直播平台中可以包括多个虚拟直播间和服务器30等，其中，各主播端10和各观众端20分别与该服务器30之间通过有线网络或者无线网络建立通信连接。

通常而言，各个虚拟直播间对应播放不同的直播内容，主播通过主播客户端10进行直播，观众通过观众客户端20选择进入某一虚拟直播间观看主播进行直播。观众客户端20和主播客户端10可以通过安装在终端设备上的直播应用程序(application，app)进入直播平台。

其中，该主播客户端10和观众客户端20为终端设备，如智能手机、平板电脑、电子阅读器、台式电脑或笔记本电脑等，对此并不做限定。服务器30是用于为终端设备提供后台服务的后台服务器，可以用独立服务器或多个服务器组成的服务器集群来实现。在一实施例中，该服务器30可以为网络直播平台。

本申请实施例提供的虚拟礼物的显示方法适用于用户自定义拍摄一组图片，将这组图片进行拼接生成三维的全景图像，在全景图像中展示主播视频，以使得观众亲临全景图像所在场景以观看主播视频，以在该场景下对主播进行送礼，从而增强主播视频的表现力，促进主播和观众进行互动的效果。

图2是一实施例提供的虚拟礼物的显示方法的流程图，该虚拟礼物的显示方法可执行于虚拟礼物的显示设备，如服务器。具体的，该虚拟礼物的显示方法可以包括以下步骤：

s110、接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像。

在本实施例中，场景可以是用户当前所在场景，也可以是曾经所在场景，可以是生日会、婚礼和车展等。例如，主播用户即时拍摄当前所在场景的照片，将照片通过客户端上传到服务器，利用服务器将照片生成全景图像，还可以是观众用户拍摄将其所在场景的照片，将照片通过客户端上传到服务器，利用服务器将照片生成全景图像，以供主播用户选择和使用。

服务器接收客户端上传的该场景的图像数据，可以是多张图片，在一实施例中，可以是主播端实时采集上传的图像数据，也可以是主播端预先上传并保存在图像数据库中的图像数据，还可以是观众端采集并上传的图像数据。在实施例中，该图像数据可以是多张不同角度拍摄的图像。

为了使得图像数据满足全景图像的生成要求，在一实施例中，可以为该图像数据的采集设定的要求，如拍摄视角范围和清晰度等。

s120、将所述全景图像下发至直播间的各个客户端进行渲染显示，以使得所述客户端将主播视频融合到所述全景图像的设定区域进行显示。

在服务器生成全景图像后，将全景图像下发至直播间连接的各个客户端，客户端可以包括观众客户端和主播客户端，以在客户端上渲染出全景图像。在实施例中，当用户点击或滑动客户端的屏幕或者转动客户端的角度，可以调整全景图像的展示区域以多角度查看全景图像。在全景图像的选择某一区域设定为展示区域，在该展示区域渲染出主播视频，以达到在全景图像中观看主播视频的效果。

为了更清楚的表达本方案，下面以全景图像为天空盒为例对本步骤进行说明。

对于天空盒，在本实施例中其可以是以立方体三维模型为基础构建的全景图像，天空盒具有六个面，分别为前面、后面、左面、右面、上面和下面，每个面为正方形。可选的，在实施例中，设定区域可以设定在天空盒的前面，以在天空盒的前面播放主播视频。

服务器获取客户端上传的“天空图像”为背景的图像数据，利用这些图像数据按照选定的预配置的立方体三维模型合成天空盒全景图像后，将天空盒下发至直播间连接的各个客户端，以使得客户端的显示界面上渲染出天空盒，将主播视频展示在天空盒的前面，以使得观众通过观众客户端观看主播视频时有一种在广阔的天空下观看主播视频的效果。

s130、根据所述图像数据识别所述场景的场景类型，从虚拟礼物库中筛选出与所述场景类型相匹配的候选虚拟礼物下发至所述客户端。

在一实施例中，全景图像的场景类型可以通过获取全景图像的标签确定，如用户采集图像数据时，对该图像数据贴上对应的标签，如生日会、车展、婚礼等。对应的，生成的全景图像的标签与图像数据的标签相同。

在另一实施例中，还也可以是通过对客户端获取到的图像数据进行识别来确定，比如识别图像中的关键物，如识别得到图像中存在“birthday”“生日”等字样或者“蛋糕”等物体，则确定为生日会场景；若识别得到图像中存在“wedding”“囍”等字样，则确定为婚礼场景等。

当服务器确定了全景图像对应的场景类型后，从虚拟礼物数据库中提取出与该场景类型相匹配的候选虚拟礼物，生成虚拟礼物集合，并下发至各客户端。

可选的，在一实施例中，服务器识别出全景图像对应的场景类型后，向主播发送场景类型的确认信息，经主播确定服务器识别的场景类型正确，则服务器按照识别得到的场景类型从虚拟礼物数据库中提取出与该场景类型相匹配的候选虚拟礼物，生成虚拟流集合，并下发至各观众客户端或观众客户端和主播客户端。若主播确定服务器识别得到的场景类型不正确，则接收主播端输入的新的场景类型，服务器按照新的场景类型从虚拟礼物数据库中提取出与该场景类型相匹配的候选虚拟礼物，生成虚拟礼物集合，并下发至各观众客户端或观众客户端和主播客户端。

例如，服务器确定的场景类型为生日会，则将生日蛋糕、气球和鲜花等图形礼物，“生日快乐”“happybirthday”等文字礼物作为候选虚拟礼物推送至客户端，以通过客户端的三维虚拟礼物栏进行展示。

需要说明的是，在全景图像所在三维虚拟环境下，虚拟礼物栏同样呈现出三维效果。

s140、接收客户端反馈的用户选择的目标虚拟礼物，将所述目标虚拟礼物添加到所述主播视频中，以使得所述客户端在所述全景图像中展示所述目标虚拟礼物的特效。

观众用户展开三维虚拟礼物栏，在三维虚拟礼物栏展示该候选虚拟礼物对应的礼物图标，用户选择某一个或多个三维虚拟礼物作为目标虚拟礼物，如将生日蛋糕图形礼物和“生日快乐”文字礼物这两个三维虚拟礼物作为目标虚拟礼物，将目标虚拟礼物发送至主播所在直播间，将生日蛋糕和“生日快乐”这两个三维虚拟礼物分别按照预定义的特效展示方式进行展示。

在一实施例中，可以将目标虚拟礼物合成到主播视频中，形成礼物视频帧，在客户端渲染出的全景图像的设定区域展示出合成有目标虚拟礼物的主播视频的礼物视频帧，以展示出目标虚拟礼物的特效。如，将生日蛋糕合成到主播视频画面中的设定位置，得到将生日蛋糕送到主播面前的特效画面，将该特效画面形成礼物视频帧合成到主播视频中，在播放在主播视频的同时播放在礼物视频帧。在本实施例中，“生日蛋糕”虚拟礼物和主播视频是相互融合生成视频帧图像进行展示。

在一实施例中，还可以将目标虚拟礼物添加到全景图像中，在全景图像中动态展示，如飞机在全景图像所对应的三维空间中飞翔等。

在另一实施例中，可以将目标虚拟礼物跟随主播视频所在的视频流发送至客户端，在客户端解析出目标虚拟礼物，以在全景图像中渲染出该目标虚拟礼物，并结合该主播视频画面，展示出目标虚拟礼物的特效。

如，在客户端的全景图像的设定区域展示主播视频的同时，识别出生日蛋糕在主播视频对应画面的位置，将该生日蛋糕添加到位置上，实现将生日蛋糕送到主播面前的特效。在本实施例中，生日蛋糕虚拟礼物和主播视频是相互独立展示的。

本实施例提供的虚拟礼物的显示方法，应用于服务器，通过接收客户端上传的一场景的图像数据，将图像数据生成全景图像；将全景图像下发至直播间的各个客户端进行渲染显示，以使得客户端将主播视频融合到全景图像的设定区域进行显示；根据图像数据识别场景的场景类型，从虚拟礼物库中筛选出与场景类型相匹配的候选虚拟礼物下发至所述客户端；接收客户端反馈的用户选择的目标虚拟礼物，将目标虚拟礼物添加到主播视频中，以使得客户端在全景图像中展示目标虚拟礼物的特效，实现了观众亲临主播所在场景的效果，根据场景推送虚拟礼物，使得虚拟礼物的内容和特效更加符合当前主播视频所在场景，增强了虚拟礼物效果的表现力，有利于提高观众向主播送礼的积极性。

为了使本申请的技术方案更为清晰，更为便于理解，下面对本技术方案中的多个步骤的具体的实现过程和方式加以详细的描述。

在一实施例中，步骤s110中的接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像之前，还包括：

s100、获取用户对预配置的三维模型的选择指令，根据所述选择指令向所述客户端下发所述三维模型对应的拍摄指示。

在实施例中，数据库预配置有多种不同的三维模型，如立方体三维模型、球体三维模型等立方空间模型。不同的三维模型，其对应的用于合成的图片的要求不同。

为了提高利用用户拍摄得到的照片生成全景图像的成功率，在实施例中，为不同的三维模型配置对应的拍摄指示。

当用户从多种预配置的三维模型中选择目标三维模型，触发对目标三维模型的选择指令，服务器接收该选择指令后向客户端发送该目标三维模型对应的拍摄指示，如拍摄角度、拍摄方向和拍摄数量等。

进一步的，图3是一实施例提供的全景图像合成方法的流程图，如图3所示，在一实施例中，步骤s110的接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像包括以下步骤：

s1101、接收所述客户端上传的一场景的多张照片的图像数据，其中，所述照片为用户根据所述拍摄指示拍摄得到。

通过客户端向用户展示拍摄指示，以引导用户将当前场景按照这些拍摄指示进行拍照，并把采集到的照片上传到服务器。该拍照姿势可以包括照片中物体的相对大小(即镜头的远近)、拍摄角度、拍摄时长、拍摄开始提示和拍摄停止提示等。

s1102、根据所述三维模型对所述照片进行拼接，生成所述全景图像。

获取该多张照片，经过比对，确定每张照片的重合区域，利用该重合区域，对照片进行拼接，以利用这些照片构建出全景图像。

需要说明的是，将图片进行拼接的技术可以采用现有技术来实现，本领域技术人员能够获知其具体的实现方式，在此不再详细赘述。

在另一实施例中，还可以是将从真实世界中拍摄的一组照片以一定方式映射到三维模型中，生成全景图像。

在一实施例中，步骤s110的根据所述图像数据生成全景图像可以包括：

s1103、判断所述图像数据是否通过合法性校验，若是，则执行步骤s1104，否则，执行步骤s1105。

在根据图像数据生成全景图像之前，可以对图像数据进行合法性校验，如：所拍摄得到的照片是否存在重合区域，其分辨率是否相同，图片是否清晰，是否定焦拍摄，照片格式是否符合要求等，还可以是图片内容是否安全合法等。

s1104、根据所述三维模型对所述照片进行拼接，生成所述全景图像。

若照片通过合法性校验，则利用这些照片按照预配置的三维模型进行处理，如拼接处理或映射处理，生成全景图像。可选的，在实施例中，还可以对照片进行缩放和裁剪处理，以使得照片符合全景图像的生成要求。

s1105、发出提示信息，以对不通过合法性校验的图像数据进行重新采集，返回步骤s1103。

若照片没有通过合法性校验，如所拍摄得到的照片是否存在重合区域，其分辨率是否相同，图片是否清晰，是否定焦拍摄，照片格式是否符合要求等，还可以是图片内容是否安全合法等的其中一个或多个不符合，则发出提示信息，以便于用户查看没有通过合法性校验的原因或所对应的照片，以提醒用户对不通过合法性校验的图像进行部分或全部重新采集。

在一实施例中，继续参考图3，在步骤s1104根据所述图像数据生成全景图像之后，还可以包括以下步骤：

s1106、将所述全景图像添加自定义标签，并保存在全景背景数据库中。

在本实施例中，自定义标签可以包括原创用户名称、下载所需成本以及所适用的场景等。

在生成全景图像后，原创用户可以选择为全景图像添加自定义标签，以设置所述全景图像对应的成本价值，即若其他用户下载或赠送该虚拟礼物所需要花费的成本，如100yb，其中yb是一种虚拟货币单位。将该全景图像保存在全景图像数据库中，以供其余用户进行下载和赠送，当有其他用户下载或赠送该全景图像，则通过该全景图像对应的自定义标签中的信息将对应的奖励发送至原创用户对应的账户上。

在一实施例中，步骤s120中的将所述全景图像下发至直播间的各个客户端进行渲染显示，以使得所述客户端将主播视频融合到所述全景图像的设定区域进行显示，可以包括以下步骤：

s1201、将所述全景图像下发至所述直播间连接的各个客户端，以在所述客户端的显示界面进行渲染。

服务器生成全景图像后，将全景图像下发至进入该直播间的各个客户端，在客户端的显示界面上渲染出该全景图像。可选的，在客户端渲染出全景图像时，获取客户端内部陀螺仪的旋转角度，根据旋转角度在客户端的显示界面上渲染出全景图像对应的画面区域。

例如，当客户端a内部陀螺仪的旋转角度为90度，则在该客户端a的显示界面上渲染出来的是全景图像的m画面区域，当客户端a内部陀螺仪的旋转角度为150度，则在该客户端a的显示界面上渲染出来的是全景图像的n画面区域，以使得不同客户端渲染同一全景图像的不同画面区域。

在另一实施例中，还可以根据客户端的显示界面上的不同区域的选择操作，如点击或滑动动作，展示与该选择操作相对应的展示区域，如向左滑动，则向左转动全景图像，展示全景图像右侧的画面等；或点击全景图像的左侧，则向左移动全景图像，展示全景图像的左侧画面等。

s1202、在所述全景图像中选择设定区域，根据所述设定区域的3d坐标参数对主播视频的图像进行3d图像处理，融合到所述全景图像的设定区域内。

在实施例中，设定区域可以是固定的设定区域，在显示界面上不随陀螺仪的转动而变化，也可以是变化的设定区域，在显示界面上随陀螺仪的转动而变化。

例如，设定区域为固定在客户端显示界面的右上角的区域，则转动客户端以使得陀螺仪发生转动，全景图像在显示界面上的画面不断发生改变，但主播视频始终位置显示在显示界面的右上角。

又如，设定区域为设定在全景图像的某一面，当客户端启动陀螺仪并转动陀螺仪，主播视频区域始终固定在全景图像的固定坐标位置上，当全景图像转动角度超出客户端的主播视频区域，主播视频会消失在显示界面上。

获取设定区域的3d坐标参数，如设定区域的边缘轮廓的关键点的3d坐标、设定区域的大小和形状等，根据设定区域的3d坐标参数，将主播视频的图像做3d图像处理后，渲染到全景图像的设定区域内，呈现出融合的效果，如，当放大设定区域时，设定区域内的主播视频也随之等比例放大；当缩小设定区域时，设定区域内的主播视频也随之等比例缩小。若设定区域的形状改变，如发生倾斜，设定区域内的主播视频也随之发生倾斜。

在步骤s130的根据所述图像数据识别所述场景的场景类型，可以包括以下步骤：

s1301、从所述图像数据中提取特征物信息。

可选的，可以通过照片拼接后得到的全景图像进行图像识别，提取出全景图像中的特征物，识别出特征物的特征物信息。在另一实施例中，还可以通过对用于拼接的某一照片或多张照片直接进行图像识别，提取出照片中的特征物，得到该特征物的特征物信息，其中，特征物可以是文字或物体，如生日会上的字体“happybirthday”或“生日快乐”，也可以是蛋糕等物体。其中，特征物信息可以是特征物的颜色、形状、大小和轮廓等。

s1302、将所述特征物信息与预存的各场景进行匹配计算，根据匹配结果确定所述场景的场景类型。

对于具有强烈场景性的特征物信息，如文字内容、场景出现的物体等，其与该设定场景的匹配度高，如根据特征物信息识别出“生日快乐”的文字或“生日蛋糕”的物体，则该全景图像与“生日会”这一设定场景的匹配度高。对应一些具有较弱场景性的特征物信息，如气球和鲜花等，其与设定的场景的匹配度较低，需要多种特征物信息综合考虑，做不同的特征物信息做匹配计算。

可选的，根据特征物信息可以初步确定该特征物的种类，根据设定场景的具体类型为不同的特征物设定不同的匹配系数。例如，特征物“生日”“happybirthday”等文字对于生日会的场景类型的匹配度为p(s1)＝1；特征物“鲜花”等物体对于生日会的场景类型的匹配度为p(s2)＝0.2等。又如，特征物“快乐”等文字对于婚礼的场景类型的匹配度为p(m1)＝0.2；特征物“鲜花”等物体对于婚礼的场景类型的匹配度为p(m2)＝0.2等。

可选的，可以分别计算在各种场景类型下，对识别出来的各个特征物的匹配度进行计算，并对各匹配度进行累加，从而得到在该场景类型下匹配度总值。如在生日会的场景类型下，将各特征物的匹配度进行累加计算得到p(s)＝p(s1)+p(s2)＝1+0.2+……；若在婚礼的场景类型下，将各特征物的匹配度进行累加计算得到p(m)＝p(m1)+p(m2)＝0.2+0.2+……；若得到生日会的匹配度总值p(s)大于婚礼的匹配度总值p(m)，根据该匹配度总值的这一匹配结果，确定全景图像的场景类型为生日会。

在实施例中，步骤s130中的从虚拟礼物库中筛选出与所述场景类型相匹配的候选虚拟礼物下发至所述客户端，可以包括以下步骤：

s1303、从预配置的场景数据库中查询所述场景类型对应的场景标识。

在实施例中，直播系统的数据库中预配置有不同场景类型对应的场景标识，如生日会的场景类型的场景标识a01，婚礼的场景类型的场景标识为b02，车展的场景类型的场景标识为c03等。

确定了全景图像的场景类型后，从预配置的数据库中查询该场景类型对应的场景标识，如确定场景类型为生日会，则查询出当前全景图像的场景标识为a01。

s1304、遍历所述虚拟礼物库中各个虚拟礼物，筛选出与所述场景标识相对应的候选虚拟礼物，将所述候选虚拟礼物下发至所述客户端。

虚拟礼物库中的虚拟礼物带有一个或多个场景类型相对应的礼物标识，该礼物标识可以与场景标识相同，也可以与场景标识不同，当礼物标识与场景标识不同时，该礼物标识与场景标识存在映射关系，也即通过该礼物标识可以查询得到对应的唯一的场景标识。

根据场景类型的场景标识，遍历虚拟礼物库中的各个虚拟礼物，将各个虚拟礼物的礼物标识与该场景标识做比较，筛选出与该场景标识相符合的一个或多个候选虚拟礼物，将该一个或多个候选虚拟礼物生成虚拟礼物集合。

确定场景类型的场景标识为a01，而与场景标识a01相对应的礼物标识为m001，遍历虚拟礼物库中的各个虚拟礼物，从中筛选出礼物标识为m001的虚拟礼物，如生日蛋糕、鲜花、气球和爱心等虚拟礼物的礼物标识均为m001，将生日蛋糕、鲜花、气球和爱心等虚拟礼物作为候选虚拟礼物，生成虚拟礼物集合，并下发至客户端，以按照客户端的虚拟礼物栏的模板进行排布并展示。

结合下面例子，对本技术方案可以为：主播在户外举行生日派对，主播选择“天空盒”三维模型，服务器下发“天空盒”三维模型对应的图像数据采集指示，主播按照该图像数据采集指示进行拍照，将得到的照片上传到服务器，以通过服务器将这些照片按照选择的“天空盒”三维模型进行合成，生成以主播所在生日派对环境下的全景图像。将该全景图像下发至与直播间连接的各个客户端，并将主播视频展示在全景图像的设定区域，以使得用户置身于该全景图像中产生亲临主播生日派对的感觉。为了让观众能够积极向主播送礼，服务器根据全景图像的“生日会”场景类型，从虚拟礼物库中选择与“生日会”相关的候选虚拟礼物，生成虚拟礼物集合并下发至客户端，以使得观众能够从适合“生日会”场景的更多虚拟礼物中选择出合适的目标虚拟礼物，使得目标虚拟礼物的内容和特效更加符合当前主播视频所在场景，增强了虚拟礼物效果的表现力，有利于提高观众向主播送礼的积极性。

图4是一实施例提供的虚拟礼物的显示方法的另一流程图，该虚拟礼物的显示方法执行于客户端，本实施例以观众客户端为例进行说明。

具体的，该虚拟礼物的显示方法包括以下步骤：

s210、获取用户拍摄的一场景的图像数据，将所述图像数据上传至服务器生成全景图像。

在本实施例中，场景可以是用户当前所在场景，也可以是曾经所在场景，可以是生日会、婚礼和车展等。用户可以是主播用户，还可以是观众用户。在一实施例中，可以是主播端实时采集上传的图像数据，也可以是主播端预先上传并保存在图像数据库中的图像数据，还可以是观众端采集并上传的图像数据。在实施例中，该图像数据可以是多张不同角度拍摄的图像。为了使得图像数据满足全景图像的生成要求，在一实施例中，可以为该图像数据的采集设定的要求，如拍摄视角范围和清晰度等。

s220、接收所述服务器下发至直播间的所述全景图像并进行渲染显示，将主播视频融合到所述全景图像的设定区域进行显示。

在服务器生成全景图像后，将全景图像下发至直播间连接的各个客户端，客户端可以包括观众客户端和主播客户端，以在客户端上渲染出全景图像，在实施例中，当用户手动滑动客户端的屏幕或者转动客户端的角度，可以调整全景图像的展示区域以多角度查看全景图像。在全景图像的某一区域划定为展示区域，在该展示区域渲染出主播视频，以达到在全景图像中观看主播视频的效果。

图5是一实施例提供的天空盒全景图像的虚拟礼物的显示效果图，下面结合图5，以全景图像为天空盒为例进行说明。

如图5所示，对于天空盒，在本实施例中其可以是以立方体三维模型为基础构建的全景图像，天空盒40具有六个面，分别为前面、后面、左面、右面、上面和下面，每个面为正方形。可选的，在实施例中，设定区域可以设定在天空盒40的前面，在设定区域播放主播视频。客户端按照天空盒的图像要求采集前面、后面、左面、右面、上面和下面等六个面的图像数据，上传到服务器，服务器获取客户端上传的“天空盒”背景的图像数据，利用这些图像数据按照选定的预配置的三维模型合成天空盒全景图像后，将天空盒下发至直播间连接的各个客户端，以使得客户端的显示界面上渲染出天空盒40，将主播视频(未示出)展示在天空盒40的某一面上，如前面，以使得观众通过观众客户端观看主播视频时有一种在天空盒对应的图像背景下观看主播视频的效果。

s230、接收服务器下发的候选虚拟礼物；其中，所述候选虚拟礼物是所述服务器根据所述图像数据识别所述场景的场景类型，且从虚拟礼物库中筛选出与所述场景类型相匹配得到。

在一实施例中，全景图像的场景类型可以通过获取全景图像的标签确定，如用户采集图像数据时，对该图像数据贴上对应的标签，如生日会、车展、婚礼等，对应的，生成的全景图像的标签与图像数据的标签相同。

在另一实施例中，还也可以是通过对客户端获取到的图像数据进行识别来确定，比如识别图像中的关键物，如识别得到图像中存在“birthday”“生日”等字样或者“蛋糕”等物体，则确定为生日会场景；若识别得到图像中存在“wedding”“囍”等字样，则确定为婚礼场景等。

当服务器确定了全景图像对应的场景类型后，从虚拟礼物数据库中提取出与该场景类型相匹配的候选虚拟礼物，生成虚拟礼物集合，并下发至各客户端。

可选的，在一实施例中，服务器识别出全景图像对应的场景类型后，向主播发送场景类型的确认信息，经主播确定服务器识别的场景类型正确，则服务器按照识别得到的场景类型从虚拟礼物数据库中提取出与该场景类型相匹配的候选虚拟礼物，生成虚拟流集合，并下发至各观众客户端或观众客户端和主播客户端。若主播确定服务器识别得到的场景类型不正确，则接收主播端输入的新的场景类型，服务器按照新的场景类型从虚拟礼物数据库中提取出与该场景类型相匹配的候选虚拟礼物，生成虚拟礼物集合，并下发至各观众客户端或观众客户端和主播客户端。

例如，服务器确定的场景类型为生日会，则将生日蛋糕、气球和鲜花等图形礼物，“生日快乐”“happybirthday”等文字礼物推送至客户端，客户端接收到虚拟礼物集合后，在客户端对应直播间的三维虚拟礼物栏进行展示。需要说明的是，在全景图像所在三维虚拟环境下，虚拟礼物栏同样呈现出三维效果。

s240、将用户选择的目标虚拟礼物反馈至所述服务器以使得所述服务器将所述目标虚拟礼物添加到所述主播视频中；在所述全景图像中展示所述目标虚拟礼物的特效。

观众用户展开三维虚拟礼物栏，在三维虚拟礼物栏展示该候选虚拟礼物对应的礼物图标，用户选择某一个或多个三维虚拟礼物作为目标虚拟礼物，如将生日蛋糕图形礼物和“生日快乐”文字礼物这两个三维虚拟礼物作为目标虚拟礼物，将目标虚拟礼物反馈至所述服务器，以将生日蛋糕和“生日快乐”这两个三维虚拟礼物分别按照预定义的特效展示方式进行展示。

在一实施例中，可以将目标虚拟礼物合成到主播视频中，形成礼物视频帧，在客户端渲染出的全景图像的设定区域展示出合成有目标虚拟礼物的主播视频的礼物视频帧，以展示出目标虚拟礼物的特效。如，将生日蛋糕合成到主播视频画面中的设定位置，得到将生日蛋糕送到主播面前的特效画面，将该特效画面形成礼物视频帧合成到主播视频中，在播放在主播视频的同时播放在礼物视频帧。在本实施例中，“生日蛋糕”虚拟礼物和主播视频是相互融合生成视频帧图像进行展示。

在另一实施例中，可以将目标虚拟礼物跟随主播视频所在的视频流发送至客户端，在客户端解析出目标虚拟礼物，以在全景图像中渲染出该目标虚拟礼物，并结合该主播视频画面，展示出目标虚拟礼物的特效。

如，在客户端的全景图像的设定区域展示主播视频的同时，识别出生日蛋糕在主播视频对应画面的位置，将该生日蛋糕添加到位置上，实现将生日蛋糕送到主播面前的特效。在本实施例中，生日蛋糕虚拟礼物和主播视频是相互独立展示的。

在一实施例中，还可以将目标虚拟礼物添加到全景图像中，在全景图像中动态展示，如三维的虚拟飞机在全景图像所对应的三维空间中飞翔等。继续参考图5，如图5所示，三维的虚拟飞机50在三维的天空盒40中进行动画展示，增强用户对虚拟飞机50的动画展示效果。

本实施例提供的虚拟礼物的显示方法，应用于客户端，通过获取用户拍摄的一场景的图像数据，将图像数据上传至服务器生成全景图像；接收服务器下发至直播间的全景图像并进行渲染显示，将主播视频融合到全景图像的设定区域进行显示；接收服务器下发的候选虚拟礼物；其中，候选虚拟礼物是服务器根据图像数据识别场景的场景类型，且从虚拟礼物库中筛选出与场景类型相匹配得到；将用户选择的目标虚拟礼物反馈至服务器以使得服务器将目标虚拟礼物添加到主播视频中；在全景图像中展示目标虚拟礼物的特效，实现了观众亲临主播所在场景的效果，根据场景推送虚拟礼物，使得虚拟礼物的内容和特效更加符合当前主播视频所在场景，增强了虚拟礼物效果的表现力，有利于提高观众向主播送礼的积极性。

下面对虚拟礼物的显示装置的相关实施例进行详细阐述。

图6是一实施例提供的虚拟礼物的显示装置的结构示意图，本实施例中的虚拟礼物的显示装置应用于虚拟礼物的显示设备，如服务器。

具体的，如图6所示，该虚拟礼物的显示装置100可以包括全景图像生成模块110、全景图像下发模块120、候选礼物下发模块130以及礼物特效展示模块140。

其中，全景图像生成模块110，用于接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像；全景图像下发模块120，用于将所述全景图像下发至直播间的各个客户端进行渲染显示，以使得所述客户端将主播视频融合到所述全景图像的设定区域进行显示；候选礼物下发模块130，用于根据所述图像数据识别所述场景的场景类型，从虚拟礼物库中筛选出与所述场景类型相匹配的候选虚拟礼物下发至所述客户端；礼物特效展示模块140，用于接收客户端反馈的用户选择的目标虚拟礼物，将所述目标虚拟礼物添加到所述主播视频中，以使得所述客户端在所述全景图像中展示所述目标虚拟礼物的特效。

本实施例提供的虚拟礼物的显示装置，实现了观众亲临主播所在场景的效果，根据场景推送虚拟礼物，使得虚拟礼物的内容和特效更加符合当前主播视频所在场景，增强了虚拟礼物效果的表现力，有利于提高观众向主播送礼的积极性。

在一实施例中，虚拟礼物的显示装置100还包括：拍摄指示下发模块；其中，拍摄指示下发模块，用于获取用户对预配置的三维模型的选择指令，根据所述选择指令向所述客户端下发所述三维模型对应的拍摄指示；

在一实施例中，全景图像生成模块110包括：图像数据接收单元和全景图像生成单元；其中，图像数据接收单元用于接收所述客户端上传的一场景的多张照片的图像数据，其中，所述照片为用户根据所述拍摄指示拍摄得到；全景图像生成单元，用于根据所述三维模型对所述照片进行拼接，生成所述全景图像。

在一实施例中，全景图像生成模块110包括：合法性校验单元；其中，合法性校验单元，用于对所述图像数据进行合法性校验；若通过合法性校验，则根据所述三维模型对所述照片进行拼接，生成所述全景图像；否则，发出提示信息，以对不通过合法性校验的图像数据进行重新采集。

在一实施例中，全景图像下发模块120包括：全景图像下发单元和主播视频展示单元；其中，全景图像下发单元，用于将所述全景图像下发至所述直播间连接的各个客户端，以在所述客户端的显示界面进行渲染；主播视频展示单元，用于在所述全景图像中选择设定区域，根据所述设定区域的3d坐标参数对主播视频的图像进行3d图像处理，融合到所述全景图像的设定区域内。

在一实施例中，候选礼物下发模块130包括特征物信息提取单元和场景类型确定单元；其中，特征物信息提取单元用于从所述图像数据中提取特征物信息；场景类型确定单元，用于将所述特征物信息与预存的各场景进行匹配计算，根据匹配结果确定所述场景的场景类型。

在一实施例中，候选礼物下发模块130包括场景标识查询单元和候选礼物筛选单元；其中，场景标识查询单元用于从预配置的场景数据库中查询所述场景类型对应的场景标识；候选礼物筛选单元，用于遍历所述虚拟礼物库中各个虚拟礼物，筛选出与所述场景标识相对应的候选虚拟礼物，将所述候选虚拟礼物下发至所述客户端。

在实施例中，全景图像生成模块110还包括标签添加单元；其中，标签添加单元，用于将所述全景图像添加自定义标签，并保存在全景图像数据库中。

图7是一实施例提供的虚拟礼物的显示装置的另一结构示意图，本实施例中的虚拟礼物的显示装置应用于虚拟礼物的显示设备，如客户端。

具体的，如图7所示，该虚拟礼物的显示装置200可以包括图像数据上传模块210、全景图像渲染模块220、候选礼物接收模块230以及目标礼物反馈模块240。

其中，图像数据上传模块210，用于获取用户拍摄的一场景的图像数据，将所述图像数据上传至服务器生成全景图像；全景图像渲染模块220，用于接收所述服务器下发至直播间的所述全景图像并进行渲染显示，将主播视频融合到所述全景图像的设定区域进行显示；候选礼物接收模块230，用于接收服务器下发的候选虚拟礼物；其中，所述候选虚拟礼物是所述服务器根据所述图像数据识别所述场景的场景类型，且从虚拟礼物库中筛选出与所述场景类型相匹配得到；目标礼物反馈模块240，用于将用户选择的目标虚拟礼物反馈至所述服务器以使得所述服务器将所述目标虚拟礼物添加到所述主播视频中；在所述全景图像中展示所述目标虚拟礼物的特效。。

上述提供的虚拟礼物的显示装置执行上述任意实施例提供的虚拟礼物的显示方法时，具备相应的功能和有益效果。

本申请实施例还提供一种虚拟礼物的显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述任一实施例中的虚拟礼物的显示方法。

可选的，该虚拟礼物的显示设备可以为移动终端、平板电脑、计算机电脑或服务器等。上述提供的虚拟礼物的显示设备执行上述任一实施例提供的虚拟礼物的显示方法时，具有相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种虚拟礼物的显示方法，可以包括：

接收客户端上传的一场景的图像数据，根据所述图像数据生成全景图像；

将所述全景图像下发至直播间的各个客户端进行渲染显示，以使得所述客户端将主播视频融合到所述全景图像的设定区域进行显示；

根据所述图像数据识别所述场景的场景类型，从虚拟礼物库中筛选出与所述场景类型相匹配的候选虚拟礼物下发至所述客户端；

接收客户端反馈的用户选择的目标虚拟礼物，将所述目标虚拟礼物添加到所述主播视频中，以使得所述客户端在所述全景图像中展示所述目标虚拟礼物的特效。

在一实施例中，所述计算机可执行指令在由计算机处理器执行时用于执行一种虚拟礼物的显示方法，还可以包括：

获取用户拍摄的一场景的图像数据，将所述图像数据上传至服务器生成全景图像；

接收所述服务器下发至直播间的所述全景图像并进行渲染显示，将主播视频融合到所述全景图像的设定区域进行显示；

接收服务器下发的候选虚拟礼物；其中，所述候选虚拟礼物是所述服务器根据所述图像数据识别所述场景的场景类型，且从虚拟礼物库中筛选出与所述场景类型相匹配得到；

将用户选择的目标虚拟礼物反馈至所述服务器以使得所述服务器将所述目标虚拟礼物添加到所述主播视频中；在所述全景图像中展示所述目标虚拟礼物的特效。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的虚拟礼物的显示方法操作，还可以执行本申请任意实施例所提供的虚拟礼物的显示方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请任意实施例所述的虚拟礼物的显示方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。