一种基于虚拟场景的多人互动方法及系统与流程

本发明涉及多媒体数据处理领域，特别是涉及一种基于虚拟场景的多人互动方法及系统。

背景技术：

网络直播是利用计算机网络，实时的将主播端的多媒体数据发送给在线的观众端，并且主播与观众之间可实时的进行信息交互。由于现有计算机网速的不断提升，以及网络直播节目的内容丰富等诸多因素，已越来越被大众所青睐。

但现有大部分的室内网络直播节目中，网络主播通常是在静态的背景布前录制节目，所录制的直播节目的画面效果不够丰富，特别是直播画面的背景十分单调，并且主播与背景的视觉融合度比较低。并且，虽然现有的网络直播节目中，主播与观众的信息沟通较为方便，但在直播内容的互动方面还是存在很多不足，无法实现主播与观众之间高品质的互动交流。具体的，例如在网络直播领域中，现有的直播平台和技术，使得观众只能看到主播摄像头拍摄的画面，观众可以向主播赠送虚拟礼物，但是这些虚拟礼物只能在现有的场景下进行粗糙地叠加。又如，在一些现有歌曲直播节目中，观众虽可与主播实现异地同屏直播，但这种直播方式实质上只是，将观众端演唱的音视频数据与主播端演唱的音视频数据简单的叠加，使其能够在同一屏幕上直播，而主播端的背景与观众端的背景则完全不同，在视觉上完全无法实现异地同台连麦演唱。

因此发明人认为需要研发一种能丰富网络直播节目互动方式与效果的网络互动技术。

技术实现要素：

为此，需要提供一种实现在网络直播节目中进行丰富多彩，灵活方便的互动的系统与方法，用于解决现有技术中，主播与观众之间直播内容互动效果不佳的技术问题。

为实现上述目的，发明人提供了一种基于虚拟场景的多人互动方法，包括以下步骤：

从第一图像数据中提取出第一对象，并实时更新至虚拟场景中；并在接收到互动请求以及多媒体数据时，根据互动请求从多媒体数据中提取第二对象，并实时更新至虚拟场景中，得到第二图像数据。

进一步的，所述多人互动方法包括以下具体步骤：

实时获取摄像装置的信号，采集得到一个以上的第一图像数据；

根据预设的条件，从所述第一图像数据中提取一个以上的第一对象；

将所述第一对象实时更新至虚拟场景中；

通过计算机网络接收来自一个以上第一终端的互动请求以及第一多媒体数据，所述第一多媒体数据至少包括一个以上图像数据；

从所述第一多媒体数据中的图像数据中提取出一个以上第二对象，并根据互动请求，将第二对象实时更新至所述虚拟场景中，得到第二图像数据。

进一步的，在实时获取摄像装置的信号，采集得到一个以上的第一图像数据的同时，实时获取音效器的信号，采集得到第一声音数据；并且所述第一多媒体数据中包含有第二声音数据；

将所述第一对象以及第二对象实时更新到虚拟场景中的同时，也将第一声音数据和第二声音数据实时更新到虚拟场景中，得到第二多媒体数据，所述第二多媒体数据包括有第一声音数据、第二声音数据以及第二图像数据。

进一步的，还包括接收来自第一终端的互动指令，以及根据所述互动指令更新或切换虚拟场景。

进一步的，所述互动指令包括将第一素材更新到虚拟场景中的指令；

根据互动请求，将第二对象实时更新至所述虚拟场景中时，根据互动指令，将第一素材也更新到虚拟场景中，得到第二图像数据，所述第二图像数据至少包括第一对象、第二对象和第一素材。

进一步的，在根据互动请求从多媒体数据中提取第二对象，并实时更新至虚拟场景中，得到第二图像数据之后，还包括步骤：通过实时流传输协议，将所述第二图像数据或第二多媒体数据直播给局域网中的在线客户端；或将所述第二图像数据或第二多媒体数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据或第二多媒体数据的互联网直播链接。

进一步的，所述虚拟场景为3D虚拟舞台。

为解决上述技术问题，发明人提供的另一技术方案为：

一种基于虚拟场景的多人互动系统，用于从第一图像数据中提取出第一对象，并实时更新至虚拟场景中；并在接收到互动请求以及多媒体数据时，根据互动请求从多媒体数据中提取第二对象，并实时更新至虚拟场景中，得到第二图像数据。

进一步的，所述多人互动系统具体包括：

采集模块，用于实时获取摄像装置的信号，采集得到一个以上的第一图像数据；

提取模块，用于根据预设的条件，从所述第一图像数据中提取一个以上的第一对象；

更新模块，用于将所述第一对象实时更新至虚拟场景中；

接收模块，用于通过计算机网络接收来自一个以上第一终端的互动请求以及第一多媒体数据，所述第一多媒体数据至少包括一个以上图像数据；以及

互动模块，用于从所述第一多媒体数据中的图像数据中提取出一个以上第二对象，并根据互动请求，将第二对象实时更新至所述虚拟场景中，得到第二图像数据。

进一步的，所述采集模块还用于，在实时获取摄像装置的信号，采集得到一个以上的第一图像数据的同时，实时获取音效器的信号，采集得到第一声音数据；并且所述第一多媒体数据中包含有第二声音数据；

所述更新模块还用于，将所述第一对象实时更新到虚拟场景中的同时，也将第一声音数据实时更新到虚拟场景中；

所述互动模块还用于，将第二对象实时更新至所述虚拟场景中的同时，也将第二声音数据实时更新到虚拟场景中，得到第二多媒体数据，所述第二多媒体数据包括有第一声音数据、第二声音数据以及第二图像数据。

进一步的，所述互动指令包括将第一素材更新到虚拟场景中的指令；

所述互动模块还用于，根据互动请求，将第二对象实时更新至所述虚拟场景中时，根据互动指令，将第一素材也更新到虚拟场景中，得到第二图像数据，所述第二图像数据至少包括第一对象、第二对象和第一素材。

进一步的，所述互动模块还用于，接收来自第一终端的互动指令，以及根据所述互动指令更新或切换虚拟场景。

进一步的，还包括直播模块，用于通过实时流传输协议，将所述第二图像数据或第二多媒体数据直播给局域网中的在线客户端；或将所述第二图像数据或第二多媒体数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据或第二多媒体数据的互联网直播链接。

进一步的，所述虚拟场景为3D虚拟舞台。

区别于现有技术，上述技术方案通过对第一图像数据进行处理，提取其中的第一对象，然后将第一对象实时更新到虚拟场景中，并且可根据接收到的互动请求以及多媒体数据，从多媒体数据中提取第二对象，并将第二对象实时更新到所述虚拟场景中，以实现在得到的第二图像数据中既具有丰富多彩的场景变化效果，同时又使第一对象和第二对象实时活动于同一虚拟场景中，实现异地同台互动的视觉效果，大大提高了直播端与观众端的互动品质。

附图说明

图1为具体实施方式所述基于虚拟场景的多人互动方法的流程图；

图2为具体实施方式所述异地连麦互动直播的执行流程图；

图3为具体实施方式所述基于计算机网络的多人互动系统的模块框图；

图4为具体实施方式所述基于计算机网络的多人互动系统的模块框图。

附图标记说明：

10、采集模块

20、提取模块

30、更新模块

40、接收模块

50、互动模块

60、直播模块

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，本实施例一种基于虚拟场景的多人互动方法，该多人互动方法从第一图像数据中提取出第一对象，并实时更新至虚拟场景中；并在接收到互动请求以及多媒体数据时，根据互动请求从多媒体数据中提取第二对象，并实时更新至虚拟场景中，得到第二图像数据。本实施例包括以下具体步骤：

S101、实时获取摄像装置的信号，采集得到一个以上的第一图像数据；

S102、根据预设的条件，从所述第一图像数据中提取一个以上的第一对象。在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。根据这些实际需求的不同，可以使用不同的算法和设置，以有效地在第一数据图像中提取第一对象。以下通过一具体提取第一对象的算法实施例进行举例说明。

在某一实施例中，第一图像数据中，第一对象为人物主播，主播所处的背景为纯色背景。提取第一图像数据中第一对象的具体步骤为：GPU将第一图像数据中的每个像素的颜色值与预设的阈值做比较；若像素的颜色值在预设的阈值内，则将该像素点的Alpha通道设为零，即将背景显示为透明色，提取出对象。

由于背景为纯色，所以本实施例采用色度键法进行抠图。其中预设的阈值为背景颜色的颜色值，例如，背景颜色为绿色，则预设的像素点RGB颜色值的阈值为(0±10、255-10、0±10)。背景色可以选择绿色或蓝色，在拍摄的场所可同时设置两种颜色的背景，供主播选择。当主播穿与绿色反差较大的衣服唱歌时，可选用绿色的背景。在对象(人像)提取过程中，由于主播穿的衣服与背景色相差较大，所以图像中的每个像素的颜色值与预设的阈值进行比较后，背景部分像素点的颜色值在预设的阈值内，将背景部分像素点的Alpha通道设为零，即将背景显示为透明色；而人像部分的像素点不在预设的阈值内，保留人像部分，从而实现将人像从图像中提取出来。

在具体的实施例中，还可以利用设备上的GPU进行抠图处理操作，不占用CPU时间，提高系统速度；并且由于GPU是专门对图像进行处理的硬件，对不同大小的像素运算时间一样，例如，8位、16位、32位的像素运算时间均一样，可大大节省了对像素的运算时间；而普通的CPU会随像素大小的增大延长处理时间，所以本实施例的人像提取速度大大提高。上述的区别点使得本实施例中还可以采用带有GPU的嵌入式设备实现，即使嵌入式方案中的CPU性能较弱，但是应用本实施例的方案，嵌入式设备方案仍然能实现流畅显示，因为若使用CPU从第一图像数据中提取第一对象，CPU需进行读取摄像装置获取的视频，并进行抠图等处理，CPU负担太重，无法进行流畅的显示。而本实施例应用于嵌入式方案中，将上述抠图处理放入GPU中进行，既减轻了CPU的负担，同时不会对GPU的运行造成影响。

S103、将所述第一对象实时更新至虚拟场景中。在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。

3D虚拟现实场景技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种现实场景的3D模拟场景，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。虚拟场景包括任何现实生活中存在的实际场景，包含视觉、听觉等任何能通过体感感受到的场景，通过计算机技术来模拟实现。3D虚拟现实场景的一种应用是3D虚拟舞台，3D虚拟舞台是通过计算机技术模拟现实舞台，实现一种立体感、真实感强的舞台效果。可以通过3D虚拟舞台实现，在现实中不在舞台上的主播对象在各种舞台上进行表演的场景效果。

3D视频是拍摄影像时，用两台摄影机模拟左右两眼视差，分别拍摄两条影片，然后将这两条影片同时放映到银幕上，放映时让观众左眼只能看到左眼图像，右眼只能看到右眼图像。最后两幅图像经过大脑叠合后，就能看到具有立体纵深感的画面，即为3D视频。

S104、通过计算机网络接收来自一个以上第一终端的互动请求以及第一多媒体数据，所述第一多媒体数据至少包括一个以上图像数据。所述计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络、3G/4G移动通讯网络、蓝牙网络或ZigBee网络等进行连接。第一终端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备。

S105、从所述第一多媒体数据中的图像数据中提取出一个以上第二对象，并根据互动请求，将第二对象实时更新至所述虚拟场景中，得到第二图像数据。其中，所述第一图像数据和第二图像数据是指包括两帧以上连续图像的图像数据(或称为视频数据)，并非单帧静态图像，在提取第一对象和第二对象时，可以从每帧的图像中分别提取出第一对象和第二对象，因此所得到的第一对象和第二对象也是包括有两帧以上连接对象。步骤S105是在接受了第一终端所发送的互动请求后才执行的。在接受所述互动请求之后，为了减少数据传输所造成的延时误差，需要建立主播端与观众端的网络直连。在实施例中，第二对象可以采用步骤102中所使用的不同算法和设置，从第一多媒体数据中的图像数据中提取得到。所提取得到的第二对象实时更新至所述虚拟场景中，从而在所得到的第二图像数据中，同时包含有虚拟场景以及呈现于该虚拟场景中的第一对象和第二对象，并且第一对象与第二对象是从第一图像数据以及第一多媒体数据中实时提取出来，并实时更新至虚拟场景中。本实施例将第一图像数据中的第一对象实时更新到所述虚拟场景中，以实现在得到的第二图像数据中既具有丰富多彩的场景变化效果，同时通过第一终端发送互动请求，将第一多媒体数据中的第二对象一同更新至虚拟场景中，又使第一对象和第二对象实时活动于同一虚拟场景中，实现异地同台互动的视觉效果，大大提高了直播端与观众端的互动品质。

在本实施例中，由于第二对象是在图像或视频形成的初期，与第一对象一起更新到虚拟场景中的，即第二对象是与第一对象以及虚拟场景一同渲染成像的，因此第一对象与第二对象是融合在虚拟场景中，融为虚拟场景的一部分，相对目前只将互动内容简单叠加在视频的表面层，以实现同屏直播相比，其显示的立体效果更好，且可以跟虚拟场景融合的更加自然协调。

在一实施例中，所述第一多媒体数据中包含有第二声音数据；并且在实时获取摄像装置的信号，采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；

将所述第一对象以及第二对象实时更新到虚拟场景中的同时，也将第一声音数据和第二声音数据实时更新到虚拟场景中，得到第二多媒体数据，所述第二多媒体数据包括有第一声音数据、第二声音数据以及第二图像数据。

以网络异地连麦互动直播为例，所述第一声音数据为网络主播的说明或演唱的声音，或演主播演唱的声音及歌曲伴奏的混合声音。而第一多媒体数据为网络在线观众实时上传给主播的互动多媒体素材，其中包括有观众图像(即第二对象)的图像数据，还包括有观众的说明或演唱的声音。

主播端将所提取的主播对象实时更新至虚拟舞台(如中国好声音)等虚拟场景中，并将主播对象的声音数据实时更新到虚拟场景中；而在将观众所上传的第一多媒体数据中的观众对象实时更新至虚拟舞台的同时，将观众对象的声音数据也同步更新至虚拟舞台中。

这样，不仅可以在显示终端看到主播与观众同步互动的画面，还可以听到与画面同步的主播与观众的声音，从而实现了异地同台连麦互动的场景。

在一实施例中，在步骤S105之后，还包括通过实时流传输协议，将所述第二图像数据直播给局域网中的在线客户端；或将所述第二图像数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据的互联网直播链接。

在局域网内直播时，实时数据流服务器检测是否有客户端连接于该服务器，以及是否有播放请求，在检测到有客户端连接，并接收到播放请求时，通过实时流传输协议，将所述第二图像数据或第二多媒体数据发送给局域网在线客户端。所述客户端可以是各种支持RTSP的播放器，如PC机、平板电脑、智能手机等。客户端在接收到实时流服务器传来的第二图像数据或第二多媒体数据后，进行解码即可进行播放，播放的内容即为第一对象、第二对象与虚拟场景相结合渲染的画面；第二图像数据或第二多媒体数据中的音频数据解码后，通过扬声器播放即为演唱者演唱的声音及伴奏。

在互联网直播时，实时数据流服务器通过实时流传输协议，将所述第二图像数据或第二多媒体数据发送给第三方网络服务器，由第三方网络服务器生成所述第二图像数据或第二多媒体数据的直播链接。客户端通过点击所述直播链接，即可获取所述第二图像数据或第二多媒体数据的实时数据流，并通过解码播放。

在不同虚拟场景中互动的实施例中，互动请求可以包括不同的内容，在某些实施例中，所述互动请求包括将第一素材更新到虚拟场景中的命令。具体为：在将第一对象实时更新到虚拟场景的同时，根据所述互动请求，将第一素材也更新到虚拟场景中，从而得到所述第二图像数据。

所述第一素材可以为图像素材、声音素材或者图像素材与声音素材的结合。以网络直播为例，所述第一素材包括有虚拟礼物、点赞、背景音、喝彩等，网络直播的观众可通过移动手机，向主播送鲜花等虚拟礼物的互动指令，所送的礼物将以鲜花图片的形式在虚拟场景中体现出来。网络直播的观众还可以通过移动手机，向主播发送鼓掌的互动指令，鼓掌的互动指令将以掌声的形式进行播放。

这些第一素材可以是系统预置的，供给用户选择使用，而在某些实施例中，所述互动指令除了包括将第一素材更新到虚拟场景中的命令，还可包括了第一素材的内容数据。例如观众在通过移动终端上传一个赠送虚拟礼物的互动指令，以及在互动指令中还包含了一张所赠送虚拟礼物的图片，在接收到所述互动指令后，将所述礼物的图片更新至虚拟场景中。因此观众在发送互动指令时，除了可以选择互动的方式，还可以根据自己的喜好自定义第一素材的内容数据，如喜欢的图片素材、声音素材或图片与声音结合的素材。

在一些实施例中，所述互动指令还包括变换虚拟场景镜头的命令，所述变换虚拟场景镜头的命令包括有切换虚拟场景镜头的视角，改变虚拟场景镜头焦距以及对虚拟场景进行局部模糊处理等。通过切换虚拟场景镜头的视角，可以模拟从不同视角观看虚拟场景的画面；通过改变虚拟场景镜头焦距，可对拉近和推远虚拟场景的画面；而对对虚拟场景进行局部模糊处理，可使虚拟场景中未模糊处理部分画面被突出显示。通过所述变换虚拟场景镜头的命令，可大大提高观众的互动程度和趣味性。

以下以异地连麦互动直播为例，对所述基于虚拟场景的多人互动方法进行详细说明，请参阅图2，为异地连麦互动直播的执行流程图。该异地连麦互动直播包括以下步骤：

S201、通过网络摄像头等摄像装置，获取主播在纯色背景下的图像数据，获取音效器输出的音频数据，音频数据中包含有主播的声音和伴奏等背景音乐；

S202、通过抠像技术，从所述图像数据中抠出主播的人像部分；

S203、将所抠出的主播人像叠加到虚拟舞台等虚拟场景中，以及将所述音频数据与主播人像同步更新至虚拟场景中，得到音视频数据；

S204、通过实时流传输协议，将所得到的音视频数据推送到CDN服务器进行直播；

S205、主播端接收一个以上其他主播或观众端发送的连麦互动请求，并在接受互动请求后，与其他主播或观众端建立网络直连，并接收其他主播或观众端发送的互动多媒体素材，从互动多媒体素材中提取出其他主播或观众的人像部分和音频数据，以及将提取出来的主播或观众的人像与音频数据同步更新至所述虚拟舞台中，得到新的音视频数据，最后将所得到的音视频数据推送到CDN服务器进行直播。

其中，在连麦互动直播过程中，主播端还可以接收客户端发送的礼物、点赞等互动指令，主播端在接收到所述互动指令时，可根据互动指令，将其中所包含的素材实时更新至虚拟场景中。

在本实施例中，在步骤S205中，从互动多媒体素材中提取出其他主播或观众的人像部分和音频数据，并同步更新至所述虚拟舞台，得到新的音视频数据后，通过在显示装置上显示图像数据并通过硬件编码器进行编码。为了降低直播时的延迟，本实施例在编码器开启低延迟优化，尽可能减少编码器对数据的缓存。并且在编码时采用I+P帧的编码方式，不对B帧进行编码。现有对B帧进行编码的编码方法，由于B帧需要依赖前后视频帧，对数据的缓存量大，对编码造成延时。所以，本实施例的I+P帧的编码方式降低编解码的延迟，同时也可减低编码器对数据的缓存。以及将所得到的音视频数据推送到CDN服务器进行直播时，采用较大的GOP(即两个关键帧之间的视频帧间隔)，在同等质量的情况下降低码率，进而进一步降低传输累计延迟，同时CDN服务器缓存最新GOP，实现秒开，来减低由于GOP大造成的首开延迟。(视频流只有收到关键帧后才会开始解码)

请参阅图3，本实施例提供了一种基于虚拟场景的多人互动系统，该多人互动系统用于从第一图像数据中提取出第一对象，并实时更新至虚拟场景中；并在接收到互动请求以及多媒体数据时，根据互动请求从多媒体数据中提取第二对象，并实时更新至虚拟场景中，得到第二图像数据。该多人互动系统具体包括有以下几个模块：

采集模块10，用于实时获取摄像装置的信号，采集得到一个以上的第一图像数据。

提取模块20，用于根据预设的条件，从所述第一图像数据中提取一个以上的第一对象。在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。根据这些实际需求的不同，所述第一对象可以采用以上实施例中所提及的不同算法和设置，从第一数据图像中提取得到，这里就不再对如何提取第一对象再进行赘述。

更新模块30，用于将所述第一对象实时更新至虚拟场景中。在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。

接收模块40，用于通过计算机网络接收来自一个以上第一终端的互动请求以及第一多媒体数据，所述第一多媒体数据至少包括一个以上图像数据。所述计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络、3G/4G移动通讯网络、蓝牙网络或ZigBee网络等进行连接。第一终端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备。

互动模块50，用于从所述第一多媒体数据中的图像数据中提取出一个以上第二对象，并根据互动请求，将第二对象实时更新至所述虚拟场景中，得到第二图像数据。所述第一图像数据和第二图像数据是指包括两帧以上连续图像的图像数据(或称为视频数据)，并非单帧静态图像，在提取第一对象和第二对象时，可以从每帧的图像中分别提取出第一对象和第二对象，因此所得到的第一对象和第二对象也是包括有两帧以上连接对象。其中第二对象可采用与第一对象同样的提取方法得到，这里就不再赘述。所提取得到的第二对象实时更新至所述虚拟场景中，从而在所得到的第二图像数据中，同时包含有虚拟场景以及呈现于该虚拟场景中的第一对象和第二对象，并且第一对象与第二对象是从第一图像数据以及第一多媒体数据中实时提取出来，并实时更新至虚拟场景中。本实施例将第一图像数据中的第一对象实时更新到所述虚拟场景中，以实现在得到的第二图像数据中既具有丰富多彩的场景变化效果，同时通过第一终端发送互动请求，将第一多媒体数据中的第二对象一同更新至虚拟场景中，又使第一对象和第二对象实时活动于同一虚拟场景中，实现异地同台互动的视觉效果，大大提高了直播端与观众端的互动品质。

在本实施例中，由于第二对象是在图像或视频形成的初期，与第一对象一起更新到虚拟场景中的，即第二对象是与第一对象以及虚拟场景一同渲染成像的，因此第一对象与第二对象是融合在虚拟场景中，融为虚拟场景的一部分，相对目前只将互动内容简单叠加在视频的表面层，以实现同屏直播相比，其显示的立体效果更好，且可以跟虚拟场景融合的更加自然协调。

在一实施例中，所述采集模块10还用于，在实时获取摄像装置的信号，采集得到一个以上的第一图像数据的同时，实时获取音效器的信号，采集得到第一声音数据；并且所述第一多媒体数据中包含有第二声音数据；

所述更新模块30还用于，将所述第一对象实时更新到虚拟场景中的同时，也将第一声音数据实时更新到虚拟场景中；

所述互动模块50还用于，将第二对象实时更新至所述虚拟场景中的同时，也将第二声音数据实时更新到虚拟场景中，得到第二多媒体数据，所述第二多媒体数据包括有第一声音数据、第二声音数据以及第二图像数据。

以网络异地连麦互动直播为例，所述第一声音数据为网络主播的说明或演唱的声音，或演主播演唱的声音及歌曲伴奏的混合声音。而第一多媒体数据为网络在线观众实时上传给主播的互动多媒体素材，其中包括有观众图像(即第二对象)的图像数据，还包括有观众的说明或演唱的声音。

主播端将所提取的主播对象实时更新至虚拟舞台(如中国好声音)等虚拟场景中，并将主播对象的声音数据实时更新到虚拟场景中；而在将观众所上传的第一多媒体数据中的观众对象实时更新至虚拟舞台的同时，将观众对象的声音数据也同步更新至虚拟舞台中。

这样，不仅可以在显示终端看到主播与观众同步互动的画面，还可以听到与画面同步的主播与观众的声音，从而实现了异地同台连麦互动的场景。

请参阅图4，在一实施例中，所述多人互动系统还包括直播模块60，用于通过实时流传输协议，将所述第二图像数据直播给局域网中的在线客户端；或将所述第二图像数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据的互联网直播链接。

在局域网内直播时，实时数据流服务器检测是否有客户端连接于该服务器，以及是否有播放请求，在检测到有客户端连接，并接收到播放请求时，通过实时流传输协议，将所述第二图像数据或第二多媒体数据发送给局域网在线客户端。所述客户端可以是各种支持RTSP的播放器，如PC机、平板电脑、智能手机等。客户端在接收到实时流服务器传来的第二图像数据或第二多媒体数据后，进行解码即可进行播放，播放的内容即为第一对象、第二对象与虚拟场景相结合渲染的画面；第二图像数据或第二多媒体数据中的音频数据解码后，通过扬声器播放即为演唱者演唱的声音及伴奏。

在互联网直播时，实时数据流服务器通过实时流传输协议，将所述第二图像数据或第二多媒体数据发送给第三方网络服务器，由第三方网络服务器生成所述第二图像数据或第二多媒体数据的直播链接。客户端通过点击所述直播链接，即可获取所述第二图像数据或第二多媒体数据的实时数据流，并通过解码播放。

在不同虚拟场景中互动的实施例中，互动请求可以包括不同的内容，在某些实施例中，所述互动请求包括将第一素材更新到虚拟场景中的命令。具体为：在将第一对象实时更新到虚拟场景的同时，根据所述互动请求，将第一素材也更新到虚拟场景中，从而得到所述第二图像数据。

所述第一素材可以为图像素材、声音素材或者图像素材与声音素材的结合。以网络直播为例，所述第一素材包括有虚拟礼物、点赞、背景音、喝彩等，网络直播的观众可通过移动手机，向主播送鲜花等虚拟礼物的互动指令，所送的礼物将以鲜花图片的形式在虚拟场景中体现出来。网络直播的观众还可以通过移动手机，向主播发送鼓掌的互动指令，鼓掌的互动指令将以掌声的形式进行播放。

这些第一素材可以是系统预置的，供给用户选择使用，而在某些实施例中，所述互动指令除了包括将第一素材更新到虚拟场景中的命令，还可包括了第一素材的内容数据。例如观众在通过移动终端上传一个赠送虚拟礼物的互动指令，以及在互动指令中还包含了一张所赠送虚拟礼物的图片，在接收到所述互动指令后，将所述礼物的图片更新至虚拟场景中。因此观众在发送互动指令时，除了可以选择互动的方式，还可以根据自己的喜好自定义第一素材的内容数据，如喜欢的图片素材、声音素材或图片与声音结合的素材。

在一些实施例中，所述互动指令还包括变换虚拟场景镜头的命令，所述变换虚拟场景镜头的命令包括有切换虚拟场景镜头的视角，改变虚拟场景镜头焦距以及对虚拟场景进行局部模糊处理等。通过切换虚拟场景镜头的视角，可以模拟从不同视角观看虚拟场景的画面；通过改变虚拟场景镜头焦距，可对拉近和推远虚拟场景的画面；而对对虚拟场景进行局部模糊处理，可使虚拟场景中未模糊处理部分画面被突出显示。通过所述变换虚拟场景镜头的命令，可大大提高观众的互动程度和趣味性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。