一种直播互动方法和系统与流程

本发明属于移动直播技术领域，特别是一种直播互动方法和系统。

背景技术：

网络直播吸取和延续互联网的优势，利用视讯方式进行网上现场直播，可以将才艺展示、产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上，利用互联网的直观、快速，表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点，加强活动现场的推广效果。现场直播完成后，还可以随时为读者继续提供重播、点播，有效延长了直播的时间和空间，发挥直播内容的最大价值。

目前，通常在现场架设独立的信号采集设备(音频+视频)，再通过网络上传至服务器，发布至网址供人观看。现有的直播系统构成主要包括：手机采集摄像头视频数据和音频模块采集音频数据，通过美颜软件处理，然后把音视频合成推送到(内容分发网络(Content Delivery Network，CDN)平台，线上的用户在平台上收看直播内容源，同时和发起直播用户使用弹幕、消息栏、虚拟道具、虚拟礼物进行互动

然而，现有的直播软件在用户互动环境中只能赠送虚拟的道具和礼物，无法赠送实际的超市物品或者现实的物品。

另外，现有的视频直播基本上只有美颜等功能，无法结合增强显示(AR)功能，将酷炫的视频内容直播出去。而且，现有的直播主要利用手机，受限于手机摄像头的焦距，画面有限，无法满足多人直播，而且还经常受到手机电池容量的限制。还有，手机摄像头在拍摄过程中容易抖动，拍摄的视频易不清晰；且手机摄像头在移动拍摄过程中，网络信号不好，容易引起直播卡顿。

技术实现要素：

本发明实施方式提出一种直播互动方法和系统，从而实现赠送真实物品，并由此提高互动性。

本发明实施方式的技术方案如下：

一种直播互动方法，该方法包括：

从接收数字视听场所的数字视听单元中直播内容的终端处，接收针对实物的实物订单信息，基于所述实物订单信息生成实物待支付信息，并当所述终端基于所述实物待支付信息完成支付后，向所述数字视听场所的数字视听单元分发所述实物。

在一个实施方式中，该方法还包括：

基于移动终端确定直播内容，将所述直播内容发送到云端，以由云端生成直播内容的播放地址；或

基于包厢点歌终端确定直播内容，将所述直播内容发送到云端，以由云端生成直播内容的播放地址。

在一个实施方式中，所述基于移动终端确定直播内容包括：

当直播用户在移动终端上选定以所述移动终端作为直播录制源时，使能所述移动终端录制所述直播用户的视频以作为所述直播内容；或，当直播用户在所述移动终端上选定以布置在所述数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频，并将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容；或，当直播用户在所述移动终端上选定以所述移动终端及布置在数字视听场所的数字视听单元中的摄像头共同作为直播录制源时，使能所述移动终端录制所述直播用户的视频，使能所述摄像头录制所述直播用户的视频，并将所述移动终端录制的视频、所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容；或，当直播用户在所述移动终端上选定以布置在所述数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频，并将所述直播用户的视频作为所述直播内容；

或

所述基于包厢点歌终端确定直播内容包括：当直播用户在所述包厢点歌终端上选定以布置在所述数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频，并将所述直播用户的视频作为所述直播内容；或，当直播用户在所述包厢点歌终端上选定以布置在所述数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频，并将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容。

在一个实施方式中，所述接收数字视听场所的数字视听单元中直播内容包括：

终端通过微信连接到直播页面接收所述直播内容；和/或

终端通过预定的应用程序接收所述直播内容。

在一个实施方式中，所述实物包括下列中的至少一个：

酒类；饮料；零食；鲜花；水果；熟食；玩具；服装；饰品。

在一个实施方式中，该方法还包括：

经由与数字视听场所的数字视听单元中的机顶盒在同一局域网中的支付管理平台，从与所述数字视听场所的数字视听单元相绑定的移动终端接收订单信息；

经由所述支付管理平台通过局域网将所述订单信息发送到网关服务器，以由所述网关服务器经由互联网将所述订单信息发送到云端服务器，并由云端服务器经由互联网将所述订单信息发送到支付平台；

经由所述支付管理平台通过局域网从网关服务器接收待支付信息，所述待支付信息由支付平台基于订单信息生成、并经由互联网发送到云端服务器，再由云端服务器经由互联网发送到网关服务器；

展示所述待支付信息，以由移动终端基于所述待支付信息执行支付；

或，该方法还包括：支付平台经由互联网向云端服务器返回支付结果；云端服务器经由互联网将支付结果发送到网关服务器；网关服务器经由局域网向支付管理平台发送支付结果；

或，该方法还包括：当增加新的支付平台时，云端服务器进一步建立与新的支付平台的互联网连接；云端服务器基于预定策略选择目标支付平台，并将所述订单信息发送到所述目标支付平台；或，当所述支付平台被替换为另外的支付平台时，云端服务器进一步建立与所述另外的支付平台的互联网连接；云端服务器经由互联网将所述订单信息发送到所述另外的支付平台；或，当支付平台被删除时，云端服务器删除与所述支付平台的互联网连接。

在一个实施方式中，所述经由局域网中的支付管理平台接收订单信息包括：

经由所述局域网从所述机顶盒接收订单信息；其中：所述订单信息是由用户在移动终端触发，并由移动终端经由所述局域网发送到机顶盒的；或，经由所述局域网从支付服务器接收订单信息；其中：所述订单信息是由管理人员在支付服务器上触发的；

或

所述支付服务器的数目为一或多个；和/或，所述待支付信息包括具有二维码形式或条形码形式的支付码，或银行类的支付链接。

在一个实施方式中，该方法还包括：

录制所述实物的视频或图片；

在所述数字视听场所的数字视听单元中显示所述直播内容及所述实物的视频或图片。

在一个实施方式中，该方法还包括：将第一对象更新到所述虚拟场景模型中，并在接收到互动指令时，根据互动指令将互动内容更新到所述虚拟场景模型中，以得到所述直播内容；

其中所述第一对象包括下列中的至少一个：真人对象；宠物；植物。

在一个实施方式中，将第一对象更新到所述虚拟场景模型中包括：实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；根据预设的条件，从每个第一图像数据中提取一个以上的第一对象，将一个以上的第一对象实时更新到虚拟场景模型中；

所述互动内容还包括第一素材的内容数据，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合；或，所述虚拟场景模型为3D虚拟舞台。

一种直播互动系统，包括：

云端服务器，用于基于数字视听场所的数字视听单元中直播内容生成播放地址；

支付平台，用于从基于所述播放地址观看直播内容的终端处，接收针对实物的实物订单信息，基于所述实物订单信息生成实物待支付信息，并当所述终端基于所述实物待支付信息完成支付后，向所述数字视听场所的数字视听单元分发所述实物。

在一个实施方式中，还包括：

移动终端，用于当直播用户在所述移动终端上选定以所述移动终端作为直播录制源时，录制所述直播用户的视频以作为直播内容或将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容，将所述直播内容发送到云端服务器；

布置在所述数字视听场所的数字视听单元中的摄像头，用于当直播用户在所述移动终端上选定以所述摄像头作为直播录制源时，录制所述直播用户的视频以作为直播内容，或将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为直播内容，将所述直播内容发送到云端服务器；

包厢点歌终端，用于当直播用户在所述包厢点歌终端上选定以所述摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频并将所述直播用户的视频作为所述直播内容，或将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容。

在一个实施方式中，还包括位于所述数字视听场所的数字视听单元中的机顶盒；

所述摄像头或所述移动终端，还用于录制所述实物的视频或图片，将所述实物的视频或图片发送到所述机顶盒；

所述机顶盒与显示单元连接，用于将所述实物的视频或图片发送到显示单元；

显示单元，用于显示所述直播内容及所述实物的视频或图片。

在一个实施方式中，所述包厢被布置在数字视听场所中，所述数字视听场所包括下列中的至少一个：卡拉OK场所；夜总会；酒吧；酒店；多媒体会议室；网吧；影吧；台球室；和/或

所述数字视听单元包括包厢。

从上述技术方案可以看出，在本发明实施方式中，从接收数字视听场所的数字视听单元中直播内容的终端接收针对实物的实物订单信息，基于实物订单信息生成实物待支付信息，并当终端基于实物待支付信息完成支付后，向数字视听场所的数字视听单元分发所述实物。本发明实施方式可以实现在直播过程中赠送真实物品，并由此提高直播的互动性。

本发明实施方式结合摄像头可以直播虚拟场景模型内容，可以将AR直播引入数字视听场所。

另外，本发明实施方式还可以提高移动支付的安全性并降低成本，而且还可以实现云端配置，升级维护非常便利。尤其是，当支付管理平台中的支付服务器的数目为多个时，本发明实施方式的成本效益更加明显。在本发明实施方式中，当支付平台发生变更、扩展或升级支付方式时，可以在云端完成相应的配置工作，而不需要下单终端、支付服务器等其他服务端作出任何改动，升级和维护大大简化。

还有，在本发明实施方式中，可以在云端服务器对各个交易场所的交易敏感数据进行集中管理，既保证了数据安全性，也可以为大数据挖掘提供关键依据。

还有，本发明可以采用布置在数字视听场所的数字视听单元中的摄像头作为直播录制源，克服了手机摄像头在拍摄过程中容易抖动的缺点，而且克服了手机摄像头网络信号不好，容易引起直播卡顿的缺点。

附图说明

图1为根据本发明实施方式的直播互动方法流程图。

图2为根据本发明实施方式的实物送礼流程图。

图3为根据本发明实施方式的直播互动系统的结构图。

图4为根据本发明实施方式的直播互动元素示意图。

图5为根据本发明实施方式的移动支付系统的示范性结构图。

图6为根据本发明实施方式在数字视听场所的移动支付系统的示范性结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。

在本发明实施方式中，从接收数字视听场所的数字视听单元中直播内容的终端处，接收针对实物的实物订单信息，基于所述实物订单信息生成实物待支付信息，并当所述终端基于所述实物待支付信息完成支付后，向所述数字视听场所的数字视听单元分发所述实物。

在一个实施方式中，可以将移动终端(比如，手机)与数字视听场所的数字视听单元绑定，用户通过移动终端中的客户端打开直播功能，在该直播功能中可选择直播移动终端自带摄像头所拍摄的视频文件，还可以选择直播包厢中设置的摄像头所拍摄的视频文件(该视频文件可以为虚拟舞台的视频)。

在一个实施方式中，用户还可以基于包厢点歌终端确定直播内容。当直播用户在包厢点歌终端上选定以布置在数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能摄像头录制直播用户的视频，并将直播用户的视频作为所述直播内容；或，当直播用户在所述包厢点歌终端上选定以布置在数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能摄像头录制直播用户的视频，并将直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容。

在确定直播内容后，将直播内容发到云端服务器的CDM直播通道，并生成观看直播的路径。然后，用户将观看直播的路径直接分享给他人，他人通过直播路径可观看到直播，或用户将直播路径放在客户端平台上，他人主动查找该直播路径进行观看直播。

直播页面上可以具有弹幕按钮、虚拟礼物、虚拟道具或场所线上超市入口。他人可在直播页面购买送弹幕、虚拟礼物、虚拟道具等。购买后，弹幕按钮、虚拟礼物、虚拟道具依次通过云端服务器和网关服务器发送到包厢机顶盒，然后机顶盒控制弹幕、虚拟礼物、虚拟道具等显示到包厢的显示屏上。当需要送实体物品时，从场所线上超市入口进入场所线上超市，进行购买实体物品，该实物订单信息(购物信息)中包括包厢信息、被送人的账户等，付款后，场所将实体物品送到对应包厢中。

图1为根据本发明实施方式的直播互动方法的流程图。在图1所示流程中，以移动终端为例阐述确定直播内容的方法。本发明实施方式还可以通过包厢点歌终端或其他的终端确定直播内容。而且，在图1中，将包厢作为数字视听场所的数字视听单元的实施例进行说明。

如图1所示，该方法包括：

步骤101：将移动终端与数字视听场所的数字视听单元相绑定。

在这里，移动终端可以通过扫描二维码的方式与数字视听场所的数字视听单元相绑定。比如，在数字视听场所的数字视听单元中张贴有二维码，移动终端的摄像头扫描二维码，并与数字视听场所的数字视听单元保持绑定。

在这里，数字视听场所包括卡拉OK场所；夜总会；酒吧；酒店；多媒体会议室；网吧；影吧；台球室，等等。数字视听单元包括数字视听场所中的包厢。

步骤102：基于移动终端确定直播内容，将直播内容发送到云端，以由云端生成直播内容的播放地址。

在这里，当直播用户在移动终端上选定以移动终端作为直播录制源时，使能移动终端录制直播用户的视频以作为直播内容。

当直播用户在移动终端上选定以布置在数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能摄像头录制直播用户的视频，并将直播用户的视频与预定的虚拟场景模型作出增强现实(AR)处理以作为直播内容。

当直播用户在移动终端上选定以移动终端及布置在数字视听场所的数字视听单元中的摄像头共同作为直播录制源时，使能移动终端录制直播用户的视频，使能摄像头录制直播用户的视频，并将移动终端录制的视频、直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为直播内容。

当直播用户在所述移动终端上选定以布置在所述数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频，并将所述直播用户的视频作为所述直播内容；

在其它实施例中，还可通过所述基于包厢点歌终端确定直播内容，具体为：当直播用户在所述包厢点歌终端上选定以布置在所述数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频，并将所述直播用户的视频作为所述直播内容。或者是，当直播用户在所述包厢点歌终端上选定以布置在所述数字视听场所的数字视听单元中的摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频，并将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容。

而且，云端生成直播内容的播放地址之后，可以将直播内容的播放地址发送到移动终端，再由移动终端直接将直播内容的播放地址分享给他人。或者，云端生成直播内容的播放地址之后，可以将直播内容的播放地址发送到移动终端，移动终端将直播内容的播放地址放在客户端平台上，他人主动在客户端平台上查找直播内容的播放地址进行观看直播。再或者，云端生成直播内容的播放地址之后，直接将直播内容的播放地址放在客户端平台上，他人主动在客户端平台上查找直播内容的播放地址进行观看直播。

步骤103：从基于直播内容的播放地址观看直播内容的终端接收针对实物的实物订单信息，基于实物订单信息生成实物待支付信息，并当终端基于实物待支付信息完成支付后，向数字视听场所的数字视听单元分发实物。

在一个实施方式中，终端通过微信连接到直播页面(比如，通过微信的第五代超文本标记语言页面观看直播内容)接收所述直播内容；和/或，终端通过预定的应用程序接收所述直播内容。

在一个实施方式中，实物包括下列中的至少一个：酒类；饮料；零食；鲜花；水果；熟食；玩具；服装；饰品，等等。本实际操作中，实物并不仅限上述种类，只要可在线上超市购买到的实物均可作为赠送礼物。

举例，直播用户张三将移动终端与数字视听场所的数字视听单元相绑定。而且，直播用户张三在移动终端上选定以布置在数字视听场所的数字视听单元中的摄像头作为直播录制源，摄像头录制直播用户张三的才艺表演视频，并将直播用户的才艺表演视频与预定的虚拟场景模型(比如，舞台背景)作出增强现实(AR)处理以作为直播内容。摄像头将直播内容发送到云端，以由云端生成直播内容的播放地址。终端李四通过直播内容的播放地址观看直播内容，并非常喜欢直播用户张三的表演内容。李四打算送张三实体礼物以作为奖励。李四发出针对实物的实物订单信息，支付平台基于实物订单信息生成实物待支付信息，并当李四基于实物待支付信息完成支付后，向数字视听场所的数字视听单元中的直播用户张三分发实物。

以上详细描述了实物种类以及观看直播内容的具体实施方式，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明的保护范围。

在一个实施方式中，该方法还包括：录制实物的视频或图片；在数字视听场所的数字视听单元中显示直播内容及实物的视频或图片。

在具体实施中，直播用户可以通过移动终端上的K米App或者微信扫描点歌台上特定的二维码，以绑定包厢。直播用户可以选择使用包厢内的专业摄像头或移动终端自带摄像头进行直播。使用专业摄像头直播，可以选择AR功能，把虚拟舞台、场景直播出去。当用户发起直播后，该用户可以主动通过微信分享直播H5页面给场外的观众。场外的用户也使用K米App在热门直播大厅列表找到对应的直播。场外观众可以送弹幕、虚拟礼物、虚拟道具、或者实际超市的物品，和直播者互动。直播系统和KTV点歌系统无缝结合的。场外用户的发送的弹幕、虚拟礼物、实物送礼，在KTV的包厢大电视上都有同步的酷炫展示，如果场外送的是实际超市的礼物，线下的超市系统会自动出品对应的实际礼物，由服务员送给直播者。

本发明实施方式优选还提出了一种融合式虚拟场景互动方法。在一个实施方式中，该方法还包括：将第一对象更新到所述虚拟场景模型中，并在接收到互动指令时，根据互动指令将互动内容更新到所述虚拟场景模型中，以得到所述直播内容；其中第一对象包括：实物或虚拟礼物。

在一个实施方式中，将第一对象更新到所述虚拟场景模型中包括：实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；根据预设的条件，从每个第一图像数据中提取一个以上的第一对象，将一个以上的第一对象实时更新到虚拟场景中；所述互动内容还包括第一素材的内容数据，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合；或，所述虚拟场景模型为3D虚拟舞台。

可见，本发明实施方式还提供了一种融合式虚拟场景互动的方法，可以应用于网络直播或MTV制作等多种需求中。该融合式虚拟场景互动的方法，将第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到图像数据。

具体地，融合式虚拟场景互动包括以下步骤：

第一步：实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据。

第二步：根据预设的条件，从每个第一图像数据中提取一个以上的第一对象。在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如第一对象可以是真人主播，可以是宠物动物等，还可以是植物等；第一对象的数量可以是单个，也可以是2个以上。根据这些实际需求的不同，可以使用不同的算法和设置，以有效地在第一数据图像中提取第一对象。以下通过一具体提取第一对象的算法实施例进行举例说明。

在某一实施例中，第一图像数据中，第一对象为人物主播，主播所处的背景为纯色背景。提取第一图像数据中第一对象的具体步骤为：GPU将第一图像数据中的每个像素的颜色值与预设的阈值做比较；若像素的颜色值在预设的阈值内，则将该像素点的Alpha通道设为零，即将背景显示为透明色，提取出对象。

由于背景为纯色，所以本实施例采用色度键法进行抠图。其中预设的阈值为背景颜色的颜色值，例如，背景颜色为绿色，则预设的像素点RGB颜色值的阈值为(0±10、255-10、0±10)。背景色可以选择绿色或蓝色，在拍摄的场所可同时设置两种颜色的背景，供主播选择。当主播穿与绿色反差较大的衣服唱歌时，可选用绿色的背景。在对象(人像)提取过程中，由于主播穿的衣服与背景色相差较大，所以图像中的每个像素的颜色值与预设的阈值进行比较后，背景部分像素点的颜色值在预设的阈值内，将背景部分像素点的Alpha通道设为零，即将背景显示为透明色；而人像部分的像素点不在预设的阈值内，保留人像部分，从而实现将人像从图像中提取出来。

在具体的实施例中，还可以利用设备上的GPU进行抠图处理操作，不占用CPU时间，提高系统速度；并且由于GPU是专门对图像进行处理的硬件，对不同大小的像素运算时间一样，例如，8位、16位、32位的像素运算时间均一样，可大大节省了对像素的运算时间；而普通的CPU会随像素大小的增大延长处理时间，所以本实施例的人像提取速度大大提高。上述的区别点使得本实施例中还可以采用带有GPU的嵌入式设备实现，即使嵌入式方案中的CPU性能较弱，但是应用本实施例的方案，嵌入式设备方案仍然能实现流畅显示，因为若使用CPU从第一图像数据中提取第一对象，CPU需进行读取摄像装置获取的视频，并进行抠图等处理，CPU负担太重，无法进行流畅的显示。而本实施例应用于嵌入式方案中，将上述抠图处理放入GPU中进行，既减轻了CPU的负担，同时不会对GPU的运行造成影响。

第三步：接收来自第一终端发送的互动指令。在不同的实施例中，所述第一终端通过计算机网络发送互动指令，计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络、3G/4G移动通讯网络、蓝牙网络或ZigBee网络等进行连接。第一终端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备。在一些实施例中，第一终端还可以遥控器等近距离控制装置，第一终端可产生红外信号、无线电波等信号来发送相应的互动指令。

第四步：将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到第二图像数据。在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。

3D虚拟现实场景技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种现实场景的3D模拟场景，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。虚拟场景包括任何现实生活中存在的实际场景，包含视觉、听觉等任何能通过体感感受到的场景，通过计算机技术来模拟实现。3D虚拟现实场景的一种应用是3D虚拟舞台，3D虚拟舞台是通过计算机技术模拟现实舞台，实现一种立体感、真实感强的舞台效果。可以通过3D虚拟舞台实现，在现实中不在舞台上的主播对象在各种舞台上进行表演的场景效果。3D视频是拍摄影像时，用两台摄影机模拟左右两眼视差，分别拍摄两条影片，然后将这两条影片同时放映到银幕上，放映时让观众左眼只能看到左眼图像，右眼只能看到右眼图像。最后两幅图像经过大脑叠合后，就能看到具有立体纵深感的画面，即为3D视频。

在不同虚拟场景中互动的实施例中，互动指令可以包括不同的内容，在某些实施例中，所述互动指令包括将第一素材更新到虚拟场景中的命令。具体为：在将第一对象实时更新到虚拟场景的同时，根据所述互动指令，将第一素材也更新到虚拟场景中，从而得到所述第二图像数据。第一素材可以为图像素材、声音素材或者图像素材与声音素材的结合。以网络直播为例，所述第一素材包括有虚拟礼物、点赞、背景音、喝彩等，网络直播的观众可通过移动手机，向主播送鲜花等虚拟礼物的互动指令，所送的礼物将以鲜花图片的形式在虚拟场景中体现出来。网络直播的观众还可以通过移动手机，向主播发送鼓掌的互动指令，鼓掌的互动指令将以掌声的形式进行播放。第一素材可以是系统预置的，供给用户选择使用，而在某些实施例中，所述互动指令除了包括将第一素材更新到虚拟场景中的命令，还可包括了第一素材的内容数据。例如观众在通过移动终端上传一个赠送虚拟礼物的互动指令，以及在互动指令中还包含了一张所赠送虚拟礼物的图片，在接收到所述互动指令后，将所述礼物的图片更新至虚拟场景中。因此观众在发送互动指令时，除了可以选择互动的方式，还可以根据自己的喜好自定义第一素材的内容数据，如喜欢的图片素材、声音素材或图片与声音结合的素材。

在一些实施例中，互动指令还包括变换虚拟场景镜头的命令，所述变换虚拟场景镜头的命令包括有切换虚拟场景镜头的视角，改变虚拟场景镜头焦距以及对虚拟场景进行局部模糊处理等。通过切换虚拟场景镜头的视角，可以模拟从不同视角观看虚拟场景的画面；通过改变虚拟场景镜头焦距，可对拉近和推远虚拟场景的画面；而对对虚拟场景进行局部模糊处理，可使虚拟场景中未模糊处理部分画面被突出显示。通过所述变换虚拟场景镜头的命令，可大大提高观众的互动程度和趣味性。

区别于现有的直播互动，是将互动的内容是直接的叠加至图像或视频的表面层，因此在视觉效果上，所叠加的互动内容像是漂浮在虚拟场景的表面，从而导致互动内容的视觉效果很突兀，很难与虚拟场景融合成一体。在上述实施例中，所述互动内容是在第一对象更新至虚拟场景的同时，更新至虚拟场景中，其中，所述第一对象、互动内容以及虚拟场景是一同渲染成像的，因此互动内容与第一对象可以自然、协调的融合在虚拟场景中，从而具有良好的视觉效果。在实施例中，所述互动内容还可是通过3D建模而得到的3D互动模型，3D互动模型与第一对象以及虚拟场景实时渲染，从而得到3D互动模型在虚拟场景中自然展现，如互动内容为献花时，所献的鲜花可在虚拟场景中立体展现；如互动内容为点赞时，点赞的信息能够在虚拟场景中的虚拟屏幕上显示。例如，当虚拟场景为一个舞台中，互动内容为献花，采用本发明上述方法，所献的鲜花可展示在舞台当中，成为舞台的一部分，显示效果好，而不像现有技术只是漂浮在界面表面。

在一实施例中，在实时获取摄像装置的信号，采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；

将第一对象实时更新到虚拟场景中的同时，也将将第一声音实时更新到虚拟场景中，得到第二图像数据。以网络直播为例，所述第一声音数据为网络主播的说明或演唱的声音，或演主播演唱的声音及歌曲伴奏的混合声音。通过实时将第一声音实时更新到虚拟场景中，同时，在显示终端实时显示更新后的第二图像数据。这样，不仅可听到网络主播的声音，还可以在显示终端看到与声音同步的画面(人像与虚拟场景的结合)，实现了虚拟舞台的效果。

在上述实施例中，得到第二图像数据之后，将第二图像数据通过显示装置显示，通过在显示装置上显示所述第二图像数据，用户可看到第一对象与虚拟场景合成后的视频。在显示第二图像数据时，可先对第二图像数据的画面进行编码，通过编码处理可使图像数据在显示装置实时流畅显示。在现有技术中，一般不对原始画面进行处理，原始画面数据量大，所以现有技术还未出现对人像和虚拟场景合成后的画面，实时在客户端显示的技术。而本实施例将更新后得到的第二图像数据的画面先进行编码，经过编码操作可大大减小画面大小。

例如：在分辨率为720P的情况下，1帧视频的大小为1.31MByte，1秒视频为30帧画面，所以，现有视频中，1秒视频的大小为：30*1.31＝39.3MByte；本实施例对画面进行编码后，还是在分辨率为720P下，设码率为4Mbit，1秒的视频的大小为4Mbit，由于1Byte＝8bit，所以1秒的视频为0.5MByte；与现有视频相比，编码后的视频数据大大减小，从而编码后的视频数据可流畅地在网络上进行传输，实现在客户端流畅显示音视频数据。

在一些实施例中，得到第二图像数据之后，存储记录第二图像数据。所存储的第二图像数据可上传至网关服务器，网关服务器将接收的图像数据上传至云端服务器，云端服务器接收图像数据并生成分享地址。通过上述步骤，实现了第二图像数据的分享。在通过终端设备(例如手机、电脑、平板等带显示屏的电子设备)登录分享地址，即可直接播放音视频数据或下载所述第二图像数据。

所得到的第二图像数据除了可以在本地的显示装置上进行播放，还可以在网络端进行实时播放。具体为：

网络客户端通过实时流传输协议获取所述第二图像数据，并对第二图像数据中的视频数据解码显示画面，所述画面内容可为3D场景渲染的画面；音频数据解码后通过音频播放设备(例如扬声器)播放。所述实时流传输协议可以是RTSP协议。其中，第二图像数据中的图像数据预先经过编码操作，通过图像数据编码操作，可实现客户端流畅播放视频数据。

以上详细描述了融合式虚拟场景互动的实现细节。本领域技术人员可以意识到，也可以不采用上述互动方式或采用其他的互动方式，本发明对此并无限定。

下面再详细描述本发明实施方式的实物送礼流程。

图2为根据本发明实施方式的实物送礼流程图。

如图2所示，该方法包括：

步骤201：场外观看直播用户A使用App或者微信H5页面观看直播。

步骤202：场外观看直播用户A选择实物物品和送礼对象。

步骤203：场外观看直播用户A通过微信或支付宝等支付方式实现支付。

步骤204：支付成功后，场所的超市管理系统出品物品。

步骤205：手机App或者H5接口通知点歌系统在电视展示实物付成功后，场所的超市管理系统出品物品。

步骤206：获赠者收到服务员送来的超市出品的实物礼品。

因此，在本发明实施方式中，在直播过程能方便快捷的利用送实物来增加互动，不仅仅局限于虚拟的道具和礼物，同时本发明结合专业摄像头，把AR内容直播出去，可以将直播引入KTV场所，开创KTV直播时代。

本发明实施方式还提出了一种直播互动系统。包括：云端服务器，用于基于数字视听场所的数字视听单元中直播内容生成播放地址；支付平台，用于从基于所述播放地址观看直播内容的终端接收针对实物的实物订单信息，基于所述实物订单信息生成实物待支付信息，并当所述终端基于所述实物待支付信息完成支付后，向数字视听场所的数字视听单元分发实物。

在一个实施方式中，直播互动系统还包括：

移动终端，用于当直播用户在所述移动终端上选定以所述移动终端作为直播录制源时，录制所述直播用户的视频以作为直播内容或将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容，将所述直播内容发送到云端服务器；

布置在所述数字视听场所的数字视听单元中的摄像头，用于当直播用户在所述移动终端上选定以所述摄像头作为直播录制源时，录制所述直播用户的视频以作为直播内容，或将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为直播内容，将所述直播内容发送到云端服务器；

包厢点歌终端，用于当直播用户在所述包厢点歌终端上选定以所述摄像头作为直播录制源时，使能所述摄像头录制所述直播用户的视频并将所述直播用户的视频作为所述直播内容，或将所述直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为所述直播内容。

图3为根据本发明实施方式的直播互动系统的结构图。

如图3所示，直播互动系统包括：

移动终端，用于与数字视听场所的数字视听单元相绑定，当直播用户在移动终端上选定以移动终端作为直播录制源时，录制直播用户的视频以作为直播内容，将直播内容发送到云端服务器；

布置在数字视听场所的数字视听单元中的摄像头，用于当直播用户在移动终端上选定以摄像头作为直播录制源时，录制直播用户的视频，并将直播用户的视频与预定的虚拟场景模型作出增强现实处理以作为直播内容，将直播内容发送到云端服务器；

云端服务器，用于基于移动终端或摄像头提供的直播内容生成直播内容的播放地址；

支付平台，用于从基于直播内容的播放地址观看直播内容的终端接收针对实物的实物订单信息，基于实物订单信息生成实物待支付信息，并当终端基于实物待支付信息完成支付后，向数字视听场所的数字视听单元分发实物。

在一个实施方式中，直播互动系统还包括位于数字视听场所的数字视听单元中的机顶盒；

摄像头或移动终端，还用于录制实物的视频或图片，将实物的视频或图片发送到机顶盒；机顶盒与显示单元连接，用于将实物的视频或图片发送到显示单元；显示单元，用于显示直播内容及实物的视频或图片。

在一个实施方式中，包厢被布置在数字视听场所中，所述数字视听场所包括下列中的至少一个：卡拉OK场所；夜总会；酒吧；酒店；多媒体会议室；网吧；影吧；台球室，等等。

图4为根据本发明实施方式的直播互动元素示意图。在直播过程中，既可以显示用户进入和退出直播频道的状态，还可以显示虚拟礼物送礼和实物送礼的过程。

除了上述直播互动之外，本发明实施方式还结合披露了一种移动支付方法。

移动支付(Mobile Payment)，也称之为手机支付，是指交易双方为了某种货物或者服务，使用移动终端设备为载体，通过移动通信网络实现的商业交易。移动支付所使用的移动终端可以是手机、个人数字助理(PDA)、移动个人电脑(PC)等。移动支付目前广泛地应用在各行各业中。在买单之后支付时，用户可以通过现金、刷卡支付或第三方平台支付等方式进行结账操作。在支付过程中，通常需要支付终端(比如，诸如刷卡器之类的刷卡终端)与互联网具有稳定连接。如果支付服务器不能正常连接网络，就无法完成支付。然而，当支付服务器较多时，每个支付服务器都连接互联网会导致成本问题。而且，大量支付同时结算时，多个支付服务器对网络的负载以及带宽带来不小的压力，甚至有可能因为网络堵塞导致支付超时。另外，直接将支付服务器暴露在互联网中，还可能导致安全风险问题。

目前，数字视听场所的移动支付主要有两种方式：方式(1)、移动终端通过互联网直接购买网络平台上的产品，移动终端直接到第三方的支付平台上进行支付。在方式(1)中，数字视听场所无法得到用户的消费资料，无法进行大数据分析等操作。方式(2)、移动终端直接支付到数字视听场所中的支付管理平台，支付管理平台再与第三方的支付平台对接。然而，当出现新的支付方式后，支付管理平台必须进行更新。由于支付管理平台设置在场所中，所以每次支付方式增加或变更后，场所中的支付管理平台都必须进行对应操作，极其不方便。

鉴于现有技术中支付服务器需要直接连接互联网才能实现移动支付的缺陷，本发明实施方式提出一种新颖的移动支付方式。支付管理平台无需与互联网直接连接即可实现移动支付，从而提高移动支付的安全性并降低成本。本发明实施方式提出的移动支付系统，包括：支付管理平台、网关服务器、云端服务器和支付平台，其中支付管理平台布置在局域网中；支付管理平台，用于经由局域网接收订单信息，经由局域网将订单信息发送到网关服务器；网关服务器，用于经由互联网将订单信息发送到云端服务器；云端服务器，用于经由互联网将订单信息发送到支付平台；支付平台，用于生成基于订单信息生成待支付信息，并经由互联网发送待支付信息到云端服务器；云端服务器，还用于经由互联网将待支付信息发送到网关服务器；网关服务器，还用于经由局域网向支付管理平台发送待支付信息；支付管理平台，还用于展示待支付信息，以由用户基于待支付信息执行支付。优选地，支付管理平台包括下单终端、机顶盒和/或支付服务器。

相应地，图1所示的直播互动方法还包括：

经由与数字视听场所的数字视听单元中的机顶盒在同一局域网中的支付管理平台，从与所述数字视听场所的数字视听单元相绑定的移动终端接收订单信息；

经由所述支付管理平台通过局域网将所述订单信息发送到网关服务器，以由所述网关服务器经由互联网将所述订单信息发送到云端服务器，并由云端服务器经由互联网将所述订单信息发送到支付平台；

经由所述支付管理平台通过局域网从网关服务器接收待支付信息，所述待支付信息由支付平台基于订单信息生成、并经由互联网发送到云端服务器，再由云端服务器经由互联网发送到网关服务器；

展示所述待支付信息，以由移动终端基于所述待支付信息执行支付。

在一个实施方式中，图1所示的直播互动方法还包括：

支付平台经由互联网向云端服务器返回支付结果；

云端服务器经由互联网将支付结果发送到网关服务器；

网关服务器经由局域网向支付管理平台发送支付结果。

在一个实施方式中，图1所示的直播互动方法还包括：

当增加新的支付平台时，云端服务器进一步建立与新的支付平台的互联网连接；云端服务器基于预定策略选择目标支付平台，并将所述订单信息发送到所述目标支付平台；或

当所述支付平台被替换为另外的支付平台时，云端服务器进一步建立与所述另外的支付平台的互联网连接；云端服务器经由互联网将所述订单信息发送到所述另外的支付平台；或

当支付平台被删除时，云端服务器删除与所述支付平台的互联网连接。

在一个实施方式中，经由局域网中的支付管理平台接收订单信息包括：

经由所述局域网从所述机顶盒接收订单信息；其中：所述订单信息是由用户在移动终端触发，并由移动终端经由所述局域网发送到机顶盒的；或，经由所述局域网从支付服务器接收订单信息；其中：所述订单信息是由管理人员在支付服务器上触发的。

在一个实施方式中，图1所示的直播互动方法还包括支付服务器的数目为一或多个；和/或，所述待支付信息包括具有二维码形式或条形码形式的支付码，或银行类的支付链接。

图5为根据本发明实施方式的移动支付系统的示范性结构图。

如图5所示，该系统包括：下单终端501、支付服务器502、网关服务器503、云端服务器504和支付平台505；其中下单终端501、支付服务器502和网关服务器503布置在同一个局域网中，该局域网布置在移动支付场所中。下单终端501和支付服务器502沟通构成支付管理平台。

下单终端501的数目可以为多个，多个用户可以在各自的下单终端501上分别生成各自的订单信息。

在一个实施方式中，一或多个下单终端501对应于一个支付服务器502。类似地，支付服务器502的数目也可以为多个，而且一或多个支付服务器102对应于一个网关服务器503。

具体地：

下单终端501，用于经由局域网向对应的支付服务器502发送订单信息；

支付服务器502，用于经由局域网从下单终端501接收订单信息，经由局域网将订单信息发送到网关服务器503；

网关服务器503，用于经由互联网将订单信息发送到云端服务器504；

云端服务器504，用于经由互联网将订单信息504发送到支付平台505；

支付平台505，用于基于订单信息生成待支付信息，并经由互联网发送待支付信息到云端服务器504；

云端服务器504，还用于经由互联网将待支付信息发送到网关服务器503；

网关服务器503，还用于经由局域网向之前转发来订单信息的支付服务器502发送待支付信息；

支付服务器502，还用于展示待支付信息，以由用户基于待支付信息执行支付。

具体地，下单终端501生成的订单信息可以包含交易时间、订购商品名称、订购商品数，等等。订单信息中还可以进一步携带场所名称、场所编码、包厢名称、包厢ID、网关服务器等商家信息。在一个实施方式中，待支付信息可以实施为支付码或银行类的支付链接。用户通过手持的移动终端扫描支付码以确认订单，并执行支付，或点击触发银行类的支付链接以确认订单并执行支付。而且，支付平台505可以为商家自行开发的支付平台，或者为任意的第三方支付平台，比如支付宝支付平台、微信支付平台、银联支付平台，等等。

可见，在图5所述的系统架构中，支付服务器基于局域网获取订单信息，并通过网关服务器从云端获取待支付信息。支付服务器不再需要具有互联网联网能力，从而降低了硬件成本。尤其是，当支付服务器的数目为多个时，本发明实施方式的成本效益更加明显。

另外，在本发明实施方式中，支付服务器不再暴露在互联网中，因此可以规避各种安全风险问题。

而且，在本发明实施方式中，可以在云端服务器对各个交易场所的交易敏感数据进行集中管理，既保证了数据安全性，也可以为大数据挖掘提供关键依据。

下面将本发明实施方式具体实施到数字视听场所，示范性详细阐述本发明实施方式。基于本发明实施方式，数字视听场所中的支付服务器(比如，收银服务器)在不能联网的情况下也可以完成支付。

图6为根据本发明实施方式在数字视听场所的移动支付系统的示范性结构图。

由图6可见，在数字视听场所的局域网中，布置有数字视听终端601、机顶盒602、网关服务器603和支付服务器604。网关服务器603与云端服务器604具有互联网连接，云端服务器604与支付平台605连接。

比如，数字视听终端601可以为实施为数字视听数字视听场所的数字视听单元内的点歌屏，等等。用户在数字视听终端601下单后，机顶盒602基于局域网连接，从数字视听终端601接收订单请求，而且将场所名称、场所编码、包厢名称、包厢ID、网关服务器编号等商家信息与订单信息进行对应关联并封装，再将封装后的订单信息基于局域网发送到支付服务器604。支付服务器604接收订单信息，并基于局域网将订单信息发送到网关服务器603。网关服务器603通过互联网将订单信息发送到云端服务器604，云端服务器604接收到订单信息后，对封装后的订单信息进行解封装，而且通过互联网将解封装后的订单信息发送给对应的支付平台605。支付平台605通过互联网向云端服务器604返回对应于订单信息的支付码，云端服务器604对支付码进行封装，并基于互联网将支付码发送给网关服务器603。网关服务603器基于局域网将支付码推送给支付服务器604。用户通过移动终端606对支付服务器604上展示的支付码进行支付。支付完成后，支付结果将由对应的支付平台605返回给云端服务器304，云端服务器604再传输支付结果给网关服务器603和用户的移动终端606，网关服务器603再将支付结果发送给支付服务器604，完成整个支付过程。

当支付平台605发生变更时，通过变更云端服务器的支付平台接口即可实现变更，而无需对支付服务器604或网关服务器603作出变更，因此配置工作较为简单。

而且，当用户A通过移动终端606选择发动直播时，移动终端606录制用户A的才艺表演视频，并将直播内容发送到云端服务器604。云端服务器604生成直播内容的播放地址。支付终端607上的终端B通过直播内容的播放地址观看直播内容，并非常喜欢直播用户A的表演内容。用户B打算送张三实体礼物以作为奖励。用户B发出针对实物的实物订单信息，支付平台605基于实物订单信息生成实物待支付信息，并当用户B基于实物待支付信息完成支付后，向数字视听场所的数字视听单元中的移动终端606的用户A分发实物。

以上以数字视听场所为例对发明实施方式进行描述，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。

综上所述，在本发明实施方式中，将移动终端与数字视听场所的数字视听单元相绑定；基于移动终端确定直播内容，将直播内容发送到云端，以由云端生成直播内容的播放地址；从基于直播内容的播放地址观看直播内容的终端接收针对实物的实物订单信息，基于实物订单信息生成实物待支付信息，并当终端基于实物待支付信息完成支付后，向数字视听场所的数字视听单元分发所述实物。本发明实施方式可以实现赠送真实物品，并由此提高互动性。

本发明实施方式结合摄像头可以直播AR内容，可以将AR直逼播引入KTV场所。

另外，本发明实施方式还可以提高移动支付的安全性并降低成本，而且还可以实现云端配置，升级维护非常便利。尤其是，当支付管理平台中的支付服务器的数目为多个时，本发明实施方式的成本效益更加明显。在本发明实施方式中，当支付平台发生变更、扩展或升级支付方式时，可以在云端完成相应的配置工作，而不需要下单终端、支付服务器等其他服务端作出任何改动，升级和维护大大简化。

还有，在本发明实施方式中，可以在云端服务器对各个交易场所的交易敏感数据进行集中管理，既保证了数据安全性，也可以为大数据挖掘提供关键依据。

还有，本发明可以采用布置在数字视听场所的数字视听单元中的摄像头作为直播录制源，克服了手机摄像头在拍摄过程中容易抖动的缺点，而且克服了手机摄像头网络信号不好，容易引起直播卡顿的缺点。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。