一种基于混合现实的直播方法、装置和系统与流程

本发明属于互联网领域，尤其涉及一种基于混合现实的直播方法、装置和系统。

背景技术：

随着网络通信技术的不断发展，数据传输的方式也越来越多样化。比如智能终端，可以通过移动通信网络(3G、4G等)，或者WIFI网络，或者有线网络高速的进行数据传输。在传输速度发展的同时，视频内容直播的方式，由电视直播方式的基础上，增加了网络直播，并且用户在观看直播内容的时候，还可以增加实时的发送互动内容，增加了直播的互动效果。

目前的直播方法，一般是通过摄像头在现场采集视频数据，以及麦克风采集现场的音频数据。将所述音频数据和视频数据进行编码后传输至用户终端，由用户终端对所述编码的数据进行解码播放，从而使得用户能够通过连接有网络的终端播放直播数据。

由于现有的直播方法由智能终端直接播放，仅限于音、视频内容的播放，不利于用户获取更丰富的现场数据，以及不利于创造更佳的直播氛围。

技术实现要素：

本发明的目的在于提供一种基于混合现实的直播方法、装置和系统，以解决现有技术的直播方法，不利于用户获取更丰富的现场数据，以及不利于创造更佳的直播氛围的问题。

第一方面，本发明实施例提供了一种基于混合现实的直播方法，所述方法包括：

获取由现场数据采集端采集的视频数据和音频数据；

根据所述视频数据，生成与所述视频数据匹配的三维场景图像；

在所述三维场景图像中播放所采集的视频数据，并根据用户在所述三维场景中的位置播放场景化的所述音频数据。

结合第一方面，在第一方面的第一种可能实现方式中，所述方法还包括：

接收用户的场景进入请求，根据所述请求，在所述三维场景中生成对应的虚拟形象；

采集用户的行为状态数据，根据所采集的行为状态数据，相应的控制所述三维场景中的虚拟形象执行相应的动作。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述方法还包括：

在所述三维场景中显示其它用户在选择的对应位置处的虚拟形象以及动作，所述动作与其它用户的行为状态数据对应。

结合第一方面，在第一方面的第三种可能实现方式中，所述在所述三维场景图像中播放所采集的视频数据步骤包括：

检测所述视频数据中的人物所在的图像区域；

根据所述人物所在的图像区域进行图像截取，将截取的图像区域在所述三维场景图像中播放。

第二方面，本发明实施例提供了一种基于混合现实的直播装置，所述装置包括：

数据获取单元，用于获取由现场数据采集端采集的视频数据和音频数据；

三维场景图像生成单元，用于根据所述视频数据，生成与所述视频数据匹配的三维场景图像；

数据播放单元，用于在所述三维场景图像中播放所采集的视频数据，并根据用户在所述三维场景中的位置播放场景化的所述音频数据。

结合第二方面，在第二方面的第一种可能实现方式中，所述装置还包括：

虚拟形象生成单元，用于接收用户的场景进入请求，根据所述请求，在所述三维场景中生成对应的虚拟形象；

第一动作控制显示单元，用于采集用户的行为状态数据，根据所采集的行为状态数据，相应的控制所述三维场景中的虚拟形象执行相应的动作。

结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述装置还包括：

第二动作控制显示单元，在所述三维场景中显示其它用户在选择的对应位置处的虚拟形象以及动作，所述动作与其它用户的行为状态数据对应。

结合第二方面，在第二方面的第三种可能实现方式中，所述数据播放单元包括：

图像检测子单元，用于检测所述视频数据中的人物所在的图像区域；

图像截取子单元，用于根据所述人物所在的图像区域进行图像截取，将截取的图像区域在所述三维场景图像中播放。

第三方面，本发明实施例提供了一种基于混合现实的直播系统，所述基于混合现实的直播系统包括行为数据采集模块、处理器、显示模块，其中：

所述行为数据采集模块用于采集用户的行为状态数据，并将采集的所述行为状态数据发送给处理器；

所述处理器用于接收所采集的行为状态数据，以及接收由现场数据采集端采集的视频数据和音频数据，根据采集的所述视频数据生成对应的三维场景图像，在所述三维场景图像中播放所述视频数据，并在所述三维场景图像中生成用户的虚拟形象，根据所采集的行为状态数据，控制所述虚拟形象的运动状态；

所述显示模块用于显示所述三维场景图像。

结合第三方面，在第三方面的第一种可能实现方式中，所述行为数据采集模块和所述显示模块为头戴式虚拟头盔。

在本发明中，获取由现场数据采集端采集的视频数据和音频数据后，根据所述视频数据生成对应的三维场景图像，并在所述三维场景图像中播放所采集的视频数据，根据用户在所述三维场景的观看位置，相应的控制所述音频数据的播放，从而使得用户能够获取更为丰富的现场数据，从而能够创造更佳的直播氛围。

附图说明

图1是本发明第一实施例提供的基于混合现实的直播方法的实现流程图；

图2是本发明第二实施例提供的基于混合现实的直播方法的实现流程图；

图3是本发明第三实施例提供的基于混合现实的直播方法的实现流程图；

图4是本发明第四实施例提供的基于混合现实的直播装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的目的在于提供一种直播的现场氛围效果更佳的基于混合现实的直播方法，以解决现有技术中进行直播时，通常是直接播放的声音数据和音频数据，这种播放方式不能够有效的还原音视频现场数据，用户不能够获得直播的现场氛围。下面结合附图，对本发明作进一步的说明。

实施例一：

图1示出了本发明第一实施例提供的基于混合现实的直播方法的实现流程，详述如下：

在步骤S101中，获取由现场数据采集端采集的视频数据和音频数据。

具体的，本发明实施例中所述现场数据采集端，可以为赛场、演唱会、电视节目等直播设备所使用的专业的摄像机和用于现场进行讲解的麦克风。所述摄像机的视频数据和麦克风的音频数据经过编码压缩后，通过网络发送至直播服务器，其它用户终端可以通过请求的方式，接入服务器，获取直播的视频数据和音频数据。

当然，所述视频数据和音频数据也可以通过与计算机相连的摄像头、麦克见所采集的现场数据，或者还可以为智能手机等设备采集的现场数据。

在本发明实施例中，所获取的视频数据为二维的图像数据，一般情况下，在所述视频数据中通常包括主播人像。根据直播的内容，可以将所述直播进行分类，比如可以包括知识讲解型直播、演唱型直播、赛事型直播、以及其它电视节目讲解型直播等。

在步骤S102中，根据所述视频数据，生成与所述视频数据匹配的三维场景图像。

在本发明实施例中，所述三维场景图像，可以为用户预先存储的多个三维场景图像，当获取由现场数据采集端所采集的视频数据后，可以根据所述视频数据进行匹配。匹配的方法可以包括视频数据的环境图像与三维场景图像的相似度计算，当相似度超过一定阈值时，则认为所述视频数据匹配对应的三维场景数据。

或者，所述三维场景图像中还可以预设设置对应的音频特征。当所述三维场景图像的音频特征与采集的音频数据的相似度大于一定值时，则为采集的数据匹配该三维场景图像。

当然，所述三维场景数据也可以根据采集的视频数据自动生成。生成的方法可以根据获取的视频数据中的图像，结合三维图像生成工具，自动生成对应的三维场景图像。或者还可以根据用户定义的直播类型，查找对应的三维场景图像。

比如，对于直播场景为演唱型直播，可以自动生成演唱会的三维场景图像，并且将获取的视频数据在演唱会场景中的大屏幕以及主台上播放。对于知识讲解型直播，可以生成教室场景，视频数据可以在讲台位置播放。

在步骤S103中，在所述三维场景图像中播放所采集的视频数据，并根据用户在所述三维场景中的位置播放场景化的所述音频数据。

在生成的三维场景图像中，可以在预先设置的位置处播放视频数据。用户可以在生成的三维场景图像中观看所述视频数据，获得更为丰富的现场数据，提升视频播放的现场氛围。

并且，本发明还包括用户在三维场景图像中的观看位置，获得与该位置对应的音频数据。其中，用户在三维场景图像中的观看位置，可以根据用户的请求而分配。所述场景化的所述音频数据，即为与所述位置相对应的声音。比如，用户的观看位置在位置A处时，则通过计算三维场景数据中用户与三维场景图像中的声音来源位置的关系，相应的控制左右声道的声音播放时间，从而模拟现场的声音效果。从而能够更进一步提升现场氛围的效果。

本发明通过获取由现场数据采集端采集的视频数据和音频数据后，根据所述视频数据生成对应的三维场景图像，并在所述三维场景图像中播放所采集的视频数据，根据用户在所述三维场景的观看位置，相应的控制所述音频数据的播放，从而使得用户能够获取更为丰富的现场数据，从而能够创造更佳的直播氛围。

实施例二：

图2示出了本发明第二实施例提供的基于混合现实的直播方法的实现流程，详述如下：

在步骤S201中，获取由现场数据采集端采集的视频数据和音频数据。

在步骤S202中，根据所述视频数据，生成与所述视频数据匹配的三维场景图像。

在步骤S203中，接收用户的场景进入请求，根据所述请求，在所述三维场景中生成对应的虚拟形象。

在本发明实施例中，在生成了对应的三维场景图像后，在所述三维场景图像中可以包括多个虚拟形象位置，可以用于给接入到直播系统中的用户分配虚拟形象。比如用户接入后，可以查看当前处于可分配状态的位置，用户可以选择自己喜爱的位置后，激活该位置所对应的虚拟形象。

在步骤S204中，采集用户的行为状态数据，根据所采集的行为状态数据，相应的控制所述三维场景中的虚拟形象执行相应的动作。

在激活用户的虚拟形象后，还可以实时的采集用户的行为状态数据。所述行为状态数据的采集，可以通过虚拟现实头盔，或者其它传感设备进行采集。

在检测到用户的行为状态数据后，根据所述行为状态数据相应的控制虚拟形象执行动作。

比如检测到用户伸手动作时，可以通过虚拟头盔上设置的红外传感器，或者根据加速度传感器，检测到用户手臂、胳膊等部位的运动的方向、速度和幅度等数据。根据所述数据相应的调整虚拟形象中的对应部位，执行对应的动作，比如手部的胳膊、手腕等部位执行相应的动作。

作为本发明进一步优化的实施方式中，所述方法还可包括：在所述三维场景中显示其它用户在选择的对应位置处的虚拟形象以及动作，所述动作与其它用户的行为状态数据对应。

在所述三维场景图像中，当其它用户请求进入时，在所述三维场景图像中的对应位置创建和生成虚拟形象，并将生成的虚拟形象信息发送至服务器，由服务器将所述虚拟形象的信息发送至在查看直播的其它用户终端，并且在收听直播的其它用户终端中显示所述虚拟形象的动作状态。

在步骤S205中，在所述三维场景图像中播放所采集的视频数据，并根据用户在所述三维场景中的位置播放场景化的所述音频数据。

本发明实施例在实施例一的基础上，进一步对三维场景图像中增加了用户自身的虚拟形象，或者还包括同时在收看直播的其它用户的虚拟形象，使得用户能根据虚拟形象，够获得更佳的直播效果，方便用户进行更好的互动。

实施例三：

图3示出了本发明第三实施例提供的基于混合现实的直播方法的实现流程，详述如下：

在步骤S301中，获取由现场数据采集端采集的视频数据和音频数据。

在步骤S302中，根据所述视频数据，生成与所述视频数据匹配的三维场景图像。

在步骤S303中，检测所述视频数据中的人物所在的图像区域。

具体的，本步骤对于视频数据中的人物所在的图像区域检测，可以根据预定的条件触发。比如当检测到直播类型为演唱型直播、知识讲解型直播等直播类型时，则开始检测视频数据中的人物图像。

另外，还可以接收用户的检测请求，根据所述请求在视频数据中进行图像检测。

在步骤S304中，根据所述人物所在的图像区域进行图像截取，将截取的图像区域在所述三维场景图像中播放，并根据用户在所述三维场景中的位置播放场景化的所述音频数据。

根据预先设定的人物模型，结合图像中的人物图像区域的变化信息，可以对视频数据中的人物图像进行检测检测，获得人物所在的图像区域，并对该区域进行截取。

将截取后的图像区域与三维场景图像融合时，可以使得人物得到更好的融合效果，使得收看直播的用户能够更大范围的查看到三维场景数据与人物相结合的图像。

实施例四：

图4示出了本发明第四实施例提供的基于混合现实的直播装置的结构示意图，详述如下：

本发明实施例所述基于混合现实的直播装置，包括：

数据获取单元401，用于获取由现场数据采集端采集的视频数据和音频数据；

三维场景图像生成单元402，用于根据所述视频数据，生成与所述视频数据匹配的三维场景图像；

数据播放单元403，用于在所述三维场景图像中播放所采集的视频数据，并根据用户在所述三维场景中的位置播放场景化的所述音频数据。

优选的，所述装置还包括：

虚拟形象生成单元，用于接收用户的场景进入请求，根据所述请求，在所述三维场景中生成对应的虚拟形象；

第一动作控制显示单元，用于采集用户的行为状态数据，根据所采集的行为状态数据，相应的控制所述三维场景中的虚拟形象执行相应的动作。

优选的，所述装置还包括：

第二动作控制显示单元，在所述三维场景中显示其它用户在选择的对应位置处的虚拟形象以及动作，所述动作与其它用户的行为状态数据对应。

优选的，所述数据播放单元包括：

图像检测子单元，用于检测所述视频数据中的人物所在的图像区域；

图像截取子单元，用于根据所述人物所在的图像区域进行图像截取，将截取的图像区域在所述三维场景图像中播放。

本发明实施例所述基于混合现实的直播装置，与实施例一至三所述基于混合现实的直播方法对应，在此不作重复赘述。

另外，本发明实施例还提供了一种基于混合现实的直播系统，所述系统包括：

数据采集模块、处理器、显示模块，其中：

所述行为数据采集模块用于采集用户的行为状态数据，并将采集的所述行为状态数据发送给处理器；

所述处理器用于接收所采集的行为状态数据，以及接收由现场数据采集端采集的视频数据和音频数据，根据采集的所述视频数据生成对应的三维场景图像，在所述三维场景图像中播放所述视频数据，并在所述三维场景图像中生成用户的虚拟形象，根据所采集的行为状态数据，控制所述虚拟形象的运动状态；

所述显示模块用于显示所述三维场景图像。

结合第三方面，在第三方面的第一种可能实现方式中，所述行为数据采集模块和所述显示模块为头戴式虚拟头盔。当然，不局限于此，所述行为数据采集模块还可以包括设置在手部、腿部的加速度传感器等，所述显示模块还可以为虚拟现实眼镜等设备。所述基于混合现实的直播系统与实施例一至三所述基于混合现实的直播方法对应。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。