一种立体虚拟现实直播方法、装置及设备与流程

本发明涉及显示技术领域，特别涉及一种立体虚拟现实直播方法、装置及设备。

背景技术：

随着VR(Virtual Reality，虚拟与现实)技术的兴起以及网络直播平台的盛行，使得基于VR的直播系统站在了时代的风口上，具备无限的市场潜力，而基于虚拟场景与现实直播场景中的直播主体(即主播)相结合的直播系统更是让人们充满了想象空间。其中，虚拟场景利用计算机通过OpenGL(Open Graphics Library，开放图形库)等图形引擎构建，而现实直播场景是主播所在的真实直播环境。这种相结合的直播系统，将直播场景中的主播融合到虚拟场景中，带给VR用户，即利用VR设备观看直播的观众类似于真实参与的用户体验。

目前，基于虚拟场景与现实的直播主体相结合的显示系统最大的问题在于，如何融合虚拟场景与现实直播场景，使得用户能享受到一种舒适、自然、更接近于真实的用户体验。因此，如何提升用户的观看体验，是一个亟待解决的问题。

技术实现要素：

本发明要解决的技术问题是提供一种立体虚拟现实直播方法、装置及设备，能够实现立体的VR直播，而且能够解决在融合虚拟场景与现实直播场景时，由于虚拟场景与现实直播场景图像比例不一致，降低用户观看体验的问题，给用户提供更加身临其境的沉浸感。

为解决上述技术问题，本发明的实施例提供一种立体虚拟现实直播方法，包括：

获取左右双目摄像机拍摄的直播场景的左右图像；

分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；

根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；

将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

进一步来说，所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整的步骤包括：

根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例；

根据所述左右视图的缩放比例，对所述左右视图的尺寸进行调整。

进一步来说，在所述获取所述左右视图的缩放比例前，所述方法还包括：

确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系；

所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例的步骤包括：

根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离、所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，获取所述左右视图的缩放比例；

其中，所述确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系的步骤包括：

利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的。

进一步来说，所述利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系包括：

获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；

获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；

根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。

进一步来说，所述根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系的步骤包括：

利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。

进一步来说，在所述获取所述左右视图的缩放比例前，所述方法还包括：

确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系；

所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例的步骤包括：

根据直播场景中主播所在位置对应的直播场景拍摄距离、所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离、所述左右双目摄像机的拍摄焦距、所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系，获取所述左右视图的缩放比例；

其中，所述确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系的步骤包括：

获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；以及

获取所述左右双目摄像机为标准焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取标准焦距下的标记物视图，并获取标准焦距下的标记物视图中所述第二预定标记物的像素尺寸；获取在左右双目摄像机的至少一种拍摄焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取至少一种拍摄焦距下的标记物视图，并获取至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，其中，所述拍摄焦距与标准焦距不同；根据所述标准焦距，所述标准焦距下的标记物视图中所述第二预定标记物的像素尺寸、所述至少一种拍摄焦距、所述至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，确定拍摄焦距与标准焦距的图像缩放比例关系；

根据所述第一函数关系、所述拍摄焦距与所述标准焦距的图像缩放比例关系，确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系。

进一步来说，所述根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系的步骤包括：

利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；

所述根据所述标准焦距，所述标准焦距下的标记物视图中所述第二预定标记物的像素尺寸、所述至少一种拍摄焦距、所述至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，确定拍摄焦距与标准焦距的图像缩放比例关系的步骤包括：

利用最小二乘法确定拍摄焦距与标准焦距的图像缩放比例关系。

进一步来说，所述分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图之后，所述方法还包括：

对所述左右视图中所述主播的边界进行边界优化处理；和/或

根据所述虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。

为解决上述技术问题，本发明的实施例还提供一种立体虚拟现实直播装置，包括：

获取模块，用于获取左右双目摄像机拍摄的直播场景的左右图像；

抠图模块，用于分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；

尺寸调整模块，用于根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；

融合模块，用于将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

进一步来说，所述尺寸调整模块包括：

第一获取子模块，用于根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例；

调整子模块，用于根据所述左右视图的缩放比例，对所述左右视图的尺寸进行调整。

进一步来说，所述装置还包括：

第一确定模块，用于确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，具体用于：利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的。

进一步来说，所述第一获取子模块包括：

第一获取单元，用于根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离、所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，获取所述左右视图的缩放比例；

其中，所述第一确定模块包括：

第二获取子模块，用于获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；

第三获取子模块，用于获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；

第一确定子模块，用于根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。

进一步来说，所述第一确定子模块包括：

第一确定单元，用于利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。

进一步来说，所述装置还包括：

第二确定模块，用于确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系；

所述第一获取子模块包括：

第二获取单元，用于根据直播场景中主播所在位置对应的直播场景拍摄距离、所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离、所述左右双目摄像机的拍摄焦距、所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系，获取所述左右视图的缩放比例；

其中，所述第二确定模块包括：

第二确定子模块，用于获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；以及

第三确定子模块，用于获取所述左右双目摄像机为标准焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取标准焦距下的标记物视图，并获取标准焦距下的标记物视图中所述第二预定标记物的像素尺寸；获取在左右双目摄像机的至少一种拍摄焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取至少一种拍摄焦距下的标记物视图，并获取至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，其中，所述拍摄焦距与标准焦距不同；根据所述标准焦距，所述标准焦距下的标记物视图中所述第二预定标记物的像素尺寸、所述至少一种拍摄焦距、所述至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，确定拍摄焦距与标准焦距的图像缩放比例关系；

第四确定子模块，用于根据所述第一函数关系、所述拍摄焦距与所述标准焦距的图像缩放比例关系，确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系。

进一步来说，所述第二确定子模块包括：

第二确定单元，用于利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；

所述第三确定子模块包括：

第三确定单元，用于利用最小二乘法确定拍摄焦距与标准焦距的图像缩放比例关系。

进一步来说，所述装置还包括：

边界优化模块，用于对所述左右视图中所述主播的边界进行边界优化处理；和/或

图片调整模块，用于根据所述虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。

为解决上述技术问题，本发明的实施例还提供一种立体虚拟现实直播设备，包括：显示屏，壳体、处理器、存储器、电路板和电源电路，其中：

所述显示屏嵌接在所述壳体上，与所述壳体一起围成封闭空间；

所述电路板安置在所述壳体和所述显示屏围成的空间内部，所述处理器和所述存储器设置在所述电路板上；

所述电源电路，用于为上述立体虚拟现实直播设备的各个电路或器件供电；

所述存储器用于存储可执行程序代码；

所述处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，执行：

获取左右双目摄像机拍摄的直播场景的左右图像；

分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；

根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；

将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而通过所述显示屏根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

本发明的上述技术方案的有益效果如下：

本发明实施例的立体虚拟现实直播方法、装置及设备，获取左右双目摄像机拍摄的直播场景的左右图像后，分别对直播场景的左右图像进行抠图处理，获取直播场景中主播的左右视图；然后根据直播场景中主播所在位置对应的直播场景拍摄距离和左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离，对左右视图的尺寸进行调整，调整后的左右视图与虚拟场景的尺寸比例一致；最后将调整后的左右视图放置在虚拟场景中的预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的虚拟场景，从而获取合成有主播和虚拟场景的立体融合视图，该立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现了立体虚拟现实直播。该方法通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播；且通过对直播的立体图像的尺寸进行调整，使直播的立体图像与虚拟场景的尺寸比例相匹配，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验，有效避免了在融合虚拟场景与现实直播场景时，由于虚拟场景与现实直播场景图像比例不一致，降低用户观看体验的问题。

附图说明

图1为本发明立体虚拟现实直播方法的流程图；

图2为本发明直播流程示意图；

图3为本发明另一直播流程示意图；

图4为本发明预定标记物设置示意图；

图5为本发明立体虚拟现实直播装置的结构示意图；

图6为本发明立体虚拟现实直播设备的结构示意图；

图7为本发明立体虚拟现实直播方法中直播场景双目摄像机拍摄示意图；

图8为本发明立体虚拟现实直播方法中虚拟场景虚拟摄像机拍摄示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

为了使本领域技术人员更好的理解本发明，首先对本发明实施例中所言的虚拟场景与现实直播场景相结合的直播流程进行简要介绍。

虚拟场景利用计算机通过OpenGL(Open Graphics Library，开放图形库)等图形引擎构建，计算机可以通过渲染获取虚拟场景的图像，而现实直播场景(简称直播场景)是主播所在的真实直播环境，可通过真实摄像机拍摄而获取直播场景的图像。简单来说，现实直播场景是可以使用真实摄像机拍摄的场景。虚拟场景是计算机按照设计渲染的场景。本发明实施例中，如图2、3所示，现实直播场景图像与虚拟场景图像可首先经过图像算法融合，然后经过网络、蓝牙等设备传输至直播设备进行显示。现实直播场景与虚拟场景也可以先经过网络、蓝牙等设备传输至直播设备，然后进行图像算法融合后显示。

本发明实施例的立体虚拟现实直播方法、装置及设备，在前述虚拟场景与现实直播场景相结合的直播基础上，实现了立体化的虚拟现实直播，通过立体化显示带给用户更加真实的沉浸感。而且，在直播场景与虚拟场景融合时，通过对主播的左右视图的尺寸进行调整，使主播的左右视图尺寸与虚拟场景的尺寸比例相匹配，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验，有效避免了在融合虚拟场景与现实直播场景时，由于虚拟场景与现实直播场景图像比例不一致，降低用户观看体验的问题。

第一实施例

结合图1所示，本发明实施例的立体虚拟现实直播方法，包括：

步骤101，获取左右双目摄像机拍摄的直播场景的左右图像。

这里，通过左右双目摄像机拍摄现实直播场景，得到了具有视差的立体图像，即直播场景的左右图像。

该直播场景的左右图像中均包括直播主体(即主播)和直播主体所在的背景环境。主播可以是人，当然也可以是某种物体。为方便描述，以下以主播为人为例进行描述，可以理解的是，主播不限于人。

由于后续要将主播人像和虚拟场景进行融合，需要将主播人像从左右图像中抠离出来，因此，在直播场景中，可将主播的背景环境设置为绿幕或蓝幕，以方便在后续处理中将实际拍摄的背景环境去除，即将主播人像抠离出来，并将主播人像信息与虚拟场景模型进行合成。

步骤102，分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图。

这里，为了将直播场景中的主播(如人)放到虚拟场景中，需要对直播场景的左右图像进行抠图，获取直播场景中主播的左右视图。

具体的，假设主播的背景环境设置为绿幕或蓝幕，则，本步骤中，首先，使用抠像算法分别去掉直播场景图像信息中主播背后的蓝色或绿色背景。所述抠像算法可以是色度键抠像法，该算法通过找到那些饱和度比较高的蓝色或绿色背景颜色区域，并将这些背景颜色区域的透明值设为最小值，而人像颜色区域则保持原始颜色，从而在直播场景图像信息中明显地区分出人像区域和背景区域，完成抠图。在经过抠图处理后，可以得到主播人像的左右两个视图。

步骤103，根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整。

由于左右双目摄像机拥有特定的相机参数等原因，影响着采集到的图像大小和长宽比例，而虚拟场景中的虚拟摄像机需要拍摄(即渲染)的虚拟场景有已经设定好的大小和长宽比例，这两者往往不一致。在多样多样的虚拟场景中，直播主体(如经过抠像算法后的人像)在不同位置以多大尺寸和长宽比例显示能使人物与背景更接近于真实，对提升用户观看体验起到至关重要的作用。因此，需要在主播和虚拟场景融合之前，对主播的左右视图尺寸进行调整。

这里，因拍摄场地或摄像机分辨率等因素限制，现实直播场景拍摄距离与虚拟场景拍摄距离一般是不一样的。例如直播场景拍摄距离一般为3m，虚拟场景拍摄距离一般为8m。直播场景拍摄距离和虚拟场景拍摄距离的变化都会对左右视图的尺寸调整产生影响。

参见图7，L和R为直播场景的左右双目摄像机，A0为主播所在平面，即主播所在的位置对应的平面，则直播场景拍摄距离为Z0。参见图8，L’和R’为左右虚拟摄像机，A1为主播左右视图放置在虚拟场景中后主播左右视图所在的平面，即主播视图的预定放置位置所在的平面，则虚拟场景拍摄距离为Z1。

本步骤中，根据直播场景中主播所在的位置对应的直播场景拍摄距离和左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对左右视图的尺寸进行调整，使得调整后的左右视图与虚拟场景的尺寸比例相匹配。

具体的，可以预先根据根据直播场景中主播所在的位置对应的直播场景拍摄距离和左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离确定左右视图的尺寸缩放比例，本步骤中，可以直接获取该尺寸缩放比例并根据该比例对左右视图进行缩放处理。当然，本步骤中，也可以实时根据直播场景拍摄距离和虚拟场景拍摄距离中的至少一个距离，计算出左右视图的尺寸缩放比例，根据所计算出的尺寸缩放比例对左右视图进行缩放处理。

该缩放比例可以是直播场景拍摄距离为变量的函数，也可以是虚拟场景拍摄距离为变量的函数，例如，针对这两种距离中的一种距离固定的情况，则可以以另一种非固定距离为变量，确定出当前的尺寸缩放比例。当然，该缩放比例还可以是直播场景拍摄距离和虚拟场景拍摄距离两个变量的函数。

步骤104，将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

这里，利用左右虚拟摄像机拍摄(即渲染)放置有左右视图的虚拟场景，得到了合成有主播和虚拟场景的立体融合视图，立体融合视图包括左眼融合视图和右眼融合视图，从而根据立体融合视图进行立体化的虚拟现实显示，实现了立体虚拟现实直播。且由于尺寸调整后的左右视图与虚拟场景的尺寸比例一致，因此提升了用户观看体验。

在已知左眼视图和右眼视图的情况下进行VR显示可采用现有技术中常见的显示技术，这里不再进行详细说明。简单来讲，可将左眼融合视图作为VR显示的左图，将右眼融合视图作为VR显示的右图，从而将左眼融合视图提供给VR设备佩戴者的左眼，将右眼融合视图提供给VR设备佩戴者的右眼，从而带给用户立体化的虚拟现实观感。

此外，为了适配VR设备的“头瞄”功能，即可以根据VR设备佩戴者的头部姿态改变所显示的内容，使所显示的内容与VR设备佩戴者的视角相对应，可利用左右虚拟摄像机按照不同拍摄角度拍摄放置有主播人像的预设虚拟场景，得到多张立体融合视图，然后对这些立体视图进行全景拼接，获取左右全景融合视图，进而利用这些全景融合视图进行显示，将与设备佩戴者视角相对应的左视图部分提供给设备佩戴者的左眼，将与设备佩戴者视角相对应的右视图部分提供给设备佩戴者的右眼，而当设备佩戴者视角改变时，相应的改变所显示的视图部分，使显示与设备佩戴者的视角相对应。

例如，虚拟场景可以是360度全景舞台图像信息，主播可以被融合在舞台上的中心位置。通过左右双目摄像机拍摄正在直播的主播，可将主播的立体视图融合在虚拟场景中的舞台的位置，使用户在VR端可以看到主播在虚拟场景中做直播的立体场景。

本发明实施例的立体虚拟现实直播方法，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播；且通过对直播的立体图像的尺寸进行调整，使直播的立体图像与虚拟场景的尺寸比例一致，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验，避免了在融合虚拟场景与现实直播场景时，由于虚拟场景与现实直播场景图像比例不一致，降低用户观看体验的问题。

优选的，上述步骤103的步骤包括：

步骤1031，根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例。

这里，首先根据直播场景拍摄距离和虚拟场景拍摄距离中的至少一个距离，获取左右视图的缩放比例，以根据缩放比例对左右视图的尺寸进行调整。

步骤1032，根据所述左右视图的缩放比例，对所述左右视图的尺寸进行调整。

这里，按照缩放比例分别对左右视图进行调整后，以使左右视图与虚拟场景的尺寸比例相匹配。

此时，通过获取左右视图的缩放比例，可准确对左右视图的尺寸进行调整，使调整后左右视图与虚拟场景的尺寸比例相匹配。

由于在实际拍摄过程中直播场景拍摄距离是变化的，如主播可以向前或向后移动，而虚拟场景拍摄距离也有可能是变化的。为了在直播场景拍摄距离和/或虚拟场景拍摄距离发生变化时，快速确定缩放比例，优选的，在所述获取所述左右视图的缩放比例前，所述方法还可以包括：

步骤105，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系。

这里，首先确定缩放比例与直播场景拍摄距离和虚拟场景拍摄距离中的至少一个距离的函数关系，以便后续确定不同直播场景拍摄距离和/或不同虚拟场景拍摄距离下分别对应的缩放比例。

则，上述步骤1031的步骤包括：

步骤10311，根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离、所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，获取所述左右视图的缩放比例。

此时，在直播场景拍摄距离和/或虚拟场景拍摄距离发生变化时，利用缩放比例与直播场景拍摄距离和虚拟场景拍摄距离的函数关系，能快速、准确地确定缩放比例，从而对左右视图的尺寸进行调整，提高了处理效率和智能化。

下文中，为了便于理解和描述，将直播场景拍摄距离标记为d2，将虚拟场景拍摄距离标记为d1，将拍摄焦距标记为a，将标准焦距标记为a0。

其中，上述步骤105的步骤包括：

利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的。

具体可包括：

步骤1051，获取至少一种直播场景拍摄距离d2下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸。

这里，可预先在直播场景中放置一已知大小的预定标记物，如长宽高均为1m的立方体。然后获取至少一种直播场景拍摄距离d2下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，并对直播场景图像进行抠图，获取预定标记物视图，并获取预定标记物视图中预定标记物的像素尺寸。

其中，由于左右双目摄像机拍摄得到的图像尺寸相同，因此可只通过左目摄像机或者右目摄像机拍摄直播场景图像。

步骤1052，获取至少一种虚拟场景拍摄距离d1下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸。

这里，可预先在虚拟场景中渲染与直播场景中预定标记物实际尺寸相同的虚拟预定标记物，例如，渲染1长宽高均为1m的立方体。然后获取至少一种虚拟场景拍摄距离d1下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，并对虚拟场景图像进行抠图，获取虚拟预定标记物视图，并获取虚拟预定标记物视图中虚拟预定标记物的像素尺寸。

其中，由于左右虚拟摄像机拍摄得到的图像尺寸相同，因此可只通过左虚拟摄像机或者右虚拟摄像机拍摄虚拟场景图像。

步骤1053，根据所述至少一种直播场景拍摄距离d2、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离d1、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系。

这里，利用预定标记物和虚拟预定标记物的像素尺寸数据，可获取缩放比例与d1和d2的函数关系。

其中，在d1和d2固定的情况下，即在一种d1和d2下，虚拟预定标记物的像素尺寸与预定标记物的像素尺寸的比值作为这种d1和d2下的缩放比例。

例如假定直播拍摄场景距离d2和虚拟场景拍摄距离d1均为3m，如图4所示，可在距离左右双目摄像机3m的位置放置长宽高均为1m的立方体，在距离左右虚拟摄像机3m的位置渲染同样大小的虚拟立方体。以左目摄像机为例，假定经左目摄像机拍摄包含立方体的直播场景，得到像素尺寸为1920*1080的左直播场景图像，然后将左直播场景图像中立方体抠出，得到立方体的像素尺寸为800*600的立方体视图。以左虚拟摄像机为例，假定经左虚拟摄像机拍摄包含虚拟立方体的虚拟场景，得到像素尺寸为1920*1080的左虚拟场景图像，然后将左虚拟场景图像中的虚拟立方体抠出，得到像素尺寸为50*30的虚拟立方体视图。则在d1和d2均为3m的时候，得到的缩放比例为长度缩放比例50/800，宽度缩放比例30/600。

如实际直播中，若d1和d2固定，则可直接利用上述方法确定出缩放比例。

但是，实际直播中，d1和d2中的至少一种可以是变化的，这种情况下，可以在不同d1和d2下，多次获取的预定标记物和虚拟预定标记物的像素尺寸数据，并利用这些像素尺寸数据可以得到在不同d1和d2下分别对应的缩放比例，进而获取缩放比例与d1和d2的函数关系。

这种情况下，上述步骤1053可利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离d2和所述虚拟场景拍摄距离d1的函数关系。

其中，左右视图的缩放比例一般包括长度方向和宽度方向的缩放比例，利用最小二乘法确定的缩放比例与直播场景拍摄距离d2和虚拟场景拍摄距离d1的函数关系式如下公式(1)所示：

其中，sH0为左右视图的长度缩放比例，sW0为左右视图的宽度缩放比例。

此时，可根据d1和d2以及公式(1)所示的函数关系，准确、快速地确定左右视图的缩放比例，进而对左右视图的尺寸进行调整。

事实上，当左右双目摄像机的焦距发生变化时，即当左右双目摄像机有需要切换远近镜头时，焦距的变化对左右视图的缩放比例也是有影响的。因此，本发明在参考直播拍摄场景距离d2和虚拟场景拍摄距离d1的基础上，也可以参考左右双目摄像机的拍摄焦距a对左右视图的尺寸进行调整。下面进行详细介绍。

优选的，在所述获取所述左右视图的缩放比例前，所述方法还包括：

步骤106，确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系。

这里，通过确定缩放比例与直播场景拍摄距离d2、左右双目摄像机的拍摄焦距a和虚拟场景拍摄距离d1的函数关系，能够准确、快速地确定不同直播直播场景拍摄距离d2、不同左右双目摄像机的拍摄焦距a和不同虚拟场景拍摄距离d1下分别对应的缩放比例。

上述步骤1031的步骤包括：

步骤10312，根据直播场景中主播所在位置对应的直播场景拍摄距离d2、所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离d1、所述左右双目摄像机的拍摄焦距a、所述缩放比例与所述直播场景拍摄距离d2、所述左右双目摄像机的拍摄焦距a和所述虚拟场景拍摄距离d1的函数关系，获取所述左右视图的缩放比例。

此时，在直播场景拍摄距离d2、左右双目摄像机的拍摄焦距a和虚拟场景拍摄距离d1变化时，利用缩放比例与直播场景拍摄距离d2、左右双目摄像机的拍摄焦距a和虚拟场景拍摄距离d1的函数关系，能快速、准确地确定缩放比例，从而对左右视图的尺寸进行调整，提高了处理效率和智能化。

其中，上述步骤106的步骤包括：

步骤1061，获取至少一种直播场景拍摄距离d2下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；

步骤1062，获取至少一种虚拟场景拍摄距离d1下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；

步骤1063，根据所述至少一种直播场景拍摄距离d2、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离d1、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系。

这里，步骤1061-1063可参照与上述步骤1051-1053的介绍，在此不再赘述。

以及步骤1064，获取所述左右双目摄像机为标准焦距a0下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取标准焦距a0下的标记物视图，并获取标准焦距a0下的标记物视图中所述第二预定标记物的像素尺寸。

这里，可预先在直播场景中放置一已知大小的第二预定标记物，如长宽高均为1m的立方体。然后获取标准焦距a0下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，其中，直播场景拍摄距离d2采用一合理的固定值即可，在此不作限定。然后对得到的直播场景图像进行抠图，获取标记物视图，并获取标准焦距a0下的标记物视图中第二预定标记物的像素尺寸。

其中，由于左右双目摄像机拍摄得到的图像尺寸相同，因此可只通过左目摄像机或者右目摄像机拍摄直播场景图像。

其中，标准焦距a0的值可以是相机固有参数，也可根据需求进行设定，在此不作限定。

步骤1065，获取在左右双目摄像机的至少一种拍摄焦距a下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取至少一种拍摄焦距a下的标记物视图，并获取至少一种拍摄焦距a下的标记物视图中所述第二预定标记物的像素尺寸，其中，所述拍摄焦距a与标准焦距a0不同。

这里，可对左右双目摄像机进行变焦，获取左右双目摄像机在至少一种与标准焦距a0不同的拍摄焦距a下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，其中，直播场景拍摄距离d2采用与标准焦距a0下相同的固定值。然后对得到的直播场景图像进行抠图，获取标记物视图，并获取至少一种拍摄焦距a下的标记物视图中第二预定标记物的像素尺寸。

步骤1066，根据所述标准焦距a0，所述标准焦距a0下的标记物视图中所述第二预定标记物的像素尺寸、所述至少一种拍摄焦距a、所述至少一种拍摄焦距a下的标记物视图中所述第二预定标记物的像素尺寸，确定拍摄焦距a与标准焦距a0的图像缩放比例关系。

这里，利用标准焦距a0的第二预定标记物和拍摄焦距a的第二预定标记物的像素尺寸数据，可获取拍摄焦距a与标准焦距a0的图像缩放比例关系，以对左右双目摄像机的变焦行为进行校正。

其中，在一种拍摄焦距a1下，假定拍摄焦距a1的第二预定标记物的像素尺寸为(w1,h1)，假定标准焦距a0的第二预定标记物的像素尺寸为(w0,h0)，则图像缩放比例为w1/w0，h1/h0。

此时，利用获取的标准焦距a0的第二预定标记物的像素尺寸数据和多次获取的不同拍摄焦距a的第二预定标记物的像素尺寸数据，可以得到在不同拍摄焦距a下分别对应的图像缩放比例，进而获取拍摄焦距a与标准焦距a0的图像缩放比例关系。

步骤1061-1063和步骤1064-1066的执行顺序不限，可以先后，也可以同时进行。

步骤1067，根据所述第一函数关系、所述拍摄焦距a与所述标准焦距a0的图像缩放比例关系，确定所述缩放比例与所述直播场景拍摄距离d2、所述左右双目摄像机的拍摄焦距a和所述虚拟场景拍摄距离d1的函数关系。

此时，根据第一函数关系、拍摄焦距a与标准焦距a0的图像缩放比例关系，得到了缩放比例与直播场景拍摄距离d2、左右双目摄像机的拍摄焦距a和虚拟场景拍摄距离d1的函数关系，进而能够获取不同直播场景拍摄距离d2、不同左右双目摄像机的拍摄焦距a和不同虚拟场景拍摄距离d1分别对应的缩放比例，以对左右视图进行调整。

进一步的，上述步骤1063可利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离d2和所述虚拟场景拍摄距离d1的第一函数关系。上述步骤1066也可利用最小二乘法确定拍摄焦距a与标准焦距a0的图像缩放比例关系。

这里，参照上述步骤1053的介绍，左右视图的缩放比例一般包括长度方向和宽度方向的缩放比例，利用最小二乘法确定的缩放比例与直播场景拍摄距离d2和虚拟场景拍摄距离d1的第一函数关系式如上述公式(1)所示：

利用最小二乘法确定拍摄焦距a与标准焦距a0的图像缩放比例关系如下公式(2)所示：

这里，sH1为左图像缩放比例关系，sW0为右图像缩放比例关系。

根据第一函数关系、拍摄焦距a与标准焦距a0的图像缩放比例关系，确定的缩放比例与直播场景拍摄距离、左右双目摄像机的拍摄焦距和虚拟场景拍摄距离的函数关系如下公式(3)所示：

其中，sH为左右视图的长度缩放比例，sW为左右视图的宽度缩放比例。

此时，可根据d1、d2、a以及公式(3)所示的函数关系，准确、快速地确定左右视图的缩放比例，进而对左右视图的尺寸进行调整。

进一步的，本发明实施例还可根据左右双目摄像机的参数及拍摄距离通过程序理论计算左右视图的缩放比例。这种方式也可以适应于拍摄过程中左右双目摄像机的走位和远近镜头切换，可动态调整缩放比例使现实直播场景与虚拟场景的尺寸协调。

以上，通过对主播的左右视图的尺寸进行调整，使现实直播场景与虚拟场景的尺寸协调一致，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验。

其中，利用左右双目摄像机对直播场景拍摄后，需要对直播场景的左右图像进行抠图处理，以将抠图得到的主播的左右视图与虚拟场景融合。此时，抠图的质量直接影响融合效果，如抠图边界不干净会让用户看到毛边，造成现实场景与虚拟场景不协调，使用户观看体验下降。因此抠图结果要尽量保持边界的完整流畅，保持细节的完整性，如头等，要尽量将背景扣干净。

为了提高抠图质量可进行如下改进：改善光源环境；选用较好的摄像机；选取与主播相差较大的背景色；选用更适合的抠图算法等。

进一步的，为了保持抠图边界的完整流畅，上述步骤102之后，所述方法还包括：

步骤1010，对所述左右视图中所述主播的边界进行边界优化处理。

其中，如果主播边缘抠不干净，可以通过图像腐蚀算法优化边界。如果边缘锯齿感较强，可以通过图像边界检测并进行边界平滑处理。另外，还可以通过边界检测算法和一个简单的羽化算法使得边界过度更加自然。

此时，若左右视图与虚拟场景的交接处不做任何处理的话会感觉过度太陡，不协调。通过对左右视图中主播的边界进行边界优化，可以明显的提升边界处的观看体验。

另外，由于左右双目摄像机自身硬件特性，采集到的左右视图可能与虚拟场景的图像在色温、色调上不一致。为了保持左右视图与虚拟场景的一致性，优选的，上述步骤102之后，所述方法还可以包括：

步骤1011，根据所述虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。

此时，通过对左右视图的色温和/或色调进行调整，保证了左右视图与虚拟场景图像的一致性，提升了图像融合效果。

另外，考虑以下几方面原因还可对左右双目摄像机拍摄得到的主播的左右视图进行视差调整。

一方面，因拍摄场地或摄像机分辨率等因素限制，在现实直播场景中采用的拍摄距离与虚拟场景中采用的拍摄距离是不一样的，这样造成现实直播场景中左右双目摄像机拍摄的左右图像视差与虚拟场景中左右虚拟摄像机拍摄的左右图像视差不一致。例如现实直播场景一般采用3m远的距离拍摄，而虚拟场景中一般采用8m远的距离拍摄。

另一方面，为了符合人眼观看需求，虚拟场景中左右虚拟摄像机之间的间距一般为人眼的平均间距。但由于左右双目摄像机之间具有特定的距离，考虑到摄像机的体积等原因，左右双目摄像机的间距并不是按照人眼的间距设定的，一般情形下左右双目摄像机之间的间距与人眼的平均间距相差较大。例如间距只有3cm的左右双目摄像机拍摄距离3m远的物体的左右图像，与实际人眼(平均间距6.5cm)观看3m远的物体所映入左右眼视网膜的左右图像的视差是不一致的。

另外，现实直播中使用的左右双目摄像机可能存在一定夹角误差，该夹角误差也会影响到人眼观看视差。

因此，还可对左右视图进行视差调整，使左右视图视差与虚拟场景的视差要求一致，且与人眼观看的视差要求一致。

综上，本发明实施例的立体虚拟现实直播方法，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播；且通过对直播的立体图像的尺寸进行调整，使直播的立体图像与虚拟场景的尺寸比例一致；另外，通过边界优化、色温和/或色调调整等，保证了左右视图与虚拟场景图像的一致性；优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验。有效避免了在融合虚拟场景与现实直播场景时，不能合理调整视差，降低用户观看体验的问题。

第二实施例

如图5所示，本发明的实施例还提供一种立体虚拟现实直播装置，包括：

获取模块501，用于获取左右双目摄像机拍摄的直播场景的左右图像；

抠图模块502，用于分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；

尺寸调整模块503，用于根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；

融合模块504，用于将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

本发明实施例的立体虚拟现实直播装置，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播；且通过对直播的立体图像的尺寸进行调整，使直播的立体图像与虚拟场景的尺寸比例一致，优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验。有效避免了在融合虚拟场景与现实直播场景时，由于虚拟场景与现实直播场景图像比例不一致，降低用户观看体验的问题。

优选的，所述尺寸调整模块503包括：

第一获取子模块，用于根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例；

调整子模块，用于根据所述左右视图的缩放比例，对所述左右视图的尺寸进行调整。

优选的，所述装置还包括：

第一确定模块，用于确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，具体用于：利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的；

所述第一获取子模块包括：

第一获取单元，用于根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离、所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，获取所述左右视图的缩放比例；

其中，所述第一确定模块包括：

第二获取子模块，用于获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；

第三获取子模块，用于获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；

第一确定子模块，用于根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。

优选的，所述第一确定子模块包括：

第一确定单元，用于利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。

优选的，所述装置还包括：

第二确定模块，用于确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系；

所述第一获取子模块包括：

第二获取单元，用于根据直播场景中主播所在位置对应的直播场景拍摄距离、所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离、所述左右双目摄像机的拍摄焦距、所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系，获取所述左右视图的缩放比例；

其中，所述第二确定模块包括：

第二确定子模块，用于获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；以及

第三确定子模块，用于获取所述左右双目摄像机为标准焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取标准焦距下的标记物视图，并获取标准焦距下的标记物视图中所述第二预定标记物的像素尺寸；获取在左右双目摄像机的至少一种拍摄焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取至少一种拍摄焦距下的标记物视图，并获取至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，其中，所述拍摄焦距与标准焦距不同；根据所述标准焦距，所述标准焦距下的标记物视图中所述第二预定标记物的像素尺寸、所述至少一种拍摄焦距、所述至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，确定拍摄焦距与标准焦距的图像缩放比例关系；

第四确定子模块，用于根据所述第一函数关系、所述拍摄焦距与所述标准焦距的图像缩放比例关系，确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系。

优选的，所述第二确定子模块包括：

第二确定单元，用于利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；

所述第三确定子模块包括：

第三确定单元，用于利用最小二乘法确定拍摄焦距与标准焦距的图像缩放比例关系。

优选的，所述装置还包括：

边界优化模块，用于对所述左右视图中所述主播的边界进行边界优化处理；和/或

图片调整模块，用于根据所述虚拟场景的色温和/或色调，对所述左右视图的色温和/或色调进行调整。

本发明实施例的立体虚拟现实直播装置，通过拍摄直播的立体图像与虚拟场景融合，实现了立体虚拟现实直播；且通过对直播的立体图像的尺寸进行调整，使直播的立体图像与虚拟场景的尺寸比例一致；另外，通过边界优化、色温和/或色调调整等，保证了左右视图与虚拟场景图像的一致性；优化了现实直播场景与虚拟场景融合的效果，提升了用户观看体验，有效避免了在融合虚拟场景与现实直播场景时，不能合理调整视差，降低用户观看体验的问题。

需要说明的是，该立体虚拟现实直播装置是与上述立体虚拟现实直播方法相对应的装置，其中上述方法实施例中所有实现方式均适用于该装置的实施例中，也能达到同样的技术效果。

第三实施例

本发明实施例提供一种立体虚拟现实直播设备，所述立体虚拟现实直播设备可包含前述任一实施例所述的立体虚拟现实直播装置。

图6为本发明立体虚拟现实直播设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程。如图6所示，上述立体虚拟现实直播设备，包括：显示屏(未示出)，壳体61、处理器62、存储器63、电路板64和电源电路65，其中，显示屏嵌接在壳体61上，与壳体一起围成封闭空间；电路板64安置在显示屏和壳体61围成的空间内部，处理器62和存储器63设置在电路板64上；电源电路65，用于为上述立体虚拟现实直播设备的各个电路或器件供电；存储器63用于存储可执行程序代码；处理器62通过读取存储器63中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的立体虚拟现实直播方法，获取左右双目摄像机拍摄的直播场景的左右图像；分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而通过所述显示屏根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

处理器62对上述步骤的具体执行过程以及处理器62通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1所示实施例的描述，在此不再赘述。

该立体虚拟现实直播设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、应用程序的提供器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子设备。

本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。

实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。

在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。