一种实现虚拟屏幕墙的方法及终端与流程

本发明涉及虚拟植入技术领域，尤其涉及应用于虚拟植入系统中的一种实现虚拟屏幕墙的方法及终端。

背景技术：

在实景演播室、舞台及体育赛事等视频节目经常采用大屏幕墙、广告墙等视频播放设备，既可增进节目的播出效果，又可通过播放广告等达到一定的经济效益。但是通常的大屏幕墙价格都较高。采用抠像或图像对比的方式，可以在实景中添加蓝板、特定喷绘板以实现将蓝板和特定喷绘板置换成大屏幕墙的效果，从而实现大屏幕的视频播放。但这两种方法都有一定局限性：添加蓝板的方式会破坏实景的色系一体化，影响现场氛围；针对特定喷绘板的图像对比对主持人和喷绘板有一定要求，如果二者颜色接近则无法识别，会导致穿帮的现象，使用范围有一定限制。

技术实现要素：

本发明提出了一种实现虚拟屏幕墙的方法及终端，使用范围广泛且不会导致穿帮现象。

一种实现虚拟屏幕墙的方法，包括：

获取真实三维空间中待覆盖区域的物理尺寸参数；

实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；

将所述初始位置参数和初始设置参数赋予虚拟摄像机；

获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；

接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；

根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；

获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；

根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；

根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；

按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。

一种终端，包括：

第一设置单元，用于获取真实三维空间中待覆盖区域的物理尺寸参数；

第二设置单元，用于实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；

赋值单元，用于将所述初始位置参数和初始设置参数赋予虚拟摄像机；

初始图像获取单元，用于获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；

边缘信息生成单元，用于接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；

重建单元，用于根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；

视频图像获取单元，用于获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；

估算单元，用于根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；

边缘生成单元，用于根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；

置换单元，用于按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。

上述方法和终端通过对待覆盖区域进行操作生成边缘信息，根据待覆盖区域的物理尺寸参数、真实摄像机初始位置参数、真实摄像机初始设置参数和边缘信息对待覆盖区域进行三维重建，在真实摄像机拍摄的过程中将重建后的待覆盖区域投影至真实视频图像中得到真实视频图像中待覆盖区域的估算边缘，再根据估算边缘和深度传感技术得到待覆盖区域的精确边缘和遮挡物的轮廓，然后按场频将待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。上述方法和终端实现虚拟屏幕墙的效果，使用范围广泛且不会导致穿帮现象。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种实现虚拟屏幕墙的方法的示意流程图；

图2是图1所示一种实现虚拟屏幕墙的方法的子流程示意图；

图3是本发明实施例提供的一种终端的示意性框图；

图4是本发明实施例提供的一种终端的功能模块的示意性框图；

图5是本发明另一实施例提供的一种终端的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

图1为本发明实施例提供的一种实现虚拟屏幕墙的方法的示意流程图。该方法应用于虚拟植入系统中。该方法包括S101-S110。

S101，获取真实三维空间中待覆盖区域的物理尺寸参数。在本实施例中，待覆盖区域为大屏幕墙、广告墙所占的区域等用于显示图像的设备所占的区域。在一些可行的其他实施例中，待覆盖区域还可以为喷绘板、或者现场中的任意物体所占区域。待覆盖区域的形状可以为但不限于方形、圆形、扇形、弧面等。待覆盖区域的物理尺寸参数，如，针对矩形、多边形抠像区域，该物理尺寸参数为边长、夹角等；针对扇面、弧面，该物理尺寸参数为半径和张角等。

S102，实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数。该位置参数包括摄像机在真实三维空间的位置、姿态等。该设置参数包括真实摄像机在真实空间中变焦、聚焦、景深等。

S103，将该初始位置参数和设置参数赋予虚拟摄像机。如此，可以使真实摄像机和虚拟摄像机的坐标匹配。

S104，获取真实摄像机所拍摄的初始真实图像，该初始真实图像包括待覆盖区域的图像。可以理解地，若现场中需要覆盖的区域只有一个，该真实摄像机拍摄的初始真实图像包括该区域的图像。若现场中有多个区域需要进行覆盖，该真实摄像机拍摄的初始真实图像包括需要覆盖的所有区域的图像。优选地，该初始真实图像是真实摄像机将镜头推至最小张角处拍摄的。在最小张角处拍摄的范围最大，获取的信息最多，同时变焦数据为0，方便调节。

S105，接收用户对待覆盖区域的操作生成边缘信息，该边缘信息包括边缘特征点。用户可通过提供的软件界面，用鼠标等对初始真实图像中待覆盖区域进行操作生成边缘信息。该边缘信息包括矩形区域的顶点、扇形区域的夹角和半径等特征点。

S106，根据该物理尺寸参数、该初始位置参数、该初始设置参数和该边缘信息对该待覆盖区域进行三维重建。根据待覆盖区域的物理尺寸参数计算出待覆盖区域在真实三维空间中的景深、边缘信息；根据景深和边缘信息进行三维虚拟空间中的三维重构。

步骤S101～S106是为了将真实摄像机的参数赋予给虚拟摄像机以及进行待覆盖区域的三维重建。

S107，获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像。该视频图像可以实时地从该真实摄像机获取。该运动参数可以利用摄像机跟踪定位技术获得。其中，该运动参数包括镜头运动参数，如，变焦、聚焦、光圈等；机头运动参数，例如，摇移、俯仰等；以及空间位置参数，如，地面位置x,y、高度z等。深度传感器安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物的周围。如此，真实摄像机运动时，深度传感器也同步运动。其中，深度传感器可以获取彩色图像以及彩色图像所对应的深度图像。优选地，深度传感器为Kinect传感器。

S108，根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘。由于根据运动参数进行实时投影，使得重建后的待覆盖区域的投影与真实摄像机拍摄的视频图像进行同步变化。

S109，根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓。如图2所示，S109包括S201-S203。

具体地，S201，根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配得到待覆盖区域的彩色图像。因为真实摄像机(拍摄的真实视频图像)和深度传感器彩色摄像机(同步得到的彩色图像)可能会存在焦距不一样的问题，真实摄像机的焦距可能一直是变动的，而深度传感器的焦距是不变的；另一方面，深度传感器是安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物周围的，故深度传感器得到的图像和真实摄像机获取的真实视频图像的坐标会有不一致的问题。因此需要根据估算边缘，通过变焦数据和坐标变换等将真实视频图像和深度传感器同步得到的彩色图像进行匹配，以得到待覆盖区域的彩色图像以及待覆盖区域彩色图像的位置。其中，变焦数据是真实摄像机通过根据定位技术得到的。S202，根据待覆盖区域的彩色图像，利用深度传感器的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息。S203，根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。在完成待覆盖区域估算边缘的基础上，根据待覆盖区域的深度信息进行深度值判断，区分深度信息所对应的像素点哪些是待覆盖区域的点，哪些是待覆盖区域之外的点，得到的待覆盖区域的边缘像素点即为待覆盖区域的精确边缘和遮挡物的轮廓。

S110，按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。预设的虚拟视频图像可以是动画、三维模型、特效、字幕、外接数据及微信、短信等各种全媒体信息。虚拟视频输入输出可以为SDI、HDMI等各种视频格式，也可为各种流媒体格式。

步骤S104～S110是在摄像机拍摄过程中，使用摄像机的定位跟踪技术的状态下进行的，以将待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。

上述方法，根据深度信息得到待覆盖区域的精确边缘和遮挡物轮廓，不会有任何的穿帮现象，即使是在待覆盖区域大部分被遮挡的情况下，仍可对残留部分进行实时视频置换，不会存在任何穿帮现象。另外，该方法通过安装深度传感器，无需在实景中添加篮板，也无需顾忌主持人和实景物体的颜色，根据深度深度信息即可对真实场景中任意区域置换成虚拟屏幕墙的效果，使用范围广，操作简单，可靠性强并且延时小(延时3-5帧)。

图3为本发明实施例提供的一种终端的示意性框图。该终端30包括第一设置单元301、第二设置单元302、赋值单元303、初始图像获取单元304、边缘信息生成单元305、重建单元306、视频图像获取单元307、估算单元308、边缘生成单元309、置换单元310。

第一设置单元301，用于获取真实三维空间中待覆盖区域的物理尺寸参数。在本实施例中，待覆盖区域为大屏幕墙、广告墙所占的区域等用于显示图像的设备所占的区域。在一些可行的其他实施例中，待覆盖区域还可以为喷绘板、或者现场中的任意物体所占区域。待覆盖区域的形状可以为但不限于方形、圆形、扇形、弧面等。待覆盖区域的物理尺寸参数，如，针对矩形、多边形抠像区域，该物理尺寸参数为边长、夹角等；针对扇面、弧面，该物理尺寸参数为半径和张角等。

第二设置单元302，用于实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数。该位置参数包括摄像机在真实三维空间的位置、姿态等。该设置参数包括真实摄像机在真实空间中变焦、聚焦、景深等。

赋值单元303，用于将该初始位置参数和设置参数赋予虚拟摄像机。如此，可以使真实摄像机和虚拟摄像机的坐标匹配。

初始图像获取单元304，用于获取真实摄像机所拍摄的初始真实图像，该初始真实图像包括待覆盖区域的图像。可以理解地，若现场中需要覆盖的区域只有一个，该真实摄像机拍摄的初始真实图像包括该区域的图像。若现场中有多个区域需要进行覆盖，该真实摄像机拍摄的初始真实图像包括需要覆盖的所有区域的图像。优选地，该初始真实图像是真实摄像机将镜头推至最小张角处拍摄的。在最小张角处拍摄的范围最大，获取的信息最多，同时变焦数据为0，方便调节。

边缘信息生成单元305，用于接收用户对待覆盖区域的操作生成边缘信息，该边缘信息包括边缘特征点。用户可通过提供的软件界面，用鼠标等对初始真实图像中待覆盖区域进行操作生成边缘信息。该边缘信息包括矩形区域的顶点、扇形区域的夹角和半径等特征点。

重建单元306，用于根据该物理尺寸参数、该初始位置参数、该初始设置参数和该边缘信息对该待覆盖区域进行三维重建。根据待覆盖区域的物理尺寸参数计算出待覆盖区域在真实三维空间中的景深、边缘信息；根据景深和边缘信息进行三维虚拟空间中的三维重构。

视频图像获取单元307，用于获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像。该视频图像可以实时地从该真实摄像机获取。该运动参数可以利用摄像机跟踪定位技术获得。其中，该运动参数包括镜头运动参数，如，变焦、聚焦、光圈等；机头运动参数，例如，摇移、俯仰等；以及空间位置参数，如，地面位置x，y、高度z等。深度传感器安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物的周围。如此，真实摄像机运动时，深度传感器也同步运动。其中，深度传感器可以获取彩色图像以及彩色图像所对应的深度图像。优选地，深度传感器为Kinect传感器。

估算单元308，用于根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘。由于根据运动参数进行实时投影，使得重建后的待覆盖区域的投影与真实摄像机拍摄的视频图像进行同步变化。

边缘生成单元309，用于根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓。如图4所示，边缘生成单元309包括匹配单元401、深度信息获取单元402、精确边缘生成单元403。

具体地，匹配单元401，用于根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配得到待覆盖区域的彩色图像。因为真实摄像机(拍摄的真实视频图像)和深度传感器彩色摄像机(同步得到的彩色图像)可能会存在焦距不一样的问题，真实摄像机的焦距可能一直是变动的，而深度传感器的焦距是不变的；另一方面，深度传感器是安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物周围的，故深度传感器得到的图像和真实摄像机获取的真实视频图像的坐标会有不一致的问题。因此需要根据估算边缘，通过变焦数据和坐标变换等将真实视频图像和深度传感器同步得到的彩色图像进行匹配，以得到待覆盖区域的彩色图像以及待覆盖区域彩色图像的位置。其中，变焦数据是真实摄像机通过根据定位技术得到的。获取单元402，用于根据待覆盖区域的彩色图像，利用深度传感器的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息。精确边缘生成单元403，用于根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。在完成待覆盖区域估算边缘的基础上，根据待覆盖区域的深度信息进行深度值判断，区分深度信息所对应的像素点哪些是待覆盖区域的点，哪些是待覆盖区域之外的点，得到的待覆盖区域的边缘像素点即为待覆盖区域的精确边缘和遮挡物的轮廓。

置换单元310，按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。预设的虚拟视频图像可以是动画、三维模型、特效、字幕、外接数据及微信、短信等各种全媒体信息。虚拟视频输入输出可以为SDI、HDMI等各种视频格式，也可为各种流媒体格式。

图5为本发明实施例提供的一种终端的另一种示意性框图。该终端50包括输入装置501、输出装置502、存储器503以及处理器504，上述输入装置501、输出装置502、存储器503和处理器504通过总线505连接。其中：

输入装置501，用于提供用户输入信息。具体实现中，本发明实施例的输入装置501可包括键盘、鼠标、光电输入装置、声音输入装置、触摸式输入装置等。

输出装置502，用于输出置换屏幕墙后的视频图像。具体实现中，本发明实施例的输出装置502可包括显示器、显示屏、触摸屏等。

存储器503，用于存储带有各种功能的程序数据。本发明实施例中存储器503存储的数据包括待覆盖区域的物理尺寸，初始位置参数、初始设置参数、虚拟视频图像等，以及其他可调用并运行的程序数据。具体实现中，本发明实施例的存储器503可以是系统存储器，比如，挥发性的(诸如RAM)，非易失性的(诸如ROM，闪存等)，或者两者的结合。具体实现中，本发明实施例的存储器503还可以是系统之外的外部存储器，比如，磁盘、光盘、磁带等。

处理器504，用于调用存储器503中存储的程序数据，并执行如下操作：

获取真实三维空间中待覆盖区域的物理尺寸参数；实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；将所述初始位置参数和初始设置参数赋予虚拟摄像机；获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。

在其他可行的实施例中，处理器504还可执行如下步骤：

根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配；根据深度传感器匹配后的彩色图像，利用深度传感器得到的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息；根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。

应当理解，在本发明实施例中，所称处理器504可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。