一种前景物体局部置换的方法与终端与流程

本发明涉及虚拟演播室技术，特别涉及一种前景物体局部置换的方法与终端。

背景技术：

目前，基于蓝箱抠像技术的虚拟演播室系统目前已广泛应用于各类电视节目制作中。虚拟演播室系统用于制作实施电视节目时，前景物体一般是主持人或者其他预先设定的物体，而背景物体一般是除前景物体之外的其他道具及场景。常见的处理是利用三维虚拟技术对背景物体进行虚拟物体置换，而前景物体一般不进行三维虚拟技术处理，导致了节目制作缺失表现力。

技术实现要素：

有鉴于此，实有必要提供一种能够对虚拟演播室系统中前景物体进行三维虚拟技术处理，以进行局部置换的前景物体局部置换的方法与终端。

一种前景物体局部置换的方法，所述方法包括：

获取真实摄像机拍摄的真实视频图像，所述真实视频图像中的前景物体包括设有标志物的待置换物体。

对真实视频图像进行抠像生成前景视频图像和相应的前景图像轮廓信息，所述标志物在所述前景图像中形成透明的区域。

获取深度摄像机拍摄所述前景物体的深度图像并根据深度图像获得待置换物体的轮廓信息和待置换物体的深度信息。

根据所述深度图像、所述待置换物体的轮廓信息、真实摄像机和深度摄像机的位置关系计算出所述待置换物到真实摄像机的距离。

根据所述距离和真实摄像机变焦参数计算出所述待置换物体在所述真实视频图像中的位置和比例。

根据所述位置和比例在所述前景图像中查找所述标志物所在区域。

从所述标志物区域识别出所述标志物的边缘。

根据所述标志物的边缘、所述待置换物体的轮廓、以及预设标志物和待置换物体之间的关系得到待置换区域的轮廓。

根据所述待置换区域的轮廓，将所述待置换区域置换成预设的虚拟图像。

进一步地，所述标识物的颜色与所述虚拟演播室的背景颜色相同。

进一步地，所述待置换物体为人，根据深度图像获得待置换物体的轮廓信息和待置换物体的深度信息包括：

将深度传感器识别出来的人体的轮廓信息设置为待置换物体的轮廓信息。以及

将人体的轮廓信息对应的深度信息设置为所述待置换物体的深度信息。

进一步地，根据所述深度图像和所述待置换物体的轮廓信息计算出所述待置换物到真实摄像机的距离包括：

根据待置换物体的深度信息计算出待置换物体到深度摄像机的距离；

根据深度摄像机和真实摄像机的位置关系、以及待置换物体到深度摄像机的距离计算出所述待置换物到所述真实摄像机之间的距离。

进一步地，所述真实摄像机变焦参数根据摄像机跟踪技术获取。

一种终端包括：

真实图像获取单元，用于获取真实摄像机拍摄的真实视频图像，所述真实视频图像中的前景物体包括设有标志物的待置换物体。

抠像单元，用于对真实视频图像进行抠像生成前景视频图像和相应的前景图像轮廓信息，所述标志物在所述前景图像中形成透明的区域。

深度图像获取单元，用于获取深度摄像机拍摄所述前景物体的深度图像并根据深度图像获得待置换物体的轮廓信息和待置换物体的深度信息。

距离计算单元，用于根据所述深度图像、所述待置换物体的轮廓信息、真实摄像机和深度摄像机的位置关系计算出所述待置换物到真实摄像机的距离。

位置计算单元，用于根据所述待置换物到真实摄像机的距离和真实摄像机变焦参数计算出所述待置换物体在所述真实视频图像中的位置和比例。

查找单元，用于根据所述位置和比例在所述前景图像中查找所述标志物所在区域。

识别单元，用于从所述标志物区域识别出所述标志物的边缘。

轮廓获取单元，用于根据所述标志物的边缘、所述待置换物体的轮廓、以及预设标志物和待置换物体之间的关系得到待置换区域的轮廓。

置换单元，用于根据所述待置换区域的轮廓，将所述待置换区域置换成预设的虚拟图像。

进一步地，所述真实视频图像中背景颜色与所述标识物的颜色相同。

进一步地，所述待置换物体为人，所述深度图像获取单元用于将深度传感器识别出来的人体的轮廓信息设置为待置换物体的轮廓信息；所述深度图像获取单元还用于将人体的轮廓信息对应的深度信息设置为所述待置换物体的深度信息。

进一步地，所述计算单元用于根据待置换物体的深度信息计算出待置换物体到深度摄像机的距离；所述计算单元还用于根据深度摄像机和真实摄像机的位置关系、以及待置换物体到深度摄像机的距离计算出所述待置换物到所述真实摄像机之间的距离。

进一步地，所述真实摄像机变焦参数根据摄像机跟踪技术获得。

上述方法与终端通过在待置换的前景物体上设置标志物，从而对采用三维虚拟技术对前景物体进行局部置换，极大地增强节目制作的表现力。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明较佳实施例中一种前景物体局部置换的方法的流程图；

图2是本发明较佳实施例中一种终端的功能模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，其为较佳实施例的一种前景物体局部置换的方法的流程图。该方法包括步骤S101～S109。

S101，获取真实摄像机拍摄的真实视频图像，所述真实视频图像中的前景物体包括设有标志物的待置换物体。

具体地，该前景物体可以是静态物体也可以是动态物体，还可以是静态物体与动态物体的任意组合。静态物体包括但不局限于布置在虚拟演播室中的桌子、椅子。动态物体包括但不局限于虚拟演播室中可移动的物体，如进行节目主持的主持人、进行节目表演的动物等。该待置换物体可以是前景物体中的局部，也可以是前景物体中的全部。本实施例选将主持人与桌子作为前景物体，同时优选主持人为待置换物体，主持人的头部区域为待置换区域。

具体地，所述标识物包括但不局限于项圈、丝巾、布条、手环等。作为一个优选，所述标识物的颜色与该虚拟演播室的背景颜色相同。本实施例选取与该虚拟演播室颜色相同的丝巾为标志物。

具体地，在待置换前景物体上设置标识物的动作可以视为将所述颜色与所述背景颜色相同的丝巾围绕在主持人的脖子处。所述丝巾的作用是为了在后续步骤中将主持人的头部区域与身体区域进行区分。

S102，对真实视频图像进行抠像生成前景视频图像和相应的前景图像轮廓信息，所述标志物在所述前景图像中形成透明的区域。

具体地，根据虚拟演播室背景颜色和标志物颜色进行颜色抠像。根据所述前景物体掩膜的键信号，进行抠像处理，生成前景物体视频图像。作为一个优选，抠像处理由色键器进行。所述色键器根据所述前景物体掩膜的键信号，进行抠像处理，生成前景物体视频图像。

S103，获取深度摄像机拍摄所述前景物体的深度图像并根据深度图像获得待置换物体的轮廓信息和待置换物体的深度信息。

具体地，若该待置换物体为人，将深度传感器识别出来的人体的轮廓信息设置为待置换物体的轮廓信息。将人体的轮廓信息对应的深度信息设置为所述待置换物体的深度信息。若该待置换物体为主持人为其他物体，可以通过图像比对获得轮廓信息。

S104，根据所述深度图像、所述待置换物体的轮廓信息、真实摄像机和深度摄像机的位置关系计算出所述待置换物到真实摄像机的距离。

具体地，首先，根据待置换物体的深度信息计算出待置换物体到深度摄像机的距离；然后，根据深度摄像机和真实摄像机的位置关系、以及待置换物体到深度摄像机的距离计算出所述待置换物到所述真实摄像机之间的距离。

S105，根据所述距离和真实摄像机变焦参数计算出所述待置换物体在所述真实视频图像中的位置和比例。

具体地，主持人的在每帧真实图像中的轮廓信息获取可以利用摄像机跟踪技术来完成。首先，启动摄像机。在主持人未进入场景的时候，对整个成场景扫描一遍，记录下对应的每帧的前景视频图像和对应的前景摄像机的姿态，所述姿态包括前景摄像机的平摇角度和俯仰角度。然后，在主持人进入场景中的时候，所述前景摄像机采用与刚才记录的姿态信息进行摄像。因为前景摄像机采用同样的姿态进行摄像，其得出的前景物体视频图像的景深和角度等数据都是一样的，唯一的差异就是场景中多了主持人。基于所述差异，利用图像逐像素对比的方法，即可得到主持人在前景物体掩膜中的位置、比例、轮廓等特征数据。

S106，根据所述位置和比例在所述前景图像中查找所述标志物所在区域。

S107，从所述标志物区域识别出所述标志物的边缘。

S108，根据所述标志物的边缘、所述待置换物体的轮廓、以及预设标志物和待置换物体之间的关系得到待置换区域的轮廓。

具体地，因为本实施例中已经将所述待置换区域预先设定为主持人的头部区域，也就是所述待置换区域是已知的。另外，可以得知设置于主持人脖子处的丝巾将支持人划分为两大区域：身体区域和头部区域。结合已知的所述待置换区域，我们可以正常情况下头部区域是位于主持人的上方，也就是说头部区域是位于所述丝巾的上方。

S109，根据所述待置换区域的轮廓，将所述待置换区域置换成预设的虚拟图像。

具体地，利用渲染引擎对用于置换的虚拟物体进行三维渲染后和该待置换区域的第二轮廓边缘对齐，进行置换，即可完成对主持人的头部虚拟置换。

作为一个优选，在虚拟物体进行三维渲染的过程中，采用的景深数据主持人到前景摄像机的景深数据相同。

如图2所示，其为较佳实施例的一种终端的功能模块图。

真实图像获取单元101，用于获取真实摄像机拍摄的真实视频图像。所述真实视频图像中的前景物体包括设有标志物的待置换物体。

具体地，该前景物体可以是静态物体也可以是动态物体，还可以是静态物体与动态物体的任意组合。静态物体包括但不局限于布置在虚拟演播室中的桌子、椅子。动态物体包括但不局限于虚拟演播室中可移动的物体，如进行节目主持的主持人、进行节目表演的动物等。该待置换物体可以是前景物体中的局部，也可以是前景物体中的全部。本实施例选将主持人与桌子作为前景物体，同时优选主持人为待置换物体，主持人的头部区域为待置换区域。

具体地，所述标识物包括但不局限于项圈、丝巾、布条、手环等。作为一个优选，所述真实视频图像中背景颜色与所述标识物的颜色。本实施例选取与该虚拟演播室颜色相同的丝巾为标志物。

具体地，在待置换前景物体上设置标识物的动作可以视为将所述颜色与所述背景颜色相同的丝巾围绕在主持人的脖子处。所述丝巾的作用是为了在后续步骤中将主持人的头部区域与身体区域进行区分。

抠像单元102，用于对真实视频图像进行抠像生成前景视频图像和相应的前景图像轮廓信息，所述标志物在所述前景图像中形成透明的区域。

具体地，根据虚拟演播室背景颜色和标志物颜色进行颜色抠像。根据所述前景物体掩膜的键信号，进行抠像处理，生成前景物体视频图像。作为一个优选，抠像处理由色键器进行。所述色键器根据所述前景物体掩膜的键信号，进行抠像处理，生成前景物体视频图像。

深度图像获取单元103，用于获取深度摄像机拍摄所述前景物体的深度图像并根据深度图像获得待置换物体的轮廓信息和待置换物体的深度信息。

具体地，若该待置换物体为人，将深度传感器识别出来的人体的轮廓信息设置为待置换物体的轮廓信息。将人体的轮廓信息对应的深度信息设置为所述待置换物体的深度信息。若该待置换物体为主持人为其他物体，可以通过图像比对获得轮廓信息。

距离计算单元104，用于根据所述深度图像、所述待置换物体的轮廓信息、真实摄像机和深度摄像机的位置关系计算出所述待置换物到真实摄像机的距离。

具体地，首先，根据待置换物体的深度信息计算出待置换物体到深度摄像机的距离；然后，根据深度摄像机和真实摄像机的位置关系、以及待置换物体到深度摄像机的距离计算出所述待置换物到所述真实摄像机之间的距离。

位置计算单元105，用于根据所述待置换物到真实摄像机的距离和真实摄像机变焦参数计算出所述待置换物体在所述真实视频图像中的位置和比例。

具体地，主持人的在每帧真实图像中的轮廓信息获取可以利用摄像机跟踪技术来完成。首先，启动摄像机。在主持人未进入场景的时候，对整个成场景扫描一遍，记录下对应的每帧的前景视频图像和对应的前景摄像机的姿态，所述姿态包括前景摄像机的平摇角度和俯仰角度。然后，在主持人进入场景中的时候，所述前景摄像机采用与刚才记录的姿态信息进行摄像。因为前景摄像机采用同样的姿态进行摄像，其得出的前景物体视频图像的景深和角度等数据都是一样的，唯一的差异就是场景中多了主持人。基于所述差异，利用图像逐像素对比的方法，即可得到主持人在前景物体掩膜中的位置、比例、轮廓等特征数据。

查找单元106，用于根据所述位置和比例在所述前景图像中查找所述标志物所在区域。

识别单元107，用于从所述标志物区域识别出所述标志物的边缘。

轮廓获取单元108，用于根据所述标志物的边缘、所述待置换物体的轮廓、以及预设标志物和待置换物体之间的关系得到待置换区域的轮廓。

具体地，因为本实施例中已经将所述待置换区域预先设定为主持人的头部区域，也就是所述待置换区域是已知的。另外，可以得知设置于主持人脖子处的丝巾将支持人划分为两大区域：身体区域和头部区域。结合已知的所述待置换区域，我们可以正常情况下头部区域是位于主持人的上方，也就是说头部区域是位于所述丝巾的上方。

置换单元109，用于根据所述待置换区域的轮廓，将所述待置换区域置换成预设的虚拟图像。

具体地，利用渲染引擎对用于置换的虚拟物体进行三维渲染后和该待置换区域的第二轮廓边缘对齐，进行置换，即可完成对主持人的头部虚拟置换。

作为一个优选，在虚拟物体进行三维渲染的过程中，采用的景深数据主持人到前景摄像机的景深数据相同。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。