替换视频流中的对象的方法及计算机程序的制作方法
【专利说明】替换视频流中的对象的方法及计算机程序
[0001] 本发明设及图像处理且更具体地设及替换视频流中的对象的方法W及用于执行 该方法的计算机程序。
[0002] 更具体地说，该方法设及检测和识别视频流中将被替换的对象并用替换图像或图 像序列替换它们。可使用本方法的典型应用是在体育事件的现场直播期间替换出现在围绕 运动场或现场的其它区域的周界板上的广告图像。运允许当对不同的位置进行播出时传递 出现在运些区域的多个广告内容。
[0003] 虚拟插入、增强现实和图像替换在过去的15年里已经作为研究领域。考虑到移动 的对象遮挡将被替换的前景图像，已经提出了很多不同的方法W使虚拟图像尽可能看起来 真实和自然。
[0004] 现有技术可被分类为四大类：
[0005] ?跟踪摄像机设备；
[000引 ?地标识别；
[0007] ?手动选择将被替换的对象或区域；
[0008] ?通过图像分析装置预先识别将被代替的图像。
[0009] 运些技术尤其是在现场直播中受到限制，导致它们变得不切实际或不可靠。图像 替换被期望增加赞助或广告收益，因此，运种方法需要保证在各种情况下的可操作性，W使 收益流可W是有保障的。然而，现有的解决方案具有较多的限制。
[0010] 使用测量设备跟踪有基座的摄像机仅可W在现场进行并需要特定的设备和操作 员。很多播出操作不能担负运样的跟踪开销。
[0011] 用于报道比赛所需的任意摄像机视点不能确保任何地标在采集的图像上都是明 显的。地标识别仅可被应用于某些摄像机和某些拍摄。
[0012] 手动交互，尤其是替换视频图像上的区域将花费太长时间而不能用于直播事件。 其强制延迟多秒，是不切实际的。
[0013] 图像识别技术已经被用于识别采集的图像中的对象模式。动态广告的发展（在广 告牌、周界板、显示屏......上部署全动态视频）使运些方法过时，因为将被替换的图像通 常不能被预测。
[0014] 大部分现有工作基于摄像机定位系统（跟踪头部、GPS、基于镜头的测量）和/或 可视地标（通常是运动场的线和图）。
[0015] 例如，W下是关于运种情况：
[0016] WO97/00581Al:需要至少S个地标可见
[0017] WO2009/018135A1 :使用3D对象模型适应的基于GPS的对象定位。
[0018] US7230653B1 :基于使用GI^和镜头方向指示测量的跟踪和传感器遥测的方法；另 夕F，运个专利从静态参考CAD模型识别图像，W致其用于L邸板的替换是不切实际的。
[0019] 一些方法包括手动对象识别过程，导致它们对于直播事件和多对象替换（诸如环 绕周界板）是不切实际的：
[0020] US7689062B2 :在源视频段中植入容器；运是纯后期处理过程，不能用于直播事件 播出。
[0021] US2010067865A1 :要求用户选择的输入区域，W致其对于在自动区域检测必须被 实时执行时的直播事件不适用。
[0022] 当周界板的内容是静态时的过去的方法与当前L邸板的动态内容需求不匹配。所 有运些方法需要对将被代替的静态图像预先识别：
[0023] US7116342B2描述了基于色彩分离模型W识别、存储和索引关注的区域的方法，并 因此该方法不能用于周界板的动态内容。
[0024] 在比赛期间，周界在摄像机的主视场中，为查看器找到最少相关性且在运动场外 的区域的方法是完全不相关的；运是GB2416949A中公开的方法的情况，其专注于运动区域 外和比赛本身之外的续发事件。
[00巧]一些其它的方法不适用于视频图像背景对象，因为他们专注于前景。例如，W02010067350A1识别视频流中的前景对象W添加虚拟插入图像。
[0026] 在当今的用于新闻和体育的TV制作中使用的摄像机变得更快更轻。制作是越来 越具移动性的，从笨重的基座中释放出来。在录制期间，摄像机位置和摄像机参数可W更频 繁的改变，并且处理具有跟踪设备的固定的摄像机的成本和操作约束不再被接受。
[0027] 越来越多数量的广告屏幕已经占据我们日常的环境。运些初始局限于静态内容的 屏幕逐渐转变为滚动横幅并然后转变为动态地馈送电子内容。使用现有技术中公开的方法 不可能替换电子动态内容。同时，电子屏幕的布置利用了TV馈送内部的最显著的广告空 间。
[0028] 图像替换需要对于直播、重播的或甚至是历史内容是可用的。运意味着如果在现 场需要任何特定的硬件，则没有运件设备录制的存档文件完全不能用于图像替换。纯计算 机视觉技术（不需要特定的现场硬件）的使用使图像替换适用于直播操作和/或后期制作 和存档内容。
[0029] 本发明的目标是解决上面提出的缺点并提供用于将替换图像插入视频流而不需 通过安装在摄像机基座上的昂贵的传感器设备采集和传输摄像机参数并且不需要直播环 境的静态模型的方法。
[0030] 本发明的另一个目标是提供可用于现场直播W及用于当只对已录制的图像具有 访问权限时的后期制作的方法。所提出的方法适应于对具有动态内容的、出现在诸如周界 板或广告牌的背景对象上的动态图像的替换。
[0031] 本发明的另一个目标是提供用于实施该方法的计算机程序。计算机程序可在记录 介质或在通信介质上进行提供。记录介质和通信介质中的每一个可W计算机可读方式给执 行多种计算机代码的通用计算机系统提供计算机程序。计算机系统用W计算机可读方式提 供的计算机程序执行过程W响应于计算机程序。
[003引出于该目的，本发明的目标是提供一种方法，该方法通过创建立体3D视图来创建 与人类的眼睛能看见的图像相同的视频图像的表示，就像人类的大脑所做的那样。使用图 像的立体3D解释，所提出的方法可确定图像中将被替换的对象的实际位置和遮挡真实背 景对象的可能的前景对象。
[0033] 该目标通过W在权利要求1和8中叙述的步骤为特征的方法实现。
[0034] 所公开的方法的主要优点是其不需要在摄像机基座上的昂贵的跟踪设备；其可被 用于直播事件或录制的图像；W及其可替换动态或静态内容。
[0035] 本发明的另一些优点将从在所附权利要求和下面的详细描述中所叙述的特征变 得明显。
[0036] 现在，将参照附图详细描述本发明，在附图中：
[0037] 图1是现场的典型的直播体育赛事制作的示意图。
[003引图2是描述了当有两台摄像机的馈送可用时的图像替换过程的流程图。
[0039] 图3是描述了当只有一台摄像机的馈送可用时的图像替换过程的流程图。
[0040]图4是描述了将被替换的目标图像的电子表示可用时的图像替换过程的流程图。
[0041] 图5是描述了当摄像机馈送是3D时的图像替换过程的流程图。
[0042] 图6是示出获得摄像机信息的过程的流程图。
[0043] 图7是示出了当有两台摄像机的馈送可用时，用来识别前景和背景对象、位置和 深度信息的立体视图的创建的流程图。
[0044] 图8是示出了当只有一台摄像机的馈送可用时，用来识别前景和背景对象、位置 和深度信息的立体视图的创建的流程图。
[0045] 参考图1，示出了在露天运动场或体育场中的现场的典型直播体育赛事制作。典 型的足球比赛运动场1被示意性地表示，其中运动员a、b、C在上面移动。运动场被静态或 动态广告图像可被显示在其上的周界板或电子广告牌2围绕。在直播现场的典型情况中， 至少有两台主摄像机3、4连续地录制该比赛，同时另一台摄像机5 (下文称为PGM摄像机） 被制作导演进行实况转播。目标图像、周界板1、2的部分在每一台摄像机的视场内是可见 的。左下的缩小图像示出摄像机3的视点；底下中间的缩小图像示出摄像机4视角；同时 右下图像表示通过PGM摄像机所看到的图像。一些运动员a、b部分遮挡了目标图像，而在 PGM的视场内由两台其它摄像机3、4看到的遮挡对象的仅一些部分是可见的。
[0046] 本发明的简要概述的替换视频流中的对象的方法由W下步骤组成：
[0047]-创建场景的立体视图，
[0048]-从视频图像识别摄像机参数，
[0049]-识别图像中将被替换的对象，
[0050]-计算遮挡对象的轮廓，
[0051]-用替换对象的图像的掩模创建该图像，
[0052]-将所生成的图像叠加到原始图像上。
[0053] 基于立体计算机视觉的方法W与处理人类立体视觉相似的方式创建摄像机图像 的立体3D表示。然后其用透视表示法识别对象并在期望的内容内替换对象同时遵守新对 象的视图深度。用运种方法，克服通常需要昂贵的摄像机跟踪设备的现有技术约束是可能 的。另外，该方法可在直播或在后期制作环境中操作，并且其对图像内部的动态内容起作 用。
[0054] 立体3D表示W两种不同的方式构成：
[0055]当前图像的立体3D人类表示由来自至少两台摄像机的馈送构成。该方法使用摄 像机二角剖分算法。
[0056] 在后期制作的情况中或当只有一台摄像机的馈送可用时，立体3D表示通过使用 图像分析技术重构空间环境获得。
[0057] 使用图像的立体3D解释，该方法确定图像中将被替换