植入内容到视频演示中的方法和系统的制作方法
【技术领域】
[0001] 本公开设及一种视频处理技术领域，尤其设及一种将内容植入到图像/视频序列 中的方法和系统。
【背景技术】
[0002] 当前，最常用的将诸如广告等内容植入视频播放中的方法是，在视频开始的时候 W及视频回放的时候播放广告视频流。例如，在化UTube上，总是会在视频流中有几个广告 片段。
[0003] 如图1(a)所示，观看者不得不在所选择的视频播放之前观看广告视频的播放，广 告的持续时间在图1(a)中用红色圆圈标记。运是将广告植入到视频序列的基本方法之一。 然而，运种广告播放方式的有效性评价并不好。视频的观看者可能在有广告播放的时候切 换视频频道，并可能直到广告播放结束后才转回。运种广告植入的强制方式会相当烦人，并 导致不愉快的观看体验。
[0004] 另一种常用的在视频播放中显示广告的方式是在所播放的视频流的顶层W透明 显示盒的方式播放广告内容，如图1 (b)中用红圈标记所示，运种植入播放方式也很烦人，也 可能会影响用户对所选视频的欣赏。
[0005] 因此，相应于本公开，对图像/视频处理的挑战之一是如何在保持原始视频源的原 有主要内容的同时获得所期待的结果。在观众观看图像/视频的时候，图像显著性可W用作 衡量像素点，区块和对象对观众视觉注意力的吸引能力的基本方法之一。然而，通常在往视 频序列里植入内容的时候不会纳入图像显著性信息。而且，现有技术可能仅仅是在屏幕的 顶层简单地叠加广告，运就使得所叠加的内容无法融入屏幕场景中，而运会引起不舒服的 观看效果。
[0006] 所公开的方法和系统就是用于解决上述的一个或多个问题W及其他问题。
【发明内容】
[0007] 本公开内容的一个方面提供了一种基于图像显著性的，用于将内容植入视频演示 中的媒体操作方法。该方法包括:建立含有多个用于植入视频中的广告元件的广告元件池； 获取展示了至少一个场景并含有多个原始帖的一段输入视频；W及在所输入的视频上执行 镜头分组和主场景分析，W获取具有静态背景和有限镜头运动的场景。所述方法还包括在 所获取的场景中检测空白候选区域，W用于植入至少一个广告元件，并基于广告元件的视 频显著性调整所述空白候选区域和所述至少一个的广告元件之间的排列关系。所述调整了 的排列关系用于增加所述广告元件在其视频显著性上的收益，并限制了没有植入内容的场 景在视频显著性上的改变。该方法还包括通过按照调整后的空白候选区域和广告元件的排 列关系将所述广告元件植入所述空白候选区域中，从而生成一段输出视频。
[000引本公开另一方面提供了一种基于图像显著性的媒体操作系统，用于在视频播放中 植入内容。所述系统包括广告处理模块，视频预处理模块，空白候选区域检测模块，排列关 系调整模块W及输出模块。所述广告处理模块用于获得包含多个用于植入的广告元件的广 告元件池。所述视频预处理模块用于对输入视频执行镜头分组和主场景分析，W获取具有 静态背景的场景和有限镜头移动的场景，所述输入视频呈现至少一个场景并含有多个原始 帖。所述空白候选区域检测模块用于在所获得的场景中检测空白候选区域，用W植入至少 一个广告元件。所述排列调整模块用于基于广告原件的图像显著性收益，来调整所述空白 候选区域和所述广告元件之间的排列关系，用W增加所述广告元件的图像显著性的收益W 及限制未植入内容的场景的图像显著性的改变。所述输出模块用于通过按照调整后的空白 候选区域和广告元件的排列关系而将广告元件植入空白候选区域中来产生一段输出视频。
【附图说明】
[0009] W下附图仅仅是为了说明目的而根据各公开实施例所举的例子，并不是用于限制 本公开的范围。
[0010]图1(a)-图1(b)显示了两种当前使用的广告显示方法。
[0011] 图2(a)-图2(b)显示了两种与本公开一致的广告植入方法。
[0012] 图3显示整合了本公开的某些实施例的一个典型环境。
[0013] 图4显示了与本公开的实施例一致的一个典型的计算系统。
[0014] 图5显示了与本发明实施例一致的典型的W图像显著性为基础的图像/视频操作 系统的结构示意图。
[0015] 图6显示了与本发明一致的用于植入内容到图像/视频序列的典型的基于图像显 著性的一个媒体操作过程的流程图。
[0016] 图7显示了所获取的与本发明一致的具有5个预测的平坦表面的典型帖。
[0017] 图8显示了与本发明一致的一个典型的基于图像显著性特性的排列方式调整过程 的流程图。
[0018] 图9显示了与本发明一致的一个典型的为镜头所建的有向无环图(DAG)。
[0019] 图10显示了与本发明一致的一个典型的状态空间和边缘连接。及
[0020] 图11显示了一个视频流被划分为不同的视频分量，与所公开的实施例一致。
【具体实施方式】
[0021] 为使本发明的目的、技术方案及效果更加清晰、明确，W下参照附图并举实施例对 本发明进一步详细说明。同一个参考标号将尽可能的在所有附图中的同一或类似部件上使 用。显然，所描述的实施例只是本发明的部分而不是全部的实施例。基于所公开的实施例， 本领域的普通技术人员可能推导出与本发明一致的其他实施例，而所有运些实施例都在本 发明的保护范围之内。
[0022] 为了提高在所点播和所广播的视频中的广告的有效性，有两个方面需要考虑:所 定制的广告内容和一个为客户所接受的广告植入模式。本发明提供了一个基于图像显著性 的，用于植入广告元件进图像/视频序列里=维场景中的媒体操作方法。
[0023] 此处所使用的图像显著性（salience)-词，可用于指代诸如素点、区块和对象对 人类视觉的吸引能力。换而言之，图像显著性是指，一个项目相对于其背景，在人类视觉系 统中得W区别出来的状态或品质。所述项目可W是一个对象、一个区块、一群像素点等等。
[0024] 图2显示了两例采用与本发明一致的广告植入方法的结果。如图2(a)所示，一个广 告图标在媒体展示中覆盖其中一个初始区块。如图2(b)所示，一个广告图标在媒体展示中 融入其中一个初始区块。图2(a)和图2(b)都说明，只要原始图像/视频的剩余部分尽可能的 维持其原始的图像显著性不变，那么所植入的广告元件可获得最大的图像显著性。在某些 实施例中，所植入的内容可能不是广告，而是可W整合进图像/视频序列的具有图像展示的 任何内容。
[0025] 图3是整合了本发明某些实施例的一个典型环境。如图3所示，环境300可包括显示 单元302，控制单元304，服务器306和用户308。也可W包括其他设备。
[0026] 所述显示单元302可W是任何类型的能够播放图像/视频序列的设备，如电视机， 计算机，智能电话，平板电脑，数码相机等。所述控制单元304可W是任何类型的外周设备， 只要其可W发送指令到所述显示单元302即可，例如一个遥控器，键盘，鼠标，控制按钮，触 摸屏等。所述显示单元302和所述控制单元304可W被集成在一个设备中。
[0027] 用户308可使用控制单元304来与显示单元302进行互动，从而观看不同的视频，控 制客户设置，W及执行其他所希望的行动，或者用户308可W简单的仅仅使用手或身体姿态 来控制所述显示单元302,只要所述显示单元302使用了运动传感器或深度摄像机。所述用 户308可W是单个使用者或者多个使用者，例如家庭成员在一起看视频。
[00%]所述显示单元302,控制单元304,和/或服务器306可安装在任何适合的计算电路 平台上。图4显示了一个典型计算系统400的框图，所述计算系统可实现所述基于视频显著 性的媒体操作系统。
[00巧]如图4所示，计算系统400可包括处理器402，存储介质404，显示器406，通讯模块 408,数据库410,和外周设备412。某些设备可能有所增减。
[0030] 处理器402可包括任何合适的处理器或处理器群。进一步，处理器402可W包括用 于多线程或并行处理的多核处理器。存储介质404可包括内存模块，例如只读存储器(ROM), 随机存取存储器(RAM),闪存模块，W及诸如光盘和硬盘等大容量存储器。储存介质404可储 存计算机程序，用于使得当处理器402执行所述计算机程序时，可W完成不同的进程。
[0031] 进一步，外周设备412可包括不同的传感器和其他输入/输出（I/O)设备，诸如键盘 和鼠标，而通讯模块408可包括一些通过通讯网卡建立连接的网络接口设备。数据库410可 包括一个或多个数据库，用于存储某些数据，并用于对所储存的数据执行某些操作，如数据 库捜索。
[0032] 特别是，存储介质404和数据库410可存储一个广告池及一段输入视频。所述广告 池和所述输入视频可预先提供并存储于一当地存储介质中，或通过网络在线提供。所述计 算系统400可实施一基于视频显著性的媒体操作方法，并通过把从所述广告池中提取的广 告元件植入所述输入视频而产生一输出视频。在所产生的输出视频中，所植入的广告元件 可获得最大的视频显著性，只要原始图像/视频的剩余部分基本保持其原有的视频显著性。
[0033] 图5显示了与本发明所公开的实施例一致的一个典型的基于视频显著性的图像/ 视频操作系统的结构示意图。如图5所示，所述基于视频显著性的媒体操作系统500(如，计 算系统400)可包括视频预处理模块502,空白候选区域检测模块503,广告处理模块505,排 列关系调整模块506, W及输出模块507。某些设备可能有所增减。所述系统500(如，各种元 件)可W由硬