视频合成方法和视频合成系统的制作方法

专利名称：视频合成方法和视频合成系统的制作方法
技术领域：
本发明涉及一种用于在不使用任何特殊背景(如蓝屏)的情况下，从所拍摄的图像中仅剪切合成素材，由此产生要合成的图像的技术。
背景技术：
当制作电影和其它视频作品时，合成技术不可或缺。常常使用蓝屏技术来拍摄要合成的图像。
蓝屏合成是指一种用于相对于蓝布等背景(下文称为蓝屏)来拍摄用于合成的图像的技术。用于将蓝屏的部分处理为透明的特殊图像处理被应用于所拍摄的图像上，以便生成随后与另一背景图像合成的合成图像。例如，如果要对人物和背景进行合成，则在蓝屏的前方拍摄作为合成素材的人物。随后，将单独预备的背景图像合成到所拍摄的图像中的蓝屏部分中。日本专利申请第Hei 8-300219号[专利文献2]日本专利申请特开平第2007-142726号

发明内容
本发明要解决的问题
这一蓝屏合成使用相对于蓝屏来拍摄的合成图像。因此，这种蓝屏合成
需要提供蓝屏作为临时背景。然而已经存在的问题在于蓝屏仅在一些电影录影棚中才可以获得，而电影录影棚和蓝屏均带来高额成本，并且使用、预备起来要耗费大量时间。
由于电影录影棚数目有限，所以已经存在的另一问题在于难以在突然通知时对替代摄像等进行重拍的情况下安排使用电影录影棚。已经存在的又一问题在于，可能的图像尺寸限于可用的电影录影棚和蓝屏的尺寸。
另外，当对在人为照明之下在电影录影棚中拍摄的图像和在日光之下拍摄的背景图像进行合成时，合成处理有时由于为各图像获得的照明的细微差异而造成不自然的图像。
为了在不使用蓝屏的情况下生成合成图像，可以使用在数字计算机上运 行的图像处理软件，从正常拍摄的图像人工地切割合成素材。然而，这种人 工切割需要大量时间和人力成本。也己经存在无法精确地提取细节的问题， 从而造成无细微差别的不自然的合成图像的问题。
一些软件可以检测合成素材的轮廓(contour)等，并且从包括合成素材 的图像自动切割合成素材。然而，检测和剪切动态变化轮廓的处理已经存在 复杂从而需要海量的信息处理的问题。
鉴于前述问题而开发本发明。因此本发明的一个目的在于提供一种视频 合成系统和视频合成方法，用于生成要合成的合成图像，其中在不使用相对 于蓝屏来拍摄图像的情况下，从相对于任意背景来拍摄的图像中仅获得提取 的合成素材。
解决技术问题的技术手段
蓝屏合成是指相对于蓝屏来拍摄用于视频合成等的图像素材、将在获得 的图像中的蓝屏部分处理为透明，并且将另一图像合成到透明部分中的技 术。蓝屏用来区别图像素材为透明的部分(蓝屏部分)和图像素材为不透明 的部分(除了蓝屏之外的部分)。也就是说，如果可以区分将变得透明的部 分与不变得透明的部分，则不使用蓝屏也可以实现与使用常规蓝屏而实现的
合成相同的合成。
于是，前述目的可以通过以下手段来实现。
为了实现前述目的，本发明提供一种视频合成方法，该方法包括在不提 供某个背景(如蓝屏)的情况下，从相对于任意背景来拍摄的图像中提取用 于合成的图像素材。
为了实现前述目的，本发明提供一种视频合成方法，该方法包括预备
背景侧图像和素材侧图像，所述背景侧图像为任意背景的摄像，所述素材侧
图像为相对于与背景侧图像的背景相同的背景的合成素材的摄像；以及对背 景侧图像和素材侧图像执行比较处理，以生成提取了合成素材的合成图像。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，比较处 理包括对在相同定时的各帧中、位于相同位置的各比较区中的背景侧图像与 素材侧图像之间的色值进行比较，所述比较区包括一个或者多个像素。
6为了实现前述目的，根据前述发明的视频合成方法的特点在于，当背景 侧图像和素材侧图像的比较区具有色值差时，为合成图像在比较区中的色值 设置素材侧图像在比较区中的色值。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，通过对 背景侧图像和素材侧图像的所有帧和所有像素执行比较处理，来生成合成图 像。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，比较处 理包括沿着时间轴从背景侧图像的预定持续时间的成组帧中，收集某个比 较区的色信息，由此生成背景侧色信息集；沿着时间轴从素材侧图像的预定 持续时间的成组帧中，收集某个比较区的色信息，由此生成素材侧色信息集;
以及沿着时间轴对背景侧信息集和素材侧色信息集进行比较，由此生成合成 图像在某个比较区的合成色信息。
为了实现前述目的，根据前述发明的视频合成方法的特点在于沿着时 间轴将背景侧色信息集标准化；以及对标准化的背景侧色信息集与素材侧色
信息集进行比较。
为了实现前述目的，根据前述发明的视频合成方法的特点在于当检测 到背景侧色信息集和素材侧色信息集的差值小于预定阈值的时间点时，从该
时间点的素材侧图像的帧中采集在该时间点的色信息的外围的色信息；以及
査询外围的色信息，以判断是否为合成色信息设置素材侧色信息集的颜色。
为了实现前述目的，根据前述发明的视频合成方法的特点在于背景侧
图像和素材侧图像均由运动控制相机拍摄。
为了实现前述目的，本发明提供一种视频合成系统，该系统包括背景
侧图像存储装置，用于存储背景侧图像，所述背景侧图像为任意背景的摄像;
素材侧图像存储装置，用于存储素材侧图像，所述素材侧图像为相对于与背
景侧图像的背景相同的背景的合成素材的摄像；比较处理装置，用于比较背 景侧图像和素材侧图像，以及基于比较结果来生成提取了合成素材的合成图 像；以及合成图像存储装置，用于存储合成图像。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，比较处 理装置对在相同定时的各帧中、位于相同位置的各比较区中的背景侧图像与 素材侧图像之间的色值进行比较，比较区包括一个或者多个像素。前述发明的视频合成方法的特点在于，比较处 理装置包括差值计算单元，用于在比较区中计算在背景侧图像与素材侧图 像之间的色值差值；以及色判断单元，用于判断是否将合成图像在比较区中 的色值设置为素材侧图像在比较区中的色值。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，比较处 理装置通过对背景侧图像和素材侧图像的所有帧和所有像素计算差值，来生 成合成图像。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，比较处 理装置包括背景侧色信息收集单元，用于沿着时间轴从背景侧图像的预定 持续时间的成组帧中，收集某个比较区的色信息，由此生成背景侧色信息集; 以及素材侧色信息收集单元，用于沿着时间轴从素材侧图像的预定持续时间 的成组帧中，收集某个比较区的色信息，由此生成素材侧色信息集。比较处 理装置沿着时间轴对背景侧色信息集和素材侧色信息集进行比较，由此生成 合成图像在某个比较区的合成色信息。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，比较处 理装置包括标准化处理单元用于沿着时间轴将背景侧色信息标准化。
为了实现前述目的，根据前述发明的视频合成方法的特点在于，比较处 理装置包括补充色信息采集单元，用于当检测到背景侧色信息集和素材侧 色信息集的差值小于预定阈值的时间点时，从时间点的素材侧图像的帧中采 集在时间点的色信息的外围的色信息；以及査询外围的色信息，以判断是否 为合成色信息设置素材侧色信息集的颜色。
根据本发明的视频合成方法或者视频合成系统，预备两个图像(背景侧 图像和素材侧图像)，两个图像间差异仅在于是否包括合成素材。也就是说， 在原则上两个图像除了合成素材之外几乎是同样的。可以比较这两个图像以 便提取图像的不匹配部分，由此生成合成图像。
附带提一点，术语"运动控制相机"是指如下相机，该相机是受计算机 控制的，从而它可以按相同设置和相同角度重复拍摄。可能的相机控制包括 内部设置，如透镜的焦距(縮放)和聚焦位置，以及借助专用工具对相机本 身进行摇摄(panning)、跟踪、推进和旋转。这使得有可能在相同的条件下 (比如相同的曝光和角度下)拍摄任意次，由此产生同样的图像。
8根据本发明，预备背景侧图像和素材侧图像，所述背景侧图像为任意背 景的摄像，所述素材侧图像为相对于与所述图像的背景相同的背景的合成素 材的摄像，并且提取图像的色不匹配部分以创建合成图像。因此希望两个图 像(即背景侧图像和素材侧图像)的背景相互一致。如上文提到的运动控制 相机可以让它的运动受控于计算机，从而相机按相同设置来移动并且重复拍 摄同一背景。这使得有可能在优选状态下预备本发明所需的两个图像(背景 侧图像和素材侧图像)。
根据本发明，从背景侧图像和素材侧图像位于相同坐标的各比较区(可 以是单个像素或者成组的多个邻近像素)沿着时间轴，获取背景侧图像和素 材侧图像的色值。结果是沿着时间轴收集有色值的背景侧色信息集和素材侧 色信息集。由于这一背景侧色信息集或素材侧色信息集的坐标是所有帧共用 的，因此各个单独一条色信息无需包括坐标信息。比较区的色信息只需作为 整体包含于背景侧或素材侧色信息集中。因而，背景侧或素材侧色信息集仅
有一维信息体(volume of information)，而这允许明显减少所需信息量。
另外，沿着同一时间轴对背景侧色信息集和素材侧色信息集进行比较允 许极为高效地生成其中提取有合成素材的合成图像。具体而言，当背景侧色 信息集和素材侧色信息集没有差异时，为在该时间点的合成色信息集设置固 定颜色。如果背景侧色信息集和素材侧色信息集不同，则为合成色信息集的 颜色设置素材侧色信息集的色信息。注意可以将轻微差异判断为不存在。如 有必要，本领域技术人员可以细微地调整这一判断。对所有帧的所有比较区 执行这一比较处理，由此生成合成图像。 本发明的效果
根据本发明的视频合成方法或者视频合成系统，可以在不使用蓝屏的情 况下生成合成图像。这减少为了使用蓝屏所需的录影棚费用并且节省了与预 订和使用蓝屏有关的提前预备的麻烦。另外，可以相对于任何给定背景或者 环境，高速高效生成合成图像。


图1是示出根据本发明的视频合成方法的概念的图。 图2是示出视频合成方法的流程图。
9图3是示出根据本实施例的视频合成系统的整体配置的框图。
图4是示出视频合成系统中计算机的配置的框图。
图5是示出视频合成系统中的部分比较处理过程的图。
图6是示出视频合成系统中沿着时间轴的色差例子的曲线图。
图7是示出视频合成系统的处理过程的流程图。
图8是示出视频合成系统的处理过程的流程图。
具体实施例方式
下文将参照附图来描述本发明的实施例。应当预先说明本发明不限于这 些附图。
首先将描述本发明的全面基本概念。在本实施例中，如图1中所示，预 备背景侧图像12、素材侧图像11和背景插入图像6，其中图像12是作为任 意背景的郁金香7的摄像，图像11被拍摄为包括作为合成素材的人物5，而 图像6是作为随后将插入的插入背景的李树2A和问荆2B的摄像。
具体而言，首先在郁金香7的前方拍摄人物5以产生素材侧图像11。在 移开人物5时，然后移动相机就如同拍摄素材侧图像11 一样，由此仅拍摄 郁金香7以产生背景侧图像12。因而，获得的两个图像11和12的差异仅在 于是否存在人物5。对素材侧图像11和背景侧图像12进行比较以提取差异， 由此获得仅将人物5提取到其中的合成图像13。使用现有技术将这一合成图 像13与背景插入图像6合成，以相对于李树2A和问荆2B的背景来完成人 物5的最终图像3。
注意优选地通过运动控制相机来拍摄这两个图像、即背景侧图像12和 素材侧图像11。其原因在于运动控制相机可以使它的运动受控于计算机，从 而可以按照相同设置来移动以拍摄同样的图像。应当认识到即使不使用运 动控制相机，也可以使用用于调整帧之间的坐标移位的软件，根据普通相机 或者多个不同相机拍摄的图像生成与运动相机拍摄的图像等效的背景侧图 像12和素材侧图像11。如本发明中运用的那样，用于比较帧的"相同位置" 标准不限于各单独帧固有的局部坐标。也可以考虑帧之间的相对移位、图像 縮放等基于对象侧上的全局坐标(对象侧上的参考位置)来确定该相同位置。
图2是示出本实施例的全面基本概念的流程图。
10首先相对于任意背景来拍摄要合成的素材(Sl)。优选地通过运动控制 相机来执行拍摄。接着移开合成素材以仅拍摄该任意背景(S2)。这一拍摄 也优选地使用运动控制相机。在与步骤Sl的拍摄相同的设置下移动相机。
然后通过使用视频合成系统对在步骤Sl和S2拍摄的图像来比较，由此仅提 取不匹配部分以获得合成图像(S3)。这提供与通过相对于蓝屏来拍摄用于 合成的图像素材而获得的图像相同的图像。最后将在步骤S3生成的合成图 像与用于背景的背景插入图像合成(S4)。这就完成了合成图像。
接着将描述根据本发明实施例的视频合成系统。图3是这一视频合成系 统100的示意框图。
在图3中，参考标号102代表视频相机拍摄的素材侧图像，而参考标号 103代表视频相机拍摄的背景侧图像。参考标号104代表用于存储素材侧图 像102的硬盘(作为素材侧图像存储装置)，而参考标号105代表用于存储 背景侧图像103的硬盘(作为背景侧图像存储装置)。参考标号106代表构 成部分素材侧图像102的帧，而参考标号107代表构成部分背景侧图像103 的帧。参考标号108代表包括CPU (中央处理单元)、存储器、通信总线和 多个输入/输出接口的计算机。参考标号109代表在经这一计算机108的处理 之后生成的帧。参考表号110代表用于存储这些帧109的硬盘(作为合成图 像存储装置)，而参考标号111代表由这些帧109构造的合成图像。参考标 号112代表包含将由这一计算机108执行的程序的硬盘(作为程序存储装 置)。
图4是示出计算机108的内部配置的图。应当认识到这一内部配置也包 括通过将程序一次存储到计算机108的存储器121中，并且在CPU (中央处 理单元)120上运行这一程序而获得的各种功能。
计算机108包括CPU 120、存储器121以及分别与前述存储装置104、 105、 IIO和112连接的输入/输出接口 122、 123、 124和125。也提供作为通 过在CPU 120上运行程序而获得的功能配置的比较处理装置170。这一比较 处理装置170更具体地包括差值计算单元172、色判断单元174、背景侧色 信息收集单元176、素材侧色信息收集单元178、标准化处理单元180和补 充色信息采集单元182。
比较处理单元170基于色信息来比较背景侧图像103和素材侧图像102。
ii还基于比较结果，来生成提取了合成素材的合成图像lll。
具体而言，差值计算单元172在比较区中计算背景侧图像103与素材侧 图像102之间的色值差。这一比较区是指背景侧图像103的各帧107和素材 侧图像102的各帧106中处于相同位置(这里为相同坐标)的成组的一个或 者多个像素。在本实施例中，比较区由单个像素构成，但是它可以包括多个 像素(例如8x8个像素)。附带提一点，尽管这里的比较区由各帧106中位
于相同的局部坐标处的像素构成，但是考虑縮放程度比较区可以包括参照对 象侧(图像侧)上的全局坐标(作为某个对象侧上的参考位置)落在相同位 置的一个或者多个像素。
基于差值计算单元172计算的差值的大小(magnitude)，色判断单元 174判断是否为合成图像111在比较区中的色值设置素材侧图像102在比较 区中的色值。更具体而言，如果没有差异，则因为背景侧图像103和素材侧 图像102无差异，这一比较区视为背景区。然后，为合成图像lll设置为了 剪切(cutout)而预先确定的某个颜色(例如蓝色)的信息。另一方面，如 果有差异，则因为背景侧图像103和素材侧图像102表现了表明存在合成素 材(人物)5的差异，从而为合成图像111设置这一素材侧图像102的色信 息。
如图5中所示，背景侧色信息收集单元176沿着时间轴，从背景侧图像 103的预定持续时间的成组帧107G中收集特定比较区Tl (这里为特定单个 像素)的色信息，由此生成背景侧色信息集HC(T1)。同时，素材侧色信息收 集单元178沿着时间轴在预定持续时间，从素材侧图像102的预定持续时间 的成组帧106G中收集在与背景侧图像坐标相同的比较区Tl的色信息，由此 生成素材侧色信息集SC(T1)。也就是说，在具体比较处理之前，沿着时间轴 方向收集在背景侧图像103和素材侧图像102的相同坐标处的特定比较区T1 的色信息，由此一维地排列色信息。在信息量明显减少的情况下向一维色信 息的全部集添加比较区T1的坐标信息。
色判断单元174使用在时间轴方向上收集的背景侧色信息集HC(T1)和 素材侧色信息集SC(T1)，来沿着时间轴依次比较背景侧图像103的帧107和 素材侧图像102的帧106的色信息。如图5中所示，这一色判断生成合成图 像111的成组的帧109G中与比较区Tl对应的合成色信息集GC(T1)。如图6的差值曲线图所示，色判断是指在时间轴方向上比较背景侧色信
息集HC(T1)的色变化曲线图与素材侧色信息集SC(T1)的色变化曲线图(计 算二者之差)。如果背景侧色信息集HC(T1)和素材侧色信息集SC(T1)在颜 色上是不同的(参见出现差异的区域X)，则为合成色信息集GC(T1)设置素 材侧色信息集SC(T1)的色信息。另一方面，如果背景侧色信息集HC(T1)和 素材侧色信息集SC(T1)在颜色上是相同的(参见未出现差异的区域Y)，为 合成色信息集GC(T1)设置预定的固定色信息(这里为用于蓝屏的蓝色)。所 得合成色信息集GC(T1)提供仅提取合成素材的色信息。对所有比较区T执 行这一比较处理，并且将所有合成色信息集GC整合到合成图像lll中。
注意标准化处理单元180将背景侧色信息集HC和素材侧色信息集SC 的数据标准化。这使得有可能消除两个图像中所含光波动、噪声等的影响， 并且适当地比较背景侧色信息集HC和素材侧色信息集SC。虽然未具体示 出，但是替代色信息集的标准化，或者除了色信息集的标准化之外，色判断 单元174也优选地将噪声分量纳入对用于判断合成素材存在还是缺失的阈值 的考虑之中。例如，数值小于或者等于预定阈值的差值(如果有)将被确定 为与合成素材无关的噪声。然后判断为有背景。借助于下文将描述的补充色 信息采集单元182，可以提供用于差值判断的多个阈值，从而可以更具体地 进行各个单独判断。
假设检测到背景侧色信息集HC与素材侧色信息集SC之间的差值落在 预定阈值之下时的时间点。然后，补充色信息采集单元182获取在该时间点 的素材侧图像102的帧106的信息，以采集比较区Tl的相邻外围的色信息， 并且将该色信息提供到色判断单元174。如果外围的色信息与比较区Tl的色 信息相同或者大体上相似，则色判断单元174确定包括比较区T1的外围 的整个区域由于合成素材而不仅仅是噪声而改变颜色，并且该色判断单元 174为合成色信息集GC设置素材侧色信息集SC的色信息。另一方面，如果 外围的色信息不同于比较区Tl的色信息，则色判断单元174将它确定为仅 仅是噪声并且为合成色信息集GC设置预定蓝色信息。这因而允许如下位置 等的高效提取，所述位置的色(颜色，color)与背景色的宽范围的变化高度 相似，如同合成素材的快速运动的轨迹。
如上文所述，通常通过使用在时间轴方向上收集的色信息集来执行色判断，而通过仅从难以进行判断的帧收集外围色信息，来执行具体判断。这使 得信息处理量明显减少。
图7是示出本视频合成系统100的合成处理过程的流程图。首先通过输
入/输出接口 123，从包含由相机拍摄的背景侧图像103的硬盘105读取数据 (S101)。将数据存储到存储器121中(S102)并且发送到CPU 120 (S103)。 类似地，通过输入/输出接口 122，从包含由相机拍摄的素材侧图像102的硬 盘104读取数据(S104)。将数据存储到存储器121中(S105)并且发送到 CPU 120 (S106)。接着通过输入/输出接口 124读取硬盘112中存储的用于 视频合成系统的程序(S107)，将该程序存储到存储器121中(S108)，并 且发送到CPU120 (S109)。这一CPU120运行该程序，以使用背景侧图像 103和素材侧图像102的数据来执行视频合成处理。将从这一处理获得的合 成图像111发送到存储器121 (S111)，并且通过输入/输出接口 125将该合 成图像lll写入到硬盘IIO。
图8是示出在图7的流程图中的步骤S110的视频合成处理的具体过程 的流程图。
对于这一视频合成处理，以位于相同坐标的比较区为单位或者具体而言 在本实施例中以像素为单位处理背景侧图像103和素材侧图像102这二者。 在步骤S201，检査背景侧图像103或者素材侧图像102是否具有仍待执行合 成处理的像素(比较区)。
如果有仍待执行合成处理的像素，则流程继续步骤S202。对于新的一个 像素(比较区)，素材侧色信息收集单元178收集素材侧图像102的色信息， 由此生成素材侧色信息集SC。背景侧色信息收集单元176沿着时间轴收集 背景侧图像103的色信息，由此生成背景侧色信息集HC。然后在步骤S203， 标准化处理单元180将这些素材侧色信息集SC和背景侧色信息集HC标准 化。
在收集色信息之后，沿着时间轴(即以帧为序)比较这些素材侧色信息 集SC和背景侧色信息集HC的色差。具体而言，在步骤S204首先检查某些 素材侧色信息集SC和背景色信息集HC是否具有仍待判断色值的时间(帧)。 如果有任何未判断的时间，则流程继续步骤S205。差值计算单元172计算在 该时间的素材侧色信息集SC与背景侧色信息集HC之间色值差。
14接着，色判断单元174判断这一差值是否超过(比随后将描述的第二阈
值更大的)第一阈值(步骤S206)。如果超过第一阈值，则差值明显源于合 成素材。然后流程继续步骤S207，在该步骤中，为该时间的合成色信息集 GC设置素材侧色信息集的色信息。另一方面，如果未超过第一阈值，贝'J流 程继续步骤S208，在该步骤中色判断单元174确定这一差值是否超过第二阈 值(小于前述第一阈值)。如果差值小于或者等于第二阈值，则两个区域均 被视为表现背景。流程然后继续步骤S209，在该步骤中为在该时间的合成色 信息GC设置固定蓝色信息。另一方面，如果差值超过第二阈值(小于前述 第一阈值)，则仍然难以确定是具有合成素材还是具有背景。流程然后继续 步骤S210，在该步骤中补充色信息采集单元182获取在该时间点的素材侧图 像102的帧106，以采集比较区的相邻外围的色信息，并且将该信息提供到 色判断单元174。色判断单元174然后再次进行包括外围的色信息的判断
(5211) 。如果外围的色信息与比较区的色信息相同或者大体上相似，则将 像素确定为属于合成素材。流程继续步骤S207,在该步骤中为在该时间的合 成色信息集GC设置素材侧色信息集SC的色信息。另一方面，如果外围的 色信息与比较区的色信息不相同或者不相似，则将差值确定为仅在比较区中 的像素上出现的一些噪声。流程继续步骤S209，在该步骤中为在该时间的合 成色信息集GC设置固定蓝色信息。
当完成这一色判断处理时，为了继续对下一时间点进行合成处理
(5212) ，流程返回到步骤S204，并且再次检査素材侧色信息集SC和背景 侧色信息集HC是否具有仍待判断色值的时间。
通过重复这一处理，色判断在步骤S204经历整个时间轴。为了继续对 下一像素(比较区)进行比较处理(S213)，流程返回到步骤S201，并且检 査背景侧图像103或者素材侧图像102是否具有待执行合成处理的像素(比 较区)。如果无像素剩余，则流程继续步骤S214，该步骤确定对所有像素完 成合成处理。然后根据所有合成色信息集GC生成合成图像111，并且检查 这一合成图像111是否不自然。操作者可以使用视频显示单元来进行这一检 査。可以使用预定程序以针对剩余的可能的不自然性(不连续性)来检查图 像运动。如果图像不自然，则修改判断阈值和其它条件(，S215)，以从开 始再次执行合成处理。另一方面，如果图像自然，则结束这一合成处理。根据这一视频合成系统100，有可能在不使用特殊设备(如蓝屏)的情 况下根据相对于任意背景拍摄的图像，生成合成图像。这消除对特殊录影棚 等的需要，从而使得拍摄成本和时间明显减少。此外，拍摄不限于录影棚尺 寸，而是可以相对于背景和在与随后将合成图像的环境(比如大平原)相似
的环境中执行。这可以产生在合成时带来更少陌生感(strangeness)的合成图像。
具体而言，当拍摄电影等时，有可能对相对长的图像，如单个剪辑(单 个场景)，执行自动共同合成处理。这允许合成时间明显减少。由于在背景 侧图像与素材侧图像之间的差异可以用来仅切除背景，而仅留下合成素材， 所以也有可能高效地生成高精确度的合成图像。
另外在本实施例中，背景侧图像和素材侧图像的一个或多个像素的比较 区的色信息都是在时间轴方向上被收集，以预备色信息集，并且将这些色信 息集相互比较。结果，各个单独一条色信息本身无需包括二维坐标。这允许 信息量明显减少，并且可以在短时间内执行合成处理。具体而言，可以考虑 拍摄环境中的光波动、噪声等在时间轴方向上基于颜色的变化来调整用于色 调整的阈值。
另外，在本实施例中，将在时间轴方向上收集的色信息集标准化。这澄 清色判断单元的判断标准，从而可以适当地生成合成图像。也可以适当地去 除不必要的噪声等。
在本实施例中，如果合成色信息集GC和素材侧色信息集SC的差值不 小于零、但是小于第二阈值，则补充色信息采集单元182获取在该时间点的 外围的色信息，并且将该信息提供到色判断单元174。这使得有可能提取更 高精确度的合成素材。例如，当合成素材(如汽车和人物)在高速移动时， 各个图像帧可以将它表现为颜色与背景的颜色几乎相同的轻微视觉暂留 (persistence of vision)。如果在某一尺寸的区域出现很小差异，则即使与背 景侧图像仅有这些小差异的此类合成素材也可以被判断为合成素材并且被 提取。具体而言，直到该差值落入第二阈值以下，才获取各个单独帧以收集 外围的色信息。因此，当与总是以二维方式使用帧的色信息的情况相比较时， 可以显著减少保留于存储器中的信息量。
注意本实施例仅已经涉及如下情况在时间轴方向上收集背景侧图像和
16素材侧图像的比较区的色信息，以生成色信息集，并且对这些色信息相互比 较集。然而本发明不限于此。例如，可以在背景侧图像和素材侧图像的一帧 中对某些比较区执行整个一系列比较处理，包括色信息的提取、差异检测以 及合成色信息的设置。这一比较处理在完成时移位到下一帧，从而相同的某 些比较区受到比较处理。取而代之，在比较处理移位到下一帧之前，可以对 一帧内的背景侧图像和素材侧图像的所有比较区(所有像素)执行比较处理， 以处理所有比较区。
本发明也已经涉及在相应帧中相对于局部坐标而在相同位置限定比较 区的情况。然而本发明不限于此。例如，考虑由于相机摇晃等造成的帧之间 的相对偏离以及考虑图像的縮放，比较区可以位于相同位置。具体而言，本 发明也涵盖如下情况参照对象侧上的全局坐标(参照对象侧上的参考位置) 来限定各帧中的像素排列，从而对相同排列中的比较区进行相互比较。
本实施例也已经涉及背景侧图像和素材侧图像由同一运动控制相机拍 摄的情况。然而本发明不限于此。图像可以由不同摄像机拍摄。
本实施例也已经涉及将生成的合成图像与单独拍摄的背景插入图像进 行合成的情况。然而本实施例不限于此。可以使用计算机图形作为背景插入 图像。
本实施例的视频合成系统100己经涉及使用多个硬盘和输入/输出接口 以分别存储素材侧图像、背景侧图像、合成图像和程序等的情况。然而本发 明不限于此。当然可以将共用存储器装置用于共同存储。
权利要求
1.一种视频合成方法，包括在不提供例如蓝屏的特定背景的情况下，从相对于任意背景来拍摄的图像中提取用于合成的图像素材。
2. —种视频合成方法，包括预备背景侧图像和素材侧图像，所述背景侧图像为任意背景的摄像，所述素材侧图像为相对于与所述背景侧图像的背景相同的背景的合成素材的摄像；以及对所述背景侧图像和所述素材侧图像执行比较处理，以生成提取了所述合成素材的合成图像。
3. 根据权利要求2所述的视频合成方法，其中所述比较处理包括对在相同定时的各帧中、位于相同位置的各比较区中的所述背景侧图像与所述素材侧图像之间的色值进行比较，所述比较区包括一个或者多个像素。
4. 根据权利要求3所述的视频合成方法，其中当所述背景侧图像和所述素材侧图像的比较区具有色值差时，为所述合成图像在所述比较区中的色值设置所述素材侧图像在所述比较区中的色值。
5. 根据权利要求3或4所述的视频合成方法，其中通过对所述背景侧图像和所述素材侧图像的所有帧和所有像素执行所述比较处理，来生成所述合成图像。
6. 根据权利要求3、 4或5所述的视频合成方法，其中所述比较处理包括沿着时间轴从所述背景侧图像的预定持续时间的成组帧中，收集某个比较区的色信息，由此生成背景侧色信息集；沿着所述时间轴从所述素材侧图像的所述预定持续时间的成组帧中，收集所述某个比较区的色信息，由此生成素材侧色信息集；以及沿着所述时间轴比较所述背景侧信息集和所述素材侧色信息集，由此生成所述合成图像在所述某个比较区的合成色信息。
7. 根据权利要求6所述的视频合成方法，其中沿着所述时间轴将所述背景侧色信息集标准化；以及将标准化的背景侧色信息集与所述素材侧色信息集进行比较。
8. 根据权利要求6或7所述的视频合成方法，其中当检测到所述背景侧色信息集和所述素材侧色信息集的差值小于预定阈值的时间点时，从在所述时间点的所述素材侧图像的帧中，采集在所述时间点的所述色信息的外围的色信息；以及査询所述外围的所述色信息，以判断是否为所述合成色信息设置所述素材侧色信息集的颜色。
9. 根据权利要求1至8中任一项所述的视频合成方法，其中所述背景侧图像和所述素材侧图像均由运动控制相机拍摄。
10. —种视频合成系统，包括背景侧图像存储装置，用于存储背景侧图像，所述背景侧图像为任意背景的摄像；素材侧图像存储装置，用于存储素材侧图像，所述素材侧图像为相对于与所述背景侧图像的背景相同的背景的合成素材的摄像；比较处理装置，用于比较所述背景侧图像和所述素材侧图像，以及基于比较结果来生成提取了所述合成素材的合成图像；以及合成图像存储装置，用于存储所述合成图像。
11. 根据权利要求10所述的视频合成系统，其中所述比较处理装置对在相同定时的各帧中、位于相同位置的各比较区中的所述背景侧图像与所述素材侧图像之间的色值进行比较，所述比较区包括一个或者多个像素。
12. 根据权利要求10或11所述的视频合成系统，其中所述比较处理装置包括差值计算单元，用于计算在所述比较区中的所述背景侧图像与所述素材侧图像之间的色值差；以及色判断单元，用于判断是否为所述合成图像在所述比较区中的色值设置所述素材侧图像在所述比较区中的色值。
13. 根据权利要求IO、 11或12所述的视频合成系统，其中所述比较处理装置通过对所述背景侧图像和所述素材侧图像的所有帧和所有像素计算差值，来生成所述合成图像。
14. 根据权利要求10至13中任一项所述的视频合成系统，其中所述比较处理装置包括背景侧色信息收集单元，用于沿着时间轴从所述背景侧图像的预定持续时间的成组帧中，收集某个比较区的色信息，由此生成背景侧色信息集；以及素材侧色信息收集单元，用于沿着所述时间轴从所述素材侧图像的所述预定持续时间的成组帧中，收集所述某个比较区的色信息，由此生成素材侧色信息集；以及其中所述比较处理装置沿着所述时间轴比较所述背景侧色信息集和所述素材侧色信息集，由此生成所述合成图像在所述某个比较区的合成色信息。
15. 根据权利要求14所述的视频合成系统，其中所述比较处理装置包括标准化处理单元，用于沿着所述时间轴将所述背景侧色信息集标准化。
16. 根据权利要求14或15所述的视频合成系统，其中所述比较处理装置包括补充色信息采集单元，用于当检测到所述背景侧色信息集和所述素材侧色信息集的差值小于预定阈值的时间点时，从所述时间点的所述素材侧图像的帧中采集在所述时间点的所述色信息的外围的色信息；以及查询所述外围的所述色信息，以判断是否为所述合成色信息设置所述素材侧色信息集的颜色。
全文摘要
使用背景侧图像和素材侧图像，所述背景侧图像为任意背景的摄像，所述素材侧图像为相对于相同背景的合成素材的摄像；比较两个图像以提取要合成的图像素材。因此可以在不使用某个背景(如蓝屏)的情况下，可以使用任何场景中拍摄的图像来提取合成素材，作为图像的一部分。
文档编号H04N5/272GK101543058SQ200880000469
公开日2009年9月23日 申请日期2008年3月28日 优先权日2007年4月2日
发明者片冈宏仁 申请人:M.苏福特有限公司