动态地替换及插入节目内容中的电影舞台道具的制作方法

专利名称：动态地替换及插入节目内容中的电影舞台道具的制作方法
动态地替换及插入节目内容中的电影舞台道具本申请是申请号为200780016668. 3，申请日为2007年3月5日，名称为“动态地替换及插入节目内容中的电影舞台道具”的申请的分案申请。相关申请的交叉参考
本申请的母案申请是2006年3月7日提交的标题为“DYNAMIC REPLACEMENT OFCINEMATIC STAGE PROPS IN PROGRAM CONTENT” 的美国专利申请 No. 11/371，367 和 2006年 3 月 7 日提交的标题为 “DYNAMIC INSERTION OF CINEMATIC STAGE PROPS IN PROGRAMCONTENT”的美国专利申请No. 11/371,215的继续申请，这两个申请的整个公开内容由此被全文结合在此以作参考。发明背景1、发明领域
本发明一般而言涉及数字视频处理，更具体来说，涉及在节目内容中数字地插入图像以用于广告。2、相关技术领域的讨论
一种传统形式的广告是电视商业广告。这种电视商业广告通常包括其长度从几秒钟到几分钟的简短广告插播。所述商业广告出现在节目之间，并且以规则的间隔中断所述节目。广告商的目标是令观众的注意力集中在所述商业广告上，但是观众常常会在商业广告期间换频道以避免观看所述商业广告。观众避免电视商业广告的另一种方式是通过使用数字视频记录器(DVR)。利用DVR，一个人可以记录节目并且随后在重放期间快进通过商业广告。其他媒体播放器预期会为观众提供甚至更好的跟踪及跳过商业广告的能力。本发明关于上述和其他背景信息因素取得了进展。
发明概要通过提供一种用于修改节目内容的方法，本发明有利地解决了上面的需求以及其他需求。所述方法包括以下步骤在所述内容中识别出要替换的道具；确定每一项所识别出的道具的位置信息；确定与每一项所识别出的道具相关联的视觉效果信息；以及产生参考文件，所述参考文件包括所述内容以及与每一项所识别出的道具相关联的所述位置和视觉效果信息。本发明的另一个实施例提供一种用于修改节目内容的系统。所述系统包括用于在所述内容中识别出要替换的道具的装置；用于确定每一项所识别出的道具的位置信息的装置；用于确定与每一项所识别出的道具相关联的视觉效果信息的装置；以及用于产生参考文件的装置，所述参考文件包括所述内容以及与每一项所识别出的道具相关联的所述位置和视觉效果信息。本发明的另一个实施例提供一种用于生成节目内容的方法。所述方法包括以下步骤提供内容以及一个或多个参考文件，所述参考文件索 引与所述内容中的一项或多项可替换道具相关联的位置和视觉效果信息；获得将被替换的道具的一幅或多幅替换图像；利用所述视觉效果信息来修改每一幅替换图像的视觉外观；以及在所述内容中插入所述一幅或多幅替换图像以便替换所述一项或多项可替换道具。本发明的另一个实施例提供一种用于播放节目内容的系统。所述系统包括用于提供所述内容以及参考文件的装置，所述参考文件包括与所述内容中的一项或多项可替换道具相关联的所述位置和视觉效果信息；用于获得一幅或多幅替换图像的装置；用于利用所述视觉效果信息来修改每一幅替换图像的视觉外观的装置；以及用于在所述内容中插入所述一幅或多幅替换图像以便替换所述一项或多项可替换道具的装置。本发明的另一个实施例提供一种计算机程序产品，所述计算机程序产品包括用于具体实现计算机程序以供输入到计算机的介质以及具体实现在所述介质中以用于使得所述计算机执行以下步骤的计算机程序访问参考文件，所述参考文件包括节目内容以及与所述内容中的一项或多项可替换道具相关联的位置和视 觉效果信息；获得一幅或多幅替换图像；利用所述视觉效果信息来修改每一幅替换图像的视觉外观；以及在所述内容中插入所述一幅或多幅替换图像以便替换所述一项或多项可替换道具。本发明的另一个实施例提供一种用于修改节目内容的方法。所述方法包括以下步骤识别出在所述内容中可以插入可动态替换的资产的位置；在所述内容中的一个或多个所识别出的位置处建立可动态替换的资产；确定每一项所建立的可动态替换的资产的位置信息；确定与每一项所建立的可动态替换的资产相关联的视觉效果信息；以及产生参考文件，所述参考文件包括与每一项所建立的可动态替换的资产相关联的所述位置和视觉效果信息。本发明的另一个实施例提供一种用于修改节目内容的系统。所述系统包括用于识别出在所述内容中可以插入可动态替换的资产的位置的装置；用于在所述内容中的一个或多个所识别出的位置处建立可动态替换的资产的装置；用于确定每一项所建立的可动态替换的资产的位置信息的装置；用于确定与每一项所建立的可动态替换的资产相关联的视觉效果信息的装置；以及用于产生参考文件的装置，所述参考文件包括与每一项所建立的可动态替换的资产相关联的所述位置和视觉效果信息。通过参考下面对本发明的详细描述和附图将获得对本发明的特征和优点的更好理解，所述附图阐述了其中利用了本发明的原理的说明性实施例。附图简述
通过在下面结合附图给出的对本发明的更加详细的描述，本发明的上述和其他方面、特征和优点将变得更加显而易见


图1A、1B、1C和ID是示出根据本发明的实施例的可动态替换的舞台道具/资产的例子的不意 图2A和2B是示出根据本发明的实施例的用于产生具有可动态替换的舞台道具/资产的内容的方法的流程 图3A、3B、3C、3D、3E和3F是示出根据本发明的实施例的可动态替换的舞台道具/资产的示例示意 图4是示出根据本发明一个实施例的用于产生具有可动态替换的舞台道具/资产的内容的方法的流程 图5是示出根据本发明一个实施例的用于重放具有可动态替换的舞台道具/资产的内容的一种方法的流程 图6是示出根据本发明一个实施例的图5中所示的方法的一部分的示例实施方式的系统图；以及
图7是示出根据本发明的实施例的可以被用来运行、实施和/或执行在此所示出及描述的方法的计算机系统的方框图。在所述附图的几个视图中，相应的附图标记一直表示相应的组件。详细描述
当观众如上面所描述的那样避免传统的电视商业广告时，广告商的消息不会被所述观众所接收到，这是不利的。由于这种缺点，所以本发明的实施例涉及在所述电视节目或其他内容本身中使用广告。 本发明的实施例涉及替换/替代所述内容本身中的产品放置广告。也就是说，所述内容包括一项或多项资产，所述资产是可以在所述视频中插入不同产品的图像的位置。例如，可以用一个不同品牌的麦片盒来替换出现在特定电视节目的某一集中的麦片盒。通常来说，由于这是一种形式的广告，因此销售所插入的麦片的公司将为该资产付费。这样，每当播出所述节目的该集时，就可以把所述资产卖给相同的或不同的广告商。正如下面将要描述的，可以在早前节目中识别出所述资产。也就是说，许多较早的电视节目和电影包括可能过时的、不再存在的、由不再存在的公司等所提供的产品和其他舞台道具。许多这种较早的节目通过一次又一次的重新放映而被重播。本发明的实施例提供用于识别出这些早前节目中的固定舞台道具并且将其转换成可动态替换的道具的方法，其中所述可动态替换的道具变为有价值的资产。这样，每当重新放映所述节目时，就可以把当前产品或服务的图像插入到所述资产中，这可以被用来生成广告收入。在本发明的其他实施例中，在开发新的节目内容时从一开始就考虑到所述广告资产。这样允许在开发所述内容时提供对所述资产的适当的策略性定位和定尺寸。例如，在电影制作期间，电影公司可以与广告专家紧密合作以开发所述资产。在本发明的其他实施例中，在先前不存在固定道具的地方把新的数字道具/资产插入到所述早前节目中。也就是说添加新的道具，比如空白墙上的图片，其中所述图片包含某种类广告、商标等等。这种实施例有助于解决对于所述早前内容进行产品/舞台道具替换的机会可能有限的问题。因此，例如在可以把一个麦片盒添加到所述场景中时，就没有必要替换某一麦片盒。一旦把所述内容修改或者开发成包括所述可动态替换的广告资产，就可以通过网络来改变各种不同的产品和服务的图像。识别早前内容中的资产
早前内容包括在过去制作的内容，可能是多年以前制作的内容。对于早前内容来说，所述过程的第一部分是遍历所述内容并且识别出可以被替换的资产。例如，这种资产可以包括但不限于麦片盒、汽水罐和汽水瓶、比萨饼盒、其他产品的盒子、箱子、容器、服务等等。所述资产可以包括其中可以把不同品牌的不同纹理、位像、视频流、jpeg图像覆盖到现有对象上的任何事物。参考图1A、1B、1C和1D，示出如何能够在早前内容中识别出固定舞台道具并且然后用可动态替换的资产来替换所述固定舞台道具的一个例子。具体来说，在图1A中，某一早前节目中的场景100可以包括站立在桌子104旁边的角色102。在所述桌子104上可以有固定的舞台道具，比如特定品牌的麦片盒，所述特定品牌比如是所示出的“1960s BESTCereal” 106。由于所述“1960s BEST Cereal” 106可能已过时并且无法再获得，因此期望用当前可以获得的产品来替换它。这样做将增加该舞台道具的广告价值，从而使其成为有价值的资产。在图1B中，在场景100中用一个可动态替换的舞台道具/资产108替换了所述“1960s BEST Cereal ”106。所述可动态替换的舞台道具/资产108包括被插入到所述节目内容中的数据，其允许把不同产品或服务的不同图像插入到所述场景中以便替换先前的舞台道具。观众将看到所述不同产品或服务的新图像。例如，在图1C中把名为“NEW Century Cereal” 110的新的更为现代的麦片品牌插入到所述场景100中的所述资产108中，以便替换所述“1960s BEST Cereal ”106。所述节目可以被放映一段时间，同时“NEW Century Cereal”的供应商为该广告机会付费。其后可能有不同的广告商想要付费以使其产品被显示在所述资产108中。例如，在图1D中把名 为“Crispy Good Crackers”112的一种完全不同的产品插入到所述场景100中的所述资产108中。“Crispy Good Crackers”的供应商可以付费以便在所述节目被重新放映的特定时间段内显示其产品，比如仅仅一集或者可能是一整季或更长时间。参考图2A，示出根据本发明一个实施例的产生可动态替换的舞台道具/资产的方法200。所述方法200开始于步骤202，在该步骤中，识别出所述内容中的舞台道具。所识别出的舞台道具是那些可以(或者将有利于)用可动态替换的资产来替换的舞台道具。具体来说，根据本发明的一些实施例，可以通过遍历所述内容(即在逐帧的基础上)来人工执行识别所述舞台道具/资产的过程。对于所述资产的人工识别，按照逐帧或者类似的方式遍历所述内容并且识别出所述资产。所述内容中的几乎任何事物都可以被用作资产。例如，可以把出现在所述场景中的比萨饼盒或者其他产品的盒子或容器识别为舞台道具。在步骤204中，随着时间确定并且记录所述内容中的每一项舞台道具/资产的参考坐标或其他位置信息。也就是说，确定将被替换的每一项所识别出的舞台道具的位置信息。例如，在识别出某一项资产之后，可以把所述内容倒回到所述资产的第一实例。随后放大所述资产并且人工识别出该资产的参考坐标。例如，可以点击所述资产(比如一个盒子)的其中一角。可以点击任何一角，比如左上角或右下角。随后可以识别出一个覆盖区域以供在该特定巾贞的远景(perspective)中进行道具替换。由于摄影机通常是在不断移动的，因此通常将需要人工遍历每一帧并且插入定义所述盒子关于所述摄影机的位置的坐标。不必在逐帧的基础上人工识别所述舞台道具/资产。也就是说，可以在每隔一帧、每几帧、或者间隔任何数目的帧进行所述人工识别。例如，可以在一帧中识别出所述盒子的各角，并且随后可以跳过许多帧，一直到所述盒子的位置改变为止。可以跳过所述帧是因为所述盒子的参考坐标与前一帧将相同。在人工识别过程之后可以应用自动平滑功能，以便确保所述插入区域被适当且一致地结合、没有抖动并且具有适当的宽高比。这种平滑功能可以确保本发明透明地操作，以便为终端用户实现目标心理视觉体验。可以应用其他功能(包括那些导致抖动、选通、光晕等等的功能)以便为所述替换道具带来对比度或注意。除了跟踪对于在各帧上的每一项舞台道具/资产所识别出的参考坐标之外，还可以识别或标记与每一项资产相关联的想法、主题、概念等等。可以在基于时间的参考文件中记录场景信息，比如光源、漫射体、反射器等及其类型、位置、颜色、强度等等。还可以识别或标记每一项资产的其他特性。该数据与所述坐标一起被保存。所有或一些所述数据可以被用来开发这样一种功能，所述功能随着所述内容正在放映的时间提供所述资产在所述视频中的位置的适当参考坐标，从而可以校准所述替换图像，以便平滑所述替换内容到所述媒体中的插入。确定早前内容中的后效果
在识别出所述舞台道具/资产之后，然后确定所述资产的后效果。具体来说，在步骤206中，随着时间确定并且记录所述内容中的每一项舞台道具/资产的后效果或其他视觉效果信息。也就是说，确定与每一项所识别出的舞台道具相关联的视觉效果信息。这种后效果或视觉效果信息可以包括渲染函数、变量和设置。根据场景信息来应用后效果，从而使得所述图像按照规定的方式在心理视觉上与所述场景环境相符。也就是说，把所述原始资产的所述后效果确定成使得所述数据可以被用来在大多数情况下使得所述替换图像与所述场景相配、调合并且看起来自然。所述后效果不仅可以包括着色、阴影化、聚焦、锐化、模糊示像等等，而且还可以包括被应用于所述原始资产以便匹配光学质量的任何其他或所有视觉质量。这种视觉质量例如可以包括发光、反射率和/或阴影化质量。渲染设置通常被设置成实现反映真实的原始场景的环境的视觉质量。重要的是应当理解，必须对图像应用所述后效果以便使其模糊或者使其与所替换的资产的原始质量相配。可以使用一个仿形步骤，其中例如观看背景中的汽水瓶，以便确定所述模糊水平或模糊阈值的大小。可以使用一个后过滤器来尝试匹配新的纹理，以便给出所述原始对象的光学质量。所述光学质量将常常在逐帧的基础上改变。对此进行检查的一种方式是检查第一帧中的所述资产的光学质量，并且随后检查后面的某一帧中的所述资产的光学质量，以便证实其具有相同的模糊水平或相同的光学过滤器水平。可以检查不同的帧，直到所述资产不在所述摄影机的视野中为止。一个目标是开发这样一种功能，该功能随着所述内容正在放映的时间指示必须把哪些后效果或其他视觉效果信息应用于被动态提供到所述内容中的新纹理，以便在播放所述内容时替换先前固定的舞台道具。可以随着所述内容正在放映的时间确定这种后效果或其他视觉效果信息。自动识别早前内容中的资产和后效果
根据本发明的其他实施例，可以使得识别早前内容中的资产和/或资产的后效果的过程至少部分地自动化。例如，可以使用为这些任务所设计的软件工具。也就是说，处理早前视频、电视节目、电影或其他内容的所述过程的一部分可以是一个工具阶段，其中使用软件工具来处理所述内容。参考图2B，示出根据本发明一个实施例的可以由所述工具执行的方法220。在步骤222中，用户点击所述内容中的舞台道具。也就是说，这种工具允许用户点击所述早前内容中的所述资产(比如麦片盒)。所述工具放大所述盒子并且识别出该盒子的参考坐标或其他位置信息。在步骤224中，所述工具随着所述节目内容的播放而自动跟踪并且保存所述舞台道具的位置信息。所述工具还可以被配置成确定与所述盒子相关联的视觉效果信息。在步骤226中，所述工具随着所述舞台道具在所述内容的播放期间的移动而自动跟踪并且保存与所述舞台道具对应的该信息。此外，在本发明的一些实施例中，所述软件工具还对所述盒子进行仿形。也就是说，在点击了所述盒子之后，所述工具制作该盒子的外形，随后用户可以决定阴影化、模糊
坐坐寸寸ο
所述工具可以被配置成接受关于所述盒子的输入信息以作为所述仿形过程的一部分。因此，在步骤228中，所述工具接受来自用户的关于所述舞台道具的输入信息。也就是说，用户可以为所述工具提供该用户所具有的关于所述早前内容中的所述盒子的所有信息。例如，用户可以为所述工具提供所述盒子的类型，即被包装在该盒子中的特定早前产品。所述工具将查找该特定盒子的图像，并且将查看表示该影片环境中的阴影化的像素设置。所述工具随后将能够确定与其所知道的处于该位置和取向中的特定位像相关联的一般照明原理。所述工具随后将使用所有上述信息来自动分析所述舞台道具图像并且生成外形，正如步骤230所指示的那样。所生成的外形可以基于所述盒子的摄影机视野而指示应当在何处对所渲染的资产进行阴影化以及应当把所述光源放置在何处。所述外形还可以包括用于渲染所插入的对象的信息，或者可以在所述不断改变的摄影机环境的过程中预测光源。所述外形还可以表明所述光的分级通常按照特定模式落在所述盒子上。用户可以检查所述外形中的所有信息并且做出调节。所生成的外形帮助用户对于某一早前节目进行校准过程，以便帮助找到并且确定用于动态放置具有广告内容的早前资产的所有机会。识别新内容中的资产
如上所述，在本发明的其他实施例中，在开发新的节目内容时从一开始就考虑到所述可动态替换的电影舞台道具和广告资产。这样允许在开发所述内容时提供对所述资产的适当的策略性定位和定尺寸。例如，在电影制作期间，电影公司可以与广告专家紧密合作以开发所述资产。对于新的节目内容，所述资产的舞台道具的位置、场景信息以及诸如后效果之类的视觉效果信息将是已知的，或者可以在拍摄期间被捕获。在影片制作期间，可以基于场景信息以及在所述场景中对所述道具的操纵来使用一组道具来使得对所述道具位置的跟踪自动化并且定义所述资产的外形。在本发明中可以使用被动或主动道具或其组合。优选地(但不是一定)利用某一形状因数来确定道具的形状，以便近似其所代表的道具类别(即麦片盒、汽水罐、饼干盒、瓶子、墙上的图片等等)。被动道具可以将其自身与所述场景环境相区别，以便使得本发明能够贯穿场景自动跟踪所述道具，并且在进行跟踪时允许所述系统记录在所述道具上所反映的场景信息。被动道具可以由绿屏材料、逆反射材料或其合适组合制成。可以利用视觉标记、索引视觉标记或者类似标记对道具进行编码，从而可以在所述场景中参考及跟踪所述道具。例如，可以在利用本发明分析视频帧的过程中按照自动化方式跟踪每一项所述道具的中心的坐标X、Y、Z或者所述道具的周界外形，并且将其与每一项所述道具的定义相匹配。进一步的处理可以把所述道具跟踪记录与所述道具的外形相配，以便符合宽高比、平滑等等。可以基于所述已知的场景信息定义所述资产的视觉效果和后效果，其中包括基于时间的摄影机和道具定位信息。在给出了所述场景信息以及确定了任何时刻下的所述舞台道具位置和所述摄影机、灯光等等的位置的情况下，本发明具有适当的输入以计算所插入的舞台道具的适当的后效果设置。被动舞台道具可以降低或消除对于逐帧遍历所述影片以便识别出所述资产标签的位置的人工校准过程的需求。例如，在所述场景中呈现出一个被动舞台道具汽水瓶(即利用逆反射标记制成)。随着所述汽水瓶在某一角色的手附近移动，通过在本领域内已知的机器视觉跟踪方法自动确定该汽水瓶的基于时间的位置信息并且进行记录。所述位置信息可以包括取向、上下倾斜、左右偏斜以及滚转量度或者合适的信息，以便产生对应于所述汽水道具/资产的适当的替换区域。稍后可以把新的道具和/或替换纹理渲染到其中存在所述 汽水瓶的帧中，从而有效地把所述汽水瓶从Coke 改变为Pepsi 或者改变为某一个在所述场景被制作出之后进入市场的新品牌。除了被动道具之外，主动道具可以包含允许所述道具智能地感测其操作环境的电子电路和系统。这种传感器可以实现全局或局部定位能力以及记录所述道具在某一场景期间暴露于其中的环境的其他传感器。这种传感器可以包括但不限于(多个)光电检测器、(多个)光电检测器阵列、(多个)CCD传感器、CCD传感器阵列、加速度计等等。主动道具可以与场景信息一起记录或传送在所述场景中跟踪所述道具的基于时间的遥测数据，针对所述道具的场景信息包括反射、阴影化、照明等等。可以按照多种方式跟踪主动道具，其中包括所述主动道具的位置、取向、上下倾斜、左右偏斜、滚转等等。还可以针对形状的变形来跟踪道具。可以跟踪道具以便理解其如何被操纵及变形，从而使得替换对象遵循相同的变形。例如，可以跟踪麦片盒或牙膏道具以便确定其形状如何在所述场景中被演员变形，该演员可以通过挤压、打开、关闭、使用所述道具等方式来操纵该道具。主动道具可以记录或传送反射到所述道具上的各对象的基于时间的反射。反射数据和其他传感器数据被用来在所述视频帧的时间索引下配置所述道具的后效果设置。在混合所述道具上的新纹理时，利用所述后效果设置来渲染所述新纹理，从而使得所述新纹理可以出现在具有来自所述场景的实际反射的所述道具对象上。因此，对于新的节目内容，可以与所述内容一起开发所述广告资产，并且可能不需要上面描述的人工过程。产生参考文件
在识别出所述资产并且确定了所述后效果之后产生图像或参考文件。具体来说，在示例步骤208 (图2A)中产生参考文件，所述参考文件包括所述原始节目内容以及关于所识别出的可替换舞台道具/资产的所述位置和后效果数据。所述参考文件优选地是基于时间的，因此视频帧可以参考根据该帧的舞台道具位置和后效果设置。所述参考文件不需要捆绑所述原始节目内容。终端用户例如已经可以在DVD、HD、存储卡上获得所述原始内容。在这些情况下，用户可以下载或流送包含所述基于时间的舞台道具位置和后效果数据但是不包含原始内容的参考文件。本发明还可以操作在这样一种模式下其中提供所述用户参考文件，该文件本身包含所述基于时间的舞台道具位置和后效果数据以及所述替换广告纹理，但是不包含原始内容。本发明还可以操作在这样一种模式下其中提供所述用户参考文件，该文件本身包含所述基于时间的舞台道具位置和后效果数据以及所述替换广告纹理和所述原始内容。如上所述，所述图像或参考文件优选地包括基于时间的信息，其允许播放器识别出在某一场景中何时存在替换舞台道具、其外形、位置和渲染设置。对于每一项资产的印象进行估价
根据本发明的另一个实施例，提供一种对于每一项广告资产的印象进行估价的方法。具体来说，在步骤210中，为所述内容中的每一项可动态替换的舞台道具/资产确定并指定一个价值。也就是说，为每一项资产(例如一个绿屏麦片盒)提供一种用于对所述印象的质 量进行资格认证或估价以及用于跟踪所述印象的质量的机制。通过确定每一项资产的价值将帮助影响将由潜在的广告商付出的价格。每一项资产的价值可以取决于许多不同的因素。这种因素可以包括但不限于相对于屏幕尺寸的道具尺寸、所述道具可见的时间量、被应用于所述道具的清晰或模糊效果的
数量等等。关于被应用于所述道具的清晰或模糊效果的数量，汽水瓶例如可能位于节目的后方，并且可能有些模糊。由于所述摄影机的焦距，所述汽水瓶可能没有被聚焦，而所述节目的主要角色被聚焦。因此，在所述汽水瓶上的聚焦数量是一个因素。由于所述汽水瓶有些模糊，因此与所述汽水瓶恰好位于所述摄影机前方并且被聚焦的情况相比，其所给出的印象公式对该广告资产的估价将略低。所述清晰或模糊效果的数量取决于是否需要在所述后效果后处理中调和或模糊所述图像，以便将其与所述素材的剩余部分相调和。在上面描述的人工过程中标识出了这一点。在所述自动化绿屏道具处理的情况下，可以基于所述摄影机的焦距、镜头类型、到所述道具的距离等等自动计算所述清晰或模糊效果的数量。能够被用来对某一项资产进行估价的另一个因素可以是主要角色是否接触该资产或者是否以某种方式把注意力吸引到该资产上。所述资产的位置和取向也可以是一个因素。例如，汽水瓶可能被放置成一定角度，这样可能会使得该资产贬值，这是因为该资产恰好由于艺术设计而不处在其适当的取向中。在产生所述内容时的这种设计选择可能对曝光并且从而对所述价值有影响。所述资产的价值是制作者的真实性和艺术自由与为所述道具增加价值并且进行改变的能力的平衡。基于所有所述不同的因素，潜在的广告商可以最终针对在所述资产上做广告进行竞价，正如下面将讨论的那样。向早前内容添加新的资产
根据本发明的其他实施例，在先前不存在固定道具的地方把新的数字道具/资产插入到早前节目中。也就是说，在视频、web、节目内容中的空白、开放或便利的位置处建立可动态替换的舞台道具/资产。这些实施例帮助解决对早前内容进行产品/舞台道具替换的机会可能有限的问题。
参考图3A、3B、3C、3D、3E和3F，示出如何能够根据本发明的所述实施例在节目内容中建立可动态替换的道具/资产的例子。所述节目内容可以包括早前节目。具体来说，在图3A中示出某一节目中的场景300，其可以包括站立在桌子304旁边的角色302。与上面描述的情况不同，其中在所述桌子304上没有固定的舞台道具。在图3B中，可以把表示饮料罐的可动态替换的舞台道具/资产306插入到所述场景300中并且将其定位成静止在所述桌子304上。先前在所述桌子304上没有显示任何事物，因此通过插入所述资产306对该节目中的先前空白的空间做了有价值的利用。现在可以把所述可动态替换的舞台道具/资产306卖给想要把其产品插入到所述节目中的广告商。例如，在图3C中，已经把名为“RED Soda” 308的某种品牌的汽水插入到所述场景300中的所述资产306中。可以在一段时间内放映所述节目，同时“RED Soda”的供应商为该广告机会付费。其后一个不同的广告商可能想要付费以便在所述资产306中显示其产品。例如，在图3D中，已经把名为“BLUE Pop” 310的一种不同的产品插入到了所述场景300中的所述资产306中。“BLUE Pop”的供应商可以付费以便在重新放映所述节目的 特定时间段内显示其产品，比如仅仅一集或者可能一整季或者更长时间。图3E示出已经把表示图片或海报的可动态替换的舞台道具/资产314插入到所述场景300中并且将其放置在所述桌子304上。先前在墙上没有示出任何事物，因此通过插入所述资产314对所述先前空白的空间做了有价值的利用。还可以把该可动态替换的舞台道具/资产314卖给想要把其消息插入到所述节目中的广告商。例如，在图3F中，关于名为“Action Sports Apparel” 316的服饰品牌的消息已经被插入到所述场景300中的所述资产314中。这样可以添加新的道具/资产，比如空白墙上的图片，其中所述图片包含某种类广告、商标等等。因此，在本发明的上述实施例中，在开放或便利的位置处把新的可动态替换的舞台道具/资产添加到所述节目中。例如，如果在所述早前节目中的原始场景中没有麦片盒，则可以把一个麦片盒添加到所述场景中。参考图4，示出根据本发明一个实施例的把新的可动态替换的舞台道具/资产添加到节目内容中的方法400。在步骤402中，在所述内容中识别出可以或者期望在其中插入可动态替换的资产的开放、空白或便利的位置。在步骤404中，在一个或多个所识别出的位置处建立可动态替换的资产。在这里插入新资产的情况下也可以应用保存所添加的资产的位置和视觉效果信息的上述步骤。因此，在步骤406中，对于每一个时刻确定并且记录所述内容中的每一项新资产的位置信息(比如参考坐标)。类似地，还可以使用所述记录视觉效果信息以及调和后效果的过程。因此，在步骤408中，对于每一个时刻确定并且记录所述内容中的每一项资产的视觉效果信息。关于调和后效果和视觉效果信息，由于在所述节目中没有原始固定道具，因此这种调和将是使得与所述场景的剩余部分看起来最相配。在步骤410中，与上面描述的类似，产生包括所述原始节目内容以及可动态替换的舞台道具/资产的参考文件。在步骤412中，为所述内容中的每一项可动态替换的舞台道具/资产确定并指定一个价值。替换图像的重放、插入以及连网
参考图5，示出根据本发明一个实施例的重放具有可动态替换的舞台道具/资产的节目内容的一种示例方法500。当比如通过下载电视节目或者播放电影来最终重放所述参考文件时，必须决定将把哪些替换图像插入到所述可动态替换的舞台道具/资产中。许多方案把各广告对象分配到所述各替换道具。广告可以具有权重，系统可以把广告分配到适当的风格或特定的标题以便容许由广告商等等所寻求的所请求的数目的印象。基于所有所述不同的因素，潜在的广告商可以最终针对在所述资产中做广告进行竞价。因此，在所述方法500的步骤502中，广告商针对所述资产出价。这种出价可以是基于所述资产的所确定的价值。有许多不同的方式可以进行这种出价，比如通过拍卖等等，其中为所述出价方给出所述节目内容和可用的资产类型。例如，如果其中一项所述资产是麦片盒，则想要做麦片广告的公司就将针对该特定节目和资产出价。 一旦决定将把哪些替换图像插入到所述可动态替换的舞台道具/资产中，在该例中随后就可以利用所述参考文件来广播所述内容，正如示例步骤504所示出的那样。如上所述，在本例中，所述图像或参考文件包括所述节目内容以及这样一种功能，该功能对于每一个时刻提供每一项可动态替换的舞台道具/资产的所述位置和视觉效果信息。在播放所述节目时，所述参考文件提供每一项资产的位置的参考坐标以及必须被应用于新纹理的后效果，其中所述新纹理是利用本领域中已知的通信方法从存储装置动态检索的。在所述示例方法的步骤506中，所述参考文件通过网络获得所述资产的替换图像、对象或纹理。更具体来说，在重放所述媒体时，所述参考文件将与网络服务器进行通信，并且接受对应于每一个ID的新图像、对象或纹理。这种ID标识所述可动态替换的舞台道具/资产。在步骤508中，对于所述内容中的每一项资产令所述替换纹理经历适当的后效果。在令所述新纹理经历所述适当的后效果之后将其合并到所述内容中。这由步骤510示出，其中在国家、本地、分组或个体的基础上把所述替换纹理数字地插入到所述内容中的所述资产中。也就是说，通过下载所述替换道具的图像并且把所述道具数字地插入到所述内容中来产生完成的媒体。所述网络服务器可以包括广告服务器。从所述广告服务器动态地提供所述替换道具的图像。可以出于该目的而修改被用于在娱乐系统中的视频游戏中做广告的现有广告服务器。也就是说，这种现有的广告服务器把广告动态地提供到视频游戏中的告示牌中。该基础设施可以被配置成把所述替换道具动态地提供到在所述内容中识别出的所述资产中。步骤510负责在国家、本地、分组或个体的基础上把所述替换纹理数字地插入到所述内容中。图6示出可以如何根据本发明一个实施例做到这一点的一个例子。也就是说，网络600把所述节目内容提供给多个有线电视公司，比如有线电视公司602。所述替换道具插入可以由所述网络600在国家或全球范围内反复地进行，从而使得相同的或混合的捆绑替换道具出现在所有本地广播中。可选择地，对于在国家或全球范围内被广播的节目来说，可以在不同的本地区域内把不同的替换道具和商业广告纹理插入到所述内容中。例如，可以由本地有线电视公司或者本地企业联合组织来进行所述替换道具插入。所述本地有线电视公司602可以插入在国家范围内被插入的相同道具，或者可以插入具有本地标志的道具。
在另一个实施例中，可以根据观众类型或分组把不同的替换道具和商业广告纹理插入到所述内容中。例如，可以仅仅对于所述终端观众604插入一个或多个纹理。在其他实施例中，可以仅仅对于特定的单独用户把不同的替换道具和商业广告纹理插入到所述内容中。对于所述终端观众606示出这种情况的一个例子，其中所述广告插入是由所述观众的有线电视盒、娱乐系统等等所执行的。可以把所述节目内容下载到所述观众的有线电视盒或娱乐系统中，随后执行所述广告插入。对于其中替换道具取决于观众类型的情况可以使用仿形。这种仿形可以利用每一个观众的用户简档。例如，对于是曲棍球迷的观众来说，他们可以在所述节目内容中看到曲棍球道具。因此，所述道具以及所述道具的风格取决于用户的简档。因此，网络可以按照许多不同方式把广告流入媒体中。可以在许多不同类型的计算机、图形工作站、视频游戏系统、DVD播放器、DVR、媒体播放器、家庭服务器、视频游戏控制台、蜂窝电话、便携式设备、无线设备等等上利用、实施 和/或运行在此所描述的方法和技术。参考图7，示出可以被用来实施和/或运行在此所描述的方法和技术的这样一种系统700。所述系统700包括中央处理单元(CPU) 702、图形处理单元(GPU) 704、数字微分分析(DDA)硬件706、随机存取存储器(RAM) 708、比如盘驱动器之类的大容量存储单元(710)、以及显示监视器712。所述CPU 702和/或GPU 704可以被用来执行在此所描述的方法和技术的各步骤，并且可以在所述显示监视器712上渲染各种节目内容和图像。可选地可以与所述大容量存储单元710 —起使用可移动存储介质714，其可以被用于存储实施在此所描述的方法和技术的代码。然而，任何所述存储设备(比如所述RAM 708或大容量存储单元710)都可以被用于存储这种代码。所述系统700的全部或一部分可以被具体实现在设备716中，所述设备716比如是计算机或视频游戏控制台或系统。可以与其他图形任务一起同时地运行仿真和/或处理。在多处理核心上，可以在单独的处理器上执行仿真。虽然借助于特定的实施例、实例及其应用描述了在此所公开的本发明，但是在不偏离在权利要求书中所阐述的本发明的范围的情况下可以由本领域技术人员对其做出许多修改和改变。例如，可以通过网络或者通过某种其他装置(其中包括DVD、存储卡等等)接收所述替换图像。广告纹理和替换图像可以包括模型、图像或(多种)组合。节目内容和参考文件可以被流送。所述原始节目内容可以包括原始节目内容和/或该原始节目内容的经过修改的已编码版本。本发明还可以被用来在传统的商业广告本身中插入或替换舞台道具。本发明可以被用于多种目的，其中包括新的沉浸式视频游戏和娱乐模型、消息、控制、自动收报机、新闻、沉浸式地放置各帧并且对于基于时间的特定于场景的放置进行优化等等。本发明可以被用来在被置于传统的分发渠道(其中包括广播、web、网络电视、游戏等等)中的商业横幅广告中插入或替换道具。应当很好地理解的是，“内容”可以包括但不限于电视节目、节目、影片、电影、视频、web站点、商业广告、纪录片、视频游戏等等。本发明可以被配置成上传反馈记录，以便跟踪媒体使用以及用户受到所述广告的影响。可以把广告模型、纹理缓冲在具有间歇网络接入的设备上的存储装置中。广告可以被放置在轮转时间表上。所述参考文件可以是一个或多个文件并且可以包含其他元素和对象，位置数据和后效果数据可以被分离到物理上不同的文件中，或者可以在不同的信道上通过网络流送，但是其仍然被称作“参考文件”。本发明可以被用在便携式设备、蜂窝电话等
因此，在一些实施例中，利用可动态替换的资产来替换早前节目内容中的舞台道具(比如消费品)。这种资产可以被用于广告目的，因为可以把不同产品和服务的图像插入其中并且可以通过网络做出改变。可以通过以下操作产生所述资产在所述内容中识别出用于替换的道具；确定每一项所识别出的道具的位置和视觉效果信息；以及产生参考文件，所述参考文件包括所述内容以及与每一项所识别出的道具相关联的所述位置和视觉效果信息。可以为每一项资产确定一个价值，或者广告商可以对所述资产出价，以便对于所述内容产生附加的广告收入渠道。可以通过广播所述内容以及表示用于把所述资产插入到所述内容中的参数的参考信息来重放所述内容。可以通过网络获得诸如产品图像之类的替换图像。可以利用视觉效果信息修改每一幅替换图像的视觉外观，从而使得所插入的对象看起来自然，好像它们是原始场景的一部分。
在一些实施例中，可动态替换的资产被插入到节目内容中，并且可以被用于在其中插入电影舞台道具。这种资产可以被用于广告目的，因为可以把不同产品和服务的图像插入其中并且可以通过网络做出改变。可以通过以下操作产生所述资产在所述内容中识别出可以插入所述资产的位置；在所识别出的位置处建立所述资产；确定每一项资产的位置和视觉效果信息；以及产生参考文件，所述参考文件包括与每一项资产相关联的位置和视觉效果信息。可以为每一项资产确定一个价值，或者广告商可以对所述资产出价，以便对于所述内容产生附加的广告收入渠道。可以通过广播所述内容以及表示用于把所述资产插入到所述内容中的参数的参考信息来重放所述内容。可以通过网络获得诸如产品图像之类的替换图像。可以利用视觉效果信息修改每一幅替换图像的视觉外观，从而使得所插入的对象看起来自然，好像它们是原始场景的一部分。
权利要求
1.一种方法，包括建立要拍摄的场景，以包括在内容中；在舞台道具中放置所述场景，其中所述舞台道具包括至少一个电荷耦合器件传感器 (CCD)；拍摄所述场景；和使用所述舞台道具中的至少一个CCD，在拍摄所述场景期间从所述舞台道具的远景捕获场景信息；其中该场景信息包括与所述舞台道具的照明、反射到所述舞台道具上的该场景中的对象的反射、和所述舞台道具的阴影化中的至少一个有关的信息。
2.根据权利要求1的方法，其中该场景信息包括与所述舞台道具的照明、反射到所述舞台道具上的该场景中的对象的反射、和所述舞台道具的阴影化中的至少两个有关的信肩、O
3.根据权利要求1的方法，其中该场景信息包括与所述舞台道具的照明、反射到所述舞台道具上的该场景中的对象的反射、和所述舞台道具的阴影化中的全部三个有关的信肩、O
4.根据权利要求1-3中的任意一个的方法，其中与所述舞台道具的照明有关的信息包括与光源的位置、光源的类型、光源的强度和光源的颜色中的至少一个有关的信息。
5.根据权利要求1-4中的任意一个的方法,其中所述捕获场景信息包括捕获基于时间的场景信息。
6.根据权利要求1-5中的任意一个的方法,进一步包括所述舞台道具发送所述场景信息。
7.根据权利要求1-6中的任意一个的方法,进一步包括在拍摄所述场景期间跟踪所述舞台道具；和基于对所述舞台道具的跟踪来确定所述舞台道具的位置信息。
8.根据权利要求1-6中的任意一个的方法，进一步包括在拍摄所述场景期间跟踪所述舞台道具；和基于对所述舞台道具的跟踪来确定所述舞台道具的定位信息。
9.根据权利要求8的方法，其中该定位信息包括取向、上下倾斜、左右偏斜以及滚转量度中的至少一个。
10.根据权利要求7-8中的任意一个的方法，其中所述跟踪包括机器视觉跟踪。
11.根据权利要求ι- ο中的任意一个的方法，进一步包括基于所捕获的场景信息来确定与所述舞台道具相关联的视觉效果信息。
12.根据权利要求1-10中的任意一个的方法，进一步包括基于所捕获的场景信息来确定与所述舞台道具相关联的视觉效果信息；和在所述场景的拍摄完成之后，将替换图像插入到所述舞台道具的所拍摄的图像上的内容中，以改变所述舞台道具的外观。
13.根据权利要求12的方法，进一步包括使用所述视觉效果信息来修改所述替换图像的视觉外观。
14.根据权利要求13的方法，其中使用所述视觉效果信息来修改所述替换图像的视觉外观包括用所述视觉效果信息来渲染所述替换图像。
15.根据权利要求12-14中的任意一个的方法，其中所述视觉效果信息被配置为当用所述视觉效果信息来渲染所述替换图像时使所述替换图像包括所捕获的场景信息的表示。
16.一种方法，包括步骤在拍摄内容期间跟踪舞台上的主动道具，该主动道具包括至少一个电荷耦合器件传感器(CCD)，该至少一个电荷耦合器件传感器(CCD)记录来自所述主动道具的远景的场景信识别所述内容中的位置，在该位置处能够插入动态可替换资产；在所述内容中的一个或多个所识别的位置中建立动态可替换资产；和基于在拍摄所述内容期间对舞台上的所述主动道具的跟踪来确定至少一个动态可替换资产的位置信息；以及使用所述场景信息来配置视觉效果设置；其中所述场景信息包括与所述主动道具的照明、反射到所述主动道具上的场景中的对象的反射、和由其它对象透射在所述主动道具上的阴影中的至少一个有关的信息；以及其中所述视觉效果设置被配置为当用所述视觉效果设置渲染至少一个动态可替换资产的新的纹理时，使该新的纹理包括投射到所述主动道具上的场景信息的表示。
17.根据权利要求16的方法，其中与所述主动道具的照明有关的信息包括与光源的位置、光源的类型、光源的强度和光源的颜色中的至少一个有关的信息。
18.根据权利要求16的方法，其中记录所述场景信息包括记录基于时间的场景信息。
19.根据权利要求16的方法，进一步包括所述主动道具发射所述场景信息。
20.根据权利要求16的方法，进一步包括将所述新的纹理插入到一个或多个动态可替换资产，以改变一个或多个动态可替换资产的外观。
21.根据权利要求16的方法，进一步包括通过用所述视觉效果设置渲染所述新的纹理来修改所述新的纹理的视觉外观。
22.一种用于修改节目内容的系统，包括用于识别内容中的位置的装置，在该位置处能够插入动态可替换资产；用于在所述内容中的一个或多个所识别的位置中建立动态可替换资产的装置；和用于确定每个所建立的动态可替换资产的位置信息的装置，其中在拍摄所述内容期间通过跟踪舞台上的主动道具来捕获所述位置信息，并且其中所述主动道具记录反射数据， 该反射数据指明反射到所述道具上的对象的基于时间的反射；用于使用所述反射数据来配置与每个所建立的动态可替换资产相关联的视觉效果信息的装置；和用于创建参考文件的装置，该参考文件包括与每个所建立的动态可替换资产相关联的位置和视觉效果信息；其中所述视觉效果信息被配置为当用所述视觉效果信息渲染相关联的可替换资产的新的纹理时，使该新的纹理包括来自场景的实际反射的表示；其中该主动道具包括至少一个电荷耦合器件传感器(CCD)，该至少一个电荷耦合器件传感器(CCD)记录所述反射数据，并且其中该主动道具被配置为连同其它基于时间的场景信息来发送反射数据，所述其它基于时间的场景信息包括与所述主动道具的照明和所述主动道具的阴影化有关的信息。
23.根据权利要求22的系统，其中与所述主动道具的照明的信息包括与光源的位置、 光源的类型、光源的强度和光源的颜色中的至少一个有关的信息。
24.根据权利要求22的系统，进一步包括用于将所述新的纹理插入到相关联的动态可替换资产中以改变相关联的动态可替换资产的外观的装置。
25.根据权利要求22的系统，进一步包括用于通过用所述视觉效果信息渲染所述新的纹理来修改所述新的纹理的视觉外观的>j-U ρ α装直。
全文摘要
一种方法，包括建立要拍摄的场景，以包括在内容中；在舞台道具中放置所述场景，其中所述舞台道具包括至少一个电荷耦合器件传感器(CCD)；拍摄所述场景；和使用所述舞台道具中的至少一个CCD，在拍摄所述场景期间从所述舞台道具的远景捕获场景信息；其中该场景信息包括与所述舞台道具的照明、反射到所述舞台道具上的该场景中的对象的反射、和所述舞台道具的阴影化中的至少一个有关的信息。
文档编号H04N7/24GK103024293SQ20121055769
公开日2013年4月3日 申请日期2007年3月5日 优先权日2006年3月7日
发明者G.扎列夫斯基, R.R.拉塞尔 申请人:美国索尼电脑娱乐公司