实时视频包含系统的制作方法

专利名称：实时视频包含系统的制作方法
技术领域：
本申请涉及制作和使用视频图像和静止图像的技术，并且更具体地涉及一种使第 一用户能够准备图像的方法和装置，其中所述图像允许第二用户与所述图像更容易地交互。
背景技术：
传统被动媒体产业如电视、音乐产业、电影制片厂和TV商业广告正流失给交互式 新媒体如视频游戏产业和因特网。虽然诸如数字录像机(DVR)等装置允许客户对内容进行 时间移位，但是它们是被动的并且不能使客户创建他们自己的新内容。同时，已经有使客户能够变成内容创建者的不断增多的工具。数字静止相机和摄 像机允许随时捕获图像。可以用存在于个人计算机上的强大软件随时操控所捕获的图像。 可以组合和打印、在电视屏幕上显示、向DVD上烧录以及甚至用电子邮件向朋友和家人发 送图像。同时，强大的数字音乐创建工具允许客户创建新音乐以与他们的数字图像组合。现 在任何人都可以是内容创建者。甚至蜂窝电话也捕获优质静止图像以及视频。该创建的内 容正设法上传到越来越流行的因特网站点。因此，任何客户都可以是“明星”，但是这并未减 弱公众对与媒体名人交互和/或从他们自己的媒体创建中受益的愿望。一种这样做的方式 可能是通过实现允许客户与名人“交互”的创造性内容。本发明将个人媒体创建的趋势与 这一对名人的爱慕结合。同时，本发明提供一种媒介，使得更多传统内容创建者和广告商可 以利用和受益于专业的和个人的媒体创建。本发明提供一种使内容创建者能够借助于模板系统和虚拟集合/图像键系统来 提供源图像给客户和想要与该源图像交互的任何人的交流媒介。两个或者更多个单独的视 频/图像流可以在家里或者某人有权访问“内容”视频的任何地方实时地合成在一起。可 以用包括通过因特网、DVD、⑶和其它数字媒体的多种方式来散播“内容”视频。该系统允 许使用“内容”视频中的元数据，该元数据描述摄影机在进行拍摄时做过什么以及与应当如 何使用模板系统来将前景视频/图像与该拍摄组合有关的信息。所得合成品产生用户/对 象似乎在与“内容”现场交互这一令人信服的错觉。例如，假设可在因特网上得到摇滚音乐 会的视频。用户使用连接到摄像机的计算机(该计算机包括各种计算装置(包括个人计 算机和游戏控制台))捕获他或者她自己的图像。使用实时软件来组合用户-客户的图像 与“内容”视频以产生用户看来存在于摇滚音乐会视频中的最终视频图像。这产生专业人 士或者业余爱好者制作的数字视频内容(“内容(或者背景)创建者”)和客户的数字视频内容(“客户(或者前景)创建者”)的可记录的、实时的视频嵌入视频式的交互。类似 地，出于广告目的，可以快速调节图像；在电影或者视频游戏中的广告牌可能在美国放映可 乐广告而在欧洲放映耐克广告；十几岁的女孩可能接收与十几岁的男孩不同的广告主题； 等等。这同样适用于颇有才智的胜出的业余爱好者，这些业余爱好者在他们公布于因特网 的、客户生成的视频上获得数百万的点击。使用本发明，他们可以出售他们自己的视频内的 广告空间。耐克广告可与原始内容无缝地集成。
该实时过程实现广告商和客户与实况广播、如实况一样的广播、本地存储的视频 文件、计算机游戏和视频会议进行视频嵌入视频式的/图像嵌入图像式的交互。允许客户 或者广告商与广泛的娱乐节目(广播、长片、商业广告、音乐视频、电视剧、“网络剧”、在线游 戏和客户生成的媒体)或者诸如舞蹈课程、音乐课程、歌唱课程、表演课程、医学训练等教 育节目交互。尽管下述实施方式主要为客户应用，但是本发明也可以用作教育工具、科学工 具以及广告和产品布局工具。

发明内容
对于允许客户以某一方式与偶像或者明星交互的应用的需要由来已久。一种可允 许客户与商业广告内容反复交互并且能够与任何人分享成果的应用可解决至今尚未完全 满足的需要。同样地，广告商目前没有好的方式向客户和专业生成的视频内容迅速添加广 告。这会潜在地改变将在未来创建和散播许多媒体内容的方式，从而为广告商和商业广告 等以及音乐、游戏和电影产业生产商创造针对在新媒体散播模型中创建的内容而控制收入 流的机会。当客户为他们自己的音乐视频寻求完美的背景或者在实际留在家中时创建他们 自己的“看游世界”项目时，对于股份照片和视频伙伴存在机会。除了客户之外，本发明也 通过实现参与音乐课程、舞蹈课程和体育(聊举少数应用)来为教育团体所用。在医学上， 本发明实现将符号-语言随时插入到任何视频中以及发挥精神病治疗的作用。在监狱环境 中，本发明实现与位置远离的人员进行交流，从而使他们看起来像在现场，以有助于重新投 入社会中。作为产品布局和广告工具，本发明可以证实广告商和内容创建者同样有利可图。 本发明还允许终端用户上传他/她本人的图像并且将它应用于计算机游戏角色并且因此 如他们本人参与游戏一样以供他人看到。这使定制化身达到新高度而无需改写游戏软件。本发明利用了由“内容创建者”预备的“商业广告”视频流和与内容创建者视频随 时组合的由客户产生的视频流(“客户”视频)。本发明的方法可制作可以实时记录(内容 创建者允许)的合成视频并且将客户才智(合成了什么人或什么事)包括在所得视频中， 所得视频使内容创建者的内容在多个版本中是唯一的一一每个客户视频(内容创建者视频 加上客户视频)创建新的个性化版本。可以将这些唯一的新视频上传到例如因特网和移动 装置以供他人看到。通过计算机或者等效设备如游戏引擎或机顶盒可访问的客户创建者软件应用提 供实时交互。软件应用可以是相对简单的二维(2d)系统，其中在2d空间中所述合成相对 固定，或者优选地，软件具有3d能力，使得合成的图像随着内容创建者的相机的移动而在 3d空间中移动，因此给予令人信服得多的错觉。客户创建者软件应用能够实时合成例如来自摄像头的本地视频流或图像文件或者例如来自因特网的外部馈入与外部视频馈入或者本地存储的视频文件。视频文件借助于 软件应用来组合，该软件应用能够实时处理两层或者更多层视频和/或图像、2d和3d标的 以及相机数据流并且借助于叠加或者图像键控来合成本地视频流/图像。


图1是示出本发明系统的概况的路径图；图2是示出本发明方法中的步骤的流程图；图3是图示提供元数据时的步骤的系列流程图；图4是示出如何相对于模板对图像进行定位的图；图5是对使用高度信息的说明；图6是用于广告目的的本发明的路径图；图7是示出用于广告目的的方法的流程图(类似于图2)；图8是说明使用纵横比和图像格式的图；以及图9是说明将高度信息与格式/纵横比信息一起使用的附加图。
具体实施例方式提供以下描述以使本领域技术人员能够实现和使用本发明并且阐述发明人设想 的实现其发明的最佳实施方式。然而，本领域技术人员仍然容易想到各种修改，因为本文中 具体地定义了本发明的总体原理以提供一种用于提供可以将客户视频内容容易地插入到 其中的视频内容的系统以及用于实现这样的插入的工具。图1和图6示出整个方法的概况。图1示出所述系统的、其中客户内容与内容创建 者视频组合的版本。图6示出将广告内容插入到内容创建者视频中。如已经说明的那样， 内容创建者创建视频内容，客户创建者(“前景”创建者)将他的或者她的视频/图像内容 插入到该视频内容中以创建组合视频，在该组合视频中客户创建者/对象看上去是原内容 创建者视频的一部分。图1划分成内容创建者侧(A)和客户创建者侧(B)以阐明在该方法 的每部分中发生了什么。首先，内容创建者使用图像创建设备20以捕获基本视频图像。该 附图示出相机作为图像创建设备20，但是可以使用任何视频创建系统，包括计算机或者传 统(手绘)动画和普通静止图像以及具有生成的运动和摇动效果(例如，Ken Burns效果) 的静止图像。该图像创建设备创建背景图像22，客户创建者可以最终向该背景图像22中插 入用第二图像捕获设备32(如在捕获设备20的情况下一样，可以使用任何视频创建系统) 制作的图像。背景图像视频22然后由运行内容创建者软件26的计算设备(比如个人计算 机或者游戏控制台)处理。软件26可以存在于本地计算机上或者可以从服务器访问软件 26——在该情况下部分或者所有文件操控可以在远程服务器计算机上进行。该软件26允 许内容创建者处理背景视频22以包括直接元数据24(相机角度、位置等)或者从背景视 频22中获得这样的元数据。内容创建者软件26还允许内容创建者将模板28嵌入到视频 内容中。模板28指出在何处以及如何向内容创建者视频22中插入客户创建者的视频图像 (图6中的126)。背景(内容)软件26和前景(客户)软件38都理解模板28，并且模板 28在背景视频22中表现为轮廓、阴影或3d标的。控制允许内容创建者从一个场景到另一 场景到处移动模板28并且决定它将如何、何时以及在何处出现以获得每个场景/镜头中客户(前景)创建者视频图像的最逼真和最佳的创建位置。可以采用各种尺寸的模板(全身、 上半身特写、矩形、方形、圆形、3d标的等)，以允许内容创建者选择最适合于视频的模板视 图。该示例使用模板以布置“前景”图像，但是该模板还可以根据内容创建者的愿望来控制 一个或多个“背景”图像的布局。对于广告(图6)，模板28常常会被成形以插入产品图像 或消息。例如，如果背景视频22示 出舞台上的表演摇滚乐队，则尺寸与表演者相同的全身 模板会是适当的。这然后被定位在舞台上，紧邻其他表演者。如果视频22然后剪切成表演 者的特写视图，则该模板被移动和缩放到适当位置中并且表现为用于该片断的上身特写。 客户创建者软件38基于由内容创建者提供的元数据24信息来适当地更改插入的模板28， 以创建相机移动和向实际上由单个(通常是固定的)图像捕获设备32产生的前景图像34 的切换的错觉。客户创建者然后可以查看更改的模板并且如果必要则“微调”它的位置。定 位不仅包括何处而且包括何时模板出现在图像流中。最终内容创建者数据文件30包含原 背景视频22、一个或多个嵌入的模板以及适当的元数据。这然后通过DVD或者因特网或者 任何其它适当的散播方法散播给客户创建者。客户创建者还具有接口到个人计算机或适当的计算设备的图像创建设备32，例如 摄像机。客户创建者/最终用户可以在运行客户前景创建者/最终用户软件38 (同样，可 以从远程服务器获得该软件，并且一些或者所有操控可以发生在远程计算机上)的个人计 算机/计算设备上播放最终内容创建者数据文件(视频)30。该软件允许客户(前景)创 建者查看背景图像22以及看见模板28在该视频内的位置。在最终内容创建者数据文件30 将模板用于产品布局或广告的实例(见下文)中，可以不让最终用户与这些视频文件交互。 在设置数据文件30用于交互且有对数据文件30中所编码的可能模板的选择时，客户创建 者能够选择最适合于他的或者她的空间和相机设置的模板。客户(前景)创建者软件38 能够接受由图像创建设备32捕获的前景图像/视频34并使用叠加或者键控来组合它与最 终视频30以将前景图像插入或合成到由模板创建的“占位符”位置。键控是叠加或组合两个或更多图像或视频流中涉及的公知过程。在制图学中，重 叠或“叠加”是在已经存在的图像或者视频上布置图像或者视频以通常加强整体图像效果， 而有时还为了隐藏某些内容(比如将屏幕的左侧用于背景图像而将右侧用于前景图像，也 称之为分屏)。通过键控过程，一个视频图像的一部分与它的背景隔离，因而它可以与另一 图像合成或者组合到另一图像中。最常用的键是色度键。色度键是一种用于混合两个图像 的技术，其中去除(或者透明化)来自一个图像的一种颜色(或者小的颜色范围)，从而展 现另一图像。该技术也称为色键控、色分离覆盖(CSO)、绿屏和蓝屏。该技术常用于天气预 报广播，其中节目主持人看上去是站立在大的气象图前面而实际上是站立在蓝色背景或绿 色背景前面。视频合成的结果类似于在移动画面中使用的较早的“蓝屏”过程，其中以蓝屏为背 景为演员照相并且随后将演员的图像插入到另一场景中。该照相过程异常地复杂，其中涉 及到产生“照相掩模”以允许在照相胶卷上多次冲洗。键控-合成系统由于视频图像的光栅性质而实际上比照相系统简单得多。对于合 成图像的每个扫描线，只要键控信号处于一个状态(例如表明来自前景图像的扫描在示出 键控色)，电子开关就从背景图像取得视频数据。当前景扫描停止示出键控色时，键控信号改变状态并且此时电子开关从前景图像取得视频数据。这样，将图像逐个扫描线地编制在 一起而无需照相掩模或其它类似的复杂因素。错觉就是下层(背景)图像在特定选择区域 中“未覆盖”。色度键控的一个例子是将每个像素分解成它的红色通道、绿色通道和蓝色通 道，然后这些值会被转换成色调、饱和度和值色空间。使用最小和最大色调，则可以确定该 像素是否为透明的。还有多种产生键控信号 的其它方式。这些包括“照度键控”，其中键控 信号基于前景图像的亮度和暗度特性，例如每个像素会被转换成黑色和白色，并且所得值 将被用于进一步计算以确定透明度。最终结果将保持原像素的颜色。如果用户指定了白色 背景，则值大于特定极限的任何像素都会为透明的。如果用户指定了黑色背景，则值低于特 定极限的任何像素都会为透明的。在“差值键控”的情况下，先在对象不存在时、然后在对 象存在时分析前景图像。在两种分析中存在的标的确定为背景。差值键控过程要求相机在 整个键控过程中不会从它的原位置移动，因为用户会在开始前取得“净板”。净板是恰好无 必须保持不透明的任何要素的背景的镜头。该净板保存在存储器中。对于每个帧，计算设 备会从图像创建设备抓取新图像并且从净板图像中的相应色通道中减去该图像的每个像 素的色通道。如果减法的绝对值之和小于指定范围，则使该像素为透明的。简而言之，如果 像素的颜色与它在净板中的颜色大致相同，则使该像素为透明的。客户(“前景”)创建者软件38对前景图像34执行键控功能、然后将键控的图像 插入到占位符模板的位置中。回顾创建者元数据24允许模板出现并根据模板和相机角度、 位置等来移动和变换模板。客户创建者软件38变换叠加的或者键控的图像，使得它的位置 和纵横比根据原相机及其角度而移动。为了增强这一处理，客户创建者软件38可能需要客 户创建者元数据36。该元数据可以包含与客户创建者用来捕获前景图像34的相机、透镜和 相机位置有关的广泛信息，比如相机的高度和视野的细节。在最优地缩放图像时有利的是 让软件38 了解前景图像34与在最终视频30中插入的模板的尺寸之间的尺寸或者高度关 系。例如，在上文提到的摇滚乐队视频中，表演者的平均身高可能是6英尺，因而将插入的 模板定位成代表6英尺的人。客户创建者软件38会缩放客户前景(键控的)图像34以适 应嵌入的模板。如果在前景图像34中的人约6英尺高，则这恰好起作用。然而，如果该人 仅5英尺高，则将过度放大插入的图像并且结果将不逼真。通过输入前景图像34的高度信 息，避免了该误差并产生逼真结果。因此，这是要在客户创建者元数据36中包括的一条重 要fn息。客户创建者软件38实时进行键控和合成，使得客户前景创建者或者最终用户能 够查看计算设备监视器(最终输出40)上的基于附加元数据24来与背景图像22实际地交 互并被组合在最终内容创建者数据文件30中的对象(常常为他本人或者她本人、产品布局 或者广告)。客户创建者不仅可以响应于视频图像来完善“移动”，而且客户创建者还可以 (内容创建者允许)调整元数据36以给予最逼真的响应。客户创建者软件38也充当录像机，使得可以保存表演以供上传到在线服务、发电 子邮件或者甚至烧录到DVD或其它记录介质上(同样为内容创建者允许)。在最终内容创 建者数据文件30包括声音20时，系统也有可能在最终产品中包括用户的声音。在摇滚表演 的情况下，最终内容创建者数据文件30可以包括缺乏特定声音轨道或乐器轨道的表演。客 户创建者然后歌唱或者演奏乐器，并且客户创建者软件38混合这一音频与来自最终内容 创建者数据文件30的音频。在歌唱的情况下，客户创建者软件38可以显示适当歌词(最终数据文件30中的部分元数据)并且以与卡拉OK设备相同的方式指导用户的输入歌唱。本发明的一个重要部分在于内容创建者如何处理用户的图像将与其合成的视频 数据。内容创建者可以包括或者可以不包括与在背景图像22中移动的一个或多个标的的 位置和角度有关的元数据和信息(以及 关于标的何时出现在视频流中的定时信息)。另外， 内容创建者可以包括或者可以不包括与用来拍摄内容的相机和透镜的角度有关的元数据 和信息。当内容创建者包括相机信息或者类似元数据时，这极其便于以最佳角度在内容创 建者的视频馈入内布置客户创建者的视频馈入。然后会补偿原相机移动，并且客户创建者 的视频馈入然后会与内容创建者的相机移动同步移动。本领域技术人员能够清楚背景图像 可以是客户创建者的捕获图像，而可键控的前景图像则由内容创建者提供。这允许个人创 建名人拜访并且出现在个人的起居室中的错觉。在组合视频流时，内容创建者一般对客户 创建者供应的图像是背景图像还是前景图像进行控制。可以通过利用可用硬件和软件跟踪系统实时计算和跟踪相机移动在现场捕获相 机元数据信息，或者可以通过使用跟踪相机位置并及时计算每个点处的正确角度的计算机 软件在产生后创建该数据。内容创建者软件26中可以包括这样的软件。以客户创建者软 件38可用/共享的格式在内容创建者的视频30内包括所有元数据。在最佳情况下，在最终用户接收的元数据中包含有四类信息1)背景(或者前景)图像/视频一内容创建者指定将在合成过程中使用的图像或 者视频。在元数据中包括实际图像或者对它的引用。2)推荐的模板一内容创建者选择客户创建者将他的/她的材料(前景或者背景) 适配到其中的模板。模板代表不同类型的相机镜头，比如紧凑镜头、中景镜头或者宽镜头。 模板还可以代表人或者其它类型的对象，例如2d或者3d标的、图片、照片、广告、插图或者 3维计算机模型。元数据中会包括实际模板或者引用。3)对象的高度一这表明对象对于推荐的模板而言有多高。给出的高度不是所示对 象部分的高度。而是整个对象从地面接触点到对象顶部的高度。这些数据允许客户创建者 软件38自动缩放前景图像34，以维持前景34与背景图像30之间的恰当高度关系。客户创 建者前景图像34的缩放是从地面接触点或者从对象的顶部进行。还可以包括与模板28的 图像格式和纵横比有关的信息，以维持由模板28替换或者插入到模板28中的前景图像34 的正确比例。4)模板的位置、方向和定时一内容创建者以客户创建者的对象看似它适配到背景 图像22中的方式对所选模板进行定位，以产生与内容创建者的创建视觉相称的逼真最终 输出40。可以指定模板的位置和方向的方式至少有三种。如果相机和/或标的元数据可用， 则可以针对各图像帧中的模板位置指定3d坐标。还可以包括旋转数据和缩放信息。相机元 数据包括但不限于相机X、Y和Z坐标、相机的摇摄、倾斜和滚动角度、以及相机的视野。标 的元数据包括但不限于标的的X、Y和Z平移和旋转坐标以及Χ、Υ和Z缩放坐标。如果背景 图像为移动图像，则相机数据可以/是针对每个帧来给出。如果背景图像具有移动标的，则 标的数据可以/是针对所跟踪的标的的每个帧来给出。如果相机数据或标的数据不可用， 则针对每个帧，内容创建者可以将模板多边形的四个角的2d坐标插入到元数据中。这些坐 标可以通过像素或平面跟踪过程或者通过人工输入来获得并且允许客户创建者软件38将 前景多边形变换成恰当角度。如果相机在拍摄期间未移动(或者如果它对于内容创建者而言无关紧要)，则可以人工输入并且在元数据中仅一次包括模板多边形的比例以及2d位置 和3d位置。关于模板何时出现和/或消失的定时也由内容创建者控制。
图2取用图1的整体工作流程并且将其以过程流程图的形式显示。在左侧的图 (A)是内容创建者遵循的过程。在第一步骤42 “创建背景图像”中，内容创建者创建背景 图像(视频)。当该图像被完善和发布时，它会变成待由客户创建者(最终用户)选择用 于交互的背景。在第二步骤44 “选择适当模板”中，内容创建者选择适当的模板(例如全 图、中景、中近景或特写)，该模板最好地代表该模板的帧内的对象。此外，与图像的格式对 应的模板可用(如图8和图9中说明的4 3、16 9或者其它适当的视频/图像比例)。 在第三步骤46 “元数据”中，内容创建者提供和/或选择对背景图像的标的和在背景图像 的整个持续时间内的一个或多个相机位置、定时和/或一个或多个视野进行描述的元数据 (到它可用的程度)。这可以通过使用多种可用技术来实现，这些技术比如是实时相机和标 的跟踪、来自计算机图形软件的相机/动画数据、软件相机/标的跟踪或目测(见图3)。能 够理解通过提供元数据通常可以提高最终结果的质量。在第四步骤48“输入高度信息”中， 内容创建者可以提供与对象的高度有关的可选信息，从而允许软件基于输入的高度来自动 调节前景图像的位置和比例。在第五步骤50 “布局、缩放、打开-关闭和同步模板”中，内 容创建者在适当位置为每个相机镜头布置和缩放模板，以最好地适配内容创建者的创建视 觉、比如适配到背景图像的正确角度以及如何和何时打开和关闭。如果需要，则内容创建者 同步相机数据与前景图像的相机移动，以使加入了前景图像的背景图像与背景图像同步播 放。显然，如果相机位置不变，则实质上无需同步。然而，如果相机到处移动，则需要同步，使 得插入的模板跟踪相机移动。如果使前景图像跟踪背景图像中的标的，则也需要同步。在 最终的第六步骤52 “发布”中，当内容创建者对视频满意时，发布它以使背景图像和元数据 可用于最终用户和前景图像创建者。如上文提到的那样，发布可以涉及到借助于任何媒体 类型如因特网、⑶和DVD的散播。右手侧的图2(B)示出客户创建者遵循的整个过程。在第一步骤54“选择待与之交 互的背景图像”中，客户创建者从他的/她的计算设备上的可用内容中选择待与之交互的背 景视频/图像。该选择受制于客户创建者的兴趣和客户创建者准备进行什么类型的活动。 在第二步骤56 “适配到模板”中，客户创建者调节相机/前景图像，使得前景视频/图像中 的用户图像能够恰当地适配到所选模板中。回顾最终内容视频30包含内容创建者为了保 证对象在模板的画面内的理想取景而建议的模板，例如全身。然而，在例如由于最终用户在 家中的空间有限而不可能将对象适配到推荐的模板中的情况下，最终用户可以选择与他们 的图像创建设备可以实际上捕获的内容更好地适配的模板。在第三步骤58“可选地提供高 度信息”中，客户创建者可以输入对象的高度，由此允许软件38正确地缩放和自动地适配场 景中的对象，从而维持由内容创建者设置的正确高度关系。例如，如果内容创建者使模板基 于六英尺高的人而对象仅五英尺高，则软件将自动调节模板的尺寸和位置，以维持地面接 触点和高度关系。如已经说明的那样，高度信息在相机移动期间用来维持逼真的尺寸关系。 然而，如果内容创建者推荐了特定模板，如进行拍摄的中近取景，则即使输入也可以不使用 高度信息，因为如果重新缩放更矮的对象，则对象的一部分可能出现在屏幕的边界以外。在第四步骤60 “可选键控”中，客户创建者(AKA最终用户)有权选择通过让前景 视频完全不透明来将它叠加在内容视频30上或者通过使用多种可用技术(比如去除对象后面和周围的背景色并用背景图像替换它的色度键控)来键控前景视频。显然，在几乎每 个实例中都会使用键控，因为它产生前景图像实际上为内容视频30的一部分的更逼真的 错觉，然而，如果模板用作广告，则叠加不透明图像在许多情况下会是最正确的且不可能被 最终用户改变。如果设置叠加不透明图像这一过程以进行直接相机剪接(例如电影中的 独白，其中在客户创建者的全屏图像与电影角色的全屏图像之间有纵切)，则该过程也很好 地起作用。在第五步骤62 “可选着色”中，最终用户有权选择对前景图像进行颜色校正以 更接近地匹配背景图像的颜色。例如，可能有如下实例，其中以黑白模式拍摄背景，则最终 用户可以使前景视频也为黑白的，或者其中背景在日出或日落时拍摄并且具有很暖的色平 衡，则在该情况下，前景图像的颜色必须变得更暖以匹配背景。 在第六步骤64 “前景图像的可选定位/缩放”中，最终用户有权选择在背景中移 动、缩放和裁剪前景图像；即将自身移动到更显眼的视图中。这可以脱离或者可以不脱离内 容创建者的创建视觉并且可能为最终用户加入创建视觉。在第七步骤66 “设置视频/音 频延迟计时器”中，客户创建者/最终用户能够可选地延迟背景图像的视频和音频的开始。 这可以用来给自己十秒的时间以准备好与内容视频30交互，并且还保证前景动作一旦记 录就与背景动作同步。在第八步骤68 “个性化”中，最终用户有权选择在屏幕上显示姓名 或者其它内容作为重叠图形。这类似于向视频添加可见数字“水印”以标识来源，比如个人 的姓名等。在第九步骤70 “交互/记录过程”中，一旦最终用户全部设置前景/背景图像 交互并且对之满意就存储和散播所得视频40。在多数情况下，背景内容创建者视频30 “留 存”在最终用户的计算设备上，从而允许最终用户如希望的那样多次复述和交互。然而，在 背景视频30为实况流广播时，最终用户仅可以在广播的持续时间内交互。在任何时间，最 终用户都可以选择记录交互结果，以能够回放它们。在第十步骤72“可选地单独记录、编辑 和合成音频流和视频流”中，客户用户可以选择单独地记录背景图像22和前景图像34及 其相应的视频文件和音频文件。这给予最终用户改善合成的质量的更多灵活性和控制，尤 其是在音频文件和视频文件的同步、颜色匹配和键控方面。在第十一步骤74“完成/发布” 中，最终用户记录交互并创建可用于回放的视频文件。最终用户然后可以上传结果以为他 人所见，这包括但不限于向因特网和移动电话散播。用户还可以选择记录到其它介质，比如 DVD。本发明系统还可以用于其它目的，比如广告。基本步骤与已经讨论的步骤相同；图 6是适应于广告的图1的修订版本。在步骤28中示出模板形状为几何形状以更有效地容 纳产品形状和产品消息。当然，在涉及到发言人时，如图1中那样的“人形”模板会是适合 的。其它步骤如关于图1所述的那样操作，不同在于在这一情况下，广告商创建者创建前景 视频并将它提供给最终用户用于合成视频流。图7示出用于涉及广告的过程(图2)。当内容创建者的意图在于向最终用户发布 仅用于查看目的时，例如当模板代表产品布局或者广告时，针对可以“购买”模板广告空间 的广告商的喜好使内容创建者发布的具有元数据的文件可用46。在这一情况下，广告商创 建者创建前景图像55并将其发布给最终用户(客户)74。然后该前景图像被包括在元数 据中，从而替换来自内容创建者的模板“占位符”。模板仅为让他人将他们的内容添加到其 中的参考和向导/ “占位符”。在广告商的情况下，最终用户的查看体验可能基于客户的人 口统计、年龄、性别和其它相关可用信息而不同或者基于内容创建者的背景视频/图像中的内容而不同。这允许“在飞行中”创建“定制”广告以准确地匹配人口统计一例如借助 于网页。该方法还可以用于在主要媒体发行中的灵活产品布局。例如，Warner Bros在发 行“Batman-The Dark Knight”，并且在Gotham市中的广告牌之一上(在电影内)可以在美 国有可乐广告而在欧洲有耐克广告；十几岁的女孩可以看见与十几岁的男孩不同的广告内 容；等等。这同样适用于那些颇有才智的业余爱好者，这些业余爱好者获得在他们的客户生 成的视频上的数百万的点击。使用本发明，他们可以出售他们的个人视频和/或照片内的 广告空间，因此客户生成的关于他们的家犬的视频可以吸引狗食广告商。重要的是，无论从 何处访问内容创建者文件，本发明都允许提取广告。例如，如果内容创建者通过Youtube上 传具有元数据的内容，则在文件由某人嵌入他们的Facebook站点上时，具有元数据的视频 内容也在Facebook上可用；因此无论文件去往何处，广告都跟随文件。例如，步骤可以包括1.为广告商创建在线服务器数据库，包括有东西待出售或者有评论的任何人的广 告商 必须在其上注册并被批准；也欢迎慈善团体注册。作为该过程的一部分，广告商完成包 括以下内容的涉及既定目标受众的问卷A.位置(美国、欧洲、我的城市等)；B.人口统计(年龄、性别等)；C.客户在线历史(搜索历史、习惯等)；D.关键字标签(狗、舞蹈、音乐、80年代等)；E.其他因素及其组合。随后，广告商创建每个模板至少一个广告。最终用户的软件会自动选择和提取/ 拉取适当地符合内容创建者和广告商创建者的标准的广告。接着上传包括模板外观和目标受众的具有元数据的广告。然后为广告商创建价格 包。例如，每1，000次点击和/或印象定价100美元；每10，000次点击和/或印象定价900 美元；每100，000次点击和/或印象定价8，000美元以及每1，000，000次点击和/或印象 定价70，000美元。于是广告商能够跟踪点击并且如果希望则仅选择一个内容创建者。2.为内容创建者(和/或对诸如Youtube、Facebook、MySpace等公司的OEM产 品)创建在线服务器。内容创建者必须注册并被批准。内容创建者然后接收他们自己的内 容通道和货币账户，比如Pay Pal账户。内容创建者还必须完成问卷。他们表明是否允许 /不允许目标广告商和慈善团体。其中，广告商和慈善团体被划分成多个类别慈善团体A.儿童权利；B.动物权利；C.反毒品和酒精；D.反吸烟；E.保护雨林；F.其他类别。广告商A.汽车；B. EI 汽车；
C.药物；D.儿童；E.食品/饮料；6.健康；7.政治；8.其他类别。接着上传包括具有元数据(目标广告商、相机/标的数据、模板比例等)的图像/ 视频的内容。为内容创建者创建价格包。例如，收入等于每1，000次点击和印象定价35美 元的50%。该模型基于收入共享。内容创建者能够跟踪它们的点击并仅选择单个广告商。如上文说明的那样，可以用多种不同的方式获得可以对更逼真的最终结果起作用 的内容创建者元数据24。图3概括了获得元数据24的四种最常见方式中的步骤。在图3A 中使用实时相机跟踪方法。第一步骤76包括提供相机跟踪硬件以在拍摄期间从相机产生 相机数据。相机可以装配有所有移动轴上的机械编码器或从所有移动轴得到数据的光学编 码器。所有移动轴包括透镜的视野/焦距信息、X、Y和Z位置数据以及Χ、Υ和Z旋转数据。 有可以读取和记录来自相机及其有关装备的相机数据的多种系统可用。在第二步骤78中， 数据由计算机设备转移，该计算机设备实时识别该数据并创建复制虚拟相机。实时跟踪技 术使得有可能从现场相机获得3d信息，以允许将虚拟标的(例如前景图像)相对于场景中 的拍照标的以正确的位置、比例、方向和运动插入到真实镜头中。这些解决方案最常称为虚 拟设置系统并且常用于广告产业中。背景图像可以被实况流发送并且包括单独发送的相机 数据，以创建实时的背景/前景合成交互广播。在第三步骤80中，相机元数据与镜头一起 保存为元数据24并且使得相机元数据可在拍摄之后的任何时间用于交互过程。相同的思想适用于实时标的跟踪，其中通过称为运动捕获系统的系统得到元数 据，在该运动捕获系统中，从实时光学和机械系统、以及图案识别和GPS系统得到包括位置 数据和xyz旋转标的跟踪数据的相机和标的跟踪数据78。存储标的数据并使之可用80。在图3B中使用软件相机跟踪匹配移动方法。在第一步骤82中创建和存储背景图 像。然后在第二步骤84中，使用软件根据背景图像中的信息生成相机数据，该软件能够识 别和计算视频图像中的像素位置并且基于该图案识别方法创建相机数据。这是如今最常用 的相机跟踪方法并且为多数走红电影所用。有提供这一能力(也称为匹配_移动)的多个 公司和解决方案可用。匹配_移动工具使得有可能根据二维照片推断3d信息，以允许将虚 拟标的(例如前景图像)相对于场景中的拍照标的以正确的位置、比例、方向和运动插入到 真实镜头中。同样，最终步骤86存储创建的相机元数据24。关于标的软件跟踪，软件84通 过识别和计算视频图像内的标的像素的位置来根据背景图像82内的移动标的推断2d和/ 或3d信息。然后存储创建的标的数据86。图3C示出计算机图形软件方法。这里，在第一步骤88中，计算机图形软件用来创 建内容创建者视频30。在第二步骤90期间，通过在计算机图形软件中激励标的和/或虚拟 相机生成标的和/或相机数据。将背景图像表现为在视频中或者实时表现为例如计算机游 戏。如果表现为视频，则在第三步骤92中单独地保存出标的和/或相机数据用于在合成 / 交互过程中使用。如果背景图像22为计算机游戏，则最终用户控制相机移动并且软件可以 将对象/前景图像插入内容创建者指定的模板之处。例如，模板可以用来用个人本人的照片或者个人本人的化身替换计算机角色的面部或者用于随机更新的游戏内广告。图3D图示了“目测”方法。如果实时相机跟踪和软件相机跟踪生成的匹配从一开 始就不理想，则常常将目测与这些解决方案组合使用。后生产常常使用目测以用技巧处理 相机数据，并且如果相机在拍摄期间使用变焦摄影则这在软件跟踪中尤其属实。在第一步 骤94中产生背景视频图像。然后在第二步骤96中，目测用来创建或者增强元数据。在该 情况下，目测可以由内容创建者用来将模板匹配到其中无标的或相机数据可用的背景镜头 中。这可以通过在与内容创建者的创建视觉一致时将模板移动和缩放到背景的最正确的可 能角度中来完成。在第三步骤98中，向/为内容创建者元数据24记录得到的元数据。如果无法布置相机和对象，则客户创建者有权选择替代模板，使得该对象适配到 该模板中。这一情况的例子可以是如果内容创建者指定了代表广角镜头的模板(图4A)，但 是客户创建者仅能用可用图像创建设备获得中景镜头(图4B)。在该情况下，客户创建者 可以选择中景镜头模板并将对象适配到该模板中。软件38然后对视频图像进行定位，使得 它在与原模板相同的位置，然而，由于它是更紧凑的镜头，所以仅一部分原模板由前景图像 填充。原模板的其余部分会如图4C所示那样为空。由于具有部分对象，所以“漂浮于空间 中”会破坏客户对象实际上存在于内容创建者视频30中这一错觉，可以裁剪整个视频帧以 去除图4C中所示的灰色外区域。参照图5可以更好地理解对象高度与模板之间的关系。当创建客户创建者可以与 之一起工作 的文件时，内容创建者选择模板，客户创建者会向该模板中适配前景视频34的 对象。例如，当内容创建者选择代表人的模板时，他可以指定该模板代表六英尺高的人。如 果内容创建者指定模板代表的高度，则客户创建者也可以指定他的或者她的对象的高度， 以维持与背景的恰当高度关系。如果对象为五英尺高，则前景模板多边形会不匹配而需要 减小尺寸。假设内容创建者将模板布置于他的项目内，且在软件内部模板的实际高度为四 个图形单位。如果内容创建者指定模板代表六英尺高的人，则每个内部单位等于1. 5英尺。 如果客户创建者输入对象为五英尺高，则前景多边形的高度然后被缩放至3. 333个单位。 因为从地面接触点或者对象的顶部而不是从前景模板多边形的中心缩放该前景模板多边 形，因此正确地维持了高度关系。图5提供与内容创建者和客户创建者(最终用户)如何在他们各自的视频产生中 使用涉及标的的物理尺寸(高度)的信息有关的细节。内容创建者使用的过程在左侧的 图5A中示出并且包括第一步骤104 “对模板进行定位和缩放”，其中内容创建者选择最好 地代表图像帧内的对象的适当模板，例如全图、中景、中近景或特写。然后，内容创建者通过 移动、缩放、同步将模板适配于背景图像内，并且在多数情况下，由此确定表观地面接触点。 在第二步骤106 “表明高度”中，如果地面接触点可见，则内容创建者应当表明对象的高度。 例如，如果内容创建者在对音乐视频进行处理且音乐人为六英尺高，则适合选择模板并且 表明高度为六英尺。这在110处用图表示。如果地面接触点在视频中不可见(例如特写镜 头)，则可以无需输入高度信息以适配对象，而是让软件在最终的合成中在屏幕上进行对象 适配。最终在第三步骤108 “发布”中，内容创建者向软件26传达模板基于六英尺高的对 象这一信息。图5的右侧示出客户创建者进行的活动。在第一步骤116“将对象适配于模板内” 中，客户创建者尝试设置相机以将视频对象(可能为他本人/她本人)适配到推荐的模板中。如果适配是可能的，则该过程继续进行第三步骤120。最终用户可能由于在家中的空 间有限、相机特性或者其它可能性而不能将对象适配到建议的模板中。如果不可能适配模 板，则在第二步骤118 “选择另一模板”，客户创建者检查一系列模板直至找到能适配的模 板。选择对本地图像创建设备32的能力更准确描述的模板一例如中近景相对于全身。当 然，这一步骤118也可以涉及到改变相机位置/角度/透镜，以容纳各种模板直至找到适 配。在第四步骤120，“如果地面接触点可见”，则向软件38中输入对象的高度。 这在112用 图示出，其中对象为五英尺高。项114示出原六英尺模板与前景图像34的五英尺对象之间 的相对关系。在不知道对象的高度时，软件38会把对象缩放至六英尺高并邻近该六英尺的 音乐人，五英尺对象会看上去比例失调。通过让客户创建者输入高度信息，软件会自动对模 板进行缩放、定位和适配，以维持高度关系，即对象看起来邻近该六英尺的音乐人且为五英 尺高。最终在第四步骤122 “发布”中，最终视频40基于从内容创建者和客户创建者输入 的高度来示出在屏幕上正确取景的对象。软件38会在数学上调节前景图像34的比例和位 置，以维持正确的高度关系。图8描述在模板的图像格式和纵横比为内容创建者和在这一情况下的广告商创 建者所知时将模板用来维持前景视频的准确比例。当图像格式可从内容创建者得到并且为 广告商创建者所用时，广告商创建的图像不变形并与内容创建者视觉和广告商创建者视觉 相符。例如，如果内容创建者上传有趣视频并且认为有可能向广告商出售该视频，则软件允 许选择描述图像格式的模板，广告商内容需要具有该图像格式，以准确地呈现于内容创建 者背景图像22内。在图8A中，内容创建者使用的过程包括第一步骤170“对模板进行选择、定位和缩 放”，其中内容创建者选择与他的/她的创建视觉最相符的模板，例如方形、矩形或者圆形。 然后，内容创建者通过移动、缩放、同步将模板适配于背景图像内并且在多数情况下确定如 何、何时和何处出现和消失于屏幕上。在第二步骤172 “表明纵横比”中，内容创建者应当 表明所用模板的图像比例，然而在多数情况下内容创建者数据文件30使得这一信息可用 而无需内容创建者输入这一信息。这是因为内容创建者软件26仅使特定数目的模板可用， 其中每个模板的图像格式为预定的并且因此也已经为广告商创建者所知。在步骤176中用 图代表这一点，其中内容创建者选择纵横比为8X1的模板。最终在步骤174 “发布”中，内 容创建者向广告商传达模板是基于比率8X1这一信息。右侧的图8B示出广告商创建者进行的活动。在第一步骤182“创建前景图像”中， 广告商创建者为每个模板比例创建和准备图像，其中，所述模板比例在内容创建者软件26 中可用并且因此已经为广告商创建者所知。一旦广告商创建者找到(使用多个搜索标准， 比如人口统计)与其产品关联的可用内容，内容创建者软件就能够立即和自动选择纵横比 与该内容创建者所用模板相同的前景图像。在多数情况下，广告商创建者已基于模板尺寸 准备多个版本并且因此立即可用于正确内容。在第二步骤184 “发布”中，广告商创建者发 布他的/她的广告，从而使它可用于出现在内容创建者视频内，以供最终用户40观看。第 三步骤186 “变形”强调图像格式与前景图像相同的模板参考的重要性。也就是说，当模板 和前景图像具有相同的纵横比时，最终用户(受众)会体验未变形且与内容创建者和广告 商创建者的创建视觉相符的前景图像。这在178以及180A、180B和180C中用图表示。在 176中内容创建者选择了比率为8X1的模板。在178中广告商创建者创建了两个前景图像一个具有比率8X 1而另一个具有比率IX 1。在步骤180A中，可以看到前景图像理想地 适配于内容创建者所选的模板内，其中二者具有相同的纵横比8X1。在步骤180B和180C 中，可以看到广告商创建者选择了比率为1X1的图像以与内容创建者所选的比率为8X1 的模板适配。系统可以处理该前景图像的方式有两种。在180B中，使图像伸展和变形以适 配在模板的边界内，即使这不是广告商创建者的意图和创建视觉。在步骤180C中，前景图 像保持它的比例与广告商的视觉相符、但是不同于内容创建者的创建视觉。因此，如关于步 骤186说明的那样，当模板和前景图像具有相同的纵横比时，查看者/最终用户会体验未变 形且与内容创建者和广告商的创建视觉都相符的前景图像。
在图9中最好地描述了将高度与图像格式信息一起使用。假设内容创建者创建了 计算机游戏并且鼓励多个用户作为他们本人参与。于是内容创建者基于从儿童到成年人、 从亚洲人到白种人的普通人来创建二维或三维计算机角色。然后，客户创建者可以选择最 好地描述他本人的角色、输入他的高度并上传他自己的图像。模板角色然后相对于其他玩 家与客户创建者的高度匹配，并且用客户创建者的面部替换用于模板角色的面部的默认图 像。因此，其他玩家能够确实看见该客户创建者的有效代表以及在他们在游戏内与该客户 创建者相遇和看见时能够确实看见该客户创建者的真实模样。图9A描述内容创建者的动作。在第一步骤190“创建、选择、定位和缩放”中，再次 假设内容创建者创建计算机角色。在计算机角色的全图内，内容创建者对用于角色面部的 适配图像进行选择、定位和缩放并且使其成为让他人将他们自己的图像插入到其中的“占 位符”。在第二步骤192 “表明高度”中，内容创建者表明和限定角色的默认高度，如在步骤 198中用图表示的那样。在第三步骤194 “提供纵横比信息”中，内容创建者提供与用于面 部模板的图像比率有关的信息以及如何将一个人的面部适配于该模板内，如在202用图表 示的那样。在第四步骤196 “发布”中，内容创建者发布该信息并使其可用于客户创建者。图9B描述客户创建者的动作。在第一步骤208“输入对象物体的高度”中，客户创 建者使用以上示例输入他或者她自己的高度，如在步骤200中用图表示的那样。在第二步 骤210 “创建前景图像”中，客户创建者匹配“面部”模板的图像比率以及匹配他们的面部在 模板内的位置，如在204用图描述的那样。在客户创建者使用他们自己的三维化身(计算 机生成的面部)的情况下，个人可能需要基于现实测量来给出个人头部的真实尺度，假如 个人的头部为10”高和7”宽，然后该信息必须由内容创建者指定并由客户创建者提交以避 免最终结果中的变形。这里，保证从正确的全景点进行标的的缩放也是重要的；例如对于模 板代表放在桌上的标的的产品布局，个人想要该标的(如可乐瓶)也被置于桌上。在该情 况下，如上所述从地面接触点进行缩放。在第三步骤212 “发布”中，客户创建者发布信息， 并且如在步骤206中用图表示的那样，该用户的计算机角色的关系相对于游戏的其他玩家 对该客户创建者的“现实”角色是真实的。“发布”信息的方式有多种。首先，内容创建者软件26和客户/最终用户软件38 应当使用相同的编程语言(或者兼容语言)来编写并且可供所有人使用。然而，编程语言 可以根据希望的结果而不同。例如，在一种情况下，其中客户/最终用户能够看见和听见他 们本人与别人的视频内容内的他人交互，那么为求最好的结果，对于三维能力，可以使用但 不限于使用C++、图形(OpenGL或者Direct3D)和媒体回放编程语言的组合。对于包含两层 或者更多层视频信息的简单2d版本，可以仅使用但不限于Adobe Flash。这在上文涉及视频中的广告中进行了最好地描述，因为如今多数在线视频使用Adobe Flash用于在线视频 回放。在涉及游戏和计算机生成的角色的例子中，可以但不限于使用已可用的游戏引擎软 件如Quest3D或者使用C++和图形(OpenGL或者Direct3D)或openFrameworks的组合从 头开始构建应用。在最终内容创建者数据文件30中，如上文提到的那样，这一个/多个文 件可以包括但不限于视频和音频、模板信息、位置数据、高度和图像格式信息。有多种视频 格式，如Adobe Flash、AVI、H. 264和Mpeg4以及多种音频格式，如Mp3和Aiff。类似地，到 处推送的其它数据如相机数据和模板数据可以具有不同的文本格式并且以包括html、xml、 flash、ASCII、二进制等的不同编码格式来编写。然而，当然重要的是所有不同的格式都协 调地工作并且相互理解，以产生希望的结果。
仍采用上文的三个例子并将它们分解成如何协调地发布它们，对于每种情况，假 设散播它们以让最终用户在线访问文件。在第一情况下，谈到最终用户/客户创建者能 够借助于少数简单步骤来在内容创建者的视频内容内交互。假设内容创建者发布还具有 相机移动的带音频的视频。内容创建者对于将模板/他们本人布置到全景中、将相机数 据与视频同步的测试满意并且准备好发布。发布的文件引用相机数据以及具有视频和音 频文件的推荐模板。然后假设文件被上传到因特网服务器。客户创建者能够通过查看视 频的缩略图表示来浏览多个视频文件，搜索功能如标签和关键词、查看最多、最新和速度 最好可用。然而，在本情况下，下载的文件不仅为具有音频的视频，而且它还引用与视频 交互所需的信息。客户创建者软件下载视频和音频以及引用的相机数据文件和模板信息 或者使其形成流。用于完成这一点的最可能方式为当客户创建者点击视频的缩略像 时，该缩略像实际上引用并开始下载文本文件，该文本文件包括或引用模板信息、相 机数据、对视频和图像文件位置的引用以及内容创建者为了体验根据他的/她的创建视 觉工作而给出的所有信息。该文本文件将相应文件散播到终端用户软件内有代表性的位 置。例如，可以在 www, this interact ivecompany server, com/videos/thisvideo. video 找 到具有音频文件的视频。这些URL为用于示出可以如何布置信息以供因特网访问的假想 例子。另外，文件可以包括或者引用相机数据。如果在文件中引用，则可以例如在Ml^ this interact ivecompany server, com/cameradata/thiscameradata. text 找到实际数据。 如果包括或者引用相机数据，则相机数据可以但不限于应用于客户创建者软件如下一个 行项等于视频的一帧。每个行项具有相机在每个帧上的移动的信息并且可以由逗号或者分 号分隔，例如“帧编号，位置X，位置Y，位置Z，旋转X，旋转Y，旋转Z，视野(焦距)”。内容 创建者已经同步和发布了相机数据与视频，客户创建者软件因此知道相机数据的什么行项 与视频中的什么帧相配并且应用于客户创建者软件的虚拟相机。另外，由于内容创建者软 件和客户创建者软件已经包括对于二者而言相同的一套模板，所以文本文件仅需包括对内 容创建者推荐什么模板的引用。这可以通过让每个模板具有唯一编号来表达，例如，编号一 (1)等于大特写而编号七(7)等于全宽。此外，文本文件包括与模板如何、何时和何处出现 在模板内有关的信息。例如，如果相机在移动，则每次拍摄仅提供一次关于模板比例和位置 的信息可能就足够了。这可以在文本文件中加以描述，其中每个行项等于每一新镜头，并且 每个行项包括但不限于模板的“帧编号，在这一镜头的持续时间内的帧数目，比例Χ、γ、ζ，位 置X，Y，Ζ，旋转X，Y，Ζ”。此外，软件能够基于可以在文本文件中引用为高度以英尺为单位 等于6’ 3”或者以厘米为单位等于185的由内容创建者和客户创建者给出的高度信息来应用它自己的比例和位置。内容创建者软件和客户创建者软件均可以包括用于将颜色和键控 应用于图像的相同能力并且能够被分别执行。如果必要则这同样适用于例如视频和音频延迟。在涉及广告商的例子中，可以与第一种情况类似地访问视频文件和相机数据文 件。这里，模板还可以在另外有或者无相机移动的情况下跟随标的的位置，例如在运动中 的出租汽车上的海报。类似地，可以例如在www, thisinteractivecompanyserver. com/ obiectdata/thisobiectdata. text找到标的数据文件。如果内容创建者的上传文件中 包括或者引用标的数据，则该标的数据可以但不限于应用于客户创建者软件如下一个行 项等于视频的一帧。每个行项具有标的在每个帧上的移动的信息并且可以由逗号或者分 号分隔，例如“帧编号，位置X，位置Y，位置Z，旋转X，旋转Y，旋转Z”。内容创建者已经同 步和发布了标的数据与视频，客户创建者软件因此知道标的数据的什么行项与视频中的 什么帧相配并且应用于客户创建者模板标的。另外，由于内容创建者软件和最终用户软 件已经包括对于二者而言相同的一套模板，所以文本文件仅需包括简单地通过例如称之 为1X1、8X1、4X3或者16X9来实现的对内容创建者使用什么模板的引用。在这一情 况下，除了可能仅出于测试目的之外可以不必让广告商创建者访问广告商创建者软件38。 其原因仅为一旦内容创建者上传内容创建者数据文件30就可以自动运行每项操作。这 通过内容创建者上传具有对服务器上的特定文件夹中的特定文件的引用的文件来实现。 该“占位符”从特定服务器上的引用文件夹持续地拉取/提取下一可用内容。例如， thisadvertisinRcompanyserver . com/advertisinR/mypreferredadvertisers/imaRefo rmat8X 1/available/nextfile. Ipr0该可以位于广告公司服务器上的文件夹用新的可用 内容持续更新。这可以是来自可口可乐公司的内容，或者它可以是来自慈善团体的内容。如果模板能够但不限于接受JPEG、PNG和Adobe Flash (. flv)格式，则指令为用文 件夹中的第一个、随机的或者结构化的、可用内容替换模板中的“占位符”图像。例如但不 限于如果下一可用文件为.jpg文件，则软件会评出.png和.flv文件并且用该nextfile. jpg文件替换/提取默认模板.jpg文件。当然，广告商可以针对特定广告活动仅购买一定 数目的点击和查看，并且广告服务器公司然后会尝试针对另一广告活动协商交易或者一旦 广告达到所需数目的点击就从该文件夹中去除文件。产品公司或者慈善组织可以决定基于 诸如人口统计、年龄和性别、关键字、查看最多、速度最好等多个不同的类别来关联它们的 产品或者慈善事业。类似地，内容创建者可以通过例如提供的问卷中选择或者不选择选项 来决定不与特定产品和组织关联。这然后会变成将在有代表性的元数据中包括的元数据信 息。本发明为慈善团体和福利事业创造巨大机会，因为如果没有其他人决定购进内容，则内 容创建者可以选择让慈善团体做广告。此外，内容创建者可以决定例如对于在他们的内容 内示出的每五十个广告中必须有一个由内容创建者选择用于慈善团体。另外一个例子涉及客户创建者/最终用户通过选择游戏角色(模板)、输入高度 信息以及基于由内容创建者推荐的模板的图像格式和在该模板内的位置上传他/她本人 的图像来作为他/她本人(或者他/她可以选择的任何人)参与。由于一些计算机游戏的 性质，所以简单地输入个人无法看见的内容，软件并不读取。这意味着如果游戏者位于游戏 内的特定位置，则在游戏者玩游戏时很远的和超出视线的事物可以不用说明且可以不占用 太多或任何处理能力或者繁重计算。这最常称为细节层次L0D、离散细节层次DLOD和分层细节层次HL0D。软件知道何时下载所需图形要素，并且这最常基于这些项进入视线的可能 性。由于游戏仅有反复使用的多个计算机角色(模板)，所以重要的是无论特定玩家的角 色在游戏内何处都唯一地标识该角色。类似于用于下载可以进入视线的图形的方法，软件 可以在游戏者靠近以进入视线时将该游戏者的图像下载到他的/她的伙伴游戏对手的计 算设备上。玩家的模板图像可以用玩家的登录角色来唯一地标识并且可以例如位于www. thisgamecompany. com/thisgame/thischaracter/thisface/myimage. jpg。以;tik，可以ffl 过VoIP(网络电话)或者因特网聊天来自动连接玩家和他/她所选的对手。这可以通过角 色在距离上相互接近(例如六英尺/两米)并且同意接受与他人的通信来实现。例如，内 容创建者/游戏公司可以基于实际的游戏中的测量来创建VoIP分区。
所附权利要求因此应理解为包括上文具体图示和描述的内容、在概念上等同的内 容、可以明显替换的内容以及实质上并入本发明基本思想的内容。本领域技术人员能够理 解可以配置上述优选实施例的各种改变和修改而不脱离本发明的范围。记载的所示实施例 仅出于举例的目的而不应当理解为限制本发明。因此，应理解在所附权利要求的范围内可 以与本文的具体描述不同的方式实现本发明。
权利要求
一种用于通过将对象图像自动组合到第一视频内容中从而创建第二视频内容的方法，包括以下步骤产生视频内容；操作第一软件程序以将至少一个模板插入到所述视频内容中，由此创建第一视频内容，其中所述至少一个模板是用于插入其他视频内容的占位符；运用图像创建设备以捕获对象的图像作为第二视频内容，其中所述图像的尺寸对应于所述第一视频内容中的所述至少一个模板；以及使用第二软件程序以通过替换所述至少一个模板将所述图像插入到所述第一视频中，由此产生最终视频内容，其中所述对象表现为所述第一视频内容的一部分。
2.根据权利要求1所述的方法，还包括散播所述第一视频内容的步骤。
3.根据权利要求1所述的方法，还包括散播所述第二视频内容的步骤。
4.根据权利要求1所述的方法，其中所述对象在所述第二视频内容的前景中，并且所 述第一视频内容提供所述第二视频内容的背景。
5.根据权利要求1所述的方法，其中所述对象在所述第二视频内容的背景中，并且所 述第一视频内容提供所述第二视频内容的前景。
6.根据权利要求1所述的方法，其中所述产生步骤使用物理图像捕获设备以对物理标 的进行成像。
7.根据权利要求1所述的方法，其中所述产生步骤使用虚拟图像捕获设备以对软件创 建的标的进行成像。
8.根据权利要求1所述的方法，其中所述操作步骤包括插入多个模板。
9.根据权利要求1所述的方法，还包括向所述第一视频内容添加元数据的步骤，其中 所述元数据描述在产生所述视频内容时所使用的图像捕获设备的位置信息。
10.根据权利要求1所述的方法，还包括向所述第一视频内容添加元数据的步骤，其中 所述元数据描述所述一个或者多个模板的位置信息、定时或者尺寸信息。
11.根据权利要求1所述的方法，其中所述使用步骤包括提供描述所述运用步骤中的 所述图像捕获设备的位置信息的元数据。
12.根据权利要求1所述的方法，其中所述使用步骤包括提供描述所述对象的高度或 者尺寸的元数据。
13.根据权利要求1所述的方法，其中所述使用步骤还包括在所述第一视频内容包含 多个模板时选择一个模板。
14.根据权利要求1所述的方法，其中所述对象的图像为视频图像。
15.根据权利要求1所述的方法，还包括散播所述最终视频内容的步骤。
全文摘要
一种允许最终用户将图像插入到视频内容中使得该图像看来为该视频内容的一部分的方法和系统。这允许客户看起来为视频的一部分并且与该视频中的名人交互。产生视频内容，并且使用第一软件程序来将占位模板插入到该视频内容中。最终用户产生满足所插入的模板的要求的视频图像，并且第二软件程序合成这两个视频流，使得最终用户的视频图像被插入到该第一视频内容中，从而替换模板。该系统还可以用于将广告信息插入到背景中，以创建定制的、个性化的、‘在飞行中’的广告和产品布局。
文档编号G06T1/00GK101946500SQ200880126860
公开日2011年1月12日 申请日期2008年12月17日 优先权日2007年12月17日
发明者斯坦·考塞瑞德 申请人:斯坦·考塞瑞德