虚拟广告平台的制作方法

虚拟广告平台的制作方法
【专利摘要】在实施例中，虚拟广告平台可以使用三维映射算法来将虚拟图像插入到数字视频流内。虚拟广告平台可以将三维映射算法应用到虚拟数字图像，其中三维映射算法使得虚拟数字图像使得该虚拟数字图像在二维数字数据馈入内的多个帧内替代二维数字馈入内的空间区域而被重新组合。映射算法可以使得能够对二维数字视频数据馈入内的多个视频帧内的空间区域中呈现的虚拟数字图像应用类似的几何变化，并且可以将重新组合的数字数据馈入发送至用户进行显示，其中重新组合的数字数据馈入是包括替代了空间区域的虚拟数字图像的虚拟化的数字数据馈入。
【专利说明】虚拟广告平台
[0001]相关申请的交叉引用
[0002]本申请要求以下共同拥有的英国和新加坡专利申请的权益，通过引用其全部内容将每个申请合并于此:于2011年11月14日提交的、题为“Chameleon Project”的英国专利申请N0.1119612.8，以及与2011年9月14日提交的、题为“Chameleon Project”的新加坡专利申请N0.201106633-9。
【技术领域】
[0003]本发明涉及用于将虚拟视频内容插入数字视频数据中的方法和系统。
【背景技术】
[0004]存在各种形式的数字广告和视频操作方法。电视系统已经发展起来，其中例如数字内容被呈现在体育馆中的静态绿屏上。这些技术受到各种形式的限制，因此存在对它们进行改进的需求。

【发明内容】

[0005]当前，存在用于将虚拟视频内容投射到视频帧的固定区域内作为对在数字视频数据馈入(feed)中原始记录的内容的替换的方法和系统。然而，这些方法和系统通常使用具有限定周长的固定场地(例如，体育赛事的赛场区域)来确定数字视频数据馈入中插入虚拟视频内容的区域。这样的方法和系统不能够使得虚拟视频内容被插入到数字视频馈入中经历了区域变化的空间区域中，该区域变化是对于数字视频数据馈入内的多个视频帧上的空间区域的变化，该变化例如是由于在数字视频数据馈入中记录的人类运动员的运动衫的移动造成的。
[0006]从而，存在对于用户将虚拟视频内容插于到数字视频数据馈入中的方法和系统的需要，其中虚拟视频内容以类似于数字视频数据馈入的空间区域的方式被空间地变更，在该数字视频数据馈入的空间区域中虚拟内容被放置在重新组合的数字视频数据馈入内。
[0007]在实施例中，本发明可提供一种使用三维仿真来量化二维视频图像的区域的空间变更的方法和系统，该空间变更是由该区域在第一视频帧和第二视频帧之间的移动引起的，该量化至少是为了将虚拟视频内容项插入到数字视频馈入中的目的。在实施例中，虚拟广告平台可以接收二维数字视频数据馈入，并且至少部分地基于在二维数字视频数据馈入的帧内的多个空间区域上应用几何表面，在仿真环境内构建二维数字视频数据馈入的三维仿真，其中多个空间区域是至少部分地通过二维数字视频数据馈入的坐标映射来定义的。虚拟广告平台可以将第一视频帧内的、多个空间区域中的空间区域映射到该空间区域在第二视频帧内的位置，其中第二视频帧是在第一帧随后的时间中被捕获的，所述映射通过执行以下步骤来实现:步骤一:至少部分地基于空间区域在二维视频数据馈入内的映射坐标，选择第一视频帧内的空间区域；步骤二:通过量化空间区域在第一视频帧内应用的几何表面与在第二视频帧中应用的几何表面之间的差异，识别第二视频帧内对于空间区域的几何变化；以及步骤三:将被量化的差异归纳为三维映射矩阵。虚拟广告平台可以通过执行步骤一、步骤二、和步骤三，迭代地处理二维数字视频馈入内的多个视频帧中的每个视频帧，以创建多个三维映射矩阵；并且可以将多个三维映射矩阵间的数量的关联归纳为三维映射算法，其中三维映射算法至少部分地定义了三维几何位置数据，该三维几何位置数据使得对于多个视频帧中固有的空间区域的几何变化能够被应用到未呈现在二维数字视频数据馈入中的虚拟数字视频图像。
[0008]在实施例中，虚拟数字视频图像可以是被插入到二维数字数据馈入的空间区域中并替换了空间区域的广告，并且二维数字视频图像被重新组合为新的虚拟数字视频馈入。数字视频馈入可以从红外相机中得到。数字视频馈入可以从现场事件中接收。数字视频馈入可从已存储的数字视频介质中接收，该已存储的数字视频介质诸如是但不限于DVD。可从互联网接收数字视频馈入。
[0009]在实施例中，在虚拟广告平台内对于空间区域的选择还基于空间区域的映射坐标与存储于与三维仿真环境相关联的数据设施内的已知空间特性之间的相互关联。该已知空间特性可以是广告logo、衣物类商品(article of clothing)、或者其他类型的空间特性。
[0010]在实施例中，虚拟广告平台可使用三维映射算法在基于互联网的视频流内插入虚拟图像。虚拟广告平台可以从用户接收查看来自互联网的二维数字视频数据馈入的请求，以及选择虚拟数字图像。虚拟广告平台可以将三维映射算法应用于虚拟数字图像，其中三维映射算法使得虚拟数字图像在二维数字数据馈入内的多个帧内替代二维数字馈入内的空间区域而被重新组合，并且其中三维映射算法使得能够对二维数字视频数据馈入内的多个视频帧内的空间区域中呈现的虚拟数字图像应用类似的几何变化；并且可以将重新组合的数字数据馈入发送至用户进行显示，其中重新组合的数字数据馈入是包括替代了空间区域的虚拟数字图像的虚拟化的数字数据馈入。在实施例中，该请求伴随着与用户的特性有关的至少一个资料，并且对于虚拟数字图像的选择至少部分地基于与资料的相关性。
[0011]虚拟数字图像可以是项受赞助的内容，包括但不限于广告。虚拟数字图像可以是与二维数字视频馈入的至少一部分有关的广告logo。与广告logo的相关性至少部分地基于广告logo与在二维数字视频馈入中识别出的第二 logo之间已存储的关联，其中对于第二 logo的检测至少部分地基于在二维数字视频馈入中识别出的图像与存储于数据库中的logo之间的量化匹配。相关性还基于与二维数字视频馈入相关联的几何位置。相关性还基于与重新组合的数字视频馈入将被发送到的客户端设备相关联的几何位置。
[0012]在实施例中，虚拟广告平台可以使用三维映射算法内插视频数据来替换损坏的数字视频数据以及在二维数字视频馈入内插入虚拟图像。虚拟广告平台可以接收二维数字视频数据馈入，其中二维视频数据馈入内的多个帧内的空间区域包括由于损坏的数字视频数据导致的广告的部分描述，并且使用图像矩阵算法来计算空间区域内未损坏的数字视频数据与已存储的数字视频图像的集的相关性。虚拟广告平台可以至少部分地基于所计算的相关性来识别已存储的数字视频图像，以及至少部分地基于所识别的已存储的数字视频图像来选择虚拟数字图像。虚拟广告平台可以将三维映射算法应用于虚拟数字图像，其中三维映射算法使得虚拟数字图像在二维数字数据馈入内的多个帧内替代二维数字馈入内的空间区域被重新组合，并且其中三维映射算法使得能够对二维数字视频数据馈入内的多个视频帧内的空间区域中呈现的虚拟数字图像应用类似的几何变化，并且虚拟广告平台可以将重新组合的数字数据馈入发送至用户以进行显示，其中重新组合的数字数据馈入是包括替代了空间区域的虚拟数字图像的虚拟化的数字数据馈入。
[0013]在实施例中，虚拟数字图像可以是部分图像的完整版本，其中虚拟数字图像是至少部分地基于使用已存储的数字视频图像被内插的数字视频数据来创建的。损坏的数字视频数据至少部分是由在二维数字视频数据馈入内描述的对象的物理变形而引起的。
[0014]根据以下对于优选实施例和附图的详细描述，本领域的技术人员将明白本发明的这些和其他的系统、方法、目的、特征和优点。这里提到的所有文档通过引用将其全部合并于此。
【专利附图】

【附图说明】
[0015]通过参考以下附图可理解本发明及其对于特定实施例的以下详细描述:
[0016]图1示出了包括虚拟广告平台和有关设施的简化架构。
[0017]图2示出了可以被虚拟广告平台使用的图像捕获和识别的实施例。
[0018]图3示出了可以被虚拟广告平台使用的、三维环境内的视频图像映射的实施例。
[0019]图4示出了可以用于重新组合视频数据以包括虚拟广告平台内的虚拟视频内容的扩增(augmentation)处理。
[0020]图5示出了用于开发和测试虚拟广告平台内的算法的简化方法和系统。
【具体实施方式】
[0021]本发明的具体实施例被公开于此；然而，应当理解，所公开的实施例仅仅是发明的示例，其可被实施为各种形式。因此，这里所公开的具体的结构性和功能性的细节不被解释为限制性的，而仅作为用于教导本领域的技术人员以实质上任何适合的具体结构各种各样地实施本发明的表示基础。另外，这里所用的词语和短语不旨在进行限制，而是提供对于本发明的可理解的描述。
[0022]这里使用的词语“一”或“一个”被定义为不止一个的一个或多个。这里使用的词语“另一”被定义为至少第二个或至少多个。这里使用的词语“包含”和/或“具有”被定义为“包括”(即，开放式连接词)。这里使用的词语“被耦合”或者“可操作以耦合”被定义为连接，但未必直接地连接且未必机械地连接。
[0023]参考图1，在本发明的实施例中，虚拟广告平台120被设在简化的视频广播上下文中，其中虚拟广告平台120可被用于将虚拟视频内容插入到被虚拟广告平台120接收的数字视频数据馈入(feed) 118内来创建虚拟化的数字视频馈入142。数字视频馈入118可以源自正在实时地记录现场事件102或者带有广播延迟地广播现场事件102的现场事件处的相机104。数字视频馈入118还可以源自重播节目108，如源自对先前已录制的摄影棚录制品(如情景喜剧)或者先前已录制的体育赛事(如国际足球比赛)进行重播的网络分支。在实施例中，数字视频馈入118可以源自已存储的数字视频介质110，诸如DVD、摄录像机、移动设备、计算机、或者能够存储数字视频的某一其它介质。在实施例中，数字视频馈入118可以源自基于互联网的视频平台，诸如网站、电子邮件附件、现场视频流(例如，网络摄像机或者诸如Skype之类的互联网通话程序)、计算机用户上载至互联网(例如，至诸如www.YouTube, com之类的网站)、或者基于互联网视频传输的一些其它手段。[0024]在实施例中，虚拟广告平台120可以接收数字视频馈入118。数字视频馈入118的接收可以是被动的，如在以下实施例中第三方主动地向虚拟广告平台120发送数字视频馈入118，虚拟广告平台被动地接收数字视频馈入118 ;或者虚拟广告平台120可以主动地找出和获得数字视频馈入118，这包括主动地寻求以获得符合标准的数字视频馈入118或者多个数字视频馈入。在示例中，虚拟广告平台120可以被编程来比较数据集与关于数字视频馈入的数据资料(datum)或数据(如关键字、位置、播放位置、或一些其它标准)。虚拟广告平台120可以包括搜索和取回设施，该搜索和检索设施能够根据一个或多个标准在可用的数字视频馈入118间进行搜索。例如，虚拟广告平台120可以搜索网站以找寻与关键字“音乐视频”相关联的数字视频馈入118，并例如通过下载取回该视频以用于虚拟广告平台120内的进一步呈现和重新组合。
[0025]数字视频馈入118可以由虚拟广告平台120接收，该虚拟广告平台120执行一系列的步骤来将数字视频馈入118重新组合为虚拟化的数字视频馈入142，其中初始接收到的数字视频馈入118被呈现为包括至少一个组件的虚拟视频内容(例如，广告)，该虚拟视频内容未出现在初始接收到的数字视频馈入118中。在实施例中，虚拟视频内容可以是完全新的视频元件或者它可以是对在初始接收到的数字视频馈入118中发现的视频内容的项目的改进或增强，如对损坏的视频数据和/或初始的数字视频馈入118中在一些方式下是模糊的视频内容进行更正的新的视频增强。
[0026]参考图2，在实施例中，虚拟广告平台120内或相关联的图像处理平台可以负责以下各项:实时地分析到来的数字视频馈入118 (这里也被称作“视频”、“视频内容”、“视频流”等等)、执行对logo或其他视频内容(包括但不限于广告内容)的检测、恢复所检测到的logo或者检测到的内容的几何参数和外形参数、以及传输后续增强所需的经编码的元数据与替换的logo。
[0027]处理可以开始于虚拟广告平台120使用当前帧204或者先于当前帧的帧204对到来的数字视频馈入118进行解码，因此提取原始色彩像素以进行分析。处理可以被用于选择原型logo208(这里称作logo N)，以至少部分地基于通过访问检测数据库以及可选的数据库来进行当前帧204和/或先前帧202的检测，该检测数据库包括任意数目的用于具体事件的原型logo212，该可选的数据库包括在其上出现logo的对象的事件特定的原型图像(背景目标)210。在实施例中，数字视频馈入118内的logo可以至少部分地基于对数字视频馈入118内的logo或其他类型的视频内容的局部匹配或者识别而被检测到。检测数据库中的原型图像可以经历图像分析步骤，其中包括但不限于以下各项的信息被提取从而形成logo(以及可选的背景目标)的唯一表示:
[0028]虚拟广告平台120可以使能对于突出特征的检测220，其中突出的区域包括在其他方面大致均勻或同质的图像内的混杂区域(heterogeneousregion)。
[0029]虚拟广告平台120可以使能对于空间图案的检测222，其中空间图案包括对结构和同一色彩/色度(intensity)区域的编码以及它们的空间关系。
[0030]虚拟广告平台120可以使能对于谱分布的检测224，其中谱分布包括色彩和色度信息的总结。
[0031]虚拟广告平台120可以使能缩放级的比较228，并且这里描述的用作图像识别和检测的一部分的算法可以使能对于在视频馈入内呈现的多个缩放级别的适用。[0032]到来的视频图像可以经历类似的对于突出性、空间图案和谱分布的提取，然后是这些特征与原型logo的特征之间的比较(检测)。检测阶段可以执行这些特征在多个缩放级别下的比较，并且能够检测同一 logo的多个实例。可以对数据库中的每个logo执行同一处理从而确定接收到的视频流118中的视频图像与原型logo212和/或原型对象210数据库中存储的图像或logo(例如，logo N)之间的匹配230。检测结果的时间平滑可以基于对于来自先前图像帧的检测的存储，利用物理约束和预测滤波来减少抖动232。检测阶段可以指示场景中的logo的位置和身份,如图3中所示，随后是位姿估计(pose-estimation)算法处理，在该位姿估计算法处理中场景中检测到的logo的几何位置在3D环境128内被确定。该算法负责检测与数据库原型相比的logo平移302、logo缩放308、logo旋转304、所检测到的logo的修剪(shearing) 312和扭曲(warping) 310,结果是编码有这些空间参数的元数据320。检测到的和几何更正的logo可以经历对齐步骤从而重新构建两个logo (例如,来自数字视频馈入118的logo N218和从替换logo数据库400获得的logo X404)之间像素到像素的映射，以用于选择替换logo402来作为虚拟内容条目插入到数字视频馈入118中取代logo N(参见图4)。logo X可以被对齐(316)并且对齐的一对logo N和logo X之间的主要差异可以用于构建遮挡掩膜(occlusion mask) 314,这至少部分地基于logo的几何特征到对齐步骤的应用410以及因此负责相机和目标之间存在的部分遮挡和由于视角或某一其它类型的视觉阻碍或遮挡(例如，由于结构的折叠，诸如表演者的针织衫，或者从对象的一侧的光线反射)导致的部分模糊(obscuration)。遮挡掩膜可以被编码到输出的元数据320结构中以用于增强阶段并且在412被应用为增强处理的一部分。在下一阶段，恢复的logo和原型之间的色差可以被估定并且被编码为色彩转换矩阵(color transformationmatrix) 318，并且在增强处理期间在414被用于对增强的logo的后续更正。转换参数可以被添加至元数据320结构。类似地，可以通过检测对齐的图像对中不规则的光照图案来考虑镜面光(与均匀光相反)效应。此信息可以被编码到元数据结构中以在增强阶段进行镜面反射补偿。混合(blending)算法418可以包括抽取检测到的logo附加的像素属性。这些属性可被编码到元数据320结构中以使得能够在增强阶段进行自然混合，特别是在替换logo400的边缘处。混合算法可被用于创建增强视频流420。增强视频流可以是被传输至其他实体和客户端设备158来查看的虚拟化的数字视频流142。
[0033]如图5中所示，虚拟广告平台120可以包括算法测试和学习设施，该设施可以对由虚拟广告平台120用来将虚拟视频内容放置到数字视频馈入内的算法的性能进行排名、优先使用和优化。在检测算法214后，如这里所述，可以针对标准和它的性能得分来对检测到的算法500进行测试、并针对其在识别和检测目标logo504上的价值进行排名或者以其他方式进行评估。
[0034]再次参考图1，在实施例中，在初始接收到的数据视频馈入118内对虚拟视频元件的组合后，虚拟化的数字视频馈入可被虚拟广告平台120创建和分发。虚拟化的数字视频馈入可以被分发至实体，这些实体诸如但不限于:如与网络播放商相关联的主控制室114、诸如网络播放商的本地分支之类的区域播放商152、诸如网站的互联网154、或者能够接收视频分发的某一其他实体。数据和/或元数据可以与虚拟化的数字视频馈入142相关联，该数据和/或元数据包括但不限于诸如COOkiel48或像素跟踪数据150之类的跟踪数据144，并且准许对虚拟化的数字视频馈入142的分发被跟踪、记录、以及与包括虚拟广告平台120之类的各方的共享。诸如区域播放商152、互联网154网站、或者某一其它实体之类的实体可以接收虚拟化视频馈入142并将它传输至客户端设备158，该客户端设备158包括但不限于:使能互联网的设备160、TV162、电话164、或者能够显示数字视频的某一其它设备。客户端设备158的用户然后可以查看虚拟化的数字视频馈入的实例168，并且确认该查看实例的数据还可以例如基于跟踪数据被传输至诸如虚拟广告平台120之类的实体。虚拟广告平台120可以接收并存储该用户查看数据以及多个用户的查看数据，并且至少部分地使用此信息来确定插入到数字视频馈入118内的虚拟视频内容的类型的相关性。诸如人口统计172、经济174和使用历史之类与用户有关的用户数据170可以与客户端设备158相关联，并且该数据还可以与多个用户的数据一起由虚拟广告平台120接收和存储，并且至少部分地使用该信息来确定插入到数字视频馈入118内的虚拟视频内容的类型的相关性。
[0035]在实施例中，被虚拟广告平台120使用以包括在虚拟化的数字视频馈入168内的虚拟视频内容可以是受赞助的内容180，如广告。受赞助的内容180还可以与广告交换182或广告网络相关联，其中广告商188可以使用投标平台184针对将给定受赞助的内容180放置为虚拟化的数字视频馈入168内的虚拟内容的权力来出价。
[0036]在本发明的实施例中，虚拟广告平台120可以用于插入广告或受赞助的内容之外的虚拟内容，包括但不限于:娱乐内容、爱好者视频、特殊效果、或者某一其它类型的非广告内容。
[0037]在本发明的实施例中，虚拟广告平台120可用于将虚拟视频内容插入到三维数字视频数据馈入内。
[0038]在本发明的实施例中，虚拟广告平台120可以接收数字视频数据馈入。数字视频数据馈入可以从2D相机、3D相机、红外相机、立体相机、或某一其它类型的相机中得到。虚拟广告平台120可以通过执行以下步骤将数字视频数据馈入的第一视频帧内的区域映射至第二视频帧内的区域:(i)至少部分地基于对匹配视频数据标准的区域(例如，已知广告的索引图像/视频段)内的数据(例如，像素数据、密写数据等)的识别，选择第一视频帧内的区域；(ii)从数字视频数据馈入内由立体相机在第一帧随后的时间处捕获的第二视频帧中选择区域，并且将第一视频帧中的三维视频空间中的区域的第一位置与第二视频帧中的三维视频空间中的区域的第二位置相关联，其中如这里所述，该关联部分地基于对于第一帧和第二帧中的区域内的数据的定量分析；以及(iii)将该关联归纳并存储为三维映射矩阵。虚拟广告平台120可以将区域分段为多个区域段，并且通过对每个区域段执行步骤
1、ii和iii来迭代地处理多个区域段，以创建多个三维映射矩阵，其中每个三维映射矩阵归纳了多个区域段中的每个区域段在三维空间内跨越数字视频数据馈入内每个帧的位置。虚拟广告平台可以将多个三维映射矩阵间的关联归纳为三维映射算法，并且替换视频区域可以被映射到第一视频帧内的区域，其中该映射是第一视频帧内的区域和替换视频区域内的数据(例如，像素数据、密写数据)的定量关联。虚拟广告平台可以至少部分地基于三维映射算法的应用来操纵替换视频区域的视频数据以呈现替换视频区域适合于放置到第二视频帧内的第二版本，其中替换视频区域的呈现可视地和/或数量上等于第一和第二帧中的区域的三维空间中更换，该更换是由三维映射矩阵归纳的。
[0039]在本发明的实施例中，虚拟广告平台120可以接收数字视频数据馈入。数字视频数据馈入可以从2D相机、3D相机、红外相机、立体相机、或某一其它类型的相机中得到。虚拟广告平台120可以通过执行以下步骤将数字视频数据馈入的第一视频帧内的区域映射至第二视频帧内的区域:(i)至少部分地基于对匹配视频数据标准的区域(例如，已知广告的索引图像/视频段)内的数据(例如，像素数据、密写数据等)的识别，选择第一视频帧内的区域；(ii)从数字视频数据馈入内由立体相机在第一帧随后的时间处捕获的第二视频帧中选择区域，并且将第一视频帧中的三维视频空间中的区域的第一位置与第二视频帧中的三维视频空间中的区域的第二位置相关联，其中该关联部分地基于对于第一帧和第二帧中的区域内的数据的定量分析；以及(iii)将该关联归纳并存储为三维映射矩阵。虚拟广告平台120可以将区域分段为多个区域段，并且通过对每个区域段执行步骤1、ii和iii来迭代地处理多个区域段，以创建多个三维映射矩阵，其中每个三维映射矩阵归纳了多个区域段中的每个区域段在三维空间内跨越数字视频数据馈入内每个帧的的位置。虚拟广告平台可以将多个三维映射矩阵间的关联归纳为三维映射算法，并且替换视频区域可以被映射到第一视频帧内的区域，其中该映射是第一视频帧内的区域和替换视频区域内的数据(例如，像素数据、密写数据)的定量关联。虚拟广告平台可以至少部分地基于三维映射算法的应用来操纵替换视频区域的视频数据以呈现替换视频区域适合于放置到第二视频帧内的第二版本，其中替换视频区域的呈现可视地和/或数量上等于第一和第二帧中的区域的三维空间中更换，该更换是由三维映射矩阵归纳的。在实施例中，虚拟广告平台120可至少部分地基于三维映射算法的应用来迭代地操纵多个替换视频区域的视频数据，其中迭代的操纵产生多个替换视频区域，其中的每个区域对应于数字视频数据馈入内的系列帧中的一个帧。虚拟广告平台120可以聚合多个替换视频区域中的每个区域来创建多个复合的替换视频图像，其中多个复合的替换视频图像中的每个图像对应于数字视频数据馈入内的系列帧中的多个帧的每个帧。复合的替换视频图像中的每个图像可以针对标准替换图像进行验证，其中该验证被归纳为定量验证矩阵(quantitative validity metric),并且三维映射算法可以被迭代地调整来优化定量验证矩阵的预测验证。
[0040]在本发明的实施例中，虚拟广告平台120可以将数字数据馈入重新复合到新的数字数据馈入中，并重新播放新的数字数据馈入，在该新的数字数据馈入中放置复合的替换视频图像替代数字视频馈入内的内容。
[0041]在本发明的实施例中，虚拟广告平台120可以使能数据内插来填充由于模糊导致的丢失视频影像，该模糊例如来自太阳光反射或者昏暗的光照、折叠的衣物、成块的图像、被遮挡的图像等等。
[0042]在本发明的实施例中，虚拟广告平台120可以将跟踪数据插入到重新复合的虚拟视频馈入中，从而使得可以对下游的使用情况进行跟踪(例如，互联网流内容)。
[0043]在本发明的实施例中，虚拟广告平台120可以使用分布式计算环境并且在服务器处从数字视频数据馈入(例如，从主控制室)接收视频数据并将视频数据分段为多个视频数据段，将多个视频数据段分发至多个服务器(其中，该多个服务器在分布式的计算环境内)。
[0044]在本发明的实施例中，虚拟广告平台120可以(使用这里描述的方法)选择用于放置到数字视频数据馈入内虚拟视频内容，其中选择至少部分地基于与以下各项中的至少一项相关联的信息:(i)播放分支、(ii)与分发目的地相关联的区域代码、和/或(iii)数字视频馈入将在其上被显示的设备(例如，有线机顶盒或蜂窝电话)。[0045]在本发明的实施例中，虚拟广告平台120可以至少部分地基于对来自字典(dictionary)的虚拟视频内容的选择将虚拟视频内容放置到视频数据馈入中，其中该字典中存储的视频内容与部分地描述了对于已知广告的映射(字典中的视频可替换该已知广告)的元数据相关联。
[0046]在实施例中，广告交换182可以与虚拟广告平台120相关联，如这里所示，可以呈现一种通过创建用于集成涉及受赞助的内容180的准备和递送的各种实体(例如，广告)的平台来使能通过各种在线端口(例如，网站)的广告的模式。它可用作用于使能广告商与发行商(publisher)之间的交易的单一平台。各种服务在单个平台的集成可以辅助广告的投标(例如，实时地使用投标平台184)、动态定价、可定制的报告能力、目标广告商和市场利基的识别、富媒体非法流量(trafficking)、可扩展性的算法、产出管理、数据允许等等。此外，用于与其他平台(例如，虚拟广告平台120)、广告网络、经纪人等进行交互的API可以被提供从而建立无缝集成的全球分布的设施。广告交换182可以通过支持联网的各种电子和通信设备来实现。这样的设备的一些示例可以包括但不限于:台式机、掌上型计算机、膝上型计算机、移动电话、蜂窝电话等等。本领域的常规技术人员可认识到:各种有线或无线的技术可被采用以支持这些设备带有外部通信平台的网络，如蜂窝、WIF1、LAN、WAN、MAN、互联网等等。广告交换182的完整系统(下文中为了描述，被称为广告交换182)可包括诸如广告交换182服务器、广告清单、广告网络、广告代理、广告商、发行商、虚拟广告平台120设施等等的实体。为了描述的简明，这些实体中的一些实体的详细描述在这里被分离地提供。
[0047]广告交换182服务器可以包括可被配置为提供web服务或其他种类的服务来辅助受赞助的内容180的放置(例如，受赞助内容180在网站上的插入)的一个或多个服务器。同样，广告交换182服务器可以是诸如web服务器之类的计算机服务器，该计算机服务器可以执行存储在线广告并将广告递送至网站用户或观看者、移动网络提供商、其他平台(如虚拟广告平台120)等等的任务。广告交换182服务器可以辅助每次访问者或用户使用web浏览器访问网页或者刷新网页时的相关广告和信息的显示。广告可以是虚拟视频内容、广告条、基于上下文的广告、行为广告、兴趣广告等等。广告交换182服务器可以执行以下任务:维护印象和点击的数目的日志、用户的记录流量数据数目、用户的IP地址以用于识别垃圾邮件。日志可以被采用来创建用于分析分组的流量流、路由路径等等的统计图表。另夕卜，可以由广告交换182服务器维护数据库来存储与网页的用户和客户端设备158有关的信息以及来存储它们的行为信息和上下文信息。行为信息和上下文信息可被广告交换182服务器以及被虚拟广告平台120用于以被插入到数字视频馈入118的虚拟视频内容的形式向用户呈现相关的广告。例如，与客户端设备158有关的上下文信息可指示该设备上设定的语言被设定为默认语言是“英语”。该上下文信息可以至少部分地被虚拟广告平台120用于选择基于英语的虚拟视频内容来插入到数字视频馈入118内替代在数字视频馈入118中呈现的非英语的元素。数据库可以被广告交换182服务器周期性地更新或者在被广告交换182服务器的拥有者触发时更新。数据库可以是独立数据库或者可以是分布式数据库，并且还可以与虚拟广告平台120相关联。
[0048]在实施例中，发行商可以是广告交换182服务器的拥有者。这样的部署可被称作本地广告交换182服务器，因为广告交换182服务器是由发行商来控制和维护的并且广告交换182服务器可只服务于发行商。然而，广告交换182服务器还可以由第三方来部署和主持。这样的部署被称作第三方服务器或者远程服务器，因为广告交换182服务器的拥有者与web服务器不同。在此场景中，广告交换182服务器拥有者(第三方)和发行商之间的直接链接可以被维护以保持发行商对网页上的在线广告和其处的任何交易的更新。在广告交换182服务器的远程服务器模式的部署中，广告交换182服务器可以对由各种发行商拥有的众多域不同地服务。
[0049]根据本发明的各种实施例，数个其他任务可以被广告交换182服务器执行。广告交换182服务器可以有助于网页上的广告或者任何其它相似内容的上载，包括将注入数字视频馈入118之类的内容加载至虚拟广告平台120。广告交换182服务器还可以辅助广告的可下载内容或者由广告商施加的约束所限定的广告部分的下载。另外，广告交换182服务器还可以用于避免一个或多个网页上的广告非法流量。非法流量可以基于定义的关于生意和商业的可行性和重要性的标准的参数而被避免。
[0050]在实施例中，广告交换182服务器可以采用对于收赞助的内容(如虚拟视频内容)被显示的次数的上限(cap)或者限制，从而基于对在线广告投入的金钱来设定使用情况的限制。在其他情形中，广告交换182服务器可以基于用户的背景和行为而关闭某些广告的显示。另外，向用户显示广告的时间段可以由广告交换182服务器控制，并且该信息被虚拟广告平台120用于选择虚拟内容的类型以包括在虚拟化的数字视频馈入142中。在示例中，时间段可以针对所有用户统一地设定或者可以基于行为、上下文、或者由广告交换182服务器聚集的其他信息或者先前存储在数据库(包括与虚拟广告平台120相关联的数据库)中的上下文信息针对各种用户而变化。在本发明的某些实现中，广告交换182服务器可以至少部分地基于用户的兴趣和用户数据170通知由虚拟广告平台120使用的用于将虚拟内容放置在数字视频馈入内的广告序列。
[0051]在实施例中，广告清单的拥有者可以是想要显示内容的广告商，该内容诸如是被虚拟广告平台120放置到数字视频馈入118内的虚拟内容等等。广告商可以购买数字视频馈入118内的一部分空间来显示他们的清单和广告。广告清单可以被存储在广告交换182服务器或者虚拟广告平台120中或者被它们访问，该清单可以从广告交换182服务器或者虚拟广告平台120中被抓取以显示在数字视频馈入118内。这些清单然后可以被虚拟广告平台120和/或数字视频馈入118的拥有者添加至数字视频馈入内的已分配空间。对于广告清单的空间分配以及广告清单的内容的显示可以由广告交换182服务器和/或由虚拟广告平台120内的参数进行管理。
[0052]在实施例中，广告商是广告交换182中的买入实体，其可以将受赞助的内容180、广告和其他相似的内容提供至能够对内容进行放置的各方，包括能够将视频内容放置到数字视频馈入118内的虚拟广告平台120。在一般的场景中，数千个广告商可以通过广告交换182服务器连接到众多的发行商。广告商可能并不直接链接至广告交换182服务器，而是链接至诸如广告网络或者广告代理之类的中间系统，在该中间系统中各种广告商可以被链接或者呈现在广告交换182中。广告商可以进行投标来购买虚拟化的数字视频馈入142内的预定区域以用于诸如广告之类的受赞助内容180以及广告所需的带有其他有关细节的空间的放置。广告可以由虚拟广告平台120根据在中间系统中定义的标准(如成本、上下文、与数字视频馈入118相关的内容的相关性等等)进行分类。经分类的受赞助内容180然后可以被虚拟广告平台120排序和优先化，并且带有最高投标的广告商将被提供所需的空间来将受赞助的内容180放置在虚拟化的数字视频馈入142内。广告商还可以选择从数字视频馈入118的数个发行商处购买空间。
[0053]在实施例中，发行商可以是拥有或者运营显示位置(例如网站)的卖方，该显示位置能够显示数字视频馈入118以及虚拟化的数字视频馈入142，并且能够将例如网页上的预定空间卖给广告商。广告商可以通过中间系统(例如，广告网络、广告交换182)、通过虚拟广告平台120、如这里所示的用于买入或卖出等等与发行商进行交互。发行商可以分配数字视频馈入118内的空间，并且虚拟广告平台120可以以视频的形式将受赞助的内容、视频清单或者广告内容添加到所分配的空间内。发行商和/或虚拟广告平台120可以预计在特定的时间段(例如，一天或者一个月)期间在具体的网页上发生的印象的数目。根据此预计的信息以及与已经分配的空间有关的信息，发行商和/或虚拟广告平台120可以预计空间将被卖出的数额。将被卖至广告商、代理或者任何其他买入实体的空间可以被视为资产。发行商和/或虚拟广告平台120还可以基于这里定义的数个标准对清单和视频媒体进行分类。分类可以手动地被执行或者使用自动化系统(例如，通过编程算法)来执行。手动的分类可以涉及查看并分析数字视频馈入118的视频内容的人并且基于查看和分析，视频内容可被分类至各种类别中。分类还可以通过自动化系统来执行，例如通过这里所述的虚拟广告平台120。用于自动化分类的编程算法可以被存储在虚拟广告系统120中，该虚拟广告系统120能够查看并分析数字视频馈入118并将数字视频馈入118分类到定义好的类别中。分类计数可以用数种方式来向发行商和广告商提供附加的优势。例如，通过估计视频清单、受赞助的视频内容、或者广告内容对于给定数字视频馈入118的相关度的级别，发行商能够要求较高的要价，因为在用户查看虚拟化的数字视频馈入142(相关的受赞助的视频内容180被插入其中)时，增加对于广告内容的兴趣的可能性更高。相似地，如果在每单位时间更有可能对数字视频馈入118进行更大数目的视频查看，那么数字视频馈入118可被优先化为更相关。与数字视频馈入118的查看历史有关的数据可以被虚拟广告平台120收集、存储和分析。
[0054]在实施例中，广告交换182可以实现能够允许发行者在投标期间实时地对广告印象进行定价。除了在预定的标准上选择投标者之外，广告交换182可以确保由广告商提交的投标既不会被低估也不会被高估。广告交换182可以自动地生成每个印象上的最大回报。此外，销售数据的报告可以容易理解的简单格式被呈现给发行商。发行商可以被授权识别他们喜欢的品牌和/或产品来替换广告印象。同样，广告交换182可以允许发行商基于他们的偏好限定某些品牌、内容、格式等等。
[0055]在实施例中，广告网络可以是连接到一起的一组发行商和/或广告商。广告网络可以是将想要主持广告的web站点与想要运行广告的广告商进行连接的组织或者实体。广告网络可以被分类为代表性网络、盲目网络(blind network)和目标网络。代表性网络允许内容对于广告商的完全透明。另一方面，盲目网络可以以决定发行商的网页上的广告放置的自由度为代价而向广告商提供较低的价格。目标网络可以指向具体的导向技术，该具体的导向技术包括分析用户的行为信息或者上下文信息，如这里所示，并且这些信息可以被虚拟广告平台120收集、存储和分析。
[0056]在实施例中，在虚拟广告平台120中可用并且创建于虚拟广告平台120内或与虚拟广告平台120相关联的虚拟视频内容可以使用推送(syndication)设施被推送至用户的客户端设备158，该推送至少部分地基于与虚拟视频内容相关联的上下文信息和/或与虚拟视频内容相似并包括受赞助的内容180的内容的使用，以便通过使用相关性确定设施来确定虚拟视频内容与标准间的相关度，例如与虚拟视频内容相关联的关键字、内容的使用历史、和/或与虚拟视频内容相关联的元数据。相关度可至少部分地基于与虚拟视频内容相关联的上下文数据和用户数据170的相关度。在示例中，虚拟视频内容选择标准可以由虚拟广告平台120至少部分地基于用户对于客户端设备158的先前使用情况和在客户端设备158内的行为来导出，该使用情况和行为包括但不限于在诸如互联网使能的设备160之类的客户端设备158上做出的先前的视频观看情况。例如，在客户端设备158上观看从虚拟广告平台120中导出的虚拟化的数字视频馈入142的用户可能先前已经搜索、取回、使用、或者交互了与元数据相关联的虚拟视频内容，例如指向业余爱好视频投放网站(如，YouTube)的URL、或者诸如“世界杯(The World Cup) ”之类的关键字。在虚拟广告平台120内运行或者与虚拟广告平台120相关联、或者隶属于虚拟广告平台120的自动式的程序可以识别该先前观看的视频内容内的关键字、元数据、或者其他材料，该关键字、元数据、或者其他材料指示了与虚拟视频内容类型“体育(Sports)”的相关度。部分地基于此，用户可以关联于指示了用户对于体育有兴趣的用户简档资料/数据。对于推送至用户的虚拟视频内容的选择可以至少部分地基于指示了对于体育的兴趣的用户数据和用户简档数据，并且可以由虚拟广告平台120个体地自动地发起，和/或可以由在虚拟广告平台120内可用或者与虚拟广告平台120相关联的虚拟视频内容的用户或创建者发起，该虚拟视频内容例如是被提交至诸如YouTube之类的网站以进行操纵。
[0057]与视频内容相关联的上下文信息还可以包括:位于视频内容和/或虚拟视频内容内或者与视频内容和/或虚拟视频内容相关联的关键字、词语、或短句，到视频内容的链接、来自视频内容的链接，与视频内的先前使用相关联的点击模式和点击次数(clickthrough)(包括显现着与虚拟视频内容相关联的受赞助内容相关联的点击模式和点击次数)，元数据，包括视频内容使用的时间、长度、深度和频率在内的视频内容使用模式，视频内容的起始主持(origination host)、与视频内容相关的(一个或多个)类型，以及视频内容上下文的其他指示符。
[0058]与视频内容相关联的上下文信息的相关度可以通过使用相关度得分来指示。相关度得分可以是例如上下文的视频和虚拟视频内容参数(例如，视频内容的类型)和用户参数(例如，用户先前下载的视频内容的类型)之间的统计性关联的数值归纳。相关度得分可以是由虚拟广告平台120或者与虚拟广告平台120相关联的第三方服务提供商分配给视频内容或者虚拟视频内容的专有得分。所推送的虚拟化的视频内容的相关度得分可以被存储在虚拟视频内容相关度字典中。
[0059]在实施例中，使用模式可以从与虚拟广告平台120的使用者有关的用户数据170和/或元数据的数据库中获得。使用模式的广泛范围可以用于帮助(含蓄的和明确的)问询的形成以及帮助诸如从虚拟广告平台120被呈现给虚拟化的视频数据馈入142的接收者的视频内容搜索结果的取回和组织。算法设施(algorithm facility)可以包括适合于分析使用模式以帮助形成问询的功能的一个或多个模块或引擎。例如，算法设施可以基于每天的时间、每周的天数、每月的天数、每年的天数、工作日模式、假日模式、每小时的时间、交易模式、到来和输出的视频内容的模式、点击的模式和点击次数、通信模式、和能够从在用户数据170和/或在其上观看视频内容的客户端设备158内使用或者与其相关联的数据中辨识出的任何其他模式。可以使用各种预测算法来分析使用模式，该预测算法例如是回归技术(最小二乘法等等)、神经网络算法(neural net algorithm)、学习算法、随机游动、蒙特卡洛仿真、以及这里所述的其他算法。
[0060]在实施例中，一个或多个API可以被提供以使能和辅助诸如用户简档之类的用户数据的使用和管理、虚拟广告平台120内或者与虚拟广告平台120相关联的推送的操作。
[0061]在实施例中，如这里所述，虚拟视频内容、用户、和与二者相关联的元数据之间的相关性、相关度、关联度、对应度的确定以及关联和关系的其他测量可以至少部分地基于统计分析来做出。统计分析可以包括但不限于以下技术:如线性回归、逻辑回归、决策树分析、贝叶斯(Bayes)技术(包括朴素贝叶斯(naive Bayes))、K近邻(K nearest neighbors)分析、协同过滤、数据挖掘、以及可能使用的其他统计技术。
[0062]在示例中，线性回归分析可以用于确定一个或多个独立变量(例如，用户简档数据)和另一相关变量之间的关系，该另一相关变量例如是与虚拟视频内容相关联的资料(例如，作者名、类型等等)，并且线性回归分析可以被最小二乘函数模型化，被称作线性回归公式。该函数是被称作回归系数的一个或多个模型参数的线性组合。
[0063]在另一示例中，贝叶斯理论可以被用于分析用户简档和/或视频内容数据和虚拟视频内容，例如与视频内容相关联的上下文数据、与由虚拟广告平台120创建的虚拟化的数字视频馈入142有关的数据、或者在虚拟广告平台120内使用的某一其他类型的数据。使用贝叶斯理论，条件概率例如可以被分配至用户简档变量，其中该概率估计了视频内容或虚拟视频内容被观看的可能性并且至少部分地基于先前对用户与视频内容的先前的交互的观察。朴素贝叶斯分类器还可以用于分析视频内容和虚拟视频内容数据。朴素贝叶斯分类器是基于将贝叶斯理论应用于强(朴素)独立性假设的概率性分类器。朴素贝叶斯分类器假设某一类(class)的具体特征的呈现(或者不呈现)与任何其他特征的呈现(或者不呈现)无关。例如，视频内容的用户如果先前已经搜索、取回、下载、使用、和/或交互了与新加坡有关的并且与关于新加坡的虚拟视频内容相对应的视频内容或者其他类型的内容等等，那么他可以在用户简档中被分类为对于与新加坡有关的视频内容感兴趣。贝叶斯分类器可以考虑诸如新加坡视频内容的先前使用、新加坡有关的视频内容的先前下载、对于新加坡视频内容的搜索等等属性来独立地贡献到该用户对新加坡有关的视频内容感兴趣的概率并且可以很好地响应诸如广告之类与新加坡和新加坡内的组织有关的虚拟视频内容。一旦分类在用户简档内被分配(例如，用户X =新加坡迷)，用户的信息就可以被虚拟广告平台120存储和共享(例如，将数据发送至广告服务器，其中分类“新加坡迷”可用于选择新加坡有关的受赞助内容(例如，被虚拟广告平台120使用的虚拟视频内容)以向用户递送与新加坡的递送和展示相关联的内容或者其他相关主题的内容)。单个用户简档可以包括多个分类器。例如，新加坡迷的用户简档还可以包括使用与用户数据集170和如这里所述的任何其他数据源内的用户动作和行为相关联的数据指示用户是“母语为英语者”或者“在线扑克玩家”等等的分类器。朴素贝叶斯分类器的优点是它需要少量的训练数据来估计分类所必需的参数(变量的均值和方差)。因为假设变量是独立的，所以只有针对每一类的变量的方差需要被确定而不是整个协方差矩阵。朴素贝叶斯的此特性可以使分类实现。
[0064]在实施例中，行为数据分析算法可用于开发行为简档以被虚拟广告平台120用于视频内容和虚拟视频内容的选择，所选择的视频内容和虚拟视频内容被包括在将被呈现至客户端设备158的虚拟化的数字视频馈入142中。行为简档然后可以被用于导向广告和其他虚拟视频内容。行为简档可以包括对于用户的视频观看活动的归纳和其他行为属性，该归纳包括所访问的内容和应用的类型。用户的活动归纳可以包括搜索、浏览、购买、点击、无响应的印象、或者这里所述的某一其他活动。行为属性可以被归纳为视频内容类别的连续兴趣得分、对虚拟视频内容的过往响应(例如，在观看广告虚拟视频内容后做出的交易)、或者某一其他属性。连续频率得分和连续时近得分(recency score)(例如,活动发生的时间有多近)可被视为用于构建行为简档的行为属性。用户的活动归纳和行为属性可以通过使用这里所述的分析技术(例如，朴素贝叶斯分类器)而被归类。视频内容数据及其特性，以及诸如虚拟视频内容之类可与视频内容到用户的呈现相关联的受赞助内容(例如，广告)还可以被用于行为简档的生成。例如，可以使用诸如广告身份、广告标志、用户身份、广告点(advertisement spot)身份、日期和用户响应之类的数据。此外，内容类别可被用于将虚拟化的数字视频馈入142导向用户的客户端设备和/或广告基于行为简档或者行为简档的一部分。另外，内容类别可以与每次的搜索、浏览、下载、购买、或者其他行为活动和/或交易相关联。
[0065]自动地向用户推送虚拟视频内容的程序可以至少部分地基于与视频内容相关联的上下文数据与关于用户或者用户群组的已知信息(例如，用户简档数据，如这里所述)的相关度。推送视频内容和虚拟化的数字视频馈入142的自动化可以至少部分地基于元数据与虚拟视频内容的关联。元数据内所包含的可以是与虚拟视频内容与各类用户和/或用户群组的相关性的信息。元数据如何可包含相关性信息的多个示例中的一个示例可以包括:至少部分地基于用户数据170指示虚拟视频内容到用户的相关性的元数据、与用户的客户端设备相关的数据(例如，视频回放能力)、或者指示与由来自给定用户类别的用户观看的视频内容相关联的平均相关度得分的某一其他类型的数据和/或元数据等等。
[0066]在实施例中，被设计用于使用虚拟广告平台120取回视频内容的一个或多个服务器应用可以读取搜索网站、推送馈入、或者其他内容和/或数据来寻找视频内容，该视频内容被用作使用虚拟广告平台120创建虚拟化的数字视频馈入142的一部分。在另一实施例中，虚拟广告平台120可以与一个或多个数据库相关联，在该一个或多个数据库中，对应于并且标识了视频内容和实体的URL或者其他数据已经存储了视频内容。一旦(一个或多个)服务器确认网站或者其他视频内容存储位置要接收和/或提供被推送的视频内容(包括从虚拟广告平台120接收虚拟化的数字视频馈入142)，服务器可以自动地接收、标志、和/或提供视频内容至网站或其他实体，和/或发送虚拟化的数字视频馈入142至该网站。在实施例中，可以由任意数目的不同实体或源提供标志。例如，标志可以由虚拟广告平台120、第三方标志服务、或者某一其它标志提供商提供。
[0067]在实施例中，自动式的视频推送项目(program)和/或虚拟化的数字视频馈入142推送项目可以例如通过以下方式获得收益:平台费，收益共享，或者向广告商、网站、广告交换、广告网络、发行商、电视播放商、或某一其他实体提供的不收费服务程序。在实施例中，诸如能够播放视频的客户端设备158的用户之类的各方可以被要求付出使用费来访问、创建、聚合、和/或交互虚拟内容以及虚拟化的数字视频馈入142的创建、使用、分发、和观看。在另一实施例中，受赞助的内容(例如，广告)可以与虚拟视频内容的呈现相结合地呈现给用户。受赞助的内容的拥有者，或者其他感兴趣的某方可以被要求针对向用户的客户端设备呈现受赞助的内容的权利支付费用，该呈现是以由虚拟广告平台120创建的虚拟化的数字视频馈入142的形式进行的。此收益可以被虚拟广告平台120和第三方(例如，网站拥有者)共享。收益可以从参与自动式推送项目的虚拟视频内容的赞助商处得到。费用可以从虚拟视频内容的赞助商、竞争性的投标过程、竞拍、平台服务费用等等中得到。费用结构和投标可以至少部分地基于与虚拟视频内容相关联的相关度得分。
[0068]在实施例中，数据集成技术和方法可以被用作虚拟广告平台120的一部分，如这里所述，以收集、加入、融合、验证、分析、和执行针对数字视频数据、虚拟视频内容数据、用户数据、客户端设备数据(例如，用于与虚拟视频内容进行交互的应用)、和这里所述的其他数据类型的其他数据处理操作。数据集成技术和方法可被用于处理从多个数字视频数据源中收集的信息从而得出来自所收集的信息中的推论(inference)，基于新近接收的信息识别对于数据库的可能的改变、以及基于该推论验证该对于数据库的改变。
[0069]在实施例中，数据集成技术和方法可以被用于从多个数字视频数据源中提取信息等等，数据源具有多个区别数据类型，将来自数据源的数据转换为例如能够在虚拟广告平台120所使用的数据库中表示的数据类型，从而数据库集成了来自该区别数据类型的信肩、O
[0070]在实施例中，区别数据类型可以从包括以下各项的群组中选择:内容数据、用户数据、与视频内容和虚拟视频内容有关的上下文信息、用户行为信息(包括用户简档)、人数统计信息、使用历史、以及如这里所述的其他数据源和数据类型。在实施例中，数据集成技术和方法可以被用于例如通过规则引擎应用于数据集的创建、更新和维护相连的规则，该规则例如是与虚拟广告平台120相关联地存储或使用的一个数据集。规则引擎可适用于次要改变数据，就是说，来自一个或多个数据源并且指示需要在数据集中进行改变的数据；或者该规则引擎可适用于推论数据，就是说从一个或多个数据集中的推论得出的数据。例如，规则可以指示:如果次要数据源确认了推论，或者如果推论与由数据源所指示的数据相一致，那么将在数据集中作出改变。相似地，规则可能要求多个确认，例如在确认对数据集的改变(或者数据集中的新特征或属性的创建)之前要求多于一个的数据集或者多于一个的推论。规则可要求任意固定数目的确认，无论是通过其他数据集还是通过从这些数据集中得出的推论。规则还可以实现各种处理或者工作流，例如要求特定的人或实体批准给定类型的改变或者对于特定类型的数据的改变。
[0071]在实施例中，数据集成技术和方法可以被用于:从多个数字视频数据源中提取信息(数字视频数据源具有多个区别数据类型)、在通用数据集中存储数据、考虑与数据库(例如，与虚拟广告平台120相关联的数据库)相关联的改变请求、以及使用通用数据集来验证该改变请求。
[0072]在实施例中，数据集成技术和方法可以被用于:从多个数字视频数据源中提取信息(数字视频数据源具有多个不同的数据类型)、在通用数据集中存储数据，考虑通用数据集来识别对于数据库(例如，与虚拟广告平台120相关联的数据库)的可能改变、以及基于通用数据集发起改变请求。
[0073]在实施例中，数据集成设施可被用于集成来自多个数字视频数据源的数据，该数据源包括与虚拟广告平台120相关的属性，其中数据集成设施是从包括以下设施的群组中选择的:提取设施、数据转换设施、载入设施、消息代理、连接器、服务导向的结构、队列、桥接、爬虫(spider)、过滤设施、聚类设施、推送设施、和搜索设施。
[0074]在实施例中，数据集成设施可以用于:集成来自多个数字视频数据源的数据、收到根据对于由多个数据源收集的数据的分析得出的推论、应用数据集成规则来确定应用该推论的范围、以及基于该规则的应用来更新数据集。
[0075]在实施例中，数据集成设施可以用于:集成来自多个数字视频数据源的数据、收到根据对于由多个数据源收集的数据的分析得出的推论、应用数据集成规则阶层(rulehierarchy)来确定应用该推论的范围、以及基于该规则的应用来更新数据集。
[0076]在实施例中，数据集成设施可以提供规则阶层来确定在与系统(例如，虚拟广告平台120)有关数据集中使用的数据类型，规则阶层基于以下各项中的至少一项来应用规则:数据项、数据项的丰富性(richness)、数据项的可靠性、数据项的新鲜度、以及数据项的源，并且在数据集成规则矩阵中展示了规则阶层，其中矩阵辅助不同的规则阶层到不同类型的数据的应用。
[0077]在实施例中，数据集成设施可以用于:集成来自多个数字视频数据源的数据、收到根据对于由数据源收集的数据的分析得出的推论、应用数据集成规则矩阵来确定应用该推论的范围、以及基于该规则的应用来更新数据集。
[0078]数据集成设施可以与诸如虚拟广告平台120之类的系统相关联地使用，以迭代地收集数据并作出关于数据的推论，该数据被收集以用于虚拟广告平台120中的使用。可以多次地或者作为进行中的过程连续地执行迭代以收集并作出关于数据属性的推论。迭代可以是整个数据集(例如，用户的整个虚拟视频内容使用历史)的函数，或者特定数据段(例如，小于24小时的虚拟视频内容使用历史)的函数。数据属性可以被存储以用于后续的与先前收集的数据推论属性的比较。在实施例中，此过程可以是连续的，并且表示进行中的对于所推论的属性的比较，从而检测随时间的差异。
[0079]数据集成设施可以包括桥接、消息代理、队列和连接器中的至少一项。因此，有用的数据源可以经由计算机代码、硬件、或二者与数据集成设施相关联，该计算机代码、硬件、或二者建立了源与数据集成设施之间的连接。例如，桥接可以包括执行以下动作的代码:收到原始数据类型的数据(例如，标记语言格式的数据)、提取数据的有关部分、并将该数据转换为不同的格式，例如适合于存储在虚拟广告平台120中使用或者被虚拟广告平台120的用户使用的数据的格式。消息代理可以从数据源中提取数据、将数据放置到队列或存储位置中以用于到目标位置(例如，虚拟广告平台120服务器)的递送、以及在合适的时间并以合适的格式将数据递送至目标位置(例如，到虚拟广告平台120的用户)。在实施例中，目标位置可以是虚拟广告平台120数据库、数据集市(data mart)、元数据设施、或者用于在虚拟广告平台120内存储或关联属性的设施。连接器可以包括适合于在具有或者不具有中间设施(例如，数据集市或者数据袋(data bag))的情况下，连接源与目标数据设施的应用编程接口或者其他代码。连接器例如可以包括AJAX代码、SOAP连接器、Java连接器、WSDL连接器等等。
[0080]在实施例中，数据集成设施可以用于集成来自多个数字视频数据源的数据，数据源包括例如与虚拟广告平台120相关的属性。数据集成设施可以包括推送设施。推送设施可以用适合的格式来发布信息，以被计算机、服务等等进一步用于帮助虚拟广告平台120数据库的创建、更新或者维护，该数据库例如是与用户行为简档有关的一个数据库、发行商、或者被虚拟广告平台120使用的某一其他类型的数据，如这里所述。例如，推送设施可以用RSS、XML、OPML或类似的格式来发布有关数据，该数据例如是用户数据、无线运营商数据、广告转换数据、发行商数据、以及可被虚拟广告平台120使用的许多其他类型的信息。推送设施可以被数据集成设施配置为直接将数据馈入虚拟广告平台120数据库(例如，用户简档数据库)，从而向数据库的相关域中填充数据，填充数据库的属性，填充数据库中的元数据等等。在实施例中，所推送的数据可以与规则引擎相结合地使用，例如以帮助各种推论处理，帮助确认其他数据等等。
[0081 ] 在实施例中，数据集成设施可以包括服务导向的架构设施。在服务导向的架构设施中，一个或多个数据集成步骤可以被部署为可各种计算机和服务可访问的服务，该可访问的服务包括有助于诸如用户简档数据库等等的虚拟广告平台120数据库的开发、更新和维护。服务可以包括诸如通过实现规则、规则的阶层等等帮助推理的服务，例如来帮助来自各种源的数据的确认。服务可以以带有关于如何访问该服务的信息的形式被发布到注册表中，从而使得各种数据集成设施可以使用该服务。访问可以是AP1、连接器等等，例如使用web服务定义语言、企业级Java beans、或者适合于在服务导向的架构中管理数据集成的各种其他代码。
[0082]在实施例中，数据集成设施可以包括以下各项中的至少一项:爬取设施(spidering facility)、web 抓取器(crawler)、聚类设施、撷取设施(scraping facility)和过滤设施。爬取设施或者其他类似设施因此可以搜索数据(例如来自各种域、服务、运营商、发行商和源的可用的数据，在互联网或者其他网络上可用的数据)、提取数据(例如通过撷取或聚类看起来是适合类型的数据)、基于各种过滤器来过滤数据、并且递送数据例如到虚拟广告平台120数据库。因此，通过爬取有关的数据源，数据集成设施可以找到有关数据，如用户行为数据、与内容有关的上下文数据、发行商数据、以及很多其他类型(这里先前所述的类型)的信息。有关数据可以被推论引擎用于:作出推论、支持推论、驳回推论，例如来帮助虚拟广告平台120数据库的创建、维护或者更新。数据还可以用于:直接填充数据段、填充与数据项相关联的属性、或者提供元数据。
[0083]可以部分或者全部通过网络基础结构来部署这里描述的方法和系统。网络基础结构可以包括如本领域已知的元件，比如计算设备、服务器、路由器、集线器、防火墙、客户端、个人计算机、通信设备、路由设备以及其它有源和无源设备、模块和/或部件。与网络基础结构关联的(一个或多个)计算和/或非计算设备可以除了其它组件之外还包括存储介质，比如闪存、缓冲器、栈、RAM、ROM等。这里和别处描述的过程、方法、程序代码、指令可以由一个或者多个网络基础结构元件来执行。
[0084]可以在具有多个小区的蜂窝网络上实施这里和别处描述的方法、程序代码和指令。蜂窝网络可以是频分多址(FDMA)网络或者码分多址(CDMA)网络。蜂窝网络可以包括移动设备、小区站点、基站、转发器、天线、塔等。蜂窝网络可以是GSM、GPRS、3G、EVD0、网格或者其它网络类型。
[0085]可以在移动设备上或者通过移动设备实施这里和别处描述的方法、程序代码和指令。移动设备可以包括导航设备、蜂窝电话、移动电话、移动个人数字助理、膝上型计算机、掌上型计算机、笔记本计算机、寻呼机、电子书阅读器、音乐播放器等。这些设备除了其它部件之外还可以包括存储介质(比如闪存、缓冲器、RAM、ROM和一个或者多个计算设备)。可以使得与移动设备关联的计算设备能够执行存储于其上的程序代码、方法和指令。备选地，移动设备可以被配置成与其它设备协作执行指令。移动设备可以与如下基站通信，这些基站与服务器对接并且配置成执行程序代码。移动设备可以在对等网络、网格网络或者其它通信网络上通信。程序代码可以存储于与服务器关联的存储介质上并且由嵌入于服务器内的计算设备执行。基站可以包括计算设备和存储介质。存储介质可以存储与基站关联的计算设备执行的程序代码和指令。
[0086]可以在如下机器可读介质上存储和/或访问计算机软件、程序代码和/或指令，该介质可以包括:保持用于计算的数据达某一时间间隔的计算机部件、设备和记录介质；称为随机存取存储器(RAM)的半导体存储器；通常用于更持久存储的海量存储器，比如光盘、磁存储器的形式(如硬盘、磁带、磁鼓、磁卡和其它类型)；处理器寄存器、高速缓存存储器、易失性存储器、非易失性存储器；光学存储器(比如CD、DVD);可拆卸介质，比如闪存(例如，USB棒或者USB密钥)、软盘、磁带、纸带、打孔卡、独立RAM盘、Zip驱动、可拆卸海量存储器、离线等；其它计算机存储器，比如动态存储器、静态存储器、读/写存储器、可变存储器、只读、随机存取、顺序存取、位置可寻址、文件可寻址、内容可寻址、网络附着存储器、存储区域网络、条形码、磁墨等。
[0087]这里描述的方法和系统可以将物理和/或无形项从一个状态变换成另一状态。这里描述的方法和系统也可以将代表物理和/或无形项的数据从一个状态变换成另一状态。
[0088]可以用适合于特定应用的硬件、软件或者硬件和软件的任何组合来实现上文描述的方法和/或过程及其步骤。硬件可以包括通用计算机和/或专用计算设备或者具体计算设备或者具体计算设备的特定方面或者部件。可以在一个或者多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或者其它可编程设备以及内部和/或外部存储器中实现过程。也可以或者替代地在可以配置成处理电子信号的专用集成电路、可编程门阵列、可编程阵列逻辑或者任何其它设备或者设备组合中体现过程。还将理解一个或者多个过程可以实现为能够在机器可读介质上执行的计算机可执行代码。
[0089]可以使用如下结构化编程语言(比如C)、面向对象编程语言(比如C++)或者任何其它高级或者低级编程语言(包括汇编语言、硬件描述语言以及数据库编程语言和技术)来产生计算机可执行代码，其中可以存储、编译或者解译所述编程语言以在上述设备之一以及处理器、处理器架构的异构组合或者不同硬件和软件的组合或者能够执行程序指令的任何其它机器上运行。
[0090]因此，在一个方面中，可以在如下计算机可执行代码中体现上文描述的每种方法及其组合，该代码在一个或者多个计算设备上执行时执行其步骤。在另一方面中，方法可以体现于执行其步骤的系统中并且可以用许多方式分布于设备上，或者所有功能可以集成到专用、独立设备或者其它硬件中。在另一方面中，用于执行与上文描述的过程关联的步骤的装置可以包括上文描述的任何硬件和/或软件。所有这样的排列和组合旨在于落入本公开内容的范围内。
[0091]尽管结合详细示出和描述的优选实施例已公开了本发明，但是对其的各种修改和改进对本领域技术人员将变得容易明白。因而本发明的精神和范围将不受前述示例的限制而是应以法律可允许的最广泛意义上来理解。
【权利要求】
1.一种使用三维仿真来量化二维视频图像的区域的空间变更的系统，该空间变更是由所述区域在第一视频帧和第二视频帧之间的移动引起的，所述系统包括具有已在其上存储了指令的非暂态计算机可读介质的计算机，当该指令被所述计算机的处理器执行时，使得所述处理器执行以下步骤: 接收二维数字视频数据馈入； 至少部分地基于在所述二维数字视频数据馈入的帧内的多个空间区域上应用几何表面，在仿真环境内构建所述二维数字视频数据馈入的三维仿真，其中所述多个空间区域是至少部分地通过所述二维数字视频数据馈入的坐标映射来定义的； 将在第一视频帧内的、所述多个空间区域中的一空间区域映射到所述空间区域在第二视频帧内的位置，其中所述第二视频帧是在第一帧随后的时间中被捕获的，该映射通过执行以下步骤来实现: 步骤一:至少部分地基于所述空间区域在所述二维视频数据馈入内的映射坐标，选择所述第一视频帧内的空间区域； 步骤二:通过量化所述空间区域在所述第一视频帧内应用的几何表面与在所述第二视频帧中应用的几何表面之间的差异，来识别所述第二视频帧内对于所述空间区域的几何变化；以及 步骤三:将被量化的差异归纳为三维映射矩阵； 通过执行步骤一、步骤二、和步骤三，迭代地处理所述二维数字视频馈入内的多个视频帧中的每个视频帧，以创建多个三维映射矩阵；以及 将所述多个三维映射矩阵间的数量的关联归纳为三维映射算法，其中所述三维映射算法至少部分地定义了三维几何位置数据，该三维几何位置数据使得对于所述多个视频帧中固有的空间区域的几何变化能够被应用到未呈现在所述二维数字视频数据馈入中的虚拟数字视频图像。
2.如权利要求1所述的系统，其中所述虚拟数字视频图像是被插入到所述二维数字数据馈入的空间区域中并替换了所述空间区域的广告，并且所述二维数字视频图像被重新组合为新的虚拟数字视频馈入。
3.如权利要求1所述的系统，其中所述数字视频馈入是从红外相机中得到的。
4.如权利要求1所述的系统，其中所述数字视频馈入是从现场事件中接收的。
5.如权利要求1所述的系统，其中所述数字视频馈入是从已存储的数字视频介质中接收的。
6.如权利要求5所述的系统，其中所述已存储的数字视频介质是DVD。
7.如权利要求5所述的系统，其中所述数字视频馈入是从互联网接收的。
8.如权利要求8所述的系统，其中对于所述空间区域的选择还基于所述空间区域的映射坐标与存储于与所述三维仿真环境相关联的数据设施内的已知空间特性之间的相互关联。
9.如权利要求8所述的系统，其中所述已知空间特性是广告logo。
10.如权利要求8所述的系统，其中所述已知空间特性是衣物类商品。
11.一种使用三维映射算法在基于互联网的视频流内插入虚拟图像的系统，所述系统包括具有已在其上存储了指令的非暂态计算机可读介质的计算机，当该指令被所述计算机的处理器执行时，使得所述处理器执行以下步骤: 从用户接收查看来自互联网的二维数字视频数据馈入的请求； 选择虚拟数字图像； 将三维映射算法应用于所述虚拟数字图像，其中所述三维映射算法使得所述虚拟数字图像在所述二维数字数据馈入内的多个帧内替代所述二维数字馈入内的空间区域而被重新组合，并且其中所述三维映射算法使得能够对所述二维数字视频数据馈入内的多个视频帧内的空间区域中呈现的所述虚拟数字图像应用类似的几何变化；以及 将重新组合的数字数据馈入发送至用户进行显示，其中所述重新组合的数字数据馈入是包括替代了所述空间区域的所述虚拟数字图像的虚拟化的数字数据馈入。
12.如权利要求11所述的系统，其中所述请求伴随着与所述用户的特性有关的至少一个资料，并且对于虚拟数字图像的选择至少部分地基于与所述资料的相关性。
13.如权利要求12所述的系统，其中所述虚拟数字图像是受赞助的内容。
14.如权利要求12所述的系统，其中所述虚拟数字图像是与所述二维数字视频馈入的至少一部分有关的广告logo。
15.如权利要求14所述的系统，其中与所述广告logo的相关性至少部分地基于所述广告logo与在所述二维数字视频馈入中识别出的第二 logo之间已存储的关联，其中对于所述第二 logo的检测至少部分地基于在所述二维数字视频馈入中识别出的图像与存储于数据库中的logo之间的量化匹配。
16.如权利要求15所述的系统，其中相关性还基于与所述二维数字视频馈入相关联的几何位置。
17.如权利要求15所述的系统，其中所述相关性还基于与重新组合的数字视频馈入将被发送到的客户端设备相关联的几何位置。
18.一种使用三维映射算法内插视频数据来替换损坏的数字视频数据以及在二维数字视频馈入内插入虚拟图像的系统，所述系统包括具有已在其上存储了指令的非暂态计算机可读介质的计算机，当该指令被所述计算机的处理器执行时，使得所述处理器执行以下步骤: 接收二维数字视频数据馈入，其中所述二维视频数据馈入内的多个帧内的空间区域包括由于损坏的数字视频数据导致的广告的部分描绘； 使用图像矩阵算法来计算所述空间区域内未损坏的数字视频数据与已存储的数字视频图像的集的相关性； 至少部分地基于所计算的相关性，识别已存储的数字视频图像； 至少部分地基于所识别的已存储的数字视频图像，选择虚拟数字图像； 将三维映射算法应用于所述虚拟数字图像，其中所述三维映射算法使得所述虚拟数字图像在所述二维数字数据馈入内的多个帧内替代所述二维数字馈入内的空间区域而被重新组合，并且其中所述三维映射算法使得能够对所述二维数字视频数据馈入内的多个视频帧内的空间区域中呈现的所述虚拟数字图像应用类似的几何变化；以及 将重新组合的数字数据馈入发送至用户以进行显示，其中所述重新组合的数字数据馈入是包括替代了所述空间区域的 所述虚拟数字图像的虚拟化的数字数据馈入。
19.如权利要求18所述的系统，其中所述虚拟数字图像是所述部分图像的完整版本，其中所述虚拟数字图像是至少部分地基于使用已存储的数字视频图像被内插的数字视频数据来创建的。
20.如权利要求18所述的系统，其中所述损坏的数字视频数据至少部分是由在所述二维数字视频数据馈入 内描绘的对象的物理变形而引起的。
【文档编号】G06T19/00GK103907137SQ201280052863
【公开日】2014年7月2日 申请日期:2012年2月27日 优先权日:2011年8月31日
【发明者】卡雷尔·保罗·斯蒂凡 申请人:岩石国际集团私人有限公司