在Web上的媒体共享和创作的制作方法

专利名称：在Web上的媒体共享和创作的制作方法
在Web上的媒体共享和创作些旦 冃眾许多人认为搜索技术是导航因特网上日益增长的媒体(视频/音频/图 像)集的关键。此外，随着媒体呈现出不同的形式、类型、品质、内容等， 产生了对于导航和识别特定媒体的搜索能力的需求。更进一步地，为了促 进内容的广泛传播，技术应当在考虑搜索和浏览能力的同时考虑能促进此 种传播的创作能力。视频或许因大小/品质以及编解码器问题而提出了最大 的挑战，更遑论伴有音频的视频。如在此说明的那样，多种示例性技术解决媒体(例如视频、音频、图片等等)的创作、分享、搜索以及浏览的 需求和/或其他需求。概述为了媒体共享和创作， 一个示范系统与Web或其他联网环境协同运 行。在一个终端对终端的实现例子中，此种系统包括用于可升级(scalable) 的视频编码、多媒体内容分析、和基于模版的媒体创作的各种示范技术。 可升级的编解码器解决数据传输问题，多媒体内容分析特征促进视频编辑 和元数据生成(需要时)，而基于模版的媒体创作降低了媒体共享和创作 的工作量。在此描述的各种个例子与因特网协同运行，以证明示例性系统 和各种示范技术的效率。在此描述的示例性搜索及相关技术有助于导航因特网上日益增长的 媒体(例如视频、音频、图片等等)的集合或资源。各种示例性技术在 Web上提供媒体的高效和可升级的视频编辑、浏览、和共享。


参考以下的附图描述非限制性且非穷举的示例-图1是一个用于媒体的获取、储存、浏览、和创作的示例性系统的框图；图2是一个示例性内容分析程序的框图，同时示出的还有适用于此类 分析的各种过滤器；图3是一个示例性元数据及媒体共享程序的框图；图4是用于示例性系统的示例性桌面用户界面和相关方法的图；图5是用于示例性系统的示例性搜索和浏览用户界面以及相关方法的图；图6是用于示例性系统的示例性模版和相关方法的图； 图7是一个示例性计算设备的框图。详述以下的描述包括目前设想中最佳的模式。在此描述的技术一般地涉及 信息界面和信息呈现、多媒体信息系统(例如视频、音频、等等)、用 于视觉(vision)和场景理解(例如视频分析等)的人工智能。各种示例 性技术涉及视频编辑、多媒体内容分析、多媒体共享、多媒体管理、和/ 或基于模版的视频创作。公开了通过使用硬件，通常是使用软件来实现的 各种算法。各种示例性技术可以通过使用在诸如由一个或多个网络连接的计算 机系统的计算环境中的组件实现。最近推介并迅速普及的消费者数码照相机和视频可携式摄像机已经 重新定义了媒体(照片和视频)管理、创作/编辑、和共享工具的前景。现 有视频编辑工具可以粗略地分成两类。 一类是高端专业编辑系统，而另一 类是中低端编辑工具。虽然第一类的编辑工具存在某些灵活性和编辑功能，但是用户经常需 要复杂的编辑技巧和审美观。同时，学习这些工具对于一个用户来说需要 花费很大的精力。此外，在使用这些工具时，视频编辑工作仍然是耗时且 枯燥的。至于第二类编辑工具，借助于由智能媒体内容分析技术驱动的自动视 频编辑方法，此类工具可以使视频编辑工作简单得多。此外，还有一些自 动的或半自动的编辑方法可用。关于工具的示例，根据大量的"不相称(unsuitability)"得分，"相称" 工具可检测出相称的视频媒体剪辑。此类工具使用户得以在情节串连图板 中组织相称的剪辑，并且得以自动地串接产生最终的视频。在另一个示例 中，自动音乐视频生成工具可基于涉及照相机运动和图像对比的视频不相 称的计算做内容选择。自动化家庭视频编辑方案提供通过选择合意的高质 量剪辑并把它们用过渡效果和配乐连接起来而动态地凸显家庭视频内容 的工具。作为自动化家庭视频编辑方案的示例， 一个或多个工具允许从视频中 提取次镜头(sub-shot)并允许为所提取的次镜头中的至少一部分计算重要 性量度。然后一个工具可以确定与其它次镜头的重要性度量相比具有较高 重要性度量的次镜头的相应相对分布。在此等示例中，基于所确定的相对 分布，关于在特定分配中的其它次镜头，那些不展示出统一分布的次镜头 可以被弃去，而余下的次镜头(例如，通过相应镜头过渡所连接的)可用 来组成一个视频摘要。 一个工具可以添加独立的音乐来源(例如，作为配乐)，例如通过将次镜头的边界与乐拍对齐并且使次镜头的运动强度与音乐氛围相配合。一般十分庞大的媒体数据的体积会妨碍个人媒体的共享。基于创作的共享，即分享创作的(概要的)媒体可以大大地减轻数据传输的负担；然 而，由于缺少合适的媒体创作工具和共享平台，这个问题仍远未彻底解决。 在此描述的各种示例性技术可以被用来创作一个示例性的基于Web 的用于媒体创作的方案或系统。此等示例性系统可使用户得以有效地在上 共享和创作Web个人媒体。如上文所述，示例性系统可包括下面的三种组 件技术可升级的视频编码，智能多媒体内容分析，以及基于模版的媒体 创作。如在此论述的，可升级的视频编解码器解决数据传输，多媒体内容分 析促进自动视频编辑，而基于模版的媒体创作可降低媒体共享和创作的工 作量。基于Web的媒体创作可为普通用户提供共享媒体经验的更广阔的空 间，并为用户提供获取供进一步应用的原始媒体资料的更宽阔的渠道。关于可升级的视频编码，可升级的编码流使得在无需为每个类型的设 备维护或获取单独的编码流的情况下，可使用多种不同设备访问媒体内容。 一种示例性体系结构允许系统自适应性地访问可升级的媒体编码流， 实现两个目的提高资源的有效使用，充分利用可升级的媒体编码流来支 撑多个不同的应用软件。在此示例中，编码流的最小编码单位，如宏块(macroblock)(例如在选定的水平上提供对内容的访问)可以被对等系 统或对等层以小信息包(packettes)的形式收集。此类小信息包可以在常规的 传输包中传送。如此，这种示例性的体系结构得适应性地访问对于在交换 编码流的系统上的应用软件和传输层皆透明的可升级的编码流。这样的类体系结构支持包括以下操作在内的应用允许多个设备各自在所需的层次上接收内容而无需交互完整的编码流，在设备之间的内容转换(content shifting)以便于设备漫游，以及访问层次转换以适应可用存储器或其它权 能的变化。下面有不同部分(从2到7)。简言之，第2部分介绍了示例性的基于 Web的编辑系统的体系结构。第3部分介绍了在客户处应用的预处理操作， 接着在第4部分介绍了能够在社区服务器上执行的操作。在第5部分中， 介绍了在web上实现创作的各种技术的演示例子及创作模版。第6部分介 绍了各种示例性技术，而第7部分涉及适合用于实现各种示例性组件以及 用于组成示例性系统的示例性计算环境。第2部分示例性系统图1展示了一个包括各种层的示例性系统100:获取和/或分析层110; 库桌面层120;库web层130;以及浏览、搜索和创作层140。还包括一个 在库桌面层120和库web层130之间提供信息传输的共享控件123。这些 层可包括一个或多个相关联的模块。例如，如图所示，层110包括用于原 始媒体数据获取的获取模块112和用于媒体内容分析的分析模块114。浏 览、搜索和创作层140包括浏览和搜索模块142、创作模块144、和诸如 播放/预览模块146、输出/保存模块147、和共享模块148之类的一个或多 个命令模块。各种模块可作为层间或层内的接口运行。库桌面层120包括用于诸如使用可升级的视频编码法编码的视频媒体 之类的媒体的个人媒体库122和元数据库124，库124可储存与媒体内容 相关联的元数据，比如来自媒体内容过滤器的元数据。库web层130包括用于诸如任选地服从于可升级的视频编码的视频媒体的社区媒体库132、 以及社区元数据库134。控件模块或界面123允许在一个或多个库之间传 递或传输信息，例如在桌面客户库和社区服务器库之间。一个或多个用户可使用与桌面客户相关联的模块(例如模块112)将 媒体数据输入桌面客户，其中媒体数据包括由可升级的视频编解码器编码 的视频数据。包括分析算法的内容分析模块(例如模块114)随之可应用 于媒体数据。模块可在桌面客户上构建个人媒体库(例如库122)和元库 (例如库124)或者访问一个或多个现有的桌面客户库以存储媒体数据。与桌面客户相关联的共享控件(例如控件123)随后可使一个或多个 用户共享所有的或部分的元数据、以及在服务器上的所有的或部分的预定 质量(例如在低清晰度、低帧速度、和/或高压縮率方面低质量)的媒体 数据。例如，控件123可将此类信息上传至社区web层130 (例如包括一 个或多个服务器)。共享模块可使一个或多个用户通过一个统一的管理界 面控制在桌面客户和web (例如社区web)上的共享许可。在图1的示例中，社区web服务器维护社区媒体库132和元数据库 134。通常，这样的元数据库涵盖更多的媒体数据，并且可链接于一个个 用户的电脑中的媒体数据库，例如依照适当的许可控件。在图1的系统100中，从服务器角度， 一个或多个基于web的应用提 供网络浏览、搜索和创作(例如模块142,144)的能力。在一个实现中， 创作的结果可在web上用低清晰度和/或低帧速度播放(预览)，而如果 用户可从数据拥有者那里得到数据流的许可，那么就可以创建较高质量的 媒体(例如根据用户的共享控件)。所创建的内容可以包含各种类型的数 据(例如，无需局限于实媒体数据；可以是小型的描述文件)，可在一个 或多个社区服务器上共享。第3部分在客户上的示例性预处理在社区服务器上创作和共享此类数据之前，各种的媒体数据预处理技 术可运用在客户上。在一个定示例中，可升级编码、内容分析和元数据共 享提供可在web上创作和共享之前的个人媒体数据预处理。图2展示了示例性内容处理技术200，其包括与获取模块112相关联的编码技术和与分析模块114相关联的过滤技术。获取模块112可获取各 种类型的媒体，例如视频102、图片104、和音乐106。关于编码法，具 体的示例包括可升级的视频编码(SVC)，如同在SVC模块120中所提供 的。3.1示例性的可升级的媒体编码SVC是基于web的媒体共享和创作系统100的基础中的一个。适合的 可升级视频编码机制可提供例如在包括因特网在内的IP网络、无线网络等 等上有效的可升级且健壮的流视频系统。示例性SVC机制宏块层次上应用多重循环预测和减飘技术，这使得该 机制在性能上超出MPEG-4 FGS最高达到3.0dB。通过嵌入的增强比特流 和通用可升级性，该示例性机制提供网络带宽和设备适应。有了带宽估计 方法，此类示例性机制可快速并稳定地捕捉带宽的变化。此外，示例性SVC 机制提供一种分层次的比特流结构一一较重要的基层和较不重要的增强 层，其可通过用小开销就能实现的误差回弹和非平衡保护技术实现高度保 护的基层比特流。示例性SVC机制实现了在因特网以更流畅的重放体验和 更好的视觉品质向一个或多个用户呈现视频。3.2示例性初步内容分析示例性分析模块114可以是系统100的基层组件。分析模块114可分 析诸如视频、图像和音乐内容之类的媒体内容220。如图2所示，分析模 块114通过运用一个或多个过滤器或算法222在媒体220上做处理产生结 果224。可扩展且开放的媒体内容分析模块可采用未来的内容算法。内容 分析工具可提供用较少的精力获得较多引人注目的创作结果的能力。媒体内容分析算法经常被认为是内容过滤器。图2中的示例性内容处 理200展示了视频过滤块202、图像过滤块204和音乐或音频过滤块206。 还展示了可供块202、 204、 206使用的各种示例。关于这种过滤器或算法，镜头探测过滤器可用作镜头探测的视频过滤 器，柱状图提取过滤器可被用作图像过滤器并应用于生成彩色柱状图等。 内容过滤器可以是在线过滤器或离线过滤器。在线过滤器要求对整个视频或音频流或图片文件做语法分析，从流中提取相应的基本元数据。而离线 过滤器无需对原始媒体数据做语法分析，直接从这些基本元数据中提取较 高层级的元数据。在线过滤器的示例包括镜头探测、时间标志、和柱状图 提取过滤器。离线过滤器包括场景探测、质量评估过滤器。如以上已述，分析模块114可在媒体220上应用一个或多个过滤器/ 算法222来产生结果224(例如信息)，该结果可能是元数据。分析模块114 可产生特定格式的结果224。例如， 一种示例性分析模块组件可任选地使 用诸如可扩展标记标记语言(例如XML等等)之类的标记语言存储所 有已提取或已生成的元数据。在此示例中，如果提取或产生新的元数据需 要，那么可用示例性组件撰写新的过滤器，例如基于过滤器模板(例如 基本0++类，等等)，然后将其作为插件插入分析模块114。示例性分析模 块可使高级用户继承预定的在线或离线基类，然后实现真实元数据提取功 能。关于视频过滤器202，镜头探测过滤器可包括若干个特征提取过滤器， 诸如关键帧选择过滤器、量化彩色柱状图过滤器、基于序数量度的签名过 滤器、相关图(correlegram)过滤器、脸部探测过滤器、注意力探测过滤 器、照相机/对象移动过滤器、意图探测器、语义分类/注解过滤器、以 及可能由内容创作者或浏览者添加的文本/关键字描述。关于"意图"过滤器，用户也许常常不得不尝试与搜索目标有关的多 个搜索关键字、和/或多重搜索迭代，以获得合理的相关结果，尤其当搜 索诸如图像之类的多媒体内容时。 一种示例性方案可运用从用户对搜索结 果的反应和/或从可从计算机挖掘出的关于用户的其它数据收集信息 (formation)的意图挖掘模块细化搜索。例如，意图挖掘模块可以通过执 行指令检査用户如何与搜索术语互动细化搜索(refine search)。在此示例 中，可呈现结果并且基于用户与结果的互动完成第二次修订的搜索。 一般 而言，基于意图的搜索目标在于基于挖掘用户的兴趣和行为完成并细化搜 索。另一方法使用一种可以把家庭视频分割成时间场景、镜头和分镜头的 模型。通过从分镜头衍生出视觉特征，该模型可自动地对摄影者的意图进 行分类。这样，以此方式，家庭视频可以按摄影者是否正在试图拍摄美丽的景色、特写、动作等等来编制索引。关于图像过滤器204 (例如照片过滤器，等等)，常常可以使用各种 视频过滤器，但视频专用过滤器除外，像镜头探测、关键帧提取和运动探测过滤器。关于音乐或视频过滤器，开始/节拍、速度(tempo)探测和重复模式探测过滤器等可得到支持。如在此所述，内容过滤器(例如，以及数据，包括通过这些过滤器提 取的元数据在内)可由各种基于内容的自动编辑方法使用。此外，此类数据还可方便用户有能力在创作时寻找到合适的原始媒体片断(参见第4部 分)。3.3示例性元数据和媒体数据共享示例性系统组件允许在桌面客户上提取的元数据被上传到服务器(例 如社区服务器)并共享给其它用户(例如社区中的用户)。如此的安排允许至少部分地基于此类元数据进行web上搜索。此类元数据可任选地 通过P2P网络链接至个人计算机上的原始媒体数据、以及可能共享在社区 服务器上的质量约束版本的媒体数据。在一种示例性系统中，用户不但可以控制与哪个用户或用户组共享的 哪一部分的视频或图片集，而且可以控制特定用户或用户组从服务器或 P2P网络中获取的质量(压縮率、清晰度和帧速度)。图3展示了一个包括使用图1中的示例性系统100的各种组件的示例 性元数据和媒体共享方法。如业已描述的，分析模块114 (例如与桌面 客户相关联的)可使用一个或多个过滤器220 (如过滤器/算法)从媒体 数据210 (例如 一个或多个媒体文件)中提取或生成信息230 (如元数据)。此类信息230可任选地格式化成标记语言(例如XML等等)。所产生的信息230可提供至桌面层120以便存储在一个或多个库122、 124中或者以便关联至这种层。控制模块123包括各种模块，比如——但 不限于——用于设定用户和/或组许可(例如存取、使用、使用的类型、 修改等等)的许可模块125和控制质量参数——任宣地部分地基于带宽、 用户能力、客户器能力、许可等——的质量模块127。在此示例中，控制 模块123作为库桌面层120和web层130以及任选地一个或多个其它层、用户或组129之间的接口。以下讨论与诸如社区服务器之类的服务器相关联的服务特征。第4部分服务器(例如社区服务器)上的服务如业已描述的，示例性系统可联合一个或多个服务器运行。这样的服 务器可以是服务一个或多个社区(例如数据共享社区等等)的社区服务 器。设置在社区Web服务器上的功能性可包括元数据(和部分的原始媒体 数据)存储、索引及搜索、以及提供一个用户界面(UI)让社区用户实现 web (例如Web、因特网)上的创作和共享。4.1:搜索、浏览和等级在服务器一侧(例如媒体共享社区侧)，元数据可以储存在结构良 好的数据库中，这样即可通过例如能够实现下列技术中的一项或多项的浏 览模块(例如图1中的模块142)进行快速搜索和浏览按关键字(例如内容所有者的输入和/或社区中其他浏览者的评论)； 按语义类(例如室内、室外、都市风景、山水风光、海滩、大海、 高山、和人物)；按意图类别(例如美丽的景色、动态事件、静态摄影、以及特写视图)；按照相机/摄影机运动类型和对象运动质量(例如"放大"、"高速运 动"、"慢速运动")；按主色(例如蓝色、绿色和红色)；按感觉质量量度(例如视频质量、运动质量、压縮率、帧速度和清 晰度)；按等级(例如由社区中浏览该数据的用户构建的)；以及 当进行搜索和浏览时，也可按聚焦的或选中的媒体数据的相似或有关的媒体数据(视频剪辑/照片)提供。当进行浏览时，通常向用户提供界面以便评级和评论。4.2: Web创作UI一种示例性Web创作UI设计成了向导形式，其可允许用户执行方便 地依计而行的不同步骤。图1的示例性系统IOO包括创作模块144，该模 块可提供这样的UI和相关的特征，比如模板等。在一种示例性方法中，第一步包括选择一个创作模板。候选模板可由 普通用户或商业组织设计。服务器可提供一组预定的模板，而用户也可设 计、修改或上传自己的模板。这些模板显著地简化了在web上创作媒体的 过程。关于创作模板，基于模板的多媒体创作可提供媒体内容分析的分析并 可有选择地应用内容明了型两层创作模板(content-aware two-layer authoring template)(例如内容描述模板和内容呈现模板)以提取媒体内 容。这样的两层创作模板方法可允许视频创作操作和视频呈现相分离。例 如， 一旦诸如视频的多媒体内容被创作(即生成)，所创作的内容就可以 以一种或多种其它的形式(例如根据用户的偏好)简单而灵活地呈现。 开放和可展开的多媒体创作和共享构架可支撑诸如核心组件如内容分析 算法、编辑方法、以及两层创作模板的动态更新之类的特征。此类方面可 显著地减轻用户在视频编辑方面所花的精力，而同时又保留了灵活性和个 性化。在此示例性方法中，第二步包括找到适合的内容来插入所选模板的时 隙(slot)。用户可使用在自己本地机器上的媒体数据，也可使用在web服 务器上的"搜索和浏览"功能找到在服务器上的共享媒体数据，然后把它 们拖入UI的特定时隙。对于共享的媒体数据，用户可能只看到有元数据 的縮略图，以及可能的低质量版本，由此查看选项的实现不至于影响创作 过程和结果。这个示例性方法的第三步包括播放或预览媒体(参见例如图1的块 146)。就在这个步骤之前，，编辑引擎(例如嵌入在web服务器上的)可 被用来根据用户提供的数据和相应的用户所选模板自动地合成用户的编 辑结果。在合成了时间线(timeline)(这一般是一个非常快的过程(例如， 不足5秒))之后，时间线播放器(例如块146)播放创作的内容(例如 内容合成文件)。在这个程序中，服务器可从服务器、或是P2P网络(例 如，在任一实例中皆使用可升级的视频流)上过个别人用户的电脑请求低质量的媒体数据。因此，用户可能希望把创作的内容导出或保存到本地的机器或磁盘等中。这样，描绘引擎(rendering engine)可请求媒体数据更高质量的版本 并为用户合成更高质量的最终结果。用户也可跳过真实视频的生成并决定 只保存描述文件而在晚些时候创作真实的内容。所导出的视频或描述文件 也可在一个或多个社区之内或之外的服务器上共享。此外，描述文件可以 以多种其它形式输出，例如网站、博客、流视频文件、DVD光碟等等。第5部分演示示例以下是示例性的基于web的媒体创作架构。当然，其它的安排和演示 例也可使用在此所述的各种示例组件。图4展示了一个桌面客户400的示例性主界面(UI)，此界面适合于 诸如原始媒体内容导入、内容分析元数据、媒体数据上传、和共享允许控 制之类的任务。虽然典型的媒体管理系统可能具这些特征中的某一些，但 这样的典型媒体管理系统一般不包括示例性主界面400所展示的上传和共 享控制功能。示例性UI400包括不同的任务/工具条402、 404、 406。文件组织特 征408提供文件(例如媒体、对象等等)的导航。 一旦选中了文件或数据， 显示区域414就显示媒体内容。与区域414中的内容相关联的属性在属性 显示区域416中显示，并任选地在诸如大小/清晰度/质量区域418和计 时器区域420之类的其它区域。运行状况可显示在诸如区域412的合适区 域。为了演示这个特定的子系统或组件，从一台典型的数码摄像机导入一 个小时的家庭视频剪辑(参见例如工具条404 "导入")。示例性系统可以 在进行导入时进行在线内容分析，并在此之后应用离线过滤器(参见例如 图2的分析模块114)。当然，将导入和过滤组合也是可行的，并且如果需 要或合适的话，可根据环境来实现。在此示例中，元数据储存在本地库(参 见例如图1的库桌面层120)，该库是本地机器(例如桌面客户)上浏览和 搜索功能的基础。此外，文本描述和/或其它注释可以添加到媒体内容中。用户随后可以作出使用示例性共享控件(参见例如图1的控件123)共享的决定。例如，用户可能决定在社区服务器上以低清晰度和低帧速度(例如帧大小80*60， 15fps)用整个视频的元数据共享3个剪辑(每个 约为3分钟)。然后，用户可点击按钮"Uploading (上传)"(参见例如工 具条404)，元数据和共享剪辑由此可上传到社区服务器(参见例如图1的 社区库层130)。图5展示了示例性浏览和搜索用户界面500，该界面可由web服务器 提供(参见例如图1的库web层130)。在此示例中，UI 500包括用户 识别符域502、星期域504、组织层次/目录域506、搜索结果显示区域 508 (例如显示低质量内容如缩略像)、关键字搜索域510、意图搜索 域5H、各种附加搜索域512 (例如语义、质量、主色、相机运动等等)、 一个或多个高级搜索特征514、 514'。搜索和浏览UI 500可独立运行，也可在创作过程(例如作为创作模块 的一部分)中运行。考虑这样的情况通过键入在上传前指定给剪辑的关 键字，例如"DaughterBirthday (女儿生日)"(参见例如关键字域510)搜 索前述共享剪辑中的一个。作为相应，UI500可连同各种剪辑信息(参见 例如域508)显示剪辑的縮略图。这样的示例性搜索工具可以运用模糊词来搜索想要的内容，例如，用 户可选择"户外/美丽的风景/主色蓝色(outdoor/beautiful scenery/dominant color: blue)"(参见例如域511/512)。选择了特定文件(例如，縮略图)后， UI 500可任选地显示附加详情或者可选择详情链接来提供附加的详情(参 见例如域508的"Detail(详情)》")。为了演示如何运用示例性系统在web上创作视频，考虑图6的情况， 其中显示了示例性描绘创作模板600。模板600包括层次/目录域602、临 近音频/音乐域606设置的连同时间区别的时隙域604。还可包括UI 500的 一个或多个特征(例如搜索域、内容显示域，等等)。根据一种示例性方法，会核查是否有一个或多个合适的模板存在于库 中。其次，在此示例中，模板"CDT"被选择，称为"圣诞狂欢晚会(Wild Christmas Party)"(参见域602)。然后可以在UI上描绘，可以是网页。接下来，用户可右击(或启动其它动作)代表尾章节(tail chapter) 的格子并右击弹出的视窗，然后把尾章节的持续时间从1分钟改成2分钟，并把编辑风格从"默认值(Default)"改成"慢动作(SlowMotion)"。修改后的模版可以保存(或领存)在模板库中。一个或多个用户可从库査看区中浏览/搜索和拖曳相关源视频剪辑和 图片集到一个或多个时隙中。例如，来自其它社区用户的全球圣诞晚会照片被放入先导时隙，有关圣诞夜准备工作的剪辑被拖入第一章。 一个或多 个用户也可把某些音乐片断从音乐库拖到时间线的音乐音轨上，例如，替 换默认的由原始模板指定的音乐。导出或保存步骤可被用来导出或保存编辑的结果。例如，考虑把上述 的描述文件导出成MPEG2格式的实际视频文件。用户可选择其它的格式， 例如网页类型的，然后以网页的形式输出结果。 一般而言，这样的过程不 创作视频，而是在网页上的特定縮略图被点击时，模板播放器将在描述文 件中定位相应的位置，即刻合成时间线，然后播放虚拟视频。第6部分各种示例性技术如在此描述的，示例性系统激活在web上编辑和共享个人媒体。在不 同示例中，示例性系统包括以下的示例性组件可升级的视频编码，媒体 内容分析和基于模板的媒体创作。这样的用于在web上创作媒体的示例性 媒体创作组件向用户提供了新奇的个人媒体共享和创作经历。虽然展示了各种用户界面，但其它用户界面也是可能的。此外，示例 性系统可嵌入更多智能媒体内容分析技术并提供更多引人入胜的创作模 板，这些模板可进一步提高处理媒体数据的效率。各种模块可集成进其它web应用软件特征，比如在市售web应用中可 以找到的那些。关于市售web应用，此类应用包括因特网服务的MSN 网络(微软公司，地址华盛顿州雷蒙德市)，GOOGLE搜索引擎应用(谷 歌有限公司，地址加利福尼亚州芒廷维尤)，YAHOO搜索引擎(雅虎有 限公司，地址加利福尼亚州桑尼维尔)。在此揭示的示例性技术可与此 类应用联合实现以扩展或取代特征和/或服务。例如，在www.msn.com上 显示的主页提供了多个特征的接入(例如搜索、web社区、电子邮件等 等)。种类或子类可被添加到此主页上，这样就可使得(例如启动等等) 示例性创作模板、示例性浏览或搜索模块等等可用。种类或子类可使以标记语言(例如XML等等)提供结果(例如媒体有关的元数据)的搜索模 块可用。各种示例性模板可任选地通过使用因特网链接的工具条(例如诸如关联于因特网服务的MSN网络的工具条之类的web应用软件工具条)访问。 一般而言，各种示例性方法可通过硬件的运用来实现。例如，软件形 式的处理器可执行指令可储存在一个或多个计算器可读媒体上并使用处 理器来执行。示例性方法可只依赖于硬件或依赖于硬件和软件和/或固件的 组合。各种示例性组件依靠算法实现控制逻辑(例如，单独运行的逻辑功 能、和结合诸如数据或用户输入等的输入信息)。示例性计算设备(参见 下文)可任选地包括用于执行示例性方法或其一部分的控制逻辑。第7部分示例性计算环境图7图解说明了一种计算设备800，该设备可用来实现各种示例性组 件并可用来组成一个示例性系统。例如，图1中的系统的服务器和客户可 包括设备800的各种特征。在非常基本的配置中，计算设备800通常包括至少一个处理器802和 系统存储器804。根据计算设备的具体配置和类型，系统存储器804可以 是易失性的(比如RAM)、非易失性的(比如ROM、闪存等等)、或这两 者的某种结合。系统存储器804通常包括操作系统805、 一个或多个程序 模块806，并且可包括程序数据807。操作系统806包括基于组件的架构 820，该构架支持组件(包括属性和事件)、对象、继承、多态性、反射， 并且提供面向对象的基于组件的应用程序设计接口 (API)，比如由位于华 盛顿州雷蒙德市的微软公司生产的.NET架构。操作系统805还包括示例性 主机架构900，比如——但不限于——示例性媒体架构。这个基本的配置 由虚线808划出界限。另一方面，终端可以具有较少的组件，但是会与拥 有此类基本配置的计算设备交互。计算设备800可具有附加的特征或功能。例如，计算设备800也可包 括附加的数据存储设备(可移动的和/或不可移动的)，例如磁盘、光碟或 磁带。此类附加存储器在图7中通过可移动的存储器809和不可移动的存 储器810图示。计算机存储介质可以任何用于存储诸如计算机可读指令、数据结构、程序模块、或其它数据之类的信息的方法或技术实现的包括易
失的和非易失的、可移动的和不可移动的介质。系统存储器804、可移动 存储器809和不可移动存储器810都是计算存储介质的示例。计算存储介 质包括但不仅限于RAM、 ROM、 EEPROM、闪存或其它存储器技术、 CD-ROM、数字通用盘(DVD)或其它光存储、卡式磁带、磁带、磁盘存 储器或其它磁存储设备、或任何其它用于存储所需信息以及可通过计算设 备800访问的介质。任何此类计算机存储介质可以是设备800的一部分。 计算设备800还可拥有输入设备812，例如键盘、鼠标、笔、语音输入设 备、触模输入设备等等。还可包括例如显示器、扬声器、打印机等等的输 出设备814。这些设备广为人知，在此就不详细说明了。
计算设备800还可包括通讯连接816，其允许本设备与其它计算设备 818通信，比如在网络(例如考虑上述的可包括一个或多个社区的web或 因特网网络)上。通讯连接816是通讯介质的一个示例。通讯介质通常包 含计算机可读指令、数据结构、程序模块、或其它处于诸如载波或其它输 送机制之类的经调制数据信号形式的数据，并包括任意信息传输介质。术 语"经调制的数据信号"是指其特性中的一个或多个以在信号中编码信息 方式被设定或改变了的信号。作为示例而非限制，通讯介质包括诸如有线 网络或专线连接之类的有线介质以及诸如声波、射频、红外线之类的无线 介质和其它无线介质。在此使用的术语计算机可读介质既包括存储介质也 包括和通讯介质。
虽然以结构特征和/或方法动作特异性的语言描述了本发明主题，但 是可以理解。在所附的要求书中限定的主题不必局限于上述的具体特征或 动作。相反地，上述的具体特征或动作是作为实现权利要求的方案的示例 形式公开的。
权利要求
1.一种方法，其包括获取数字视频数据；运用可升级的视频编码所述数字视频数据，生成可升级的编码数字视频数据；运用一个或多个视频过滤器分析所述可升级的编码的数字视频数据，生成关于可升级的编码的数字视频数据的信息；以及提供对所生成的信息的web访问。
2. 如权利要求l所述的方法，其特征在于，所述提供web访问包括 通过共享控制应用共享所述信息。
3. 如权利要求l所述的方法，其特征在于，所述提供web访问包括 将所述信息传送到基于web的元数据库，且其中所述信息包含元数据。
4. 如权利要求1所述的方法，还包括将可升级的编码的数字视频数 据传送到基于web的媒体库。
5. 如权利要求1所述的方法，其特征在于，所述提供对信息的web 访问包括设置许可。
6. 如权利要求5所述的方法，其特征在于，所述许可包含针对一个 或多个基于web的社区的许可。
7. 如权利要求1所述的方法，其特征在于，所述提供对信息的web 访问包括设置一个或多个视频质量参数。
8. 如权利要求1所述的方法，其特征在于，所生成的关于可升级的 编码的数字视频数据的信息包含内容信息。
9. 如权利要求1所述的方法，其特征在于，所生成的关于可升级的 编码的数字视频数据的信息包括视频质量信息。
10. 如权利要求l所述的方法，其特征在于，所述分析包括选自下组 的至少一个过滤器的使用镜头探测、次镜头探测、场景分组、运动探测、关键帧提取、彩色柱状图、注意力探测、质量评估、相关图、视频签名、 面部探测、意图探测、语义类、语义注解、关键字及文本描述过滤器。
11. 如权利要求l所述的方法，其特征在于，所述提供对信息的web 访问以可扩展标记语言的形式提供对所述信息的web访问。
12. 如权利要求1所述的方法，其特征在于，所述数字视频数据包括 数字视频数据和数字音频数据。
13. —种计算机可读介质，其特征在于包含执行如权利要求1所述的 方法的处理器可执行指令。
14. 一种方法，包括获取数字视频数据、数字图像数据和/或数字音乐数据； 如果所述获取获取的是数字视频数据，则使用可升级的视频编码对所述数字视频数据进行编码，生成可升级的编码的数字视频数据；如果所述获取获取的是数字图像数据，则对所述数字图像数据进行编码生成编码的数字图像数据；如果所述获取获取的是数字音乐数据，则对所述数字音乐数据进行编码生成编码的数字音乐数据；使用一个或多个过滤器分析所述编码的数字视频数据、所述编码的数 字图像数据和/或所述编码的数字音乐数据，以可扩展标记语言生成元数 据，所述元数据关于所述编码的数字视频数据、所述编码的数字图像数据 和/或所述编码的数字音乐数据；以及将可扩展标记语言形式的元数据传送至基于web的元数据库。
15. 如权利要求14所述的方法，其特征在于，所述分析包括使用选 自下组的至少一个过滤器起始、节拍探测、速度探测、重复探测、关键字和文本描述过滤器。
16. —种计算机可读介质，其特征在于包含执行如权利要求14所述的方法的处理器可执行指令。
17. —种在web上发起媒体搜索的方法，包括检索一组语义媒体相关的域条目、 一组质量媒体相关的域条目和一组意图媒体相关的域条目；显示语义域、质量域和意图域；接受指示用户已经一一任选地作为默认设置一一从相应诸组中选择 了语义、质量和意图的命令信号；以及响应于所述命令，在web上发起媒体搜索。
18. 如权利要求17所述的方法，还包括用可扩展标记语言接收搜索 结果。
19. 如权利要求17所述的方法，还包括显示媒体创作模板，以创作 基于从web检索的媒体的媒体、以创作可经由web访问的媒体和/或以创 作与所创作的媒体相关联的元数据可籍之经由web可访问的媒体。
20. —种计算机可读介质，其特征在于包含执行如权利要求17所述 的方法的处理器可执行的指令。
全文摘要
示例性的媒体浏览、搜索和创作工具允许经web的媒体交互。示例性的方法包括获取数字视频数据，运用可升级的视频编码数字视频数据以生成可升级的编码数字视频数据，运用一个或多个视频过滤器分析所述可升级的编码的数字视频数据，生成关于可升级的编码的数字视频数据的信息，并且提供对所生成的信息的web访问。也公开了各种其他的示例性技术。
文档编号G06Q99/00GK101300567SQ200680040416
公开日2008年11月5日 申请日期2006年10月30日 优先权日2005年10月31日
发明者S·李, X-S·华 申请人:微软公司