视频处理设备及方法

专利名称：视频处理设备及方法
技术领域：
本发明涉及一种视频处理设备，更具体地说，涉及对即将显示在视频播放 器上的视频信息的处理。
背景技术：
电影和其他视频内容通常使用35mm胶片以16: 9的宽高比进行撷取。在 电影进入一级市场时，将该35mm胶片复制并分发给各个电影院，从而将电 影卖给电影观众。例如，电影院一般通过使用高流明光束透射35mm胶片来将 电影投射在"大屏幕"上，进而供付费观众观看。 一旦脱离"大屏幕"，电影 通常就进入二级市场，通过销售其中包含电影的影碟或影带(例如VHS影带、 DVD、高清(HD) -DVD、蓝光DVD和其他录制媒体)来将电影分发给个人 观众。其他用于在二级市场中分发电影的方法，还包括通过互联网下载和通过 电视网络提供商广播。
为能通过二级市场进行分发，35mm电影内容将以每胶片帧为单位转换为 原始数字视频。要想达到HD的分辨率(resolution),每个胶片帧至少需要1920 X1080像素，对于片长为两小时的电影，这种原始数字视频需要大约25GB 的存储空间。为避免如此高的存储需求，通常使用编码器对原始数字视频进行 编码和压縮，从而大大降低存储需求。编码标准包括例如但不限于运动图象专 家组(MPEG) -1 、 MPEG-2、用于HD的增强型MPEG-2、 MPEG-4 AVC、 H.261 、 H.263以及活动图像和电视工程师协会(society of motion picture and television engineer,简称SMPTE) VC-l。
为了满足在电话机、个人数字助理(PDA)和其他手持设备上显示电影的 要求，通常通过互联网将压缩数字视频数据下载、上传或存储到手持设备上， 然后由手持设备对该视频数据进行解压和解码，以便显示在手持设备的视频显
示器上，进而展示给用户。然而，这种手持设备的尺寸通常会限制其上的视频
显示器(屏幕)的尺寸。例如，手持设备上的小屏幕通常只有2英寸(5.08cm) 长(对角线)。相比之下，电视机的屏幕通常为30—60英寸(76.2cm—152.4cm) (对角线测量)或更大。屏幕尺寸的差异对观众所能感觉得到的图象质量有着 较大的影响。
例如，常见的传统PDA和高端电话机屏幕具有与人眼相同的宽高比 (ratio)。在小屏幕上，人眼往往无法察觉微小细节，例如文本、面部特征和 远处的物体。例如，在电影院中，对于包含位于远处的演员和铁路标记的全景 场景来说，观众可以轻易地识别演员的面部表情并阅读标记上的文字。在HD 电视机屏幕上，观众也有可能做到这一点。但是，在转换到手持设备的小屏幕 上时，由于人眼的限制，往往不可能识别其面部特征和文字。
无论屏幕有多大，其分辨率不是受技术限制，就是受人眼的限制。但是， 在小屏幕上，这种限制更加明显。例如，常见的传统PDA和高端电话机屏幕 的宽高比为4: 3，通常能够显示分辨率为320X240像素的QVGA视频。相 比之下，HD电视机屏幕的宽高比通常为16: 9，且能显示分辨率高达1920X 1080像素的视频。在转换HD视频以便使其适合像素值小得多的小屏幕的过 程中，像素数据将进行合并，且将损失较多视频细节。将小屏幕上的像素值增 加到HD电视机的像素值水平能够避免上述转换过程，但是，如上所述，由于 人眼自身的限制，视频细节仍会损失。
通常使用视频编码转换和编辑系统将视频从一种格式和分辨率转换到另 一种格式和分辨率，以便在特定的屏幕上进行回放。例如，该系统可输入DVD 视频，且在进行转换过程之后，输出将在QVGA屏幕上重新播放的视频。转 换过程中还可使用交互编辑功能来生成经过编辑和转换后的输出视频。为了能 够支持多种不同的屏幕尺寸、分辨率和编码标准，需要生成多种输出视频流或 文件。
视频通常是以"大屏幕"格式撷取的，这种格式在供电影院观看时会收到 良好的效果。因为视频随后将进行编码转换，所以"大屏幕"格式视频可能不 足以支持转换到小屏幕尺寸。在这种情况下，还没有一种转换过程能够生成可
供小屏幕显示的合适视频。通过本文的介绍并参考附图，与本发明技术方案相 比，现有和传统方法的局限性和缺点对于本领域的技术人员来说将变得更加明 显。

发明内容
本发明涉及一种装置和操作方法，在


具体实施方式
和权利要求 中进行了详细的描述。
根据本发明的一方面，提供了一种可移动的存储媒介，它可由第一视频播 放器系统和第二视频播放器系统接纳并与其进行交互，所述第一视频播放器系 统带有具备第一显示器特征的第一视频显示器，所述第二视频播放器系统带有 具备第二显示器特征的第二视频显示器，所述第一显示器特征与所述第二显示 器特征不同，所述可移动的存储媒介包括
多个存储位置；
存储在所述多个存储位置的至少第一个存储位置中的视频数据全帧序列； 第一子帧元数据，被生成以适应至少第一显示器特征，它存储在所述多个
存储位置的至少第二个存储位置中；
所述第一子帧元数据定义了所述视频数据全帧序列中的第一多个子帧，所 述第一多个子帧中的每一个都具有与所述视频数据全帧序列中的所述第一多 个子帧之外的其它子帧不同的至少第一参数；
第二子帧元数据，被生成以适应至少第二显示器特征，它存储在所述多个 存储位置的至少第三个存储位置中；且
所述第二子帧元数据定义了所述视频数据全帧序列中的第二多个子帧，所 述第二多个子帧中的每一个都有具与所述视频数据全帧序列中的所述第二多 个子帧之外的其它子帧不同的至少第二参数。
优选地，所述第一视频播放器系统可读取和使用所述第一子帧元数据，从 而为所述第一显示器剪裁视频数据全帧序列；且
所述第二视频播放器系统可读取和使用所述第二子帧元数据，从而为所述 第二显示器剪裁视频数据全帧序列。
优选地，所述第一参数包括所述视频数据全帧序列中的子帧中心点。 优选地，所述第一视频播放器系统包括电视，所述第二视频播放器系统包 括计算机。
优选地，所述第一视频显示器包括手持设备的显示器。 优选地，所述存储媒介包括视频光碟。 优选地，所述存储媒介包括随机存取存储器。 优选地，所述存储媒介包括只读存储器。
优选地，所述可移动的存储媒介还包括位于所述多个存储位置的第四个存 储位置中的数字权限管理数据，所述数字权限管理数据与所述视频数据全帧序 列相关。
优选地，所述可移动的存储媒介还包括位于所述多个存储位置的第四个存 储位置中的数字权限管理数据，所述数字权限管理数据与所述第一子帧元数据 相关。
优选地，所述可移动存储媒介还包括 与所述视频数据全帧序列对应的音频数据；
与所述第一多个子帧对应的第一子帧音频数据；以及
与所述第二多个子帧对应的第二子帧音频数据。
优选地，所述第一显示器特征包括第一图像分辨率，所述第二显示器特征
包括第二图像分辨率。
优选地，所述第一显示器特征包括第一对角线尺寸，所述第二显示器特征
包括第二对角线尺寸，且所述第一对角线尺寸远大于所述第二对角线尺寸。 优选地，所述视频数据全帧序列包括已编码的视频数据全帧序列。 根据本发明的一个方面，提供了一种视频播放器电路，包括-接纳可移动媒介的媒介接口 ，所述可移动媒介上存储有全帧视频和多个子
帧元数据；
接口电路，可与具有至少一个显示器特征的显示器通信连接； 处理电路，基于所述至少一个显示器特征，从所述多个子帧元数据中选择 第一子帧元数据；
所述处理电路使用所述第一子帧元数据、根据所述全帧视频生成剪裁视
频；且
所述处理电路通过所述接口电路发送所述剪裁视频。 优选地，作为生成所述剪裁视频的一部分，所述处理电路依照补充信息执 行后处理。
优选地，所述视频播放器电路和所述显示器设置在单个壳体中。 优选地，所述视频播放器电路设置在第一壳体中，所述显示器设置在第二 壳体中。
优选地，所述视频播放器电路还包括用来解码所述全帧视频的解码器电路。
优选地，所述全帧视频具有第一分辨率，所述剪裁视频具有低于所述第一 分辨率的第二分辨率。
优选地，所述全帧视频具有第一宽高比，所述剪裁视频具有与所述第一宽 高比不同的第二宽高比。
优选地，至少一部分所述处理电路包括依据节目代码执行基本功能的通用 处理电路。
根据本发明的一个方面，提供了一种与可移动的存储媒介相关的方法，所
述方法包括
存储表示全屏视频序列的第一数据；
存储表示第一子帧元数据的第二数据，所述第二数据用于根据所述第一数
据生成第一剪裁视频，所述第一子帧元数据定义了所述全屏视频序列中的第一
子帧和所述全屏视频序列中的第二子帧，所述第一子帧具有与所述第二子帧不 同的至少一个特征；以及
存储表示第二子帧元数据的第三数据，所述第三数据用于根据所述第一数 据产生第二剪裁视频。
优选地，所述方法还包括分发所述可移动存储媒介。 优选地，所述第一数据是经过编码的。
优选地，所述方法还包括将所述可移动存储媒介连接到视频播放器系统。
优选地，所述方法还包括存储与数字权限管理相关的第四数据。 通过下面参考附图对本发明进行的具体描述，本发明的多个方面和优点将 变得更加清晰。

图1是根据本发明实施例构建的多个视频播放器系统和存储媒介的系统 示意图2是根据本发明实施例构建的视频播放器系统、存储媒介、以及多个分 发服务器的框图3是根据本发明实施例的通信架构的系统框图，其中包括多个视频播放 器系统、多个分发服务器以及附加的服务器；
图4是根据本发明实施例构建的视频撷取/子帧元数据生成系统的系统示 意图5是典型初始视频帧和对应子帧的示意图6是视频处理系统显示器的实施例的示意图，其中提供了包含用于创建
子帧的视频编辑工具的图形用户接口；
图7是典型初始视频帧和对应子帧的示意图8是子帧序列的典型子帧元数据的图表；
图9A是包括子帧编辑信息的典型子帧元数据的图表；
图9B是根据本发明实施例构建的可移动的存储媒介的框图10是根据本发明实施例构建的视频播放器系统的框图11是根据本发明实施例构建的视频播放器系统的框图12是根据本发明的分布式视频播放器系统的第一实施例的示意框图13是根据本发明的分布式视频播放器系统的第二实施例的示意框图14是根据本发明的分布式视频播放器系统的第三实施例的示意框图15是根据本发明的分布式视频播放器系统的第四实施例的示意框图16是根据本发明，用于在分布式视频播放器系统中传输视频数据、元
数据和其它信息的技术的系统示意图17是根据本发明实施例的视频处理和重播过程的流程图；以及 图18是根据本发明实施例的与可移动的存储媒介相关的方法流程图。
具体实施例方式
图1是根据本发明实施例构建的多个视频播放器系统和存储媒介的系统
示意图。根据本发明构建的存储媒介10可以是CDR0M、 DVDROM、电RAM、磁 MM、 ROM或者其它类型的存储设备，它们可存储数据并可被数字计算机使用。 存储媒介10可支持任何现有的或将来的视频格式，例如高清DVD格式、DVD 格式、磁带格式、蓝光DVD格式、RAM格式、R0M格式、或者可存储数据的其 它格式。存储媒介10为便携式，如在此将进一步描述的，可通信地连接到数 字计算机上。可使用有线链路、无线链路、媒介驱动器或者其他附加的技术， 使得数字计算机可从存储媒介10中读取(或写入)数据。
存储媒介10存储视频11、子帧元数据15、数字权限管理(DRM) /计费数 据19、原始音频数据102、以及音频元数据104。存储媒介10的结构和内容 将参照图9B做进一步描述。视频11包括编码源视频12、原始源视频14、己 改变宽高比/分辨率的视频13、以及经子帧处理后的视频17。子帧元数据15 包括相似显示器元数据16和目标显示器元数据18。视频播放器系统26、 28、 20或34使用子帧元数据15来处理视频数据11。创建和处理子帧元数据的方 式将会参照图4-18做进一步描述。
通常，视频播放器20、 26、 28或34中的任意一个用于接纳对应的媒介驱 动器中的存储媒介，或者通过对应的通信链路来接纳存储媒介。视频播放器系 统20、 26、 28或34中的每一个都支持一个或多个具有各自视频显示器特征的 视频显示器。由于编码源视频12和/或原始源视频14具有对应的宽高比、分 辨率以及可能与目标视频显示器不相对应的其它视频特征，视频播放器系统 20、 26、 28或34可使用子帧元数据15来处理视频数据11。视频播放器系统 20、 26、 28或34使用子帧元数据15处理视频数据11，从而生成具有与目标 显示器相对应的特征的视频数据。视频播放器系统20、 26、 28或34使用子帧 元数据15对视频数据11进行子帧处理的方法将参照图7和图9-18做进一步描述。
存储在存储媒介10上的视频数据11包括一个或多个媒介节目的多种格
式，例如，电视节目、电影、MPEG摘录等。编码源视频12可对应原始源视频 14，但是是编码后的格式。选择性地，编码源视频12可以是与原始源视频14 不同的节目。已改变宽高比/分辨率的视频13可对应与原始源视频14相同的 节目，不过具有与原始源视频14不同的宽高比、分辨率等。此外，视频数据 11可包括之前使用子帧元数据进行处理过的经子帧处理后的视频17。该经子 帧处理后的视频17对应一类显示器，这一类显示器中的其中一个对应图1示 出的一个显示器。经子帧处理后的视频17具有适合于图1所示的一个视频显 示器的宽高比和分辨率。
子帧元数据15包括对应图1所示的一个或多个显示器的相似显示器元数 据16。通常，当相似显示器元数据16用于处理原始源视频14时，会产生对 应于与相似显示器元数据16相对应的特定类型显示器的视频数据。图1中的 视频播放器系统20、 26、 28或34中的任一个都可基于相似显示器元数据16 来处理视频数据ll。
子帧元数据15的目标显示器元数据18可用于处理编码源视频12、原始 源视频14、改变宽高比/分辨率后的视频、或者子帧处理视频17，进而产生专 用于目标视频显示器的视频数据。例如，视频播放器34可基于目标显示器元 数据18来处理编码源视频12，以生成直接对应于视频播放器系统34的视频 显示器的视频。该处理产生的视频数据具有与视频播放器34的视频显示器完 全或充分对应的宽高比、分辨率、以及其它视频特征。
可移动的存储媒介10的DRM/计费数据19用于确保视频播放器系统，例 如，视频播放器系统20，有权限观看/使用视频数据ll和/或使用子帧元数据 15。如将会参照图2和3进一步描述的，通过对应的视频播放器，例如视频播 放器26，使用DRM/计费数据19，视频播放器26可以与DRM/计费服务器224 交互，以首先确定视频播放器系统26是否有权限使用视频数据11和/或子帧 元数据15。其次，视频播放器26使用DRM/计费数据19，可与DRM/计费服务 器224合作以进一步实施计费操作，以确保用户为使用存储媒介10中所包含
的数据付费。
存储媒介10的原始音频数据102对应视频数据11。原始音频数据102以 音频格式存储，可被视频播放器系统20、 26、 28和34中的任一个使用。例如， 原始音频数据10可存储为数字格式，视频播放器系统20、 26、 28和34中的 任一个都可使用，为用户产生环绕声。选择性地，原始音频数据102可包括多 种格式，视频播放器系统20、 26、 28和34可基于音频重播特征选择其中的一 种。
视频播放器系统20、 26、 28和34使用音频元数据104来处理原始音频数 据102，这与使用子帧元数据15对视频数据11进行子帧处理相一致。如将会 进一步描述的一样，子帧处理操作改变视频数据11的视频帧序列。为了确保 呈现给用户的音频轨道对应于所处理的视频，视频播放器系统20、 26、 28或 34使用音频元数据104来产生对应于所处理视频的音频。音频元数据104 — 般对应于子帧元数据15。
如图所示，本发明的视频播放器系统20、 26、 28和34可包含在单个设备 中或分布在多个设备中。本发明的视频播放器系统包含在单个设备中的方式如 视频播放器26和34所示。本发明的视频播放器系统分布在多个设备中的方式 如视频播放器系统20和28所示。视频播放器系统20包括视频播放器22和视 频显示器设备24。视频播放器系统28包括视频播放器32和视频显示器设备 30。
图1所示的视频播放器系统通常包含三种功能。第一种功能是多模式视频 电路和应用(MC&A)功能。MC&A功能可工作在第一模式和/或第二模式下。 当MC&A功能工作在第一模式下时，例如视频显示设备30通过通信链路(将 会参照图2做进一步描述)或者从诸如DVD等媒介中接收源视频11和元数 据15。当MC&A功能工作在第一模式下时，视频显示设备30在处理和播放 操作过程中同时使用源视频11和元数据15，以此来显示视频。
视频显示设备30收到的源视频11可以是编码源视频12或者原始源视频 14。元数据15可以是相似显示器元数据16或目标显示器元数据18。通常， 编码源视频12和原始源视频14包含相似的内容，区别在于前者进行了编码，
而后者未进行编码。通常，源视频11包含由视频摄像机撷取的视频数据的全 帧序列。元数据15是附加信息，用于进行视频处理操作以修改视频数据的全 帧序列，进而生成在目标视频播放器的目标视频显示器上播放的视频。生成元
数据15的方式及其与源视频11的关系将参照图4-9A做进一步描述。
在MC&A第一模式操作中，视频显示设备30结合使用源视频11和元数 据15生成用于其视频显示器的输出。通常，相似显示器元数据16具有专门为 一类或一组目标视频播放器而剪裁(tailored)的属性。该类或该组中的目标视 频播放器具有近似的屏幕分辨率、近似的宽高比或其他相似的特征，这些特征 非常适合于调整源视频以生成可在该类视频播放器的视频显示器上显示的调 整后源视频。可选地，目标显示器元数据18包含专门应用于某一品牌(make) /某一型号/某一种视频播放器的信息。当视频播放器，例如视频显示设备30， 使用目标显示器元数据18来调整源视频11，则调整后视频是专门为视频显示 设备30的视频显示器而剪裁的。
当本发明视频播放器系统的MC&A功能处于第二操作模式时，视频显示 设备30接收并显示先前已由另一视频播放器32使用元数据15进行处理后的 视频(编码视频或原始视频)。例如，在视频播放器系统28中，视频播放器 32先前已经使用元数据15对源视频11进行处理，并生成传送至视频显示设 备30的输出视频。通过MC&A功能的第二操作模式，视频显示设备30接收 用于显示的视频播放器32的输出，并将这种输出显示在视频显示器上。视频 显示设备30的MC&A功能还可进一步调整从视频播放器32接收到的视频数 据。
图1中一个或多个视频播放器系统26和/或34所加载的另一功能包括集 成视频电路和应用功能(IC&A)。图1中的视频播放器系统26和34的IC&A 功能接收源视频11和元数据15，并对它们进行处理，以生成视频输出，进而 在如视频播放器34等对应视频播放器上显示。视频播放器系统26和34中的 每一个均通过各自的通信链路接收源视频11和元数据15，且其各自的IC&A 功能对源视频11和元数据15进行处理以生成视频，进而在对应视频播放器系 统26和34的视频显示器上显示。
根据图1的另一方面，视频播放器系统还可包括分布式视频电路和应用
(DC&A)功能。视频播放器32的DC&A功能接收源视频11和元数据15， 并结合元数据15对源视频11进行处理，以生成子帧视频数据。视频播放器 22和32的DC&A功能将其各自的输出分别传送至对应的视频显示设备24和 30。对应的视频播放器24和30使用其各自的功能对收到的视频输入进行调整， 然后将视频显示在其各自的显示器上。
根据图1中视频播放器系统的具体实现方式和特定操作，它们的功能可分 布在多个设备上，例如，对于视频播放器系统20而言，视频播放器22和视频 显示设备24均具备DC&A功能。该分布式DC&A功能可配置在多种操作中， 以便共同承担可由二者之一或者二者共同执行的处理任务。此外，对于视频播 放器系统28而言，根据其当前的特定配置，视频播放器32和视频显示设备 30可共享随时间变化的处理功能。
图2是根据本发明的实施例构建的视频播放器系统、存储媒介、以及多个 分发服务器的框图。图2所示的视频播放器系统202包括可由硬件、软件或硬 软件的结合来共同实现的功能部件。视频播放器系统202包括目标显示器204、 解码器206、元数据处理电路208、目标显示器剪裁电路210、数字权限电路 214和计费电路216。视频播放器系统202提取源视频11，该院视频中可同时 包含编码源视频12和原始源视频14，或者只包含二者之一。视频播放器系统 202还接收元数据15，其中包括一个或多个相似显示器元数据15和目标显示 器元数据18。通常，视频播放器系统202的目标显示器204显示由元数据处 理电路46或目标显示器剪裁电路48生成的输出。
图2中的存储媒介10与图1中的存储媒介相同，可由对应媒介设备中的 视频播放器系统202接纳，和/或通过一个或多个通信链路可通信地连接到视 频播放器系统202。视频播放器系统202的媒介驱动可位于视频播放器系统202 内部。选择性地，媒介驱动可以是外部媒介驱动，通过通信链路与视频播放器 系统202通信。存储媒介10可以仅是带有连接到视频播放器系统202的通用 串行总线(USB)通信接口的存储设备。此外，视频播放器系统202可通过无 线接口访问存储媒介10。在任何情况下，视频播放器系统202可用于存取存
储媒介10中的视频11、子帧元数据15、DRM/计费数据19、原始音频数据102、 以及和音频元数据104中的任何一个。
解码器206用于接收编码源视频12并对其进行解码，以生成视频数据全 帧序列。元数据处理电路208用于从解码器206接收视频数据全帧序列。作为 选择，元数据处理电路208还可直接接收原始源视频14形式的视频数据全帧 序列。在每种情况下，元数据处理电路208都可根据元数据15 (或者是相似 显示器元数据16或者是目标显示器元数据18)来处理视频数据全帧序列。通 常，根据元数据15，元数据处理电路208可从全帧序列和视频数据中生成多 个视频数据子帧序列。在一项操作中，上述多个视频数据子帧序列中的第一序 列与第二序列相比，在视频数据全帧序列中具有不同的中心点。这些构思将参 考图5—图9进行详细的描述。
视频播放器系统可通信地连接到视频分发服务器218、元数据分发服务器 220、组合元数据和视频分发服务器222、以及DRM/计费服务器224。对服务 器218、220、222和224的结构和操作的描述，将进一步参照名称为"SUB-FRAME METADATA DISTRIBUTION SERVER"、与该申请同一天提交的悬而未决的专利申 请，。
通常，视频播放器系统202从存储媒介10中访问视频11和/或子帧数据 15。但是基于它与存储媒介10的交互，视频播放器系统202可确定在服务器 218、 220或222可得到更适于视频播放器系统202的目标显示器204的更好 版本。在这种操作的一个特定实例中，基于从存储媒介10提取的信息，视频 播放器系统202可访问视频分发服务器218，以接收与目标显示器204完全对 应的经子帧处理后的视频。此外，在另一个操作中，基于与存储器媒介10的 交互以及对其中所存储数据的访问，视频播放器系统202可确定可从元数据分 发服务器220中得到与目标显示器204对应的目标显示器元数据。由于视频播 放器系统202基于存储媒介10的DRM/计费数据19执行DRM/计费操作，视频 播放器系统202访问元数据分发服务器220，以从中接收目标显示器元数据。 可与组合元数据和视频分发服务器222 —起执行类似的操作。视频播放器202 可基于从存储媒介10读取的DRM/计费数据19，与DRM/计费服务器224协同
执行DRM/计费操作。
目标显示器剪裁电路210可依照补充信息(例如，目标显示器参数212) 执行后处理操作，以修改多个视频数据子帧序列，从而产生输出。然后，在目 标显示器42上显示目标显示器剪裁电路210的输出。当目标显示器剪裁电路 210不用于执行多个视频数据子帧序列的后处理时，元数据处理208的输出被 直接提供给目标显示器42。
视频播放器系统202的数字权限电路214用于判断视频播放器系统202 是否有权限使用/修改源视频11和/或元数据15，和域以此来生成在目标显示 器42上显示的视频。数字权限电路214可与远端服务器或其它通信系统交互， 以此确定是否存在这种数字权限。然而，数字权限电路214还可简单的査看源 视频11和/或元数据15的一部分，来判断视频播放器系统202是否有权对这 些数据进行操作。视频播放器系统202的计费电路216用于在本地或远端生成 计费记录，以此来对源视频11和/或元数据15的使用情况进行计费。计费电 路216还可与远端服务器共同生成计费记录。
图3是根据本发明实施例的通信架构的系统框图，所述通信架构包括多个 视频播放器系统、多个分发服务器、以及附加的服务器。通常，源视频11和 元数据15通过通信链路/网络304或存储媒介10传送到视频播放器系统308、 310、 320和314。通信链路/网络304可包括互联网、局域网(LAN)、无线路 局域(WLAN)、广域网(WAN)、电话网、线缆网、卫星通信网络、全球微 波接入互通(WiMAX)网络和/或其他有线和/或无线通信链路中的一个或多个。
若源视频11和/或元数据15是包含在存储媒介10中的，对应的视频播放 器系统308、 310、 312或314便从媒介驱动器中接收存储媒介10，并使用媒 介驱动器来读取媒介10。如图所示，上文参考图1描述的多种电路和应用功 能DC&A、 MC&A和IC&A由视频播放器系统308、 310、 312和314来实现。 正如将要通过下文参考图IO—图16所描述的那样，这些电路/应用的功能可分 布在多个设备上。
视频播放器系统308、 310、 312或314中的任一个都可从存储媒介10中 接收所有要求的视频数据和子帧元数据15。选择性地，只有一部分所要求的
视频数据和/或元数据可从存储媒介io接收得到。在这种情况下，视频播放器 系统，例如视频播放器系统308可访问任何元数据分发服务器220、视频分发 服务器218和/或组合元数据和视频分发服务器222，以接收那些无法从存储 媒介10得到的视频数据或元数据。但是，使用这些操作，视频播放器308可 首先访问存储媒介IO，然后确定访问服务器218、 220或222中的一个，以获 取不能从存储媒介10得到的视频数据或元数据。视频播放器308与DRM/计费 服务器224交互，以确定它不仅访问存储器媒介10以进行重播，还可访问服 务器218、 220或222中的任何一个。
当视频播放器系统不为组合视频显示器服务时，视频播放器系统，例如 308，可访问播放器信息服务器316，以获取与它所服务的视频显示器309相 关的附加信息。基于对播放器信息服务器316的访问，基于所服务的视频显示 器309的品牌/型号或者序列号，视频播放器系统308接收目标显示器信息， 它可在其子帧元数据处理操作和/或视频数据剪裁操作中使用。所有这些操作 将会参照图4-18做进一步描述。
图4是根据本发明一实施例构造的视频撷取/子帧元数据生成系统的结构 示意图。图4中的视频撷取/子帧元数据生成(SMG)系统100包括摄像机110 和SMG系统120。视频摄像机110撷取与场景102有关的视频数据的原始全帧 序列。视频摄像机110还可通过麦克风llla和lllb来获取音频。视频摄像机 110可将视频数据的全帧发往控制台140或运行SMG系统120。视频摄像机110 或控制台140的SMG系统120通过用户输入设备121或123从用户处接收输入。 根据用户的输入，SMG系统120在视频显示器上显示一个或多个子帧，该视频 显示器上同样显示视频数据的全帧序列。根据从用户输入和其他信息创建的子 帧，SMG系统120创建元数据15。视频撷取/子帧元数据生成系统100的视频 数据输出是一个或多个编码源视频12或原始源视频14。视频撷取/子帧元数 据生成系统100还输出元数据15，该元数据可以是相似显示元数据16和/或 目标显示元数据18。视频撷取/子帧元数据生成系统100还可输出目标显示信 息20。
摄像机IIO撷取的原始视频帧序列为场景102。场景102可以是摄像机110
撷取的任一种场景。例如，场景102可以是有很多细节的相对较大撷取区域的 风景。此外，场景102还可以是互相对话的演员的头部照。另外，场景102 还可以是狗追球的动作画面。在撷取原始视频帧的过程中，场景102的类型通 常会随时间发生变化。
在现有的视频撷取系统中，用户操作摄像机110来撷取场景102的原始视 频帧，这些帧进行了优化，以适应"大屏幕"格式。在本发明中，这些原始视 频帧随后才会进行转换，以便最终由配有各自的视频显示器的目标视频播放器 显示出来。因为子帧元数据生成系统120会随时间撷取不同类型的场景，对所 撷取的视频进行转换以生成用于在目标视频播放器上观看的子帧的方式也会 随时间发生变化。"大屏幕"格式并不总是能够很好的转换为小屏幕类型上。 因此，本发明的子帧元数据生成系统120支持这样一种原始视频帧撷取方式， 即在转换到较小格式时，这种方式可以提供高质量的视频子帧，以供显示在目 标视频播放器的一个或多个视频显示器上。
编码源视频12可使用基于离散余弦变换(DCT)的编码/压縮格式(例如 MPEG-l、MPEG-2、用于HD的增强型MPEG-2、MPEG-4 AVC、H.261和H.263) 中的一种或几种来编码，使用运动向量来从相邻帧或场(field)构建基于帧 或场的预测，这是通过通常存在的帧间或场间的运动来实现的。例如，在使用 MPEG编码标准时，原始视频帧序列将被编码为由三种不同类型的帧组成的序 列"I"帧、"B"帧和"P"帧。"I"帧是帧内编码的，"P"帧和"B"帧是帧 间编码的。因此，"I"帧是独立的，也就是说它们无需参考其他帧即可进行重 建，而"P"帧和"B"帧是相关的，也就是说，它们需要依靠其他帧来进行重 建。具体来说，P帧是从上一I帧或P帧向前预测的，B帧是同时从上一/下一 I帧或P帧向前预测和向后预测的。IPB帧序列将使用DCT进行压縮，将"1"、 "P"或"B"帧中的NXN (N通常设置为8)像素数据块转换到DCT域，以便 更容易进行量化。随后对量化后的比特流应用游程编码和熵编码，生成压縮比 特流，与原始的未压縮视频数据相比，压縮比特流的比特率明显降低。
图5是典型原始视频帧和对应子帧的结构示意图。如图所示，视频显示器 400包含一个可视区域，其中显示了代表图4中场景102的原始视频帧序列。
根据图5所示的实施例，SMG系统120还用于响应代表用户输入的其他信号， 除子帧402以外，在视频显示器400上还显示与原始视频帧序列相关联的其他 子帧404和406。这些子帧402中的每一个都具有与多个目标视频显示器其中 之一相对应的宽高比和尺寸。此外，SMG系统120生成与每一个子帧402、 404 和406相关的元数据15。子帧元数据生成系统120所生成的与多个子帧402、 404和406相关的元数据15使得对应的目标视频显示器在其视频显示器上生 成对应的显示场景。在图5所示的实施例中，SMG系统120包括单个视频显示 器400，每个子帧402、 404和406正是通过该显示器显示出来的。在另一实 施例中，视频处理系统生成的多个子帧中的每一个将独立地显示在对应的目标 视频播放器上。
在图5所示的实施例中，在子帧组中至少有两个子帧404和406与原始视 频帧序列中的一个帧相对应。因此，例如，在特定的目标视频播放器中，子帧 404和406以及其中包含的相关视频信息将会在不同的时间显示在单个目标视 频播放器上。在图5所示的实施例中，目标视频播放器所显示视频的第一部分 展示的是子帧404中包含的狗追球的场景，而目标视频播放器所显示视频的第 二部分展示的是子帧406中描述的反弹球的场景。因此，在本实施例中，目标 视频播放器中在时间上相邻的视频序列是由单个原始视频帧序列生成的。
此外，在图5所示的实施例中，在子帧组中至少有两个子帧包含空间位置 随原始视频帧序列变化的物体。在这种帧中，显示狗的子帧404的空间位置会 随与显示反弹球的子帧406有关的原始视频帧序列变化。此外，在图5所示的 实施例中，在子帧组中的两个子帧可对应于原始视频帧序列中的至少两个不同 的帧。在该实施例中，子帧404和406会对应显示在视频显示器400上的原始 视频帧序列中的不同帧。在该实施例中，在第一时间段，选择子帧404以便在 一段时间内显示狗的图象。此外，在该实施例中，子帧406对应不同的时间段， 用于显示反弹球。在该实施例中，子帧组404和406中的至少一部分对应由原 始视频帧序列所描述场景的一个子场景。所描述的序列可在整个显示器400 上显示，也可在子帧402中显示。
图6是包含用于创建子帧的视频编辑工具的图形用户接口 (GUI)的视频
处理系统显示器一实施例的示意图。视频处理显示器502上显示的是当前帧 504及其子帧506。子帧506包括由用户指定的感兴趣区域内的视频数据。一 旦指定了子帧506，用户便可使用通过GU工508提供给用户的一种或多种视频 编辑工具来编辑子帧506。例如，如图6所示，通过点击或选择GUI 508中的 一种编辑工具，用户可对子帧506应用滤光镜、色彩修正、叠加或其他编辑工 具。此外，GUI 508还可使得用户在原始帧和/或子帧之间移动，以便观看和 比较原始子帧序列和子帧序列。
图7是典型原始视频帧和对应子帧的示意图。在图7中，第一场景602 由原始视频帧606的第一序列604描述，第二场景608由原始视频帧606的第 二序列610描述。因此，每个场景602和608包含原始视频帧606的各自序列 604和610，通过顺序的显示原始视频帧606的各序列604和610中的每个原 始视频帧606来观看。
但是，要想在小视频显示器上显示每个场景602和608，而又不会降低观 众所能感觉得到的视频质量，每个场景602和608可分割为分开显示的子场景。 例如，如图7所示，在第一场景602中，存在两个子场景612和614，在第二 场景608中，存在一个子场景616。如同每个场景602和608可以通过顺序显 示原始视频帧606的各自序列604和610来观看一样，每个子场景612、 614 和616也可通过显示各自的子帧618 (618a、 618b和618c)序列来观看。
例如，来看原始视频帧第一序列604中的第一帧606a，用户可指定两个 子帧618a和618b，每一个子帧包含代表不同子场景612和614的视频数据。 假设子场景612和614连续贯穿于原始视频帧的606第一序列604之中，用户 可进一歩在原始视频帧606的第一序列604中随后的每个原始视频帧606a中 为每个子场景612和614分别指定两个子帧618a和618b。这样便得到子帧618a 第一序列620，其中包含的每个子帧618a都包含代表子场景612的视频内容； 还可得到子帧618b第二序列630，其中包含的每个子帧618b都包含代表子场 景614的视频内容。子帧618a和618b的各序列620和630可顺序显示。例如， 按顺序显示对应于第一子场景612的每个子帧618a，然后顺序显示对应于第 二子场景614的每个子帧618b。通过这种方式，电影仍能保持场景602的逻
辑流，并且能让观众看到场景602的细微细节。
同理，来看原始视频帧606第二序列610中的第一帧606b，用户可指定 对应子场景616的子帧618c。再次假设子场景616连续贯穿于原始视频帧606 第二序列610，用户可进一步在原始视频帧606第二序列610中的后续每个原 始视频帧606中指定包含子场景616的子帧618c。这样便得到子帧618c序列 640，其中的每个子帧618c都包含代表子场景616的视频内容。
图8是子帧序列的典型子帧元数据的示意图。图8中展示的子帧元数据 150中包含的是顺序元数据(sequencing metadata) 700，用于指示子帧的顺 序(也就是显示顺序)。例如，顺序元数据700可标识子场景序列和各子场景 的子帧序列。使用图8中展示的例子，顺序元数据700可分成子帧元数据150 的多个组720，其中每个组720对应特定的子场景。
例如，在第一个组720中，顺序元数据700开始于子帧第一序列(也就是 序列620)中的第一子帧(例如子帧618a)，其后是第一序列620中的各其他 子帧。在图8中，第一序列中的第一子帧被标记为原始视频帧A的子帧A，第 一序列中的最后一个子帧被标记为原始视频帧F的子帧F。在第一序列620的 最后一个子帧之后，顺序元数据700延续到第二个组720，其开始于子帧第二 序列(例如序列630)中的第一子帧(例如子帧618b)，结束于第二序列630 的最后一个子帧。在图8中，第二序列中的第一子帧被标记为原始视频帧A 的子帧G，第二序列中的最后一个子帧被标记为原始视频帧F的子帧L。最后 一个组720幵始于子帧第三序列(也就是序列640)的第一子帧(例如子帧 618c)，结束于第三序列640中的最后一个子帧。在图8中，第三序列中的第 一子帧被标记为原始视频帧G的子帧M，第三序列中的最后一个子帧被标记为 原始视频帧I的子帧P。
每个组720中包含的是该组720中每一个单独子帧的子帧元数据。例如第 一个组720包括子帧第一序列620中每个子帧的子帧元数据150。在一个示范 性实施例中，子帧元数据150可组成其中包含一定数量的条目710的元数据文 本文件。元数据文本文件中的每个条目710包括该特定子帧的子帧元数据150。 因此，元数据文本文件中的每个条目710包含标识与该元数据相关联的特定子
帧的子帧标识符，并引用原始视频帧序列中的一个帧。
编辑信息包括但不限于，摇摄方向和摇摄率、缩放率、对比度调整、亮度 调整、滤光镜参数和视频效果参数。具体来说，与子帧相关联，存在几种类型 可以应用的编辑信息，它们与下列内容有关a)视觉调整，例如亮度、滤光、 视频效果、对比度和色彩调整；b)运动信息，例如摇摄、加速、速率、子帧 在原始帧序列上的移动方向；c)尺寸调整信息，例如子帧在原始帧序列上的 縮放(包括放大、缩小和縮放比例)；d)与原始视频数据落入子帧中的那些部 分相关联、合并或被其叠加的任何类型的补充媒介(例如叠加的文本或图形或 补充的音频)。
图9A是包含子帧编辑信息的典型子帧元数据的示意图。子帧元数据包括 元数据(MD)报头802。元数据报头802包括元数据参数、数字权限管理参数 和计费管理参数。元数据参数包括与该元数据有关的信息，如创建日期、过期 日期、创建者标识、目标视频设备种类、目标视频设备类别、源视频信息和通 常与所有元数据有关的其他信息。元数据报头802中的数字权限管理部分包括 用于判断子帧元数据是否可用以及将该子帧元数据可用到何种程度的信息。元 数据报头802中的计费管理参数包括在元数据开始使用时用于启动计费操作 的《言息。
子帧元数据包含在子帧文本文件的条目804中。每个子帧的子帧元数据 150包括子帧常规信息806，例如分配给该子帧的子帧标识符(SF ID)、与从 中提取除该子帧的原始视频帧相关联的信息(OF ID、 0F计数、播放偏移量)、 子帧位置和尺寸(SF位置、SF尺寸)以及将要显示该子帧的显示器的宽高比 (SF比)。此外，如图9所示，特定子帧的子帧信息804可包括用于编辑该子 帧的编辑信息806。图9中所示的编辑信息806的例子包括摇摄方向和摇摄率、 縮放比例、色彩调整、滤光镜参数、对图像或视频序列的补充以及其他视频效 果和相关参数。
图9B是根据本发明的实施例构建的可移动的存储媒介的框图。图9B中的 可移动存储媒介950包括视频数据全帧序列952和954。在一个实施例中，存 储媒介950存储第一格式的单个视频数据全帧序列952。但是，在其他的实施
例中，存储媒介950存储多种格式例如第一格式和第二格式的视频数据全帧序
列952和954。存储媒介950还包括音频数据956、第一子帧元数据958、第 二子帧元数据960、第一子帧音频数据962、第二子帧音频数据964、以及数 字权限管理数据966。
存储媒介950可从媒介驱动器上移除。在这种情况下，存储媒介950可被 第一视频播放器系统和第二视频播放器系统接纳并进行交互。如之前参照图 1、 2和3所描述的，第一视频播放器系统带有具备第一视频显示器特征的第 一视频显示器，所述第二视频播放器系统带有具备第二显示器特征的第二视频 显示器。如图l、 2和3所示的例子，所述第一显示器特征通常与第二显示器 特征不同。图9B中的可移动存储媒介950支持这些具有不同特征的视频播放 器的不同视频播放器系统。
因此，在图9B的实施例中，存储媒介950包括多个存储位置。视频数据 全帧序列952存储在多个存储位置中的至少第一个存储位置中。此外，第一子 帧元数据958存储在多个存储位置的至少第二个存储位置中。第一子帧元数据 958被生成以适应至少第一视频播放器系统的第一显示器特征。但是第一子帧 元数据958也适应多个其它显示器特征。在这种情况下，第一子帧元数据958 与目标显示器元数据相比，可以是相似显示器元数据。但是第一子帧元数据 958实际上也可以是目标显示器元数据。
第一子帧元数据958定义视频数据全帧序列952中的第一多个子帧。第一 多个子帧中的每一个都有与第一多个子帧之外的子帧不同的至少第一参数。第 二子帧元数据960存储在多个存储位置的至少第三个存储位置中。第二子帧元 数据960被生成以适应至少第二显示器特征，该第二显示器特征与第二视频播 放器的第二视频显示器相关。第二子帧元数据被存储在多个存储位置的至少第 三个中，被生成以适应至少第二显示器特征。第二子帧元数据960指派了视频 数据全帧序列952中的第二多个子帧。第二多个子帧中的每一个都有与其它第 二多个子帧之外的子帧不同的至少第二参数。第一子帧元数据958和第二子帧 元数据960用于进行子帧处理操作的方式将参照图10-18做进一步描述。
第一子帧元数据958可被第一视频播放器系统获取和使用，从而为第一显
示器剪裁视频数据全帧序列952。此外，第二子帧元数据960可被第二视频播 放器系统获取和使用，从而为第二显示器剪裁视频数据全帧序列952。考虑到 第一和第二多个子帧之间的区别，第一参数包括视频数据全帧序列中的子帧中 心点。因此，例如，为第一视频显示器创建的视频数据的中心点与为第二视频 显示器创建的视频数据的中心点不同。
第一子帧音频数据962对应第一子帧元数据958。因此，在基于第一子帧 元数据958对视频数据全帧序列952进行处理之后，所产生的视频数据子帧序 列对应第一子帧音频数据962。选择性地，第一子帧音频数据962可用于处理 音频数据956，因此它对应于相应已处理的子帧序列。类似地，第二子帧音频 数据964可直接对应已处理的视频数据子帧序列，或可用来处理音频数据956， 以产生与视频数据子帧序列相对应的已处理音频数据。
在考虑视频数据第一子帧序列和视频数据第二子帧序列之间的差别时，可 考虑第一显示器特征与第二显示器特征之间的差别。例如，第一显示器特征具 有第一分辨率，而第二显示器特征具有不同于第一分辨率的第二分辨率。此外， 第一显示器特征有第一对角线尺寸，第二显示器特征有第二对角线尺寸。在这 种情况下，第一对角线尺寸远大于第二对角线尺寸。在这种情况下，视频数据 第一子帧序列和视频数据第二子帧序列可以有不同的特征，该特征分别对应于 第一显示器和第二显示器的不同特征。
图IO是根据本发明的实施例构建的视频播放器系统的框图。视频播放器 系统900包括视频显示器902、本地存储器904、用户输入接口 916、通信接 口 918、显示器接口 920、处理电路922、以及接收存储媒介10的媒介驱动器 924。在该特定实施例中，视频播放器系统900的视频显示器902和其他部件 都位于同一壳体内。但是，在其他实施例中，例如图1中的视频播放器系统 20和28，视频播放器系统900为处于不同壳体内的视频显示器924服务。视 频显示器924甚至还可以处于不同的位置，通过通信接口连接到视频播放器系 统900。若视频显示器924设置在远端，则视频播放器系统900的显示器接口 920通过通信链路与视频显示器924通信。
视频播放器系统900通过其媒介驱动器924从存储媒介10中接收视频数 据11、子帧元数据15、 DRM/计费数据19、原始音频数据102、和/或音频元 数据104。选择性地，视频播放器系统900可通过其通信接口 918和通信链路 /网络304从服务器218、 220和222接收视频数据11、子帧元数据15、原始 音频数据102和/或音频元数据中的任何一个。此外，视频播放器系统900通 过其通信接口 918、经通信链路304与DRM/计费服务器224和/或播放器信息 服务器316进行交互。
根据本发明的一个方面，媒介接口 924接纳可移动存储媒介10。该可移 动存储媒介10上存储有全帧视频和多个子帧元数据。显示器接口 920可通信 地连接到具有至少一个显示器特征的显示器924上。处理电路922基于显示器 924的至少一个显示器特征，从存储在存储媒介10上的多个子帧元数据中选 择第一子帧元数据。然后处理电路922使用存储在存储媒介10上的第一子帧 元数据，从存储在存储媒介IO上的全帧视频中生成剪裁视频。然后处理电路 通过显示器接口 920将剪裁视频发送到视频显示器924。作为生成剪裁视频的 一部分，处理电路922依照与视频显示器924对应的补充信息执行后处理。
视频播放器系统900通过其用户输入接口 916接收用户输入。处理电路 922可以是通用处理器，例如微处理器或数字信号处理器、专用集成电路或能 够执行软件指令并处理数据的其他类型的处理电路。本地存储器904包括随机 访问存储器、只读存储器、光驱、硬盘驱动器、可移动存储媒介或能够存储指 令和数据的其它存储媒介中的一种或几种。本地存储器904存储操作系统906、 视频播放器软件908、视频数据910、目标显示器信息912和编码器和/或解码 器软件914。视频播放器软件908包括MC&A、 IC&A和/或DC&A功能中的 一种或几种。
在根据本发明的一项特定操作中，视频播放器系统900接收编码源视频 12，生成输出，并发往视频显示器902或924。处理电路922运行视频播放器 软件908和编码器软件914，从编码源视频12中生成视频数据全帧序列。视 频播放器软件908包括子帧处理器应用，通过处理视频数据全帧序列，根据第 一位置和尺寸信息生成视频数据子帧第一序列，根据第二位置和尺寸信息生成 视频数据子帧第二序列。第一位置和尺寸信息以及第二位置和尺寸信息一起组
成元数据15。在视频播放器系统卯0的这项特定操作中，显示器接口 920传 送视频数据子帧第一序列和第二序列，以供在显示器902和924上进行全帧显 示。
对原始源视频14也可采用类似的操作。在这些操作中可使用相似显示元 数据16和/或目标显示元数据18。在另一项特定操作中，视频播放器系统900 处理目标显示信息912，对视频子帧第一序列和第二序列进行剪裁，生成专门 供视频显示器902或视频显示器924使用的视频数据。
图11是根据本发明的实施例构建的视频播放器系统的结构示意图。在图 ll所示的特定结构中，视频播放器系统1100包括解码器1102、元数据处理电 路1104、元数据剪裁电路1106、管理电路1108、目标显示器剪裁电路1110、 显示器1112和视频存储器1114。解码器1102接收编码源视频12，生成原始 视频。作为选择，原始源视频14可直接输入到视频播放器系统1100中。视频 存储器1114存储原始视频16。管理电路在其其它功能之外还执行DRM和计 费操作。管理电路可与DRM/计费服务器交互，以交换DRM/计费数据1116。
管理电路1108接收目标显示器信息20，该电路在视频播放器系统1100 中通信连接到元数据剪裁电路1106、解码器1102、元数据处理电路1104和目 标视频剪裁电路1110。元数据剪裁电路1106接收元数据15。根据管理电路1108 输入的信息，元数据剪裁电路1106对元数据进行调整，以使其更为适合显示 器1112。在这种情况下，元数据剪裁电路1106收到的元数据15可以是图1 中描述的相似显示元数据15。目标显示器信息20包括与显示器1112有关的 信息。根据目标显示器信息20，管理电路1108向元数据剪裁电路1106输入 数据，元数据剪裁电路1106使用该输入数据调整元数据15。
元数据处理电路1104接收原始视频、元数据剪裁电路1106输入的数据和 管理电路1108输入的数据。元数据处理电路1104对输入的数据进行处理，生 成输出，并发往目标显示器剪裁电路1110。目标显示器剪裁电路1110对从元 数据处理电路1104收到的输入进行处理，生成输出，并发往显示器1112。
在视频播放器系统1100的一项特定操作中，解码器电路1102接收编码源 视频12，生成视频数据(原始视频)全帧序列。元数据处理电路1104 (预处
理电路)根据子帧信息(元数据剪裁电路1106的输出)，从视频数据(原始视 频)全帧序列中生成多个视频数据子帧序列。这些多个视频数据子帧序列包括 视频数据子帧第一序列，其在全帧序列中的位置不同于同样在元数据处理电路
1104中生成的视频数据子帧第二序列。元数据处理电路1104还将多个视频数 据子帧序列中的第一序列与第二序列组合，生成输出，并发往目标显示器剪裁 电路1110。
目标显示器剪裁电路1110 (后处理电路)对多个视频数据子帧序列进行 调整，生成输出。目标显示器剪裁电路1110所进行的调整操作是基于从管理 电路1108收到的输入来进行的。目标显示器剪裁电路1110从管理电路1108 收到的输入是基于目标显示器信息20的。目标显示器剪裁电路1110生成的输 出将被传送到显示器1112以进行后续显示。
根据本发明的一些操作，原始源视频14和/或编码源视频12具有源视频 分辨率。该源视频分辨率可称为第一分辨率。但是，元数据处理电路1104生 成的多个视频数据子帧序列具有与显示器1112的特性相对应的第二分辨率。 在多数情况下，第二分辨率要低于第一分辨率。这种情况通常是由显示器1112 的尺寸小于预期用于显示源视频的显示器尺寸造成的。此外，显示器1112的 宽高比可能不同于预期用于显示源视频12和14的显示器的宽高比。因此，尽 管视频数据12和14的全帧序列具有第一宽高比，而元数据处理电路1104和 目标显示器剪裁电路1110生成的输出则具有不同于第一宽高比的第二宽高 比。
在视频播放器系统1100的一些实施例中，部件1102到1112可包含在单 个壳体中。作为选择，显示器1112还可配置在与部件1102到部件1110分离 的壳体中。在其他实施例中，部件1102到部件1112可合并在一起，也可分布 在许多不同的设备结构中。这些结构将参考图12_图15进行描述。
图12是根据本发明的分布式视频播放器系统第一实施例的结构示意图。 在图12所示的实施例中，显示了由分隔线1202、 1204和1206分隔开的视频 播放器系统的功能部件(component)。这些分隔线1202、 1204和1206将不同 处理设备、单个设备中的不同处理组件(dement)和/或不同处理操作分隔开。
具体来说，分隔线1202将解码器1102和元数据剪裁电路1106与视频播放器 电路中的其他部件分隔开。此外，分隔线1204将元数据处理电路1104与目标 显示器剪裁电路1110分隔开。另夕卜，分隔线1206将目标显示器剪裁电路1110 与显示器1112分隔开。
图12中的部件类似于上文中参考图11所描述的部件，并保留了相同的标 号。通过相同的标号和相同的功能配置，解码器1102、元数据处理电路1104、 元数据剪裁电路1106、目标显示器剪裁电路1110和显示器1112接收与图11 中所述相同或相似的输入，实现或执行相同和/或相似的功能。分隔线1202、 1204和1206展示了如何在物理上、逻辑上或者时间上将多种组件1102 — 1112
所执行的功能彼此分隔开。
图13是根据本发明的分布式视频播放器系统第二实施例的结构示意图。 与图11和图12中的结构相比，其中集成的解码和元数据处理电路1302既执 行解码操作又执行元数据处理操作。集成的解码和元数据处理电路1302接收 编码源视频12、原始源视频14和目标显示器元数据18。在具体操作中，集成 的解码和元数据处理电路1302可接收任意特定的视频数据全帧序列的编码源 视频12和原始源视频14 二者其中之一。集成的解码和元数据处理电路/功能 1302还接收来自元数据剪裁电路1106的输入。元数据剪裁功能1106接收相 似显示器元数据16和目标显示器信息20。元数据剪裁电路1106基于目标显 示器信息20调整相似显示器元数据16，生成剪裁后的元数据。元数据剪裁电 路1106生成的剪裁后的元数据可结合目标显示器元数据18 —起使用，也可替 代目标显示元数据18。
目标显示器剪裁电路1110接收集成的解码和元数据处理电路1302的输 出，并基于目标显示器信息20进一步调整或剪裁由集成的解码和元数据处理 电路1302生成的多个视频数据子帧，生成输出并发往显示器1112。分隔线 1304、 1306禾n/或1308展示了如何在物理上、逻辑上和/或时间上将集成的编 码和元数据处理电路1302、目标显示器剪裁电路1110和显示器1112彼此分隔 开。
图14是根据本发明的分布式视频播放器系统第三实施例的结构示意图。
如图所示的视频播放器系统包括集成在一起的解码、目标显示器剪裁和元数据
处理电路1404，补充目标显示器剪裁电路1406和显示器1112。集成在一起的 解码、目标显示器剪裁和元数据处理电路1404接收编码源视频12、原始源视 频14、目标显示器元数据18、相似显示器元数据16和/或目标显示器信息20。 基于解码后的编码源视频12或直接基于原始源视频14，集成在一起的解码、 目标显示器剪裁和元数据处理电路1404处理源视频的视频数据的全帧序列。 这种处理是基于元数据16或18和/或目标显示器信息20进行的。集成在一起 的解码、目标显示器剪裁和元数据处理电路1404生成多个视频数据子帧序列， 并将它们发往补充目标显示器剪裁电路1406。补充目标显示器剪裁电路1406 基于目标显示器信息20对多个视频数据子帧序列进行额外的剪裁。这种目标 剪裁包括针对显示器1112调整多个视频数据子帧序列。分隔线1408和1410 展示了如何在物理上、逻辑上和/或时间上将集成在一起的解码、目标显示器 剪裁和元数据处理电路1404、补充目标显示器剪裁电路1406和显示器1202 彼此分隔开。
图15是根据本发明的分布式视频播放器系统第四实施例的结构示意图。 解码器1502接收编码源视频12，生成未编码视频13。集成的目标显示器剪裁 和元数据处理电路1504接收并处理未编码视频13和/或原始源视频14。集成 的目标显示器剪裁和元数据处理电路1504还接收目标显示器元数据18、相似 显示器元数据16和/或目标显示器信息20。未编码视频13或原始源视频14 包括视频数据全帧序列。集成的目标显示器剪裁和元数据处理电路1504基于 目标显示器元数据18、相似显示器元数据16和目标显示器信息20中的一个 或多个信息来处理视频数据全帧序列，生成多个视频数据子帧序列，并发往补 充目标显示器剪裁电路1506。补充目标显示器剪裁电路1506基于目标显示器 信息20调整这些视频数据子帧序列，生成剪裁后的输出并发往显示器1508。 显示器1508接收补充目标显示器剪裁电路1506的输出，显示包含在其中的视 频数据内容。
可在功能、物理和/或时间上将模块1504、 1506和1508的功能彼此分开。 例如，在一个实施例中，解码器1502和集成的目标显示器剪裁和元数据处理
电路1504可由单个处理设备来执行。在该实施例下，补充目标显示器剪裁电 路1506可包含在显示器1508内。
在其他实施例中，模块1502、 1504、 1506个1508可设置在不同的壳体内、 设置在不同的位置、由不同的功能组件来执行和/或在不同时间执行。因此， 分隔线1510和1512可代表物理边界、功能边界和/或时间边界。
图16是根据本发明的用于在分布式视频播放器系统中传送视频数据、元 数据和其他信息的示意图。图16中展示了图12 —图15中多种部件的连接方 式。通信传输1602可包括通信链路/网络连接1604和/或物理存储媒介1606。 分界线1612和1614可包括分割线1202 — 1206、 1304—1308、 1408 — 1410和/ 或1510—1512中的任一组。在这种情况下，信息通过通信链路/网络1604或 媒介1606穿过这些分界线来传送。
在一项特定操作中，数据以未编码格式进行传送。但是，在另一实施例中， 信息则由编码器1608进行编码，通过通信链路/网络连接1604传送，然后在 进行后续处理之前由解码器1610进行解码。
图17是根据本发明一实施例的视频处理和播放过程的流程图。根据本发 明，视频处理电路的操作1700开始于接收视频数据(步骤1710)。当接收的 视频数据为编码格式时，视频处理电路对视频数据进行解码(步骤1712)。视 频处理电路随后接收元数据(步骤1714)。该元数据可以是本文所描述的普通 元数据、相似元数据或剪裁后的元数据。当收到的是相似元数据或普通元数据 时，图17中的操作包括基于目标显示器信息对元数据进行剪裁(步骤1716)。 步骤1716是可选的。
随后，图17中的操作包括基于元数据对视频数据进行子帧处理(步骤 1718)。随后的操作包括基于目标显示器信息20剪裁在步骤1718生成的视频 数据子帧输出序列(步骤1720)。步骤1720的操作生成剪裁后的视频数据子 帧输出序列。随后，可选的，该视频数据子帧输出序列将进行编码(步骤1722)。 最后，视频数据子帧序列将输出到存储器中存储、通过网络输出到目标设备或 者以其他方式输出或者输出到其他位置(步骤1724)。
根据图17中展示的一个特定实施例，视频处理系统接收代表视频数据全
帧序列的视频数据。视频处理系统随后对视频数据进行子帧处理，生成视频数 据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列由至少第一 参数来定义，视频数据子帧第二序列由至少第二参数来定义，该至少第一参数 和至少第二参数共同组成元数据。通过将视频数据子帧第一序列和视频数据子 帧第二序列合并，视频处理系统随后生成视频数据子帧第三序列。
在本实施例中，视频数据子帧第一序列可对应视频数据全帧序列中的第一 区域，视频数据子帧第二序列可对应视频数据全帧序列中的第二区域，其中第 一区域不同于第二区域。
图18是根据本发明实施例的与可移动的存储媒介相关的方法流程图。图
18的方法1800开始于存储表示全屏视频序列的第一数据(步骤1810)。该全 屏视频序列对应图4中的摄像机110所撷取的原始视频数据。操作继续至存储 表示第一子帧元数据的第二数据(步骤1812)。第二数据用于根据第一数据产 生第一剪裁视频。第一子帧元数据定义了全屏视频序列中的第一子帧和全帧视 频序列中的第二子帧。第一子帧具有至少一个不同于第二子帧的特征。操作继 续至存储表示第二子帧元数据的第三数据(步骤1814)。此外，操作可包括存 储与数字权限管理相关的第四数据(步骤1816)。然后，操作包括分发可移动 存储媒介(步骤1816)。如前面己经描述的一样，可移动存储媒介可包括DVD 之类的光学媒介、只读存储器、随机访问存储器、或者能够存储数字信息的其 它类型的存储设备。
图18的操作还可包括使用第二数据来处理第一数据，以生成第一剪裁视 频(步骤1818)。操作1800还包括使用第三数据来处理第一数据，以生成第 二剪裁视频(步骤1820)。步骤1818和1820的处理操作可由不同的视频播放 器系统执行。选择性地，为一个以上的显示器服务的视频播放器系统可执行步 骤1818和1820的操作。
本领域普通技术人员可知，本申请中所使用的短语"可通信地连接"包括 有线的和无线的、直接的连接和通过其它组件、元件或模块的间接连接。本领 域普通技术人员还可知，推定连接(即推定一个部件与另一个部件连接)包括 两个部件之间与"可通信地连接"方式相同的无线的和有线的、直接的和间接
的连接。
本发明通过借助方法步骤展示了本发明的特定功能及其关系。所述方法步 骤的范围和顺序是为了便于描述任意定义的。只要能够执行特定的功能和顺 序，也可应用其它界限和顺序。任何所述或选的界限或顺序因此落入本发明的 范围和精神实质。
本发明还借助功能模块对某些重要的功能进行了描述。所述功能模块的界 限和各种功能模块的关系是为了便于描述任意定义的。只要能够执行特定的功 能，也可应用其它的界限或关系。类似地，在此还借助流程图来解释某些重要 的功能。就使用来说，可定义其它的流程图界限和顺序，仍执行某些重要功能。 所述功能性模块和流程图的其它界限或关系也因此落入本发明的范围和精神 实质。
本领域普通技术人员还可知，本申请中的功能模块和其它展示性模块和组 件可实现为离散组件、专用集成电路、执行恰当软件的处理器和前述的任意组 合。
此外，尽管以上是通过一些实施例对本发明进行的描述，本领域技术人员 知悉，本发明不局限于这些实施例，在不脱离本发明的精神和范围的情况下， 可以对这些特征和实施例进行各种改变或等效替换。本发明的保护范围仅由本 申请的权利要求书来限定。
权利要求
1、一种可移动的存储媒介，其特征在于，它可由第一视频播放器系统和第二视频播放器系统接纳并与其进行交互，所述第一视频播放器系统带有具备第一显示器特征的第一视频显示器，所述第二视频播放器系统带有具备第二显示器特征的第二视频显示器，所述第一显示器特征与所述第二显示器特征不同，所述可移动的存储媒介包括多个存储位置；存储在所述多个存储位置中的至少第一个存储位置中的视频数据全帧序列；第一子帧元数据，被生成以适应至少第一显示器特征，它存储在所述多个存储位置的至少第二个存储位置中；所述第一子帧元数据定义了所述视频数据全帧序列中的第一多个子帧，所述第一多个子帧中的每一个都具有与所述视频数据全帧序列中的所述第一多个子帧之外的其它子帧不同的至少第一参数；第二子帧元数据，被生成以适应至少第二显示器特征，它存储在所述多个存储位置的至少第三个存储位置中；且所述第二子帧元数据定义了所述视频数据全帧序列中的第二多个子帧，所述第二多个子帧中的每一个都具与所述视频数据全帧序列中的所述第二多个子帧之外的其它子帧不同的至少第二参数。
2、 根据权利要求1所述的可移动的存储媒介，其特征在于，所述第一视 频播放器系统可读取并使用所述第一子帧元数据，从而为所述第一显示器剪裁 视频数据全帧序列；且所述第二视频播放器系统可读取并使用所述第二子帧元数据，从而为所述 第二显示器剪裁视频数据全帧序列。
3、 根据权利要求1所述的可移动的存储媒介，其特征在于，所述第一参 数包括所述视频数据全帧序列中的子帧中心点。
4、 根据权利要求1所述的可移动的存储媒介，其特征在于，所述第一视频播放器系统包括电视，所述第二视频播放器系统包括计算机。
5、 根据权利要求1所述的可移动的存储媒介，其特征在于，所述第一视 频显示器包括手持设备的显示器。
6、 一种视频播放器电路，其特征在于，包括接纳可移动媒介的媒介接口 ，所述可移动媒介上存储有全帧视频和多个子 帧元数据；接口电路，与具有至少一个显示器特征的显示器通信连接； 处理电路，基于所述至少一个显示器特征，从所述多个子帧元数据中选择 第一子帧元数据；所述处理电路使用所述第一子帧元数据、根据所述全帧视频生成剪裁视 频；且所述处理电路通过所述接口电路发送所述剪裁视频。
7、 根据权利要求6所述的视频播放器电路，其特征在于，作为生成所述 剪裁视频的一部分，所述处理电路依照补充信息执行后处理。
8、 根据权利要求6所述的视频播放器电路，其特征在于，所述视频播放 器电路和所述显示器设置在单个壳体中。
9、 一种与可移动的存储媒介相关的方法，其特征在于，所述方法包括 存储表示全屏视频序列的第一数据；存储表示第一子帧元数据的第二数据，所述第二数据用于根据所述第一数据生成第一剪裁视频，所述第一子帧元数据定义了所述全屏视频序列中的第一子帧和所述全屏视频序列中的第二子帧，所述第一子帧具有与所述第二子帧不 同的至少一个特征；以及存储表示第二子帧元数据的第三数据，所述第三数据用于根据所述第一数 据生成第二剪裁视频。
10、 根据权利要求9所述的方法，其特征在于，所述方法还包括分发所述 可移动的存储媒介。
全文摘要
本发明涉及一种可移动的存储媒介，它可由第一视频播放器系统和第二视频播放器系统接纳并与其进行交互。所述第一视频播放器系统带有具备第一显示器特征的第一视频显示器，所述第二视频播放器系统带有具备第二显示器特征的第二视频显示器，所述第一显示器特征与所述第二显示器特征不同。所述可移动的存储媒介包括多个存储位置，存储视频数据全帧序列、第一子帧元数据、以及第二子帧元数据。所生成的第一子帧元数据和第二子帧元数据用于处理视频数据全帧，以分别对应第一视频显示器和第二视频显示器。
文档编号H04N5/76GK101106684SQ200710128029
公开日2008年1月16日 申请日期2007年6月22日 优先权日2006年6月23日
发明者詹姆士·D·贝内特 申请人:美国博通公司