专利名称：压缩域中的动态图像键控的制作方法
技术领域：
本发明涉及计算机科学领域。更具体地，本发明涉及用于压缩 域中的动态图像键控的系统和方法。
背景技术：
通常使用被称为键控(keying,也称抠像)的技术来生产电视 图4象，4建控允许通常由诸如Melville,NY的Chyron Corporation招: 入市场的那些CG (字符发生器)系统生成的图〗象和文本与视频程 序合成或^隻盖在^L频程序上。CG系统通常输出两种信号"4建(key)"信号和"填充(fill)"信号。"4建"定义^皮覆盖在^l频上的 图像数据的轮廓，"填充"定义被写入到键控区域的内容。键控器(keyer )是接收基带格式中的(1 )键、(2 )填充流、以及(3 )视 频作为输入，结合这三个输入，并输出结果作为单个合成视频流的 装置。键控器通常能利用模拟视频或利用未压缩的数字视频来执行 这个功能。利用未压缩的数字视频来执行这个功能的键控器通常使 用SDI (串行数字接口 )作为传输4几构。SDI描述用于分量数字—见 频*接口的ITU R BT 601标准。
图1是示出了基带(未压缩)视频的键控的框图。如图1所示，在其上键控图像的源视频流105未被压缩，由字符发生器120输出 的填充流125和键流130也未压缩。来自视频混频器/键控器110的 合成一见频输出115仍未^皮压缩。图2是示出了变换为基带(未压缩)视频的MPEG — 见频的4建控 的框图。在源视频是诸如MPEG (运动图像专家组)格式的压缩格 式的情况下，在4建控之前MPEG解码器240必须将MPEG源^L频 流235解码为基带(未压缩)^L频流205。；现频混频器/4建控器210 将4建控应用于未压缩的纟见频流205以继续到工作流禾呈的下一个阶 段，其中，视频流205然后由MPEG编码器245再次^皮编码为MPEG 格式。因为现有的键控器只利用基带视频工作，对于解码和再次编 码的需求带来了诸如增加设备成本、由于额外的处理时间需要的潜 伏期、以及由使用标准损耗3见频压缩算法来解码和再次编码引起的 降^f氐4见频质量的问题。因此，需要提供一种用于能够实时键控压缩视频流上的数字动 态图像的改进方法的技术。发明内容可以通过以下步骤完成压缩域中的动态图像键控接收包括一 个或多个源宏块的压缩一见频流，^矣收键:控图^象流(keyed graphics stream ),确定一个或多个源宏块中的明卩一个与4建控的图像流重叠(overlap )，只将一个或多个重叠的宏块解码以生成一个或多个解 码的宏块，将键控的图像流与一个或多个解码的宏块结合以生成合 成的一见频流，对合成的3见频流进4于编码以生成编码的合成^L频流， 以及将编码的合成视频流代替一 个或多个重叠的宏块重新存入(restore )压缩的祸L频:流中。结合于此并构成本说明书 一部分的附图示出了本发明的 一个 或多个实施例，并与详细说明 一起用于解释本发明的原理和实施方 式。附图中图1是示出了基带(未压缩)视频的键控的框图。图2是示出了变换为基带(未压缩)视频的MPEG视频的键控 的才匡图。图3是适合于实现本发明各个方面的计算机系统的框图。图4是示出了根据本发明的一个实施例的用于动态图像键控的 系统的才匡图。图5是示出了才艮据本发明的一个实施例的用于动态图像键控的 方法的流程图。图6是示出了根据本发明的一个实施例的用于MPEG动态图像 4建控的系统的框图。
具体实施方式
这里在用于压缩域中的动态图傳3建控的系统和方法的上下文 中描述本发明的实施例。本领域的普通技术人员将会理解以下本发 明的详细描述是示例性的，并不用于以任何方式限制本发明。通过 公开的描述使本领域技术人员可以容易地得到本发明的其它实施 例。现在将详细参考如在附图中示出的本发明的实施例。在所有的
附图和以下的详细描述中^f吏用相同的参考标号4戈表相同或相如乂部分。为了清楚，在本文中没有示出和描述所有所描述的实施例的常 规特征。当然，可以想到在任何这样的实际实施的开发过程中，为 了达到开发者的特定目标，例如，适应于应用或与商业有关的限制， 必须估文出许多实施特定的决定，并且这些特定目标将乂人一个实施到 另 一个实施是不同的以及从一个开发者到另 一个开发者是不同的。 此外，可以想到这样的开发努力是复杂且费时的，但是通过公开描才艮据本发明的一个实施例，使用各种类型的才喿作系统(os)、 计算才几平台、固件、计算才几程序、计算4几语言、和/或通用机器可以实现组成、处理步骤、和/或lt据结构。能够作为在处理电if各上运4亍 的编程过程4丸行本方法。处理电3各可采用处理器和操作系统、或独立(stand-alone)装置的许多种组合的形式。该处理可作为由这种 硬件、单独的石更件、或其任意组合执4于的指令来实现。專欠件可以4皮 存储在机器可读的程序存储器装置上。此外，本领域普通技术人员将会发现在不背离本文中公开的发 明内容的范围和精神的情况下，也可^f吏用具有不太通用性质的装 置，例如，硬线装置(hardwired device),现场可编程逻辑器件 (FPLD)，特定用途集成电路(ASIC)等，其中，现场可编程逻辑 器件(FPLD)包括现场可编程门阵列(FPGA)和复杂可编程逻辑 器件(CPLD)。根据本发明的一个实施例，本方法可以在诸如个人计算机、工 作站计算机、大型计算机、或运行OS的高性能服务器的数据处理 计算才几上被实现，其中，OS可以是如从Santa Clara，California的Sun Microsystems,Inc.的商业上可购得的Solaris 、 Redmond,Washington
的Microsoft Corporation的商业上可购4寻的Microsoft Windows XP⑧和Windows 2000、或可/人^午多厂家购4寻的T者如Linux的Unix 才喿作系统的多个片反本。该方法也可以在运4亍OS的移动装置上实J见， 其中，OS可以是长口 Redmond, Washington的Microsoft Corporation 的商业上可购得的Windows CE、 London, UK的Symbian Ltd的 商业上可购4寻的Symbian OSTM、 Sunnyvale, CA的PalmSource， Inc. 的商业上可购得的Palm OS 、以及各种嵌入式Linux才喿作系统。 嵌入式Linux才喿作系统可以是/人包4舌Sunnyvale ， CA的MontaVista Software ， Inc.和Socorro, NM的FSMLabs， Inc.商业上可购4寻的。该 方法还可以在多处理器系统上实现，或在包括多个外围设备(诸如 输入装置、输出装置、显示器、指示装置(pointing device )、存储 器、存储器装置、用于向处理器(处理器组)传输数据和从处理器 (处理器组)传输数据的媒体接口等)的计算环境中实现。此外， 这种计算机系统或计算环境可以是局域的网络连接或基于互联网的网络连接。在本发明的上下文中，术语"网络，，包括局域网、广域网、互 耳关网、有线电视系统、电话系统、无线电通讯系统、光纤网络、ATM 网络、帧中继网络、卫星通信系统等。该网络在技术领域中是已知 的，因此这里不再进一步描述。在本发明的上下文中，术语"标识符"描述一个或多个数字、 字符、符号等。更一般地，"标识符"描述可以由一个或多个比特 代表的实体。在本发明的上下文中，术语"数字图像，，描述由一个或多个比 特代表的图像，而不管图像是否最初被描述成模拟图像。图3描述了适合于实现本发明的各方面的计算机系统300的框 图。如在图3中所示，计算机系统300包括总线302，用于使主
要子系统互连，诸如中央处理器304、系统存储器306 (代表性地 为RAM)、输入/输出(I/O)控制器308、经由显示适配器312的外 部装置(诸如显示屏幕310)、串行端口 314和串行端口 316、 4建盘 318、硬盘驱动器320、可操作接收软盘324的软盘驱动器322、以 及可操作接收CD-ROM 328的CD-ROM播;改器326。能够例如经 由串行端口 314连接的定点装置330 (例如，鼠标)和经由串4亍端 口 316连《1妾的调制解调器332连接的许多其它装置。调制解调器332 可以提供经由电话线到远程服务器的直接连接或经由POP (电话接 入网点)到互联网的直接连接。可选地，利用对本领域寺支术人员已 知的任何有线或无线的网络接口系统(例如，以太网、xDSL, APPleTalkTM， IEEE802.il、及Bluetooth ),网纟各才妾口适配器334 可以被用于连接到局域网或广域网。可以类似的方式连4妻许多其它装置或子系统(未示出)。同冲羊， 如下面讨i仑的，并不是在图3中示出的所有装置都必须出现来实施 本发明。此外，从图3示出的装置和子系统可以以不同方式互连。 如图3中示出的计算机系统的操作在本领域中是已知的并不在本申 请中详细描述，以免使描述过于复杂。实施本发明的代码可以可操: 作地被i殳置在系统存储器306中或存储在诸如硬盘324、软盘324、 CD-ROM 328、或拇指驱动器336的存储介质上。为了4建控来自CG系统的图^f象流，本发明的实施例避免了将压 缩视频解码为基带视频的需要。根据本发明的一个实施例，视频混频器/键控器只执行键控图像 与其重叠的宏块的局域解码。源#见频的其余部分<呆持为压缩状态。 将4建和填充应用于—见频图像的这些解码部分(即，将未压缩的4建控 图像流与视频图像的局域解码部分结合)，此后，在整个视频流中， 再次编码并重新存入用于临时解码的图像的那些部分的合成视频。 然后将其分配到工作流程的下一个阶,殳作为编码碎见频，因为大部分次编码，所以该编码—见频保留了其原始的高质量。现在转向图4，示出了才艮据本发明的一个实施例的用于动态图 像^睫控的系统的框图。如图4所示，系统400包括字符发生器420 和压缩域键控器410。采用字符发生器来产生包括填充流425和键 流430的键控图像流。采用压缩域键控器410经由接口接收包括填 充流425和键流430的键控图像流。还釆用压缩域键控器420经由 接口来接收包括一个或多个源宏块的压缩视频流405。进一步采用 压缩i成4建控器410以确定一个或多个源宏块的一个或多个重叠的宏 块。重叠的宏块是与键控图像流重叠的源宏块。进一步采用压缩域 4定控器41(H又将一个或多个源宏块解码以生成一个或多个解码的宏 块。进一步采用压缩域^建控器410以将^T建控图^f象流与一个或多个重 叠的宏块结合以生成合成的视频流。进一步采用压缩域4建控器410 以将合成的视频流编码以生成编码的合成视频流。进一 步采用压缩 域键控器410以将编码的合成视频流代替一个或多个重叠的宏块重 新存入压缩一见频流405中，以在压缩一见频流405的顶部上生成包括「 键控的数字动态图像的压缩视频流415。现在转向图5，呈现了一个流程图，该流程图示出了#4居本发 明的一个实施例的用于动态图像键控的方法的流程图。图5描述了 由图4的压缩域键控器410执行的过程。可以在硬件、软件、固件、 或其组合中实现图5中示出的过程。在步骤500中，4妄收包括一个 或多个宏块的压缩视频流。在步骤505中，接收键控图像流。键控 图像流可以包括填充流和键流。在步骤510中，确定关于是否存在 一个或多个重叠的宏块。重叠的宏块是与键控图像流重叠的源宏 块。如果出现一个或多个重叠的宏块，则在步骤515中，只执行一 个或多个重叠的宏块的解码，以生成一个或多个解码的宏块。在步 骤520中，将4建控图4象流应用于一个或多个重叠的宏块以生成合成
的牙见频流。在步艰《525中，对合成的—见频流进4亍编码以生成编码的 合成4见频流。在步骤530中，将编码的合成4见频流代替一个或多个 重叠的宏块重新存入压缩;阮频流中，以在压缩^见频流的顶部上生成 包括键控的数字动态图像的压缩视频流。在步骤500中继续剩余视 频源和键控图像流的处理。根据本发明的实施例可以以多种方式来摄取键控图像流和源 视频。根据本发明的一个实施例，键控图像流包括基于SDI传输传 送的未压缩^t字一见频。异步串行接口 ( ASI)是用于MPEG-2标准的串行数据传输方 法，该MPEG-2标准允许DTV (#:字电#见)传输中的压缩祸L频的 基于包的传输。根据本发明的一个实施例，在一个或多个ASI(异 步串行接口 )端口上传输MPEG源视频。才艮据本发明的另一个实施例，基于一个或多个IP(互联网十办i义) 端口传输MPEG源视频。以实例的方式，基于一个或多个吉比特以 太网端口传输MPEG源一见频。根据本发明的另一个实施例，采用压缩域键控器410来持续监 听键控图像流(425、 430)并只要检测到键即动态地将键控图像流 (425， 430 )与压缩视频流405结合。才艮据本发明的另 一个实施例，提取嵌入在4定控图^象流中的音频 并与压缩一见频流多^各复用。才艮据本发明的实施例，压缩域4建控器410可以包括各种体系结 构。根据本发明的一个实施例，压缩域键控器410使一个或多个端 口打开用于监听来自CG系统420的视频流。压缩域键控器410接 收到的任何视频作为图像帧的序列被緩沖。同时，在此时通过压缩域键控器410的压缩视频流405的那些帧被緩沖(并且如果有必要， 按时间顺序重新排序)，并且对于键控图像帧在时间上共存的压缩 源一见频的每一帧，通过4吏用才艮据关于图4和图5的上述局域解码/ 再次编码^支术的合并帧应用该4定。图6是示出了根据本发明的一个实施例的用于MPEG动态图像 键控的系统的框图。图6类似于图4，并进一步指出压缩视频流是MPEG视频？本发明的实施例可以实现以下各方面中的一个或多个减少设 备成本、缩短处理时间、并提高视频质量。另外，可以由包括snipe 和文本crawls的CG系统生成的多种类型的动态图像能够实时地与 压缩视频流合成。进一步，标准SDI接口和用于^皮动地监听CG系 统的输出的键控器的使用有利于与现存的CG系统的兼容性和互操 作性，从而避免了对控制信号或协议的需要。可以提供具有指令的程序或程序组，其中的指令用于使处理单上述才喿作的方法。此外，可以提供程序嵌入在其中的计算才几可读介 质，其中，程序是用于使计算机执行上述操作的方法。另外，可以提供具有嵌入在其上的计算机可读介质，其中，程 序用于使卡装置执行上述实例的特征或元件的功能或操作。计算机 可读介质可以是在其上记录程序的磁性或光学或其它有形的介质， 但也可以是信号，例如模拟信号或数字信号、电子信号、磁信号或 光信号，程序被嵌入其中用于传输。而且，可以设置包括指令的数 据结构和数据流，以使数据处理装置执行上述操作。数据流或数据 结构可以构成计算才几可读介质。另外，可以冲是供包4舌计算4几可读介 质的计算机程序产品。 尽管本发明的实施例已经示出了关于数字^L频凄t据的动态图 像键控，但本发明还可应用于数字音频或数字音频/视频数据。虽然已经示出并描述了本发明的实施例和应用，但是本领域技 术人员应该理解，在不背离本发明的精神的情况下，可以进行更多 上述的修改。因此，只要在附属权利要求的精神范围内，本发明并 不限于此。
权利要求
1.一种用于压缩域中的动态图像键控的方法，该方法包括接收包括一个或多个源宏块的压缩视频流；接收包括经由串行数字接口(SDI)传输传送的未压缩数字视频的键控图像流；确定所述一个或多个源宏块中与所述键控图像流重叠的一个或多个重叠宏块；只对所述一个或多个重叠宏块进行解码以生成一个或多个解码宏块；将所述键控图像流与所述一个或多个解码宏块结合以生成合成视频流；对所述合成视频流编码以生成编码合成视频流；以及将所述编码合成视频流代替所述一个或多个重叠宏块重新存入所述压缩视频流中。
2. 才艮据权利要求1所述的方法，其中，所述压缩-阮频流经由一个 或多个异步串^亍^妄口 (ASI)端口传^T。
3. 根据权利要求1所述的方法，其中，所述压缩视频流经由一个 或多个互联网十办i义(IP)端口传车ir。
4. #4居4又利要求3所述的方法，其中，所述一个或多个IP端口 包4舌一个或多个吉比特以太网端口 。
5. 根据权利要求1所述的方法，还包括持续监听所述4定控图像流；以及如果4企测到一个或多个4建，则将所述4建控图^f象流与所述 压缩一见频力乾动态结合。
6. 根据权利要求1所述的方法，还包括提取嵌入在所述键控图像流中的音频；以及 将所述音频与所述压缩;现频流多路复用。
7. 根据权利要求1所述的方法，还包括4吏一个或多个端口打开以监听所述4建控图^f象流； 同时緩沖所述^^建控图像流中的^L频的帧的序列；和 所述压缩一见频:流的帧的序列；以及对于在时间上与4建控图 <象帧共存的所述压缩源— 见频的每 一帧，通过合并相应的帧应用所述4建。
8. 根据权利要求7所述的方法，还包括将所述压缩视频流的所述 帧按时间顺序重新排序。
9. 才艮据权利要求1所述的方法，其中，所述压缩-见频流包括 MPEG^L频流。
10. 根据权利要求1所述的方法，其中，所述键控图像流包括键流 和填充流。
11. 一种机器可读的程序存储装置，实现由所述机器可读的指令的 程序以执^亍用于压缩域中的动态图傳3定控的方法，所述方法包括以下步艰《接收包括一个或多个源宏块的压缩^L频流；接收包括经由串行凄t字接口 ( SDI)传專lr传送的未压缩凄t 字视频的键控图像流；确定所述一个或多个源宏块中与所述4建控图 <象流重叠的 一个或多个重叠宏块；只对所述一个或多个重叠宏块进4亍解码以生成一个或多 个解码宏块；将所述4建控图^f象流与所述一个或多个解码宏块结合以生 成合成一见频流；对所述合成^见频流进^f于编石马以生成编石马合成^L频流；以及将所述编码合成一见频流代替所述一个或多个重叠宏块重 新存入所述压缩—见频流中。
12. —种用于压缩域中的动态图像键控的设备，所述设备包括用于4妾收包4舌一个或多个源宏块的压缩-见频流的装置；用于接收包括经由串4亍凄t字4妄口 ( SDI)传l餘传送的未压 缩数字视频的键控图像流的装置；用于确定所述 一 个或多个源宏块中与所述4定控图像流重 叠的一个或多个重叠宏块的装置；用于只^"所述一个或多个重叠宏块进4亍解石马以生成一个 或多个解码宏块的装置； 用于将所述^:控图像流与所述一个或多个解码宏块结合 以生成合成一见频流的装置；用于对所述合成^见频流进^f亍编码以生成编码合成—见频流的装置；以及用于将所述编码合成^L频流^替所述一个或多个重叠宏 块重新存入所述压缩一见频流中的装置。
13. —种用于压缩域中的动态图像4建控的系统，所述系统包括字符发生器，适用于产生键控图像流；以及键控器，连接到所述字符发生器，所述键控器适用于4妄收包括一个或多个源宏块的压缩一见频流；接收所述键控图像流，所述键控图像流包括经由串行 数字接口 (SDI)传输传送的未压缩数字视频；确定所述一个或多个源宏块中与所述4建控图像流重 叠的一个或多个重叠宏块；只对所述一个或多个重叠宏块进4亍解码以生成一个 或多个解码宏块；将所述键控图像流与所述一个或多个解码宏块结合 以生成合成一见频;充；对所述合成纟见频流进行编码以生成编码合成视频流；以及将所述编码合成^L频流代替所述一个或多个重叠宏 块重新存入所述压缩^L频流中。
14. 一种用于压缩域中的动态图像键控的键控器，所述键控器包 括接口，用于接收键控图像流；以及键控器，连接到所述字符发生器，所述键控器适用于接收包括一个或多个源宏块的压缩视频流；接收所述键控图像流，所述键控图像流包括经由串行 数字接口 (SDI)传输传送的未压缩数字视频；确定所述一个或多个源宏块中与所述^T建控图^f象流重叠的 一个或多个重叠宏块；只只于所述一个或多个重叠宏块进4亍解石马以生成一个或多 个解码宏块；将所述^t控图^f象流与所述一个或多个解码宏块结合以生 成合成一见频流；对所述合成视频流进行编码以生成编码合成4见频流；以及将所述编码合成一见频流代^齐所述一个或多个重叠宏块重 新存入所述压缩— 见频流中。
15. —种用于压缩域中的动态图傳3建控的方法，所述方法包括以下 步骤^^收包4舌一个或多个源宏块的压缩4见频流；接收来自外部字符发生器(CG)的键控图像流，所述键 控图像流包括未压缩数字视频；确定所述一个或多个源宏块中与所述4建控图 <象流重叠的 一个或多个重叠宏块； 只对所述一个或多个重叠宏块进4亍解石马以生成一个或多个解码宏块；将所述键控图像流与所述一个或多个解码宏块结合以生 成合成一见频流；对所述合成—见频流进4亍编码以生成编石马合成—见频流；以及将所述编码合成一见频流代替所述一个或多个重叠宏块重 杀斤存入所述压缩^L频流中。
16. 根据权利要求15所述的方法，其中，所述键控图像经由串行 数字接口 (SDI)传输传送。
全文摘要
压缩域中的动态图像键控可以通过以下步骤完成接收包括一个或多个源宏块的压缩视频流，接收键控图像流，确定一个或多个源宏块中的哪一个与键控图像流重叠，只对一个或多个重叠的宏块解码以生成一个或多个解码的宏块，将键控图像流与一个或多个解码的宏块结合以生成合成的视频流，对合成的视频流进行编码以生成编码的合成视频流，以及将编码的合成视频流代替一个或多个重叠的宏块重新存入压缩视频流中。
文档编号H04N9/76GK101133653SQ200680006540
公开日2008年2月27日 申请日期2006年3月23日 优先权日2005年3月24日
发明者本杰明·菲利普·霍林, 法布里斯·基纳尔 申请人:特瑞阳通讯系统有限公司