立体徽标插入的制作方法

专利名称：立体徽标插入的制作方法
技术领域：
本发明涉及图像处理和显示系统，尤其涉及将像徽标那样的对象插入视频内容中，更具体地说，将徽标插入立体空间交错三维(3D)画面中的系统和方法。
背景技术：
徽标插入设备和技术可广泛用于专门处理ニ维(2D)图像和视频的商业和非商业应用。在这些应用中，将源画面和徽标画面输入到将输入组合在一起形成输出2D画面的设备中。这种输出2D画面包括与源画面叠加或混合的徽标。徽标的透明度、大小、顔色、和位置一般是能够被编程成在输出画面中实现徽标外观的变化的參数。已知2D图像的徽标插入是对未压缩视频或压缩域中的视频进行的。在这两种情 况下，徽标插入通常无需解码和重新编码图像位流地完成。例如，Thomson Grass ValleyCrystal徽标插入器直接在MPEG-2压缩视频域中进行静止和动画徽标插入，从而避免了 2D信号的任何解码和重新编码。其他徽标插入产品可商用于将徽标插入2D图像中。一般说来，将徽标画面直接与内容画面组合，以便视频输出图像帧包括徽标被适当放置在上面以便加以2D处理和显示的内容。然而，当前商用徽标插入技术和设备不可应用于将徽标插入立体图像，即，3D图像中。也就是说，可以肯定，通过传统徽标插入技术将徽标插入3D图像中将导致像徽标失真等那样的不希望的效果的存在。

发明内容
现有技术的这些和其他缺陷通过本发明的各种实施例提供生成包含立体空间交错徽标画面的立体徽标的方法来解决，每个立体空间交错徽标画面包括徽标的表示，其中该立体空间交错徽标画面是以空间交错格式安排的。当为了徽标插入而处理视频图像吋，对视频图像进行检测看看在视频图像中是否存在画面，其中该视频图像的立体空间交错画面是以空间交错格式安排的。在生成立体徽标之后，将它与视频图像组合以便以空间交错格式生成叠加图像。该叠加图像是适合存储、显示或分配的。在本发明的一个实施例中，将徽标插入视频图像中生成叠加图像的方法包括检测视频图像中的立体空间交错画面的存在，该视频图像的立体空间交错画面是以空间交错格式安排的；生成包含立体空间交错徽标画面的立体徽标，该立体空间交错徽标画面包括徽标的表示，该立体空间交错徽标画面是以空间交错格式安排的；以及将立体徽标与视频图像组合以便以空间交错格式生成叠加图像。在本发明的一个可替代实施例中，该方法可以进一歩包括分析视频图像，以便通过检测所述视频图像中的至少ー个缝隙确定空间交错格式，其中至少ー个缝隙可以包括水平缝隙和空间交错格式包括顶底格式、隔行格式、和棋盘格式之一，以及其中至少ー个缝隙可以包括垂直缝隙和空间交错格式包括并肩格式、隔行格式、和棋盘格式之一。


通过结合附图阅读如下详细描述可以容易地理解本发明的教导，在附图中图l(a)-l(c)描绘了现有技术(非立体)徽标插入的一组示范性输入和输出图像；图2(a)_2(c)描绘了组合成单个立体(3D)图像帧的ー组立体视图；图3(a)_3(e)描述了依照传统徽标插入做法的传统徽标与立体图像帧的徽标插入处理以及随后对包括徽标的两个立体视图的抽取；图4(a)_4(e)描绘了依照本发明的实施例的立体徽标与立体图像帧的徽标插入
处理以及随后对包括徽标的两个立体视图的抽取；图5描绘了多种示范性简化立体(3D)图像格式和依照本发明的实施例的两个图像视图的抽取；以及图6描绘了依照本发明的实施例将徽标插入视频图像中生成叠加图像的方法的流程图。应该明白，这些附图是为了例示本发明的概念，而未必是例示本发明的唯一可能配置。为了便于理解，在可能的情况下，使用相同标号表示这些图形共有的相同元件。
具体实施例方式本发明有利地提供了立体徽标插入的系统和方法。尽管主要在视频处理器和显示器环境的背景下描述本发明，但不应该把本发明的特定实施例视为限制本发明的范围。本领域的普通技术人员应该懂得以及从本发明的教导中了解到，本发明的概念可以有利地应用在几乎任何基于视频处理环境中，诸如，但不限于，电视机、代码转换器、视频播放器、图像查看器、机顶盒或可用于将文本与3D内容组合的任何基于软件和/或基于硬件实现。显示在这些图形中的各种元件的功能可以通过使用专用硬件以及能够与适当软件相联系执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器、由单个共享处理器、或由其中一些可以共享的多个单独处理器提供。此外，术语“处理器”或“控制器”的显性使用不应该理解为专门指能够执行软件的硬件，而是可以隐性地包括但不限于数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)和非易失性存储体。在本发明的实现中也可以包括传统的和/或定制的其他硬件。例如，显示在图形中的任何开关都只是概念性的。它们的功能可以通过程序逻辑的运算、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至人工地实现，正如从上下文中更具体了解到的那样，特定的技术可由实现者选择。本领域的普通技术人员应该懂得，本文所表示的方块图代表体现本发明的原理的例示性系统部件和/或电路的概念图。类似地，应该懂得，任何流程图、流图、状态转变图、伪码等代表基本上可以表示在计算机可读媒体中，因此可以由计算机或处理器执行的各种进程，无论本文是否明确示出这样的计算机或处理器。在如下的描述中，应该明白，术语“立体图像”和“立体视图”以及术语“图像”和“视图”每ー对都可以不会丧失其含义和不会造成任何有意限制地交換使用。类似地，术语“3D”和“立体”也可以交换使用。最后，术语“帧”和“画面”也可以交换使用。如上所述，将2D徽标插入2D源或内容中的徽标插入是众所周知和可以商用的。图I描绘了现有技术(非立体)徽标插入的一组示范性输入和输出图像。也就是说，图I例示了目前可商用的传统徽标插入器的操作，其中将示范性三角徽标(图1(b))加入源内容画面(图1(a))的右下角中形成叠加画面(图1(c))。该徽标以徽标处在要出现在叠加画面中的相同位置上地包括在徽标帧中。可以将该徽标帧供应给徽标插入器或使用徽标和其他相关信息包含在徽标插入器中。由于源内容画面和徽标是标准二维(2D)画面，所以与一般两个图像或视图出现在源内容画面中的立体内容不同，只有单个视图出现在其中。为了帮助理解这个使用3D或立体内容造成的问题，下面给出3D格式的简要描述。立体3D显示器通常支持将立体画面的两个视图组合到单个合成画面的输入格式。两个视图通常代表左右图像或视图，是通过将单个内容画面或帧的空间区域分配给左右视图形成的。以这种方式形成的画面被称为空间交错画面。空间交错画面的不同表示的描述和分析可以从如下论文中找到〃0n Spatially Interleaved Pictures SEI Message^by D. Tianet al. presented in thejoint Video Team of IS0/IEC MPEG&ITU-T VCEG (IS0/IEC JTC1/SC29/WG11 and ITU-T SG16Q. 6) in January 2009as Document JVT-AD017。该论文通过引用全文并入本文中。 一旦形成空间交错画面，就可以使用像JPEG、MPEG-2和MPEG-4AVC那样的普通2D画面和视频编码标准进行编码。然后可以将空间交错画面解压成两个视图，即左右视图，以便可以为立体或3D展示和观看而显示它。空间交错立体画面的几种格式是已知的，包括并肩组成、棋盘图案组成、隔行组成、顶底组成、和像补色那样的基于颜色组成，预计将来还会提出另外的格式。这些组成格式的许多种简单化地显示在图5中，而图2例示了并肩组成的更精确描绘。更具体地说，图2描绘了组合成单个立体(3D)图像帧的一组立体视图，和图5描绘了多种示范性简化立体(3D)图像格式和依照本发明的实施例的两个图像视图的抽取。在图2和图5中，3D图像帧的立体图像或立体视图之一用淡阴影描绘，而与那个3D图像帧相联系的第二图像或视图用浓阴影描述。如上所述，3D内容包括最初作为分开立体图像(或视图)生成的一对图像或视图。可以编码这些图像的每一个，其中该编码可以包括向下取样每个立体图像，以便两个图像的组合体在正常立体内容帧尺寸的范围内。为了存储、或分配或显示3D图像，将像左图像和右图像那样的两个立体图像的内容组成单个图像帧。因此，每个3D源帧代表整个3D图像，而不是使用每一个在它们自己的帧或文件中的两个分开立体图像。如前所述，图5描绘了跨顶行的多种不同3D格式。所示的格式包括隔行格式、顶底(也称为上下)格式、并肩格式、和棋盘图案格式。所示的隔行格式是水平隔行。也可以取代行交替，通过让每个图像或视图当中的列隔行交替实现与水平隔行垂直的格式，即，垂直隔行。显示在这个图中的格式代表示范性列表，而不是所有已知3D格式的详尽列表。在图5的实施例中，3D图像的立体图像或立体视图之一(S1)用淡阴影描绘，而与那个3D图像相联系的第二图像或视图(S2)用浓阴影描绘。在相关技术中，简化了格式的表示。这种简化牺牲了精度，以便提高对如何将左右视图组合成最终3D图像帧的认识。本领域的普通技术人员应该懂得，图5中的简化，因此不精确性加大了，因为不致力于描绘使3D源帧与使用的格式无关地具有相同尺寸时会发生的左右图像的任何向下取样。
如图5所示，当按照它们各自的格式适当处理图5顶部的图像时，可以从顶部的单个3D图像中抽取单独立体图像或视图S1和S2。然后可以将这些分开视图施加于视频处理器和显示器，以便生成供用户观看的原始3D画面或帧。在实际的实现中，应该懂得，每个图像S1和S2的分辨率不超过整个原始3D图像的分辨率的一半，因为成比例地向下取样每个图像S，以便适当地处在3D立体帧的范围内。在从立体3D帧中抽取之后，按互补比例向上取样可以恢复成每个足尺寸图像S。为了使3D图像帧组成例示在图2中的并肩格式(图2 (c))，水平地向下取样原始左右视图画面(即，分别图2(b)和(c))的每一个。这导致每个视图具有各自原始视图的水平分辨率的一半。然后肩并肩地将两个向下取样画面放置成具有与原始左右视图画面的任一个相同的分辨率(即，像素数量)的空间交错画面，即，3D图像帧。为了从3D图像帧中抽取两个视图，根据将视图肩并肩格式化的知识将空间交错画面分解成两个分开左右视图画面，并将左面子画面的每一个向下取样回到它们的原始分辨率。可以将对于每种格式作相应调整的类似过程用于其他空间交错格式。
正如本发明人所发现，商用徽标插入器不能对立体内容进行适当徽标插入。此外，这样的徽标插入器与空间交错画面一起使用将造成不希望有的效果。为了理解这些方面，在图3中示出了使用空间交错画面中的3D内容的简单实验。也就是说，图3描述了依照传统徽标插入做法将传统徽标插入立体图像帧中的徽标插入处理以及随后对包括徽标的两个视频视图的抽取。对于图3中的描述，假设以显示在图2中的那种类型的并肩空间交错画面(图3(a))编排格式3D内容。并且，假设要将三角徽标(图3(b))插入合成叠加画面(图3(c))中的内容的右下角中。该徽标插入操作使徽标以如上所述的传统方式处在3D内容上。当这个合成画面(图3 (c))被分解回成两个分开视图(图3(d)和(e))和显示成立体时，该分解将使徽标只出现在右视图(图3(e))上而未出来在左视图(图3(d))上。此外，加入右视图中的徽标的宽度是失真的但高度没有失真。出现这种问题是因为传统徽标插入器简单地将2D徽标与假设的2D内容画面组合。由于足尺寸徽标实际上叠加在图3(a)的空间交错画面中的向下取样右视图上，所以当为了输出和显示而抽取视图时，以及当将每个视图向上取样成它的足尺寸时，由于叠加右视图的向上取样，使徽标的宽度相对增大。为了依照本文所述的本发明的实施例纠正这些问题，本发明的立体徽标插入技术首先在输入视频流中检测立体空间交错画面(图4(a))的存在。更具体地说，图4描绘了依照本发明的实施例将立体徽标插入立体图像帧中的徽标插入处理以及随后对包括徽标的两个立体视图的抽取。这样，徽标插入器可以为徽标插入确定正在输入立体(3D)画面还是非立体(例如，2D)画面。依照本发明的实施例，空间交错画面的检测可以以若干不同方式进行。例如，徽标插入器可以抽取和处理像元数据等那样的信息或随系统定义建立的信息。这种信息可以作为帧格式化的一部分伴随着画面。可替代的是，以及依照本发明的可替代实施例，徽标插入器也可以在为空间交错画面搜索某些特征时通过分析输入视频画面帧自动检测这样空间交错画面的存在。关于上述的本发明的自动检测实施例，空间交错画面具有作为可在空间交错画面的某些部分中检测到的缝隙的边缘。在如图2(c)所示的并肩格式中，垂直缝隙出现在左图像与右图像之间。在如图5所示的顶底格式中水平缝隙出现在图像之间。在显示在图5中的图像的隔行格式中出现水平缝隙和垂直缝隙的组合。依照本发明的实施例，可以将边缘检测用于检测空间交错画面中的这些缝隙。例如，在本发明的一个实施例中，可以将Sobel(索贝尔)滤波器用于这样的边缘检测。在用于自动检测的本发明的可替代实施例中，可以将视图关联用于检测像并肩、上下、行交错、或棋盘图案那样的空间交错模式。例如，对于每种交错模式，可以按照特定交错技术抽取视图，并且可以计算两个视图之间的均方误差(MES)。在收集到用于每个预期交错技术的MSE之后，通过选择产生最小MSE的技术作为实际交错模式，可以作出最有可能交错技术的判定。可以将这个过程细化成包括通过将所有计算的MSE与预定阈值相比较，且如果对于所有模式，MSE都超过阈值，则内容画面只能被识别为2D来作出格式是2D的判定。在转让给与本申请相同的共同受让人的几个同时待审专利申请中详细展示了识别适合实现本文的自动检测特征的3D图像的存在和格式的技术。通过引用全文并入全文中的这些同时待审申请包括发明名称为“Method andApparatus For Distinguishing A3D Image From A 2D Image And For IdentifyingThe Presence OfA 3D Image Format ByImage Difference Determination”的专利代理人案号为PU090182的申请；以及发明名称 为“Method For DistinguishingA 3D Image From A 2D Image And For Identifying ThePresence Of A 3D ImageFormat By Feature Correspondence Determination，，的专利代理人案号为PU090183的申请。在上面标识的第一相关专利申请中，公开的方法使用依赖于图像差的技术将3D图像与2D图像区分开。在上面标识的后一种相关专利申请中，其中公开的方法依赖于特征对应关系地将3D图像与2D图像区分开。基于特征对应关系的方法检测特征并建立所检测特征之间的一一对应关系。与基于特征对应关系相反，基于图像差的方法不依赖于适当识别和操作的特征。如果依照本发明的各种实施例，徽标插入器检测到输入视频包含立体空间交错画面，则将徽标格式化成具有空间交错格式与针对输入视频画面帧识别的空间交错格式相同的空间交错徽标画面(图4(b))。在本发明的这样实施例中，将徽标放置在两个视图的每一个中，然后接受适当程度的向下取样。对于显示在图4中的例子，三角徽标将被水平向下取样，以实现适当并肩空间交错。此刻，可以使用传统徽标插入技术处理输入视频和空间交错徽标画面，以创建如图4所示的空间交错叠加画面。也就是说，可以以传统方式将图4(b)中的适当格式化徽标画面与图4(a)中的空间交错源画面组合，以生成图4(c)中的叠加徽标插入画面。从该图形中可以清楚看出，向下取样徽标出现在每个向下取样视图中。当然，根据使用和检测的实际空间交错技术相应地改变图4(a)_(c)中的各种画面的外观。当为了显示而处理来自图4(c)的空间交错叠加画面时，徽标将精确地表示在左右立体视图中。对于显示在图4中的例子，从并肩格式中抽取左右视图并将其向上取样成正确画面帧尺寸(即，与图4(a)中的原始视频帧相同的尺寸)。此刻，图4(d)中的左视图和图4(e)中的右视图适合立体显示。在上述的示范性实施例中，对于两个图像的每一个，徽标被显示成插入几乎相同的位置中。可以设想，徽标位置在两个图像的每一个中可以不同，以便当与相关立体内容一起观看时改变徽标的深度。此外，可以设想，徽标的深度从一个帧到下一个帧可以保持在预定常数值上，或者，在本发明的可替代实施例中，例如，可以随预定变化模式或随插入徽标的图像的深度而变。在本发明的各种实施例中，也可以随时间或依照插入徽标的图像的特性确定和/或改变徽标的透明度、大小、颜色、运动、和其他参数。虽然上面将徽标插入描述成基本上由徽标插入设备来进行，但可以设想，徽标插入也可以在显示立体图像之前，由像机顶盒或DVD播放器等那样的许多不同设备来进行。图6描绘了依照本发明的实施例将徽标插入视频图像以生成叠加图像的方法的流程图。图6的方法600从步骤602开始，在步骤602期间检测视频图像中的立体空间交错画面的存在，该视频图像的立体空间交错画面是以空间交错格式安排的。然后，该方法600转到步骤604。在步骤604中，生成包含立体空间交错徽标画面的立体徽标，该立体空间交错徽标画面包括徽标的表示，该立体空间交错徽标画面是以空间交错格式安排的。然后，该方法600转到步骤606。在步骤606中，将立体徽标与视频图像组合以便以空间交错格式生成叠加图像。 然后，可退出方法600.虽然已经描述了立体徽标插入方法的各种实施例(该实施例旨在例示而非限制)，但应该注意到，本领域的普通技术人员可以按照上面的教导作出修改和改变。因此，不言而喻，可以对在本发明的范围和精神内公开的本发明的特定实施例作出改变。虽然上文针对本发明的各种实施例，但也可以不偏离本发明的基本范围地设想出本发明的其他和进一步实施例。
权利要求
1.一种将徽标插入视频图像以生成叠加图像的方法，该方法包含 检测视频图像中的立体空间交错画面的存在，该视频图像的立体空间交错画面是以空间交错格式安排的； 生成包含立体空间交错徽标画面的立体徽标，该立体空间交错徽标画面包括徽标的表示，该立体空间交错徽标画面是以空间交错格式安排的；以及 将立体徽标与视频图像组合以便以空间交错格式生成叠加图像。
2.如权利要求I所述的方法，进一步包含 分析视频图像，以便通过检测所述视频图像中的至少一个缝隙确定空间交错格式。
3.如权利要求2所述的方法，其中至少一个缝隙包括水平缝隙，和其中所述空间交错 格式包括顶底格式、隔行格式、和棋盘格式之一。
4.如权利要求3所述的方法，其中至少一个缝隙包括垂直缝隙，和其中所述空间交错格式包括并肩格式、隔行格式、和棋盘格式之一。
5.如权利要求I所述的方法，其中所述生成立体徽标进一步包含 向下取样所述徽标以便产生每个立体空间交错画面，所述向下取样基于空间交错格式。
6.如权利要求5所述的方法，其中所述向下取样基本上是水平向下取样，和其中所述空间交错格式包括并肩格式、隔行格式、和棋盘格式之一。
7.如权利要求5所述的方法，其中所述向下取样基本上是垂直向下取样，和其中所述空间交错格式包括顶底格式、隔行格式、和棋盘格式之一。
8.如权利要求I所述的方法，其中所述生成立体徽标进一步包含 将所述徽标放置在每个立体空间交错画面中的几乎相同地点上。
9.如权利要求I所述的方法，其中所述生成立体徽标进一步包含 将所述徽标放置在每个立体空间交错画面中的不同地点上。
10.如权利要求I所述的方法，其中所述检测进一步包含 为所述视频图像识别所述空间交错格式。
11.一种含有存储在上面的一条或多条可执行指令的机器可读媒体，所述可执行指令当被数字处理系统执行时，使数字处理系统执行将徽标插入视频图像以生成叠加图像的方法，该方法包含 检测视频图像中的立体空间交错画面的存在，该视频图像的立体空间交错画面是以空间交错格式安排的； 生成包含立体空间交错徽标画面的立体徽标，该立体空间交错徽标画面包括徽标的表示，该立体空间交错徽标画面是以所述空间交错格式安排的；以及将立体徽标与视频图像组合以便以空间交错格式生成叠加图像。
全文摘要
一种将徽标插入立体视频图像以生成叠加立体图像的方法，该方法包含检测视频图像中的立体画面的存在，以及当检测到立体画面时，确定所述立体画面的3D格式，所述3D格式是立体空间复用格式；生成包含立体空间复用徽标画面的立体徽标，所述立体空间复用徽标画面包括徽标的表示，所述立体空间复用徽标画面是以所述3D格式安排的；以及将立体徽标与视频图像组合以便以所述3D格式生成叠加立体图像。
文档编号H04N13/00GK102860014SQ201080066298
公开日2013年1月2日 申请日期2010年2月19日 优先权日2010年2月19日
发明者J.M.博伊斯, K.拉玛斯瓦米, J.拉克 申请人:汤姆森特许公司