专利名称：在广播事件中对观众呈现徽标的识别和鉴定的制作方法
技术领域：
本发明涉及基于内容的视频分析在视频数据流中识别徽标。
背景技术：
广告是介绍、推销和维持购买方大众对新的和/或现有的品牌熟悉度的重要手段。广告的努力一般包括选择独特的徽标，以产品正面属性与徽标相联系的方式将徽标显示给公众，使该徽标最大化地呈现给购买方大众。比较成功的徽标一般在形状、尺寸或其它诸如色彩或纹理方面有独特的特征(例如麦当劳注册商标的金色拱门、耐克注册商标的勾飘符号等)。
在诸如体育赛事之类的广播事件中做广告是将产品和品牌徽标呈现给广泛和不同观众的最有效方式之一。广播广告的成功导致成本增加，该成功是通过它的高成本表现出来的。广告商一般难以评估在广播事件中花费的广告经费的成效。广告商同样感兴趣于对通过其它广告获得的呈现效果实施比较性调查。
电视观众近来形成的习惯和能力以及新的广告形式都使广告商的努力复杂化，增大了广告商独立监视广播广告的必要性。尽管电视观众的总人数持续增长，但是观众正日益变得更熟练于绕过一般每15分钟时段出现一次的传统商业广告插播。绕过方法包括在商业广告插播开始时切换频道或者用VCR或TiVoTM录像机录下节目然后快进跳过商业广告插播。为了应对这个新发现的、现代观众通过绕过标准商业广告插播段以过滤其观看节目的能力，广告商正通过徽标放置或产品放置形式的广告手段在节目本身内放入他们的徽标和/或产品。
徽标放置实际上在每个体育赛事节目中都可见到，那里，徽标装饰看棒球场、赛车道和足球场的围档，以及篮球场的地板。类似于徽标放置，产品放置不仅可使观众的过滤努力徒劳，而且，使广告商的品牌与具体节目的属性更紧密地关系起来可获得额外利益(例如，在“护滩使者”系列节目中放置一瓶CoppertoneTM防晒液)。
产品和徽标放入节目内的重大缺点是广告商必须放弃对广告创意和标准30秒商业广告插播时间的控制，主要留由节目制作人确定徽标以恰当的方式和合适的时长出现在广播内。节目制作人不可能始终分担广告商的注视点，即品牌徽标是否以观众可见的方式显示出来。这种徽标呈现控制的放弃提高了广告商独立确认对于可接受的广播支付广告费用的必需性。
验证虚拟徽标对观众的呈现是附加的复杂问题，因为虚拟徽标可以在任何制作阶段插入到广播中。虚拟广告是数字增强形式的事件广播，尽管它们一般地加在体育场馆内空白的围档上，但它们也可以应用于由近似尺寸的另一个广告来替换。虽然，它们不存在于真实生活中，但虚拟广告在观众面前的呈现是真实的。虚拟广告的出现增加了一种需求，要独立地监视在广播给观众的最终事件中是否将徽标实际插入了。虚拟广告的利用处于其初级阶段，它的使用预期可显著增长。
个人对广播进行特别的手动扫描可用来尝试识别徽标的出现。这种任务易受人为误差的影响，包括分心、主观识别本性及其它困难。由于事件制作人或随后处理广播图像的广播工作人员可能突然和随机地放置替代的虚拟图像，使广播事件中跟踪虚拟广告的任务甚至更加不确定。进一步，混合该任务可使电视台和广播事件增产，倍增大量待调查的信息。人们缺乏细致分析大量数据的必要资金，以用于调查事件广播并将徽标每次出现的持续时间制表的所需。
除了依赖人类主观性难以确定广告位置外，先有技术还没有提供在可复现和非主观方式下标记徽标呈现时间的机理。任何基于由人类产生数据的统计分析都会受到评估者固有主观性的影响。而且，一般地，拍摄体育赛事的多个摄像机之间的切换会偏移所显示徽标的透视点和位置，有可能使观察者注意不到部分的徽标呈现时间。
有大量的处理用于在视频流中检测对象的出现。例如，Courtney的美国专利号5,969,755说明了一种基于特定运动的技术，用于从监视摄像机接收到的视频中自动检测对象移动其中的内容引用在此作为参考。Courtney将视频图像分割成段以及在各段内比较参考图象和当前图像识别的视频对象，识别出变化区域并在所接收的图像帧之间跟踪它们，以提供关于对象更新的位置和速度的估值。然而，Courtney以及类似的技术局限于对象移动的检测，它们没有提供用于检测和分析徽标出现或放置的机理。
发明概要本发明的一个目的是提供一种系统和方法，无论从正面或变化的透视点观察，可以在实时和可复现的方式下明确地识别并跟踪在一个或多个数据流内二维或三维徽标的质量和出现频度。这个目的是用自动和客观的方式识别和跟踪数据流中的徽标。还有的目的是利用徽标的检测和跟踪进一步分析和/或作出决策，包括对事件中徽标呈现时间的分析(然后可用于市场和广告决策)和广播决策分析(例如，确定多个摄像机中的哪一个用来广播该事件)。
本发明的另一个目的是自动的徽标识别处理，对于目标徽标突出显示的频度、持续时间程度提供详细的和非主观的分析。本发明提供出基于广播图像的、可实现复现分析的优点，不再需要人工观看节目和搜索目标徽标的每一次出现。操作员主观性的消除和处理的数字化可使搜索结果有较大的确定性，并容许实现更明确的和可复现的分析。另外，本发明可以对徽标的每次出现分配一个值，这个值随徽标显示的清晰度和/或尺寸变化，借此可告知广告商徽标的可见度能力。
本发明的又一个目的是对广播制作者提供实时通知，在一般用于拍摄广播事件的多个摄像机中出现有怎样的一个或多个目标徽标。例如，节目制作人可以使用该信息选择用于广播该事件的摄像机。
根据这些目的，本发明包含可在一个或多个数据流中检测和分析徽标出现的一种方法。首先，接收事件的至少一个视频数据流。其次，在一个或多个图像中对一个或多个感兴趣区域(ROI)识别徽标，这里该一个或多个图像至少由一个数据流组成。分析这一个或多个ROI以检测其中是否存在徽标。倘若如此，应用徽标出现的检测作出广播决策或广告决策。
在一个实施例中，至少一个视频数据流包含单个广播数据流，对事件中检测到的徽标时间进行汇编，并应用该检测时间作出广告决策。在另一个实施例中，至少一个视频数据流包含两个或更多的独立视频数据流，这两个或更多的数据流可选择用于广播该事件。在此情况下，将一个或多个数据流中徽标的检测应用于广播决策，例如，将其中检测到徽标的数据流之一选择用于事件的广播。
在一个或多个ROI中识别徽标的步骤比如可基于徽标的色彩、形状和/或纹理。例如，如果使用色彩，则具有与徽标相同色彩的多个相邻象素可用来识别ROI。例如，如果使用纹理，则在对应于徽标边界的图像内紧邻位置上中心对称协方差的度量可用于识别ROI。例如，如果使用形状，则在对应于徽标形状的图像内能识别形状的模板匹配法可用于识别ROI。
分析一个或多个ROI以检测徽标是否存在于ROI内的步骤，比如包含使用径向基函数(RBF)分类模型。RBF分类模型可以包括对使用多个透视点和比例的徽标图像进行训练。另一种方法，例如在分析一个或多个ROI以检测徽标是否存在于ROI内的步骤中，包含模板匹配法的使用。
本发明还包含一种系统用于检测和分析徽标的出现。例如，该系统包含有接收事件中至少一个视频数据流的输入处理器。处理器包括有处理软件(或其它数字格式化算法)，它在一个或多个包含至少一个数据流的图像中对一个或多个ROI识别徽标。处理器分析一个或多个ROI以检测徽标是否存在于ROI中，并监视所检测的徽标的出现。徽标出现的检测应用来作出广播决策或广告决策。例如，在一种情况下，处理器接收事件的一个视频数据流，这里，该视频数据流包含单个广播数据流。在另一个示例的情况下，处理器接收两个或更多的独立视频数据流，这里，可以选择两个或更多数据流之每一个用于广播该事件。
本发明还包含用于检测和分析徽标出现的软件。该软件接收图像的数字表示作为输入，它包含有事件的至少一个视频数据流。该软件在包含至少一个数据流的一个或多个图像中对一个或多个ROI识别徽标。该软件然后分析该一个或多个ROI以检测徽标是否存在于ROI中。倘若如此，该软件监视所检测的徽标的出现，并提供一个关于检测到徽标出现的输出，该输出可应用于作出广播决策或广告决策。
本发明还包含一个用于检测和分析徽标出现的系统。该系统包括一个处理器，它具有接收事件的至少一个视频数据流的输入端。该处理器分析图像以确定徽标是否存在于图像的至少一部分中，并当那样地检测到时监视图像中徽标的出现。徽标出现的检测应用于作出广播决策和广告决策之一。
本发明的上述及其它目的、特征和优点将从下面结合附图的详细说明中变得更为明显，其中
图1a是一个用来拍摄和产生多个视频数据流的摄像机典型机位示意图，它们用于广播其中包含有徽标作为背景的事件；图1b是通过图1a中摄像机拍摄的徽标图像的表示；图2描述根据本发明的一个实施例的系统；图3描述图2中部件之一的细节；以及图4描述根据本发明第二实施例的系统。
详细说明图1a表示一个参考架构中的几台摄像机101-103，它们用来拍摄一个事件的图像，每个事件提供多个视频数据流，可以选择用来广播诸如体育赛事之类的事件。不同的摄像机101-103从不同的透视点和角度上拍摄事件的各个部分(可有能重叠)。取决于广播决策和过去一般地与事件本身有关的考虑事项，在整个事件过程中选择好广播事件变化的摄像机。摄像机本身不同的机位、角度等可以移动或调整。
图1a还示出以一个大″M″形式表示的代表性徽标，它可以由部分或全部摄像机101-103连同图像一起拍摄到。还应当指出，正在广播该事件的摄像机在它的视场范围内可能在一段时间内拍摄到该徽标，然后当摇移镜头到事件另一部分时徽标从广播中被排除。
当目标徽标100所处的位置在全部三个摄像机101-103的视场范围内，由它们拍摄到该徽标时，图1b中示出由不同的摄像机包括在图像中的目标徽标100的不同透视图例子。(徽标集中在图1b中，当然，它们只是事件的宽广图像的一部分。)从而，徽标在不同的数据流中可能有不同的透视点和比例，例如，取决于所用的正在广播该事件的摄像机，徽标可能部分地或完全地示出，或者根本没有示出。
本发明的一个实施例在图2中以框图格式表明。系统120的中枢是将在下面更详细地说明的数字处理器124、相关存储器126和伴随软件。工作中，在根据下面说明的编程之后，处理器124经由输入接口128接收广播数据流，并如下面进一步所述地还处理数据流以检测特定的徽标。在此实施例中，确定广播哪个视频数据流已经在系统120上游的某处作出，本系统分析所广播的数据流。从而，视频广播通常包括来自拍摄该事件的一台摄像机(诸如图1a中的摄像机101)的数据流图像，接着是来自拍摄该事件的其它摄像机(诸如图1a中的摄像机102或103)的数据流图像，等等。视频广播例如是数字视频数据流。如果广播的是模拟信号，则处理器124或系统120的另一个部件要包括模数转换器。
外部接口130容许用户启动系统120的工作以在视频广播中检测徽标(及其它事项)。下面将更详细地说明，它还容许用户对系统120编程。此外，系统编程中一般还包括装载与图像有关的基本数据，然后由系统120应用于在广播中实施徽标检测。
图3是表示处理器124在视频广播上实现的处理阶段的框图。处理器首先在接收的视频广播(也称视频数据流)上实施ROI分析124a。一般而言，ROI分析124a迅速地识别很可能包含徽标的某些图像子区域，以便后续的徽标识别分析集中在图像的那些部分上。如下面的进一步说明，ROI分析124a可以集中于识别图像的一个或多个部分，那里包含有徽标的一个或多个一般特征，比如徽标的形状、色彩和/或纹理。任一个此种识别区域都是一个ROI，可将它们考虑用于进一步分析。
然后，处理器124在徽标识别分析124b内使用在数据流的图像中识别出的ROI。又如下面的进一步说明，此分析中的处理确定徽标是否存在于任何ROI中。在图像数据流中明确地识别徽标后，使用跟踪处理124d跟踪图像中的徽标。(如果识别的徽标超过一个，则对它们可以在图像中全部同时跟踪。)一旦在图像中识别一个徽标，则处理上通常是跟踪该徽标，并暂停ROI和徽标识别步骤。然而，如果徽标移动到图像之外(处在提供数据流的摄像机视场之外)，例如由于摄像机转动或者广播切换到拍摄该事件的另一个摄像机上，则ROI和徽标识别处理124a、124b重新启动。
图3中又示明，处理器124还使用跟踪数据进行输出处理124c。例如，在其它分析之外还包括汇编在数据流中徽标出现的时间量。输出提供到用户接口130上，它比如是一个图像显示器。
ROI分析124a至少实现处理器124内的多种方法之一。例如，可以扫描接收的图像，以便基于徽标的色彩、形状和/或纹理等识别图像内的ROI区域。参考图1a和1b中示出的″M″徽标，如果″M″是连续的红色，则ROI分析124a可以对具有一定数目相邻红色像素的子区域的输入图像进行分析。在识别它为一个ROI之前，分析可能需要有一定数目的相邻红色像素(例如，从而可消除图像中不能分辨的特征)。
同样地，ROI分析可以考虑图像内子区域的纹理，它是否大致地与所考虑的徽标参数相匹配。例如，依次考虑各个图像子区域，是否是潜在地包含徽标的可能的ROI。对于每个子区域，考虑各个图像样本，并对样本作出局部中心对称自相关度量。这些度量包括线性和排列次序算法，以及相关的协方差度量和方差比。除相关协方差度量之外，所有这类为样本作出的度量都是旋转不变性的扎实度量，并且局部上是灰度层次不变的。从而，徽标的不同可能透视图(比如图1b中示出的″M″)不会影响这些度量。这类度量都是纹理模式和灰度层次的抽象度量，由此可提供各样本的局部纹理在程度上有高度区别性的信息。通过将ROI内样本的纹理度量与徽标的已知纹理度量进行比较，并确定样本的纹理度量与已知的纹理度量之间的关系满足一个阈值，从而可作出该子区域是一个ROI的确定。这种图像纹理分析在DavidHarwood等的″应用Kullback分布鉴别依靠中心对称自相关的纹理分类″(模式识别字体，16(1995)，第1-10页)中有进一步说明，其中的内容引入在此作为参考。
另外，ROI分析可以考虑在图像子区域中发现的形状，它与所考虑的徽标参数是否大致匹配。例如，如果徽标具有圆形边界，则在不同透视图上它会呈现圆形或者椭圆形。从而，可以分析图像，以确定具有某个阈值尺寸椭圆形的子区域。为了确定匹配形状，例如，ROI处理可以在分析图像子区域中使用模板匹配法和/或梯度分析法。这类处理技术可以改造自分层模板匹配法，它说明在IEEE计算机视觉国际会议(希腊克基拉，1999)会议学报中，见D.M.Gavrila和V.Philomin的″″智能″车辆的实时对象检测″，其中的内容引入在此作为参考(该文件可从www.gavrila.net中获得)。图像梯度分析还在SrinivasGutta和Vasanth Philomin于2001年2月27日申请的美国专利申请序列号09/794,443、名称为″通过模型综合的对象分类″(代理人记录摘要No.US010040)中有进一步说明，其中的内容引入在此作为参考，并称之为″443专利申请″。
从而，通过使用至少一种此类技术，处理器124可编程以实施图像处理，用于在ROI中识别所考虑的特定徽标。另外的方法，例如，处理器124可以编程来接收徽标的正面图像，如上面所述地用于产生徽标的各有关参数，它们对应于不同的ROI分析技术(比如色彩、纹理、形状等)。也可以产生一系列徽标图像，它们表示不同的比例、透视点和照明。例如，使用背景图像中的一系列徽标图像，处理器124可以使用开发的参数来测试每种不同的ROI分析技术。对于特定的徽标，由处理器124中的ROI分析124a使用一种技术，它可在背景图像中识别具有最大数目的一系列徽标作为ROI。
一旦识别出图像中的一个或多个ROI，进一步分析它们的每一个以确定在其中是否实际找到徽标。如上所述，此处理归入图3中徽标ID分析124b的范围。尽管为了说明方便随后将只涉及一个ROI，但是同样的徽标ID处理施加于图像中所有识别出的ROI上。为了实施徽标ID分析124b，处理器124可应用多种类型的分类模型之一进行编程，比如径向基函数(RBF)分类器，它是一种特别可靠的分类模型。′443专利申请描述了一种在图像中识别对象的RBF分类技术，该对象可以是一个徽标，从而在优选实施例中用于编程处理器124以识别ROI中的一种特征是否是该徽标。应当指出，′443专利申请也可处理图像中移动对象的分类。从而，无论连续的图像内对象在ROI中移动(例如，提供图像的摄像机转动)或是图像内对象在ROI中不动(也即静止状态)徽标识别场可以应用RBF分类技术。
简而言之，所说明的RBF分类器技术可对ROI中的每个对象提取两个或更多的特征。优选地，从每个检测对象中都提取出x梯度、y梯度和组合的x-y梯度。梯度是视频数据流中给出的移动物体图像亮度的系列样本。每个x梯度、y梯度和x-y梯度图像由给出各别分类的三个单独的RBF分类器使用。如下面的进一步说明，对于对象的这种RBF综合(ERBF)分类，改进了识别。
每个RBF分类器是由三层组成的网络。第一输入层由源节点或感知单元组成，第二(隐蔽)层由基函数(BF)节点组成，第三输出层由输出节点组成。运动对象的梯度图像作为一维矢量送到输入层。从输入层转换到隐蔽层是非线性的。通常，在为了分类使用图像进行合适训练之后，隐蔽层的每个BF节点是一种函数表示，反映出对象分类(比如徽标)形状空间内的公共特性之一。训练可以包括从不同透视点、以不同的比例和不同的照明等输入大量徽标图像。(如上所述，如图2中所示的训练图像可以经由用户接口130和数据输入端132来提供)。另一种方法，处理器124中可以包括接收徽标的正面透视图的软件，它产生徽标的数学模型及其内部旋转、再缩放等数学模型，从而产生具有不同透视点、比例等的徽标不同视图。在使用图像正确训练徽标分类之后，隐蔽层的每个BF节点将输入矢量变换成由该输入矢量反映成BF激活度的标量值，它表明由BF在所考虑图像中对于对象(在本情况下是徽标)的矢量找到的特征总量的大小。
输出节点沿着运动对象的形状空间将各特征值映射成对象类型的一个或多个识别类，并确定图像中对象的相应加权系数。RBF分类器确定对象具有加权系数最大值的类别。优选地，RBF分类器输出一个值，它指明对象属于被识别对象类别的概率大小。
从而，对于例如接收ROI中对象的x梯度矢量作为输入的RBF分类器，将输出归属于该徽标的概率值。因为包含徽标ID分析的RBF编程中包括有以徽标的不同透视点(包括旋转)、光线和比例来训练RBF分类器，所以可提供出图像中具有不同透视点、光线和尺寸(比如图1b中示出的徽标″M″)的徽标的概率。包含RBF综合分类器的其它RBF分类器(也即y梯度和x-y梯度的RBF分类器)也将提供该对象的输入矢量的分类输出和概率。由三个RBF分类器识别的类别和相关概率应用于最终确定ROI中的对象是否是徽标的计分方案中。
每个ROI中的对象都由徽标ID分析器用这种方法进行分析，以确定对象是否是徽标。如果ROI中的对象确定是徽标，则如图3中所示，作为跟踪分析模块124d，由它跟踪接收图像中的徽标。应当指出，因为传输图像的摄像机例如可旋转或移动。如果徽标在图像帧内移动，该处理可保持徽标跟踪。应当指出，当摄像机摇移或作其它移动时，徽标相对于图像中的背景对象并不移动，从而它本身不是在视频图像中的″运动″对象。(移动摄像机时徽标的位置相对于图像中的其它特征可能略徽地改变，但这不是实质上的运动，应用对象本身实际运动的对象技术仍可实现跟踪。)例如，如上所述地在徽标ID分析处理124b中识别为徽标后，则通过从数据流帧中创建徽标模板，可以在图像帧内实现徽标位置的此类跟踪。例如，该模板可以基于如上所述的x-y梯度提取，在徽标ID分析124b的RBF处理中对徽标进行提取。x-y梯度可以在后续图像的相同位置上定期地产生(例如，在数据流中的每第十个图像帧中接收到)。对提取的梯度可进行比较，以确定是否与后续图像中的x-y梯度特征匹配。倘若如此，则可作出结论，该时段内在数据流中的相同位置上保持有徽标图像。(时段的持续时间通常十分短，因此摄像机不可能在时段期间移动后又返回到相同的位置上。)倘若不是如此，则对于图像中上一个已知徽标位置周围的图像子区域产生一个x-y梯度。子区域的范围决定于摄像员在时段期间摇移或者移动摄像机时图像在图像帧内能移动多远。(应当指出，时段通常十分短，因此操作员不能实体上移动摄像机而足够显著地改变后续图像帧内徽标的位置。)如果提取的梯度匹配子区域内对象的梯度，则可再次作出结论，徽标图像保持在数据流中(尽管摄像机已经移动)，并且图像中的徽标位置在处理器124中被更新。
这样，数据流中识别的徽标可被跟踪，直至在图像中不再检测到它。一般地，徽标从数据流中消失有多种原因，包括1)提供图像的摄像机摇移或作其它移动，使徽标位于它的视场之外，2)徽标在提供图像的摄像机视场中完全或基本上被遮挡，3)提供事件视频数据流的摄像机被切换，徽标位于新摄像机的视场之外，或者4)事件传输中断，例如插播商业广告。此类情况下，由处理器124实施的处理返回数据流的ROI分析124a，并如上所述地然后是徽标ID分析124b。如果在数据流中再次识别徽标，则如上所述，又实施跟踪124d和输出处理124c。当徽标从数据流中消失而随后再出现时，处理序列重复进行。
在某种情况下，徽标在图像内可能被遮挡。例如，棒球比赛中，运动员可能步入徽标和摄像机之间，从而从在传输的图像中阻断徽标。如果徽标整个地或基本上被遮挡，则徽标实际上从数据流中消失，并如上所述地实施的处理返回到ROI分析124a和徽标ID分析124b上。当徽标在图像中变得可见时，它在ROI分析124a中被检测到，并在徽标ID分析124b中再次被跟踪。
图像中可能发生徽标部分地被遮挡的情况，例如，运动员挡住了摄像机中徽标的一部分。如有必要，可以调整在ROI分析124a中确定ROI的处理，以使得识别ROI的阈值较低。例如，如同上面给出的例子″M″，如果应用纹理来识别图像中的ROI，则可以发现，只具有两个(或一个)线性特征的子区域就可成为ROI。从而，如果对于被挡住徽标的可见度仍然可规定最小数目的特征，则由ROI处理124b能够发现ROI。同样，可以用徽标的部分图像和/或使用的阈值概率训练徽标ID分析124b中所用的RBF分类器，以确定是否可调整徽标对象来适配那类部分图像。这样，处理器124可以编程为能够识别数据流中部分遮挡的徽标。类似地，可以减小在提取的梯度和后续图像的跟踪处理124c中产生的梯度之间的匹配要求，以便在跟踪过程中部分遮挡的徽标被继续跟踪。
回头参考图3，跟踪处理124d提供出数据用于由处理器124实施输出处理124c。例如，输出处理124c可以是事件数据流中徽标可见的总时间和徽标可见的时间百分数等。从而，跟踪处理124d可以提供一种进程指示，在数据流中何时检测到徽标，以及随后在数据流中何时检测不到徽标。输出处理例如可以跟踪在数据流中检测到徽标的总时间(″检测到的时间″)，以及跟踪事件的总时间。检测到的时间给出按绝对量而言的徽标可见时间；检测到的时间结合事件总时间可给出徽标在事件进程中可见的时间百分数。由徽标ID处理124b和跟踪124d产生的关于徽标的尺寸、透视点、照明等的数据还可以传输到输出处理124c中。使用那些数据，处理器124不仅能够产生徽标可见的时间量，而且在事件期间可以保持徽标可见度上的跟踪的质量。
还应当指出，可以实施其它统计分析。例如，该系统可用来在事件中对一个公司的徽标的呈现时间和其它徽标的呈现时间作出比较。处理器可以用上述方法进行编程，在图像数据流中同时识别和跟踪该公司的徽标以及其它公司的徽标，从而可以汇编该事件中每个徽标的可见时间，并作出比较。另外，一个公司支付的费用可以基于它的徽标在事件中可见的时间量。
上述实施例的其它变化可应用来提供除了徽标呈现时间。分析之外的其它输出确定。应当指出，上述实施例应用于分析广播数据流中的徽标呈现。从而，在上游制作出事件节目期间(也即在图2中由数字处理器124接收之前)，可以确定出在任一给定点上将哪一部摄像机(它产生事件的独立视频数据流)选择用于广播该事件。在另一个实施例中，图4示出从拍摄事件的多部摄像机(示明为图1a中的三部摄像机101-103)上接收多个数据流的数字处理器124。处理器124同时处理每个数据流，以检测其中的徽标。也就是，每个接收的数据流如图3中所示并如上所述地由处理器124分别地处理。事件节目制作人在决定具体的时段上用哪部摄像机广播事件时，可以使用在部分而不是所有数据流中检测到的徽标。例如，如果广告出资人的徽标在三部摄像机之一的数据流中可见到，然后如果节目制作人在那个时间点能够对广播该事件的摄像机作出选择，则节目制作人可以决定使用示明徽标的那部摄像机。
尽管在此参照附图已经说明本发明的示例性实施例，但是应当理解的是本发明并不局限于那些精确的实施例。例如，上述实施例中由处理器124实施徽标ID处理124b中所用的RBF分类器，可以用模板匹配软件技术来替代。可以将具有不同透视点、比例等的一系列徽标模板输入到处理器124中，或者基于输入的徽标正视图在处理器124内部产生出其它视图。如上所述，在图像中识别ROI之后，可以产生各种梯度用于图像中的各个对象。可以将模板与对象作比较，产生出处在模板内的每个对象的像素百分数。如果百分数小于阈值，则徽标ID分析可作出对象是徽标的结论。因此，应当理解，本发明的范围由附加的权利要求的范围来定义。
权利要求
1.一种检测和分析徽标出现的方法，包含下列步骤接收事件的至少一个视频数据流；在包含至少一个数据流的一个或多个图像中对一个或多个感兴趣区域(ROI)识别徽标；分析一个或多个ROI以检测至少一个ROI中是否存在徽标；和应用检测到的徽标出现作出广播决策和广告决策之一。
2.权利要求1的方法，其中，至少一个视频数据流包含单个广播数据流。
3.权利要求2的方法，其中，该方法还包括将事件中检测到的徽标时间进行汇编的步骤。
4.权利要求3的方法，其中，事件中检测到的徽标时间应用来作出广告决策。
5.权利要求1的方法，其中，至少一个视频数据流包含两个或更多的独立视频数据流，这两个或更多的数据流可选择用于广播该事件。
6.权利要求5的方法，其中，一个或多个数据流中的徽标检测应用于广播决策。
7.权利要求6的方法，其中，将从中检测到徽标的数据流之一应用来广播该事件。
8.权利要求1的方法，其中，对一个或多个ROI识别徽标的步骤基于该徽标的色彩、形状和纹理中的至少一个。
9.权利要求8的方法，其中，对一个或多个ROI识别徽标时包括识别色彩与该徽标相同的多个相邻象素。
10.权利要求8的方法，其中，对一个或多个ROI识别徽标时包括识别图像内一个位置中各样本的纹理度量，它们是否对应于徽标纹理的类同度量。
11.权利要求8的方法，其中，对一个或多个ROI识别徽标时包括使用模板匹配法，在图像内识别的形状是否对应于徽标的形状。
12.权利要求1的方法，其中，分析一个或多个ROI以检测徽标是否存在于至少一个ROI中时，包括使用径向基函数(RBF)分类模型。
13.权利要求12的方法，其中，RBF分类模型中包括使用具有多种透视点和比例的徽标图像进行训练。
14.权利要求1的方法，其中，分析一个或多个ROI以检测徽标是否存在于至少一个ROI中时，包括使用模板匹配法。
15.一种用于检测和分析徽标出现的系统，该系统包括具有输入端的一个处理器，它接收事件的至少一个视频数据流，在包括至少一个数据流的一个或多个图像中对一个或多个感兴趣区域(ROI)识别徽标，分析一个或多个ROI以检测徽标是否存在于至少一个ROI中，并当检测到时监视图像中徽标的出现，其中，将徽标出现的检测应用于作出广播决策和广告决策之一。
16.用于检测和分析徽标出现的软件，该软件接收包括有事件中至少一个视频数据流的图像的数字形式输入，该软件在包括至少一个数据流的一个或多个图像中对一个或多个感兴趣区域(ROI)识别徽标，分析一个或多个ROI以检测徽标是否存在于至少一个ROI中，并当检测到时监视图像中徽标的出现，其中，该软件提供出关于徽标出现的检测输出，它可应用于作出广播决策和广告决策之一。
全文摘要
在一个或多个数据流中检测和分析徽标存在的方法和系统。在此方法中，首先接收事件的至少一个视频数据流。然后，在包含至少一个数据流的一个或多个图像中对一个或多个感兴趣区域(ROI)识别徽标。分析这一个或多个ROI以检测ROI中是否存在徽标。
文档编号H04N5/222GK1586069SQ02822480
公开日2005年2月23日 申请日期2002年10月22日 优先权日2001年11月13日
发明者E·科亨－索拉, V·普希洛明 申请人:皇家飞利浦电子股份有限公司