专利名称：将视频图像适配到小屏幕尺寸的方法
技术领域：
本申请涉及的发明是一种将视频图像适配到小屏幕尺寸，尤其是适配到便携手持 终端的小屏幕尺寸的方法。
背景技术：
移动TV(移动电视)是一个正在成长且显然具有前景的市场。它允许在小便携式 设备，例如手机、智能手机或者PDA(个人数字助理)上接收电视信号。这些小便携设备屏 幕上的显示不提供例如如同所知的来自家庭固定电视机(当前的SDTV，标准清晰度电视) 的详细图像。不管这样的观看条件的重要区别，在移动和固定电视系统的屏幕上主要显示 相同的内容。然而，制作单独的用于移动电视的节目将导致人力资源的巨大开销，以及广播 公司几乎不能支持的成本的增加。为克服这种令人不适的情况，提出了一些建议以通过将部分视频剪出(crop)来 将具有高图像分辨率的视频内容适配到更小的显示器。这些建议通过普通视频分析方法基 于特征提取来处理感兴趣区域(ROI)的自动检测。视频信号中检测到的感兴趣区域用于找 到足够的剪出(剪切)区域并且组成包含适于手特设备显示器的所有相关信息的新图像。然而，这种已知剪出系统不足以处理更广范围的内容，因为其缺少语义知识和通 用的定义方法。
发明内容
本发明的一个目的是通过获取用于手持设备的小尺寸显示器的更广范围内容的 覆盖以改进剪出系统。以上目的通过一种方法实现，该方法开始于元数据聚合和相应视频，例如在后期 制作、节目交换和归档中，其中(a)使视频经过视频分析以传输视频，例如通过使用运动检测、形态学滤波、边缘 检测等，(b)独立的视频和元数据被组合以提取上下文中的重要特征，其中来自元数据的 重要信息被分类并用于初始化适于传输的视频内容的特征提取步骤的动态适应序列，(c)提取出的重要特征被组合以定义感兴趣区域(ROI)，所述感兴趣区域通过目 标跟踪在连续视频帧中进行搜索，所述目标跟踪在连续视频帧中识别每个初始化的ROI的 新位置和变形并且将该信息返回到特征提取，从而获得所述特征提取和所述目标跟踪之间 的持久通信，(d) 一个或数个ROI被提取出来，并且一个视频帧接一个视频帧地输入到剪出步 骤，(e)基于权重信息，通过以重要性归类所述提供的R0I，构成良好的图像部分被剪 出，以及(f)所述剪出图像区域被缩放到期望的小屏幕尺寸。
有利地，本发明借助于可用元数据以剪出重要图像区域并将它们适配到具有低分 辨率的显示器上，来提供视频信号中的特征提取。
现在将参考附图描述本发明的特定实施例，其中图1示出了执行本发明方法的整个系统的示意框图；图2到5示出了附图1中系统的各种框图；附图6示出用来检测感兴趣区域(ROI)的初始化特征提取方法的例子；以及图7是原始图像和剪出图像的比较。
具体实施例方式本发明的目的在于基于文件的制作格式(基于从磁带记录到非磁带记录的转 移)，其允许将各种元数据用于后期制作、节目交换和归档。这些元数据包含在包括视频数 据和元数据的容器格式中。这种元数据包括内容相关的信息，其描述了风格的类型以及关 于制作过程细节的特定信息。使得生成的元数据在包括视频和元数据的容器格式中可用。 该容器格式允许以同步方式的不同数据的多路传输，或者作为文件或流。元数据信息和已 知特征提取方法的组合形成创造性的方法，其单独地可适于大范围的内容。根据附图1的整个系统示出了包括三个块1、2和3的框图。视频和元数据被输入 块1。元数据可以从一个或数个源聚合。在下一步中，数据集合被解析且重要信息通过有用 的结构分类。结果数据发送到块2，部分发送到块3。视频内容经由“视频”输出线传输到 块2。块2是执行镜头检测步骤和特征提取以及随后目标跟踪步骤的特征提取模块，如参考 附图3详细描述的那样。块2执行的特征提取导致η个提取出的R0I，其被送入块3。块3 是产生在手持设备的较小尺寸显示器上显示的剪出区域的剪出模块。这个模块可置于制作 侧或终端设备中。如附图2中详细示出，块1执行元数据的聚合和解析。视频被传输到视频分析(参 见附图1)，同时元数据被解析(分析)且重要信息以有用的结构分类。元数据是使用简单 文件结构，例如XML(扩展标记语言)的关于内容的描述。这里，其粗略地区分于描述性数 据、技术数据和可选数据。描述性数据是关于内容的描述。该信息可以是静态或动态的。动 态意味着随时间变化的数据同步于视频内容，例如视频中出现的人的描述。静态数据是对 整个视频有效的描述，例如风格类型。另一方面，技术数据涉及基本的格式，且也可以是静 态或动态的。它描述嵌入视频的格式。可选元数据不描述特定制作的技术或描述性元数据 而是能够给出用于适配过程的必要信息，例如在何处执行剪出(在制作侧或终端设备)或 最终视频的特性(分辨率帧率等)。所有三种元数据类型，也就是技术、描述性和可选数据 被提供给特征提取模块(块2)。模块2是特征提取模块，在附图3中详细示出。通过多路分解模块(块1)传输的 视频和元数据在上下文中被组合以提取重要特征。由此，分类的元数据用于初始化适配到 传输视频内容的特征提取的动态适应序列。这些可以是运动检测(如块匹配)，形态学滤波 (如腐蚀)，边缘检测(如索贝尔算子)等。作为附加的特征提取，实现并使用视觉关注模 型。该视觉关注系统模仿人的视觉系统。它检测显著的低等级特征(倒置特征)，如主要方向、颜色或强度并将它们以人眼过程相似的组合。每个风格类型具有特征提取方法和不同参数的不同组合，其可由元数据或通过提 取特征获得的其他信息动态地控制。这在块2中通过为风格类型分配特定特征提取方法的 矩阵描述。接下来，检测出的特征依据重要性加权，例如通过它们的上下文位置或尺寸。相 关和有关的特征然后被组合到ROI并传输到跟踪工具。跟踪工具识别连续帧中每个初始化 的ROI的新位置和变形并将该信息返回到特征提取。由此，保证了特征提取和跟踪工具之 间的持久通信。这可以用来抑制已经被跟踪的特征提取的区域。最后，提取出一个或数个 R0L·每个特征的权重依赖于当前视频内容的上下文。它用于通过算法聚合和处理所有可 用特征提取数据和元数据进行决定。该分配传输决定准则，什么应当称为完整的部分和它 在新组合图像中应当如何排列。为了更详细地解释块2执行的特征提取，附图5示出的处理障碍马术比赛场景的 简短例子描述了不同特征提取方法的可能组合。如已经提到的，所用的方法通过可用元数 据初始化并组合。最重要的元数据信息是呈现的哪个风格类型。这里，该信息用于应用特 殊视频分析方法来检测马的位置。附图5粗略地解释了获取马和骑手位置和尺寸的可能过 程。这里的基本先决条件是障碍马术比赛由静态前景(马)和移动背景产生。这产生了计 算两个连续帧之间移动背景偏移(在附图2中以f^和&描述)的方法。知道了偏移，它后 面的帧能够被重定位并从前面的帧中减去。结果是背景匹配的暗区和像素不同于背景的亮 区。在应用一些滤波器放大明暗之间差异之后，清楚地产生出马和骑手的粗略形状(附图 5下部示出)。一旦检测到，期望保持该ROI只要在随后的帧中可见。由此，跟踪应用被初 始化接收初始化检测的马并在连续帧中匹配它。随后帧中的更新跟踪位置从跟踪模块返回 到特征提取模块(块2)。块3和4(附图4和5)更详细地描述了剪出模块的细节。剪出模块主要具有剪出 构成良好的图像部分的功能。由此，所有接收的R0I，通过重要性分类，用于帮助定位剪出区 域的决定。除了简单地选择用于剪出的区域，还应当考虑是否变形的视频被呈现(16 9 纵横比水平地扭曲为4 3)以及方形或非方形像素构成了图像。依赖于目标显示器的图 像格式，应当考虑并适配这些可能性以避免图像失真。剪出处理在发送器侧(块幻或接收 设备自身(块4)完成。两种可能使用相同的过程。唯一的不同是馈送关于终端设备要求 的信息的方式。在发送侧，这通过可选元数据完成，其也为分发描述视频格式的要求。在终 端设备，该信息通过设备自身是可用的。这具有优点整个原始视频加上ROI信息是可用的 因此适配可以独立地完成。相比在发送侧执行处理的选项，剪出区域被定义一次并提供给 所有终端设备。除上面提到的剪出参数外，不同显示器的观看条件应当被考虑。由此，基准定义了 相比原始图像，剪出区域应当具有多大尺寸。这种基准可以通过两个显示分辨率的观看距 离的比较来确定。这些考虑可能再次改变剪出区域的尺寸和形状并且再次被适配。在考虑 所有关于内容和技术问题，产生合适剪出区域的决定后，图像应当被缩放到目标显示器的 尺寸。如上所示，用于障碍马术比赛的特征提取的例子(附图6)是特殊剪裁的方法并且 对其他类型的内容，如足球可能无法正常工作。由此，示出的方法需要元数据为当前风格类 型选择正确的提取方法。最后，期望适配如附图7所描述的视频内容。
提出的方法描述了通过元数据控制的工作流。由此，能够应用特殊剪裁特征提取 和剪出方法以增加合成图像的视频分析和美学的可靠性。上面解释的障碍马术比赛的视频分析和剪出的例子仅是为了详细阐述一个可能 的工作流的目的。它们不是专利申请的一部分。此外，申请的范围不限于电视产品。本发 明能够通用于需要视频剪出并且已知结构中的元数据可用的地方，例如，用于网络数据流 或本地存储的视频。
权利要求
1.一种将视频图像适配到小屏幕尺寸，特别是便携手持终端的小屏幕尺寸的方法，所 述方法开始于元数据聚合和相应的视频，例如在后期制作、节目交换和归档中，其中(a)使视频经过视频分析以传输视频，例如通过使用运动检测、形态学滤波、边缘检测寸，(b)独立的视频和元数据被组合以提取上下文中的重要特征，其中来自元数据的重要 信息被分类并用于初始化适于传输的视频内容的特征提取步骤的动态适应序列，(c)提取出的重要特征被组合以定义感兴趣区域R0I，所述感兴趣区域通过目标跟踪 在连续视频帧中进行搜索，所述目标跟踪在连续视频帧中识别每个初始化的ROI的新位置 和变形并且将该信息返回到特征提取，从而获得所述特征提取和所述目标跟踪之间的持久fflfn，(d)一个或数个ROI被提取出来，并且被一个视频帧接一个视频帧地输入到剪出步骤，(e)基于权重信息，通过以重要性归类所述提供的R0I，剪出构成良好的图像部分，以及(f)所述剪出图像区域被缩放到期望的小屏幕尺寸。
2.根据权利要求1所述的方法，其中所述元数据被粗略地区分为描述性数据、技术数 据和可选数据。
3.根据权利要求2所述的方法，其中所述描述性数据是关于内容的描述，其可以是静态或动态数据，所述动态数据是随时 间变化且同步于视频内容的数据，并且所述静态数据是对整个视频有效的描述，例如风格 类型；以及所述技术数据涉及也可以是静态或动态的嵌入视频的格式。
4.根据权利要求2或3所述的方法，其中所述技术数据用于检测视频图像中的场景变 化(镜头)。
5.根据权利要求1到4之一所述的方法，其中所述特征提取步骤和所述目标跟踪步骤 之间的所述持久通信用于抑制已经被跟踪的用于特征提取的区域。
6.根据权利要求1到5之一所述的方法，其中提取出的重要特征按重要性加权，例如按 它们的位置或尺寸，其中相关和有关的特征被组合到加权的感兴趣区域R0I。
7.根据权利要求1到6之一所述的方法，其中所述剪出步骤中对所述提供ROI的所述 归类检查是否呈现变形的视频(16 9纵横比水平地扭曲为4 3)以及是由方形还是非 方形像素构成图像，并且其中在将图像格式缩放到目标小屏幕尺寸中，检查的参数被考虑 并适配以避免图像失真。
8.根据权利要求1到7之一所述的方法，其中所述剪出步骤中对所述提供ROI的所述 分类检查对于不同显示器的观看条件，从而确定相比于原始图像剪出区域应当具有多大尺 寸的基准，这种确定通过对于两个显示分辨率的观看距离的比较来作出。
全文摘要
为了通过获得用于手持设备的较小尺寸显示器的大范围内容覆盖来改进剪出系统，本发明提出一种方法，所述方法开始于元数据聚合和相应视频，例如在后期制作、节目交换和归档中，其中(a)使视频经过视频分析以传输视频，例如通过使用运动检测、形态学滤波、边缘检测等；(b)独立的视频和元数据被组合以提取上下文中的重要特征，其中来自元数据的重要信息被分类并用于初始化适于传输的视频内容的特征提取步骤的动态适应序列；(c)提取出的重要特征被组合以定义感兴趣区域(ROI)，该感兴趣区域通过目标跟踪在连续视频帧中进行搜索，所述目标跟踪在连续视频帧中识别每个初始化的ROI的新位置和变形并且将该信息返回到特征提取，从而获得所述特征提取和所述目标跟踪之间的持久通信；(d)一个或数个ROI被提取出来，并且一个视频帧接一个视频帧地输入到剪出步骤；(e)基于权重信息，通过以重要性归类所述提供的ROI，剪出构成良好的图像部分；以及(f)所述剪出图像区域被缩放到期望的小屏幕尺寸。
文档编号G06K9/32GK102124727SQ200880128199
公开日2011年7月13日 申请日期2008年3月20日 优先权日2008年3月20日
发明者A·克里克鲍姆, B·于埃特, B·梅里亚尔多, F·J·O·德卡瓦霍, G·施脱尔, H·诺伊施米德, J·B·D·S·卡多索, J·戴戈默勒, R·S·德阿莱姆, R·特里谢 申请人:无线电技术研究学院有限公司, 约阿内研究院信息系统学院, 葡萄牙电信创新股份有限公司