专利名称：图像缩放曲线生成的制作方法
技术领域：
本发明涉及一种生成用于校正图像或图像序列的宽高比的图像缩放曲线的方法。 更具体地，该方法依赖于检测图像中的局部显著性。本发明同样涉及一种相应的装置和一种包括用于实现所述方法的步骤的指令的计算机程序产品。
背景技术：
显示技术领域中最近的发展已经在显示器尺寸方面展现出巨大的多样性。显示器从低分辨率手持设备向高清晰度宽屏TV变化。计算和通信基础设施也正在发展以支持图像和视频进入这种不断扩展的潜在显示器的集合。可视内容对于在设备(比如蜂窝电话和手持式个人计算机(PC)、具有视频能力的个人数字助理(PDA)和家用联网媒体设备)上分享、表达和交换信息正变得更加重要。针对不同设备，相同内容被要求以不同尺寸和宽高比来显示。缩放和剪切的标准图像处理方法被证明不够。所述宽高比被理解为图像的宽度与该图像的高度的比率。通过使用计算机生成或转换视频文件，可以经常看到所得到的视频变得扭曲。这通常是由于无经验的用户对相关软件的不适当操作所造成的一它需要相当多关于计算机和视频的知识，比如理解TV系统使用非方形像素宽高比。而且，传统计算机视频文件格式(比如音频视频交织(AVI))容器缺乏用于存储宽高比信息的合适装置。该问题的典型实例是转换为计算机文件的宽屏数字多用途盘(DVD)， 例如经由数字生活网络联盟(DLNA)在TV上播放。通常，电影以变形(anamorphic)宽屏格式存储。除非在转换成计算机文件期间加以注意，否则所得到的电影在回放期间将被扭曲地再现，如通过比较图1和图2可以看到的。图1以正确的宽高比示出宽屏电影图像，而图 2示出当在计算机上未被正确处理时的相同图像。在该图中，人物和对象明显被扭曲。随着宽屏TV的普及，需要区别于最初预期的可以有效地在显示器上显示视频的高效方案。传统上，TV实现一种被称为“黑条检测”的方法以自动调节宽高比。视频被垂直缩放以使得黑条消失。这特别地在现代宽屏平板TV中完成。Brian Schoner等人的美国专利7339627描述了一种基于围绕图像的黑条进行宽高比校正的方法。当应用在市场中的TV中时，该方法具有以下缺点如果源视频被错误地编码(比如从因特网展示中下载的许多视频)或者对于2. 35:1电影宽高比的电影(其甚至需要在16:9的宽屏TV上用黑条示出)，则该方法失败。在飞利浦TV中，使用全景拉伸(Panoramic Stretch)技术，其中图像的边界被拉伸以占据更宽的屏幕。尽管所述方法所基于的假设(即最重要的信息处于中心视图中)经常是良好的假设，但是可能存在这种各向异性的拉伸不是最优方案的情况。期望能够针对多种显示器实现有效尺寸调整的更好的方法。宽高比校准可能不足以再现适用于观看的图像。也可以调用图像重定位(image retargeting).考虑到，重定位是在考虑场景中的内容、重要对象的同时缩放图像。因此， 它经常被称为感知内容的调整尺寸。特定实现方式中的图像重定位首先由图像剪切和随后的缩放构成。视频重定位问题比图像定位更具挑战性。由于运动和相机移动，确定视频的重要方面是困难的。而且，当重要方面动态变化时，要求保持时间一致性。幸运的是，要保存的重要的东西高度依赖于可被良好建模的低水平视觉显著性，但是在一些情况下它甚至可能依赖于基础故事(underlying story)的高水平方面。所提出的用于感知内容的宽高比校正或重定位的现有技术的方法通常缺乏时间一致性，在计算上是复杂的，或者在某些情况下引入了不可接受的扭曲。因此本发明的目的是通过提出一种用于图像或视频处理的改进解决方案克服上述困难和缺点。
发明内容
根据本发明的第一方面，提供一种生成图像缩放曲线的方法，该方法包括 -接收图像；
-检测所接收的图像中的局部显著性； -在第一方向上将该局部显著性累加；以及
-从所累加的局部显著性导出图像缩放曲线，其中所导出的图像缩放曲线适用于在基本垂直于第一方向的第二方向上进行图像重缩放。因此，本发明提供一种用于生成图像缩放曲线的非常高效的方法。而且，所提出的方法不依赖于元数据。所提出的方法不依赖于画面(或视频)的宽高比或取向的知识，因为该方法自动地根据图像本身确定重要的对象、区域和/或像素。由于最近计划引入超宽屏 TV (21:9)，所以本发明是特别令人感兴趣的。旧的全景拉伸技术很可能不再足以放大传统内容的规模。另一方面，来自文献的当前更先进的方法遭受TV观看的严重缺陷并且通常太
曰虫印贝。根据本发明的第二方面，提供一种计算机程序产品，其包括用于当在一种装置的计算机部件上被载入并运行时实现根据本发明的第一方面的方法的指令。根据本发明的第三方面，提供一种用于生成图像缩放曲线的装置，该装置包括 -接收器，用于获得图像；
-显著性检测器，用于检测所接收的图像的局部显著性； -累加器，用于在第一方向上累加所述局部显著性；以及
-曲线发生器，用于从局部显著性导出图像缩放曲线，其中所导出的缩放曲线适用于在基本垂直于第一方向的第二方向上进行图像重缩放。本发明的其他方面在所附的从属权利要求中叙述。
本发明的其他特征和优点根据下文参照附图对非限制性示范性实施例的描述而变得清楚明白，在附图中
-图1示出以正确的宽高比示出的宽屏电影的静态图像； -图2示出与图1相同但被错误地处理的图像； -图3示出三条不同的局部放大曲线； -图4示出被分成8个竖直部分和4个水平部分的图像；-图5图示了非线性位置变换曲线的使用；
-图6示出由图5的非线性位置变换曲线获得的缩放图像；
-图7是图示根据本发明的实施例的能够执行宽高比校正的装置的简化框-图8-11示出通过使用根据本发明的实施例的方法获得的不同放大曲线；
-图12是图示根据本发明的用于校正宽高比的第一实施例的流程-图13是图示根据本发明的用于校正宽高比的第二实施例的流程图；以及
-图14是图示根据本发明的用于校正宽高比的第二实施例的另一个流程图。
具体实施例方式本发明的一个实施例基于以下思想取得一组初始缩放曲线并且随后针对这些曲线计算成本价值。在实际图像缩放中要使用的新缩放曲线被计算，从而使得其结果是各个曲线的加权平均，其中权重与前述成本反向相关。因此，通过观看视频序列本身，系统不依赖于任何元数据，该元数据在可获得的情况下甚至可能是错误的。图3示出三条示范性缩放曲线和更特别地示出描述局部放大的放大曲线。这些曲线是一条具有恒定放大倍数的线性缩放曲线，一条具有负倍数的线性缩放曲线，以及在全景拉伸中使用的所谓“浴缸”曲线。浴缸曲线的形状使得在图像的中心处使用单位缩放，而放大率朝图像边缘增加。在图像的中心处的单位缩放意味着，图像的中心处的对象保持无扭曲。通常放大率介于0.5与2.0之间。图4、5和6图示了通过使用非线性缩放曲线和更特别地使用位置变换(或映射)曲线进行非线性图像缩放。位置变换曲线结果为放大曲线的积分(integral)。图4示出被分成8个具有相等宽度的竖直部分和4个具有相等宽度的水平部分的图像401。还示出了从图像的一个角到相对角的线403。为了获得如图6所示的非线性缩放的图像601，如图5所示使用非线性位置变换曲线501。图5清楚地示出结果为放大曲线的积分的图像缩放曲线，即位置变换曲线。水平/竖直放大曲线必须在水平/竖直位置上被积分以产生水平/竖直位置变换曲线。在该图中，可以进一步看到，图像的边缘附近，竖直部分变得更窄，而靠近中心，水平部分保持不变。通过使用这种曲线，设想图像的最重要的信息位于图像的中心附近。在图6中，由于水平方向上的非线性缩放，倾斜角度的直线403被显示为曲线603。然而，应当注意，最相关的信息不总是位于图像的中心附近。为此目的，本发明提出一种新的解决方案，其中可以有利地使用不同的缩放曲线。图7图示了根据本发明的被设置用于执行图像或视频宽高比校正的电气装置，比如TV。该TV具有多种输入源，即TV广播701A、因特网701B、DLNA 701C和通用串行总线 (USB) 701D。这些输入源传输压缩格式的视频，比如MPEG-2、MPEG-4或其他格式。解码器 703生成原始图像数据IMD-1、画面流，每帧一个画面。该图像数据被馈送到缩放器705，其为了在显示器707上被显示出适当的分辨率而调整画面的尺寸。方框703、705和707以非常简化的形式描述了传统的液晶显示器(LCD) TV。根据本发明的实施例，进一步提供以下单元显著性检测器709、累加器710、成本计算器711、曲线发生器713和存储器715。来自解码器703的解码的图像数据不仅被馈送到缩放器705，而且被并行地馈送到显著性检测器709中，该显著性检测器被设置成检测图像中的显著性特征，也被称为局部显著性。所述显著性特征在对应的图像片段被拉伸或收缩情况下反映图像中的感知的扭曲。在该实例中，显著性检测器709使用了对本领域技术人员而言被称为“计算机视觉库”的事物。计算机视觉库是存储在存储器715中主要以实时计算机视觉为目的的编程函数库。这些函数可以例如检测人们的脸，特别是特定特征，比如眼睛或嘴唇。圆形结构，比如轮或表，也可以相对容易地被检测。对象的确切定义取决于用于显著性检测器709的特定计算机视觉库。取代依赖于计算机视觉库，也可以使用更简单的方法，比如检测图像中的边缘。关于局部显著性的信息被馈送到累加器710，其被设置成在一个方向上(水平或竖直)累加所检测到的局部显著性，如稍后将更详细地解释。累加的局部显著性从累加器710 被馈送到成本计算器711。该成本计算器被设置成计算存储在存储器715中的不同缩放曲线的成本。在该实例中，存储器715还包含一组初始水平和/或竖直缩放曲线，其包含全景拉伸的标准曲线(即“浴缸”曲线)，而且包含一些可以在标准曲线失败的情况下适用的曲线。这主要在最重要的对象在屏幕侧板附近时发生。所存储的初始缩放曲线的数量至少为 2，但要小于图像中像素的数量。在大多数应用中，使用3-10条初始缩放曲线足够了。给定当前图像的显著性特征或局部显著性，可以计算这些初始曲线中每个曲线的 “成本”。缩放曲线的成本取决于主要对象(比如脸、运动对象等)在图像中的位置，从而使得局部缩放因子与单位缩放比例(缩放因子1)区别越多(特别是在这些主要对象的位置处)， 成本增加。换言之，在缩放因子不同于1的位置中大数量的显著性特征导致高成本值。为了计算该成本值，可以忽略缩放因子为1的位置中的显著性特征。曲线发生器713被设置成计算所述缩放曲线，即位置变换曲线，其在实际图像重缩放中将被用作各个曲线的加权平均，其中权重与前述成本反向相关。这意味着，权重随着预定义的缩放曲线的成本的增加而减小。所有候选曲线(水平和竖直缩放曲线)单独地引起期望的宽高比变化。在此情况下，当权重的和等于1时，所得到的曲线也将导致期望的宽高比变化。在输入视频序列具有良好的时间稳定性(没有场景变化)的情况下，权重将仅仅逐渐变化，从而也导致输出的重定位的视频是时间稳定的。在输入视频的低时间稳定性(场景变化)情况下，所述输出可以立即对更新的成本作出反应，而没有来自先前场景的剩余影响。因此，所提出的重缩放方法的颇受赞赏的时间稳定性不禁止对新镜头(shot)的快速调适。而且，通过或多或少地费力地(ambitiously)选择初始曲线(即这些曲线不同于标准曲线)，可以确保宽高比校正的人工产物(artefact)是适当的。表1-4图示了用于计算图像缩放中将使用的正确的放大曲线的具体实例。在这些表中，每列表示图像中特定水平位置。为了简化起见，在这些实例中，预定义的缩放曲线仅使用两个不同的放大值，即值1和2。这些放大值也可以被称为局部放大值或更一般地称为局部缩放曲线。因此，预定义的缩放曲线可被认为由可以被认为粘合在一起的若干个局部缩放曲线构成。在每个实例中，预定义的缩放曲线组包含三条缩放曲线。这些表中所示出的质量指数(quality figure)与成本值反向相关，如上所解释，对于预定义组中每个曲线通过考虑图像中的局部显著性来计算所述成本值。对于最终的缩放曲线，对于每个位置Y， 在一个方向上(即水平或竖直)所得到的放大率可以通过使用下述公式计算
权利要求
1.一种生成图像缩放曲线的方法，该方法包括-接收(1201 ；1301)图像；-检测(1204 ；1304)所接收的图像中的局部显著性；-在第一方向上将该局部显著性累加(1206 ；1306)；以及-从所累加的局部显著性导出(1211 ；1315)图像缩放曲线，其中所导出的图像缩放曲线适用于在基本垂直于第一方向的第二方向上进行图像重缩放。
2.根据权利要求1的方法，进一步包括通过使用所导出的缩放曲线在第二方向上重缩放(1213 ；1317)图像。
3.根据权利要求1-2中任一项的方法，其中检测局部显著性包括创建二维显著性图。
4.根据前述权利要求中任一项的方法，其中当对应的累加的局部显著性在第一方向上增加时缩放曲线的局部放大率接近1。
5.根据前述权利要求中任一项的方法，其中累加局部显著性包括在二维显著性图的第二方向上创建一维投影，其中该投影在接收的图像中投射各个像素的局部显著性或在垂直于累加方向的像素集合上投射局部显著性的组合。
6.根据权利要求5的方法，其中导出缩放曲线包括-倒置(1309)所创建的投影以获得局部放大因子轮廓；-使所获得的局部放大因子轮廓平滑(1311);-针对目标图像输出尺寸通过调适该轮廓来约束(1313)局部放大因子轮廓，使得该轮廓的积分匹配期望的输出尺寸，同时限制局部放大因子轮廓的最小和最大放大率值；以及-对缩放轮廓积分(1315)以获得图像缩放曲线。
7.根据权利要求1-5中任一项的方法，其中导出缩放曲线包括-提供(1207)—组初始图像缩放曲线，用于将像素从接收的图像映射到要输出的图像；-针对所提供的初始图像缩放曲线中的至少一些计算(1209)成本值，该成本值基于所提供的初始图像缩放曲线的局部放大率和所提供的初始图像缩放曲线被应用的第一方向上的累加的局部显著性；以及-根据所计算的成本值导出(1211)图像缩放曲线。
8.根据权利要求7的方法，其中所提供的初始图像缩放曲线由级联的且平滑化的局部图像缩放曲线构成。
9.根据权利要求7或8中任一项的方法，其中所述图像缩放曲线的结果为所提供的初始图像缩放曲线的加权平均，其中该权重随着所提供的初始图像缩放曲线的成本的增加而减小。
10.根据前述权利要求中任一项的方法，其中局部显著性在对应的图像片段被拉伸或收缩时反映图像中感知的扭曲。
11.根据前述权利要求中任一项的方法，其中图像的序列被接收并且所述方法被应用于该序列的至少一些图像。
12.根据权利要求11的方法，其中所述方法的检测、累加和导出步骤仅应用到图像序列的每第χ个图像。
13.根据前述权利要求中任一项的方法，其中所述图像在下述方向中的至少一个方向上被重缩放水平方向和竖直方向。
14.一种计算机程序产品，包括用于在一种装置的计算机部件上被载入并运行时实现根据权利要求1-13中任一项的方法的步骤的指令。
15.一种用于生成图像缩放曲线的装置，该装置包括-接收器(701A ；701B ；701C ；701D ；703)，用于获得图像； -显著性检测器(709)，用于检测所接收的图像的局部显著性； -累加器(710)，用于在第一方向上累加所述局部显著性；以及 -曲线发生器(713)，用于从局部显著性导出图像缩放曲线，其中所导出的缩放曲线适用于在基本垂直于第一方向的第二方向上进行图像重缩放。
16.根据权利要求15的装置，进一步包括用于提供一组初始图像缩放曲线的存储器 (715)和用于针对所提供的图像缩放曲线的至少一些计算成本值的成本计算器(711)。
17.根据权利要求15-16中任一项的装置，进一步包括用于通过使用所导出的图像缩放曲线在第二方向上重缩放图像的缩放器(705)。
全文摘要
本发明涉及一种生成图像缩放曲线的方法，其中在接收的图像中检测局部显著性(localsaliency)。随后在第一方向上累加所检测的局部显著性。最终的缩放曲线从所检测的局部显著性导出并且所述图像随后可能通过使用所导出的缩放曲线在第二方向上被重缩放，其中第二方向基本垂直于第一方向。
文档编号H04N5/44GK102265607SQ200980152238
公开日2011年11月30日 申请日期2009年12月16日 优先权日2008年12月23日
发明者达姆卡特 C., 德哈安 G. 申请人:皇家飞利浦电子股份有限公司