专利名称：图像处理方法
技术领域：
本发明涉及一种用于从源图像产生縮减尺寸的图像的图像处理 方法。
背景技术：
针对固定图像组或视频组中的导航应用，扫一眼就能看到所有的 视频图像是有用的。为此，令人感兴趣的是产生每一个固定图像或视 频中的每一个图像的缩减尺寸版本，使得在同一屏幕上同时显示所述 图像或视频并且能够容易地对其进行比较。同样地，对于具有小尺寸 屏幕的移动设备上(例如移动电话上)的视频内容播放应用，需要产 生视频中的每一个图像的缩减尺寸版本，以便将其显示在小尺寸屏幕 上。本领域的技术人员所已知的一种用于从源图像或视频产生这些 縮减的图像或视频的方法在于对所述源图像或视频进行子采样。在尺 寸明显缩减的情况下，由于一些图像部分太小而导致用户无法使用。发明内容本发明的目的是对现有技术中的至少一个缺点进行补偿。本发明涉及一种用于从源图像产生縮减尺寸的图像的图像处理 方法，该縮减尺寸的图像的宽度和高度之间的比率等于被称作縮减比 率的预定值。该方法包括如下步骤-选择源图像中的一个矩形图像部分，以及-提取该矩形图像部分，以产生縮减图像。根据本方法的本质特性，如果该矩形图像部分的宽度与高度之间 的被称作第一比率的比率不等于縮减比率，则在提取步骤之前，根据 与源图像中的每一个像素相关联的知觉兴趣的值，对该矩形图像部分的宽度或高度进行修改，使得修改后的矩形图像部分的宽度和高度之 间的被称作第二比率的比率等于缩减比率。根据特定特性，如果该第一比率小于縮减比率，则将该矩形图像 部分的宽度向右增大第一值并向左增大第二值，该第一和第二值根据 如下步骤来确定-计算第一增量，使得具有第一增量的增大宽度与高度之间的比 率等于所述縮减比率，-根据与通过将该矩形图像部分的宽度向右增大所述第一增量而 获得的附加图像部分的像素相关联的知觉兴趣值，计算第一平均显著 值，-根据与通过将该矩形图像部分的宽度向左增大所述第一增量而 获得的附加图像部分的像素相关联的知觉兴趣值，计算第二平均显著 值，-将第一值计算为第一平均显著值与总平均显著值之间的比率与 所述第一增量的乘积，其中总平均显著值是第一和第二平均显著值之 和，以及-将第二值计算为第二平均显著值与总平均显著值之间的比率与 第一增量的乘积。根据另一个特定特性，如果第一比率大于缩减比率，则将该矩形 图像部分的高度向上增大第一值并向下增大第二值，该第一和第二值 根据如下步骤来确定-计算高度的第二增量，使得宽度与具有所述第二增量的高度之 间的比率等于縮减比率，-根据与通过将该矩形图像部分的高度向上增大第二增量而获得 的附加图像部分的像素相关联的知觉兴趣值，计算第一平均显著值，-根据与通过将该矩形图像部分的高度向下增大第二增量而获得 的附加图像部分的像素相关联的知觉兴趣值，计算第二平均显著值，-将第一值计算为第一平均显著值与总平均显著值之间的比率与 第二增量的乘积，其中总平均显著值是第一和第二平均显著值之和， 以及-将第二值计算为第二平均显著值与总平均显著值之间的比率与 第二增量的乘积。根据特定实施例，其中，该源图像属于具有若干图像的序列，该 方法应用于该序列中的每一个图像，而且该方法包括在针对当前图 像中的矩形图像部分的宽度或高度的修改步骤之后，存在针对该矩形 图像部分的时间调整步骤，该步骤在于，如果该矩形图像部分的至少 一个侧边与当前图像之前的图像中的矩形图像部分的相应侧边之间的 距离大于预定阈值，则移动该矩形图像部分的至少一个侧边，使得所 述距离减小。根据另一特定实施例，其中，该源图像属于具有若干图像的序列， 该方法应用于该序列中的每一个图像，而且该方法包括在针对当前 图像中的矩形图像部分的宽度或高度的修改步骤之后，存在针对该矩 形图像部分的时间调整步骤，该步骤在于，如果该矩形图像部分的所 有侧边中的每一个侧边与当前图像之前的图像的矩形图像部分的相应 侧边之间的距离大于预定阈值，则移动该矩形图像部分的所有侧边， 使得所述距离减小。根据另一特定实施例，其中，该源图像属于具有若干图像的序列， 该方法应用于该序列中的每一个图像，而且该方法包括在针对当前 图像中的矩形图像部分的宽度或高度的修改步骤之后，存在针对该矩 形图像部分的时间调整步骤，该步骤在于，对该矩形图像部分中的如 下参数之中的至少一个参数进行修改高度、宽度和中心坐标，使得 修改后的参数等于包括当前图像之前的N个图像以及当前图像之后的 N'个图像的矩形图像部分的相应参数的数值组的中值，其中N和N'是 正整数。根据特定特性，N=N'。根据另一特定特性，将该序列分为被称作镜头的图像组，当前图像之前的N个图像和当前图像之后的N'个图像与当前图像属于同一镜头。有利地，如果经过时间调整的矩形图像部分的宽度和高度之间的 比率不等于縮减比率，则时间调整步骤之后紧接着根据与所述当前源图像的每一个像素相关联的知觉兴趣值对该经时间调整的矩形图像部 分的宽度或高度进行修改的步骤，使得经时间调整的和修改后的矩形 图像部分的宽度和高度之间的比率等于缩减比率。
参考附录中的附图，借助于非限制性的有利实施例和实施方式， 可以更好地理解并阐述本发明，其中-图l示出了根据本发明特定实施例的方法的步骤，-图2示出了图像(a)、相关联的显著图(b)以及对显著图进行 阈值限制而获得的二值图(c)，-图3示出了包围图像的显著地带的约束框，-图4示出了根据本发明的方法的步骤，-图5示出了根据本发明的应用于增大约束框的宽度的方法的步骤，-图6示出了根据本发明的应用于增大约束框的高度的方法的步骤，-图7示出了约束框RE以及位于框RE左侧的附加框RAG，-图8示出了约束框RE以及位于框RE右侧的附加框RAD，-图9示出了根据本发明的方法的附加修改的框REM，-图10示出了约束框RE和位于框RE之上的附加框RAH，-图11示出了约束框RE和位于框RE之下的附加框RAB，-图12示出了根据本发明的方法的附加修改的框REM，-图13示出了与具有索引t-l的图像相关联的时间调整框AREMw以及时间调整之前与具有索弓lt的图像相关联的约束框REM，-图14示出了与具有索引t-l的图像相关联的时间调整框AREMw以及在时间调整之前和之后与具有索弓lt的图像相关联的约束框REM， -图15示出了根据本发明另一特定实施例的方法的步骤。
具体实施方式
本发明涉及一种用于从源图像产生缩减尺寸的图像的方法，该縮减尺寸的图像的宽度和高度之间的比率等于被称为缩减比率并被标记为RR的预定比率。针对图像所描述的本发明可以应用于图像序列，例 如视频。参考图l，本发明包括对源图像中的矩形部分的第一选择步骤IOO。 有利地，根据描述源图像的像素的知觉兴趣的数据来执行该选择。为 此，参考图2，利用预定阈值对与源图像(图2 (a))相关联的显著图 (图2 (b))进行二值化，以识别源图像(图2 (a))中的显著部分， 即图像中的知觉兴趣较高的部分。对于源图像中的每一个像素来说， 如果与之相关联的显著值小于预定阈值，则所产生的二值图(图2(c)) 将第一值(例如零)与该像素进行关联，否则将第二值(例如255)与 该像素进行关联。参考图3，约束框RE位于源图像中，其包围了源图 像中由与第二值相关联的像素组成的地带。约束框为所选的图像部分 定界。例如，通过应用专利申请EP03293216.2 (公布1544792)中所描述的方法来获得显著图。该图将标记为Sp的显著值与源图像中的每一个像素P进行关联。可以根据任意其它方法来选择图像部分。根据变 体，该选择由操作员手动地执行。在现有技术中，该地带也被称作感 兴趣的区域或领域。步骤110在于对在步骤100中选择的图像部分的宽度PL与高度PH 之间的比率RF进行计算。步骤120在于将RF与RR进行比较-如果RF等于RR，则在步骤140期间通过对步骤100中所选的图像部分进行提取而产生縮减的图像，-否则，在步骤130期间，对所选的图像部分的高度PH或宽度PL 进行修改，使得所修改的图像部分的宽度和高度之间的比率等于RR。更具体地，参考图4，步骤130在于如果RF小于RR，则增大131 约束框的宽度，而如果RF大于RR，则增大132约束框的高度。根据本 发明的一个本质特性，通过考虑源图像中的像素的知觉兴趣来增大约 束框的宽度或高度。参考图5，在RF〈RR的情况下，按照如下方式在 步骤1310期间计算约束框的宽度AL的增量AL=PL*RR7RF-PL。在步 骤1311期间，参考图7，计算通过向左增大约束框RE的宽度而获得的、宽度为AL且高度为PH的附加框RAG的平均显著值。附加框RAG的平 均显著SMG计算如下SMG=丄*nag 尸e麟其中nag是附加框RAG中的像素的数目。在步骤1312期间，参考图8，以相同的方式计算通过向右增大约束 框RE的宽度而获得的、宽度为AL且高度为PH的附加框RAD的平均显 著值。附加框RAD的平均显著SMD计算如下SMD = nad 尸e膽其中nad是附加框RAD中的像素的数目。即nad-nag。在步骤1313期间，总平均显著值SMT计算如下SMT-SMG+SMD。 在步骤1314期间，向左的宽度增量ALG计算如下 ALG=SMG*AL/SMT。同样地，在步骤1315期间，向右的宽度增量ALD计算如下 ALD=SMD*AL/SMT。图9中示出了修改后的约束框REM。其高度等于PH且宽度等于 ALG+ALD+PL (即等于AL+PL)。因此，修改后的约束框REM的宽度 与高度之间的比率等于(AL+PL)/PH，即等于PI^RR/(RJ^PH)-RR。参考图6，在RF〉RR的情况下，按照如下方式在步骤1320期间计算 约束框的高度增量AH: AH=PH*RF/RR-PH。在步骤1321期间，参考 图IO，计算通过向上增大约束框RE的高度而获得的、宽度为PL且高度 为AH的附加框RAH的平均显著值。附加框RAH的平均显著SMH计算 如下SMH=丄*》,其中nah是附加框RAH中的像素的数目。在步骤1322期间，参考图ll，以相同的方式计算通过向下增大约 束框RE的高度而获得的、宽度为PL且高度为AH的附加框RAB的平均 显著值。附加框RAB的平均显著SMB计算如下SMB= ;* &其中nab是附加框RAB中的像素的数目。即nab-nah。在步骤1323期间，总平均显著值SMT计算如下SMT=SMB+SMH。 在步骤1324期间，向上的高度增量AHH计算如下-AHH=SMH*AH/SMT。同样地，在步骤1325期间，向下的高度增量AHB计算如下 AHB=SMB*AH/SMT。图12中示出了修改后的约束框REM。其高度等于AHH+AHB+PH (即等于AH+PH)且宽度等于PL。因此，修改后的约束框REM的宽 度与高度之间的比率等于PL/(AH+PH)，即等于PL/(PH承RF/RR)-RR。步骤140在于通过从源图像中提取由修改后的约束框REM所定 界的图像部分来产生缩减的图像。有利地，根据本发明，修改约束框以获得其宽度与高度之间的比 率等于比率RR的框，使得修改后的约束框REM包括其知觉兴趣较高的 像素。在步骤100中所确定的约束框RE位于源图像的一个边附近时，附 加框可能离开源图像。在这种情况下，在对修改后的约束框REM的确 定步骤期间，将位于源图像之外的像素置于相对侧上。根据图15所示的本发明的特定实施例，该方法适用于视频中的每 一个图像，以产生缩减尺寸的视频。有利地，该方法还包括在步骤140 之前所施加的时间调整步骤135。该步骤在于，根据在时间上位于具有 索弓lt的图像之前的具有索引t-l的图像中的其自身经过时间调整的修 改后的约束框(标记为AREMt.》，对具有索弓lt的图像中的修改后的约 束框REMt进行时间调整。这个步骤有利地避免了连续图像之间的不平 稳(jerky)效应，该效应是由于从一个源图像到具有修改后的约束窗 REM的位置的另一个源图像的剧烈变化而引起的。在缩减视频的播放 期间，该效应显著地给观看者造成了流动的印象。参考图13，应当注 意，dg (相应地为dd)是具有索弓lt的当前图像的修改后的约束框REMt 的左侧(相应地为右侧)与具有索引t-l的先前图像的经过时间调整的修改后的约束框AREMt-,的左侧(相应地为右侧)之间的距离。还应 当注意，dh(相应地为db)是具有索引t的当前图像的修改后的约束框 REMt的顶部(相应地为底部)与具有索引t-l的先前图像的经过时间调 整的修改后的约束框AREMw的顶部(相应地为底部)之间的距离。按照如下方式来修改距离dd、 dg、 dh和db:如果dd〉THD，则ddm-dd-dd/aev，否则ddn^dd，如果dg〉THD，则dgm-dg-dg/acv，否则dgn^dg，如果dh〉THD，则dhm-dh-dh/dev，否则dhm-dh，以及如果db〉THD，则dbm-db-db/aev，否则dbm-db，根据变体，按照如下方式来修改距离dd、 dg、 dh和db:如果(ddANDdgANDdhANDdb) >THD，贝U:ddm = dd-dd/acv， dgm — dg-dg/acv， dhm = dh-dh7acv以及dbm =db-db/acv其中"AND"是"逻辑与"运算符。THD是预定阈值。对于CIF格式的图像序歹iJ， TDH=20。 ddm、 dgm、 dhm和dbm分别是dd、 dg、 dh和db的修改后的值。aev是时间收敛速度。 如果aev较大，则窗AREMt的位置相对于窗AREMw的位置改变很小。 然后，移动修改后的约束框REMt的侧边，使得当前图像的经过时间 调整的修改后的约束框AREMt的左侧(相应地为右侧)与先前图像的 经过时间调整的修改后的约束框AREMt.,的左侧(相应地为右侧)之 间的距离等于dgm (相应地为ddm)，以及当前图像的修改后的约束框 AREMt的顶部(相应地为底部)与经过时间调整的修改后的约束框 AREMw的顶部(相应地为底部)之间的距离等于dhm(相应地为dbm)。时间调整步骤135可以修改约束框的尺寸。因此，在这个步骤之后， 可能需要重新应用步骤110至130，以使约束框AREMt的宽度与高度的 比率等于RR。根据本发明的另一实施例，针对每个镜头执行约束框的时间调整 步骤135。镜头是由序列中的其它图像的两个镜头改变而隔开的一组连 续图像。为此，在序列的镜头中的每一个图像中，根据步骤110至130从修改后的约束框处提取参数。这些参数是修改后的约束框的中心的坐标(Cx， Cy)，其高度为H且宽度为L。将长度为N的时间中值滤波 器应用于若干图像。这在于根据增大顺序对每一个参数的值进行分 类，并选择中值。在值的数目为偶数的情况下，选择两个中间值的平 均。给出了针对长度为N-9的滤波器的计算示例。根据与具有索弓lt的 图像之前的3个图像相关联的、并且与具有索弓lt的图像之后的3个图像 相关联的参数值，针对与具有索引t的图像的REM相关联的每一个参数 来计算中值，如下表所列参数t-4t-3t隱2t隱ltt+lt+2t+3t+4Cx227231235231233230227230236Cy172157179179185179166168161w228241159158152163180152152H197198131130125134148125125根据增大顺序而分类的参数CX的值如下:227， 227， 230， 230，里，231， 233， 235和236。 中值是值231，而这将是具有索弓lt的图像的经过时间调整的约束 框(AREMt)的Cx的新值。针对其它参数的中值计算如下 Cy=172， L=159，且H:131。在具有索引t的图像中，滤波后的约束框是以宽度为159像素且高 度为131像素的坐标(231， 172)处的像素为中心的框。针对每一个约 束框据此进行修改的参数彼此之间更为相关，从而提供了时间一致性 方面的加强(或减少了图像间的不平稳)。自然，对于镜头中前N/2个图像和后N/2个图像，不能像这样来应 用中值滤波。在这种情况下，应用镜头中前N个图像(相应地为镜头 中的后N个图像)的中值。例如，如果N-9，则镜头中的前4个图像的 约束框的参数(Cx， Cy， L, H)相同。每一个参数的值等于通过对 镜头中相应参数的前9个值进行中值滤波而获得的中值。当然，本发明不限于上文所提出的实施例的示例。特别地，本领域的技术人员可以应用所提出的实施例的任何变体，并将其进行组合 以产生各个优点。上述方法可以用于多种应用，例如图像序列的摘要、导航、图像序列的索引编制。本发明还可以用于提升小屏幕(例如PDA、移动电 话或数字摄像机)上的图像或图像序列的观看质量。
权利要求
1、一种用于从源图像产生被称为缩减图像的缩减尺寸的图像的图像处理方法，所述缩减尺寸的图像的宽度和高度之间的比率等于被称为缩减比率(RR)的预定值，所述方法包括如下步骤-选择(100)所述源图像中的一个矩形图像部分，-提取(140)所述矩形图像部分，以产生所述缩减图像，所述方法的特征在于，如果所述矩形图像部分的宽度(PL)与高度(PH)之间的被称作第一比率(RF)的比率不等于缩减比率(RR)，则在提取步骤(140)之前，根据与所述源图像中每一个像素相关联的知觉兴趣的值，对所述矩形图像部分的宽度(PL)或高度(PH)进行修改(130)，使得所述修改后的矩形图像部分的宽度和高度之间的被称作第二比率的比率等于缩减比率(RR)。
2、 根据权利要求l所述的方法，其中，如果所述第一比率(RF) 小于所述缩减比率(RR)，则将所述矩形图像部分(PL)的宽度向右 增大第一值(ALD)并向左增大第二值(ALG)，所述第一和第二值 根据如下步骤来确定--计算(1310)第一增量(AL)，使得具有所述第一增量(AL) 的所述增大的宽度与所述高度(PH)之间的比率等于所述縮减比率 (RR)，-根据与通过将所述矩形图像部分的宽度(PL)向右增大所述第 一增量(AL)而获得的附加图像部分的像素相关联的知觉兴趣值，计 算(1312)第一平均显著值(SMD)，-根据与通过将所述矩形图像部分的宽度(PL)向左增大所述第 一增量(AL)而获得的附加图像部分的像素相关联的知觉兴趣值，计 算(1311)第二平均显著值(SMG)，-将所述第一值(ALD)计算(1315)为所述第一平均显著值 (SMD)与总平均显著值(SMT)之间的比率与所述第一增量(AL) 的乘积，其中所述总平均显著值(SMT)是所述第一和第二平均显著 值之和，以及-将所述第二值(ALG)计算(1316)为所述第二平均显著值 (SMG)与所述总平均显著值(SMT)之间的比率与所述第一增量 (AL)的乘积。
3、 根据权利要求1或2所述的方法，其中，如果所述第一比率(RF) 大于所述縮减比率(RR)，则将所述矩形图像部分的高度(PH)向上 增大第一值(AHH)并向下增大第二值(AHB)，所述第一和第二值 根据如下步骤来确定-计算(1320)所述高度(PH)的第二增量(AH)，使得所述宽 度(PL)和具有所述第二增量(AH)的所述增大的高度(PH)之间 的比率等于所述缩减比率(RR)，-根据与通过将所述矩形图像部分的高度(PH)向上增大所述第 二增量(AH)而获得的附加图像部分的像素相关联的知觉兴趣值，计 算(1321)第一平均显著值(SMH)，-根据与通过将所述矩形图像部分的高度(PH)向下增大所述第 二增量(AH)而获得的附加图像部分的像素相关联的知觉兴趣值，计 算(1322)第二平均显著值(SMB)，-将所述第一值(AHH)计算(1324)为所述第一平均显著值 (SMH)与总平均显著值(SMT)之间的比率与所述第二增量(AH) 的乘积，其中所述总平均显著值(SMT)是所述第一和第二平均显著 值之和，以及-将所述第二值(AHB)计算(1325)为所述第二平均显著值 (SMB)与所述总平均显著值(SMT)之间的比率与所述第二增量 (AH)的乘积。
4、 根据权利要求1至3中任意一项所述的方法，其中，所述源图 像属于具有若干图像的序列，所述方法应用于所述序列中的每一个图 像，而且所述方法包括在针对当前图像中的矩形图像部分的宽度(PL)或高度(PH)的修改步骤(130)之后，存在针对所述矩形图像部分的时间调整步骤U35)，所述步骤是，如果所述矩形图像部分 的至少一个侧边与所述当前图像之前的图像的矩形图像部分的相应侧边之间的距离大于预定阈值(THD)，则移动所述矩形图像部分的至少一个侧边，使得所述距离(dd、 db、 dh、 dg)减小。
5、 根据权利要求1至3中任意一项所述的方法，其中，所述源图 像属于具有若干图像的序列，所述方法应用于所述序列中的每一个图像，而且所述方法包括在针对当前图像中的矩形图像部分的宽度(PL)或高度(PH)的修改步骤(130)之后，存在针对所述矩形图 像部分的时间调整步骤(135)，所述时间调整步骤是，如果所述矩形 图像部分的所有侧边中的每一个侧边与所述当前图像之前的图像的矩 形图像部分的相应侧边之间的距离大于预定阈值(THD)，则移动所 述矩形图像部分的所有侧边，使得所述距离(dd、 db、 dh、 dg)减小。
6、 根据权利要求1至3中任意一项所述的方法，其中，所述源图 像属于具有若干图像的序列，所述方法应用于所述序列中的每一个图 像，而且所述方法包括在针对当前图像中的矩形图像部分的宽度(PL)或高度(PH)的修改步骤(130)之后，存在针对所述矩形图 像部分的时间调整步骤(135)，所述时间调整步骤是，对所述矩形图 像部分中的如下参数之中的至少一个参数进行修改高度(PH)、宽 度(PL)和中心坐标(Cx， Cy)，使得所述修改后的参数等于包括所 述当前图像之前的N个图像以及所述当前图像之后的N'个图像的矩形 图像部分的相应参数的数值组的中值，其中N和N'是正整数。
7、 根据权利要求6所述的方法，其中，N=N'。
8、 根据权利要求6或7所述的方法，其中，将所述序列分为被称 作镜头的图像组，所述当前图像之前的所述N个图像和所述当前图像 之后的N'个图像与所述当前图像属于同一镜头。
9、 根据权利要求4至8中任意一项所述的方法，其中，如果所述 经过时间调整的矩形图像部分的宽度和高度之间的比率不等于所述縮 减比率(RR)，则时间调整步骤(135)之后紧接着根据与所述当前源 图像的每一个像素相关联的知觉兴趣值对所述经时间调整的矩形图像 部分的宽度或高度进行修改的步骤，使得所述经时间调整的和修改后 的矩形图像部分的宽度和高度之间的比率等于所述縮减比率(RR)。
全文摘要
本发明涉及一种用于从源图像产生缩减尺寸的图像的图像处理方法，该缩减尺寸的图像的宽度与高度之间的比率等于被称为缩减比率(RR)的预定值，该方法包括如下步骤选择(100)源图像中的一个矩形图像部分，以及提取(140)该矩形图像部分，以产生缩减图像。根据本方法的本质特性，如果矩形图像部分的宽度(PL)与高度(PH)之间的被称作第一比率(RF)的比率不等于缩减比率(RR)，则在提取步骤(140)之前，根据与源图像中每一个像素相关联的知觉(perceptual)兴趣的值，对所述矩形图像部分的宽度(PL)或高度(PH)进行修改(130)，使得修改后的矩形图像部分的宽度和高度之间的被称作第二比率的比率等于缩减比率(RR)。
文档编号G06T3/40GK101241591SQ200810008979
公开日2008年8月13日 申请日期2008年2月2日 优先权日2007年2月7日
发明者奥立弗·勒默尔, 纪尧姆·库尔坦, 迪迪埃·杜瓦扬 申请人:汤姆森许可贸易公司