图像处理的制作方法

专利名称：图像处理的制作方法
技术领域：
本发明涉及一种处理多个图像的方法以及用于处理多个图像的系统。
背景技术：
利用数码相机拍摄照片变得越来越普及。使用这种数码相机的优点之一是可以通 过使用数码相机和/或计算机来捕捉、存储并且操纵多个图像。一旦捕捉并且存储了一组 图像，能够访问图像的用户需要决定如何使用数字图像。存在例如对于用户可用的不同的 数字图像处理程序。例如，用户可以利用照片编辑应用来编辑数字图像的全部或者部分，可 以将数字图像文件传送到因特网上的远程资源，以便与朋友和家人分享图像，和/或可以 以传统方式打印一个或者更多个图像。尽管这种数字图像处理任务通常使用计算机执行， 但是也可以使用其它设备。例如，一些数码相机在其中内置有这种能力。通常，人们倾向于拍摄越来越多的数字图像，以及经常拍摄一个特定对象、场景、 或者场合的若干图像。通过例如在数码相框中以幻灯片放映对所述图像进行显示，以规则 的显示时间使一整组类似的图像一个接着一个地显示不总是最吸引人的。另一方面，这些 图像在它们涉及相同事件或者场合的意义上经常是有关的，因此仅选择该组中的图像中的 一个以进行显示可能从用户体验中带走许多。在此情景中，出现关于如何使用所有图像而 不使其成为相当乏味的幻灯片放映的问题。在美国专利申请公布2004/(^64939中公开了用于处理数字图像的技术的一个例 子，其涉及基于内容的动态照片到视频方法。根据此公布方法，提供了自动地将一个或者更 多个数字图像(照片)转换为一个或者更多个照片动作剪辑的装置和系统。该照片动作剪辑 定义模拟的摄像机或者(一个或者更多个)数字图像内其它类似的运动/动作。该运动/动 作可以被用于定义(一个或者更多个)图像中的多个或者一序列的所选择的部分。因此，一 个或者更多个照片动作剪辑可以被用于呈现视频输出。该运动/动作可以基于在初始的数 字图像中所识别的一个或者更多个焦点区域。该运动/动作可以例如包括平移和缩放。由此方法提供的输出是基于原始照片的动画。此动画不提供用于提供对于终端用 户来说总是期望的输出的足够的图像处理。

发明内容
因此，本发明的一个目的是改进已知技术。根据本发明的第一方面，提供了一种处 理多个图像的方法，其包括接收多个图像，从所述多个图像中定义供处理的一组图像，使 该组图像内的一个或者更多个成分对齐，通过对(一个或者更多个)图像进行剪裁、调整大 小和/或旋转来变换经过对齐的图像中的一个或者更多个以产生一系列经过变换的图像， 并且产生包括该系列经过变换的图像的输出，所述输出包括图像序列或者单个图像。根据本发明的第二方面，提供了一种用于处理多个图像的系统，其包括接收器， 其被布置为接收多个图像；处理器，其被布置为从所述多个图像中定义供处理的一组图像， 使该组图像内的一个或者更多个成分对齐，并且通过对(一个或者更多个)图像进行剪裁、调整大小和/或旋转来变换经过对齐的图像中的一个或者更多个以产生一系列经过变换 的图像；以及显示设备，其被布置为显示包括该系列经过变换的图像的输出，所述输出包括 图像序列或者单个图像。根据本发明的第三方面，提供了一种计算机可读介质上的计算机程序产品，其用 于处理多个图像，所述产品包括指令，所述指令用于接收多个图像，从所述多个图像中定 义供处理的一组图像，使该组图像内的一个或者更多个成分对齐，通过对(一个或者更多 个)图像进行剪裁、调整大小和/或旋转来变换经过对齐的图像中的一个或者更多个以产生 一系列经过变换的图像，并且产生包括该系列经过变换的图像的输出，所述输出包括图像 序列或者单个图像。由于本发明，可以提供一种系统，所述系统通过自动地产生定格(stop motion)图 像序列、或者通过自动地产生由被布置为显示描述事件的照片序列的若干图像组成的“讲 故事的图像”，来自动地产生显示类似图像的有吸引力的方式。其是一种可以容易地应用于 数码相框、从而增强用户享受观看他的照片的方式的技术。通过自动地将图像与相同的参 考点对齐，当图像被显示为图像序列时，视频序列的样子就好像它们是从稳定的照相机拍 摄的那样，即使在原始图像的捕捉中使用了不同的视点和变焦。这些技术可被用于数码相框，其中可以在PC上使用所包括的软件进行图像的分 组和对齐。此外，可以由具有图像显示能力的任何软件或者硬件产品来使用这些技术。此 外，这些技术也可以被用于基于从(家庭)视频序列中提取的帧来产生相似的效果。在此情 况下，代替处理一组照片，可以使用取自该序列的一组帧(不必是每一单个帧)。有利地，从所述多个图像中定义供处理的一组图像的步骤包括根据与图像相关 联的元数据选择密切相关的一个或者更多个图像。产生输出的处理器可以接收大量图像 (例如当前存储在诸如介质卡之类的大容量存储介质上的所有图像)，并且对于这些图像进 行智能选择。例如，与图像相关联的元数据可以涉及原始图像的时间和/或位置，并且处理 器可以选择密切相关的图像。这可以是在类似时间拍摄的图像，所述类似时间由诸如10秒 时间段之类的预定阈值而定义。可以在适当的范围上类似地计算其它元数据成分以确定密 切相关的图像。元数据可以例如通过提取诸如色彩或者边缘之类的低级特征来直接从图像 自身导出。这可以帮助对图像进行分组。实际上，可以使用不同类型的元数据的组合，这意 味着可以组合地使用与图像一起存储(通常是在捕捉时)的元数据与从图像导出的元数据。优选地，从所述多个图像中定义供处理的一组图像的步骤包括丢弃落在相对于 所述多个图像中的不同的图像的相似性阈值之下的一个或者更多个图像。如果两个图像过 于类似，则可以通过删除类似的图像中的一个来改进最终的输出。可以以许多不同的方式、 例如参照两个不同图像之间的低级特征(诸如色彩信息或者边缘数据)中的改变，来定义相 似性。当定义要使用的组时，处理器可以检查(work through)多个图像，并且去除任何过 于类似的图像。这将防止当向用户生成最后的输出时图像中的明显重复。理想地，该方法在变换经过对齐的图像之后还包括检测经过对齐的图像内的一 个或者更多个低兴趣的成分，并且剪裁经过对齐的图像以去除所检测的(一个或者更多个) 低兴趣的成分。再一次，可以通过对于图像的进一步的处理来改进最后的输出。一旦图像 被对齐和变换，所述图像可以通过关注图像中的重要部分来进一步改进。可以实现这点的 一种方式是通过去除图像内的静态成分。可以假定对于静态成分的兴趣较低，并且图像可以被适配以去除这些成分(通过剪裁掉相应图像的部分)，并且使最后的图像关注图像的移 动部分。其它技术可以在图像中使用面部检测，并且假定将图像中的其它部分可以分类为 低兴趣。有利地，从所述多个图像中定义供处理的一组图像的步骤包括接收选择一个或者 更多个图像的用户输入。系统可以被配置为接受定义要根据上述方法进行处理的那些图像 的用户输入。这允许用户选择他们希望看到作为包括经过处理的图像的图像序列或者组合 的单个图像输出的那些图像。


现在将参照附图、仅通过示例的方式描述本发明的实施例，附图中 图1是用于处理图像的系统的示意图，
图2是处理图像的方法的流程图， 图3是被处理的多个图像的示意图， 图4是数码相框的示意图，
图5是处理图像的方法的第二实施例的流程图，以及 图6是图5的图像处理方法的输出的示意图。
具体实施例方式图1中示出了桌面计算系统，其包括显示设备10、处理器12、以及作为键盘1 和 鼠标14b的用户接口设备14。另外，用户使用诸如USB之类的常规连接技术将照相机16连 接到处理器12。将照相机16连接到处理器12允许用户访问已经被照相机16捕捉的图像。 这些图像被显示为文件夹18，其是由显示设备10显示的图形用户界面组件。显示设备10 还显示图标20，其表示在处理器12上安装的所安装的应用(被称为“STOP M0”)。用户可以使用所安装的应用STOP MO来处理他们的图像。例如，用户可以使用众 所周知的用户界面技术来简单地将文件夹18拖-放到图标20上，以请求由图标20表示的 应用处理文件夹18的内容。源自照相机16的、在文件夹18中存储的图像然后由该应用处 理。其它促成该处理方法的方法是可能的。例如，STOP MO应用可以以常规方式通过双击 图标四来启动，然后，在此应用内，源图像可以通过浏览计算机的存储设备而找到。应用STOP MO的目的是处理用户的图像以提供对于用户来说有吸引力的输出。在 一个实施例中，应用可以被用于根据源图像提供个人定格图像序列。由图标20表示的应用 提供了一种系统，其通过自动地产生定格图像序列或者通过自动地产生由被布置从而显示 描述事件的照片序列的若干图像组成的“讲故事的图像”、来自动地产生显示类似图像的有 吸引力的方式。其是一种可以容易地应用于数码相框、从而增强用户享受观看他的照片的 方式的技术。由该应用执行的处理在图2中进行总结。此处理流程图表示基本等级的处理。对 于此基本处理的多个可选的改进是可能的，并且在下面参照图5更详细地讨论。图2的过 程通过适当的处理设备自动地执行。该方法中的第一步骤-步骤Sl是接收多个图像的 步骤。如上面所提及的，这可以像用户将应用指向包含各种图像的文件夹的内容那样简单。 该处理也可以例如在用户第一次将他们的图像上传到计算机或者数码相框时自动地开始。
下一步骤S2是从在步骤Sl中接收的所述多个图像中定义供处理的一组图像的 步骤。在最简单的实施例中，该组将包括所有所接收的图像，但是这将不总是得到最好的 结果。该应用可以利用用户想要显示的图像的分组。此分组可以例如通过提取低级特征 (色彩信息、边缘等等)并且基于用于这些特征的距离量度来在图像之间比较所述特征来 进行。如果例如通过EXIF数据日期信息是可用的，则这可以被用于确定两个图像是否是 在相同的时间点左右拍摄的。也可以使用将视觉上类似的图像分组的其它分组方法。基 于视觉外观的分组技术是已知的。对于这种技术的参考可以在httD://V驟.visionbib. com/bibliography/match~pl494. html 找到，其中例如包括F. Zhao 等人，ACCV06, 2006 的 "Image Matching by Multiscale Oriented Corner Correlation"，)(寸于禾中技术白勺参考 还可以在 http //iris, use. edu/Vision-Notes/biblioRraphy/applicat805. html 找至Ij， 其中例如包括 S. K. Chang 等人，CVGIP, vol. 23，no. 3，1983 的〃Picture ^formation Measures for Similarity Retrieval"。对于具有数码相机的许多用户，分组将产生属于 相同事件、场合或者对象的图像的许多分组。步骤S2还可以包括对所接收的图像M进行排序(或者重新排序)。图像M的默 认顺序可能不是理想的，可能实际上没有默认的顺序，或者图像可能是从具有冲突的序列 的多个源接收的。在所有这些情况下，处理将需要所选择的图像M以一顺序放置。这可以 基于从图像M内的元数据导出的相似性量度，或者再一次可以依赖于与图像M —起存储 的元数据来导出顺序。该应用使用分组，以便产生显示该组图像的不同方式。假定在(一些)图像之间存 在显著的差异，该应用以自动的方式执行以下的步骤。在步骤S3，执行通过对齐该组图像内 的一个或者更多个成分来对齐图像的过程步骤。这例如可以通过确定图像中的特征点(诸 如Harris角点或者SIFT特征)并且对它们进行匹配而进行。特征点可以通过转换(例如平 移)、缩放、以及甚至旋转来进行匹配。可以使用任何已知的图像对齐技术。然后，在步骤S4中，该过程由通过对(一个或者更多个)图像进行剪裁、调整大小 和/或旋转来变换经过对齐的图像中的一个或者更多个以产生一系列经过变换的图像而 继续。该应用执行图像的剪裁、调整大小、以及旋转，以便图像的剩余部分也被对齐。色彩 校正也可以在变换步骤期间进行。对齐步骤S3和变换步骤S4被显示为顺序的，其中对齐 首先发生。然而，这些步骤组合地发生或者变换先于对齐发生是可能的。最后，在步骤S5中，并非以传统方式显示经过处理的分组中的图像，而是将图像 显示为定格图像序列或者单个图像。当用户观看他们拍摄的照片时，这为用户产生了非常 生动的体验。用户自己可以例如通过在对齐和变换之后选择要自动地用于序列中的一些或 者所有图像的效果或者框边界来进一步处理输出。可以自动地或者依靠用户交互来建立图 像序列中图像的显示速率以及单个图像中各图像的布置(关于大小和放置)。以此方式，可 以产生呈现时间戳，或者可以对于所有的或者相应的图像设置“帧速率”。以此方式，用户可 以自定义和/或编辑最后的结果。作为示例，图3示出了要如何处理各图像M中的多个图像22。所述各图像M中 的多个图像22包括三个不同的图像，它们已经由用户提供给由处理器12运行的应用，如上 面详细描述的。用户希望将这些图像M处理为图像序列或者单个图像。首先，处理器12 将定义图像适配技术将被用于其的一组图像。在此示例中，所有三个原始输入图像M将被
7用作该组。基于三个画面中的低级信息来计算上面的步骤S2，将看到三个输入图像M可以 被视为一个分组。诸如关于图像M的元数据(诸如图像被捕捉的时间)之类的其它信息可 以在分组过程中被额外地或者替代地使用。该组图像M中的各图像M然后被单独处理以产生经过对齐的图像26。这些经过 对齐的图像是通过对齐该组图像M内的一个或者更多个成分来产生的。通常，这种对齐并 不对于图像中的一个(小)对象执行。可以对于遍布图像M的、具有诸如角点或者边缘之类 的特殊性质的任意点进行对齐，或者通过在尝试不同的对齐之后使一个图像M减去另一 个图像所得到的差最小化来在全局的等级上进行该对齐。对齐中的改变指示在拍摄这两个 画面之间，照相机位置已经移动，或者焦点已经改变。包含对齐成分的过程步骤校正这些用 户改变，所述用户改变在拍摄相同情况的多个图像时是非常常见的。经过对齐的图像沈然后通过变换经过对齐的图像中的一个或者更多个来被变换 为系列30以产生该系列的经过变换的图像30，其中变换经过对齐的图像中的一个或者更 多个是通过对(一个或者更多个)图像进行剪裁、调整大小和/或旋转来进行的。应用所解 释的技术导致经过调整大小、经过剪裁并且经过对齐的图像30。接下来，处理器12可以通 过以照片30之间非常短的时间间隔来顺序显示照片30而产生定格图像序列。如果合适的 编码解码器可用的话，则处理器12还可以将图像序列中的图像保存为视频序列。可能需要 生成中间帧，以通过添加重复的帧或者通过使用已知的内插技术来产生中间帧而获得适当 的帧速率。可替代地，代替产生定格图像序列，处理器12还可以被控制以产生由所定义的分 组的经过对齐并且经过剪裁的图像M组成的一个图像。此过程导致一个拼贴图像，其讲述 特定事件或者场合的故事，并且也可以增强用户体验。对于图3中所示的图像M，所产生的 拼贴图像将对应于图4中所示的数码相框32。在此情况下，来自各原始图像M中的多个图 像22中的图像M —旦被根据图2的方法处理，就被作为相框32中的单个图像34输出给 用户。实际上，如果存在该能力，则可以为用户打印最后的输出34。图4中所示的相框从图1的计算机的处理器12中接收到最后的输出图像34。然 而，也可以在数码相框32的内部提供处理图像M的计算机的处理能力以及应用的软件功 能。在此情况下，提供供处理的图像M可以例如通过在相框32中直接插入诸如USB钥匙 之类的大容量存储设备来在相框32处被直接接收。相框32的内部处理器然后将获得图像 M，根据图2的方案对它们进行处理，并且然后将它们显示为最后的输出34。相框32还可以被控制以输出图像序列，而不是单个图像34。这可以是基于用于构 成单个图像34的图像的定格图像序列。可以与用于显示这种图像序列的图像一起生成和 提供元数据。此元数据可以被嵌入图像报头，或者被嵌入描述图像序列的分开的图像序列 描述符文件中。此元数据可以包含、但不限于对于序列中图像的引用、和/或呈现时间戳。 可替代地，图像序列可以作为AVI被直接存储在相框中，由此允许使用相框中可用的现有 编码解码器。可选地，假如相框32具有足够的处理资源，那么图像序列描述符文件可以被采 用，其包括描述基于所提供的原始(raw)图像来获得输出图像或者输出图像序列所需要的 对齐和处理步骤的元数据。因此，保留了原始图像的图像完整性，由此允许在没有信息丢失 的情况下、即不影响原始图像的情况下产生新的图像序列。
由于定格序列的帧速率可能远远小于常规视频序列的帧速率，因此显示定格序列 的处理资源要求可能实际上允许具有有限的处理资源的显示器使用参考原始图像的分开 的图像序列描述符文件。对于处理图像M的基本方法的各种改进是可能的。图5示出了类似于图2的流 程图的流程图，但其中具有将改进对于用户的最后输出的多个增强。这些可选的特征可以 被独立地使用，或者被组合地使用。这些特征是否被包括在处理方法中可以在用户的控制 之下，并且实际上处理可以利用所使用的特征的不同组合而被运行，以使得用户能够看到 不同的可能的最终结果并且合适地选择特征的组合。当应用被处理设备12运行时，可以由 应用在应用的图形用户界面内将所述特征呈现给用户。在图5的实施例中，步骤21中的从多个图像中定义供处理的一组图像的步骤包括 根据与图像M相关联的元数据选择密切相关的一个或者更多个图像对。这可以是从图像 M中提取的元数据，诸如像色彩那样的低级特征，或者可以是在图像对被捕捉时与图像M 一起存储的元数据，或者可以是这些特征的组合。所提供的各原始图像对中的多个图像22 可以仅通过选择被视为密切相关的那些图像M来在数量上被减少。通常，由照相机16捕 捉的图像将具有根据诸如EXIF之类的某种已知的标准或者根据专用于照相机制造商的专 有标准的、与图像M同时一起存储的某种元数据。例如可以是捕捉图像M的时间的此元 数据可以被用于仅选择落入特定的预定时间窗内的那些图像M。另一可选的下一步骤-步骤S22是检查图像M是否过于类似，所述过于类似是 在图像M的各个对之间几乎没有任何差异的意义上的。这在人们仅拍摄例如建筑物的一 些照片、意图是至少具有一个好的图像M以使得他们可以从中进行选择的情况下经常发 生。在该情况下，没有理由将该过程应用于整个分组，实际上仅选择一个图像并且使用该图 像是更聪明的。步骤S21和S22可以并行地、或者顺序地、或者有选择地(仅使用一个或者 另一个)运行。这些实现方式的改进导致过程的最后输出中的更好的最终结果。图5的方法还包括可选的步骤S4a，其中在变换经过对齐的图像之后，执行检测经 过对齐的图像内的一个或者更多个低兴趣的成分，并且然后剪裁经过对齐的图像以去除所 检测的(一个或者更多个)低兴趣的成分。例如，如果处理器12检测到图像M的特定区域 几乎不包含任何改变，则处理器12可以将这些区域视为低兴趣的，并且将图像M剪裁到改 变最显著的特定区域。在处理器12识别到对象的情况下该处理应当试图将对象保持为整 体，这是重要的。因此，这可以被用于存在像天空或者海洋那样的大量的背景的情况下。对 于当前的相框，图像大小通常过大，因此剪裁将不使它们的质量降级。图6示出了根据图5的流程图的处理的输出34。在此情况下，步骤如已经被用作 图像处理中的可选改进。在此示例中，面部检测已经被用于选择并且另外剪裁图像的部分 以产生水平视图。图像内的低兴趣成分已经通过剪裁图像的部分而被去除，以便增加用于 图像中通常被视为最重要的部分的显示区域的量。图像的宽高比被维持，并且最后的输出 ；34被构建为单个图像34，而不是定格图像序列。
9
权利要求
1.一种处理多个图像的方法，其包括接收多个图像，从所述多个图像中定义供处理的一组图像，使该组图像内的一个或者更多个成分对齐，通过对一个或者更多个图像进行剪裁、调整大小和/或旋转来变换经过对齐的图像中 的一个或者更多个以产生一系列经过变换的图像，并且产生包括该系列经过变换的图像的输出，所述输出包括图像序列或者单个图像。
2.根据权利要求1所述的方法，其中从所述多个图像中定义供处理的一组图像的步 骤包括根据与图像相关联的元数据选择密切相关的一个或者更多个图像。
3.根据权利要求1或2所述的方法，其中从所述多个图像中定义供处理的一组图像的 步骤包括丢弃落在相对于所述多个图像中的不同的图像的相似性阈值之下的一个或者更 多个图像。
4.根据权利要求1、2、或3所述的方法，在变换经过对齐的图像之后还包括检测经过 对齐的图像内的一个或者更多个低兴趣的成分，并且剪裁经过对齐的图像以去除所检测的 一个或者更多个低兴趣的成分。
5.根据任一上述权利要求所述的方法，其中从所述多个图像中定义供处理的一组图 像的步骤包括接收选择一个或者更多个图像的用户输入。
6.一种用于处理多个图像的系统，其包括接收器，其被布置为接收多个图像，处理器，其被布置为从所述多个图像中定义供处理的一组图像，使该组图像内的一个 或者更多个成分对齐，并且通过对一个或者更多个图像进行剪裁、调整大小和/或旋转来 变换经过对齐的图像中的一个或者更多个以产生一系列经过变换的图像，以及显示设备，其被布置为显示包括该系列经过变换的图像的输出，所述输出包括定格视 频序列或者单个图像。
7.根据权利要求6所述的系统，其中当处理器从所述多个图像中定义供处理的一组 图像时，处理器被布置为根据与图像相关联的元数据选择密切相关的一个或者更多个图 像。
8.根据权利要求6或7所述的系统，其中处理器被布置为当处理器从所述多个图像中 定义供处理的一组图像时，丢弃落在相对于所述多个图像中的不同的图像的相似性阈值之 下的一个或者更多个图像。
9.根据权利要求6、7、或8所述的系统，其中处理器还被布置为在变换经过对齐的图 像之后，检测经过对齐的图像内的一个或者更多个低兴趣的成分，并且剪裁经过对齐的图 像以去除所检测的一个或者更多个低兴趣的成分。
10.根据权利要求6到9中的任一项所述的系统，还包括用户接口，其被布置为接收选 择一个或者更多个图像的用户输入，其中处理器被布置为当从所述多个图像中定义供处理 的一组图像时使用用户选择。
11.一种计算机可读介质上的计算机程序产品，其用于处理多个图像，所述产品包括 指令，所述指令用于接收多个图像，从所述多个图像中定义供处理的一组图像，使该组图像内的一个或者更多个成分对齐，通过对一个或者更多个图像进行剪裁、调整大小和/或旋转来变换经过对齐的图像中 的一个或者更多个以产生一系列经过变换的图像，并且产生包括该系列经过变换的图像的输出，所述输出包括定格视频序列或者单个图像。
12.根据权利要求11所述的计算机程序产品，其中用于从所述多个图像中定义供处 理的一组图像的指令包括根据与图像相关联的元数据选择密切相关的一个或者更多个图 像的指令。
13.根据权利要求11或12所述的计算机程序产品，其中用于从所述多个图像中定义 供处理的一组图像的指令包括用于丢弃落在相对于所述多个图像中的不同的图像的相似 性阈值之下的一个或者更多个图像的指令。
14.根据权利要求11、12或13所述的计算机程序产品，在变换经过对齐的图像之后还 包括用于检测经过对齐的图像内的一个或者更多个低兴趣的成分并且剪裁经过对齐的图 像以去除所检测的一个或者更多个低兴趣的成分的指令。
15.根据权利要求11到14中的任一项所述的计算机程序产品，其中用于从所述多个 图像中定义供处理的一组图像的指令包括用于接收选择一个或者更多个图像的用户输入 的指令。
全文摘要
一种处理多个图像的方法包括接收多个图像，从所述多个图像中定义供处理的一组图像，使该组图像内的一个或者更多个成分对齐，通过对一个或者更多个图像进行剪裁、调整大小和/或旋转来变换经过对齐的图像中的一个或者更多个以产生一系列经过变换的图像，并且产生包括该系列经过变换的图像的输出，所述输出包括定格视频序列或者单个图像。
文档编号G06F17/30GK102077570SQ200980124029
公开日2011年5月25日 申请日期2009年6月17日 优先权日2008年6月24日
发明者A. 彼得斯 M., 方塞卡 P., 特索尼瓦 T. 申请人:皇家飞利浦电子股份有限公司