用于处理数字图像的方法

专利名称：用于处理数字图像的方法
技术领域：
本发明涉及用于改变发送至显示器的数字图像的视图(view)的方法和用于在手持设备上存储数字图像的数据结构。
背景技术：
现今通常在具有显示器的任意电子设备上观看诸如照片、静止图像、图形等之类的图像。然而，使得图像能够在显示器上被观看并不够。用于在显示器上显示图像的电子设备的用户通常情况下对能够改变图像的视图感兴趣。用户请求的某些通常的操作是放大图像以观看图像的细节，平移放大的图像以便追踪特写或正好获得细节的概览，旋转图像以有利于在显示器上观看图像，等等。然而，这种电子设备的用户所处理的图像的分辨率逐渐增加，即用于定义图像的像素的数目变得越来越大。
例如，所述电子设备可以是对将要处理的图像来说具有有限的处理能力的移动电话、个人数字助理、掌上电脑、或其它设备。举例来说，具有用于观看图像的显示器的大多数所述电子设备并没有足够的处理能力，以执行诸如缩放、平移等的操作而不会在连续呈现的视图之间呈现频繁出现的和烦人的延迟。这导致图像的连续缩小或放大可能作为在图像之间具有很长延迟的多个图像的呈现被体验。因此，无法获得连续缩放的体验，这可能会使用户很不舒服。这也可能会导致用户进行不正确的处理或输入。
一种解决该问题的常用方式是，或者增加设备的处理能力，或者避免用户期望体验的连续流的操作。

发明内容
本发明的目的在于改进对图像进行操作并且改善对图像进行连续操作
4的用户的体验。
该目的是借助于根据权利要求1的用于改变待发送给显示器的数字图像的视图的方法和权利要求10的用于在手持设备上存储数字图像的数据结构来实现的。本发明的进一 步的实施例在从属权利要求中^^开。
具体来说，根据本发明的第一方面， 一种用于改变待发送给显示器的数
字图像的视图的方法，所述方法包括
从数字图像的在像素数目方面缩小尺寸的(reduced size )表示中检索代
表所述数字图像的第 一 区域的图像数据，
向所述显示器发送检索出的代表所述第一 区域的图像数据，
接收用于请求待发送给所述显示器的第二区域的用户输入信号，
从所述数字图像的缩小尺寸的表示中检索代表所述数字图像的所述第
二区域的图像数据，和
向所述显示器发送检索出的代表所述第二区域的图像数据。通过操纵以所述数字图像的缩小尺寸的表示呈现在显示器上的图像视
图，该操纵需要较少的处理时间，因而可以在较短的时间内执行。这样的原
因之一在于，在该实施例中，不需要为了呈现新的视图而解码整个全尺寸(full size)图像。
在另 一 实施例中，该方法进一步包括接收请求待发送给所述显示器的第三区域的用户输入信号，和如果第三选定区域指在缩小尺寸的图像中包括比显示视图的尺寸更少数目的像素的数字区域，则从所述数字图像的全尺寸表示中检索代表数字图像的第三区域的图像数据。
在又一实施例中，该方法进一步包括动作在已选择出待观看的所述数字图像之后且从所述数字图像的全尺寸表示中检索待发送给所述显示器的图像数据之前的时间点处，开始分析所述数字图像的全尺寸表示的图像数据。
在另 一 实施例中，该方法包括存储从该分析得到的信息。
在另 一 实施例中，该方法包括在待发送给所述显示器的图像数据被确定为从所述数字图像的全尺寸表示中检索的情况下，使用从分析所述数字图像的全尺寸表示的图像数据得到的信息。
通过在操纵图像期间在缩小尺寸的图像的分辨率不足以提供可接受的质量时的时点处使用该分析信息，尽管必须从全分辨率的图像中检索图像数据，但是操纵图像的速度仍然较高。
根据本发明的另 一方面， 一种用于改变待发送给显示器的数字图像的视
图的方法，包括
从所述数字图像的在像素数目方面缩小尺寸的表示中检索代表所述数
字图像的第一区域的图像数据，
向所述显示器发送检索出的代表所述第一区域的图像数据，接收请求待发送给所述显示器的第二区域的用户输入信号，通过使用从分析全尺寸图像得到的信息，从所述数字图像的全尺寸表示
中检索代表所述数字图像的所述第二区域的图像数据，和
向所述显示器发送检索出的代表所述第二区域的图像数据。在一个实施例中，该方法进一步包括在已选#^出数字图像用于观看之前
的时间点处，分析所述数字图像的全尺寸表示的图像数据。
在该方法的另 一 实施例中，所述第 一 区域代表总的缩小尺寸的图像的子集。
在该方法的又一实施例中，所述第二区域代表所述第一区域中的对象的放大。
在该方法另 一 实施例中，所述第二区域指示所述数字图像内与第 一 区域有关的不同的位置处的区域。
在该方法的另一实施例中，所述数字图像的缩小尺寸的表示具有与显示视图的尺寸相比倍数为k的尺寸，所述倍数k》1。
在该方法的另 一实施例中，所述数字图像的全尺寸表示被存储为压缩图像，其中所述分析所述数字图像的全尺寸表示的图像数据包括生成指向所述数字图像的全尺寸表示内的数据块的至少一个指示符，并且其中所述生成的至少 一个指示符用于当待发送给所述显示器的图像数据被确定为从所述数字图像的全尺寸表示中检索时访问选定区域的图像数据。
在该方法的另一实施例中，指向数据块的指示符指示最小编码单元
MCU的第一数据单元。
在该方法的另 一 实施例中，从分析所述图像数据得到的所述信息包括MCU中每个颜色分量的第一数据块的绝对DC系数。
在该方法的另 一 实施例中，存在指向每个MC U扫描线中的数据块的至少一个指示符。
在该方法的另 一实施例中，数据块是JPEG编码图^f象中的数据单元。在该方法的另一实施例中，该方法在远离所述手持设备而布置的服务器
中执行，并且其中检索出的代表待显示的区域的图像数据通过网络发送至所
述显示器。
在该方法的另一实施例中，进一步包括在所显示的第一区域与第二区域的显示之间生成并显示动画过渡。
根据本发明的又 一 方面， 一种用于在电子设备上存储数字图像的数据结构，包括
代表所述数字图像的全尺寸图像的图像数据被存储在所述电子设备上，
代表所述数字图像的缩小尺寸的图像的图像数据被存储在所述电子设备上并且具有与所述电子设备的显示视图的尺寸相比倍数为k的尺寸，所述倍数k > 1,
图像和显示器尺寸以像素来度量，和
所述全尺寸图像被连接接到所述缩小尺寸的图像。
在该数据结构的一个实施例中，代表缩小尺寸的图像的图像数据被存储在专用于与所述数字图像相关的信息的数据区域中。
在该数据结构的另 一 实施例中，专用于与所述数字图像相关的信息的数据区域是包括所述数字图像的图像文件的文件头部分。
在该数据结构的再一实施例中，代表缩小图像的图像数据被布置在引用全尺寸图像的图像数据的数据库条目的数据区域中。
在该数据结构的另 一实施例中，代表缩小尺寸的图像的图像数据包括对
代表全尺寸图像的压缩图像数据有效的非差分DC系数。
在该数据结构的另 一实施例中，代表全尺寸图像的图像数据是以压缩格 式被表示为代表顺序图像块的序列，每个块包括一个或多个数据单元，每个 数据单元被表示为基本函数的系数的可变长度编码序列。
在该数据结构的另 一实施例中，所述数据区域进一步包括指示图像块在 所述序列中的位置的指示符。
在该数据结构的另 一 实施例中，所述数据区域进一 步包括指示至少每逢 第64个图像块在所述序列中的位置的指示符。
在该数据结构的另 一 实施例中，所述数据区域进一 步包括指向所述序列 的每个图像块的至少一个DC系数的指示符。
根据本发明的再一 实施例，用于准备数字图像以进行操作的方法，包括
检索用于加速分析压缩的全尺寸图像的信息，
使用用于加速分析压缩的全尺寸图像和全尺寸图^f象的压缩图像数据的 信息来分析全尺寸图像，和
存储从所述分析得到的有利于对全尺寸图像进行快速操纵的特征。
在该方法的一个实施例中，所述压缩的全尺寸图像以压缩格式被表示为 代表顺序图像块的序列，每个块包括一个或多个数据单元，每个数据单元被 表示为基本函数的系数的可变长度编码序列，并且其中所述用于加速分析压 缩的全尺寸图像的信息包括指向图像块的指示符。
在该方法的另 一实施例中，在用于加速分析压缩的全尺寸图像的信息中 包括指向压缩的全尺寸图像的至少每逢第64个图像块的指示符。
在该方法的又一实施例中，所述加速分析压缩的全>^寸图像的信息进一 步包括DC系数。
本发明的进一步应用范围将从以下给出的详细描述中变得明显。然而， 应当理解，由于本发明精神和范围内的各种改变和修改对本领域技术人员来说根据详细描述变得很明显，因此尽管详细描述和具体示例指出了本发明的 优选实施例，但是其仅通过例示方式给出。


现在将参考附图通过示例方式进一步详细地描述本发明，附图中
图1示出移动电话的外部壳体的示意图，
图2示出移动电话的功能块的示意图，
图3是生成图像文件的方法的流程图，
图4示出根据一个实施例的图像文件的结构，
图5a-c是根据本发明的一个实施例的用于执行图像视图的操纵的方法 的流程图，和
图6a-f示出缩小尺寸的图像、全尺寸图像和显示视图之间的关系的示意
性概览。
具体实施例方式
在以下的描述中，本发明被描述为在移动电话上使用。然而，本发明可 以用于由诸如个人数字助理(PDA)、掌上电脑等的其它手持电子设备显示 的图像或在连接至服务器的个人计算机、终端等上显示的图像的呈现和操 纵，执行操纵图像视图的操作在具有对服务器的负荷来说有限的处理资源的 服务器上执行。图像视图的操纵可以包括在图像内放大或缩小、在图像内平 移和旋转。
现在参见图1，根据本发明的一个实施例，实施本发明的移动电话10 可以包括用于呈现显示视图12的显示器和用户输入装置14。
显示视图12被布置为在x方向具有rx的分辨率，并在y方向具有ry 的分辨率，即该图像为布置为用于呈现图像像素的矩阵，其中每行具有rx 个像素的长度，并且每列具有ry个像素的长度。当在以下描述中提及在显 示器或显示视图上呈现图像或图像数据时，该显示器或显示视图应当被解释
9为，被布置用于呈现图像或图像数据的显示区域。
用户输入装置14可以是用于控制电话的任意已知的装置。举例来说， 其可以是电话上的键盘、触摸屏(即通过显示器输入)、触摸板、外部鼠标 或操纵杆等。关于本发明，输入装置被用于对图像视图的操纵进行控制。
而且，移动电话可以包括光学输入端16，例如被布置为捕获光以生成 静止图像或视频图像的透镜。
现在参见图2，根据一个实施例，移动电话包括例如微处理器、CPU等 的处理器18、存储器20、显示器驱动器22、通信装置24和照相电路26。 处理器18被布置为执行用于实施本发明的至少一部分的软件，当然，由该 软件实现的方法也可以由其它装置例如由电子电路来实施。
存储器20可以是例如随机存取存储器(RAM)的易失性存储器、例如 只读存储器(ROM)、闪存等的非易失性存储器，或者存储器20可以是一 个易失性存储器和一个非易失性存储器。考虑到本发明，存储器20被布置 为存储用于实施本发明的至少 一部分的软件，并存储用来处理的图像数据。
显示器驱动器22被布置为响应于来自该处理器的显示指令而控制显示 器12的像素。显示器驱动器22可以是与具体显示器12兼容的任意显示器 驱动器。
通信装置24被布置为使得能够通信。该通信装置可以被实施为部分软 件部分硬件。
照相电路26包括图像传感器以及需要从该图像传感器生成图像的硬件 和软件。
移动电话包括针对其操作的另外的装置和设备。然而，为了方便本发明 的理解，不再描述对理解本发明没有贡献的装置和设备。
将要在移动电话10上被观看的图像可以作为图像文件存储在移动电话 20的存储器20中。由图像文件所代表的图像可以通过光学输入端16和照 相电路26来获取。该图像作为全尺寸图像被存储在图像文件中，这表示能 够显示比移动电话10的显示器12显示的像素多得多的像素。在图3中，示意性描述生成图像文件的方法的示例。
步骤100，初始获取全尺寸图像。步骤102，从全尺寸图像生成宽度为 w个像素和高度为h个像素的缩小尺寸的图像。该缩小的图像的宽度w和高 度h中的每一个分别是与对应的显示器12的宽度rx和高度ry相比倍数为k。 根据本发明的一个实施例，倍数k可以是在1-2的范围内。根据一个实施 例，倍数k被选择为使得缩小尺寸的图像的高度和宽度分别是全尺寸图像的 2的n次幂分之一的尺寸，其中n可以是任意整数，这使得缩小尺寸的图像 具有分别与该显示器的视图区域的宽度和高度相比一样大或更大的宽度和 高度。
通常全尺寸图像已经被编码和/或压缩，但是当全尺寸图像没有被编码 和/或压缩时，则在步骤104中将全尺寸图像编码和/或压缩成预定的格式， 例如jpeg、 tiff、 gif、位图格式、私有格式等。在步骤106中，将缩小尺寸 的图像也编码和/或压缩成预定的格式，例如jpeg、 tiff、 gif、位图格式、私 有格式等。然后，在步骤108中将全尺寸图像存储为图像文件，并且在步骤 110中将缩小尺寸的图像存储为与该图像文件有关的文件信息。缩小尺寸的 图像可以存储在该图像文件的文件头中或者存储在数据库中。在缩小尺寸的 图像被存储在数据库中的情况下，将缩小尺寸的图像与该图像文件相关联的 信息可以存储在该数据库中，将图像文件与该数据库中的缩小尺寸的图像相 关联的信息可以存储在该图像文件的文件头中，或者将该图像文件与缩小尺 寸的图像互相关联的信息可以既存储在该数据库中又存储在该图像文件的 文件头中。将数据库中的缩小尺寸的图像与全尺寸图像链接的另 一方式是利 用全尺寸图像的特定信息。举例来说，这可以通过使用^4居全尺寸图像的文 件名计算出的哈希码和或使用捕获日期来实现。然后，可以利用该哈希码作 为缩小尺寸的图像的文件名的 一部分来将缩小尺寸的图像存储在文件系统 中。
根据本发明一个实施例的图像文件120的结构示于图4中。全尺寸图像 被存储为编码或压缩的图像数据122。另夕卜，图像文件120还包括文件头124。文件头124包括段126中的图像信息和/或文件信息。图像信息和文件信息 可以是与图像生成的时间和日期、捕获该图像时摄像机的设置、摄像机型号 和类型、最后一次改变该文件时的时间和日期、图像文件的大小等有关的信 息。而且，文件头可以包括使得能够加速观看、缩放和平移全尺寸图像的图 像信息，或者包括加速分析全尺寸图像的图像信息。在文件头124的段128 中，缩小尺寸的图像可以被存储为图像数据。缩小尺寸的图像可以被编码或 #皮压缩。
而且，缩小尺寸的图像可以任意已知的方式产生。举例来说，如果将要 根据非压缩的或解压缩的图像来生成缩小尺寸的图像，则可以使用诸如最近 邻居、双线性或双三次重采样的方案。然而，如果使用JPEG压缩图像，则 可以通过仅对DC系数和/或有限数目的AC系数进行解码来生成缩小尺寸的
率/尺度的解码。
如前所述，通过存储尺寸是显示器的尺寸k倍的缩小图像，诸如缩放和 平移之类的图像的初始操纵可以在不需要用户等待处理器对图像进行解码 或解压缩的情况下执行。因此，对用户的操纵指令的响应基本上是立刻发生 时，并且根本体验不到等待时间。
在图像通过JPEG或类似的压缩方案进行压缩的情况下，用于使得加速 对全尺寸图像的观看、缩放、平移和旋转成为可能的图像信息可以包括指示 符，用于直接访问一个或多个单个最小编码单元(MCU)以及MCU的颜色 分量或通道的每个第一数据单元的绝对DC系数，其中对图像的观看、缩放、 平移和旋转也称为操纵。根据可替换实施例，用于使得加速对全尺寸图像进 行的操纵成为可能的图像信息还可以包括指向MCU的其它数据单元中每一 个数据单元的指示符。
如果没有指明，则指示符应该被理解为被指示的位(bit)在数据流中的 绝对或相对地址或在数据流中的标记(marker )。
在图5a-c中描述了根据本发明 一个实施例的用于执行这些操纵的方法。
12用户最初通过搡纵移动电话的输入装置来选择将要在显示器上呈现的图像。
然后，步骤200,移动电话接收指令以显示指定图像。步骤202,移动电话 响应于该指令检索与指定图像相关的缩小尺寸的图像，并且在步骤204,缩 减检索出的缩小尺寸的图像的大小以适合显示器，接着步骤206,在移动电 话的显示器上呈现所选择的图像。
现在所选择的图像在显示器上变成可见，并且用户所感兴趣的是观看图 像的具体细节。因此，用户指出他想放大该图像。步骤208,移动电话接收 放大指令，并且步骤210,处理器根据缩放指令剪切并按比例改变缩小尺寸 的图像以适合显示视图。可以使用缩小尺寸的图像来放大，并且依赖于该实 施例，也可以通过使用比显示器尺寸大的缩小尺寸的图像或者通过允许将缩 小尺寸的图像放大到大于一比一比例极限来放大，例如在某些应用中，可以 接受达到25%-30%的放大。所以，由于需要考虑的像素数目很少，并且缩 小尺寸的图像不需要被解压缩，因此缩放操作变得很快。然后步骤212,从 步骤210中的按比例改变得到的图像被呈现在显示器上。既然该图像已经被 缩放一次，也就可以在该图像内平移了。现在用户可以进一步放大、缩小或 平移。假设用户决定进一步放大。步骤214,移动电话接收指令，并且步骤 216,识别该指令是放大指令。然后，步骤218,检查得到的缩放倍数z。如 果缩放倍数z是大于p的值，则期望的视图要求的这样的放大倍数，即使得 缩小尺寸的图像不可能用于提供可接受或要求的质量，并且因此该过程继续 到步骤219,以便改为开始使用全尺寸图像。如果缩放倍数z是小于或等于 p的值，则仍然使用缩小尺寸的图像，并且该过程前进到步骤220。缩放倍 数z可以是指示为了呈现用户所要求的图像而要求对缩小尺寸的图像按比例 改变多少的值。例如，如果缩小尺寸的图像的尺寸即w像素和h像素是显 示视图的尺寸即rx像素和ry像素的两倍，则当将要显示整个图像时，缩放 倍数z最初是l/2。因此，在这种实施例中，缩放倍数对应于为了将正被缩 放的图像呈现为用户所要求的程度而应用于缩小尺寸的图像的按比例改变 的倍数。换句话说，在缩小尺寸的图像是显示器尺寸的两倍并且不要求缩放的示例中，贝'J w/2 = rx,并且h/2 = ry，即wz = rx, h.z = ry,并且z = 1/2。 而且，当所要求的缩放具有使得缩小尺寸的图像的像素对应于显示器的一个 像素的值时，则z= 1。用于定义使用缩小尺寸的图像的极限的p值可以是1， 即p=l。然而，在某些应用中，甚至可以在没有显著影响的情况下，将缩 小尺寸的图像扩大到超过缩放倍数z- l,在这种情况下，p可以被设置为1.25 的值，即呈现在显示器上的图像可以是缩小尺寸的图像扩大了 25%。缩小尺 寸的图像的扩大直到高度和宽度分别大于未按比例改变的尺寸约1.5倍都还 是可以接受的。
现在转到图5b，并且假设缩放倍数z小于或等于p,则步骤220,缩小 尺寸的图像根据缩放指令再一次被剪切并按比例改变，而后步骤222,得到 的图像被呈现于显示器上。然后，该过程转到步骤214,以准备接收新的指 令。如果缩放倍数z大于p则该处理切换到全尺寸图像，这在以下结合图5c 进行描述。
步骤224,如果所接收的指令涉及图像视图的平移操纵，则步骤226， 结合该指令来提供该图像内的该图像视图的新位置，即与被显示的整个图像 的一部分对应的视图区域，并且从缩小尺寸的图像检索代表该视图区域的图 像数据。然后，步骤228，根据当前缩放选择来剪切并按比例改变该图像， 并且步骤230,在显示器上显示该图像。接着，该处理转到步骤214，以准 备接收新的指令。
在图5c中示出当图像被放大到超过从根据缩小尺寸的图像生成被显示 的图像视图到根据全尺寸图像生成被显示的图像视图改变的极限时操纵图 像视图的过程。所以，当步骤218图像的放大已超过图5b给出的极限时， 步骤232根据缩放指令检索、剪切并按比例改变全尺寸图像。然后，步骤 234在显示器上显示按比例改变后的全尺寸图像。接着，步骤236,该过程 准备接收进一步的图像视图操纵指令。如果步骤238下一个接收的指令是放
大指令，则步骤240根据该缩放指令剪切并按比例改变全尺寸图像，并且步 骤242显示按比例改变后的全尺寸图像。然后，步骤236移动电话准备接收下一指令。
如果步骤235中接收到的指令是平移指令，则步骤246,结合该指令提 供该图像内该图像视图的新位置，即与被显示的整个图像的 一部分对应的视 图区域，并且从全尺寸图像检索代表该视图区域的图像^t据。然后，步骤 248,根据现在的缩放选择来剪切并按比例改变该图像，且步骤250,在显 示器上显示该图像。然后，该过程返回到步骤236,以准备接收新的指令。
在图6a-f中，示意性地示出缩小尺寸的图像、全尺寸图像和显示器上的 图像视图之间的关系的概览。该概览还与图5a-c中描述的根据本发明一个 实施例的用于执行操纵的方法有关。图6a描绘显示器上呈现的图像视图260 与缩小尺寸的图像262之间的关系。图像视图260的宽度是rx个像素，高 度是ry个像素，并且缩小尺寸的图像262的宽度是w个像素，高度是h个 像素。如先前所提及的，缩小尺寸的图像262的宽度w与图像视图宽度rx 的宽度相比的倍数为k,缩小尺寸的图像262的高度h与图像视图高度ry 的高度相比的的倍数为k。所以，通过缩减缩小尺寸的图像262的大小以适 合显示器，即适合图像视图的尺寸，来生成被设想显示整个图像的初始图像 视图260。
图6b描绘图像被放大并且仍然从缩小尺寸的图像262检索将要在图像 视图260中显示的图像数据的情况。从图6b中可以看出，从一个或多个放 大指令得到的放大是比整个缩小尺寸的图像262包含的像素少的区域264。 因此，图像视图260的生成包括缩小区域264内的图像以适合该显示器。
图6c描绘缩放的图像被平移即打算供该显示器使用的区域264在该图 像的区域内移动的情况。
图6d描绘放大已导致图像区域264的尺寸与该显示器尺寸相同的情况， 其中尺寸相同考虑以像素的数目表示的高度和宽度。在这种情况下，不对打 算被显示的区域进行按比例改变。
图6e描绘放大已导致缩小的图像内比该图像视图小的图像区域的情 况，因此缩小尺寸的图像区域264已被按比例增大到图像视图260的尺寸。
15这导致在图像视图中并没有充分利用显示器分辨率的呈现。然而，在所体验 的质量损失小的情况下是可以接受的。
图6f描绘由于缩放操作已达到缩小尺寸的图像不再能提供可接受的质 量的水平因而从全尺寸图像266而不是从缩小尺寸的图像检索待显示的图 像信息的情况。由于改变为全尺寸图像266,因此为了适合显示器，现在必 须再次按比例缩小该图像区域。
通过利用缩小尺寸的图像，与具体图像有关的图像视图的操纵变得更 快，并且与应当使用压缩的全尺寸图像相比，从用户指示操纵的时刻到该操 纵被执行的响应时间变得更短。对此， 一个原因在于，当今的系统中，如果 使用压缩的全尺寸图像，则每次将要执行图像视图的操纵时，都必须对代表 该图像的整套图像数据进行解码。这很耗时。如果该图像数据被解压缩一次， 并且所有的操纵针对解压缩的图像数据被执行，则时间不再是那么大的问 题，然而，解压缩的图像会占用较大的存储区域，大约是压缩图像所占存储 区域的6-20倍。而且，全尺寸图像的初始解码会花费比用于分析和解码少 数选中区域的总时间长得多的时间。
然而，正如以上过程所描述的，当待显示的图像-f见图^^皮放大到这样一种 程度，即缩小尺寸的图像数据不可能用于生成期望质量的图像视图时，根据 缩小尺寸的图像处理并呈现图像数据不太令人满意。就这一点来说，建议改 为开始处理全尺寸图像的图像数据。所以，当图像被缩放到深入图像的细节 时，压缩图像的处理慢的问题就会出现。
为了克服延迟即对压缩的全尺寸图像的处理耗时的问题，并且为了克服 存储容量即非压缩的图像占用较大的图像区域的问题，对全尺寸图像进行分 析，并且将有利于对图像进行快速操纵的特征存储在图像文件中，见图4的 描述，暂时存储在针对当前操纵的存储器中，或作为条目存储在数据库中， 数据库的所述条目可以指图 <象文件。Scalado AB在专利申请WO 2005/050567中描述了用于分析、提取和存储这种与图像有关的特征的一系 列方法。为了提取所述有利于对图像进行快速操纵的特征，所述特征或者可以在 对图像进行压缩期间提取，或者可以在对压缩图像进行后压缩分析期间提
取。在使用JPEG压缩或类似的压缩方法压缩全尺寸图像的情况下，检索出 并存储的有利于对图像进行快速操纵的特征可以是指向MCU的指示符、 指向一个或多个数据单元的指示符、检索出的MCU和/或检索出的数据单元 的颜色分量中一个或多个颜色分量的一个或多个绝对或相对DC系il、或者 数据单元之间或数据单元的具体系数之间的位的数目的任意单个或任意组 合，其中MCU是图像的小图像块，数据单元是代表MCU的一个通道或颜 色分量的数据块。以上所述的Scalado AB的申请即WO 2005/050567中描述 了如何使用这种特征来实现对图像进行快速操纵。
在一个实施例中，如先前所述，用于加速分片斤全尺寸图像的信息可以例 如通过将该信息存储在文件中，或者通过引用存储与特定图像相关的所述信 息的位置，而连接到该图像。
用于加速分析的信息的一个例子是使用JPEG压缩或类似压缩方法压缩 的图像的数据单元。通过存储指向压缩的全尺寸图像的至少某些数据单元的 指示符，在分析压缩的全尺寸图像期间，就不需要对这些数据单元的可变长 度编码部分进行解码。可变长度编码部分可以根据例如霍夫曼编码、算术编 码等任意可变长度编码来编码或解码。所以可以加速分析过程。在一个特定 的实施例中，存储指向压缩的全尺寸图像的每个数据单元的指示符。因此， 不需要为了定位数据单元而对可变长度编码部分进行解码。
由于DC系数是数据单元的第一系数，因此通过获知数据单元的位置， 就可以快速地对差分DC系数进行解码，从而能够创建绝对DC值的表格或 列表。这允许对图像中任意数据单元的随机访问，并且它允许在对以更少细 节显示的图像进行解码期间，跳过耗时的可变长度编码。
用于加速分析的信息的另一示例是如以上所述存储指向数据单元的指 示符和存储DC系数中的至少一些系数两种方式的组合，其中存储的DC系 数优选是与存储的指示符所代表的数据单元有关的DC系数。通过存储这些
17特征，可以根据用于加速分析的信息直接生成分析特征。在将全尺寸图像的
所有数据单元和DC系数存储为用于加速分析的信息的实施例中，可以在根 本不进行任何解码或在最小努力的情况下生成表格。
在又一示例中，全尺寸图像的DC系数被存储为缩小尺寸的图像中的图 像数据或图像数据的一部分。因此，当需要DC系数时，从代表缩小尺寸的 图像的数据中检索DC系数。
指向数据单元的指示符可以是绝对的，即给出在文件中的绝对位置，也 可以是相对的，即给出数据单元在图像文件内相对于前一数据单元或某些其 它位置指示符的位置。绝对指示符的优点在于，每个数据单元可独立访问或 直接访问。相对指示符的优点在于，可以使用较少的存储空间来描述每个指 示符。
如上所述，可以在已选择出用于观看的图像并将其连接到被选择用于观 看的图像文件即图5a的步骤200中指定的图像之后开始的时间段期间，提 取所述有利于快速操纵全尺寸图像的特征，然后可以在使用所述缩小尺寸的 图像操纵图像的过程期间，对压缩的图像进行分析。图5a的步骤252中为 了检索所述特征而对压缩的全尺寸图像进行的解压缩和/或分析可以在一选 择待观看的图像或一接收到与该图像有关的第 一缩放指令之后就开始。等待 第一缩放指令的优点在于，在用户指出对操纵图像感兴趣之前，不会启动大 尺寸图像的处理，这样就降低了浏览图像期间在观看的图像上浪费处理能力 的风险。如果在必须使用全尺寸图像进行操纵之前完成分析，则通过与操纵 并行执行分析，可以实现在缩小尺寸的图像的操纵与全尺寸图像的操纵之间 无延迟的过渡，然后借助于从分析检索的特征，继续图像的快速操纵。而且， 根据一个实施例，在执行分析时或者在执行分析时的间断期间，可以显示操 纵的动画。举例来说，效果上的动画缩;改可以与操纵上的缩放结合显示，动 画旋转效果可以与旋转操纵结合显示，动画滑动效果可以与平移操纵结合显 示。因而，用户体验延迟的风险变为最小。
在另一实施例中，指向一个或多个MCU指示符和与MCU的颜色分量中每一个颜色分量有关的至少 一个绝对DC系数可以包括在用于加速分析全 尺寸图像的图像信息中。通过包括这些特征，可以仅针对放大的图像区域执 行初始分析。所以，可以仅分析图像的一部分，从而实现了快速分析。在 200%缩放时，这导致大约比必须对完整图像进行分析快四倍的分析。如果 对图像视图进行平移，则新视图的图像数据的一部分没有被分析，因此新视 图的剩余图像数据的分析可以极快速地被分析。
根据本发明的另 一 实施例，用于加速分析完整图像的图像信息是指向全 尺寸压缩图像的数据单元的指示符。
根据本发明的又 一 实施例，用于加速分析全尺寸压缩图像的图像信息是 指向全尺寸压缩图像的数据单元的指示符和与所指示的数据单元相关的绝 对DC系数。
被存储为用于加速分析图像的图像信息的指向不同MCU的指示符的数 目可以在每个MCU、每两个MCU、每四个MCU、每八个MCU等等之间 互不相同。在一个实施例中，指向图4象中MCU的每一行上的至少一个MCU 的指示符被存储为用于加速分析图像的图像信息。
在实施如上所述存储用于加速分析图像的图像信息的任意方案的一个 实施例中，缩小尺寸的图像的尺寸可以被设置为与显示器相同的尺寸。
根据另 一 实施例，如上所述的图像文件不 一 定要从用于呈现图像的设备 的存储器中检索，而是可以通过例如图2的移动电话中的通信装置24之类 的通信装置来下载。而且，图像文件可以存储在外部服务器处，并在手持设 备中通过存储在该手持设备中的参考符号来引用。另外，用于加速对图像进 行操纵的信息可以存储在外部服务器处。
操纵图像即如以上所述执行缩放或平移或倾斜操作的方法可以完全在 包括该显示器的设备上执行。该设备可以是例如被布置为用于显示图像的手 持电子设备，例如移动电话。在一个实施例中，操纵还包括提取有利于快速 操纵数字图像的全尺寸表示的特征。
根据另一实施例，操纵图像的方法可以完全在外部服务器上执行，得到的视图可以被传递到手持设备。以此方式，由于仅需要处理被请求的区域， 因此外部服务器可以在特定时间段处理更大数目的图像操纵。可以通过例如
因特网、LAN、 WAN、移动电话网络、WIFI、基于陆地的电话网络等的任 意网络或网络的组合来执行所得到的视图的传递。
权利要求
1、用于改变待发送给显示器的数字图像的视图的方法，所述方法包括选择用于观看的图像，从所述数字图像的在像素数目方面缩小尺寸的表示中检索代表所述数字图像的第一区域的图像数据，向所述显示器发送检索出的代表所述第一区域的图像数据，分析所述数字图像的全尺寸表示，以检索有利于快速操纵所述数字图像的全尺寸表示的特征，所述数字图像的全尺寸表示被存储为压缩图像，该分析动作在已经选择用于观看的所述图像之后被执行，该分析动作包括生成指向所述数字图像的全尺寸表示内的数据块的至少一个指示符，接收用于请求待发送给所述显示器的第二区域的用户输入信号，该第二区域代表整个图像的一部分，通过使用从分析全尺寸图像生成的所述至少一个指示符以访问所选区域的图像数据，来从所述数字图像的全尺寸表示中检索代表所述数字图像的所述第二区域的图像数据，和向所述显示器发送检索出的代表所述第二区域的图像数据。
2、 根据权利要求1所述的方法，进一步包括在已选择出待观看的所述数字图像之后且在从所述数字图像的全尺寸表示中检索待发送给所述显示器的图像数据之前的时间点处，开始分析所述数字图像的全尺寸表示的图像数据。
3、 根据权利要求2所述的方法，进一步包括存储从所述分析得到的信息。
4、 根据权利要求1至3中任一项所述的方法，其中所述第一区域代表总的缩小尺寸的图像的子集。
5、 根据权利要求1至4中任一项所述的方法，其中所述第二区域代表所述第一区域中的对象的放大。
6、 根据权利要求1至5中任一项所述的方法，其中所述第二区域指示所述数字图像内与所述第一区域有关的不同位置处的区域。
7、 根据权利要求1至6中任一项所述的方法，其中所述数字图像的缩小尺寸的表示具有与显示视图的尺寸相比倍数为k的尺寸，所述倍数k》1。
8、 根据权利要求1所述的方法，其中指向数据块的指示符指向最小编码单元MCU的第一数据单元。
9、 根据权利要求8所述的方法，其中从分析所述图像数据得到的信息包括所述MCU中每个颜色分量的第一数据块的绝对DC系数。
10、 根据权利要求8至9中任一项所述的方法，其中存在指向每个MCU扫描线中的数据块的至少 一 个指示符。
11、 根据权利要求1至10中任一项所述的方法，其中数据块是JPEG编码图像中的数据单元。
12、 根据权利要求1至11中任一项所述的方法，其中该方法在远离所述显示器而布置的服务器中执行，并且其中检索出的代表待显示的区域的图像数据通过网络发送至所述显示器。
13、 根据权利要求1至12中任一项所述的方法，进一步包括在所显示的第一区域与所述第二区域的显示之间生成并显示动画过渡。
14、 根据权利要求1至11中任一项所述的方法，其中该方法在包括所述显示器的设备中执行。
15、 根据权利要求1至11中任一项所述的方法，其中所述数字图像的全尺寸表示和所述数字图像的缩小尺寸的表示都存储在同一设备中。
16、 根据权利要求15所述的方法，其中所述数字图像的全尺寸表示和所述数字图像的缩小尺寸的表示都存储在包括所述显示器的设备中。
全文摘要
用于改变待发送给显示器的数字图像的视图的方法。该方法包括从数字图像的在像素数目方面缩小尺寸的表示中检索代表数字图像的第一区域的图像数据，向显示器发送检索出的代表所述第一区域的图像数据，接收用于请求待发送给显示器的第二区域的用户输入信号，从数字图像的缩小尺寸的表示中检索代表数字图像的第二区域的图像数据，和向显示器发送检索出的代表所述第二区域的图像数据。
文档编号G06T3/20GK101669141SQ200880005032
公开日2010年3月10日 申请日期2008年2月15日 优先权日2007年2月16日
发明者乔安·斯滕, 萨米·尼尔米 申请人:斯卡拉多Ab公司