专利名称：连拍模式图像压缩和解压的制作方法
技术领域：
本发明涉及连拍模式图像压缩和解压。
背景技术：
连拍模式(burst mode)是许多数字相机的一个特征，可被用于在一个短时间段内捕捉(例如，用单次按钮按下)一系列静止图像。连拍模式可被用于例如捕捉主要为静态的场景中的细微变化，诸如风景中有波纹的水上反射的光的变化，或者用于捕捉高动态场景中的运动，诸如足球赛的动作镜头。在典型的连拍模式中，用单次按钮按下捕捉一系列若干个图像的能力是以对存储容量的更高的负担为代价的，这种负担是由连拍图像的乘数效应导致的。例如，在每次按钮按下捕捉一系列五个图像的连拍模式中，对一个场景拍摄十个连拍模式镜头的用户将会实际上生成50个全尺寸的图像。这种连拍模式的镜头消耗存储容量的速度将会是以每个镜头生成单个图像的模式拍摄的镜头的速度的五倍。
发明内容
描述了用于压缩、解压和显示连拍模式图像的技术和工具。此处描述的技术涉及经修改的压缩/解压以及使用连拍模式图像中的元数据来减少连拍模式图像所消耗的数据的量，以及其他潜在好处。例如，元数据(例如，图像元数据链接器(linker)字段)被添加到图像文件(例如，EXIF文件)以在连拍模式图像系列中的各图像间建立关系或链接。一系列经链接的连拍模式图像可包括增量图像(delta image)。在此处描述的示例中，增量图像表示连拍系列中在不同时刻捕捉的两个连拍图像的图像数据(例如，像素数据)之间的时间上的差异。例如，第一增量图像可表示第一连拍图像和该系列中紧随其后的第二连拍图像之间的差异。在此处描述的示例中，在图像元数据中标识出经链接的连拍模式系列的根图像(root image)(例如，用全局唯一标识符 (GUID))。对特定的经链接的连拍模式系列的根图像的标识帮助将该系列与具有不同根图像的另一系列区分开。可在压缩之前、压缩之后、或在图像数据的压缩的中间阶段将元数据添加到图像文件以链接连拍图像。元数据可被存储在具有图像格式标识符字段、根图像标识符字段以及图像索引字段的数据结构中，其中该图像格式标识符字段包括经链接的连拍模式图像格式的标识符，该根图像标识符字段包括该连拍模式图像系列的根图像的标识符，该图像索引字段包括表示该连拍模式图像系列中给定图像的索引。其他元数据也可被添加到图像文件，诸如完全图像字段、起始索引字段以及结束索引字段，其中该完全图像字段包括指示给定图像是完全图像还是增量图像的位，该起始索引字段包括表示该连拍模式图像系列的起始索引的起始索引值，该结束索引字段包括表示该连拍模式图像系列的结束索引的结束索引值。在压缩之前、压缩之后或者在图像数据的压缩的中间阶段也可以导出增量图像文件的差异信息。差异信息也可被压缩。特别而言，因为增量图像通常比完全图像消耗更少的存储，所以经链接的连拍模式图像可以减少对存储资源的需求。例如，增量图像的差异信息被计算、压缩和存储。这样的增量图像可以通过解压该差异信息并将该差异信息与来自根图像文件的图像数据相组合来重构。差异信息、链接元数据、以及根图像和增量图像的图像数据通常使用比两个连拍图像的图像数据更少的存储空间，从而这两个连拍图像的总大小可被显著减小。对于后续的增量图像来说，存储空间的总的节省甚至更大。所描述的技术还能够提供其他好处。例如，在提供设备上的图像文件的库视图的用户界面中，一系列经链接的连拍模式图像可以在该用户界面中用单一根图像(或单一根图像的缩略图版本)表示，而该连拍系列中的其他图像保持隐藏，从而为独立图像、不同连拍系列的图像、或其他信息留下更多的屏幕区域。通过与根图像交互(例如，经由触摸屏上的姿势)，用户可访问链接到该根图像的增量图像。例如，轻击根图像的缩略图版本可以导致链接到该根图像的增量图像的缩略图版本被显示，或可以导致连拍系列中的连续的重构图像的显示。参考附图阅读以下详细描述，将更清楚本发明的前述和其他目标、特征和优点。
图1是示例性数字图像处理工作流的流程图。图2是实现此处描述的连拍模式图像压缩、解压和显示技术的示例性系统的框图。图3是示例性连拍模式图像链接技术的流程图。图4是示例性的经链接的连拍模式图像的重构技术的流程图。图5是示例性的经链接的连拍模式图像压缩数据流的流程图。图6是示例性的经链接的连拍模式图像解压数据流的流程图。图7是示出示例性图像元数据链接器字段布局的图示。图8是示出连拍模式图像的各库视图的对比的图示。图9是示出用于渲染(render) —系列经链接的连拍模式图像中所选择的图像的示例性技术的流程图。图10是用于调整与经链接的连拍模式图像技术有关的参数的示例性用户界面的图示。图11是适用于实现此处描述的任何技术的示例性计算环境的框图。图12是适用于实现此处描述的任何技术的示例性云计算布置的框图。图13是适用于实现此处描述的任何技术的示例性移动设备的框图。
具体实施例方式描述了用于压缩、解压和显示连拍模式图像的技术和工具。此处描述的各示例可组合或单独使用。此处描述的技术可以用于具有软件、硬件或软件和硬件的组合以处理数字静止图像的计算机系统中，或者用于不具体局限于处理数字静止图像的某种其他系统中。I.数字成像-概览A.示例性数字成像工作流
如图1中所示，示例性数字成像工作流100包括图像捕捉110、图像文件生成120、 图像编辑130、以及图像渲染140。在图像捕捉110中，一个或多个图像被图像捕捉设备(例如，数字相机、具有数字相机功能的智能电话等)捕捉。在图像文件生成120中，捕捉的图像被保存在图像文件中。例如，图像数据(例如，像素数据)(有可能与诸如图像元数据等其他信息一起)被以压缩的或未压缩的格式存储在存储在文件中。在图像编辑130中，图像可被编辑。例如，图像编辑器可以用图像文件作为输入并且对该图像文件中的图像数据执行编辑功能。编辑后的文件版本可通过盖写旧的文件版本来保存，或者通过将编辑后的版本保存为新文件来保存。在图像渲染140中，图像信息被转换成另一种形式以用于显示。 例如，被捕捉然后根据JPEG图像压缩格式压缩过的图像可被解压并渲染以用于显示。尽管示例性工作流100示出图像捕捉110后面跟着图像生成120和图像渲染140， 然而数字成像系统可以捕捉图像而不渲染所述图像，诸如当图像被生成以进行存储或用于进一步处理但是不被显示时。数字成像系统还可以渲染图像而不捕捉图像或生成图像文件，诸如当运行图像编辑应用的设备从另一来源获取预先存在的图像文件时(例如，经由通信介质)。数字成像工作流100中的不同阶段可以由不同的设备或软件应用执行。一般而言，此处描述的数字图像可以由能够捕捉数字图像的任何设备捕捉(例如，数字静止图像相机、数字视频相机、扫描仪、或具有图像捕捉能力的多功能设备，诸如相机电话)并可以被存储在能够存储数字图像的任何介质上(例如，易失性存储器或非易失性存储器，诸如光盘或闪存)。B.示例性文件格式此处描述的数字图像可以是彩色、灰度或其他类型的图像，并且可以以用于原始的、未压缩的图像数据或压缩的图像数据的各种文件格式表示(例如，GIF、PNG、BMP、TIFF、 TIFF Float32、JPEG、JPEG XR、和/或其他格式)。例如，所描述的技术和工具能够处理诸如 JPEG等标准动态范围(SDR)格式的SDR图像，或者高动态范围表格式的高动态范围(HDR) 图像。一些图像格式是由国际标准指定的。例如，JPEG标准阐明了用于解码以JPEG格式编码的图像的解码器的要求。兼容JPEG的编码器和解码器(“编码解码器”)通常能够以良好的压缩效率提供高质量图像。可交换图像文件(“EXIF”)格式指定了图像文件的结构。EXIF文件中的图像数据可以是压缩的(例如，在JPEG格式中)。或者，EXIF文件中的图像数据可以是未压缩的 (例如，在TIFF格式中)。编写EXIF文件的设备和软件可被称为EXIF编写器。对EXIF文件编辑、删除或添加新数据的设备或软件可被称为EXIF编辑器。读取EXIF文件的设备和软件可被称为EXIF读取器。此处描述的连拍模式图像压缩技术可以结合EXIF编写器、EXIF 编辑器、EXIF读取器或某个其他工具来实现。术语“标签(tag) ”指的是可被EXIF编写器用来记录有关EXIF文件中的图像的辅助数据的数据字段。这种有关图像的辅助数据可被称为元数据。元数据是能够与定义图像本身的图像数据(例如，像素值)区分的。如此处所描述的，元数据可以与图像数据组合使用以执行不同类型的图像处理，诸如连拍模式图像压缩。许多EXIF标签是与特定图像属性(诸如快门速度、焦距等等)相关联的。其他标签不与特定图像属性相关联并且可以被用来向EXIF文件添加更加多样的元数据。例如，MakerNote是给予制造商标签的标签名，该标签名可被设备制造商用来添加专有信息，或用于其他用途。标签通常由标签名和数值标识。例如，在EXIF标准的一个版本中，MakerNote 的相应数字标签ID是37500。有关EXIF的更多信息可以在相机和成像产品协会在2010年 4月沈日建立的“用于数字静止相机的可交换图像文件格式疋^€版本2.3”中找到。II.连拍樽式图像压缩连拍模式(burst mode)是许多数字相机的一个特征，可用于在一个短时间段内捕捉(例如，用单次按钮按下)一系列静止图像。在典型的连拍模式中，用单次按钮按下捕捉一系列若干个图像的能力是以对系统资源(例如，存储容量)的更高的负担为代价的，这种负担是由连拍图像的乘数效应导致的。随着捕捉更高分辨率的图像(例如，5百万像素图像、8百万像素图像等)变得常见，连拍模式图像对存储容量的乘数效应可具有更大的影响。而且，这种对存储容量的消耗可以在不同位置重复。例如，诸如具有数字相机功能的智能电话等设备上的本地存储(例如，存储器卡、闪存存储器等)可被消耗。随后，远程存储容量可被消耗，诸如当本地捕捉的图像被上传到远程服务器(例如，在云计算布置中)、同步到个人计算机、等等时。此处描述的技术涉及经修改的压缩/解压以及使用连拍模式图像中的元数据来减少连拍模式图像所消耗的数据的量，以及其他潜在好处。在短时间段内以连拍模式捕捉的一系列图像可被称为连拍模式图像系列，或连拍系列。通常，连拍模式图像系列中的每个图像是在不同时刻处捕捉的，所述时刻可以由与该图像相关联时间戳指示。对图像文件添加或编辑元数据以建立连拍模式图像系列中的各图像之间的关系可被称为链接连拍模式图像。与已添加了这样的元数据的图像文件相对应的连拍模式图像可被称为经链接的连拍模式图像。一系列经链接的连拍模式图像可包括增量图像。在此处描述的示例中，增量图像表示连拍系列中在不同时刻处捕捉的两个连拍图像的图像数据(例如，像素数据)之间的时间上的差异。例如，第一增量图像可表示第一连拍图像和该系列中紧随其后的第二连拍图像之间的差异。或者，增量图像可表示非连续的连拍图像之间的差异。一系列经链接的连拍模式图像可包括完全图像。与增量图像不同，完全图像不表示两个连拍图像之间的差异。完全图像的一个示例是根图像。在此处描述的示例中，在图像元数据中标识出经链接的连拍模式系列的根图像(例如，用全局唯一标识符(⑶ID))。对于特定的经链接的连拍模式系列的根图像的标识帮助将该系列与具有不同根图像的另一系列区分开。在此处描述的示例中，经链接的连拍模式系列具有单一根图像并可以包括一个或多个其他完全图像和一个或多个增量图像。完全图像的另一示例是连拍模式系列中相对于另一图像的差异超出阈值的图像。或者，经链接的连拍模式系列可具有超过一个根图像或没有根图像(例如，其中链接元数据不标识根数据而是用某种其他方式链接连拍模式系列中的图像，诸如用该系列作为整体的唯一标识符)。因为增量图像通常比完全图像消耗更少的存储，所以经链接的连拍模式图像可以减少对存储资源的需要。例如，增量图像的差异信息被计算、压缩和存储。这样的增量图像可以通过解压该差异信息并将该差异信息与来自根图像文件的图像数据相组合来重构。差异信息、链接元数据、以及图像数据通常比两个连拍图像的图像数据使用更少的存储空间， 从而这两个连拍图像的总大小可被显著减少。
所描述的技术还能够提供其他好处。例如，在提供设备上的图像文件的库视图的用户界面中，一系列经链接的连拍模式图像可以在该用户界面中用根图像表示(或根图像的缩略图版本)，而该连拍系列中的其他图像保持隐藏，从而为独立图像、不同连拍系列的图像、或其他信息留下更多的屏幕区域。通过与根图像交互(例如，经由触摸屏上的姿势)， 用户可访问链接到该根图像的增量图像。例如，轻击根图像的缩略图版本可以导致链接到该根图像的增量图像的缩略图版本被显示，或可以导致连拍系列中的连续的重构图像的显
7J\ ο完全图像文件(例如，根图像文件)中的图像数据可被压缩(例如，根据诸如JPEG 等标准化的压缩格式)。这种压缩可以在图像捕捉之后立即发生，或者可以在某个其他时间发生。例如，图像数据可被捕捉并且然后当其被第一次存储在根图像文件中时被压缩。作为另一示例，图像文件可被捕捉并存储在未压缩的图像文件中，然后该未压缩的图像文件可在随后根据诸如JPEG等压缩格式被压缩。元数据可压缩之前、压缩之后、或在压缩的中间阶段(例如，在各压缩阶段之间)被添加到图像文件以链接连拍图像。在压缩之前、压缩之后或者在压缩的中间阶段(例如，在各压缩阶段之间)也可以导出增量图像文件的差异信息。例如，在包括正向频率变换、量化和熵编码的、针对根图像的压缩过程期间，根图像和非根图像之间的差异可在根图像数据和非根图像数据的量化之后、但在熵编码之前计算。差异信息也可以被压缩(例如，使用熵编码或另一编码模式)。A. 一般化的经链接的连拍模式图像系统图2是实现此处描述的一个或多个经链接的连拍模式图像技术的示例性系统200 的框图。在该示例中，计算设备205实现经链接的连拍模式图像工具220，该工具220接收图像输入210。图像输入210可包括由计算设备205捕捉的图像数据。例如，计算设备205 可以是具有板载数字相机(未示出)的智能电话，该智能电话能被用于通过用该数字相机捕捉图像数据来获取图像输入210。或者，图像输入210可以以某种其他方式获取。例如， 计算设备205可以以图像文件(例如，EXIF文件)的形式获取图像数据，其中该图像数据已由某个其他设备捕捉。一般而言，图像输入210可以是单一图像或者是一组图像并且可包括诸如与该图像相关的元数据或用户偏好数据(未示出)等其他信息。如果存在于图像输入210中，则元数据和用户偏好数据可以被包含在图像文件(例如，EXIF文件)内或分开提供。经链接的连拍模式图像工具220链接图像输入210中的文件。例如，经链接的连拍模式图像工具220创建元数据字段或将信息添加到图像文件(例如，EXIF文件)中的现有元数据字段以链接连拍模式图像。与普通连拍模式图像相比，经链接的连拍模式图像文件可减少对存储容量的要求，同时仍旧允许连拍模式图像的轻松重构和显示(例如，在显示器240上)。经链接的连拍模式图像文件可被存储在存储230中。此处更详细地描述经链接的连拍模式图像和经链接的连拍模式图像文件。在实际操作中，此处示出的诸如系统200的系统可以更复杂、具有附加功能、系统组件之间的关系更复杂等。例如，系统200可包括一个或多个压缩图像数据的编码器，从而输出压缩的数字图像信息的比特流。由该编码器执行的确切操作可以取决于压缩格式而变化。例如，编码器可根据有损压缩格式(诸如JPEG)或无损压缩格式(诸如TIFF)来压缩图像信息，并且压缩后的图像信息可被存储在EXIF文件中。在有损压缩中，原始图像数据中的一些数据丢失。因此，在有损压缩之前，对原始的、未压缩版本的图像(或者使用无损压缩的版本)进行存档可以是有用的。系统200还可包括一个或多个解码器来解压压缩后的图像数据。由该解码器执行的确切操作可以取决于压缩格式而变化。例如，兼容JPEG的解码器可以解压根据JPEG标准压缩并存储在EXIF文件中的图像信息。作为另一示例，系统200可包括预处理器，所述预处理器使用低通过滤器或其他过滤器来平滑输入的数字图像以便选择性地除去高频分量。或者，该预处理器执行其他预处理任务。系统200还可包括后处理器(post-processor)，所述后处理器对解压后的图像数据执行后处理操作。例如，该后处理器可以执行专用于减少图像伪像(诸如块伪像、带伪像、环伪像或来自去镶嵌操作的伪像)的任务。预处理操作还可包括图像大小调整、曝光或动态范围控制、色温控制以及色彩增强。预处理操作和后处理操作可以以不同方式并以不同组合执行，取决于实现和/或用户偏好。系统200内的各模块之间所示的关系指示了该系统中的一般信息流；为简明起见，未示出其它关系。取决于所需的实现和处理类型，该系统的模块可被添加、省略、分成多个模块、与其他模块组合、和/或用相似的模块来替代。一般而言，此处描述的技术通用于不同操作系统或硬件，并且可在任何类型的环境中应用以利用所描述的特征。B.用于链接和重构连拍模式图像的示例技术图3示出了用于链接连拍模式图像的示例性技术300，其中强调了在链接增量图像时执行的动作。诸如图2中示出的系统200之类的系统或其他系统执行技术300。在310，系统获取连拍模式系列中的多个图像的图像数据。例如，执行技术300的、 带数字相机功能的智能电话可以在以数字相机模式操作时捕捉图像数据。所获取的图像数据可被压缩。为了开始压缩图像数据的过程(例如，根据JPEG压缩标准)，该系统可对该图像数据执行正向频率变换(例如，离散余弦变换)以生成该图像的变换系数，然后量化该变换系数。作为另一示例，该系统可从预先存在的图像文件获取图像数据(例如，从本地设备或经由网络从位于远程地点的设备)。该系统可存储根图像元数据和表示作为根图像文件的第一图像的图像数据的信息。该根图像文件可以是EXIF文件。该根图像元数据可包括图像元数据链接器字段。该图像元数据链接器字段可以是与制造商标签(例如，MakerNote)或EXIF文件中的某个其他标签相关联的字段。表示第一图像的图像数据的信息可以根据JPEG标准被压缩并存储在DCIF文件中。或者，该根图像文件可以是包含或可被编辑以包含用于链接连拍模式图像的元数据的某种其他类型的文件。在320，该系统计算该连拍模式系列中的该第一图像和第二图像的图像数据之间的差异。例如，该系统计算在第一时刻处拍摄的第一图像的图像数据和在时间上晚于该第一图像的第二图像的图像数据之间的差异。或者，该第二图像在时间上早于该第一图像。在一种情形中，该第一图像可以是在连拍模式系列中相对于连拍模式系列中的其他图像在时间上最早的图像(例如，在数字相机设备在连拍模式时快门按钮被按下之后捕捉的第一个图像)。或者，该第一图像在该连拍模式系列中在时间上较晚。该图像数据(例如，像素数据)限定图像本身，并且不包括图像元数据。图像数据之间的差异可以以不同方式计算。例如，该系统可使用均方差(mean
9sqare difference)、差的平方和或用于确定像素值之间的差的大小的另一度量来确定像素值(例如，表示不同色彩通道的色彩值)之间的差异。或者，可以在对各自的图像数据执行正向频率变换和量化之后计算两个图像之间的差异，从而使用均方差、差的平方和或用于确定量化后的变换系数值之间的差的大小的另一度量来计算各个图像的量化后的变换系数之间的差异。在一些图像格式中，图像被布置成像素块(例如，8x8块、16x16块等)。 可以以逐个像素为基础、以逐个块为基础或以某种其他基础计算并度量差异。作为另一实例，该系统可搜索匹配的像素值或匹配的像素块并确定对图像中的运动进行建模的运动向量。差异计算的细节，诸如构成用于检测匹配的匹配和搜索模式的标准可以取决于实现而变化。例如，该系统可搜索附近像素位置处的匹配，然后逐渐扩展搜索区域(诸如以逐渐扩展的螺旋图案)来匹配(例如，在像素值的指定范围内)连拍图像中的像素或像素块。针对图像的差异度量可以与阈值相比较，且该图像可取决于该差异度量与该阈值相比如何而被不同地处理。例如，如果该差异度量小于阈值则该系统可将图像分类为增量图像，或者如果该差异度量超出该阈值则该系统可将图像分类为完全图像。取决于用于不同度量的度量，可使用不同种类的阈值。例如，该阈值可以是均方差、差的平方之和或另一度量的预定义的值。或者，该阈值值可以是依赖于图像的(例如， 取决于将该图像作为完全图像压缩的比特率)。或者，该阈值可以是不匹配的像素或像素块的数目。对像素值是否匹配的判定可以基于不同的标准。例如，该系统可查找各像素值之间的精确匹配，或者查找指定容差内的匹配(例如，在像素值范围内)。作为另一示例，该系统可查找像素块中的所有像素值之间的精确匹配，或者查找像素块中的像素值的某个百分比(例如，50%)之间的匹配。该系统还可以将图像的增量编码的总比特率与图像的完全编码的比特率相比较，然后选择哪种编码导致最低的比特率。在330，该系统将增量图像元数据和表示差异的信息存储为增量图像文件。一组一个或多个图像元数据链接器字段(例如，在图像元数据中)将第二图像链接到第一图像以便于基于表示差异的信息和第一图像的图像数据而对第二图像进行重构。该图像元数据链接器字段可包括标识(例如，用全局唯一标识符(GUID))根图像的根图像标识符字段、以及包括表示第二图像相对于第一图像在连拍模式图像系列中的索引的索引值的图像索引字段。表示该差异的信息可以是压缩的或未压缩的。该增量图像文件可以是EXIF文件。该图像元数据链接器字段可以是与制造商标签(例如，MakerNote)或EXIF文件中的某个其他标签相关联的字段。或者，该增量图像文件可以是包含或可被编辑以包含用于链接连拍模式图像的元数据的某种其他类型的文件。根图像文件可包括嵌入的数据(例如，表示该差异的信息)。嵌入的数据可便于对第二图像进行重构而不参考另一图像文件中的数据。嵌入的数据可能是有用的，例如，当期望在同一文件中具有重构增量图像的所有必需的图像数据时(例如，其中来自另一图像的图像数据在重构时不可用或可能不可用)。对于连拍模式系列中的其他增量图像，重复图3中示出的计算320和存储330动作。因此，例如，该系统可分别对连拍模式系列中的其他图像对差异的计算、差异度量的计算、与阈值的比较、以及分类进行重复。如图3中示出的动作可对不同图像并行执行。例如， 该系统存储该第二图像的增量图像元数据和差异信息，同时计算该第二图像和该连拍模式系列中的第三图像之间的差异，并且同时获取该连拍模式系列中的第四图像的图像数据。
该第一图像可基于表示该第一图像的图像数据的信息(例如，在该根图像文件中)而被重构。然后，该第二图像可基于该组图像元数据链接器字段、表示该第二图像的差异的信息、以及该第一图像的图像数据而被重构。例如，该系统可基于第二图像的图像元数据中的根图像标识符字段来标识根图像文件并从该根图像文件获取该第一图像的图像数据。然后该系统可重构该差异并将该差异与该第一图像的图像数据相组合来重构该第二图像。图4示出了用于重构经链接的连拍模式图像的示例性技术400，其中强调了在重构增量图像时执行的动作。诸如图2中示出的系统200之类的系统或其他系统执行技术 400。在410，该系统获取增量图像元数据和表示与增量图像文件的差异的信息。该差异是经链接的连拍模式图像系列中的第一图像和第二图像的图像数据之间的差异。一组一个或多个图像元数据链接器字段将该第二图像链接到该第一图像以便于基于表示该差异的信息和该第一图像的图像数据而对该第二图像进行重构。在420，该系统将表示该差异的信息与该第一图像的重构后的图像数据相组合以重构第二图像的图像数据。例如，该系统解压从增量图像文件获取的压缩后的差异信息并将其与来自根图像文件的解码后的图像数据相组合。一般而言，该系统所执行的重构技术可被调整以在压缩技术或链接技术中将差异纳入考虑。例如，如果在计算差异之前将正向频率变换和量化应用于图像数据，则该系统可在将表示该差异的信息与第一图像的重构后的图像数据相组合之后执行逆量化和逆频率变换。对于连拍模式系列中的其他增量图像，重复图4中示出的获取410和组合420动作。因此，例如，该系统可分别对该连拍模式系列中的其他图像对差异的获取以及将差异与前一图像的图像数据的组合进行重复。如图4中示出的动作可对不同图像并行执行。C.经链接的连拍模式图像压缩中的示例数据流图5是示出将连拍模式图像的链接和其他数据压缩技术(例如，JPEG压缩)相组合的系统中的数据流500的流程图。诸如图2中示出的系统200之类的系统或其他系统执行图5中示出的各功能。在图5中，该系统将分别与连拍模式图像系列中的第一、第二和第三图像相对应的图像数据510、512、514作为输入。该系统执行正向频率变换(例如，离散余弦变换)520、 522,524以从图像数据510、512、514生成变换系数，并且对各个变换系数执行量化530、 532、534。该系统对第一图像的量化后的变换系数执行熵编码550并且对第一图像执行元数据生成570。生成的元数据指示该第一图像是经链接的连拍模式图像系列中的根图像。 该根图像充当该经链接的连拍模式系列中的其他图像的参考。该系统可以以不同方式将特定连拍图像分类为根图像。例如，该系统可将连拍模式系列中首先捕捉的连拍图像分类为该系列的根图像。作为另一示例，该系统可将后来捕捉的连拍图像作为根图像(例如，五图像连拍系列中的第三个连拍图像)。或者，可以以某种其他方式将连拍图像分类为根图像 (例如，基于用户偏好信息)。所生成的元数据和熵编码后的图像数据一起存储在根图像文件590中，根图像文件590可以例如是EXIF文件。该系统执行差异计算MO以计算第一图像和第二图像的量化后的变换系数之间的差异，并且执行第二图像和第三图像的量化后的变换系数之间差异计算M2。尽管图5中未示出，然而该系统还可确定差异度量并确定(例如，基于相应的计算的差异度量和阈值之间的比较)第二图像和第三图像是增量图像而不是完全图像。该系统可对各个差异信息执行差异压缩560、562。该差异压缩可使用与根图像的图像数据的熵编码相同的熵编码，或它可以使用不同的熵编码。或者，差异压缩被省略。该系统分别为第二和第三图像执行元数据生成572、574。为第二图像生成的元数据指示该第二图像是经链接的连拍模式图像系列中的增量图像。为第二图像生成的元数据与压缩后的差异信息一起存储在增量图像文件592中，增量图像文件592例如可以是EXIF 文件。为第三图像生成的元数据指示该第三图像是经链接的连拍模式图像系列中的增量图像。为第三图像生成的元数据与压缩后的差异信息一起存储在增量图像文件594中，增量图像文件594例如可以是EXIF文件。诸如根图像的缩略图版本等其他信息也可被存储在增量图像文件中。在增量图像文件中存储根图像的缩略图版本对于在一些图像查看器中显示可以是有用的，从而可以很容易地示出该增量图像的近似。图5示出对连拍模式系列中的三个图像的压缩。或者，系统压缩连拍模式系列中的更少的图像(例如，2个)或更多的图像。而且，尽管图5示出了三个数据路径(分别针对三个图像)，然而或者该数据流包括更少的路径。例如，该数据流包括用于根图像压缩的数据路径和用于增量图像压缩的数据路径，其中该差异被添加到前一图像的缓冲的图像数据。或者，该数据流包括单一数据路径，其中从增量图像的——而不从根图像的——量化的结果中选择性地减去前一图像的缓冲的量化后的图像数据。D.经链接的连拍模式图像解压中的示例数据流图6是示例性的经链接的连拍模式图像解压数据流600的流程图。参考图6描述的技术可用于例如解压根据图5中示出的压缩数据流500压缩的连拍模式图像。诸如图2 中示出的系统200之类的系统或其他系统执行图6中示出的各功能。在图6中，系统对来自与第一连拍图像相对应的根图像文件690的元数据执行元数据分析670。该根图像文件例如可以是EXIF文件。该元数据指示该第一连拍图像是经链接的连拍模式图像系列中的根图像。该根图像充当该经链接的连拍模式系列中的其他图像的参考。该系统对来自根图像文件690的编码后的图像数据执行熵解码650。该系统分别对来自第二和第三连拍图像的增量图像文件692、694的元数据执行元数据分析672、674。增量图像文件692、694例如可以是EXIF文件。来自增量图像文件 692、694的元数据指示第二和第三图像分别是经链接的连拍模式图像系列中的增量图像。 例如，该元数据包括该经链接的连拍模式图像系列中的根图像的标识符以及各个增量图像的索引。下面更加详细地描述示例性元数据字段。系统分别对来自增量图像文件692、694的压缩后的差异信息执行解压660、662。 该差异解压可使用与根图像的图像数据的熵解码相同的熵解码，或它可以使用不同的熵解码。或者，在差异信息不被压缩时，差异信息的解压被省略。系统将解压后的差异信息与之前重构的图像数据相组合640、642。在640，该系统将来自增量图像文件692的解压后的差异信息与来自根图像文件690的解码后的图像数据相组合以重构第二连拍图像的图像数据。在642，该系统将来自增量图像文件694的解压后的差异信息与第二连拍图像的重构后的图像数据相组合以重构第三连拍图像的图像数据。该系统执行解量化(dequantiZatiOn)630、632、634以获取解量化后的变换系数，并对各个变换系数执行逆频率变换(例如，逆DCT)620、622、624。该系统输出分别与第一、 第二和第三连拍图像相对应的图像数据610、612、614。图6示出对连拍模式系列中的三个图像的解压。或者，系统解压连拍模式系列中的更少的图像(例如，2个)或更多的图像。而且，尽管图6示出了三个数据路径(分别针对三个图像)，然而或者该数据流包括更少的路径。例如，该数据流包括用于根图像解压的数据路径和用于增量图像解压的数据路径，其中该差异被添加到前一图像的缓冲的图像数据。或者，该数据流包括单一数据路径，其中前一图像的缓冲的图像数据选择性地添加到增量图像的熵解码的结果——而不添加到根图像的熵解码的结果。E.示例性图像元数据链接器字段本节描述能在EXIF文件中的图像元数据中使用的示例性链接器字段。术语“链接器字段”在此处是指可被用于链接连拍图像以将连拍图像标识为经链接的连拍图像的元数据字段。链接器字段可与图像文件中出现的其他元数据字段(诸如提供有关诸如快门速度、焦距等图像属性的信息的字段)区分开。在此处描述的示例中，EXIF MakerNote标签被用于链接连拍图像。元数据可与 MakerNote标签相结合以保留或建立各连拍图像之间时间上的关系。MakerNote是在EXIF 标准中定义的开放式ASCII字段。使用EXIF元数据来链接图像允许链接图像而不依赖文件名，文件名有可能改变和干扰链接。下面的表1示出了一组示例性图像元数据链接器字段，该字段可与MakerNote标签一起使用以链接连拍模式图像。或者，可以使用更多或更少的链接器字段。表1中还示出了每个字段中的数据的长度。或者，执行所描述的功能的链接器字段可占据不同的数据长度。
权利要求
1.一种计算机实现的方法(300)，包括获取(310)连拍模式图像系列中的多个图像的图像数据；计算(320)所述连拍模式图像系列中的所述多个图像中的第一图像的图像数据和所述连拍模式图像系列中的所述多个图像中的第二图像的图像数据之间的差异；以及将增量图像元数据和表示所述差异的信息存储(330)为图像文件，其中一组一个或多个图像元数据链接器字段将所述第二图像链接到所述第一图像以便于基于表示所述差异的所述信息和所述第一图像的所述图像数据对所述第二图像进行重构。
2.如权利要求1所述的方法，其特征在于，还包括使用表示所述第一图像的所述图像数据的信息来重构所述第一图像；以及基于所述一组一个或多个图像元数据链接器字段、表示所述差异的所述信息以及所述第一图像的所述图像数据来重构所述第二图像，其中所述一组一个或多个图像元数据链接器字段包括根图像标识符字段；以及图像索引字段，包括表示所述第二图像相对于所述第一图像在所述连拍模式图像系列中的索引的索引值。
3.如权利要求1所述的方法，其特征在于，具有所述增量图像元数据的所述图像文件是增量图像文件，所述方法还包括将根图像元数据和表示所述第一图像的所述图像数据的信息存储为与所述增量图像文件分开的根图像文件。
4.如权利要求3所述的方法，其特征在于，所述根图像元数据包括第二组一个或多个图像元数据链接器字段，包括根图像标识符字段；图像索引字段，包括表示所述第一图像在所述连拍模式图像系列中的索引的索引值。
5.如权利要求1所述的方法，其特征在于，还包括在存储所述增量图像元数据和表示所述差异的所述信息之前将针对所述差异的差异度量与阈值相比较；以及基于所述比较将所述第二图像分类为增量图像。
6.如权利要求5所述的方法，其特征在于，还包括计算所述第二图像的所述图像数据和所述连拍模式图像系列中的所述多个图像中的第三图像的图像数据之间的新差异；将针对所述新差异的差异度量与所述阈值相比较；基于针对所述新差异的所述差异度量与所述阈值的所述比较而将所述第三图像分类为增量图像；以及将表示所述新差异的信息存储为所述第三图像的增量图像文件。
7.如权利要求5所述的方法，其特征在于，还包括计算所述第二图像的所述图像数据和所述连拍模式图像系列中的所述多个图像中的第三图像的图像数据之间的新差异；将针对所述新差异的差异度量与所述阈值相比较；基于针对所述新差异的所述差异度量与所述阈值的所述比较而将所述第三图像分类为完全图像；以及将表示所述第三图像的所述图像数据的信息存储为完全图像文件。
8.如权利要求1所述的方法，其特征在于，还包括在所述获取之后，针对所述连拍模式图像系列中的所述多个图像的每个图像对所述图像的图像数据执行正向频率变换以生成所述图像的变换系数；以及量化所述图像的所述变换系数；其中所述计算所述差异是在分别对所述第一和第二图像的所述量化后的变换系数之间、在所述量化之后执行的。
9.一个或多个其上存储有数据结构(720)的计算机可读存储介质(1320)，所述数据结构(720)包括连拍模式图像系列中的一个或多个图像的元数据，所述数据结构包括包括经链接的连拍模式图像格式的标识符的图像格式标识符字段； 包括所述连拍模式图像系列的根图像的标识符的根图像标识符字段；以及包括表示给定图像在所述连拍模式图像系列中的索引的索引值的图像索引字段。
10.如权利要求9所述的计算机可读存储介质，其特征在于，所述图像索引字段指示所述给定图像是所述根图像，且所述数据结构还包括包括表示所述连拍模式图像系列的起始索引的起始索引值的起始索引字段；以及包括表示所述连拍模式图像系列的结束索引的结束索引值的结束索引字段。
全文摘要
本发明涉及连拍模式图像压缩和解压。经修改的压缩/解压和连拍模式图像中的元数据减少了连拍模式图像所消耗的存储空间。元数据被添加到图像文件(例如，EXIF文件)以建立连拍模式图像系列中的各图像之间的链接。一系列经链接的连拍模式图像可包括表示在不同时刻捕捉的两个连拍图像的图像数据(例如，像素数据)之间的时间上的差异的增量图像。差异信息可被压缩。经链接的连拍模式系列的根图像可被标识并可被用作其他连拍图像的参考。元数据能够在压缩之前、压缩之后、或在图像数据的压缩的中间阶段被添加到图像文件以链接连拍图像。在压缩之前、压缩之后或者在图像数据的压缩的中间阶段可以导出增量图像文件的差异信息。
文档编号G06F17/30GK102521235SQ20111035594
公开日2012年6月27日 申请日期2011年10月27日 优先权日2010年10月28日
发明者C·卡旺德, P·米科瓦伊奇克 申请人:微软公司