专利名称：用于形成图像的方法
技术领域：
本发明性原理总体上涉及数字图像处理领域，以及具体地，涉及用于形成图像的方法。本发明性原理还涉及配置用于实现该用于形成图像的方法的数字相机。
背景技术：
用户友好且功能强大的数字相机的可用性使得拍照较之于以前更加流行和广泛。所捕获图像的数字图像格式允许专业用户和个人用户二者均可以使用例如计算机软件或相机内功能来执行复杂的编辑和操纵，以及由此产生在拍照的模拟时代期间难以或不能实现的图像。同时，越来越少见地实际冲洗(即，打印)图像。随着显示技术变得更加便宜和更加高级，现今，图像越来越多地显示在屏幕(例如，电视屏幕、计算机屏幕、诸如移动电话、便携式媒体播放器、便携式游戏设备等的便携式设备的屏幕)上并在其上进行观看。在显示图像方面，屏幕相比于传统冲洗而言显得更加多样，以及由此支持以全新的方式显示和查看图像内容，例如，查看“三维”图像。还支持观看者例如通过缩放图像、在图像内平移等来与图像进行交互。用于呈现图像内容的这些新方式产生了形成和捕获这种更全面利用当前显示技术的多样性的图像的新方式的需求。更具体地，需要在无需专门和昂贵的相机设备的情况下、形成图像的新方式。
发明内容
本发明性原理的目标由此是提供形成图像的新方式。另一目标在于支持形成图像，该形成可以利用与传统方式不同的其他方式实现。又一目标在于支持形成这种图像，而无需专门的和昂贵的设备。根据本发明性原理的第一方面，提供了一种用于形成图像的方法，包括:提供多个图像，每个图像包括第一图像部分和第二图像部分，以及每个图像描绘相应的局部视图，其中在成对的连续图像中描绘的局部视图之间存在重叠，根据第一图像部分形成第一组合图像，其中第一组合图像描绘第一连续视图，以及根据第二图像部分形成第二组合图像，其中第二组合图像描绘第二连续视图，其中第一和第二连续视图重叠。利用本发明性方法，可以形成第一组合图像和第二组合图像，每个描绘第一和第二连续视图(但是沿不同视线)之间重叠的区域。结果，第一和第二组合图像可以呈现可感知的视差效果。由此可以以立体图片方式呈现第一和第二组合图像。第一组合图像可以例如呈现给观看者的右眼，第二组合图像可以呈现给观看者的左眼，其中观看者可以具有这样的体验，仿佛显示的单个图像具有景深维度，即，立体效果。此体验的或感知的单个图像可以称为“三维”图像。而且，本发明性方法支持根据描绘重叠的局部视图的多个图像来形成这种组合图像。该多个图像例如可以借助于具有单个镜头的数字相机捕获。相机例如可以简单地在视野上平移或扫视，其中，可以在视野中捕获多个图像。组合图像的后续形成可以在相机中执行，或者在图像已下载至计算机之后，在计算机上执行。因此，不需要用于创建“三维”图像的专门或昂贵的设备。此外，由于第一和第二组合图像的每个形成自多个图像的图像部分，该方法支持创建全景三维图像，该图像呈现超过例如相机镜头的有限视场所设置的限制的查看角度。根据一个实施方式，沿着水平方向对准局部视图。相邻的局部视图可以在水平方向呈现至少50%的重叠，即，相邻的局部视图可以呈现至少50%的水平重叠。根据备选实施方式，沿竖直方向对准局部视图。根据一个实施方式，每个提供的图像包括第三图像部分，其中第一、第二和第三图像部分不交叠。根据此实施方式，第一、第二和第三图像部分彼此不重叠。第三图像部分可以代表所捕获图像中位于第一和第二图像部分之间的部分。该方法由此可以仅利用每个提供的图像的数据子集来生成组合图像。作为一个示例，每个提供的图像的第三图像部分可以在形成第一和第二组合图像期间被忽略。作为另一示例，在形成第一和第二组合图像之前，可以丢弃每个提供的图像的第三图像部分。这样使得可以减少在本发明性方法执行期间需要存储和处理的数据量。第一图像部分可以是左侧图像部分。第二图像部分可以是右侧图像部分。第三图像部分可以位于左侧图像部分和右侧图像部分之间。根据一个实施方式，每个图像的第一和第二图像部分一起覆盖整个图像。这使得可以支持该方法的特定简单实现，因为所捕获的图像可以简单地划分为可进一步处理的两部分。尤其是，两个部分的每个可以构成图像的一半。根据一个实施方式，该方法进一步包括形成第一组合图像和第二组合图像，使得第一连续视图的描绘在重叠区域内对应于第二连续视图的描绘。这以对应方式简化了第一和第二组合图像的形成，即，使得例如以类似方式在第一和第二组合图像中描绘第一和第二连续视图二者中均可见的对象或对象组。由此，减小了以不同方式形成第一和第二组合图像的风险。该方法可以例如包括:针对至少一对连续图像，确定该多个提供的图像的第一图像与该多个提供的图像的第二图像之间的空间关系，第一和第二图像是成对的连续图像。可以在形成第一和第二组合图像之前确定空间关系。形成第一组合图像继而可以包括:根据空间关系，将第一图像的第一图像部分与第二图像的第一图像部分进行组合。此外，形成第二组合图像可以包括:根据确定的空间关系，将第一图像的第二图像部分与第二图像的第二图像部分进行组合。此过程可以针对多个所提供图像中每对连续图像进行重复。此方法提供了用于获取具有足够的共识度的第一和第二组合图像的、在计算上高效的方法。有利地，通过分析第一和第二图像的区域来确定第一和第二图像之间的空间关系，其中该区域大于第二图像和第一图像的第一图像部分以及第二图像和第一图像的第二图像部分。由此，空间关系可以反映图像之间的全局关系，以替代遵从图像部分内的局部特征。由此，可以使用确定的空间关系、以统一方式计算组合图像中图像部分的像素位置。备选地，该方法可以包括:响应于形成第一组合图像，通过分析第一组合图像与第二图像部分的至少一个子集之间的关系，确定针对第二图像部分的对准数据，以及通过基于对准数据组合第二图像部分来形成第二组合图像。第二组合图像由此使用对准数据形成。备选地，该方法可以包括:在形成第一和第二组合图像之前，根据提供的图像形成第三组合图像，通过分析第三组合图像和第一图像部分的至少一个子集之间的关系来确定针对第一图像部分的第一对准数据，通过分析第三组合图像和第二图像部分的至少一个子集之间的关系来确定针对第二图像部分的第二对准数据，通过基于(即，使用)第一对准数据组合第一图像部分来形成第一组合图像，以及通过基于(即，使用)第二对准数据组合第二图像部分来形成第二组合图像。备选地，该方法可以包括:通过分析第一图像部分的至少一个子集与第二图像部分的至少一个子集之间的关系，确定针对第一图像部分和第二图像部分的对准数据，通过基于(即，使用)对准数据组合第一图像部分来形成第一组合图像，以及通过基于(即，使用)对准数据组合第二图像部分来形成第二组合图像。根据一个实施方式，该方法进一步包括:确定第一组合图像和第二组合图像之间的关系，以及生成用于将在第一组合图像中描绘的第一连续视图与在第二组合图像中描绘的第二连续视图对准的数据。此对准数据支持在向观看者呈现组合图像时、要实现的组合图像之间的准确对准，其中可以向观看者提供逼真的三维效果。根据一个实施方式，该方法进一步包括:基于用于对准的数据，修剪第一组合图像和第二组合图像，使得其相应的描绘的连续视图对准。这支持形成第一和第二组合图像，使得其呈现相同维度。这简化了三维图像的透视呈现。根据一个实施方式，该方法进一步包括:基于第一组合图像和第二组合图像形成图像对象。由此形成的图像对象因此可以包括呈现三维图像所需的所有信息。根据一个实施方式，通过将第一组合图像的表征与第二组合图像的表征相加(例如，通过混合)来形成图像对象。第一组合图像的表征例如可以是着绿色的第一组合图像的表征，以及第二组合图像的表征可以是着红色的第二组合图像的表征。由此，可以方便地将图像对象呈现在计算机屏幕上或冲洗出来，其中观看者可以通过包括两个不同颜色滤镜(在此情况中，分别为红色和绿色)的“三维眼镜”来查看该图像对象。根据一个实施方式，所提供图像的每个图像以压缩格式提供，该压缩格式包括可变长度编码(例如，Huffman编码)码字的流，流代表顺序图像块。通过压缩所捕获的图像，可以减少存储器占用。根据一个实施方式，该方法进一步包括生成针对这些码字的至少某些码字的指示符，其中指示符指示图像块的至少一个子集的至少一个DC系数的位置。指示符支持对所捕获图像的计算高效处理和操纵，而无需对整个压缩比特流进行解码。例如，可以使用指示符来形成第一和第二组合图像。根据一个实施方式，提供多个图像包括借助于数字相机来捕获多个图像。根据一个实施方式，所提供的图像是从不同位置捕获的。不同位置可以沿曲线路径分布。路径例如可以形成弧。不同位置可以是数字相机的不同位置。根据一个实施方式，该方法进一步包括执行第一和第二组合图像的投影校正。这可以恢复第一和第二组合图像内以及之间的比例，这些比例可能由于数字相机的例如平移移动已经失真。
根据一个实施方式，该方法可以进一步包括:在形成第一和第二组合图像之前，执行图像部分的投影校正。除了上述优势之外，这可以简化第一和第二组合图像的形成，因为可以以更精确的方式将图像部分组合在一起。投影校正可以例如包括圆柱投影。这可以增加用户的便利性，因为该方法不会针对用户可以如何在图像捕获之间移动相机施加任何繁琐的限制。此外，通过使图像(例如，图像部分或组合图像)经历投影校正，可以实现更逼真的三维效果。根据一个实施方式，该方法可以实现在数字相机中。根据第二方面，提供了一种用于形成图像的方法，包括:提供多个图像，每个图像描绘相应的视图，其中在成对的连续图像中描绘的视图之间存在重叠，以及其中相应的描绘的视图一起定义连续视图，确定连续视图的局部视图，根据所提供图像的第一子集中每个图像的第一图像部分形成表征该局部视图的
第一组合图像，根据所提供图像的第二子集中每个图像的第二图像部分形成表征该局部视图的
第二组合图像。利用本发明性方法，可以获取第一组合图像和第二组合图像，其中第一组合图像描绘从第一位置观看的该局部视图的表征，以及第二组合图像描绘从第二位置观看的该局部视图的表征，其中第二位置不同于第一位置。由此，连续查看第一和第二组合图像的观看者可以体验来自不同方向的局部视图的顺序显示。在该连续中，距相机不同距离处的所描绘对象可以呈现为以不同比率转化。这可以针对观看者创建景深感。该方法因此可以用于创建和显示观感逼真的图像，其具有来自多个所提供图像的可感知景深。此外，通过使用多个所提供图像的部分来形成组合图像，该方法支持产生全景图像序列，其中每个图像呈现超出由例如相机镜头的有限视场所设置的限制的观看角度。根据一个实施方式，第一图像集合包括未包括在第二图像集合中的至少一个图像。根据一个实施方式，第一图像集合和第二图像集合包括至少一个公共图像。根据一个实施方式，第一图像部分和第二图像部分是该至少一个公共图像的不同部分。根据一个实施方式，第一图像部分在其相应图像中的相对位置是对应的，以及第二图像部分在其相应图像中的相对位置是对应的。根据一个实施方式，该方法进一步包括:根据所提供图像的第三子集中每个图像的第三图像部分形成表征该局部视图的第三组合图像。第三组合图像可以描绘从第三位置查看的该局部视图的表征，该第三位置不同于第一和第二位置。通过扩展该方法以形成其他组合图像，可以从其他方向显示该局部视图。根据一个实施方式，该方法进一步包括:在显示器上显示第一组合图像，以及响应于第一用户输入，显示第二组合图像，以及响应于第二用户输入，显示第三组合图像。这使得用户从不同方向交互地“探索”该局部视图。根据一个实施方式，该方法进一步包括:提供包括组合图像的图像序列。该图像序列可以存储为例如动画序列或幻灯片演示，以方便对该局部视图的表征的回放。备选地，图像序列可以包括指示应当将哪些图像部分用于形成每个组合图像的参数和指示可以以何种顺序显示所形成的组合图像的参数。图像序列由此可被读取，其中组合图像可以实时形成以及顺序显示。根据一个实施方式，局部视图沿水平方向对准。相邻的局部视图可以在水平方向中呈现至少50%重叠，即，相邻的局部视图可以呈现至少50%的水平重叠。根据备选实施方式，局部视图沿竖直方向对准。根据一个实施方式，该方法进一步包括:形成第一组合图像和第二组合图像，使得第一组合图像对该局部视图的表征对应于第二组合图像对该局部视图的表征。这以对应方式简化了第一和第二组合图像的形成，即，使得例如以类似方式在第一和第二组合图像中描绘该局部视图的第一和第二表征二者中均可见的对象或对象组。由此，减小了以不同方式形成第一和第二组合图像的风险。该方法可以例如包括:响应于形成第一组合图像，通过分析第一组合图像与第二图像部分的至少一个子集之间的关系，确定针对第二图像部分的对准数据，以及通过基于(即，使用)对准数据组合第二图像部分来形成第二组合图像。备选地，该方法可以包括:在形成第一和第二组合图像之前，根据提供的图像形成第四组合图像，通过分析第四组合图像和第一图像部分的至少一个子集之间的关系，确定针对第一图像部分的第一对准数据，通过分析第四组合图像和第二图像部分的至少一个子集之间的关系，确定针对第二图像部分的第二对准数据，通过基于(即，使用)第一对准数据组合第一图像部分来形成所述第一组合图像，以及通过基于(即，使用)第二对准数据组合第二图像部分来形成第二组合图像。备选地，该方法可以包括:确定该多个提供的图像的第一图像与该多个提供的图像的第二图像之间的空间关系，第一和第二图像是成对的连续图像。可以在形成第一和第二组合图像之前确定空间关系。继而，形成第一组合图像可以包括:根据空间关系，将第一图像的第一图像部分与第二图像的第一图像部分进行组合。此外，形成第二组合图像可以包括:根据确定的空间关系，将第一图像的第二图像部分与第二图像的第二图像部分进行组合。此过程可以针对多个所提供的图像中每对连续图像进行重复。此方法提供了用于获取具有足够的共识度的第一和第二组合图像的、在计算上高效的方法。有利地，通过分析第一和第二图像的区域来确定第一和第二图像之间的空间关系，其中该区域大于第二图像和第一图像的第一图像部分以及第二图像和第一图像的第二图像部分。由此，空间关系可以反映图像之间的全局关系，以替代遵从图像部分内的局部特征。由此，可以使用确定的空间关系、以统一方式计算组合图像中图像部分的像素位置。备选地，该方法可以包括:通过分析所捕获图像的第二图像部分，确定针对一对第一图像部分的对准数据，该一对第一图像部分描绘一对相邻的视图部分，其中第二图像部分描绘与该一对相邻的视图部分部分重叠的视图部分，通过基于(即，使用)对准数据组合第一图像部分来形成第一组合图像，以及通过基于(即，使用)对准数据组合第二图像部分来形成第二组合图像。根据一个实施方式，所提供的图像的每个图像以压缩格式提供，该压缩格式包括可变长度编码(例如，Huffman编码)码字的流，流代表顺序图像块。通过压缩所捕获的图像，可以减少存储器占用。
根据一个实施方式，该方法进一步包括生成针对这些码字的至少某些码字的指示符，其中指示符指示图像块的至少一个子集的至少一个DC系数的位置。指示符支持对所捕获图像的计算上高效的处理和操纵，而无需对整个压缩比特流进行解码。例如，可以使用指示符来形成第一和第二组合图像。根据一个实施方式，提供该多个图像包括借助于数字相机捕获该多个图像。根据一个实施方式，所提供的图像是从不同位置捕获的。不同位置可以沿曲线路径分布。路径例如可以形成弧。不同位置可以是数字相机的不同位置。根据一个实施方式，该方法进一步包括执行组合图像的投影校正。这可以恢复例如第一和第二组合图像内以及之间的比例，这些比例可能由于数字相机的平移移动已经失真。根据一个实施方式，该方法可以进一步包括:在形成组合图像之前，执行图像部分的投影校正。除了上述优势之外，这可以简化组合图像的形成，因为可以以更精确的方式将图像部分组合在一起。投影校正可以例如包括圆柱投影。这可以增加用户的便利性，因为该方法不会针对用户如何在图像捕获之间移动相机施加任何繁琐的限制。此外，通过使图像(例如，图像部分或组合图像)经历投影校正，可以实现更逼真的三维效果。根据一个实施方式，该方法可以实现在数字相机中。本发明性原理的其他方面、目的、特征和优势将从下述详细公开、所附权利要求和附图变得显然。通常，在权利要求中使用的所有术语将根据技术领域中该术语的通常含义进行解释，除非在此处以其他方式明确定义。对“一 / 一个/该[元件、设备、部件、装置、步骤等]”的所有参考开放地解释为涉及元件、设备、部件、装置、步骤等的至少一个实例，除非以其他方式明确说明。此处公开的任何方法的步骤不需要以所公开的确切顺序执行，除非明确说明。
现在，将参考附图来更详细地描述本发明性原理的实施方式和方面，其中:图1示意性地示出了用于实现根据本发明性原理的诸多方面的方法的相机。图2示意性地示出了由相机捕获的多个图像，每个图像描绘完整视图的一部分。图3-图5示出了根据第一方面的第一实施方式的方法。图6-图8示出了根据第一方面的第二实施方式的方法。图9a_9c和图10示出了根据第二方面的第一实施方式的方法。图1la-1le示出了根据第二方面的第二实施方式的方法。图12示出了根据第三方面的实施方式的方法。
具体实施例方式在下文中，将参考图1所示的数字相机I来描述根据本发明性原理的各种方面的、形成图像的方法。数字相机I可以是例如小型致相机、自动相机、数字SLR相机或具有静态相机功能性的摄像机(例如，录像机)等。数字相机也可以并入移动电话、PDA或某些其他计算设备中。相机I包括处理器2 (例如，微处理器)、存储器部分3和允许用户控制相机I的输入装置4。相机I进一步包括取景器(为了清楚，未示出)。取景器可以是光学取景器。取景器可以形成相机I的显示器的一部分。显示器可以是触屏，其中输入装置可以形成显示器的一部分。相机I进一步包括图像传感器6 (例如，CXD或CMOS传感器)和镜头8。图像传感器6可以连接至关联数据缓冲器或高速缓存存储器，用于允许在初始图像处理阶段期间、临时存储并传输涉及所捕获图像的数据。存储器部分3包括程序部分，其存储用于实现将在下文详细描述的任何方法的软件指令。处理器2配置用于执行软件指令。备选地，方法可以借助于其他装置(例如，在ASIC中、FPGA中或其他专用电路)来实现和执行。存储器部分3进一步包括数据部分，其存储所捕获的图像以用于查看和进一步处理。相机I可以进一步包括用于感测相机I的移动和方向的装置，例如，指南针、陀螺仪、加速度计(为了清楚，未示出)。现在，将参考图2-图5来描述根据本发明性原理第一方面第一实施方式的、用于捕获图像的方法。在下文中，“捕获”图像将被理解为这样的过程，在该过程期间，相机I记录在适当信号处理之后、由入射在相机I的图像传感器6上的光生成的电信号，除非以其他方式明确描述。根据该方法，由相机I捕获多个图像10。图2a_2c分别示出了该多个图像10中的三个图像12、14和16的捕获。如图2所示，多个图像10的每个图像描绘了完整视图的一部分，即，局部视图。在图2a-2c中，利用虚线示出了示例性完整视图。局部视图沿水平方向对准。图像12、14、16可以从沿着曲线路径的点来捕获。例如，用户可以利用在其面前延伸的臂、跨全景来平移相机。为了辅助理解该方法，图像10的帧与其描绘的局部视图关联地示出。如图2所示，在成对的连续捕获图像中描绘的局部视图之间存在重叠。S卩，图像12中描绘的局部视图与图像14中描绘的局部视图重叠。类似地，图像14中描绘的局部视图与图像16中描绘的局部视图重叠。换言之，在相邻的局部视图中存在重叠。在下文中，在两个视图之间存在重叠暗示着在第一视图内的特征(或特征的一部分)在第二视图中也可见，尽管处于不同的查看角度。结果，描绘第一视图的图像和描绘第二视图的图像都将包括这两个视图内的特征的表征。在此方面，这两个图像可以称为重叠图像。图像10可以手动捕获。用户可以将相机I朝向第一局部视图并且按压相机I的捕获按钮以捕获第一图像12。相机I继而可以允许用户将相机I朝向第二局部视图并且按压捕获按钮以捕获第二图像14。可以进行类似的过程，以捕获其他图像。备选地，图像10可以自动捕获。用户可以在相机自动捕获图像10时、简单地在景象上平移相机。相机I可以配置用于在由某个时间间隔(例如，0.1秒，0.5秒，I秒等)分隔的时间、重复地捕获图像。相机I可以配置用于追踪相机I的位置和方向，以及在预设移动之后捕获图像。相机I可以配置用于捕获临时图像(例如，用于显示在数字取景器中的图像)并分析之前捕获的图像和当前临时图像之间的关系，以及当该方向被视为适宜用于根据所捕获图像来形成组合图像时、自动地捕获其他图像。无论图像是手动捕获还是自动捕获的，该方法可以继续将每个图像10划分为第一图像部分和第二图像部分。这在图3中针对图像12示出为包括第一图像部分12a和第二图像部分12b。第一图像部分12a位于第二图像部分12b左侧。第二图像部分12b位于第一图像部分12a右侧。第一和第二图像部分12a和12b不交叠，即，它们不重叠。第一图像部分IOa在图像10内的相对位置是相同的。第二图像部分IOb在图像10内的相对位置也是相同的。此划分的结果在图4中针对所有图像10在概念上可见，其中第一图像部分IOa被示出为未填充，而第二图像部分IOb被示出为带有阴影。在图4中(以及进一步地在图5中)，图像10被示出为针对彼此水平偏移。水平偏移对应于由图像10描绘的局部视图之间的关系和重叠。图像10还示出为针对彼此在竖直方向稍许偏移。然而，此竖直偏移仅是为了简化对该方法的理解、出于可视化目的呈现的。在图3和图4中，每个图像部分构成图像的一半。第一图像部分12a和第二图像部分12b由此呈现出相同宽度，即，它们包括相同数量的像素列。然而，本发明性原理不限于此配置；第一图像部分12a可以包括较之于第二图像部分12b更多的像素列，或者反之亦然。在图4中，所有成对的相邻局部视图之间的重叠量是统一的。然而，本发明性原理不限于这种配置。相反，在所描绘的成对的相邻局部视图之间可以存在不同的重叠。第一图像部分IOa的每一个描绘了在图像10中描绘的局部视图的一部分。根据本实施方式，每对相邻的局部视图重叠至这种程度，即，在每对连续捕获图像的第一图像部分中描绘的视图部分也呈现重叠。第一图像部分IOa由此可以组合，使得它们描绘第一单个连续视图。相应地，第二图像部分IOb可以组合，使得它们描绘第二单个连续视图。根据该方法，第一组合图像24形成自第一图像部分10a。第一图像部分IOa可被分析，以便在图像部分IOa中识别对应的特征，并且可以缝合在一起，以便形成第一组合图像24。对应的特征可以借助于图像分析、使用本身是本领域公知的技术、在空间域中或者在频域中进行识别。备选地，图像部分IOa可以混合在一起。第二组合图像26可以以对应的方式形成自第二图像部分10b。更详细地，第一组合图像24可以按照如下方式形成:图像10的第一图像的第一图像部分12a与图像10的第二图像的第一图像部分12a进行比较，以便确定两个图像部分之间的对准。继而，将这两个图像部分进行组合以形成第一临时组合图像。继而，将第一临时组合图像与图像10的第三图像的第一图像部分12a进行比较，以便确定第一临时组合图像与该图像部分之间的对准。继而，将第一临时组合图像与该图像部分进行组合，以形成第二临时组合图像。此过程可以重复，直至所有捕获图像的第一图像部分IOa已组合完毕。可以针对第二图像部分IOb执行类似过程。由此形成的第一和第二组合图像24、26分别描绘了完整视图的第一连续视图部分和完整视图的第二连续视图部分。如图5所示，第一连续视图和第二连续视图重叠。换言之，此重叠区域在第一和第二组合图像24、26 二者中进行描绘，尽管沿着不同的视线。结果，在第一和第二组合图像24、26的描绘该重叠区域的诸部分之间、可以存在可感知的视差效果。在组合图像24、26的形成期间，图像部分IOa和IOb可以进行修剪，使得诸图像部分的上竖直边缘对准并且诸图像部分的下竖直边缘对准。如果在图像10中描绘的诸多局部视图的任何视图在竖直方向中超过了其他局部视图，则这可以是有利的。
组合图像24和26可以进一步经历透视校正。在已从沿着弧的点捕获了图像10的情况下，圆柱投影可能尤其有效。备选地，图像部分10a、10b可以在形成组合图像24、26之前经历透视校正。该方法可以在形成第一组合图像24中描绘重叠区域的那部分期间、给予在最右侧捕获的图像的第一图像部分以优先权。相应地，该方法可以在形成第二组合图像26中描绘重叠区域的那部分期间、给予在最左侧捕获的图像的第二图像部分以优先权。在该处捕获这些图像部分的相机位置具有最大的分隔。通过向图像部分22a和12b给予优先权，由此可以将第一和第二组合图像24、26之间的视差效果最大化。如将从图4-图5理解到的，捕获的图像10可以包括冗余图像信息。例如，在第一图像部分IOa中描绘的多个视图之间存在重叠。在形成第一组合图像24期间，可以使用最适宜形成组合图像24的第一图像部分(例如，呈现最佳整体清晰度、最佳曝光率、最适宜重叠等的图像部分)。也可以使用冗余图像信息来改进第一组合图像24的质量。例如，可以组合第一图像部分10a，以便降低图像噪音和运动模糊，或者增大图像的动态范围。第一组合图像24和第二组合图像26可以以立体照片呈现给观看者。通过向观看者的右眼呈现第一组合图像24以及向观看者的左眼呈现第二组合图像26，观看者可以具有仿佛向自己呈现了具有纵深维度的单个图像的体验。此呈现可以利用多个不同方式实现:例如，第一组合图像24和第二组合图像26的每一个可以借助相应的图片投影仪、以不同的偏振光投影在屏幕上。组合图像24、26可以投影在彼此上面。由此，佩戴了 “三维眼镜”的观看者可以体验三维效果，该“三维眼镜”包括作为右镜片传输第一图像通道的一个偏振镜和作为左镜片传输第二图像通道的一个偏振镜。备选地，组合图像24、26可以着不同颜色，例如，红色和绿色，以及投影在屏幕上。由此，佩戴了 “彩色三维眼镜”的观看者可以体验三维效果，该眼镜包括作为右镜片的红色滤光器和作为左镜片的绿色滤光器(或反之亦然)。也可以使用第一组合图像24和第二组合图像26来生成图像对象。可以通过识别图像24、26中的至少一个对应特征来确定第一组合图像24和第二组合图像之间的对准。基于所确定的对准，第一和第二组合图像24、26可以被裁剪，使得其相应的所描绘视图部分对准。继而，可以通过将第一组合图像24的表征和第二组合图像26的表征相加在一起来生成图像对象。第一组合图像24的表征例如可以是着绿色的第一组合图像24的表征，以及第二组合图像26的表征可以是着红色的第二组合图像26的表征。这种图像对象可以通过上述“彩色三维眼镜”显示在相机I的屏幕上，或者某些其他屏幕上，例如，计算机屏幕，或电视屏幕等，以及在其上进行观看。图像对象可以例如存储为标准图像文件，诸如JPEG或TIFF。备选地，第一和第二组合图像可以存储为立体JPEG (B卩，JPS)。第一和第二组合图像24、26的形成在本质上可以有些随机。因此，第一图像部分IOa可利用与第二图像部分IOb稍许不同的方式进行组合。形成组合图像24和26时的这种误差可能导致第一组合图像24中特征之间的比例和距离可能不同于第二组合图像26中对应特征之间的比例和距离。这可能破坏组合图像24和26之间的关系。这可能进一步导致形成的第一和第二组合图像24、26具有不同宽度。这可能尤其导致组合图像中描绘第一和第二连续视图之间重叠区域的各部分出现问题。此问题可以通过形成第一组合图像和第二组合图像，使得第一连续视图的描绘在重叠区域内对应于第二连续视图的描绘而减小。更详细地，这可以通过下述实现:减小此问题的第一对准技术在于首先以上述方式形成第一组合图像24。一旦已经形成了第一组合图像24，则其可以用来确定可以如何组合第二图像部分10b。第二图像部分可以与第一组合图像24进行比较(例如，使用现有技术的图像分析技术)，以便识别此第二图像部分和第一组合图像24共有的特征(例如，边缘、对象等)。此过程可以针对其他第二图像部分进行重复。第一组合图像24中的已识别特征之间的距离(例如，以像素计)可以用作用以形成第二组合图像26的对准数据。更具体地，可以组合(例如，混合在一起或者缝合)第二图像部分10b，以形成第二组合图像26，使得第二组合图像26中的已识别特征之间的距离与第一组合图像24中对应特征之间的距离对应。可能足以确定第二图像部分IOb的子集与第一组合图像24之间的关系。例如，不需要分析未描绘重叠区域内任何部分的第二图像部分(例如，在最左侧相机位置处捕获的图像的第一图像部分和在最右侧相机位置处捕获的图像的第二图像部分)。减小上述问题的第二对准技术在于根据所捕获的图像10形成第三组合图像(例如，借助于上述的缝合或混合)。一旦已经形成了第三组合图像，则其可以用来确定可以如何组合第一图像部分10a。可以将第一图像部分与第三组合图像进行比较(例如，使用现有技术的图像分析技术)，以便识别此第一图像部分和第三组合图像共有的特征(例如，边缘、对象等)。此过程可以针对其他第一图像部分重复。第三组合图像中已识别特征之间的距离(例如，以像素计)可以用作用于形成第一组合图像26的对准数据。更具体地，第一图像部分IOa可以进行组合(例如，混合在一起或缝合)以形成第一组合图像24，使得第一组合图像24中已识别特征之间的距离对应于第三组合图像中对应特征之间的距离。此过程可以针对第二图像部分IOb重复。可能足以确定图像部分10a、10b的子集与第三组合图像之间的关系。例如，不需要分析未描绘重叠区域内任何部分的图像部分(例如，在最左侧相机位置处捕获的图像的第一图像部分和在最右侧相机位置处捕获的图像的第二图像部分)。减小上述问题的第三对准技术在于分析第一图像部分IOa的至少一个子集与第二图像部分IOb的至少一个子集之间的关系。更具体地，第一图像部分可以与第二图像部分IOb的至少某些部分进行比较(例如，使用现有技术图像分析技术)，以便识别此第一图像部分和第二图像部分IOb中的至少一个第二图像部分所共有的特征(例如，边缘、对象等)。此过程可以针对其他第一图像部分重复。图像部分10a、10b中已识别特征之间的距离(例如，以像素计)可以用作用于形成第一组合图像26的对准数据。更具体地，第一图像部分IOa可以进行组合(例如，混合在一起或缝合)以形成第一组合图像24，使得第一组合图像24中已识别特征之间的距离对应于第二图像部分IOb中对应特征之间的距离。第二组合图像26继而可以以对应的方式、通过使用对准数据组合第二图像部分IOb来形成。可能足以确定图像部分的子集之间的关系。例如，不需要分析未描绘重叠区域内任何部分的图像部分(例如，在最左侧相机位置处捕获的图像的第一图像部分和在最右侧相机位置处捕获的图像的第二图像部分)。归因于所捕获图像10之间的光学失真和非一致性，可能不能实现第一和第二组合图像24、26的、描绘第一和第二连续视图的重叠区域的那些图像部分之间的准确对准。因此，该方法可能形成组合图像，使得组合图像内特征之间的总对准误差(例如，所有距离偏差之和)最小化。减小上述问题的第四对准技术按照下述进行:通过基于各局部视图之间的假定的重叠、组合第一图像部分IOa来形成临时第一组合图像。通过基于各局部视图之间的假定的重叠、组合第二图像部分IOb来形成临时第二组合图像。假定的重叠例如可以是图像部分10a、10b宽度的10%。继而，可以将临时第一和第二组合图像进行彼此比较，以便确定它们之间的对准误差。对准误差可以是例如针对临时第一和第二组合图像中像素的至少一个子集的每像素平均误差。此过程继而可以使用第一图像部分IOa之间的其他假定重叠和第二图像部分IOb之间的其他假定重叠而重复数次。其他假定重叠可以是例如15%、20%、25%等。针对这些其他假定重叠的每一个，可以形成其他临时第一组合图像和临时第二组合图像，其中可以确定每一个得到的对准误差。继而，可以使用导致最小对准误差的假定重叠量来形成最终第一和第二组合图像24、26。附加地，一旦已经确定了产生最小对准误差的假定重叠，则可以例如利用迭代地调整图像部分之间的对准并确定得到的对准误差直到达到最小对准误差，来对第一和第二临时组合图像进行精细调整，以便进一步减小对准误差。最终第一和第二组合图像24、26继而可以使用精细调整的重叠形成。应当注意，可以在空间域或频域中执行此过程。根据又一技术，在形成第一和第二组合图像24、26之前，可以分析所捕获图像10的集合中的成对的连续图像，以确定指示该成对的图像之间空间关系的数据。该数据可以形成指示可以如何组合成对的图像以获取图像中对应特征之间的重叠的对准数据。该数据可以例如指示该图像对的第一图像的左下角与该图像对的第二图像的左下角之间的距离(例如，以像素单元计)。图像对的第一图像的第一图像部分IOa和图像对的第二图像的第一图像部分IOa继而可以根据所确定空间关系进行组合。所述第一图像部分例如可以被组合，使得该图像对的所述第一图像的第一图像部分的左下角与该图像对的所述第二图像的第一图像部分的左下角之间的距离对应于或等于针对所述第一图像和第二图像确定的距离。类似地，图像对的第一图像和第二图像的第二图像部分IOb可以被组合，使得该图像对的所述第一图像的第二图像部分的左下角与该图像对的所述第二图像的第二图像部分的左下角之间的距离对应于或等于针对所述第一和第二图像确定的距离。该过程继而可以继续将所述第一和第二图像的各第一图像部分与所捕获图像10的集合中第三图像的第一图像部分进行组合，以及将所述第一和第二图像的各第二图像部分与所述第三图像的第二图像部分进行组合，其中第二和第三图像构成一对连续图像。此过程可以针对图像10的集合的每对连续图像重复，以便形成第一和第二组合图像24和26。在上文中，参考了图像部分和图像的左下角，然而，这仅是示例，也可以使用图像部分和图像中的其他参考点，例如，中心点，左上角，右上角，右下角，沿图像部分和图像边缘的中点，这些仅是示例。与上述技术类似，图像之间的关系可以通过使用现有图像分析技术识别所捕获图像10中的公共特征来确定。可选地，每个图像对的图像可以在确定其空间关系之前经历上述投影。类似地，图像部分可以在合并之前经历投影。为了减小需要存储的数据量，可以以压缩格式提供所捕获图像10。所捕获图像10的每一个可以例如根据JPEG标准进行压缩，其中经压缩的图像可以包括使用可变长度码(VLC)(诸如，Huffman码)进行编码的码字流，该流代表顺序图像块。
该方法可以包括:响应于捕获每个图像，生成至少某些码字的指示符，其中这些指示符指示图像块的至少一个子集的至少一个DC系数的位置。图像可以例如压缩至随机访问JPEG中，其细节在国际专利公开W02005/050567中公开，并且因此不在此处进一步描述。通过使用这些指示符，图像部分10a、IOb可被提取，而无需解码整个捕获图像。组合图像由此可以以计算上高效的方式形成。更具体地，可以按照如下方式来提取图像部分(例如，12a):可以生成多个辅助码块并将其插入在构成图像部分12a的图像块序列中，其中辅助码块包括基于图像部分12a中第一行图像块的最后码块的DC系数和图像部分12a中后面一行图像块的第一码块的DC系数的辅助参数。这可以针对图像部分12a中所有图像块行进行重复。可以使用指示符来定位相关图像块。图像部分12a由此可被提取，而无需解码整个捕获图像12，以及无需解码图像部分12a中所有图像块。从完全压缩图像中提取图像部分在国际专利公开W02010/072587中进一步详细描述，因此不会在此赘述。在上文中，将所捕获图像10划分成第一和第二图像部分10a、10b，其覆盖整个相应图像。根据第二备选实施方式，所捕获的图像可以进行不同划分。根据第二实施方式以及参考图6-图8，相机I捕获多个图像30。因此，与图像10类似，图像30描绘了相应的局部视图，其中在成对的连续捕获图像中描绘的各局部视图之间存在重叠。换言之，在相邻的局部视图之间存在重叠。根据该方法，多个图像30的每个图像被划分至第一图像部分和第二图像部分。这在图6中针对图像32示出，其包括第一图像部分32a和第二图像部分32b。第一图像部分32a是左图像部分。第二图像部分32b是右图像部分。第一和第二图像部分12a和12b不交叠。然而，与第一实施方式不同，第一图像部分32a和第二图像部分32b未覆盖整个图像
32。换言之，图像32包括第三图像部分，其形成与第一图像部分32a和第二图像部分32b都不同的部分。第三图像部分位于第一图像部分32a和第二图像部分32b之间。此划分的结果在图7中针对所有图像30在概念上可见，其中30a涉及第一图像部分，30b涉及第二图像部分。第一图像部分30a在图像30内的相对位置是相同的。第二图像部分30b在图像30内的相对位置是相同的。在图6和图7中，第一图像部分32a和第二图像部分32b呈现相同宽度。然而，本发明性原理不限于此配置；第一图像部分32a可以包括比第二图像部分32b更多的像素列，或反之亦然。此外，第一和第二图像部分32a和32b分别示出为最左和最右图像部分。然而，本发明性原理不限于此配置，而是第一和第二图像部分32a和32b可以距图像32的竖直边缘相同距离。以与第一实施方式相同的方式，第一图像部分30a可以被组合以形成第一组合图像44。相应地，第二图像部分30b可以被组合以形成第二组合图像46。这在图8中示出。第一组合图像44描绘第一连续视图，第二组合图像46描绘第二连续视图，其中连续视图重叠。通过将所捕获图像30划分为第一、第二和第三图像部分，需要存储和处理的数据量可以有利地减少。当捕获了描绘很大程度上重叠的视图的多个图像时，此优势可以尤其明显。例如，该方法可以包括丢弃与每个所捕获图像的第三图像部分对应的数据。这可以在捕获图像30时以硬件执行，或者在捕获和存储了图像30之后，以软件执行。在任何情况下，可以在后续图像处理和图像形成中忽略第三图像部分。现在，将参考图9a_图9c来描述根据本发明性原理第二方面第一实施方式的、用于形成图像的方法。根据该方法，相机I捕获多个图像50。与上述第一方面类似，图像50可以从相机I的不同位置捕获。这些位置可以例如沿曲线路径分布。所捕获图像50与所捕获图像10和30在描绘视图方面类似，其中在成对的连续捕获图像中描绘的视图之间存在重叠。换言之，在相邻的描绘的视图之间存在重叠。所描绘的视图由此一起定义了连续视图。将在下文中将此连续视图称为“完整连续视图”。在图9 (以及进一步地在图10)中，图像50被示出为针对彼此水平偏移。水平偏移对应于由图像50描绘的各局部视图之间的重叠。图像50还示出为针对彼此稍许竖直偏移。然而，此竖直偏移仅针对可视目的、为了简化对该方法的理解而呈现。在图9a_9c中，所有成对的相邻局部视图之间的重叠量是统一的。然而，本发明性原理不限于这种配置。相反，在不同的成对的所描绘相邻视图之间可以存在不同重叠。根据该方法，确定完整连续视图的局部视图。可以如图10所示由用户确定(B卩，选择)局部视图，其中描绘完整连续视图的组合图像64可以通过组合所捕获图像50 (例如，通过缝合或混合)而形成。可以在相机I的显示器上显示组合图像64的缩略版本(例如，缩略图)。可以进一步在显示器上呈现允许用户选择组合图像64的一部分的用户界面。用户可以通过用户界面选择组合图像的一部分66。该部分66的维度可以例如是这样的，使得其与相机I的显示器分辨率相匹配。相机I继而可以将该局部视图确定为用户所选部分66所描绘的局部视图。备选地，该部分66以及由此该局部视图可以由相机I自动确定。例如，相机I可以选择组合图像64的中心部分。一旦已经确定了局部视图(或者在确定局部视图之前)，可以通过如图9a所示组合所捕获图像50的每个图像的第一图像部分来形成第一组合图像58。在图9a中，由阴影区域指示每个捕获图像的第一图像部分。第一图像部分在图像内的相对位置针对所有捕获图像50可以是相同的。在图9a中，图像的第一图像部分对应于最左侧图像部分。第一图像部分可以以与第一方面的第一和第二实施方式相同的方式组合。由此形成的第一组合图像58描绘了完整连续视图的第一连续部分。以相同方式，可以通过如图9b所示组合所捕获图像50的每个图像的第二图像部分(图像50的阴影部分)来形成第二组合图像60。每个图像的第二图像部分对应于该图像中除第一图像部分以外的另一部分。结果，第二组合图像60可以描绘稍许位于第一组合图像58中描绘的视图右侧的视图。这由图9a和图9b中第一和第二组合图像58、60之间的水平偏移示出。此外，可以通过如图9c所示组合所捕获图像50的每个图像的第三图像部分(图像50的阴影部分)来形成第三组合图像62。每个图像的第三图像部分对应于该图像中除第一和第二图像部分之外的另一部分。结果，第三组合图像62可以描绘稍许位于第二组合图像60中描绘的视图右侧的视图。这由图9b和图9c中第二和第三组合图像60、62之间的竖直偏移不出。可以针对其他图像部分重复上述过程，其中可以形成多个这种组合图像，每个图像描绘完整连续视图的连续部分。
如图9a_9c中所指示的，每个组合图像58、60、62包括与图像部分66对应的部分。在组合图像58中，对应于部分66的部分66a使用第一图像集合50a的第一图像部分来形成。在组合图像60中，对应于部分66的部分66b使用第二图像集合50b的第二图像部分来形成。在组合图像62中，对应于部分66的部分66c使用第三图像集合50c的第三图像部分来形成。如图9a_9c所指示的，第一图像集合50a包括未包括在第二图像集合50b中的一个图像。第一图像集合50a包括未包括在第三图像集合50c中的两个图像。第二图像集合50b包括未包括在第三图像集合50c中的一个图像。第二图像集合包括未包括在第一图像集合50a中的一个图像。第三图像集合50c包括未包括在第二图像集合50b中的一个图像。第三图像集合50c包括未包括在第一图像集合50a中的两个图像。第一、第二和第三图像集合50a、50b、50c由此包括在不同相机位置处捕获的图像。因此，部分66a可以描绘从第一位置观看的所确定局部视图的表征。部分66b可以描绘从第二位置观看的该局部视图的表征。部分66c可以描绘从第三位置观看的该局部视图的表征，第一、第二和第三位置为不同位置。在每个部分66a、66b、66c中描绘的表征由此都可以包括作为该局部视图的相同对象和特征，然而，这些对象和特征是从不同位置观看的，并且因此沿着不同视线。这些部分66a、66b、66c (与进一步组合的图像的对应部分一起)可以使用适当的图像分析(例如，通过将部分66与组合图像58、60、62相关)来识别。根据该方法，部分66a、66b、66c (和其他组合图像的部分)可以提供为图像序列。例如，可以在相机I的显示器上，通过连续显示部分66a、66b、66c来向用户呈现图像序列。用户由此可以感知到图像序列显示为对从不同方向观看的所确定的局部视图进行显示的平滑连续图像。在该连续中，可以将距相机不同距离处的所描绘图像以不同比率进行转换，以及由此增加该图像序列的景深感。该图像序列也可以存储为动作或幻灯片演示，以便对该序列的随后回放。备选地，该方法可以包括在相机I的屏幕上显示部分66b。响应于接收第一用户输入，该方法可以继续显示部分66a (第一用户输入将对应于“从右侧看更多”命令)或部分66c (可以对应于“从左侧看更多”命令)。这使得用户可以“探索”所确定的局部视图。在图9a_9c中，第一、第二和第三图像部分的维度已经放大，以便简化对该方法的理解。在实际中，使用更小或更少范围的图像部分可能是有利的。每个图像部分例如可以呈现出图像完整宽度的10%这样的宽度。图像的第一和第二图像部分可以是不交叠的，以及彼此邻接。类似地，图像的第二和第三图像部分可以是不交叠的，以及彼此邻接。为了降低不正确组合图像部分的风险，或者不同地组合第一图像部分、第二图像部分和第三图像部分的风险，可以这样形成组合图像，其使得由第一组合图像表征的局部视图对应于由第二组合图像表征的局部视图。第三组合图像可以进一步被组合，使得由第三组合图像表征的局部视图对应于由第一和第二组合图像表征的局部视图。这可以通过使用结合第一方面第一实施方式进行描述的任一对准技术来实现。由于该方法可能涉及形成多个组合图像，所以可能有利的是使用下述对准技术:首先，第一组合图像58以上述方式形成。一旦已经形成第一组合图像58，则其可以用于确定可以如何将第二图像部分进行组合以形成第二组合图像60。第二图像部分可以与第一组合图像60进行比较(例如，使用现有技术的图像分析技术)，以便识别此第二图像部分和第一组合图像58共有的特征(例如，边缘、对象等)。此过程可以针对其他第二图像部分重复。第一组合图像58中已识别特征之间的距离(例如，以像素计)可以用作用于形成第二组合图像60的对准数据。更具体地，第二图像部分可以被组合(例如，混合在一起或缝合)以形成第二组合图像60，使得第二组合图像60中已识别特征之间的距离对应于第一组合图像58中对应特征之间的距离。此过程可以重复，以形成第三组合图像62，其中(至少某些)第三图像部分可以与第一组合图像60进行比较，以确定可以用来形成第三组合图像62的对准数据。组合图像的整个集合可以在向用户呈现之前生成，其中组合图像的适当部分(例如，66a、66b、66c)可以用于形成图像序列。根据第二和备选实施方式，可以“动态”生成图像。这将针对图11进行描述。通过数字相机I捕获多个图像70。该多个图像70类似于结合第二方面第一实施方式进行描述的图像50，其都可以从相机I的不同位置捕获，其中在成对的连续捕获图像中描绘的视图之间存在重叠。换言之，在相邻的描绘的视图之间存在重叠。所描绘视图由此一起定义了完整连续视图。在图11中，图像70被示出为针对彼此水平偏移。水平偏移对应于由图像70描绘的各局部视图之间的重叠和关系。图像70还示出为针对彼此稍许竖直偏移。然而，此偏移仅为了可视目的呈现，以便简化对该方法的理解。根据该方法，如图1lc所示形成组合图像76。组合图像76可以描绘完整连续视图的确定的局部视图的表征。局部视图的确定结合第二方面第一实施方式进行了描述，由此不在此处重复。组合图像76由此描绘从第一位置观看的该局部视图的表征。组合图像76形成自图像70c、70d和70e这三个图像部分。组合图像76在相机I的显示器上呈现给用户。通过使用相机I的输入装置，用户可以发布“从左面看更多”命令或“从右面看更多”命令，在下文中，分别称为“左命令”和“右命令”。响应于接收“右命令”，相机I如图1lb所示形成组合图像74。组合图像74形成自图像70b、70c和70d这三个图像部分。组合图像74由此可以描绘从第二位置观看的该局部视图的表征，该第二位置位于第一位置右侧一定距离。响应于接收另一“右命令”，组合图像72可以如图1la所示形成。组合图像72形成自图像70a、70b和70c这三个图像部分。组合图像72可以由此描绘从第三位置观看的该局部视图的表征，该第三位置位于第二位置右侧一定距离。如果另一方面，在显示组合图像76时，接收到“左命令”，则可以如图1ld所示形成组合图像78。组合图像78形成自图像70e、70f和70g这三个图像部分。组合图像78由此可以描绘从第四位置观看的该局部视图的表征，该第四位置位于第一位置左侧一定距离。响应于接收另一“左命令”，组合图像80可以形成自图像70f、70g、70h这三个图像部分。组合图像80可以由此描绘从第五位置观看的该局部视图的表征，该第五位置位于第四位置左侧一定距离。可以重复上述过程，以利用对应方式形成描绘来自其他位置的该局部视图的其他组合图像。在上述方法中使用的图像部分可以从完整捕获的图像取回。备选地，每个捕获图像可以划分成给定宽度的多个图像部分。图像部分可以保存为单独图像文件，这些文件可以稍后使用以形成组合图像72，…，80。上述对准技术可以在形成组合图像72，…，80期间使用。在上文中，已经结合数字相机公开了本方法诸方面。然而，本发明性原理不限于此方面。例如，多个连续视图的图像(其中，在成对的连续图像中描绘的视图之间存在重叠)可被提供。图像之前例如可能已经由数字相机捕获，以及下载至运行计算机程序的计算机，该程序可以配置用于处理图像，以便形成例如结合第一方面讨论的三维图像对象和/或结合第二方面讨论的图像序列。根据另一方面，数字相机I可以实现上述两个方面。数字相机的用户由此可以跨全景来平移相机，其中可以形成组合图像，该组合图像可以用于根据第一方面形成三维图像/呈现三维图像。另外，所捕获的图像可以用于根据第二方面形成组合图像以进行顺序显示。这可以辅以保存平移移动的视频序列。由此，可以基于在相机的单次平移期间捕获的图像来创建图像内容的三个不同类型。现在，将参考图12来描绘本发明性原理的另一方面。根据第三方面，提供了一种用于形成组合图像88的方法。提供多个图像82。图像82例如可以由针对图1所描述的数字相机I来捕获。备选地，图像82可以是之前捕获的图像，其被下载至计算机以形成组合图像。图像82描绘了相应的局部视图，其中在成对的连续捕获图像中描绘的局部视图之间存在重叠。换言之，在相邻局部视图之间存在重叠。在图12中，图像82被示出为针对彼此水平偏移。水平偏移对应于由图像82描绘的各局部视图之间的重叠。图像82还示出为针对彼此稍许竖直偏移。然而，此偏移仅为了可视目的而呈现，以便简 化对方法的理解。图像82的每一个包括第一图像部分84 (阴影部分)和第二图像部分86 (未填充部分)。在图12中，第一图像部分84对应于图像的左面部分。然而，第一图像部分可以对应于图像的某些其他部分，例如，右面部分，中间部分等。而且，第一图像部分84相对于图像的宽度可以大于或小于图12中所示宽度。根据该方法，组合图像88形成自第一图像部分84。所描绘的各局部视图之间的重叠是这样的，其使得组合图像88描绘连续视图。根据该方法，第二图像部分86在形成组合图像88期间被忽略。例如可以从所捕获图像82提取或取回第一图像部分84，以及继而将其组合以形成组合图像88，其中第二图像部分86被忽略。备选地，第二图像部分86可以在形成组合图像88之前被丢弃。图像82可以例如被裁剪，使得仅保留第一图像部分84。组合图像88继而可以通过组合第一图像部分84来形成。通过仅使用每个图像82的一部分，可以极大减少在形成组合图像88期间需要处理的图像数据量。此方面的方法由此提供了形成组合图像的计算上高效的方式。当图像82的数量很大时，该方法的优势尤其显著。该方法可以整体在相机I上实现和执行。备选地，可以在相机I中仅执行图像82的捕获和第二图像部分86的丢弃。组合图像88的形成可以例如在计算机上执行，只要已经向计算机下载了第一图像部分84即可。可以以压缩格式提供图像82的每一个，其中，该格式包括可变长度编码码字(例如，Huffman编码的码字)的流，该流代表顺序图像块。可以生成针对至少某些码字的指示符，其中这些指示符指示图像块的至少一个子集的至少一个DC系数的位置。可以使用指示符来执行组合图像的裁剪和形成。针对指示符以及可以如何执行图像部分的提取的详细讨论已经结合第一方面第一实施方式的讨论而提供，因此，可以参考前述讨论。在上文中，已经主要参考有限数量示例描述了本发明。然而，如本领域技术人员容易理解的，除了上述公开的示例以外的其他示例在本发明的范围(如所附权利要求定义的)内同样可行。
权利要求
1.一种用于形成图像的方法，包括: 提供多个图像，每个图像包括第一图像部分和第二图像部分，以及每个图像描绘相应的局部视图，其中在成对的连续图像中描绘的局部视图之间存在重叠， 根据所述第一图像部分形成第一组合图像，其中第一组合图像描绘第一连续视图，以及 根据所述第二图像部分形成第二组合图像，其中第二组合图像描绘第二连续视图，其中所述第一连续视图和第二连续视图重叠。
2.如权利要求1的方法,进一步包括: 确定所述多个图像的第一图像与所述多个图像的第二图像之间的空间关系，所述第一图像和第二图像是成对的连续图像， 其中形成所述第一组合图像包括:根据所述空间关系，将所述第一图像的所述第一图像部分与所述第二图像的所述第一图像部分进行组合，以及 其中形成所述第二组合图像包括:根据所述空间关系，将所述第一图像的所述第二图像部分与所述第二图像的所述第二图像部分进行组合。
3.如权利要求1-2中任一的方法，其中每个提供的图像包括第三图像部分，其中所述第一图像部分、第二图像部分和第三图像部分不交叠。
4.如权利要求3的方法，其中每个提供的图像的所述第三图像部分在形成所述第一组合图像和第二组合图像期间被忽略。
5.如权利要求3-4中任一的方法，进一步包括:在形成所述第一组合图像和第二组合图像之前，丢弃每个提供的图像的所述第三图像部分。
6.如权利要求1-2中任一的方法，其中每个图像的所述第一图像部分和第二图像部分一起覆盖整个图像。
7.如权利要求1-6中任一的方法，进一步包括: 形成所述第一组合图像和所述第二组合图像，使得所述第一连续视图的描绘在重叠区域内对应于所述第二连续视图的描绘。
8.如权利要求3-7中任一的方法，进一步包括: 响应于形成所述第一组合图像，通过分析所述第二图像部分的至少一个子集与所述第一组合图像之间的关系来确定针对所述第二图像部分的对准数据，以及 通过基于所述对准数据组合所述第二图像部分来形成所述第二组合图像。
9.如权利要求3-7中任一的方法，进一步包括: 在形成所述第一组合图像和第二组合图像之前，根据所述提供的图像形成第三组合图像， 通过分析所述第一图像部分的至少一个子集与所述第三组合图像之间的关系来确定针对所述第一图像部分的第一对准数据， 通过分析所述第二图像部分的至少一个子集与所述第三组合图像之间的关系来确定针对所述第二图像部分的第二对准数据， 通过基于所述第一对准数据组合所述第一图像部分来形成所述第一组合图像，以及 通过基于所述第二对准数据组合所述第二图像部分来形成所述第二组合图像。
10.如权利要求3-7中任一的方法，进一步包括:通过分析所述第一图像部分的至少一个子集与所述第二图像部分的至少一个子集之间的关系，确定针对所述第一图像部分和所述第二图像部分的对准数据， 通过基于所述对准数据组合所述第一图像部分来形成所述第一组合图像，以及 通过基于所述对准数据组合所述第二图像部分来形成所述第二组合图像。
11.如权利要求1-10中任一的方法，进一步包括: 确定所述第一组合图像和所述第二组合图像之间的关系，以及 生成用于将在所述第一组合图像中描绘的所述第一连续视图与在所述第二组合图像中描绘的所述第二连续视图对准的数据。
12.如权利要求11的方法，进一步包括:基于所述用于对准的数据，修剪所述第一组合图像和所述第二组合图像，使得其相应的描绘的连续视图对准。
13.如权利要求1-12中任一的方法，其中所述提供的图像的每个图像以压缩格式提供，该压缩格式包括可变长度编码码字的流，所述流代表顺序图像块。
14.如权利要求13的方法，进一步包括:生成针对所述码字的至少某些码字的指示符，其中所述指示符指示所述图像块的至少一个子集的至少一个DC系数的位置。
15.如权利要求14的方法，其中所述第一组合图像和第二组合图像使用所述指示符来形成。
16.如权利要求1-15中任一的方法，其中提供所述多个图像包括借助于数字相机捕获所述多个图像。
17.如权利要求1-16中任一的方法，其中所述提供的图像是从不同位置捕获的。
18.如权利要求1-17中任一的方法，进一步包括:执行所述第一组合图像和第二组合图像的投影校正。
19.如权利要求1-17中任一的方法，进一步包括:在形成所述第一组合图像和第二组合图像之前，执行所述图像部分的投影校正。
20.一种用于形成图像的方法，包括: 提供多个图像，每个图像描绘相应视图，其中在成对的连续图像中描绘的视图之间存在重叠，以及其中所述描绘的相应视图一起定义连续视图， 确定所述连续视图的局部视图， 根据所述图像的第一子集中每个图像的第一图像部分形成表征所述局部视图的第一组合图像， 根据所述图像的第二子集中每个图像的第二图像部分形成表征所述局部视图的第二组合图像。
21.如权利要求20的方法，其中所述第一组合图像描绘从第一位置观看的所述局部视图的表征，以及所述第二组合图像描绘从第二位置观看的所述局部视图的表征，其中所述第二位置不同于所述第一位置。
22.如权利要求20-21中任一的方法，其中所述第一图像集合包括未包括在所述第二图像集合中的至少一个图像。
23.如权利要求20-22中任一的方法，其中所述第一图像集合和所述第二图像集合包括至少一个公共图像。
24.如权利要求23的方法， 其中所述第一图像部分和所述第二图像部分是所述至少一个公共图像的不同部分。
25.如权利要求20-24中任一的方法，进一步包括: 根据所述图像的第三子集中每个图像的第三图像部分形成表征所述局部视图的第三组合图像。
26.如权利要求20-25中任一的方法，进一步包括: 提供包括所述组合图像的图像序列。
27.如权利要求25-26中任一的方法，进一步包括: 在显示器上显示所述第一组合图像，以及响应于第一用户输入，显示所述第二组合图像，以及响应于第二用户输入，显示所述第三组合图像。
28.如权利要求20-27中任一的方法，进一步包括: 形成所述第一组合图像和所述第二组合图像，使得所述第一组合图像对所述局部视图的所述表征对应于所述第二组合图像对所述局部视图的所述表征。
29.如权利要求20-28中任一的方法，进一步包括: 响应于形成所述第一组合图像，通过分析所述第二图像部分的至少一个子集与所述第一组合图像之间的关系，确定针对所述第二图像部分的对准数据，以及 通过基于所述对准数据组合所述第二图像部分来形成所述第二组合图像。
30.如权利要求20-28中任一的方法，进一步包括: 在形成所述第一组合图像和第二组合图像之前，根据所述提供的图像形成第四组合图像， 通过分析所述第一图像部分的至少一个子集与所述第四组合图像之间的关系，确定针对所述第一图像部分的第一对准数据， 通过分析所述第二图像部分的至少一个子集与所述第四组合图像之间的关系，确定针对所述第二图像部分的第二对准数据， 通过基于所述第一对准数据组合所述第一图像部分来形成所述第一组合图像，以及 通过基于所述第二对准数据组合所述第二图像部分来形成所述第二组合图像。
31.如权利要求20-28中任一的方法，进一步包括: 通过分析所述提供的图像的第二图像部分，确定针对一对所述第一图像部分的对准数据，所述一对第一图像部分描绘一对相邻的视图部分，其中第二图像部分描绘与所述一对相邻的视图部分部分重叠的视图部分， 通过基于所述对准数据组合所述第一图像部分来形成所述第一组合图像，以及 通过基于所述对准数据组合所述第二图像部分来形成所述第二组合图像。
32.如权利要求20-31中任一的方法，其中所述提供的图像的每个图像以压缩格式提供，该压缩格式包括可变长度编码码字的流，所述流代表顺序图像块。
33.如权利要求32的方法，进一步包括:生成针对所述码字的至少某些码字的指示符，其中所述指示符指示所述图像块的至少一个子集的至少一个DC系数的位置。
34.如权利要求33的方法，其中所述第一组合图像和第二组合图像使用所述指示符来形成。
35.如权利要求20-34中任一的方法，其中提供所述多个图像包括借助于数字相机捕获所述多个图像。
36.如权利要求20-35中任一的方法，其中所述提供的图像是从不同位置捕获的。
37.一种用于形成组合图像的方法，包括: 提供多个图像，每个图像包括第一图像部分和第二图像部分，以及每个图像描绘相应的局部视图，其中在成对的连续图像中描绘的局部视图之间存在重叠， 根据所述第一图像部分形成组合图像，其中组合图像描绘连续视图，其中每个提供的图像的所述第二图像部分在形成所述第一组合图像期间被忽略。
38.如权利要求37的方法，进一步包括丢弃每个提供的图像的所述第二图像部分。
39.如权利要求38的方法，其中所述第二图像部分在形成所述组合图像之前被丢弃。
40.如权利要求37-39中任一的方法，其中提供所述多个图像包括借助于数字相机捕获所述多个图像。
41.一种数字 相机,被配置用于实现根据权利要求1-40中任一的方法。
全文摘要
根据本发明性原理的一个方面，提供了一种用于形成图像的方法，包括提供多个图像，每个图像包括第一图像部分和第二图像部分，以及每个图像描绘相应的局部视图，其中在成对的连续图像中描绘的局部视图之间存在重叠，根据所述第一图像部分形成第一组合图像，其中第一组合图像描绘第一连续视图，以及根据所述第二图像部分形成第二组合图像，其中第二组合图像描绘第二连续视图，其中第一和第二连续视图重叠。
文档编号H04N13/00GK103189796SQ201180052544
公开日2013年7月3日 申请日期2011年9月20日 优先权日2010年9月20日
发明者S·尼米 申请人:瑞典移动影像股份公司