用于查看图像的方法和装置的制造方法
【技术领域】
[0001]本发明涉及一种用于查看图像的方法和装置。
【背景技术】
[0002]近来，随着来自诸如Lytro和Raytrix等制造商的相机的引入，全光或光场成像已进入消费者领域。全光成像使得能够在采集数字图像后，对该数字图像进行重对焦。
[0003]虽然与常规相机相比，这些技术可采集到另外的景深和光场信息，但却生成了复杂的数据集，这些复杂的数据集显著大于常规图像并且需要进行复杂的后处理以重新生成具有不同参数的常规图像。此外，这些数据集与现有图像压缩技术不兼容，并且需要专门的查看软件。因此，无法容易地在诸如智能电话和平板电脑的常规消费型设备上享受或是使用网络/互联网技术看到此类高级成像技术的有益效果。
[0004]图1示出包括两个面部10、12的典型场景；图2示出用于该场景的现有技术自动聚集算法的运算，作为与相机的距离的函数。这是常规的“爬山”算法，其采集该场景的初始预览图像并计算所采集图像的一个或多个部分上的对焦度量值。应当注意，现代成像设备自动执行诸如面部跟踪以及预览流的单个帧上的前景/后景分离等功能，并且因此，一般不对整个图像计算对焦度量值，而是针对特定感兴趣区(ROI)诸如面部以及图像内的前景对象进行计算。
[0005]在图2中，我们示出了在该场景中针对包括图1的近距面部10的区域而计算的对焦度量值(步长1-4)以及针对图1的中距面部12而计算的对焦度量值。
[0006]最简单的对焦度量仅仅是测量在图像的所选ROI上的局部对比度和/或清晰度。然而，文献中提供了更复杂的对焦度量。
[0007]应当理解，文献中描述了多种可用的自动对焦算法，并且图2的爬山算法只是一个简单的例子。需注意，沿图2、图3和图5的X轴示出的焦距采用的是对数比例尺。这是典型的对焦调整，在这种情况下，存在靠近相机的更多对焦步长，而且当超过3-5m的距离时，相机将有效对焦在无限远处。
[0008]在图2中，相机首先对焦在与相机相距约18cm的距离“I”处。这提供了对近距面部的ROI的极弱对焦度量，使得距离被调整为约35cm，以便产生较强的对焦度量“2”，但仍低于所需阈值(约0.9);达到65cm的第三调整“3”产生较高的对焦度量值，但基于面部区域的大小，算法会发现该对焦度量值过高，并将距离重新调整为正好在50cm以下，此距离足够近以产生等于或高于所需阈值的对焦度量值。
[0009]上述内容是一个非常简单的例子，通常来讲，自动对焦算法可采用若干另外的对焦步长以准确到达最佳焦点。算法还取决于选择用于计算对焦度量值的R01、该ROI的准确性以及任何其他可用信息。在上文所提供的简单例子中，假设的是，对焦算法将会基于对面部ROI大小的了解，而知晓该步长“3”超过了最佳焦距。如果无法提供此信息，那么算法会继续将焦点调整至更大距离处，并且仅在确定对焦度量值已经减小(步长4)的情况下，才会认为对焦调整值应为介于“3”与“2”之间的距离(步长5)。
[0010]因此，通常自动对焦过程将会采用比此处所示更多的步长。但是，在过程结束时，仍会采集单个主要的焦点对准的(in-focus)图像。
[0011]在视频系统中，自动对焦操作略有不同。当通过视频采集过程保存每(个帧时，对焦算法包括两个主要阶段。
[0012]在第一阶段中，对焦算法的表现基本上与数字相机自动对焦算法相同，并且焦点在距离上可以相当大的偏移进行改变，直至实现高于所需阈值的对焦度量值。
[0013]实现这种初始对焦后，摄像机将继续调整焦点，但此时增量较小。在上述例子的上下文中，初始对焦后，每个随后的帧上仅允许一个步长+/_的焦点改变。因此，如果近距面部10上的对焦度量值降到低于阈值，那么只能在下一个图像帧上以更靠近或更远离该初始焦点的一个步长进行调整。(或者，如果帧率较高或对焦系统惯性高，那么只能每2-4帧改变一次焦点)；视频算法必须以此方式限制焦点的改变，从而不会因视频场景的复杂且不断改变的性质而容易造成“焦点跳跃”或“焦点振荡”效应。
[0014]因此，视频对焦包括初始自动对焦阶段，该阶段允许在实现初始对焦之前进行大型对焦调整。此后，进行第二“小型调整”阶段，以允许跟踪场景内的主R0I，而不突然跳到会扰乱查看者的焦点。
[0015]单独地，焦点堆叠是在摄影中使用的技术，用于采集不同焦点长度上的多个图像并将这些图像合并成单个“焦点对准的”图像。这项技术通常被应用于对靠近相机镜头的对象的微距摄影，并且对焦增量可为仅几厘米以及在小于30-50cm的焦长的范围内。
[0016]US 2010/0283868 (Clark和Brown)公开了一种用于使用相机拍摄其中不同部分处于不同焦长的场景的运动画面的系统，所述相机通常将不具有足够的景深来采集所述场景在焦距内的所有部分。计算机可控制具有快速对焦能力的高速数字相机和镜头以产生处于不同焦长的图像的堆叠，以便快速处理成运动画面输出格式的合成连续图像拼接流。操作人员控件允许连续选择输出图像中的景深(DOF)，并且使得多个焦点对准和离焦的区域超过图像深度。任选的输出端口提供对每个堆叠中的所有图像的实时记录以供稍后处理。任选的远程控件复制相机系统中主要控件的效果，使得第二个人能够在记录图像时帮助优化这些图像或远程控制相机本身。
[0017]本发明的目的在于提供一种用于查看堆叠图像的改进方法和装置。
【发明内容】
[0018]根据本发明，提供了一种根据权利要求1所述的方法。
[0019]根据另一方面，提供了一种根据权利要求23所述的交互式计算设备。
[0020]根据又一方面，提供了一种非暂态有形计算机可读存储介质，该非暂态有形计算机可读存储介质包括可执行指令，该可执行指令在交互式计算设备中执行时被布置用于执行根据权利要求24所述的步骤。
[0021]本发明允许对图像进行操控，使得它们可以不同焦点显示。这些图像可被采集到能够在图像帧之间快速改变场景对焦的任何常规数字相机上。因此，本发明提供了与全光成像大致上相同的有益效果，但使用的是常规光学器件，例如基于MEMS的对焦模块，并且可使用与常规JPEG图像或MPEG视频流所用相同的软件架构对图像进行处理、管理、查看和共孚。
[0022]与本发明相比，Clark和Brown既未描述最终堆叠图像集的永久性压缩存储，也未描述对焦点堆叠内特定区域的选择性地解压和访问ο Clark和Brown未关注径向偏移和镜头畸变的补偿，也未使得用户能在计算机显示器或触摸屏设备上重新对焦和/或选择性地重新合成所显示的图像。
【附图说明】
[0023]现在将结合附图以举例的方式描述本发明的实施例，在附图中:
[0024]图1示出包括两个人的典型图像场景，其中一人相当靠近(<lm)相机，而另一人距离相机较远(约2-3m距离)。
[0025]图2示出图1的两个面部区域的对焦度量值，并示出近距面部区域上的“爬山”自动对焦运算。
[0026]图3示出根据本发明的实施例的图像采集序列的对焦步长。
[0027]图4示出类似于图1的典型场景，不同之处在于近距的人举起手以形成更靠近相机的第三对焦区域。
[0028]图5示出施加于图4中场景的根据本发明的图像采集序列的对焦步长。
[0029]图6(a)至(C)示出根据本发明的实施例处理所采集图像堆叠的查看器应用程序的操作。
[0030]图7示出主图像以及包括3X3JPEG 8X8块的环绕重对焦区域(AB⑶)内的触点。
[0031]图8示出与图8的主图像/显示图像中的初始AB⑶重对焦区域相对应的堆叠图像的区域A’ B’ C’ D’。
[0032]图9示出解压后的JPEG块，其在堆叠的下一图像中涵盖了图8的所需A’ B’ C’ D’
重对焦区域。
[0033]图10示出包括在根据本发明的实施例处理前被划分为多个子块的面部区域的图像。
[0034]图11⑴至(iii)示出包括被划分为多个子块的大型对象(云)的图像的处理序列。
【具体实施方式】
[0035]本发明还提供了响应于用户交互而操控所采集堆叠图像的查看器应用程序，堆叠图像是使用具有渐变焦和采集模式的成像设备作为正常自动对焦模式的替代或补充采集而得。查看器应用程序可以在图像采集设备或具有对堆叠图像的访问权限的独立计算机设备上运行。
[0036]图像梁集
[0037]首先介绍根据本发明的实施例在查看器应用程序内使用的堆叠图像的采集。在渐变焦和采集模式下，相机可以持续执行自动对焦并如常规相机那样操作。这有助于用户构成要采集的主图像。然而，当用户触发图像采集时，相机采集多个图像，每个图像处于不同焦点。这在图3中示出，该图示出用于采集场景的堆叠图像的16个不同焦距。
[0038]在优选的实施例中，如常规相机那样操作相机，使得该相机初始对焦在点“6”，以便获得在图1的近距面部10上具有最佳焦点的第一主图像。然而，相机随后将以可优化对焦子系统性能的顺序循环通过其他对焦步长。
[0039]在优选的实施例中，该对焦子系统包括MEMS子系统，并且可在毫秒的时间帧中移动以使其本身定位于相关焦点中的每个焦点处。在这样的实施例中，另外的图像按序列6-7-8-9-10-11-12-13-14-15-16采集，再返回到序列1-2-3-4-5，以完成该采集序列。
[0040]对于在50-60fps下操作的相机而言，这种采集序列应当仅耗费250ms，并且相邻图像帧之间的移动应当为最小。然而，在一些实施例中，可能期望实现在此类不同焦距上所采集的图像帧之间的全局配准。尤其是对于手持设备诸如智能电话而言，很有可能会发生一些手抖，并且因此需要一定补偿以确保合理程度的全局配准。可使用相机陀螺仪/加速度计数据来帮助确定介于图像帧与所需补偿之间的这种相对移动。
[0041]更具体地讲，在关于视频帧的帧间对准的文献中介绍了相关技术。例子包括:(i) Deever, A.^ In-camera all-digi