专利名称：图像处理设备和方法
技术领域：
下面的描述涉及摄影术。更具体地讲，该描述涉及一种使用光场数据处理图像的设备和方法。
背景技术：
当前，拍摄系统一般使用一种只能一次查看一幅图像的拍摄操作。但是，已进行对具有焦点重组功能的全光相机的研究。全光相机(也称为光场相机)使用微透镜阵列(例如，柱状透镜阵列)或者光编码掩膜捕捉场景的四维光场信息。这种全光相机可在一次拍摄操作之后(例如，单幅图像捕捉之后)向用户提供各种功能(例如，改变焦点平面并能够从几个角度查看场景)。全光相机可用于减少立体匹配(即，将立体图像连接在一起)中的对应问题。 另外，在许多领域需要高分辨率图像，例如，监控摄像机、用于精确诊断的计算机断层扫描(CT)图像、用于模式识别的计算机视觉、地质勘测卫星图像等。为了获得高分辨率图像，已进行研究以提供使用信号处理技术从低分辨率图像序列重构高分辨率图像的方法。
发明内容
技术问题需要一种能够通过使用光场数据提供高分辨率图像的图像处理设备和图像处理方法。技术方案提供了一种能够通过使用光场数据针对期望的位置提供高分辨率图像的图像处理设备和图像处理方法。有益效果根据本发明，通过对使用光场数据生成的图像的期望位置进行信号处理可提高空间分辨率。
图I是示出示例图像处理设备的示图。图2是用于解释使用光场数据的图像处理的示图。图3是示出通过图I所示的图像处理设备的数据处理器生成重新聚焦图像的方法的示图。图4是示出示例全光相机的方向分辨率、空间分辨率和光电传感器像素大小之间的关系的不图。图5是示出图I所示的图像处理设备的示例数据处理器的框图。图6a是示出根据特定a值的重新聚焦图像的示图，在图像处理设备的显示器上查看所述重新聚焦图像。图6b是示出在改变a值时生成的多个重新聚焦图像的示图。图6c是表示根据图6b的a值的变化的重新聚焦图像的清晰度的曲线图。图7a是示出用于聚焦区域的光场数据值的示图。图7b是示出用 于失焦区域的光场数据值的示图。图8是示出图5所示的示例合成比率确定器的示图。图9是示出示例比率函数的示图。图IOa是示出示例高分辨率图像重构的示图。图IOb是示出示例高分辨率图像重构的另一示图。图IOc是示出示例高分辨率图像重构的另一示图。图11是示出图5所示的示例高分辨率图像生成器的框图。图12a是示出选择标准图像巾贞和参考图像巾贞的示例技术的示图。图12b是示出选择标准图像帧和参考图像帧的示例技术的另一示图。图13a是示出基于光场的与标准图像帧相比的示例亚像素位移的示图。图13b是示出基于光场的与标准图像帧相比的示例亚像素位移的另一示图。图13c是示出基于光场数据的与标准图像帧相比的示例亚像素位移的另一示图。图14是示出基于标准图像帧生成示例高分辨率标准图像帧的示图。图15是示出基于标准图像帧的点扩散函数(PSF)的示例计算的示例的示图。图16是示出通过使用光场数据针对期望的聚焦区域生成高分辨率图像的示例方法的流程图。图17是示出通过使用光场数据生成高分辨率图像的示例方法的流程图。贯穿整个附图和详细描述，除非有相反的描述，否则相同的附图标号将被理解为指示相同的元件、特性和结构。为了清楚、说明和方便，可夸大这些元件的相对尺寸和描述。最佳方式在一个总的方面，提供了一种图像处理设备，包括光场数据位置确定器，被构造为根据期望的聚焦位置，确定与场景对应的光场数据中的一部分光场数据的位置；重新聚焦图像生成器，被构造为通过使用位置确定的所述一部分光场数据生成重新聚焦的第一图像；高分辨率图像生成器，被构造为生成包括相对于重新聚焦的第一图像的预定设置比率的高分辨率图像；合成比率确定器，被构造为通过使用关于位置确定的所述一部分光场数据的位置的相似性，确定高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率；以及图像合成器，被构造为根据局部合成比率，通过合成高分辨率图像和重新聚焦的第一图像的放大图像来生成合成图像。在所述图像处理设备中，光场数据位置确定器还可被构造为设置与表示场景的图像的一部分对应并包括期望的聚焦位置的第二图像；当改变变化的a值时生成第二图像的多个重新聚焦图像，所述变化的a值表示成像平面和重新聚焦平面之间的关系；从变化的a值确定最终a值，所述最终a值允许生成第二图像的最高清晰度的重新聚焦图像；以及通过使用确定的最终a值确定所述一部分光场数据的位置。在所述图像处理设备中，合成比率确定器还可被构造为确定局部合成比率，以使对于包括关于位置确定的所述一部分光场数据的较高相似性的部分，以较高的合成比率合成高分辨率图像。在所述图像处理设备中，合成比率确定器可包括非均匀映射生成器，被构造为生成表示在确定位置的光场数据的强度的非均匀性的非均匀映射；比率非均匀映射生成器，被构造为通过使用非均匀映射，生成包括高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率的信息的比率非均匀映射；以及比率非均匀映射放大器，被构造为以所述设置比率放大比率非均匀映射。在所述图像处理设备中，图像合成器还可被构造为以所述设置比率放大重新聚焦的第一图像；以及以确定的局部合成比率合成重新聚焦的第一图像的放大图像和高分辨率图像。在所述图像处理设备中，高分辨率图像生成器可包括图像帧确定器，被构造为通过使用位置确定的所述一部分光场数据确定标准图像帧和至少一个参考图像帧，所述一部分光场数据包括由确定的最终a值确定的位置；点扩散函数确定器，被构造为基于所述至少一个参考图像帧相对于标准图像帧的亚像素位移的量，确定点扩散函数；图像插值器，被 构造为通过对标准图像帧进行插值生成包括比标准图像帧更高分辨率的高分辨率标准图像帧；以及图像恢复器，被构造为通过使用生成的高分辨率标准图像帧、点扩散函数和所述至少一个参考图像帧更新高分辨率标准图像帧来恢复高分辨率图像。在所述图像处理设备中，亚像素位移的量可表示与标准图像帧对应的光场数据和与每个参考图像帧对应的光场数据之间的位置差。在所述图像处理设备中，图像帧确定器还可被构造为将从一个角度看到的视像确定为标准图像帧；以及通过使用位置确定的所述一部分光场数据将从另一角度看到的至少一个视像确定为参考图像帧，所述一部分光场数据包括由最终a值确定的位置。在所述图像处理设备中，点扩散函数确定器还可被构造为基于每个参考图像帧相对于标准图像帧的亚像素位移的量，将二维高斯函数确定为点扩散函数。在所述图像处理设备中，图像恢复器可包括残差值生成器，被构造为通过使用生成的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考图像帧和标准图像帧的点扩散函数生成残差值；图像更新器，被构造为通过使用所述残差值更新高分辨率标准图像帧。在所述图像处理设备中，所述残差值可包括所述一个参考图像帧减去高分辨率标准图像帧与点扩散函数的卷积的值。在所述图像处理设备中，如果更新高分辨率标准图像帧，则残差值生成器还可被构造为通过使用更新的高分辨率标准图像帧、至少一个参考图像帧中的另一参考图像帧以及基于所述至少一个参考图像帧中的另一参考图像帧和标准图像帧的点扩散函数生成所述残差值。在所述图像处理设备中，所述残差值可包括所述至少一个参考图像帧中的另一参考图像帧减去更新的高分辨率标准图像帧与点扩散函数的卷积的值。所述图像处理设备还可包括光场数据捕捉器，所述光场数据捕捉器包括第一光学单元，被构造为形成对象的图像；光电传感器阵列，被构造为捕捉光线；布置在第一光学单兀和光电传感器阵列之间的第二光学单兀，被构造为基于光线的方向分离光线来将光线引导向光电传感器阵列。在另一总体方面，提供了一种图像处理方法，所述方法包括根据期望的聚焦位置，确定与场景对应的光场数据中的一部分光场数据的位置；通过使用位置确定的所述一部分光场数据生成重新聚焦的第一图像；生成包括相对于重新聚焦的第一图像的预定设置比率的高分辨率图像；通过使用关于位置确定的所述一部分光场数据的相似性，确定高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率；以及根据局部合成比率，通过合成高分辨率图像和重新聚焦的第一图像的放大图像来生成合成图像。
在所述图像处理方法中，确定所述一部分光场数据的位置的步骤可包括设置与表示场景的图像的一部分对应并包括期望的聚焦位置的第二图像；当改变变化的a值时生成第二图像的多个重新聚焦图像，所述变化的a值表示成像平面和重新聚焦平面之间的关系；从变化的a值确定最终a值，所述最终a值允许生成第二图像的最高清晰度的重新聚焦图像；以及通过使用确定的a值确定所述一部分光场数据的位置。在所述图像处理方法中，在确定局部合成比率的步骤，可确定局部合成比率，以使对于包括关于位置确定的所述一部分光场数据的较高相似性的部分，以较高的合成比率合成高分辨率图像。在所述图像处理方法中，确定局部合成比率的步骤可包括生成表示在根据表示成像平面和重新聚焦平面之间关系的a值确定的位置的光场数据的强度的非均匀性的非均匀映射；通过使用非均匀映射，生成包括高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率的信息的比率非均匀映射；以及以所述设置比率放大比率非均匀映射。在所述图像处理方法中，生成合成图像的步骤可包括以所述设置比率放大重新聚焦的第一图像；以及以确定的局部合成比率合成重新聚焦的第一图像的放大图像和高分辨率图像。在所述图像处理方法中，生成高分辨率图像的步骤可包括通过使用确定的a值，确定标准图像帧和至少一个参考图像帧；基于所述至少一个参考图像帧相对于标准图像帧的亚像素位移的量，确定点扩散函数；通过对标准图像帧进行插值，生成包括比标准图像帧更高分辨率的高分辨率标准图像帧；以及通过使用生成的高分辨率标准图像帧、点扩散函数和所述至少一个参考图像帧更新高分辨率标准图像帧来恢复高分辨率图像。在另一总体方面，提供了一种处理获得的四维(4D)光场的方法，所述方法包括确定期望的聚焦位置并估计用于聚焦位置的a值，所述a值表示成像平面和重新聚焦平面之间的关系；根据a值，从角数据生成重新聚焦图像；根据a值，基于角数据的亚像素位移，通过增加聚焦区域的分辨率生成高分辨率图像；根据a值，通过检查角数据的相似性，将聚焦区域和失焦区域分开；以及执行重新聚焦图像和高分辨率图像的融合。在所述方法中，通过改变a值直到生成第二图像的最高清晰度的重新聚焦图像来确定a值。一种计算机可读信息存储介质可存储用于使计算机执行以上方法的程序。从下面详细的描述、附图和权利要求，其他特性和方面可以是明显的。
具体实施方式
提供下面的详细描述以有助于读者获得这里描述的方法、设备和/或系统的全面理解。因此，对本领域的普通技术人员来说，将提出这里描述的系统、设备和/或方法的各种改变、修改及其等同物。所描述的处理步骤和/或操作的进展是示例。除了必须以特定顺序出现的步骤和/或操作，步骤和/或操作的顺序不限于这里提出的顺序，可进行本领域已知的改变。另外，为了更加清楚和简明，可省略已知功能和结构的描述。图I是示出示例图像处理设备的示图。图像处理设备100可包括光场数据捕捉器140和用于处理采集到的光场数据的数据处理器150。光场数据捕捉器140可包括形成对象的图像的主透镜110、光电传感器阵列130和微透镜阵列120。微透镜阵列120可基于光线的方向分离通过主透镜110的光线，并可将光线引导向光电传感器阵列130。在一个例中,可使用图像传感器160实现微透镜阵列120和光电传感器阵列130。通过使用这样的图像处理设备，可获得重新聚焦图像或者从几个角度看到的图像(例如，可调节图像视图)。来自待成像场景中的对象105的单个点的光线可到达微透镜阵列120的焦点平面上的单个收敛点。在该收敛点的微透镜122可基于光的方向分离光线，并可在与微透镜对应的光电传感器上生成主透镜110的孔径的聚焦图像。光电传感器阵列130可检测在其上入射的光，并可生成通过使用若干个组件中的至少一个处理的输出。例如，当生成包括对象105、106和107的场景的图像时，可将输出光数据和关于提供数据的每个光电传感器的位置信息一起发送到数据处理器150。例如，可使用包括通用组件(例如，一个芯片)或不同组件的计算机或者一些其他的处理电路来实现数据处理器150。在一个示例中，可在光场数据捕捉器140的内部实现数据处理器150的一部分，而通过外部计算机实现另外的部分。数据处理器150可被配置为处理图像数据并计算包括对象105、106和107的场景的图像。数据处理器150可使用检测到的光或者检测到的光的特性与到达微透镜阵列120的光的已知方向(例如，使用每个光电传感器的已知位置进行计算)一起来选择性地重新聚焦和/或校正数据。在图I中示出的微透镜阵列120可包括若干个可区别的微透镜，但是阵列可由大量(例如，几千或数万)的微透镜组成。微透镜阵列120也可实现为其他形式(例如，代替微透镜阵列120的光学编码掩膜)，只要代替物基于光线方向分离通过主透镜110的光线即可。当主透镜110被称为“第一光学单元”时，微透镜阵列120可被称为“第二光学单元”。可使用目前可用的或者未来开发的各种透镜和/或微透镜来实现主透镜110和微透镜阵列120。光电传感器阵列130可包括针对微透镜阵列120中的每个微透镜的若干个光电传感器。光电传感器阵列130的每个像素的大小(例如，节距)可相对小于微透镜阵列120的节距。另外，可确定在微透镜阵列120中的微透镜和在光电传感器阵列130中的光电传感器的位置以便朝向光电传感器阵列的通过每个微透镜传播的光与通过相邻微透镜传播的光没有重叠。如图I所示，为了在主透镜110和示例拍摄对象105之间所示的期望的深度“d” 聚焦感兴趣的对象，主透镜110可具有沿光轴水平移动的能力。因此，主透镜110可基于获得的光场数据在期望的位置将光束重新聚焦。
例如，来自对象105的单个点的光线可到达微透镜阵列120的焦点平面中的微透镜122上的单个收敛点。微透镜122可基于这些光线方向分离这些光线，并可在微透镜以下的像素阵列中设置的像素上生成与主透镜110的孔径对应的聚焦图像以及聚焦图像的光场数据。图2是用于解释使用光场数据的图像处理的示图。考虑到图像处理设备100内部的2 —平面光场“L”，光场数据L(u，v，s，t)可表示沿着与主透镜110相交于位置(u，v)并与微透镜阵列120的平面相交于位置(s，t)的光线传播的光。光场数据L(u, v, s, t)可表不光线的位置信息和传播方向信息。例如,光场数据L(u，v, s，t)可表示通过主透镜110的子孔径的位置(u，v)和通过每个微透镜的位置(s，t)的光束的强度值。例如，“子孔径”指的是主透镜110的方向分辨率的数量。例如，当子孔径数是196时，每个微透镜120可被配置为与196个像素对应。
在光电传感器阵列130中的每个光电传感器可被配置为提供表示通过主透镜110和微透镜阵列120指向光电传感器的光线集的值。响应于入射到光电传感器上的光，每个光电传感器可生成输出，并且可使用每个光电传感器相对于微传感器阵列120的位置来提供关于入射光的方向信息。在微透镜阵列120中的特定微透镜122以下形成的图像可指示关于成像平面上的位置的系统方向分辨率。主透镜110可有效地位于距微透镜无限的光学距离处，而为了对微透镜进行聚焦，光电传感器阵列130可位于微透镜的焦距深度的一个平面上。可在微透镜的景深内选择主透镜110和微透镜阵列120之间的间隔距离“s”(见图I)以获得清晰的图像。主透镜110的孔径大小和微透镜阵列120中的微透镜的孔径大小(例如，镜头中开口的有效大小)可被选择为适合于图像处理设备100的特定应用。数据处理器150可使用光场数据(例如，L(u，v，s，t))生成重新聚焦图像。例如，L是光程,LI可以是第一光程。此时,数据处理器150可使用每个光电传感器相对于微透镜的位置来确定在每个光电传感器上的光的方向。另外，数据处理器150可确定场景内对象的景深(检测到的光束通过在所述场景上扩散)，并可通过使用景深和检测到的光的方向来计算聚焦在不同焦点平面上的重新聚焦图像。图3是示出通过图I所示的图像处理设备的数据处理器生成重新聚焦图像的方法的示图。如图3所示，如果主透镜110的平面310和光电传感器阵列130位于的成像平面330之间的距离是F，而主透镜110的平面310和重新聚焦平面320之间的距离是F'，则F' = a F0在从平面310上的点u延伸的线与F' = a F处的重新聚焦平面320相交于点S的情况下，垂直距离是S-U，角度是O。在从平面310上的点u到点S的同一直线与成像平面330相交的地方，X = u+((S-U)/a)，垂直距离是(s-u)/a。在一个示例中，与重新聚焦平面320上的坐标(s，t)对应的成像平面330上的检测强度Lf可表示为如下所示的等式I
Lp,(u,v,s,t) = LfaF)(u,V,s,t) = v,—~+ .S~+ ')(I)
aa
通过使用等式1，可通过a值选择关于在重新聚焦平面320上产生焦点的对象的光场数据值，所述a值表示成像平面330和重新聚焦平面320之间的位置关系。可通过执行公式I的检测强度Lf,关于主透镜110的孔径的积分来获得重新聚焦平面320上的图像E (s，t)，图像E可表示为如下所示的等式2
权利要求
1.一种图像处理设备，所述图像处理设备包括 光场数据位置确定器，被构造为根据期望的聚焦位置，确定与场景对应的光场数据中的一部分光场数据的位置； 重新聚焦图像生成器，被构造为通过使用位置确定的所述一部分光场数据生成重新聚焦的第一图像； 高分辨率图像生成器，被构造为生成包括相对于重新聚焦的第一图像的预定设置比率的高分辨率图像； 合成比率确定器，被构造为通过使用关于位置确定的所述一部分光场数据的相似性，确定高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率；以及 图像合成器，被构造为根据局部合成比率，通过合成高分辨率图像和重新聚焦的第一图像的放大图像来生成合成图像。
2.如权利要求I所述的图像处理设备，其中，光场数据位置确定器还被构造为 设置与表示场景的图像的一部分对应并包括期望的聚焦位置的第二图像； 当改变变化的a值时生成第二图像的多个重新聚焦图像，所述变化的a值表示成像平面和重新聚焦平面之间的关系； 从变化的a值确定最终a值，所述最终a值允许生成第二图像的最高清晰度的重新聚焦图像；以及 通过使用确定的最终a值确定所述一部分光场数据的位置。
3.如权利要求I所述的图像处理设备，其中，合成比率确定器还被构造为确定局部合成比率，以使对于包括关于位置确定的所述一部分光场数据的较高相似性的部分，以较高的合成比率合成高分辨率图像。
4.如权利要求I所述的图像处理设备，其中，合成比率确定器包括 非均匀映射生成器，被构造为生成表示在确定位置的光场数据的强度的非均匀性的非均匀映射； 比率非均匀映射生成器，被构造为通过使用非均匀映射，生成包括关于高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率的信息的比率非均匀映射；以及比率非均匀映射放大器，被构造为以所述设置比率放大比率非均匀映射。
5.如权利要求I所述的图像处理设备，其中，图像合成器还被构造为 以所述设置比率放大重新聚焦的第一图像；以及 以确定的局部合成比率合成重新聚焦的第一图像的放大图像和高分辨率图像。
6.如权利要求2所述的图像处理设备，其中，高分辨率图像生成器包括 图像帧确定器，被构造为通过使用位置确定的所述一部分光场数据确定标准图像帧和至少一个参考图像帧，所述一部分光场数据包括由确定的最终a值确定的位置； 点扩散函数确定器，被构造为基于所述至少一个参考图像帧相对于标准图像帧的亚像素位移的量，确定点扩散函数； 图像插值器，被构造为通过对标准图像帧进行插值生成包括比标准图像帧更高分辨率的高分辨率标准图像帧；以及 图像恢复器，被构造为通过使用生成的高分辨率标准图像帧、点扩散函数和所述至少一个参考图像帧更新高分辨率标准图像帧来恢复高分辨率图像。
7.如权利要求6所述的图像处理设备，其中，亚像素位移的量表示与标准图像帧对应的光场数据和与每个参考图像帧对应的光场数据之间的位置差。
8.如权利要求6所述的图像处理设备，其中，图像帧确定器还被构造为 将从一个角度看到的视像确定为标准图像帧；以及 通过使用位置确定的所述一部分光场数据将从另一角度看到的至少一个视像确定为参考图像帧，所述一部分光场数据包括由最终a值确定的位置。
9.如权利要求6所述的图像处理设备，其中，点扩散函数确定器还被构造为基于每个参考图像帧相对于标准图像帧的亚像素位移的量，将二维高斯函数确定为点扩散函数。
10.如权利要求6所述的图像处理设备，其中，图像恢复器包括 残差值生成器，被构造为通过使用生成的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考图像帧和标准图像帧的点扩散函数生成残差值； 图像更新器，被构造为通过使用所述残差值更新高分辨率标准图像帧。
11.如权利要求10所述的图像处理设备，其中，所述残差值包括所述一个参考图像帧减去高分辨率标准图像帧与点扩散函数的卷积的值。
12.如权利要求10所述的图像处理设备，其中，如果更新高分辨率标准图像帧，则残差生成器还被构造为通过使用更新的高分辨率标准图像帧、所述至少一个参考图像帧中的另一参考图像帧以及基于所述至少一个参考图像帧中的另一参考图像帧和标准图像帧的点扩散函数生成所述残差值。
13.如权利要求12所述的图像处理设备，其中，所述残差值包括所述至少一个参考图像帧中的另一参考图像帧减去更新的高分辨率标准图像帧与点扩散函数的卷积的值。
14.如权利要求I所述的图像处理设备，还包括光场数据捕捉器，所述光场数据捕捉器包括 第一光学单元，被构造为形成对象的图像； 光电传感器阵列，被构造为捕捉光线； 布置在第一光学单元和光电传感器阵列之间的第二光学单元，被构造为基于光线的方向分离光线来将光线弓I导向光电传感器阵列。
15.一种图像处理方法，所述方法包括 根据期望的聚焦位置，确定与场景对应的光场数据中的一部分光场数据的位置； 通过使用位置确定的所述一部分光场数据生成重新聚焦的第一图像； 生成包括相对于重新聚焦的第一图像的预定设置比率的高分辨率图像； 通过使用关于位置确定的所述一部分光场数据的相似性，确定高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率；以及 根据局部合成比率，通过合成高分辨率图像和重新聚焦的第一图像的放大图像来生成合成图像。
16.如权利要求15所述的图像处理方法，其中，确定所述一部分光场数据的位置的步骤包括 设置与表示场景的图像的一部分对应并包括期望的聚焦位置的第二图像； 当改变变化的a值时生成第二图像的多个重新聚焦图像，所述变化的a值表示成像平面和重新聚焦平面之间的关系；从变化的a值确定最终a值，所述最终a值允许生成第二图像的最高清晰度的重新聚焦图像；以及 通过使用确定的a值确定所述一部分光场数据的位置。
17.如权利要求15所述的图像处理方法，其中，在确定局部合成比率的步骤中，确定局部合成比率，以使对于包括关于位置确定的所述一部分光场数据的较高相似性的部分，以较高的合成比率合成高分辨率图像。
18.如权利要求15所述的图像处理方法，其中，确定局部合成比率的步骤包括 生成表示在根据表示成像平面和重新聚焦平面之间关系的a值确定的位置的光场数据的强度的非均匀性的非均匀映射； 通过使用非均匀映射，生成包括关于高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率的信息的比率非均匀映射；以及以所述设置比率放大比率非均匀映射。
19.如权利要求15所述的图像处理方法，其中，生成合成图像的步骤包括 以所述设置比率放大重新聚焦的第一图像；以及 以确定的局部合成比率合成重新聚焦的第一图像的放大图像和高分辨率图像。
20.如权利要求16所述的图像处理方法，其中，生成高分辨率图像的步骤包括 通过使用确定的a值,确定标准图像帧和至少一个参考图像帧； 基于所述至少一个参考图像帧相对于标准图像帧的亚像素位移的量，确定点扩散函数； 通过对标准图像帧进行插值，生成包括比标准图像帧更高分辨率的高分辨率标准图像帧；以及 通过使用生成的高分辨率标准图像帧、点扩散函数和所述至少一个参考图像帧更新高分辨率标准图像帧来恢复高分辨率图像。
21.—种处理获得的四维(4D)光场的方法，所述方法包括 确定期望的聚焦位置并估计用于聚焦位置的a值，所述a值表示成像平面和重新聚焦平面之间的关系； 根据a值，从角数据生成重新聚焦图像； 根据a值，基于角数据的亚像素位移，通过增加聚焦区域的分辨率生成高分辨率图像； 根据a值，通过检查角数据的相似性，将聚焦区域和失焦区域分开；以及 执行重新聚焦图像和高分辨率图像的融合。
22.如权利要求21所述的方法，其中，通过改变a值直到生成最高清晰度的重新聚焦图像来确定a值。
23.一种计算机可读信息存储介质，所述计算机可读信息存储介质存储用于使计算机执行如权利要求15所述的方法的程序。
24.一种计算机可读信息存储介质，所述计算机可读信息存储介质存储用于使计算机执行如权利要求21所述的方法的程序。
25.—种图像处理方法,包括 从与场景对应的光场数据，生成与表示场景的图像的一部分对应的重新聚焦图像，所述重新聚焦图像包括期望的聚焦位置； 生成重新聚焦图像的放大图像； 使用与所述图像的所述一部分对应的光场数据生成与放大图像对应的高分辨率图像；以及 基于高分辨率图像和放大图像生成合成图像。
26.如权利要求25所述的方法，其中，在与所述图像的所述一部分对应的多个图像中，重新聚焦图像具有最高清晰度。
27.如权利要求25所述的方法，其中，根据计算的比率，通过合成高分辨率图像和放大图像来生成合成图像。
全文摘要
提供了一种通过使用光场数据能够提供针对期望的位置的高分辨率图像的图像处理设备和图像处理方法。所述图像处理设备可根据期望的聚焦位置确定与场景对应的光场数据中的一部分光场数据的位置，通过使用位置确定的所述一部分光场数据生成重新聚焦的第一图像，生成具有相对于重新聚焦的第一图像的预定设置比率的高分辨率图像，通过使用关于位置确定的所述一部分光场数据的相似性来确定高分辨率图像和重新聚焦的第一图像的放大图像之间的局部合成比率，以及根据局部合成比率，通过合成高分辨率图像和重新聚焦的第一图像的放大图像来生成合成图像。
文档编号H04N5/262GK102656878SQ201080052839
公开日2012年9月5日 申请日期2010年11月24日 优先权日2009年11月27日
发明者任宰均, 姜周泳, 崔瑗熙, 朴炳冠, 李性德 申请人:三星电子株式会社