用于对用户选定的兴趣区域进行超分辨的系统和方法
【专利说明】用于对用户选定的兴趣区域进行超分辨的系统和方法
【背景技术】
[0001] 本发明的方面涉及图像处理，并且具体来说，涉及用于对一个场景的多个部分进 行超分辨的系统和方法。在最近几十年中，电子装置的使用已变得普遍。确切地说，电子技 术中的进展已降低了愈加复杂且有用的电子装置的成本。成本减少和消费者需求已使电子 装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因 此需要电子装置的新的且改善的特征。更确切地说，通常寻求执行功能更快、更高效或者质 量更高的电子装置。
[0002] 例如数码相机、带有内嵌相机的电话或其它相机或传感器装置的装置可以用于创 建和存储场景的图像。在许多情况下，有大量因素限制和降低了捕获的图像的质量，例如大 气模糊、运动效应、相机模糊效应和采样效应。超分辨是指产生分辨率比给定相机传感器可 以捕获的分辨率更高的图像。超分辨是一个资源密集型过程，并且对整个场景进行超分辨 可能会花费比装置用户优选的更大的时间量或装置资源。因而可能需要改善超分辨过程中 的效率的系统和方法。
【发明内容】
[0003] 本发明描述用于改善用户选定的兴趣区域的图像质量的方法、装置、系统和计算 机可读媒体。一个实施例可以是一种方法，其包含：使用装置的相机模块捕获场景的至少一 个图像；在所述装置处接收识别兴趣区域的用户输入，其中所述兴趣区域识别所述场景的 至少一个图像的小于所述至少一个图像的完整区域的部分；以及通过如下操作使用所述场 景的所述至少一个图像创建所述兴趣区域的较高分辨率图像：创建与所述兴趣区域的所述 较高分辨率图像相关联的高分辨率栅格；识别与所述场景的所述至少一个图像的所述部分 相关联的一或多个低分辨率栅格，其中每一低分辨率栅格与一个图像相关联，并且其中每 一低分辨率栅格的每一点包括所述相机模块捕获的信息；确定所述高分辨率栅格与所述一 或多个低分辨率栅格中的每一者之间的对准；以及用从来自所述一或多个低分辨率栅格的 对应对准像素得来的信息填充所述高分辨率栅格的每一点。
[0004] 此方法的额外实施例可在如下情况下起作用：其中在接收到识别兴趣区域的用户 输入之前捕获所述场景的至少一个图像；并且其中识别所述兴趣区域的用户输入是当在显 示器输出上显示场景时，在显示器输出上的识别所述至少一个图像的所述部分的触摸屏输 入。
[0005] 此方法的额外实施例可在接收到识别兴趣区域的用户输入之后捕获场景的至少 一个图像的情况下起作用。
[0006] 此方法的额外实施例可在如下情况下起作用：其中场景的至少一个图像由场景的 单个图像组成，并且其中创建兴趣区域的较高分辨率图像包括使用在场景的单个图像中识 别的补片冗余从场景的单个图像创建兴趣区域的较高分辨率图像。
[0007] 此方法的额外实施例可以进一步包括：在所述捕获所述场景的所述至少一个图像 之前在所述装置处接收用户输入，所述用户输入选择有待捕获的多个图像以用于创建所述 兴趣区域的所述较高分辨率图像，其中捕获所述至少一个图像包括自动捕获所述场景的所 述多个图像；以及其中创建所述兴趣区域的较高分辨率图像包括在多帧超分辨过程中使用 所述多个图像中的每一图像创建兴趣区域的较高分辨率图像，而不创建所述场景的在兴趣 区域外部的较高分辨率图像部分。
[0008] 此方法的额外实施例可以进一步包括在装置的显示器输出上显示兴趣区域的较 高分辨率图像。
[0009] 此方法的额外实施例可以进一步包括：当在所述装置的所述显示器输出上显示所 述兴趣区域的所述较高分辨率图像的同时，识别所述装置上可用的空闲计算机处理单元循 环；以及当在所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，创建所 述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
[0010] 此方法的额外实施例可以进一步包括：捕获所述装置上的至少一个传感器的传感 器数据；以及使所述传感器数据与所述至少一个图像相关联，其中所述传感器数据用于创 建所述兴趣区域的较高分辨率图像。
[0011] 此方法的额外实施例可在所述传感器数据包括来自装置的加速计的运动数据的 情况下起作用。
[0012] 此方法的额外实施例可以进一步包括：显示所述兴趣区域的所述较高分辨率图像 作为预览图像；接收响应于所述显示所述预览图像而请求额外增加所述兴趣区域的所述较 高分辨率图像的分辨率的用户输入；以及通过如下操作使用所述场景的所述至少一个图像 创建所述兴趣区域的额外较高分辨率图像：创建与所述兴趣区域的所述额外较高分辨率图 像相关联的额外较高分辨率栅格；识别包括所述高分辨率栅格的一或多个高分辨率栅格； 确定所述额外较高分辨率栅格与所述一或多个高分辨率栅格中的每一者之间的对准；以及 用从来自所述一或多个高分辨率栅格的所述对应对准像素得来的信息填充所述额外较高 分辨率栅格的每一点。
[0013] -个额外实施例可以是一种装置，其包括：存储器；用户输入模块；相机模块，其 包括传感器；以及处理器，其耦合到所述存储器和所述相机模块，所述处理器经配置以：使 用所述装置的所述相机模块捕获场景的至少一个图像；在所述用户输入模块处接收识别兴 趣区域的用户输入，其中所述兴趣区域识别所述场景的至少一个图像的小于所述至少一个 图像的完整区域的部分；以及通过如下操作使用所述场景的所述至少一个图像创建所述兴 趣区域的较高分辨率图像：创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率 栅格；识别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格， 其中每一低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括所述 相机模块捕获的信息；确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之 间的对准；以及用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述 高分辨率栅格的每一点。
[0014] 此装置的额外实施例可以进一步包括显示器输出；其中在接收到识别所述兴趣区 域的所述用户输入之前捕获所述场景的所述至少一个图像；并且其中所述用户输入模块所 述显示器输出的触摸屏输入。
[0015] 此装置的额外实施例可在处理器进一步经配置以进行以下操作的情况下起作用： 在所述装置的所述显示器输出上显示所述兴趣区域的所述较高分辨率图像。
[0016] 此装置的额外实施例可在处理器进一步经配置以进行以下操作的情况下起作用： 当在所述装置的所述显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，识别 所述处理器上可用的空闲计算机处理单元循环；以及当在所述显示器输出上显示所述兴趣 区域的所述较高分辨率图像的同时，使用所述场景的所述至少一个图像创建所述至少一个 图像的在所述兴趣区域外部的至少一部分的第二较高分辨率图像。
[0017] 此装置的额外实施例可在下面的情况下起作用：所述场景的至少一个图像由所述 场景的单个图像组成，并且其中创建所述兴趣区域的较高分辨率图像包括使用在所述场景 的单个图像中识别的补片冗余从所述场景的单个图像创建兴趣区域的较高分辨率图像。
[0018] 此装置的额外实施例可在处理器进一步经配置以进行以下操作的情况下起作用： 在所述捕获所述场景的所述至少一个图像之前在所述装置处接收用户输入，所述用户输入 选择有待捕获的多个图像以用于创建所述兴趣区域的所述较高分辨率图像。
[0019] 此装置的额外实施例可以进一步包括耦合到处理器的加速计，其中所述处理器 进一步经配置以：从所述加速计捕获运动数据；使所述运动数据与所述至少一个图像相关 联；以及使用所述运动数据创建所述兴趣区域的所述较高分辨率图像。
[0020] 额外实施例可以是一种非暂时性计算机可读存储媒体，其包括指令集，所述指令 集在由耦合到存储媒体的处理器执行时，使装置改善用户选定的兴趣区域的图像质量，所 述指令包括：在所述装置处接收场景的至少一个图像；在所述装置处接收识别兴趣区域的 用户输入，其中所述兴趣区域识别所述场景的至少一个图像的小于所述至少一个图像的完 整区域的部分；以及通过如下操作使用所述场景的所述至少一个图像创建所述兴趣区域的 较高分辨率图像：创建与所述兴趣区域的所述较高分辨率图像相关联的高分辨率栅格；识 别与所述场景的所述至少一个图像的所述部分相关联的一或多个低分辨率栅格，其中每一 低分辨率栅格与一个图像相关联，并且其中每一低分辨率栅格的每一点包括相机模块捕获 的信息；确定所述高分辨率栅格与所述一或多个低分辨率栅格中的每一者之间的对准；以 及用从来自所述一或多个低分辨率栅格的对应对准像素得来的信息填充所述高分辨率栅 格的每一点。
[0021] 额外实施例可在所述指令进一步包括以下操作的情况下起作用：当在所述装置的 显示器输出上显示所述兴趣区域的所述较高分辨率图像的同时，识别所述装置上可用的空 闲计算机处理单元循环；以及当在所述显示器输出上显示所述兴趣区域的所述较高分辨率 图像的同时，创建所述至少一个图像的在所述兴趣区域外部的至少一部分的第二较高分辨 率图像。
[0022] 额外实施例可在指令进一步包括以下操作的情况下起作用：显示所述兴趣区域的 所述较高分辨率图像作为预览图像；接收响应于所述显示所述预览图像而请求额外增加所 述兴趣区域的所述较高分辨率图像的分辨率的用户输入；以及通过如下操作使用所述场景 的所述至少一个图像创建所述兴趣区域的额外较高分辨率图像：创建与所述兴趣区域的所 述额外较高分辨率图像相关联的额外较高分辨率栅格；识别包括所述高分辨率栅格的一或 多个高分辨率栅格；确定所述额外较高分辨率栅格与所述一或多个高分辨率栅格中的每一 者之间的对准；以及用从来自所述一或多个高分辨率栅格的所述对应对准像素得来的信息 填充所述额外较高分辨率栅格的每一点。
[0023] 通过下文提供的详细描述，将明白其它实施例。
【附图说明】
[0024] 参照以下各图，可以实现对各种实施例的性质及优点的进一步理解。在附图中，类 似组件或特征可具有相同参考标记。另外，可通过在参考标记之后跟着短划线及在类似组 件当中进行区分的第二标记来区分相同类型的各种组件。如果说明书中只使用第一参考标 记，那么描述适用于具有相同第一参考标记的类似组件中的任一者，而与第二参考标记无 关。
[0025] 图IA示出了包括可以执行根据本文所述的实施例的超分辨的相机的装置的方 面；
[0026] 图IB示出了包括可以执行根据本文所述的实施例的超分辨的相机的装置的方 面；
[0027] 图2描述用于执行根据本文所述的实施例的超分辨的方法；
[0028] 图3示出了根据本文所述的实施例的用于使用低分辨率和高分辨率栅格来执行 超分辨的系统和方法的方面；
[0029] 图4示出了适用于各种实施例的装置的一个实例；
[0030] 图5描述用于执行根据本文所述的某些实施例的超分辨的方法；
[0031] 图6是根据某些实施例可以使用的计算装置的一个实施方案；以及
[0032] 图7是根据某些实施例的联网计算机系统的一个实施方案。
【具体实施方式】
[0033] 如上所述，本文所述的实施例涉及超分辨，这是一个产生分辨率比创建超分辨图 像的一或多个来源图像的分辨率更高的图像的过程。本文所述的实施例可以在期望超分 辨率时提供对装置资源的高效使用，方法是通过使得装置的用户能够识别图像中的兴趣区 域，并且使用处理资源创建仅仅兴趣区域的超分辨率图像，因而节省处理资源并且能实现 对超分辨率图像的更快速呈现。
[0034] 举例来说，对于上面有多张纸的桌子的图像，智能电话的用户可以激活超分辨率 模块，其在电话显示器中呈现所述图像的预览，并且带有一个界面使得能够选择所述图像 的包含单张纸的部分。这样可以使得用户能够在超