专利名称：超级分辨率数字变焦的制作方法
技术领域：
本发明一般涉及在无光学变焦能力的相机中在数字变焦期间改善图像 质量。
賴絲
相机中的光学变焦需要镜头的平移来放大图像。在诸如无线电话和个
人数字助理(PDA)中通常包括的相机之类的能力不太强的相机中，镜头 不移动。为了提供类似于变焦的功能，使用数字变焦，在数字变焦中，例 如，将图像的一部分剪掉，并简单地将其余图像放大以填充图像画面。如 这里所了解的，虽然数字变焦模仿了光学变焦所产生的放大，但与光学变 焦相比，其降低了图像质量。
发明内容
一种方法包括接收用户对相机中的数字变焦的选择，并作为响应而自 动生成多个图像。这些图像被数字变焦并然后叠加，以对用户透明地产生 改善的数字变焦图像。
可以利用超级分辨率技术来进行叠加。相机可被并入到无线电话、个 人数字助理(PDA)或其它不具有光学变焦能力的设备中。如果需要，则 在对图像进行变焦之前，可以去除各个图像的一部分以产生相应的裁剪后 图像，并且裁剪后图像被数字变焦。
在另一方面中， 一种装置包括成像器、与成像器通信以从成像器接收 信号的处理器以及计算机可读介质，该计算机可读介质可被处理器访问并 载有指令。这些指令使得处理器响应于预定用户命令而自动生成至少两个 图像，并对各个图像进行数字变焦以产生相应的变焦后图像。这些指令还 使得处理器将变焦后图像彼此叠加以产生经修改的变焦后图像。在另一方面中， 一种装置包括成像器、显示器以及处理器，该处理器 被配置为在显示器上呈现经修改的数字变焦图像，该经修改的数字变焦图 像包括至少两个所叠加的图像。
参考附图可最好地理解关于本发明的结构和操作二者的细节，在附图 中，相似的标号指相似的部件，并且其中
图1是示出可结合本发明原理的非限制性设备的透视图，其中示意性 地示出一些组件；以及
图2是根据本发明原理的非限制性逻辑的流程图。
具体实施例方式
首先参考图1，示出了一种装置(总地标为10),该装置可包括诸如 电荷耦合器件(CCD)之类的成像器12和接收来自成像器12的图像信号 的处理器14。处理器14可以访问计算机可读存储介质16，计算机可读存 储介质16例如是但不限于可移动或不可移动的固态存储器、盘存储器 等。图2的逻辑可被实现为介质16上的计算机指令，这些指令可被处理 器14执行，以根据以下给出的原理在显示器18上呈现数字变焦后的图 像。
装置10可被实现为无线电话、个人数字助理(PDA)或其它具有便 携式壳体20的便携式设备，其中在一个实施例中，显示器18可被枢转地 耦合到基底22。基底22可载有诸如电话键区(keypad)之类的输入装置 24以及一个或多个控制器(control) 26，输入装置24和控制器26 二者在 被操作时可以生成输入信号至处理器14。可以被输入的用户命令之一是
"数字变焦"命令。装置10可能没有光学变焦能力。无线电话接收器28 也可并入在装置10中。
现在参考图2，在框30，接收来自用户的预定命令，例如数字变焦命 令。该命令例如可以通过操作控制器26来生成。作为响应，在框32，来
自成像器12的多个图像在接下来的短时间中(例如，在接收到命令的几秒内)被自动捕获。这一操作自动发生并对用户透明。
在一些实施例中，在框34，各个图像的一部分被去除以产生裁剪后的 图像。在框36，例如通过扩展其余图像像素以填充原始图像区域来对裁剪 后的图像进行数字变焦。然后，在框38，通过彼此叠加变焦后的图像来组 合变焦后的图像，以产生经修改的变焦后图像，该经修改的变焦后图像比 得出该图像的任何图像都具有更高的分辨率。在一种实现方式中，可利用 诸如通过引用结合于此的美国专利6,208,765和7,218,751中公开的超级分 辨率(super-resolution)原理之类的超级分辨率原理来进行叠加。在框 40，经修改的变焦后图像被呈现在显示器上。
如这里所了解的，如果所使用的超级分辨率技术要求连续图像之间的 相对运动，则这一要求可以通过在人握持相机时发生的不可避免的手部移 动而得以满足，这会在几秒内产生一系列图像，这些图像彼此各略微有所 不同。如果需要对运动进行计算，可以采用运动估计算法。例如， 一种简 单算法可利用各个图像中的多组像素来估计运动，这些像素除了在图像内 的相对位置之外基本保持不变，运动向量是从这多组像素在各图像之间的 运动直接得出的。超级叠加技术可以在产生最终的经修改的变焦后图像的 过程中使用贝叶斯(Bayesian)或卡尔曼(Kalman)过滤技术。
超级分辨率处理可由上述处理器14接近实时地执行，或者在框32处 被捕捉并在框34处被裁剪的图像可以存储在介质16中并随后下载至个人 计算机等中以用于随后被离线执行的步骤，从而产生最终的经修改的高分 辨率图像，最终的经修改的高分辨率图像然后可被打印或显示在诸如PC 屏幕或电视之类的大显示器上。
尽管此处示出并详述了特定的超级分辨率数字变焦，但是将会了解， 本发明所包括的主题仅由权利要求限定。
权利要求
1.一种方法，包括接收用户对相机中的数字变焦的选择；自动生成多个图像；对至少一些图像的至少一些部分进行数字变焦；以及叠加至少一些图像以对所述用户透明地产生改善的数字变焦图像。
2. 如权利要求1所述的方法，其中叠加动作是利用超级分辨率技术 进行的。
3. 如权利要求l所述的方法，其中所述相机被并入到无线电话中。
4. 如权利要求1所述的方法，其中所述相机被并入到个人数字助理 (PDA)中。
5. 如权利要求1所述的方法，包括在数字变焦动作之前去除至少一 些图像的一部分以产生相应的裁剪后图像，所述数字变焦动作是对所述裁 剪后图像执行的。
6. —种装置，包括 成像器；处理器，该处理器与所述成像器通信以从所述成像器接收信号；以及 计算机可读介质，该计算机可读介质可被所述处理器访问并载有使得 所述处理器响应于预定用户命令而执行如下操作的指令 自动生成至少两个图像；对各个图像进行数字变焦以产生相应的变焦后图像；以及 将变焦后图像彼此叠加以产生经修改的变焦后图像。
7. 如权利要求6所述的装置，包括显示器，所述处理器在该显示器上呈现所述经修改的变焦后图像。
8. 如权利要求6所述的装置，其中所述装置不具备光学变焦能力。
9. 如权利要求6所述的装置，其中所述成像器是电荷耦合器件 (CCD)。
10. 如权利要求6所述的装置，其中所述装置被实现为无线电话。
11. 如权利要求6所述的装置，其中所述装置被实现为个人数字助理 (PDA)。
12. 如权利要求6所述的装置，其中所述预定用户命令是变焦命令。
13. 如权利要求6所述的装置，其中所述指令使得所述处理器在对各 个图像进行数字变焦之前对图像进行裁剪。
14. 一种装置，包括 成像器；显示器；以及处理器，该处理器被配置为在所述显示器上呈现包括至少两个所叠加 图像的经修改的数字变焦图像。
15. 如权利要求14所述的装置，其中所述图像是利用超级分辨率叠 加的。
16. 如权利要求14所述的装置，其中所述装置不具备光学变焦能力。
17. 如权利要求14所述的装置，其中所述成像器是电荷耦合器件 (CCD)。
18. 如权利要求14所述的装置，其中所述装置被实现为无线电话。
19. 如权利要求14所述的装置，其中所述装置被实现为个人数字助 理(PDA)。
全文摘要
本发明涉及超级分辨率数字变焦。当用户选择例如包括在无线电话或PDA中的相机中的数字变焦时，一系列图像被自动获得并被利用超级分辨率技术叠加，以对用户透明地产生改善的数字变焦图像。
文档编号H04N5/232GK101621622SQ20091013950
公开日2010年1月6日 申请日期2009年6月30日 优先权日2008年6月30日
发明者保罗·金·黄, 尼考劳斯·乔治斯, 费瑞德瑞克·卡皮奥 申请人:索尼株式会社;索尼电子有限公司