专利名称：具有多个分辨率的方法和照相机的制作方法
技术领域：
本发明涉及能够捕获具有局部改善的分辨率的图像的方法和照相机。本发明尤其是可以应用到数字照相机，例如摄影机、拍照手机(phonecam)，或者在一般情况下应用到设有图像传感器的任何设备。
背景技术：
对于远距离通信设备(如移动电话或者拍照手机)内装的数字照相机装置通常不能实现极高质量的图像捕获。质量下降主要来源于几种因素。由于移动设备的重量和尺寸必须减小，所以它没有复杂的透镜。类似地，与移动装置组合在一起的数字图像传感器的分辨率通常低于摄影机的分辨率。
拍摄装置的适度潜在能力，尤其是拍照手机的适度潜在能力，至少部分地要由图像文件的远距离传输约束条件调整。的确，这些文件必须具有与通信带宽相容的数字权重。在用于显示所说图像的控制屏尺寸的减小当中可以发现这是另一种调整，这一般给出质量是令人满意的印象。
为了改进图像质量，已经提出了变焦透镜。这些透镜是具有液体透镜的透镜系统，其中在电场的作用下可以改变两种不相溶的液体之间的接触弯月面的曲线。作为信息，可以参照在本说明书末尾给出的文献(1)和(2)。变焦透镜系统使照相机配有聚焦功能和/或变焦功能。
尽管具有上述的改进，但使用拍照手机捕获的数字图像在一般情况下对于用于放大或照片硬拷贝的质量来说总是不够好的。因此，在大屏幕上显示图像时，或者在打印图像时，分辨率限制的出现是比较严重的，有时是致命的。
远距离发送图像的可能性、目标在普通公众的适度成本、移动设备的能量和存储器资源、还有获得的图像的质量和分辨率，这些目标似乎是相互冲突的。
发明内容
本发明的目的是提出使所捕获的图像能够放大的同时还可保持高质量清晰度的方法和照相机。
本发明还有一个目的是实现(如果需要)可能具有适度的拍摄装置的设备捕获这样的图像。
本发明下一个目的是提出一种方法和照相机，它的成本相对于图像质量的可能增益来说特别地低。
为了实现这些目标，本发明的目的更加准确地说就是一种拍照方法，所说拍摄方法包括响应释放拍摄-按照第一拍摄场，使用具有变焦透镜并且调节到第一焦距的照相机捕获第一图像，所说第一焦距最好小于透镜的最大焦距，-在第一图像中自动寻找感兴趣区域，并且，当找到至少一个感兴趣区域时，-自动改变焦距，以便固定(tighten)围绕这个感兴趣区域的拍摄场，-在固定这个拍摄场以后自动捕获第二图像，-通过组合第一和第二图像自动产生组合图像。
这样最终获得的组合图像具有图像分辨率较高的区域，这些区域就是感兴趣区域。的确，每个感兴趣区域都是用照相机图像传感器的高分辨率捕获的，或者至少是使用传感器的一个大的面积捕获的，但它只占据最终图像的面积的一个部分。感兴趣区域例如对应于这个图像的一些面或者构造成的部分，它的细节通常会吸引观察人员的注意力。而另外一些区域的分辨率仍旧是受到较大的限制的。例如有天空区或者背景区。这些区域的数据实际上来自于第一捕获的图像，即，传感器所覆盖的一个较宽的场的图像。
与感兴趣区域对应的第二图像的捕获最好在捕获第一图像后极快地发生，并且这是自动发生的，用户不必再次地按压释放。通过增加透镜的焦距来固定拍摄场。具体来说，固定拍摄场以达到所选的感兴趣区域的边缘。
按照一种改进方案，还可能自动改变透镜光轴的倾斜角，以便在捕获第二对应图像的时候向每个感兴趣区域自动引导光轴。
通过向感兴趣区域引导所说光轴，有可能进一步固定拍摄场，具体来说对于位于起始的拍摄场的边缘的感兴趣区域，进一步固定拍摄场。
的确，第二图像是自动捕获的，即，用户不必有意地改变取景(framing)。这样，在不改变光轴的情况下完成的拍摄场的强烈减小可能会从场的某些外围带中排除，并且只对中心区才能有效地实现这个方法。然而，光轴从第一图像的中心向感兴趣区域的中心的倾斜角使拍摄场位于这个感兴趣区域的中心以便捕获第二图像。例如，通过使用一个执行机构，例如压电执行机构，使透镜或光学系统略微枢轴转动一点，就可产生透镜光轴的改变。另一个解决方案是使用一个光楔，所说光楔可以通过转动引导，如在本说明书末尾给出的文献(3)中所描述的。
拍摄场的改变最好与在每次捕获第二图像时在感兴趣区域上的自动聚焦同时发生。这样做能改善所捕获的第二图像(一个或多个)的清晰度。
在一个图像内对于感兴趣区域的搜寻可能要满足各种不同的标准。最简单的情况是，可以选择具有光强度的最高空间梯度的图像区域作为感兴趣区域。这就意味着，可以排除均匀展开的天空、水、草木、地表等。在比较复杂的情况下，可以选择主要色彩确定为皮肤颜色的图像区域为感兴趣区域。这意味着可以选择人的面部作为感兴趣区域。另一种技术是识别预先设定的图像中的几何图形，这些几何图形例如可以对应于口和眼睛。可以认为围绕这些几何图形的区域对应于人的面部，并且将其选为感兴趣区域。
作为感兴趣区域的搜寻技术的说明，可以参照在本说明书末尾给出的文献(6)和(7)。
如以上所述，在感兴趣区域中心的图像，即第二图像，最好在第一图像之后极快地捕获到。如果是这种情况，就可以假定，它包含的整个场景和感兴趣区域至少作为第一近似或多或少是固定的。
尽管如此，实现用于捕获对象一直快速运动的场景的图像的方法也是可行的。例如拍摄运动的对象就是这种情况。
在这种情况下，所说方法可以补充一个步骤估算每个感兴趣区域的图标内容的移动。当产生组合图像以分别校正在第一图像的捕获和每一第二图像的捕获之间每个感兴趣区域的图标内容的任何位移或畸变时，可以使用这一估算。从对应于在感兴趣区域上聚焦的那些参数，可以估算出这一移动。这些参数例如是在第一和第二图像之间的聚焦差或光轴差、在第一和第二图像的捕获之间的放大比和/或等待时间。于是，场景中或者手持相机的用户的任何移动都不会妨碍最终的合成图像的正确构成。
通过组合第一和第二图像来构成最终的图像。为此，最好使用JPEG 2000型格式，这种格式能够组合具有不同分辨率的各种不同的图像部分。构成最终图像的本质上在于用对应的第二图像代替第一图像的感兴趣区域。对于第二图像指定能以第一图像的比例刻度插入第二图像的一个放大比例，由此实现图像各个部分的替换。这一比例取决于捕获每个第二图像所产生的焦距的改变。构造合成图像(也称之为分辨率可变的图像)使用的是公知的替换和重构技术。作为信息，可以参照在本说明书末尾给出的文献(4)。
本发明还涉及用于实施上述方法的一种照相机。虽然这种照相机还可以用于捕获图像序列，如运动图像照相机，但是这种照相机主要功能是捕获这里处理的静止图像。
这个设备准确地说可以是数字照相机，或者像在本文开始段提到的，是一个组合照相机功能和远距离通信功能的设备，如拍照手机。
所说照相机包括变焦透镜和用于检测图像中的感兴趣区域的图像分析装置。透镜由分析装置控制，以便固定地围绕所捕获的图像的至少一个感兴趣区域实现取景，用于捕获与感兴趣区域对应的至少一个附加图像。
除了按照本发明调节焦距以外，存在具有可变焦距的摄影透镜还能为用户提供常规的变焦功能。还可以提供一种机构，用于防止用户在捕获第一图像时将变焦调到最大焦距，从而为自动捕获第二图像(如果必须这样做的话)留有固定拍摄场的边缘。
虽然具有可变焦距的透镜可以是配备一个电机以便移动固体透镜系统的透镜，但最好是具有液体透镜的静电控制的透镜系统。具体来说，这些透镜是上述的文献(1)和(2)描述的那种类型的透镜。液体透镜的优点是机械惯性低。因此，它们容易适应焦距的快速改变。这一性质能使第一和第二拍摄连续快速地实现，因此用户不必进行特殊的努力就可以在连续拍摄期间保持取景。如果拍摄的连接足够地快，用户可能感觉不到这种方法的实现过程。
建立合成图像可以在照相机内发生，也可以不在照相机内发生。照相机可以简单地只提供第一和第二图像的数字数据。照相机还可以配备合成图像建立装置，响应用户的释放操作可以使用捕获的所有图像的数字数据，因此可以为合成图像直接提供数据。
合成图像建立装置和先前提到过的图像分析装置可以包括为进行适当的数字数据处理编程的一个专用的中央处理单元或微控制器。
本发明的其它特征和优点在下面参照附图的描述中将成为显而易见的。这一描述的给出纯粹是为了说明，而不是进行限制。唯一的附图是一个流程图，概括了按照本发明的方法的特定实施步骤。
具体实施例方式
为简单起见，术语“图像”用于代表通过照相机捕获的摄影图像，还用于代表对应于图像的数字数据或数字文件。
该方法的第一个步骤10包括第一图像12的捕获。响应一次拍摄的释放，捕获所说的图像，所说的图像对应于用户限定的一个取景的和拍摄场。或多或少幸运的是，使用照相机的取景器或小型控制屏幕就可以控制取景。拍摄场也是由用户确定的，用户可以移近或者远离要拍摄的场景，或者可以使用照相机的变焦进行调节。变焦按照透镜的视场对焦距产生作用。
由照相机的图像传感器13提供的图像发送到中央处理单元14，在中央处理单元14对于图像进行分析，以便提取感兴趣区域16a、16b。如先前提到过的，这就意味着确定了图像中具有光强度的强烈空间梯度的区域，从而可以检测面部或预先确定的形状等。然而，还可能寻找颜色均匀或对比度低的区域19，并且使这些区域成为感兴趣区域的补充。
在附图中标号20表示自动寻找感兴趣区域的步骤。在所示的实例中，步骤20确定两个感兴趣区域，它们与面部和一棵树对应。在附图中用点划线表示这些区域。对于每个检测到的感兴趣区域，分别自动进行附加的拍摄22a、22b。所捕获的第二图像的标号为24a、24b。
虽然第二图像的边框不一定非要对应于传感器提供的图像的整个场，但是第二图像的边框要包围感兴趣区域，感兴趣区域因此得益于较大的光学放大，这是因为焦距增加并且透镜的视场减小的缘故。
的确，照相机13配备有透镜26，透镜26具有可变的焦距并且可能还具有可变的光轴。这种透镜是响应感兴趣区域的检测由中央处理单元14控制的，从而围绕每个所检测到的感兴趣区域固定取景，并因此固定拍摄场。捕获第二图像24a和24b。改变透镜轴或者光楔取向的执行机构也可由中央处理单元14控制。其目的在于把光轴指向感兴趣区域，从而在捕获第二图像期间使取景在这些区域的中心。就可利用的最大焦距所允许的而论，所捕获的感兴趣区域是“全帧”，因此在图像传感器上占据最大可能的表面面积。这一举措使最大有用的数字数据可对应于将要获得的感兴趣区域。
第一图像12和第二图像24a、24b的数据都由中央处理单元14控制，从而在最后一个步骤30建立一个组合图像32，其中第一图像的感兴趣区域16a、16b的数字数据由第二图像24a、24b的数字数据代替。这种代替在图像24a、24b的尺寸调节之后完成。这样最终获得的组合图像32具有分辨率较低的区域和分辨率较高的区域。分辨率较高的区域对应于感兴趣区域。当将最后获得的组合图像放大时，它仍然保持在感兴趣区域非常详细。因此，不管在感兴趣区域周围的分辨率是否受到较大的限制，图像32的放大都不会损害它的整体的表观质量。因而，可以在一个很大的屏幕上显示这个图像，或者使这个图像成为照片硬拷贝的对象。
对于在图像16a和24a以及在图像16b和24b之间的几何学方面的差异和/或色度学方面的差异进行适当的分析，从而可以修改(如果必要的话)图像24a、24b，以产生质量最佳的组合图像32。
的确，在建立最终的组合图像之前的附加步骤28可包括所捕获的第二图像数据的各种不同的格式化操作。这些操作之一例如是重新计算第二图像的图标内容的先前位置，以便校正由于图标内容的位移引起的任何移动或者照相机用户的任何移动。这种操作例如包括建立从两个图像获得的位移矢量、将它们调节到相同的基线和分辨率、表示相同的感兴趣区域和分别对应于第二图像和第一图像的相关区域之一。然后，逐点地校正第二图像的相位，或者可能还要校正第一图像的相位。校正的程度直接地依赖于先前估算的位移矢量的幅度和方向。所说操作还可以包括移动第二图像的图标元，以便在第一图像的感兴趣区域的对应的图标元上最好重叠第二图像的图标元。为此，要将第一和第二图像的感兴趣区域之间的校正函数调至最小。
附加步骤28还可以用于第二图像的可能的删除，这些第二图像原来会是偶然发生散焦或者它们的图标内容与第一图像相比偶然会相差太多以致于不能插入。在这种情况下，在最终的图像中保存第一图像的对应的感兴趣区域的数据。
在附图中，照相机13表示为一个摄影机。然而，照相机13可由任何数字照相机设备代替，特别是由包括上述功能的拍照手机代替。
引用的文献(1)WO 03/069380(2)EP 1019758(3)US 6686956(4)“超分辨率图像的重构”IEEE信号处理杂志1053/5888/03，2003年5月，21-36页(5)US2004/0041919(6)Ming-Hsuan Yang，David Kriegman，Narendra Ahuja，“在图像中检测面部一次调查”，IEEE学报关于图形分析和机器智能(PAMI)，第24卷，第1期，34-58页，2002年。
(7)Jiebo Luo，Amit Singhal，Stephen R Etz，Robert T Gray，“在照片中确定主要对象区域的计算方法”，图像和视觉的计算，2001年。
权利要求
1.一种拍照方法，包括响应拍摄释放-按照第一拍摄场，使用配有变焦透镜并且调节到第一焦距的照相机(13)捕获(10)第一图像(12)，-在第一图像中自动寻找(20)至少一个感兴趣区域(16a、16b)，-自动改变焦距，以便固定围绕这个感兴趣区域的拍摄场，-按照固定的拍摄场自动捕获至少一个第二图像(24a、24b)，-通过组合第一和第二图像(24a、24b)自动建立组合图像(32)。
2.根据权利要求1所述的方法，所说方法还包括如下步骤在捕获每个第二图像(24a、24b)时，分别自动聚焦在每个感兴趣区域(16a、16b)上。
3.根据权利要求1所述的方法，所说方法还包括如下步骤在捕获每个第二图像时，改变变焦透镜的光轴以便分别向每个感兴趣区域自动引导所说光轴。
4.根据权利要求1所述的方法，所说方法还包括如下步骤估算每个感兴趣区域的图标内容的移动，并且校正(28)第一图像和第二图像中的至少一个以补偿在捕获第一图像和捕获对应的每个第二图像之间图标内容的移动。
5.一种照相机(13)，所说照相机包括具有可变焦距的透镜(26)和第一捕获的图像(12)的分析装置，所说分析装置用于检测第一图像内的感兴趣区域，其中，所说透镜是由分析装置控制的从而可以实现固定地围绕第一图像的至少一个感兴趣区域取景，用于自动捕获与感兴趣区域对应的至少一个第二图像(24a、24b)，所说照相机还包括使用固定场的第一捕获的图像和第二捕获的图像建立组合图像(32)的装置。
6.根据权利要求5所述的照相机，所说照相机还包括一个中央处理单元(14)，用于形成图像分析装置和建立组合图像的装置。
7.根据权利要求5所述的照相机，其中变焦透镜(26)是一个电可寻址的液体透镜系统。
全文摘要
一种拍照方法，包括响应拍摄释放按照第一拍摄场，使用配有变焦透镜并且调节到第一焦距的照相机(13)捕获(10)第一图像(12)；在第一图像中自动寻找(20)感兴趣区域(16a、16b)；当找到至少一个感兴趣区域的时候，自动改变焦距，以便固定围绕感兴趣区域的拍摄场；按照固定的拍摄场自动捕获至少一个第二图像(24a、24b)；通过组合第一图像和第二图像自动建立组合图像(32)。
文档编号H04N5/232GK1981516SQ200580022706
公开日2007年6月13日 申请日期2005年6月13日 优先权日2004年7月5日
发明者J·-M·福, N·P·B·图沙德, C·E·M·帕平 申请人:伊斯曼柯达公司