专利名称：便携式终端中全景摄影的装置和方法
技术领域：
本发明一般涉及在便携式终端中全景摄影的装置和方法，并且更具体地涉及一种搜索重叠区域和拼接图像从而增强在全景摄影期间拼接图像质量的装置和方法。
背景技术：
近来便携式终端例如移动通信终端和个人数字助理(PDA)得到了广泛应用。这些便携式终端为用户提供了各种功能，例如除了，简单的通话和安排以外，使用嵌入式数码相机拍照、观看电影、收听数字广播节目、编辑文档、和玩游戏。由于为用户提供了各种附加功能，其可用性提高。
特别的兴趣在于支持以嵌入式相机全景摄影的便携式终端。通过获取两帧或多帧图像并将所获取图像拼接成一帧图像而实现全景摄影。需要新的技术来精确对准待拼接的两帧图像间的重叠区域以获得自然的结果图像。为提高重叠区域的精度，常规方法中已经有对准仪(alignment equipment)方法和屏幕显示(OSD)引导方法。
对准仪方法通过提供附加的瞄准仪而拼接两帧或多帧图像以提高重叠区域的精度。OSD引导方法在显示单元中显示之前所拍摄的前帧图像的一部分作为下一次图像拍摄的引导。
因为对准仪方法需要附加的瞄准仪，所以其便携性较差且生产成本增加。OSD引导方法通过将一部分前帧图像半透明地显示到显示单元中从而技术较为简单。然而，由于用户必须调整重叠区域的宽度和高度基线因此OSD引导方法降低了用户的便利性，并且因为在通过小显示单元对准重叠区域时容易产生错误，所以该方法可能显示不正确的结果图像。
另一方面，尽管在不同的光角和拍摄位置拍摄所获取的每帧图像，但是在全景摄影期间常常对所有图像相同地设置拍摄参数例如自动白平横、自动曝光平衡等等。因此，所获取的每帧图像表现各自不同的亮度和色调。因而界面显得不自然并且总色调不均匀。
发明内容
本发明的一个目的在于至少基本上解决上述问题和/或缺点，并提供至少下面的优点。因此，本发明的目标在于提供一种在便携式终端中全景摄影的装置和方法。
本发明的另一个目的在于提供一种便携式终端中全景摄影的装置和方法，其在全景摄影期间搜索重叠区域以拼接图像。
本发明的另一个目的在于提供一种便携式终端中全景摄影的装置和方法，其在全景模式的拍摄期间增强所拼接图像的图像质量。
根据本发明一方面，一种便携式终端中全景摄影的装置包括拍摄图像的照相机单元；储存所拍摄图像的存储单元；在全景摄影期间显示重叠区域的显示单元；引导单元，用于在全景摄影期间从储存在存储单元中的前帧图像选择重叠区域，并将重叠区域提供到该显示重叠区域的显示单元中；以及拼接单元，该单元在当前图像的重叠区域中搜索与先前图像重叠区域中的搜索区间相同的相同区间、拼接该前帧图像和当前图像以重叠该前帧图像的搜索区间和当前图像的相同区间、并生成拼接图像。
根据本发明的另一方面，一种便携式终端中全景摄影的方法包括在全景摄影期间将前帧图像的重叠区域显示在显示单元中；拍摄当前图像；在当前图像重叠区域中搜索与前帧图像的搜索区间相同的区间；以及拼接前帧图像和当前图像以重叠前帧图像的搜索区间和当前图像的相同区间，并生成拼接图像。
通过下面结合附图的详细描述，本发明的上述及其它目标、特征和优点会更清晰，其中图1是根据本发明的全景摄影装置的框图；图2是描述根据本发明的针对全景摄影的处理的流程图；和图3A到3C是根据本发明的全景摄影重叠区域、搜索区间、及搜索向量的平面图。
具体实施例方式
下面将参照附图描述本发明的优选实施例。在下面的描述中，因为不必要的细节会模糊本发明，所以没有详细描述熟知的功能或构造。
本发明提供一种全景摄影的装置和方法，其在全景摄影期间搜索重叠区域、拼接图像、以及增强所拼接图像的图像质量。下面将参照图1详细描述该装置。
图1是根据本发明的全景摄影装置的框图。图1将参照图3A到3C进行描述。图3A到3C分别是根据本发明的全景摄影的前帧图像重叠区域、所述重叠区域中的搜索区间、及搜索向量的平面图。
参照图1，全景摄影装置包括控制单元100、照相机单元102、存储单元104、显示单元106、引导单元108、拼接单元110、及图像质量增强单元112。
照相机单元102通过控制单元100的命令汇聚光学图像的光线，改变焦点，并通过光电转换拍摄入射光图像。存储单元104在通过照相机单元102拍摄图像和拍摄全景摄影的第一帧图像期间储存拍摄信息，例如闪光操作、曝光度等等。
显示单元106半透明地显示引导单元108选择的重叠区域。该重叠区域是在前面拍摄的前帧图像的一部分。显示单元106可采用液晶显示器(LCD)。重叠区域是组合下一帧拍摄图像的引导，并处在前帧图像和下帧图像拼接的方向上。图3A代表当下帧拍摄图像被拼接到前帧图像右侧时的重叠区域。该重叠区域尺寸为XOSD和YOSD。重叠区域尺寸以方程(1)表示XOSD＝αX，α＝{x|0.1≤x≤0.5|}YOSD＝Y (1)其中XOSD是重叠区域宽度、YOSD是重叠区域高度、而α是决定重叠区域宽度的权重。
引导单元108在全景拍摄期间选择储存在存储单元104中的前帧图像的一部分作为重叠区域，并将该重叠区域提供在显示单元106中。
拼接单元110在全景拍摄期间选择前帧图像重叠区域中的搜索区间，并在当前所拍摄图像的重叠区域中搜索与所拍摄前帧图像重叠区域中搜索区间相同的区间。一旦找到相同区间，则拼接单元110通过重叠前帧图像的搜索区间和当前图像的相同区间而拼接两帧图像。该相同区间是前帧图像的重叠区域，即先前重叠区域的搜索区间302。在当前的重叠区域310即当前图像的重叠区域中搜索相同区间。搜索区间302的尺寸具有排除先前重叠区域300上、下、左、右的预定部分在外的尺寸。例如，当从先前重叠区域300排除的尺寸为8个像素时，搜索区间302的尺寸为(XOSD-8)(YOSD-8)。
拼接单元110通过采用如方程(2)所示的自然全局运动(Natural GlobalMotion，NGM)向量搜索当前重叠区域310中的相同区间，并且通过按照搜索区间302的尺寸搜索重叠区域而将具有最小向量值的区间确定为相同区间。
v→=argmin[Σi=1N(PP(i)-PC(i))2]---(2)]]>其中 是NGM，PP(i)是前帧图像的第i个像素值，Pc(i)是当前图像的第i个像素值，而N是重叠区域中的像素数。
而且，当拼接单元110对重叠区域的所有像素执行NGM搜索时，计算量增加。拼接单元110确定水平、垂直、和对角线方向上的模板(template)向量，并采用作为模板NGM平均值的最终NGM。参照图3C，模板向量是搜索区间中具有预定方向的预定数量向量。有水平向量 垂直向量 左-下对角线向量 和右-下对角线向量 另外，通过采用模板向量，最终NGM可以表示为方程(3)v→=14(v→h+v→v+v→l+v→r)---(3)]]>其中 是最终NGM， 是水平向量， 是垂直向量， 是左-下对角线向量， 是右-下对角线向量。
即，拼接单元110根据共具有四个方向的像素模式的向量使用方程(2)测量四个NGM、通过利用方程(3)对所测量四个NGM取平均值而测量最终NGM、并将具有所测量的最小最终NGM的区间作为与搜索区间302相同的区间。
图像质量增强单元112通过使用低带通滤波器处理两个图像实际重叠的拼接区域的界面，该界面是根据方程(4)处理的，然后通过根据方程(5)采用直方图均衡化将拼接图像处理为匀色。
P0(x)=19Σk=08Pi(k)---(4)]]>其中P0(x)是通过低带通滤波器的第x个像素，k是在包括第x个像素和相邻八个像素的全部九个像素中输入低带通滤波器的次序，而Pi(k)是低带通滤波器的第k个输入。
P0(x)=PmaxN×MH(x)---(5)]]>其中P0(x)是通过直方图均衡化的第x个像素值，Pmax是表示图像的最大像素值，N是图像宽度，M是图像高度，而H(x)是第x个像素的累积直方图值。
控制单元100控制引导单元108、拼接单元110、图像增强单元112。即，控制单元100可以控制引导单元108、拼接单元110、及图像质量增强单元112的功能。分开上述单元的原因在于解释各自的功能。因此，当具体化为实际产品时，可在控制单元100中处理所有功能或者部分功能。
而且，引导单元108、拼接单元110和图像增强单元112被包括在控制单元100中。
下面将参照附图2描述便携式终端中全景摄影的方法。图2是描述根据本发明一个实施例的全景摄影的处理的流程图。
参照图2，当步骤200中发生全景摄影事件时，全景摄影装置在步骤202中确定是否首次进行全景摄影。在步骤204，当首次进行全景摄影时使用光电转换拍摄初始图像。然后，在步骤206，储存设定参数例如自动白平衡和自动曝光平衡。在步骤208，储存步骤204中的初始图像，然后在步骤222确定全景拍摄是否完成。
当在步骤222没有完成全景拍摄时，在步骤210将前帧图像的重叠区域显示在显示单元106上。在步骤212，拍摄当前图像。然后，在步骤214，在当前图像的重叠区域中搜索与当前图像和前帧图像重叠区域搜索区间相同的区间。在步骤216，通过将相同区间重叠在搜索区间上而拼接前帧图像和当前图像。在步骤218，通过采用低带通滤波器和直方图均衡化而增强所拼接的图像质量。然后该处理继续到步骤222。步骤210到220重复直到在步骤222完成全景拍摄。
在步骤222，当检测到完成全景拍摄时，处理终止。
如上所述，本发明提供了一种全景摄影的装置和方法，其在全景摄影期间搜索重叠区域、拼接图像、和增强所拼接图像的质量，从而减少在图像拼接期间可能出现的错误并通过拼接图像的增强而提供自然图像。
尽管参照本发明的某些优选实施例示出和描述了本发明，但是本领域技术人员应理解可进行各种形式和细节的变化而不偏离所附加权利要求所限定的本发明的精神和范围。
优先权本申请要求2006年6月22日向韩国知识产权局提交并且所分配序号为2006-56245的申请的优先权，并引用其内容结合在此。
权利要求
1.一种便携式终端中用于全景摄影的装置，该装置包括拍摄图像的照相机单元；储存所拍摄图像的存储单元；在全景拍摄期间显示重叠区域的显示单元；引导单元，用于在全景拍摄期间从储存在存储单元中的前帧图像选择重叠区域，以将重叠区域显示在显示单元上；以及拼接单元，用于在当前图像的重叠区域中搜索与前帧图像的重叠区域中所包含的搜索区间相同的区间、拼接该前帧图像和当前图像从而该搜索区间和该相同区间重叠、以及生成拼接图像。
2.如权利要求1所述的装置，还包括增强所述拼接图像的图像质量的图像质量增强单元。
3.如权利要求1所述的装置，其中，所述拼接单元通过由下面方程计算的NGM(自然全局运动)向量，按照搜索区间的尺寸，搜索当前图像的重叠区域，以找到该相同区间，并且将具有最小NGM向量值的区间确定为该相同区间，v→=argmin[Σi=1N(Pp(i)-Pc(i))2]]]>其中， 是NGM，PP(i)是前帧图像的第i个像素值，Pc(i)是当前图像的第i个像素值，而N是重叠区域中的像素数。
4.如权利要求1所述的装置，其中，所述拼接单元定义最终NGM，并将具有最小的最终NGM值的区间决定为相同区间，所述最终NGM通过对具有预定数量向量的模板中的NGM取平均值来计算。
5.如权利要求4所述的装置，其中，对NGM取平均值通过使用下面方程计算v→=14(v→h+v→v+v→l+v→r)]]>其中， 是最终NGM， 是水平向量， 是垂直向量， 是左-下对角线向量， 是右-下对角线向量。
6.如权利要求5所述的装置，其中，通过使用下面方程来计算所述水平向量、垂直向量、左-下对角线向量和右-下对角线向量v→=argmin[Σi=1N(Pp(i)-Pc(i))2]]]>其中， 是NGM，PP(i)是前帧图像的第i个像素值，Pc(i)是当前图像的第i个像素值，而N是重叠区域中的像素数。
7.如权利要求2所述的装置，其中，所述图像质量增强单元通过使用低带通滤波器来增强拼接图像中组合区域界面的图像质量，该组合区域是实际上由前帧图像和当前图像重叠的。
8.如权利要求7所述的装置，其中，所述图像质量增强单元通过使用低带通滤波器来增强所述界面的图像质量，通过下面方程计算所述界面P0(x)=19Σk=08Pi(k)]]>其中，P0(x)是通过低带通滤波器的第x个像素，k是在包括第x个像素和相邻八个像素的全部九个像素中输入低带通滤波器的次序，而Pi(k)是低带通滤波器的第k个输入。
9.如权利要求2所述的装置，其中，所述图像质量增强单元通过使用直方图均衡化来使所述拼接图像为匀色。
10.如权利要求9所述的装置，其中，通过下面方程来计算所述直方图均衡化P0(x)=PmaxN×MH(x)]]>其中，P0(x)是经过直方图均衡化的第x个像素值，Pmax是表示图像的最大像素值，N是图像宽度，M是图像高度，而H(x)是第x个像素的累积直方图值。
11.一种便携式终端中全景摄影的方法，该方法包括下面步骤在全景摄影期间将前帧图像的重叠区域显示在显示单元中；拍摄当前图像；在该当前图像的重叠区域中搜索与该前帧图像的重叠区域中所包含的搜索区间相同的区间；以及拼接该前帧图像和该当前图像从而该搜索区间和该相同区间重叠，并生成拼接图像。
12.如权利要求11所述的方法，其中，在生成所述拼接图像后，还包括增强所述拼接图像的图像质量。
13.如权利要求11所述的方法，其中，搜索所述相同区间包括通过由下面方程计算的NGM(自然全局运动)向量，按照搜索区间的尺寸，搜索当前图像的重叠区域，以找到该相同区间，并且将具有最小NGM向量值的区间确定为该相同区间，v→=argmin[Σi=1N(Pp(i)-Pc(i))2]]]>其中， 是NGM，Pp(i)是前帧图像的第i个像素值，Pc(i)是当前图像的第i个像素值，而N是当前图像的重叠区域中的像素数。
14.如权利要求11所述的方法，其中，搜索所述相同区间包括定义最终NGM，该最终NGM通过对具有预定数量向量的模板中的NGM取平均值来计算；和将具有最小的最终NGM值的区间决定为相同区间。
15.如权利要求14所述的方法，其中，对NGM取平均值通过下面方程计算v→=14(v→h+v→v+v→l+v→r)]]>其中， 是最终NGM， 是水平向量， 是垂直向量， 是左-下对角线向量， 是右-下对角线向量。
16.如权利要求15所述的方法，其中，通过下面方程来计算所述水平向量、垂直向量、左-下对角线向量和右-下对角线向量v→=argmin[Σi=1N(Pp(i)-Pc(i))2]]]>其中， 是NGM，Pp(i)是前帧图像的第i个像素值，Pc(i)是当前图像的第i个像素值，而N是当前图像的重叠区域中的像素数。
17.如权利要求12所述的方法，其中所述增强拼接图像的图像质量包括通过使用低带通滤波器来增强组合区域的界面的图像质量，该组合区域是实际上由前帧图像和当前图像重叠的。
18.如权利要求17所述的方法，其中所述增强拼接图像的图像质量包括使用低带通滤波器，通过下面方程计算所述界面P0(x)=19Σk=08Pi(k)]]>其中，P0(x)是通过低带通滤波器的第x个像素，k是在包括第x个像素和相邻八个像素的全部九个像素中输入低带通滤波器的次序，而Pi(k)是低带通滤波器的第k个输入。
19.如权利要求12所述的方法，其中，所述增强拼接图像的图像质量包括使用直方图均衡化来使拼接图像为匀色。
20.如权利要求19所述的方法，其中，通过下面方程来计算所述直方图均衡化P0(x)=PmaxN×MH(x)]]>其中，P0(x)是经过直方图均衡化的第x个像素值，Pmax是表示图像的最大像素值，N是图像宽度，M是图像高度，而H(x)是第x个像素的累积直方图值。
21.一种全景摄影的便携式终端，该终端包括拍摄图像的照相机单元；储存所拍摄图像的存储单元；控制单元，用于在全景拍摄期间从前帧图像选择重叠区域和在当前图像的重叠区域中搜索与前帧图像的重叠区域中所包含的搜索区间相同的区间、拼接该前帧图像和该当前图像从而该搜索区间和该相同区间重叠、以及生成拼接图像；以及在全景拍摄期间显示重叠区域的显示单元。
全文摘要
提供一种便携式终端中全景摄影的装置和方法。该装置包括拍摄图像的照相机单元；储存所拍摄图像的存储单元；在全景拍摄期间显示重叠区域的显示单元；引导单元，用于在全景拍摄期间从储存在存储单元中的前帧图像选择重叠区域，以将重叠区域显示在显示单元中；以及拼接单元，用于在当前图像的重叠区域中搜索与前帧图像的重叠区域所包含的搜索区间相同的区间、拼接该前帧图像和该当前图像从而搜索区间和相同区间重叠、并生成拼接图像。
文档编号G03B37/00GK101093348SQ20071008899
公开日2007年12月26日 申请日期2007年3月29日 优先权日2006年6月22日
发明者李峻硕 申请人:三星电子株式会社