全景影像产生方法及装置的制作方法

文档序号:7624703阅读:169来源:国知局
专利名称:全景影像产生方法及装置的制作方法
技术领域
本发明涉及一种影像处理方法及装置,且特别涉及一种全景影像产生方法及装置。
背景技术
已知产生全景影像的技术是利用相机拍摄同一场景但不同角度的多张影像,并估计相邻影像间的移动,据以拼接影像。然而,在移动量较大的情况下,移动估测会变得不准确,连带造成所拼接的全景影像不正确。针对上述方式的缺陷,最近提出一种基于条状(stripe-based)的全景影像产生方法,其藉由拍摄更多数量的影像来减少各张影像之间的位移,并仅使用影像的中间部分来做移动估测及拼接。由于此做法的移动差异及影像失真程度较小,因此可提供相较传统做法拍摄限制更少,但拼接(Pitching)效果更佳的全景影像。图1示出已知基于条状的全景影像产生方法的范例。请参照图1,此范例一边移动相机一边拍摄,并扫过办公室而获得多张有部分重叠的影像(包括影像110、120、130),此时再根据预设的兴趣视窗(Windowof Interest, W0I)大小,裁切这些影像的中央条状区域的影像(即由虚线框住的裁切影像140、150、160等),并使用这些裁切影像进行移动估测 (motion estimation)。最后则根据移动估测的结果将这些影像拼接起来,而获得全景影像 170。图2示出已知全景影像产生方法的流程图。请参照图2,在进入全景影像产生阶段之前,通常相机中电荷耦合元件(Charge CoupledDevice, CCD)所撷取的原始影像(Raw image) 210会使用影像处理引擎来做基本的影像处理(步骤S2(^),包括彩色滤光片影像阵列内插(Color Filter Array Interpolation,CFA I)、色域校正(Gamutcorrection)、噪点抑制(Noise reduction)、加玛映对(Gamma mapping)及锐利度(Sharpness)调整等。处理后的影像接着被送入移动估测模组,以进行移动估测(步骤S204)。最后相机即根据移动估测结果,进行影像的拼接及融合(blending)程序(步骤S206),最终产生全景影像220。移动估测的准确性与场景配置、移动方向及大小高度相关。为了增进移动估测的准确性,一般建议使用多张具有较小移动的相邻影像。然而,在影像序列中的每一张影像都要应用基本影像处理模组做处理,当所要使用的影像愈多,所需的计算也愈多。因此,使用大量影像的做法将会增加系统处理上的负担,也会占用较多的存储器资源。综上所述,有必要提供一种能够快速且精简地进行移动估测及影像处理的全景影像产生方法,藉以减少运算负担及存储器需求。

发明内容
本发明提供一种全景影像产生方法及装置,可减少产生全景影像所需的运算负担及存储器需求。本发明提出一种全景影像产生方法,适用于影像撷取装置。此方法是针对一拍摄
4场景扫摄多张原始影像,接着对这些原始影像执行粗略移动估测,以获得此拍摄场景的粗略移动估测结果。此外,此方法亦对上述原始影像中一兴趣视窗内的影像进行裁切以作为多张裁切影像,并根据上述拍摄场景的粗略移动估测结果,对这些裁切影像执行精细移动估测,以获得此拍摄场景的精细移动估测结果。最后,根据精细移动估测结果拼接及融合原始影像,以产生全景影像。在本发明的一实施例中,在上述对原始影像执行粗略移动估测的步骤之前,还包括对原始影像执行一基本影像处理,而以处理后的原始影像执行粗略移动估测。在本发明的一实施例中,上述粗略移动估测所使用的搜寻视窗的范围较精细移动估测所使用的搜寻视窗的范围为大。在本发明的一实施例中,在上述根据拍摄场景的粗略移动估测结果,对裁切影像执行精细移动估测的步骤之前,还包括对裁切影像执行进阶影像处理,而以处理后的裁切影像执行精细移动估测。本发明提出一种全景影像产生装置,其包括影像撷取单元、粗略移动估测单元、影像裁切单元、精细移动估测单元及影像拼接单元。其中,影像撷取单元用以针对一拍摄场景扫摄多张原始影像。粗略移动估测单元用以对原始影像执行粗略移动估测,以获得拍摄场景的粗略移动估测结果。影像裁切单元用以裁切原始影像中一兴趣视窗内的影像以作为多张裁切影像。精细移动估测单元根据拍摄场景的粗略移动估测结果,对裁切影像执行精细移动估测,以获得拍摄场景的精细移动估测结果。影像拼接单元根据精细移动估测结果拼接及融合原始影像,以产生全景影像。在本发明的一实施例中,上述的装置还包括基本影像处理单元,其用以对影像撷取单元所拍摄的原始影像执行基本影像处理,而输出处理后的原始影像至粗略移动估测单元,以执行粗略移动估测。在本发明的一实施例中,上述的粗略移动估测单元所使用的搜寻视窗的范围较精细移动估测单元所使用的搜寻视窗的范围为大。在本发明的一实施例中,上述的装置还包括进阶影像处理单元,其用以对裁切影像执行进阶影像处理,而以处理后的裁切影像执行精细移动估测。在本发明的一实施例中,上述的兴趣视窗为原始影像的中央直条区域。在本发明的一实施例中,上述的进阶影像处理包括彩色滤光片影像阵列内插、色域校正、噪点抑制、加玛映对或锐利度调整。基于上述,本发明的全景影像产生方法及装置将原始影像分两路进行处理,一方面提供对完整影像进行快速且简化的影像处理,另一方面则是对裁切后的原始影像提供高品质的影像处理,因此可减少产生全景影像所需的运算负担及存储器需求。为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。


图1示出已知基于条状的全景影像产生方法的范例。图2示出已知全景影像产生方法的流程图。图3是依照本发明一实施例所示出的全景影像产生装置的方框图。
图4是依照本发明一实施例所示出的全景影像产生方法的流程图。图5是依照本发明一实施例所示出的裁切兴趣视窗内的原始影像的范例。图6是依照本发明一实施例所示出的全景影像产生装置的方框图。图7是依照本发明一实施例所示出的全景影像产生方法的流程图。主要元件符号说明110、120、130、510 影像210、原始影像140、150、160、530 裁切影像170、220:全景影像300、600 全景影像产生装置310、610 影像撷取单元320,630 粗略移动估测单元330、640 影像裁切单元340,660 精细移动估测单元350、670 影像拼接单元520 视窗620 基本影像处理单元650 进阶影像处理单元S402-S408 本发明一实施例的全景影像产生方法的各步骤S702-S714 本发明一实施例的全景影像产生方法的各步骤
具体实施例方式为避免在使用影像处理引擎时造成影像及移动估测的品质下降,本发明提出一种双重处理全景影像的技术,其先应用影像处理引擎对完整解析度的原始影像(raw image) 进行粗略移动估测(coarse motionestimation) 0同时,将完整解析度的原始影像裁切 (crop)为较小的影像,以进行精细的影像处理。此处理后的裁切影像将被送入移动估测引擎,而由此移动估测引擎根据先前计算所得的粗略移动估测结果,对此裁切影像进行精确的移动估测。本发明提出的设计可在不增加过多处理器负担及不消耗过多存储器资源的情况下,提供高品质的全景影像,并维持移动估测的正确性。图3是依照本发明一实施例所示出的全景影像产生装置的方框图。请参照图3, 本实施例的全景影像产生装置300例如是数码相机,其包括影像撷取单元310、粗略移动估测单元320、影像裁切单元330、精细移动估测单元340及影像拼接单元350,其功能分述如下影像撷取单元310例如是电荷耦合元件(Charge Coupled Device,CCD)或互补式金氧半导体(Complementary Metal-OxideSemiconductor, CMOS)元件,用以针对一拍摄场景扫摄多张原始影像。粗略移动估测单元320及精细移动估测单元340分别采用一个搜寻视窗来比对原始影像中相邻影像的差异以产生移动向量,并藉由此移动向量获得移动估测结果。其中,粗略移动估测单元320所使用的搜寻视窗的范围较精细移动估测单元340所使用的搜寻视窗的范围为大,因此所获得的估测结果较为粗略,但运算所需的时间较短。而藉由快速取得原始影像的移动估测结果,并提供给精细移动估测单元340做为精细移动估测的依据,可加快精细移动估测的处理速度,达到减少处理负担及存储器需求的目的。图4是依照本发明一实施例所示出的全景影像产生方法的流程图。请参照图4,本实施例的方法适用于图3的全景影像产生装置300,以下则搭配图3中的各项元件说明本实施例的方法的详细步骤首先,由影像撷取单元310针对拍摄场景扫摄多张原始影像(步骤S402)。其中, 本实施例藉由移动全景影像产生装置300以连续拍摄一场景中相邻区域的多张影像,并用以产生全景影像,可减小影像间运动所造成的影响。接着,由粗略移动估测单元320对原始影像执行粗略移动估测,以获得拍摄场景的粗略移动估测结果(步骤S404)。其中,粗略移动估测单元320仅是针对原始影像进行粗略的移动估测,因此可在不占用过多运算资源或存储器的情况下,取得影像整体的粗略运动信息以做为后续进行精细移动估测时的依据,而可减少精细移动估测所需耗费的时间及资源。另一方面,影像裁切单元330将原始影像中一兴趣视窗内的影像裁切以作为多张裁切影像,并由精细移动估测单元340根据上述粗略移动估测单元320所获得的粗略移动估测结果,对影像裁切单元330所裁切的裁切影像进行精细移动估测,以获得拍摄场景的精细移动估测结果(步骤S406)。其中,本实施例是采用基于条状的全景影像方法,此方法仅针对连续扫摄的多张影像的中央直条区域进行移动估测,故此处影像裁切单元330所使用的兴趣视窗的范围也是影像的中央直条区域。举例来说,图5是依照本发明一实施例所示出的裁切兴趣视窗内的原始影像的范例。请参照图5,假设影像510是相机所拍摄的原始影像,若基于条状的全景影像方法所定义的兴趣视窗的范围为视窗520所示的中央直条区域,则利用视窗520裁切影像510后即可得到裁切影像530。需说明的是,精细移动估测单元340是将每一张影像与前一张影像进行精细的移动估测,藉以获得影像间的运动信息。而藉由对较多张数的影像进行移动估测,可增加移动估测的准确度。最后,由影像拼接单元根据精细移动估测结果来拼接及融合原始影像,以产生全景影像(步骤S408)。藉由将上述原始影像(整张影像)的粗略移动估测结果应用至裁切影像(部分影像)的精确移动估测上,可有效减少精细移动估测单元340进行移动估测所需的时间及运算量。需说明的是,在进行移动估测之前,本发明还包括针对上述的原始影像进行快速及简易的影像处理,以及针对裁切影像进行高品质的影像处理,藉以提供具有高影像品质但低计算负担的全景影像,以下则再举一实施例详细说明。图6是依照本发明一实施例所示出的全景影像产生装置的方框图,而图7是依照本发明一实施例所示出的全景影像产生方法的流程图。请同时参照图6及图7,本实施例的全景影像产生装置600例如是数码相机,其包括影像撷取单元610、基本影像处理单元620、 粗略移动估测单元630、影像裁切单元640、进阶影像处理单元650、精细移动估测单元660 及影像拼接单元670,以下则搭配图6中的各项元件说明本实施例的方法的详细步骤首先,由影像撷取单元610针对拍摄场景扫摄多张原始影像(步骤S702)。其中,经由影像撷取单元310拍摄的原始影像将被送到两条路线一条是由基本影像处理单元 620提供快速且简化的影像处理;另一条则是由进阶影像处理单元650提供高品质的影像处理。详言之,由影像撷取单元610拍摄的完整解析度的原始影像送入基本影像处理单元620,以进行自动白平衡(Automatic White Balance, AWB)、色调(tone)调整、噪点抑制 (noise reduction)等基本影像处理(步骤S704)。而基本影像处理单元620的输出则送入粗略移动估测单元630,以进行与前一张影像的粗略移动估测(步骤S706)。同时,完整解析度的原始影像也会根据预设的位置及尺寸而由影像裁切单元640 进行裁切(步骤S708)。此裁切影像将送入进阶影像处理单元650,以进行彩色滤光片影像阵列内插(Color Filter ArrayInterpoIation, CFAI)、色域校正(Gamut correction)、噪点抑制(Noise reduction)、加玛映对(Gamma mapping)或锐利度(Sharpness)调整等进阶影像处理(步骤S710)。其中,由于裁切影像的尺寸有限,处理器的负担将会大幅减轻。处理后的裁切影像接着则被送入精细移动估测单元660,而由精细移动估测单元 660根据粗略移动估测单元630进行粗略移动估测所得的结果,与前一张影像进行精细的移动估测,而获得精细的移动估测结果(步骤S712)。最后,由影像拼接单元根据精细移动估测结果来拼接原始影像,并融合所拼接的原始影像以产生全景影像(步骤S714)。藉由对原始影像(尺寸较大)进行基本影像处理, 可帮助粗略移动估测单元630较快取得移动估测结果,而对裁切影像(尺寸较小)进行进阶影像处理,则可增加精细移动估测单元660进行移动估测的结果的准确性。综上所述,本发明的全景影像产生方法及装置藉由将影像撷取装置所撷取的原始影像分两路进行影像处理及移动估测,并根据经由简易处理及粗略移动估测所获得的结果,对裁切后的原始影像进行进阶处理及精细移动估测,藉以减少产生全景影像所需的运算及存储器资源,并可获致影像拼接及融合效果较佳的全景影像。虽然本发明已以实施例揭示如上,然其并非用以限定本发明,任何所属技术领域中的普通技术人员,当可作些许的更动与润饰,而不脱离本发明的精神和范围。
权利要求
1.一种全景影像产生方法,适用于一影像撷取装置,该方法包括下列步骤针对一拍摄场景扫摄多张原始影像;执行一粗略移动估测于所述原始影像,以获得该拍摄场景的一粗略移动估测结果;裁切所述原始影像中一兴趣视窗(Window Of Interest, WOI)内的影像作为多张裁切影像,并根据该拍摄场景的该粗略移动估测结果,执行一精细移动估测于所述裁切影像,以获得该拍摄场景的一精细移动估测结果;以及根据该精细移动估测结果拼接及融合所述原始影像,以产生一全景影像。
2.根据权利要求1所述的全景影像产生方法,其中在执行该粗略移动估测于所述原始影像的步骤之前,还包括执行一基本影像处理于所述原始影像,而以处理后的原始影像执行该粗略移动估测。
3.根据权利要求1所述的全景影像产生方法,其中该粗略移动估测所使用的一搜寻视窗的一范围较该精细移动估测所使用的搜寻视窗的范围为大。
4.根据权利要求1所述的全景影像产生方法,其中该兴趣视窗为所述原始影像的一中央直条区域。
5.根据权利要求1所述的全景影像产生方法,其中在根据该拍摄场景的该粗略移动估测结果,执行一精细移动估测于所述裁切影像的步骤之前,还包括执行一进阶影像处理于所述裁切影像,而以处理后的裁切影像执行该精细移动估测, 该进阶影像处理包括彩色滤光片影像阵列内插(ColorFilter Array Interpolation, CFAI)、色域校正(Gamut correction)、噪点抑制(Noise reduction)、加玛映对(Gamma mapping)或锐利度(Sharpness)调整。
6.一种全景影像产生装置,包括一影像撷取单元,针对一拍摄场景扫摄多张原始影像;一粗略移动估测单元,执行一粗略移动估测于所述原始影像,以获得该拍摄场景的一粗略移动估测结果;一影像裁切单元,裁切所述原始影像中一兴趣视窗内的影像作为多张裁切影像;一精细移动估测单元,根据该拍摄场景的该粗略移动估测结果,执行一精细移动估测于所述裁切影像,以获得该拍摄场景的一精细移动估测结果;以及一影像拼接单元,根据该精细移动估测结果拼接及融合所述原始影像,以产生一全景影像。
7.根据权利要求6所述的全景影像产生装置,还包括一基本影像处理单元,执行一基本影像处理于该影像撷取单元所拍摄的所述原始影像,而输出处理后的原始影像至该粗略移动估测单元,以执行该粗略移动估测。
8.根据权利要求6所述的全景影像产生装置,其中该粗略移动估测单元所使用的一搜寻视窗的一范围较该精细移动估测单元所使用的搜寻视窗的范围为大。
9.根据权利要求6所述的全景影像产生装置,其中该兴趣视窗为所述原始影像的一中央直条区域。
10.根据权利要求6所述的全景影像产生装置,还包括一进阶影像处理单元,执行一进阶影像处理于所述裁切影像,而以处理后的所述裁切影像执行该精细移动估测,该进阶影像处理包括彩色滤光片影像阵列内插、色域校正、噪点抑制、加玛映对或锐利度调整。
全文摘要
本发明提供一种全景影像产生方法及装置。此方法是针对一拍摄场景扫摄多张原始影像,接着对这些原始影像执行粗略移动估测,以获得此拍摄场景的粗略移动估测结果。同时,此方法亦对上述原始影像中一兴趣视窗内的影像进行裁切以作为多张裁切影像,并根据上述拍摄场景的粗略移动估测结果,对这些裁切影像执行精细移动估测,以获得此拍摄场景的精细移动估测结果。最后,根据精细移动估测结果拼接及融合原始影像,以产生全景影像。藉此,可减少产生全景影像所需的运算负担及存储器需求。
文档编号H04N9/04GK102595146SQ20111007728
公开日2012年7月18日 申请日期2011年3月24日 优先权日2011年1月11日
发明者吴嘉彧, 周宏隆, 曾家俊, 陈水淋 申请人:华晶科技股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1