专利名称：拍摄全景图像的方法
技术领域：
本发明涉及在包括数码相机和设置有相机模块的移动终端的设备中的数字图像拍摄，具体来说，涉及一种拍摄全景图像的方法。
背景技术：
传统地，数字图像拍摄设备中的图像捕捉单元可获得在其镜头的焦距内形成的图像。这里，获得的图像在小于人类视角(大约在150°到200°之间)的视角范围内(对于一般相机来说，大约在30°到50°之间)。存在这样一种传统的方法,所述方法在适当地改变视角的同时拍摄多幅图像，并顺序地将拍摄的多幅图像进行拼接，以将它们重组为一幅连续的图像。因此，可以获得具有与人类视角相似或者大于人类视角的画面。这种方法被称为全景图像拍摄方法。在全景图像拍摄模式中，传统数字图像拍摄设备拍摄将被水平或者垂直拼接的几幅图像，并随后将它们存储在存储器中。存储在存储器中的图像被稍后提供给适当的内部/外部图像处理器，并被拼接为一幅连续的图像。为了去除图像之间边缘处的色差和图像不一致(discord)，数字图像拍摄设备拍摄其边缘间充分重叠的多幅图像，并随后通过调整它们的边缘来对准(align)所述图像。此后，对它们执行包括缝合(stitching)和弯曲(bending)的图像处理。通过这种处理，获得包括自然拼接的多幅图像的单一图像。在拍摄全景图像中对准精度是最高优先级。为此，用户通常在手动拍摄中使用诸如三脚架的附属设备。近来，已经提出了这样一种方法，其中，相应的拍摄设备被安装在三脚架上等，并且在全景拍摄中根据各个图像来旋转安装的拍摄设备。这种方法的一个示例在由Samsung Techwin有限公司于2003年7月29日提交的、第2003-0052444号、标题为 “Camera And Method for Photographing Panorama Picture，，的、发明人为 BAESung-cheol的韩国专利申请中被公开。作为上述方法的补充，可在相应的拍摄设备上附加地安装可检测旋转角度的设备。用户预先设置拍摄设备的旋转角度。因此，在全景拍摄中，通过在拍摄设备的旋转角度上的旋转位移来拍摄各个图像，该旋转角度是由用户预设的。这种方法也已经被提出。此外，为了当在没有在相应拍摄设备上安装附属或者附加硬件的情况下拍摄全景图像时更精确地对准各个图像，已经提出了另一种方法。当拍摄各个图像时，提供的方法使用先前拍摄的图像的边缘的部分区域，该先前拍摄图像表现为与当前拍摄的图像适当重叠。因此，用户可通过调整先前拍摄的图像和当前拍摄的图像来控制合适的拍摄位置。这种方法的示例在2003年3月31日提交的第2004/0189849号、标题为“Panoramic SequenceGuide”、发明人为Gregory V.Hofer的美国专利中被公开。与拍摄一般的单幅图像相比，拍摄全景图像要求用户具有更好的技巧和熟练度。这已经成为处理和拍摄图像的更好、更方便的解决方案的必要条件。
发明内容
因此，提出本发明以解决发生在现有技术中的上述问题。本发明提供了一种拍摄全景图像的方法，其中，用户可在没有附加设备和硬件的情况下更加容易地操纵拍摄设备，并且更加精确地拍摄全景图像。根据本发明的一方面，提供了一种拍摄全景图像的方法，所述方法包括以下步骤:当拍摄组成全景图像的各个图像时，比较(例如，实时比较)输入的当前图像和前一图像，以获得相应拍摄设备的移动信息；基于获得的移动信息至少识别相应拍摄设备的移动角度；和当识别的移动角度(degree)满足预设移动距离参考时，通过手动输入拍摄相应图像或者自动拍摄相应图像。
通过以下结合附图的详细描述，本发明将变得更加清楚，其中:图1是示出根据本发明的移动终端的框图。图2是示出根据本发明的实施例的拍摄全景图像的操作的流程图。图3示出了当拍摄全景图像时相机的移动状态的示例。图4A和图4B示出了根据本发明实施例的在拍摄全景图像时图像之间的比较方案。图5示出了根据本发明实施例的在图像帧的比较区域中的像素块的划分方案和移动信息检测方案，以在拍摄全景图像时对图像进行互相比较。图6示出了根据本发明实施例的在拍摄全景图像时检测到的拍摄设备的移动方向的指示状态。图7A、图7B和图7C是根据本发明实施例的用于在拍摄全景图像时根据拍摄设备的移动方向指导拍摄方向的屏幕上的预览图像的示例。
具体实施例方式以下，将参照附图描述根据本发明的一个示例性实施例。在以下描述中，示出了诸如具体构成设备的很多具体项，然而本发明技术领域的技术人员将理解，给出它们仅用于提供对本发明的总体理解。图1是示出根据本发明的移动终端的框图。多种设备具有数字图像拍摄功能，首先将使用图1中示出的移动终端的示例来描述基于硬件的设备。参照图1，根据本发明具有数字图像拍摄功能的移动终端包括:相机20、图像处理器22、显示单元24、控制器14、存储器单元16、键输入部分18、射频(RF)单元10和无线数据处理器12。RF单元10将用户语音、文本消息和控制数据调制为无线信号。将调制的无线信号发送到移动无线电通信网络的基站(未示出)。从基站接收无线信号。随后RF单元10将所述信号解调为语音、文本消息、控制数据等以输出。无线数据处理器12在控制器14的控制下对从RF单元10接收的语音数据进行解码，以经过扬声器输出可听到的声音。无线数据处理器12还将从麦克风输入的用户语音信号进行数字化，以将其输出到RF单元10，并将经过RF单元10输入的文本消息和控制数据提供给控制器14。相机20在控制器14的控制下执彳了一般的数子相机功能，并拍摄从外部拍摄对象输入的可见光线。相机20包括由电荷耦合装置(CCD)拍摄装置等构成的图像捕捉单元20-2、用于测量亮度的亮度传感器20-4和用于测量到对象的焦距的距离传感器20-6。图像处理器22对从相机20输出的图像数据进行处理，以将处理的数据转换为适当格式的数字图像数据。用于从用户接收电话号码或者文本消息的键输入部分18包括用于输入数字和文本消息信息的多个键和用于设置不同功能的多个功能键，并且键输入部分18将它们的输入信号输出到控制器14。显示单元24可由诸如液晶显示器(LCD)等的显示装置构成，并且在控制器14的控制下显示拍摄的数字图像数据，所述拍摄的数字图像数据包括与相应移动终端的各种操作状态对应的消息。控制器14通过各个功能单元的一般控制来控制移动通信终端的一般操作。S卩，控制器14根据经键输入部分18输入的数字和菜单选择信号执行处理，经相机20接收外部拍摄信号以进行相应处理，并通过显示单元24输出由相机20拍摄的图像以及不同操作所必需的图像输出信号。控制器14引入(bring)存储在存储器单兀16中的用于输出的内容，或者将内容存储在存储器单元16中。存储器单元16存储与控制器14的操作相关的多个程序和数据。存储器单元16用于存储操作移动终端所需的信息以及相机拍摄图像信息。设置有这些配置的移动终端执行相机功能以及与传统移动通信服务相关的操作。控制器14还根据本发明的特征执行全景图像拍摄的操作。此外，存储器单元16将用于全景图像拍摄操作的相关信息和操作程序存储在控制器14中。根据本发明，必要时将相应信息输出到控制器14。移动终端将当前输入图像与前一图像进行比较，以获得相应移动终端的移动信息，并识别移动方向和移动角度。例如，当在拍摄全景图像的情况下，根据本发明的移动终端接收的对象的图像，如实时运动画面，并且根据全景图像的拍摄方向由用户或者由设置在相应移动终端上的附加设备移动并自动旋转所述移动终端时，这是必要的。以这种方式，获得与用于创建适当的全景图像的连续图像相应的图像。此后，将参照附图描述根据本发明实施例的全景拍摄操作。图2是示出根据本发明的示例性实施例的拍摄全景图像的操作的流程图。参照图2，在步骤200设置拍摄全景图像的环境，该步骤发生在实际全景图像拍摄之前。在步骤200，设置拼接拍摄方向，例如，形成全景图像的各个图像的上、下、左、右的方向。此外，被表示为拍摄设备的移动距离值的移动距离参考信息(变量Move_Threshold值)被设置为用于识别拍摄点的参考值。这用于设置全景图像的各个图像的拍摄点。此外，还设置将被拼接以形成全景图像的拍摄图像的数量(变量cnt_img)。根据步骤200的全景图像拍摄环境的设置操作可被执行为选择(例如，用于在传统移动终端中设置不同功能以从用户接收各个环境设置值的相机拍摄菜单的子菜单的全景图像环境设置模式)。用户预先将配置和操作程序提供给移动终端，所述配置和操作程序用于显示选择操作以及确认到键输入部分的键输入的相应菜单。此外，在步骤200由用户设置的一些或者全部的各个全景图像拍摄环境模式可被固定为由开发者适当地设置的值，以提供给用户。此后，在步骤201，用户可从移动终端的相机拍摄菜单的子菜单中选择全景图像拍摄模式。此后，通过拍摄全景图像的第一幅图像来开始拍摄全景图像。作为与传统拍摄相似的方法，通过用户的快门输入来存储全景图像的第一幅图像。接下来的图像拍摄将基于根据本发明示例性实施例的全景图像拍摄方法来进行。当开始全景图像拍摄时，从视点实时地输入到拍摄设备的图像被输入并存储在存储器中。随后，使用存储的图像获得拍摄设备的移动信息。在步骤202，用于识别拍摄设备的移动角度的移动距离变量mV_sum被初始化为零。在步骤204，通过使用当前输入图像和前一输入图像来检测拍摄设备(即，相机)的移动。如图2所示，在步骤204，当全景图像拍摄的方向是向右时，用户应当使相机向右移动。输入到相机的图像作为运动画面，被输入。通过比较前一图像信息(前一帧)和当前图像信息(当前帧)来提取移动信息变量mv_w和mv_h。将参照图4A、图4B和图5更加详细地描述步骤204中的提取移动信息的方法。图4A、图4B示出了为获得拍摄设备的移动信息的图像帧中的第一必要区域。根据本发明，为了按时间顺序从当前图像(帧)和前一图像(帧)获得相机移动信息，(I)将整个帧区域中设置的足够范围设置为移动区域跟踪部分(区域A)，并且(2)将包括在当前帧的移动区域跟踪部分(区域A)中的图像与前一帧进行比较，以获得移动信息。在相应的移动区域跟踪部分(区域A)中设置具有适当的大小，例如100(10X10)像素块或者400 (20 X 20)像素块(区域B)的至少一个或者多个像素块(通常为多个像素)。设置所述像素块，以检测与各个像素块相同或者最相似的前一帧的多个像素块(例如，区域D)。随后，使用各个相应像素块之间的相对位置变量(例如，移动向量)的角度来获得移动信息。在当前帧和前一帧之间比较具有适当大小的像素块以及通过该处理获得移动信息的方法可与当对运动画面编码并解码时在传统运动估计和运动补偿技术中使用的方法相似。当在当前帧中的移动区域跟踪部分(区域A)被设置时，可将所述帧的整个区域设置为移动区域跟踪部分。然而，如图4A所示，在输入图像中的中心部分的足够范围内而不是整个图像内选择移动区域跟踪部分的原因在于，在输入图像的边缘区域中很有可能没有与前一图像相应的图像信息。在边缘区域中，引起在获得精确的移动信息中的错误因素的可能性很大。此外，在任意位置上的不连续像素块可被设置为移动区域跟踪部分(区域A)中的具有适当大小的多个像素块。如图5所示，整个移动区域跟踪部分(区域A)被分为多个子区域，并且各个子区域可被设置为像素块。当检测到与各个像素块相同或者最相似的前一帧的像素块时，可以使用比较前一帧的整个区域中的多个像素块的方法。然而，为了简化计算量和提高计算速度，可设置具有以每个像素块为中心的上下以及左右的足够范围的搜索区域(区域C)。当前帧的各个像素块具有与在前一帧中其自身的像素块相应的搜索区域(例如，区域C)，并且对具有与相应搜索区域相同大小的像素块进行比较，以检测最相似的像素块。此后，彼此相对的位置值被用于移动信息。参照图5,关于各个像素块的移动信息可被指示为[mv_wl, mv_hl]、[mv_w2, mv_h2]......和[mv_wn,mv_hn]。在将这些移动信息相加并将其除以相应像素块的数量(n)(即，计算所有移动信息的平均值)之后，可获得当前视点的相机移动信息的变量mv_w和mv_h。这里，变量mv_w是水平移动向量,变量mv_h是垂直移动向量。这些变量可以是负数或者正数，并且其绝对值基于移动的角度变大。在下表I中示出了通过使用水平移动向量11^_￥和垂直移动向量mv_h检测移动方向的具体程序代码的示例。表权利要求
1.一种拍摄全景图像的方法，所述方法包括以下步骤: 当拍摄组成全景图像的各个图像时，比较输入的当前图像和前一图像，以获得相应拍摄设备的移动信息； 基于获得的移动信息至少识别相应拍摄设备的移动角度；和 当识别的移动角度满足预设移动距离参考时，通过手动输入拍摄相应图像或者自动拍摄相应图像。
2.如权利要求1所述的方法，其中，实时地比较输入的当前图像和前一图像。
3.如权利要求1所述的方法，其中，在识别移动角度的步骤中，还对相应拍摄设备的移动方向进行识别。
4.如权利要求3所述的方法，还包括以下步骤:输出用户界面，所述用户界面用于指导相应拍摄设备从识别的 移动方向到用于全景图像拍摄的预设方向的移动。
5.如权利要求2所述的方法，其中，在实时比较输入的当前图像和前一图像的步骤中，当前帧的整个区域中的预设范围被设置为移动区域跟踪部分，并且将包括在移动区域跟踪部分中的图像与前一帧进行比较，以获得移动信息；和 设置在移动区域跟踪部分中具有预设大小的至少一个或者多个像素块，检测与相应像素块最相似的相应于前一帧的多个像素块，并且使用相应像素块间的相对位置变量的角度来获得移动息。
6.如权利要求5所述的方法，其中，所述移动区域跟踪部分被设置为不包括所述帧的边缘部分。
7.如权利要求5所述的方法，其中，当检测与当前帧的移动区域跟踪部分中的像素块最相似的前一帧中的多个像素块时，检测位于在前一帧中的搜索区域的相应像素块，所述搜索区域设置在具有以当前帧的像素块为中心的预设范围的相应位置。
8.如权利要求5到7中任意一个所述的方法，其中，当在当前帧的移动区域跟踪部分中设置的像素块是多个时，通过各个像素块的相对位置变量的角度的平均值来获得所述移动信息。
9.一种拍摄全景图像的方法，所述方法包括以下步骤: 当拍摄组成全景图像的各个图像时，比较输入的当前图像和前一图像，以获得相应拍摄设备的移动信息； 基于获得的移动信息来至少识别相应拍摄设备的移动方向；和 输出用户界面，所述用户界面用于指导所述相应拍摄设备从识别的移动方向到用于全景图像拍摄的预设方向的移动。
10.如权利要求9所述的方法，其中，实时地比较输入的当前图像和前一图像。
11.如权利要求10所述的方法，其中，在实时比较输入的当前图像和前一图像的步骤中，当前帧的整个区域中的预设范围被设置为移动区域跟踪部分，并且将包括在移动区域跟踪部分中的图像与前一帧进行比较，以获得移动信息；和 设置在移动区域跟踪部分中具有预设大小的至少一个像素块，检测与相应像素块最相似的相应于前一帧的多个像素块，并且使用相应像素块间的相对位置变量的角度来获得移动信息。
12.如权利要求10所述的方法，其中，所述移动区域跟踪部分被设置为不包括所述帧的边缘部分。
13.如权利要求10所述的方法，其中，当检测与当前帧的移动区域跟踪部分中的像素块最相似的前一帧中的多个像素块时，检测位于在前一帧中的的搜索区域的相应像素块，所述搜索区域设置在具有以当前帧的像素块为中心的预设范围的相应位置。
14.如权利要求10所述的方法，其中，当在当前帧的移动区域跟踪部分中设置的像素块是多个时，通过各个像 素块的相对位置变量的角度的平均值来获得所述移动信息。
全文摘要
公开了一种拍摄全景图像的方法。所述方法包括当拍摄组成全景图像的各个图像时，比较输入的当前图像和前一图像，以获得相应拍摄设备的移动信息；基于获得的移动信息至少识别相应拍摄设备的移动角度；和当识别的移动角度满足预设移动距离参考时，通过手动输入拍摄相应图像或者自动拍摄相应图像。
文档编号G03B37/04GK103179347SQ20131008439
公开日2013年6月26日 申请日期2007年12月27日 优先权日2006年12月27日
发明者郑荣民, 赵成大, 郑熙远 申请人:三星电子株式会社