图像处理设备和方法以及程序的制作方法

专利名称：图像处理设备和方法以及程序的制作方法
技术领域：
本发明涉及一种图像处理设备和方法以及程序，尤其涉及一种使得全景图像上的被摄体具有运动的图像处理设备和方法以及程序。
背景技术：
近年来，由于数字静止照相机越来越普遍，拍摄大量照片的用户增加。也需要有效地呈现大量拍摄的照片的方法。例如，对于拍摄的照片的有效呈现方法，已知我们称之为全景图像的方法。全景图像是通过排列通过使拍摄装置在预定方向上摇摄的同时进行拍摄而获得的多个静止图像 (例如参见PTL1)，使得这些静止图像上的相同被摄体被覆盖，而获得的静止图像。根据该全景图像，可以作为被摄体显示比根据正常拍摄装置的一个静止图像的拍摄范围(视场角)更宽的空间，因此可以显示以更有效的方式拍摄的被摄体图像。引用文献列表专利文献PTL 1 日本专利 No. 3168443

发明内容
技术问题顺便提及，在使拍摄装置摇摄的同时拍摄多个静止图像来获得全景图像的情况下，静止图像中的一些可能包括相同被摄体。在这种情况下，不同静止图像上的相同被摄体是在彼此不同的时间点拍摄的被摄体，因此可以说为了生成全景图像而拍摄的静止图像组具有与被摄体的运动相关的信息。然而，对上述全景图像，无法表达包含在全景图像中的被摄体的运动，因此不能说以足够有效的方式显示拍摄的被摄体的图像。鉴于这种情形作出了本发明，本发明使得能够以更有效的方式显示拍摄的被摄体的图像。问题的解决方案根据本发明的一方面的图像处理设备包括位置信息生成装置，被配置为基于在移动拍摄装置的同时由所述拍摄装置拍摄并获得的多个拍摄的图像，生成在将多个所述拍摄的图像排列在预定平面上、使得包含在不同的所述拍摄的图像中的相同被摄体重叠时， 指示所述拍摄的图像中的每个的相对位置关系的位置信息；纸条图像生成装置，被配置为关于多个所述拍摄的图像中的每个，在基于所述位置信息将多个所述拍摄的图像排列在平面上的情况下，剪裁所述拍摄的图像上的从所述拍摄的图像上的预定基准位置到在所述平面上以与所述拍摄的图像重叠的方式排列的另一拍摄的图像的所述基准位置的区域，以生成包括所述区域的纸条图像；以及全景图像生成装置，被配置为通过排列并合成从多个所述拍摄的图像获得的所述纸条图像中的每个，生成单个全景图像；所述纸条图像生成装置关于多个所述拍摄的图像，在预定方向上偏移所述拍摄的图像上的所述区域的同时，从所述拍摄的图像生成多个纸条图像；以及所述全景图像生成装置通过针对所述区域的每个位置生成所述全景图像，来生成由显示拍摄空间上的相同区域的图像的多个所述全景图像构成的图像组。该图像处理还可以包括显示控制装置，被配置为以预定时间间隔按顺序显示多个所述全景图像。所述位置信息生成装置可以使用所述拍摄的图像上的多个预定块区域，通过从所述拍摄的图像之前拍摄的拍摄的图像中搜索与多个所述块区域相对应的块对应区域中的每个，来生成所述位置信息。可以进行如下布置，其中所述位置信息生成装置基于多个所述块区域的相对位置关系和多个所述块对应区域的相对位置关系，检测包括具有运动的被摄体的所述块区域， 在检测到包括具有运动的被摄体的所述块区域的情况下，使用多个所述块区域中的与所述检测到的块区域不同的所述块区域来搜索所述块对应区域，由此生成所述位置信息。该图像处理设备还可以包括运动检测装置，被配置为使用所述拍摄的图像和在其所述拍摄的图像之前拍摄的所述拍摄的图像，从所述拍摄的图像检测运动；以及拍摄控制装置，被配置为控制所述拍摄装置，使得在未检测到所述运动的情况下，以第一时间间隔拍摄所述拍摄的图像，而在检测到所述运动的情况下，以比所述第一时间间隔短的第二时间间隔拍摄所述拍摄的图像。该图像处理设备还可以包括运动检测装置，被配置为使用所述拍摄的图像和在其所述拍摄的图像之前拍摄的所述拍摄的图像，从所述拍摄的图像检测运动；以及丢弃装置，被配置为丢弃未检测到所述运动的所述拍摄的图像；不使用所述丢弃的拍摄的图像来生成所述纸条图像。该图像处理设备还可以包括运动检测装置，被配置为使用所述拍摄的图像和在其所述拍摄的图像之前拍摄的所述拍摄的图像，从所述拍摄的图像检测运动；以及移动装置，被配置为以与所述运动的检测结果相对应的速度移动所述拍摄装置。所述纸条图像生成装置可以以第一位置为所述基准位置，从所述拍摄的图像生成第一纸条图像，还以与所述第一位置不同的第二位置为所述基准位置，从所述拍摄的图像生成第二纸条图像；所述全景图像生成装置基于从多个所述拍摄的图像获得的所述第一纸条图像和所述第二纸条图像，生成相互间具有视差的第一全景图像组和第二全景图像组。根据本发明的一方面的图像处理方法或者程序包括位置信息生成步骤，被设置为基于在移动拍摄装置的同时由所述拍摄装置拍摄并获得的多个拍摄的图像，生成在将多个所述拍摄的图像排列在预定平面上、使得包含在不同的所述拍摄的图像中的相同被摄体重叠时，指示所述拍摄的图像中的每个的相对位置关系的位置信息；纸条图像生成步骤，被设置为关于多个所述拍摄的图像中的每个，在基于所述位置信息将多个所述拍摄的图像排列在平面上的情况下，剪裁所述拍摄的图像上的从所述拍摄的图像上的预定基准位置到以在所述平面上与所述拍摄的图像重叠的方式排列的另一拍摄的图像的所述基准位置的区域，以生成包括所述区域的纸条图像；以及全景图像生成步骤，被设置为通过排列并合成从多个所述拍摄的图像获得的所述纸条图像中的每个，生成单个全景图像；对所述纸条图像生成步骤，关于多个所述拍摄的图像，在预定方向上偏移所述拍摄的图像上的所述区域的同时，从所述拍摄的图像生成多个所述纸条图像；对所述全景图像生成步骤，针对所述区域的每个位置生成所述全景图像，由此生成由显示拍摄空间上的相同区域的图像的多个所述全景图像构成的图像组。在本发明的一方面中，基于在移动拍摄装置的同时由所述拍摄装置拍摄并获得的多个拍摄的图像，在将多个所述拍摄的图像排列在预定平面上，使得包含在不同的所述拍摄的图像中的相同被摄体重叠时，生成指示所述拍摄的图像中的每个的相对位置关系的位置信息，且关于多个所述拍摄的图像中的每个，在基于所述位置信息将多个所述拍摄的图像排列在平面上的情况下，剪裁所述拍摄的图像上的从所述拍摄的图像上的预定基准位置到以在所述平面上与所述拍摄的图像重叠的方式排列的另一拍摄的图像的所述基准位置的区域，以生成包括所述区域的纸条图像，并且通过排列并合成从多个所述拍摄的图像获得的所述纸条图像中的每个，生成单个全景图像。这时，关于多个所述拍摄的图像，在预定方向上偏移所述拍摄的图像上的所述区域的同时，从所述拍摄的图像生成多个所述纸条图像，并且针对所述区域的每个位置生成所述全景图像，由此生成由显示拍摄空间上的相同区域的图像的多个所述全景图像构成的图像组。本发明的有益效果根据本发明的一方面，可以以更有效的方式显示拍摄的被摄体图像。


图1是示出应用了本发明的拍摄装置的实施例的配置示例的图。图2是示出信号处理单元的配置示例的图。图3是用于描述拍摄的图像的拍摄方法的图。图4是用于描述全景移动图像生成处理的流程图。图5是用于描述拍摄的图像的位置匹配的图。图6是用于描述中心坐标的计算的图。图7是用于描述纸条图像的剪裁的图。图8是用于描述全景移动图像的生成的图。图9是示出信号处理单元的另一配置示例的图。图10是用于描述全景移动图像生成处理的流程图。图11是示出信号处理单元的另一配置示例的图。图12是用于描述全景移动图像生成处理的流程图。图13是用于描述拍摄的图像的拍摄方法的图。图14是示出信号处理单元的另一配置示例的图。图15是用于描述全景移动图像生成处理的流程图。图16是用于描述视差的图。图17是用于描述纸条图像的剪裁的图。图18是用于描述立体全景移动图像的生成的图。图19是示出拍摄装置的另一配置示例的图。图20是示出信号处理单元的另一配置示例的图。图21是用于描述立体全景移动图像生成处理的流程图。
图22是示出计算机的配置示例的图。
具体实施例方式下文中，参考附图描述应用了本发明的实施例。第一实施例拍摄装置的配置图1是示出应用了本发明的拍摄装置的实施例的配置示例的图。拍摄装置11例如由照相机构成，其中拍摄装置11从在拍摄装置11移动的状态下拍摄装置11连续拍摄的多个拍摄的图像，生成单个全景移动图像。全景移动图像是由多个全景图像构成的图像组，在全景图像中，作为被摄体显示比拍摄装置11通过一次拍摄可以拍摄的真实空间上的拍摄范围(视场角)更宽的范围中的区域。相应地，如果我们认为构成全景移动图像的每个全景图像是图像的一帧，则也可以说全景移动图像是单个移动图像，如果我们认为构成全景移动图像的每个全景图像是静止图像，则也可以说全景移动图像是静止图像组。下文中，为了简化描述，在假定全景移动图像是移动图像的情况下继续进行描述。拍摄装置11由操作输入单元21、拍摄单元22、拍摄控制单元23、信号处理单元 24、总线25、缓冲存储器沈、压缩/解压缩单元27、驱动观、记录介质四、显示控制单元30 和显示单元31配置而成。操作输入单元21由按钮等构成，其接收用户的操作，并且向信号处理单元M提供与其操作相对应的信号。拍摄单元22由光学镜头、拍摄设备等构成，其通过对来自被摄体的光进行光电转换来拍摄拍摄的图像，并提供给拍摄控制单元23。拍摄控制单元23控制拍摄单元22进行的拍摄，还将从拍摄单元22获得的拍摄的图像提供给信号处理单元M。信号处理单元M经由总线25连接到缓冲存储器沈到驱动28，以及显示控制单元 30，其根据来自操作输入单元21的信号控制整个拍摄装置11。例如，信号处理单元M经由总线25将来自拍摄控制单元23的拍摄的图像提供给缓冲存储器沈，或者根据从缓冲存储器26获得的拍摄的图像生成全景移动图像。缓冲存储器沈由SDRAM(同步动态随机存取存储器)等构成，其临时记录诸如经由总线25提供的拍摄的图像的数据。压缩/解压缩单元27根据预定格式对经由总线25 提供的图像进行编码或者解码。驱动28将从总线25提供的全景移动图像记录在记录介质四中，或者读出记录在记录介质四中的全景移动图像以输出到总线25。记录介质四由对于拍摄装置11可拆卸的非易失性存储器构成，其根据驱动洲的控制记录全景移动图像。显示控制单元30将经由总线25提供的全景移动图像提供给显示单元31进行显示。显示单元31例如由LCD(液晶显示器)等构成，其根据显示控制单元30的控制显示全景移动图像。信号处理单元的配置此外，图1中的信号处理单元M如在图2中更详细地示出的那样配置。具体地，信号处理单元对由运动估计单元61、纸条图像生成单元62和全景移动图像生成单元63配置而成。
运动估计单元61使用经由总线25提供的具有不同的拍摄时间点的两个拍摄的图像，进行运动估计(Motion Estimation) 此外，运动估计单元61包括坐标计算单元71。基于运动估计的结果，坐标计算单元71生成在将这些拍摄的图像排列并布置在预定平面上，使得两个拍摄的图像上的相同拍摄体重叠时，指示每个拍摄的图像的相对位置关系的信息。具体地，计算在预定平面上设置二维χ-y坐标系时的拍摄的图像的中心位置的坐标(下文中称为中心坐标)，作为指示拍摄的图像的相对位置关系的信息。纸条图像生成单元62使用经由总线25提供的拍摄的图像及其中心坐标，剪裁拍摄的图像上的预定区域作为纸条图像，并提供给全景移动图像生成单元63。全景移动图像生成单元63合成来自纸条图像生成单元62的纸条图像，以生成多个全景图像，由此生成作为全景图像组的全景移动图像。这里，全景移动图像的一帧、即单个全景图像，是作为被摄体显示在拍摄拍摄的图像时用作要拍摄的对象的实际空间上的预定范围(区域)的图像。对生成全景移动图像时的拍摄方法的描述顺便提及，在用户使拍摄装置11生成全景移动图像的情况下，用户操作拍摄装置 11以拍摄用来生成全景移动图像的拍摄的图像。例如，如图3所示，在拍摄拍摄的图像时，用户将拍摄装置11的光学镜头指向图中的近侧，并且在图中以转动中心Cll为中心从左至右方向转动(摇摄)拍摄装置11的同时， 连续对被摄体进行拍摄。这时，用户调整拍摄装置11的转动速度，使得保持静止的相同对象包含在要连续拍摄的多个拍摄的图像中。以这种方式，在移动拍摄装置11的同时，拍摄拍摄的图像，由此获得N个拍摄的图像P(I)至拍摄的图像P (N)。这里，拍摄的图像P(I)是N个拍摄的图像中具有最早的拍摄时间点的图像、即第一个拍摄的图像，拍摄的图像P(N)是N个拍摄的图像中具有最新的拍摄时间点的最后拍摄的图像。下文中，假设还将第η(然而Kn彡N)个拍摄的拍摄的图像称为拍摄的图像 P (η)。注意，每个拍摄的图像可以是连续拍摄的静止图像，或者拍摄的移动图像的一帧图像。以这种方式，在获得了 N个拍摄的图像时，拍摄装置11使用这些拍摄的图像生成全景移动图像进行显示。此外，在图3中，在将拍摄装置11自身旋转90度、即转向一边进行拍摄时可以获得在图中的垂直方向上更长的拍摄的图像的情况下，可以将拍摄装置11转向一边来进行拍摄的图像的拍摄。在这种情况下，拍摄的图像在与拍摄装置11相同的方向上旋转90度， 并且进行全景移动图像的生成。对全景移动图像生成处理的描述接下来，参考图4中的流程图，对拍摄装置11拍摄拍摄的图像以生成全景移动图像的全景移动图像生成处理进行描述。在用户对操作输入单元21进行操作并且指示生成全景移动图像时，该全景移动图像生成处理开始。在步骤Sll中，拍摄单元22在拍摄装置11如图3所示移动的状态下对被摄体进行拍摄。因此，获得一个拍摄的图像(下文中称为一帧)。经由拍摄控制单元23将在拍摄单元22处拍摄的拍摄的图像从拍摄单元22提供给信号处理单元24。
在步骤S12中，信号处理单元M将从拍摄单元22提供的拍摄的图像经由总线25 提供给缓冲存储器26，以临时进行记录。这时，信号处理单元M通过对拍摄的图像添加帧编号来记录拍摄的图像，以确定要记录的拍摄的图像是第几个拍摄的。注意，下文中，还将第η个拍摄的拍摄的图像Ρ(η)称为帧η的拍摄的图像Ρ(η)。在步骤S13中，运动估计单元61经由总线25从缓冲存储器沈获得当前帧η和紧接在其前面的帧(η-1)的拍摄的图像，并且通过运动估计进行拍摄的图像的位置匹配。例如，在紧接在前的步骤S12中记录在缓冲存储器沈中的拍摄的图像是第η个拍摄的拍摄的图像Ρ(η)的情况下，运动估计单元61获得当前帧η的拍摄的图像Ρ(η)以及紧接在前的帧(η-1)的拍摄的图像P(n-l)。随后，如图5所示，运动估计单元61搜索在紧接在前的帧的拍摄的图像P (η-1)上的哪个位置，存在与拍摄的图像Ρ(η)上的九个块BL(n)-l至BR(n)-3相同的图像，由此进行位置匹配。 这里，块BC (η) -1至BC (η) _3是在界线CL_n上在图中的垂直方向上排列的矩形区域，界线CL-n是一般位于图中的拍摄的图像P(n)的中心的垂直方向上的垂直直线。此外，块BL (η) -1至BL (η) _3是在界线LL_n上在图中的垂直方向上排列的矩形区域，界线LL-n是位于拍摄的图像P(n)的图中的界线CL_n左侧的垂直方向上的假想直线。 类似地，块BR(n)-l至BR(η)-3是在界线RL_n上、在图中的垂直方向上排列的矩形区域，界线RL-n是位于拍摄的图像P(n)的图中的界线CL_n右侧的垂直方向上的假想直线。预先确定这九个块BL(n)-l至BR (η)-3的位置。运动估计单元61关于拍摄的图像Ρ(η)上的九个块中的每个，搜索拍摄的图像 P(η-1)上具有与其块相同的形状和大小、并且对于块具有最小的区域差的区域(下文中称为“块对应区域”)。这里，对于块的差是要处理的块、例如块BL(n)-l与作为块对应区域候选的区域之间的相同位置的像素的像素值的差绝对值的和等。在进行这种运动估计时，理想上对于拍摄的图像Ρ(η)上的块BL(Ii)-I至块 BR(n)-3中的每个，获得以与该块的相对位置关系相同的位置关系位于拍摄的图像P(n-l) 上的块对应区域。拍摄的图像P(n-l)的与拍摄的图像P(n)上的要处理的块相对应的块对应区域， 是拍摄的图像P(n-l)上的对于要处理的块具有最小的差的区域。因此，估计在块对应区域中显示与要处理的块相同的图像。相应地，在以重叠的方式将拍摄的图像P(n)和拍摄的图像P(n-l)排列在预定平面上，使得块BL (η)-1至块BR(η) -3与对应的块对应区域重叠的情况下，这些拍摄的图像上的相同被摄体应当重叠。然而，实际上，块和块对应区域可能不具有相同的位置关系。因此，更详细地，运动估计单元61将拍摄的图像Ρ(η)和拍摄的图像P(n-l)排列在平面上，使得所有块和块对应区域大体上重叠，并且将其结果确定为拍摄的图像的位置匹配的结果。注意，在拍摄的图像上存在具有运动的被摄体，并且其被摄体包含在拍摄的图像 P(η)上的块中的情况下，获得的九个块对应区域不具有与块BL(η)-1至块BR(n)_3相同的位置关系。因此，在获得的块对应区域中的每个的相对位置关系与拍摄的图像P(η)上的块的相对位置关系不同的情况下，去除估计包括具有运动的被摄体的块，并且再次进行利用运动估计的位置匹配。也就是说，检测到对于另一块对应区域具有不同的相对位置关系的块对应区域，从要处理的对象中去除拍摄的图像P(n)上的与检测到的块对应区域相对应的块，并且仅使用其余块再次进行运动估计。具体地，假设在图5中以垂直水平相等的间隔、以距离QL为间隔排列块BL (η) _1 至块BR (η) -3。例如，彼此相邻的块BL (η)-1至块BL (η) -2之间的距离以及块BL (η)-1至块 BC(n)-l之间的距离都是QL。在这种情况下，运动检测单元61基于与每个块相对应的对应块区域的相对位置关系，在拍摄的图像Ρ(η)上检测具有运动的块。也就是说，运动估计单元61获得彼此相邻的块对应区域之间、诸如与块BR(n)_3 相对应的块对应区域和与块BC (η)-3相对应的块对应区域之间的距离QM。其结果是，比方说，对于块BR (η) _2和块BC (η) _3，其块对应区域和排除块BR (η) -3 的块对应区域的其它相邻块对应区域之间的距离QM与距离QL的差的绝对值等于或小于预定阈值。此夕卜，比方说，与块BR(η) -2和块BC (η) -3相对应的块对应区域和与块BR(η) -3相对应的块对应区域之间的距离QM与距离QL的差的绝对值等于或大于阈值。在这种情况下，以与每个块的相对位置关系相同的位置关系排列与块BR(n)_3不同的其它块的块对应区域。然而，仅块BR(n)-3的块对应区域对于其它块对应区域具有与每个块的位置关系不同的位置关系。在获得了这种检测结果的情况下，运动估计单元61确定块BR (η)-3包括具有运动的被摄体。注意，对于具有运动的块的检测，不仅可以利用彼此相邻的块对应区域之间的距离，还可以利用对于与关注的块对应区域相邻的另一块对应区域的旋转角度等。具体地，例如，在存在关于另一块对应区域比预定角度倾斜得更多的块对应区域的情况下，判断出与其块对应区域相对应的块包括具有运动的被摄体。以这种方式，在检测到具有运动的块时，运动估计单元61使用排除了其具有运动的块的其余块，通过运动估计再次在拍摄的图像Ρ(η)和拍摄的图像P(n-l)之间进行位置匹配。以这种方式，通过排除包括具有运动的被摄体的块，仅使用包括没有运动的被摄体的块，即仅使用所谓的背景，来进行位置匹配，由此可以以更准确的方式进行位置匹配。 在根据该位置匹配的结果排列拍摄的图像P(n)和拍摄的图像P(n-l)的情况下，可以排列这些拍摄的图像，使得没有运动的被摄体重叠。在进行位置匹配后，接下来，坐标计算单元71计算在根据每个帧的位置匹配的结果，将迄今为止拍摄的拍摄的图像P(I)至拍摄的图像P(n)排列在预定平面上、即χ-y坐标系上时，拍摄的图像P(n)的中心坐标。例如，如图6所示，排列各个拍摄的图像，使得拍摄的图像P⑴的中心是χ-y坐标系的原点的位置，并且包含在拍摄的图像中的相同被摄体重叠。注意，在图中，水平方向指示χ坐标，垂直方向指示y坐标。此外，拍摄的图像P(I)至拍摄的图像P(n)上的各个点 0(1)至O(n)指示这些拍摄的图像的中心位置。例如，如果我们说要处理的当前帧的拍摄的图像是拍摄的图像P(n)，则已经获得了拍摄的图像P(I)至拍摄的图像P(n-l)的各个中心点0(1)至o(n-l)的中心坐标，并将其记录在缓冲存储器26中。
10
坐标计算单元71从缓冲存储器沈中读出拍摄的图像P(n-l)的中心坐标，并且从拍摄的图像P(n)和拍摄的图像P(n-l)之间的位置匹配结果获得拍摄的图像P(n)的中心坐标。也就是说，获得点0(n)的χ坐标和y坐标作为中心坐标。返回到对图4中的流程图的描述，在步骤S13中进行位置匹配并且获得拍摄的图像P(η)的中心坐标后，处理进行到步骤S14。在步骤S14中，运动估计单元61将获得的拍摄的图像P(Ii)的中心坐标提供给缓冲存储器26，并以与拍摄的图像Ρ(η)相关的方式对此进行记录。在步骤S15中，信号处理单元M判断是否拍摄了预定数量的拍摄的图像。例如， 如图3所示，在通过划分为N次拍摄预定空间上的区域的情况下，在拍摄了 N个拍摄的图像时，判断出拍摄了预定数量的拍摄的图像。注意，在对拍摄装置11设置了诸如陀螺仪传感器等的能够检测拍摄装置11转动的角度的装置的情况下，判断从拍摄的图像的拍摄开始拍摄装置11是否转动了预定角度， 来代替拍摄的图像的数量。即使在这种情况下，也可以判断是否以预定空间上的特定区域为被摄体进行了拍摄的图像的拍摄。在步骤S15中判断出还未拍摄预定数量的拍摄的图像的情况下，处理返回到步骤 S11，拍摄下一帧的拍摄的图像。另一方面，在步骤S15中判断出拍摄了预定数量的拍摄的图像的情况下，处理进行到步骤S16。在步骤S16中，纸条图像生成单元62从缓冲存储器沈获得N个拍摄的图像及其中心坐标，并且基于获得的拍摄的图像和中心坐标，剪裁每个拍摄的图像的预定区域，以生成纸条图像。例如，如图7所示，纸条图像生成单元62剪裁以拍摄的图像P(Ii)上的界线CL-n 为基准确定的区域，作为纸条图像T-n。注意，用相同的附图标记表示图7中与图5中的情况相对应的部分，并且省略其描述。在图7中，基于其中心坐标，排列连续拍摄的拍摄的图像P(Ii)和拍摄的图像 Ρ(η+1)，使得相同的被摄体重叠。拍摄的图像Ρ(η+1)上的界线CL_(n+l)是与拍摄的图像 P (η)中的界线CL-n相对应的界线。也就是说，界线CL_n和界线CL-(n+1)是位于拍摄的图像P(n)和拍摄的图像P(n+1)上的相同位置中的在图中的垂直方向上的假想直线。此外，在图中，作为垂直方向上的直线的界线ML (C) -η和界线MR (C) -η是拍摄的图像Ρ(η)上的界线CL-n附近的直线，其分别位于以预定距离与界限CL-n的左侧和右侧分离的位置。类似地，在图中，作为垂直方向上的直线的界线ML(C)-(n+l)和界线MR(C)-(n+1) 是拍摄的图像P(n+1)上的界线CL-(n+l)附近的直线，其分别位于以预定距离与界限 CL-(n+1)的左侧和右侧分离的位置。例如，在从拍摄的图像P(n)中剪裁纸条图像T-n的情况下，纸条图像生成单元62 剪裁拍摄的图像P(n)上的界线ML(C)-n至界线MR(C)-(n+l)的位置之间的区域，作为纸条图像T-n。这里，拍摄的图像P(n)上的界线MR(C)-(n+l)的位置是在排列拍摄的图像P(η) 和拍摄的图像Ρ(η+1)时拍摄的图像Ρ(η)上与界线MR(C)-(n+1)重叠的位置。类似地，在从拍摄的图像P(n-l)中剪裁纸条图像T-(n-l)的情况下，剪裁拍摄的图像P(n-l)上的界线ML(C)-(n-l)至界线MR(C)-n的位置之间的区域，作为纸条图像 T-(n-l)。相应地，对于纸条图像T-n，界线ML(C)-Ii至界线MR(C)_n的位置之间的区域中的被摄体，是与纸条图像T-(n-l)中的界线ML(C)-η至界线MR(C)-η的位置之间的区域中的被摄体基本相同的被摄体。然而，纸条图像T-n和纸条图像T-(n-l)是分别从拍摄的图像 P(η)和拍摄的图像P(n-l)中剪裁的图像，其被摄体是相同被摄体，但是拍摄的时间点不同。类似地，对于纸条图像T-n，界线ML(C)-(n+l)至界线MR(C) _(n+l)的位置之间的区域中的被摄体，是与纸条图像T-(n+l)中的界线ML(C)-(η+1)至界线MR(C)_(η+1)的位置之间的区域中的被摄体基本相同的被摄体。以这种方式，在从拍摄的图像中剪裁以拍摄的图像上的最中心的界线为基准确定的区域作为纸条图像，并且排列从各个拍摄的图像中剪裁的纸条图像的情况下，显示在拍摄N个拍摄的图像时用作要拍摄的对象的真实空间上的预定范围(区域)。将通过排列并合成从各个拍摄的图像中获得的纸条图像而获得的单个图像，视为构成全景移动图像的一帧全景图像。在从各个拍摄的图像生成纸条图像时，纸条图像生成单元62将获得的纸条图像和各个拍摄的图像的中心坐标提供给全景移动图像生成单元63。在步骤S17中，全景移动图像生成单元63基于从纸条图像生成单元62提供的纸条图像和中心坐标，排列并合成每个帧的纸条图像，以生成全景移动图像的一帧图像数据、 即单个全景图像。例如，当合成纸条图像T-n和纸条图像T-(n-l)时，全景移动图像生成单元63通过关于这些纸条图像中的从界线ML(C)-Ii到界线MR(C)-Ii的区域进行加权相加，来获得全景图像的像素的像素值。具体地，在基于中心坐标排列纸条图像T-n和纸条图像T-(η-l)时，这些纸条图像中的从界线ML(C)-Ii到界线MR(C)-Ii的位置的区域彼此重叠。全景移动图像生成单元63 对于纸条图像T-n和纸条图像T-(n-l)的彼此重叠的像素的像素值进行加权相加，并且将作为其结果而获得的值视为全景图像的与这些像素相对应的位置上的像素的像素值。注意，对于纸条图像T-n和纸条图像T-(n-l)，确定在对从界线ML(C)_n到界线 MR(C)-Ii的区域的像素进行加权相加时的权重具有以下特征。具体地，对于从界线CL-n到界线MR(C)_n的位置的像素，随着像素的位置从界线 CL-n接近界线MR(C)-Ii的位置，将纸条图像T_n的像素对于生成全景图像的贡献率设置得更高。相反，对于从界线CL-n到界线ML(C)-Ii的位置的像素，随着像素的位置从界线CL_n 接近界线ML(C)-Ii的位置，将纸条图像T-(n-l)的像素对于生成全景图像的贡献率设置得更高。此外，在生成全景图像时，将纸条图像τ-n的从界线MR(C) -η到界线ML (C) - (η+1) 的区域按原样视为全景图像。此外，在纸条图像T-n和纸条图像Τ-(η+1)之间进行合成时，通过关于这些纸条图像的界线ML(C)-(η+1)至界线MR(C)-(η+1)的位置之间的区域进行加权相加，来获得全景图像的像素的像素值。
具体地，对于从界线CL_(n+l)到界线MR(C)_(n+l)的位置的像素，随着像素的位置从界线CL-(n+l)接近界线MR(C)-(n+1)的位置，将纸条图像T-(n+1)的像素对于生成全景图像的贡献率设置得更高。相反，对于从界线CL-(n+1)到界线ML(C)-(n+1)的位置的像素，随着像素的位置从界线CL-(n+1)接近界线ML(C)-(n+1)的位置，将纸条图像T_n的像素对于生成全景图像的贡献率设置得更高。以这种方式，在纸条图像之间进行合成时，对连续帧的纸条图像的边缘附近的区域进行加权相加，以获得全景图像的像素的像素值，从而与仅排列纸条图像来获得单个图像的情况相比获得更自然的图像。例如，在仅排列纸条图像以获得全景图像的情况下，如果纸条图像的边缘周围的被摄体的轮廓变形，或者连续帧的纸条图像的亮度不同，则对于全景图像的每个区域可能导致亮度不规则。因此，对于全景移动图像生成单元63，通过加权相加合成纸条图像的边缘附近的区域，由此防止被摄体的轮廓变形，或者防止导致亮度不均勻，从而可以获得更自然的全景图像。此外，可以进行如下布置，其中，在对拍摄的图像进行位置匹配时，基于拍摄的图像，运动估计单元61检测构成拍摄单元22的光学镜头中的镜头变形，并且在合成纸条图像时，纸条图像生成单元62使用镜头变形的检测结果来校正纸条图像。也就是说，基于镜头变形的检测结果，通过图像处理校正纸条图像中产生的变形。如上所述获得的全景移动图像的一帧，是作为被摄体显示在拍摄拍摄的图像时用作要拍摄的对象的空间中的预定区域的图像。在生成全景移动图像的一帧后，全景移动图像生成单元63经由总线25将生成的全景移动图像的图像数据提供给压缩/解压缩单元 27。在步骤S18中，压缩/解压缩单元27例如通过JPEG (联合图像专家组)格式对从全景移动图像生成单元63提供的全景移动图像的图像数据进行编码，并经由总线25提供给驱动28。驱动28将来自压缩/解压缩单元27的全景移动图像的图像数据提供给记录介质 29进行记录。在记录图像数据时，通过全景移动图像生成单元63对图像数据提供帧编号。在步骤S19中，信号处理单元M判断是否生成了全景移动图像的预定帧的图像数据。例如，在进行了生成由M帧的图像数据构成的全景移动图像的定义的情况下，在获得了 M帧的图像数据时，判断出生成了预定帧的全景移动图像。在步骤S19中判断出还未生成预定帧的全景移动图像的情况下，处理返回步骤 S16，生成全景移动图像的下一帧的图像数据。例如，在生成了全景移动图像的第一帧的图像数据的情况下，如参考图7所描述的，剪裁拍摄的图像Ρ(η)的界线ML(C)-η至界线MR(C)-(n+1)的位置之间的区域，并将其视为拍摄的图像P(n)的纸条图像T-n。随后，在生成全景移动图像的第二帧和之后帧的图像数据的情况下，一次将纸条图像T-n从拍摄的图像P(n)中的剪裁位置在图7中的左方向上偏移从界线CL_n到界线 CL-(n+1)的宽度 CW。具体地，假设全景移动图像的第m帧的纸条图像T-n是纸条图像T(m)-n(然而l^m^M)。在这种情况下，将第m帧的纸条图像T (m) -η的剪裁位置视为从纸条图像T (1) -η 的剪裁位置向图7中的左侧偏移宽度CW的(m-1)倍的距离的位置。相应地，例如，第二帧的纸条图像Τ(2)_η被剪裁的区域是拍摄的图像P(n)上的与图7中的纸条图像T-n具有相同的形状和大小的区域，并且是右边缘的位置是界线MR (C) -η 的位置的区域。这里，根据在拍摄拍摄的图像时拍摄装置11转动的方向，预先确定纸条图像的剪裁区域偏移的方向。例如，图7中的示例假定拍摄装置11被转动，使得下一帧的拍摄的图像的中心位置关于指定帧的拍摄的图像的中心位置位于图中的右侧。这是因为如果纸条图像的剪裁位置在与拍摄的图像的中心位置根据拍摄装置11 的移动的移动方向相反的方向上每帧地偏移，则在构成全景移动图像的每个全景图像中的相同位置显示没有运动的相同被摄体。以这种方式，在针对每个帧偏移纸条图像的剪裁位置的同时生成全景移动图像的每个帧的图像数据后，例如获得如图8所示的全景移动图像。注意，在图8中，图中的水平方向对应于图7中的水平方向。例如，图8中的水平方向对应于χ-y坐标系的χ方向。在图8中的示例中，分别从(R-I)个拍摄的图像P(I)至拍摄的图像P(R-I)(然而 R^N)生成纸条图像T(I)-I至纸条图像T(I)- (R-I)，将这些纸条图像合成以获得全景图像W⑴。类似地，分别从(R-I)个拍摄的图像P(2)至拍摄的图像P(R)生成纸条图像 T (2)-1至纸条图像T (2) - (R-I)，将这些纸条图像合成以获得全景图像W (2)。这里，全景图像W(I)和全景图像WQ)是分别构成全景移动图像的第一帧和第二帧的图像。此外，例如，将拍摄的图像P(2)中的纸条图像T(2)-l的剪裁区域视为通过将纸条图像T(l)-2的剪裁区域向图中的左侧偏移宽度CW而获得的位置中的区域。针对拍摄的图像的每个帧改变该宽度CW的大小。此外，例如，在纸条图像T⑴-1和纸条图像T⑵-1 中显示不同时间点处的相同被摄体。相应地，在全景图像W(I)和全景图像W(2)中显示不同时间点处的相同被摄体。此外，通过合成从不同的多个帧的拍摄的图像获得的纸条图像，生成全景移动图像的一帧，相应地，即使对于单个全景图像，在每个区域中显示的被摄体在拍摄时间点上不同。注意，在全景图像上显示的被摄体可以是在拍摄N个拍摄的图像时用作要拍摄的对象(被摄体)的拍摄空间中的整个区域，或者可以是拍摄空间中的部分区域。返回对图4中的流程图的描述，在步骤S19中判断出生成了预定数量的帧的全景移动图像的情况下，信号处理单元M经由驱动观从记录介质四中读出构成全景移动图像的每个帧的全景图像。随后，信号处理单元M将读出的全景图像提供给压缩/解压缩单元 27以指示解码，且处理进行到步骤S20。在步骤S20中，压缩/解压缩单元27例如通过JPEG对从信号处理单元M提供的全景移动图像数据的图像数据、即每个全景图像进行解码，并提供给显示控制单元30。随后，在步骤S21中，显示控制单元30将来自压缩/解压缩单元27的全景移动图像提供给显示单元31进行显示。具体地，显示控制单元30按照对其全景图像设置的帧编号的顺序，以预定时间间隔显示构成全景移动图像的全景图像。因此，通过显示单元31以预定时间间隔按顺序显示全景移动图像的每个帧。也就是说，显示以在拍摄N个拍摄的图像时用作要拍摄的对象的拍摄空间中的整个或者一部分区域作为被摄体的移动图像。以这种方式显示的构成全景移动图像的每个帧的全景图像本身是静止图像，但是将相同空间的区域视为被摄体，要在全景移动图像的每个区域中显示的每个被摄体具有运动。在显示全景移动图像后，全景移动图像生成处理结束。以这种方式，拍摄装置11在偏移剪裁区域的同时从在不同的时间点拍摄的多个拍摄的图像中的每个，生成多个纸条图像，将纸条图像合成以生成构成全景移动图像的每个帧的全景图像。根据以这种方式生成的全景移动图像，拍摄的被摄体可具有运动，并且可以表达其运动，相应地，可以以更有效的方式显示拍摄的被摄体的图像。此外，单个全景图像上的每个区域中的被摄体具有不同的时间点，相应地，可以呈现更生动的图像。也就是说，可以以更有效的方式显示拍摄的被摄体。注意，迄今为止进行了如下描述，其中拍摄N个拍摄的图像，将所有拍摄的图像临时记录在缓冲存储器26中，然后使用这些拍摄的图像来生成全景移动图像，但是可以在进行拍摄的图像的拍摄时，同时进行全景移动图像的生成。此外，可以进行如下布置，其中对诸如个人计算机的装置设置用于从拍摄的图像生成全景移动图像的功能，并且从由照相机拍摄的拍摄的图像生成全景移动图像。第二实施例图像处理单元的配置此外，在生成全景移动图像的情况下，可以进行如下布置，其中从拍摄的图像中检测运动，根据其检测结果控制拍摄的图像的拍摄间隔、即拍摄的图像的帧速率。在这种情况下，如图9所示配置信号处理单元M。注意，在图9中，用相同的附图标记表示与图2中的情况相对应的部分，并且在适当时省略其描述。对于图9中的信号处理单元对，新设置了运动检测单元111和拍摄间隔控制单元 112。随后，将在运动估计单元61中获得的拍摄的图像的中心坐标和拍摄的图像从运动估计单元61提供给运动检测单元111。在基于来自运动估计单元61的拍摄的图像和中心坐标将连续两帧的拍摄的图像排列在χ-y坐标系上的情况下，运动检测单元111通过获得彼此重叠的部分的差从拍摄的图像中检测运动，并且将检测结果提供给拍摄间隔控制单元112。拍摄间隔控制单元112使拍摄控制单元23基于来自运动检测单元111的检测结果控制拍摄的图像的拍摄间隔。对全景移动图像生成处理的描述接下来，参考图10中的流程图，对如图9所示配置信号处理单元M的情况下的全景移动图像生成处理进行描述。注意，步骤S51至步骤SM分别与图4中的步骤Sll至步骤S14相同，因此省略其描述。在步骤S53中，运动估计单元61在连续的两帧的拍摄的图像P(η)和拍摄的图像 P(n-l)之间进行位置匹配，以获得拍摄的图像P(n)的中心坐标。然后，运动估计单元61将拍摄的图像P(n)和拍摄的图像P(n-l)以及这些拍摄的图像的中心坐标提供给运动检测单元 111。在步骤S55中，运动检测单元111获得拍摄的图像P (η)和拍摄的图像Ρ(η_1)的
15重叠部分的各个像素的差，获得其各个像素的差的绝对值的合计值，提供给拍摄间隔控制单元112。具体地，运动检测单元111基于拍摄的图像P(n)和拍摄的图像P(n_l)的中心坐标，将这些拍摄的图像排列在x-y坐标系上，并且将这些拍摄的图像的彼此重叠的部分视为要处理的对象。运动检测单元111针对拍摄的图像P(n)和拍摄的图像P(n-l)的要处理的区域内的所有像素，获得拍摄的图像P(n)和拍摄的图像P(n-l)的重叠像素的像素值的差，并且获得针对每个像素的差的绝对值的合计值。在步骤S56中，拍摄间隔控制单元112基于来自运动检测单元111的合计值，判断在拍摄的图像中是否检测到了运动。例如，在差的绝对值的合计值等于或大于预定阈值的情况下，判断出在拍摄的图像P(n)中检测到了运动。在拍摄的图像P(n)和拍摄的图像P(n-l)之间的重叠部分包括具有运动的被摄体的情况下，显示其被摄体的位置由于帧而不同，且相应地差的绝对值的合计值应当更大。因此，对于拍摄间隔控制单元112，在合计值等于或大于阈值的情况下，判断出检测到了具有运动的被摄体。在步骤S56中判断出没有检测到运动的情况下，在步骤S57中，拍摄间隔控制单元 112将拍摄单元22拍摄图像的拍摄间隔视为预定的标准拍摄间隔。随后，拍摄间隔控制单元112使拍摄控制单元23以确定的标准拍摄间隔对拍摄的图像的拍摄进行控制，然后处理进行到步骤S59。另一方面，在步骤S56中判断出检测到了运动的情况下，在步骤S58中，拍摄间隔控制单元112将拍摄单元22拍摄图像的拍摄间隔视为比预定标准拍摄间隔更短的拍摄间隔。随后，拍摄间隔控制单元112使拍摄控制单元23以确定的更短的拍摄间隔对拍摄的图像的拍摄进行控制，然后处理进行到步骤S59。在步骤S57或者步骤S58中确定拍摄间隔后，进行步骤S59至步骤S65中的处理， 且全景移动图像生成处理结束。注意，这些处理与图4中的步骤S15至步骤S21中的处理相同，因此省略其描述。以这种方式，拍摄装置11从拍摄的图像检测运动，并且根据其检测结果控制拍摄拍摄的图像的时间间隔。具体地，对拍摄装置11，在从拍摄的图像中没有检测到运动的情况下，以标准拍摄间隔进行拍摄的图像的拍摄，而在检测到运动的情况下，以比标准更短的拍摄间隔进行拍摄的图像的拍摄。随后，在从检测到运动的状态再次返回到没有检测到运动的状态后，拍摄的图像的拍摄间隔返回到标准拍摄间隔。在检测到运动的情况下，以比正常时间间隔更短的时间间隔拍摄拍摄的图像，且相应地在全景移动图像上显示具有运动的被摄体时，可以进一步减小帧之间的被摄体的运动量。也就是说，实质上可以提高全景移动图像的帧速率。因此，可以在全景移动图像上进一步平滑被摄体的运动，并且可以改善全景移动图像的质量。此外，在没有检测到运动的情况下，以正常拍摄间隔拍摄拍摄的图像，且相应地可以在不增加拍摄的图像的数量的情况下防止处理量增加。第三实施例信号处理单元的配置
顺便提及，在拍摄拍摄的图像时，进行拍摄使得连续帧的拍摄的图像具有足够的彼此的重叠，即包括相同被摄体的部分的数量大，并且在将拍摄的图像排列在χ-y坐标系上的情况下，重叠的部分足够大。因此，在拍摄的图像中不包括具有运动的被摄体的情况下，可以使用连续拍摄的多个拍摄的图像中的一些来生成全景移动图像。因此，可以减小生成全景移动图像时的处理量。在不使用不需要的拍摄的图像来生成全景移动图像的情况下，例如，如图11所示配置信号处理单元M。注意，在图11中，用相同的附图标记表示与图9中的情况相对应的部分，并且在适当时省略其描述。对图11中的信号处理单元M，代替图9中的拍摄间隔控制单元112，新设置记录控制单元141。随后，经由拍摄控制单元23将拍摄单元22拍摄的拍摄的图像提供给运动估计单元61。此外，运动检测单元111从运动估计单元61接收拍摄的图像和中心坐标的提供， 从拍摄的图像检测运动，还将其检测结果、拍摄的图像和中心坐标提供给记录控制单元 141。记录控制单元141根据来自运动检测单元111的检测结果控制拍摄的图像和中心坐标到缓冲存储器沈的记录。对全景移动图像生成处理的描述接下来，参考图12中的流程图，对在如图11所示配置信号处理单元M的情况下的全景移动图像生成处理进行描述。注意，步骤S91中的处理与图4中的步骤Sll中的处理相同，因此省略其描述。经由拍摄控制单元23将拍摄单元22拍摄的拍摄的图像提供给信号处理单元M的运动估计单元61。在步骤S92中，运动估计单元61从缓冲存储器沈获得紧接在前的帧的拍摄的图像和中心坐标，并且通过运动估计进行拍摄的图像的位置匹配。随后，在步骤S93中，坐标计算单元71基于通过运动估计进行的位置匹配的结果，获得拍摄的当前帧的拍摄的图像的中心坐标。通过步骤S92和步骤S93中通过运动估计进行的位置匹配和中心坐标的计算，进行与图4中的步骤S13中的处理相同的处理。在获得了当前帧的拍摄的图像的中心坐标后，运动估计单元61将当前帧和紧接在当前帧之前的帧的拍摄的图像和中心坐标提供给运动检测单元111。在步骤S94中，运动检测单元111基于来自运动估计单元61的拍摄的图像和中心坐标，获得这些拍摄的图像的重叠部分的每个像素的差，并获得其每个像素的差的绝对值的合计值。随后，运动检测单元111将差的绝对值的合计值以及当前帧的拍摄的图像和中心坐标提供给记录控制单元141。注意，在步骤S94中进行的合计值的计算与图10中的步骤S55中的处理相同，因此省略其详细描述。在步骤S95中，记录控制单元141基于来自运动检测单元111的合计值，判断在拍摄的图像中是否检测到了运动。例如，在差的绝对值的合计值等于或大于预定阈值的情况下，判断出检测到了运动。
在步骤S95中判断出检测到了运动的情况下，记录控制单元141经由总线25将从运动检测单元111提供的当前帧的拍摄的图像和中心坐标提供给缓冲存储器沈，并且进行到步骤S96。在步骤S96中，缓冲存储器沈以相关的方式记录从记录控制单元141提供的当前帧的拍摄的图像和中心坐标。这时，记录控制单元141通过对拍摄的图像设置帧编号来记录拍摄的图像。例如，在对紧接在记录在缓冲存储器沈中的当前帧、即具有最大帧编号的帧之前的帧设置帧编号(n-1)的情况下，将“η”设置为当前帧的帧编号。随后，在记录拍摄的图像和中心坐标后，处理进行到步骤S98。另一方面，在步骤S95中判断出没有检测到运动的情况下，在步骤S97中，记录控制单元141丢弃从运动检测单元111提供的当前帧的拍摄的图像和中心坐标。随后，在丢弃拍摄的图像和中心坐标后，处理进行到步骤S98。在步骤S96或者步骤S97中记录或者丢弃拍摄的图像后，进行步骤S98至步骤 S104中的处理，并且全景移动图像生成处理结束。注意，这些处理与图4中的步骤S15至步骤S21中的处理相同，因此省略其描述。注意，作为位置匹配的结果，在将当前帧和紧接在前的帧的拍摄的图像排列在x_y 坐标系上时，在拍摄的图像的重叠部分的面积等于或小于预定大小的情况下，可与运动检测结果无关地记录当前帧的拍摄的图像和中心坐标。因此，在将各个拍摄的图像排列在x-y 坐标系上时，相邻的拍摄的图像彼此不重叠，可以防止拍摄空间上的特定区域的图像丢失。以这种方式，拍摄装置11从拍摄的图像检测运动，并且根据其检测结果控制拍摄的图像和中心坐标的记录。在没有检测到运动的情况下，丢弃拍摄的图像和中心坐标，并且不使用该拍摄的图像和中心坐标来生成全景移动图像，由此可以减小拍摄的图像的临时记录所需的缓冲存储器26的记录容量，还可以减小处理量。第四实施例对拍摄的图像的拍摄方法的描述注意，迄今为止进行了如下描述，其中在用户移动拍摄装置11的同时指示拍摄拍摄的图像，可以在拍摄装置11由设备移动的状态下进行拍摄的图像的拍摄。在这种情况下，例如，如图13所示，将拍摄装置11固定到转动台171上并转动。具体地，转动台171由布置在预定台等上的固定单元181和关于固定单元181转动的转动台 182配置而成。在图13中的示例中，将拍摄装置11固定到转动台182上，转动台182在图中的箭头方向上以预定转动速度转动，由此拍摄装置11变为关于要拍摄的被摄体移动的状态。信号处理单元的配置以这种方式，在通过转动台171转动拍摄装置11的情况下，例如，如图14所示配置拍摄装置11的信号处理单元对，并且信号处理单元M和转动台171电连接。注意，在图14中，用相同的附图标记表示与图9中的情况相对应的部分，并且在适当时省略其描述。在图14中的信号处理单元M中，代替图9中的拍摄间隔控制单元112，新设置了转动速度控制单元201。转动速度控制单元201根据来自运动检测单元111的运动检测结果控制转动台171的转动速度。对全景移动图像生成处理的描述接下来，参考图15中的流程图，对如图14所示配置信号处理单元M的情况下的全景移动图像生成处理进行描述。注意，步骤S131至步骤S135中的处理与图10中的步骤S51至步骤S55中的处理相同，因此省略其描述。在运动检测单元111检测到运动时，将连续帧的拍摄的图像的差的绝对值的合计值，作为其检测结果从运动检测单元111提供给转动速度控制单元201。在步骤S136中，转动速度控制单元201基于来自运动检测单元111的合计值判断在拍摄的图像中是否检测到了运动。例如，在差的绝对值的合计值等于或大于预定阈值的情况下，判断出在拍摄的图像中检测到了运动。在步骤S136中判断出没有检测到运动的情况下，在步骤S137中，转动速度控制单元201将转动台171的转动速度设置为预定标准转动速度。随后，转动速度控制单元201 控制转动台171以在确定的标准转动速度转动转动台171，然后处理进行到步骤S139。另一方面，在步骤S136中判断出检测到了运动的情况下，在步骤S138中，转动速度控制单元201将转动台171的转动速度设置为比预定标准转动速度更慢的转动速度。随后，转动速度控制单元201控制转动台171以在比确定的标准转动速度更慢的转动速度转动转动台171，然后处理进行到步骤S139。在步骤S137或者步骤S138中确定了转动速度后，进行步骤S139至步骤S145中的处理，并且全景移动图像生成处理结束。注意，这些处理与图4中的步骤S15至步骤S21 中的处理相同，因此省略其描述。以这种方式，拍摄装置11从拍摄的图像检测运动，并且根据其检测结果控制转动台171的转动速度。具体地，在没有从拍摄的图像检测到运动的情况下，拍摄装置11在标准转动速度转动转动台171，而在检测到运动的情况下，在比标准更慢的转动速度转动转动台171。随后，在从检测到运动的状态再次返回到没有检测到运动的状态后，使转动台171 的转动速度返回到标准转动速度。在检测到了运动的情况下，以更慢的转动速度转动拍摄装置11，由此实质上可以提高全景移动图像的帧速率。因此，可以进一步平滑全景移动图像上被摄体的运动，并且可以改善全景移动图像的质量。第五实施例对视差和立体全景移动图像的描述顺便提及，如图16所示，在以转动中心Cll为中心在图中的箭头方向上转动拍摄装置11的同时拍摄拍摄的图像时，假设在位置PTl和位置PT2拍摄了拍摄的图像。在这种情况下，在将拍摄装置11布置在位置PTl和位置PT2中的每个时拍摄的拍摄的图像包括相同被摄体H11，但是这些拍摄的图像的拍摄位置、即被摄体Hll的观察位置不同，因此产生了视差。在拍摄装置11以固定转动速度转动的情况下，从转动中心Cll到拍摄装置11的距离越长，例如，从转动中心Cll到位置PTl的距离越长，视差越大。在使用如此产生的视差生成观察位置不同(具有视差)的两个全景移动图像，并且同时播放这些全景移动图像的情况下，可以向用户提供立体全景移动图像。注意，下文中，在观察位置不同的两个全景移动图像中，将要显示成由用户的右眼观察的全景移动图像称为针对右眼的全景移动图像，将要显示成由用户的左眼观察的全景移动图像称为针对左眼的全景移动图像。此外，将针对右眼和针对左眼的两个全景移动图像的组称为立体全景移动图像。在生成立体全景移动图像的情况下，从拍摄的图像中关于针对右眼和针对左眼的每个，剪裁用来生成全景移动图像的纸条图像。现在，将用来生成针对右眼和针对左眼的全景图像的每个纸条图像称为针对右眼的纸条图像和针对左眼的纸条图像，如图17所示从由拍摄的图像上的预定基准位置确定的区域剪裁这些纸条图像。注意，在图17中，用相同的附图标记表示与图5中的情况相对应的部分，并且在适当时省略其描述。在图17中，作为垂直方向上的直线的界线ML(L)-Ii和界线MR(L)-Ii是拍摄的图像 P (η)上的界线LL-n附近的直线，并且在图中分别以预定距离与界线LL_n的左侧和右侧分离地被布置。类似地，在图中，作为垂直方向上的直线的界线ML(R)-Ii和界线MR(R)-Ii是拍摄的图像P(n)上的界线RL-n附近的直线，并且分别以预定距离与界线RL-n的左侧和右侧分离地被布置。这些界线ML (L)-η和界线ML (R)-η以及界线MR(L) _η和界线MR(R) _η是分别与图 7中的界线ML (C) -η和界线MR (C) -η相对应的界线。例如，在从拍摄的图像P(η)中剪裁用来生成针对右眼和针对左眼的第一帧的全景移动图像的纸条图像的情况下，在拍摄的图像Ρ(η)上的界线CL-n的图中，将位于左侧和右侧的界线LL-n和界线RL-n视为基准。也就是说，分别剪裁以拍摄的图像P (η)上的界线LL-n和界线RL_n作为基准确定的区域，作为针对右眼的纸条图像TR(η)和针对左眼的纸条图像TL(η)。更详细地，被视为针对右眼的纸条图像TR(n)的区域是拍摄的图像P (η)上的从界线ML(L)-Ii到界线MR(L)-(n+l)的位置之间的区域。这里，界线MR(L)_(n+l)在拍摄的图像P(n+1)上是位于与拍摄的图像P(η)上的界线MR(L)-Ii相同的位置中的与界线MR(L)-Ii相对应的界线。此外，在基于中心坐标将拍摄的图像Ρ(η)和拍摄的图像Ρ(η+1)排列在x_y坐标系上的情况下，界线MR(L)-(n+l)在拍摄的图像P(n)上的位置是拍摄的图像P(n)上的与拍摄的图像P(n+1)的界线MR(L)-(n+1)
重叠的位置。类似地，被视为针对左眼的纸条图像TL(n)的区域是拍摄的图像P(n)上的从界线ML(R)-η到界线MR(R)-(n+1)的位置之间的区域。这里，界线MR(R)-(n+1)是拍摄的图像P(n+1)上的与界线MR(R)-n相对应的界线。此外，在将拍摄的图像P (η)和拍摄的图像 P (n+1)排列在x_y坐标系上的情况下，界线MR(R)-(n+l)在拍摄的图像P(n)上的位置是拍摄的图像P(n)上的与拍摄的图像P(n+1)的界线MR(R)-(n+1)重叠的位置。此外，从每个拍摄的图像中不仅剪裁用来生成针对右眼和针对左眼的第一帧的全景移动图像的纸条图像，还剪裁用来生成后续帧的纸条图像。例如，假设将针对右眼的全景移动图像的第m帧的纸条图像TR(η)视为纸条图像 TR (n) -m,将在把拍摄的图像P (η)和拍摄的图像P (n+1)排列在χ-y坐标系上时从界线LL_n 到界线LL-(n+l)的距离视为LW。注意，界线LL-(n+l)是拍摄的图像P(n+1)上的与拍摄的图像P(n)上的界线LL-n相对应的界线。
在这种情况下，将第m帧的纸条图像TR(n)-m的剪裁位置视为图17中的从第一帧的纸条图像TR(η)的剪裁位置向左侧偏移距离LW的(m-1)倍的距离的位置。类似地，假设将针对左眼的全景移动图像的第m帧的纸条图像TL(n)视为纸条图像TL (n)-m，将在把拍摄的图像P (η)和拍摄的图像Ρ(η+1)排列在x_y坐标系上时从界线 RL-n到界线RL-(n+l)的距离视为RW。注意，界线RL-(n+1)是拍摄的图像P(n+1)上的与拍摄的图像P(n)上的界线RL-n相对应的界线。在这种情况下，将第m帧的纸条图像TL (n)-m的剪裁位置视为图17中的从第一帧的纸条图像TL(n)的剪裁位置向左侧偏移距离RW的(m-1)倍的距离的位置。以这种方式，例如，在针对每个帧偏移纸条图像的剪裁位置的同时生成全景移动图像的每个帧的图像数据后，获得如图18所示的立体全景移动图像。注意，在图18中，图中的水平方向对应于图17中的水平方向。例如，图18中的水平方向对应于χ-y坐标系的 χ方向。通过图18中的示例，从每个帧的拍摄的图像中剪裁的纸条图像TL⑴-1至纸条图像TLC3)-1等，生成构成针对左眼的全景移动图像的第一帧的全景图像WPL-1。此外，从这些纸条图像向左偏移的位置剪裁的纸条图像TU2)-2至纸条图像TL(3)-2等，生成构成针对左眼的全景移动图像的第二帧的全景图像WPL-2。类似地，从拍摄的图像中剪裁的纸条图像TR(m-1) _1至纸条图像TR(m+l) _1等，生成构成针对右眼的全景移动图像的第一帧的全景图像WPR-1。此外，从这些纸条图像开始向左偏移的位置剪裁的纸条图像TR(m)-2、纸条图像TR(m+l)-2等生成构成针对右眼的全景移动图像的第二帧的全景图像WPR-2。拍摄装置的配置以这种方式，例如，如图19所示配置用于生成由针对右眼和针对左眼的全景移动图像构成的立体全景移动图像的拍摄装置11。注意，在图19中，用相同的附图标记表示与图1中的情况相对应的部分，并且在适当时省略其描述。对图19中的拍摄装置11，代替图1中的信号处理单元M和显示单元31，新设置信号处理单元231和显示单元232。例如，信号处理单元231控制整个拍摄装置11，并从缓冲存储器沈读出拍摄的图像，以生成立体全景移动图像。显示单元232例如由IXD或者透镜镜头构成，其通过透镜系统显示立体图像。信号处理单元的配置此外，如图20所示更详细地配置图19中的信号处理单元231。注意，在图20中， 用相同的附图标记表示与图2中的情况相对应的部分，因此在适当时省略其描述。纸条图像生成单元241使用经由总线25提供的拍摄的图像和中心坐标来剪裁拍摄的图像上的预定区域作为纸条图像，并提供给全景移动图像生成单元对2。对纸条图像生成单元对1，设置了用于生成针对右眼的纸条图像的右眼纸条图像生成单元251和用于生成针对左眼的纸条图像的左眼纸条图像生成单元252。全景移动图像生成单元242合成来自纸条图像生成单元Ml的纸条图像，以生成全景移动图像。对全景移动图像生成单元对2，设置了用于从针对右眼的纸条图像生成针对右眼的全景移动图像的右眼全景移动图像生成单元253和用于从针对左眼的纸条图像生成针对左眼的全景移动图像的左眼全景移动图像生成单元254。对立体全景移动图像生成处理的描述接下来，参考图21中的流程图，对图19中的拍摄装置11进行的立体全景移动图像生成处理进行描述。注意，步骤S171至步骤S175中的处理与图4中的步骤Sll至步骤S15中的处理相同，因此省略其描述。具体地，将通过拍摄而获得的拍摄的图像和中心坐标记录在缓冲存储器26中。在步骤S176中，右眼纸条图像生成单元251和左眼纸条图像生成单元252从缓冲存储器26获得N个拍摄的图像及其中心坐标，并基于获得的拍摄的图像和中心坐标生成针对右眼和针对左眼的纸条图像。具体地，进行与图4中的步骤S16中的处理相同的处理，生成针对右眼和针对左眼的纸条图像。注意，如参考图17所描述的，在图17中针对每个帧将纸条图像的剪裁位置向左方向偏移预定距离。例如，在用来生成第一帧的全景移动图像的纸条图像的情况下，从拍摄的图像P(n)中剪裁针对右眼的纸条图像TR (η)和针对左眼的纸条图像TL (η)。在从每个拍摄的图像生成纸条图像后，右眼纸条图像生成单元251和左眼纸条图像生成单元252将获得的纸条图像和每个拍摄的图像的中心坐标提供给全景移动图像生成单元Μ2。在步骤S177中，右眼全景移动图像生成单元253和左眼全景移动图像生成单元 254基于从纸条图像生成单元241提供的纸条图像和中心坐标，合成每个帧的纸条图像，以生成立体全景移动图像的一帧。具体地，右眼全景移动图像生成单元253进行与图4中的步骤S17中的处理相同的处理，以排列并合成针对右眼的各个纸条图像，并生成针对右眼的全景移动图像的一帧的图像数据。这时，以与步骤S17中的处理的情况相同的方式，对于针对右眼的纸条图像 TR(η)中的从界线ML(L)-n到界线MR(L)-n的区域，通过对于纸条图像TR(η-1)的边缘部分的区域进行加权相加，来获得全景图像的像素的像素值。此外，左眼全景移动图像生成单元2Μ进行与图4中的步骤S17中的处理相同的处理，以排列并合成针对左眼的各个纸条图像，并且生成针对左眼的全景移动图像的一帧的图像数据。这时，以与步骤S17中的处理的情况相同的方式，对于针对左眼的纸条图像 TL(η)中的从界线ML(R)-η到界线MR(R)-η的区域，通过对于纸条图像TL(η-1)的边缘部分的区域进行加权相加，来获得全景图像的像素的像素值。以这种方式，在生成由针对右眼和针对左眼的全景移动图像的图像数据构成的立体全景移动图像的一帧后，将这些全景移动图像的数据从全景移动图像生成单元242提供给压缩/解压缩单元27。随后，进行步骤S178至步骤S180中的处理，但是该处理与图4中的步骤S18至步骤S20中的处理相同，因此省略其描述。注意，将在步骤S180中解码的全景移动图像从压缩/解压缩单元27提供给显示控制单元30。在步骤S181中，显示控制单元30以预定时间间隔按顺序将来自压缩/解压缩单元27的每个帧的针对右眼和针对左眼的全景移动图像通过透镜系统提供给显示单元232， 并且显示立体全景移动图像。
具体地，显示单元232将每个帧的针对右眼和针对左眼的全景移动图像划分为若干纸条状图像，并且在预定方向上交替地排列和显示划分的针对右眼和针对左眼的图像， 由此显示立体全景移动图像。将由此划分并显示的针对右眼的全景移动图像的光和针对左眼的全景移动图像的光导向通过构成显示单元232的透镜镜头观看显示单元232的用户的右眼和左眼，并且分别形成图像。因此，用户的眼睛观察到立体全景移动图像。在显示单元232上显示(再现)立体全景移动图像后，立体全景移动图像生成处理结束。以这种方式，拍摄装置11在从不同的时间点处拍摄的多个拍摄的图像中的每个偏移剪裁区域的同时，生成针对右眼和针对左眼的多个纸条图像，并且针对每个帧合成纸条图像以生成立体全景移动图像。根据如此生成的立体全景移动图像，拍摄的被摄体可具有运动，可以表达其运动， 此外，可以以立体的方式显示被摄体，并且可以以更有效的方式显示拍摄的被摄体的图像。上述一系列处理由硬件执行，也可以由软件执行。在由软件执行该一系列处理的情况下，将构成该软件的程序从程序记录介质安装到内置到专用硬件中的计算机或者能够通过向其安装各种程序而执行各种功能的通用个人计算机等中。图22是示出使得程序执行上述一系列处理的计算机的硬件的配置示例的框图。对该计算机，CPU (中央处理器)301、R0M (只读存储器)302和RAM (随机存取存储器)303通过总线304彼此连接。输入/输出接口 305进一步连接到总线304。输入/输出接口 305与由键盘、鼠标、 麦克风等构成的输入单元306，由显示器、扬声器等构成的输出单元307，由硬盘、非易失性存储器等构成的记录单元308，由网络接口等构成的通信单元309和用于驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质311的驱动310连接。对如上所述配置的计算机，例如，CPU 301经由输入/输出接口 305和总线304将记录在记录单元308中的程序加载到RAM 303中并执行该程序，由此执行上述一系列处理。通过记录在可移动介质311中或者经由诸如局域网、因特网、数字卫星广播等的线缆或无线传输介质，来提供计算机(CPU 301)执行的程序，可移动介质311是例如由磁盘 (包括软盘)、光盘(⑶_R0M(光盘-只读存储器)、DVD(数字通用盘)等)、磁光盘、半导体存储器等构成的封装介质。可以通过将可移动介质311安装在驱动310上，经由输入/输出接口 305将程序安装到记录单元308中。此外，可由通信单元309经由线缆或无线传输介质接收程序，以将其安装到记录单元308中。另外，可以预先将程序安装到ROM 302或者记录单元308中。注意，计算机执行的程序可以是根据在本说明书中描述的顺序按照时间序列执行处理的程序，或者可以是并行或在诸如在进行调用时的需要的定时执行处理的程序等。注意，本发明的实施例不限于上述实施例，可以在不脱离本发明的实质的范围内进行各种变形。附图标记列表11拍摄装置，22拍摄单元，24信号处理单元，61运动估计单元，62纸条图像生成单元，63全景移动图像生成单元，71坐标计算单元，111运动检测单元，112拍摄间隔控制单元，141记录控制单元，201转动速度控制单元，231信号处理单元，232显示单元，251右眼纸条图像生成单元，252左眼纸条图像生成单元，253右眼全景移动图像生成单元，254左眼全景移动图像生成单元。
权利要求
1.一种图像处理设备，包括位置信息生成装置，被配置为基于在移动拍摄装置的同时由所述拍摄装置拍摄并获得的多个拍摄的图像，生成在将多个所述拍摄的图像排列在预定平面上以使得包含在不同的所述拍摄的图像中的相同被摄体重叠时指示所述拍摄的图像中的每个的相对位置关系的位置信息；纸条图像生成装置，被配置为关于多个所述拍摄的图像中的每个，在基于所述位置信息将多个所述拍摄的图像排列在所述平面上的情况下，剪裁所述拍摄的图像上的、从所述拍摄的图像上的预定基准位置到以在所述平面上与所述拍摄的图像重叠的方式排列的另一拍摄的图像的所述基准位置的区域，以生成包括所述区域的纸条图像；以及全景图像生成装置，被配置为通过排列并合成从多个所述拍摄的图像获得的所述纸条图像中的每个，生成单个全景图像；其中，所述纸条图像生成装置关于多个所述拍摄的图像，在预定方向上偏移所述拍摄的图像上的所述区域的同时，从所述拍摄的图像生成多个所述纸条图像；以及其中，所述全景图像生成装置通过针对所述区域的每个位置生成所述全景图像， 来生成由显示拍摄空间上的相同区域的图像的多个所述全景图像构成的图像组。
2.根据权利要求1所述的图像处理设备，还包括显示控制装置，被配置为以预定时间间隔按顺序显示多个所述全景图像。
3.根据权利要求1所述的图像处理设备，其中，所述位置信息生成装置使用所述拍摄的图像上的多个预定块区域，通过从所述拍摄的图像之前拍摄的拍摄的图像中搜索与多个所述块区域相对应的块对应区域中的每个，来生成所述位置信息。
4.根据权利要求3所述的图像处理设备，其中，所述位置信息生成装置基于多个所述块区域的相对位置关系和多个所述块对应区域的相对位置关系，检测包括具有运动的被摄体的所述块区域，在检测到包括所述具有运动的被摄体的所述块区域的情况下，使用多个所述块区域中的与所述检测到的块区域不同的所述块区域来搜索所述块对应区域，由此生成所述位置信息。
5.根据权利要求1所述的图像处理设备，还包括运动检测装置，被配置为使用所述拍摄的图像和在该所述拍摄的图像之前拍摄的所述拍摄的图像，从所述拍摄的图像检测运动；以及拍摄控制装置，被配置为控制所述拍摄装置，使得在未检测到所述运动的情况下，以第一时间间隔拍摄所述拍摄的图像，而在检测到所述运动的情况下，以比所述第一时间间隔短的第二时间间隔拍摄所述拍摄的图像。
6.根据权利要求1所述的图像处理设备，还包括运动检测装置，被配置为使用所述拍摄的图像和在该所述拍摄的图像之前拍摄的所述拍摄的图像，从所述拍摄的图像检测运动；以及丢弃装置，被配置为丢弃未检测到所述运动的所述拍摄的图像；其中，不使用所述丢弃的拍摄的图像来生成所述纸条图像。
7.根据权利要求1所述的图像处理设备，还包括运动检测装置，被配置为使用所述拍摄的图像和在该所述拍摄的图像之前拍摄的所述拍摄的图像，从所述拍摄的图像检测运动；以及移动装置，被配置为以与所述运动的检测结果相对应的速度移动所述拍摄装置。
8.根据权利要求1所述的图像处理设备，其中，所述纸条图像生成装置以第一位置为所述基准位置，从所述拍摄的图像生成第一纸条图像，还以与所述第一位置不同的第二位置为所述基准位置，从所述拍摄的图像生成第二纸条图像；以及其中，所述全景图像生成装置基于从多个所述拍摄的图像获得的所述第一纸条图像和所述第二纸条图像，生成相互间具有视差的第一全景图像组和第二全景图像组。
9.一种用于图像处理设备的图像处理方法，所述图像处理设备包括位置信息生成装置，被配置为基于在移动拍摄装置的同时由所述拍摄装置拍摄并获得的多个拍摄的图像，生成在将多个所述拍摄的图像排列在预定平面上以使得包含在不同的所述拍摄的图像中的相同被摄体重叠时，指示所述拍摄的图像中的每个的相对位置关系的位置信息；纸条图像生成装置，被配置为关于多个所述拍摄的图像中的每个，在基于所述位置信息将多个所述拍摄的图像排列在所述平面上的情况下，剪裁所述拍摄的图像上的、从所述拍摄的图像上的预定基准位置到以在所述平面上与所述拍摄的图像重叠的方式排列的另一拍摄的图像的所述基准位置的区域，以生成包括所述区域的纸条图像；以及全景图像生成装置，被配置为通过排列并合成从多个所述拍摄的图像获得的所述纸条图像中的每个，生成单个全景图像，所述图像处理方法包括步骤所述位置信息生成装置从多个所述拍摄的图像生成所述位置信息；所述纸条图像生成装置关于多个所述拍摄的图像，在预定方向上偏移所述拍摄的图像上的所述区域的同时，从所述拍摄的图像生成多个所述纸条图像；以及所述全景图像生成装置针对所述区域的每个位置生成所述全景图像，由此生成由显示拍摄空间上的相同区域的图像的多个所述全景图像构成的图像组。
10.一种使计算机执行处理的程序，包括位置信息生成步骤，被布置为基于在移动拍摄装置的同时由所述拍摄装置拍摄并获得的多个拍摄的图像，生成在将多个所述拍摄的图像排列在预定平面上以使得包含在不同的所述拍摄的图像中的相同被摄体重叠时，指示所述拍摄的图像中的每个的相对位置关系的位置信息；纸条图像生成步骤，被布置为关于多个所述拍摄的图像中的每个，在基于所述位置信息将多个所述拍摄的图像排列在所述平面上的情况下，剪裁所述拍摄的图像上的、从所述拍摄的图像上的预定基准位置到以在所述平面上与所述拍摄的图像重叠的方式排列的另一拍摄的图像的所述基准位置的区域，以生成包括所述区域的纸条图像；以及全景图像生成步骤，被布置为通过排列并合成从多个所述拍摄的图像获得的所述纸条图像中的每个，生成单个全景图像；其中，在所述纸条图像生成步骤中，关于多个所述拍摄的图像，在预定方向上偏移所述拍摄的图像上的所述区域的同时，从所述拍摄的图像生成多个所述纸条图像；并且在所述全景图像生成步骤中，针对所述区域的每个位置生成所述全景图像，由此生成由显示拍摄空间上的相同区域的图像的多个所述全景图像构成的图像组。
全文摘要
本发明涉及一种图像处理设备和方法以及程序，通过其可以显示以更有效的方式拍摄的被摄体图像。拍摄装置11以转动中心C11为中心进行转动的状态下，拍摄多个拍摄的图像P(1)至P(N)。拍摄装置11从获得的多个拍摄的图像中的每个中剪裁由拍摄的图像中的预定基准位置确定的区域，作为纸条图像，排列并合成这些纸条图像，由此生成以拍摄空间上的预定区域为被摄体的全景图像。拍摄装置11在从拍摄的图像偏移纸条图像的剪裁位置的同时，生成多个全景图像，由此获得由多个全景图像构成的全景移动图像。根据该全景移动图像，可以显示拍摄的图像中的具有运动的被摄体。本发明可以应用于照相机。
文档编号H04N5/265GK102210136SQ20108000316
公开日2011年10月5日 申请日期2010年9月7日 优先权日2009年9月16日
发明者山下纪之, 平井纯 申请人:索尼公司