图像拾取设备及其控制方法和程序的制作方法

专利名称：图像拾取设备及其控制方法和程序的制作方法
技术领域：
本发明涉及一种图像拾取设备，尤其涉及一种能显示拾取图像的 图像拾取设备和一种用于所述图像拾取设备的控制方法以及一种用于 使计算机执行该方法的程序。
背景技术：
在最近几年，诸如数字摄像机和数字摄影机之类的图像拾取设备 已经普及。此外，如下图像拾取设备是可得到的，其中这些图像拾取 设备记录的拾取图像可被显示和再现在诸如液晶面板的显示部分上。
此外，如下图像拾取设备是可得到的，其中这种显示部分上显示 的拾取图像的显示放大率可通过用户操作而改变。例如，已经提出一 种图像再现设备，其中记录图像被再现和显示的情况下，图像的部分
区域按放大比例显示(例如，参考日本专利公开No. 2000-217061(图 4))。
根据以上描述的相关技术，由于在显示部分显示的拾取图像的部 分区域可按放大比例显示，所以用户可放大和观看希望的图像部分。 另 一方面，考虑到在用户想以鸟瞰(bird-eye)观察方式观看在显示部分 显示的拾取图像时，拾取图像按缩小比例显示。例如，可能的想法是 在显示部分的中央部分按缩小比例逐一依次显示被依次记录的静止画 面。这个例子中，由于只有作为显示对象的静止画面以缩小状态被显 示，用户不能掌握该静止画面与其它静止画面的关系，并且难以以鸟 瞰观察方式观看图像。因此，可能的想法是例如按缩小比例显示静止 画面，从而它们在显示部分上按时间序列彼此并列。这个例子中，尽 管静止画面按时间序列并列，但可能用户不能掌握例如静止画面的相 邻画面之间的关系，并且可能不能以鸟瞰观察方式观看拾取图像。此外，可能的想法是，在显示部分的中心附近按缩小比例再现拾 取动态画面。在这个实施例中，也有可能用户不能掌握形成拾取动态 画面的一个拾取图像和除该拾取图像之外的其它拾取图像的关系，并 且可能不能以鸟瞰观察方式观看拾取动态画面。
因此，考虑到例如如果相对于其它拾取图像能以鸟瞰观察方式观 看被依次记录的静止画面或拾取动态画面，那么用户可容易地掌握拾 取图像的内容。
本发明的目的是当访问图像拾取设备拾取的拾取图像时，有可能 容易地掌握拾取图像的内容。

发明内容
为解决上述主题已提出本发明，并且根据本发明的第一方面，提 供有 一 种图像拾取设备、和 一 种用于该图像拾取设备的控制方法以及
一种使计算机执行该方法的程序，该图像拾取设备包括图像拾取装 置，用于拾取图像拾取对象以产生图像数据；变换信息计算装置，用
于基于第一拾取图像和第二拾取图像，计算关于第一拾取图像和第二 拾取图像的变换信息，该第 一拾取图像是与所述图像数据相对应的图 像，该第二拾取图像在图像拾取所述图像数据时，在时间轴上定位得
比第一拾取图像靠后；图像存储装置，用于将在时间轴上定位在第二 拾取图像之前的那些图像存储为历史图像；图像变换装置，用于基于 计算的变换信息变换第二拾取图像；图像合成装置，用于合成变换的 第二拾取图像与历史图像以形成合成图像；操作接受装置，用于接受 指定第二拾取图像的显示放大率的指定操作；及控制装置，用于基于
指定的显示放大率确定在图像存储装置中存储的合成图像上的显示区 域，并使在显示区域中包括的图像被依次显示。这带来如下操作。具 体地，基于变换信息变换第二拾取图像，并且将变换的第二拾取图像 与历史图像合成以形成合成图像。如果接受指定用于第二拾取图像的 显示放大率的指定操作，那么基于指定的显示放大率确定用于合成图 像的显示区域，并且依次显示被包括在显示区域中的那些图像。
7此外，根据这个第一方面，当指定缩小第二拾取图像的显示放大 率的指定操作由操作接受装置接受时，控制装置可以确定显示区域， 该显示区域至少包括在图像存储装置中存储的合成图像中的变换的第 二拾取图像、和第二拾取图像周围的那些图像。这带来如下操作。具 体地，如果指定缩小第二拾取图像的显示放大率的指定操作被接受， 那么确定显示区域，该显示区域至少包括变换的第二拾取图像、和第 二拾取图像周围的那些图像。
此外，根据这个第一方面，控制装置基于计算的变换信息和指定 的显示放大率可以确定显示区域，并且图像合成装置可以将图像变换 装置变换之前的第二拾取图像通过重写与显示区域中包括的图像合 成，以形成显示图像。这带来如下操作。具体地，基于变换信息和指 定的显示放大率来确定显示区域，并且变换之前的第二拾取图像通过 重写与显示区域中包括的图像合成，以产生显示图像。
此外，根据这个第一方面，控制装置基于计算的变换信息，在图 像变换装置变换第二拾取图像的变换方向相反的方向，变换在显示区 域中包括的图像，并且图像合成装置可以将图像变换装置变换之前的 第二拾取图像通过重写与变换之后在显示区域中包括的图像合成，以 形成显示图像。这带来如下操作。具体地，基于变换信息，在与第二 拾取图像的变换方向相反的方向，显示区域中包括的图像被变换，并 且变换之前的第二拾取图像通过重写与变换之后在显示区域中包括的 图像合成，以形成显示图像。
此外，根据这个第一方面，图像拾取装置可以拾取图像拾取对象 以产生动态画面的图像数据，并且第一拾取图像和第二拾取图像可以 是形成动态画面的拾取图像。这带来如下操作。具体地，图像拾取对 象的图像被拾取以产生动态画面的图像数据，并且依次显示关于拾取 图像的显示图像，这些拾取图像根据产生的图像数据形成拾取动态画
面。此外，这个例子中，变换信息计算装置可以包括特征点提取装 置，用于基于像素提取第一拾取图像和第二拾取图像的特征点，这些 像素形成第一拾取图像和第二拾取图像，第一拾取图像和第二拾取图像形成图像拾取动态画面；运动量计算装置，用于基于提取的特征点 计算关于第一拾取图像和第二拾取图像的运动量；及变换参数计算装 置，用于基于计算的运动量计算预定变换参数以计算变换信息。此外， 这个例子中，特征点提取装置可以由多核处理器形成，并且多核处理 器通过SIMD数学运算对形成第一拾取图像和第二拾取图像的像素可 以执行并行处理，以提取第一拾取图像和第二拾取图像的特征量。此 外，这个例子中，运动量计算装置可以由多核处理器形成，并且多核 处理器通过SIMD数学运算对提取的特征点可以执行并行处理，以计 算第一拾取图像和第二拾取图像的运动量。
此外，根据这个第一方面，操作接受装置可以接受用于移动显示 区域的移动操作，并且控制装置基于接受的移动操作来移动在图像存 储装置中存储的合成图像上的显示区域。这带来如下操作如果接受 用于移动显示区域的移动操作，那么基于接受的移动操作来移动合成 图像的显示区域。
同时，根据本发明的第二方面，提供有一种图像拾取设备、 一种 用于该图像拾取设备的控制方法以及一种使计算机执行该方法的程 序，图像拾取设备包括图像拾取装置，用于拾取图像拾取对象以产 生图像数据；变换信息计算装置，用于基于第一拾取图像和第二拾取 图像，计算关于第一拾取图像和第二拾取图像的变换信息，第一拾取 图像是与所述图像数据相对应的图像，第二拾取图像在图像拾取所述 图像数据时，在时间轴上定位得比第一拾取图像靠后；图像存储装置， 用于将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图 像；图像变换装置，用于基于计算的变换信息来变换历史图像；图像 合成装置，用于合成第二拾取图像与变换的历史图像以形成合成图像； 操作接受装置，用于接受指定第二拾取图像的显示放大率的指定操作； 及控制装置，用于基于指定的显示放大率确定在图像存储装置中存储 的合成图像上的显示区域，并且使显示区域中包括的图像被依次显示。 这带来如下操作。具体地，基于变换信息来变换历史图像，并且将第 二拾取图像与变换的历史图像合成以形成合成图像。如果接受指定用于第二拾取图像的显示放大率的指定操作，那么基于指定的显示放大 率确定在合成图像上的显示区域，并且依次显示被包括在显示区域中 的图像。
根据本发明，出色效果是当访问图像拾取设备拾取的拾取图像时， 可容易地掌握拾取图像的内容。


图l是方块图，表示根据本发明实施例的图像拾取设备IOO的功
能构造例子。
图2是视图，表示根据本发明实施例的图像拾取设备100的外观。
图3是方块图，表示在本发明实施例中的摄影机工作检测部分120 的功能构造例子。
图4是视图，示意地表示在本发明实施例中在动态画面存储部分 200和元数据存储部分210中记录的文件。
图5是视图，表示与形成动态画面的帧相对应的图像的例子。
图6是视图，表示从与形成动态画面的帧相对应的图像中省去背 景等简化的图像。
图7是流程图，表明本发明实施例中通过图像拾取设备IOO的仿 射变换参数检测处理的处理过程。
图8是视图，表明图像拾取设备100拾取的动态画面的转变的例子。
图9是视图，以虚线表示与关于图8所示图像的紧前一帧相对应 的图像，并且表明检测的光流。
图IO是视图，表明再现包括图8所示图像401至403的动态画面 时的显示图像的例子。
图11是视图，表明图像拾取设备100拾取的动态画面的转变的例子。
图12是视图，以虚线表示与关于图11所示图像的紧前一帧相对 应的图像，并且表明检测的光流。图13是视图，表明再现包括在图11所示图像421至423的动态 画面时的显示图l象的例子。
图14是视图，表明图像拾取设备100拾取的动态画面的转变的例子。
图15是视图，以虚线表示与关于图14所示图像的紧前一帧相对 应的图像，并且表明检测的光流。
图16是视图，表明再现包括在图14所示图像441至443的动态 画面时的显示图^f象的例子。
图17是视图，示意地表明在本发明实施例中在动态画面存储部分 200存储的动态画面文件的帧与显示区域之间的关系。
图18是视图，示意地表明在图像存储器180中存储的图像和在液 晶面板251显示的图像，其中动态画面以其变化的显示放大率被显示。
图19是视图，示意地表明在本发明实施例中在动态画面存储部分 200中存储的动态画面文件的帧流。
图20是视图，表示在如下情况的合成(图像480)例子其中图像 拾取设备100拾取的动态画面被再现，并且在图像480的当前图像482 之前的图像484被仿射变换。
图21是视图，表示图像485，其中按放大比例显示在图20所示 的框483围绕的图像区域；和存储在显示存储器230的图像487，在 仿射变换之后的当前图像被存储到图像存储器180中的状态下。
图22是流程图，表明根据本发明实施例的图像拾取设备100的动 态画面再现处理的处理过程。
图23是视图，表明在如下情况的显示例子再现包括图8所示图 4象401至403的动态画面。
图24是视图，表明在如下情况的显示例子再现包括图11所示 图<象421至423的动态画面。
图25是视图，表明在如下情况的显示例子再现包括在图14所 示图^f象441至443的动态画面。
图26是视图，示意地表明在本发明实施例中在动态画面存储部分200存储的动态画面文件的帧与显示区域之间的关系。
图27是方块图，表示根据本发明实施例的图像拾取设备101的功 能构造例子。
图28是方块图，表示在本发明实施例中的重合点搜索部分340 的功能构造例子。
图29是视图，示意地表示在本发明实施例中在动态画面存储部分 200和相对关系信息存储部分220中记录的文件。
图30是视图，示意地表明仿射变换参数计算方法，通过选择在图 像中包括的重合点来计算关于两个图像的仿射变换参数，并且基于选 择的重合点来合成两个图像。
图31是视图，示意地表明仿射变换参数计算方法，通过选择在图 像中包括的重合点来计算关于两个图像的仿射变换参数。
图32是视图，示意地表明合成两个动态画面的合成例子。
图33是视图，示意地表明合成两个动态画面的合成例子。
图34是视图，表明在如下情况的显示例子在显示部分250显示 图33所示的合成图像。
图35是视图，示意地表示在本发明实施例中在动态画面存储部分 200和相对关系信息存储部分220中记录的文件。
图36是视图，表示关于三个动态画面的图像中包括的重合点被选 择的图像。
图37是视图，表示在如下情况的例子基于在关于三个动态画面
的图像上选择的重合点，合成三个图像。
图38是视图，示意地表明合成三个动态画面的合成例子。 图39是视图，表示合成静止画面和多个动态画面的例子。 图40是视图，表示本发明实施例中多核处理器800的构造例子。 图41是视图，表示本发明实施例中控制处理器核801的构造例子。 图42是视图，表示本发明实施例中数学运算处理器核(#1)811的
构造例子。
图43是视图，示意地表明本发明实施例中多核处理器800的数学运算方法。
图44是视图，示意地表明程序和数据流，其中本发明实施例的多 核处理器800执行数学运算。
图45是视图，表明按照各个指令执行对多个数据的处理的数学运 算方法的概要，和按照单个指令执行对多个数据的处理的SIMD数学 运算的概要。
图46是视图，表示在本发明实施例中控制处理器核801或数学运 算处理器核(#1)811执行的程序构造例子。
图47是视图，示意地表明在本发明实施例中用于主存储器781 存储的图像数据的数据结构和处理流程，其中使用Sobel滤波器830 执行滤波处理。
图48是视图，示意地表明数据流，其中在本发明实施例中对主存 储器781存储的图像数据使用Sobel滤波器830执行SIMD数学运算。
图49是视图，示意地表明从第一緩冲器831存储的图像数据产生 九个向量的向量产生方法，其中使用本发明实施例的Sobel滤波器830 执4亍滤波处理。
图50是视图，示意地表明对于向量数据841至849使用SIMD 指令执行向量数学运算的向量数学运算方法，其中使用本发明实施例
的Sobel滤波器830执行滤波处理。
图51是视图，按时间序列示意地表明本发明实施例的摄影机工作 参数计算处理的流程。
图52是视图，示意地表示作为记录介质例子的蓝光(blu-ray)盘 880、蓝光盘880上记录的数据881至884、及蓝光再现才几8卯的内部 构造，蓝光再现机890可再现蓝光盘880。
具体实施例方式
下面参照附图详细描述本发明的实施例。
图l是方块图，表示根据本发明实施例的图像拾取设备100的功 能构造例子。图像拾取设备100包括图像拾取部分110、摄影机工作检测部分120、记录控制部分130、文件获取部分140、图像变换部分 150、操作接受部分160、图像合成部分170、图像存储器180、显示 区域提取部分l卯、动态画面存储部分200、元数据存储部分210、显 示存储器230、显示控制部分240及显示部分250。图像拾取设备IOO 可由数字摄像机实施，数字摄像机通过图像分析可从例如拾取的动态 画面提取特征量，并且使用提取的特征量执行各种图像处理。
图像拾取部分110接收从图像拾取对象通过图像拾取透镜(未示出) 入射的光，并且执行光电转换，以响应接收光量产生图像信号，并且 对图像信号执行各种信号处理。然后，被执行信号处理的图像信号作 为动态画面(拾取动态画面)输出到摄影机工作检测部分120和记录控 制部分130。
摄影机工作检测部分120分析从图像拾取部分110输出的动态画 面，以检测在图像拾取时图像拾取设备100的运动信息(摄影机工作)， 并且将基于图像拾取设备100的运动信息计算的仿射变换参数(摄影 机工作参数)输出到记录控制部分130。具体地，摄影机工作检测部分 120从形成动态画面的每一个图像提取特征点，并且提取关于每一个 特征点的光流(运动向量)。然后，摄影机工作检测部分120分析所提 取的关于特征点的光流以选择指示主导运动的那些特征点，并且基于 关于指示主导运动的特征点的光流，估计图像拾取设备100的运动。 这里，主导运动表示关于多个特征点的光流中的较大量的光流指示的 有序运动。要注意，摄影机工作检测部分120参照图3详细描述。
记录控制部分130将从图像拾取部分110输出的动态画面作为动 态画面文件记录到动态画面存储部分200中，并且将从摄影机工作检 测部分120输出的仿射变换参数作为元数据文件以与对应动态画面和 帧的相关联关系存储到元数据存储部分210中。
动态画面存储部分200在记录控制部分130的控制下存储从图像 拾取部分110输出的动态画面作为动态画面文件。此外，动态画面存 储部分200按照来自文件荻取部分140的请求将动态画面文件供给到 文件获取部分140。要注意，在动态画面存储部分200中存储的动态画面文件下文参照图4描述。
元数据存储部分210在记录控制部分130的控制下存储从摄影机 工作检测部分120输出的仿射变换参数作为元数据文件。此外，元数 据存储部分210按照来自文件获取部分140的请求将元数据文件供给 到文件获取部分140。要注意，在元数据存储部分210中存储的元数 据文件下文参照图4详细描述。
文件获取部分140响应操作接受部分160接受的操作输入获取在 动态画面存储部分200或元数据存储部分210中存储的文件的至少一 个，并且将获取一个或多个文件的信息供给到各个部分。具体地，在 再现动态画面的指令操作由操作接受部分160接受时，文件获取部分 140从动态画面存储部分200获取再现指令的对象的动态画面文件， 并且获取以与动态画面文件相关联关系在元数据存储部分210中存储 的元数据文件，然后将获取的动态画面文件的动态画面和获取的元数 据文件的仿射变换参数输出到图像变换部分150。
图像变换部分150对每个帧使用与图像(这些图像形成从文件获 取部分140输出的动态画面文件的动态画面)相对应的仿射变换数据 执行图像的仿射变换，并且将仿射变换后的图像输出到图像合成部分 170。注意这样的图像变换参照图8至19等详细描述。
操作接受部分160包括各种操作部件，并且当它接受到来自任一 个操作部件的操作输入时，将接受的操作输入的内容输出到文件获取 部分140或显示区域提取部分l卯。要注意这些操作部件参照图2详 细描述。此外，操作接受部分160和显示部分250的至少部分可以整 体地构造成触摸面板。
图像合成部分170通过用图像变换部分150仿射变换之后的图像 重写在图像存储器180存储的与直到紧前一帧的帧相对应的合成图 像，而合成图像，并且将合成的新合成图像存储到图像存储器180中。 此外，图像合成部分170基于响应于显示放大率的值确定的显示区域 的大小，通过重写将图像变换部分150的仿射变换之前的当前图像与 显示存储器230存储的合成图像相合成。要注意，显示存储器230中的当前图像的合成参照图19等详细描述。此外，这样的图像合成参照
图8至19等详细描述。这里，图像合成部分170压缩图像变换部分
150的仿射变换之后的图像，并且用压缩图像重写图像存储器180存
储的合成图像，从而在存储器230存储的合成图像上被重写的当前图
像由分辨率比非压缩图像或压缩历史图像更高的拾取图像形成。因此，
当输出合成图像时，历史图像可由压缩图像形成，从而当前图像可由 分辨率比非压缩图像或压缩历史图像更高的拾取图像形成。
图像存储器180是保存图像合成部分170合成的合成图像的工作 緩冲器，并且将保存的合成图像供给到图像合成部分170或显示区域 提取部分190。换句话说，图像存储器180是保存历史图像的图像存 储器。
显示区域提取部分190从图像存储器180保存的合成图像提取在 显示区域的范围中存在的图像，该区域是显示对象的区域，并且将提 取的图像存储在显示存储器230中。要注意，在显示区域的范围中包 括的图像的提取参照图17至19等详细描述。
显示存储器230是保存显示区域提取部分190从图像存储器180 提取的图像的显示緩冲器，并且在显示存储器230中保存的图像被显 示在显示部分250。
显示控制部分240控制显示部分250，以依次显示为每个帧在所 述显示存储器230中保存的合成图像。
在显示控制部分240的控制下，显示部分250显示当前图像或显 示存储器230存储的合成图像。例如，显示部分250可由如图2所示 的显示面4反251实施。
图2是视图，表示根据本发明实施例的图像拾取设备100的外观。 具体地，图2是视图，表示液晶面板251和液晶面板251的外围元件。
图像拾取设备100包括液晶面板251、变焦按钮161及十字按钮 162。要注意，变焦按钮161和十字按钮162与图1所示的操作接受部 分160相对应。此外，液晶面板251与图1所示的显示部分250相对 应。要注意，尽管诸如电源开关和拾取图像记录指令按钮的其它操作部件被提供为图像拾取设备100的操作接受部分160，这里省略它们 的说明和描述。
液晶面板251是显示从图像拾取部分110输出的拾取动态画面的 液晶面板。要注意，液晶面板251可以形成为显示各种选择按钮的触 摸面板，从而用手指等触及任一个选择按钮的区域，可执行操作输入。
变焦按钮161是当变焦放大率要调节时操作的按钮。具体地，图 2所示的W(广)按钮和T(远)按钮提供在变焦按钮161上。然后，在图 像拾取时，在W按钮被按下的状态下，变焦透镜运动到广端侧(广角 侧)，但在T按钮被按下的状态下，变焦透镜运动到远端侧(远摄侧)。 此外，在动态画面再现时，在W按钮被按下的状态下，再现期间的动 态画面按缩小比例被依次显示，但在T按钮被按下的另一种状态下， 再现期间的动态画面按》支大比例^皮依次显示。
十字按钮162是在动态画面的再现时在向上、向下、向左或向右 方向移动显示区域而操作的按钮。具体地，通过按压十字按钮162的 四个箭头标记的至少一个，显示区域可在箭头标记指示的方向移动。
图3是方块图，表示本发明实施例中的摄影机工作检测部分120 的功能构造例子。摄影机工作检测部分120包括特征点提取单元121、 光流计算单元122及摄影机工作参数计算单元123。
特征点提取单元121从形成图像拾取部分110输出的动态画面的 帧相对应的图像提取特征点，并且将提取的特征点输出到光流计算单 元122。这里，特征点提取单元121，对于形成图像拾取部分110输出 的动态画面的帧的顶部帧，从整个图像提取特^f正点，但对于除顶部帧 之外的帧，从与紧前一帧相对应的图像相比新拾取的区域部分提取特 征点。要注意，作为特征点，例如，可提取在竖直方向或水平方向的 边缘上梯度很高的点(点一般叫做"角部点"。在如下描述中，所述点称 作"角部点")。这个角部点是难以计算光流的特征点，并且可使用边缘 检测而确定。要注意，角部点的提取参照图5和6详细描述。此外， 在这个例子中，尽管特征点提取单元121对于顶部帧从整个图像提取 特征点，并且对于除顶部帧之外的帧，从与紧前一图像相比新拾取的区域部分提取特征点，但对于除顶部帧之外的帧，特征点也可以从整 个图像提取。
光流计算单元122为从特征点提取单元121输出的每个特征点计 算光流，并且将计算确定的光流输出到摄影机工作参数计算单元123。 具体地，光流计算单元122将形成从图像拾取部分110输出的动态画 面的两个连续帧(当前帧和紧前一帧)彼此比较，以确定与紧前一帧相 对应的图像的各个特征点相对应的光流作为当前帧的光流。此外，为 形成动态画面的每一个帧确定光流。要注意，作为检测光流的检测方 法，可使用诸如倾斜法和块匹配法的检测方法。要注意，光流的计算 参照图5和6详细描述。
摄影机工作参数计算单元123使用从光流计算单元122输出的与 特征点相对应的光流，执行计算摄影机工作参数的摄影机工作参数计 算处理，并且将计算的摄影机工作参数输出到记录控制部分130。这 里，本发明的实施例中，再现对象的多个动态画面的图像被变换，并 且与图像拾取设备100的运动相一致地显示。为了执行图像的变换， 图像拾取设备100的运动使用光流计算单元122计算的光流被提取， 并且基于提取的运动来计算摄影机工作参数(变换参数)。要注意，本 发明的实施例中，描述如下例子其中作为变换形成对象再现的动态 画面的图像的图像变换方法，使用仿射变换。此外，描述如下例子 其中作为摄影机工作参数，使用仿射变换参数，与基于光流计算的仿 射变换参数的矩阵的逆矩阵相对应。具体地，本发明的实施例中，用 作变换信息的仿射变换参数被定义为这样的仿射变换参数，其不对应 于代表连续图像之间的特征点运动的仿射矩阵，而对应于代表其中连 续图像之一被确定为基准图像的仿射矩阵，对应于与基准图像相邻的 图像运动到何处。此外，尽管描述仿射变换参数用作摄影机工作参数 的例子，但可以使用诸如投影变换之类的其它图像变换方法。要注意， 使用在三个点处的向量通过计算可确定仿射变换参数。同时，使用在 四个点处的向量通过计算可确定投影变换参数。这里，摄影机工作参 数是将形成拾取动态画面的至少一个拾取图像用作基准而变换其它拾
18取图像的变换信息，并且至少包括根据图像拾取设备100的坐标系描
述的位置信息和姿态信息。换句话说，摄影机工作参数包括与图像拾
取设备100的位置和姿态有关的信息，其中图像拾取由图像拾取人执 行。此外，基于摄影机工作参数计算单元123确定的仿射变换参数， 可估计图像拾取人的操作图像拾取设备100的运动，例如拉近、拉远、 拍摄全景、倾斜或转动。要注意，仿射变换参数的计算参照图5和6 详细描述。
图4是视图，示意地表示在本发明实施例中动态画面存储部分200 和元数据存储部分210中记录的文件。在图4(a)中，表明在动态画面 存储部分200中存储的动态画面文件201至204和在元数据存储部分 210中以与动态画面文件201至204的相关联关系存储的元数据文件 211至213。这里，假定将动态画面ID应用于每个动态画面文件，动 态画面ID是识别在动态画面存储部分200中存储的每一个动态画面 文件的识别信息。例如，将"#1"应用于动态画面文件201;将"#2"应 用于动态画面文件202;及将'Wn"应用于动态画面文件204。
图4(b)是视图，示意地表明在动态画面存储部分200中存储的动 态画面文件201和在元数据存储部分210中以与动态画面文件201相 关联地存储的元数据文件211。这里，动态画面文件201是n帧形成 的动态画面的文件，并且n帧;波指示为帧"1"205至"n"208。
同时，动态画面ID214、帧号215及仿射变换参数216以彼此关 联关系存储到元数据文件211中。
动态画面ID 214是用于对应动态画面文件的动态画面ID，并且 例如，用于动态画面文件201的"#1":故存储在动态画面ID 214中。
帧号215是形成对应动态画面文件的每一个帧的序列号，并且例 如，与形成动态画面文件201的动态画面的帧"1"205至"n"208相对应 的"l"至"n"被放置在帧号215中。
仿射变换参数216是为与帧号215相对应的动态画面的每个帧计 算的仿射变换参数。要注意，与帧号215相对应的"1"相对应的仿射变 换参数216"al、 bl、 cl、 dl、 el、 fl，，是单位矩阵的仿射变换参数。
19此外，与帧号215的"m(m是等于或大于2的整数)"相对应的仿射变换参数216的"am、 bm、 cm、 dm、 em、 fm，，是用于帧"m"的紧前一帧"m-l" 的仿射变换参数。现在，参照附图详细描述检测用于图像变换的仿射 变换参数的检测方法。图5(a)至(c)是视图，表示与形成动态画面的帧相对应的图像例子。 图6(a)是视图，表示与图5所示图像300相对应的帧提前一帧相对应 的图像中省去背景等简化的图像。同时，图6(b)和(c)是视图，表示通 过从图5所示图像300中省去背景等简化的图像。在图5和6所示图像300、 320及330包括木马图像301、 321及 331，人骑在木马上，并且蛇的图像302、 322及332位于木马图像301、 321及331的前面。此外，如图5所示，旗子、椅子、等在图像的背 景上存在，并且旗子被风展开。在图6(a)所示图像320是简化与图5(a)至(c)和图6(b)和(c)所示图 像300、 330相对应的帧提前一帧相对应的图像得到的图像。此外，对 应于两个连续帧的图像320和330是指示转变的图像，其中屏幕图像 中的图像拾取对象的尺寸逐渐增大。具体地，在图像拾取所述图像时， 执行拉近操作，拉近操作是逐渐使屏幕图像中的图像拾取对象变大的 操作。下面将从形成动态画面的图像检测特征点和与特征点相对应的光 流被用于计算仿射变换参数的方法作为例子，描述本发明的实施例。 此外，关于角部点被用作特征点的情形，描述本例子。这里，在图6(a)至(c)中，描述一种方法作为例子，其中从图像320 和330检测的三个角部相对应的光流被用于计算仿射变换参数。例如，假定，在图6(a)所示图像320中，检测在木马图像321的 嘴附近的角部点323、在木马图像321的人臀部附近的另一个角部点 324及在蛇图像322的嘴附近的另一角部点325。这个例子中，从图 6(b)所示图像330，通过倾斜法、块匹配法等检测图像320的角部点 323、 324及325的光流337、 338及339。然后，基于检测的光流337、 338及339，检测与角部点323、 324及325相对应的角部点333、 334及335。这里，例如，在图6(a)和(b)所示图像320和330中包括的木马图 像321和331和蛇图像322和332不独立于图像拾取设备100的运动 而运动，因为它们被放置在地面上。因此，基于从木马图像321和331 或蛇图像322和332检测的角部点而确定的光流，可准确估计图像拾 取设备100的运动。例如，如图6(c)所示，基于图像330中检测的三 个光流337至339，可估计图像330是通过相对于在点336提供的中 心而扩展图像320得到的图像。因此，可判定，在图像拾取图像330 时，图像拾取设备100的运动是以点336为中心的拉近操作。以此方 式，如果相对于不独立于图像拾取设备100的运动而运动的物理实体， 检测角部点，那么基于关于角部点确定的光流，可准确检测具有固定 规律性的图像拾取设备100的运动。因此，使用关于角部点确定的光 流，通过计算可确定仿射变换参数。然而，考虑到图像有时包括独立于图像拾取设备IOO的运动而运 动的物理实体，像风展开的旗子。例如，图5所示图像300包括由风 展开的旗子。如果以此方式从独立于图〗象拾取设备100的运动而运动 的物理实体(像由风展开的旗子)来检测角部点，并且关于角部点确 定的光流被用于估计图像拾取设备100的运动，那么不能准确估计图 像拾取设备100的运动。例如，从图5(b)所示图像300检测的每个光流由箭头标记指示， 并且从光流检测的角部点由箭头标记端部具有空白内部的圆形标记指 示。这里，角部点303至305是与图6(b)和(c)所示角部点333至335 相对应的角部点。同时，角部点306至311是关于旗子检测的角部点， 旗子在关于木马图像301的背景上存在。然后，由于旗子被风展开， 所以被风影响的旗子的运动被检测为光流。具体地，为独立于图像拾 取设备100的运动而运动的旗子，检测与角部点306至311相对应的 光流。因此，如果用于仿射变换参数计算的三个光流包括与来自角部 点306至311中的至少一个角部点相对应的光流，那么不能检测图像 拾取设备IOO的准确运动。这个例子中，不能计算准确的仿射变换参21数。如上所述，例如，有时从拾取图像检测到关于独立于图像拾取设备100的运动而运动的物理实体的光流(与图5(b)所示的角部点306至 311相对应的光流)、和相对于图像拾取设备100的运动具有固定规律 性的光流(除与图5(b)所示的角部点306至311相对应的光流之外的光 流)。因此，在本发明的实施例中，描述如下例子其中基于三个光流 计算仿射变换参数的仿射变换参数计算处理被执行数次，以确定多个 仿射变换参数；并且从多个仿射变换参数中选择最佳的仿射变换参数。 要注意，这个例子中，假定在形成动态画面的每一个图像中包括的运 动物理实体的尺寸相对于图像面积而言比较小。这里简短描述仿射变换。在两维系统上运动源的位置由(x，y)表示， 并且在两维系统上在仿射变换之后的运动目的地的位置由(x'，y')表示 时，仿射变换的行列式由如下表达式l表示[表达式1a 0 6 e 0-C /丄—这里，a至f是仿射变换参数。依赖于仿射变换参数的仿射矩阵 AM可由如下表达式确定。此外，在x方向的变焦分量XZ、在y方向 的变焦分量YZ、在X方向的平移分量XT、在Y方向的平移分量YT 及转动分量R分别由如下表达式确定。要注意，在单位矩阵的情况下， a=e=l, b=c=d=f=0 。[表达式2[x' / l] = [x y 1]…(表达式1)赢=a 6 c忍=Vfl2 +t/2汀=/现在描述仿射变换参数的计算方法。首先，从特征点中选择三个特征点，其中与当前帧相对应的图像 中检测光流，当前帧是形成动态画面的帧之一。例如，从角部点(由具 有空白内部的圆形标记指示)中随机选择三个特征点，这些角部点从图 5(b)所示图像300检测。要注意，在投影变换参数用作摄影机工作参 数时，随机选择四个特征点。然后，使用与选中的三个特征点相对应的三个光流，计算仿射变 换参数。例如，使用与从图5(b)所示图像300的角部点(由具有空白内 部的圆形标记指示)中选择的三个角部点相对应的光流(由连接到具有 空白内部的圆形标记的箭头标记所指示)，计算仿射变换参数。使用表 达式1可确定仿射变换参数。然后，基于确定的仿射变换参数，计算仿射变换参数的分数。具 体地，使用确定的仿射变换参数，确定与当前帧的紧前一帧相对应的 图像的所有特征点的运动目的地位置。然后，将使用仿射变换参数确 定的特征点位置和从当前帧检测的特征点位置彼此比较，以为每个特征点计算彼此对应的两个特征点的位置的差值。至于差值，例如，计 算彼此对应的两个特征点的位置之间的绝对距离。然后，对于每个特 征点，将计算差值和预先设置的阈值彼此比较，以确定其差值低于所 述阈值的那些特征点的数量，作为仿射变换参数的分数。以此方式， 从光流被检测的特征点中随机选择三个特征点、和基于与这些特征点 相对应的光流计算仿射变换参数的分数的过程以此方式被重复预定次 数，以计算仿射变换参数的多个分数。预定次数可以响应于比较对象 的图像类型、图像拾取设备100的处理能力等被适当设置，或者可以 使用固定值。例如，考虑到图像拾取设备IOO的处理能力，预定次数 可以i殳置为近似20次。例如，考虑如下情形其中从图5(b)所示图像300检测的角部点 中选择除角部点306至311之外的三个角部点。如果使用以此方式选23算仿射变换参数，由于三个光 流如上述那样具有固定规律性，确定了按照固定规则变换与紧前一帧 相对应的图像所使用的仿射变换参数。因此，在使用仿射变换参数确 定的角部点位置与从当前帧检测的角部点位置之间，关于除角部点306至311之外的角部点确定的差值具有比较低的值。因此，仿射变 换参数的分数具有比较高的值。另一方面，考虑另一种情形其中从图5(b)所示图像300检测的 角部点中选择包括角部点306至311至少一个的三个角部点。如果使 用以此方式选择的三个角部点相对应的三个光流来计算仿射变换参 数，那么由于三个光流包括不具有固定规律性的光流，确定了按照固 定规则变换与紧前一帧相对应的图像所使用的仿射变换参数。因此， 在使用仿射变换参数确定的角部点位置与从当前帧检测的角部点位置 之间，确定的差值在任意角部点呈现比较高的值。因此，仿射变换参 数的分数呈现比较低的值。然后，将确定的多个仿射变换参数的分数中呈现最高分数值的仿 射变换参数选作代表性仿射变换参数。然后，计算所选择的代表性仿 射变换参数的矩阵的逆矩阵，并且将逆矩阵的仿射变换参数与当前帧 相关联地记录到元数据存储部分210中。因此，当形成动态画面的图 像被仿射变换时，它可使用最佳仿射变换参数被仿射变换。如上所迷，即使在形成动态画面的每一个图像包括正在运动的物 理实体(运动物理实体)时，如人或汽车，在运动物理实体的尺寸相对 图像面积而言比较小时，仍可提取图像拾取设备100的运动，而不受 运动物理实体的影响。此外，通过提取图像拾取设备100的运动，有可能估计被视为图 像拾取人故意引起的运动，如拉近、拉远、拍摄全景、倾斜或转动。现在参照附图描述根据本发明实施例的图像拾取设备100的操作。图7是流程图，表明通过根据本发明实施例的图像拾取设备100 的仿射变换参数检测处理的处理过程。首先，动态画面从图像拾取部分110输入(步骤S900)。然后，从 图像拾取部分110输出的动态画面被解码，并且按时间序列顺序获取 一个帧的图像(步骤S901)。然后，判定获取的一个帧是否是从图像拾 取部分110输出的动态画面的顶部帧(步骤S902)。如果获取的一个帧 是顶部帧(步骤S902)，那么从与顶部帧相对应的整个图像提取特征点 (步骤S903)。例如，如图5(b)看到的那样，提取图像的多个角部点。 然后，将单位矩阵的仿射变换参数选作仿射变换参数(步骤S卯4),此 后处理前进到步骤S914。另一方面，如果获取的一个帧不是顶部帧(步骤S902),那么从相 比与紧前一帧相对应的图像新拾取的区域提取特征点(步骤S905)。具体地，由于从与紧前一帧相对应的图像已经提取的特征点可从与所述 特征点相对应的光流确定，所以它们不从与当前帧相对应的图像提取。 然.后，计算关于从与紧前一帧相对应的图像提取的特征点的光流 (步骤S906)。具体地，如在图5(b)看到的那样，计算关于角部点的光 流。此后，变量i被初始化到"l，，(步骤S907)。然后，从对其检测光流 的特征点中选择M个特征点(步骤S908)。例如，在仿射变换参数被用 作摄影机工作参数时，随机选择三个特征点。另一方面，如果投影变 换参数被用作摄影机工作参数，随机选择四个特征点。然后，基于与 选中的M个特征点相对应地计算的M个光流，计算仿射变换参数(步 骤S909)。然后，基于通过计算确定的仿射变换参数，计算仿射变换参数的 分数(步骤S910)。具体地，计算确定的仿射变换参数被用于确定与紧 前一帧相对应的图像中的所有特征点的运动目的地位置。然后，将使 用仿射变换参数确定的特征点位置和步骤S906的光流计算时确定的 与当前帧相对应的图像的特征点位置彼此比较，以为每个特征点计算 每两个对应特征点的位置之间的差值。作为差值，例如，计算每两个 对应特征点之间的绝对距离。然后，为每个特征点，将计算的差值与 预先设置的阈值彼此比较，并且将差值比阈值低的那些特征点的数目确定为仿射变换参数的分数。然后，将"l"加到变量i(步骤S911),并且判定变量i是否高于常 数N(步骤S912)。如果变量i低于常数N(步骤S912)，那么处理返回 到步骤S908,以重复仿射变换参数的分数计算处理(步骤S908至 S910)。例如，20可用作常数N。另一方面，如果变量i高于常数N(步骤S912)，那么将仿射变换 参数的确定分数之中分数具有最高值的那些仿射变换参数选作代表性 仿射变换参数(步骤S913)。然后，将选中的代表性仿射变换参数的矩 阵的逆矩阵的仿射变换参数与当前帧相关联地记录在元数据存储部分 210中(步骤S914)。要注意，如果当前帧是顶部帧，将选中的单位矩 阵的仿射变换参数以与顶部帧相关联地记录在元数据存储部分210 中。然后，通过重写来存储与当前帧相对应的图像和图像的特征点(步 骤S915)。然后，判定当前帧是否是从图像拾取部分110输出的动态画面的 最后帧(步骤S916)。如果当前帧不是最后帧(步骤S916)，那么处理返 回到步骤S901,以重复仿射变换参数检测处理(步骤S901至S915)。 另一方面，如果当前帧是最后帧(步骤S916),那么仿射变换参数检测 处理结束。尽管在本发明实施例的描述中，将基于从形成动态画面的图像检 测的光流来检测仿射变换参数的例子描述为摄影机工作参数的检测， 但可以使用诸如加速度传感器或陀螺传感器之类的传感器、或当执行 变焦操作时使用的变焦按钮161，从而检测在图像拾取时图像拾取设 备100的运动量，并且基于图像拾取设备100的运动量确定摄影机工 作参数。此外，基于为摄影机振动校正确定的运动向量，可以确定摄 影机工作参数。此外，基于诸如加速度传感器或陀螺传感器的检测装置检测的信息和为摄影机振动校正确定的运动向量的组合信息，可以 确定摄影机工作参数。要注意，在图像拾取时检测的图像拾取设备100 的运动量，可被用于判定摄影机工作参数计算单元123确定的摄影机 工作参数是否正确。此外，摄影机工作参数计算单元123可以检测多个摄影机工作参数，从而基于在图像拾取时检测的图像拾取设备100的运动量，使用所述多个摄影机工作参数之一。现在，参照附图详细描述摄影机工作检测部分120计算的仿射变 换参数被用于合成形成动态画面的图像的情形。要注意，图8至16 为了描述被简化，并且以放大方式表明两个连续帧之间的运动量。首先，描述如下情形其中，在图像拾取设备100的图像拾取时， 尽管放大率未改变，图像拾取设备IOO的透镜方向从图像拾取设备IOO 的位置提供的中心在向上、向下、向左及向右方向之一移动。图8是视图，表明图像拾取设备100拾取的动态画面的转变的例 子。图8是表示与动态画面中包括的连续帧相对应的图像401至403 的视图，其中以山为背景拾取人400的图像。这个例子中，表明如下 情形其中在图像拾取设备100的透镜方向向右和向上运动时，图像 拾取人执行图像拾取。这个例子中，在图像拾取设备100拾取的动态 画面中包括的人400从右侧向左侧运动，并且运动到形成动态画面的 图像的下侧。图9是视图，其中在图8所示图像中，与紧前一帧相对应的图像 由虛线指示，并且表明检测的光流的例子。图9(a)所示图像401与图 8(a)所示图像401相同。同时，图9(b)所示图像402的实线部分与图 8(b)所示图4象402的那些相同，并且图9(b)所示图4象402的虚线部分 与图9(a)所示图像401的实线部分相同。此外，图9(b)所示图像402 上的箭头标记404至406表明从图像402检测的光流的例子。类似地， 在图9(c)所示图像403的实线部分与图8(c)所示图像403的实线部分 相同，并且图9(c)所示图像403的虛线部分与图9(b)所示图像402的 实线部分相同。此外，在图9(c)所示图像403上的箭头标记407至409 表明从图像403检测的光流的例子。如图9(b)和(c)所示，图像中包括的人400和背景的山与图像拾取 设备100的运动一致地运动。基于从运动检测的光流，可以为每个帧 确定仿射变换参数。图IO是表明图像合成例子的视图，在合成时，再现包括图8所示图像401至403的动态画面。要注意，由于在本发明的实施例中，合 成形成两个动态画面的图^^，随着再现时间流逝，在显示部分250显 示的图像变得比普通图像大。因此，最初显示的图像与显示部分250 的显示区域的尺寸相比以小尺寸显示。要注意，首先显示的图像的尺 寸、位置等可以由用户指定。如图10(a)所示，只有与第一帧相对应的图像401被首先显示。这 里，在与图像401相对应的仿射变换参数的矩阵(3行x3列的矩阵)由 Al表示时，确定A1的值，并且参考顶部帧的图像401的位置和大小， 使用所确定的Al矩阵，仿射变换图像401。这里，由于A是单位矩 阵，所以不变换图像401的位置和大小。然后，与下个帧相对应的图 像402被显示时，使用与这个帧关联的仿射变换参数，仿射变换图像 402。具体地，与图像402相对应的仿射变换参数的矩阵由A2表示， 与图像401相对应的仿射变换参数的矩阵由Al表示，确定AlxA2的 值，并且参考顶部帧的图像401的位置和尺寸，基于确定的AlxA2 矩阵，仿射变换图像402。在图10(b)所示图像中，只变换图像402的 位置。然后，使用仿射变换参数而仿射变换的图像402被重写，从而 它与紧前一帧相对应的图像401重叠。具体地，在与图像402重叠的 区域410中，图像402被重写。此外，不与图像402重叠的图像401 的区域中，图像401的图像被合成。具体地，在显示与第二帧相对应 的图像402时，图像402的整个部分和图像401的与区域411相对应 的部分被合成的图像被显示，如在图10(b)所示。此外，有可能使图像 框在与当前帧相对应的图像的周围显示，图像框表示其中的图像是来 自显示图像内的最新近的图像。在图10(b)，在图像402上显示图像框。 此外，图像402的仿射变换得到的仿射变换参数被存储到图像变换部 分150中。然后，与随后帧相对应的图像403要被显示时，与这个帧相关联 的仿射变换参数被用于仿射变换图像403。具体地，通过使用与图像 403相对应的仿射变换参数的矩阵和用于紧前一仿射变换的与图像 402相对应的仿射变换参数的矩阵而确定的仿射变换参数，图像403被仿射变换。具体地，与图像403相对应的仿射变换参数的矩阵由A3 表示、并且与图像402相对应的仿射变换参数的矩阵由A2表示、与 图像401相对应的仿射变换参数的矩阵由Al表示，确定AlxA2xA3 的值，并且参考顶部帧的图像401的位置和尺寸，使用所确定的 AlxA2xA3矩阵，仿射变换图像403。在图10(c)所示图像中，只变换 图像403的位置。然后，使用仿射变换参数而仿射变换的图像403以 这样一种方式净皮重写，从而重叠于与前面帧相对应的图《象401和402 的合成图像。具体地，图像401和402的合成图像的区域中与图像403 重叠的区域413和414中，图像403的图像被重写。另一方面，在图 像401和402的合成图像的区域中的不与图像403重叠的区域411和 412中，图像401和402的合成图像被合成。具体地，在与第三帧相 对应的图^f象403 ^皮显示时，图《象403的整个部分、与区域411相对应 的图像401的部分及与区域412相对应的图像402的部分被合成的图 像被显示，如在图10(c)所示。此外，在图像框要被显示在与当前帧相 对应的图像的周围时，图像框表示其中的图像是在显示图像中的最新 近图像，在图10(c)所示图像403上显示图像框。此外，图像403的仿 射变换得到的仿射变换参数被存储到图像变换部分150中。换句话说， 通过与图像402和403相对应的仿射变换参数的矩阵的相乘而确定的 仿射变换参数被存储到图像变换部分150中。以此方式，与当前帧相 对应的图像要被仿射变换时，使用与当前帧相对应的仿射变换参数的 矩阵和与直到紧前一帧的帧相对应的仿射变换参数的矩阵而确定的仿 射变换参数，进行仿射变换。这种仿射变换时确定的仿射变换参数被 存储到图像变换部分150中，并用于下次仿射变换。这也类似地应用 于图13和16的情形。现在，描述这样一种情形其中在图像拾取设备IOO的图像拾取 时改变放大率，尽管图像拾取设备100的透镜方向不运动。图11是视图，表明图像拾取设备100拾取的动态画面的转变的例 子。图11是表示与动态画面中包括的连续帧相对应的图像421至423 的视图，其中在山的背景上拾取人420的图像。在本例子中，描述这像拾取设备100的透镜放 大率时，执行图像拾取。这个例子中，在图像拾取设备100拾取的动 态画面中包括的人420在形成动态画面的图像中逐渐变大。要注意， 尽管当放大率提高时图像拾取设备100的位置有时候移动一些，但在 本例子中，进行描述时不考虑图像拾取设备100的位置运动。图12是视图，其中与图11所示图像中的紧前一帧相对应的图像 由虛线指示，并且表示检测的光流的例子。图12(a)所示图像421与图 ll(a)所示图像421相同。同时，图12(b)所示图像422的实线部分与 图11(b)所示图像422的那些相同，而图12(b)所示图像422的虛线部 分与图11(a)所示图像421的实线部分相同。此外，图12(b)所示图像 422上的箭头标记424至426指示从图像422检测的光流的例子。类 似地，图12(c)所示图像423的实线部分与图11(c)所示图像423的那 些相同，而图12(c)所示图像423的虚线部分与图11(b)所示图像422 的实线部分相同。此外，图12(c)所示图像423上的箭头标记427至 429指示从图像423检测的光流的例子。如在图12(b)和(c)所示，图像中包括的人420和背景的山的尺寸 按照放大率的变化而变化。对于每个帧，基于由变化检测的光流，可 确定仿射变换参数。图13是视图，表明如下情况下的显示例子再现包括在图ll所 示图〗象421至423的动态画面。如图13(a)所示，只有与顶部帧相对应的图像421被首先显示。然 后，与随后帧相对应的图像422要被显示时，使用与这个帧关联的仿 射变换参数，仿射变换图像422。在图13(b)所示图像的情况下，只变 换图像422的尺寸。然后，使用仿射变换参数而仿射变换的图像422 以这样一种方式被重写，从而与紧前一帧相对应的图像421重叠。具 体地，图像421的区域中的与图像422重叠的区域中，图像422的图 像被重写。这个例子中，由于图像421与图像422的整个区域相重叠， 整个图像422被重写在图像421上。另一方面，在图像421的区域中 的不与图像422重叠的区域431中，图像421的图像被合成。具体地，当与第二帧相对应的图像422要被显示时，图像422的整个部分和与 区域431相对应的图像421的部分被合成的图像被显示，如在图13(b) 所示。此外，图像框可在与当前帧相对应的图像的周围被显示，图像 框指示其中的图像是来自显示图像内的最新近图像。在图13(b)中，在 图像422上显示图像框。此外，由图像422的仿射变换得到的仿射变 换参数被存储到图像变换部分150中。此后，与下个帧相对应的图像423要被显示时，使用与这个帧相 关联的仿射变换参数，来仿射变换图像423。具体地，通过与图像423 相对应的仿射变换参数的矩阵和用于紧前一仿射变换的与图像422相 对应的仿射变换参数的矩阵的相乘而确定的仿射变换参数，图像423 被仿射变换。在图13(c)所示图像中，只变换图像423的尺寸。然后， 仿射变换的图像423被重写，从而重叠于与前面帧相对应的图像421 和422的合成图像。具体地，在图像421和422的合成图像的区域中 的与图像423相重叠的区域中，图像423的图像被重写。这个例子中， 由于图像423与图像421和422的整个区域相重叠，所以图像423的 整个图像被重写在图像421和422的合成图像上。另一方面，在图像 421和422的合成图像的区域中的不与图像423重叠的区域432和433 中，图像421和422的合成图像被合成。具体地，与第三帧相对应的 图像423要被显示时，图像423的整个部分、与区域432相对应的图 像421的部分及与区域433相对应的图像422的部分被合成的图像被 显示，如在图13(c)所示。另一方面，在图像框要被显示在与当前帧相 对应的图像的周围时，图像框表示其中的图像是来自显示图像中的最 新近图像，在图13(c)所示图像423上显示图像框。此外，图像423的 仿射变换中使用的仿射变换参数被存储到图像变换部分150中。换句 话说，使用与图像422和423相对应的仿射变换参数确定的仿射变换 参数被存储到图像变换部分150中。现在，描述这样一种情形在图像拾取设备100的图像拾取时， 绕图像拾取方向转动图像拾取设备100，尽管不改变图像拾取设备100 的方向或》文大率。图14是视图，表明图像拾取设备100拾取的动态画面的转变的例 子。图14是表示与动态画面中包括的连续帧相对应的图像441至443 的视图，其中在山的背景上拾取人440的图像。在这个例子中，表明 这样一种情形其中图像拾取人在绕图像拾取方向转动图像拾取设备 100时，执行图像拾取。这个例子中，在形成动态画面的图像上，在 图像拾取设备100拾取的动态画面中包括的人440连续转动。要注意， 尽管图像拾取设备100的位置有时通过图像拾取设备100的转动而运 动一些，但不考虑图像拾取设备100的位置运动来描述这个例子。图15是视图，其中与图14所示图像中的紧前一帧相对应的图像 由虛线指示，并且表示检测的光流的例子。在图15(a)所示图像441与 图14(a)所示图像441相同。同时，图15(b)所示图像442的实线部分 与图14(b)所示图像442的那些相同，而图15(b)所示图像442的虚线 部分与图14(a)所示图l象441的实线部分相同。此外，图15(b)所示图 像442上的箭头标记444至446指示从图像442检测的光流的例子。 类似地，图15(c)所示图像443的实线部分与图14(c)所示图像443的 那些相同，而图15(c)所示图像443的虛线部分与图14(b)所示图像442 的实线部分相同。此外，图15(c)所示图《象443上的箭头标记447至 449指示从图像443检测的光流的例子。如在图15(b)和(c)所示，图像中包括的人440和背景的山与图像 拾取设备100的转动相一致地转动运动。对于每个帧，基于由转动运 动检测的光流，可确定仿射变换参数。图16是视图，表示在如下情况的显示例子再现包括在图14所 示图《象441至443的动态画面。如图16(a)所示，只有与顶部帧相对应的图^象441:帔首先显示。然 后，与下个帧相对应的图像442要被显示时，使用与这个帧关联的仿 射变换参数，仿射变换图像442。在图16(b)所示图像中，只变换图像 442的角度。然后，使用仿射变换参数而仿射变换的图像442被重写， 从而与紧前一帧相对应的图像441相重叠。具体地，在图像441的区 域中的与图像442重叠的区域450中，图像442的图像被重写。同时，在图像441的区域中的不与图像442重叠的区域451和452中，图像 441的图像被合成。具体地，与第二帧相对应的图像442要被显示时， 如在图16(b)所示，图<象442的整个部分和与区域451和452相对应的 图像441的部分被合成的图像被显示。此外，有可能在与当前帧相对 应的图像的周围显示图像框，图像框表示其中的图像是来自显示图像 中的最新近图像。在图16(b),在图像442上显示图像框。此外，由图 像442的仿射变换得到的仿射变换参数被存储到图像变换部分150中。
然后，与下个帧相对应的图像443要被显示时，使用与这个帧相 关联的仿射变换参数，仿射变换图像443。换句话说，使用与图像443 相对应的仿射变换参数的矩阵和在紧前一仿射变换中使用的与图像 442相对应的仿射变换参数的矩阵，仿射变换图像443。在图16(c)所 示图像中，只变换图像443的角度。然后，仿射变换的图像443被重 写，从而重叠于与前面帧相对应的图像441和442的合成图像。具体 地，在图像441和442的合成图像的区域中的与图像443相重叠的区 域453到457中，图像443的图像被重写。另一方面，在图像441和 442的合成图^f象的区域中的不与图^象443重叠的区域458至461中， 图像441和442的合成图像被进一步合成。具体地，与第三帧相对应 的图像443要被显示时，图像443的整个部分、与区域459相对应的 图<象441的部分及与区域458和460相对应的图^f象442的部分4皮合成 的图像被显示，如在图16(c)所示。另一方面，在图像框要被显示在与 当前帧相对应的图像的周围时，图像框表示其中的图像是来自显示图 像中的最新近图像，在图16(c)所示图像443上显示图像框。此外，在 图像443的仿射变换中使用的仿射变换参数被存储到图像变换部分 150中。换句话说，使用与图像442和443相对应的仿射变换参数确 定的仿射变换参数被存储到图像变换部分150中。
现在，参照附图详细描述提取要在显示部分250上显示的合成图 像的方法。
图17是视图，示意地表明在本发明实施例中动态画面存储部分 200中存储的动态图像文件的帧与显示区域之间的关系。这里只显示图像存储器180、元数据存储部分210、及操作接受部分160，省略除 它们之外的元件的说明。此外，关于形成图4(b)所示的动态画面文件 201的帧"1"至"3"，使用元数据文件211中存储的仿射变换参数216， 在图像存储器180中产生合成图像的情形的例子被描述。
图17(a)表明一种情形其中帧1(205)被存储到图像存储器180中， 帧1(205)是形成图4(b)表示的动态画面文件201的各个帧中的第 一帧。 例如，如图17(a)所示，与动态画面文件201的帧1(205)相对应的图傳> 351被存储到图像存储器180中。这里，至于与第一帧相对应的图像 351被存储到图像存储器180的位置，基于所执行的帧"l"至"n"的合 成图像的尺寸计算，例如，使用关于在元数据文件211中存储的动态 画面文件201的仿射变换参数216，来确定图像351要被存储的位置。 要注意，这个例子中，假定将在图像存储器180上布置的图像351的 左顶点的位置被确定为原点、水平方向(横坐标轴)是x轴及竖直方向 (纵坐标轴)是y轴，给出如下描述。
如图17(a)所示，其中图像351被布置在图像存储器180上的显示 区域被确定为显示区域361。基于图像351被存储的位置和尺寸，响 应于操作接受部分160接受的显示放大率的值，确定显示区域361。 例如，普通再现时，由于仅再现当前图像的显示放大率被指定，所以 显示区域361具有与图像351的尺寸相等的尺寸。另一方面，例如， 在拉远当前图像的"0.5倍"的显示放大率被指定时，显示区域361具有 与图像351的两倍尺寸相等的尺寸，并且以图像351为中心。要注意， 用于图像351的显示区域361的位置可基于仿射变换参数被确定。具 体地，在"0.5倍，，的显示放大率(当前图像以该显示放大率拉远)被 指定时，仿射变换参数被用于设置显示区域，通过这些仿射变换参数， 在x方向和y方向的变焦分量被加倍。还有关于显示区域相对于当前 图像被平行地运动或被转动的情形，显示区域的位置和范围可使用仿 射变换参数被确定。要注意，在这个例子中，尽管显示区域与当前图 像的变换一起被变换，由于与帧1(205)相对应的仿射变换参数是单位 矩阵的参数，仅考虑来自操作接受部分160的显示放大率指定，来确定与帧1(205)相对应的显示区域361。
图17(b)表明 一种情形其中帧2(206)被存储到图像存储器180中， 帧2(206)来自形成图4(b)所示的动态画面文件201的各个帧中。这个 例子中，与帧2(206)相对应的图像352使用元数据文件211中存储的 仿射变换参数216、与帧号215的"1"和"2"相关联地被变换，并且如 上述那样通过重写与图像351合成，还相对于显示区域执行仿射变换。 具体地，与帧2(206)相对应的图像352使用元数据文件211中与帧号 215的"1"和"2"相关联地存储的仿射变换参数216、参照图像351的位 置和尺寸被变换。然后，使用响应于操作接受部分160接受的显示放 大率的值确定的仿射变换参数，图像352的位置和尺寸被变换，以及 基于变换后的位置和尺寸所确定的区域来形成显示区域362。具体地， 与帧号215的"1"和"2"相对应的仿射变换参数的矩阵由Al和A2表 示、并且响应于操作接受部分160接受的显示放大率的值而确定的仿 射变换参数的矩阵由B(例如，参考当前图像的矩阵)表示，确定 AlxA2xB的值，并且参考图像351的位置和尺寸，显示区域362由所 确定的AlxA2xB矩阵来确定。
图17(c)表明一种情形其中帧3被存储到图像存储器180中，该 帧3来自形成图4(b)所示的动态画面文件201的各个帧。仍在这种情 况下，使用元数据文件211中与帧号215的"1"至"3"相关联地存储的 仿射变换参数216，与帧3相对应的图像353被变换，并且如上述那 样通过重写图像351和352而合成，至于显示区域，也执行仿射变换， 以确定用于图像353的显示区域363。具体地，与帧号215的"1"至"3" 相对应的仿射变换参数的矩阵由Al至A3分别表示、并且响应于操作 接受部分160接受的显示放大率的值而确定的仿射变换参数的矩阵由 B表示，确定AlxA2xA3xB的值，并且参考图像351的位置和尺寸， 显示区i或363由所确定的AlxA2xA3xB矩阵确定。
图18是视图，示意地表明在图像存储器180中存储的图像和液晶 面板251上显示的图像，其中动态画面以变化的显示放大率被显示。 图18(a)表明只有液晶面板251的当前图像被显示的情形，并且图18(b)表明要显示在液晶面板251上的动态图像按比例被减小(拉远)的情形， 而图18(c)表明要显示在液晶面板251上的动态图像按比例被增大(拉 近)的情形。这个例子中，例示了鱼被包括在当前图像的对象中的情形。
首先，当再现动态画面的指令发出时，当前图像491和显示区域 492如图18(a)所示被设置成彼此相等，并且显示区域492的范围中包 括的合成图像从图像存储器180提取，并且显示在液晶面板251。换 句话说，只有当前图像被依次地显示在液晶面板251上。
另一方面，在W按钮在动态画面再现时被按下的状态下，响应于 W按钮的按下时段，图像存储器180上的显示区域493如图18(b)所 示被放大，并且在显示区域493中包括的合成图像被依次显示在液晶 面板251。同时，在T按钮在动态画面再现时净皮按下的状态下，响应 于T按钮的按下时段，图像存储器180上的显示区域495被缩小，并 且显示区域495中包括的合成图像被依次显示在液晶面板251。要注 意，这样的放大和缩小处理由显示区域提取部分l卯执行，从而当前 图像491被定位在中心。具体地，使用响应于上文描述的操作接受部 分160接受的显示放大率的值确定的仿射变换参数，当前图像491的 位置和尺寸被变换，并且基于变换之后的位置和尺寸来确定显示区域。 在图18(b)的例子中，由于降低显示放大率的操作输入被执行，所以响 应于显示放大率的减小来确定仿射变换参数的变焦分量，而在图18(c) 的例子中，由于提高显示放大率的操作输入被执行，所以响应于显示 放大率的增大来确定仿射变换参数的变焦分量。以此方式，通过仅改 变显示区域的尺寸，能以放大或缩小比例显示包括当前图像的一个或 多个图像。要注意，通过十字按钮162的操作有可能向上、向下、向 左或向右移动显示区域。
如上所述，通过显示在图像存储器180上布置的显示区域范围存 在的图像，可依次显示在再现期间的合成图像。这里，当前图像被仿 射变换并且被合成到图像存储器180中时，有时执行画面质量的转换， 如分辨率转换过程、压缩过程等以转换成较低分辨率。因此，在显示
放大率要被提高以按放大比例显示当前图像时，包括当前图像的合成图像可能会变得模糊。因此，在本发明的实施例中，对于当前再现的
当前图像，合成到图像存储器180中之前的图像被用于显示合成图像。 下面参照附图详细描述这种显示方法。
图19是视图，示意地表明在本发明实施例中在动态画面存储部分 200中存储的动态画面文件的帧流。这里l又显示操作接受部分160、动 态画面存储部分200、元数据存储部分210、图像存储器180及显示存 储器230的关系，而省略其它构造的说明。
图19(a)以简化形式表示图4(b)所示动态画面文件201和元数据文 件211。在下面，描述与形成动态画面文件201的帧i(207)相对应的图 像被显示的例子。换句话说，假定对于形成动态画面文件201的帧1 至"i-l"相对应的图像,已经产生合成图像。
图19(b)示意地表示图像存储器180,在图像存储器180中存储合 成图像，其中合成与形成动态画面文件201的帧相对应的图像。如图 17(b)所示，与形成动态画面文件201的帧1(205)相对应的图〗象351 ,皮 首先存储到图像存储器180中。要注意，在图17(a)所示图像361由虚 线指示。然后，在图像351被存储到图像存储器180之后，与形成动 态画面文件201的帧2至"i-l"相对应的图像，使用以与帧2至"i-l"相 关联地存储在元数据文件211中的仿射变换参数216的值，被依次仿 射变换，并且仿射变换图像通过重写被依次存储到图像存储器180中。 这里，显示区域的尺寸响应于来自操作接受部分160的显示放大率目 标的操作输入(W按钮或T按钮的按下)被确定，并且响应于当前图像 被仿射变换所计算。然后，对于来自图像存储器180中存储的合成图 像的每个帧，显示区域提取部分190提取在计算的显示区域中存在的 图像。
与帧1至"i-l"相对应的图像的合成图像被存储在图像存储器180 中的状态下，与形成动态画面文件201的帧i(207)相对应的图像，使 用以与帧1至i相关联地存储在元数据文件211中的仿射变换参数 216，被仿射变换，并且仿射变换后的当前图像692通过重写被存储到 图像存储器180。具体地，与帧i(207)相对应的图像，使用以与帧号215的"l"至"i"相关联地存储在元数据文件211中的仿射变换参数 216,参照是当前图像的图像351，被仿射变换成图像692，并且图像 692被存储到图像存储器180。然后，至于与帧i(207)相对应的显示区 域695，使用响应于操作接受部分160接受的显示放大率的值确定的 仿射变换参数，图像692的位置和尺寸被变换。显示区域的这种确定 由显示区域提取部分190执行。然后，显示区域提取部分l卯从图像 存储器180存储的合成图像提取在显示区域695中存在的图像，并且 将提取的图像例如存储到显示存储器230中，如图19(c)表明的那样。
图19(c)示意地表明显示存储器230，其中存储显示区域提取部分 l卯提取的图像。这里，显示存储器230中存储的图像(除当前图像696 之外的图像)是从显示区域提取部分190提取的图像(在显示区域695 的范围中存在的图像)，使用用于显示区域695的变换的仿射变换参数 矩阵的逆矩阵，变换而来的图像。具体地，在图像存储器180上布置 的显示区域的形状有时具有平行四边形的形状，作为仿射变换等的结 果。为了使仿射变换的显示区域中的合成图像被显示在显示部分250, 显示区域中的合成图像使用目前用于当前图像的仿射变换时的仿射变 换参数矩阵的逆矩阵而被变换。例如，与帧号215的"l"至"i"相关联
地在元数据文件211中存储的仿射参数的矩阵由Al..... Ai表示、
并且用于显示区域695的确定的仿射变换参数的矩阵(例如，参考当前 图像的矩阵)由B表示，Inv(Alx...xAixB)被用作变换在显示区域中的 合成图像的矩阵。因此，例如，如图19(c)所示，有可能将按平行四边 形变换的图像变换成矩形，以显示在显示部分250。此外，对于与显 示区域提取部分190提取的各个图像之中的当前帧相对应的当前图像 696 ，以非仿射变换形式从动态画面存储部分200获取的图像被使用， 以代替显示区域提取部分190从图像存储器180提取的图像。这里， 依据来自操作接受部分160的显示放大率，确定在显示存储器230中 存储所述图像696所使用的位置和尺寸。
如图19(c)所示，显示区域提取部分190提取的图像被存储到显示 存储器230中，并且从动态画面存储部分200获取的图像通过重写显
38示区域提取部分190提取的图像而被存储到显示存储器230中。因此， 仿射变换后的合成图像在它返回到没有使用逆矩阵被仿射变换的状态 之后，可被显示。同时，关于当前图像，通过使用在图像受到诸如缩 小的处理之前的状态下的图像，比较清晰的当前图像可被显示，并且 在仿射变换之后被存储到图像存储器180。此外，还有在用户操作执 行放大等的情况下，可在清晰状态显示当前图像。
如上所述，由于对于当前图像，从动态画面存储部分200获取之 后被仿射变换的图像可用于代替在图像存储器180中存储的合成图 像，所以可观看到比较清晰的图像。参照图20和21详细描述这个合 成例子。
图20(a)是视图，表示在如下情况的合成例子其中再现图像拾取 设备IOO拾取的动态画面。在这个例子中，在合成图像使用逆矩阵被 仿射变换的状态下，动态画面形成的合成图像被表示为图像480,其 中图像拾取设备100主要在向左和向右方向移动时拾取母子的图像， 母子正在大型建筑物站立于其上的草坪的敞开空间中玩耍。这里，在 图像480中，以全景型式形成图像481，图像481由形成动态画面的 帧相对应的图像合成。此外，与图像480的当前帧相对应的图像是当 前图像482。
这里，描述框483围绕的图像区域按放大比例被显示的情形。在 显示部分250显示的图像要按放大或缩小比例被显示时，用户通过操 作变焦按钮161指定希望的显示放大率。例如，在框483围绕的图像 区域要按放大比例被显示时，其中图像480如图20(a)所示被显示在显 示部分250，通过用户操作变焦按钮161以指定显示放大率以及操作 十字按钮162以指定位置，框483围绕的图像区域可按放大比例被显 示。
图20(b)是视图，表示图像480中的当前图像482被仿射变换之前 的状态下的图像484。
图21(a)是视图，表示如下情况的图像485:其中按放大比例显示 图20(a)所示的框483围绕的图像区域。图21(a)所示图像485是在仿射变换之后的当前图像被存储到图像存储器180之前的状态下，在显 示存储器230中合成的图像。以此方式，在当前图像486的区域中， 在存储到图像存储器180之前的状态下的比较清晰图像被显示在当前 图像486的区域。因此，当前图像486和除这个区域之外的区域彼此 相比较时，可观察到比其它区域中的图像更清晰的当前图像486。同 时，图21(b)所示图像487是仿射变换之后的当前图像被存储到图像存 储器180中的状态下，在显示存储器230中存储的图像。图像487以 此方式显示时，仍在当前图像488的区域中，显示与其它区域中的图 像的程度相似的图像。具体地，对于本发明的实施例，当图像被合成 和显示时，尽管显示存储器230中存储的历史图像有时被压缩，对于 目前的图像(当前图像)，可使用非压缩图像或分辨率比历史图像更高 的图像，因此，可实现高画面质量的图像合成显示。要注意，在本例 子中，为了解释，为了表明显示对象的图像使用逆矩阵被仿射变换之 前的状态，尽管当前图像不是矩形，通过以上描述的逆矩阵执行仿射 变换，有可能将当前图像设置成矩形形状。
下面参照附图描述根据本发明实施例的图像拾取设备100的操作。
图22是流程图，表明根据本发明实施例的图像拾取设备100的动 态画面再现处理的处理过程。这个例子指示^皮再现的动态画面由用户 选择的情形。
首先，在图像存储器180中保证工作緩冲器(步骤S921)，工作緩 冲器具有比形成动态画面的图像的尺寸更大的容量。然后，文件获取 部分140从动态画面存储部分200获取操作接受部分160选择的动态 画面文件，并且从元数据存储部分210获取与动态画面文件相关联的 元数据文件(步骤S922)。
然后，文件获取部分140解码动态画面文件，并且获取当前帧(步 骤S923)，当前帧是形成动态画面文件的一个帧。然后，文件获取部 分140从元数据文件获取与所获取的当前帧相对应的仿射变换参数 (步骤S924)。这里，当前帧是顶部帧时，获取单位矩阵的仿射变换参
40数。
然后，图像变换部分150使用仿射变换参数仿射变换与当前帧相对应的图像(步骤S925)。要注意，当前帧是顶部帧时，那么由于它使用单位矩阵被仿射变换，实际图像不被变换。
然后，图像合成部分170把与仿射变换后的当前帧相对应的图像和与当前帧的以前帧相对应的图像，通过重写而合成，并且将图像存储到图像存储器180中(步骤S926)，其中与当前帧相对应的图像被合成。
此后，显示区域提取部分190使用从第一帧至当前帧的各个帧的仿射变换参数和与显示放大率相对应的仿射变换参数，确定显示区域的位置和尺寸(步骤S927)。然后，显示区域提取部分190从图像存储器180提取在显示区域中包括的合成图像(步骤S928)。然后，显示区域提取部分190使用用于显示区域确定的仿射变换参数矩阵的逆矩阵，仿射变换从图像存储器180提取的合成图像(步骤S929)。
此后，显示区域提取部分190将从图像存储器180提取的并且仿射变换后的合成图像存储到显示存储器230中(步骤S930)。然后，图像合成部分170将当前图像通过重写与显示存储器230存储的合成图像合成(步骤S931)。然后，显示控制部分240控制显示部分250,以显示在显示存储器230中存储的合成图像(步骤S932)。
然后，判定当前帧是否是形成选中动态画面文件的各帧中的最后帧(步骤S933)。如果当前帧不是最后帧(步骤S933)，那么处理返回到步骤S923,以重复动态画面合成再现处理(步骤S923至S932)。另一方面，如果当前帧是最后帧(步骤S933)，那么保证的工作緩冲器被释放(步骤S934)，并且动态画面再现处理结束。
上文描述如下例子其中仿射变换被依次应用于与当前帧相对应的当前图像以产生合成图像，并且依次将合成图像存储到图像存储器中，然后从图像存储器的合成图像中提取显示区域，其中显示区域是显示对象的区域，以再现动态画面。这里，参照附图详细描述如下动态画面再现方法在与仿射变换参数的方向相反的方向，将仿射变换应用于与以前帧相对应的合成图像，以产生动态画面，而与当前帧相
对应的当前图像被固定到显示部分250的中央部分等。
首先，参照附图详细描述如下情形图8至16所示图像401至403、 421至423及441至443被用于合成和再现动态画面。要注意，图23至25所示图像为了描述被简化，并且两个连续帧之间的运动量以放大方式表明，与在图8至16相类似。
首先，描述如下情形在图像拾取设备100的图像拾取时，图像拾取设备100的透镜方向相对于在图像拾取设备100的位置中心在向上、向下、向左及向右方向之一运动，尽管放大率不变。
图23是视图，表明在如下情况的显示例子其中再现包括在图8所示图〗象401至403的动态画面。在图IO所示的显示例子中，尽管与当前帧之前的每个帧相对应的合成图像(第一， 一个图像)被固定，通过在合成图像上重写与当前帧相对应的仿射变换图像，合成形成的图像被显示。相反，在图23所示的显示例子中，尽管与当前帧相对应的图像的位置被固定，通过重写合成图像而合成与当前帧相对应的图像所形成的图像被显示，所述合成图像是通过在与仿射变换参数的方向相反的方向，通过与当前帧之前的每个帧相对应的合成图像的仿射变换而形成。具体地，尽管图IO和图23所示的显示例子的区别在于在固定位置被显示的图像和形成仿射变换对象的图像，但它们在其它方面相同。因此，与图10的那些相同部分通过所应用的相同附图标记来描述。
如图23(a)所示，只有与顶部帧相对应的图像401被首先显示。这里，由于图像401是顶部帧，所以不存在以前帧。然后，与下个帧相对应的图像402要被显示时，与这个帧关联的仿射变换参数被用于仿射变换是紧前一帧的图像401。具体地，与图像402相对应的仿射变换参数的矩阵由A2表示、并且与图像401相对应的仿射变换参数的矩阵由Al表示时，确定Inv(AlxA2)的值，并且基于确定的Inv(AlxA2)矩阵，仿射变换图像401。这里，InvA(A是矩阵)表示A的逆矩阵。在图23(b)所示图像中，只变换图像401的位置。然后，与当前帧相对应的图像402使用仿射变换的图像401被重写，从而它与图像402重叠。要注意，通过在图像401上重写图像402形成的合成图像的描述这里被省略，因为它与图10(b)所示的合成图像相同。
此后，与下个帧相对应的图像403要被显示时，与这个帧相关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向，仿射变换与以前帧相对应的图像401和图像402的合成图像。具体地，与图像403相对应的仿射变换参数的矩阵由A3表示、并且与图像402相对应的仿射变换参数的矩阵由A2表示、而与图像401相对应的仿射变换参数的矩阵由Al表示，确定Inv(AlxA2xA3)的值，并且图像401和图像402的合成图像使用Inv(AlxA2xA3)矩阵被仿射变换。在图23(c)所示图像中，只变换图像401和图像402的合成图像的位置。然后，与当前帧相对应的图像403以这样一种方式被重写，从而与图像401和402的仿射变换的合成图像相重叠。要注意，通过在图像401和402上重写图像403形成的合成图像的描述这里被省略，因为它与图10(c)所示的合成图像相同。
现在，描述这样一种情形其中在图像拾取设备100的图像拾取时，放大率被改变，而图像拾取设备100的透镜方向不移动。
图24是视图，表明在如下情况的显示例子再现包括在图ll所示图〗象421至423的动态画面。图13和24所示的显示例子之间的差别与图10和23所示的显示例子之间的差别类似，尽管它们的区别在于，在固定位置显示的图像和形成仿射变换对象的图像，但它们在其它部分方面相同。因此，与图13相同的元件^f吏用所应用的相同附图标记被描述。
如图24(a)所示，只有与顶部帧相对应的图像421被首先显示。然后，与下个帧相对应的图像422要被显示时，与这个帧关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向，仿射变换紧前一图像的图像421。在图24(b)所示图像中，只变换图像421的尺寸。然后，与当前帧相对应的图像422以与仿射变换的图像421的重叠关系被重写。要注意，通过在图像421上重写图像422形成的合成图像的
43描述这里被省略，因为尽管它就尺寸而言不同，但就其它方面与图13(b)所示的合成图像相同。
然后，与下个帧相对应的图像423要被显示时，与这个帧相关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向，仿射变换图像421和图像422的合成图像。在图24(c)所示图像中，只变换图像421和422的合成图像的尺寸。然后，与当前帧相对应的图像423被重写，从而与图像421和422的仿射变换合成图像相重叠。要注意，尽管通过在图像421和422的合成图像上重写图像423形成的合成图像在尺寸方面不同，但其它方面与图13(c)所示的合成图像相同，并因此它的描述在这里^f皮省略。
现在，描述这样一种情形在图像拾取设备100的图像拾取时，绕图像拾取方向转动图像拾取设备100，尽管图像拾取设备100的透镜的方向和放大率不变。
图25是视图，表明在如下情况的显示例子再现包括在图14所示图像441至443的动态画面。图16和25所示的显示例子之间的差别与图10和23所示的显示例子之间的那些差别类似，尽管显示例子的区别在于，在固定位置显示的图像和形成仿射变换对象的图像，但它们在其它部分方面相同。因此，与图16相同的那些元件使用所应用的相同附图标记被描述。
如图25(a)所示，只有与顶部帧相对应的图像441被首先显示。然后，与下个帧相对应的图像442要被显示时，与这个帧关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向，仿射变换紧前一图像的图像441。在图25(b)所示图像中，只变换图像441的角度。然后，与当前帧相对应的图像442被重写，从而与仿射变换的图像441相重叠。要注意，通过在图像441上重写图像442形成的合成图像的描述这里被省略，因为尽管它就角度而言不同，但其它方面与图16(b)所示的合成图像相同。
然后，与下个帧相对应的图像443要被显示时，与这个帧相关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向，仿射变
44换与以前帧相对应的图像441和图像442的合成图像。在图25(c)所示图像中，只变换图像441和442的合成图像的角度。然后，与当前帧相对应的图像443以这样一种方式被重写，从而与图像441和442的仿射变换合成图像相重叠。要注意，通过在图像441和442上重写图像443得到的合成图像的描述在这里被省略，因为尽管它在角度方面不同，但其它方面与图16(c)所示的合成图像相同。
现在，参照附图详细描述提取要在显示部分250显示的合成图像的方法。
图26是视图，示意地表明在本发明实施例中在动态画面存储部分200中存储的动态图像文件的帧与显示区域之间的关系。这里，只显示图像存储器180、元数据存储部分210、及操作接受部分160，省略除它们之外的元件的说明。此外，在图26中，类似于图17，将关于形成图4(b)所示的动态画面文件201的帧"1"至"3", 4吏用在元数据文件211中存储的仿射变换参数216，在图像存储器180中产生合成图像的情形作为例子，给出描述。
这里，在图17中，已经描述了如下例子其中仿射变换被依次应用于与当前帧相对应的当前图像，以形成要依次存储到图像存储器
180中的合成图像，并且从图像存储器180的这样的合成图像中，提取响应于当前图像的变换的显示区域的范围中包括的合成图像。在图26中，表明如下例子仿射变换在与仿射变换参数的方向相反的方向，被应用到与每一个以前帧相对应的合成图像，以将与当前帧相对应的当前图像固定到显示部分250的特定位置，而不响应于当前图像来变换显示区域。这个例子中，图像变换部分150将仿射变换应用于图像存储器180中存储的与直到紧前一帧的多个帧相对应的合成图像上，并且图像合成部分170在仿射变换之后的合成图像上重写当前图像，以合成图像，并将如此合成的新合成图像存储到图像存储器180中。要注意，与图17的那些相似的元件由相似的附图标记指示。以此方式，当前图像可被固定到显示部分250的特定位置，而不响应于当前图像来变换显示区域。此外，对于当前图像，从动态画面存储部分200获
45取之后、在仿射变换之前的图像可用于代替图像存储器180中存储的合成图像，如上文参照图19描述的那样。
尽管将形成一个动态画面的图像被彼此合成的情形作为例子给出以上描述，但在如下描述中，参照附图详细描述两个动态画面的图像被合成的合成例子。
图27是方块图，表示根据本发明另一个实施例的图像拾取设备101的功能构造例子。这里，图像拾取设备101是对图1所示图像拾取设备100的部分修改，并且包括图像拾取部分110、摄影机工作检测部分120、记录控制部分131、文件获取部分141、图《象变换部分151、操作接受部分165、图像合成部分171、图像存储器180、显示区域提取部分190、动态画面存储部分200、元数据存储部分210、相对关系信息存储部分220、显示存储器231、显示控制部分240、显示部分250、重合点选择部分260、相对关系信息计算部分270、对象图像变换信息计算部分280、及重合点搜索部分340。要注意，图像拾取部分IIO、摄影机工作检测部分120、图像存储器180、显示区域提取部分190、元数据存储部分210、显示控制部分240及显示部分250的构造描述被省略，因为它类似于图1所示图像拾取设备100。此外，在下面主要给出与图l所示图像拾取设备IOO的差别的描述。
记录控制部分131将从图像拾取部分IIO输出的动态画面作为动态画面文件记录在动态画面存储部分200中，并且将从摄影机工作检测部分120输出的仿射变换参数以与对应动态画面和帧相关联地记录到元数据存储部分210中作为元数据文件。此外，记录控制部分131将从相对关系信息计算部分270输出的仿射变换参数，以与仿射变换参数相对应的动态画面和帧相关联地记录到相对关系信息存储部分220中。
动态画面存储部分200在记录控制部分131的控制下将从图像拾取部分110输出的动态画面存储为动态画面文件。此外，动态画面存储部分200按照来自文件获取部分141的请求将动态画面文件供给到文件获取部分141，并且按照来自重合点搜索部分340的请求将至少两个动态画面文件供给到重合点搜索部分340。
相对关系信息存储部分220在记录控制部分131的控制下将从相对关系信息计算部分270输出的仿射变换参数和相应的动态画面和帧以彼此关联关系存储为相对关系元数据文件。此外，相对关系信息存储部分220按照来自文件获取部分141的请求将相对关系元数据文件供给到文件获取部分141。要注意，下文参照图29和35描述在相对关系信息存储部分220中存储的相对关系元数据文件。
文件获取部分141获取在动态画面存储部分200中存储的至少一个或多个动态画面文件、在元数据存储部分210中与每一个动态画面文件相关联地存储的元数据文件、及在相对关系信息存储部分220中以与动态画面文件的相同关联关系存储的相对关系元数据文件，并且响应于操作接受部分165接受的操作输入将获取文件的信息供给到各个部分。具体地，当用于普通动态画面再现的操作输入由操作接受部分165接受时，文件荻取部分141获取在动态画面存储部分200中存储的一个或多个动态画面文件，并且依次将获取的动态画面文件的动态画面输出到重合点选择部分260和显示存储器231。当普通动态画面再现正在执行时，如果用于停止动态画面再现的操作输入由操作接受部分165接受，文件获取部分141停止动态画面的输出。此外，指定一个或多个动态画面文件的合成再现的指令操作由操作接受部分165接受时，文件获取部分141获取在动态画面存储部分200中存储的一个或多个指定动态画面文件、在元数据存储部分210中与所述动态画面文件各自关联地存储的元数据文件、及在相对关系信息存储部分220中以与动态画面文件的相同关联关系存储的相对关系元数据文件，并且将获取的一个或多个动态画面文件的动态画面和一个或多个元数据文件的仿射变换参数输出到图像变换部分151。此外，文件获取部分141将获取的元数据文件和相对关系元数据文件的内容输出到对象图像变换信息计算部分280。
图像变换部分151使用与图像相对应的仿射变换参数，对每个帧执行图像的仿射变换，所述帧形成从文件获取部分141输出的动态画
47面文件的动态画面，并且将仿射变换后的图像输出到图像合成部分
171。这里，指定合成多个动态画面时，图像变换部分151将再现对象的多个动态画面之一确定为基准动态画面，并且使用与形成基准动态画面的图像相对应的仿射变换参数对每个帧执行基准动态画面的仿射变换。同时，对于作为再现对象的多个动态画面之中除基准动态画面之外的其它动态画面，图像变换部分151使用对象图像变换信息计算部分280计算的对象图像变换信息(仿射变换参数)和与形成动态画面的图像相对应的仿射变换参数，对每个帧执行仿射变换。要注意，下文参照图32、 38等详细描述所述其它动态画面的变换方法。
操作接受部分165包括各种类型的操作部件，并且当从任一个操作部件接受操作输入时，将接受的操作输入的内容输出到文件获取部分141、重合点选择部分260、图像合成部分171、显示区域提取部分190或重合点搜索部分340。要注意，这样的操作部件与以上参照图2描述的那些类似。
重合点选择部分260，当指定重合点的指定操作的操作输入由操作接受部分165接受时，选择图像的重合点，所述图像形成从文件获取部分141输出的动态画面文件的动态画面。对一个图像选择至少三个重合点时，重合点选择部分260将选中重合点的位置和选择顺序以及选择对象的图像输出到相对关系信息计算部分270。重合点的选择操作可以对多个图像同时执行，或者可以对每个动态画面依次执行。
重合点搜索部分340，在指定相对关系信息的再现的指令操作由操作接受部分165接受时，该相对关系信息是关于动态画面存储部分200中存储的多个动态画面文件中的至少两个动态画面，搜索关于形成指定多个动态画面的图像的至少三个重合点，并且将包括搜索出的重合点的位置的图像输出到相对关系信息计算部分270。对重合点的搜索可例如通过使用一般对象识别等技术(例如，参考日本专利公开No.2002-65399)实现，通过其可识别在图像中包括的物体，而与图像尺寸无关。此外，参照图28详细描述重合点搜索部分340。
相对关系信息计算部分270基于从重合点选择部分260或重合点搜索部分340输出的至少两个图像和图像的至少三个重合点，计算仿射变换参数作为关于所述图像的相对关系信息，并且将计算的仿射变换参数和为仿射变换参数的计算使用的动态画面ID和图像帧号输出到记录控制部分131。要注意，参照图30和31详细描述关于图像的仿射变换参数的计算。此外，尽管在本发明的实施例中，描述仿射变换参数被用作相对关系信息的例子，但可以使用诸如投影变换参数的其它图像变换信息。要注意，仿射变换参数可使用三个点的向量通过计算来确定，投影变换参数可使用四个点的向量通过计算来确定。
当接收到合成和再现多个动态画面的指令时，其中形成来自再现对象的多个动态画面中的一个动态画面的至少一个图像被确定为基准图像，并且形成其它动态画面的图像被确定为对象图像，对象图像变换信息计算部分280,基于从文件获取部分141输出的元数据文件的仿射变换参数和相对关系元数据文件，计算用于变换对象图像的对象图像变换信息。然后，对象图像变换信息计算部分280将计算的对象图像变换信息输出到图像变换部分151。作为一个动态画面的基准图像，例如，可使用与形成一个动态画面的顶部帧相对应的图像。此外，对象图像变换信息是例如就基准图像而言用于对象图像的变换的仿射变换参数。要注意，参照图32等详细描述对象图像变换信息的计算。
图4象合成部分171通过在图^象存储器180保存的与直到紧前一帧的帧相对应的合成图像上重写图像变换部分151的仿射变换之后的图像，来合成图像，并且将合成的新合成图像存储到图像存储器180中。此外，在接收合成和再现多个动态画面的指令时，图像合成部分171通过在图像存储器180存储的与直到紧前一帧的帧相对应的合成图像上重写图像变换部分151相对于基准图像而仿射变换的图像，来合成图像，并且将合成的新合成图像存储到图像存储器180中。要注意，图像合成部分171基于响应显示放大率的值而确定的显示区域的尺寸，在显示存储器231中存储的合成图像上合成图像变换部分151的仿射变换之前的当前图像。这里，显示存储器231中合成的当前图像的尺寸基于显示放大率的值而确定。要注意，多个动态画面的再现开
49始位置可以响应来自操作接受部分165的操作输入被独立地确定。要注意，参照图32至34等详细描述这样的图像合成。
显示存储器231是保存显示区域提取部分190从图像存储器180提取的图像的显示緩冲器，并且在图像存储器180中保存的图像被显示在显示部分250。
图28是方块图，表示本发明实施例中的重合点搜索部分340的功能构造例子。重合点搜索部分340包括动态画面获取单元145、多分辨率产生单元341、特征点提取单元342、特征量提取单元343、模型词典寄存单元344、多分辨率产生单元345、特征点提取单元346、特征量提取单元347、 kd树构建单元348、及特征量比较单元349。并且，重合点搜索部分340计算在形成多个动态画面的各个帧之间的部分重合程度，并基于计算的重合程度自动地将多个动态画面彼此相关联。
动态画面获取单元145响应来自操作接受部分165的用于动态画面获取的操作输入，获取在动态画面存储部分200中存储的两个动态画面文件，并且为每个帧将形成获取动态画面文件之一 的图像输出到多分辨率产生单元341。此外，动态画面获取单元145为每个帧将形成另一动态画面文件的图像输出到多分辨率产生单元345。
多分辨率产生单元341按预先确定的比率降低从动态画面获取单元145输出的图像的分辨率，以比识别时更精细的精度产生多个不同分辨率的图像形成的多分辨率图像，并且将产生的多分辨率图像输出到特征点提取单元342。
特征点提取单元342从多分辨率产生单元341输出的多分辨率图像的不同分辨率的图像来提取特征点，并且将提取的特征点输出到特征量提取单元343。至于特征点提取方法，例如，可使用与图3所示的特征点提取单元121的特征点提取方法相类似的方法。
特征量提取单元343提取在特征点提取单元342输出的特征点的至少两个局部特征量，并且将提取的特征量寄存到模型词典寄存单元344中。这里，特征量提取单元343提取的两个局部特征量包括提取的特征点附近的浓度梯度的方向直方图作为第一类型特征量，和提取 的尺寸退化浓度梯度向量作为第二类型特征量。
模型词典寄存单元344寄存从特征量提取单元343输出的特征量， 并且将寄存的特征量供给到kd树构建单元348。
多分辨率产生单元345按预先确定的比率降低从动态画面获取单 元145输出的图像的分辨率，以比学习时更粗糙的精度产生多个不同 分辨率的图像形成的多分辨率图像，并且将产生的多分辨率图像输出 到特征点提取单元346。
特征点提取单元346从多分辨率产生单元345输出的多分辨率图 像的不同分辨率的每个图像来提取特征点，并且将提取的特征点输出 到特征量提取单元347。至于这种特征点提取方法，例如，可使用与 特征点提取单元342的方法相类似的方法。
特征量提取单元347提取从特征点提取单元346输出的特征点的 至少两个局部特征量，并且将提取的特征量输出到特征量比较单元 349。至于特征量提取，例如，可使用与特征量提取单元343的方法相 类似的方法。
kd树构建单元348基于模型词典寄存单元344中寄存的特征量构 建kd树，用于特征量比较单元349的特征量比较，并且将构建的kd 树输出到特征量比较单元349。这里，在特征量要被特征量比较单元 349比较时，特征量比较单元349将从特征量提取单元347提取的特 征点特征量和模型词典寄存单元344中寄存的特征点特征量彼此比 较，以搜索从特征量提取单元347提取的特征点特征量和在模型词典 寄存单元344中寄存的相似特征点特征量的组合。作为特征量比较方 法的最简单方法是全部检查。具体地，最简单方法是计算从特征量提 取单元347提取的每一个特征点特征量与模型词典寄存单元344中寄 存的特征点特征量的特征量相似程度、并且基于计算的相似程度来选 择相似特征点特征量的组合。然而，全部搜索的方法要求很长处理时 间。因此，在本发明的实施例中，为了从大量数据组以高速搜索数据， 描述使用树搜索方法的例子，树搜索方法使用叫做kd树的数据结构(J.H. Friedamn， J. L Bentley and R. A. Finkel: "An algorithm for finding best matches in logarithmic expected time(对数期望时间中用 于求出最好匹配的算法)，"ACM Transaction on Mathematical Software, Vol.3， No. 3， pp.209-226， September 1977)。 kd树是具有k 维树结构的树。要注意，本发明的实施例中，构建类型l的特征量的 36d树(k-36)和类型2的特征量的18d树(k-18)。所构建的树的每个叶 (终端节点)， 一个特征点特征量与标签等的信息保存在一起，以便查 阅特征量是哪个特征点的、从哪一个级别提取该特征点、是多分辨率 图像组的哪个图像的级别、及多分辨率图像组是哪个帧的。
特征量比较单元349将从特征量提取单元347提取的特征点特征 量与kd树构建单元348构建的表示为Kd树的特征点特征量彼此比 较，以执行k-NN(k Nearest Neighbor(最邻近))搜索来计算相似程度， 以搜索相似特征点特征量的组合；并且将与搜索出的特征点特征量的 组合相对应的特征点的位置作为重合点输出到相对关系信息计算部分 270。这里，关于一个或多个动态画面的特征量可以预先寄存在模型词 典寄存单元344中，从而动态画面获取单元145依次获取在动态画面 存储部分200中存储的其它动态画面文件，以依次搜索寄存的动态画 面与其它动态画面之间的重合点。或者，重合点搜索部分340可以获 取动态画面存储部分200中存储的动态画面文件，以自动和依次地搜 索关于动态画面存储部分200中存储的动态画面文件的重合点。要注 意，参照图31详细描述搜索对象的重合点。
图29是视图，示意地表示本发明实施例中在动态画面存储部分 200和相对关系信息存储部分220中记录的文件。在本例子中，示意 地表明在动态画面存储部分200中存储的动态画面文件201至204和 相对关系信息存储部分220中以与动态画面文件201至204相关联地 存储的相对关系元数据文件221至223。在本例子中，描述如下例子 形成动态画面文件(#1)201的帧"5"1361和"8"1362、形成动态画面文 件(#2)202的帧"7，，1363和"9"1364、及形成动态画面文件(#3)203的帧 "3"1365和"10"1366与相对关系信息存储部分220中存储的相对关系元数据文件221至223相关联地被存储。要注意，动态画面存储部分 200中存储的动态画面文件的描述这里被省略，因为它们与图4所示 的动态画面文件相同。
相对关系元数据文件221至223中，彼此关联地存储动态画面ID 224、帧号225及仿射变换参数226。
动态画面ID 224是应用于与各自包括至少三个重合点的两个图 1象相对应的两个动态画面文件的动态画面ID，例如，在相对关系元数 据文件221中，存储应用于动态画面文件201的#1和应用于动态画面 文件202的#2。
帧号225是与包括至少三个重合点的两个图像相对应的两个帧的 序列号，例如，在相对关系元数据文件221中，设置形成动态画面文 件201的动态画面的帧的帧号"5，，和形成动态画面文件202的动态画面 的帧的帧号"7"。
仿射变换参数226指示为与动态画面ID 224和帧号225相对应的 至少两个图像计算的仿射变换参数，例如，在相对关系元数据文件221 中，设置"ao、 bo、 co、 do、 eo、 fo"，作为与形成动态画面文件201 的动态画面的帧"5"和形成动态画面文件202的动态画面的帧"7"相 对应的仿射变换参数。要注意，在本发明的实施例中，仿射变换参数 226指示如下情况的仿射变换参数其中，与对应动态画面ID 224和 帧号225之间的在图29所示下部的帧号相对应的图像被确定为基准图 像，并且上部的另一个帧号被确定为对象图像。例如，相对关系元数 据文件221中设置的仿射变换参数226指示用于帧"7"1363的仿射变 换参数，其形成帧"5，，1361的动态画面文件(#2)202的动态画面，其形 成动态画面文件(#1)201的动态画面。
图30是视图，示意地表明仿射变换参数计算方法，该方法通过选 择图像中包括的重合点来计算关于两个图像的仿射变换参数，并且基 于选中重合点来合成两个图像。图30(a)表示图像370，是基准图像的 例子，形成用作基准的一个动态画面；并且图30(b)表示图像376，是 比较对象图像的例子，其形成用作比较对象的另 一个动态画面。图30(a)和(b)所示图像370和376是表明如下状态的图像其中，在显示部分 250的再现期间停止包括图〗象370和376之一的两个动态画面。在本 例子中，示意地表明如下选择方法其中，在显示部分250停止动态 画面的状态下，动态画面停止时在显示图像上的重合点被手工指定。 图30(c)表明当在图像370和376上选择的重合点被用于计算仿射变换 参数时使用的光流检测的例子。同时，图30(d)表明基于在图像370 和376上选择的重合点合成图像370和376的例子。
假定图30(a)和(b)所示图像370和376包括同一对象的房屋371。 这里，关于包括图^象370的动态画面和包括图^f象376的动态画面的相 对关系元数据文件要通过用户的手工操作被生成时，用户通过手工操 作再现两个动态画面，从而包括同一对象的图像被显示在显示部分 250。例如，包括是同一对象的房屋371的图^象370和376^^显示在显 示部分250。这个例子中，图像370和376的两个图像可以显示在显 示部分250的同一屏幕，或者一个图像可以依次显示。
例如，在图30(a)所示图像370被显示在显示部分250的状态下， 用户对操作接受部分165执行操作输入，以使用光标375指定房屋371 的屋顶的上部部分372和房屋371下侧的角部部分373和374。光标 375例如响应来自十字按钮162的操作输入可以;故移动，或者响应来 自某种其它操作部件的操作输入可以被移动。例如，通过在光标375 叠加在待指定部分的状态下执行指定操作，可指定希望的部分。以此 方式执行指定操作时，例如，如图30(a)看到的那样，圆形标记可以应 用于对其执行指定操作的部分，从而用户可识别该部分。还在图30(b)
所示图像376上，类似地指定房屋371的屋顶的上部部分377和房屋 371下侧的角部部分378和379。当指定操作由用户执行时，重合点选 择部分260将指定位置选作图像上的重合点，并且将重合点的选中位 置和这一指定顺序与图像一起输出到相对关系信息计算部分270。
如图30(a)和(b)所示，三个重合点在两个图像370和376被分别 选择时，相对关系信息计算部分270基于重合点计算向量，并且使用 计算的向量计算仿射变换参数。每一个向量被计算，例如，作为基于指定重合点的顺序在两个图像上选择的对应重合点的組合。例如，如
果指定操作按图像370的房屋371的屋顶的上部部分372和房屋371 的下侧的角部部分373和374的顺序被执行，并且然后指定操作按图 像376的房屋371的屋顶的上部部分377和房屋371的下侧的角部部 分378和379的顺序被执行，那么相对于图像370的上部部分372和 图像376的上部部分377计算向量，并且相对于图像370的角部部分 373和图像376的角部部分378计算向量，然后相对于图像370的角 部部分374和图像376的角部部分379计算向量。以此方式，基于在 图像370和376上选择的重合点计算的向量由图30(c)的箭头标记381 至383指示。要注意，图30(c)所示图像380上，图30(a)所示图像370 包括的线由虚线指示，并且图30(b)所示图像376包括的线由实线指 示。以此方式计算的向量用于计算仿射变换参数。仿射变换参数的计 算方法类似于图6和7表明的计算方法。要注意，在本发明的实施例 中，描述如下例子与使用重合点计算的仿射变换参数的矩阵的逆矩 阵相对应的仿射变换参数被用作相对关系参数。换句话说，被用作相 对关系元数据的仿射变换参数被定义为，不是对应于重合点被确定的 两个图像之间的向量代表的仿射变换矩阵、而是对应于代表两个图像 之一被确定为基准图像且另 一 图像向其位置移动的仿射矩阵的仿射变
'要注意，相对关系信息计算部分270可以计算仿射变换参数而不 使用所述指定顺序。例如，关于被选作图像上的重合点的三个点的每 一种组合来计算向量。三个重合点在两个图像上被独立选择时，作为 图像的重合点的组合，可得到六种组合。然后，对六种组合计算的向 量被用于计算六种仿射变换参数。然后，将两个图像之一确定为基准 图像而将另一图像确定为比较对象图像，六种计算的仿射变换参数被 用于依次仿射变换比较对象图像。因此，产生一个基准图像和六个仿 射变换的比较对象图像。然后，将顶点位于基准图像的三个重合点的 三角形内存在的像素和顶点在仿射变换后的比较对象图像的三个重合 点的三角形内存在的像素彼此相比较，以依次计算在三角形内存在的像素之间的亮度值的差值。因此，计算与六种仿射变换参数相对应的 六种差值的平方值的全部值。然后，从如此计算的六种差值中选择呈 现最低差值的仿射变换参数，并且将选中的仿射变换参数确定为关于 已经执行重合点指定操作的这两个图像的仿射变换参数。
此外，例如，基于图像370和376上选择的重合点计算的仿射变 换参数被用于仿射变换并重写图像370到图像376上时，产生在图30(d) 所示图像384。以种方式使用计算的仿射变换参数合成图像370和376， 产生合成图像，其中在比该图像的背景更宽的范围上包括房屋371周 围的背景。
图31是视图，示意地表示仿射变换参数计算方法，通过选择在图 像中包括的重合点来计算关于两个图像的仿射变换参数。这里，描述 如下例子其中图像中包括的重合点由图27和28所示的重合点搜索 部分340搜索，并且搜索出的重合点被用于计算关于两个图像的仿射 变换参数。要注意，除重合点搜索部分340搜索出的每一个特征点被 圆形标记指示之外，图31(a)至(c)所示图像370、 376及380与图30(a) 至(c)所示图像370、 376及380相同。如上述那样，重合点搜索部分 340计算在形成动态画面的各个帧之间的部分重合程度，并且基于这 样计算的重合程度自动地将多个图像彼此相关联。在执行对两个动态 画面之间的重合点的搜索时，例如，将特;f正点801至810和377至379 提取为图像370的特征点，并且将特征点811至823和377至379提 取为图像376的特征点。然后，从提取的特征点中，选择图像的类似 特征点的组合。例如，在图像370和376上，选择特征点805至810 与372至374和特征点818至823与377至379。在图31(a)和(b),匹 配特征点由粗圆形标记指示。以此方式选择的特征点中，搜索出用于 仿射变换参数的计算的三个特征点作为重合点。例如，在图像370和 376上，搜索出特征点372至374和特征点377至379作为重合点。 对于重合点的搜索，选择例如在相似程度方面呈现最高分数的特征点 的组合。然后，基于搜索出的特征点来计算向量，并且基于向量来计 算仿射变换参数。要注意，仿射变换参数的计算由与图30表明的计算方法相类似的方法执行。
图32是视图，示意地表明合成两个动态画面的情况下的合成例 子。这个例子中，描述合成形成动态画面500的图^象501至514和形 成动态画面520的图像521至527的情形。此外，假定应用斜线所指 示的图^f象508和524是与关于动态画面500和520的相对关系元数据 中包括的帧号相对应的图像。
在图32(a),表明如下情形形成动态画面500的图4象501至514 使用与各帧相关联地存储的仿射变换参数被依次仿射变换，并且在图
像存储器180被合成。例如，与顶部帧相对应的图像501被首先存储 到图像存储器180中。然后，图像502至514参考图像501被依次仿 射变换，并且被合成在图像存储器180中。通过仿射变换的当前图像 流由箭头标记515指示。换句话说，图<象501至514沿箭头标记515 被依次合成。
在图32(b),表明如下情形形成动态画面520的图像521至527 使用与各个帧相关联地存储的仿射变换参数被依次仿射变换，并且在
图像存储器180被合成。同时，在图32(c),表示在如下情况下图像 508和图像524的相对关系位置其中图像524参考图像501使用关 于动态画面500和520的相对关系元数据中包括的仿射变换参数被仿 射变换。这里，图32(b)所示的合成图像表示参考图32(c)所示图像508 和图像524的相对关系位置由图像521至527合成的图像。这个例子 中通过仿射变换的当前图像流由箭头标记528指示。具体地，图像521 至527沿箭头标记528被依次合成。描述如下情况的合成例子其中 图32(a)所示的合成图像和图32(b)所示的合成图像，参考在图32(c) 所示图像508和图像524的相对关系位置被合成。注意，在图32(d) 所示的例子中，表明如下例子其中图<象508和524#>同时再现，并 且同时再现的图像通过在动态画面500上重写动态画面520而被合成。 这里，描述关于各个动态画面的存储位置的具体计算方法。首先， 确定形成多个动态画面之一的至少一个动态画面的位置。例如，确定 与形成动态画面500的顶部帧相对应的图1象501的位置。如此确定的位置可以由用户通过操作接受部分165指定，或者可以使用上文描述 的计算而计算的位置确定。然后，计算形成其它动态画面的图像的至 少一个的存储位置。例如，与图像501至514相对应的各个帧相关联 的仿射变换参数的矩阵由Al至A14表示。同时，与图像521至527 相对应的帧相关联的仿射变换参数的矩阵由Bl至B7表示。此外，与 动态画面500和520相关联地存储的相对关系元数据的仿射变换参数 的矩阵由C1表示。这里，基准图像是图像501。图像存储器180上的 图像501的存储位置被确定为基准时，图像508的存储位置通过Al 至A8的相乘被计算。换句话说，图像508的存储位置使用Alx…xA8 被计算。同时，图像存储器180上的图像501的存储位置被确定为基 准时，图像524的存储位置通过A1至A8和C1的相乘被计算。换句 话说，图像524的存储位置使用Alx…xA8xCl被计算。这里，例如， 与动态画面520相对应的顶部帧的图像521的存储位置要被计算时， 可通过A1至A8和C1、及B1至B4的逆矩阵的相乘被计算。换句话 说，图像521的存储位置可使用"Alx…xA8xClxInv(Blx…xB4)"被计 算。形成动态画面520的任何其它图像的存储位置可使用Al至A8和 Cl、以及B1至B4或B5至B7的逆矩阵被计算。
另一方面，形成除包括基准图像的动态画面之外的动态画面的图 像要被仿射变换时，使用与顶部帧相对应的图像的存储位置的计算所 使用的矩阵和与该图像相关联的仿射变换参数而执行。例如，在动态 画面 520 的图像 522 要被仿射变换时，使用 "Alx…xA8xClxInv(B3xB4)"的矩阵，^吏用与图《象522相对应的矩阵 B2来变换。还在例如动态画面520的图〗象523要,皮仿射变换时，类似 地使用"Alx…xA8xClxInv(B4)"的矩阵来变换。动态画面520的每 个图像被类似地变换。
以此方式，在多个动态画面要被合成和再现时，在确定在图像存 储器180上的动态画面之一的基准图像的位置和尺寸之后，使用与动 态画面各自相关联的元数据文件和与各个动态画面相关联的相对关系 元数据文件可计算每个图像的位置和尺寸。因此，在多个动态画面要被合成和再现时，有可能从任何位置再现动态画面。例如，如下例子
表明在图32(d)中图像存储器180上合成形成动态画面500的图像 501至504之后，形成动态画面520的图^f象521被合成。具体地，同 时合成图像505和521 ，并且然后同时合成图像506和522。也在此后， 类似地执行合成。要注意，尽管这个例子表明同时再现的图像通过将 动态画面520重写在动态画面500上纟皮合成，；故重写的动态画面可以 通过操作接受部分165被指定。此外，基于基准动态画面的当前图像 来确定显示区域。
图33是视图，示意地表明合成两个动态画面的合成例子。在图 33(a)，表明形成运动画面530的图4象531至537的转变，并且在图 33(b)，表明形成另一个运动画面540的图4象541至547的转变，而图 33(c)表明是运动画面530和540被合成的合成图像的图像551至557 的转变。注意，假定动态画面530和540是在时刻tl至时刻t7记录 的动态画面。此外，假定在时刻t3的图像533和543是与图30所示 图像370和376相对应的图像，并且关于图像533和543已执行图30 所示的重合点的选择操作。此外，假定使用选择操作计算的相对关系 元数据来合成动态画面530和540。
图34是视图，表明如下情况的显示例子其中在显示部分250 上显示图33所示的合成图像。图像561至567是代表动态画面530 和540合成的合成图像的转变的图像，并且实线指示当前图像，虛线 指示该当前图像之前的每个图像的区域。如图34看到的那样，图30 所示的房屋371周围的背景从房屋371以扩展形式显示。大体相同位 置拾取的动态画面530和540以此方式,皮同时再现时，通过合成动态 画面530和540,可在观看背景等的同时，再现和欣赏这两个动态画 面，这通常在普通动态画面上不能观察。此外，通过合成动态画面530 和540，可容易地掌握动态画面530和540的图像拾取位置的相对关 系。尽管这个例子表明，对于同时拾取的图^f象，形成动态画面540的 图像通过重写形成动态画面530的图像而合成的例子，响应于来自操 作接受部分165的操作输入可以选择应该重写哪一个图像。此外，尽管已经描述了按照时间合成相同图像拾取时间的图像的例子，但也可
类似地应用于如下情形从对应于来自操作接受部分165的操作输入 的位置，依次合成不同时刻的图像。
尽管在以上描述中，描述如下例子两个动态画面被再现，同时 使用相对关系元数据文件被合成，在所述相对关系元数据文件中存储 关于两个动态画面的仿射变换参数，但有可能将关于三个或更多个动 态画面的仿射变换参数存储在一个相对关系元数据文件中，并且使用 仿射变换参数在合成三个或更多个动态画面的同时再现它们。下面， 参照附图详细描述三个或更多个动态画面被再现同时被合成的例子。
图35是视图，示意地表示在本发明实施例中在动态画面存储部分 200和相对关系信息存储部分220中记录的文件。这个例子中，图35 是视图，示意地表示在动态画面存储部分200中存储的动态画面文件 (#12)651至(#14)653和在相对关系信息存储部分220中与动态画面文 件(#12)651至(#14)653相关联地存储的相对关系元数据文件660。在 这个例子中，描述关于三个动态画面文件(#12)651至(#14)653的仿射 变换参数被存储在一个相对关系元数据文件660中的例子。注意，在 动态画面存储部分200中存储的动态画面文件的构造的描述这里,皮省 略，因为其构造与图4和29等所示的动态画面文件的构造相类似。此 外，在相对关系信息存储部分220中存储的相对关系元数据文件的构 造的描述这里被省略，因为除了关于三个或更多个动态画面的仿射变 换参数被存储在一个相对关系元数据文件中之外，其构造与29所示的 相对关系元数据文件的构造相类似。
在相对关系元数据文件660中，以彼此关联关系存储动态画面ID 224、帧号225及仿射变换参数226。此外，关于形成动态画面文件 (#12)651至(#14)653的各个图像中的每两个图像的相对关系的仿射变 换参数被存储在相对关系元数据文件630中。具体地，在形成动态画 面文件(#12)651的帧"2"654被确定为基准的情况下，用于计算形成动 态画面文件(#13)652的帧"5"656的位置的仿射变才灸参数"at、 M、 ct、 dt、 et、 ft"，和在形成动态画面文件(#12)651的帧"9，，655被确定为基准的情况下，用于计算形成动态画面文件(#14)653的帧"6，，657的位置 的仿射变换参数"au、 bu、 cu、 du、 eu、 fu"被存储在相对关系元数 据文件630中。因此，在三个动态画面在被合成的同时被再现时，考 虑三个动态画面的相对关系来再现动态画面。
图36是视图，表示选择被包括在关于三个动态画面的图像中的重 合点。要注意，图36(a)和(b)所示图像370和376与图30(a)和(b)所示 图^象370和376相同，并且假定选择重合点1372至1374和1377至 1379。此外，假定图36(b)所示图像376中，作为除了重合点1372至 1374之外的重合点，选择房屋371右侧布置的多用电杆的上部部分671 至673。假定在图36(c)所示图像674中，选择多用电杆的上部部分675 至677。要注意，图36(a)至(c)所示图像的重合点的选择和仿射变换参 数的计算的描述这里被省略，因为它们与图30表明的方法的描述相类 似。
图37是视图，表示如下情况下的例子基于在关于三个动态画面 的图像上选择的重合点，合成三个图像。图37表示使用基于图36(a) 至(c)所示图像370、 376及674上选择的重合点计算的仿射变换参数 通过图像370、 376及674的仿射变换合成的合成图像680。通过以此 方式使用计算的仿射变换参数合成三个动态画面，产生合成图像680， 其中房屋371周围的背景被包括在比每个图像的背景范围更大的范围 上。
图38是视图，示意地表明合成三个动态画面的合成例子。在这个 例子中，描述形成动态画面500的图〗象501至514、形成另一个动态 画面520的图^f象521至527、及形成另一个动态画面6卯的图^象691 至697纟皮合成的情形。注意，形成动态画面500的图^f象501至514和 形成动态画面520的图像521至527的描述这里被省略，因为它们与 图32所示的那些相同。此外，假定其内使用斜线指示的图像508和 524是与关于动态画面500和520的相对关系元数据中包括的帧号相 对应的图像，类似地，其内使用斜线指示的图像510和694是与关于 动态画面500和6卯的相对关系元数据中包括的帧号相对应的图# 。除了其内使用斜线指示的图像510之外，图38(a)所示的动态画面500 与图32所示的动态画面500相类似。
图38(b)表明形成动态画面690的图像691至697使用以与各个帧 相关联地存储的仿射变换参数被依次仿射变换并且然后在图像存储器 180被合成的情形。这里，图38(b)所示的合成图像是参考图像510和 图像694的相对关系位置合成图像691至697的情况下的合成图像。 这个例子中仿射变换的当前图像流由箭头标记698指示。换句话说， 沿箭头标记698依次合成图像691至697。在图38(a)所示的合成图像、 在图38(b)所示的合成图像、及在图32(b)所示的合成图像，参考图像 510和图像694的相对关系位置以此方式被合成的情况下的合成例子， 显示在图38(c)。要注意，在图38(c)所示的例子中，表明图像508和 524被同时再现并且图像510和694被同时再现的例子，并且表明同 时再现的图傳^皮合成从而动态画面52(M皮重写在动态画面500上和动 态画面690 ,皮重写在动态画面500上的例子。要注意，关于动态画面 的具体存储位置的计算方法，可使用与图32表明的计算方法相类似的 计算方法。要注意，即使关于形成再现对象的多个动态画面的相对关 系元数据不存在的情况下，也有可能使用其它动态画面的相对关系元 数据将再现对象的多个动态画面合成和再现。例如，在图38(c)所示的 动态画面500、动态画面520和动态画面690中的动态画面520和动 态画面690要被合成时，动态画面500和520的相对关系元数据和动 态画面500和6卯的相对关系元数据可被用于计算任何其它动态画面 的位置，其中动态画面520和动态画面690之一,皮确定为基准动态画 面。例如，动态画面520,皮确定为基准动态画面时，Z使用图^f象508和 图像524的相对关系位置，可计算形成动态画面500的图像508的位 置。此外，基于图像508可计算图像510的位置。然后，使用图像510 和图像694的相对关系位置，可计算在图像510被确定为基准的情况 下形成动态画面690的图像的位置。以此方式，不具有共同的相对关 系元数据的动态画面520和动态画面6卯也可通过动态画面500 #皮合 成和再现。这也可类似地应用于多个动态画面通过两个或更多个动态画面,皮合成和再现的情形。
图39是视图，表明在如下情况的例子合成静止画面和多个动态 画面。图39(a)是表明作为静止画面的图像701至718被存储在图像存 储器180中的情形，并且图39(b)是表明动态画面500、 520及690 通过重写图像存储器180中存储的图像701至718而被合成的情形。 在图中，图像701至718的框线由粗线指示。如图所示，静止画面可 与多个动态画面一起合成。这个例子中，关于静止画面与形成动态画 面的至少 一个图像之间的相对关系的仿射变换参数被存储为相对关系 元数据文件，并且这个相对关系元数据文件被用于执行合成。此外， 静止画面可以在形成动态画面的图像之间;故合成，或者静止画面可以 合成在动态画面上。
此外，根据本发明实施例的图像拾取设备101可以连接到诸如互 联网的网络，从而动态画面可以与通过网络接收的图像或动态画面相 组合地再现。例如，图像拾取设备101可通过互联网接收预定公园的 风景图像，并且再现动态画面，其中小孩的图像被拾取，同时将该图 像合成在背景图像上，背景图像是所接收的公园的风景图像。这样， 可提供小孩在公园中运动的人造再现图像。
现在，参照附图描述在本发明实施例中特征点提取处理和光流计 算处理由多核处理器执行的情形。
图40是视图，表示在本发明实施例中多核处理器800的构造例子。 多核处理器800是不同类型的多个处理器核被合并在一个CPU(中央 处理单元)封装中的处理器。具体地，多核处理器800包括两种不同类 型的多个处理器核，包括与所有应用(用途)相对应的一种类型的核、 和优化到一定程度以用于预定用途的另一种类型的核，以保持每个处 理器核件的处理性能并实现简单构造。
多核处理器800包括控制处理器核801、数学运算处理器核(#1)811 至(#8)818、及总线802，并且连接到主存储器781。此外，多核处理 器800连接到其它装置，像例如连接到图形装置782和I/O装置783 上。至于多核处理器800，例如，可采纳是本发明受让人已开发的微处理器的"Cell(cell: Cell Broadband Engine)".
控制处理器核801是主要执行操作系统等的频繁线程转换的控制 处理器核。要注意，参照图41详细描述控制处理器核801。
数学运算处理器核(#1)811至(#8)818是善于多媒体类型处理的简 单且小尺寸的数学运算处理器核。要注意，参照图42详细描述数学运 算处理器核(#1)811至(#8)818。
总线802是叫做EIB(Element Interconnect Bus(元件互连总线)) 的高速总线，并且控制处理器核801和数学运算处理器核(#1)811至 (#8)818由总线802彼此连接，从而每个处理器核的数据访问通过总线 802执行。
主存储器781连接到总线802，并且是存储待加载到处理器核中 的各种程序和处理器核的处理必需的数据并且存储处理器核处理后的 数据的主存储器。
图形装置782是连接到总线802的图形装置，并且I/O装置783 是连接到总线802的外部输入/输出装置。
图41是视图，表示在本发明实施例中控制处理器核801的构造例 子。控制处理器核801包括控制处理器单元803和控制处理器存储系 统806。
控制处理器单元803是用于执行控制处理器核801的数学运算处 理的核的单元，并且包括基于微处理器体系结构的指令集，指令高速 緩冲存储器804和数据高速緩冲存储器805作为第一高速緩冲存储器 被合并入控制处理器单元803。指令高速緩冲存储器804是例如32 KB 的指令高速緩冲存储器，并且数据高速緩冲存储器805是例如32 KB 的数据高速緩沖存储器。
控制处理器存储系统806是用于控制从控制处理器单元803到主 存储器781的数据访问的单元，并且512 KB的第二高速緩冲存储器 807被并入控制处理器存储系统806,以便加速来自控制处理器单元 803的存储器访问。
图42是视图，表示本发明实施例中数学运算处理器核(#1)811的构造例子。数学运算处理器核(#1)811包括数学运算处理器单元820和 存储器流程控制器822。要注意，数学运算处理器核(#2)812至(#8)818 的描述这里被省略，因为它们具有与数学运算处理器核(#1)811的构造 相类似的构造。
数学运算处理器单元820是用作执行数学运算处理器核(#1)811的 数学运算的核的单元，并且包括与控制处理器核801的控制处理器单 元803的指令集不同的独特指令集。此外，本地存储器(LS: Local Store)821被并入数学运算处理器单元820。
本地存储器821是专用于数学运算处理器单元820的存储器，并 且是可从数学运算处理器单元820直接查阅的唯——个存储器。至于 本地存储器821，例如，可使用具有例如256 K字节容量的存储器。 要注意，为了使数学运算处理器单元820访问主存储器781上的本地 存储器或其它数学运算处理器核(数学运算处理器核(#2)812至 (#8)818)，必须利用存储器流程控制器822。
存储器流程控制器822是用于将数据传输进/出主存储器781、其 它数学运算处理器核等的单元，是叫做MFC(Memory Flow Controller(存储器流程控制器))的单元。这里，数学运算处理器单元 820通过称为通道的接口将对数据传输等的请求发出到存储器流程控 制器822。
至于上述的多核处理器800的编程模型，已经提出各种编程模型。 作为在编程模型中的最基本模型，已知主程序在控制处理器核801上 执行并且子程序在数学运算处理器核(#1)811至(#8)818上执行的模型。 在本发明的实施例中，参照附图详细描述使用这种模型的多核处理器 800的数学运算方法。
图43是视图，示意地表明在本发明实施例中多核处理器800的数 学运算方法。这个例子中，作为例子描述如下情形在控制处理器核 801使用数据785执行任务784时，使用对于任务786的处理必需的 数据787(数据785的部分)，任务786是任务784的一部分。
如图所示，控制处理器核801使用数据785执行任务784时，使数学运算处理器核使用对于作为任务784的一部分的任务786的处理 必需的数据787(数据785的一部分)执行任务786。在本发明的实施例 中，对于形成动态画面的每一帧，由每个数学运算处理器核执行数学 运算处理。
多核处理器800如图表明那样以此方式执行数学运算时，在较短 时间中并行利用数学运算处理器核(#1)811至(#8)818可执行大量数学 运算，并且利用在数学运算处理器核(#1)811至(#8)818上的 SMID(Singl Instruction/Multiple Data:单指令/多数据)数学运算，使用 进一步减小数量的指令，可执行更大数量的数学运算。要注意，参照 图47至50等详细描述SMID数学运算。
图44是视图，示意地表明在在本发明实施例的多核处理器800 执行数学运算的情况下的程序和数据流。这里，尽管将来自数学运算 处理器核(#1)811至(#8)818中的数学运算处理器核(#1)811当作例子给 出描述，但以上描述的数学运算也可类似地由数学运算处理器核 (#2)812至(#8)818执行。
首先，控制处理器核801向数学运算处理器核(#1)811发送指令， 将在主存储器781中存储的数学运算处理器核程序823加载到数学运 算处理器核(#1)811的本地存储器821。因此，数学运算处理器核(#1)811 将在主存储器781中存储的数学运算处理器核程序823加载到本地存 储器821。
然后，控制处理器核801向数学运算处理器核(#1)811发出指令， 执行在本地存储器821存储的数学运算处理器核程序825。
此后，数学运算处理器核(#1)811将对于本地存储器821存储的数 学运算处理器核程序825的执行过程必需的数据824从主存储器781 传输到本地存储器821。
然后，数学运算处理器核(#1)811基于在本地存储器821存储的数 学运算处理器核程序825来处理从主存储器781传输的数据826，按 照条件执行处理，及将处理结果存储到本地存储器821中。
然后，数学运算处理器核(#1)811将基于本地存储器821存储的数学运算处理器核程序825执行的处理结果从本地存储器821传输到主 存储器781。
此后，数学运算处理器核(#1)811向控制处理器核801发出数学运 算处理结束的通知。
现在，参照附图详细描述使用多核处理器800执行的SIMD数学 运算。这里，SIMD数学运算是用于多个数据的处理由一条指令执行 的数学运算方法。
图45(a)是视图，示意地表明数学运算方法的概要，其中用于多个 数据的指令通过对每一个数据的运算被执行。在图45(a)表明的数学运 算方法是普通数学运算方法，并且叫做例如标量数学运算。例如，数 据"C1"的处理结果由将数据"A1"加到数据"B1"的指令确定。对于其 它三种数学运算，对每个处理类似地执行在同一行中将数据"A2"、 "A3"及"A4"加到数据"B2"、 "B3"及"B4，，的指令，并且通过这个指令， 各个行中的值受到加法处理，处理结果被确定为数据"C2"、 "C3"及 "C4"。以此方式，在标量数学运算中，对于多个数据的处理，必须对 于它们的每一个执行指令。
图45(b)是视图，示意地表明SIMD数学运算的概要，SIMD数学 运算是多个数据的处理由单条指令执行的数学运算方法。这里，用于 SIMD数学运算的数据(虛线827和828的每一条包围的数据)有时叫做 向量数据。此外，使用这样的向量数据执行的SIMD数学运算有时叫 做向量数学运算。
例如，通过将虛线827围绕的向量数据"A1"、 "A2"、 "A3"及"A4" 加到虚线828围绕的向量数据"B1"、 "B2"、 "B3"及"B4"的一条指令， 确定"C1，，、"C2"、"C3"及"C4"(另一虛线829围绕的数据)的处理结果。 由于在SIMD数学运算中，对多个数据的处理能以此方式由单条指令 执行，所以可迅速地执行数学运算处理。此外，关于SIMD数学运算 的指令由多核处理器800的控制处理器核801发出，并且根据该指令 的多个数据的数学运算处理由数学运算处理器核(#1)811至(#8)818并 行执行。另一方面，例如，将"A1"和"B1"相加、将数据"A2"和"B2"相减、 将数据"A3"和"B3"相乘、及将数据"A4，，和"B4"相除的处理不能由 SIMD数学运算执行。换句话说，对多个数据要分别执行不同处理时， 不能执行通过SIMD数学运算的处理。
现在，参照附图详细描述在如下情况的SIMD数学运算的具体数 学运算方法其中执行特征点提取处理和光流计算处理。
图46是视图，表示本发明实施例中控制处理器核801或数学运算 处理器核(#1)811执行的程序的构造例子。尽管这里表明仅通过数学运 算处理器核(#1)811的处理，但类似处理也由数学运算处理器核(#2)812 至(#8)818执行。
控制处理器核801关于解码851执行解码852、交织853及调整 大小854。解码852是解码动态画面文件的过程。交织853是去交织 解码帧的过程。调整大小854是减小去交织帧的过程。
此外，控制处理器核801，关于数学运算处理器核管理856，执行 指令传输857和859和结束通知接受858和860。指令传输857和859 是将SIMD数学运算的执行指令传输到数学运算处理器核(#1)811至 (#8)818的处理，并且结束通知接受858和860是从响应上述指令的数 学运算处理器核(#1)811至(#8)818接收SIMD数学运算的结束通知的 处理。此外，控制处理器核801，关于摄影机工作检测861,执行摄影 机工作参数计算处理862。摄影机工作参数计算处理862是对每个帧 基于数学运算处理器核(#1)811至(#8)818通过SIMD数学运算计算的 光流来计算仿射变换参数的处理。
数学运算处理器核(#1)811，关于特征点提取处理863，执行Sobel 滤波器(Sobel Filter)处理864、 二次矩矩阵(Second Moment Matrix)计 算处理865、可分离滤波器(Separable Filter)处理866、 Harris角部提 取(Calc Harris)处理867、膨胀(Dilation)处理868及重新排序(Sort)处 理869。
Sobel滤波器处理864是用于计算使用P2(x方向)的滤波器得到的 在x方向的值dx和使用在Y方向的滤波器得到的在y方向的值dy的处理。要注意，参照图47至50详细描述在x方向的值dx的计算。
二次矩矩阵计算处理865是使用Sobel滤波器处理864计算的dx 和dy计算dx2、 dy2及dx"y的值的处理。
可分离滤波器处理866是将Gaussian滤波器(浓淡处理)应用于二 次矩矩阵计算处理865计算的dx2、 dyZ及dx,dy的图像的处理。
Harris角部提取处理867是使用dx2、 dy2及dx參dy的值计算Harris 角部的分数的处理，对于这些dx2、 dyZ及dx.dy的值由可分离滤波器 处理866已经执行浓淡(shading)处理。例如按照如下表达式计算 Harris角部的分数S:
S=(dx2xdy2-dx*dyxdx dy)/(dx2+dy2+s)
膨胀处理868是对于使用Harris角部提取处理867计算的Harris 角部的分数构造的图像执行浓淡处理的处理。
重新排列处理869是按Harris角部提取处理867计算的Harris 角部的下降顺序排列像素、拾取预定数量的具有较高分数的像素、及 提取所拾取的点作为特征点的处理。
数学运算处理器核(#1)811,关于光流(Optical Flow)数学运算处理 870，执行多分辨率图像产生(Make Pyramid Image)处理871和光流计 算(Calc Optical Flow)处理872。多分辨率图像产生处理871是在图像 拾取设备图像拾取时依次产生从画面尺寸减小到预定数量级别的图像 的处理，产生的图像叫做多分辨率图像。
光流计算处理872是关于多分辨率图像产生处理871产生的多分 辨率图像中的最小图像计算光流、并且使用计算结果对于分辨率高一 级的图像再次计算光流的处理，并且处理序列被重复地执行，直到达 到最大图像。
以此方式，例如，关于图3等所示的特征点提取单元121执行的 特征点提取处理和光流计算单元122执行的光流计算处理，使用多核 处理器800通过SIMD数学运算通过并行处理可确定处理结果。要注 意，在图46等表明的特征点提取处理和光流计算处理是例子，对于形 成动态画面的图像，通过多核处理器800的SIMD数学运算可以使用从各种滤波器处理、阈值处理等构造的其它处理执行。
图47是视图，示意地表明如下情况的数据结构和处理流程其中 在本发明实施例中对于主存储器781存储的图像数据(与形成图像拾 取设备拾取的动态画面的一个帧相对应的图像数据)使用Sobel滤波器 830执行滤波。要注意，在图中主存储器781存储的图像数据以简化 形式表明，其中在水平方向的像素数量是32。而且Sobel滤波器830 是3x3边缘提取滤波器。如图所示，对于在主存储器781中存储的图 像数据执行使用Sobel滤波器830的滤波处理，并且输出滤波处理的 结果。这个例子中，描述使用SIMD数学运算一次得到四个滤波结果 的例子。
图48是视图，示意地表明在如下情况的数据流程在本发明实施 例中对于主存储器781存储的图像数据使用Sobel滤波器830执行 SIMD数学运算。首先，包括在主存储器781中存储的第一行图像数 据的预定数量的行(例如三行)被DMA(Direct Memory Access)传输到 在数学运算处理器核的本地存储器821中提供的第一緩冲器831,并 且从DMA传输到第一緩冲器831的各行向下偏移一行的预定数量的 行被DMA传输到第二緩冲器832。通过以此方式使用双緩冲器，可 掩盖DMA传输的延迟。
图49是^f见图，示意地表明在本发明实施例中的Sobel滤波器830 被用于执行滤波处理的情况，从第一緩冲器831中存储的图像数据产 生九个向量的向量产生方法。在如图48表明的那样执行DMA传输之 后，从第一緩沖器831中存储的图像数据产生九个向量。具体地，由 第一緩冲器831中存储的图像数据的一行中的左角的四个数据产生向 量数据841,并且从四个数据向右侧偏移一个的四个数据产生向量数 据842。类似地，从上述后四个数据向右侧偏移一个的四个数据产生 向量数据843。在第二行和第三行中，也类似地每次由四个数据产生 向量数据844至849。
图50是视图，示意地表明在使用本发明实施例的Sobel滤波器 830执行滤波处理的情况下，对向量数据841至849使用SIMD指令用于执行向量数学运算的向量数学运算方法。具体地，对于向量数据
841至843依次执行SIMD数学运算以确定向量A。这种SIMD数学 运算中，首先执行'"-l"x"向量数据841"，的SIMD数学运算。然后， 执行"'0"x"向量数据842"，的SIMD数学运算，并且然后执行"T，x"向 量数据843，"的SIMD数学运算。这里，"'0"x"向量数据842"，可省略， 因为判定数学运算的结果是"O"。此外，"T，x"向量数据843，，，可省略， 因为判定数学运算的结果具有与"向量数据843"的值相等的值。
然后，SIMD数学运算执行'"-l"x"向量数据841"，的数学运算结 果和'"0，，x"向量数据842"，的数学运算结果的叠加过程，并且然后 SIMD数学运算执行叠加过程结果和"'l"x"向量数据843，，，的数学运算 结果的叠加过程。这里，SIMD数学运算可执行例如"向量数据l，，x"向 量数据2"+"向量数据3"的数据结构的数学运算。因此，在向量A的 数学运算中，例如，"'0"x"向量数据842，"和"T，x"向量数据843"，的 SIMD数学运算可以省略，而'"-l，，x"向量数据841，，+"向量数据843"， 由SIMD数学运算的单次运算执行。
类似地，对于向量数据844至846依次执行SIMD数学运算以确 定向量B，并且对于向量数据847至849依次执行SIMD数学运算以 确定向量C。
然后，对于SIMD数学运算确定的向量A至C执行SIMD数学 运算以确定向量D。以此方式，通过进行SIMD数学运算， 一次可得 到与向量的分量数量相等的多个结果(这个例子中，四个数据)。
在计算向量D之后，从图48表明的第一緩冲器831中存储的图 像数据中提取数据的位置被向右侧依次偏移一个的同时，重复执行类 似处理，以依次执行向量D的计算。然后，如果直到图48所示的第 一緩冲器831中存储的图像数据的右端的处理结束，处理结果被DMA 传输到主存储器781。
然后，与从主存储器781存储的图像数据中被DMA传输到第二 緩冲器832的各行偏移一行的预定数量的行被DMA传输到第一緩冲 器831，并且对于第二緩冲器832存储的图像数据重复以上描述的处理。然后，重复类似处理，直到到达主存储器781中存储的图像数据 的各行之中的下端行。
类似地，通过SIMD数学运算执行大部分处理，可实现用于特征 点提取和光流计算的处理加速。
图51是视图，按时间序列示意地表明在本发明实施例中的摄影机 工作参数计算处理的流程。例如，通过使用上述多核处理器800进行 SIMD数学运算，可并行进行对动态画面的解码和分析处理。因此， 与解码时间相比，有可能减小对于形成动态画面的一个帧的分析时间。
例如，在图中，tl指示通过控制处理器核801对于形成动态画面 的一帧的解码处理需要的时间段，t2指示通过数学运算处理器核 (#1)811至(#8)818对于形成动态画面的一帧的特征点提取处理需要的 时间段，t3指示通过数学运算处理器核(#1)811至(#8)818对于形成动 态画面的一帧的光流计算处理需要的时间段，及t4指示通过控制处理 器核801对于形成动态画面的一帧的摄影机工作检测处理需要的时间 段。注意，t5指示通过控制处理器核801和数学运算处理器核(^1)811 至(#8)818对于形成动态画面的一帧的摄影机工作检测处理需要的时 间段。此外，t6指示通过控制处理器核801对于管理数学运算处理器 核(#1)811至(#8)818的处理所需要的时间段。例如，。tl可设置到"25.0 ms"， t2到"7.9 ms"， t3到"6.7 ms"， t4到"1.2 ms"，及t5到"15'8 ms"。
现在，参照附图详细描述使用本发明实施例中的数据文件的动态 画面内容被再现的情形。
图52(a)是俯视平面图，示意地表示作为记录介质例子的蓝光盘 (Blu-ray Disc(注册商标))880;并且图52(b)是视图，示意地表示在蓝 光盘880上记录的数据881至884。在蓝光盘880上，例如，与摄影 机等拾取的动态画面的动态画面内容882 —起，记录动态画面内容882 的子标题883和通过动态画面内容882的分析得到的元数据884(例如， 图4(b)表明的元数据文件和图29和35表明的相对关系元数据文件)、 用于本发明实施例的动态画面再现的Java(注册商标)程序881。
图52(c)是视图，示意地表示蓝光再现机(Blu-ray Disc Player) 890的内部构造，蓝光再现机890可再现蓝光盘880。这里，由于可再现 蓝光盘的蓝光再现机890与CPU 891和OS 892 —起包括Java(注册商 标)VM(Java(注册商标)虚拟才几)和库893作为标准功能，所以它可执4亍 Java(注册商标)程序。因此，如果蓝光盘880 4皮加载到蓝光再现才几890 中，那么蓝光再现才几890可加载和执行Java(注册商标)程序881。因 此，蓝光再现才几890再现动态画面内容882的情况下，元数据884可 用于进行本发明实施例的动态画面再现。换句话说，本发明实施例的 动态画面再现可在所有蓝光再现机上实现，而不使用专门用途的PC 软件等。
如上所述，在本发明的实施例中，在一个或多个动态画面要在图 像拾取设备上被再现时，由于与当前显示图像的以前帧相对应的图像 被显示、同时与当前图像合成，所以用户能与位于图像中心的对象一 起，以鸟瞰方式访问在时区的至少一部分内拾取的图像的背景等。具 体地，从与图像拾取时的画面尺寸相同的画面尺寸再现图像的初始状 态，通过拉远操作扩展图像时，由于整个当前图像变小并且与过去帧 相对应的图像显示在当前图像的周围，所以可实现空间拉远。因此， 能够以鸟瞰方式观看比拾取图像尺寸更大的范围上的图像。
此外，例如，用户想观看在时区的至少一部分内拾取的图像的背 景等时，即使不进行倒片操作、搜索操作等，如果进行拉远操作，那 么用户也可观看当前显示的图像、同时一起观看背景等。因此，当用 户访问图像拾取设备拾取的动态画面时，用户可容易地掌握动态画面 的内容。此外，例如，在同一对象被包括其中的多个动态画面要被再 现时，由于在包括该对象的位置，彼此重叠地显示多个动态画面，所 以用户可容易地掌握多个动态画面的相对关系。
具体地，多个动态画面可在空间展开，并且利用过去的帧而被欣 赏。因此，由于可提供一种欣赏方法以在再现多个动态画面时提供例 如完整的全景图像，所以访问人员能以较大兴趣欣赏动态画面。此外， 对于当前图像，因为在当前图像被存储到图像存储器180中之前的状 态下的图像可被依次显示，可显示较清晰的图像。此外，尽管在本发明实施例的描述中，描述了预先检测的仿射变 换参数被用于再现和显示的例子，但可以在再现时计算仿射变换参数， 从而计算的仿射变换参数被用于再现和显示。例如，使用多核处理器
由SIMD数学运算计算仿射变换参数，有可能在用于解码一帧的处理 时间内计算用于一帧的仿射变换参数。因此，即使在未计算仿射变换 参数的动态画面要被再现时，也有可能进行动态画面再现，同时计算 仿射变换参数，因此，可迅速地进行动态画面的空间展开的欣赏。
此外，在本发明实施例的描述中，描述了如下例子多个动态画 面文件纟皮存储到动态画面存储部分200中，并且与动态画面相对应的
210中作为元数据文件，除此之外，关于多个动态画面的相对关系信 息被存储到相对关系信息存储部分220中；动态画面、与动态画面相 对应的仿射变换参数、及关于动态画面的相对关系信息可以彼此关联 地存储到动态画面存储部分中作为动态画面文件，从而当再现时，从 动态画面文件提取该信息并使用。
此外，尽管在本发明的实施例中，已经描述了按从顶部帧向最后 帧的顺序进行合成和再现的例子，但按从最后帧向顶部帧的顺序进行 合成和再现时，也可类似地应用本发明。这个例子中，使用与帧相关 联的仿射变换参数的逆矩阵进行仿射变换。
此外，图像合成部分合成的合成图像可以记录在记录介质等，从 而它们可以用于其它再现和显示。此外，尽管在本发明的实施例中， 将动态画面当作例子给出描述，但例如，可类似地合成和显示静止画 面(诸如依次记录的拾取图像)。具体地，本发明的实施例可应用于图 像拾取设备，如个人计算机的动态画面再现应用程序、数字静态摄影 机、专业级录像机、可携带电话机，它们具有动态画面或静止画面的 再现功能以及在再现时改变显示放大率的功能。
此外，尽管在本发明实施例的描述中，将图像合成部分合成的图 像显示在显示部分的图像拾取设备当作例子给出描述，但本发明的实 施例可应用于包括图像输出装置的图像拾取设备，图像输出装置用于输出图像信息，以便允许图像合成部分合成的图像显示在另 一 图像显 示设备上。
要注意，本发明的实施例指示用于实现本发明的例子，并且与下 面所述权利要求书中规定主题的发明具有对应关系。然而，本发明不 限于此，而是可应用各种修改，而不脱离本发明的主题。
具体地，在权利要求1，图像拾取装置例如与图像拾取部分110 相对应。此外，变换信息计算装置例如与摄影机工作检测部分120相 对应。此外，图像存储装置例如与图像存储器180相对应。此外，图 像变换装置例如与图像变换部分150和151相对应。此外，图像合成 装置例如与图像合成部分170和171相对应。此外，操作接受装置例 如与操作接受部分160和165相对应。此外，控制装置例如与显示区 域提取部分190和显示控制部分240相对应。
此外，在权利要求7，图像拾取装置例如与图像拾取部分110相 对应。此外，变换信息计算装置例如与摄影机工作检测部分120相对 应。此外，图像存储装置例如与图像存储器180相对应。此外，图像 变换装置例如与图像变换部分150相对应。此外，图像合成装置例如 与图像合成部分170相对应。此外，操作接受装置例如与操作接受部 分160相对应。此外，控制装置例如与显示区域提取部分190和显示 控制部分240相对应。
此外，在权利要求8或9，变换信息计算步骤例如与步骤S903至 S913相对应。此外，使图像存储装置存储图像作为历史图像的步骤例 如与步骤S926相对应。此外，图像变换步骤例如与步骤S926相对应。 此外，操作接受步骤例如由操作接受部分160和165执行。此外，控 制步骤例如与步骤S927至S932相对应。
要注意，本发明实施例的说明中描述的处理过程可以作为具有以 上描述的步骤序列的方法被掌握，或者可以作为使计算机执行步骤序 列的程序、或在其上存储程序的记录介质被掌握。
权利要求
1.一种图像拾取设备，包括图像拾取装置，用于拾取图像拾取对象，以产生图像数据；变换信息计算装置，用于基于第一拾取图像和第二拾取图像，计算关于第一拾取图像和第二拾取图像的变换信息，该第一拾取图像是与所述图像数据相对应的图像，该第二拾取图像在时间轴上定位得比图像拾取所述图像数据时的第一拾取图像靠后；图像存储装置，用于将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像；图像变换装置，用于基于计算的变换信息来变换第二拾取图像；图像合成装置，用于合成变换的第二拾取图像与历史图像，以形成合成图像；操作接受装置，用于接受指定第二拾取图像的显示放大率的指定操作；及控制装置，用于基于指定的显示放大率确定在图像存储装置中存储的所述合成图像上的显示区域，并且使所述显示区域中包括的图像被依次显示。
2. 根据权利要求1所述的闺像拾取设备，其中，当指定缩小第二 拾取图像的显示放大率的指定操作由操作接受装置接受时，控制装置 确定所述显示区域，所述显示区域至少包括在图像存储装置中存储的 所述合成图像中的变换后的第二拾取图像、和在第二拾取图像周围的 那些图像。
3. 根据权利要求1所述的图像拾取设备，其中控制装置基于计算的变换信息和指定的显示放大率来确定所述显示区域，以及图像合成装置将由图像变换装置变换之前的第二拾取图像通过重 写与所述显示区域中包括的图像合成，以形成显示图像。
4. 根据权利要求3所述的图像拾取设备，其中控制装置基于计算的变换信息在与图像变换装置变换第二拾取图 像的方向相反的方向变换在所述显示区域中包括的图像，以及图像合成装置将图像变换装置变换之前的第二拾取图像通过重写 与变换之后的在所述显示区域中包括的图像合成，以形成显示图像。
5. 根据权利要求1所述的图像拾取设备，其中 图像拾取装置拾取图像拾取对象，以产生动态画面的图像数据，以及第一拾取图像和第二拾取图像是形成所述动态画面的拾取图像。
6. 根据权利要求1所述的图像拾取设备，其中 操作接受装置接受用于移动所述显示区域的移动操作，以及 控制装置基于接受的移动操作来移动在图像存储装置中存储的所述合成图像上的所述显示区域。
7. —种图像拾取设备，包括图像拾取装置，用于拾取图像拾取对象，以产生图像数据； 变换信息计算装置，用于基于第一拾取图像和第二拾取图像，计 算关于第一拾取图像和第二拾取图像的变换信息，该第一拾取图像是 与所述图像数据相对应的图像，该第二拾取图像在时间轴上定位得比 图像拾取所述图像数据时的第一拾取图像靠后；图像存储装置，用于将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像；图像变换装置，用于基于计算的变换信息来变换历史图像； 图像合成装置，用于合成第二拾取图像与变换后的历史图像，以形成合成图像；操作接受装置，用于接受指定第二拾取图像的显示放大率的指定 操作；及控制装置，用于基于指定的显示放大率确定在图像存储装置中存 储的所述合成图像上的显示区域，并且使所述显示区域中包括的图像 4皮依次显示。
8. —种用于图像拾取设备的控制方法，该图像拾取设备包括用于拾取图像拾取对象以产生图像数据的图像拾取装置，该控制方法包括 变换信息计算步骤，基于第一拾取图像和第二拾取图像，计算关于第 一拾取图像和第二拾取图像的变换信息，该第 一拾取图像是与所述图像数据相对应的图像，该第二拾取图像在时间轴上定位得比图像拾取所述图像数据时的第一拾取图像靠后；使图像存储装置将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像的步骤；图像变换步骤，基于计算的变换信息变换第二拾取图像； 图像合成步骤，合成变换后的第二拾取图像与历史图像，以形成合成图像；操作接受步骤，接受指定第二拾取图像的显示放大率的指定操作；及控制步骤，基于指定的显示放大率确定在图像存储装置中存储的 所述合成图像上的显示区域，并且使所述显示区域中包括的图像被依 次显示。
9.一种用于图像拾取设备的程序，该图像拾取设备包括用于拾取 图像拾取对象以产生图像数据的图像拾取装置，该程序使计算机执行变换信息计算步骤，基于第一拾取图像和第二拾取图像，计算关 于第一拾取图像和第二拾取图像的变换信息，该第一拾取图像是与所 述图像数据相对应的图像，该第二拾取图像在时间轴上定位得比图像 拾取所述图像数据时的第一拾取图像靠后；使图像存储装置将在时间轴上定位在第二拾取图像之前的那些图 像存储为历史图像的步骤；图像变换步骤，基于计算的变换信息变换第二拾取图像；图像合成步骤，合成变换后的第二拾取图像与历史图像，以形成 合成图像；操作接受步骤，接受指定第二拾取图像的显示放大率的指定操作；及控制步骤，基于指定的显示放大率确定在图像存储装置中存储的所述合成图像上的显示区域，并且使所述显示区域中包括的图像被依 次显示。
全文摘要
本发明涉及图像拾取设备及其控制方法和程序。当访问图像拾取设备拾取的拾取图像时，可容易地掌握拾取图像的内容。动态画面存储部分200存储图像拾取部分110产生的图像数据。元数据存储部分210存储关于第一拾取图像和第二拾取图像的变换信息。图像存储器180将图像保存为历史图像。图像变换部分150基于变换信息变换第二拾取图像。图像合成部分170合成变换后的第二拾取图像与历史图像，以形成合成图像。操作接受部分160接受指定第二拾取图像的显示放大率的指定操作。显示区域提取部分190基于指定的显示放大率确定在图像存储器180中保存的合成图像上的显示区域，并且提取显示区域中包括的那些图。显示控制部分240将提取的图像依次显示在显示部分250。
文档编号H04N5/225GK101595728SQ200880003628
公开日2009年12月2日 申请日期2008年12月15日 优先权日2007年12月27日
发明者鹤见辰吾 申请人:索尼株式会社