画面处理设备、供其使用的处理方法以及程序的制作方法

专利名称：画面处理设备、供其使用的处理方法以及程序的制作方法
技术领域：
本发明涉及画面处理设备。更具体地说，本发明涉及能够再现运 动画面的画面处理设备，供所述设备使用的处理方法，和使计算机执 行所述方法的程序。
背景技术：
近年来，再现数字摄像机等拍摄的运动画面的运动画面再现设备 已得到普及。通常使用的数字摄像机是具有与拍摄画面的人的兴趣一 致地放大或缩小被拍摄对象的变焦能力的数字摄像机。在再现利用这 种变焦能力拍摄的运动画面的情况下，所拍摄对象的大小在显示屏幕 上变化，不过声音输出无变化。由此，不能获得足够的真实感。从而 提出了例如通过考虑数字摄像机拍摄画面时的情况，处理声音的各种 方式。例如，提出了声音变换处理方法(例如，参见专利文献1)，借 助所述声音变换处理方法，根据在数字摄像机上进行的变焦操作的有 关信息，控制多个声道上的声级。
<formula>formula see original document page 21</formula>
(表达式1)
其中"a"一"f"代表仿射变换参数。由这些仿射变换参数构成的仿 射变换矩阵AM由下面所示的表达式定义。这种情况下，X方向变焦 分量XZ， Y方向变焦分量YZ, X方向平移分量XT， Y方向平移分 量YT，和旋转分量R由下面表示的其它表达式获得。就单位矩阵来 说，a=e=l, b=c=d=f=0。 [表达式2 ]
腐=
<3 6 c
i = tan一
^、 、^
下面说明计算仿射变换参数的方法。
首先，从依据其在对应于当前帧的画面中检测了光流的特征点中 选择三个特征点，所述当前帧是构成运动画面的帧之一。例如，从在 图2(b)的画面300中检测的角点(用空心圆表示)中，随便选择三个角 点。如果投影变换参数被用作仿射变换参数，那么随便选择四个特征
点
随后，利用与选择的三个特征点对应的三个光流，计算仿射变换 参数。例如，利用与从图2(b)的画面300中的角点(用空心圆表示)中 选择的三个角点对应的光流(用以空心圆为尖端的箭头表示)，计算仿 射变换参数。利用表达式l可获得仿射变换参数。
随后，根据上面获得的仿射变换参数，计算参数的得分。具体地 说，获得的仿射变换参数被用于找出所有特征点在与当前帧的前一帧 对应的画面中的移动后的位置。通过一方面利用仿射变换参数获得的
21特征点的位置，和另一方面在当前帧中检测的特征点的位置之间的比 较，在两个对应特征点的位置之间计算每个特征点的差值。例如，特 征点的两个对应位置之间的绝对距离被计算为所述差值。之后，比较 计算的差值与每个特征点的预定阈值，以得到其差值小于阈值的特征 点的数目，该数目被视为所述得分。按照这种方式，从依据其检测了 光流的特征点中随便选择三个特征点。根据与选择的特征点对应的光 流，计算仿射变换参数得分的处理被重复预定次数，以便计算多个仿 射变换参数得分。所述预定次数可被固定为预定值，或者可按照待比
较的画面的种类和画面处理设备100的吞吐量来确定。例如，在考虑 到画面处理设备100的吞吐量的情况下，预定处理重复计数可以约为 20。
例如，推想除角点306-311外的三个角点选自在图2(b)的画面300 中检测的角点的情况。随后利用与选择的三个角点对应的三个光流计 算仿射变换参数。由于如上所述，这三个光流具有一定的规律性，因 此能够获得达到按照某些规则变换对应于前一帧的画面的程度的仿 射变换参数。为此，在一方面利用仿射变换参数获得的角点的位置， 和另一方面从当前帧检测的角点的位置之间的差值中，关于除角点 306-311外的角点获得的差值较小。从而，仿射变换参数的得分势必 较大。
同时，推想包括角点306-311至少之一的三个角点选自在图2(b) 的画面300中检测的角点的情况。随后利用与这样选择的三个角点对 应的三个光流计算仿射变换参数。由于这三个光流包括如上所述不具 有一定规律性的一个光流，因此不能获得达到按照某些规则变换对应 于前一帧的画面的程度的仿射变换参数。为此，在一方面利用仿射变 换参数获得的角点的位置，和另一方面从当前帧检测的角点的位置之 间的差值中，关于任意选择的角点的差值较大。从而，仿射变换参数 的得分势必较小。
随后，从这样获得其得分的多个仿射变换参数之中，选择得分值 最大的仿射变换参数作为代表性仿射变换参数。选择的代表性仿射变换参数被供给画面变换部分140。这使得当构成运动画面的画面将補: 仿射变换时，能够使用最佳的仿射变换参数。
如上所述，即^吏画面运动画面的画面包括移动的对象，比如人、 车或类似物(即，运动对象)，只要与画面的面积相比，所述运动对象 的大小相对较小，就能够提取成像设备的移动，而不受这样的运动对 象的影响。
通过提取成像设备的移动，能够估计拉近、拉远、遥摄、倾斜、 旋转、或者被认为是拍摄画面的人有意进行的其它操作。
下面参考附图，说明作为本发明的一个实施例的画面处理设备
100的工作。
图4是表示构成作为本发明的一个实施例的画面处理设备100 进行的仿射变换参数检测处理的步骤的流程图。
首先，内容获得部分120获得内容文件(步骤S卯0)。随后，内容 获得部分120获得的内容文件的运动画面被解码，按照时间顺序获得 一帧的画面(步骤S901)。随后进行检查，以确定所获得的一帧是否是 输入画面变换信息供给部分130的运动画面的第一帧(步骤S902)。如 果认为所获得的一帧是第一帧(步骤S902)，那么从对应于第一帧的整 个画面中提取特征点(步骤S903)。例如，如图2(b)中所示，从画面中 提取多个角点。随后，单位矩阵仿射变换参数被选为仿射变换参数(步 骤S904)，到达步骤S914。
如果认为所获得的一帧不是第一帧(步骤S卯2)，那么关于对应于 前一帧的画面，从新拍摄的区域中提取特征点(步骤S905)。即，可根 据与之对应的光流，获得已从对应于前一帧的画面中提取的特征点， 从而所述特征点不是提取自对应于当前帧的画面。
随后，计算和从对应于前一帧的画面提取的特征点对应的光流
(步骤S卯6)。即，如图2(b)中所示，计算关于角点的光流。
随后，变量"i"被初始化为"l"(步骤S907)。随后，从依据其检测 了光流的那些特征点中选择多达M个特征点(步骤S908)。例如，在 要使用仿射变换参数的情况下，随便选择三个特征点。如果要使用投影变换参数，那么随便选择四个特征点。随后，根据对应于选择的M 个特征点计算的M个光流，计算仿射变换参数(步骤S909)。
随后，根据这样计算和获得的仿射变换参数，计算仿射变换参数 的得分(步骤S910)。具体地说，计算的仿射变换参数被用于找出所有 特征点在对应于前一帧的画面中的移动后的位置。通过一方面利用仿 射变换参数获得的特征点的位置，和另一方面当在步骤S906中计算 光流时，获得的特征点在对应于当前帧的画面中的位置之间的比较， 在两个对应特征点的位置之间，计算关于每个特征点的差值。例如， 两个对应位置之间的绝对距离被计算为所述差值。随后，比较计算的 差值和每个特征点的预定阈值，以得到其差值小于阈值的特征点的数 目，该数目被视为仿射变换参数的得分。
随后，变量"i"被加"l"(步骤S911)。进行检查，以确定变量"i" 是否大于常数N(步骤S912)。如果发现变量"i"小于常数N(步骤S912)， 那么再次到达步骤S908，重复计算仿射变换参数的得分的处理(步骤 S908-S910)。例如，数字20可被用作常数N。
同时，如果发现变量"i，，大于常数N(步骤S912),那么从这样获 得其得分的仿射变换参数中，得分值最大的仿射变换参数被选为代表
性仿射变换参数(步骤S913)。随后，选择的代表性仿射变换参数被供 给画面变换部分140(步骤S914)。如果当前帧是第一帧，那么选择的 单位矩阵的仿射变换参数被供给画面变换部分140。随后，通过重写 保存对应于当前帧的画面和该画面的特征点(步骤S915)。
随后进行检查，以确定当前帧是否是输入画面变换信息供给部分 130的运动画面的最后一帧(步骤S916)。如果发现当前帧不是最后一 帧(步骤S916)，那么再次到达步骤S901，重复仿射变换参数检测处理 (步骤S901-S916)。如果发现当前帧是最后一帧(步骤S916),那么结束 仿射变换参数检测处理。
就本发明的实施例来说，说明了如何根据从构成运动画面的画面 检测的光流，检测仿射变换参数。另一方面，成像设备可配备诸如加 速度传感器和陀螺仪传感器之类的传感器，或者配备进行变焦操作的变焦按钮。这种传感器或变焦按钮可被用于在拍摄画面时，检测成像 设备的移动量，根据成像设备的移动量，可计算仿射变换参数。拍摄 画面时检测的成像设备的这种移动量可被用于确定画面变换信息供
给部分13获得的仿射变换参数是否正确。作为另一种备选方案，画 面变换信息供给部分130可预先检测多个仿射变换参数，并根据拍摄 画面时检测的成像设备的移动量，选择所述多个仿射变换参数之一。
下面参考附图，详细说明如何利用上述仿射变换参数再现和显示 运动画面。应注意为了^f更于说明，简化了图5-16中所示的画面，并且 放大表示两个连续帧之间的移动量。
首先说明其中在成像设备拍摄画面的时候，缩放系数保持不变的 情况下，相对于由设备的位置构成的中心垂直或水平移动设备的透镜 方向的情况。
图5是表示成像设备拍摄的运动画面的典型转变的示图。图5 包含画面401-403，所述画面401-403对应于包括在以山为背景，拍 摄的人400的运动画面中的连续帧。在本例中，在拍摄画面的时候， 摄像者向右和向上移动成像设备的透镜方向。这种情况下，在构成该 运动画面的画面中，包括在成l象设备拍摄的运动画面中的人400 #皮显 示成从右往左，并朝着底部移动。
图6是在图5中的画面中用虛线表示与前一帧对应的画面，并且 表示从这些画面检测的典型光流的视图。图6(a)中所示的画面401和 图5(a)中所示的画面401相同。图6(b)的画面402中，用实线表示的 部分和图5(b)的画面402中的那些部分相同，图6(b)的画面402中， 用虚线表示的部分和图6(a)的画面401中，用实线表示的那些部分相 同。图6(b)的画面402中的箭头404-406表示从画面402检测的典型 光流。同样地，图6(c)的画面403中，用实线表示的部分和图5(c)的 画面403中的那些部分相同，图6(c)的画面403中，用虛线表示的部 分和图6(b)的画面402中，用实线表示的那些部分相同。图6(c)的画 面403中的箭头407-409表示从画面403检测的典型光流。
如图6(b)和(c)中所示，画面中的人400和背景中的山与成像设备的移动一致地移动。根据通过所述移动检测的光流，能够获得每帧的 仿射变换参数。
图7是当再现包括在图5中所示的画面401-403中的运动画面时 实际的典型显示图的视图。就本发明的实施例来说，构成运动画面的 每个画面被合成。为此，与标准画面大小相比，随着再现时间的过去， 显示在显示部分180上的画面变大。从而，与显示部分180上的显示 区的大小相比，最初显示的画面看来较小。用户可以指定要首先显示 的画面的大小、位置等等。
如图7(a)中所示， 一开始只显示对应于第一帧的画面401。如果 对应于画面401的仿射变换参数的矩阵(3x3矩阵)用Al表示，那么 Al构成单位矩阵，从而画面401的位置和大小不被变换。如果接连 显示对应于下一帧的画面402，那么利用与该帧相关的仿射变换参数， 仿射变换画面402。具体地说，假设A2代表对应于画面402的仿射 变换参数的矩阵，Al表示对应于画面401的仿射变换参数的矩阵， 那么获得"AlxA2，，的值。参考第一帧的画面401的位置和大小，利用 这样获得的矩阵"AlxA2，，仿射变换画面402。在图7(b)中所示的画面 中，画面402只在位置方面被变换。对应于前一帧的画面401被利用 仿射变换参数仿射变换的画面402重写。即，在画面401的区域中， 与画面402重叠的区域410^L画面402重写。在画面401的区域中， 不与画面402重叠的区i或411与画面401合成。即，当要显示对应于 第二帧的画面402时，整个画面402和画面401中与区域411对应的 区域被合成为被显示的画面，如图7(b)中所示。另外，可按照环绕对 应于当前帧的画面的方式显示像框图案，以便指示显示画面中的最新 画面。在图7(b)中，围绕画面402显示像框图案。依据其仿射变换画 面402的仿射变换参数被保存在画面变换部分140中。
在接下来要显示对应于下一帧的画面403的情况下，利用与该帧 相关的仿射变换参数仿射变换画面403。即，利用通过把对应于画面 403的仿射变换参数的矩阵乘以在前一仿射变换中使用的，对应于画 面402的仿射变换参数的矩阵而获得的仿射变换参数，仿射变换画面403。具体地说，假设A3代表对应于画面403的仿射变换参数的矩阵， A2表示对应于画面402的仿射变换参数的矩阵，Al代表对应于画面 401的仿射变换参数的矩阵，那么获得"AlxA2xA3"的值。参考第一 帧的画面401的位置和大小，利用这样获得的矩阵"AlxA2xA3"仿射 变换画面403。在图7(c)中所示的画面中，只有画面403在位置方面 被变换。对应于在先帧的从画面401和402得到的合成画面被利用仿 射变换参数仿射变换的画面403重写。即，在从画面401和402得到 的合成画面中的区域中，与画面403重叠的区域413和414 4皮画面403 重写。在从画面401和402得到的合成画面中的区域中，不与画面403 重叠的区域411和412与出自画面401和402的合成画面合成。即， 当要显示对应于第三帧的画面403时，整个画面403，画面401中对 应于区域411的区域，和画面402中对应于区域412的区域^皮合成为 显示的画面，'如图7(c)中所示。另外，在将按照环绕对应于当前帧的 画面的方式，显示指示显示的画面中的最新画面的像框图案的情况 下，使像框图案出现在图7(c)中所示的画面403的周围。依据其仿射 变换画面403的仿射变换参数被保存在画面变换部分140中。即，通
变换参数被保存在画面变换部分140中。这样，在将仿射变换对应于 当前帧的画面的情况下，通过把对应于当前帧的仿射变换参数的矩阵 乘以与在当前帧之前的各帧对应的仿射变换参数的矩阵，获得仿射变 换参数。随后利用获得的仿射变换参数，仿射对应于当前帧的画面。 关于该仿射变换获得的仿射变换参数被保存在画面变换部分140中， 供下一次仿射变换之用。这同样适用于图11和15的情况。
图8是表示当要再现包括图5中的画面401-403的运动画面时实 际的典型显示图的示图。图7中所示的典型显示图表示通过固定与在 当前帧之前的各帧对应的合成画面(第一次是单一的画面)，并用在仿 射变换之后对应于当前帧的画面重写固定的合成画面而获得的合成 画面。相反，图8中所示的典型显示图表示通过固定对应于当前帧的 画面的位置，通过沿仿射变换参数的相反方向仿射变换与在当前帧之
27前的各帧对应的合成画面，并用对应于当前帧的画面重写仿射变换之
后的合成画面而获得的合成画面。即，图7和8中所示的显示图在显 示在固定位置的画面，和要被仿射变换的画面方面不同，不过在其它 部分是相同的。为此，为了便于说明，用相同的附图标记指定与图7 共有的各个部分。
如图8(a)中所示， 一开始只显示对应于第一帧的画面401。当随 后要显示对应于下一帧的画面402时，通过利用与该帧相关的仿射变 换参数，沿仿射变换参数的相反方向仿射变换在前的画面401。具体 地说，假定A2代表对应于画面402的仿射变换参数的矩阵，Al表示 对应于画面401的仿射变换参数的矩阵，那么获得值inv(AlxA2),利 用这样获得的矩阵inv(AlxA2)仿射变换画面401。这里应注意invA(A 是矩阵)是A的逆矩阵。在图8(b)中所示的画面中，画面401仅仅位 置被变换。沿仿射变换参数的相反方向仿射变换的画面401被对应于 当前帧的画面402重写。通过用画面402重写画面401而获得的合成 画面与图7(b)中所示的合成画面相同，从而不再进一步讨论。
随后，在要显示对应于下一帧的画面403的情况下，通过利用与 所述下一帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变 换从画面401和402得到的对应于前一帧的合成画面。具体地说，假 定A3代表对应于画面403的仿射变换参数的矩阵，A2表示对应于画 面402的仿射变换参数的矩阵，Al代表对应于画面401的仿射变换 参数的矩阵，那么获得值inv(AlxA2xA3),并刮用这样获得的矩阵 inv(AlxA2xA3)仿射变换从画面401和402获得的合成画面。在图8(c) 中所示的画面中，从画面401和402获得的合成画面仅仅位置被变换。 沿仿射变换参数的相反方向仿射变换的得自于画面401和402的合成 画面净皮对应于当前帧的画面403重写。通过用画面403重写画面401 和402而获得的合成画面和图7(c)中所示的合成画面相同，从而不再 进一步讨论。
下面说明在不移动成像设备的透镜方向的时候，改变成像设备在 拍摄画面时的缩放系数的情况。图9是表示成像设备拍摄的运动画面的典型转变的示图。图9 具有画面421-423，所述画面421-423对应于包括在以山为背景，拍 摄的人420的运动画面中的连续帧。在本例中，摄像者在增大成像设 备的透镜的缩放系数的同时拍摄画面。这种情况下，在构成运动画面 的画面中，包括在成像设备拍摄的运动画面中的人420的大小逐渐增 大。尽管当增大缩放系数的时候，成像设备的位置可能稍微移动，不 过为了便于说明，不考虑成像设备位置的移动。
图IO是在图9中的画面中用虛线表示与前一帧对应的画面，并 且表示从这些画面检测的典型光流的视图。图10(a)中所示的画面421 和图9(a)中的画面421相同。图10(b)的画面422中，用实线表示的部 分和图9(b)的画面422相同，图10(b)的画面422中，用虚线表示的 部分和图9(a)的画面421中，用实线表示的那些部分相同。另外，图 10(b)的画面422中的箭头424-426表示从画面422检测的典型光流。 同样地，图10(c)的画面423中，用实线表示的部分和图9(c)的画面 423相同，图10(c)的画面423中，用虚线表示的部分和图9(b)的画面 422中，用实线表示的那些部分相同。图10(c)的画面423中的箭头 427-429表示从画面423检测的典型光流。
如图10(b)和(c)中所示，当缩放系数,皮改变时，画面中的人420 和背景中的山的大小相应地被改变。根据通过这些变化检测的光流， 能够获得每一帧的仿射变换参数。
图11是表示当再现包括图9中所示的画面421-423的运动画面 时实际的典型显示图。
如图ll(a)中所示， 一开始只显示对应于第一帧的画面421。随 后当显示对应于下一帧的画面422时，利用与该帧相关的仿射变换参 数，仿射变换画面422。在图ll(b)中所示的画面中，画面422仅仅大 小被变换。对应于前一帧的画面421被利用仿射变换参数仿射变换的 画面422重写。即，在画面421的区域中，与画面422重叠的区域被 画面422重写。这种情况下，画面421在所有区域中都与画面422重 叠，以致画面421全部4皮画面422重写。在画面421的区域中，不与画面422重叠的区域431与画面421合成。即，当要显示对应于第二 帧的画面422时，整个画面422和画面421中与区域431对应的区域 被合成为显示的画面，如图ll(b)中所示。另外，可使指示显示的画 面中的最新画面的像框图案出现在对应于当前帧的画面周围。在图 ll(b)中，围绕画面422显示^"象框图案。依据其仿射变换画面422的仿 射变换参数被保存在画面变换部分140中。
随后，当要显示对应于下一帧的画面423时，利用与该帧相关的 仿射变换参数仿射变换画面423。即，利用通过把对应于画面423的 仿射变换参数的矩阵乘以在前一仿射变换中使用的对应于画面422的 仿射变换参数的矩阵而获得的仿射变换参数，仿射变换画面423。在 图ll(c)中所示的画面中，画面423仅仅大小净皮变换。与前一帧对应的 从画面421和422获得的合成画面被利用仿射变换参数仿射变换的画 面423重写。即，在构成从画面421和422获得的合成画面的区域中， 与画面423重叠的那些区域纟皮画面423重写。这种情况下，画面423 与画面421和422的所有区域重叠，以致从画面421和422得到的合 成画面全部^皮画面423重写。在构成从画面421和422得到的合成画 面的区域中，不与画面423重叠的区域432和433与从画面421和422 得到的合成画面合成。即，当要显示对应于第三帧的画面423时，整 个画面423，画面421中对应于区域432的区域，和画面422中对应 于区域433的区域被合成为显示的画面，如图ll(c)中所示。当要按照
环绕对应于当前帧的画面的方式显示指示显示的画面中的最新画面 的像框图案时，使像框图案出现在图ll(c)中所示的画面423周围。另 外，依据其仿射变换画面423的仿射变换参数被保存在画面变换部分 140中。即，通过把对应于画面422和423的仿射变换参数的矩阵相 乘而获得的仿射变换参数被保存在画面变换部分140中。
图12是表示当再现图9中所示的画面421-423时实际的典型显 示图的示图。图11和12中的典型显示图之间的差别与图7和8中的 典型显示图之间的差别相同；图11和12中的典型显示图在显示在固 定位置的画面，和要被仿射变换的画面方面不同，不过在其它部分是相同的。为此，为了1更于^兌明，用相同的附图标记指定与图11共有 的各个部分。
如图12(a)中所示， 一开始只显示对应于第一帧的画面421。当 随后要显示对应于下一帧的画面422时，通过利用与该帧相关的仿射 变换参数，沿仿射变换参数的相反方向仿射变换在前的画面421。在 图12(b)中所示的画面中，画面421仅仅大小被变换。沿仿射变换参 数的相反方向仿射变换的画面421被对应于当前帧的画面422重写。 应注意通过用画面422重写画面421而获得的合成画面在大小方面不 同于图ll(b)中所示的合成画面，不过在其它方面与后者相同，从而 不再进一步讨论。
随后，在要显示对应于下一帧的画面423的情况下，通过利用与 所述下一帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变 换从画面421和422得到的对应于前一帧的合成画面。在图12(c)中所 示的画面中，从画面421和422获得的合成画面仅仅大小被变换。沿 仿射变换参数的相反方向仿射变换的得自于画面421和422的合成画 面,皮对应于当前帧的画面423重写。通过用画面423重写由画面421 和422得到的合成画面而获得的合成画面在大小方面不同于图ll(c) 中所示的合成画面，不过在其它方面与后者相同，从而不再进一步讨 论。
下面说明在成像设备的透镜方向和缩放系数保持不变的时候，在 拍摄画面期间，绕拍摄画面的方向旋转成像设备的情况。
图13是表示成像设备拍摄的运动画面的典型转变的示图。图13 具有画面441-443，所述画面441-443对应于包括在以山为背景，拍 摄的人440的运动画面中的连续帧。在本例中，摄像者在围绕拍摄画 面的方向旋转成像设备的同时拍摄画面。这种情况下，包括在成像设 备拍才聂的运动画面中的人440在构成运动画面的画面中被旋转。尽管 在其旋转过程中，成像设备的位置可能稍微移动，不过为了便于说明， 不考虑成像设备位置的移动。
图14是虛线表示对应于前一帧，且存在于图13中所示的画面中的画面，并且表示从这些画面检测的典型光流的视图。图14(a)中所 示的画面441和图13(a)中的画面441相同。图14(b)的画面442中， 用实线表示的部分和图13(b)的画面442相同，图14(b)的画面442中， 用虚线表示的部分和图13(a)的画面441中，用实线表示的部分相同。 另夕卜，图14(b)的画面442中的箭头444-446表示从画面442检测的典 型光流。同样地，图14(c)的画面443中，用实线表示的部分和图13(c) 的画面443相同，图14(c)的画面443中，用虚线表示的部分和图13(b) 的画面442中，用实线表示的部分相同。图14(c)的画面443中的箭头 447-449表示从画面443检测的典型光流。
如图14(b)和(c)中所示，当成像设备被旋转时，包括在画面中的 人440和背景中的山相应地被转动。根据通过所述转动检测的光流， 能够获得每一帧的仿射变换参数。
图15是表示当再现包括图13中所示的画面441-443的运动画面 时实际的典型显示图的示图。
如图15(a)中所示， 一开始只显示对应于第一帧的画面441。随 后当显示对应于下一帧的画面442时，利用与该帧相关的仿射变换参 数，仿射变换画面442。在图15(b)中所示的画面中，画面442仅仅角 度被变换。对应于前一帧的画面441被利用仿射变换参数仿射变换的 画面442重写。即，在画面441的区域中，与画面442重叠的区域450 被画面442重写。在画面441的区域中，不与画面442重叠的区域451 和452与画面441合成。即，当要显示对应于第二帧的画面442时， 整个画面442和画面441中与区域451及452对应的那些区域被合成 为显示的画面，如图15(b)中所示。另外，可使指示显示的画面中的 最新画面的像框图案出现在对应于当前帧的画面周围。在图15(b)中， 围绕画面442显示像框图案。依据其仿射变换画面442的仿射变换参 数被保存在画面变换部分140中。
随后，当要显示对应于下一帧的画面443时，利用与该帧相关的 仿射变换参数仿射变换画面443。即，利用通过把对应于画面443的 仿射变换参数的矩阵乘以在前一仿射变换中使用的对应于画面442的仿射变换参数的矩阵而获得的仿射变换参数，仿射变换画面443。在 图15(c)中所示的画面中，画面443仅仅角度被变换。与前一帧对应的 从画面441和442获得的合成画面被利用仿射变换参数仿射变换的画 面443重写。即，在构成从画面441和442获得的合成画面的区域中， 与画面443重叠的区&戈453-457 ^皮画面443重写。在构成从画面441 和442得到的合成画面的区域中，不与画面443重叠的区域458-461 进一步与从画面441和442得到的合成画面合成。即，当要显示对应 于第三帧的画面443时，整个画面443，画面441中对应于区域459 的区域，和画面442中对应于区域458及460的那些区域^皮合成为显 示的画面，如图15(c)中所示。当要围绕对应于当前帧的画面显示指示 显示的画面中的最新画面的像框图案时，使像框图案出现在图15(c) 中所示的画面443周围。另外，依据其仿射变换画面443的仿射变换 参数纟皮保存在画面变换部分140中。即，通过把对应于画面442和443
换部分140中。
图16是表示当再现包括图13中所示的画面441-443的运动画面 时实际的典型显示图的示图。图15和16中的典型显示图之间的差别 与图7和8中的典型显示图之间的差别相同；图15和16中的典型显 示图在显示在固定位置的画面，和要被仿射变换的画面方面不同，不 过在其它部分是相同的。为此，为了便于说明，用相同的附图标记指 定与图15共有的各个部分。
如图16(a)中所示， 一开始只显示对应于第一帧的画面441。当 随后要显示对应于下一帧的画面442时，通过利用与该帧相关的仿射 变换参数，沿仿射变换参数的相反方向仿射变换在前的画面441。在 图16(b)中所示的画面中，画面441只有角度^皮变换。沿仿射变换参 数的相反方向仿射变换的画面441被对应于当前帧的画面442重写。 通过用画面442重写画面441而获得的合成画面在角度方面不同于图 15(b)中所示的合成画面，不过在其它方面与后者相同，从而不再进一 步讨论。随后，在要显示对应于下一帧的画面443的情况下，通过利用与 所述下一帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变 换对应于前一帧的从画面441和442得到的合成画面。在图16(c)中所 示的画面中，从画面441和442获得的合成画面仅仅角度被变换。沿 仿射变换参数的相反方向仿射变换的得自于画面441和442的合成画 面被对应于当前帧的画面443重写。要注意的是通过用画面443重写 画面441和442而获得的合成画面在角度方面不同于图15(c)中所示的 合成画面，不过在其它方面与后者相同，从而不再进一步讨论。
上面说明了其中在位置方面，在缩放系数方面和在角度方面相继 改变构成运动画面的画面的情况。不过，所述说明也适用于组合进行 这样的改变的情况。
下面，说明计算与当前帧对应的画面的中心位置、角度和缩放系 数的典型处理。如上所述，利用通过把与从参考画面的帧一直到当前
数，变换与当前帧对应的画面。为此，利用通过乘法获得的仿射变换 参数，可相对于参考画面计算对应于当前帧的画面的移动量，旋转角 度或者缩放系数。具体地说，通过利用表示视为变换基准的第一帧的 中心位置、角度和缩放系数，并被保存在画面变换部分140中的参考 信息，以及通过把与一直到当前帧的各帧对应的仿射变换参数的矩阵 相乘而获得的仿射变换参数，可计算对应于当前帧的画面的中心位 置、角度和缩放系数。对应于当前帧的画面的中心位置是通过利用在 参考信息中得到的中心位置，和计算的仿射变换参数的矩阵，由表达 式1计算的。对应于当前帧的画面的角度0和缩放系数"z"例证地是 通过利用相乘的仿射变换参数，由下面的表达式计算 [表达式3 ] ^ = tan一
、a乂
图17是表示本发明的实施例中的声音变换处理部分200的典型 结构的方框图。在本例中，左右声道上的输入声音被表示成转换成左
34右声道上的输出声音。
音频控制部分201具有音量放大器203-206。音量放大器203根 据来自声音变换信息计算部分190的声音变换信息RR，放大右声道 输入声音。音量放大器204根据来自声音变换信息计算部分190的声 音变换信息RL，放大右声道输入声音。音量放大器203根据来自声 音变换信息计算部分190的声音变换信息LR,放大左声道输入声音。 音量放大器204根据来自声音变换信息计算部分l卯的声音变换信息 LL，放大左声道输入声音。这种情况下，声音变换信息是根据在显示 部分180的显示屏幕上，当前帧的中心位置、角度和缩放系数计算的， 指示每个声道的音量控制值的信息。
声音相加部分202具有声音加法器207和208。声音加法器207 相加音量放大器203放大的右声道输入声音，和音量放大器205放大 的左声道输入声音。声音加法器207把相加的声音作为右声道输出声 音输出给声音输出控制部分210。声音加法器208相加音量放大器204 放大的右声道输入声音，和音量放大器206放大的左声道输入声音。 声音加法器208把相加的声音作为左声道输出声音输出给声音输出控 制部分210。这样，输入的声音按照声音变换信息被转换，并作为输 出声音被输出给声音输出控制部分210。
下面参考附图，详细说明与对应于当前帧的画面的移动结合，本 发明的实施例执行的声音变换处理。
图18是表示按照普通的再现方法再现拍摄的运动画面的例子的 示图。图18(a)表示由成像设备500拍摄的作为成像对象，从右往左 移动的汽车的一系列画面511-513。该系列画面511-513是按照这样 的方式拍才聂的，以致汽车514-516都位于所述一系列画面511-513的 中心。为了便于理解附图，与所摄画面511-513的面积相比，相对放 大地表示了汽车514-516。不过，如上参考图3所述，为了提取成像 设备的移动，而不受移动对象影响，最好应与画面的面积相比，以相 对较小的尺寸拍摄移动对象。在接下来的说明中，与所述一系列画面 511-513对应的所:摄画面将用相同的附图标记511-513表示。成像设备500具有在拍摄画面511-513的时候，获得右声道和左声道输入声 音的右麦克风501和左麦克风502。这样获得的输入声音通常与出现 在成像设备500的取景器中的画面相配合。图18(b)表示利用普通的 再现方法再现图18(a)中所示的拍摄画面511-513的例子。拍摄的画面 511-513被显示在显示部分180的整个显示屏幕内。在拍摄的画面 511-513中，汽车514-516被显示在显示屏幕的中心。这里，与所摄 画面511-513的显示一致地输出的输出声音由未修改地分别输出给右 扬声器221和左扬声器222的右声道和左声道输入声音构成。按照这 种普通的再现方法，伴随所摄画面的输入声音可被未修改地输出，起 配合所摄画面的输出声音的作用。音量指示517和518分别显示右声 道和左声道输入声音的音量。用白色表示右声道输入声音的音量，用 黑色表示左声道输入声音的音量。
图19概述由作为本发明实施例的画面处理设备进行的再现的例 子。在本例子中，在固定从在当前帧之前的各个画面得到的合成画面 的时候，利用从画面变换信息供给部分130供给的仿射变换参数，变 换和再现对应于当前帧的画面。图19中所示的所摄画面511-513和图 18(a)中所示的所摄画面511-513相同。不过，在本例中，根据从成像 设备500的移动方向521获得的仿射变换参数，所摄画面511-513按 照从右到左的顺序被显示在显示部分180的显示屏幕上。在图19中 为了便于说明，所摄画面511-513被显示成其间没有间隔。这种情况 下，与图18(b)的情况相反，所摄画面511-513在显示屏幕内横移。为 此，如果原样输出获得的输入声音，那么不能获得与所摄画面511-513 的移动相配合的自然音效。从而，作为本发明的实施例，画面处理设 备IOO控制与所摄画面511-513在显示屏幕上的中心位置相一致地相 加左声道和右声道输入声音，以便按输出声道输出的比率。具体地说， 按照所摄画面511-513在显示屏幕上的中心位置，控制右声道输入声 音的音量与左声道输入声音的音量的比率，相加后的音量被输出给相 应的扬声器。如果假定所摄画面513被显示在显示屏幕上，那么具有 表现衰减的右声道输入声音的音量519的声音作为输出声音被输出给右扬声器221。这里，左声道输入声音被加到衰减的音量519上。但 是，由于所摄画面513的中心位置位于显示屏幕的左手一侧，因此左 声道输入声音的比率被设成"O"。为此，只有右声道输入声音被输出 给右扬声器221。作为输出声音输出给左扬声器222的是通过把从右 声道输入声音的音量中减去衰减音量519而获得的音量520和左声道 输入声音的音量518相加得到的声音。
下面参考附图，详细说明本发明的实施例中的声音变换信息计算 部分l卯计算运动的有关声音变换信息的例子。
图20是表示在本发明的实施例中，显示部分180的显示屏幕的 坐标系的方框图。本例中，显示屏幕上的画面185被用于说明。
假定X轴181和Y轴182分别位于水平方向和垂直方向。假定 这些坐标轴的原点位于显示部分180的显示屏幕的中心。显示部分180 的显示屏幕的水平长度183和垂直长度184分别用"宽度"和"高度"表 示。在该坐标系中，对应于当前帧的画面185的中心位置186相对于 原点的移动量187用X轴方向的"x"和Y轴方向的"y"表示。画面185 相对于X轴的角度189用e表示。
利用这样定义的坐标系，在下面的说明中将提供关于声音变换信 息的计算的图表和关系表达式。
图21是按照本发明的实施例，图解说明一方面的对应于当前帧 的画面的中心位置和另 一方面的输出声音之间的关系的图表。在图 21(a)和(b)中，水平轴代表画面在显示屏幕上的移动量(x)，垂直轴表 示输出声音与输入声音的比率。实线611和621代表右声道上输出声 音的输出率，虚线612和622表示左声道上输出声音的输出率。图21(a) 表示与移动量"x，，相一致地把右声道上的输入声音分配给左右声道上 的输出声音的比率。图21(b)表示与移动量"x"相一致地把左声道上的 输入声音分配给相应声道上的输出声音的比率。最后，在被输出之前， 如实线611和621确定的那样，右声道上的输出声音被加到左右声道 的声音上。同样在被输出之前，如虛线612和622确定的那样，左声 道上的输出声音被中到相应声道的声音上。利用下述表达式，可定义一方面沿实线611的移动量"x"和另一 方面输出声音与输入声音的比率f(x)之间的关系
/(x)-(a/(宽度/2》"+ l (-宽度/2"<0)
其中"宽度"代表显示屏幕的水平长度。最好，参数a的值介于 0.3和0.4之间。
利用前面的表达式，虚线612、实线621和虚线622的关系表达 式分别为l-f(x)， l-f(-x)和f(-x)。
这里，以下述表达式2的形式给出关于输入声音的变换的关系表
达式
R'=R.RR+LLR (表达式2)
L'=RRL+LLL
其中RR-f(x)， RL=(l-f(x))， LR-(l-f(國x))， LL=f(-x); "x"代表 对应于当前帧的画面的移动量(即，从水平方向的原点到对应于当前帧 的画面的中心位置的距离)；R'和L'分別代表右声道和左声道的输出 声音；R和L分别表示右声道和左声道的输入声音。
上面的RR、 RL、 LR和LL构成声音变换信息。声音变换信息 计算部分190根据对应于当前帧的画面的中心位置，计算RR、 RL、 LR和LL 。
对于上面的例子，应注意假定了扬声器220被设置在显示屏幕的 右侧和左侧。才艮据在屏幕的水平方向上，对应于当前帧的画面的位置 关系，说明了如何关于对应于当前帧的画面，计算和声音有关的声音 变换信息。另一方面，该实施例适用于其中扬声器位于显示屏幕的中 间的扬声器系统，或者适用于其中扬声器位于显示屏幕的上部和下部 的扬声器系统。例如，如果把该实施例应用于扬声器位于显示屏幕的 上部和下部的扬声器系统，那么根据在屏幕的垂直方向上，对应于当 前帧的画面的位置关系，能够关于对应于当前帧的画面，计算和声音 有关的声音变换信息。如果把该实施例应用于扬声器位于屏幕中间的 扬声器系统，那么根据在屏幕的水平方向上，对应于当前帧的画面的 位置关系，能够关于对应于当前帧的画面，计算和声音有关的声音变换信息。即，根据仿射变换参数，关于对应于当前帧的画面，计算和 声音有关的声音变换信息，通过根据这样计算的声音变换信息变换声 音，产生输出声音。
下面参考附图，详细说明关于对应于当前帧的画面的旋转，由本 发明的实施例进行的声音变换处理。
图22是表示成像设备500和被拍摄的对象之间的关系的示图。 图22(a)表示当开始拍摄画面时的实际状态。这里，显示配有右麦克 风501和左麦克风502的成像设备拍摄正在发声的人531和正在发出 声响的闹钟532的画面。这种情况下，人531的声音以较高的比率被 输入右麦克风501，闹钟532的声音以较高的比率净皮输入左麦克风 502。图22(b)表示在图22(a)的状态下拍摄的画面551。音量指示543 指示由右麦克风501获得的右声道输入声音的音量，音量指示544指 示由左麦克风502获得的左声道输入声音的音量。作为帮助理解所摄 画面中，右麦克风501和左麦克风502之间的位置关系的符号，给出 了所摄画面551中的R标记541和L标记542。图22(c)是表示从成 像设备500之后观察的图22(a)的状态的示图。这里，沿顺时钟方向 545旋转180。的成像设备500拍摄运动画面。这种情况下，右麦克风 501获得的右声道输入声音涉及随着旋转角的增大，人531的声音的 比率逐渐降低，和闹钟532的铃声的比率逐渐增大。相反，左麦克风 502获得的左声道输入声音涉及随着旋转角的增大，闹钟532的铃声 的比率逐渐降低，和人531的声音的比率逐渐增大。下面参考附图例 证说明再现按照这种方式拍才聂的运动画面。
图23概述由具体体现本发明的画面处理设备100进行的再现的 例子。图23(a)表示当再现由图22中的成像设备500拍摄的运动画面 时，利用普通的再现方法显示的一系列画面551-555。图23(b)图解说 明由具体体现本发明的画面处理设备100再现的一系列显示画面 561-565。该再现例子涉及在固定合成画面的情况下，利用由画面变换 信息供给部分130供给的仿射变换参数，变换对应于当前帧的画面。 这里，为了简化起见，省略了显示屏幕的框架。所摄画面均被假定成
39显示在显示屏幕的中心。
在图23(a)中，显示画面551-555中R标记541和L标记542之 间的位置关系保持不变。为此，可无变化地原样输出显示画面551-555 的输入声音，作为与显示画面551-555相配合的输出声音。
另一方面，在图23(b)中，显示画面561-565中R标记541和L 标记542之间的位置关系被改变，以致如果原样输出获得的输入声音 的话，那么获得的输入声音将不提供自然的音效。从而，作为本发明 的实施例，画面处理设备100与显示在显示屏幕中的画面的角度相一 致地控制相加右声道和左声道输入声音的比率，之后把相加的声音输 出给相应的输出声道。具体地说，右声道输出声音由音量衰减的右声 道输入声音，和音量逐渐被增大，并被加到音量衰减的右声道输入声 音中的左声道输入声音构成，以便与显示画面561-565的角度相一致 地输出。左声道输出声音由右声道输出声音中右声道的衰减输入音 量，和右声道输出声音中右声道的相加音量的剩余音量构成，以便输 出。
图24是表示按照本发明的实施例，图解说明一方面的对应于当 前帧的画面的角度与另一方面的输出声音之间的关系的图表的示图。 在图24(a)和(b)中，水平轴表示相对于水平方向的角度(e)，垂直轴表 示输出声音与输入声音的比率。实线711和721代表右声道输出声音 的输出率，虛线712和722表示左声道输出声音的输出率。图24(a) 表示与角度e相一致，把右声道输入声音分配给每个声道上的输出声 音的比率。图24(b)表示与角度e相一致，把左声道输入声音分配给 每个声道上的输出声音的比率。最后，右声道输出声音由依据实线711 和721确定的比率相加的每个声道上的输入声音构成，以^使输出。左 声道输出声音同样由依据虚线712和722确定的比率相加的每个声道 上的输入声音构成，以便输出。
一方面由实线711确定的对应于当前帧的画面的角度e与另一方
义:g(0) = (l + cos^)/2
在使用上述表达式的情况下，虛线712、实线721和虚线722的
关系表达式分别为i-g(e)、 i-g(e)和g(e)。这里，表达式2中所示的构
成声音变换信息的RR、 RL、 LR和LL分别被表示成RR- g(e)、
RL=(i-g(e))、 LR-(i-g(e)和LL=g(e)。
应注意在上面的例子中，假定扬声器220位于显示屏幕的右侧和 左侧。另一方面，和图21的情况一样，该实施例适用于扬声器位于 显示屏幕的上方和下方的扬声器系统。
下面参考附图，说明关于对应于当前帧的画面的缩放系数，本发 明的实施例执行的声音变换处理。
图25概述由具体体现本发明的画面处理设备100执行的再现的 例子。图25(a)和(c)表示其中装备右麦克风501和左麦克风502的成 像设备500正在拍摄人531和闹钟532的画面的状态。图25(b)、 (d) 和(e)表示所显示的典型拍摄画面。这里，假定画面都被显示在显示部 分180的显示屏幕的中心的部分区域中。图25(b)显示由图25(a)中所 示的成像设备500拍摄的画面551。音量指示543指示由右麦克风01 获得的右声道输入声音的音量，音量指示544指示由左麦克风502获 得的左声道输入声音的音量。图25(c)表示其中图25(a)中所示的拍摄 画面的成像设备500拉近被拍摄的对象的状态。
图25(d)和25(e)表示由具体体现本发明的画面处理设备100执行 的再现的例子。图25(d)是在固定对应于当前帧的画面的大小的时^f夷， 利用画面变换信息供给部分130供给的仿射变换参数，变换合成画面 的例子。这种情况下，由于成像设备500的拉近操作，所摄画面571 中的人531和闹钟532净皮放大显示。从而作为本发明的实施例，画面 处理设备100按照对应于当前帧的画面的缩放系数，分别以相同的比 率控制左声道和右声道输入声音的音量，以便输出给每个输出声道。 具体地说，与所摄画面571中的被摄对象相对于所摄画面551的缩放 系数相一致，以相同的比率放大每个声道上的输入声音的音量543和 544(即，音量指示546和547被相加)以便输出。另一方面，图25(e)表示其中在合成画面被固定的情况下，利用 由画面变换信息供给部分130供给的仿射变换参数，变换对应于当前 帧的画面的再现例子。这种情况下，显示屏幕上的所摄画面571中的 被摄对象的大小与图25(b)中所示的对象相同。从而作为本发明的实 施例，画面处理设备100原样输出输入声音，而不改变输入声音的音 量比率。具体地说，当该显示模式有效的时候，除了缩放系数之外， 画面变换部分140把对应于当前帧的画面的中心位置和角度输出给声 音变换信息计算部分l卯。
图26是按照本发明的实施例，图解说明缩放系数和对应于当前 帧的画面的输出声音之间的关系的图表。在图26(a)和(b)中，水平轴 代表画面的缩放系数(z)，垂直轴表示输出声音与输入声音的比率。图 26(a)表示与缩放系数"z，，一致的右声道输出声音和右声道输入声音的 比率，图26(b)表示与缩放系数"z，，一致的左声道输出声音和左声道输 入声音的比率。
在该图中，由实线713确定的缩放系数"z"和输出声音与输入声 音的比率h(z)可利用下面的表达式来定义
h(z)=l-p ((Xz刻 (2卩/(z2誦zl)).(z画zl)+l-p (zl^z〈z2) 1+P (z2￡z)
其中"z，，表示对应于当前帧的画面的缩放系数。为了不大大影响 音量，参数P的值最好介于0.1和0.2之间。可考虑到P的值恰当地 确定zl和z2的值。
这里，构成声音变换信息，并示于表达式2中的RR和LL被表 示成RR=LL=h(z)。上面参考图25说明了每个声道上的输入声音不被 加入每个声道上的输出声音中的情况。如果每个声道上的输入声音被 加入到每个声道上的输出声音中，那么每个相加声道的输入声音的音 量以相同的比率被J故大，以致和RR及LL的情况一样，RL和LR也 利用h(z)来表述。另一方面，h(z)可用S形函数给出，其中1+卩和l-p 构成由下述表达式定义的渐近线<formula>formula see original document page 43</formula>
上面说明了接连改变对应于当前帧的画面的中心位置、角度和缩 放系数的情况。如果组合地发生这种改变，那么可把相应的关系表达 式相乘，以提供相似的效果。具体地说，构成声音变换信息，并且示
于表达式2中的RR、 RL、 LR和LL可被分别表示成RR=f(x)'g(e)'h(z)、 RL=(l-f(x)).(l-g(e))'h(z)、 LR=(l-f(-x))'(l-g(e)).h(z)和 LL=
f(-x)).g(e).h(z)。在前面的例子中，说明了左右声道上的输入声音。另
一方面，该实施例也可应用于附加的中央声道上的输入声音。
下面参考附图，说明具体体现本发明的画面处理设备100的工作。
图27是表示构成由作为本发明的实施例的画面处理设备100执 行的运动画面再现处理的步骤的流程图。
首先，在画面存储器160中分配比运动画面的组成画面的大小大 的工作緩冲区(步骤S921)。随后从内容存储部分110获得内容文件(步 骤S922)。随后解码内容文件，获得对应于当前帧的画面和声音(步骤 S923)。之后，画面变换信息供给部分130把对应于当前帧的仿射变换 参数提供给画面变换部分140(步骤S924)。这里，如果当前帧是第一 帧，那么提供单位矩阵仿射变换参数。随后，画面变换部分140确定 三种再现显示模式中的哪一种被选择(步骤S925)。
如果通过固定从与在当前帧之前的各帧对应的画面得到的合成 画面，再现和显示运动画面，那么除缩放系数之外，对应于当前帧的 画面的中心位置和角度由画面变换部分140输出给声音变换信息计算 部分190(步骤S926)。之后，画面变换部分140利用通过乘法获得的 仿射变换参数，仿射变换对应于当前帧的画面(步骤S927)。这里，如 果当前帧是第一帧，那么单位矩阵仿射变换参数被用于仿射变换，以 致实际上不变换任何画面。随后，用对应于当前帧的仿射变换画面重 写保存在画面存储器160中的画面，并把得到的合成画面保存在画面 存储器160中(步骤S928)。这里，如果当前帧是第一帧，那么对应于 第一帧的画面被保存在画面存储器160中。随后，所得到的合成画面被显示在显示部分180上(步骤S938)。 之后进行声音变换处理(步骤S950)。下面将参考后续附图详细说明该 声音变换处理。之后进行检查，以确定当前帧是否是构成获得的运动 画面的各帧中的最后一帧(步骤S939)。如果当前帧不是最后一帧(步骤 S939),那么再次到达步骤S923，重复合成画面显示处理。
同时，如果在步骤S925中，发现选择的再现显示模式是通过固 定对应于当前帧的画面，再现和显示运动画面的模式，那么画面变换 部分140只向声音变换信息计算部分190输出对应于当前帧的画面的 缩放系数(步骤S929)。从而通过利用相乘获得的仿射变换参数，画面 变换部分140沿仿射变换参数的相反方向，仿射变换保存在画面存储 器160中的合成画面(步骤S931)。这里，如果当前帧是第一帧，那么 不存在保存于画面存储器160中的合成画面，从而不变换任何画面。 之后，用对应于当前帧的画面重写沿仿射变换参数的相反方向仿射变 换的合成画面，所得到的合成画面被保存在画面存储器160中(步骤 S392)。这里，如果当前帧是第一帧，那么对应于第一帧的画面被保存 在画面存储器160中。之后到达步骤S938。
如果在步骤S925中，发现选择的再现显示模式是通过固定对应 于当前帧的画面的显示缩放系数，再现和显示运动画面的模式，那么 画面变换部分140把对应于当前帧的画面的中心位置、角度和缩放系 数输出给声音变换信息计算部分190(步骤S933)。把关于缩放系数的 元素和由画面变换信息供给部分130供给的仿射变换信息的元素分开 (步骤S934)。随后利用这样分开的与缩放系数相关的元素，沿仿射变 换参数的相反方向仿射变换保存在画面存储器160中的合成画面(步 骤S935)。这里，如果当前帧是第一帧，那么不存在保存于画面存储 器160中的合成画面，从而不变换任何画面。之后，利用分离的关于 移动或旋转的元素，仿射变换对应于当前帧的画面(步骤S936)。这里， 如果当前帧是第一帧，那么利用单位矩阵放变换参数仿射变换画面， 从而实际上不变换任何画面。之后，用对应于当前帧的仿射变换画面 重写沿仿射变换参数的相反方向仿射变换的合成画面，并把得到的合
44成画面保存在画面存储器160中(步骤S937)。之后到达步骤S938。
如果在步骤S939中，确定当前帧是最后一帧(步骤S939),那么 释放在画面存储器160中分配的工作緩冲区(步骤S941)，并终止运动 画面再现处理。
图28是图解说明构成由作为本发明的实施例的画面处理设备 IOO执行的声音变换处理(即，步骤S950中的过程)的步骤的流程图。
首先，声音变换信息计算部分190根据由画面变换部分140输出 的对应于当前帧的画面的中心位置、角度或缩放系数，计算声音变换 信息(步骤S951)。随后，根据声音变换信息计算部分l卯计算的声音 变换信息，音量控制部分201控制构成由内容获得部分120输出的声 音的多个声道的音量(步骤S952)。之后，声音相加部分202相加每个 声道的受控音量，以便输出为每个声道的输出声音(步骤S953)。随后， 每个声道的相加输出声音被输出给扬声器220(步骤S954)。
下面参考


本发明的实施例的第一变体。
图29是表示作为本发明的实施例的画面处理设备650的典型功 能结构的方框图。画面处理设备650是图1中所示的画面处理设备650 的局部改变的变体。在画面处理设备650中，运动画面存储部分240、 元数据存储部分250和内容获得部分121分别代替画面处理设备100 的内容存储部分110、内容获得部分120和画面变换信息供给部分 130。除运动画面存储部分240、元数据存储部分250和内容获得部分 121外的组件与图1中的画面处理i殳备100的组件相同，从而下面不 再讨论这些共有组件。
运动画面存储部分240把运动画面保存为运动画面文件。另夕卜， 运动画面存储部分240依据内容获得部分121的请求，把运动画面文 件供给内容获得部分121 。后面将参考图30详细说明保存在运动画面 存储部分240中的运动画面文件。
元数据存储部分250把根据通过分析运动画面获得的运动信息 计算的仿射变换参数保存为元数据文件。另外，元数据存储部分250 依据内容获得部分121的请求，把元数据文件提供给内容获得部分121。后面将参考图30详细说明保存在元数据存储部分250中的元数 据文件。
响应通过操作接受部分230输入的再现运动画面的操作，内容获 得部分121获得保存在运动画面存储部分240中的运动画面文件，和 保存在元数据存储部分250中的与该运动画面文件相关的元数据文 件。内容获得部分121把获得的运动画面文件的运动画面，和元数据 文件的仿射变换参数输出给画面变换部分140。另外，内容获得部分 121把与获得的运动画面文件的运动画面对应的声音输出给声音变换 处理部分200。
图30是示意表示在本发明的实施例中，记录在运动画面存储部 分240和元数据存储部分250中的文件的示图。图30(a)表示保存在 运动画面存储部分240中的运动画面文件241-244，和与运动画面文 件241-244关联地保存在元数据存储部分250中的元数据文件 251-253。这里，假定每个运动画面文件具有运动画面ID，作为识别 保存在运动画面存储部分240中的所考虑的运动画面文件的标识信 息。例如，运动画面文件241具有ID"#1，，，运动画面文件242具有 ID"#2，，，运动画面文件244具有ID"弁n"。
图30(b)是示意表示保存在运动画面存储部分240中的运动画面 文件241，和与运动画面文件241关联地保存在元数据存储部分250 中的元数据文件251的示图。这里，运动画面文件241由多达"n，，帧 构成，所述"n"帧被表示成帧l(245)-n(248)。
另外，元数据文件251包含彼此关联的运动画面ID 254，帧编 号255和仿射变换参数256。
运动画面ID 254 4皮附在对应的运动画面文件上。例如，图30(b) 中包含的是附在运动画面文件241上的"#1"。
帧编号255是构成对应运动画面文件的运动画面的帧的序列号。 例如，图30(b)中包含的是与构成运动画面文件241的运动画面的帧 1(245)-n(248)对应的"l"-"n"。
仿射变换参数256是关于与帧编号255对应，并构成运动画面的每一帧计算的参数。对应于帧编号255"1"的仿射变换参数256"al、 bl 、 cl 、 dl 、 el 、 fl"是单位矩阵仿射变换参数。对应于帧编号255"m"(m 是至少为2的整数)的仿射变换参数256"am、 bm、 cm、 dm、 em、 fm，， 是与在帧"m"之前的帧"m-l"对应的仿射变换参数。
上面说明了在对应于当前帧的画面被固定在显示部分180的中 心的时候，根据运动画面是否被再现，仿射变换对应于当前帧的画面， 并据此创建合成画面的情况，和沿仿射变换参数的相反方向仿射变换 对应于在前各帧的合成画面，并据此创建合成画面的情况。不过，也 可通过连续对对应于当前帧的当前画面进行仿射变换，创建合成画 面，把这样创建的合成画面保存在画面存储器中，并从画面存储器中 的合成画面提取待显示的显示区。这使得能够改变在运动画面再现期 间，显示部分提供其显示的方式。后面将参考附图详细说明这种运动 画面再现处理。
下面参考

本发明的实施例的第二变体。 图31是表示作为本发明的实施例的画面处理设备680的典型功 能结构的方框图。画面处理设备680是图29中所示的画面处理i殳备 650的局部改变的变体。通过用显示区提取部分260和显示存储器270 补充图29中的画面处理i殳备650,并分别用画面合成部分151，画面 存储器161和声音变换信息计算部分191代替画面合成部分150，画 面存储器160和声音变换信息计算部分190，实现画面处理设备680。 画面处理设备680能够把对应于当前帧的画面放入显示屏幕中，并据 此进行声音变换处理。画面存储部分240、元数据存储部分250、画 面变换部分140、声音变换处理部分200、声音输出控制部分210和 扬声器的结构与图29中所示的画面处理设备的相应组件相同，从而 不再进一步讨论。而本例将说明通过部分修改图29中的画面处理设 备650而获得的本发明的变体，同样可对图1中所示的画面处理设备 进行所述修改。
根据在显示区提取部分260输出的显示区中对应于当前帧的画 面的位置，画面合成部分151用从画面变换部分140接收的对应于当前帧的画面重写保存在显示存储器270中的合成画面，以便进行画面 合成。具体地说，在指定固定对应于当前帧的画面的显示模式的情况 下，画面合成部分151用对应于当前帧，并且还将由画面变换部分140 仿射变换的画面重写保存在显示存储器270中的合成画面的中心部 分，以便进行画面合成。另一方面，在指定固定在对应于当前帧的画 面之前的合成画面的显示才莫式的情况下，画面合成部分151用对应于 当前帧，并由画面变换部分140仿射变换的画面重写保存在显示存储 器270中的合成画面，以便根据在显示区提取部分260输出的显示区 中，对应于当前帧的画面的位置进行画面合成。这里，对应于当前帧， 并在显示存储器270中合成的画面的大小实际上由显示缩放系数的值 确定。画面合成部分151具有画面合成部分150的功能。画面合成部 分150的功能和上面讨论的功能相同，不再进一步讨论。
画面存储器161是保存画面合成部分151合成的合成画面的工作 緩冲器。画面存储器161把保存于其中的合成画面提供给画面变换部 分140，或者提供给显示区提取部分260。
从保存在画面存储器161中的合成画面中，显示区提取部分260 提取位于被确定为显示目标的显示区的范围内的画面。显示区提取部 分260使显示存储器270保存提取的画面。如果保存在画面存储器161 中的合成画面中的对应于当前帧的画面的至少一部分延伸到显示区 之外，那么显示区提取部分260移动显示区，以致在从保存在画面存 储器161中的合成画面中提取位于显示区的范围内的画面之前，对应 于当前帧的画面将被完全容纳在显示区内。此外，如果指定固定在当 前帧之前的合成画面的显示模式，那么显示区提取部分260计算显示 区中对应于当前帧的画面的位置，并把计算的显示区中对应于当前帧 的画面的位置输出给画面合成部分151。另外，显示区提取部分260 参考画面存储器161的区域，计算关于当前显示区的仿射变换参数， 并把计算的仿射变换参数输出给声音变换信息计算部分191。后面将 参考图32-38及其它附图，详细说明从显示区的范围内提取画面，并 将参考图33、 34及其它附图，详细说明如何移动显示区。后面将参
48考图37详细说明如何计算显示区中对应于当前帧的画面的位置。另 外，将参考图32和35讨论如何计算关于当前显示区的仿射变换参数。
显示存储器270是保存显示区提取部分260从画面存储器161 提取的画面的显示緩冲器。保存在显示存储器270中的画面被显示在 显示部分180上。
显示控制部分171使显示部分180按帧顺序显示保存在显示存储 器270中的合成画面。
在显示控制部分171的控制下，显示部分18-显示保存在显示存 储器270中的合成画面。例如，可以个人计算机显示器或者电视显示 器的形式实现显示部分180。
声音变换信息计算部分191根据显示区中对应于当前帧的画面 的中心位置、角度或缩放系数，计算声音变换信息。具体地说，声音 变换信息计算部分191利用显示区中对应于当前帧的，并在从画面变 换部分140输出之后被保存在画面存储器161中的画面的中心位置、 角度和缩放系数，以及使用显示区提取部分260输出的关于当前显示 区的仿射变换参数的逆矩阵，计算显示区中对应于当前帧的画面的中 心位置、角度和缩放系数。另外，声音变换信息计算部分191具有声 音变换信息计算部分190的功能。声音变换信息计算部分190的功能 和上面说明的相同，从而不再进一步说明。另外，声音变换信息计算 部分191可直接从显示区提取部分260接收显示区中对应于当前帧的 画面的中心位置、角度或缩放系数。
操作接受部分231具有各种操作按键。当接受通过这些按键输入 的操作时，操作接受部分231把包含在接受的操作输入中的内容输出 给显示区提取部分260。例证地，操作接受部分231包括指示运动画 面的再现的再现指示按键，指示运动画面的显示缩放系数的显示缩放 系数指示按键，和设置再现运动画面的显示模式的设置按键。显示模 式可以是当与当前帧之前的各帧对应的合成画面被固定时，在仿射变 换的同时显示对应于当前帧的画面的模式；或者当对应于当前帧的画 面被固定时，在沿仿射变换参数的相反方向仿射变换的同时，显示合成画面的模式。即使在运动画面的再现期间，也可改变这些显示模式。
操作接受部分231也具有操作接受部分230的功能。操作接受部分230 的功能和上面所述的相同，从而不再进一步讨论。
图32是按照本发明的实施例，示意表示一方面的保存在运动画 面存储部分240中的运动画面的各帧与另一方面的显示区之间的关系 的示图。这里，只图解说明了画面存储器161、元数据存储部分250 和操作接受部分231，其它组件被省略。下面说明的是保存在元数据 文件251中的仿射变换参数256被用于在画面存储器161中创建关于 构成图30(b)中所示的运动画面文件241的帧"l"-"3"的合成画面的例 子。图32表示其中与在当前帧之前的各帧对应的合成画面被固定在 显示部分180上的情况。
图32(a)表示其中帧1(245)，即构成图30(b)中所示运动画面文件 241的各帧中的第一帧被保存在画面存储器161中的情况。例如，操 作接受部分231可以在与位于当前帧之前的各帧对应的合成画面被固 定的时候，接受指示保存在运动画面存储部分240中的运动画面文件 241的再现的再现指示操作的输入。这种情况下，如图32(a)中所示， 与运动画面文件241的帧1(245)对应的画面351被保存在画面存储器 161中。这里，在画面存储器中保存对应于第一帧的画面351的位置 可以预选确定，或者由操纵操作接受部分231的用户指定。另一方面， 可利用关于保存在元数据文件251中的运动画面文件241的仿射变换 参数256，计算从帧"l，，到帧"n，，的合成画面的大小，并根据该计算确 定保存画面351的位置。对于本例来说，假定画面存储器161中的画 面351的左上角被设为原点，水平方向(水平轴)用x轴表示，垂直方 向(垂直轴)用y轴表示。
如图32(a)中所示，当画面351被放入画面存储器161中时的实 际显示区被认为是显示区361。例证地，显示区361是根据保持的画 面351的位置和大小，并按照通过操作接受部分320接受的显示缩放 系数的值确定的。例如，如果对于与当前帧对应的画面的拉远操作， 指定了"0.5"的显示缩放系数，那么显示区361的大小为放置在显示区361的中心的画面351的大小的两倍。显示区361相对于画面351的 位置可由仿射变换参数确定。如果对于与当前帧对应的画面的拉远操 作，指定了"0.5"的显示缩放系数，那么利用仿射变换参数设置显示区， 从而x和y方向上的变焦分量被加倍。在显示区将相对于与当前帧对 应的画面平移或者旋转的情况下，通过使用仿射变换参数也可确定显 示区的位置和范围。
图32(b)表示帧2(246)，即构成图30(b)中所示的运动画面文件 241的帧之一，被保存在画面存储器161中的情况。这种情况下，如 上所述，利用保存与帧编号"1"和"2"(255)关联地保存在元数据文件 251中的仿射变换参数，变换与帧2(246)对应的画面352，并用变换 后的画面352重写画面351以便合成。这种情况下，例如，如果对应 于当前帧的画面352未延伸到显示区361的范围之外，那么显示区361 的位置和尺寸保持不变。下面参考图33和34详细说明的是对应于当 前帧的画面延伸到当前显示区的范围之外的情况。可以平行移动显示 区361，或相反与画面352相对于画面351的移动一致地操作显示区 361。
图32(c)表示帧3，即，构成图30(b)中所示的运动画面文件241 的帧之一，祐J果存在画面存储器161中的情况。同样在这种情况下， 如上所述，利用与帧编号"l"-"3"(255)关联地保存在元数据文件251 中的仿射变换参数变换对应于帧3的画面353，并用变换后的画面353 重写画面351和352以<更合成。
下面参考附图详细说明与当前画面的移动一致地移动显示区的处理。
图33是示意表示当对应于当前帧的画面延伸到显示区之外时， 移动显示区的处理的示图。图33(a)是表示一方面的包括对应于当前 帧，并4呆存在画面存储器161中的画面760的多个画面，和另一方面 的显示区759之间的关系的示图。由于当前画面760完全包括在显示 区759的范围之内，如图33(a)中所示，因此显示部分180完整地显 示当前画面760和其它画面。图33(b)是表示一方面的包括保存在画面存储器161中的当前画 面762的多个画面，和另一方面的显示区759之间的关系的示图。这 里，当前画面762是与图33(a)中所示的当前画面760之后的帧对应 的画面。如果当前画面762部分延伸到显示区759的范围之外，如图 33(b)中所示，那么当前画面760的一部分不被显示在显示部分180上。 在这种情况下，如图33(b)中所示，显示区提取部分260计算显示区 759的一侧和延伸到显示区759的范围之外的当前画面762之间的差 值763。显示区759随后被移动通过把附加值764增加到计算的差值 763中而获得的值。这里，所述附加值764例如是5个像素。另一方 面，显示区可被仅仅移动不添加任何附加值的差值。而图33(b)表示 当前画面762延伸到显示区761的右侧之外的情况，如果当前画面延 伸到显示区的上侧、下侧或左侧之外，那么可以使用相同的方法来移 动显示区。如果当前画面延伸到显示区的上侧、下侧、左侧和右侧中 的至少两个之外，那么可关于每个被超出的侧边计算所述差值，并根 据这样计算的差值，沿每个被超出侧边的方向移动显示区。
图33(c)表示根据在图33(b)中的状态下计算的差值763移动的显 示区765。
图34是表示当借助图33中所示的移动过程移动显示区时的实际 转变的例子的示图。图34(a)表示当显示区被移动时，画面存储器161 中的显示区的转变例子，图34(b)表示当显示区被移动时，显示在显 示部分180上的画面的转变例子。如这些图中所示，即使当在当前画 面767之后的画面延伸到显示区766外时，也能够与当前画面的位置 相一致地连续移动显示区766。例如，当在画面存储器161中发生从 画面767到当前画面769的移动时，显示区766与该移动相一致地4皮 移动到显示区768。这种情况下，当画面^皮显示在显示部分180上时， 实现从画面770到画面771的转变。按照这种方式，当显示在显示部 分180上的画面被放大或缩小时，当前画面总是能够被完整地显示在 显示部分180上。
下面参考

对应于当前帧的当前画面被固定在显示部分180上的情况。
图35是按照本发明的实施例，例证表示一方面的保存在运动画 面存储部分240中的运动画面文件中的帧，和另一方面的显示区之间 的关系的示图。和图32—样，这些视图仅仅示出了画面存储器161、 元数据存储部分250和操作接受部分231，其它组件被省略。下面说 明的是其中利用保存在元数据文件21中的仿射变换参数256，关于构 成图30(b)中所示的运动画面文件241的帧"l，，-"3，，，在画面存储器161 中创建合成画面的例子。
和图32(a)—样，图35(a)表示帧"l，，(245)被保存在画面存储器161 中的情况。图35(a)中所示的画面351和显示区361的位置和大小与 图32(a)中的相同，从而不再进一步详细说明。本例中，按照对应于 当前帧的画面的变换，变换显示区，则对应于帧1(245)的仿射变换参 数是单位矩阵参数。为此，仅仅考虑到通过操作接受部分231指定的 显示缩放系数，确定对应于帧1(245)的显示区361。
和图32(b)—样，图35(b)表示帧2(246)被保存在画面存储器161 中的情况。这种情况下，和图32(b)中一样，对应于帧2(246)的画面 352被变换，画面351被变换后的画面352重写，显示区也被仿射变 换。即，参考画面351的位置和大小，利用与帧编号"1"和"2"(255) 关联地保存在元数据文件251中的仿射变换参数，变换对应于帧2(246) 的画面352。利用按照通过操作接受部分231接受的显示缩放系数的 值确定的仿射变换参数，变换画面352的位置和大小。由变换后的位 置和大小确定的区域变成显示区362。具体地说，如果假定对应于帧 编号"1，，和"2"(255)的仿射变换参数矩阵分别用Al和A2表示，并且 由通过操作接受部分231接受的显示缩放系数的值确定的仿射变换参 数矩阵由B表示，那么获得值"AlxA2xB"。参考画面351的位置和大 小，利用这样获得的矩阵"AlxA2xB"，确定显示区362。
和图32(c)—样，图35(c)表示帧3^L保存在画面存储器161中的 情况。同样在这种情况下，如上所述，对应于帧3的画面353被变换， 画面351和352被变换后的画面353重写，以便合成，显示区被仿射变换，以关于画面353确定显示区363。具体地说，如果假定对应于 帧编号"l"-"3"(255)的仿射变换参数矩阵分别用Al-A3表示，并且由 通过操作接受部分231接受的显示缩放系数的值确定的仿射变换参数 矩阵由B表示，那么获得值"AlxA2xA3xB"。参考画面351的位置和 大小，利用这样获得的矩阵"AlxA2xA3xB"，确定显示区363。
图36概述当指定把对应于当前帧的画面固定在显示部分180上 的显示;f莫式时，放大地在显示部分180上显示运动画面的方法。图36(a) 是概述当放大显示在显示部分180上的运动画面时，显示区的实际转 变的示图。图36(b)是表示当图36(a)的显示区698和699内的画面朝L 显示在显示部分180中时，实际的典型显示图的示图。
图36(b)表示在由图36(a)中所示的显示区698从画面存储器161 取回之后，显示在显示部分180上的画面730。在显示图36(b)的画面 730的情况下，如果通过操作接受部分231接受指示放大显示的操作， 那么显示区提取部分260与指定放大显示的操作相一致地减小显示区 的尺寸。所述尺寸减小处理是按照使当前画面697停留在显示区的中 心的方式进行的。即，如上所述，利用由通过操作接受部分231接受 的显示缩放系数的值确定的仿射变换参数，变换画面679的位置和大 小，依据变换后的位置和大小确定显示区698。由于本例中输入了扩 大显示缩放系数的操作，因此与被扩大的显示缩放系数相一致地确定 仿射变换参数的变焦分量。
例证地，如图36(a)中所示，显示区698的尺寸^皮减小，从而变 成显示区699。图36(b)表示在由图36(a)中所示的显示区699从画面 存储器161取回之后，显示在显示部分180上的画面731。按照这种 方式，当显示画面时，仅仅改变显示区的大小就能够放大或缩小包括 对应于当前帧的画面在内的画面。
如上所述，通过显示存在于显示区的范围之内，并且放置在画面 存储器161中的画面，能够连续显示被再现的合成画面。这里，当当 前画面被仿射变换，并被合成到画面存储器161中时，能够进行尺寸 减小处理或类似处理。从而，当通过增大显示缩放系数，放大地显示当前画面时，包括对应于当前帧的画面的合成画面会变模糊。在这种
情况下，利用还将被合成到画面存储器161中的画面，显示包括被再 现的当前画面的合成画面。下面将参考附图，详细说明这种显示方法。
图37和38是示意表示保存在本发明的实施例中的运动画面存储 部分240中的运动画面文件的帧的流动的示图。在这些附图中，只图 解说明了与运动画面存储部分240、元数据存储部分250、画面存储 器161和显示存储器270相关的部分，其它组件被省略。图37表示 与在当前帧之前的各帧对应的合成画面被固定在显示部分180上的情 况，图38表示对应于当前帧的画面被固定在显示部分180上的情况。
图37(a)是图30(b)中所示的运动画面文件241和元数据文件251 的简化示图。下面说明显示与帧i(247)，即，构成运动画面文件241 的帧之一对应的画面的例子。即，假定已创建了与构成运动画面文件 241的帧l-"i-l"对应的合成画面。另外^(叚定图32中所示的显示区361 已与当前画面的移动相一致地被向右移动。
图37(b)是保持由与构成运动画面文件241的各帧对应的画面组 成的合成画面的画面存储器161的示意图。如图32(b)中所示，与构 成运动画面文件241的帧1(245)对应的画面351首先被保存在画面存 储器161中。在画面351;故保存在画面存储器161中之后，利用与帧 2-"i-l"关联地保存在元数据文件251中的仿射变换参数256，连续仿 射变换与构成运动画面文件241的帧2-"i-l"对应的画面，并连续用仿 射变换的画面重写画面存储器161;所得到的画面被保存在该存储器 中。显示区提取部分260从保存在画面存储器161中的合成画面中， 按帧提取存在于按照通过操作接受部分231输入的指示显示缩放系数 的操作确定的显示区内的画面。
在从对应于帧l-"i-l"的画面得到的合成画面被保存在画面存储 器161中的时候，利用与帧i关联地保存在元数据文件251中的仿射 变4灸参数的值"ai、 bi、 ci、 di、 ei、 fi"，仿射变换与构成运动画面文 件241的帧i(247)对应的画面，并用保存在画面存储器161中的仿射 变换的当前画面692重写画面存储器161。显示区提取部分260从保
55存在画面存储器161中的合成画面中，提取存在于按照通过操作接受 部分231输入的指示显示缩放系数的操作确定的显示区690内的画 面，并例证地使显示存储器270保存提取的画面，如图37(c)中所示。
图37(c)示意表示保持由显示区提取部分260提取的画面的显示 存储器270。这里，显示区提取部分260提取的画面中对应于当前帧 的当前画面693不是由显示区提取部分260从画面存储器161提取的 当前画面692，而是从运动画面存储部分240获得的，并由画面变换 部分140仿射变换的画面。这里，显示存储器270中保存当前画面693 的位置可由画面存储器161中当前画面692的位置和大小，以及由画 面存储器161中显示区690的位置和大小确定。例如，如果假定与帧 编号"l"-"i"(255)关联地保存在元数据文件251中的仿射变换参数矩 阵由Al、 ...Ai表示，并且确定显示区6卯的仿射变换参数矩阵(例如， 关于画面存储器161的矩阵)用C表示，那么对于画面351的位置， 可以使用inv(C)x(Alx...xAi),以便确定在显示存储器270中，保持 当前画面693的位置。
如图37(c)中所示，显示区提取部分260提取的画面被保存在显 示存储器270中，显示区提取部分260提取的画面被从运动画面存储 部分240获得的，并由画面变换部分140仿射变换的画面重写；仿射 变换的画面被保存在显示存储器270中。保存在显示存储器270中的 画面被显示在显示部分180上。按照这种方式，通过使用在仿射变换 后的缩小或其它处理之后，仍将净皮保存在画面存储器161中的画面， 能够显示较清晰的当前画面。另外，即使当通过用户的操作放大或者 以其它方式处理画面时，也能够清晰地显示当前画面。
图38(a)是图30(b)中所示的运动画面文件241和元数据文件251 的筒化示图。图38(a)中所示的运动画面存储部分240和元数据存储 部分250,以及保存在图38(b)中所示的画面存储器161中的合成画面 都与图37(a)和(b)中所示的相同，从而不再进一步讨论。
图38(b)示意表示保存图37(b)中所示的从画面351到当前画面 692的合成画面的画面存储器161，并用虛线表示图35(b)中所示的显示区361。本例中，如图35中所示，与当前画面692相一致地通过仿 射变换计算显示区，以4更把对应于当前帧的画面的位置固定在显示部 分180上。即，参考对应于当前帧的画面351,利用与帧编号"r，-"i"(255) 关联地保存在元数据文件251的仿射变换参数256，对应于帧i(247) 的画面^^变换成画面692，变换后的画面692^f皮保存在画面存储器161 中。就对应于帧i(247)的显示区695来i兌，显示区692由利用仿射变 换参数变换的画面的位置和大小确定，所述仿射变换参数是由通过操 作接受部分231接受的显示缩放系数的值确定的。显示区的确定是由 显示区提取部分260完成的。
图38(c)示意表示保存显示区提取部分260提取的画面的显示存 储器270。这里，保存在显示存储器270的画面(即，除当前画面696 外的画面)是由显示区提取部分260提取的(即，在显示区695的范围 内找到的)，并使用用于变换显示区695的仿射变换参数矩阵的逆矩阵 变换的画面。即，通过仿射变换，放置在画面存储器161中的显示区 可被整形成平行四边形。为了使显示区180在这样仿射变换的显示区 内显示合成画面，利用用于仿射变换当前画面的仿射变换参数矩阵的 逆矩阵，变换显示区内的合成画面。例如，如果假定与帧编号 "l，，-"i，，(255)关联地保存在元数据文件251中的仿射变换参数矩阵用
Al..... Ai表示，并且确定显示区695的仿射变换参数矩阵(例如，
关于对应于当前帧的画面的矩阵)用B表示，那么inv(Alx…xAixB) 被用作变换显示区中的合成画面的矩阵。按照这种方式，如图38(c) 中例证所示，变换成平行四边形的画面可被进一步变换成能够显示在 显示部分180上的矩形。显示区提取部分260提取的画面中对应于当 前帧的画面696不是由显示区提取部分260从画面存储器161提取的 画面，而是在采集自运动画面存储部分240之后仍将被仿射变换的画 面。这里，显示存储器270中保存画面696的位置，和存储器270中 该画面696的大小由来自操作接受部分231的显示缩放系数确定。
如图38(c)中所示，显示区提取部分260提取的画面被保存在显 示存储器270中，显示区提取部分260提取的画面被从运动画面存储部分240获得的画面重写；获得的画面被保存在显示存储器270中。 按照这种方式，在指定把对应于当前帧的画面显示在固定位置的显示 模式的情况下，通过使用逆矩阵，仿射变换的合成画面可被恢复成仍 要被仿射变换的状态以便显示。另外，和图37的情况一样，能够较 清晰地显示对应于当前帧的画面。
如上所述，待保存在画面存储器161中的合成画面能够由按照两 种显示模式之一，再现运动画面的单一方法创建，以致在运动画面再 现期间，所述两种显示模式能够从一种模式改变成另一种模式。由此 得出结论在观看再现的运动画面的时候，观众能够切换到希望的显示 模式。例如，假定在按照图37中所示的显示模式的运动画面再现期 间，喜爱的人物出现在当前画面的中间，以致希望把该人物置于显示 部分180的中心以便观看。这种情况下，通过操作接受部分231接受 的显示模式改变操作能够把运动画面再现切换成图38中所示的显示 模式。由于当前画面可以是在采集自运动画面存储部分240之后仿射 变换的画面，而不是保存在画面存储器161中的合成画面，因此能够 观看到较清晰的画面。
图39和40是表示构成由作为本发明的实施例的画面处理设备 680执行的运动画面再现处理的步骤的流程图。在图39-41中所示的 步骤中，步骤S921、 S926、 S927、 S928、 S939和S941和图27中的 相应步骤相同，从而用相同的附图标记表示这些步骤，不过不再进一 步讨论。
响应通过操作接受部分231输入的操作，内容获得部分120获得 保存在运动画面存储部分240中的运动画面文件，以及与该运动画面 文件关联，并保存在元数据存储部分250中的元数据(步骤S961)。随 后，内容获得部分120解码运动画面文件，从中获得构成运动画面文 件的当前帧的画面，和对应于该画面的声音(步骤S962)。之后，内容
(步骤S963)。
随后，用对应于当前帧的变换后画面重写合成画面，所得到的画面被保存在画面存储器161中(步骤S928)。之后，显示区提取部分260 确定是否指定了把固定对应于当前帧的画面的显示模式(步骤S964)。 如果指定了固定对应于当前帧的画面的显示模式，那么显示区提取部 分260利用从第一帧到当前帧的仿射变换参数，和实际对应于显示缩 放系数的仿射变换参数，确定显示区的位置和大小(步骤S965)。随后， 显示区提取部分260从画面存储器161提取包括在显示区中的合成画 面(步骤S966)。随后，显示区提取部分260利用用于确定显示区的仿 射变换参数矩阵的逆矩阵，仿射变换从画面存储器161提取的合成画 面(步骤S967)。
随后，显示区提取部分260把从画面存储器161提取的仿射变换 后的合成画面保存在显示存储器270中(步骤S968)。之后，画面合成 部分151用当前画面重写保存在显示存储器270中的合成画面以便合 成(步骤S969)。之后，显示部分180显示保存在显示存储器270中的 合成画面(步骤S970)。之后进行声音变换处理(步骤S980)。
如果在步骤S964中，发现未指定固定对应于当前帧的画面的显 示模式，那么显示区提取部分260利用对应于缩放系数的仿射变换参 数，确定显示区的位置和大小(步骤S971)。如果发现显示区与当前画 面的变换相一致地移动，那么可以改为使用最近移动的显示区的位 置。
随后，显示区提取部分260确定保存在画面存储器161中的当前 画面是否延伸到显示区之外(步骤S972)。如果未发现保存在画面存储 器161中，并对应于当前帧的画面延伸到显示区之外(即，整个当前画 面包含在显示区的范围之内)，那么显示区提取部分260从画面存储器 161中提取包括在显示区中的合成画面(步骤S973)。随后，显示区提 取部分260把从画面存储器161提取的合成画面保存在显示存储器 270中(步骤S974)。
之后，显示区提取部分260利用用于变换对应于当前帧的画面的 仿射变换参数矩阵，和用于确定显示区的仿射变换参数矩阵的逆矩 阵，确定显示存储器270中对应于当前帧的画面的位置(步骤S975)。
59之后，画面合成部分151用对应于当前帧的画面重写保存在显示存储 器270中的合成画面，以便合成(步骤S976)。随后到达步骤S970。
如果在步骤S972中，发现保存在画面存储器161中的当前画面 延伸到显示区之外(即，当前画面的至少一部分未被包括在显示区的范 围内)，那么显示区提取部分260计算显示区的一侧和延伸到显示区之 外的当前画面之间的差值(步骤S977)。随后，显示区提取部分260根 据计算的差值移动显示区(步骤S978)。之后到达步骤S973。
图41是表示构成作为本发明的实施例的画面处理设备680执行 的声音变换处理(即，步骤S980中的过程)的典型步骤的流程图。在所 示的步骤中，步骤S952、 S953和S954与图28中所示的相应步骤相 同，从而用相同的附图标记表示它们，但不再进一步讨论。
首先，显示区提取部分260参考画面显示区161的区域，输出关 于当前显示区的仿射变换参数(步骤S981)。利用关于显示区的仿射变 换参数，以及使用画面变换部分140输出的对应于当前帧的画面的中 心位置、角度和缩放系数，计算声音变换信息(步骤S982)。
下面参考

本发明的实施例的第三变体。
图42是表示作为本发明的实施例的画面处理设备740的典型功 能结构的方框图。这里，画面处理设备740是图31中所示的画面处 理设备680的局部改变的变体。通过用目标画面变换信息计算部分280 和相对关系信息存储部分290补充图31中的画面处理设备680的功 能结构，并分别用内容获得部分121、画面变换部分141、音量控制 部分630和声音相加部分640代替内容获得部分120、画面变换部分 140、音量控制部分201和声音相加部分202，实现画面处理i殳备740。 该结构允许画面处理设备740转换与在单一显示屏幕上再现的多个运 动画面相关的声音。运动画面存储部分240、元数据存储部分250、 画面合成部分151、声音变换信息计算部分191、声音输出控制部分 210和扬声器220的配置与图31中所示的画面处理设备的相应部分的 配置相同，从而不再进一步详细讨论。
响应通过操作接受部分232接受的输入操作，内容获得部分121获得保存在运动画面存储部分240中的一个或多个运动画面文件，与 这些运动画面文件关联地保存在元数据存储250中的元数据文件，和 与这些运动画面文件共同关联地保存在相对关系信息存储部分290中 的至少 一个相对关系元数据文件，并把获得的文件的信息提供给相关 部分。具体地说，如果操作接受部分232接受指示在合成多个运动画 面的时候，再现所述多个运动画面的多活动画面合成和再现模式的输 入操作，那么内容获得部分121获得保存在运动画面存储部分240中 的多个运动画面文件，与这些运动画面文件关联地保存在元数据存储 部分250中的元数据文件，和与这些运动画面文件共同关联地保存在 相对关系信息存储部分290中的一个相对关系元数据文件；并把获得 的运动画面文件的运动画面，和元数据文件的仿射变换参数输出给画 面变换部分141。另外，内容获得部分121把包含在获得的元数据文 件的相对关系元数据文件中的内容输出给目标画面变换信息计算部 分280。内容获得部分121具有内容获得部分120的功能。内容获得 部分120的功能和上面讨论的功能相同，从而不再进一步讨论。
画面变换部分141利用对应于画面的仿射变换参数，按帧对构成 内容获得部分121所输出的运动画面文件的运动画面的画面进行仿射 变换。画面变换部分141把仿射变换后的画面输出给画面合成部分 151。这里，如果指示了多运动画面合成和再现模式，那么画面变换 部分141把作为再现目标的多个运动画面之一视为参考运动画面，并 利用与构成该参考运动画面的画面对应的仿射变换参数，按帧对该参 考运动画面进行仿射变换。另一方面，画面变换部分141利用目标画 面变换信息计算部分280计算的目标画面变换信息(仿射变换参数)， 和与构成运动画面的画面对应的仿射变4灸参数，按帧对除作为再现目 标的参考运动画面之外的多个运动画面进行仿射变换。另外，画面变 换部分141具有画面变换部分140的功能。画面变换部分140的功能 和上面说明的功能相同，从而不再进一步讨论。后面将参考图44和 其它附图详细讨论变换运动画面的另一种方法。
操作接受部分232具有各种输入按键。在接受通过这些按键输入的操作之后，操作接受部分232把包含在输入的操作中的内容输出给 内容获得部分121、画面变换部分141、或者显示区提取部分260。例 证地，操作接受部分232包括从保存在运动画面存储部分240中的一 个或多个运动画面文件中选择希望的运动画面的操作选择按键，指示 普通的运动画面再现的再现指示按键，停止再现运动画面的停止按 键，指示运动画面的显示缩放系数的显示缩放系数指示按键，及设置 多运动画面合成和再现模式的多运动画面合成和再现设置键。这些按 键中的每一个都可被赋予多种功能。另外，至少一部分的操作接受部 分232和显示部分180可被集成为触敏面板。
在指示了多运动画面合成和再现模式的情况下，目标画面变换信 息计算部分280根据内容获得部分121输出的元数据文件和相对关系 元数据文件中的仿射变换参数，把构成作为再现目标的多个运动画面 之一的至少一个画面视为参考画面，并把构成其它运动画面的画面视 为目标画面，并计算供变换目标画面之用的目标画面变换信息。计算 的目标画面变换信息,皮输出给画面变换部分141。例证地，指定运动 画面的参考画面可以是构成所考虑的运动画面的各个画面之中，对应 于第一帧的画面。目标画面变换信息一般由用于关于参考画面，变换 目标画面的仿射变换参数组成。
图43是示意表示在本发明的实施例中，记录在运动画面存储部 分240和相对关系信息存储部分290中的文件的示图。本例中示意表 示的是保存在运动画面存储部分240中的运动画面文件241-244，和 与运动画面文件241-244关联地保存在相对关系信息存储部分290中 的相对关系元数据文件291-293。本例中说明的是如何与保存在相对 关系信息存储部分290中的相对关系元数据文件291-293关联地保存 构成运动画面文件(#1)241的帧"5"741和"8"742，构成运动画面文件 (#2)242的帧"7"743和"9"744，以及构成运动画面文件(#3)243的帧 "3"745和"10"746。保存在运动画面存储部分240中的运动画面文件 和图30中所示的相同，从而不再进一步讨论。
运动画面ID 294、帧编号295和仿射变换参数296相互关联地分别被保存在相对关系元数据文件291-293中。
运动画面ID 294被附到与其间至少具有三个叠合点的两个画面 对应的两个运动画面文件上。例如，附到运动画面文件241上的"弁1" 和附到运动画面文件242上的"#2"皮保存在相对关系元数据文件291 中。
帧编号295是与其间至少具有三个叠合点的两个画面对应的两 帧的序列号。例如，构成运动画面文件241的运动画面的帧的帧编号 "5"和构成运动画面文件242的运动画面的帧的帧编号"7"皮保存在相 对关系元数据文件291中。
关于与运动画面ID 294和帧编号295对应的至少两个画面计算 仿射变换参数296。例如，相对关系元数据文件291包含与构成运动 画面文件241的运动画面的帧"5"，及构成运动画面文件242的运动 画面的帧"7"对应的仿射变换参数"ao、 bo、 co、 do、 eo、 fo"。对于本 发明的该变体来i兌，4叚定在与两个运动画面ID 294和两个帧编号295 对应的两个画面中，当对应于图43中的下层帧编号的画面祸L视为参 考画面，对应于上层帧编号的画面被视为目标画面时，应用仿射变换 参数296。例如，包含在相对关系元数据文件291中的仿射变换参数 296是构成运动画面文件(#1)241的运动画面的帧"5"(741)，及构成运 动画面文件(#2)242的运动画面的帧"7"(743)的仿射变换参数。
图44是示意表示合成两个运动画面的例子的示图。这些例子是 ^兌明的是如1可合成构成运动画面370的画面371-384及构成运动画面 390的画面391-397。其内部用阴影表示的画面378和394 ^皮假定为与 包含在关于运动画面370和3卯的相对关系元数据中的帧编号对应。
图44(a)表示通过利用与对应帧关联地保存的仿射变换参数，构 成运动画面370的画面371-384被连续仿射变换，并被合成到画面存 储器161中的情况。例如，对应于第一帧的画面371首先被保存在画 面存储器161中。参考画面371连续仿射变换画面372-384，并将其 合成到画面存储器161中。由仿射变换产生的当前画面的流动由箭头 385表示。即，画面371-384沿着箭头385被连续合成。图44(b)表示通过利用与对应帧关联地保存的仿射变换参数，构 成运动画面390的画面391-397 ,皮连续仿射变换，并纟皮合成到画面存 储器161中的情况。图44(c)表示利用包括在关于运动画面370和3卯 中的相对关系元数据中的仿射变换参数，在画面391被视为参考画面 的情况下，对画面394进行仿射变换产生的画面378和394之间的相 对位置关系。这里，图44(b)中所示的合成画面由在图44(c)中所示的 画面378和394之间的相对位置关系被视为基准的情况下被合成的画 面391-397产生。由仿射变换产生的当前画面的流动由箭头398表示。 即，画面391-397沿着箭头398被连续合成。图44(d)表示如上所述， 在图44(c)中的画面378和384之间的相对位置关系被视为基准的情况 下，合成图44(a)和44(b)中的合成画面的例子。图44(d)的例子表示画 面378和394被同时再现，就同时被再现的画面来说，运动画面370 ,皮运动画面390重写。
下面说明关于保持运动画面的具体位置的计算。首先，确定构成 多个运动画面之一的至少一个运动画面的位置。例如，确定与构成运 动画面370的第一帧对应的画面371的位置。所述确定的位置可由操 纵操作接受部分232的用户指定，或者使用通过上述计算获得的位置 来确定。随后计算保持构成另一运动画面的至少一个画面的位置。例 如，假定与和画面371-384对应的帧相关的仿射变换参数矩阵用 Al-A14表示；与和画面391-397对应的帧相关的仿射变换参数矩阵用 Bl-B7表示；与运动画面370和3卯关联地保存的相对关系元数据的 仿射变换参数矩阵用Cl表示；并且参考画面是画面371。这种情况 下，参考画面存储器161中保存画面371的位置，通过Al-A8的乘法， 即，使用Alx…xA8计算保存画面378的位置。参考画面存储器161 中保存画面371的位置，通过Al-A8和Cl的乘法，即，使用 Alx…xA8xCl计算保存画面394的位置。这里，例证地通过Al-A8 和Cl 的乘法及Bl-B4 的逆矩阵的乘法，即，使用 "Alx…xA8xClxInv(Blx…xB4)"来计算保存画面391的位置，计算 保存与运动画面390的第一帧对应的画面391的位置。另外，通过利
64用A1-A8和C1，以及B1-B4或B5-B7的逆矩阵，可类似地计算保存 构成运动画面390的其它画面的位置。
构成除包含参考画面的运动画面之外的运动画面的画面是利用 用于计算保存对应于第一帧的画面的位置的矩阵，和与画面相关的仿
射变换参数仿射变换的。例如，如果运动画面390中的画面392要被 仿射变换，那么对应于画面392的矩阵B2被用于涉及矩阵 "Alx…xA8xClxInv(B3xB4)"的变换。作为另一例子，同样地利用矩 阵"Alx…xA8xClxInv(B4)，，仿射变换运动画面390中的画面523。按 照类似的方式，变换运动画面390中的每个画面。
如上所述，当合成和再现多个运动画面时，可以关于指定的运动 画面首先确定画面存储器161中参考画面的位置和大小。随后，利用 与每个运动画面相关的元教据文件，和与运动画面相关的相对关系元 数据文件，计算每个其它画面的位置和大小。从而，这使得在合成和 再现多个运动画面的情况下，能够从任意运动画面中的任意位置开始 再现。例如，图44(d)的例子表示在画面存储器161中，首先合成构 成运动画面370的画面371-374，随后合成构成运动画面390的画面 391。即，画面375和391 4皮同时合成，之后画面376和392 #皮同时 合成。后续画面同样如此。尽管本例表示就同时被再现的画面来产， 运动画面370被运动画面3卯重写，不过可以操纵操作接受部分230， 以指示用其重写另一运动画面的所需运动画面。
下面说明由作为本发明的实施例的画面处理设备740执行的声 音变换处理。
图45是表示在作为本发明的实施例的画面处理设备740中的声 音变换处理部分200的典型结构的方框图。下面说明的是当同时再现 第一运动画面和第二运动画面时，生成左右声道的输出声音的典型变 换处理。假定第一和第二运动画面的输入声音由左右声道构成。从而， 下面说明其音量控制部分630和声音相加部分640分别替代图31中 的音量控制部分201和声音相加部分202的声音变换处理部分200的 功能。声音变换处理部分200的基本结构和图17中所示的相同，从而下面将简要提及其结构。
音量控制部分630具有音量放大器631-638。音量放大器631-634 根据由声音变换信息计算部分191供给的关于第一运动画面的声音变 换信息RR^ RLp LR和L"，；改大第一运动画面的左右声道的输 入声音。音量放大器635-638根据由声音变换信息计算部分191供给 的关于第二运动画面的声音变换信息RR2、 RL2、 LR2和LL2，》文大 第二运动画面的左右声道的输入声音。
声音相加部分640具有声音加法器641-646。声音加法器641和 642相加第一运动画面的左右声道的输入声音。声音加法器643和644 相加第二运动画面的左右声道的输入声音。声音力。法器645相加第一 和第二运动画面的右声道的输出声音。声音加法器646相加第一和第 二运动画面的左声道的输出声音。
图46是表示当作为本发明的实施例的画面处理设备740同时再 现两个运动画面时进行的声音变换处理的例子的示图。图46的例子 表明两个被再现的运动画面651和652被显示在显示部分180的显示 屏幕上。这种情况下，如上所述，首先通过与和对应于^C再现运动画 面651和652的当前帧对应的画面的中心位置、角度或缩放系数相一 致地变换每个声道的输入声音，产生输出声音。随后在每个相同的声 道上，相加关于被再现的运动画面651和652的输出声音，之后输出 给右扬声器221和左扬声器222。关于这样产生的输出声音的关系表 达式如下所示
R'=(Rr+R2')/2
L'=(Ll'+L2')/2
其中 R1^R1.RR!+L1.LR！ ， Ll'-Rl.RI^+Ll'LLi ， R2'=R2RR2+L2.LR2， L2'=R2RL2+L2.LL2。 R1和L1代表第一运动 画面的右声道和左声道的输入声音，R2和L2代表第二运动画面的右 声道和左声道的输入声音。RR!、 RLp L&和LL对应于关于第一运 动画面的声音变换信息，RR2、 RL2、 LR2和LL2对应于关于第二运动 画面的声音变换信息。除了在步骤S982中，在每个相同的声道上相加多个运动画面的 输出声音之外，构成由作为本发明的实施例的画面处理设备740执行 的声音变换处理的典型步骤和上面讨论的那些步骤相同。该处理的其 余步骤相同，从而不再进一步讨论。
上面说明了其中根据关于运动画面的运动信息，变换声音的例 子。不这地，本发明的实施例也可适用于根据除关于运动画面的运动 信息外的其它信息，变换声音的情况。作为这种应用的一个例子，下 面参考

本发明的实施例的第四变体。在下面的说明中，将只 说明图1中所示的内容获得部分120和画面变换部分140的功能；其 它结构和上面讨论的那些功能相同，从而不再进一步说明。
内容获得部分120获得表示运动画面在显示部分180上的显示区 的模板信息。该模板信息定义在显示屏幕上显示多种信息的显示区。 例证地，定义显示运动画面的运动画面显示区和显示文本字符的字符 显示区。
画面变换部分140根据内容获得部分120输入的模板信息，变换 画面。即，该变换被设计成在由模板信息定义的显示屏幕上的显示区 中显示运动画面。在采集自模板信息之后，画面变换部分140把与当 前帧对应的画面的中心位置、角度或缩放系数输出给声音变换信息计 算部分190。
图47是按照本发明的实施例，表示根据除关于运动画面的运动 信息之外的其它信息，变换声音的处理的例子的示图。图47(a)表示 其中运动画面653净皮显示在显示部分180的显示屏幕的左侧，关于运 动画面的信息以文本形式被显示在所述显示屏幕的右侧的例子。这 里，显示屏幕上运动画面653的中心位置位于显示屏幕的左侧，以致 使左扬声器222的输出声音的输出率高于右扬声器221的输出声音的 输出率。这种情况下，画面变换部分140从表示运动画面的显示区的 模板信息获得运动画面653的中心位置和缩放系数，并把所包含的内 容输出给声音变换信息计算部分191。图47(b)表示其中显示部分180 的显示区被一分为二，以便显示运动画面的例子。这里，运动画面654
67被显示在显示屏幕的左半部，运动画面655被显示在显示屏幕的右半 部，以致与运动画面654和655的中心位置相一致地产生运动画面654 和655的每个声道上的输出声音。运动画面654和655的每个相同声 道上的输出声音被相加，并被输出给右扬声器221和左扬声器222。 这种情况下，画面变换部分140从关于显示区的拆分的模板信息获得 运动画面654和655的中心位置和缩放系数，并把所包含的内容输出 给声音变换信息计算部分191。
下面参考附图详细说明配置成检测保存在图29、 31和42中所示 的元数据存储部分250中的仿射变换参数的照相机工作检测部分480。 图1中所示的画面变换信息供给部分130的结构和照相机工作检测部 分480的结构类似，从而也能够检测仿射变换参数。
图48是表示本发明的实施例中的照相机工作检测部分480的典 型功能结构的方框图。照相机工作检测部分480具有特征点提取部分 481、光流计算部分482和照相机工作参数计算部分483，并与运动画 面输入部分470和记录控制部分490连接。本例中，只图解说明与照 相机工作检测部分480相关的结构；不再进一步指示或说明其它结构。
运动画面输入部分470输入由诸如数字摄像机之类成像设备拍 摄的运动画面。运动画面输入部分470把输入的运动画面输出给照相 机工作检测部分480。
记制控制部分4卯与对应的运动画面和帧关联地记录由照相机 工作检测部分480以元数据文件的形式输出给元数据存储部分250的 仿射变换参数。
特征点提取部分481从与构成运动画面输入部分470输出的运动 画面的各帧对应的画面中提取特征点，并把提取的特征点输出给光流 计算部分482。这里，特征点提取部分481从与构成运动画面输入部 分470输出的运动画面的各帧中的第一帧对应的整个画面中提取特征 点。就与除第一帧外的各帧对应的每个画面来说，特征点提取部分481 从与和前一帧对应的画面相比，新拍摄的各个画面区部分中提取特征
点。例证地，均在垂直方向或水平方向具有过高的边缘梯度的那些点(通常称为角点)可被提取为特征点(下面称为角点)。角点是非常有益于
计算光流的特征点，可通过边缘检测来获得。例如，可利用图2和3 中所示的提取方法获得角点。本例中，特征点提取部分481从对应于 第一帧的整个画面中提取特征点，并关于与除第一帧外的各帧对应的 每个画面，从与对应于前一帧的画面相比新拍才聂的各个画面区部分中 提取特征点。不过，取决于可用的吞吐量，也可从与除第一帧外的每 一帧对应的整个画面中提取特征点。
光流计算部分482计算由特征点提取部分481输出的特征点的光 流，并把计算的光流输出给照相机工作参数计算部分483。具体地说， 比较与构成由运动画面输入部分470输出的运动画面的两个连续帧 (当前帧和前一帧)对应的画面，从而获得和对应于前一帧的画面中的 特征点对应的光流，作为当前帧的光流。关于构成运动画面的每一帧 获得光流。作为检测光流的方法，可以使用梯度方法或者块匹配方法。 例证地，可通过图2和3中所示的计算获得光流。
照相机工作参数计算部分483利用光流计算部分482输出的与特 征点对应的光流，进行照相机工作参数计算处理，以计算照相机工作 参数。这样计算的照相机工作参数被保存在元数据存储部分250中。 这里，本发明的实施例与成像设备的运动相一致地变换和显示构成作 为再现目标的多个运动画面的画面。为了进行画面变换，本实施例利 用光流计算部分482计算的光流，提取成像设备的运动，并根据提取 的运动计算照相机工作参数(变换参数)。对于本发明的实施例来说， 仿射变换被用作典型的画面变换方法，这里说明了该方法，该方法变 换构成作为再现目标的运动画面的画面。和为典型的照相机工作参 数，这里说明的是与根据光流计算的仿射变换参数矩阵的逆矩阵对应 的仿射变换参数。即，按照本发明的实施例，用作变换信息的仿射变 换参数不被定义为表示连续画面之间特征点的运动的仿射矩阵，而是 被定义成与表示在指定参考画面之后的画面移动到的地方的仿射矩 阵对应的仿射变换参数，所述参考画面是所述连续画面之一。尽管这 里把仿射变换参数说明成典型的照相机工作参数，不过可以改为利用某种其它的画面变换方法，比如投影变换。利用三点矢量可计算和获 得仿射变换参数，而利用四点矢量可计算和获得投影变换参数。这里， 照相机工作参数构成用于参考构成所摄运动画面的至少 一个所摄画 面，变换所摄画面的变换信息，包括至少在成像设备的坐标系中描述 的位置信息和姿态信息。即，照相机工作参数包括摄像者操控的成像
设备的位置和姿态信息。根据照相机工作参数计算部分483获得的仿 射变换参数，还能够估计由摄像者的操作，比如拉近、拉远、遥摄、 倾斜和旋转引起的成像设备的运动。例如，通过图2和3中所示的计 算，可获得仿射变换参数。
下面参考附图详细说明在本发明的实施例中，多核处理器800 是如何进行特征点提取处理和光流计算处理的。这里，将举例说明由 特征点提取部分481进行的特征点提取处理，和由光流计算部分482 执行的光流计算处理。
图49是表示本发明的实施例中的多核处理器800的典型结构的 方框图。多核处理器800是在单个CPU(中央处理器)封装中包含不同 种类的多个处理器核芯的处理器。即，为了以简化的结构保持各个处 理器核芯的性能，多核处理器800包含两种多处理器核芯 一种致力 于通用应用，另一种在一定程度上被优化，以便更好地处理专用应用。
多核处理器800具有控制处理器核芯801，算术处理器核芯 (#1)811- (#8)818，和总线802，并与主存储器781连接。另外，多核 处理器800与其它装置，比如图形装置782和I/0装置783连接。作 为多核处理器800，可以采用由本申请人和其他公司开发的称为 "Cell(单元宽带引擎)"的微处理器。
控制处理器核芯801主要实现由操作系统进行的频繁线程切换。 后面将参考图50详细说明控制处理器核芯801。
算术处理器核芯(#1)811-(#8)818是特别适合于多媒体处理的简 单的小尺寸算术处理器核芯。后面将参考图51详细说明算术处理器 核芯(#1)811-(#8)818。
总线802是称为EIB(元件互连总线)的高速总线，控制处理器核芯801和算术处理器核芯(#1)811-(#8)818与之连接。通过总线802实 现每个处理器核芯的数据访问操作。
主存储器781与总线802连接。主存储器781保存将被载入每个 处理器核芯的各种程序，和对将由处理器核芯执行的处理来说必需的 数据，以及处理器核芯处理的数据。
图形装置782是与总线802连接的图形装置。I/O装置783是与 总线802连接的外部输入/输出装置。
图50是表示本发明的实施例中的控制处理器核芯801的典型结 构的示图。控制处理器核芯801具有控制处理器单元803和控制处理 器存储系统806。
控制处理器单元803是充当实现控制处理器核芯801的算术处理 的核芯的单元。控制处理器单元803具有基于微处理器体系结构的指 令集，并且包含指令高速緩冲存储器804和数据高速緩冲存储器805， 作为一次高速緩冲存储器。例证地，指令高速緩冲存储器804是32KB 指令高速緩冲存储器，数据高速緩冲存储器805 —般是32KB数据高 速緩冲存储器。
控制处理器存储系统806是控制从控制处理器单元803对主存储 器781进行的数据访问操作的单元。控制处理器存储系统806包含 512KB 二次高速緩冲存储器807，以允许来自控制处理器单元803的 高速存储器访问。
图51是表示本发明的实施例中的算术处理器核芯(#1)811的典型 结构的示图。算术处理器核芯(#1)811具有算术处理器单元820和存 储器流控制器822。算术处理器核芯(#2)812-(#8)818具有和算术处理 器核芯(#1)811相同的结构，从而不再进一步说明。
算术处理器单元820是充当实现算术处理器核芯(#1)811的算术 处理的核芯的单元。算术处理器单元820具有其独特的指令集，该指 令集不同于控制处理器核芯801中的控制处理器单元803的指令集。 另外，算术处理器单元820包含本地存储器(LS)821。
本地存储器821是算术处理器单元820的专用存储器，是算术处
71理器单元820能够直接访问的唯一存储器。例证地，容量为256KB 的存储器可被用作本地存储器821。当可以访问主存储器781或者任 意其它算术处理器核芯(即，算术处理器核芯(#2)812-(#8)818)的本地存 储器时，算术处理器单元820需要使用存储器流控制器822。
称为MFC的存储器流控制器822是与主存储器781和其它算术 处理器核芯交换数据的单元。算术处理器单元820通过称为通道的接 口请求存储器流控制器822执行数据传输和其它操作。
对于上面说明的多核处理器800,提出了各种编程模型。最基本 的编程模型涉及使控制处理器核芯801执行主程序，使算术处理器核 芯(#1)811-(#8)818执行子程序。下面参考附图，详细说明本本发明的 实施例中的多核处理器800利用该模型执行其算术处理的计算方法。
图52是示意表示本发明的实施例中的多核处理器800的计算方 法的示图。在本例中，当利用数据785执行任务784时，控制处理器 核芯801使算术处理器核芯利用处理任务786所必需的数据787(数据 785的一部分)，执行任务786,任务786是任务784的一部分。
如图52中所示，当利用数据785执行任务84时，控制处理器核 芯801使算术处理器核芯利用处理任务786所必需的数据787(数据 785的一部分)执行任务786，任务786是任务784的一部分。按照本 发明的实施例，算术处理器核芯对构成运动画面的每一帧，执行该处 理。
如图52中所示，当多核处理器800执行其处理时，使算术处理 器核芯(#1)811-(#8)818并行工作，以便在较短的时间内完成大量的处 理。也可通过在算术处理器核芯(#1)811-(#8)818上使用SIMD(单指令 /多数据)计算，利用数目更有限的指令完成相对大量的处理。后面将 参考附图56-59和其它附图，详细讨论SIMD计算。
图53是示意表示当本发明的实施例中的多核处理器800执行操 作时，程序和数据的实际流动的示图。这里，作为例子，挑选了算术 处理器核芯(#1)811-(#8)818中的算术处理器核芯(#1)811。相同的流动 也适用于算术处理器核芯(#2)812-(#8)818。首先，控制处理器核芯801向算术处理器核芯(#1)811发出把保 存在主存储器781中的算术处理器核芯程序823载入算术处理器核芯 (#1)811的本地存储器821中的指令。算术处理器核芯(#1)811再把保 存在主存储器781中的算术处理器核芯程序823载入本地存储器821。
控制处理器核芯801随后指令算术处理器核芯(#1)811执行保存 到本地存储器821中的算术处理器核芯程序825。
算术处理器核芯(#1)811随后把数据824从主存储器781传给本 地存储器821，执行算术处理器核芯程序825所需的数据824被保存 在本地存储器821中。
随后，根据保存在本地存储器821中的算术处理器核芯程序825， 算术处理器核芯(#1)811处理从主存储器781传来的数据826,在实际 的条件下执行后续处理，并把处理结果放入本地存储器821中。
算术处理器核芯(#1)811随后把根据保存在本地存储器821中算 术处理器核芯程序825执行的处理的结果从本地存储器821传给主存 储器781。
算术处理器核芯(#1)811随后通知控制处理器核芯801算术处理 已结束。
下面参考附图，详细说明利用多核处理器800进行的SIMD计算。 SIMD计算是通过利用单一指令，执行关于多个数据的处理的计算方 法。
图54(a)是示意概述利用相应指令，执行关于多个数据的处理的 计算方法的示图。图54(a)中所示的计算方法是例证称为标量计算的 普通计算方法。例如，相加数据"A1，，和数据"B1，，的指令产生结果数据 "C1"。对于其它三种计算中的每一个，执行同样地相加相同行上的每 个数据"A2"、 "A3"和"A4"与每个数据"B2"、 "B3，，和"B4，，的指令，以 获得结果数据"C2"、 "C3"和"C4"。按照这种方式，对于将对多个数 据进行的每个处理，标量计算要求使用单独的指令。
图54(b)是示意概述SIMD计算的示图，SIMD计算是使用单一 指令执行对多个数据的处理的计算方法。这里，为了 SIMD计算，编成多组的数据(由虛线827和828围绕)可被称为矢量数据。利用这种 矢量数据进行的SIMD计算可被称为矢量计算。
例如，相加由虚线827围绕的矢量数据("A1"、"A2"、"A3"、"A4") 和由虚线828围绕的矢量数据("B1"、 "B2"、 "B3"、 "B4")的指令产生 处理结果"C1"、 "C2"、 "C3，，和"C4"(由虛线829围绕的数据)。按照 这种方式，SIMD计算涉及获得执行对多个数据的处理的单一指令， 以致能够高速进行算术处理。用于这种SIMD计算的指令由多核处理 器800的控制处理器核芯801执行，按照这些指令对多个数据的处理 由算术处理器核芯(#1)811-(#8)818并行执行。
另一方面，例证地涉及数据"A1"和"B1"相加，数据"A2，，和"B2" 相减，数据"A3，，和"B3，，相乘，和数据"A4"和"B4"相除的处理不能由 SIMD计算完成。即，SIMD计算不能实现对多个数据的不同处理。
下面参考附图，详细说明执行特征点提取处理和光流计算处理的 SIMD计算的具体计算方法。
图55是表示由本发明的实施例中的控制处理器核芯801或者算 术处理器核芯(#1)811执行的程序的典型结构的示图。尽管这里只图 解说明了算术处理器核芯(#1)811的处理，不过算术处理器核芯 (#2)812-(#8)818也执4亍相同的处理。
控制处理器核芯801执行用于解码851的解码处理852，交错处 理53，和调整大小处理854。解码处理852是解码运动画面文件的处 理。交错处理是对每个解码帧进行交错消除的处理。调整大小处理854 是减小经历交错消除的每一帧的大小的处理。
另外，控制处理器核芯801进行用于算术处理器核芯管理856 的指令传输处理857和859，及结束通知接受处理858和860。指令 传输处理857和859是向算术处理器核芯(#1)811-(#8)818传送SIMD 计算执行指令的处理。结束通知接收处理858和860是关于上面的指 令，从算术处理器核芯(#1)811-(#8)818接收SIMD计算结束通知的处 理。此外，控制处理器核芯801执行用于照相机工作检测861的照相 机工作参数计算处理862。照相机工作参数计算处理862是根据通过算术处理器核芯(#1)811-(#8)818执行的SIMD计算，计算的光流，计 算每一帧的仿射变换参数的处理。
算术处理器核芯(#1)811执行用于特征点提取处理863的Sobel 滤波处理864， 二次矩矩阵处理865，可分离滤波处理866, Harris 角点提取(Calc Harris)处理867，扩张处理868和分类处理869。
Sobel滤波处理864是计算利用P2滤波器(x方向)获得的x方向 值dx和利用y方向滤波器获得的y方向值dy的处理。后面将参考图 56-59详细讨论x方向值dx的计算。
二次矩矩阵处理865是利用Sobel滤波处理864计算的值dx和 dy，计算值dx2， dy2和dx.dy的处理。
可分离滤波处理866是对二次矩矩阵处理865计算的dx2, dy2 和dx.dy的画面应用高斯滤波0漠糊)的处理。
Harris角点提取处理867是利用可分离滤波处理866对其应用模 糊的dx2， dyZ和dx.dy的值，计算Harris角的得分的处理。例证地利 用下述表达式计算Harris角的得分S:
扩张处理868是对由Harris角点提取处理867计算的Harris角 的得分构成的画面应用模糊的处理。
分类处理869是按照其得分降序列排列Harris角点提取处理867 计算的Harris角的像素，并且把得分最高的预定数目的像素挑选为特 征点的处理。
算术处理器核芯处理器(#1)811执行用于光流操作870的金字塔 画面(产生金字塔图像)处理871和光流计算(Calc光流)处理872。
金字塔画面处理871是连续创建从成像设备拍摄的画面的大小 开始，以预定数目的步骤减小其大小的画面的处理。这样创建的画 面被称为多分辨率画面。
光流计算处理872是计算金字塔画面处理871创建的多分辨率画 面的最小画面的光流的处理。通过利用计算的结果，光流计算处理872 再计算分辨率更高一级的画面的光流。重复所述一系列的计算，直到
75达到画面中的最大者为止。
如上所述，执行由图48中所示的特征点提取部分481执行的特 征点提取处理，和由同样在图48中的光流计算部分482执行的光流 计算处理，其结果例证地由并行执行SIMD计算的多核处理器800获 得。图55和其它地方所示的特征点提取处理和光流计算处理是对本 发明的举例，说明。另一方面，由对构成运动画面的画面的不同滤波处
理和阈值处理构成的其它处理可^皮多核处理器800用于执行SIMD计算。
图56是示意概述当利用Sobel滤波器830对保存在本发明的实 施例中的主存储器781中的画面数据(所述画面数据对应于构成成像 设备拍摄的运动画面的帧之一)进行滤波处理时，实际的数据结构和处 理流程的示图。在图56中，以简化形式表示了保存在主存储器781 中的画面数据，沿行方向排列32个像素。Sobel滤波器830是3x3边 缘提取滤波器。如图56中所示，利用Sobel滤波器830对保存在主存 储器781中的画面数据进行滤波处理，并输出滤波处理的结果。本例 中说明的是如何利用SIMD计算，同时获得滤波处理的四次迭代的结 果。
图57是示意概述利用Sobel滤波器830对保存在本发明的实施 例中的主存储器781中的画面数据进行SIMD计算时，实际的数据流 的示图。首先，在DMA(直接存储器访问)操作中，包括保存在主存储 器781中的第一行的画面数据在内的预定数目的行(例如，3行)被传 输到算术处理器核芯的本地存储器821中，从DMA传输到第一緩冲 区831的各行向下移动一行的预定数目的行被DMA传输到第二緩冲 区832。这种双重緩冲器安排的使用有助于隐藏DMA传输中的延迟。
图58是示意概述在本发明的实施例中，当4吏用Sobel滤波器830 进行滤波处理时，根据保存在第一緩沖区831中的画面数据创建9个 矢量的矢量创建方法的示图。如图58中所示，在DMA传输之后，根 据保存在第一緩冲区831中的画面数据创建9个矢量。具体地说，根 据保存在第一緩冲区831中的画面数据的行1，从最左侧位置开始的四个数据项被用于创建矢量数据841;同一行上右移一位的四个数据 项被用于创建矢量数据842。同样再次右移一位的四个数据项被用于 创建矢量数据843。从行2和行3，四个数据项^^皮同样地用于创建矢 量数据844-849。
图59是示意概述在本发明的实施例中，当利用Sobel滤波器830 进行滤波处理时，使用SIMD指令对矢量数据841-849进行矢量运算 的矢量运算方法的示图。具体地说，对矢量数据841-849接连进行 SIMD计算，以便获得矢量A。在SIMD运算中，首先，按照SIMD 方式进行"-lx矢量数据841，，运算，之后依次是SIMD运算"0x矢量数 据842"和"lx矢量数据843"。由于运算"0x矢量数据842"的结果肯定 为"0"，因此该运算可被省略。由于运算"lx矢量数据843，，的结果肯定 和矢量数据843的值相同，因此该运算也可被省略。
随后，按照SIMD运算相加"-lx矢量数据841"的结果和运算"0x
矢量数据842，，的结果。之后按照SIMD运算，相加上述加法的结果和 运算"lx矢量数据843"的结果。例证地，可按照SIMD方式计算数据 结构"矢量数据lx矢量数据2+矢量数据3"。从而就矢量A的计算来 说，SIMD运算"0x矢量数据842"和SIMD运算"lx矢量数据843"可 被省略，可按照SIMD方式执行单次运算"-lx矢量数据841+矢量数据 843"。
同样地，可按照SIMD方式计算矢量数据844-矢量数据846，以 获得矢量B，按照SIMD方式计算矢量数据847-矢量数据849,以获 得矢量C。
利用SIMD运算计算按照SIMD方式获得的矢量A-C，以获得 矢量D。当如上所述进行SIMD计算时， 一起获得和构成矢量的元素 的数目(本例中，4个数据项)一样多的运算的结果。
在获得矢量D之后，重复相同的处理，同时将从保存在图57中 的第一緩冲区831中的画面数据提取的数据的位置每次被右移一位， 这使得能够从该处理的每次迭代，连续获得矢量D。当一直到保存在 图57中所示的第一緩冲区831的画面数据的最右侧位置完成了处理时，该处理的结果被DMA传输给主存储器781。
之后，从保存在主存储器781中的画面数据中，从DMA传输给 第二緩冲区832的各行开始向下移动一行的预定数目的各行被DMA 传输给第一緩冲区831。另外，对保存在第二緩冲区832中的画面数 据反复进行上述处理。重复相同的处理，直到到达保存在主存储器781 中的各行画面数据的最低一行为止。
当如上所述主要按照SIMD方式进行特征点提取处理和光流计 算处理时，能够实现高速处理。
图60是按照时间顺序概述按照本发明的实施例的照相机工作参 数计算处理的流程的示图。如上所述，例证地，关于运动画面和解码 和分析处理可由执行SIMD计算的多核处理器800并行进行。这使得 能够使分析构成运动画面的每一帧所需的时间短于解码该帧所需的 时间。
例如，在图60中，tl表示控制处理器核芯801解码构成运动画 面的每一帧所需的时间；12表示算术处理器核芯(#1)811-(#8)818从构 成运动画面的每一帧中提取特征点所需的时间；t3代表算术处理器核 芯(#1)811-(#8)818对构成运动画面的每一帧进行光流计算处理所需的 时间；t4表示控制处理器核芯801对构成运动画面的每一帧进行照相 机工作检测处理所需的时间。t5表示控制处理器核芯801和算术处理 器核芯(#1)811-(#8)818对构成运动画面的每一帧进行照相机工作检测 处理所需的时间。另外，t6表示控制处理器核芯801管理算术处理器 核芯(#1)811-(#8)818所需的时间。例证地，tl可被设为"25.0亳秒"， t2可被设为"7.9亳秒"，t3可被设为"6.7亳秒"，t4可被设为"1.2毫秒"， t5可被设为"15.8毫秒"。
下面参考附图详细说明通过利用元数据文件，由本发明的实施例 再现运动画面内容的情况。
图61(a)是示意表示作为典型记录介质的蓝光光盘(注册商标)880 的顶视图，图61(b)是示意表示记录在蓝光光盘880上的数据881 ~ 884 的示图。例证地，记录在蓝光光盘880上的是构成成像设备或类似物拍才聂的运动画面的运动画面内容882,运动画面内容882的字幕883， 通过分析运动画面内容882获得的元数据(例如，图30(b)中所示的元 数据文件，和图43中所示的相对关系元数据文件)884,和与本发明的 实施例进行的运动画面的再现相关的Java(注册商标)程序881。
图61(c)是表示能够再现蓝光光盘880的蓝光播放器890的内部 结构的示图。这里，作为标准，连同CPU891和OS 892 —起，能够 再现蓝光光盘的蓝光光盘纟番放器卯配有Java(注册商标)VM(Java(注 册商标)虚拟机)加上库893,以致蓝光光盘播放器890能够执行 Java(注册商标)程序。从而，当蓝光光盘880被插入蓝光光盘播放器 890中时，蓝光光盘播放器890能够加栽和执行Java(注册商标)程序 881。这使得对于蓝光光盘播放器890来说，当再现运动画面内容882 时，能够按照本发明的实施例，利用元数据884再现运动画面。即， 所有蓝光光盘播放器都能够按照本发明的实施例再现运动画面，而不 必求助于专用PC软件或类似物。
按照本发明的实施例，如上所述，可按照显示屏幕上，与运动画 面的当前帧对应的画面的位置、角度或缩放系数，变换输入的声音。 这允许观看运动画面的人收听恰当地反映显示屏幕上对应于当前帧 的画面的位置、角度或缩放系数的声音。即，观众能够获得比以前更 真实的音效。
另外，尽管上面结合成像设备拍摄的运动画面，说明了本发明的 实施例，不过另一方面，本发明的实施例可应用于合成自动画，或者 合成自由照相机拍摄，并且随后被编辑的运动画面的运动画面等等。
另外，尽管上面结合诸如个人计算机之类的画面处理设备说明了 本发明的实施例，不过另一方面，本发明的实施例可应用于诸如电视 机之类的运动画面再现设备。
另外，另一方面，本发明的实施例可应用于例证地組合声音设备 和显示i殳备的运动画面Xl看系统。
尽管连同在附加权利要求中相应地要求保护的上述具体实施例， 说明了本发明，不过实施例不应被理解成对本发明范围的限制，相反仅仅提供本发明的一些目前优选的实施例的举例说明。从而，在不脱 离下面的权利要求的精神或范围的情况下，可做出各种改变和变化。 具体地说，在权利要求1中，内容获得装置例证地对应于内容获
得部分120或内容获得部分121。画面变换信息供给装置例证地对应 于画面变换信息供给部分130或元数据存储部分250。画面变换装置 例证地对应于画面变换部分140或者画面变换部分141。画面合成装 置例证地对应于画面合成部分150或画面合成部分151。显示控制装 置例证地对应于显示控制部分170或者显示控制部分171。声音变换 信息计算装置例证地对应于声音变换信息计算部分190或者声音变换 信息计算部分191。声音变换处理装置例证地对应于声音变换处理部 分200。声音输出控制装置例证地对应于声音输出控制部分210。
在权利要求7中，音量控制装置例证地对应于音量控制部分201 或者音量控制部分630。声音相加装置例证地对应于声音相加部分202 或者声音相加部分640。
在权利要求10中，画面保存装置例证地对应于画面存储器160 或者画面存储器161。
在权利要求ll中，显示区提取装置例证地对应于显示区提取部 分260。
在权利要求13或14中，内容获得步骤例证地对应于步骤S922。 画面变换信息供给步骤例证地对应于步骤S924或者S963。画面变换 步骤例证地对应于步骤S927、 S931、 S935和S936。声音变换信息计 算步骤例证地对应于步骤S951或S982。声音变换处理步骤例证地对 应于步骤S952和S953。
上面作为本发明的实施例的一部分讨论的一 系列步骤和处理可 被解释成执行这样的步骤和处理的方法，使计算机执行这种方法的程 序，或者保存这种程序的记录介质。
权利要求
1、一种画面处理设备，包括内容获得装置，用于获得包括运动画面和对应于运动画面的声音的内容数据；画面变换信息供给装置，用于根据构成所述运动画面的第一画面和第二画面，供给关于所述第二画面相对于所述第一画面的画面变换信息；画面变换装置，用于参考所述第一画面根据所述画面变换信息变换所述第二画面；画面合成装置，用于把变换后的第二画面和充当所述第二画面的背景的背景画面合成为合成画面；显示控制装置，用于使显示装置显示所述合成画面；声音变换信息计算装置，用于根据所述画面变换信息计算关于所述第二画面的声音的声音变换信息；声音变换处理装置，用于通过根据所述声音变换信息对所述声音进行变换处理，来产生输出声音；和声音输出控制装置，用于使声音输出装置输出所述输出声音。
2、 按照权利要求1所述的画面处理设备，其中所述画面变换信 息包括关于所述第二画面相对于所述第一画面的移动的元素。
3、 按照权利要求1所述的画面处理设备，其中所述画面变换信 息包括关于所述第二画面相对于所述第 一画面的旋转的元素。
4、 按照权利要求1所述的画面处理设备，其中所述画面变换信 息包括关于所述第二画面相对于所述第一画面的缩放系数的元素。
5、 按照权利要求l所述的画面处理设备，其中所述声音变换处理装置包括音量控制装置和声音相加装置； 所述音量控制装置根据所述声音变换信息，控制构成所述声音的 多个声道的音量；所述声音相加装置相加每个声道的受控声音。
6、 按照权利要求1所述的画面处理设备，其中所述声音变换处 理装置通过所述变换处理，生成构成所述输出声音的右声道和左声道 上的声音。
7、 按照权利要求1所述的画面处理设备，其中所述声音变换处 理装置通过所述变换处理，生成构成所迷输出声音的中央声道上的声 音。
8、 按照权利要求l所述的画面处理设备，其中 所述声音包括右声道和左声道上的声音；所述声音变换处理装置通过对所述右声道和所述左声道上的声 音进行所述变换处理，产生所述输出声音。
9、 按照权利要求1所述的画面处理设备，其中 所述声音包括中央声道上的声音；所述声音变换处理装置通过对所述中央声道上的声音进行所述 变换处理，生成所述输出声音。
10、 按照权利要求1所述的画面处理设备，还包括画面保存装置，以把包括所述第一画面在内的画面保存为历史画 面；其中在所述运动画面的时间线上，所述第一画面按照时间顺序被;故在 所述第二画面之前；所述画面变换装置根据所述画面变换信息，至少变换所述第二画 面或者保存在所述画面保存装置中的所述历史画面；所述画面合成装置把至少任意之一已被所述画面变换装置变换 的所述第二画面和所述历史画面合成为所述合成画面，并使所述画面 保存装置把所述合成画面保存为新的历史画面。
11、 按照权利要求10所述的画面处理设备，还包括 显示区提取装置，用于在提取包括在显示区中的画面作为显示画面之前，根据保存在所述画面保存装置中的所述新的历史画面，确定 作为所述显示装置上的显示目标的显示区；其中所述画面合成装置用变换后的第二画面重写所述显示画面，以通过合成获得新的显示画面；所述显示控制装置使所述显示装置显示所述新的显示画面；所述显示区提取装置在所述画面保存装置的保存区中，产生关于 所述显示区的位置、角度或大小的显示区提取信息；所述声音变换信息计算装置根据所述画面变换信息和所述显示 区提取信息，计算所述声音变换信息。
12、按照权利要求l所述的画面处理设备，其中所述画面变换装 置根据指示在所述显示装置上显示所述运动画面的显示区的模板信 息，变换所述第二画面。
13 、 一种供具有声音输出装置的画面处理设备使用的声音变换处 理方法，所述声音输出装置输出对应于运动画面的声音，所述声音变 换处理方法包括内容获得步骤，用于获得包括所述运动画面和所述声音的内容数据；画面变换信息供给步骤，用于根据构成所述运动画面的第一画面 和第二画面，供给关于所述第二画面相对于所述第一画面的画面变换 信息；画面变换步骤，用于参考所述第一画面根据所述画面变换信息变 换所述第二画面；声音变换信息计算步骤，用于根据所述画面变换信息计算关于所 述声音的声音变换信息；声音变换处理步骤，用于通过根据所述声音变换信息对所述声音 进行变换处理，来产生输出声音；和声音输出控制步骤，用于使所述声音输出装置输出所述输出声音。
14、 一种使计算机对具有声音输出装置的画面处理设备执行步骤 的程序，所述声音输出装置输出对应于运动画面的声音，所述步骤包 括内容获得步骤，用于获得包括所述运动画面和所述声音的内容数据；画面变换信息供给步骤，用于根据构成所述运动画面的第一画面 和第二画面，供给关于所述第二画面相对于所述第一画面的画面变换信息；画面变换步骤，用于参考所述第一画面根据所述画面变换信息变 换所述第二画面；声音变换信息计算步骤，用于根据所述画面变换信息计算关于所 述声音的声音变换信息；声音变换处理步骤，用于通过根据所述声音变换信息对所述声音 进行变换处理，来产生输出声音；和声音输出控制步骤，用于使所述声音输出装置输出所述输出声音。
全文摘要
画面变换信息供给部分130根据关于运动画面的运动信息，按帧计算用于画面变换的仿射变换参数。参考参考画面，画面变换部分140利用计算的仿射变换参数，按帧仿射变换构成运动画面的画面。根据指示和来自画面变换部分140的变换后的画面有关的中心位置、角度或缩放系数，声音变换信息计算部分190计算声音变换信息，用于变换对应于画面的声音。根据声音变换信息，声音变换处理部分200控制构成声音的每个声道的音量，相加每个声道的受控声音，并把结果作为输出声音输出给扬声器220。
文档编号H04N5/93GK101622868SQ20088000237
公开日2010年1月6日 申请日期2008年12月17日 优先权日2008年1月21日
发明者鹤见辰吾 申请人:索尼株式会社