使用沿时间轴改变的图像数据产生新图像的方法和装置的制作方法

专利名称：使用沿时间轴改变的图像数据产生新图像的方法和装置的制作方法
技术领域：
本发明涉及用于产生图像的方法和装置，尤其涉及处理由摄像机拍摄的 活动图像并因此再输出处理过的活动图像的技术。
背景技术：
随着近几年计算机技术的显著进步和发展，计算机提供的图像处理能力 显著改善。甚至一般用户可用的家用PC (个人计算机)和游戏机也可以实现 曽经是图像处理专用的高端工作站才能实现的多样的处理。PC的图像处理性能和能力上的改善提供了另 一种家用PC和游戏机的潜 在应用。即，存在低价的、面向一般用户的用于电影编辑、图像处理、创作 等的工具。因此，专业技巧不再是操作复杂图像处理的先决条件，甚至业余 用户也可以通过使用这些可用工具操作活动图像的处理。发明内容由于前述情况，本发明的发明人已经着手寻找革新的图像处理方法，通 过该方法可以获得新奇的以及特殊效果的图像。本发明的发明人根据上述认 识发明了本发明，并且本发明的一个目标是获得有趣的图像。此外，考虑下 列目标或通过本专利说明书的描述理解的其他目标而开发了本发明。即，目 标包括改进图像处理的效率、降低由图像处理引起的负载、改进图像处理技 术的新建议等等。根据本发明的优选实施例涉及图像产生方法。该方法包括:将原始活动图 像当作沿时间轴改变的二维图像，并且当以虛拟方式将活动图像表示为由二 维图像和时间轴形成的盒空间时，用包含多个在时间值上相互不同的点的曲
面切割该盒空间。将截面上出现的图像投影到在时间轴方向上的平面，并通 过随时间改变截面，来将在平面上出现的图像作为新活动图像输出。通过以 各种方式设置曲面来确定改变的内容，并且输出与原始活动图像的内容不同 的新活动图像。这里，"原始活动图像，，可以是由摄像机当场拍摄的图像，也可以是在记录介质中预先存储的、诸如由MPEG等格式编码的图像。"投影到平面"是 如果投影到时间轴上的平面，则将要投影到该平面的图像是"投影到平面"的 结果。具体讲，其指的是当直接从时间轴方向观看截面时，将要投影到该 截面的图像等于投影到平面的图像。例如，通过沿时间轴移动截面而保持截面的曲面形状的完整，可以实现 "随时间改变截面"。通过随时间流逝而移动截面，可以获得平滑和连续的新 活动图像。曲面(surface)形状可能随时间流逝而改变。如果包含在时间轴 上曲面中的点的位置由t表示，并且包含在二维图像中的点的坐标由(x,y) 表示，则t可以由一般等式表示的函数t-f(x,y)定义。曲面可以是平面。投影 的图像根据所设置的曲面形状的类型而改变。根据本发明的另一个优选实施例涉及图像产生装置。该装置包括图像 存储器，用于沿时间轴顺序存储原始活动图像；图像转换单元，用于将存储 在图像存储器中的原始活动图像当作沿时间轴改变的二维图像，并且当以虚 拟方式将活动图像表示为由二维图像和时间轴形成的盒空间时，用包含多个 在时间值上相互不同的点的曲面切割该盒空间，并且将截面上出现的图像投 影到在时间轴方向上的平面；和图像数据输出单元，将通过在图像转换单元 中随时间改变截面获得的、在平面上出现的图像设置为新活动图像帧。图像 存储器作为暂时存储在直到在原始活动图像中包含的帧已经转换为新帧的固 定时间段中的多个帧的緩冲器。图像产生装置还可以包括图像输入单元，用于获得由摄像机拍摄的图像 作为原始活动图像并且将这些获得的图像发送到图像存储器。因此，实时图 像处理拍摄的图像，从而可以在屏幕上显示与目标的实际状态不同的、独特 的、神秘的或特殊效果的图像。图像转换单元可以用构成二维图像的图像区域的坐标的函数定义的曲面切割盒空间。这里，"图像区域，，可以是覆盖单一像素的区域或覆盖像素块的 区域。该曲面可以由不依赖于水平方向的二维图像的坐标的函数定义。"水平
方向"可以是扫描线的方向。图像转换单元可以用关于构成二维图像的图像区 域的属性值的函数定义的曲面切割盒空间。决定每个像素的显示内容的"属性值，，可以是各种属性，诸如像素值、深度值(depth value )、与特定模式的近似 阶数(order )、相对其他帧的改变程度等等。该属性值可以是图像区域的平均 值或中心值。根据在像素值、深度值、与特定模式的近似阶数和改变程度中的任何参 数可以确定在上述曲面中包含的点的时间值。此外，根据在像素值、深度值、 与特定模式的近似阶数和改变程度中的任何参数可以确定哪个图像区域将投 影到上述的平面。根据本发明的另一个优选实施例涉及图像产生方法。该方法包括对于 在原始活动图像中的目标帧中包含的图像的每个图中位置，从原始活动图像中包含的多个帧的至少 一 帧中读出对应于图中位置的数据；合成读出的数据； 并且通过顺序输出在合成中形成的帧形成新活动图像。以像素或像素行为单 位从过去的帧中读出数据，然后合成数据，从而获得与原始活动图像不同的 图像。这些是所谓的拼凑的图像，其包含以像素或像素行为单位混合合成的、 在时间上不同的数据，从而可以获得不能在现实世界中存在的独特的并且神 秘的图像。"目标帧"是在显示时作为参考的帧，并且随时间流逝可能改变。例如， 在现有扫描方法中，该"目标帧"对应于在目前定时将要输出的当前帧。根据 该目标帧，判断从哪个帧中读出并输出哪个实际数据。"图中位置(in-picture position)，，可以是作为扫描线的像素行的位置，或者可以是像素的位置。从帧 中可以读出对应于其的相应数据，并且以像素或像素行为单位合成数据。"合 成"可以是重叠、混合、置换和粘合。根据本发明的另 一个优选实施例涉及图像产生装置，包括图像存储器、 图像转换单元和图像数据输出单元。图像存储器为每个帧顺序记录原始活动图像。图像转换单元为每个包含在目标帧中的图像的图中位置从记录在图像 存储器中的至少一帧中读出对应于图中位置的数据，并且合成数据。图像数 据输出单元顺序输出由图像转换单元合成和重构的帧。图像存储器用作在预 定的时间周期中暂时存储多个帧，直到在原始活动图像中包含的帧已经转换 为新帧并且不再使用这些帧时为止。"像素"是构成在显示屏上显示的图像的 点，并且可以是由一组RGB颜色表示的像素。
应当注意的是在方法、装置、系统、计算机程序、存储计算机程序的记 录介质、数据结构等之间改变的上述结构元件和表达式的任意组合都是有效 的，并且由该实施例包含。此外，本发明的发明内容部分不需要描述所有的必要特征，因此，本发 明也可以是这些所述特征的子组合。


图1以虚拟方式图解并表达了在根据本发明第一实施例中、原始活动图 像的帧沿时间轴连续出现的状态。图2A和2B被提供来比较示出拍摄的目标(object shot)的屏幕与示出实际显示的内容的屏幕。图3是示出根据第一实施例的图像产生装置的功能的方框图。图4是示出根据第一实施例的、将原始活动图像转换成新活动图像的步骤的流程图；图5根据第二实施例，以虚拟方式将活动图像图解为盒空间。图6A和6B被提供来根据第二实施例，比较示出拍摄的目标的屏幕与示出实际显示的内容的屏幕。图7是示出在第二实施例中，通过根据Z值从帧中读出数据来产生新活动图像的步骤的流程图。图8根据第三实施例，以虚拟方式将活动图像图解为盒空间。图9A和9B根据第三实施例，比较示出拍摄的目标的屏幕与示出实际显示的内容的屏幕。图IO是示出根据第三实施例的、从产生原始活动图像中产生提取了所期 望的颜色部分的活动图像的步骤的流程图。图ll根据第四实施例，将原始活动图像图解为盒空间。 图12是示出图像产生装置的结构的功能方框图。图13显示了显示由设置输入单元确定的函数的图表的监视器的屏幕的 示例。图14是示出产生定向和操作(directing and manipulating )目标的步骤的流程图。图15是示出将定向和操作效果应用到当前帧的步骤的流程图。
具体实施方式
将根据实施例描述本发明，所述实施例不意味着限制本发明而是示例本 发明。在实施例中描述的所有的特征和它们的组合不是必要的。 第一实施例根据本发明第一实施例，在原始活动图像中包含的多个帧顺序存储在环 形緩冲器(见图3)，并且针对每个扫描线从不同的帧中读出数据，以便将这 样读出的数据作为新帧显示在屏幕上。具体讲，从更新的帧中读出关于位于 屏幕上沿的扫描线上的像素的数据，而从时间上较旧的先前帧中读出关于屏 幕下沿的扫描线的像素的数据。在屏幕上，所显示的是与实际目标不同的、 奇怪和神秘的图像。图1以虚拟方式图解并表达了原始活动图像的帧沿时间轴连续出现的状 态。原始活动图像被当作并抓取为沿时间轴改变的二维图像。矩形平行管状(rectangular-parallelopiped)空间10 (在后面也称为"盒空间")随时间流逝而 在时间轴t方向上扩展。与时间轴t垂直的横截面表示帧。帧是一组由x轴和 y轴形成的平面的坐标表示的像素。该盒空间10由具有所期望的形状的曲面 切割。如图l所示，根据第一实施例，盒空间10由平行于x轴的、在随着时 间从to流逝到时间^而从x轴之上朝向下面一条线的方向上的斜面切割。当 出现在曲面14的图像投影到沿时间轴方向的平面上时，投影到时间轴上的平 面的图像作为实际帧输出，而不是输出当前帧12。随时间流逝，截面14沿时间轴t移动。以其在时间轴t的方向具有连续 的宽度方式来定义截面14。合成包含在该宽度中的图像，并且这些合成的图 像用作实际在屏幕上显示的帧。当前帧12对应于应该已经位于在正常显示模式中目前扫描的定时上的 帧。设当前帧12在时间轴上的目前位置是在时间to。然后，在时间t。前的帧(例如分别位于时间tp t2、 t3和tt的帧)对应于在正常显示定时下已经显示 了的帧。然而，在第一实施例中，实际上显示了先于时间to的帧。以对每个 沿水平方向的像素行顺序显示数据的输出的方式，输出在每个帧中包含的像 素的数据。在同一定时读出包含在单一像素行中的每个像素的数据，然后显 示。在正常扫描定时输出最高点的像素行。其后，以一帧的延迟输出位于最 高点的像素行下面一个像素的像素行。因此，像素行的次序越低，就在越延 迟的定时输出。从过去的帧中读出屏幕上每个像素的数据，并且这些帧应该被后退的程度可以由像素坐标的函数表示，诸如t=t。-y。函数t=t()-y仅是像素行的y坐标 的函数，并且不依赖于像素行的x坐标。在当前帧12的解析度是720x480的情况下，设左上像素的坐标是(O， 0) 右下像素的坐标是(719, 479)。在这种情况下，坐标y的最大值是479,并 且最低次序的像素行的扫描定时被延迟479帧。在盒空间10中，在时间to 和时间t2之间放置了 480帧。图2A和2B分别图解示出所拍摄目标的屏幕与示出实际显示的目标的屏 幕，并被提供来将前者与后者进行比较。图2A示出图像镜头，该目标的图 像等效于当前帧12。这里，目标缓慢摆动他/她的手16。图2B是出现在图1 所示的截面14上的图像，并且是图2A的目标在屏幕上实际显示的图像。换 句话说，根据过去的帧到当前帧，手16的位置以从左边到中点、右边、中点 和左边的次序改变，因此，通过为每个扫描线从不同的过去帧读出凝:据，在 左边位置的手16的图像和在右边位置的图像交替出现。由于从时间上相同的 扫描定时的帧中读出相同的数据线上的数据，因此在水平方向上不会引起弯 曲或变形。然而，在垂直方向上，以手16的形状在左边和右边是曲折和弯曲 的方式显示手16。换句话说，摆动手16的目标除了手16外几乎不移动。因此，即使合成 从时间上相互不同的帧读出的图.像，由于在其显示位置上没有差别，弯曲或 变形也是几乎不存在的。图3是示出根据第一实施例的图像产生装置的功能方框图。就硬件来说， 通过诸如任意计算机的CPU和其类似装置可以实现图像产生装置50的结构。 就软件来说，通过具有数据存储、图像处理和画图功能的程序或类似程序实 现它，但图3中所图解并描述的是结合它们所实现的功能框。因此，通过仅 <又硬件、仅仅软件或将它们结合可以以多种形式实现这些功能框。图像产生装置50包括图像输入单元52，其获得由摄像机拍摄的图像作 为原始活动图像，并且将包含在原始活动图像中的帧发送到图像存储器；环 形緩冲器56,用作沿时间轴顺序存储原始活动图像的图像存储器；緩冲器控 制单元54，控制从环形緩冲器56的读出帧和向环形缓冲器56的写入帧；图 像转换单元60,将存储在环形緩冲器56中的帧转换为用于显示的帧；函数 存储器70,其存储帧转换时引用的函数；和显示緩冲器74,其存储用于显示 的帧。图像输入单元52可以包括抓取数字图像的CCD,以及通过A-D转换获 得数字图像的转换单元。图像输入单元52可以实现为以可分离方式外部地提 供并且安装在图像产生单元50的设备。緩冲控制单元54将由图像输入单元 52输入的原始活动图像的帧顺序记录到由环形緩冲器56的写指针指示的区 域。对于包含在当前帧12中的每个像素，图像转换单元60从记录在环形緩 冲器56的顿中读出对应于像素的数据，并且合成数据。图像转换单元60包 括决定处理单元62，用于为每个像素确定应该从哪个帧中读出数据；数据获 得单元64，用于从由决定处理单元62确定的帧中读出数据；和图像形成单 元66，用于通过为每个读出的像素行合成数据而形成帧。在决定处理单元62中，根据下面的等式(1)定义并根据该等式得出应 该从哪个帧读出数据的决定。PFr(x，y，t0) = P(x，y，t0-y) -—(1) 其中如图l所示，x和y是关于当前帧12的像素坐标，而to是时间轴t上的 时间值。Pft是实际输出的帧中每个像素的像素值。从等式(1)显而易见， 将要输出的帧的时间值仅是y坐标的函数。因此，为每个像素行作出应该从 在环形緩冲器56中存储的多个帧中的哪个帧读出数据的决定，并且该决定其 不依赖于x坐标。由等式(1 )表示的函数存储在函数存储器70中。其它可选函数也存储 在函数存储器70中。用户经由命令获得单元72可以设置来采用哪个函数。对于由数据获得单元64读出的每个像素的数据由具有图像芯片功能的 图像形成单元66顺序写入到显示緩冲器74，从而组成帧。图像产生单元50还包括命令获得单元72，其从用户接收命令；图像数 据输出单元76，用于输出存储在緩冲器74中的帧；和监视器78,用于在屏 幕上显示输出的帧。该监视器78可以是外部地提供到图像产生装置50的显 示器。图像数据输出单元76从为一帧存储图像数据的显示缓冲器74中读出图 像数据，然后将它们转换为模拟信号并且将它们发送到监视器78。图像数据
输出单元76顺序输出存储在显示緩冲器74中的帧，以便输出新活动图像。图4是示出根据第一实施例的、将原始活动图像转换成新活动图像的步 骤的流程图。首先，初始化环形緩沖器56中表示下一写入位置的写指针t， 即设置t二0(S10)，以便从环形缓冲器56的顶端区域开始存储帧。包含在原 始活动图像中的帧记录在环形緩冲器56的第t区域中(S12)。因此，提供了 一帧的To区域的总和。初始化在显示緩冲器74中的像素行号n,即设置n=0 ( S14 )，以便将从 对应于屏幕的顶行的那些开始的像素行的数据顺序复制到显示緩冲器74。所 计算的是指定对应于行号n的数据读出位置的读出指针T (S16)。这里，通 过T4-n获得T。随行号增加，读出指针T进一步返回到过去的帧。起初， T=0-0=0，因此，读出指针T指示第O区域。如果读出指针T小于0(S18Y),则实际上不存在这样的读出指针。因此， 读出指针移动到环形緩冲器56的末端(S20)。更具体讲，将环形缓冲器56 的区域To的数量加到读出指针T。数据获得单元64从存储在环形緩冲器56 中的读出指针的区域的帧中读出行号n,而图像形成单元66将对应于该读出 号的数据复制到显示緩冲器74的行号n的区域。当行号n不是显示缓冲器74中的最后行时(S24N)，将行号加"1"(S26)。 行号n持续递增并且重复S16到S24的处理，直到行号达到最后行。当行号 成为对应于最后行的数字时，就将一帧的图像数据存储到显示緩冲器74 (S24Y),并且将写指针加"l" (S28)。当写指针t指示环形缓冲器56的结尾 区域时(S30Y)，写指针t返回到环形緩冲器56的开始区域(S32)。图像数据输出单元从显示緩冲器74中读出帧，将帧作为视频数据输出并 让监视器78在屏幕上显示帧(S34 )。重复S12到S34的处理直到命令终止显 示为止(S36)。以这种方式，以像素行为单位从同一帧中读出数据，并将数 据写入显示緩冲器。然而，像素行首先是与沿水平方向布置的扫描线相同的 多个像素集合，因此像素行是应该在正常设置中的同 一扫描定时读出的数据。 因此，在扫描过程中有效地处理了读和写，并且可以防止由于本实施例中的 图像转换而引起的负载的过度增加。作为本实施例的改进的例子，决定处理单元62可以根据x坐标确定将要读出的帧。例如，对于位于屏幕的左手边的像素行，从当前帧12的左手边读出其数据，而对于位于屏幕的右手边的像素行，从图l所示时间k上的帧的 右手边像素行读出其数据。然后，其截面将是由与y轴平行的、从时间to到 时间t2的#|"面所切割的曲面。作为另 一种修改，决定处理单元62可以根据x和y坐标确定将要读出的帧。例如，关于位于屏幕的左上边的像素行，从当前帧12的左上边读出其数据，而关于位于屏幕的右下边的像素行，从图1所示时间12上的帧的右下边 像素读出其数据。作为另一种修改，扫描线可以沿垂直方向而不是水平方向设置。在这种 情况下，通过根据x坐标确定将要读出的帧，可以实现更有效的图像转换。 第二实施例在第二实施例中，根据为每个像素指定妁深度值(Z佳〉，从不同帧中读 出数据。这样，在这个方面，由第二实施例执行的处理与根据像素的y坐标 确定帧的第一实施例的处理不同。例如，在原始活动图像中拍摄的目标之间， 从较旧的帧中读出距离摄像机更近的目标。因此，摄像机和目标之间的距离 越近，其显示定时延迟得更多。图5根据第二实施例以虚拟方式将活动图像图解为盒空间。在当前帧12 中拍摄的目标之间，第一图像20的Z值设置为"U0"而第二图像24的Z值设 置为"60"。 Z值越大表示目标离摄像机越近。显示定时的延迟量与Z值成比 例。实际显示在屏幕上的帧的每个像素由下列等式(2)定义。PFr(x,y，t0) = P(x，y,VZ(x,y，to)) —(2) 其中Z(x，y，to)是目前像素单元的Z值。随Z值的增加，从其读出像素数据的 帧从时间轴上的to向h和t2的方向后退。从时间t2上的帧中的、指示为第三图像22的区域中读出对应于第一图像20的数据。从时间t,上的帧中的、指 示为第四图像26的区域中读出对应于第二图像24的数据。在盒空间10的截面中，第三图像区域22占用时间值t2,而第四图像区 域26占用时间值ti。其它区域占用时间值to。因此，在截面中包含的点分散 在to、 ti和t2,使得其截面在时间轴方向具有离散的宽度。组成第一图像20的像素具有比第二图像的像素更大的Z值，并且其数据 从时间上较旧的帧中读出。即，由于组成第二图像的像素具有比第一图像20 的像素更小的Z值，返回到较旧的帧的时间更短。提供图6A和6B来比较显示拍摄的目标(object shot)的屏幕与示出实 际显示的目标的屏幕。图6A表示拍摄的目标，在这种情况中所拍摄的目标
是抬起他/她的手并且开始慢慢左右摆动手的人30和在后面行驶的汽车32。 图6B表示图6A中所示的目标实际投影到屏幕的图像。在屏幕上以与正常设 置不同的状态显示目标。即，区域离摄像机越近，其显示定时越被延迟。现 在，特别地，人30是离摄像机最近的目标，因此显示定时的延迟量是最大的。 关于几乎不移动的部分或区域，为其像素显示较旧的图像将导致该目标的几 乎相同的图像。另一方面，关于频繁或大幅度地左右或上下方向上移动的区 域的图像，在帧上的其显示部分是移动的。因此，如图6B所示，甚至当其数 据从在对应于图6A的那些坐标的坐标下的较旧的帧中读出时，该区域的图 像将是透明的或处于弥漫(permeated)状态。在图6B中，人30以频繁移动 的手部消失的状态显示在屏幕上。在后面的汽车32位于相对远离摄像机的位 置上，并且其Z值很小，因此在图6A和与图6B的所示的汽车的显示状态之 间存在很小的差异。根据该第二实施例的图像产生装置50具有与图3所示的装置基本相同的 结构。根据上面的等式(2)，决定处理单元62根据每个Z值计算向过去返回 的时间量，然后为每个像素单元确定将从哪个帧中读出数据。此后，从其中 将读出数据的帧也称为源帧。根据第二实施例的图像输入单元52包括用于检 测每个像素单元的Z值的距离测量传感器。距离测量方法可以是激光方法、 红外线照明方法、相^^测方法等等。图7是示出在第二实施例中根据Z值通过从帧中读出数据来产生新活动 图像的步骤的流程图。首先，初始化指示环形緩冲器56中下一个写位置的写 指针t，即设置t-0(S100),使得从緩冲器56的顶端区域开始存储帧。包含在 原始活动图像中的帧记录在环形緩冲器56的第t区域(S102 )。在显示緩冲器74中初始化目标像素的位置x和y,即，位置x和y设置 为x=0和y=0 ( S104 ),使得从屏幕顶行开始的像素被顺序复制到显示緩冲器 74。所计算的是指定对应于像素x和y的数据的读出位置的读出指针T (S106 )。决定处理单元62根据每个像素的Z值计算读出指针T。数据获得 单元64从存储在环形緩冲器56的读出指针区域的帧中读出像素Px,y的数据。 然后，图像形成单元66将读出数据复制到显示緩冲器74中的像素Px，y区域 上(S108)。当Px,y还不是显示缓冲器74的最后像素时，即当像素Px,y不是右下边缘 的像素时(S110N),像素Px,y移动到下一像素(S112)。重复S106到S112 处理直到像素Px,y成为最后像素为止。当像素P、y成为最后像素时，关于一帧的图像被写入显示緩冲器74( S110Y)并且其由图像形成单元66画出(S114 )。 "l"加到写指针t (S116)。当写指针t指示环形緩冲器56的末端区域时 (S118Y),写指针t返回到环形緩冲器56的顶端区域(S120)。图像输出单 元76向显示器输出所画出的图像。重复S102到S122的处理直到命令显示终 止为止(S124)。以这种方式，以像素为单位从分离的帧读出数据然后写入显 示緩冲器74。在这里应该注意的是，为每个像素分别确定从哪个帧中读出数 据，可以从不同或相同的帧中读出数据。 第三实施例根据本发明第三实施例与第 一和第二实施例的不同之处在于通过从多个 帧中读出具有期望参数的像素的数据来合成图像。上述属性值是像素值，例 如，当通过读出仅具有红色分量的图像值来合成图像时，获得神秘和特殊效 果的图像，其中仅残留好像为余像的期望的颜色。图8根据第三实施例以虚拟方式将活动图像图解为盒空间。在盒空间10中，投影在时间to、 t" t2和t3的帧上的人30,是手持红色材料的目标、緩慢地左右挥手的目标。红色材料目标图像34、 35、 36和37的各个显示部分投 影在各个相互不同的帧上。根据第三实施例，预先在多个存储在环形緩冲器56中的旧帧中确定将用 于图像合成或图像合成的帧。在图8的情况中，在时间to、 t,、 t2和t3的帧用 于图像合成。这四个帧是在盒空间10中的固定时间间隔上排列的多个曲面。提供图9A和9B来比较显示拍摄的目标的屏幕与示出实际显示的目标的 屏幕。图9A表示拍摄的目标。图9B表示图9A中显示的目标实际投影到屏 幕上的图像。在该屏幕上仅仅提取并合成红色分量，因此仅仅显示红色材料 目标的图像34、 35、 36和37,并且其背景为白色或黑色。通过下面的等式(3)定义实际显示在屏幕上的帧的每个像素。i^(x，少，fo) = ZoF(x,;;，fo — cow^*/)—- (3 )/=0其中由下面的等式(4)表示指示合成比率的a或alpha值。a = i^(x，乂/。-coraW) — (4)其中A是像素的红色分量值。数据获得单元64根据等式(3)为每个像素读取数据，并且确定是否合
成图像。以这种方式，实现通过颜色的像素提取。虽然在等式(4)中红色分量的像素值被设置为alpha值，但是其设置不受限制。如果alpha值设置为PG 或Pb,则仅提取并合成绿色分量或蓝色分量。因此，如果在目标中包含任何 特定的颜色分量，则仅显示包含特定颜色分量的特定部分，就好像是残留余 像。根据该第三实施例的图像产生装置50具有与图3所示装置基本相同的结 构。根据上面的等式(3)和(4),决定处理单元62选择在固定时间间隔上 的多个帧。数据获得单元64和图像形成单元66按由每个像素的像素值所确 定的比率合成读出数据。图IO是示出根据第三实施例的、从产生原始活动图像中产生提取了期望 颜色部分的活动图像的步骤的流程图。首先，初始化指示环形緩冲器56中下 一个写入位置的写指针t，即设置tK)(S50)，并且初始化帧合成号i,即设置 i=0 (S51),使得从环形緩冲器56的顶端区域开始存储帧。在原始活动图像 中包含的帧记录在环形缓沖器56的第t区域中(S52 )。在显示缓冲器74中初始化目标像素的位置x和y,即，位置x和y设置 为x=0和y=0 (S54),使得从屏幕左上边缘开始的像素被顺序复制到显示緩 冲器74。在环形緩冲器56中的读出指针T的位置作为对应于像素x和y的 数据的读出位置进行计算(S56 )。该读出指针T是通过T=/0-com" 获得的时 间值，并且指示通过沿时间轴按固定时间间隔返回的多个过去帧。数据获得 单元64从存储在环形緩冲器56的读出指针区域的帧中读出像素Px,y的数据。 然后，图像形成单元66将读出数据复制到显示緩冲器74中的像素Px,y区域 上(S58)。计算并设置像素Px,y的alpha值ax，y ( S60 )。当像素Px，y还不是显示緩冲 器74中的最后像素时，即当像素Px,y不是右下边缘像素时(S62N),像素Px,y 移动到下一像素(S64)。重复S56到S62的处理直到像素P^成为显示緩冲 器74中的最后像素。当像素Px，y成为显示緩冲器74中的最后像素时，关于 一帧的图像写入显示缓冲器74 ( S62Y)并且由图像形成单元66画出(S66 )。如果帧合成号i还没有到达预定的号I ( S68N )，则给号i加"l"并且重复 S54到S66的处理。在第三实施例中，预定的号I是"3"并且重复合成4次直 到帧合成的号i从"0，，计数到"3"。当帧合成的号i到达预定的号i时(S68Y)， 将写指针t加"r (S70)。当写指针t指示环形緩冲器56的末端区域时，写指
针t返回到环形缓冲器56的顶端区域。图像数据输出单元76向显示器78输 出所画图像数据(S76 )。重复S52到S76的处理直到命令终止显示为止(S78 )。 以这种方式，仅以像素为单位从过去帧中读出期望颜色分量的数据，然后写 入显示緩冲器。例如作为第三实施例的改进的例子，帧的alpha值对应于合成号1=0,即 可以将当前帧12的alpha值而不是PR设置为P。在这种情况下， 一起提取三 个颜色RGB,使得在图9B的显示屏上不仅出现红色材料目标34-37而且同 时出现人30。第四实施例根据本发明的第四实施例与第三实施例不同之处在于在第四实施例中的 属性值是指示期望的图像模式和实际图像之间的近似阶(order)。作为模式匹 配的结果，图像越近似并接近期望的图像模式，其数据就从越旧的帧中读出。 因此，在延迟的定时上可以显示单独包含在原始活动图像中的期望的部分图 像。图ll根据第四实施例以虚拟方式将原始活动图像图解为盒空间。包含在 盒空间10的当前帧20包含第一图像40。现在假设通过图像模式计算匹配， 以便近似第一图像40,然后，与其它区域中的像素相比，组成第一图像40 的像素具有与图像^t式更高阶近似。因此，通过沿时间轴进一步返回，4艮据 近似阶，从过去的帧中读出对应于其的数据。这里，通过沿时间轴返回到时 间t2,来从具有时间值t2的帧中的第二图像42的位置读出数据。盒空间10 的截面在第二图像42的区域中仅占用时间值t2，而在其它区域占用时间值ti。 因此，截面沿时间轴方向具有离散的宽度。根据第四实施例的图像产生装置50具有与图3所示装置基本相同的结 构。用户经由命令获得单元72指定图像模式，而决定处理单元62处理图像 模式和帧图像之间的匹配。作为其结果，逐像素的检测与图像模式的近似阶。 决定处理单元62根据其近似阶，为每个像素确定应该从哪个帧中读出数据。将参照图7描述根据第四实施例的处理流程。首先，先于步骤SIOO,用 户指定作为对其计算匹配的目标的图像模式，并且在当前帧12和图像模式之 间计算匹配，以便为每个像素检测由"s"表示的近似阶。即，关于图像区域中 与图像模式近似的像素，设置图像区域的近似阶。步骤S100到S104与第二 实施例的步骤相同。在步骤S106中，根据近似阶"s"确定读出指针T。例如通 过T4-s(x,y)获得读出指针T。其后的步骤也与第二实施例的步骤相同。 第五实施例在第五实施例中，也是从分离的帧中读出数据并根据像素属性值合成。 该属性值与第三和第四实施例不同之处在于其为表示图像区域的时变程度的 值。例如，在目标之间，快速或大幅移动的区域在时间上具有大图像改变， 因此从较旧的帧中读出数据。因此，可以延迟包含在原始活动图像中的、具 有大图像改变的区域显示，以便图像改变越大，就越延迟图像区域的显示。根据第五实施例的图像产生装置50具有与图3所示的装置基本相同的结 构。由检测处理单元62为每个像素检测在目标帧和该目标帧的紧前一巾贞之间据。将参照图7描述根据第五实施例的处理流程。在S106,逐像素地比较第 t帧和第(T-l)帧，并且检测由"c"表示的改变程度。根据其改变程度"c，，确定 读出指针T。例如，通过T4-c(x,y)获得读出指针T。当改变程度"c"增加时， 表示沿时间轴返回过去的时间的程度的时间值增加。第六实施例根据本发明的第六实施例与第 一实施例不同之处在于用户通过使用屏幕 上的界面可以为每个扫描线自由确定或定义从哪个帧中读出数据。在下面通 过强调与第 一 实施例不同之处来描述第六实施例。图12是示出图像产生装置的结构的功能方框图。图像产生装置50与图 3中示出的、根据第一实施例的图像产生装置50的主要不同之处在于，图12 中所示的装置包括设置输入单元80。设置输入单元80经由用户操作的命令 获得单元72获得用于定义图l的截面14的设置值的输入。在第六实施例中， 作为定义从哪个帧中读出每个像素行的数据的功能，t=Vy是作为默认设置值 的预定值。即，该功能定义帧向过去返回的程度。设定输入单元80向显示緩 冲器74发送由显示在t^Vy上时间值的关系和像素行的坐标y的图表表示的 图像。图像数据输出单元76在显示器78显示由设置输入单元80产生的图像， 该图像还显示时间t和坐标y之间的关系。当观看显示在显示器7 8上的图时， 用户操作命令获得单元72，并且修改图的形状来将函数t二Vy改变为其他函 数。例如，命令获得单元72可以是连接到显示器屏幕的触摸屏。在这种情况 下，表示用户压触摸屏的位置的值作为操作内容输入。
命令获得单元72向设置输入单元80发送用户操作内容来改变显示在显 示器78上的图。根据从命令获得单元72获得的操作内容，设置输入单元改 变函数t-Vy,从而设置新函数，并因此而将新设置的函数存储在函数存储器 70中。决定处理单元62从函数存储单元中读出由设置输入单元80设置的函 数，并且根据该新函数为每个像素行确定从哪个帧中读出数据。作为其结果， 图l所示的盒空间10由设置输入单元80设置的函数定义的曲面所切割，并 且输出出现在截面上的图像而不是当前帧12作为实际帧。通过实现以上结 构，用户可以利用图像产生装置50作为授权工具，并且通过自由改变显示在 屏幕上的图可以产生神秘和独特的图像。
图13示出显示由设置输入单元确定的函数的图表的监视器的屏幕。最 初，在设置屏幕82上显示指示函数t-Vy中的时间t和坐标y之间关系的直 线84。用户可以将直线84改变为贝塞尔曲线86。贝塞尔曲线86是连接第一 端点88和第二端点90的曲线，由第一控制点96和第二控制点98的位置确 定该曲线的形状。通过用户改变第一手柄(handle) 92和第二手柄94的位置 和长度来确定第一控制点96的位置和第二控制点98的位置。如果由设置输 入单元80设置的函数由贝塞尔曲线86指定，则获得的是为每个像素行而将 从与当前帧邻近的帧中读出数据与从过去的帧中读出的数据混合在一起的图 像。例如，经由设置输入单元80,用户通过贝塞尔曲线86可以指定周期曲 线，诸如正弦波曲线。虽然在该实施例中，由贝塞尔曲线86指定函数，但可 以提供一种结构作为改进的例子，其中由诸如B-样条等曲线的其他曲线指定 函数。
第七实施例
根据本发明的第七实施例与第六实施例不同之处在于设置输入单元80 获得当前帧12中的特征点的坐标作为设置值之一，并且由该特征点的坐标定 义函数。下面通过强调其与第六实施例的不同之处来描述本实施例。
命令获得单元72也是连接到显示器78的触摸屏。当用户在期望的位置 按压触摸屏并且以画圆的方式移动触点时，表示触点的坐标的多个连续值被 发送到设置输入单元80。根据获得的坐标值，设置输入单元80识别由多个 触点环绕并覆盖的区域，并且产生用于确定环绕区域的函数，以便记录到函 数存储器70中。根据从函数存储器70读出的函数，从过去帧中读出关于包 含在环绕区域中的像素的数据，而从当前帧12中读出关于没有包含在环绕区域中的像素的数据。作为其结果，图l所示的盒空间IO由通过设置输入单元 80获得的坐标函数定义的曲面所切割，并且输出在截面上出现的图像而不是当前帧12作为实际帧。通过实现上面的结构，用户可以利用图像产生单元 50作为授权工具，并且可以通过在触摸屏上指定任意区域来产生神秘和独特 的图像。第八实施例根据本发明的第八实施例与其他实施例不同之处在于以某种方式预先定 义函数，使得预定的改变形状出现在屏幕上，从根据该函数确定的帧中读出 数据。根据该第八实施例，以诸如水环的波形改变形状出现在屏幕上的方式 预先定义函数。决定处理单元62确定当前帧12中的特征点。与第六和第七实施例类似， 通过用户经由连接到显示器78的屏幕的触摸屏指定特征点，其中触摸屏用作 命令获得单元72。决定处理单元62确定源帧和像素坐标，以便水环的波形 作为其中心从特征点出现。这里，源帧是要从其读出数据的帧。例如，为了表现水环的立体图，假设从特征点沿放射方向显示圓圈，决定处理单元62为 每个放射圓圈使用渐变时间值确定源帧。定义渐变时间值的改变，使得其成 为周期改变。从而可以表现水环的不平坦性。此外，决定处理单元62在预定 方向移动要读出的像素坐标预定量。从而可以表现水环引起的光折射。 第九实施例根据本发明的第九实施例与触摸屏用作输入特征点的命令获得单元72 的第七和第八实施例不同之处在于根据在当前帧12中包含的信息确定特征 点。根据第九实施例的决定处理单元62根据包含在当前帧12中的每个像素 的像素值确定特征点。例如，高速闪烁的LED合成到目标上从而成为目标的 一部分，并且决定处理单元62通过指定在连续输入的当前帧12中的、像素 值在两个值之间间歇改变的区域来识别出闪烁部分。决定处理单元62确定闪 烁部分作为特征点的坐标。作为改进的例子，决定处理单元62可以使用固定 的坐标确定特征点。作为另一个改进的例子，如果下面的因素即像素值、Z 值、与期望模式的近似阶和像素的像素值改变中的任何一个落入预定范围中， 决定处理单元62可以确定像素是特征点。第十实施例
根据本发明的第十实施例与其他实施例不同之处在于图像输入装置52不仅获得原始活动图像，还获得音频数据。图像输入装置52获得的音频数据 与原始活动图像同步输入，以便发送到环形緩冲器56。根据音频数据的频率 分布、音量改变等，决定处理单元62确定源帧、读出定时、alpha值和特征 点中的至少一个。例如，当音频数据的音量改变超过阈值时，决定处理单元 62可以以诸如在屏幕上出现第八实施例中描述的形状的方式，确定源帧和读 出像素。例如，如果音量的改变超出频域部分的阈值，则决定处理单元62可 以根据频域确定在第八和第九实施例中的特征点。 第十一实施例根据本发明第十一实施例，根据目标帧中包含的像素的属性值，预定的 图形组合在像素的位置附近。这里，属性值是指示图像区域的时变程度的数 字值。例如，在目标中的快速或大幅移动的区域被连续显示，以便艺术并生 动地表示的具有微粒形式(form of particle)目标以从时变更大的像素向其外 围扩散的方式变形。以这种方式，可以在原始活动图像中的、诸如移动区域 或轨迹之类的主目标的外围产生诸如显示在屏幕上的纸-降雪(paper-snowfall-like )效果的定向和操作效果。根据第十一实施例的图像产生单元50具有与图3所示的装置类似的结 构。决定处理单元62为每个4象素，在当前帧12和时间上在当前帧12之前的 帧之间，检测组成帧的图像区域的像素值的时变程度。如果这个像素的改变 程度超出预定阈值，则决定处理单元62将像素当作用于定向并操作目标的中 心位置。如果存在多个其改变程度超过阈值的像素并且相互临近布置，则可 以确定它们中具有最大改变程度的一个像素作为中心位置，并且中心位置周 围可以以扩散方式显示多个定向和操作目标。此外，决定处理单元62可以根 据当前帧12中的像素和先前帧中的像素(在每个帧中该两个像素中每个都具 有最大的改变程度)，确定定向和操作目标的移动方向。图14是示出产生定向和操作目标的步骤的流程图。首先，输入当前帧 12作为处理目标(S150)。如果在开始输入当前帧12之后没有立即执行再现 处理(S152N)，则在当前帧12和在时间上其前一帧之间提取像素值的改变(S154)，检测像素值改变最大的位置(S156),并且将其像素值改变最大的 位置的矢量确定为定向和操作目标的移动方向(S158)。如果在开始输入当前 帧12之后立即执行再现处理，则没有这样的前一帧，因此省略处理S154到 S158(S152Y)。当前帧12分离存储以便与下一帧进行比较(S160)。在作为 中心的、在S156检测到的位置周围产生将要显示的定向和操作目标的图像 (S162)。由此而产生的定向和操作目标与当前帧12重叠，以便处理将要显 示的图画(S164)。通过重复处理S150到S164直到终止显示为止(S166Y)， 当沿S158确定的移动方法移动时，显示定向和操作目标。在上面的例子中，描述了根据与其前一帧的像素值改变确定显示定向和 操作目标的位置的结构。作为另一个例子，决定处理单元62根据颜色分量、 轮廓、亮度、Z值、动作轨迹等等可以确定位置来执行定向和操作效果。例 如，根据诸如"在图中包含最多红色分量的位置"的像素值的大小可以确定将 产生定向和操作效果的位置，或者在单帧中其与其它相邻轮廓之间的像素值 的差是最大的轮廓线可以被确定为定向和操作部分。这里，"将产生定向和操 作效果的位置，，也将在后面筒称为"定向位置"。此外，例如临近"红色轮廓"的 像素值之间的差大于阔值，并且其颜色分量大于阈值的部分可以被确定为定 向位置。此外，可以将亮度大于阈值的部分确定为定向部分，而具有特定Z 值范围的部分可以确定为定向部分。如果在固定时期限制内存储了多个过去 帧，则可以检测根据特定标准提取的特征点的轨迹(locus )。因此，沿这样的 轨迹可以产生定向和操作效果。作为定向和操作效果，决定处理单元62可以 显示对其应用了闪亮颜色或其他特征的线性目标或人物，或诸如符号之类的 目标。此外，决定处理单元62可以产生从当前帧12提取的特性区域的透明 度变为半透明状态的定向和操作效果，以便重叠到过去帧。决定处理单元62可以根据诸如坐标、Z值和每个像素的像素值、与期望 的图像模式的近似阶和像素值中的改变率之类的属性值，确定将要显示的定 向和操作目标的大小和移动速度。用于组合定向和操作目标的alpha值可以是 固定值或对于各个像素来说是不同的。例如，可以根据诸如坐标、Z值和每 个像素的像素值、与期望的图像模式的近似阶、像素值中的改变程度之类的 属性值设置alpha值。图15是示出定向和操作效果应用到当前帧12的步骤的流程图。首先， 根据来自用户的命令，确定将应用到当前帧12的定向和操作效果的类型 (S200)。然后，输入产生定向和操作效果的当前帧12 (S202)。然后，提取 当前帧12中相邻的像素值差超过阈值的部分作为轮廓(S204),并且确定像 素值差最大的部分作为产生定向和操作效果的部分(S206 )。然后将定向和操
作效果应用到确定的部分(S208 ),并且处理用于显示产生定向和操作效果的 图像的图(S210)。在当前帧上重复执行以上处理S202到S210 (S212N)直 到终止显示为止(S212Y),以便在其上应用定向和操作效果。 第十二实施例根据第十二实施例，根据包含在目标帧中像素属性值的改变，局部改变 再现帧率。即，根据构成二维图像的图像区域的属性值，对每个图像区域， 截面14按不同的速率随时间改变，以使得将要从图像数据输出单元76输出 的新活动图像的帧速率局部改变。例如，对于在时间上像素值改变的程度大 于阈值的部分，从帧读出数据的时间间隔变长，从而降低再现帧速率。从而， 将产生神秘而独特的图像，其中区域实际移动越快，在显示器上显示的区域 就移动得越慢，因此活动图像中目标的一部分以与正常速度不同的速率移动。根据第十二实施例的图像产生装置50具有与图3所示的装置基本相同的 结构。根据该实施例的决定处理单元62可以逐像素地改变帧速率，或以根据 其像素值提取的目标为单位改变帧。决定处理单元62可以以围绕该像素的一 些像素被包括为所讨论的范围的一部分的方式来提取目标。在这种情况下， 诸如其像素值逐渐改变的目标边缘这样的部分可以包括为目标的一部分，并 还对其进行处理。关于其帧速率将改变的区域，决定处理单元62确定在该改变后的帧速 率。例如，可以根据区域的像素值的时变程度设置帧速率，而且其速率改变 越大的区域的帧速率可以设置越低的值。根据这样确定的帧速率，决定处理 单元62为每个像素确定读取源帧和下一帧之间的时间间隔。决定处理单元 62可以随时间改变帧速率。例如，决定处理单元62首先将帧速率设置为低 速率并且逐渐增加帧速率，以使得其跟上其他围绕该像素的像素的显示定时。作为改进的例子， 一种结构可以使得用户经由图12所示的命令获得单元 72，可以设置是否以目标的边缘包括在目标的范围中的方式执行处理。可以 改变在当前帧12中具有预定Z值范围的像素的帧速率。可以改变在当前帧中 具有与期望的图像模式预定近似阶的位置。换句话说，逐像素地控制帧速率。第十三实施例根据本发明第十三实施例，从在时间上是先前的帧而不是目标帧中读出 在目标帧中具有预定属性值的像素的数据。例如，从旧帧中读出对应于黑色 的像素值的数据，以便可以产生生动的效果，好像从修剪形状(trimmingshape )窗口中观看部分过去的图像。根据第十三实施例的图像产生单元50具有与图3所示的装置基本相同的 结构。根据本实施例的决定处理单元62从当前帧12中提取具有预定像素值 范围的区域，并且同时确定区域的源帧。源帧可以是通过沿时间轴返回预定 时期获得的过去帧，或者可以根据诸如坐标、Z值、每个像素的像素值、与 期望图像模式的近似阶、像素值的改变幅度等等的属性值确定源帧。作为改进的例子，帧越旧，就越是顺序排列(gradate)这些帧，以便可 以强调并生动表示旧事物。决定处理单元62可以提取也包括一些围绕像素的 区域。例如从人脸中一起提取对应于嘴和围绕嘴的一些像素的区域，从而肯 定提取出诸如目标边缘的、像素值逐渐改变的部分。在上面的实施例中，从 时间上在前的帧中读出数据。然而，如果时间上将来的帧也存储在环形緩冲器56中，则可以从这些将来帧中从读出数据。 第十四实施例在本发明第十四实施例中，根据包含在目标帧中的像素的属性值的改变 将像素值加到像素，从而改变颜色。例如，以将目标中大幅移动的区域显示 为红色等方式，将定向和操作效果应用到原始图像上。根据第十四实施例的图像产生装置50具有与图3所示装置基本相同的结 构。根据该实施例的决定处理单元62将预定的值加到像素的像素值上，使得 以红色显示当前帧12中改变程度大的像素。其后，关于加了预定值的像素， 将要加到该像素的像素值随时间逐渐降低，并且作为其结果，可以显示留下 了红色尾部的余像。作为图像产生装置50的改进例子，其结构可以是通过甚至在像素已经显 示后该像素仍然保留在屏幕上的方式，在时间上剧烈改变的像素的数据可以 与预定的alpha值合成。像素值还可以加到合成的数据，使得可以以期望的颜 色显示其图像。其后，将要合成的数据的alpha值随时间逐渐降低，作为其结 果，可以显示留下尾部的余像。作为另一个改进的例子，结构可以使得通 过使用预定的alpha值，其改变程度高的像素数据与关于屏幕的所有像素的 alpha值设置为零的屏幕合成，并且逐渐显示整个屏幕。作为另一改进的例子， 可以改变加到每个像素的像素值，并且通过以积累的方式添加该像素的像素 值，可以改变像素的颜色。第十五实施例
在本发明第十五实施例中，根据包含在将来帧中的像素的属性值，使用 预定的目标合成目标帧。即，在预先存储的原始活动图像中包含的帧之间， 如在第十一 实施例中的颗粒状目标显示在接近将要显示的帧中预定图像模式的区域上。从而，可以产生类似广播(announce)的定向效果。例如在屏幕 上露出的、在这里作为目标的主要人物之前显示纸-降雪等图像。根据第十五实施例的图像产生装置50具有与图3所示的装置基本相同的 结构。根据本实施例的决定处理单元62从预先存储在环形緩冲器56中的原 始活动图像包含的帧中，检测落入关于时间上以后将要显示的帧中预定图像 模式的近似阶的预定范围中的区域。决定处理单元62在所检测的区域周围合 成颗粒状目标。组合和合成图像的方法与在第十一 实施例中描述的方法类似。作为改进的例子，目标的合成可以应用到实时活动图像，其中与图像的 当前再现并行地拍摄该活动图像。即，在拍摄后立即获得活动图像暂时存储 在緩冲器中，然后在比拍摄定时延迟的定时再现每个帧。从拍摄后立即获得 的当前帧中提取预定的图像模式，同时在比拍摄定时延迟的定时再现其帧， 从而可以产生类似广播的定向效果。根据仅仅为示例性的实施例描述了本发明。本领域技术人员应该理解存 在关于上述每个部件和处理的组合的其它各种修改，并且这样的修改由本发 明的范围包含。在第二实施例中，根据Z值确定从哪个帧中读出数据。然而在改进的例 子中，在固定时间间隔上设置多个帧作为源帧，并且通过^4居Z值的比率可 以合成多个帧。在这里再次说明源帧是从其读出数据的帧。在这种情况下， 根据Z值确定alpha值。在目标中具有相对大的Z值的区域，即可以以将其 alpha值设置得更大的方式设置离摄像机近的区域。在这种情况下，将更加清 楚明晰地投影离摄像机近的区域，而将以残留方式显示剧烈移动的区域，就 好像其为余像。在第三实施例中，根据像素值设置alpha值。然而在另一个改进的例子 中，根据像素值可以确定源帧。例如，当提取具有红色分量的像素值时，从 较旧的帧中读出在具有更多红色分量的区域上的数据，以便包含更多红色分 量的区域的显示被进一步延迟。在第四实施例，根据与期望图像模式的近似阶确定源帧。然而在另一个 改进的例子中，根据近似阶可以设置alpha值。在这种情况下，更清楚明晰地 显示更接近图像模式的区域，并且以进一步的残留余像的方式显示快速和大 幅移动的区域。此外，预先准备了多个不同图像模式，并且可以根据哪个特 定模式将被使用来采用近似阶来读出源帧。或者，可以根据哪个特定模式将被使用来采用近似阶来确定alpha值。图像的识别不仅可以是每个帧的识别， 而且也可以是if争越多个帧的姿势的识别。在第五实施例中，根据图像区域中的时变程度确定源帧。然而在另一个 改进的例子中，可以根据改变的程度设置alpha值。在这种情况下，更清楚明 晰地显示具有更大程度改变的区域，并且也以残留余像的方式显示具有更大 程度改变的区域。在第一到第十五实施例中的每个实施例中，通过相同的坐标(x,y)判定 在多个帧中的像素的对应关系。然而根据另一个修改，可以通过移动特定的 像素的坐标来判定对应关系，或者可以根据属性或像素的宽度判定是否应该 作出该移动。在第二到第五实施例中，根据各个单一属性值或alpha值确定源帧。然 而在另一个修改中，可以根据Z值、像素值、近似阶和改变程度中的多个属 性值确定源帧或alpha值。例如，在根据其Z值为特定像素确定了源帧之后， 可以在所述帧和当前帧12之间计算模式匹配，然后根据对应于其近似阶的 alpha值可以合成多个帧。在这种情况中，如果目标离摄像机更近，则从较旧 的帧中读出数据，此外，以残留余像的方式显示大幅移动的区域。在第一到第十五实施例中的每个实施例中，提供了一种结构，使得包含 在原始活动图像中的、对应于特定时期的源帧存储在环形緩冲器56中。然而 在另一个修改中，图像输入单元52可以从以MPEG格式压缩的原始活动图 像中读出由决定处理单元62确定的帧，并且緩冲器控制单元54可以使这些 帧存储在环形緩冲器54中。此外，緩冲器控制单元54可以参照该帧之前和 之后的帧。在下文中，将描述进一步的修改。1-1.在第一实施例中，提供一种结构，使得为每个像素行从不同的帧中 读出数据。在该改进的例子1-1中， 一种结构可以使得作为源帧的一些过去 帧被设置，并且为每个像素行从这些设置的帧中的任何帧中读出数据。例如， 一种结构可以使得将两个帧A和B设置为源帧，并且根据像素行的次序是奇 数还是偶数从A和B中读出数据。例如，结构可以使得将六个帧A、 B、 C、
D、 E和F设置为源帧，从帧A中读出第0到第79像素行的数据，并且从帧 B中读出第80到第159像素行的数据等等。换句话说，以80条线为单位分 割像素行并且从不同的过去帧读出用于分割线的每个单元的数据。当为屏幕 上每个由50个像素行组成的单元从各个不同的帧中输出数据时，在移动区域 上出现带状模式或类似模式。1-2.在第二实施例中，提供一种结构，使得根据Z值从不同的帧中读出 数据。在这个改进的例子1-2中， 一种结构可以使得从过去帕中读出仅具有 预定Z值范围的像素的数据。例如，至少预先设置Z值的上限和下限之一， 并且预先设置了从其读出数据的一个或多个过去帧。关于具有落入设置范围 (在上限之下在下限之上)中的Z值的像素，从设置的过去帧中读出数据。 关于具有设置范围之外的Z值的像素，从当前帧12中读出数据。这里将要设 置的源帧的数量被固定为 一个或多个帧，或者根据源帧的像素坐标源帧可以 是过去帧。1-3.在第三实施例中，提供一种结构，使得从多个过去帧中读出具有预 定像素值的像素的数据，并且与当前帧12合成。在这个改进的例子1-3中， 一种结构可以使得关于具有预定像素值的当前帧12的像素，从预定的过去 帧中读出数据，而关于其他像素，从当前帧12中读出数据。此外，可以以固 定方式设置用作源帧的过去帧，或者根据其像素值，源帧可以是过去帧。1_4.在第四实施例中，提供一种结构，使得从对应于与期望的图像模式 的近似阶的过去帧中读出数据。在这个改进的例子1-4中， 一种结构可以使 得从过去帧中仅仅读出其与期望的图像模式的近似阶落入预定的范围中的像 素的数据，而从当前帧12中读出其他像素。作为近似阶的范围，可以至少预 先设置其上限和下限之一。可以以固定的方式设置用作源帧的过去帧，或者1-5.在第五实施例中，提供一种结构，使得根据像素值的改变从过去帧 中读出数据。在这个改进的例子1-5中， 一种结构可以使得从过去帧中仅仅 读出其像素值改变落入预定范围中的像素的数据，而从当前帧12中读出其他 像素的数据。可以以固定方式设置用作源帧的过去帧，或者源帧可以是根据 像素值改变通过沿时间轴返回获得的过去帧。1-6.在第一实施例中，根据时间值t和像素坐标y定义函数t=Vy。在 这个改进的例子1-6中，在时间t和像素坐标y之间的关系可以定义为使用三 角函数的t-sin y等。在图13中描述的图中，周期性地混合的是从沿时间轴 进一步返回的过去帧中读出其数据的像素行，以及从更新的帧中读出其数据 的另一个像素行。此外，如在改进的例子1-1中那样， 一种格式可以使得预 先设置作为源帧的一些过去帧，并且从对应于时间值t的这些设置的帧中的 任何帧中读出每个像素行的数据。2-1.在第一实施例中，提供一种结构，使得为每个像素行从过去帧中读 出数据，并且这些数据以垂直方向布置以便构造一帧。在这个改进的例子2-l 中， 一种结构可以使得为每个像素行从过去帧中读出的数据与当前帧12合成 以便形成一帧。在这种情况下，alpha值可以是固定值，也可以对于每个像素 行而不同。例如，可以根据坐标、Z值、每个像素的像素值、其与期望的图 像模式的近似阶、其像素值的改变等，设置alpha值。2-2.在第二实施例中，提供一种结构，使得根据Z值从不同的帧中读出 数据。在这个改进的例子2-2中， 一种结构可以使得根据Z值从不同帧中读 出的数据与当前帧12合成以便产生一帧。或者，从过去帧中读出当前帧12 中仅仅具有Z值的预定范围的像素的数据，并且将这样的数据与当前帧12 合成以便形成一帧。在这种情况下的alpha值可以是固定值，也可以对于每个 像素行而不同。例如，可以根据坐标、Z值、每个像素的像素值、其与期望 的图像模式的近似阶、其像素值的改变等，设置alpha值。2-3.在第三实施例中，提供一种结构，使得从多个过去帧中读出具有预 定像素值的像素的数据以便与当前帧12合成。在这个改进的例子中， 一种结 构可以使得关于在当前帧12中具有预定像素值的像素，从预定的过去帧中 读出其数据，并且该数据与当前帧12合成。在这种情况下的alpha值可以是 固定值，也可以是对于每个像素行而不同。例如，可以根据坐标、Z值、每 个像素的像素值、其与期望的图像模式的近似阶、其像素值的改变等，设置 alpha值。2-4.在第四实施例中，提供一种结构，使得从对应于与期望图像模式的 近似阶的过去帧中读出数据。在这个改进的例子2-4中， 一种结构可以使得 从对应于与期望图像模式的近似阶的过去帧中读出的数据与当前帧12合成。 或者，从过去帧中读出仅仅其与期望图像模式的近似阶落入预定范围的像素 的数据，并且将这样的数据与当前帧12合成。在这种情况下的alpha值可以 是固定值，也可以是对于每个像素行而不同。例如，可以根据坐标、Z值、
每个像素的像素值、其与期望的图像模式的近似阶、其像素值的改变等，设置alpha值。2-5.在第五实施例中，提供一种结构，使得根据像素值的改变从沿时间 轴返回的过去帧中读出数据。在改进的例子2-5中， 一种结构可以使得根据 像素值改变从过去帧中读出的数据与当前帧12合成。或者，从过去帧中读出 仅仅其像素值改变落入预定范围中的像素的数据，并且将这样的数据与当前 帧12合成。在这种情况下的alpha值可以是固定值，也可以对于每个像素行 而不同。例如，可以根据坐标、Z值、每个像素的像素值、其与期望的图像 模式的近似阶、其像素值的改变等，设置alpha值。2-6.在改进的例子l-6中，时间t和像素坐标y之间的关系被定义为使 用三角函数的t=siny等。作为其进一步修改，根据使用诸如t二siny这类的三 角函数的函数，将从当前到过去帧中读出的数据与当前帧12合成。在这种情 况下的alpha值可以是固定值，也可以对于每个像素行而不同。例如，可以根 据坐标、Z值、每个像素的像素值、其与期望的图像模式的近似阶、其像素 值的改变等，设置alpha值。2- 7.在第六实施例中，提供一种结构，使得从对应于由用户在设置屏幕 82上设置的贝塞尔曲线86的帧中读出数据。在这个改进的例子2-7中，结构 可以使得根据由用户在设置屏幕82上设置的贝塞尔曲线86,将从帧中读出 的数据与当前帧.12合成。在这种情况下的alpha值可以是固定值，也可以对 于每个像素行而不同。例如，可以根据坐标、Z值、每个像素的像素值、其 与期望的图像模式的近似阶、其像素值的改变等，设置alpha值。3- 1.在这个改进的例子中， 一种结构可以使得将在第一到第十五实施例、 1-1到1-6改进的例子和2-1到2-7改进的例子中的至少两个或更多实施例或 改进的例子中，为每个像素读出的两份或更多份数据合成。在这种情况下的 alpha值可以是固定值，也可以对于每个像素行而不同。例如，根据坐标、Z 值、每个像素的像素值、其与期望的图像模式的近似阶、其像素值的改变等， 可以设置alpha值。尽管已参照本发明的确定优选实例表示和描述了本发明，但本领域内的 普通技术人员将理解的是，可在不背离由所附权利要求书限定的本发明宗旨 和范围的前提下对本发明进行各种形式和细节上的修改。
权利要求
1. 一种图像产生方法，包括对于在原始活动图像的目标帧中包含的图像的每个图中位置，从原始活 动图像中包含的多个帧的至少一帧中读出对应于图中位置的数据； 合成读出的数据；及通过顺序输出在所述合成时形成的帧来形成新活动图像。
2. 如权利要求1所述的图像产生方法，其中所述读出使得根据其坐标为 每个图中位置确定从多个帧的至少一帧中将要读出的数据。
3. 如权利要求1所述的图像产生方法，其中所述合成使得读出的数据以 根据包含在多个帧的至少 一 帧中的图像的属性值的 一 个比率来合成。
4. 一种包括图像存储器、图像转换单元和图像数据输出单元的图像产生 装置，其中所述图像存储器顺序记录每个帧的原始活动图像，并且所述图像转 换单元为每个包含在目标帧中的图像的图中位置而从记录在所述图像存储器 的至少一帧中读出对应于图中位置的数据，并合成该数据，并且所述图像数 据输出单元顺序输出由所述图像转换单元合成和重构的帧。
5. 如权利要求4所述的图像产生装置，其中所述图像转换单元根据其坐 标为每个图中位置确定至少 一 帧。
6. 如权利要求5所述的图像产生装置，其中该坐标使得其与扫描线正交。
7. 如权利要求4所述的图像产生装置，其中所述图像转换单元根据其属 性值为每个图中位置确定至少一帧。
8. 如权利要求4所述的图像产生装置，其中所述图像转换单元以预定的 时间间隔确定多个帧作为所述至少一帧，并且所述图像转换单元为每个图中 位置以根据其属性值的一个比率合成所述多个帧。
9. 如权利要求4所述的图像产生装置，其中对于包含在目标帧中的图像 的每个图中位置，所述图像转换单元根据其位置的属性值应用定向效果。
10. 如权利要求7所述的图像产生装置，其中所述图像转换单元根据其 属性值为每个图中位置将确定帧的时间间隔设置为分离的时间间隔。
11. 如权利要求4所述的图像产生装置，其中目标帧或者所述至少一帧 是关于应该已经由所述图像数据输出单元从所述图像存储器自然地输出的参考帧，在时间上在前的帧或时间上后来的帧中的至少 一个。
12. 如权利要求4所述的图像产生装置，其中对于包含在目标帧中的图 像的每个图中位置，所述图像转换单元根据其属性值添加预定像素值。
13. 如权利要求7所述的图像产生装置，其中属性值是深度值。
14. 如权利要求7所述的图像产生装置，其中属性值是指示相对期望图 像模式的近似阶的值。
15. 如权利要求7所述的图像产生装置，其中属性值是指示图像区域在 时间上改变的程度的值。
16. 如权利要求7所述的图像产生装置，其中属性值是像素值。
17. 如权利要求4所述的图像产生装置，还包括图像输入单元，用于获 得由摄像机拍摄的图像作为原始活动图像并且将这些图像发送到所述图像存 储器。
18. 如权利要求4所述的图像产生装置，还包括设置输入单元，用于经 由用户操作获得用于确定所述至少一帧的设置值的输入，其中所述图像转换 单元根据由所述设置输入单元获得的设置值确定所述至少一帧。
19. 如权利要求13所述的图像产生装置，其中当显示在屏幕上时，通过 指示包含在二维图像中的点的坐标和其时间值之间的关系的曲线来表示由所 述设置输入单元获得的设置值。
20. 如权利要求13所述的图像产生装置，其中所述设置输入单元获得二 维图像中的特征点的坐标作为设置值，并且所述图像转换单元根据特征点的 坐标确定所述至少一帧。
全文摘要
本发明提供了一种使用沿时间轴改变的图像数据产生新图像的方法和装置。矩形平行管状空间(盒空间)通过使用虚拟空间表示活动图像。包含在活动图像中的多个帧沿时间轴连续出现。盒空间由所期望的面切割开，并且投影到该截面的图像投影到与时间轴方向平行的平面上。将顺序投影到该平面的图像输出作为新活动图像。
文档编号G06T3/00GK101123692SQ20071010255
公开日2008年2月13日 申请日期2003年10月22日 优先权日2002年10月25日
发明者大场章男, 挂智一, 铃木章 申请人:索尼计算机娱乐公司