专利名称：背景图象上运动物体的交互式图象控制和显示方案的制作方法
技术领域：
本发明涉及到交互式图象控制和显示方案，其中背景图象显示在计算机屏幕上，其上由用户用鼠标、触摸屏之类的指示装置交互式地指定一个位置，且对应于此指定位置而设定的移动物体的部分图象被合成显示在此指定位置，从而在背景图象上表示运动物体的一系列动作。
在计算机上进行有关图象显示的某些控制的通常所知的例子包括借助于相对视频图象控制时间轴而显示相应的帧图象。例如，在苹果计算机公司的QuickTime播放器中，如
图1所示，当对应于时间轴的光标(时间轴光标)被控制来指定一个特定的时间时，对应于此特定时间的帧图象就被显示在显示窗口上。此例中不存在对图象空间的控制，使其成为仅仅根据时间轴来显示视频图象的例子。
另一方面，如图2所示，苹果计算机公司的QuickTimeVR播放器是一个界面，其中通过窗口来观看宽高比很大的全景图象，它采用了使位于窗口外面的隐藏部分能够根据鼠标光标(视场移动光标)的左右运动而显示的机制。此时，窗口实际上根据鼠标相对位移的大小和方向而相对于背景图象运动。在此例子中，不存在时间轴信息和对被显示图象本身的控制，仅仅控制了窗口的视场。
从图象交互式显示的观点看，具体地说，诸如上述的常规方案大多数是如图1例子那样仅仅根据时间轴来控制时间轴的例子，且即使在目的不在于根据时间轴控制的图2的例子中，鼠标光标控制位移的方向和相对量也仅仅用来控制窗口的视场，不存在对直接与实际背景图象上的位置有关的信息的控制。
这样，通常就不存在根据背景图象上的位置来交互控制显示的界面。
现在，在一般图象重放设备的快速正向重放模式中，图象重放速度可改变到规定的重放速度，在某些设备中可改变到任意速度，其中的图象从当前位置重放，直至根据来自按钮、摇杆、光标等等的输入而发出停止命令。在这一点上，大多数通常所知的装置都仅仅提供图象显示。
在现有技术中，重放终点并不预先规定，以致例如当用户进行快速重放时，用户必须小心地注视显示的视频图象以判断恰当的重放终点，造成用户的沉重负担。作为指定重放终点的方法，可以考虑输入视频图象的时间码或帧数的方法，但此法缺乏直观的感觉，以致需要一种能够输入同时又能够用肉眼查看重放终点的视频图象的方法。在这方面，视频图象分成等间距而将所分间距的顶部图象安排成静态图象的方法是不可取的，因为这可能要求用来显示重放的视频图象的分隔区和监视器。
而且，在重放声音的情况下，由于声音在快速重放情况下音调较高而在慢速重放情况下较低，故存在着总体声音变得难于听清的问题。
因此，本发明的目的是提供一种用来对背景图象上的运动物体进行交互式图象控制和显示的方案，此方案借助于消除现有技术的限制而能够在物体于背景图象中表现一系列动作的情况下，在背景图象上物体相继占据的位置处表现物体。
本发明的另一目的是提供一种以不同于正常速度的重放速度来实现可变速度图象重放的交互式图象控制和显示方案，其中，当用户直观地指定重放起点和终点时，重放速度根据指定重放起点和终点所用的时间从连续范围建立，同时抑制了快放及慢放时的声音频率变化。
本发明的一个方面提供了一种用于交互式图象控制和显示的设备，该设备包含用来储存背景图象的背景图象储存单元；用来显示储存在背景图象储存单元中的背景图象的显示单元；用来储存对应于背景图象上的空间位置而建立的代表背景图象上运动物体的部分图象的部分图象储存单元；用来设定显示单元屏幕上的控制目标空间位置的设定单元；用来根据由设定单元所设定的控制目标空间位置而唯一地指定待要合成和显示的部分图象的指定单元；以及用来从部分图象储存单元读出指定单元所指定的部分图象，并在显示单元所显示的背景图象上的控制目标空间位置处合成和显示部分图象的合成显示单元。
本发明的另一个方面提供了一种交互式图象控制和显示方法，该方法包括下列步骤读出储存在背景图象储存单元中的背景图象并在屏幕上显示此背景图象；设定屏幕上的控制目标空间位置；从根据背景图象上的空间位置而设定并代表背景图象上运动物体的部分图象中，根据在设定步骤中所设定的控制目标空间位置，唯一地指定待要合成和显示的部分图象；以及从部分图象储存单元读出指定步骤所指定的部分图象，并在背景图象上的控制目标空间位置处合成和显示此部分图象。
本发明的另一个方面提供了一种制成品，它包含带有使计算机用作交互式图象控制和显示装置的内置计算机可读程序码部分的计算机可用介质，此计算机可读程序码部分包括用来使上述计算机读出储存在背景图象储存单元中的背景图象并在屏幕上显示背景图象的第一计算机可读程序码部分；用来使上述计算机设定屏幕上的控制目标空间位置的第二计算机可读程序码部分；用来根据第二计算机可读程序码部分所设定的控制目标空间位置，使上述计算机从根据背景图象上的空间位置而设定并代表背景图象上的运动目标的部分图象中，唯一地指定待要合成和显示的部分图象的第三计算机可读程序码部分；以及用来使上述计算机从部分图象储存装置读出第三计算机可读程序码部分所指定的部分图象，并在背景图象的控制目标空间位置处合成和显示部分图象的第四计算机可读程序码部分。
本发明的另一个方面提供了一种交互式图象控制和显示设备，它包含用来输入时间轴上的起点和终点的输入单元；用来根据起点、终点和从输入起点到输入终点所用的输入时间来计算图象重放速度的重放速度计算单元；以及以此重放速度来重放图象的重放单元。
本发明的另一个方面提供时了一种交互式图象控制和显示的方法，它包含下列步骤输入时间轴上的起点和终点；根据起点、终点和从输入起点到输入终点所用的输入时间，计算图象重放速度；以及以此重放速度来重放图象。
本发明的另一个方面提供了一种制成品，它包含带有使计算机用作交互式图象控制和显示装置的内置计算机可读程序码部分的计算机可用介质，此计算机可读程序码部分包括用来使上述计算机输入时间轴上的起点和终点的第一计算机可读程序码部分；用来使上述计算机根据起点、终点和从输入起点到输入终点所用的输入时间来计算图象重放速度的第二计算机可读程序码部分；以及用来使上述计算机以此重放速度重放图象的第三计算机可读程序码部分。
从结合附图进行的下列描述中，本发明的其它特点和优点将变得更为明显。
图1示出了根据时间轴控制的示范性常规图象显示方案。
图2示出了另一个采用视场控制的示范性常规图象显示方案。
图3方框图示出了根据本发明第一实施例的交互式图象控制和显示装置的示范性结构。
图4是图3所示交互式图象控制和显示装置要执行的准备处理的流程图。
图5解释了从图3的交互式图象控制和显示装置中随动拍摄得到的原始图象来产生全景背景图象的方法。
图6示出了由图3的准备处理得到的运动物体轨迹、简化的运动物体轨迹以及从背景图象空间位置到部分图象时间位置的映像。
图7是图3的交互式图象控制和显示装置要执行的控制事件处理的流程图。
图8示出了图7的控制事件处理要处置的从背景图象空间位置到部分图象时间位置的示范性映像。
图9示出了在图3的交互式图象控制和显示装置中采用显示集成触摸屏作为指示装置的交互式控制示范性情况。
图10方框图示出了根据本发明第二实施例的交互式图象控制和显示装置的示范性结构。
图11是图10的交互式图象控制和显示装置要执行的处理的流程图。
图12示出了图10的交互式控制和显示装置所用的示范性全景图象。
图13A、13B和13C解释了图10的交互式图象控制和显示装置所用的声音减弱和声音插入处理。
图14方框图示出了另一个根据本发明第二实施例的交互式图象控制和显示装置的示范性结构。
现参照图3至图9来详细描述根据本发明的交互式图象控制和显示方案的第一实施例。
图3示出了根据第一实施例的交互式图象控制和显示装置的示范性结构，它包含背景图象储存单元1、图象显示单元2、部分图象储存单元3、控制目标空间位置输入单元4、合成图象映像单元5以及图象合成处理单元6。
图4示出了为在图3的交互式图象控制和显示装置中实现交互式处理的准备处理过程的流程图。
在图3的这一准备处理10中，初始准备步骤11进行各种基本数据的初始准备和设定。例如，将背景图象储存到背景图象储存单元1中。为此，可使用各分立装置产生的视频图象，但也可以借助于例如日本专利申请No．6-98206(1994)所公开的方法来自动地产生背景图象。在这一方法中，采用诸如随动拍摄(左右摇动摄像机的一种操作)之类的摄像机操作得到的视频图象，借助于分析对应于摄像机操作的由视频图象的空间-瞬时图象中的背景物体所产生的条形图而检查帧图象中的位移，并分别拼合各个帧图象同时使它们与检查到的位移一样位移。
图5示出了一种示范性背景图象产生过程，其中的背景图象由根据上述手续的摄像机向右随动拍摄时得到的视频图象产生。在此例子中，当帧图象30被随后拼合时，帧图象30的不重叠部位形成背景图象31。
在这一背景图象产生过程中，借助于同时相对于视频图象中的运动物体而手工或自动地进行区域识别、提取和跟踪，也可以对每一帧记录物体图象(部分图象)以及位置信息。这样得到的物体特有的部分图象32是一种图象内容和位置都随时间变化的图象，因此有可能在由其中原先提取的背景图象31上，借助于在原先提取的位置处再合成此部分图象32来产生图象33，这有助于理解物体在背景图象中的运动。这样，本发明所用的部分图象基本上是不可从背景图象分离的，而且依次与各个时刻的相应位置有关。
如上所述预先产生的部分图象与其提取的位置信息一起被储存在部分图象储存单元中。此处的提取位置信息是用来唯一地识别物体的位置的信息，例如指明在提取图象的时刻含有物体的重心或四边形的左下角在背景图象上的坐标位置的信息。
图6(a)示出了在背景图象中呈现复杂运动的物体的轨迹35。在开始的准备步骤11中，部分图象(以下也称之为目标物体)在通过上述处理过程得到的背景图象上的运动轨迹数据35，以P(ti)的形式输入，其中ti表示对应于部分图象各帧的时间位置40，且例如对于规定的整数N，0≤i≤N。此外，为了如图6(b)所示以抑制了微小起伏的轮廓轨迹的形式来跟踪目标物体的运动轨迹，要使用借助于沿±方向使目标物体位置扩展偏移ε(以矢量表示为εx38和εy39)而得到的扩展帧37，且为此而预先由用户或系统根据所作的选择来设定ε的值。
然后进行对应于各个时间的处理。为了处理目标ti，用图4的起始设定步骤12中的起始时间t0，将目标物体起始位置P(ti)、运动轨迹跟踪点位置Q(ti)、借助于使目标物体位置扩展偏离ε而得到的扩展帧Wi以及已经确定的跟踪点的时间位置设定为起始值。
然后，作为各ti时的一种处理，在步骤13中判断时刻ti+1处的目标物体位置P(ti+1)是否将要位于包围已经确定的跟踪点Q(ts)的当前扩展帧的外面。如果不会位于当前扩展帧的外面，则在下面的步骤15中使变量i增加1，然后重复步骤13。
另一方面，如果像图6(b)所示的扩展帧41的情况那样将要位于当前扩展帧的外面，则在下面的步骤14中将P(ti+1)重新设定为跟踪点Q(ti+1)并插入Q(ts)与Q(ti+1)之间的一段，以便确定此段中各个时间位置处的跟踪位置。此处的插入方法可根据所要求的平滑度，从诸如简单线形插入和贝塞尔曲线近似等等之类的已知方法中进行选择。在步骤14中，ti也被重新设定为ts，同时扩展帧也被重新设定，而且在步骤15中增加变量i之后，再重复步骤13。
在步骤13中还检查i+1是否等于N，而且当到达目标物体的最终时间位置tN时，在步骤14中执行插入处理之后，就在步骤16中完成了准备处理10。
上述准备处理的结果是可得到图6(b)所示的新的跟踪轨迹42(示作虚线)。当与图6(a)的运动轨迹35进行比较时，此跟踪轨迹42是在运动轨迹35涉及到环路的地方被简化了的曲线。此结果可描述为图6(c)所示的从空间位置44到时间位置43的映像，其中只有沿X轴的一维为了简化而表示为空间位置。
在完成这一准备处理之后，根据图7的流程图进行装置实际使用时的交互式处理(控制事件处理)。
首先，在用户进行某些控制时所发生的事件中，当预先定义要导致这一控制事件处理的一个特定事件发生时，图7的控制事件处理17被激活。在例如鼠标输入事件处理过程中，当背景图象中的点被特别点到时，此事件就被设定发生。
然后确定要用作图象合成的部分图象。下面描述图8所示的更为复杂的映像的示范性情况的处理，其中在同样一个空间位置周围存在多个时间位置。例如，在步骤18中得到有关此事件的控制目标空间位置信息。而且，在步骤19中，根据图8所示的时间位置50与空间位置51之间的映像，列出了对应于点出的控制目标空间位置Pi52而存在目标物体处的时间位置53(如图8例子中的t1、t2和t3)。在图8的例子中，为了简化起见，用水平轴一维地代表空间，但采用二维或更多维的情况也可以相似地处理。
然后在步骤20中借助于在步骤19列出的时间位置中选择一个时间位置而确定要合成的部分图象。此处，在作出这一选择时可采用各种规则。例如，用图8所示的显示指示器57，首先简单地选择最早的时间t1，然后响应双击操作而从这一显示指示器57所列出的时间系列中相继改变要选择的时间。
当相继的控制目标空间位置被连续地指定时，通过将这些相继的控制目标空间位置映射为相应的连续时间位置，还可以连续地合成来自紧邻着的前次操作的部分图象，这可以通过选择一个时间上最靠近与所述紧邻着的前次操作中所指定的空间位置相对应的时间位置的值来实现。
在此步骤20中，作为对应于各个控制目标空间位置的目标物体的部分图象58，可以由映像55中确定的时间位置唯一地指定。此时在步骤21中还要将对应于所选定的部分图象的背景图象部位储存起来留作稍后使用。
接着，在步骤22中，从部分图象储存单元3读出所选定的部分图象，然后在步骤23中于背景图象内此部分图象的原始位置处合成和显示。此处，借助于根据表示的目的而在诸如部分图象改写背景图象的方法、部分图象以某种透明度与背景图象混合的方法之类的可供采用的合成方法中改变合成方法，可以实现合成。
当进一步移动位置时(例如点鼠标时)，用所指定的控制目标空间位置作为起始位置，可以在保持连续性的状态下在图8映像的跟踪线上进行跟踪。当由于控制目标空间位置被相继位移而使跟踪离开跟踪线时，在步骤25中就完成了控制事件的处理17。此处，可以根据表示的效果来设计各种各样的显示形式，例如立即擦除已在当前位置合成的图象的形式、只在预定的时间内擦除的形式、随后留下的形式等等。在擦除的情况下，在擦除已在步骤24中合成的部分图象时，使用了在步骤21中储存的背景图象部位。
当通过指定一个单一的控制目标空间位置和一个前进(或后退)方向而指定一个设定了重放方向的任意位置重放模式时，还可以在一个自指定的控制目标空间位置相对应的时间位置开始的、或者终止于与指定的控制目标空间位置相对应的时间位置的预定时间周期内无拖尾地、连续地合成和显示相继的部分图象。
另外，还可能有这种情况，即显示的背景图象宽高比相当大，以致于一次不能全部显示，或者希望观看某一具体部分的细节。在这种情况下，图象合成处理单元可以根据用户指定的放大或者缩小模式对部分图象和背景图象进行放大和缩小后再进行合成和显示。
以下描述跟踪时刻的声音重放。在本第一实施例中，当进行跟踪时，以适当短的时间间隔从当前控制目标空间位置得到目标物体存在的时间位置。此处，获得时间位置的方法可以与处置上述图象情况下的方法相同。例如，当时间间隔设定为0．5秒时，就在每0．5秒处得到时间位置。然后，对应于当前时间位置和前一个时间位置之间的周期的声音数据被输入，并借助于根据当前时间位置和前一个时间位置之间的差是大于还是小于此时间间隔而压缩或扩展所输入的声音数据来进行重放，使得正好在此时间间隔内能够完成重放。
此处，用在适当间隔中减弱或加重声音数据的方法，可实现声音数据的压缩／扩展，但减弱使整个声音的音调变高，而加重使整个声音的音调变低，致使得到的声音难于听清。为此，也可以用只实时处理声音数据频率特性过剩的部位的下述方法。首先，输入的声音数据被分成以几十毫秒为单位的小段，并得到各个小段之间的相互关系。当相邻二段之间的相互关系高时，这些段被判定为过剩，并减弱或加重这些段的数据。
具体在人类语言声音数据的情况下，在对应于语言元音的声音数据中常常发现过剩，使得有可能借助于在得到相互关系之前先检查元音，然后只对查得的部位进一步处理，从而实现有效的处理。元音的频谱有谐波结构，其中在基波频率的整数倍处出现峰值，使得有可能借助于用多通带滤波器之类检查谐波结构来检测元音的位置。但要注意的是，在音乐声之类中也能够发现谐波结构，以致必须预先清除音乐声分量。音乐声具有频率实时变化比语言小的特点，以致可以借助于获取声音数据的频谱并删去在规定时间内沿频率方向稳定的频谱峰值而清除音乐声分量。注意，利用沿频率方向相邻频谱值的差对峰值大的特性，可以得到频谱的各个峰值。
图9示出了根据上述过程用显示集成触摸屏作为输入控制目标空间位置的指示装置的进行交互式控制的示范性情况。在图9中，手指62指定背景图象60上的控制目标空间位置，并在指定的位置合成部分图象61。当如图9那样采用显示集成触摸屏时，用户有可能以触摸目标图象使其出现并用手指使其移动的方式来控制运动物体的视频图象。
在进行这种控制的情况下，有可能从目标物体以任意距离分隔控制目标空间位置，以便防止目标物体的图象被手指遮住。在使用鼠标之类作为指示装置的情况下，目标物体也可能隐藏在光标后面，以致有可能在指定控制目标空间位置时，以只显示其轮廓的形式来显示光标。
还要指出的是，如计算机领域熟练人员所知的那样，利用根据本说明书所述而编程的常规通用数字计算机，可以方便地实现根据本发明的上述第一实施例。如软件领域熟练人员所知的那样，熟练的编程员根据本公开的内容能够容易地编制适当的软件码。
特别是，图4和图7的处理过程、用来从背景图象产生待要储存的视频图象的过程、以及用来从如第一实施例所述产生背景图象的原始图象中提取待要储存的部分图象的过程，都能够以软件包的形式方便地实现。
这种软件包可能是一种计算机程序产品，它利用包括用来对计算机编程使之执行本发明所公开的功能和处理的储存的计算机编码的储存介质。此储存介质可以包括(但不局限于)任何一种常规软盘、光盘、CD-ROM、磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、或任何其它适合用来储存电子指令的介质。
如上所述，根据此第一实施例，在物体于背景图象内呈现一系列动作的情况下，借助于直接指定诸如全景图象之类的背景图象上的空间位置而不是利用基于间接的时间轴控制的图象重放，有可能根据被此物体实时相继占据的位置来表示此物体的图象。
换言之，根据此第一实施例，背景图象被显示在显示屏上，而用户以诸如鼠标之类的指示装置在显示屏上指定控制目标空间位置。然后从控制目标空间位置唯一地确定待要合成的部分图象，并将其合成和显示在所指定的空间位置处。因此，当用户相继改变控制目标空间位置时，对应于背景图象中各个位置而设定的一系列部分图象就被显示出来。从用户的观点看，此方案大大不同于常规的方案，其中，利用背景图象作为显示一系列对应于背景图象中各个位置所设定的部分图象时的提示，可进行控制。
以下参照图10至图14来详细描述根据本发明的交互式视频控制和显示方案的第二实施例。
图10示出了根据第二实施例的交互式图象控制和显示装置的示范性结构，它包含用来输入图象重放起点和终点的重放起点／终点输入单元101；用来储存图象数据的图象储存单元102；用来检查语言的语言检测单元103；用来计算重放速度的重放速度计算单元104；以及用来以计算得到的速度重放图象的图象重放单元105。图象重放单元105的处理也可以相对于语言检查单元探测到的语言区单独地进行。
下面根据图11的流程图来描述图10的交互式图象控制和显示装置进行的处理过程。
首先在步骤201中，从图象储存单元102读出图象数据，并在图象重放单元105上显示对应于摄像机运动通过区域的全景图象。借助于设定用来在重放起点／终点输入单元101处输入的输入坐标处显示图象的坐标，图象重放单元105能够显示图象。图12示出了在图象重放单元中显示的示范性全景图象。此图12示出了在随时间向右方向随动拍摄情况下的示范性全景图象301。摄像机在瞬间实际拍到的图象大致是虚线框302所包围的部位，借助于计算摄像机的依次运动量，并且以对应于摄像机的各个相继运动量的各个位移作为所用的时间相继地拼合所得到的图象，能够产生全景图象301。作为产生全景图象的一种方法，可以采用例如A．Akutsu和Y．Tonomura所公开的方法“图象断层术摄影提取与运动分析的有效方法”(见ACM Multimedia 94 Proc．，pp．349-356，1994年10月)。
接着，在步骤202中，根据显示在图象重放单元105上的全景图象301，从重放起点／终点输入单元101输入图象重放起点和终点。图12示出了重放起点303和重放终点304。用鼠标之类的指示装置能够输入这些起点和终点。在产生全景图象301的时候，相应地设定图象帧，使得有可能从指定点的坐标来指定图象重放起点和终点。
接着，在语言检查处理步骤203中，在语言检查单元103中对重放起点和终点之间的时间内的声音数据进行语言检查处理。首先，计算声音数据的频谱，并检测规定时间周期内沿频率方向稳定的频谱峰值。此处，利用沿频率方向相邻功率频谱值的差值在峰值处大的特性，可以检测到峰值。语言频谱通常沿频率方向具有大的变化，使沿频率方向稳定的峰值很不像语言的峰值，从而可删去这些峰值。然后对其中删去了沿频率方向稳定的峰值的频谱进行谐波结构检测。包含在语言之中的元音之类的话音带有基波整数倍的谐波分量，以致借助于检测谐波结构而能够检测语言。可以使用多通带滤波器来检测谐波结构。
接着，在重放速度计算单元104中，计算重放终点被指定时的时间与重放起点被指定时的时间之间的差值，作为在步骤204中指定的重放要求的时间SP，同时根据图象帧(有关重放起点和终点的所对应的帧图象的信息)以及图象的帧速率(有关图象帧成像的速率的信息)而在步骤205中计算正常速度下重放所需的时间，作为正常重放所需时间NP。然后将NP和SP中的一个或二者乘以任意系数，并在步骤206中比较得到的数值。此处，由系数相乘所得到的数值被表为SP’和NP’。
然后，当SP’小于NP’时，声音数据在步骤207中被声音减弱处理缩短，以致声音数据能够正好在SP’的时间内重放。另一方面，当SP’大于NP’时，声音数据在步骤208中被声音插入处理拉长，致使声音数据能够正好在SP’的时间内重放。
要指出的是，对于待要用在上述过程中的任意系数，也可以计算在系数乘以SP和NP中的任何一个时使SP变成等于NP的那种系数。借助于乘以这样一种系数，有可能使指定的重放所需时间即使在实际输入时间短的时候也足够长。
还要指出的是，在上述的过程中，图象重放位置和图象重放时间都是由指定重放起点和终点来决定的，但也可以用先指定重放起点和终点，然后为了计算屏幕上任意位置的重放速度而再次指定起点和终点的方法来决定图象重放位置。
图13A和13C示出了由声音减弱处理和声音插入处理而从图13B所示原始声音波形402得到的波形401和403。在这些处理中，用相互关系之类作为相似性的度量，首先从原始声音波形402得到具有相似频率特性的区域。当图13B所示的区域405具有相似的频率特性时，声音减弱处理删去区域405中必要长度的部分，以得到减弱区404，从而得到图13A所示的减弱了的波形401。在声音插入处理的情况下，插入一个必要长度的区域405的复制部分，以得到插入区406，从而得到图13C所示的插入波形403。此处，步骤207和208的声音减弱处理和声音插入处理只能用于步骤203的语言检测处理所检测到的语言区。要注意的是，这些处理都是在微观水平上对波形进行的。
回到图11，最后在步骤209中于图象重放单元105中重放图象。此处，待要重放的图象可以在全景图象上的摄像机运动一起重放，或者在分立的监视器上重放。
借助于使重放起点和终点成为彼此无限靠近而连续地重复上述的一系列处理，也能够以滑过全景图象的形式进行重放起点／终点的输入，并且与这样输入的重放起点／终点同步地重放图象。
图14示出了根据第二实施例的交互式图象控制和显示装置的示范性结构，它包含输入装置501、图象储存装置502、图象重放机构503、记录介质504以及数据处理装置505。
输入装置501是一种用来输入时间轴上图象重放起点和终点的装置。图象储存单元502相当于图10的图象储存单元102。图象重放机构503是诸如VTR、LD之类的用来重放图象的机构。记录介质是诸如FD、CD-ROM、半导体存储器之类的介质，如上面参照图10和图11所述的那样，此介质对重放起点和终点输入过程、语言检测过程、重放速度计算过程以及图象重放过程的软件程序进行记录。数据处理装置505从记录介质504读取这些程序并加以执行。
在图14的结构中，正如计算机领域熟练人员清楚的那样，利用根据本说明书内容编程的常规通用数字计算机，能够方便地实现根据本发明的上述第二实施例。正如软件领域熟练人员清楚的那样，根据本公开的内容，熟练的编程员能够容易地编制恰当的软件码。
记录介质504可以是一种采用包括储存用来对计算机编程以执行本发明所公开的功能和处理的计算机编码的储存介质的计算机程序产品。储存介质可包括(但不局限于)任何一种常规软盘、光盘、CD-ROM、磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、或任何其它适合用来储存电子指令的介质。
根据如上所述的第二实施例，图象重放起点和终点被输入在时间轴上并计算重放速度，然后以计算得到的重放速度重放图象，以致用户可根据重放图象时自己的喜好直观地设定图象重放位置和图象重放速度。
根据本第二实施例，还计算了以正常速度从重放起点到重放终点重放图象所需的正常重放时间，同时计算了从输入重放起点到输入重放终点的重放起点／终点输入时间。然后用任意数值乘以正常重放时间和重放起点／终点输入时间中的一个或二者并彼此进行比较，从而根据它们之间的差值和大小关系来计算图象重放速度，致使用户能够根据重放起点输入与重放终点输入之间的时间间隔来直观地设定重放速度。
根据本第二实施例，还计算了能够使正常重放时间等于重放起点／终点输入时间的数值，并乘于正常重放时间或重放起点／终点输入时间，以便使重放起点／终点时间归一化，致使即使在正常重放时间相当长的情况下，也有可能在比正常重放时间短得多的时间内输入重放起点和终点。
根据本第二实施例，还从在时间轴上输入任意起点和任意终点所需的时间以及起点和终点之间的实际时间，计算了重放速度，以致有可能使图象重放位置和重放速度的输入分别地进行，从而使指定重放终点时的犹豫不致于影响重放速度。
根据本第二实施例，借助于从输入陆续地输入的重放起点和终点所需的时间以及重放起点和终点之间的实际时间来计算各个图象部分的重放速度并储存各个图象部分的计算得到的重放速度，还有可能以局部不同的重放速度来重放一系列的图象部分。借助于重复显示同一个重放图形，可以利用这一特点来检查运动员的体形。
根据本第二实施例，借助于根据各个图象部分的储存的重放速度来重放各个图象部分，还有可能以与过去输入的重放速度相同的重放速度来重放各个图象部分。
根据本第二实施例，在输入图象重放起点和终点时，还从背景图象的运动量计算了拍摄图象的摄像机的运动量，并在照所计算得到的运动量的数量相继显示图象帧时，将显示的全景图象用作时间轴，以致有可能直观地处理时间。
根据本第二实施例，在以低于正常速度的速度重放图象时，借助于产生具有与频率特性相似性保持一定时间的区域的声音数据相似的频率特性的声音数据并增加相似性高的区域，还有可能延长重放时间而不降低声音的音调。
根据本第二实施例，在以高于通常速度的速度重放图象时，借助于减弱频率特性的相似性保持一定时间的区域中的一部分声音数据，还有可能缩短重放时间而不会提高声音的音调。
根据本第二实施例，借助于计算声音数据的频谱、删去沿频率方向稳定的频谱、用多通带滤波器检测频谱的谐波结构以及只对检测到谐波结构的区域进行声音数据的减弱或加厚处理，还有可能有效地改变重放时间。
要指出的是，除了上面已指出的之外，对上述各实施例还可以作出许多修改和变更而不超越本发明的新颖和优越的特点。因此，所有这些修改和变更都认为是包括在所附权利要求的范围中。
权利要求
1．一种交互式图象控制和显示设备，其特征在于包括用来储存背景图象的背景图象储存单元；用来显示储存于背景图象储存单元中的背景图象的显示单元；用来储存根据背景图象上的空间位置而设定且代表背景图象上运动物体的部分图象的部分图象储存单元；用来设定显示单元屏幕上控制目标空间位置的设定单元；用来根据设定单元所设定的控制目标空间位置而唯一地指定待要合成和显示的部分图象的指定单元；以及用来从部分图象储存单元读出指定单元所指定的部分图象，并在显示单元所显示的背景图象上的控制目标空间位置处合成和显示此部分图象的合成显示单元。
2．如权利要求1的设备，其特征在于其中的设定单元以显示集成触摸屏的形式提供。
3．如权利要求1的设备，其特征在于还包括用来从含有连续帧图象的原始图象产生待要储存在背景图象储存单元中的背景图象的单元。
4．如权利要求1的设备，其特征在于还包括用来从产生背景图象的原始图象中提取待要储存在部分图象储存单元中的部分图象的单元。
5．如权利要求1的设备，其特征在于其中的指定单元确定一个连续地将控制目标空间位置绘制成用来指定部分图象的时间位置的映像，并在设定单元连续地设定一个接一个的控制目标空间位置时，借助于连续地跟踪映像上的线而指定部分图象。
6．如权利要求5的设备，其特征在于当映像从控制目标空间位置到时间位置成为多值时，指定单元将彼此靠近的映像区实时转换成一对一映像。
7．如权利要求5的设备，其特征在于当映像从控制目标空间位置到时间位置成为多值时，指定单元根据规定的规则从多个值中选取一个值。
8．如权利要求5的设备，其特征在于当映像从控制目标空间位置到时间位置成为多值时，如果设定单元连续地设定一个接一个的控制目标空间位置，则指定单元将一个接一个的控制目标空间位置扫描成相应的连续时间位置，而如果设定单元断续地设定一个接一个的控制目标空间位置，则指定单元根据规定的规则从多个值中选取一个值。
9．如权利要求1的设备，其特征在于其中的合成显示单元在放大或缩小模式被指定时，借助于放大或缩小部分图象和背景图象而合成和显示部分图象和背景图象。
10．如权利要求1的设备，其特征在于其中的合成和显示单元在作出任意位置重放模式设定和重放方向设定时，连续地或者以起始于或终结于对应于设定单元所设定的控制目标空间位置的时间位置处的规定周期的恒定时间间隔，来合成和显示一个接一个的部分图象。
11．如权利要求1的设备，其特征在于其中的合成显示单元在规定时间周期之后，擦除被合成和显示的部分图象。
12．如权利要求1的设备，其特征在于还包括用来相继获得待要合成和显示的部分图象在根据设定单元相继设定的控制目标空间位置而在规定时间间隔相继存在于其中的时间位置、获得对应于当前时间位置与前一个时间位置之间的周期的声音数据、以及在此规定的时间间隔内重放此声音数据的声音重放单元。
13．如权利要求12的设备，其特征在于其中的声音重放单元在当前时间位置与前一个时间位置之间的差值大于规定的时间间隔时借助于压缩声音数据，或者在此差值小于规定的时间间隔时借助于扩展声音数据而重放声音数据，从而在规定的时间间隔内完成声音数据的重放。
14．如权利要求1的设备，其特征在于所述的设定单元以一种用于移动上述显示单元所显示的光标的指点设备的形式提供，该显示设备以透明的方式显示上标光标，即在设定控制目标空间位置时只显示其轮廓。
15．一种交互式图象控制和显示方法，其特征在于包含下列步骤读出储存在背景图象储存单元中的背景图象并在屏幕上显示此背景图象；设定屏幕上的控制目标空间位置；根据设定步骤所设定的控制目标空间位置，从根据背景图象上的空间位置设定的且代表背景图象上运动物体的部分图象中，唯一地指定待要合成和显示的部分图象；以及从部分图象储存单元中读出指定步骤所指定的部分图象，并在背景图象上的控制目标空间位置处合成和显示此部分图象。
16．如权利要求15的方法，其特征在于还包括从含有连续帧图象的原始图象生成待要储存于背景图象储存单元中的背景图象的步骤。
17．如权利要求15的方法，其特征在于还包括从生成背景图象的原始图象中提取待要储存在部分图象储存单元中的部分图象的步骤。
18．如权利要求15的方法，其特征在于其中的指定步骤确定一个连续地将控制目标空间位置绘制成用来指定部分图象的时间位置的映像，并在设定步骤连续地设定一个接一个的控制目标空间位置时，借助于连续地跟踪映像上的线而指定部分图象。
19．如权利要求18的方法，其特征在于其中当映像从控制目标空间位置到时间位置成为多值时，指定步骤将彼此靠近的映像区实时转换成一对一映像。
20．如权利要求18的方法，其特征在于其中当映像从控制目标空间位置到时间位置成为多值时，指定步骤根据规定的规则从多个值中选取一个值。
21．如权利要求18的方法，其特征在于其中当映像从控制目标空间位置到时间位置成为多值时，如果设定步骤连续地设定一个接一个的控制目标空间位置，则指定步骤将一个接一个的控制目标空间位置扫描成相应的连续时间位置，而如果设定步骤断续地设定一个接一个的控制目标空间位置，则指定步骤根据规定的规则从多个值中选取一个值。
22．如权利要求15的方法，其特征在于其中的合成显示步骤在放大或缩小模式被指定时，借助于放大或缩小部分图象和背景图象而合成和显示部分图象和背景图象。
23．如权利要求15的方法，其特征在于其中的合成和显示步骤在作出任意位置重放模式设定和重放方向设定时，连续地或者以起始于或终结于对应于设定步骤所设定的控制目标空间位置的时间位置处的规定周期的恒定时间间隔，来合成和显示一个接一个的部分图象。
24．如权利要求15的方法，其特征在于其中的合成和显示步骤在规定时间周期之后，擦除被合成和显示的部分图象。
25．如权利要求15的方法，其特征在于还包括用来相继获得待要合成和显示的部分图象在根据设定步骤相继设定的控制目标空间位置而在规定时间间隔相继存在于其中的时间位置、获得对应于当前时间位置与前一个时间位置之间的周期的声音数据、以及在此规定的时间间隔内重放此声音数据的步骤。
26．如权利要求25的方法，其特征在于其中的重放步骤在当前时间位置与前一个时间位置之间的差值大于规定的时间间隔时借助于压缩声音数据，或者在此差值小于规定的时间间隔时借助于扩展声音数据而重放声音数据，从而在规定的时间间隔内完成声音数据的重放。
27．如权利要求15的设备，其特征在于所述的设定单元以一种用于移动上述显示单元所显示的光标的指点设备的形式提供，该显示设备以透明的方式显示上标光标，即在设定控制目标空间位置时只显示其轮廓。
28．一种制成品，其特征在于带有使计算机用作交互式图象控制和显示装置的内置计算机可读程序码部分的计算机可用介质，此计算机可读程序码部分包括用来使上述计算机读出储存在背景图象储存单元中的背景图象并在屏幕上显示背景图象的第一计算机可读程序码部分；用来使上述计算机设定屏幕上的控制目标空间位置的第二计算机可读程序码部分；用来根据第二计算机可读程序码部分所设定的控制目标空间位置，使上述计算机从根据背景图象上的空间位置而设定并代表背景图象上的移动目标的部分图象中，唯一地指定待要合成和显示的部分图象的第三计算机可读程序码部分；以及用来使上述计算机从部分图象储存装置读出第三计算机可读程序码部分所指定的部分图象，并在背景图象的控制目标空间位置处合成和显示部分图象的第四计算机可读程序码部分。
29．如权利要求28的制成品其特征在于，还包括用来使上述计算机从含有连续帧图象的原始图象生成待要储存在背景图象储存单元中的背景图象的第五计算机可读程序码部分。
30．如权利要求28的制成品其特征在于，还包括用来使上述计算机从生成背景图象的原始图象中提取待要储存在部分图象储存单元中的部分图象的第五计算机可读程序码部分。
31．如权利要求28的制成品，其特征在于其中的第三计算机可读程序码部分确定一个连续地将控制目标空间位置绘制成用来指定部分图象的时间位置的映像，并在第二计算机可读程序码部分连续地设定一个接一个的控制目标空间位置时，借助于连续地跟踪映像上的线而指定部分图象。
32．如权利要求31的制成品，其特征在于其中当映像从控制目标空间位置到时间位置成为多值时，第三计算机可读程序码部分将彼此靠近的映像区实时转换成一对一映像。
33．如权利要求31的制成品，其特征在于其中当映像从控制目标空间位置到时间位置成为多值时，第三计算机可读程序码部分根据规定的规则从多个值中选取一个值。
34．如权利要求31的制成品，其特征在于其中当映像从控制目标空间位置到时间位置成为多值时，如果设定步骤连续地设定一个接一个的控制目标空间位置，则指定步骤将一个接一个的控制目标空间位置扫描成相应的连续时间位置，而如果设定步骤断续地设定一个接一个的控制目标空间位置，则指定步骤根据规定的规则从多个值中选取一个值。
35．如权利要求28的制成品，其特征在于其中的第四计算机可读程序码部分在放大或缩小模式被指定时，借助于放大或缩小部分图象和背景图象而合成和显示部分图象和背景图象。
36．如权利要求28的制成品，其特征在于其中的第四计算机可读程序码部分在作出任意位置重放模式设定和重放方向设定时，连续地或者以起始于或终结于对应于设定单元所设定的控制目标空间位置的时间位置处的规定周期的恒定时间间隔，来合成和显示一个接一个的部分图象。
37．如权利要求28的制成品，其特征在于其中的第四计算机可读程序码部分在规定时间周期之后，擦除被合成和显示的部分图象。
38．如权利要求28的制成品，其特征在于还包括用来使上述计算机相继获得待要合成和显示的部分图象在根据第二计算机可读程序码部分相继设定的控制目标空间位置而在规定时间间隔相继存在于其中的时间位置、获得对应于当前时间位置与前一个时间位置之间的周期的声音数据、以及在此规定的时间间隔内重放此声音数据的第五计算机可读程序码部分。
39．如权利要求38的制成品，其特征在于其中的第五计算机可读程序码部分，在当前时间位置与前一个时间位置之间的差值大于规定的时间间隔时借助于压缩声音数据，或者在此差值小于规定的时间间隔时借助于扩展声音数据而重放声音数据，致使在规定的时间间隔内完成声音数据的重放。
40．如权利要求28的设备，其特征在于所述的第二计算机可读程序码部分使用一个指定设备设定控制目标空间位置，上述指定设备用于移动显示在屏蔽上的一个光标，上述光标是以一种透明的方式被显示的，即在设定控制目标空间位置位只显示其轮廓。
41．一种用于交互式图象控制和显示的设备，其特征在于包括用来输入时间轴上的起点和终点的输入单元；用来根据起点、终点和输入起点到输入终点所需的输入时间来计算图象重放速度的重放速度计算单元；以及以此重放速度来重放图象的重放单元。
42．如权利要求41的设备，其特征在于其中的重放速度计算单元计算输入时间和以正常速度从起点到终点重放图象所需的正常重放时间，在对输入时间和正常重放时间中的一个或二者乘以任意数值之后比较输入时间和正常重放时间，并在乘以任意数值之后根据输入时间与正常重放时间之间的差值和大小相互关系而计算重放速度。
43．如权利要求41的设备，其特征在于其中的重放速度计算单元计算在将数值来到正常重放时间和输入时间中的一个时能够使正常重放时间等于输入时间的数值，并将此数值与正常重放时间和输入时间中的一个相乘。
44．如权利要求41的设备，其特征在于其中由输入单元输入的起点和终点是重放起点和重放终点，且重放单元从重放起点到重放终点重放图象。
45．如权利要求41的设备，其特征在于其中的输入单元还与起点和终点分开地输入时间轴上的图象重放起点和重放终点，且重放单元从重放起点到重放终点重放图象。
46．如权利要求41的设备，其特征在于其中的重放速度计算单元从输入时间和起点与终点之间的实际时间间隔来计算每个由连续输入的起点和终点所指定的图象部分的重放速度，并储存每个图象部分的重放速度。
47．如权利要求46的设备，其特征在于其中重放单元根据重放速度计算单元所储存的每个图象部分的重放速度来重放每个图象部分。
48．如权利要求41的设备，其特征在于其中的输入单元用全景图象作为时间轴。
49．如权利要求41的设备，其特征在于其中的重放单元在以低于正常速度的速度重放图象时，借助于在频率特性保持相似的区域插入声音数据而处理图象中所含的声音数据。
50．如权利要求41的设备，其特征在于其中的重放单元在以高于正常速度的速度重放图象时，借助于在频率特性保持相似的区域减弱声音数据而处理图象中所含的声音数据。
51．如权利要求41的设备，其特征在于其中的重放单元计算图象所含的声音数据的频谱、删去沿频率方向稳定的频谱峰值、删去各个频谱中的谐波结构、并对删去了谐波结构的区域进行减弱或加厚处理。
52．一种交互式图象控制和显示方法，其特征在于包含下列步骤输入时间轴上的起点和终点；根据起点、终点和输入起点到输入终点所需的输入时间来计算图象重放速度；以及以此重放速度来重放图象。
53．如权利要求52的方法，其特征在于其中的计算步骤计算输入时间和以正常速度从起点到终点重放图象所需的正常重放时间，在对输入时间和正常重放时间中的一个或二者乘以任意数值之后比较输入时间和正常重放时间，并在乘以任意数值之后根据输入时间和正常重放时间之间的差值和大小相互关系而计算重放速度。
54．如权利要求52的方法，其特征在于其中的计算步骤计算在将数值乘到正常重放时间和输入时间中的一个时能够使正常重放时间等于输入时间的数值，并将此数值与正常重放时间和输入时间中的一个相乘。
55．如权利要求52的方法，其特征在于其中由输入步骤输入的起点和终点是重放起点和重放终点，且重放步骤从重放起点到重放终点重放图象。
56．如权利要求52的方法，其特征在于其中的输入步骤还与起点和终点分开地输入时间轴上的图象重放起点和重放终点，且重放步骤从重放起点到重放终点重放图象。
57．如权利要求52的方法，其特征在于其中的计算步骤从输入时间和起点与终点之间的实际时间间隔来计算由连续输入的起点和终点所指定的各个图象部分的重放速度，并储存每个图象部分的重放速度。
58．如权利要求57的方法，其特征在于其中的重放步骤根据重放速度计算单元所储存的每个图象部分的重放速度来重放每个图象部分。
59．如权利要求52的方法，其特征在于其中的输入步骤用全景图象作为时间轴。
60．如权利要求52的方法，其特征在于其中的重放步骤在以低于正常速度的速度重放图象时，借助于在频率特性保持相似的区域插入声音数据而处理图象中所含的声音数据。
61．如权利要求52的方法，其特征在于其中的重放步骤在以高于正常速度的速度重放图象时，借助于在频率特性保持相似的区域减弱声音数据而处理图象中所含的声音数据。
62．如权利要求52的方法，其特征在于其中的重放步骤计算图象所含的声音数据的频谱、删去沿频率方向稳定的频谱峰值、删去各个频谱中的谐波结构、并对删去了谐波结构的区域进行减弱或加厚处理。
63．一种制成品，其特征在于包括带有使计算机用作交互式图象控制和显示装置的内置计算机可读程序码部分的计算机可用介质，此计算机可读程序码部分包括用来使上述计算机输入时间轴上的起点和终点的第一计算机可读程序码部分；用来使上述计算机根据起点、终点、以及从输入起点到输入终点所用的输入时间而计算图象重放速度的第二计算机可读程序码部分；以及用来使上述计算机以此重放速度而重放图象的第三计算机可读程序码部分。
64．如权利要求63的制成品，其特征在于其中的第二计算机可读程序码部分计算输入时间和以正常速度从重放起点到重放终点重放图象所需的正常重放时间，在对输入时间和正常重放时间中的一个或二者乘以任意数值之后比较输入时间和正常重放时间，并在乘以任意数值之后根据输入时间和正常重放时间之间的差值和大小相互关系而计算重放速度。
65．如权利要求64的制成品，其特征在于其中的第二计算机可读程序码部分计算在将数值乘到正常重放时间和输入时间中的一个时可使正常重放时间等于输入时间的数值，并将此数值与正常重放时间和输入时间中的一个相乘。
66．如权利要求63的制成品，其特征在于其中由第一计算机可读程序码部分输入的起点和终点是重放起点和重放终点，且第三计算机可读程序码部分从重放起点到重放终点重放图象。
67．如权利要求66的制成品，其特征在于其中的第一计算机可读程序码部分还与起点和终点分开地输入时间轴上的图象重放起点和重放终点，且第三计算机可读程序码部分从重放起点到重放终点重放图象。
68．如权利要求63的制成品，其特征在于其中的第二计算机可读程序码部分从输入时间和起点与终点之间的实际时间间隔来计算由连续输入的起点和终点所指定的每个图象部分的重放速度，并储存每个图象部分的重放速度。
69．如权利要求68的制成品，其特征在于其中的第三计算机可读程序码部分根据重放速度计算单元所储存的每个图象部分的重放速度来重放每个图象部分。
70．如权利要求63的制成品，其特征在于其中的第一计算机可读程序码部分用全景图象作为时间轴。
71．如权利要求63的制成品，其特征在于其中的第三计算机可读程序码部分在以低于正常速度的速度重放图象时，借助于在频率特性保持相似的区域插入声音数据而处理图象中所含的声音数据。
72．如权利要求63的制成品，其特征在于其中的第三计算机可读程序码部分在以高于正常速度的速度重放图象时，借助于在频率特性保持相似的区域减弱声音数据而处理图象中所含的声音数据。
73．如权利要求63的制成品，其特征在于其中的第三计算机可读程序码部分计算图象所含的声音数据的频谱、删去沿频率方向稳定的频谱峰值、删去各个频谱中的谐波结构、并对删去了谐波结构的区域进行减弱或加厚处理。
全文摘要
本发明为一种在背景图象上交互控制和显示运动物体的方案,首先,背景图象被读出并显示在屏幕上,并在屏幕上设定控制目标空间位置。然后根据设定步骤所设定的控制目标空间位置,从根据背景图象上的空间位置而设定的并代表背景图象上运动物体的部分图象中,唯一地指定待要合成和显示的部分图象,再读出由指定步骤所指定的部分图象,然后在背景图象上的控制目标空间位置处进行合成和显示。本发明还公开了一种以不同于正常速度的速度来实现图象变速重放的方案。
文档编号G06T13/00GK1206165SQ9811494
公开日1999年1月27日 申请日期1998年6月19日 优先权日1997年6月20日
发明者南宪一, 外村佳伸, 阿久津明人, 谷口行信, 佐藤隆 申请人:日本电信电话株式会社