专利名称：活动图象定住设定装置以及使用该装置的活动图象超级媒体装置和活动图象提供系统的制作方法
技术领域：
本发明涉及活动图象定住设定装置以及使用该装置的活动图象超级媒体装置。本发明尤其涉及有关这样的活动图象提供系统，利用下述装置，即输入活动图象，用于在包括活动图象的目标等中设定定住的装置，和使相关信息与由该装置设定了的定住相连接，作所需检索等的活动图象超级媒体装置等作为信息服服器一客户系统。
以往，一般超级媒体装置的信息检索主要对正文和静止图象设定用于信息连接的逻辑单位，对该逻辑单位予先连接相关信息，用户连接该逻辑单位时采取显示所述相关信息状态。然而，近年来提出了把不仅将静止图象而且将活动图象作为处理对象的各种技术方案，比如象具有代表性的对有关活动图象编码及解码的MPEG。利用活动图象还在所述超级媒体装置上开拓制作CAI、各种介绍、电子目录等内容的用途。活动图象的汇集过去在某种程度上在产业领域方面虽然仅用于广播，但可预测以后会在以个人电脑为基础的个人使用系统会得到迅速发展。
在特开平4-163589公报中公开了一种图象处理装置，使用了有关图象可设定逻辑单位(在其说明书中称之为节点)。该装置的特点是，静止图象的节点设定相对仅可表示范围的指定的点，而在活动图象中，着眼于从(1)表示范围、(2)时间两方面也可分别指定节点的有效连续期间及其区域范围的点，使这些指定变得可能。即，有关(1)，用孔口等指示包围出现在活动图象上的被摄物等的区域，借此设定那时的节点，另一方面，有关(2)，利用从活动图象输出开始时的经过时间指定其节点的有效连续时间。因此，该节点由所述区域和所述经过时间2个内容集中确定，对各节点可连接相关信息。连接之后，实际上重放活动图象时，用户若用孔口等连接在画面上的区域，则根据其位置和时间指定节点，显示相关信息。然而，活动图象与静止图象的区域是存在多帧，在1秒钟必须有30帧，即使是单纯计算，在处理1秒钟的活动图象时，每1个逻辑单位必须作30次设定。例如制作5分钟内容时，在1帧若设定5个逻辑单位，则设定数达到45000次。
鉴于上述情况，本发明目的在于提供一种设定逻辑单位(本说明书中称为定住)操作省力简易的装置；具体来说是一种定住设定装置，自动设定或算出在每帧所必要的定住信息；本发明的另一具目的是提供使用其定住设定装置的活动图象超级媒体装置及活动图象提供系统。
为了实现上述目的，本发明的活动图象定住设定装置输入活动图象，对该图象设定定住。该装置包括帧确定部，从构成输入的活动图象的多个帧中，在应设定定住的设定对象期间确定开始帧及结束帧；定住设定部，对在设定对象期间内所取的基准帧指定了区域时，相对其基准帧设定把指定的区域作为定住区域的定住信息；和定住推定部，以基准帧设定的定住信息为基础推断非基准帧的定住信息。所述帧确定部当在设定对象期间采取多个基准帧时，它们之中时间最早的可确定为开始帧，时间最晚的可确定为结束帧。并且，帧确定部在基准帧前后，检测在其基准帧中包括的目标出现了的帧和消失了的帧，也可把这些帧分别确定为开始帧和结束帧。
另一方面，所述定住推定部当基准帧存在多个时，通过插补这些设定了的定住信息，也可确定非基准帧的定住信息。利用该装置无需设定对非基准帧的定住信息，并且用户也不必理会应设定定住的期间，能改善操作效率。
在本发明的方案中，所述定住推定部包括定住自动设定部。该定住自动设定部从相邻的基准帧之间选定任意幅帧，在把这些作为新的基准帧之后跟踪定住，对这些新的基准帧设定定住信息，因此，当初应设定定住信息的基准帧也可减少，所以可减轻设定工作量。
在本发明的方案中，所述定住设定包括基准帧消除部。该基准帧消除部经其他基准帧的定住信息插补计算在规定的允许误差值以内求某基准帧的定住信息的情况下，把该基准帧降级为非基准帧。因此，减少了应保持定住信息的基准帧的数量，可减少所须的存储量。
另一方面，本发明的活动图象超级媒体装置包括帧确定部，从构成首先输入的活动图象的多个帧中，确定在应设定定住的设定对象期间的开始帧及结束帧；定住设定部，当对在设定对象期间取得的基准帧指定区域时，对其基准帧设定把指定区域作为定住区域的定住信息；和定住推定部，以设定的定住信息为基础推定非基准帧的定住信息。上面所述相当于活动图象设定装置。本装置还包括连接设定部，连接设定或推定了的定住信息和任意相关数据；和连接检索部，从任意定住中检索与其定住连接的相关数据。根据该活动图象超级媒体装置，可充分发挥本发明定住设定装置的优点，同时对于定住所必要的数据连接的数据检索成为可能。
再有，本发明的活动图象提供系统由信息服务器和客户人组成。信息服务器备有存储活动图象和相对其活动图象基准帧设定了的定住信息，和连接到其它定住信息的相关数据的部分；和以在基准帧上设定了的定住信息为基础推定非基准帧的定住信息的部分；和从任意定住中检索连接到其定住的相关数据的部分。客户设有这样的部分，当用户连接活动图象中对象时，判定哪一个区域发生“卡塔声”。
根据该系统，通过许多用户可在必要的活动图象和与其连接了的信息中选取。
图1是包括实施例1的活动图象超级媒体装置的系统结构；图2是表示实施例1的定住设定及修正顺序的程序方框；图3是在实施例1中设定了的定住信息表格；图4是表示实施例1的定住信息插补计算方法；图5是表示在图3中可补充中间基准帧的定住信息的表格；图6是表示在实施例1中以中间基准帧和两端基准帧的3个帧为基础作插补计算的方法；图7是表示实施例1的连接设定及检索顺序的程序方框；图8是表示在实施例1中设定了的连接信息表格；图9是表示用于设定住设定的UI图象例子；图10(a)是从开始帧至结束帧的定住区域轨迹的横向剖面；图10(b)是与(a)同样情况的纵向剖面；图11是实施例2的活动图象超级媒体装置的定住设定部的结构；图12是表示实施例2的运动矢量获得顺序的程序方框；图13是表示在图12中，设t0＝0，t1＝3时得到的运动矢量V(0)-V(2)的例子；图14是表示定住探索有可能的某线路中之一；
图15是表示对图14的V(t)补充图13的V(t)；图16是表示在实施例2中根据图形配合的定住的自动设定方法；图17-图19表示在实施例2中逐渐消除基准帧的情况；图20是表示实施例3的对话型视频教材制作装置的结构；图21是表示实施例3的对话型视频信息服务器系统构成。
下面说明本发明活动图象超级媒体装置的最隹实施例。在该装置上装入本发明的活动图象定住设定装置。根据本装置，例如把描绘水族馆的水槽的活动图象作为素材，当使游动着的任何鱼发出“卡嗒”声时，容易有效地制成可显示该鱼名称，补充说明等的对话型CAI软件。在下面实施例中，所谓“用户”主要虽然是这样的内容制作者，但也可以是个人编辑自己拍摄的视频磁带的作者等。
实施例1在该实施例1中，用户明确地指定开始帧和结束帧，把这2幅帧作为最初的基准帧设定定住。所谓“帧”是图象的显示单位，包括称之为MPEG的图象等。本装置通过对基准帧设定了的定住，利用插补计算自动算出其他帧的定住区域位置、形状、颜色等的定住信息。所谓“定住信息”例如在清楚显示定住区域位置和形状、定住区域时其颜色等。此外，最初的基准帧即使是1幅对本发明也行得通，其例在后描述。
包括本实施例的活动图象超级媒体装置的整个系统结构是控制定住以及连接设定处理的个人计算机(下面称PC)，和提供该PC活动图象的视频重放装置。在PC上装有捕捉由视频重放装置提供的图象，数字化了的视频捕捉板。视频重放装置除了有通常的重放开始、停止、快进、双送进等之外，还有从指定了的帧或时间进行重放等的功能。这样的视频重放装置在广播业务等方面被广泛使用，当然不仅限于此。视频重放装置的各种功能控制通过展开于PC上的用户接口(以下称UI)，比如在画面上显示的“重放钮”等进行。这种情况下，若用户使其钮发出“卡嗒”声，则其动作经信号电缆从PC传送到视频重放装置。虽然活动图象超级媒体装置视频重放装置本身不是必需构成的部分，但是在此仍作为包括该构成的系统进行说明。图1是包括本实施例的活动图象超级媒体装置的系统构成。
本装置的最大区别在于由以下部分组成数据操作部1，操作与定住信息及连接信息相关的数据；数据存储部2，存储这些数据；显示部3，以具有意义的形状显示这些数据；用户操作部4，进行用户操作的受理和管理；活动图象输入部6，输入由视频重放装置5重放了的活动图象。
(1)数据操作部1由用户向数据操作部1作指示时，由下述的UI进行。即以下的内部构成为软件模块。
帧确定部10确定开始帧和结束帧。在本实施例，用户指定了的帧照样成为开始帧及结束帧。开始帧和结束帧的例子是在所述水族馆的映象中，描绘水槽的镜头的开始和结束帧。假如镜头转移到水族馆的入口图象，其后，因设有必要对鱼设定定住，所以在镜头转移前指定好结束帧。
定住设定部11在开始帧和结束帧之间实际上设定定住。例如对某条鱼设定定住时，首先在开始帧中用孔口表示围绕该鱼的矩形，将此作为定住区域登记。这时，活动图象处于停止状态。继续使活动图象前进直到结束帧，再次围住同样的鱼，登记定住区域。在开始帧和结束帧之间鱼或移动或改变方向，通常其位置、形状也变化。在开始帧登记了的定住区域形状及位置和在结束了的帧登记了的定住区域形状及位置通常不一致。此外，定住设定部11包括在后述的定住修正时使用的定住信息编辑部110，和对文字串等文本设定定住的文本定住设定部111。
定住推定部12以在开始帧和结束帧中设定了的定住信息为基础作插补计算，进行任意帧(非基准帧)的定住位置及大小的推定，该处理在后详述。
定住检索部15在定住信息内以定住的活动特征或以定住的识别信息为基础进行定住检索。所谓识别信息称之为成为把其定住识别为其他定住的线索的信息。例如有定住名称、定住的设定对象、定住的设定日期时间等。
超级连接设定部13在设定了的定住中作超级连接设定，以表格形式制成有关设定的数据结构。超级连接检索部14作设定了的连接信息检索。在上述例子情况下，利用超级连接使表示鱼的定住及其鱼的名字的文本数据等相联系。
(2)数据存储部2数据存储部2既可是数据基础，也可是各种文件设备、存储设备。该部分主要是硬件。
活动图象数据存储部20存储在活动图象输入部被捕捉数字化了的活动图象数据。定住信息存储部21、连接信息存储部22分别存储设定了的定住信息、连接信息。
(3)显示部3显示控制部30包括总体控制UI和编辑中的活动图象等各种图象的显示的显示系统之系统程序、VGA控制器等的显示电路以及该驱动器。该显示控制部30具有指示变更部300。指示变更部300为指示进入定住区域时，改变指示的显示状态。显示控制部30的输出数据分配给PC的监视器等的显示装置31，实施予期的显示。
(4)用户操作部4是可作用户输入指令的部分，由键盘、孔口、各种指示设备等的硬件、以及命令调度程序组成。作为指令的例子，有定住设定、定住区域修正、连接、连接检索等。
(5)活动图象输入部6是相当于视频捕捉板的硬件，具有AD变换器和帧存储器(图未示)，使输入的活动图象数字化。之后，把数据提供给所述活动图象数据存储部20。
如上述构成，首先说明定住、连接的设定顺序，然后说明定住设定的UI情况。定住设定图2是表示本实施例的定住设定及修正过程的程序方框；图3是表示设定了的定住信息表格。如图2所示，首先进行对硬件等的各种初始化处理(S21)、实施对存储在活动图象数据存储部20中存储着的活动图象数据的读入(S22)。读入的活动数据的打头帧首先作为静止图象显示在显示器31中。
然后，对于其活动图象数据已经设定着的设定信息通过定住信息存储部21被读入(S23)。若存在定住信息，则实际在画面上显示其定住区域(以后，把定住区域显示在画面中称为“定住显示状态”、把设有显示的状态称为“定住非显示状态”)。
接着，使活动图象数据重新向前，直达想设定定住的期间的开始帧(S24)，若出现所要求的帧，则按压图面上的“开始帧”钮，登记开始帧。在这状态中，使处于该帧的定住区域的待设定状态，用户通过孔口的“卡搭”声设置矩形区域，如使其他鱼被包围。矩形区域若确定，则取得其左上点(X1，Y1)和右下点(X2，Y2)的座标，将此作为开始帧的帧号码(从活动图象的打头帧开始的连续号码)以及鱼的定住信息而被记录(S26)。
然后，再次使活动图象数据前进，在出现所期望的终止帧处停止(S26)，设置矩形区域使得包围同样的鱼。至此完成结束帧的定住设定(S27)。图3的“anchor1”是表示该鱼的定住ID。其中，开始帧和结束帧的帧号码(分别为帧1和100)和定住区域的座标信息收藏在表格中。
象这样若确定两端基准帧的定住信息，则通过插补计算求得这之间的帧(非基准帧)的定住信息(S28)。图4是表示定住信息的插补计算方法。其中若把开始帧(时间t0)的定住信息设置成A(t0)结束帧(时间t0)的定住信息设置成A(t1)时间t的定住信息设置成A(t)则推出下式A(t)＝{A(t1)-A(t0)}t/Δt+{A(t0)t1-A(t1)t0}/Δt(式1)作为该A，若依次代入x1、y1、x 2、y 2，弄清任意时刻的定住区域外形。若代入定住区域重心座标，则弄清定住区域的大致移动。若将颜色号码代入A，则可跟踪定住区域之颜色变化。以外，可表现数值的信息同样通过使用1式的内分计算可作插补。由插补求得的非基准帧的定住信息，既可以补充在图3的数据表格的“anchor1”中，也可以使图3的表格保持原状，在指示帧显示的每次，就有关其帧逐次地作1式计算。在本实施例，以后假定为逐次计算。
S28一结束，则实际上显示定住信息，确认内容(S29)。这时，返回到开始帧，重放活动图象数据，在各帧中用矩形表示定住区域。该矩形区域根据计算结果连续地移动下去。
在“anchor1”情况下，若鱼作等速直线运动，则结果极好，但在途中游动方向改变时，则在中途帧中，定住区域与鱼发生错位。因此修正定住信息(S30)。用户首先使活动图象数据前进到错位大的帧，在此使图象停止。接着使在画面上显示的定住区域端部发出“卡搭”声，通过孔口使区域形状或位置变化。定住推定部12使这样修正的帧升格成基准帧(下面把升格成为基准帧称为“中间基准帧”)，在图3的表格中补充该定住信息。图5表示在图3中补充中间基准帧的定住信息获得的表格。
另一方面，图6是表示以中间基准帧和两端基准帧等3幅帧为基础作插补计算的方法。若作为推定对象的非基准帧存在于开始帧和中间基准帧之间，则在那些帧之间作插补计算，若非基准帧存在于中间基准帧和结束帧之间，则在那些帧之间作插补计算(S28)。然后，根据S29所示，经过S30的再修正，在得到良好的定住信息时(S31的y)，对此作保存(S32)，终止定住设定处理。在S30若作其他帧的定住修正，当然该帧也成为中间基准帧。此外，在S26中，当同一帧设定2个以上定住时，按设定顺序，在装置内部自动地一边变更定住ID一边分配，同时也可作这样的应付，用不同颜色作这些定住区域矩形显示等。
根据以上顺序可获得以下效果1、仅对两端基准帧的定住作设定，无须对存在于其间的多个帧的设定进行操作；2、用插补计算在定住位置上产生偏差时，可确认该偏差，从而易于识别应修正的帧，一旦修正了的帧自动地升级到中间基准帧，则用户没有必要注意到是否该作成基准帧；3、例如，定住被设定的鱼作弧形游泳，即使象这样的情况，加至两端基准帧，若用大量帧作修正，则可获得十分好的定住信息。
以上是对本实施例的活动图象超级媒体装置，尤其是活动图象定住设定装置的概述。连接设定接着作对设定了的定住的连接设定。图7是表示本实施例的连接设定及检索顺序的程序方框；图8是表示设定了的连接信息表格。
图7表示使定住设定和连接设定完全独立进行时的处理顺序；与图2一样，首先作各种初始化处理(S40)，再读入活动图象数据(S41)。接着，通过定住信息存储部21读入在[1]设定的定住信息(S42)，同时从连接信息存储部22全部读入设定了的连接信息。
下面，以两端基准帧及中间基准帧的定住信息为基础，用插补计算求得其他帧的定住信息(S44)，同时作符合活动图象重放级连续地显示定住信息(S45)。在该状态中，在用户操作部4成为等待自用户输入状态(S46)。
在此用户一旦使活动图象方面或其活动图象停止之后，连接某定位区域，若按压“连接制作和变更”钮，对其定住实施连接信息制作(S47)。比如一旦使水槽内的某条鱼发出“卡塔”响，则使应与其鱼连接的文本、图象等的补充出现在画面上，用户选择的文本等连接到其鱼的定住(更正确称之为在其定住中包括的鱼的目标)。在没有插补情况下用户自己输入文字串，也可对此作连接。图8表示这样的连接状态在“anchor1”上连接文本形式的信息“anchor1，txt”，同样在“anchor2”的定位上连接比特变换图象＂anchor2，bmp＂。这样如若确定连接信息，则把连接内容保存在连接信息存储部22中，再次变成等待用户输入。
另一方面，在S46中，用户按压“连接检索”钮，若指定定住，则检索与其定住对应的连接信息，并被显示(S49)。图8情况下，如对于anchor1的鱼，用文字串表示鱼的名字、体长和特征等，则有关anchor2的鱼，显示实际其鱼妻息的海的照片等。由于利用该显示可确认连接动作，所以用户在这时可完成内容制作。通过把内容保存在例如CD-ROM记录媒体中还可实现商品化。作为商品出厂时，一般变更成设有显示定住区域的定住非显示状态。
此外，这里虽然对定住和连接设定进行独立处理作了说明，但若设置如在连接设定中画面上称之为“定住设定返回”的钮，则两者的往来自由，更便于编辑。用于定住设定的UI图9是用于定住设定的UI画面例子。在同一图中，在图象显示区域50，显示成为处理对象的活动图象。上栏涂黑的按钮组62是直接指示视频重放、停止等的目标钮，在其相邻处设有相对在图象显示区域中显示的帧设定定住区域的矩形钮54，同样还设置把显示着的帧作为开始帧或结束帧指定的开始帧指定钮56，结束帧指定钮58。在同一图中，相对一条鱼设定定住区域60。
在图面中央右侧设有表示要设定或修正的定住名称、ID、开始帧号、结束帧号的定住相关盒组62。在图象显示区域50的下面，设有表示包括当前显示中的帧的镜头号和其帧的镜头的连续号的镜头相关盒组64。再在其下面，存在为了编辑仅使活动图象前进微小量或用于返回的盒66。若按压其右端的钮，则活动图象前进，若按压左端，则返回。当前显示的帧的镜头位置是在同一盒66中，用纵线70表示。在该盒之下，有表示其镜头中开始帧和结束帧的位置的盒68。开始帧和结束帧的位置分别用纵向双线72、74表示，其间的中间基准帧位置用三角形记号76表示。
在同一图中，首先用户把镜头号作为线索，使视频带前进一直到所希定住设定的镜头开始。这时，例如在由多个镜头组成的水族馆的映象中，进至镜头号“5”的水槽映象。这里，用户按压盒66右端的钮，使活动图象1帧帧地前进。若出现要设定定住的最初帧，则用户按压开始帧指定钮66，对此作登记。这时，在盒66对应处出现表示开始帧位置的纵向双线72。这里按压矩形钮54，在图象显示区域50中在孔口使应设定的定住区域左上点和右下点发出“卡搭”声。以此终止开始帧的定住设定。再继续使活动图象前进，同样作结束帧的登记和定住设定。
当检出两端基准帧的设定已结束，则本装置的定住推定部12自动地把定住信息代入1式开始计算。在此，用户一旦如一帧帧地使之前进直到返回开始帧，则定住推定部12求得对应于当前显示中帧的时间，以对应于该时刻的推定结果为基础显示定住区域。显示的定住区域若错位，则用户再次按压矩形钮54实施区域修正。修正后，在对应于其帧的位置出现三角形记号76。根据这UI，因实际上在活动图象数据上显示定住信息，所以编辑结果可用实时确认，并且可易于对其作出修正。
以上是本实施例的概述。在下面进一步考虑本实施例的改进及变化。
(1)文本定住设定通过图1的文本定住设定部111进行。首先在图象上编辑文本数据，将此重迭在活动图象上，设定定住。与一般的定住设定区域点在于不指定重放了的图象的一部分区域，当制作了的文本一旦加在图象上，则随后设定定住区域，使之包围该文本。以往如使ァノテ-シヨン直接进入视频图象的方法虽然是传统的，但在这种情况下在后面消除ァノテ-シヨン等在再编辑时不适应。本实施例解决了上述问题。
在设定文本定住时，还将其定住信息存储在定住信息表格中。但是，在图3所示的表格中，“帧”的部位成为“文本”，文本名进入该栏。
有关文本定住相关信息的连接也是可能的。比如对图9的水槽镜头粘贴为称之“南海鱼群”的文本，对该文本可连接为称之“在南海中鲜艳金属色的鱼很多”的文本。
(2)指示器显示状态的变更由图1的指示器变更部300进行。该功能在定住非显示状态例如在市场中使用目录特别有用。由于该功能，目标变更部300具有以下程序取位程序，取得指示位置；判定程序，判定在某个定住区域上是否包括取得了的位置；和变更程序，当进入有指示的定住区域时，决定如何变更指示的显示状态，根据该决定实际变更指示的形状等。
有关指示变更存在这样的情况，可变为每个定住不改变变更内容的情况。在前者情况下，比如通常有这样的方法把作为十号的指示变为◎，或提高指示亮度。根据该方式，尤其在目标移动及形状变化迅速和定住区域变化剧烈时是有利的。
另一方面，在后者情况下设想由所述变更程序检索指示进入的定住区域的定住ID，照样取代指示在指示位置上显示定住ID。例如当进入有指示的鱼的定住区域时，也可使显示其定住的目标内容，如该指示为“鲛”等。根据该方式，用户即使不专门致使鱼发出“卡塔”声，也能知其名。
(3)中间基准帧指明的指定在本实施例，虽然最初只要确定两端基准帧，但当目标的移动不规则情况等下，还有设想必须修正的情况，在该情况下要做到从开始就是开始帧、结束帧以外的帧也要受到定时区域的指定。例如在图9的UI，相应设置中间帧指定钮，加在开始帧指定钮56、结束帧指定钮58中。该帧也可设想因开始作为基准帧被利用，所以从图6的状态开始插补计算。
(4)矩形以外的定住区域没有必要把定住区域限制的矩形。例如在圆形或椭圆情况下也可由长体、短径及中心点3的座标指定区域。若是多边形也可以是各项点座标。将目标外周本身作为定住区域情况下，利用外周上一点座标和由该点表现的链式代码可指定区域。
(5)采用非线形插补在本实施例，虽然最简便地利用了线性插补，当然这也可是非线性插补。插补中使用的方式对照应处理的活动图象特征可通过实验确定。
(6)开始、结束帧的确定在本实施例，虽然用户明确指定这些帧，但还有以下方法。
1、用户没有意识到开始、结束帧、只是指定帧设定定住。指定了的帧成为基准帧。帧确定部10在用户设定定住的帧之中，把帧号最小的定为开始帧，最大的定为结束帧。这时可取消图9的开始帧指定钮56、结束帧指定钮58。
2、用户指定一个帧，对该帧设定定住，同时指定成为定住设定对象的目标。该帧成为基准帧。帧确定部10通过检查其基准帧前后的帧，检出其目标出现的帧和消失的帧，将这些分别定成开始帧、结束帧。
目标的有否采取图象选配判定。即是说，把用基准帧指定了目标作为模型，对前后帧进行选配处理。在前后展宽采取选配的限制探索对象。若最后未取得配合，则开始、结束帧判明。根据该方法，当初应设置的基准帧也可以是一幅。
(7)定位区域的三维显示在定住设定部11，在作为画面纵横的X、Y方向及时间t方向展开设定了的定住区域，设置三维显示的功能。这也可设想在定住编辑中把图4照样显示在画面上，该显示结果，用户可在视觉方面作定住整体的控制。
此外，作为该技术的应用，对于三维显示了的定住信息也可直接编辑。例如在画面的上面向左移动，作如图6显示。用户可实时地控制编辑效果。
(8)活动图象的截面表示在定住设定部11，制成从开始帧至结束帧的定住区域轨道的横向截面图[图10(a)]及纵向截面图[图10(b)]，附加与定住轨迹一起表示此的功能。
首先由基准帧的定住信息求定住区重心G的X、Y座标。在图10(a)场合，引出重心在帧上面画与x轴平行的直线。在相邻的基准帧之间，设置包括这些直线的平面(图中斜线部分)。接着用该平面切断活动图象。将所得剖面图投影在c-t平面(图中画点部分)上。在图10(b)情况改换x和y作同样处理。当正确计算定住轨迹时，即非基准帧的定住信息的推定精度充分高时，在2个投影图上应该展现定住的移动路线。例如，若把红球作为定住设定对象，则在活动图象的截面上现出红筋状移动线路。若纵向破开铅笔则与直线状展现其芯是一样的。若该移动路线在中途断开或变粗，则最好修正该处的定住位置。
(9)使定住成组在定住信息编辑部110，使分别设定了的定住信息成组，附加假设作为一个定住使用的功能。例如人物A在帧N1-N2和帧N3-N4中在画面中存在，在帧N2-N3中不存在时，把有关帧N1-N2及帧N3-N4的人物A的定住作为一个使用。这结果使定住信息的设定或修正操作减轻。此外，对同样帧中出场的人物A和人物B也可成组。
(10)定住信息的浏览显示在定住信息编辑部110上，设置对当前处理中的活动图象设定的定住信息浏览显示功能。例如在画面上浏览显示活动图象题目“AQUARI UM”同时还有“FISH1”“FISH2”…等的定住名称。当用户选择想确认内容的定住名称时，也可形成这样的结构，返回至其定住的开始帧，重放活动图象。
(11)定住检索设置定住信息检索UI。当把想检索的定住信息名称等的文字信息作为关键词输入，则定住检索部15从定住信息存储部21中检索具有其关键词的内容并显示。此外，也可把定住区域的活动作为检索键。例如当想寻找向右移动的目标，则用户在检索UI中例如按压“→”钮。定住检索部15计算各个定住区域的轨迹，检索包括向右移动的目标的定住并显示。
实施例2在实施例1中，主要通过插补自动计算定住信息，以手动作修正。在本实施例，以活动图象解析为基础把子定某种程度的幅数帧作为基准帧，自动设定定时，在这些基准帧之间运用实施例1的插补方法。在该方式情况下，由于相当于实施例1中间基准帧的帧从开始就存在，所以减轻了手工修正的劳累。
图11是有关实施例的活动图象超级媒体装置定住设定部11的结构；定住设定部11以外的结构与图1的一样。
在图11，定住自动设定部112具有接近帧提取部117。接近帧提取部117在相近的基准帧之间以一定间隔提取非基准帧，把这些帧升级为基准帧。定住自动设定部112还有活动矢量利用设定部113、轮廓信息利用设定部114以及图形配合利用设定部116。这3个设定部原来虽然也可安装任何一个，但在本实施例中全部安装，根据状况选择其中一个。
基准帧消除部116如后所述在由定住自动设定部112设定的基准帧内使冗余的返回非基准帧。下面说明构成形成的动作。通过利用运动矢量自动设定定住该处理特征在于二级结构，首先求出从开始帧到结束帧的定住运动矢量，然后，利用判定定住假设移动路线和运动矢量的一致性，提高定住跟踪精度。
1.运动矢量的获得设开始帧、结束帧的时间分别为t0、t1。此外，根据接近帧提取部117，首先把非基准帧的若干变更为基准帧。这是简单地确定每隔5帧进行变更，以后为了简便把基准帧之间的经过时间标准定为1。为求从开始帧到结束帧期间的特定定住运动矢量，把定住重心附近图象区域作为信息组，实施信息组配合。此外把对应于任意时刻的帧表格记作帧(t)。
图12是表示本实施例运动矢量取得顺序的程序方框。如同一图，首先把时间代数器t设定为t0(S100)。然后在开始帧在设定了的定住内，指定应取得运动矢量的定住。运动矢量利用设定部113作成在信息组配合时使用包括指定了的定住重心的区域的信息组(以下称为“定住信息组”)进行存储(S101)。接着取得帧(t)的图象数据I(t)和帧(t+1)的图象数据I(t+1)(S102)。I(t)是在帧中包括的各象素的象素值P的集合数据。
之后，在帧(t+1)内一边使定住信息组移动一边探索最佳配合(S103)。为了定住信息组本身各象素值通过I(t)弄清楚，所以在帧(t+1)的任意处配置定住信息组，以5个象素相重迭计算象素值的2次方，在整个定住信息组区域积累此，一边使定住信息组一点点移动一边作此累积，当累积值成为最小的位置时，判定为定住信息组的移动端。
若移动端弄清，则为了确定从帧(t)的定住信息组向帧(t+1)的定住信息组的移动量和移动方向，对此作为运动矢量V(t)取得(S104)。这里，判定t+1是否到达结束帧时间t1，若没有到达，则增加t(S106)，运动矢量被重复获得。当t+1等于t1，则保存当前取得的V(t)之后(S107)，结束处理。
图13是表示设t0＝0，t1＝3时得到的运动矢量V(0)-V(2)之例子。如该图所示，V(t)根据画面上横竖确定的x、y及时间方向确定的t，可以(x、y、t)3种成分表现。
2一致性判定通过与在运动矢量时设置的定住信息组同样大小的信息组使各帧分开，寻找存在定住探索可能性的所有路线。图14为表示那样路线之一。在该图中，把帧分成16个信息，开始帧的路线起点和结束帧的路线终点与图12的定住信息组一致。在该条件下，全部路线为16×16左右。接着，在该路线(以下称“假想路线”)的各区域，定义在图14所示的矢量(以下称“路线矢量”)V(t)。当路线矢量从某帧到一个帧探索假想路线时，以其方向确定，V(t)也用(x、y、t)3个成分记述。
在此，各区间把V(t)和V(t)的形成角定为θt，用利用内积的以下公式计算f(t)＝cosθtf(t)＝[V(t)，V(t)]/|V(t)|·|V(t)|(2)图15表示对于图14的V(t)附加图13的V(t)显示的图，表示θt的意义。尽管2式的f(t)越大其区域的假想路线和运动矢量一致性越高，但即便在某区域一致性最高，但如若其他区间的一致性非常低，则作为整体有必要使一致性降低。于是，为了掺入各区间的一致性，同时评价作为整体的一致性，所以引入以下评价式g(t)＝max{f(t＝1)+g(t-1)}(3)通过循环计算3式，判明通常达到其时间一致性最强的假想路线。若作该计算直到结束帧，则为了通过整体作一致性最高的假想路线判明，所以具有该路线当作定住的移动路线。然后，规定在该移动路线和各基准帧交差的部位，其时间的定住存在，实施定住自动设定。设定了的定时信息最好补充到图3所示的定住信息表格中。此外，有关基准帧以外的帧，利用实施例1同样的方法，最好通过插补计算逐步计算求定住信息。根据轮廓信息自动设定定住作为定住自动设定的其他方法，具有以目标的轮廓的移动为基础进行定住跟踪的方法。在轮廓信息利用设定部114，通过与图12同样反复处理，沿各帧制成轮廓图象。轮廓图象是轮廓线上的为1，其他为0的双值化图象，在图象上增加界线倾斜(Compass-gradient)型滤光器等可产生。若求轮廓图象，则以后，最好定住作为目标完全一样的移动地实施定住跟踪。利用配合的定住自动设定作为定住自动设定的另一个方法具有图16所示的图形配合形成的定住跟踪。该方法情况下，还首先根据接近帧提取部117，预先设置某种程度的基准帧。其次经在开始帧130中设定了的定住区域132制成用于图形配合的模型134，在相邻的基准帧136中求一致性最强的区域138。作为图形配合方法，存在照样迭合模型图象数据的样规配合法，和以从图象提取的特征点位置关系为基础进行迭合的结构配合法等。图形配合在中心沿模型附近进行。
这样若在第2帧基准帧发现区域138，则把该区域138作为新的模型重复同样的处理，跟踪定住区域。此外，在目标移动和变形剧烈情况和基准帧的设定间隔过宽时，还存在不采取良好配合情况。象那样的情况，接近帧提取部117使基准帧间隔变窄，再设置较多的基准帧之后，要重作配合处理。消除多余基准帧在上述例中每5帧设置了基准帧。然而例如象在目标作等速直线运动情况下，基准帧仅以开始帧和结束帧就足够。目标从开始帧到结束帧即使全都不作等速直线运动情况下，就有关作那样运动的期间，最好仅有该期间两端的基准帧。每逢减少基准帧则使计算负担减轻。在[1]的情况下，因假设路线剧减，所以效果明显。
从这一观点出发，基准帧消除部115作多余基准帧的消除。图17-19是表示消除基准帧的状态。这些图的横轴表示时间，纵轴表示距设置于帧的x-y座标原点的距离。并且，各图中的○是示意地表示定住区域。消除根据以下顺序。
包括两端基准帧地设置6个基准帧。这里，用直线连接开始帧的定住和结束帧的定住，计算该直线和各定住距离。若存在距离成为一定值的定住，则消除那时的基准帧。在同图，使消除的定住不存在。接着找出距直线最远的定住(下面称最远定住)。此处，t＝3的定住为最远定住。除去前述直线，把开始帧的定住、最远定住、结束帧的定住按此顺序用曲线连接，再求该曲线和各定住的距离。消除距离成为所述规定值以下的t＝4的定住。把最远定住变成t＝2的定住。修正曲线使通过新的最远定住。这里，消除与新的曲线的距离成为所定值以下的t＝1的基准帧。以此结束处理。
在该例，消除了2个基准帧。当最初的基准帧多时，最好反复作1现定值以下的基准帧消除，2最远定住探索、3曲线修正。
以上是本实施例的概述。此外，可设想对本实施例作如下改进。
(1)2式的变化在2式中，采取f(t)＝cosθt，当然也可以是其他函数。以与θt增减为基础的函数可成为f(t)的补充。
(2)信息组的捕捉在图13虽然确定定住信息组使包括定住区域的重心附近，但这也可以是其他确定方法。例如也可把定住区域照样作为定住信息组。同样在图14，也可与定住信息组大小无关地确定信息组。
实施例3应用实施例1、2的活动图象超级媒体装置可形成以下装置或系统。
1、对话型电视教材制作装置本发明的活动图象超级媒体装置在cAI内容的制作中也是最佳的。即，用本装置给电视教材设定定住，连接必要的附加信息。图20是用该装置制作的电视教材。如同图所示，对定住A连接说明A，对定住B连接说明B等。学生一边使电视重放，在画面上连接想要更详细说明的目标。连接了的目标若与定住A相关，则在画面上显示说明A。
2、对话型视频信息服务器系统本发明的活动图象超级媒体装置也非常适合于视频信息服务器系统。图21是该视频信息服务器系统的结构。如该图所示，该系统由大体上使图1结构彼此分开形为信息服务器200和客户250组成。
信息服务器200备有数据存储部204，存储连接到活动图象及其定住信息，以及定住的相关数据；定住推定部206；和检索部208，检索连接到任意定住的相关数据，定住推定部206推定非基准帧的定住信息。
另一方面，客户250备置当用户连接活动图象中对象时，判定连接哪个定住区域的定住判定部252。
在该结构中，通过客户250若用户连接存在于画面上的目标，则指定连接定住判定部252的定住。将该信息传输至信息服务器200。信息服务器200的超级连接检索部208通过数据存储部204检索连接至其定住的相关数据，再将该相关数据输送至客户250。
以上根据该系统，在信息服务器200一侧总括存储活动图象数据和定住信息，通过许多用户可发现必要的活动图象和与其连接的信息。
权利要求
1.一种活动图象定住设定装置，输入活动图象，在其上设定定住，其特征是包括以下部分帧确定部，通过构成输入的活动图象的多个帧，确定应设定定住的设定对象期间的开始帧及结束帧；定住设定部，当在设定对象期间采取的基准帧中指定区域时，对其基准帧设定把所述区域作为定住区域的定住信息；和定住推定部，以对基准帧设定了的定位信息为基础推定非基准帧的定住信息。
2.如权利要求1的装置，其特征是所述帧确定部当在设定对象期间采取多个基准帧时，其中规定时间最早的为开始帧，最晚的为结束帧。
3.如权利要求1的装置，其特征是所述帧确定部在基准帧前后，检测在基准帧中包括的目标出现的帧和消失了的帧，将这些帧分别规定为开始帧和结束帧。
4.如权利要求1的装置，其特征是所述帧推定部当存在多个基准时，通过插补对基准帧设定了的定住信息，推定非基准帧的定住信息。
5.如权利要求4的装置，其特征是所述定住推定部算出相对邻近的二个基准帧设定了的定住期间对应信息的变化量，算出达到由一基准帧组成的非基准帧的经过时间与达到由其非基准帧组成的另外的基准帧的经过时间之比，利用该比分开所述变化量实施插补。
6.如权利要求4的装置，其特征是所述定住推定部有关由基准帧区分的设定对象期间的各区间、在其区间两端的基准帧之间作定住信息的插补计算，推定在其区间包括的非基准帧的定住信息。
7.如权利要求4的装置，其特征是还包括定住信息编辑部，给对于非基准帧推定了的定住信息加以修正；所述定住推定部把修正定住信息的非基准帧新升级为基准帧，在以后推定其他帧的定住信息时，还包括新的基准帧，在相邻的基准帧之间实施所述插补。
8.如权利要求1的装置，其特征是所述定住推定部包括定住自动设定部；该定住自动设定部从相邻的基准帧之间选定任意个帧，再把这些帧定为新的基准帧，然后跟踪这些新的基准帧的定住，对这些新的基准帧设定定住信息。
9.如权利要求8的装置，其特征是当把由基准帧区分的设定对象期间的各区间定义为单位判定期间时，所述定住自动设定部随着在设定对象期间所述定住可探索的各路线，在每个单位定期间判定其路线和定住运动矢量的一致性，整体地通过设定对象期间总合该判定结果，在其总合结果中存在一致性最强的路线，看作所述定住的移动路线。
10.如权利要求8的装置，其特征是所述定住自动设定部把全部设定定住信息的基准帧的定住区域图象作为模型，利用采取与新的基准帧的图象配合，跟踪定住位置。
11.如权利要求8的装置，其特征是所述定住设定部包括基准帧消除部；该基准帧消除部通过其他基准帧的定住信息插补计算，在规定的误差范围内求某基准帧的定住信息情况下，把该基准帧降级为非基准帧。
12.如权利要求1的装置，其特征是所述定住设定部包括文本定住设定部；其文本定住设定部对基准帧指定文本时，对其基准帧设定把其文本作为内容的定住。
13.如权利要求1的装置，其特征是还包括在定住信息内以定住移动特点为基础进行定住检索的定位检索部。
14.一种活动图象超级媒体装置，备有以下部分帧确定部，从构成输入的活动图象的多个帧中确定应设定定住的设定对象期间的开始帧及结束帧；和定住设定部，当对于在设定对象期间内采取的基准帧指定区域时，对其基准帧设定把所述区域作为定住区域的定住信息；和定住推定部，以设定的定住信息为基础推定非基准帧的定住信息；和连接设定部，连接设定或推定了的定住信息和任意相关数据；和连接检索部，从任意定住中检索与其定住连接的相关数据。
15.一种活动图象提供系统，由信息服务器及客户组成，其特征是信息服务器包括存储部，存储活动图象，和对其活动图象的基准帧设定了的定住信息，和与其定住信息连接的相关数据；推定部，以在基准帧设定的定住信息为基础推定非基准帧的定住信息；和检索部，从任意定住中，检索与其定住连接的相关数据；客户备有判定部，当用户连接活动图象中的对象时，判定连接哪个定住区域；当把连接客户的定住通知信息服务器时，信息服务器检索与其定住连接的相关数据，并将此数据送至客户。
全文摘要
一种活动图象定住设定装置，具有存储这些数据的数据存储部2，控制显示的显示部3，输入编辑指令的用户操作部4。若在定住设定部11仅对最初和最后帧设定定住，则定住推定部12经插补计算推定其他帧的定住信息。因此大大减轻定住设定工作量。
文档编号G06T15/00GK1163440SQ9710129
公开日1997年10月29日 申请日期1997年1月31日 优先权日1996年1月31日
发明者阿倍博信, 神田准史郎, 胁本浩司, 田中聪 申请人:三菱电机株式会社