专利名称：在视频中集成超链接的方法和装置的制作方法
技术领域：
本发明涉及生成和编辑视频的系统，特别是涉及集成具有视频的超链接信息的系统。
超媒体是一术语，用以描述另外两种新技术多媒体和超文本的融合。多媒体指的是包含有文本，图象，图形，音频和视频的信息形式。超文本文档是一种通过超链接与另一些文档建立了链接的文档。超链接经常以一条被突出显示的文本形式出现在超文本文挡中，该文本通常是描述用户可能进一步想要的信息的字或短语。当用户有代表性地使用鼠标器对其点击而激活该超链接时，链接命令被启动，使得被链接的地址处的程序被执行，从而依次更新用户的视场以便显示被链接的文档，典型情况下该文档包含与突出显示字或短语有关的更多的信息。这种信息可以是文本，音频，视频，二维图象或三维图象的形式。超链接使跟随文档间的交叉访问变得容易。超媒体文档是具有多媒体功能的超文本文档。屏幕上有活性的超链接区域叫做热链接。
近来，很多人通过使用鼠标器点击计算机显示器上来自万维网(数据库服务器Web)www主页上的热链接而熟悉使用超文本。Web上的数据通过URLs定位，URL代表统一资源定位器，它是指定国际互联网上目标的挑选标准，用以指示访问方法和文件的位置。Web上的文档以简单的称作HTML的“标置语言”写成，HTML表示超文本标置语言。Web上数据文件格式指定为MIME格式，MIME表示多用途互联网邮件扩展(参考http//www.oac.uci.edu/indiv/ehood/MIME/MIME.html)Web上文件格式的例子有.au(几乎是最通用的音频格式)，.html(HTML文件)，.Jpg(JPEG编码的图象)，.mid(Midi音乐格式)，mpg(MPEG编码的视频)和.ps(Postcript文件)而目前的超文本技术最通用的是文本和图象媒体，也开始出现了动画和视频。
超视频是增加超链接的视频的称呼。NEC公司已对名为“视频超媒体系统”的NewSbytes系统做过演示，这样的系统将把超文本的点-击功能(point and click capabilities)带入整个活动视频中。有关超视频的更详细说明可在“NEC′s Video Hypertext System”,Newsbytes NewsNetwork July 31,1995。一文中找到。
Hyper Cafe是作为通用超视频系统的例证开发的实验性超媒体原型。此程序把用户置入一虚拟咖啡厅(cafe)，该虚拟咖啡厅主要由卷入咖啡厅虚构会话中的表演者的数字视频剪辑(clips)构成。Hypercafe允许用户跟随不同的会话，并且提供动态交互机会通过时间的，空间-时间的和结构的链接以呈现交替的记事(alternativenarratives)。有关Hyper Cafe的更详细说明可在Nitin“Nick Sawhne,David Balcom和Ian Smith的文章”“Hyper CafeNarrative andAesthetic Properties of HyperVideo”,Hypertext′96Seventh ACMConference on Hypertext(Recipient of the first Engelbant Best PaperAward at Hypertext′96(March 20,1996),http/Silver.Skiles.gatech.edu/gallery/hypercafe/HT96,Talk/中找至。
VideoActive是用以生成交叉式电影的编著工具。它采用超视频技术在数字视频文件中标记热链接。此工具允许使用者制备带有热链接信息的视频剪辑，而后将它们与其它类型的媒体链接。VideoActive的更详细说明可在“HyperVideo Authoring Tool(User Notes)”,http//ephyx.com/,Pre-Release Version,Feb.1996中找到。
Progressive Networks公司在它的Real Video技术中已经包括进了“可点击的视频图(click-able Video maps)”。鼠标器点击一部分视频可引发新视频剪辑的显示，在当前剪辑中查询，或发出一URL消息。公司提供的RealPlayer它使得这种交互性可以实现。RealVideo的更详细说明可在Progressive Network公司的“RealVideo Technical WhitePaper”,http//www.realandio.com/products/realvideo/overview/index.html中找到。
所有这些技术共有的特点是超视频的尺寸巨大。本质上，超视频信息包含编码的视频和超链接信息这两者。为了添加超链接信息到视频剪辑中，必需生成大于原始视频文件的文件。即使接收方可能已有原始视频文件的本地拷贝，为了传送超链接信息也还必需传送巨大的文件，经常是，用户在CD-ROM上可能有一视频文件，并且想添加超链接信息到这个视频上。采用现有的技术，用户将必需生成一文件或下载一已经生成的文件，其尺寸至少和原始文件同样大。
采用现有的技术时，因为在每个超视频存在的帧中都要编码热链接信息，生成超视频内容是令人乏味的。
本发明通过生成一小文件解决问题，该文件包含指向对应的视频文件的指针及以有效的方式编码的超链接信息。超视频数据以两个性质不同部分被编码，第一部分包括视频数据，第二部分通常比第一部分小，它包含涉及对第一部分的标识和超链接信息的信息。通过仅编码视频中的关键帧以及编码简单几何形状的热链接区而有效生成超链接信息的编码。超视频播放器依据夹在这些帧中的关键帧中插入的热链接区，确定关键帧之间的这些帧中的热链接区域。
在优选实施例中，热链接区为矩形其轴平行于主轴，并通过列出其左上和右下顶点来编码，在关键帧之间热链接区内插是线性的，这种方案效果很好因为通常通过在连续时间子间隔中的运动它们每个大致都是线性的，可以很好地近似目标在视频中按时间间隔的运动。此方案既大大地减少了为编码热区信息所需的数据总量，又显著地加速了生成超视频内容的过程。
图1是可被本发明实施例利用的计算机处理系统的功能方块图。
图2(A)和(B)说明MPEG编码的视频文件的格式；图3(A)～(C)说明根据本发明的超链接文件的格式；及图4为一功能方块图，说明用于把视频文件和超链接信息集成在一起的视频播放器，其中的超链接信息存储在图3(A)～(C)所示的超链接文件中。
图5(A)和(B)是一功能方块图，说明用以生成存储在图3(A)～(C)所示超链接文件中的超链接信息的工具。
图6和7以图片说明图5(A)和(B)所示工具的图形用户界面示例。
本发明可在任何计算机处理系统上实现，例如个人计算机或工作站，如图1所示，可被本发明利用的计算机处理系统通常包括存储器101，至少一个中央处理单元(CPU)103(图中显示了一个)，以及至少一个用户输入装置107(如象键盘，鼠标器，操纵杆，语音识别系统或手写识别系统)。另外，计算机处理系统还包含不挥发存储器，如ROM和/或其它不挥发存储装置108，例如固定盘驱动器，它所存储的操作系统和一个或多个应用程序被装载到存储器101并由CPU执行，在操作系统和应用程序执行中，CPU可能使用存储在不挥发存储装置108和/或存储器101中的数据。另外，计算机处理系统还包括图形适配器104，它连接在CPU103和如象CRT显示器或LCD显示器这样的显示装置105之间。由CPU103执行的应用程序和/或操作系统产生图形命令，例如，画一个框(或窗口)的命令，显示位象的命令，三维造型成图的命令，或显示视频文件的命令。这类命令可由CPU103执行的应用程序/操作系统处理，或者由硬件与CPU103执行的应用程序/操作系统联合工作。在此过程中合适的象素数据被生成并且显示装置105相应地被更新。
此外，计算机处理系统可能包括连接到CPU103的通信链接109(如网络适配器，RF链接或调制解调器)，它使CPU103在通信链路上，例如在国际互联网上与其它的计算机处理系统通信。在通信链接109上执行操作系统和应用程序中，CPU103可接收操作系统部分，应用程序部分，或被CPU103使用的数据部分。
需要指出的是由CPU103执行的应用程序/操作系统可以实现下面所说明的本发明的方法。另外，下面所说明的部分或全部方法可与CPU103执行的应用程序/操作系统联合工作的硬件实施。而且，下面所说的方法也可通过分布式处理系统实施，从而这些方法的部分被分布在两个或多个处理系统上，这些系统通过通信链接109被链接在一起。
按照本发明，对应于给定的视频文件并且最好是独立地且不同于对应的视频文件的第二文件(以下称做[热视频]Hot Video数据文件)，用以标识对应视频文件中的热链接。热链接(或热链接区)是在视频文件的一个或多个帧中的象素区域，用以表示相关信息的超链接。当用户典型地使用鼠标器对其点击而激活超链接时，一链接命令被启动。当链接命令被启动时，此链接命令标识处理系统和该处理系统将执行的一个或多个操作。被链接命令标识的处理系统可以是处理视频文件的同一系统，或者是通过通信链路与处理视频文件的系统相连接的远程系统。链接命令的启动使得由链接命令标识的操作被链接命令所标识的处理系统执行，有代表性的是，链接命令的执行造成用户的视图更新以便显示被链接的内容。被链接的内容典型地包含与在热链接处或靠近热链接处显示的图象有关的信息，这种信息可以是文本，音频，视频，两维图象或三维图象的形式。链接命令的示例可以是按HTML格式的超文本链接，它使远程计算机下载HTML页面给用户的处理系统。热视频的编码格式在特定的视频中编码热链接区最好采用下面的方案。首先，热链接区具有简单的几何形状。在优选实施例中，热链接区为矩形它的各边与显示器的主轴一致，并且以给定视频帧中左上和右下象素的座标表示。第二，在每个帧中热链接区未被编码，而是用户在称作关键帧(Key frames)中记录热链接区。最好，关键帧应这样选取，以使与给定热链接区相关的目标路线，在这种帧之间按时间间隔计是接近线性的(也就是，没有加快作用)。在此情况下，能由其位置指定热链接区的是这种关键帧，并且回放装置能实现线性内插确定在这种关键帧之间的中间帧中热链接区的位置。有关这种关键帧的更详细说明将在下面陈述。
视频文件以各种标准视频格式，如AVI,MPEG，原始YUV和原始RGB被编码。例如，Le Gall和Didier J。在“MPEG videocompression algorithm”,Signal Process Image Commun V4 n2 Apr1992 p129-140，中描述了MPEG视频的格式。这些视频格式包括标头信息，用以说明视频的某些特征如帧率和文件大小；视频中各种帧的颜色分量的编码象素值；同步伴随视频的编码音频数据。视频帧是一单幅图象；视频由连续的帧构成，这样当这些帧以足够高的帧率播放时(典型的是每秒25或30帧)其结果是视觉满意的活动视频。视频中的帧通常被依次编号-帧1是第一帧，帧2是第二帧等等。帧号的述语指的是在此连续序列中帧的号码。作为示例，图2(A)和(B)给出了MPEG编码的视频文件的格式。HEADER包含有像系统时钟参照和视频及音频分量的位率这样的信息。数据包DATA(j),j=1,2,…,N包含实际的编码视频和音频数据，DATA(j)在图2(B)中给予了说明。特别的START码作为新数据包开始的信号；AV(j)标识即将来到的数据是音频或是视频；TIME(j)给出视频音频同步所必需的定时信息；ENCODED-DATA(j)是实际的音频或视频数据。编码的视频数据包含与视频帧中彩色分量象素值有关的信息。在MPEG视频中，例如ENCODED-DATA(j)是量化DCT系数的Huffman编码游程长度的二进制流。更详细的示例可见MPEG标准文档，Draft International Standard ISO/DIS 11172(ISO/IEC JTC1)。在此全部引为参考。
图3(A)-(C)给出第二文件的结构，它包含超链接信息(即编码的热视频数据)。在图3(A)中，HD是标头信息，它标识第二文件和相关的视频文件之间的对应关系。在此优选实施例中，第二文件的名字与相关的视频文件名的前缀相同(例如，如果视频文件是一MPEG文件叫做“title.mpg”，在标头中的名字是“title”)。标头信息HD也可以标识相关的视频文件的性质，例如，文件的大小(以字节表示)和相关视频文件的帧率。这样的信息可能被用来校检相关的视频文件与热视频数据文件的匹配，因为文件的名子可能已经改变。然而这不是最安全的校检方法，它会遇到大量的不匹配。
OB(1),…,OB(N)是N个热目标。每个热目标OB(j)在相关的视频文件的一帧或多个帧中定义一热链接区。其编码的说明在图2(B)中给出。每个目标OB(j)最好用一标识符ON(j),一目标名，一相关的链接地址OA(j),一在视频中标识其热链接区的表项L(j,kj)＊,和区分第j目标的编码结束的尾标T(j)来编码，符号Kj表示第j目标标识符总数。
如图2(C)所示，标识符L(j,k)指示一特定关键帧中热链接区的空间位置。它最好包括4条信息位B(j,k)指示本关键帧是否是结束帧；号码N(j,k)表示第j目标的第k关键帧；在第j目标的第k关键帧中矩形热区左上顶点的座标(x(j,k,1),y(j,k,1)；在第j目标的第k关键帧中矩形热区右下顶点的座标(x(j,k,2),y(j,k,2)。号码N(j,k)对应于帧号，它们是关键帧或结束帧。
下面的表给出图2(A)-(C)中超链接文件各字段的说明HD标识对应的视频文件；OB(j)对第j热链接目标，依据用户选择的热链接，标识执行的链接命令；ON(j)对第j热链接目标，与它的名字相联系；OA(j)对第j热链接目标，标识它的链接地址；L(j,k)对第j热链接目标，标识编码该目标时使用的第k关键帧；B(j,k)对第j热链接目标，标识该第k关键帧是不是一结束帧；N(j,k)对第j热链接目标，标识第k关键帧的帧号；X(j,k,1)在第j目标的第k帧中定义热链接区的矩形区左上角的X座标；y(j,k,1)在第j目标的第k帧中定义的热链接区的矩形区左上角的y座标；X(j,k,2)在第j目标的第k帧中定义热链接区的矩形区右下角的X座标；Y(j,k,2)在第j目标的第k帧中定义热链接区的矩形区右下角的Y座标。
如上所述，热链接区最好具有矩形的几何形状。然而，本发明并不局限于这种方式；因此，热链接区可具有任意几何形状。例如，热链接区可具有圆形的几何形状，并且由圆心的位置和圆的半径来定义。热视频播放器图3说明一热视频播放器，它读一视频文件并把包含在相关的第二文件中的热链接信息与包含在视频文件中的视频集成在一起，这些就是在图2和图3(A)-(C)中所说明的数据。热视频播放器可以是由图1的CPU103执行的应用程序和/或操作系统部分。另外，部分或全部热视频播放器能嵌入到硬件中，与由CPU103执行的应用程序/操作系统联合工作。而且，部分热视频播放器嵌入到分布式处理系统中，借以将热视频播放器的功能性部分，分布到经通信链接109链接在一起的两个或多个处理系统上。
现参看图4，根据标头数据HD,HVP确定哪个视频文件与热视频文件(第二文件)相关。它送一消息到VIDEO PLAYER去打开这个视频文件。如果这个视频文件的性质匹配于标头中的那些描述，则VIDEO PLAYER开始播放此视频文件。否则VIDEO PLAYER提示用户去找合适的视频文件。HVP也分析数据并安排它的格式使得对它的查询变得简单。
VIDEO PLAYER开始播放视频。在每一帧，VIDEO PLAYER向FRAME CHECK阶段传递一个值，指示当前播放的帧号。因可能有丢帧，所以帧号不是必须连续，在解码当前帧后，VIDEO PLAYER输出该帧图象数据到BUFFER。在解码视频文件帧的过程中VIDEO PLAYER的更具体的操作不与本发明有关，因此，本发明可以使用任何VIDEO PLAYER用以解码视频文件帧，并输出帧图象数据到持久性存储器。这种VIDEO PLAYER的例子是微软公司在Active Movie软件开发包中提供的Active Movie视频播放器，详细说明可见http//www.microsoft.com/imdeia/activemovie/activem.htm。在此全文引为参考。
FRAME-CHECK阶段对第二文件中的每个目标OB(j)确定是否下列两个条件得以满足ⅰ)对于此目标当前帧号是一关键帧，或者当前帧号处于该目标的两个关键帧之间；以及ⅱ)第一个关键帧不是该目标的结束帧。
如满足上两个条件，则INTERPOLATE/OVERLAY/DISPLAY这些操作被执行。
INTERPOLATE操作使用来自夹着当前帧的两个关键帧的座标数据以及它们各自的帧号，对当前帧线性内插一矩形区，这将作为它的热区域。INTERPOLATE操作的更详情况将在下面说明。
OVERLAY接着采用此信息并修改BUFFER中的数据以标识热链接区。最好是，OVERLAY修改BUFFER中的数据，通过改变对应于热链接区域边界的象素值成为一固定颜色而标识热链接区。作为替代，OVERLAY函数可改变该区域的亮度和/或色调，或用其它技术以标识热链接区。
DISPLAY则从BUFFER中取结果数据，并将其显示在计算机的显示器上。
如果在FRAME CHECK阶段，上述两个条件不满足，对此目标在当前帧中不再做任何处理，并且该帧当作视频序列的部分被显示。
现在阐明INTERPOLATE操作的详情。假定VIDEO_PLAYER正在显示的帧号F是处在两关键帧N(j,k)和N(j,k+1)之间。如上所述N(j,k)是对目标OB(j)的第k关键帧的帧号，而N(j,k+1)是对目标OB(j)的第k+1关键帧的帧号。同时假定帧N(j,k)不是对目标OB(j)的结束帧，在此情况下，F帧中某些矩形区是热链接区，并且对应于这个区的热链接将指向地址OA(j)，在帧F中的热区域按如下确定假若X(F,1),Y(F,1),X(F,2),Y(F,2)按照在第二文件中存储的分别代表在帧号F的帧中对OB(j)的矩形热区左上X座标，热区的左上Y座标，热区的右下X座标及热区的右下Y座标，则X(F,1)=(1-Z)＊X(j,k1)+Z＊X(j,k+1,1),Y(F,1)=(1-Z)＊Y(j,k,1)+Z＊Y(j,k+1,1),X(F,2)=(1-Z)＊X(j,k,2)+Z＊X(j,k+1,2),Y(F,2)=(1-Z)＊Y(j,k,2)+Z＊Y(j,k+1,2),其中Z=(F-N(j,k))/(N(j,k+1)-N(j,k)),这里＊号表示乘,并且上面4个方程最好在化为最接近的整数后再求解。
INTERPOLATE执行由上述方程规定的计算，以形成确定热链接区边界的矩形的座标。
下面的表说明在热视频文件中编码矩形热区域的一个示例
称作ObjectName的目标与URL http//www.object-addres.html链接，它被编码到6个关键帧65,95,120,220,300和400。帧220和400是端点帧(由二进制数1表示的，那些标为0的是关键帧，它们不是端点帧)。在此视频中，热区域矩形在帧65中生成并具有左上顶点(20,30)和右下顶点(40,70)，所以此矩形的大小是20×40象素(高20，宽40)。
热矩形区域在其边界内包含部分目标。例如，如果目标是一个人，矩形区域其中可能包含整个人，或者是人的头部。选择矩形描绘目标不决定于热视频编著者，遵从的原则是热视频的观者根据目标相对相关矩形的位置能容易地识别目标。热区域则在帧号95的第二关键帧中被编码。此矩形与在第一关键帧中的相同。
热视频播放器最好这样解释这种数据，对于65和95之间的全部帧(包括65和95帧)，具有所指定坐标的矩形将被标识为热链接区。此热链接区再在帧号120的第三关键帧中被编码，只是现在所在位置变了，其左上顶点在(70,130)而其右下顶点在(90，170)。矩形的尺寸不改变，但向下移动了50个象素及向右移动了100个象素。热视频播放器最好这样解释这种数据，以便对95和120之间的全部帧，一大小近于20×40象素的矩形及位置在帧95和位置在帧120之间某位置处，将被标识为热链接区。它的确切尺寸和位置决定于使用的内插类型。热区域再在帧号220的第四关键帧中被编码，具有座标(120,130)的左上顶点和座标(140,170)的右下顶点。此外，矩形大小没有改变，此时它已经向下移了50个象素，而水平方向完全没有移动。热视频播放器最好内插这种数据以生成这些关键帧之间的热区域。热区域再次在帧号300的第五关键帧中被编码，再次具有坐标(120,130)的左上顶点和坐标(140,170)的右下顶点，因为第四关键帧(号码220)是一端点帧，热视频播放器不对帧221到299的这个目标产生热区域。最后，热区域再在帧号400的第六关键帧中被编码，使用了坐标(120,130)的左上顶点和坐标(140,230)的右下顶点。此时矩形的尺寸已改变。在这种情况下，热视频播放器最好内插这样的数据，以对300和400之间的帧产生增大尺寸的热矩形。此第六关键帧也是一端点帧。热视频编著工具图5(A)和(B)给出软件应用程序实施例的功能方块图，该应用程序向编著者提供生成如上所述的热视频文件的能力。
OPEN-HVF起动此软件应用程序，同时打开一已经存在的热视频文件或者标记一新的热视频文件。OPEN VIDEO控制HOTVIDEOPREVIEWER去打开与热视频文件相关的视频文件。HOTVIDEOPREVIEWER解码此视频的各帧，将包含在热视频数据文件中的信息与包含在视频文件中的帧图象数据集成在一起，并输出结果帧图象数据用以显示。HOTVIDEO PREVIEWER函数类似于上面陈述的HOTVIDEOPLAYER。然而，不同于HOTVIDEO PLAYER的使用内插在关键帧之间的帧中放置热链接区，HOTVIDEO PREVIEWER在它的紧接前面的规定位置(at its last-defined position)放置热链接区，直到下一关键帧或端点帧被标出。
另外，应用程序包含了NAVIGATE函数它向用户提供通过视频文件的各帧进行浏览的能力。例如，NAVIGATE的函数最好包括PLAY,STOP,SEEK,STEP FORWARD和STEP BACKWARD函数，PLAY函数控制HOTVIDEO PREVIEWER播放视频文件(即逐步通过视频文件的各帧并输出帧图象数据用以显示)。STOP函数控制HOTVIDEO PREVIEWER停止播放视频文件(即终止步进通过视频文件帧，并输出对应于停止请求的帧的帧图象数据用以显示)。SEEK函数控制HOTVIDEO PREVIEWER解码并输出，以显示特定视频帧，此帧可通过下面所说的滑块条(slider bar)上滑块的位置来标识。这向编著者提供有特色的对HOTVIDEO PREVIEWER的控制(with course-grained control).STEP FORWARD和STEP BACKWARD函数控制HOTVIDEO PREVIEWER解码并输出，以显示下一个后继帧。这向编著者提供对HOTVIDEO PREVIEWER有特色的精细控制(with fine-grained control)。
ENCODE函数识别何时编著者已经确定在当前正由播放器显示的帧中编码热链接区。在ENCODE函数识别出编著者已决定在当前帧中编码一热链接区时，调用DEFINE-HOT-LINK-REGION函数，这时一交互过程，它允许编著者去标识在当前帧中要成为热链接区的一个区域。例如，热链接区可由帧号和如上所说矩形左上和右下顶点的象素坐标来定义。在此情况下，当前帧号由HOTVIDEO PREVIEWER提供。矩形顶点的坐标可通过Windows的点击和拖曳(click-and-drag)处理来生成，当光标在左上顶点时点击鼠标器左键，而后用户一直按下左键并拖曳鼠标器直到光标处在右下顶点上为止，在这点上用户放开此被按下的按键。
在定义热链接区以后，最好调用ATTACH-0BJECT函数，它向编著者提供将热链接区与一目标连接的能力，该目标可能是已存在的目标(也就是一对应于前面视频文件的热链接区的目标)，或是一新目标(即一不与前面视频文件的热链接区对应的目标)。这个过程或通过输入此目标的名字，或在目标已经被定义的情况下，通过鼠标器点击列在本工具另一窗口上的目标名而完成，在上述窗口中列出了全部已定义过的目标。
在连接目标到热链接区域之后，ATTACH-LINK-COMMAND函数被调用，它对该目标连接上一链接命令，如果是新目标，则用户标识一与此目标相关的链接命令。如果不是新目标，那么此目标可能已有相关的链接命令。在此情况下，ATACH-LINK-COMMAND函数可以被旁路。如上所述，当链接命令启动时，该链接命令确定一处理系统和由这样的处理系统执行的操作。例如，链接命令可能是当这热链接区被用户选中时要被链接的一URL地址。
应用程序还提供MARK-END-FRAME函数，它向编著者提供标识一以热视频数据编码的帧是端点帧的能力。最好是由编著者确定刚被编码的这个关键帧是一端点帧或者不是。如果是一端点帧，用户则用MARK-END-FRAME函数以标明该帧是一端点帧。更可取的是，用户则具有可选项以保存热视频数据文件的当前状态和退出本应用程序的可选项，如果用户决定继续而不退出，用户可继续以重复此处理，借以浏览全部视频文件以及在视频文件的帧中编码热链接区。
另外，本应用程序最好包含这样一些可选项以允许编著者复原(undo)一已进行过的步骤，清除定义一关键帧热链接区的几何形状，去除一目标(去除有关的编码这个目标的全部信息)，加上由操作系统提供的标准编辑工具。
图6给出对图5(A)和(B)的软件应用程序图形用户界面的例子，在这个实施例中，与给定目标相关的链接命令是一URL。然而，本发明不限于这种方式，而可以是用链接命令确定的处理系统执行的任何操作。左边窗口(VW)501，在其中上述视频和热链接区将被显示并依据标准的视频功能按钮而发生作用播放/停止按钮503，向后步进按钮507，向前步进按钮509，随机查找滑块511，以及开/关热链接突出显示按钮505。播放/停止钮503向用户提供控制HOTVIDEO PREVIEWER播放视频文件(即，步进经过视频文件的各个帧并输出帧图象数据供显示)和停止播放视频文件(即，终止步进通过视频文件的各帧，并输出显示对应于停止请求的帧的帧图象数据)的功能；向前和向后步进按钮507,509向用户提供控制HOTVIDEO PREVIEWER解码并输出显示当前帧的下一帧/前一帧的功能，查找滑块511向用户提供控制HOTVIDEOPREVIEWER解码并输出显示指定的视频帧的能力，这可以通过滑块在滑块条上的位置来确定。最后，开/关热链接突出显示钮505向用户提供控制HOTVIDEO PREVIEWER在视频窗口501中开/关切换显示热链接区。
右边是目标窗口(OW)521，其中有编著者正在编码的视频文件的名字和位置523；有为HOTVIDEO PLAYER标识最终要访问的热视频文件的URL524，在那里查找相关的视频文件；有一目标的列表525，这些目标将与它们的热链接区KEY帧以及坐标定义在一起，还有一与定义的目标相关的URL链接的列表527。
当启动软件应用程序时，最好工具窗531被显示，如果编著者从标线开始，从File菜单选中New，则目标窗口也会出现。在OW上的Open按钮则用于装载要与热链接信息一起编码的视频文件。而后在视频区VW会和视频的第一帧一起出现。如果编著者希望打开已存在的热视频数据文件并在上面继续工作，则从File菜单上选择Open按钮，OW会再次显现，此时全部已经产生的信息都随之出现。此外，OW中的Open按钮用以装载要与热链接信息一起编码的视频文件。
为编码第一个(或下一个)目标，编著者浏览全部视频帧，停在编著者想对其同热链接信息编码的帧上。编著者能通过按播放按钮503，使用随机查找滑块511，或在VW513中适当的方框中输入帧号而浏览全部帧。另外，编著者能使用向前及向后步进按钮507,509对一热目标标识起始KEY帧。一旦最初的KEY帧被标识，编著者例如通过指定一围绕目标的矩形区定义热链接的区域。这也可采用常规技术实现在所希望的矩形的左上角指点下光标，拖曳它到右下角并放开在，在划过的区域出现一虚线的长方形，并且其四角被突出显示。在VW的下方，关于热链接区的坐标信息和所指向的URL信息最好被显示。还有，热链接区的几何形状最好能被编辑修改，例如当光标在矩形内时通过点击鼠标器的左键并拖曳鼠标器，或者当光标在四个突出显示角任一个的顶端时点击鼠标器的左键并拖曳。另外，编著者最好能复原(undo)一定义的热链接区。例如，在光标处在矩形内同时按下鼠标右键时一菜单将出现，然后从菜单上选中Cut或delete。
一旦热链接区已被定义，编著者将定义的区域同一目标联系起来，例如，当光标处在热链接区内时，编著者通过按鼠标右键可以将定义的区域同目标联系起来。这时一包含“add to”按钮的菜单弹出，点击“Addto”则将弹出次级菜单。此新菜单会有全部已定义的目标加上一“NewObject(新目标)”的列表。如果此区域要与已存在的目标相联系，通过对已存在的目标点击鼠标器左键标识该已存在的目标，否则则输入“New Object”的名字。
如果热链接区与已存在的目标相联系，软件应用程序将自动输入新信息到0W中合适的位置。对新目标，一新目标窗口将弹出并提示你输入信息目标名字以及与此目标相关的链接命令，例如与该目标相关的URL。还有在这个窗口中将有已经使用的链接命令的列表。在希望指定一已经使用的链接命令的情况下，只要简单地点击左按钮，最好在热链接区与目标关联上以后，热链接区的显示属性被改变以通知编著者，例如，改变热链接区的边界从虚线成为实线。
随着第一KEY帧被编码，编著者能使用上面所描述的同样步骤编码下一个关键帧。最好是，当编著者浏览全部视频的各帧时，HOTVIDEOPREVIEWER显示最后定义的热链接区。当编著者希望编码下一KEY帧时，编著者可使用最后定义的热链接区，或者引出定义一新的热链接区。为使用最后定义的热链接区，编著者只要使用最后定义的区域就像它是自己刚刚画出的。假如编著者要定义一新区，最好最后定义的区域仍然出现在屏幕上，以向编著者提供比较这二个区域的相对位置的能力。
在编著者在特定时间间隔的最后KEY帧中已完成编码热目标以后，编著者把这个帧标识为END帧，这最好通过移动鼠标器到OW内的Object Box并在帧标号上点击鼠标右键从而突出显示该帧来实现，而后按鼠标右键以弹出一包含“Markas End Frame”标记为End帧选项的菜单框，选中“Mark as End Frame”。如图7所示，KEY帧箭头570将变形成为END帧箭头571以此告诉编著者改变已经起作用。最好是，编著者能把END帧改成KEY帧(意思是，不作为END帧)，办法是移动鼠标器到OW中的目标框(Object box)，并在帧标号573上上按鼠标器左键，接着按右键以弹出包含“Mark as Key Frame标记为关键帧”选项的菜单，选中“Mark as Key Frame”。END帧箭头571将变形成为KEY帧箭头570借以提示编著者改变已起作用。最好是，任何关键帧和端点帧都能被取消，办法是移鼠标器到OW中的目标框上并且在帧标号573上按鼠标左键，而后再按鼠标右键以弹出包含删除(“Delete”)选项的菜单，选中“Delete”。
可取的是，在OW的目标框中的任何帧标号573上按一次或连按两次鼠标键，将使VW中的视频跳到这个帧。而且，在OW的目标框中的任何目标标号575上两次连续点击，引起相关关键帧信息的消逝，如果它们当前是可见的。相反，如果它们当前已消逝则会伸展显现。最好是，这也能依靠光标落在目标标号575上按鼠标器右键，以弹出包含合适命令的菜单来得到。
可取的是，编著者能够预视使用HOTVIDEO PREVIEWER集成热链接信息到视频文件，例如，通过按经播放按钮并使用on-off钮505在有热链接区突出显示或没有的情况进行预视。
HOTVIDEO编著工具是方便的因为编著者不必在其中存在热链接区的每个帧中定义热链接区，编著者只在关键帧中定义热链接区。如上面所说的HOTVIDEO PLAYER利用内插在两个关键帧之间的那些帧中放置热链接区。这就降低了热视频文件的大小，不是每一帧都有编码数据，仅对关键帧才有数据。其次，热视频文件非常易于编码，因为只要编码关键帧，加速了编码过程。例如，如果关键帧之间平均有40帧，那么热信息数据文件的大小约为每一个帧都需被编码的情况的1/40，而且编码处理大约也快了40倍。
另外，本发明要求最好按单独和不同文件存储热视频数据和相应的视频文件，这给用户提供很大的灵活性。例如，某人可传送热视频数据给一个用户，他已经有了视频的本地拷贝(即，某人有一视频拷贝在CD上，并从Web方获得热视频数据)，然而本发明不只限于这种方式，另外，本发明的热视频数据和相关的视频数据可以存储在公共文件上。
熟悉本领域的人应该看到以上所述本发明的方法和功能可在能被机器读取的程序存储设备上实施，确实地实现了如上所述的本发明方法和功能，并能被机器在指令程序执行中所使用，同时本发明如在优选实施例项目已被描述的那样，熟悉本专业的人员会认识到，在所附权利要求书的精神和范围内，本发明可作修改而被实际使用。
权利要求
1．用来表示存储在第一文件中的视频帧的超链接的方法，该方法包括以下步骤在不同于所说第一文件的第二文件中存储信息，这些信息定义存储在所说第一文件中所说视频帧中的至少一个热区。
2．权利要求1的方法，其中所说的视频以标准格式编码。
3．权利要求2的方法，其中所说的标准格式是AVI,MPEG，原始的YUV及原始的RGB之一。
4．权利要求1的方法，其中所说的信息，在所说的很多视频帧中，定义至少一个热区的边界。
5．权利要求4的方法，其中所说的至少一个热区域是一个多边形，它包含很多顶点，且其中所说的至少一个热区域的边界由所说多边形的顶点位置来定义。
6．权利要求5的方法，其中所说的多边形是具有左上顶点，右上顶点，左下顶点和右下顶点的矩形，且其中所说的矩形边界由所说左上顶点和右下顶点的位置来定义。
7．权利要求4的方法，其中所说的至少一个热区域是一个具有圆心和半径的圆，且所说的热区域的边界由所说的圆心的位置和半径来定义。
8．权利要求1的方法，其中所说信息定义了存储在所说第一文件的所说视频关键帧中的至少一个热区域，其中一个关键帧是起始帧，一个关键帧是结束帧，且其中所说热区域在起始帧和结束帧之间的至少一个帧未被定义。
9．权利要求8的方法，其中所说的关键帧包括所说起始帧和结束帧之间的至少一个中间的关键帧，其中所说的热区域在所说的起始帧和至少一个中间关键帧之间至少有一帧未被定义，并且所说的热区域在所说至少一个中间关键帧和结束帧之间的一些帧中未被定义。
10．权利要求9的方法，其中所说的关键帧包括在所说的起始帧和结束帧之间的第一和第二中间关键帧，且其中所说的热区域在所说的第一中间关键帧和所说第二中间关键帧之间，至少有一帧未被定义。
11．权利要求8的方法，还包括下列步骤根据用户的输入来标识所说的关键帧；及根据用户的输入产生至少定义一个热区域的所说信息。
12．权利要求1的方法，还包括下面步骤根据用户的输入，把所说的热区域至少与链接命令联系起来；及在所说的第二文件中，表示所说热区域和所说的至少一个链接命令之间的联系。
13．权利要求12的方法，其中所说的热区域和至少一个链命令之间的联系是通过存储在所说第二文件中的数据组织来表示的。
14．权利要求13的方法，其中所说的存储在第二文件中的数据包括标识所说热区域和相应的链接命令的条目。
15．权利要求1的方法，还包括以下步骤把目标标识符赋给相应于所说热区域的目标；根据用户的输入把所说热区域同目标标识符联系起来；在所说的第二文件中，表示所说热区域和所说目标标识符之间的联系。
16．权利要求15的方法，其中所说的热区域和所述目标标识符之间的联系是通过存储在所说第二文件中的数据组织来表示的。
17．权利要求16的方法，其中所说的存储在所述第二文件中的数据包含标识所说的热区域和相应的目标标识符的条目。
18．权利要求15的方法，还包括下列步骤根据用户的输入，至少把链接命令同目标标识符联系起来，从而把所说至少一个链接命令同所说的热区域联系起来；及在所说的第二文件中，表示所说的链接命令和所说目标标识符之间的联系。
19．权利要求18的方法，其中所说的链接命令和所说的目标标识符之间的联系是通过存储在所说的第二文件中的数据组织来表示的。
20．权利要求19的方法，其中所说的存储在第二文件中的数据包括标识所说目标标识符的条目，相应的链接命令及相应的热区域。
21．用来表示视频帧中超链接的方法，该方法包括步骤对在所说视频的关键帧中定义至少一个热区域的信息进行存储，其中一个关键帧是起始帧，一个关键帧是结束帧，并且其中所说的热区域在所说起始帧和结束帧之间至少一帧中未被定义。
22．权利要求21的方法其中所说的关键帧包括所说的起始帧和结束帧之间至少一个中间关键帧，其中所说的热区域在所说的起始帧和至少一个中间关键帧之间至少一个帧中未被定义，并且所说的热区域在所说至少一个中间关键帧和所述结束帧之间的一些帧中未被定义。
23．权利要求22的方法，其中所说的关键帧包括所说的起始帧和结束帧之间的第一和第二中间关键帧，并且其中所说的热区域在所说的第一中间关键帧和所说第二中间关键帧之间的至少一帧中未被定义。
24．权利要求21的方法，还包括下列步骤根据用户的输入来标识所说的关键帧；及根据用户的输入产生所说定义至少一个热区域的信息。
25．权利要求21的方法，其中所说的视频以标准格式被编码。
26．权利要求25的方法，其中所说的标准格式是AVI,MPEG，原始的YUV，及原始的RGB之一。
27．权利要求21的方法，其中所说的信息，在所说的很多视频关键帧中，定义所说至少一个热区域的边界。
28．权利要求27的方法，其中所说的至少一个热区域是一个多边形，它包含很多顶点，且其中所说的至少一个热区域的边界由所说多边形的顶点位置来定义。
29．权利要求28的方法，其中所说的多边形是具有左上顶点，右上顶点，左下顶点和右下顶点的矩形，并且其中所说的矩形边界由所说左上顶点和右下顶点位置来定义。
30．权利要求27的方法，其中所说的至少一个热区域是一个具有圆心和半径的圆，并且所说的热区域的边界由所说的圆心的位置和半径来定义。
31．权利要求21的方法，还包括下面步骤根据用户的输入，把所说的热区域同至少是链接命令联系起来；及在所说的信息中，表示所说热区域和所说的至少一个链命令之间的联系。
32．权利要求31的方法，其中所说的热区域和至少一个链命令之间的联系是通过所说信息的组织表示的。
33．权利要求32的方法，其中所说的信息包括标识所说热区域和相应的链接命令的条目。
34．权利要求21的方法，还包括下列步骤把目标标识符赋给相应于所说热区域目标；根据用户的输入把所说热区域同目标标识符联系起来；在所说信息中，表示所说的热区域和所说的目标标识符之间的联系。
35．权利要求34的方法，其中所说的热区域和所说目标标识符之间的联系是通过所说信息的组织来表示的。
36．权利要求35的方法，其中所说的信息包括标识所说的热区域和相应的目标标识符的条目。
37．权利要求34的方法，还包括下列步骤根据用户的输入，把至少是链接命令同目标标识符联系起来，从而把至少一个链接命令同所说的热区域联系起来；及在所说的信息中，表示所说的链接命令和所说目标标识符之间的联系。
38．权利要求37的方法，其中所说的链接命令和所说目标标识符之间的联系是通过所说的信息的组织来表示的。
39．权利要求38的方法，其中所说的信息包括标识所说的目标标识符的条目，相应的链接命令及相应的热区域。
40．权利要求21的方法，其中所说的视频被存储在第一文件中，而所说的信息被存储在不同于所说的第一文件的第二文件中。
41．权利要求21的方法，其中所说的视频和信息被存储在一个公共文件中。
42．把超链接和视频帧集成的方法，包括下列步骤提供存储视频帧的第一文件；提供不同于第一文件的，存储定义所说视频帧中至少一个热区域信息的第二文件；选择至少一个视频帧用于显示；根据规定，所说的第二文件包括在所选中的帧内定义一热区域的信息，标识相应于所说热区域的被选帧的很多象素，及修改被标识的象素的彩色值，从而对所说帧内所说热区域作出标己。
43．权利要求24的方法，其中所说的视频以标准格式编码。
44．权利要求43的方法，其中所说的标准格式是AVI,MPEG，原始的YUV及原始的RGB之一。
45．权利要求42的方法，其中所说的信息，在所说的很多视频帧中，定义至少一个热区的边界；及其中标识对应于所说热区域的被选帧的很多象素的步骤包括确定被选帧的象素的步骤，这种象素位于被选帧中所说至少一个热区域的边界附近。
46．权利要求45的方法，其中至少一个热区域是一个多边形，它包含很多顶点，而且其中所说的至少一个热区域的边界由所说多边形顶点最的位置来定义；及其中标识对应于所说热区域的被选帧的很多象素的步骤，包括确定被选帧的象素的步骤，这种象素位于连结所说顶点的线附近。
47．权利要求46的方法，其中所说多边形是具有左上顶点，右上顶点，左下顶点和右下顶点的矩形，并且其中所说的矩形边界由所说左上顶点和右下顶点的位置来定义；及其中标识对应于所说热区域的被选择帧的很多象素的步骤，包括确定被选择帧的象素的步骤，这种象素位于所说的矩形边界附近。
48．权利要求45的方法，其中所说的至少一个热区域是一个具有圆心和半径的圆，而且所说的热区域的边界由所说的圆心的位置和半径来定义；及其中标识对应于所说热区域的被选择帧的很多象素的步骤包括确定被选择帧的象素的步骤，这种象素位于所说圆的边界附近。
49．权利要求42的方法，其中的信息定义了存储在所说第一文件中所说视频关键帧中的至少一个热区域，其中一个关键帧是起始帧，一个关键帧是结束帧，并且其中所说热区域在起始帧和结束帧之间的至少一个帧中未被定义。
50．权利要求49的方法，其中所说的关键帧包括所说的起始帧和结束帧之间至少一个中间关键帧其中所说的热区域在所说的起始帧和至少一个中间关键帧之间至少有一帧中未被定义，并且所说的热区域在所说的至少一个中间关键帧和结束帧之间的一些帧中未被定义。
51．权利要求50的方法，其中所说的关键帧包括所说的起始帧和结束帧之间的第一和第二中间关键帧，并且其中所说的热区域在所说的第一中间关键帧和第二中间关键帧之间的至少一帧中未被定义。
52．权利要求49的方法，其中确定所说第二文件是否包含定义被选帧中热区域信息的步骤中，包括确定是否所选帧位于关键帧之间的步骤；及其中标识对应于所说热区域的被选择帧的很多象素的步骤包括下列步骤根据在所说的关键帧中热区域的位置，在被选择的帧中内插所说热区域的位置，及根据在所说被选帧中所插入的热区域的位置，标识对应于所说被选择帧的热区域的象素。
53．权利要求42的方法，还包括下面步骤存储同所说的至少一热区域联系的链接命令；及根据用户选择的所说至少一个热区域，执行所说的链接命令。
54．把超链接和视频帧集成的方法包括下列步骤提供视频帧；提供在所说的视频关键帧中定义的至少一个热区域的信息，其中一个关键帧是起始帧，一个关键帧是结束帧，并且其中所说的热区域在所说的起始帧和结束帧之间至少一帧中未被定义；选择至少一个视频帧用于显示；根据规定所说的信息在被选择帧中定义一热区域，标识相应于所说热区域的被选帧的很多象素，及修改被标识的象素的彩色值，从而对所说帧内的所说热区域作出标记。
55．权利要求54的方法，其中所说的关键帧包括所说的起始帧和结束帧之间的至少一个中间关键帧，其中所说的热区域在所说的起始帧和至少一个中间关键帧之间的至少一帧中未被定义，并且所说的热区域在所说的至少一个中间关键和结束帧之间的一些帧中未被定义。
56．权利要求55的方法，其中所说的关键帧包括所说的起始帧和结束帧之间的第一和第二中间关键帧，且其中所说的热区域在所说的第一中间关键帧和第2中间关键帧之间的至少一帧中未被定义。
57．权利要求54的方法，其中确定所说的第二文件是否包含定义被选帧中热区信息的步骤中，包括确定是否所选帧位于关键帧之间的步骤；及其中标识对应于所说热区域的被选帧的很多象素的步骤包括下面步骤根据在所说的关键帧中热区域的位置，在被选择的帧中内插所说热区域的位置，及根据所说被选帧中所插入的热区域的位置，标识对应于所说被选择帧的热区域的象素。
58．权利要求54的方法，其中所说的视频是以标准格式编码的。
59．权利要求58的方法，其中所说的标准格式是AVI,MPEG，原始的YUV及原始的RGB之一。
60．权利要求54的方法，其中所说的信息，在所说的很多视频关键帧中，定义所说至少一个热区域的边界；及其中标识对应于所说热区域的被选帧的很多象素的步骤包括确定被选择帧的象素的步骤，这种象素位于被选帧中所说至少一个热区域的边界附近。
61．权利要求60的方法，其中至少一个热区域是一个多边形，它包含很多顶点，并且其中所说的至少一个热区域的边界由所说多边形的顶点的位置来定义；及其中标识对应于所说热区域的被选帧的很多象素的步骤包括确定被选帧的象素的步骤，这种象素位于连结所说顶点的直线附近。
62．权利要求61的方法，其中所说多边形是具有左上顶点，右上顶点，左下顶点和右下顶点的矩形，且其中所说的矩形边界由所说左上顶点和右下顶点位置来定义；及其中标识对应于所说热区域的被选帧的很多象素的步骤包括确定被选帧的象素的步骤，这种象素位于所说的矩形边界附近。
63．权利要求60的方法，其中所说的至少一个热区域是一个具有圆心和半径的圆，并且所说的热区域的边界由所说的圆心的位置和半径来定义；及其中标识对应于所说热区域的被选帧的很多象素的步骤包括确定被选帧的象素的步骤，这种象素位于所说的圆的边界附近。
64．权利要求54的方法，还包括下列步骤存储同所说的至少一热区域联系的链接命令；及根据用户选择的所说至少一个热区域，执行所说的链接命令。
65．权利要求54的方法，其中所说的视频被存储在第一文件中，而所说的信息存储在同第一文件不同的第二文件中。
66．权利要求54的方法，其中所说的视频和信息，被存储在一个公共文件中。
全文摘要
超视频数据以两种性质不同部分被编码,第一部分包含有视频数据,第二部通常小于第一部分,包含有同视频数据相关的超链接信息,最好,第一部分和第二部分用独立的不同文件来存储。通过只对视频的关键帧进行编码及简单几何形状的热链接区编码的有效生成超链接信息的编码。超视频播放器通过夹在这些帧中的关键帧中插入热链接区域,确定关键帧之间帧中的热链接区域。
文档编号G06F17/30GK1221502SQ97195202
公开日1999年6月30日 申请日期1997年4月2日 优先权日1997年4月2日
发明者陈淑君, 费辅仁, 张良杰 申请人:国际商业机器公司