专利名称：计算机可读存储器的制作方法
技术领域：
本发明涉及搜索字幕(subtitle)，特别是搜索多种类型的字幕数据流。具体来讲，还涉及一种计算机可读存储器。
背景技术：
电视广播或视频重放(例如从视盘)提供了叠加在视频图象上的字幕，不难看出，字幕永久地组合在视频图象下面而不能在接收(或重放)端操纵。例如，不能搜索出现在与其对应的音频轨迹中的声音或视频图象中有关特殊景物信息的字幕。
由于这种技术以子码形式记录图形，因此激光图示唱盘(CD-G)在搜索字幕中提供了一些灵活性，然而，由于慢于电视标准，该技术限于光盘(CD)应用，因此，CD-G具有严重缺陷。即CD-G技术本身不适用于实时电视广播或视频重放中的字幕操纵。
如参考图18A-C和19所示，产生全CD-G屏所需的交付周期(leadtime)很不适合正常电视或视频广播。图18A描绘了CD-G数据格式，其中一帧包括1字节的子码和32字节的音频通道数据，音频通道数据中的24字节分配给L和R音频通道数据(每个通道具有6个取样，每个取样为2字节)，8字节分配给纠错码，这些帧按98帧(帧0、帧1……帧96、帧97)一个块被区分，如图18B所示，并发送P、Q、R、S、T、U、V和W的8个块，如图18C所示，每个块(block)中的帧0和1的子码保留为同步码型S0、S1，剩余96帧的子码保留为各种子码数据。前两个块P、Q分配给用于通过记录轨迹搜索的搜索数据，剩余的6个块R、S、T、U、V和W可用作图形数据。
CD-G以75Hz重复频率发送每一个块的98帧。因此，1个块的数据发送率是(75Hz×98字节)7.35KHz，使得子码比特率为7.35K字节/秒。
图19示出用于发送出现在块R、S、T、U、V和W中信息的发送格式，其中6个块(R、S、T、U、V和W)的每96帧(2、3……97)作为一个块发送，每个包包括6个通道(R至W)，每个通道96个码元(symbol)(一个码元由三个单元组成)。该包(packet)再进一步分成4个小包(pack)。每小包24个码元(码元0至码元23)，每小包存储一个CD-G字符。可以理解，一个CD-G字符由6×12个象素构成，因此便于容纳在每个6×24小包中。按照该CD-G格式，该6×12CD-G字符存储在6个通道(R、S、T、U、V和W)中的码元8至19(12个码元)。每小包中剩余的码元存储有关的字符信息。
状态(Mode)信息是存储在小包中信息的一个实例，并存储在每小包前三个通道(R、S、T)的码元0中。项目(item)信息是另一个实例，存储在最后三个通道(U、V、W)的码元0中。状态信息和项目信息的组合确定了存储在相应小包中的字符状态如下表 1状态 项目000 000 0状态001 000 图象状态001 001 TV图象状态111 000 用户状态指令是在小包中存储信息的另一个实例，并存储在码元1的所有通道中。与该指令对应的状态、项目、奇偶校验位或附加指令信息存储在码元2至7的所有通道中。通道的码元0至19中所有数据的奇偶性信息存储在每小包最后4个码元的所有通道(码元20至23)中。
如所讨论的，CD-G制式较慢。CD-G数据以75Hz的重复频率发送，因此，以每秒300小包的速率发送一个包含4小包的包(75Hz×4小包)。即对于分配给6×12象素区域的一个字符，1秒可发送300个字符。然而，-CD-G屏由288个水平象元×192个CD-G垂直象元确定，并要求1秒钟发送大于300个字符的两倍。288×192点阵的总发送时间为2.56秒，如下面等式所示(288/6)×(192/12)÷300＝2.56秒对于CD-G系统，当考虑屏幕通常是十分之一秒更新一次时，由于由其一身再生每一屏的时间非常长(2.56秒)，搜索具体事件将非常费时。当16进制码用于该字符时，由于每个16进制表达式需要4比特表示1个象素，该问题是缩合的。因此，要发送上述数据的4倍，从而将发送率提高到10.24秒(4×2.56秒)。由于每屏需要延时10.24秒发送，当使用CD-G技术发送点阵时，意味着点阵的连续发送要经历10.24秒的滞后时间。
在一种系统中(被称为CAPTAIN系统)，以点图形(dot-pattern)，以及字符码表示字幕，然而，该系统未表现出明显优于CD-G系统并具有某些相同的缺陷。即两种系统都缺乏有效搜索特殊事件的能力。另外，这些系统在字幕显示过程中不能对字幕提供足够的分辨率。该CD-G系统仅以1比特指示每个象素，该二值图象素(binary pixel)数据产生不希望的折叠和闪烁。例如，该CAPTAIN系统以248(水平象元)乘192(垂直象元)显示来研制，即低分辨率显示，而不适用于720×480的高分辨率视频图象。
发明内容
因此，本发明的目的是提供一种对将要被搜索的多种数据流编码的编码方法和装置。
本发明的另一个目的是提供一种能使用户搜索特定字幕的编码技术。
本发明的再一个目的是提供一种控制计算机搜索多种数据流的计算机可读存储器。
本发明的再一个目的是提供对所搜索的多种数据流解码的触码方法和装置。
根据本发明上述目的，本发明提供一种对多种数据流编码的编码装置和方法，以便通过查找与该数据同一类型的数据流能查找由数据流中数据表示的视频广播中的事件。
本发明提供的一种编码装置，用于将包括视频、音频和字幕类数据流的多种数据流编码到记录介质上，每一类的一序列数据流由组合在视频广播中的相应视频、音频和字幕信号构成，所述编码装置包括
编码装置，用于将视频广播编码形成记录到记录介质上的多种数据流；地址发生装置，用于产生每个数据流地址，它指向各自数据流记录在记录介质上的位置；和地址存储装置，用于将所述地址发生装置产生的所述地址，根据它们所指向的数据流的类型，存储在由数据流类型预定的记录介质的区域中，其中，由该数据流中的数据表示的事件，能通过存取与所查找数据同一类型的数据流查找。
本发明提供的一种编码方法，用于将包括视频、音频和字幕类数据流的多种数据流编码到记录介质上，每一类的一序列数据流由组合在视频广播中的相应视频、音频和字幕信号构成，所述编码方法包括将视频广播编码成将要被记录在记录介质上的多种数据流；为每个数据流产生地址，它指向记录在记录介质上各自数据的位置；和根据它们所指向的数据流的类型将由所述地址发生装置产生的所述地址存储在由数据类型预定的记录介质的区域中，其中，由该数据流中的数据表示的事件，能通过存取与所查找数据同一类型的数据流查找。
本发明还提供一种计算机可读存储器，用于通过搜索与将要被所搜索的数据为同一类型的数据流来操作计算机以搜索由该数据流中的数据表示的视频广播中的事件。
本发明提供的一种计算机可读存储器，用于控制计算机搜索记录介质上记录在包括视频、音频和字幕类数据流的多种数据流中的一种数据流中表示视频广播中事件的数据，每一类的一序列数据流由组合在视频广播中的相应视频、音频和字幕信号构成，包括存储装置，用于存储指向所述多种数据流的地址，其中所述存储装置将所述地址存储在表示数据流存储的类型的组中；和字幕数据指向装置，用于控制所述计算机在搜索期间依次对位于指向所述搜索期间专门显示的数据流的字幕类型地址的所述数据流解码。
本发明还提供一种对多种数据流解码的解码装置和方法，以便通过搜索与将要被搜索的数据为同一类型的数据流来搜索由数据流中的数据表示的视频广播中的事件。
本发明提供的一种解码装置，用于对从记录介质重放的包括视频、音频和字幕类型数据流的多种数据流解码，每一类的一序列数据流由组合在视频广播中相应视频、音频和字幕信号构成，所述解码装置包括解码装置，用于对从记录介质重放的多种数据流解码；和控制装置，用于控制所述解码装置，以便在搜索期间对专门显示的字幕类型的数据流解码，以致通过存取与所搜索数据同一类型的数据流可查找由该数据中的数据表示的任何事件。
本发明提供的一种解码方法，用于对从记录介质重放的包括视频、音频和字幕类型数据流的多种数据流解码，每一类的一序列数据由组合在视频广播中的相应视频、音频和字幕信号构成，所述解码方法包括步骤对从记录介质重放的多种数据流解码；和控制所述解码，以便在搜索期间对专门显示的字幕类型的数据流解码，以致通过存取与所搜索数据同一类型的数据流可查找由该数据流中的数据表示的任何事件。
通过参考结合附图所做的下列详细描述可更全面地理解本发明并使其许多附加优点显而易见，附图中图1是本发明数据解码装置的方框图；图2是图1中描绘的字幕解码器的方框图；图3A和3B是根据本发明的地址表；图4A和4B是描绘正常和特技(trick)重放状态中字幕搜索操作的示意图；图5是图1的系统控制器和图2的控制器之间联系的图表；图6是图1和图2元件之间联系的参数图表。
图7A至7C是说明本发明数据编码的信号示意图；图8是当对字幕数据编码时的彩色查找表；图9A是9B是构成本发明编码装置的方框图，图10A和10B是描绘图9A的抹除(wipe)数据取样器的方框图；图11是当进行彩色抹除(color wipe)操作时的彩色查找表；
图12是说明代码缓冲器操作的示意图；图13是描述图12中码缓冲器内部操作的方框图；图14A至14C是描绘彩色抹除操作的示意图；图15是描绘根据图14A至14C的彩色抹除操作的方框图；图16A至16C是描绘动态定位操作的方框图；图17是描绘根据图16A至16C的动态定位操作的电路方框图；图18A至18C描绘按照CD-G格式的数据排列；图19描绘CD-G格式中数据的发送格式。
具体实施例方式
现在参考附图描述本发明，其中类似参考标号表示相同或相对应部分。
解码装置图1所示的数据解码装置包括在本发明中并对重放信号进行解码。数据解码装置的系统控制器14产生将要被处理的重放信号并将其送到字幕(subtitle)解码器7。该系统控制器与字幕解码器的控制器35(图2)联系，以便对字幕解码并将其叠加在已解码的视频图象上，使其在电视屏幕上显示。
一个数据解码器和多路分解器1(demultiplexer)，接收从例如VCR重放的数字信号。数据解码器和多路分解器1对该重放信号的误解码最好采用纠错码(ECC)技术，并将误解码的重放信号多路分解成视频，字幕和音频数据流。存储器2可作为缓冲存储器，以便用作为误解码和多路分解重放信号的工作区。
视频解码器3对从视频数据流多路分解的视频数据解码。存储器4可用于对视频数据解码的操作，该操作与用于数据解码器和多路分解器1的存储器2的操作相同。
信箱(letter box)电路5将宽高比为4∶3的解码视频数据转换成16∶9的宽高比。该转换是用4比3抽取处理进行的，每四条水平线抽取成三条水平线，从而将视频图象压缩成3/4图象。按照该信箱格式，从剩余的1/4视频图象得到垂直分辨率分量，它用于提高已抽取视频图象的垂直分辨率。定时调节存储器6确定视频图象的发送时间，以确保1/4的信箱图象不被发送。当由视频解码器3产生的解码视频数据已经是16∶9的信箱格式时，信箱电路旁路抽取操作，并将已解码视频数据直接送到字幕(subtitle)解码器7。
根据来自系统控制器14的指令由数据解码器和多路分解器1多路分解的解码字幕数据直接送到解码字幕数据的字幕解码器7，并将已解码字幕数据与已解码视频数据混合。
复合编码器8将混合的字幕数据和视频数据编码成诸如NTSC、PAL或类似的字幕视频图象格式。状态(mode)显示器9与用户接口并指示例如连到附图所示装置的电视监视器的状态(mode)。D/A转换器10将从复合编码器接收的编码信号转换成模拟信号字幕，以便显示诸如NTSC或PAL的指示的状态(mode)。
例如，由音频解码器11对已由数据解码器和多种分解器1解码的音频/视频信号的音频部分解码，该音频解码器用存储器12对多路分解的音频数据解码。由D/A转换器13将从音频解码器输出的已解码音频数据信号转换成适合由电视监视器重放的模拟音频信号。
字幕解码器下面参考图2描述字幕解码器7，该解码器对已编码的字幕数据进行解码并将已解码字幕数据与相关视频数据混合。控制器35(图2)控制字幕解码器的操作，并用图2所示命令信号(如图5所列)与解码器(图1)的系统控制器通信。同时，控制器35和系统控制器14定时字幕数据的解码，以使字幕数据在字幕出现在视频图象上的适当位置与视频图象数据混合。
字幕解码器的字检测器20从盘重放的比特流组中接收字幕数据，该比特流以包(packets)形式存储在盘上。每组比特流由将要被叠加在视频图象上的一帧(或页)字幕构成。不同组比特流可表示不同重放状态显示的字幕，诸如正常重放、以及另一种称为特技(trick)状态的快退或快进。系统控制器用重放状态显示的atream-select信号指示字检测器，该字检测器针对所指示的重放状态选择相关的信号比特流。在不同通道显示不同视频图象的情况下，系统控制器向字检测器指示与ch-select信号对应的相关通道，并且该字检测器改变通道以便仅接收所选通道上的比特流。
由一帧构成并由字检测器接收的一组比特流包括描述该组比特流格式的标头信息(S标头)。该标头信息带有标头修正(error)信息(标头修正)和数据修正信息(数据修正)。系统控制器用该标头信息确定如何对该组比特流进行分析并从中提取相关字幕数据。系统控制器使用标头修正信息校正标头信息中的异常情况并使用数据修正信息校正字幕数据中的异常情况。
字检测器将字幕数据(位图)与其它已解码信息一起(包括一个显示时间标记PTS，显示位置数据的Position-data和彩色查找表数据的CLUT-data)转送到代码缓冲器22，PTS是指示当发送一帧的音频、视频和字幕数据时的准确时间的信号，以使系统控制器知道何时从重放信号多路分解该数据。位置数据指示字幕叠加在视频图象上的水平和垂直字幕位置。CLUT-data指示将哪种色彩用于构成字幕的象素。例如，系统控制器14确定将要被显示的视频图象，并在由时间标记(PTS)指示的时间将字幕数据发送到字幕解码器7，使字幕解码器在由水平和垂直位置表示的视频图象位置输出相应字幕数据(位图)，该水平和垂直位置由CLUT-date指示的色彩中的positinn-data指示。
调度程序(scheduler)21，以确保由代码缓冲器22从多路分解器1(图1)接收的数据不溢出代码缓冲器。该程序通过确定I/O端口(未示出)带宽，该端口接收由字检测器选择的比特流控制向代码缓冲器的读/写存取。涉及读/写速率的带宽是通过多路分解器分解数据的速率除以写入或从代码缓冲器读出的并行比特数计算的。例如来自20Mbps的多路分解器的数据率被8并行比特除，使得从代码缓冲器读取数据为2.5Mbps速率。因此，该程序将设定I/O端口的读/写速率，以保持进和出代码缓冲器的数据流速一致。因此，代码缓冲器接收字幕数据(位图)并等待来自系统控制器的解码启动信号以便读取该数据。
当从水平和垂直同步信号确定电视显示是在与由位置数据指示的位置对应的位置时，该系统控制器有利于执行实时读取。为了实时显示，读取速率应与图象元素取样速率对应，最好是13.5MHz。如所讨论的，最好以2.5MHz或更高的速率将字幕数据写入代码缓冲器。因此，将13.5MHz的取样时钟分成每个分别为3.375MHz的四个时钟周期。将一个3.375MHz的时钟周期分配给写入(由于写入至少需要2.5MHz)，剩余的三个时钟周期分配给从代码缓冲器读取数据，为此满足实时显示的要求。
所描述的读/写操作不仅有助于实时进行，而且提供了高分辨率。8比特的字幕数据是从代码缓冲器22在三个读取时钟周期的每一时钟周期或每取样时钟读取24比特。当电视监视器每隔4个时钟周期进行图象显示时，每个时钟周期显示24比特的四分之一，即(24/4＝)6比特。也就是说，每个字幕图象元素可包括6比特，足以使字幕达到高质量的分辨率。
图13的方框图中描绘了代码缓冲器22的操作和图2的相应部件，代码缓冲器22一1累积字幕数据比特流直到代码缓冲器中至少累积一页字幕数据。当显示时间标记(PTS)的字幕部分与同步时钟(SCR)对准时，将一页字幕数据从代码缓冲器22-1传送到显示存储器22-2(作为字幕解码器的缓冲器)。在读取期间指示当前读取的存储的字幕数据地址，同步时钟超前显示存储器22-2的一个指针，应该指出，由于该代码缓冲器仅需要增加一个指针用于指向存储下一组字幕数据的显示存储器22-2中的当前地址，最好将代码缓冲器和显示存储器放置在一个单独单元中。因此，借助一个内部存储器，实际上不对传送操作造成延迟，从而高速传送字幕数据。
在正常重放状态期间读取代码缓冲器时，同步时钟在每个时钟脉冲超前显示存储器22-2的指针，然而，特定(或特技)重放(例如，快进，快退重放状态期间)，以不同速率超前该指针。为此，将特定命令首先送到控制器35，该控制器送回一个确认信号(special-ack)，确认特定重放被启动，根据特定重放速度均匀地加速(或放慢)字幕解码器的操作，可通过加或减时钟脉冲改变系统时钟基准(SCR)。以与快进或快退速率对应的n倍速度产生减脉冲。例如，开始特定重放时，将以n倍速度从代码缓冲器读出的字幕数据比特流进行实时减法运算，并且以所要求速率超前指针，以实现特定重放状态。另一方面，当特定重放操作对应于暂停操作时，不产生减脉冲。而是连续地重复从代码缓冲器读取同一帧，从而提供字幕暂停的感觉。
当字幕解码器7确定到达字幕帧页面结尾(EOP)时读取操作结束。系统控制器向控制器35发送一个指示页面长度的重复时间信号。反向行程电路24包括一个计数器，并在该计数器的计数值达到由重复时间信号指示的值时向控制器35发送显示结束信号。控制器35确定到达该重复时间时，代码缓冲器的读取操作停止。对于本发明来说，由于在将另一页写入代码缓冲器时将读取一页，该代码缓冲器最好至少存储两页字幕数据。
当代码缓冲器22出现溢出时，控制器35向系统控制器14发出缓冲器溢出信号。当控制器在字检测器20接收下一页上的页面结尾(EOP)信号之前从反向行程电路24接收到显示结束信号时则可确定为溢出。此时，系统控制器阻止从数据解码器和多路分解器1(图1)向字检测器发送字幕数据，以防止代码缓冲器溢出。当溢出条件消除时，将下一比特流写入代码缓冲器并显示在正确的显示开始位置。
当代码缓冲器22已经完成读取整页字幕数据并且代码缓冲器中不再有数据时存在下溢(underflow)情况。由图12中的“代码缓冲器大小”线用两页容量描绘代码缓冲器。用图形表示，图12中将出现的下溢如同在代码缓冲器下限下延伸的线(C)的垂直部分之一，相反，图12以图形描绘了当读入代码缓冲器的字幕数据太大时的溢出情况，即超出线(B)延伸的线(C)的水平部分时的溢出情况。
图12以图形说明数据流入和流出代码缓冲器22，T轴(横轴)表示时间，D轴(纵轴)表示每页数据的数据大小。因此，梯度(上升/行程)表示字幕进入代码缓冲器的数据流动速率、曲线(C)表示字幕数据的数据流动。曲线(C)的垂直部分表示当显示时间标记(PTS)与字幕解码器7内部产生的同步时钟(SCR)对准时从代码缓冲器传送字幕数据。曲线(C)的水平部分表示字幕数据传送到代码缓冲器中。例如，在代码缓冲器接收页面(S0)显示时间标记(PTS)的时间，从该代码缓冲器传送字幕数据的前一页和页面(S0)写入代码缓冲器。当代码缓冲器接收另一个显示时间标记(PTS)时，页面(S0)的字幕数据送出代码缓冲器并同样写入页面(S1)。剩余的页面(S2)、(S3)如所指示写入和读出代码缓冲器。
为准确地选择随视频图象显示从代码缓冲器读取字幕数据的时间，必须进行延迟补偿，以允许在字幕解码器内延迟。这对以外部存储器作为显示存储器的情况特别重要，因为外部存储器增加了延迟因素。通过控制来自系统控制器14的解码开始命令的定时达到延迟补偿。系统控制器将在等于信箱图象(近似一场)处理时间延迟解码开始命令，并将在控制器的同步时钟(SCR)的瞬间由视频解码产生的延迟对准显示时间标记(PTS)。由于视频、音频和字幕数据多路复用是以数据编码装置中每个视频、音频和字幕数据信号的解码延迟是零为前提，故此延迟补偿特别有效。
当显示存储器22-2(图13)读出一页字幕数据时，在垂直消隐期(V)由分析器22-3从中分离该比特流标头，剩余数据转送到反向可变长度编码器或行程长度解码器23，24。反向VLC(可变长度编码)电路23(图2)对字幕数据进行可变长度解码。可变长度解码的字幕数据由成对数据的电平数据(“1”或“0”)和行程数据组成。在不采用可变长度解码的情况下，可将反向VLC电路旁路并将从代码缓冲器读取的字幕数据直接输出到反向行程长度电路24。反向行程电路24通过从一些行程数据单元产生数据电平进行行程长度解码。因此，反VLC电路23和反向行程长度电路24对已经以压缩数据存储在代码缓冲器22中的字幕数据解压缩。
解压缩字幕数据送到3∶4滤波器25。该3∶4滤波器从系统控制器14接收指示对应电视监视器宽高比的xsqueeze信号。当该信号表明监视器的宽高比为4∶3时，3∶4滤波器把3∶4滤波处理用到字幕处理数据，以使字幕数据尺度与视频图象尺度匹配。在优选实施例中，在产生H同步脉冲前，控制器35从码缓冲器22读取相当于90个象素的字幕数据的值。在电视监视器已经为16∶9宽高比或解压缩字幕数据表示字体的情况下将3∶4滤波器旁路。
彩色查找表26(CLUT)从3∶4滤波器25接收字幕数据并从代码缓冲器22接收CLUT-data。彩色查找表为字幕数据从CLUT-data产生适合的色彩。彩色查找表为每个象素选择与该字幕数据对应的地址，并将混合比K和彩色分量Y(亮度)、CR(色差信号R-Y)和CB(色差信号B-Y)转送到混合器34，由混合器34混合时，彩色分量Y、CR和CB以混合比K产生带有彩色查找表指示的彩色象素。
背景视频数据插入彩色查找表的排列中。例如，查找表的地址0包括具有00h值的关键码数据K；意味着看不见字幕数据并将显示背景视频数据，如图7C的区域T1和T5所示。查找表的地址1h至6h包括线性增加(20，40，……CO十六进制)的关键码数据K的值；意味着按照这些地址的字幕象素与背景数据混合，如图7C的区域T2和T4所示，最后，查找表的地址8h至Fh包括关键码数据K的值E0h；意思是分量Y、CR和CB不与任何背景视频数据混合，如图7C的区域T3所示。该彩色查找表数据从系统控制器产生，并在解码前预先下载到CLUT电路。借助该彩色查找表，经滤波的字幕数据传送到相关的彩色象素以在电视监视器上显示。
图8示出按照地址0……F(十六进制)排列分量Y、CR、CB和K的彩色查找表的实例。正如将说明的，通过改变CLUT-data进行彩色抹除，从而通过彩色抹除图11所示彩色查找表置换部分该彩色查找表。通常，由于帧在电视信号中一秒钟被更新数次，特定字幕帧将被更新数次。字幕更新时，将采用相同字幕数据。然而，由于改变了彩色查找表，色彩将有所不同。因此，该字幕以彩色抹除的形式出现。如同以每个连续帧将它们更新。
混合器34(图2)将来自彩色查找表26的象素与来自视频解码器3(图1)的视频数据混合。所得到的混合数据表示叠加有字幕并准备输出到电视监视器。通过参考U-position信号控制混合器34使该字幕位于视频图象内，该U-poeition信号由系统控制器14经控制器35从操作者的命令产生。该U-position值指定显示在屏幕上的垂直位置并可以改变(由用户、发射机、或其它方式之一改变)以允许用户沿垂直轴任何地方放置该字幕。
通过图6所示不同信号参数可以实现本发明的解码装置，然而，本发明不限于该图所述参数并且可以用于不同的视频系统。
通过本发明，用户能通过状态显示装置9(图1)控制字幕显示。系统控制器14依据来自用户的命令向混合器34(图2)发送控制信号，开启或关闭字幕。由于本发明对字幕实时解码，当开启或关闭字幕时用户无需经历任何不希望的延迟。另外，可以由用户或其它方控制字幕，以可变速率淡入/淡出(fade in/fade out)。这是通过将衰减系数与以指定速率表示字幕的码型patern数据相乘实现的。该功能还能使字幕编辑人员根据音频/视频图象广播以不同感觉显现给观众。例如，新闻信息可快速“闪烁”以吸引观众注意力，而慢节奏音乐图象中的字幕则“舒缓地”显现，以便不损坏音乐图象的娱乐性。
对多种字幕解码设计图1的数据解码装置使其搜索视频图象中的景物或声音。为此，搜索期间，本发明对指示给观众的当前显示事件或发表的讲话的字幕解码。将要被解码并最终显示的字幕针对所指示的景物或搜索的声音而不同。例如，解码的字幕可以是当前事件的标题或讲话内容。本发明通过字幕类型和对与搜索事情(thing)类型相关的字幕解码之间的辨别来确定对哪种字幕解码。应该理解，不对与搜索事情无关的其它字幕解码和显示，实际上，正常重放期间不必显示用于搜索的字幕。
本发明通过把字幕分成多种数据流数据类型(例如视频、音频和字幕)来区别不同字幕，如参考字检测器20(图1)所描述的，视频数据存储在记录介质上，例如盘91，并因此作为数据流从其重放。从概念上讲，这些多类型数据的数据流如图4A、B所示，由VI、VP、VB表示视频流，由A表示音频流，由Sw、Sp表示字幕流。多类型的数据流分布在盘上，并由解码装置(图1)重新组合成用于电视显示的连续的信息流。
因此，该字幕也作为数据流重放，如图4A、B所示，并依据重放状态分别为正常和特技状态字幕而不同，如字幕Sp和Sw所示。与视频和音频数据流一样，字幕数据可分布在盘上，如图4A、B所示，并将字幕分成三条数据流(Sp、Sw)。通过按照图中从左到右的箭头方向使拾取器跳过中间的音频和视频流将三条数据流在正向重放状态重新组合成一个字幕(Sp、Sw)(在反向重放状态中按从右向左的箭头重新组合字幕)。
由于视频流V_I由与一系列MPEG(运动图象专家组)帧中的I帧对应的视频帧组成，该MPEG帧不根据相邻帧压缩，在特技状态重放期间，解码装置仅对视频流V_I解码。另一方面，V_P和V_B视频流对应于根据相邻帧压缩的预先编码的帧，在特技状态的快进/快退期间，需要比允许时间更长的时间周期解压缩。
可以理解，由于这些视频图象是例如冗余的或具有很小作用。某些视频图象没有对应的字幕数据。特技状态期间重放这些视频图象会使观众看到不感兴趣的图象。在本发明中，只有V_I流具有相邻字幕流数据Sw并被解码/显示，以使观众不必在不感兴趣的视频帧上一直等待。即按编码时所预定的，仅对具有足够活动性的那些帧分配字幕并解码显示，例如，将很少出现活动性的董事会议室会议景象忽视，直到感兴趣的事件出现才显示字幕，以提醒观众出现有意思的事件。然后，观众命令系统控制器离开特技状态并进入正常重放状态，于是不再显示指示该事件的特技状态字幕。
可搜索视频图象或可听讲话中的任何景物，为此，本发明辨别多种类型(例如视频、音频和字幕类型)的数据流(例如视频、音频或字幕数据)。例如，搜索景物时，系统控制器使字幕解码器仅对描述视频数据的字幕数据流解码。同样，查找声音时，系统控制器使字幕解码器仅对描述音频数据的字幕数据流解码。通过确定在盘上何处查找多种数据流的流和使产生所搜索的将要再现的相应种类数据流并送到解码器来使系统控制器工作。
在本发明第一实施例中，系统控制器通过从提供多种数据流的地址的盘开始提取目录表(TOC)以确定流位于盘上何处。图3A、B描绘了根据本发明的目录表。图3A所示目录表通过帧号码(子码帧#)和指向对应帧在盘上所在轨迹的指针(POINT)，以及与该帧对应的时间码(PMIN、PSEC、PFRAME)来识别帧。图3B的目录表根据多种流通过指示按类别(即视频、音频和字幕)排列所记录的数据流、帧、起始扇区地址和结束扇区地址来识别流数据。系统控制器可从该目录表中确定特定类型流数据中的所有流，并使驱动控制15(图1)跳过pickup到由目录表中start-sector-地址指示的扇区。
在本发明第二实施例中，将多种流的扇区地址集中在盘上称为流图(stream map)的区域。与目录表不同，流图不需要限定在盘的开始部分，而是可以按包设置在任何扇区。因此，流图是按视频、音频、字幕、空白显示、流包长度、标识符、和流图信息长度的包排列的，系统控制器以与目录表相同的方式参考流图，从而使pickup重放与将要被搜索数据流的类型对应的字幕，例如，将这些再现流送到字幕解码器。
在第三实施例中，当前重放字幕流之前和之后的流的扇区地址被存储在每个字幕流中。由于扇区地址在字幕流中，对扇区地址解码并且字幕解码器(图2)的字检测器20检测这些字幕流的扇区地址(字幕流扇区地址)并经系统控制器35将它们转送到系统控制器。例如，在正向重放状态对每个字幕解码时，系统控制器为下一个字幕检索下一个扇区地址并使拾取器跳到下一个地址指示的扇区以重放下一个字幕。同样，在反向重放状态中，系统控制器为前一个字幕检索前一个扇区地址并重放该字幕。具体地说，字检测器根据下列操作检测一个流中是否包括扇区地址比特号码 助记符号user_data_flag 1 uimsbfif(user_data_flag＝“1”)[length_of user data 16 bslbfnex_subtitle_address_offset 32 bslbfreserved 8 bslbfprevious_subtitle_address_offset 24 bslbfreserved 8 bslbf]系统控制器14(图1)作为比较器并执行上述操作，使字检测器确定use_data_flag数据标记是否设定为“1”，如果是，将其后的16比特作为length_of_user_data；后面的32比特作为next_subtitle_address_offset；再后面的8比特作为备用(reserved)；再后面的24比特作为previous_subtitle_address_offset；最后8比特作为备用(reserved)。字检测器将该信息经控制器35转送到系统控制器，并继续检测字幕流。系统控制器如上所述接收字幕流扇区地址并控制解码装置。
编码技术下面参考图7A、7B、7C和图8更详细地描述本发明中采用的编码技术。作为一个实施例，说明对图7A的字母“A”的编码技术。沿连续的水平线扫描字母“A”并沿每条水平线为字母“A”产生图7B的填充数据。应该指出，电平“EO”划定从图6所示彩色查找表再造彩色象素的最高电平的界线，而电平“0”表示没有字幕数据。
关键码据数(K)(或混合比)确定填充数据与背景视频的混合程度。关键码数据区域T1和T5对应于未与填充数据叠加的视频图象中的区域；因此，这些区域如由图8中地址0指示的被指定为电平0。区域T2和T4是字幕逐淅与背景视频图象混合的混合区域，以使字幕混合到背景视频图象并且与其形成强烈对比。该区域中的任何填充数据被存储在彩色查找表的地址1至6中。字母“A”的主要部分显示在背景信息被静噪的T3区域内。区域T3中的字幕信息按地址7至F(十六进制)存储。图8的彩色查找表按亮度分量Y的变化程度排列。例如，存储了区域T3中的一个象素，并且该特定象素亮度分量Y的电平为20(十六进制)时，从地址9(图8)获得该象素的色彩信息。以这种方式对字幕字符的剩余象素编码。
编码装置图9A、B描绘了本发明的编码装置。由话筒53和摄像机51分别接收音频和视频信息，并转送到多路复用器58。字幕数据经字符发生器55或飞点扫描器56进入并由字幕编码电路57编码。经编码的字幕信息送到多路复用器58并与音频/视频信息组合记录到记录盘91上或提供给传送、显示、记录或类似的通道。
摄像机51产生视频信号并将其提供给视频编码单元52，将该视频信号从模拟转换成数字形式。压缩数字化的视频信号以便于视频发送，并转送到速率控制器52a，该控制器控制传送压缩视频数据到多路复用器的速率以使其与字幕数据送到该多路复用器的速率同步。以这种方式使压缩的视频数据和字幕数据在正确时间组合。同样，由话筒53获得音频信息，并在其送到多路复用器前由音频编码单元对其编码。由于音频数据可最终记录在不同轨迹或经与视频数据不同的通道发送，该音频编码单元不必包括速率控制器。
由字符发生器55或飞点扫描器56产生字幕。字符发生器包括一个监视器和一个键盘允许操作者将字幕手动插入视频图象。操作者通过键盘打入字幕对字幕进行编辑。另一方面，飞点扫描器56用于字幕已经被提供在外部视频图象或作为文本被扫描的情况。飞点扫描器扫描视频图象，并确定字幕位置从中产生对应的字幕数据。由处理电路63对来自飞点扫描器的字幕进行预处理，以便在字幕编码电路进一步处理前与由字符发生器产生的字幕一致。
然后，选择来自字符发生器55或飞点扫描器56的字幕数据进行压缩。字符发生器输出消隐数据、字幕数据和关键码数据。字幕数据和关键码数据转送到按预定定时切换的开关61以便选择字幕或关键码数据。从开关61选择的数据由滤波器72滤波并提供给另一个开关62。开关62在消隐数据、来自字符发生器的滤波数据，和来自飞点扫描器的已处理数据之间切换。当其确定不出现字幕时，由开关62选择消隐数据。而当出现字幕时，开关62依据哪个设备用于产生字幕数据而在字符发生器数据和飞点扫描器数据之间选择。
将开关62选择的数据由量化电路64采用根据从字幕缓冲检验器68反馈的数据的量化电平量化。将被压缩的量化数据提供给开关69并(正常操作期间)转送到差分脉码调制(DPCM)电路65进行脉码调制。该调制数据由行程长度编码电路66进行行程长度编码，由可变长度编码电路67进行可变长度编码，并在送到多路复用器58之前转送到字幕缓冲检验器68进行最后处理。
字幕缓冲检验器68检验出缓冲器足以填充数据而没有溢出。这是通过将控制信号(图9A中称为滤波信号)反馈到量化电路完成的。控制信号改变量化电路的量化电平。从而改变特定字幕编码的数据量。通过增加量化电平减少字幕数据所需的数据量，并因此而减小流向字幕缓冲检验器的数据比特率。当字幕缓冲检验器确定存在数据下溢时，控制信号降低该量化电平并增加从量化电路输出的数据量、从而填充字幕缓冲检验器。
该字幕缓冲检验器还负责为发送(例如，通过电视无线电波)准备字幕数据。为此，字幕缓冲检验器插入所需信息以便对编码的字幕数据解码。该信息包括一个指示该字幕是否是以正常或特定(快进/退)状态(上文称为特技状态)记录的正常/特定重放信号。插入一个指示帧的字幕数据存储规模上限的上限值信号。还插入一个标记字幕数据帧页面结尾的EOP信号。插入一个在解码中作为时间标记PTS的时间码信号。插入字幕编码信息并包括用在对字幕数据编码中的信息，例如量化因数。插入位置信息，该位置数据作为解码时的position-data。插入一个指示字幕数据处在静态或动态状态的静态/动态信号。该字幕缓冲检验器还向解码器插入用于发送的彩色查找表地址，以使显示色彩与产生该字幕中采用的色彩匹配。
该字幕缓冲检验器最好是与解码器(图2)的代码缓冲器类似的代码缓冲器。为此，考虑字幕缓冲检验器的操作与代码缓冲器对称(即执行代码缓冲器的相反功能)是有效的。例如，字幕的彩色象素转换成数字表达式；由行程长度编码器和变长度编码器对所合成的数字字幕编码；加入标题信息；和将合成的字幕信息存储在缓冲器中并转送到多路复用器58与音频和视频数据多路复用。
多路复用器58最好采用时分(time-sliced)多路复用；并提供纠错处理(例如纠错编码)和调制处理(例如EFM，8至14调制)。多路复用的数据发送(经电视广播、记录，或其它传送装置)到解码装置解码和显示。
对多种字幕编码本发明允许观众搜索特定景物或可听的讲话通过在多种数据流与选择和搜索相关类型的数据流之间显示加以辨别。例如，通过显示描述该视频图象的字幕数据流查找视频图象。现在将讨论在已经参考图9A和B描述的编码器中编码多种数据流的方式。多路复用器58多路复用音频、视频和字幕数据流后，多路复用的数据被送到将该数据流排列成长度固定的扇区包的扇区化处理器100。此时，该数据流准备由无线电发送。然而，当该数据流记录到盘上时，目录表(TOC)&流图发生器101确定该数据流记录在盘上的地址。
根据第一实施例，TOC&流图发生器从由扇区化处理器产生的扇区和由例如观众发出的视频/音频搜索信息产生图3A、B所示的目录表。在第二实施例中，TOC&流图发生器从由扇区化处理器产生的扇区产生流图。与前一实施例不同，TOC&流图发生器将流图作为包插入到盘上。在前面两个实施例中，数据重放装置(或接收机)的系统控制图器14直接读取目录表或流图并使解码装置(图1)对与所搜索的数据类型相关的流解码。在第三实施例中，TOC&流图发生器将前一个和后一个地址的流地址插入到每个字幕流中。与前两个实施例不同，系统控制器必须使字幕解码器对该字幕流解码并从中提取扇区地址。如按照对多种流解码中所描述的。TOC&流图发生器以下列方式对每个流编码，1比特作为指示流地址是否即将出现在流中的user_data_flag；后面的16比特作为length_of_user_data；再后面的32比特作为next_subtitle_address_offest；再后面的8比特作为备用；再后面的24比特作为前一个字幕地址偏移；和最后8比特作为备用。
根据本发明，视频图象，音频轨迹，和字幕以帧为单元排列在盘上，系统控制器通过从该盘检索(recall)由这些帧组成的流存取信息。通过该方案，系统控制器可使解码器仅对与所搜索的特定景物或声音相关的那些字幕解码。因此，观众可通过读取字幕经视频图象浏览并仅看其感兴趣的那些部分。在这方面，可自由改变信息重放顺序和速度。例如，如果观众有听觉问题或学习音频轨迹上播讲的语言，在操作者的控制下，系统控制器减慢音频轨迹的重放速度以便观众理解重放的讲话。本发明的另一个应用涉及彩色抹除，即彩色抹除信息在帧之间频繁地改变。例如，想演唱卡拉OK片段的观众可通过观看字幕并在由彩色抹除重点被演唱的字幕部分时立刻停止搜索来搜索歌曲中的特定位置。
彩色抹除编码彩色抹除是指一个诸如字幕之类的图象逐渐覆盖在另一个图象上的处理。彩色抹除的一种典型应用是突出强调，即随时间推移从左至右动态地强调字幕的帧。本发明是通过字幕显示期间在不同时刻改变彩色查找表进行彩色抹除的。例如，以图8中的标准彩色查找表产生初始字幕帧。进行彩色抹除时，彩色查找表变成图11的彩色抹除查找表。随着每帧的推移，在彩色查找表从彩色抹除改变成标准彩色查找表的位置的渐变提供了字幕在一段时间从左至右动态变化色彩的感觉。
现在将参考图9A和10讨论彩色抹除的编码操作。对字幕编码的过程期间，操作者可要求彩色抹除前一已编码字幕。为此，向操作者提供有一个控制彩色抹除的抹除杆(wipe lever)81和一个实时观看彩色抹除的监视器84。抹除杆连到转接器82，以使抹除杆的模拟电压适合于数字操作的数字信号。转接器的数字输出反馈到转换开关83和抹除数据取样器70。转换开关将彩色查找表切换到由抹除杆的位置表示的值并产生用于在监视器上显示的字幕的彩色象素。因此，操作者可在彩色抹除出现时通过视觉检查其过程并调节抹除速度或色彩以达到满意。
抹除数据取样器和位置取样器70从转接器信号确定视频图象中何处的彩色查找表将被改变并将该信息输出到编码电路65、66和67(经开关69)，以便编码并发送到多路复用器58。图10A和10B描绘了抹除数据和位置取样器的操作方框图。比较器301将由转接器产生的当前象素信号与来自转接器的前一个象素信号比较。这是通过将当前象素值发送到比较器301的输入端A并同时将在寄存器300中锁定的前一个象素值提供给比较器301的输入端B实现的。在当前和前一个象素具有相同值时，该比较器向计数器302输出逻辑“真”值(在每个水平和垂直同步脉冲复位)，并由计数器响应该情况增加一个计数值。即，当象素增加时，比较器寄存一个真状态。直到从同一彩色查找表产生该点。因此，在彩色查阅找变化点处当前和前一个象素变为不相同(即其色彩改变)，并由比较器产生一个“假”“fasle”逻辑状态。因此，该计数值等于当前和前一个值之间的匹配数，与彩色查找表改变的位置相同。由寄存器303依据随后的垂直同步脉冲锁定该计数值并传送到编码电路(经开关69)发送。
彩色抹除解码现在参考图14A-C和15讨论彩色抹除解码。图14A示出彩色查阅表在点A从彩色抹除查找表(图11)切换到标准彩色查找表(图8)的位置。图14B描绘了字幕码型和以分离块表示时间标记(PTS(n)……PTS(n+t))排列的彩色抹除数据。第一表示时间标记PTS(n)对应于正常字幕数据，剩余表示时间标记PTS(n+1……n+t)对应于彩色抹除数据(WPA……WPZ)。图14C示出对应于表示时间标记的连续帧(n……n+t)。为执行彩色变换，每个连续彩色抹除帧(WPA……WPZ)设定切换彩色查找表的点(点A)比所显示的字幕更向前，从而按时间函数动态进行彩色抹除。
图15描绘了彩色抹除解码的操作方框图。垂直同步脉冲触发寄存器205，以便从显示缓冲器锁定当前字幕帧(图15示出被锁定的彩色抹除帧WP)。由该寄存器锁定的彩色抹除数据指示彩色查找表切换位置。象素计数器208在每个水平同步脉冲确定由彩色抹除数据指示的值并向彩色查找表26输出逻辑“真”标记。当标记为“真”时，彩色查找表采用彩色抹除表(图11)，以便对字幕象素的色彩解码。当象素计数器达到零时，到达彩色查找表的切换位置，并由象素计数器向彩色查找表26发出逻辑“假”标记。此时，该彩色查找表将彩色抹除彩色查找表(图11)切换向标准查找表(图8)，以标准彩色状态显示剩余的字幕帧。每个连续彩色抹除帧(WPA……WPZ)移动切换位置；因此，每个更新字幕帧超前(或落后)彩色抹除，从而执行动态彩色抹除。
图11的彩色抹除彩色查找表包括两组色彩(一组为地址0h至7h和第二组为地址8h至Fh)。因此，通过改变彩色查找表地址最高位比特(MSB)可简单地将彩色抹除色彩改变到第二组色彩。例如，第一组彩色抹除色彩的MSB为“0”，而第二组的MSB为“1”。改变地址7h的MSB为“1”将地址变换成Fh，就改变彩色抹除色彩。例如，可通过设定MSB等于象素计数器208的标记进行。
采用MSB在彩色组(set)之间变换具有减少编码所需比特数量的优点。由于MSB是已知的，对于每个象素采用4比特，仅三个低位比特需要编码。每个象素采用两比特，仅对字幕数据最低有效位比特编码。在每2象素4比特的格式中，仅采用MSB用于彩色控制，剩余的三比特可为象素信息备用。因此，通过使用MSB可降低比特编码的数量，并使编码和解码的所有处理时间最佳。
动态字幕定位通过采用参考与如上所述彩色抹除相同的技术，即作为时间函数，动态地重新定位字幕。如图16A-C和17所示。沿水平轴(图16A)测量位置数据，并在与显示时间标记(例如图16B的PTS(n)对应的相关帧期间将字幕数据传送到字幕解码器。
现在参考图17说明定位操作。位置数据是表示沿水平轴字幕帧的位置的值，是从显示缓冲器读取并由寄存器205锁定在每个垂直同步脉冲上。象素计数器20确定每个水平同步脉冲上的位置数据并将逻辑标记送到控制器35(图2)以指示仍未到达字幕帧的位置。当象素计数器达到零时，到达字幕帧的位置，并触发逻辑标记将这种情况指示给控制器。已经延迟缓冲器22(图2)读取操作的控制器使代码缓冲器读出该字幕数据到行程长度解码器24(图24)。然后如上所述对该字幕数据解码并显示对应的视频图象。以这种方式按每帧改变字幕帧的位置；从而提供字幕帧的动态移动。
可以理解，本发明可用于其它应用，例如电视或视频图形象。因此，应该理解，除这里的特别描述外在本申请权利要求的范围内可以其它方式实施本发明。
权利要求
1.一种计算机可读存储器，用于控制计算机搜索记录介质上记录在包括视频、音频和字幕类数据流的多种数据流中的一种数据流中表示视频广播中事件的数据，每一类的一序列数据流由组合在视频广播中的相应视频、音频和字幕信号构成，包括存储装置，用于存储指向所述多种数据流的地址，其中所述存储装置将所述地址存储在表示数据流存储的类型的组中；和字幕数据指向装置，用于控制所述计算机在搜索期间依次对位于指向所述搜索期间专门显示的数据流的字幕类型地址的所述数据流解码。
2.根据权利要求1的计算机可读存储器，其中，所述存储装置还包括，用于将所述地址按数据类型排列存储在一个表中的目录表装置。
3.根据权利要求1的计算机可读存储器，其中，所述存储装置还包括流图装置，用于按记录介质上的包中的数据流类型存储该地址。
4.根据权利要求1的计算机可读存储器，其中，所述存储装置还包括，用于搜索期间在专门显示的字幕的每个数据流中，存储字幕的数据流序列中后面数据流的下一个地址和前面数据流的前一个地址的装置。
全文摘要
公开了一种计算机可读存储器，用于控制计算机搜索记录介质上记录在包括视频、音频和字幕类数据流的多种数据流中的一种数据流中表示视频广播中事件的数据，每一类的一序列数据流由组合在视频广播中的相应视频、音频和字幕信号构成，包括存储装置，用于存储指向所述多种数据流的地址，其中所述存储装置将所述地址存储在表示数据流存储的类型的组中；和字幕数据指向装置，用于控制所述计算机在搜索期间依次对位于指向所述搜索期间专门显示的数据流的字幕类型地址的所述数据流解码。
文档编号H04N7/26GK1445774SQ03101509
公开日2003年10月1日 申请日期2003年1月10日 优先权日1995年7月18日
发明者塚越郁夫 申请人:索尼公司