专利名称：利用视频信号的动作效果提供系统及其方法
技术领域：
本发明涉及一种为向用户提供同步于音频/视频(以下简称AV)播放的物理振动或活动而制作的动作效果提供系统及其方法，尤其是指利用视频信号的动作效果提供系统及其方法，其效果在于在用户不能认知的情况下将用于指示特定动作的动作效果指示数据插入在视频数据中后，当播放相关视频数据时，提取出上述动作效果指示数据，按照指示来驱动1个以上的驱动部，从而能够使用户切身体会到身临其境的感觉。
背景技术：
电影自诞生之日起至今已经一个世纪了，期间有关影像和音响的技术得到了突飞猛进的发展。大到可提供超宽而清晰的画面和立体音响的超大型系统，小到可构成家庭影院的个人系统，随处可见各种各样的AV播放系统。
它说明空闲时间变多的现代人越来越希望看到更高水平的影像作品，对超宽而清晰的画面和更多频道的环绕立体音响的需求凸显人们喜欢更加真实的影像和音响的趋向。
因此，近来得到飞速发展的AV技术正致力于使观众能够通过视觉和听觉外的另一种感受获得真实感。即，利用可刺激人们触觉或平衡感觉的新设备来使AV观众能够切身体验实际影像动作的系统正在得到进一步的开发。
这种三维立体AV系统是指根据AV影像内的活动来提供特定动作效果的系统，目前一种体验冒险游戏(Resort Game)的游戏器具或虚拟现实系统的体验装置正在被普遍使用。但是，这种游戏体验器具或虚拟现象系统的体验装置需要专用播放设备和动作效果提供设备，该动作效果提供设备是在通过上述专用播放设备和特定通信频道获取同步信息后，为了通过专用驱动装置提供同步于播放中的AV的动作效果而制作的。因而，只有配备全部专用设备才能体验动作效果，个人难以达到。另外，只能通过专用AV数据才能感受这种效果，而通过标准影像格式的AV媒体或普通影像无法达到这种动作效果。
因此，一边播放普通AV媒体或影像，一边刺激人们的平衡感觉，能够提高真实感。因而，使系统体积最小化的个人或家庭单位的体感AV系统也得到了开发。
图1是原有最普通的动作效果提供系统构成方块图。如图所示，它具有能利用简单的音频信号向用户提供振动的构成，即指着眼于在低音使扬声器产生严重振动，把不出声但产生更大振动的无声振动扬声器35接触观众的皮肤或安装在观赏用椅子上，然后通过增幅部30对用于播放AV的音频信号进行过滤(Filtering)和增幅，来振动上述无声振动扬声器35的动作效果提供设备。将其附加给由普通AV播放部10、显示部和音响产生部20构成的AV播放环境，能够使观众在产生低音的部分感觉到物理振动。
虽然它能够通过比较便宜而简单的构成向观众提供刺激触觉的体验，但由于单纯反应在从音频信号产生的低音上，所以存在着如下的问题大多时候不能与画面上的动作相匹配，而且当安装在观赏用椅子上时，观众感受到的振动十分微弱，真实感极低。即，只不过使人单纯地对提供的稍微振动感到新奇，根本无法进行动作的控制等，因而不能给观众真实感。
图2是可提供比较逼真的真实感的个人或家庭单位的动作效果提供系统方块图。这种真正的三维立体AV系统包括以下两个组成部分由可进行1个以上个别控制的驱动部75a～75d和可正确控制它的驱动部控制与驱动信号生成部70构成的驱动设备；可向上述驱动设备提供同步于AV数据的特定动作效果的动作效果提供装置。该系统的特征在于附加给由普通AV播放部10、显示部和音响产生部20构成的AV播放环境，能够在播放普通AV媒体时提供富有真实感的动作效果。为此，普通AV媒体的播放时点和动作效果的同步至关重要，这就需要在利用音频信号方面给予高度重视。
从图示的结构看，它是通过普通播放设备-AV播放部40使普通AV盘(DVD、BD等)41播放的，而且体现了典型的播放环境，那就是用由电视、放映机(projector)等显示部及音频系统等的音响产生部构成的显示部及音响产生部进行收听收看。但是，这里所使用的上述AV播放部40必须能够根据特定的数字格式输出数据包化的音频信号，其理由如下这里的动作效果提供装置60可根据播放的AV进行状态将适合的动作效果提供给上述驱动设备，从该动作效果提供装置的构成来看，它包括以下几个组成部分把从上述典型的播放环境中获得的音频信号解码(decoding)成数字数据数据包的音频解码器45；对要播放的一般AV盘41进行事先分析，将需要特定动作效果部分的音频信号与指示特定动作效果的数据一起存储起来的同步数据库63；把从上述音频解码器45接收的数据包音频数据与上述同步数据库63内存储的音频信号进行比较，判断是否有相关信息的同步分析部61；存储有事先制作的动作效果数据的动作效果数据库64；从上述同步数据库中接收由上述同步分析部61判断为与播放中的部分一致的同步用音频信号所对应的动作效果指示数据，在从上述动作效果数据库64中获取指示的动作效果数据后，以此为基础将用于控制驱动设备的动作效果信号提供给驱动设备的动作效果生成部62。
在这里，上述同步数据库63的数据是指事先提取的要播放的一般AV媒体的音频数据中所要位置的音频数据，以及对必须在播放相关音频数据的时点进行实施的动作效果进行定义的动作效果指示数据。它意味着如果替代要播放的AV媒体即一般AV盘41的话，已存储的同步数据库63将毫无用武之地。
因此，为适合普通AV盘41，开发公司对需要动作效果的时点的音频部分进行取样，另行生产销售已生成相应动作效果指示数据的同步数据库用专用盘(大部分指数字数据CD盘)42。为此，还可向上述动作效果提供装置60附加用于播放上述专用盘42的媒体播放部65，或者也可通过个人电脑提供该信息，进而附加为此的通信设备。因此，上述同步数据库63用可更新内容的硬盘来完成。如果上述硬盘有空余空间的话，可通过动作效果数据库64内所存储的动作效果数据也就是特定文件的集合来构成，将其存储在一定区域。
即，为利用音频信号使播放的一般AV媒体的进行过程和动作效果同步化，需要对要播放的AV媒体的音频信号进行事先分析取样的资料及相应的动作效果指示数据，所以每当购买新AV媒体时都要按专用盘状态或信息数据状态，求购为此制作的同步数据库用数据。而且，每当更换AV媒体时都要掌握同步数据库中是否存在相关的数据，如果没有就必须更新内容。
另外，由于利用的是音频信号，所以如果AV内容中类似的音频信号被使用的部分存在的话，则会产生判读错误，而且当用户变化AV播放位置时，为进行相应于变化的新AV进行位置的同步化，还需要数秒钟的检索时间，从而为查找所要的场面会在前进或后退一点时产生很多操作迟延问题。
而且，这里所使用的音频信号是符合特定格式的数字音频信号，其限制在于必须通过解码器区分成数据包单位。如果说将一般的模拟音频信号用作同步数据的话，必须比较非静态时点的规定期间里的音频数据，因而造成对从哪里到哪里进行比较模糊不清，且需要较长的比较时间，从而难以进行快速检索，产生实际应用困难的问题。
即便说获得被区分成数据包的音频信号，并将其与同步数据库的音频数据进行比较，但还是应该尽可能地减少处理时间，所以上述同步分析部必须由高性能信号处理器构成。由于利用的是硬盘，所以为实施数据的输入/输出控制，不仅还需要额外的控制部，而且当附加媒体播放部时，还必须进行控制它将数据移到硬盘上的工作，这样会产生上述控制部的负担加重的问题。
即，原有动作效果提供系统是按家庭或少数人员能感受到虚拟真实感而进行设计的，但在其设计理念上是用同步设备来利用数字音频信号的，因而这方面的处理工作十分复杂，系统实现费用极高。而且如上所述，如果新的AV盘面世，则必须额外购买晚些时候才能提供的专用盘或数据，从而会产生需要不断追加费用的问题。
发明内容
本发明正是为解决上述问题而提出的，其目的在于提供利用视频信号的动作效果提供系统及其方法。即，在用户不能认知的情况下将动作效果指示数据隐藏在一般视频信号中，当播放它时，将隐藏在上述视频信号中的动作效果指示数据提取出来，利用已设定的动作效果中被上述动作效果指示数据指示的动作效果，来对用于控制1个以上驱动部的驱动部控制与驱动信号生成设备进行控制，从而无需额外的同步化程序就能够向用户提供物理刺激的动作效果提供系统及其方法。
为了实现上述目的，本发明的利用视频信号的动作效果提供系统，包括以下几个组成部分动作效果信息插入在视频信号中的音频/视频媒体；播放上述音频/视频媒体的音频/视频播放部；获取上述媒体播放部的视频信号，提取出所插入的动作效果信息，在此基础上输出控制信号控制提供与视频信号同步的动作效果的动作效果提供装置；根据上述动作效果提供装置的控制信号来向用户提供物理刺激的驱区动设备。
上述动作效果提供装置包括以下几个组成部分对上述媒体播放部的视频信号进行分析，提取出动作效果信息的动作效果数据提取部；存储有特定动作效果数据的动作效果数据库；利用上述动作效果数据提取部所获取的动作效果信息，从上述动作效果数据库中获取适合的动作效果数据，在此基础上生成控制信号控制上述驱动设备的动作效果生成部。
另外，本发明利用视频信号的动作效果提供系统还包括以下几个组成部分可播放和记录音频/视频的媒体；可播放和记录音频/视频的媒体播放和记录设备；可确认播放上述媒体时产生的视频影像的显示设备；按照用户的操作将所要的动作效果信息插入在上述显示设备所显示位置的视频影像中后，通过控制上述媒体播放和记录设备，将插入有上述动作效果信息的视频影像数据存储在上述媒体上的动作效果编辑器。
而且，本发明利用视频信号的动作效果提供方法包括以下几个步骤生成已插入动作效果信息的视频数据，并将其存储在规定媒体上的步骤；用一般播放设备播放上述媒体，并输出与标准互换的视频信号的步骤；获得上述视频信号，提取出动作效果信息，然后生成相关动作效果信息的驱动部控制信号的步骤；用上述生成的驱动部控制信号来控制驱动部的步骤。
本发明的效果综上所述，本发明利用视频信号的动作效果提供系统及其方法具有如下效果将动作效果信息插入在视频信号中，当播放它时，提取上述视频信号中所插入的动作效果信息，以已经设定的动作效果中指示上述动作效果信息的动作效果为基础来控制一个以上的驱动设备，从而无需额外的同步化程序或复杂的比较程序就可轻而易举地提取出视频信号中所包含的动作效果，向用户提供毫无迟延的物理刺激，并且硬件构成简单，费用低廉，可提供高水平的虚拟真实感。
为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。
图1是单纯利用音频信号的原有动作效果提供系统的简单方块图；图2是将音频信号用作同步信号的原有动作效果提供系统的简单方块图；图3是本发明第1实施例概念图；图4是本发明第1实施例方块图；图5是本发明第1实施例的动作效果目录和变形例；图6是本发明第1实施例的动作效果指示数据格式(format)；
图7是本发明包含有动作效果指示数据的视频信号的第1实施例；图8是普通模拟视频信号构成示意图；图9是本发明包含有动作效果指示数据的视频信号的其他实施例；图10是本发明包含有动作效果指示数据的视频信号的又一实施例；图11是用于从图8或图9的视频信号中提取动作效果指示数据的构成方块图；图12是本发明用于生成包含有动作效果指示数据的音频/视频数据的个人电脑应用程序(application)例；图13是本发明第1实施例的动作效果提供系统的驱动程序顺序图。
附图中主要部分的符号说明100三维立体AV盘 200AV(音频/视频)播放部300显示部和音响产生部400动作效果提供装置410动作效果数据提取部411同步提取器(extractor)412计算器(counter) 413ADC和数据提取器420动作效果数据库430动作效果生成部500驱动部控制与驱动信号生成部550a-d驱动部600动作效果指示数据 700动作效果编辑器(editor)710视频流显示区域720动作效果编辑区域730动作效果选择区域具体实施方式
下面参照附图对如上所述的本发明的利用视频信号的动作效果提供系统及其方法的实施例进行详细说明。
图3是本发明第1实施例的系统构成例概念图。如图所示，该系统包括以下几个组成部分按照与一般AV媒体相同的格式，视频数据内包含动作效果信息的三维立体AV盘100；由可播放包括上述三维立体AV盘100在内的标准AV盘的一般AV播放部200、一般显示部和音响产生部300构成的基本AV观赏装置；从上述一般AV播放部200的输出视频信号中提取出动作效果信息，在此基础上输出用于完成动作效果的驱动控制信号的动作效果提供装置400；利用从上述动作效果提供装置400中提供的驱动控制信号，向用户提供物理刺激的数个驱动部550a-d；恰当驱动上述数个驱动部的驱动部控制与驱动信号生成部500。
在这里，可向用户提供物理刺激的驱动设备(包括驱动部控制与驱动信号生成部500、驱动部550a-d)适用于用户在观赏席上收听收看AV，可三维移动上述观赏席，从而提高真实感。为此，上述驱动设备(500、550a-d)可安装在观赏席和观赏席支撑部(腿)上，虽然图3以与观赏席分离的状态显示了动作效果提供装置400，但也可安装在上述动作效果提供装置400也就是上述观赏席内部。
通过上述构成，用户可以一边收听收看播放三维立体AV盘100时的视频影像和音响，一边在提供与视频影像活动同步的三维动作效果的观赏席上感受生动逼真的虚拟真实感。
图4是图3所示的动作效果提供系统结构详细方块图。如图所示，为向用户提供三维立体AV环境，上述动作效果提供装置400负责向由驱动部控制与驱动信号生成部500及数个驱动部550a-d构成的驱动设备提供驱动控制信号，从上述动作效果提供装置的结构上看，它包括以下几个组成部分对一般AV播放部200的输出视频信号进行分析，检查有无在用户不能认知的情况下插入在相关视频信号中的动作效果信息(即用于指示动作效果的数据)，提取出相关数据的动作效果数据提取部410；为生成三维立体AV视频信号，存储着已被标准定义的数个动作效果数据的动作效果数据库420；以从上述动作效果数据提取部410中提取的动作效果指示数据为基础，从上述动作效果数据库420中获取指示的动作效果数据，输出已变化的驱动设备控制信号的动作效果生成部430。
在这里，上述动作效果数据库420是存储有标准化动作效果数据的部分，因此基本上可以利用非挥发性存储器。当面对追加或改变(Version up版本升级)标准化的动作效果时，也可利用可记录的非挥性存储器(例如闪存等)。这种单纯用于获取数据的存储器即使利用低端(low-end)控制器，也能快速获取数据，所以可减轻上述动作效果数据提取部410或动作效果生成部430中的一个或全部可包含的控制设备的负担。
上述动作效果数据提取部410接收以一般视频信号(NTSC/PAL，SVHS)或者数字视频信号(VGA，SVGA，XGA等)形式提供的AV播放部200的视频输出，在用户不能认知的情况下提取出隐藏的动作效果指示数据。这一部分随着将动作效果指示数据插入在一般视频信号中的各种实施例不同会有很大变化。即，当使用需要复杂演算的方法时，可使用包含数字信号处理器在内的构成，当使用比较简单的方法时，仅用单纯的微型控制器就可进行所有的工作。
而且，动作效果生成部430可容纳在上述动作效果数据提取部410所包含的控制器内。在这里，可从上述动作效果数据库420中获取按规定号码罗列的动作效果数据中的一个，对其进行适当改变。图4显示了这个例子。
图5是从动作效果数据库420的构成及上述动作效果生成部430中获取其中一个动作效果数据并对其进行适当变化的例子。
如图5中的(a)所示，上述各个动作效果数据由显示规定波形的数字数据构成，简单地说也可看作单纯的波形文件(.WAV)。即指由适当的取样频率构成的连续变位值的集合，其长度及取样频率可按照设计者的意图及驱动部的操作性能而定。
图5中的(b)至图5中的(e)是将其中的一个(例编号为3的数据)动作效果的波形文件变化成简单的变位值的示意图。它适当地标示出了调节长度的时间比率值和调节振幅的大小比率值，从结果上看所显示的动作效果存在较大的差异，这意味着能够向用户提供更加细腻而多样的物理刺激。
图6是上述本发明构成所核心使用的动作效果指示数据概略构成形态示意图，值得注意的是它可按照设计者的意图或标准化政策用极其多样的格式来决定。
图6中的(a)是适合图4所示的本发明结构的简单形态的动作效果指示数据格式600。它包括以下几个组成部分显示是动作效果指示数据的索引字段(IndexField)610；显示所要的标准动作效果数据种类和驱动设备种类的字段(动作效果编号)620；有关调节上述标准动作效果数据的值的字段(时间/大小)630；有关用于补正误差的奇偶(parity)值或误差补正代码(ECC)的字段(误差补正)640。此外也可列入用于细微调节的有关延迟时间或渐显(fade in)、渐弱(fade out)等的指示值，同时也可删掉其中不需要的数据。另外，当利用数个驱动设备时，一个动作效果指示数据格式内也可罗列用于各自驱动设备的指示值，为了交叉的动作，一个动作效果指示数据格式内也可只记录用于一个驱动设备的数据。
图6中的(b)是动作效果指示数据内部未指定标准动作效果数据而是用动作效果数据字段625来表示用于直接动作效果的波形数据本身的示意图。如果使用这种动作效果指示数据，则会减少数据库用于存储标准动作效果数据的必要性，但为了进行更加有效的驱动，最好仅在特殊的情况(用于附加标准动作效果里所没有的由用户定义的效果的情况)下用作有选择支持的格式。
因此，通过已经说明的动作效果提供装置400来获取并解析上述动作效果指示数据600，并以此控制驱动设备是本发明的基本驱动原理之一。
在这里，有一点值得关注通过上述实施例的构成可知，指示着动作效果种类和提供方法(包括提供标准动作效果的时间或其强度等的变化)的动作效果指示数据被插入在视频信号中，由此要播放的AV媒体(例如图示的三维立体AV盘100)内必须能够存储插入有这种动作效果指示数据的视频数据，而且必须能够通过一般AV播放部200正常播放它。
即，在本发明中，不管三维立体AV盘100的种类是一般CD(VCD)、DVD、还是BD都无关紧要，通过规定的一般AV播放部200播放的视频信号内必须插入并提供动作效果指示数据，并且必须使用户不能对它有所察觉，能够与本发明动作效果提供装置毫无相关地进行正常播放。
换句话说，本发明可通过能继续容纳目前一直使用的AV播放部200的普通系统进行操作，它可提供的最大优点在于能够包括由高价的AV播放部200、显示部和音响产生部300构成家庭影院的用户。
为此，本发明提出了为使用户不能认知在标准视频规格内包含动作效果指示数据的许多方法。
图7是本发明第1实施例的三维立体AV媒体生成方法，是在用户不能认知的情况下将动作效果指示数据插入在普通影像数据中的一种方法说明概念图。
如图7中的(a)、(b)所示，它采用的方法是在向提供有影像数据的许多画面图像(image)中的一个图像内插入水印(watermark)后，用插入水印的图像代替原本影像数据图像。虽然存在着生成水印的各种运算法则(algorithm)，但基本情况是利用大部分特定键盘(秘密键)值，按隐藏信息(hidden data)插入有关著作权信息，生成带有水印的图像，再利用上述特定的键盘值，可从有水印的图像中获取上述隐藏的信息。由于隐藏在这种带有水印的图像中的特定信息不会被观察者认知，所以如图7所示，当向瞬间经过的一个画面帧内插入带有水印的图像时用户不会察觉到。
但是，动作效果提供装置400的动作效果数据提取部410必须确认瞬间经过的图像是否是带有水印的图像。上述动作效果数据提取部410一边将输出的视频信号转换成个别数字画面图像，一边检测并提取视频信号中插入的带有水印的动作效果指示数据，为此，它包含水印解码器。此外，上述动作效果数据提取部410在内部将模拟图像(NTSC/PAL，SVHS)等转换成数字数据，获取一个数字图像信息，然后利用特定键盘(秘密键)值，判断有关图像是否带有水印，或者可需要数字信号处理器在短时间内提取出隐藏的数据(即动作效果指示数据)。由于一般的视频信号包含有采用扫描线(scan line)方式的图像信号和垂直同步信号，所以在完全获取一个图像数据后，直到获取下一个图像前有一些空余时间。而且，由于不从带有水印的图像中提取隐藏的数据，而是额外存在着可单纯检测出带水印与否的运算法则，所以当利用它时，能够毫无拖延地检测出动作效果指示数据是否已插入在瞬间进行的帧图像中。
如果所提供的视频信号是数字视频信号，则没有必要将上述该图像转换成数字数据，因而可原样利用接收的数字影像数据。另外，通过比较简单的元件就可对模拟视频信号和数字视频信号进行相互转换，所以所提供的视频信号种类不会对本发明构成限制。
如果按上述说明的方式监测视频信号继而检测出带有水印的图像的话，那么可以从带有水印的图像中获取动作效果指示数据，以此按相应的动作效果来驱动驱动部。
图8是为说明本发明提出的另一动作效果指示数据插入方法而提出的一般模拟视频信号的构成示意图，这里图示了NTSC方式的视频信号。但是，PAL方式也仅是扫描线图形不同，而大部分类似。SVHS方式的视频信号也只是通过分离同步信号和颜色信号来提高画质的，很容易将其转换成NTSC/PAL信号，因而下面仅对图示的NTSC方式的视频信号进行说明。
图8中的(a)是画面上所显示的水平扫描线的实际信号模样示意图，图示的一个周期信号(Hdata)具有一个水平线图像信息(Idata)。这种一个周期信号(Hdata)也有一部分附加着用于水平线同步化的水平同步信号(Hsyn)和相关水平线的彩色信号等。此外，虽然未图示，但也存在着前沿(front porch)和后沿(back porch)部分。在这里，显示在实际画面上的一条线的图像是指水平线图像信息(Idata)部分，通常具有约52μs的长度。在这段时间内，用连续的模拟值表示对一条线的像素(pixel)数据。这种信号如果除与色同步(color burst)信号的相互关系外，将单指亮度(brightness)值。因此，如果将52μs的时间看作画面横轴坐标指定的范围，将决定规定时间所对应的坐标位置。如果将与属于52μs的任意一时点相关的模拟值强制变换成与红色值相关的电压，或者变换成与白色值相关的电压的话，画面上将出现相关亮度的点，通过它可以将特定的水平(level)数据显示在实际显示画面上，进一步发展这种技术(technique)就是屏幕显示(OSD)。
因此，可按恰当的时间长度利用数字-模拟变换设备插入所要的数据而非所要的水平线的图像，这样就可将动作效果指示数据变换成模拟信号进行插入。从对此进行判读的情况看，在通过水平同步信号(Hsyn)的图形(figure)对特定水平线信号进行判断后，如果说在判读时点以相关水平同步信号(Hsyn)为基准，按所希望的取样时间间隔对所要的数据进行取样的话，那么从一个周期的水平线信号(Hdata)读取所包含的信号值，用模拟-数字变换设备对其进行变换，就可获取所插入的动作效果指示数据。
图8中的(b)是在用一对奇数帧和偶数帧制作一个画面的视频数据中奇数/偶数帧中一个帧的信号构成示意图。如图所示，用于垂直同步的一定长度的垂直同步信号(Vsyn)和用于构成一个帧画面(Fdata)的水平信号(Hdata)从画面上端朝下端方向罗列着，各水平信号(Hdata)的构成如图7。这里值得关注的部分是一个帧数据(Fdata)不全部显示在画面上。即，在一个帧数据(Fdata)中，虽然画面上端的一部分水平线数据(Inr1)和画面下端的一部分水平线数据(Inr2)包含在视频信号内，但并不显示在实际画面上。目前，空中波广播这一部分含有时间信息，且一部分字幕(caption)视频含有字幕数据。
因此，如上所述，当采用将数据插入画面图像区域中的一部分区域的方法来插入动作效果指示数据时可知，或者可将相关数据插入在实际画面上所显示区域的水平图像信号中，或者可将相关数据插入在实际画面上所不显示区域的水平图像信号中。尤其是，由于数十字节(bite)以上的数据可插入在一条水平线信号中，所以数十至数百字节的动作效果指示数据可插入在一两条左右的水平信号中。
图9是指本发明其他实施例的三维立体AV媒体生成方法，为了在用户不能认知的情况下将动作效果指示数据插入在普通影像数据中，下面利用上述图8所说明的方法之一。
即，图9所示的方法是指由于许多帧(1F1-1Fn)构成一个场面的视频信号，所以在构成它的一个帧的图像中将动作效果指示数据插入在画面的一部分区域，尤其是用户难以认识的画面界限部分。籍此能够仅在用户几乎无法认知的时间里将动作效果指示数据插入在显示画面的一部分水平信号中。尤其是，瞬间提供的动作效果指示数据插入部分是毫无任何意义的单纯噪音(noise)，由于在用户视线不集中的部分瞬间出现，所以不会引起用户的觉察。
图10是指与上述图9类似的方法，但该方法可适用于一边由一般AV播放部播放AV媒体，一边以媒体的视频数据为基础生成并输出包含画面未显示区域信号在内的视频信号的情况。
即，如图所示，该方法是指将动作效果指示数据插入在用于显示一个画面的奇数/偶数字段的构成上位于实际视频显示区域上下部(垂直同步区域)的未显示区域中的方法，它能够插入所要的数据而不会使画质降低，并且能够对已从空中波或其他标准中脱离出使用区域的空余区域加以利用，必要时也可不顾这种现存标准进行插入，这是因为当利用特定欣赏用媒体时与空中波或其他标准发生冲突的可能性小。
图11是用于提取上述图9或图10所示的动作效果指示数据的动作效果数据提取部简单构成例示意图。从图可知，仅用图示的比较简单且低廉的硬件就可从视频信号中提取出动作效果指示数据。
首先，同步提取器411对一般AV播放部输出的视频信号进行分析，提供垂直同步信号和水平同步信号以及区分奇数/偶数字段的信号。为了能够用作多种目的，可以利用最常用的普通视频同步提取器。
如果利用计算器412来计算上述被提取的同步信号，可知道所要位置的水平同步信号的开始时点。因此，ADC和数据提取部413可知位置或特定位置范围。
上述ADC和数据提取部413按照上述计算器412的信号来分析视频信号，将模拟亮度信号转换成数字数据，然后利用这一转换的数字数据来检测显示是动作效果指示数据的索引信息，如果检测出索引，则可按已设定的格式提取所有后续的动作效果指示数据。因此，上述ADC和数据提取部413也可以是简单的具有ADC功能的普通微型控制器，也可包含上述计算器412的功能。
图12是本发明第1实施例用于生成三维立体AV媒体的个人电脑用动作效果编辑器700示意图。图示的用户接口是用于基本编辑的，即可进一步细分又可附加许多功能。虽然编辑的概念也可多种多样，但这里是指可单纯通过画面帧按一定时间单位来编辑动作效果的。
上述动作效果编辑器700是一般用户或出售AV媒体的企业为把特定影像制作成支持三维立体AV媒体而使用的。如果放映特定影像，影像将按各帧显示在视频流显示区域710，用户通过调节它来决定所要的动作效果指示数据的插入位置。
为了能够以这一被决定的动作效果指示数据的插入帧位置为基准来编辑规定时间内的效果，选择下端罗列的动作效果，添加在用于提供各驱动设备(这里是指4个个别驱动设备)编辑区域的动作效果编辑区域720上，然后通过调节大小和长度就可编辑动作效果。
向上述下端动作效果选择区域730提供的动作效果通过视觉可以看见标准动作效果数据。
如果利用上述设备决定所要的插入位置和所要的动作效果及动作效果变化值的话，则利用前面所述的方法中的一个在用户不能认知的情况下将其插入在上述帧影像中。
在全部结束这种过程后，将具有上述变化的帧影像存储成适应特定媒体(例如VCD、DVD、BD等)形式的专用视频数据，然后将其记录在相关媒体上。另外，也可将这种编辑的内容提取成动作效果指示数据和插入位置信息，通过额外的文件进行管理。这种生成的媒体支持三维立体AV，同时通过一般AV播放部也可毫无异常地进行播放。
不仅AV影像媒体销售者而且具有可记录特定媒体设备(CD记录器、DVD记录器、BD记录器)的个人都可生成上述三维立体AV媒体，并且提取成额外文件的动作效果指示数据和插入位置信息也可通过许多路径共享。
图13是当播放通过上述过程生成的三维立体AV媒体时向一般播放环境附加的动作效果提供装置及驱动设备的动作过程顺序图。
S1-S3，如图所示，首先，如果通过一般AV播放部播放三维立体AV媒体的话，则输出可用一般显示部欣赏的视频信号，然后动作效果提供装置获取它，在内部动作效果数据提取部对视频信号进行分析。
S4-S8，对视频信号的分析是仅优先判断动作效果指示数据插入与否，如果判断出动作效果指示数据插入与否，则对接在其标准的索引信息后的动作效果指示数据进行提取和分析，制作成可以加以利用的数据。依靠相关数据中用于指示标准动作效果的内容，对上述动作效果提供装置所具有的动作效果数据库进行检索，获取所要的标准动作效果数据。如果数据库中不存在指定的动作效果数据时，则完全不顾相关动作效果指示数据。
上述过程反复进行直到相关的三维立体AV媒体播放结束，通过分析视频信号来确认是否是有效的视频信号(各种同步信号)就可知道结束与否。
如上所述的本发明在用户不能认知的情况下将指示动作效果的数据插入在提供动作效果的AV影像自身中，从而无需额外的同步化过程，并且只用比较简单的硬件就可获取插入在影像中的动作效果指示数据，向用户提供毫无迟延的物理刺激。另外，没有必要为体验本发明所提供的虚拟真实感而更换已经使用中的AV播放系统，对AV播放系统的种类也没有过多要求，因而其适用范围非常宽，可确保广泛的用户层。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。
权利要求
1.一种利用视频信号的动作效果提供系统，其特征在于包括以下几个组成部分播放音频/视频媒体的音频/视频播放部；获取上述音频/视频播放部的视频信号，提取出被插入的动作效果信息，在此基础上输出用于提供与视频信号同步的动作效果的控制信号的动作效果提供装置；依靠上述动作效果提供装置的控制信号来向用户提供物理刺激的驱动设备。
2.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于所述向用户提供物理刺激的驱动设备包括为三维移动观赏用座席而配置的数个驱动部及控制驱动部的驱动部控制与驱动信号生成部。
3.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于还包括对上述音频/视频播放部的视频信号进行分析，提取出动作效果信息的动作效果数据提取部；存储有特定动作效果数据的动作效果数据库；利用上述动作效果数据提取部获取的动作效果信息，从上述动作效果数据库中获取适合的动作效果数据，然后以此为基础生成用于控制上述驱动设备的控制信号的动作效果生成部。
4.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于上述视频信号中所插入的动作效果信息包括以下几个组成部分显示是动作效果信息的字段；显示所要的动作效果数据种类及驱动设备种类的字段；用于变化上述动作效果数据的值的字段。
5.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于向上述动作效果提供装置提供的音频/视频播放部的输出视频信号是指模拟视频信号。
6.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于向上述动作效果提供装置提供的音频/视频播放部的输出视频信号是指数字视频信号。
7.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于上述音频/视频媒体存储有将需要动作效果的部分的影像替换成采用水印技术插入动作效果信息的影像的视频数据。
8.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于上述动作效果数据提取部一边将输出的视频信号转换成个别数字画面图像，一边检测并提取视频信号中插入的带有水印的动作效果指示数据，为此上述动作效果数据提取部包含水印解码器。
9.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于上述音频/视频媒体存储有在需要动作效果的时点向显示的画面中用户集中度低的一部分区域插入动作效果信息而非影像信息的标准规格视频数据。
10.如权利要求9所述的利用视频信号的动作效果提供系统，其特征在于上述用户集中度低的一部分区域是指以画面的中心区域为基准的影像上下左右外部界限区域。
11.如权利要求1所述的利用视频信号的动作效果提供系统，其特征在于上述音频/视频媒体存储有将动作效果信息插入到在需要动作效果的时点虽然在要显示的视频数据中进行传送但并不显示在显示部上的区域中的标准规格视频数据。
12.如权利要求11所述的利用视频信号的动作效果提供系统，其特征在于上述虽然进行传送但并不显示在显示部上的区域包括以下两个区域一个画面帧信号中从垂直同步信号区域后至实际画面显示开始时的非显示水平信号区域；实际画面显示结束后至下个垂直同步信号开始时的非显示水平信号区域。
13.如权利要求9或10或11或12所述的利用视频信号的动作效果提供系统，其特征在于上述动作效果数据提取部包括以下几个组成部分将显示在显示部上的视频数据的垂直和水平同步信号提取成数个彩色信号的同步提取器；计算上述被提取的同步信号的计算器；通过上述计算器的输出来判断所要画面的垂直位置，接收从所要位置输入的视频数据的模拟信号，在将其转换成数字信号后，以该数字信号为基础提取出动作效果信息的动作效果数据提取部。
14.一种利用视频信号的动作效果提供系统，其特征在于包括以下几个组成部分可播放和记录音频/视频的媒体；能播放可播放和记录音频/视频的媒体，或者能将规定数据记录在相关媒体上的媒体播放和记录设备；可确认上述媒体播放时的视频影像的显示设备；在按照用户的操作将所要的动作效果信息插入在上述显示设备所显示的位置的视频影像中后，控制上述媒体播放和记录设备，将插入有上述动作效果信息的视频影像数据存储在上述媒体上的动作效果编辑器。
15.如权利要求14所述的利用视频信号的动作效果提供系统，其特征在于上述动作效果编辑器是指具有设备来一边控制上述媒体播放/记录设备及显示设备，一边将动作效果信息插入在影像信息中的个人电脑或影像编辑装置。
16.如权利要求14所述的利用视频信号的动作效果提供系统，其特征在于上述动作效果编辑器在完成将动作效果信息插入在视频影像中的反复过程后，将插入有动作效果信息的视频影像数据存储在上述媒体上。
17.如权利要求14所述的利用视频信号的动作效果提供系统，其特征在于上述动作效果编辑器每当动作效果信息插入在已记录在媒体上的视频影像中时，都要将所记录的视频影像数据更新成插入有动作效果信息的视频影像数据。
18.如权利要求14所述的利用视频信号的动作效果提供系统，其特征在于上述动作效果编辑器将动作效果信息和要插入上述动作效果信息的视频信号的位置信息存储成额外的编辑文件，然后读取规定的编辑文件，如果相关文件适用于相应的原本视频信号，则插入动作效果信息。
19.如权利要求14所述的利用视频信号的动作效果提供系统，其特征在于上述媒体是指CD、DVD或BD。
20.一种利用视频信号的动作效果提供方法，其特征在于包括以下几个步骤生成已插入有动作效果信息的视频数据，并将其存储在规定媒体上的步骤；用一般播放设备播放上述媒体，输出与标准互换的视频信号的步骤；在获取上述视频信号，提取出动作效果信息后，生成相关动作效果信息相应的驱动部控制信号的步骤；用上述生成的驱动部控制信号来控制驱动部的步骤。
21.如权利要求20所述的利用视频信号的动作效果提供方法，其特征在于生成已插入有上述动作效果信息的视频数据的步骤包括以下几个步骤对一般视频数据的个别帧影像中需要动作效果的时点的影像进行检测的步骤；以上述影像为基准，生成用于指示规定时间里操作的动作效果种类、要实施相关动作的驱动部种类和动作效果变化的动作效果信息的步骤；将上述生成的动作效果信息插入在上述基准影像一部分中的步骤；反复进行上述步骤，如果所要的全部视频的动作效果信息插入完成，则将相关数据生成为用户所要的视频格式的步骤。
22.如权利要求20所述的利用视频信号的动作效果提供方法，其特征在于将上述生成的动作效果信息插入在上述基准影像一部分中的步骤包含或者采用水印技术将动作效果信息插入在上述基准影像图像中，或者将动作效果信息而非图像信息插入在上述基准影像图像的一部分画面显示区域中，或者将动作效果信息插入在要最终变化上述基准影像信号时未显示在显示画面上的信号区域内的步骤中的至少一个。
全文摘要
一种利用视频信号的动作效果提供系统及其方法，是向用户提供同步于音频/视频播放的物理振动的动作效果提供系统及其方法。本发明包括播放音频/视频媒体的音频/视频播放部；获取音频/视频播放部的视频信号，提取出被插入的动作效果信息，提供与视频信号同步的动作效果控制信号的动作效果提供装置；依靠动作效果提供装置的控制信号向用户提供物理刺激的驱动设备。本发明将动作效果信息插入在视频信号中，播放时，提取该动作效果信息，并控制驱动设备，产生动作效果，无需额外的同步化程序或比较程序，能轻而易举地提取出视频信号内所包含的动作效果信息，向用户提供毫无迟延的物理刺激，硬件构成简单，造价低廉，能够提供高水平的虚拟真实感。
文档编号H04N5/60GK1988595SQ20051011194
公开日2007年6月27日 申请日期2005年12月23日 优先权日2005年12月23日
发明者张成勋, 刘胜宪 申请人:上海乐金广电电子有限公司