专利名称：多媒体信息处理装置的制作方法
技术领域：
本发明涉及多媒体信息处理装置，该装置采用以镜头(氵-冫)为单元设定的媒体信息的再生时间表信息的办法，一边读入多个媒体信息、一边按顺序进行再生，特别涉及确实能够根据用户的意愿进行再生处理的多媒体信息处理装置。
在显示设备或教学机器等机器中，通常采用根据用户作成的再生时间表信息，以镜头为单元，使多种媒体信息按顺序再生的结构。在采用这种结构的多媒体信息处理装置中，为了谋求节约存储器的资源，采用一边读入存储信息，一边进行再生的结构，但采用这种结构时，还必须设计出确实能够实现根据用户的意愿进行再生处理的结构。
在采用一边读入多个媒体信息、一边再生的结构的显示设备或教学机器等多媒体信息处理装置中，所采用的结构是用户以镜头为单元，作成用来指示从各镜头的哪个时刻起、在哪段时间内，使哪个媒体信息再生的再生时间表信息，根据该再生时间表信息，一边读入媒体信息，一边进行再生处理。
也就是说，以往是采用这样的结构，即进入某一镜头后，从该镜头设定的再生开始时刻之时起，便开始对指定的媒体信息进行再生运作，一边读入媒体信息，一边进行再生，等到该镜头设定的再生停止时间后，便对指定的媒体信息进行停止再生的处理。当采用这样的办法进行多种媒体信息的再生运作时，该镜头完结后，又开始进行对下一个镜头设定的媒体信息进行再生处理。
可是，如果按照以往的这种技术，由于媒体信息的种类的不同，不能保证按照用户的意愿进行再生处理，这是所存在的一个问题。
即，像激光视盘等那种不需要有软件的媒体信息，由于没有任何延迟就能再生，所以如果按照再生时间表指示的再生开始时间/再生停止时间，进行媒体信息的再生处理，就能毫无遗漏地按照用户的意愿进行媒体信息再生。
然而，文件数据一类的媒体信息却需要利用软件的媒体信息，读入时需要花费时间，每读入一点，就相当于滞后这一段时间。
因此，在这种媒体信息的情况下，从发出再生指令起到实际上开始再生为止，就产生时间的滞后，在再生时间表信息指定的再生时间内，造成不能按照用户的意愿对一定的数据量的媒体信息进行再生，同时，每当一点一点读入信息时，读入运作的延迟时间逐渐累积，在再生时间表信息指定的再生时间内，有相当数量的媒体信息不能按照用户的意愿进行再生。
这样，如果按照旧有的技术，由于媒体信息的不同，会出现再生中断的现象，因而不能按照用户的意愿进行再生，这是问题的所在。
作为解决该问题的一个方法，可考虑预测再生的滞后时间，并使再生停止时间延迟，借以弥补这一段时间，但由于再生的滞后时间随机器性能的不同而有所不同，所以不能预测，实际上不可能采用这种方法。
本发明就是鉴于这种情况而开发的，其目的是提供一种新的多媒体信息处理装置，它是采用以镜头为单元设定的媒体信息的再生时间表信息，一边读入多种媒体信息、一边按顺序进行再生的结构，从而能够确实按照用户的意愿进行再生处理。
图1示出了按照本发明的工作原理所作的装置结构图。
图中1是本发明的多媒体信息处理装置，它根据以镜头为单元设定的媒体信息再生时间表信息，一边读入多种媒体信息、一边按顺序再生，2是连接在多媒体信息处理装置1上的终端，是具有与用户进行对话的功能、同时具有显示图像等媒体信息的功能的装置。
在该多媒体信息处理装置1中包括；多媒体再生装置10，多媒体文件11，控制器12，指令发送器13，信息生成器14，事件发送器15，指令发送器16和判断器17。多媒体再生装置是指激光视盘、密纹唱盘等一类的再生装置；多媒体文件是指用于管理文件数据的媒体信息的一个或多个文件；控制器根据多媒体信息装置10或媒体文件相应设置，用来控制相应的媒体再生装置10或媒体文件11的运作；指令发送器用来向控制器12发送媒体信息再生指令或停止再生指令；信息生成器用来与终端进行对话，生成媒体控制信息；事件信号生成器用来生成媒体控制信息、媒体信息再生时间表信息，同时根据该生成的再生时间表信息，向指令发送器13发送媒体信息再生事件信号或停止再生事件信号；设定器用来设定生成器的展开运作，并且对根据再生时间表设定的媒体信息再生运作是否需要结束进行设定；判断器用来指示在指令发送器13中是否要进行展开运作，并且判断在再生时间进度表中描述的媒体信息再生是否需要进行结束。
在本发明中，通过生成器14与用户的对话，生成媒体控制信息，以此作为再生时间表信息的结构要素。这时，设定器16根据对话处理的结果，在再生时间表信息中设定是否要使媒体信息的再生结束。
事发送器15接收到该媒体控制信息后，首先以镜头为单元，将媒体控制信息按时间顺序排列，作成媒体信息再生时间进度信息。接着，以镜头为单元，等到按照再生时间表信息的指定的再生开始的时间，开始对指令发送器13指定再生对象的媒体信息，并发送媒体再生事件信号，同时，等到了作成的再生时间表信息指定的再生停止时间时，再向指令发送器13指定准备停止的媒体信息对象，并发送媒体信息停止再生事件信号。
指令发送部13接收到该媒体信息再生事件信号后，向控制指定的媒体信息用的控制器12发送媒体信息的再生指令，同时，在接收到该媒体信息停止再生事件信号后，向控制指定媒体信息用的控制器12发送媒体信息停止再生指令。
这时，判断器17根据媒体信息本身的属性或设定器16设定的信息，判断是否是对媒体信息停止再生事件所指的媒体信息提出的结束再生要求，通过该判断处理，当判定是结束再生的要求时，指令发送器13不受该媒体信息再生停止事件的制约。于是指令发送器13根据从控制部12返回的应答值，以具有该镜头的再生结束要求的全部媒体信息的再生处理结束为条件，对事件发送器15指示进入下一个镜头的处理程序。
这样，在本发明的多媒体信息处理装置1中，以镜头为单元设定媒体信息的再生时间表信息，一边读入多媒体信息、一边按顺序进行再生，不受再生时间进度表信息的约制，等到包括发生再生滞后的媒体信息在内的全部媒体信息再生处理结束之前，不对进行过程中的事件进行结束。因此，能够确实地按照用户的意愿进行再生处理。
图1是本发明的工作原理性结构图。
图2是本发明的一个实施例图。
图3是表编辑画面的一个实施例图。
图4是LD编辑画面的一个实施例图。
图5是时间表管理器进行处理的流程图。
图6是时间表管理器进行处理的流程图。
图7是事件处理器进行处理的流程图。
图8是事件处理器进行处理的流程图。
图9是时间表的说明图。
图10是时间表的替换处理的说明图。
图11是时间表的合并处理的说明图。
图中，1多媒体信息处理装置2终端10媒体信息再生装置11媒体文件12控制部13指令发送器14生成器15事件发送器16设定器17判断器下面根据实施例详细说明本发明。
图2表示本发明的多媒体信息处理装置1的一个实施例。图中与图1中说明的同一部分标以同一符号。
12a是多媒体控制器，相当于图1所示的控制器12。该多媒体控制器12a也就是所说的驱动器。13a是事件处理器，相当于图1所示的指令发送器13/判断器17。14a是媒体控制信息生成器，相当于图1所示的生成器14/设定器16。15a是时间表管理器，相当于图1所示的事件发送器15。
首先说明媒体控制信息生成器14a进行的媒体控制信息的生成处理。
媒体控制信息生成部14a用来与用户进行对话，并在镜头单元中生成媒体控制信息，以此作为媒体信息的再生时间表信息的结构要素，为了执行生成处理的运作，还含有表编辑面。
图3表示这种进度表中的编辑图像的一个实施例。在该实施例中所示的进度表的编辑图像中，设想有激光视盘的视频、密纹唱盘的声频、PCM用的声频、以静止图像为背景移动轨迹的移动画面、动画的动画面、以及录像的影片，以此作为再生对象媒体信息的素材。图中所示的手动操作用的视频是不分媒体种类，与现时输入的图像直接进行再生的情况。
图中，PCM音频信号，移动动画面、动画的动画片、以及录像影片是以文件数据方式准备的，其中，由于PCM声频信号/移动的动画片的容量比较小，所以可在主存储器中一次展开。其中动画片/录像影片容量比较大，所以与此不同必须分开在主机存储器中展开。
进度表编辑图象中的“执行开始时间”表示该镜头中的各素材的再生开始时间的设定值，“执行结束时间”表示该镜头中的各素材的再生结束时间的设定值，“显示开始时间”表示该镜头中的各视频素材的显示开始时间的设定值，“结束后的显示”表示该是否留有使该镜头中的各视频素材的最后图像保持静止不动的设定值，“再生次数”表示该镜头中的各素材的再生次数的设定值，“通道”表示该镜头中的同时再生对象PCM声频信号(可同时再生三个)使用的通道的设定值，“事件收发开始时间”表示为了对该镜头进行强制结束运作而准备的按钮所显示开始时间的设定值，“计时无效/有效”表示是否设定该镜头能滞留的时间的设定值，“计时器的设定时间”表示在需要设定该镜头的滞留时间时该设定时间的设定值，“执行完毕等待结束”表示当不能指定该镜头中放象的具体结束时间时是否要等等媒体信息再生完毕后再行结束的设定值。
媒体控制信息生成部14a根据这些进度表编辑画面的设定值，在镜头单元中生成媒体控制信息，以此作为媒体信息再生时间表信息的结构要素。
进度表编辑画面中的各个设定值是针对具体所指的设定画面设定的，媒体控制信息生成器14a是设定激光视盘视频的再生范围时，用来显示图4所示的LD编辑画面，根据该画面，使用检索处理或一帧画面发送处理或一帧画面高速发送处理，实际上使激光视盘的视频再生，同时设定再生开始帧、再生结束帧、再生音量、音量状态等。这时设定的再生开始帧变换成执行开始时间，同时，再生结束帧变换成执行结束时间。在该LD编辑画面上，可采用不用帧、而直接指定时间、设定再生范围的结构。
另一方面，密纹唱盘的声频再生范围内，可以按照与该激光视盘视频同样的方法进行设定，但对于以文件数据方式制作的动画片等，要用指定文件名称的方法设定再生对象。而且，根据作为再生对象设定的文件名称的管理的再生时间，设定媒体控制信息的执行开始时间/执行结束时间。
这样，关于按照文件数据方式编制的媒体信息，要根据文件数据管理的再生时间，设定执行打始时间/执行结束时间，但在一边读入该媒体信息、一边再生时，再生时间必须大于文件数据管理的再生时间，即在根据文件数据管理的再生时间设定的执行开始时间/执行结束时间的期间内，不能读出全部的媒体信息。
为了解决这种不适应的情况，要采取这样的结构即在进度表面编码画面中的“执行完毕等待结束”的情况下，由于不能设定具体的结束时间，所以要采用设定是否要等待媒体信息的再生完毕后进行结束的方法。另外，即使是作为文件数据准备的媒体信息，由于其容量小，所以虽然一次读入的信息在再生开始时刻有若干滞后，也能几乎在文件数据管理的再生时间的范围内再生。
按上例中的说明，PCM声频和移动动画片，由于其容量小，所以能一并读出。在这种数据管理的再生时间内，能进行再生处理。但是，由于动画片和录像影片的容量大，所以与此不同，必须分开读出，因而不可能在文件数据管理的再生时间内进行再生处理。因此，关于使动画片/录像影片再生的镜头，要由用户对于进度表编辑画面中的“执行完毕等待结束”设定等待指示的设定值，对动画片/录像影片设定等待指示的设定值。
图5及图6所示为时间表管理器15a执行处理流程的一个实施例，图7及图8所示为事件处理器13a执行处理流程的一个实施例。下面根据这些处理程序，详细说明本发明的多媒体信息再生处理程序。
如图5中的处理流程所示，开始时，由媒体控制信息生成器14a生成媒体控制信息后，时间表管理器15a在步骤1中，以镜头为单元，将生成的媒体控制信息变换成规定的数据格式，生成时间表，即生成图9所示的时间表。
接着在步骤2中，以镜头为单元，将生成的时间速度表变换成控制的时间顺序。即如图10所示进行变换。接着在步骤3中，将变换的时间表和再生未结束的时间表合并，进行变换成控制的时间顺序进行变换处理。
即在本发明中，备有强制结束镜头用的按钮，用户通过按该按钮，能够强制结束正在进行的镜头的放像过程。这时，由于准备了两种结束模式一种是在再生过程中直接强制结束媒体信息再生的模式、另一种是在尚未达到下一个镜头之前继续执行设定的结束时间的条件下仍然继续进行再生的模式，所以当用户选择后一种模式时，在截至当时为止，还留有一段尚未执行的再生时间表。因此在步骤3中，将交替时间表和该尚未结束的再生时间表进行合并，如图11所示，进行交替处理。
最后在步骤4中，将合并的时间表作为再生时间进度表信息进行登记。
这样，在时间表管理部15a执行图5中的处理流程的过程中，生成以镜头为单元的媒体信息的再生时间进度表信息。
当时间表管理器15a生成再生时间进度表信息后，如图6中的处理流程所示，将在一开始时在步骤1中的变量i设定为零。
然后在步骤2中，对变量i指定的再生时间表信息的时间表进行肯定，等到判定业已达到该时间表所列的控制的时间之后，便进入步骤3，根据该时间表所列的控制信息，对事件处理器13a发送指定媒体种类，媒体信息再生事件或停止媒体信息再生事件的信号。
然后在步骤4中，将变量i进行加1计数，然后在步骤5中，判断再生时间表信息的全部时间表的处理是否已经结束，当判定业已结束时，将全部处理结束。当判定末结束时，返回步骤2。
这样，在时间表管理器15a执行图6中的处理流程的过程中，根据生成的再生时间表信息，对事件处理器13a指定媒体种类，依次发送媒体信息再生事件/媒体信息停止再生事件。此时，在进行该发送时，将关于具体的“执行完毕等待结束”的媒体信息停止再生事件、合并的媒体信息停止再生事件、以及在镜头的最后发送的媒体信息停止再生事件的意图通知事件处理器13a。另外，因为变成对媒体信息再生事件和媒体信息停止再生事件发送合并的事件以外的事件，所以在镜头的最后发送的事件总是媒体信息停止再生事件。
事件处理器13a在接收到来自该时间表管理器15a的媒体信息再生事件/媒体信息停止再生事件后，如图7中的处理流程所示，开始时，在步骤1中判断所接收到的事件是媒体信息再生事件还是媒体信息停止再生事件。
在该步骤1中，当判定所接收到的事件是媒体信息再生事件时，便进入步骤2，向用于控制该媒体再生事件指定的媒体种类的多媒体控制器12a发送再生指令，开始进行再生处理，接着在步骤3中，对该媒体种类的再生处理过程进行管理，等到与该媒体的种类相对应的设定标志符出现时，处理结束。
反之，在步骤1中，如果判定所接收到的事件是媒体信息停止再生事件时，则进入步骤4，判断该媒体信息停止再生事件是否是具体的“结束执行之前先进行排队”的事件，当断定是具体的排队事件时，忽视接收到的媒体信息停止再生事件，直接使处理结束。
在步骤4中如果判定接收到的媒体信息停止再生事件不是指示的排队事件时，进入步骤5，向控制该媒体信息停止再生事件的指定媒体种类的多媒体控制部12a发送停止再生指令，停止再生处理，接着在步骤6中，判断接收到的媒体信息停止再生事件是否是合并的。
在该步骤6中，当判定接收到的媒体信息停止再生事件是合并的媒体信息时，即判定是针对现在正在进行的镜头中发送的媒体信息再生事件作出的媒体信息停止再生事件时，进入步骤7，对接收到的媒体信息停止再生事件的指定媒体种类停止再生处理进行管理，使根据该媒体种类设定的标志符消失。
反之，在该步6中，如果判定接收到的媒体信息停止再生事件是合并的媒体信息时，即判定是针对镜头中发送的媒体信息再生事件作出的媒体信息停止再生事件是要强制进行终结处理时，跳过该步骤7中的处理。
步骤6/步骤7中的处理运作结束后，接着在步骤8中，判断根据媒体种类设定的相应标志是否全部消失，当判定尚未全部消失时，直接结束处理。反之，如果判定已经全部消失，进入步骤9，判断在镜头最后发送的媒体信息时是否收到了停止再生事件，如果判定尚未接收到，直接结束处理。如果判定业已接收到，进入步骤10，对时间表管理器15a发出业已结束的通知，指示发送下一个镜头的媒体信息再生事件/媒体信息停止再生事件，结束处理。
另一方面，多媒体控制器12a根据该事件处理器13a发送的事件再生指令，开始对指定的媒体种类进行再生处理，该再生结束后，对事件处理器13a发出媒体信息停止再生事件完毕的通知。
事件处理器13a接收到来自该多媒体控制器12a的媒体信息停止再生完毕事件后，如图8中的处理流程所示，开始时，在步骤1中将上述停止再生完毕件事通知时间表管理器15a，接着在步骤2中，判断接收到的媒体信息停止再生停止完毕事件是否是关于指示“执行完毕等待结束”的媒体信息停止再生事件。
在该步骤2中，当判定接收到的媒体信息停止完毕事件不是关于等待指示的媒体信息停止再生事件时，由于该媒体信息停止再生完毕事件是根据图7中的处理流程的步骤5发送的停止再生指令进行的事件，所以直接结束处理。
反之，在该步骤2中，如果判定接收到的媒体信息停止再生完毕事件是等待指示的媒体信息停止再生事件时，则进入步骤3，对该媒体信息停止再生事件的指定的媒体种类的再生处理完毕进行管理，使与该媒体种类设定的相应标志符消失。
接着在步骤4中，判断根据媒体种类设定的相应标志符是否全部消失，当判定尚未全部消失时，直接结束处理。反之，若判定业已全部消失，进入步骤5，判断是否接收到在镜头的最后发送的媒体信息停止再生事件。当断定还未接收到时，直接结束处理。当判定业已接收到时，进入步骤6，将镜头已结束通知时间表管理器15a，指示发送下一个镜头的媒体信息再生事件/媒体信息停止再生事件的发送，结束处理。
这样，事件处理部13a执行图7及图8中的处理流程，不受时间表管理器15a发送的媒体信息停止再生事件的约制，一直等到指示“执行完毕等待结束”的媒体种类的再生处理完毕，才使结束。
如上所述，如果采用本发明，则根据以镜头为单元设定的媒体信息的再生时间表信息，一边读入多个媒体信息，一边按顺序再生，由于机器性能的不同，即使像动画等这种再生结束时间不能指定具体的媒体信息，与激光电视唱盘等这种再生结束时间能指定具体的媒体信息混在一起时，不会使再生过程中断，从而能够使按照用户的愿望生成全部媒体信息，而且不要求大量的存储资源。
而且，如果采用本发明，不受机器性能的约制，也不必考虑再生开始时的滞后时间，就能生成媒体信息的再生时间表。
权利要求
1.多媒体信息处理装置，它根据以镜头为单元设定的媒体信息的再生时间表，一边读入多个媒体信息，一边按顺序再生的结构，该多媒体信息处理装置的特征在于备有判断再生时间表信息中描述的媒体信息的再生是否结束的判断器(17)，当由判断器(17)检出必须结束媒体再生信息时，无论再生时间表的信息如何，在该媒体信息的再生处理过程全部结束之前，立即终止正在进行的镜头。
2.根据权利要求1所述的多媒体信息处理装置，其特征在于由判断器(17)判定是否有必要结束文件数据准备的全部媒体信息或结束其中具有规定量以上的容量的媒体信息的再生处理。
3.根据权利要求1所述的多媒体信息处理装置，其特征在于备有设定器(16)，用来根据对话处理结果，判定是否要对再生时间表信息设定结束媒体信息的再生，再由判断器(17)根据设定器(16)设定的信息，判断媒体信息的再生是否要进行结束的处理。
4.根据权利要求3所述的多媒体信息处理装置，其特征在于由设定器(16)进行判断是否有必要结束文件数据准备的全部媒体信息或结束其中具有规定量以上的容量的媒体信息的再生处理。
全文摘要
本发明提供一种能根据以镜头为单元设定的媒体信息的再生时间表信息，一边读入多个媒体信息，一边依次再生的多媒体信息处理装置，能确实按照用户意愿进行再生处理。它备有判断再生时间表信息中描述的媒体信息的再生是否要结束的判断器17，当由判断部17检出必须结束媒体再生的信息时，无论再生时间表信息如何，在这些媒体信息的再生处理全部结束之前，立即终止正在进行的镜头。
文档编号H04N5/93GK1124380SQ95105029
公开日1996年6月12日 申请日期1995年4月27日 优先权日1994年4月27日
发明者泽田督 申请人:株式会社Pfu