乐曲与图像同步信息制作装置及同步发生装置的制作方法

专利名称：乐曲与图像同步信息制作装置及同步发生装置的制作方法
技术领域：
本发明涉及为使乐曲与图像同步并再生，根据乐曲以及图像同步信息制作装置以及在该装置上制作的所述同步信息，同步并发生乐曲以及图像的乐曲以及图像同步发生装置。
背景技术：
提供带有乐曲的图像的服务，比如所谓通信卡拉OK在普及之中，作为它的一个形式，比如从通信卡拉OK局向通信终端装置比如手持电话机传送乐曲和与之一致的图像，从而可以在发生在手持电话机上的一侧欣赏到卡拉OK。
但是，虽然不是专利文献，现在作为向通信终端装置提供乐曲和图像用的软件，i-APPLI(JAVA(注册商标)程序已被周知，使用该程序进行卡拉OK，由于乐曲源与图像发生以非同步动作，在乐曲与图像更新之间会发生偏移。因此，虽然在卡拉OK开始时两者还是一致的，随着时间的推移就会产生误差，而存在同步错位的问题。
作为解决这个问题的装置·方法，比如在专利文献1中记载在卡拉OK数据中使之包含以MIDI形式记述的伴奏音乐数据和与伴奏音乐在时间上同步结合的歌词抽出数据从而取得同步，而在专利文献2中记载在卡拉OK数据中，包含作为卡拉OK演奏的起源的伴奏音乐数据和与卡拉OK音乐伴奏同步，在作为卡拉OK演奏终端的显示器上显示的歌词图像的起源的歌词文字数据而构成。
但是，这些记载都没有公布具体怎样地使伴奏音乐与歌词同步的具体的构成。
而作为其他的装置，这也不是在专利文献中记载的内容，为了补偿这个偏移，采用监视定时器，比如以周期10～20ms的固定定时器进行监视，具体地比如以每10ms发生事件，进行动画的彗差(COMA如彗尾形状的图像失真)传送。
图7采用这种监视定时器，在控制乐曲和图像的发生时序的情况下，表示发生的两者之偏移的图，纵轴为乐曲、动画像，而横轴为时间，即使两者同时开始，由于图像的更新比较慢，图示了两者在时间上偏移的样子。
即使通过这样的监视定时器，由于乐曲信息和图像信息用于在图像的彗差传送的延迟而产生一定的偏移，并且无法消除这个偏移。不只如此，在卡拉OK动作中，当从通信终端装置的用户I/F(键盘)变更乐曲的速度后，由于此时的应用程序侧的处理有很大重叠，会使乐曲与图像(动画)的速度变更的处理延迟，从而产生使偏移进一步扩大的问题。
专利文献1特开2002-6869号公报(段号‘0016’)专利文献2特开2000-148169号公报(段号‘0020’)发明内容本发明的目的，比如在手持电话等的通信便携终端装置上进行卡拉OK时，使文字传送以及背景图像的更新与乐曲不产生偏移而完全同步，或者在对接收的带图像的乐曲进行再生时，当以3D图像提供舞蹈的动作等的教材时，可以使动作与乐曲一致。
本发明1的乐曲以及图像同步信息制作装置，其特征在于具备为了使乐曲与图像同步并进行再生，在乐曲信息中以与该乐曲一致的图像更新的时序，插入事件信息的事件信息插入装置。
本发明2的乐曲以及图像同步发生装置，其特征在于具备根据乐曲信息发生乐曲的乐曲发生装置；检测插入在乐曲信息中的事件信息的事件信息检测装置；以所述事件信息检测装置的事件信息检测时序，根据图像信息发生图像的图像发生装置。
本发明3是在本发明2所述的乐曲以及图像同步发生装置，其特征在于具备图像时序管理装置，该图像时序管理装置根据在所述事件信息检测装置上检测的事件信息控制所述图像发生装置的图像发生时序。
本发明4是本发明2或3所述的乐曲以及图像同步发生装置，其特征在于具有接收装置，具备累积接收的乐曲信息以及图像信息的装置。


图1是本发明的乐曲以及图像同步发生装置的概要的示意框图。
图2表示在乐曲数据中插入事件信息的数据列。
图3是为了说明乐曲以及图像同步发生装置的动作程序的流程图。
图4是表示本发明的乐曲以及图像同步发生装置的其他的实施例的图。
图5是说明图4所示的便携终端的处理程序的流程图。
图6是概要说明在乐曲数据中为了使之包含发生事件的信息的处理的图。
图7采用监视的定时器控制乐曲与图像的发生时序时，发生于两者之间的偏移的示意图。
图中10-乐曲以及图像信息累积装置，20-日程制作装置，30-事件时序检测装置，40-图像时序管理装置，50-乐曲发生装置，60-图像发生装置，70-扬声器，80-显示屏具体实施方式
参考附图对本发明的实施例进行说明。
图1是乐曲以及图像同步发生装置的一实施例的概要示意框图。本发明的乐曲以及图像同步发生装置由乐曲数据(信息)(也包含其他声音数据)12、具备对图象数据(包含文字)(信息)14以及乐曲数据以及图像数据以怎样的时序进行变更的管理那个日程的日程程序16的乐曲、图像信息累积装置10、通过执行日程管理程序16，制作乐曲数据的发生日程的日程制作装置20、检测乐曲数据中的事件信息的事件时序检测装置30、在事件时序检测装置30上检测的事件时序中指示图像数据的更新(彗差传送)时序的时序管理装置40、在事件时序检测装置30上发生检测的乐曲的乐曲发生装置50、将发生的乐曲输出的扬声器70、在由时序管理装置40管理的时序上，根据所述累积的图像信息发生图像的图像发生装置60、以及显示图像的显示屏80。
图2是表示在图1所示的乐曲以及图像同步发生装置上处理的数据，即乐曲数据中插入事件信息的数据列的一个例子。
由于事件信息要与乐曲数据一致而应该更新图像的位置，也就是被插入在下一乐曲数据的前面，因此，乐曲的变更与图像的更新被同步，可以解除监视定时器中取得同步的情况那样的图像更新时的偏移。
图3是用于说明乐曲以及图像同步信息发生装置的动作程序的框图。
即，在通信中端装置上的乐曲以及图像的发生时，首先，日程制作装置20制作包含根据日程程序16从所述累积装置10读出的事件信息的乐曲信息(数据)的再生日程(S101)，依照这个日程将乐曲信息传递到事件时序检测装置30。接着，事件时序检测装置30检测从日程制作装置20传递来的乐曲信息中的事件信息(S102)，当没有检测到事件信息时，也就是接受乐曲信息时(S102、NO)，将该乐曲信息(数据)传递到乐曲发生装置50(S103)，从耳机、扬声器等适当的乐曲发生装置70输出乐曲(S104)。
在步骤S102中，如果检测到事件信息(S102、YES)，将该事件信息传递到图像时序管理装置40(S105)。图像时序装置40在传递的图像信息的时序，读取图像信息并且传递到图像发生装置(S106)，图像发生装置60根据传递的图像信息更新图像(S107)。也就是，事件时序检测装置30从时间0开始进行处理，如果出现图2所示的事件‘A’，将该事件信息‘A’传递到图像时序管理装置40，图像发生装置50执行事件信息‘A’，也就是在该时序更新图像，在显示屏80等显示装置上显示更新的图像(S108)。
图4是本发明其它实施例的示意图。
与图1相同的部分赋与同样的编号。该乐曲以及图像同步发生装置，比如具备从卡拉OK侧接收的日程数据也就是在乐曲信息(数据)上插入事件信息(数据)并与该放音时间信息一起累积的日程数据的累积装置10A，其他的构成，即，对于事件时序检测装置30、图像发生的时序管理装置40、乐曲发生装置50、图像发生装60、扬声器等的乐曲输出装置70以及图像显示用屏幕80，与关联图1说明的乐曲以及图像同步发生装置一样。
图5是说明图4所示的乐曲以及图像同步发生装置的处理程序的框图。
在乐曲以及图像的发生时，比如判别在从卡拉OK侧接收的发生日程数据中是否有事件信息(S201)，如果不是事件信息而检测到乐曲数据(S201、NO)，在乐曲发生装置50上发生乐曲(S202)，在扬声器70等上输出乐曲(S203)。
如果在步骤S201上检测到事件信息(S201、YES)，将该事件信息传递到图像时序管理装置40(S204)。图像时序管理装置40以在事件时序检测装置30上检测的事件时序将图像数据的更新时序(彗差传送)指示给图像发生装置60(S205)，发生图像(S206)，在显示用屏幕80上显示(S207)。此时，可以由时序管理装置40从图像累积装置10B读取图像信息并传递到图像发生装置60，但是也可以由图像发生装置60根据时序管理装置40的指示直接从图像累积装置B直接读取。
图6是概要说明在乐曲以及图像同步信息制作装置中，在由周知的乐曲数据制作装置制作的乐曲数据中用于使包含发生事件的信息的处理的图。
这里，对JAVA(注册商标)程序(动作日程管理程序)的日程进行软件处理，以与乐曲一致的图像更新的时序，在乐曲数据中插入事件信息。
本发明，通过在乐曲数据中插入事件信息，检测该事件信息，以该检测的时序发生更新图像，因而，可以在本来非同步的乐曲发生装置50以及图像发生装置60中使乐曲与图像的发生(再生)同步进行。
而且，根据这个装置，在取得卡拉OK与活动图像的同步之际，即使变更乐曲的速度，依照速度的变更事件发生的时序也可以与乐曲的速度一致进行变更，不会破坏同步。
本发明，通过在乐曲数据中插入事件信息，在乐曲发生(再生)时，检测该事件信息，以该检测的时序发生更新图像，因而，可以取得本来非同步的乐曲发生装置以及图像发生装置的同步，特别是即使在中途变更乐曲的速度，由于伴随此，事件信息的检测时序也被变更，因此不会产生乐曲与图像的偏移。
由于本发明以简单的构成实现乐曲与图像的同步，因此可以方便地进行通信卡拉OK等。
权利要求
1.一种乐曲以及图像同步信息制作装置，其特征在于具备为了使乐曲与图像同步并进行再生，在乐曲信息中以与该乐曲一致的图像更新的时序，插入事件信息的事件信息插入装置。
2.一种乐曲以及图像同步发生装置，其特征在于具备根据乐曲信息发生乐曲的乐曲发生装置；检测插入在乐曲信息中的事件信息的事件信息检测装置；以所述事件信息检测装置的事件信息检测时序，根据图像信息，发生图像的图像发生装置。
3.如权利要求2所述的乐曲以及图像同步发生装置，其特征在于具备图像时序管理装置，该图像时序管理装置根据在所述事件信息检测装置上检测的事件信息控制所述图像发生装置的图像发生时序。
4.如权利要求2或3所述的乐曲以及图像同步发生装置，其特征在于具有接收装置，具备累积接收的乐曲信息以及图像信息的装置。
全文摘要
本发明涉及在手持电话等的通信终端装置中，将乐曲和与之一致的图像同步发生。在具备乐曲发生装置(50)和图像发生装置(60)的终端装置中，具备检测插入在乐曲信息中的事件信息的事件时序检测装置(30)，当在乐曲发生中检测到插入在乐曲信息中的事件信息时，在该检测时序上，所述图像发生装置根据图像信息发生更新图像。
文档编号G10K15/04GK1497934SQ200310102720
公开日2004年5月19日 申请日期2003年10月22日 优先权日2003年10月22日
发明者饭田淳 申请人:罗姆股份有限公司