专利名称：同步图象生成方法以及使用该方法的卡拉ok装置的制作方法
技术领域：
本发明涉及可重放出与声音的重放同步动作的影象的同步图象生成方法，以及使用该方法的卡拉OK装置，更具体的说就是，本发明涉及依据通过测定由人、动物和它们的模仿物构成的物体的形状及其动作的方式获得的数据，生成表示前述物体的影象，并且将这一影象按与重放声音相同步的方式显示出来的同步图象生成方法，以及使用该方法的卡拉OK装置。
在对民歌、流行歌曲等等的乐曲(伴奏部分)进行重放的同时，可显示出这一乐曲的歌词和与这一乐曲相对应的背景图象的卡拉OK装置是目前已知的。这种卡拉OK装置具有可以使用诸如VCD(Video CD)或LD(Laser Disc)等等的存储装置，在这一存储装置中存储保存着乐曲重放用的声音数据、表示歌词用的歌词数据和表示背景图象用的图象数据。在这儿，前述图象数据为通过对景色进行摄影等等方式获得的数据。这种卡拉OK装置可以由前述存储装置读取出声音数据，进而重放出乐曲，并同时由前述存储装置中读取出图象数据，以显示出背景图象。
然而，配置在这种卡拉OK装置中的存储装置，需要使用所谓的VCD和LD等等存储容量比较大的存储媒体。因此随着卡拉OK中所使用的乐曲数目的增大，特别是图象数据容量的迅速增大，将会产生即使使用前述类型的存储媒体，也不可能存储入与全部乐曲相对应的声音数据、歌词数据和图象数据的问题。而且在卡拉OK中所使用的乐曲大多为流行歌曲，因而还存在有必需不断地增加新乐曲的问题。因此在近年来，在卡拉OK装置上配置有通信功能，以便能通过电话线传递乐曲重放用的声音数据和歌词数据的装置，即所谓的通信卡拉OK装置正在迅速普及。
这种通信卡拉OK装置的结构构成形式，使得它可以通过电话线接收乐曲重放用的声音数据和歌词数据，因此可以重放的乐曲数目将不再受存储装置存储容量的限制。因此可以重放出数目庞大的乐曲。而且即使需要对最新的乐曲进行重放，也可以通过电话线接收该乐曲的声音数据和歌词数据，进而重放出这一最新的乐曲。
然而显示背景图象用的图象数据，是对景色等等进行摄影所获得的数据，所以它和乐曲重放用的声音数据相比，其数据量要大得多。因此如果对于图象数据，也象声音数据那样通过电话线进行传递，在时间方面和经济方面均是不合适的。因此即使采用如上所述的通信卡拉OK装置，对于背景图象的显示也是和原有的卡拉OK装置相类似，即依据预先存储在诸如VCD和LD等等的存储媒体上的图象数据进行背景图象的显示的。然而由于可以显示出背景图象的种类受到存储媒体存储容量的限制，所以想要具有与重放出的乐曲相对应的不同的背景图象是相当困难的。因此如上所述的卡拉OK装置，所选择显示出的是与重放出的乐曲没有直接关系的背景图象。
而且对于卡拉OK中所使用的乐曲，特别是对于旋律优美的乐曲，还希望可以用卡拉OK装置显示出正在唱歌时的歌手的动作，比如说摆动或跳动等等。
为了能够实现这一点，可以采用通过对唱歌时的歌手进行摄影的方式获得影象数据(比如说为视频信号)，并且在乐曲重放时同时重放出这一影象数据的方法。
然而由于歌手的动作对于每首乐曲都是不同的，所以需要对每一首乐曲设计表示歌手动作用的影象数据。这将使影象数据量迅速增大，即使采用所谓的数据压缩技术，它也将远远超过设置在如上所述的卡拉OK装置中的存储装置的存储容量。因此存在有难以针对每一首乐曲设计表示歌手动作用的影象数据的问题。
而且，为了能重放出如前所述的歌手的动作，还必需使表示歌手动作的影象数据与重放乐曲正确的保持同步。在这儿已知的一种可以显示出按乐曲进行同步变化着的影象的卡拉OK装置，比如说由日本特开平7-199976号公报所公开的装置。这种卡拉OK装置具有由图象数据和时间数据构成的影象数据，并可以依据时间数据，使影象的显示与乐曲的重放相同步。然而如果对每一首乐曲均设计一组由图象数据和时间数据构成的影象数据，又将使数据总量迅速增大，所以仍难以对每一首乐曲设计其影象数据。
在另一方面，在卡拉OK中使用的乐曲数量正在迅速增大，使得需要把再生的到目前为止所有各首乐曲的大量的声音数据存储在目前已设置的卡拉OK装置，以及通信卡拉OK装置发送声音数据用的中心主计算机中。因此为了实现可以显示出其动作与乐曲的重放相吻合的歌手影象的卡拉OK装置，还必需要附加上显示歌手动作与所存储的大量乐曲相吻合的影象数据。这时，为了附加影象数据，需编排直到目前为止所存储的大量声音数据，存在有在时间上和经济上均不合适的问题。
而且在进行卡拉OK时，需要按各种各样的节拍(速度)重放乐曲。因此卡拉OK装置通常设置有可以根据使用卡拉OK的人的爱好，使实际重放出的乐曲节拍比基准节拍更慢或是更快的功能。因此对于可以显示出其动作与乐曲重放相吻合的歌手影象的卡拉OK装置，还需要即使对于乐曲的节拍发生了变化的场合，也可以使所显示出的歌手影象的动作自然、平滑。
而且在进行卡拉OK时，还会需要在中途开始重放练习用的乐曲，或是返回一部分乐曲后开始重放。因此卡拉OK装置通常还需要具有在乐曲中途实施重放的功能。因此对于可以显示出其动作与乐曲重放相吻合的歌手影象的卡拉OK装置，还需要在中途开始重放乐曲时，也能够显示出与该乐曲的重放部分相对应的歌手动作，而且即使在乐曲由中途开始时，也可以使歌手的动作与该乐曲正确地保持同步。
本发明就是针对上述问题的发明，本发明的一个目的是提供一种对于与声音重放同步动作，且存在有若干种声音的场合，也可以显示出其动作随各种声音不同而不同的影象的同步图象生成方法，以及使用该方法的卡拉OK装置。
而且，本发明的另一个目的是提供一种并不编排目前已经产生的原有声音数据，而是依据这一声音数据显示出与重放出的声音同步的动作影象的同步图象生成方法，以及使用该方法的卡拉OK装置。
而且，本发明的又一个目的是提供一种即使对于声音的重放速度发生变化的场合，也可以使所显示出的影象与声音的重放同步且使动作平滑的同步图象生成方法，以及使用该方法的卡拉OK装置。
而且，本发明的再一个目的是提供一种即使在中途对乐曲等等的声音实施重放时，也可以显示出其动作与这一声音正确同步的影象的同步图象生成方法，以及使用该方法的卡拉OK装置。
为了能解决上述问题，由本发明的权利要求1所给出的一种同步图象生成方法，具有根据声音数据重放出声音用的声音重放步骤，输出与所述声音重放步骤重放出的声音重放速度相对应的同步信号用的同步信号输出步骤，将表示由人、动物和它们的模仿物构成的物体的影象分割为若干个构成要素，使用设定这些构成要素的形状用的形状数据和设定所述各构成要素的位置或动作用的动作数据，生成显示所述物体的影象用的影象生成步骤，将由所述影象生成步骤生成的影象按与所述同步信号输出步骤输出的同步信号相同步的方式显示在显示装置上用的显示步骤。
声音重放步骤用于根据声音数据而重放出诸如乐曲等等的声音。同步信号输出步骤用于输出与重放出的声音的重放速度相对应的同步信号。影象生成步骤用于利用形状数据和动作数据，生成显示由人、动物和它们的模仿物构成的物体的影象。显示步骤用于将由影象生成步骤生成的影象，按与同步信号输出步骤输出的同步信号相同步的方式显示在显示装置上。这样便可以显示出其动作与声音相同步的、诸如人、动物等等的影象。
形状数据为将表示由人、动物和它们的模仿物构成的物体的影象分割为若干个构成要素，并设定这些构成要素的形状用的数据。动作数据为设定物体各构成要素的位置或动作用的数据。因此这种形状数据和动作数据的数据量，和通过对人体等等进行直接摄影所获得的影象数据(比如说为视频信号)的数据量相比，是非常少的。因此如果采用本发明，便可以用少量的数据制作出其动作与声音相同步的人体等等的影象。
而且，如果采用本发明的权利要求2所述的同步图象生成方法，其动作数据是以依据声音数据使声音按基准速度重放，使物体按与该重放出的声音相吻合的方式运动，并且按预定的周期测定此时物体上各个构成要素的位置或动作的方式生成的。因此在影象生成步骤中，通过使用动作数据和形状数据，依次生成表示物体随时间推移变化着的图象，进而按预定周期输出这些图象的方式，便可以重放出其动作与声音相吻合的物体影象。
而且，如果采用本发明的权利要求2所述的同步图象生成方法，当由声音重放步骤重放出的声音重放速度为基准速度时，则在影象生成步骤中使用动作数据和形状数据生成显示物体的影象。该动作数据如上所述，为按预定周期测定其动作与按基准速度重放出的声音相吻合的物体上各构成要素的位置或动作而构成的。因此通过使用动作数据和形状数据，依次生成表示物体随时间推移变化着的图象，进而按预定周期输出这些图象的方式，便可以自动地重放出其动作与按基准速度重放出的声音相吻合的物体影象。
而且，如果采用本发明的权利要求2所述的同步图象生成方法，当由声音重放步骤重放出声音的重放速度比基准速度慢时，则在影象生成步骤中对动作数据实施内插，生成内插动作数据，并使用动作数据、内插动作数据和形状数据生成显示物体的影象。即当由声音重放步骤重放出声音的重放速度比基准速度慢时，利用动作数据、内插动作数据和形状数据，依次生成表示物体随时间推移变化着的图象，进而按预定周期输出这些图象。如果具体地说就是，在使用动作数据和形状数据生成图象的过程中，插入由内插动作数据和形状数据生成的图象，并制作出表示物体的影象。因此，仅仅通过插入由内插动作数据和形状数据生成的图象，便可以延迟物体的动作。这样便可以容易地使重放速度比基准速度慢的声音与物体的动作相同步。
而且，如果采用本发明的权利要求3所述的同步图象生成方法，当由声音重放步骤重放出声音的重放速度比基准速度快时，则在影象生成步骤中对动作数据实施间选，并由间选后的动作数据和形状数据生成显示物体的影象。通过对动作数据实施间选的方式，便可以加快物体的动作。因此可以容易地使重放速度比基准速度快的声音与物体的动作相同步。
而且，如果采用本发明的权利要求所述的同步图象生成方法，其动作数据是以依据声音数据使声音按基准速度重放，使物体按与该重放出的声音相吻合的方式运动，并且按为所述显示装置的显示周期的整倍数的周期测定此时物体上各个构成要素的位置或动作的方式生成的。因此在影象生成步骤中，通过使用动作数据和形状数据，依次生成表示物体随时间推移变化着的图象，进而按所述显示装置的显示周期的整倍数的周期输出这些图象的方式，便可以重放出其动作与声音相吻合的物体影象。这时，输出表示物体的图象的周期，与所述显示装置的显示周期整倍数的周期相一致，所以所输出的全部图象均将由所述显示装置显示出来。这将使物体的动作平滑。
而且，如果采用本发明的权利要求5所述的同步图象生成方法，其动作数据是以依据声音数据使声音按基准速度重放，使物体按与该重放出的声音相吻合的方式运动，并且按比同步信号输出步骤输出的同步信号的周期更短的周期测定此时物体上各个构成要素的位置或动作的方式生成的。因此在影象生成步骤中，通过使用动作数据和形状数据，依次生成表示物体随时间推移变化的图象，进而按比同步信号输出步骤输出的同步信号的周期更短的周期输出这些图象的方式，便可以重放出其动作与声音相吻合的物体影象。而且如果缩短输出显示物体的图象的周期，可以使物体的动作更平滑，从而可以使声音与物体的动作正确地同步。然而当声音的重放速度比基准速度更快时，通过进行与此相对应的动作数据的间选，而缩短输出显示物体的图象的周期，也可以使物体的动作更平滑，从而可以使声音与物体的动作正确地同步。
而且，如果采用本发明的权利要求6所述的同步图象生成方法，在同步信号输出步骤输出的同步信号上还附加有识别声音数据的重放位置用的符号。即在同步信号的各个时钟脉冲上附加上彼此不同的符号。这样便可以识别出声音数据的重放位置，显示与声音数据的再生位置相对应的图象。因此即使在中途对乐曲等等声音实施重放，也可以显示出其动作与这一声音正确地同步的物体影象。
而且，如果采用本发明的权利要求7所述的卡拉OK装置，具有存储声音数据用的声音数据存储组件，根据存储在声音数据存储组件中的声音数据重放出声音用的声音重放组件，输出与所述声音重放组件重放出的声音重放速度相对应的同步信号用的同步信号输出组件，将显示由人、动物和它们的模仿物构成的物体用的影象分割为若干个构成要素，存储设定这些构成要素的形状用的形状数据的形状数据存储组件，存储设定物体上各构成要素的位置或动作用的动作数据的动作数据存储组件，使用存储在形状数据存储组件中的形状数据和存储在动作数据存储组件中的动作数据，生成显示物体影象用的影象生成组件，以及将由所述影象生成组件生成的影象按与同步信号输出组件输出的同步信号相同步的方式显示在显示装置上用的显示组件。
对于上述的结构构成，在进行卡拉OK时，可依据存储在声音数据存储组件中的声音数据实施声音的重放。而且，需使用存储在形状数据存储组件中的形状数据和存储在动作数据存储组件中的动作数据生成显示所述物体的影象，并将这一影象按与重放出的声音相同步的方式显示出来。这样便可以显示出其动作与重放声音相同步的物体影象。
特别需要指出的是，其声音数据被存储在声音数据存储组件中，形状数据被存储在形状数据存储组件中，动作数据被存储在动作数据存储组件中。这样便可以分别独立地对声音数据、形状数据和动作数据实施存取。如果举例来说，这可以使声音数据和动作数据对每一首乐曲都不同，而形状数据对各首乐曲是相同的。而且还可以仅仅改变形状数据，并可以在原有的声音数据上附加上动作数据和形状数据。
而且，如果采用本发明的权利要求8所述的卡拉OK装置，还设置有变更声音重放组件重放出的声音的重放速度用的重放速度变更组件。这样便可以利用重放速度变更组件改变声音的重放速度。而且当用重放速度变更组件变更声音的重放速度时，同步信号的周期也将随之变化。这样还可以使与同步信号同步动作的影象的动作速度产生与重放速度的变化相对应的变化。因此即使声音的重放速度发生变化，也可以使声音与物体的动作相同步。
而且，如果采用本发明的权利要求9所述的卡拉OK装置，其动作数据是以依据声音数据使声音按基准速度重放，使所述物体按与该重放出的声音相吻合的方式运动，并且按预定的周期测定此时物体上各个构成要素的位置或动作的方式生成的，而且影象生成组件在当由声音重放组件重放出声音的重放速度为基准速度时，使用动作数据和形状数据生成表示物体用的影象，当由声音重放组件重放出的声音重放速度比基准速度慢时，对动作数据实施内插而生成内插动作数据，并使用动作数据、内插动作数据和形状数据生成表示物体用的影象。这样便与本发明中的权利要求2相类似，当由声音重放组件重放出声音的重放速度为基准速度时，以及当由声音重放组件重放出声音的重放速度比基准速度慢时，可以使所显示出的影象动作平滑。
而且，如果采用本发明的权利要求10所述的卡拉OK装置，其影象生成组件在当由声音重放组件重放出声音的重放速度比基准速度快时，对动作数据实施间选，并使用间选后的动作数据和形状数据生成表示所述物体的影象。这样便与本发明中的权利要求3相类似，可以容易地重放出其动作与按比基准速度快的重放速度重放出的声音相同步的影象。
而且，如果采用本发明的权利要求11所述的卡拉OK装置，其动作数据是以依据声音数据使声音按基准速度重放，使物体按与该重放出的声音相吻合的方式运动，并且按显示装置的显示周期的整倍数的周期测定此时所述物体上各个构成要素的位置或动作的方式生成的。这样便与本发明中的权利要求4相类似，可以使所显示出的影象的动作平滑。
而且，如果采用本发明的权利要求12所述的卡拉OK装置，其动作数据是以依据声音数据使声音按基准速度重放，使物体按与该重放出的声音相吻合的方式运动，并且按比同步信号输出组件输出的同步信号的周期更短的周期测定此时物体上各个构成要素的位置或动作的方式生成的。这样便与本发明中的权利要求5相类似，即使声音的重放速度比较快，也可以使物体的动作平滑，并可以使声音与影象的显示正确地同步。
而且，如果采用本发明的权利要求13所述的卡拉OK装置，在同步信号输出组件输出的同步信号上还附加有识别声音数据的重放位置用的符号。这样便与本发明中的权利要求6相类似，可以依据附加在同步信号上的符号识别出声音数据的重放位置，从而可以显示出与声音数据的重放位置相对应的图象。因此即使在中途开始重放诸如乐曲等等的声音，也可以显示出其动作与这一声音正确同步的影象。
而且，如果采用本发明的权利要求14所述的卡拉OK装置，它还设置有接收由外部传递来的声音数据和动作数据，将所接收到的声音数据存储到声音数据存储组件中，将所接收到的动作数据存储到动作数据存储组件中用的数据接收组件。这样便可以使用数据接收组件由外部接收声音数据、动作数据和形状数据中的声音数据和动作数据。而且可以使用由外部接收到的声音数据重放出声音，使用由外部接收到的动作数据和原存储在卡拉OK装置中的形状数据显示出影象。这样便可以通过由外部接收数据量比较少的声音数据和动作数据的方式，减少由外部向卡拉OK装置传递的数据的量。
而且，如果采用本发明的权利要求15所述的卡拉OK装置，它在形状数据存储组件中存储有形成不同形状的若干个物体用的若干个形状数据，通过利用包含在声音数据中的选择数据或由外部输入的方式选择各形状数据，而且影象生成组件使用所选择出的形状数据、以及存储在动作数据存储组件中的动作数据生成表示物体用的影象。因此举例来说，如果在乐曲数据中包含有选择各形状数据用的选择数据，便可以依据这一选择数据对形状数据实施选择，并依据所选择出的形状数据设定物体的形状。此外，还可以通过外部输入的方式构成所选择的形状数据，这样便可以形成比如说为动物、人、男性、女性等等的形状不同的若干种物体。
图1为表示根据本发明的一种实施形式构造的通信卡拉OK装置的示意性方框图。
图2为说明本发明该实施形式中的乐曲数据的结构构成用的示意性说明图。
图3为说明本发明该实施形式中的影象数据的结构构成用的示意性说明图。
图4为说明本发明该实施形式中的动作数据的结构构成用的示意性说明图。
图5为说明本发明该实施形式中的物体模型用的示意性说明图。
图6为说明本发明该实施形式中的形状数据的结构构成用的示意性说明图。
图7为说明本发明该实施形式中的物体模型的结构构成要素用的示意性斜视图。
图8为说明本发明该实施形式中的重放帧数表用的示意性说明图。
图9为表示在本发明的该实施形式中，当按基准速度重放乐曲时，MIDI时钟脉冲、同步信号和帧处于同步状态的时间曲线图。
图10为表示在本发明的该实施形式中，当按比基准速度慢的速度重放乐曲时，MIDI时钟脉冲、同步信号和帧处于同步状态的时间曲线图。
图11为表示在本发明的该实施形式中，当按比基准速度快的速度重放乐曲时，MIDI时钟脉冲、同步信号和帧处于同步状态的时间曲线图。
图12为表示在本发明的该实施形式的通信卡拉OK装置中用的同步图象生成处理的流程图。
图13为表示与图12相连接的同步图象生成处理的流程图。
图14为表示与图13相连接的同步图象生成处理的流程图。
图15为说明表示在本发明的该实施形式的通信卡拉OK装置的模型中的影象用的示意性说明图。
下面参考附图1至附图15说明本发明的实施形式。在这一实施形式中，是以如图1所示的通信卡拉OK装置100为例说明使用本发明的同步图象生成方法的卡拉OK装置的。
(1)通信卡拉OK装置的结构构成和动作方式首先对通信卡拉OK装置100进行说明。正如图1所示，通信卡拉OK装置100具有卡拉OK演奏部10、影象重放部30、背景图象生成部40和合成部50。卡拉OK演奏部10在重放出乐曲的同时，还生成表示乐曲歌词用的歌词图象。“乐曲”一词表示着诸如民歌、流行歌曲等等的乐曲，特别表示这类乐曲的伴奏部分。影象重放部30生成其动作与乐曲的重放同步的歌手的影象(以下称为“歌手影象”)。对于一首乐曲有多名歌手的场合，影象重放部30还可以生成出多名歌手的影象。而且对于一首乐曲，除了歌手之外还可能有若干名舞蹈者(伴舞者)的场合。对于这种场合，影象重放部30不仅仅能生成出歌手的影象，还可以生成为歌手伴舞的舞蹈者的影象。背景图象生成部40用于生成背景图象。合成部50对歌词图象、歌手影象和背景图象实施合成。卡拉OK演奏部10通过电话线与中心主计算机200相连接。而且，卡拉OK演奏部10还与用于对乐曲声音和由麦克风80输入的声音实施合成用的混频放大器60相连接，而混频放大器60与扬声器70和麦克风80相连接。合成部50与用于显示由这一合成部50输出的影象和图象的监视器90相连接。
下面对卡拉OK演奏部10进行说明。卡拉OK演奏部10由声音用CPU(Central Processing Unit)11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、CD-ROM读取器14、乐曲数据存储部16、输入部17、歌词图象生成部18、声源部19和FIFO(First In First Out)回路20构成。而且这些组件通过总线22彼此相连接。
声音用CPU11用于对卡拉OK演奏部10进行综合控制，并用于实施乐曲的自动演奏。如果具体的讲就是，声音用CPU11可以采用诸如MDI(MusicInstrument Digital Interface)格式的结构构成，其具有可以根据MIDI数据进行乐曲自动演奏的功能。这种声音用CPU11具有计时器，从而具有可根据MIDI时钟脉冲生成后述的同步信号的功能。而且这种声音用CPU11还具有改变乐曲的重放速度、即改变乐曲的节拍的功能。
RAM12被用作由声音用CPU11进行控制处理时的作业存储区域，并且用于暂时存储各种数据。在ROM13中存储着规定卡拉OK演奏部10动作用的各种控制程序。
CD-ROM读取器14用于由CD-ROM中读出后述的乐曲数据和影象数据。在这儿，CD-ROM可以安装在外部。在CD-ROM中存储着各种乐曲数据和影象数据。由CD-ROM读取器14读取的乐曲数据被传递至乐曲数据存储部16。而且由CD-ROM读取器14读取出的乐曲数据还被传递至RAM12，特别是对于要立刻用声音用CPU11和声源部19进行重放的场合更是如此。
乐曲数据存储部16可以由诸如硬盘等等构成，可存储的乐曲数据为大约2000首左右。乐曲数据存储部16可以是可实施写入更换的，以便可以通过调制解调器21对由中心主计算机200接收到的乐曲数据、由CD-ROM读取器14传递来的乐曲数据实施追加存储。乐曲数据存储部16还通过接口回路15与总线22相连接。
输入部17用于输入各种指令，以通过对需要重放的乐曲实施选择，对乐曲重放时的节拍实施设定，对乐曲曲调实施设定，对视点信息和光源信息等等实施设定，使乐曲实施快进、后退等等，对通信卡拉OK装置100实施控制。
歌词象生成部18可以由诸如OSD(On Screen Display)回路等等构成，以在乐曲重放的同时，生成出可在监视器90上显示的歌词象。如果更具体的说就是，乐曲数据中包含着如后所述的、重放乐曲用的声音数据和生成乐曲歌词象用的歌词数据。歌词象生成部18可根据包含在这一乐曲数据中的歌词数据生成出歌词的象。
声源部19用于根据包含在乐曲数据中的声音数据合成出声音。如果举例来说就是，声音数据可以为依据MIDI规格进行自动演奏用的MIDI数据，声源部19的结构可以为根据这种MIDI数据可产生出音乐等等的合成器。
FIFO回路20具有在卡拉OK演奏部10与影象重放部30之间实施数据传送时可实施数据缓冲的功能。当然，由声音用CPU11生成的同步信号也可以不通过这一FIFO回路20，而是直接输出至影象重放部30。
调制解调器21通过电话线与中心主计算机200相连接，以对通过电话线对由中心主计算机200传递来的数据实施接收和解调。在这儿，中心主计算机200中存储着许多乐曲数据，以及与这些乐曲数据相对应的许多影象数据。当需要时，中心主计算机200可以将乐曲数据和影象数据传递至通信卡拉OK装置100。在这时，调制解调器21在接收到由中心主计算机200传递来的乐曲数据和影象数据，并对接收到的乐曲数据和影象数据进行解调之后，可以将其传递至RAM12、乐曲数据存储部16或影象重放部30中的影象数据存储部34等等处。
下面对影象重放部30进行说明。影象重放部30具有影象用CPU31、R0M32、影象数据存储部34、形状数据存储部35和歌手影象生成部36。这些组件通过总线37彼此相连接。
影象用CPU31用于对影象重放部30进行综合控制。在ROM32中存储有规定影象重放部30的动作用的各种控制程序和进行如后所述的同步图象生成处理用的各种控制程序。
影象数据存储部34可以由诸如硬盘等等构成，用于存储图象数据。影象数据存储部34可以是可实施写入更换的，以便可以通过调制解调器21对由中心主计算机200接收到的影象数据、由CD-ROM读取器14传递来的影象数据实施更新存储。影象数据存储部34还通过接口回路33与总线37相连接。
形状数据存储部35用于存储如后所述的形状数据，其可以由诸如RAM、ROM或硬盘等等构成。
歌手影象生成部36具有诸如次级CPU、存储器和OSD回路等组件，可以利用包含有存储在诸如影象数据存储部34等等中的影象数据中的动作数据、存储在形状数据存储部35中的形状数据生成出瞬时影象数据，并且将所生成出瞬时影象数据输出至合成部50。
如果具体的讲就是，通信卡拉OK装置100正如图15所示，在进行乐曲重放的同时，还可以在监视器90上显示出歌词的象Im1、背景画面Im2、歌手影象Im3。其中歌手影象Im3为与乐曲相吻合的可动图象，它是按预定的影象重放周期(比如说为1/15秒的周期)连续地重放出由歌手身上读取出的若干个静止图象的方式形成的。在本实施形式中，将由歌手身上读取出的若干个静止图象中的每一个称为“一帧”。“瞬时影象数据”指得是形成由歌手身上读取出的每一帧静止图象用的数据，换句话说就是，它是形成与一帧歌手影象相对应的图象用的数据。歌手影象生成部36利用动作数据和形状数据连续地生成瞬时影象数据，并按影象重放周期将其传递给合成部50。这样便可以连续地重放出由歌手身上读取出的静止图象。因此可以制作出与乐曲相吻合的动态歌手影象Im3。
如果更具体的讲就是，在歌手影象生成部36处设置有制作用存储器36A和显示用存储器36B。歌手影象生成部36分别由影象数据存储部34和形状数据存储部35接收动作数据和形状数据，并且将这些动作数据和形状数据存储在制作用存储器36A中，以便在这一制作用存储器36A内生成瞬时影象数据。然后歌手影象生成部36将这一瞬时影象数据由制作用存储器36A传递至显示用存储器36B。显示用存储器36B为与每一帧歌手影象一一对应的、即所谓的视频存储器。因此根据由制作用存储器36A传递至显示用存储器36B的瞬时影象数据，便可以在显示用存储器36B内生成出一帧的歌手影象。形成在显示用存储器36B内的歌手影象可输出至合成部50，在合成部50中与歌词的象和背景图象相合成，并显示在监视器90上。
背景图象生成部40可以由诸如LD(Laser Disc)重放装置等等构成，以生成可以在监视器90上显示的背景图象Im2。如果具体的讲就是，背景图象生成部40用于读取记录在LD上的、形成背景图象用的图象数据，并根据这一图象数据生成背景图象，进而将所生成的背景图象输出至合成部50。
监视器90可以由诸如CRT(Cathode-Ray Tube)显示器或液晶显示器等等构成。
如果采用如上所述的通信卡拉OK装置100，则在进行卡拉OK时，可以首先由使用者操作输入部17，进行乐曲选择、节拍设定等等操作，并输入乐曲演奏准备开始指令。这样便可以由存储在卡拉OK演奏部10的乐曲数据存储部16中的乐曲数据中，抽取出与所选择的乐曲相对应的乐曲数据。对于在乐曲数据存储部16中没有与所选择的乐曲相对应的乐曲数据的场合，可以由安装在CD-ROM读取器14处的CD-ROM中抽取出乐曲数据。对于在乐曲数据存储部16、CD-ROM中均没有与所选择的乐曲相对应的乐曲数据的场合，可以向中心主计算机200发送出要求传递与所选择的乐曲相对应的乐曲数据的指令。这样便可以通过调制解调器21接收由中心主计算机200输出的这一乐曲数据。
在这儿，乐曲数据中包含着重放乐曲用的声音数据和生成歌词象用的歌词数据。乐曲数据将声音数据和歌词数据分离开，并且分别将声音数据传递至RAM12，将歌词数据传递至歌词象生成部18。
随后声音用CPU11根据由RAM12传递来的声音数据实施自动演奏。由声源部19合成后的声音可通过混频放大器60输出至扬声器70，进而重放出乐曲。而且在这时，声音用CPU11还向影象重放部30输出与乐曲演奏相对应的同步信号。歌词图象生成部18同时根据歌词数据生成歌词图象，并将其输出至合成部50。
与此同时，还由存储在影象重放部30的影象数据存储部34的影象数据中，抽取出与所选择的乐曲相对应的影象数据。对于在影象数据存储部34中没有与所选择的乐曲相对应的影象数据的场合，可以由安装在CD-ROM读取器14处的CD-ROM中抽取出影象数据。对于在影象数据存储部34、CD-ROM中均没有与所选择的乐曲相对应的影象数据的场合，可以向中心主计算机200发送出要求传递与所选择的乐曲相对应的影象数据的指令。这样便可以通过调制解调器21接收由中心主计算机200发出的这一影象数据。
随后由这一影象数据中抽取出动作数据，将这一动作数据和存储在形状数据存储部35中的形状数据一并传递至歌手影象生成部36中的制作用存储器36A处，以通过歌手影象生成部36生成出形成每一帧歌手影象用的瞬时影象数据。而且，这一生成的瞬时影象数据还按影象重放周期输出至合成部50。
与此同时，还由背景图象生成部40向合成部50输出与所选择的乐曲相对应的背景图象。用合成部50对由歌词图象生成部18输出的歌词图象、由歌手影象生成部36输出的歌手影象和由背景图象生成部40输出的背景图象进行合成，并在显示在监视器90上。
这样便可以在对所选择的乐曲进行重放的同时，按与乐曲重放相同步的方式，将动态的歌手影象、歌词图象和背景图象显示在临视器90上。
(2)乐曲数据和影象数据的构成下面对乐曲数据和影象数据的结构构成进行说明。
图2示出了乐曲数据的一种构成形式。该乐曲数据由启始部分Hm、乐曲序号Nm、节拍数据Tm、背景数据Bm和若干个演奏数据Pm等等构成。
乐曲序号Nm为对乐曲进行特别指定用的序号。节拍数据Tm为表示乐曲重放时的基准节拍(基准速度)用的数据。背景数据Bm为对与乐曲相对应背景图象进行特别指定用的序号。
演奏数据Pm包括由声音数据Sd和时间数据Tsd构成的时钟脉冲信号和由歌词数据Wd及时间数据Twd构成的时钟脉冲信号等等。声音数据Sd为进行乐曲重放用的数据，比如说它可以由MIDI数据等等构成。如果更具体地说就是，声音数据Sd中包含有诸如使声音开始发出用的指令，使声音停止用的指令，以及指定哪一种声音开始发出用的指令等等。与声音数据Sd相邻配置的是时间数据Tsd，它是根据声音数据对指令的执行时间(时钟脉冲)进行控制用的数据。在另一方面，歌词数据Wd为生成歌词图象用的数据。与歌词数据Wd相邻配置的是时间数据Twd，它是对生成歌词图象用的时间(时钟脉冲)进行控制用的数据。
图3示出了图象数据的一种构成形式。该图象数据由启始部分Hp、乐曲序号Np、数据数Dp和若干个动作数据Mp等等构成。乐曲序号Np为对乐曲进行特别指定用的序号。数据数Dp为表示包含在影象数据中的动作数据的数目用的数据。动作数据Mp将在下面进行说明。
(3)动作数据和形状数据的构成形式下面对动作数据和形状数据的结构构成进行说明。如上所述，动作数据和形状数据为生成瞬时影象数据用的数据。
动作数据为形成歌手影象动作用的数据。动作数据正如图3所示，在影象数据中配置有若干个动作数据，其中的每一个动作数据均与一帧歌手影象相对应。而且如上所述，动作数据排在影象数据中，并可以对各首乐曲分别设定。换句话说就是，动作数据相对于各首乐曲是不同的数据，是乐曲所固有的数据。
如果具体的讲就是，动作数据是按照若干个构成要素，将表示人、动物或仿形物等等构成的物体分割开来，进而设定这些构成要素的位置和转动用的数据。
比如说如图5所示，按假设方式定义出模仿人物的人体模型，并且将这一人体模型分割为腰、胸、头、腕和脚等等各个构成要素。将这种分割后的各个构成要素称为“高度层次”。比如说可以如图5所示，将人体模型分割为高度层次L1～L17，其中高度层次L1与人体模型上的腰部相当，高度层次L5与人体模型上的头部相当。而且高度层次L1可以沿X轴方向、沿Y轴方向和沿Z轴方向移动，同时还可以分别以沿X轴方向的轴、沿Y轴方向的轴和沿Z轴方向的轴为中心转动。各个高度层次L2～L17分别通过连接部R相连接，并且可以以连接部R为基准，分别以沿X轴方向的轴、沿Y轴方向的轴和沿Z轴方向的轴为中心转动。动作数据就是记录这些高度层次的位置和转动的数据。
图4示出了这种动作数据的具体内容。正如图4所示，可以对高度层次L1赋予有关位置坐标(X,Y,Z)和转动角度(Xr,Yr,Zr)的数据。对于高度层次L2～L17的各个动作数据则仅可以赋予有关转动角度(Xr,Yr,Zr)的数据。
动作数据可以按如下所述的方法制成。首先按照对某一乐曲预先设定的基准节拍重放出该乐曲。然后按与这一重放出的乐曲相吻合的方式使人体作实际移动。即进行与歌手相同的动作。按预定的测定周期，比如说按1/15秒的周期对进行表演的人体上的各个构成要素的位置、转动等等实施测定。这样便可以按照预定的测定周期，获得有关高度层次L1的位置坐标和转动角度的数据。并且可以按照预定的测定周期，获得有关高度层次L2～L17的转动角度的数据。这样便制作出了动作数据。
在另一方面，形状数据是按照若干个构成要素，将表示人、动物或仿形物等等构成的物体的影象分割开来，并设定这些构成要素的形状用的数据。形状数据被存储在形状数据存储部35中。形状数据与动作数据不同，它并不是对每首乐曲分别设定的。即一般说来，形状数据可以对于若干首乐曲是通用的。形状数据可以相对应于显示出的歌手影象的种类设置出若干种。如果举例来说就是，可以通过改变为若干种的形状数据的方式，将显示出的歌手影象由人物影象变更为动物影象。
可以对各个高度层次L1～L17分别设定其形状数据。在这儿，图6示出了高度层次L1的形状数据的一种构成形式。正如图6所示，形状数据包括由顶点坐标A1～A8构成的顶点坐标数据，以及由多边形数据P1～P6构成的多边形形状数据等等。正如图7所示，通过用顶点坐标数据限定高度层次L1上的各个顶点坐标A1～A8的方式，便可以设定出高度层次L1的立体形状。多边形形状数据用于定义高度层次L1上的各个面的质感和特性。如果具体的讲就是，构成多边形形状数据的各个多边形数据P1～P6分别由表面数据(Surface Data)和顶点序号构成。表面数据包括表面颜色、周边端点、透明度、是否有一幅附在其表面上的图象(组织纹路)等等用的指示数据。顶点数据为表示形成各个表面用的顶点的数据。可以按这种方式构成高度层次L1的形状数据，并且可以分别以基本相同的方式构成高度层次L2～L17的形状数据。在形状数据中还包含着有关各个高度层次的连接部R(参见图5)的信息。
因此，本实施形式中的通信卡拉OK装置100可以根据动作数据和形状数据制作出歌手影象。正如图4和图6所示，动作数据和形状数据两者均由坐标数据、角度数据、序号数据、指示图象颜色的数据等等的、数据量较少的数据构成。因此，可以利用数据量较少的数据制作出歌手影象。而且由本实施形式中的通信卡拉OK装置100制作出的歌手影象数据，可以分离为动作数据和形状数据。动作数据和形状数据可以均为数据量较少的数据，也可以使动作数据与形状数据相比为数据量较少的数据。因此，可以制作出对每首乐曲为不同的动作数据，并将其附加在各首乐曲所固有的动作数据上。即由于动作数据的数据量非常小，即使附加有每首乐曲所不同的动作数据，也不会过大的增加数据处理和存储负担。如果举例来说就是，当由中心主计算机200向通信卡拉OK装置100传送动作数据时，可以在短时间内传递该动作数据。即使对于乐曲数目增大的场合，通过对每首乐曲存储动作数据的方式，也可以大幅度地减少CD-ROM和中心主计算机200中存储装置的存储容量。
(4)乐曲与歌手影象的同步下面对由卡拉OK演奏部10重放出的乐曲与由影象重放部30生成的歌手影象的同步方式进行说明。
乐曲主要是通过设置在声音用CPU11中的自动演奏功能重放出的。如上所述，声音用CPU11可以根据声音数据，按照MIDI格式进行自动演奏。这时，可以用MIDI时钟脉冲对自动演奏进行基本的时间控制。如果举例来说，MIDI脉冲信号可以是按乐曲的4分音符输出24个时钟脉冲的信号。对于乐曲节拍发生改变的场合，MIDI时钟脉冲信号的脉冲周期将随着乐曲节拍的变化而变化。
在乐曲中预先设定有基准节拍。这一基准节拍是作为节拍数据Tm包含在乐曲数据中的。这种基准节拍对于各首乐曲是不同的，比如说对于具有韵律感的摇滚乐等等的乐曲的场合，可以设定比较快的基准节拍。而对于民谣等慢板乐曲的场合，可以设定比较慢的基准节拍。乐曲通常是按照基准节拍进行重放的。然而当由输入部17的输入改变其节拍时，乐曲将根据所输入的节拍实施重放。比如说当改变为比基准节拍更快的节拍时，乐曲将按照比基准节拍更快的节拍重放。
在另一方面，歌手影象主要是由歌手影象生成部36生成的。如上所述，歌手影象生成部36根据动作数据和形状数据，生成与——帧歌手影象相对应的瞬时影象数据，并且按照影象重放周期将其传递至合成部50。即歌手影象生成部36可以在制作用存储器36A内依次生成瞬时影象数据，并且按照影象重放周期将所生成的瞬时影象数据传递至显示用存储器36B。因此，可以通过合成部50在监视器90上显示出按影象重放周期变化的歌手影象。
在这儿，影象重放周期与制作动作数据时使用的测定周期为同一周期，比如说均为1/15秒。即如上所述，可以通过按基准节拍Tm重放乐曲，按照与这一重放出的乐曲相吻合的方式使人体做实际运动(舞动、跳动)，并按照预定的测定周期测定进行这种运动的人体上各个构成要素的位置和转动的方式，制作出动作数据。因此，通过利用按这种方式制作出的动作数据生成瞬时影象数据，并且按照与测定周期相同的影象重放周期输出这一瞬时影象数据的方式，便可以基本再现出测定时的人体运动，从而可以重放出自然而平滑运动的歌手影象。在这儿，影象重放周期通常是保持一定的。
影象重放周期也可以按照监视器90显示周期的整倍数的方式设定。即当监视器90由CRT显示器或液晶显示器构成时，它具有监视器所固有的显示周期。如果举例来说，一般的NTSC制式的CRT显示器的显示周期为1/30秒。对于监视器90为NTSC制式的CRT显示器时的场合，影象重放周期可以设定为1/30秒的两倍，即1/15秒。因此可以在监视器90上平滑地显示出各帧的歌手影象，从而使显示在监视器90上的影象可以平滑的运动起来。
乐曲和歌手影象的同步主要是由歌手影象生成部36在声音用CPU11输出同步信号时，依据重放帧数表Ts实现的。
同步信号可以是在乐曲的每8分音符输出一个时钟脉冲的信号。这一同步信号可以通过对MIDI时钟脉冲进行分频的方式生成。同步信号的脉冲周期在乐曲节拍改变时，也将随着变化。这种同步信号可以由声音用CPU11生成。
重放帧数表Ts可以按如下所述的方式制作。首先如图9所示，在同步信号的各个时钟脉冲上附加上脉冲序号。这一脉冲序号由乐曲的开头部至结尾按1、2、3、…的方式依次增加。下面如图9所示，在歌手影象的各帧上附加帧序号。这一帧序号亦由乐曲的开头至结尾按F1、F2、F3、…的方式依次增加。对于乐曲按基准节拍重放的场合，可计算出同步信号的脉冲周期，并依据这一脉冲周期和影象重放周期，分别求出同步信号的各个时钟脉冲信号和与时间相吻合的帧的帧序号。各时钟脉冲序号和帧序号之间的对应关系如图8所示，并记录在重放帧数表Ts中。因此在重放帧数表Ts中，对于乐曲按基准节拍进行重放的场合，与同步信号中的各时钟脉冲信号在时间上相吻合的帧的帧序号，是按照与各个帧序号相对应的方式实施记录的。在这儿，对于乐曲按照基准节拍进行重放的场合，与同步信号中的各时钟脉冲信号在时间上相吻合的帧，即与记录在重放帧数表Ts上的帧序号相对应的帧被称为“同步帧”。比如说对于如图8所示的重放帧数表Ts，同步帧为帧F1、F4、F7、F11。在图9至图11中，在框内带有斜线的帧为同步帧。这种重放帧数表Ts的制作，可以在乐曲重放即将开始之时，由歌手影象生成部36完成。
下面参考图8至图11，说明“乐曲与歌手影象相同步的原理”。①乐曲按基准节拍重放时当乐曲按照基准节拍重放时，歌手影象生成部36如图9所示，在乐曲开始重放的同时，显示出第一帧F1，随后按与乐曲重放相并行的方式依次重放并显示出各个帧。即歌手影象生成部36以与乐曲重放相并行的方式，生成形成各个帧用的瞬时影象数据，并按照如图9所示的影象重放周期t，将所生成的瞬时影象数据输出至合成部50。合成部50按与监视器的固有显示周期相同步的方式，将与瞬时影象数据相对应的图象输出至监视器90。
在这儿，形成瞬时影象数据用的动作数据，是通过使乐曲按基准节拍重放时，测定与乐曲相吻合的人体运动的方式生成的。因此当乐曲以基准节拍重放时，使乐曲重放的开始时刻与歌手影象各帧的显示开始时刻是相一致，那么如果使乐曲的重放和各个帧的显示平行的进行，便可以使乐曲的重放与歌手影象的动作自动的同步。然而，对于乐曲的重放节拍在重放过程中发生了变化的场合，或是对于乐曲暂时停止后再次重放的场合等等，需要对乐曲的重放和各个帧的显示之间的时间对应关系经常地进行确认。在乐曲的重放过程中，歌手影象生成部36可以根据同步信号和重放帧数表Ts，对乐曲的重放和各个帧的显示之间的时间对应关系经常地进行确认。如果举例来说，对于如图8所示的重放帧数表Ts，同步信号中的时钟脉冲1与帧F1相对应，时钟脉冲2与帧F4相对应。而且，时钟脉冲3与帧F7相对应，时钟脉冲4与帧F11相对应。歌手影象生成部36按使时钟脉冲序号与帧序号之间的对应关系与重放帧数表Ts中的表述相一致的方式实施确认，并对歌手影象实施显示。②当乐曲按比基准节拍慢的节拍重放时当乐曲按比基准节拍慢的节拍重放时，歌手影象生成部36如图10所示，将在帧与帧之间插入内插帧G1、G2。即当乐曲按比基准节拍慢的节拍重放时，由于各个帧按照影象重放周期t实施显示，而且各个帧按照重放顺序进行显示，所以歌手影象的动作将早于乐曲的重放，从而使乐曲与歌手影象不再同步。因此当乐曲按比基准节拍慢的节拍重放时，歌手影象生成部36为了使时钟脉冲序号与帧序号之间的对应关系与重放帧数表Ts中的表述相一致，将在帧之间插入内插帧G1、G2。
在这儿，用于生成与内插帧G1、G2相对应瞬时影象数据用的动作数据(下面称为“内插动作数据”)，可以依据与配置在内插帧的插入位置正前方处的帧相对应的动作数据(下面称为“正前侧动作数据”)，和与配置在内插帧的插入位置正后方处的帧相对应的动作数据(下面称为“正后侧动作数据”)，将其计算出来。更具体的讲就是，如果歌手影象的运动比较剧烈，使正前侧动作数据与正后侧动作数据的值之间的差比较大时，可以取正前侧动作数据与正后侧动作数据的平均值作为内插动作数据。如果歌手影象的运动比较缓慢，使正前侧动作数据与正后侧动作数据的值之间的差比较小时，则可以取正前侧动作数据与正后侧动作数据中的任何一个值作为内插动作数据。这样，即使乐曲按比基准节拍慢的节拍重放，也可以容易的使乐曲和歌手影象实现同步，并可以使显示出的歌手影象平滑的动作。③当乐曲按比基准节拍快的节拍重放时当乐曲按比基准节拍快的节拍重放时，歌手影象生成部36如图11所示，将在各个帧之间去除一部分帧。比如说为F3、F6、F9、F10、F13等等，以对各个帧实施间选。即当乐曲按比基准节拍快的节拍重放时，由于各个帧按照影象重放周期t实施显示，而且各个帧按照重放顺序进行显示，所以歌手影象的动作将晚于乐曲的重放，从而使乐曲与歌手影象不再同步。因此歌手影象生成部36按照使时钟脉冲序号与帧序号之间的对应关系与重放帧数表Ts中的表述相一致的方式，对各个帧实施间选。这样，即使当乐曲按比基准节拍快的节拍重放时，也可以容易的使乐曲和歌手影象实现同步。
(5)同步图象生成处理下面参考图12至图14所示的流程图，对同步图象生成处理进行说明。同步图象生成处理是按照与乐曲重放同步动作的方式显示歌手影象用的处理，是上述的“乐曲与歌手影象相同步的原理”的具体化。这一同步图象生成处理是根据存储在影象重放部30的ROM32中的控制程序，主要由歌手影象生成部36实施的。
首先，通信卡拉OK装置100的使用者操作输入部17，选择出需要重放的乐曲，卡拉OK演奏部10中的声音用CPU11按与此相对应的方式，将与所选择出的乐曲相对应乐曲数据由乐曲数据存储部16等等处传递至RAM12。声音用CPU11还由所传递的乐曲数据中抽取出节拍数据，并根据这一节拍数据识别出乐曲的基准节拍。而且声音用CPU11还将所抽取出的节拍数据输出至影象用CPU31。
在这种声音用CPU11的动作过程中，影象重放部30的影象用CPU31由影象数据存储部34读取出与所选择出的乐曲相对应的影象数据，并且将包含这一影象数据的动作数据传递至歌手影象生成部36。影象用CPU31还由形状数据存储部35读取形状数据，并且将这一形状数据传递至歌手影象生成部36。随后影象用CPU31将由声音用CPU11接收到的节拍数据，输出至歌手影象生成部36。然后在歌手影象生成部36中启动同步图象生成处理。
在如图12所示的步骤1中，歌手影象生成部36接收动作数据、形状数据和节拍数据。而且当接收到形状数据时，便将这一形状数据存储在制作用存储器36A中(步骤5)。当接收到动作数据时，将这一动作数据存储在制作用存储器36A中(步骤5)。随后在接收到节拍数据时，将这一节拍数据存储在设置在歌手影象生成部36之内的存储器中。
然后在步骤6中，歌手影象生成部36判断是否接收到了所需要的形状数据。如果其结果是未接收到所需要的形状数据，则返回至步骤1，再次接收形状数据。
然后在步骤7中，歌手影象生成部36判断是否接收到了所需要的、与所选择的乐曲相对应的动作数据。如果其结果是未接收到所需要的动作数据，则返回至步骤1，再次接收动作数据。
然后在步骤8中，歌手影象生成部36将在监视器90上显示的歌手影象的视点位置和光源位置设定至初始位置。视点位置代表着对歌手取相的方向。比如说歌手影象生成部36可以选择从歌手正面取相时的影象、从歌手左侧取相时的影象和从歌手右侧取相时的影象。而且，歌手影象生成部36还可以选择歌手的近侧特写时的影象，以及歌手的远侧时的影象。光源位置代表着向歌手进行照明用的照明(聚光灯)位置。比如说歌手影象生成部36可以选择由左上侧照射歌手时的影象，由右上侧照射歌手时的影象，以及由正面照射歌手时的影象。当将光源位置设定在初始位置时，选择的是由左上侧照射歌手时的影象。
然后在步骤9中，歌手影象生成部36依据由步骤4接收到的节拍数据，计算出在乐曲按基准节拍重放时的同步信号用的脉冲周期。然后依据这一同步信号的脉冲周期和影象重放周期，制作出如图8所示的重放帧数表Ts。
然后在如图13所示的步骤10中，歌手影象生成部36识别出乐曲的重放位置。即通常乐曲是由该乐曲的开头开始重放的，但对于使用者操作输入部17指定了乐曲重放位置的场合，乐曲将由这一指定位置开始重放。对于使用者操作输入部17而指定乐曲的重放位置的场合，指示这一重放位置用的重放位置数据将由输入部17传送至歌手影象生成部36。在这儿，在同步信号的各时钟脉冲上附加有时钟脉冲序号。歌手影象生成部36使由输入部17传送来的重放位置数据与时钟脉冲序号对照吻合，以确定出乐曲的重放位置。
然后在步骤11中，歌手影象生成部36判断是否接收到乐曲的重放开始指令。即当使用者操作输入部17输入用于乐曲开始重放的指令时，这一指令将由输入部17传递至声音用CPU11。声音用CPU11将与此相对应的由乐曲的开头，或是由指定的重放位置开始乐曲的重放。开始乐曲重放用的指令还将由输入部17传递至歌手影象生成部36。当歌手影象生成部36在步骤11中的判断结果为“YES”时，将与此相对应的由乐曲的开头，或是由指定的重放位置开始歌手影象的显示。
然后在步骤12中，歌手影象生成部36判断是否接收到乐曲的重放结束指令。即当使用者操作输入部17输入用于乐曲重放结束(或中止)的指令时，这一指令将由输入部17传递至声音用CPU11。声音用CPU11将与此相对应地结束乐曲的重放。而且结束乐曲重放用的指令还将由输入部17传递至歌手影象生成部36。当歌手影象生成部36在步骤12中的判断结果为“YES”时，将与此相对应地结束歌手影象的显示，同时结束同步图象生成处理。在另一方面，当没有接收到乐曲的重放结束指令时，歌手影象生成部36在步骤12中的判断结果为“NO”。随后转移至步骤13进行处理。
在步骤13和步骤14中，歌手影象生成部36判断是否接收到设定视点位置和光源位置用的指令。即使用者可以操作输入部17，在需要时输入设定视点位置和光源位置用的指令。设定视点位置和光源位置用的指令将由输入部17传送至歌手影象生成部36。相应的，歌手影象生成部36将把这一指令存储在设置于歌手影象生成部36内部的存储器中(步骤15)。
然后在步骤16中，歌手影象生成部36将依据存储在制作用存储器36A中的形状数据和动作数据，生成与每一帧歌手影象相对应的瞬时影象数据。
而且在生成瞬时影象数据至经过1/15秒之后，歌手影象生成部36将在步骤18中判断是否接收到由声音用CPU11输出的同步信号中的时钟脉冲。
当歌手影象生成部36接收到同步信号中的时钟脉冲时，转移至步骤22进行处理。在步骤22中，歌手影象生成部36判断在接收到同步信号中的时钟脉冲的时刻，当前显示出的歌手影象的帧是否为同步帧。如果步骤22中的判断结果为在接收到同步信号中的时钟脉冲的时刻，当前显示出的歌手影象的帧为同步帧时，歌手影象生成部36进行显示这一同步帧的处理。
如上所述，同步帧为在按基准节拍重放乐曲时，在时间上与同步信号中的各时钟脉冲相一致的帧。因此对于乐曲按基准节拍进行重放的场合，同步信号中的脉冲周期与同步帧的显示周期是一致的。这样将如图9所示，对于乐曲按基准节拍进行重放的场合，在接收到同步信号中的时钟脉冲时刻显示出的歌手影象的帧自动地成为同步帧。
然而在另一方面，当步骤22中的判断结果为在接收到同步信号中的时钟脉冲的时刻，当前显示出的歌手影象的帧不为同步帧时，歌手影象生成部36将在步骤23中放弃这一帧，并且用从时间上处于这一帧后侧的同步帧中位置最接近的同步帧取代这一被放弃的帧，并进行显示处理。
这种现象在乐曲节拍比基准节拍更快的场合会出现。即随着乐曲节拍的加快，同步信号中的时钟脉冲周期将变短。在另一方面，显示歌手影象的各个帧的周期为通常保持一定的影象重放周期。因此无论是对帧实施间选，还是实施内插帧的内插，均是要使帧的显示周期通常保持一定。因此当乐曲节拍比基准节拍更快时，时钟脉冲的周期将比显示同步帧用的周期更短，从而会出现在接收到同步信号中的时钟脉冲的时刻显示出的歌手影象的帧不是同步帧的现象。对于出现有这种现象的场合，可以如图发1所示，放弃这一帧，并且用从时间上处于这一帧后侧的同步帧中位置最接近的同步帧取代这一被放弃的帧，进而实施显示。这表明已经进行了间选。
在另一方面，对于在步骤18中，歌手影象生成部36未接收到同步信号中的时钟脉冲的场合，转移至步骤19进行处理。在步骤19中，歌手影象生成部36判断当前显示出的歌手影象的帧是否为同步帧。如果在步骤19中的判断结果为当前显示出的歌手影象的帧不是同步帧，则歌手影象生成部36进行这一帧的显示处理。
然而在另一方面，对于在步骤19中的判断结果为当前显示出的歌手影象的帧是同步帧的场合，转移至步骤20进行处理。歌手影象生成部36在步骤20中生成内插帧，并且在随后的步骤21中，在当前所要显示的同步帧的正前方侧插入所生成的内插帧。随后，歌手影象生成部36对所插入的内插帧进行显示处理。
这种现象在乐曲节拍比基准节拍更慢的场合会出现。即随着乐曲节拍的变慢，同步信号中的时钟脉冲周期将变长。在另一方面，显示歌手影象的各个帧的周期为通常保持一定的影象重放周期。因此无论是对帧实施间选，还是实施内插帧的内插，均是要使帧的显示周期通常保持一定。因此当乐曲节拍比基准节拍更慢时，时钟脉冲的周期将比显示同步帧用的周期更长，从而可能会在未接收到时钟脉冲的时刻，就使当前显示出的歌手影象的帧为同步帧的现象出现。对于出现有这种现象的场合，可以如图10所示，生成内插帧，并且在当前所要显示的同步帧的正前方侧插入所生成的内插帧。
显示帧用的处理由步骤24～27进行。即在步骤24中，歌手影象生成部36依据与将要进行显示的帧相对应的动作数据和有关视点位置的信息，计算出多边形显示坐标系中的坐标。这样便可以根据在步骤13输入的、设定视点位置用的指令，计算确定出歌手影象的视点位置。
然后在步骤25中，歌手影象生成部36将依据形状数据、有关光源位置的信息和有关视点位置的信息，帖附上组织纹路(texture表示表面质感等等的图象)。这样便可以在多边形(polygon与构成歌手影象的各个构成要素相对应的单位影象)的各个表面上，附加上随视点位置变化而变化的表面模样和质感。
然后在步骤26中，歌手影象生成部36依据有关光源位置的信息和有关视点位置的信息，进行多边形的遮蔽处理(shading在图象上附加阴影的处理)。这样便可以在各个多边形上附加由光源方向所形成的阴影等等。
然后在步骤27中，歌手影象生成部36将在制作用存储器36A中生成的瞬时影象数据传递至显示用存储器36B。这样便可以将与歌手影象的每一帧相对应的图象输出至合成部50，进而在合成部50中与歌词图象和背景图象合成后，显示在监视器90上。
在进行完步骤24～27的处理之后，返回至步骤12进行处理，重复实施步骤12～27中的处理。这样便可以在乐曲重放的同时，在监视器90上显示出如图15所示的、其动作与乐曲相吻合的歌手影象。而且在使用者输入结束乐曲重放用的指令时，或是乐曲重放至该乐曲的最后部分时，结束乐曲重放，并且随之结束同步图象生成处理。
因此，如果采用本实施形式中的通信卡拉OK装置100，可以通过使用动作数据和形状数据的方式，利用比较少的数据量生成出与乐曲相吻合的动态歌手影象。特别是将生成歌手影象用的数据分离为动作数据和形状数据时，可以通过仅仅在各首乐曲上附加上数据量比形状数据更少的动作数据的方式，显示出对各首乐曲而言不同动作的动态歌手影象。即由于动作数据的数据量非常少，所以即使对每首乐曲附加上动作数据，也可以将记录区域的增加、数据传递速度的延长抑制至最少限度。而且由于动作数据的数据量非常少，所以可以通过电话线由中心主计算机200在短时间内传递出动作数据。因此如果际功作数据存储在中心主计算机200中的存储装置中，也可以在短时间内将动作数据传递至通信卡拉OK装置100。这样便可以使用通信卡拉OK装置100在进行各种乐曲的重放的同时，将其动作与这种乐曲相吻合的歌手影象显示出来。
而且，采用动作数据和形状数据彼此分离存储的构成方式，可以设置与所显示出的影象种类相对应的若干种形状数据，通过改变形状数据种类的方式，可以大幅度地改变与乐曲相吻合的动态影象的图象。比如说可以设定形成男性影象用的形状数据和形成女性影象用的形状数据这两种形状数据，而不改变动作数据，那么在一首乐曲中便可以显示出男性的动态影象和女性的动态影象这两种影象。而且，还可以设置有根据乐曲的类型(曲调和歌手是男性还是女性等等)自动选择形状数据的组件。比如说可以通过在乐曲数据中记载入选择形状数据用的选择数据的方式，自动地选择与乐曲相吻合的歌手影象。当使用者操作输入部17输入选择形状数据用的指令时，影象用CPU31或歌手影象生成部36可以采用能响应这一指令选择形状数据的结构构成方式。
如果采用本实施形式中的通信卡拉OK装置100，由于乐曲数据与动作数据可完全分离，所以可以容易地在原有的乐曲数据上附加上动作数据。比如说在重放原先存储的乐曲数据时，可以仅仅使人体按与这一重放出的乐曲相吻合的方式运动，测定该人体的动作并生成动作数据，便可以生成与原先存储的乐曲数据相对应的动作数据。按这种方式生成的动作数据可以由中心主计算机200传递至通信卡拉OK装置100，从而可以容易地在原先存储的乐曲数据上附加上相对应的动作数据。因此不再需要立刻制作成原先存储的乐曲数据，所以可以有效地利用原先存储的乐曲数据。
而且，如果采用如上所述的实施形式，显示各帧用的影象重放周期比同步信号的脉冲周期短。在这儿，乐曲的节拍通常由每1分钟内的4分音符的数目表示。对于节拍比较快的乐曲，每1分钟的4分音符的数目最大可达240个左右。在另一方面，同步信号的脉冲周期为乐曲的每一8分音符所输出的时钟脉冲的周期，当每1分钟重放的是4分音符的数目为240个的乐曲时，同步信号的脉冲周期为1/8秒。与此相对应的是，显示各个帧用的影象重放周期可以为，比如说1/15秒。因此显示各个帧用的影象重放周期比同步信号的周期短。
这样，由于显示各个帧用的影象重放周期比同步信号的周期短，所以可以在输出同步信号的各个时钟脉冲之间显示出若干个帧。比如说如图9所示，由输出时钟脉冲1至输出随后的时钟脉冲2之间，便可以显示4个帧F1～F4。因此在输出同步信号的各个时钟脉冲之间可以显示出若干个帧时，乐曲的节拍比基准节拍更快，通过如图11所示的、间选掉一部分帧的方式，也可以容易且正确地使乐曲与影象保持同步。在另一方面，即使当乐曲的节拍比基准节拍更慢时，通过如图10所示的、在各个帧之间内插入内插帧的方式，也可以容易且正确地使乐曲与影象保持同步。
而且，如果采用本实施形式中的通信卡拉OK装置100，可以在构成同步信号的各个时钟脉冲上附加上识别乐曲重放位置用的时钟脉冲序号，从而可以经常地识别出乐曲的重放位置，而且可以在乐曲的行进过程中容易地进行重放、乐曲快进、反转等等操作。
在前述实施形式中，是在同步帧的正前方侧插入内插帧的，但是也可以在同步帧的正后方、或在其它帧之间内插入同步帧。对于乐曲节拍比基准节拍慢许多的场合，需要连续地内插入若干个内插帧。对于这种场合，可以将各个内插帧的插入位置分散开来。这样可以使所显示的物体的动作更为平滑。类似的，对于乐曲节拍比基准节拍快许多的场合，需要连续地间选掉若干个帧。对于这种场合，也可以将各个间选掉的帧的位置分散开来。这样可以使所显示出的物体的动作更为平滑。而且，对于各个内插帧的插入位置进行的分散处理，对于各个帧进行的分散间选处理，可以在乐曲的重放过程中进行演算求解，也可以在对乐曲重放的节拍实施设定时进行演算求解。
在前述实施形式中，影象重放周期为1/15秒，但本发明并不仅限于此，也可以依据动作数据的数据量、画面制作处理所需要的时间等将其设定为最适当的值。
而且，在前述实施形式中，形状数据是存储在影象重放部30内的形状数据存储部35中的，但是本发明并不仅限于此。比如说形状数据也可以存储在RAM12内。而且在前述实施形式中，动作数据是存储在影象数据存储部34处的，但是也可以，比如说将动作数据与乐曲数据一起存储在乐曲数据存储部16中。即形状数据、动作数据、乐曲数据可以分别构成为独立的文件实施存取，各个数据可以有自己的地址，可以分别进行附加、变更、删除等等操作，并且还可以用分别的存储装置存储前述的各个数据。
而且，在前述实施形式中，是以把形状数据存储在形状数据存储部35中为例进行说明的，但本发明并不仅限于此，其构成形式也可以是可以用CD-ROM等等组件对形状数据进行附加、变更等等操作的构成形式。而且其构成还可以是可以由中心主计算机200进行形状数据的接收、适当修改、附加、变更、删除等等操作的构成形式。对于这种场合，还可以在不使用通信卡拉OK装置100的时间里适当的进行形状数据的传递。
而且，在前述实施形式中，同步图象生成方法是以适用于通信卡拉OK装置的场合为例进行说明的，但本发明并不仅限于此，本发明还适用于使エアロビクス音乐与エアロビクス指令的影象相同步用的装置，使广播的声音与哑语的影象相同步用的装置等等。
正如上面所详细说明的那样，如果采用本发明的如权利要求1所述的同步图象生成方法，可以使用动作数据和形状数据，用数据量比较少的数据制作出生成表示人体等等的物体影象用的、与声音重放同步动作的影象。因此即使对于声音为各种各样的场合，也可以制作出相对于每一种不同声音的动作影象。
如果采用本发明的如权利要求2所述的同步图象生成方法，当声音以基准速度重放时，以及声音以比基准速度慢的速度重放时，可以使表示物体的影象与声音的重放同步，并且使动作平滑。
如果采用本发明的如权利要求3所述的同步图象生成方法，当声音以比基准速度快的速度重放时，也可以使表示物体的影象与声音的重放同步，并且使动作平滑。
如果采用本发明的如权利要求4所述的同步图象生成方法，表示物体图象的输出周期可以与显示装置的显示周期的整倍数的周期相一致，从而可以用显示装置显示出所输出的全部图象。因此可以使物体的动作平滑。
如果采用本发明的如权利要求5所述的同步图象生成方法，即使声音的重放速度比基准速度快，通过对动作数据进行间选的方式，也可以使物体平滑地动作，进而可以使声音与物体的动作正确地相同步。
如果采用本发明的如权利要求6所述的同步图象生成方法，可以对声音数据的重放位置实施识别，从而可以显示出与声音数据的重放位置相对应的影象。因此即使是在乐曲等等的声音操作的过程中进行重放，也可以显示出其动作与这一声音正确地同步的影象。
如果采用本发明的如权利要求7所述的卡拉OK装置，声音数据、形状数据和动作数据可以分别独立地进行存取。这样便可以使声音数据和动作数据对于每首乐曲是不同的，而形状数据对于各首乐曲的通用的。而且可以在原先存储的声音数据上附加上动作数据和形状数据。因此并不一定需要直接制作完成当前所存储的原有的声音数据，可以随后再附加上动作数据和形状数据。
如果采用本发明的如权利要求8所述的卡拉OK装置，即使声音的重放速度发生变化，也可以使声音的重放与影象的显示相同步。
如果采用本发明的如权利要求9所述的卡拉OK装置，当声音以基准速度重放时，以及声音以比基准速度慢的速度重放时，可以使表示物体的影象与声音的重放同步，并且使动作平滑。
如果采用本发明的如权利要求10所述的卡拉OK装置，当声音以比基准速度快的速度重放时，也可以使表示物体的影象与声音的重放同步，并且使动作平滑。
如果采用本发明的如权利要求11所述的卡拉OK装置，表示物体的图象的输出周期可以与显示装置的显示周期的整倍数的周期相一致，从而可以用显示装置显示出所输出的全部图象。因此可以使物体的动作平滑。
如果采用本发明的如权利要求12所述的卡拉OK装置，即使声音的重放速度比基准速度快，通过对动作数据进行间选的方式，也可以使物体平滑地动作，进而可以使声音与物体的动作正确地相同步。
如果采用本发明的如权利要求13所述的卡拉OK装置，可以对声音数据的重放位置实施识别，从而可以显示出与声音数据的重放位置相对应的影象。因此即使是在乐曲等等的声音的中途进行重放，也可以显示出其动作与这一声音正确地相同步的影象。
如果采用本发明的如权利要求14所述的卡拉OK装置，可以仅仅从外部接收数据量比较少的声音数据和动作数据，从而可以使由外部传递至卡拉OK装置的数据量比较少。因此可以获得一种可以显示出其动作与乐曲的重放相吻合的歌手影象等等的通信卡拉OK装置。比如说当由中心主计算机向通信卡拉OK装置发送传递出有关最新乐曲的声音数据和动作数据时，不仅可以立刻重放出最新的乐曲，而且可以显示出歌唱这一乐曲的歌手的动态影象。
如果采用本发明的如权利要求15所述的卡拉OK装置，可以响应声音的种类和使用者的喜好，对所显示出的物体形状等等进行设定、变更。
权利要求
1．一种同步图象生成方法，具有根据声音数据重放出声音用的声音重放步骤，输出与所述声音重放步骤重放出的声音重放速度相对应的同步信号用的同步信号输出步骤，将显示由人、动物和它们的模仿物构成的物体用的影象分割为若干个构成要素，使用设定这些构成要素的形状用的形状数据和设定所述各构成要素的位置或动作用的动作数据，生成显示所述物体的影象用的影象生成步骤，将由所述影象生成步骤生成的影象按与所述同步信号输出步骤输出的同步信号相同步的方式显示在显示装置上用的显示步骤。
2．一种如权利要求1所述的同步图象生成方法，其特征在于所述动作数据是以依据所述声音数据使声音按基准速度重放，使所述物体按与该重放出的声音相吻合的方式运动，并且按预定的周期测定此时所述物体上各个构成要素的位置或动作的方式生成的，在所述影象生成步骤中，当由所述声音重放步骤重放出声音的重放速度为所述基准速度时，使用所述动作数据和形状数据生成表示所述物体用的影象，当由所述声音重放步骤重放出声音的重放速度比所述基准速度慢时，对所述动作数据实施内插而生成内插动作数据，并使用所述动作数据、内插动作数据和形状数据生成表示所述物体用的影象。
3．一种如权利要求2所述的同步图象生成方法，其特征在于当由所述声音重放步骤重放出的声音重放速度比所述基准速度快时，对所述动作数据实施间选，并使用间选后的动作数据和所述形状数据生成表示所述物体用的影象。
4．一种如权利要求1至3中的任何一个权利要求所述的同步图象生成方法，其特征在于所述动作数据是以依据所述声音数据使声音按基准速度重放，使所述物体按与该重放出的声音相吻合的方式运动，并且按所述显示装置显示周期的整倍数的周期测定此时所述物体上的各个构成要素的位置或动作的方式生成的。
5．一种如权利要求1至3中的任何一个权利要求所述的同步图象生成方法，其特征在于所述动作数据是以依据所述声音数据使声音按基准速度重放，使所述物体按与该重放出的声音相吻合的方式运动，并且按比所述同步信号输出步骤输出的同步信号的周期更短的周期测定此时所述物体上各个构成要素的位置或动作的方式生成的。
6．一种如权利要求1至3中的任何一个权利要求所述的同步图象生成方法，其特征在于在所述同步信号输出步骤输出的同步信号上附加有识别声音数据的重放位置用的符号。
7．一种卡拉OK装置，具有存储声音数据用的声音数据存储组件，根据存储在所述声音数据存储组件中的声音数据重放出声音用的声音重放组件，输出与所述声音重放组件重放出声音的重放速度相对应的同步信号用的同步信号输出组件，将显示由人、动物和它们的模仿物构成的物体用的影象分割为若干个构成要素，存储设定这些构成要素形状的形状数据用的形状数据存储组件，存储设定所述物体上各构成要素的位置或动作的动作数据用的动作数据存储组件，使用存储在所述形状数据存储组件中的形状数据和存储在所述动作数据存储组件中的动作数据，生成表示所述物体的影象用的影象生成组件，将由所述影象生成组件生成的影象按与所述同步信号输出组件输出的同步信号相同步的方式显示在显示装置上用的显示组件。
8．一种如权利要求7所述的卡拉OK装置，其特征在于还设置有变更所述声音重放组件重放的声音的重放速度用的重放速度变更组件。
9．一种如权利要求8所述的卡拉OK装置，其特征在于所述动作数据是以依据所述声音数据使声音按基准速度重放，使所述物体按与该重放出的声音相吻合的方式运动，并且按预定的周期测定此时所述物体上各个构成要素的位置或动作的方式生成的，所述影象生成组件在当由所述声音重放组件重放出声音的重放速度为所述基准速度时，使用所述动作数据和形状数据生成表示所述物体用的影象，当由所述声音重放组件重放出声音的重放速度比所述基准速度慢时，对所述动作数据实施内插而生成内插动作数据，并使用所述动作数据、内插动作数据和形状数据生成表示所述物体用的影象。
10．一种如权利要求9所述的卡拉OK装置，其特征在于所述影象生成组件在当由所述声音重放组件重放出声音的重放速度比所述基准速度快时，对所述动作数据实施间选，并使用间选后的动作数据和所述形状数据生成表示所述物体用的影象。
11．一种如权利要求7至10中的任何一个权利要求所述的卡拉OK装置，其特征在于所述动作数据是以依据所述声音数据使声音按基准速度重放，使所述物体按与该重放出的声音相吻合的方式运动，并且按所述显示装置的显示周期整倍数的周期测定此时所述物体上各个构成要素的位置或动作的方式生成的。
12．一种如权利要求7至10中的任何一个权利要求所述的卡拉OK装置，其特征在于所述动作数据是以依据所述声音数据使声音按基准速度重放，使所述物体按与该重放出的声音相吻合的方式运动，并且按比所述同步信号输出组件输出的同步信号的周期更短的周期测定此时所述物体上各个构成要素的位置或动作的方式生成的。
13．一种如权利要求7至10中的任何一个权利要求所述的卡拉OK装置，其特征在于在所述同步信号输出组件输出的同步信号上附加有识别声音数据的重放位置用的符号。
14．一种如权利要求7至10中的任何一个权利要求所述的卡拉OK装置，其特征在于还设置有接收由外部传递来的声音数据和动作数据，将所接收到的声音数据存储到所述声音数据存储组件中，将所接收到的动作数据存储到所述动作数据存储组件中用的数据接收组件。
15．一种如权利要求7至10中的任何一个权利要求所述的卡拉OK装置，其特征在于在所述形状数据存储组件中存储有形成不同形状的若干个物体用的若干个形状数据，通过利用包含在所述声音数据中的选择数据或由外部输入的方式，选择所述各形状数据，所述影象生成组件使用所选择出的形状数据，以及存储在所述动作数据存储组件中的动作数据，生成表示所述物体用的影象。
全文摘要
本发明涉及可重放出其动作与乐曲的重放相同步的影象的同步图象生成方法,以及使用该方法的卡拉OK装置。在在先技术中,需要在每首音乐曲上附加与其动作乐曲的重放同步的影象,所以需要大量的影象数据。本发明仅使用比较少量的数据,便可以实现在各音乐曲上附加上其动作与乐曲的重放相同步的影象的目的。其解决方案是将表示人体等等用的影象分割为若干个构成要素,利用设定这些构成要素的形状用的形状数据和设定各构成要素的位置或动作用的动作数据,生成表示人体等等物体的影象。
文档编号G06T13/80GK1212416SQ9812027
公开日1999年3月31日 申请日期1998年9月19日 优先权日1997年9月19日
发明者浅井三平, 稻叶尚人 申请人:先锋株式会社