专利名称：人机互动的歌曲演唱系统、方法
技术领域：
本发明涉及一种演唱系统和方法，尤其是涉及一种人机互动的歌曲演唱系统和方法。
背景技术：
目前在KTV场合、视听影音系统、个人便携设备、电脑等的演唱系统，演唱者只能以听着伴奏或原唱来演唱，不能知道自己的唱歌水平，还好有一些系统的可以将歌词采取渐变色的方式显示，让客户知道演唱的进度，目前市面上也有演唱系统，能够通过显示演唱者的音量，从而对比歌曲的标准音量，但是其不能进行实时分析显示，人机互动的效果低，而且通过音量来评判演唱水平，只要演唱的音量达到一定的水平，演唱者就算演唱的旋律不对，系统也能判断得到高分，这种评价方式的准确性不高，演唱者也无从知道自己演唱的 准确性，对演唱者的水平提高帮助不大。另外一种情况是现有的演唱系统，其对演唱者的演唱音高、音量进行采集显示，但是没有用标准的音高和音量用来对比显示，演唱者在演唱中也不清楚自己跟原唱的差距在哪里，这种系统，不能为用户提供如何提高的演唱水平的建议，其人机互动的效果差。
发明内容
本发明所解决的技术问题是提供一种人机互动的歌曲演唱系统和人机互动的歌曲演唱方法，其能够解决现有技术中不能通过音准比对演唱水平以及人机互动效果差的问题。为解决上述技术问题，本发明提供一种人机互动的歌曲演唱系统，包括服务器模块、播放模块、显示模块、声音采集模块、声音输出模块和声音解析模块，所述服务器模块用于存储歌曲的音频文件、视频文件与字幕文件，输送相应歌曲的视频文件、字幕文件或音频文件到所述播放模块，输送音频文件到所述声音输出模块；所述播放模块用于通知所述服务器模块发送相应歌曲的视频文件、字幕文件或音频文件，并将接收到的视频文件、字幕文件或音频文件发送到显示模块，所述字幕文件中包含有歌曲音调和歌词；所述声音采集模块用于采集演唱者的演唱音频信息，并将所述音频信息分别输出到所述声音输出模块和所述声音解析模块；所述声音解析模块对接收到的演唱音频信息进行解析，提取出演唱音调，并将解析后的演唱音调、音量输出到显示模块；所述显示模块接收并显示来自播放模块的视频文件、字幕文件以及音频文件，接收显示来自声音解析模块的演唱音调和演唱音量，将所述演唱音调与所述字幕文件中包含的歌曲音调对应显示；所述的声音输出模块用于实时播放来自服务器模块的音频文件或歌曲视频文件中的音频信息和来自声音采集模块的演唱音频信息。还包括评分模块，所述评分模块将来自声音解析模块的演唱音调信息和来自服务器模块的歌曲音调信息进行解析评分，并输出评分结果至显示模块显示。其中，所述声音采集模块包括语音控制设备，所述语音控制设备通过音频放大器和音频分配器，将声音采集模块采集的音频分为两路输出，一路输出到声音解析模块，一路输出到声音输出模块。其中，所述显示模块还根据演唱音量的高低变化，控制音量对应显示区域的alpha(透明度)值。其中，所述声音解析模块包括特征分析单元和特征显示单元，所述特征分析单元用于提取来自声音采集模块的音频信息的演唱频率，并将所述演唱频率转换成演唱音调并输送到所述特征显示单元，所述特征显示单元用于向所述显示模块发送演唱音调显示位置命令，并将所述演唱音调信息输出到所述显示模块。其中，所述特征分析单元提取演唱频率的方法是通过短时自相关算法。其中，所述服务器模块包括视频曲库单元、字幕文件库单元、音频曲库单元和服务器单元；所述视频曲库单元、字幕文件库单元、音频曲库单元均与所述服务器单元相连接；所述播放模块包括视频播放单元、音频播放单元和字幕播放单元；所述服务器单元分别与所述视频播放单元、音频播放单元、字幕播放单元相连接；所述服务器单元接收来自视频播放单元的视频请求信息，从所述视频曲库单元调用相应的歌曲视频文件至所述视频播放单·元；所述服务器单元还可接收来自音频播放单元的音频播放请求信息，从所述音频曲库单元调用相应的音频文件至撰述音频播放单元；所述服务器单元接收来自字幕播放单元的字幕请求信息，从所述字幕文件库单元调用相应的字幕文件并发送至所述视频播放单元；所述视频播放单元、所述音频播放单元、所述字幕播放单元分别与所述显示模块相连接。为解决上述技术问题，本发明还提供一种人机互动的歌曲演唱方法，包括以下步骤SI :获得当前单位时间的字幕文件，并显示字幕文件中的字幕和歌曲音调信息；S2:采集当前单位时间的外置演唱者输入的演唱音频，对所述演唱音频进行解析，获取单位时间的演唱音的演唱音调；S3 :将所述演唱音调和相匹配的歌曲音调对应显示，跳转下一个单位时间，返回SI。其中，所述步骤S2包括S201:提取所述演唱音频的频率；S202:将所述频率转换成演唱音调。其中，所述步骤S3具体为计算所述演唱音调与所述歌曲音调的差值，并根据所述差值将所述演唱音调与所述歌曲音调有距离地显示。采用上述技术方案，与之前的不能进行音调对比演唱水平及人机互动效果差的问题，本发明所具备的有益效果是由于本发明采用的字幕文件包含有演唱音调，同时通过显示模块将所述演唱音调显示出来，作为标准的对比值，同时，采用了声音解析模块对音频信号进行处理，抽取出其中的演唱音调，并与服务器模块的歌曲音调进行对应显示，这样演唱者在演唱的时候就能够同时看到歌曲的标准音调和自身演唱的音调，对比其中的差距，及时调整自己的演唱，人机互动的效果好，同时利用音调信息来评判演唱水平，其能够直接评价演唱者的音准是否达到标准，这样就能够大大提高演唱者的演唱水平。
图I为本发明提供的一种人机互动的演唱系统的结构图2为本发明提供的另一种实施例的结构图；图3为本发明提供的一种人机互动的演唱方法的流程图；图4为本发明提供的一种人机互动的演唱设备组成图。
具体实施例方式为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。请参阅图1，包括服务器模块、播放模块、显不模块、声音米集模块、声音输出模块和声音解析模块，所述服务器模块用于存储歌曲的音频文件、视频文件与字幕文件，输送相·应歌曲的视频文件、字幕文件或音频文件到所述播放模块，输送音频文件到所述声音输出模块；所述播放模块用于通知所述服务器模块发送相应歌曲的视频文件、字幕文件或音频文件，并将接收到的视频文件、字幕文件或音频文件发送到显示模块，所述字幕文件中包含有歌曲音调和歌词；所述声音采集模块用于采集演唱者的演唱音频信息，并将所述音频信息分别输出到所述声音输出模块和所述声音解析模块；所述声音解析模块对接收到的演唱音频信息进行解析，提取出演唱音调，并将解析后的演唱音调、音量输出到显示模块；所述显示模块接收并显示来自播放模块的视频文件、字幕文件以及音频文件，接收显示来自声音解析模块的演唱音调和演唱音量，将所述演唱音调与所述字幕文件中包含的歌曲音调对应显示；所述的声音输出模块用于实时播放来自服务器模块的音频文件或歌曲视频文件中的音频信息和来自声音采集模块的演唱音频信息。还包括评分模块，所述评分模块将来自声音解析模块的演唱音调信息和来自服务器模块的歌曲音调信息进行解析评分，并输出评分结果至显示模块显示。KTV应用中，话筒的声音并不会通过机顶盒，而是通过功放输出到喇叭。通常是话筒的声音一分为二，一路输入到功放，另外一路输入到机顶盒的音频米集口，即声音解析模块中，用于分析解析采集到的音频。声音解析模块对接收到的演唱音频信息进行解析，提取出演唱音调，并将解析后的演唱音调、音量输出到显示模块，具体的，声音解析模块以零为基准，获得当前的音量值，若当前音量值大于上一次获得音量值，则控制显示模块相应音量显示区域的游标图形显示为绿色，逐次增大则图形颜色逐渐加深；反之若音量值逐次减小，则颜色逐次变浅色透明。颜色的深浅变化是通过软件调节显示区域的alpha (透明度)值来实现的。采用这样的方法，实现音量游标淡入淡出的效果。进一步的，所述显示模块还根据演唱音调与所述歌曲音调值的不同，有差别地显示在显示器的不同高度上。在本实施例中，显示模块将歌曲音调，仿照五线谱音高表示法，用高低不同的标准横线来显示音高，用线的长度来表示音长，在歌曲播放的时候，通过变换线的颜色或是用标记指示当前播放位置，以提醒用户歌曲的进度；对于演唱音调的表示，可以通过在歌曲音调的标准线上，设置游标状的标记，游标在歌曲音调的标准横线上的位置，是通过所述差值来确定的；例如，如果演唱音调比歌曲音调高，则游标在标准横线的上方一定位置，这个位置的距离与所述差值成正比，当然，如果演唱音调比歌曲音调低，则游标在标准横线下方的一定位置。实时显示歌曲音调，也可以通过其他不同形状，或颜色变换等方法显示，总之，显示的方式有多种，这里不再赘述。
请参阅图I，在本实施例中，本发明的评分模块将来自声音解析模块的演唱音调信息和来自服务器模块的歌曲音调信息，进行解析评分，并输出评分结果至显示模块显示。其评分的方式，是将所述演唱音调与所述歌曲音调进行比较，通过一定算法，得出评分值，再在显示模块上显示。请参阅图2，图2为本发明提供的一种具体实施例，其中，所述声音解析模块包括特征分析单元和特征显示单元，所述特征分析单元用于提取来自声音采集模块的音频信息的演唱频率，并将所述演唱频率转换成演唱音调并输送到所述特征显示单元，特征分析单元提取演唱频率的方法是通过短时自相关算法。值得一提的是，提取演唱频率的方法有很多种，本专利用的是自相关法，另外还有平均幅度差函数法、并行处理法、倒谱法等等。所述特征显示单元用于向所述显示模块发送演唱音调显示位置命令，并将所述演唱音调信息输出到所述显示模块。所述服务器模块包括视频曲库单元、音频曲库单元、字幕文件库单元和服务器单元；所述视频曲库单元、音频曲库单元、字幕文件库单元均与所述服务器单元相连接；所述播放模块包括视频播放单元、音频播放单元和字幕播放单元；所述服务器单元分别与所述
视频播放单元、音频播放单元、字幕播放单元相连接；所述服务器单元接收来自视频播放单元的视频请求信息，从所述视频曲库单元调用相应的歌曲视频文件至所述视频播放单元；所述服务器单元还可接收来自音频播放单元的音频请求，从所述音频曲库单元调用相应的歌曲音频文件至音频播放单元；所述服务器单元接收来自字幕播放单元的字幕请求信息，从所述字幕文件库单元调用相应的字幕文件并发送至所述视频播放单元；所述视频播放单元、所述音频播放单元、所述字幕播放单元分别与所述显示模块相连接。具体的，所述评分模块与所述服务器模块的服务器单元相连接，用以通过服务器单元获取字幕文件库单元的字幕文件中，从而取得相应的音调信息用以分析，评分模块与所述声音解析模块的特征分析单元相连，从而获取演唱音调，通过对所述演唱音调和歌曲音调进行对比，得出评分，并输出到所述显示模块显示出评分值。点评模块包括单句实时点评和最终点评。实时点评采用设定多个阈值，在不同区间提示不同的文字评价。最终点评略有不同，由于评分模块的得分是多维度的(音高、旋律、高音、音量等)，所以最终点评也是多维度的综合性评价。主要构成是综合评价+单项点评。进一步的，所述声音输出模块与所述服务器单元相连接，通过所述服务器单元以获取视频曲库单元中的歌曲音频，所述声音输出模块还与所述声音采集模块相连接，获取演唱音频,从而同时匹配输出两种音频。请参阅图3，本发明还提供一种人机互动的歌曲演唱方法，包括以下步骤SI :通过服务器模块获得当前播放时间的字幕文件，并在显示模块显示字幕文件中的子眷和歌曲首调 目息；S2:通过声音采集模块采集当前单位时间的外置演唱者输入的演唱音频，通过声音解析模块对所述演唱音进行解析，获取单位时间的演唱音的演唱音调；S3 :将所述演唱音调和相匹配的歌曲音调对应显示，跳转下一个单位时间，返回SI。进一步的，所述步骤S2包括
S201:提取所述演唱音频的频率；S202:将所述频率转换成演唱音调。 特别的，所述步骤S3具体为计算所述演唱音调与所述歌曲音调的差值，井根据所述差值将所述演唱音调与所述歌曲音调有距离地显示。请參阅图4，图4提供一种人机互动的歌曲演唱设备，包括服务器、机顶盒、路由器、话筒、显示器和音响设备，所述机顶盒通过所述路由器与所述服务器相连接，所述话筒、显示器、音响设备分别与所述机顶盒相连接。其中，所述机顶盒、路由器、显示器、音响设备、话筒不限定为ー个。其工作原理是所述服务器接收所述机顶盒的请求信息，提供相应的音频文件，视频文件以及字幕文件，所述话筒用于采集演唱音频，并输送到所述机顶盒，所述机顶盒将采集到的演唱音频进行解析，并基于上述的人机互动的演唱系统及方法，获取演唱音调，再与所述的字幕文件中的歌曲音调相比对，并控制显示设备显示歌曲音调、演唱音调以及评分結果，同时所述机顶盒还控制所述的音响设备输出所述话筒采集到的演唱音频。采用这种方式，用户就能够实现人机互动的演唱。以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
权利要求
1.一种人机互动的歌曲演唱系统，其特征在于，包括服务器模块、播放模块、显示模块、声音米集模块、声音输出模块和声音解析模块， 所述服务器模块用于存储歌曲的音频文件、视频文件与字幕文件，并输送相应歌曲的视频文件、字幕文件或音频文件到所述播放模块，输送音频文件到所述声音输出模块； 所述播放模块用于向所述服务器模块发送获取相应歌曲的音频文件、视频文件与字幕文件的指令，并将接收到的视音频文件、视频文件与字幕文件发送到显示模块，所述字幕文件中包含有歌曲音调和歌词； 所述声音采集模块用于采集演唱者的演唱音频信息，并将所述音频信息分别输出到所述声音输出模块和所述声音解析模块； 所述声音解析模块对接收到的演唱音频信息进行解析，提取出演唱音调、音量，并将解析后的演唱音调、音量输出到显示模块； 所述显示模块接收并显示来自播放模块的音频文件、视频文件与字幕文件，接收显示来自声首解析|旲块的演唱首调和演唱首量，将所述演唱首调与所述子眷文件中包含的歌曲音调对应显示； 所述的声音输出模块用于实时播放来自服务器模块的音频文件或歌曲视频文件中的音频信息和来自声音采集模块的演唱音频信息； 还包括评分模块，所述评分模块将来自声音解析模块的演唱音调信息和来自服务器模块的歌曲音调信息进行解析评分，并输出评分结果至显示模块显示。
2.根据权利要求I所述的人机互动的歌曲演唱系统，其特征在于所述声音采集模块包括语音控制设备，所述语音控制设备通过音频放大器和音频分配器，将声音采集模块采集的音频分为两路输出，一路输出到声音解析模块，一路输出到声音输出模块。
3.根据权利要求I所述的人机互动的歌曲演唱系统，其特征在于所述显示模块还根据演唱音量的高低变化，控制音量对应显示区域的a Ipha (透明度)值。
4.根据权利要求I所述的人机互动的歌曲演唱系统，其特征在于所述声音解析模块包括特征分析单元和特征显示单元，所述特征分析单元用于提取来自声音采集模块的音频信息的演唱频率，并将所述演唱频率转换成演唱音调并输送到所述特征显示单元，所述特征显示单元用于向所述显示模块发送演唱音调显示位置命令，并将所述演唱音调信息输出到所述显示模块。
5.根据权利要求4所述的人机互动的歌曲演唱系统，其特征在于所述特征分析单元提取演唱频率的方法是通过短时自相关算法。
6.根据权利要求I所述的人机互动的歌曲演唱系统，其特征在于所述服务器模块包括视频曲库单元、字幕文件库单元、音频曲库单元和服务器单元；所述视频曲库单元、字幕文件库单元、音频曲库单元均与所述服务器单元相连接； 所述播放模块包括视频播放单元、音频播放单元和字幕播放单元； 所述服务器单元分别与所述视频播放单元、音频播放单元、字幕播放单元相连接； 所述服务器单元接收来自视频播放单元的视频请求信息，从所述视频曲库单元调用相应的歌曲视频文件至所述视频播放单元； 所述服务器单元还可接收来自音频播放单元的音频播放请求信息，从所述音频曲库单元调用相应的音频文件至撰述音频播放单元；所述服务器单元接收来自字幕播放单元的字幕请求信息，从所述字幕文件库单元调用相应的字幕文件并发送至所述视频播放单元； 所述视频播放单元、所述音频播放单元、所述字幕播放单元分别与所述显示模块相连接。
7.—种人机互动的歌曲演唱方法，其特征在于，包括以下步骤 SI :获得当前单位时间的字幕文件，并显示字幕文件中的字幕和歌曲音调信息； S2:采集当前单位时间的外置演唱者输入的演唱音频，对所述演唱音频进行解析，获取单位时间的演唱音的演唱音调； S3 :将所述演唱音调和相匹配的歌曲音调对应显示，跳转下一个单位时间，返回SI。
8.根据权利要求7所述的人机互动的歌曲演唱方法，其特征在于，所述步骤S2包括 S201:提取所述演唱音频的频率； S202:将所述频率转换成演唱音调。
9.根据权利要求7所述的人机互动的歌曲演唱方法，其特征在于，所述步骤S3具体为计算所述演唱音调与所述歌曲音调的差值，并根据所述差值将所述演唱音调与所述歌曲音调有距离地显示。
全文摘要
本发明提供一种人机互动的歌曲演唱系统和方法，所述人机互动的歌曲演唱系统包括服务器模块、播放模块、显示模块、声音采集模块、声音输出模块和声音解析模块，所述服务器模块用于存储歌曲的音、视频文件与字幕文件，所述播放模块用于获取来自服务器模块的音、视频文件与字幕文件，所述声音采集模块采集演唱者的演唱音频信息，所述声音解析模块将演唱音频信息解析成演唱音调，并将解析后的演唱音调输出到显示模块；所述显示模块接收并显示视频文件、字幕文件、音频文件以及演唱音调；所述的声音输出模块播放歌曲的音频和演唱者的音频。采用这种方法，能够解决现有技术中人机互动效果差且不能通过音准评分的问题。
文档编号G10L25/90GK102915725SQ201210333489
公开日2013年2月6日 申请日期2012年9月10日 优先权日2012年9月10日
发明者蔡智力, 邹应双, 林鎏娟, 刘旺, 林剑宇, 吴方方 申请人:福建星网视易信息系统有限公司