一种多音色混合的智能演奏系统和方法与流程
本发明涉及音频处理技术领域，尤其涉及一种多音色混合的智能演奏系统和方法。
背景技术：
乐器被分类为原声乐器、电子乐器和混合乐器。随着时代的发展，传统的原声乐器不再能够满足人们对于音乐多种多样演奏的需求。对于传统的原声乐器，想要演奏出一首多乐器合奏的乐曲，需要多个人同时进行演奏，显然这种方式需要同时多人在场演奏，并且需要具备相应的乐器演奏技能。
日本特开平专利公开(kokai)号2001-195064提出了一种系统，该系统实现彼此远离的多个使用者在音乐数据的作曲上的相互协作。专利cn1624760b中提出了一种音乐会支持方法、用于音乐会的乐器，使彼此远离的多个使用者使用该系统识别相互间是否能参加音乐会的状态，实现远距离共同参加音乐会，演奏音乐。这两种专利的方法只是解决了地域上的限制，但仍然需要多人多乐器同时进行演奏。
电子乐器所指的是通过触发电子信号，利用电子合成技术和/或采样技术来使电声设备发出声音的乐器，如电子琴、电钢琴、电子合成器、电子鼓等。电子乐器，本质上是一种电子合成器。它采用大规模集成电路，大多配置声音记忆存储器(波表)，用于存放各类乐器的真实声音波形并在演奏的时候输出。目前使用的电子合成器有键盘式和模块式两种。键盘式合成器外形类似便携式电子琴，模块式合成器实际上是用来提供音色的“音源”。
电子乐器演奏的音色实际上有两种产生方式：一是储存在其中的音色，二是合成的音色。但由于电子乐器不能有无限的储存空间，并且现有技术合成的音色有限，电子乐器能够提供给使用者演奏的音色是已经确定的并且数量有限，不能按照使用者的需求来选择或产生音色。例如，市场上某品牌型号的多功能数码教学电子琴具有160种音色，即能提供给用户演奏的音色有以下160种，序号和对应的音色为：00声学大钢琴、01敲击风琴、02钢片琴、03酒吧钢琴、04电钢琴1、05电钢琴2、06大钢琴、07电风琴等，另外152种这里不再详细列举。使用者只能选择电子乐器上提供的以上160种音色之一来进行演奏，不能满足使用者的其他音色需求。例如，用户想演奏现代钢琴的音色，160种音色中没有，则不能实现。
另外，使用者利用现有技术演奏时，同一时刻只能演奏一种音色，例如在电子琴上按下一个按键，只能发出一种音色(如选定的是古典钢琴，则发出的是古典钢琴的音色)，一个按键不能同时发出两种或两种以上的音色。例如，电子琴中的音色包括古典钢琴、小提琴，用户想实现古典钢琴与小提琴一起合奏的效果，即两个人分别使用古典钢琴和小提琴来共同演奏乐谱，现有技术也无法实现。
对于一首由多种乐器来演奏的乐谱，一般是通过多个人分别演奏对应的乐器来实现的。例如钢琴和小提琴合奏曲《爱的礼赞》，是由钢琴和小提琴共同演奏的，需要2个演奏者，一人弹奏钢琴，一人拉小提琴来完成合奏。这时需要2个演奏者，2个乐器，具有一定的演奏成本，并且一个人是无法完成的。并且，在《爱的礼赞》经常会出现一个音例如：c调的mi由钢琴和小提琴同时演奏，形成两种乐器同时合奏的效果，现有技术是无法实现的。
当创作乐曲时，这种问题会更加凸显出来。乐曲的创作不可能是创作者纯靠想象就能够完成的，需要把创作的乐曲演奏出来试听、感受乐曲的效果，才能够创作出好的乐曲。尤其是需要多个乐器共同演奏的乐曲和需要多个人(一个乐队)共同演奏的乐曲，所述的多个乐器包括同种的多个乐器和不同种的多个乐器，例如交响乐曲，光靠人脑的想象无法想象出合奏的效果，需要试听乐曲效果来辅助创作。例如《爱的礼赞》，乐曲创作者在创作乐曲时不可能找来2个人、1把小提琴、1架钢琴，将实时创作的乐谱草稿进行演奏，以供创作者试听、感受和修改，但仅靠作曲者一个人用现有技术无法模拟出钢琴和小提琴共同演奏的效果，尤其是两种乐器同时演奏同一音符(例如c调的mi)的合奏效果，现有技术是无法实现的。
因此，能够提供多音色和多音色混合的演奏系统是非常必要的。所述的多音色是多个单音色的混合音色，所述的单音色是指一种乐器的一个音色级别，所述的一个音色级别是指一种音色效果，同一种乐器在不同弹奏条件下弹奏同一音高的音符所产生的不同音色效果，所述的弹奏条件选自乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法中的任意一种或任意多种。
技术实现要素：
针对现有技术的不足，本发明所要解决的技术问题是提供一种多音色混合的智能演奏系统和方法。
本发明针对现有技术不能实现一个人用一种演奏系统或乐器或设备演奏出多种音色合奏的问题，发明了一种能够将多种音色进行混合，演奏出多音色的系统，使得一个人利用所述系统能够实现一个乐队演奏的演奏效果。所述的多音色是多个单音色的混合音色，具体表现为同一个音符(例如c调的mi)是由两种或两种以上的单音色合奏的演奏效果，包括不同乐器种类的单音色合奏、同一乐器种类不同音色级别的单音色合奏，所述的单音色是指一种乐器的一个音色级别，所述的一个音色级别是指一种音色效果，同一种乐器在不同弹奏条件下弹奏同一音高的音符所产生的不同音色效果，所述的弹奏条件选自乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法中的任意一种或任意多种。所述的乐队演奏的演奏效果是指由多个人共同演奏或多个乐器共同演奏的效果。
本发明采用如下的技术方案：
一种多音色混合的智能演奏系统，所述的智能演奏系统用于单音色和/或多音色的联合演奏，所述的单音色是指一种乐器的一个音色级别，所述的多音色是多个单音色的混合音色，所述的一个音色级别是指一种音色效果，同一种乐器在不同弹奏条件下弹奏同一音高的音符所产生的不同音色效果，所述的弹奏条件选自乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法中的任意一种或任意多种；所述的多音色的联合演奏选自同一种乐器不同级别音色的联合演奏、不同种乐器之间音色的联合演奏；所述的智能演奏系统支持在演奏过程中实时切换不同的音色类型，所述的实时切换不同的音色类型选自不同单音色之间的实时切换、单音色与多音色之间的实时切换、不同多音色之间的实时切换，所述的智能演奏系统包括音色储存单元、交互单元、音色生成单元、混合合成单元，其中：所述的音色储存单元用于储存每一种乐器不同级别的音色库，提供给音色生成单元和混合合成单元；所述的交互单元用于进行智能演奏系统的交互并获得反馈信息，以及根据乐谱获取乐谱信息；所述的音色生成单元根据交互单元提供的反馈信息和乐谱信息进行判断，选择音色储存单元中的音色进行播放或给出合成指令；所述的混合合成单元在收到音色生成单元给出的合成指令后，利用音色储存单元中的音色库和交互单元提供的反馈信息和乐谱信息进行混合音色的合成并播放。
所述的单音色和/或多音色的联合演奏是指选自单音色的演奏、多音色的演奏、单音色和多音色的演奏。
所述的音色级别是指将同一种乐器在不同弹奏条件下弹奏同一音高的音符所产生的不同音色效果表示为音色的不同级别，所述的弹奏条件选自乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法的任意一种或任意多种。所述的音色级别是乐器种类的下位概念，每一种乐器都对应多个音色级别。所述的乐器种类是指例如钢琴、小提琴是不同的乐器种类。立式钢琴和三角钢琴同属于一种乐器种类(钢琴)，是钢琴的不同类型，是钢琴的音色级别的影响因素之一。例如，弹奏同一音高的音符，不同品牌的钢琴弹奏出的音色效果不同，斯坦威钢琴产生的音色具有雍容华贵的感觉，本森多夫钢琴的音色深沉含蓄，法奇奥里钢琴的音色让人觉得性感撩人，德国名琴布鲁兹纳的音色玲珑雅典、略带暖意，日本品牌雅马哈钢琴的音色偏明亮，卡瓦依钢琴的音色偏柔软。再例如，在雅马哈的同一架钢琴上弹奏标准音la(钢琴上的a4音，从低音区数第49个音，声音振动频率440hz)，不同弹奏手法产生的音色也是不同的；弹奏速度快、力度大的方式产生的音色听起来更明亮有力，弹奏速度慢、触键轻的方式产生的音色听起来更舒缓，专业的钢琴演奏者可以采用不同的弹奏手法将不同的情绪赋予在音乐之中。所述的不同弹奏手法的具体表现包括但不仅限于弹钢琴时手指触键的方向、高度、力量、速度、深度，不同的触键部位，如指尖、指面多肉部位，不同的弹奏法如非连奏、连奏、跳音弹奏等。由于音色效果的影响因素较多也比较复杂，因此，对于同一音高的音符，就会对应于多个音色级别，也就是多级音色。不同的弹奏条件包括但不限于不同的乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法，任意一种或多种弹奏条件的不同，就会导致弹奏同一音高的音符产生不同的音色效果(也就是产生不同的音色级别)。
进一步地，所述的音色储存单元用于储存不同种乐器不同级别的音色库是指音色储存单元中储存有例如10种乐器，分别是钢琴、风琴、电钢琴、木琴、管钟琴、口琴、吉他、贝士、小号、长笛，每种乐器对应该种乐器的多个音色级别。例如：钢琴有9个音色级别，分别是酒吧钢琴、亮音钢琴、古典钢琴、华贵钢琴、轻快钢琴、雅马哈钢琴1、雅马哈钢琴2、海伦钢琴1、海伦钢琴2，风琴有5个音色级别，分别是摇滚风琴、教会风琴、簧片风琴、手风琴、探戈手风琴。所述的音色库(采样库)，实际上是多种音色的集合，这些音色包括各种乐器的演奏、各种人声的演唱、念白，以及各种自然、人造声音的录音。例如钢琴的音色库包含钢琴88个键分别单独演奏的发音。
具体地，本说明书的乐器或某品牌乐器后用数字序号“1”、“2”、“3”来描述各种乐器或各种品牌的乐器，但是这些乐器不受到这些数字序号的限制。这些数字序号用于将一个乐器与另一个乐器进行区分，是指一种序号指代，代表的是该种乐器或该种品牌的乐器具体的一种乐器型号的音色。例如，雅马哈钢琴1、雅马哈钢琴2是指雅马哈钢琴的两种型号，具体地，例如雅马哈钢琴1是指雅马哈钢琴ys系列的ys1的音色，雅马哈钢琴2是指雅马哈钢琴yz系列的yz122的音色。类似的，海伦钢琴1、海伦钢琴2代表的是该种乐器或该种品牌的乐器具体的一种乐器型号的音色。
进一步地，所述的交互单元提供用户与所述智能演奏系统的交互，完成音色演奏模式的设置和实时切换，进行用户的智能演奏并获取按键信息，以及根据乐谱获取乐谱信息，所述音色演奏模式是指用户智能演奏时音色生成单元播放音色所采用的一个级别或多个级别的音色库；所述的音色生成单元根据交互单元提供的音色演奏模式和用户智能演奏的按键信息进行判断，选择音色储存单元中的音色进行播放或给出合成指令；所述的混合合成单元在收到音色生成单元给出的合成指令后，利用音色储存单元中的音色库和交互单元提供的音色演奏模式和用户智能演奏的按键信息进行混合音色的合成并播放。
所述的用户智能演奏是指用户在交互单元上进行单音色和/或多音色的联合演奏，所述的联合演奏是指演奏时可以是不同的单音色、不同的多音色、不同的单音色和多音色。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的多音色混合的智能演奏系统还包括多级音色合成单元，所述的多级音色合成单元用于根据乐谱信息的音色要求合成音色和/或用于合成多个音色级别的音色库，所述的音色要求是指乐器的音色级别。
所述的多级音色合成单元采用可编辑的多级音色合成方法，先根据乐谱信息中的乐器信息选取音色储存单元中的音色，再根据音色级别的要求选取修改参数，合成对应于乐谱信息的音色。
进一步地，所述的可编辑的多级音色合成方法通过编辑音色修改参数，结合音色特征信息进行音色合成，不同的音色修改参数对应不同的音色级别。所述的音色修改参数选自基频倍频段修改参数和音感类型修改参数中的任意一种或任意两种，所述的基频倍频段修改参数包括基频倍频段幅值修改系数vk、合成参数n和调节基频，所述的音感类型修改参数包括各音感类型对应的缩放系数、自定义音感设置，所述音感类型包括沉闷感、厚重感、丰富感、明快感、明亮感、尖锐感，自定义音感设置用于修改各音感类型的频率范围，增加音感类型并设置其频率范围。
优选的，所述的可编辑的多级音色合成方法采用音色重构模型进行音色的合成。音色重构模型将源音色的音色特征信息分为两部分：修改部分和保留部分，对所述修改部分的频率段进行效果的增强或减弱，所述的频率段包括：基频到k倍频段、各类型音感段，所述的k满足k≤采样频率/(2*基频)且k为整数，具体方法公式如下：
其中，
对于基频倍频段的修改，vk表示对应的基频或倍频段幅值修改系数，k表示k倍频，k＝1即基频段，k表示参与修改的最高倍为k倍频，k＝1,2,3，…，合成时根据实际音源的基频进行灵活选择；k倍频段参与修改的频率f的范围dk由合成参数n确定，f∈(fk-f1*n，fk+f1*n)，其中，f1表示源音色的基频，fk表示源音色的k倍频。
对于各类型音感段的修改，vk表示每个音感类型对应的缩放系数，k表示第k个音感类型；第k个音感类型参与修改的频率f的范围dk已确定，可由自定义音感设置修改其频率范围，音感类型个数k可以通过自定义音感设置增加。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，本发明的多音色混合的智能演奏系统还包括自动演奏单元，所述的自动演奏单元用于根据乐谱信息实现自动演奏。
进一步地，所述的自动演奏单元包括音符生成模块、节奏处理模块和音乐生成模块，所述的音符生成模块根据交互单元获取的乐谱信息生成单个音符，所述的节奏处理模块根据交互单元获取的乐谱信息将生成的单个音符进行节奏处理，所述的音乐生成模块根据交互单元获取的乐谱信息生成连续的完整音乐并播放。
进一步地，所述的音符生成模块根据交互单元获取的乐谱信息进行判断，选择音色储存单元中的音色或向混合合成单元发出合成指令合成多音色。
进一步地，所述的节奏处理根据乐谱信息中的节奏信息对单个音符进行幅值、时长和包络的改变，所述的节奏信息包括乐谱的速度标记、节拍记号、音符持续的拍数。
所述的速度标记是指乐谱中用来标明乐曲在进行中快慢的记号，有速度术语和速度公式两种，速度术语如广板、慢板、缓板、稍慢、行板、小行板、中板稍慢、中板、中板稍快、小快板、稍快、快板、急板等，速度公式是有严格时值长短的速度标记，如：以四分音符为一拍，每分钟八十拍标记为：d＝80(d表示四分音符)。
所述的节拍记号是指乐谱中用来表示节拍(拍子)的记号，一般写在乐谱的左上方，分母表示以什么音符做一拍，分子表示每小节有几拍。常用的拍子有四一拍、四二拍、四三拍、四四拍、二二拍、八三拍、八六拍等，表示形式为1/4、2/4、3/4、4/4、2/2、3/8、6/8。
所述的音符持续拍数是指每个音符持续的拍数。
进一步地，所述的音乐生成模块将经节奏处理后的音符平滑连接，并根据乐谱信息中的力度信息进行音乐的幅值调整，播放音乐。
所述的力度信息是指乐谱中用来表示音的力度强弱的信息，一般用力度记号表示，如最弱(ppp)、很弱(pp)、弱(p)、中弱(mp)、中强(mf)、强(f)、很强(ff)、最强(fff)、渐强(cresc.)、渐弱(dim)、强后即弱(fp)。
进一步地，所述的自动演奏单元在合成音乐时乐谱信息中的空拍子用波形为零来表示。
所述的空拍子是指在乐谱的简谱中表示为0的没有音高的拍子。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，本发明的多音色混合的智能演奏系统还包括通信单元，所述的通信单元用于所述智能演奏系统与其他设备和/或网络的交互。
所述的其他设备指除自身以外的任意一种设备，可以是另一套多音色混合的智能演奏系统，也可以是具有交互功能的任意一种设备或演奏系统，例如手机、平板电脑、智能手表、话筒、音响等，所述的交互方式可以是传统的利用金属导线、光纤等有形媒介传送信息的有线方式，也可以是不通过有形媒介传送信息的无线方式，例如蓝牙、wifi、2g、2.5g、2.75g、3g、4g通信方式和后续代的通信方式(4g以上的版本)等。所述的网络包括互联网和物联网，既包括系统与云端的交互，也包括系统通过网络与其他设备的交互。
进一步地，所述的通信方式选自无线方式和/或有线方式。
所述的无线方式和/或有线方式是指通信选自无线方式、有线方式、无线方式和有线方式。所述的有线方式是指传统的利用金属导线、光纤等有形媒介传送信息的方式，所述的无线方式是指不通过有形媒介传送信息的方式，选自蓝牙、wifi、2g、2.5g、2.75g、3g、4g通信方式和后续代的通信方式(4g以上的版本)中的任意一种或任意多种。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的不同级别的音色库的获取方式选自以下的任意一种或任意多种：
方式一：利用可编辑多级音色合成系统生成，所述的合成系统采用一个音色库作为源音色，通过编辑修改参数的不同，合成不同级别的音色库；
方式二：直接输入现有的音色库；
方式三：利用采集设备采集音色库。
所述的可编辑的多级音色合成系统用于编辑合成乐器不同级别的音色，模拟乐器同一音高的音符在不同弹奏条件下产生的不同音色效果，进而模拟乐器的真实音色，所述弹奏条件选自乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法的任意一种或任意多种。具体的方法是：例如使用钢琴一个音色库中的88个音色分别作为源音色，利用所述的可编辑的多级音色合成系统编辑修改参数，合成88个音色，形成一个级别音色库。使用不同的编辑修改参数，就能合成多个不同级别的音色库。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的交互单元包含智能演奏模块、模式选择模块、乐谱信息获取模块，其中，所述的智能演奏模块用于与用户进行交互，实现乐器的智能演奏；所述的模式选择模块用于音色演奏模式的设置和实时切换；所述的乐谱信息获取模块用于根据乐谱获取乐谱信息。
进一步地，所述的智能演奏模块用于获取用户智能演奏时的按键信息和音色演奏模式，并提供给音色生成单元。
所述的音色演奏模式对应于音色储存单元中的一个或多个音色库，所述的音色库是每一种乐器的不同级别的音色库。
进一步地，所述音色演奏模式的切换方式选自手动切换方式和自动切换方式，所述的手动切换方式是指用户在演奏过程中手动选择音色演奏模式进行模式的切换；所述的自动切换方式是指智能演奏模块根据用户智能演奏时的按键信息与乐谱信息获取模块提取的乐谱信息进行对比，进行音色演奏模式的自动切换。
进一步地，用户通过所述的乐谱信息获取模块提取乐谱信息，用于进行音色演奏模式的自动切换和乐谱的自动演奏。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述乐谱的来源方式选自以下的任意一种或任意多种：
方式一：使用系统内储存的乐谱；
方式二：用户手动输入乐谱；
方式三：通过网络下载的乐谱；
方式四：通过外部设备导入的乐谱。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的乐谱选自单音色乐谱、多个单音色的乐谱、多音色乐谱的一种或多种，所述的单音色乐谱是指整个乐谱使用单音色演奏的乐谱，所述的多个单音色的乐谱是指乐谱的不同小节使用不同的单音色进行演奏的乐谱，所述的多音色乐谱是指乐谱的不同小节使用多个单音色混合的音色进行演奏的乐谱。
进一步地，所述的乐谱包含多个乐器同时或非同时演奏相同音符和/或不同音符的乐谱。
所述的多个乐器同时或非同时演奏相同音符和/或不同音符是指多个乐器共同演奏一首乐谱，同时弹奏或非同时演奏的内容可以是相同的音符、也可以是不同的音符。例如在一个交响乐队在进行演奏时，某一时刻小提琴演奏2拍的la，中提琴演奏2拍的mi，是同时演奏不同音符的情况；某一时刻小提琴演奏2拍的la，中提琴也演奏2拍的la，是同时演奏相同音符的情况；小提琴在第一小节(第1-4拍)演奏mi、mi、fa、so(均为1拍)后，中提琴在第二小节(第5-8拍)演奏mi、mi、fa、so(均为1拍)，是非同时演奏相同的音符的情况；小提琴在第一小节(第1-4拍)演奏mi、mi、fa、so(均为1拍)后，中提琴在第二小节(第5-8拍)演奏so、fa、mi、re(均为1拍)，是非同时演奏不同音符的情况。
进一步地，所述的多个乐器包括同一种乐器的不同个体，也包括不同种乐器。
所述的同一种乐器的不同个体是指同一种乐器不同类别或不同型号的个体，例如，可以是钢琴中的三角琴和电钢琴，也可以是电钢琴的不同型号(例如，雅马哈电钢琴p系列的p-48和p-45型号)，也可以是相同型号的电钢琴(例如，均为雅马哈电钢琴p系列的p-48型号)。所述的不同种乐器是指例如钢琴、电钢琴、小提琴、中提琴属于不同种乐器。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的乐谱信息包含调号信息、音符信息、节奏信息、声部信息。
所述的调号是指五线谱里记在谱号后面用以表示乐曲所用调域的变音记号。同样一个自然七声音阶，当演奏者从十二律中选用不同的律来构成而形成不同的调域时，在键盘上表现为不同的选键方式。由于黑键在五线谱上的记法是通过在白键音位的音符前面添写#或b号来表示的，所以凡调域中所包括的若干黑键，在五线谱上也用若干#或b号来表示，这些升降记号写在五线谱上每行谱表左端，谱号的右侧，成为乐曲所用调域的标志。调号有以下几种：c、g、d、a、e、b、#f、#c、f、bb、be、ba、bd、bg、bc。
所述的音符信息是指记录音的高低的符号，简谱中的自然七声音阶1、2、2、3、4、5、6、7，包括其升一个或多个八度和降一个或对个八度的音阶，还包括简谱中的0，即空拍；所述的音符信息包括自然七声音阶的各种形式，包括五线谱中的音符、简谱等各种形式。
所述的节奏信息包括乐谱的速度标记、节拍记号、音符持续的拍数。上面已有介绍，不再详述。
所述的声部信息是指乐谱共有几个声部(即同时进行几行乐谱)，每一个声部的音符信息和节奏信息不同。
进一步地，所述的乐谱信息还包含力度信息、表情信息、乐器信息的任意一个或任意多个。
所述的力度信息是指乐谱信息中用来表示音的力度强弱的信息，一般用力度记号表示，如最弱(ppp)、很弱(pp)、弱(p)、中弱(mp)、中强(mf)、强(f)、很强(ff)、最强(fff)、渐强(cresc.)、渐弱(dim)、强后即弱(fp)。
所述的表情信息是指乐谱信息中用来表示演奏情绪的信息，一般用表情记号来表示，主要有agitato(激动地，兴奋地)、animato(精神焕发地)、appassionnato(热情地)、brillante(华丽的)、cantabile(如歌般的)、conbrio(辉煌灿烂的)、conmoto(活跃的，稍快的)、conspirito(精神抖擞的)、dolce(甜蜜的，温柔的)、doloroso(伤心的，悲痛的)、energiaco(用力的，加强的)、espressivo(富有表情的)、grave(极缓慢的)、grazioso(优雅的)、legato(圆滑的)、leggiero(轻快的)、maestoso(庄严的)、marcato(加强的)、molto(很，甚)、morendo(逐渐消失)、scherzando(诙谐的)、sostenuto(音要持续的)、subito(突然的，立刻的)、tranquillo(安静的，平静的)、vivo(活泼的)。
所述的乐器信息是指乐谱信息中表示演奏乐器信息。所述的表情信息和乐器信息决定了演奏乐器和不同级别的音色。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的交互单元支持采用软件配置的方式，根据搭载所述智能演奏系统的设备配置交互单元的形式。例如在电脑上搭载本发明的智能演奏系统，则可以将电脑的键盘、鼠标和显示屏配置为交互单元的形式，可以将电脑键盘的每一个按键配置为进行智能演奏的乐器按键，不同的按键代表不同音高音符。
进一步地，所述的交互单元的可以配置为任意的表现形式，优选的表现形式选自触摸屏、键盘、按钮、显示屏、遥控器中的任意一种或任意多种。
所述的交互单元的表现形式是指通过软件将某一种形式配置为可与本发明的智能演奏系统进行交互的媒介，交互的外在表现形式可以是触摸屏、键盘、按钮、显示屏、遥控器等形式，交互单元的外在表现形式并不仅仅局限于以上一种或多种。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的音色演奏模式分为单音色类型和多音色类型两种类型，所述的单音色类型是指用于演奏单音色的音色演奏模式，所述的多音色类型是指用于演奏多音色的音色演奏模式。
进一步地，所述的音色生成单元根据当前的演奏模式进行判断，若当前的音色演奏模式为单音色类型，则直接选择音色储存单元中对应当前演奏模式的音色库，根据交互单元获取的用户智能演奏的按键信息播放音色；若当前的音色演奏模式为多音色类型，则向混合合成单元发出合成指令。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述音色库的数量取决于乐器种类的数量和每一种乐器的音色级别数量。
所述的音色库数量由每一种乐器的音色级别数量相加得到的。例如有2种乐器，分别是钢琴和小提琴，钢琴有10种级别的音色库，小提琴有5种级别的音色库，则音色库共有15个。
进一步地，所述的乐器选自键盘乐器、弦乐器、管乐器、打击乐器的任意一种或任意多种。
进一步地，所述的键盘乐器选自钢琴、管风琴、手风琴、电钢琴的任意一种或任意多种，所述的弦乐器选自竖琴、吉他、古琴、琵琶、筝、贝司、小提琴、中提琴、大提琴的任意一种或任意多种，所述的管乐器选自单簧管、双簧管、黑管、巴松管、英国管、长笛、短笛、木笛、排笛的任意一种或任意多种，所述的打击乐器选自木琴、钢片琴、管钟、编钟、鼓、锣、三角铁、钹、响板、砂槌的任意一种或任意多种。
所述的乐器种类是指例如钢琴、管风琴、吉他是不同种类的乐器。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，所述的音色储存单元还进一步用于储存自然音的音色库和/或合成音色的音色库，所述的自然音是指人、动物、自然界发出的音色，所述的合成音色是指电子合成的各种效果的音色。
进一步地，所述的自然音选自人声、动物声、流水声、水滴声、树声、雨声、海浪声、风声的任意一种或任意多种。
所述的人声包括口哨声、人声哼唱等声音，所述的动物声包括百灵鸟叫声、喜鹊叫声、虫鸣声、蛙声等动物昆虫等发出的声音，所述的流水声包括涓涓溪流声、哗哗水声、瀑布声等，所述的水滴声是指水滴滴答滴答的声音，所述的树声是指风吹树叶产生的哗哗的声音，所述的雨声包括小雨淅淅沥沥的声音、大雨哗哗的声音等，所述的海浪声是指海浪的声音，所述的风声是指风吹的呼呼声。
进一步地，所述的合成音色选自科幻、明亮、大气、恐怖、幽静、舒缓的任意一种或任意多种。
基于本发明的多音色混合的智能演奏系统，本发明还提供相应的智能演奏方法，所述的智能演奏方法用于单音色和/或多音色的联合演奏，所述的单音色是指一种乐器的一个音色级别，所述的多音色是多个单音色的混合音色，所述的一个音色级别是指一种音色效果，同一种乐器在不同弹奏条件下弹奏同一音高的音符所产生的不同音色效果，所述的弹奏条件选自乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法中的任意一种或任意多种；所述的多音色的联合演奏选自同一种乐器不同级别音色的联合演奏、不同种乐器之间音色的联合演奏；所述的智能演奏方法支持在演奏过程中实时切换不同的音色类型，所述的实时切换不同的音色类型选自不同单音色之间的实时切换、单音色与多音色之间的实时切换、不同多音色之间的实时切换，所述的智能演奏方法包括如下步骤：
(1)利用交互单元进行智能演奏系统的交互并获得反馈信息，以及根据乐谱获取乐谱信息；
(2)音色生成单元根据交互单元提供的反馈信息和乐谱信息进行判断，选择音色储存单元中的音色进行播放或给出合成指令；
(3)混合合成单元在收到音色生成单元给出的合成指令后，利用音色储存单元中的音色库和交互单元提供的反馈信息和乐谱信息进行混合音色的合成并播放。
进一步地，本发明还提供一种多音色混合的智能演奏系统的智能演奏方法，所述的智能演奏方法包括如下步骤：
(1)用户通过交互单元设置音色演奏模式，可选地获取乐谱信息，进行智能演奏并可选地实时切换音色演奏模式，同时交互单元采集当前的音色演奏模式和用户智能演奏的按键信息；
(2)音色生成单元根据当前的音色演奏模式和用户智能演奏的按键信息进行判断，选择音色储存单元中的音色进行播放或给出合成指令；
(3)混合合成单元在收到音色生成单元给出的合成指令后，利用音色储存单元中的音色库和交互单元提供的音色演奏模式和用户智能演奏的按键信息进行混合音色的合成并播放。
进一步地，如前所述任何一种形式的多音色混合的智能演奏方法，本发明的多音色混合的智能演奏方法步骤(1)后还包括多级音色合成步骤，所述的多级音色合成步骤根据乐谱信息的音色要求合成音色，所述的音色要求是指乐器的音色级别。
进一步地，本发明还提供一种多音色混合的智能演奏系统的智能演奏方法，所述的智能演奏方法包括如下步骤：
(1)利用交互单元进行智能演奏系统的交互并获得反馈信息，以及根据乐谱获取乐谱信息；
(2)自动演奏单元根据乐谱信息进行自动演奏。
进一步地，本发明的多音色混合的智能演奏方法还包括通信步骤，用于所述智能演奏系统与其他设备或网络的交互。
本发明还提供一种智能设备，所述的智能设备包含如前所述任何一种形式的多音色混合的智能演奏系统。
进一步地，所述的智能设备为多音色混合的智能演奏设备，所述的智能演奏设备选自电子乐器、计算机、移动智能终端，所述的智能终端是能够捕获外部信息，能进行计算、分析和处理，具有信号发生功能，并能在不同终端之间能够进行信息传输的便携式设备；所述的电子乐器是指通过触发电子信号，利用电子合成技术和/或采样技术来使电声设备发出声音的乐器。
进一步地，所述的移动智能终端选自智能手机、智能手表、智能眼镜、pda、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机。
进一步地，所述的多音色混合的智能演奏设备为计算机，所述的计算机搭载所述多音色混合的智能演奏系统，所述智能演奏系统的交互单元的表现形式为计算机的显示屏、键盘和鼠标，所述键盘用于进行智能演奏和选择并切换音色演奏模式，所述键盘上的每一个按键作为智能演奏的乐器按键，不同的按键代表不同音高的音符，鼠标和显示屏用于设置并显示音色演奏模式和输入并显示乐谱信息。
进一步地，所述的多音色混合的智能演奏设备为电子乐器，所述的电子乐器搭载所述多音色混合的智能演奏系统，所述的电子乐器为电钢琴或电子琴，所述智能演奏系统的交互单元的表现形式为电钢琴或电子琴的键盘、按钮和触摸屏，所述键盘上的按键用于进行智能演奏和获取用户的按键信息，按钮用于设置、选择和切换音色演奏模式，所述触摸屏用于输入乐谱信息，显示乐谱信息和音色演奏模式。
进一步地，所述的智能设备为智能家居设备，所述的智能家居设备是指任何一样可以通过物联网技术连接、进行控制的家居或办公设备，所述的智能家居设备选自音视频设备、照明设备、窗帘控制设备、空调控制设备、安防设备、数字影院系统设备、影音服务器、影柜系统设备、网络家电设备。
具体地，例如，一种智能家居设备——台灯搭载所述多音色混合的智能演奏系统，则可以将台灯当做一种能够实现自动演奏的发音装置，若在台灯上安装可以进行触摸控制的感应器和控制器，则可以在台灯上进行智能演奏，使台灯成为一种智能乐器。
进一步地，如前所述任何一种形式的多音色混合的智能演奏系统，本发明的多音色混合的智能演奏系统可应用于电子乐器、演奏、示教、辅助作曲、音乐播放、智能家居领域。
进一步地，如前所述任意一种形式的智能设备，本发明的智能设备可应用于电子乐器、演奏、示教、辅助作曲、音乐播放、智能家居领域。
本发明的有益效果是：
1.本发明针对现有技术不能解决的一个人用一种演奏系统来实现多个乐器同时演奏同一音符(例如c调的mi)的合奏效果的问题，发明了一种能够将多种音色进行混合，演奏出多音色的系统，使得一个人利用本发明就能实现一个乐队演奏(多人和/或多乐器)的演奏效果。所述的多音色是多个单音色的混合音色，具体表现为同一个音符(例如c调的mi)是由两种或两种以上的单音色合奏的演奏效果，包括不同乐器种类的单音色合奏、同一乐器种类不同音色级别的单音色合奏，所述的单音色是指一种乐器的一个音色级别，所述的一个音色级别是指一种音色效果，同一种乐器在不同弹奏条件下弹奏同一音高的音符所产生的不同音色效果，所述的弹奏条件选自乐器类型、乐器生产厂家、乐器型号、乐器个体、弹奏者/物、弹奏手法中的任意一种或任意多种。所述的乐队演奏的演奏效果是指由多个人共同演奏或多个乐器共同演奏的效果。本发明的多音色混合的智能演奏系统，触碰交互单元(例如，在键盘上按一个键)，能发出多种音色的合奏效果(例如古典钢琴和小提琴合奏的演奏效果)。
2.本发明提供的多音色混合的智能演奏系统能实现单音色和/或多音色的联合演奏，所述的单音色是指一种乐器的一个音色级别，所述的多音色是多个单音色的混合音色，是音色级别层面的混合，同时包含乐器种类层面的混合，所述的多音色具体表现为同一个音符(例如c调的mi)由两种或两种以上的单音色合奏的演奏效果。
3.本发明提供的多音色混合的智能演奏系统能将同一种乐器不同音色级别的音色进行混合演奏，实现了多个演奏者使用同种乐器共同演奏的演奏效果(如钢琴的二重奏)；本发明提供的多音色混合的智能演奏系统能将不同种乐器的音色进行混合演奏，实现了不同种乐器共同演奏的演奏效果(如钢琴和小提琴的合奏)，能够形成类似乐队的多种乐器的演奏效果。
4.本发明提供的多音色混合的智能演奏系统将不同乐器种类的音色、同一种乐器不同级别的音色集中在一个系统上，实现了多个乐器(包括乐器种类不同的多个乐器和同一乐器种类的不同乐器个体的多个乐器)的演奏功能，是一种集合了多乐器功能的演奏系统。
5.本发明提供的多音色混合的智能演奏系统使乐器演奏脱离乐器实体的限制，使得任何一个智能终端配备一定的外设即可实现乐器的演奏，便于移植和携带，所述的智能终端为能够捕获外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的设备。
6.本发明提供的多音色混合的智能演奏系统支持在演奏过程中进行实时的音色模式切换，能够实现手动切换和根据乐谱信息自动切换。
7.本发明提供的多音色混合的智能演奏系统能够根据乐谱实现自动演奏，实现了多人多乐器的演奏，能够辅助乐曲的创作，尤其是多人演奏或多乐器演奏的乐队演奏曲。
附图说明
图1为本发明多音色混合的智能演奏系统的结构框图；
图2为实施例一用户智能演奏曲目的简谱图；
图3为实施例一用户进行智能演奏的流程图；
图4为实施例二自动演奏的乐谱；
图5为实例三中的音色合成结果图，a图为源音色的时域波形，b图为合成音色的时域波形，c图为源音色的频域信息图，d图为合成音色的频域信息图，e图为源音色与合成音色重合对比的频域信息图，f图为源音色与合成音色做差对比的频域信息图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本发明。下面描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。
在说明书和权利要求书中，术语“a和/或b”是指或者a、或者b、或者a和b。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明可以各种形式呈现，以下将描述其中一些实例。
图1为本发明多音色混合的智能演奏系统的结构框图。所述智能演奏系统包括音色储存单元101、交互单元102、音色生成单元103、混合合成单元104。
实施例一
本实施例的多音色混合的智能演奏系统，包括音色储存单元、交互单元、音色生成单元、混合合成单元。
本实施例的多音色混合的智能演奏系统中，音色储存单元101中储存有28种乐器共160种级别的音色。其中，有15种级别的钢琴音色，分别为分别是酒吧钢琴、亮音钢琴、古典钢琴、华贵钢琴、轻快钢琴、教会钢琴、斯坦威钢琴1、斯坦威钢琴2、法奇奥里钢琴、布鲁兹纳钢琴、雅马哈钢琴1、雅马哈钢琴2、雅马哈钢琴3、海伦钢琴1、海伦钢琴2；5种级别的风琴音色，分别是摇滚风琴、教会风琴、簧片风琴、手风琴、探戈手风琴；7种级别的电钢琴音色，分别是雅马哈电钢琴1、雅马哈电钢琴2、卡西欧电钢琴、舒曼电钢琴、卡瓦依电钢琴、罗兰电钢琴1、罗兰电钢琴2；4种级别的贝司音色，分别是贝司(敲击弹奏1)、贝司(敲击弹奏2)、合成贝司1、合成贝司2；10种级别的吉他音色，分别是吉他(尼龙)、吉他(钢弦)、吉他(爵士)、吉他(原音)、吉他(闷音)、破音吉他、强烈破音吉他、吉他泛音、电吉他(指拨)、电吉他(拨片)；2种级别的中提琴音色，分别是中提琴1、中提琴2；其他乐器和其他级别的音色这里不再一一详述。
具体地，本实例中的乐器或某品牌乐器后用数字序号“1”、“2”、“3”来描述各种乐器或各种品牌的乐器，但是这些乐器不受到这些数字序号的限制。这些数字序号用于将一个乐器与另一个乐器进行区分，是指一种序号指代，代表的是该种乐器或该种品牌的乐器具体的一种乐器型号的音色。例如，雅马哈钢琴1、雅马哈钢琴2、雅马哈钢琴3是指雅马哈钢琴的三种型号，具体地，例如雅马哈钢琴1是指雅马哈钢琴ys系列的ys1的音色，雅马哈钢琴2是指雅马哈钢琴yz系列的yz122的音色，雅马哈钢琴3是指雅马哈u系列的u1的音色。类似的，海伦钢琴1、海伦钢琴2，罗兰电钢琴1、罗兰电钢琴2，中提琴1、中提琴2，口琴1、口琴2代表的是该种乐器或该种品牌的乐器具体的一种乐器型号的音色，合成贝司1、合成贝司2是指合成出来的两种不同型号的贝司的音色。
在本实施例的多音色混合的智能演奏系统搭载在一架电子琴上，交互单元配置为电子琴的按钮、触摸屏和键盘。
当用户使用本实施例的多音色混合的智能演奏系统进行智能演奏时，首先在交互单元102中设置音色演奏模式，音色演奏模式依次设置为：模式1-古典钢琴，模式2-轻快钢琴，模式3-雅马哈钢琴1，模式4-教会风琴，模式5-电钢琴1、模式6-口琴1，模式7-古典钢琴和口琴1，模式8-轻快钢琴和古典钢琴，模式8-轻快钢琴和古典钢琴和口琴2，模式10-贝司(敲击弹奏1)和教会风琴和中提琴1。接下来在交互单元的键盘上进行智能演奏，图2为本实施例用户智能演奏曲目的简谱图，每一个竖线代表一个小节的结束。首先选择音色演奏模式1(古典钢琴)演奏乐谱的第1-8个小节，在演奏完第8个小节的最后一个音1(do)后手动选择演奏模式3(雅马哈钢琴1)，演奏第9-12小节，在演奏完第12个小节的最后一个音3(mi)后手动选择演奏模式8(轻快钢琴和古典钢琴)至演奏结束。
在用户智能演奏的同时，本实施例交互单元获取用户在键盘上演奏的按键信息和当前选择的音色演奏模式，根据按键信息和音色演奏模式，音色生成单元进行判断，若当前的音色演奏模式为单音色类型，则直接选择音色储存单元中对应当前演奏模式的音色库，根据交互单元获取的用户智能演奏的按键信息播放音色；若当前的音色演奏模式为多音色类型，则向混合合成单元发出合成指令(模式1-6为单音色类型，模式7-10为多音色类型)。在本实施例中，用户智能演奏第1-8小节音乐时，采用的音色演奏模式是模式1(古典钢琴)，是单音色类型，键盘上按下的键是中央c右面第二个键(c调的mi即e1)，音色生成单元判断为单音色类型，选择音色储存单元中的古典钢琴的音色库中对应按键e1的音色播放。以此类推。当演奏到第9小节的第一个音2(re)时，音色演奏模式是模式3(雅马哈钢琴1)，键盘上按下的键是中央c右面第一个键(c调的re即d1)，交互单元获取的是音色演奏模式是雅马哈钢琴1，按键信息是d1，音色生成单元判断为单音色类型，选择音色储存单元中的雅马哈钢琴1的音色库中对应按键d1的音色播放。当演奏到第13小节的第一个音3(mi)时，音色演奏模式是模式8(轻快钢琴和古典钢琴)，键盘上按下的键是中央c右面第一个键(c调的mi即e1)，交互单元获取的是音色演奏模式是轻快钢琴和古典钢琴，按键信息是e1，音色生成单元判断为多音色类型，向混合合成单元发出合成指令。混合合成单元在接受到合成指令后，根据交互单元提供的音色演奏模式(轻快钢琴和古典钢琴)，和反馈的按键信息(e1)，将音色储存单元中的轻快钢琴的e1和古典钢琴的e1两个音色进行混合合成，生成多音色并播放。图3为用户进行智能演奏的流程图。
当用户选择自动方式切换音色演奏模式时，首先通过交互单元的乐谱信息获取模块输入乐谱。在用户进行智能演奏时，交互单元的智能演奏模块根据用户智能演奏的按键信息与乐谱信息获取模块提取的乐谱信息进行对比，按照乐谱上音符的顺序与按键的顺序进行对照，按照乐谱信息中的音色信息进行切换，实现音色演奏模式的自动切换。
本发明的多音色混合的智能演奏系统，当用户不设置音色演奏模式时，默认音色演奏模式为系统初始化的模式。当用户在智能演奏时不选择、切换音色演奏模式时，默认选择音色演奏模式1。
实施例二
本实施例的多音色混合的智能演奏系统，包括音色储存单元、交互单元、音色生成单元、混合合成单元、自动演奏单元、通信单元。
本实施例的多音色混合的智能演奏系统中，音色储存单元101中储存有5种乐器共20种级别的音色。其中，有6种级别的钢琴音色，分别为分别是古典钢琴、教会钢琴、轻快钢琴、雅马哈钢琴1、雅马哈钢琴2、海伦钢琴；4种级别的风琴音色，分别是摇滚风琴、教会风琴、簧片风琴、探戈手风琴；4种级别的贝司音色，分别是贝司(敲击弹奏1)、贝司(敲击弹奏2)、合成贝司1、合成贝司2；4种级别的吉他音色，分别是吉他(爵士)、吉他(原音)、吉他(闷音)、电吉他；2种级别的小提琴音色，分别是小提琴1、小提琴2。
本实施例系统的通信单元实现与智能手机通信，智能手机通过蓝牙发送如图4所示的乐谱给系统，系统的自动演奏单元根据乐谱信息进行自动演奏。
自动演奏单元中的音符生成模块根据乐谱信息进行判断，选择选择音色储存单元中的音色或向混合合成单元发出合成指令合成多音色。节奏处理根据乐谱信息中的节奏信息对单个音符进行幅值、时长和包络的改变，所述的节奏信息包括乐谱的速度标记、节拍记号、音符持续的拍数。音乐生成模块将经节奏处理后的音符平滑连接，并根据乐谱信息中的力度信息进行音乐的幅值调整，播放音乐。
如图4所示自动演奏的乐谱，自动演奏单元获取的乐谱信息中的乐器信息为小提琴和钢琴(两个声部)，系统默认使用音色储存单元中的小提琴1的音色和古典钢琴的音色。
自动演奏单元先处理第一声部，乐器信息为小提琴。以第一小节为例，乐谱第1个小节的第一个音符为c调的mi即e1，音色为小提琴1，是单音色类型，选择音色储存单元中的小提琴1音色库中对应e1音色的波形。节奏处理模块获取到的节奏信息，利用如下公式计算音符的时长：
其中，a表示音符时长，单位为秒(s)，n表示音符持续拍数，d表示每分钟的拍数。
本实例中获取的节奏信息为：速度标记为中速，节拍记号为四四拍，d＝100(即每分钟100拍)，e1的持续拍数为1拍，利用公式计算得到e1持续时间为0.6s，将音色库中e1音色的波形进行幅值、包络和时长的处理得到0.6s的e1音色波形。同样的方式处理第一小节的第二个音符c调的mi即e1，得到0.6s的e1音色波形，按照此种方法对每个音符的波形进行一一处理，之后音乐生成模块将单个的音符的波形幅值进行调整和平滑连接，形成第一声部的音乐。
接下来自动演奏单元处理第二声部，乐器信息为钢琴。处理的方式与第一声部相同(第1-4个小节为0，即无波形)得到第二声部的音乐。之后将两个声部的波形进行叠加，并对波形的幅值进行调整和平滑处理，得到完整的音乐进行播放。
实施例三
本实施例的多音色混合的智能演奏系统，包括音色储存单元、交互单元、音色生成单元、混合合成单元、多级音色合成单元。
本实施例利用多级音色合成单元合成多个级别的音色库。
本实施例的多音色混合的智能演奏系统中，音色储存单元中储存有5种乐器共20种级别的音色。其中，有6种级别的钢琴音色，分别为分别是古典钢琴、教会钢琴、轻快钢琴、雅马哈钢琴1、雅马哈钢琴2、海伦钢琴；4种级别的风琴音色，分别是摇滚风琴、教会风琴、簧片风琴、探戈手风琴；4种级别的贝司音色，分别是贝司(敲击弹奏1)、贝司(敲击弹奏2)、合成贝司1、合成贝司2；4种级别的吉他音色，分别是吉他(爵士)、吉他(原音)、吉他(闷音)、电吉他；2种级别的小提琴音色，分别是小提琴1、小提琴2。
以合成明亮钢琴音色库中的一个音色(c调的la即a1)为例，合成步骤如下：
音符信息为c调的la(a1)，从音色储存单元中选取乐器种类为钢琴的古典钢琴音色库中的c调的la(a1)的钢琴音色文件作为源文件进行处理，采样频率为44100hz，选取最高计算倍频数为14倍频(k＝14)。源音色时域波形如图5(a)所示。
步骤一：对源音色进行音色分解，计算出源音色的音色特征信息(包含基频的频率、幅值、相角信息，倍频的频率、幅值、相角信息，余频的频率、幅值、相角信息)。
首先分析源音色的时域信息，并将其进行傅里叶变换计算出其频域信息，包括各频率及其对应的幅值、相角信息；音色分解单元对源音色的时域和频域信息进行分析确定基频；根据其整数倍频率来确定对应源音色基频的倍频。
步骤二：将音色特征信息(包含基频的频率、幅值、相角信息，倍频的频率、幅值、相角信息，余频的频率、幅值、相角信息)保存。
步骤三：编辑音色修改参数，可以选择基频倍频段修改参数和音感类型修改参数的任意一种或任意两种；其中，通过调整所述基频倍频段修改参数来改变源音色中基频倍段的占比，以改变音色效果；通过修改所述音感类型修改参数来调整音色的音感效果。本实例中选择编辑基频倍频段修改参数合成音色。
步骤四：根据音色修改参数和音色特征信息合成音色，采用音色重构模型进行音色合成。
音色重构模型的具体公式如下：
其中，
对于基频倍频段的修改，vk表示对应的基频或倍频段幅值修改系数，k表示k倍频，k＝1即基频段，k表示参与修改的最高倍为k倍频，k＝1,2,3，…，合成时根据实际音源的基频进行灵活选择；k倍频段参与修改的频率f的范围dk由合成参数n确定，f∈(fk-f1*n，fk+f1*n)，其中，f1表示源音色的基频，fk表示源音色的k倍频。
对于各类型音感段的修改，vk表示每个音感类型对应的缩放系数，k表示第k个音感类型；第k个音感类型参与修改的频率f的范围dk已确定，可由自定义音感设置修改其频率范围，音感类型个数k可以通过自定义音感设置增加。
本实施采用的修改参数为：
基频倍频段幅值修改系数vk＝[1,1,1,1,0.6,2.6,0.4,1.8,0.2,0.6,0.2,2.6,1,1.2]，合成参数n＝0.3
音色合成结果：
本实施例合成音色的时域波形如图5(b)所示，表示合成音色随时间变化的波形变化(采样频率为44.1khz)
从图5的a图与b图的对比中，可以很明显的观察到源音色与合成音色的时域波形有所区别；结合源音色的频域信息图(c图)与合成音色的频域信息图(d图)，观察源音色与合成音色重合对比的频域信息图(e图)，可以明显的发现，源音色和合成音色的频域信息具有一些差别，例如，在e图中从左边数第5个峰源音色(蓝色)对应频率的幅值大，第6个峰合成音色(红色)对应频率的幅值大，其他区别不再详述；f图源音色与合成音色做差对比的频域信息图更直观明显的显示了源音色与合成音色在频域信息上的差别；试听源音色与合成音色，可以听出合成音色具有钢琴的音质，并且比源音色更明亮，合成了具有明亮感的钢琴音色。
类似地，合成明亮钢琴音色库中的其他87个音色(明亮钢琴音色库中的88个音色分别对应钢琴的88个音高)，形成明亮钢琴音色库，用于智能演奏。智能演奏步骤的例子如实施例一，这里不再详细描述。
- 还没有人留言评论。精彩留言会获得点赞！