用图像表达音乐的软件的制作方法
【技术领域】
[0001] 本发明用图像表达音乐的软件属于信息技术处理领域，可用于计算机系统、手持 智能终端、互联网、移动互联网的音乐播放功能，为听音乐的人特别是耳聋人提供音乐的图 像享受。
【背景技术】
[0002] 国家统计部门的调查，全国有上千万的聋哑人，每年有新生聋哑儿也近20万，是 残疾类型中比例最高的，听力损失作为名列第十五位的世界性疾病，对这些人造成一生的 遗憾。世界上人们创造了丰富多彩的歌曲和乐曲，使人得到了精神的喜悦和享受，而耳聋人 终身无法感受音乐为人生带来的快乐。学者研究发现，一些聋哑人的视觉鉴别能力和对色 彩刺激的视觉记忆力较强，由于生理的补偿，他们的视觉记忆和想象力有可能高于正常人。
[0003] 当前，音乐播放器中已有伴随音乐带有图像显示的软件，如微软的media player 是一款音乐播放器，其中一项功能是配合音乐的播放同时显示图像，但显示的图像不规则， 是按软件自身设定好的方式进行显示，图像变化的节奏同播放的音乐内容关系不大，其目 的是为正常人在欣赏音乐的同时伴以图像的烘托，并不是要传达音乐的内涵和情感。另外 一种《音乐图片播放器》是在欣赏MP3音乐时，可以显示用户喜欢的图片来配合，一边欣赏 音乐，一边观看图片了。用户可以将喜欢的图片添加到图片清单，在欣赏音乐的同时观看图 片。
[0004] 在专利文献（专利【申请号】200680010119. 0)中所揭示的音乐图像播放装置中，旨 在实现的是人物脸部各部位的表情变化，试图采用动画的形式来体现音乐，该装置选取人 物的部位特征（眉毛、眼睛等）的不同形态，与从傅里叶变换单元得到的多个频率成分的各 成分相对应，并根据各频率成分的振幅等级相应决定所取人物的部位，尽而完成人物绘画 并进行显示。根据得到的多个频率成分的各时间变化的大小来设定控制监视器上显示的人 物数，根据音乐的演奏过程，逐一地显示对应的图案。专利文献中所述虽然是根据特性来对 应相应的图案，问题是音乐的频率和振幅是两个特征，不能将频率的特征和振幅的特征综 合起来对应一个图像，而且专利文献中给出的频率、振幅与图形的对应关系，相近频率和振 幅的对应图像之间没有任何关联，随音乐变化所显示的图像前后并没有连续性，因而不能 表现出音乐的内容。
[0005] 本软件发明是为了解决上述的问题而提出的，其目的在于提供一种能够根据音乐 的节拍、音色、音量等特性，选取相对应的图像，用图像的色彩、大小、变化节奏来表达音乐 的主题、内涵、情感，来感染耳聋人，使耳聋人能够感受人类所创造的丰富的音乐成果。
【发明内容】
[0006] 当前，为使信息系统能够处理音乐，首先对音乐的声音采用PCM方式进行数字化 处理，采样频率有11. 〇25kHz、22. 05kHz、44. 1kHz。音乐数字化后的信息存储格式有WAV(波 形文件）、MIDI (电子音乐文件）、CDA (CD唱片文件）、MP3 (高压缩格式）、RA、RM (用于网络 的流式传播格式）等，不管音乐文件采用那种格式存放，在播放音乐时，首先将数字信息进 行波形数据的还原，该解压的解压，该转换的转换，将还原的波形数据送给播放电路进行播 放。
[0007] 本软件从音乐的波形数据信息中按时间段获取频率、振幅等多个特征的代表值； 按照用户默认或自定义的时间段、图像库、颜色参数、频率点和显示比例参数，根据提取的 特征值从图像库中提取图像、颜色参数、显示比例和时间段值而生成相应的图像进行显示。 通过相应图像的形状变化、颜色变化、大小变化、显示速度变化来表达音乐的主题、节奏、音 色、声量等，进而传达音乐要表现得意境、内涵和情感，使人（特别是耳聋的人）通过观看图 像的变化来体会该乐曲的魅力。该软件可应用于各种带有显示功能的音乐播放系统中，如： 电脑、智能手机、IPAD、MP4等。本软件可以单独构成一个音乐播放器，也可以嵌入其它音乐 播放软件中使用。
[0008] 本发明的时间段管理模块可由用户默认或自行定义特征提取的时间段的长短。音 乐是有拍节的，有4分、8分、16分、32分节拍。这里的4分拍对应的一拍就是1秒钟，而32 分拍对应的一拍就是1/8秒钟。这里的时间段就是一个音符延续的时间。本软件的特征 提取模块利用音乐的这一特点，对波形数据按时间分段进行提取，例如按1 / 8秒进行分段 提取特征。也可以按1/4秒、1/2秒、1秒来分段进行提取。可由用户自行选择时间段 长短，时间段在1 / 8秒到1秒之间选择。
[0009] 本发明的频率点管理模块可由用户默认或自行定义采集的频率点。人耳可听到的 声音为20HZ?20KHZ，男声的频率约为150?600HZ，女声的频率约为1. 6KHZ?3. 6KHZ， 乐器的声音频率大约在27HZ?5KHZ，根据上述情况，对100HZ到5KHZ频率之间的频率给 予重点采集。对频率点的选取不一定采用均匀分布的方式，可以对重点频率范围多选一些 选取点。例如可以选取如下的9个频率点：100HZ、400HZ、700HZ、1000HZ、1500HZ、2000HZ、 3000HZ、4000HZ、5000HZ。可以看到，前4点的间隔是300HZ，后面3点的间隔是500HZ，而最 后4点的间隔是1000HZ。本模块支持用户自行选择频率点。
[0010] 本发明的图像库管理模块中图像库存有圆形、正多边形、三角形、五角星等规则图 形，也存有图案（花朵图案、向日葵图案等）、各种图像，所存的图像可以是平面图像，也可 以是立体图形，也可以是动画。一首音乐可以对应于一个图像或几个图像。在音乐的演奏 过程中，用图像来表达音乐的主题、内涵、情感。所对应的图像可由用户选择或系统默认图 像；也可以是用户按照软件给出的限制条件选取其它的图像。系统将提供对图像库里图像 的浏览，使用户方便地进行选取确定。
[0011] 本发明的颜色参数管理模块可由用户默认或自行定义频率与颜色的对应关系，并 将颜色参数并保存于存储单元。图像的颜色将随着声波的代表频率变化而变化，频率较高 时，对应较为鲜艳的颜色，频率较低时对应较为暗淡的颜色。频率和颜色的对应关系及变化 范围，可由系统提出参考颜色由用户自行选择确定或由系统默认。现在大部分电脑和手机 可显示的颜色显示的颜色为65536种颜色以上，与人可听到的频率有足够的颜色对应，当 然这种简单的对应选择可能产生不了好的效果。可根据能得到的频率点的情况建立对应的 关系。模块包括颜色参数的自定义功能，图像参数选取时，首先列出已确定的各个频率点， 另外给出各种色彩（例如16种、32种、64种、128种等颜色），使用户可以直观地为每一频 率点选定颜色。也可以选定一组频率点，再选定一组相同数目的颜色与之对应。将用户选 定的颜色参数存入颜色参数库。作为实施例，在选择上述的9个频率点，可选取以蓝色调为 主的9种颜色，这样可使每个频点对应一种颜色。
[0012]
【主权项】
1. 一种用图像表达音乐的软件，其特征有： 从播放的音乐的波形数据信息中按时间段获取频率、振幅等多个特征的代表值的提取 模块；设有用户默认或自定义的时间段、图像库、颜色参数、频率点和显示比例参数的管理 模块；根据提取的音乐的特征值从图像库中提取图像、颜色参数、显示比例和时间段值而生 成相应的图像进行显示的模块。
2. 如权利要求1所述的用图像表达音乐的软件，其特征在于， 时间段管理模块可由用户自行选择特征提取的时间段长短，在1 / 8砂到1砂之间选 择。
3. 如权利要求1所述的用图像表达音乐的软件，其特征在于， 频率点管理模块可由用户自行选择频率点。
4. 如权利要求1所述的用图像表达音乐的软件，其特征在于， 图像库管理模块的图像库中存有若干规则的图形和图像（包括可变化得图形和图 像），供用户指定，并具有用户自行加入图像的功能。
5. 如权利要求1所述的用图像表达音乐的软件，其特征在于， 颜色管理模块可由用户默认或自行定义频率与颜色的对应关系，获得颜色参数并保存 于存储单元。
6. 如权利要求1所述的用图像表达音乐的软件，其特征在于， 显示比例管理模块可由用户自行定义显示图像占可显示区域的比例大小；软件允许显 示比例参数在显示的过程中可进行实时调整。
7. 如权利要求1所述的用图像表达音乐的软件，其特征在于， 特征提取模块由通过将音乐的声波数字信息分成小的时间段（如1 / 8砂），对每一段 数字信息选用现有傅里叶变换、小波包变换等类似的变换，求得该时间段中的代表振幅和 代表频率，并存于存储单元。
8. 如权利要求1所述的用图像表达音乐的软件，其特征在于， 图像显示模块提取用户选定的图像，再根据时间段中的代表频率值及频率对应的颜色 参数进行图像颜色的生成；再根据时间段中的代表振幅值及振幅与显示比例的对应关系确 定显示图像的大小，完成显示图像的生成。根据系统指定的显示区域、按照用户确定的时间 段将生成的图像进行显示。
【专利摘要】本发明涉及用图像表达音乐的软件。本软件的功能是通过音乐波形数据信息获得乐曲的频率和振幅，得到小时间段的代表频率和振幅，并据此提取图像、颜色参数、显示比例和时间段值，生成相应的图像进行实时显示。通过相应图像的形状变化、颜色变化、大小变化、显示速度变化来表达音乐的主题、节奏、音色、声量等，进而传达音乐要表现得意境、内涵和情感，使人(特别是耳聋的人)通过观看图像的变化来体会该乐曲的魅力。本软件可应用于各种带有显示功能的音乐播放系统中，如：电脑、智能手机、IPAD、MP4等。本软件可以单独构成一个音乐播放器，也可以嵌入其它音乐播放软件中使用。
【IPC分类】G06T11-00, G10H1-00
【公开号】CN104574453
【申请号】CN201310484968
【发明人】付晓宇
【申请人】付晓宇
【公开日】2015年4月29日
【申请日】2013年10月17日