一种根据图片自动播放歌曲的方法及系统的制作方法
【专利摘要】本发明提供一种根据图片自动播放歌曲的方法及系统，所述方法包括以下步骤。S1、对图片库中所有图片标注标签，对歌曲库中所有歌曲的歌词标注标签。S2、对图片库中所有图片进行预处理得到字典，根据所述字典重构所述图片库中所有图片。S3、扫描已经重构的图片，通过LDA得到所述图片的主题，将所述图片对应的标签添加到其自身的主题中，同时通过所述LDA得到歌曲库中歌词的主题，并将所述歌词对应的标签添加到其自身的主题中。S4、根据图片库中图片的主题得到所述图片的标签，在歌曲库中查找到标签与所述图片的标签相同的歌词，并播放对应歌曲。
【专利说明】一种根据图片自动播放歌曲的方法及系统
【技术领域】
[0001]本发明属于机器学习及模式识别领域，具体涉及一种根据图片自动播放歌曲的方法及系统。
【背景技术】
[0002]随着信息化的迅速普及，各种类型(如文本，音频，视频等)的信息带来了信息量的急剧增加。如何将内容相近但类型不同的信息进行整合，将其根据内容进行分类，使人们在需求某一特定内容的信息时，不必受限于信息的类型，从而达到多元化信息获取的目的，目前成为亟待解决的问题。
[0003]为了处理这些不同类型的信息，需要对各种类型的信息进行基于主题模型的分类。其中，LDA(Latent Dirichlet Allocation)主题模型算法是对文字隐含主题进行建模的方法，它是一个集合概率模型，主要用于处理离散的数据集合，目前主要用在数据挖掘和自然语言处理中，可降低维度。它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量互联网数据中自动寻找出文字间的语义主题。
[0004]此外，PLSI(概率潜在语义索引，probabilistic latent semantic indexing)是一种常用的概率语义模型，它把文档中的每个词建模成混合模型中取出的一个样本。其中，混合模型中的成分是满足多项式分布的随机变量。文档中不同的词可能是由不同的语义所产生的。每个文档被表示为一系列的混合组成部分，因此降维变成了在固定集合语义上的一个概率分布。LDA模型的生成过程与PLSI在本质上是相同的。PLSI是从潜在的类模型中获取一个混合分解，它目前广泛应用于信息的检索与过滤、自然语言处理、机器学习和一些相关的领域。LDA与PLSI主要的区别在于:LDA把文档在主题上的分布以及主题在单词表上的分布都看作是随机变量，由超参进行控制；而PLSI把这两个分布都看作是参数。这导致随着训练文档数的增加，在测试集中，由训练集得出的模型可能会导致过拟合的现象。
[0005]当前已有很多学者在潜在狄利克雷模型(即LDA)的基础上，通过加入标签、时间因素、作者间相关性因素、监督或无监督因素等等，做出了进一步的改进。目前，主题模型的应用覆盖了文本挖掘、信息处理、图像处理等多个领域。
[0006]鉴于上述原因，本发明利用LDA主题模型将具有相似信息内容但是不同信息类型(图片和文本)的信息进行分类，提供了一种根据图片自动播放歌曲的方法及系统。使得用户可以边欣赏图片边倾听与图片情境相近的音乐，提高了人们的生活水平及情操修养。并且儿童可以边看图片边听到与图片主题相对应歌词的歌曲，增加对事物的认识，本发明对父母进行幼儿早期教育具有积极的意义。
【发明内容】
[0007]本发明提供一种根据图片自动播放歌曲的方法，包括以下步骤:
[0008]S1、对图片库中所有图片标注标签，对歌曲库中所有歌曲的歌词标注标签；
[0009]S2、对图片库中所有图片进行预处理得到字典，根据所述字典重构所述图片库中所有图片；
[0010]S3、扫描已经重构的图片，通过LDA得到所述图片的主题，将所述图片对应的标签添加到其自身的主题中，同时通过所述LDA得到歌曲库中歌词的主题，并将所述歌词对应的标签添加到其自身的主题中；
[0011]S4、根据图片库中图片的主题得到所述图片的标签，在歌曲库中查找到标签与所述图片的标签相同的歌词，并播放对应歌曲。
[0012]优选的，步骤SI中对所述图片及歌词分别标注的标签是属于同一个集合。
[0013]优选的，步骤S2中所述预处理的过程为:从图片库中的每张图片里选出N个碎片，每个碎片用SIFT向量表示，从所有的碎片里，用k-means聚类算法得到T个中心点，所述T个中心点构成字典。
[0014]优选的，在步骤S3中，若图片或歌词没有对应的标签，则将所述图片或歌词主题的标签作为所述图片或歌词的标签。
[0015]优选的，步骤S3中所述图片及歌词通过的LDA为相同的主题模型算法。
[0016]优选的，一个标签仅属于一个主题。
[0017]本发明还提供一种根据图片自动播放歌曲的系统，包括标签标注模块、图片预处理模块、聚类模块及匹配模块，所述标签标注模块连接图片预处理模块，所述图片预处理模块连接聚类模块，所述聚类模块连接匹配模块，所述匹配模块连接播放器，所述聚类模块，包括扫描器、LDA图片聚类模块及LDA文本聚类模块，所述扫描器连接LDA图片聚类模块。所述标签标注模块，用于对图片库中所有图片标注标签，对歌曲库中所有歌曲的歌词标注标签。所述图片预处理模块，用于对图片库中所有图片进行预处理得到字典，并根据所述字典重构所述图片库中所有图片。所述聚类模块，用于扫描已经重构的图片后，通过LDA得到所述图片的主题，将所述图片对应的标签添加到其自身的主题中，同时通过所述LDA得到歌曲库中歌词的主题，并将所述歌词对应的标签添加到其自身的主题中。所述匹配模块，用于根据图片库中图片的主题得到所述图片的标签，在歌曲库中查找到标签与所述图片的标签相同的歌词。所述播放器，用于播放与所述图片的标签相同的歌词所对应的歌曲。
[0018]通过本发明提供的根据图片自动播放歌曲的方法及系统，首先对图片库中的图片及歌曲库中歌曲的歌词标注标签，然后对图片进行预处理得到字典并重构图片，从而为LDA自动获得图片主题做好铺垫。得到图片主题后，将图片对应的标签添加到其自身的主题中，同时通过LDA得到歌曲库中歌词的主题，并将歌词对应的标签添加到其自身的主题中，最后根据图片库中图片的主题得到其标签，在歌曲库中查找到标签相同的歌词并播放对应歌曲。如此，在发现新的图片时，即可通过本系统自动播放与图片情境相近的音乐，为儿童早教提供了一种便捷的方式。
【专利附图】
【附图说明】
[0019]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本发明较佳实施例提供的根据图片自动播放歌曲的方法流程图；[0021]图2是本发明较佳实施例提供的根据图片自动播放歌曲的系统示意图。
【具体实施方式】
[0022]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0023]图1是本发明较佳实施例提供的根据图片自动播放歌曲的方法流程图。如图1所示，本发明较佳实施例提供的根据图片自动播放歌曲的方法包括步骤SI至S4。
[0024]步骤S1:对图片库中所有图片标注标签，对歌曲库中所有歌曲的歌词标注标签。
[0025]具体而言，图片库中的样本图片是部分经过标注的，所述标签例如树、太阳或草地等。同时，对现有歌曲库中的歌曲进行处理，对歌曲的处理主要根据歌词，而歌词就是文本。所述歌曲也是部分被标注的。
[0026]于此，对所述图片及歌词分别标注的标签是属于同一个集合。例如树、太阳或草地
坐寸ο
[0027]步骤S2:对图片库中所有图片进行预处理得到字典，根据所述字典重构所述图片库中所有图片。
[0028]具体而言，本实施例中，图片用SIFT (Scale-1nvariant feature transform,尺度不变特征转换)提取向量特征。预处理的过程为:从图片库中的每张图片里选出N个碎片，每个碎片用SIFT向量表示，从所有的碎片里，用k-means聚类算法得到T个中心点，所述T个中心点构成字典。通常，k-means聚类算法采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。
[0029]步骤S3:扫描已经重构的图片，通过LDA得到所述图片的主题，将所述图片对应的标签添加到其自身的主题中，同时通过所述LDA得到歌曲库中歌词的主题，并将所述歌词对应的标签添加到其自身的主题中。
[0030]具体而言，基于字典重构图片库中所有图片后，将所有图片作为LDA的输入。若设定主题数目K，LDA训练模型的输出即为图片主题分布，以及主题字典分布。
[0031]举例而言，当扫描到一个新的图片时，先将其重构为字典的表示，再放入LDA里进行测试，得到图片主题分布，选择主题分布里概率大的主题作为该图片的解释。将这幅图片的标签添加到这个主题当中，此时便得到该图片所表示的主题的标签，即该图片所表示的内容。
[0032]本实施例中，若图片或歌词没有对应的标签，则将所述图片或歌词主题的标签作为所述图片或歌词的标签。于此，一个标签仅属于一个主题。
[0033]此外，所述图片及歌词通过的LDA为相同的主题模型算法。
[0034]步骤S4:根据图片库中图片的主题得到所述图片的标签，在歌曲库中查找到标签与所述图片的标签相同的歌词，并播放对应歌曲。
[0035]具体而言，当图片通过LDA标注好标签后，将其与歌曲库中相应歌词标签进行匹配，在匹配好的标签对应歌曲中，随机抽取一首歌曲通过播放器进行播放。
[0036]图2是本发明较佳实施例提供的根据图片自动播放歌曲的系统示意图。如图2所示，本发明较佳实施例提供的根据图片自动播放歌曲的系统包括标签标注模块1、图片预处理模块2、聚类模块3及匹配模块4，所述标签标注模块I连接图片预处理模块2，所述图片预处理模块2连接聚类模块3，所述聚类模块3连接匹配模块4，所述匹配模块4连接播放器5。所述聚类模块3，包括扫描器31、LDA图片聚类模块32及LDA文本聚类模块33，所述扫描器31连接LDA图片聚类模块32。所述标签标注模块1，用于对图片库中所有图片标注标签，对歌曲库中所有歌曲的歌词标注标签。所述图片预处理模块2，用于对图片库中所有图片进行预处理得到字典，并根据所述字典重构所述图片库中所有图片。所述聚类模块3，用于扫描已经重构的图片后，通过LDA得到所述图片的主题，将所述图片对应的标签添加到其自身的主题中，同时通过所述LDA得到歌曲库中歌词的主题，并将所述歌词对应的标签添加到其自身的主题中。所述匹配模块4，用于根据图片库中图片的主题得到所述图片的标签，在歌曲库中查找到标签与所述图片的标签相同的歌词。所述播放器5，用于播放与所述图片的标签相同的歌词所对应的歌曲。关于上述系统的操作流程同上述方法类似，故于此不再赘述。
[0037]综上所述，根据本发明较佳实施例提供的根据图片自动播放歌曲的方法及系统，首先对图片库中的图片及歌曲库中歌曲的歌词标注标签，然后对图片进行预处理得到字典并重构图片，从而为LDA自动获得图片主题做好铺垫。得到图片主题后，将图片对应的标签添加到其自身的主题中，同时通过LDA得到歌曲库中歌词的主题，并将歌词对应的标签添加到其自身的主题中，最后根据图片库中图片的主题得到其标签，在歌曲库中查找到标签相同的歌词并播放对应歌曲。如此，可根据图片内容，自动播放对应曲风的歌曲,提高了人们的生活水平及情操修养。
[0038]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【权利要求】
1.一种根据图片自动播放歌曲的方法，其特征在于，包括以下步骤: 51、对图片库中所有图片标注标签，对歌曲库中所有歌曲的歌词标注标签； 52、对图片库中所有图片进行预处理得到字典，根据所述字典重构所述图片库中所有图片； 53、扫描已经重构的图片，通过LDA得到所述图片的主题，将所述图片对应的标签添加到其自身的主题中，同时通过所述LDA得到歌曲库中歌词的主题，并将所述歌词对应的标签添加到其自身的主题中； 54、根据图片库中图片的主题得到所述图片的标签，在歌曲库中查找到标签与所述图片的标签相同的歌词,并播放对应歌曲。
2.根据权利要求1所述的方法，其特征在于，步骤SI中对所述图片及歌词分别标注的标签是属于同一个集合。
3.根据权利要求1所述的方法，其特征在于，步骤S2中所述预处理的过程为:从图片库中的每张图片里选出N个碎片，每个碎片用SIFT向量表示，从所有的碎片里，用k-means聚类算法得到T个中心点，所述T个中心点构成字典。
4.根据权利要求1所述的方法，其特征在于，在步骤S3中，若图片或歌词没有对应的标签，则将所述图片或歌词主题的标签作为所述图片或歌词的标签。
5.根据权利要求1所述的方法，其特征在于，步骤S3中所述图片及歌词通过的LDA为相同的主题模型算法。
6.根据权利要求1所述的方法，其特征在于，一个标签仅属于一个主题。
7.一种根据图片自动播放歌曲的系统，其特征在于，包括标签标注模块、图片预处理模块、聚类模块、匹配模块及播放器，所述标签标注模块连接图片预处理模块，所述图片预处理模块连接聚类模块，所述聚类模块连接匹配模块，所述匹配模块连接播放器，所述聚类模块，包括扫描器、LDA图片聚类模块及LDA文本聚类模块，所述扫描器连接LDA图片聚类模块， 所述标签标注模块，用于对图片库中所有图片标注标签，对歌曲库中所有歌曲的歌词标注标签； 所述图片预处理模块，用于对图片库中所有图片进行预处理得到字典，并根据所述字典重构所述图片库中所有图片； 所述聚类模块，用于扫描已经重构的图片后，通过LDA得到所述图片的主题，将所述图片对应的标签添加到其自身的主题中，同时通过所述LDA得到歌曲库中歌词的主题，并将所述歌词对应的标签添加到其自身的主题中； 所述匹配模块，用于根据图片库中图片的主题得到所述图片的标签，在歌曲库中查找到标签与所述图片的标签相同的歌词； 所述播放器，用于播放与所述图片的标签相同的歌词所对应的歌曲。
【文档编号】G06F17/30GK103927366SQ201410161263
【公开日】2014年7月16日 申请日期:2014年4月21日 优先权日:2014年4月21日
【发明者】严建峰, 姚婷婷, 刘志强, 杨璐, 李云飞, 曾嘉 申请人:苏州大学