用于AR场景的音乐检索方法、装置、设备及存储介质与流程

本发明涉及计算机技术领域，尤其涉及一种用于增强现实(augmentedreality，简称ar)场景的音乐检索方法、装置、设备及存储介质。

背景技术：

生活中的一些场景，用户可能会需进行音乐检索，以丰富生活乐趣。

目前，音乐检索通常需预先获知音乐名称等信息，并通过输入音乐名称等文字信息进行检索。

然而，大多数情况下，用户可能并不知道音乐名称，而仅仅是听到或记着某种旋律，用户只能靠猜测音乐名称逐一进行检索。这使得音乐检索的效率较低。

技术实现要素：

本发明提供一种用于ar场景的音乐检索方法、装置、设备及存储介质，以提高音乐检索效率。

第一方面，本发明提供一种用于增强现实ar场景的音乐检索方法，包括：

获取音频文件；

向服务器发送针对所述音频文件的查询请求；

接收所述服务器发送的查询响应，所述查询响应包括：所述音频文件对应的音乐信息；

在ar界面上显示所述音频文件对应的音乐信息。

第二方面，本发明还提供一种用于增强现实ar场景的音乐检索方法，包括：

接收ar设备发送的针对音频文件的查询请求；

确定所述音频文件对应的音乐信息；

向所述ar设备发送查询响应，所述查询响应包括：所述音频文件对应的音乐信息；所述查询响应用于使得所述ar设备在ar界面上显示所述音频文件对应的音乐信息。

第三方面，本发明提供一种用于增强现实ar场景的音乐检索装置，包括：

获取模块，用于获取音频文件；

发送模块，用于向服务器发送针对所述音频文件的查询请求；

接收模块，用于接收所述服务器发送的查询响应，所述查询响应包括：所述音频文件对应的音乐信息；

显示模块，用于在ar界面上显示所述音频文件对应的音乐信息。

第四方面，本发明提供一种用于增强现实ar场景的音乐检索装置，包括：

接收模块，用于接收ar设备发送的针对音频文件的查询请求；

确定模块，用于确定所述音频文件对应的音乐信息；

发送模块，用于向所述ar设备发送查询响应，所述查询响应包括：所述音乐信息；所述查询响应用于使得所述ar设备在ar界面上显示所述音频文件对应的音乐信息。

第五方面，本发明提供一种增强现实ar设备，包括：存储器及处理器；所述存储器与所述处理器连接；

所述存储器，用于存储程序指令；

所述处理器，用于在程序指令被执行时，可实现述第一方面所述的用于ar场景的音乐检索方法。

第六方面，本发明提供一种服务器，包括：存储器及处理器；所述存储器与所述处理器连接；

所述存储器，用于存储程序指令；

所述处理器，用于在程序指令被执行时，可实现述第二方面所述的用于ar场景的音乐检索方法。

第七方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述的用于ar场景的音乐检索方法。

第八方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第二方面所述的用于ar场景的音乐检索方法。

本发明提供一种用于ar场景的音乐检索方法、装置、设备及存储介质，可通过ar设备向服务器发送针对其获取的音频文件的查询请求，使得服务器确定该音频文件对应的音乐信息，并向ar设备返回包括该音频文件对应的音乐信息的查询响应，继而由ar设备在ar界面上显示该音频文件对应的音乐信息，实现了基于音频文件的音乐检索，无需用户属于音乐名称等信息，便可实现音乐检索，提高了检索效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图一；

图2为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图二；

图3为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图三；

图4为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图四；

图5为本发明实施例提供的一种用于ar场景的音乐检索装置的结构示意图一；

图6为本发明实施例提供的一种用于ar场景的音乐检索装置的结构示意图二；

图7为本发明实施例提供的ar设备的结构示意图；

图8为本发明实施例提供的服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例各部分及附图中的术语“第一”、“第二”及“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明下述实施例所涉及的方法流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按照所描述的顺序执行。例如，有些步骤还可以分解，而有些步骤可以合并或部分合并，因此，实际执行的顺序可根据实际情况改变。

本发明下述实施例所涉及的方框图中的功能模块仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或者不同网络和/或处理器和/或微控制器中实现这些功能实体。

如下结合多个实例对本发明实施例提供的用于ar场景的音乐检索方法、装置、设备及存储介质进行说明。ar也称混合现实，可将计算机提供的虚拟信息增加到真实场景中，用以增强用户对现实世界的感知。

图1为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图一。该音乐检索方法可由ar设备与服务器交互实现。其中，该ar设备例如是台式电脑、笔记本、个人数字助理(personaldigitalassistant，简称：pda)、智能手机、平板电脑等任一具有ar功能的终端设备。该服务器例如可以为ar功能对应的服务器。

示例地，具有ar功能的终端设备例如可安装有ar应用程序，该服务器例如可以为该ar应用程序的应用服务器。当然，也可以为其它的服务器例如应用服务器之外，用于进行音乐检索的服务器。

如图1所示，本实施例所示的用于ar场景的音乐检索方法可包括如下：

s101、ar设备获取音频文件。

该ar设备可通过音频采集设备获取该音频文件，该音频采集设备可以为该ar设备的一个器件，也可为与该ar设备连接的音频采集设备。该音频采集设备例如可以为麦克风。

在其它的一些示例中，该音频文件还可以为该ar设备从预设的存储器上获取到的音频文件或者，接收到的其它ar设备发送的音频文件，或者，从网络上下载的音频文件。

在一种示例中，若该ar设备可通过音频采集设备获取该音频文件，则上述s101中ar设备获取音频文件可包括：

该ar设备采集当前的环境声音；根据该环境声音，得到该音频文件。

例如，该ar设备可通过自身的音频采集设备或者其外接的音频采集设备，采集当前的环境声音，并根据该环境声音得到该音频文件。

s102、ar设备向服务器发送针对该音频文件的查询请求。

ar设备可在获取该音频文件之后，直接向服务器发送针对该音频文件的查询请求；也可先对获取的音频文件进行预设处理，例如降噪等处理，再根据处理后的音频文件向服务器发送针对该音频文件的查询请求。该查询请求还可称为检索请求。该查询请求至少可包括：该音频文件的信息。该音频文件的信息例如可包括：该音频文件本身，和/或，基于该音频文件所得到的信息。

s103、服务器接收来自ar设备的该查询请求。

s104、服务器确定该音频文件对应的音乐信息。

该服务器在接收到该查询请求后，便可根据该查询请求所包括的该音频文件的信息，确定该音频文件对应的音乐信息。例如，该服务器可根据该音频文件的信息，从预设的音频数据库中确定该音频文件对应的音乐信息。

s105、服务器向ar设备发送查询响应，该查询响应包括：该音频文件对应的音乐信息。

服务器可将该音频文件对应的音乐信息作为增强信息，携带在查询响应中发送至ar设备。该音频文件对应的音乐信息可包括如下至少一种形式：视频形式、文字形式以及动画形式等。

s106、ar设备接收来自服务器的该查询响应。

s107、ar设备在ar界面上显示该音频文件对应的音乐信息。

该ar设备在接收到包括该音频文件对应的音乐信息的该查询响应的情况下，可根据预设的显示方式，在ar界面上显示该音频文件对应的音乐信息。该预设的显示方式例如可以为：该ar界面上的预设平面的显示方式，也可以为三维环绕显示方式等。

该ar设备可通过叠加渲染技术，将该音频文件对应的音乐信息显示ar界面上。该音频文件对应的音乐信息例如可通过透明方式显示在该采集图像中，以避免对该采集图像进行遮挡。该透明方式对应的显示透明度可以为预设的透明度。该预设的透明度例如可以为全透明、半透明或其它透明方式。该ar界面例如可以为该ar设备的摄像头的当前预览界面。

该ar设备将该音频文件对应的音乐信息显示在该ar界面上，可使得ar界面在呈现采集图像的情况下，还可呈现音频查询结果，即该音频文件对应的音乐信息，丰富了ar设备的实现功能，提高了用户体验。

其中，该音频文件对应的音乐信息可包括如下至少一种信息：名称、作曲者、作词者、演奏者、歌词、发行时间、专辑名称、语言种类、歌曲类型。

本发明实施例提供的用于ar场景的音乐检索方法，可通过ar设备向服务器发送针对其获取的音频文件的查询请求，使得服务器确定该音频文件对应的音乐信息，并向ar设备返回包括该音频文件对应的音乐信息的查询响应，继而由ar设备在ar界面上显示该音频文件对应的音乐信息，实现了基于音频文件的音乐检索，无需用户属于音乐名称等信息，便可实现音乐检索，提高了检索效率。

同时，由于该方法，可在ar场景中进行音乐检索，丰富了音乐文件的检索方式，也丰富了ar设备的实现功能，提高趣味性，提高用户体验。

在上述实施例的基础上，本发明实施例还可提供一种用于ar场景的音乐检索方法。在该实施例提供的方法中，该音频文件的处理可由ar设备执行，则该查询请求中可包括：基于该音频文件所得到的该音频文件的频谱信息。图2为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图二。图2所示的方法可以为上述图1所示的方法中确定音乐信息的一种可能示例。需要说明的是，确定音乐信息还采用其它的方式实现，本发明不对此限制。如图2所示，上述s102中ar设备向服务器发送针对该音频文件的查询请求之前，该方法可包括：

s201、ar设备对该音频文件进行处理，得到该音频文件的频谱信息。

该ar设备可对该音频文件进行降噪、放大等预处理，得到该音频文件的频谱信息。

上述方法中s102中ar设备向服务器发送针对该音频文件的查询请求可包括：

s202、ar设备向服务器发送该查询请求，该查询请求包括该音频文件的频谱信息。

上述方法中s103中服务器接收来自ar设备的该查询请求可包括：

s203、服务器接收来自ar设备的该查询请求，该查询请求包括：该音频文件的频谱信息。

如上所示的s104中服务器确定该音频文件对应的音乐信息可包括：

s204、服务器根据该音频文件的频谱信息，从预设的音乐数据库中确定该音频文件对应的音乐信息。

该预设的音乐数据库中可存储有至少一个音乐文件，每个音乐文件具有各自的频谱信息。

该服务器可将该音频文件的频谱信息，与该预设的音乐数据库中的音乐文件进行匹配，若该音乐数据库中存在与该音频文件的频谱信息相匹配的音乐文件，则可确定该音乐文件的音乐信息，即为该音频文件对应的音乐信息。

例如，该服务器可确定该音频文件的频谱信息与该音乐数据库中音乐文件的频谱相似度，将该音乐数据库中，与该音频文件的频谱信息的频谱相似度大于或等于预设相似度的音乐文件确定为与该音频文件的频谱信息相匹配的音乐文件，并将该音频文件的频谱信息相匹配的音乐文件确定为该音频文件对应的音乐文件。

在其它的一些示例中，服务器还可根据该音频文件的频谱信息，从其它服务器获取该音频文件对应的音乐信息。

当然，该服务器还可采用其它的方式获取该音频文件对应的音乐信息，上述示例仅为一些可能的示例，在此不再赘述。

该实施例提供的用于ar场景的音乐检索方法，服务器可根据ar设备发送的查询请求中所携带的该音频文件的频谱信息，确定该音频文件对应的音乐信息，使得音乐信息与音频文件更匹配，提高了音乐检索的准确性，提高了用户体验。

在上述实施例的基础上，本发明实施例还可提供一种用于ar场景的音乐检索方法。在该实施例提供的方法中，该查询请求中可包括：该音频文件，而该音频文件的处理可由服务器执行。图3为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图三。该图3所示的方法可以为上述图1所示的方法中确定音乐信息的另一种可能示例。需要说明的是，确定音乐信息还采用其它的方式实现，本发明不对此限制。如图3所示，上述方法中s102中ar设备向服务器发送针对该音频文件的查询请求可包括：

s301、ar设备发送至该服务器的查询请求，该查询请求中包括：该音频文件。

如上所示的方法中s103中服务器接收来自ar设备的该查询请求可包括：

s302、服务器接收来自ar设备的该查询请求，该查询请求包括：该音频文件。

如上所示的方法中s104服务器确定该音频文件对应的音乐信息可包括：

s303、服务器对该音频文件进行处理，得到该音频文件的频谱信息。

该服务器可对该音频文件进行降噪、放大等预处理，得到该音频文件的频谱信息。

s304、服务器根据该音频文件的频谱信息，从预设的音乐数据库中确定该音频文件对应的音乐信息。

服务器可采用与上述s204类似的方式确定该音频文件对应的。具体参见上述，在此不再赘述。

该实施例提供的用于ar场景的音乐检索方法，服务器可通过对ar设备发送的查询请求中所携带的该音频文件进行处理，得到该音频文件的频谱信息，继而根据该音频文件的频谱信息，确定该音频文件对应的音乐信息，使得该音乐信息与音频文件更匹配，提高了音乐检索的准确性，提高了用户体验。

该方法中，由服务器对该音频文件进行处理，得到该音频文件的频谱信息，可使得确定的频谱信息更准确，有效保证得到的音乐信息的准确性，提高了音乐检索的准确性。并且，减少了ar设备的处理操作，减轻了处理其它，有效保证ar设备的运行。

在上述任一实施例所述的音乐检索方法的基础上，本发明实施例还可提供一种音乐检索方法。在该实施例提供的方法中，不仅可以基于音频文件检索到音乐信息，还可检索到音乐文件，并实现音乐文件的播放。图4为本发明实施例提供的一种用于ar场景的音乐检索方法的流程图四。如图4所示，该音乐检索方法还可包括：

s401、服务器确定该音频文件对应的音乐文件。

在一种示例中，该服务器例如可根据该音频文件的频谱信息，从预设的音乐数据库中确定该音频文件对应的音乐文件。

在另一种示例中，该服务器例如还可根据上述确定的该音频文件对应的音乐信息，从预设的音乐数据库中确定该音乐信息所对应的音乐文件即为该音频文件对应的音乐文件。

上述示例，仅为一些可能的实现方式，本发明实施例不对此限制。

该方法还可包括：

s402、服务器向ar设备发送该音频文件对应的音乐文件。

该服务器可将该音频文件对应的音乐文件携带在该查询响应中发送至ar设备，即该查询响应在包括上述该音频文件对应的音乐信息的情况下，还可包括：该音频文件对应的音乐文件。

或者，该服务器通过其它消息将该音频文件对应的音乐文件发送至ar设备。即，该音频文件对应的音乐信息，和该音频文件对应的音乐文件可通过不同的消息传输至ar设备。

s403、ar设备接收来自服务器的该音频文件对应的音乐文件。

s404、ar设备在ar界面上播放该音频文件对应的音乐文件。

在一种示例中，ar设备可在ar界面上，采用预设的播放方式，播放该音频文件对应的音乐文件。

在另一种示例中，ar界面上，可显示有至少一种播放方式对应的播放选项，当ar设备接收到播放选择指令后，可根据该播放选择指令所针对的播放方式，播放该音频文件对应的音乐文件。该至少一种播放方式例如可包括：演唱会播放方式、唱片机播放方式、电影(movie)播放方式。例如，若该音乐文件为演唱会的ar音乐文件，则ar设备可在ar界面上，采用该演唱会播放方式，播放该音乐文件。

该ar设备播放该音频文件对应的音乐文件的情况下，用户可通过输入播放进度调节指令或者投放距离的调节指令，以对音乐文件的播放进行调节。

该实施例提供的音乐检索方法中，还可通过服务器确定该音频文件对应的音乐文件，并发送至ar设备，由ar设备在ar界面上播放该音乐文件。该方法在实现音乐信息检索的情况下，还实现了音乐文件的播放，丰富了ar设备的实现功能，提高了用户体验。

下述为本发明装置实施例，可以用于执行本发明上述方法实施例，其实现原理和技术效果类似。

图5为本发明实施例提供的一种用于ar场景的音乐检索装置的结构示意图一。该用于ar场景的音乐检索装置软件和/或硬件的方式集成在ar设备中。如图5所示，本实施例的用于ar场景的音乐检索装置50可以包括：

获取模块51，用于获取音频文件。

发送模块52，用于向服务器发送针对该音频文件的查询请求。

接收模块53，用于接收该服务器发送的查询响应，该查询响应包括：该音频文件对应的音乐信息；

显示模块54，用于在ar界面上显示该音频文件对应的音乐信息。

可选的，如上所示的获取模块51，具体用于采集当前的环境声音；根据该环境声音，得到该音频文件。

可选的，获取模块51，还用于对该音频文件进行处理，得到该音频文件的频谱信息；该查询请求包括：该音频文件的频谱信息；

该音乐信息为该服务器根据该音频文件的频谱信息确定的。

可选的，该音频文件对应的音乐信息包括如下至少一种信息：名称、作曲者、作词者、演奏者、歌词、发行时间、专辑名称、语言种类、歌曲类型。

可选的，接收模块53，还用于接收来自该服务器的该音频文件对应的音乐文件。

音乐检索装置50，还包括：

播放模块，用于在该ar界面中，播放该音频文件对应的音乐文件。

本实施例的装置，可执行上述图1至图4中任一所述的ar设备执行的音乐检索方法，其具体实现及有益效果参见上述，在此不再赘述。

图6为本发明实施例提供的一种用于ar场景的音乐检索装置的结构示意图二。该用于ar场景的音乐检索装置软件和/或硬件的方式集成在服务器中。如图6所示，本实施例的用于ar场景的音乐检索装置60可以包括：

接收模块61，用于接收ar设备发送的针对音频文件的查询请求。

确定模块62，用于确定该音频文件对应的音乐信息。

发送模块63，用于向该ar设备发送查询响应，该查询响应包括：该音乐信息；该查询响应用于使得该ar设备在ar界面上显示该音频文件对应的音乐信息。

可选的，该查询请求包括：该音频文件的频谱信息；该音频文件对应的频谱信息为该ar设备对该音频文件进行处理所得到的。

确定模块62，具体用于根据该频谱信息，从预设的音乐数据库中确定该音频文件对应的音乐信息。

可选的，该查询请求包括：该音频文件。

确定模块62，具体用于对该音频文件进行处理，得到该音频文件的频谱信息；根据该频谱信息，从预设的音乐数据库中确定该音频文件对应的音乐信息。

可选的，该音频文件对应的音乐信息包括如下至少一种信息：名称、作曲者、作词者、歌词、发行时间、专辑名称、语言种类、歌曲类型。

可选的，确定模块62，还用于确定该音频文件对应的音乐文件。

发送模块63，还用于向该ar设备发送该音频文件对应的音乐文件；该音频文件对应的音乐文件用于使得该ar设备在该ar界面中进行播放。

本实施例提供的装置可执行上述图1至图4中任一所示的服务器执行的音乐检索方法，其具体实现及有效效果，可参见上述，在此不再赘述。

图7为本发明实施例提供的ar设备的结构示意图。如图7所示，本实施例的ar设备70包括：存储器71和处理器72。其中，存储器71通过总线与处理器72连接。

存储器71，用于存储程序指令。

处理器72，用于在程序指令被执行时，使得处理器72执行上述图1至图4中任一所示的ar设备执行的音乐检索方法。

本实施例的ar设备可执行上述图1至图4中任一所示的ar设备执行的音乐检索方法，其具体实现及有效效果，可参见上述，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序可被上述图7所述的处理器72执行实现上任一实施例所示的ar设备执行的音乐检索方法，其具体实现及有效效果，可参见上述，在此不再赘述。

图8为本发明实施例提供的服务器的结构示意图。如图8所示，本实施例的服务器80包括：存储器81和处理器82。其中，存储器81通过总线与处理器82连接。

存储器81，用于存储程序指令。

处理器82，用于在程序指令被执行时，使得处理器82执行上述图1至图4中任一所示的服务器执行的音乐检索方法。

本实施例的服务器可执行上述图1至图4中任一所示的服务器执行的音乐检索方法，其具体实现及有效效果，可参见上述，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序可被上述图8所述的处理器82执行实现上任一实施例所示的服务器执行的音乐检索方法，其具体实现及有效效果，可参见上述，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的计算机程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读内存(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。