一种基于增强现实的音频虚拟现实实现方法及系统与流程

本发明涉及娱乐设备领域，尤其涉及一种基于增强现实的音频虚拟现实实现方法及系统。

背景技术：

随着移动互联网的发展，各式各样的技术层出不穷，尤其是目前火热的VR（虚拟现实）和AR（增强现实）技术。

VR其是指：综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的、可交互的三维环境称为虚拟环境。虚拟现实技术是一种可创建和体验虚拟世界的计算机仿真系统的技术。它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型对的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR其不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。

但目前的VR或AR技术并未实现将运动与音乐结合起来，即无法实现从运动到音乐转换的功能。

因此，现有技术还有待于改进和发展。

技术实现要素：

鉴于上述现有技术的不足，本发明的目的在于提供一种基于增强现实的音频虚拟现实实现方法及系统，旨在解决现有技术无法实现从运动到音乐转换的功能的问题。

本发明的技术方案如下：

一种基于增强现实的音频虚拟现实实现方法，其中，包括步骤：

利用传感设备探测和追踪人体动作；

将人体动作转换为节拍；

通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。

所述的音频虚拟现实实现方法，其中，提取所述节拍的幅度以及频率，然后编码为音乐文件。

所述的音频虚拟现实实现方法，其中，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。

所述的音频虚拟现实实现方法，其中，所述传感设备还包括摄像装置。

所述的音频虚拟现实实现方法，其中，还包括： 根据所述人体动作生成3D可视化影像。

一种基于增强现实的音频虚拟现实实现系统，其中，包括：

探测追踪模块，其设置有传感设备，用于利用传感设备探测和追踪人体动作；

节拍转换模块，用于将人体动作转换为节拍；

音乐播放模块，用于通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。

所述的音频虚拟现实实现系统，其中，所述音乐播放模块用于提取所述节拍的幅度以及频率，然后编码为音乐文件。

所述的音频虚拟现实实现系统，其中，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。

所述的音频虚拟现实实现系统，其中，所述传感设备还包括摄像装置。

所述的音频虚拟现实实现系统，其中，还包括：影像输出模块，用于根据所述人体动作生成3D可视化影像。

有益效果：本发明通过对人体的动作进行探测和追踪，并将人体动作转换为节拍，通过对节拍的编码形成音乐文件，这样用户就能将自身的动作（舞蹈）转换为音乐，既结合了运动元素又结合了音乐元素，实现二者的结合。

附图说明

图1为本发明提供基于增强现实的音频虚拟现实实现方法较佳实施例的流程图。

图2为本发明提供基于增强现实的音频虚拟现实实现系统较佳实施例的结构框图。

具体实施方式

本发明提供一种基于增强现实的音频虚拟现实实现方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明一种基于增强现实的音频虚拟现实实现方法较佳实施例的流程图，如图所示，其包括步骤：

S1、利用传感设备探测和追踪人体动作；

S2、将人体动作转换为节拍；

S3、通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。

本发明可以使用户以独特的方式沉浸在舞蹈和音乐当中。通过本发明，用户不仅可以锻炼自己的身体，同时也能使用户通过独特方式感受音乐的美妙，并且能够通过舞蹈和音乐相结合的方式表达自身情感。

本发明可以以4种模式来实现，具体包括训练模式、舞蹈模式、创造模式、可视分享模式。

在训练模式下，模仿引导动作来生成节拍；

在舞蹈模式下，模仿所选音乐自动生成的舞蹈；

在创造模式下，创造可视表演；

在可视分享模式下，将可视影像分享至社交媒体上。

具体来说，在训练模式下，用户可以选择增强现实功能（可以查看周围真实环境）和虚拟现实功能（可以完全沉浸在虚拟环境中，例如处于月亮、舞蹈房、电影场景中）。在训练模式下，预先设置了一系列的引导动作，每个引导动作都包含了动作名称、动作标识、动作所用音乐的类型、动作幅度。在用户选定一个引导动作之后，开始播放背景音乐，为了生成节拍，用户需要在跟随引导动作并加以模仿，在这个模式下，可以改变背景音乐的类型。最终可得到用户在每个引导动作下的精确度分数、经验值、完成的奖励等等。

在舞蹈模式下，用户可以选择增强现实功能（可以查看周围真实环境）和虚拟现实功能（可以完全沉浸在虚拟环境中，例如处于月亮、舞蹈房、电影场景中）。用户需要从本地存储器中选择一个目标音乐。并分析该目标音乐的声能、频率和音量，并转化为360度可视化的舞蹈，用户可跟随舞蹈的动作并加以模仿。最终得到用户在每个目标音乐下的精确度分数、经验值、完成的奖励、消耗的卡路里。

在创造模式下，用户可以选择增强现实功能（可以查看周围真实环境）和虚拟现实功能（可以完全沉浸在虚拟环境中，例如处于月亮、舞蹈房、电影场景中）。用户可以选择一个音乐类型（对于每个传感设备可以不同）、一个油刷（可以绘制不同风格和颜色），以及增加一个背景音乐（选择一个背景旋律乐器，非必要）。用户结合上述工具，可以进行实时绘画，其绘制的线条可以是暂时的，即绘制的线条将会在几秒钟（如5秒钟）之后消失；也可以选择固定绘画方式，即绘制的线条是固定的，最终形成一幅完整的作品。在创造模式下，其绘画的过程如下：在选择引导动作之后，用户可以开始创造节拍，并随着自己的人体动作来进行绘画，音乐类型和绘画风格将会随着用户的动作而迅速改变。同时将用户的身体动作转换为节拍，用户可以保存自己的3D或360度的影像。例如以8个通道来保存上述影像。

进一步，提取所述节拍的幅度以及频率，然后编码为音乐文件。因为音乐文件其也包含了幅度以及频率，所以节拍的幅度与频率都可以应用在音乐上，通过将舞蹈动作转换为音乐文件，所以可实现二者更加融合，并且更富趣味性。

本发明中的传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。

运动转音乐配件是指Phonotonic accessory，其整合了一个运动传感器以及可将动作转换为音乐的软件。该配件采用硅球作为外壳，并内置有传感器，用户可以将该配件放置于身体的某个部位，也可将其放置于口袋中。该配件可通过WIFI连接用户的移动终端。例如用户可手持所述配件，然后进行舞蹈或其他动作，那么就可以将其转换为音乐。

进一步，所述传感设备还包括摄像装置。该摄像装置可以是单独的，也可以是固定在某一传感设备上。

进一步，实现方法还包括：

根据所述人体动作生成3D可视化影像。获得3D可视化影像后，用户可将其分享至社交媒体上。

基于上述方法，本发明还提供一种基于增强现实的音频虚拟现实实现系统较佳实施例，如图2所示，其包括：

探测追踪模块100（其设置有传感设备），用于利用传感设备探测和追踪人体动作；

节拍转换模块200，用于将人体动作转换为节拍；

音乐播放模块300，用于通过多通道方式对所述节拍进行编码形成音乐文件，以进行解码和播放。

进一步，所述音乐播放模块用于提取所述节拍的幅度以及频率，然后编码为音乐文件。

进一步，所述传感设备包括VR控制器、运动转音乐配件、智能手表和智能手环中的一种或多种。

进一步，所述传感设备还包括摄像装置。

进一步，系统还包括：影像输出模块，用于根据所述人体动作生成3D可视化影像。

关于上述系统模块的技术细节在前面的方法中已有详述，故不再赘述。

本领域普通技术人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件完成，所述的计算机程序可存储于一计算机可读取存储介质中，程序在执行时，可包括上述各方法的实施例的流程。其中的存储介质可以为磁碟、光盘、只读存储记忆体（ROM）或随机存储记忆体（RAM）等。

综上所述，本发明通过对人体的动作进行探测和追踪，并将人体动作转换为节拍，通过对节拍的编码形成音乐文件，这样用户就能将自身的动作（舞蹈）转换为音乐，既结合了运动元素又结合了音乐元素，实现二者的结合。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。