一种基于混合现实空间下的动态音效调节方法及系统

本发明属于动态音效调节领域，具体涉及一种基于混合现实空间下的动态音效调节方法及系统。

背景技术：

混合现实空间是指将虚拟的人物、角色和道具混合在真实世界中，让真实世界与故事世界的边界模糊，观众能够更好地进入到一个沉浸式的全景世界，在传统的平面电影中，声音设计师会根据镜头机位、移动轨迹与预期的艺术效果提前进行混音设计，使观众能够容易进入电影情节中，然而，在沉浸式空间中叙事，观众是自由移动、自由观看的，这可能会导致环境音压倒故事音，此外，声音是空间音，即靠近声源的时候音量会变大，远离声源的时候，音量会变小，影响观众们对于故事的体验。

技术实现要素：

为解决上述问题，提供了一种根据观众视角调整音效的动态音效调节方法及系统，本发明采用了如下技术方案：

本发明提供了一种基于混合现实空间下的动态音效调节方法，基于混合现实空间下的故事情节为观众调整音效，其特征在于，包括如下步骤：步骤s1，获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效；步骤s2，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效；步骤s3，获取观众的视锥以及故事音效对应的声源；步骤s4，判断声源是否处于视锥中；步骤s5，在步骤s4判断为是时，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效提高至最大故事音效阈值；步骤s6，判断环境音效是否大于预定的最大环境音效阈值，判断为是时，将环境音效降低至最大环境音效阈值；步骤s7，在步骤s4判断为否时，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效。

根据本发明提供的一种基于混合现实空间下的动态音效调节方法，还可以具有这样的技术特征，其中，视锥基于观众的眼球转动数据以及头部旋转数据计算得到。

根据本发明提供的一种基于混合现实空间下的动态音效调节方法，还可以具有这样的技术特征，其中，环境音效包括背景音效、虚拟环境音效和物理空间环境音效。

根据本发明提供的一种基于混合现实空间下的动态音效调节方法，还可以具有这样的技术特征，其中，当步骤s5判断为是时，则故事音效不做调整，当步骤s6判断为否时，则环境音效不做调整。

本发明还提供了一种基于混合现实空间下的动态音效调节方法，基于混合现实空间下的故事情节为观众调整音效，其特征在于，包括：混合音效获取模块，获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效；音效划分模块，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效；视锥与声源获取模块，获取观众的视锥以及故事音效对应的声源；声源范围判断模块，判断声源是否处于视锥中；故事音效判断模块，在声源范围判断模块判断为是时，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效调整至最大故事音效阈值；环境音效判断模块，判断环境音效是否大于预定的最大环境音效阈值，判断为否时，将环境音效调整至最大环境音效阈值；以及音效调整判断模块，在声源范围判断模块判断为否时，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效。

发明作用与效果

根据本发明的一种基于混合现实空间下的动态音效调节方法及系统，由于需要判断故事音效对应的声源是否在观众的视锥中，因此，可以判断出观众是否有将注意力集中在故事上。由于在判断出观众注意力集中在故事上后，进一步判断故事音效与环境音效是否大于相对应的阈值，如果故事音效不大于对应的阈值，则将故事音效提高至对应的阈值，如果环境音效大于对应的阈值，则将环境音效降低至对应的阈值，因此，使得观众在不断移动的过程中，仍能获得环境音小于故事音的观赏体验。另外，由于在判断出故事音效对应的声源不在观众的视锥后，进一步判断故事音效以及环境音效是否做过调整，如果做过调整则将故事音效以及环境音效调整至原始音效，因此，在观众注意力没有集中在故事上的情况下，观众仍能清晰地感受到空间中的环境音，从而获得更好的沉浸感与代入感。

通过本发明的基于混合现实空间下的动态音效调节方法及系统，能够使得观众在混合现实空间下，即便不断移动，也能够获得较佳的故事观赏体验。

附图说明

图1为本发明实施例的一种基于混合现实空间下的动态音效调节方法的流程图；

图2为本发明实施例的一种基于混合现实空间下的动态音效调节系统的结构框图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于混合现实空间下的动态音效调节方法及系统作具体阐述。

<实施例>

图1为本发明实施例的一种基于混合现实空间下的动态音效调节方法的流程图。

如图1所示，一种基于混合现实空间下的动态音效调节方法包括如下步骤：

步骤s1，获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效。

步骤s2，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效。

其中，环境音效包括背景音效、虚拟环境音效和物理空间环境音效。

背景音效是指为了烘托故事气氛，增强观众情绪而铺垫的音乐，虚拟环境音效是指为增加场景的真实程度，添加的不清晰人声和其它声音，如街道杂声、雨声、人群扰叫声、交通噪音等，物理空间环境音效是指真实物理空间中的声音，如环境噪音、周围人员/观众的交谈声等。

故事音效是指讲述故事或直接推动叙事与情节发展的声音，包括人物的声音与道具的声音，如人物的独白、对话、画外音、电话铃等。

本实施例中，影响程度是指混合音效中的声音是否直接影响故事剧情以及观众操作。

步骤s3，获取观众的视锥以及故事音效对应的声源。

其中，视锥基于观众的眼球转动数据以及头部旋转数据计算得到。

步骤s4，判断声源是否处于视锥中，判断为是时进入步骤s5，判断为否时进入步骤s7。

步骤s5，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效提高至最大故事音效阈值，然后进入步骤s6。

当步骤s5判断为是时，则故事音效不做调整，并进入步骤s6。

步骤s6，判断环境音效是否大于预定的最大环境音效阈值，判断为是时，将环境音效降低至最大环境音效阈值，然后进入结束状态。

当步骤s6判断为否时，则环境音效不做调整，然后进入步骤s3获取下一时刻观众的视锥以及故事音效对应的声源，进行下一轮判断。

步骤s7，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效，然后进入结束状态；判断为否时，进入步骤s3获取观众进入下一个地方时的视锥以及故事音效对应的声源，进而进行音效调整。

在图1中，上述步骤s6以及步骤s7虽然进入了结束状态，但实际情况中，会不断重复步骤s3获取观众新的视锥以及故事音效对应的声源，进而进行下一轮地判断与调整，直到观众脱离混合现实空间。

图2为本发明实施例的一种基于混合现实空间下的动态音效调节系统的结构框图。

如图2所示，一种基于混合现实空间下的动态音效调节系统1包括混合音效获取模块11、音效划分模块12、视锥与声源获取模块13、声源范围判断模块14、故事音效判断模块15、环境音效判断模块16以及音效调整判断模块17。本实施例中，基于混合现实空间下的动态音效调节系统1是基于本发明的基于混合现实空间下的动态音效调节方法得到的，基于混合现实空间下的故事情节为观众调整音效，可应用于嵌入式设备。

混合音效获取模块11获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效。

音效划分模块12依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效。

视锥与声源获取模块13获取观众的视锥以及故事音效对应的声源。

声源范围判断模块14判断声源是否处于视锥中。

故事音效判断模块15在声源范围判断模块14判断为是时，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效提高至最大故事音效阈值。

环境音效判断模块16判断环境音效是否大于预定的最大环境音效阈值，判断为是时，将环境音效降低至最大环境音效阈值。

音效调整判断模块17在声源范围判断模块14判断为否时，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效。

实施例作用与效果

根据本实施例提供的一种基于混合现实空间下的动态音效调节方法及系统，由于需要判断故事音效对应的声源是否在观众的视锥中，因此，可以判断出观众是否有将注意力集中在故事上。由于在判断出观众注意力集中在故事上后，进一步判断故事音效与环境音效是否大于相对应的阈值，如果故事音效不大于对应的阈值，则将故事音效提高至对应的阈值，如果环境音效大于对应的阈值，则将环境音效降低至对应的阈值，因此，使得观众在不断移动的过程中，仍能获得环境音小于故事音的观赏体验。另外，由于在判断出故事音效对应的声源不在观众的视锥后，进一步判断故事音效以及环境音效是否做过调整，如果做过调整则将故事音效以及环境音效调整至原始音效，因此，在观众注意力没有集中在故事上的情况下，观众仍能清晰地感受到空间中的环境音，从而获得更好的沉浸感与代入感。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。