基于双目摄像头的混合现实音频控制方法及服务设备与流程

本发明涉及音频控制技术领域，具体涉及一种基于双目摄像头的混合现实音频控制方法及服务设备。

背景技术：

随着混合现实技术(mixedreality,简称mr)的发展，用户对于混合现实沉浸感的要求越来越高，大部分混合现实技术可以在视觉上为用户提供沉浸感，比如说在真实画面中叠加数字画面，或者让用户看到虚拟物体与用户进行互动，从而打破真实空间与虚拟空间之间的界限。但是，听觉的处理也是提高沉浸感的过程中不可或缺的一环，然而，在目前的混合现实情境下，任一虚拟声源发出的声音和用户位置之间没有关联，当用户头部移动的时候，用户头部和虚拟声源之间的相对位置不会发生变化，因此虚拟声源对应的音频信号不会随着用户位置的改变而实时调整。

技术实现要素：

本发明实施例公开了一种基于双目摄像头的混合现实音频控制方法及服务设备，能够提高虚拟声源的音频信号与用户位置之间的匹配度。

本发明实施例第一方面公开一种基于双目摄像头的混合现实音频控制方法，所述方法包括：根据mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述mr头显在真实空间中的物理位置；

根据真实空间与虚拟空间之间的映射关系，确定所述mr头显的所述物理位置在所述虚拟空间中对应的虚拟位置；

获取所述mr头显转动时的角速率，并根据所述角速率确定所述mr头显的佩戴者的视角方向；

根据任一虚拟声源在所述虚拟空间中的已知位置、所述mr头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压；

按照所述各个声道之间的输出时延以及所述每个声道的输出声压，将所述音频信号分别从所述每个声道输出至所述音频播放设备。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据任一虚拟声源在所述虚拟空间中的已知位置、所述mr头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压，包括：

根据任一虚拟声源在所述虚拟空间中的已知位置以及所述mr头显的所述虚拟位置，计算出所述虚拟声源与所述mr头显之间的相对距离；

根据所述虚拟声源在所述虚拟空间中的已知位置以及所述视角方向，计算出所述虚拟声源与所述mr头显的相对方位；

根据所述相对距离及所述相对方位，计算所述虚拟声源对应的音频信号从所述mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述mr头显在真实空间中的物理位置，包括：

获取mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；

识别所述景象的多个定位特征点中每一个所述定位特征点在真实空间中的已知位置，所述多个定位特征点的数量为至少三个；

根据每一个所述定位特征点在所述景象中的景深度，确定所述mr头显与每一个所述定位特征点之间的相对位置；

根据每一个所述定位特征点在真实空间中的已知位置、所述mr头显与所述多个定位特征点之间的相对位置，确定所述mr头显在真实空间中的物理位置。

作为一种可选的实施方式，在本发明实施例第一方面中，其特征在于，所述方法还包括：

判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；

如果是，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

如果所述虚拟位置不是处于指定区域内，判断所述虚拟声源是否为系统管理员，所述系统管理员用于发布语音提示信息；

如果是，判断所述虚拟空间中是否存在与所述系统管理员同时发声的其他虚拟声源；

如果存在，提高所述系统管理员对应的音频信号的所述输出声压直至高于所述其他虚拟声源中每个虚拟声源对应的音频信号的所述输出声压，并按照提高后的所述输出声压将所述系统管理员对应的音频信号输出至所述音频播放设备。

本发明实施例第二方面公开一种服务设备，包括：

第一确定单元，用于根据mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述mr头显在真实空间中的物理位置；

第二确定单元，用于根据真实空间与虚拟空间之间的映射关系，确定所述mr头显的所述物理位置在所述虚拟空间中对应的虚拟位置；

第三确定单元，用于获取所述mr头显转动时的角速率，并根据所述角速率确定所述mr头显的佩戴者的视角方向；

处理单元，用于根据任一虚拟声源在所述虚拟空间中的已知位置、所述mr头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压；

输出单元，用于按照所述各个声道之间的输出时延以及所述每个声道的输出声压，将所述音频信号分别从所述每个声道输出至所述音频播放设备。

作为一种可选的实施方式，在本发明实施例第二方面中，所述处理单元，包括：

距离计算模块，用于根据任一虚拟声源在所述虚拟空间中的已知位置以及所述mr头显的所述虚拟位置，计算出所述虚拟声源与所述mr头显之间的相对距离；

方位计算模块，用于根据所述虚拟声源在所述虚拟空间中的已知位置以及所述视角方向，计算出所述虚拟声源与所述mr头显的相对方位；

处理模块，用于根据所述相对距离及所述相对方位，计算所述虚拟声源对应的音频信号从所述mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第一确定单元，包括：

获取模块，用于获取mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；

识别模块，用于识别所述景象的多个定位特征点中每一个所述定位特征点在真实空间中的已知位置，所述多个定位特征点的数量为至少三个；

第一确定模块，用于根据每一个所述定位特征点在所述景象中的景深度，确定所述mr头显与每一个所述定位特征点之间的相对位置；

第二确定模块，用于根据每一个所述定位特征点在真实空间中的已知位置、所述mr头显与所述多个定位特征点之间的相对位置，确定所述mr头显在真实空间中的物理位置。

作为一种可选的实施方式，在本发明实施例第二方面中，还包括：

第一判断单元，用于判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；

所述输出单元，还用于在所述第一判断单元判断出所述虚拟位置处于指定区域内时，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备。

作为一种可选的实施方式，在本发明实施例第二方面中，还包括：

第二判断单元，用于在所述第一判断单元判断出所述虚拟位置不是处于指定区域内时，判断所述虚拟声源是否为系统管理员，所述系统管理员用于发布语音提示信息；

第三判断单元，用于在第二判断单元判断出所述虚拟声源是系统管理员时，判断所述虚拟空间中是否存在与所述系统管理员同时发声的其他虚拟声源；

所述处理单元，还用于在所述第三判断单元判断出所述虚拟空间中存在与所述系统管理员同时发声的其他虚拟声源时，提高所述系统管理员对应的音频信号的所述输出声压直至高于所述其他虚拟声源中每个虚拟声源对应的音频信号的所述输出声压；

所述输出单元，还用于按照提高后的所述输出声压将所述系统管理员对应的音频信号输出至所述音频播放设备。

与现有技术相比，本发明实施例具有以下有益效果：

服务设备利用mr头显的双目摄像头模拟mr头显的佩戴者的双眼采集视野范围内的景象，从而可以根据上述景象中的定位特征点确定mr头显的在真实空间中的物理位置，也就是用户在真实空间中的物理位置。根据该物理位置以及真实空间与虚拟空间之间的映射，可以获得用户的虚拟位置。此外，服务设备还可以获取mr头显的佩戴者(也就是用户)的是视角方向，根据该视角方向、任一虚拟声源在虚拟空间中的已知位置、以及上述的虚拟位置，可以计算出用户与虚拟声源之间的相对位置，从而可以根据该相对位置计算mr头显的佩戴者(也就是用户)佩戴的音频播放设备的各个声道之间的输出时延，以及虚拟声源对应的音频信号从每个声道输出时的输出声压，从而可以按照上述的输出时延和输出声压，将该音频信号从每个声道中输出，因此，服务设备能够根据用户和虚拟声源之间的相对位置，调整虚拟声源对应的音频信号，使得虚拟声源对应的音频信号随着用户位置的改变而改变，从而可以提高虚拟声源对应的音频信号与用户位置之间的匹配度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于双目摄像头的混合现实音频控制方法的流程示意图；

图2是本发明实施例公开的另一种基于双目摄像头的混合现实音频控制方法的流程示意图；

图3是本发明实施例公开的一种服务设备的结构示意图；

图4是本发明实施例公开的另一种服务设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于双目摄像头的混合现实音频控制方法及服务设备，能够提高虚拟声源的音频信号与用户位置之间的匹配度。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于双目摄像头的混合现实音频控制方法的流程示意图。其中，图1所描述的基于光学定位的混合现实方法适用于与mr头显连接的服务设备，本发明实施例不做限定。举例来说，与mr头显连接的服务设备可以是个人电脑、智能手机、云服务器等，本发明实施例不做限定。其中，与mr头显连接的服务设备的操作系统可包括但不限于windows操作系统、linux操作系统、android操作系统、ios操作系统等等，本发明实施例不做限定。如图1所示，该基于双目摄像头的混合现实音频控制方法可以包括以下步骤：

101、服务设备根据mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定mr头显在真实空间中的物理位置。

作为一种可选的实施方式，在本发明实施例中，服务设备执行步骤101的方式具体可以为：

服务设备获取mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；

识别该景象的多个定位特征点中每一个定位特征点的已知位置信息，该多个定位特征点的数量为至少三个；

根据每一个定位特征点在该景象中的景深度，确定mr头显与每一个定位特征点之间的相对位置；

根据每一个定位特征点在真实空间中的已知位置、mr头显与多个定位特征点之间的相对位置，确定mr头显在真实空间中的物理位置。

102、服务设备根据真实空间与虚拟空间之间的映射关系，确定mr头显的物理位置在虚拟空间中对应的虚拟位置。

本发明实施例中，服务设备获取到的景象中的多个定位特征点是存在于真实空间中的定位特征点，因此根据多个定位特征点的已知位置计算得出的mr头显的物理位置为mr头显在真实空间中的物理位置，而虚拟声源是只存在于虚拟空间，不存在于真实空间中的声源，虚拟声源与用户头部之间的相对位置是对于虚拟空间而言的，因此，服务设备可以执行步骤102将mr头显的物理位置映射至虚拟空间，获得mr头显在虚拟空间中的虚拟位置作为用户头部在虚拟空间中的虚拟位置。

此外，服务设备可以预先生成上述虚拟空间，也可以从虚拟空间开放平台、三维虚拟空间存储云平台等上层平台获取虚拟空间。

举例来说，服务设备可以扫描周围环境中是否存在预先设置的接入节点；如果存在接入节点，服务设备可以检测接入节点与接入该接入节点的终端之间的平均数据传输速率；如果接入节点与接入该接入节点的终端之间的平均数据传输速率不低于指定阈值，服务设备可以向接入节点发送携带服务设备身份信息的身份验证请求，由接入节点验证服务设备的身份是否合法；如果服务设备的身份合法，服务设备可以向接入节点发送虚拟空间获取请求，由接入节点将虚拟空间获取请求加密后发送至虚拟空间开放平台；虚拟空间开放平台解密得到虚拟空间获取请求之后，向接入节点发送虚拟空间，并由虚拟节点将虚拟空间发送至服务设备。其中，实施上述的实施方式，可以减少服务设备生成虚拟空间的计算量，为跟踪用户位置等其他运算腾出计算资源，提高服务设备的响应速度。

103、服务设备获取mr头显转动时的角速率，并根据该角速率确定mr头显的佩戴者的视角方向。

本发明实施例中，mr头显可以内置陀螺仪、加速度计等惯性测量单元，陀螺仪可以测量mr头显转动时的角速率，从而可以根据该角速率确定mr头显的转动方向作为mr头显的佩戴者的视角方向。

作为一种可选的实施方式，服务设备在根据该角速率确定mr头显的转动方向之后，根据上述的视野范围内的景象中任一定位特征点的已知位置，以及mr头显的物理位置，对上述mr头显的转动方向进行修正，并将修正后的mr头显的转动方向作为mr头显的佩戴者的是视角方向。其中，实施上述的实施方式，可以结合光学定位和惯性测量，提高确定mr头显的佩戴者的视角方向的准确度。

104、服务设备根据任一虚拟声源在虚拟空间中的已知位置、mr头显的虚拟位置、以及上述的视角方向，计算虚拟声源对应的音频信号从mr头显的佩戴者佩戴的音频播放设备的各个声道输出时各个声道之间的输出时延以及各个声道中每个声道的输出声压。

本发明实施例中，假设任一虚拟声源为虚拟吉他，虚拟吉他在用户头部左侧，那么用户左耳听到虚拟吉他的声音会高于用户右耳听到的声音，而且，虚拟吉他的声音到达用户左耳的时间会早于到达用户右耳的时间，当用户走近虚拟吉他时，用户左耳听到的声音也会高于距离稍远时听到的声音。如果用户转动身体，使虚拟吉他在用户头部右侧，那么用户左耳听到的声音会低于用户右耳听到的声音，同时虚拟吉他的声音到达用户左耳的时间也会晚于到达用户右耳的声音。可见，本发明实施例通过结合虚拟声源在虚拟空间中的已知位置、mr头显的物理位置，以及mr头显的佩戴者的视角方向，计算音频信号从不同声道输出时各个声道之间的输出时延以及每个声道的输出声压，可以根据用户头部与虚拟声源之间的相对位置，调整虚拟声源对应的音频信号，提高虚拟声源对应的音频信号与用户位置之间的匹配度，能够使用户感受到传入双耳的声音存在时间差和声级差，并且该时间差和声级差与用户头部和虚拟声源之间的相对位置相匹配，从而增强用户体验的真实感。

105、服务设备按照各个声道之间的输出时延以及每个声道的输出声压，将虚拟声源对应的音频信号分别从每个声道输出至音频播放设备。

可见，在图1所描述的方法中，服务设备可以利用mr头显的双目摄像头采集到的视野范围内的景象中的多个定位特征点确定出mr头显(也就是用户头部)在真实空间中的物理位置，从而可以对用户头部，也就是用户位置进行跟踪。服务设备还可以获取mr头显转动时的角速率，确定mr头显的佩戴者(也就是用户)的视角方向，并且结合虚拟声源在虚拟空间中的虚拟位置、mr头显的物理位置映射到虚拟空间中的虚拟位置，以及mr头显的佩戴者的视角方向，调整虚拟声源对应的音频信号分别从mr头显的佩戴者(也就是用户)佩戴的音频播放设备的各个声道输出时的输出延时及输出声压，可以根据用户头部与虚拟声源之间的相对位置虚拟声源对应的音频信号，提高虚拟声源对应的音频信号与用户位置之间的匹配度，从而增强用户体验的真实感。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于双目摄像头的混合现实音频控制方法的流程示意图。如图2所示，该基于双目摄像头的混合现实音频控制方法可以包括以下步骤：

201、服务设备根据mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定mr头显在真实空间中的物理位置。

作为一种可选的实施方式，在本发明实施例中，服务设备执行步骤201的方式具体可以为：

服务设备获取mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；

服务设备识别该景象的多个定位特征点中每一个定位特征点的已知位置信息，该多个定位特征点的数量为至少三个；

服务设备根据每一个定位特征点在该景象中的景深度，确定mr头显与每一个定位特征点之间的相对位置；

服务设备根据每一个定位特征点在真实空间中的已知位置、mr头显与多个定位特征点之间的相对位置，确定mr头显在真实空间中的物理位置。

作为另一种可选的实施方式，在本发明实施例中，如果上述的景象中不存在至少三个定位特征点，服务设备确定mr头显在真实空间中的物理位置的方式具体可以为：

服务设备获取mr头显运动时的角速率、加速度以及mr头显的初始物理位置，其中，该初始物理位置是在mr头显采集到不包含至少三个定位特征点的景象之前，mr头显在真实空间中的物理位置；

服务设备根据该初始物理位置及mr头显运动时的角速率和加速度，利用惯性导航计算mr头显采集到不包含至少三个定位特征点的景象时，mr头显在真实空间中的物理位置。

其中，实施上述的实施方式，可以在mr头显采集到的景象中不包含至少三个特征点时，以惯性导航为补充，对mr头显的物理位置进行定位，从而可以提高位置跟踪的准确度。

202、服务设备根据真实空间与虚拟空间之间的映射关系，确定mr头显的物理位置在虚拟空间中对应的虚拟位置。

203、服务设备判断mr头显的虚拟位置是否处于指定区域内，如果是，直接执行步骤207，如果否，执行步骤204。

本发明实施例中，指定区域以任一虚拟声源为中心，以预设的最小距离为半径，当mr头显(也就是用户头部)的虚拟位置处于指定区域内时，用户距离虚拟声源较近，用户难以分辨传入双耳的声音在时间差和声级差上的区别，因此，当服务设备判断出mr头显的虚拟位置处于指定区域时，执行步骤207，不调整音频播放设备各个声道之间的输出时延和输出声压，将虚拟声源对应的音频信号直接输出至音频播放设备，可以在不影响用户体验的情况下减少服务设备的计算量，节省服务设备的计算资源。

204、服务设备判断虚拟声源是否为系统管理员，如果是，执行步骤205，如果否，直接执行步骤208。

205、服务设备判断虚拟空间中是否存在与系统管理员同时发声的其他虚拟声源，如果是，执行步骤206，如果否，执行步骤207。

206、服务设备提高系统管理员对应的音频信号的输出声压直至高于其他虚拟声源中每个虚拟声源对应的音频信号的输出声压，按照提高后的输出声压将系统管理员对应的音频信号输出至音频播放设备，并结束本流程。

本发明实施例中，系统管理员用于发布语音提示信息，语音提示信息可以是指引型的提示信息，比如说混合现实游戏场景下用于提示用户系统已发布新任务的任务信息，或者是混合现实展览场景下为用户讲解的引导信息，也可以是警示型的提示信息，比如说当服务设备检测到mr头显电量不足时提醒用户注意电量的消息，或者是多用户环境下，服务设备通过mr头显采集到的多张景象判断出前方有快速移动的另一用户时，提醒用户注意安全，避免碰撞的消息，本发明实施例不做限定。由于系统管理发布的语音提示信息可以指引用户，也可能关系到用户安全，用户需要听清楚系统理员对应的音频信号，因此，当虚拟空间中存在多个与系统管理员同时发声的其他虚拟声源时，服务设备可以提高系统管理员对应的音频信号的输出声压，直至其输出声压高于其他虚拟声源对应的音频信号的输出声压，以使用户听到其他虚拟声源的声音不会覆盖系统管理员的声音，使用户清楚地听到系统管理员发布的语音提示信息。

作为一种可选的实施方式，为了在提高声压的同时保护用户的听力，服务设备在提高系统管理员对应的音频信号的输出声压的同时，可以适当调低其他虚拟声源对应的音频信号对应的声压，直至系统管理员对应的音频信号的输出声压高于其他虚拟声源对应的音频信号的输出声压。

此外，系统管理员可以是虚拟空间中有实际位置的虚拟体(如非玩家控制角色，npc)，作为另一种可选的实施方式，为了增强用户体验的真实感，服务设备可以在保持系统管理员对应的音频信号的输出声压高于其他虚拟声源对应的音频信号的输出声压这一条件的情况下，执行步骤209，计算出系统管理员对应的音频信号从mr头显的佩戴者佩戴的音频播放设备的各个声道输出时的输出时延以及每个声道的输出声压，并按照该输出时延和输出声压将系统管理员对应的音频信号从各个声道输出。

可选的，系统管理员还可以是虚拟空间中没有实际位置的虚拟体(如游戏情境下的用于发布消息的世界频道)，用户无需感知系统管理员的位置，因此服务设备可以在调整系统管理员对应的音频信号高于其他虚拟声源对应的音频信号之后，可以不考虑不同声道之间的输出延时以及输出声压的差异，将系统管理员对应的音频信号输出至音频播放设备。

207、服务设备直接将虚拟声源对应的音频信号输出至音频播放设备，并结束本流程。

本发明实施例中，服务设备直降将虚拟声源对应的音频信号输出至音频播放设备时，可以不考虑音频播放设备各个声道之间的输出延时以及输出声压的差异，按照相同的输出时间以及服务设备预设的输出声压将虚拟声源对应的音频信号从每个声道输出值音频播放设备。

208、服务设备获取mr头显转动时的角速率，并根据该角速率确定mr头显的佩戴者的视角方向。

209、服务设备根据虚拟声源在虚拟空间中的已知位置、mr头显的虚拟位置、以及上述的视角方向，计算虚拟声源对应的音频信号从mr头显的佩戴者佩戴的音频播放设备的各个声道输出时各个声道之间的输出时延以及各个声道中每个声道的输出声压。

作为一种可选的实施方式，在本发明实施例中，服务设备执行步骤209的方式具体可以为：

根据虚拟声源在虚拟空间中的已知位置以及mr头显的虚拟位置，计算出虚拟声源与mr头显之间的相对距离；

根据虚拟声源在虚拟空间中的已知位置以及mr头显佩戴者的视角方向，计算出虚拟声源与mr头显的相对方位；

根据相对距离及相对方位，计算虚拟声源对应的音频信号从mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，各个声道之间的输出时延以及各个声道中每个声道的输出声压。

210、服务设备按照各个声道之间的输出时延以及每个声道的输出声压，将虚拟声源对应的音频信号分别从每个声道输出至音频播放设备。

作为一种可选的实施方式，在本发明实施例中，服务设备按照各个声道之间的输出时延以及每个声道的输出声压，将虚拟声源对应的音频信号分别从每个声道输出至音频播放设备之前，服务设备还可以对虚拟声源对应的音频信号进行预处理，例如对音频信号进行降噪处理，或者叠加虚拟空间的声场特征，以增强用户体验的真实感。

可见，在图2所描述的方法中，服务设备可以对mr头显的物理位置以及对应的虚拟位置进行实时监控，并且实施调整虚拟声源对应的音频信号以使该音频信号与mr头显(也就是用户头部)和虚拟声源之间的相对位置相匹配。进一步地，在图2所描述的方法中，服务设备可以在mr头显的虚拟位置处于指定区域内时，直接将音频信号输出至音频播放设备，可以在不影响用户体验的情况下减少服务设备的计算量，节省服务设备的计算资源。更进一步地，在图2所描述的方法中，服务设备可以在mr头显的虚拟位置处于指定区域外，且虚拟声源为系统管理员以及虚拟空间中存在与系统管理员同时发声的多个虚拟声源时，提高系统管理员对应的音频信号的输出声压直至高于其他虚拟声源中每个虚拟声源对应的音频信号的输出声压，并按照提高后的输出声压将系统管理员对应的音频信号输出至音频播放设备，从而可以降低其他虚拟声源的声压覆盖系统管理员发布的语音提示信息的声音的概率，使用户可以听清楚语音提示信息，为用户提供良好的使用体验，以及保障用户的安全。

实施例三

请参阅图3，图3是本发明实施例公开的一种服务设备。如图3所示，该服务设备可以包括：

第一确定单元301，用于根据mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定mr头显在真实空间中的物理位置；

其中，上述的第一确定单元301，包括：

获取模块3011，用于获取mr头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；

识别模块3012，用于识别获取模块3011获取到的景象的多个定位特征点中每一个定位特征点在真实空间中的已知位置，其中，多个定位特征点的数量为至少三个；

第一确定模块3013，用于根据获取模块3011获取到的景象的每一个定位特征点在该景象中的景深度，确定mr头显与每一个定位特征点之间的相对位置；

第二确定模块3014，用于根据识别模块3012识别出每一个定位特征点在真实空间中的已知位置、第一确定模块3013确定的mr头显与多个定位特征点之间的相对位置，确定mr头显在真实空间中的物理位置。

图3所示的服务设备还可以包括:

第二确定单元302，用于根据真实空间与虚拟空间之间的映射关系，确定第二确定模块3014确定的mr头显的物理位置在虚拟空间中对应的虚拟位置；

第三确定单元303，用于获取mr头显转动时的角速率，并根据该角速率确定mr头显的佩戴者的视角方向；

本发明实施例中，第三确定单元可以获取mr头显的陀螺仪测量出mr头显转动时的角速率，从而可以根据该角速率计算出mr头显的转动方向作为mr头显的佩戴者的视角方向；

处理单元304，用于根据任一虚拟声源在虚拟空间中的已知位置、第二确定单元302确定的mr头显的虚拟位置、以及第三确定单元303确定的视角方向，计算虚拟声源对应的音频信号从mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，各个声道之间的输出时延以及各个声道中每个声道的输出声压；

输出单元305，用于按照处理单元304计算出的各个声道之间的输出时延以及每个声道的输出声压，将上述的音频信号分别从每个声道输出至音频播放设备。

以及，作为一种可选的实施方式，上述的第三确定单元303根据mr头显转动时的角速率确定mr头显转动方向之后，可以第一确定单元301中的获取模块3011获取的景象中任一定位特征点的已知位置，以及第一确定单元301的第二确定模块3014确定的mr头显的物理位置，对上述mr头显的转动方向进行修正，并将修正后的mr头显的转动方向作为mr头显的佩戴者的是视角方向。其中，实施上述的实施方式，可以结合光学定位和惯性测量，提高确定mr头显的佩戴者的视角方向的准确度。

可见，实施图3所示的服务设备，可以利用mr头显的双目摄像头采集到的视野范围内的景象中的多个定位特征点确定出mr头显(也就是用户头部)在真实空间中的物理位置，从而可以对用户头部，也就是用户位置进行跟踪。服务设备还可以获取mr头显转动时的角速率，确定mr头显的佩戴者(也就是用户)的视角方向，并且结合虚拟声源在虚拟空间中的虚拟位置、mr头显的物理位置映射到虚拟空间中的虚拟位置，以及mr头显的佩戴者的视角方向，调整虚拟声源对应的音频信号分别从mr头显的佩戴者(也就是用户)佩戴的音频播放设备的各个声道输出时的输出延时及输出声压，可以根据用户头部与虚拟声源之间的相对位置虚拟声源对应的音频信号，提高虚拟声源对应的音频信号与用户位置之间的匹配度，从而增强用户体验的真实感。

实施例四

请参与图4，图4是本发明实施例公开的另一种服务设备。其中，图4所示的服务设备是由图3所示的服务设备进行优化得到的。与图3所示的服务设备相比较，图4所示的服务设备还可以包括：

第一判断单元306，用于判断第二确定单元302确定的虚拟位置是否处于指定区域内；

本发明实施例中，上述的指定区域以所述虚拟声源为中心，以预设的最小距离为半径；

上述的输出单元305，还用于在第一判断单元306判断出mr头显的虚拟位置处于指定区域内时，直接将虚拟声源对应的音频信号输出至音频播放设备。

第二判断单元307，用于在第一判断单元306判断出mr头显的虚拟位置不是处于指定区域内时，判断虚拟声源是否为系统管理员，系统管理员用于发布语音提示信息；

本发明实施例中，第二判断单元在判断出虚拟声源是系统管理员时，触发第三判断单元308，在判断出虚拟声源不是系统管理员时，触发第三确定单元303；

上述的第三判断单元308，用于在第二判断单元307判断出虚拟声源是系统管理员时，判断虚拟空间中是否存在与系统管理员同时发声的其他虚拟声源；

上述的第三确定单元303，具体用于在第二判断单元307判断出虚拟声源不是系统管理员时，获取mr头显转动时的角速率，并根据该角速率确定mr头显的佩戴者的视角方向，并触发处理单元304执行根据任一虚拟声源在虚拟空间中的已知位置、mr头显的虚拟位置、以及上述的视角方向，计算mr头显的佩戴者佩戴的音频播放设备的各个声道之间的输出时延以及虚拟声源对应的音频信号从各个声道中输出时每个声道的输出声压的操作。

上述的处理单元304，还用于在第三判断单元308判断出虚拟空间中存在与系统管理员同时发声的其他虚拟声源时，提高系统管理员对应的音频信号的输出声压直至高于其他虚拟声源中每个虚拟声源对应的音频信号的输出声压；

其中，上述的处理单元304，包括：

距离计算模块3041，用于根据该虚拟声源在虚拟空间中的已知位置以及第二确定单元302确定的mr头显的虚拟位置，计算出虚拟声源与mr头显之间的相对距离；

方位计算模块3042，用于根据该虚拟声源在虚拟空间中的已知位置以及第三确定单元303确定的视角方向，计算出该虚拟声源与mr头显的相对方位；

处理模块3043，用于根据距离计算模块3041计算出的相对距离及方位计算模块3042计算出的相对方位，计算虚拟声源对应的音频信号从mr头显的佩戴者佩戴的音频播放设备的各个声道输出时，各个声道之间的输出时延以及所述各个声道中每个声道的输出声压。

以及，处理模块3043还用于在第三判断单元308判断出虚拟空间中存在与系统管理员同时发声的其他虚拟声源时，提高系统管理员对应的音频信号的输出声压直至高于其他虚拟声源中每个虚拟声源对应的音频信号的输出声压。

上述的输出单元305，具体用于按照处理模块3043计算出的各个声道之间的输出时延以及每个声道的输出声压，将上述的音频信号分别从每个声道输出至音频播放设备。或者，

按照处理模块3043提高后的输出声压将系统管理员对应的音频信号输出至音频播放设备。或者，

在第一判断单元306判断出mr头显的虚拟位置处于指定区域内时，或者在第三判断单元308判断出虚拟空间中不存在与系统管理员同时发声的虚拟声源时，直接将虚拟声源对应的音频信号输出至音频播放设备。

此外，在本发明实施例中，作为一种可选的实施方式，如果上述的第一确定单元301获取到的景象中不存在至少三个定位特征点，第一确定单元301确定mr头显在真实空间中的物理位置的方式可以为：

第一确定单元301获取mr头显运动时的角速率、加速度以及mr头显的初始物理位置，其中，该初始物理位置是在mr头显采集到不包含至少三个定位特征点的景象之前，mr头显在真实空间中的物理位置；

第一确定单元301根据该初始物理位置及mr头显运动时的角速率和加速度，利用惯性导航计算mr头显采集到不包含至少三个定位特征点的景象时，mr头显在真实空间中的物理位置。

其中，实施上述的实施方式，可以在mr头显采集到的景象中不包含至少三个特征点时，以惯性导航为补充，对mr头显的物理位置进行定位，从而可以提高位置跟踪的准确度。

可见，实施图4所示的服务设备，可以对mr头显的物理位置以及对应的虚拟位置进行实时监控，并且实施调整虚拟声源对应的音频信号以使该音频信号与mr头显(也就是用户头部)和虚拟声源之间的相对位置相匹配。进一步地，实施图4所示的服务设备，可以在第一判断单元306判断出mr头显的虚拟位置处于指定区域内时，通过输出单元305直接将音频信号输出至音频播放设备，可以在不影响用户体验的情况下减少服务设备的计算量，节省服务设备的计算资源。更进一步地，实施图4所示的服务设备，可以在第一判断单元306判断出mr头显的虚拟位置处于指定区域外，且第二判断单元307判断出虚拟声源为系统管理员，以及第三判断单元308判断出虚拟空间中存在与系统管理员同时发声的多个虚拟声源时，提高系统管理员对应的音频信号的输出声压直至高于其他虚拟声源中每个虚拟声源对应的音频信号的输出声压，并按照提高后的输出声压将系统管理员对应的音频信号输出至音频播放设备，从而可以降低其他虚拟声源的声压覆盖系统管理员发布的语音提示信息的声音的概率，使用户可以听清楚语音提示信息，为用户提供良好的使用体验，以及保障用户的安全。

实施例五

本发明实施例公开一种服务设备，包括：

存储有可执行程序代码的存储器以及与存储器耦合的处理器；

其中，处理器调用存储器中存储的可执行程序代码，执行图1或图2所示的基于双目摄像头的混合现实音频控制方法。

此外，本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1或图2所示的基于双目摄像头的混合现实音频控制方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-onlymemory，rom)、随机存储器(randomaccessmemory，ram)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于双目摄像头的混合现实音频控制方法及服务设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。