一种基于光学定位的混合现实音频控制方法及服务设备与流程

本发明涉及音频控制技术领域，具体涉及一种基于光学定位的混合现实音频控制方法及服务设备。

背景技术：

混合现实技术(mixedreality,简称mr)是虚拟现实技术的进一步发展，混合现实技术追求沉浸感，以模糊真实空间与虚拟空间之间的界限，增强用户体验的真实感。目前大部分的混合现实技术都是在视觉上提高沉浸感，但是听觉也是提高沉浸感的一个重要因素。当用户移动时，听到同一个声源发出的声音也应该随之改变，然而目前混合现实技术使用的大部分音频控制方案无法使虚拟声源发出的声音随着用户位置的改变而改变，无法使用户感知到与当前用户位置相对应的声源方位与声源距离。在客观存在的真实声源和虚拟声源同时发声的情况下，上述的音频控制方案会使用户产生强烈的割裂感，影响用户体验。

技术实现要素：

本发明实施例公开了一种基于光学定位的混合现实音频控制方法及服务设备，能够提高虚拟声源对应的音频信号与用户位置之间的匹配度。

本发明实施例第一方面公开一种基于光学定位的混合现实音频控制方法，所述方法包括：

获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像，所述多张拍摄图像的数量为至少三张，所述标定物用于标定mr头显佩戴者的头部；

根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置；

将所述物理位置映射至虚拟空间，获得所述标定物在虚拟空间中的虚拟位置；

根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；

利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波，得到所述各个声道中每个声道对应的音频信号，并按照所述各个声道之间的输出时延将所述每个声道对应的音频信号分别输出至所述音频播放设备。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延，包括：

根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，确定所述虚拟声源与所述标定物之间的相对距离；

控制所述mr头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；

判断所述景象中是否存在定位特征点，如果存在，根据所述定位特征点在真实空间中的已知位置以及所述标定物的所述物理位置，确定所述mr头显佩戴者的视角方向；

根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位；

根据所述相对距离及所述相对方位，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置，包括：

根据所述多张拍摄图像中的每张拍摄图像，计算所述标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；

根据所述多个高速摄像机在真实空间中的已知位置、所述标定物与每一个所述高速摄像机之间的相对位置，计算所述标定物在真实空间中的物理位置。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

如果所述景象中不存在所述定位特征点，获取所述mr头显转动时的角速率；

根据所述角速率，确定所述mr头显佩戴者的视角方向，并执行所述根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位的步骤。

作为一种可选的实施方式，在本发明实施例第一方面中，在所述获得所述标定物在虚拟空间中的虚拟位置之后，所述方法还包括：

判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；

如果是，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备；

如果否，执行所述根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

本发明实施例第二方面公开一种服务设备，包括：

获取单元，用于获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像，所述多张拍摄图像的数量为至少三张，所述标定物用于标定mr头显佩戴者的头部；

位置确定单元，用于根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置；

映射单元，用于将所述物理位置映射至虚拟空间，获得所述标定物在虚拟空间中的虚拟位置；

处理单元，用于根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；

输出单元，用于利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波，得到所述各个声道中每个声道对应的音频信号，并按照所述各个声道之间的输出时延将所述每个声道对应的音频信号分别输出至所述音频播放设备。

作为一种可选的实施方式，在本发明实施例第二方面中，所述处理单元，包括：

距离确定模块，用于根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，确定所述虚拟声源与所述标定物之间的相对距离；

控制模块，用于控制所述mr头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；

判断模块，用于判断所述景象中是否存在定位特征点；

视角确定模块，用于在判断模块判断出所述景象中存在定位特征点时，根据所述定位特征点在真实空间中的已知位置以及所述标定物的所述物理位置，确定所述mr头显佩戴者的视角方向；

方位确定模块，用于根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位；

处理模块，用于根据所述相对距离及所述相对方位，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

作为一种可选的实施方式，在本发明实施例第二方面中，所述位置确定单元，包括：

第一计算模块，用于根据所述多张拍摄图像中的每张拍摄图像，计算所述标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；

第二计算模块，用于根据所述多个高速摄像机在真实空间中的已知位置、所述标定物与每一个所述高速摄像机之间的相对位置，计算所述标定物在真实空间中的物理位置。

作为一种可选的实施方式，在本发明实施例第二方面中，所述处理单元还包括：

获取模块，用于在判断模块判断出所述景象中不存在所述定位特征点时，获取所述mr头显转动时的角速率；

以及，所述视角确定模块，还用于根据所述角速率，确定所述mr头显佩戴者的视角方向，并触发所述方位确定模块执行所述根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位的步骤。

作为一种可选的实施方式，在本发明实施例第二方面中，还包括：

判断单元，用于判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；

所述输出单元，还用于在所述判断单元判断出所述虚拟位置处于指定区域内时，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备；

所述处理单元，具体用于在所述判断单元判断出所述虚拟位置不是处于指定区域内时，根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

与现有技术相比，本发明实施例具有以下有益效果：

服务设备根据多个高速摄像机拍摄到的包含mr头显佩戴者的头部标定物的多张拍摄图像，可以计算出该标定物在真实空间中的物理位置，然后可以根据真实空间和虚拟空间之间的映射关系，确定出该标定物在虚拟空间中的虚拟位置，从而可以根据任一虚拟声源的已知位置以及该标定物的虚拟位置，计算各个声道之间的输出时延并利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波，得到每个声道对应的音频信号，并按照各个声道之间的输出时延将每个声道对应的音频信号分别输出至音频播放设备。可见，在本发明实施例中，服务设备可以对用户的位置进行实时监控，并根据用户位置和虚拟声源位置之间的关系对虚拟声源对应的音频信号进行实时处理，实时调整用户双耳听到的音频信号的时间差，并且使用数字滤波器模拟真实空间中声音从声源发出到传入人耳的传播过程，使得虚拟声源对应的音频信号随着用户位置的改变而改变，从而可以提高虚拟声源对应的音频信号与用户位置之间的匹配度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于光学定位的混合现实音频控制方法的流程示意图；

图2是本发明实施例公开的另一种基于光学定位的混合现实音频控制方法的流程示意图；

图3是本发明实施例公开的一种服务设备的结构示意图；

图4是本发明实施例公开的另一种服务设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于光学定位的混合现实音频控制方法及服务设备，能够提高虚拟声源对应的音频信号与用户位置之间的匹配度。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于光学定位的混合现实音频控制方法的流程示意图。其中，图1所描述的基于光学定位的混合现实方法适用于与mr头显连接的服务设备，本发明实施例不做限定。举例来说，与mr头显连接的服务设备可以是个人电脑、智能手机、云服务器等，本发明实施例不做限定。其中，与mr头显连接的服务设备的操作系统可包括但不限于windows操作系统、linux操作系统、android操作系统、ios操作系统等等，本发明实施例不做限定。如图1所示，该基于光学定位的混合现实音频控制方法可以包括以下步骤：

101、服务设备获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像。

本发明实施例中，上述的多张拍摄图像的数量为至少三张，上述的标定物用于标定mr头显佩戴者的头部。服务设备通过获取高速摄像机对标定物进行拍摄到的拍摄图像，可以对标定物进行光学定位。可选的，可以使用标定物主动发光的主动光学定位方式，比如说，标定物可以是位于用户头部的红外led灯，通过控制不同的红外led灯使用不同的频率发射红外光，服务设备可以区分不同的红外led灯，从而区分用户头部与身体其他部分，或者区分多个用户。又或者说，标定物也可以发射可见光，服务设备可以通过不同颜色的可见光对不同的标定物进行区分，本发明实施例不做限定。此外，也可以使用标定物不发光的被动光学定位方式，举例来说，位于用户头部的标定物可以是花纹、二维码等图案，服务设备可以通过图像识别的方法区分不同的标定物，本发明实施例不做限定。

102、服务设备根据多张拍摄图像确定标定物在真实空间中的物理位置。

作为一种可选的实施方式，本发明实施例中，服务设备根据多张拍摄图像确定标定物在真实空间中的物理位置的方式具体可以为：

根据多张拍摄图像中的每张拍摄图像，计算标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；

根据多个高速摄像机在真实空间中的已知位置、标定物与每一个高速摄像机之间的相对位置，计算标定物在真实空间中的物理位置。

本发明实施例中，用户的头部发生转动或位移时，虚拟声源本身的绝对位置不会改变，但是虚拟声源与用户头部的相对位置会发生变化。比如说，在用户前方有一把吉他在演奏，当用户移动到吉他右边的时候，用户听到吉他的声音从左方传来，因此，为了在虚拟空间中增强用户体验的真实感，需要对用户头部位置进行跟踪，执行上述的步骤101及步骤102，可以使用光学定位的方法对标定物(也就是用户头部)的转动和位移进行跟踪，从而为后续音频处理过程提供位置信息。

103、服务设备将标定物的物理位置映射至虚拟空间，获得标定物在虚拟空间中的虚拟位置。

本发明实施例中，服务设备可以预先生成虚拟空间，虚拟空间和物理空间之间存在着映射关系，因此，可以在有限的物理空间内映射出无限的虚拟空间，存在于虚拟空间中的虚拟声源与标定物(也就是用户头部)之间的关系是相对于虚拟空间而言的，所以，服务设备在确定了标定物的物理位置之后，需要根据虚拟空间与物理空间之间的映射关系将标定物的物理位置转换为虚拟位置。

104、服务设备根据任一虚拟声源在虚拟空间中的已知位置以及标定物的虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

作为一种可选的实施方式，在本发明实施例中，服务设备执行步骤104的方式具体可以为:

根据任一虚拟声源在虚拟空间中的已知位置以及标定物的虚拟位置，确定虚拟声源与标定物之间的相对距离；

控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；

判断景象中是否存在定位特征点，如果存在，根据定位特征点在真实空间中的已知位置以及标定物的物理位置，确定mr头显佩戴者的视角方向；

根据视角方向以及虚拟声源在虚拟空间中的已知位置，确定标定物与虚拟声源之间的相对方位；

根据所述相对距离及所述相对方位，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

本发明实施例中，传入左耳和右耳的声音时间上有一定差异。举例来说，假设声源在用户左边，声源发出的声音会先到达左耳，再到达右耳，而虚拟声源与用户头部之间的相对距离及相对方位是影响声音时延的一个重要因素，而mr头显佩戴者佩戴的音频播放设备的各个声道用于模拟从各个方向传入人耳的声音，因此，需要计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

105、服务设备利用各个声道对应的数字滤波器分别对虚拟声源对应的音频信号进行滤波，得到各个声道中每个声道对应的音频信号，并按照各个声道之间的输出时延将每个声道对应的音频信号分别输出至音频播放设备。

本发明实施例中，声音不止在到达双耳的时间上有差异，在声音频率、声级上也有差异，比如说，假设声源在用户左边，用户左耳听到的声级会高于右耳听到的声级，声音在传播到用户右耳的过程中，高频的部分被头部遮挡，低频部分经过绕射进入耳内。结合声音的时间差、声级差以及声音频率差异，在现实生活中我们可以利用双耳听到的声音差异对声源进行定位。要在用户体验混合现实技术时，在虚拟空间中还原现实生活中对声音的体验，需要对传输到用户左耳和右耳的声音信号分别进行声音频率、声级和时延的处理，使得用户可以在虚拟空间中也可以对虚拟声源进行定位。

数字滤波器可以模拟声音从声源发出到传入人耳的传播过程中各种因素对声音的声级和频率造成的影响，因此，利用各个声道对应的数字滤波器对虚拟声源对应的音频信号进行处理得到的各个声道对应的音频信号可以模拟真实空间中从各个方向传来的声音。上述的数字滤波器可以是固定的，每个声道对应的滤波器一旦设置就不改变，也可以是可调整的，可以根据不同的情况调整数字滤波器中的参数。

可选的，服务设备可以在确定了声源与标定物(也就是用户头部)之间的相对距离和相对方位之后，分别调整数字滤波器中与距离和方位对应的参数，从而可以得到与该相对距离和相对方位相匹配的音频信号。

进一步可选的，服务设备还可以根据上述的虚拟位置，对数字滤波器中与环境对应的参数进行调整，比如说，当判断出上述的虚拟位置处于虚拟空间中开阔的室外环境时，服务设备可以调整数字滤波器与环境对应的参数与室外环境相匹配，当判断出上述的虚拟位置处于虚拟空间中密闭的室内环境时，服务设备可以调整数字滤波器与环境对应的参数与室内环境相匹配，从而可以在对音频信号进行处理的过程中也考虑环境因素对声音传播过程带来的影响，使得数字滤波器模拟的声音传播过程更接近真实空间中的声音传播过程，增强用户体验的真实感。

在步骤105中，使用数字滤波器可以对声音频率以及声级进行处理，使用数字时延电路可以实现延时输出，因此，用户听到音频播放设备播放的声音会更加逼真，从而在虚拟空间中也可以对虚拟声源进行定位。一般来说，使用双声道输出音频信号可以模拟左耳和右耳听到的声音，为了更好地实现立体声，也可以使用多声道，本发明实施例不做限定。

可见，在图1所描述的基于光学定位的混合现实音频控制方法中，服务设备可以根据多个高速摄像机拍摄到的包含mr头显佩戴者的头部标定物的多张拍摄图像，可以计算出该标定物在真实空间中的物理位置，从而可以对用户头部的转动和位移进行跟踪，对用户位置进行实时监控，为后续的音频信号处理提供位置信息。获得标定物的物理位置之后，服务设备可以根据真实空间和虚拟空间之间的映射关系，获得标定物在虚拟空间中的虚拟位置，从而可以根据任一虚拟声源的已知位置以及该标定物的虚拟位置，计算各个声道之间的输出时延，并利用各个声道对应的数字滤波器分别对虚拟声源对应的音频信号进行滤波，得到每个声道对应的音频信号，按照各个声道之间的输出时延将每个声道对应的音频信号分别输出至音频播放设备，从而可以实时调整用户双耳听到的音频信号的时间差，并且使用数字滤波器模拟真实空间中声音从声源发出到传入人耳的传播过程，使得虚拟声源对应的音频信号随着用户位置的改变而改变，能够提高虚拟声源对应的音频信号与用户位置之间的匹配度。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于光学定位的混合现实音频控制方法。如图2所示，该基于光学定位的混合现实音频控制方法可以包括以下步骤：

201、服务设备获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像。

本发明实施例中，上述的多张拍摄图像的数量为至少三张，上述的标定物用于标定mr头显佩戴者的头部。

202、服务设备根据多张拍摄图像确定标定物在真实空间中的物理位置。

作为一种可选的实施方式，本发明实施例中，服务设备根据多张拍摄图像确定标定物在真实空间中的物理位置的方式具体可以为：

根据多张拍摄图像中的每张拍摄图像，计算标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；

根据多个高速摄像机在真实空间中的已知位置、标定物与每一个高速摄像机之间的相对位置，计算标定物在真实空间中的物理位置。

203、服务设备将标定物的物理位置映射至虚拟空间，获得标定物在虚拟空间中的虚拟位置。

204、服务设备判断标定物的虚拟位置是否处于指定区域内，如果是，执行步骤205，如果否，执行步骤206～步骤207。

本发明实施例中，上述的指定区域以虚拟声源为中心，以预设的最小距离为半径。

205、服务设备直接将虚拟声源对应的音频信号输出至音频播放设备，并结束本流程。

本发明实施例中，当用户头部与真实空间中的任一真实声源的距离比较近时，到达双耳的声音差异很小，用户难以分辨，相应地，在虚拟空间中，当标定物(也就是用户头部)的虚拟位置处于以任一虚拟声源为中心的指定区域内时，服务设备可以对虚拟声源对应的音频信号不做任何处理，直接输出至音频播放设备，而不会影响用户体验，同时还可以减少服务设备的计算量，为位置跟踪等其他运算腾出计算资源，提高服务设备的响应速度。

206、服务设备根据任一虚拟声源在虚拟空间中的已知位置以及标定物的虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

作为一种可选的实施方式，在本发明实施例中，服务设备执行步骤206的方式具体可以为:

根据任一虚拟声源在虚拟空间中的已知位置以及标定物的虚拟位置，确定虚拟声源与标定物之间的相对距离；

控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；

判断上述的景象中是否存在定位特征点，如果存在，根据定位特征点在真实空间中的已知位置以及标定物的物理位置，确定mr头显佩戴者的视角方向；

根据视角方向以及虚拟声源在虚拟空间中的已知位置，确定标定物与虚拟声源之间的相对方位；

根据相对距离及相对方位，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

作为另一种可选的实施方式，在本发明实施例中，服务设备执行步骤206的方式还可以为：

如果上述的景象中不存在定位特征点，获取mr头显转动时的角速率；

根据上述的角速率，确定mr头显佩戴者的视角方向，并执行根据视角方向以及虚拟声源在虚拟空间中的已知位置，确定标定物与虚拟声源之间的相对方位的步骤。

本发明实施例中，上述的景象可能包含背景景象和实体景象，上述的定位特征点在背景景象上，因此，由于实体景象的遮挡等因素影响，mr头显的双目摄像头采集到的视野范围内的景象可能不包含定位特征点，也就是说mr头显的双目摄像头拍摄不到定位特征点，此时，服务设备不能使用定位特征点的位置信息来确定mr头显佩戴者(也就是用户)的视角方向。但是，mr头显可以内置陀螺仪、加速度计等惯性测量单元，陀螺仪可以测量mr头显转动时的角速率。服务设备可以使用mr头显拍摄不到定位特征点之前，mr头显佩戴者(也就是用户)的视角方向为起始方向，结合上述的角速率，计算出采集到不包含定位特征点的景象时，mr头显佩戴(也就是用户)的视角方向。可见，使用惯性测量单元测量出的角速率作为补充，可以提高mr头显拍摄不到定位特征点时服务设备确定视角方向的准确度。

可选的，在本发明实施例中，服务设备在确定虚拟声源与标定物之间的相对距离之后，还可以：

将mr头显佩戴者的视角方向设置为用户直接面对虚拟声源的方向；

控制mr头显模拟人眼工作的双目摄像头采集视野范围内的景象；

根据上述的景象中的定位特征点对上述的视角方向进行校正；

根据校正后的视角方向以及虚拟声源在虚拟空间中的已知位置，确定标定物与虚拟声源之间的相对方位。

本发明实施例中，无论用户初始的视角方向是位于哪个方向，当虚拟声源开始发声之后，用户的下一步动作总是倾向于面对虚拟声源。比如说，虚拟声源可以是非玩家控制角色(nonplayercharacter，简称npc)，当npc开始与用户交谈之后，用户的下一步动作很可能是转向npc，并向着npc的方向移动，而在交谈过程中，用户与npc之间总是保持面对面的关系，因此，服务设备可以根据这一特点，在虚拟声源开始发声之后，直接将mr头显佩戴者(也就是用户)的视觉方向设置为与虚拟声源直接面对的方向，并使用背景景象中的定位特征点作为补充校正，从而可以在保持确定视角方向的准确度的同时，减少服务设备的计算量。

207、服务设备利用各个声道对应的数字滤波器分别对虚拟声源对应的音频信号进行滤波，得到各个声道中每个声道对应的音频信号，并按照各个声道之间的输出时延将每个声道对应的音频信号分别输出至音频播放设备。

在图2所描述的方法中，服务设备可以对用户头部进行跟踪，对用户位置进行实时监控，并根据位置信息对虚拟声源对应的音频信号进行实时处理，从而提高虚拟生源对应的音频信号与用户位置之间的匹配度。进一步地，在图2所描述的方法中，服务设备在判断出用户头部处于指定区域内时，直接将虚拟声源对应的音频信号输出至音频播放设备，可以在不影响用户体验的情况下减少服务设备的计算量，为位置跟踪等其他运算腾出计算资源，提高服务设备的响应速度。此外，在图2所描述的方法中，服务设备在mr头显采集到的景象中不包含定位特征点时，使用mr头显的惯性测量单元测出的角速率，计算mr头显设备佩戴者的视角方向，从而可以使用角速率作为补充，提高mr头显拍摄不到定位特征点时服务设备确定视角方向的准确度。

实施例三

请参阅图3，图3是本发明实施例公开的一种服务设备。如图3所示，该服务设备包括：

获取单元301，用于获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像.

本发明实施例中，多张拍摄图像的数量为至少三张，标定物用于标定mr头显佩戴者的头部；

位置确定单元302，用于根据获取单元301获取的多张拍摄图像确定标定物在真实空间中的物理位置；

映射单元303，用于将位置确定单元302确定的物理位置映射至虚拟空间，获得标定物在虚拟空间中的虚拟位置；

处理单元304，用于根据任一虚拟声源在虚拟空间中的已知位置以及映射单元303确定的标定物的虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。

输出单元305，用于利用所述各个声道对应的数字滤波器分别对虚拟声源对应的音频信号进行滤波，得到各个声道中每个声道对应的音频信号，并按照处理单元304计算出的各个声道之间的输出时延将每个声道对应的音频信号分别输出至音频播放设备。

其中，上述的处理单元304，包括：

距离确定模块3041，用于根据任一虚拟声源在虚拟空间中的已知位置以及映射单元303确定的标定物的虚拟位置，确定虚拟声源与标定物之间的相对距离；

控制模块3042，用于控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；

判断模块3043，用于判断控制模块3042控制mr头显采集的景象中是否存在定位特征点；

视角确定模块3044，用于在判断模块3043判断出上述的景象中存在定位特征点时，根据定位特征点在真实空间中的已知位置以及确定单元302确定的标定物的物理位置，确定mr头显佩戴者的视角方向；

方位确定模块3045，用于根据视角确定模块3044确定的视角方向以及虚拟声源在虚拟空间中的已知位置，确定标定物与虚拟声源之间的相对方位；

处理模块3046，用于根据距离确定模块3041确定的相对距离及方位确定模块3045确定的相对方位，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；

以及，上述的输出单元305，具体用于利用各个声道对应的数字滤波器分别对虚拟声源对应的音频信号进行滤波，得到各个声道中每个声道对应的音频信号，并按照处理模块3046计算出的各个声道之间的输出时延将每个声道对应的音频信号分别输出至音频播放设备。

本发明实施例中，输出单元305的数字滤波器可以模拟声音从声源发出到传入人耳的传播过程中各种因素对声音的声级和频率造成的影响，上述的数字滤波器可以是固定的，每个声道对应的滤波器一旦设置就不改变，也可以是可调整的，可以根据不同的情况调整数字滤波器中的参数

可选的，上述的输出单元305可以根据虚拟声源与标定物(也就是用户头部)之间的相对距离和相对方位，分别调整数字滤波器中与距离和方位对应的参数。

进一步可选的，上述的输出单元305还可以根据映射单元303确定的虚拟位置，调整数字滤波器中与环境对应的参数，比如说，当判断出上述的虚拟位置处于虚拟空间中开阔的室外环境时，服务设备可以调整数字滤波器与环境对应的参数与室外环境相匹配，当判断出上述的虚拟位置处于虚拟空间中密闭的室内环境时，服务设备可以调整数字滤波器与环境对应的参数与室内环境相匹配，从而可以在对音频信号进行处理的过程中也考虑环境对声音传播过程带来的影响，使得数字滤波器模拟的声音传播过程更接近真实空间中的声音传播过程，增强用户体验的真实感。

可见，实施图3所示的服务设备，可以根据多个高速摄像机拍摄到的包含mr头显佩戴者的头部标定物的多张拍摄图像，计算出该标定物在真实空间中的物理位置，从而可以对用户头部的转动和位移进行跟踪，并且根据真实空间和虚拟空间之间的映射关系，获得标定物在虚拟空间中的虚拟位置，从而可以根据任一虚拟声源的已知位置以及该标定物的虚拟位置，计算各个声道之间的输出时延，并利用各个声道对应的数字滤波器分别对虚拟声源对应的音频信号进行滤波，得到各个声道中每个声道对应的音频信号，然后按照各个声道之间的输出时延将每个声道对应的音频信号分别输出至音频播放设备，从而可以实时调整用户双耳听到的音频信号的时间差，并且使用数字滤波器模拟真实空间中声音从声源发出到传入人耳的传播过程，使得虚拟声源对应的音频信号随着用户位置的改变而改变，能够提高虚拟声源对应的音频信号与用户位置之间的匹配度。

实施例四

请参与图4，图4是本发明实施例公开的另一种服务设备。其中，图4所示的服务设备是由图3所示的服务设备进行优化得到的。与图3所示的服务设备相比较，图4所示的服务设备还可以包括：

判断单元306，用于在映射单元303确定标定物在虚拟空间中的虚拟位置之后，判断映射单元303确定的虚拟位置是否处于指定区域内；

本发明实施例中，上述的指定区域以虚拟声源为中心，以预设的最小距离为半径；

上述的输出单元305，还用于在判断单元306判断出标定物的虚拟位置处于指定区域内时，直接将虚拟声源对应的音频信号输出至音频播放设备；

上述的处理单元304，具体用于在判断单元306判断出标定物的虚拟位置不是处于指定区域内时，根据任一虚拟声源在虚拟空间中的已知位置以及标定物的虚拟位置，计算mr头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；

以及，上述的位置确定单元302，包括：

第一计算模块3021，用于根据获取单元301获取的多张拍摄图像中的每张拍摄图像，计算标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；

第二计算模块3022，用于根据多个高速摄像机在真实空间中的已知位置、第一计算模块3021计算出的标定物与每一个高速摄像机之间的相对位置，计算标定物在真实空间中的物理位置；

本发明实施例中，第二计算模块3022在计算出标定物在真实空间中的物理位置之后，还用于触发映射单元303；

上述的映射单元303，具体用于将第二计算模块3022计算出的物理位置映射至虚拟空间，获得标定物在虚拟空间中的虚拟位置。

此外，上述的处理单元304，还可以包括：

获取模块3047，用于在判断模块3043判断出上述的景象中不存在定位特征点时，获取mr头显转动时的角速率；

上述的视角确定模块3044，还用于根据获取模块3047获取的角速率，确定mr头显佩戴者的视角方向，并触发方位确定模块3045执行根据视角确定模块3044确定的视角方向以及虚拟声源在虚拟空间中的已知位置，确定标定物与虚拟声源之间的相对方位的操作。

可选的，在本发明实施例中，上述的视角确定模块3044，还可以：

将mr头显佩戴者的视角方向设置为用户直接面对虚拟声源的方向，并根据控制模块3042采集到的景象中的定位特征点对上述的视角方向进行校正，并触发方位确定模块3045执行根据校正后的视角方向以及虚拟声源在虚拟空间中的已知位置，确定标定物与虚拟声源之间的相对方位的操作。

其中，实施图4所示的服务设备，可以对用户位置进行实时监控，并根据位置信息对虚拟声源对应的音频信号进行实时处理，从而提高虚拟生源对应的音频信号与用户位置之间的匹配度。进一步地，实施图4所示的服务设备，可以在判断出用户头部处于指定区域内时，直接将虚拟声源对应音频信号输出至音频播放设备，从而在不影响用户体验的情况下减少服务设备的计算量，为位置跟踪等其他运算腾出计算资源，提高服务设备的响应速度。此外，实施图4所示的服务设备可以在mr头显采集到的景象中不包含定位特征点时，使用mr头显的惯性测量单元测出的角速率，计算mr头显设备佩戴者的视角方向，从而可以使用角速率作为补充，提高拍摄不到定位特征点时确定视角方向的准确度。

实施例五

本发明实施例公开一种服务设备，包括：

存储有可执行程序代码的存储器以及与存储器耦合的处理器；

其中，处理器调用存储器中存储的可执行程序代码，执行图1或图2所示的基于光学定位的混合现实音频控制方法。

此外，本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1或图2所示的基于光学定位的混合现实音频控制方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-onlymemory，rom)、随机存储器(randomaccessmemory，ram)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于光学定位的混合现实音频控制方法及服务设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。