一种基于虚拟现实的声光交互系统的制作方法

本发明公开了一种基于虚拟现实的声光交互系统，属于虚拟现实交互技术领域。

背景技术：

虚拟现实(vr)交互技术对提升vr沉浸感起到至关重要的作用。现有的交互技术研究及应用主要集中在视频领域，而光影音效的交互却鲜少研究，现阶段虚拟现实环境下的声光系统大多是分离的。交互技术是以定位技术为基础的，常见的室内短距离定位技术有超宽带(uwb)技术、蓝牙技术、射频识别技术(rfid)、wifi技术和zigbee技术等等。在光影方面，捕捉运动物体一般采用专用追光灯。在虚拟现实音频方面，将声源进行分轨，通过对使用者的跟踪，使其在每个空间点的听觉都不相同，把声场营造出立体感。

目前还没有实现声光交互的合适的技术方案。在虚拟现实领域，超宽带(uwb)技术、蓝牙技术、射频识别技术(rfid)、wifi技术和zigbee技术等在精确性、稳定性和抗干扰性方面都远不及光学跟踪技术，而虚拟现实技术对跟踪定位的要求非常高，因此选用光学跟踪最能满足所需。为减少人力和提高追光艺术表现力，舞台上常用大功率灯具替代专业追光灯实现追光或者跟踪效果。现阶段的虚拟现实音频，一般用于根据剧情需要来渲染气氛或者引起人的关注，并没有对光影产生交互影响的效果。

技术实现要素：

本发明的目的在于利用追踪目标定位和动作捕捉技术，有效的将舞台追光技术与虚拟现实声学感知技术相融合，最终实现声音和光影的交互，加强虚拟现实环境的沉浸感。

本发明采用的技术方案为一种基于虚拟现实的声光交互系统，本系统旨在通过头部手势控制场景中追光和声音，通过声音引导头部手势坐标变换，从而控制舞台场景中的追光，实现声光的交互。该系统主要由虚拟现实光学跟踪系统、pc软件端、虚拟现实全景声系统及智能追光系统四部分组成。

虚拟现实光学跟踪系统中，目标人物的头部或手部佩戴有标记点，舞台场景上方设有的智能摄像机拾取运动坐标，智能摄像机拾取运动坐标采集的数据以60hz的频率刷新，经以太网输送入pc工作站建立文件；

pc软件端中，pc工作站内的pc软件端对pc工作站建立的文件起到配置作用。在pc软件端中输入智能摄像机、灯具、扬声器等测量参数，包括智能摄像机旋转角度、灯具型号、扬声器安装位置坐标。

虚拟现实全景声系统中，pc工作站利用光学跟踪系统传来的数据，提取目标人物的x轴、y轴和z轴信息，通过追光转换矩阵计算出灯具tilt和pan等运动参数，传输至灯具控制台输出运动指令，最终驱动灯具在舞台场景中追踪目标人物的运动。同时，pc工作站将虚拟场景中的声源位置，按距离进行衰减，映射到追踪目标位置，实现声光同时工作。

智能追光系统中，当声音骤响，会引导用户的身体转向发声位置，对用户头部手势新位置的捕捉，进而实现新的追光位置，实现声光互动，从而提升虚拟现实的沉浸感和交互性。

s1搭建虚拟现实光学跟踪硬件系统

在规定空间内对物体或对象的位置或者姿态测量，称为跟踪。跟踪的信息量即为自由度：如果仅仅测量x、y、z坐标，那么称之为三自由度(3dofor3d)跟踪。光学跟踪即为红外跟踪。

光学跟踪硬件系统的基本构成有：

(1)标记点(markers)。被追踪目标按照某种规则放置标记点，标记点分为主动标记和被动标记。主动标记采用红外led，由于与智能摄像机镜头同步，因此区分多个主动标记点；被动标记是光反射元件，智能摄像机的镜头发出光信息，被动标记将光线反射回镜头，采用在标记位置放置反光球。要跟踪测量被追踪目标的身体姿态时，需要在确定的几何形状上布局大于等于三个反光球。

(2)多个动作捕捉的智能摄像机。智能摄像机的镜头从不同角度持续捕捉与其同步的标记点发出或反射的光线，数据实时传输回pc工作站。

s2pc工作站。

pc工作站用来处理各种数据之间的转换，实现各部分的系统联动。pc工作站的功能包括：

(1)追踪目标定位。智能摄像机的摄像头获得的数据被送入pc工作站，通过对比智能摄像机获得图像的边缘坐标数据，得到当前标记点的二维坐标，即两自由度，每个标记点需要至少两个智能摄像机的摄像头数据，才能还原3dof。

(2)灯具坐标转换。

在当前得到的目标人物自由度数据中，选取位置坐标数据x轴、y轴和z轴信息，通过追光转换矩阵计算出灯具tilt和pan等运动参数，通过以太网传输给调光控制台等外围设备。

(3)虚拟现实场景建模及全景声设计。

在虚拟现实场景中，将虚拟场景坐标与现实空间对应，按照现实空间的扬声器阵列设置多个3d物体模型并添加音源，自动生成追踪目标位置的虚拟现实全景声。

s3虚拟现实全景声播放系统。

pc工作站通过声卡传输多声道音频信号至虚拟现实全景声播放系统。虚拟现实全景声播放系统的实现有两种方案：一种是在虚拟现实空间外围布置多通道扬声器阵列，各扬声器发出的声音在双耳的强度差产生虚拟声源效果；另一种是利用耳机。

s4智能追光系统。

在获得灯具tilt和pan等运动参数后，便能够作为输入信号直接驱使灯具运动，实现自动追光效果。同时，也能够通过dmx信号叠加器将智能追光系统的输出信号与控制台信号合并，在启动自动跟踪模式(即打开智能追光系统)时，灯具控制台失去对灯具x轴和y轴的控制，转由智能追光系统的跟踪目标控制。

与现有技术相比较，本发明具有如下有益效果。

1、本发明所采用的虚拟现实光学跟踪技术在精确性、稳定性和抗干扰性方面远高于其他跟踪技术，最适合虚拟现实环境对精确定位的需求。

2、虚拟现实声源位置设置方式可以将用户位置、虚拟声源坐标及扬声器阵列位置建立精确映射。

3、在基于虚拟现实光学跟踪技术获得用户定位基础上，实现自动追光效果。同时，将追光位置与虚拟声源位置相对应，实现声光同时工作。另外，当声音骤响，会引导用户的身体转向发声位置，对用户手势新位置的捕捉，可以实现新的追光位置，实现了在虚拟现实情况下的声光互动。

用户的空间定位除了采用光学跟踪方式以外，还可以在精度要求不高的场景中采用kinect光学设备或语音交互等形式。

附图说明

图1是系统硬件总体设计框图

图2是系统功能拓扑图

具体实施方式

下面结合附图给出本发明的具体实施方式。

基于虚拟现实的声光交互系统，包括硬件设备和系统软件。硬件系统的硬件设备的组成框图如图1所示，包括：计算机，虚拟现实追踪定位系统，音响设备(扬声器阵列或耳机)、灯具、dmx控制台、声卡。计算机，用于接收跟踪目标的位置信息，并计算后输出至灯具驱动设备；搭建虚拟现实场景并输出音频信号至音响设备。一台能够运行多媒体软件的个人电脑即可满足要求。反射球或红外led及智能追踪摄像机共同组成虚拟现实光学跟踪硬件系统，用于拾取追踪目标的空间位置信息输入至计算机虚拟引擎软件。音响设备，用于输出本系统的音频信号，可以是多声道的扬声器阵列或者耳机。灯具用来自动追光。dmx控制台用于接收灯具运动指令后，启动自动跟踪模式(即打开跟踪系统)，让灯具自动追踪目标。声卡用来将音频信号以多通道方式传送给耳机或扬声器阵列。系统软件安装在计算机，形成pc工作站，功能包括：追踪目标位置信息捕获，追踪目标位置有用信息提取、灯具坐标转换、虚拟现实场景建模、虚拟现实全景声设计。

该方法的具体实现过程如下：

追踪目标位置信息捕获模块

利用虚拟现实设备，如oculusrift采用主动式红外光学定位技术，可以获取当前物体的空间坐标，基于unity3d软件在c#脚本中用函数transform.localposition()提取位置坐标，基于unreal软件可以在c++脚本中用函数getactorlocation()提取位置坐标。

目前比较常用的虚拟现实设备htcvive采用激光定位方式，利用激光发射和接受的时间差也可以计算出追踪目标位置。

s1灯具坐标转换

灯具能够执行的是(tilt，pan)指令，所以必须将获得的追踪目标位置(x，y，z)序列转化成(tilt，pan)序列。并且跟踪效果取决于跟踪空间和灯位，因此要基于这两个因素来设计坐标转换矩阵模型，利用下面两个公式即可得到灯具的pan和tilt指令。

其中，(x0,y0,z0)为灯具的空间坐标，(x,y,z)为追踪目标空间坐标。

s2智能追光实现

灯具的tilt和pan等运动参数，依照dmx灯光系统协议，利用dmx信号转换器变为dmx信号，便能够作为输入信号直接驱使灯具运动，实现自动追光效果。同时，dmx信号还可以输出给dmx控制台，与控制台的信号叠加合并，启动自动跟踪模式(即打开跟踪系统)，此时控制台失去对灯具的控制，转由跟踪系统来跟踪目标控制。

s3虚拟现实场景建模

利用虚拟引擎软件搭建虚拟现实场景，设定追踪目标坐标为(0,0,0)，将虚拟场景坐标与现实空间对应，按照现实空间的扬声器阵列设置多个3d物体模型，注意unity3d中坐标单位是米，unreal中坐标单位是厘米。选择3d物体不显示在虚拟空间中。

s4虚拟现实全景声设计

在声音设置处，在软件中将每个模型设置为3d音源，并选择声音按距离衰减的函数。这样在追踪目标位置，会自动生成虚拟现实全景声。

s5虚拟全景声播放

pc工作站通过声卡将音频信号及控制信号传送给耳机或扬声器阵列。