一种基于自然用户界面的环绕声声像控制方法及装置的制造方法
【专利摘要】本发明涉及一种基于自然用户界面的环绕声声像控制方法及装置，该方法包括：通过光学传感器采集用户单手伸入检测区域内的初始手势；获取处于检测区域内的初始手势的当前空间位置坐标并作为声像空间的中点；检测发出该初始手势的手在声像控制范围内以该声像空间的中点为中心的控制声像位置的手势动作；根据预设的手势动作方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。本发明通过采用自然用户界面控制三维声像，能够极大程度上减轻影视声音后期人员在三维声像控制上的工作量。
【专利说明】
一种基于自然用户界面的环绕声声像控制方法及装置
技术领域
[0001]本发明属于声像控制技术领域，具体涉及一种基于自然用户界面的环绕声声像控制方法及装置。
【背景技术】
[0002]在立体声录音技术出现后，就有了声像的概念。立体声的声像控制主要是使用旋钮控制，环绕声的声像控制主要是采用摇杆控制与二维图形界面的方式，而在沉浸式声音(全景声)出现以后，声像的概念扩展到三维，但目前的解决方案还仅限于使用三维空间映射至二维图形界面与摇杆对声像进行控制，如杜比实验室开发的全景声声像控制插件，用户体验并不理想。
[0003]现有硬件控制器一般采用降低维度的方式，使用两个声像控制器完成三维声像的定位。主要缺点在于:a)双控制器需要用户同时使用双手进行控制，无法再同时完成其他工作，如操作走带控制器重放并录制声像;b)三维模型不直观;c)用户注意力会被复杂的声像映射操作干扰。
【发明内容】
[0004]本发明的目的在于提供一种操作简单的、学习曲线平缓的、用户控制与声像定位所需通道高度重合的声像控制方法及装置，以此解决用户在控制三维声像上所遇到的障碍。
[0005]为实现上述目的，本发明采用如下技术方案:
一种基于自然用户界面的环绕声声像控制方法，包括以下步骤:
通过光学传感器采集用户单手伸入检测区域内的初始手势；
获取处于检测区域内的该初始手势的当前空间位置坐标并作为声像空间的中点；检测发出手势的单手在声像控制范围内以该声像空间的中点为中心所发出的控制声像位置的手势动作；
根据预设的手势动作方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。
[0006]本发明的目的还在于提供一种基于自然用户界面的环绕声声像控制装置，包括:光学传感器，用于采集用户单手伸入检测区域内的初始手势以及检测发出初始手势的单手在声像控制范围内所发出的控制声像位置的手势动作；
声像空间中点获取单元，用于获取处于检测区域内的该初始手势的当前空间位置坐标并作为声像空间的中点；
声像控制指令输出单元，用于根据预设的手势动作方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。
[0007]本发明通过应用手势，通过自然用户界面控制三维声像，与双手同时控制三维声像的控制相比，能够极大程度上减轻影视声音后期人员在三维声像控制上的工作量，且控制方便，解决了目前采用双控制器需要用户同时使用双手进行控制，无法再同时完成其他工作，如操作走带控制器重放并录制声像，三维模型不直观；以及用户注意力会被复杂的声像映射操作干扰的技术问题。
【附图说明】
[0008]图1为本发明实施例提供的基于自然用户界面的环绕声声像控制方法的流程图；
图2为本发明实施例提供的基于自然用户界面的环绕声声像控制方法的控制示意图； 图3为本发明提供的一种基于自然用户界面的环绕声声像控制装置的原理结构示意图。
【具体实施方式】
[0009]下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发明并不局限于所列的实施例。
[0010]本申请首先将光学传感器安置在用户正常坐式工作姿势手掌所处位置的下方，先使用光学传感器采集手势，然后通过软件对手势进行识别并根据手势控制声像。
[0011]参见图1所示，一种基于自然用户界面的环绕声声像控制方法，包括以下步骤:
通过光学传感器采集用户单手伸入检测区域内的初始手势；
获取处于检测区域内的该初始手势的当前空间位置坐标并作为声像空间的中点；
检测发出该初始手势的单手在声像控制范围内，以该声像空间的中点为中心的控制声像位置的手势动作；
根据预设的手势动作方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。
[0012]需要说明的是，本发明中，在预设的检测区域内，用户的初始手势才可以检测得至IJ，并在检测到用户的初始手势后，声像控制启动，否则不动作，然后将该初始手势的空间坐标位置作为声像空间的中点，并通过检测器件检测发出初始手势的单手在检测区内以该声像空间的中点为中心的控制声像位置的手势动作，检测到相应的控制声像位置的手势动作后，可根据预设的手势动作方向及角度与声像控制指令的对应关系，输出相应的声像控制指令传送给音频工作站，从而实现对声像进行控制。
[0013]其中，具体实现上，所述检测区域可以是声像控制器或声像电位器的用户界面至用户的一段距离内一预定空间，如30cm，在该30cm内的预定空间内，初始手势可以被捕捉检测到，之外则无法捕捉与检测，即就无法进行声像手势控制操作。当用户的手势处于该空间范围内时，通过检测手的控制声像位置的手势动作手势，即可输出相应的声像位置控制指令至数字音频工作台，实现对要处理的声音的声像位置的范围控制。
[0014]具体的，本发明在与数字音频工作站联动方面，可以是将声像控制信号以一组MIDI信号的形式进行封装传输至数字音频工作站，最大保证在不同数字音频工作站之间的兼容性。
[0015]本发明通过检测用户的初始手势来控制声像，方便了用户的使用，用户可以单手进行操作实现声像的控制，而另一只手可以进行其它的操作，如操作走带控制器，重放并录制声像。
[0016]为了方便用户在首次声像位置描述后，再进行声像位置的操作与修改，进一步，本发明还包括以下步骤:
获取用户对声像位置修改的后续手势的空间位置坐标；
计算该后续手势的空间位置坐标相对于声像空间的中点的相对偏移量；
检测用户单手在后续手势的工作范围内、以该后续手势的空间位置坐标为中心所发出的修改声像位置的手势动作，根据该后续手势动作的方向、角度以及该后续手势的空间位置坐标与声像空间的中点的相对偏移量，计算出后续手势动作以声像空间的中点为中心的方向、角度；
根据以声像空间的中点为中心的手势动作的方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。
[0017]本发明通过计算该后续手势空间位置坐标与声像空间的中点的相对偏移量，使得用户在对声像位置不满意并进行修改操作时，不必再专门寻找原声像空间的中点，只要在检测区域内，在后续手势的工作范围内进行相应的控制声像位置的手势动作，即可实现对原声像位置的修改，大大方便了用户对声像位置修改的操作，极大地提升了用户的体验。
[0018]具体实现上，本发明中，所述后续手势的工作范围内通过后续手势的空间位置坐标与对应的锚轴的相对偏移量确定，所述锚轴为用户的中轴，该后续手势的空间位置坐标与对应的销轴的相对偏移量确定方法如下:
通过光学传感器采集用户的图像，确定用户100的中轴10以及肩宽，根据用户的中轴与肩宽计算用户的中轴到输出初始手势的单手对应的肩并节30上一点垂直距离d，通过该距离d即可计算出后续手势的空间位置坐标与对应的锚轴的相对偏移量(参见图2所示)。
[0019]根据该获取的距离d，获得了后续手势的空间位置坐标与对应的锚轴的相对偏移量后，即可确定后续手势的工作范围，再计算出该以后续手势的空间位置坐标为中心点的后续手势的转动方向、角度所对应的以声像空间的中点为中心的手势动作的方向、角度，然后即可根据原手势动作的方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令，实现对声像位置控制、描述及处理。
[0020]本发明中，所述用户的中轴指的人体的中轴线，即一个正常的标准的人体的中轴线，所述肩并节上一点可以是肩关节的旋转中心点，或者是肩关节上处于手臂40与肘关节20中轴线上的一点。
[0021]需要说明的是，本发明中，采集初始手势及用户图像的光学传感器可以是一个，同时执行手势捕捉与图像捕捉;也可以两个，分别采集用户的初始手势以及用户的图像，分别实现手势的捕捉与上述的相对偏移量的计算。即当采用双传感器识别用户手势时，一只传感器负责捕捉手势，另一传感器通过判断用户身体中轴与肩宽，来计算声像控制的声像工作范围，当确定用户的中轴与肩宽时，距离d即为后续手势位置坐标中心相对于声像空间的相对偏移量，声像控制的控制范围可为从手臂自然姿势为中心的一个120度圆锥。
[0022]需要说明的是，具体实现上时，可以通过增加光学传感器数量，或者提高光学传感器精度来提高声像控制效率。另外还可以通过多手势组合实现更复杂的声像控制。
[0023]进一步的，为了防止用户单手伸入检测区内误动作，在用户单手处于检测区内后延时一段时间后，再执行检测该手势在检测区内的空间位置坐标和\或手势动作。
[0024]具体实现上，本发明中，所述的一段时间可以根据需要设定，如可以是3秒钟，4秒钟等，具体不限，可以根据需要自行设定。
[0025]进一步的，为了方便用户使用，本发明中，所述初始手势可以一个单手抓取手势，即展开的自然放松手型到手势弯曲、握拳执行类似抓取东西的手势，该手势即为设定声像位置的声像空间的中点的手势，当然也可以一个其它方便定位坐标中心点的手势，具体不限。
[0026]具体在操作时，用户的发出手势的手臂要自然下垂，即呈自然状态，然后将手伸入检测区域的空间内进行相应的手势动作即可，用户准备开始控制声像时，此时声像位置的点即为此时用户发出手势的手所在三维空间内坐标的中点，直接进行相对位置的操作和修改；当确定用户为首次设定声像后，根据抓取手势获得手势的中心点坐标，此抓取手势的坐标即为声像空间的中点，所有声像的初始位置都为此点，都以此点进行设置与设定。
[0027]当非首次设定声像时，用户手所处的当前位置为当前声音声像的位置，用户给出的声像变化是基于此位置的偏移，其声音的声像空间的中点为修改前的声音声像空间的中点加声像变化偏移，即若先前此声音已经有声像位置信息，根据相对偏移量重置到声像空间的中间点。由于在实际生产中，并不需要在垂直维度有太过丰富的变化，因此采用非线性的映射关系。
[0028]本发明实施例还提供一种基于自然用户界面的环绕声声像控制装置，参见图3所示，其包括:
光学传感器，用于采集用户单手伸入检测区域内的初始手势以及检测发出初始手势的单手在声像控制范围内所发出的控制声像位置的手势动作；
声像空间中点获取单元，用于获取处于检测区域内的该初始手势的当前空间位置坐标并作为声像空间的中点；
声像控制指令输出单元，用于根据预设的手势动作方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。
[0029]本发明中，在预设的检测区域内，用户的初始手势才可以检测得到，并在检测到用户的初始手势后，声像控制启动，否则不动作，然后将该初始手势的空间坐标位置作为声像空间的中点，并通过检测器件检测发出初始手势的单手在检测区内以该声像空间的中点为中心的手势动作，检测到相应的手势动作后，可根据预设的单手在声像控制范围内的手势动作方向及角度与声像控制指令的对应关系，输出相应的声像控制指令传送给音频工作站，从而实现对声像进行控制。
[0030]其中，具体实现上，所述检测区域可以是声像控制器或声像电位器的用户界面至用户的一段距离内一预定空间，如30cm，在该30cm内的预定空间内，初始手势可以被捕捉检测到，之外则无法捕捉与检测，即就无法进行声像手势控制操作。当用户的手势处于该空间范围内时，通过检测控制声像位置的手势动作，即可输出相应的声像位置控制指令至数字音频工作台，实现对要处理的声音的声像位置的范围控制。
[0031]具体的，本发明在与数字音频工作站联动方面，可以是将声像控制信号以一组MIDI信号的形式进行封装传输至数字音频工作站，最大保证在不同数字音频工作站之间的兼容性。
[0032]本发明通过检测用户的初始手势来控制声像，方便了用户的使用，用户可以单手进行操作实现声像的控制，而另一只手可以进行其它的操作，如操作走带控制器，重放并录制声像。
[0033]本发明中，为了方便用户在首次声像位置描述后，再进行声像位置的操作与修改，所述基于自然用户界面的环绕声声像控制装置，还包括:
后续手势空间位置获取单元，用于获取用户对声像位置修改的后续手势的空间位置坐标；
相对偏移计算单元，用于计算该后续手势的空间位置坐标相对于声像空间的中点的相对偏移量；
声像空间中点重置单元，用于根据用户的单手在后续手势的工作范围内、以后续手势的空间位置坐标为中心所发出的修改声像位置的手势动作的方向、角度以及该后续手势的空间位置坐标相对于声像空间的中点的相对偏移量，计算出后续手势动作以声像空间的中点为中心的方向、角度并发送到声像控制指令输出单元。
[0034]需要说明的是，本发明中，所述后续手势空间位置获取单元与所述声像空间中点获取单元可以是一个单元，也可以是两个不同的单元实现。
[0035]本发明通过相对偏移计算单元计算该后续手势空间位置获取单元获取的后续空间位置坐标与声像空间的中点的相对偏移量，通过声像空间中点重置单元进行声像空间中点的重置，使得用户在对声像位置不满意而进行修改操作时，不必再专门寻找原声像空间的中点，只要在检测区域内，在后续手势的工作范围内、进行相应的控制声像位置的手势动作，即可实现对原声像位置的修改，大大方便了用户对声像位置修改的操作，极大地提升了用户的体验。
[0036]具体实现上，本发明中，所述后续手势的工作范围内通过后续手势的空间位置坐标与对应的锚轴的相对偏移量确定，所述锚轴为用户的中轴，该后续手势的空间位置坐标与对应的销轴的相对偏移量确定方法如下:
通过光学传感器采集用户的图像，确定用户100的中轴10以及肩宽，根据用户的中轴与肩宽计算用户的中轴到输出初始手势的单手对应的肩关节30上一点垂直距离d，通过该距离d即可计算出后续手势的空间位置坐标与对应的锚轴的相对偏移量(参见图2所示)。
[0037]根据该获取的距离d，获得了后续手势的空间位置坐标与对应的锚轴的相对偏移量后，即可计算出该以后续手势的空间工作范围。再通过计算出以后续手势的空间位置坐标为中心点的后续手势的转动方向、角度所对应的以声像空间的中点为中心的手势动作的方向、角度，然后即可根据原手势动作的方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令，实现对声像位置控制、描述及处理。
[0038]本发明中，所述用户的中轴指的人体的中轴线，即一个正常的标准的人体的中轴线，所述肩并节上一点可以是肩关节的旋转中心点，或者是肩关节上处于手臂40与肘关节20中轴线上的一点。
[0039]需要说明的是，本发明中，采集初始手势及用户图像的光学传感器可以是一个，同时执行手势捕捉与图像捕捉;也可以两个，分别采集用户的初始手势以及用户的图像，分别实现手势的捕捉与上述的相对偏移量的计算。即当采用双传感器识别用户手势时，一只传感器负责捕捉手势，另一传感器通过判断用户身体中轴与肩宽，来计算声像控制的声像工作范围，当确定用户的中轴与肩宽时，通过距离dS卩可以计算出声像坐标中心的偏移量，声像控制的控制范围可为从手臂自然姿势为中心的一个120度圆锥。
[0040]需要说明的是，具体实现上时，可以通过增加光学传感器数量，或者提高光学传感器精度来提高声像控制效率。另外，还可以通过多手势组合实现更复杂的声像控制。
[0041]进一步的，为了防止用户单手伸入检测区内误动作，本发明中，所述基于自然用户界面的环绕声声像控制装置，包括延时控制单元，用于在用户单手处于检测区域内并延时一段时间后，触发声像空间中点获取单元执行检测该初始手势在检测区内的空间位置坐标和\或触发光学传感器采集发出手势的单手在声像控制范围内所发出的手势动作。
[0042]具体实现上，本发明中，所述的一段时间可以根据需要设定，如可以是3秒钟，4秒钟等，具体不限，可以根据需要自行设定。
[0043]进一步的，为了方便用户使用，本发明中，所述初始手势可以一个单手抓取手势，即展开的自然放松手型到手势弯曲、握拳执行类似抓取东西的手势，该手势即为设定声像位置的声像空间的中点的手势，当然也可以一个其它方便定位坐标中心点的手势，具体不限。
[0044]具体在操作时，用户的发出手势的手臂要自然下垂，即呈自然状态，然后将手伸入检测区域的空间内进行相应的控制声像位置的手势动作即可，用户准备开始控制声像时，此时声像位置的点即为此时用户发出手势的手所在三维空间内坐标的中点，直接进行相对位置的操作和修改；当确定用户为首次设定声像后，根据抓取手势获得手势的中心点坐标，此抓取手势的坐标为声像空间的中点，所有声像的初始位置都为此点，都以此点进行设置与设定。
[0045]当非首次设定声像时，用户手所处的当前位置为当前声音声像的位置，用户给出的声像变化是基于此位置的偏移，其声音的声像空间的中点为修改前的声音声像空间的中点加声像变化偏移，若先前此声音已经有声像位置信息，根据相对偏移量重置到声像空间的中间点。
[0046]与现有技术相比，本发明通过采用自然用户界面控制三维声像，与双手同时控制三维声像的控制相比，能够极大程度上减轻影视声音后期人员在三维声像控制上的工作量。
[0047]以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种基于自然用户界面的环绕声声像控制方法，其特征在于，包括以下步骤: 通过光学传感器采集用户单手伸入检测区域内的初始手势； 获取处于检测区域内的该初始手势的当前空间位置坐标并作为声像空间的中点； 检测发出手势的单手在声像控制范围内以该声像空间的中点为中心所发出的控制声像位置的手势动作； 根据预设的手势动作方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。2.根据权利要求1所述基于自然用户界面的环绕声声像控制方法，其特征在于，在用户对声像位置修改时，还包括以下步骤: 获取用户对声像位置修改的后续手势的空间位置坐标； 计算该后续手势的空间位置坐标相对于声像空间的中点的相对偏移量； 检测用户单手在后续手势的工作范围内、以该后续手势的空间位置坐标为中心所发出的修改声像位置的手势动作，根据该后续手势动作的方向、角度以及该后续手势的空间位置坐标与声像空间的中点的相对偏移量，计算出后续手势动作以声像空间的中点为中心的方向、角度； 根据以声像空间的中点为中心的手势动作的方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。3.根据权利要求2所述基于自然用户界面的环绕声声像控制方法，其特征在于，所述后续手势的工作范围内通过后续手势的空间位置坐标与对应的锚轴的相对偏移量确定，所述锚轴为用户的中轴，该后续手势的空间位置坐标与对应的锚轴的相对偏移量确定方法如下: 通过光学传感器采集用户的图像，确定用户的中轴以及肩宽，根据用户的中轴与肩宽计算用户的中轴到输出初始手势的单手对应的肩并节上一点垂直距离D作为后续手势的空间位置坐标与对应的销轴的相对偏移量。4.根据权利要求1-3任一项所述基于自然用户界面的环绕声声像控制方法，其特征在于，在用户单手处于检测区域内后延时一段时间后，再执行检测手势在检测区内的空间位置坐标和\或手势动作。5.根据权利要求1所述基于自然用户界面的环绕声声像控制方法，其特征在于，所述初始手势为一个单手抓取手势，即展开的自然放松手型到手势弯曲握拳的动作手势。6.一种基于自然用户界面的环绕声声像控制装置，其特征在于，包括: 光学传感器，用于采集用户单手伸入检测区域内的初始手势以及检测发出初始手势的单手在声像控制范围内所发出的控制声像位置的手势动作； 声像空间中点获取单元，用于获取处于检测区域内的该初始手势的当前空间位置坐标并作为声像空间的中点； 声像控制指令输出单元，用于根据预设的手势动作方向、角度与声像控制指令的一一对应关系输出相应的声像控制指令。7.根据权利要求6所述基于自然用户界面的环绕声声像控制装置，其特征在于，还包括: 后续手势空间位置获取单元，用于获取用户对声像位置修改的后续手势的空间位置坐标； 相对偏移计算单元，用于计算该后续手势的空间位置坐标相对于声像空间的中点的相对偏移量； 声像空间中点重置单元，用于根据用户的单手在后续手势的工作范围内、以后续手势的空间位置坐标为中心所发出的修改声像位置的手势动作的方向、角度以及该后续手势的空间位置坐标相对于声像空间的中点的相对偏移量，计算出后续手势动作以声像空间的中点为中心的方向、角度并发送到声像控制指令输出单元。8.根据权利要求7所述基于自然用户界面的环绕声声像控制装置，其特征在于，所述后续手势的工作范围内通过后续手势的空间位置坐标与对应的锚轴的相对偏移量确定，所述锚轴为用户的中轴，该后续手势的空间位置坐标与对应的锚轴的相对偏移量确定方法如下: 通过光学传感器采集用户的图像，确定用户的中轴以及肩宽，根据用户的中轴与肩宽计算用户的中轴到输出手势的单手对应的肩并节上一点垂直距离D作为后续手势的空间位置坐标与对应的锚轴的相对偏移量。9.根据权利要求6-8任一项所述基于自然用户界面的环绕声声像控制装置，其特征在于，包括延时控制单元，用于在用户单手处于检测区域内并延时一段时间后，触发声像空间中点获取单元执行检测该初始手势在检测区内的空间位置坐标和\或触发光学传感器采集发出手势的单手在声像控制范围内所发出的手势动作。10.根据权利要求6所述基于自然用户界面的环绕声声像控制装置，其特征在于，所述初始手势为一个单手抓取手势，即展开的自然放松手型到手势弯曲握拳的动作手势。
【文档编号】G06F3/01GK105912118SQ201610224583
【公开日】2016年8月31日
【申请日】2016年4月12日
【发明人】童雷, 张轶
【申请人】童雷