控制定位模块和/或音频捕获模块的方法、装置、系统和计算机程序与流程

文档序号:16595554发布日期:2019-01-14 19:35阅读:203来源:国知局
控制定位模块和/或音频捕获模块的方法、装置、系统和计算机程序与流程

本公开的示例涉及用于控制定位模块和/或音频捕获模块的方法、装置、系统和计算机程序。尽管不妨碍前述内容,但某些特定示例涉及用于在捕获空间音频期间控制定位模块和/或音频捕获模块的方法、装置、系统和计算机程序。



背景技术:

用于确定物体的绝对或相对位置的定位模块是已知的,尤其是例如电池供电的基于无线电的定位设备,诸如高精度室内定位标签(haip标签)。传统的定位模块并不总是最佳的。例如,便携式电池供电的定位模块可能具有次优的操作和功耗特性,这可能限制其电池/操作寿命。提供一种改进的定位模块操作控制的方法和装置是有用的。

任何先前公布的文件或本说明书中的任何背景的列表或讨论不应必须被视为承认该文件或背景是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以或可以不解决一个或多个背景问题。



技术实现要素:

根据本公开的各种但不一定是所有示例,提供了一种方法,包括:

将一个或多个定位模块与一个或多个音频捕获模块相关联;以及

根据以下来控制一个或多个定位模块和/或相关联的一个或多个音频捕获模块的一个或多个操作:

一个或多个预定时间,以及

一个或多个预定定位。

根据本公开的各种但不一定是所有示例,提供了一种装置,包括被配置为以下的部件:

将一个或多个定位模块与一个或多个音频捕获模块相关联;以及

根据以下来控制一个或多个定位模块和/或相关联的一个或多个音频捕获模块的一个或多个操作:

一个或多个预定时间,以及

一个或多个预定定位。

根据本公开的各种但不一定是所有示例,提供了一种装置,包括:

至少一个处理器;以及

至少一个存储器,至少一个存储器包括计算机程序代码;

至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少执行:

将一个或多个定位模块与一个或多个音频捕获模块相关联;以及

根据以下来控制一个或多个定位模块和/或相关联的一个或多个音频捕获模块的一个或多个操作:

一个或多个预定时间,以及

一个或多个预定定位。

根据本公开的各种但不一定是所有示例,提供了一种计算机程序,该计算机程序在由至少一个处理器执行时,使得:

将一个或多个定位模块与一个或多个音频捕获模块相关联;以及

根据以下来控制一个或多个定位模块和/或相关联的一个或多个音频捕获模块的一个或多个操作:

一个或多个预定时间,以及

一个或多个预定定位。

根据本公开的各种但不一定是所有示例,提供了一种编码有指令的非暂态计算机可读介质,该指令在由至少一个处理器执行时使得至少以下被执行:

将一个或多个定位模块与一个或多个音频捕获模块相关联;以及

根据以下来控制一个或多个定位模块和/或相关联的一个或多个音频捕获模块的一个或多个操作:

一个或多个预定时间,以及

一个或多个预定定位。

根据本公开的各种但不一定是所有示例,提供了一种包括处理电路的芯片组、模块或设备,该处理电路被配置为:

将一个或多个定位模块与一个或多个音频捕获模块相关联;以及

根据以下来控制一个或多个定位模块和/或相关联的一个或多个音频捕获模块的一个或多个操作:

一个或多个预定时间,以及

一个或多个预定定位。

根据本公开的各种但不一定是所有示例,提供了一种系统,包括:

如上所述的装置;

一个或多个定位模块;以及

相关联的一个或多个音频捕获模块。

根据本发明的各种但不一定是所有的实施例,提供了如所附权利要求中要求保护的实施例。

附图说明

为了更好地理解对于理解本发明的详细描述和某些实施例有用的本公开的各种示例,现在将仅通过示例的方式参考附图,在附图中:

图1示意性地示出了一种方法;

图2示意性地示出了另一种方法;

图3示意性地示出了又一种方法;

图4示意性地示出了一种装置;

图5示意性地示出了一个系统;

图6示意性地示出了另一系统;

图7示出了在视频拍摄的空间音频捕获期间使用的系统;

图8示出了示例haip标签激活程序;以及

图9示出了在视频拍摄的空间音频捕获期间使用的系统

附图不一定按比例绘制。为了清楚和简明起见,可以示意性地或尺度夸大地示出附图的某些特征和视图。例如,附图中的一些元件的尺寸可能相对于其他元件被夸大以辅助说明。

具体实施方式

本公开的示例可以采用方法、装置或计算机程序的形式。因此,示例可以用硬件、软件、或硬件和软件的组合来实现。现在将参考附图描述根据本公开的方法、装置、系统和计算机程序的示例。

在可能的情况下,附图中使用类似的附图标记来表示类似的特征。为清楚起见,所有附图标记不一定显示在所有附图中。

图1示意性地示出了包括框101的方法100,其中一个或多个定位模块501与一个或多个音频捕获模块502相关联。在框102中,一个或多个定位模块501的一个或多个操作和/或相关联的一个或多个音频捕获模块502的一个或多个操作根据以下各项被控制:

一个或多个预定时间202(a);以及

一个或多个预定定位202(b)。

图1的组件框是功能性的,并且所描述的功能可以由单个物理实体(诸如参考图4的装置400)执行或不执行。

如本文所使用的,“定位模块”可以是被配置为能够确定定位的模块或部件,例如绝对定位或相对于原点、特定位置或基准点的定位。在一些示例中,定位模块可以是定位系统的发射机、信标或无线电发射机,诸如室内定位系统。例如,定位系统可以是诺基亚的高精度室内定位(haip)系统,并且定位模块可以是haip标签,其向haip系统的一个或多个接收机/定位器发送信号,基于该haip标签可以确定该haip标签的三角测量和位置。

出于说明而非限制的目的,在一些示例中,定位模块可以是haip系统的haip标签。装置/控制器可以向haip标签无线地发送控制信号,以便控制它并改变其功耗水平,例如通过改变haip标签向控制器和/或haip系统的用于确定haip标签的定位的其他接收机/定位器的速率。本公开的示例使得能够控制haip标签,例如,基于预定的时间和定位来控制其定位信号的传输,诸如这种传输的速率/周期性。例如,在特定时间窗口和空间区域之外,可能不需要高精度/实时定位确定,因此可以控制haip标签以在低功率模式下操作,例如其中它以低速率/间歇地发送其定位信号使得能够确定相对低的准确度/非实时定位信息,但仍然处于可接受的服务/定位确定水平。使用这样的定位信号,可以确定定位模块是否以预定时间/时间间隔位于预定位置/区域。当确定haip标签的当前时间和当前定位对应于预定时间和定位时,这可以触发装置/控制模块向haip标签发送控制信号以使得haip标签增加定位信号的传输速率,例如以便连续发送它们以便能够确定高精度/实时定位信息。以这样的方式,本公开的某些示例可以在期望的预定时间,并且在haip标签可以在较低功率模式下操作的其他时间和位置实现高精度/实时定位,从而提高haip标签的功率效率及其操作/电池寿命。

在本公开的一些其他示例中,诸如无线无线电麦克风的音频捕获模块可以与定位模块相关联,并且音频捕获模块还可以基于预定的时间和位置来被控制。这种控制可以实现音频捕获模块的功率节省并且延长其操作/电池寿命。

这样的示例可以用在用于捕获空间音频的系统中,其中所确定的haip标签的定位信息可以与来自与haip标签相关联的无线电麦克风的捕获音频结合使用,例如在视频/电影/电视拍摄中,演员/演讲者可以在他/她的人身上携带haip标签和无线电话麦克风,并且根据拍摄脚本/剧本预先确定和预定需要空间音频捕获的时间/定位。

在不限制权利要求的范围的情况下,本公开的某些示例的优点/技术效果可以是提供对定位模块和/或音频捕获模块的一个或多个操作的改进控制。这可以实现提高操作效率并且改善功耗特性,从而延长电池/操作寿命。

图2示意性地示出了根据本公开的示例的方法200的流程图。

参考箭头202(a),接收一个或多个预定时间。预定时间可以是用户定义的时间、时间线索或时间间隔。参考箭头202(b),接收一个或多个预定定位。预定定位可以是用户定义的位置、区域或空间线索。

在方法框100(其包括如上参考图1所讨论的方法框101和102)中使用这样的预定时间和定位来控制一个或多个定位模块的操作。框203-207示出了可以被控制的一个或多个定位模块和/或相关联的音频捕获模块的各种操作。在框203中,可以调整定位模块/相关联的音频捕获模块中的一个或多个的功耗水平。在框204中,可以激活或去激活定位模块/相关联的音频捕获模块中的一个或多个,即模块本身可以上电/断电或者模块的特定组件可以上电/断电。例如,在模块进一步包括发射机(例如,发送用于确定定位信息的定位信号,或发送捕获的音频)的情况下,可以控制发射机,例如以便选择性地为其上电或者将其断电。此外,这种激活和去激活可以包括周期性激活,即在激活和去激活的时段之间间歇地切换。在框205中,可以控制一个或多个模块的一个或多个功能/操作或模式。例如,控制模块的传输模式/速率。例如,在低功率/低定位精度操作模式和高功率/高精度定位操作模式之间切换定位模块。在块206中,可以控制一个或多个定位模块的定位确定率,诸如定位信号传输速率,例如从每分钟若干次的速率调整到每秒若干次的速率。在块207中,可以控制定位/音频捕获模块的一个或多个组件的占空比,使得模块的特定组件处于激活状态的时间百分比,例如接收机、发射机、处理器或其他元件或模块的子模块处于激活状态。

在各种示例中,可以确定与预定时间进行比较的当前时间,以便于确定当前时间是否与预定时间匹配。同样,可以确定定位模块的当前定位,例如通过定位系统的一个或多个接收机接收从定位模块发送的定位信号并对其进行处理以便于确定定位模块的定位。备选地,在其他示例中,定位模块本身可以确定其自己的位置并将其发送到控制器。一旦已经确定了定位模块的当前定位,就可以确定当前定位是否对应于预定定位。然后可以根据确定当前时间和当前定位对应于预定时间和预定定位来控制定位模块和/或相关联的音频捕获模块的一个或多个操作。

可以以包括预定时间和空间坐标和/或时间范围(时间间隔)和空间范围(即区域)的数据结构的形式接收一个或多个预定时间和一个或多个预定定位,其用于指示何时何地控制定位模块和/或相关联的音频捕获模块的操作。

图3示出了另一种方法300,其中(除了或代替控制一个或多个定位模块的操作)可以根据一个或多个预定时间302(a)和一个或多个预定定位302(b)来控制一个或多个音频捕获模块502的操作。在一些示例中,用于控制音频捕获模块502的操作的预定时间和定位302(a)、302(b)可以对应于用于控制定位模块501的预定时间和定位202(a)、202(b)。备选地,它们可以不同,即因此用于触发定位模块501的控制的时间线索和定位线索可以与用于触发音频捕获模块502的控制的时间线索和位置线索分开并且不同。

在图3的方法300中,用于音频捕获模块502的预定时间和定位302(a)、302(b)(以及用于定位模块501的预定时间和定位202(a)、202(b))在框301中接收并用于控制音频捕获模块502(和定位模块501)的操作。

可以由定位模块501控制的操作参考如上面参考图2所述的框203-207示出。可以控制的一个或多个音频捕获模块502的操作包括以下中的一项或多项:

根据框303,调整一个或多个音频捕获模块的功耗水平;

根据框304,激活/去激活一个或多个音频捕获模块;以及

根据框305,控制一个或多个音频捕获模块的一个或多个功能/操作/模式。

在一些示例中,整个音频捕获模块502可以上电/断电,或者备选地,模块的组件或子元件可以上电或断电。例如,在音频捕获模块进一步包括发射机以向远程接收机/控制器发送所捕获的音频的情况下,发射机可以被控制例如以便选择性地为其上电或者将其断电。某些示例可以降低音频捕获模块502的功耗。在这样的音频捕获模块由诸如电池的机载电源供电的情况下,这可以在其电力耗尽之前延长音频捕获模块的操作寿命。音频捕获模块的受控操作对一个或多个预定定位302(b)的依赖性可以对应于确定音频捕获模块的当前定位是否与预定定位相关联。音频捕获模块502可以与定位模块501相关联,使得定位模块的所确定的定位可以等同于或可以用于确定音频捕获模块的定位。例如,音频捕获模块和定位模块可以彼此邻近地定位,诸如固定到同一个人/由同一个人携带。在一些示例中,音频捕获模块502和定位模块501可以被提供为单个设备/单元并且包含在其相同的外壳中。

一个或多个预定时间302(a)和一个或多个预定定位302(b)可以采取包括预定时间和空间坐标的数据结构的形式,该预定时间和空间坐标定义音频捕获模块的操作将在何时何地被改变。可以提供单个数据结构,其提供用于控制每个定位模块和相关联的音频捕获模块的时间和空间信息两者。备选地,可以为每个定位模块和音频捕获模块提供单独的数据结构。

在一些示例中,操作的控制是由控制/命令信号传输到定位模块和/或音频捕获模块以使得定位模块和/或音频捕获模块实现受控/命令操作引起的。

图2和3的方法框/流程图表示可能的场景等。所示的框的顺序不是绝对必需的,因此原则上,可以不按顺序执行各种框。并非所有框都必不可少。在某些示例中,一个或多个框可以以不同的顺序执行或者在时间上串行或并行地重叠。可以以某些方式的组合省略或添加或改变一个或多个框。

已经使用示意性框图和流程图说明了本公开的上述示例。应当理解,每个框和框的组合可以通过各种手段来实现,诸如硬件、固件和/或包括一个或多个计算机程序指令的软件。例如,上述过程中的一个或多个可以由计算机程序的计算机程序指令体现。在这方面,体现上述过程的计算机程序指令可以由存储器存储设备存储并由处理器执行。这些计算机程序指令可以被提供给一个或多个处理器、处理电路或控制器,使得在相同的一个或多个处理器、处理电路或控制器上执行的指令创建用于实现在一个框或多个框中指定的功能的部件。计算机程序指令可以由处理器执行以使得一系列操作步骤/动作由处理器执行以产生计算机实现的过程,使得在处理器上执行的指令提供用于实现在框或框中指定的功能的步骤。

因此,这些框支持:用于执行指定功能的部件的组合;用于执行指定功能的动作的组合;以及用于执行指定功能的计算机程序指令/算法。还将理解,每个框和框的组合可以由执行特定功能或动作的专用基于硬件的系统或专用硬件和计算机程序指令的组合来实现。

图4示意性地示出了装置400的框图。该装置可以被配置为执行上述方法。图4着重描述设备操作所需的功能组件。

装置400包括控制器401。控制器401被配置为接收输入预定时间和定位202(a)、202(b)并且被配置为向定位模块501(并且在某些示例中,还向音频捕获模块502)提供输出命令。

控制器401的实现可以仅在硬件中(例如,包括一个或多个处理器的处理电路和包括一个或多个存储器元件的存储器电路),在软件中具有某些方面包括单独的固件或者可以是硬件和软件(包括固件)的组合。

控制器可以使用实现硬件功能的指令来实现,例如,通过使用通用或专用处理器中的可执行计算机程序指令,其可以存储在计算机可读存储介质(磁盘、存储器等)上或由信号载体携带以由这样的处理器执行。

在所示示例中,装置400包括由处理器402和存储器403提供的控制器401。虽然示出了单个处理器和单个存储器,但是在其他实现中,可以存在多个处理器和/或可以存在多个存储器,其中的一些或全部可以是集成的/可移动的和/或可以提供永久/半永久/动态/高速缓存的存储。

存储器403存储包括计算机程序指令405的计算机程序404,计算机程序指令405在加载到处理器402时控制装置400的操作。计算机程序指令405提供使装置400能够执行当前描述的方法的逻辑和例程。

存储器403和计算机程序指令405被配置为与至少一个处理器402一起使得装置400至少执行所描述的方法,尤其是例如关于图1、2和3(以及实现下面关于图5至9讨论的功能)。

处理器402被配置为从存储器403读取和写入。处理器402还可以包括:输入接口406,经由该输入接口406,数据(诸如用于定位和音频捕获模块501、502的预定时间和定位202(a)、202(b)、302(a)、302(b))被输入到处理器402,以及输出接口407,经由该输出接口407,数据和/或命令由处理器402输出(诸如控制定位和音频捕获模块501、502)。

计算机程序404可以经由任何合适的传递机制411到达装置400。传递机制411可以是例如非暂态计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器、或数字通用光盘的记录介质、或有形地体现计算机程序404的制品。在一些示例中,传递机制411可以是被配置为可靠地将计算机程序404传送到装置400的信号。装置400可以接收、传播或发送计算机程序404作为计算机数据信号。

例如,装置400可以是服务器设备、客户端设备、手持便携式电子设备等、或者用于前述任何一种的模块或芯片组。

装置400可以包括发送设备(未示出)和接收设备(未示出),用于经由无线通信信道与其他设备/远程模块(尤其是定位和音频捕获模块501、502)通信。

装置400还可以被配置为从定位模块501和/或定位系统的其他接收机/定位器设备接收定位信号,以确定定位模块501的定位。备选地,这种定位确定可以由定位系统的单独控制器执行,并且定位模块501的确定定位可以被发送到装置。装置400还可以被配置为从音频捕获模块502接收与由模块捕获的音频有关的信号。装置400可以被配置为使用所确定的定位和所接收的捕获的音频来空间混合所捕获的音频以生成空间音频。

尽管上面已经根据包括各种组件描述了该装置的示例,但是应该理解,这些组件可以由对应的控制器或电路(诸如该装置的一个或多个处理元件或处理器)体现或以其他方式控制。在这方面,上述组件中的每一个组件可以是以硬件、软件或硬件和软件的组合体现的任何设备、部件或电路中的一个或多个,其被配置为执行如上所述的相应组件的对应功能。

对“计算机可读存储介质”、“计算机程序产品”、“有形体现计算机程序”等或“控制器”、“计算机”、“处理器”等的引用应被理解为不仅涵盖具有不同架构(诸如单/多处理器架构和顺序(冯诺依曼)/并行架构)的计算机,但也有专用电路(诸如现场可编程门阵列(fpga)、专用电路(asic)、信号处理设备和其他设备)。对计算机程序、指令、代码等的引用应被理解为涵盖用于可编程处理器或固件的软件(诸如例如硬件设备的可编程内容,无论是用于处理器的指令、还是用于固定功能设备、门阵列或可编程逻辑设备等的配置设置)。

如本申请中所使用的,术语“电路”指的是以下各项中的全部:

(a)仅硬件电路实现(诸如仅在模拟和/或数字电路中实现)以及

(b)电路和软件(和/或固件)的组合,诸如(如适用):(i)处理器的组合或(ii)处理器/软件(包括数字信号处理器)、软件和存储器的部分,它们一起工作以使诸如移动电话或服务器的装置执行各种功能)以及

(c)要求软件或固件进行操作的电路(诸如微处理器或微处理器的一部分),即使软件或固件没有物理上地存在。

“电路”的定义适用于本申请中该术语的所有用途,包括在任何权利要求中。作为另一示例,如在本申请中所使用的,术语“电路”还将覆盖仅处理器(或多个处理器)或处理器的一部分及其(或它们)伴随的软件和/或固件的实现。术语“电路”还将覆盖例如并且如果适用于特定的权利要求元件,用于移动电话的基带集成电路或应用处理器集成电路或服务器、蜂窝网络设备或其他网络设备中的类似集成电路。

图5示出了系统500,其包括装置400和多个定位模块501-501n、以及多个音频捕获模块502-502n。装置400被配置为使得响应于一个或多个预定时间和定位202(a)、202(b)、302(a)、302(b),它可以向远程定位模块501发送控制信号400(a),用于控制其如前所讨论的一个或多个操作。可以控制定位模块以便被激活,以便将定位信号501(a)发送回装置400(和/或定位系统的其他接收/定位装置-未示出),以便能够确定定位模块的定位并且生成定位模块的定位信息。

装置400可以结合预定的时间和定位使用这种定位信息,以向定位模块发送其他控制信号400(a),例如以便增加其定位信号传输速率和/或向音频捕获模块502发送控制信号400(b)以便于控制如上所讨论的其操作。可以控制音频捕获模块502以便被激活并且开始捕获音频,该音频可以经由音频信号502(a)被发送回装置400(和/或其他接收机装置-未示出)。

每个定位模块可以与特定音频捕获模块相关联,以便形成定位和音频捕获模块对503。装置400可以控制多个定位和音频捕获模块。在某些实施例中,每个定位模块与特定音频捕获模块相关联,以便形成相关联的对503。这种相关联的对可以例如对应于定位模块501和音频捕获模块502,两者都附接到相同的对象/人,使得从定位模块501导出的定位信息等同于相关联的音频捕获模块502的定位。这样的对503可以由相同的预定时间和定位控制。这可以使音频捕获模块502能够保持在低功率状态,同时仅单个定位模块501处于供电激活状态以提供定位信息(用于确定何时,即当确定的定位对应于预定定位和时间时,以激活相关联的音频捕获模块),从而节省功率并延长音频捕获模块502的电池/操作寿命。

在其他示例中,定位模块501可以与多个音频捕获模块502-502n相关联。多个音频捕获模块的操作可以取决于从单个相关联的定位模块501导出的定位信息。在这样的示例中,确定现有模块中的一个模块的定位,并且根据一个或多个预定时间、一个或多个预定定位、以及来自相关联的一个定位模块501的确定定位来控制多个音频捕获模块的操作。这可以使得多个音频捕获模块502-502n能够全部保持在低功率状态,同时仅单个定位模块处于供电激活状态以提供定位信息(用于确定何时,即当确定的定位对应于预定的定位和时间时,以激活相关联的音频捕获模块),从而节省功率并延长多个音频捕获模块502-502n的电池/操作寿命。

在其他示例中,一个定位模块可以与多个其他定位模块相关联,使得确定一个定位模块的定位,并且根据一个或多个预定时间和定位以及一个相关联的定位模块的确定定位控制多个其他定位模块的操作。以这种方式,多个定位模块可以组合在一起并基于来自单个定位模块的确定定位来控制。这可以使多个定位模块能够保持在低功率状态,同时仅单个定位模块处于供电激活状态以提供定位信息(用于确定何时,即当确定的定位对应于预定定位和时间时,以激活相关联的多个定位模块),从而节省电力并延长多个定位模块的电池/操作寿命。

在一些示例中,一个或多个定位模块可以与一个或多个传感器(未示出)相关联。例如,除了音频传感器或音频捕获设备之外的传感器可以响应除声音之外的物理参数。该装置可以被配置为根据一个或多个预定时间和定位来发送控制信号以控制这些传感器的操作。

定位模块501-501n可以对应于或包括在以下中的一项或多项中:无线设备、用户便携式设备、可穿戴设备、电池供电设备、用于室内定位的设备、基于无线电的定位设备、室内定位系统的无线电发射机/信标、以及高精度室内定位(haip)标签。定位模块可以包括其自己的控制器,例如控制其操作的处理器和存储器。

音频捕获模块502-502n可以对应于或包括在以下中的一项或多项中:无线设备、用户便携式设备、可穿戴设备、电池供电设备、近距离麦克风、领夹式麦克风以及佩戴式麦克风。音频捕获模块可以包括其自己的控制器,例如控制其操作的处理器和存储器。

本文所使用的“模块”指的是排除将由终端制造方或用户添加的某些部件/组件的单元或装置。例如,如前所讨论的,定位模块可以是定位系统的一部分。

所接收的捕获音频502(a)和从定位信号501(a)导出的定位信息可以由音频混合算法使用,以便基于所捕获的音频和所确定的定位来生成空间音频504。

在存在要捕获其音频的多个音频源的情况下,可以为每个音频源提供其自己的定位模块和音频捕获模块对503。每个音频捕获模块502可以被编程为在由预定的一个或多个时间和定位定义的“时间和空间脚本”上激活,使得一次(和位置)可以仅激活一个音频捕获模块。这可以避免两个或更多个音频捕获模块从音频源“意外地”捕获音频,这可能对空间音频的生成产生不利影响,因为相同的音频可能与两个或更多个定位(即拾取/捕获音频的音频捕获模块中的每一个音频捕获模块的定位)相关联。

在图5中,装置400是独立的、不同的并且远离定位模块和音频捕获模块,需要在它们之间传输信号。在图6所示的系统600中,控制定位模块501和音频捕获模块502的操作的装置400提供在相同设备601中。控制器401可以向定位模块501发送控制信号并且同样地向音频捕获模块502发送控制信号。远离控制器401的另一个控制器602可以从定位设备接收定位信号和/或还可以从定位系统的一个或多个接收机/定位器(未示出)接收信号并且使用该定位信号来确定设备601的定位。可以向设备601发送所确定的定位/定位信息602(a)。与设备601的当前定位有关的这种定位信息可以用于确定当前位置是否对应于预定定位。

可以从装置601向控制器602发送所捕获的音频信息602(b),控制器602可以使用确定的定位设备来处理捕获的音频信息以生成空间音频。

包括控制器401、定位模块501和音频捕获模块502的装置601可以容纳在单个设备中,该设备进一步包括用于发送定位信号(由定位系统基础设施以及定位系统基础设施的接收机/定位器的布置用于确定设备的定位)的发射机,并且还发送捕获的音频信息502(a)。备选地,在一些示例中,控制器401可以仅与定位模块501组合在单个设备中,与容纳音频捕获模块502的设备分开。

图7示出了本公开中的示例的示例性使用,即在创建空间音频内容的捕获或制作阶段期间使用,例如作为用于生成虚拟现实内容的脚本视频拍摄(现场或非现场)的一部分。

在该视频拍摄场景中,音频捕获模块502-502n是附接到每个演员(具有预定的说话角色)的无线近距离麦克风。定位模块501-501n是haip系统的haip标签,由此haip标签发送的定位信号由接收机/定位器的布置检测,并且这种接收信号用于确定haip标签的定位。

可以向希望捕获空间音频(即例如演员的语音)并从其生成空间音频的每个演员或对象提供近距离麦克风和haip标签。近距离麦克风本身可以配备有haip标签,即使得它们被包含在一起并嵌入在同一设备中。近距离麦克风和haip标签两者均由电池供电。

由无线近距离麦克风捕获的音频,即演员的语音,被发送到控制器。控制器还可以基于haip标签发送的定位信号(以及从haip系统基础设施的其他接收机/定位器接收的信号)从haip标签的定位接收或至少部分地确定定位信息。

控制器可以基于经由haip标签确定的麦克风定位来自动地在空间上混合捕获的音频内容。

在视频拍摄的制作或预制作阶段期间,一个或多个预定时间和一个或多个预定定位的集合可以由视频脚本/导演或参与视频拍摄准备的其他人设置,其有效地定义每个演员何时何地说话和移动的各种时间和定位。这用于控制近距离麦克风和haip标签,使得它们被激活并且适当地操作,以便能够捕获音频并确定和监控相关联的演员的定位,使得可以从捕获的音频和定位信息生成空间音频。

这样的预定时间和定位可用于创建haip标签激活程序“htap”,其定义二进制说话状态(即说话/不说话)的时间序列和用于其的位置坐标。可以为具有说话角色的每个演员的每个haip标签/麦克风对提供这样的序列。htap表示何时激活和去激活近距离麦克风和相关联的haip。htap的时间和定位可以基于视频脚本的定时和定位方向和/或拍摄时间表,使得haip标签和麦克风可以被适当地编程以在演员说话时激活(例如,为了预定持续时间的讲话正好在演员应该说话时之前)。

由于时间仅在视频拍摄情况下信息可能不够准确,因此本发明的发明人已经基于haip标签和麦克风的激活不仅基于时间信息而且还基于位置信息,即演员的位置(这种预定的时间和定位可以从视频拍摄的视频脚本中定义)。

以下场景考虑拍摄视频的制作或拍摄阶段,诸如当拍摄电影、采访、剧场表演、演示等时,考虑现场和非现场情况两者。

捕获设置可以如下。诸如nokiaozo(tm)相机的虚拟现实相机可以用于经由嵌入在相机本身中的多个麦克风来捕获视觉数据并且可选地还可以捕获音频。然而,对于要捕获的特定音频源,诸如演员、演示者等,为演员/演示者提供佩戴诸如领夹式麦克风和haip标签的近距离麦克风。haip标签连续提供近距离麦克风的位置(以及音频源的位置)。音频源位置可用于在空间上自动混合捕获的近距离音频。

图7示出了具有四个演员的视频拍摄的空间音频捕获设置,每个演员都配有他们自己的近距离麦克风和haip标签。

由于每个近距离麦克风和haip标签都是电池供电的,因此它们可能仅在有限的时间内连续工作,因此对视频拍摄后勤造成限制。本公开的示例寻求在视频拍摄期间增加近距离麦克风和haip标签的功耗效率,从而延长它们的寿命。

在拍摄电影场景的情形中,几乎在电影中发生一切之前都已经仔细计划过,并在电影脚本中详细描述。电影脚本可以规定哪个演员在任何一个时间说话,以及该演员的穿戴。基于电影脚本,可以创建haip标签激活程序(htap),其包含二进制说话状态的时间序列和用于要拍摄的场景的每个演员的位置坐标。这样的序列提供关于对于穿戴近距离麦克风和haip标签的相关联的演员何时激活或去激活近距离麦克风和haip标签的时间表。

当特定演员到达特定时间窗内的特定位置时,htap提供用于控制近距离麦克风和相关联的haip标签的空间和时间信息,即激活该近距离麦克风和相关联的haip标签。

图8示出了haip标签激活程序htap的示例,其包括一个或多个预定时间202(a)、302(a)和一个或多个预定定位202(b)、302(b),用于控制操作4个haip标签和近距离麦克风对,即每个演员一对。这些带时间戳和定位戳的说话槽为每个演员定义了时间和空间时间表以及说话时隙序列。例如,“演员4[t4100-t4520:s,x41,y41]”意味着演员4在位置(x41,y41)从时间(以秒为单位)4100到时间4520说话。当确定当前演员在预定时间窗内并且位于预定位置时,这种时间和空间信息用于编程haip标签和近距离麦克风的激活/去激活的时间表。

参考图9,在视频拍摄期间,装置400读取htap。该装置将htap时间戳与实时/当前时间线相关联。htap可以描述很快,即在某个时间窗口内,演员1将移动到某个位置并开始说话。该装置可以最初仅周期性地开始激活演员1的haip标签,以便确定演员的位置以及演员何时到达htap描述的目标位置。一旦演员到达目标位置,该装置可以完全激活相关联的haip标签,即,以便连续工作而不是仅周期性地工作以提供高精度定位信息。此外,该装置可以激活近距离麦克风以便开始音频的捕获。当htap描述演员已经停止说话时,该装置可以去激活haip标签和近距离麦克风两者。

特定演员的近距离麦克风的受控激活和去激活不仅可以延长所述麦克风的电池寿命,还可以防止/减少麦克风捕获非期望音频,即捕获不是特定演员的发言的音频,诸如在特定演员不说话的时候说话的其他附近演员的语音,即该特定演员的沉默时刻。否则这将是有问题的,因为haip标签位置有时可能有噪声且不精确,并且两个近距离麦克风的双重语音捕获可能导致在两个不同位置呈现相同的语音,一个来自当前发言者自己的近距离麦克风,并且另一个来自附近演员的近距离麦克风,这将破坏空间音频聆听体验。

由于通常在任何给定时间只有一个演员说话,因此可以设置htap使得在特定时间(和/或在特定位置)仅有一个麦克风是激活的。在视频拍摄中使用多个近距离麦克风的情况下,可以控制近距离麦克风,使得在给定时间(和/或位置)仅一个麦克风被激活,以避免由一个或多个近距离麦克风对单个演员的语音的多次捕获。

在其他示例中,haip标签可以组合在一起。例如,在有一群舞者也唱歌并且他们的表演可能已知同步的情况下,因此只需要监控舞者的haip标签中的一个。然后,来自标签中的一个的输入可用于控制一系列相关联的标签(其他舞者的)和来自相关联的麦克风的音频捕获,即单个haip标签实际上可用作一群舞者的其他标签(和麦克风)的主控。

本公开的示例提供了一种方法和对应的装置两者,包括提供用于执行该方法的动作的功能的各种模块、部件或电路。模块、部件或电路可以实现为硬件,或者可以实现为由计算机处理器执行的软件或固件。在固件或软件的情况下,本公开的示例可以作为计算机程序产品提供,该计算机程序产品包括计算机可读存储结构,其上体现计算机程序指令(即软件或固件),用于由计算机处理器执行。

在前面的描述中描述的特征可以以除了明确描述的组合之外的组合使用。

尽管已经参考某些特征描述了功能,但是这些功能可以通过其他特征(无论是否描述)来执行。尽管已经参考某些示例描述了特征,但是这些特征也可以存在于其他示例(无论是否描述)中。尽管在前面的段落中已经描述了本公开的各种示例,但是应当理解,在不脱离权利要求中所阐述的本发明的范围的情况下,可以对给出的示例进行修改。

术语“包括”在本文档中使用,具有包含性而非排他性含义。即,对包含y的x的任何引用表示x可以仅包含一个y或者可以包含多于一个y。如果打算使用具有排他性含义的“包含”,则在上下文中将通过参考“仅包含一个......”或通过使用“由......组成”来明确。

在本说明书中,措辞“连接”、“耦合”和“通信”及其派生词意味着操作连接/耦合/通信。应当理解,可以存在任何数目或组合的中间组件(包括没有中间组件)。

如本文所使用的,“确定”(及其语法变体)可以包括,尤其是:运算、计算、处理、推导、调查、查找(例如在查找表、数据库或其他数据结构中查找)、确定等等。此外,“确定”可以包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)等。此外,“确定”可以包括解析、选择、挑选、建立等。

在本说明书中,参考了各种示例。与示例相关的特征或功能的描述指示那些特征或功能存在于该示例中。在文本中对术语“示例”或“例如”或“可以”的使用表示,无论是否明确说明,这些特征或功能至少在所描述的示例中存在,无论是否作为示例描述,并且它们可以但不一定存在于某些或所有其他示例中。因此,“示例”、“例如”或“可以”指的是一类示例中的特定实例。实例的属性可以是仅该实例的属性,也可以是该类的属性或该类的子类的属性,该子类包括该类中的一些但不是全部实例。

在本说明书中,除非另外明确说明,否则对“一/一个/该”[特征、元件、组件、部件......]的引用将被解释为“至少一个”[特征、元件、组件、部件......]。

在以上描述中,所描述的装置可备选地或另外地包括在一些其他实施例中包括分布式装置系统的装置,例如,客户端/服务器装置系统。在其中提供的装置形成(或方法被实现为)分布式系统的实施例的示例中,形成系统的组件和/或部分的每个装置提供(或实现)共同实现本公开的示例的一个或多个特征。在实施例的一些示例中,装置由除其初始制造方之外的实体重新配置,以通过提供附加软件来实现本公开的示例,例如通过用户下载这样的软件,该软件在被执行时使得装置实现本公开的示例(这种实现完全由装置或作为如上所述的装置系统的一部分)。

以上描述描述了本公开的一些示例,然而本领域普通技术人员将意识到可能的备选结构和方法特征,其提供与上文所述的这种结构和特征的特定示例等效的功能,并且为了简洁和清楚起见,已经从以上描述中被省略。尽管如此,以上描述应该被解读为隐含地包括对提供等效功能的这种备选结构和方法特征的参考,除非在本公开的示例的以上描述中明确地排除了这样的备选结构或方法特征。

尽管在前述说明书中努力引起对被认为特别重要的本公开的示例的那些特征的注意,但应理解,无论是否对其进行特别强调,申请人都要求保护关于上文提及和/或在附图中示出的任何可专利特征或特征组合。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1