噪声抑制系统和方法与流程

文档序号:12071365阅读:375来源:国知局
噪声抑制系统和方法与流程

本发明涉及用于噪声抑制的系统和方法。本发明还涉及包括所述系统的通信系统、用于使用在所述系统中的外放(play-out)设备和记录设备、如由外放设备生成的噪声抑制数据和包括用于使处理系统执行所述方法的指令的计算机程序产品。



背景技术:

通过记录设备获取的音频记录可能包括所不期望的音频分量。特别地,音频记录可能包括由位于记录设备的邻域中的外放设备生成的声音信号的记录。声音信号的记录可能表示所不期望的音频分量,因为期望的可能不是记录所述声音信号,而是记录例如另一声音信号,或者根本不记录声音。例如,当记录用户的语音时,由在背景中播放的电视或收音机生成的声音信号可能也被记录。在该示例中,可能期望的是记录用户的语音而不是由电视或收音机生成的声音信号。

为了抑制所记录的信号中的诸如背景噪声之类的所不期望的音频分量,可以使用各种技术。这样的技术通常称为(背景)噪声消除或(背景)噪声抑制。在所不期望的音频分量是回声的具体情况下,该技术还称为声学回声消除,或者简称为回声消除。

例如,Reindl等人的题为“An Acoustic Front-End for Interactive TV Incorporating Multichannel Acoustic Echo Cancellation and Blind Signal Extraction”,第44届Asilomar会议的会议记录,2010,第1716-1720页的公开物试图补偿可能由干扰扬声器、环境噪声、回响和来自TV扩音器的声学回声引起的对所期望的语音信号的损害。出于该目的,使用两个麦克风信号,其被馈送到多信道声学回声消除(MC-AEC)单元中,所述单元补偿扩音器与麦克风之间的声学耦合。然后将MC-AEC的输出信号馈送至双信道盲信号提取(BSE)单元中,所述单元从输出信号提取所期望的语音信号分量。



技术实现要素:

不利的是,Reindl等人的系统要求两个麦克风信号。另一缺点可以是该系统可能不能够将所期望的语音信号分量从背景噪声充分地分离。

将有利的是获取一种用于噪声抑制的系统或方法,其对Reindl等人的系统的一个或多个方面进行了改进。

本发明的以下方面牵涉一种提供有所记录的信号的噪声抑制子系统,所述所记录的信号包括以声音信号的记录的形式的所不期望的音频分量,声音信号通过外放设备外放音频信号而生成。为了使得噪声抑制子系统能够抑制声音信号,外放设备可以向噪声抑制子系统提供噪声抑制数据以使得音频信号能够被访问并且在时间上与所记录的信号相关。

本发明的第一方面提供了一种用于噪声抑制的系统,其中系统可以包括:

– 用于经由扬声器外放音频信号以提供声音信号的外放设备;

– 用于记录声音信号以获取包括至少声音信号的记录的所记录的信号的记录设备,

其中外放设备可以配置用于向通信信道提供噪声抑制数据,

其中噪声抑制数据可以包括:

i)音频信号,或对音频信号的指引(reference),所述指引使得能够访问音频信号;以及

ii)用于使得音频信号能够在时间上与所记录的信号相关的时序信息;

其中系统还可以包括噪声抑制子系统,其配置用于获取所记录的信号和噪声抑制数据,

并且其中噪声抑制子系统可以包括:

– 用于基于时序信息而将音频信号与所记录的信号同步以获取经同步的音频信号的时序管理器;以及

– 用于基于经同步的音频信号而处理所记录的信号以获取其中抑制声音信号的记录的经处理的信号的噪声抑制器。

本发明另外的方面分别提供了如使用在系统中的记录设备、如使用在系统中的外放设备,以及如由外放设备生成的噪声抑制数据。

本发明另外的方面提供了一种用于抑制噪声的方法,其中方法可以包括:

– 获取包括至少声音信号的记录的所记录的信号,声音信号通过外放设备经由扬声器外放音频信号来提供;

– 经由通信信道从外放设备获取噪声抑制数据,噪声抑制数据包括:

i)音频信号,或对音频信号的指引,所述指引使得能够访问音频信号;以及

ii)用于使得音频信号能够在时间上与所记录的信号相关的时序信息;

– 基于时序信息而将音频信号与所记录的信号同步以获取经同步的音频信号;以及

– 基于经同步的音频信号而处理所记录的信号以获取其中抑制声音信号的记录的经处理的信号。

本发明另外的方面提供了一种包括用于使处理系统执行所述方法的指令的计算机程序产品。

在从属权利要求中限定实施例。

依照上文,可以提供一种外放设备,其可以经由扬声器外放音频信号以提供声音信号。在此,术语“声音信号”是指可听信号,并且术语“音频信号”是指这样的声音信号的电子表示。照此,外放设备可以按照可听形式再现、呈现或重现音频信号。此外,可以提供一种记录设备,其可以至少记录声音信号以获取所记录的信号。照此,记录设备可以获取声音信号的电子表示。所记录的信号“至少”包括声音信号的记录,因为其可以,或可以不包括其它声音信号的记录。在前一种情况下,声音信号可以与其它声音信号组合在所记录的信号中,从而得出捕获若干声音信号的所记录的信号。

外放设备可以配置用于生成和外部输出噪声抑制数据。噪声抑制数据可以包括音频信号自身,或者对音频信号的指引,所述指引使得能够访问音频信号。在前一种情况下,音频信号可以按照经压缩的形式包括在噪声抑制数据中,但是可以不需要这样。在指引的情况下,指引可以是指可以从其访问音频信号的资源。噪声抑制数据可以此外包括用于使得音频信号能够在时间上与所记录的信号相关的时序信息。在此,术语“在时间上相关”是指已经确定两个信号之间的时间方面的关系,或者至少是指一种近似程度,从而使得声音信号的记录能够在时间上与其源自的音频信号对准。

噪声抑制子系统可以提供有所记录的信号和噪声抑制数据。所记录的信号可能已经直接或间接地从记录设备获取。可替换地,在噪声抑制子系统包括在记录设备中的情况下,所记录的信号可能已经从记录设备内获取。而且,噪声抑制数据可能已经直接或间接地从外放设备获取。要指出的是,所记录的信号和/或噪声抑制数据可以但不需要经由一个或多个中间设备和/或子系统而提供给噪声抑制子系统。为了从外放设备获取噪声抑制数据,利用了通信信道。通信信道可以是有线或无线通信信道,或其组合。通信信道可以是网络的部分。

噪声抑制子系统可以包括用于基于时序信息而将音频信号与所记录的信号同步的时序管理器。例如,这样的同步可以包括更改音频信号和/或所记录的信号的时间戳,或者生成表示音频信号与所记录的信号之间的时间差的同步数据。在此,术语“同步”是指到被视为适合于随后的噪声抑制的程度的同步,该同步典型地在毫秒范围中。噪声抑制子系统还可以包括用于基于所述经同步的音频信号而处理所记录的信号以获取其中抑制声音信号的记录的经处理的信号的噪声抑制器。例如,可以从所记录的信号减去经同步的音频信号。

以上措施可以具有有利的技术效果:提供噪声抑制子系统,其可以抑制所记录的信号中的声音信号的记录而不管噪声抑制子系统不是外放设备的部分。即,通过从外放设备经由通信信道向噪声抑制子系统提供噪声抑制数据,使得噪声抑制子系统能够访问音频信号,并且使其在时间上与所记录的信号相关。照此,噪声抑制子系统可以使用该数据来抑制所记录的信号中的声音信号的记录。以上的优点可以是:可以在其中噪声抑制子系统不包括在外放设备中而是例如在从外放设备分离的记录设备中或在另一设备中的情况下执行噪声抑制。

发明人已经认识到,以上噪声抑制良好地适合于以下情况:其中提供作为通信系统的部分(例如作为第一通信设备的部分)的记录设备,所述记录设备记录用于传输至第二用户的第二通信设备的第一用户的语音,但是其中外放设备正在背景中外放音频信号,从而使语音的记录受到外放的音频信号干扰。通过从外放设备向通信系统的噪声抑制子系统提供如所要求保护的噪声抑制数据,可以在通信系统内抑制这样的背景噪声(例如在所记录的信号向第二用户的第二通信设备的传输之前或之后)。

在实施例中,由噪声抑制子系统获取的音频信号可以包括一个或多个内容时间戳,并且时序管理器可以配置用于进一步基于所述一个或多个内容时间戳而将音频信号与所记录的信号同步。通过提供作为音频信号的部分的内容时间戳,音频信号被提供有时间指引信息。相应地,由外放设备提供的作为噪声抑制数据的部分的时序信息可以是指内容时间戳或部分地由内容时间戳构成,以使得音频信号能够在时间上与所记录的信号相关。

在实施例中,由外放设备外放的音频信号可以包括一个或多个水印,所述一个或多个水印可以与具有在时间上与所述一个或多个内容时间戳的已知关系的一个或多个水印时间戳相关联,噪声抑制子系统可以包括用于检测所记录的信号中的所述一个或多个水印的水印检测器,并且时序管理器可以配置用于通过将所述一个或多个水印时间戳在时间上与所述一个或多个内容时间戳相关来同步音频信号与所记录的信号。水印是持久标识的形式。通过提供作为外放音频信号的部分的水印并且通过为噪声抑制子系统提供水印检测器,噪声抑制子系统可以检测所记录的信号中的水印。照此,可以标识与水印相关联的水印时间戳。水印时间戳可以具有在时间上与所述一个或多个内容时间戳的已知关系。在此,“在时间上的已知关系”是指表示与内容时间戳相同或类似的时间实例或者具有对噪声抑制子系统已知——或已经使其已知——的差异的水印时间戳。相应地,通过将水印时间戳与内容时间戳相关,音频信号可以与所记录的信号同步。

在实施例中,所述一个或多个水印时间戳可以是外放设备处的所述一个或多个水印的外放时间戳,并且由外放设备提供的时序信息可以至少部分地由所述一个或多个外放时间戳构成。通过向噪声抑制子系统提供作为时序信息的部分的水印的外放时间戳,噪声抑制子系统可以被提供有两个水印(例如像在所记录的信号中检测到的),以及相关联的水印时间戳。相应地,噪声抑制子系统可以使用噪声抑制数据来抑制所记录的信号中的声音信号的记录。

在实施例中,所述一个或多个水印时间戳可以编码在所述一个或多个水印的相应水印中。通过将水印时间戳编码在水印中,不需要分离地将它们提供到噪声抑制子系统,例如作为时序信息的部分。该实施例的优点可以是,可能不需要向噪声抑制子系统分离地提供时序信息。更确切地,时序信息可以部分地由音频信号的内容时间戳(如通过噪声抑制数据所提供的)构成,并且部分地由所记录的信号的水印构成。

在实施例中,外放设备可以包括时钟,由外放设备提供的时序信息可以包括与音频信号的一个或多个内容时间戳相关联的一个或多个外放时间戳,所述一个或多个外放时间戳可以在音频信号的外放期间从时钟导出,记录设备可以包括另外的时钟,该时钟具有在时间上与外放设备的时钟的已知关系,记录设备可以在声音信号的记录期间从所述另外的时钟导出一个或多个记录时间戳,并且时序管理器可以配置用于通过使用所述一个或多个外放时间戳将所述一个或多个记录时间戳在时间上与音频信号的所述一个或多个内容时间戳相关来同步音频信号与所记录的信号。通过为外放设备和记录设备提供具有时间上的已知关系(例如通过被同步或具有对时序管理器已知——或已经使其已知——的差异)的时钟,记录时间戳可以在时间上与外放时间戳有关。通过向噪声抑制子系统提供作为时序信息的部分的与一个或多个内容时间戳相关联的外放时间戳,噪声抑制子系统可以使用噪声抑制数据来抑制所记录的信号中的声音信号的记录。要指出的是,内容时间戳可以按照各种方式与外放时间戳相关联(例如通过将内容时间戳与外放时间戳一起提供为时序信息,通过将外放时间戳链接到音频信号中的内容时间戳等)。相应地,可以将所记录的信号的记录时间戳匹配到音频信号的内容时间戳(通过将它们匹配到外放时间戳并且从而匹配到相关联的内容时间戳)。该实施例的优点可以是不需要音频信号的特殊处理,诸如加水印。

在实施例中,由噪声抑制子系统获取的音频信号可以包括一个或多个水印,其匹配所记录的信号中的一个或多个水印,噪声抑制子系统可以包括用于检测音频信号中和所记录的信号中的一个或多个水印的水印检测器,并且时序管理器可以配置用于通过在时间上对准音频信号中和所记录的信号中的所述一个或多个水印来将音频信号与所记录的信号同步。相应地,利用作为持久标识并且从而可从音频信号以及从外放音频信号的记录标识的水印。该实施例的优点可以是,可以不需要向噪声抑制子系统分离地提供时序信息。更确切地,时序信息可以部分地由嵌入在音频信号中的水印(如由噪声抑制数据所提供的)构成,并且部分地由嵌入在所记录的信号中的水印构成。

在实施例中,除了声音信号的记录之外,所记录的信号可以包括另外的声音信号的记录,并且噪声抑制器可以处理所记录的信号以获取经处理的信号,该经处理的信号具有关于所述另外的声音信号的记录进行抑制的声音信号的记录。系统可以有利地用于抑制所记录的信号中的声音信号的记录,以便使所述另外的声音信号更加可辨别。例如,所述另外的声音信号可以由用户的语音构成。相应地,可以使用户的语音更加可辨别。

在实施例中,记录设备可以包括噪声抑制子系统。相应地,可以使得记录设备能够在记录期间或之后抑制声音信号。

在实施例中,可以提供一种用于使得能够实现用户之间的语音通信的通信系统,其中通信系统可以包括记录设备的至少一个实例。例如,记录设备可以包括在通信设备中或者由通信设备构成,所述记录设备记录第一用户的语音以用于传输至第二用户的通信设备。

在实施例中,外放设备可以包括以下中的至少一个:

– 用于在外放和/或经由通信信道向记录设备的传输之前在音频信号中插入一个或多个水印的水印插入器;以及

– 用于在音频信号的外放期间确定一个或多个外放时间戳以用于使用在时序信息中的时间戳功能单元。

总结来说,可以提供用于经由扬声器外放音频信号以提供声音信号的外放设备,并且可以提供用于记录声音信号以获取包括至少声音信号的记录的所记录的信号的记录设备。外放设备可以配置用于生成噪声抑制数据,该噪声抑制数据包括音频信号或对其的指引,以及用于使得音频信号能够在时间上与所记录的信号相关的时序信息。噪声抑制子系统可以被提供有所记录的信号和噪声抑制数据。噪声抑制子系统可以包括用于基于时序信息而将音频信号与所记录的信号同步的时序管理器,以及用于基于所述经同步的音频信号而处理所记录的信号以获取其中抑制声音信号的记录的经处理的信号的噪声抑制器。因而可以使得噪声抑制子系统能够执行噪声抑制(甚至在噪声抑制子系统不包括在外放设备中而是在诸如记录设备之类的另一设备中时)。

本领域技术人员将领会到,本发明的以上提到的实施例、实现方式和/或方面中的两个或更多个可以按照被视为有用的任何方式组合。

对应于系统的所描述的修改和变型的外放设备、记录设备、噪声抑制数据、方法和/或计算机程序产品的修改和变型可以由本领域技术人员在本描述的基础上实施。

在独立权利要求中限定本发明。在从属权利要求中限定有利但可选的实施例。

附图说明

本发明的这些和其它方面从以下描述的实施例是明显的,并且将参照以下描述的实施例进行阐述。在附图中:

图1示出用于噪声抑制的系统,系统包括外放设备和记录设备,记录设备包括噪声抑制子系统,并且外放设备经由通信信道向噪声抑制子系统提供噪声抑制数据;

图2A-2D涉及系统的不同配置,因为它们示意性地图示了从外放设备向记录设备提供的不同形式的时序信息,其中:

图2A示出提供到记录设备的包括一个或多个内容时间戳的音频信号,外放设备和记录设备包括时钟,并且时钟具有时间上的已知关系;

图2B示出提供到记录设备的包括一个或多个水印的音频信号,所述一个或多个水印匹配所记录的信号中的一个或多个水印;

图2C示出提供到记录设备的包括一个或多个内容时间戳的音频信号,由外放设备外放的包括一个或多个水印的音频信号,以及向记录设备提供的外放设备处的所述一个或多个水印的外放时间戳;

图2D类似于图2C,除了在此外放时间戳编码在所述一个或多个水印的相应水印中之外;

图2E示出针对图2A-2D的图例;

图3示出外放设备的各种组件,包括水印插入器和时间戳功能单元;

图4示出包括时序管理器和噪声抑制器的记录设备的各种组件;

图5示出如由外放设备生成的噪声抑制数据;

图6示出用于噪声抑制的方法;以及

图7示出包括用于使处理系统执行方法的指令的计算机程序产品。

应当指出的是,在不同图中具有相同参考标号的物项具有相同的结构特征和相同的功能,或者是相同的信号。在已解释了这样的物项的功能和/或结构的情况下,不存在针对详细描述中的其重复解释的必要。

参考标号列表

提供以下参考标号列表以用于促进附图的解释,并且该列表不应当被解释为限制权利要求。

020 通信信道

040 声音信号

060 时序信息经由通信信道的提供

080 音频信号经由通信信道的提供

100 用于噪声抑制的系统

120 扬声器

140 麦克风

200 外放设备

210 输出接口

220 时钟

250 水印插入器

252 水印插入器和时间戳功能单元的组合

260 时间戳功能单元

270 解码器

280 编码器

290 音频缓冲器

300 记录设备

310 输入接口

320 时钟

330 时序管理器

340 噪声抑制器

342 脉冲响应估计器

350 水印检测器

352 水印检测器和时间戳提取器的组合

360 时间戳提取器

370 解码器

380 记录缓冲器

390 音频缓冲器

400 噪声抑制数据

410 音频信号

412 音频信号或指引

420 时序信息

430 水印

440 水印编码时间戳

460 所记录的信号

470 经同步的音频信号

480 经处理的信号

500 用于噪声抑制的方法

510 获取所记录的信号

520 获取噪声抑制数据

530 使用噪声抑制数据同步音频信号

540 使用经同步的音频信号处理所记录的信号

600 计算机可读介质

610 存储为非暂时性数据的计算机程序。

具体实施方式

图1示出用于噪声抑制的系统100。系统100包括用于经由扬声器120外放音频信号410以提供声音信号040的外放设备200,以及用于记录声音信号040以获取包括至少声音信号的记录的所记录的信号460的记录设备300。出于该目的,将记录设备300示出为连接到麦克风140,其中麦克风将声音信号040的声波转换成电信号。尽管在图1中未明确示出,但是外放设备200和记录设备300可以是协同定位的(例如位于相同房间或位置中)。然而,这不是限制,因为更确切地,可以是扬声器120和麦克风140协同定位,或者至少布置在其中麦克风140仍旧寄存声音信号040的声波的相互距离处。

图1还示出通信信道020,其使得能够实现外放设备200与记录设备300之间的数据通信。通信信道020可以采取任何合适的形式,并且可以包括无线和/或有线部分。合适形式的通信包括例如Wi-Fi、蓝牙、ZigBee、以太网等。经由通信信道020的数据通信可以是基于互联网协议(IP)的,或者一般而言,是基于网络的。

外放设备200可以配置用于经由通信信道020向记录设备300提供噪声抑制数据400。出于该目的,将外放设备200示出为包括用于向通信信道020输出数据的输出接口210,并且将记录设备300示出为包括用于从通信信道020接收数据的输入接口310。每一个相应接口可以采取任何合适的形式。例如,为了提供基于蓝牙的数据通信,输出接口可以是蓝牙传输器并且输入接口可以是蓝牙接收器。

由外放设备200生成的噪声抑制数据400可以包括音频信号。可替换地,尽管在图1中未示出,噪声抑制数据400可以包括对音频信号的指引,该指引使得能够访问音频信号。此外,噪声抑制数据400可以包括用于使得音频信号能够在时间上与所记录的信号相关的时序信息。要指出的是,将参照图2A-2E和图5进一步阐述噪声抑制数据400的格式和功能。

图1还示出记录设备300包括用于基于时序信息而将音频信号与所记录的信号同步的时序管理器320。出于该目的,将时序管理器320示出为从输入接口310接收噪声抑制数据400。记录设备300还可以包括用于基于所述经同步的音频信号而处理所记录的信号460以获取其中抑制声音信号的记录的经处理的信号480的噪声抑制器330。出于该目的,将噪声抑制器330示出为从记录设备300内接收所记录的信号460,并且从时序管理器接收经同步的音频信号470,并且输出经处理的信号480,例如以用于进一步传输、处理、存储等。

系统可以有利地使用在以下使用情况中:其中除了声音信号的记录之外,所记录的信号包括另外的声音信号的记录。照此,噪声抑制器可以提供其中关于所述另外的声音信号的记录抑制所述声音信号的记录的经处理的信号。例如,在所述另外的声音信号由用户的语音构成的情况下,可以关于用户的语音而抑制外放设备的声音信号,从而改进语音的可理解性。

有利的使用情况的示例包括以下各项:

– 社交电视(TV)。在此,两个或更多方可以在不同位置处观看相同的TV节目,并且同时经由音频通信信道与彼此通信。在该使用情况下,每一个相应方可能通过音频通信信道听到除了其自身TV的TV音频之外的另一方的TV音频。而且,即使每一个位置处的TV音频被同步,音频通信信道的传输延迟也将使TV音频延迟,从而导致烦扰的回声,并且将不助于正确地听到另一方。此外,TV的音频音量可能是大声的,从而进一步降低可理解性。在此的系统可以用于在向另一方传输所记录的信号之前抑制一方或多方处的所记录的信号中的TV音频。

– 语音控制。如果用户正在尝试使用他/她的语音来控制电子设备,则诸如TV音频之类的背景噪声可能严重地限制语音控制的可用性。在此的系统可以用于在向所记录的信号应用语音识别之前抑制所记录的信号中的TV音频。

– 司法音频增强。在此,执法机关可以试图使用音频监控对目标进行监听,而目标可以试图通过将外放设备(诸如家庭或汽车立体声音响)的音量调谐得非常高来阻碍这样的窃听。在此,系统可以用于抑制由执法机关获取的所记录的信号中的外放设备的声音信号。

– 音频通信。一般而言,在音频通信中,可能合期望的是,避免传输在背景中播放的TV或收音机的声音信号以便避免让另一方知道您正在观看哪个TV节目或者您正在收听什么无线电台(例如出于隐私性的原因)。系统在此可以用于在向另一方传输所记录的信号之前抑制在一方或两方处的所记录的信号中的这样的声音信号。

– 音频记录。可能合期望的是,在某个记录设备上记录您自己的语音(例如为了做个人笔记,而不记录背景音频)。同样地,系统可以用于抑制背景噪声。

进一步参照图1,要指出的是,时序管理器320和噪声抑制器330可以一起形成噪声抑制子系统的至少部分。照此,图1示出包括该噪声抑制子系统的记录设备300,其中这也是图2A-D、4的示例中的情况。然而,这不是限制,因为噪声抑制子系统还可以位于记录设备外部,即在其之外(例如在另一设备中,在功能上跨多个设备分布等)。相应地,噪声抑制子系统可以从记录设备300接收所记录的信号460并且从外放设备接收噪声抑制数据400。后者可以但不需要经由记录设备300接收。

还要指出的是,音频信号与所记录的信号的同步可以是粗略的同步,因为在同步之后仍旧可以存在保留在经同步的音频信号与所记录的信号之间的延迟。对此的原因可以是系统可能并非总是能够计及贡献于音频信号与所记录的信号之间的延迟的所有因素。例如,正常存在声音信号从外放设备的扬声器到记录设备的麦克风的传播延迟。对于系统的某些配置,如从图2A开始(onward)的各图进一步阐述的,这样的延迟可能需要已知以便完美地同步音频信号与所记录的信号。然而,甚至在其中系统不能够计及这样的延迟因素的情况下,时序管理器仍然可以将音频信号和记录信号同步到适合于后续噪声抑制的程度。

在这方面,要指出的是,噪声抑制技术是已知的并且可以由噪声抑制器使用,该噪声抑制技术能够补偿输入信号之间的“较小”延迟,例如高达128ms。这样的技术的示例是使用自适应滤波器的噪声抑制。然而,鉴于由时序管理器执行的粗略同步,这样的噪声抑制技术可以通过使用较短的自适应滤波器(其要求较少的迭代)等而更加简单。

图2A-2D涉及系统的不同配置,因为它们示意性地图示了从外放设备提供到记录设备的时序信息的不同形式。贯穿图2A-2D,每一幅图的左手侧表示外放设备,而右手侧表示记录设备。在每一个情况下,示出声音信号040的传输,以及从外放设备经由通信信道到记录设备的另外的信令。图2E表示针对图2A-2D中的每一个的图例。

图2A涉及以下内容。向记录设备提供的音频信号080可以包括一个或多个内容时间戳。如图2A的示例中所描绘的,内容时间戳可以具有诸如01:23:45.678 [hh:mm:ss.sss]之类的值。所述一个或多个内容时间戳可能已经由外放设备插入到音频信号080中,或者可能已经存在于其中。外放设备可以包括时钟220。记录设备还可以包括时钟320,其具有在时间上与外放设备的时钟220的已知关系。例如,两个时钟220,320可以是同步的。同步可以是基于网络的,并且可以利用诸如精确时间协议(PTP)之类的协议。可替换地,时钟220,320可以具有差异(诸如偏移),其对于时序管理器已经是已知的。这样的使差异已知(例如经由网络)可以表示隐式同步而不是显式同步。外放设备还可以包括时间戳功能单元260,其在音频信号的外放期间确定一个或多个外放时间戳。所述一个或多个外放时间戳可以从时钟220导出。而且,可以导出相关联的内容时间戳,其可以指代内容(例如音频信号)的部分正在被外放。所述一个或多个外放时间戳和相关联的内容时间戳可以作为时序信息060被提供给记录设备。可替换地,时序信息060可以包括链接到包括在音频信号中的内容时间戳的外放时间戳。而且,在记录设备处,一个或多个记录时间戳可以在声音信号的记录期间从所述另外的时钟320导出。

时序管理器然后可以通过将音频信号的一个或多个内容时间戳在时间上与所述一个或多个记录时间戳相关来将音频信号与所记录的信号同步。出于该目的,时序管理器可以将所记录的信号的记录时间戳匹配到音频信号的外放时间戳并且从而匹配到相关联的内容时间戳。照此,音频信号可以与所记录的信号同步以便获取经同步的音频信号。要指出的是,记录时间戳到外放时间戳的匹配可以是“一对一”匹配,其可以假定在声音信号的外放和后续记录之间不存在延迟。然而,在实践中,可以存在至少部分地由声音信号从扬声器到麦克风的传播时间构成的延迟。通过不考虑这样的延迟,同步实际上可以是粗略同步,如之前所讨论的,从而得出经粗略同步的音频信号。时序管理器还可以补偿这样的延迟,该补偿例如通过假定预定义延迟值或通过估计延迟(例如通过向经粗略同步的音频信号和所记录的信号应用交叉相关技术以确定延迟)。

图2B涉及以下内容。由噪声抑制子系统获取的音频信号080可以包括一个或多个水印,其匹配所记录的信号中的一个或多个水印。例如,这样的水印430可以在外放之前和在经由通信信道传输之前由水印插入器250插入到音频信号中。由于其持久性质,这样的水印430可以在记录之后保持嵌入在声音信号040中并且是可检测的。噪声抑制子系统可以包括水印检测器350,其用于检测音频信号中的所述一个或多个水印和所记录的信号中的对应水印。在已检测到两个信号中的水印430的情况下,时序管理器可以通过在时间上对准音频信号中和所记录的信号中的所述一个或多个水印来同步音频信号与所记录的信号。要指出的是,在该示例中,时序信息至少部分地由嵌入在音频信号080中的水印构成。照此,可以不需要向噪声抑制子系统分离地提供时序信息。

图2C涉及以下内容。由噪声抑制子系统获取的音频信号080可以包括一个或多个内容时间戳。同时,由外放设备外放的音频信号和因而声音信号040可以包括一个或多个水印430。例如,这样的水印430可以在外放期间或之前由水印插入器250插入到音频信号中。所述一个或多个水印430可以与一个或多个水印时间戳相关联,所述水印时间戳在时间上具有与所述一个或多个内容时间戳的已知关系。在该示例中,水印时间戳可以由外放设备处的所述一个或多个水印的外放时间戳构成,该外放时间戳可以由外放设备的时间戳功能单元260生成并且随后作为时序信息060提供到记录设备。记录设备处的噪声抑制子系统可以包括用于检测所记录的信号中的所述一个或多个水印430的水印检测器350。时序管理器然后可以通过将所述一个或多个外放时间戳在时间上与所述一个或多个记录时间戳相关来同步音频信号与所记录的信号。照此,音频信号可以与所记录的信号同步以便获取经同步的音频信号。

图2D类似于图2C,除了水印的外放时间戳编码在所述一个或多个水印的相应水印中而不是经由通信信道分离地发信号通知之外。即,将外放设备示出为包括水印插入器和时间戳功能单元的组合252,该组合252可以在外放期间或之前将一个或多个水印440插入到音频信号中并且编码其呈现(即外放)的时间。由于其持久性质,这样的水印440可以在记录之后保持嵌入在声音信号040中并且是可检测的。而且,噪声抑制子系统可以包括水印检测器和时间戳提取器的组合352,以用于检测所记录的信号中的所述一个或多个水印并且解码所述一个或多个外放时间戳。时序管理器然后可以将音频信号同步到所记录的信号,如之前参照图2C解释的。

要指出的是,在图2B-2D的以上示例中,原则上使外放设备在外放过程期间提供单个水印可以是足够的。然而,水印检测器可能错过水印的检测(例如由于失真、其它声音信号的干扰等)。相应地,外放设备可以提供多于一个水印(例如以规律或不规律间隔)。这样的水印可以是不同的,从而使得水印检测器能够将所记录的信号中的相应水印唯一地匹配到音频信号中的水印和/或水印时间戳。在此,参照WO 2013/144347,并且特别地参照其基于水印的标记器的使用的描述。要指出的是,可以使用任何合适的加水印技术,如本身从加水印领域所已知的。非限制性示例是扩展频谱音频加水印。

还要指出的是,术语“外放时间戳”可以是指表示实际时间(例如与挂钟相关)的时间戳,外放设备在所述时间戳正在呈现。而且,术语“内容时间戳”可以是指标记内容(例如音频信号)中的特定点的时间戳。内容时间戳的示例是出于同步不同基础流的目的而包括在MPEG输送流(TS)中的呈现时间戳。

图3示出外放设备200的各种组件。要指出的是,取决于其中使用外放设备的系统的配置,外放设备可以仅包括图3中所示的组件的子集。另外,为了避免不必要的复杂性,图3省略外放设备内(例如在各种组件之间)的内部数据通信。

一般而言,外放设备200可以包括用于向通信信道输出噪声抑制数据的输出接口210。外放设备200可以包括时钟220。时钟220可以但不需要被同步或者具有在时间上与记录设备中的时钟的已知关系。外放设备200可以包括水印插入器250,其可以在外放期间或之前和/或在经由通信信道的传输之前将一个或多个水印插入到音频信号中。外放设备200可以包括时间戳功能单元260,其可以确定一个或多个外放时间戳。外放时间戳可以具有水印。时间戳功能单元260可以在确定外放时间戳中利用时钟220。时间戳功能单元260可以与水印插入器协作(例如通过集成在其中,以允许将外放时间戳编码在相应水印中)。外放设备200可以包括解码器270。解码器270可以用于从所接收的音频流解码音频信号。外放设备200可以包括编码器280。编码器280可以用于在经由通信信道的传输之前编码音频信号。这样的编码可以包括无损或有损压缩。外放设备200可以包括音频缓冲器290。音频缓冲器290可以用于使音频信号的外放延迟以预先补偿噪声抑制数据的传输延迟。

尽管在图3中未明确示出,但是外放设备可以包括用于在包括于噪声抑制数据中之前处理音频信号的处理器。这样的处理可以包括例如模拟扬声器的特性。例如,如果外放设备知晓扬声器的特性,可以处理音频信号以便同样向音频信号应用扬声器的特性。照此,可以获取噪声抑制数据,该噪声抑制数据的音频信号更好地匹配如由记录设备记录的声音信号。

图4示出记录设备300的各种组件。如同图3中所示的外放设备,记录设备300在某些配置中可以仅包括图4中所示的组件的子集。而且,为了避免不必要的复杂性,图4省略了记录设备内的内部数据通信。

一般而言,记录设备300可以包括输入接口310,其用于从通信信道接收噪声抑制数据。记录设备300可以包括时钟320。时钟320可以但不需要被同步或者具有在时间上与外放设备中的时钟的已知关系。记录设备300可以包括时序管理器330,其用于基于时序信息而将音频信号与所记录的信号同步。记录设备300可以包括噪声抑制器340,其用于基于经同步的音频信号而处理所记录的信号以获取其中抑制声音信号的记录的经处理的信号。时序管理器330和噪声抑制器340可以一起形成噪声抑制子系统(的部分)。

记录设备300可以包括脉冲响应估计器342。脉冲响应估计器342可以从所记录的信号估计扬声器、房间和麦克风的脉冲响应。脉冲响应可以在从所记录的信号减去之前应用于(经同步的)音频信号。照此,补偿由于通过扬声器的不完美重现、房间内的回响和通过麦克风的不完美记录而不再完美地匹配声音信号所源自的音频信号的正被记录的声音信号或许是可能的。记录设备300可以包括水印检测器350,其可以检测去到所记录的信号和/或(经同步的)音频信号中的一个或多个水印。可替换地,可以提供水印检测器和时间戳提取器的组合352,该组合352可以包括时间戳提取器360。时间戳提取器360可以在其中水印编码时间戳的情况下从水印提取时间戳。要指出的是,在本段中描述的组件可以是噪声抑制子系统的部分(同样当位于记录设备外部时)。

记录设备300可以包括解码器370,其用于解码如经由通信信道接收的经编码的音频信号。记录设备300可以包括记录缓冲器380。记录缓冲器380可以用于在噪声抑制之前缓冲所记录的信号以便计及噪声抑制数据的传输延迟。记录设备300可以包括音频缓冲器390。音频缓冲器390可以用于在其在所记录的信号之前运行的情况下缓冲经由通信信道接收的音频信号。这可以发生在外放设备使音频信号的外放关于噪声抑制数据的传输而延迟时。

一般而言,外放设备可以采取各种形式,诸如但不限于,电视机、立体声音响、计算机等。记录设备也可以采取各种形式,诸如但不限于计算机、平板设备、移动电话、家庭电话等。特别地,记录设备可以包括在通信设备中或由通信设备构成。通信设备可以与另一通信设备和可选地与服务器一起形成通信系统,其使得能够实现用户之间的语音通信。除了语音通信之外,通信系统可以但不需要提供视频通信。出于该目的,通信设备可以包括相机。

图5示出如由外放设备生成的噪声抑制数据400。将噪声抑制数据400示出为包括音频信号或对音频信号的指引的数据表示,所述指引使得能够访问音频信号,所述音频信号和对音频信号的指引二者在图5中通过参考标号412来指示。在这方面,要指出的是,贯穿描述,术语“音频信号”要理解为是指以数字形式的音频信号,即是指其数据表示。在噪声抑制数据400包括音频信号412的情况下,音频信号412可以按照经编码的形式包括在其中。这样的编码可以包括无损或有损的压缩。尽管在图5中未示出,但是音频信号412还可以包括一个或多个内容时间戳。内容时间戳可以作为音频信号的数据呈现中的元数据而被包括。音频信号400可以被格式化为音频流。相应地,外放设备可以经由通信信道将音频信号412流送至噪声抑制子系统。

可替换地,噪声抑制数据可以包括对音频信号的指引412,可以从所述指引412访问音频信号。指引412可以是对资源的指引。资源可以是网络资源,诸如流送服务器。例如,指引可以是表示电视频道的广播的流、表示无线电频道的广播的流或按需视频流等。内容时间戳可以是在由外放设备接收之前原始存在于音频信号或其流中的时间戳。水印也可以存在于音频信号中,在该情况下,外放设备可以利用水印。同样,在这样的情况下,可以不需要使外放设备自己将水印插入在音频信号中。

要指出的是,在资源上访问的音频信号可以包括与可用于外放设备的音频信号相同的内容时间戳。例如,在内容时间戳由包含在MPEG输送流中的呈现时间戳构成的情况下,外放设备和噪声抑制子系统可以在访问MPEG输送流时具有对相同内容时间戳的访问权。相应地,外放设备可以在生成时序信息中直接使用内容时间戳。可替换地,如果由噪声抑制子系统访问的音频信号包括与可用于外放设备的那些不同的内容时间戳,这些不同的内容时间戳可以在时间上使用相关性信息而被相关。这样的相关性信息在WO 2010/106075 A1中出于媒体流同步的目的而描述,并且可以用于将外放设备处的内容时间戳与噪声抑制子系统处的(不同的)内容时间戳相关。

还将噪声抑制数据400示出为包括时序信息420。时序信息420可以包括一个或多个外放时间戳。此外,时序信息420可以包括一个或多个内容时间戳,其与所述一个或多个外放时间戳相关联,并且可以包括其它信息,所述其它信息可以使得时序管理器能够将外放时间戳与音频信号412的内容时间戳相关联。时序信息420可以被格式化为元数据流。相应地,外放设备可以经由通信信道流送时序信息420。元数据流可以与音频流复用以获取经复用的流,诸如MPEG输送流(TS)。这样的复用可以在其中音频信号412不包括内容时间戳的情况下发生。相应地,外放时间戳或由时序信息420提供的其它信息可以与音频信号412的相应部分相关联。

一般而言,噪声抑制数据可以包括i)表示音频信号的音频流,音频流包括内容时间戳,以及ii)表示时序信息的元数据流,元数据流包括外放时间戳和内容时间戳的至少一个组合。可替换地,噪声抑制数据可以包括i)表示音频信号的音频流,以及ii)表示时序信息的元数据流,元数据流包括至少一个外放时间戳,元数据流与音频流复用以便将所述至少一个外放时间戳与音频信号的(多个)相应部分相关联。音频流可以包括水印,例如像参照图2B所描述的。

图6示出用于抑制噪声的方法500。方法500可以包括,在题为“获取所记录的信号”的操作中,获取510包括至少声音信号的记录的所记录的信号,声音信号通过外放设备经由扬声器外放音频信号来提供。方法500还可以包括,在题为“获取噪声抑制数据”的操作中,经由通信信道从外放设备获取520噪声抑制数据,噪声抑制数据包括i)音频信号,或对音频信号的指引,所述指引使得能够访问音频信号,以及ii)用于使得音频信号能够在时间上与所记录的信号相关的时序信息。方法500还可以包括,在题为“使用噪声抑制数据同步音频信号”的操作中,基于时序信息同步530音频信号与所记录的信号以获取经同步的音频信号。方法500还可以包括,在题为“使用经同步的音频信号处理所记录的信号”的操作中,基于经同步的音频信号处理所记录的信号以获取其中抑制声音信号的记录的经处理的信号。

方法500的操作可以按照任何合适的次序执行。例如,所记录的信号的获取510和噪声抑制数据的获取520可以顺序地或并行地执行。

将领会到,根据本发明的方法可以按照计算机程序的形式实现,所述计算机程序包括用于使处理器系统执行方法的指令。方法还可以实现在硬件中,或者实现为硬件和软件的组合。

计算机程序可以按照非暂时性方式存储在计算机可读介质上。所述非暂时性存储可以包括提供一系列机器可读物理标记和/或一系列元件,该元件具有不同电气(例如磁性)或光学性质或值。图7示出包括计算机可读介质600和存储在其上的计算机程序610的计算机程序产品。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。

应当指出的是,以上提到的实施例说明而非限制本发明,并且本领域技术人员将能够设计许多可替换的实施例。

在权利要求中,置于括号之间的任何参考标记不应当解释为限制权利要求。动词“包括”及其词性变化的使用不排除除了在权利要求中陈述的那些之外的元件或步骤的存在。元件之前的冠词“一”或“一个”不排除多个这样的元件的存在。本发明可以借助于包括若干分立元件的硬件和借助于经适当编程的计算机实现。在枚举若干部件的设备权利要求中,这些部件中的若干个可以由硬件的一个和相同物项体现。在相互不同的从属权利要求中叙述某些措施的仅有事实不指示这些措施的组合不能用于获益。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1