在视频回放期间的动态音频空间感改变的制作方法
【专利说明】在视频回放期间的动态音频空间感改变
[0001]相关串请案的交叉参考
[0002]本申请案主张于2013年2月25日申请的第61/769，061号美国临时申请案的权益。上述申请案的标的物出于所有目的以引用方式并入本文中。
技术领域
[0003]本申请案一般来说涉及音频处理，且更具体来说涉及用于提供在音频及视频回放期间的动态音频改变的系统及方法。
【背景技术】
[0004]存在可操作以检测及记录音频及/或视频的许多音频及视频记录系统。在记录视频及/或音频时，音频记录系统可通过使用滤波器、压缩、噪声抑制等等来引入音频修改。音频记录系统可包含于便携式装置(例如笔记型计算机、平板计算机、平板手机、智能手机、个人数字助理、媒体播放器、移动电话、口袋式录像机等等)中。
[0005]通常错误配置音频记录系统，此导致所记录的音频未捕获所要声学场景或空间感。
【发明内容】
[0006]提供此
【发明内容】
从而以简化形式引入下文在【具体实施方式】中进一步描述的概念精选。此
【发明内容】
不打算识别所主张标的物的关键特征或本质特征，也不打算用作确定所主张标的物的范围的辅助。
[0007]根据本发明的实例性实施例，音频记录系统可包含一或多个音频传感器，例如麦克风。音频记录系统可操作以执行从所述一或多个传感器接收的声学信号的实时信号处理。所述实时信号处理可包含滤波、压缩、噪声抑制等等。在一些实施例中，所述音频记录系统可包含允许用户在处理并记录经信号处理的声学信号时收听经信号处理的声学信号(举例来说，最初声学信号的经信号处理版本)的监视频道。可在音频记录系统正进行记录时及/或在回放期间执行所述实时信号处理。
[0008]本发明的实施例允许存储由一或多个麦克风接收的原始或最初声学信号。在一些实施例中，存储经信号处理的声学信号。最初声学信号可固有地包含提示信号。此外，提示信号可在最初声学信号的信号处理期间(举例来说在记录期间)经确定，且与最初声学信号一起经存储。提示信号可包含以下各项中的一或多者:麦克风间能级差、能级显著、音高显著、信号类型分类、扬声器识别等等。在所记录的音频及任选地相关联视频的回放期间，最初声学信号及/或所记录的提示信号用于更改在回放期间提供的音频。
[0009]当记录最初声学信号及任选地经信号处理的声学信号时，不同音频模式(信号处理配置)可用于后处理最初声学信号且形成不同音频方向性及/或非方向性效应。收听且任选地观看记录的用户可在继续收听记录时探索由不同音频模式提供的各种选项。
[0010]一些实施例可允许用户在所记录的音频及/或视频的回放期间利用接口。所述用户接口可包含一或多个控制件(举例来说，按钮、图标等等)以用于在回放期间从用户接收控制命令。在回放期间，用户可播放、停止、暂停所记录的音频及视频、使其快进及后退。用户还可改变音频模式(举例来说)以在回放期间减少噪声、聚焦于一或多个声源等等。
[0011]在一些实施例中，所述音频记录系统可包含快于实时信号处理。所述音频记录系统可操作以根据由用户选择的最新音频模式处理(在后台)整个音频及视频。
【附图说明】
[0012]在附图的各图中通过实例而非限制的方式图解说明各实施例，其中相似参考符号指示类似元件，且其中:
[0013]图1是展示其中可实践在视频回放期间的动态音频空间感改变的实例性环境的框图。
[0014]图2是根据实例性实施例可实施用于在视频回放期间的动态音频空间感改变的方法的音频记录系统的框图。
[0015]图3是在视频回放期间的图形用户接口的实例性屏幕。
[0016]图4图解说明根据一些实施例的音频处理模式细节的图表。
[0017]图5是根据实例性实施例图解说明用于在视频回放期间的动态音频空间感改变的方法的流程图。
[0018]图6是根据实例性实施例实施用于在视频回放期间的动态音频空间感改变的方法的计算系统的实例。
【具体实施方式】
[0019]本发明提供用于在视频回放期间的动态音频空间感改变的实例性系统及方法。可在可配置以进行以下操作的任何移动装置上实践本发明的实施例:播放视频及/或产生与所述视频相关联的音频；在记录所述视频时记录声学声音；及存储并处理所述声学声音及所述视频。虽然参考移动装置(如移动电话、摄像机、平板计算机)的操作描述本发明的一些实施例，但可借助具有用于播放及记录视频及声音的音频及视频装置的任何计算机系统实践本发明。
[0020]根据本发明的实例性实施例，一种用于在视频回放期间的动态音频空间感改变的方法包含:经由扬声器播放音频信号；且在播放所述音频信号时接收选自多个处理模式的处理模式及基于所述处理模式实时修改所述音频信号。所述音频信号可为先前记录的未被任何预先处理修改的原始声学音频信号。所述方法可进一步包含:在播放所述音频信号时根据所述处理模式在后台进程中再处理所述整个音频信号，及将所述经再处理音频信号存储于存储器中。
[0021]现在参考图1，展示其中可实践用于在视频回放期间的动态音频空间感改变的方法的环境100。在实例性环境100中，音频记录系统110至少可操作以记录声学音频信号，处理所述经记录音频信号，且回放所述经记录音频信号。在一些实施例中，音频记录系统110可记录与所述音频信号相关联的视频。实例性音频记录系统110可包含移动电话、摄像机、平板计算机等等。
[0022]由音频记录系统110记录的声学音频信号可包含以下分量中的一或多者:声学声音的近源(“叙述者(例如，操作音频记录系统I1的人120的语音)；及在图1中的实例中在与人120相反的方向上的远源(例如，位于音频记录系统110前面的人130)，人130与音频记录系统110之间的距离大于人120与音频记录系统110之间的距离。人130可经捕获于视频上。来自所述近源及所述远源的声音可受噪声150污染。噪声150的源可为其他人的语音、动物、汽车、风等等的声音。
[0023]图2是实例性音频记录系统110的框图。在所图解说明的实施例中，音频记录系统110可包含处理器210、主要麦克风220、一或多个次要麦克风230、摄像机240、存储器存储装置250、音频处理系统260、扬声器270及图形显示器系统280。音频记录系统110可包含音频记录系统110操作所必需的额外或其它组件。类似地，音频记录系统110可包含执行类似于或等效于图2中所描绘的那些组件的功能的较少或额外组件。
[0024]处理器210可包含可操作以执行存储于存储器存储装置250中的计算机程序的硬件及/或软件。处理器210可使用浮点运算、复数运算及其它运算，包含在视频回放期间的动态音频空间感改变。
[0025]摄像机240可操作以捕获环境的静止或移动图像，从所述环境捕获声学信号。摄像机240产生与环境相关联的视频信号，所述环境包含一或多个声源(举例来说近谈话者、远谈话者)及任选地一或多个噪声源(举例来说，其他谈话者及操作中的机器)。所述视频信号经发射到处理器210以用于存储于存储器存储装置250中且用于进一步后处理。
[0026]音频处理系统260经配置以经由主要麦克风220及可选次要麦克风230从声学源接收声学信号且处理声学信号分量。麦克风220及230可间隔开一距离以使得从特定方向撞击于装置上的声波在两个或两个以上麦克风处展现不同能级。在由麦克风220及230接收之后，可将声学信号转换成电信号。根据一些实施例，这些电信号又可由模/数转换器(未展示)转换成数字信号以用于处理。
[0027]在其中麦克风220及230为紧密间隔(例如，隔开Icm到2cm)的全向性麦克风的各种实施例中，可使用波束形成技术来模拟前向及后向方向性麦克风响应。可使用所模拟的前向及后向方向性麦克风来获得能级差。可使用所述能级差在(举例来说)时间-频率域中鉴别语音及噪声，此可用于噪声及/或回声减小中。在其它实施例中，除麦克风220及230之外，音频