一种声像联合定位的远距离语音采集装置的制造方法
【专利摘要】本实用新型涉及一种声像联合定位的远距离语音采集装置，其针对远距离、噪声背景下语音采集的难点，结合视频摄像头、麦克风阵列进行声像联合确定目标说话人，从而解决单纯使用摄像头、高指向性麦克风或麦克风阵列存在的目标说话人确定困难、需机械转动装置等问题，本实用新型提出结合监控摄像头、麦克风阵列波束成形技术的一种语音采集装置进行声像联合确定目标说话人定位，从而改善环境噪声条件下室外远距离语音增强采集的性能。
【专利说明】
-种声像联合定位的远距离语音采集装置
技术领域
[0001] 本实用新型设及一种语音采集装置，尤其是设及一种声像联合定位的远距离语音 采集装置。
【背景技术】
[0002] 在安保、安防等领域，各类视频监控系统已经得到广泛应用。依托各类视频监控系 统，可W对远距离视频中相关人员进行确认、甄别。在利用视频监控系统进行远距离嫌疑人 确认、甄别时如能通过远距离语音采集利用语言、对话信息，将可大大影响了工作效率。但 在实际环境背景噪声条件下进行远距离语音采集仍具有极高难度。
[0003] 由于环境噪声的存在，远距离语音采集时必须利用采集装置的高指向性来保证采 集的远距离语音质量。目前的远距离语音采集装置主要采用干设管结构的枪式麦克风形成 高指向性。
[0004] 如中国专利化2010101269089公开一种拾音装置，其包括:容置体、第一压电元 件、第二压电元件及电路单元，该容置体具有拾音口，该第压电元件设置于容置体内，W感 测高频声波的振动而转换输出信号，该第二压电元件设置于容置体内，W感测低频声波的 振动而转换输出信号，该电路单元电连接于第一压电元件及第二压电元件，W接收第一压 电元件及第二压电元件的信号，并进行处理产生声音信号；因此，具有较好的感测灵敏度及 较宽广的音频，可提升音质。
[0005] 中国专利化2010591158.2公开了一种视频定位的长距离拾音装置，通过在W摄像 机为中屯、的圆周安装2个内置指向麦克风的声聚焦结构桶体形成高指向性，结合桶体侧壁 外安装2个拾取环境噪声的全向麦克风获取参考噪声，声聚焦结构桶体随摄像头转动，操作 人员根据视频图像内容进行视频定位后该装置只获取与摄像头同方向的语音信号，并利用 数字信号处理器进行自适应降噪处理。
[0006] 但由于上述形成高指向性的远距离语音采集装置均只能在装置正前方形成固定 的高指向性波束，在实际使用中需通过装置的转动来对准运动的远距离说话人目标，增加 了额外的机械随动控制成本;同时，考虑到视频监控对远距离目标具有较大视场，从远距离 视频图像中随可通过对焦看到人像，但往往无法直接鉴别、发现说话动作，导致视频摄像头 和远距离拾音装置进行机械移动对准目标说话人时存在不易同步的问题，也将造成监控 系统设计使用上的不方便。
[0007] 麦克风阵列由多个麦克风按照一定拓扑结构组成，可通过波束成形算法对不同方 向上的信号形成不同响应，也即阵列的空间指向特性，使阵列麦克风具有声源定位和跟踪、 语音提取和分离W及去噪等功能，从而提高在复杂背景下的语音信号质量，弥补孤立麦克 风无法获取和利用空间信息的缺陷，并可避免采用机械转动装置来对准目标说话人。
[000引中国专利化2013102011025公开一种远距离语音识别中的模型域补偿新方法，该 方法针对麦克风阵列在室内远距离语音采集和识别中的困难提出模拟室内的混响声学环 境，并通过输入的室内空间尺寸生成不同位置的房间冲击响应序列，从而在模型域进行室 内远距离语音的补偿提高采集和识别处理性能。
[0009] 但对于安保、安防等领域的室外场景远距离语音采集场合，所需进行语音采集的 说话人对象距离远大于室内应用场景，且存在严重的环境噪声。此时，单纯依靠麦克风阵列 算法很难获得说话人方向从而进行语音增强和采集。
【发明内容】
[0010] 针对远距离、噪声背景下语音采集的难点，结合视频摄像头、麦克风阵列进行声像 联合确定目标说话人，从而解决单纯使用摄像头、高指向性麦克风或麦克风阵列存在的目 标说话人确定困难、需机械转动装置等问题，本实用新型提出结合监控摄像头、麦克风阵列 波束成形技术的一种语音采集装置进行声像联合确定目标说话人定位，从而改善环境噪声 条件下室外远距离语音增强采集的性能。
[0011] -种声像联合定位的远距离语音采集装置，包括W下模块，
[0012] 监控摄像头:用于采集远距离视频图像；
[0013] 麦克风阵列：用于语音信号多通道采集、前置处理和模数转换；
[0014] 波束扫描模块，其输入端连接麦克风阵列输出端：用于进行波束扫描，获取远距离 语音和噪声的方向分布信息；
[0015] 声像联合处理模块，其输入端分别连接监控摄像头与波束扫描模块的输出端：用 于将监控摄像头传输的图像信息、波束扫描模块获取的语音和噪声方向信息经坐标转换后 送入设有的声像联合监控显示屏进行声像联合定位显示；
[0016] 声像联合监控显示屏，其输入端连接声像联合处理模块输出端：用于接收声像联 合成像处理模块送来的声像联合信息并进行屏幕显示。
[0017] 目标选定模块：用于监控操作人员根据声像联合监控显示屏上的图像、声音联合 信息选定目标说话人。
[0018] 波束对准模块，其输入端分别连接目标选定模块与麦克风阵列的输出端:根据目 标选定模块选定的目标说话人对于方向进行麦克风阵列波束对准。
[0019] 语音采集模块，其输入端连接波束对准模块的输出端:对波束对准模块的语音信 息进行采集。
[0020] 所述麦克风阵列包括增强模块，所述麦克风阵列各通道语音信号输出端经增强模 块分别连接波束扫描模块与波束对准模块，所述增强模块用于增强麦克风阵列的语音信 息。
[0021 ]所述增强模块包括前置放大电路与模数转换器。
[0022] 所述麦克风阵列包括反射罩:用于安装在麦克风上进行语音信号聚焦；
[0023] 所述目标选定模块设有鼠标输入端，操作人员通过观察声像联合监控显示屏通过 鼠标输入端选定目标说话人，目标选定模块经坐标转换后输出目标说话人的方向信息至波 束对准模块。
[0024] 使用所述声像联合定位的远距离语音采集装置的步骤如下：
[0025] -个初始化步骤:各模块参数初始化设置；
[00%] -个视频采集步骤:监控摄像头采集远距离视频图像；
[0027] -个波束扫描步骤:麦克风阵列对远距离语音和信号进行方向扫描，获取方向分 布信息；
[0028] -个声像联合处理步骤:将波束扫描结果进行坐标转换后合并加入视频图像，形 成声像联合视频图像。
[0029] 一个声像联合显示步骤:声像联合显示屏将声像联合处理结果进行显示；
[0030] -个目标选定步骤:操作人员在声像联合显示屏上结合图像、声音信息利用鼠标 选定目标说话人，并通过坐标转换输出目标说话的方向信息；
[0031] -个波束对准步骤:将选定的目标说话人方向输入麦克风阵列进行波束对准；
[0032] -个语音采集步骤:对麦克风阵列波束对准信号进行采集。
【附图说明】
[0033] 图1为本实用新型实施例的结构组成框图；
[0034] 图2为本实用新型实施例的麦克风反射罩示意图（本实施例中d0 = 40cm);
[0035] 图3为本实用新型实施例的5元麦克风阵列及其与微处理器连接电路图；
[0036] 图4为本实用新型实施例的波束扫描原理示意图；
【具体实施方式】
[0037] 为了使本实用新型的技术内容、特征、优点更加明显易懂，W下实施例将结合附图 对本实用新型作进一步的说明。
[0038] 所述声像联合定位的阵列式远距离语音采集装置实施例中麦克风阵列由5个等间 距排列的麦克风(m0，ml，一,1114)组成麦克风线列阵，阵列中各麦克风安装有图2所示反射 罩，反射罩的反射面与中轴线成45度，反射罩材料为不诱钢W适应本实用新型装置的室外 安装使用，本实施例中为了聚焦远距离语音，设置发射罩直径do = 40cm。麦克风阵列获得的 语音信号利用波束扫描算法进行波束扫描获取远距离语音和噪声的方向分布信息。
[0039] 麦克风阵列由麦克风及硬件电路组成，其中麦克风阵列由体积小、结构简单、电声 性能好的全向麦克风111〇，-，，1114，咐12100运算放大器忍片构成的前置放大电路及14乂118模 数转换忍片构成（如图3所示），在本实施例中，为了采集远距离语音，设置麦克风间距d = 40cm〇
[0040] 波束扫描模块、声像联合处理模块、波束对准与增强模块、目标选定模块等组成模 块均属于数字信号处理模块，在本实施例中采用ARM9 S3C2440微处理器进行软件编程实 现。
[0041] 麦克风阵列与微处理器的连接方式为:麦克风阵列中5个麦克风输出信号经过图2 所示运算放大器构成的2级前置放大电路放大后输入多通道模数转换忍片MAX118，S3C2440 微处理器通过10 口 GPB2，3，4控制MAXI 18的输入通道端A1、A2、A3，通过定时器输出脚το?το、 TOUT 1控制MAX 118的读出/写入端口 WR、RD进行采样频率16kspS的模数转换，通过数据线 DATA0至DATA7进行8bit模数转换结果到S3C2440微处理器的传送。
[0042] 所述声像联合定位的阵列式远距离语音采集装置实施例中多通道语音信号模数 转换进入微处理器后，W软件编程形式运行的各数字信号处理模块间的数据、控制流连接 方式如图3所示，具体说明如下：
[0043] 波束扫描模块通过对麦克风阵列各通道信号时延进行逐次时延调整后叠加 W获 得不同的波束对应的波束成形信号。波束扫描原理结合图3具体说明如下:在本实用新型实 施例中，W5元麦克风线阵所在水平线为X轴，W5元麦克风线阵中间的麦克风m2位置为坐标 原点建立定位坐标系，线阵各阵元间距为cLW本实施例线阵的中屯、阵元麦克风m2作为基准 进行波束扫描：即，m2接收的语音信号不作时延补偿，线阵中其余通道麦克风接收的语音信 号XI进行如下时延补偿计算后得到x'i(如图4所示）：
[0047]其中i为线阵中各通道的编号；取波束扫描间隔为1.25度，则对麦克风线阵前方 180度范围进行扫描需扫描144次，左右各扫描72次，即j=0，±l，±2, ±3，. . .±72代表波 束扫描序号；为每次时延调整后形成的扫描波束，C为空气中的声速(本实施例中取340m/ s)，fs为麦克风阵列语音信号的采样频率(单位为化，在本实施例中取16000Hz)，round〇代 表取整运算。则逐次时延补偿后对各通道语音信号x'l进行叠加即可实现正、负90度范围 (本实施例中对麦克风线阵前方180度范围进行波束扫描）的波束扫描，在计算窗长L内（本 实施例中L = 800)对接收的含噪语音进行波束扫描可获得包含远距离语音声源、噪声源方 向的正、负90度范围波束信息E( Θj)，j = 0，± 1，± 2，± 3，. . . ± 7。
[004引
[0049] 监控摄像头视频采集：由于监控摄像头视频采集为本领域通用技术，本实用新型 实施例中不对运部分展开具体描述，本实施例采用本领域通用的带有0V9650忍片的CMOS摄 像头进行远距离视频采集，摄像头采集的视频图像通过本领域通用的USB接口输入S3C2440 微处理器进行声像联合处理。
[0050] 声像联合处理:声像联合处理步骤对分别由麦克风阵列和摄像头获取的波束扫描 结果和视频图像进行声学联合处理，在S3C2440微处理器中将波束扫描获得的波束信息根 据摄像头视场进行坐标变换。本实施例中0V9650摄像头为定焦摄像头(视频图像格式设置 为640 X 320，帖率15fPS)。本实施例采用0V9650摄像头监控的距离60米远的固定场所，W摄 像头中轴线为中屯、，测量得到0V9650摄像头视场中60米距离处作为监控目标的固定场所对 应的水平角度为±45度。则进行如下坐标转换将波束扫描结果转换为声像联合处理中摄像 头视场范围内对应的波束数据：
[0化1 ]
[0化2] 具体地，通过声像联合处理后显示屏W红色高亮曲线在640X320视频图像显示的 最下角显示坐标转换后图像信息中对应角度的声能量波束情况，监控操作人员可W方便地 根据图像和声能量波束的联合处理显示选定需要采集的是说话人的语音。经过声像处理坐 标变换后，将获得的摄像头视场范围内对应的波束数据利用本领域通用的内插算法计算得 到320点波束曲线，并叠加在摄像头获取图像数据中将320点波束曲线W红色高亮曲线表 /J、- 〇
[0053] 声像联合显示:将声像处理后的摄像头叠加波束曲线数据送入本领域通用的监控 显示屏中，则可保证本实施例中0V9650摄像头视场内60米距离处场所对应的±45度水平范 围内噪声、信号能量分布情况直观地W红色高亮曲线的方式叠加显示在640X320显示屏 上。
[0054] 目标选定:操作人员通过直接观察640X320监控图像，可W同时看到监控图像中 60米距离处人员图像W及对应视场内的语音、噪声能量波束，特别在视场内有多人，多车辆 或其他噪声源时，操作人员可W方便地根据视频图像和声音波束曲线联合确定目标说话 人，并利用鼠标进行目标说话人的确定。鼠标确定目标说话人后，利用本领域通用技术，可 W将屏幕上鼠标确定点的水平坐标位置Z转换为对应的目标角度θι。转换具体原理为：
[0化5]
[0056] 波束对准与增强:在本实施例中，通过声像联合定位确定远距离目标说话人方向 后，将麦克风阵列各通道信号按照目标角度θ*计算相应的各通道时延值进行补齐，对补齐 后的各通道信号加权叠加，得到对准目标说话人的波束形成输出信号，从而获取远距离增 强语音；
[0057] 语音采集:利用本领域通用技术对波束对准和增强后的远距离语音进行采集，并 保持在设定的存储介质中。
[005引 W上所述仅为本实用新型的优选实施例，并不用于限制本实用新型。本实用新型 公开的声像联合定位的阵列式远距离语音采集装置最大的特点在于结合反射罩麦克风阵 列提供的噪声语音方向信息与监控摄像头提供的目标视频图像联合定位获取远距离目标 说话人，克服了传统方法在远距离、存在环境噪声条件下不易确定目标说话人的缺点，特别 是通过声像联合定位确定目标说话人方向后，结合反射罩和麦克风阵列语音增强算法可进 一步抑制环境噪声的影响，改善远距离语音采集性能。
【主权项】
1. 一种声像联合定位的远距离语音采集装置，其特征在于:包括以下模块， 监控摄像头:用于采集远距离视频图像； 麦克风阵列：用于语音信号多通道采集、前置处理和模数转换； 波束扫描模块，其输入端连接麦克风阵列输出端：用于进行波束扫描，获取远距离语音 和噪声的方向分布信息； 声像联合处理模块，其输入端分别连接监控摄像头与波束扫描模块的输出端：用于将 监控摄像头传输的图像信息、波束扫描模块获取的语音和噪声方向信息经坐标转换后送入 设有的声像联合监控显示屏进行声像联合定位显示； 声像联合监控显示屏，其输入端连接声像联合处理模块输出端：用于接收声像联合成 像处理模块送来的声像联合信息并进行屏幕显示； 目标选定模块：用于监控操作人员根据声像联合监控显示屏上的图像、声音联合信息 选定目标说话人； 波束对准模块，其输入端分别连接目标选定模块与麦克风阵列的输出端:根据目标选 定模块选定的目标说话人对于方向进行麦克风阵列波束对准； 语音采集模块，其输入端连接波束对准模块的输出端:对波束对准模块的语音信息进 行米集。2. 根据权利要求1所述的一种声像联合定位的远距离语音采集装置，其特征在于:所述 麦克风阵列包括增强模块，所述麦克风阵列各通道语音信号输出端经增强模块分别连接波 束扫描模块与波束对准模块，所述增强模块用于增强麦克风阵列的语音信息。3. 根据权利要求2所述的一种声像联合定位的远距离语音采集装置，其特征在于:所述 增强模块包括前置放大电路与模数转换器。4. 根据权利要求1所述的一种声像联合定位的远距离语音采集装置，其特征在于:所述 麦克风阵列包括反射罩:用于安装在麦克风上进行语音信号聚焦。5. 根据权利要求1所述的一种声像联合定位的远距离语音采集装置，其特征在于:所述 目标选定模块设有鼠标输入端，用于选定目标说话人，目标选定模块经坐标转换后输出目 标说话人的方向信息至波束对准模块。
【文档编号】G10L21/0216GK205621437SQ201521081351
【公开日】2016年10月5日
【申请日】2015年12月16日
【发明人】徐伟明, 朱云海, 励明才
【申请人】宁波桑德纳电子科技有限公司