一种图像声阵列与三维空间噪声定位装置及方法与流程

本发明涉及图像与声源定位技术领域，特别涉及一种图像声阵列与三维空间噪声定位装置及方法。

背景技术：

随着电子工业及数据采集技术不断发展，大量自动化数据及图像、声光采集设备应运而生并且被投入实际运用中，例如人脸捕捉技术运用于社会治安及安保，光源及声源捕捉技术被用于自动化消防设备甚至军事领域，可见图像、声光自动化采集及捕捉设备可应用的领域非常广泛。

然而在已有的技术中，大多设备仅采用单一数据源(例如单一的图像信号、声源信号或光源信号)进行捕捉及处理，声阵列仅能实现在视频平面指出噪声源方向，并无法准确定位出噪声源具体位置，缺少综合数据采集通道进行数据源的定位能力。

技术实现要素：

为此，需要提供一种图像声阵列与三维空间噪声定位装置及方法，以解决现有技术中大多设备仅采用单一数据源进行捕捉及处理，缺少综合数据采集通道进行综合数据处理能力的问题。

为实现上述目的，发明人提供了一种图像声阵列与三维空间噪声定位装置，包括声阵列、图像采集器、三维定位声传感器、多通道数据采集器和处理器；

所述声阵列包括两个以上的声采集器，声阵列用于搜寻噪声源方向；

所述图像采集器设置于声阵列上，并朝向声阵列的声源搜寻方向；

所述三维定位声传感器用于定位源声源的三维空间位置；

所述多通道数据采集器与声阵列、图像采集器、三维定位声传感器和处理器电连接，用于采集声阵列、图像采集器、三维定位声传感器的数据并向处理器发送数据；

所述处理器用于接收多通道数据采集器的数据并进行数据分析。

进一步地，所述多通道数据采集器还包括4通道数据采集盒，三维定位声传感器通过4通道数据采集盒与处理器电连接。

进一步地，所述声阵列为扇形阵列。

进一步地，所述图像采集器选用红外摄像头。

进一步地，所述图像采集器设置于声阵列的中心。

区别于现有技术，上述技术方案具有如下优点：通过设置声阵列、图像采集器、三维定位声传感器三种采集器对数据源进行信号采集，并将三种信号收集进行综合判断及计算，实现在视频平面指出噪声源方向的同时，准确定位出噪声源具体位置，实现指向性噪声源定位。

为实现上述目的，发明人还提供了一种图像声阵列与三维空间噪声定位方法，包括如下步骤：采集数据；

所述数据包括声阵列数据、视频数据和三维定位声传感数据；

对声阵列数据、视频数据和三维定位声传感数据进行结合；

判断是否定位到声源，若能定位到声源，则对声源强度分布定位显示并对声源参数进行分析，若不能定位到声源，则重新采集数据。

进一步地，在采集声阵列数据步骤之后还包括信号预分析处理和波速成型算法处理步骤。

进一步地，在波速成型算法处理步骤之后还包括噪声源指向性定位及多声源识别和指向性声源与视觉融合步骤，指向性声源与视觉融合步骤采集视频数据、噪声源指向性定位和多声源识别信息。

进一步地，在采集视频数据步骤之后还包括视觉预处理步骤。

进一步地，在采集三维定位声传感数据之后还包括多路声特性关系分析、噪声源信号确定及三维模型构建和三维超定方程求解定位步骤。

区别于现有技术，上述技术方案具有如下优点：通过采集声音信号、图像信号、三维定位声传感信号，并将三种信号收集进行综合判断及计算，实现在视频平面指出噪声源方向的同时，准确定位出噪声源具体位置，实现指向性噪声源定位。

附图说明

图1为本发明实施例中图像声阵列与三维空间噪声定位装置的连接结构示意图；

图2为本发明实施例中图像声阵列与三维空间噪声定位方法的流程示意图；

图3为本发明实施例中基于波束成形beaforming算法估计噪声源位置的原理示意图。

附图标记说明：

101、声阵列；102、声采集器；

201、图像采集器；

301、三维定位声传感器；

401、多通道数据采集器；402、4通道数据采集盒；

501、处理器。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，本实施例公开了一种图像声阵列与三维空间噪声定位装置，包括声阵列101、图像采集器201、三维定位声传感器301、多通道数据采集器401和处理器501，声阵列101、图像采集器201和三维定位声传感器301与多通道数据采集器401电连接(在本实施例中，声阵列101、图像采集器201、三维定位声传感器301可采用网线、usb线等方式进行连接以实现数据传输)，声阵列101包括两个以上的声采集器102，声采集器102沿直线对称或中心对称设置，多通道数据采集器401与处理器电连接。

根据上述结构，在图像声阵列与三维空间噪声定位装置的工作过程中，声阵列的声采集器、图像采集器以及三维定位声传感器同时对信号源进行探测，声采集器采集信号源并判明信号源所处的平面方向，并采集声阵列数据。设置于声阵列上的图像采集器在声采集器所判明的信号源方向上采集视频数据。三维定位声传感器通过时间差列超定方程求解定位出源声源的三维空间位置，获得三维定位声传感数据。随后声阵列数据、视频数据和三维定位声传感数据均传递至多通道数据采集器，多通道数据采集器将声阵列数据、视频数据和三维定位声传感数据传递至处理器，并对数据进行处理，以计算并定位出信号源所处位置。

请参阅图1，在某些优选实施例中，多通道数据采集器401还包括4通道数据采集盒402，三维定位声传感器301通过4通道数据采集盒402与处理器501电连接。通过将多通道数据采集器401通过独立的4通道数据采集盒402进行三维定位声传感数据的传递，提高了三维定位声传感数据传递的稳定性。

请参阅图1，在某些优选实施例中，图像采集器201设置于声阵列101的中心。通过将图像采集器设置于声阵列的中心，使得声阵列在完成平面上指出噪声源方向时，图像采集器能对准噪声源方向的中心，以最大限度地捕捉该方向范围内的图像数据。

在上述实施例中，声阵列采用扇形阵列，声采集器沿单一中心均布于该中心的四周，通过设置扇形阵列，便于声阵列定位平面时中心对齐信号源。在其他的实施例中，声阵列也可采用沿单一直线设置的平面阵列，通过将声采集器沿单一直线布置，便于扩大检测面的长度方向，扩大检测面积。

在某些优选实施例中，图像采集器可采用红外摄像头，通过采用红外摄像头，便于在光线不足的区域或者寻找具备热源的信号源，提高图像声阵列与三维空间噪声定位装置的探测能力。

在上述实施例中，声阵列和图像采集器的探测方向可采用手动调整或者采用电机驱动的方式进行调整。

在上述实施例中，声阵列及视频采集器采用64路声阵列和1路视频头组成图像声阵列硬件装置，其中64路声阵列采用扇形阵列组成，每个一扇边上均匀布设7个声传感器，圆心处布置一个，达到圆形骤焦便于全方位声音接收，同时在圆心处布置一个视频探头，能够视频探测对象，声阵列、声传感器是视频采集器采用支架进行装配。

在上述实施例中，处理器可采用计算机、云计算平台等具备数据处理能力的电子设备。

在上述实施例中，声传感器及三维声传感器均为可根据需求拆装，针对不同对象响应频率范围进行更换。主要以北京声华sr10b声发射传感器为主，它响应1hz-15khz。当为不知道对象声范围时，可采用宽频sr800声发射传感器，它响应范围为50khz-800khz。三维定位声传感器可根据声传感器响应频率选择窄带响应频率声传感器，这样更于集中响应获得更好时间分辨率。

请参阅图2，本实施例公开了一种图像声阵列与三维空间噪声定位方法，包括如下步骤：

s101：采集数据；

s110：对采集的数据进行结合；

s111：判断是否定位到信号源；

s112：若能定位到信号源，则对声源强度分布定位显示并对声源参数进行分析，若不能定位到声源，则重新采集数据。

具体的图像声阵列与三维空间噪声定位方法可以为：

1)使用探测设备采集目标方向的声阵列数据、视频数据和三维定位声传感数据；

2)对采集的声阵列数据、视频数据和三维定位声传感数据进行结合；

3)依靠采集到的数据判断是否可以定位到信号源；

4)若能定位到信号源，则对信号源强度分布定位显示并对信号源参数进行分析，若不能定位到信号源，则重新采集数据。

通过采集声音信号、图像信号、三维定位声传感信号，并将三种信号收集进行综合判断及计算，实现在视频平面指出噪声源方向的同时，准确定位出噪声源具体位置，实现指向性噪声源定位。

请一并参阅图2以及图3，在上述实施例中，还包括信号预分析处理和波速成型算法处理，步骤如下：

s101：采集数据；

s102：声阵列数据信号预分析处理；

s103：声阵列数据波速成型算法处理；

s110：对采集的数据进行结合；

s111：判断是否定位到信号源；

s112：若能定位到信号源，则对声源强度分布定位显示并对声源参数进行分析，若不能定位到声源，则重新采集数据。

具体的图像声阵列与三维空间噪声定位方法可以为：

1)使用探测设备采集目标方向的声阵列数据、视频数据和三维定位声传感数据；

2)对声阵列数据做信号预分析处理，预分析处理具体包括跟系统随时噪声对比，过滤或抑制随机噪声，再增益放大声阵列数据，阵列声卷积处理等对比，增大同特征信号；

3)对声阵列数据进行beaforming算法的波速成型算法处理；

4)对采集的声阵列数据、视频数据和三维定位声传感数据进行结合；

5)依靠采集到的数据判断是否可以定位到信号源；

6)若能定位到信号源，则对信号源强度分布定位显示并对信号源参数进行分析，若不能定位到信号源，则重新采集数据。

通过对声阵列数据做信号预分析处理，并对对声阵列数据进行beaforming算法的波速成型算法处理，对声阵列数据进行进一步处理，使得处理器便于进行定位。

请参阅图2，在上述实施例中，还包括噪声源指向性定位及多声源识别和指向性声源与视觉融合，具体步骤如下：

s101：采集数据；

s102：声阵列数据信号预分析处理；

s103：声阵列数据波速成型算法处理；

s104：声阵列数据信号指向性定位及多声源识别；

s105：指向性声源与视觉融合；

s110：对采集的数据进行结合；

s111：判断是否定位到信号源；

s112：若能定位到信号源，则对声源强度分布定位显示并对声源参数进行分析，若不能定位到声源，则重新采集数据。

具体的图像声阵列与三维空间噪声定位方法可以为：

1)使用探测设备采集目标方向的声阵列数据、视频数据和三维定位声传感数据；

2)对声阵列数据做信号预分析处理，预分析处理具体包括跟系统随时噪声对比，过滤或抑制随机噪声，再增益放大声阵列数据，阵列声卷积处理等对比，增大同特征信号；

3)对声阵列数据进行beaforming算法的波速成型算法处理；

4)对声阵列数据进行指向性定位及多声源识别，具体包括：声阵列数据信号根据多通道信号波速成型算法处理后，按通道信号强弱及方向角，推理判定声源指向方位，实现全空域指向性声源定位；同时，因为是声阵列，存在不同的声传感器对不同声源响应差异，故声阵列经波速成型算法再经该功能处理可同时识别多声源定位；

5)对采集声阵列数据和视频数据进行指向性声源与视觉融合，定位位声源获得声源方向空域坐标，与图像采集器获得视觉图像进行合并处理，并在视觉图像的声源方向进行拟合声源强度变化图，揭示声源位置与强弱变化；

6)对采集的声阵列数据、视频数据和三维定位声传感数据进行结合；

7)依靠采集到的数据判断是否可以定位到信号源；

8)若能定位到信号源，则对信号源强度分布定位显示并对信号源参数进行分析，若不能定位到信号源，则重新采集数据。

通过对声阵列数据进行指向性定位及多声源识别并采集声阵列数据和视频数据进行结合，便于预先对声阵列及视频数据进行处理，以便于后期对三维定位声传感数据进行整合

请参阅图2，在上述实施例中，还包括视觉预处理步骤，具体步骤如下：

s101：采集数据；

s106：对视频数据做视觉预处理；

s110：对采集的数据进行结合；

s111：判断是否定位到信号源；

s112：若能定位到信号源，则对声源强度分布定位显示并对声源参数进行分析，若不能定位到声源，则重新采集数据。

具体的图像声阵列与三维空间噪声定位方法可以为：

1)使用探测设备采集目标方向的声阵列数据、视频数据和三维定位声传感数据；

2)对视频数据做视觉预处理，预分析处理具体包括跟系统随时噪声对比，过滤或抑制随机噪声，再增益放大声阵列数据，阵列声卷积处理等对比，增大同特征信号；

3)依靠采集到的数据判断是否可以定位到信号源；

4)若能定位到信号源，则对信号源强度分布定位显示并对信号源参数进行分析，若不能定位到信号源，则重新采集数据。

通过对视频数据做视觉预处理，使得视频数据得以被转化成可以进行转换及进一步结合的数字信号，便于视频数据的处理。

请参阅图2，在上述实施例中，还包括多路声特性关系分析、噪声源信号确定及三维模型构建和三维超定方程求解定位，具体步骤如下：

s101：采集数据；

s107：对多路声特性关系分析；

s108：对噪声源信号的确定及三维模型构建；

s109：三维超定方程求解定位；

s110：对采集的数据进行结合；

s111：判断是否定位到信号源；

s112：若能定位到信号源，则对声源强度分布定位显示并对声源参数进行分析，若不能定位到声源，则重新采集数据。

具体的图像声阵列与三维空间噪声定位方法可以为：

1)使用探测设备采集目标方向的声阵列数据、视频数据和三维定位声传感数据；

2)对噪声源信号进行多路声特性关系分析；

3)对噪声源信号的确定及三维模型构建；

4)依靠构建的三维模型，采用时间差列超定方程进行三维超定方程求解定位；

5)对采集的声阵列数据、视频数据和三维定位声传感数据进行结合；

6)依靠采集到的数据判断是否可以定位到信号源；

7)若能定位到信号源，则对信号源强度分布定位显示并对信号源参数进行分析，若不能定位到信号源，则重新采集数据。

通过对噪声源信号进行多路声特性关系分析、对噪声源信号的确定及三维模型构建并依靠构建的三维模型，采用时间差列超定方程进行三维超定方程求解定位，在判定信号源前提供三维定位声传感数据的确切三维数据，提高信号源的检测效率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。