一种声学与图像信号混合终端及其处理方法与流程

本发明属于声源分析技术领域，尤其是涉及一种声学与图像信号混合终端及其处理方法。

背景技术：

近年来，网络科技越来越发达，网络科技应用在商业洽谈、公共场所监控、网络互动平台等多个领域。目前，在声音与图像综合采集技术中，在同一空间内，通过声学传感器阵列采集空间中的声音信号，当声源距离声学传感器阵列较远时，对声源采集的声音信号清晰度低，直接影响后期对有效声音的获取与分析，当声源周围环境变化较大时，不能随着环境的变化而进行调整，导致无法准确获取清晰无误的有效声音信号。另外，现有的声学传感器阵列是由不同的时钟源分别将信号发送至不同的传感器中，造成信号采集的同步性差，从而影响声学传感器阵列采集的精度。

技术实现要素：

本发明的目的是提供一种结构简单、声学传感器的信号同步性高、对声源高效定位的声学与图像信号混合终端。

本发明的技术方案如下：

一种声学与图像信号混合终端，包括：

声学传感器阵列，用于感应采集声源的声音信号；

数字声信号处理模块，用于接收所述声音信号进行处理并转换为数字信号；

图像传感器，位于所述声学传感器阵列的中心，用于拍摄所述声源的光学图像；

主控单元，用于接收所述数字信号和光学图像，并根据所述数字信号和光学图像处理得到声学数据帧和图像数据帧；

所述声学传感器阵列上设有8个支路，且在每个所述支路上设有8个声学传感器单元，且该8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个所述主通道传感器与其相对应的附属通道传感器电连接，所述声学传感器单元在曲面或平面上均匀分布；

其中，所述主控单元中包括：

晶体振荡器，用于发出位时钟信号和字节时钟信号；

位时钟锁相环，用于将所述位时钟信号发送至位时钟分配单元中；

字节锁相环，用于将所述字节时钟信号发送至字节时钟分配单元中；

位时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的位时钟信号；

字节时钟分配单元，用于接收所述位时钟信号并分配出与转换器相对应的输出的字节时钟信号；

转换器，用于接收所述输出的位时钟信号及字节时钟信号并将两个输出信号转换输出至所述主通道传感器中。

在上述技术方案中，所述声学与图像信号混合终端还包括用于对所述主控单元供电的供电单元。

在上述技术方案中，所述供电单元包括：

电压转换模块，用于将交流电转换为直流电并供电给所述主控单元；

备用电源模块，用于在断电情况下供电给所述主控单元；

控制开关，用于控制所述主控单元的开闭。

在上述技术方案中，每个所述主通道传感器对应电连接一个所述转换器，且所述转换器的数量为32个。

在上述技术方案中，所述位时钟分配单元中包括8个位时钟分配器，所述位时钟分配器采用一分四时钟分配器。

在上述技术方案中，所述字节时钟分配单元中包括8个字节时钟分配器，所述字节时钟分配器采用一分四时钟分配器。

在上述技术方案中，所述主控单元采用fpga芯片。

在上述技术方案中，所述图像传感器采用面阵型可见光图像传感器。

在上述技术方案中，所述声学传感器单元在曲面或平面上呈螺旋渐开型圆阵分布。

本发明的另一个目的是提供一种基于声学与图像信号混合终端的处理方法，包括以下步骤：

(1)启动声学与图像信号混合终端，主控单元中的晶体振荡器分别通过位时钟锁相环及字节时钟锁相环转换发出位时钟信号及字节时钟信号，并将位时钟信号及字节时钟信号发送至位时钟分配单元及字节时钟分配单元中；

(2)位时钟分配单元及字节时钟分配单元分别通过8个位时钟分配器与8个字节时钟分配器将位时钟信号及字节时钟信号分配出32个位时钟输出信号及32个字节时钟输出信号，并将所述32个位时钟输出信号及32个字节时钟输出信号发送至与其逐一对应的32个转换器中；

(3)32个转换器在接收到32个位时钟输出信号及32个字节时钟输出信号后，将其转换为32个输出信号，并将32个输出信号发送至与其逐一对应的32个主通道传感器中，通过每个主通道传感器将信号传送至对应的附属通道传感器中，从而完成声学传感器单元的位时钟信号及字节时钟信号的同步；

(4)时钟信号激励后的声学传感器阵列开始工作，采集声源的声音信号，将所述声音信号发送至数字声信号处理模块中，数字声信号处理模块进行滤波和数字信号转换，对该声音信号进行处理转换为数字信号，；

(5)所述数字声学信号处理模块将处理后的数字信号发送至主控单元，主控单元采用时分复用与空分复用技术，截取声学传感器单元中采集到的声音信号中的20位数据，在声源最弱时截取20位数据中的0-15位，声源稍强时截取20位数据中的1-16位，以此类推，根据声源的实际情况，声学传感器单元的每一路输出信号都会被截取得到16位有效数据；

(6)图像传感器中的摄像头拍摄声源所处的光学图像，将所述光学图像发送至主控单元；

(7)所述主控单元接收所述数字信号与光学图像，并根据所述数字信号与光学图像处理成声学数据帧和图像数据帧。

本发明具有的优点和积极效果是：

1.主控单元发出时钟源信号，经过多层分级向声学传感器阵列上的声学传感器单元传递来自同一时钟源的时钟信号，有效保证声学传感器单元的时钟信号同步，降低时钟信号的同步误差，提高声学传感器的数据采样的可靠性。

2.主控单元进行声学数据组帧时采用时分复用及空分复用技术，对主通道传感器与附属通道传感器输出的信号进行处理，截取有效数据进行组帧，提高数据的整体性，保证数据传输的统一性。

3.备用电源模块能够在断电或其他意外情况发生时能够继续为声学与图像信号混合终端继续供电，支持声学与图像信号混合终端继续工作。

附图说明

图1是本发明的声学与图像信号混合终端的结构示意图；

图2是本发明中声学传感器阵列的时钟同步网络示意图；

图3是本发明中供电单元的结构示意图。

具体实施方式

以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明，决不限制本发明的保护范围。

实施例1

如图所示，本发明的声学与图像信号混合终端，包括：

声学传感器阵列，用于感应采集声源的声音信号；

数字声信号处理模块，用于接收声音信号进行处理并转换为数字信号；

图像传感器，位于声学传感器阵列的中心，用于拍摄声源的光学图像；

主控单元，用于接收数字信号和光学图像，并根据数字信号和光学图像处理得到声学数据帧和图像数据帧；

声学传感器阵列上设有8个支路，且在每个支路上设有8个声学传感器单元，且该8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个主通道传感器与其相对应的附属通道传感器电连接，声学传感器单元在曲面或平面上呈螺旋渐开型圆阵分布；

其中，主控单元(fpga芯片)中包括：

晶体振荡器，用于发出位时钟信号和字节时钟信号；

位时钟锁相环，用于将位时钟信号发送至位时钟分配单元中；

字节锁相环，用于将字节时钟信号发送至字节时钟分配单元中；

位时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的输出的位时钟信号；

字节时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的输出的字节时钟信号；

转换器，用于接收输出的位时钟信号及字节时钟信号并将两个输出信号转换输出至主通道传感器中。

进一步地说，每个主通道传感器对应电连接一个转换器，且转换器的数量为32个，位时钟分配单元中包括8个位时钟分配器，位时钟分配器采用一分四时钟分配器，字节时钟分配单元中包括8个字节时钟分配器，字节时钟分配器采用一分四时钟分配器。

进一步地说，声学与图像信号混合终端还包括用于对主控单元供电的供电单元。

进一步地说，如图2所示，主控单元向声学传感器阵列发送基于同一时钟源的位时钟信号及字节时钟信号，并分别通过位时钟分配单元及字节时钟单元中的8个位时钟分配器(一分四时钟分配器)与8个字节时钟分配器(一分四时钟分配器)将位时钟信号及字节时钟信号分配成32个输出的位时钟信号及32个输出的字节时钟信号，上述共计64个输出的时钟信号对应进入32个转换器，转换器采用二分一的转换器，将2路输入信号合成1路信号，64个输入信号进入转换器后转化为32路输出信号并发送至与每个转换器相对应的主通道传感器中，声学传感器阵列上的32个主通道传感器接收到32路输出信号后，将32路时钟输出信号分配给对应着的32个附属通道传感器，由此完成声学传感器阵列上的64个传感器的信号同步，由同一个时钟源发出的信号达到了声学传感器阵列上所有声学传感器的信号同步，在时钟信号激励完成后，触发声学传感器阵列感知声源并采集声源的声音信号。

进一步地说，声学数据的采样频率为48khz，主通道传感器与附属通道传感器通过同一条线以20位为一组传送到主控单元中，且主通道传感器与附属通道传感器传送过去的数据是同等级；声学传感器采集到的数据是以主通道传感器和附属通道传感器分别在激励时钟的高电平和低电平阶段输出数据，且该输出信号与激励时钟是同步的，并通过32个对应设置的数字声信号处理模块将输出信号转化为数字信号并发送到主控单元中。主控单元中采用时分复用与空分复用技术，在声源最弱时，截取20位声学数据中的0-15位，声源稍强时截取20位数据中的1-16位，以此类推，根据声源的实际情况，每一路输出信号都会被截取得到16位有效数据，即2byte，64路输出信号便截取得到128byte的数据；这些数据会以补码的形式保存至缓冲域中进行时钟域的转换，并以8次采样得到的有效数据为单位进行数据组帧，得到1024byte数据为一组进行声学数据组帧，之后在该声学数据组帧前添加帧头，从而得到一个完整的声学数据帧。

主控单元在接收处理过的数字信号和图像传感器采集的光学图像后，声学传感器阵列发送的64路信号能够截取获得128byte数据，这些数据会以补码的形式保存至缓冲域中进行时钟域的转换，并以8次采样得到的有效数据为单位进行数据组帧，即以1024byte数据为一组进行组帧，主控单元采用时间与空间二维组帧方式进行声学数据组帧；图像传感器发送到的光学图像数据以1024byte为单位发送到主控单元，无需进行组合处理，即可获得图像数据帧。

在使用声学与图像信号混合终端时，具体包括以下步骤：

(1)启动声学与图像信号混合终端，主控单元中的晶体振荡器同时发出位时钟信号及字节时钟信号，位时钟锁相环及字节时钟锁相环分别将位时钟信号及字节时钟信号发送至位时钟分配单元及字节时钟分配单元中；

(2)位时钟分配单元及字节时钟分配单元分别通过位时钟分配器与字节时钟分配器将位时钟信号及字节时钟信号分配出32个输出的位时钟信号及32个输出的字节时钟信号，并将32个输出的位时钟信号及32个输出的字节时钟信号发送至与其相对应的32个转换器中；

(3)32个转换器在接收到共计64个的输出信号后，将其转换为32个输出信号，并将32个输出信号发送至与其相对应的32个主通道传感器中，通过每个主通道传感器将信号传送至对应的附属通道传感器中，从而完成声学传感器单元的位时钟信号及字节时钟信号的同步；

(4)时钟信号激励后的声学传感器阵列开始工作，采集声源的声音信号，将声音信号发送至数字声信号处理模块中，对该声音信号进行处理转换为数字信号，截取声学传感器单元中采集到的声音信号中的20位声学数据；

(5)数字声学信号处理模块将处理后的数字信号发送至主控单元，主控单元采用时分复用与空分复用技术，在声源最弱时，截取20位声学数据中的0-15位，声源稍强时截取20位数据中的1-16位，根据声源的实际情况，每一路输出信号都会被截取得到16位有效数据；

(6)图像传感器中的摄像头拍摄声源所处的光学图像，将光学图像发送至主控单元；

(7)主控单元接收数字信号与光学图像，并根据数字信号与光学图像处理成声学数据帧和图像数据帧。

主控单元为同一个时钟源发出时钟信号，激励声学传感器阵列上的所有声学传感器进行时钟信号同步，不需要多个时钟源发出信号以激励声学传感器阵列上的不同声学传感器，降低信号不同步的现象，考虑到声波传输信道的空间分布特性，为了保证后续波束形成等算法处理的收敛性，激励时钟同步误差比采样频率低一百倍，在48khz采样频率下，激励时钟同步误差低于200ns，保证了声源数据采样的高同步性和高可靠性。

实施例2

在实施例1的基础上，图像传感器放置在声学传感器阵列的中心，可见光图像传感器的像素达到500w，实现自动对焦、自动曝光控制及自动白平衡，图像传感器会接收到主控单元发出的激励时钟，主控单元会为图像传感器配置工作模式，在激励时钟的作用下，图像传感器开始图像采集，其采样频率设置为30帧/秒，在该频率下刷新图像显示能够消除闪烁效应。

为与声学数据相配合，调节图像传感器采集的图像数据帧长度与声学数据帧相同，即为每行长度为1024byte，使其对外传输的数据统一性高。

实施例3

如图3所示，供电单元包括电压转换模块，用于将交流电转换为直流电并供电给主控单元；

备用电源模块，用于在断电情况下供电给主控单元；

控制开关，用于控制主控单元的开闭。

其中，备用电源模块中包括可充电的锂电池。

在声学与图像信号混合终端遇到断电或意外情况下，通过备用电源模块对主控单元供电，不会间断或停止声学与图像信号混合终端的正常使用。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的等同变化与改进等，均应仍归属于本发明的专利涵盖范围之内。