声音处理系统以及声音处理方法

声音处理系统以及声音处理方法
【技术领域】
[0001] 本发明设及重放被记录的影像数据W及声音数据的声音处理系统W及声音处理 方法。
【背景技术】
[0002] W往，在工厂、商店（例如小卖部、银行）或者公共场所（例如图书馆）中设置的 监视系统中，通过使用网络连接多个监视摄像机（例如云台摄像机、全方位摄像机），来实 现监视对象的周围的影像数据（包括静态图像W及动态图像。W下相同）的高画质化W及 宽视场角化。
[0003] 另外，在仅对影像进行监视的情况下得到的信息量总是有界限的，所W近年来还 出现了通过除监视摄像机之外还配置麦克风来得到监视对象的周围的影像数据W及声音 数据该样的监视系统。
[0004] 作为得到监视对象的周围的声音数据的现有技术，公知一种音响处理装置，该音 响处理装置具有获得摄像图像的摄像部W及收集声音数据的多个麦克风（收音部），使用 各麦克风所收集到的声音数据，来生成在从作为客户端的音响重放装置指定的预定的收音 方向上具有指向性的声音数据（例如参照专利文献1)。
[0005] 在专利文献1中，音响处理装置基于从经由网络而连接的客户端（音响重放装置） 预先接受的预定的收音方向的控制命令，来对多个收音部（麦克风）所收集到的声音数据 进行合成，生成在该方向上具有指向性的声音数据，将合成得到的声音数据发送到客户端 (音响重放装置）。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1;日本特开2000-209689号公报

【发明内容】

[0009] 发明所要解决的课题
[0010] 在将专利文献1所示的音响处理装置应用于有人监视系统的情况下，音响处理装 置当在监视对象的周围的摄影图像的记录中发生了某些意外事故时，能够立即从客户端 (音响重放装置）接受收音方向的指定，生成在该收音方向上具有指向性的声音数据。
[0011] 但是，在将专利文献1所示的音响处理装置应用于例如无人监视系统的情况下， 假设在发生了意外事故之后，想要通过重放从意外事故的发生前起记录的影像数据W及声 音数据来得到与意外事故相关的信息（例如声音数据）。在该种情况下，关于音响处理装 置，由于发生了意外事故的场所不限于预先从客户端接受了指定的预定的收音方向，所W 有可能难W得到在发生了意外事故的场所、即所期望的收音方向上具有指向性的声音数 据。目P，存在从被记录的影像数据W及声音数据中得不到与意外事故相关的有效的信息的 可能性高的该样的课题。
[0012] 本发明为了解决上述的W往的课题，其目的在于，提供一种强调地输出朝向与在 显示有摄像得到的影像数据的显示画面中被指定的一个W上的指定部位对应的位置的指 向方向的声音数据的声音处理系统W及声音处理方法。
[0013] 用于解决课题的技术方案
[0014] 本发明设及一种声音处理系统，具备：至少一个摄像部，对影像进行摄像；显示 部，显示通过所述摄像部进行摄像得到的影像数据；收音部，包括多个麦克风，使用所述麦 克风来收集声音；声音输出部，对通过所述收音部收集到的声音数据进行声音输出；记录 部，记录通过所述摄像部进行摄像得到的所述影像数据、W及通过所述收音部收集到的所 述声音数据；重放部，将在所述记录部中记录的所述影像数据显示于所述显示部，并且使所 述声音输出部对在所述记录部中记录的所述声音数据进行声音输出；操作部，受理对被显 示于所述显示部的所述影像数据的一个W上的指定部位的指定；W及信号处理部，基于在 所述记录部中记录的所述声音数据，生成或者合成强调了从所述收音部朝向与被指定的所 述影像数据的一个W上的指定部位对应的位置的指向方向的声音而得到的声音数据。
[0015] 另外，本发明设及一种声音处理方法，具有如下步骤；在至少一个摄像部中对影像 进行摄像；在包括多个麦克风的收音部中收集声音；将通过所述摄像部进行摄像得到的影 像数据显示于显示部；记录通过所述摄像部进行摄像得到的影像数据W及通过所述收音部 收集到的声音数据；将被记录的所述影像数据显示于所述显示部并且使声音输出部对被记 录的所述声音数据进行声音输出；受理对被显示于所述显示部的所述影像数据的一个W上 的指定部位的指定；W及基于被记录的所述声音数据，生成或者合成强调了从所述收音部 朝向与被指定的所述影像数据的一个W上的指定部位对应的位置的指向方向的声音而得 到的声音数据。
[001引发明效果
[0017] 根据本发明，能够强调地输出朝向与在显示有摄像得到的影像数据的显示画面中 被指定的一个W上的指定部位对应的位置的指向方向的声音数据。
【附图说明】
[0018] 图1(A)、炬）是示出各实施方式的声音处理系统的系统结构的框图。
[0019] 图2(A)是麦克风阵列的外观图，炬）是第3实施方式中的麦克风阵列的外观图， (C)是示出麦克风阵列与摄像机的安装状态的图。
[0020] 图3是使用麦克风阵列的指向性控制处理的原理的说明图。
[0021] 图4是说明声音处理系统的记录时的动作次序的流程图。
[0022] 图5是说明在指定一个W上的指定部位的情况下的、声音处理系统的重放时的动 作次序的流程图。
[002引图6是示出第1实施方式的声音处理系统的使用方式的一例的示意图，（A)是示 出例如在室内的大厅的天花板上在相分离的位置设置1台摄像机与1台麦克风阵列的情形 的图，炬）是示出将影像数据显示于显示器并在扬声器中对声音数据进行声音输出的情形 的图。
[0024]图7是示出第2实施方式的声音处理系统的使用方式的一例的示意图，（A)是示 出例如在室内的大厅的天花板设置了 2台摄像机、位于2台摄像机的中间位置的1台麦克 风阵列W及扬声器的情形的图，炬）是示出将通过摄像机10进行摄像得到的影像数据显示 于显示器63并且在扬声器65中对声音数据进行声音输出的情形的图，（C)是示出将通过 摄像机10A进行摄像得到的影像数据显示于显示器63并且在扬声器65中对声音数据进行 声音输出的情形的图。
[002引图8是示出第4实施方式的声音处理系统的使用方式的一例的示意图，（A)是示 出在例如室内的大厅的天花板上，设置了 1台摄像机、1台麦克风阵列W及扬声器的情形的 图，炬）是在被显示于显示器的影像数据中指定了多个指定部位的情况下的声音处理系统 的动作概要的说明图。
[002引图9是示出声音处理系统的使用方式的一例的示意图，（A)是示出例如在室内的 大厅的天花板设置了圆环型形状的麦克风阵列、与麦克风阵列一体地被嵌入的摄像机W及 扬声器的情形的图，炬）是示出在摄像机10E摄像得到的影像数据中选择两个人物91、92的 情形的图，（C)是示出将图像转换后的两个人物91、92的影像数据显示于显示器并且在扬 声器65中对人物91、92的会话的声音数据进行声音输出的情形的图，值）是示出在摄像机 10E摄像得到的影像数据中选择两个人物93、94的情形的图，巧）是示出将图像转换后的两 个人物93、94的影像数据显示于显示器并且在扬声器65中对人物93、94的会话的声音数 据进行声音输出的情形的图。
[0027]图10(A)、炬）、似是其他麦克风阵列20D、20E、20F的外观图。
[002引图11是在多个指定部位被指定的情况下的显示器63W及扬声器65的动作的示 意图。
[0029] 图12是各实施方式的麦克风阵列的框体构造的分解立体图。
[0030] 图13(A)是图12所示的麦克风阵列的框体构造的俯视图，炬）是图13(A)的A-A 剖视图。
[0031] 图14是图13炬）的虚线范围的主要部件放大图。
[003引图15(A)是示出将冲压金属盖固定于主框体的情形的立体图，做是示出将冲压 金属盖固定于主框体的情形的剖视图。
[0033] 图16是话筒安装构造的示意图。
[0034] 图17是话筒基板的俯视图。
[0035] 图18(A)是在多个话筒电路中设置一个纹波去除电路的话筒基板电路的图，炬） 是针对多个话筒电路的各个而设置纹波去除电路的话筒基板电路的图。
[0036]图19(A)是不安装摄像机适配器而安装了全方位摄像机的麦克风阵列的框体构 造的立体图，炬）是安装了室外用全方位摄像机W及摄像机适配器的麦克风阵列的框体构 造的立体图。
[0037] 图20是安装有室内用全方位摄像机的麦克风阵列的框体构造的分解立体图。
[0038]图21是安装有室外用全方位摄像机的麦克风阵列的框体构造的分解立体图。
[0039] 图22(A)是安装有室外用全方位摄像机的麦克风阵列的框体构造的侧视图，炬） 是图22(A)的B-B剖视图。
[0040] 图23是图22的虚线范围的主要部件放大图。
[0041]图24是安装有盖的麦克风阵列的框体构造的分解立体图。
[0042]图25是使用安装模具来安装于天花板的框体构造的分解立体图。
[0043] 图26(A)是被插入到基座饭金用固定孔之前的基座饭金侧固定引线的侧视图， 炬）是被插入到基座饭金用固定孔的基座饭金侧固定引线的侧视图，（C)是被插入到基座 饭金用固定孔的基座饭金侧固定引线的俯视图，值）是移动到基座饭金用固定孔的小径孔 的基座饭金侧固定引线的侧视图，巧）是移动到基座饭金用固定孔的小径孔的基座饭金侧 固定引线的俯视图。
[0044] 图27是在ECM用凹部中设置了锥形部的麦克风阵列的框体构造的剖视图。
[0045] 图28是实施了风应对措施的麦克风阵列的框体构造的剖视图。
[0046] 图29(A)是表示ECM用凹部的内径与深度的关系的麦克风阵列的框体构造的剖视 图，炬）是ECM用凹部的内壁成为倾斜壁的麦克风阵列的框体构造的剖视图，（C)是ECM用 凹部的内周角部成为R部的麦克风阵列的框体构造的剖视图。
[0047] 图30(A)是表示不形成锥形部的ECM用凹部的等压面的说明图，炬）表示了形成 了锥形部的ECM用凹部的等压面的说明图。
[0048] 图31(A)是第4实施方式的声音处理系统的使用例的说明图，炬）是示出显示在 第1指定部位的周围显示的第1识别形状、在第2指定部位的周围显示的第2识别形状的 一例的情形、强调朝向与通过第1识别形状来确定的第1指定部位对应的第1声音位置的 第1指向方向的声音而从第1扬声器输出的情形、W及强调朝向与通过第2识别形状来确 定的第2指定部位对应的第2声音位置的第2指向方向的声音而从第2扬声器输出的情形 的图。
[0049] 图32是示出在显示有图31炬）所示的影像数据的状态下，根据向被显示于显示器 的影像数据的显示区域外的点击操作，显示调整用操作框的情形的图。
[0050] 图33(A)是第4实施方式的声音处理系统的使用例的说明图，炬）是示出显示在 第1指定部位的周围显示的第1识别形状、在第2指定部位的周围显示的第2识别形状的 一例的情形、强调朝向与通过第1识别形状来确定的第1指定部位对应的第1声音位置的 第1指向方向的声音而从第1扬声器输出的情形、W及强调朝向与通过第2识别形状来确 定的第2指定部位对应的第2声音位置的第2指向方向的声音而从第2扬声器输出的情形 的图。
[0051] 图34是示出在显示有图31炬）所示的影像数据的状态下，每当进行向被显示于显 示器的影像数据的显示区域外的点击操作，切换地显示通过全方位摄像机进行摄像得到的 影像数据与调整用操作框的情形的图。
[0052] 图35是示出在显示有图31炬）所示的影像数据的状态下，根据向被显示于显示器 的影像数据的显示区域外的点击操作，显示状态标示用框的情形的图。
[0053] 图36(A)是第4实施方式的声音处理系统的使用例的说明图，炬）是示出显示在 第1指定部位的周围显示的第1识别形状、在第2指定部位的周围显示的第2识别形状、在 第3指定部位的周围显示的第3识别形状、在第4指定部位的周围显示的第4识别形状的 一例的情形、W及从第1W及第2各扬声器输出强调了朝向与通过第1识别形状来确定的 第1指定部位对应的第1声音位置的第1指向方向的声音而得到的声音数据、强调了朝向 与通过第2识别形状来确定的第2指定部位对应的第2声音位置的第2指向方向的声音而 得到的声音数据、强调了朝向与通过第3识别形状来确定的第3指定部位对应的第3声音 位置的第3指向方向的声音而得到的声音数据的情形的图。
[0054]图37是示出在显示有图36炬）所示的影像数据的状态下，根据键盘的多个特定键 的同时按下操作，显示调整用操作框的情形的图。
[005引图38是示出在显示有图36做所示的影像数据的状态下，根据向被显示于显示器 的影像数据的显示区域外的点击操作，显示调整用操作框的情形的图。
[0056] 图39(A)是第4实施方式的声音处理系统的使用例的说明图，炬）是示出显示在 第1指定部位的周围显示的第1识别形状、在第2指定部位的周围显示的第2识别形状、在 第3指定部位的周围显示的第3识别形状、在第4指定部位的周围显示的第4识别形状的 一例的情形、将强调了朝向与通过第1识别形状来确定的第1指定部位对应的第1声音位 置的第1指向方向的声音而得到的声音数据、强调了朝向与通过第2识别形状来确定的第2 指定部位对应的第2声音位置的第2指向方向的声音而得到的声音数据进行合成而从第1 扬声器输出的情形、W及将强调了朝向与通过第3识别形状来确定的第3指定部位对应的 第3声音位置的第3指向方向的声音而得到的声音数据从第2扬声器输出的情形的图。
[0057] 图40的在显示有图39做所示的影像数据的状态下，根据向被显示于设置有触摸 面板的显示器的影像数据的显示区域外的触摸，显示调整用操作框的情形的图。
【具体实施方式】
[0058] 下面，参照附图，说明本发明的声音处理系统W及声音处理方法的各实施方式。各 实施方式的声音处理系统应用于在工厂、公共施设（例如图书馆或者活动会场）或者商店 (例如小卖部，银行）中设置的监视系统（包括有人监视系统W及无人监视系统）。
[00则（第1实施方式）
[0060] 图1(A)W及图1炬）是示出各实施方式的声音处理系统5A、5B的系统结构的框 图。声音处理系统5A是包括监视用的摄像机10、10A、麦克风阵列20W及声音处理装置40 的结构。摄像机10U0A、麦克风阵列20、声音处理装置40经由网络30而相互连接。
[0061] 声音处理系统5B是包括监视用的摄像机10B、10C、麦克风阵列20A、记录器45A、W 及PC(PersonalComputer)70的结构。摄像机10B、10C、麦克风阵列20A、记录器45A、PC70 经由网络30A而相互连接。
[0062] 下面，主要说明声音处理系统5A的各部的动作，关于声音处理系统5B的各部的动 作，说明与声音处理系统5A的动作不同的内容。
[0063] 作为摄像部的摄像机10U0A是例如设置于活动会场的室内的天花板（例如参照 图6)的监视摄像机，具有从经由网络30而连接的监视系统控制室（未图示）能够进行远 程操作的云台功能、放大功能W及缩小功能，对作为监视对象的地点（场所）的周围的影像 (包括静止画面W及动画。W下相同）进行摄像。摄像机10U0A将摄像得到的影像的数据 (影像数据），经由网络30而记录到记录器45中。
[0064] 作为收音部的麦克风阵列20例如设置于活动会场的室内的天花板（例如参照图 6)，是一样地设置了多个麦克风22 (例如参照图2)的麦克风。麦克风阵列20使用各个麦 克风22来收集作为监视对象的地点（场所）周围的声音，将通过各个麦克风22收集到的 声音的数据（声音数据）经由网络而记录到记录器45中。麦克风阵列20的构造参照图2 而在后面叙述。
[0065] 声音处理装置40是包括记录器45、信号处理部50、操作部55、W及重放部60的 结构。记录器45是包括用于控制记录器45中的数据的记录等各处理的控制部（未图示）W及用于储存影像数据W及声音数据的记录部（未图示）的结构。记录器45将通过摄像 机10U0A进行摄像得到的影像数据、与通过麦克风阵列20收集到的声音数据对应起来地 下己〇
[0066]信号处理部 50 例如使用CPU(CentralProcessingUnit)、MPU(MicroProcessing Unit)或者DSP(DigitalSignalProcessor)来构成，执行用于整体地统括声音处理装置 40的各部的动作的控制处理、与其他各部之间的数据的输入输出处理、数据的运算（计算） 处理W及数据的存储处理。
[0067] 信号处理部50使用在记录器45中记录的声音数据，通过后述的声音数据的指向 性控制处理，对通过各个麦克风收集到的各声音数据进行相加，对从麦克风阵列20的各麦 克风22的位置向特定方向的声音（音量级）进行强调（放大），从而生成形成了向特定方 向的指向性的声音数据。另外，信号处理部50也可W使用从麦克风阵列20发送的声音数 据，对从麦克风阵列20向特定方向（指向方向）的声音的音量级进行强调（放大），从而生 成形成了向特定方向的指向性的声音数据。此外，特定方向是指从麦克风阵列20朝向与从 操作部55指定的预定的指定部位对应的位置的方向，是为了对声音数据的音量级进行强 调（放大）而通过用户指定的方向。
[0068] 信号处理部50在记录器45中记录的影像数据通过全方位摄像机（参照后述）进 行了摄像的情况下，进行对在记录器45中记录的影像数据的坐标系（例如X轴、y轴、Z轴 中的2维或者3维的坐标转换）的转换处理，将转换处理后的影像数据显示于显示器63 (参 照图9似化及图9巧)）。
[0069] 操作部55例如与显示器63的画面对应地配置，使用能够通过用户的手指95或者 手写笔进行输入操作的触摸面板或者触摸板来构成。操作部55根据用户的操作，将期望强 调（放大）声音数据的音量级的一个W上的指定部位的坐标的数据输出到信号处理部50。 此外，操作部55也可W使用鼠标或者键盘等定位设备来构成。
[0070] 重放部60是包括显示器63W及扬声器65的结构，将在记录器45中记录的影像 数据显示于显示器63,进而，使扬声器65对在记录器45中记录的声音数据进行声音输出。 此外，显示器63W及扬声器65也可W做成与重放部60独立的结构。
[0071] 作为显示部的显示器63显示通过摄像机10、10A进行摄像并记录到记录器45中 的影像数据。
[0072] 作为声音输出部的扬声器65对通过麦克风阵列20收集并记录到记录器45中的 声音数据、或者基于该声音数据而通过信号处理部50进行向特定方向的强调处理而得到 的声音数据进行声音输出。
[0073] 在该里，声音处理装置40也可W构成为；记录器45与声音处理装置40中的其他 各部是不同的装置（参照图1炬)）。具体地说，图1(A)所示的声音处理装置40也可W构成 为包括图1炬）所示的记录器45A、W及图1炬）所示的PC70。目P，PC70使用通用的计算机 来构成，是包括信号处理部71、具有显示器73和扬声器75的重放部72W及操作部78的结 构。记录器45AW及PC70相当于声音处理系统5A中的声音处理装置40,实现相同的功能 W及动作。
[0074] 另外，摄像机10B、10CW及麦克风阵列20A的功能分别与声音处理系统5A中的摄 像机10、lOAw及麦克风阵列20的功能相同。
[0075] 此外，声音处理系统5A、5B中设置的摄像机的台数是任意的。另外，也可朗尋网络 30、30A相互连接，在声音处理系统5A-5B之间能够进行数据的转送。
[007引图2(A)是麦克风阵列20的外观图。麦克风阵列20是包括在圆盘状的框体21中 配置的多个麦克风22的结构。多个麦克风22沿着框体21的面地配置，沿着具有与框体21 相同的中屯、的小的圆形W及大的圆形该两个同屯、圆形地配置。沿着小的圆形配置的多个麦 克风22A具有相互的间隔窄、适于高的音域的特性。另一方面，沿着大的圆形配置的多个麦 克风22B具有直径大、适于低的音域的特性。
[0077] 图2炬）是示出第3实施方式中的麦克风阵列20C的外观和麦克风阵列20C与全 方位摄像机l〇E(参照图9(A))的安