指向性控制装置、指向性控制方法、存储介质及指向性控制系统的制作方法
【技术领域】
[0001] 本发明设及对声音的指向性进行控制的指向性控制装置、指向性控制方法、存储 介质及指向性控制系统。
【背景技术】
[0002] W往，在设置于工厂、店铺(例如小卖店、银行)或者公共的场所(例如图书馆)的既 定位置(例如顶棚面）的监视系统中，经由网络而连接1个W上的相机装置(例如PTZ相机装 置、全方位相机装置），实现监视对象范围的影像的图像数据(包括静止图像及活动图像。W 下相同）的广角化。
[0003] 而且，在使用了影像的监视中得到的信息量有限，因此通过除了 1个W上的相机装 置W外还使用麦克风阵列装置来得到相机装置的视场角内存在的特定的监视对象(例如人 物)发出的声音数据的监视系统的要求迫切。在运样的监视系统中，在监视者想要听取特定 的监视对象发出的声音数据的情况下，需要确立由相机装置拍摄到的影像的图像数据与由 麦克风阵列装置收音到的声音的声音数据的同步。
[0004] 在此，作为确立由相机装置拍摄到的影像的图像数据与由麦克风阵列装置收音到 的声音的声音数据的同步的在先技术，已知有专利文献1所示的信号处理装置。
[0005] 专利文献1所示的信号处理装置根据摄影者对被摄体的缩放操作的结果，算出距 由拍摄部拍摄到的被摄体的距离，根据算出的距离，增强由麦克风单元收音到的声音。而 且，信号处理装置根据距摄影者所拍摄的被摄体的距离，使由拍摄部拍摄到的影像信号或 由麦克风单元收音到的声音信号中的任一信号延迟。由此，即使通过摄影者对被摄体进行 缩放操作，由于信号处理装置根据距被摄体的距离而使影像信号或声音信号中的任一信号 延迟，因此也能够确立影像信号与声音信号的同步。
[0006] 专利文献1:日本国特开2009-130767号公报
【发明内容】
[0007] 在专利文献1中，通过摄影者的缩放操作，进行由麦克风单元收音到的声音信号的 增强处理。然而，若将专利文献1的结构应用于上述的监视系统，则通过缩放操作来切换监 视者选择的监视范围时，可能无法适当地形成从麦克风阵列装置对于通过缩放操作而切换 的监视范围的特定的被摄体(例如人物)的声音的指向性。
[000引在监视系统中，若无法适当地形成声音数据的指向性，则即使影像与声音同步，作 为监视对象的特定的被摄体发出的声音也不会传递给监视者，从而监视者的监视业务的效 率劣化。
[0009]本发明为了解决上述的现有的课题，目的在于提供即使在由于对监视对象的缩放 处理而切换监视对象的被摄体的情况下也能适当地形成对于切换后的监视对象的被摄体 的声音的指向性并抑制监视者的监视业务的效率劣化的指向性控制装置、指向性控制方法 及指向性控制系统。
[0010] 本发明设及一种指向性控制装置，对由包括多个麦克风的收音部收音到的声音的 指向性进行控制，该指向性控制装置具备:波束形成部，在从上述收音部向与在显示部的图 像上指定的位置对应的声源的方向上形成波束;及倍率设定部，根据输入来设定用于放大 或缩小上述显示部的图像的倍率，上述波束形成部根据由上述倍率设定部设定的倍率来变 更所形成的上述波束的尺寸。
[0011] 而且，本发明设及一种指向性控制方法，是对由包括多个麦克风的收音部收音到 的声音的指向性进行控制的指向性控制装置的指向性控制方法，该指向性控制方法具有W 下步骤:对由包括多个麦克风的收音部收音到的声音的指向性进行控制;根据输入来设定 用于放大或缩小上述显示部的图像的倍率;及根据所设定的上述倍率来变更所形成的上述 波束的尺寸。
[0012] 而且，本发明设及一种存储介质，存储有执行对由包括多个麦克风的收音部收音 到的声音的指向性进行控制的指向性控制装置的处理的程序，上述存储介质存储有执行如 下步骤的程序:对由包括多个麦克风的收音部收音到的声音的指向性进行控制;根据输入 来设定用于放大或缩小上述显示部的图像的倍率;及根据所设定的上述倍率来变更所形成 的上述波束的尺寸。
[0013] 此外，本发明设及一种指向性控制系统，具备：拍摄部，对收音区域进行拍摄;收音 部，包括多个麦克风且对上述收音区域的声音进行收音;及指向性控制装置，对由上述收音 部收音到的声音的指向性进行控制，上述指向性控制装置具备:显示部，显示由上述拍摄部 拍摄到的上述收音区域的图像;波束形成部，根据对显示于上述显示部的上述图像的位置 的指定，在从上述收音部向与所指定的上述位置对应的声源的方向上形成波束;及倍率设 定部，根据输入来设定用于放大或缩小上述显示部的图像的倍率，上述波束形成部根据由 上述倍率设定部设定的倍率来变更所形成的上述波束的尺寸。
[0014] 此外，本发明设及一种指向性控制系统，具备：拍摄部，对收音区域进行拍摄;第一 收音部，包括多个麦克风且对上述收音区域的声音进行收音;第二收音部，增设在上述第一 收音部的周围；及指向性控制装置，对由上述第一收音部和第二收音部收音到的声音的指 向性进行控制，上述指向性控制装置具备：显示部，显示由上述拍摄部拍摄到的上述收音区 域的图像;及波束形成部，根据对显示于上述显示部的上述图像的位置的指定，在从上述第 一收音部向与所指定的上述位置对应的声源的方向上形成波束。
[001引发明效果
[0016] 根据本发明，通过对监视对象的缩放处理，即使在切换监视对象的被摄体的情况 下，也能够适当地形成对于切换后的监视对象的被摄体的声音的指向性，抑制监视者的监 视业务的效率劣化。
【附图说明】
[0017] 图1是表示第一实施方式的指向性控制系统的系统结构的框图。
[0018] 图2(A)~图2化)是全方位麦克风阵列装置的框体的外观图。
[0019] 图3是全方位麦克风阵列装置在方向0上形成声音数据的指向性的延迟和方式的 简单的说明图。
[0020] 图4(A)是表示拉远处理时的指向性图案、显示画面、声音缩放范围及显示画面的 显示范围的图，图4(B)是表示拉远处理前及推近处理前的指向性图案、显示画面、声音缩放 范围及显示画面的显示范围的图，图4(C)是表示推近处理时的指向性图案、显示画面、声音 缩放范围及显示画面的显示范围的图。
[0021] 图5(A)是表示在屋内的大厅的顶棚面安装有一体地组装的全方位麦克风阵列装 置2及相机装置1的监视范围的图，图5(B)是表示在全方位图像数据中包含2人的人物91、92 的范围g的选择操作的图，图5(C)是表示变形校正处理后的2人的人物91、92的图像数据显 示于显示器装置且人物91、92交谈的声音数据在扬声器装置中输出的情况的图，图5(D)是 表示在全方位图像数据中包含2人的人物93、94的范围h的选择操作的图，图5化)是表示变 形校正处理后的2人的人物93、94的图像数据显示于显示器装置且人物93、94的交谈的声音 数据在扬声器装置中输出的情况的图。
[0022] 图6是详细说明第一实施方式的指向性控制装置的动作次序的流程图。
[0023] 图7(A)是说明作为图6所示的隐私保护处理的第一例的声音隐私保护处理的动作 次序的流程图，图7(B)是说明作为图6所示的隐私保护处理的第二例的图像隐私保护处理 的动作次序的流程图。
[0024] 图8(A)是表示与变声处理前的音调对应的声音信号的波形的一例的图，图8(B)是 表示与变声处理后的音调对应的声音信号的波形的一例的图，图8(C)是在检测到的人物的 脸部的轮廓内加入晕映的处理的说明图。
[0025] 图9是说明第二实施方式的指向性控制装置的动作次序中的与第一实施方式的指 向性控制装置的动作次序不同的动作次序的流程图。
[0026] 图10(A)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第一例(环 形结合)的主视图，图10(B)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第 一例的侧视图。
[0027] 图11是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第二例(楠圆环 形结合)的主视图。
[0028] 图12(A)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第=例（正 方形结合或长方形结合)的主视图，图12(B)是表示在全方位麦克风阵列装置的周围结合增 设麦克风部的第=例(正方形结合或长方形结合)的侧视图。
[0029] 图13(A)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第四例(蜂 窝形结合)的主视图，图13(B)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的 第五例(蜂窝形结合)的主视图。
[0030] 图14(A)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第六例(棒 形结合)的主视图，图14(B)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第 六例(棒形结合)的侧视图。
[0031] 图15(A)是表示安装有图14(B)所示的全方位麦克风阵列装置和顶棚安装金属板 的状态的俯视图，图15(B)示出图15(A)的E-E截面，是表示在图14(B)所示的全方位麦克风 阵列装置的周围安装有增设麦克风部的状态的侧视图。
[0032] 图16(A)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第屯例(棒 形结合)的主视图，图16(B)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第 八例(棒形结合）的主视图，图16(C)是表示在全方位麦克风阵列装置的周围结合增设麦克 风部的第九例(棒形结合)的主视图。
[0033] 图17(A)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第十例（构 架形结合)的主视图，图17(B)是表示在全方位麦克风阵列装置的周围结合增设麦克风部的 第十例（构架形结合）的侧视图，图17(C)是表示在全方位麦克风阵列装置的周围结合增设 麦克风部的第十一例（构架形结合）的主视图，图17(D)是表示在全方位麦克风阵列装置的 周围结合增设麦克风部的第十一例(构架形结合)的侧视图。
[0034] 图18(A)是表示增设麦克风部向全方位麦克风阵列装置的周围结合的结合方法的 第一例的主视图，图18(B)是表示增设麦克风部向全方位麦克风阵列装置的周围结合的结 合方法的第二例的主视图。
[0035] 图19(A)是表示增设麦克风部向全方位麦克风阵列装置的周围结合的结合方法的 第=例的主视图，图19(B)示出图19(A)的E-E截面，是表示增设麦克风部向全方位麦克风阵 列装置的周围结合的结合方法的第=例的侧视图，图19(C)是表示增设麦克风部向全方位 麦克风阵列装置的周围结合的结合方法的第四例的补充说明图。
[0036] 图20是表示在全方位麦克风阵列装置的周围结合增设麦克风部的第十二例（片形 结合)的立体图。
[0037] 图21是表示结合有增设麦克风部的全方位麦克风阵列装置的硬件结构的一例的 框图。
【具体实施方式】
[0038] W下，参照附图，说明本发明的指向性控制装置、指向性控制方法及指向性控制系 统的各实施方式。各实施方式的指向性控制系统被用作例如在工厂、公共设施（例如图书 馆、活动会场)或店铺(例如小卖店、银行)设置的监控系统(包括有人监控系统及无人监控 系统）。
[0039] 另外，本发明可W表现为用于使计算机即指向性控制装置执行通过指向性控制方 法规定的动作的程序或者记录有使计算机执行通过指向性控制方法规定的动作的程序的 计算机能够读取的记录介质。
[0040] (第一实施方式）
[0041] 图1是表示本实施方式的指向性控制系统10的系统结构的框图。图1所示的指向性 控制系统10包括相机装置1、全方位麦克风阵列装置2、指向性控制装置3、记录器装置4。相 机装置1、全方位麦克风阵列装置2、指向性控制装置3、记录器装置4经由网络NW而相互连 接。网络NW可W是有线网络(例如内联网、互联网），也可W是无线网络(例如无线LAWLocal 八'6曰化切(化1〇、胖1魁乂(注册商标）、无线胖4的胖1(16 4'6曰化1：讯(化1〇)。在图1所示的指向性控 制系统10中，为了简化说明，相机装置1及全方位麦克风阵列装置2仅图示1个，但是也可W 包含多个相机装置及全方位麦克风阵列装置。
[0042] W下，对构成指向性控制系统10的各装置进行说明。另外，为了简化W下的说明， 作为将相机装置1的框体与全方位麦克风阵列装置2的框体一体地安装于同一位置的情况 进行说明（参照图5(A))，但是相机装置1的框体与全方位麦克风阵列装置2的框体也可W分 体地安装于不同的位置。
[0043] 作为拍摄部的一例的相机装置I例如经由后述的顶棚安装金属板7z而固定地设置 于活动会场的顶棚面8(参照图5(A))。相机装置1具有例如作为监控系统中的监控相机的功 能，通过来自与网络NW连接的监控控制室(未图示）的远距离操作，使用缩放功能(例如推近 处理、拉远处理），拍摄预定收音区域(例如活动会场内的既定区域）的全方位的影像。相机 装置1将表示收音区域的全方位的影像的图像数据(即，全方位图像数据）、或者对全方位图 像数据实施预定变形校正处理并进行全景变换而生成的俯视图像数据经由网络NW向指向 性控制装置3或记录器装置4发送。
[0044] 当通过监控者的手指95在显示于显示器装置35的图像数据之中指定任意位置时， 相机装置1从指向性控制装置3接收图像数据中的指定位置的坐标数据，算出从相机装置1 到与指定位置对应的实际空间上的声音位置（W下，简称为"声音位置"）的距离、方向（包括 水平角及垂直角。W下相同。）的数据而向指向性控制装置3发送。另外，由于相机装置1中的 距离、方向的数据计算处理是公知技术，因此省略说明。
[0045] 另外，相机装置1根据例如相机装置1中的定期的时机或者监控者的手指95对显示 于显示器装置35的图像数据的输入操作，进行图像数据的推近处理或拉远处理。定期的时 机例如为每1小时或每10分钟1次的程度。与推近处理或拉远处理的倍率相关的信息可W预 先指定，也可W适当变更。相机装置1在进行了推近处理或拉远处理的情况下，将与推近处 理或拉远处理的倍率相关的信息向指向性控制装置3发送。
[0046] 作为收音部的一例的全方位麦克风阵列装置2例如经由后述的顶棚安装金属板7z 而固定地设置于活动会场的顶棚面8(参照图5(A))。全方位麦克风阵列装置2至少包括：W 均等的间隔设有多个麦克风单元22、23(参照图2(A)~巧））的麦克风部;及对麦克风部的各 麦克风单元22、23的动作进行控制的CPU2P(参照图21)。
[0047] 当电源被接通时，全方位麦克风阵列装置2对由麦克风单元内的麦克风元件收音 到的声音的声音数据实施预定声音信号处理(例如拉远处理、滤波处理、加法运算处理），并 将通过预定声音信号处理而得到的声音数据经由网络NW向指向性控制装置3或记录器装置 4发送。
[0048] 在此，参照图2(A)~图2化），说明全方位麦克风阵列装置2的框体的外观。图2(A) ~图2化)是全方位麦克风阵列装置2的框体的外观图。图2(A)~图2化)所示的全方位麦克 风阵列装置2(：、24、28、2、20的外观及多个麦克风单元的配置位置不同，但是全方位麦克风 阵列装置的功能相同。
[0049] 图2(A)所示的全方位麦克风阵列装置2C具有圆盘状的框体21。在框体21，呈同屯、 圆状地配置有多个麦克风单元22、23。具体而言，多个麦克风单元22呈具有与框体21相同的 中屯、的同屯、圆状且沿着框体21的圆周配置，多个麦克风单元23呈具于与框体21相同的中屯、 的同屯、圆状且配置在框体21的内侧。各个麦克风单元22相互的间隔宽，直径大，具有适合于 低音域的特性。另一方面，各个麦克风单元23相互的间隔窄，直径小，具有适合于高音域的 特性。
[0050] 图2(B)所示的全方位麦克风阵列装置2A具有圆盘状的框体21。在框体21上，多个 麦克风单元22W均等的间隔沿着纵向和横向运两个方向配置成十字状，纵向的排列与横向 的排列在框体21的中屯、处相交。全方位麦克风阵列装置2A将多个麦克风单元22沿纵向和横 向运两个方向直线性地配置，因此能够降低形成声音数据的指向性的情况下的运算量。另 夕h在图2(B)所示的全方位麦克风阵列装置2A中，可W仅沿纵向或横向的I列配置多个麦克 风单元22。
[0051] 图2(C)所示的全方位麦克风阵列装置2B与图2(A)所示的全方位麦克风阵列装置2 相比，具有直径小的圆盘状的框体21B。在框体21B上，多个麦克风单元22沿着框体21B的圆 周W均等的间隔配置。图2(C)所示的全方位麦克风阵列装置2B由于各个麦克风单元22的间 隔短，因此具有适合于高音域的特性。
[0052] 图2(D)所示的全方位麦克风阵列装置2具有在框体21C的中屯、形成了具有预定直 径的开口部21a的环形形状或圈形形状的框体21C。在本实施方式的指向性控制系统10中， 使用例如图2(D)所示的全方位麦克风阵列装置2。在框体21C中，多个麦克风单元22沿着框 体21C的圆周方向W