位置确定设备、音频设备、位置确定方法和程序与流程

文档序号:12290376阅读:338来源:国知局
位置确定设备、音频设备、位置确定方法和程序与流程

本发明涉及一种位置确定设备,其确定扬声器相对于聆听位置的位置。

本申请要求于2014年6月2日提交的日本专利申请第2014-114350号的优先权,其内容通过引用并入本文中。



背景技术:

通常,已知如下的音频设备:其通过输入诸如5.1声道的多声道音频信号、然后从多个扬声器输出各个声道的声音来形成环绕声场。

为了适当地实现这样的环绕声场,需要将多个扬声器布置在聆听室内的适当位置(推荐位置)处。因此,已知这样的一种技术:通过使用多个麦克风收集从每个扬声器输出的声音来计算扬声器的位置,然后基于计算结果来校正向扬声器提供的音频信号,从而形成期望声场(例如,参考专利文献1)。

[现有技术文献]

[专利文献]

[专利文献1]日本未审查专利申请,首次公布第2000-354300号



技术实现要素:

本发明要解决的问题

然而,为了确定扬声器的位置,需要使用多个麦克风,或者移动单个麦克风并进行多次测量。

此外,也存在输出并测量声音花费过长时间的问题。

本发明的目的的示例是提供一种能够在不使用麦克风的情况下确定扬声器的位置的位置确定设备。

用于解决问题的手段

根据本发明的一方面的位置确定设备包括:图像捕获单元,其在面向图像捕获方向的同时从聆听位置捕获扬声器的图像,以获取图像数据;方向检测单元,其检测图像捕获方向;识别单元,其根据图像数据识别扬声器的图像;距离计算单元,其通过使用扬声器的图像来计算从聆听位置到扬声器的距离;以及位置确定单元,其基于方向检测单元检测到的图像捕获方向和距离计算单元计算出的距离来确定扬声器的位置。

根据本发明的一方面的位置确定方法包括:在面向图像捕获方向的同时从聆听位置捕获扬声器的图像,以获取图像数据;检测图像捕获方向;根据图像数据识别扬声器的图像;通过使用扬声器的图像来计算从聆听位置到扬声器的距离;以及基于所检测到的图像捕获方向和所计算出的距离来确定扬声器的位置。

根据本发明的一方面的程序使计算机执行如下步骤:在面向图像捕获方向的同时从聆听位置捕获扬声器的图像,以获取图像数据;检测图像捕获方向;根据图像数据识别扬声器的图像;通过使用扬声器的图像来计算从聆听位置到扬声器的距离;以及基于所检测到的图像捕获方向和所计算出的距离来确定扬声器的位置。

发明效果

根据本发明,能够在不使用麦克风的情况下确定扬声器的位置。

附图说明

图1是示出根据本发明的第一实施例的音频系统的配置的框图。

图2是示出图1所示的音频设备的配置的框图。

图3A是示出图1所示的终端的配置的框图。

图3B是图1所示的终端的前视图。

图3C是图1所示的终端的后视图。

图4A是示出本发明的第一实施例中的被捕获的图像的示例的图。

图4B是示出本发明的第一实施例中的图像的帧宽度与扬声器图像的宽度之间的关系的图。

图5是示出图1所示的终端的操作的流程图。

图6是示出存储在图1所示的终端中的型号数据库的图。

图7A是示出本发明的第一实施例中的虚拟声源的图。

图7B是示出本发明的第一实施例中的虚拟声源的图。

图8是示出本发明的第一实施例中的服务器的配置的框图。

图9A是示出本发明的第一实施例中的眼镜型终端的外视图的示意图。

图9B是示出本发明的第一实施例中的眼镜型终端的外视图的示意图。

图10A是示出根据本发明的第二实施例的识别系统的示例的图。

图10B是示出应用了图10A所示的识别系统的示例的图。

图10C是示出图10A所示的终端的配置的框图。

图10D是示出图10A所示的终端的配置的框图。

图10E是示出图10A所示的服务器的配置的框图。

图11是示出本发明的第二实施例中的通知的示例的图。

图12A是示出本发明的第二实施例中的终端和服务器的操作的流程图。

图13A是示出存储在图10E所示服务器中的注视信息的图。

图13B是示出存储在图10E所示服务器中的注视信息的图。

图14是示出根据本发明的第二实施例的终端和服务器的操作的流程图。

具体实施方式

(第一实施例)

图1是示出本发明的第一实施例中的包括位置确定设备的音频系统的配置的示意图。音频系统包括音频设备10、终端20、扬声器21C、扬声器21L、扬声器21R、扬声器21SL和扬声器21SR(如果不具体区分扬声器21C至21SR中的每一个,则将它们称为扬声器21)。

音频设备10安装在房间R的预定位置处(例如,在聆听位置S的前面)。扬声器21C安装在聆听位置S的前面。扬声器21L安装在聆听位置S的左前方。扬声器21R安装在聆听位置S的右前方。扬声器21SL安装在聆听位置S的左后方。扬声器21SR安装在聆听位置S的右后方。扬声器21连接至音频设备10。

终端20安装在聆听位置S处。终端20是诸如智能电话的信息处理设备,并且是用户携带的装置。终端20对应于本发明的第一实施例中的位置确定设备。通过在用户将终端20保持在聆听位置S处时捕获扬声器21的图像来计算扬声器21相对于聆听位置S的位置。与所计算出的扬声器21的位置有关的信息被传送至音频设备10。该信息用于校正音频信号。

图2是示出音频设备10的配置的框图。音频设备10包括输入单元1、信号处理单元2、输出单元3、通信单元4和控制单元5。

输入单元1具有接受对应于诸如HDMI(注册商标)(高清多媒体接口)和S/PDIF(索尼飞利浦数字接口(索尼和飞利浦是注册商标))的标准的数字音频信号输入的接口。输入单元1从外部接受数字音频信号输入。此外,输入单元1可以具有模拟音频信号输入接口,并且从外部接受模拟音频信号输入。在这种情况下,输入单元1可以具有内置的ADC(模数转换器)功能,其将输入的模拟音频信号转换为数字音频信号。输入的数字音频信号声道的数量可以是一个(单声道)或两个(立体声)。输入单元1可以接受具有多个声道(例如,5.1声道)的输入。

输入至输入单元1的音频信号随后被输入至信号处理单元2。信号处理单元2包括DAC(数模转换器),并且对输入的音频信号执行校正。该信号处理单元2可以调节供应至扬声器21的音频信号的音量,从而使得从所有扬声器21输出的声音以例如相同音量达到聆听位置S。替选地,该信号处理单元2可以调节供应至扬声器21的音频信号的延迟量,从而使得从所有扬声器21输出的声音在例如相同的时间到达聆听位置S。替选地,如果当从聆听位置S观看时扬声器21的方向从理想位置存在移位,则通过将相同的声音以预定分配比率供应给理想位置附近的两个扬声器21,该信号处理单元2可以将声音图像定位成使得扬声器21虚拟地布置在理想位置。

经信号处理单元2校正的音频信号经由输出单元3输出至扬声器21。在图2所示的示例中,示出了具有仅仅单个代表声道的信号系统。然而,实际上,针对每个声道执行信号处理,并且从输出单元3输出每个声道的音频信号。

通信单元4经由诸如无线LAN(局域网)的通信功能来与终端20进行通信。在该示例中,通信单元4从终端20接收表示扬声器21相对于聆听位置S的位置的信息。控制单元5经由通信单元4接收表示扬声器21的位置的信息,并且基于其信息来设置信号处理单元2的校正参数。校正参数表示每个声道的音频信号的增益、延迟量等。

图3A是示出终端20的配置的框图。图3B是终端20的前视图。图3C是终端20的后视图。

终端20包括控制单元101、外部摄像机102、内部摄像机103、姿势检测单元104、方向检测单元105、操作单元106、通信单元107、显示单元108和存储单元109。存储单元109可以是诸如ROM的介质。

控制单元101读出存储在存储介质中的操作程序,并且对终端20的操作进行总体控制。作为其操作程序的结果,控制单元101构成本发明的第一实施例中的识别单元、型号确定单元、距离计算单元和位置确定单元。存储单元109可以是诸如ROM的记录介质,并且其还可以存储操作程序。

外部摄像机102对应于本发明的第一实施例中的图像捕获单元。外部摄像机102设置在终端20的背面上,并且是用于捕获用户期望的图像的摄像机。内部摄像机103设置在终端20的正面上,并且是用于捕获用户自身的图像的摄像机。

控制单元101从内部摄像机103捕获的图像中检测脸部图像,并且通过从所检测到的脸部图像内提取眼睛的图像来检测用户的视线。作为检测视线的技术,例如可以使用在日本未审查专利申请首次公布第2010-161655号或日本未审查专利申请首次公布第2008-32828号中所公开的技术。在瞳孔的图像处于眼睛中心的状态的情况下,确定例如视线在中心方向上。在瞳孔在眼睛的左侧的状态的情况下,确定视线在左方向上。

在图3B和图3C的示例中,便携型信息处理设备被示为终端20。然而,终端20决不限于这样的模式。终端20可以是可穿戴型信息处理设备,其具有例如图9A和图9B所示的眼镜形状。描述了如在图9A和图9B中所示的示例中那样终端20是眼镜型终端的情况。在该情况下,外部摄像机102捕获用户的脸部面向的方向的图像。内部摄像机103捕获用户的眼睛的图像。在注视检测中使用用户的眼睛的图像。例如,在日本未审查专利申请首次公布第2012-8290号中公开了在眼镜型终端中执行视线检测的技术。对于图9A和图9B所示的示例的情况,显示单元108起到将图像投影在眼镜的镜片部分上的头戴式显示器的作用。然而,对于眼镜型终端的情况,由于可以捕获用户的脸部面向的方向的图像,因此具有显示单元108的配置不是必需的。

回到图3A,描述了终端20的配置。姿势检测单元104包括例如陀螺仪传感器或加速度传感器。姿势检测单元104检测其自身设备的姿势(终端20的壳体的表面所面向的方向)。方向检测单元105包括例如地磁传感器。方向检测单元105检测其自身设备面向的方向(例如,终端20的壳体的上表面面向的方向)。控制单元101基于使用姿势检测单元104检测到的其自身设备的姿势和使用方向检测单元105检测到的方向,检测外部摄像机102面向的方向,即,图像捕获方向。本发明的第一实施例中的方向检测单元由控制单元101、姿势检测单元104和方向检测单元105实现。

显示单元108设置在终端20的正面上,并且显示各种图像。这里,显示单元108显示外部摄像机102捕获的图像。用户能够通过确认显示单元108上显示的图像来确认外部摄像机102捕获的图像。显示单元108具有触摸面板,并且还提供代表用户界面的操作单元106的功能。

用户在聆听位置S处操作终端20,并且利用外部摄像机102捕获扬声器21的图像。也就是说,外部摄像机102通过在面向图像捕获方向时从聆听位置S捕获扬声器21的图像来获取图像数据。在该示例中,计算扬声器21相对于聆听位置S的位置来作为用户从聆听位置S捕获扬声器21的图像的结果。

图4A示出了外部摄像机102捕获的图像的示例。在该示例中,用户已捕获安装在聆听位置S的左前方的扬声器21L的图像。在图4A中,图像仅仅包含单个扬声器21L。然而,决不限于这样的示例,并且图像可以包含诸如扬声器21L和扬声器21R的多个扬声器。在该情况下,可以确定包含在单幅图像中的多个扬声器的各自的位置。

图5是示出控制单元101的操作的流程图。当用户对操作单元106进行操作并启动用于计算扬声器的位置的应用程序时,控制单元101启动外部摄像机102(步骤s11)。然后,如图4A所示,显示单元108显示外部摄像机102捕获的图像。

用户从显示单元108上显示的图像中指定扬声器21的图像(步骤s12)。

描述了显示单元108具有触摸面板的情况。在该情况下,用户能够通过对扬声器21的图像的触摸操作来指定扬声器21的图像。

描述了控制单元101使用内部摄像机103来检测用户的视线的情况。在这种情况下,如果控制单元101确定用户的视线面向了扬声器21的图像预定时间以上,也就是说,用户正在注视扬声器21的图像,则确定该扬声器21的图像被指定。

描述了如下情况:控制单元101借助于诸如图案匹配的技术来执行根据外部摄像机102捕获的图像来确定扬声器21的型号的操作。在该情况下,控制单元101可以确定在提取对应于特定型号的扬声器21的图像的点处已指定扬声器21的图像。

控制单元101可以使得显示单元108显示诸如“请指定左前方扬声器”的通知,以提示用户指定扬声器21的图像。另外,如果指定了扬声器21的图像,则控制单元101可以使得显示单元108显示诸如“你确定吗?”的通知,以执行确认。在要显示用于执行确认的通知的情况下,控制单元101确定:如果再次指定了该扬声器21的图像,则已指定其扬声器21的图像。在执行视线检测的情况下,控制单元101确定:如果执行了眼睛的特定移动(例如,眨眼),则已再次指定该扬声器21的图像。

当指定了扬声器21的图像时,控制单元101参考型号数据库并借助于诸如图案匹配的技术来确定扬声器21的型号(步骤s13)。存储单元109可以存储型号数据库。连接至终端20的外部服务器可以存储型号数据库。

图6示出了型号数据库。型号数据库将针对每个扬声器型号的扬声器21的图像、变换系数和效率进行关联并存储。为每种类型的终端(也就是说,为捕获图像的每种类型的摄像机)准备型号数据库。扬声器21的图像表示当执行图案匹配时参考的图像数据。控制单元101通过将型号数据库中的扬声器21的图像与所捕获的扬声器21的图像进行比较来确定扬声器21的型号。如果型号不能被确定为单个型号,则控制单元101可以选择多个候选项以在显示单元108上显示,然后借助于用户选择型号来确定型号。

变换系数是用于根据所捕获的扬声器21的图像的尺寸来计算从聆听位置S到扬声器21的距离D的系数。该变换系数对应于本发明的第一实施例中的缩放数据(scale data)。距离D与所捕获的图像内的扬声器21的图像尺寸具有反比例关系。型号数据库中所记录的变换系数表示比率R与距离D之间的关系。该变换系数表示,相对于由通过利用终端20的外部摄像机102捕获扬声器21的图像而获得的图像数据构成的图像的帧F的宽度,由其图像中的扬声器21的图像所占据的宽度比率。在图4B所示的示例中,比率R表示扬声器21的宽度(T_wid)与帧F的宽度(F_wid)之比。预先设置变换系数。对扬声器型号S001的变换系数A1的设置示例进行描述。在使用1m的距离作为参考(参考距离)的情况下,假设:相对于由通过从离聆听位置S 1m远的位置捕获扬声器(参考扬声器)21的图像而获取的参考图像数据构成的帧F的宽度,包含在参考图像数据中的扬声器21的图像的宽度的比率R为50%(约帧F的水平宽度的一半)。在这种情况下,扬声器型号S001的变换系数A1被设置为0.5。

控制单元101读出所确定的扬声器21的型号的变换系数,并且基于扬声器图像来计算从聆听位置S到扬声器21的距离D(步骤s14)。例如,如果如上所述那样确定扬声器21的型号为扬声器型号S001,并且通过实际上捕获图像而获得的图像中的扬声器21的比率R为25%,则计算出距离D为2m(=A1/R=0.5/0.25)。

控制单元101确定是否已针对安装在聆听位置S周围的所有扬声器21执行了以上述方式计算距离D的处理(步骤s15)。例如,当应用程序启动时,控制单元101从用户接受对扬声器21的数量(2个声道(立体声)、5个声道、7个声道等)的指定,并且确定是否已针对所指定的所有扬声器21计算出距离D。

然后,控制单元101基于外部摄像机102在其捕获扬声器图像时的方向来计算安装有扬声器21的方向,并且计算其自身设备(即,聆听位置S)与扬声器21之间的布置(步骤s16)。计算结果包括与每个扬声器21的方向和距离D有关的信息。

以上述方式,终端20能够在不使用麦克风的情况下确定扬声器21的位置。与针对扬声器21计算出的方向和距离D有关的信息经由通信单元107传送至音频设备10。音频设备10的控制单元5经由通信单元4接收该信息,并且设置信号处理单元2的校正参数。控制单元5对应于本发明的第一实施例中的校正单元。

控制单元5可以设置每个声道的音频信号的增益,从而使得来自所有扬声器21的声音例如以相同的音量到达聆听位置S。此外,如果每个扬声器21的效率(图6所示的型号数据库中所记录的效率)包括在所接收到的与扬声器21的位置有关的信息中,则控制单元5可以校正由扬声器21之间的效率差产生的音量差。如果代表参考值的扬声器21S001的效率为90dB,并且扬声器型号S002的效率为87dB,则可以通过将供应给扬声器型号S002的音频信号水平提升例如3dB来校正音量差。

控制单元5可以调整供应至扬声器21的音频信号的延迟量,从而使得来自所有扬声器21的声音例如在相同时间到达观看位置S。相对于参考扬声器21(最远扬声器)与观看位置S之间的距离,如果另一扬声器21与观看位置S之间的距离短1m,则在声速为340ms/s的情况下,例如将3ms的延迟应用于向该另一扬声器21供应的音频信号。

如果当从聆听位置S观看时给定扬声器21的位置从理想位置存在移位,则控制单元5通过将相同声音以预定的分配比率供应至该给定扬声器21的理想位置附近的两个扬声器21,将声音图像定位成使得扬声器21虚拟地布置在理想位置。作为具体示例,如图7A所示,描述了扬声器21L从理想位置移位至左侧的情况。在这种情况下,通过将前方L声道的音频信号供应至扬声器21C和扬声器21L,执行校正以使得前方L声道的声音从代表前方L声道扬声器的理想位置的虚拟声源51VL到达聆听位置S。

作为另一具体示例,如图7B所示,例如,对扬声器21C与扬声器21R之间的间隔窄的情况进行了描述。在这种情况下,如果虚拟声源是通过在扬声器21C与扬声器21R之间分配音频信号而产生的,则虚拟声源51VR变为位于不适当的位置。因此,在这种情况下,可以通过在扬声器21R与扬声器21SR之间分配前方R声道的音频信号来将虚拟声源51VR’定位在适当位置。也就是说,在将给定扬声器21的理想位置作为参考的情况下,要供应至给定扬声器21的音频信号被分配给位于给定扬声器21的相对侧的扬声器当中最靠近给定扬声器21的扬声器21。

以该方式,音频设备10能够通过获得与扬声器21的位置有关的信息来将声音图像定位在理想的虚拟声源位置处。

以上述方式,在第一实施例的音频系统中,作为用户仅仅使用终端20来捕获扬声器21的图像的结果,可以计算扬声器21的位置。此外,可以基于扬声器21的位置来对音频信号执行校正。

在第一实施例中,虽然呈现了终端20的控制单元101计算扬声器21的布置的示例,但是还可以通过诸如服务器的另一设备来执行处理的一部分。

图8是示出服务器100的配置的框图。服务器100包括控制单元501、通信单元502和存储单元503。存储单元503存储上述型号数据库。通信单元502与终端20的通信单元107进行通信。

控制单元501经由通信单元502接收终端20捕获的图像数据和与捕获到图像数据时的图像捕获方向(摄像机的图像捕获方向)有关的信息。控制单元501根据从终端20接收到的图像数据来识别扬声器21的图像,并且确定扬声器21的型号。

另外,控制单元501从型号数据库读出所确定的型号的变换系数,并且计算从聆听位置S到其扬声器21的距离D。最后,控制单元501基于与图像捕获方向和所计算出的扬声器21的距离D有关的信息,来计算扬声器21的位置。通信单元502可以将计算结果传送至终端20,或者其可以将该计算结果传送至音频设备10。

(第二实施例)

接下来,对根据第二实施例的识别系统进行描述。图10A是根据第二实施例的识别系统的示意图。根据第二实施例的识别系统通知其他人是否正注视(识别)用户自身。

通常,用户自身难以知道其他人是否正在注视用户自身。然而,当驾驶车辆等时,例如,他们是否已被正路过或交错而过的另一方识别是事故防止的重要因素。此外,例如对于某些成员等的一方,存在主动地知道相互的关注程度变得重要的情况。在这种情况下,如果可以知道另一人正在注视他们,则可以知道另一方对他们的关注程度高(或者可以通知对另一方的关注程度高)。

因此,根据第二实施例的识别系统通知另一人是否正在注视(识别)用户自身。

在图10B中,呈现了如下示例:在正在驾驶汽车1000A的用户A接近交叉口的情况下,对用户A进行关于正在驾驶另一汽车1000B的用户B是否已认出用户A的通知。

用户A使用的终端620A和用户B使用的终端620B分别是诸如图9A和图9B所示的眼镜型终端。用户A佩戴终端620A,用户B佩戴终端620B。然而,终端620A和终端620B可以是诸如智能电话的便携型终端、安装在汽车1000A和1000B上的终端(例如与室内镜集成的终端)等。

图10C是示出终端620A的配置的框图。终端620A包括控制单元601A、姿势检测单元604A、方向检测单元605A、操作单元606A、通信单元607A、显示单元608A、位置获取单元609A、定时单元610A和存储单元611A。

图10D是示出终端620B的配置的框图。终端620B包括控制单元601B、内部摄像机603B、姿势检测单元604B、方向检测单元605B、操作单元606B、通信单元607B、位置获取单元609B和定时单元610B。

姿势检测单元604A(604B)可以是陀螺仪传感器。姿势检测单元604A(604B)检测终端620A(620B)的方向。如果终端620A(620B)是眼镜型终端,则姿势检测单元604A(604B)可以检测眼镜的镜片部分的姿势。方向检测单元605A(605B)可以是地磁传感器。方向检测单元605A(605B)检测终端620A(620B)所面向的方向。如果终端620A(620B)是眼镜型终端,则方向检测单元605A(605B)可以检测眼镜的镜片部分所面向的方向。位置获取单元609A(609B)可以是GPS(全球定位系统)。定时单元610A(610B)测量当前时间。

图10E是示出服务器700的配置的框图。服务器700包括控制单元701、通信单元702和存储单元703。

如图11所示,如果终端620B的用户B进入用户A的视场E,则终端620A在显示单元608A上显示例如表明用户B正在注视用户A的通知(诸如“您在四秒前被看到”)。如果终端620A是眼镜型终端,则其可以使用终端620B的位置信息并且在构成显示单元608A的眼镜的镜片部分的、与终端B的位置对应的部分上显示其通知。

下文中,对用于执行这样的通知的终端620A和620B以及服务器700的操作进行描述。

图12A是示出终端620A(620B)和服务器700的操作的流程图。参照图12A来描述终端620A(620B)和服务器的操作。

作为用户A(用户B)经由操作单元606A(606B)操作终端620A(620B)的结果,根据第二实施例的用于执行通知的应用程序启动。然后,如图12A所示,终端620A(620B)的控制单元601A(601B)首先启动内置于终端620A(620B)内的姿势检测单元604A(604B)、方向检测单元605A(605B)和位置获取单元609A(609B)(步骤s31)。控制单元601A(601B)使得姿势检测单元604A(604B)获取表示终端620A(620B)的姿势的姿势信息。控制单元601A(601B)使得方向检测单元605A(605B)获取表示终端620A(620B)的方向的方向信息。控制单元601A(601B)使得位置获取单元609A(609B)获取表示终端620A(620B)的位置(例如,纬度和经度)的位置信息。通信单元(传送单元)607A(607B)将终端620A(620B)的识别信息(例如,MAC地址)、位置信息、姿势信息和方向信息传送至外部设置的服务器700(步骤s32)。服务器700的通信单元702从终端620A(620B)接收各种信息(步骤s41)。服务器700的控制单元701基于终端620A(620B)检测到的姿势信息和方向信息来计算用户A(用户B)的视线方向(即,视场)(步骤s42)。如果终端620A(620B)是眼镜型终端,则在终端620A(620B)的位置作为参考的情况下,视场可以表示:例如针对终端620A(620B)的眼镜的镜片部分的前方向,在水平方向上左右45度且半径为10m的范围。根据终端620A(620B)的位置信息来确定终端620A(620B)的位置。根据终端620A(620B)的姿势信息和方向信息来确定终端620A(620B)的眼镜的镜片部分的前方向。另外,控制单元701将终端620A(620B)的识别信息、位置(位置信息)和与视场有关的信息进行关联,并且将它们记录在存储单元703中所存储的数据库中(步骤s43)。

服务器700可以将存储单元703的数据库中所记录的各种信息分配给终端620A和620B。

作为将终端620B的位置信息分配给终端620A的结果,可以在例如终端620A上的地图图像上显示终端620B的位置。

图12B是示出终端620B和服务器700的操作的流程图。参照图12B对终端620B与服务器700之间的操作进行描述。与图12B所示的终端620B的操作相同的操作可以由终端620A执行。

如图12B所示,终端620B的控制单元601B周期性地(例如,每隔1秒)确定用户B是否正在注视另一用户(步骤s33)。作为具体示例,描述了如下情况:通过使用作为内部摄像机(图像捕获单元)603B捕获用户B的脸部的图像的结果而获取的图像数据来检测用户B的注视。在这种情况下,控制单元601B确定:如果用户B的注视面向了特定方向预定时间以上(例如,1秒以上),则用户B正在注视另一用户。如果控制单元601B确定用户B的注视面向着特定方向,则其使得通信单元607B将表明用户B正在注视另一用户的信息(包括终端620B的识别信息(诸如MAC地址))传送至服务器700(步骤s34)。检测用户B的视线的技术可以是与第一实施例中所描述的技术相同的技术。控制单元601B也可以将时间信息连同该信息一起传送。时间信息可以表示指示定时单元610B测量的用户B的视线开始面向特定方向的时间的信息。

如果通信单元702从终端620B接收表明用户B正在注视另一用户的信息(步骤s44),则控制单元701基于包括在该信息中的终端620B的识别信息来读出存储单元703的数据库中所记录的终端620B的视场和位置信息(步骤s45)。控制单元701基于终端620B的视场和其它终端的位置来选择存在于终端620B的视场内的其它终端当中用户B正在注视的终端。控制单元701将其选择为注视对象终端的终端记录在存储单元703的数据库中(步骤s46)。如果多个其他终端存在于终端620B的视场内,则控制单元701可以选择例如最靠近终端620B的终端。这是因为通常,用户注视最靠近他们的人,并且远离他们的人经常隐藏在他们附近的人身后。在选择注视对象终端时,可以考虑在视场内的终端的高度方向位置。在这种情况下,即使在平面视图中终端存在于视场内,如果该终端在高度方向上处于视场外,则可以从选择中排除该终端。

作为具体示例,对确定用户B正在注视的终端是终端620A的方法进行描述。这里,假设包括终端620A的多个终端存在于终端620B的视场内,并且终端620A最靠近终端620B。控制单元701基于终端620B的视场和位置信息以及多个其它终端的位置信息,来确定多个其它终端的位置信息当中的、包含在终端620B的视场内且最靠近终端620B的位置信息的最近位置信息(接近位置信息)。控制单元701通过参考记录在存储单元703的数据库中且相互关联的终端620A的识别信息和位置信息,来确定与接近位置信息相关联的识别信息表示终端620A的识别信息。因此,用户B正在注视的终端被确定为终端620A。在这种情况下,控制单元701将已确定的终端620A的识别信息与从终端620B接收到的时间信息相关联,并且将它们作为注视信息记录在存储单元703的数据库中。

作为上述处理的结果,可以将表示终端620B的用户B正在注视的终端的信息累积在存储单元703的数据库中。图13A和图13B表示记录在存储单元703中所存储的数据库中的注视信息。图13A表示与用户A(终端620A)有关的注视信息。图13B表示与用户B(终端620B)有关的注视信息。

对于每个用户(每个终端),注视信息包括该用户注视过的其他用户所拥有的终端(注视对象终端)的识别信息(MAC地址)以及表示该用户进行注视的时间(日期和时间)的时间信息。如图13A所示,用户A(终端20A)的注视信息包括相互关联的终端620A的MAC地址、用户A注视过的其他用户所拥有的终端的MAC地址以及时间信息。

图14是示出终端620A和服务器700的操作的流程图。与图14所示的终端620A的操作相同的操作可以由终端620B执行。

如图14所示,服务器700的控制单元701周期性地(例如,每隔1秒)参考数据库并确定另一终端是否已进入每个终端的视场内(步骤s47)。作为具体示例,对如下情况进行描述:控制单元701基于终端620A的视场和位置信息以及终端620B的位置信息来确定终端620B已进入终端620A的视场内。在这种情况下,控制单元701参考数据库中的终端620B的注视信息(图13B所示的数据库),并且提取终端620A的MAC地址(步骤s48)。控制单元701仅提取与包括在预定提取时段内的时间相关联的注视信息。预定提取时段表示自在时间上从当前时刻退后预定时间(例如,5秒)的时刻至当前时刻的时段。也就是说,控制单元701忽视与相比预定提取时段更久以前的时间相关联的注视信息。对其原因进行了描述。当驾驶汽车等时,每个用户持续移动。因此,另一人现在是否认出他们很重要。另一方面,另一人是否在过去认出他们并不重要。如果存在表示用户B(终端620B)注视用户A(终端620A)的信息,则控制单元701使得通信单元702将其信息(注视信息)(连同终端620A的位置信息一起)传送至终端620A(步骤s49)。

终端620A的控制单元601A经由通信单元(接收单元)607A从服务器700(连同终端620A的位置信息一起)接收表示用户B正在注视用户A的信息(注视信息)(步骤s35)。控制单元601A基于该信息向用户A通知用户B正在注视用户A(步骤s36)。例如,如图11所示,控制单元601A使得显示单元608A在终端620B的方向(与终端620B的位置对应的部分)上显示用户B正在注视用户A(诸如“您在四秒之前被看到”)。替选地,控制单元601A可以借助于声音而进行通知。

描述了终端620A进行用户B正在注视用户A的通知的具体示例。这里,假设表明用户B(终端620B)正在注视用户A(终端620A)的信息包括终端620B的MAC地址和表示终端620B的用户B进行注视的时间的时间信息。存储单元611A记录对应信息,其中终端620B的MAC地址和用户B(或终端620B)相关联。控制单元601A通过将包括在注视信息中的MAC地址与其对应信息进行比较,来确定注视用户A的其他人(终端)是用户B(终端620B)。此外,控制单元601A使得定时单元610A测量当前时间。控制单元601A根据所测量的当前时间与包括在注视信息中的时间信息所表示的时间之间的差来确定在用当前时刻作为参考的情况下在时间上退后所述时间差的量的时刻。控制单元601A使用该信息来使得显示单元608A显示:用户B(终端620B)在时间上退后了该量的时刻曾经注视用户A。

因此,代表汽车1000A的驾驶者的用户A能够知道代表汽车1000B的驾驶者的用户B是否已认出用户A。如果服务器700将存储单元703的数据库中所记录的各种信息分配给每个终端,则可以在例如地图图像上显示其它终端的位置。因此,例如,如果终端620B的位置显示在显示单元608A上所显示的地图图像上,但在终端620B的方向上没有显示用户B正在注视用户A,则用户A能够确定用户B未认出用户A。

以上述方式,根据第二实施例的识别系统能够通知另一人是否注视(已认出)用户自身。

以上参照附图详细地描述了本发明的实施例,但是具体配置决不限于上述实施例。在不脱离本发明的范围的情况下,本发明包括设计改变等。

用于实现根据上述实施例的装置(例如终端20)的功能的程序可以记录在计算机可读记录介质上,并且可以通过使得计算机系统读取记录介质上所记录的程序、然后执行该程序来执行该处理。

这里所提到的“计算机系统”可以包括操作系统(OS:OperatingSystem)和诸如外围装置的硬件。

所述“计算机可读记录介质”包括可写入非易失性存储器(诸如软盘、磁光盘、ROM(只读存储器)或闪速存储器)、便携式介质(诸如DVD(数字通用盘))以及存储设备(诸如内置于计算机系统中的硬盘)。

所述“计算机可读记录介质”包括那些将程序保存固定时间的记录介质,诸如计算机系统内的易失性存储器(例如DRAM(动态随机存取存储器),该计算机系统在经由诸如互联网的网络或诸如电话线路的通信线路传送程序的情况下成为服务器和客户端。

上述程序可以经由传输介质或传输介质内的传输波从将程序存储在存储设备中的计算机系统等传送至另一计算机系统。传送程序的“传送介质”是指具有传送信息的功能的介质,包括诸如互联网的网络(通信网络)以及诸如电话线路的通信电路(通信线路)。

上述程序可以是实现上述功能的一部分的程序。

上述程序可以是通过与先前已存储在计算机系统中的程序相结合来实现上述功能的程序,如所谓的差分文件(差分程序)。

工业应用性

本发明可以应用于位置确定设备、音频设备、位置确定方法和程序。

附图标记

1 输入单元

2 信号处理单元

3 输出单元

4 通信单元

5 控制单元

10 音频设备

20 终端

100 服务器

101 控制单元

102 外部摄像机

103 内部摄像机

104 姿势检测单元

105 方向检测单元

106 操作单元

107 通信单元

108 显示单元

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1