输出控制装置、对讲机子机以及对讲机系统的制作方法

文档序号:18212882发布日期:2019-07-19 22:26阅读:221来源:国知局
输出控制装置、对讲机子机以及对讲机系统的制作方法

本发明涉及一种输出控制装置等,其对被输入至对讲机子机的、针对居民的呼叫操作的输出进行控制,所述对讲机子机具备呼叫居民来进行通话的功能居民。



背景技术:

以前,公知有:由设置于屋外,且由用于呼叫居民来进行通话的对讲机子机、和为了响应该呼叫而设置于宅内的对讲机母机构成的对讲机系统。

如下述的专利文献1所记载的那样,这样的对讲机系统在对讲机子机设置有相机,并且在对讲机母机设置有监视器,从而居民能够确认来访者的外观。

现有技术文献

专利文献

专利文献1:日本公开专利公报“日本特开2002-16710号公报(2002年1月18日公开)”



技术实现要素:

本发明所要解决的技术问题

在上述那样的以往技术中,居民确认并判断来访者是谁。因此,在居民错误判断的情况下,对居民来说恐怕无法进行适当的应答。例如,在推销人员等居民本来不想应答的人物来访时,恐怕由于错误判断而导致开始对话。

本发明的一方式是鉴于上述的问题而完成的,目的在于提供能够适当地确定出来访者,并对居民来说能够实现适当的应答的输出控制装置等。

解决问题的手段

为了解决上述的课题,本发明的一方式的输出控制装置对被输入至对讲机子机的、与基于来访者的呼叫操作的呼叫相关的输出进行控制,该对讲机子机具备呼叫居民而进行通话的功能,上述输出控制装置具备:面部识别部,其基于从上述对讲机子机获取到的拍摄图像,来进行上述来访者的面部识别;和输出控制部,其使上述对讲机子机、具备响应上述呼叫而进行通话的响应功能的对讲机母机、或者具备上述响应功能的与上述对讲机母机不同的通话设备中的至少任一个,进行与基于上述面部识别部的识别结果对应的上述输出。

另外,为了解决上述的课题,本发明的一方式的对讲机系统至少包括:对讲机子机,其具备呼叫居民而进行通话的功能;对讲机母机,其具备与来自上述对讲机子机的呼叫响应而与上述对讲机子机进行通话的响应功能;以及输出控制装置,其对被输入至上述对讲机子机的、基于来访者的呼叫操作的输出进行控制,上述对讲机系统基于从上述对讲机子机获取到的拍摄图像,进行输入了上述呼叫操作的来访者的面部识别,使上述对讲机子机、上述对讲机母机、或者具备上述响应功能的与上述对讲机母机不同的通话设备中的至少任一个输出与上述面部识别的结果对应的上述输出。

发明效果

根据本发明的一方式,起到能够适当地确定出来访者,并对居民实现适当的应答的效果。

附图说明

图1是表示本发明的实施方式1以及2的对讲机系统所包含的装置的主要部分结构的一个例子的框图。

图2是表示图1所示的共享呼叫机的动作的一个例子的图。

图3是表示图1所示的室内监视器的动作的一个例子的图。

图4是表示图1所示的服务器所存储的面部图像数据库的一具体例的图。

图5是表示图1所示的服务器使共享呼叫机所执行的自动响应的变更的图。

图6是表示图1所示的共享呼叫机所执行的响应处理的流程的一个例子的流程图。

图7是表示图1所示的服务器所执行的响应内容决定处理的流程的一个例子的流程图。

图8是表示实施方式1的变形例的自动响应的一个例子的图。

图9是表示图1所示的室内监视器且实施方式2的室内监视器的动作的一个例子的图。

图10是表示图1所示的室内监视器且实施方式2的室内监视器的动作的其他例子的图。

图11是表示面部识别失败的情况下的共享呼叫机的动作的一个例子的图。

图12是表示图1所示的服务器所执行的呼叫内容决定处理的流程的一个例子的流程图。

图13是表示图1所示的室内监视器所执行的呼叫处理的流程的一个例子的流程图。

图14是表示图1所示的共享呼叫机且实施方式2的共享呼叫机所执行的响应处理的流程的一个例子的流程图。

图15是表示本发明的实施方式3以及4的对讲机系统所包含的装置的主要部分结构的一个例子的框图。

图16是表示图15所示的对讲机系统的概要的图。

图17是表示图15所示的服务器所存储的面部图像数据库的一具体例的图。

图18是表示显示于图15所示的移动终端的留言板画面的一个例子的图、以及表示从该留言板画面开始的画面转换的一个例子的图。

图19是表示与图15所示的移动终端的投稿通知相关的画面例的图。

图20是表示与来访者通话的居民的追加的图。

图21是表示图15所示的服务器所执行的通知处理的流程的一个例子的流程图。

图22是表示用于对显示于图15所示的移动终端的来访者信息进行修正的修正区域的一个例子的图。

图23是表示显示于图15所示的移动终端且实施方式4的移动终端的留言板画面的一个例子的图。

图24是表示对来访者的回家预定时刻的联络的一个例子的图。

图25是表示应答结束后的来客消息的变更的图。

图26是表示图15所示的服务器且实施方式4的服务器所执行的通知处理的流程的一个例子的流程图。

图27是例示出能够作为服务器、共享呼叫机、室内监视器以及移动终端而利用的计算机的结构的框图。

具体实施方式

〔实施方式1〕

以下,基于图1~图8对本发明的实施方式1详细地进行说明。图1是表示本实施方式的对讲机系统100所包含的装置的主要部分结构的一个例子的框图。如图1所示,对讲机系统100包括:服务器1(输出控制装置)、共享呼叫机2(对讲机子机)、室内监视器3(对讲机母机)、对讲机控制装置4、公寓控制器5、以及移动终端6。

(共享呼叫机2)

共享呼叫机2是用于呼叫在各住户居住的居民的装置。此外,在本实施方式中,对共享呼叫机2在设置于公寓的入口的门(前门)之前设置的情况进行说明,但不限定于该例子。如图1所示,共享呼叫机2具备:控制部20、拍摄部21、人感应传感器22(人感应部)、通信部23、操作部24、声音输入部25、声音输出部26、以及显示部27。

人感应传感器22对存在于共享呼叫机2的周围的人进行检测。人感应传感器22例如是红外线传感器,但不限定于该例子。拍摄部21是对欲操作共享呼叫机2而呼叫居民的来访者进行拍摄的所谓的相机。在本实施方式中,拍摄部21在人感应传感器22检测到人(即来访者)时,开始拍摄。此时,拍摄部21以使拍摄图像包含来访者的面部整体的方式进行拍摄。例如,拍摄部21设置于能够拍摄来访者的面部整体的位置。此外,对拍摄部21拍摄动态图像的情况进行说明,但也可以拍摄静止图像。通信部23进行与其他装置的通信。在本实施方式中,通信部23通过进行与对讲机控制装置4的通信,从而经由对讲机控制装置4进行对讲机系统100所包含的各装置与信息的发送和接收。

操作部24接受由来访者进行的用于呼叫居民的操作(呼叫操作)。操作部24例如是接受基于用户的按下的按钮(键),但不限定于该例子。声音输入部25是获取来访者发出的声音的所谓的麦克风。声音输出部26是将共享呼叫机2从其他装置接收的声音数据作为声音而输出的所谓的扬声器。从其他装置接收的声音数据例如是输入室内监视器3的居民所发出的声音的声音数据,但不限定于该例子。显示部27基于共享呼叫机2所获取到的各种信息而显示图像。

图2是表示共享呼叫机2的动作的一个例子的图。如上述那样,若来访者在共享呼叫机2前站立,则人感应传感器22检测来访者。由此,拍摄部21开始来访者的拍摄。如图2的(a)所示,拍摄图像显示于显示部27。另外,如图2的(a)所示,操作部24被来访者操作,由此被来访者访问的房间的房间号码被输入。具体而言,通过数字键的按下而输入房间号码。在输入了错误的数字的情况下,通过删除键(记载有“删”的键)的按下,将该数字的输入删除。此外,也可以如图2的(a)所示,将来访者所输入的房间号码显示于显示部27。

若被访的房间的房间号码的输入结束,则如图2的(b)所示,呼叫键(记载有“呼叫”的键)被来访者按下。由此,在输入的房间号码所表示的房间(图示的例子中405号室)设置的室内监视器3进行呼叫动作。此外,典型而言,呼叫动作是室内监视器3输出呼叫音的动作。

若在呼叫动作之后,室内监视器3接受由居民进行的解锁操作,则前门被解锁,来访者能够进入公寓内。此处,在由居民在室内监视器3输入了声音(图示的例子中“请”的发声)的情况下,如图2的(c)所示,该声音从声音输出部26输出。另外,如图2的(c)所示,也可以将表示前门已解锁的通知(图示的例子中“解锁”之类的文本)显示于显示部27。也可以从声音输出部26将该通知作为声音(例如,“解锁”之类的声音)而输出。

此外,在附图中,对白框中所记载的文本表示共享呼叫机2或者室内监视器3所输出的声音。图2所示的角部圆的对白框中所记载的文本表示居民、来访者等所发出的声音从共享呼叫机2或者室内监视器3输出。另一方面,后述的图5所示的角部不圆的对白框中所记载的文本表示服务器1使共享呼叫机2或者室内监视器3输出的声音(所谓的自动声音)。

控制部20总体控制共享呼叫机2的功能。控制部20包括呼叫控制部201以及拍摄控制部202(发送部)。

拍摄控制部202控制拍摄部21。具体而言,拍摄控制部202若从人感应传感器22获取表示检测到人的检测信号,则控制拍摄部21而开始拍摄。另外,拍摄控制部202将拍摄图像向呼出控制部201输出,并且控制通信部23而使拍摄图像向室内监视器3以及服务器1发送。拍摄图像经由对讲机控制装置4而向室内监视器3发送,经由对讲机控制装置4以及公寓控制器5而向服务器1发送。

呼叫控制部201控制居民的呼叫和对来访者的响应。具体而言,呼叫控制部201若从操作部24获取呼叫信号,则控制通信部23以将呼叫信号发送至室内监视器3以及服务器1。此处,呼叫信号是表示将呼叫键按下的信号,包括先输入的房间号码。

另外,呼叫控制部201若从通信部23获取声音数据,则使用该声音数据而从声音输出部26输出声音。从室内监视器3或者服务器1发送声音数据。如上述那样,从室内监视器3发送的声音数据是居民输入室内监视器3的声音,经由对讲机控制装置4而向共享呼叫机2发送。此外,从服务器1发送的声音数据将后述。

另外,呼叫控制部201对在显示部27的图像显示进行控制。例如,呼叫控制部201使从拍摄控制部202获取到的拍摄图像显示于显示部27。另外,呼叫控制部201若从操作部24获取表示数字键的某一个被按下的信号,则根据该信号而使数字显示于显示部27。另外,呼叫控制部201若前门解锁,则使表示该主旨的通知显示于显示部27。

另外,呼叫控制部201控制通信部23而使声音输入部25所获取到的声音的声音数据向室内监视器3发送。由此,来访者所发出的声音从室内监视器3输出。

(室内监视器3)

室内监视器3是各住户内所具备的监视器,且具备与来自共享呼叫机的呼叫响应而进行通话的响应功能。如图1所示,室内监视器3具备:控制部30、通信部31、声音输出部32、显示部33、操作部34以及声音输入部35。

控制部30总体控制室内监视器3的功能。通信部31进行与其他装置的通信。在本实施方式中,通信部31通过进行与对讲机控制装置4的通信,从而经由对讲机控制装置4而与共享呼叫机2进行信息的发送和接收。声音输出部32是将室内监视器3从共享呼叫机2接收到的声音数据作为声音而输出的所谓的扬声器。即,声音输出部32基于输入共享呼叫机2的声音数据而输出来访者所发出的声音。显示部33基于室内监视器3所获取到的各种信息来显示图像。具体而言,显示部33显示从共享呼叫机2发送的拍摄图像。操作部34接受由居民等进行的操作。在本实施方式中,对操作部34是与显示部33成为一体的触控面板的例子进行说明。即,显示部33除了上述拍摄图像之外,还显示接受基于居民的操作的用户界面(ui)。此外,操作部34不限定于触控面板。例如,操作部34也可以是与显示部33独立的物理按钮(键)。声音输入部35是获取居民所发出的声音的所谓的麦克风。

图3是表示室内监视器3的动作的一个例子的图。控制部30若经由通信部31而接收从共享呼叫机2发送的呼叫信号,则使呼叫音从声音输出部32输出。而且,如图3所示,控制部30使从共享呼叫机2发送的拍摄图像显示于显示部33。另外,如图3的(a)所示,控制部30使ui341显示于显示部33。ui341是接受开始与来访者的通话的操作的ui。若居民接触ui341,则控制部30使声音输出部32以及声音输入部35成为接通状态,成为对来访者所输入的声音的声音数据的接收、以及基于居民的声音输入(发声)进行待机的状态。若接收从共享呼叫机2发送的上述声音数据,则控制部30使用该声音数据而从声音输出部32输出声音(参照图3的(b))。另外,控制通信部31使声音输入部35所获取到的声音的声音数据向共享呼叫机2发送。由此,将居民所发出的声音从共享呼叫机2输出。

另外,控制部30若居民接触ui341,则图3的(b)所示,使ui341成为非显示,使ui342以及ui343显示于显示部33。ui342是接受结束与来访者的通话的操作的ui,若居民与ui342触摸,则控制部30使声音输出部32以及声音输入部35成为断开状态。另外,ui343是接受使前门解锁的操作的ui,若居民触摸ui343,则控制部30将用于使前门解锁的解锁信号经由通信部31而向对讲机控制装置4输出。该解锁信号从对讲机控制装置4向前门的电子锁(未图示)发送。由此,前门解锁。

(对讲机控制装置4)

对讲机控制装置4控制共享呼叫机2、与各住户的室内监视器3的信息的发送和接收。对讲机控制装置4若从共享呼叫机2接收呼叫信号,则参照该呼叫信号所含的房间号码,确定出发送呼叫信号的室内监视器3,向该室内监视器3发送呼叫信号。另外,对讲机控制装置4将接收到的呼叫信号向服务器1发送。

另外,对讲机控制装置4若从共享呼叫机2接收拍摄图像,则将该拍摄图像向服务器1发送。即,在本实施方式中,拍摄图像在呼叫信号之前向服务器1发送。此外,拍摄图像向室内监视器3的发送需要确定出发送目的地的室内监视器3,因此对讲机控制装置4在接收呼叫信号的时机进行。

另外,对讲机控制装置4将从室内监视器3以及服务器1接收到的声音数据向共享呼叫机2发送。另外,对讲机控制装置4将从共享呼叫机2接收到的声音数据向室内监视器3发送。

(公寓控制器5)

公寓控制器5将服务器1与对讲机控制装置4以能够通信的方式连接。换言之,公寓控制器5将服务器1与设置于公寓的共享呼叫机2以能够通信的方式连接。公寓控制器5将从对讲机控制装置4接收到的呼叫信号以及拍摄图像向服务器1发送。此外,公寓控制器5在将呼叫信号向服务器1发送时,能够将呼叫信号所含的房间号码从多个住户的室内监视器3向能够唯一地确定出呼叫目的地的室内监视器3的信息(监视器id)转换。本实施方式的监视器id包括:用于通过服务器1而唯一地识别公寓控制器5的公寓控制器id、和房间号码。公寓控制器id预先由服务器1生成,并向公寓控制器5发送,从而预先存储于公寓控制器5。由此,即使服务器1管理多个公寓的对讲机系统100,服务器1也能够确定出呼叫信号是哪个公寓的共享呼叫机2呼叫出哪个室内监视器3。此外,在服务器1管理一个公寓的对讲机系统100的情况下,也可以省略房间号码的向监视器id的转换。另外,公寓控制器5将从服务器1接收到的声音数据经由对讲机控制装置4向共享呼叫机2发送。

(服务器1)

服务器1对相对于输入共享呼叫机2的呼叫操作的输出进行控制。具体而言,在未进行居民相对于呼叫操作的响应的情况下,服务器1使共享呼叫机2进行自动响应。如图1所示,服务器1具备控制部10、存储部11、对讲机通信部12以及终端通信部13。

对讲机通信部12经由公寓控制器5以及对讲机控制装置4而进行与共享呼叫机2的通信。终端通信部13进行与移动终端6的通信。

存储部11存储服务器1所使用的各种数据。存储部11至少存储面部图像数据库(面部图像db)111、以及声音数据112。声音数据112是可用于自动响应的多个声音数据。

面部图像db111是对包括来访者的面部图像在内的来访者的信息(来访者信息)进行管理的数据库(db)。图4是表示面部图像db111的一具体例的图。此外,面部图像db111的数据结构以及数据的内容不限定于图示的例子。如图示那样,面部图像db111按每个监视器id管理来访者信息。换言之,面部图像db111是按每个住户来管理来访该住户的来访者的db。图4示出监视器id示出“ipaa0405”的栏所储存的来访者信息190a~190d。在该监视器id中,“aa”与公寓控制器id对应,“0405”与房间号码对应。此外,以下在不需要区别来访者信息190a~190d的情况下,称为来访者信息190。

如图示那样,来访者信息190是来访aa公寓的405号室的来访者的信息。来访者信息190包括:来访者的面部图像901、来访者的名字、来访者的种类(类型)、表示其种类的标记902、最终访问时间、访问次数、以及表示面部图像901所包含的面部的特征点的数据(特征点数据)。来访者的面部图像901是图示的面部图像901a~901d的通称。表示种类的标记902是图示的标记902a~902c的通称。面部图像901例如使用控制部10从拍摄映像捕获到的静止图像即可。此外,有时将来访者的名字、来访者的种类、表示该种类的标记902称为设定信息。另外,对特征点数据为面部图像901所包含的数据的情况进行说明,因此图4中未图示。此外,特征点数据也可以与面部图像901分开而包含于来访者信息190。另外,图示的来访者信息190在“ipaa0405”的栏中,按最终访问时间新的顺序排列,但不限定于该例子。

来访者信息190a是作为aa公寓的405号室的居民的朋友的“田中氏”的来访者信息。来访者信息190a包括田中氏的面部图像901a,并选择标记902中的表示朋友、熟人的标记902a。来访者信息190b是邮差的来访者信息。来访者信息190b包含邮差的面部图像901b,选择标记902的表示邮差、宅急送的配送员的标记902b。来访者信息190c是推销人员的来访者信息。来访者信息190c包含推销人员的面部图像901c,选择标记902中的表示应该注意的人物的标记902c。来访者信息190d是设定各种信息前的来访者信息。来访者信息190d包括来访aa公寓的405号室的来访者的面部图像901d,但名字、种类等为“未设定”。此外,标记902d是表示不确定来访者是什么人的标记。标记902d也可以如来访者信息190d那样,在名字、种类等“未设定”的情况下自动地选择。

控制部10总体控制服务器1的功能。控制部10包括输出控制部101、面部识别部102、以及数据库更新部(db更新部)103。

输出控制部101对使共享呼叫机2进行的自动响应进行控制。具体而言,输出控制部101若从对讲机通信部12获取从共享呼叫机2发送的拍摄图像,则将该拍摄图像向面部识别部102输出,进行面部识别。而且,输出控制部101从面部识别部102获取识别结果。

另外,输出控制部101若经由对讲机通信部12而获取从公寓控制器5接收到的包含监视器id的呼叫信号,则将该呼叫信号向面部识别部102输出。

面部识别部102基于拍摄图像来进行来访者的面部识别。具体而言,面部识别部102若从输出控制部101获取拍摄图像,则从拍摄图像所包含的来访者的面部抽出特征点。接着,面部识别部102若从输出控制部101获取呼叫信号,则从该呼叫信号所包含的监视器id所表示的面部图像db111内的栏确定出包含抽出的特征点一致的面部图像901在内的来访者信息190。具体而言,面部识别部102将抽出的特征点、与各来访者信息190所含的特征点数据进行比较,确定出一致率为规定值以上的来访者信息190。这样,通过在获取呼叫信号前,进行来访者的面部的特征点的抽出,从而能够缩短从来访者进行呼叫操作开始直至确定出来访者信息190为止的时间。而且,面部识别部102读出确定出的来访者信息190,作为识别结果而向输出控制部101输出。

面部识别部102在无法确定出包含特征点一致的面部图像901在内的来访者信息190的情况下,即在拍摄图像所含的来访者第一次来访居民处的情况下,将表示该主旨的通知作为识别结果而向输出控制部101输出。

再次返回输出控制部101的说明。输出控制部101若从面部识别部102获取来访者信息190,则确定出该来访者信息所含的来访者的种类或者标记。而且,从声音数据112确定出并读出与确定出的种类或者标记对应的声音数据。另一方面,输出控制部101若接受从面部识别部102无法确定出来访者信息190的主旨的通知,则从声音数据112确定出并读出无法确定出来访者信息190的情况下的声音数据(即,规定的声音数据)。

而且,输出控制部101经由对讲机通信部12而将确定出的声音数据向从监视器id确定出的公寓(例如,公寓控制器id为“aa”的公寓)的公寓控制器5发送。由此,将该声音数据向确定出的公寓的共享呼叫机2发送,进行自动响应。

图5是表示自动响应的变更的图。例如,在面部识别部102读出来访者信息190a的情况下,输出控制部101使共享呼叫机2进行图5的(a)所示的自动响应。即,输出控制部101作为熟人、友人来访的情况下的自动响应所使用的声音数据,使用“抱歉。我现在外出中。”这样的富有亲切感声音的声音数据。另外,例如在面部识别部102读出来访者信息190b的情况下,输出控制部101使共享呼叫机2进行图5的(b)所示的自动响应。即,输出控制部101作为邮差、送货人员来访的情况下的自动响应所使用的声音数据,而使用“现在不在家,请放入交货箱。”这样的催促向交货箱的放入的声音的声音数据。由此,能够防止货物的再配送。另外,例如在面部识别部102无法确定出来访者信息190的情况下,输出控制部101使共享呼叫机2进行图5的(c)所示的自动响应。即,输出控制部101作为无法确定出来访者的情况下的自动响应所使用的声音数据,而使用“现在不在家。”这样的无论来访者是谁均能够使用的声音的声音数据。此外,图5所示的自动响应的变更是一个例子,无意将自动响应的内容限定于图5的例子。

另外,如图5所示,输出控制部101也可以与声音的输出一起使响应内容显示于显示部27。在该例子的情况下,也可以输出控制部101对声音数据进行文本转换,并将该文本向共享呼叫机2发送,由此实现响应内容的显示。或者,输出控制部101也可以通过将与存储于存储部11的各声音数据对应的文本(图1中未图示)与声音数据一起读出并向共享呼叫机2发送,从而实现响应内容的显示。

在本实施方式中,输出控制部101在从共享呼叫机2输入呼叫操作开始经过规定时间,也不进行使用了室内监视器3的响应的情况下,使共享呼叫机2进行自动响应。具体而言,共享呼叫机2的呼叫控制部201若将呼叫信号向服务器1以及室内监视器3发送,则对从发送该呼叫信号起的经过时间进行测量。而且,在经过时间超过了规定的阈值时,呼叫控制部201向服务器1发送自动响应数据要求。输出控制部101若接收自动响应数据要求,则将确定出的声音数据向共享呼叫机2发送。此外,使用了室内监视器3的响应是指例如通过在室内监视器3输入居民的声音、或者由居民来操作室内监视器3,从而将前门解锁。

另外,输出控制部101若从面部识别部102获取来访者信息190,则将该来访者信息所包含的最终访问时间更新为呼叫信号的接收时刻,并且使访问次数增加1,存储于面部图像db111。换言之,输出控制部101对面部识别部102所确定出的来访者信息190的最终访问时间以及访问次数进行更新。

另一方面,输出控制部101若接受无法从面部识别部102确定出来访者信息190的主旨的通知,则基于拍摄图像生成新的来访者信息190。具体而言,输出控制部101通过捕获拍摄图像而生成面部图像901,并将最终访问时间与访问次数相关联而生成来访者信息190。最终访问时间使用呼叫信号的接收时刻即可。另外,访问次数为1即可。由此,生成图4所示的来访者信息190d那样的名字、种类等“未设定”的来访者信息190。输出控制部101将新生成的来访者信息190向面部图像db111的适当的栏储存。

db更新部103基于从移动终端6发送的来访者信息190的更新指示,来更新来访者信息190。此外,基于移动终端6的来访者信息190的更新例如在图4所示的来访者信息190d设定来访者的名字、种类。

移动终端6接受居民的操作输入而向服务器1发送用户id即识分开居住民的信息。例如,移动终端6通过居民的操作而起动应用程序,接受用于登录的用户id和密码,向服务器1发送。

db更新部103若接收用户id,则参照将用户id与监视器id相关联而成的数据库(图1中未图示),确定出监视器id。而且,读出面部图像db111的确定出的监视器id的栏所包含的来访者信息190,向移动终端6发送。

移动终端6显示接收到的来访者信息190。而且,若接受选择由居民进行的来访者信息190的操作,则使对选择出的来访者信息190的各种信息进行设定的画面(设定画面)显示。移动终端6接受用于进行基于居民的设定操作、例如来访者的名字的输入、种类以及标记的选择、面部图像901的变更等的操作。而且,移动终端6若接受规定的操作,则将变更后的来访者信息190向服务器1发送。db更新部103通过将所接收到的来访者信息190存储于面部图像db111,从而更新来访者信息190。此外,设定画面的详情由后述的实施方式3进行说明。

另外,此处,对居民操作移动终端6而变更来访者信息190的例子进行了说明,但也可以居民操作室内监视器3而能够更新来访者信息190。例如,上述的应用程序也可以安装于室内监视器3,室内监视器3也可以具有以上述的应用程序为基准的功能。(响应处理的流程)

接下来,参照图6,对共享呼叫机2所执行的响应处理的流程进行说明。图6是表示响应处理的流程的一个例子的流程图。

首先,拍摄控制部202对基于人感应传感器22的来访者的检测进行待机(步骤s1,以下在括弧中省略“步骤”)。若从人感应传感器22获取表示检测到来访者的检测信号,则拍摄控制部202控制拍摄部21而拍摄来访者(s2)。而且,拍摄控制部202将拍摄图像向服务器1发送(s3)。

呼叫控制部201对基于来访者的呼叫操作进行待机(s4)。若输入呼叫操作(s4中“是”),则呼叫控制部201将呼叫信号从服务器1以及房间号码向特定的室内监视器3发送(s5)。此时,室内监视器3与呼叫信号一起接收拍摄图像。由此,从室内监视器3输出呼叫音,在室内监视器3显示有拍摄图像。

接着,呼叫控制部201对来自室内监视器3的响应进行待机(s6)。在没有来自室内监视器3的响应的情况下(s6中“否”),呼叫控制部201继续待机直至经过规定时间为止(s8中“否”)。在有响应的情况下(s6中“是”),呼叫控制部201在作为响应而从室内监视器3接收到声音数据的情况下,使使用了该声音数据的声音从声音输出部26输出(s7)。此外,在完成前门的解锁的情况下等,在作为响应而未接收声音数据的情况下,省略步骤s7的处理。

在即使经过规定时间也没有来自室内监视器3的响应的情况下(s8中“是”),呼叫控制部201将自动响应数据要求向服务器1发送(s9)。而且,呼叫控制部201对自动响应的声音数据的接收进行待机(s10)。若接收该声音数据(s10中“是”),则呼叫控制部201使使用了该声音数据的声音从声音输出部26输出。即,使自动响应的声音输出(s11)。以上响应处理结束。(响应内容决定处理的流程)

接下来,参照图7,对服务器1所执行的响应内容决定处理的流程进行说明。图7是表示响应内容决定处理的流程的一个例子的流程图。

首先,输出控制部101对拍摄图像的接收进行待机(s21)。若接收拍摄图像(s21中“是”),则输出控制部101将该拍摄图像向面部识别部102输出。面部识别部102若获取拍摄图像则执行面部识别(s22)。具体而言,面部识别部102从拍摄图像抽出特征点。

接着,输出控制部101对呼叫信号的接收进行待机(s23)。若接收呼叫信号(s23中“是”),则输出控制部101将该呼叫信号向面部识别部102输出。面部识别部102若获取呼叫信号,则在该呼叫信号所包含的监视器id所表示的面部图像db111的栏中,对是否存在包括具有抽出的特征点的面部图像901在内的来访者信息190进行判定。即,对来访者是否注册于面部图像db111进行判定(s24)。

在来访者注册于面部图像db111的情况下(s24中“是”),面部识别部102读出表示该来访者的来访者信息190,向输出控制部101输出。而且,输出控制部101确定出获取到的来访者信息190具有的设定信息所表示的自动响应的声音数据(s25)。具体而言,输出控制部101确定出获取到的来访者信息190的来访者的种类、或者表示该种类的标记902,并确定出并读出与该确定出的种类或者标记902对应的声音数据。

另一方面,在来访者未注册于面部图像db111的情况下(s24中“否”),面部识别部102将该主旨向输出控制部101通知。输出控制部101若接受该通知,则确定出并读出规定的自动响应的声音数据(s26)。

接着,输出控制部101对自动响应数据要求进行待机(s27)。在接收了自动响应数据要求的情况下(s27中“是”),输出控制部101将读出的自动响应的声音数据向共享呼叫机2发送(s28)。以上,响应内容决定处理结束。

此外,共享呼叫机2也可以将表示存在来自室内监视器3的响应的通知向服务器1发送。该情况下,服务器1即使未执行步骤s28的处理,也可以将接收该通知作为触发而结束响应内容决定处理。

另外,在本实施方式中,由共享呼叫机2进行从完成呼叫操作开始的时间的测量,但该测量也可以由服务器1进行。该情况下,在服务器1的输出控制部101从接收呼叫信号起开始时间的测量,未接收表示有来自室内监视器3的响应的通知而经过了规定时间的情况下,将自动响应的声音数据向共享呼叫机2发送。

(变形例)

图8是表示本实施方式的变形例的自动响应的一个例子的图。输出控制部101也可以构成为:在一来访者未注册于面部图像db111的情况下,如图8的(b)所示,不使共享呼叫机2进行自动响应。此外,输出控制部101在来访者注册于面部图像db111的情况下,如上述的例子同样,使共享呼叫机2执行使用了设定信息所表示的声音数据的自动响应即可(参照图8的(a))。此外,在图8的(a)的例子中,表示来访者为熟人、朋友的情况下的自动响应。根据这样的结构,由于没有明确对可疑人表明家中无人,所以防范犯罪的安全性提高。

〔实施方式2〕

基于图9~图14对本发明的其他实施方式详细地进行说明。此外,为了方便说明,对具有与由上述实施方式说明的部件相同的功能的部件标注相同的符号,不重复其说明。

本实施方式的服务器1在由共享呼叫机2进行了呼叫操作时,进行来访者的面部识别,使室内监视器3执行与识别结果对应的呼叫动作(通知)。具体而言,本实施方式的声音数据112包括:在室内监视器3作为呼叫动作而输出声音时可使用的多个声音数据(通知声音数据)。输出控制部101在从面部识别部102获取来访者信息190时,读出与该来访者信息190所含的设定信息对应的通知声音数据,控制对讲机通信部12,将该声音数据向室内监视器3发送。该通知声音数据经由公寓控制器5以及对讲机控制装置4而向室内监视器3发送。换句话说,本实施方式的公寓控制器5将服务器1与室内监视器3以能够通信的方式连接。另外,本实施方式的对讲机控制装置4将从服务器1接收到的通知声音数据向室内监视器3发送。

此外,输出控制部101也可以与通知声音数据一起将设定信息具体而言来访者信息190所含的来访者的种类或者标记902向室内监视器3发送。

另外,输出控制部101在从面部识别部102获取到来访者未注册于面部图像db111的主旨的通知时,读出规定的通知声音数据,向室内监视器3发送。

本实施方式的对讲机控制装置4在接收到从服务器1发送的通知声音数据时,与该通知声音数据一起将从共享呼叫机2接收到的呼叫信号以及拍摄图像向室内监视器3发送。

本实施方式的室内监视器3若从对讲机控制装置4接收呼叫信号、拍摄图像以及通知声音数据,则进行呼叫动作。图9是表示本实施方式的室内监视器3的动作的图。图9的(a)示出面部识别部102读出来访者信息190a的情况下即注册于面部图像db111的朋友来访的情况下的呼叫动作。如图9的(a)所示,控制部30使声音输出部32输出“您的朋友来了”这样的声音。该声音的声音数据是输出控制部101参照来访者信息190a所包含的来访者的种类或者标记902而确定出的通知声音数据。由此,居民能够马上识别来访者是什么人(在图示的例子的情况下,来访者为朋友)。此外,在与通知声音数据一起接收来访者的种类或者标记902的情况下,控制部30也可以取代由实施方式1说明过的ui341,而使图9的(a)所示的ui341a显示于显示部33。ui341a如图示那样,包括来访者的种类以及表示该种类的标记。由此,居民即使没有听到声音,也能够在响应前确定出来访者是什么人。

如上述那样,室内监视器3所输出的声音根据基于面部识别部102的识别结果即读出怎样的来访者信息190而改变。例如,在面部识别部102读出来访者信息190b的情况下,输出控制部101向室内监视器3发送的通知声音数据的内容即室内监视器3输出的声音也可以是“邮件到了”。另外,例如,在面部识别部102读出来访者信息190c的情况下,室内监视器3所输出的声音也可以为“推销人员。请注意。”。

另外,图9的(b)表示在面部识别部102进行了无法确定出来访者信息190的主旨的通知的情况下,即表示来访者未注册于面部图像db111的情况下的呼叫动作。如图9的(b)所示,控制部30也可以使声音输出部32输出“有客人来了”这样的不论来访者是谁均能够使用的声音。或者,控制部30也可以使“未注册的人来了”这样的居民能够容易地理解未注册的情况下的声音输出。该声音的声音数据是输出控制部101基于来自面部识别部102的通知而确定出的规定的通知声音数据。

(面部识别失败的情况下的处理)

根据来访者的站立位置,有时来访者的面部整体未包含于拍摄图像。例如,有时推销人员等为了避免被确定出,故意站立在拍摄不到面部的位置进行呼叫操作。该情况下,面部识别部102无法进行特征点的抽出,面部识别失败。而且,若在面部识别失败的情况下使室内监视器3进行呼叫动作,则对讲机系统100恐怕导致使居民进行居民不想要的应答(例如,与推销人员的对话)。

图10是表示本实施方式的室内监视器3的动作的其他例子的图。图10的(a)是表示面部识别部102面部识别成功的情况下的室内监视器3的动作的图。具体而言,如上述那样,输出控制部101将与设定信息对应的通知声音数据向室内监视器3发送,由此控制部30使呼叫居民的声音向声音输出部32输出。向室内监视器3发送的通知声音数据也可以是基于表示来访者未注册的通知的规定的通知声音数据。

另一方面,图10的(b)是表示面部识别部102面部识别失败的情况下的室内监视器3的动作的图。面部识别部102在面部识别失败的情况下,将该主旨向输出控制部101通知。输出控制部101经由公寓控制器5将该通知(识别失败通知)向对讲机控制装置4发送。对讲机控制装置4将识别失败通知向室内监视器3发送,另一方面,未接收通知声音数据,因此未将呼叫信号向室内监视器发送。由此,室内监视器3如图示那样不进行呼叫动作。由此,居民未被通知来访者的来访,因此能够避免不想要的应答。

另外,服务器1也可以从共享呼叫机2输出基于面部识别失败的通知。图11是表示面部识别失败的情况下的共享呼叫机2的动作的图。

具体而言,面部识别部102在面部识别失败的情况下,将表示该主旨的通知(识别失败通知)向输出控制部101输出。输出控制部101在接收到呼叫信号时,将该识别失败通知向共享呼叫机2发送。面部识别部102面部识别失败的情况是指无法从拍摄图像所包含的面部足够地抽出特征点。例如,如图11的(a)所示,可举出:通过来访者站立在拍摄部21的拍摄范围外、拍摄范围的边界附近,从而未面部整体未被拍摄的情况。此外,可举出:来访者带着墨镜、口罩等的情况,对来访者照明不充分的情况等。

接收了识别失败通知的共享呼叫机2的呼叫控制部201使用用于对来访者通知识别失败的声音数据(警告声音数据),使声音输出部26输出声音。警告声音数据也可以存储于共享呼叫机2,也可以存储于服务器1,与识别失败通知一起从服务器1接收。另外,如图11的(b)所示,声音的内容也可以如“呼叫失败。在显示有面部整体的状态下,再次按下呼叫键。”那样,通知未由室内监视器3进行呼叫动作,催促站立在映出面部整体那样的位置的内容。此外,声音的内容不限定于该例子。例如,也可以包括通知面部识别失败的内容,也可以除了上述的内容之外,还包括“若戴墨镜、口罩请摘下”这样的内容。另外,呼叫控制部201也可以与上述的声音一起(或者取代声音)而使显示部27显示与上述的声音相同内容的消息。

由此,能够对来访者催促站立于映出面部整体那样的位置。另外,可估计到不愿意面部被确定出的来访者在被这样通知的情况下,避免进一步的呼叫。换句话说,能够将不愿意面部被确定出的来访者排除。

另外,输出控制部101也可以在从面部识别部102获取到识别失败通知时,在接收呼叫信号前,将识别失败通知向共享呼叫机2发送。由此,呼叫控制部201能够在来访者按下呼叫键前进行声音输出、显示,能够使来访者识分开居住民的呼叫失败。另外,此时,面部识别部102也可以构成为:取代识别失败通知,而将是否能够足够抽出特征点向输出控制部101通知。

输出控制部101在通知能够足够抽出特征点的情况下,将表示能够进行居民的呼叫的可呼叫通知向共享呼叫机2发送。另一方面,输出控制部101在通知无法足够地抽出特征点的情况下,将表示无法进行居民的呼叫的不可呼叫通知向共享呼叫机2发送。由此,呼叫控制部201能够在来访者按下呼叫键前,使居民识别来访者是否能够呼叫。例如,呼叫控制部201在接收了可呼叫通知的情况下,使“可呼叫”这样的文本显示于显示部27,另一方面,在接收了不可呼叫通知的情况下,使“无法呼叫”这样的文本显示于显示部27。

如以上那样,在来访者按下呼叫键前,对来访者进行通知,由此能够防止来访者多次按下呼叫键,便利性提高。

(呼叫内容决定处理的流程)

接下来,参照图12,对服务器1所执行的呼叫内容决定处理的流程进行说明。图12是表示呼叫内容决定处理的流程的一个例子的流程图。此外,针对进行与实施方式1中参照图7而说明过的响应内容决定处理相同的处理的步骤,标注与图7相同的步骤号码,并省略此处的说明。

在步骤s22后,输出控制部101对面部识别部102是否面部识别成功进行判定(s31)。具体而言,输出控制部101对是从面部识别部102获取到识别结果、还是获取到面部识别失败的主旨的通知进行判定。此外,将来访者未注册于面部图像db111的主旨的通知判定为识别结果的获取。

在输出控制部101判定为面部识别成功的情况下(s31中“是”),呼叫内容决定处理进入步骤s23。在步骤s24中为是的情况下,面部识别部102读出表示该来访者的来访者信息190,向输出控制部101输出。而且,输出控制部101确定出并读出获取到的来访者信息190具有的设定信息所表示的通知声音数据(s33)。另一方面,在步骤s24中“否”的情况下,面部识别部102将该主旨向输出控制部101通知。输出控制部101若接受该通知,则确定出并读出规定的通知声音数据(s34)。而且,输出控制部101将读出的通知声音数据向室内监视器3发送(s35)。以上,呼叫内容决定处理结束。

在步骤s31中,判定为面部识别失败的情况下(s31中“否”),输出控制部101将面部识别失败向共享呼叫机2以及室内监视器3通知(s32)。而且,呼叫内容决定处理结束。

(呼叫处理的流程)

接下来,参照图13,对室内监视器3所执行的呼叫处理的流程进行说明。图13是表示呼叫处理的流程的一个例子的流程图。

控制部30对识别失败通知的接收(s41)、或者通知声音数据的接收进行待机(s42)。在未接收识别失败通知(s41中“否”)而接收了通知声音数据的情况下(s42中“是”),控制部30执行呼叫动作。即,使使用了通知声音数据的通知声音向声音输出部32输出(s43)。

另一方面,在接收了识别失败通知的情况下(s41中“是”),呼叫处理结束。即,不执行步骤s43的处理。

(响应处理的流程)

接下来,参照图14,对共享呼叫机2所执行的响应处理的流程进行说明。图14是表示响应处理的流程的其他例子的流程图。此外,对进行与实施方式1中参照图6而说明的响应处理相同的处理的步骤,标注与图6相同的步骤号码,并省略此处的说明。

如图14所示,本实施方式的共享呼叫机2具备与进行实施方式1所说明的响应处理的功能。换言之,实施方式2的结构能够应用于实施方式1。

在步骤s4后,呼叫控制部201向服务器1发送呼叫信号(s51)。此外,向室内监视器3的呼叫信号被对讲机控制装置4保持,在对讲机控制装置4从服务器1接收了通知声音数据时向室内监视器3发送。

呼叫控制部201对来自室内监视器3的响应声音、或者来自服务器1的识别失败通知的接收进行待机(s52)。在接收了识别失败通知的情况下(s52中“是”),呼叫控制部201使用警告声音数据而输出警告声音。(s53)。而且,响应处理向步骤s2返回。此外,呼叫控制部201也可以与警告声音一起使该内容的文本显示于显示部27。

〔实施方式3〕

基于图15~图22对本发明的又一其他实施方式详细地进行说明。此外,为了方便说明,对具有与上述实施方式中说明的部件相同的功能的部件标注相同符号,不重复其说明。

图15是表示本实施方式的对讲机系统200所包含的装置的主要部分结构的一个例子的框图。如图15所示,对讲机系统200包括:服务器1a、共享呼叫机2、室内监视器3、对讲机控制装置4、公寓控制器5、以及移动终端6(通话设备)。此外,共享呼叫机2以及室内监视器3的主要部分结构与图1所示的结构相同,因此省略图15中的记载。

(对讲机系统200)

图16是表示本实施方式的对讲机系统200的概要的图。对讲机系统200是由实施方式1以及2说明过的对由来访者进行的居民的呼叫、来访者与居民的通话、由居民进行的前门的解锁等进行管理的系统。并且,对讲机系统200兼顾提供能够在预先注册的用户(图16中,父亲、母亲、太郎(孩子))之间共享信息的电子留言板(所谓的社交网络服务)的系统。换句话说,预先注册的用户能够通过移动终端(例如移动终端6)等来阅览电子留言板。

一个电子留言板仅从具有在电子留言板中追加用户的权限的用户(例如电子留言板的作成者)接受到邀请的用户能够参加,在图16的例子中,父亲所作成的电子留言板仅邀请母亲和太郎。换句话说,本实施方式的电子留言板是仅家族能够阅览的电子留言板(家庭留言板)。此外,以下,在需要区别父亲、母亲、太郎所具有的移动终端6的情况下,如图16所示,分别称为移动终端6a、6b、6c。

此外,只要是从具有追加用户的权限的用户接受了邀请的人,不局限于居住于相同住户的人,也能够参加家庭留言板。换言之,家庭留言板的参加者、即能够阅览家庭留言板的移动终端6的用户不限定于居民。例如,分开居住的亲戚等也能够参加家庭留言板。

服务器1a若进行通过移动终端6同意对家庭留言板的邀请的操作,则从该移动终端6获取用户id。而且,服务器1a将该用户id追加至实施方式1中说明过的将监视器id与用户id相关联而成的数据库(未图示)。由此,移动终端6的用户参加家庭留言板。换言之,参加家庭留言板的用户的移动终端6是在服务器1a中注册于该数据库的移动终端。

对于对讲机系统200而言,用户能够使用自身的移动终端6来阅览家庭留言板、或在家庭留言板投稿文章。另外,对于对讲机系统200而言,在来访者使用共享呼叫机2而呼叫了某个住户的居民(在本实施方式中父亲、母亲、太郎)时,将表示来访者来了的来客消息向家庭留言板投稿。该来客消息作为来自“对讲机君”的文章而被投稿,所述“对讲机君”是将对讲机(共享呼叫机2以及室内监视器3)拟人化的。

并且,对于对讲机系统200而言,移动终端6显示家庭留言板,并且接受上述来客消息所含的用户向ui的操作输入,由此能够实现用户(居民)与来访者的通话。换言之,居民能够使用移动终端6进行对来访者的应答。移动终端6例如能够通过移动电话线路经由网络与服务器1a通信。因此,移动终端6的用户从住户外也能够利用家庭留言板,能够从住户外对来访者进行应答。

(服务器1a)

服务器1a对沿着时间序列显示投稿的消息的通信服务投稿消息。换句话说,将来客消息、用户使用移动终端6而作成的文章向家庭留言板投稿。另外,服务器1a进行家庭留言板的显示画面(留言板画面)相对于移动终端6的提示以及文章的管理等与家庭留言板相关的全部处理。并且,服务器1a接收从移动终端6以及共享呼叫机2发送的声音数据,分别向共享呼叫机2以及移动终端6发送。由此,实现居民与来访者的声音通话。

如图15所示,服务器1a具备控制部10a、存储部11a、对讲机通信部12、终端通信部13、以及留言板管理部14。此外,对讲机通信部12以及终端通信部13与实施方式1所说明的结构相同,因此省略此处的说明。

留言板管理部14进行与留言板画面相对于移动终端6的提示以及文章的管理等与家庭留言板相关的全部处理。具体而言,留言板管理部14接受后述的投稿部105或者移动终端6所生成的投稿数据,并向家庭留言板投稿。更具体而言,留言板管理部14若接受投稿数据,则生成由表示该投稿数据的文字列(例如html数据)和图像构成的数据(以下,投稿显示用数据),并向家庭留言板投稿。

另外,留言板管理部14根据从移动终端6发送的家庭留言板获取要求,将投稿显示用数据向移动终端6发送。此外,家庭留言板获取要求是为了在移动终端6显示家庭留言板而将所需要的数据向服务器1a发送的要求。另外,在留言板管理部14接收了家庭留言板获取要求时,发送投稿显示用数据的结构是一个例子。例如,留言板管理部14也可以每当在生成表示新的投稿数据的投稿显示用数据,不接收留言板获取要求,发送向移动终端6生成的投稿显示用数据。

存储部11a存储服务器1a所使用的各种数据。存储部11a至少存储面部图像db111a、声音数据112、以及投稿用数据113。此外,声音数据112由实施方式1进行了说明,因此省略此处的说明。

投稿用数据113是用于生成以及修正来客消息的数据。具体而言,投稿用数据113是来客消息所包含的文本数据、图像数据、以及ui,但不限定于该例子。

面部图像db111a与实施方式1所说明的面部图像db111同样,是管理来访者信息的db。图17是表示面部图像db111a的一具体例的图。此外,面部图像db111a的数据结构以及数据的内容不限定于图示的例子。

在图17中,监视器id示出储存于“ipaa0405”的栏的来访者信息191a~191d。此外,以下,在不需要区别来访者信息191a~191d的情况下,称为来访者信息191。

来访者信息191在包括转送目的地信息903(图示的转送目的地信息903a以及903b的通称)这点上与实施方式1所说明的来访者信息190不同。转送目的地信息903是表示通知来访者信息191所表示的来访者进行了来访的居民的信息。此外,在本实施方式中,对转送目的地信息903为实施方式1中说明过的设定信息所包含的信息的情况进行说明。

在来访者信息191a的情况下,转送目的地信息903a表示通知来访者进行了来访的居民表示“父亲”。即,将来访者信息191a所表示的来访者的来访向父亲的移动终端6a通知。

另一方面,在来访者信息191b的情况下,转送目的地信息903b表示通知来访者进行了来访的居民是“母亲”以及“父亲”。这样,在通知目的地有多个的情况下,在本实施方式中,服务器1a对“转送目的地”后记载的数字(号码)最小的居民先进行通知,在该居民未对来访者应答的情况下,向下个号码小的居民进行通知。即,将来访者信息191b所表示的来访者的来访首先向母亲的移动终端6b通知,在母亲未应答的情况下,向父亲的移动终端6a通知。此外,来访者进行了来访的情况向移动终端6的通知的详情将后述。

此外,在图17中,为了说明,将转送目的地信息903作为“父亲”、“母亲”等,但实际上是能够确定出父亲、母亲所具有的移动终端(即,移动终端6a、6b)的信息。

控制部10a总体控制服务器1a的功能。控制部10a包括输出控制部101a、面部识别部102、以及db更新部103。此外,面部识别部102以及db更新部103在实施方式1中进行了说明,因此省略此处的说明。

输出控制部101a对来访者进行了来访的情况向移动终端6的通知(来访通知)进行控制。输出控制部101a包括通知部104、投稿部105、以及响应部106。

投稿部105生成来客消息,使留言板管理部14向家庭留言板投稿。具体而言,投稿部105若从对讲机通信部12获取从共享呼叫机2发送的拍摄图像,则将该拍摄图像向面部识别部102输出,进行面部识别。另外,投稿部105若经由对讲机通信部12而从获取公寓控制器5接收到的包括监视器id在内的呼叫信号,则将该呼叫信号向面部识别部102输出。

投稿部105若从面部识别部102作为识别结果而获取来访者信息191,则确定出该来访者信息所包含的来访者的种类或者标记。而且,使用投稿用数据113生成与确定出的种类或者标记对应的内容的来客消息。另一方面,投稿部105若从面部识别部102接收无法确定出来访者信息191的主旨的通知,则生成无法确定出来访者信息191的情况下的来客消息(规定的来客消息)。而且,投稿部105将生成的来客消息向留言板管理部14输出,使来客消息向家庭留言板投稿。

图18是表示移动终端6所显示的留言板画面的图、以及表示来自该留言板画面的画面转换的图。图18的(a)是表示来访者信息191a(参照图17)所表示的来访者(田中氏)进行了来访时的留言板画面的图。

在田中氏进行了来访时,投稿部105从面部识别部102获取来访者信息191a。而且,投稿部105生成图18的(a)所示的来客消息71b。具体而言,投稿部105从来访者信息191a读出表示来访者的名字的文本73以及标记74,包含于来客消息。另外,投稿部105通过捕获拍摄图像而生成来访者的面部图像72,包含于来客消息。另外,投稿部105从投稿用数据113读出表示投稿者的文本(对讲机君)以及图标、ui75,包含于来客消息。另外,投稿部105将现在的时间作为投稿时间(2017/10/1014:01)而包含于来客消息。根据以上内容,生成来客消息71b,通过留言板管理部14投稿家庭留言板。此外,面部图像72也可以使用来访者信息191所包含的面部图像901,但若考虑到进行错误的面部识别的可能性,则优选使用捕获了拍摄图像的图像。另外,也可以作为面部图像72而捕获了拍摄图像的图像、和确定出的来访者信息191所包含的面部图像901双方包含于来客消息。

留言板管理部14以时间序列排列投稿。因此,在图示的例子中,来客消息71b配置于投稿71a的正下方。

另一方面,在未存储于面部图像db111a的来访者进行了来访时,投稿部105若从面部识别部102接受无法确定出来访者信息的主旨的通知,则生成不包括表示来访者的名字的文本73、以及标记74在内的来客消息。

另外,投稿部105若在留言板管理部14输出来客消息,则将该主旨向通知部104通知。投稿部105在获取来访者信息191的情况下,将来访者信息191所包含的转送目的地信息903与通知一并向通知部104输出。

响应部106对使用了移动终端6和共享呼叫机2的居民与来访者的通话进行控制。具体而言,响应部106若从移动终端6接收通话开始指示,则使该移动终端6与共享呼叫机2以能够通话的方式连接。而且,响应部106生成通话画面,并向移动终端6发送,由此使通话画面显示于移动终端6。此外,详细情况将后述,但通话开始指示包括:能够确定出移动终端6的终端识别信息。

如图18的(a)所示,移动终端6的用户若输入对ui75的触摸操作,则通话开始指示从移动终端6向服务器1a发送。响应部106接受该指示,例如生成图18的(b)所示的通话画面,向移动终端6发送。图18的(b)是表示通话画面的一具体例的图。

如图示那样,通话画面包括拍摄图像81和ui82。拍摄图像81是从共享呼叫机2向服务器1a发送的拍摄图像(动画)。ui82是用于结束与来访者的通话的ui。另外,通话画面如图示那样包括各种文本以及图标。图示的图标(记载为“fi”、“mi”、“ti”图标)的详情将后述。此外,ui82、各种文本以及图标存储于存储部11a即可(图15中未图示)。

如图18的(b)所示,若移动终端6的用户输入对ui82的触摸操作,则通话结束指示从移动终端6向服务器1a发送。响应部106若接受该指示,则将移动终端6与共享呼叫机2的连接切断,使通话结束。

再次返回投稿部105的说明。投稿部105若接受通话结束指示,则修正来客消息。图18的(c)是表示包括基于通话结束而修正的来客消息的留言板画面的图。具体而言,投稿部105若接受通话结束指示,则如图18的(c)所示,从来客消息71b删除文本73、标记74以及ui75,取而代之,生成追加了“从智能手机进行了通话。”以及“应答者:父亲”这样的文本、以及表示通话结束的时间的文本而成的来客消息71c。此外,上述文本作为投稿用数据113而存储于存储部11a。而且,投稿部105将来客消息71c向留言板管理部14输出,将来客消息71b置换为来客消息71c。留言板管理部14将置换了来客消息后的显示画面向移动终端6发送。由此,图18的(c)所示的显示画面显示于移动终端6。

此外,图示的“从智能手机进行了通话。”以及“应答者:父亲”这样的文本是“应答者与使用了移动终端6a的来访者的通话”的情况下的例子,应答结束后的来客消息的内容不限定于来客消息71c。应答结束后的来客消息的变更在实施方式4中后述。

在图示的例子中,投稿部105确定出通话开始指示所包含的终端识别信息表示移动终端6a,将上述的文本追加于来客消息。具体而言,存储部11a存储将终端识别信息与文本(或者能够确定出文本的信息)相关联而成的数据库(图15中未图示),投稿部105参照该数据库,决定追加于来客消息的文本。

通知部104将被投稿了来客消息的情况向参加家庭留言板的用户的移动终端6通知。具体而言,通知部104若与来自投稿部105的通知一起接收转送目的地信息903,则发送表示向转送目的地信息903中的号码最小的转送目的地所表示的移动终端6投稿来客消息的通知(投稿通知)。另外,通知部104在从发送投稿通知起经过规定时间也未接收通话开始指示的情况下,向下个号码小的转送目的地所表示的移动终端6发送投稿通知。另一方面,未向未包含于转送目的地信息903的移动终端6投稿通知发送。

此外,通知部104在未与来自投稿部105的通知一起获取到转送目的地信息903的情况下,即来访者未存储于面部图像db111a的情况下,向与监视器id相关联的所有的居民的移动终端6发送投稿通知。

图19是表示与移动终端6的投稿通知相关的画面例的图。具体而言,图19是与表示来访者信息191a(参照图17)所表示的来访者(田中氏)进行了来访的来客消息的投稿通知相关的画面例。图19的(a)是移动终端6a(父亲所具有的移动终端6)的画面例,图19的(b)是移动终端6b(母亲所具有的移动终端6)的画面例。即,通知部104根据获取到的转送目的地信息903a,仅对移动终端6a发送投稿通知。由此,如图19的(a)所示,对于移动终端6a而言,对用户通知被投稿了来客消息,相对于此,如图19的(b)所示,对于移动终端6b而言,对用户未通知被投稿了来客消息。

移动终端6的被投稿了来客消息的情况的通知的典型例是

图19的(a)所示那样的通知消息91的显示。通知消息91可以通知部104生成,作为投稿通知而向移动终端6发送,也可以由接受了投稿通知的移动终端6生成。此外,通知消息91优选为与来客消息以外的投稿成为家庭留言板的情况下的通知消息不同的消息。因此,在为移动终端6生成通知消息91的结构的情况下,投稿通知能够由移动终端6区别来客消息的投稿、和来客消息以外的投稿。

另外,通知消息91也可以根据来访者信息191而不同。例如,通知消息91若包括来访者的种类或者标记,则在确定出来访者信息191a的情况下、和确定出来访者信息191b的情况下,通知消息91所含的来访者的种类或者标记不同。在该例子中,在移动终端6生成通知消息91的结构的情况下,投稿通知还包括确定出的来访者信息191所包含的种类或者标记。

另外,通知消息91也可以在确定出来访者信息191(即来访者)的情况下、和未确定出的情况下不同。在该例子中,在移动终端6生成通知消息91的结构的情况下,投稿通知还使移动终端6能够区别是否确定出来访者信息191。

(移动终端6)

接下来,参照图15,对移动终端6的主要部分结构进行说明。如图15所示,移动终端6具备应用执行部60、存储部61、通信部62、操作部63、显示部64、声音输出部65以及声音输入部66。

存储部61存储移动终端6所使用的各种数据。存储部61至少存储家庭留言板应用611。家庭留言板应用611是在移动终端6中执行的家庭留言板的应用程序。家庭留言板应用611通过移动终端6的用户使用在移动终端6的os中标准的应用程序商店的结构而预先安装于移动终端6,由此存储于存储部61。或者,家庭留言板应用611也可以在移动终端6的销售时存储(预安装)于存储部61。通过执行家庭留言板应用611,从而移动终端6进行家庭留言板的显示(例如,图18的(a)所示的画面的显示),或显示用于生成投稿的画面而接受基于用户的投稿的生成。并且,移动终端通过执行家庭留言板应用611从而进行通话画面的显示(例如,图18的(b)所示的画面的显示),并且实现移动终端6与共享呼叫机2的通话。

通信部62进行与服务器1a的通信。具体而言,通信部62将从应用执行部60接受的各种信息向服务器1a发送。作为该各种信息的具体例,可举出:上述的家庭留言板获取要求、通话开始指示、通话结束指示、由移动终端6生成的投稿数据、输入移动终端6的通话声音(与来访者的通话声音)的声音数据等。另外,通信部62将从服务器1a接收到的各种信息向应用执行部60输出。作为该各种信息的具体例,可举出上述的留言板画面、通话画面、投稿通知、来访者的通话声音的声音数据等。

操作部63获取用户的操作输入,将表示该操作输入的信号向应用执行部60输出。操作部63的典型例是物理按钮、触控面板,但也可以是其他的输入设备。此外,在本实施方式中,对操作部63的至少一部分为与显示部64成为一体的触控面板的情况进行说明。

显示部64根据应用执行部60的控制,来显示各种图像。作为各种图像的具体例,可举出留言板画面、通话画面等。

声音输出部65是根据应用执行部60的控制而输出声音的所谓的扬声器。声音输出部65将基于输入共享呼叫机2的来访者的通话声音的声音数据转换为声音而输出。

声音输入部66是获取在移动终端6的周围产生的声音,并转换为声音数据而向应用执行部60输出的所谓的麦克风。该声音的典型例是移动终端6的用户(居民)所发出的与来访者的通话声音。

应用执行部60进行基于执行家庭留言板应用611的各种处理。具体而言,应用执行部60基于表示操作输入的信号的获取,使家庭留言板应用611起动,或从服务器1a接收留言板画面、通话画面而显示于显示部64,或结束应用611。另外,应用执行部60根据表示显示于留言板画面、通话画面的各种ui被触摸的信号,生成通话开始指示、通话结束指示等各种信息,向服务器1a发送。另外,应用执行部60基于从服务器1a接收到的投稿通知,使显示部64显示通知消息91。另外,应用执行部60在进行居民与来访者的通话时,将从声音输入部66获取到的声音数据向服务器1a发送,或使声音输出部65输出从服务器1a接收到的声音数据。

(多人的应答)

由于来客消息向家庭留言板投稿,所以通过确认家庭留言板,从而未接收投稿通知的移动终端6的用户也能够进行与来访者的通话。另外,多个居民也能够参加与来访者的通话。例如,在居民与来访者一对一通话时,能够使其他居民参加通话。图20是表示与来访者进行通话的居民的追加的图。

首先,基于图20的(a)以及(b),对未参加通话的居民自发地参加通话的例子进行说明。图20的(a)是表示太郎所具有的移动终端6c的留言板画面的显示例的图。该留言板画面包括来客消息71d。来客消息71d包括“父亲正在通话。能够从以下的按钮参加对话。”这样的文本、和ui76。太郎在想要参加与来访者的通话的情况下,将向ui76的触摸操作向移动终端6c输入。应用执行部60若获取基于该触摸操作的信号,则将用于对移动终端6a与共享呼叫机2的通话追加移动终端6c的参加要求通知向服务器1a发送。

图20的(b)是表示基于父亲所具有的移动终端6a的太郎的参加要求后的通话画面的显示例的图。响应部106若接收参加要求通知,则生成包括图20的(b)所示的参加选择图像83在内的通话画面,向移动终端6a发送。参加选择图像83包括:用于允许参加的允许按钮84、和用于不允许参加的不允许按钮85。

移动终端6a的应用执行部60若接收包括参加选择图像83的通话画面,则将现在显示的通话画面(图18的(b)所示的画面)置换为接收到的通话画面。由此,父亲能够选择是否使太郎参加通话。另外,父亲若进行对允许按钮84的触摸操作,则太郎能够参加通话。具体而言,移动终端6a的应用执行部60若获取基于向允许按钮84的触摸操作的信号,则将用于允许向通话的参加的允许通知向服务器1a发送。响应部106若接收允许通知,则将移动终端6c与共享呼叫机2以能够通话的方式连接,并且使移动终端6c显示通话画面。

另一方面,应用执行部60若获取基于向不允许按钮85的触摸操作的信号,将用于不允许向通话的参加的不允许通知向服务器1a发送。投稿部105若接受该通知,则生成表示不允许参加要求的不允许通知消息,向留言板管理部14输出。留言板管理部14将该不允许通知消息向移动终端6c发送。由此,移动终端6c在留言板画面显示不允许通知消息,能够通知太郎参加要求未被允许。

接下来,基于图20的(c)以及(d),对参加通话的居民使未参加通话的居民加入通话的例子进行说明。图20的(c)是表示由父亲所具有的移动终端6a显示的通话画面的图。在该通话画面所包含的“邀请对话”的栏所显示的图标86即表示母亲的图标、和表示太郎的图标是接收输入操作的ui。父亲在欲使其他居民(例如,母亲)参加通话的情况下,将向图标86的触摸操作向移动终端6a输入。应用执行部60若获取基于该触摸操作的信号,则将用于对移动终端6a与共享呼叫机2的通话追加母亲所具有的移动终端6b的参加要求通知向服务器1a发送。

图20的(d)是表示母亲所具有的移动终端6b的基于父亲的参加要求后的留言板画面的显示例的图。投稿部105若接收参加要求通知,则生成图20的(d)所示的来客消息71e。具体而言,取代图20的(a)所示的来客消息71d的“父亲正在通话中。能够从以下的按钮参加对话。”这样的文本,而包括“父亲正在通话中。从父亲邀请对话。”这样的文本,生成来客消息71e。投稿部105将来客消息71e向留言板管理部14输出。留言板管理部14将来客消息71e向移动终端6b发送。由此,移动终端6b的应用执行部60生成包括来客消息71e在内的留言板画面而显示。

母亲在欲参加与来访者的通话的情况下,使向ui76的触摸操作向移动终端6b输入。应用执行部60若获取基于该触摸操作的信号,则将用于对移动终端6a与共享呼叫机2的通话追加移动终端6b的参加同意通知向服务器1a发送。响应部106若接收参加同意通知,则将移动终端6b与共享呼叫机2以能够通话的方式连接,并且使移动终端6b显示通话画面。

(通知处理的流程)

接下来,参照图21,对本实施方式的服务器1a所执行的通知处理的流程进行说明。图21是表示通知处理的流程的一个例子的流程图。此外,在实施方式1中,对进行与参照图7而说明过的响应内容决定处理相同的处理的步骤标注与图7相同的步骤号码,省略此处的说明。

在步骤s24为是的情况下,面部识别部102读出表示该来访者的来访者信息191,向投稿部105输出。而且,投稿部105生成与获取到的来访者信息191所具有的设定信息对应的来客消息(s61)。具体而言,投稿部105生成获取到的来访者信息191所包含的包括来访者的名字、以及表示来访者的种类的标记在内的来客消息。

另一方面,在步骤s24为否的情况下,面部识别部102将无法确定出来访者的主旨的通知向投稿部105输出。投稿部105若接受该通知,则生成与来访者无关的规定的来客消息(s62)。具体而言,投稿部105生成不包括来访者的名字、以及表示来访者的种类的标记的来客消息。

接着,投稿部105将生成的来客消息向留言板管理部14输出。留言板管理部14将获取到的来客消息向家庭留言板投稿(s63)。另外,投稿部105若在留言板管理部14输出来客消息,则将该主旨向通知部104通知。通知部104将投稿了接受该通知的情况向移动终端6通知(进行投稿通知)(s64)。此时,通知部104进行与是否从投稿部105获取到转送目的地信息903、即来访者是否被注册对应的投稿通知。具体而言,通知部104在来访者被注册的情况下,向转送目的地信息903中的号码最小的转送目的地所表示的移动终端6发送投稿通知。另一方面,通知部104在来访者未被注册的情况下,向所有居民的移动终端6发送投稿通知。

接着,若将投稿通知向移动终端6发送,则响应部106成为对通话的开始进行待机的状态(s65)。具体而言,响应部106对来自移动终端6的通话开始指示的接收进行待机。若接收通话开始指示(s65中“是”),则响应部106开始移动终端6与共享呼叫机2之间的通话。即,将从移动终端6接收到的声音数据向共享呼叫机2发送,并输出。另外,将从共享呼叫机2接收到的声音数据向移动终端6发送,并输出(s66)。

响应部106与控制上述通话一起对通话结束指示的接收进行待机(s67)。若接收通话结束指示(s67中“是”),则响应部106使移动终端6与共享呼叫机2之间的通话结束。另外,投稿部105若接收通话结束指示(s67中“是”),则以使各移动终端6的用户(居民)能够识别通话结束的方式来修正来客消息(s68)。以上,通知处理结束。

(来访者信息的更新)

接下来,对使用了移动终端6的来访者信息191的更新进行说明。图22是表示用于对显示于移动终端6的来访者信息191进行修正的修正区域810的一个例子的图。此外,对与实施方式1中说明的来访者信息190的更新相同的处理,省略此处的说明。

如实施方式1中说明的那样,应用执行部60基于用户(居民)的操作,使与表示该居民所居住的房间的监视器id相关联而保存的来访者信息191的列表作为面部图像一览画面而向显示部64显示。例如,使储存于图17所示的“ipaa0405”的栏的多个来访者信息191显示。操作部63若接受向多个来访者信息191的任一个的触摸操作,则应用执行部60使设定画面显示于显示部64。设定画面包括:用于对用户选择出的来访者信息191进行修正的修正区域810。

如图22所示,修正区域810包括:能够接受用于对基于用户的来访者信息进行修正的操作(修正操作)的ui。ui811是接受用于将来访者信息191所包含的面部图像901向具有相同的特征点的其他的面部图像901变更的修正操作的ui。应用执行部60若从操作部63获取表示接受了向ui811的触摸操作的信号(修正信号),则从服务器1a接收具有相同的特征点的多个面部图像,并显示于显示部64。多个面部图像是输出控制部101a过去生成的图像,并存储于存储部11a(图15中未图示)。多个面部图像分别与能够识别来访者的信息(来访者识别信息)相关联而存储。应用执行部60通过对服务器1a发送修正区域810的来访者识别信息,从而使服务器1a选择具有与修正区域810所表示的来访者的面部图像901相同的特征点的面部图像。

若从操作部63获取表示接受选择显示的多个面部图像中的一个的操作的信号,则应用执行部60将面部图像901置换为选择出的面部图像。

这样,由于能够接受面部图像901的变更,从而具有以下那样的优点。即,在名字未设定的来访者信息191中,由于面部图像901不清晰等理由,可产生移动终端6的用户无法辨别来访者是谁(无法输入名字)这样的问题。在这种情况下,通过使用户从具有相同的特征点的多个面部图像选择面部图像901,从而能够选择更清晰的图像,并且,用户能够容易地辨别来访者是谁,并能够输入名字。

ui812是接受用于变更来访者的名字的修正操作的ui。应用执行部60若从操作部63获取表示接受向ui812的触摸操作的信号,则成为接受名字的输入的状态。若基于用户的名字的输入操作输入操作部63,则将包括输入的文字列在内的信号向应用执行部60输出,应用执行部60使输入的文字列显示于方块(图示的记载有“田中氏”的矩形)内。

ui813是接受用于变更来访者的种类的修正操作的ui。应用执行部60若从操作部63获取表示接受了向ui813的触摸操作的信号,则使种类的选项显示于显示部64。作为种类的选项的具体例,例如,除了图示的“朋友”之外,还可举出:“家族”、“亲戚”、“送货人员”、“邮差”、“推销人员”、“可疑的人”等。若从操作部63获取表示操作部63接受向选项的任一个的触摸操作的信号,则应用执行部60变更为选择了种类的部分。此外,选项包括空栏,空栏的选择换言之是现行的种类的删除。

ui814是接受用于变更表示种类的标记的修正操作的ui。应用执行部60若从操作部63获取表示接受向ui814的触摸操作、即向标记的任一个的触摸操作的信号,则将接受触摸操作的标记变更为表示选择出的部分的方式。在图示的例子中,以包围标记的方式显示四边。

ui815是用于接受变更转送目的地信息的修正操作的ui。应用执行部60若从操作部63获取表示接受了向ui815的触摸操作的信号,则使转送目的地的选项显示于显示部64。转送目的地的选项是家庭留言板的参加者以及空栏。应用执行部60从服务器1a获取与本机(移动终端6)的用户相同的家庭留言板的参加者的列表,作为转送目的地的选项而显示于显示部64。在本实施方式中,若获取表示操作部63接受向“父亲”、“母亲”、“太郎”、以及空栏的选项的任一个的触摸操作的信号,则应用执行部60变更为选择转送目的地的部分。此外,换言之,空栏的选择是现行的转送目的地信息的删除。此外,转送目的地能够选择多个,如图示那样,ui815也可以是多个。

更新按钮816是用于指示来访者信息191的更新的ui。应用执行部60若从操作部63获取表示接受向更新按钮816的触摸操作的信号,则将变更后的来访者信息191向服务器1a发送。db更新部103通过将接收到的来访者信息191存储于面部图像db111a,从而更新来访者信息191。

〔实施方式4〕

基于图23~图26对本发明的又一其他的实施方式详细地进行说明。此外,为了方便说明,对具有与上述实施方式中说明的部件相同的功能的部件,标注相同的符号,不重复其说明。

图23是表示显示于本实施方式的移动终端6的留言板画面的一个例子的图。图示的留言板画面包括本实施方式的来客消息701(图示的来客消息701a~701c的通称)。

来客消息701与实施方式3所说明的来客消息的不同点在于包括与向来访者的应答相关的多个ui705这点。即,本实施方式的移动终端6的用户(居民)能够相对于来访者,通过通话的开始以外的方法来应答。

另外,在多个ui705中,各ui的顺序根据来访者来决定。具体而言,在图23的(a)中,示出表示作为朋友的“田中氏”来访过的来客消息701a。对于该来客消息701a而言,各ui的顺序从上开始成为“不在联络”的ui、“通话开始”的ui、“放入委托”的ui、“再配送委托”的ui、以及“未响应”的ui。“不在联络”的ui是用于进行表示不在的情况的自动响应的ui。“通话开始”的ui是用于开始通话的ui。“放入委托”的ui是用于进行委托货物向交货箱的放入的自动响应的ui。“再配送委托”的ui是用于进行委托货物的再配送的自动响应的ui。“未响应”的ui是表示未应答的ui。即,各ui的顺序成为表示选择的可能性高的应答方法的ui配置于上方那样的顺序。

此外,“放入委托”的ui、以及“再配送委托”的ui是向邮差、送货人员的应答时可操作的ui,上述ui也可以不包括于来客消息701a。但是,根据服务器1a所进行的面部识别的精度,有可能将邮差、送货人员错误地识别为朋友,或成为朋友的可能性高但也有可能是邮差、送货人员这样的识别结果。为了对应这样的情况,优选使“放入委托”的ui、以及“再配送委托”的ui包含于来客消息701a。

在图23的(b)中,示出表示邮差来访过的来客消息701b。对于该来客消息701b而言,各ui的顺序从上起成为“放入委托”的ui、“再配送委托”的ui、“不在联络”的ui、“通话开始”的ui、“未响应”的ui。另外,在图23的(c)中,示出表示推销人员来访过的来客消息701c。对于该来客消息701c而言,各ui的顺序从上起成为“未响应”的ui、“不在联络”的ui、“通话开始”的ui、“放入委托”的ui、“再配送委托”的ui。这样,各ui根据来访者而以不同顺序显示。此外,图示的ui的种类是一个例子,不意图将ui的种类限定为图示的五个。

本实施方式的投稿部105与实施方式3中说明的投稿部105的不同点在于从投稿用数据113读出多个ui705,并以基于从面部识别部102获取到的来访者信息191的顺序排列这点。具体而言,投稿部105基于获取到的来访者信息191,来决定多个ui705各自的优先级。而且,按优先级高的顺序,分别排列多个ui705。通过将优先级较高的ui配置于较上侧,从而能够使选择的可能性高的选项醒目。此外,投稿部105基于决定出的优先级而进行的处理不限定于变更选项的顺序。换句话说,投稿部105生成能够使选择的可能性高的选项醒目那样的来客消息即可,例如,也可以使优先级高的选项的文字、背景的颜色变化,或使文字尺寸、ui本身的尺寸变化。另外,投稿部105在接受了无法从面部识别部102确定出来访者信息191的主旨的通知的情况下,以规定的顺序排列多个ui705即可。

本实施方式的响应部106与实施方式3所说明的响应部106的不同点如以下那样。即,响应部106若从移动终端6接受使共享呼叫机2进行自动响应的指示(自动响应指示),则从声音数据112读出与指示对应的声音数据,向共享呼叫机2发送。自动响应指示基于“放入委托”的ui、“再配送委托”的ui、“不在联络”的ui的某一个被触摸操作,而从移动终端6发送。例如,在接收了用于进行“不在联络”的自动响应指示的情况下,读出“抱歉。现在正在外出中。”这样的声音数据,并向共享呼叫机2发送。由此,共享呼叫机2通过输出接收到的声音数据,从而实现自动响应。此外,以下,有时将自动响应指示与通话开始指示通称为响应指示。

(回家预定时刻的联络)

图24是表示对来访者的回家预定时刻的联络的一个例子的图。在来客消息701中,在“再配送委托”的ui、或者“不在联络”的ui被触摸操作的情况下,也可以取代来客消息701而显示有来客消息706。图24的(a)是表示在来客消息701b(参照图23的(b))中,伴随着“再配送委托”的ui被触摸操作,从而显示有来客消息706b的例子的图。

投稿部105从移动终端6接收表示“再配送委托”的ui、或者“不在联络”的ui被触摸操作的信息,则生成来客消息706,并向留言板管理部14输出。由此,来客消息701变更为来客消息706。

如图24的(a)所示,来客消息706b包括ui707b以及ui708b。ui707b是接受用于输入回家预定时刻的输入操作的ui。应用执行部60若从操作部63获取表示接受了向ui707b的触摸操作的信号,则使回家预定时刻的选项显示于显示部64。在图示的例子中,选择18点(18:00)。此外,选项也可以包括表示未将回家预定时刻对来访者通知的“未通知”。此外,ui707b也可以不选择回家预定时刻,则接受表示回家预定时刻的文字的输入。

ui708b是用于将自动响应指示向服务器1a发送的ui。应用执行部60若从操作部63获取表示接受了向ui708b的触摸操作的信号,则与自动响应指示一起将表示回家预定时刻的时刻信息向服务器1a发送。在图24的(a)的例子中,将用于进行再配送委托的自动响应的自动响应指示、和表示18点的时刻信息向服务器1a发送。

响应部106若与自动响应指示一起接收时刻信息,则对自动响应的声音数据追加回家预定时刻的通知,向共享呼叫机2发送。图24的(b)是表示基于共享呼叫机2的自动响应的一个例子的图,是表示通过图24的(a)所示的内容将自动响应指示从移动终端6向服务器1a发送的情况下的例子的图。

具体而言,响应部106作为自动响应的声音数据,而从声音数据112读出“现在不在家,请再配送。回家预定为(时刻)。”这样的声音数据。并且,响应部106在该声音数据的(时刻)追加基于时刻信息的声音数据、图24的(b)的例子中“18:00”这样的声音数据,向共享呼叫机2发送。由此,共享呼叫机2能够输出“现在不在家,请再配送。回家预定为18:00。”这样的声音。

(应答结束的通知)

如实施方式3中说明的那样,在应答结束的情况下,对表示该主旨的内容变更来客消息。在实施方式3中,如图18的(c)所示,对取代文本73、标记74以及ui75,而变更为追加有“从智能手机进行了通话。”以及“应答者:父亲”这样的文本、以及表示通话结束的时间的文本的来客消息71c的例子进行了说明。这是父亲使用移动终端6a与来访者进行了通话的情况下的变更。

另一方面,在本实施方式中,在选择了与来访者的通话以外的应答方法即多个ui705中的“通话开始”的ui以外的情况下,根据与选择出的ui,来变更应答结束后的来客消息。图25是表示应答结束后的来客消息的变更的图。例如,在选择多个ui705中的“不在联络”的ui,从共享呼叫机2输出“不在联络”的自动响应的声音的情况下,如图25的(a)所示,来客消息701d显示于移动终端6。

来客消息701d取代文本703、标记704以及多个ui705,而追加有“以‘不在联络’进行了应答。”、以及“应答者:父亲”这样的文本、以及表示应答的时间的文本。具体而言,投稿部105若响应部106将自动响应的声音数据向共享呼叫机2发送,则从来客消息701(例如,图23所示的来客消息701a)删除文本703、标记704以及多个ui705。而且,投稿部105取代这些而生成追加了“以‘不在联络’进行了应答。”以及“应答者:父亲”这样的文本、以及表示应答的时间即将自动响应的声音数据向共享呼叫机2发送的时间的文本的来客消息701d。而且,投稿部105将来客消息701d向留言板管理部14输出,使来客消息701a置换为来客消息701d。留言板管理部14将置换了来客消息后的显示画面向移动终端6发送。由此,图25的(a)所示的显示画面显示于移动终端6。由此,父亲以外的居民能够通过父亲选择“不在联络”从而识别对来访者进行了应答。

此外,在进行了“不在联络”以外的自动响应的空气情况下,成为包括与该自动响应对应的文本在内的来客消息701。例如,在进行了“再配送委托”的自动响应的情况下,追加“以‘再配送委托’进行了应答。”这样的文本。另外,在选择了“未响应”的ui的情况下,例如仅追加“没有应答”这样的文本,未追加表示应答者的文本以及表示应答的时间的文本。

另外,在进行了不使用移动终端6的应答的情况下,也可以进行与上述的例子不同的来客消息701的变更。例如,在处于住户内的居民使用室内监视器3进行了应答的情况下,如图25的(b)所示,来客消息701e显示于移动终端6。

来客消息701e取代文本703、标记704以及多个ui705而追加有表示“通过室内监视器进行了应答。”这样的文本、以及表示应答的时间的文本。此外,在该例子中,无法确定出应答者,因此不追加表示应答者的文本。

具体而言,本实施方式的室内监视器3若进行使用了本机的应答(例如,操作部34的操作、声音向声音输入部35的输入等),则将该主旨向服务器1a通知。投稿部105若接收该通知,则从来客消息701(例如,图23所示的来客消息701a)将文本703、标记704以及多个ui705删除。而且,投稿部105取代这些而生成追加有“通过室内监视器进行了应答。”这样的文本、以及表示应答的时间即从室内监视器3接受了通知的时间的文本的来客消息701e。其后的处理与上述的来客消息701d的情况相同,因此省略此处的说明。

另外,在即使从共享呼叫机2发送呼叫信号起的经过时间超过规定的阈值,也没有使用了室内监视器3或者移动终端6的应答的情况下,服务器1a的响应部106也可以进行规定的自动响应(例如,“不在联络”的自动响应)。在进行了该规定的自动响应的情况下,如图25的(c)所示,来客消息701f显示于移动终端6。

来客消息701f取代文本703、标记704以及多个ui705而追加有“以‘不在联络’进行了自动响应。”这样的文本、以及表示应答的时间的文本。具体而言,投稿部105若从共享呼叫机2接收自动响应数据要求(参照实施方式1),则从来客消息701(例如,图23所示的来客消息701a)将文本703、标记704以及多个ui705删除。而且,投稿部105取代这些而生成追加有“以‘不在联络’进行了自动响应。”这样的文本、以及表示应答的时间即接收了自动响应数据要求的时间的文本的来客消息701f。其后的处理与上述的来客消息701d的情况相同,因此省略此处的说明。

此外,此处,对将来客消息701a置换为来客消息71c、来客消息701d~701f等通知响应结束的消息的例子进行了说明。相对于此,通知上述响应结束的消息也可以作为与来客消息701a不同的新的消息,而向家庭留言板投稿。即,只要构成为通知响应结束的消息显示于家庭留言板即可。

(通知处理的流程)

接下来,参照图26,对本实施方式的服务器1a所执行的通知处理的流程进行说明。图26是表示通知处理的流程的一个例子的流程图。此外,在实施方式3中,针对进行与参照图21而说明过的通知处理相同的处理的步骤,标注与图21相同的步骤号码,省略此处的说明。

在步骤s63中,若将投稿通知向移动终端6发送,则响应部106成为对来自移动终端6的响应指示进行待机的状态(s71)。若接收响应指示(s71中“是”),则响应部106对该响应指示是通话开始指示、还是自动响应指示进行判定(s72)。在为通话开始指示的情况下(s72的a),响应部106进行步骤s66以及s67的处理。

另一方面,在自动响应指示的情况下(s72的b),响应部106将与指示对应的自动响应的声音数据向共享呼叫机2发送(s75)。

另外,响应部106在步骤s71中未从移动终端接收响应指示的情况下(s71中“否”),在从共享呼叫机2接收了自动响应数据要求的情况下(s73中“是”),将不在联络的声音数据向共享呼叫机2发送(s74)。此外,步骤s74中发送的声音数据为不在联络的声音数据是一个例子。

最后,投稿部105根据应答的内容对来客消息进行修正(s76)。以上,结束通知处理。

(与实施方式3以及4共用的变形例)

室内监视器3也可以具备:存储家庭留言板应用611并执行家庭留言板应用611的功能。即,也可以与移动终端6的应用执行部60相同的部件具备于室内监视器3。

另外,用于使用移动终端6进行对来访者的应答的应用程序不限定于家庭留言板应用611。例如,也可以仅具备来访者进行了来访的通知功能、对来访者的应答功能(通话功能以及自动响应功能等)而不具备电子留言板的功能的应用程序。

来访者信息191也可以包括表示表示无法对使用了移动终端6的来访者进行应答的居民的无法应答信息。无法应答信息是居民使用移动终端6而设定的信息。在该例子的情况下,投稿部105在确定出的来访者信息191包括无法应答信息的情况下,还生成不包括用于开始与来访者的通话的ui75、与对来访者的应答相关的多个ui705的来客消息。而且,与无法应答信息一起将该来客消息向留言板管理部14输出。留言板管理部14在所获取到的无法应答信息所表示的、向居民的移动终端6发送的投稿显示用数据中包括来客消息,所述来客消息不包含ui75、多个ui705,并向该移动终端6发送该消息。由此,特定的居民能够相对于不应该应答的来访者而无法应答。例如,太郎(孩子)无法使用移动终端6c对推销人员进行应答这样的情况成为可能,能够提高安全性。

服务器1a也可以根据来访者,而不进行向移动终端6的通知,使共享呼叫机2进行自动响应。具体而言,在确定出的来访者信息191设定有表示进行自动响应的主旨的标志的情况下,投稿部105也可以对响应部106通知而进行与来访者信息191对应的自动响应。上述标志能够通过使用了移动终端6的来访者信息191的更新来设定。由此,服务器1a例如在送货人员进行了来访的情况下,没有选择基于用户的响应内容的操作,能够使共享呼叫机2进行放入委托的自动响应。

〔与各实施方式共用的变形例〕

自动响应的声音数据也可以存储于共享呼叫机2。同样,通知声音数据也可以存储于室内监视器3。在这些例子的情况下,服务器1(或者服务器1a)对用于指定声音数据的信息进行确定,并向共享呼叫机2、室内监视器3发送。共享呼叫机2以及室内监视器3基于该信息而确定出声音输出的声音数据。

另外,在上述的实施方式1~4中,对将本发明的输出控制装置应用于服务器1(或者服务器1a)的例子进行了说明,但输出控制装置也可以应用于共享呼叫机2、对讲机控制装置4、或者公寓控制器5。

另外,服务器1(或者服务器1a)也可以除了拍摄图像之外,还使共享呼叫机2获取来访者所具有的识别信息,并使用拍摄图像与识别信息来确定出来访者。该识别信息例如是来访者所具有的终端装置(移动终端、电子货币卡等)的id,但不限定于该例子。另外,在该例子的情况下,来访者信息190(或者来访者信息191)包括识别信息,面部识别部102使用面部识别的结果和识别信息而确定出来访者信息。

另外,在上述的实施方式1~4中,服务器1(或者服务器1a)构成为进行与基于面部识别的结果而确定出的设定信息对应的自动响应、呼叫动作、投稿通知、响应的选项的顺序的决定等。即,服务器1(或者服务器1a)构成为:始终进行与基于用户的设定对应的输出。然而,服务器1(或者服务器1a)不局限于构成为:总是进行与基于用户的设定对应的输出。例如,服务器1(或者服务器1a)也可以对将来访者的面部图像、与表示进行了输出的信息相关联而存储的、输出的履历进行存储。而且,服务器1(或者服务器1a)也可以构成为:在作为面部识别的结果而从输出的履历确定出来访者来访过的是某个人的情况下,进行与确定出的人物(面部图像)相关联的输出。

另外,共享呼叫机2也可以构成为不具备人感应传感器22。在该例子的情况下,共享呼叫机2在相对于操作部24而输入了呼叫操作时,使拍摄部21开始拍摄。

另外,上述的实施方式1~4对将对讲机系统100、对讲机系统200应用于公寓的例子进行了说明,但对讲机系统100、对讲机系统200也可以应用于独幢楼房。该情况下,共享呼叫机2成为玄关子机。

另外,对讲机系统100、对讲机系统200也可以除了移动终端6之外(或者,取代移动终端6),还包括未假定携带的终端装置,例如个人计算机、电视等。该情况下,该终端装置具备与由实施方式1~4说明过的移动终端6相同的功能。

〔实施方式5〕

在上述各实施方式中,对使用一个服务器1(或者服务器1a)的例子进而了说明,但服务器1(或者服务器1a)具有的各功能也可以由分开独立的服务器来实现。而且,在应用多个服务器的情况下,各服务器也可以由相同的企业来管理,也可以由不同企业来管理。

〔实施方式6〕

服务器1(或者服务器1a)、共享呼叫机2、室内监视器3以及移动终端6的各块也可以由形成于集成电路(ic芯片)等的逻辑电路(硬件)来实现,也可以由软件实现。在后者的情况下,能够使用图27所示那样的计算机(电子计算机)来分别构成服务器1(或者服务器1a)、共享呼叫机2、室内监视器3、以及移动终端6。

图27是例示出服务器1(或者服务器1a)、共享呼叫机2、室内监视器3、以及能够作为移动终端6而利用的计算机910的结构的框图。计算机910具备:经由总线911而彼此连接的运算装置912、主存储装置913、辅助存储装置914、输入输出接口915、以及通信接口916。运算装置912、主存储装置913、以及辅助存储装置914也可以例如分别是处理器(例如cpu:centralprocessingunit等)、ram(randomaccessmemory)、硬盘驱动器。在输入输出接口915连接有用于供用户向计算机910输入各种信息的输入装置920、以及用于供计算机910对用户输出各种信息的输出装置930。输入装置920以及输出装置930也可以内置于计算机910,也可以与计算机910连接(外附)。例如,输入装置920也可以是键盘、鼠标、触摸传感器等,输出装置930也可以是显示器、打印机、扬声器等。另外,也可以应用触摸传感器与显示器一体化而成的触控面板那样的具有输入装置920以及输出装置930双方的功能的装置。而且,通信接口916也可以是用于供计算机910与外部的装置进行通信的接口。

在辅助存储装置914储存有用于使计算机910作为服务器1(或者服务器1a)、共享呼叫机2、室内监视器3以及移动终端6而动作的各种程序。而且,运算装置912通过将储存于辅助存储装置914的上述程序在主存储装置913上展开而执行该程序所包含的命令,来使计算机910作为服务器1(或者服务器1a)、共享呼叫机2、室内监视器3以及移动终端6所具备的各部发挥功能。此外,辅助存储装置914所具备的记录程序等信息的记录介质为计算机能够读取的“非暂时有形介质”即可,例如也可以是磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。另外,只要是能够将记录于记录介质的程序在主存储装置913上展开而执行的计算机,也可以省略主存储装置913。此外,上述各装置(运算装置912、主存储装置913、辅助存储装置914、输入输出接口915、通信接口916、输入装置920,以及输出装置930)可以分别为一个,也可以为多个。

另外,上述程序可以从计算机910的外部获取,该情况下,也可以经由任意的传送介质(通信网络、广播波等)而获取。而且,本发明也可以通过上述程序通过电子传送而具体化的嵌入载波的数据信号的形态来实现。

〔总结〕

本发明的方式1的输出控制装置(服务器1、服务器1a)对被输入至对讲机子机(共享呼叫机2)的、与基于来访者的呼叫操作的呼叫相关的输出进行控制,该对讲机子机(共享呼叫机2)具备呼叫居民而进行通话的功能,上述输出控制装置具备:面部识别部(面部识别部102),其基于从上述对讲机子机获取到的拍摄图像,进行上述来访者的面部识别;和输出控制部(输出控制部101、输出控制部101a),其使上述对讲机子机、具备响应上述呼叫而进行通话的响应功能的对讲机母机(室内监视器3)、或者具备上述响应功能的与上述对讲机母机不同的通话设备(移动终端6)中的至少任一个,进行与基于上述面部识别部的识别结果对应的上述输出。

根据上述结构,使对讲机子机、对讲机母机、通话设备中的至少任一个进行与面部识别的结果对应的输出。由此,能够适当地确定出来访者,对居民而言能够实现适当的应答。

例如,通过从对讲机子机输出与面部识别的结果对应的响应的声音,从而能够不麻烦居民,而对居民而言进行适当的应答。另外,例如,通过由对讲机母机、通话设备进行与面部识别的结果对应的通知,从而居民能够在进行与来访者的对话前,识别来访者是什么人。

对于本发明的方式2的输出控制装置(服务器1a)而言,在上述方式1中,上述输出控制部(输出控制部101a)也可以使上述通话设备即注册于上述输出控制装置的移动终端(移动终端6)进行如下通知:已进行与上述识别结果对应的上述呼叫操作。

根据上述的结构,使注册于输出控制装置的移动终端进行与面部识别的结果对应的进行了呼叫操作的通知,因此该移动终端的用户能够在进行与来访者的对话前,识别来访者是什么人。作为注册于输出控制装置的移动终端的用户的例子,可举出居民。该情况下,居民即使外出,也能够识别出来访者来访过。

对于本发明的方式3的输出控制装置而言,在上述方式2中,上述输出控制装置中,也可以上述输出控制部根据上述识别结果将所述响应的选项显示于上述移动终端,使上述对讲机子机进行上述居民从上述选项选择出的相对于上述呼叫的响应。

根据上述的结构,使移动终端显示响应的选项,使对讲机子机进行居民从选项中选择出的响应。由此,居民自身不与来访者对话,也能够进行相对于来访者的适当的应答。

对于本发明的方式4的输出控制装置而言,在上述方式3中,也可以上述输出控制部根据上述识别结果来决定上述选项的优先级,根据上述优先级将上述选项显示于上述移动终端。

根据上述的结构,根据与面部识别的结果对应的优先级,显示响应的选项,因此居民能够容易地选择适当的应答方法。根据优先级而显示选项例如可举出:优先级越高的选项,越显示于上部等。

对于本发明的方式5的输出控制装置而言,在上述方式1~4中任一个中,也可以上述输出控制部使上述对讲机子机执行与上述识别结果对应的自动响应。来作为相对于上述呼叫的响应。

根据上述的结构,从对讲机子机输出与面部识别的结果对应的自动响应的声音,因此能够不麻烦居民,对居民而言进行适当的应答。

对于本发明的方式6的输出控制装置而言,在上述方式5中,也可以在从进行上述呼叫操作起直至经过规定时间为止的期间,在上述居民未进行使用了上述对讲机母机或者上述通话设备的、居民相对于上述呼叫的响应的情况下,上述输出控制部使上述对讲机子机进行上述自动响应。

根据上述的结构,在从来访者呼叫居民起经过规定时间,居民也没有应答的情况下,使对讲机子机进行自动响应,因此即使在居民未注意到来访者的来访的情况下,也能够进行相对于来访者的应答。

对于本发明的方式7的输出控制装置而言,在上述方式5或者6中,也可以上述输出控制部根据上述面部识别部面部识别出的上述来访者是否已被预先注册,而使上述对讲机子机进行的上述自动响应的内容不同。

根据上述的结构,根据来访者是否为熟人而使自动响应的内容不同,因此能够在自动响应中进行更适当的应答。

对于本发明的方式8的输出控制装置而言,在上述方式5~7的任一个中,也可以在上述面部识别部面部识别失败的情况下,上述输出控制部作为上述自动响应,使上述对讲机子机输出通知,所述通知用于使上述来访者进行对应,以使上述面部识别部能够进行再次的面部识别。

根据上述的结构,在面部识别失败的情况下,使对讲机子机输出用于使来访者进行上述面部识别部能够进行再次的面部识别那样的对应的通知,因此来访者能够采取如进行再次的面部识别那样适当的对应。另外,能够排除不愿意面部识别的来访者(例如,推销人员、入室盗窃等)。

对于本发明的方式9的输出控制装置而言,在上述方式1~8任一项中,上述输出控制部也可以使上述对讲机母机进行如下通知:已进行对应于上述识别结果的上述呼叫操作。

根据上述的结构,使对讲机母机进行与面部识别的结果对应的进行了呼叫操作的通知,因此居民能够在进行与来访者的对话前,识别来访者是什么人。

对于本发明的方式10的输出控制装置而言,在上述方式9中,也可以上述输出控制部根据被赋予上述面部识别部被面部识别出的上述来访者的类型,而使上述对讲机母机进行的上述通知的内容不同。

根据上述的结构,根据来访者的类型而使通知的内容不同,因此居民能够在进行与来访者的对话前,来决定进行怎样的应答。来访者的类型例如可举出:表示来访者与居民的关系(朋友、家族、亲戚等)、表示来访者的职业(邮差、送货人员、推销人员等)、以及可疑的人等。

本发明的方式11的对讲机子机具备:人感应部(人感应传感器22),其对存在于上述对讲机子机的周围的人进行检测;拍摄部(拍摄部21),其在上述人感应部检测到人时,开始该人的拍摄;以及发送部(拍摄控制部202),其将上述拍摄部拍摄到的拍摄图像向方式1~10中任一个输出控制装置发送。

根据上述的结构,在人感应部检测到人时,开始拍摄,拍摄图像向输出控制装置发送,因此能够在来访者进行呼叫操作前,使输出控制装置开始面部识别。

本发明的方式12的对讲机系统(对讲机系统100、对讲机系统200)至少包括:对讲机子机(共享呼叫机2),其具备呼叫居民而进行通话的功能;对讲机母机(室内监视器3),其具备与来自上述对讲机子机的呼叫响应而与上述对讲机子机进行通话的响应功能;以及输出控制装置(服务器1、服务器1a),其对输入上述对讲机子机的、与基于来访者的呼叫操作的呼叫相关的输出进行控制,上述对讲机系统基于从上述对讲机子机获取到的拍摄图像,进行输入了上述呼叫操作的来访者的面部识别,对上述对讲机子机、上述对讲机母机、或者具备上述响应功能的与上述对讲机母机不同的通话设备(移动终端6)中的至少一个进行与上述面部识别的结果对应的上述输出。

根据上述的结构,起到与上述方式1的输出控制装置相同的作用效果。

本发明的各方式的输出控制装置以及对讲机子机也可以由计算机实现,此时,通过使计算机作为上述输出控制装置以及对讲机子机所具备的各部(软件要素)而动作而使计算机实现上述输出控制装置以及对讲机子机的输出控制装置以及对讲机子机的控制程序、以及记录了该程序的计算机能够读取的记录介质也属于本发明的范围。

本发明不限定于上述的各实施方式,在权利要求所示的范围中能够进行各种变更,将不同实施方式所分别公开的技术手段适当地组合而得到的实施方式也包含于本发明的技术范围。并且,通过在各实施方式分别组合公开的技术手段,能够形成新的技术特征。

符号说明

1服务器(输出控制装置)

1a服务器(输出控制装置)

2共享呼叫机(对讲机子机)

3室内监视器(对讲机母机)

6移动终端(通话设备)

21拍摄部

22人感应传感器(人感应部)

100对讲机系统

101输出控制部

101a输出控制部

102面部识别部

200对讲机系统

202拍摄控制部(发送部)

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1