信息输出方法、信息输出装置以及程序与流程

本发明涉及一种输出与设备有关的信息的信息输出方法、信息输出装置以及程序。

背景技术：

一直以来，已知有将信息输出到被配置在环境内的多个显示器的技术。例如，专利文献1公开了一种方法，识别存在于显示器附近的用户并在所述显示器上显示与所述用户有关联的内容直到所述用户到达目的地为止。而且，专利文献2也公开了一种方法，在操作具备多个用户共享的触控面板的显示部的情况下，检测在显示部附近的用户的脸部的朝向，并根据检测出的脸部的朝向使所显示的操作对象的大小变化。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2014-145990号公报

专利文献2：日本专利公开公报特开2016-177845号公报

技术实现要素：

然而，上述专利文献1所公开的技术，识别显示器附近的用户并显示与所识别的用户有关联的内容。为此，当用户在住宅内等没有在显示器附近移动的情况下，就难以根据用户的状况在必要时通知信息。

而且，上述专利文献2所公开的技术，根据在上述显示部附近的用户的脸部的朝向使输出到显示部的操作对象变化。为此，除非用户接近显示部直到可以操作显示部为止否则难以获取信息。

本发明是鉴于上述问题而做出的发明，其目的在于提供一种信息输出方法、信息输出装置以及程序，可以向位于输出装置的附近的用户，以与该用户的行为对应的输出方式，通知有关具有与该用户的行为对应的内容的设备的信息。

本发明的一方面涉及的信息输出方法，是向一个以上的用户利用的一个以上的输出装置输出信息的信息输出装置的信息输出方法，获取与所述一个以上的用户操作的一个以上的设备的操作履历有关的第一信息；进行获取用于识别在所述一个以上的输出装置的附近检测出的用户的第二信息的处理；获取与在所述一个以上的输出装置的附近检测出的用户的行为有关的第三信息；基于所述第一信息，确定所述一个以上的设备之中状态发生了变化或者在规定时间内状态可能发生变化的设备、和进行了与所述状态的变化有关的操作的操作人员；基于与所述确定的设备以及操作人员有关的信息和所述第二信息以及所述第三信息，决定对于所述检测出的用户的与所述确定的设备有关的通知信息的输出方式以及内容；对检测出了所述检测出的用户的一个以上的输出装置，通过所述决定的输出方式，输出所述决定的内容的通知信息。

根据本发明，可以向位于输出装置的附近的用户，以与该用户的行为对应的输出方式，通知有关具有与该用户的行为对应的内容的设备的信息。

附图说明

图1是表示第一实施方式的通知系统的整体构成的一个例子的示意图。

图2是表示面板装置以及云服务器的构成的一个例子的方框图。

图3是表示用户行为获取部的详细构成的一个例子的方框图。

图4是表示操作履历信息表的一个例子的示意图。

图5a是表示在概括显示通知模式下的通知信息的输出概要的一个例子的示意图。

图5b是表示在语音通知模式下的通知信息的输出概要的一个例子的示意图。

图5c是表示在详细显示通知模式下的通知信息的输出概要的一个例子的示意图。

图6是表示通知系统的整体的动作的流程图。

图7是表示用户行为获取处理的一个例子的流程图。

图8是表示通知对象确定处理的一个例子的流程图。

图9是表示通知方式决定处理的一个例子的流程图。

具体实施方式

(本发明的基础知识)

以下，对本发明的基础知识进行说明。近年来一直在研发确定用户并通知适于该用户的内容的方法。特别是在多个用户共享设备并处于放松的生活的住宅内等的环境下，为了不妨碍其它的用户，对需要与设备有关的通知的用户仅在必要时进行通知来传达必要的信息变得很重要。

然而，即使是同一个用户，也存在需要通知的状况和不需要通知的状况。而且，也可能存在不需要通知的用户。为此，对各用户统一地进行通知存在困难。而且，为了有效地执行在环境内的日常活动，有时需要一边进行其它的作业一边确认所通知的信息。另一方面，有时也存在家庭聚会等不需要通知的情况。

但是，到目前为止，对于被配置在每个房间的面板装置等的一个以上的输出装置，并没有研究以适于用户的行为的输出方式及内容进行信息的通知的技术解决方案。

本发明是为了解决上述的问题而进行的发明，其目的在于提供一种信息输出方法、信息输出装置以及程序，可以向位于输出装置的附近的用户，以与该用户的行为对应的输出方式，通知有关具有与该用户的行为对应的内容的设备的信息。

本发明的一方面涉及的信息输出方法，是向一个以上的用户利用的一个以上的输出装置输出信息的信息输出装置的信息输出方法，获取与所述一个以上的用户操作的一个以上的设备的操作履历有关的第一信息；进行获取用于识别在所述一个以上的输出装置的附近检测出的用户的第二信息的处理；获取与在所述一个以上的输出装置的附近检测出的用户的行为有关的第三信息；基于所述第一信息，确定所述一个以上的设备之中状态发生了变化或者在规定时间内状态可能发生变化的设备、和进行了与所述状态的变化有关的操作的操作人员；基于与所述确定的设备以及操作人员有关的信息和所述第二信息以及所述第三信息，决定对于所述检测出的用户的与所述确定的设备有关的通知信息的输出方式以及内容；对检测出了所述检测出的用户的一个以上的输出装置，通过所述决定的输出方式，输出所述决定的内容的通知信息。

本发明的另一方面涉及的信息输出装置，是向一个以上的用户利用的一个以上的输出装置输出信息的信息输出装置，包括：第一获取部，获取与所述一个以上的用户操作的一个以上的设备的操作履历有关的第一信息；第二获取部，进行获取用于识别在所述一个以上的输出装置的附近检测出的用户的第二信息的处理；第三获取部，获取与在所述一个以上的输出装置的附近检测出的用户的行为有关的第三信息；确定部，基于所述第一信息，确定所述一个以上的设备之中状态发生了变化或者在规定时间内状态可能发生变化的设备、和进行了与所述状态的变化有关的操作的操作人员；决定部，基于与所述确定的设备以及操作人员有关的信息和所述第二信息以及所述第三信息，决定对于所述检测出的用户的与所述确定的设备有关的通知信息的输出方式以及内容；输出部，对检测出了所述检测出的用户的一个以上的输出装置，通过所述决定的输出方式，输出所述决定的内容的通知信息。

根据上述的实施方式，基于第一信息确定一个以上的设备之中状态发生了变化或者在规定时间内状态可能发生变化的设备、和进行了与所述状态的变化有关的操作的操作人员。而且，以基于与所述确定的设备以及操作人员有关的信息和第二信息以及第三信息而决定的输出方式，向在附近检测出通过第二信息而识别出的用户的一个以上的输出装置输出通知信息。通知信息是与基于与所述确定的设备以及操作人员有关的信息和第二信息以及第三信息而决定的内容的所述确定的设备有关的信息。

为此，可以向位于输出了通知信息的一个以上的输出装置的附近的、通过第二信息而识别出的用户，以与基于第三信息的自身的行为对应的输出方式，通知有关与基于第三信息的自身的行为对应的内容的设备的信息。

在上述实施方式，也可以是，所述信息输出装置包含将识别所述一个以上的用户的识别信息和包含表示所述一个以上的用户的骨骼的信息以及表示脸部的信息的至少其中之一的特征信息相互对应地预先存储的存储器，从拍摄了所述检测出的用户的图像获取所述检测出的用户的所述特征信息，从所述存储器获取与所述获取到的特征信息对应的所述识别信息，并将所获取的识别信息作为所述第二信息而生成。

根据该实施方式，利用从拍摄了所述检测出的用户的图像获取的特征信息和相互对应地预先存储在存储器中的识别信息以及特征信息生成第二信息。为此，信息输出装置，在获取第二信息的处理中，可以获取该生成的第二信息。

在上述实施方式，也可以是，所述第三信息是有关与表示信息的获取意识为第一程度的第一行为有关的信息、与表示信息的获取意识为比所述第一程度高的第二程度的第二行为有关的信息、或者、与表示信息的获取意识为比所述第一程度低的第三程度的第三行为有关的信息。

根据该实施方式，可以根据与通过第二信息而识别出的用户的行为有关的第三信息，掌握该用户的信息的获取意识到哪种程度。为此，可以向通过第二信息而识别出的用户，以与自身的信息的获取意识的程度对应的输出方式，通知有关与自身的信息的获取意识的程度对应的内容的所述通知信息。

而且，在上述实施方式，也可以是，拍摄在所述一个以上的输出装置的附近检测出的用户，在从所述拍摄到的图像可以识别出所述检测出的用户的脸部的识别时间在第一时间以上的情况下，生成表示为所述第二行为的所述第三信息，在所述识别时间小于所述第一时间的情况下，生成表示为所述第一行为的第三信息，在从所述拍摄到的图像虽然不能识别所述检测出的用户的脸部但是可以识别所述检测出的用户的骨骼的情况下，生成表示为所述第三行为的所述第三信息。

根据该实施方式，可以基于从拍摄了所述检测出的用户的图像可以识别出所述检测出的用户的脸部的识别时间、从所述图像是否可以分别识别出所述检测出的用户的脸部以及骨骼的判断结果，确切地辨别所述检测出的用户的行为是第一行为、第二行为、第三行为中的哪一种行为。

而且，在上述实施方式，也可以是，进行二次获取所述一个以上的输出装置与所述检测出的用户之间的离开距离的处理，在第二次获取的所述离开距离在第一次获取的所述离开距离以下的情况下，生成表示为与所述第二行为有关的信息的所述第三信息，在第二次获取的所述离开距离大于第一次获取的所述离开距离的情况下，生成表示为与所述第三行为有关的信息的所述第三信息。

根据该实施方式，可以基于二次获取的一个以上的输出装置与所述检测出的用户之间的离开距离的结果，确切地辨别所述检测出的用户的行为是第二行为还是第三行为。

而且，在上述实施方式，也可以是，所述一个以上的输出装置具备显示信息的显示部和输出声音的语音输出部，所述输出方式包含通过所述显示部显示所述通知信息以及通过所述语音输出部输出表示所述通知信息的语音的至少其中之一或者不输出所述通知信息。

根据该实施方式，可以通过视觉和听觉的至少其中之一向所述检测出的用户通知通知信息。而且，在输出方式被决定为不输出通知信息的情况下，可以回避向所述检测出的用户通知通知信息。为此，例如，在所述检测出的用户的行为是信息的获取意识比较低的行为的情况下，可以防止不必要地向该用户通知通知信息。

而且，在上述实施方式，也可以是，所述内容包含表示所述确定的设备的状态的信息或者表示所述确定的设备的设定以及状态的信息。

根据该实施方式，可以让位于一个以上的输出装置的附近的、通过第二信息而识别出的用户掌握是表示基于第一信息而确定的设备的状态的信息还是表示基于第一信息而确定的设备的设定以及状态的信息。

而且，在上述实施方式，也可以是，还进一步获取与在所述一个以上的输出装置的附近检测出所述一个以上的用户的履历有关的第四信息，当在多个输出装置的附近检测出用户的情况下，基于所述第四信息以及所述第二信息，确定所述通知信息的输出目的地的输出装置。

根据该实施方式，基于在所述多个输出装置的附近检测出的通过第二信息识别出的用户的履历，确定通知信息的输出目的地的输出装置。为此，可以向该用户接近的可能性高的输出装置输出通知信息。由此，可以更可靠地向该用户通知通知信息。

而且，在上述实施方式，也可以是，所述一个以上的输出装置具备显示信息的显示部，在无法获取所述第二信息的情况下，将通过所述显示部显示所述通知信息决定为所述输出方式，将所述确定的设备的状态决定为所述内容。

根据该实施方式，即使在不能识别出存在于一个以上的输出装置的附近的用户的情况下，也显示所述被确定的设备的状态。为此，可以提高让没有被识别出的用户掌握该设备的状态的可能性。其结果，可以提高从没有被识别出的用户向进行了所述被确定的设备的操作的用户传达该设备的状态的可能性。

而且，在上述实施方式，也可以是，所述第一信息包含表示所述一个以上的设备到变为结束了运行的状态为止的剩余时间的剩余时间信息，基于关于所述确定的设备的所述剩余时间信息所表示的剩余时间和所述第三信息，决定所述输出方式以及所述内容。

根据该实施方式，可以考虑到被确定的设备到变为结束了运行的状态为止的剩余时间和与第三信息有关的用户的行为，使关于所述被确定的设备的通知信息的输出方式以及内容所有区别。

而且，在上述实施方式，也可以是，基于从输出了与第一设备有关的第一通知信息的时刻起到下一次进行所述第一设备的操作为止的经过时间，决定作为再次输出所述第一通知信息的对象的用户，对在附近检测出该决定的用户的一个以上的输出装置再次输出所述第一通知信息。

根据该实施方式，可以考虑到从输出了与第一设备有关的第一通知信息的时刻起到下一次进行所述第一设备的操作为止的经过时间，向适当的用户再次输出第一通知信息。为此，例如，可以在所述经过时间小于规定时间的情况下仅向第一设备的操作人员再次输出第一通知信息，在所述经过时间大于等于规定时间的情况下向所有的用户再次输出第一通知信息。在这种情况下，可以提高让任意的用户掌握第一通知信息的内容的可能性。

本发明能够作为让计算机执行在该方法所包含的特征性的各处理的计算机程序来实现。而且，不用多说，也可以将此种计算机程序通过cd-rom等计算机可读取的非暂时性的存储介质或互联网等通信网络而流通。

另外，以下说明的实施方式均为示出本发明的一具体例。以下的实施方式中示出的数值、形状、构成要素、步骤、步骤的顺序等仅为一个例子而已，并不用于限定本发明。而且，以下的实施方式的构成要素中未记载于表示最上位概念的独立权利要求中的构成要素作为任意的构成要素而说明。

(第一实施方式)

(1、系统的构成)

首先，对第一实施方式的通知系统100的构成进行说明。图1是表示第一实施方式的通知系统100的整体构成的一个例子的示意图。

如图1所示，通知系统100具备：云服务器101、一个以上的用户104利用的一个以上的面板装置102(输出装置、信息输出装置)以及一个以上的用户104利用面板装置102等可操作的一个以上的被控制设备103(设备)。

另外，在本实施方式，假设通知系统100由住宅内的三口人的家庭使用。例如，图1所示的用户104“用户a”是母亲、用户104“用户b”是父亲、用户104“用户c”是孩子。但是，利用通知系统100的用户104并不局限于此。

面板装置102被设置在住宅内的墙壁上。例如，面板装置102被设置在客厅、厨房、玄关、卫生间以及卧室等房间的墙壁上。另外，面板装置102也可以与在此例示的房间不同，设置在走廊等的墙壁上。在图1中，表示有三个面板装置102“面板装置a”、“面板装置b”、“面板装置c”被设置在住宅内的例子。但是，面板装置102的台数并不限于三台，只要是一台以上即可。

面板装置102是用于让用户104操作一个以上的被控制设备103的装置。而且，面板装置102也是向用户104通知与一个以上的被控制设备103有关的信息的装置。

面板装置102具备显示信息的显示器和用于受理用户104在该显示器上的触控操作的触控面板装置。显示器显示被控制设备103的运行状态。由此，向用户104通知被控制设备103的运行状态。触控面板装置受理用户104的触控操作。由此，可以进行对面板装置102自身的操作以及对经由网络110连接的被控制设备103的操作。

而且，面板装置102具备麦克风等的语音输入装置，可以采用语音输入进行对面板装置102自身的操作以及对经由网络110连接的被控制设备103的操作。而且，面板装置102具备扬声器等的语音输出装置，输出表示被控制设备103的运行状态的语音。由此，被控制设备103的运行状态作为语音消息被通知给用户104。

另外，可以用一台面板装置102同时进行对多个被控制设备103的操作。而且，从住宅内的任意一个面板装置102都可以进行对住宅内的全部的被控制设备103的操作以及通知住宅内的全部的被控制设备103的运行状态。例如，可以从设置在客厅的面板装置102操作位于厨房的被控制设备103。而且，可以向设置在客厅的面板装置102通知位于厨房的被控制设备103的运行状态。

被控制设备103例如是可经由lan、无线lan、因特网等的网络110与面板装置102以及云服务器101通信的所谓iot(物联网、internetofthings)家用电器。例如，被控制设备103包含洗衣机、微波炉、空调等。另外，在此所示的被控制设备103仅是一个例子而已，并不局限于此。

被控制设备103，在因用户104利用面板装置102的操作其自身的运行状态发生了变化时或者在规定时间内其运行状态可能变化时，将与该被控制设备103的操作有关的信息(以后称为操作履历信息(第一信息))经由网络110发送到云服务器101。操作履历信息包含进行了被控制设备103的操作的用户104(以后称为操作人员)的识别信息以及与该被控制设备103的运行状态有关的信息等。

对被控制设备103的操作不仅可以利用面板装置102进行操作还可以利用被控制设备103具备的操作按钮进行操作。而且，也可以从用户104持有的智能手机等便携式终端(未图示)经由网络110进行操作。被控制设备103，在通过操作按钮以及便携式终端的操作其自身的运行状态发生了变化时或者在规定时间内运行状态可能变化时，将操作履历信息发送到云服务器101。

另外，被控制设备103，在自身的运行状态发生了变化时或者在规定时间内运行状态可能变化时，也可以向云服务器101发送未包含被控制设备103的操作人员的识别信息的操作履历信息。然后，也可以让用户104通过便携式终端等经由网络110进行操作，将操作人员的识别信息包含在被存储在云服务器101的该操作履历信息中。

云服务器101是所谓的虚拟服务器，可与连接到网络110的面板装置102以及被控制设备103等外部装置进行通信。另外，云服务器101并不局限于虚拟服务器，也可以由物理上具备cpu(centralprocessingunit)、存储器以及hdd(harddiskdrive)等的存储装置的多个计算机构成。而且，云服务器101也可以是一台个人计算机。

云服务器101管理用一般的数据库管理工具等难以处理的海量数据(大数据)、从一个以上的各被控制设备103获取的操作履历信息等。

而且，面板装置102除了上述的构成之外，还具备检测出存在于面板装置102附近的用户104并可以识别所检测出的用户104的构成。并且，面板装置102还可以获取与上述检测出的用户104的行为(以后称为用户行为(userbehavior))有关的信息(第三信息)。

在本实施方式，假设面板装置102可以获取的用户行为是表示用户104想要从面板装置102获取信息的意识的程度的行为。在本实施方式，假设用户行为被分类为三种行为即“瞥一眼”、“凝视”、“无视”。

行为“瞥一眼”是用户104瞥了一眼面板装置102稍微意识到面板装置102的状态，被定义为表示从面板装置102获取信息的意识为中等程度(第一程度)的行为(第一行为)。行为“凝视”是用户104注视面板装置102并强烈地意识到面板装置102的状态，被定义为表示从面板装置102获取信息的意识为比行为“瞥一眼”高的程度(第二程度)的行为(第二行为)。行为“无视”是用户104不看面板装置102并没有意识到面板装置102的状态，被定义为表示从面板装置102获取信息的意识比行为“瞥一眼”低的程度(第三程度)的行为(第三行为)。

关于检测存在于面板装置102附近的用户104的检测方法、识别检测出的用户104的识别方法以及获取与用户行为有关的信息的获取方法的详细情况将在以后说明。

面板装置102经由网络110从云服务器101获取被控制设备103的操作履历信息。面板装置102，基于所获取的操作履历信息，确定状态发生了变化或者在规定时间内状态可能发生变化的被控制设备103和该被控制设备103的操作人员。面板装置102，基于所确定的与被控制设备103以及操作人员有关的信息、识别在附近检测出的用户104的用户id(第二信息)、与该用户104的行为有关的信息，决定向该检测出的用户104通知与所确定的被控制设备103有关的通知信息的输出方式以及内容。而且，面板装置102以所决定的输出方式输出所决定的内容的通知信息。

(2、面板装置的构成)

其次，利用图2对面板装置102的构成进行详细说明。图2是表示面板装置102以及云服务器101的构成的一个例子的方框图。

如图2所示，面板装置102具备：操作部201、语音输入部202、设备状态获取部203(第一获取部、确定部)、面板控制部204、语音输出部205(输出部)、通信部206、用户行为获取部207(第三获取部)、用户信息存储部208(存储器)、通知方式决定部(notffyingmeansdeterminationunit)209(决定部)、显示部210(输出部)。

操作部201例如由触控面板装置构成。操作部201受理用户104的触控操作，向面板装置102自身以及经由网络110连接的被控制设备103发送与所受理的触控操作对应的操作指令。

通信部206由通过有线或者无线将面板装置102连接到网络110的通信接口电路构成，经由网络110进行与被控制设备103以及云服务器101之间的通信。

语音输入部202例如由立体声麦克风等的麦克风构成，受理用户104的语音输入，向面板装置102自身以及经由网络110连接的被控制设备103发送操作指令。

显示部210例如由液晶显示器构成，显示通过面板控制部204指示的信息。

语音输出部205例如由立体声扬声器等的扬声器构成，输出通过面板控制部204指示的语音。

用户行为获取部207例如由测距传感器、相机以及微型计算机构成，检测出存在于面板装置102附近的用户104，识别所检测出的用户104，并获取与所检测出的用户104的行为有关的信息。

用户信息存储部208例如由hdd或者ssd(solidstatedrive)等的存储装置构成，将用户行为获取部207识别用户104时所使用的用户104的特征量数据(特征信息)与识别用户104的用户id(识别信息)相互对应地进行存储。

在此，特征量数据例如包含从拍摄了每个用户104的图像识别出的有关每个用户104的骨骼的特征量(表示骨骼的信息)以及脸部的特征量(表示脸部的信息)的至少其中之一。另外，每个用户104的特征量数据，在将面板装置102设置在住宅内时进行的初始设定已经制作，并存储在用户信息存储部208中。

设备状态获取部203例如由微型计算机构成，经由通信部206访问云服务器101，获取云服务器101存储的被控制设备103的操作履历信息。而且，设备状态获取部203，基于所获取的操作履历信息，确定一个以上的被控制设备103之中状态发生了变化或者在规定时间内可能发生状态的变化的被控制设备103和进行了与上述状态的变化有关的操作的操作人员。

通知方式决定部209例如由微型计算机构成。通知方式决定部209，基于通过设备状态获取部203确定的与被控制设备103以及操作人员有关的信息、通过用户行为获取部207检测出的用户104的用户id、从用户行为获取部207获取的与所检测出的用户104的行为有关的信息，决定向该被检测出的用户104通知与上述被确定的被控制设备103有关的通知信息的输出方式以及内容。

在本实施方式，由通知方式决定部209决定的通知信息的输出方式包含通过显示部210显示通知信息以及通过语音输出部205输出表示通知信息的语音的至少其中之一或者不输出通知信息。由通知方式决定部209决定的通知信息的内容包含表示被控制设备103的运行状态的信息或者表示被控制设备103的设定以及运行状态的信息。

面板控制部204，例如由微型计算机构成，利用通知方式决定部209决定的输出方式输出通知方式决定部209决定的内容的通知信息。

在此，对面板装置102的通知信息的输出概要(outputimage)进行说明。图5a是表示在概括显示通知模式下的通知信息的输出概要的一个例子的示意图。例如，假设通过通知方式决定部209确定的被控制设备103为“洗衣机”，该被控制设备103“洗衣机”的运行状态为“正在脱水还剩15分钟”。在这种情况下，假设通知方式决定部209将通知信息的输出方式决定为通过显示部210显示通知信息，并将上述内容决定为表示被控制设备103的运行状态的信息。在这种情况下，面板控制部204将面板装置102切换为概括显示通知模式。

在概括显示通知模式下，面板控制部204控制显示部210，例如如图5a所示，显示表示上述被确定的被控制设备103“洗衣机”的运行状态为“正在脱水还剩15分钟”的图像ga。在概括显示通知模式下，用户104可以在视觉上识别上述被确定的被控制设备103的运行状态。为此，例如，存在于面板装置102附近的用户104的行为最好为信息的获取意识为中等程度的行为等。

图5b是表示在语音通知模式下的通知信息的输出概要的一个例子的示意图。例如，假设通过通知方式决定部209确定的被控制设备103为“微波炉”，该被控制设备103“微波炉”的运行状态为“完成”，表示该被控制设备103“微波炉”的设定的参数(以后，称为设定参数)为“烤箱预热、150℃”。在这种情况下，假设通知方式决定部209将通知信息的输出方式决定为通过语音输出部205输出表示通知信息的语音，将上述内容决定为表示被控制设备103的设定以及运行状态的信息。在这种情况下，面板控制部204将面板装置102切换为语音通知模式。

在语音通知模式下，面板控制部204控制语音输出部205，例如如图5b所示，输出表示被控制设备103“微波炉”的设定参数为“烤箱预热、150℃”以及运行状态为“完成”的语音消息vb“已完成微波炉的烤箱预热150℃”。在语音通知模式下，用户104可以通过语音通知被控制设备103的设定参数以及运行状态。为此，例如，存在于面板装置102附近的用户104的行为最好为信息的获取意识较低的行为等。

另外，在语音通知模式下，面板控制部204，例如如图5b所示，也可以控制显示部210进一步显示表示被控制设备103“微波炉”的运行状态为“完成”的图像gb。

图5c是表示在详细显示通知模式下的通知信息的输出概要的一个例子的示意图。例如，假设通过通知方式决定部209确定的被控制设备103为“洗衣机”，该被控制设备103“洗衣机”的运行状态为“正在脱水还剩15分钟”。而且，假设该被控制设备103“洗衣机”的设定参数为“标准程序、洗涤○○○”。在这种情况下，假设通知方式决定部209将上述输出方式决定为通过显示部210显示通知信息，将上述内容决定为表示被控制设备103的设定以及运行状态的信息。在这种情况下，面板控制部204将面板装置102切换为详细显示通知模式。

在详细显示通知模式下，面板控制部204控制显示部210，例如如图5c所示，显示表示上述被确定的被控制设备103“洗衣机”的设定参数为“标准程序、洗涤○○○”以及运行状态为“正在脱水还剩15分钟”的图像gc。在详细显示通知模式下，与概括显示通知模式相比用户104可以在视觉上识别与被控制设备103有关的更详细的信息。为此，例如，存在于面板装置102附近的用户104的行为最好为信息的获取意识较高的行为等。

(3、云服务器的构成)

其次，利用图2对云服务器101的构成进行详细说明。

如图2所示，云服务器101具备通信部211、操作履历存储部212、通知管理部213、设备管理部214。

通信部211由通过有线或者无线将云服务器101连接到网络110的通信接口电路构成，经由网络110与被控制设备103以及面板装置102进行通信。

操作履历存储部212例如由hdd等存储装置构成，存储从位于住宅内的各被控制设备103获取的操作履历信息。

图4是表示操作履历信息表t1的一个例子的示意图。如图4所示，操作履历存储部212具备用于存储操作履历信息的操作履历信息表t1。操作履历信息是将id、操作日期时间、家庭id、操作人员id、设备id、设备名称、设定参数、运行状态以及通知管理相互对应的信息。

id是从被控制设备103获取的操作履历信息的标识符(例如“001”)。操作日期时间是被控制设备103被操作的日期时间(例如“2018年12月17日10:01)。家庭id是操作被控制设备103的用户104所属的家庭的标识符(例如“h001”)。操作人员id是操作被控制设备103的用户104的标识符(例如“u00a”)。设备id是被操作的被控制设备103的标识符(例如“d001”)。设备名称是被操作的被控制设备103的名称(例如“洗衣机”、“空调”、“微波炉”)。如此，操作履历信息为可以管理在每个家庭、属于每个家庭的一个以上的用户104操作了属于每个家庭的一个以上的被控制设备103的履历的构成。

设定参数是用户104操作被控制设备103时所设定的参数(例如“标准程序、洗涤○○○”)。运行状态是与被控制设备103的运行状态有关的信息。与运行状态有关的信息包含被控制设备103的运行状态(例如“正在脱水”、“停止”、“完成”)、被控制设备103变化到下一个运行状态为止所需的剩余时间(例如“剩余15分钟”)等。

通知管理是表示是否通过面板装置102输出与该被控制设备103有关的通知信息的信息。在图4所示的例子中，设备id“d001”的被控制设备103的通知管理为“尚未完成”。这表示没有通过面板装置102输出与该被控制设备103有关的通知信息的情况。而且，在图4所示的例子中，装置id“d002”的被控制设备103的通知管理为“-”。这表示不是管理是否通过面板装置102输出与该被控制设备103有关的通知信息的对象。

通知管理部213管理是否通过面板装置102输出与被控制设备103有关的通知信息。

具体而言，假设在面板装置102与被控制设备103有关的通知信息被输出之后，由任意一个用户104对该被控制设备103进行了操作。由此，假设该被控制设备103将新发送的操作履历信息存储到操作履历信息表t1(图4)中。在这种情况下，通知管理部213参照存储在操作履历信息表t1(图4)中的该被控制设备103上一次发送的操作履历信息。而且，通知管理部213在所参照的操作履历信息的通知管理为“尚未完成”时将该通知管理更新为“完成”。另一方面，通知管理部213在所参照的操作履历信息的通知管理为“-”时不执行任何动作。

设备管理部214管理与位于住宅内的一个以上的被控制设备103有关的信息。与被控制设备103有关的信息包含识别被控制设备103的设备id、被控制设备103的名称、识别被控制设备103所属家庭的家庭id等。而且，设备管理部214，在通信部211每次从被控制设备103接收操作履历信息时，都将该接收到的操作履历信息存储到操作履历信息表t1(图4)中。

(4、用户行为获取部207的详细构成)

其次，利用图3对面板装置102具备的用户行为获取部207的详细构成进行详细说明。图3是表示用户行为获取部207的详细构成的一个例子的方框图。

如图3所示，用户行为获取部207具备接近传感值获取部304、骨骼检测部301、用户识别部302(第二获取部)、脸部检测部303、行为判断部305(第三获取部)。

接近传感值获取部304是所谓的测距传感器，获取从面板装置102的正面到存在于规定范围内的物体之间的离开距离。例如，测距传感器由利用红外线测量与所述物体之间的离开距离的红外线传感器构成。另外，所述测距传感器并不局限于此，也可以由从拍摄了所述物体的图像获取所述离开距离的深度相机(depthcamera)构成。

骨骼检测部301例如由相机以及微型计算机构成，检测出存在于面板装置102附近的人物的骨骼的特征量。具体而言，骨骼检测部301，通过相机对面板装置102的附近进行拍摄，通过进行公知的图像识别处理，从该拍摄的图像中检测出存在于面板装置102附近的人物的骨骼的特征量。

脸部检测部303例如由相机以及微型计算机构成，检测出存在于面板装置102附近的人物的脸部的特征量。具体而言，脸部检测部303，通过相机对面板装置102的附近进行拍摄，通过进行公知的图像识别处理，从该拍摄的图像中检测出存在于面板装置102附近的人物的脸部的特征量。

用户识别部302由微型计算机构成，识别存在于面板装置102附近的用户104。具体而言，用户识别部302从用户信息存储部208获取与表示通过骨骼检测部301或者脸部检测部303检测出的特征量的数据相对应的用户id。用户识别部302将所获取的用户id作为存在于面板装置102附近的用户104的用户id而生成。

行为判断部305由微型计算机构成，基于由骨骼检测部301以及脸部检测部303检测出的检测结果或者由接近传感值获取部304获取的离开距离，判断存在于面板装置102附近的用户104的行为。

具体而言，行为判断部305，在脸部检测部303检测出用户104的脸部的时间(识别时间)在规定的第一时间以上的情况下，将存在于面板装置102附近的用户104的行为判断为行为“凝视”。在这种情况下，行为判断部305生成表示用户104的行为是行为“凝视”的信息，并将生成的信息输出到通知方式决定部209。

行为判断部305，在脸部检测部303检测出用户104的脸部的时间小于所述第一时间的情况下，将存在于面板装置102附近的用户104的行为判断为行为“瞥一眼”。在这种情况下，行为判断部305生成表示用户104的行为是行为“瞥一眼”的信息，并将生成的信息输出到通知方式决定部209。

行为判断部305，在脸部检测部303没有检测到用户104的脸部但是骨骼检测部301检测到用户104的骨骼的情况下，将存在于面板装置102附近的用户104的行为判断为行为“无视”。在这种情况下，行为判断部305生成表示用户104的行为是“无视”的信息，并将生成的信息输出到通知方式决定部209。

(5、通知系统100的动作)

其次，利用图6对通知系统100的动作具体地进行说明。图6是表示通知系统100的整体的动作的流程图。

如图6所示，首先，面板装置102进行用户行为获取处理(步骤s101)。用户行为获取处理是识别存在于面板装置102附近的用户104并获取表示所识别的用户104的行为的信息的处理。

其次，面板装置102进行通知对象确定处理(步骤s102)。通知对象确定处理是从云服务器101获取操作履历信息并基于所获取的操作履历信息确定向面板装置102通知的对象即被控制设备103以及其操作人员的处理。

最后，面板装置102进行通知方式决定处理(步骤s103)。通知方式决定处理是基于与在步骤s102确定的被控制设备103以及操作人员有关的信息、在步骤s101识别出的用户104的用户id以及表示在步骤s101获取的用户104的行为的信息，决定面板装置102的通知信息的输出方式以及通知信息的内容的处理。

(5-1、用户行为获取处理)

以下，利用图7对用户行为获取处理进行详细说明。图7是表示用户行为获取处理的一个例子的流程图。如图7所示，在步骤s101(图6)的用户行为获取处理中，首先，面板控制部204根据接近传感值获取部304是否获取到离开距离来判断在面板装置102的附近是否存在人物(步骤s201)。

面板控制部204，在接近传感值获取部304没有获取到离开距离的情况下，判断在面板装置102的附近不存在人物(在步骤s201为“否”)，变为待机状态。另一方面，如果接近传感值获取部304获取到离开距离，面板控制部204就判断在面板装置102的附近存在人物(在步骤s201为“是”)，使处理移至步骤s202。

在步骤s202，骨骼检测部301进行检测出存在于面板装置102附近的人物的骨骼的特征量的骨骼检测处理(步骤s202)。而且，脸部检测部303进行检测出在规定时间存在于面板装置102附近的人物的脸部的特征量的脸部检测处理(步骤s203)。

其次，用户识别部302，基于在步骤s202以及步骤s203的检测结果，判断是否可以将存在于面板装置102附近的人物作为通知系统100的用户104来识别(步骤s204)。

具体而言，在步骤s204，用户识别部302进行从用户信息存储部208获取与表示在步骤s202检测出的骨骼的特征量或者在步骤s203检测出的脸部的特征量的数据相对应的用户id的处理。在此，在获取到了某个用户id的情况下，用户识别部302判断可以将存在于面板装置102附近的人物作为通过所获取的用户id而识别出的用户104进行识别(在步骤s204为“是”)。

另外，存在例如因多个用户104都存在于面板装置102附近，从用户信息存储部208获取多个用户id的情况。在这种情况下，为了不至于漏通知来自面板装置102的通知信息，用户识别部302以规定的方法例如最初获取的用户id等来获取某一个用户id。

另一方面，假设用户识别部302没有将表示在步骤s202检测出的骨骼的特征量以及在步骤s203检测出的脸部的特征量的数据存储到用户信息存储部208，无法获取与该数据相对应的用户id。在这种情况下，用户识别部302判断无法识别用户104(在步骤s204为“否”)。在这种情况下，面板控制部204将面板装置102切换为概括显示通知模式(步骤s407(图9))。由此，即使是在无法识别面板装置102附近的用户104的情况下，也可以将通知信息通知给该无法识别的用户104。其结果，可以提高将该通知信息的内容从该无法识别的用户104传送到进行了与该通知信息相关的被控制设备103的操作的用户104的可能性。

在步骤s204判断为可以识别用户104的情况下(在步骤s204为“是”)，行为判断部305判断在步骤s201被检测出的在步骤s204被识别出的用户104的行为。

具体而言，假设在步骤s203，脸部检测部303多次(一次以上)检测出用户104的脸部的特征量(在步骤s205为“是”)，并且，可以检测出脸部的特征量的时间在规定的第一时间t1以上(在步骤s206为“是”)。在这种情况下，行为判断部305判断在面板装置102附近的用户104处于一直盯着面板装置102的状态，并将用户104的行为判断为行为“凝视”。而且，行为判断部305生成表示用户104的行为是行为“凝视”的信息，并将所生成的信息输出到通知方式决定部209(步骤s207)。

另一方面，假设在步骤s203，脸部检测部303多次(一次以上)检测出用户104的脸部的特征量(在步骤s205为“是”)，但是，可以检测出脸部的特征量的时间小于上述第一时间t1(在步骤s206为“否”)。在这种情况下，行为判断部305判断在面板装置102附近的用户104处于瞥一眼或多次重复瞥一眼面板装置102的状态，并将用户104的行为判断为行为“瞥一眼”。而且，行为判断部305生成表示用户104的行为是行为“瞥一眼”的信息，并将所生成的信息输出到通知方式决定部209(步骤s208)。

而且，假设在步骤s203，脸部检测部303没有检测到脸部的特征量，但是在步骤s202，骨骼检测部301检测到骨骼的特征量(在步骤s205为“否”)。在这种情况下，行为判断部305判断在面板装置102附近的用户104处于把脸从面板装置102转过去不看面板装置102的状态，并将用户104的行为判断为行为“无视”。而且，行为判断部305生成表示用户104的行为是行为“无视”的信息，并将所生成的信息输出到通知方式决定部209(步骤s209)。

(5-2、通知对象确定处理)

以下，利用图8对通知对象确定处理进行详细说明。图8是表示通知对象确定处理的一个例子的流程图。如图8所示，在步骤s102(图6)的通知对象确定处理中，首先，设备状态获取部203利用通信部206从云服务器101的操作履历信息表t1(图4)获取包含配置了面板装置102的家庭的家庭id(例如“h001”)的操作履历信息(步骤s301)。

其次，设备状态获取部203判断在步骤s301获取的操作履历信息之中是否存在通知管理为“尚未完成”的操作履历信息(步骤s302)。在步骤s302判断为不存在通知管理为“尚未完成”的操作履历信息的情况下(在步骤s302为“否”)，面板控制部204判读为不需要向面板装置102通知与被控制设备103有关的通知信息。在这种情况下，面板控制部204不将面板装置102切换为通知模式(步骤s408(图9))，并结束处理。由此，不仅可以抑制对通知管理为“尚未完成”的操作履历信息所对应的被控制设备103通知通知信息，还可以抑制对通知管理为“完成”或者“-”的操作履历信息所对应的被控制设备103通知通知信息。另外，通知模式是指将通知信息输出到面板装置102的模式。

另一方面，假设设备状态获取部203在步骤s302判断存在通知管理为“尚未完成”的操作履历信息(图4)(在步骤s302为“是”)。在这种情况下，设备状态获取部203，基于该通知管理为“尚未完成”的操作履历信息，确定运行状态发生了变化或者在规定时间内运行状态有可能变化的被控制设备103和进行了与该运行状态的变化有关的操作的操作人员(步骤s303)。

在此，使用具体例子对步骤s301至步骤s303进行说明。在本具体例子中，假设在操作履历信息表t1中存储有图4所示的三个操作履历信息。而且，假设进行步骤s301至步骤s303的面板装置102被配置在家庭id“h001”。在这种情况下，在步骤s301，设备状态获取部203从操作履历信息表t1(图4)获取包含家庭id“h001”的图4所示的三个操作履历信息。

其次，在步骤s302，设备状态获取部203判断通知管理为“尚未完成”、存在id为“001”、“003”的两个操作履历信息。在这种情况下，在步骤s303，设备状态获取部203参照id“001”、“003”的操作履历信息中所包含的运行状态。

id“001”的操作履历信息中所包含的运行状态“正在脱水还剩15分钟”表示在规定时间内有可能变为脱水完成的状态。为此，设备状态获取部203将用id“001”的操作履历信息中所包含的设备id“d001”以及设备名称“洗衣机”确定的被控制设备103作为运行状态有可能在规定时间内变化的被控制设备103来确定。而且，设备状态获取部203获取在id“001”的操作履历信息中所包含的操作人员id“u00a”。而且，设备状态获取部203将通过所获取的操作人员id“u00a”识别出的用户104作为进行了有关向运行状态“正在脱水还剩15分钟”变化的操作的操作人员来确定。

id“003”的操作履历信息中所包含的运行状态“完成”表示变化到运行结束的状态。为此，设备状态获取部203将用id“003”的操作履历信息中所包含的设备id“d003”以及设备名称“微波炉”所确定的被控制设备103作为运行状态发生了变化的被控制设备103来确定。而且，设备状态获取部203获取在id“003”的操作履历信息中所包含的操作人员id“u00c”。而且，设备状态获取部203将通过所获取的操作人员id“u00c”识别出的用户104作为进行了有关向运行状态“完成”变化的操作的操作人员来确定。

如此，设备状态获取部203，通过执行步骤s301至步骤s303，基于存储在云服务器101的操作履历信息，确定运行状态发生了变化或者运行状态在规定时间内可能变化的作为通知对象的被控制设备103。而且，设备状态获取部203确定进行了有关使该确定的被控制设备103的运行状态变化的操作的操作人员。

其次，设备状态获取部203判断在步骤s204(图7)识别出的用户104是否与在步骤s303确定的操作人员一致(步骤s304)。具体而言，设备状态获取部203判断在步骤s303获取的操作人员id与在步骤s204(图7)用户识别部302获取的用户id是否一致。

假设设备状态获取部203在步骤s304判断在步骤s204(图7)识别出的用户104与在步骤s303确定的操作人员一致(在步骤s304为“是”)。在这种情况下，设备状态获取部203结束步骤s102(图6)的通知对象确定处理，并使处理移至步骤s103(图6)。

另一方面，假设设备状态获取部203在步骤s304判断在步骤s204(图7)识别出的用户104与在步骤s303确定的操作人员不一致(在步骤s304为“否”)。

在这种情况下，设备状态获取部203判断在步骤s303确定的被控制设备103之中是否存在运行状态为“完成”的被控制设备103(步骤s305)。具体而言，在步骤s305，设备状态获取部203判断在步骤s303参照的包含所确定的被控制设备103的设备id的操作履历信息之中是否存在运行状态为“完成”的被控制设备103。

假设在步骤s305判断为存在运行状态为“完成”的被控制设备103(在步骤s305为“是”)。在这种情况下，面板控制部204防止与运行状态变为“完成”的被控制设备103有关的通知信息没有被传送到存在于住宅内的一个以上的用户104。为此，面板控制部204将面板装置102切换为语音通知模式(步骤s406(图9))，并结束处理。

另一方面，假设在步骤s305设备状态获取部203判断为不存在运行状态为“完成”的被控制设备103(在步骤s305为“否”)。在这种情况下，面板控制部204判断不需要将与被控制设备103有关的通知信息通知给面板装置102，不将面板装置102切换为通知模式(步骤s408(图9))，结束处理。

(5-3、通知方式决定处理)

以下，利用图9对通知方式决定处理进行详细说明。图9是表示通知方式决定处理的一个例子的流程图。如图8所示，在步骤s103(图6)的通知方式决定处理中，首先，设备状态获取部203获取在步骤s303(图8)确定的被控制设备103变为运行结束的状态为止的剩余时间(步骤s401)。

具体而言，在步骤s401，设备状态获取部203参照在步骤s302获取的通知管理为“尚未完成”的操作履历信息(图4)之中包含与在步骤s303(图8)确定的被控制设备103有关的操作履历信息(图4)中的运行状态。而且，设备状态获取部203从所参照的运行状态获取上述剩余时间。

例如，假设在操作履历信息表t1中存储图4所示的三个操作履历信息，在步骤s303，用id“001”的操作履历信息中包含的设备id“d001”以及设备名称“洗衣机”所确定的被控制设备103作为通知对象来确定。在这种情况下，设备状态获取部203参照id“001”的操作履历信息中包含的运行状态为“正在脱水还剩15分钟”，获取“15分钟”作为上述剩余时间。

另外，设备状态获取部203，在所参照的操作履历信息(图4)的运行状态中没有包含表示剩余时间的信息，并且，该运行状态没有表示该被控制设备103的运行为已经完成的状态的情况下，获取上述剩余时间作为规定时间“m分钟”。

其次，通知方式决定部209，基于在步骤s401的上述剩余时间的获取结果和通过步骤s207至s209(图7)从行为判断部305获取的表示用户104的行为的信息，决定将面板装置102切换为哪一个通知模式(步骤s402、s403、s404)。

通知方式决定部209，当在步骤s401获取的上述剩余时间在规定时间“m分钟”以上的情况下(在步骤s402为“是”)，决定与用户104的行为对应的通知模式(步骤s403)。

具体而言，通知方式决定部209，在从行为判断部305获取了表示用户104的行为是行为“凝视”的信息的情况下(步骤s403为“凝视”)，决定将面板装置102切换为详细显示通知模式。详细显示通知模式是指将与在步骤s303(图8)确定的被控制设备103有关的通知信息的输出方式设定为通过显示部210显示通知信息，并将该通知信息的内容设定为表示该被控制设备103的设定以及运行状态的信息的模式。而且，通知方式决定部209向面板控制部204发送将面板装置102切换为详细显示通知模式的指示。面板控制部204按照从通知方式决定部209接收到的指示，将面板装置102切换为详细显示通知模式(步骤s405)。

具体而言，在步骤s405，通知方式决定部209获取与被控制设备103有关的操作履历信息(图4)的设备名称(例如“洗衣机”)、设定参数(例如“标准程序、洗涤○○○”)以及运行状态(例如“正在脱水还剩15分钟”)作为与在步骤s303(图8)确定的被控制设备103有关的通知信息的内容。而且，通知方式决定部209指示面板控制部204使显示部210显示所获取的内容的通知信息。面板控制部204，如果接收到该指示，就控制显示部210显示例如如图5c所示的表示所指示的内容的通知信息的图像gc。

另一方面，假设通知方式决定部209从行为判断部305获取了表示用户104的行为是行为“瞥一眼”的信息(在步骤s403为“瞥一眼”)。或者，假设在步骤s204(图7)，用户识别部302判断为无法识别用户104。在这种情况下，通知方式决定部209决定将面板装置102切换为概括显示通知模式。概括显示通知模式是指将与在步骤s303(图8)确定的被控制设备103有关的通知信息的输出方式设定为通过显示部210显示通知信息，并将该通知信息的内容设定为表示该被控制设备103的运行状态的信息的模式。而且，通知方式决定部209向面板控制部204发送将面板装置102切换为概括显示通知模式的指示。面板控制部204按照从通知方式决定部209接收到的指示，将面板装置102切换为概括显示通知模式(步骤s407)。

具体而言，在步骤s407，通知方式决定部209获取与该被控制设备103有关的操作履历信息(图4)的设备名称(例如“洗衣机”)以及运行状态(例如“正在脱水还剩15分钟”)作为与在步骤s303(图8)确定的被控制设备103有关的通知信息的内容。而且，通知方式决定部209指示面板控制部204使显示部210显示所获取的内容的通知信息。面板控制部204，如果接收到该指示，就控制显示部210显示例如如图5a所示的表示所指示的内容的通知信息的图像ga。

而且，假设通知方式决定部209从行为判断部305获取了表示用户104的行为是行为“无视”的信息(步骤s403为“无视”)。在这种情况下，通知方式决定部209将与在步骤s303(图8)确定的被控制设备103有关的通知信息的输出方式决定为不输出通知信息。在这种情况下，通知方式决定部209不向面板控制部204发送将面板装置102切换为通知模式的指示。为此，面板控制部204不将面板装置102切换为通知模式(步骤s408)，结束处理。由此，可以避免不必要地向信息获取意识较低的行为的用户104进行通知信息的通知。

并且，假设通知方式决定部209在步骤s401获取的上述剩余时间小于规定时间“m分钟”。或者，假设通知方式决定部209在步骤s401参照的运行状态表示为完成了运行的状态(在步骤s402为“否”)。在这些情况下，通知方式决定部209决定与在步骤s101确定的用户104的行为对应的通知模式(步骤s404)。

具体而言，在通知方式决定部209从行为判断部305获取了表示用户104的行为是行为“凝视”的信息的情况下(步骤s404为“凝视”)，执行上述的步骤s405。另一方面，在通知方式决定部209从行为判断部305获取了表示用户104的行为是行为“瞥一眼”的信息的情况下(步骤s404为“瞥一眼”)，执行上述的步骤s407。

而且，在通知方式决定部209从行为判断部305获取了表示用户104的行为是“无视”的信息的情况下(步骤s404为“无视”)，决定将面板装置102切换为语音通知模式。所谓语音通知模式是指将与在步骤s303(图8)确定的被控制设备103有关的通知信息的输出方式设定为表示通过语音输出部205输出通知信息的语音的输出，并将该通知信息的内容设定为表示该被控制设备103的设定以及运行状态的信息的模式。而且，通知方式决定部209向面板控制部204发送将面板装置102切换为语音通知模式的指示。面板控制部204，按照从通知方式决定部209接收到的指示，将面板装置102切换为语音通知模式(步骤s406)。

具体而言，在步骤s406，通知方式决定部209获取与该被控制设备103有关的操作履历信息(图4)的设备名称(例如“微波炉”)、设定参数(例如“烤箱预热150℃”)以及运行状态(例如“完成”)作为与在步骤s303(图8)确定的被控制设备103有关的通知信息的内容。而且，通知方式决定部209指示面板控制部204使语音输出部205输出表示所获取的内容的通知信息的语音消息。面板控制部204，如果接收到该指示，就控制语音输出部205输出例如如图5b所示的表示所指示的内容的通知信息的语音消息vb。

另外，表示通知信息的语音消息也可以由云服务器101生成。而且，面板控制器204也可以从云服务器101获取所生成的语音消息vb。而且，面板控制部204，在将面板装置102切换为语音通知模式的情况下，也可以例如如图5b所示，进一步显示表示被控制设备103的运行状态的图像gb。

根据上述实施方式的构成，基于操作履历信息，可以确定一个以上的被控制设备103之中状态发生了变化或者在规定时间以内状态有可能发生变化的被控制设备103和进行了与上述状态的变化有关的操作的操作人员。而且，向在附近检测出用户10的面板装置102输出通知信息。该通知信息的输出方式以及内容基于与上述确定的被控制设备103以及操作人员有关的信息和所检测出的用户104的用户id以及所检测出的用户104的行为的判断结果来决定。为此，可以采用与自身的行为对应的输出方式，向存在于输出了通知信息的面板装置102的附近的用户104通知与自身的行为对应的内容的有关被控制设备103的信息。

(变形实施方式)

另外，上述实施方式只是示意例举了本发明涉及的实施方式而已，并不用于要将本发明限定为上述实施方式。本发明涉及的实施方式，例如，也可以是以下所示的变形实施方式。另外，在以后的说明中，对于与上述构成要素相同的构成要素赋予相同的标号，并省略其说明。

(1)云服务器101也可以具备与用户信息存储部208(图2)相同的存储部。或者，也可以在住宅内设置所谓的边缘服务器(edgeserver)，该边缘服务器可以经由网络110与住宅内的一个以上的面板装置102、一个以上的被控制设备103以及云服务器101进行通信。而且，该边缘服务器也可以具备与用户信息存储部208(图2)相同的存储部。

与此相配合，用户行为获取部207(图2、图3)也可以将利用相机拍摄的图像发送到云服务器101(或者边缘服务器)。而且，云服务器101(或者边缘服务器)也可以基于通信部211接收的图像和存储在自身的存储部中的信息，进行与骨骼检测部301、用户识别部302、脸部检测部303以及行为判断部305(图3)相同的处理。

(2)也可以具备用于检测存在于面板装置102附近的人物的特征量的检测部来替代骨骼检测部301以及脸部检测部303。例如，该检测部可以具备相机、麦克风以及微型计算机等。而且，该检测部也可以是以下的构成，即，根据通过相机对存在于面板装置102附近的用户104进行摄影的图像以及存在于面板装置102附近的用户104通过麦克风发出的语音，来检测视网膜、身高、声音等人物的特征量。

与此相配合，表示每个用户104的视网膜、身高、声音等的特征量的数据可以在将面板装置102设置在住宅内时进行的初始设定中而制成。而且，只需将所制成的数据与每个用户104的用户id相互对应地预先存储在用户信息存储部208即可。而且，用户识别部302(图3)也可以利用该检测部的检测结果来替代骨骼检测部301以及脸部检测部303的检测结果。

(3)从面板装置102向用户104通知的信息并不局限于与在步骤s303(图8)确定的被控制设备103的设定以及状态有关的信息。例如，假设作为用户104使用的服务器所提供的信息，在面板装置102可以从云服务器101获取的信息之中有可与上述确定的被控制设备103的操作相关联的信息(第一信息)。在这种情况下，也可以将该相关联的信息包含在从面板装置102向用户104通知的信息中。

例如，假设在用户104利用的快递服务所提供的、面板装置102可以从云服务器101获取的配送信息之中包含表示与上述确定的被控制设备103的操作相关联的商品的配送状况的信息。在这种情况下，也可以将表示该商品的配送状况的信息包含在与上述确定的被控制设备103有关的通知信息中。另外，上述商品例如包含洗衣机在洗涤工序的操作下所使用的洗涤剂、微波炉在烹饪操作下所使用的烹饪食材等以及吸尘器在清扫的操作下所需要的交换用过滤器等。

(4)操作履历信息(图4)还可以进一步包含表示是否为需要向全体人员的通知的设备的属性信息。而且，通知方式决定部209也可以基于该属性信息来决定通知信息的输出方式以及内容。

具体而言，在与具有要求即时响应的属性的对讲机有关的操作履历信息中也可以包含表示是需要向全体人员通知的设备的属性信息。而且，在具有住宅内的所有用户104都利用的属性、与设置在浴室等卫生间空间中的被控制设备103有关的操作履历信息中也可以包含同样的属性信息。

而且，假设在步骤s304(图8)判断为存在于面板装置102附近的用户104与操作人员不一致。在这种情况下，通知方式决定部209只需判断在步骤s303(图8)确定的与被控制设备103有关的操作履历信息中是否包含表示需要向全体人员通知的设备的属性信息(以后，称为全体人员属性信息)即可。而且，在包含全体人员属性信息的情况下，也可以与在步骤s304(图8)判断为附近的用户104与操作人员一致的情况(在步骤s304为“是”)相同，使处理继续。

(5)在操作被控制设备103时，也可以让操作人员预先设定作为通知与被控制设备103有关的通知信息的对象的用户104。而且，如果在面板装置102的附近检测出的用户104是作为上述通知对象的用户104而设定的用户104的情况下，就可以通知与该被控制设备103有关的通知信息。

具体而言，在操作履历信息(图4)中也可以包含由被控制设备103的操作人员指定的、作为通知与被控制设备103有关的信息的对象的用户104的用户id(以后，称为通知对象id)。

而且，假设在步骤s304(图8)判断为存在于面板装置102附近的用户104与操作人员不一致。在这种情况下，通知方式决定部209只需判断在步骤s303(图8)确定的与被控制设备103有关的操作履历信息中包含的通知对象id和存在于面板装置102附近的用户104的用户id是否一致即可。而且，在判断为一致的情况下，也可以与在步骤s304(图8)判断为附近的用户104与操作人员一致的情况(在步骤s304为“是”)相同，使处理继续。

(6)也可以基于从输出包含表示被控制设备103(第一设备)的运行结束状态的信息的通知信息(第一通知信息)的时刻起到下一次对该被控制设备103进行操作为止的经过时间，来决定作为再次通知(再次输出)该通知信息的对象的用户104。而且，也可以对在附近检测到所决定的用户104的一个以上的面板装置102再次通知上述通知信息。

具体而言，当通知管理部213将操作履历信息的通知管理变更为“完成”时，也可以将表示该变更时的日期时间的变更日期时间信息进一步与该操作履历信息相互对应地进行存储。

而且，假设在步骤s304(图8)判断为存在于面板装置102附近的用户104与操作人员不一致。在这种情况下，通知方式决定部209只需判断从与在步骤s303(图8)确定的被控制设备103有关的操作履历信息相互对应的变更日期时间信息所表示的日期时间起的经过时间是否在规定时间以上即可。

而且，如果在该判断中判断上述经过时间在规定时间以上的情况下，也可以与在步骤s304(图8)判断为附近的用户104与操作人员一致的情况(在步骤s304为“是”)相同，使处理继续。例如，假设从输出包含表示被控制设备103的运行结束状态的信息的通知信息的时刻起在上述规定时间以上没有进行任何操作。在这种情况下，在本具体例子中，无论在步骤s204识别出的用户104是谁，都可以再次通知该被控制设备103变为运行结束状态。

(7)也可以让云服务器101存储用户104的日程数据(scheduledata)，让通知方式决定部209与该日程数据相关联地决定通知信息的内容。

例如，假设在云服务器101中存储有每天在21:00让孩子睡觉这样的日程数据。在这种情况下，作为在比让孩子睡觉的时刻提前规定时间(例如，三个小时)开始准备晚餐，通知方式决定部209也可以将比让孩子睡觉的时刻提前上述规定时间的时刻(例如，18:00)作为电饭煲的操作时刻来设定。而且，通知方式决定部209，在接近电饭煲的操作时刻的时段决定通知信息的内容时，也可以将需要操作电饭煲包含在该通知信息的内容中来作为准备晚餐的建议。

(8)假设在步骤s207(图7)判断用户104的行为是行为“凝视”。之后，假设在包含表示在步骤s303(图8)确定的被控制设备103的运行已结束的状态的信息的通知信息被输出为止的期间，在步骤s208(图7)判断用户104的行为是行为“瞥一眼”。在这种情况下，行为判断部305也可以重新判断用户104的行为是行为“凝视”，从而表示该用户104获取信息的意识的程度继续处于很高的状态。

(9)用户行为获取部207，在用户104接近面板装置102的情况下，也可以判断用户104的行为是行为“凝视”。而且，用户行为获取部207，在用户104远离面板装置102的情况下，也可以判断用户104的行为是行为“无视”。

具体而言，假设在步骤s204(图7)识别出在面板装置102附近的用户104(在步骤s204为“是”)。在这种情况下，行为判断部305(图3)也可以进行再次从接近传感值获取部304获取面板装置102和上述附近的用户104之间的离开距离的处理。

而且，假设第二次获取的上述离开距离小于等于第一次获取的上述离开距离。在这种情况下，认为上述识别出的用户104采取了接近面板装置102并且提高信息的获取意识的程度的行为。因此，在这种情况下，行为判断部305(图3)也可以与步骤s207(图7)同样，判断该用户104的行为是行为“凝视”。

另一方面，假设第二次获取的离开距离大于第一次获取的离开距离。在这种情况下，认为在步骤s204识别出的用户104采取了远离面板装置102并且降低信息的获取意识的程度的行为。因此，在这种情况下，行为判断部305(图3)也可以与步骤s209(图7)同样，判断用户104的行为是行为“无视”。

(10)例如，有时可能会在被设置在相邻的客厅和卧室的两个面板装置102等的多个面板装置102的附近同时检测出一个用户104。在这种情况下，也可以基于该被检测出的用户104的检测履历来决定输出通知信息的面板装置102。

具体而言，在云服务器101，将检测履历信息(第四信息)存储在构成操作履历存储部212的hdd等的存储装置(存储器)中即可。检测履历信息是将识别用户104的用户id、识别在附近检测到该用户104的面板装置102的面板id、该面板装置102检测到该用户104的次数相互对应的信息。

而且，假设在步骤s204(图7)识别出存在于面板装置102附近的用户104。在这种情况下，面板控制器204云服务器101将该用户104的用户id和该面板装置102的面板id发送到云服务器101即可。而且，在云服务器101，也可以使包含所接收到的用户id以及面板id的检测履历信息的上述检测次数每当接收到该用户id以及面板id时就累加1次。

而且，面板控制部204，在步骤s405、步骤s406以及步骤s407切换通知模式之前，也可以从云服务器101获取包含在步骤s204(图7)获取的用户id的检测履历信息。而且，面板控制部204也可以参照所获取的检测履历信息之中检测次数为最大的检测履历信息所包含的面板id。

而且，面板控制部204，在所参照的面板id与具备其自身的面板装置102的面板id一致的情况下，也可以进行在步骤s405、s406、s407的通知模式的切换。另一方面，面板控制部204，在所参照的面板id与具备其自身的面板装置102的面板id不一致的情况下，也可以不进行在步骤s405、s406、s407的通知模式的切换。在这种情况下，可以将通知信息输出到用户104最有可能接近的面板装置102。由此，可以更可靠地将通知信息通知给该用户104。

但是，并不局限于上述，也可以将通知信息输出到同时检测出同一个用户104的全部的面板装置102。

(11)也可以是用户104的行为是行为“凝视”的时间越变长就越增大通知信息的内容的构成。

例如，假设判断用户104的行为是行为“凝视”，在步骤s405(图9)，面板控制部204使面板装置102切换为详细显示通知模式。在这种情况下，面板控制部204，也可以首先与概括显示通知模式同样，显示仅包含表示被控制设备103的状态的信息的通知信息。然后，如果被判断为用户104的行为是行为“凝视”的时间比规定时间长，面板控制部204也可以追加并显示表示被控制设备103的设定的信息。

(12)在上述实施方式，在云服务器101上所实现的技术例如可以用iaas(infrastructureasaservice)、paas(platformasaservice)、saas(softwareasaservice)等的云服务的类型来实现。但是，实现上述实施方式说明的技术的云服务的类型并不局限于此。

产业上的可利用性

本发明涉及的通知系统以及通知方法，对于一个以上的用户共享一个以上的设备并在住宅等进行日常的活动具有其实用价值。