信息处理装置和数字助理系统的制作方法

1.本发明涉及通过与用户对话来执行必要的任务，并将结果提供给用户的数字助理技术。尤其涉及能够远程实现数字助理功能的技术。


背景技术：

2.目前存在一种系统，其利用具有数字助理功能的主设备和不具有数字助理功能的副设备来实现助理功能。例如，专利文献1公开了一种系统，其中，“提供用于提供个人助理信息的1种或多种技术和/或系统。例如，主设备能够建立与副设备的通信通道。主设备能够接收与用户关联的上下文(context)。主设备能够使用数字个人助理功能或能够访问此类功能，主设备能够调用数字个人助理功能对上下文进行评价，生成个人助理结果。个人助理结果能够为了提示给用户而从主设备提供到副设备。这样，副设备即使不具备此类功能或者不能访问此类功能，也能够使其看上去可提供数字个人助理功能(选自摘要)”。
3.现有技术文献
4.专利文献
5.专利文献1：日本特表2017
‑
538985号公报


技术实现要素：

6.发明要解决的技术问题
7.对于智能手机等便携式设备来说，在利用基于语音命令的数字助理功能的情况下，若设备位于身边当然能够毫无问题地使用该功能。但是，即使是便携式设备，其位于远离用户处的情况也很多。例如，用户在回家后为了进行充电等，将设备从身边拿开的情况很多。
8.根据专利文献1公开的技术，用户发出的语音命令的接收是通过具有数字助理功能的主设备进行的。因此，在主设备远离用户身边的情况下，数字助理功能将无法使用。
9.此外，专利文献1公开的技术的前提是用户只有1个人。但是，例如在家庭中，每个家人都持有智能手机等具有数字助理功能的主设备。此外，每个家人有时还持有多个主设备。即，可能存在多个用户和用户的数量以上的主设备。但是，专利文献1公开的技术没有考虑到在这样的环境下的使用。
10.本发明是鉴于上述情况而完成的，其目的在于提供一种技术，即使在具有数字助理功能的设备位于远离用户身边处的情况下，也能够向各个用户提供数字助理功能。
11.解决问题的技术手段
12.本发明提供一种信息处理装置，将声音数据中继至能够执行数字助理处理的主设备，其特征在于，包括：声音获取部，其获取周围的声音作为所述声音数据；发送目标设备决定部，其决定所述声音数据的发送目标的所述主设备即发送目标主设备；收发部，其将所述声音数据发送到所述发送目标主设备，并且作为回答从所述发送目标主设备接收响应于该声音数据而执行的数字助理处理的结果；和回答提示部，其提示所述收发部接收到的回答。
13.此外，本发明提供一种数字助理系统，其包括副设备和主设备，通过所述副设备提供所执行的数字助理处理的结果，其特征在于，所述副设备包括：声音获取部，其获取周围的声音作为声音数据；发送目标设备决定部，其决定所述声音数据的发送目标的所述主设备即发送目标主设备；收发部，其将所述声音数据发送到所述发送目标主设备，并且作为回答从所述发送目标主设备接收响应于该声音数据而执行的数字助理处理的结果；和回答提示部，其提示所述收发部接收到的所述回答，所述主设备包括：数据接收部，其从所述副设备接收所述声音数据；助理部，其响应于所述数据接收部接收到的所述声音数据而执行所述数字助理处理，并输出处理结果作为所述回答；和回答发送部，其将所述助理部输出的所述回答回复给所述声音数据的发送方的所述副设备。
14.发明效果
15.采用本发明，即使在具有数字助理功能的设备位于远离用户身边处的情况下，也能够向各个用户提供数字助理功能。上述以外的技术问题、技术特征和技术效果可通过以下实施方式的说明而明确。
附图说明
16.图1中(a)和(b)是用于说明第一实施方式之概要的说明图。
17.图2是第一实施方式的助理系统的系统结构图。
18.图3是第一实施方式的副设备的硬件结构图。
19.图4是第一实施方式的主设备的硬件结构图。
20.图5是第一实施方式的副设备的功能框图。
21.图6中，(a)是用于说明第一实施方式的协作信息数据库的说明图，(b)是用于说明第一实施方式的用户信息数据库的说明图。
22.图7中，(a)是第一实施方式的主设备的功能框图，(b)是用于说明第一实施方式的副设备管理数据库的说明图。
23.图8是第一实施方式的数字助理协作处理的流程图。
24.图9中(a)和(b)分别是用于说明第一实施方式的画面例的说明图。
25.图10中，(a)是用于说明第一实施方式的变形例的画面例的说明图，(b)是用于说明第一实施方式的变形例的对应装置登记数据库例的说明图，(c)是用于说明第一实施方式的变形例的副设备的输出例的说明图。
26.图11是用于说明第二实施方式之概要的说明图。
27.图12是第二实施方式的副设备的功能框图。
28.图13是第二实施方式的副设备的数字助理协作处理的流程图。
29.图14是用于说明第二实施方式的输出例的说明图。
30.图15是用于说明本发明实施方式的变形例之概要的说明图。
31.图16中，(a)是用于说明本发明实施方式的变形例的画面例的说明图，(b)是用于说明该变形例的处理之概要的说明图。
32.图17是本发明实施方式的变形例的服务器的硬件结构图。
具体实施方式
33.＜＜第一实施方式＞＞
34.下面说明本发明的第一实施方式。在整个说明书中，对具有相同功能的部分标注相同的附图标记，省略重复的说明。
35.首先说明本实施方式的处理的概要。图1中(a)和(b)是用于说明本实施方式的处理之概要的图。
36.在本实施方式中，远程提供通过与用户对话来执行必要的任务并将结果提供给用户的数字助理功能。具体而言，对于具有数字助理功能的智能手机等便携式的信息处理装置，设置中继装置用于中继来自用户的语音命令并且将结果提供给用户。下文中，将具有数字助理功能的便携式的信息处理装置称为主设备。
37.例如在自己家中，主设备有时会被放置在远离用户的位置。例如，存在用户位于客厅而主设备在客厅以外的其他房间连接充电器等情况。
38.本实施方式中，在这样的时候，使配置于客厅的例如电视机(tv)等影像显示装置作为数字助理功能的中继装置发挥作用。即，电视机将语音命令中继到语音命令的语音发出者(声音发出者)的智能手机上。下文中，将作为中继装置发挥作用的装置称为副设备。
39.在本实施方式中，如图1中(a)所示，多个用户a、b、c分别持有自身的主设备300a、300b、300c。而且，电视机作为副设备100发挥作用。此外，作为数字助理功能的中继装置发挥作用的副设备例如也可以是智能音箱101。图1的(b)是这种情况下的本实施方式的概要图。
40.如图1中(a)和(b)所示，副设备100(或101)在从用户a接收到语音命令时，向用户a的主设备300a中继该语音命令。而且，接收来自主设备300a的回答并将其输出。此外，当从用户b接收到语音命令时，向用户b的主设备300b中继该语音命令，并输出从主设备300b接收到的回答。用户c情况也一样，当接收到语音命令时，向用户c的主设备300c中继该语音命令，并输出得到的回答。
41.关于回答如何输出，例如在副设备为电视机100的情况下，可从扬声器进行声音输出，或在显示器上进行显示等。此外，在副设备为智能音箱101的情况下，可从音箱进行声音输出等。下面说明实现上述功能的助理系统。
42.[系统的整体结构]
[0043]
首先说明本实施方式的助理系统900的整体结构。图2是本实施方式的助理系统900的整体结构图。
[0044]
如该图所示，本实施方式的助理系统900包括副设备100、主设备300和访问接入点(ap)510。另外，本实施方式的助理系统900也可以包括经外部网络520与访问接入点510连接的服务器530。此外，还可以包括对主设备300充电的充电座511。
[0045]
主设备300是向各个用户提供数字助理功能的装置。只要是具备通信功能、用户接口、信息处理功能的装置即可。
[0046]
在本实施方式中，作为主设备300例如使用智能手机等便携式信息处理装置300a、300b、300c，智能手表301，头戴式显示器(hmd)302，或无线耳机303等。下面，在本实施方式中，以使用智能手机作为主设备300的情况为例进行说明。另外，主设备300的个数没有限定。
[0047]
副设备100是能够构成各个用户的接口的设备。在本实施方式中，其接收用户发出的语音，确定语音的发出者，将该语音传输到所确定的发出者的主设备300。此外，当从主设备300接收到处理结果时，将结果提示给用户。副设备100的个数也没有限定。
[0048]
在本实施方式中，例如使用电视机、智能音箱101等作为副设备100。下面，在本实施方式中，以使用具有显示装置即显示器的电视机作为副设备100的情况为例进行说明。
[0049]
访问接入点510是将无线lan客户端彼此连接或与其他网络连接的设备。本实施方式中用于连接主设备300与副设备100。
[0050]
[副设备的硬件结构]
[0051]
接着对副设备100进行说明。图3是本实施方式的副设备100的硬件结构图。
[0052]
如该图所示，本实施方式的副设备100包括控制器110、tv部120、麦克风(话筒)130、显示器140、声音输出部150和通信部160。进一步，还可以包括摄像机181。
[0053]
控制器110进行副设备100的整体控制。在本实施方式中，控制器110包括cpu111和存储器112。存储器112包括ram和rom，在rom存储程序113和数据114。
[0054]
tv部120实现作为影像显示装置的常规的功能。例如，包括接收选台部121、信号分离部122、影像处理部123、声音处理部124、数字接口(i/f)部125和用户接口(i/f)部126。
[0055]
接收选台部121接收广播信号输出到信号分离部122。接收选台部121包含rf调谐器等，从广播信号中选择用户利用遥控器等经由用户i/f部126指定的频道。并且，将所选择的广播信号解调，作为广播节目的接收数据向信号分离部122发送。广播节目的接收数据是影像数据、声音数据、广播数据等的多路复用数据。
[0056]
信号分离部122从接收数据中分离影像数据和声音数据，将它们分别发送到影像处理部123、声音处理部124。影像数据、声音数据是经过编码以将原始数据的信息量压缩的数据。
[0057]
影像处理部123对影像数据进行解压缩/解码处理，得到tv广播节目的影像数据，从显示器140输出。此时，按平面(plane)单位对显示的影像数据进行管理，例如可以将osd(on screen display：屏幕显示)平面叠加到广播节目的影像数据上。
[0058]
声音处理部124对声音数据进行解压缩/解码处理，得到tv广播节目的声音数据，从声音输出部150输出。
[0059]
数字i/f部125例如具有hdmi(注册商标)或者usb的数字i/f功能。数字i/f部125接收外部输入的影像和声音的内容数据，经由影像处理部123和声音处理部124向显示器140和声音输出部150输出。
[0060]
麦克风130获取外界的声音。
[0061]
显示器140显示在副设备100内处理得到的影像数据。
[0062]
声音输出部150输出在副设备100内处理得到的声音数据。声音输出部150例如也可以包括扬声器151和耳机152。
[0063]
通信部160编码电路和解码电路、天线等，与其他装置进行数据收发(数据通信)。通信部160包括经由ap510与其他装置进行数据收发的通信接口162，和直接与其他装置进行通信的近距离通信接口161。与ap510之间的连接例如通过wi
‑
fi(注册商标)等无线通信方式及其他通信方式进行。
[0064]
摄像机181获取副设备100周围的图像。
[0065]
[主设备的硬件结构]
[0066]
接着说明主设备300的硬件结构。图4是本实施方式的主设备300的硬件结构图。
[0067]
如该图所示，本实施方式的主设备300包括控制器310、麦克风330、显示器340、声音输出部350、通信部360、位置检测部370、摄像机381和测距传感器382。
[0068]
各结构具有与副设备100的同名结构基本上相同的功能，因此这里不再详细说明。
[0069]
另外，位置检测部370检测主设备300的当前位置、倾斜、速度等。作为用于检测这些信息的传感器，例如包括加速度传感器371、陀螺仪传感器372、地磁传感器373和gps接收器374。
[0070]
摄像机381获取主设备300周围的图像。作为摄像机381，可以包括拍摄范围的中心轴的方向相差180度的2种摄像机，例如前置摄像机和后置摄像机。测距传感器382获取其与主设备300周围的物体之间的距离。
[0071]
[副设备的功能块]
[0072]
接着，对本实施方式的副设备100的功能结构进行说明。如上所述，本实施方式的副设备100除了通常的电视机的功能之外，还起到数字助理功能的用户接口的作用。即，将用户的语音(声音)中继到该用户的主设备300。
[0073]
下面，将由副设备100作为主设备300的数字助理功能的用户i/f发挥作用这一情况，称作副设备100与主设备300之间进行数字助理协作，或者仅称为协作。主设备300例如仅对从处于与其协作的状态的副设备100接收到的声音数据进行数字助理处理，并提供回答。另外，将副设备100可进行数字助理协作的状态称为协作模式。主设备300也一样，将可进行数字助理协作的状态称为协作模式。
[0074]
下面说明实现上述数字助理协作功能的本实施方式的副设备100的功能块。此处，在副设备100的功能之中，主要仅着眼于数字助理协作功能进行说明。
[0075]
本实施方式的副设备100如图5所示，作为数字助理协作功能包括副设备侧协作部210。副设备侧协作部210包括协作设定部211、声音获取部212、发送目标设备决定部213、收发部214和回答提示部215。
[0076]
该各功能是由cpu111将保存在存储器112的例如rom中的程序113加载到存储器112的例如ram中加以执行而实现的。
[0077]
此外，在存储器112中，作为这些处理中使用的数据114，还存储有协作信息数据库(db)230和用户信息数据库(db)240。
[0078]
协作设定部211对有能力进行数字助理协作的主设备300的协作状态进行管理。本实施方式中通过协作信息db230进行管理。
[0079]
图6中(a)表示协作信息db230的一个例子。协作信息db230按每个用户存储有该用户的主设备300的信息，和表示是否与该主设备300建立了协作的信息。
[0080]
具体而言，如该图所示，按每个用户id231登记了主设备id232、访问信息233和协作标志234。
[0081]
用户id231是用于确定用户的信息。主设备id232是用于识别该用户使用的主设备300的信息。此外，访问信息233是用于经由ap510访问该主设备300的信息，例如ip地址等。
[0082]
用户id231、主设备id232和访问信息233预先由用户登记。例如，如后所述，在主设备300上通过执行协作初始设定处理来进行设定。这些信息在初始设定时经过设定后，保存
在存储器112中。
[0083]
另外，作为主设备300的信息，还可以进一步登记主设备类型235和主设备名236。主设备类型235是主设备的种类。例如登记为智能手机、平板电脑、智能手表等。此外，主设备名236是主设备300的名称。既可以是预先对主设备300赋予的，也可以由用户独自赋予。这些信息也由用户预先登记。
[0084]
此外，协作标志234存储表示是否处于与该主设备300协作的状态的信息。
[0085]
在本实施方式中，如后所述，当主设备300识别到ap510时，经由ap510向副设备100发送协作请求命令。协作设定部211在从主设备300接收到协作请求命令时，对协作信息db230中的发送方的主设备300的数据设定其中的协作标志234，并向发送方的主设备300回复协作建立命令。另外，该图中，对于设定了协作标志234的数据，用“有效”表示协作标志234，对于未设定的数据用“无效”表示协作标志234。协作标志234为“有效”的主设备300是建立了数字助理协作关系的主设备300。
[0086]
另外，协作请求命令中包含主设备300的主设备id232和访问信息233。协作设定部211基于这些信息，确定要设定协作标志234的数据。
[0087]
此外，回复的协作建立命令中包含作为副设备100的识别信息的副设备id和访问信息。
[0088]
声音获取部212基于麦克风130获取的声音生成声音数据，将其输出到发送目标设备决定部213。并且，根据发送目标设备决定部213的指示，将声音数据输出到收发部214。
[0089]
在本实施方式中，声音获取部212对麦克风130获取的声音进行去噪处理，生成声音数据。此处进行的去噪处理例如是去除一定音量以下的声音的处理，以及去除规定频段外(低频、高频)的成分等处理。另外，声音获取部212也可以使用谱减法等公知的技术进行去噪处理。
[0090]
发送目标设备决定部213将作为声音数据的发送目标的主设备300决定为发送目标主设备。首先，当从声音获取部212接收了声音数据时，对该声音进行分析，参照用户信息db240确定作为声音发出者的用户。另外，在无法确定用户的情况下，判断为不是语音数据，不决定发送目标主设备。
[0091]
此处，说明发送目标设备决定部213确定用户时使用的用户信息db240的一个例子。用户信息db240存储有用于根据声音来确定用户的信息。在本实施方式中，与用于确定用户的信息即用户id241关联地登记了语音信息242。另外，也可以进一步登记人脸图像243。
[0092]
语音信息242例如可以是用户实际的语音数据。另外，发送目标设备决定部213使用声纹和频率等，将语音信息242与接收到的声音数据进行对照，来确定用户。因此，语音信息242也可以不是用户的语音数据本身，而是声纹和频率等能够用于比较的信息。此外，实际的语音数据也可以存储在别的区域，而语音信息则是用于访问该区域的访问信息。
[0093]
另外，语音信息242预先由用户登记。人脸图像243也一样。
[0094]
本实施方式的发送目标设备决定部213参照用户信息db240，确定与接收到的声音数据在规定的允许范围内一致的语音信息242。并且，从用户信息db240中提取与所确定的语音信息242关联的用户id241。
[0095]
当确定了作为声音数据的发出者的用户时，发送目标设备决定部213确定该用户
的主设备300，将其决定为发送目标主设备。此处，参照协作信息db230，对与所提取的用户id241相同的用户id231，将与其关联地登记的主设备300决定为发送目标主设备。决定结果被输出到声音获取部212。在本实施方式中，例如，将主设备id232和访问信息233作为决定结果输出到声音获取部212。
[0096]
另外，在用户信息db240中未登记与接收到的声音数据在规定的允许范围内一致的语音信息242的情况下，发送目标设备决定部213判断为所获取的声音数据不是用户发出的语音，不做任何输出。
[0097]
此外，在决定为发送目标主设备的主设备300的协作标志234为“无效”的情况下，该主设备300与该副设备100之间没有建立协作关系。因此，此时发送目标设备决定部213可以将该状况通知给用户。例如，在显示器140上显示未建立协作关系。
[0098]
另外，声音获取部212在从发送目标设备决定部213接收到主设备id232和访问信息233的情况下，对收发部214发出指示以向该主设备300发送声音数据。
[0099]
收发部214通过通信接口162进行数据收发。在本实施方式中，按照来自声音获取部212的指示，将声音数据作为中继语音向主设备300发送。此外，当从主设备300接收到处理结果时，将其输出到回答提示部215。
[0100]
回答提示部215将处理结果经由显示器140和/或声音输出部150输出给用户。
[0101]
[主设备的功能块]
[0102]
接着，对实现上述数字助理协作功能的本实施方式的主设备300的功能块进行说明。此处，在主设备300的功能之中，主要着眼于数字助理协作功能进行说明。
[0103]
如图7中(a)所示，本实施方式的主设备300包括助理部410和用于实现数字助理协作的功能的主设备侧协作部420。主设备侧协作部420包括数据接收部421、回答发送部422、协作管理部423和初始设定部424。
[0104]
该各功能是通过cpu311将保存在存储器312的例如rom中的程序313加载到存储器312的例如ram中加以执行而实现的。
[0105]
此外，在存储器312中，作为这些处理中使用的数据314，还存储有副设备管理数据库(db)430。
[0106]
初始设定部424进行协作初始设定处理。本实施方式中，在执行数字助理协作处理之前，在要进行协作的副设备100中登记自身装置(主设备300)的信息。如上述那样，登记自身装置即主设备300的主设备id232和访问信息233。
[0107]
登记例如是这样进行的，即，在副设备100的附近，经由近距离通信接口161和361将上述信息与登记请求一起发送到副设备100。此时也可以获取副设备100侧的信息，即，获取副设备id这一用于确定副设备100的信息和访问信息。所获取的这些信息例如可以在后述的副设备管理db430中进行管理。
[0108]
此处，图7中(b)表示副设备管理db430的例子。如该图所示，副设备管理db430按每个副设备100存储与其进行协作所需的信息。具体而言，与用于确定副设备100的信息即副设备id431关联地存储其访问信息432和表示是否已经设定了协作的协作标志433。协作标志433由后述的协作管理部423设定。
[0109]
另外，副设备id431和访问信息432也可以由后述的协作管理部423设定。即，也可以存储响应于协作请求命令而回复的协作建立命令中包含的副设备的识别信息和访问信
息。此外，对于接收到协作建立命令从而设定了副设备id和访问信息432的数据，将协作标志433设定为“有效”，直到协作解除为止。
[0110]
协作管理部423管理所协作的副设备100，并且对与该副设备100之间是否处于数字助理协作状态进行管理。
[0111]
协作管理部423首先对自身装置即主设备300是否处于能够进行数字助理协作的状态进行管理。在本实施方式中，例如，判断是否能够访问助理系统900的ap510，即，是否识别到ap510。
[0112]
协作管理部423在识别到ap510的情况下，判断为处于能够进行数字助理协作的状态。
[0113]
在判断为处于能够进行数字助理协作的状态的情况下，即，在识别到ap510的情况下，协作管理部423经由ap510输出协作请求命令。
[0114]
在副设备100一侧，当接收到协作请求命令时，如上述那样，向发送方的主设备300发送协作建立命令。另外，在经由ap510连接有多个作为副设备100发挥作用的设备的情况下，从各副设备100发送协作建立命令。
[0115]
协作管理部423在从副设备100接收到协作建立命令时，建立与该副设备100的协作，使得与该副设备100之间成为协作状态。具体而言，对发送方的副设备100的数据设定其中的协作标志433(设定为“有效”)。发送方的副设备100的数据是根据协作建立命令中包含的副设备id和访问信息确定的。
[0116]
此外，协作管理部423在不再识别到ap510时解除协作标志433。另外，协作标志433例如被设定于ram等中，使得当电源关闭时被解除。
[0117]
数据接收部421在经由通信接口362接收到中继语音，并且与发送方的副设备100之间处于协作状态的情况下，将接收到的中继语音输出给助理部410。是否处于协作状态是根据副设备管理db430的协作标志433判断的。另外，数据接收部421在从处于协作状态、但未建立通信路径的副设备100接收到中继语音时，在与发送方的副设备100之间建立通信路径。
[0118]
助理部410对中继语音与通常的由麦克风330获取的声音一样进行分析，进行助理处理并输出回答。此时，根据需要，也可以经由ap510从连接于外部网络520的服务器530等获取信息。
[0119]
回答发送部422对建立了通信路径的副设备100发送助理部410输出的回答。发送是经由通信接口362进行的。
[0120]
回答发送部422也可以不仅发送回答的内容，而且还将主设备300的助理功能中设定的助理的声音类型、个性等信息与回答叠加在一起发送。
[0121]
副设备100的回答提示部215基于这些信息，按照主设备300的声音类型提示回答，或叠加个性信息。
[0122]
[数字助理协作处理]
[0123]
对本实施方式的数字助理协作处理的流程进行说明。图8是本实施方式的数字助理协作处理的处理流程。此处，以在主设备300之中的主设备300a与副设备100之间进行协作的情况为例进行说明。另外，此处假定已通过初始设定部424和协作设定部211完成了协作信息db230和副设备管理db430的登记。
[0124]
首先，主设备300a的协作管理部423在识别到ap510时，发送协作请求命令(步骤s1101)。此处向ap510发送协作请求命令。在副设备管理db430中登记的副设备100为1个的情况下，也可以确定副设备100向其发送协作请求命令。
[0125]
从主设备300a接收到协作请求命令的副设备100(步骤s1201)，开始与发送方的主设备300a进行协作(步骤s1202)。此处，协作设定部211参照协作信息db230设定主设备300a的数据中的协作标志234。此外，协作设定部211向发送方的主设备300a回复协作建立命令。
[0126]
接收了协作建立命令的主设备300a的协作管理部423使与副设备100之间的协作模式生效(步骤s1102)。此处，协作管理部423设定副设备管理db430的相应副设备100的数据中的协作标志433。
[0127]
通过以上的处理，在主设备300a与副设备100之间建立了数字助理协作。
[0128]
在建立了数字助理协作之后，副设备100按规定的时间间隔判断声音获取部212是否获取了声音数据(步骤s1203)。
[0129]
在没有获取到声音数据的情况下(s1203；否)，副设备侧协作部210判断副设备100的主电源是否被关闭(步骤s1210)，在判断为被关闭的情况下结束处理。在未被关闭的情况下，返回步骤s1203继续进行处理。
[0130]
另一方面，在获取了声音数据的情况下，发送目标设备决定部213判断是否能够根据声音数据确定用户(步骤s1204)。此处，如上述那样，与存储在用户信息db240中的各语音信息242进行对照，判断是否存在可判断为一致的记录。
[0131]
在判断为不能确定用户的情况下(s1204；否)，即，语音信息242中不存在可判断为一致的记录的情况下，转移至步骤s1210。
[0132]
另一方面，在存在可判断为一致的记录的情况下(s1204；是)，发送目标设备决定部213确定声音数据的发出者，并确定相关联的主设备300(步骤s1205)。此处，发送目标设备决定部213提取与可判断为一致的语音信息242关联地登记的用户id241。接着，参照协作信息db230提取对应的主设备id232和访问信息233，将它们通知给声音获取部212。
[0133]
例如，在根据主设备id232确定的主设备300是用户a的主设备300即主设备300a的情况下，声音获取部212对收发部214发出指示以将声音数据作为中继语音向主设备300a发送。收到指示后，收发部214向主设备300a发送中继语音(步骤s1206)。
[0134]
另外，在发送目标设备决定部213判断的用户不是用户a的情况下，收发部214将中继语音发送到所判断的用户的主设备300并接收回答(步骤s1207)。
[0135]
在主设备300a一侧，数据接收部421在接收到中继语音时(步骤s1103)，将其输出到助理部410。
[0136]
助理部410进行数字助理处理(步骤s1104)，并生成回答。另外，助理部410在判断为发送来的中继语音不是数字助理处理的对象的情况下，不进行处理。
[0137]
回答发送部422将得到的回答回复给发送方的副设备100(步骤s1105)。之后，在主设备300a中，协作管理部423返回步骤s1103等待接收中继语音，直至检测到协作被解除(步骤s1106)。另一方面，当检测到协作被解除时，结束处理。其中，协作被解除例如是外出或主电源被关闭的状态。
[0138]
此外，在副设备100中，当收发部214从主设备300a接收到回答时(步骤s1208)，回答提示部215提示回答(步骤s1209)。此处，回答提示部215根据回答来生成影像数据和声音
数据，分别从显示器140和声音输出部150进行输出。
[0139]
图9中(a)表示此时显示器140的输出例。图9中(a)是声音数据为“告诉我下周的日程预定”之类的用于询问日程安排的语音时的例子。如该图所示，显示的画面例610包括回答显示区域611和主设备信息显示区域612。
[0140]
在回答显示区域611显示作为回答得到的影像数据。在本例的情况下，显示主设备300a的助理部410基于从存储器312中提取的日程安排信息而生成的影像数据。
[0141]
在主设备信息显示区域612中，显示能够确定回答发送方的主设备300a的信息，例如主设备id等。
[0142]
另外，在步骤s1205中判断为不是用户a，并且从所判断的用户的主设备300接收了回答的情况下，回答提示部215也提示该回答。
[0143]
不过，在与所判断的用户的主设备300之间未建立协作的情况下，进行表示未建立协作的显示。例如，如图9中(b)所示，显示“未找到主设备”等并输出同样的声音数据。此时，由于回答主体为副设备100，因此在主设备信息显示区域612显示副设备100。另外，该影像数据和声音数据被预先存储在存储器112等中。
[0144]
在步骤s1209中提示了回答之后，副设备侧协作部210前进至步骤s1210。另外，在步骤s1206发送了中继语音后，副设备侧协作部210开始计时。然后，在规定时间内未得到回答的情况下，判断为超时并直接前进至步骤s1210。
[0145]
如以上说明的那样，本实施方式的助理系统900包括副设备，该副设备100将声音数据中继传输给执行数字助理处理的主设备，包括：声音获取部212，其获取周围的声音作为声音数据；发送目标设备决定部213，其决定声音数据的发送目标的主设备300即发送目标主设备；收发部214，其将声音数据发送到发送目标主设备，并且从发送目标主设备接收响应于声音数据而执行的数字助理处理的结果作为回答；和回答提示部215，其提示由收发部214接收到的回答。
[0146]
由于包括用于决定声音数据的中继目标的主设备300的发送目标设备决定部213，所以即使在存在多个主设备300的情况下，也能够向适当的主设备300中继声音数据。由此，在位于远离用户身边处的、具有数字助理功能的主设备300存在多个的情况下，也能够得到所期望的数字助理结果。
[0147]
例如，发送目标设备决定部213对声音数据进行分析来判断作为声音发出者的用户，将与所判断的用户关联地登记的主设备300决定为发送目标主设备。因此，采用本实施方式，能够对各个用户提供由各个用户的主设备300实现的数字助理功能。
[0148]
＜变形例1＞
[0149]
在上述实施方式中，当主设备300自身识别到ap510时，主设备300判断为能够进行数字助理协作。于是，向副设备100发送协作请求命令，向协作模式转移。但是，向协作模式的转移的契机并不限定于此。例如，也可以在检测到被置放于充电座511上的情况下，向协作模式转移。
[0150]
该情况下，协作管理部423不是判断是否识别到ap510，而是判断是否被载置在充电座511上。在检测到被载置在充电座511上的情况下，协作管理部423判断为能够进行数字助理协作，向ap510输出协作请求命令。
[0151]
另外，也可以使充电座511具有控制部和通信接口。该情况下，在充电座511一侧当
检测到载置有主设备300时，经由ap510对副设备100输出协作请求命令。
[0152]
此时，充电座511一并发送作为协作对象的主设备300的主设备id和访问信息。
[0153]
或者可以构成为，发送充电座511自身的访问信息，之后经由充电座511进行副设备100与主设备300之间的数据收发。
[0154]
＜变形例2＞
[0155]
此外，在上述实施方式和变形例中，协作管理部423在检测到某种装置的情况下判断为能够进行数字助理协作。但是，是否能够进行数字助理协作的判断并不限定于此。
[0156]
例如可以是，在主设备300的位置检测部370判断为主设备300存在于预先确定的区域内的情况下，协作管理部423判断为能够进行数字助理协作。
[0157]
预先确定的区域例如为自己家等。协作管理部423在接收到位置检测部370的上述判断结果时，输出协作请求命令，建立协作。
[0158]
由此，能够进行控制，使得在主设备300的用户回到自己家中时，使该主设备300成为协作状态。
[0159]
＜变形例3＞
[0160]
例如，在用户佩戴可穿戴设备并与主设备300之间进行近距离通信的情况下，可以通过其他方法判断是否能够进行数字助理协作。
[0161]
即，协作管理部423可以在检测到与可穿戴设备之间的近距离通信中断的情况下，判断为能够进行数字助理协作。可穿戴设备与主设备300之间的近距离通信之所以中断，是由于两者之间的距离变远。因此，能够判断为用户远离了主设备300。
[0162]
协作管理部423在从近距离通信接口361接收到表示通信中断的输出时，输出协作请求命令，建立协作。
[0163]
可穿戴设备例如是智能手表301、hmd302、无线耳机303等。
[0164]
另外，在主设备300为hmd302的情况下，可以在协作管理部423通过hmd302的传感器检测到用户取下hmd302的情况下，判断为能够进行数字助理协作。
[0165]
＜变形例4＞
[0166]
在上述实施方式中，在能够进行数字助理协作的状态下，在从副设备100接收了协作建立命令时，主设备300一侧使协作模式生效。但是，并不限定于此。也可以构成为，在主设备300一侧使协作模式始终生效。即，在初始设定部424进行初始设定的时刻，就使协作标志433有效。
[0167]
该情况下，在上述协作处理中不进行步骤s1101、s1102、s1201和s1202的处理。
[0168]
不过，该情况下，取决于主设备300的位置，在步骤s1206中经由ap510向该主设备300发送中继语音时，有时会无法送达。在这样的情况下，向用户输出该情况。
[0169]
＜变形例5＞
[0170]
在上述实施方式中，初始设定部424预先在副设备管理db430中登记作为副设备100发挥作用的装置的信息。但是，在主设备300一侧使协作模式始终生效的情况下，副设备管理db430也可以不设定。
[0171]
例如，在协作处理中，在步骤s1103接收了中继语音时，主设备侧协作部420管理发送方的副设备100的访问信息。于是，在得到回答后，回答发送部422基于所管理的访问信息发送回答。
[0172]
＜变形例6＞
[0173]
在上述实施方式中，副设备100的发送目标设备决定部213对声音数据进行分析来判断用户。但是并不限定于此。例如，发送目标设备决定部213也可以基于人脸图像来判断用户。
[0174]
该情况下，副设备100包括获取用户的人脸图像的摄像机181。此外，在用户信息db240中，如图6中(b)所示，与用户id241关联地预先登记了各用户的对照用的人脸图像243。
[0175]
发送目标设备决定部213与声音获取部212对声音数据的获取同步地，对摄像机181获取的图像进行分析。然后，与人脸图像243进行对照，提取与一致的人脸图像关联的用户id241。并且，对于与所提取的用户id241一致的用户id231，将与其关联的主设备id232和访问信息233作为决定结果向声音获取部212输出。
[0176]
＜变形例7＞
[0177]
此外，在各主设备300的数据接收部421具有使用接收到的声音数据进行本人认证处理的功能的情况下，副设备100的发送目标设备决定部213也可以不分析声音数据来决定发送目标的主设备。
[0178]
此时，发送目标设备决定部213将协作信息db230中设定了协作标志234的所有主设备300的主设备id232和访问信息233输出到声音获取部212。由此，声音获取部212将所获取的声音数据向设定了协作标志234的所有主设备300发送。
[0179]
各主设备300在数据接收部421中使用接收到的声音数据进行本人认证处理。在认证为本人的情况下，将接收到的声音数据向助理部410输出，请求数字助理处理。
[0180]
由此，仅在声音数据为主设备300的用户的语音的情况下，该主设备300进行数字助理处理并输出回答。因此，该情况下，在副设备100一侧即使不根据声音数据来分配发送目标，也能够得到所期望的回答。
[0181]
＜变形例8＞
[0182]
例如，存在1个用户使用多个主设备300的情况。在这样的情况下，可以与相同用户id231关联地在协作信息db230中登记多个主设备300的信息。例如，在图6的(a)的协作信息db230中，主设备id232为300a
‑
1和300a
‑
2的，是相同用户的主设备300。
[0183]
该情况下，在上述数字助理协作处理的步骤s1204中确定了用户后，发送目标设备决定部213向用户提示从协作信息db230提取的主设备300的信息，接收用户的选择。
[0184]
关于此处提示的信息，例如在协作信息db230中登记有各主设备的名称(主设备名236)的情况下，显示其名称。在未登记主设备名236的情况下，例如显示主设备id232等。
[0185]
图10中(a)表示在受理选择时显示的选择画面620的显示例。选择画面620例如包括消息显示区域621和选择受理区域622。
[0186]
在消息显示区域621，将检测到的主设备数和要求用户执行的操作显示为消息。选择受理区域622是受理用户的选择的区域。用户例如在副设备100为电视机的情况下，通过利用其遥控器进行操作等，来经由选择受理区域622选择主设备300。
[0187]
发送目标设备决定部213将经由选择受理区域622受理的主设备300决定为发送目标的主设备300。于是，收发部214将声音数据作为中继语音发送给该主设备300。
[0188]
另外，该情况下也可以不接收用户选择。发送目标设备决定部213将从协作信息
db230中提取的该用户的主设备300的信息通知给收发部214。然后，收发部214向所提取的所有主设备300发送声音数据。而且，收发部214可以接收全部得到的回答，使回答提示部215提示这些回答。
[0189]
例如，在智能手机中存储有回答提问所需的个人信息，而平板电脑中未存储的情况下，从智能手机能够得到所期望的回答，而从平板电脑得到“不能回答”这一回答，或者得不到回答。因此，无论如何，用户都能够得到所期望的回答。
[0190]
另外，此时，收发部214也可以对所提取的主设备300按预先确定的顺序发送声音数据。预先确定的顺序例如是协作信息db230中的登记顺序。向1个主设备300发送声音数据。在规定的期间内未接收到回答的情况下，或者接收到“不能回答”这一回答的情况下，向下一个主设备300发送声音数据。在得到回答的情况下，使回答提示部215提示。另一方面，在从任一主设备300均得不到回答的情况下，使回答提示部215提示该情况。
[0191]
另外，协作信息db230中可以设定声音数据的发送优先顺序。该情况下，收发部214按照优先顺序发送声音数据。
[0192]
＜变形例9＞
[0193]
上述实施方式中，以副设备100为具备显示器140的电视机的情况为例进行了说明。但是，副设备100并不限定于此。例如，也可以是不具备显示器140的智能音箱101。
[0194]
该情况下，智能音箱101包括对应装置登记db250。在对应装置登记db250中，预先登记附近的具备显示器140的装置作为影像输出用装置。图10中(b)表示这种情况下的对应装置登记db250的一个例子。如该图所示，在对应装置登记db250中，关联地登记作为副设备100的识别信息的副设备id251，和作为影像输出用装置的识别信息的影像输出目标装置id252。对应装置登记db250例如被存储在存储器112中。
[0195]
回答提示部215对作为回答得到的数据进行分析。在该数据是能够仅以声音输出的数据的情况下，从自身的声音输出部150输出回答。另一方面，在回答包含影像数据，需要从显示器140输出的情况下，参照对应装置登记db250确定关联的具备显示器140的装置。于是，将影像数据传输至该装置使其输出影像。
[0196]
此时，可以如图10中(c)所示，副设备100即智能音箱101构成为，通过声音输出回答的显示地点。
[0197]
通过采用这样的结构，能够使用各种设备作为副设备100。
[0198]
另外，例如在所有副设备100具有预先登记了附近装置的规格的规格数据库的情况下，也可以不具备对应装置登记db250。在规格数据库中，例如存储各副设备100是否具有显示装置、各副设备100的配置位置等。该情况下，回答提示部215从该数据库提取附近的具备显示器140的装置，将影像数据传输至该装置。
[0199]
另外，在存在多个副设备100的情况下，主设备300的数据接收部421接收来自各副设备100的声音数据。在这样的情况下，对于数据接收部421而言，由于都指示相同的处理，所以基于自身取得的声音的数字助理处理与基于经由副设备100的声音数据的数字助理处理会产生竞争。
[0200]
在这样的情况下，数据接收部421在与最早的声音数据的发送方的副设备100之间建立通信路径。
[0201]
＜＜第二实施方式＞＞
[0202]
对本发明的第二实施方式进行说明。在第一实施方式中，副设备100是将声音数据中继给主设备300的中继装置。在本实施方式中，副设备100也具备助理功能。
[0203]
使用图11说明本实施方式的处理的概要。本实施方式的副设备100在接收到声音数据时，利用助理功能进行分析，判断基于声音数据发出的用户的请求，是否是为了得到回答而需要用户的个人信息的请求。
[0204]
在用户的请求是无需用户的个人信息就能够得到回答的请求的情况下，由副设备100进行助理处理，向用户提示回答。另一方面，在是需要用户的个人信息的请求的情况下，与第一实施方式一样，将声音数据传输给主设备300，由主设备300生成回答并在副设备100上向用户提示。
[0205]
下面，针对本实施方式主要着眼于与第一实施方式不同的结构进行说明。主设备300与第一实施方式相同。副设备100的硬件结构与第一实施方式相同。不过，其功能块与第一实施方式不同。
[0206]
图12是本实施方式的副设备100的功能块。如该图所示，本实施方式的副设备100与第一实施方式一样，包括副设备侧协作部210。副设备侧协作部210包括协作设定部211、声音获取部212、发送目标设备决定部213、收发部214和回答提示部215。此外，还包括副设备侧助理部220。
[0207]
本实施方式的声音获取部212在生成了声音数据时，首先将其发送给副设备侧助理部220。
[0208]
副设备侧助理部220与主设备300的助理部410一样，分析声音数据，进行助理处理并输出回答。不过，副设备侧助理部220在分析声音数据的结果是判断为需要各用户的个人信息的情况下，向发送目标设备决定部213输出该情况。
[0209]
本实施方式的发送目标设备决定部213在从副设备侧助理部220接收到需要个人信息的指示的情况下，如上述那样，进行用户的判断，决定发送目标的主设备300。
[0210]
[数字助理协作处理]
[0211]
接着，对本实施方式的副设备100的数字助理协作处理的流程进行说明。图13是本实施方式的副设备100的数字助理协作处理的处理流程。此处，假定正在与至少1个主设备300协作。
[0212]
声音获取部212按规定的时间间隔判断是否获取了声音数据(步骤s1203)。当获取了声音数据时(s1203；是)，将声音数据发送到副设备侧助理部220。
[0213]
副设备侧助理部220分析声音数据(步骤s2101)，判断为了进行回答是否需要个人信息(步骤s2102)。
[0214]
副设备侧助理部220在判断为需要个人信息的情况下(s2102；是)，向发送目标设备决定部213通知该情况。收到通知的发送目标设备决定部213进行第一实施方式的步骤s1204以后的处理。
[0215]
另一方面，副设备侧助理部220在判断为不需要个人信息的情况下(s2102；否)，直接基于该声音数据进行助理处理(步骤s2103)，生成回答并转移至步骤s1209。以后的处理与第一实施方式相同。
[0216]
在本实施方式中，例如在寻问特定地点的天气等情况下，是不需要个人信息的。图14表示这样的情况下的输出例。该情况下，在回答显示区域611显示回答。另一方面，在主设
备信息显示区域612，作为表示由该副设备100进行了处理的信息，显示用于确定副设备100的信息。该情况下，由于副设备100是tv，所以在主设备信息显示区域612例如显示为tv。
[0217]
如以上说明的那样，本实施方式的助理系统900的副设备100除了第一实施方式的副设备100的功能之外，还包括执行数字助理处理的副设备侧助理部220。副设备侧助理部220分析声音数据，判断为了执行数字助理处理是否需要个人信息。发送目标设备决定部213在副设备侧助理部220判断为需要个人信息的情况下，决定发送目标主设备。此外，回答提示部215在由副设备侧助理部220执行了数字助理处理的情况下，进一步提示其数字助理处理的结果。
[0218]
因此，采用本实施方式，与第一实施方式一样，即使在主设备300远离身边的情况下，也能够向各个用户提示由各个用户的主设备300得到的数字助理处理的结果。进一步，采用本实施方式，在所发出的助理请求不需要使用存储在各个用户的主设备300中的个人信息的情况下，在副设备100一侧执行数字助理处理并进行回答。因此，能够得到迅速的回答。
[0219]
＜变形例10＞
[0220]
在上述实施方式中，副设备侧助理部220判断为了进行助理处理是否需要个人信息。但是并不限定于此。例如也可以判断声音数据是否是语音命令。
[0221]
在判断为是语音命令的情况下，无论来自用户的助理请求的内容如何，都与第一实施方式一样，使发送目标设备决定部213判断用户并决定发送目标的主设备300。然后，收发部214向所决定的主设备300发送声音数据。
[0222]
另外，该情况下也可以是，副设备侧助理部220对声音数据进行分析后，生成数字助理处理用的命令，并将生成的命令从收发部214向主设备300发送。
[0223]
另外，也可以进一步组合是否需要个人信息的判断。即，在判断为需要个人信息的情况下，使发送目标设备决定部213基于声音数据判断作为该声音的发出者的用户，决定发送目标的主设备300。然后，收发部214向所决定的主设备300发送命令而不是发送声音数据。
[0224]
在向主设备300发送命令的情况下，主设备300一侧的助理部410不需要分析声音数据。
[0225]
＜变形例11＞
[0226]
也可以构成为，在副设备100具有分析声音数据的副设备侧助理部220的情况下，向根据用户的呼叫而确定的主设备发送声音数据。
[0227]
例如，在用户发出“问问aas”、“好的，bbb”等语音的情况下，副设备侧助理部220分析该声音数据，确定声音数据的发送目标。即，在声音数据中例如包含与主设备名236相应的语音的情况下，向发送目标设备决定部213通知该情况。
[0228]
发送目标设备决定部213将包含从副设备侧助理部220收到通知的主设备名236的数据的主设备300决定为发送目标的主设备300。
[0229]
该情况下，各主设备300的名称被作为主设备名236预先登记在协作信息db230中。
[0230]
通过这样的结构，能够更高精度地决定发送目标的主设备300。由此，能够得到更恰当地响应于用户的助理请求而作出的回答。
[0231]
＜变形例12＞
[0232]
在上述实施方式和变形例中，仅在1对提问与回答的发送和接收的期间，在主设备300与副设备100之间建立了通信路径。但是，也可以在接收到用户明确的解除通信路径的指示之前，或者在规定的时间经过为止前，维持建立通信路径。
[0233]
由此，不需要在每次取得声音数据时都执行判断用户的处理。例如在为了接收数字助理服务而需要多次对话等情况下，能够顺利地推进处理。具体而言，例如是用户确认自己的日程安排，并登记新的日程安排等情况。
[0234]
该情况下，首先，用户询问特定期间的日程安排。此时，副设备100分析声音数据，判断用户并决定发送目标的主设备300。然后，副设备100将该声音数据或者命令发送到该主设备300。
[0235]
主设备300相应地向发送方的副设备100回复回答。副设备100将回答提示给用户。用户看到该回答，发出新的语音命令。例如，在特定的日期时间加入新的日程安排，或改变特定的日期时间的日程安排，等等。
[0236]
此时，副设备100在取得该声音数据时，不进行用户的判断和发送目标主设备的决定处理，而是向已建立通信路径的主设备300发送。在主设备300一侧，分析声音数据进行处理。
[0237]
＜变形例13＞
[0238]
上述助理系统900也可以由智能手机等便携式信息处理装置和可穿戴设备构成。该情况下，使用可穿戴设备作为副设备100，使用便携式信息处理装置作为主设备300。
[0239]
例如，如图15所示，用户将作为便携式信息处理装置的主设备300a放入包中等，将作为副设备100发挥作用的可穿戴设备(智能手表301)佩戴在身上外出。在此期间，用户向智能手表301发出语音命令。
[0240]
智能手表301将所获取的用户的语音命令发送给作为主设备300的便携式信息处理装置，使其执行助理处理。然后，由智能手表301接收其结果。
[0241]
该情况下，例如在进入自己家中等存在ap510的环境时，智能手表301和便携式信息处理装置切换为经由ap510的住宅内lan的连接。之后，智能手表301成为住宅内的副设备100组中的1个设备。
[0242]
＜变形例14＞
[0243]
在上述各实施方式中，以接收1个用户发出的语音，并输出由该用户的主设备300或副设备100得到的助理结果的情况为例进行了说明。但是，如上所述，主设备300的个数并没有限定。因此，存在多个用户以较短的时间间隔请求数字助理功能的情况。
[0244]
该情况下，得到回答的时刻大致为同时，回答提示部215将回答——即从各主设备300接收到的处理结果，经由显示器140或声音输出部150向用户输出。此时，回答提示部215根据接收到的处理结果(回答)的数量，划分显示器140的显示区域来显示各个回答。
[0245]
图16中(a)表示用户a和用户b这2者要大致同时利用助理功能的情况下的回答的显示例。回答提示部215将显示区域划分为2部分，与用于确定回答发送方的主设备300的信息一起，显示回答。
[0246]
回答提示部215例如将显示器140的显示区域划分为用于显示针对用户a的回答的第一显示区域630a，和用于显示针对用户b的回答的第二显示区域630b。并且，在各显示区域(630a，630b)内，与上述实施方式一样，设置主设备信息显示区域612(612a，612b)和回答
显示区域611(611a，611b)。于是，使各显示区域分别显示用于确定回答发送方的主设备300的信息和回答。
[0247]
另外，也可以对副设备100外接现有的画面分割器，利用该画面分割器在1个显示器140上显示来自多个主设备300的回答。
[0248]
此外，回答提示部215在扬声器351具有多个声道的情况下，也可以按每个声道分配不同的发送方的回答来进行输出。此时，在发送方的数量为声道数以上的情况下，也可以按时间差进行输出。
[0249]
另外，在多个用户的提问(数字助理的请求)在大致相同的时刻产生的情况下，各用户的声音在时间上会重叠。该情况下，本实施方式的副设备100将语音分离，向各个主设备300中继该声音或语音命令。
[0250]
使用图16的(b)说明这种情况下的本实施方式的副设备100的处理。
[0251]
该情况下，副设备侧协作部210的声音获取部212具有按每个声源分离声音数据的语音分离功能。
[0252]
对于可能混合有多个人的语音的声音数据，声音获取部212首先按每个声源进行分离。在本变形例中，例如，分离成每个人的语音数据和/或语音以外的声音数据。接着，将按每个声源分离后的声音数据发送到发送目标设备决定部213。
[0253]
声音数据的分离例如可以使用深度学习和聚类处理。即，声音获取部212利用深度学习来根据特征对各语音成分进行分类。然后，通过聚类处理将分类后的语音成分划分成组，得到每个人的语音数据和/或语音以外的声音数据。
[0254]
发送目标设备决定部213对于从声音获取部212接收到的按每个声源分离后的声音数据，分别独立地进行分析，对其中的语音数据分别决定发送目标设备。决定方法与上述各实施方式相同，因此此处不进行说明。接着，与上述各实施方式一样，按每个语音数据，向声音获取部212通知主设备id232和访问信息233。
[0255]
声音获取部212对收发部214发出指示，以将按每个声源分离后的声音数据分别发送到由发送目标设备决定部213决定的主设备300。
[0256]
将所获取的声音数据发送至各主设备300为止的处理的流程基本上与上述各实施方式相同。
[0257]
不过，在如第一实施方式那样，副设备100不具备助理功能的情况下，图8的数字助理协作处理的步骤s1203和步骤s1204的处理发生如下变化。
[0258]
即，在副设备100中，在步骤s1203取得了声音数据的情况下，声音获取部212利用上述的方法将声音数据按每个声源分离。接着，发送目标设备决定部213针对分离后的声音数据，在s1204中分别判断是否能够确定用户。
[0259]
此外，在如第二实施方式那样，副设备100具备助理功能的情况下，图13的数字助理协作处理的s1203～s1204的处理发生如下变化。
[0260]
即，在副设备100中，在步骤s1203取得了声音数据的情况下，声音获取部212利用上述的方法将声音数据按每个声源分离。接着，副设备侧助理部220对分离后的各声音数据进行分析，判断为了进行回答是否需要个人信息。在判断为需要个人信息的情况下，将该分离后的声音数据通知给发送目标设备决定部213。收到通知后的发送目标设备决定部213的处理是相同的。
[0261]
另一方面，对于判断为不需要个人信息的、分离后的声音数据，直接基于该声音数据由副设备侧助理部220生成回答，并使回答提示部提示该回答。
[0262]
根据本功能，即使在多个用户大致同时对位于远离身边处的主设备300分别请求数字助理功能的情况下，也能够对各个用户分别提供由各个用户的主设备300实现的数字助理功能。
[0263]
＜变形例15＞
[0264]
在上述各实施方式和各变形例中，副设备100和/或主设备300的一部分功能也可以利用服务器530实现。
[0265]
如图17所示，服务器530包括控制器540和通信接口562。控制器540包括cpu541和存储器542，在存储器542中存储有程序543和数据544。
[0266]
利用服务器530实现的功能预先作为程序543保存在存储器542中。在服务器530，cpu541将预先存储在存储器542中的程序543加载到设置于存储器542的工作区域，使用数据544执行该程序来实现各功能。
[0267]
本发明并不限定于上述的实施方式和变形例，而是包括各种各样的变形例。例如，上述的实施方式和变形例为了将本发明说明得容易理解而进行了详细的说明，但是并不一定限定于包括所说明的所有结构。此外，能够将一个实施方式或变形例的结构的一部分替换到另一个实施方式、变形例的结构，还能够在一个实施方式或变形例的结构中加入其他实施方式或变形例的结构。进一步，能够对各实施方式或变形例的结构的一部分进行其他结构的追加/删除/替换。
[0268]
上述的各结构、功能、处理部、处理单元等例如可以通过集成电路设计而利用硬件实现其一部分或全部。此外，上述各结构、功能等也可以通过处理器解释、执行实现各功能的程序而由软件实现。实现各功能的程序、表、文件等信息能够存储于存储器、硬盘、ssd(solid state drive：固态硬盘)等记录装置或ic卡、sd卡、dvd等记录介质。
[0269]
此外，控制线和信息线仅表示了说明上被认为需要的部分，并不一定表示了产品上的所有的控制线和信息线。实际上也可以认为几乎所有的结构彼此连接。
[0270]
附图标记说明
[0271]
100：副设备，101：智能音箱，110：控制器，111：cpu，112：存储器，113：程序，114：数据，120：tv部，121：接收选台部，122：信号分离部，123：影像处理部，124：声音处理部，125：数字if部，126：用户i/f部，130：麦克风，140：显示器，150：声音输出部，151：扬声器，152：耳机，160：通信部，161：近距离通信接口，162：通信接口，170：位置检测部，171：加速度传感器，172：陀螺仪传感器，173：地磁传感器，174：gps接收器，181：摄像机，182：测距传感器，
[0272]
210：副设备侧协作部，211：协作设定部，212：声音获取部，213：发送目标设备决定部，214：收发部，215：回答提示部，220：副设备侧助理部，230：协作信息数据库，231：用户id，232：主设备id，233：访问信息，234：协作标志，235：主设备类型，236：主设备名，240：用户信息数据库，241：用户id，242：声音信息，243：人脸图像，250：对应装置登记数据库，251：副设备id，252：影像输出目标装置id，
[0273]
300：主设备，300a：主设备(便携式信息处理装置)，300b：主设备(便携式信息处理装置)，300c：主设备(便携式信息处理装置)，301：智能手表，302：hmd，303：无线耳机，310：控制器，311：cpu，312：存储器，313：程序，314：数据，330：麦克风，340：显示器，350：声音输
出部，360：通信部，361：近距离通信接口，362：通信接口，370：位置检测部，371：加速度传感器，372：陀螺仪传感器，373：地磁传感器，374：gps接收器，381：摄像机，382：测距传感器，
[0274]
410：助理部，420：主设备侧协作部，421：数据接收部，422：回答发送部，423：协作管理部，424：初始设定部，430：副设备管理数据库，431：副设备id，432：访问信息，433：协作标志，
[0275]
510：访问接入点，511：充电座，520：外部网络，530：服务器，540：控制器，541：cpu，542：存储器，543：程序，544：数据，562：通信接口，
[0276]
610：画面例，611：回答显示区域，611a：回答显示区域，611b：回答显示区域，612：主设备信息显示区域，612a：主设备信息显示区域，612b：主设备信息显示区域，620：选择画面，621：消息显示区域，622：选择受理区域，630a：第一显示区域，630b：第二显示区域，
[0277]
900：助理系统