网络系统、信息处理方法以及服务器与流程

本发明涉及一种用于与用户交换语音消息的网络系统、信息处理方法以及服务器的技术。

背景技术：

以往，已知有用于输出适合于用户的消息的技术。例如，在国际公开第2016/088597公报(专利文献1)中，已公开了食品管理系统、冰箱、服务器、终端装置以及控制程序。根据专利文献1，在食品管理系统中，服务器检测冰箱附近的用户。服务器基于来自用户的订单而生成消息并储存在储存器中，基于检测的时机，从储存器中读取消息并传送给冰箱。并且，服务器在传送消息之后，在预先规定的期间内，从冰箱接受食品的订购。由此，能够提供包括有效地向用户通知信息的冰箱的食品管理系统。

现有技术文献

专利文献

专利文献1：国际公开第2016/088597号公报

技术实现要素：

发明要解决的问题

本发明的目的在于，提供一种在语音对话方面更顺畅地向用户提供信息的技术。

用于解决问题的方案

根据本发明的一实施方式提供一种网络系统，其包括：第一终端，其包含扬声器；第二终端，其包含显示器；及服务器，其使第一终端输出语音，并使第二终端显示关于语音的视频。

发明效果

如上所述，根据本发明，能够在语音对话方面更顺畅地向用户提供信息。

附图说明

图1是根据第一实施方式的网络系统1的整体构成与动作概要的示意图。

图2是根据第一实施方式的网络系统1的店铺通信终端300的画面的图。

图3是根据第一实施方式的服务器100的构成的框图。

图4是根据第一实施方式的终端数据121的示意图。

图5是根据第一实施方式的商品数据122的示意图。

图6是根据第一实施方式的店铺数据123的示意图。

图7是根据第一实施方式的库存数据124的示意图。

图8是根据第一实施方式的订单数据125的示意图。

图9是根据第一实施方式的服务器100中的信息处理的示意图。

图10是根据第一实施方式的顾客通信终端200的构成的框图。

图11是根据第一实施方式的店铺通信终端300的构成的框图。

图12是根据第二实施方式的网络系统1的整体构成与动作概要的示意图。

图13是根据第二实施方式的服务器100中的信息处理的示意图。

图14是根据第三实施方式的网络系统1的整体构成与动作概要的示意图。

图15是根据第三实施方式的服务器100中的信息处理的示意图。

图16是根据第四实施方式的网络系统1的整体构成与动作概要的示意图。

图17是根据第四实施方式的服务器100中的信息处理的示意图。

图18是根据第五实施方式的网络系统1的整体构成与动作概要的示意图。

图19是根据第五实施方式的商品数据122b的示意图。

图20是根据第五实施方式的反馈数据126的示意图。

图21是根据第五实施方式的服务器100中的信息处理的示意图。

图22是根据第六实施方式的网络系统1的店铺通信终端300的画面的示意图。

图23是根据第六实施方式的服务器100中的信息处理的示意图。

图24是根据第七实施方式的网络系统1的店铺通信终端300的画面的示意图。

图25是根据第七实施方式的服务器100中的信息处理的示意图。

图26是根据第八实施方式的网络系统1的整体构成与动作概要的示意图。

图27是根据第八实施方式的附近显示器数据127的示意图。

图28是根据第八实施方式的服务器100中的信息处理的示意图。

图29是根据第八实施方式的电视机400的构成的框图。

图30是根据第九实施方式的网络系统1的整体构成与动作概要的示意图。

图31是根据第九实施方式的商品数据122c的示意图。

图32是根据第九实施方式的服务器100中的信息处理的示意图。

图33是根据第十实施方式的服务器100中的信息处理的示意图。

图34是根据第十一实施方式的服务器100中的信息处理的示意图。

图35是根据第十二实施方式的服务器100中的信息处理的示意图。

图36是根据第十二实施方式的网络系统1的整体构成与动作概要的示意图。

图37是根据第十二实施方式的网络系统1的整体构成与第二动作概要的示意图。

图38是根据第十二实施方式的服务器中100的第一信息处理的示意图。

图39是根据第十二实施方式的网络系统1的整体构成与第三动作概要的示意图。

图40是根据第十二实施方式的服务器100中的第二信息处理的流示意图。

图41是根据第十三实施方式的网络系统1的整体构成与第一动作概要的示意图。

图42是根据第十三实施方式的语音视频数据128的示意图。

具体实施方式

以下，参照附图来说明本发明的实施方式。在以下的说明中，对于相同的部件赋予相同的附图标记。它们的名称以及功能也相同。因此，关于它们的详细说明将不再重复。

<第一实施方式>

<网络系统1的整体构成>

首先，参照图1来说明本实施方式所涉及的网络系统1的整体构成。根据本实施方式的网络系统1主要包括：对话服务用的服务器100；配置在家庭或办公室的机器人等的顾客通信终端200；以及配置在各种店铺或营业所等中的诸如平板电脑的店铺通信终端300。

并且，顾客通信终端200和店铺通信终端300并不限定于机器人、平板电脑，也可以是冰箱、微波炉、空调、洗衣机、吸尘器、空气净化机、加湿器、除湿器、电饭锅、照明等家用电器，手机、智能手机、电视机、硬盘录像机、投影仪、音乐播放器、游戏机、个人电脑等av(音频·视频)设备，内置照明、太阳能发电机、对讲机、热水器、温水冲洗马桶座控制器等住宅设备等。<网络系统1的动作概要>

以下说明网络系统1的动作概要。首先，参照图1，顾客通信终端200基于来自服务器100的数据与用户对话。更详细而言，顾客通信终端200重复以下处理：基于来自服务器100的语音数据输出语音，并且，接收来自用户的语音并发送给服务器100，进一步，基于来自服务器100的语音数据输出语音。

例如，本实施方式中，顾客通信终端200接受来自用户的商品或服务的订单，并将该订单传送给服务器100，或者接受来自服务器100的商品或服务的建议消息，并输出该语音消息。并且，网络系统1的相关人员基于服务器100接受的订单，从配送中心发货，或者从顾客通信终端200的用户附近的店铺向该用户的家里配送商品，或者服务提供者访问该用户的家。

并且例如，如便当等的配送，关于定期地向用户家中配送商品的服务，优选提示用户订购在下次配送时配送的商品。本实施方式中，如图2所示，接受定期配送便当的订单的店铺通信终端300基于来自服务器100的数据，显示下一次的配送时要配送的顾客和商品的列表。更详细而言，如图2(a)所示，店铺通信终端300基于来自服务器100的数据，以可选择的方式显示配送目的地的列表。并且，如图2(b)所示，店铺通信终端300基于来自服务器100的数据，显示要配送至被选择的配送目的地的商品列表。

并且，优选服务器100在顾客期望配送日期的规定时间之前，例如1小时之前等，使店铺通信终端300显示配送目的地列表、商品列表。

如上所述，根据本实施方式的对话服务中，根据顾客通信终端200的语音对话，用户能够简单地进行商品订购，并且，店铺侧也能够一次性配送多个商品。以下，对用于实现这样的功能的网络系统1的具体构成进行详细叙述。

<对话服务用的服务器100的硬件构成>

首先，说明构成本实施方式的网络系统1的对话服务用的服务器100的硬件构成的一个方式。参照图3，对话服务用的服务器100作为主要构成要素包括：cpu(centralprocessingunit，中央处理单元)110、存储器120、操作部140和通信接口160。

cpu110通过执行存储于存储器120中的程序，控制对话服务用的服务器100的各部分。例如，cpu110通过执行存储于存储器120中的程序，并参照各种数据而执行后述的各种处理。cpu110优选能够实现ai功能，并且能够执行根据ai功能的语音对话。

存储器120由各种ram(randomaccessmemory，随机存取存储器)，各种rom(read-onlymemory，只读存储器)等实现。存储器120存储由cpu110执行的程序、由cpu110执行程序而生成的数据、从操作部140输入的数据等。储存器120储存例如终端数据121、商品数据122、店铺数据123、库存数据124、订单数据125等。当然，这些数据也可以不储存在对话服务用的服务器100本身中，也可以储存在服务器100可访问的其他装置中。

此处，参照图4，终端数据121中，针对机器人等的每个顾客通信终端200储存终端id、地址、用户名、用于确定附近的店铺的信息、定期配送日期、用于确定要定期配送的商品的信息、要定期配送的商品数量之间的对应关系。

参照图5，商品数据122中，针对每个商品储存商品代码、商品名称、商品价格之间的对应关系。

参照图6，店铺数据123中，针对每个店铺储存店铺id、店铺名称、店铺地址、店铺通信终端300的id之间的对应关系。

参照图7，针对每个店铺准备库存数据124。库存数据124中，针对每个商品储存商品代码、店铺里存放的数量之间的对应关系。

参照图8，订单数据125中，针对每个已接受订单储存订单id、要配送商品的店铺id、进行订购的顾客通信终端200的id、被订购的商品的代码、被订购的商品的数量之间的对应关系。例如，cpu110经由通信接口160，基于从顾客通信终端200接收的语音数据，确定来自用户的订单，并将该订单积存到订单数据125中。

返回到图3，操作部140接受来自服务管理者等的命令，并将该命令输入至cpu110。

通信接口160经由互联网、运营商网络、路由器等，将来自cpu110的数据发送给顾客通信终端200、店铺通信终端300等其他装置。相反，通信接口160经由互联网，运营商网络、路由器等接收来自其他装置的数据，并传送至cpu110。

<对话服务用的服务器100的信息处理>

接着，参照图9，并对根据本实施方式的对话服务用的服务器100中的信息处理进行说明。本实施方式中，服务器100的cpu110定期地执行以下处理。

服务器100的cpu110参照终端数据121，判断是否存在到达定期配送日期的顾客通信终端200(步骤s102)。在不存在到达定期配送日期的顾客通信终端200的情况下(步骤s102中为“否”的情况)，cpu110等待直到下一次的时间。

并且，此处，作为规定的时间的配送日期是指，店铺或发送中心开始准备商品配送的日期。但是，作为规定的时间的配送日期也可以是店铺或发送中心发货的日期。此时，步骤s102中，cpu110判断是否过了作为规定的时间的配送日期的30分钟之前或1小时之前。或者，作为规定的时间的配饰日期也可以是商品到达用户的家的日期。此时，在步骤s102中，cpu110判断是否过了作为规定的时间的配送日期的1小时或2小时之前。

在存在到达定期配送日期的顾客通信终端200的情况下(步骤s102中为“是”的情况)，cpu110参照终端数据121确定与顾客通信终端200相关联的店铺(步骤s104)。cpu110参照订单数据，统计上一次配送之后的订单(步骤s106)。cpu110基于统计结果生成配送列表(步骤s108)。cpu110经由通信接口160，将配送列表发送给与用户的通信终端相关联的店铺的通信终端(步骤s110)。cpu110等待直到下一次的时间。

由此，在店铺的通信终端上显示图2(a)的配送列表以及图2(b)的商品列表。并且，被订购的商品或服务的付款方式并不特别限定。

<顾客通信终端200的硬件构成>

接着参照图10，说明构成网络系统1的顾客通信终端200的构成的一个方式。顾客通信终端200作为主要构成要素包括：cpu210、储存器220、显示器230、操作部240、照相机250、通信接口260、扬声器270、麦克风280。

cpu210通过执行存储于存储器220或外部存储介质中的程序，控制顾客通信终端200的各部分。

存储器220由各种ram或各种rom等实现。存储器220存储由cpu210执行的设备驱动程序、对话程序、其他程序，由cpu210执行程序所生成的数据、从对话服务用的服务器100或其他服务器接收的数据、经由操作部240输入的数据等。

显示器230基于来自cpu210的信号输出文本或图像。显示器230也可以是多个led灯等。

操作部240由按钮、触摸面板等来实现，接受来自用户的命令，并将该命令输入至cpu210。并且，显示器230和操作部240也可以构成触摸面板。

此外，操作部240也可以是接近传感器或温度传感器等。此时，cpu210经由作为操作部240的接近传感器或温度传感器，检测到用户将手放到机器人等的顾客通信终端200上，由此开始各种操作。例如，也可以通过将接近传感器配置在额头附近，由机器人等的顾客通信终端200检测用户的抚摸或敲打。

照相机250拍摄图像，并将图像数据传送给cpu210。

通信接口260由无线lan通信或有线lan等的通信模块来实现。通信接口260通过有线通信或无线通信而在对话服务用的服务器100等的其他装置之间进行数据交换。

扬声器270基于来自cpu210的信号输出语音。更详细而言，本实施方式中，cpu210基于经由通信接口260而从服务器100接收的语音数据使扬声器270输出语音消息。或者，cpu210基于经由通信接口260而从服务器100接收的文本数据生成语音信号，并使扬声器270输出语音消息。或者，cpu210基于经由通信接口260而从服务器100接收的消息id，从储存器220中读取语音数据，并使扬声器270输出语音消息。

麦克风280基于来自外部的语音，创建语音信号并输入至cpu210。cpu210将经由麦克风280而接受的语音，经由通信接口260发送至服务器100。例如，cpu210将经由麦克风280而从用户接受的商品或服务的订单，经由通信接口260发送至服务器100。

<店铺通信终端300的硬件构成>

接着，说明配置在便利店等的店铺通信终端300的硬件构成的一个方式。参照图11，店铺通信终端300作为主要构成要素包括：cpu310、存储器320、显示器330、操作部340和通信接口360。

cpu310通过执行存储于存储器320中的程序，控制店铺通信终端300的各部分。

存储器320由各种ram、各种rom等实现。存储器320存储由cpu310执行的程序、基于由cpu310执行程序而生成的数据、被输入的数据、从服务器100获取的数据等。当然，这些数据也可以不储存在店铺通信终端300本身中，也可以储存在店铺通信终端300可访问的其他装置中。

显示器330基于来自cpu310的信号显示图像或文本。操作部340由键盘、开关等来构成，接受来自操作员的命令，并将该命令输入至cpu310。并且，显示器330和操作部340也可以由触摸面板构成。

通信接口360由无线lan通信或有线lan等的通信模块来实现。通信接口360通过有线通信或无线通信而在对话服务用的服务器100等的其他装置之间进行数据交换。

例如，cpu310基于经由通信接口360而从服务器100接收的配送目的地列表，使显示器330显示如图2(a)所示的配送目的地列表。cpu310基于经由通信接口360而从服务器100接收的订单列表，使显示器330显示如图2(b)所示的订单列表。

<第二实施方式>

在第一实施方式中，从店铺定期地配送商品时，统计到达该配送日期为止的订单而配送的情况。除此之外，如图12所示，到达下一次的配送日期时，可以由服务侧向用户定期地提示，订购一起配送的其他商品。并且，到达定期配送日期时的处理与第一实施方式的处理相同。

本实施方式中，除了该处理之外，如图13所示，服务器100的cpu110还定期地执行以下处理。服务器100的cpu110参照终端数据121，判断是否存在到达定期配送日期的第一规定时间之前的顾客通信终端200，所述第一规定时间例如为3小时之前(步骤s122)。在不存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“否”的情况)，cpu110等待直到下一次的时间。

在存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“是”的情况)，cpu110确定顾客通信终端200(步骤s124)，并经由通信接口160向顾客通信终端200发送针对用户的询问消息(步骤s126)。cpu110等待直到下一次的时间。

由此，如图12所示，顾客通信终端200能够进行询问。例如，用户忘记订购或购买商品的情况下，有可能通过机器人建议的商品或服务来想起忘记购买的商品或服务。

<第三实施方式>

进一步，如图14所示，优选向客户通知将确定下一次要配送的订单。例如，顾客通信终端200输出“已确定到此为止的订单”的语音消息。并且，到达定期配送日期时的处理与第一实施方式的处理相同。

本实施方式中，如图15所示，服务器100的cpu110还定期地执行以下处理。服务器100的cpu110参照终端数据121，判断是否存在到达定期配送日期的第二规定时间之前的顾客通信终端200，所述第二规定时间例如为1小时之前或30分钟之前(步骤s142)。不存在到达定期配送日期的第二规定时间之前的顾客通信终端200的情况下(步骤s142中为“否”的情况)，cpu110等待直到下一次的时间。

存在到达定期配送日期的第二规定时间之前的顾客通信终端200的情况下(步骤s142中为“是”的情况)，cpu110确定该顾客通信终端200(步骤s144)，并经由通信接口160向顾客通信终端200发送确定到此为止的订单的信息(步骤s146)，并确定到此为止的订单(步骤s148)。并且，cpu110也可以经由通信接口160，向顾客通信终端200发送表示下一次配送的订单的受理已结束的信息。

并且，本实施方式中，cpu110在确定订单时将该订单储存在订单数据125中，但是，也可以在接受来自用户的订单时储存于订单数据125中，并在确定订单时与订单id相关联地设置确定标志。cpu110等待直到下一次的时间。

cpu110在步骤s148之后，也可以开始图9的处理，或者执行步骤s108或步骤s110的处理。

由此，如图14所示，顾客通信终端200能够向用户输出正式确定到此为止接受的订单的消息，或者下一次配送的订单的受理已结束的消息。

<第四实施方式>

进一步，如图16所示，也可以基于用户的到现在为止的订购历史记录、店铺的库存、库存的保质期等，由服务器100经由顾客通信终端200向用户建议商品或服务。并且，到达定期配送日期时的处理与第一实施方式的处理相同。

本实施方式中，除了该处理之外，如图17所示，服务器100的cpu110还参照终端数据121，判断是否存在到达定期配送日期的第一规定时间之前的顾客通信终端200，所述第一规定时间例如为2小时之前(步骤s122)。在不存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“否”的情况)，cpu110等待直到下一次的时间。

在存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“是”的情况)，cpu110确定该顾客通信终端200(在步骤s124)。cpu110参照订单数据125，获取该顾客通信终端200的用户订购历史记录(步骤s132)。cpu110基于订购历史记录，为用户创建商品或服务的建议消息(步骤s134)。

例如，如图16所示，cpu110基于订购频率、订购间隔，建议即将用完的商品。或者cpu110在惯例的季节，建议每年惯例的订购商品。或者cpu110参考后述的反馈数据，建议用户给予高评价的商品。并且，并不限定于商品，关于按摩、乐器的调整、房间打蜡等服务，也可以基于过去的订单请求进行建议。

返回到图17，在步骤s134中，cpu110也可以基于库存数据124创建建议消息，所述建议消息是用于建议对应于客户的店铺库存多的商品。

cpu110经由通信接口160向用户的通信终端发送建议消息(步骤s136)。cpu110等待直到下一次的时间。

由此，如图16所示，在顾客通信终端200中，能够提示输入适合于用户的商品或服务。

<第五实施方式>

进一步，如图18所示，优选服务器100经由顾客通信终端200能够获取关于所订购的商品或服务的用户的感想。并且，到达定期配送日期时的处理与第一实施方式的处理相同。

如图19所示，本实施方式的商品数据122b中，针对每个商品储存商品代码、商品名称、商品价格、从配送日期起到要询问用户感想的时间为止的间隔、要询问用户感想的时间之间的对应关系。

进一步，如图20所示，本实施方式的储存器120储存反馈数据126。反馈数据126针对每个用户的感想储存反馈id、作为对象的商品的代码、用户的回答消息、提供感想的用户的顾客通信终端200的id之间对应关系。

如图21所示，本实施方式中服务器100的cpu110还定期地执行以下处理。服务器100的cpu110参照终端数据121，判断是否存在到达用户感想确认日期的顾客通信终端200(步骤s192)。在不存在到达确认日期的顾客通信终端200的情况下(步骤s192中为“否”的情况)，cpu110等待直到下一次的时间。

在存在到达确认日期的顾客通信终端200的情况下(步骤s192中为“是”的情况)，cpu110确定该顾客通信终端200(步骤s194)，并经由通信接口160询问对所配送的商品的感想(步骤s196)。由此，如图18所示，用户的通信终端能够向用户提示评价所订购的商品。例如，便当等情况下，优选从配送后两个小时左右之后询问感想，即食食品等的情况下，优选从配送后24小时左右之后询问感想，衣物等的情况下，优选从配送后一个月左右之后询问感想。

当cpu110经由通信接口160从顾客通信终端200接受用户感想(步骤s198中为“是”的情况)，则将该感想积存到反馈数据126中(步骤s199)。

并且，反馈数据126被各种服务器或服务的管理者利用，以掌握每个顾客的品味，或者掌握流行的商品或服务。

<第六实施方式>

进一步，在第一至第五实施方式的网络系统1中，如图22所示，店铺的营业员等能够指定向用户建议的商品或服务。并且，到达定期配送日期时的处理与第一实施方式的处理相同。

本实施方式中，在该处理之外，如图23所示，服务器100的cpu110还参照终端数据121，判断是否存在到达定期配送日期的第一规定时间之前的顾客通信终端200，所述第一规定时间例如为2小时之前(步骤s122)。在不存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“否”的情况)，cpu110等待直到下一次的时间。

在存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“是”的情况)，cpu110确定该顾客通信终端200(在步骤s124)。cpu110经由通信接口160，向对应于通信终端的店铺的店铺通信终端300发送页面数据，所述页面数据用于接受建议的商品或服务的输入(步骤s128b)。

此时，如图22所示，店铺终端装置300的cpu310基于来自服务器100的数据使显示器330显示用于接受向成为对象的用户要建议的商品或服务的页面。当cpu110接受要向用户建议的商品或服务，则经由通信接口360发送至服务器100。

返回至图23，cpu110在经由通信接口160接受到店铺通信终端300指定的商品或服务的情况下(步骤s129中为“是”的情况)，基于店铺的指定，创建用于向用户建议商品或服务的建议消息(步骤s134b)。cpu110经由通信接口160向顾客通信终端200发送建议消息(步骤s136b)。cpu110等待直到下一次的时间。

由此，如图16所示，在顾客通信终端200中，能够提示输入适合于用户的商品或服务。

<第七实施方式>

进一步，也可以基于用户的到现在为止的订购历史记录、店铺的库存、库存的保质期等，服务器100可以以可选择的方式向店铺通信终端300建议，用于向用户建议的商品或服务。例如，如图24所示，店铺通信终端300基于来自服务器100的数据，以可选择的方式显示用户订购可能性高的商品或服务。并且，到达定期配送日期时的处理与第一实施方式的处理相同。

本实施方式中，在该处理之外，如图25所示，服务器100的cpu110还参照终端数据121，判断是否存在到达定期配送日期的第一规定时间之前的顾客通信终端200，所述第一规定时间例如为2小时之前(步骤s122)。在不存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“否”的情况)，cpu110等待直到下一次的时间。

在存在到达定期配送日期的第一规定时间之前的顾客通信终端200的情况下(步骤s122中为“是”的情况)，cpu110确定该顾客通信终端200(在步骤s124)。cpu110参照订单数据125，获取顾客通信终端200的用户的订购历史记录(步骤s132)。cpu110基于订购历史记录向对应于顾客通信终端200的店铺的店铺通信终端300发送页面数据，所述页面数据用于接受向用户建议的优选的商品或服务的选择命令(s128b)。并且，cpu110优选参照反馈数据126而向店铺的店员建议，适合成为对象的顾客通信终端200的用户的品味的商品或服务的建议。

并且，步骤s128b中，cpu110也可以基于库存数据124，向对应于顾客通信终端200的店铺的店铺通信终端300发送用于接受对应于用户的店铺的库存多的商品的选择命令的页面数据、用于接受接近保质期的商品的选择命令的页面数据。

此后的处理与第六实施方式相同，因此在此不重复说明。<第八实施方式>

与第一至第七实施方式的技术结合，本实施方式中，为了帮助用户理解，在顾客通信终端200附近的电视机400上显示参考视频。并且，视频是指静态图像、动态图像、文本等，通过显示器或投影仪等显示的任何内容。例如，如图26所示，在电视机400上列举显示用户经由顾客通信终端200输入的商品。

本实施方式中，服务器100的储存器120储存如图27所示的附近显示器数据127。附近显示器数据127包括顾客通信终端200和配置在其附近的电视机400之间的对应关系，其通过用户注册、蓝牙(注册商标)的配对等设定。

本实施方式中，服务器100的cpu110执行如图28所示的处理。cpu110经由通信接口160，使机器人等的顾客通信终端200执行与用户之间的语音对话(步骤s152)。当cpu110接受到来自用户的商品或服务的订单(步骤s154中为“是”的情况)，则创建关于该订单的电视机用图像(步骤s156)。cpu110经由通信接口160，将该电视机用图像发送至对应于顾客通信终端200的电视机400。

由此，如图26所示，用户的电视机400显示用户语音输入的商品或服务的订单。用户能够观看电视机400的信息的同时，与顾客通信终端200执行语音对话。

并且，如图29所示，电视机400作为主要构成要素包括：cpu410、储存器420、显示器430、操作部440、通信接口460、扬声器470、调谐器480、红外线接收部490。

cpu410通过执行存储于存储器420或外部存储介质中的程序，控制电视机400的各部分。

存储器420由各种ram或各种rom实现。存储器420存储由cpu410执行的设备驱动程序、对话程序、其他程序，由cpu410执行程序所生成的数据、从其他服务器接收的数据、经由操作部440输入的数据等。

显示器430输出电视广播等的视频。此外，基于来自cpu410的信号输出来自服务器100的文本或图像等。显示器430也可以是多个led灯等。

操作部440由按钮、触摸面板等来实现，接受来自用户的命令，并将该命令输入至cpu410。并且，显示器430和操作部440也可以构成触摸面板。

通信接口460由无线lan通信或有线lan等的通信模块来实现。通信接口460通过有线通信或无线通信而在对话服务用的服务器100等的其他装置之间进行数据交换。

扬声器470输出电视广播等的语音。或者，cpu410基于经由通信接口460而从服务器100接收的语音数据，使扬声器470输出语音。

<第九实施方式>

在第八实施方式中，服务器100将视频数据发送至电视机400。但是，如图30所示，电视机400也可以从其他服务器100b的网页中获取图像。

例如，服务器100的储存器120储存如图31所示的商品数据122c。商品数据122c中，针对每个商品储存商品代码、商品名称、商品价格、自销售到询问用户感想为止的期间、询问用户感想的时间、用于显示商品详细信息的网页的url信息之间的对应关系。

本实施方式中，服务器100的cpu110执行如图32所示的处理。cpu经由通信接口160，使机器人等的顾客通信终端200执行与用户之间的语音对话(步骤s152)。cpu110参照商品数据122c，判断是否准备有与该对话的商品相关的详细信息(步骤s154b)。

cpu110在准备有与该对话的商品相对应的视频的情况下，创建对应的url信息(步骤s156b)，并经由通信接口160将该url信息发送至对应于顾客通信终端200的电视机400(步骤s158b)。电视机400基于该url信息接收并显示包括图像的、与该商品相关的详细信息。

<第十实施方式>

或者，如图33所示，在经由机器人等的顾客通信终端200而接受到来自用户的询问的情况下，为了帮助用户理解，也可以在顾客通信终端200附近的电视机400上显示参考图像。

即，本实施方式中，服务器100的cpu110执行如图33所示的处理。cpu110经由通信接口160，使机器人等的顾客通信终端200执行与用户之间的语音对话(步骤s152)。当接受来自用户的问题时(步骤s153s中为“是”的情况)，cpu110参照商品数据122c，判断是否准备有与该问题的商品相关的详细信息(步骤s154b)。

在准备有与该问题的商品相对应的视频的情况下，cpu110创建对应的url信息(步骤s156b)，并经由通信接口160将该url信息发送至对应于顾客通信终端200的电视机400(步骤s158b)。电视机400基于该url信息接收并显示包括图像的、与该商品相关的详细信息。

<第十一实施方式>

或者，如图34所示，也可以为如下方式：当顾客通信终端200的附近有电视机400的情况下显示参考图像。

即，本实施方式中，服务器100的cpu110执行如图34所示的处理。cpu经由通信接口160，使机器人等的顾客通信终端200执行与用户之间的语音对话(步骤s152)。当接受来自用户的问题时(步骤s152中为“是”的情况)，cpu110经由通信接口160，判断在机器人等的顾客通信终端200的附近是否有电视机400(步骤s154c)。

例如，使顾客通信终端200发出电源打开按钮或频道切换按钮的控制信号，当电视机的电源被打开或者电视机的频道被切换时(步骤s154c中为“是”的情况)，cpu110创建对应的url信息(步骤s156b)，并经由通信接口160将该url信息发送至对应于顾客通信终端200的电视机400(步骤s158b)。电视机400基于该url信息接收并显示包括图像的、与该商品相关的详细信息。

<第十二实施方式>

或者，如图35所示，也可以为如下方式：当存在要由用户选择的多个候选的情况下，服务器100使电视400显示参考图像。即，当预想到仅靠语音用户难以选择所希望的信息时，使电视机400显示多个候选的视频。

即，本实施方式中，服务器100的cpu110执行如图35所示的处理。cpu110经由通信接口160，使机器人等的顾客通信终端200执行与用户之间的语音对话(步骤s152)。cpu110判断是否需要向用户显示多个候选(步骤s154d)。在需要向用户显示多个候选的情况下(步骤s154d中为“是”的情况)，cpu110基于与多个候选中的一个相关的信息，创建与该订单相关的电视机用图像(步骤s156)。cpu110经由通信接口160，将该电视机用图像发送至对应于用户的通信终端的电视机400(步骤s158)。此时，优选cpu110经由通信接口160而使电视机400输出对应于该电视机用图像的语音。

更详细而言，如图36(a)所示，本实施方式中，当用户发出“下一个”的单词时，如图36(b)所示，从顾客通信终端200接受到该语音的服务器100的cpu110，经由通信接口160使对应于顾客通信终端200的电视机显示多个候选中的下一个的图像。此时，优选cpu110经由通信接口160，使电视机400输出对应于该下一个图像的语音。基于来自顾客通信终端200的语音，当向顾客通信终端200输入表示用户决定商品或服务的语音时，如图36(c)所示，服务器100的cpu110经由通信接口160接受用户的商品决定命令，并使电视机400显示该商品的详细画面。此时，优选cpu110经由通信接口160而使电视机400输出对应于该商品的详细画面的语音。

相反地，如图37(a)所示，当用户发出“上一个”的单词时，如图37(b)所示，从顾客通信终端200接受到该语音的服务器100的cpu110，经由通信接口160使对应于顾客通信终端200的电视机400显示多个候选中的之上一个的图像。此时，优选cpu110经由通信接口160，使电视机400输出对应于该上一个的图像的语音。基于来自顾客通信终端200的语音，当向顾客通信终端200输入表示用户决定商品或服务的语音时，如图37(c)所示，服务器100的cpu110经由通信接口160接受用户的商品决定命令，并使电视机400显示该商品的详细画面。此时，优选cpu110经由通信接口160而使电视机400输出对应于该商品的详细画面的语音。

更详细而言，本实施方式中，服务器100的cpu110执行如图38所示的处理。cpu经由通信接口160，使机器人等的顾客通信终端200执行与用户之间的语音对话(步骤s152)。当接受到“下一个”的单词时(步骤s162中为“是”的情况)，cpu110经由通信接口160向对应于诸如机器人等的顾客通信终端200的电视机400发送多个候选中的下一个图像的数据和对应于该下一个图像的语音数据(步骤s164)。

在未接受到“下一个”的单词的情况下(步骤s162中为“否”)，当接受到“上一个”的单词时(步骤s166中为“是”的情况)，cpu110经由通信接口160向对应于诸如机器人等的顾客通信终端200的电视机400发送多个候选中的上一个图像的数据和对应于该下一个图像的语音数据(步骤s168)。

在未接受到“上一个”的单词的情况下(步骤s166中为“否”的情况)，cpu110经由通信接口160，判断是否接受到来自用户的确定命令(步骤s170)。当接受到来自用户的确定命令时(步骤s170中为“是”的情况)，cpu110经由通信接口160向对应于机器人等的顾客通信终端200的电视机400发送商品或服务的详细图像和对应于该详细图像的语音数据(步骤s172)。

并且，从多个候选中的选择方法也可以是如图39所示的方法。即，服务器100的cpu110经由通信接口160，将多个候选的图像发送至对应于用户的机器人等的顾客通信终端200的电视机400。如图39(a)所示，电视机400根据服务器100的指示，以矩阵状可选择的方式显示多个候选的图像。当用户指定从上第几个(从下第几个)、从左第几个(从右第几个)，则如图39(b)所示，将被指定的图像以不同于其他图像的方式显示。

基于来自顾客通信终端200的语音，当向顾客通信终端200输入表示用户决定商品或服务的语音时，如图39(c)所示，服务器100的cpu110经由通信接口160接受用户的商品决定命令，并使电视机400显示该商品的详细画面。此时，优选cpu110经由通信接口160而使电视机400输出对应于该商品的详细画面的语音。

更详细而言，本实施方式中，服务器100的cpu110执行如图40所示的处理。cpu110经由通信接口160，使机器人等的顾客通信终端200执行与用户之间的语音对话(步骤s152)。cpu110基于通信接口160，等待上下方向的指定，即等待行的指定(步骤s167)。当接受到上下方向的指定时(步骤s167中为“是”的情况)，cpu110经由通信接口160，等待左右方向额指定，即等待列的指定(步骤s168)。

当接受到左右方向的指定时(步骤s168中为“是”的情况)，cpu110等待来自用户的确定命令(步骤s170)。当接受到确定命令时(步骤s170中为“是”的情况)，cpu110经由通信接口160向对应于机器人等的顾客通信终端200的电视机400发送商品或服务的详细图像和对应于该详细图像的语音数据(步骤s172)。

并且，多个候选的图像，可以以横向排成一列而接受从右或从左起第几个的语音命令，也可以以纵向排成一列而接受从上或下起第几个的语音命令。

<第十三实施方式>

在第八至十二的实施方式中，通过语音对话而接受来自用户的商品或服务的订单。但是，并不限定于这样的方式。例如，如图41所示，也可以是如下方式：当服务器100经由机器人等额顾客通信终端200向用户输出各种讲座的语音时，使附近的电视机400显示关于该讲座的图像。即，顾客通信终端200扮演教练角色，并且电视机400的图像输出参考视频。

在这种情况下，储存器120储存讲座的语音数据和视频数据的对应关系。并且，cpu110根据语音数据的进展，经由通信接口160向电视机400提供视频数据，或者，根据视频数据的进展，经由通信接口160向顾客通信终端200提供语音数据。

例如，储存器120储存如图42所示的语音视频数据128。语音视频数据128针对每个内容包含内容id、章节id、语音id、语音输出时间、视频id、视频输出时间之间的对应关系。并且，cpu110参照语音视频数据128，经由通信接口160将语音数据提供给顾客通信终端200，并经由通信接口160将对应于语音数据的视频数据提供给对应于顾客通信终端200的电视机400。

并且，服务器100也可以将用于补充说明机器人等的顾客通信终端200的语音的静态图像、动态图像、文本等，显示在对应于顾客通信终端200的显示器、投影仪等上。例如，在用户仅通过用于说明地点的语音很难理解的情况下显示地图，或者用户仅通过新闻的语音很难想出的可能性高的情况下显示政治家或艺人的照片会很有帮助。

<第十四实施方式>

第一至第十三实施方式中，并不限定服务器、顾客通信终端200、店铺通信终端300的结构、功能、动作，例如，各装置的作用可以由其他服务器、数据库等的多个装置分担。相反地，多个装置的作用的一部分或全部也可以集成到一个装置中。

<总结>

根据上述实施方式提供一种网络系统1，其包括：第一终端200，其包含扬声器270；第二终端400，其包含显示器430；服务器100，其用于使第一终端200输出语音，并使第二终端400显示关于语音的视频。

优选，第二终端400能够获取关于语音的多个视频。服务器100每当经由第一终端200接受来自用户的第一命令时，使第二终端400按照顺序显示关于语音的多个视频。

优选，服务器100每当经由第一终端200接受来自用户的第二命令时，使第二终端400按照相反顺序显示关于语音的多个视频。

优选，服务器100使第二终端400输出对应于与第二命令对应的视频的语音。

优选，第二终端400能够获取关于语音的多个视频。服务器100使第二终端400以可选择的方式排列显示关于语音的多个视频。

优选，服务器100经由第一终端200接受指定是从左或右第几个以及/或从上或下第几个的语音命令，并使第二终端400显示关于任意一个视频的详细画面。

优选，服务器100使第二终端输出对应于详细画面的语音。

优选，服务器100使第一终端200输出讲座用的语音，并使第二终端400显示与语音相关的说明用的视频。

上述实施方式中，提供一种网络系统1的信息处理方法，其包括：服务器100使第一终端200输出语音的步骤；服务器100使第二终端400显示关于语音的视频的步骤。

上述实施方式中提供服务器100，其包括：通信接口160，其用于与第一及第二终端200、400进行通信；处理器110，其用于使第一终端200输出语音，并使第二终端400显示关于语音的视频。

上述实施方式中提供一种服务器100的信息处理方法，所述服务器100包括：用于与第一及第二终端200、400进行通信的通信接口160和处理器110。信息处理方法包括：处理器110利用通信接口160使第一终端200输出语音的步骤；处理器110利用通信接口160使第二终端400显示关于语音的视频的步骤。<其他的应用例>

当然本发明也能够适用于向系统或装置供给程序由此来实现的情况。并且，将储存有用于实现本发明的、由软件表示的程序的存储介质(或存储器)供给至系统或装置，该系统或装置的计算机(或cpu、mpu)读出并执行存储介质中储存的程序代码，由此也可以享有本发明的效果。

此时，从存储介质读出的程序代码自身实现了前述的实施方式的功能，存储有该程序代码的存储介质构成了本发明。

此外，计算机执行所读出的程序代码，不仅能实现前述的实施方式的功能，而且基于该程序代码的指示，还能由在计算机上工作的os(操作系统)等进行实际的处理的一部分或全部，通过该处理来实现前述的实施方式的功能，也包含这种情况是不言而喻的。

进一步，从存储介质读出的程序代码被写入至插入计算机的功能扩展板或与计算机连接的功能扩展单元中具备的其他存储介质之后，基于该程序代码的指示，由该功能扩展板或功能扩展单元中具备的cpu等进行实际的处理的一部分或全部，通过该处理来实现前述的实施方式的功能，也包含这种情况是不言而喻的。

应当认为本次公开的实施方式在所有方面均为例示，并非限制性的。本发明的范围通过权利要求书的范围来表示，并非由上述的说明来表示，并且包含与权利要求书均等的意思以及范围内的所有变更。

附图标记说明

1：网络系统

100：服务器

100b：服务器

110:cpu

120：存储器

121:终端数据

122：商品数据

123：店铺数据

124:库存数据

125：订单数据

126：反馈数据

127：附近显示器数据

128：语音视频信号

140：操作部

160：通信接口

200：顾客通信终端

210:cpu

220：存储器

230：显示器

240：操作部

250：照相机

260：通信接口

270：扬声器

280：麦克风

300：店铺通信终端

310:cpu

320：存储器

330：显示器

340：操作部

360：通信接口

400：电视机

410:cpu

420：存储器

430：显示器

440：操作部

460：通信接口

470：扬声器

480：调谐器

490：红外线受光部