本发明的实施方式涉及验证系统、验证方法以及程序。
背景技术：
以往已知有通过对话引擎生成针对利用语音以及文本等输入的用户的讲话(speech)的响应并利用语音以及文本等输出该响应的对话系统。近年来，伴随对话系统的普及，构筑了专用于特定的任务的对话引擎以及生成个性的响应的对话引擎等定制的对话引擎。
技术实现要素：
然而，在现有的技术中，难以更容易地实现与实际利用对话引擎的状况匹配地验证对话引擎的动作。
实施方式的验证系统具备存储控制部、第一受理部、判定部、构筑部、第二受理部、生成部以及输出控制部。存储控制部将能够在一个以上的响应句子的生成中使用的第一响应数据和表示使用所述第一响应数据的状况的第一状况数据关联起来存储到存储部。第一受理部受理在所述一个以上的响应句子的生成中使用的第二响应数据。判定部判定表示使用所述第二响应数据的状况的第二状况数据和所述第一状况数据的第一类似度。构筑部构筑包括所述第二响应数据和与所述第一类似度是第一阈值以上的所述第一状况数据关联起来的所述第一响应数据的响应内容信息。第二受理部受理表示由用户做出的讲话的讲话数据。生成部使用所述响应内容信息来生成与所述讲话数据对应的所述响应句子。输出控制部输出所述一个以上的响应句子。
根据上述验证系统，能够更容易地实现与实际利用对话引擎的状况匹配地验证对话引擎的动作。
附图说明
图1是示出第一实施方式的验证系统的功能结构的例子的图。
图2是用于说明第一实施方式的类似度的判定例1的图。
图3a是用于说明第一实施方式的类似度的判定例2的图。
图3b是示出在类似度的判定例2中使用的定义信息的例子的图。
图4a是用于说明第一实施方式的类似度的判定例3的图。
图4b是示出在类似度的判定例3中使用的变换信息的例子的图。
图5是示出第一实施方式的响应内容db的例子的图。
图6是示出第一实施方式的对话系统的动作例的图。
图7是示出第一实施方式的验证方法的例子的流程图。
图8是用于说明第一实施方式的验证系统的验证例1的图。
图9是用于说明第一实施方式的验证系统的验证例2的图。
图10是示出第二实施方式的验证系统的功能结构的例子的图。
图11是示出第二实施方式的推测部的推测例的图。
图12是示出第三实施方式的验证系统的功能结构的例子的图。
图13是示出第三实施方式的验证方法的例子的流程图。
图14是示出第一至第三实施方式的验证系统的硬件结构的例子的图。
(符号说明)
11：受理部；12：判定部；13：存储部；14：构筑部；15：推测部；16：判定部；17：修正部；18：存储部；21：存储部；22：受理部；23：响应控制部；24：生成部；25：输出控制部；100：验证系统；200：对话系统；201：讲话理解模型；202：响应内容db；203：响应形式db；204：响应生成模型；300：对话系统；301：控制装置；302：主存储装置；303：辅助存储装置；304：麦克风；305：显示装置；306：输入装置；307：通信装置；308：扬声器；310：总线。
具体实施方式
以下，参照附图，详细说明验证系统、验证方法以及程序的实施方式。
(第一实施方式)
首先，说明第一实施方式。
[功能结构的例子]
图1是示出第一实施方式的验证系统100的功能结构的例子的图。第一实施方式的验证系统100具备受理部11、判定部12、存储部13、构筑部14以及对话系统200。
受理部11从工作人员受理响应数据(第二响应数据)和状况数据(第二状况数据)。
响应数据被用于一个以上的响应句子(responsesentence)的生成。响应数据例如是商品的促销信息。促销信息例如包括期间、店名以及内容。期间例如是“4/29-5/5”等。店名例如是“家电零售店d”等。内容例如是“玩偶30％折扣”等。
在响应数据是商品的促销信息的情况下，例如生成“作为经营玩偶的商铺，发现了家电零售店d”等响应句子。
状况数据表示使用响应数据的状况。状况数据例如包括表示期间的信息、表示场所的信息、表示年龄的信息、表示性别的信息、表示价格的信息、表示种类(类型)的信息以及表示喜好的信息中的至少一个。状况数据的数据形式可以任意。状况数据例如是表示使用响应数据的状况的参数。
期间例如是“4/29～5/5”等。表示场所的信息例如是“3f玩具区”等。表示年龄的信息例如是“3岁～12岁”等。表示性别的信息例如是“女性”等。表示价格的信息例如是“3000日元以下”等。表示种类(类型)的信息例如是表示西装的种类的“正式”以及“休闲”等。表示喜好的信息例如是表示食物的喜好的“西餐”、“日餐”以及“中餐”等。
此外，在响应数据中包含的信息和在状况数据中包含的信息也可以一部分重复。例如，表示期间的信息以及表示价格的信息等也可以包含于响应数据以及状况数据这两方。
受理部11在受理到响应数据和状况数据时，将响应数据输入到构筑部14，将状况数据输入到判定部12。
判定部12在从受理部11受理到状况数据时，判定该状况数据和在存储部13中存储的数据集101-k(1≤k≤n，n以及k是1以上的整数)中包含的状况数据103-k的类似度。
存储部13(存储控制部)存储数据集101-1～数据集101-n。数据集101-1～数据集101-n的说明相同，所以以数据集101-1为例子进行说明。
数据集101-1包括响应数据102-1以及状况数据103-1。响应数据102-1的说明与由受理部11受理到的响应数据的说明相同，所以省略。同样地，状况数据103-1的说明与由受理部11受理到的状况数据的说明相同，所以省略。
以下，在不区分数据集101-1～数据集101-n的情况下，简称为数据集101。同样地，在不区分响应数据102-1～响应数据102-n的情况下，简称为响应数据102。同样地，在不区分状况数据103-1～状况数据103-n的情况下，简称为状况数据103。
<状况数据的类似度的判定例>
由受理部11受理到的状况数据以及在存储部13中存储的状况数据103有具有数值的情况和具有标签的情况。在具有数值的情况下，是表示期间的信息(5/1～5/8等)、表示年龄的信息(6岁～12岁等)以及表示价格的信息(10,000日元以下等)。在具有标签的情况下，是表示场所的信息(主楼1f等)、表示性别的信息(男性等)以及种类(正式等)。
以下，为了说明，将由受理部11受理到的状况数据称为动作验证用状况数据。另外，将由受理部11受理到的响应数据称为动作验证用响应数据。
在动作验证用状况数据具有数值的情况下，判定部12例如根据动作验证用状况数据表示的范围和在存储部13中存储的状况数据103表示的范围重复的范围的大小，判定类似度。
在动作验证用状况数据具有标签的情况下，判定部12例如根据标签是否一致，判定类似度。另外，例如在动作验证用状况数据具有标签的情况下，判定部12根据定义类似度的定义信息，判定类似度。
此外，判定部12例如也可以使用将标签变换为数值的变换表格等变换信息，从而比较标签和数值。
以下，参照具体例，说明类似度的判定例。
<表示期间的信息的情况>
图2是用于说明第一实施方式的类似度的判定例1的图。在动作验证用响应数据表示仅在特定的期间进行的促销等的情况下，动作验证用状况数据例如包括其开始日和结束日的组。在图2的例子中，动作验证用响应数据是新的促销信息。另外，动作验证用状况数据表示新的促销信息的期间5/1～5/8。
例如在由在动作验证用状况数据中包含的开始日和结束日所表示的期间包含于由在存储部13中存储的状况数据103所表示的期间的情况下，判定部12使类似度成为1。在图2的例子中，由动作验证用状况数据所表示的期间包含于由与表示“促销b”的响应数据102关联起来的状况数据103所表示的期间。因此，判定部12判定为动作验证用状况数据和与表示“促销b”的响应数据102关联起来的状况数据103的类似度是1。
另外，例如在由在动作验证用状况数据中包含的开始日和结束日所表示的期间未包含于由在存储部13中存储的状况数据103所表示的期间的情况下，判定部12使类似度成为0。在图2的例子中，由动作验证用状况数据所表示的期间未包含于由与表示“促销a”的响应数据102关联起来的状况数据103所表示的期间。因此，判定部12判定为动作验证用状况数据和与表示“促销a”的响应数据102关联起来的状况数据103的类似度是0。
另外，例如在由在动作验证用状况数据中包含的开始日和结束日所表示的期间与由在存储部13中存储的状况数据103所表示的期间重复的情况下，判定部12根据重复的期间的长度判定类似度。例如在重复的期间的长度是由在存储部13中存储的状况数据103所表示的期间的长度的20％的情况下，判定部12例如使类似度成为0.2。在图2的例子中，由动作验证用状况数据所表示的期间和由与表示“促销c”的响应数据102关联起来的状况数据103所表示的期间的一部分重复。因此，判定部12将动作验证用状况数据和与表示“促销c”的响应数据102关联起来的状况数据103的类似度例如判定为是0.6。
<表示场所的信息的情况>
图3a是用于说明第一实施方式的类似度的判定例2的图。在动作验证用响应数据表示在店铺中进行的促销等的情况下，动作验证用状况数据例如包括表示场所的信息。表示场所的信息例如表示设置对话系统的场所以及商店的场所等。图3a的例子示出判定部12判定表示有三层的主楼和两层的东楼的购物中心内的场所的动作验证用状况数据的类似度的情况。
图3b是示出在类似度的判定例2中使用的定义信息的例子的图。定义信息定义类似度。类似度可以通过任意的方法定义。类似度例如也可以以与为了用户移动所需的物理上的移动距离成反比的方式定义。另外，例如类似度也可以以与还考虑了移动方式的移动时间成反比的方式定义。移动方式例如是步行、扶梯以及电梯等。
动作验证用状况数据表示的场所、和表示商店a的场所的状况数据103表示的场所处于相同的建筑物的同一楼层。判定部12使用图3b的定义信息，判定为动作验证用状况数据表示的场所、和表示商店a的场所的状况数据103表示的场所的类似度是1。
动作验证用状况数据表示的场所、和表示商店b的场所的状况数据103表示的场所处于相同的建筑物，但处于分离了一层的不同楼层。判定部12使用图3b的定义信息，判定为动作验证用状况数据表示的场所、和表示商店b的场所的状况数据103表示的场所的类似度是0.8。
动作验证用状况数据表示的场所、和表示商店c的场所的状况数据103表示的场所处于相同的建筑物，但处于分离了两层的不同楼层。判定部12使用图3b的定义信息，判定为动作验证用状况数据表示的场所、和表示商店c的场所的状况数据103表示的场所的类似度是0.6。
动作验证用状况数据表示的场所、和表示商店d的场所的状况数据103表示的场所处于不同的建筑物，但处于同一楼层(层)。判定部12使用图3b的定义信息，判定为动作验证用状况数据表示的场所、和表示商店d的场所的状况数据103表示的场所的类似度是0.5。
动作验证用状况数据表示的场所、和表示商店e的场所的状况数据103表示的场所处于不同的建筑物的分离了一层的楼层(层)。判定部12使用图3b的定义信息，判定为动作验证用状况数据表示的场所、和表示商店e的场所的状况数据103表示的场所的类似度是0.3。
<表示对象的信息的情况>
图4a是用于说明第一实施方式的类似度的判定例3的图。在动作验证用响应数据表示商品的促销等的情况下，动作验证用状况数据例如包括表示对象(性别以及年龄的组合)的信息。
关于性别，有男性、女性以及两方(男女两用)这三个。类似度的定义例如在“男性-男性”、“女性-女性”、“两方-两方”、“两方-男性”以及“两方-女性”的比较的情况下为1、在“男性-女性”的比较的情况下为0。
关于年龄，例如使用如“全部年龄”以及“年长者”那样的分组，如果是同一群组，则使类似度成为1，如果是不同的群组，则使类似度成为0。另外，判定部12也可以利用变换表格等变换信息，根据“全部年龄”以及“年长者”等标签来判定年龄的类似度。
图4b是示出在类似度的判定例3中使用的变换信息的例子的图。图4b的变换信息的例子示出例如“全部年龄”是0岁至100岁、“年长者”是60岁至70岁那样从标签变换为数值(年龄)的范围的情况。判定部12通过使用变换信息将标签变换为数值的范围，能够利用该数值的范围的包含关系，判定标签的类似度。
为了简化，使用图4a，说明不考虑性别而判定对象的类似度的情况。在图4a的例子中，动作验证用状况数据表示“面向年长者”。
动作验证用状况数据表示的“面向年长者”通过图4b的变换信息被变换为60岁以上且70岁以下的范围。与表示“商品a”的响应数据102关联起来的状况数据103表示的“面向大人”通过图4b的变换信息被变换为20岁以上且100岁以下的范围。与表示“商品b”的响应数据102关联起来的状况数据103表示的“面向全部年龄”通过图4b的变换信息被变换为0岁以上且100岁以下的范围。与表示“商品c”的响应数据102关联起来的状况数据103表示的“面向青年”通过图4b的变换信息被变换为15岁以上且24岁以下的范围。
在年龄的范围中，动作验证用状况数据表示的“面向年长者”包含于与表示“商品a”的响应数据102关联起来的状况数据103表示的“面向大人”。因此，判定部12判定为动作验证用状况数据表示的“面向年长者”和与表示“商品a”的响应数据102关联起来的状况数据103表示的“面向大人”的类似度是1。
在年龄的范围中，动作验证用状况数据表示的“面向年长者”包含于与表示“商品b”的响应数据102关联起来的状况数据103表示的“面向全部年龄”。因此，判定部12判定为动作验证用状况数据表示的“面向年长者”和与表示“商品b”的响应数据102关联起来的状况数据103表示的“面向全部年龄”的类似度是1。
在年龄的范围中，动作验证用状况数据表示的“面向年长者”不包含于与表示“商品c”的响应数据102关联起来的状况数据103表示的“面向青年”。因此，判定部12判定为动作验证用状况数据表示的“面向年长者”和与表示“商品c”的响应数据102关联起来的状况数据103表示的“面向青年”的类似度是0。
<表示价格的信息的情况>
在动作验证用响应数据表示商品的促销等的情况下，动作验证用状况数据例如包括表示价格范围的标签。表示价格的信息例如有低价格范围、高价格范围以及两方这三个。两方表示有低价格范围的商品以及高价格范围的商品这两方的情况。类似度的定义例如在“高价格范围-高价格范围”、“低价格范围-低价格范围”、“两方-两方”、“高价格范围-两方”以及“低价格范围-两方”的比较的情况下为1，在“高价格范围-低价格范围”的比较的情况下为0。另外，表示价格范围的标签的类似度也可以与上述表示年龄的标签的情况同样地，使用变换信息(参照图4b)变换为数值的范围后判定。例如，变换信息将“低价格范围”变换为“3,000日元以下”、将“高价格范围”变换为“大于3,000日元”。
<表示种类的信息的情况>
在动作验证用响应数据表示西装的促销等的情况下，动作验证用状况数据例如包括表示种类的标签。表示种类的信息例如有正式、休闲以及两方这三个。两方表示有正式的西装以及休闲的西装这两方的情况。类似度的定义例如在“正式-正式”、“休闲-休闲”、“两方-两方”、“正式-两方”以及“休闲-两方”的比较的情况下为1、在“正式-休闲”的比较的情况下为0。
返回到图1，判定部12也可以从存储部13读出与类似度是阈值(第一阈值)以上的状况数据103关联起来的响应数据102，将该响应数据102输入到构筑部14。阈值可以任意地决定。阈值例如也可以由工作人员适当地设定。另外，例如判定部12也可以计算在存储部13中存储的n个状况数据103的全部或者一部分和动作验证用状况数据的类似度，根据该类似度的平均值以及中值等统计值来设定阈值。
构筑部14从受理部11受理动作验证用响应数据，从判定部12受理与类似度是阈值以上的状况数据103关联起来的响应数据102。构筑部14构筑响应内容db(database，数据库)202(响应内容信息)，该响应内容db包括动作验证用响应数据和与类似度是阈值以上的状况数据103关联起来的响应数据102。另外，构筑部14将响应内容db202存储到对话系统200的存储部21。
接下来，说明对话系统200。
对话系统200具备存储部21、受理部22、响应控制部23、生成部24以及输出控制部25。
存储部21、响应控制部23以及生成部24与对话引擎相当。对话引擎的处理包括用于理解从用户受理的讲话数据的讲话理解、用于确定响应形式(响应方针)的对话控制、以及依照响应形式生成具体的响应句子的响应生成。通过定制这些处理，能够实现专用于特定的任务的讲话理解、能够提示新的响应内容db202的信息的对话控制、以及具有个性的讲话风格的响应生成等。
在对对话系统200施加定制时，需要事先验证受到该定制影响的处理是否正确地动作。例如，需要事先验证定制后的对话系统200能否正确地理解从用户受理的讲话数据。另外，例如需要事先验证利用定制后的对话系统200的对话流是否依照意图。另外，例如需要事先验证在定制后的对话系统200中存储的响应内容db202的信息是否被适当地提示。另外，例如需要事先验证利用定制后的对话系统200生成的响应句子是否作为文章以无错误的状态被生成。
在对话引擎的动作验证过程中，与实际利用该对话引擎的状况匹配地进行动作验证是重要的。在对话系统200例如被用于购物中心的店铺引导的情况下，使对话引擎的举动适应于利用该对话系统200的场所以及时间、使用该对话系统的用户的性别及年龄、以及商店的经营商品及促销信息等是重要的。
例如，作为动作验证用响应数据，将一个月后的促销信息追加登记到响应内容db202，进行对话引擎的动作验证，在此情况下，在该响应内容db202中还包括同时期其它店铺进行的促销信息时能够匹配于利用该对话引擎的状况。
存储部21存储讲话理解模型201、响应内容db202、响应形式db203以及响应生成模型204。
讲话理解模型201(讲话理解信息)包括用于使对话系统200能够理解讲话的信息。讲话理解模型201例如被用于表示讲话的意图的讲话意图信息的生成。讲话理解模型201例如将单词的特征量和讲话意图信息关联起来存储。特征量例如是表示单词的特征的向量。
具体而言，讲话理解模型201例如将表示“想要”的特征量和用户的行动“店铺检索”关联起来存储。另外，例如讲话理解模型201将表示“哪里”的特征量和用户的行动“场所检索”关联起来存储。另外，例如讲话理解模型201将表示“鞋”的特征量和对象“鞋”关联起来存储。另外，例如讲话理解模型201将表示“卫生间”的特征量和对象“卫生间”关联起来存储。
响应控制部23使用讲话理解模型201从在讲话数据中包含的单词来确定讲话意图信息，由此推测用户的讲话的意图。例如在讲话中包括“想要”的情况下，响应控制部23能够推测用户的讲话的意图是“店铺检索”。
通过上述构筑部14构筑响应内容db202。响应内容db202包括动作验证用响应数据。另外，响应内容db202包括在存储部13中存储的响应数据102中的、与和动作验证用状况数据的类似度是阈值以上的状况数据103关联起来的响应数据102。
在动作验证用响应数据以及响应数据102表示店铺信息的情况下，在响应内容db202中存储的数据例如包括店名、经营商品以及价格范围等。
图5是示出第一实施方式的响应内容db202的例子的图。在图5的例子中，例如店名是“鞋店a”的店铺的经营商品是“皮鞋”以及“运动鞋”、价格范围是“高级”。
返回到图1，响应形式db203(响应形式信息)存储用于确定与上述讲话意图信息对应的表示响应句子的形式的响应形式(响应脚本)的信息。
响应形式db203例如将行动“未知”以及对象“未知”的组合和询问形式(request(x＝行动，y＝对象))关联起来存储。另外，例如响应形式db203将行动“店铺检索”以及对象“鞋”的组合和提案形式(offer(x＝对象，y＝店))关联起来存储。另外，例如响应形式db203将行动“场所检索”以及对象“未知”的组合和询问形式(request(x＝对象))关联起来存储。
响应生成模型204(响应生成信息)存储用于生成响应句子的信息。响应生成模型204例如将响应形式和响应句子关联起来存储。具体而言，响应生成模型204例如将询问形式(request(x＝对象))和响应句子“关于x，您希望？”关联起来存储。另外，例如响应生成模型204例如将确认形式(confirm(x＝x))和响应句子“x可以称为x吗”关联起来存储。另外，例如响应生成模型204例如将提案形式(offer(x＝对象，y＝店))和响应句子“作为处理x的商铺，发现了y”关联起来存储。
受理部22从验证者(用户)受理讲话数据。讲话数据表示验证者的讲话。讲话数据的数据形式可以任意。讲话数据例如是文本数据。另外，例如讲话数据是语音数据。在讲话数据是语音数据的情况下，受理部22通过对该语音数据进行语音识别，获取表示讲话的文本数据等语音识别结果。
对话系统200反复进行输出与从验证者受理的讲话数据对应的响应句子并受理与该响应句子对应的讲话数据，由此与验证者进行对话。
此外，在第一实施方式中，以验证者和上述工作人员是不同的人物的情况为例子进行说明，但验证者和工作人员也可以是同一人物。
响应控制部23在从受理部22受理到讲话数据时，进行与该讲话数据对应的响应控制处理，从而确定响应形式。参照图6在后叙述响应控制处理的例子。响应控制部23将响应形式输入到生成部24。
生成部24在从响应控制部23受理到响应形式时，使用响应生成模型204，根据该响应形式生成响应句子。参照图6在后叙述响应句子的生成处理的例子。生成部24将响应句子输入到输出控制部25。
输出控制部25在从生成部24受理到响应句子时，输出该响应句子。响应句子的输出形式可以任意。输出控制部25例如输出响应句子的朗读语音。另外，例如输出控制部25输出包括表示响应句子的文本的显示信息。另外，例如输出控制部25也可以进行响应句子的朗读语音的输出和包括表示该响应句子的文本的显示信息的输出这两方。
接下来，说明对话系统200的动作例。
<对话系统的动作例>
图6是示出第一实施方式的对话系统200的动作例的图。首先，响应控制部23从受理部22受理到表示验证者的讲话的讲话数据210时，通过将该讲话数据210分割为单词，生成分割数据211(步骤s1)。接下来，响应控制部23抽出在分割数据211中包含的单词的特征量212(步骤s2)。
接下来，响应控制部23使用讲话理解模型201来理解讲话(步骤s3)。具体而言，响应控制部23使用讲话理解模型201，根据特征量212来生成讲话意图信息213。
接下来，响应控制部23使用响应内容db202以及响应形式db203来控制响应(步骤s4)。具体而言，响应控制部23使用响应内容db202以及响应形式db203，根据特征量212以及讲话意图信息213来确定响应形式214。
接下来，响应控制部23使用响应生成模型204，根据响应形式214来生成响应句子215(步骤s5)。通过输出控制部25输出利用步骤s5的处理生成的响应句子215。
接下来，说明第一实施方式的验证方法。
<验证方法>
图7是示出第一实施方式的验证方法的例子的流程图。首先，受理部11从工作人员受理动作验证用响应数据(步骤s21)。接下来，受理部11从工作人员受理动作验证用状况数据(步骤s22)。
接下来，判定部12计算通过步骤s22的处理受理到的动作验证用状况数据、和在存储部13中存储的数据集101-k(1≤k≤n，n以及k是1以上的整数)中包含的状况数据103-k的类似度(第一类似度)(步骤s23)。
接下来，判定部12判定通过步骤s23的处理计算出的类似度是否为阈值以上(步骤s24)。在类似度是阈值以上的情况下(步骤s24，“是”)，判定部12从存储部13读出与类似度是阈值以上的状况数据103关联起来的响应数据102(步骤s25)。在类似度并非阈值以上的情况下(步骤s24，“否”)，处理进入到步骤s26。
接下来，判定部12判定是否判定了在存储部13中存储的所有数据集101-k(步骤s26)。在未判定所有数据集101-k的情况下(步骤s26，“否”)，处理返回到步骤s23。
在判定了所有数据集101-k的情况下(步骤s26，“是”)，构筑部14构筑响应内容db202(步骤s27)，该响应内容db202包括通过步骤s21的处理受理到的动作验证用响应数据和通过步骤s25的处理读出的响应数据102。
接下来，受理部22从验证者受理讲话数据(步骤s28)。接下来，响应控制部23使用讲话理解模型201、响应内容db202以及响应形式db203进行上述响应控制处理，从而确定响应形式(步骤s29)。
接下来，生成部24使用响应生成模型204，根据通过步骤s29的响应控制处理确定的响应形式，生成响应句子(步骤s30)。接下来，输出控制部25输出通过步骤s30的处理生成的响应句子(步骤s31)。
接下来，响应控制部23判定与讲话数据对应的对话是否结束(步骤s32)。判定对话的结束的方法可以任意。例如在包括通过步骤s21的处理输入的动作验证用响应数据的响应形式被生成的情况下，响应控制部23判定为对话结束。另外，例如在包括通过步骤s25的处理读出的响应数据102的响应形式被生成的情况下，响应控制部23判定为对话结束。
在对话未结束的情况下(步骤s32，“否”)，处理返回到步骤s28。在对话结束的情况下(步骤s32，“是”)，结束处理。
接下来，使用图8以及图9，说明第一实施方式的验证例。
<验证例>
在图8以及图9的例子中，说明对话系统200是检索处于购物中心的多个店铺以及在该店铺中出售的多个商品的系统的情况。
图8是用于说明第一实施方式的验证系统100的验证例1的图。在图8的例子中，工作人员以及验证者是处于购物中心内的鞋店a的店员。动作验证用响应数据表示5月的鞋店a促销信息。动作验证用状况数据表示5月促销的对象期间。在数据集101中，作为响应数据102，包括24件其它店铺的5月促销信息，作为状况数据103，包括24件其它店铺的5月促销的对象期间。
在第一实施方式的对话系统200中，不仅5月的鞋店a促销信息包含于响应内容db202，24件其它店铺的5月促销信息也包含于响应内容db202。第一实施方式的对话系统200通过使用该响应内容db202，能够实现从多个竞争的促销信息中缩减到鞋店a的促销信息的对话。
由此，如图8的右侧的对话的例子那样，能够更容易地实现与实际利用对话系统200(对话引擎)的状况匹配地验证该对话系统200的动作。
另一方面，在现有的对话系统300中，如图8的左侧的对话的例子那样，仅根据“促销”这样的信息立即提示鞋店a的信息。但是，实际上，例如在黄金周期间中其它店铺也进行促销的情形较多。现有的对话系统300如果不通过检索多个促销信息来进行缩减，则应该得不到鞋店a的信息。
这样，现有的对话系统300进行与实际上使用时的状况大幅不同的举动。因此，无法与实际利用对话系统300(对话引擎)的状况匹配地验证该对话系统300的动作。
图9是用于说明第一实施方式的验证系统100的验证例2的图。在图9的例子中，工作人员以及验证者是处于购物中心的女装区的商店c的店员。动作验证用响应数据表示商店c的女装追加信息。动作验证用状况数据表示设置对话系统200的女装区的场所。在数据集101中，作为响应数据102，包括一般服装新产品信息以及女装新产品信息，作为状况数据103，包括一般服装区的场所以及女装区的场所。
在第一实施方式的对话系统200中，不仅女装追加信息包含于响应内容db202，处于与商店c相同的女装区的店铺的女装新产品信息也包含于响应内容db202。但是，一般服装新产品信息是一般服装区的店铺的信息，所以不包含于响应内容db202。
第一实施方式的对话系统200通过使用该响应内容db202，在验证时还能够确认反映事先信息的情形，该事先信息例如在女装区中容易收到关于女装的查询。由此，如图9的右侧的对话的例子那样，能够更容易地实现与实际利用对话系统200(对话引擎)的状况匹配地验证该对话系统200的动作。
另一方面，在现有的对话系统300中，无法考虑与场所有关的信息来验证动作，所以如图9的左侧的对话的例子那样，按照最基本的方针进行对话。在现有的对话系统300中，在验证时无法确认反映在女装区中容易收到关于女装的查询这样的事先信息的情形。因此，无法与实际利用对话系统300(对话引擎)的状况匹配地验证该对话系统300的动作。
如以上说明，在第一实施方式的验证系统100中，存储控制部将能够在一个以上的响应句子的生成中使用的响应数据102(第一响应数据)和表示使用响应数据102的状况的状况数据103(第一状况数据)关联起来存储到存储部13。受理部11(第一受理部)受理在一个以上的响应句子的生成中使用的动作验证用响应数据(第二响应数据)。判定部12判定表示使用动作验证用响应数据的状况的动作验证用状况数据(第二状况数据)和状况数据102的类似度(第一类似度)。构筑部14构筑包括动作验证用响应数据和与类似度是阈值(第一阈值)以上的状况数据103关联起来的响应数据102的响应内容db202(响应内容信息)。受理部22(第二受理部)受理表示由用户做出的讲话的讲话数据。生成部24使用响应内容db202来生成与讲话数据对应的响应句子。并且，输出控制部25输出一个以上的响应句子。
由此，根据第一实施方式的验证系统100，能够更容易地实现与利用对话引擎(对话系统200)的状况匹配地验证对话引擎的动作。
(第一实施方式的变形例1)
接下来，说明第一实施方式的变形例1。在第一实施方式的变形例1的说明中，省略与第一实施方式同样的说明，说明与第一实施方式的不同之处。
在第一实施方式的说明中，说明了构筑部14与利用对话系统200的状况匹配地构筑响应内容db202的情况。在第一实施方式的变形例1中，构筑部14与利用对话系统200的状况匹配地构筑响应形式db203。
存储部13将响应形式和表示使用该响应形式的状况的状况数据(第三状况数据)关联起来存储。
判定部12判定动作验证用状况数据(第二状况数据)和第三状况数据的类似度(第二类似度)。
构筑部14构筑包括一个以上的响应形式的响应形式db203，该响应形式与第二类似度是第二阈值以上的第三状况数据被关联起来。构筑部14将响应形式db203存储到存储部21。
响应控制部23使用响应形式db203，根据上述讲话意图信息确定响应形式。
生成部24使用由响应控制部23确定的响应形式，生成与讲话数据对应的响应句子。
如以上说明，在第一实施方式的变形例1中，构筑与利用对话系统200的状况对应的响应形式db203。由此，即使讲话意图信息相同，响应控制部23也能够确定与利用对话系统200的状况对应的不同的响应形式。
根据第一实施方式的变形例1，与第一实施方式的情况同样地，能够更容易地实现与利用对话引擎(对话系统200)的状况匹配地验证对话引擎的动作。
(第一实施方式的变形例2)
接下来，说明第一实施方式的变形例2。在第一实施方式的变形例2的说明中，省略与第一实施方式同样的说明，说明与第一实施方式的不同之处。
在第一实施方式的说明中，说明了构筑部14与利用对话系统200的状况匹配地构筑响应内容db202的情况。在第一实施方式的变形例2中，响应控制部23使用与利用对话系统200的状况匹配的讲话理解模型201来确定响应形式。
存储部13将讲话理解模型201和表示使用该讲话理解模型201的状况的状况数据(第四状况数据)关联起来存储。
判定部12判定动作验证用状况数据(第二状况数据)和第四状况数据的类似度(第三类似度)。判定部12将与第三类似度是阈值(第三阈值)以上的第四状况数据关联起来的讲话理解模型201存储到存储部21。
响应控制部23根据从由判定部12存储到存储部21的讲话理解模型201得到的讲话意图信息，确定响应形式。
生成部24使用由响应控制部23确定的响应形式，生成与讲话数据对应的响应句子。
如以上说明，在第一实施方式的变形例2中，使用与利用对话系统200的状况对应的讲话理解模型201。由此，即使讲话数据相同，响应控制部23也能够通过与利用对话系统200的状况对应的不同的讲话意图信息，推测讲话的意图。
根据第一实施方式的变形例2，与第一实施方式的情况同样地，能够更容易地实现与利用对话引擎(对话系统200)的状况匹配地验证对话引擎的动作。
(第一实施方式的变形例3)
接下来，说明第一实施方式的变形例3。在第一实施方式的变形例3的说明中，省略与第一实施方式同样的说明，说明与第一实施方式的不同之处。
在第一实施方式的说明中，说明了构筑部14与利用对话系统200的状况匹配地构筑响应内容db202的情况。在第一实施方式的变形例3中，生成部24使用与利用对话系统200的状况匹配的响应生成模型204，来生成与讲话数据对应的响应句子。
存储部13将在一个以上的响应句子的生成中使用的响应生成模型204和表示使用响应生成模型204的状况的状况数据(第五状况数据)关联起来存储。
判定部12判定动作验证用状况数据(第二状况数据)和第五状况数据的类似度(第四类似度)。判定部12将与第四类似度是阈值(第四阈值)以上的第四状况数据关联起来的响应生成模型204存储到存储部21。
生成部24使用由判定部12存储到存储部21的响应生成模型204，生成与讲话数据对应的响应句子。
如以上说明，在第一实施方式的变形例3中，使用与利用对话系统200的状况对应的响应生成模型204。由此，即使从响应控制部23输入的响应形式相同，生成部24也能够生成与利用对话系统200的状况对应的不同的响应句子。
根据第一实施方式的变形例3，与第一实施方式的情况同样地，能够更容易地实现与利用对话引擎(对话系统200)的状况匹配地验证对话引擎的动作。
上述第一实施方式以及变形例1～3也可以组合实施。例如，在动作验证用状况数据包括表示面向孩子的信息(例如表示年龄小于10岁以及玩具卖场的场所的信息等)的情况下，也可以使用包括面向孩子单词(词汇)的讲话理解模型201、包括玩具的信息的响应内容db202、以及生成易于亲近的响应句子的响应生成模型204。由此，能够更容易地实现与利用对话引擎(对话系统200)的状况匹配地验证对话引擎的动作。
另外，例如在动作验证用状况数据包括表示举行正式活动的场所的信息的情况下，也可以使用如下响应形式db203和响应生成模型204，该响应形式db203包括用于通过一边一个一个礼貌性地确认一边响应来推进对话的响应形式，该响应生成模型204用于生成包括礼貌性的语言方式的响应句子。
另外，例如在动作验证用状况数据包括表示以富裕阶层为对象的信息的情况下，也可以使用包括面向富裕阶层的单词的讲话理解模型201、包括品牌商品的信息的响应内容db202、以及生成尊敬的响应句子的响应生成模型204。
(第二实施方式)
接下来，说明第二实施方式。在第二实施方式的说明中，省略与第一实施方式同样的说明，说明与第一实施方式的不同之处。
[功能结构的例子]
图10是示出第二实施方式的验证系统100的功能结构的例子的图。第二实施方式的验证系统100具备受理部11、判定部12、存储部13、构筑部14、推测部15以及对话系统200。第二实施方式的验证系统100在第一实施方式的验证系统100的功能结构中还追加有推测部15。
推测部15根据动作验证用响应数据(第二响应数据)来推测动作验证用状况数据(第二状况数据)。推测方法可以任意。推测部15例如也可以通过将动作验证用响应数据的一部分作为动作验证用状况数据抽出来推测。另外，例如推测部15也可以使用规则以及统计模型等，根据动作验证用响应数据来推测动作验证用状况数据。
图11是示出第二实施方式的推测部15的推测例的图。图11的例子示出动作验证用响应数据是黄金周的促销信息的情况。黄金周的促销信息包括表示期间的信息(4/29-5/5)、表示店名的信息(家电零售店d)以及表示内容的信息(玩偶30％折扣)。
表示期间的信息包含于动作验证用响应数据和动作验证用状况数据这两方。推测部15例如通过从动作验证用响应数据抽出表示期间的信息，推测动作验证用状况数据的表示期间的信息(4/29-5/5)。
另外，例如推测部15使用家电零售店d的玩具卖场处于3层的东区这样的规则，根据表示店名的信息和表示内容的信息，推测动作验证用状况数据的表示场所的信息(3f玩具区)。
另外，例如推测部15使用玩偶的主要的目标是女孩这样的规则，根据表示内容的信息，推测动作验证用状况数据的表示对象的信息(女性及孩子)。
如以上说明，在第二实施方式的验证系统100中，即使受理部11未从工作人员受理到动作验证用状况数据，也能够通过推测部15推测该动作验证用状况数据。由此，根据第二实施方式的验证系统100，与第一实施方式的验证系统100同样地，能够更容易地实现与利用对话引擎(对话系统200)的状况匹配地验证对话引擎的动作。
(第三实施方式)
接下来，说明第三实施方式。在第三实施方式的说明中，省略与第一实施方式同样的说明，说明与第一实施方式的不同之处。
在第三实施方式中，说明修正由构筑部14构筑的响应内容db202的情况。
[功能结构的例子]
图12是示出第三实施方式的验证系统100的功能结构的例子的图。第三实施方式的验证系统100具备受理部11、判定部12、存储部13、构筑部14、判定部16、修正部17、存储部18以及对话系统200。第三实施方式的验证系统100在第一实施方式的验证系统100的功能结构中还追加有判定部16、修正部17以及存储部18。
判定部16判定响应内容db202是否适当。例如在响应内容db202中包含的数据的数量是阈值(第五阈值)以上的情况下，判定部16判定为该响应内容db202是适当的。
存储部18(存储控制部)存储虚拟数据集104-1～虚拟数据集104-m(m是1以上的整数)。
虚拟数据集104-1包括虚拟响应数据105-1以及虚拟状况数据106-1。虚拟数据集104-1～虚拟数据集104-m的说明相同，所以以虚拟数据集104-1为例子进行说明。
虚拟响应数据105-1表示虚拟的响应数据。虚拟响应数据105-1例如是过去使用过的响应数据102的副本。另外，例如虚拟响应数据105-1是虚构的响应数据。
虚拟状况数据106-1表示使用虚拟响应数据105-1的状况。虚拟状况数据106-1例如包括表示期间的信息、表示场所的信息、表示年龄的信息、表示性别的信息、表示价格的信息、表示种类的信息以及表示喜好的信息中的至少一个。虚拟状况数据106-1的数据形式可以任意。虚拟状况数据106-1例如是表示使用虚拟响应数据105-1的状况的参数。
以下，在不区分虚拟数据集104-1～虚拟数据集104-m的情况下，简称为虚拟数据集104。同样地，在不区分虚拟响应数据105-1～虚拟响应数据105-m的情况下，简称为虚拟响应数据105。同样地，在不区分虚拟状况数据106-1～虚拟状况数据106-m的情况下，简称为虚拟状况数据106。
在响应内容db202中包含的数据的数量是第五阈值以下的情况下，修正部17判定动作验证用状况数据(第二状况数据)和虚拟状况数据106的类似度(第五类似度)。修正部17通过将与第五类似度是阈值(第五阈值)以上的虚拟状况数据106关联起来的虚拟响应数据105追加到响应内容db202，修正响应内容db202。修正部17将修正后的响应内容db202存储到存储部21。
此外，上述存储部13以及18也可以实现为一个存储部。同样地，上述判定部12以及16也可以实现为一个判定部。
接下来，说明第三实施方式的验证方法。
<验证方法>
图13是示出第三实施方式的验证方法的例子的流程图。步骤s41～步骤s47的说明与第一实施方式的验证方法的步骤s21～步骤s27(参照图7)的说明相同，所以省略。
判定部16判定响应内容db202是否适当(步骤s47-2)。判定部16例如判定在响应内容db202中包含的数据的数量是否为阈值(第五阈值)以上。
在响应内容db202不适当的情况下(步骤s47-2，“否”)，修正部17修正响应内容db202(步骤s47-3)。具体而言，修正部17判定动作验证用状况数据(第二状况数据)和虚拟状况数据106的类似度(第五类似度)。然后，修正部17通过将与第五类似度是阈值(第五阈值)以上的虚拟状况数据106关联起来的虚拟响应数据105追加到响应内容db202，修正响应内容db202。
在响应内容db202适当的情况下(步骤s47-2，“是”)，处理进入到步骤s48。
步骤s48～步骤s52的说明与第一实施方式的验证方法的步骤s28～步骤s32(参照图7)的说明相同，所以省略。
根据第三实施方式的验证系统100，即使在存储部13中存储的数据集101的数量不充分的情况下，也能够与实际利用对话系统200(对话引擎)的状况匹配地验证对话系统200的动作。
例如，在上述图8的验证例1中，在5月促销信息不充分的情况下，如图8的左侧的对话的例子那样，对话在一次交互中结束。但是，在第三实施方式中，通过使用虚拟数据集104，与实际利用对话系统200时同样地，能够实现从多个竞争的促销信息中缩减到鞋店a的促销信息的对话。
最后，说明第一至第三实施方式的验证系统100的硬件结构的例子。
[硬件结构的例子]
图14是示出第一至第三实施方式的验证系统100的硬件结构的例子的图。第一至第三实施方式的验证系统100具备控制装置301、主存储装置302、辅助存储装置303、麦克风304、显示装置305、输入装置306、通信装置307以及扬声器308。控制装置301、主存储装置302、辅助存储装置303、麦克风304、显示装置305、输入装置306、通信装置307以及扬声器308经由总线310连接。
控制装置301执行从辅助存储装置303读出到主存储装置302的程序。控制装置301例如是cpu等一个以上的处理器。主存储装置302是rom(readonlymemory，只读存储器)以及ram(randomaccessmemory，随机存取存储器)等存储器。辅助存储装置303是存储卡以及hdd(harddiskdrive，硬盘驱动器)等。
麦克风304受理语音的输入。麦克风304例如受理表示讲话数据的语音的输入。
显示装置305显示信息。显示装置305例如是液晶显示器。输入装置306受理信息的输入。输入装置306例如是键盘以及鼠标等。此外，显示装置305以及输入装置306也可以是兼具显示功能和输入功能的液晶触摸面板等。
通信装置307与其它装置进行通信。扬声器308输出语音。扬声器308例如输出表示响应句子的语音。
在第一至第三实施方式的验证系统100中执行的程序以可安装的形式或者可执行的形式的文件被存储于cd-rom、存储卡、cd-r以及dvd(digitalversatiledisc，数字通用光盘)等计算机可读取的存储介质来提供为计算机程序产品。
另外，也可以构成为将在第一至第三实施方式的验证系统100中执行的程序储存到与因特网等网络连接的计算机上，通过经由网络下载来提供。另外，也可以构成为将第一至第三实施方式的验证系统100执行的程序经由因特网等网络来提供而不下载。
另外，也可以构成为将在第一至第三实施方式的验证系统100中执行的程序预先组装到rom等来提供。
在第一至第三实施方式的验证系统100中执行的程序为包括第一至第三实施方式的验证系统100的功能结构中的能够利用程序实现的功能的模块结构。
利用程序实现的功能通过控制装置301从辅助存储装置303等存储介质读出程序并执行而被载入到主存储装置302。即，在主存储装置302上生成利用程序实现的功能。
此外，也可以利用ic(integratedcircuit，集成电路)等硬件实现第一至第三实施方式的验证系统100的功能的一部分。ic例如是执行专用的处理的处理器。
另外，在使用多个处理器来实现各功能的情况下，各处理器既可以实现各功能中的一个，也可以实现各功能中的两个以上。
另外，第一至第三实施方式的验证系统100的动作方式可以任意。也可以使第一至第三实施方式的验证系统100例如作为网络上的云系统动作。
另外，上述第一至第三实施方式的验证系统100既可以利用一台计算机实现，也可以利用多个计算机实现。
虽然说明了本发明的几个实施方式，但这些实施方式仅作为例示而提示，并不意图限定发明的范围。这些新的实施方式能够以其它各种方式实施，能够在不脱离发明的要旨的范围内进行各种省略、替换、变更。这些实施方式、其变形包含于发明的范围、要旨，并且包含于权利要求书记载的发明和其均等的范围。
例如，在第一实施方式的验证系统100中，说明了构筑部14使用根据动作验证用状况数据和状况数据103的类似度读出的响应数据102来构筑响应内容db202的情况。然而，构筑部14也可以使用在存储部13中存储的所有响应数据102来构筑响应内容db202。另外，响应控制部23也可以参照动作验证用状况数据来确定从该响应内容db202选择的数据。
此外，能够将上述实施方式归纳为以下的技术方案。
技术方案1
一种验证系统，具备：
存储控制部，将能够在一个以上的响应句子的生成中使用的第一响应数据和表示使用所述第一响应数据的状况的第一状况数据关联起来存储到存储部；
第一受理部，受理在所述一个以上的响应句子的生成中使用的第二响应数据；
判定部，判定表示使用所述第二响应数据的状况的第二状况数据和所述第一状况数据的第一类似度；
构筑部，构筑包括所述第二响应数据和与所述第一类似度是第一阈值以上的所述第一状况数据关联起来的所述第一响应数据的响应内容信息；
第二受理部，受理表示由用户做出的讲话的讲话数据；
生成部，使用所述响应内容信息来生成与所述讲话数据对应的所述响应句子；以及
输出控制部，输出所述一个以上的响应句子。
技术方案2
在技术方案1记载的验证系统中，
所述第一受理部还受理所述第二状况数据。
技术方案3
在技术方案1记载的验证系统中，
还具备推测部，该推测部根据所述第二响应数据来推测所述第二状况数据。
技术方案4
在技术方案1记载的验证系统中，
所述第一状况数据以及所述第二状况数据包括表示期间的信息、表示场所的信息、表示年龄的信息、表示性别的信息、表示价格的信息、表示种类的信息以及表示喜好的信息中的至少一个。
技术方案5
在技术方案1记载的验证系统中，
还具备响应控制部，该响应控制部确定与表示所述讲话数据的意图的讲话意图信息对应的表示响应句子的形式的响应形式，
所述存储控制部还将所述响应形式和表示使用所述响应形式的状况的第三状况数据关联起来存储到所述存储部，
所述判定部还判定所述第二状况数据和所述第三状况数据的第二类似度，
所述构筑部构筑包括所述一个以上的响应形式的响应形式信息，该响应形式与所述第二类似度是第二阈值以上的所述第三状况数据被关联起来，
所述响应控制部使用所述响应形式信息，根据所述讲话意图信息确定所述响应形式，
所述生成部使用由所述响应控制部确定的所述响应形式，生成与所述讲话数据对应的所述响应句子。
技术方案6
在技术方案5记载的验证系统中，
所述响应形式包括询问形式、确认形式以及提案形式中的至少一个。
技术方案7
在技术方案1记载的验证系统中，
还具备响应控制部，该响应控制部确定与表示所述讲话数据的意图的讲话意图信息对应的表示响应句子的形式的响应形式，
所述存储控制部还将讲话理解信息以及表示使用所述讲话理解信息的状况的第四状况数据关联起来存储到所述存储部，在该讲话理解信息中表示单词的特征的特征量和所述讲话意图信息被关联起来，
所述判定部还判定所述第二状况数据和所述第四状况数据的第三类似度，
所述响应控制部根据所述讲话意图信息来确定所述响应形式，该讲话意图信息是从与所述第三类似度是第三阈值以上的所述第四状况数据关联起来的所述讲话理解信息得到的。
技术方案8
在技术方案1记载的验证系统中，
所述存储控制部还将在所述一个以上的响应句子的生成中使用的响应生成信息和表示使用所述响应生成信息的状况的第五状况数据关联起来存储到所述存储部，
所述判定部还判定所述第二状况数据和所述第五状况数据的第四类似度，
所述生成部使用与所述第四类似度是第四阈值以上的所述第五状况数据关联起来的所述响应生成信息，生成与所述讲话数据对应的所述响应句子。
技术方案9
在技术方案1记载的验证系统中，
所述存储控制部还将能够在所述一个以上的响应句子的生成中使用的虚拟响应数据和表示使用所述虚拟响应数据的状况的虚拟状况数据关联起来存储到所述存储部，
所述验证系统还具备修正部，在所述响应内容信息中包含的数据的数量是第五阈值以下的情况下，该修正部判定所述第二状况数据和所述虚拟状况数据的第五类似度，将与所述第五类似度是第五阈值以上的所述虚拟状况数据关联起来的所述虚拟响应数据追加到所述响应内容信息，从而修正所述响应内容信息。
技术方案10
一种验证方法，包括如下步骤：
将能够在一个以上的响应句子的生成中使用的第一响应数据和表示使用所述第一响应数据的状况的第一状况数据关联起来存储到存储部；
受理在所述一个以上的响应句子的生成中使用的第二响应数据；
判定表示使用所述第二响应数据的状况的第二状况数据和所述第一状况数据的第一类似度；
构筑包括所述第二响应数据和所述第一响应数据的响应内容信息，该第一响应数据与所述第一类似度是第一阈值以上的所述第一状况数据被关联起来；
第二受理部受理表示由用户做出的讲话的讲话数据；
使用所述响应内容信息来生成与所述讲话数据对应的所述响应句子；以及
输出所述一个以上的响应句子。
技术方案11
一种记录有程序的计算机可读取的记录介质，该程序发挥功能为：
存储控制部，将能够在一个以上的响应句子的生成中使用的第一响应数据和表示使用所述第一响应数据的状况的第一状况数据关联起来存储到存储部；
第一受理部，受理在所述一个以上的响应句子的生成中使用的第二响应数据；
判定部，判定表示使用所述第二响应数据的状况的第二状况数据和所述第一状况数据的第一类似度；
构筑部，构筑包括所述第二响应数据和所述第一响应数据的响应内容信息，该第一响应数据与所述第一类似度是第一阈值以上的所述第一状况数据被关联起来；
第二受理部，受理表示由用户做出的讲话的讲话数据；
生成部，使用所述响应内容信息来生成与所述讲话数据对应的所述响应句子；以及
输出控制部，输出所述一个以上的响应句子。