服务提供系统的制作方法

文档序号:6454213阅读:140来源:国知局
专利名称:服务提供系统的制作方法
技术领域
本发明涉及一种向用户提供信息或服务的技术。更具体而言,本发明 涉及在学习中即便用户没有输入回答,也能够以脑波等生物体信息为指 标,识别出用户选择了哪个选择项,从而选择性向用户提供恰当的信息或 服务的设备、方法及在这样的设备中执行的计算机程序。
背景技术
以往,提出问题后接受用户的回答输入来提示正误评价等信息的学习 系统在不断开发。这些学习系统中,在用户的回答输入的基础上,根据与 回答有关的信息(例如由用户选择的下一次提出的问题的等级与领域)实 现了高效的学习支援。
例如,专利文献l公开了一种对回答所需要的时间进行计测,来针对 在规定时间内用户没能回答的问题进行提示的学习系统。在该学习系统 中,除了测试的得分结果之外,还根据线索的提示次数和提示了线索的问 题的难易度,对下一次提出的问题进行变更。
而且,专利文献2公开了一种当输入了问题等级等条件时,会自动选 择练习问题的学习系统。该学习系统中,在学习时以调查方式收集作为用 户针对各问题的主观评价的自信度,根据该自信度和回答的正误结果,来 判定用户的理解度。然后,根据所推定的用户的理解度,对练习问题进行
选择出题。
另外,专利文献3公开了一种利用用户的生物体信号的学习系统。在 该学习系统中,为了维持用户的学习欲望、提高学习效率,根据皮肤阻抗 或脉搏等生物体信号来判定学习时的觉悟度和压力程度,并对应测试的得 分结果,选择不使用户的学习欲望降低那样的问题。
专利文献l:日本国特开2002—221893号公报
专利文献2:国际公开第2003/050782号公开文本专利文献3:日本国特开平10—78743号公报
为了利用专利文献1 3中记载的学习系统进行学习支援,用户的回 答输入是必须的。因此,这样的学习系统是以在用户能够回答输入的状况 下(例如在屋内就坐的姿势)使用为前提的。结果,例如在电车内那样的、 双手被占用而难以回答输入的状况下,存在着学习系统的学习支援不能发 挥功能的课题。
另一方面,随着近年来便携尺寸的显示器(移动电话、游戏机、ODA 等)的普及,任何地点、任何时间都想要学习的用户需求在不断提高。

发明内容
本发明的目的在于,提供一种即使没有用户的回答输入、也能够对用 户进行学习支援的系统。更具体而言,本发明的目的在于,提供一种利用 学习时用户的事件相关电位,在没有用户的回答输入的情况下,通过判定 用户针对哪个选择项认为是正解,从而也能够实现与有回答输入时同样的 学习支援的系统。
本发明的服务提供系统具备向用户提示问题、进而依次提示多个选
择项作为所述问题的解答候补的输出部;对用户的脑波的事件相关电位进
行计测的信号检测部;和根据提示了各选择项之后的规定期间中的所述事 件相关电位,判定用户是否认为所述各选择项是正解的判定部。
所述判定部在以从提示了所述各选择项的时刻起算约350毫秒 450 毫秒的期间作为所述规定期间的情况下,判定用户是否认为所述各选择项
是正解。
所述服务提供系统还具备按照与所述问题建立对应的方式蓄积判定 结果的结果蓄积数据库;和根据所述判定结果从多个问题之中选择向用户 提示的问题的选择部也可。
所述服务提供系统还具备用于存储所述多个问题及作为各问题的解 答候补的多个选择项的数据库,所述选择部参照所述数据库,选择向用户 提示的问题及所述多个选择项也可。
所述服务提供系统还具备存储了规定的问题、和针对所述规定问题 的正解选择项及非正解选择项的数据库;和参照所述数据库选择所述问题、将所述正解选择项及所述非正解选择项按任意顺序选择且发送给所述 输出部的选择部,在服务提供系统的起动开始时或接收到来自所述用户的 指示时,所述判定部根据所述正解选择项提示后的事件相关电位及所述非 正解选择项提示后的事件相关电位,执行与所述用户认为是正解相关联的 事件相关电位的校准化。
所述服务提供系统还具备时刻控制部,其根据提示各选择项之前的规 定期间中的所述事件相关电位,判定所述用户是否处于准备状态,且根据 判定结果来指示下一个选择项的选择和输出。
在所述判定部判定为用户认为被提示的选择项是正解时,所述输出部 不提示作为所述问题的解答候补被剩余的选择项。
在所述数据库中,所述多个选择项中的至少一个表示了针对所述问题 的正解,在所述判定部判定为用户认为被提示的选择项是正解时,进一步 判定所述被提示的选择项与所述正解的选择项是否一致,当是一致时,所 述输出部不提示作为所述问题的解答候补被剩余的选择项。
所述判定部在判定为用户认为被提示的选择项是正解时提示所述正 解的选择项。
所述判定部在根据所述事件相关电位检测到所述事件相关电位中混 入了噪声时,中止是否用户认为被提示的选择项是正解的判定,所述输出 部再次提示所述选择项。
在将所述多个选择项的个数设为n时,所述选择部在第(n/2)项或第 (n/2)项之前提示正解的选择项。
所述判定部预先保持有阈值,所述阈值是在针对规定的问题判定为用 户认为是正解的选择项提示后的300毫秒至500毫秒的时间段中的事件相 关电位的平均电位、与判断为认为不是正解的所述时间段中的相关电位的 平均电位之间所包含的值,所述判定部将所述阈值、与所述时间段中的所 述事件相关电位的平均电位进行比较,在所述平均电位大于所述阈值时, 判定为用户认为是正解;当是小之际,判定为不认为是正解。
所述判定部保持有根据针对规定的问题判定为用户认为是正解的选 择项提示后的300毫秒至500毫秒的时间段中的事件相关电位的平均电位 而预先制成的第一数据组、和根据判断为认为不是正解的所述时间段中的位的平均电位而预先制成的第二数值组,所述判定部将所述时 间段中的所述事件相关电位的平均值与第一数值组的第一马氏距离、及所 述平均电位与第二数值组的第二马氏距离进行比较,当所述第一马氏距离 比所述第二马氏距离短时,判定为用户认为是正解,而当长之际判定为用 户不认为是正解。
所述判定部保持有根据针对规定的问题判定为用户认为是正解的选
择项提示后的300毫秒至500亳秒的时间段中的事件相关电位的平均电位
而预先制成的第一模板、和根据判断为认为不是正解的所述时间段中的事 件相关电位的平均电位而预先制成的第二模板,所述判定部将所述时间段 的事件相关电位的波形值与第一模板的第一相关系数、及所述波形值与第 二模板的第二相关系数进行比较,在第一相关系数大于所述第二相关系数
时,判定为用户认为是正解;当小之际,判定为用户不认为是正解。
所述判定部保持有与多个选择项的每一个对应的事件相关电位的平 均值,判定为用户认为平均值最大的选择项是正解。
所述判定部判定为用户认为多个选择项的每一个所对应的事件相关 电位中的、与所述第一数值组的马氏距离最短的选择项是正解。
所述判定部判定为用户认为多个选择项的每一个所对应的事件相关 电位中的、第一相关系数最大的选择项是正解。
本发明的出题方法包括向用户提示问题的步骤;依次提示多个选择 项作为所述问题的解答候补的步骤;对用户的脑波的事件相关电位进行计 测的步骤;和根据提示了各选择项后的规定期间中的所述事件相关电位, 判定用户是否认为所述各选择项是正解的步骤。
本发明的计算机程序能够在计算机中执行,所述计算机程序使所述计 算机执行下述步骤介由输出装置向用户提示问题的步骤;依次提示多个 选择项作为所述问题的解答候补的步骤;对用户的脑波的事件相关电位进 行计测的步骤;和根据提示了各选择项后的规定期间中的所述事件相关电 位,判定用户是否认为所述各选择项是正解的步骤。
发明效果
根据本发明,在提示了问题之后,依次提示多个选择项作为该问题的 解答候补。根据在从提示了各选择项的时刻起算规定期间中(例如约350毫秒到450毫秒)的事件相关电位,判定用户是否认为各选择项是正解。 由于根据该期间中的事件相关电位中是否出现了阳性成分,来判定用户是 否认为各选择项是正解,所以,不需要用户输入回答。因此,例如像电车 中学习那样,在难以回答输入的状况、或不进行回答输入的学习中,也能 够实现与有回答输入时同样的可进行学习支援的学习系统,极大地扩大了 学习系统的可利用状况及利用方法。


图1是表示实施方式1所涉及的服务提供系统1的构成例的图。
图2是表示本实施方式所涉及的服务提供系统1的功能框图的构成图。
图3 (a)及(b)是表示与问题DB203中蓄积的问题相关的数据的具 体例的图。
图4是表示用于计算马氏距离(Mahalanobis distance)的基准表210 的例子的图。
图5是表示结果蓄积Db204的数据结构的一个例子的图。
图6是表示提示问题选择规则表211的数据结构的一个例子的图。
图7是表示提示问题选择规则表211的数据结构的另一个例子的图。
图8是表示服务提供系统1的处理步骤的流程图。
图9是表示实施方式2所涉及的服务提供系统2的功能框图的构成图。
图10是表示实施方式2所涉及的服务提供系统2的处理步骤的流程图。
图11是表示实施方式3所涉及的服务提供系统3的功能框图的构成图。
图12是表示实施方式3所涉及的服务提供系统3的第一处理步骤的 流程图。
图13是表示实施方式3所涉及的服务提供系统3的第二处理步骤的 流程图。
图14是表示实施方式3所涉及的服务提供系统3的第三处理步骤的
流程图。图15是表示实施方式4所涉及的服务提供系统4的功能框图的构成图。
图16是表示与设备操作DB703中蓄积的问题相关的数据的具体例的图。
图17是表示实施方式4所涉及的服务提供系统4的处理步骤的流程图。
图18是表示实验步骤的概要的图。
图19是表示一个问题份的实验步骤的流程图。
图20是表示用于对被验者的脑波进行测定的电极的粘贴位置的图。
图21是表示作为实验结果而得到的事件相关电位的波形图。
图22是表示利用了阈值的选择项的判别处理al的步骤的流程图。
图23是表示利用了马氏距离的选择项的判别处理a2的步骤的流程图。
图24是表示利用了相关系数的选择项的判别处理b的步骤的流程图。 图25是表示利用了事件相关电位的平均值的、选择项的判别处理c 的步骤的流程图。
图中1 4一服务提供系统,10 13 —服务提供装置,100 —生物体 信号检测部,IOI —输出部,200、 600、 700 —用户状态判定部,201—提 示问题选择部,202、 302、 601—提示选择项选择部,203 —问题DB, 204 一结果蓄积DB, 205 208—选择部,300 —CPU, 301—RAM, 400 —程 序,500 —提示定时控制部,701—提示问题选择部,702—提示选择项选 择部,703 —设备动作DB, 800—设备动作控制部。
具体实施例方式
下面参照附图,对本发明的服务提供系统及装置的实施方式进行说明。
本申请的发明者们发现在逐次提出了选择式问题的选择项时,与用
户是否认为该选择项是正解相关联,以选择项提出时刻为起点,在约400ms (毫秒)的事件相关电位中出现特征。而且发现了根据事件相关电位中
出现的特性,能够在没有用户的回答输入的情况下判定用户认为是正解的
11选择项。
该"事件相关电位"(event—related potential: ERP)是脑波的一部 分,按照与外在或内在的事件时间性相关联而产生的脑的一时性电位变 动,分别成为外因性成分、内因性成分。外因性成分是依赖于外界的感觉 刺激的被动的、外因性诱发电位,内因性成分是被验者对外界的刺激(事 件)的认知态度(针对课题带动机的程度)得到反映而变动的内因性电位。
下面参照图18 图25,首先针对本申请的发明者们进行的事件相关 电位计测实验进行说明,表示针对逐一提出的选择项用户是否认为是正解 的出现在以选择项提出时刻为起点的约400ms的事件相关电位中。然后, 参照图1 图17,对本发明的实施方式进行说明。
l.事件相关电位的计测实验
图18是表示实验步骤的概要的图。该实验由首先向被验者仅提出问 题(步骤1)、依次提示该问题的回答选择项(步骤2 步骤5)的步骤构 成。如图18中的脑波计测区间中也表示那样,实验中脑波被定期计测。
在实验之前已经向被验者传达了下述的指示。"首先仅向你提出问 题。在针对该问题想象答案之后,请将针对该问题的自信度记入到另一张 纸上,有自信记入4,无自信记入1。在自信度记入结束后,请将视线转 移到固视点,按下空格键。按键一秒之后向你提示选择项A。仔细地(1 秒以上)观察选择项A,将认为选择项A是否是正解的评价记入到另一张 纸上,认为是正解记入O,认为不是正解记入X,不知道的记入一。记入 结束后,请将视线转移到画面上的固视点,按下空格键。按键1秒后,向 你提示选择项B。以下对于选择项B、 C、 D都同样,在进行了是否认为 是正解的评价之后,请按下空格键。问题总共为40问"。其中,向被验 者指示的空格键的按下,是用于决定提示下一个问题或选择项的定时的输 入,不是回答的输入。另外,针对选择项的评价(〇、X、 _),目的在 于以实验方式调查被验者的主观评价和事件相关电位,实际运用时不需 要。
图18中所示的事件相关电位计测区间,示意地表示了从定期计测的 脑波中,以被提示了回答选择项的时刻(图18中时刻22 时刻25)为起 点,来计测事件相关电位的情况。而且,图18中还表示了被验者记入到另一张纸上的、针对问题的自
信度和针对选择项的评价的例子。由于图18中的被验者A高度自信地认 为是正解的选择项为正确答案,所以,可认为其一看到问题即明确知晓正 确答案。由于被验者B虽然自信度低、但认为是正解的选择项为正确答案, 所以,可看作虽然只看了问题的情况下不清楚答案,但认为选择项中有正 解的选择项。由于被验者C自信度低、没有认为是正解的选择项,所以, 可认为即使看了问题、看了选择项也不清楚答案。
接着,对具体的实验步骤进行说明。图19表示一个问题份的实验步 骤。在实验中利用了选择项A 选择项D的4项选择问题。首先在时刻 21,由设备在画面上仅提示问题(S110O 。被检者想象该问题的正解
(51102) ,将针对该问题的正解的自信度以四个阶段记入到另一张纸上
(51103) ,将视线转移到固视点(S1104),按下空格键(S1105)。设 备在时刻22 (按键后1秒)时提示一个选择项(选择项A),同时以提示 的定时为起点来计测事件相关电位(S1106)。其中,假设所提示的选择 项是被验者能够立即认知的内容。被验者观看被提示的选择项,将是否认 为是正解的评价记入到另一张纸上(S1107)。当存在尚未提示的选择项 时,进入到步骤S1104,当没有尚未提示的选择项时结束(S1108),然 后,反复执行步骤S1104 步骤S1108,提示选择项B、选择项C、选择 项D。
图20表示用于对被验者的脑波进行测定的电极的粘贴位置。该粘贴 位置根据国际10—20法,在图20中表示了被验者的鼻子120和左耳121 及右耳122,作为用于明确位置关系的参考。图20中,对距左耳121及右 耳122相等距离、并通过鼻子120的正中线上的电极赋予"z"。
用于测定事件相关电位的电极被粘贴在,1) Fz:正中前头、2) Cz: 正中中心、3) Pz:正中头顶、4) EOG..右眼上、5) 6) Al, A2:两个 耳朵、7)躯体(Z):鼻根部。取样频率设为200Hz,时间常数设为3秒。
在实验数据的分析中使用了 0.05 20Hz的带通滤波器,利用选择项 提示前200mms期间的数据实施了基线(base line)修正。而且,在所有 的频道中,振幅IOOUV以上的试行由于担心因眼球电位(眼電)等引起 的杂音混入,所以从加法运算平均中被排除。图21表示作为实验结果而得到的事件相关电位的波形。该波形通过
以选择项提示时刻为起点对11个被验者的实验数据进行总的加法平均而
获得。图表的横轴是时间(单位ms),将选择项提示时刻设为0ms。而图 表的纵轴是电位,单位为UV。纵轴将上方向表示为负、将下方向表示为正。
图21中记载了三个波形31、 32及33。三个波形是针对在图19所示 的位置Pz处计测的事件相关电位,根据实验中由被验者记入的针对选择 项的评价(认为是正解〇、认为不是正解X、不清楚 一),而分别
进行总的加法运算平均的波形。
波形31 (实线)是被验者被提示了评价为"认为是正解"的选择项时 的总的加法运算平均波形。加法运算次数为256次。
波形32 (单点划线)是被验者被提示了评价为"认为不是正解"的选 择项时的总的加法运算平均波形。加法运算次数为844次。
而波形33 (虚线)是被验者被提示了评价为"不清楚"的选择项时的 总的加法运算平均波形。加法运算次数为275次。
现在,着眼于以选择项提示时刻(Oms)为基准时的、经过约400ms 后的期间30中的波形。其中,本说明书中将期间30设为从Oms开始起算、 从350ms到约450ms的区间。
在期间30中,与"认为是正解"这一评价对应的波形31沿正方向振 动。即,出现了阳性成分。另一方面,在其他的波形32及33中出现了沿 负方向振动的阴性成分。
因此,在期间30中,可理解为波形31、与波形32及33具有明确不 同的特征。为了减少背景脑波的影响,事件相关电位通常需要进行20次 左右的加法运算平均,但由于波形31 波形33的加法运算次数都多,所 以,难以认为该波形的差异是噪声。综合这些结果及考察,可以判断为能 够通过利用从选择项提示起约400ms的事件相关电位来检测出用户针对 选择项是否认为是正解。
根据该实验可以明确,通过被验者针对逐次提示的选择式问题的选择 项是否认为是正解,会在脑波计所计测的事件相关电位的从选择项提示时 刻起约400ms处,出现明确的差异。因此,通过利用该事件相关电位的差异,可以在不输入回答的情况下,判定用户对逐次提示的选择项是否认为 是正解。
另外,图21所示的区间34表示出现了被称为CNV成分的波形成分 的区间。针对CNV成分将在后面叙述。 2.事件相关电位的波形的识别
这里,说明用户针对选择项是否认为是正解的判别方法。由于事件相 关电位的振幅小至背景脑波的十分之一,所以,难以通过单纯对电位波形 的峰值进行阈值处理那样的方法来识别。另一方面,如图21所示,与是 否认为是正解相关联地在事件相关电位中出现的差异,被观测为距选择项 提示时刻400ms的电位差、和波形的形状(认为是正解向下凸,除此之 外向上凸)。因此,以距选择项提示时刻约400ms的平均电位、相关系 数为指标进行判别。下面,参照图22 图25,对用户认为是正解的选择 项的判别方法进行具体说明。
图22表示利用了阈值的选择项的判别处理al的步骤。在判别处理al 中,对距选择项提示时刻约400ms的平均电位执行阈值处理,来进行判别。 下面,针对处理al的各步骤按顺序进行说明。
首先,以选择项提示时刻为起点,进行脑波的电位变化的取样 (S1201)。作为采样频率,例如有200Hz、 500Hz、 1000Hz。
接着,从采样后的电位变化的波形中除去噪声(S1202)。这里,为 了去除信号中混入的低频/高频成分,例如通过0.16—20Hz的带通滤波器, 从识别对象中除去有可能混入眼球电位等噪声的试行(例如在任意的电极 中振幅为100uV以上的试行)。
接着,根据除去了噪声的脑波的电位变化,切出与是否认为是正解的 判别相关的时间段的波形(S1203)。根据上述的实验结果,可知道相关 的时间段是距选择项提示时刻约为400ms。因此,是切出从例如在选择项 提示后300ms起至500ms。当然,切出的范围不限定于此,例如也可以除 去受到针对选择项提示的一次响应影响的选择项提示后200ms,而设定为 从选择项提示后200ms起至700ms。
接着,算出所切出的时间段的波形的每个取样的电位的平均电位 (S1204)。
15然后,将算出的平均电位与阈值进行比较(S1205)。阈值例如可以 是通过算出"认为是正解"及"认为不是正解+不知道(不认为是正解)" 的各自的平均电位、而包含在算出的平均电位之间的值(例如中间值)。 在上述实验之前,根据被验者11个人的"认为是正解"及"认为不是正 解+不知道(不认为是正解)"各自的平均电位而求出的阈值为一0.9liV。
在平均电位大于阈值的情况下(S1205为是),判定为用户认为被提 示的选择项为正解(S1206)。另一方面,在平均电位小于阈值的情况下 (S1205中为否.),判定为用户不认为是正解(S1207)。
在利用了处理al时的"认为是正解"/ "不认为是正解"的判别率为 59%。通过进一步高精度地除去背景脑波和眼球电位等噪声,认为识别率 会提高。
而且,为了更高精度地进行判别,除了如处理al那样单纯地对平均 电位进行阈值处理之外,还能够通过计算所算出的平均电位与以预先制成 的"认为是正解"及"不认为是正解"选择项提示后的平均电位为各自的 组之间的马氏距离、且利用马氏距离来进行判别。
该马氏距离表示在考虑了数据的方差/协方差的状态下距组的重心的 距离。因此,可知利用了马氏距离的判别与单纯通过阈值处理来判别,其 识别能力高。下述数学式l是马氏距离的计算式。
数学式1中的x是计测出的波形的平均电位,U是组的平均电位的重 心,IT'是组的平均电位的协方差矩阵的逆矩阵。D2是计测出的波形的平 均电位与组的马氏距离的平方。
图23表示利用了马氏距离的选择项的判别处理a2的步骤。判别处理 a2在先前的处理al (图22)的基础上,计算马氏距离。以下针对判别处 理a2的各步骤按顺序进行说明。其中,针对与图22进行相同处理的步骤 赋予相同的符号,并省略说明。
计算所算出的平均电位与预先制成的"认为是正解"及"不认为是正解"各自组的马氏距离(S1301),比较计算出的与各自的组的马氏距离 (S1302)。然后,在与"认为是正解"组的距离近的情况下,(步骤S1302 为是),判定为认为是正解(S1206)。另一方面,在与"认为是正解" 组的距离不近的情况下(S1302为否),判定为不认为是正解(S1207)。 在实际应用时,为了制成"认为是正解"及"不认为是正解"各自的 组,可以事先进行准备调査,按用户(学生)群的"认为是正解"及"不 认为是正解"的各个试行算出波形的平均电位,作为"认为是正解"及"不 认为是正解"各自的组(平均电位群)。当然,也可以按每个用户来制成 各自的组。
利用了处理a2时的"认为是正解"/ "不认为是正解"的判别率为61 %。通过进一步高精度地除去背景脑波或眼球电位等噪声,认为识别率会
提咼o
图24表示利用了相关系数的选择项的判别处理b的步骤。在判别处 理b中,计算所预先制成的"认为是正解"模板(正解模板)及"不认为 是正解"模板(非正解模板)分别与和模板对应的时间段的波形的相关系 数,来进行判别。
正解模板及非正解模板都通过切出距选择项提示时刻约400ms的时间 段中的波形而制成。具体而言,切出"认为是正解"的被检者11个人的 事件相关电位的波形,得到总的加法运算平均波形,作为正解模板。另外, 切出"不认为是正解"的被检者11个人的事件相关电位的波形,得到总 的加法运算平均波形,作为非正解模板。
下面,按顺序对处理b的各步骤进行说明。对进行与图22相同处理 的步骤采用相同的符号,并省略说明。
计算被切出的用户的事件相关电位的波形、与正解模板及非正解模板 的相关系数(S1401)。由此,可以得到两个相关系数。其中相关系数的 计算方法与统计学和解析学有关且是众所周知的方法。在本说明书中,省 略了其详细的说明。
接着,比较求出的两个相关系数,在与正解模板的相关度高的情况下 (S1402为是),判定为用户认为是正解(S1206)。另一方面,在与"认 为是正解"的组的距离不近的情况下(步骤S1302为否),判定为不认为是正解(S菌)。
利用了处理b时的"认为是正解"/ "不认为是正解"的判别率为58 %。通过进一步高精度地除去背景脑波与眼球电位等噪声,认为会提高识 别率。
也可以取代上述的处理方法(处理al、处理a2、处理b),或与上述 的处理方法一同,利用其他的方法。例如,图25表示利用了事件相关电 位的平均值的选择项的判别处理c的步骤。能够如该判别处理c那样,假 设用户针对按每个问题逐次提示的选择项一度认为是正解,比较按选择项 算出的平均电位,判定为将平均电位最大的选择项认为是正解。
针对图25进行简单说明。其中,对进行与图22相同处理的步骤采用
相同的符号,并省略说明。
首先,追加对按选择项算出的平均电位进行保持的步骤(S1501)。 接着,根据是否有未提示选择项来进行分支(S1502),在存在未提示的 选择项时,提示下一个选择项,以选择项提示时刻为起点,对电位变化进 行取样(S1201)。另外,在没有未提示的选择项时,比较在步骤S1501 中保持的每个选择项的平均电位,确定平均电位最大的选择项,判定为认 为该选择项是正解(S1503)。
在利用了处理c的情况下,"认为是正解"的判别率为60%。通过进 一步高精度地除去背景脑波和眼球电位等噪声,认为会提高识别率。
3.本发明的服务提供系统的构成
本发明的服务提供系统利用学习时用户的事件相关电位,即使在没有 用户的回答输入的情况下,也能够判定用户针对哪个选择项认为是正解, 可进行与有回答输入时同样的处理。
例如,本服务提供系统在对用户提示了历史或算数的问题后,依次提 示作为该问题的解答候补的多个选择项。然后,利用距选择项提示时刻约 400ms的期间中的用户的事件相关电位的波形,判断该用户是否认为该选 择项是正解。如果利用事件相关电位,则即使在没有用户的回答输入的情 况下,也可以自动判别用户在头脑中认为是正解的选择项,因此,可以实 现与有回答输入时同样的能够进行学习支援的系统。
针对该学习支援的内容可以考虑各种情况。例如,在用户认为是正解200780009012.9
的选择项与实际的正解不一致时,可以在通知错误的同时,向用户提示正 解。另外,可以根据用户认为是正解的选择项、和实际的正解来判定用户 的理解度,根据理解度来选择下一个提示的问题。由此,服务提供系统可 作为不需要来自用户的回答操作的学习系统而发挥功能。下面,说明作为 学习系统而构筑的服务提供系统。
首先,参照图l对服务提供系统的具体例进行说明,并参照图2 图 8,对服务提供系统的一般构成及其动作进行说明。
图1表示本实施方式的服务提供系统1的构成例。服务提供系统1具
有服务提供装置10、生物体信号检测部100和显示器等的输出部101。
图1中示意地表示了安装有生物体信号检测部100的用户50, 一边在 电车中把着吊环, 一边利用服务提供装置10及输出部101进行学习的状 态。在这种状态下,由于两手被占用,所以用户50难以输入回答。
在本实施方式的服务提供系统1中,服务提供装置10借助输出部101 逐一向用户提示问题和多个回答选择项。用户50不需要进行回答的输入, 只要观看被提示的问题和各个选择项即可。
服务提供装置10取得以提示各个选择项的时刻为起点而由生物体信 号检测部IOO计测的用户50的脑波的事件相关电位。假设本实施方式的 生物体信号检测部100为头戴式脑波计,可以通过无线方式将检测到的脑 波信号发送给服务提供装置10。
另外,在该脑波计中配置有当将其安装到用户50的头部时与用户的 头部的规定位置接触的电极。该电极位置可以根据信号测定的可靠性及安 装的容易程度等来决定。例如,按照与图20所示的位置Pz (正中头顶)、 Al (耳朵)及用户50的鼻根部接触的方式配置电极。或者,例如即使仅 在位置Pz和Al这样的最低两个位置也可计测电位。结果,生物体信号检 测部100能够测定用户50的事件相关电位。
服务提供装置10根据距各选择项提示时刻约400ms的事件相关电位, 判定用户50是否针对各选择项认为是正解。然后,根据实际上认为是正 解、还是不是正解,将结果的提示、或下一个问题的选择方法进行改变并 向用户提示。由此,即使在用户50没有积极地输入回答的情况下,也能 够实现与有回答输入时同样的学习支援。而且,用户能够在不受使用服务提供系统1的场所与环境的影响下进行学习。
根据上述说明可知,在本实施方式中,服务提供系统l可以是学习系 统或出题系统。
另外,在本说明书中,对利用了从选择项提示时刻开始起算约400ms 后的时刻的事件相关电位的情况进行说明。对于为了判定选择项是否是正 解而测定的用户的事件相关电位而言,"约400ms"是指本申请的发明者 们在实验中使事件相关电位中出现有意义的特征的时间段,例如大约是 350ms 约450ms的期间。
3 — 1.实施方式1
3 — 1_1.实施方式1的服务提供系统的详细构成 图2表示本实施方式的服务提供系统1的功能框图的构成。图2还表 示了服务提供装置10的详细功能模块。为了便于说明,表示了用户50的模块。
服务提供装置10以有线或无线的方式与生物体信号检测部100及输 出部101连接,进行信号的发送及接收。图2中,生物体信号检测部IOO 及输出部101与服务提供装置100独立,但这只是个例子。也可以将生物 体信号检测部100及输出部101的一部分或全部设置在服务提供装置10内。
生物体信号检测部100是检测用户50的生物体信号的脑波计,对脑 波进行计测来作为生物体信号。用户50被预先安装了脑波计。测定出的 用户50的脑波按照能够由计算机处理的方式被采样,然后发送给用户状 态判定部200。
输出部101是接收来自服务提供装置10的信号且显示基于该信号的 内容、例如针对用户50的问题及回答选择项或提示等信息的装置。输出 部101与图1的显示器对应,但除此之外,也可以包括扬声器等。
接着,对服务提供装置10的详细构成进行说明。
服务提供装置10作为执行后述的处理的计算机系统而被实现。服务 提供装置10包括RAM301、计算机程序400、中央处理部(CPU) 300、问 题数据库(问题DB) 203、结果蓄积数据库(结果蓄积DB) 204。
CPU300通过执行RAM301中存储的计算机程序400,来实现根据该程序的处理步骤的功能。在本实施方式中,CPU300作为用户状态判定部200 及选择部205而动作。下面,将选择部205的功能进一步细化,分为选择 向用户提示的问题的提示问题选择部201、和按照规定的顺序选择多个选 择项作为该问题的解答候补的提示选择项选择部202,进行说明。
所利用的计算机程序400可以是一个程序,也可以是两个以上的不同 程序。计算机程序可作为制品而记录到以CD—ROM等光盘、存储卡等半导 体存储器等为代表的记录介质中,在市场上流通,或者可通过因特网等电 气通信线路而被传送。另外,用户状态判定部200、提示问题选择部201 及提示选择项选择部202,还能够作为在半导体电路中装入了计算机程序 的DSP等硬件而实现。
问题DB203蓄积有问题、选择项、正解、问题的重要度、问题的领域 等和问题相关的数据。图3 (a)及(b)表示与问题DB203中蓄积的问题 相关的数据的具体例。在"问题"列中,表示了问题编码及问题,在"选 择项"列中,对应选择项的个数(例如4个)排列有选择项名的字母序列 及选择项的内容的组。
另外,选择项是被检者能够立即认知的内容,换言之,不是花费时间 读取的长的内容、或对于用户而言是难解的文字或内容。由此,可视为与 选择项的提示实质上同时认知就完成了,通过从选择项的提示时刻开始起 算约400ms后的事件相关电位的测定,可以判定用户将该选择项认为是正 解。其中,在服务提供装置10能够正确检测出认知结束且确定从该检测 时开始起算的约400ms的事件相关电位的情况下,也可以不是被检者能够 立即认知的内容。
在本说明书中,问题DB203被内置于服务提供装置10中,但这只是 个例子。问题DB203也可以设置在例如能够从服务提供装置10取下的记 录介质(例如存储卡或光盘)上。这对于后述的结果蓄积DB204而言也是 同样的。存储了问题DB203及/或结果蓄积DB204的记录介质,可以进而 存储上述的计算机程序。
提示问题选择部201参照问题DB203来选择接下来提示的问题,通过 输出部101仅提示问题。向用户50提示问题的时间要考虑用户50用于理 解问题的内容、联想正解所需要的时间,例如可设为10秒,也可以根据问题的难易度、文字数量等单独设定。
而且,提示问题选择部201还参照结果蓄积DB204中蓄积的用户是否 认为选择项是正解的判别结果,来参照问题DB203选择接下来提示的问题。 接下来问题的决定方式将在判定结果DB204的说明之后进行详述。
提示选择项选择部202 —边参照问题DB203, 一边如图18的步骤2 步骤5那样,逐一选择由提示问题选择部201选择出的问题的回答选择项, 通过输出部101进行提示。提示回答选择项的时间要考虑用户50用于确 认回答选择项的内容所需要的时间,例如设为1秒,也可以根据选择项来 设定。另外,由于利用以选择项提示时刻为起点约400ms的事件相关电位, 所以需要至少隔开500ms左右的间隔。
而且,在按每个问题提示了所有的选择项之后,提示选择项选择部202 一边参照问题DB203, 一边借助输出部101提示正解(的选择项)。另外, 提示选择项选择部202可以重新参照后述的结果蓄积DB204中保存的判定 结果,对用户50认为是正解的选择项与问题DB203中记载的实际的正解 的正误进行反馈。
用户状态判定部(以下记做"判定部")200具有下述功能接收从 生物体信号检测部100取样的用户50的脑波,利用借助输出部101输出 选择项的时刻为起点的事件相关电位的约400ms的部分,判别用户50针 对选择项是否认为是正解。
可以考虑多种是否认为是正解的判别方法。例如,将距选择项提示时 刻约400ms的事件相关电位的平均电位与预先决定的阈值进行比较。然后, 在平均电位大于阈值的情况下,判别为"认为是正解",在小于阈值的情 况下,判定为"不认为是正解"。
该阈值可以利用上述学习情形中的由事件相关电位计测实验算出的 一0.9y V。另外,也可以进行预先计测学习时的事件相关电位的预先调査, 且利用对用户(学生)群的"认为是正解"及"不认为是正解"各自的平 均电位进行了平均的值,还可以按每个人求取。该阈值例如被存储在判定 部200的存储器(未图示)中。
此外,由于可认为"认为是正解"及"不认为是正解"的各自平均电 位存在个体差异,所以,可以进行用于按用户确定平均电位的校准化
22(calibration)。服务提供装置10例如可按下述方式进行校准化。
艮口,如果提示问题选择部201提示了正解明确的非常简单的问题(例 如算数的一位+ —位运算等),则提示选择项选择部202按任意顺序选择 一个正解选择项及一个以上的非正解选择项,通过输出部101进行提示。 然后,判定部200可以将提示了正解选择项及非正解选择项时的各平均电 位,作为"认为是正解"时的平均电位及"不认为是正解"时的平均电位, 来决定阈值。或者,使系统学习该决定的阈值,且将阈值进行适当的更新 也可。将该阈值例如保存到判定部200的存储器(未图示)中。
服务提供装置10进行校准化的时刻,例如是服务提供系统1的使用 开始时(即服务提供装置10的电源接通时)、或接收到来自用户的校准 化指示时。
作为其他的判别方法,判定部200还可以通过计算马氏距离来判别"认 为是正解"/ "不认为是正解"。在采用该判别方法时,利用成为基准的 表。例如,图4表示用于计算马氏距离的基准表210的例子。基准表210 被制成为存储有通过预先调查而得到的、"认为是正解"的组及"不认为 是正解"的组各自的平均电位置。该基准表被存储在判定部200的存储器 (未图示)中。
判定部200分别求出所算出的用户的平均电位与预先制成的"认为是 正解"的组的马氏距离、及该平均电位与"不认为是正解"的组的马氏距离。
马氏距离可以通过上述的数学式1求出。判定部200对求出的马氏距 离彼此进行比较,在与"认为是正解"的组的马氏距离小于与"不认为是 正解"的组的马氏距离时,判别为"认为是正解";在大的情况下,判别 为"不认为是正解"。
另外,作为其他的判别方法,判定部200可以分别求出与以用户50 的事件相关电位预先制成的"认为是正解"的模板的相关系数、和与"不 认为是正解"的模板的相关系数。然后,对求出的相关系数彼此进行比较, 在与"认为是正解"的模板的相关度高的情况下,判别为"认为是正解"; 在低的情况下,判别为"不认为是正解"。
作为另一个判别方法,判定部200可以按每个问题对结果蓄积DB204中保存的、每个选择项的平均电位、马氏距离或相关系数进行比较,将平 均电位最大的选择项、与"认为是正解"的马氏距离最短的选择项、与"认 为是正解"的模板的相关系数最高的选择项,判别为"认为是正解"。在 采用该判别方法的情况下,可将选择项中的某一个判别为必定认为是正解 的选择项。
结果蓄积DB204对由判定部200判别的结果进行保存。图5表示结果 蓄积DB204的数据结构的一个例子。如图5所示,按各个选择项,例如在 由判定部200判别为"认为是正解"的情况下保存l,在判别为"认为不 是正解"的情况下保存O,在因眼球电位等的噪声混入而被从判定中除去 的情况下保存一l等。
这里,针对上述的提示问题选择部201利用问题DB203及结果蓄积 DB204来选择接下来提示的问题的方法进行说明。
提示问题选择部201根据问题DB203中保存的正解选择项、和结果蓄 积DB204中保存的用户针对选择项是否认为是正解的判别结果,利用记述 了选择规则的表,选择接下来提示的问题。
图6表示提示问题选择规则表211的数据结构的一个例子。提示问题 选择规则表211用于例如在出了四选问题的情况下,根据问题DB203中记 载的实际的正解选择项、与结果蓄积DB204中保存的是否认为是正解的判 别结果的关系,来决定下一个问题的领域。只有在结果蓄积DB204中保存 的判别为"认为是正解"的选择项的个数为1个,且存在该选择项和实际 的正解选择项时,才判断为理解了该问题。因此,按照此时在下一个问题 中选择其他领域的问题的方式,记述了规则。
例如在图3 (b)所示的问题DB203中,在"加法l"的领域之后设置 有"加法2"的领域。提示问题选择部201可以根据提示问题选择规则表 211,从问题DB203中选择与学习的进行状况对应的领域。学习的进行状 况可以根据结果蓄积DB204来判断。
另外,图7表示提示问题选择规则表211的数据结构的另一个例子。 该表211可以与图3 (a)所示的问题DB203、和图5所示的结果蓄积DB204 一同利用。
提示问题选择部201可以将提示问题选择规则表211保持在内部或外部的存储装置中,根据该选择规则来进行问题的选择处理。
上述的利用问题DB203中保存的问题的正解、和结果蓄积DB204中保存的判定结果来支援学习的方法只不过是一个例子。该方法与存在回答输入的情况一样,除此之外,还可以考虑其他的各种情形。
3 — 1 —2.实施方式1的服务提供系统的处理
接着,参照图8的流程图,对在图2的服务提供系统1中执行的整体处理的流程进行说明。
图8表示服务提供系统1的处理的步骤。该步骤是提示四选问题时的例子。
在步骤S101中,提示问题选择部201从问题DB203中存储的问题之中选择最初提出的问题。问题的选择方法如图3所示,可以按照问题DB203中存储的各问题的重要度高的顺序来选择。
步骤S102中,输出部101向用户50提示在步骤S101中由提示问题选择部201选择的问题。步骤S102中,向用户50提示问题的时间要考虑用户50用于理解问题的内容所需要的时间,例如可设为10秒,也可以根据问题的难易度、文字数量等个别设定。
在步骤S103中,提示选择项选择部202对选择项的编号进行初始化。这里,将n设为选择项的编号,在n二l的情况下,表示选择项n例如为选择项A、选择项1那样对应的一个选择项。
在步骤S104中,提示选择项选择部202借助输出部101输出选择项n。而且,在与选择项n的输出相同的时刻,向判定部200发送事件相关电位的触发。另外,步骤S104中,提示回答选择项的时间可考虑用户用于确认回答选择项的内容所需要的时间,例如设为1秒,也可以根据选择项来设定。不过,由于使用以选择项提示时刻为起点的约400ms的事件相关电位,所以,需要至少隔开500ms左右的间隔。
在步骤105中,判定部200根据以步骤S104接收到的触发为起点而事件相关电位的约400ms的波形,判别用户50对被提示的选择项是否认为是正解。
在步骤S106中,判定部200将步骤105中判别的结果保存到结果蓄积DB204中。在步骤S107中,提示选择项选择部202将选择项的编号n加一。 在步骤S108中,提示选择项选择部202判断n是否为5。在n不是5
时,即n为4以下时,使处理进入到步骤S104;在n为5时,使处理进入
到步骤S109。
另外,由于将图8所示的处理假设为四选问题,所以判断了 n是否为 5。但例如在三选问题、五选问题中,只要分别变更为n是否为4、 n是否 为6即可。
在步骤S109中,提示选择项选择部202通过输出部101输出问题 DB203中记载的正解。另外,可以重新参照结果蓄积DB204中保存的判定 结果,对用户50认为是正解的选择项和问题DB203中记载的实际的正解 的正误进行反馈。
步骤S110中,问题选择部201根据问题DB203中记载的正解、和保 存在判定结果蓄积DB204中的判定结果,例如以图6所示的表那样的基准, 选择下一个问题。
在步骤S111中,服务提供装置10判断是否持续提示学习问题。是否 继续学习,例如可以通过学习的继续时间等来判断。另外,也可以通过用 户50按下服务提供装置10的电源,向服务提供装置10表达自己是否要 继续学习的意思。在不结束学习的情况下,处理返回到步骤S102,向用户 50提示在步骤S110中选择的问题。在结束学习的情况下,终止学习,例 如切断服务提供装置10的电源。
综上所述,根据本实施方式的服务提供系统1,通过利用服务提供装 置10构成服务提供系统1,即使在用户不进行回答输入的情况下,也可以 利用事件相关电位的距选择项提示时刻约400ms的部分,判别用户对哪个 选择项认为是正解。由此,可实现与有回答输入时同样的能够进行学习支 援的学习系统,因此,能够通过根据学习状况来适当选择问题的领域等的 方法,实现学习效率高的、不需要回答输入的学习。
3 — 2.实施方式2
3 —2 — 1.实施方式2的服务提供系统的详细构成 接着,对本发明的实施方式2所涉及的服务提供系统及服务提供装置 进行说明。
26在实施方式1的服务提供系统1中,向用户提示问题或回答选择项的 时间,例如根据问题、选择项的文字数量或识别难易度来设定,以便用户
50能够理解、确认问题、回答选择项的内容。不过由于即便是相同的问题, 正解想出为止的时间也会因用户而不同,所以,有时会觉得提示最初的选 择项的时刻慢或过快。
例如,在设定为从问题提示开始10秒后提示最初的选择项时,对于 从问题提示开始至正解想到为止的时间例如为5秒的用户A、和为15秒的 用户B而言,有可能产生下述的课题,即如果各个选择项提示时刻慢, 则无法实现高效的学习,而如果选择项提示时刻快,则无法理解问题,因 此不能够进行学习。
鉴于此,在本实施方式的服务提供系统中,通过脑波的事件相关电位 来判定用户是否在等待最初的选择项的状态(以下称为待机状态),根据 用户的待机状态来变更选择项的提示时刻。
利用事件相关电位的伴随性阴性电位(CNV: Contingent Negative Variation)来判定用户是否处于待机状态。CNV成分是在预告刺激之后, 等待命令刺激的状态下记录的稳定的阴性电位,与预期、注意、意欲、动 机等心理原因有强烈关系(例如参照丹羽真一、鹤纪子"事件相关电位 事件相关电位与神经信息科学的发展"、新兴医学出版社、1997年、P189)。
CNV成分出现在比图3中的选择项提示时刻(0ms)靠前的、由区间 34表示的时间段。即,波形31、波形32、波形33全都同样地向阴性移动, 可知出现了CNV成分。在上述的事件相关电位计测实验中,从被验者按下 空格键起l秒后提示了各个选择项。因此,可以说被验者没有处于解答问 题的状态,而针对选择项的提示处于待机状态。在比选择项提示时刻(0ms) 靠前的时间段,由于和针对选择项的提示处于待机状态相关联,出现了 CNV 成分,所以,以CNV成分为指标,可以判定用户50针对下一个提示是否 处于待机状态。
另外,关于逐次提示的选择项的时刻,也在考虑用于确认选择项的时 间随每个用户而不同的状态下进行变更。
图9表示本实施方式的服务提供系统2的功能模块的构成。图9还表 示了服务提供装置11的详细功能模块。其中,为了便于说明,表示了用户50的模块。
在图9中,针对与图2相同的构成要素赋予相同的符号,并省略说明。
图9所示的服务提供装置11与图2所示的服务提供装置10的不同点在于, 具有提示时刻控制部500,该提示时刻控制部500判定用户50针对下一个 选择项的提示是否处于待机状态,且对提示问题、选择项的时刻进行控制。
其中,提示选择项选择部302在接收来自提示时刻控制部500的信号 且以基于该信号的时刻提示选择项这一点上,与提示选择项选择部202不 同。其他的处理是相同的。选择部206与选择部205 (图5)的不同只在 于,是否具有提示选择项选择部302、或具有提示选择项选择部202。另 外,由于CPU300的实体没有被变更,所以,被赋予了相同的附图标记。
下面,对提示时刻控制部500进行说明。
提示时刻控制部500接收从生物体信号检测部100被取样的用户50 的脑波,考虑用于理解、确认问题或选择项所需要的时间,从问题及选择 项提示时刻起例如以500ms为起点,判定是否出现了事件相关电位的CNV 成分。这相当于下一个问题的提示前的时间段。如果出现了事件相关电位 的CNV成分,则判定为用户50针对下一个选择项处于待机状态,从而向 提示选择项选择部202发送信号,来提示下一个选择项。
提示选择项选择部202接收来自提示时刻控制部500的信号,选择下 一个选择项,并通过输出部101进行提示。
如上所述,CNV成分是在预告刺激之后等待命令刺激的状态(待机状 态)下记录的稳定的阴性电位,与预期、注意、意欲、动机等心理原因有 强烈关系。在上述的事件相关电位计测实验中,由于从被验者按下了空格 键起一秒后提示了各个选择项,所以,可以说被检者没有处于解题的状态, 而处于针对选择项的提示为待机状态。在图21所示的总的加法运算平均 波形中,比选择项提示时刻(Oms)靠前的时间段中,与针对选择项的提 示处于待机状态关联,三个波形都向阴性移动。根据该请况,也能够以CNV 成分为指标,判定用户50针对下一个提示是否处于待机状态。
CNV成分的有无例如可以通过在500ms左右的时间宽度中,利用最小 二乘法等从用户50的脑波的电位波形中算出斜率,并与某一阈值进行比 较来判定。在波形的斜率小于阈值的情况下,判定为有CNV成分;在斜率大的情况下判定为没有CNV成分。时间宽度不限定于500ms,也可以是 300ms、 700ms、 1000ms等。而且,阈值例如可以是根据图21所示的波形 算出的一10pV/s,也可以按每个用户实施预先实验来决定。 3 — 2—2.实施方式2的服务提供系统的处理
接着,参照图10的流程图,对图9的服务提供系统2中执行的整个 处理的流程进行说明。
图10表示本实施方式的服务提供系统2的处理步骤。该步骤是提示 四选问题时的例子。针对进行与图8相同处理的步骤赋予相同的符号,并 省略其说明。首先,步骤S101 步骤S111与图8的处理相同。
在步骤S201中,提示时刻控制部500检测出用户50针对下一个选择 项的提示的待机状态,在待机状态的情况下,向提示选择项选择部202发 送信号,以提示下一个选择项。提示选择项选择部202接收信号,选择下 一个选择项,并通过输出部进行输出(步骤S104)。另夕卜,例如在即使经 过20秒以上也没有出项CNV成分的情况下,可以提示下一个选择项,也 可以认为用户50没有集中于学习而中止学习。
另外,提示下一个问题的时刻也可以利用CNV成分来决定。
根据本实施方式的服务提供系统2,通过利用服务提供装置11构成服 务提供系统2,可以利用事件相关电位的CNV成分来判定用户对下一个选 择项的提示是否处于待机状态,从而就能够以对用户而言恰当的时刻提示 选择项。
并且,即使在用户没有进行回答输入的情况下,也可以利用事件相关 电位的距选择项提示时刻约400ms的部分,来判别用户针对哪个选择项认 为是正解。由此,可实现与有回答输入时同样的可进行学习支援的学习系 统,因此,能够满足学习效率高的、没有回答输入的学习。
3 — 3.实施方式3
3 — 3_1.实施方式3的服务提供系统的详细构成 接着,对本发明的实施方式3所涉及的服务提供系统及服务提供装置 进行说明。
实施方式1的服务提供系统1中,为了利用事件相关电位来判定在没 有回答输入的情况下用户认为是正解的选择项,按照将问题、回答选择项
29全体逐次提示的方式进行设定。因此,因为选择项的数量,有可能会使得 每一问所需要的时间增长。
在本实施方式的服务提供系统3中,用户状态判定部(以下称为"判
定部")600将存在被判别为"认为是正解"的选择项通知给提示选择项 选择部601,按照针对该问题不提示之后的无用的回答选择项的方式,来 实现更高效的学习支援。
图11表示本实施方式的服务提供系统3的功能框图的构成。图11还 表示了服务提供装置12的详细功能模块。另外,为了便于说明,还表示 了用户50的模块。
在图11中,针对与图2相同的构成要素赋予了相同的符号,并省略 说明。图11所示的服务提供装置12与图2所示的服务提供装置10的不 同点在于,在图2中的判定部200的功能的基础上,设置了判定部600, 该判定部600具有将判别为"认为是正解"的选择项通知给提示选择项选 择部601的功能。
另外,提示选择项选择部601与提示选择项选择部202的不同点在于, 具有当从判定部600接收到通知时,针对该问题不选择以后的回答选择项 的功能。而且,提示选择项选择部601与提示选择项选择部202同样,在 选择项提示之后,例如提示正解(的选择项)、用户50认为是正解的选 择项是否已经是正解的正误结果。其他的处理相同。选择部207与选择部 205 (图5)的不同之处只在于,是具有提示选择项选择部601、还是具有 提示选择项选择部202。另外,由于CPU300及结果蓄积DB204的实体没有 被变更,所以,赋予相同的参照符号。
下面,对判定部600、提示选择项选择部601进行说明。
判定部600在上述判定部200的基础上,当判别为"认为是正解"时, 向提示选择项提示部601进行通知。当提示选择项选择部601从判定部600 接收到该通知,则不提示以后的回答选择项。在采用该方法时,不能够利 用通过每个选择项的波形从后进行比较来选择一个认为是正解的选择项 的方法(处理c)。
由于不提示判别为"认为是正解"之后的选择项,所以,为了进行更 高精度的识别,可以比上述判定部200的情况更严格地设定判别的阈值。另外,还可以假设在事件相关电位中混入了眼球电位等噪声,无法进
行正确的判定的情况。在这种情况下,判定部200中止用户认为被提示的 选择项是否是正解的判定,向提示选择部提示部601通知从判定中除去的 情况。接收到该通知,提示选择部提示部601可以再度提示该选择项。 3 —3 — 2.实施方式3的服务提供系统的处理
接着,参照图12的流程图,对图12的服务提供系统3中进行的整个 处理的流程进行说明。
图12表示本实施方式的服务提供系统3的第一处理的步骤。针对进 行与图8相同处理的步骤赋予相同的符号,并省略其说明。首先,步骤 S101 步骤Slll与图8的处理相同。
在步骤S301中,判别部600在判别结果表示"认为是正解"的情况 下,向提示选择项选择部601通知判别结果。提示选择项选择部601若接 收到通知,则通过输出部101输出问题DB203中记载的正解,并取消其后 的回答选择项的提示。
基于这样的处理,在判定为用户针对某一回答选择项认为是正解的情 况下,通过不提示以后的回答选择项,能够减少无用的回答选择项的提示, 可实现更高效的学习支援。
图12所示的处理还可以变形为图13所示的处理。图13表示本实施 方式的服务提供系统3的第二处理的步骤。图13所示的处理在判定部600 中将判定为"认为是正解"的回答选择项、与问题DB203中记载的实际的 正解选择项进行比较,在错误的情况下提示下一个回答选择项。
图13中,对进行与图12相同处理的步骤赋予相同的符号,并省略其 说明。首先,步骤S101 步骤S111及步骤S301与图12的处理相同。
在步骤S302中,提示选择项选择部601将在判定部600中判定为"认 为是正解"的选择项、与问题DB203中记载的实际的正解选择项进行比较, 在一致的情况下,停止之后的回答选择项的提示,使处理进入到步骤S109。 在不一致的情况下,使处理进入到步骤S107及其之后的处理,提示选择 项选择部601提示下一个回答选择项。
根据这样的处理,只有在判定为用户认为是正解的选择项为正解的情 况下,才不提示之后的回答选择项,由此,能够减少无用的回答选择项的提示,可实现更高效率的学习支援。
并且,图13所示的处理还可以变形为图14所示的处理。图14表示 本实施方式的服务提供系统3的第三处理的步骤。图14所示的处理在判 定部600中再一次提示混入了眼球电位等噪声、被从判定中除外的选择项, 进行重新判定。
在图14中,对进行与图12相同处理的步骤赋予相同的符号,并省略 其说明。不同点在于,图14所示的处理在图12的步骤S106与步骤S301 之间设置了步骤S303。
在步骤S303中,提示选择项选择部601如果接收到判定部600中由 于在以选择项提示时刻为起点计测的用户50的事件相关电位中混入了眼 球电位等噪声、而被从判定除外的通知,则再一次提示其回答选择项。
通过这样的处理,能够再一次提示在以选择项提示时刻为起点计测的 事件相关电位中混入眼球电位等噪声、被从判定中除外的选择项,由于不 可以判定的选择项减少,所以,可更高精度地确定用户认为是正解的选择 项。
另外,也可以在提示选择项选择部601选择了参照问题DB203而提示 的选择项时,以较早的阶段提示正解的选择项。例如,在将选择项数设为 n时,可以在第(n/2)项或早于(n/2)项时提示正解的选择项。或者, 也可以在第(n/3)项或早于(n/3)项时提示正解的选择项。由此,能够 减少选择项的提示。
根据本实施方式的服务提供系统3,通过利用服务提供装置12构成服 务提供系统3,可以实现与用户状态判定结果对应的、回答选择项的提示 方法的切换。即,能够减少无用的选择项的提示,进行必要的选择项的再 提示,从而可实现更高效率的没有回答输入时的学习支援。
3 — 4.实施方式4
3—4一1.实施方式4的服务提供系统的详细构成 接着,对本发明实施方式4的服务提供系统及服务提供装置进行说明。 实施方式1的服务提供系统接收先前所说明的实验结果而作为学习系 统而被实现。在学习系统中,利用用户的事件相关电位来判定用户认为是 正解的选择项,从而实现了与有回答输入时同样的学习支援。但是,上述的实验结果还可以在学习系统以外的其他系统中应用。如 果利用上述的实验结果,则由于能够实现用户所希望的设备动作的判定, 所以,可实现在没有输入操作的情况下,执行用户所希望的设备动作的信 息设备。例如,当在电车内等用户想要使用可以录制、视听电视节目的便 携终端时,可以在没有操作输入的情况下,从录制的节目中选择用户在那 个时刻想观看的节目。
在本实施方式中,取代了先前说明的实验中的学习问题的提示,而提 示通过使用设备信息而用户想要实现的设备动作有关的提问(例如"想看 哪个录制节目?")。并且,取代针对问题的回答选择项,例如逐次提示 设备侧能够提供的服务候补(例如录制完毕的节目的节目名称)。
当用户预先想起想要视听的节目的节目名,且被逐次提示多个节目名 时,等待用户想起的节目名的提示。可以认为此时的心理状态与先前实施 方式中等待用户认为是正解的选择项的提示时的心理状态相同。然后,当 用户想起的设备动作名与服务提供装置13所提示的选择项中记载的设备 动作名一致时,对于用户而言就提示了设备中"正解"的选择项。艮P, 用户可以将该选择项认为是"正解"。因此,如果利用以借助输出部101
输出选择项的时刻为起点的事件相关电位的约400ms的部分,则可自动检 测出用户想起的设备动作名、与服务提供装置13所提示的选择项中记载 的设备动作名是否一致。
由此,例如可提供一种在电车的车内等操作输入困难的状况、或用户 无法进行操作输入动作或不进行操作输入动作的状况下,不进行操作输入 就能实现所希望的设备动作的服务提供系统。
下面,对不进行操作输入就能够实现所希望的设备动作的服务提供系 统进行说明。
图15表示本实施方式的服务提供系统4的功能模块的构成。图15还 表示了服务提供装置13的详细功能模块。其中,为了便于说明,还表示 了用户50的模块。图15所示的服务提供装置13例如是PDA或移动电话
等信息设备。
在图15中,对与图2相同的构成要素赋予相同的符号,并省略说明。 图15所示的服务提供装置13与图2所示的服务提供装置10的不同点在于,在服务提供装置13 (信息设备)中具有以提问形式提示能够提供的 动作(功能)的提示问题选择部701、对设备动作的候补进行选择的提示 选择项选择部702、对与信息设备的功能有关的问题及设备动作的候补一
览进行保存的设备动作DB703、和判定是否是用户想要选择的选择项的用 户状态判定部(以下称为"判定部")700。其中,提示问题选择部701 及提示选择项选择部702包括在选择部208内、及选择部208由CPU300 的动作来实现,与之前的实施方式相同。
下面,将服务提供装置13设为可以录制、视听电视节目的便携终端 来进行说明。
提示问题选择部701参照后述的设备动作DB703,以提问形式提示用 户能够通过信息终端实现的功能。例如是"要视听哪个录制节目?"或"删 除哪个录制节目?"。当在该便携终端中还能够再生音乐或进行游戏时, 例如可以是"使用什么功能(节目视听/音乐再生/游戏)?"。所提示的 问题的顺序可以根据设备动作DB702中保存的顺序来决定,也可以根据用 户的状况或周围的状况来决定。
提示选择项选择部702参照设备动作DB703,选择与提示问题选择部 702选择的问题对应的设备动作的候补选择项。当在提示问题选择部701 中选择了 "想要观看的录制节目是哪个?"时,选择录制完毕的节目名。 通过输出部101以字符串的形式输出所选择的节目名。
设备动作DB703将与能够由终端实现的功能有关的问题、和设备动作 的候补作为选择项进行保存。图16表示与设备操作DB703中蓄积的问题 有关的数据的具体例。设备动作DB703根据能够实现的设备动作的数量, 保持有多个选择项。另外,选择项只要是多个即可,其个数任意。而且, 除了问题、选择项之外,还可以保存与问题的提示顺序有关的数据。
其中,需要在设备动作DB703中总是反映最新的状况。例如,在录制 了节目时追加节目名,在删除了录制的节目时也删除其节目名。这样的更 新可以根据来自对节目的录制、再生等进行控制的电路的指示进行,也可 以由CPU300进行。
判定部700通过与上述判定部200同样的方法,根据由生物体信号检 测部100检测出的用户50的生物体信号,检测出认为用户想要选择的选择项,并向设备动作控制部800进行通知。
设备动作控制部800接收与提示选择项选择部702所选择的设备动作 有关的选择项,在由判定部700判定为是用户想要选择的选择项时,执行 对象的设备动作。例如,在由提示选择项选择部702选择的选择项是节目 C时,对节目C进行再生。
3—4一2.实施方式4的节目提供系统的处理
接着,参照图17的流程图,对图17的服务提供系统4中执行的所有 处理的流程进行说明。
图17表示本发明的服务提供系统4的处理步骤。对进行与图8相同 处理的步骤赋予相同的符号,并省略其说明。
在步骤S401中,提示问题选择部701参照设备动作DB703,选择向用 户50提示的问题。
在步骤S402中,通过输出部101向用户50输出在步骤S401中选择 的问题。
在步骤S403中,判定部700根据以步骤S104中接收到的触发为起点 在事件相关电位的约400ms的波形,判别用户针对被提示的选择项是否想
要选择。
在步骤S404中,设备动作控制部800根据步骤S403中判定部700判 别的结果、和从提示选择项选择部702取得的选择项信息,执行认为是用 户想要选择的选择项。通过这样的处理,能够判别认为是用户想要选择的 选择项。
通过利用服务提供装置13构成服务提供系统4,可以利用以设备动作 的候补的提示为起点的事件相关电位,判别是否是用户想要选择的选择 项,因此,能够实现在不进行按下按钮等的输入操作的情况下,可执行用 户所希望的设备动作的信息设备。
工业上的可利用性
本发明的服务提供装置及服务提供系统,能够在不进行回答输入的情 况下通过只观看问题和逐次提示的回答选择项,来判别用户针对哪个选择 项认为是正解。由此,例如在电车等难以进行回答输入的状况、不进行回 答输入的状况下的没有回答输入的学习中,也能够实现与有回答输入时同样的学习支援的学习系统。
权利要求
1、一种服务提供系统,具备输出部,其向用户提示问题、进而依次提示多个选择项作为所述问题的解答候补;信号检测部,其对用户的脑波的事件相关电位进行计测;和判定部,其根据提示了各选择项之后的规定期间中的所述事件相关电位,判定用户是否认为所述各选择项是正解。
2、 根据权利要求1所述的服务提供系统,其特征在于, 所述判定部在以从提示了所述各选择项的时刻起算约350毫秒 450毫秒的期间作为所述规定期间的情况下,判定用户是否认为所述各选择项 是正解。
3、 根据权利要求1所述的服务提供系统,其特征在于,还具备 结果蓄积数据库,其按照与所述问题建立对应的方式蓄积判定结果;和选择部,其根据所述判定结果从多个问题之中选择向用户提示的问题。
4、 根据权利要求3所述的服务提供系统,其特征在于, 还具备用于存储所述多个问题及作为各问题的解答候补的多个选择项的数据库,所述选择部参照所述数据库选择向用户提示的问题及所述多个选择项。
5、 根据权利要求1所述的服务提供系统,其特征在于,还具备 数据库,其存储了规定的问题、和针对所述规定问题的正解选择项及非正解选择项;和选择部,其参照所述数据库选择所述问题,然后,将所述正解选择项 及所述非正解选择项按任意顺序选择且发送给所述输出部;在服务提供系统的起动开始时或接收到来自所述用户的指示时,所述 判定部根据所述正解选择项提示后的事件相关电位及所述非正解选择项 提示后的事件相关电位,执行与所述用户认为是正解相关联的事件相关电位的校准化。
6、 根据权利要求1所述的服务提供系统,其特征在于, 还具备时刻控制部,该时刻控制部根据提示各选择项之前的规定期间中的所述事件相关电位,判定所述用户是否处于准备状态,且根据判定结 果来指示下一个选择项的选择和输出。
7、 根据权利要求1所述的服务提供系统,其特征在于,在所述判定部判定为用户认为被提示的选择项是正解时,所述输出部 不提示作为所述问题的解答候补而被剩余的选择项。
8、 根据权利要求4所述的服务提供系统,其特征在于, 在所述数据库中,所述多个选择项中的至少一个表示了针对所述问题的正解,所述判定部在判定为用户认为被提示的选择项是正解时,进一步判定 所述被提示的选择项与所述正解的选择项是否一致,当一致时,所述输出部不提示作为所述问题的解答候补被剩余的选择项。
9、 根据权利要求8所述的服务提供系统,其特征在于, 所述判定部在判定为用户认为被提示的选择项是正解时提示所述正解的选择项。
10、 根据权利要求4所述的服务提供系统,其特征在于, 所述判定部在根据所述事件相关电位检测到所述事件相关电位中混入了噪声时,中止进行用户是否认为被提示的选择项是正解的判定, 所述输出部再次提示所述选择项。
11、 根据权利要求4所述的服务提供系统,其特征在于, 在将所述多个选择项的个数设为n时,所述选择部在第(n/2)项或第(n/2)项之前提示正解的选择项。
12、 根据权利要求1所述的服务提供系统,其特征在于, 所述判定部预先保持有阈值,所述阈值是在针对规定的问题判定为用户认为是正解的选择项提示后的300毫秒至500亳秒的时间段中的事件相 关电位的平均电位、与判断为认为不是正解的所述时间段中的事件相关电 位的平均电位之间所包含的值,所述判定部将所述阈值、与所述时间段中的所述事件相关电位的平均 电位进行比较,在所述平均电位大于所述阈值时,判定为用户认为是正解; 当小于时,判定为不认为是正解。
13、 根据权利要求1所述的服务提供系统,其特征在于, 所述判定部保持有根据针对规定的问题判定为用户认为是正解的选择项提示后的300毫秒至500毫秒的时间段中的事件相关电位的平均电位 而预先制成的第一数据组、和根据判断为认为不是正解的所述时间段中的 相关电位的平均电位而预先制成的第二数值组,所述判定部将所述时间段中的所述事件相关电位的平均电位与第一 数值组的第一马氏距离、及所述平均电位与第二数值组的第二马氏距离进 行比较,当所述第一马氏距离比所述第二马氏距离短时,判定为用户认为 是正解;而当所述第一马氏距离比所述第二马氏距离长时,判定为用户不 认为是正解。
14、 根据权利要求1所述的服务提供系统,其特征在于, 所述判定部保持有根据针对规定的问题判定为用户认为是正解的选择项提示后的300毫秒至500毫秒的时间段中的事件相关电位的平均电位 而预先制成的第一模板、和根据判断为认为不是正解的所述时间段中的事 件相关电位的平均电位而预先制成的第二模板,所述判定部将所述时间段的事件相关电位的波形值与第一模板的第 一相关系数、及所述波形值与第二模板的第二相关系数进行比较,在第一 相关系数大于所述第二相关系数时,判定为用户认为是正解;当小于时, 判定为用户不认为是正解。
15、 根据权利要求1所述的服务提供系统,其特征在于, 所述判定部保持有与多个选择项的每一个对应的事件相关电位的平均值,判定为用户认为平均值最大的选择项是正解。
16、 根据权利要求13所述的服务提供系统,其特征在于, 所述判定部判定为用户认为多个选择项的每一个所对应的事件相关电位中的、与所述第一数值组的马氏距离最短的选择项是正解。
17、 根据权利要求14所述的服务提供系统,其特征在于,所述判定部判定为用户认为多个选择项的每一个所对应的事件相关电位中的、第一相关系数最大的选择项是正解。
18、 一种出题方法,包括 向用户提示问题的步骤;依次提示多个选择项作为所述问题的解答候补的步骤; 对用户的脑波的事件相关电位进行计测的步骤;和 根据提示了各选择项后的规定期间中的所述事件相关电位,判定用户 是否认为所述各选择项是正解的步骤。
全文摘要
本发明提供一种即使没有用户的回答输入也能够实现学习支援或所希望的设备动作的系统。服务提供系统具备向用户提示问题、进而依次提示多个选择项作为该问题的解答候补的输出部;对用户的脑波的事件相关电位进行计测的信号检测部;和根据提示了各选择项之后的规定期间中约350毫秒至450毫秒的期间中的事件相关电位,判定用户是否已认为各选择项是正解的判定部。
文档编号G06F3/01GK101542415SQ20078000901
公开日2009年9月23日 申请日期2007年4月19日 优先权日2006年6月21日
发明者森川幸治, 足立信夫 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1