被编入脑波接口系统的修正装置、方法及计算机程序的制作方法

专利名称：被编入脑波接口系统的修正装置、方法及计算机程序的制作方法
技术领域：
本发明涉及装载了使用脑波进行设备操作的接口的设备。更具体地说是涉及在装载了所述接口的设备中，在通过测量脑波来判别用户的意图时，设备自动地检测出用户意图判定错误的情况，并可以自主地修正推定结果的设备、方法及在这种设备中执行的计算机程序。
背景技术：
生活中有各种各样的设备，在被这些设备包围而生活之中，用户通过对设备进行操作，得到希望的信息及服务。其接口操作性提高的重要性因设备自身的数量增加、不使用设备就不能得到的信息的增加等逐年提高。
例如，在信息设备(电视、手机、PDA等)中，通过一边看画面一边选择操作的选择项，来实现设备操作。作为其操作输入方法，使用着按压按键、使光标移动来确定、 一边看画面一边操作鼠标等的方法，但例如在家务、育儿及汽车驾驶中等，由于两手不能用于设备操作以外的作业时，有时也不能执行操作。
对此，有利用用户的身体信号的输入方法。在非专利文献l中公开有使用脑波的事件相关电位来识别用户想选择的选择项的技术。具体地说是随机地强调突出选择项，利用在以用户想选择的选择项被强调突出的时点为起点而约300毫秒后出现的事件相关电位(大多称为P300)的波形，实现选择项的推定。利用该技术，即使在用户两手都被占用的情况下、或在由于疾病而手脚不能移动的状况下，也可以选择想选择的选择项，也可以实现设备操作等的接口。另外，在专利文献l中同样地也说明了使用事件相关电位的脑波接口的例子。
专利文献1:日本特开2004-275619号公报
非专利文献1: Donchin等著，"The Mental Prosthesis:Assessing theSpeed of a P300-Based Brain-Computer Interface",IEEE TRANSACTIONSON REHABILITAITON ENGINEERING VOL.8.No.2.June 2000
脑波信号是具有起伏的微弱的信号，所以难以完全地消除噪声混入，并非始终能正确地判别用户的意图。例如，在非专利文献1的图3中表示有在加算次数少之际无法达到100%的判别率的情况。根据报告，实际上许多判别方法通过使用多次加算平均的波形而实现80% 90%左右的判别率的情况较多。
在这种状况下，使用脑波接口时，不限于设备一定在全部的操作时正确地进行判别，意味着例如对于10次左右的操作包含1~2次失败的事例。因此，在使用脑波接口时，准备有在不能正确地传达意图的情况具备除本来的选择项以外的"返回"、"删除"等辅助的选择项。
但是，利用辅助的选择项时，会发生因为由脑波选择这些修正用的选择项而复原、又再一次重新选择想要选择的选择项这种烦恼。因此，用于提高识别精度的研究正在被推进。

发明内容
本发明的目的在于通过利用脑波接口 (IF)，对用户希望的选择项进行判定后，利用脑波检测出选择项的判定错误，在检测出判定错误时，根据选择项判定使用的脑波信息，修正选择项。
本发明采用的修正装置被编入脑波接口系统。所述脑波接口系统具有身体信号测量部，其测量并储存用户的脑波信号；解析部，其分析所述脑波信号包含的事件相关电位；推定部，其根据所述脑波解析部得到的分析结果，推定用户希望的选择项；输出部，其向用户提示由所述推定部推定的选择项。所述身体信号测量部测量以向所述用户提示所述选择项的时点为起点的所述用户的脑波信号。所述修正装置具备判定部，其根据包含于所述选择项推定后所取得的所述脑波信号的事件相关电位，判定所推定的所述选择项的正误；修正部，在判定出所推定的所述选择项错误时，根据在所述选择项的推定前储存的所述事件相关电位，修正所推定的所述选择项，根据修正后的选择项指示设备动作。
所述判定部也可以根据在所述选择项推定后所取得的所述脑波信号当中事件相关电位的600毫秒附近的阳性波形，对所推定的所述选择项的正误进行判定。
所述判定部保持用于判定所述选择项的正误的阈值；所述判定部也可 以根据在所述选择项推定后所取得的所述脑波信号当中事件相关电位的
600毫秒附近的阳性振幅的大小是否在所述阈值以上，对所推定的所述选 择项的正误进行判定。
所述判定部保持用于判定所述选择项的正误的阈值；并且，所述判定 部对于在所述选择项推定前取得的所述脑波信号、即对应所推定的所述选 择项的提示而测量的事件相关电位及对应其他的选择项的提示而测量的 事件相关电位，根据300毫秒附近的特征的差异，改变所述阈值也可以。
所述判定部对于对应所推定的所述选择项的提示而测量的事件相关 电位及对应其他的选择项的提示而测量的事件相关电位，根据300毫秒附 近的顶点振幅的大小的差异，改变所述规定的阈值也可以。
所述判定部为了判断所述顶点振幅的大小的差异，保持基准阈值；所 述判定部在所述顶点振幅的大小比所述基准阈值大时，把用于判定所述选 择项的正误的阈值改变化得更大也可以。
所述修正部使用在所述选择项推定前取得的、对应各选择项的提示而 测量的事件相关电位，对所述选择项进行修正也可以。
在所述选择项推定前，所述输出部顺次提示多项选择项；所述身体信 号测量部储存以各选择项的提示为起点而分别测量的所述用户的脑波信 号；所述解析部将对应各选择项的所述脑波信号中的事件相关电位中、对 应振幅最大的事件相关电位的选择项推定为是所述用户希望的选择项；所 述修正部采用对应各选择项的所述脑波信号中的事件相关电位的、对应振 幅大小为第二的事件相关电位的选择项，作为所推定的所述选择项的修正 候补也可以。
由所述判定部判定为所推定的所述选择项正确时，所述修正部不进行 所推定的所述选择项修正也可以。
本发明的修正方法，是在脑波接口系统中执行的方法。所述脑波接口 系统具有身体信号测量部，其测量并储存用户的脑波信号；解析部，其 分析所述脑波信号包含的事件相关电位；推定部，其根据所述脑波解析部 得到的分析结果，推定用户希望的选择项；输出部，其向用户提示由所述推定部推定出的选择项。所述身体信号测量部以向所述用户提示所述选择 项的时点为起点，测量所述用户的脑波信号。所述修正方法包含根据所 述选择项推定后所取得的所述脑波信号包含的事件相关电位，判定所推定 的所述选择项的正误的步骤；判定为所推定的所述选择项错误时，根据在 所述选择项推定前储存的所述事件相关电位，修正所推定的所述选择项的 步骤；根据修正后的选择项指示设备动作的步骤。
本发明采用的计算机程序由被编入脑波接口系统的修正装置执行。所 述脑波接口系统具有身体信号测量部，其测量并储存用户的脑波信号； 解析部，其分析所述脑波信号包含的事件相关电位；推定部，其根据所述 脑波解析部得到的分析结果，推定用户希望的选择项；输出部，其向用户 提示由所述推定部推定出的选择项。所述身体信号测量部测量以向用户提 示所述选择项的时点为起点的所述用户的脑波信号。所述计算机程序使所 述修正装置的计算机执行以下步骤根据所述选择项推定后所取得的所述 脑波信号包含的事件相关电位，判定所推定的所述选择项的正误的步骤； 判定为所推定的所述选择项错误时，根据在所述选择项推定前储存的所述 事件相关电位，修正所推定的所述选择项的步骤；根据修正后的选择项指 示设备动作的步骤。 发明效果
根据被编入脑波接口系统的本发明的修正装置，即使在设备对用户所 希望的选择项作出错误判定时，可自动地修正错误，因此可以减少再操作 的必要性，且有效地使用脑波接口。


图1是表示用户IO所利用的实施方式1的脑波接口 (IF)系统1的 结构的图2是表示本申请发明人等设想的脑波IF系统1的结构及利用环境 的图3是主要表示修正装置3的处理过程的图4是脑波IF装置的处理流程1;
图5 (a)和(b)是表示脑波接口的动作例的图；图6是脑波IF装置的处理流程2;
图7是表示有关本申请发明人等使用的实验方法及数据处理方法的处
理过程的流程图8 (a) ~ (c)是表示有关错误推定检测的实验画面例的图9是表示对通过图7所示的实验步骤收集的事件相关电位的波形进
行加算平均后的两种波形的图10 (a)及(b)是表示有关修正的分析结果的图11是时序性地表示实施方式1的脑波IF装置2及修正装置3的处
理的图12是表示实施方式1的错误推定检测处理及推定结果修正处理的 过程的流程图13是表示实施方式2的后期阳性电位的判定阈值的调节方法的过 程的流程图。
符号说明1脑波接口系统
2脑波接口装置
3修正装置
10用户
11身体信号测量部
12脑波解析部
13选择项推定部
14输出部
15推定结果正误判定部
16推定结果修正部
21菜单项目画面
22信息栏
23强调突出选择项
24事件相关电位
31选择项目指示画面
32强调突出选择项33 推定结果显示画面
41 事件相关电位(正确判别)
42 事件相关电位(错误判别)
具体实施例方式
下面，参照附图对本发明的脑波接口系统的实施方式进行说明。 在实施方式的说明之前，对本申请发明人等得到见解进行说明。 一般认为在利用脑波推定选择项的系统中，即使改善识别方法提高推 定精度，也不能完全地排除在用户期望的选择项中包含有判定错误的可能 性。本申请发明人等着眼于在提示有错误判定的选择项时的用户的反应。 具体地说，本申请发明人等实施用于根据用户的事件相关电位特定设备侧 不能正确地推定用户的选择项时的独自的脑波实验，特定该事件相关电位 的特征，另外，通过脑波解析发现错误推定时的正解选择项和错误推定选 择项的波形的特征。以这些见解为基础，能够实现在设备侧自动地检测出 错误推定且能够自动地修正推定结果的脑波接口。下面，作为实施方式l
及2对脑波接口系统详细地进行说明。
另外，在本申请说明书中将为了取得事件相关电位而从某时点算起经
过规定时间后的时刻表示为，例如"约300毫秒"及"600毫秒附近"。这 意味着可以包含以"300毫秒"和"600毫秒"这样的特定的时刻为中心 的范围。 一般所公知的是，在事件相关电位的波形中，按每个人表现出30 50毫秒的差异(偏差)(加我君孝〖5力、編集、「事象関連電位(ERP) 7二二7W—P300 ^中心〖二」、篠原出版新社、1995、 30p表l (加我君 孝等编集以"事件相关电位(ERP)手册P300为中心一"篠原出版新 社1995 30p表l))。因此，"约x毫秒"和"x毫秒附近"这类术语意味 着以x毫秒为中心，其前后可以存在"30 50毫秒"的幅度。 (实施方式l)
1、脑波接口系统及修正装置的结构
图1表示用户10所利用的实施方式1的脑波接口 (IF)系统1的结 构。脑波IF系统1包括脑波接口 (IF)装置2及修正装置3。
脑波IF装置2利用脑波判定用户意图，且相对于设备为了执行对应用户意图的动作而被利用。修正装置3对由脑波IF装置2判定用户10的
意图后的结果的正误进行判定，对判定结果进行修正，因此被编入脑波IF
系统1。
脑波IF系统1的动作的概要如下。脑波IF装置2使用用户IO的脑波， 从显示装置的画面所显示的多个选择项中判定认为是用户10希望的选择 项。修正装置3根据提示该选择项后的用户的脑波，判定该选择项是否正 确。
检测出在用户的脑波中存在表示错误的选择项的波形时，修正装置3 根据使用于选择项判定的脑波信息对选择项进行修正。将修正结果传送到 脑波IF装置2，脑波IF装置2执行修正后的选择项所对应的动作。
另一方面，根据提示选择项后的用户的脑波，检测出其选择项正确时， 修正装置3不进行选择项的修正。其结果是脑波IF装置2执行对应其选 择项的动作。
下面，分别针对构成脑波IF系统1的脑波IF装置2及修正装置3说 明其结构要素。0032
脑波IF装置2具有身体(也指生物体)信号测量部11、脑波解析部 12、选择项推定部13、输出部14、控制部17。
身体信号测量部11是测量安装在用户10的头部的电极的电位变化的 设备，例如是脑波仪。脑波解析部12对利用身体信号测量部11测量出的 脑波数据进行解析。选择项推定部13以利用脑波解析部12所解析的结果 为基础，用脑波接口推定用户想选择怎样的选择项。输出部14向用户10 提示选择项的提示及选择结果的提示、其它有关设备动作的信息。输出部 14在例如设备是电视机时则相当于电视画面。这时从输出部14也输出电 视节目等。
其次，修正装置3具有推定结果正误判定部15、推定结果修正部16、 推定结果正误判定部15 (下面记述为"判定部15")利用脑波取得用
户10对输出部14所提示的选择项推定结果的反应。判定部15根据取得
的脑波，判定该推定选择项的正误。
推定结果修正部16 (下面记述为"修正部16")在假定判定部15判
定为设备的选择项推定结果错误时，再一次推定认为是正确的结果(选择项)并修正先前的推定结果，返回至输出部14。在正确时则不进行推定结 果的修正。
控制部17控制脑波IF装置2的整体动作。控制部17是例如半导体
集成电路。
这样，身体信号测量部11在为了脑波接口的选择项推定和修正必要 性的判定这两方面时使用。
2、 脑波IF系统的具体结构
本申请发明人等设想未来在安装型的脑波仪和安装型的可视数据终 端组合在一起的环境下构建脑波IF系统。用户始终安装脑波仪和可视数 据终端，利用安装型可视数据终端可以进行内容的视听及画面的操作。另 外，其他的情况设想在家庭用电视机和安装型的脑波仪组合在一起的家庭 内等的环境下也可以构建脑波IF系统。用户看电视时，安装脑波仪可以 进行内容的视听及画面的操作。
例如，图2表示后例的、本申请发明人设想的脑波IF系统1的结构 及利用环境。该脑波IF系统1对应后述的实施方式1的系统结构进行例
不o
脑波IF系统1是用于提供一种通过利用用户10的脑波信号而操作 TV14a的接口的系统。用户10的脑波信号由安装在用户头部的身体信号 测量部11取得、且以无线或有线传送给脑波IF装置2。内置于TV14a的 脑波IF装置2利用构成脑波的一部分的事件相关电位的P3成分，认识用 户的意图，进行频道切换等的动作。修正装置3观察脑波IF装置2的动 作，并根据需要，通过推定选择项的修正，进行动作的修正。
3、 脑波IF系统1的处理概要
下面，参照图3说明包含修正装置3的修正处理的脑波IF系统1的 处理。图3主要表示修正装置3的处理过程。修正装置3在脑波IF装置2 的处理后，判定由脑波IF装置2判定的选择项推定结果是否正确，在错 误时执行进行修正的处理。
在步骤S10中，图1的脑波IF装置2实施脑波接口。在输出部14提
示根据各场面可选择的选择项，对以强调突出所提示的各选择项的时点为 起点的事件相关电位进行解析，进行推定用户10希望的选择项的处理。脑波IF装置2的详细的动作采用另外的图4的流程进行后述。在步骤10
中，脑波IF装置2推定用户IO想选择的选择项，该结果过渡到下一个步 骤S20。
在步骤S20中，输出部14提示步骤S10中所推定的选择项。由此可 以确认用户10希望的选择项是否到达系统。修正装置3通过执行下面的 处理，可以确认推定选择项是否正确。
在步骤S30中，身体信号测量部11测量以在步骤S20中显示推定结 果的时点为起点的事件相关电位。在该事件相关电位中包含有用户10对 系统提示的选择项推定结果是怎样的感觉的信息。事件相关电位的波形的 具体的说明在后面叙述。
在步骤S40中，修正装置3的判定部15根据在步骤S30中测量的事 件相关电位，判定是否做出如用户10所想的推定。推定的正误判定利用 根据由发明人等进行的实验所特定的脑波的特征而进行。判定为存在错误 推定时，前进至步骤S50，判定为不存在错误推定时前进至步骤S60。
在步骤S50中，接受错误推定的判定，修正部16进行修正该推定结 果的处理。有关修正方法，也从实验结果的解析中获得见解。关于有效的 修正方法在后面叙述。
在步骤S60中，输出部14根据在步骤S20所得的推定结果、或根据 步骤S50的修正结果而实施设备动作。例如若是变更电视节目的问题，则 在选择项中提示电视节目名称等，作为本步骤的设备动作意味着将所显示 的画面切换为己选择的节目名称。
通过如上述的处理，修正装置3进行动作。下面，说明上述的各步骤 的详细情况。
4、脑波接口的动作概要和处理过程
首先，对在图3的步骤S10中进行的脑波IF装置2的动作进行说明。 脑波IF装置2使用事件相关电位，从可视数据终端等显示的多项选
择项目中识别用户想选择怎样的项目。图4表示脑波IF装置2的处理流
程，在图5中表示脑波接口的动作例。
下面，顺着图4的流程，说明脑波IF装置2的动作。
在步骤Sll中，输出部14显示列举有目前可选择的选择项的菜单。启动脑波接口时，显示有如图5 (a)的菜单画面21。画面中提示有"想 浏览什么样的节目？"之类的提问22和想看的节目候补即选择项23。在 此显示有"棒球"22a、"天气预报"23b、"动画"23c、"新闻"23d四种。 这四种当中的一种用明显的颜色强调突出显示。例如在画面21中强调突 出"棒球"23a。
在步骤S12中，控制部17选择强调突出的项目。在图5 (a)的示例 中首先选择最上边的"棒球"25a。下面，每当执行该步骤S42时，顺次 选择下一个选择项，第四个新闻的下一个再返回第一个棒球。
在步骤S13中，在输出部14强调突出显示有步骤S12中选择的项目。 所谓强调突出显示即利用比另外的项目明显的背景显示、或利用明显的文 字颜色显示，除此以外，通过用光标等指引来指示。在此，用户10观察 到时，只要系统侧传递现在对怎样的项目注意并想得到即可。在脑波IF 装置2中，用户IO在自身想选择的选择项被强调突出的时刻，意识为"想 选择"或意识到仅仅被强调突出。该意识由脑波显示，在下一个步骤中由 脑波仪来测量。
在步骤S14中，由身体信号测量部11取得事件相关电位，在对应各 选择项的存储器(未图示)中储存。事件相关电位由身体信号测量部11 的脑波仪来取得，事件相关电位的起点设定为在步骤S13强调突出显示的 瞬间，取得在比该瞬间例如200毫秒前到1秒后的脑波。由此，得到用户 对强调突出显示的项目的反应。在此将用户的反应储存在对应各选择项的 存储器中，从而可以进行选择项间的波形比较等。
在步骤S15中，控制部17判定是否己显示全部的选择项。若己显示 全部的选择项，则前进至步骤S16，没有显示全部的选择项时，则返回步 骤S12，确定接着应该强调突出的选择项。
在步骤S16中，控制部17判定全部的选择项是否已按规定的次数显 示。在脑波接口中多是在脑波的波形不稳而在一个一个的波形中较多包含 噪声的情况下，进行通过加算平均取出需要的信号的处理，由此得到解决。 其重复次数例如设定为5次或10次，各选择项分别被多次地强调突出， 将其反应相加用于信号判别。该重复次数根据脑波的状态及个人的波形状 态、判别精度等来决定，有时也有可能为一次而不必相加。在步骤S17中，选择项推定部13对在步骤S14中储存的、各选择项 的强调突出所对应的事件相关电位进行比较，抽出最包含P300的波形， 判定选择了什么样的选择项。例如，在图5 (b)的例中，各事件相关电位 为24a 24d，在此只有24b成为特征性的波形，所以对应该波形24b的选 择项即"天气预报"23b被确定为是用户IO想选择的选择项。比较方法可 列举出例如比较约300毫秒附近的峰值振幅的大小，或根据典型的P300 的波形做成模板并且计算出与该模板的类似度的方法。
通过上述的处理则可以根据事件相关电位推定选择项。 另外，在步骤S12中项目是顺次选择，但也可以是随机地选择的方法。 由此，因为事前不明确选择什么样的项目，所以有可能更深切地注意菜单 选择。
另外，脑波接口的处理也可考虑别的方法。在图4的处理(下面称方 式l)中，比较全部的选择项的强调突出所对应的事件相关电位，从而推 定用户希望的选择项，但也可以通过一个一个事件相关电位的处理，推定 希望的选择项。下面，将该处理方法称为方式2。
在图6中表示根据一个一个的事件相关电位推定选择项的方式2的流 程。对和图4的方式1的流程中所示的处理同样的处理，附加相同的步骤 序号，只说明不同的部分。
在步骤S11 步骤S13中，进行与图4的方式1同样的处理。
在步骤S18中，身体信号测量部11取得事件相关电位。与图4的方 式1不同，由于最后不需要进行事件相关电位的比较，所以只存储现在的 波形即可。
在步骤S19中，脑波解析部12用识别方法调节后的识别方法识别现 在取得的事件相关电位。所识别的内容是判别目前取得的脑波波形是对应 用户IO想选择的项目的波形、还是对应不想选择的项目的波形的内容。 图5 (b)中表示脑波波形的假定的例子24a 24d。在图5 (b)中显示有 对应各菜单项目被强调突出时的脑波。用户10想看"天气预报"23b时， 只在"天气预报"23b的项目被强调突出时，表示看到特征的波形24b的 样子。这是在事件相关电位中被称为P300的成分，是在菜单项目切换起 约300毫秒后，看到阳性的特征波形。判定该成分是否被观察到。该成分被观察到时，前进至步骤S21,没有被观察到时则返回步骤S12。在步骤S21中，选择项推定部13判定观察到用户10的P300成分的 项目是用户IO想选择的项目，确定选择项，进行下一个处理。通过这样的处理，不用进行按钮操作等，利用脑波就可以选择希望的 选择项。5、本申请发明人等实施的实验的概要下面，参照图7说明本申请发明人等实施的实验方法和数据处理方法。 同时，参照图8说明向被验者提示的画面的例子。通过该实验可以特定用 于判定推定结果是否正确的事件相关电位的特征。图7表示实验方法及数据处理方法的处理过程。在步骤S71中根据实验程序向用户IO提出选择项目的指示。由此事 先指定用户IO应该选择什么样的项目，此后作为可以正确地判定用户10 的事件相关电位的指标。图8 (a)表示选择项目指示的例子。画面上出现 如"请选择^棒球'"31指示，用户按照指示选择项目。在图7的步骤S72中，脑波IF装置2使脑波接口动作。具体地说， 脑波IF装置2通过图4所示的处理，判定在向用户10提示了图8 (b)所 示的选择项32a 32d时的事件相关电位中是否包含有P300，根据该判定 结果，确定这时的用户想选择的选择项。就选择项而言，如图8 (b)，顺 次强调突出显示有各选择项。在步骤S73中，作为推定结果例如显示有图8 (c)的画面33。在画 面33中显示有"你选择的是棒球"。该推定结果与在步骤S71做出指示的 项目无关，是在步骤S72的内部对脑波进行处理后的结果。因此，并非总 是成为如在步骤S71中指示的推定结果。其原因可认为有以下多个脑波 处理算法是通用的而不能对应个人差异导致错误；噪声混入的原因；无法 顺利地提取脑波等。在步骤S74中，取得以显示在步骤S73中推定结果的时点为起点的事 件相关电位。取得范围例如是从起点起-100毫秒 1000毫秒等。其中，-100 毫秒 0毫秒的事件相关电位用于基准线修正。另外，比起点更靠前开始 取得事件相关电位，这些在技术上不存在问题是可能的。这是因为例如只 要从显示推定结果之前开始取得事件相关电位，事后采用起点-100毫秒以后的事件相关电位即可。或者，由于画面内显示推定结果的时刻可预先调 节，所以比它还先控制事件相关电位的取得开始时刻也可以。在步骤S75中判定在步骤S71中向用户10指示的选择项和在步骤S73 中显示的系统推定的选择项是否相同。如果是一致时，前进至步骤S76， 一致时前进至步骤S77。在步骤S76中，将在步骤S74中取得的波形数据作为用户10可以正 确地使用脑波接口时的波形储存。 一般可以认为在该事件相关电位中包含 有确认反馈如用户IO所想的结果时的信息。在步骤S77中，将在步骤S74中取得的波形数据作为用户10不能正 确地使用脑波接口或作为接口侧错误判别时的波形储存。 一般可以认为在 该事件相关电位中包含有知晓反馈与用户10所想的不同的结果时的信息。通过从该步骤S71至步骤S77的处理，能够取得针对某个规定的选择 项目指示、用户10是否能够正确地操作脑波接口或是否向脑波接口正确 地传送用户10的操作意图所相关的事件相关电位。通过改变选择项目， 并且以规定的次数重复该操作，可以收集用户10能够正确推定时、不能 推定时的波形。在实验中对12名被验者实施了该处理。图9表示对通过图7所示的实验程序所收集的事件相关电位的波形进 行加算平均后的波形。脑波按头皮上的Pz (国际10-20法)的电位变化以 耳朵为基准进行测量。只汇总包含12名被实验者中错误判别的事例的数 据。纵轴是头皮上的电位，单位是yv，横轴是以显示推定结果的时点为 起点的经过时间，单位是毫秒。在图9中虚线41是能够正确地选择选择项、进行正确的判别时的波 形。该虚线41的波形具有以约300毫秒为中心的、向下(阳性)的山形 的波形，认为这是如用户期待的反馈自系统返回时所诱发的P300的波形。另一方面，实线42的波形是显示与用户10想定的选择项不同的选择 项时的波形。该红色的波形具有以约400-600毫秒为中心的向下(阳性) 的比较平缓的山形的波形。认为这是与用户希望的选择项不同的选择项自 系统返回时所诱发的波形。这是具有被看作比P300更迟的时间带的阳性 成分的波形。本说明书中将该波形称为"后期阳性电位"(Late Positive Potential:LPP)。作为与该后期阳性电位类似的信号，可举出日本特许第3786952号的 "服务提供装置、期待落空判定装置及期待落空判定方法"的从反馈时点 起约600毫秒后具有阳性成分的信号。该专利涉及的信号是在相对自身的 行为的反馈不是明确按照期待时所出现的信号，得到在约550 600毫秒 附近具有比较明确的峰值的波形。在本发明的此次的实验中，可以认为得到了新的信号。其理由是对在 朝向设备要传达意图的场面下不能正确传达的状况进行测量、状况不同及 波形特征也相互不同。另外，即使在按照意图的选择项可以选择的场面(如 期待的场面)的波形的比较中，由于在上述的专利文献中没有观察到P300， 可以说是在不同的状况下进行的测量。总结实验的结果，就会重新得到下面的见解。即，进行正如用户10 期待的反馈时、即系统对脑波可以进行正确的判别时，观察到P300。另一 方面，进行与用户10期待的不同的反馈时、即在系统错误地进行选择项 的推定时，观察到后期阳性电位。通过检测上述的信号，可以判定系统是否能够正确地推定用户10的 选择项。对于信号的区别，比较向下的山形的波形的顶点的时间(潜时)、 或以图8的加算波形为模板并且观察到与该模板的形式不同，由此可以检 测出系统侧的推定错误，知道是否需要推定结果的修正。更具体地说，根 据向下的山形的波形顶点的潜时是距600毫秒近、还是距300毫秒近就可 以判别，可以判定为在距600毫秒近时产生后期阳性电位、在距300毫秒 近时产生P300。另外，由于后期阳性电位的山形的波形平缓，故在顶点的检测困难时， 也可以分别将后期阳性电位和P300的加算波形做成模板，根据其与哪一 个模板接近，进行后期阳性电位的检测。或者，比较图9的两条波形，电位在比约450毫秒更早的时间带其P300 的这一方变大，在比约450毫秒更迟的时间带，后期阳性电位这一方电位 (振幅)大。由此，也可以使用电位变化进行判别。例如，将450毫秒和 600毫秒的区间平均电位和300毫秒 450毫秒的区间平均电位进行比较， 认为在前者这一方大时判定为P300产生、在后者这一方大时判定为后期 阳性电位产生等。6、修正时用于利用的数据分析下面，对于修正方法进行研讨。图10 (a)表示对每次试验中在图4 的步骤S14储存的事件相关电位的、疋解选择项的振幅的大小在全部选择 项之中是第几个进行分析、计数的表。该表表示在实施图7的步骤S72的 脑波接口中，正解的选择项所对应的P300的振幅大小，在也包含其他的 选择项的全部中即在四个事件相关电位之中是第几。例如，提示正解时的 P300的振幅在全部96次试验中的69次试验中取得最大值，即表示P300 的振幅比任一个不正解选择项被提示时都大。另外，表示全部96次试验 当中的14次试验中取得大小为第二的值。.在步骤S72的脑波接口中，将对应各选择项的强调突出显示时点的四 个事件相关电位当中P300成分或其附近的时刻的成分的振幅最大的波形 作为推定选择项来确定。但是，实际上脑波波形由于不稳定及噪声混入等， 并非一定始终在四个选择项当中取得最大振幅。图10 (a)表示了这些情 况。用12名被试验者各进行8次选择试验，分析全部96次试验的数据。 其中正解的选择项的P300的振幅最大的试验是69次试验，占全部的72%。 因此，推定为P300的最大振幅是正解选择项时的正确回答率为72%。另外，如图10 (a)的表所示，从波形的振幅分析结果可知，用户10 想选择的选择项是四个选择项中的第二的事例为14次，是第三的事例为7 次，是第四的事例为6次。根据该结果，即使假若得到最大振幅时的选择项不正确(在表中，96 次中的27次)，也可以读取到第二振幅的选择项正解的概率为27次中的 14次，表示达到50%以上。因此，在图3的步骤S40中判定为推定错误 时，对相对于使用脑波接口时的各选择项的强调突出显示的事件相关电位 当中P300的振幅大小为第二的选择项进行修正，由此在二分之一以上的 情况中为正解。充分利用该见解，也可进行一定程度的修正。图10 (b)表示根据图10 (a)的实验数据的修正效果的研究结果。 全部96次试验当中，没有错误可以正确推定的事例为69次，可以算出没 有错误判定时的正解率为72%。与此相反，至少导入一次错误判定后的修 正(对于振幅大小为第二的候补进行修正的情况)时，错误次数27次中14次被正确地修正，合计96次中83次(=69次+14次)可以达到正解， 整体的正确回答率提高到87%。这样，在P300的振幅的上位2位以内，大量事例集中的理由是因为， 一般认为噪声隔开一定程度的间隔突发性地产生，在全部的选择项的提示 中平均性地产生影响。例如眨眼睛产生的眼电的变化作为突发的变化使脑 波受到影响，这时也认为，相对四个选择项的事件相关电位之中，对应正 解的选择项的事件相关电位和受到眼电影响的事件相关电位混在，这种情 况下产生1位和2位的混同。根据该观点，认为，在选择项为5个及其以 上的情况下，只要噪声混入不连续，在l位或2位中也包含正解选择项， 该修正是有效的。选择项的强调突出显示轮一回，也依存于强调突出显示 的间隔(例如0.3秒 1秒左右)，设定为1 3秒左右，所以通常情况下， 在该期间眨眼不会发生多次，所以该修正有效地发挥作用。根据这样的理由，认为对于2位的选择项和3位以下的选择项，正解 脑波混入的概率产生较大差异。该特性在选择项的数量不是4而是5以上 的情况也适用。另外，假定正解选择项为3位以下的条件时，必需在正解选择项以外 的2以上的选择项中观察到和P300类似的波形。这种条件在突发地混入 的噪声源中不易产生。由此认为，因其它原因，正解选择项为3位以下。例如，考虑在强调突出显示的时刻没有出现用户的脑波等用户侧的原 因及噪声经常混入而波形不稳定等状况，这种情况下，进行过滤的改善、 电源及电极安装方法的研究等稳态噪声对策，由此可以提高在2位以上包 含正解的可能性。另外，在本实验中表示了对12名被实验者进行的实验的结果，但脑 波IF装置2中的判别方法采取了对从200毫秒至500毫秒的区间平均电 位进行比较的方法。该方法对各种形状的脑波波形比较可靠地发挥作用， 但也有难于说正确地判定了 P300的方面。可以认为通过改良判别方法， 也可提高最初的72%的正解率。另外，对每个人的数据进行最合适化也是 有效的方法。这种判别方法的改善有助于在多个选择项中去除稳态混入的噪声，降 低在与P300类似的波形中观察到多个选择项的波形的概率。由此认为，增大了正解选择项为2位时和为3位以下时的概率的差，提高了对于2位 的候补进行修正的效果。
另外认为，最初的72%的正解率提高时，错误推定检测步骤S40的检 测精度也提高。可以想象，己知在脑波中，相对低频次的事件振幅增加(参 照宫田洋监"新生理心理学2巻P14)，并且认为显示与用户IO的意图不 同的推定结果时的后期阳性电位的振幅也增加，检测变得容易。
因此预测，通过对判别方法进行调谐调整，错误判定的检测精度也提 高，整体精度几何级地提高。
如上所述可知，根据错误推定时的用户10的特征性脑波成分，在设 备侧就可以把握推定结果是否错误，具有可以进一步自动地修正的可能 性。
7、错误推定检测处理及推定结果修正处理的过程的详细情况
依据到目前为止得到的实验结果，接着，参照图11及图12详细地说 明本实施方式的错误推定检测处理及推定结果修正处理的过程。该处理在 推定选择项得以确定且在对用户显示后执行。
图11时序性地表示实施方式采用的脑波IF装置2及修正装置3的处 理。横轴是时间轴，时间向右方向推进。在图11中在时间轴的上侧记载 有处理内容。下面，沿着时间轴对处理进行概述。
首先，脑波IF装置2的控制部17反复进行项目选择及强调突出显示 (图11步骤S101)。而且储存其每次事件相关电位的波形(步骤S102)。 这些处理对应图4的步骤S12 SM。
项目的强调突出显示结束后，脑波IF装置2的选择项推定部13根据 所储存的事件相关电位的波形，推定并确定选择项(步骤S103)。该处理 对应图4的步骤S17。
而后，输出部14显示推定结果(步骤S104)。
以后，由修正装置3开始进行判定该选择项是否是用户希望的选择项 的处理。
修正装置3将显示由输出部14推定的选择项的时点作为起点，取得 例如-100毫秒 600毫秒的范围的事件相关电位的波形(步骤S105)。
并且，修正装置3的判定部15判定在所得的事件相关电位中是否产生图9中说明的后期阳性电位。判定部15认定后期阳性电位产生时(步
骤S106)，可以说由输出部14显示的选择项是错误的。于是，修正部16 执行对已推定的选择项进行修正的处理，确定其它选择项(步骤S107)。 此时，作为确定其它选择项的依据所利用的是确定最初的选择项时被利用 的、所储存的事件相关电位。
修正部16抽出项目强调突出显示时所储存的事件相关电位，将该事 件相关电位的P300的振幅的大小为第二时所提示的选择项作为下一个候 补进行选择。
修正部16将该选择项作为修正结果通知脑波IF装置2，输出部14提 示该选择项。脑波IF装置2使设备执行该选择项所对应的动作(步骤 S應)。
下面，参照图12说明处理过程。图12表示本实施方式的错误推定检 测处理及推定结果修正处理的过程。先进行项目强调突出显示，对某选择 项作为表示用户意图的选择项进行推定且特定。
在步骤S30中输出部14显示推定选择项。
在步骤S40中身体信号测量部11测量推定结果确认用的脑波(事件 相关电位)。由图ll中可以明了，该测量不是针对选择项强调突出显示进 行的事件相关电位的测量。
在步骤S51中，身体信号测量部11以步骤S30中的显示时点为起点， 将事件相关电位切出。切出范围例如为-100毫秒~600毫秒。只要在该范 围，则可以縮短脑波IF系统1的反应时间。但是，在反应时间上允许有 富余的情况下，也可以是例如-100毫秒 1000毫秒。该间隔根据系统所要 求的反应时间和检测精度的平衡来确定。
在步骤S52中，判定部15判定在步骤S51中被切出的事件相关电位 之中是否包含有后期阳性电位。对于后期阳性电位的判定可以通过使用波 形的形状及顶点的潜时处于何毫秒附近等来判定。另外，也可以制作标准 的P300和后期阳性电位的波形的模板，计算出现在的波形与哪一个模板 接近。判定为包含有后期阳性电位时则前进至步骤S61，进行推定选择项 的修正。而判定为不包含后期阳性电位时，则意味着推定正确。处理前进 至步骤S63。在步骤S61中，为了进行推定选择项的修正，修正部16部从存储器
中抽出对应在图4的步骤S14储存的各选择项的强调突出显示的事件相关 电位。各事件相关电位根据步骤S16的反复次数，有时进行加算平均，有 时不进行加算平均。
在步骤S62中，修正部16根据与步骤S61所抽出的各选择项的强调 突出显示对应的波形，将振幅为2位的选择项作为候补进行修正。由此， 可以有效地利用在第1位错误时第2位的选择项以二分之一以上的概率是 正解这种见解。
在步骤S63中没有选择项的修正，所以修正部16对脑波IF装置2输 送表示不进行选择项的修正的信号。其结果是，在步骤S30中确定的选择 项作为最终选择项从脑波解析部12输送到输出部14。其后处理前进至步 骤S64。
在步骤S64中，设备接受应该执行的确定最终的选择项的处理，输出 部14使设备执行动作。例如本实施方式，在电视的节目选择中，对电视 指示切换为所选择的节目并显示。
根据这样的处理，即使在由于脑波起伏及噪声的混入等设备错误推定 时，也能进行该选择项的修正，可以减少再操作的次数，所以脑波接口的 操作性提高。
根据上述构成，脑波信号不仅在脑波接口的选择项的推定中使用，而 且在选择项的推定结果的正误的判别中也使用，所以可以更正确地传达用 户的意图，可以有效地使用脑波接口。 (实施方式2)
在实施方式1中对修正装置的整体动作迸行了说明。
在本实施方式中，对使用脑波IF装置2的动作中的脑波而可进一步 可以调节错误推定的检测精度的例子进行说明。
本申请发明人等着眼于以下方面。即在实行脑波接口时，如图5 (b)， 对各选择项的强调突出显示，观察到各种各样的波形，但是根据该波形的 状况，可以判定用户的选择意图以怎样的程度清楚明了地向设备传输。根 据该判定内容可以调节错误推定检测的方法。
下面，参照图13并根据脑波IF装置2的P300的可靠度，说明对判定后期阳性电位的阈值进行调节的处理。
图13表示本实施方式的后期阳性电位的判定阈值的调节方法的过程。该处理作为在判定部15中进行的错误推定检测处理的一部分来执行。
在步骤S81中，为了参照脑波接口实施时的波形，判定部15从存储器中抽出与在图4的步骤S14储存的各选择项的强调突出显示对应的事件相关电位。各事件相关电位根据步骤S16的反复次数，有时进行加算平均，也有时不进行加算平均。
在步骤S82中，判定部15根据在步骤S81中抽出的波形，选出P300的振幅最大的波形。振幅的计算方法可考虑例如在200毫秒至400毫秒的区间抽出山形的波形，使用其最高点的振幅等。
在步骤S83中，判定部15根据在步骤S83抽出的波形，选出P300的
振幅大小为第二的波形。
在步骤S84中，检测在步骤S82和S83中抽出的两个振幅的差。其差比阈值大时，前进至步骤S84，比阈值小时前进至步骤S87。该振幅的差可以作为振幅为最大的用户的选择项的候补与其它选择项相差到何种程度、即以何种程度在明确地想选择的选择项中观察到了 P300的波形的指标来利用。
就脑波而言，其起伏多、也易受到噪声的影响。因而可以设想，在受到噪声的影响或偶尔成为与P300类似的形状时，可以观察到包含真正的P300的事件相关电位和包含与P300类似的形状的事件相关电位这两个事件相关电位，振幅的1位和2位的差变小。这时，认为2位是正解的可能性高。
另外认为，振幅的差可以实验性地确定为妥当的值，差的大小例如为数UV，更具体地说，可以使用2UV等。另外，不根据差的绝对值而根据振幅的大小之比也可以判定，也可以将观察到1位的振幅为何％以上的振幅作为指示。例如只要在2位振幅比1位振幅的80%大时判定为差较小，为80%以下时判定为差较大即可。该值也可以在实验中确定为妥当的值。
步骤S85及步骤S87表示用判定部15的处理结果表示的可靠度的高低。
步骤S85中，作为在步骤S84中判定为振幅差较大的结果，意味着可靠度高。所谓1位和2位的振幅差较大的情况，可认为是P300的波形在
全部选择项中突出其一，P300的波形正确地出现。由此，可以说该波形的可靠度较高。可靠度高时，只要在错误推定检测步骤S40中，进行尽可能难以检测错误推定的信号的设定即可。在错误推定检测步骤的后期阳性电位的有无判定中，也使用脑波，所以有噪声混入的可能性，调节后期阳性电位的检测容易度，关系到修正装置3的整体的效率提高。
因此，在步骤S86中，将错误推定检测步骤S40的后期阳性检测的阈值设定为较高的值。阈值例如与用于后期阳性电位检测的基准的振幅大小等相对应。提高阈值时，就会判定只有在振幅较大的情况下产生后期阳性电位。由此，后期阳性电位不容易进行检测，即使因一些噪声的影响观察到与后期阳性电位类似的波形，也就无法检测出后期阳性电位。
就步骤S87而言，作为在步骤S84中判定为振幅差小的结果，意味着P300检测的可靠度低。这是因为可以认为用户10实际希望的选择项为2位的选择项的可能性也高。
因此在步骤S88中，与步骤S86相反，将后期阳性电位的阈值设定为较低的值，容易检测出后期阳性电位，由此能尽量不放过错误推定时的后期阳性电位反应。
这样，根据在脑波IF装置2中储存的事件相关电位的波形的形状特征，可以提高判定部15的可靠度。
另外，在本实施方式中，可靠度的判定使用了振幅的差，只要根据以选择项候补的1位和2位是明显不同还是类似的信息为基础，计算出可靠度即可。例如，即使使用1位和2位或1位以外的波形的类似度、或使用与标准的P300的模板的相关系数，也可以同样地进行可靠度的判别。
这样，通过对判定部15的检测后期阳性电位成分的检测的阈值也进行调节，错误推定时的判定更加精确，进一步提高接口的使用容易度。
以上，对于上述的实施方式1及2的任一个，使用流程进行了说明的处理都可以作为计算机执行的程序来实现。这种计算机程序被记录在CD-ROM等记录介质中作为制品在市场上流通，或者，通过因特网等电通信电路来传输。去除输出部14的脑波IF装置2的整体及修正装置3作为执行计算机程序的通用的处理器(半导体电路)来实现。或者，作为这种计算机程序和处理器一体化的专用处理器来实现。 产业上的可利用性
本发明的修正装置3，在设备控制使用脑波接口的系统中，在基于脑 波的用户希望的选择中存在错误的各种场面，作为候补所推定的选择项可 修正为新的选择项，由此可进行广泛应用。
权利要求
1、一种修正装置，其被编入脑波接口系统，其中，所述脑波接口系统具有身体信号测量部，其测量并储存用户的脑波信号；解析部，其对所述脑波信号包含的事件相关电位进行解析；推定部，其根据所述脑波解析部的解析结果，推定用户希望的选择项；输出部，其向用户提示由所述推定部推定出的选择项，所述身体信号测量部测量以向所述用户提示所述选择项的时点为起点的所述用户的脑波信号，所述修正装置具备判定部，其根据所述选择项推定后所取得的所述脑波信号包含的事件相关电位，判定所推定的所述选择项的正误；修正部，在判定为所推定的所述选择项错误时，根据在所述选择项的推定前储存的所述事件相关电位，修正所推定的所述选择项，根据修正后的选择项指示设备动作。
2、 如权利要求1所述的修正装置，其中，所述判定部根据所述选择 项推定后所取得的所述脑波信号中的事件相关电位在600毫秒附近的阳性 波形，对所推定的所述选择项的正误进行判定。
3、 如权利要求2所述的修正装置，其中， 所述判定部保持用于判定所述选择项的正误的阈值； 所述判定部根据所述选择项推定后所取得的所述脑波信号中的事件相关电位在600毫秒附近的阳性振幅的大小是否在所述阈值以上，对所推 定的所述选择项的正误进行判定。
4、 如权利要求2所述的修正装置，其中， 所述判定部保持用于判定所述选择项的正误的阈值；并且，所述判定部对于在所述选择项推定前取得的所述脑波信号、即 对应所推定的所述选择项的提示而测量的事件相关电位及对应其他的选 择项的提示而测量的事件相关电位，根据300毫秒附近的特征的差异，改 变所述阈值。
5、 如权利要求4所述的修正装置，其中，所述判定部对于对应所推定的所述选择项的提示而测量的事件相关电位及对应其它选择项的提示而测量的事件相关电位，根据300毫秒附近 的顶点振幅的大小的差异，改变所述规定的阈值。
6、 如权利要求5所述的修正装置，其中，所述判定部为了判断所述顶点振幅的大小的差异而保持基准阈值； 所述判定部在所述顶点振幅的大小比所述基准阈值大时，把用于判定 所述选择项的正误的阈值变化得更大。
7、 如权利要求1所述的修正装置，其中，所述修正部使用在所述选择项推定前取得的、对应各选择项的提示而 测量的事件相关电位，修正所述选择项。
8、 如权利要求7所述的修正装置，其中， 在所述选择项推定前， 所述输出部顺次提示多项选择项；所述身体信号测量部储存以各选择项的提示为起点而分别测量的所 述用户的脑波信号；所述解析部将对应各选择项的所述脑波信号中的事件相关电位中、对 应振幅最大的事件相关电位的选择项推定为所述用户希望的选择项；所述修正部采用对应各选择项的所述脑波信号中的事件相关电位的、 对应振幅大小为第二的事件相关电位的选择项，作为所推定的所述选择项 的修正候补。
9、 如权利要求1所述的修正装置，其中，在通过所述判定部判定出 所推定的所述选择项正确时，所述修正部对所推定的所述选择项不进行修 正。
10、 一种修正方法，是在脑波接口系统中所执行的修正方法，其中， 所述脑波接口系统具有身体信号测量部，其测量并储存用户的脑波信号； 解析部，其分析所述脑波信号包含的事件相关电位； 推定部，其根据所述脑波解析部得到的分析结果，推定用户希望的选 择项；输出部，其向用户提示由所述推定部推定出的选择项， 所述身体信号测量部以向所述用户提示所述选择项的时点为起点，测 量所述用户的脑波信号， 所述修正方法包含根据在所述选择项推定后取得的所述脑波信号所包含的事件相关电 位，对所推定的所述选择项的正误进行判定的步骤； .在判定出所推定的所述选择项错误时，根据在所述选择项推定前储存 的所述事件相关电位，对所推定的所述选择项进行修正的步骤；根据修正后的选择项指示设备动作的步骤。
11、 一种计算机程序，在被编入脑波接口系统的修正装置中执行，其中，所述脑波接口系统具有身体信号测量部，其测量并储存用户的脑波信号； 解析部，其分析所述脑波信号包含的事件相关电位； 推定部，其根据所述脑波解析部得到的分析结果，推定用户希望的选 择项；输出部，其向用户提示由所述推定部推定出的选择项； 所述身体信号测量部测量以向用户提示所述选择项的时点作为起点的所述用户的脑波信号，所述计算机程序使所述修正装置的计算机执行以下步骤 根据在所述选择项推定后取得的所述脑波信号所包含的事件相关电位，对所推定的所述选择项的正误进行判定的步骤；在判定出所推定的所述选择项错误时，根据在所述选择项推定前储存的所述事件相关电位，对所推定的所述选择项进行修正的步骤； 根据修正后的选择项指示设备动作的步骤。
全文摘要
本发明提供一种修正装置，其被编入脑波IF系统，利用脑波接口(IF)对用户希望的选择项进行判定，根据脑波检测出选择项的判定错误。在检测出判定错误时，根据用于选择项判定的脑波信息，对选择项进行修正。脑波IF系统具有身体信号测量部、对用户的脑波信号包含的事件相关电位进行解析的解析部、根据解析结果推定用户希望的选择项的推定部、向用户提示由推定部推定的选择项的输出部。身体信号测量部以向用户提示选择项的时点为起点，测量用户的脑波信号。修正装置具备判定部，其根据选择项推定后所取得的脑波信号包含的事件相关电位，判定所推定的选择项的正误；修正部，在所推定的选择项为错误判定时，根据选择项推定前的事件相关电位，修正所推定的选择项，根据修正后的选择项指示设备动作。
文档编号G06F3/01GK101652740SQ20088001131
公开日2010年2月17日 申请日期2008年10月28日 优先权日2007年10月29日
发明者森川幸治, 足立信夫 申请人:松下电器产业株式会社