决定脑波识别与否的装置及方法

专利名称：决定脑波识别与否的装置及方法
技术领域：
本发明涉及一种利用用户的脑波用户能够操作设备的接口(脑波接 口)系统。更具体而言，本发明涉及一种为了准确地分析用户的意图因而 实时测量使用脑波接口时的用户的脑波，并采用其频率判定用户是否在观 看菜单项目的技术。
背景技术：
近年来，由于电视、移动电话、PDA (Personal Digital Assistant)等 各种信息设备得到普及，并进入到人们的生活中，所以，用户在平时生活 中的很多情形下需要操作信息设备。通常，用户用手借助按钮等输入机构 (接口部interface section)输入指令，来实现设备的操作。但是，例如 当作家务、育儿或驾驶时等，在两手因设备操作以外的任务而无法空闲的 状况下，难以实现利用接口部的输入，无法进行设备的操作。因此，想要 在所有情况下能够操作信息设备的用户需求在不断高涨。
针对这样的需求，正在开发一种利用了用户的生物体信号的输入机 构。例如在非专利文献l中，公开了利用脑波的事态关联电位来识别用户 想要选择的选择项的脑波接口。若对非专利文献1记载的技术进行具体说 明，随机对选择项高亮显示，以选择项被高亮显示的时刻为起点，利用约 300ms后出现的事态关联电位的P3成分，实现了用户想要选择的选择项 的识别。通过该技术，用户能够在不使用手的情况下确定想要选择的选择 项。
这里，"事态关联电位"是指时间上与外部或内部事态相关联而产生 的脑的暂时性电位变动。在脑波接口，利用对视觉的刺激而得到的事态关 联电位作为外部事态。例如，如果利用对视觉刺激的事态关联电位中的所 谓被称为P3成分的成分，则可以进行频道的切换、希望视听的节目的类 型选择、音量的调整等处理。"P3成分"是指事态关联电位中与听觉、视
7觉、体性感觉等感觉刺激的种类无关，从标的剌激提示后250ms到500ms 的时间段出现的阳性成分。
为了将事态关联电位用于接口，重要的是以高的精度识别对象的事态 关联电位(例如P3成分)。因此，需要高精度测量生物体信号、及通过 恰当的识别方法高精度地识别测量出的生物体信号。
识别率低的原因分为两类。第一个原因在于，脑波接口所采用的脑波 成分(P3成分等)的信噪比(S/N)低，识别方法的精度低，因此实现不 了高精度的识别。对于这个原因，混入脑波的噪音的除去方法、精度高的 识别方法分别正在开发。
例如，在专利文献l中，公开了一种技术，采用带通滤波器在脑波所 包含的噪音中将以与用商用电源噪音等识别对象(事态关联电位)的频率 不同的频率混入的噪音去除之后，进行识别，使识别率提高。并且，在专 利文献2中，公开了将含有眼电的试行从识别对象中除去使识别率提高的 技术，作为将在单纯的频率滤波器中难以去除的由眼电等生物体所导致的 噪音去除的技术。
识别率低的第二个原因在于，例如由于因被实验者的状态被实验者的 脑波中最初不会出现作为识别对象的脑波成分，因此无法识别。对于这个 原因，在以往的实验室条件下的实验中采用如下方法，通过准备排除干扰 的实验室并提示被实验者集中于课题，或者通过使确认键按下等来统一控 制被实验者的状态，从而使之稳定地出现反应。
专利文献l:国际公开第2005/001677号文本
专利文献2:特开平10—146323号公报
非专利文献l:工7二二工々.K、y于y (EmanuelDonchin)、其他 两位、"The Mental Prosthesis: Assesing the Speed of a P300—Based Brain —Computer Interface " 、 TRANSACTIONS ON REHABILITATION ENGINEERING 2000、 Vol.8、 2000年6月
在利用脑波作为家庭通常采用的信息设备的操作接口的情况下，并非 限于用户始终集中于选择菜单的课题。例如，尽管提示了脑波接口的画面， 但是还会产生用户对此以外的事情感兴趣而不看菜单的状况。在这样的状 况下，由于识别对象的脑波成分最初不会出现，因此无法进行基于脑波的识别。这正符合上述的识别率低的第二个原因。
在用户没有看菜单项目的情况下，即使用户要选择的菜单项目被高亮
显示也不会出现P3成分。但是，在偶然混入了与P3成分相似的波形的噪 音的情况下，会产生P3成分的误识别。因脑波的识别率降低，从而用户 不想选的菜单项目会被选择，利用了脑波接口的脑波识别无法正确工作。 设想这样的不适当识别在日常测量脑波并利用于接口的状况下会频繁产生。
上述的问题，在实验室条件下未被设想，而在家庭通常采用的信息设 备中采用脑波接口才会被识别。像在实验室条件的实验中采用的那样在所 有的一般家庭中设计统一控制被实验者的状态并使脑波反应稳定出现的 环境，会妨碍轻松使用脑波接口，是不可能的。因此，需要不会使脑波的 识别率降低的其他方法。

发明内容
本发明的目的在于，在具备利用了脑波的接口的系统中，根据用户脑 波的频率判定用户是否观看了菜单，从识别对象中除去用户未在观看菜单 的情况，从而使因误识别所产生的用户不想要的设备动作减少。
本发明的装置是一种用于调整识别方法的装置，其在脑波接口系统中 用于对在脑波接口部中采用的脑波信号的识别方法进行调整，所述脑波接
口系统具有以视觉方式提示设备的操作菜单的输出部；取得用户的所述 脑波信号的生物体信号测量部；和经由所述输出部以特定的切换频率提示 所述操作菜单的菜单项目，基于预先保持的所述脑波信号识别在所述菜单 项目被高亮显示后的所述脑波信号中含有的事态关联电位的成分，并基于 识别出的所述事态关联电位使所述设备动作的所述脑波接口部，所述用于 调整识别方法的装置具备频率分析部，其计算所述脑波信号的频率功率 为极大的频率作为代表频率；和决定部，其基于所述菜单项目的切换频率 以及所述脑波信号的代表频率的相对量，判定所述代表频率是否与所述菜 单项目的切换关联，并根据所判定的结果，对所述脑波接口部输出用于对 在所述脑波接口部中采用的所述脑波信号的识别方法进行调整的指示。 所述决定部，在判定所述代表频率与所述菜单项目的切换关联的情况
9下，对所述脑波接口部指示采用所述脑波信号作为识别对象，在判定所述 代表频率与所述菜单项目的切换不关联的情况下，对所述脑波接口部指示将所述脑波信号从识别对象中除去。所述决定部，基于所述菜单项目的切换频率与所述脑波信号的代表频 率之间的差值、或者所述菜单项目的切换频率与所述脑波信号的代表频率 之间的比值，判定所述代表频率是否与所述菜单项目的切换关联。所述频率分析部，基于在比所述菜单项目被高亮显示的时刻早规定的 秒数的时刻以后取得的脑波信号，计算所述代表频率。所述频率分析部，计算在包含所述菜单项目的切换频率在内的规定频 带中频率功率为最大的频率作为所述代表频率。所述频率分析部，计算在0.5Hz以上的频带中频率功率为最大的频率 作为所述代表频率。所述决定部，基于从0.5Hz至9Hz的频带中选择的所述切换频率以及 所述脑波信号的代表频率的相对量，判定所述代表频率是否与所述菜单项 目的切换关联。所述决定部，在所述菜单项目的切换频率与所述脑波信号的代表频率 之间的差值为0.2Hz以上时，判定所述代表频率与所述菜单项目的切换不 关联。所述决定部对所述脑波接口部指示将所述脑波信号从识别对象中除 去，从而所述脑波接口部将所述设备的动作状态返回前一个状态。在所述脑波接口部以互不相同的多种切换频率分别提示多种操作菜 单的菜单项目时，所述决定部，基于所述多种切换频率的每一个与所述脑 波信号的代表频率的相对量，判定所述代表频率是否与某个操作菜单的菜 单项目的切换关联。所述决定部，基于按照相互不是整数倍的关系的方式设置的所述多种 切换频率的每一个与所述脑波信号的代表频率之间的相对量，判定所述代 表频率是否与某个操作菜单的菜单项目的切换关联。所述决定部，对所述多种切换频率的每一个与所述脑波信号的代表频 率之间的相对量中最小的相对量所对应的切换频率进行确定，判定所述代 表频率与以确定的所述切换频率提示的菜单项目的切换是否关联。所述决定部，对与所述多种切换频率的每一个对应的阈值进行保持， 所述决定部，在所述最小的相对量比与确定的上述切换频率对应的阈值小 时，判定所述代表频率与以确定的所述切换频率提示的菜单项目的切换关 联，当所述最小的相对量在与确定的所述切换频率对应的阈值以上时，判 定所述代表频率与以确定的所述切换频率提示的菜单项目的切换不关联。所述脑波接口部，保持用于对在所述菜单项目被高亮显示后的所述脑 波信号中含有的事态关联电位中是否含有P3成分进行识别的阈值，所述 决定部，在判定所述代表频率与所述菜单项目的切换不关联的情况下，使所述阈值的大小向难以检测事态关联电位的P3成分的一侧改变。本发明的方法是一种在脑波接口系统中用于决定是否使脑波接口部进行脑波信号的识别的方法，所述脑波接口系统具有以视觉方式提示设备 的操作菜单的输出部；取得用户的所述脑波信号的生物体信号测量部；和 经由所述输出部以特定的切换频率提示所述操作菜单的菜单项目，基于预 先保持的所述脑波信号识别在所述菜单项目被高亮显示后的所述脑波信 号中含有的事态关联电位的成分，并基于识别出的所述事态关联电位使所 述设备动作的所述脑波接口部，所述方法包括计算所述脑波信号的频率 功率为极大的频率作为代表频率的步骤；基于所述菜单项目的切换频率以 及所述脑波信号的代表频率的相对量，判定所述代表频率与所述菜单项目 的切换是否关联的判定步骤；在判定关联的情况下，对所述脑波接口部指 示采用所述脑波信号作为识别对象的步骤；和在判定不关联的情况下，对 所述脑波接口部指示将所述脑波信号从识别对象中除去的步骤。在所述脑波接口部以相互不同的多种切换频率分别提示多种操作菜单 的菜单项目时，所述判定步骤，基于所述多种切换频率的每一个与所述脑 波信号的代表频率的相对量，判定所述代表频率是否与某个操作菜单的菜 单项目的切换关联。所述判定步骤，对所述多种切换频率的每一个与所述脑波信号的代表 频率之间的相对量中的最小相对量所对应的切换频率进行确定，判定所述 代表频率与以确定的所述切换频率提示的菜单项目的切换是否关联。进一步包含准备与所述多种切换频率的每一个对应的阈值的步骤，所 述判定步骤，在所述最小的相对量比与确定的所述切换频率对应的阈值小时，判定所述代表频率与以确定的所述切换频率提示的菜单项目的切换关 联，当所述最小的相对量在与确定的所述切换频率对应的阈值以上时，判 定所述代表频率与以确定的所述切换频率提示的菜单项目的切换不关联。本发明的另一装置是一种用于调整识别方法的装置，在脑波接口系统 中用于对在脑波接口部中采用的脑波信号的所述识别方法进行调整，所述 脑波接口系统具有以视觉方式提示设备的操作菜单的输出部；取得用户的所述脑波信号的生物体信号测量部；和经由所述输出部以特定的切换频率提示所述操作菜单的菜单项目，基于预先保持的所述脑波信号识别在所 述菜单项目被高亮显示后的所述脑波信号中含有的事态关联电位的成分， 并基于识别出的所述事态关联电位使所述设备动作的所述脑波接口部，所述用于调整识别方法的装置具备频率分析部，其计算所述脑波信号的频率功率为极大的频率作为代表频率；和决定部，其基于所述菜单项目的切换频率以及所述脑波信号的代表频率的相对量，判定所述代表频率是否与 所述菜单项目的切换关联，在判定关联的情况下，判断所述用户在观看所 述菜单项目，在判定不关联的情况下，判断所述用户不在观看所述菜单项 目，并根据判断结果调整所述脑波接口部的所述脑波信号的识别方法 发明效果根据本发明的识别与否决定装置、方法及组装了识别与否决定装置的脑波接口系统，以在用户脑波的频率功率为极大的代表频率(ee)与菜单 项目高亮显示的切换频率(es)不同的情况下，判定用户没有观看菜单， 并从识别对象中除去的方法调整识别方法。这样，由于在日常测量脑波的 接口中因菜单项目的漏看而产生的误识别这样的问题消除了，因此能够维 持高识别率。从而，由于减少了因脑波的识别错误而引起的用户非意图的 设备动作，所以可实现脑波接口的操作性提高。


图1是表示脑波接口系统1的构成及利用环境的图。 图2是表示在脑波接口系统1中操作TV2，用户5收看想视听的频道 的节目时的例子的图。图3是表示本发明的脑波接口的第一通常处理步骤的例子(处理步骤A) 的流程图。图4是表示本发明的脑波接口的第二通常处理步骤的例子(处理步骤B) 的流程图。图5是表示实验步骤的图，(a)是表示设备的处理步骤的流程图， (b)是表示被实验者的动作步骤的流程图。图6 (a)是表示实际提示给被实验者的菜单以及选择指示的显示画面 的图，(b)是表示高亮显示的菜单项目的显示例的图。 图7是表示实验结果一例的曲线图。图8 (a)是表示每隔350ms切换菜单项目并高亮显示时(条件A)的 脑波的频率功率的图，(b)是表示在步骤S51提示选择指示刺激时(条 件B)的脑波的频率功率的图。图9是表示本发明的第一实施方式的脑波接口系统1的功能框图的结 构的图。图IO是表示第一实施方式的脑波接口系统1的处理步骤的流程图。 图11是表示判定用户5是否看到菜单项目的处理的详细步骤的流程图。图12是表示本发明的第二实施方式2的脑波接口系统2的功能模块 的构成图。图13是表示利用脑波接口系统2在大画面电视上提示两种菜单的例 子的图。图14是表示第二实施方式的脑波接口系统2的处理步骤的流程图。 图15是表示判定用户5看了菜单A、菜单B中的哪个，或者什么菜 单都没看的处理的详细步骤的流程图。图16是表示第三实施方式的脑波接口系统3的功能块的构成图。 图17是表示第三实施方式的脑波接口系统3的处理步骤的流程图。 图中1、 2、 3—脑波接口系统，5—用户，7—输出部，7a—画面，10 一识别与否决定装置，ll一代表频率分析部，12—决定部，21 —识别对象 决定部，31—识别方法调整部，50 —生物体信号测量部，IOO —脑波接口 部，200 —多菜单提示脑波接口部，300—识别参数可变脑波接口部，301 一P3识别用参数。
具体实施方式
下面参照附图，对本发明的脑波接口系统及组装到脑波接口系统中的 识别与否决定装置的实施方式进行说明。以下首先对脑波接口系统进行说明，然后说明识别与否决定装置的构 成及动作。图1表示脑波接口系统1的构成及利用环境。该脑波接口系统1与后 述实施方式1的系统构成对应地进行了例示。脑波接口系统1是用于提供利用用户5的脑波信号来操作TV2的接口 的系统。用户5的脑波信号由用户头部安装的生物体信号测量部50取得， 以无线或有线的方式发送给脑波接口部100。内置于TV2中的脑波接口部 100利用了构成脑波的一部分的被称为事态关联电位的成分来识别用户的 意图，进行频道切换等处理。图2表示在脑波接口系统1中操作TV2、由用户5观看想要视听的类 型节目时的例子。图2 (a)是脑波接口部100通过TV2的画面7a向用户提示的菜单的 例子。图2 (a)中，在画面7a—1 画面7a—4中分别表示了 "棒球"、 "天气预报"、"动画"、"新闻"等菜单项目被按顺序或随机高亮显示 的样子。在本说明书中，包括与图2 (a)所示的设备操作有关的选项群在内定 义为"菜单"，将构成菜单的各选项定义为"菜单项目"。并且，将切换 菜单项目的高亮显示的频度定义为"切换频率(es)"。例如，在一秒内 切换两次高亮显示的情况下，切换频率(es)为2Hz (周期为500ms)。 以下说明中，针对切换频率(es)为2.86Hz，周期为350ms的情况进行说 明。通过将菜单项目高亮显示，从而能够测量以将各个菜单项目高亮显示 的时刻为起点的事态关联电位。另外，也可以代替高亮显示，或在高亮显 示的同时以采用以辅助箭头的指示器提示菜单项目。图2 (a)表示高亮显 示的同时以指示器提示菜单项目的例子。图2 (b)示意表示以将菜单项目高亮显示的时刻为起点测量的用户的 脑波信号的事态关联电位。现在用户想看"天气预报"。在从画面7a—l至画面7a—4为止的各个画面对应的脑波信号201 204中，若用户观看 "天气预报"被高亮显示了的画面7a—2，则以"天气预报"被高亮显示 的时刻为起点在潜伏时间约400 450ms出现有特征的阳性成分(P3成 分)。若脑波接口部100识别该P3成分的出现，则能够选择用户想要选择 的菜单项目"天气预报"。在图2 (c)中，根据识别了P3成分的结果， 表示频道被切换至"天气预报"之后的画面7a—5。图3表示本发明的脑波接口的第一通常处理步骤的例子(处理步骤A)。在步骤S101中，脑波接口部100，提示例如包含4个菜单项目在内的 菜单(图2 (a)的左侧)和询问的语句(图2 (a)的右侧)。在步骤S102 中，脑波接口部100选择一个菜单项目。在步骤S103中，对通过步骤S102 选择的菜单项目高亮显示。在步骤S104中，脑波接口部100以在步骤S103中菜单项目被高亮显 示的时刻为起点，例如测量500ms的用户的事态关联电位。作为事态关联 电位提出的区间，如果包含在300 500ms出现的P3成分，则也可以是例 如800ms、 1000ms。在此，测量图2 (b)所示意性表示的脑波信号的事态 关联电位201 204。在步骤S105中，识别在步骤S104测量的事态关联电位中是否包含 P3成分。P3成分的识别，可以单纯地对波形的最大振幅或者波形的某个 区间的平均电位是否比预先设置的阈值大进行判定，也可以如专利文献2 记载那样，计算出与以预先按每个用户测量出的视觉P3成分的加法平均 波形建立的模板的相关系数。另外，阈值也可以是按每个用户决定。当步 骤S105为是的情况下，进入到步骤S106，在否的情况下返回到步骤S102， 选择下一个菜单项目。在步骤S106中，脑波接口部100执行与步骤S105所选择的菜单项目 对应的处理。由此，该菜单项目被选择、执行，显示图2 (c)所示的画面 7a—5。例如，如果是图2的例子，则选择天气预报，提示天气预报的节 目。根据这样的脑波接口系统1，例如即使在因作家务或育儿而两手不得空闲的情况下，用户也能够不使用手地操作TV2等设备。因此，能够格外地提高设备的操作性。但是，在将脑波用作接口的情况下，并非限于用户始终看着菜单。例 如，当并行进行家务或育儿等与采用脑波接口的设备的操作不同的作业 时，接口难以始终注视画面。另外，如上述，在菜单项目被高亮显示的时刻，用户没有看菜单的情况下，在步骤S103没有测量到P3成分。这样的 情况下，在步骤S104中取得的事态关联电位中混入噪音(例如眼电)显 示与P3成分相似的波形的情况下，在步骤S105中判定存在P3成分，由 于步骤S106中可能会执行用户非意图的菜单项目的选择，因此优选进行 识别精度更高的处理。作为不同的识别方法，例如还可以对各个菜单项目被高亮显示之后的 事态关联电位进行比较，采用选择出现P3成分的可能性最高的处理步骤 (处理步骤B)。在采用处理步骤B的情况下，由于通过事态关联电位的 比较可选择与P3成分接近的波形，因此即使混入一点噪音也能够实现设 备动作。图4表示本发明的脑波接口的第二通常处理步骤的例子(处理步骤 B)。另外，关于执行与图3所示的脑波接口的处理步骤A相同的处理的 步骤，附加相同的参照符号，并省略其说明。在步骤S107中，根据所有的选择项目是否至少被高亮显示过一次而 产生分支。在步骤S107中为是的情况下，进入步骤S108，为否的情况下， 返回步骤S102，选择接下来的菜单项目。在步骤S108中，计算步骤S104中取得的每个菜单项目的事态关联电 位中含有P3成分的可能性，按每个项目进行比较识别最接近的菜单项目 为存在P3成分。每个项目的事态关联电位含有P3成分的可能性，可以如 图3中的步骤S104那样，单纯选择最大振幅为最大的作为波形的最大振 幅值，也可以求出某个区间的平均电位的大小来选择平均电位最大的。另 外，还可以选择与模板的相关系数的值较大的。在步骤S108中为是的情 况下，进入步骤S106，为否的情况下返回步骤S102，选择接下来的菜单 项目。这样，通过对每个菜单项目的事态关联电位进行比较，选择出现P316成分的可能性最高的选择项目，从而实现即使混入一点噪音也能识别的识 别方法，但在采用处理步骤B的情况下也同样，在用户没有观看菜单的情况下，也会选择含有P3的某个菜单项目。从而，由于仍然有可能执行用户非意图的菜单项目的选择，因此优选执行识别精度更高的处理。用户非意图的菜单项目的选择，都是因设备方无法判定用户是否观看 了菜单项目而发生的。如果能够判定是否观看了菜单，通过在没有观看的 情况下从识别对象中除去等识别方法的调整，从而能够将这些非意图的设 备动作取消。本申请的发明者，通过分析利用脑波接口的用户的脑波的频率，从而 发现能够判定用户是否正观看菜单。这样，不用新添加视线检测装置等，便能够实现用户没有观看菜单的检测。以下，参照图5 图7针对本申请 的发明者们实施的实验以及实验结果进行说明。图5为表示实验的流程的图。图5 (a)为表示实验中的设备方的流程 的刺激以及事态关联电位测量的步骤的图，图5 (b)为表示在实验过程中 被实验者实施的课题的步骤的图。图5 (a)以及(b)的流程是并行执行 的。接受图5 (a)的设备动作，被实验者执行依据图5 (b)的动作。并 且，设备根据图5 (a)来测量结果发生的事态关联电位。首先，针对图5 (a)进行说明。在步骤S50中，设备开始被实验者的脑波测量。在步骤S51中，设备提示4个菜单项目以及被实验者选择哪个菜单项 目的选择指示。图6 (a)表示实际提示给被实验者的菜单以及选择指示的 显示画面。本申请的发明者们的实验中，提示了4秒钟的图6(a)的显示。 以下，将发出选择指示的选择项目称作"目标"。另外，接收该提示后被实验者开始动作。从图5 (a)的步骤S51向图 5 (b)的步骤S61的箭头，表示与步骤S51的设备动作对应的被实验者的 动作的开始时刻。在步骤S52中，设备随机选择菜单项目。在步骤S53中，将步骤S52所选择的菜单项目高亮显示350ms。艮卩， 菜单项目的高亮显示以切换频率es二2.86Hz被切换。图6 (b)表示被高亮 显示的菜单项目的显示例。设备计算将菜单项目高亮显示的总次数ri并进行保存。在步骤S54中，设备，在步骤S53以菜单项目被高亮显示的时刻为基 准提出规定区间的脑波，取得事态关联电位。本实验中，提出从高亮显示 前100ms至高亮显示后1000ms为止的区间的事态关联电位。在步骤S55,设备判定菜单项目的高亮显示次数n是40次以下还是比 40次多。在高亮显示次数n为40次以下的情况下，设备返回步骤S52的 处理，重复菜单项目的高亮显示。另一方面，若高亮显示次数n比40次 多，则设备结束处理。通过上述处理，在统计上按每个菜单项目分别前后IO次执行高亮显 示。另外，该处理次数，是为了在实验上对事态关联电位反复进行相加平 均，以确认成分的出现所需要设置的。实际上在安装作为脑波接口系统的 情况下，不一定需要设置这样的处理次数。通过上述的步骤S50至步骤S55，在每隔350ms将高亮显示的菜单项 目切换的条件下，设备能够试行取得40个以在各个菜单项目逐个高亮显 示IO次左右时的高亮显示为起点的被实验者的事态关联电位。接着，针对图5 (b)进行说明。在步骤S61中，被实验者，观看由图5 (a)的步骤S51所提示的菜单 以及选择指示。被实验者观看选择指示，确认目标。这就对应于在实际采 用脑波接口的情况下用户想要实现的设备动作。在步骤S62中，被实验者注视菜单，观看由图5 (a)的步骤S52至步 骤S55所提示的菜单项目高亮显示，等待选择对象的菜单项目被高亮显示。在步骤S63中，被实验者，判断在步骤S61目标是否被高亮显示。当 判断目标被高亮显示时，则进入步骤S64，当判断没有被高亮显示时，则 返回步骤S62。步骤S64中，是被实验者心算目标被高亮显示的次数的步骤。所谓心 算，是指在心中计算数量。 '在步骤S65中，被实验者，判断高亮显示的切换是否结束，当由设备 进行的菜单项目的切换处理结束时，结束实验，当菜单项目的切换处理在 继续时，重新开始从步骤S62开始的动作。另外，脑波是从头皮上Fz、 Cz、 Pz (国际10—20法)的三个部位起18以耳朵为基准测量的。并且，视觉刺激提示在被实验者眼前lm的19英寸 LCD显示器上。图7为表示实验结果的一例的曲线图。该曲线图表示在电极位置Pz 测量的事态关联电位的加算平均波形。实线的波形a，表示目标在0ms被 高亮显示后所得到的事态关联电位的加算平均波形。另一方面，虚线的波 形b表示在目标以外的项目被高亮显示后的事态关联电位的加算平均波 形。另外，曲线图的横轴为时间(单位ms)，纵轴为电位(单位nV)。 菜单项目是按每350ms切换的。如与目标关联的图7的实线波形a所示，在目标的高亮显示后300至 400ms出现阳性成分。这是一般的P3成分，认为与非专利文献1的结果 一致。进而，本申请的发明者们发现，在图7的实线、虚线若共同存在周期 性的特征，具体而言双方的波形存在以大约350ms的间隔出现阴性的极值 这样的特征。并且，着眼于该特征实施了脑波的频率分析。图8 (a)表示在将菜单项目每隔350ms切换进行高亮显示时(条件A) 的脑波的频率功率，图8 (b)表示在步骤S51提示了选择指示刺激时(条 件B)的脑波的频率功率。两者都是横轴表示频率(单位Hz)，纵轴表 示频率功率(单位|nV*|lV/Hz)。由图8 (a)可知，能理解在条件A下频率功率存在特征性的峰值。 与该峰值对应的频率(ee)为2.74Hz。如上述，与条件A对应的菜单项 目的切换频率(es)为2.86Hz，与脑波的频率功率为极大的频率大致一致。 另一方面，根据图8 (b)，在条件B下频率功率中不存在特征性的峰值。综合这些，认为由于菜单项目高亮显示的切换频率(es)对脑波的频 率会产生影响，因此事态关联电位产生了周期性的变化。因此，通过计算 脑波的频率功率为极大的频率(ee)，从而可判定用户是否观看了菜单。另外，可知若提示在相同位置亮灭的视觉刺激，则被称作SSVEP的 成分与视觉刺激的亮灭同步出现在脑波中(XiaorongGao等，ABCI-Based Environmental Controller for the Motion-Disabled, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003)。因此，本申请的发明者们，认为通过本申请的发明者们的实验所得到的结果与SSVEP不同。其原因在于，因为本次实验中的视觉刺激是高亮显示的切换，不是在相同位置亮灭。进而，作为其他原因，在本次的实验 中，被实验者处于等待对象的菜单项目(目标)被高亮显示的状态，与SSVEP的实验那样的仅观看亮灭的刺激的状态不同。即，本申请的发明者 们的实验与SSVEP的实验的设置不同。接着，详细说明本发明的实施方式中的识别与否决定装置。识别与否 决定装置，计算脑波接口使用时的用户脑波的频率功率为极大的频率，作 为代表频率(ee)。然后，基于代表频率(ee)与菜单项目的切换频率之 间的相对量，判定代表频率(ee)是否与菜单项目的切换关联。所谓"基于相对量"，是指例如根据频率(ee)与菜单项目的切换频率之间的差值，或者频率(ee)与菜单项目的切换频率之间的比值是否在阈值以下还是比阈值大这样的意思。如果是阈值以下，则判定代表频率(ee)与菜单项目的切换频率关联，即用户观看了菜单。结果，采用脑波信号作为脑波接口中的识别对象。另一方面，当比阈值大时，则判定代表频率。e)与菜单项目的切换 频率不关联，用户没有观看菜单。结果是，脑波信号被从脑波接口中的识 别对象中除去。这样，能够减少用户不想要的设备动作。(第一实施方式)图9表示本实施方式的脑波接口系统1的功能框图的结构。脑波接口 系统l，具有输出部7、识别与否决定装置IO、生物体信号测量部50、 和脑波接口 (IF)部100。图9也表示识别与否决定装置10 (以下称作"决 定装置100")的功能框图。用户5的框图是为方便说明而表示的。另外， 输出部7，表示向用户5提示菜单等的画面。虽然用户5仅通过注意观看由脑波接口部100向输出部7提示的与设 备操作有关的菜单项目是否被高亮显示，不进行操作输入，然而设备根据 经由脑波接口部100选择的菜单项目工作。决定装置100，以有线或者无线的方式与生物体信号测量部50以及脑 波接口部100连接，进行信号的发送以及接收。在图9中，生物体信号测 量部50以及脑波接口部100，与决定装置10是分开的，但这只是一例。也可以将生物体信号测量部50以及脑波接口部的一部分或者全部设置于决定装置10内。生物体信号测量部50，是检测用户5的生物体信号的脑波计，测量脑 波作为生物体信号。脑波计可以是图1所示这样的头置式的脑波计。用户 5事先安安装脑波计。当被安装在用户5的头部时，在生物体信号测量部50配置电极以与 用户头部的规定位置接触。电极的配置，处于例如Pz (正中头顶)、Al (耳朵)以及用户5的鼻根部。电极最低只要2个即可，例如仅在Pz和 Al便能够进行电位测量。该电极位置由信号测定的可靠性以及安装的容 易度等决定。由此，生物体信号测量部50能够测定用户5的事态关联电位。所测 定的用户5的脑波，按照计算机能够处理的方式被取样，并被发送给脑波 接口部IOO以及决定装置IO。另外，为了降低混入脑波的噪音的影响，生 物体信号测量部50中所测量的脑波被事先进行例如0.05至20Hz的带通 滤波处理，以菜单项目高亮显示前的例如100ms的平均电位修正基线。脑波接口部IOO，向用户提示与设备操作有关的菜单项目，将由生物 体信号测量部50所测量的脑波提出进行识别。然后，根据识别结果控制 设备动作。脑波接口部IOO的基本动作与上述相同。如果利用脑波接口部IOO进行控制的设备是例如图1所示的TV2，则 菜单经由输出部7被提示给用户5。如图2 (a)所示，菜单项目以规定的 切换周期以es (例如2.86Hz)逐个被高亮显示。0s可以是2Hz、 3Hz、 5Hz。脑波接口部IOO，对识别执行标记101进行保持。识别执行标记101，是为了决定是否识别由生物体信号测量部50所测 量的用户5的脑波所包含的事态关联电位的特征而参照的。例如，当识别 执行标记101为"1"时，脑波接口部100，采用所得到的事态关联电位作 为识别对象。另一方面，当识别执行标记101为"0"时，脑波接口部100， 将所得到的事态关联电位从识别对象中除去。识别执行标记IOI，是采用 后述的方法根据来自决定装置10的指示而设置的。另外，"0"以及"1" 各值所对应的动作是一例，也可以采用其他例。当识别执行标记101设置为"1"时，脑波接口部100，以菜单项目被21高亮显示的时刻为起点，从由生物体信号测量部50所测量的用户5的脑波中提出例如比P3成分的峰值潜伏时间更长的500ms的脑波，对波形进 行识别。提出脑波的时间，也可以是还考虑从波形峰值恢复的部分的 1000ms的时间。识别事态关联电位的方法，可以是单纯对波形进行阈值 处理，也可以是如专利文献2所记载的那样计算与以事先按每个用户测量 的P3成分的相加平均波形所制作的模板的相关系数。接着，说明本实施方式的决定装置10的详细结构。本发明的一个主 要特征在于决定装置10的结构以及动作。决定装置IO，具有代表频率分析部11和决定部12。 代表频率分析部11，计算频率功率具有特征峰值的频率(代表频率 (ee))，并发送给决定部12。以下，具体说明代表频率(ee)的计算方 法。首先，代表频率分析部11，通过例如快速傅立叶变换(Fast Fourier Transform:FFT)计算由生物体信号测量部50所测量的用户5的脑波的频 率功率。代表频率分析部ll，以脑波接口部ioo对菜单项目进行高亮显 示的时刻为基准，提出例如前后1秒左右的脑波计算频率功率。另外， 提出脑波的时间窗的长度，可以根据高亮显示的切换频率而改变。为了 使频率分析的精度提高，也可以按照产生2次以上的高亮显示的方式设 置时间窗的长度。接着，代表频率分析部11，根据所计算的频率功率中频率功率的极大 值求出代表频率(ee)。求出频率功率的极大值的范围，只要是例如直流成分和a波等自发脑 波的影响小的范围(1Hz 8Hz的频带或者更宽的0.5Hz 9Hz的频带) 即可。或者，也可以从脑波接口部100中取得菜单项目高亮显示的切换 频率，并根据该频率的周边的频率功率求出。图8 (a)表示菜单项目高 亮显示的切换频率的周边土0.2Hz的频带A与0.5Hz 9Hz的频带B。作为频率功率的极大值，只要选择例如上述范围的所有极大值中的最大的值即可。进而，在频率功率中设置阈值(例如频率功率为4000 (pV*^iV/Hz))，以其阈值以上为条件设置即可。代表频率分析部ll， 由于可以将有特征的峰值特定作为频率功率的极大值，因此可以采用与22该极大值对应的频率作为代表频率(ee)。另外，频率功率的极大值根据0.5Hz 9Hz的频带决定，是指从 0.5HZ 9Hz中选择菜单项目高亮显示的切换频率(es)，即切换频率(es) 可变。0.5Hz的情况下，切换非常慢，另一方面9Hz的情况下切换非常快。 根据用户5的性别、年龄、熟悉度等的不同，也有如果菜单项目高亮显示 的切换不慢的话无法实际使用的情况，也有即使很快也能充分对应的情 况。因此，可以从0.5Hz 9Hz的频带中选择菜单项目高亮显示的切换频 率(es)，同时频率功率的极大值也可以根据0.5Hz 9Hz的频带决定。另外，脑波IF部100如果进行两次左右的菜单项目的高亮显示，则 由于菜单项目高亮显示的周期确定，因此频率功率的极大值会出现有意的 差值。决定部12，计算从代表频率分析部11接收的代表频率(ee)与从脑 波接口部100接收的菜单项目切换频率(es)之间的相对量(差值或者比 值)，判定两者是否相互关联。是否相互关联的判定，只要基于由取样频率、频率分析的时间窗决定的频率分析精度，例如根据es与ee之间的差值是否在0.2Hz以内，或者6s与0e之间的比值是否在0.93以上1.07以下的范围内而决定即可。以下对利用差值进行判定的情况进行说明。另外， 阈值也可以不是固定值，而可以是变化的。在判断两者相互关联的情况下，决定部12什么都不执行。另一方面， 在判断两者不相互关联的情况下，决定部12，调整脑波接口部100中的脑 波识别方法。因为可以判断用户5未观看菜单。脑波识别方法的调整，是指例如指示将脑波接口部ioo保持的识别执 行标记101设置为表示从识别对象中除去的值"0"。另外，在上述说明 中，虽然说明了在判断两者相互关联的情况下决定部12什么都不执行， 但例如也可以指示将识别执行标记101设置为"1"，使之采用作为识别 对象。通过按照这样构成，从而由于能够以脑波的频率(ee)为指标判定用 户5是否观看了菜单项目的高亮显示，因此能够进行将用户5没有观看菜 单的情况下的试行从识别对象中除去这样的识别方法的调整。从而，减少 用户5非意图的设备动作，能够实现对于用户5而言容易使用的脑波接口 。接着，参照图10的流程图，说明在图9的脑波接口系统1中执行的 整体处理步骤。图10表示本实施方式的脑波接口系统1的处理步骤。在该脑波接口系统1中设置以下功能进行用户5是否观看菜单的判定，将没有观看菜 单的情况从识别对象中除去。另外，图10所示的步骤S101至步骤S106，与图3所示的脑波接口 的处理步骤相同。从而，以下省略这些说明。与图3的脑波接口的处理步骤之间的差异在于，设置了判定用户5是 否观看了菜单项目的高亮显示的步骤S20。在步骤S20中，决定装置IO，根据生物体信号测量部50所测量的用 户5的脑波的频率判定用户5是否观看了菜单项目的高亮显示。具体的处 理参照图ll后述。若通过决定装置10判定用户5观看了菜单(步骤S20中为是)，则 处理进入步骤S105。在步骤S105中，脑波IF部100，实施在步骤S104 测量的事态关联电位中是否出现P3成分的识别。另一方面，若通过决定装置10判定用户5未观看菜单(步骤S20中 为否)，则脑波IF部100不进行事态关联电位的识别处理，返回步骤S102 的处理。然后，脑波IF部100针对接下来的菜单项目高亮显示选择高亮 显示的项目。接着，参照图11说明步骤S20的详细处理。图11表示判定用户5是否观看了菜单项目的处理的详细步骤。该处 理是通过构成决定装置10的代表频率分析部11和决定部12进行的。在步骤S21中，代表频率分析部ll，提出由生物体信号测量部50所 测量的用户5的脑波。提出脑波的时刻，可以是例如脑波接口部100提示 菜单的时刻，也可以是例如以每隔1秒的方式由代表频率分析部11单独 决定。另外，提出脑波的区间，可以是例如l秒，也可以是2秒、3秒、5 秒。在步骤S22中，代表频率分析部，通过快速傅立叶变换FFT计算由步 骤S21提出的用户5的脑波的频率功率。在步骤S23中，代表频率分析部11，计算由步骤S22计算的频率功率为极大的频率作为代表频率(ee)，并发送给决定部12。在步骤S24中，决定部12，从脑波接口部100接收菜单项目高亮显示的切换频率(es)，计算ee与es之间的差值。在步骤S25中，决定部i2，计算es与ee之间的差值，并判定该差值是否比阈值小。在差值比阈值小的情况下，进入步骤S26，在阈值以上的 情况下进入步骤S27。在步骤S26中，决定部12判定用户5观看了菜单，对脑波IF部100 什么都不执行。并且，决定部12，也可以指示脑波IF部100将脑波IF部 100保持的识别执行标记101设置为"1"。另一方面，在步骤S27中，决定部12判定用户5没有观看菜单，对 脑波IF部100指示将识别执行标记101设置为"0"。通过这样的处理，可以将作为使识别率低下的原因的用户没有观看菜 单时的识别处理的执行除去，能够实现用户非意图的设备动作的减少。另外，在本实施方式中，当用户没有观看菜单时，将该脑波信号从识 别对象中除去。但是，在用户未观看菜单的情况下，还可以使设备动作使 其动作状态返回一个或者一个以上状态之前。这种情况下，由于仅通过用 户视线离开菜单就可以将用户非意图的设备动作取消，因此脑波接口的操 作性格外提高。另外，不需要设置"返回"这样的菜单项目，代之可以设 置其他的菜单项目。进而此外，通过在用户没有观看菜单项目的情况下以 图像或者声音提示警报等能够检测没有观看菜单，由此可实现各种各样的 设备动作。通过在本实施方式的脑波接口系统1中设置决定装置10，从而能够根 据利用脑波接口的用户5的脑波的频率判定用户5是否观看了菜单项目的 高亮显示。从而，可进行在未观看菜单的情况下从识别对象中除去的识别 方法的调整，由于能够实现用户非意图的设备动作的减少，能够实现使用 容易的接口。(第二实施方式)在第一实施方式的脑波接口系统1中，对于脑波接口部100提示的一 种菜单(菜单项目为多个)，根据脑波接口系统使用时的用户脑波的频率的特征，判定用户是否在观看菜单项目，在未观看菜单项目的情况下从识 别对象中除去，从而实现了用户非意图的设备动作的减少。在上述的脑波接口中，由于将菜单项目随机性地高亮显示，因此至要 选择的菜单项目被高亮显示为止的时间与菜单项目的数目成比例增加。因 此，若考虑操作性则必须限制菜单项目的数目。因此，例如在可利用近年来正在普及的大画面电视这样的可图像显示 区域大的显示装置的状况下，通过在不同的位置同时提示多个菜单，从而 能够从众多菜单项目中在短时间内进行菜单项目的选择。若在一个画面上同时提示多个菜单，则由于各个菜单中菜单项目被高 亮显示，因此结果是在相同的时刻多个菜单项目被高亮显示。从而，首先 在对用户正观看哪个菜单进行确定之后，需要唯一决定用户想要的设备动 作。本实施方式的脑波接口系统中，对多个菜单分别单独设置菜单项目的 高亮显示的切换频率，对多个菜单项目各自的高亮显示进行切换。然后， 基于用户脑波的频率的特征，进行用户正在观看哪个菜单的判定。这样， 即使多个菜单被同时提示，且在相同时刻多个菜单项目被高亮显示的状态 下，也能够确定用户正观看哪个菜单。并且，能够基于事态关联电位判断 用户希望对所确定的菜单执行哪个菜单项目。这样便能够实现精度高的识 别。图12是表示本实施方式的脑波接口系统2的功能框图的构成。图12 还表示识别与否决定装置20的功能框图。用户5的框图是为了方便说明 而显示的。进而，图13表示本实施方式的脑波接口系统2是如何被利用的。艮P， 图13表示利用脑波接口系统2在大画面电视上提示两种菜单的例子。为了方便理解，首先说明图13所示的显示例。图13中，提示与TV 操作有关的菜单A，并提示与TV以外的设备的操作有关的菜单B。然后， 在菜单A中"频道选择"被高亮显示，在菜单B中，"照明"被高亮显 示。在本例中，高亮显示的切换，针对菜单A是以3Hz进行的，针对菜 单B是以5Hz进行的。在用户正观看菜单A的状况下，观测与3Hz相对 接近的代表频率(ee)，在用户正观看菜单B的状况下，观测与5Hz相对接近的代表频率(ee)。另外，在用户没有观看任何菜单的情况下，不观 测代表频率(ee)。如上述通过采用脑波接口提示多个菜单，从而能够简 单且确切地操作多个设备。
脑波接口系统2与第一实施方式的脑波接口系统1 (图9)的不同点 在于，代替第一实施方式的脑波接口部100具备多菜单提示脑波接口部 200，以及将识别与否决定装置20 (以下称作"决定装置20")的结构中 决定部12变更为识别对象决定部21。另外，关于脑波接口系统2中的构 成要素中与脑波接口系统1 (图9)相同的构成要素附加相同的参照符号 并省略其说明。
多菜单提示脑波接口部200 (以下称作"脑波IF部200")，对脑波 接口部100的功能进行扩展，能同时提示多个菜单，且可从各菜单的菜单 项目中进行功能的执行。
脑波IF部200，经由输出部7向用户5提示多个菜单。例如，脑波IF 部200，在某个菜单中显示与特定设备的详细功能有关的菜单项目，在其 他菜单中显示与可控制的多个设备有关的菜单项目。并且，将各菜单的菜 单项目高亮显示的切换频率(es)设置为不同值，对高亮显示进行切换。
在图13所示的例子中，若将菜单A、菜单B的高亮显示频率分别描 述为0sa、 0sb，则可将9sa设置为3Hz，将esb设置为5Hz。菜单项目高亮
显示的频率(es)，只要是用户5能够识别高亮显示的范围即可。并且， 若考虑倍数频率成分的影响，则优选设置esa和esb不成整数倍。并且，还
可以设置菜单项目的高亮显示的时刻不重叠。
另外，脑波IF部200，对识别执行标记群201进行保持。识别执行标 记群201，是多个识别执行标记的集合。在本实施方式中，识别执行标记 是与菜夢对应设置的。例如，识别执行标记群201的第一位与菜单A对应， 第二位与菜单B对应。脑波IF部200，在将任一标记值设置为"1"时， 采用所得到的事态关联电位作为识别对象。然后，基于该事态关联电位， 判定是否执行在与标记值"1"对应的菜单中的某个菜单项目所示的操作， 并执行与该项目对应的动作。识别执行标记群201，是通过如下说明的识 别对象决定部21更新的。
识别对象决定部21 (以下称作"决定部21")，进行从脑波IF部200收到的切换频率(esa、 6sb)、和从代表频率分析部11收到的用户5的脑 波频率功率为极大的代表频率(ee)之间的比较，判定用户5在观看哪个菜单。
该判定可与第一实施方式的决定部12同样，只要计算代表频率(ee)
与各菜单项目切换频率(esa、 esb)之间的相对量(差值或者比值)，并
基于该相对量进行即可。例如，若列举利用差值作为相对量的例子，则对
代表频率(ee)与切换频率(esa、 esb)各自的差值进行比较，只要观看
较小一方的菜单即可。或者，设阈值为0.2Hz，判定观看了代表频率(ee)
与切换频率(esa、 esb)各自的差值为阈值以下的菜单，除此以外任何菜
单都没观看。
决定部21 ，根据判定结果，指示脑波IF部200从设置在脑波IF部200 的识别执行标记群201中将与用户5观看的菜单对应的识别执行标记的值 设置为"1"。在用户没有观看任何菜单的情况下，决定部21对脑波IF 部200不进行任何指示，或者指示将识别执行标记群201中的所有标记值 设置为"0"。这样，便能够确切地从识别对象中除去，可降低误识别。
接收决定部21的判定结果，脑波IF部200进行与对应的菜单的菜单 项目高亮显示关联的事态关联电位的识别，在判定存在P3成分的情况下， 执行对应的菜单项目的设备动作。
这样在同时提示多个菜单，且分别以不同的频率高亮显示菜单项目的 情况下，能够判定用户观看了哪个菜单。这样，能够进行在用户观看的菜 单的菜单项目中限定的识别，提高识别精度，结果可实现从许多菜单项目 中以短时间进行菜单项目的选择。
接着，参照图14的流程图对脑波接口系统2中进行的整体处理步骤 进行说明。
图14表示本实施方式的脑波接口系统2的处理步骤。在图14中，表 示提示图13所示这样的菜单A、菜单B的两种菜单作为多个菜单的例子 的情况下的处理步骤。并且，菜单A、菜单B分别由多个菜单项目构成。 例如，参照图13所示的显示例。关于进行与脑波接口系统1 (图10)的 处理相同的处理的步骤，附加相同的参照符号，并省略其说明。
在步骤S201中，脑波IF部200向用户5提示菜单A。在步骤S202中，脑波IF部200将菜单B提示给用户5。另外，步骤 S201和步骤S202可以是同时，也可以分别在不同的时刻。
在步骤S203中，脑波IF部200从菜单A或者菜单B中选择高亮显示 的菜单项目。从哪个菜单中选择菜单项目，是基于由各个菜单项目高亮显 示的频率决定的顺序的。
在步骤S204中，脑波IF部200，对在步骤S203中选择的菜单项目进 行高亮显示。对菜单项目进行高亮显示的时刻，由各个菜单项目高亮显示 的频率决定。
在步骤S30中，决定装置20判定用户5观看了哪个菜单还是什么菜 单都没观看，并产生分支。关于步骤S30的处理的详细情况，后述。
在步骤S205中，脑波IF部200，识别在以由步骤S104所测量的菜单 A的菜单项目高亮显示为起点的事态关联电位中是否包含P3成分。P3成 分的识别，可以是单纯对波形进行阈值处理，也可以如专利文献2所记载 那样与预先按每个用户测定的P3成分的相加平均波形制作的样板之间的 相关系数。在步骤S205中为是的情况下，进入步骤S207，在否的情况下， 返回步骤S203，选择接下来的菜单项目。
在步骤S206中，脑波IF部200，识别以在由步骤S104中测量的菜单 B的菜单项目高亮显示为起点的事态关联电位中是否包含P3成分。P3成 分的识别，与步骤S205同样。在步骤S206为是的情况下，进入步骤S208， 在否的情况下返回步骤S203，选择接下来的菜单项目。
在步骤S207中，脑波IF部200，执行与由步骤S205所选择的菜单A 的菜单项目对应的处理。从而，该菜单项目被选择并执行。
在步骤S208中，脑波IF部200，执行与由步骤S206所选择的菜单B 的菜单项目对应的处理。这样，该菜单项目被选择并执行。
接着，参照图15对步骤S20的详细处理进行说明。
图15表示判定用户观看了菜单A、菜单B中的某个，或者什么菜单 都没看的处理的详细步骤。该处理，是通过构成决定装置20的代表频率 分析部11和决定部21进行的。在图15的处理中，列举利用差值作为代
表频率(ee)与高亮显示切换频率(esa、 esb)各自的相对量的例子进行
说明。另外，对与图11所示的处理相同的处理相关的步骤，附加相同的
29参照符号，并省略其说明。
在步骤S31中，决定部21，对从脑波IF部200接收的菜单A的高亮 显示切换频率(esa)以及菜单B的高亮显示切换频率(esb)、与在步骤 S23中从代表频率分析部11接收的用户5的脑波的频率功率为极大的代表 频率(ee)进行比较，计算差值Aa以及Ab。
在步骤S32中，决定部21，判定在步骤S31计算的Aa和Ab的大小。 若Aa小(在步骤S32中为是)，则处理进入步骤S33，若Ab小(在步骤 S32中为否)，则处理进入步骤S34。另外，在判定是观看了菜单A或菜 单B中的哪个的两种状态的情况下，由于只要比较Aa、 Ab后判定观看了 较小一方的菜单即可，因此不需要以后的S33至S37的处理。
在步骤S33中，决定部21根据Aa是否比阈值小而产生分支。在差值 为阈值以下的情况下，处理进入步骤S35，在阈值以上的情况下，处理进 入步骤S36。阈值可以是例如0.1Hz，也可以是0.2Hz、 0.3Hz。
在步骤S33中，决定部21判定Ab是否比阈值小，由此产生分歧。在 差值为阈值以下的情况下，作为"是"而进入步骤S37，在阈值以上的情 况下，作为"否"而进入步骤S36。阈值可以如步骤S33那样决定。
在步骤S35、步骤S37中，决定部21分别判定为在观看菜单A、在观 看菜单B，在步骤S36中，判定为任何菜单都没观看。
通过这样的处理，同时提示高亮显示的切换频率分别独立的多个菜单 项目，根据用户脑波的频率来判定用户在观看哪个菜单。从而，在例如操 作多台设备的情况等多个菜单项目被同时提示的状况下，也能够实现精度 高的识别。
通过在本实施方式的脑波接口系统2中设置决定装置20，从而能够根 据利用脑波接口的用户5的脑波的频率判定用户5观看了哪个菜单。从而， 即使在同时提示多个菜单项目的状况下，也能够按每个菜单进行识别方法 的调整，能够从许多菜单项目中以短时间进行菜单项目的选择，能够实现 使用容易的脑波接口。
在上述实施方式中，决定部12、 21，利用识别执行标记间接控制脑波 接口部IOO、 200。但是，也可以不利用识别执行标记，决定部12、 21直 接指示脑波接口部IOO、 200进行与标记值"0"以及"1"对应的动作。(第三实施方式)
在第一实施方式的脑波接口系统1中，通过在识别方法调整装置10 中根据脑波接口系统使用时的规定时间窗的用户的脑波的频率判定用户 是否观看了菜单项目，在没有观看菜单项目的情况下，从识别对象中除去， 从而实现了用户非意图的设备动作的减少。
但是，在时间窗的长度特别不够长的情况下，代表频率容易受背景脑 波或眼电，肌电噪音的影响，例如有可能即使用户观看了高亮显示也误判 为没有观看。在第一实施方式中，由于采用代表频率作为绝对的指标，以 "1"或"0"决定是否识别，因此在误判定的情况下，无法正确识别。
因此，在本实施方式的脑波接口系统中，根据代表频率调整高亮显示 后的P3成分的识别用参数。这样，即使在误判定是否观看了高亮显示的 情况下，也能够恢复根据高亮显示后的P3成分检测用户的选择意图的可 能性，能够实现精度更高的识别。
图16表示本实施方式的脑波接口系统3的功能框图的结构。另外图 16还表示识别方法调整装置30的功能框图。用户5的框图是为了说明而 显示的。
脑波接口系统3与第一实施方式的脑波接口系统1 (图9)的不同点 在于，代替第一实施方式的脑波接口部100，设置基于P3识别用参数301 使P3成分的识别参数可变的脑波接口部300、以及代替第一实施方式的识 别与否决定装置10而具备识别方法调整装置300，该识别方法调整装置 300具有基于代表频率决定P3成分的识别参数的识别方法调整部31作为 其构成要素。另外，关于脑波接口系统3的构成要素中与脑波接口系统1 (图9)相同的结构要素，附加相同的参照符号并省略其说明。
脑波接口部300 (以下称作"脑波IF部300")，扩展了脑波接口部 100的功能，在内部具有P3识别用参数301，并基于P3识别用参数301 调整识别方法来识别高亮显示后的P3成分。
P3识别用参数301，是在识别高亮显示后的P3成分时使用的参数(阈 值)。如上述(例如图3中的步骤S105)，虽然P3成分的识别方法有多 种，但识别参数也可以与识别方法对应，是例如与区间平均电位或相关系 数有关的阈值。识别方法调整部31，计算从脑波IF部300接收的切换频率(es)与 从代表频率分析部11接收的用户5的脑波频率功率为极大的代表频率
(ee)之间的相对量(差值或者比值)，判定两者是否相互关联。判定方
法与图9中的决定部12同样。在判断es与6e相互关联的情况下，识别方 法调整部31什么都不执行。另一方面，在判断两者不相互关联的情况下， 识别方法调整部31，对脑波接口部300中的识别方法进行调整。
在此，所谓"对识别方法进行调整"，是指将脑波IF部300保持的 P3识别用参数301 (阈值)变成难以检测P3成分的阈值。例如，在脑波 IF部300中采用区间平均电位进行识别的情况下，使阈值向正的方向改变。 另外，在采用相关系数进行识别的情况下，使阈值向接近1的方向改变。
作为用于使之改变的方法，可以是例如从外部对在脑波IF部300内 保持的P3识别用参数301直接进行改写，也可以对脑波IF部300指示P3 识别用参数301的变更。
另外，虽然在此es与ee的关联性是在"有关联性"和"无关联性"
的两种状态下判断的，但并非限于两种状态，也可以根据es与ee的一致
度，使阈值连续地或者阶段性地改变。
这样通过根据代表频率对P3成分识别的参数进行调整，从而即使在 误判定是否观看了高亮显示的情况下，也能恢复根据高亮显示后的P3成 分能够检测用户的选择意图的可能性，能够实现精度更高的识别。
根据上述说明能够理解，识别方法调整部31，与第一实施方式以及第 二实施方式所说明的"决定部12"(图9)以及"识别对象菜单决定部21" (图12)的动作同样，首先决定是否进行识别。从而，识别方法调整部 31，可以说既具有作为"决定部12"(图9)以及"识别对象菜单决定部 21"这样的决定部的功能，还具有附加的功能。
接着，参照图17的流程图，对在脑波接口系统3中进行的整体处理 的步骤进行说明。
图17表示本实施方式的脑波接口系统2的处理步骤。在图17中，针 对进行与脑波接口系统l (图IO)的处理相同的处理的步骤附加相同的参 照符号，并省略其说明。
在步骤S301中，识别方法调整部31，将脑波IF部300中的P3识别用参数301调整为难以检测P3成分。
在步骤S302中，脑波IF部300，参照P3识别用参数301取得P3成 分检测的阈值，并基于所取得的阈值实施在步骤S104所测量的事态关联 电位中是否出现P3成分的识别。
通过这样的处理，即使在误判定是否观看了高亮显示的情况下，也能 够根据高亮显示后的P3成分检测用户的选择意图。另外，虽然图17中是 在两种状态下采用代表频率判定用户是否观看了高亮显示，但并非限于两 种状态，也可以根据6s与6e的一致度使阈值连续地或者阶段性地改变。
通过在本实施方式的脑波接口系统3中设置识别方法调整装置30，从 而能基于代表频率进行P3成分识别的参数的调整，能够实现采用代表频 率和P3成分的识别。虽然有可能代表频率和P3成分两者都受噪音影响， 但通过采用两者能够进行不易受噪音影响的识别，结果能够实现用户非意 图的设备动作的减少。
工业上的可利用性
根据本发明的识别与否决定装置以及组装了识别与否决定装置的脑 波接口系统，不用添加视线检测装置等，根据操作脑波接口的用户的脑波 的频率，便能够检测出用户没有观看菜单。这样，通过将用户没有在观看 菜单的情况从识别对象中除去，从而能够实现用户非意图的设备动作的减 少。这样的识别与否决定装置的功能，还可以通过例如计算机程序来实现。 由于通过将计算机程序读入计算机来执行便能够发挥上述功能，因此不会 对系统进行大幅度改变，且容易安装。
3权利要求
1、一种用于调整识别方法的装置，其在脑波接口系统中用于对在脑波接口部中采用的脑波信号的识别方法进行调整，所述脑波接口系统具有以视觉方式提示设备的操作菜单的输出部；取得用户的所述脑波信号的生物体信号测量部；和经由所述输出部以特定的切换频率提示所述操作菜单的菜单项目，基于预先保持的所述脑波信号识别在所述菜单项目被高亮显示后的所述脑波信号中含有的事态关联电位的成分，并基于识别出的所述事态关联电位使所述设备动作的所述脑波接口部，所述用于调整识别方法的装置具备频率分析部，其计算所述脑波信号的频率功率为极大的频率作为代表频率；和决定部，其基于所述菜单项目的切换频率以及所述脑波信号的代表频率的相对量，判定所述代表频率是否与所述菜单项目的切换关联，并根据所判定的结果，对所述脑波接口部输出用于对在所述脑波接口部中采用的所述脑波信号的识别方法进行调整的指示。
2、 根据权利要求l所述的用于调整识别方法的装置，其特征在于， 所述决定部，在判定所述代表频率与所述菜单项目的切换关联的情况下，对所述脑波接口部指示采用所述脑波信号作为识别对象，在判定所述代表频率与所述菜单项目的切换不关联的情况下，对所述 脑波接口部指示将所述脑波信号从识别对象中除去。
3、 根据权利要求l所述的用于调整识别方法的装置，其特征在于， 所述决定部，基于所述菜单项目的切换频率与所述脑波信号的代表频率之间的差值、或者所述菜单项目的切换频率与所述脑波信号的代表频率 之间的比值，判定所述代表频率是否与所述菜单项目的切换关联。
4、 根据权利要求1所述的用于调整识别方法的装置，其特征在于， 所述频率分析部，基于在比所述菜单项目被高亮显示的时刻早规定的秒数的时刻以后取得的脑波信号，计算所述代表频率。
5、 根据权利要求l所述的用于调整识别方法的装置，其特征在于， 所述频率分析部，计算在包含所述菜单项目的切换频率在内的规定频带中频率功率为最大的频率，作为所述代表频率。
6、 根据权利要求l所述的用于调整识别方法的装置，其特征在于， 所述频率分析部，计算在0.5Hz以上的频带中频率功率为最大的频率作为所述代表频率。
7、 根据权利要求6所述的用于调整识别方法的装置，其特征在于， 所述决定部，基于从0.5Hz至9Hz的频带中选择的所述切换频率以及所述脑波信号的代表频率的相对量，判定所述代表频率是否与所述菜单项 目的切换关联。
8、 根据权利要求7所述的用于调整识别方法的装置，其特征在于， 所述决定部，在所述菜单项目的切换频率与所述脑波信号的代表频率之间的差值为0.2Hz以上时，判定所述代表频率与所述菜单项目的切换不 关联。
9、 根据权利要求1所述的用于调整识别方法的装置，其特征在于， 所述决定部对所述脑波接口部指示将所述脑波信号从识别对象中除去，从而所述脑波接口部将所述设备的动作状态返回前一个状态。
10、 根据权利要求l所述的用于调整识别方法的装置，其特征在于， 在所述脑波接口部以互不相同的多种切换频率分别提示多种操作菜单的菜单项目时，所述决定部，基于所述多种切换频率的每一个与所述脑 波信号的代表频率的相对量，判定所述代表频率是否与某个操作菜单的菜 单项目的切换关联。
11、 根据权利要求10所述的用于调整识别方法的装置，其特征在于, 所述决定部，基于按照相互不是整数倍的关系的方式设定的所述多种切换频率的每一个与所述脑波信号的代表频率之间的相对量，判定所述代 表频率是否与某个操作菜单的菜单项目的切换关联。
12、 根据权利要求10所述的用于调整识别方法的装置，其特征在于， 所述决定部，对所述多种切换频率的每一个与所述脑波信号的代表频率之间的相对量中最小的相对量所对应的切换频率进行确定，判定所述代 表频率与以确定的所述切换频率提示的菜单项目的切换是否关联。
13. 根据权利要求12所述的用于调整识别方法的装置，其特征在于， 所述决定部，对与所述多种切换频率的每一个对应的阈值进行保持， 所述决定部，在所述最小的相对量比与确定的所述切换频率对应的阈值小时，判定所述代表频率与以确定的所述切换频率提示的菜单项目的切 换关联，当所述最小的相对量在与确定的所述切换频率对应的阈值以上 时，判定所述代表频率与以确定的所述切换频率提示的菜单项目的切换不 关联。
14. 根据权利要求l所述的用于调整识别方法的装置，其特征在于， 所述脑波接口部，保持有用于对在所述菜单项目被高亮显示后的所述脑波信号中含有的事态关联电位中是否含有P3成分进行识别的阈值，所述决定部，在判定所述代表频率与所述菜单项目的切换不关联的情 况下，使所述阈值的大小向难以检测事态关联电位的P3成分的一侧改变。
15. —种识别与否决定方法，在脑波接口系统中用于决定是否使脑波 接口部进行脑波信号的识别，所述脑波接口系统具有以视觉方式提示设备的操作菜单的输出部； 取得用户的所述脑波信号的生物体信号测量部；和 经由所述输出部以特定的切换频率提示所述操作菜单的菜单项目，基 于预先保持的所述脑波信号识别在所述菜单项目被高亮显示后的所述脑 波信号中含有的事态关联电位的成分，并基于识别出的所述事态关联电位 使所述设备动作的所述脑波接口部， 所述识别与否决定方法包括计算所述脑波信号的频率功率为极大的频率作为代表频率的步骤；基于所述菜单项目的切换频率以及所述脑波信号的代表频率的相对 量，判定所述代表频率与所述菜单项目的切换是否关联的步骤；在判定关联的情况下，对所述脑波接口部指示采用所述脑波信号作为 识别对象的步骤；和在判定不关联的情况下，对所述脑波接口部指示将所述脑波信号从识 别对象中除去的步骤。
16. 根据权利要求15所述的识别与否决定方法，其特征在于， 在所述脑波接口部以相互不同的多种切换频率分别提示多种操作菜单的菜单项目时，所述判定步骤，基于所述多种切换频率的每一个与所述脑 波信号的代表频率的相对量，判定所述代表频率是否与某个操作菜单的菜 单项目的切换关联。
17. 根据权利要求16所述的识别与否决定方法，其特征在于， 所述判定步骤，对所述多种切换频率的每一个与所述脑波信号的代表频率之间的相对量中的最小相对量所对应的切换频率进行确定，判定所述 代表频率与以确定的所述切换频率提示的菜单项目的切换是否关联。
18. 根据权利要求17所述的识别与否决定方法，其特征在于， 进一步包括准备与所述多种切换频率的每一个对应的阈值的步骤， 所述判定步骤，在所述最小的相对量比与确定的所述切换频率对应的阈值小时，判定所述代表频率与以确定的所述切换频率提示的菜单项目的 切换关联，当所述最小的相对量在与确定的所述切换频率对应的阈值以上 时，判定所述代表频率与以确定的所述切换频率提示的菜单项目的切换不 关联。
19. 一种用于调整识别方法的装置，其在脑波接口系统中用于对在脑 波接口部中采用的脑波信号的识别方法进行调整，所述脑波接口系统具 有以视觉方式提示设备的操作菜单的输出部；取得用户的所述脑波信号的生物体信号测量部；和经由所述输出部以特定的切换频率提示所述操作菜单的菜单项目，基 于预先保持的所述脑波信号识别在所述菜单项目被高亮显示后的所述脑 波信号中含有的事态关联电位的成分，并基于识别出的所述事态关联电位 使所述设备动作的所述脑波接口部，所述用于调整识别方法的装置具备频率分析部，其计算所述脑波信号的频率功率为极大的频率作为代表 频率；和决定部，其基于所述菜单项目的切换频率以及所述脑波信号的代表频 率的相对量，判定所述代表频率是否与所述菜单项目的切换关联，在判定 关联的情况下，判断所述用户在观看所述菜单项目，在判定不关联的情况 下，判断所述用户不在观看所述菜单项目，并根据判断结果调整所述脑波接口部的所述脑波信号的识别方法。
全文摘要
本发明的识别与否决定装置(10)，在脑波接口系统(1)中用于决定是否进行脑波信号的识别，具备计算脑波信号的频率功率为极大的代表频率的频率分析部(11)；和决定部(12)。决定部(12)，基于菜单项目的切换频率以及脑波信号的代表频率的相对量，判定代表频率是否与菜单项目的切换关联，根据所判定的结果，对脑波接口部(100)输出用于对在脑波接口部(100)中采用的脑波信号的识别方法进行调整的指示。从而在具备利用脑波的接口的系统中，根据用户脑波的频率判定用户是否观看了菜单，可从识别对象中除去用户不在观看菜单的情况下。
文档编号G06F3/01GK101558368SQ20088000106
公开日2009年10月14日 申请日期2008年3月13日 优先权日2007年3月28日
发明者森川幸治, 足立信夫 申请人:松下电器产业株式会社