使用了脑电波的设备的控制方法和脑电波接口系统的制作方法

专利名称：使用了脑电波的设备的控制方法和脑电波接口系统的制作方法
技术领域：
本发明涉及测量用户的脑电波，并可根据测量出的脑电波，进行用户希望的设 备的控制的设备操作接口技术。更具体的，本发明涉及嵌入到头戴显示器(HMD)等的 可戴设备中，并可由用户的脑电波来选择和启动该可戴设备或其他设备的功能的设备操 作接口技术。
背景技术：
近年来，因设备的小型化轻量化，头戴显示器(HMD)等的可戴设备普及。作 为多数设备的接口，使用按下按钮使光标移动来加以决定的边看画面，边操作鼠标等的 使用了硬件的方法。但是，在HMD这种主体小型且以解放手为特征的设备的控制中， 若必须进行上述这种物理操作，则损坏了解放手的特征，没有效果。因此，不进行物理 操作而可控制设备的接口，具体上仅通过思考就可控制设备的利用了脑电波的简单接口 引人关注。所谓脑电波是指通过基准极和测量对象极的电位差，而作为电信号加以测量的 脑活动(脑神经细胞的电活动)。作为利用了该脑电波的接口，例如举出有专利文献1记 载的利用了事件关联电位的人的心理状态等的判断方法和装置。专利文献1中，公开了使用脑电波的事件关联电位的特征性信号，来判断认为 是用户想要选择的选项的技术。具体上，在头顶部装载电极，并在画面上随机显示单词，而实现了利用以显示 认为是用户想要选择的单词的定时为起点在300ms到500ms的时间段中出现的阳性成分 (P300成分)等，来进行用户选择的单词的判别的脑电波接口。现有技术的脑电波测量中，根据国际10-20法的场所标记来装载电极，并通过 在头顶部装载测量对象极来进行测量。专利文献1中，使用国际10-20法中的位置Pz (正 中头顶)和Cz(正中中心)的位置特征信号来进行脑电波测量。已知专利文献1中使用 的特征信号可在位置Pz的位置上很强地测量到。因此，现有技术的脑电波接口的电极的 位置主要使用Pz。本申请发明人实际上利用在位置Pz测量到的脑电波，构筑了从TV画面上显示 的4个选项中判断用户选出的项目的接口。下面，在描述为“构筑脑电波接口”的情况 下，是指构筑同样的接口。在对8名被实验者实施评价后，可以以81.3%的识别率(所有实验次数中判断结 果命中的比例)进行判别。专利文献专利文献1 特开2005-34620号公报专利文献1 特开平7-64709号公报专利文献1 特开平9-38037号公报但是，脑电波测量如上所述，必须利用在头顶部装载的电极来进行。因此，在不具有与头顶部接触的结构的设备、例如在使用上述的HMD的情况下，需要在头顶部另 外装载测量脑电波用的电极。HMD不是一直装载而仅在需要时装载，且为频繁进行装卸 的设备。因此，除HMD之外另外装载电极对用户来说成为负担。该情形对于不具有与 头顶部接触的构造的除HMD之外的设备来说也适用。进行了利用HMD来取得用户的身体信号的研究。例如，专利文献2中，公开 了在HMD内侧的与用户脸面接触的位置上设置电极，测量眼电、肌电来检测出视线方向 的方法。专利文献3中公开了在眼的上下、左右位置上安装电极，并通过测量各个电位 差来测量眼电的方法。这些都是测量脸的肌肉反应(肌电)和眼球的运动(眼电)的研允。

发明内容
本发明所要解决的技术问题是提供一种即使不在国际10-20法的位置Pz(正中头 顶)上测量脑电波，也可通过除现有技术眼电和肌电等测量中使用的脸部的电极之外， 还组合HMD等可戴设备的形状范围内的新的电极位置来加以使用，从而可以以根据位置 Pz中测量出的脑电波来加以操作的脑电波接口系统同等程度的精度来进行操作的脑电波接口。基于本发明的使用了脑电波的设备的控制方法，包括步骤步骤(a)，提示与 设备的操作菜单有关的视觉刺激；步骤(b)，在所述视觉刺激的提示后，测量多个事件 关联电位的步骤(b)中，从分别在用户的脸部装载的多个电极和在用户的耳周边部装载 的至少一个基准电极之间的电位差测量出以提示所述视觉刺激的定时为起点的多个事件 关联电位；步骤(C)，从测量出的所述多个事件关联电位分别提取5Hz以下且包含预定 的时间区间的脑电波数据，并组合所述提取的脑电波数据而变为脑电波特征数据；步骤 (d)，比较预先准备的判别是否要选择操作菜单用的基准数据和所述脑电波特征数据；步 骤(e)，根据所述步骤(d)的比较结果，来执行与所述设备的操作菜单对应的操作。所述预定的时间区间可以是以所述视觉刺激的提示为起点的200ms到400ms的 区间。所述步骤(b)可以使用分别在所述用户的两侧的耳周边部装载的至少一个基准 电极，来测量所述多个事件关联电位。所述步骤(b)可以使用在所述用户的右眼上部和左眼上部的至少一个位置上装 载的电极，来测量所述多个事件关联电位。所述步骤(C)也可从所测量出的所述多个事件关联电位的波形中提取表示所述波 形的频率和时间特征的脑电波特征数据。所述步骤(C)也可从测量出的所述多个事件关联电位的波形中提取表示所述波形 的频率和时间特征的脑电波特征数据。所述步骤(c)也可提取所述输出部中提示所述设备的操作菜单后200ms 400ms 的区间，且表示频率为5Hz以下的特征的脑电波特征数据。所述步骤(C)也可从由所述耳周边部的至少一个基准电极和所述脸部的多个电极 测量的所述多个事件关联电位的各波形中提取表示所述各波形的特征的数据，并根据各 数据来生成1个脑电波特征数据。
可以进一步包含根据在所述用户的脸部上装载的多个电极的每一个和所述用 户的两侧的耳周边部上分别装载的至少一个基准电极间的电特性，来判别所述多个电极 和所述基准电极各自的装载状态的步骤(f)；根据所述步骤(f)的判别结果，来决定所述 步骤(b)中测量所述多个事件关联电位的电极的组合的步骤(g)。所述步骤(g)检测出多个通过将在所述用户的脸部上装载的多个电极的每一个 与所述用户的两侧的耳周边部上分别装载的至少一个基准电极进行组合而得到的所述多 个事件关联电位的测量值超过阈值的电极的组合，并通过搜索所述电极的组合中公共含 有的电极，从而确定装载状态有问题的电极。可以可识别地通知通过所述步骤(g)确定出的电极。基于本发明的脑电波接口系统包括输出部，视觉上提示操作菜单；多个电 极，分别装载在用户的耳周边部和脸部，测量所述用户的脑电波；脑电波特征提取部， 从根据所述操作菜单的提示定时确定的所述脑电波的波形的至少一部分中提取表示所述 波形的特征的脑电波特征数据；判别部，比较预先准备的数据和所述脑电波特征数据来 判别其类似度，并根据判别结果来控制设备。所述输出部可以是显示器，所述判别部可根据所述判别结果来控制所述显示器 的显示内容。所述脑电波接口系统可以具有对外部设备输出控制信号的发送部，所述判别部 根据所述判别结果输出所述控制信号，并根据所述控制信号控制所述外部设备的动作。基于本发明的控制装置，是与显示装置一起形成脑电波接口系统的所述显示装 置的控制装置，包括通信部，与所述显示装置进行通信，且使所述显示装置视觉提示 操作菜单；多个电极，分别装载在用户的耳周边部和脸部，测量所述用户的脑电波；脑 电波特征提取部，从根据所述操作菜单的提示定时确定的所述脑电波的波形的至少一部 分中提取表示所述波形的特征的脑电波特征数据；和判别部，比较预先准备的数据和所 述脑电波特征数据来判别其类似度，并根据判别结果来控制所述设备。发明的效果根据本发明，通过使用在包含脸部在内的与用户接触的位置上设置多个电极的 设备，从而可构筑以与现有技术的基于头顶部的脑电波测量的脑电波接口系统同样的精 度进行动作的脑电波接口系统。这种设备可以是如例如眼镜(护目镜)型HMD这种装在 用户头部的较窄范围中的设备，可以在用户的脸部和耳部设置电极。用户不需要刻意在 设备与用户接触的位置之外装载电极，由于与HMD装载的同时，电极的装载也可完成， 所以可以减少设备装载负担。


[图1]是表示现有技术的眼电测量中使用的电极的位置101 104的图；[图2]是表示现有技术眼电测量和肌电测量中使用的电极位置中、在HMD的形 状范围内含有的电极位置的图；[图3]是作为本申请发明人进行的实验结果的表示所有电极位置的组合和识别率 的关系的图；[图4](a)是表示脸部的电极位置的图、(b)是表示耳周边部的电极位置的[图5]是表示本申请发明人进行的实验中的电极位置的例子的图；[图6]是表示电极的组合和识别率的关系的图；[图7]是基于实施方式1的脑电波接口系统1的结构图；[图8]是表示将脑电波接口系统1作为眼镜(护目镜)型头戴显示器(HMD)构 成的实施例的图；[图9]是基于实施方式1的脑电波接口装置的硬件结构图；[图10]是脑电波接口系统1中进行的处理的流程图；[图ll](a) (c)是表示脑电波接口系统1中进行的处理的例子的图；[图12]是脑电波特征提取部的处理的流程图；[图13](a) (e)是表示从各电极中测量出的脑电波波形提取特征数据的处理的 转移的图；[图14]是判别部14的处理的流程图；[图15]是表示判别部14的处理顺序的图；[图16]是表示在使用了HMD型脑电波接口系统1的本实验中，与用户10的脸 部接触的位置的例子的图；[图17]是表示教师数据的例子的图；[图18]是表示精度验证的结果的图；[图19]是表示基于实施方式1的第1变形例的脑电波接口系统Ia的图；[图20]是表示基于实施方式1的第2变形例的脑电波接口系统Ib的图；[图21]是表示作为HMD之外的例子的按摩的实施床的例子的图；[图22]是实施方式的脑电波接口系统2的结构图；[图23]是脑电波特征提取部13的脑电波特征数据提取处理的流程图；[图24]是表示电极的装载位置的图；[图25]是电极装载判别部17的处理的流程图；[图26](a) (c)是表示每个电极装载状态的测量中使用的电极例的图；[图27]是表示精度验证的结果的图；[图28]是表示头顶部产生的特征信号的产生时间段和频带的例子的图；[图29]是表示截出的Wavelet变换后的数据区域的图。图中1-脑电波接口系统；10-用户；11-耳电极部；12-脸电极部；13-脑电 波特征提取部；14-判别部；15-判别基准DB; 16-输出部；17-电极装载判别部。
具体实施例方式下面，首先说明本申请发明人进行的实验。从该实验得到的知识来说明具体 上，即使不在国际10-20法的位置Pz (正中头顶)上测量脑电波，也可通过利用现有技术 眼电和肌电等的测量中利用的脸部的电极、和在与用户接触的位置上设置的其他电极， 来构筑以与基于位置Pz上测量出的脑电波进行动作的脑电波接口系统同等程度的精度来 动作的脑电波接口。之后，说明该脑电波接口的各实施方式。如上所述，现有技术中进行了在头戴显示器(HMD)的与用户的脸部接触的位置 上设置电极，测量脸的肌肉反应(肌电)和眼球运动(眼电)的研究。
本申请发明人在与用户的脸部接触的HMD的位置上设置电极，而试验是否可使 用该电极来测量脑电波。实验中，本申请发明人构筑脑电波接口，通过在Pz (正中头顶)上设置的电极来 测量8名被试验者的脑电波，并根据脑电波来进行脑电波接口的评价。本申请发明人同 时构筑利用现有技术的眼电测量中使用的电极位置来测量脑电波的脑电波接口，并同样 对8名被试验者实施该脑电波接口的评价。图1表示在现有技术的眼电测量中使用的电极的位置101 104。电极粘贴在用 户两眼的左右位置101和102、两眼间的位置104、和右眼上的位置103。作为脑电波的测量方法，在电极的组合中，将一个电极作为基准极，将另一个 电极作为测量对象极，并测量以基准极为基准的测量对象极的电位。脑电波接口利用该 测量出的脑电波来进行判别。本实验中，假定现有技术眼电中使用的电极的组合中，一个为基准极，另一个 为测量对象极，从而实施识别率的评价。评价结果如下这样。在测量眼的左右运动的位置(基准极右眼横101和测量对象极左眼横102的 电位差)上测量的情形下的识别率=37.8%在测量眼的上下运动的位置(基准极右眼上103和测量对象极鼻104)上测 量的情形下的识别率=63.8%现有技术中使用的电极位置中，理解为与Pz中测量出脑电波的情形下的识别率 相比，精度差。在眼电测量中，由于目的是测量在装载了电极的部分产生的电位，所以电极的 位置关系很重要，但是在脑电波的测量中，由于在脸部测量头顶部产生的电位，所以电 极的位置关系不需要取现有技术的眼电测量的位置关系。因此，通过在HMD与用户的头部接触的范围内(下面，描述为“HMD的形状 范围内”。)双列组合眼电、肌电测量中利用的电极位置，构筑脑电波接口，而进行识别 率的评价。图2表示在现有技术眼电测量和肌电测量中使用的电极位置中，HMD形状的 范围内含有的电极位置。作为电极的位置，假定为右耳上21、右眼横22、右眼上23、鼻 24、左眼上25、左眼横26、左耳上27。本申请发明人将可在图2所示的脸部位置21 27设置的电极中的2个电极作为 1组，列举所有组。并且，将一个电极作为基准极，将另一个电极作为测量对象极，进行 脑电波接口的识别率的评价。图3表示所有电极位置的组合和识别率的关系。根据实验结果，在组合了脸部电极的情况下，识别率在利用了以右眼上25作为 基准极的右眼横26的电极的电位差的情况下的65.9%为最大。由此，可得出在仅由脸前面部的电极来测量脑电波而进行用户选择的项目的判 别时，与位置Pz中测量的情况下的识别率81.3%相比，精度差，脑电波接口的性能不好 的结论。接着，说明本申请发明人实施的HMD的形状范围内的最佳基准极位置搜索实 验。图4(a)表示在现有技术的眼电测量中使用的脸部的电极位置。如图4(a)所示，将眼睛上28a的电极装载在眼窝29的上边缘，将眼睛横28b的电极装载在眼窝29的外缘 (外眼睑)上，将鼻子的电极装载在鼻根28c。图4(b)表示耳朵周边部的电极位置30a 30e。现有技术的眼电测量中，还在 耳朵上的耳根上部30e装载电极。若鉴于HMD形状的范围，除了在眼电测量中使用的脸部的电极之外，还在 HMD与耳朵接触的位置上进一步设置其他电极。该位置具体上是耳下部(耳根的下部) 的耳后乳突骨30a、耳朵部30b、耳前部的耳珠30c、耳后部(耳根的后部)30d等的耳周 边部。因此，本申请发明人以上述耳周边部为代表，选择作为耳朵里面底部的头盖骨突 起部的耳后乳突骨(乳状突起)30a，对现有技术脸部中使用的电极的位置，实施以耳后 乳突骨为基准极的脑电波接口的识别率评价实验。实验中，作为HMD形状中与用户的脸部接触的位置例，举图2所示的位置，进 行利用了这些部分的具体精度的验证。实验对20多岁的15名被试验者进行测量实验，并以维持较高清醒度的8名作为 为对象加以分析。脑电波测量使用生物体信号收录装置(Polymate，'J ^ ^卜) AP-1124 (Digitex( r夕歹？夕^ )制)，取样频率为200Hz、时间常数为3秒、并使用滤 波器为30Hz的低通滤波器。图5表示本实验的电极位置的例子。本实验中，基准极为右耳后乳突骨31或左 耳后乳突骨32。作为脸电极部，在现有技术眼电和肌电测量中使用的右耳上21、右眼横 22、右眼上23、鼻24、左眼上25、左眼横26、左耳上27的7个位置上装载电极，并将 设置电极装载在基于国际10-20法的场所标记的FPz33上。通过由各被试验者平均选择 40次，并以判别结果命中的比例作为识别率来进行运算，从而进行精度验证。图6表示电极的组合与识别率的关系。从实验结果看出，在以耳后乳突骨作 为基准极的组合中，利用了以右耳后乳突骨31作为基准极的右眼上的电位差的识别率 为75.3%，最高。在平均识别率中左耳后乳突骨基准是57.8%、右耳后乳突骨基准是 66.6%。以左右的耳后乳突骨为基准来测量脸部的电位的脑电波比以脸部的电极为基准 进行测量的脑电波识别率高，从而明白了包含脑电波接口构筑所需的脑电波信号。由此，通过以耳周边部(耳后乳突骨)为基准的脸部电极的电位差测量脑电波， 与仅利用了脸部的电极来测量脑电波的情形相比，识别率可提高接近10%。但是，在通过以耳后乳突骨为基准的脸部电极的电位差来测量脑电波的情况 下，最大识别率也为75.3%，仍没有达到利用了 Pz的识别率81.3%。接着，本申请发明人利用以耳周边部为基准的脸部电位来测量事件关联电位， 并进行利用了包含头顶部(Pz)附近产生的脑电波信号的频带数据的判别。下面说明具体的判别方法。首先，时间频率分解(本实施方式中是Wavelet变 换)所测量的事件关联电位，并选出选择时的脑电波的特征信号产生时间段和频带。图 28表示头顶部产生的特征信号的产生时间段和频带的例子。图28中，横轴表示时间(单 位ms)、纵轴表示频率(单位Hz)。图28的带阴影的时间频率区域是头顶部测量的 事件关联电位的判别所使用的特征信号。脸部也同样，去除特征信号之外的区域，仅提 取图28的特征信号区域进行判别。结果，精度比69.7%和75.3%低。其被认为是在微弱的信号区域中混入了很多噪声后的结果。因此，本申请发明人为了进一步提高精度，除了去除混入了闪烁等噪声的区域 之外，还提取将头顶部附近产生的脑电波信号传到前面部的微弱的特征信号的时间频率 区域，并组合多个该成分。结果，提取脑电波接口所需的强特征信号，并实现了与Pz同 等程度的精度的脑电波接口。下面，作为本发明，说明该脑电波接口系统。根据本发明，通过以耳周边部为基准的脸部电极的脑电波信号的组合，而可将 脑电波接口的识别率提高到80.6%，可确认即使不在位置Pz上装载电极，也可得到具有 充分高的性能的脑电波接口系统。下面，参考添加的附图，来说明本发明的实施方式。(实施方式1)图7是基于本实施方式的脑电波接口系统1的结构图。脑电波接口系统1包括耳 电极部11、脸电极部12、脑电波特征提取部13、判别部14和判别基准数据库(DB) 15。 图7中，为了用户10理解方便，而加以记载。图8是将脑电波接口系统1作为眼镜(护目镜)型头戴显示器(HMD)构成的实 施例。下面，详细说明图8所示的HDM型脑电波接口系统1。图8所示的HMD型脑电波接口系统1的各部位的名称与眼镜同样。下面，将钩 住用户10的耳朵并固定HMD主体的部分称作“前沟槽(cell)部”。将与用户10的鼻子 接触，而支撑HMD主体的部分称作“鼻垫部”。将保持用户10的各眼球的前面设置的 输出部16而加以固定的部分称作“边缘部”、将连接两眼前的边缘部而加以支撑的部分 称作“桥部”，将连接边缘部和前沟槽部并加以支撑的部分称作“边撑(temple)部”。将耳电极部11设置在用户的耳周边部，将脸电极部12a、12b设置在用户的脸部 周边。具体上，耳电极部11设置在前沟槽(cell)部的内侧。由此，耳电极部11与用户 10的单侧耳朵的周边接触。脸电极部12a、12b设置在HMD的边撑部、边缘部、鼻垫部 的其中一个上。由此，脸电极部12a、12b在用户10的脸部的多个位置上与用户接触。脑电波特征提取部13从耳电极部11与脸电极部12a、12b的电位差测量脑电波， 并提取脑电波特征数据。所谓“脑电波特征数据”是指表示脑电波的时间性和频率性特 征的数据。例如可通过后述的Wavelet变换得到测量出的脑电波波形。判别部14对用户的脑电波特征数据，根据预定的判别基准，判断用户选出的项 目。所谓“预定的判别基准”是指预定的数据，存储在判别基准DB15中。显示器16 根据判别部14的判别结果来进行设备的控制。图8的例子中，耳电极部11设置在HMD的右前沟槽(cell)部的内侧，脸电极部 12a设置在HMD的右边撑部、脸电极部12b设置在HMD的左上边缘部。脑电波特征提 取部13、判别部14和判别基准DB15设置在HMD的桥部。显示器16设置在用户10的 眼睛前的透镜部分。显示器16是图7所示的输出部的具体例。图8的结构是一例，耳电极部11的位置可以是右侧左侧的其中之一。脸电极部 12的位置可以多个设置在HMD的边撑部、边缘部、鼻垫部、桥部的其中之一上。脸电 极部的数目不仅限于12a、12b这2个，将3个以上的电极配置在上述的范围中也属于本 专利申请的范畴。设置脑电波特征提取部13、判别部14、判别基准DB15的位置没有特 别限制，可设置在HMD的形状范围内的任何一个位置上。判别基准DB15也可不设置在HDM内，而可配置在脑电波接口系统1的使用环境(例如自己家里)。这时，也可通过 无线与判别部14连接。或将判别基准DB15嵌入判别部14内，构成判别部14功能的一 部分。另外，显示器16表示了假定与所选的项目有关的视频输出，并设置在眼镜的镜 片位置上的例子。但是，也可进行输出声音的扬声器和声音输出端子等的视频显示之外 的设备控制。图9是基于本实施方式的脑电波接口装置的硬件结构图。将耳电极部11和在脸部装载的多个脸电极部12(电极12a、12b)连接到总线 131，并与脑电波特征提取部13进行信号的交换。脑电波特征提取部13具有CPUllla、 RAMlllb和ROMlllc。CPUllla将ROMlllc中存储的计算机程序Illd读出到 RAMlllb,并在RAMlllb上展开而加以执行。脑电波特征提取部13根据该计算机程序 Illd,进行后述的脑电波特征数据提取的处理。脑电波特征提取部13进一步与总线132 相连，进行各构成要素信号的交换。总线131和总线132也可利用公共的总线。判别部14 具有 CPUl 12a、RAMI 12b 和 ROMl 12c。CPU112a、RAM112b 和 ROMl 12c各自的功能与和脑电波特征提取部13同名的结构要素相同。ROMl 12c中存储 的计算机程序112d进行基于ROM112C中存储的判别基准DB的判断基准的处理。也可 共用脑电波特征提取部13和判别部14的CPU、RAM和ROM，并仅分立设置计算机程 序，来简化结构。ROMlllc、ROMl 12c也可以是可改写的ROM(例如EEPROM)。显示器16具有图像处理电路121。图像处理电路121根据CPU112a的结果，将 所选择的内容视频显示等视频信号输出到画面122。显示器16也可兼具有提示HMD所 需的信息的功能。上述的显示器16假定进行视频设备的控制，说明显示器16具有图像处理电路 121和画面122。但是，根据控制设备的模型种类，图像处理电路121和画面122也可以 为声音处理电路和扬声器等。上述的计算机程序记录在CD-ROM等的记录介质中而成为产品在市场上流通， 或、通过因特网等电通信线路加以传送。脑电波特征提取部13和判别部14还可作为将 计算机程序嵌入到半导体电路中的DSP等硬件来实现。接着，说明作为本发明的HMD接口利用的脑电波接口系统1的示意，在概括说 明该处理后，说明脑电波特征数据的提取方法。脑电波接口使用脑电波特征数据，从显示器等上显示的多个选择项识别出用户 想要选择哪个项目。图10表示脑电波接口系统1中进行的处理的流程图。图11表示脑电波接口系 统1中进行的处理的例子。下面，边适当参考图11，边说明图10的脑电波接口系统1的动作。步骤S51中，显示器16显示菜单画面。所谓“菜单画面是指列表状显示设备操 作用的选择项的画面。用户10可通过从所显示的菜单画面的选项中选择希望的项目而进行设备操作。 希望的项目的选择可通过用户在脑中思考来加以实现。在收视内容时，将如图11 (a)这种选择前的画面151显示在显示器16上。通过启动脑电波接口系统1，而显示如图11(b)这种菜单画面152。画面上提示“想要浏览哪个 节目”的询问153和作为想看的节目的候选的选项154。这里，显示“棒球” 154a “天 气预报” 154b “动画” 154c “新闻” 154d这四种。在这四种中的一种通过亮色来进行
尚壳显不。步骤S52中，脑电波特征提取部13决定进行高亮的项目。图11(b)的例子中首 先决定第一个棒球154a。下面，每次执行该步骤S52时，依次决定下一选项的高亮，并 在第四个新闻后回到第一个棒球。步骤S53中，显示器16高亮显示步骤S52中决定的项目。所谓“高亮显示” 是指与其他项相比用亮的背景加以显示，用明的文字色加以显示，或除此之外通过用光 标等指示来加以指示。这里也可在用户10看时，系统侧传达现在想要对哪个项目关注。步骤S54中，脑电波特征提取部13进行事件关联电位的取得。从耳电极部11和 脸部上装载的多个脸电极部12的电位差中测量多个事件关联电位。换而言之，根据耳电 极部11和脸部上装载的多个脸电极部12的电位差测量出的物理量是事件关联电位。步 骤S53中高亮显示的瞬间为事件关联电位取得的起点。可取得距该起点例如前100毫秒 到后600ms的脑电波。由此，可得到对高亮显示项的用户反应。另外，由于脑电波特征 提取部13决定高亮的定时，所以脑电波特征提取部13可确定距起点前100毫秒的时刻。 由此，即使在决定起点之前的时刻，也可开始事件关联电位的取得。步骤S55中，脑电波特征提取部13根据测量出的多个事件关联电位的波形数据 来提取脑电波特征数据。后面描述脑电波特征数据的具体提取方法。步骤S56中，判别部14根据判别基准DB15中存储的判断基准来识别所提取的 脑电波特征数据。识别的内容是判断当前取得的脑电波特征数据的波形是相对用户10想要选择的 项目的波形还是相对不想要选择的项目的波形。步骤S57中，在判断为是相对用户10想要选择的项目的波形的情况下，由显示 器16执行选出的项目。后面描述上述的判别基准、基于取得的脑电波特征数据的波形的识别方法的具 体例、和选出的项目的输出例。通过这种处理，通过脑电波，而不用通过按钮操作等就可实现菜单项的选择。步骤S52中，从上开始依次决定高亮的项，但是也可以是随机提示的方法。由 此，由于事先选择哪个项目不明朗，用户10为了注意力集中地进行选择，所以脑电波的 振幅变大，因判别所用的特征信号清晰地出现，所以可容易地进行判别。接着，对于步骤S51到步骤S55中进行的脑电波特征提取部13的处理加以说 明。本实施方式中，在图6的实验的结果中以精度高的脸电极部的位置为例加以说明。 脸电极部12的电极位置为左眼上23(图2)、右眼上25(图2)、右耳上27(图2)所示的 位置，并假定为耳电极部11装载在右耳后乳突骨上。使用图12的流程图和图13的波形 的例子，来说明脑电波特征提取部13的处理细节。首先，在步骤S61中，通过以耳电极部11为基准测量在脸部装载的多个脸电极 部12的电位差，从而一直进行脑电波的测量。图13(a)表示步骤S61中测量的脑电波的 例子。脑电波同时测量3个波形，且还存储高亮的定时。3个波形如下这样。
波形1-以右耳电极部为基准的左眼上电极的脑电波波形波形2-以右耳电极部为基准的右眼上电极的脑电波波形波形3-以右耳电极部为基准的右耳上的脑电波波形步骤S62中，脑电波特征提取部13向显示器16指示高亮。显示器16中，进行 图11(b)所示这种项目的高亮输出。保持脑电波特征提取部13中指示的高亮定时，并在 进行了高亮的情况下，在步骤S63中，进行以指示高亮的定时为起点的事件关联电位的 取得。具体上，从上述的波形1 3的脑电波中截取高亮定时的-100毫秒 600毫秒 的区间，而分别取得3个事件关联电位。对所取得的事件关联电位进行基线校正。基线 为-100毫秒 0毫秒区间的值。图13(b)表示所取得的1 3的事件关联电位的例子。步骤S64中，进行脑电波特征提取部13中取得的事件关联电位的时间频率分解 (Wavelet变换)。通过Wavelet变换，将脑电波细化为时间和频率的特征量，从而可选 出选择时的脑电波的特征信号的产生时间段和频带来加以提取。后面描述具体的产生时 间段和频带的值。图13(c)表示Wavelet变换波形1 3的事件关联电位后的数据例。 Wavelet变换的范围对于所取得的事件关联电位中Oms到600ms的区间，在包含脑电波的 成分的0到15Hz的范围内进行变换。图13(c)的曲线表示Wavelet变换后的数据。曲 线的横轴表示时间成分，纵轴表示频率成分，表示色浓的部分出现强的功率。步骤S65中，通过从Wavelet变换后的数据去除由眼的运动(眼睛飞快扫视)引 起的噪声成分，而进行与需要的脑电波特征信号有关的区域截出。脸部测量的脑电波中 混入很多在头顶部测量的情况下不会测量到的细微的眼球运动(眼睛飞快扫视)引起的电 位。认为眼睛飞快扫视的噪声主要混入5 17Hz的区域中，且该区域中含有的脑电波特 征信号中也混入很多噪声。由此，通过截出频率比OHz大、且为5Hz以下的区域，而可 提取噪声混入少的脑电波特征成分。图29表示截出的Wavelet变换后的数据区域。区域 (a)是比5Hz高的频率区域的数据集合，作为混入眼睛飞快扫视噪声的区域而去除。高亮后到200ms的区间出现闪烁引起的噪声的混入和视觉刺激反应等噪声的影 响。这些在头顶部进行测量时不成为问题，但是在脸部进行脑电波测量的情况下成为大 问题。为了减少这些噪声，将图29的区域(b)所示高亮后到200ms和400ms之后的区 间作为噪声区域去除。去除区域(a)和(b)后，结果，将其余区域作为与脑电波特征成分对应的数据提 取。图13(c)表示截出区域。频率5Hz以下的200ms到400ms的区域为图13(c)的 虚线内的部分，对上述三种波形1 3进行虚线内含有的取样点的提取。步骤S66中，将脑电波特征提取部13中提取的波形1 3的3个脑电波特征成 分组合为1个数据，并作为脑电波特征数据输出。接着，使用图14的流程图和图15的数据的流程图来说明判别部14的具体判别 处理的例子。判别部14中，预先以教师数据的形式保持相对想要选择的项目的波形和相对不 想选择的项目的波形。“教师数据”通过下面的顺序来预先取得而加以保持。首先，除了请多个用户(被试验者)事先清楚预先选择哪个选项之外，实际上还在与利用脑电波接口时同样的电 极位置中实施脑电波接口，而选择项目。这时记录的事件关联电位数据与上述脑电波测 量同样进行Wavelet变换，并提取频率5Hz以下的200ms到400ms的脑电波特征区域的取 样点。将从多个电极组合提取的脑电波特征区域的取样点组合为1个数据，而生成脑电 波特征数据。将该脑电波特征数据分类为相对想要选择的项目的数据和不想选择的(没 有选择的)项目，并与脑电波特征数据相对应作为教师数据加以保持。该教师数据也可如上所述，以不特定的多人的脑电波为基础来生成，并对利用 脑电波接口的用户10，与上述同样，预先实施学习作业，而生成利用了用户10的脑电波 的教师数据。步骤S81中，判别部14从脑电波特征提取部13中取得对各项目的脑电波特征数 据。若根据图11的例子来加以说明，则判别部14如图15所示，从脑电波特征提取部13 接收以脑电波接口的4个项目“棒球” “天气预报” “动画” “新闻”为起点的脑电 波特征数据(41a、41b、41c、41d)。步骤S82中，判别部14进行表示脑电波特征数据与想要选择的情况下的波形怎 样类似的类似度的运算。判别部14如上所述，预先保持教师数据，类似度的运算使用该 教师数据中包含的想要选择的情况下的波形和不想选择的情形下的波形。将教师数据中 含有的波形分类为想要选择的情况下的波形(正解波形)和不想选择的情况下的波形(非 正解波形)的2个群，并通过计算测量出的脑电波特征数据与正解波形群、非正解波形群 的距离，而算出与正解波形群的类似度。类似度的运算利用线性判别方法。测量出的脑 电波特征数据利用属于正解波形群的事后概率(posterior)。判别部14对各项目的脑电波特征数据同样计算类似度。例如，如图15(b)所 示，分别对于项目1 4，计算类似度(事后概率)。本实施方式中，类似度的计算利用了线性判别方法，但是也可通过使用支持向 量机(support vector machine)和神经网络等的方法，从分开正解波形群、非正解波形群的 边界线中算出所测出的脑电波特征数据怎样接近正解波形群(距边界线的距离)，从而算 出与正解波形群的类似度。步骤S83中，判别部14比较对各项目算出的脑电波特征数据的类似度的值，并 选出与正解波形最类似的波形，而作为结果输出。例如，将类似度的值最大的项目作为 用户10选择出的项目进行识别。在图15例的情况下，类似度分别是0.76、0.30、0.22、 0.28，而将类似度最大的“项目1”作为选择的项目加以识别，而变为如图15(c)这种结 果。将识别的结果通过判别部14输出到显示器16。接着，说明显示器16的输出例。如图11(b)那样，在选择视频内容的类型的接 口例的情况下，判断为是相对用户10想要选择的项目的波形的情况下，将位于所选择的 项目的视频通过视频输出设备输出。例如，在图11(b)所示的项目选择例中选择了天气 预报的情况下，如图11(c)所示，输出天气预报的视频155。本实施方式中，作为图7的输出部16的具体例举出了显示器16，但是，根据控 制输出的对象，可以适当改变输出部的具体结构。例如，在代替对应于选项的内容显示 等的视频输出，或与此同时，进行音乐再现等的声音输出的情况下，输出部16包含扬声 器的驱动控制电路。进一步，在操作放大器、音频播放器等外部设备的情况下，输出对外部设备的控制信号的控制电路、输出端子等也是输出部16的输出的范畴。在进行通过 振动向用户通知反应的振动输出的情况下，输出部包含振动器的驱动控制电路。本实施方式中，以根据所选的项目，输出与项目匹配的视频的脑电波接口为例 进行了说明，但是仅将判别结果输出到画面的情形和不输出判别结果的脑电波接口包含 在本发明的范畴中。通过如上这种处理，可以以与在头顶部设置电极的情形同样的精度从耳周边部 和脸部设置的电极判断用户选出的项目。由此，用户不需要特意在HMD等可戴设备之外 装载电极，由于还与可戴设备装载同时进行电极的装载，所以可以减少设备装载负担。接着，说明本申请发明人实施后的实验的内容及其结果，说明本实施方式的细 节及其效果。图16表示在使用了 HMD型脑电波接口系统1的本实验中，与用户10的脸部接 触的位置的例子。配置电极，使其与该位置接触。利用该位置的电极，来进行具体的精 度验证。本申请发明人首先对20多岁的15名被试验者进行测量实验，并以维持较高清醒 度的8名为对象进行分析。被试验者与上述的评价实验的被试验者相同。脑电波测量使用生物体信号收录装置(Polymate， 'J ^ ^卜) AP-1124 (Digitex( r ^ r ^ ^ ) ),取样频率为200Hz、时间常数为3秒、滤波器使 用30Hz的低通滤波器。电极配置在4个位置上。耳电极部11是右耳后乳突骨31 (图16)，并以此作为 基准极。脸电极部12是比左眼中心部靠上4cm的左眼上部23 (图16)、和比右眼中心部 靠上4cm的右眼上部25 (图16)、比右耳根最上部靠上2cm的耳上(右耳上)部27 (图 16)。设置电极装载在基于国际10-20法的场所标记的FPz33(图16)上。另外，为了与 头顶部的脑电波测量相比较，还在基于国际10-20法的场所标记的Pz上装载电极。对各被试验者平均选择40次，并在脸前面部进行测量的情况下和Pz中进行测 量的情况下，通过同样的判别算法实施判别，将判别结果命中的比例作为识别率进行运 算，从而进行精度验证。在作为评价的对象使用的判别算法中，实施上述的步骤S63到步骤S64的处理而 生成Wavelet数据，并在步骤S65中对进行了眼电等噪声去除处理的脑电波特征成分实施 判别处理。具体上，对以高亮定时为起点的Oms 600ms的事件关联电位(取样间隔5ms、 Double型)的数据进行Wavelet变换。Wavelet变换的频率成分的样本数在15Hz以下为40 个样本，时间成分的样本数为Oms 600ms的140个样本，并变换为40X 140的Wavelet 数据。进一步，为了进行Wavelet数据的噪声平滑化，通过对Wavelet数据进行4X 20 (4 分割频率0 15Hz、20分割时间0 600ms的Double型)的预取样，从而计算事件关联 电位的Wavelet变换数据。步骤S65的脑电波特征成分(在5Hz以下200ms 400ms的区域)在上述事件 关联电位的Wavelet变换数据中，提取图13的(e)所示的时间频率区域。即，频率成分 将4分割后的成分中低频2个成分的区域，且时间成分为210ms 390ms的区域(第8 13样本的区域)的共12个样本作为脑电波特征区域提取。将按每个电极的组合提取的脑电波特征区域的数据结合为1个数据，而成为脑电波特征数据。本实验中，由于从耳基 准的左眼上的组合、耳基准的右眼上的组合、耳基准的右耳上的组合的3个脑电波进行 脑电波特征成分提取，所以生成具有结合了 3个12取样点后的36个取样点的脑电波特征 数据。判别部14中，通过线性判别上述的处理中生成的36个取样点的脑电波特征数 据，来进行是否是相对想要选择的项目的波形的判别。这里，说明基于判别部14的判别处理中使用的教师数据的数据结构和生成方法。图17表示教师数据的例子。预先生成该教师数据，并保持在判别基准DB15 中。教师数据的生成方法如下这样。首先，预先使同一用户10事先明白选择哪个选项，除此之外，实施同样的电极 位置中的脑电波接口，而选择项目。这时记录的事件关联电位数据与上述脑电波测量同 样进行Wavelet变换，并从图16所示位置的各个电极的组合中，从频率5Hz以下的200ms 到400ms的脑电波特征区域中平均提取12个取样点。将从3个电极组合中提取的脑电波 特征区域的取样点组合为1个数据，从而生成36个取样点的脑电波特征数据。进一步， 由于分类各脑电波特征数据、是相对想要选择的项目的数据还是相对不想选择的(没有 选择的)项目的数据，所以与脑电波特征数据相对应，对相对想要选择的项目的脑电波 特征数据赋予“ + 1”、对相对不想选择的项目的脑电波特征数据赋予“_1”而作为正 解、非正解索引，并作为教师数据加以保持。判别部14通过该教师数据的多个脑电波特征数据和这次从用户10测量出的36 个取样点的脑电波特征数据来实施类似度的计算。这次从用户10测量出的脑电波特征数 据通过线性判别方式算出图17所示的教师数据的“+1”群中含有的概率(事后概率)而 算出类似度。对各个项目中测量出的脑电波特征数据，同样算出类似度。判别部14比 较对各项目算出的类似度，并将取最大值的项目作为这次从用户10测量出的脑电波为对 想要选择的项目的脑电波的波形来进行判别。图18表示精度验证的结果。从实验的结果来看，利用了基于与以耳后乳突骨为基准的脸部上装载的电极的 电位差的脑电波测量的脑电波接口的精度如图6所示，在1-利用了以右耳后乳突骨为基 准极的左眼上电极的脑电波的情况下为75.0%、在2-利用了以右耳后乳突骨为基准极的 右眼上电极的脑电波的情况下为75.3%，在3-利用了以右耳后乳突骨为基准极的右耳上 电极的脑电波的情况下为68.1%。利用本发明，比较从波形1 3的脑电波提取脑电波特征区域，并通过组合生成 的脑电波特征数据而实施判别的结果为80.6%，和组合电极前的波形1 3各自的识别率 相比，精度可最大提高10%以上。可以看出识别率也约为8成，与Pz中测量的情况下为 大致相同的精度。这里，例如设波形1的脑电波特征成分为15Hz以下且为200ms 400ms的区 域，将数据数设为增倍的24个样本，并算出波形1的进行利用了脑电波特征成分的识别 的情况下识别率。结果，识别率为72.5%，与12取样的情况下的精度75.0%相比，没有 发现精度提高。
其表示仅通过增加识别用的样本数不能提高精度。若识别用的取样点中包含了 噪声的取样点，则不管是否是用户10想要选择的项目，混入噪声的可能性提高，因将噪 声识别为脑电波的特征信号的比例高，所以识别率降低。即，认为识别精度中，与用于 识别的取样点的数目相比，是否是噪声的混入少的取样点更有效。由此，认为仅通过组合等增加脑电波特征成分的取样数，精度不会提高，在去 除由眼球运动引起的噪声成分之外，利用组合特征成分后的脑电波特征数据，精度开始 提尚。从以上的实验结果可知，通过以耳周边部(耳后乳突骨)为基准，从脸部的多个 电极的电位进行特征数据的提取，而判别组合后的数据，与仅通过耳电极部和脸部的电 极中测量出的脑电波单独进行判别的情形相比，可以看出可高精度地构筑脑电波接口。通过本发明提高了精度，从而可以看出可以通过与在头顶部测量脑电波的情形 下同等的精度来构筑脑电波接口。这样，通过从以耳周边部的电极为基准在脸部测量出的事件关联电位通过 Wavelet变换，提取去除因眼的运动引起的噪声后的特征信号成分之外，组合多个电极分 的特征信号成分生成脑电波特征数据来加以使用。由此，可以进行与开始在头顶部上装 载电极的情形下同样高精度的判别，由于除了 HMD等的可戴设备之外不需要装载电极， 所以可以减少用户的设备装载负担。之前，说明了控制显示器16的显示内容的例子(图11)。但是，显示内容的控 制仅是例子。以下、参考图19和图20，说明控制外部设备的例子。图19表示本实施方式的第1变形例的脑电波接口系统la。脑电波接口系统Ia 中的眼镜型头戴显示器(HMD) IOOa上设置有发送装置4。其他结构与图8所示的结构相 同。根据测量HMDlOOa的显示器16的显示内容的用户的事件关联电位来加以控 制，同时控制空调3的动作。例如、在显示器16上显示空调3的动作菜单(例如“制 冷”、“采暖”、“干燥”)，并依次加以高亮。在高亮希望的项目时，认为用户想要进 行该项目的选择。由此，通过上述的处理，根据事件关联电位来特定希望选择的项目。 判别部14生成与该项目对应的控制信号，并经发送装置4输出。空调3的接收装置5接收从发送装置4发送的控制信号。结果，空调3开始与 该控制信号对应的运行。发送装置4和接收装置5是例如基于红外线的发送机和接收机。图20表示基于本实施方式的第2变形例的脑电波接口系统Ib。脑电波接口系统 Ib中的眼镜型控制器IOOb中设置有发送装置4，但是也可不设置显示器。也可代替之前 的变形例的显示器，在脑电波接口系统Ib中，作为控制对象的设备，设有TV7。眼镜型 控制器IOOb中设有通信装置6a，并可与TV7中设置的通信装置6b进行双向通信。TV7 的显示器16上显示的内容如上述那样。眼镜型控制器IOOb作为控制TV7的显示内容的 控制装置起作用。如从该变形例所看出的，图7的输出部16可以是设置在与判别部14等相同的框 体上的显示器，也可以是设置在不同框体上的显示器。本实施方式中，以耳后乳突骨为基准极的例子进行了说明，但是耳电极部也可以不必限于装载在耳后乳突骨上。现有技术的脑电波测量中，由于耳后乳突骨部和耳朵 部作为容易受到脑电位、心电位、肌电位影响的部位，在脑电波测量中同样使用的情形 多，所以在包含图4(b)所示的耳朵部、耳珠部、耳底部后部的耳周边部装载耳电极部的 情况下也认为是本发明的范畴。上述的例子中，以HMD为例进行了处理的说明，但是基于在耳周边部装载的耳 电极和在脸部装载的多个脸电极部的脑电波接口是本实施方式的范畴，实现的装置不限 于HMD。作为HMD之外的例，图21表示按摩实施床的例子。用户趴下躺在按摩的实施床上，并将脸固定在床上开孔的状态下进行按摩的实 施。在固定该脸的部分配置电极，使其与用户的耳周边部和脸部接触，并在孔的底部设 置例如电视(未图示)而显示菜单。该电视为了在按摩实施中用户收看广播节目而设置。 作为菜单的一部分的菜单项，显示操作对象的设备的功能。在高亮希望的菜单项时，用 户通过在头脑中考虑想要切换其功能、例如频道切换，而在实施中切换频道。由此，可 以适用于基于脑电波接口系统的设备控制。由此，即使是HMD之外的护目镜型设备的接口和如实施床这种在特定场所固定 脸部的设备的接口中也可适用本发明。本实施方式中，对于判别基准DB15中存储的判断基准，说明为通过不特定多数 用户的脑电波特征数据来生成教师数据而进行线性判别，但是判断基准也可以是阈值， 通过所提取的用户10的脑电波特征数据中是否包含比该阈值大的值，来进行是否是对想 要选择的项目的脑电波波形的判别。在上述情况下，在判别基准DB中保持阈值的值。(实施方式2)实施方式1中，通过在耳周边部利用了 1个基准极和在脸部位置上利用了多个电 极的脑电波来提取脑电波特征数据而进行判别。在HMD这种装载不稳定的设备的情况下，认为在脸上装载的电极的位置偏移或 脱落，同样这耳周边部装载的基准极偏移或脱落的情形频发。另外，因发汗、外温和干 燥表面等个人特性的影响等引起的皮肤状态等，电极和皮肤的接触变弱，认为发生电极 从皮肤浮起的情形和因在电极和皮肤之间混入汗等的不纯物，噪声增加，不能正确测量 脑电波信号的情形多。因此，本实施方式中，说明即使在1个电极发生装载状态的问题的情况下，也 可适用实施方式1的发明，并可以以稳定的精度来进行脑电波判别的脑电波接口系统。图22是本实施方式的脑电波接口系统2的结构图。对与实施方式1相同的结构 要素添加同一附图标记，而省略说明。本实施方式的脑电波接口系统2与实施方式1的脑电波接口系统1不同点在于耳 电极部11为多个、和新设有电极装载判别部17。电极装载判别部17判断装载的各电极 是否是适当装置的状态。作为主要的构成要素，仅电极装载判别部17不同，接收电极装 载判别部17的信号的脑电波特征提取部13内部的处理也不同。本实施方式的整体处理的流程图与实施方式1的流程10相同。由此，说明 与脑电波特征提取部13的脑电波特征数据提取处理有关的流程图，并说明电极装载判别 部17及具体处理。图23表示脑电波特征提取部13的脑电波特征数据提取处理的流程图。对于进行与实施方式1相同的处理的步骤，仅限于简单说明。后面详细描述各步骤的说明的细 节。步骤SlOl中，电极装载判别部17判断用户10装载的各电极(耳电极部11、脸 电极部12)的装载状态，并输出电极装载信息。所谓“装载状态”是指电极与皮肤脱落 或没有脱落等。通过调查各电极间的电特性来进行该判别。具体上，通过检查电极间的 阻抗来进行判别。步骤S 102中，根据电极装载判别部17中判别出的电极状态信息，脑电波特征 提取部13来选择应测量的电极的组合。步骤S61中，脑电波特征提取部13通过测量选出的电极组合的电位差，来测量 脑电波。步骤S62中，通过脑电波特征提取部13的指示，由输出部16进行高亮显示。步骤S63中，对进行电极组合选择而测量出的脑电波，脑电波特征提取部13进 行以指示高亮的定时为起点的事件关联电位的取得。步骤S64中，为了将所取得的事件关联电位细化为时间和频率的特征量，而进 行Wavelet变换。步骤S65中，从Wavelet变换后的数据中仅截出与脑电波特征信号有关的区域。步骤S66中，将脑电波特征提取部中进行了截出的多个脑电波特征成分组合为1 个数据，作为脑电波特征数据输出。之后的判别部14的判断处理和输出部16的输出例，与实施方式1中说明的情形 相同。接着，参考图24，说明电极装载判别部17的电极装载状态的判别方法。设电极 装载在图24所示的位置11a、lib、12a和12b上。即，用户10在右耳周边部装载耳电 极部11a，在左耳周边部装载耳电极部11b，在右耳上装载脸电极部12a，在左眼上装载 脸电极部12b。图25表示电极装载判别部17的处理的流程图。步骤S71中，电极装载判别部17通过阻抗检查，来进行电极间的装载问题判 别。由此，可以确定电极和用户的皮肤是否接触。所谓阻抗检查是指通过在2个电极间流过极微量的电流，从而测量在2个电极和 皮肤接地的位置上产生了多少阻抗值的方式。在电极离开的情况下和因用户发汗等不能 适当检测出脑电波的情况下，电极的阻抗值升高。由此，通过阻抗检查，并测量电极的 阻抗值，从而可判别哪个组合的电极没有正确接地。图24所示的以两个耳电极部11a、lib为基准的在脸部装载的电极12a、12b的电 极组合举出有耳电极部Ila和脸电极部12a的组合201、耳电极部lib和脸电极部12a的 组合202、耳电极部Ila和脸电极部12b的组合203、耳电极部lib和脸电极部12b的组 合204。电极装载判别部17进行上述4个电极的组合201、202、203、204的阻抗检查， 并进行各组合阻抗值的测量。步骤S72中，电极装载判别部17判断电极的组合201、202、203、204的阻抗值 中，是否存在多个阻抗值高的组合。具体上，在步骤S72中测量出的某个电极的组合的 阻抗值超过IOOk欧姆(千欧)的情况下，判断为电极的组合的其中一个电极存在接地的问题。在不存在阻抗值高的电极的组合的情况下，在步骤S74中，将“不存在问题电 极”的电极状态信息输出到脑电波特征提取部13。若例如阻抗值为5千欧左右，则认为 该电极的组任何一个都是没有问题地进行装载。说明了通过在步骤S71的电极间的装载问题检查和步骤S72的装载问题的组合 检查中利用阻抗检查而进行电极装载状态的判别，但是也可对每个电极的组合测量脑电 波，并通过判断脑电波的频率等特性来进行电极间的装载问题的检测。例如，可以通过 调查测量的脑电波超过士 100 μ V的次数和测量的脑电波的频率成分，来进行电极装载状 态的判别。如上所述，在利用波形的特性，而不是阻抗值来进行电极状态的判别的情况 下，在步骤S72中，进行是否存在多个测量出具有电极装载问题的特性的脑电波的电极 组合。在步骤S72中存在多个有装载问题的电极组合的情况下，步骤S73中，电极装 载判别部17通过搜索有装载问题的电极的组合中公共含有的电极，来确定问题电极。一 般在基于阻抗检查和波形特性的装载问题检测中，仅可判断电极组合的其中之一存在问 题。由此，通过检测多个有装载问题的电极组合，确定多个组合中公共含有的电极，从 而可确定哪个电极脱落等问题的发生。例如，在图24的电极组201间的阻抗值、和电极 组202间的阻抗值大的情况下，将2个组合中公共的脸电极部12a确定为装载存在问题的 电极。在确定出发生问题的电极后，电极装载判别部17在步骤S74中，将确定出的电 极的位置信息作为电极状态信息输出到脑电波特征提取部13。例如，在脸电极部12a装 载时存在问题的情况下，将“右耳上电极有问题”的信息作为电极状态信息输出。上述的例子中，说明了通过阻抗检查和脑电波测量进行电极装载状态的判别的 例子，但是也可通过在电极上追加压力传感器这种新的传感器，从而通过接地压的强度 来进行电极的装载状态的判别。上述中，将电极状态信息作为“没有问题电极” “右耳上电极有问题”进行了 说明，但是电极装载判别部17也可通过什么都不输出而通知不存在问题状态的电极。在 电极上存在各自的ID的情况下，也可通过输出电极的ID，来通知存在问题的电极。进一步，在电极组合的阻抗值没有超过100千欧，但是接近100千欧时(例如 80 100千欧的范围内)，认为电极脱落。利用这种电极得到的脑电波信号的可靠性低， 若用于之后的处理，则有可能降低脑电波接口系统2的判别精度。因此，通过与上述的 电极脱落相同的方法来确定脱落的电极，从而可以抛弃从该电极得到的事件关联电位， 也可通知存在问题的电极。另外，也可对从该电极得到的事件关联电位进行噪声去除等 处理。接着，利用图26(a) (C)的每个电极装载状态的测量例来对脑电波特征提取部 13的处理加以说明。脑电波特征提取部13接收电极装载判别部17的电极状态信息，并决定应进行脑 电波测量的电极组合。在从电极装载判别部17接收到“没有问题电极”的电极状态信息的情况下，脑 电波特征提取部13如图26(a)所示，通过以两个耳电极部11a、lib为基准的多个脸电极的组合(图24的电极组201、202、203、204)的电位差来测量脑电波。在从电极装载判别部17接收到“右耳上电极有问题”的电极状态信息的情况 下，脑电波特征提取部13如图26(b)所示，通过不包含右耳上电极12a的耳电极部11a、 lib为基准的电极的组合203和204的电位差，来测量脑电波。进一步，在从电极装载判别部17接收到“右耳电极部有问题”的电极状态信息 的情况下，脑电波特征提取部13如图26(c)所示，通过不包含耳电极部Ila的左耳电极 部lib为基准的脸电极的组合202和204的电位差来测量脑电波。这样，通过一直监视电极装载状态，组合去除装载有问题的电极之外的电极来 进行判别，从而即使在脸部和耳周边部的电极脱落的情况下，也可测量出多个以耳电极 部11为基准的脸部的电极，可继续进行高精度的判别。即使在耳电极部11脱落的情况 下，也可继续进行脑电波接口的动作。由于可确定有装载问题的电极，所以可以通过“请确认右耳后方的电极的装载 状态”这种特定电极的重新装载的消息的提示和警告音，对用户通知发生了电极装载的 问题。通过该消息，用户10可进行强力推压发生了装载问题的电极的部位等的简单应 对，从而可以在重新再一次装载HMD这样的正常装载电极之前省去重新再次装载的手 续，可减轻用户的电极装载负担。进一步，通过可简单对应于电极的装载问题，可以保 持通常正常装载电极的状态，可以维持可进行高精度的判别的状态。即使在发生电极装载问题，但不对用户10通知装载问题的情况下，也可通过 使HMD具有改善电极的设置状态的机构(例如，使HMD的前沟槽部形状变化，进行使 HMD与用户10更紧密地调整和利用弹簧和空气压，调整为使得HMD将特定的电极与用 户10很强接触等)，也可自动保持正常的电极装载状态，并可维持可进行高精度判别， 而不用麻烦用户10的手的状态。由此，在装载不稳定的HMD中，也可使脑电波接口强健动作。接着，说明本申请发明人实施后的实验的内容及其结果，说明本实施方式的效果。实验进行基于以两个耳后乳突骨为基准的本实施方式的假定电极脱落后的脑电 波接口系统的动作精度的验证和在以单耳后乳突骨为基准的方式中同样位置的电极发生 脱落的情况下的精度比较。实验参数进行与实施方式1中实施的实验同样的脑电波计、滤波器处理，精度 算出方法也通过同样的方法进行。测量电极位置作为耳电极部，以右耳后乳突骨Ila(图24)、左耳后乳突骨 lib(图24)作为基准极，作为脸电极部，以左眼中心部上4cm的左眼上部12b(图24)、 比右耳根最上部上2cm的耳上(右耳上)部12b (图24)的总共4个位置上装置电极，设 置电极装置在基于国际10-20法的场所标记的FPz上。仅以单耳耳后乳突骨为基准的方 式与实施方式1中说明的电极位置同样，并在图16所示的位置上进行。图27表示精度验证的结果。实验结果，在本实施方式的方式中，若观察图26所示的(a)通常时、(b)脸电 极部12a脱落的情形、(c)耳电极部Ila脱落的情况下的3个情形的识别率，则分别为 (a)80.6%, (b)75.6%, (c)69.1%。这样，通过本实施方式，即使一个电极脱落的情况下也可维持近7成的识别率，而可确认可使脑电波接口动作。进行本实施方式的方式和以单耳后乳突骨为基准的情形下的比较。在以单耳后 乳突骨为基准的情况下，在(b)的情况下，识别率为75.0%，与利用两耳后乳突骨的本实 施方式相比较低、在(C)的情况下不能进行脑电波的测量，不能使脑电波接口动作。从以上的实验结果看出，通过从以两个耳后乳突骨(mastoid)为基准，从脸部的 多个电极的电位进行特征数据的提取，并判别组合后的数据，与仅通过单耳后乳突骨和 脸部的电位差单个来进行判别的情形相比精度高，即使为取出了一个电极的状态，也不 变为不能测量的状态，可以以较高的精度构建脑电波接口。这样，通过基于本实施方式的脑电波接口，即使在两个耳周边部平均装载1个 电极和在脸部位置装载多个电极，且1个电极脱落的情况下，通过可确保以耳周边部为 基准极的脸部电极的电位，也可避免因电极装载问题，判别精度降低的情形和不能进行 判别的情形，在HMD这种装载不稳定的设备中，也可实现强健的脑电波接口。产业上的可用性本发明的脑电波接口装置中，可以广泛用于在脸部进行脑电波测量的情形，不 限于HMD，在如不具有视频输出的眼镜(护目镜)型可戴设备和如在开孔的位置上放入 脸的美容服务(aesthetic)和按摩等中使用的实施床那样，将脸固定在特定的位置的设备 等中，可用于构筑利用了脑电波接口的情形。
权利要求
1.一种使用了脑电波的设备的控制方法，其特征在于，包括 步骤(a)，提示与设备的操作菜单有关的视觉刺激；步骤(b)，在所述视觉刺激的提示后，测量多个事件关联电位，根据分别在用户的脸 部装载的多个电极和在用户的耳周边部装载的至少一个基准电极之间的电位差，测量以 提示所述视觉刺激的定时为起点的多个事件关联电位；步骤(C)，从测量出的所述多个事件关联电位分别提取5Hz以下且包含预定的时间区 间的脑电波数据，并组合所述提取出的脑电波数据而作为脑电波特征数据；步骤(d)，比较预先准备的判别是否要选择操作菜单用的基准数据和所述脑电波特征 数据；以及步骤(e)，根据所述步骤(d)的比较结果，来执行与所述设备的操作菜单对应的操作。
2.根据权利要求1所述的控制方法，其特征在于所述预定的时间区间是以所述视 觉刺激的提示为起点的200ms到400ms的区间。
3.根据权利要求1所述的控制方法，其特征在于所述步骤(b)使用所述用户两侧的 耳周边部分别装载的至少一个基准电极，来测量所述多个事件关联电位。
4.根据权利要求1-3中任一项所述的控制方法，其特征在于所述步骤(b)使用在所 述用户的右眼上部和左眼上部的至少一个位置上装载的电极，来测量所述多个事件关联 电位。
5.根据权利要求2所述的控制方法，其特征在于所述步骤(C)从测量出的所述多个 事件关联电位的波形中提取表示所述波形的频率和时间特征的脑电波特征数据。
6.根据权利要求5所述的控制方法，其特征在于所述步骤(C)通过对测量出的所述 脑电波的波形进行Wavelet变换，来提取表示所述波形的时间和频率特征的脑电波特征数据。
7.根据权利要求6所述的控制方法，其特征在于所述步骤(C)提取在所述输出部中 提示了所述设备的操作菜单后200ms 400ms的区间内、且表示频率为5Hz以下的特征 的脑电波特征数据。
8.根据权利要求2所述的控制方法，其特征在于所述步骤(C)从由所述耳周边部的 至少一个基准电极和所述脸部的多个电极测量的所述多个事件关联电位的各波形中提取 表示所述各波形的特征的数据，并根据各数据生成1个脑电波特征数据。
9.根据权利要求3所述的控制方法，其特征在于，进一步包括步骤(f)，根据所述用户的脸部装载的多个电极的每一个和在所述用户两侧的耳周边 部分别装载的至少一个基准电极之间的电特性，来判别所述多个电极和所述基准电极各 自的装载状态；以及步骤(g)，根据所述步骤(f)的判别结果，来决定所述步骤(b)中测量所述多个事件 关联电位的电极的组合。
10.根据权利要求9所述的控制方法，其特征在于所述步骤(g)检测出多个通过将在所述用户的脸部装载的多个电极的每一个和在 所述用户两侧的耳周边部分别装载的至少一个基准电极进行组合而得到的所述多个事件 关联电位的测量值超过阈值的电极组合，并通过搜索在所述电极的组合中公共含有的电极，从而确定装载状态有问题的电极。
11.根据权利要求9所述的控制方法，其特征在于可识别地通知通过所述步骤(g) 确定出的电极。
12.—种脑电波接口系统，其特征在于，包括 输出部，其在视觉上提示操作菜单；多个电极，分别装载在用户的耳周边部和脸部，测量所述用户的脑电波； 脑电波特征提取部，其从根据所述操作菜单的提示定时确定的所述脑电波波形的至 少一部分中提取表示所述波形的特征的脑电波特征数据；和判别部，其比较预先准备的数据和所述脑电波特征数据来判别其类似度，并根据判 别结果来控制设备。
13.根据权利要求12所述的脑电波接口系统，其特征在于 所述输出部是显示器；所述判别部根据所述判别结果来控制所述显示器的显示内容。
14.根据权利要求13所述的脑电波接口系统，其特征在于所述脑电波接口系统还包括发送部，该发送部对外部设备输出控制信号； 所述判别部根据所述判别结果输出所述控制信号，并根据所述控制信号来控制所述 外部设备的动作。
15.—种显示装置的控制装置，与显示装置一起形成脑电波接口系统，其特征在于， 包括通信部，其与所述显示装置进行通信，且使所述显示装置在视觉上提示操作菜单； 多个电极，分别装载在用户的耳周边部和脸部，测量所述用户的脑电波； 脑电波特征提取部，其从根据所述操作菜单的提示定时确定的所述脑电波波形的至 少一部分中提取表示所述波形的特征的脑电波特征数据；和判别部，其比较预先准备的数据和所述脑电波特征数据来判别其类似度，并根据判 别结果来控制所述设备。
全文摘要
本发明提供一种脑电波接口、设备的控制方法。设备的控制方法包含步骤(a)，提示与设备的操作菜单有关的视觉刺激；步骤(b)，在视觉刺激的提示后，测量多个事件关联电位，根据分别在用户的脸部装载的多个电极和在用户的耳周边部装载的至少一个基准电极之间的电位差测量出以提示视觉刺激的定时为起点的多个事件关联电位；步骤(c)，从测量出的多个事件关联电位分别提取5Hz以下且包含预定的时间区间的脑电波数据，并组合提取的脑电波数据而作为脑电波特征数据；步骤(d)，比较预先准备的判别是否要选择操作菜单用的基准数据和脑电波特征数据；步骤(e)，根据步骤(d)的比较结果，来执行与设备的操作菜单对应的操作。
文档编号G06F3/01GK102016757SQ20098011441
公开日2011年4月13日 申请日期2009年6月26日 优先权日2008年7月11日
发明者寺田佳久, 森川幸治 申请人:松下电器产业株式会社