控制装置和控制方法与流程

1.本技术涉及一种控制装置和控制方法，并且特别地，涉及一种能够提供更方便的脑波输入用户界面的控制装置和控制方法。


背景技术：

2.近年来，对脑电波进行分析并且应用于界面的研究和开发一直在积极进行。
3.例如，专利文件1公开了一种安全驾驶辅助系统，用于在通过将关于驾驶员的允许信息与生物信息进行比较来确定驾驶员是否处于可驾驶状态时，确定是否在由脑波测量单元测量的脑电波中检测到预定的脑电图模式。
4.现有技术文献
5.专利文件
6.专利文件1：日本专利申请公开号2019-199177


技术实现要素：

7.发明要解决的问题
8.然而，脑波测量存在由于用户的头部肌电导致的较大伪影，使用场景目前受到限制。因此，需要提出一种更方便的脑波输入用户界面。
9.本技术是针对这种情况而提出的，其目的是提供更方便的脑波输入用户界面。
10.问题的解决方案
11.根据本技术的一个方面的控制装置是一种控制装置，包括检测单元，所述检测单元被配置为执行包括在所测量的用户的生物信号中的脑波的检测、以及基于除了包括在所述生物信号中的脑波之外的信息的用户动作的检测；以及处理单元，所述处理单元被配置为在所述用户动作是预定动作的情况下，执行基于所述脑波的预定处理。
12.根据本技术的一个方面的控制方法是一种控制方法，包括由控制装置检测包括在所测量的用户的生物信号中的脑波，以及检测基于除了包括在所述生物信号中的脑波之外的信息的用户动作；以及在所述用户动作是预定动作的情况下，执行基于所述脑波的预定处理。
13.在根据本技术的一个方面的控制装置和控制方法中，检测包括在所测量的用户的生物信号中的脑波，检测基于除了包括在所述生物信号中的脑波之外的信息的用户动作，并且在所述用户动作是预定动作的情况下，执行基于所述脑波的预定处理。
14.根据本技术的一个方面的控制装置可以是独立装置，或者是构成一个装置的内部块。
附图说明
15.[图1]是示出触发动作和密匙意念的注册示例的图。
[0016]
[图2]是示出触发动作和密匙意念的注册示例的图。
[0017]
[图3]是示出触发动作的变型的示例的图。
[0018]
[图4]是示出语音指令的模式的示例的图。
[0019]
[图5]是示出脑波个人认证的认证示例的图。
[0020]
[图6]是示出脑波个人认证的认证示例的图。
[0021]
[图7]是示出利用听觉诱导响应的脑波个人认证的注册示例的图。
[0022]
[图8]是示出利用听觉诱导响应的脑波个人认证的认证示例的图。
[0023]
[图9]是示出利用视觉诱导响应的脑波个人认证的注册示例的图。
[0024]
[图10]是示出利用视觉诱导响应的脑波个人认证的认证示例的图。
[0025]
[图11]是示出回忆检索的第一示例的图。
[0026]
[图12]是示出回忆检索的第二示例的图。
[0027]
[图13]是示出应用了本技术的脑波系统的配置示例的框图。
[0028]
[图14]是示出设置在耳机中的电极和基准电极的布置示例的图。
[0029]
[图15]是示出设置在hmd中的电极和基准电极的布置示例的图。
[0030]
[图16]是示出记录在信号记录单元中的表的配置示例的图。
[0031]
[图17]是示出触发动作信号记录表的示例的图。
[0032]
[图18]是示出特定于触发动作的脑波应用表的示例的图。
[0033]
[图19]是示出脑波信号记录表的示例的图。
[0034]
[图20]是示出应用了本技术的脑波系统的其他配置示例的框图。
[0035]
[图21]是示出应用了本技术的脑波系统的其他配置示例的框图。
[0036]
[图22]是示出应用了本技术的脑波系统的其他配置示例的框图。
[0037]
[图23]是示出触发动作和密匙意念的注册处理的流程的流程图。
[0038]
[图24]是示出触发动作和密匙意念的注册处理的流程的流程图。
[0039]
[图25]是示出脑波个人认证处理的流程的流程图。
[0040]
[图26]是示出利用听觉诱导的个人认证的认证注册示例的图。
[0041]
[图27]是示出利用听觉诱导的个人认证的认证注册示例的图。
[0042]
[图28]是示出利用视觉诱导的个人认证的认证注册示例的图。
[0043]
[图29]是示出利用视觉诱导的个人认证的认证注册示例的图。
[0044]
[图30]是示出音乐分发服务的应用示例的图。
[0045]
[图31是示出游戏屏幕的应用示例的图。
[0046]
[图32]是示出加载屏幕的应用示例的图。
[0047]
[图33]是示出用户选择屏幕的应用示例的图。
[0048]
[图34]是示出用户选择屏幕的应用示例的图。
[0049]
[图35]是示出应用了本技术的脑信息系统的配置示例的框图。
[0050]
[图36]是示出应用了本技术的脑信息系统的其他配置示例的框图。
[0051]
[图37]是示出fnirs传感器的配置示例的框图。
[0052]
[图38]是示出设置在耳机中的fnirs传感器的布置示例的图。
[0053]
[图39]是示出设置在hmd中的fnirs传感器的布置示例的图。
[0054]
[图40]是示出记录在信号记录单元中的表的配置示例的图。
[0055]
[图41]是示出cbpa表的示例的图。
[0056]
[图42]是示出认证注册处理的流程的流程图。
[0057]
[图43]是示出认证注册处理的流程的流程图。
[0058]
[图44]是示出计算机的配置示例的框图。
具体实施方式
[0059]
《1.第一实施方式》
[0060]
目前，使用多种验证因素的多因素认证(multi-factor authentication)系统广泛使用于银行等的需要高安全性的认证中。为了进行多因素认证，需要向意图接受认证的用户呈现以下示出的(a)至(c)中的两种或更多种类别的认证因素。
[0061]
(a)知识：只有该用户知道的信息(例如，密码)
[0062]
(b)所有物：只有该用户持有的东西(例如，atm卡)
[0063]
(c)生物信息：只有该用户持有的特征(例如，指纹)
[0064]
然而，多因素认证系统是系统复杂和高成本的。此外，从用户体验(ux，user experience)的角度来看，由于步骤很多，因此很难说它是用户友好的。
[0065]
可以从脑电图(eeg，electroencephalograph)中读取的脑波、以及可以从磁共振成像(mri，magnetic resonance imaging)和近红外光谱(nirs，near-infrared spectroscopy)中读取的脑活动也具有表明个人差异的特征。
[0066]
当能够以可判别个人的精度读取只有用户知道的密匙意念(pass-thought)时，可以通过同时地使用与上述的(a)对应的只有该用户知道的知识作为第一认证因素、和将与上述的(c)对应的该用户的脑特征量等生物信息作为第二认证因素，在一次过程中进行认证。
[0067]
密匙意念是在感知和回忆任意对象的情况中特有的脑活动信息。任意对象包括声音、图像、气味、触觉、味觉等。这些对象可以被实际识别和感知，或者也可以实际上未被感知，而是被回忆或想象。
[0068]
回忆或想象可以基于示出对象的直接或具体指示来进行，或者可以基于抽象指示来进行。作为前一种情况的示例，可假想以下情形，基于请想象苹果的指示，用户想象苹果。此外，作为后一种情况的示例，可假想以下情形，基于请想象你喜欢的水果的指示，用户想象苹果。脑活动信息是通过脑波、mri等获得的信息，并且可以定义为其测量信号、或者从测量信号中提取的特征量、或者包括特征量的空间。
[0069]
另一方面，脑波测量存在由于用户的头部肌电而引起的很大的伪影，并且目前使用场景受到限制。
[0070]
也就是说，在脑波测量时，由眨眼或下巴的肌电引起的伪影成为问题。因此，在通常的脑波测量中，在静止状态下进行闭眼的测量。由于这种原因，存在以下问题，即，使用脑波信号作为输入信号的用户界面(ui，user interface)具有有限的使用场景，并且难以在社会上实现。
[0071]
因此，在本技术中，通过提供使用头部肌电的脑波测量机的用户界面，解决了这些问题，同时实现了具有自然且易于所有人理解的用户界面(ui)的关于脑波的处理，诸如脑波个人认证等。在下文中，将参考附图描述第一实施方式。
[0072]
(第一示例)
[0073]
图1和图2示出脑波个人认证中使用的触发动作和密匙意念的注册示例。
[0074]
在图1和图2中，用户将诸如智能手机等移动终端10a握在手中，并在耳朵上佩戴以无线或有线方式与移动终端10a连接的耳机20a。尽管稍后将描述细节，耳机20a设有多个电极，并且能够测量来自于用户的头部的生物信号，诸如肌电信号或脑波信号。
[0075]
用户操作正在移动终端10a上启动的脑波个人认证应用的菜单屏幕，以选择触发动作和密匙意念的注册(s11)。脑波个人认证应用是利用从用户的头部测量的脑波执行个人认证的应用，并且是脑波应用的一个示例。触发动作是用作当执行基于脑波的预定处理时的触发的动作(用户的预定动作等)。
[0076]
响应于该选择操作，在移动终端10a上用图像、文本、声音等向用户呈现提示采取预定动作的用户界面(s12)。在此示例中，通过图像和文本，显示包括消息的屏幕，所述消息提示闭上眼睛、并且根据语音指令开始密匙意念的想象。语音指令是由语音作出的指示，并且是作为来自于系统的明确指示的指令的一个示例。
[0077]
当用户根据移动终端10a上显示的消息闭上眼睛时，通过耳机20a的电极测量与该动作对应的肌电信号(s13)。在该示例中，响应于用户的闭眼，测量包括图1的波形w11的肌电信号，并将其记录为触发动作信号。
[0078]
此后，从耳机20a向闭着眼睛的用户输出语音指令，该语音指令提示想象用于脑波个人认证密钥的密匙意念(s14)。
[0079]
当用户根据该语音指令想象密匙意念时，通过耳机20a的电极测量其脑波信号(s15)。在该示例中，当用户想象猫时，测量包括图2中的波形w12的脑波信号，并且与作为脑波应用的脑波个人认证应用和作为触发动作的闭眼相关联地对其进行记录。
[0080]
当注册触发动作和密匙意念时，从耳机20a向用户输出语音，该语音通知注册完成、并且可以睁开眼睛(s16)。此外，在移动终端10a中，通过图像、文本、声音等呈现示出注册完成的用户界面(s17)。在该示例中，通过图像和文本显示包括指示注册完成的消息的屏幕。
[0081]
以这种方式，用户通过根据诸如语音指令等用户界面(ui)执行用作触发动作的动作等，并且想象用作密匙意念的事物等，注册在脑波个人认证中使用的触发动作和密匙意念。
[0082]
在上述描述中，描述了用户将闭眼动作注册为触发动作的示例(图1中的s12和s13)。然而，如图3所示，可以呈现提示诸如眨眼两次、向下低头且闭眼、或者闭眼且以预定间隔移动嘴(下巴)四次等动作的用户界面，将用户作出的其他动作注册为触发动作(s12’)。
[0083]
结果，根据所呈现的用户界面，用户执行诸如眨眼两次、在向下低头的状态下闭眼、或者在闭眼后以移动嘴(下巴)四次等动作，由此测量包括对应于该动作的波形w11’的肌电信号，并将其记录为触发动作信号(s13’)。也就是说，此处呈现的用户界面是作为来自于系统的明确指示的指令，并且提示用户执行触发动作。
[0084]
此外，在上述描述中，描述了用户想象任意对象(事物等)作为密匙意念的情形(图2中的s14和s15)的示例。然而，如图4所示，不限于提示用户完全自由地想象喜爱的图像的语音指令，而可以通过诸如“请想象你喜欢的动物”等语音指令限制密匙意念的想象范围，并且降低自由度。或者，可以想象人物、风景、用户身体的移动、文字、数字、旋律、歌曲等，或
者可以使用诸如秘密问题等选择形式。
[0085]
结果，测量包括与更受限制的所喜欢的动物或者用户对秘密问题的回答的想象对应的波形w12’的脑波信号，并且与脑波应用和触发动作相关联地对其进行记录(s15’)。
[0086]
注意，在注册上述触发动作和密匙意念时，通过重复执行图1和图2中的步骤s12到s17的处理多次，可以更高精度地注册触发动作信号和脑波信号，并且可以提高使用触发动作和密匙意念的脑波个人认证的精度。
[0087]
图5和图6示出使用触发动作和密匙意念的脑波个人认证(密匙意念认证)的认证示例。
[0088]
在图5和图6中，用户将诸如智能手机等移动终端10a握在手中，并在耳朵上佩戴以无线或有线方式与移动终端10a连接的耳机20a。耳机20a在触发动作测量模式下操作(s21)。
[0089]
此时，当用户闭上眼睛时，通过耳机20a的电极测量与该动作对应的肌电信号(s22)。在该示例中，作为触发动作信号，检测包括图5的波形w21的肌电信号，并且在耳机20a中开始触发动作识别过程。
[0090]
在该触发动作识别过程中，确认在注册时记录的触发动作信号中是否存在具有在预定阈值范围内的相似度的触发动作信号。此外，根据所记录的触发动作信号与脑波应用之间的关系，向相应的脑波应用通知检测到触发动作信号。
[0091]
在该示例中，由于在认证时作为触发动作信号检测到的肌电信号的波形w21具有与在注册时记录为触发动作信号的肌电信号的波形w11的在预定阈值范围内的相似度，因此触发动作是闭眼，并且相应的脑波应用是脑波个人认证应用(s23)。
[0092]
当识别触发动作和脑波应用时，从耳机20a向闭着眼睛的用户输出语音指令，该语音指令提示想象所注册的密匙意念(s24)。在耳机20a中，测量模式从触发动作测量模式更改为脑波测量模式。
[0093]
当用户根据该语音指令想象密匙意念时，通过耳机20a的电极测量其脑波信号(s25)。在该示例中，通过由用户想象猫，测量包括图6中的波形w22的脑波信号，并且开始密匙意念识别过程。
[0094]
在该密匙意念识别过程中，确认在分别为每个相应的脑波应用记录的脑波信号中是否存在具有在预定阈值内的相似度的信号。
[0095]
在该示例中，由于在认证时测量的脑波信号的波形w22具有与记录为脑波个人认证应用的脑波信号的脑波信号的波形w12的在预定阈值范围内的相似度，因此向脑波个人认证应用通知脑波信号一致(s26)。
[0096]
注意，在不存具有与所测量的脑波信号的波形w22的在预定阈值范围内的相似度的脑波信号的情况下，向脑波个人认证应用通知脑波信号不一致。
[0097]
当通过密匙意念识别过程完成时，从耳机20a向用户输出语音，该语音通知认证完成并且可以睁开眼睛(s27)。此外，在移动终端10a中，通过图像或文本显示包括示出认证完成的消息的屏幕(s27)。
[0098]
以这种方式，用户通过根据诸如语音指令等用户界面(ui)，执行用作触发动作的动作等，或者想象用作密匙意念的事物等，执行脑波个人认证。
[0099]
(外部诱导示例)
[0100]
在上述描述中，描述了其中在脑波个人认证中注册时和认证时用户主动想象密匙意念的示例，但是用户想象的密匙意念也可以是从外部诱导的。首先，将参考图7和图8描述利用听觉诱导响应的脑波个人认证的示例。
[0101]
图7示出利用听觉诱导响应的脑波个人认证的注册示例。
[0102]
用户操作正在移动终端10a上启动的脑波个人认证应用的菜单屏幕，以选择触发动作和密匙意念的注册(s31)。注意，可以在此菜单屏幕上选择利用听觉诱导响应。
[0103]
响应于该选择操作，移动终端10a用图像、文本、声音等向用户呈现消息，该消息提示用户闭上眼睛并且听从耳机20a输出的声音(s32)。
[0104]
当用户根据移动终端10a上呈现的消息而闭上眼睛时，由耳机20a的电极测量对应于该动作的肌电信号，并记录为触发动作信号(s33)。
[0105]
此后，从耳机20a向闭着眼睛的用户输出诱导声音，并且当用户对该诱导声音作出响应时，由耳机20a的电极测量与该响应对应的脑波信号，并且与脑波个人认证应用和触发动作相关联地对其进行记录(s34)。
[0106]
当注册与听觉诱导响应对应的密匙意念时，从耳机20a向用户输出语音，该语音通知注册完成并且可以睁开眼睛(s35)。
[0107]
当用户根据该语音指令而睁开眼睛时，通过耳机20a的电极测量与该动作对应的肌电信号，并将其记录为触发动作信号(s36)。也就是说，在该示例中，通过记录在用户闭上眼睛时和睁开眼睛时的一系列动作，睁眼/闭眼动作被记录为触发动作。
[0108]
注意，通过多次重复上述步骤s32到s34的过程、并且确认是否与上次的波形一致(或类似)，可以以更高精度进行根据听觉诱导响应的密匙意念的注册。
[0109]
图8示出利用听觉诱导响应的脑波个人认证的认证示例。
[0110]
用户佩戴在耳朵上的耳机20a在触发动作测量模式下操作(s41)。当用户睁开和闭上眼睛时，作为触发动作信号检测与该动作对应的肌电信号，并且开始触发动作识别过程。
[0111]
在该示例中，在触发动作识别过程中，由于在认证时作为触发动作信号检测到的肌电信号具有与上述的在注册时记录为触发动作信号的肌电信号的在预定阈值范围内的相似度，因此触发动作是睁眼/闭眼，且相应的脑波应用是脑波个人认证应用(s42)。
[0112]
一旦确定触发动作和脑波应用，测量模式将更改为脑波测量模式。此后，从耳机20a向闭着眼睛的用户输出诱导声音，当用户对该诱导声音作出响应时，通过耳机20a的电极测量与该响应对应的脑波信号，并且开始erp识别过程(s43)。事件相关电位(erp)是作为用户的思考或认知的结果而以某种形式测量的大脑反应(针对内部和外部刺激类型的电生理反应)。
[0113]
在该示例中，在erp识别过程中，由于在认证时测量的脑波信号具有与作为脑波个人认证应用的脑波信号记录的脑波信号的在预定阈值范围内的相似度，因此向脑波个人认证应用通知脑波信号一致。
[0114]
当erp识别过程完成时，从耳机20a向用户输出指示认证完成的声音(认证通过声音，authentication clear sound)、以及通知可以睁开眼睛的语音(s44)。
[0115]
这样，通过利用听觉诱导响应，用户可以仅通过听从外部输出的诱导声音来实现脑波个人认证，而不需要自己想象用于认证密钥的密匙意念。
[0116]
注意，作为诱导声音，可以使用各种声音，但也可以使用异常声音与正常声音混合
的怪球(odd ball)任务等。怪球任务是以随机顺序呈现两种或更多种具有不同出现频率的声音。
[0117]
接下来，将参考图9和图10描述利用视觉诱导响应的脑波个人认证的示例。
[0118]
图9示出利用视觉诱导响应的脑波个人认证的注册示例。
[0119]
在图9的步骤s51至s53中，类似于图7的步骤s31至s33，当用户根据由移动终端10a或耳机20a呈现的消息而闭上眼睛时，由耳机20a的电极测量对应于该动作的肌电信号，并将其记录为触发动作信号。
[0120]
利用移动终端10a的视觉诱导照明功能用诱导光照射闭着眼睛的用户，并且当用户对该诱导光作出响应时，通过耳机20a的电极测量与该响应对应的脑波信号，并且与脑波个人认证应用和触发动作相关联地对其进行记录(s54)。
[0121]
例如，作为视觉诱导照明，可以使用具有特定脉冲的闪光灯照明，并且仅需要以用户没有意识到、但是脑波信号中发生诱导响应的速度来启用闪光灯。注意，尽管视觉诱导照明功能被描述为移动终端10a的功能，但是也可以作为其他设备的功能来提供。
[0122]
在图9的步骤s55至s56中，类似于图7的步骤s35和s36，在通知注册完成后，测量与用户睁开眼睛时的动作对应的肌电信号，并且记录为触发动作信号。也就是说，在该示例中，通过记录在用户闭上眼睛和用户睁开眼睛时的一系列动作，睁眼/闭眼动作被记录为触发动作。
[0123]
注意，通过多次重复上述的步骤s52至s54的过程、并且确认是否与上次的波形一致(或类似)，可以以更高精度进行根据视觉诱导响应的密匙意念的注册。
[0124]
图10示出利用视觉诱导响应的脑波个人认证的认证示例。
[0125]
在图10的步骤s61至s62中，类似于图8的步骤s41至s42，在与用户睁眼/闭眼时的动作对应的肌电信号被检测为触发动作信号、并且具有与在注册时记录的触发动作信号的在预定阈值范围内的相似度的情况下，开始erp识别过程(s63)。
[0126]
在该erp识别过程中，当用户对由移动终端10a照射的诱导光作出响应时，测量与该响应对应的脑波信号。因此，在所测量的脑波信号具有与作为脑波个人认证应用的脑波信号记录的脑波信号的在预定阈值范围内的相似度的情况下，向脑波个人认证应用通知脑波信号一致。
[0127]
在图10的步骤s64中，类似于图8的步骤s44，当密匙意念的认证完成时，从耳机20a向用户输出指示认证完成的声音(认证通过声音)、以及通知可以睁开眼睛的语音。
[0128]
这样，通过利用视觉诱导响应，用户可以仅通过接收从外部输出的诱导光的照射来实现脑波个人认证，而无需自己想象用于认证密钥的密匙意念。
[0129]
注意，诸如室内照明等中，通过将在用户意识不到的速度下的脉冲插入信号中，使其与预先注册的视觉诱导响应的脑波信号一致，由此可以连续地执行持续的脑波个人认证。此外，此时，可通过视觉诱导响应的脑波信号测量用户的集中力。
[0130]
此外，由于使用了诸如室内照明等，因此不仅可以对一个用户，而且可以对房间中的多个用户同时执行脑波个人认证。例如，通过提供该脑波个人认证的功能作为会议室应用的功能，可以在会议室由多个用户使用的情况下，对会议室内的用户执行脑波个人认证，并且可以掌握会议的参加状况。
[0131]
此外，在上述描述中，已经举例说明了利用听觉诱导响应和视觉诱导响应的脑波
个人认证，但除此之外，还可以使用通过诸如移动终端10a等设备的振动引起的触觉诱导响应、通过气味产生装置引起的嗅觉诱导响应等。这种由听觉、视觉、触觉或嗅觉诱发的脑波信号也可以说是事件相关电位(erp)。
[0132]
(第二示例)
[0133]
在上述描述中，描述了执行脑波个人认证应用作为脑波应用的示例，但即使在使用其他脑波应用的情况下，也可以应用本技术。将参考图11和图12描述利用脑波检索应用的回忆检索(脑日志检索，brain log search)的示例。
[0134]
图11示出利用脑波检索应用的回忆检索的第一示例。
[0135]
在图11中，用户将诸如智能手机等移动终端10a握在手中，并在耳朵上佩戴以无线或有线方式与移动终端10a连接的耳机20a。此外，在移动终端10a中，诸如社交网络服务(sns)应用和新闻应用等应用被启动。
[0136]
此时，在用户操作移动终端10a并阅览sns应用等报道的情况下，假设存在关注报道的场景(s71)。
[0137]
在该场景中，通过耳机20a的电极测量用户在阅览关注报道时的脑波信号，并对其进行记录。
[0138]
关于记录该脑波信号的定时，例如，当在移动终端10a上检测到在一定时间或更长时间内固定显示的报道时，推定用户一直在关注和阅览该报道，并且自动记录此时的脑波信号。
[0139]
在该示例中，作为当检测到在一定时间或更长时间内固定显示的报道时的用户的脑波信号，测量包括图11中的波形w71的脑波信号，并对其进行记录。在该脑波信号的记录时，可以与脑波检索应用相关联。此外，关于所记录的脑波信号的信息可通过诸如历史信息等信息而与关于关注报道的信息相关联。
[0140]
此后，假设以下场景，其中用户尝试再次阅览关注报道，但尽管试图搜索关注报道，但不记得它是哪篇报道(s72)。此时，假设用户甚至想不出在哪个应用上阅览过，想不出检索词。
[0141]
此时，当用户闭上眼睛时，与该动作对应的肌电信号被耳机20a的电极检测为触发动作信号，并且触发动作识别过程开始(s73)。注意，在该示例中，假设将用户闭上眼睛的动作(闭眼)预先注册为脑波检索应用的触发动作。
[0142]
在该触发动作识别过程中，在检测到的触发动作信号具有与记录的触发动作信号的在预定阈值范围内的相似度的情况下，触发动作是闭眼，并且相应的脑波应用是脑波检索应用。
[0143]
当识别触发动作和脑波应用，并且闭着眼睛的用户想到关注报道的图像时，通过耳机20a的电极测量与该关注报道的图像对应的脑波信号，并且开始脑日志检索过程(s73)。
[0144]
在该脑日志检索过程中，执行匹配，以确定在作为脑波检索应用的脑波信号记录的脑波信号波形中，是否存在具有与所测量的脑波信号的波形的在预定阈值范围内的相似度的波形。在该示例中，由于所测量的脑波信号的波形具有与所记录的脑波信号的波形w71在预定阈值范围内的相似度，因此向脑波检索应用通知关于该脑波信号的信息。
[0145]
在移动终端10a中，脑波检索应用基于诸如历史信息等信息，识别与关于通知对象
的脑波信号的信息相关联的关于关注报道的信息，并且基于关于相应关注报道的信息呈现关注报道(s74)。例如，在呈现关注报道时，可以使用移动终端10a的历史选项功能等来进行呈现。此外，在呈现关注报道时，在存在多个其中脑波信号的波形的相似度在阈值范围内的历史(记录)的情况下，可以按照相似度的降序来呈现多个匹配结果。
[0146]
通过这种方式，可以通过将用户阅览报道时自动记录的脑波信号与用户想到报道的记忆时的脑波信号进行匹配，来实现回忆检索(脑日志检索)。结果，即使在用户没有清楚地记住关于用户阅览过的报道的信息的情况下，用户也可以通过在他/她脑海中回忆该报道的记忆，来再次阅览该报道。
[0147]
图12示出利用脑波检索应用的回忆检索的第二示例。
[0148]
在图12中，假设以下场景，其中用户在户外在确认在手持的移动终端10a上启动的地图应用的同时，前往诸如会议目的地等目的地(s81)。
[0149]
在该场景中，通过耳机20a的电极测量当在前往目的地的途中确认建筑物的外观时的用户的脑波信号，并对其进行记录。
[0150]
关于记录该脑波信号的定时，例如，当通过在移动终端10a上启动的地图应用显示地图之后检测到用户在一定时间内原地不动的时间时，推定在该位置确认了建筑物的外观，并自动记录此时的脑波信号。
[0151]
在该示例中，作为当检测到用户在一定时间内原地不动的时间时的用户的脑波信号，测量包括图12中的波形w81的脑波信号，并对其进行记录。在该脑波信号的记录时，可以与脑波检索应用相关联。此外，关于所记录的脑波信号的信息可以通过诸如历史信息等信息，与关于推定确认了建筑物外观的位置的信息(位置信息等)相关联。
[0152]
此后，假设以下场景，其中尽管用户记得建筑物的外观，但不记得是在哪里看到的风景(s82)。
[0153]
此时，当用户闭上眼睛时，通过耳机20a的电极测量与该动作对应的肌电信号，并且开始触发动作识别过程(s83)。注意，在该示例中，同样假设将闭眼预先注册为触发动作。
[0154]
在该触发动作识别过程中，在检测到的触发动作信号具有与所记录的触发动作信号的在预定阈值范围内的相似度的情况下，触发动作是闭眼，并且相应的脑波应用是脑波检索应用。
[0155]
当识别触发动作和脑波应用，并且闭着眼睛的用户想到残留印象的建筑物的图像时，通过耳机20a的电极测量与该残留印象的建筑物的图像对应的脑波信号，并且开始脑日志检索过程(s83)。
[0156]
在该脑日志检索过程中，执行匹配，以确定在作为脑波检索应用的脑波信号记录的脑波信号的波形中，是否存在具有与所测量的脑波信号的波形的在预定阈值范围内的相似度的波形。在该示例中，由于所测量的脑波信号的波形具有与所记录的脑波信号的波形w81的在预定阈值范围内的相似度，因此向脑波检索应用通知关于该脑波信号的信息。
[0157]
在移动终端10a中，脑波检索应用基于诸如历史信息等信息，识别与关于通知对象的脑波信号的信息相关联的地点(位置信息等)，并且呈现该地点的地图、关于建筑物的信息等(s84)。例如，在呈现特定地点的地图或关于建筑物的信息时，可以通过使用移动终端10a的历史选项功能来呈现。
[0158]
以这种方式，可以通过将用户访问特定地点时自动记录的脑波信号与用户在想到
残留印象的建筑物等的记忆时的脑波信号相匹配，来实现回忆检索(脑日志检索)。由此，即使在用户没有清楚地记住关于在用户访问过的地方残留印象的建筑物等的信息的情况下，用户也可以通过在他/她脑海中回忆该建筑物等的记忆，利用移动终端10a来阅览关于该建筑物等的信息。
[0159]
注意，尽管为了便于描述，图11和图12示出脑波检索应用的触发动作是闭眼的情况，但是，例如，可以注册其他动作，诸如眨眼两次等。也就是说，脑波个人认证应用和脑波检索应用的触发动作可以不同。此外，在上述示例中，尽管描述了关于用户对于诸如特定报道或特定地点等的相同对象的思考的脑波信号作为要进行匹配处理的脑波信号，但是作为该相同对象，可以包括可以由诸如移动终端10a等设备呈现并且通过特定媒体提供的信息，诸如静止图像、运动图像、联系地址、音乐或应用等。
[0160]
(系统配置)
[0161]
图13示出应用了本技术的脑波系统的配置示例。
[0162]
脑波系统是能够利用从用户的头部测量的脑波信号提供各种服务的系统。在图13中，脑波系统包括终端装置10和测量装置20。
[0163]
终端装置10是电子设备，诸如上述的智能手机等移动终端10a、游戏机、控制器、个人计算机(pc)、显示装置、或便携式音乐播放器等。在图13中，终端装置10包括控制单元101和通信单元102。
[0164]
控制单元101是控制各种操作以及执行各种算术处理的中央控制装置。控制单元101包括诸如中央处理单元(cpu)等处理器。控制单元101可以启动和执行脑波应用。
[0165]
通信单元102在控制单元101的控制下，与诸如测量装置20等其他装置进行通信。通信单元102被配置为与符合预定通信方案的无线通信或有线通信对应的通信模块。
[0166]
例如，无线通信包括根据诸如蓝牙(注册商标)或近场通信(nfc)等短距离无线通信标准的无线通信，诸如无线局域网(lan)等无线通信，以及诸如lte-advanced或第五代(5g)等蜂窝通信等。此外，有线通信包括与诸如高清多媒体接口(hdmi)(注册商标)等通信接口对应的通信等。
[0167]
测量装置20是电子设备，诸如上面描述的耳机20a、下面描述的头戴式显示器(hmd)20b、诸如眼镜型可穿戴设备等可穿戴终端等。
[0168]
在图13中，测量装置20包括电极201-1至201-n(n：1或更大的整数)、基准电极202、传感器单元203、声音输出单元204、显示单元205、输入信号处理单元206、信号记录单元207、通信单元208、输出处理单元209和电池210。
[0169]
电极201-1至201-n是测量生物信号的测量电极。基准电极202是测量基准电位的参考电极，所述基准电位用于计算与通过电极201-1至201-n测量的电位之间的差。
[0170]
电极201-1至201-n和参考电极202被分别附装为以与诸如用户的头部和耳朵等部位紧密附着。由电极201-1至201-n和基准电极202分别测量的生物信号被提供到输入信号处理单元206。
[0171]
电极可以包括地电极(earth electrode)。这里的地电极不是通常所说的接地电极(ground electrode)(具有接地电位的电极)，而是指具有用作用户的基准电位的电位的电极。在以下描述中，在不需要特别区分电极201-1至201-n的情况下，将电极201-1至201-n简单地称为电极201。
[0172]
传感器单元203执行空间信息、时间信息等的感测，并将作为该感测结果获得的传感器信号提供到输入信号处理单元206。例如，传感器单元203包括加速度传感器221和陀螺仪传感器222。
[0173]
加速度传感器221测量xyz轴的三个方向上的加速度。陀螺仪传感器222测量xyz轴的绕三个轴的角速度。注意，可以设置惯性测量单元(imu)，以通过三方向的加速度计和三轴的陀螺仪测量三维的加速度和角速度。
[0174]
声音输出单元204输出与来自于输出处理单元209的声音信号对应的声音。声音输出单元204包括诸如构成耳机的驱动单元等机构，或者扬声器等。
[0175]
显示单元205显示与来自于输出处理单元209的图像信号对应的图像。显示单元205包括诸如液晶面板或有机发光二极管(oled)面板等面板单元，以及信号处理单元等。
[0176]
输入信号处理单元206处理来自于电极201-1至201-n和基准电极202的生物信号，并读取作为当人类移动肌肉时在神经中产生的微弱信号的肌电信号、或者作为与从人脑产生的电活动对应的信号的脑波信号。
[0177]
输入信号处理单元206基于读取的肌电信号或者读取的脑波信号，执行预定的信号处理。注意，输入信号处理单元206可以在检测触发动作时，一起使用肌电信号和来自于传感器单元203的传感器信号。
[0178]
即，输入信号处理单元206具有检测单元的功能，该检测单元执行包括在用户的生物信号中的脑波的检测，以及基于除了包括在生物信号中的脑波之外的信息(诸如肌电信号和传感器信号等)的动作的检测。此外，输入信号处理单元206具有作为处理单元的功能，该处理单元执行基于脑波的预定处理。
[0179]
输入信号处理单元206将关于读取的肌电信号或脑波信号的数据记录在信号记录单元207中。输入信号处理单元206执行读取的肌电信号或脑波信号与记录在信号记录单元207中的肌电信号或脑波信号之间的匹配，并将关于该匹配结果的数据提供到通信单元208。
[0180]
信号记录单元207在输入信号处理单元206的控制下，记录关于各种信号的数据。信号记录单元207被配置为诸如半导体存储器等辅助存储装置。信号记录单元207可以被配置为内部存储器，或者可以是诸如存储卡等外部存储器。
[0181]
通信单元208与诸如终端装置10等其他装置之间进行通信。通信单元208将来自于输入信号处理单元206的数据发送到终端装置10。此外，通信单元208接收从终端装置10发送的数据，并将数据提供到输出处理单元209。
[0182]
通信单元208被配置为与符合预定通信方案的无线通信或有线通信对应的通信模块。例如，无线通信包括根据诸如蓝牙(注册商标)等短距离无线通信标准的无线通信，诸如无线lan等无线通信，以及诸如lte-advanced或5g等蜂窝通信等。此外，有线通信包括与诸如hdmi(注册商标)等通信接口对应的通信等。
[0183]
输出处理单元209处理来自于通信单元208的数据，将声音信号提供到声音输出单元204，并将图像信号提供到显示单元205。
[0184]
电池210以可拆卸的方式附装到测量装置20，并经由预定端子向测量装置20的每个单元供电。
[0185]
注意，图13中所示的配置是终端装置10和测量装置20的示例，并且可以移除图示
的组件，或者添加新的组件。
[0186]
例如，在测量装置20中，存在不安装包括加速度传感器221、陀螺仪传感器222等的传感器单元203的情况。此外，在测量装置20是耳机20a的情况下，不安装显示单元205。此外，在测量装置20是hmd 20b的情况下，可以不安装声音输出单元204。
[0187]
此外，尽管终端装置10的配置是最小限度配置，但是也可以像在测量装置20中那样设置输出处理单元、声音输出单元、显示单元、信号记录单元、电池等。
[0188]
(电极的布置示例)
[0189]
图14示出设置在耳机20a中的电极201和基准电极202的布置示例。
[0190]
如图14所示，在耳机20a中，在与用户的耳部接触侧的面上，电极201-1至201-3和基准电极202四个电极以基本相等的间隔布置在以输出声音的部分为中心的同一圆周上，并且可以测量用户的生物信号。
[0191]
图15示出设置在hmd 20b中的电极201和参考电极202的布置示例。
[0192]
如图15所示，在hmd 20b中，在与用户的前头部接触侧的面上，电极201-1至201-8八个电极以基本相等的间隔布置为一条直线状，并且在远离该八个电极的后头部侧的预定位置处布置基准电极202，并且可以测量用户的生物信号。
[0193]
注意，在图15的透视图中，电极201-1至201-8之中的电极201-6至201-8三个电极由于位于盲点中，因此未示出它们。此外，为了便于描述，图示为电极201出现在hmd 20b的外观上，但实际上电极201设置在与用户前头部接触侧的面上，即在图15的透视图中看不到的位置。
[0194]
(表的配置示例)
[0195]
图16示出在图13的信号记录单元207中记录的表的配置示例。
[0196]
信号记录单元207记录触发动作信号记录表231、特定于触发动作的脑波应用表232和脑波信号记录表233。
[0197]
触发动作信号记录表231是其中记录了包括由用户的眼睛、下巴和颈部等部位引起的头部肌电的组合等的触发动作信号的数据的表。
[0198]
如图17所示，在触发动作信号记录表231中，相互关联地记录触发动作和触发动作信号。
[0199]
例如，肌电信号#1的数据被记录为闭眼的触发动作(触发动作#1)的触发动作信号，肌电信号#2的数据被记录为眨眼两次的触发动作(触发动作#2)的触发动作信号，肌电信号#3、加速度信号#1、角速度信号#1的数据被记录为在低头且双眼眨眼两次后闭眼的触发动作(触发动作#3)的触发动作信号。
[0200]
注意，典型的触发动作是闭眼，并且在用户闭上眼睛的状态下读取脑波信号，但是也可以设为睁眼，即，在用户睁开眼睛的状态下读取脑波信号。在图17的示例中，仅将肌电信号的数据记录为作为触发动作#1和触发动作#2的触发动作的触发动作信号，但是也可以记录指示加速度信号和角速度信号的输入值为0(0输入值)的数据。
[0201]
特定于触发动作的脑波应用表232是记录特定于在触发动作信号记录表231中记录的每个触发动作的脑波应用的数据的表。
[0202]
例如，如图18所示，在特定于触发动作的脑波应用表232中，图17中的触发动作#1与脑波个人认证应用相关联，而图17中的触发动作#2与脑波检索应用相关联。
[0203]
脑波个人认证应用中的认证不限于用户的身份认证。此外，该脑波个人认证可应用于在网上银行、网上购物、互联网分发的内容的视听时的用户选择、经由互联网的问卷回答利用互联网的测试或会晤等中实现的个人认证。此外，本发明可应用于诸如汽车、飞机或火车等交通工具的专业驾驶员的个人认证。
[0204]
脑波信号记录表233是记录针对在特定于触发动作的脑波应用表232中记录的每个脑波应用分别注册脑波信号的数据的表。
[0205]
如图19所示，在脑波信号记录表233中，相互关联地记录脑波应用和脑波信号。
[0206]
例如，诸如脑波信号#11、脑波信号#12和脑波信号#13等的数据被记录为脑波个人认证应用的脑波信号，并且诸如脑波信号#21、脑波信号#22和脑波信号#23等的数据被记录为脑波检索应用的脑波信号。
[0207]
(其他配置示例)
[0208]
图20至22示出应用了本技术的脑波系统的其他配置示例。
[0209]
图20示出应用了本技术的脑波系统的其他配置的第一示例。
[0210]
在图20中，脑波系统包括终端装置10和测量装置20。与图13中的配置示例中的部分相同的部分由相同的标号表示，并且由于重复而将省略其描述。
[0211]
在图20中，除了控制单元101和通信单元102之外，终端装置10还进一步包括输入信号处理单元103、信号记录单元104、输出处理单元105、声音输出单元106和显示单元107。测量装置20包括电极201-1至201-n、参考电极202、传感器单元203、声音输出单元204、，显示单元205、通信单元208和电池210。
[0212]
也就是说，图20的配置示例与图13的配置示例的不同之处在于，在终端装置10侧设置输入信号处理单元103、信号记录单元104和输出处理单元105，以代替在图13中的测量装置20侧设置的输入信号处理单元206、信号记录单元207和输出处理单元209。
[0213]
在测量装置20中，通信单元208将来自电极201-1到201-n和基准电极202的生物信号发送到终端装置10。
[0214]
另一方面，在终端装置10中，通信单元102接收从测量装置20发送的生物信号，并经由控制单元101将生物信号提供到输入信号处理单元103。
[0215]
输入信号处理单元103处理由通信单元102接收的生物信号，读取肌电信号或脑波信号，并执行预定的信号处理。输入信号处理单元103将关于读取的肌电信号或读取的脑波信号的数据记录在诸如半导体存储器等信号记录单元104中。
[0216]
输入信号处理单元103执行读取的肌电信号或读取的脑波信号与记录在信号记录单元104中的肌电信号或脑波信号之间的匹配，并经由控制单元101将关于该匹配结果的数据提供到通信单元102或输出处理单元105。
[0217]
输出处理单元105处理来自于输入信号处理单元103的数据，并将处理后的数据提供到通信单元102。通信单元102将来自于控制单元101的数据发送到测量装置20。在测量装置20中，通信单元208接收从终端装置10发送的数据，将声音信号提供到声音输出单元204，并将图像信号提供到显示单元205。
[0218]
声音输出单元204输出与来自于通信单元208的声音信号对应的声音。显示单元205显示与来自于通信单元208的图像信号对应的图像。
[0219]
注意，输出处理单元105可以处理输入到其中的数据，向声音输出单元106提供声
音信号，并向显示单元107提供图像信号。此时，声音输出单元106输出与来自于输出处理单元105的声音信号对应的声音。此外，显示单元107显示与来自于输出处理单元105的图像信号对应的图像。
[0220]
图21示出应用了本技术的脑波系统的其他配置的第二示例。
[0221]
在图21中，脑波系统包括终端装置10、测量装置20和服务器30。在图21中，与图13的配置示例中的部分相同的部分由相同的标号表示，并且由于重复而将省略其描述。
[0222]
在图21中，终端装置10包括通信单元102。测量装置20包括电极201-1至201-n、基准电极202、传感器单元203、声音输出单元204、显示单元205、通信单元208和电池210。服务器30包括控制单元301、通信单元302、输入信号处理单元303、信号记录单元304和输出处理单元305。
[0223]
也就是说，图21的配置与图13的配置示例的不同之处在于，在服务器30侧设置了输入信号处理单元303、信号记录单元304和输出处理单元305，以代替图13中的测量装置20侧设置的输入信号处理单元206、信号记录单元207和输出处理单元209。
[0224]
在测量装置20中，通信单元208将来自于电极201-1到201-n和基准电极202的生物信号发送到终端装置10。在终端装置10中，通信单元102接收从测量装置20发送的生物信号，以经由网络40将生物信号发送到服务器30。
[0225]
在服务器30中，通信单元302接收从终端装置10发送的生物信号，并经由控制单元301将该生物信号提供到输入信号处理单元303。
[0226]
输入信号处理单元303处理由通信单元302接收的生物信号，读取肌电信号或脑波信号，并执行预定处理。输入信号处理单元303将关于读取的肌电信号或读取的脑波信号的数据记录在诸如半导体存储器或硬盘驱动器(hdd)等信号记录单元304中。
[0227]
输入信号处理单元303执行读取的肌电信号或读取的脑波信号与记录在信号记录单元304中的肌电信号或脑波信号之间的匹配，并经由控制单元301将关于该匹配结果的数据提供到通信单元302或输出处理单元305。
[0228]
输出处理单元305处理来自于输入信号处理单元303的数据，并将处理后的数据提供到通信单元302。通信单元302经由网络40和终端装置10将来自于控制单元301的数据发送到测量装置20。在测量装置20中，通信单元208接收从服务器30发送的数据，将声音信号提供到声音输出单元204，并将图像信号提供到显示单元205。
[0229]
声音输出单元204输出与来自于通信单元208的声音信号对应的声音。显示单元205显示与来自于通信单元208的图像信号对应的图像。
[0230]
网络40包括诸如互联网、内部网或移动电话网络等通信网络，并且能够在使用诸如传输控制协议/互联网协议(tcp/ip)等通信协议的设备之间进行互连。
[0231]
图22示出应用了本技术的脑波系统的其他配置的第三示例。
[0232]
在图22中，脑波系统包括测量装置20和服务器30。与图13和图21的配置示例中的部分相同的部分由相同的附图标记表示，并且由于重复而将省略其描述。
[0233]
在图22中，除了电极201-1至201-n、基准电极202、传感器单元203、声音输出单元204、显示单元205、输入信号处理单元206、信号记录单元207、通信单元208、输出处理单元209和电池210之外，测量装置20还进一步包括控制单元211。服务器30包括控制单元301、通信单元302和信号记录单元304。
[0234]
也就是说，图22的配置与图13的配置示例的不同之处在于，没有提供终端装置10(的控制单元101)，而代之以在测量装置20侧设置了控制单元211，并且测量装置20也具有终端装置10的功能。
[0235]
此外，图22的配置与图21的配置示例的不同之处在于，在服务器30中，除了控制单元301和通信单元302之外，仅额外提供了信号记录单元304，并且服务器30作为所谓的云上数据库服务器操作。
[0236]
尽管上文已经描述了应用了本技术的脑波系统的其他配置示例，但图20至图22所示的配置只是示例，可以采用其他配置。即，在脑波系统中，可以在终端装置10、测量装置20和服务器30中的任何一个中设置输入信号处理单元(103，206，303)、信号记录单元(104，207，304)和输出信号处理单元(105，209，305)。
[0237]
此外，由于通过由诸如cpu等处理器执行程序来实现输入信号处理单元(103，206，303)和输出信号处理单元(105，209，305)的功能，因此终端装置10、测量装置20和服务器30也可以说是控制装置。
[0238]
(处理流程)
[0239]
将参考图23和图24的流程图来描述触发动作和密匙意念的注册处理。
[0240]
在该注册处理中，终端装置10或测量装置20针对用户确认用于注册触发动作的脑波应用(s111)，并且在指定要注册的脑波应用之后(s112中的“是”)，处理进行到步骤s113。
[0241]
在步骤s113中，输入信号处理单元206开始读取作为肌电信号检测的触发动作信号。
[0242]
在步骤s114中，输入信号处理单元206处理来自于电极201和基准电极202的生物信号，并确定是否已读取触发动作信号。在步骤s114的确定处理中，在确定已读取触发动作信号之后，处理进行到步骤s115。
[0243]
在步骤s115中，输入信号处理单元206将读取的触发动作信号记录在信号记录单元207中。
[0244]
在步骤s116中，输出处理单元209控制声音输出单元204或显示单元205，向用户再次呈现提示触发动作的用户界面(ui)，并且输入信号处理单元206开始读取触发动作信号。
[0245]
在步骤s117中，输入信号处理单元206处理来自于电极201和基准电极202的生物信号，并确定是否已读取触发动作信号。在步骤s117的确定处理中，在确定已读取触发动作信号之后，处理进行到步骤s118。
[0246]
在步骤s118中，输入信号处理单元206计算在步骤s114和s117的处理中分别读取的触发动作信号之间的相似度。
[0247]
在步骤s119中，输入信号处理单元206确定所计算的触发动作信号的相似度是否在预定阈值范围内。
[0248]
在步骤s119的确定处理中确定相似度在预定阈值范围内的情况下，处理进行到步骤s120。在步骤s120中，输入信号处理单元206将触发动作信号和指定脑波应用记录在信号记录单元207的表中。
[0249]
例如，在图17的触发动作信号记录表231中，与诸如闭眼或眨眼两次等触发动作相关联地记录肌电信号作为触发动作信号。此外，在图18的特定于触发动作的脑波应用表232中，与诸如闭眼或眨眼两次等触发动作相关联地记录指定脑波应用，诸如脑波个人认证应
用。
[0250]
另一方面，在步骤s119的确定处理中确定相似度超出预定阈值范围的情况下，处理进行到步骤s121。在步骤s121中，输出处理单元209控制声音输出单元204或显示单元205，并向用户再次呈现提示触发动作的用户界面(ui)。然后，处理返回到步骤s113，并重复其后续处理。
[0251]
当步骤s120的处理结束时，处理进行到图24的步骤s122。在步骤s122中，输出处理单元209控制声音输出单元204或显示单元205，以呈现提示密匙意念的想象的用户界面(ui)。
[0252]
在步骤s123中，输入信号处理单元206开始读取脑波信号。
[0253]
在步骤s124中，输入信号处理单元206处理来自于电极201和基准电极202的生物信号，并确定是否已读取脑波信号。在步骤s124的确定处理中，在确定已读取脑波信号之后，处理进行到步骤s125。
[0254]
在步骤s125中，输入信号处理单元206将读取的脑波信号记录在信号记录单元207中。
[0255]
在步骤s126中，输出处理单元209控制声音输出单元204或显示单元205，向用户再次呈现提示密匙意念的想象的用户界面(ui)，并且输入信号处理单元206开始读取脑波信号。
[0256]
在步骤s127中，输入信号处理单元206处理来自于电极201和基准电极202的生物信号，并确定是否已读取脑波信号。在步骤s127的确定处理中，在确定已读取脑波信号之后，处理进行到步骤s128。
[0257]
在步骤s128中，输入信号处理单元206计算通过步骤s124和s127中的处理分别读取的脑波信号的相似度。
[0258]
在步骤s129中，输入信号处理单元206确定所计算的脑波信号的相似度是否在预定阈值范围内。
[0259]
在步骤s129的确定处理中确定相似度在预定阈值范围内的情况下，处理进行到步骤s130。在步骤s130中，输入信号处理单元206将脑波信号和指定脑波应用记录在脑波信号记录表233中。
[0260]
例如，在图19的脑波信号记录表233中，与诸如例如脑波个人认证应用等指定脑波应用相关联地记录脑波信号。
[0261]
另一方面，在步骤s129的确定处理中确定相似度超出预定阈值范围的情况下，处理进行到步骤s131。在步骤s131中，输出处理单元209控制声音输出单元204或显示单元205，以向用户再次呈现提示密匙意念的想象的用户界面(ui)。然后，处理返回到步骤s123，并重复其后续处理。
[0262]
当步骤s130的处理结束时，触发动作和密匙意念的注册处理结束。
[0263]
接下来，将参考图25的流程图描述个人脑波认证处理。
[0264]
在步骤s151中，输入信号处理单元206基于来自于电极201和基准电极202的生物信号，确定是否已作为肌电信号检测到触发动作信号。在步骤s151的确定处理中，在检测到触发动作信号后，处理进行到步骤s152。
[0265]
在步骤s152中，输入信号处理单元206参考信号记录单元207的触发动作信号记录
表231，执行输入触发动作信号和注册触发动作信号之间的匹配。
[0266]
在步骤s153中，输入信号处理单元206基于触发动作信号的匹配结果，确定是否存在匹配的触发动作信号。
[0267]
在步骤s153的确定处理中确定不存在匹配的触发动作信号的情况下，处理进行到步骤s154。在步骤s154中，向由终端装置10或测量装置20执行的脑波应用通知错误。
[0268]
注意，在脑波应用定义重试的情况下，处理返回到步骤s151，重复其后续处理，并重试触发动作信号的匹配。
[0269]
另一方面，在步骤s153的确定处理中确定存在匹配的触发动作信号的情况下，处理进行到步骤s155。在步骤s155中，输入信号处理单元206通过对应于触发动作的脑波应用来读取脑波信号。
[0270]
在步骤s156中，输入信号处理单元206通过根据相应脑波应用的算法，在输入脑波信号与记录在脑波信号记录表233中的注册脑波信号之间进行匹配。
[0271]
在步骤s157中，输入信号处理单元206基于脑波信号的匹配结果，确定是否存在匹配的脑波信号。
[0272]
在步骤s157的确定处理中确定不存在匹配的脑波信号的情况下，处理进行到步骤s158。在步骤s158中，向由终端装置10或测量装置20执行的脑波应用通知错误。
[0273]
注意，在脑波应用定义重试的情况下，处理返回到步骤s155，重复其后续处理，并重试脑波信号的匹配。
[0274]
另一方面，在步骤s157的处理中确定存在匹配的脑波信号的情况下，处理进行到步骤s159。在步骤s159中，将匹配结果的通知提供到由终端装置10或测量装置20执行的脑波应用。由此，在终端装置10或测量装置20中，脑波应用执行根据匹配结果的各种处理。
[0275]
在步骤s160中，确定是否结束动作。在步骤s160的确定处理中确定不结束动作的情况下，处理返回到步骤s151，并重复其后续处理。此外，在步骤s160的确定处理中确定要结束动作的情况下，个人脑波认证处理结束。
[0276]
作为上述触发动作，可以使用事件相关电位(erp)的响应。在事件相关电位用作触发动作的情况下，例如，获得以下序列(s91到s94)。
[0277]
(1)执行诱导事件相关电位的事件的呈现(s91)。
[0278]
(2)将用户脑波中的事件相关电位的产生认定为触发动作(s92)。
[0279]
(3)呈现用于密匙意念的指令等(s93)。
[0280]
(4)基于针对指令等的呈现的用户脑波波形，执行与密匙意念等相关的处理(s94)。
[0281]
在步骤s91中，作为事件的呈现，例如，执行特定声音的产生、人脸的呈现、引起不适感的呈现等。这些呈现对应于事件相关电位的种类。事件相关电位包括，例如，在相对于脸部识别大约170毫秒后产生脑波响应的n170，关于针对听觉刺激的声学偏离的mmn，从认知到引起不自然或不适感的事件起大约300毫秒后产生脑波响应的p300，从在语言中认知到意义偏离起大约400毫秒后产生脑波响应的n400，等等。
[0282]
由于这种事件的呈现会产生诸如n170、mmn、p300和n400等事件相关电位，因此在步骤s92中，这种事件相关电位的产生被识别为触发动作。
[0283]
即，在用户意识到呈现事件的情况下，产生用作触发动作的事件相关电位，而在用
户没有意识到呈现事件的情况下，不产生事件相关电位，并且事件相关电位也不用作触发动作。
[0284]
这能够理解为例如取决于用户是否注意到对象内容，并且在用户没有注意的情况下，比如正在看其他内容，不产生事件相关电位的响应。因此，这在用户注意对象内容并且希望执行与其后续密匙意念相关的处理的情况下是有效的。相反，在用户没有注意对象内容的情况下，可以在用户不希望执行与后续密匙意念相关的处理的情况下，抑制这种处理。
[0285]
此外，通过使用事件相关电位的响应，即使在没有诸如眨眼等明确的用户动作的情况下，也可以通过完成用户的脑波来执行处理。例如，即使没有明确指令，也可以只通过嵌入诱导事件相关电位的事件作为触发动作以使其在对象内容中不明显(不刻意)，来执行后续处理。
[0286]
在步骤s93和s94中，类似于上述的步骤s24、s25至s26(图6)等，基于针对指令等的呈现的用户脑波波形，执行诸如密匙意念识别处理等处理。
[0287]
注意，尽管在上述描述中描述了使用包括事件相关电位的用户特有响应的示例，但是这是为了执行与密匙意念等相关的处理而进行的脑波获取，并且此处所描述的内容不同于上述示例，不是为了执行与密匙意念等相关的处理而获取用户脑波，而是使用用户脑波的事件相关电位作为触发动作的情形的示例。
[0288]
如上所述，为了从用户的头部读取脑波信号和肌电信号，测量装置20包括电极201和基准电极202、以及包括加速度传感器221和陀螺仪传感器222的传感器单元203，并且针对使用脑波的每个脑波应用，记录触发动作(用户的双眼睑、眼球、下巴等的移动以及头部移动的任何组合)，并且用户选择性地使用触发动作，使得可以仅针对相应的脑波应用，在触发动作后立即读取脑波信号。因此，可以提高通过脑波输入的用户界面的便利性和精度。
[0289]
例如，在触发动作是“闭眼”、且脑波应用是“脑波个人认证应用”的情况下，通过使用在用户闭眼时产生的头部肌电作为触发器，可以自然地从闭眼的动作过渡到伪影较少的脑波测量。具体来说，利用该流程，用户可以自然地将静止状态和动作作为一系列流程来执行。
[0290]
即，在本技术中，基于作为与从用户测量的脑波信号相比电位差的变化幅度较大的生物信号的肌电信号(除了脑波之外的信息)，检测用户的动作，并且在该用户的动作是预定动作的情况下，执行基于从用户测量的脑波信号的预定处理。因此，可以提供更方便的脑波输入用户界面。此外，可以实现具有自然且易于所有人理解的用户界面的关于脑波的处理，诸如脑波个人认证等。注意，伪影是所谓的在测量诸如脑波信号或肌电信号等生物信号时的噪声。
[0291]
一般来说，用于触发动作的头部肌电信号大于脑波信号，具有特征性。因此，在测量装置20中，通过在通常时间下在触发动作测量模式下执行操作，并且将读取肌电信号时的时间分辨率和信号放大器的放大系数设置为低于在脑波测量模式下读取脑波信号时的时间分辨率和放大系数，可以有助于降低功耗。
[0292]
《2.第二实施方式》
[0293]
生物个人认证是使用关于个人的身体特征或行为特征的信息作为个人认证的密钥来执行的个人认证。通常，在这种类型的个人认证中，执行以下过程：首先，在注册时，基于用户的生物信息来注册密钥信息，然后，在认证时，获取用户的生物信息，并将其与原始
注册的生物认证进行匹配，并且在存在一定程度或更高的相关性的情况下作出认证许可。
[0294]
针对诸如听觉或视觉等特定刺激的特有脑波被称为事件相关电位，并且已经对其进行了各种研究。如上所述，作为事件相关电位，n170、mmn、p300、n400等是已知的。
[0295]
此外，可以通过检测这些事件相关电位的波形以及用户特有的响应分量来执行认证。例如，在将用于向用户施加刺激的声音或视频用作诱导媒体的情况下，用户针对特定的诱导媒体而个人化地输出特征性的且唯一的响应脑波，因此存在通过将其与过去的响应脑波进行匹配来进行认证个人的脑波个人认证。
[0296]
作为使用事件相关电位的个人认证技术，已提出了各种技术。然而，在现有技术中，由于基于在初次执行的事件相关电位下的脑波的注册结果来执行个人认证，因此在诱导媒体和响应脑波的信息由于黑客等泄漏到外部的情况下，仍然存在欺诈的风险。
[0297]
因此，在本技术中，以随机方式并且用不可预测的内容生成诱导媒体，并且以与服务相适应的形式连续地执行上述认证和注册过程，从而可以在改变诱导媒体的同时增强安全性，并且，由于密钥等机密信息泄漏而导致的欺诈风险也得到降低。在下文中，将参考附图描述第二实施方式。
[0298]
(第一示例)
[0299]
图26和图27示出利用听觉诱导的脑波个人认证的认证注册示例。
[0300]
在图26和图27中，用户在耳朵上佩戴以无线或有线方式与诸如智能手机等移动终端11a连接的耳机21a。耳机21a设有多个电极，并且能够测量来自于用户的头部的脑波信号。
[0301]
尽管稍后将描述细节，但是可以测量通过以下测量方法测量的fnirs信号：该测量方法应用了使用近红外光从头皮非侵入性地映射脑功能的光学功能成像法的原理，这被称为功能性近红外光谱(fnirs，functional near-infrared spectroscopy)。也就是说，除了作为脑波信息的脑波信号之外，还可以使用脑血流信息，该脑血流信息是使用诸如fnirs等测量脑血流的测量方法测量的。测量脑血流的方法的示例包括nirs和mri，fnirs包括在nirs中，而fmri(功能性磁共振成像)包括在mri中。在以下描述中，将使用fnirs的情形作为测量脑血流的方法的示例来描述。
[0302]
图26示出第n次(n：1或大于1的整数)脑波个人认证的认证注册示例。
[0303]
当从耳机21a输出诱导声音，并且用户对由该诱导声音引起的听觉诱导作出响应时，测量与该响应对应的脑波信号(s211)。
[0304]
此时，诱导声音在前半部分和后半部分输出不同的声音。也就是说，诱导声音是注册完成声音和新声音的组合，并且每次再现不同组合的声音。
[0305]
前半部分的诱导声音ts11是在上次(第(n-1)次)注册脑波信号的诱导声音，并且利用与用户对该诱导声音的响应对应的脑波信号来执行本次(第n次)认证。后半部分的诱导声音ts12是新随机生成的诱导声音，并且与用户对该诱导声音的响应对应的脑波信号被注册以用于下次(第(n+1)次)认证。注意，诱导声音ts12不限于新随机生成的诱导声音，并且可以随机选择预先生成的诱导声音并进行再现。
[0306]
在该示例中，分别测量包括与诱导声音ts11对应的波形w111的用于认证的脑波信号和包括与诱导声音ts12对应的波形w112的用于注册脑波信号，并且开始认证过程和注册过程。
[0307]
在认证过程中，进行匹配，以确定用于认证的脑波信号(输入脑波信号)的波形w111是否具有与在上次的注册过程中记录的脑波信号(注册脑波信号)的波形的在预定阈值范围内的相似度，并且在存在匹配的脑波信号的情况下，认证为有效用户。在注册过程中，记录包括波形w112的用于注册脑波信号，以用于下次的认证过程。
[0308]
当使用诱导声音的认证完成时，从耳机21a向用户输出指示认证完成的声音(认证通过声音)等(s212)。
[0309]
图27示出第(n+1)次脑波个人认证的认证注册示例。
[0310]
当从耳机21a输出诱导声音，并且用户对该听觉诱导作出响应时，测量与该响应对应的脑波信号，但是第(n+1)次诱导声音的组合不同于上述第n次诱导声音的组合(s213)。
[0311]
也就是说，前半部分的诱导声音ts12是在上次(第n次)注册脑波信号的诱导声音，并且利用与用户对该诱导声音的响应对应的脑波信号来执行本次(第(n+1)次)认证。后半部分的诱导声音ts13是新随机生成的诱导声音，并且与用户对该诱导声音的响应对应的脑波信号被注册，以用于下次(第(n+2)次)认证。
[0312]
在该示例中，分别测量包括与诱导声音ts12对应的波形w112的用于认证的脑波信号和包括与诱导声音ts13对应的波形w113的用于注册脑波信号，并且开始认证过程和注册过程。
[0313]
在认证过程中，进行匹配，以确定用于认证的脑波信号(输入脑波信号)的波形w112是否具有与在上次的注册过程中记录的脑波信号(注册脑波信号)的波形的在预定阈值范围内的相似度，并且在存在匹配的脑波信号的情况下，认证为有效用户。在注册过程中，记录包括波形w113的用于注册脑波信号，以用于下次的认证过程。
[0314]
当使用诱导声音的认证完成时，从耳机21a向用户输出指示认证完成的声音(认证通过声音)等(s214)。
[0315]
这样，通过改变诱导声音的组合，比如通过使用在上次(第(n-1)次)认证时注册的注册脑波信号、以及在本次(第n次)认证时测量的输入脑波信号执行认证，并且进一步使用在本次(第n次)认证时注册的注册脑波信号、以及在下次(第(n+1)次)认证时测量的输入脑波信号执行认证，等等，并且通过连续使用与由诱导声音引起的听觉诱导的响应对应的脑波信号执行认证，可以执行具有进一步增强的安全性的认证。
[0316]
(第二示例)
[0317]
图28和图29示出利用视觉诱导的脑波个人认证的认证注册示例。
[0318]
在图28和图29中，用户头戴以无线或有线方式与诸如游戏机等终端装置11连接的hmd 21b。hmd 21b设有多个电极，并且能够测量来自于用户的头部的脑波信号。注意，可以不测量脑波信号，而代之以测量fnirs信号。
[0319]
图28示出第n次脑波个人认证的认证注册示例。
[0320]
当在hmd 21b的显示器上显示诱导视频，并且用户对由该诱导视频引起的视觉诱导作出响应时，测量与该响应对应的脑波信号(s221)。
[0321]
此时，诱导视频在前半部分和后半部分显示不同的视频。也就是说，诱导视频是注册完成视频和新视频的组合，并且每次再现不同组合的视频。
[0322]
前半部分的诱导视频ti21是在上次(第(n-1)次)注册脑波信号的诱导视频，并且利用与用户对该诱导视频的响应对应的脑波信号来执行本次(第n次)认证。后半部分的诱
导视频ti22是新随机生成的诱导视频，并且与用户对该诱导视频的响应对应的脑波信号被注册以用于下次(第(n+1)次)认证。
[0323]
在该示例中，分别测量包括与诱导视频ti21对应的波形w121的用于认证的脑波信号和包括与诱导视频ti22对应的波形w122的用于注册脑波信号，并且开始认证过程和注册过程。
[0324]
在认证过程中，进行匹配，以确定用于认证的脑波信号(输入脑波信号)的波形w121是否具有在与上次的认证过程中记录的脑波信号(注册脑波信号)的波形的在预定阈值范围内的相似度，并且在存在匹配的脑波信号的情况下，认证为有效用户。在注册过程中，记录包括波形w122的用于注册脑波信号，以用于下次的认证过程。
[0325]
当使用诱导视频的认证完成时，在hmd 21b的显示器上为用户显示指示认证完成的视频(认证通过视频)等(s222)。
[0326]
图29示出第(n+1)次脑波个人认证的认证注册示例。
[0327]
当在hmd 21b的显示器上显示诱导视频，并且用户对该视觉诱导作出响应时，测量与该响应对应的脑波信号，但是第(n+1)次诱导视频的组合不同于上述第n次诱导视频的组合(s223)。
[0328]
也就是说，前半部分的诱导视频ti22是上次(第n次)注册脑波信号的诱导视频，并且利用与用户对该诱导视频的响应对应的脑波信号来执行本次(第(n+1)次)认证。后半部分的诱导视频ti23是新随机生成的诱导视频，并且与用户对该诱导视频的响应对应的脑波信号被注册，以用于下次(第(n+2)次)认证。
[0329]
在该示例中，分别测量包括与诱导视频ti22对应的波形w122的用于认证的脑波信号和包括与诱导视频ti23对应的波形w123的用于注册脑波信号，并且开始认证过程和注册过程。
[0330]
在认证过程中，进行匹配，以确定用于认证的脑波信号(输入脑波信号)的波形w122是否具有与在上次的注册过程中记录的脑波信号(注册脑波信号)的波形在预定阈值范围内的相似度，并且在存在匹配的脑波信号的情况下，认证为有效用户。在注册过程中，记录包括波形w123的用于注册脑波信号，以用于下次的认证过程。
[0331]
当使用诱导视频的认证完成时，为用户在hmd 21b的显示器上为用户显示指示认证完成的视频(认证通过视频)(s224)。
[0332]
这样，通过改变诱导视频的组合，比如通过使用在上次(第(n-1)次)认证时注册的注册脑波信号、以及在本次(第n次)认证时测量的输入脑波信号执行认证，并且进一步使用在本次(第n次)认证时注册的注册脑波信号、以及在下次(第(n+1)次)认证时测量的输入脑波信号执行认证，等等，并且通过连续使用与由诱导视频引起的视觉诱导的响应对应的脑波信号执行认证，可以执行具有进一步增强的安全性的认证。
[0333]
注意，尽管在图26和图27以及图28和图29的描述中描述了使用脑波信号的示例，但是，如上所述，可以使用fnirs信号。在这种情况下，可以用“fnirs信号”替换上述“脑波信号”。脑波信号和fnirs信号都是脑信息的示例。此外，脑波个人认证可以针对每个脑波应用来执行处理。
[0334]
(内容的应用示例)
[0335]
通过将诸如诱导声音或诱导视频等诱导媒体插入到由音乐分发服务、游戏等提供
的内容中，可以执行连续的个人认证和注册。
[0336]
图30示出由音乐分发服务分发的音乐内容的应用示例。在图30中，以时间序列示出在诸如智能手机或便携式音乐播放器等移动终端11a的显示器上显示的音乐应用的屏幕。
[0337]
在图30中，在佩戴耳机21a的用户正在收听由移动终端11a再现的音乐内容的情况下，通过在乐曲和乐曲之间或者在与用户操作对应的操作声音等中包括诱导声音，可以使用与由该听觉诱导引起的用户的响应对应的脑波信号来执行认证。此外，还可以在选择、购买、下载音乐内容等时插入诱导声音。
[0338]
在该示例中，作为在乐曲之间再现的第n个诱导声音的组合，前半部分的诱导声音ts31是上次(第(n-1)次)注册的诱导声音，并且利用与该诱导声音的响应对应的脑波信号执行本次(第n次)认证。后半部分的诱导声音ts32是新生成的诱导声音，并且与该诱导声音的响应对应的脑波信号被注册，以用于下次(第(n+1)次)认证。
[0339]
此后，作为包括在与用户的操作对应的操作声音中的第((n+1))个诱导声音的组合，前半部分的诱导声音ts32是前次(第n次)注册的诱导声音，并且利用与该诱导声音的响应对应的脑波信号执行本次(第(n+1)次)认证。后半部分的诱导声音ts33是新生成的诱导声音，并且与该诱导声音的响应对应的脑波信号被注册，以用于下次(第(n+2)次)认证。
[0340]
如上所述，在音乐内容的再现期间，由于以融入相应音乐内容且不引起不适感的表现来再现诱导声音，因此用户能够在未意识的情况下连续地执行个人认证和认证脑波的注册。由此，例如，音乐分发服务的提供商可以适当地认证正在视听音乐内容的用户。
[0341]
图31示出游戏内容的应用示例。在图31中，以时间序列示出在hmd 21b的显示器上显示的游戏屏幕。
[0342]
在图31中，在头戴hmd 21b的用户正在观看显示在hmd 21b的显示器上的游戏内容的情况下，通过在正在切换游戏画面场景的屏幕或者在读取数据时等的加载屏幕中包括诱导视频，可以使用与由该诱导视频引起的用户的响应对应的脑波信号来执行认证。
[0343]
在该示例中，作为包括在某个加载屏幕中的第n个诱导视频的组合，前半部分的诱导视频ti41是上次(第(n-1)次)注册的诱导视频，并且利用与该诱导视频的响应对应的脑波信号执行本次(第n次)认证。后半部分的诱导视频ti42是新生成的诱导视频，并且与该诱导视频的响应对应的脑波信号被注册，以用于下次(第(n+1)次)次认证。
[0344]
此后，作为包括在接下来的后续加载屏幕中的第((n+1))个诱导视频的组合，前半部分的诱导视频ti42是上次(第n次)注册的诱导视频，并且利用与该诱导视频的响应对应的脑波信号执行本次(第(n+1)次)认证。后半部分的诱导视频ti43是新生成的诱导视频，并且与该诱导视频的响应对应的脑波信号被注册，以用于下次(第(n+2)次)认证。
[0345]
如上所述，在游戏内容的再现期间，由于以融入相应游戏内容且不引起不适感的表现来再现诱导视频，因此用户能够在未意识的情况下连续地执行个人认证和认证脑波的注册。由此，例如，游戏内容的提供商可以适当地认证正在玩游戏内容的用户。
[0346]
在游戏内容、在线服务等中呈现的屏幕中，内容中经常包括加载屏幕、用户选择屏幕等。通过再现诱导视频等诱导媒体作为这些屏幕的功能显示和选项的背景，可以在用户未意识的情况下执行脑波个人认证和注册的过程。这种屏幕的应用示例如图32至图34所示。
[0347]
图32示出加载屏幕的应用示例。图32示出在游戏内容或在线服务中显示加载屏幕的情况下显示包括诱导视频ti51的屏幕的示例。在该示例中，诱导视频ti51显示为指示加载的进度状况的文本和进度条的背景。
[0348]
图33示出用户选择屏幕的应用示例。图33示出在游戏内容或在线服务中显示用户选择屏幕的情况下显示包括诱导视频ti61的屏幕的示例。在该示例中，诱导视频ti61显示为对应于三个用户的可选图标的背景。
[0349]
图34示出用户选择屏幕的应用示例。图34示出在游戏内容中显示用户选择屏幕的情况下显示包括诱导视频ti71的屏幕的示例。在该示例中，诱导视频ti71显示为对应于三个用户的可选角色的背景。
[0350]
注意，在上述描述中，hmd 21b被示例为执行游戏内容的设备，但是诱导视频可以显示在连接到游戏机的电视接收器的屏幕、便携式游戏机的屏幕或显示设备的屏幕上。除了2d内容和3d内容之外，游戏内容还可以包括各种内容，例如虚拟现实(vr)内容和增强现实(ar)内容等。
[0351]
如上所述，诱导媒体是用于根据该诱导媒体的再现来诱导和测量用户的脑信息的信息。诱导媒体包括诱导声音、诱导视频等，并且与例如由内容分发服务(音乐分发服务、互联网无线电台、播客、游戏分发服务等)分发的分发内容(音乐内容、游戏内容等)一起提供。
[0352]
该提供方法可以包括将诱导声音或诱导视频的数据作为构成分发内容的一种类型的内容的数据来分发(将音乐内容或游戏内容的数据等作为其他类型来分发)，或者，将诱导声音或诱导视频的数据插入到构成分发内容的再现内容的数据中(插入乐曲与乐曲之间、或者与用户的操作对应的操作声音等中)。然而，在将其作为前者的一种类型的内容提供的情况下，诱导声音或诱导视频的数据可以在诸如移动终端11a或hmd 21b等设备侧生成。或者，可以通过处理构成分发内容的再现内容的数据来添加诱导声音或诱导视频的数据(例如，以叠加的方式添加到乐曲的开始或结束、玩游戏时的视频或音乐中)。
[0353]
(系统配置)
[0354]
图35示出应用了本技术的脑信息系统的配置示例。
[0355]
脑信息系统是能够利用从用户的头部测量的脑波信号提供各种服务的系统。在图35中，脑信息系统包括终端装置11和测量装置21。对与图13中的配置示例的部分对应的部分给予相同的标号，并且将适当地省略其描述。
[0356]
终端装置11是诸如上述的移动终端11a等电子设备，例如智能手机或便携式音乐播放器等。如图13中的终端装置10所示，终端装置11包括控制单元101和通信单元102。
[0357]
测量装置21是诸如上述的耳机21a和hmd 21b等电子设备。类似于图13的测量装置20，测量装置21包括电极201-1至201-n、基准电极202、传感器单元203、声音输出单元204、显示单元205、输入信号处理单元206、信号记录单元207、通信单元208、输出处理单元209和电池210。
[0358]
输入信号处理单元206处理来自于电极201-1至201-n和基准电极202的生物信号，读取脑波信号，并执行预定的信号处理。
[0359]
(其他配置示例)
[0360]
图36示出应用了本技术的脑信息系统的其他配置示例。
[0361]
在图36中，认证系统包括终端装置11和测量装置22。与图35中的配置示例中的部
分相同的部分由相同的标号表示，并且由于重复而将省略其描述。
[0362]
在图36中，测量装置22是诸如耳机或hmd等电子设备。测量装置22与图35的测量装置21的不同之处在于，包括fnirs传感器251-1至251-m(m：1或大于1的整数)和fnirs信号处理单元252，以代替电极201-1至201-n、基准电极202和输入信号处理单元206。
[0363]
fnirs传感器251-1至251-m附装到诸如用户的头部和耳朵等部位。fnirs传感器251-1至251-m分别测量的fnirs信号被提供到fnirs信号处理单元252。fnirs信号处理单元252对来自于fnirs传感器251-1至251-m的fnirs信号执行预定的信号处理。
[0364]
图37示出fnirs传感器251的配置示例。在图37中，fnirs传感器251包括光发送单元261和光接收单元262。
[0365]
光发送单元261和光接收单元262被附装为与用户的头皮紧密接触，并且由光发送单元261照射的近红外光透射通过皮肤组织并由光接收单元262接收。这样，通过以下测量方法来测量fnirs信号：该测量方法应用了使用近红外光从头皮非侵入性地映射脑功能的光学功能成像法的原理。
[0366]
(fnirs传感器的布置示例)
[0367]
图38示出设置在耳机22a中的fnirs传感器251的布置示例。
[0368]
如图38所示，在与用户的耳部接触侧的面上，fnirs传感器251-1至251-4四个传感器以基本相等的间隔布置在以输出声音的部分为中心的同一圆周上，并且可以测量fnirs信号。
[0369]
图39示出设置在hmd 22b中的fnirs传感器251的布置示例。
[0370]
如图39所示，在hmd 22b中，在与用户的前头部接触侧的面上，fnirs传感器251-2至251-9八个传感器以基本相等的间隔布置为一条直线状，并且在远离该八个传感器的后头部侧的预定位置处布置fnirs传感器251-1，并且可以测量fnirs信号。
[0371]
注意，在图15的透视图中，fnirs传感器251-1至251-9中之中的fnirs传感器251-7至251-9三个传感器由于位于盲点中，因此未示出它们。此外，为了便于描述，图示为fnirs传感器251出现在hmd 20b的外观上，但实际上fnirs传感器251设置在与用户前头部接触侧的面上，即在图39的透视图中看不到的位置。
[0372]
(表的配置示例)
[0373]
图40示出在图35或36的信号记录单元207中记录的表的配置示例。
[0374]
信号记录单元207记录cbpa表234。cbpa表234是其中以时间序列记录诸如诱导声音和诱导视频等诱导媒体、以及包括诸如脑波信息(脑波信号)和脑血流信息(fnirs信号等)的脑信息等数据的注册信息的表。连续脑波个人认证(cbpa，continuous brainwave personal authentication)是指通过连续使用在改变诱导媒体的同时增强安全性脑波个人认证。
[0375]
如图41所示，在cbpa表234中，以时间序列记录了包括诱导声音#1和脑波信号#31的注册信息，包括诱导声音#2和脑波信号#32的注册信息，包括诱导声音#3和脑波信号#33的注册信息，包括诱导声音#4和脑波信号#34的注册信息，包括诱导声音#5和脑波信号#35的注册信息，包括诱导声音#6和脑波信号#36的注册信息，等等。在认证过程中，从cbpa表234读取上次注册的诱导声音及其响应脑波信号，并执行认证。在注册过程中，新生成的诱导声音及其响应脑波信号被新注册在cbpa表234中。
[0376]
注意，尽管由于重复描述而被省略，但是类似于上述的图20至图22中所示的脑波系统，图35或36中所示的脑信息系统可以采用各种配置，诸如设置服务器30的配置或者省略终端装置10的配置。
[0377]
(处理流程)
[0378]
接下来，将参考图42和图43的流程图来描述脑波个人认证的认证注册处理。
[0379]
在该认证注册处理中，在从终端装置11或测量装置21所执行的cbpa实现应用接收到开始认证过程的命令之后(在s311中为“是”)，处理进行到步骤s312。
[0380]
在步骤s312中，输入信号处理单元206参考信号记录单元207的cbpa表234，以确定是否存在用于cbpa实现应用的个人认证的注册脑波信号。
[0381]
当在步骤s312的确定处理中识别出不存在注册脑波信号，即由于初次确认而识别为初次时，处理进行到步骤s313。在步骤s313中，输出处理单元209再现新的注册用诱导媒体，以从声音输出单元204或显示单元205输出该媒体。
[0382]
在步骤s314中，输入信号处理单元206处理来自于电极201和基准电极202的生物信号，并确定是否已读取与由诱导媒体引起的响应对应的脑波信号。
[0383]
在步骤s314的确定处理中确定尚未读取响应脑波信号的情况下，处理进行到步骤s315。在步骤s315中，向由终端装置11或测量装置21执行的cbpa实现应用通知错误。
[0384]
注意，在由cbpa实现应用定义重试的情况下，处理返回到步骤s313，并且重复其后续处理，并且重试读取与新的注册用诱导媒体对应的响应脑波信号。
[0385]
另一方面，在步骤s314的确定处理中确定已读取响应脑波信号的情况下，处理进行到步骤s316。在步骤s316中，输入信号处理单元206将关于诱导媒体、响应脑波信号和时刻的信息记录在信号记录单元207的cbpa表234中。
[0386]
当步骤s316的处理完成时，处理进行到步骤s317。此外，在步骤s312的确定处理中确定存在注册脑波信号的情况下，处理进行到步骤s317。
[0387]
在步骤s317中，输出处理单元209再现上次注册的诱导媒体，以从声音输出单元204或显示单元205输出该媒体。
[0388]
在步骤s318中，输入信号处理单元206处理来自于电极201和基准电极202的生物信号，并确定是否与由诱导媒体引起的响应对应的脑波信号。
[0389]
在步骤s318的确定处理中确定尚未读取响应脑波信号的情况下，处理进行到步骤s319。在步骤s319中，向由终端装置11或测量装置21执行的cbpa实现应用通知错误。
[0390]
注意，在由cbpa实现应用定义重试的情况下，处理返回到步骤s317，并且重复其后续处理，并且重试读取与上次注册的诱导媒体对应的响应脑波信号。
[0391]
另一方面，在步骤s318的确定处理中确定已读取响应脑波信号的情况下，处理进行到图42的步骤s320。
[0392]
在步骤s320中，输入信号处理单元206在通过步骤s318中的处理读取的输入脑波信号与记录在信号记录单元207的cbpa表234中的注册脑波信号之间进行匹配。此外，在步骤s321中，输入信号处理单元206计算匹配的脑波信号之间的相似度。
[0393]
在步骤s322中，输入信号处理单元206确定计算的相似度是否在预定阈值范围内。
[0394]
在步骤s322的确定处理中确定相似度超出预定阈值范围的情况下，处理进行到步骤s323。在步骤s323中，向由终端装置11或测量装置21执行的cbpa实现应用通知错误，并且
认证注册处理结束。
[0395]
此外，在步骤s322的确定处理中确定相似度在预定阈值范围内的情况下，处理进行到步骤s324。在步骤s324中，输出处理单元209再现新的注册用诱导媒体，以从声音输出单元204或显示单元205输出该媒体。
[0396]
在步骤s325中，输入信号处理单元206处理来自于电极201和基准电极202的生物信号，并确定是否已读取与由诱导媒体引起的响应对应的脑波信号。
[0397]
在步骤s325的确定处理中确定尚未读取响应脑波信号的情况下，处理进行到步骤s326。在步骤s326中，向由终端装置11或测量装置21执行的cbpa实现应用通知错误。
[0398]
注意，在由cbpa实现应用定义重试的情况下，处理返回到步骤s324，并且重复其后续处理，并且重试读取与新的注册用诱导媒体对应的响应脑波信号。
[0399]
另一方面，在步骤s325的确定处理中确定已读取响应脑波信号的情况下，处理进行到步骤s327。在步骤s327中，输入信号处理单元206将关于诱导媒体、响应脑波信号和时刻的信息记录在信号记录单元207的cbpa表234中。
[0400]
当步骤s327的处理完成时，处理进行到步骤s328。在步骤s328中，确定是否结束动作，并且在确定不结束动作的情况下，处理返回到图42中的步骤s311，并且重复其后续处理。此外，在确定要结束动作的情况下，认证注册处理结束。
[0401]
如上所述，测量装置21或测量装置22被连续使用，以在改变诸如听觉诱导或视觉诱导等诱导媒体的同时，利用与用户对再现的诱导媒体的响应对应的诸如脑波信号或fnirs信号等脑信息来重复认证和注册，从而增强安全性。
[0402]
即，在本技术中，执行第一认证处理的控制，所述第一认证处理基于第一注册信息来认证用户，所述第一注册信息是基于响应于第一诱导媒体的再现而测量的用户的第一脑信息，以及执行第二认证处理的第二注册信息的注册处理的控制，所述第二认证处理基于响应于第二诱导媒体的再现而测量的用户的第二脑信息来认证用户。因此，由于在改变诱导媒体的同时重复认证处理和注册处理，因此可以抑制诱导媒体或脑信息由于黑客等泄漏到外部的可能性，并使用脑信息以更高的安全性执行认证。
[0403]
注意，尽管在上述描述中，作为听觉诱导的诱导声音和作为视觉诱导的诱导视频被例示为诱导媒体，但是也可以使用作为触觉诱导的诱导振动，或者嗅觉诱导等。此外，在每次认证中，使用第一诱导媒体和第二诱导媒体的组合执行再现，并且在每次认证中再现的第一诱导媒体和第二诱导媒体的组合不同。例如，第一诱导媒体(用于认证)和第二诱导媒体(用于注册)的再现顺序不限于第一诱导媒体和第二诱导媒体的顺序，并且可以是第二诱导媒体和第一诱导媒体的顺序，或者不是继续一定的顺序，而是可以每次改变顺序。
[0404]
《3.计算机的配置》
[0405]
可以通过硬件或软件执行上述终端装置10、测量装置20和服务器30的一系列处理。在由软件执行一系列处理的情况下，构成该软件的程序安装在各装置的计算机中。
[0406]
图44是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0407]
在计算机中，中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003通过总线1004相互连接。此外，输入/输出接口1005进一步连接到总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接到输入/输出接口1005。
[0408]
输入单元1006包括麦克风、键盘、鼠标等。输出单元1007包括扬声器、显示器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器等可移除记录介质1011，。
[0409]
在如上所述配置的计算机中，cpu 1001经由输入/输出接口1005和总线1004将记录在rom 1002或存储单元1008中的程序加载到ram 1003中，并执行该程序，由此执行上述一系列处理。
[0410]
例如，可以通过将计算机(cpu 1001)执行的程序记录在作为封装介质等的可移除记录介质1011中来提供。此外，可以经由如局域网、互联网或数字卫星广播的有线或无线传输介质来提供程序。
[0411]
在计算机中，通过将可移除记录介质1011附装到驱动器1010，可以经由输入/输出接口1005将程序安装在存储单元1008中。此外，通信单元1009可以经由有线或无线的传输介质接收程序，并将其安装在存储单元1008中。此外，该程序可以预先安装在rom 1002或存储单元1008中。
[0412]
这里，在本说明书中，计算机根据程序执行的处理不一定按照流程图所描述的顺序按时间序列执行。也就是说，计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或对象处理)。
[0413]
此外，程序可以由一台计算机(处理器)处理，也可以由多台计算机以分布式方式处理。此外，可以将程序传输到远程计算机并执行。
[0414]
此外，在本说明书中，系统是指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件是否位于同一壳体中并不重要。因此，封装在单独壳体中并经由网络连接的多个装置以及将多个模块容纳在一个壳体中的一个装置都是系统。
[0415]
注意，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术要旨的范围内进行各种修改。例如，本技术可以具有云计算的配置，其中一个功能经由网络由多个装置共享和协同处理。
[0416]
此外，上述流程图中描述的每个步骤可以由一个装置执行，也可以由多个装置共享和执行。此外，在一个步骤中包括多个处理的情况下，该一个步骤中包括的多个处理可以由一个装置执行，也可以由多个装置共享和执行。
[0417]
此外，本说明书中描述的效果仅为示例，不受限制，并且可以提供其他效果。
[0418]
注意，本技术可以具有以下配置。
[0419]
(1)
[0420]
一种控制装置，包括
[0421]
检测单元，所述检测单元被配置为执行包括在所测量的用户的生物信号中的脑波的检测、以及基于除了包括在所述生物信号中的脑波之外的信息的用户动作的检测；以及
[0422]
处理单元，所述处理单元被配置为在所述用户动作是预定动作的情况下，执行基于所述脑波的预定处理。
[0423]
(2)
[0424]
根据第(1)项的控制装置，其中
[0425]
所述除了脑波之外的信息包括肌电信号，以及
[0426]
所述检测单元基于从所述用户测量的所述肌电信号，检测所述用户动作。
[0427]
(3)
[0428]
根据第(2)项的控制装置，其中
[0429]
所述预定动作是根据使用脑波的应用设置的触发动作。
[0430]
(4)
[0431]
根据第(3)项的控制装置，其中
[0432]
所述处理单元在作为所述用户动作检测到触发动作的情况下，执行从所述用户测量的第一脑波信号与在与所述第一脑波信号的定时不同的定时下从所述用户测量的第二脑波信号之间的匹配处理。
[0433]
(5)
[0434]
根据第(2)项的控制装置，其中
[0435]
所述预定动作是针对每个使用脑波的应用设置的触发动作。
[0436]
(6)
[0437]
根据第(2)或(5)项的控制装置，其中
[0438]
所述应用是使用脑波的个人认证应用，以及
[0439]
所述处理单元在作为所述用户动作检测到触发动作的情况下，执行从所述用户测量的第一脑波信号与在与所述第一脑波信号的定时不同的定时下从所述用户测量的第二脑波信号之间的匹配处理。
[0440]
(7)
[0441]
根据第(4)至(6)项中任一项的控制装置，其中
[0442]
所述第一脑波信号和所述第二脑波信号是根据指令测量的。
[0443]
(8)
[0444]
根据(4)至(6)中任一项的控制装置，其中
[0445]
所述第一脑波信号和所述第二脑波信号是事件相关电位。
[0446]
(9)
[0447]
根据第(2)或(5)项的控制装置，其中
[0448]
所述应用是使用脑波的检索应用，以及
[0449]
从所述用户测量的第一脑波信号和在与所述第一脑波信号的定时不同的定时下从所述用户测量的第二脑波信号各自包括关于所述用户对于同一对象的思考的脑波信号。
[0450]
(10)
[0451]
根据第(9)项的控制装置，其中
[0452]
所述对象包括可以向所述用户使用的终端装置呈现的、并且通过特定媒体提供的信息。
[0453]
(11)
[0454]
根据第(3)至(10)项中任一项所述的控制装置，其中
[0455]
所述处理单元
[0456]
执行从所述用户测量的第一肌电信号与在与所述第一肌电信号的定时不同的定时下从所述用户测量的第二肌电信号之间的匹配处理，以及
[0457]
基于所述匹配处理的结果，确定是否检测到触发动作。
[0458]
(12)
[0459]
根据第(11)项的控制装置，其中
[0460]
所述第一肌电信号是针对每个应用预先测量和注册的，以及
[0461]
所述第二肌电信号是在启动应用时在任意定时下测量的。
[0462]
(13)
[0463]
根据第(3)至(12)项中任一项所述的控制装置，其中
[0464]
所述触发动作包括所述用户的头部的每个部位的移动、或者所述每个部位的移动与头部移动的组合。
[0465]
(14)
[0466]
根据第(13)项的控制装置，其中
[0467]
所述触发动作是通过来自于设置为与所述用户的头部接触的电极的信号、或者来自于传感器单元的信号检测的。
[0468]
(15)
[0469]
根据第(4)项的控制装置，其中
[0470]
所述脑波信号和所述肌电信号各自是通过来自于设置为与所述用户的头部接触的电极的信号测量的。
[0471]
(16)
[0472]
根据第(2)至(15)项中任一项所述的控制装置，其中
[0473]
所述控制装置具有测量肌电信号的第一模式和测量脑波信号的第二模式，以及
[0474]
将在所述第一模式下读取信号时的时间分辨率和信号放大器的放大系数设置为低于在所述第二模式下读取信号时的时间分辨率和信号放大器的放大系数。
[0475]
(17)
[0476]
根据第(2)至(16)项中任一项所述的控制装置，其中
[0477]
所述控制装置被配置为测量脑波信号和肌电信号的测量装置、以有线或无线方式与所述测量装置连接的终端装置、或者经由网络与所述测量装置连接的服务器。
[0478]
(18)
[0479]
一种控制方法，包括
[0480]
由控制装置
[0481]
检测包括在所测量的用户的生物信号中的脑波，以及检测基于除了包括在所述生物信号中的脑波之外的信息的用户动作；以及
[0482]
在所述用户动作是预定动作的情况下，执行基于所述脑波的预定处理。
[0483]
参考标志列表
[0484]
10、11终端装置
[0485]
10a、11a移动终端
[0486]
20、21、22测量装置
[0487]
20a、21a耳机
[0488]
20b、21bhmd
[0489]
30服务器
[0490]
40网络
[0491]
101控制单元
[0492]
102通信单元
[0493]
103输入信号处理单元
[0494]
104信号记录单元
[0495]
105输出处理单元
[0496]
106声音输出单元
[0497]
107显示单元
[0498]
201、201-1至201-n电极
[0499]
202参考电极
[0500]
203传感器单元
[0501]
204声音输出单元
[0502]
205显示单元
[0503]
206输入信号处理单元
[0504]
207信号记录单元
[0505]
208通信单元
[0506]
209输出处理单元
[0507]
210电池
[0508]
211控制单元
[0509]
221加速度传感器
[0510]
222陀螺仪传感器
[0511]
231触发动作信号记录表
[0512]
232特定于触发动作的脑波应用表
[0513]
233脑波信号记录表
[0514]
234cbpa表
[0515]
251、251-1至251-mfnirs传感器
[0516]
252fnirs信号处理单元
[0517]
261光发送单元
[0518]
262光接收单元
[0519]
301控制单元
[0520]
302通信单元
[0521]
303输入信号处理单元
[0522]
304信号记录单元
[0523]
305输出处理单元
[0524]
1001cpu