用于从神经活动进行实时单词和语音解码的方法和装置

背景技术：

1、构音障碍是清晰发出语音能力的丧失。它可以由包括中风、创伤性脑损伤和肌萎缩性侧索硬化在内的多种病症引起(beukelman等人(2007)《增强性和替代性交流(augmentative and alternative communication)》23(3):230-242)。对于患有严重移动障碍的瘫痪个体，它阻碍了与家人、朋友和护理人员的交流，从而降低了自我报告的生活质量(felgoise等人(2016)《肌萎缩性侧索硬化和额颞叶变性(amyotrophic lateralsclerosis and frontotemporal degeneration)》17(3-4):179-183)。经设计以恢复已经失去说话能力的瘫痪患者交流的神经技术具有改善自主性和生活质量的潜力。然而，与自然语音相比，大多数现有方法既慢又乏味。因此，仍然需要更好的方法来恢复患有构音障碍的患者的交流能力。

技术实现思路

1、提供了用于协助个体进行交流的方法、装置和系统。具体而言，提供了用于直接从个体的神经活动解码单词和句子的方法、装置和系统。在所公开的方法中，当个体尝试说出或拼出单词(即使单词或拼读的字母没有发声)时，记录来自参与语音处理的大脑区域的皮层活动。使用深度学习计算模型从记录的大脑活动中检测和分类单词。通过使用预测某些单词序列将出现的可能性的语言模型来辅助从大脑活动中解码语音。此外，可使用从神经活动中解码尝试非语音运动性移动来进一步协助交流。本文描述的神经技术可用于恢复已经失去说话能力的患者的交流，并且具有改善自主性和生活质量的潜力。

2、在一个方面，提供了一种协助受试者进行交流的方法，方法包括：将包括电极的神经记录装置定位在受试者的大脑的感觉运动皮层区域中的位置处，以记录与受试者的尝试语音相关联的脑电信号数据；将与计算装置通信的接口定位在受试者的头部上的位置处，其中接口连接到神经记录装置；使用神经记录装置记录与受试者的尝试语音相关联的脑电信号数据，其中接口从神经记录装置接收脑电信号数据，并且将脑电信号数据传输到处理器；以及使用处理器从记录的脑电信号数据中解码单词、短语或句子。

3、在某些实施例中，受试者由于构音障碍、中风、创伤性脑损伤、脑肿瘤或肌萎缩性侧索硬化而具有交流方面的困难。在一些实施例中，受试者是瘫痪的。

4、在某些实施例中，神经记录装置的位置在腹侧感觉运动皮层中。例如，电极可以定位在感觉运动皮层区域的表面上或感觉运动皮层区域内。在一些实施例中，电极定位在硬膜下腔中的大脑的感觉运动皮层区域的表面上。

5、在某些实施例中，方法包括记录来自选自中央前回、中央后回、额后中回、额后上回或额后下回区域或其任何组合的感觉运动皮层区域的脑电信号数据。

6、在某些实施例中，神经记录装置包括脑穿透电极阵列或脑皮层电图(ecog)电极阵列。

7、在某些实施例中，电极是深度电极或表面电极。

8、在某些实施例中，处理器使用的特征是电信号数据中包含的高γ频率内容特征。在一些实施例中，高γ频率电信号数据可以包括在70hz至150hz范围内的神经振荡。

9、在某些实施例中，方法进一步包括对受试者的大脑进行绘图，以识别用于定位电极的最佳位置，以用于记录与受试者的尝试语音相关联的脑电信号。

10、在某些实施例中，接口包括附接到受试者的颅骨的经皮基座连接器。在一些实施例中，接口进一步包括连接到经皮基座连接器的可移除前端。

11、在某些实施例中，处理器由计算机或手持装置(例如，手机或平板电脑)提供。

12、在某些实施例中，处理器经编程以使用机器学习算法基于对与受试者的尝试单词产生相关联的记录的脑电信号数据中的电信号的神经活动模式的识别而使语音检测、单词分类和句子解码自动化。在一些实施例中，机器学习算法使用人工神经网络(ann)模型进行语音检测和单词分类，并且使用自然语言处理技术(诸如但不限于隐马尔可夫模型(hmm)或维特比解码模型)进行句子解码。

13、在某些实施例中，处理器经编程以在受试者的尝试语音期间使单词产生的开始和结束的检测自动化。在一些实施例中，方法进一步包括在记录脑电信号数据期间，将用于准备、语音和休息的语音事件标签分配给时间点。在一些实施例中，处理器经编程以在所检测的单词分类开始周围的时间窗口内使用记录的脑电信号数据。

14、在某些实施例中，受试者被限制于尝试语音的指定单词集。

15、在某些实施例中，处理器经编程以计算单词集中的单词是受试者在尝试语音期间试图产生的预期单词的概率。在一些实施例中，处理器经编程以针对单词集中的每个单词，计算单词集中的单词是受试者在尝试语音期间试图产生的预期单词的概率，并且选择单词集中具有是受试者在尝试语音期间试图产生的预期单词的最高概率的单词。

16、在某些实施例中，单词集包括：是、是、不好、带来、干净、更近、舒适、来、计算机、做、信心、家人、感觉、眼镜、去、好、再见、有、喂、帮助、这里、希望、如何、饿、我、是、它、喜欢、音乐、我的、需要、否、不、护士、好、外面、请、正确、成功、告诉、那、他们、渴、累、上、很、什么、哪里、是和你。

17、在某些实施例中，受试者可无限制地使用单词集中的单词来创建句子。在其他实施例中，受试者被限制于尝试语音的指定句子集。

18、在某些实施例中，处理器经编程以计算单词序列是受试者在尝试语音期间试图产生的预期句子的概率。在一些实施例中，处理器经编程以针对句子集中的每个句子，计算句子集中的句子是受试者在尝试语音期间试图产生的预期句子的概率。在一些实施例中，处理器经编程以计算完全由来自指定单词集中的单词构成的许多可能句子是受试者在尝试语音期间试图产生的预期句子的概率。在一些实施例中，处理器经编程以维持最可能的句子以及其他不太可能的句子，这些句子完全由来自受试者在尝试语音期间试图产生的指定单词集中的单词构成。在一些实施例中，处理器经编程以在任何给定的时间点及时跟踪第一最可能、第二最可能和第三最可能的句子概率。当处理新的单词事件时，最可能的句子可能会改变。例如，基于单词事件的处理的第二最可能的句子然后可以在处理一个或多个附加单词事件之后变成最可能的句子。

19、在某些实施例中，句子集包括可经选择以与护理人员关于受试者希望护理人员执行的任务进行交流的句子。在一些实施例中，可以完全由指定单词集中的单词构成的句子包括可用于与护理人员关于受试者希望护理人员执行的任务进行交流的句子。

20、在某些实施例中，句子集包括：你要出去吗；你累了吗；把我的眼镜拿过来；请把我的眼镜拿来；不要难过；你感觉舒服吗；信心是好的；喂，你好吗；这是我的计算机；你感觉如何；你觉得我的音乐怎么样；我要出去；我不去；我不饿；我不好；我还好；我在外面；我渴了；我感觉不舒服；我感觉很舒服；我感觉很饿；我希望它是干净的；我喜欢我的护士；我需要我的眼镜；我需要你；很舒适；很好；还好；就在这里；我的计算机是干净的；我的家人在这里；我的家人在外面；我的家庭很温馨；我的眼镜是干净的；我的眼镜很舒适；我的护士在外面；我的护士就在外面；否；请把我的眼镜拿过来；请清洁一下它；请告诉我的家人；非常干净；他们要来这里；他们出来了；他们要出去；他们有信心；你是做什么的；它在哪里；是；和你是不对的。

21、在某些实施例中，处理器经编程以使用语言模型，语言模型在给定单词序列中的前一单词或短语的情况下提供下一单词概率，以通过确定预测的单词序列概率来辅助解码。例如，根据语言模型，较频繁出现的单词被分配比较不频繁出现的单词更大的权重。

22、在某些实施例中，处理器经编程以使用隐马尔可夫模型(hmm)或维特比解码模型，在给定与尝试语音相关联的脑电信号数据、使用机器学习算法从单词分类预测的单词概率和使用语言模型得到的单词序列概率的情况下，确定受试者的预期语音中最可能的单词序列。

23、在某些实施例中，方法进一步包括：记录与受试者的尝试非语音运动性移动相关联的脑电信号数据，其中受试者进行尝试非语音运动性移动以指示尝试语音的起始或终止或控制外部装置；以及使用非语音运动性移动分类模型来分析脑电信号数据，非语音运动性移动分类模型识别与尝试非语音运动性移动相关联的记录的脑电信号数据中的电信号模式，并且计算受试者尝试非语音运动性移动的概率。在一些实施例中，尝试非语音运动性移动包括尝试头、臂、手、脚或腿移动。

24、在某些实施例中，处理器进一步经编程以基于对与尝试非语音运动性移动相关联的记录的脑电信号数据中电信号的神经活动模式的识别，使受试者的尝试非语音运动性移动的检测自动化。在一些实施例中，处理器进一步经编程以在记录脑电信号数据期间将用于尝试非语音运动性移动的事件标签分配给时间点。

25、在某些实施例中，方法进一步包括评估解码的准确度。

26、在另一方面，提供了一种计算机实现的方法，方法用于从与受试者的尝试语音相关联的记录的脑电信号数据中解码句子，计算机执行的步骤包括：a)从受试者接收记录的脑电信号数据；b)使用语音检测模型分析记录的脑电信号数据，以计算在记录脑电信号数据期间的任何时间点出现尝试语音的概率，并检测在受试者的尝试语音期间单词产生的开始和结束；c)使用单词分类模型分析脑电信号数据，单词分类模型识别与受试者的尝试单词产生相关联的记录的脑电信号数据中的电信号模式，并且计算预测的单词概率；d)通过使用从单词分类模型计算的单词概率并结合使用语言模型在句子中预测的单词序列概率来执行句子解码，语言模型在给定单词序列中的前一单词或短语的情况下提供下一单词概率，以计算预测的单词序列概率，并且基于使用单词分类模型和语言模型确定的预测的单词概率来确定句子中最可能的单词序列；以及e)显示从记录的脑电信号数据解码的句子。

27、在某些实施例中，处理器经编程以使用机器学习算法基于对与受试者的尝试单词产生相关联的记录的脑电信号数据中的电信号的神经活动模式的识别而使语音检测、单词分类和句子解码自动化。在一些实施例中，机器学习算法使用人工神经网络(ann)模型进行语音检测和单词分类，并且使用自然语言处理技术(诸如但不限于隐马尔可夫模型(hmm)或维特比解码模型)进行句子解码。

28、在某些实施例中，受试者被限制于尝试语音的指定单词集。在一些实施例中，处理器进一步经编程以针对单词集中的每个单词，计算单词集中的单词是受试者在尝试语音期间试图产生的预期单词的概率，并且选择单词集中具有是受试者在尝试语音期间试图产生的预期单词的最高概率的单词。

29、在某些实施例中，受试者可无限制地使用单词集中的单词来创建句子。在其他实施例中，受试者被限制于尝试语音的指定句子集。在一些实施例中，处理器进一步经编程以计算单词序列是受试者在尝试语音期间试图产生的预期句子的概率。在一些实施例中，处理器进一步经编程以计算句子集中的句子是受试者在尝试语音期间试图产生的预期句子的概率。

30、在某些实施例中，计算机实现的方法进一步包括在记录脑电信号数据期间，将用于准备、语音和休息的语音事件标签分配给时间点。

31、在某些实施例中，计算机实现的方法进一步包括分析在所检测的单词分类开始周围的时间窗口内(例如，从所检测的单词分类开始之前的1秒到所检测的单词分类开始之后的3秒)的记录的脑电信号数据。

32、在某些实施例中，计算机实现的方法进一步包括根据语言模型，向较频繁出现的单词分配比较不频繁出现的单词更大的权重。

33、在某些实施例中，计算机实现的方法进一步包括：接收与受试者的尝试非语音运动性移动相关联的记录的脑电信号数据，其中受试者进行尝试非语音运动性移动以指示尝试语音的起始或终止或控制外部装置；以及使用非语音运动性移动分类模型来分析脑电信号数据，非语音运动性移动分类模型识别与尝试非语音运动性移动相关联的记录的脑电信号数据中的电信号模式，并且计算受试者尝试非语音运动性移动的概率。在一些实施例中，尝试非语音运动性移动包括尝试头、臂、手、脚或腿移动。在一些实施例中，计算机实现的方法进一步包括在记录脑电信号数据期间将用于尝试非语音运动性移动的事件标签分配给时间点。

34、在某些实施例中，计算机实现的方法进一步包括存储受试者的使用者档案，使用者档案包括关于与受试者的尝试单词产生相关联的记录的脑电信号数据中的电信号模式的信息。

35、在另一方面，提供了一种非暂时性计算机可读介质，非暂时性计算机可读介质包括程序指令，当由计算机中的处理器执行时，程序指令使处理器执行本文描述的计算机实现的方法，用于从与受试者的尝试语音相关联的记录的脑电信号数据中解码句子。

36、在另一方面，提供了一种套件，套件包括非暂时性计算机可读介质和用于解码与受试者的尝试语音相关联的脑电信号数据的指令。

37、在另一方面，提供了一种用于协助受试者进行交流的系统，系统包括：包括电极的神经记录装置，适于定位在受试者的大脑的感觉运动皮层区域中的位置处，以记录与受试者的尝试语音相关联的脑电信号数据；处理器，经编程以根据本文描述的计算机实现的方法从记录的脑电信号数据中解码句子；与计算装置通信的接口，适于定位在受试者的头部上的位置处，其中接口从神经记录装置接收脑电信号数据并且将脑电信号数据传输到处理器；以及显示器组件，用于显示从记录的脑电信号数据解码的句子。

38、在某些实施例中，受试者由于构音障碍、中风、创伤性脑损伤、脑肿瘤或肌萎缩性侧索硬化而具有交流方面的困难。

39、在某些实施例中，神经记录装置的位置在腹侧感觉运动皮层中。

40、在某些实施例中，电极适于定位在感觉运动皮层区域的表面上或感觉运动皮层区域内。在一些实施例中，电极适于定位在硬膜下腔中的大脑的感觉运动皮层区域的表面上。

41、在某些实施例中，神经记录装置包括脑穿透电极阵列或脑皮层电图(ecog)电极阵列。

42、在某些实施例中，电极是深度电极或表面电极。

43、在某些实施例中，电信号数据包括高γ频率内容特征。在一些实施例中，高γ频率电信号数据包括在70hz至150hz范围内的神经振荡。

44、在某些实施例中，接口包括附接到受试者的颅骨的经皮基座连接器。在一些实施例中，接口进一步包括可连接到经皮基座连接器的前端。

45、在某些实施例中，处理器由计算机或手持装置(例如，手机或平板电脑)提供。

46、在某些实施例中，处理器经编程以使用机器学习算法基于对与受试者的尝试单词产生相关联的记录的脑电信号数据中的电信号的神经活动模式的识别而使语音检测、单词分类和句子解码自动化。在一些实施例中，机器学习算法使用人工神经网络(ann)模型进行语音检测和单词分类，并且使用自然语言处理技术(诸如但不限于隐马尔可夫模型(hmm)或维特比解码模型)进行句子解码。

47、在某些实施例中，处理器进一步经编程以在记录脑电信号数据期间，将用于准备、语音和休息的语音事件标签分配给时间点。在一些实施例中，处理器进一步经编程以在所检测的单词分类开始周围的时间窗口内使用记录的脑电信号数据。

48、在某些实施例中，受试者被限制于尝试语音的指定单词集。在一些实施例中，处理器进一步经编程以针对单词集中的每个单词，计算单词集中的单词是受试者在尝试语音期间试图产生的预期单词的概率，并且选择单词集中具有是受试者在尝试语音期间试图产生的预期单词的最高概率的单词。

49、在某些实施例中，单词集包括：是、是、不好、带来、干净、更近、舒适、来、计算机、做、信心、家人、感觉、眼镜、去、好、再见、有、喂、帮助、这里、希望、如何、饿、我、是、它、喜欢、音乐、我的、需要、否、不、护士、好、外面、请、正确、成功、告诉、那、他们、渴、累、上、很、什么、哪里、是和你。

50、在某些实施例中，受试者可无限制地使用单词集中的单词来创建句子。在其他实施例中，受试者被限制于尝试语音的指定句子集。在一些实施例中，处理器进一步经编程以计算单词序列是受试者在尝试语音期间试图产生的预期句子的概率。在一些实施例中，处理器进一步经编程以计算句子集中的句子是受试者在尝试语音期间试图产生的预期句子的概率。在一些实施例中，句子集包括可经选择以与护理人员关于受试者希望护理人员执行的任务进行交流的句子。

51、在某些实施例中，句子集包括：你要出去吗；你累了吗；把我的眼镜拿过来；请把我的眼镜拿来；不要难过；你感觉舒服吗；信心是好的；喂，你好吗；这是我的计算机；你感觉如何；你觉得我的音乐怎么样；我要出去；我不去；我不饿；我不好；我还好；我在外面；我渴了；我感觉不舒服；我感觉很舒服；我感觉很饿；我希望它是干净的；我喜欢我的护士；我需要我的眼镜；我需要你；很舒适；很好；还好；就在这里；我的计算机是干净的；我的家人在这里；我的家人在外面；我的家庭很温馨；我的眼镜是干净的；我的眼镜很舒适；我的护士在外面；我的护士就在外面；否；请把我的眼镜拿过来；请清洁一下它；请告诉我的家人；非常干净；他们要来这里；他们出来了；他们要出去；他们有信心；你是做什么的；它在哪里；是；和你是不对的。

52、在某些实施例中，处理器进一步经编程以基于对与尝试非语音运动性移动相关联的记录的脑电信号数据中电信号的神经活动模式的识别，使受试者的尝试非语音运动性移动的检测自动化。在一些实施例中，处理器进一步经编程以在记录脑电信号数据期间将用于尝试非语音运动性移动的事件标签分配给时间点。

53、在另一方面，提供了一种套件，套件包括本文描述的用于协助受试者进行交流的系统以及使用系统记录和解码与受试者的尝试语音相关联的脑电信号数据的指令。

54、在另一方面，提供了一种协助受试者进行交流的方法，方法包括：将包括电极的神经记录装置定位在受试者的大脑的感觉运动皮层区域中的位置处，以记录与受试者的尝试拼读预期句子的单词的字母相关联的脑电信号数据；将与计算装置通信的接口定位在受试者的头部上的位置处，其中接口连接到神经记录装置；使用神经记录装置记录与受试者的所述尝试拼读相关联的脑电信号数据，其中接口从神经记录装置接收脑电信号数据，并且将脑电信号数据传输到计算装置的处理器；以及使用处理器从记录的脑电信号数据中解码预期句子的拼读单词。

55、在某些实施例中，电信号数据包括高γ频率内容特征(例如，70hz至150hz)和低频率内容特征(例如，0.3hz至100hz)。

56、在某些实施例中，记录脑电信号数据包括记录来自选自中央前回、中央后回、额后中回、额后上回或额后下回区域或其任何组合的感觉运动皮层区域的脑电信号数据。

57、在某些实施例中，方法进一步包括对受试者的大脑进行绘图，以识别用于定位电极的最佳位置，以用于记录与受试者的尝试拼读单词相关联的脑电信号。

58、在某些实施例中，处理器经编程以基于对与受试者的尝试拼读单词相关联的记录的脑电信号数据中电信号的神经活动模式的识别来使与尝试拼读相关联的大脑活动的检测、字母分类、单词分类和句子解码自动化。

59、在某些实施例中，处理器经编程以使用机器学习算法进行语音检测、字母分类、单词分类和句子解码。在一些实施例中，机器学习算法可以使用自然语言处理技术。

60、在某些实施例中，处理器进一步经编程以将从与受试者的尝试拼读单词相关联的神经活动中解码的字母序列中的单词分类局限于仅在受试者使用的语言词汇表内的单词。

61、在某些实施例中，处理器经编程以在受试者的尝试拼读期间使字母产生的开始和结束的检测自动化。

62、在某些实施例中，处理器进一步经编程以在记录脑电信号数据期间，将用于准备、语音和休息的语音事件标签分配给时间点。

63、在某些实施例中，处理器经编程以在所检测的受试者的尝试拼读字母开始周围的时间窗口内使用记录的脑电信号数据。

64、在某些实施例中，方法进一步包括向受试者提供一系列go提示，指示受试者何时应起始预期句子的单词的每个字母的尝试拼读。在一些实施例中，一系列go提示被视觉提供在显示器上。在一些实施例中，每个go提示之前是呈现go提示的倒计时，其中下一个拼读的字母的倒计时被视觉提供在显示器上，并且在每个go提示之后自动开始。在一些实施例中，一系列go提示在每个go提示之间提供有设定的时间间隔。在一些实施例中，受试者可以控制每个go提示之间的设定的时间间隔。在一些实施例中，处理器经编程以在go提示之后的时间窗口内使用记录的脑电信号数据。

65、在某些实施例中，处理器经编程以计算来自解码字母序列的经解码单词序列是受试者在受试者的尝试拼读预期句子的单词的字母期间试图产生的预期句子的概率。

66、在某些实施例中，处理器经编程以使用语言模型，语言模型在给定单词序列中的前一单词或短语的情况下提供下一单词概率，以通过确定预测的单词序列概率来辅助解码。在一些实施例中，根据语言模型，较频繁出现的单词被分配比较不频繁出现的单词更大的权重。

67、在某些实施例中，处理器进一步经编程以使用预测的字母概率序列来计算潜在的候选句子，并自动将空格插入候选句子中预测的单词之间的字母序列中。

68、在某些实施例中，方法进一步包括：记录与受试者的尝试非语音运动性移动相关联的脑电信号数据，其中受试者进行尝试非语音运动性移动以指示尝试拼读预期句子的单词的起始或终止或控制外部装置；以及使用分类模型来分析脑电信号数据，分类模型识别与尝试非语音运动性移动相关联的记录的脑电信号数据中的电信号模式，并且计算受试者尝试非语音运动性移动的概率。

69、在某些实施例中，尝试非语音运动性移动包括尝试头、臂、手、脚或腿移动。在一些实施例中，尝试手移动包括想象的手势或想象的握手。

70、在某些实施例中，处理器经编程以基于对与尝试非语音运动性移动相关联的记录的脑电信号数据中电信号的神经活动模式的识别，使受试者的尝试非语音运动性移动的检测自动化，从而发出受试者的尝试拼读结束的信号。在一些实施例中，处理器进一步经编程以在记录脑电信号数据期间将用于尝试非语音运动性移动的事件标签分配给时间点。

71、在某些实施例中，方法进一步包括：使用神经记录装置记录与受试者的尝试语音相关联的脑电信号数据，其中接口从神经记录装置接收脑电信号数据，并且将脑电信号数据传输到计算装置的处理器；以及使用处理器从与受试者的尝试语音相关联的记录的脑电信号数据中解码单词、短语或句子，如本文所述。

72、在某些实施例中，方法进一步包括评估解码的准确度。

73、在另一方面，提供了一种计算机实现的方法，方法用于从与受试者尝试拼读预期句子的单词的字母相关联的记录的脑电信号数据中解码句子，计算机执行的步骤包括：a)接收与受试者的尝试拼读预期句子的单词的字母相关联的记录的脑电信号数据；b)使用语音检测模型分析记录的脑电信号数据，以计算在任何时间点出现尝试拼读的概率，并且检测在受试者的尝试拼读期间字母产生的开始和结束；c)使用字母分类模型分析脑电信号数据，字母分类模型识别与受试者的尝试字母产生相关联的记录的脑电信号数据中的电信号模式，并且计算预测的字母概率序列；d)基于预测的字母概率序列计算潜在的候选句子，并且自动将空格插入在候选句子中的预测单词之间的字母序列中，其中字母序列中的经解码单词被局限于仅受试者使用的语言词汇表内的单词；e)使用语言模型分析潜在的候选句子，语言模型在给定单词序列中的前一单词或短语的情况下提供下一单词概率，以计算预测的单词序列概率，并且确定句子中最可能的单词序列；以及f)显示从记录的脑电信号数据解码的句子。

74、在某些实施例中，记录的脑电信号数据仅在所检测的受试者的尝试拼读字母开始周围的时间窗口内使用。

75、在某些实施例中，方法进一步包括向受试者显示一系列go提示，指示受试者何时应起始预期句子的单词的每个字母的尝试拼读。在一些实施例中，每个go提示之前是显示呈现go提示的倒计时，其中下一个拼读的字母的倒计时在每个go提示之后自动开始。在一些实施例中，一系列go提示在每个go提示之间提供有设定的时间间隔。在一些实施例中，受试者可以控制每个go提示之间的设定的时间间隔。在一些实施例中，在go提示之后的时间窗口内的记录的脑电信号数据用于字母分类。

76、在某些实施例中，计算机实现的方法进一步包括：接收与受试者的尝试非语音运动性移动相关联的记录的脑电信号数据，其中受试者进行尝试非语音运动性移动以指示尝试拼读预期句子的单词的起始或终止或控制外部装置；以及使用运动性移动分类模型来分析脑电信号数据，运动性移动分类模型识别与尝试非语音运动性移动相关联的记录的脑电信号数据中的电信号模式，并且计算受试者尝试非语音运动性移动的概率。在一些实施例中，尝试非语音运动性移动包括尝试头、臂、手、脚或腿移动。在一些实施例中，尝试手移动包括想象的手势或想象的握手。

77、在某些实施例中，使用机器学习算法进行语音检测和字母分类。

78、在某些实施例中，计算机实现的方法进一步包括根据语言模型，向较频繁出现的单词分配比较不频繁出现的单词更大的权重。

79、在某些实施例中，计算机实现的方法进一步包括存储受试者的使用者档案，使用者档案包括关于与在受试者的尝试拼读期间字母产生相关联的记录的脑电信号数据中的电信号模式的信息。

80、在某些实施例中，电信号数据包括高γ频率内容特征(例如，70hz至150hz)和低频率内容特征(例如，0.3hz至100hz)。

81、在某些实施例中，计算机实现的方法进一步包括评估解码的准确度。

82、在某些实施例中，计算机实现的方法进一步包括从与受试者的尝试语音相关联的记录的脑电信号数据中解码句子，计算机进一步执行的步骤包括：a)接收与受试者的尝试语音相关联的记录的脑电信号数据；b)使用语音检测模型分析记录的脑电信号数据，以计算在任何时间点出现尝试语音的概率，并且检测在受试者的尝试语音期间单词产生的开始和结束；c)使用单词分类模型分析脑电信号数据，单词分类模型识别与受试者的尝试单词产生相关联的记录的脑电信号数据中的电信号模式，并且计算预测的单词概率；d)通过使用从单词分类模型计算的单词概率并结合使用语言模型在句子中预测的单词序列概率来执行句子解码，语言模型在给定单词序列中的前一单词或短语的情况下提供下一单词概率，以计算预测的单词序列概率，并且基于使用单词分类模型和语言模型确定的预测的单词概率来确定句子中最可能的单词序列；以及e)显示从记录的脑电信号数据解码的句子。在一些实施例中，使用机器学习算法进行语音检测、单词分类和句子解码。在一些实施例中，使用人工神经网络(ann)模型进行语音检测和单词分类，且使用隐马尔可夫模型(hmm)、维特比解码模型或自然语言处理技术进行句子解码。

83、在另一方面，提供了一种非暂时性计算机可读介质，非暂时性计算机可读介质包括程序指令，当由计算机中的处理器执行时，程序指令使处理器执行本文描述的计算机实现的方法。

84、在另一方面，提供了一种套件，套件包括非暂时性计算机可读介质和用于解码与受试者的尝试拼读预期句子的单词的字母相关联的脑电信号数据的指令。

85、在另一方面，提供了一种用于协助受试者进行交流的系统，系统包括：包括电极的神经记录装置，适于定位在受试者的大脑的感觉运动皮层区域中的位置处，以记录与受试者的尝试语音、尝试拼读预期句子的单词的字母或尝试非语音运动性移动或其组合相关联的脑电信号数据；处理器，经编程以根据本文描述的计算机实现的方法从记录的脑电信号数据中解码句子；与计算装置通信的接口，所述接口适于定位在受试者的头部上的位置处，其中接口从神经记录装置接收脑电信号数据并且将脑电信号数据传输到处理器；以及显示器组件，用于显示从记录的脑电信号数据解码的句子。

86、在某些实施例中，电极适于定位在感觉运动皮层区域的表面上或感觉运动皮层区域内。

87、在某些实施例中，电极适于定位在硬膜下腔中的大脑的感觉运动皮层区域的表面上。

88、在某些实施例中，神经记录装置包括脑穿透电极阵列。

89、在某些实施例中，神经记录装置包括脑皮层电图(ecog)电极阵列。

90、在某些实施例中，电极是深度电极或表面电极。

91、在某些实施例中，电信号数据包括高γ频率内容特征(例如，70hz至150hz)和低频率内容特征(例如，0.3hz至100hz)。

92、在某些实施例中，接口包括附接到受试者的颅骨的经皮基座连接器。

93、在某些实施例中，接口进一步包括可连接到经皮基座连接器的前端。

94、在某些实施例中，处理器由计算机或手持装置(例如，手机或平板电脑)提供。

95、在另一方面，一种套件包括本文所述的系统和用于使用系统记录和解码与受试者的尝试语音、尝试拼读单词或尝试非语音运动性移动或其组合相关联的脑电信号数据的指令。

96、通过解码与尝试语音、尝试拼读单词或尝试非语音运动性移动相关联的神经活动来协助受试者进行交流的方法可以组合。这些技术是互补的。在一些情况下，解码尝试拼读可以使得能够比解码尝试语音使用更大的词汇表。然而，对于受试者来说，解码尝试语音可能更容易和更方便，因为它允许更快速的直接单词解码，这对于表达频繁使用的单词可能是优选的。为了协助解码，可以使用尝试非语音运动性移动来发信号通知受试者正在起始或结束尝试语音或拼出预期消息。