底盘输入意图预测的制作方法

1.本公开涉及使用脑机接口装置控制车辆。


背景技术：

2.脑机接口(bmi)是一种使得人类能够使用人脑活动向计算机提供命令的技术。bmi系统通过在外部或内部使电极阵列与大脑的运动皮层区域进行对接并使用训练后的神经解码器对活动信号进行解码来提供控制输入，所述训练后的神经解码器将用户大脑中的神经元发射图案转换成离散的车辆控制命令。
3.bmi接口可以包括利用与运动皮层区域的内部直接接触而工作的侵入性直接接触电极接口技术，或者包括-非侵入性电极接口技术，其中无线接收器利用传感器来测量大脑的电活动以便使用可以在外部接触用户头部的头皮、太阳穴、前额或其他区域的功能性磁共振成像(fmri)、脑电图(eeg)或电场脑x光摄影术(efeg)接收器来确定实际的以及潜在的电场活动。bmi系统通常通过感测电场活动或潜在电场活动、放大数据并通过数字信号处理器处理信号以将大脑神经活动的存储图案与可以使用处理后的信号控制装置或提供某个输出的功能相关联来进行工作。
4.bmi技术的最新进展已经预期了使用bmi的车辆控制的各方面。这种车辆控制的一个方面包括用于校准驾驶员辅助响应性的驾驶员意图确定。
5.关于这些和其他考虑因素，提出了本文的公开内容。


技术实现要素：

6.公开了一种使用脑机接口(bmi)获得底盘输入控制的更高分辨率视角的传感器融合方法。传统的底盘控制输入(诸如方向盘、制动器和驾驶员状态监测传感器)可以计算输入，但是通常不能很好地预测意图。通过解译公知的马达命令信号，可以清楚地知道驾驶员意图提供多少底盘输入。这允许更快的响应以及与驾驶员更好的集成两者。bmi可以监测运动皮层活动以识别何时即将发生肌肉运动，诸如移动手臂以抓住方向盘。这种组合将实现更快且更精确的意图计算。另外，来自驾驶员可穿戴装置的信息可以用于补充确定输入。
7.为了确定驾驶员意图，根据标记的bmi、可以监测眼睛注视、头部姿态和其他驾驶员指示器的驾驶员状态监测器(dsm)以及可以包括制动踏板、油门踏板和转向输入的底盘输入以及其他可能的输入来训练神经网络。bmi系统可以使用dsm和bmi输入来标识驾驶员意图，并生成指示即将发生的肌肉运动的相对紧迫性或相对重要性的加权分数。
8.关于制动功能，可以使用制动意图置信度分数来确定适当的警告强度水平。可以提供1至5之间的驾驶员制动意图分数，其中1是最小意图(即，无制动输入的低腿部运动皮层参与)，而5是最大意图(即，具有制动器接合和正确的眼睛注视的高腿部运动皮层参与)。在其中制动意图分数低并且碰撞警告风险高的情况下，通知系统可以选择更具侵入性的通知(弹出式窗口、hud闪烁、音频等)。在其中意图分数高并且警告风险低的情况下，可以选择更被动的通知(诸如群集灯)。这将扩展到意图与风险等级的各种组合。
9.本文更详细地提供了本公开的这些和其他优点。
附图说明
10.参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了在附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。贯穿本公开中，根据背景，单数和复数术语可能可互换地使用。
11.图1描绘了其中可以实施用于提供本文公开的系统和方法的技术和结构的示例性计算环境。
12.图2示出了根据本公开的与车辆一起使用的汽车控制系统的示例性架构的功能示意图。
13.图3描绘了根据实施例的用于使用脑机接口(bmi)系统和驾驶员辅助技术(dat)控制器来控制车辆的示例性实施例。
14.图4示出了根据本公开的实施例的示例性bmi训练系统的序列的各个方面。
15.图5示出了根据本公开的用于车辆生物特征认证和乘员监测系统的功能示意图和示例性架构。
16.图6描绘了根据本公开的流程图。
具体实施方式
17.下文将参考附图更全面地描述本公开，附图中示出了本公开的示例性实施例，并且所述实施例不意图为限制性的。
18.驾驶员辅助特征(诸如预碰撞辅助和自适应前转向)可以考虑驾驶员行为和外部环境，并且动态地调整车辆响应性。通常，这些特征是期望的并且提高了车辆安全评级分数；因此，应用的数量急剧增长。然而，校准可能具有挑战性，因为它需要平衡输入灵敏度和等待时间。
19.作为示例，当发生预碰撞辅助事件时，驾驶员可以完全参与。在示例性场景中，车辆可能正在与即将发生的出口坡道相邻的车道中行驶。如果驾驶员前方的车辆正在减速以驶出出口，则驾驶员可能会认识到这一点，但是用于防撞的时间减少。因此，常规的驾驶员辅助系统可以执行碰撞时间估计并采用防撞解决方案以缓解碰撞或防撞。
20.在另一个示例中，驾驶员前方的车辆减速以驶出出口并且驾驶员认识到这一点，但是碰撞时间估计在不需要防撞解决方案时使用防撞解决方案。这可能导致不期望的抬头显示器指示以及不必要的车辆辅助动作，诸如比驾驶员将使用的制动力更大的制动力的接合应用，例如以使车辆更平缓地减速。
21.常规系统可以受益于确定驾驶员意图以校准与防撞系统参与相关联的底盘控制命令。传统的底盘输入(诸如方向盘阻力)可能无法提供可以可靠地通知被配置和/或编程为预测驾驶员意图的车辆系统的一致输入。基于相机的解决方案相对于传统底盘输入有改善，但是可能由于视线受阻而受到限制，并且可能没有足够多信息来预测驾驶员的意图，直到有足够多动作在视觉上对驾驶员的意图进行分类。因此，出于更好地校准驾驶员辅助响应性的目的，显然要求驾驶员意图有更高保真度度量。
22.图1描绘了示例性计算环境100，所述示例性计算环境可以包括车辆105，所述车辆包括汽车计算机145和车辆控制单元(vcu)165，所述车辆控制单元典型地包括被设置成与汽车计算机145和bmi装置108进行通信的多个电子控制单元(ecu)117。移动装置120(其可以与用户140和车辆105相关联)可以使用有线和/或无线通信协议和收发器来与汽车计算机145连接。移动装置120可以经由一种或多种网络125来与车辆105通信地耦合，所述一种或多种网络可以经由一个或多个无线信道130进行通信，和/或所述移动装置可以使用近场通信(nfc)协议、协议、wi-fi、超宽带(uwb)以及其他可能的数据连接和共享技术来与车辆105直接地连接。
23.车辆105还可以接收全球定位系统(gps)175和/或与其进行通信。gps 175可以是卫星系统(如图1中描绘)，诸如全球导航卫星系统(glnss)、伽利略、或导航或其他类似系统。在其他方面中，gps175可以是基于地面的导航网络或无线导航辅助领域中已知的任何其他类型的定位技术。
24.汽车计算机145可以是或包括具有一个或多个处理器150和存储器155的电子车辆控制器。在一些示例性实施例中，汽车计算机145可以被设置成与移动装置120和一个或多个服务器170进行通信。服务器170可以为基于云的计算基础设施的一部分，并且可与远程信息处理服务交付网络(sdn)相关联和/或包括sdn，所述sdn向车辆105和可为车辆车队的一部分的其他车辆提供数字数据服务。
25.尽管被示出为运动型多用途车，但车辆105可以采取另一种乘用或商用汽车的形式，诸如，例如汽车、卡车、高性能车辆、跨界车辆、厢式货车、小型货车、出租车、公交车等，并且可被配置和/或编程为包括各种类型的汽车驱动系统。示例性驱动系统可包括具有汽油、柴油或天然气动力燃烧发动机的各种类型的内燃发动机(ice)动力传动系统，其具有常规的驱动部件，诸如变速器、驱动轴、差速器等。在另一种配置中，车辆105可以被配置为电动车辆(ev)。更具体地，车辆105可以包括电池ev(bev)驱动系统，或者被配置为具有独立车载动力装置的混合动力ev(hev)、包括可连接到外部电源的hev动力传动系统的插电式hev(phev)、和/或包括具有燃烧发动机动力装置和一个或多个ev驱动系统的并联或串联混合动力传动系统。hev还可以包括用于蓄电的电池和/或超级电容器组、飞轮蓄电系统或其他发电和蓄电基础设施。车辆105还可以被配置为使用燃料电池(例如，氢燃料电池车辆(hfcv)动力传动系统等)和/或这些驱动系统和部件的任何组合将液体或固体燃料转换为可用动力的燃料电池车辆(fcv)。
26.此外，车辆105可以是手动驾驶的车辆，和/或被配置和/或编程为在完全自主(例如，无人驾驶)模式(例如，5级自主)下或在一种或多种部分自主模式下操作。部分自主模式的示例在本领域中被广泛地理解为0级至5级自主。具有0级自主自动化的车辆可能不包括自主驾驶特征。具有1级驾驶员辅助技术(dat)控制器的车辆通常可以包括单个自动化驾驶员辅助特征，诸如转向或加速辅助。自适应巡航控制是1级驾驶员辅助系统的这样一个示例，其包括加速和转向两个方面。车辆中的2级驾驶员辅助可以提供转向和加速功能性的部分自动化，其中自动化系统由执行非自动化操作(诸如制动和其他控制)的人类驾驶员监督。车辆中的3级驾驶员辅助通常可以提供对驾驶特征的条件自动化和控制。例如，3级dat控制器典型地包括“环境检测”能力，其中车辆可独立于当前的驾驶员而做出明智的决策，诸如加速驶过缓慢移动的车辆，而如果系统无法执行任务，则当前的驾驶员仍准备好重新
取得对车辆的控制。4级自主包括具有高级自主的车辆，其可以独立于人类驾驶员操作，但仍包括用于超驰操作的人类控制。4级自动化还可以使自驾驶模式能够响应于预定义的条件触发(诸如道路危险或系统故障)进行干预。5级自主与无需人类输入进行操作并且通常不包括人类操作的驾驶控制的自主车辆系统相关联。
27.根据本公开的实施例，bmi系统107可以被配置为和/或被编程为与具有1级或2级dat控制器的车辆一起操作。因此，当车辆被配置有dat控制器时，bmi系统107可以向车辆105提供人类控制的一些方面。
28.移动装置120通常包括用于存储与应用135相关联的程序指令的存储器123，所述程序指令在由移动装置处理器121执行时执行所公开的实施例的各方面。应用(或“app”)135可以是bmi系统107的一部分，或者可以向bmi系统107提供信息和/或从bmi系统107接收信息。
29.在一些方面，移动装置120可以通过一个或多个信道130与车辆105进行通信，所述一个或多个信道可以在移动装置120与远程信息处理控制单元(tcu)160之间加密并建立。移动装置120可使用与车辆105上的tcu 160相关联的无线发射器与tcu 160进行通信。发射器可使用诸如例如一种或多种网络125的无线通信网络来与移动装置120进行通信。图1中将无线信道130描绘为经由一种或多种网络125和经由一个或多个直接连接133进行通信。连接133可包括各种低能耗协议，包括例如ble或其他近场通信(nfc)协议。
30.网络125示出了本公开的各种实施例中讨论的已连接装置可以在其中进行通信的示例性通信基础设施。网络125可以是和/或包括互联网、专用网络、公共网络或使用任一种或多种已知的通信协议操作的其他配置，所述已知的通信协议诸如例如传输控制协议/互联网协议(tcp/ip)、基于电气和电子工程师协会(ieee)标准802.11的wi-fi、超宽带(uwb)、以及蜂窝技术，诸如时分多址(tdma)、码分多址(cdma)、高速分组接入(hspda)、长期演进(lte)、全球移动通信系统(gsm)和第五代(5g)，仅举几个示例。
31.根据本公开，汽车计算机145可以安装在车辆105的发动机舱中(或车辆105中的其他地方)并且可以充当bmi系统107的功能部分。汽车计算机145可以包括一个或多个处理器150和一个计算机可读存储器155。
32.一个或多个处理器150可以被设置成与被设置成与相应的计算系统进行通信的一个或多个存储器装置(例如，存储器155和/或一个或多个外部数据库)进行通信。处理器150可利用存储器155来以代码存储程序和/或存储数据以执行根据本公开的各方面。存储器155可以-是存储bmi程序代码的非暂时性计算机可读存储器。存储器155可以包括易失性存储器元件(例如，动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)等)中的任何一者或组合，并且可以包括任何一个或多个非易失性存储器元件(例如，可擦除可编程只读存储器(eprom)、快闪存储器、电子可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)等)。
33.vcu 165可以共享电力总线178，并且可以被配置和/或编程为协调车辆105系统、连接的服务器(例如，服务器170)和充当车辆车队的一部分的其他车辆之间的数据。vcu 165可以包括ecu 117(诸如例如车身控制模块(bcm)193、发动机控制模块(ecm)185、变速器控制模块(tcm)190、tcu 160、车身和网络通信控制器(bancc)187等)的任何组合或与其通信。在一些方面，vcu 165可以控制车辆105的各方面，并且实施从在移动装置120上操作的
应用135接收的一个或多个指令集、从bmi系统107接收的一个或多个指令集和/或从dat控制器199接收的指令。
34.tcu 160可以被配置和/或编程为向车辆105上和外的无线计算系统提供车辆连接性，并且可包括用于接收和处理来自gps 175的gps信号的导航(nav)接收器188、低功耗(ble)模块(blem)195、wi-fi收发器、超宽带(uwb)收发器和/或可配置为用于在车辆105与其他系统、计算机和模块之间的无线通信的其他无线收发器。tcu 160可以被设置成通过总线180与ecu 117进行通信。在一些方面中，tcu 160可以检索数据并作为can总线中的节点发送数据。
35.blem 195可以使用知bluetooth low-通信协议通过广播和/或监听小广告包的广播并且与根据本文所述的实施例配置的响应装置建立连接来建立无线通信。例如，blem 195可以包括用于响应或发起通用属性配置文件(gatt)命令和请求的客户端装置的gatt装置连接性，并且可以与移动装置120和/或一个或多个钥匙(其可以包括例如钥匙扣179)直接连接。
36.总线180可以被配置为以多主控串行总线标准组织的控制器局域网(can)总线，以用于使用基于消息的协议连接作为节点的ecu 117中的两者或多者，所述基于消息的协议可以被配置和/或编程为允许ecu 117彼此通信。总线180可以为或包括高速can(其可在can上具有高达1mb/s的位速度、在can灵活数据速率(can fd)上具有高达5mb/s的位速度)，并且可包括低速或容错can(高达125kbps)，在一些配置中，其可使用线性总线配置。在一些方面，ecu 117可以与主机计算机(例如，汽车计算机145、bmi系统107和/或服务器170等)通信，并且还可以彼此通信而不必需要主机计算机。总线178可以将ecu 117与汽车计算机145连接，使得汽车计算机145可以从ecu 117检索信息、向所述ecu发送信息以及以其他方式与所述ecu交互，以执行根据本公开的实施例所述的步骤。总线180可以通过两线式总线将can总线节点(例如，ecu 117)彼此连接，所述两线式总线可以是具有标称特性阻抗的双绞线。总线180也可以使用其他通信协议解决方案(诸如面向媒体的系统传输(most)或以太网)来实现。在其他方面中，总线180可以是无线车内总线。
37.vcu 165可以经由总线180通信来直接控制各种负荷或者可以结合bcm 193实施这种控制。关于vcu 165所述的ecu 117仅出于示例性目的而提供，并且不意图是限制性的或排他性的。对其他控制模块的控制和/或与所述其他控制模块的通信是可能的，并且预期这类控制。
38.在示例性实施例中，ecu 117可使用来自人类驾驶员的输入、来自自主车辆控制器的输入、bmi系统107和/或经由通过无线信道133从其他连接的装置(诸如移动装置120等)所接收的无线信号输入来控制车辆操作和通信的各方面。当被配置为总线180中的节点时，ecu 117各自可包括中央处理单元(cpu)、can控制器和/或收发器。例如，尽管图1中将移动装置120描绘为经由blem 195连接到车辆105，但是也可能和设想，也可或替代地经由与模块相关联的相应的收发器在移动装置120与ecu 117中的一者或多者之间建立无线连接133。
39.bcm 193通常包括传感器、车辆性能指示器以及与车辆系统相关联的可变电抗器的集成，并且可以包括基于处理器的配电电路，所述配电电路可以控制与车身(诸如灯、窗、安全装置、门锁和访问控制)相关联的功能以及各种舒适性控制。bcm 193还可以充当总线
和网络接口的网关，以与远程ecu进行交互。
40.bcm 193可以协调各种车辆功能性中的任一种或多种功能，包括能量管理系统、警报、车辆防盗器、驾驶员和乘坐者进入授权系统、手机即钥匙(paak)系统、驾驶员辅助系统、av控制系统、电动窗、门、致动器以及其他功能性等。bcm 193可以被配置用于车辆能量管理、外部照明控制、雨刮器功能性、电动窗和门功能性、供暖通风和空调系统以及驾驶员集成系统。在其他方面中，bcm 193可以控制辅助设备功能性，和/或负责集成此类功能性。
41.在一些方面中，车辆105可以包括一个或多个车门入口面板(dap)，其设置在车门198的外部车门表面上并且与dap控制器连接。在一些方面中，用户140可以通过在与车辆相关联的界面上键入个人标识号码(pin)来选择进入车辆。用户界面可以被包括作为车门入口面板(dap)界面、无线小键盘、移动装置或其他界面的一部分。可以被包括作为bancc 187或ecu 117中的另一者的一部分的dap系统可以包括和/或连接界面，共乘乘客(或诸如用户140之类的任何其他用户)可以通过所述界面输入标识凭证并从系统接收信息。一方面，所述界面可以是或包括设置在车门198上的dap 191，并且可以包括界面装置，用户可以通过所述界面装置通过从列表中选择他们的唯一标识符并通过输入个人标识号码(pin)以及其他非个人标识信息来与系统交互。在一些实施例中，界面可以是移动装置、小键盘、无线或有线输入装置、车辆信息娱乐系统等。因此，应当理解，尽管关于本文的实施例描述了dap，但是界面可以替代地是上述一种或多种其他类型的界面。
42.关于图5更详细地描述的bancc 187可以包括传感和处理器功能性以及硬件以促进用户和装置认证，并且提供为车辆乘员提供定制体验的乘员定制和支持。
43.bancc 187可以与dat控制器199连接，所述dat控制器被配置和/或编程为提供生物特征认证控制，所述生物特征认证控制包括例如面部识别、指纹识别、语音识别和/或与对其他人为因素(诸如步态识别、体热特征、眼睛跟踪等)的表征、标识和/或验证相关联的其他信息。在一些示例性实施例中，vcu 165可以利用dat控制器199来从设置在车辆内部和/或外部的传感器获得传感器信息，并且表征传感器信息用于标识存储在车辆105上和/或经由服务器170的安全生物特征数据仓库中的生物特征标记。在其他方面中，dat控制器199还可以被配置和/或编程为控制1级和/或2级驾驶员辅助。dat控制器199可以连接和/或包括车辆感知系统(vps)186，所述车辆感知系统可以包括内部和外部传感系统(关于图5更详细地描述)。传感系统可以被配置和/或编程为获得可用于生物特征认证的传感器数据。
44.在图2所描绘的实施例中，车辆105可以包括1级、2级或3级dat控制器199。汽车计算机145可以控制来自经由bmi装置108操作bmi解码器144的bmi系统107的输入，操作来自用户(例如，用户140)的对神经数据的连续数据馈送，并且确定针对来自连续神经数据馈送的底盘控制命令的用户意图。汽车计算机145、vcu 165和/或bmi系统107的计算系统架构可以省略某些计算模块。应容易理解，图1中描绘的计算环境是根据本公开的可能的实现方式的示例，并且因此不应被视为限制性的或排他性的。
45.当bmi装置108被训练并根据特定用户的神经活动进行调谐时，解译来自用户大脑的运动皮层的神经数据是可能的。训练程序(关于图4更详细地讨论)可以包括系统地映射由训练计算机系统观察并记录的连续神经数据馈送。
46.图2示出了根据本公开的可用于控制车辆105的汽车控制系统200的示例性架构的功能示意图。控制系统200可以包括bmi系统107和车辆控制硬件，所述bmi系统可以被设置
成与汽车计算机145通信，所述车辆控制硬件包括例如发动机/马达215、驾驶员控制部件220、车辆硬件225、传感器230和移动装置120以及其他部件。
47.传感器230可以包括被配置或编程为生成信号的任何数量的装置，在车辆105以自主模式操作时，所述信号帮助为车辆导航。自主驾驶传感器230的示例可包括：无线电探测和测距(radar或“雷达”)传感器，其被配置用于使用无线电波检测和定位物体；光探测和测距(lidar或“激光雷达”)传感器；视觉传感器系统，其具有轨迹、障碍物检测、物体分类、增强现实和/或其他能力；和/或类似物。当车辆105在以自主模式操作时，自主驾驶传感器230可以帮助所述车辆“看到”道路和车辆周围环境，和/或绕过各种障碍物。
48.汽车计算机145可以从经由bmi装置108操作bmi解码器144的bmi系统107接收控制输入，操作来自用户(例如，用户140)的对神经数据的连续数据馈送，并且确定针对来自连续神经数据馈送的底盘控制命令的用户意图。bmi装置108可以包括被设置成与计算机可读存储器149和人机界面(hmi)146通信的一个或多个处理器148。存储器149可以包括用于bmi解码器144的可执行程序代码。
49.当bmi装置108被训练并根据特定用户的神经活动进行调谐时，解译来自用户大脑的运动皮层的神经数据是可能的。训练程序可以包括对从所述用户获得的连续神经数据馈送进行系统映射，其中当用户向训练计算机系统提供手动输入时，并且更具体地当用户提供对指针的控制时，数据馈送提供与用户大脑活动相关联的定量值。训练计算机系统可以在用户通过控制指针并生成可以处理连续数据馈送并标识与控制功能相关联的神经皮层活动的相关模型而执行与车辆操作相关联的行动时形成神经皮层活动图案(例如，相关模型)的关联。
50.bmi解码器144可以根据对神经数据的连续数据馈送通过将针对底盘输入的用户意图与dat控制功能进行匹配来确定所述用户意图。bmi系统107可以使用训练后的相关模型来形成这种关联，并且进一步评估对神经数据的连续数据馈送以确定用户参与度值。bmi系统107还可以从dat控制器199接收指示肌肉运动的第二连续数据馈送。当驾驶员准备使用脚压在加速踏板上进行制动动作时，肌肉运动可以是轻微动作，诸如驾驶员的小腿肌肉的抽动。尽管动作是轻微的，但是在一个实施例中，内部传感系统305可以使用内部传感系统(例如，如图3所示的内部传感系统305)来观察用户的动作，所述内部传感系统可以包括相机传感器、压电传感器、惯性测量单元和/或其他传感器。应当理解，在常规的用户意图检测系统中，仅相机数据可能无法提供对与底盘控制意图相关联的移动的充分指示。然而，如以下部分中所解释的，使用包括与即将发生的肌肉运动相关联以执行底盘输入的神经命令信号的第一连续数据馈送加上对从dat控制器199接收的移动的辅助传感器指示的组合，bmi系统107可以确定底盘输入意图并基于底盘输入意图来执行底盘控制命令。因此，bmi系统107可以将指令发送到dat控制器199。当被配置有使用训练过的相关模型的训练过的bmi装置时，dat控制器199可以通过执行车辆操作的一些方面并通过根据特定用户偏好配置dat系统来提供车辆控制。
51.图3描绘了根据实施例的用于使用bmi系统107和dat控制器199控制车辆的示例性实施例的流程图300。将继续参考图1和图2中描绘的元件来描述图3。
52.流程图300描述了将脑机接口(bmi)装置108与传统的驾驶员状态监测和底盘输入传感器(例如，内部传感系统305)组合以更稳健地计算驾驶员意图的传感器融合方法。流程
图300描述了bmi系统107在用户驾驶车辆105时监测用户的神经皮层活动以提供可以辅助驾驶员的dat控制命令的辅助和抢先配置的过程。bmi装置108可以通过人机界面装置146测量神经活动，所述人机界面装置可以包括可植入式bmi(即，具有机器人假肢的那些用户将已经具有一个bmi)以及可以集成到头枕中的非接触式电场脑x光摄影术(efeg)装置。
53.根据一个实施例，bmi装置108可以基于以下两个输入来确定底盘输入意图340：连续数据馈送，所述连续数据馈送包括与即将发生的肌肉运动相关联以执行底盘输入的神经命令信号，以及(2)第二连续数据馈送，所述第二连续数据馈送指示预期的肌肉运动。第一连续数据馈送包括用户140在操作车辆105时的神经活动355。为了执行该功能，bmi装置108可以经由人机界面装置146(关于图1描述)监测用户140的运动皮层以标识何时即将发生肌肉运动，诸如手臂运动以抓住方向盘，或小腿肌肉运动以准备接合车辆制动系统。
54.第二连续数据馈送可以源自驾驶员辅助技术(dat)控制器199，所述dat控制器被设置为与bmi装置108通信以提供经由内部传感系统305获得的传感信息360。在一个实施例中，传感信息360可以源自车辆内部的相机馈送，其中观看方面示出了驾驶员操作车辆105的视图。bmi装置108可以确定与神经活动355一致的用户肌肉运动。所述传感信息可以包括来自压电传感器325的压电传感器信息、来自imu 310的惯性信息、来自车辆相机315的视频信息或诸如热成像信息、音频输入等其他传感信息。
55.通过将dat控制器对传感信息360的连续数据馈送与hmi装置146对神经活动355的连续数据馈送相组合，bmi装置108可以提供及时且精确的底盘输入意图计算，其可以由dat控制器使用以将制动增益偏置、将转向增益和传动比自适应偏置并减少抬头显示器(hud)上的不需要的警告通知。
56.bmi装置108还可以包括可以用于对底盘输入意图340进行偏置或加权的一个或多个辅助输入。辅助输入335可以包括盲点信息系统(elis)数据馈送、方向盘、制动踏板等的角速度的测量值、力信息、转速信息和惯性测量值以及其他可能性。如果驾驶员选择使用具有表面电极的可穿戴装置(诸如健身跟踪器或智能短袜/鞋子)，则该数据也可以作为对基于是否检测到此类装置而调整权重的神经网络的输入被馈送到bmi装置108中。辅助输入335可以为评分计算提供附加的准确性以确保进行适当的分数计算。
57.bmi系统107可以为其提供控制辅助的底盘控制命令的一个方面可以包括制动增益。鉴于底盘控制输入，制动增益可以与施加到车辆制动器的制动力的程度相关联。在一个实施例中，bmi系统107可以确定驾驶员意图并评估环境方面以分配输入意图分数345。为了确定驾驶员意图，经过标记的bmi训练的训练过的神经网络(例如，训练过的相关模型330)可以接收可以包括眼睛注视、头部姿态等的驾驶员状态监测(dsm)信号，并且结合底盘输入(制动踏板致动、油门踏板致动和转向控制输入)使用dsm信号来评估输入、相对力和与输入相关联的时间因子，以提供可以指示相应输入的相对重要性的输入权重。bmi装置108可以输出输入意图分数345。在一个示例中，在底盘输入意图是制动器致动的情况下，输入意图分数345可以包括1至5之间的制动意图分数，其中1是最小意图(例如，具有无制动输入的低腿部运动皮层参与)，而5是最大意图(例如，具有制动器接合和正确的眼睛注视的高腿部运动皮层参与)。
58.在另一个实施例中，在底盘输入意图指示用户140意图进行转向调整的情况下，bmi装置108可以通过经由bmi、dsm信号(例如，眼睛注视以及其他可能性)以及包括例如底
盘输入(例如，制动踏板、油门踏板和转向输入)的辅助输入335训练相关模型神经网络来计算转向意图。在第二示例中，在底盘输入意图是转向致动的情况下，输入意图分数345可以包括1至5之间的分数，其中1指示最小意图(例如，眼睛注视在视线外的手臂运动皮层参与)，而5指示最大意图(例如，具有方向盘输入和正确注视的高臂部运动皮层参与)。
59.对于并入有自适应个人配置文件的车辆，可以基于制动踏板使用的历史记录来连续地更新驾驶员意图模型，所述历史记录可以由dat记录在持久性计算机存储器中。历史记录可以提供针对与制动踏板使用相关联的强化学习算法的数据输入，所述强化学习算法可以包括在预测的制动增益导致最小制动踏板速度(即，驾驶员针对给定意图将制动踏板保持在同一点)时提供奖励以及在预测的增益导致踏板位置显著变化时提供负奖励。
60.在其他方面中，类似的强化学习模型可以改善转向传动比和转向增益操作。例如，在支持自适应用户配置文件的车辆中，将基于如何记录转向使用来连续更新驾驶员意图模型。这包括当预测的增益和传动比导致最小的方向盘角速度(例如，驾驶员必须提供最小的输入来完成操纵)时提供奖励以及当预测的增益和传动比导致显著的角速度值时提供负奖励。
61.图4示出了根据本公开的实施例的示例性bmi训练系统400。bmi训练系统400可以包括神经数据采集系统405、带有数字信号处理(dsp)解码的训练计算机415以及应用编程接口(api)435。
62.当用户执行与车辆操作相关联的练习时，系统400可以形成针对神经皮层活动图案的关联。训练计算机415可以经由人机界面装置146(如图1所示)从用户获得连续馈送，其中数据馈送提供与用户大脑活动相关联的定量值，因为用户410在模拟的驾驶活动期间提供手动底盘输入，并且训练计算机系统观察与各种模拟的(或实际的)底盘输入相关联的神经响应。然后，训练计算机系统可以生成相关模型，所述相关模型可以处理连续数据馈送并标识与为了准备执行各种底盘输入(例如，转向、制动、加速等)而进行的肌肉运动相关联的神经皮层活动。
63.为了确定驾驶员的意图，bmi解码器144可以根据对神经数据的连续数据馈送通过将针对底盘输入的用户意图与观察到的神经活动进行匹配来确定所述用户意图。bmi系统107可以使用训练过的相关模型330(如图3所示)来形成这种关联，并且进一步评估对神经数据的连续数据馈送以确定或估计与大脑活动和肌肉运动相关联的用户意图。
64.神经数据采集系统405和训练计算机415可以是和/或包括来自传统神经桥接系统的部件。常规神经桥接系统的一个这样的示例在标题为“面向智能车辆系统控制的模块化脑机接口-a carla演示(towards a modular brain-machine interface for intelligent vehicle systems control-a carla demonstration)”(dunlap等人在2019年在ieee系统、人与控制论(smc)国际会议(2019年10月5日)上提出)的公开案中进行了描述，该公开案以引用方式并入本文。
65.强化学习是一种机器学习技术，其可以用于在特定情况下采取使奖励最大化的合适动作，使得机器学习找到在特定情况下采取的最佳行为或路径。更具体地，如果补偿后的姿势识别提供了预期命令，则系统300可以使用奖励函数给予奖励。该奖励可以使得bmi训练系统300能够包括最新的偏移数据以获得更大公差。相反，如果补偿后的神经输出未生成预期的姿势识别，则系统300可以减小姿势识别上的奖励函数容限，并且要求驾驶特征暂停
预定的时间段。
66.例如，假设转向积极改变(例如，相对较高的方向盘角速度)(其中驾驶员施加较低的相对力/力量使车辆转向)与正奖励相关联。系统300可以使用这里定义的误差函数来每几个样本确定猜测是否正确。例如，如果运动最初如预期那样开始，则在允许的阈值(如由神经发射图案的运动偏移或相关系数所定义)内出现的误差缓慢增加，系统300可以给予正奖励以保持姿势。在累积足够多奖励之后，系统300可以将新的姿势状态添加到解码器以定义用户的姿势在长时间使用之后偏离的程度。添加的新的姿势状态可以在下一次用户执行命令时减小误差函数以改善用户体验。
67.相反，如果误差函数超过阈值，则系统300可以应用负奖励。如果这下降到低于给定阈值，则系统300可以假设用户没有做出预期姿势，并且提供不再识别姿势的通知。如果用户针对给定的预测用例(如例如，动机命令)做出相同的不正确姿势，则系统300可以通知用户：系统300正在被更新以将此新行为作为预期输入。这可以替代地根据询问用户是否希望系统被训练为新行为的提示而完成。
68.该奖励函数可以理想上考虑预测的姿势值、误差值和先前的输入历史，以便动态地更新系统。预测的姿势值、误差值和输入历史可以用于建立以半监督方式操作的反馈系统。换句话说，系统300可以首先训练奖励函数，然后基于奖励分数预测预期行为以随时间推移更新模型。
69.通过简单的概述，以下段落将为一种使用bmi训练系统400来训练bmi系统107的示例性方法提供一般描述。一方面，用户410可以与手动输入装置412交互，并向bmi训练系统提供输入。bmi训练系统400可以基于用户输入生成解码模型以用于解译与该特定用户相关联的神经皮层大脑活动。例如，bmi训练系统400可以在训练计算机440的显示装置上呈现指针438。用户410可以使用手动输入装置412提供手动输入，其中手动输入包括在训练计算机440的显示装置上移动指针438。一方面，用户410可以在操作驾驶模拟程序时提供这些手动控制输入。当用户410执行手动输入时，bmi训练系统400还可以使用神经数据采集系统405来获得神经数据。bmi训练系统400可以收集神经数据(例如，原始数据输入)并执行比较程序，由此用户410执行用户身体姿势450的想象的移动(这可以包括想象使用输入臂454)，并且其中所述想象的输入可以包括手闭合、手打开、前臂旋前、前臂旋后和手指弯曲。一些实施例可以包括在神经数据采集系统405从指示用户410的大脑活动的连续神经数据馈送中获得原始信号数据的同时执行比较程序。
70.获得连续神经数据馈送可以包括经由训练计算机440从微电极阵列446接收作为解码器值的时间序列的神经数据输入。例如，神经数据采集系统405可以通过以预定速率(例如，每100毫秒4个解码器值、每100毫秒2个解码器值、每100毫秒10个解码器值等)对连续数据馈送进行采样来获得神经数据。bmi训练系统400可以生成使连续神经数据馈送与底盘控制命令相关的相关模型。bmi训练系统可以将解码器值425保存到计算机存储器430中，然后经由数字信号处理器420使用脉宽调制和其他dsp技术将解码器值转换为运动皮层映射数据。bmi解码器144可以将数据映射到车辆控制的各方面，诸如例如速度和转向控制命令。
71.微电极阵列446可以被配置为接收从用户410收集的神经皮层活动的连续神经数据。例如，神经数据可以响应于在用户410想象与车辆控制相关联的特定身体运动和/或执
行意在表示这种控制的手动身体运动时从用户的大脑接收的神经活动而产生。在一种示例性程序中，可以将由用户想象的运动映射为将状态递增到下一个连续状态(例如，从低速到中速)。另一方面，可以将由用户想象的移动映射为将状态递减到下一个连续状态(例如，递增操作的反向动作)。在另一个示例中，用户可以想象用于使车辆进入特定状态或状态组合(例如，在轻微右转向功能期间的低速度)的移动。
72.用户410可以是如图1所示的同一用户，所述用户可以利用训练后的bmi系统107来操作车辆，其中训练程序是特定于所述特定用户的。另一方面，训练程序可以提供将连续神经数据馈送与车辆控制功能相关的相关模型，其中广义相关模型将广义神经皮层处理功能应用于更广泛的可能的神经图案阵列。在这方面，任何用户都可以通过一些有限的调谐和训练而容易地采用广义模型。预期用于产生广义模型的一种方法可以包括例如使用包括深度神经网络相关模型开发的机器学习技术。
73.微电极阵列446可以被配置为从用户410的初级运动皮层获得神经数据，所述数据是通过侵入性或非侵入性神经皮层连接采集的。例如，一方面，用于神经数据采集的侵入性方式可以包括植入式96通道皮质内微电极阵列，其被配置为通过端口接口(例如，接口，目前可通过美国犹他州盐湖城黑石微系统公司(blackrock microsystems)获得)进行通信。在另一个示例性实施例中，使用非侵入性方法，微电极阵列346可以包括多个无线接收器，这些无线接收器使用电场脑x光摄影术(efeg)装置无线地测量脑位电场。
74.训练计算机415可以经由无线或有线连接(例如，使用以太网到pc连接)从神经数据采集系统405接收连续神经数据馈送。在一个示例性实施例中，训练计算机415可以是运行基于的信号处理和解码算法的工作站。其他数学处理和dsp输入软件是可能的并且是预期的。bmi训练系统可以生成相关模型，所述相关模型使用支持向量机(svm)学习算法(libsvm)使连续神经数据馈送与车辆控制功能相关，以将神经数据分类为手指/手/前臂移动(旋后、旋前、手打开、手闭合和手指弯曲)。
75.手指移动、手移动和前臂移动(在下文统称为“手移动450”)可以针对其在表示车辆驾驶控制(分别为向右转弯、向左转弯、加速和减速)方面的直觉性而由用户选择。例如，bmi训练系统可以包括输入程序，所述输入程序被配置为提示用户410执行表示右转的姿势，并且bmi训练系统可以记录与响应的用户输入相关联的手动输入和神经皮层大脑活动。解码的手移动可能已经作为手动画的移动显示给用户。另一方面，bmi训练系统可以包括神经肌肉电刺激器系统，用于获得神经活动的反馈，并基于用户的运动意图向用户410提供反馈。
76.在一些方面中，bmi训练系统400可以将神经数据转换为与一个或多个车辆控制功能相关联的车辆控制命令指令。在一个示例性实施例中，bmi训练系统400可以将用户意图与和用户意图相关联的底盘输入控制命令进行匹配用于车辆控制动作。车辆控制动作可以是例如转向功能，其可以包括使车辆转弯预定量(例如，其可以相对于前向方向位置以度为单位进行测量)，或者可以是可包括改变车辆的速度的车辆功能。
77.图5示出了根据本公开的生物特征认证和乘员监测系统500的功能示意图，所述生物特征认证和乘员监测系统可以用于使用生物特征信息、bmi系统107提供车辆控制并用于为车辆105提供用户支持和定制。
78.生物特征认证和乘员监测系统500可以认证来自经peps配置的装置(诸如移动装
置120、诸如钥匙扣179之类的无源钥匙装置)的无源装置信号，并且使用生物特征信息和其他人为因素提供车辆进入和信号认证。生物特征和乘员监测系统500还可以提供用户支持和定制以增强用户对车辆105的体验。认证和乘员监测系统500可以包括bancc 187，所述bancc可以被设置为与dat 199、tcu 160、blem 195和多个其他车辆控制器501通信，所述车辆控制器可以包括车辆传感器、输入装置和机构。多个其他车辆控制器501的示例可以包括：一个或多个宏电容器505，所述一个或多个宏电容器可以发送车辆唤醒数据506；门把手196，所述门把手可以发送peps唤醒数据507；nfc读取器509，所述nfc读取器发送nfc唤醒数据510；dap 191，所述dap发送dap唤醒数据512；点火开关513，所述点火开关可以发送点火开关致动信号516；和/或制动开关515，所述制动开关可以发送制动开关确认信号518；以及其他可能部件。
79.dat控制器199可以包括和/或连接被设置成经由传感器输入/输出(i/o)模块与dat控制器199通信的生物特征识别模块597。bancc 187可以与dat控制器199连接以提供生物特征认证控制，包括例如面部识别、指纹识别、语音识别和/或与针对其他人为因素(诸如步态识别、体热特征、眼睛跟踪等)的表征、标识和/或验证相关联的其他信息。
80.dat控制器199可以被配置和/或编程为提供针对车辆105的生物特征认证控制，包括例如面部识别、指纹识别、语音识别和/或与对其他人为因素(诸如步态识别、体热特征、眼睛跟踪等)的表征、标识、乘员外表、乘员状态和/或验证相关联的其他提供认证信息。dat控制器199可以从外部传感系统581获得传感器信息，所述外部传感系统可以包括设置在车辆外部和设置在可与车辆105连接的装置(诸如移动装置120和/或钥匙扣179)中的传感器。
81.dat控制器199可以进一步与内部传感系统305连接，所述内部传感系统可以包括配置在车辆内部(例如，车厢，其未在图5中描绘)的任何数量的传感器。外部传感系统581和内部传感系统305可以连接和/或包括一个或多个惯性测量单元(imu)584、相机传感器585、指纹传感器587和/或其他传感器589，并且获得生物特征数据可用于表征传感器信息用于标识存储在车辆105上的安全生物特征数据仓库中的生物特征标记。dat控制器199可以经由传感器i/o模块503从内部传感系统305和外部传感系统581获得传感器数据，所述传感器数据可以包括外部传感器响应信号579和内部传感器响应信号575(统称为传感数据590)。dat控制器199(并且更具体地，生物特征识别模块597)可以表征传感数据590，生成乘员外表和状态信息563，并将信息转发到乘员管理器525，所述信息可以由bancc 187根据所描述的实施例进行使用。
82.内部传感系统305和外部传感系统581可以分别响应于内部传感器请求消息573和外部传感器请求消息577而提供从外部传感系统581和内部传感系统305获得的传感数据579和575。传感数据579和575可以包括来自传感器584-589中的任一者的信息，其中外部传感器请求消息577和/或内部传感器请求消息573可以包括相应的传感器系统将要用来获得传感数据的传感器模态。
83.相机传感器585可以包括热感相机、光学相机和/或具有光学、热感或其他感测能力的混合相机。热感相机可以提供相机的视野内的对象的热信息，包括例如相机帧中的对象的热图。光学相机可以提供相机帧内的目标的彩色和/或黑白图像数据。相机传感器585还可以包括静态成像，或者将一系列采样数据(例如，相机馈送)提供给生物特征识别模块597。
84.imu 584可以包括陀螺仪、加速度计、磁力计或其他惯性测量装置。指纹传感器587可以包括被配置和/或编程为获得指纹信息的任何数量的传感器装置。指纹传感器587和/或imu 584还可以与无源钥匙装置(诸如例如移动装置120和/或钥匙扣179)集成和/或与其通信。指纹传感器587和/或imu 584也可以(或替代地)设置在车辆外部空间(诸如发动机舱、门板等)上。在其他方面中，当与内部传感系统305包括在一起时，imu 584可以集成在设置于车厢内或另一个车辆内表面上的一个或多个模块中。
85.生物特征识别模块597可以被设置成与一个或多个面部识别外部反馈显示器590通信，所述一个或多个面部识别外部反馈显示器可以充当用户界面，所述用户界面可供车辆105外部的用户140访问以提供与本文所述的面部识别过程相关联的面部识别反馈信息569。生物特征识别模块597还可以与一个或多个指纹外部反馈显示器592连接，所述一个或多个指纹外部反馈显示器可以执行与本文描述的指纹识别过程相关联的类似通信功能，包括向可供车辆105外部的用户140访问的指纹外部反馈显示器592提供指纹认证反馈信息571(也与指纹外部反馈显示器592结合称为“反馈显示器”)。应当理解，反馈显示器590和/或592可以是和/或包括设置在车辆、移动装置120、钥匙扣192和/或某一其他有线或无线装置上的固定i/o或其他显示器。
86.bancc 187可以包括认证管理器517、个人配置文件管理器519、命令和控制模块521、授权管理器523、乘员管理器525和电力管理器527以及其他控制部件。
87.认证管理器517可以将生物特征密钥信息554传送到dat 599。生物特征密钥信息可以包括指示内部传感系统305和/或外部传感系统581用来获得传感数据的特定模态的生物特征模式更新。生物特征密钥信息554还可以包括对从生物特征识别模块597接收的通信的确认、认证状态更新(所述认证状态更新包括例如与用户生物特征数据相关联的生物特征索引)、安全信道信息、生物特征位置信息和/或其他信息。在一些方面中，认证管理器517可以从生物特征识别模块597接收生物特征密钥管理请求556和其他响应消息，其可以包括例如生物特征模式消息响应和/或其他确认。
88.认证管理器517还可以与tcu 160连接，并且将指示用户140的生物特征认证状态、对密钥信息的请求、配置文件数据和其他信息的生物特征状态有效负荷信息541传送到tcu 160。tcu 160可以经由网络125向服务器170发送和/或转发数字密钥有效负荷591，并从服务器170接收数字密钥状态有效负荷593并将可包括生物特征信息有效负荷543的响应消息和/或命令提供给认证管理器517。
89.此外，认证管理器517可以根据本公开中描述的实施例被设置成与blem 195和/或其它车辆控制器和系统501通信。例如，blem 195可以发送paak唤醒消息或指示一个或多个部件应从低功率模式转变到就绪模式的另一个发起信号。
90.认证管理器517还可以与个人配置文件管理器519和电力管理器527连接。个人配置文件管理器519可以执行与用户配置文件相关联的数据管理，所述用户配置文件可以存储在汽车计算机145中和/或存储在服务器170上。例如，认证管理器517可以将乘员座椅位置信息529发送到个人配置文件管理器519，所述乘员座椅位置信息可以包括指示车辆105的乘客的优选和/或分配的座椅的座椅位置索引。个人配置文件管理器519可以更新就座索引、删除并创建配置文件以及执行与个性化用户配置文件管理相关联的其他管理职责。
91.电力管理器527可以从认证管理器517接收电力控制命令545，其中电力控制命令
与生物特征认证装置管理相关联，包括例如引起生物特征识别模块597和/或dat 199从低功率(待机模式)状态转变到较高功率(例如，活动模式)状态的装置唤醒。电力管理器527可以响应于控制命令545而向认证管理器517发送电力控制确认551。例如，响应于从认证管理器517接收的电力和控制命令545，电力管理器527可以生成电力控制信号565并将电力控制信号发送到生物特征识别模块。电力控制信号565可以使生物特征识别模块改变电力状态(例如，唤醒等)。生物特征识别模块可以向电力管理器527发送指示电力控制信号565完成的电力控制信号响应567。
92.认证管理器517和/或个人配置文件管理器519可以进一步与命令和控制模块521连接，所述命令和控制模块可以被配置和/或编程为管理用户许可级别，并控制车辆访问接口以用于与车辆用户对接。命令和控制模块521可以是和/或包括例如关于图1描述的bcm 193。例如，认证管理器517可以发送命令和控制认证信息531，所述命令和控制认证信息使命令和控制模块521根据装置、信号、用户等的成功或不成功认证来致动一个或多个装置。命令和控制模块521可以将确认和其他信息(包括例如车辆锁状态533)发送到认证管理器517。
93.乘员管理器525可以与认证管理器517连接，并且将指示车辆105中的乘员变化的乘员变化信息557传送到认证管理器517。例如，当乘员进入和离开车辆105时，乘员管理器525可以更新乘员索引，并将乘员索引作为乘员变化信息557的一部分传输到认证管理器。乘员管理器525还可以从认证管理器517接收座椅索引559，所述座椅索引可以对座椅布置、位置、偏好和其他信息进行索引。
94.乘员管理器525还可以与命令和控制模块521连接。命令和控制模块521可以从乘员管理器525接收自适应车辆控制信息539，所述自适应车辆控制信息可以传送和/或包括车辆媒体设置、座椅控制信息、乘员装置标识符和其他信息的设置。
95.乘员管理器525可以被设置成与dat控制器199通信，并且可以将生物特征模式更新信息561传送到生物特征识别模块597，所述生物特征模式更新信息可以包括用于利用来自内部传感系统305和/或外部传感系统581的生物特征数据集合的特定模态的指令和命令。乘员管理器525还可以从生物特征识别模块597接收乘员状态更新信息和/或乘员外表更新信息(在图5中共同示出为信息563)。
96.图6是根据本公开的用于使用脑机接口(bmi)装置控制车辆的示例性方法600的流程图。可继续参考包括图1-图5的先前附图来描述图6。以下过程是示例性的，并且不限于下文描述的步骤。此外，替代实施例可以包括比本文示出或描述的更多或更少的步骤，并且可以与以下示例性实施例中描述的顺序不同的顺序包括这些步骤。
97.参考图6，在步骤605处，方法600可以开始于经由bmi装置接收第一连续数据馈送，所述第一连续数据馈送包括与即将发生的肌肉运动相关联以执行底盘输入的神经命令信号。
98.在步骤610处，方法600还可以包括从驾驶员辅助技术(dat)控制器接收指示肌肉运动的第二连续数据馈送。
99.在步骤615处，方法600还可以包括基于第一连续数据馈送和第二连续数据馈送来确定底盘输入意图。另一个实施例还可以包括确定底盘输入意图；基于底盘输入意图分数来确定转向传动比和增益值；以及基于转向传动比和增益值来设置转向传动比和增益。
100.在步骤620处，方法600还可以包括基于底盘输入意图来执行底盘控制命令。该步骤可以包括基于底盘输入意图分数来生成与底盘输入意图相关联的警告通知。该步骤还可以包括基于底盘输入意图分数来确定制动增益，以及基于制动增益设置来改变制动增益值。
101.该步骤还可以包括接收辅助输入，所述辅助输入包括车道居中信号、盲点信息系统信号和角速度信号中的一者或多者，基于辅助输入和底盘输入意图分数来改变转向传动比和增益值，以及基于转向传动比和增益值来执行底盘控制命令。
102.一方面，所述方法还可以包括计算底盘输入意图分数，所述底盘输入意图分数指示与底盘输入意图相关联的强度水平；以及基于底盘输入意图分数来执行底盘控制命令。
103.在以上公开内容中，已经参考了形成本公开的一部分的附图，所述附图示出了可以实践本公开的具体实现方式。应当理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括所述特定特征、结构或特性。此外，此类短语不一定指相同的实施例。此外，当结合实施例描述特征、结构或特性时，本领域技术人员将结合其他实施例认识到此类特征、结构或特性，而无论是否明确描述。
104.此外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域技术人员将理解的，部件可以用不同的名称来指代。本文件不意图区分名称不同但功能相同的部件。
105.还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地，如本文所使用的词语“示例”指示若干示例当中的一个示例，并且应当理解，没有过分强调或偏好针对所描述的特定示例。
106.计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。计算装置可包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行并且存储在计算机可读介质上。
107.关于本文所描述的过程、系统、方法、启发法等，应理解，尽管已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可以用以与本文所描述的次序不同的次序执行的所描述步骤来实践。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
108.因此，应当理解，以上描述意图是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并预期本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入到此类未来实施例中。总而言之，应当理解，本技术能够进行修改和变化。
109.除非在本文中做出明确的相反指示，否则权利要求中使用的所有术语意图被赋予其如本文中描述的技术领域的技术人员所理解的普通含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的元件中的一者或多者。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能”、“可以”、“可能”或“可能会”等条件语言一般意图表达某些实施例可以包括某些特征、元件和/或步骤，而其他实施例可能会不包括某些特征、元件和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
110.根据本发明的一个实施例，所述处理器还被编程为执行所述指令以：接收辅助输入，所述辅助输入包括车道居中信号、盲点信息系统信号和角速度信号中的一者或多者；基于所述辅助输入和所述底盘输入意图分数来改变转向传动比和增益值；以及基于所述转向传动比和增益值来执行所述底盘控制命令。
111.根据实施例，所述转向传动比和增益值是进一步基于用于方向盘位置的强化学习模型，所述模型包括针对减小方向盘角速度的奖励和针对增大所述方向盘角速度的负奖励。
112.根据实施例，所述处理器还被编程为执行所述指令以：接收辅助输入，所述辅助输入包括预碰撞辅助信号、防抱死制动信号和制动踏板位置信号中的一者或多者；基于所述辅助输入和所述底盘输入意图分数来改变制动增益值；以及基于所述制动增益值通过致动车辆制动器来执行所述底盘控制命令。
113.根据实施例，所述处理器还被编程为执行所述指令，其中所述制动增益值是进一步基于用于制动控制的强化学习模型，所述强化学习模型包括针对减小制动踏板速度的奖励和针对增大制动踏板速度的负奖励。
114.根据本发明，提供了一种车辆控制器中的非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有指令，所述指令在由处理器执行时使所述处理器：经由脑机接口(bmi)装置接收第一连续数据馈送，所述第一连续数据馈送包括与即将发生的肌肉运动相关联以执行底盘输入的神经命令信号；从驾驶员辅助控制器(dac)接收指示所述肌肉运动的第二连续数据馈送；基于所述第一连续数据馈送和所述第二连续数据馈送来确定底盘输入意图；以及基于所述底盘输入意图来执行底盘控制命令。