基于注意的通知的制作方法

1.各种实施方案通常涉及装置通知，并且更具体地涉及基于注意的通知。


背景技术：

2.车辆在操作期间可将不同信息片段递送到车辆的乘员，诸如驾驶员。所述信息可包括关于车辆和/或车辆内的子系统的状态的信息、关于车辆周围环境的信息、关于车载操作或娱乐的信息等。车辆可在视觉上、在听觉上或在触觉上将信息递送到乘员。
3.车辆进行视觉信息递送的常规方法通常包括点亮指示器和/或在显示器上显示警报或通知。这些方法的缺点在于，除非乘员与指示器或通知交互，否则车辆并不了解乘员是否实际注意到指示器或通知。例如，通知可提示乘员进行是/否响应输入，并且可在乘员进行输入之前保持显示。作为另一个实例，除非乘员取消通知，否则可无限期地显示通知。与指示器或通知的强制交互可能会使乘员从更重要的任务分心，所述更重要的任务诸如操作车辆或照料车辆的另一名乘员。
4.解决此缺点的尝试涉及检测乘员的眼睛注视的方向。例如，车辆可包括跟踪乘员的眼睛的相机系统。如果眼睛注视的方向与通知对准，则确定乘员已经对通知给予了注意。此方法的缺点在于，眼睛注视是一种用于确定注意的不可靠的标准。即使通知在乘员的焦点视野内，乘员也可能不会对所述通知给予任何注意。例如，乘员可能在幻想中，并且因此并未注意到处于焦点视野中的通知。作为另一个实例，在焦点视野中可存在多个通知。基于眼睛注视来确定对多个通知中的每个通知给予的注意可能很困难。
5.如前述内容示出的，需要的是用于确定对通知给予的注意的更有效的技术。


技术实现要素：

6.一个或多个实施方案阐述一种计算机实现的方法，其包括：致使第一视觉刺激以第一频率振荡；确定与用户特性相关联的第二频率；以及基于第二频率与第一频率不匹配的确定，致使执行一个或多个操作。
7.另外的实施方案尤其提供被配置来实现以上阐述的方法的一种系统以及一种或多种计算机可读存储介质。
8.所公开技术的至少一个优点和技术改进在于，计算系统(例如，车辆的计算装置)可确定对通知给予的注意或缺乏注意，而无需来自用户的交互响应。因此，所述计算系统可确定用户(例如，车辆的乘员)是否注意到所述通知，而不会使用户从其他任务分心。
附图说明
9.为了能够详细地理解各种实施方案的上述特征的方式，可通过参考各种实施方案来对以上简要概述的本发明概念进行更具体的描述，附图中示出了所述各种实施方案中的一些实施方案。然而应注意，附图仅示出本发明概念的典型实施方案，并且因此不应被视为以任何方式限制其范围，并且存在其他等效实施方案。
10.图1示出根据各种实施方案的一个或多个方面的车辆的计算系统的框图；
11.图2示出根据各种实施方案的一个或多个方面的可在车辆内呈现的示例性通知；
12.图3a至图3b示出根据各种实施方案的一个或多个方面的用于呈现基于注意的通知的过程的流程图；
13.图4示出根据各种实施方案的一个或多个方面的用于呈现基于注意的通知的方法步骤的流程图；并且
14.图5示出根据各种实施方案的一个或多个方面的用于呈现基于注意的通知的方法步骤的另一个流程图。
具体实施方式
15.在以下描述中，阐述众多特定细节以提供对各种实施方案的更透彻的理解。然而，对本领域的技术人员将显而易见的是，没有这些特定细节中的一个或多个特定细节的情况下也可实践本发明概念。
16.图1示出根据各种实施方案的一个或多个方面的车辆的计算系统100的框图。计算系统100可控制车辆的一个或多个部件和/或子系统和/或与所述部件和/或子系统交互。计算系统100包括计算装置101。在一些实施方案中，计算装置101可以是车辆的主机单元。如图所示，计算装置101包括但不限于一个或多个处理器102、i/o装置接口104、网络接口106、互连件112、存储设备114和存储器116。一个或多个处理器102和存储器116可以任何技术上可行的方式来实现。例如但不限于，在各种实施方案中，处理器102和存储器116的任何组合可被实现为独立芯片或被实现为更全面的解决方案的部分，所述部分被实现为专用集成电路(asic)、片上系统(soc)和/或类似者。一个或多个处理器102、i/o装置接口104、网络接口106、存储设备114和存储器116可通过互连件112彼此通信地耦接。
17.一个或多个处理器102可包括任何合适的处理器，诸如中央处理单元(cpu)、图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)、张量处理单元(tpu)、任何其他类型的处理单元或多个处理单元的组合，诸如被配置来结合gpu操作的cpu。通常，一个或多个处理器102中的每一者可以是能够处理数据和/或执行软件应用程序和模块的任何技术上可行的硬件单元。
18.存储设备114可包括用于应用程序、软件模块和数据的非易失性存储设备并且可包括固定式或可移动磁盘驱动器、快闪存储器装置以及cd
‑
rom、dvd
‑
rom、blu射线、hd
‑
dvd或其他磁性、光学、固态存储装置和/或类似者。
19.存储器116可包括随机存取存储器(ram)模块、快闪存储器单元或任何其他类型的存储器单元或其组合。一个或多个处理器102、i/o装置接口104和网络接口106被配置来从存储器116读取数据并且将数据写入存储器116。存储器116包括可由一个或多个处理器102执行的各种软件程序和模块(例如，操作系统、一个或多个应用程序)以及与所述软件程序相关联的应用程序数据(例如，从存储设备114加载的数据)。
20.在一些实施方案中，计算装置101通信地耦接到一个或多个网络160。网络160可以是允许数据在计算装置101与远程系统或装置(未示出)(诸如服务器、云计算系统或其他联网的计算装置或系统)之间交换的任何技术上可行的类型的通信网络。例如，网络160可包括广域网(wan)、局域网(lan)、无线网络(例如，wi
‑
fi网络、蜂窝数据网络)和/或互联网等
等。计算装置101可通过网络接口106与一个或多个网络160连接。在一些实施方案中，网络接口106是硬件、软件或硬件和软件的组合，所述网络接口106被配置来连接到一个或多个网络160并且与一个或多个网络160接口连接。
21.i/o装置108可包括能够提供输入的装置，诸如触摸板、触敏屏、按钮、旋钮、刻度盘、操纵杆、传声器等，以及能够提供输出的装置，诸如显示装置、音频扬声器、指示灯等。例如，i/o装置108可包括音频扬声器132、一个或多个显示装置134、各种输入装置138(例如，按钮、旋钮、刻度盘等)和指示灯136(例如，仪表板上的指示器、中控台、驾驶员仪器面板、侧视镜等)。显示器134的实例包括但不限于lcd显示器、led显示器、触敏屏、透明显示器、投影系统(例如，平视显示器投影系统、挡风玻璃投影系统、微投影系统)、光学组合器等。另外，i/o装置108可包括能够接收输入和提供输出的装置，诸如触敏屏、通用串行总线(usb)端口和/或类似者。
22.i/o装置108还包括一个或多个传感器装置140，所述一个或多个传感器装置140测量和/或监测车辆内部和/或车辆周围环境中的各种特性。传感器装置140包括一个或多个成像装置142(例如，rgb相机、红外相机)。成像装置142包括至少一个成像装置，所述至少一个成像装置涉及车辆内的驾驶员座椅，使得坐在驾驶员座椅上的驾驶员的至少一只眼睛在成像装置的视野内。可自动地和/或手动地调节成像装置以将成像装置的视野定位成覆盖驾驶员的一只或两只眼睛。在一些实施方案中，成像装置142被配置来以每秒30帧或更高的速率捕获图像。成像装置142可包括定位和取向来捕获车辆内部和/或外部的图像的另外的成像装置。传感器装置140可包括另外的传感器装置，所述另外的传感器装置的实例包括但不限于加速度计、陀螺仪、生物识别传感器、温度传感器、旋转传感器、振动传感器、关门传感器、光传感器、地理位置传感器(例如，gps模块)和/或类似者。
23.计算装置101可通过i/o装置接口104耦接到车辆的一个或多个车辆子系统122。车辆子系统122包括与车辆的各种方面、功能和/或部件相关联的子系统。例如，车辆可包括燃料子系统、轮胎子系统、发动机子系统、变速器子系统、驾驶员辅助子系统、保养跟踪子系统、车门子系统、导航子系统、信息娱乐子系统和/或类似者。这些子系统可监测车辆的各种方面(例如，剩余燃料容量、发动机每分钟转数、发动机问题、发动机温度、轮胎压力、下一次建议保养活动之前剩余的英里数、行人和附近其他车辆等)和/或结合i/o装置(例如，传感器装置140)执行各种操作，并且检测与这些方面或操作相关联的通知的触发条件(例如，剩余燃料低于某一阈值水平、轮胎压力低于某一阈值量、定期状态通知、行人突然进入车辆的路径、音乐播放结束等)。在一些实施方案中，在车辆子系统122中包括传感器装置140中的一个或多个传感器装置和/或i/o装置108中的一个或多个i/o装置。在一些实施方案中，车辆子系统122包括硬件部件、软件模块或硬件部件和软件模块的组合，并且这些硬件部件和软件模块可以任何技术上可行的方式来实现。当车辆子系统122检测到通知的触发条件时，车辆子系统122将通知信号传输到计算装置101，以便致使通过i/o装置108(例如，一个或多个显示器134、一个或多个指示灯136和/或类似者)输出视觉通知。
24.如本文所用，通知(也可称为“警报”)是车辆内信息的表示。通知中呈现的信息可关于车辆(例如，车辆的部件的状态)，关于车辆的乘员，和/或关于车辆周围的环境(例如，盲区中的车辆、车辆的路径中的障碍物和/或类似者)。通知可以是视觉的、触觉的和/或听觉的。视觉通知可包括文本、图形、一个或多个符号(例如，图标)和/或其任何组合。听觉通
知可包括语音和/或非语音声音(例如，音调、蜂鸣声和/或类似者)。触觉(或“触感”)通知可包括振动、运动和/或力反馈。通知的实例包括但不限于燃料将尽警报(其可包括指示近似剩余里程的数字)，发动机过热预警、低轮胎压力警报、车门半开警报、车道偏离警报、盲区警报、在行驶方向上与障碍物的距离减小的警报或预警、保养作业到期警报等。
25.存储器116包括基于注意的通知应用程序150(以下称为“通知应用程序150”)。通知应用程序150可存储在存储设备114中并且可从存储设备114加载。在操作中，通知应用程序150从车辆子系统122接收通知信号，通过i/o装置108(例如显示器134、指示器灯136、扬声器132和/或类似者)向用户(例如，车辆乘员，诸如驾驶员)输出对应于通知信号的通知，获得与用户相关联的传感器数据，并且使用基于瞳孔频率标记的技术基于传感器数据确定用户对通知给予的注意。具体地，在各种实施方案中，通知应用程序150以某一振荡频率(例如，通知的亮度的振荡频率)输出视觉通知。通知应用程序150还基于传感器数据确定对通知给予的注意(或缺乏注意)，具体地传感器数据是否显示用户以基本上或近似相同的振荡频率表现出响应(例如，用户瞳孔的收缩和扩张)。在一些实施方案中，通知应用程序150可基于所确定的注意或缺乏注意来执行另外的操作。以下结合图2至图5进一步描述通知应用程序150的操作。
26.图2示出根据各种实施方案的一个或多个方面的可在车辆内呈现的示例性通知。图2示出车辆内部200，具体地示出从车辆内部朝向前挡风玻璃208的视野。车辆内部200包括驾驶员仪表板或仪器面板202，所述驾驶员仪表板或仪器面板202可包括各种仪表和计量表，诸如速度计、里程计、转速计等。仪表板202还可包括一个或多个指示灯136，所述一个或多个指示灯136中的每一者对应于传达车辆制造商或设计者定义的具体信息的不同符号或图标。例如，仪表板202上的指示灯218点亮指示半开车门的符号，并且仪表板202上的其他指示灯136可点亮具有其他定义含义的符号和/或传达其他定义信息。车辆内部200还可包括一个或多个显示器134，所述一个或多个显示器134的实例包括位于仪表板202中间的仪表板显示器204、中控台显示器214(例如，信息娱乐和/或导航显示器)以及将增强现实内容(例如，通知、地标信息、导航信息)投影到前挡风玻璃208上的平视显示器投影系统(未示出)、被配置来输出内容以使得内容看起来在前挡风玻璃208外部的光学组合器或车辆内部200内的另一个面板。另外或替代地，前挡风玻璃208可以是透明显示器的部分。在操作中，通知应用程序150可通过车辆内部200中的显示器134和指示灯136中的任一者向车辆的乘员(例如，驾驶员)呈现视觉通知。
27.例如，当车辆子系统122(例如，燃料子系统)确定车辆中的剩余燃料小于某一阈值(所述阈值可以是多个剩余燃料阈值中的一者)时，所述燃料子系统可向通知应用程序150发送通知信号以便激活燃料将尽通知的呈现。通知信号可包括要在通知中传达的信息的内容(例如，燃料将尽通知中的剩余里程)和通知的模态(例如，通知是否是视觉的、触觉的和/或听觉的，通知是否将通过指示灯和/或文本而呈现，所述指示灯和/或文本在车辆内部200显示以呈现通知)。在一些实施方案中，通知信号可包括对应于通知的类型(并且隐含地对应于通知的内容、并且任选地对应于通知的模态)的代码。例如，车辆可包括预定义代码集，并且所述代码集中的每个代码映射到特定通知，所述特定通知包括相关联内容和模态。通知信号可包括来自代码集的用于预期通知的代码，并且通知应用程序150基于代码与对应通知的映射来生成通知。在一些实施方案中，如果要传达的信息与一种模态相关联，则可省
略模态。继续以上实例，用于燃料将尽通知的通知信号可指示所述通知以文本形式呈现在仪表板显示器204中。通知信号还可包括燃料将尽警报中的剩余里程信息的值40(例如，40英里)。
28.响应于从燃料子系统接收到通知信号，通知应用程序150生成要显示在仪表板显示器204上的通知。例如，通知应用程序150可生成通知206，其读取为“燃料将尽！里程40英里”。在一些实例中，通知应用程序150可另外选择通知的振荡频率。振荡频率是通知应用程序150在显示通知时使通知振荡的频率。在一些实施方案中，从预定义频率集中(例如，在存储设备114中存储的频率表中)选择频率。在一些其他实施方案中，从预定义频率范围中随机选择频率。在一些实施方案中，预定义频率集或预定义频率范围由车辆的制造商或设计者凭经验定义，以响应于通知的振荡来优化眼睛瞳孔振荡频率的可检测性。
29.在生成通知206并且选择振荡频率之后，通知应用程序150以处于所选择振荡频率的振荡向仪表板显示器204输出通知206。在一些实施方案中，通知应用程序150以所选择频率使仪表板显示器204上的通知206的亮度幅度振荡。使亮度(具体地，亮度幅度)振荡可包括调节通知206的内容(例如，文本)的亮度、调节通知206的背景的亮度或其组合。在一些实施方案中，亮度的调节包括在第一亮度水平(例如，相对更高的亮度水平)与第二亮度水平(例如，相对更低的亮度水平)之间来回转变。在一些实施方案中，鉴于乘员周围的环境光的水平，第一亮度水平和第二亮度水平由通知应用程序150选择成具有可检测到的足够大的间隔。可通过传感器装置140(例如，光传感器)检测乘员周围的环境光的水平。第一亮度水平与第二亮度水平之间的转变可以是渐进的(例如，连续转变)或离散的(例如，逐步转变)。在一些实例中，通知206处于每个亮度水平的时间量可相同或不同。当通知206随振荡而显示时，通知应用程序150通过车辆内的成像装置142获得车辆乘员的至少一只眼睛的图像序列。例如，通知应用程序150可基于由成像装置142捕获的图像执行对象识别和/或任何其他技术上可行的技术(例如，面部框检测)，以识别乘员的眼睛(具体地，眼睛的瞳孔)，并且任选地使成像装置142朝向乘员的眼睛取向。通知应用程序150接着可通过成像装置142捕获眼睛的图像序列。通知应用程序150接着处理图像序列以测量一定时间段内眼睛的瞳孔的直径改变，并且基于瞳孔直径改变来确定眼睛表现出的频率(例如，眼睛的瞳孔收缩和扩张的频率)。在一些实施方案中，眼睛图像的处理和眼睛瞳孔振荡频率的确定可通过在确定眼睛瞳孔振荡频率之前检查多个周期(例如，5至10个周期)的瞳孔直径改变来考虑数据获取和信号处理的延迟。
30.如果通知206的振荡频率与眼睛瞳孔振荡频率不匹配(例如，两个频率之间的差在预定义公差之外)，则通知应用程序150确定乘员尚未对通知206给予注意。作为响应，通知应用程序150接着可向燃料子系统发送否定注意信号，在这种情况下，燃料子系统可向通知应用程序150发送另一个通知信号。另一个通知信号可指示通知的另外的或替代的模态和/或要包括在通知中的另外的或替代的信息，以便增强通知206。另外或替代地，通知应用程序150可自动地执行一个或多个另外的操作。例如，通知应用程序150可借助通过另外的或替代的模态输出通知来增强通知206(例如，输出声音来伴随视觉通知)，而无需等待来自燃料子系统的另一个通知信号。作为通知增强的另一个实例，通知应用程序150可增强与通知206有关的后续通知(例如，后续燃料将尽通知，其指示剩余里程由于燃料的进一步耗尽而进一步减小)。通知增强的其他实例包括以更大的大小(例如，更大字体大小)显示通知、移
动通知(例如，在另一个更大显示器上显示通知)、增加通知的亮度和/或对比度、干预车辆的操作(例如，激活自动制动)、向通知中添加音频和/或触觉分量(例如，蜂鸣声、振动和/或类似者)和/或类似者。
31.在一些实施方案中，对乘员是否已经给予注意的确定包括持续区间分量(例如，时间、车辆行驶的距离和/或类似者)。具体地，通知应用程序150可基于从首次呈现通知(例如，通知206)开始的持续区间内的频率匹配来确定乘员是否已经对所述通知给予注意。如果通知应用程序150确定通知振荡频率和眼睛瞳孔表现出的频率在至少阈值持续区间内不匹配，则通知应用程序150确定乘员尚未对所述通知给予注意。响应于该确定，通知应用程序150可发送否定注意信号和/或增强通知。以此方式，乘员在通知应用程序150确定未给予注意之前提供检测通知并且对注意给予注意的持续区间(例如，时间段、行驶的距离)。
32.如果通知206的振荡频率与眼睛瞳孔振荡频率匹配(例如，两个频率之间的差在预定义公差内)，则通知应用程序150确定乘员已经对通知206给予注意。响应于确定乘员已经对通知206给予注意，通知应用程序150可向燃料子系统发送肯定注意信号。燃料子系统响应于肯定注意信号可维持或停止通知信号，或向通知应用程序150发送使通知减弱的另一个通知信号(例如，从通知中删除某些信息、删除通知模态、使通知模糊和/或类似者)。响应于减弱通知信号，通知应用程序150可撤销上述通知增强方面中的一者或多者。
33.在一些实施方案中，注意信号包括指示注意或缺乏注意的标志。例如，否定注意信号包括指示未给予注意的0标志，并且肯定注意信号包括指示已给予注意的1标志。通知应用程序150可将标志维持在存储器116中，响应于确定已经对通知给予注意而将标志设置为1，响应于通知的停止或取消而重置标志和/或使标志包括在发送到车辆子系统122的注意信号中。
34.通知应用程序150可响应于来自各种车辆子系统122的通知信号以与上述类似的方式输出其他通知。例如，通知应用程序150可基于来自车门子系统的通知信号(例如，当车门子系统检测到车门为半开时)显示车门半开通知。通知应用程序150可通过致使指示灯218以所选择振荡频率闪烁来通过闪烁的指示灯218显示门半开通知并使其振荡。自显示通知以来，通知应用程序150可确定乘员在至少阈值持续区间(例如，持续时间)内尚未对车门半开通知给予注意。响应于该确定，通知应用程序150可向门子系统发送否定注意信号和/或增强通知。
35.通知应用程序150可基于来自保养跟踪子系统的通知信号(例如，当保养跟踪子系统检测到自上次换油以来车辆行驶的距离超出预定义换油里程数阈值时)显示换油到期通知216。通知应用程序150可通过以所选择振荡频率振荡的(文本、背景或两者的)亮度在中控台显示器214上输出换油到期通知216。自显示通知以来，通知应用程序150可确定乘员在至少阈值持续区间(例如，行驶的距离的长度)内尚未对换油通知给予注意。响应于该确定，通知应用程序150可向保养跟踪子系统发送否定注意信号和/或增强通知。
36.此外，通知应用程序150可以类似方式输出平视或增强现实通知。例如，通知应用程序150可基于来自驾驶员辅助子系统的通知信号(例如，当驾驶员辅助子系统检测到车辆附近的行人时)致使显示轮廓线或边界框212(例如，在挡风玻璃208上显示或投影到挡风玻璃208上)。如通过挡风玻璃208所见，轮廓线212围绕车辆附近的对象(例如，车辆外部的行人210)。当行人210移动到车辆外部时，通知应用程序150可调节轮廓线212的投影位置，使
得如通过挡风玻璃208所见轮廓线212跟随行人210。通知应用程序150可致使轮廓线212以所选择振荡频率闪烁，并且确定驾驶员是否已经对轮廓线212给予注意(并且因此已经对行人210给予注意)。如果眼睛瞳孔振荡频率与轮廓线212的振荡频率不匹配，则通知应用程序150可确定驾驶员尚未对行人210给予注意，并且作为响应致使输出存在行人210的另外的通知(例如，通过致使输出听觉障碍警报)。作为另一个实例，通知应用程序150可基于来自导航子系统的通知信号(例如，当导航子系统在导航线路上检测到即将转弯时)致使导航信息(例如，即将转弯通知220)投影到挡风玻璃208上。通知应用程序150可致使即将转弯通知220以所选择振荡频率闪烁，并且确定驾驶员是否已经对转弯通知220给予注意。如果眼睛瞳孔振荡频率与转弯通知220的振荡频率不匹配，则通知应用程序150可确定驾驶员尚未对转弯通知220给予注意，并且作为响应增强转弯通知220(例如，通过致使输出听觉导航指南)。
37.上述通知的振荡包括闪烁(例如，在打开与关闭之间、在显示与未显示之间振荡)和亮度的振荡。应了解，视觉通知的其他类型的振荡是可能的。例如，通知应用程序150可致使通知在两种颜色之间、在相同颜色的两种不同色度(例如，更浅的色度与更深的色度)之间和/或在第一对比度水平与第二对比度水平之间振荡。颜色、颜色色度和/或对比度水平的振荡可以是渐进的(例如，平滑的且连续的)或离散的(例如，逐步的)。
38.在一些实施方案中，同时显示的通知可具有不同振荡频率。当选择通知的振荡频率时，通知应用程序150选择与其他当前呈现的通知的振荡频率不同的频率。通过针对同时呈现的不同通知具有不同振荡频率，通知应用程序150可通过将眼睛瞳孔振荡频率与不同通知振荡频率进行匹配来确定对通知中的每一者给予的注意(或缺乏注意)。另外，在一些实施方案中，为了考虑环境光的量，通知应用程序150可基于环境光的量动态地调节通知的振荡频率和/或调节通知的第一振荡水平和/或第二振荡水平(例如，高亮度水平和/或低亮度水平)。
39.通过使用以上公开的技术，可在不依赖于检查眼睛注视方向的情况下并且以比基于眼睛注视方向确定注意更高的准确度确定对通知给予的注意。此外，可使用以上公开的技术来确定对乘员的周边视觉中的通知给予的注意，因为对于眼睛瞳孔基于瞳孔频率标记而采用视觉刺激的频率而言，焦点视野不是必需的。
40.图3a至图3b示出根据各种实施方案的一个或多个方面的用于呈现基于注意的通知的过程300的流程图。过程300开始于步骤302，其中车辆子系统122检测到通知事件。车辆子系统122可检测满足通知的触发标准的事件或条件。例如，燃料子系统可检测到剩余燃料已经下降到低于阈值。作为另一个实例，保养跟踪子系统可基于自上次换油以来的时间或行驶的里程数持续区间而检测到车辆应当换油。作为另外的实例，驾驶员辅助子系统可检测车辆在行驶方向上与另一个车辆的距离已经下降到低于阈值。
41.在步骤304处，车辆子系统122向通知应用程序150传输通知信号。通知信号可指示要生成的视觉通知的内容和模态。在步骤306处，通知应用程序150接收通知信号并且基于所述通知信号生成视觉通知。在步骤308处，通知应用程序150选择通知输出频率。通知应用程序150选择所述通知的与其他当前呈现的通知(如果有的话)的振荡频率不同的振荡频率。在步骤310处，通知应用程序150向i/o装置接口104传输通知输出信号以通过i/o装置108(例如，显示器134、指示灯136和/或类似者)进行输出。
42.在步骤312处，i/o装置接口104接收通知输出信号。在步骤314处，i/o装置接口104通过i/o装置108以所选择输出频率输出通知。在步骤316处，i/o装置接口104通过成像装置142捕获车辆的乘员(例如，驾驶员)的至少一只眼睛的图像(例如，图像序列)。在步骤318处，i/o装置接口104向通知应用程序150传输图像。
43.在图3b中继续，在步骤320处，通知应用程序150处理图像以检测眼睛瞳孔直径以及瞳孔收缩和扩张的对应频率。通知应用程序150识别每个图像中的眼睛的瞳孔，并且使用任何技术上可行的技术(例如，基于机器学习的对象识别)确定对应的瞳孔直径，从而得出基于图像的时间戳排序的测量的瞳孔直径值序列。通知应用程序150基于瞳孔直径值序列来确定眼睛瞳孔振荡频率(例如，瞳孔收缩和扩张的频率)。如果通知应用程序150确定眼睛瞳孔直径的振荡未表现出可确定的频率(例如，眼睛瞳孔直径不规则地或随机地改变，而没有可确定的振荡或振荡模式)，则通知应用程序150可确定眼睛瞳孔振荡频率为空值。
44.在步骤322处，通知应用程序150确定在步骤320中确定的眼睛瞳孔振荡频率是否与通知的振荡频率匹配。如果通知应用程序150确定频率匹配，则在步骤328处，通知应用程序150向车辆子系统122传输肯定注意信号。在步骤330处，车辆子系统122接收肯定注意信号，并且基于所述肯定注意信号确定用户已经对所述通知给予注意。响应于该确定，车辆子系统122可维持或停止通知信号或向通知应用程序150发送减弱通知的通知信号。
45.如果通知应用程序150确定频率不匹配或眼睛瞳孔振荡频率为空值，则在步骤324处，通知应用程序150致使执行一个或多个后续操作。后续操作可包括向车辆子系统122传输否定注意信号、增强通知和/或干预车辆的操作。过程300接着返回到步骤316，在步骤316处捕获用户的眼睛的新图像，使得可确定更新的眼睛瞳孔振荡频率并且将其与通知振荡频率进行比较。
46.图4示出根据各种实施方案的一个或多个方面的用于呈现基于注意的通知的方法步骤的流程图。尽管结合图1至图3b的系统描述了方法步骤，但本领域技术人员将理解，被配置来以任何次序执行方法步骤的任何系统落在各种实施方案的范围内。
47.方法400开始于步骤402，在步骤402处通知应用程序150从车辆子系统接收通知信号。通知应用程序150可从车辆子系统122接收信号，所述信号指示要呈现给车辆的乘员(例如，驾驶员)的视觉通知的内容以及任选地其模态。通知应用程序150可基于通知信号生成视觉通知。
48.在步骤404处，通知应用程序150选择要呈现的通知的输出频率。在步骤406处，通知应用程序150致使i/o装置以输出频率输出通知。通知应用程序150向i/o装置108(例如，显示器134、指示灯136和/或类似者)输出视觉通知，使得通知(例如，通知的亮度)以输出频率振荡。
49.在步骤408处，通知应用程序150在一定时间段内检测乘员的眼睛瞳孔直径。基于这些眼睛瞳孔直径，通知应用程序150确定眼睛瞳孔振荡频率，即眼睛瞳孔直径在高直径值与低直径值之间振荡的频率(例如，瞳孔收缩和扩张的频率)。另外，如果通知应用程序150确定眼睛瞳孔直径的振荡未表现出可确定的频率(例如，眼睛瞳孔直径不规则地或随机地改变，而没有可确定的振荡或振荡模式)，则通知应用程序150可确定未检测到眼睛瞳孔振荡频率。
50.在步骤410处，通知应用程序150确定眼睛瞳孔振荡频率是否与通知的输出频率匹
配。如果频率匹配(例如，在预定义公差内)，则方法400前进到步骤412，在步骤412处通知应用程序150向车辆子系统122传输肯定注意信号以向子系统示意已经对通知给予注意。
51.如果频率不匹配或如果没有检测到眼睛瞳孔振荡频率，则方法400前进到步骤414，在步骤414处通知应用程序150致使执行一个或多个后续操作。后续操作可包括例如致使输出后续通知、致使以另外的模态显示通知、致使以不同方式输出通知(例如，增加大小、在不同屏幕上的位置处显示)和/或干预车辆的操作(例如，激活自动制动)。后续操作还可包括向车辆子系统122传输否定注意信号，以向子系统示意尚未对通知给予注意。
52.图5示出根据各种实施方案的一个或多个方面的用于呈现基于注意的通知的方法步骤的另一个流程图。尽管结合图1至图3b的系统描述了方法步骤，但本领域技术人员将理解，被配置来以任何次序执行方法步骤的任何系统落在各种实施方案的范围内。
53.方法500开始于步骤502，在步骤502处通知应用程序150从车辆子系统接收通知信号。通知应用程序150可从车辆子系统122接收信号，所述信号指示要呈现给车辆的乘员(例如，驾驶员)的视觉通知的内容以及任选地其模态。通知应用程序150可基于通知信号生成视觉通知。
54.在步骤504处，通知应用程序150选择要呈现的通知的输出频率。在步骤506处，通知应用程序150致使i/o装置以输出频率输出通知。通知应用程序150向i/o装置108(例如，显示器134、指示灯136)输出视觉通知，使得通知(例如，通知的亮度)以输出频率振荡。
55.在步骤508处，通知应用程序150在一定时间段内检测乘员的眼睛瞳孔直径。基于这些眼睛瞳孔直径，通知应用程序150确定眼睛瞳孔振荡频率，即眼睛瞳孔直径在高直径值与低直径值之间振荡的频率(例如，瞳孔收缩和扩张的频率)。另外，如果通知应用程序150确定眼睛瞳孔直径的振荡未表现出可确定的频率(例如，眼睛瞳孔直径不规则地或随机地改变，而没有可确定的振荡或振荡模式)，则通知应用程序150可确定未检测到眼睛瞳孔振荡频率。
56.在步骤510处，通知应用程序150确定眼睛瞳孔振荡频率是否与通知的输出频率匹配。如果频率不匹配或如果未检测到眼睛瞳孔振荡频率，则方法500前进到步骤512，在步骤512处通知应用程序150增强通知(例如，以不同模态呈现通知)。方法500从步骤512前进到步骤506，在步骤506处可继续以相同或不同输出频率输出通知(或相关后续通知)。方法500接着前进到步骤508，在步骤508处通知应用程序150可再次确定眼睛瞳孔振荡频率以与通知输出频率进行比较。
57.如果频率匹配，则方法500前进到步骤514，在步骤514处通知应用程序150向车辆子系统122传输肯定注意信号以向子系统示意已经对通知给予注意。在步骤516处，通知应用程序150减弱通知。如果通知尚未增强，则可省略步骤516并且因此无需减弱。
58.在一些实施方案中，除了或替代眼睛瞳孔直径和相关联频率，可测量其他用户特性以确定用户表现出的频率。例如，生物识别传感器可测量用户的脑电图(eeg)或脑磁图(meg)。可根据eeg或meg确定频率，并且将所述频率与通知的振荡频率进行比较。
59.在一些实施方案中，通知应用程序150可致使通知以更复杂的模式输出。例如，通知应用程序150可致使通知在第一(例如，短暂的)时间段内以第一频率振荡，接着在短暂的停顿之后在第二(例如，更长的)时间段内以第二频率(其可与第一频率相同或不同)振荡(例如，使亮度振荡)。在一些实例中，通知应用程序150可致使通知在另外的时间段内以另
外的频率(其可与第一频率或第二频率相同或不同)振荡。可重复此多周期模式。因此，通知可根据可重复的时间模式来振荡，所述时间模式包括处于不同频率和/或亮度水平的短暂的和/或更长的振荡周期。通知应用程序150处理车辆乘员的眼睛的图像以确定眼睛瞳孔直径及其改变是否与通知表现出具有相同频率的相同时间模式。如果眼睛瞳孔直径改变表现出具有相同频率的相同模式，则通知应用程序150确定乘员已经对通知给予注意。如果眼睛瞳孔直径改变表现出与通知不同的频率和/或并未表现出相同模式，则通知应用程序150确定乘员尚未对通知给予注意。
60.虽然关于车辆中的通知描述了以上公开的技术，但是可在其他上下文中执行类似技术。例如，建筑物或空间中的电子信息亭(例如，购物中心、度假酒店、游乐园或类似者中的电子目录和地图信息亭)可包括显示装置和成像装置。当用户在电子信息亭处请求到特定位置的方向时，电子信息亭可在地图上以类似于上述通知的振荡的振荡频率显示所请求位置和/或到所请求位置的路径(例如，以振荡频率使位置标识闪烁)。成像装置可捕获用户的一只或两只眼睛的图像，并且电子信息亭基于图像确定眼睛瞳孔振荡频率。电子信息亭确定眼睛瞳孔振荡频率是否与方向的振荡频率匹配。如果电子信息亭确定频率不匹配，则电子信息亭可增强方向的呈现(例如，把镜头拉近所述位置、像穿过路径一样移动地图、播放声音)。作为另一个实例，可穿戴装置可以振荡频率显示增强现实内容，并且通过确定眼睛瞳孔振荡频率以及将该频率与增强现实内容的振荡频率进行比较来确定用户是否已经对增强现实内容给予注意。
61.另外，以上公开的技术可适于在经验研究和分析中使用(例如，以帮助设计车辆的用户接口)。例如，在通知呈现模态的设计(例如，仪表板的设计)中可考虑多个选项。设计人员可通过使用以上所公开的技术确定哪些模态选项会更有效地获得车辆乘员的注意来测试通知呈现模态的各种设计选项并且对通知呈现模态进行优化。
62.总之，计算系统确定是否对指示器或通知给予注意。计算系统通过以第一频率振荡通知的幅度(例如，亮度、发光)来显示通知。计算机系统包括一个或多个传感器，所述一个或多个传感器收集与用户的特性(例如，眼睛瞳孔直径)相关联的传感器数据。计算机系统确定传感器数据是否指示与所述特性相关联的第二频率以及第二频率是否与第一频率基本上匹配。如果第一频率和第二频率不匹配或传感器数据未指示与所述特性相关联的频率，则计算机系统可执行一个或多个另外的操作。另外的操作的实例包括通过不同模态递送通知、增强通知、自动干预装置或系统的操作和/或类似者。在一些实施方案中，计算机系统可被实现在车辆中，并且传感器包括相机装置。
63.所公开技术的至少一个优点和技术改进在于，计算系统(例如，车辆的计算装置)可确定对通知给予的注意或缺乏注意，而无需来自用户的交互响应。因此，所述计算系统可确定用户(例如，车辆的乘员)是否注意到所述通知，而不会使用户从其他任务分心。此外，计算系统可基于是否对通知给予注意来执行一个或多个后续操作。后续操作可包括通过不同模态呈现通知、增强通知、自动干预装置或系统的操作和/或类似者。所公开技术的另一个优点和技术改进在于，计算系统可确定递送通知的哪些模态更可能得到用户的注意。因此，计算系统可在通知的递送中偏爱某些模态。另一优点和技术改进在于，即使当通知不在用户的焦点视野内时也可检测到用户对通知给予的注意。另一个优点和技术改进在于，与常规方法(例如，基于眼睛注视方向的确定)相比，可以更高准确度确定用户对通知给予的
注意。
64.1.在一些实施方案中，一种计算机实现的方法包括：致使第一视觉刺激以第一频率振荡；确定与用户特性相关联的第二频率；以及基于所述第二频率与所述第一频率不匹配的确定，致使执行一个或多个操作。
65.2.如条款1所述的方法，其中致使所述第一视觉刺激以所述第一频率振荡包括：使所述第一视觉刺激的亮度幅度以所述第一频率振荡。
66.3.如条款1或2所述的方法，其中所述第一视觉刺激包括指示灯。
67.4.如条款1
‑
3中任一项所述的方法，其中致使所述第一视觉刺激以所述第一频率振荡包括：使所述指示灯以所述第一频率闪烁。
68.5.如条款1
‑
4中任一项所述的方法，其中所述第一视觉刺激包括通过显示装置显示的通知。
69.6.如条款1
‑
5中任一项所述的方法，其中所述用户特性包括用户的眼睛瞳孔直径。
70.7.如条款1
‑
6中任一项所述的方法，其中所述第二频率对应于所述眼睛瞳孔直径的振荡。
71.8.如条款1
‑
7中任一项所述的方法，其中确定所述第二频率包括：通过成像装置捕获所述用户的眼睛的图像以确定所述眼睛瞳孔直径。
72.9.如条款1
‑
8中任一项所述的方法，其中所述用户特性包括用户的脑电图(eeg)或所述用户的脑磁图(meg)。
73.10.如条款1
‑
9中任一项所述的方法，其还包括：基于所述第二频率与所述第一频率不匹配的所述确定，确定用户对所述第一视觉刺激缺乏注意。
74.11.如条款1
‑
10中任一项所述的方法，其中致使执行一个或多个操作包括：响应于确定所述用户对所述第一视觉刺激缺乏注意，致使输出与所述第一视觉刺激相关联的第二视觉刺激。
75.12.如条款1
‑
11中任一项所述的方法，其中所述第二视觉刺激是所述第一视觉刺激的放大版本。
76.13.如条款1
‑
12中任一项所述的方法，其中致使执行一个或多个操作包括：响应于确定所述用户对所述第一视觉刺激缺乏注意，致使输出与所述第一视觉刺激相关联的音频分量。
77.14.如条款1
‑
13中任一项所述的方法，其中致使执行一个或多个操作包括：响应于确定所述用户对所述第一视觉刺激缺乏注意，干预第一子系统的操作。
78.15.在一些实施方案中，一种或多种非暂时性计算机可读存储介质，其包括指令，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：致使第一视觉刺激以第一频率振荡；确定与用户特性相关联的第二频率；以及基于所述第二频率与所述第一频率不匹配的确定，确定用户对所述第一视觉刺激缺乏注意。
79.16.如条款15所述的一种或多种计算机可读存储介质，其中致使所述第一视觉刺激以所述第一频率振荡包括以下中的至少一者：使所述第一视觉刺激的亮度幅度以所述第一频率振荡；或使所述第一视觉刺激以所述第一频率闪烁。
80.17.如条款15或16所述的一种或多种计算机可读存储介质，其还包括指令，所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：响应于确
定所述用户对所述第一视觉刺激缺乏注意，进行以下中的至少一者：致使输出与所述第一视觉刺激相关联的第二视觉刺激，致使输出与所述第一视觉刺激相关联的音频分量，或干预第一子系统的操作。
81.18.在一些实施方案中，一种系统包括：存储器，所述存储器用于存储应用程序；以及处理器，所述处理器在执行所述应用程序时被配置来：致使第一视觉刺激以第一频率振荡；确定与眼睛的瞳孔相关联的第二频率；基于所述第二频率与所述第一频率不匹配的确定，确定对所述第一视觉刺激缺乏注意；并且响应于确定对所述第一视觉刺激缺乏注意，致使执行一个或多个操作。
82.19.如条款18所述的系统，其中致使执行一个或多个操作包括：致使以第三频率输出与所述第一视觉刺激相关联的第二视觉刺激。
83.20.如条款18或19所述的系统，其中所述处理器在执行所述应用程序时还被配置来：确定与所述眼睛的所述瞳孔相关联的第四频率；并且基于所述第四频率与所述第三频率匹配的确定，确定对所述第二视觉刺激存在注意。
84.任何权利要求中引用的任何权利要求元素和/或本技术中描述的任何元素的以任何方式的任何和所有组合落入本发明保护的预期范围内。
85.各种实施方案的描述已经呈现以用于说明目的，而并非意在穷举或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说是显而易见的。
86.本实施方案的各方面可体现为系统、方法或计算机程序产品。因此，本公开的各方面可采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施方案的形式，它们在本文中都可统称为“模块”、“系统”或“计算机”。另外，本公开中描述的任何硬件和/或软件技术、过程、功能、部件、引擎、模块或系统可被实现为一个电路或一组电路。此外，本公开的各方面可采用计算机程序产品的形式，所述计算机程序产品在其上体现有计算机可读程序代码的一个或多个计算机可读介质中体现。
87.可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或前述介质的任何合适的组合。计算机可读存储介质的更具体实例(非详尽列表)将包括以下项：具有一根或多根导线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便携式光盘只读存储器(cd
‑
rom)、光学存储装置、磁性存储装置或前述介质的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储由指令执行系统、设备或装置使用或与其结合使用的程序的任何有形介质。
88.以上参照根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或框图来描述本公开的各方面。应理解，流程图图解和/或框图中的每个方框以及流程图图解和/或框图中的方框的组合能够通过计算机程序指令来实现。可将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以生产机器。所述指令在通过计算机或其他可编程数据处理设备的处理器执行时使得能够实现在流程图和/或一个或多个框图方框中指定的功能/动作。此类处理器可以是但不限于通用处理器、专用处理器、应用特定处理器或现场可编程门阵列。
89.图中的流程图和框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的体系结构、功能性和操作。在这个方面，流程图或框图中的每个方框可表示代码的模块、区段或部分，所述代码包括用于实现一个或多个指定逻辑功能的一个或多个可执行指令。还应注意，在一些替代实现方式中，方框中提到的功能可不按图中提到的次序出现。例如，实际上根据所涉及的功能性，可基本上同时执行连续示出的两个方框，或有时可以相反次序执行所述方框。还应注意，框图和/或流程图图解中的每个方框以及框图和/或流程图图解中的方框的组合能够由执行指定的功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
90.虽然前述内容针对本公开的实施方案，但是可在不脱离本公开的基本范围的情况下设计出本公开的其他和另外的实施方案，并且所述范围由随附权利要求确定。