认知与情感人机界面的制作方法

认知与情感人机界面的制作方法
【专利摘要】认知和/或情感状态信息可用于自适应游戏、广告插入递送定时、驾驶员或飞行员辅助、教学、广告选择、产品和/或内容建议、和/或视频聊天应用。可生成人机界面(HMI)。可对HMI中的内容植入进行管理。可接收来自一个或多个传感器的传感器数据。可确定递送内容的定时。递送内容的定时可基于所确定的用户的认知状态和所确定的用户的情感状态中的至少一者来确定。可基于用户的认知状态和用户的情感状态中的至少一者来选择递送给用户的内容。所述内容可包括广告。
【专利说明】认知与情感人机界面 相关申请的交叉引用
[00011 本申请要求于2014年2月23日提交的美国临时专利申请No.61/943,467的权益，其 内容结合于此作为参考。
【背景技术】
[0002] 某些人机界面(HMI)会使用户无所适从或产生挫败感。例如，不合时宜的广告插入 (insertion)或难度过大或过于无聊的游戏，都可能会使用户敬而远之。以车辆碰撞预警系 统为例，在其发出迫近危险的告警时，如果HMI的低优先级消息分散了用户的注意力，那么 安全性就成为了一个问题。在市场营销方面，选择欠妥的时机和/或消息都会降低营销的效 果。在向消费者提出产品或内容方面的建议时，有人会采用一些推测性的数据，而采用这种 数据可能无法很好地预测对实际产品或内容的使用或兴趣所在。由于教师授课或采用计算 机的培训过程中可能会忽视学生处理新信息的能力，从而导致学生学习教材的能力下降。 而吃一堑长一智这种做法则会导致效率低下。

【发明内容】

[0003] 公开了用于生成人机界面(HMI)的系统、方法和手段，所述HMI能够了解并适应用 户的认知负荷(load)和/或情绪情感状态。传感器数据可用于估计用户的认知状态(例如认 知负荷)和/或情感状态，而用户的认知状态和/或情感状态可用于对与用户的互动划分优 先级或还可以对之产生影响。用户的认知和/或情感状态可包括除了能够从用户已经消费 的上下文和/或内容中推断出的信息之外的信息。例如，认知和/或情感状态信息可用于自 适应游戏、广告植入和/或递送定时、驾驶员或飞行员辅助、教学、广告选择、产品和/或内容 建议、和/或视频聊天应用。
[0004] 人机界面(HMI)可由系统生成。所述系统可对HMI中的内容植入进行管理。所述系 统可向用户递送内容。所述内容可包括视频数据、视频游戏数据、教学数据、培训数据等等。 所述系统可从一个或多个传感器接收传感器数据。所述传感器数据与用户关联。来自所述 一个或多个传感器的传感器数据可包括下列中的至少一者:拍摄数据、皮肤电反映(GSR)数 据、语音分析数据、面部表情分析数据、肢体语言分析数据、眼球运动和注视点追踪分析数 据、眨眼率分析数据、脑电描记数据(electroencephalographic)、皮肤电活动数据、瞳孔测 量数据、心率数据、血压数据、呼吸速率数据、或体温数据。所述系统可基于接收到的传感器 数据确定用户的认知状态或情感状态中的至少一者。用户的认知状态可包括用户的认知负 荷。用户的情感状态可包括觉醒(arousal)测量和效价(valence)测量。所述系统可对接收 到的传感器数据进行分析。所述系统可在二维觉醒效价空间上绘制(plot)觉醒测量和效价 测量。所述系统可基于该绘制将用户与一个或多个预定义情感状态关联。
[0005] 所述系统可确定递送内容的定时。所述内容可包括广告。所述递送内容的定时可 基于用户的确定的认知状态或用户的确定的情感状态中的至少一者来确定。当用户的认知 负荷低于预先确定的阈值或当用户的情感状态指示了用户处于可接受状态时，所述内容可 被递送给用户。当用户的情感状态距预定义情感状态的距离测量低于预先确定的阈值时， 用户的情感状态指示用户处于可接受状态。所述预定义情感状态可包括预定义觉醒测量和 预定义效价测量。所述距离测量可基于用户的情感状态与预定义情感状态之间的距离。所 述距离测量可包括觉醒分量(component)和效价分量。所述内容可基于预先确定的定时被 递送给用户。所述内容可经由HMI或第二HMI被递送给用户。
[0006] 所述系统可对用于递送给用户的内容进行选择。可基于用户的认知状态或用户的 情感状态中的至少一者对用于递送给用户的内容进行选择。可基于用户的刺激(stimulus) 响应模型对用于递送给用户的内容进行选择。所述刺激响应模型可基于对之前内容的历史 用户响应(例如用户针对之前内容的的认知和/或情感状态的历史观测）。用户可与消费者 分类关联。用户可基于刺激/响应对与消费者分类关联。所述刺激/响应对可基于呈现给用 户的信息以及响应于信息呈现的用户的认知状态或用户的情感状态中的至少一者。所述系 统可对刺激/响应对进行存储。可基于与用户关联的消费者分类对用于递送给用户的内容 进行选择。可基于预定义消费者分类中的消费者的刺激响应数据库对用于递送给用户的内 容进行选择。所述预定义消费者分类可包括所述用户。所述内容可以是第一产品的第一广 告。所述第一产品的第一广告可基于用户对第二产品的第二广告的在先响应进行选择。
【附图说明】
[0007] 图1A是可在其中实施一个或多个所公开实施方式的示例通信系统的系统图示。
[0008] 图1B是可在图1A说明的通信系统中使用的示例无线发射/接收单元(WTRU)的系统 图示。
[0009] 图1C是可在图1A说明的通信系统中使用的示例无线电接入网络和示例核心网络 的系统图不。
[0010] 图1D是可在图1A说明的通信系统中使用的另一示例无线电接入网络和另一示例 核心网络的系统图示。
[0011] 图1E是可在图1A说明的通信系统中使用的另一示例无线电接入网络和另一示例 核心网络的系统图示。
[0012 ]图2是说明了瞳孔放大与记忆(memory)编码困难之间的示例关系的图示。
[0013] 图3是说明了可用于对情感状态进行分类的示例二维空间的图示。
[0014] 图4是说明了示例情感和/或认知自适应游戏系统的框图。
[0015] 图5是说明了示例情感和/或认知自适应广告递送定时系统的框图。
[0016] 图6是说明了示例情感和/或认知自适应警告系统的框图。
[0017]图7是说明了示例情感和/或认知自适应教学系统的框图。
[0018] 图8是说明了示例情感和/或认知自适应产品或内容建议系统的框图。
[0019] 图9是说明了消费者分类示例的框图。
[0020] 图10是说明了产品/内容建议示例的框图。
[0021 ]图11是说明了不例情感和/或认知自适应视频聊天系统的框图。
[0022] 图12是说明了可以用培训数据填充状态/解译数据库的示例子系统的框图，其中 所述培训数据可将认知和/或情感状态与解译相联系。
[0023] 图13是说明了示例视频注释生成子系统的框图。
【具体实施方式】
[0024] 现在参照各个附图对说明性实施方式进行详细描述。虽然该描述提供了可能实施 的具体示例，应当注意的是，所述细节是示例性的且不对本申请的范围进行限制。
[0025] 图1A是可以实施一个或多个公开的实施方式的示例通信系统100的系统图示。该 通信系统100可以是将诸如语音、数据、视频、消息发送、广播等之类的内容提供给多个无线 用户的多接入系统。该通信系统1〇〇可以通过系统资源(包括无线带宽）的共享使得多个无 线用户能够访问这些内容。例如，该通信系统1〇〇可以使用一种或多种信道接入方法，例如 码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交TOMA (0FDMA)、单载波TOMA(SC-FDMA)等等。
[0026] 如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU) 102a、102b、102c、 和/或102d(统称或合称为WTRU 102)、无线电接入网（RAN) 103/104/105、核心网络106/107/ 109、公共交换电话网（PSTN)108、因特网110、和其他网络112,但可以理解可实施任意数量 的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中的每一个可以是被配置 成在无线环境中运行和/或通信的任何类型的装置。作为示例，WTRU102a、102b、102c、102d 可以被配置成发送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动 订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、便携式电脑、上网本、个人计 算机、无线传感器、消费电子产品等等。
[0027] 通信系统100还可以包括基站114a和基站114b。基站114a、114b中的每一个可以是 被配置成与WTRU 102a、102b、102c、102d中的至少一者无线对接，以便于接入一个或多个通 信网络(例如，核心网络106/107/109、因特网110、和/或网络112)的任何类型的装置。例如， 基站114a、114b可以是基站收发信站(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控 制器、接入点(AP)、无线路由器等。尽管基站114a、114b每个均被描述为单个元件，但是可以 理解基站114a、114b可以包括任何数量的互连基站和/或网络元件。
[0028] 基站114a可以是RAN 103/104/105的一部分，该RAN还可以包括其他基站和/或网 络元件(未示出），诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a 和/或基站114b可以被配置成传送和/或接收特定地理区域内的无线信号，该特定地理区域 可以被称作小区（未示出）。小区还可以被划分成小区扇区。例如与基站114a相关联的小区 可以被划分成三个扇区。由此，在一种实施方式中，基站114a可以包括三个收发信机，例如 针对所述小区的每个扇区都有一个收发信机。在另一实施方式中，基站114a可以使用多输 入多输出(M頂0)技术，并且因此可以使用针对小区的每个扇区的多个收发信机。
[0029] 基站 114a、114b 可以通过空中接口 115/116/117 与 WTRU 102a、102b、102c、102d 中 的一者或多者通信，该空中接口 115/116/117可以是任何合适的无线通信链路(例如，射频 (RF)、微波、红外（IR)、紫外(UV)、可见光等）。空中接口 115/116/117可以使用任何合适的无 线电接入技术(RAT)来建立。
[0030] 更特别地，如上所述，通信系统100可以是多接入系统，并且可以使用一种或多种 信道接入方案，例如CDMA、TDMA、FDMA、(FDMA、SC-roMA等。例如，在RAN 10 3/104/10 5中的基 站114a和WTRU 102a、102b、102c可以实施诸如通用移动电信系统（UMTS)陆地无线电接入 (UTRA)之类的无线电技术，其可以使用宽带⑶MA(W⑶MA)来建立空中接口 115/116/117。 WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)的通信协议。HSPA可以 包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
[0031] 在另一实施方式中，基站114a和WTRU 102a、102b、102c可以实施诸如演进型UMTS 陆地无线电接入(E-UTRA)之类的无线电技术，其可以使用长期演进(LTE)和/或高级LTE (LTE-A)来建立空中接口 115/116/117。
[0032] 在其他实施方式中，基站114a和WTRU 102a、102b、102c可以实施诸如IEEE 802.16 (即，全球微波互联接入(WiMAX))、CDMA2000、CDMA2000IX、CDMA2000EV-D0、临时标准2000 (IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型 数据速率GSM演进(EDGE)、GSM EDGE(GERAN)之类的无线电技术。
[0033]图1A中的基站114b可以是例如无线路由器、家用节点B、家用e节点B或者接入点， 并且可以使用任何合适的RAT，以用于促进在诸如商业区、家庭、车辆、校园之类的局部区域 的无线连接。在一种实施方式中，基站114b和WTRU 102c、102d可以实施诸如IEEE 802.11之 类的无线电技术以建立无线局域网(WLAN)。在另一个实施方式中，基站114b和WTRU 102c、 102d可以实施诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在另一个实 施方式中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如，WCDMA、CDMA2000、 GSM、LTE、LTE-A等）以建立微微小区（picocell)和毫微微小区（femtocell)。如图1A所示，基 站114b可以具有至因特网110的直接连接。由此，基站114b可不经由核心网络106/107/109 来接入因特网110。
[0034] RAN 103/104/105可以与核心网络106/107/109通信，该核心网络106/107/109可 以是被配置成将语音、数据、应用和/或通过网际协议的语音(VoIP)服务提供到WTRU 102a、 102b、102c、102d中的一者或多者的任何类型的网络。例如，核心网络106/107/109可以提供 呼叫控制、账单服务、基于移动定位的服务、预付费呼叫、因特网连接、视频分配等，和/或执 行高级安全性功能，例如用户认证。尽管图1A中未示出，可以理解RAN103/104/105和/或核 心网络106/107/109可以直接或间接地与其他RAN进行通信，这些其他RAN使用与RAN 103/ 104/105相同的RAT或者不同的RAT。例如，除了连接到可以采用E-UTRA无线电技术的RAN 103/104/105,核心网络106/107/109也可以与使用GSM无线电技术的其他RAN(未显示)通 ?目。
[0035] 核心网络 106/107/109 也可以用作 WTRU 102&、10213、102(3、102(1接入？5了~108、因 特网110、和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电 路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络及装置的全球 系统，所述公共通信协议例如是传输控制协议(TCP)/网际协议(IP)因特网协议套件中的传 输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。所述网络112可以包括由其他服 务提供方拥有和/或运营的无线或有线通信网络。例如，网络112可以包括连接到一个或多 个RAN的另一核心网，这些RAN可以使用与RAN 103/104/105相同的RAT或者不同的RAT。
[0036] 通信系统100中的WTRU 102&、10213、102(3、102(1中的一些或者全部可以包括多模式 能力，即WTRU 102a、102b、102c、102d可以包括用于通过不同的通信链路与不同的无线网络 进行通信的多个收发信机。例如，图1A中显示的WTRU 102c可以被配置成与可使用基于蜂窝 的无线电技术的基站114a进行通信，并且与可使用IEEE 802无线电技术的基站114b进行通 ?目。
[0037] 图1B是示例WTRU 102的系统图。如图1B所示，WTRU 102可以包括处理器118、收发 信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示屏/触摸板128、不可移除存 储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136、和其他外围设备138。 应该理解的是，在保持与实施方式一致的情况下，WTRU 102可以包括上述元件的任何子组 合。同样，实施方式设想基站114a和114b，和/或基站114a和114b可以表示的节点（例如但不 限于收发信机站(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节 点B)、家庭演进型节点B(HeNB或He节点B)、家庭演进型节点B网关、以及代理节点等等)可以 包括图1B中描述的以及这里描述的元件的一些或全部。
[0038] 处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、 多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路 (ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路（1C)、状态机等。处理器 118可以执行信号编码、数据处理、功率控制、输入/输出处理和/或使得WTRU 102能够运行 在无线环境中的其他任何功能。处理器118可以耦合到收发信机120,该收发信机120可以耦 合到发射/接收元件122。尽管图1B中将处理器118和收发信机120描述为独立的组件，但是 处理器118和收发信机120可以被一起集成到电子封装或者芯片中。
[0039] 发射/接收元件122可以被配置成通过空中接口 115/116/117将信号传送到基站 (例如，基站114a)，或者从基站(例如，基站114a)接收信号。例如，在一个实施方式中，发射/ 接收元件122可以是被配置成传送和/或接收RF信号的天线。在另一个实施方式中，发射/接 收元件122可以是被配置成发送和/或接收例如IR、UV或者可见光信号的发射器/检测器。在 另一个实施方式中，发射/接收元件122可以被配置成传送和接收RF信号和光信号两者。可 以理解发射/接收元件122可以被配置成传送和/或接收无线信号的任意组合。
[0040] 此外，尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU102可以包括 任何数量的发射/接收元件122。更具体地，WTRU 102可以使用ΜΜ0技术。由此，在一个实施 方式中，WTRU 102可以包括两个或更多个发射/接收元件122(例如，多个天线）以用于通过 空中接口 115/116/117发射和/或接收无线信号。
[0041] 收发信机120可以被配置成对将由发射/接收元件122发送的信号进行调制，并且 被配置成对由发射/接收元件122接收的信号进行解调。如上所述，WTRU 102可以具有多模 式能力。由此，收发信机120可以包括多个收发信机以用于使得WTRU 102能够经由多个RAT 进行通信，例如UTRA和IEEE802.11。
[0042] WTRU 102的处理器118可以被耦合到扬声器/麦克风124、键盘126、和/或显示屏/ 触摸板128 (例如，液晶显示(LCD)显示单元或者有机发光二极管(0LED)显示单元），并且可 以从上述装置接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126、和/或 显示屏/触摸板128输出用户数据。此外，处理器118可以访问来自任何类型的合适的存储器 中的信息，以及向任何类型的合适的存储器中存储数据，所述存储器例如可以是不可移除 存储器130和/或可移除存储器132。不可移除存储器130可以包括随机存取存储器(RAM)、只 读存储器(R0M)、硬盘或者任何其他类型的存储器存储装置。可移除存储器132可以包括订 户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以 访问来自物理上未位于WTRU 102上（例如位于服务器或者家用计算机(未示出）上）的存储 器的数据，以及在该存储器中存储数据。
[0043] 处理器118可以从电源134接收电能，并且可以被配置成将该电能分配给WTRU 102 中的其他组件和/或对至WTRU 102中的其他组件的电能进行控制。电源134可以是任何适用 于给WTRU 102供电的装置。例如，电源134可以包括一个或多个干电池（镍镉(NiCd)、镍锌 (NiZn)、镍氢(NiMH)、锂离子(Li-ion)等）、太阳能电池、燃料电池等。
[0044] 处理器118还可以耦合到GPS芯片组136,该GPS芯片组136可以被配置成提供关于 WTRU 102的当前位置的位置信息（例如，经度和炜度）。作为来自GPS芯片组136的信息的补 充或者替代，WTRU 102可以通过空中接口 115/116/117从基站（例如，基站114a、114b)接收 位置信息，和/或基于从两个或更多个相邻基站接收到的信号的定时来确定其位置。可以理 解，在保持与实施方式一致性的同时，WTRU可以通过任何合适的位置确定实施方法来获取 位置信息。
[0045] 处理器118还可以耦合到其他外围设备138,该外围设备138可以包括提供附加特 征、功能、和/或无线或有线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以 包括加速度计、电子指南针(e-compass)、卫星收发信机、数字相机(用于照片或者视频）、通 用串行总线(USB)端口、振动装置、电视收发信机、免持耳机、蓝牙?模块、调频(FM)无线电 单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
[0046] 图1C为根据一种实施方式的RAN 103及核心网络106的系统图。如上所述，RAN 103 可使用UTRA无线电技术通过空中接口 115与WTRU 102a、102b、102c通信。RAN 103还可以与 核心网络106进行通信。如图1C所示，RAN 103可包括节点B 140a、140b、140c，节点B 140a、 140b、140c每一者均可包括一个或多个用于通过空中接口 115与WTRU 102a、102b、102c通信 的收发信机。节点B 140a、140b、140c中的每一者均可与RAN 103中的特定小区（未示出）相 关联。RAN 103还可以包括RNC 142a、142b。可以理解在保持与实施方式一致性的同时，RAN 103可以包括任意数量的节点B和RNC。
[0047] 如图1C所示，节点B 140a、140b可以与RNC 142a通信。此外，节点B 140c可以与RNC 142b通信。节点B 140a、140b、140c可以经由Iub接口与各自的RNC 142a、142b通信。RNC 142a、142b可以经由Iur接口彼此通信。RNC 142a、142b的每一个可以被配置成控制其连接 的各自的节点B140a、140b、140c。此外，RNC 142a、142b的每一个可以被配制成执行或支持 其他功能，例如外环功率控制、负载控制、准许控制、分组调度、切换控制、宏分集、安全功 能、数据加密等。
[0048] 图1C中示出的核心网络106可以包括媒体网关(MGW) 144、移动交换中心(MSC) 146、 服务GPRS支持节点（SGSNH48、和/或网关GPRS支持节点(GGSN)150。尽管前述每一个元件被 描述为核心网络106的一部分，但这些元件的任何一个可以由除核心网络运营方之外的实 体所拥有和/或操作。
[0049] RAN 103中的RNC 142a可以经由IuCS接口连接到核心网络106中的MSC 146JSC 146 可以连接到MGW 144 JSC 146 和 MGW 144 可以给 WTRU 102a、102b、102c 提供对例如 PSTN 108的电路交换网络的接入，以促进WTRU 102a、102b、102c与传统路线通信装置之间的通 ?目。
[0050] RAN 103中的RNC 102a还可以经由IuPS接口连接到核心网络106中的SGSN 148。 SGSN 148 可以连接到GGSN 150 AGSN 148 和 GGSN 150 可以给 WTRU 102a、102b、102c 提供对 例如因特网110的分组交换网络的接入，以促进WTRU 102a、102b、102c与IP使能装置之间的 通信。
[0051]如上所述，核心网络106还可以连接到网络112,网络112可以包括其他服务提供方 拥有和/或运营的其他有线或无线网络。
[0052]图1D为根据一种实施方式的RAN 104及核心网络107的系统图。如上所述，RAN 104 可使用E-UTRA无线电技术通过空中接口 116与WTRU102a、102b、102c通信。RAN 104还可以与 核心网络107进行通信。
[0053] RAN 104可包括e节点B 16〇3、16013、160(3，但可以理解1^~104可以包括任意数量 的e节点B而保持与实施方式一致。e节点B 160a、160b、160c每一者均可包括用于通过空中 接口 116与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施方式中，e节点B 160a、160b、160c可以实施ΜΜ0技术。从而，例如e节点B 160a可以使用多个天线来向WTRU l〇2a发射无线信号并从WTRU 102a接收无线信号。
[0054] e节点B 160a、160b、160c中的每一个可以与特定小区（未示出）相关联，并可被配 置为处理无线电资源管理决定、切换决定、在上行链路和/或下行链路中对用户进行调度 等。如图1D所示，e节点B 160a、160b、160c可以通过X2接口互相通信。
[0055] 图1D中示出的核心网络107可以包括移动性管理网关(MME) 162、服务网关164、和 分组数据网(PDN)网关166。虽然上述元件中的每一个都被描述为核心网络107的一部分，这 些元件中的任何一个可被除核心网络运营商之外的实体所拥有和/或操作。
[0056] MME 162可经由S1接口连接到RAN 104中的e节点B 160a、160b、160c中的每一个， 并可充当控制节点。例如，MME 162可负责认证WTRU102a、102b、102c的用户、承载激活/去激 活、在WTRU 102a、102b、102c的初始附着期间选择特定服务网关，等等。MME 162还可提供控 制平面功能，以用于在RAN 104和使用其它无线电技术(比如GSM或WCDMA)的其它RAN(未示 出）之间进行切换。
[0057] 服务网关164可经由S1接口连接到RAN 104中的e节点B 160a、160b、160c中的每一 个。服务网关164可以一般地向/从WTRU 102a、102b、102c路由并转发用户数据分组。服务网 关164还可执行其它功能，比如在e节点B间切换期间锚定用户平面、当下行链路数据对WTRU 102a、102b、102c是可用的时触发寻呼、管理并存储WTRU 102a、102b、102c的上下文，等等。 [0058] 服务网关164还可连接到PDN 166,其可向WTRU 102a、102b、102c提供到分组交换 网络(比如因特网110)的接入，以促进WTRU 102a、102b、102c和IP使能装置之间的通信。 [0059] 核心网络107可以促进与其它网络的通信。例如，核心网络107可以向WTRU 102a、 102b、102c提供到电路交换网络（比如PSTN 108)的接入，以促进WTRU 102a、102b、102c和传 统陆线通信装置之间的通信。例如，核心网络107可以包括充当核心网络107与PSTN 108之 间的接口的IP网关(例如IP多媒体子系统（MS)服务器)或者可以与该IP网关通信。此外，核 心网络107可以向WTRU 102a、102b、102c提供到网络112的接入，网络112可包括由其他服务 提供商拥有和/或操作的其它有线或无线网络。
[0060]图1E是根据一种实施方式的RAN 105和核心网络109的系统图。RAN105可以是利用 IEEE 802.16无线电技术通过空中接口117与WTRU102a、102b、102c进行通信的接入服务网 (八51^)。如将在下面详细描述的，'^冊1023、10213、102(3、1^~105和核心网络109中的不同功 能实体之间的通信链路可被定义为参考点。
[0061 ] 如图1E中所示，RAN 105可包括基站180a、180b、180c和ASN网关182,但可以理解在 保持与实施方式一致性的同时RAN 105可以包括任意数量的基站和ASN网关。基站180a、 180b、180c每一个可以与RAN 105中的特定小区（未示出）相关联并且均可包括用于通过空 中接口 117与WTRU102a、102b、102c通信的一个或多个收发信机。在一种实施方式中，基站 180a、180b、180c可以实施MM)技术。从而，举例来讲，基站180a可以使用多个天线来向WTRU 102a发射无线信号并从WTRU 102a接收无线信号。基站180a、180b、180c还可提供移动性管 理功能，比如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行等。 ASN网关182可以充当业务聚集点并可负责寻呼、缓存订户简档、路由到核心网络109等。 [0062] WTRU 102a、102b、102c与RAN 105之间的空中接口 117可被定义为实施IEEE 802.16规范的R1参考点。此外，WTRU 102a、102b、102c中的每一个可与核心网络109建立逻 辑接口（未示出）JTRU 102a、102b、102c和核心网络109之间的逻辑接口可被定义为R2参考 点，其可用于认证、授权、IP主机配置管理和/或移动性管理。
[0063] 基站180a、180b、180c中的每一个之间的通信链路可被定义为包括用于促进WTRU 切换和基站之间的数据转移的协议的R8参考点。基站180a、180b、180c和ASN网关182之间的 通信链路可被定义为R6参考点。R6参考点可包括用于促进基于与WTRU 102a、102b、102c中 的每一个相关联的移动性事件的移动性管理的协议。
[0064] 如图1E所示，RAN 105可连接到核心网络109 JAN 105和核心网络109之间的通信 链路可被定义为例如包括用于促进数据转移和移动性管理能力的协议的R3参考点。核心网 络109可包括移动性IP本地代理(MIP-HAH84、认证授权记账(AAA)服务器186、和网关188。 虽然上述元件中的每一个都被描述为核心网络109的一部分，但可以理解这些元件中的任 何一个可被除核心网络运营商之外的实体所拥有和/或操作。
[0065] 所述MIP-HA可以负责IP地址管理，并且可使得WTRU 102a、102b、102c在不同的ASN 和/或不同的核心网络之间路由。所述MIP-HA 184可向WTRU 102a、102b、102c提供到分组交 换网络（例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。 AAA服务器186可以用于负责用户认证和用于支持用户服务。网关188可促进与其他网络的 交互。例如，网关188可向WTRU 102a、102b、102c提供到电路交换网络（例如PSTN 108)的接 入，以便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。此外，网关188向WTRU 102a、102b、102c提供到网络112的接入，该网络112可包括由其他服务提供商所拥有和/或 操作的其他有线或无线网络。
[0066] 虽然未在图1E中示出，但应当理解的是，RAN 105可与其他ASN连接，并且核心网络 109可与其他核心网络连接。RAN 105与其他ASN之间的通信链路可被定义为R4参考点，其可 包括用于协调WTRU 102a、102b、102c在RAN 105与其他ASN之间的移动性的协议。核心网络 109与其他核心网络之间的通信链路可被定义为R5参考点，其可包括用于促进家用核心网 络与受访核心网络之间的交互的协议。
[0067]人机界面(HMI)可从一个或多个传感器接收数据(例如传感器数据）。所述HMI可基 于接收到的传感器数据确定用户的认知状态和/或用户的情感状态。所述HMI可适应用户的 认知状态和/或情感状态。所述HMI可向用户递送内容。所述内容可经由WTRU 102 (例如智能 手机或平板电脑等)递送给用户，如图1A至图1E所示。WTRU 102可包括处理器118和显示屏 128，如图18所示。此处所公开的系统400、500、600、700、800、900、1000、1100、1200和1300可 使用如图1C至图1E所示的系统架构实施。所述内容可包括视频数据、视频游戏数据、教学数 据和/或培训数据。
[0068] 可对与认知负荷和/或情感状态相关的一个或多个(例如多个)信号进行捕获。所 述一个或多个信号可包括接收自一个或多个传感器的传感器数据。例如，瞳孔放大可与认 知尝试(effort)关联。心理刺激引发的瞳孔扩张改变大约为0.5mm。瞳孔放大是由于副交感 神经系统的神经抑制机制产生的结果。图2是说明了对象在对不同难度等级的记忆进行编 码时对对象的瞳孔直径进行测量的研究结果示例的图示。参见图2,对记忆进行编码可与瞳 孔直径的增加相关。编码存档的难度等级可与瞳孔直径的增加幅度相关。
[0069] 对具有不同入侵(invasiveness)等级的认知负荷和/或情感状态的测量存在多种 途径。认知负荷和/或情感状态的测量途径可包括:皮肤电反应(GSR)或皮肤电活动、语音分 析、面部表情分析、肢体语言分析、眼球运动和注视点追踪、眨眼率分析、心率分析、血压分 析、呼吸速率分析、体温分析、和/或脑电描记。认知负荷和/或情感状态估计(例如确定)可 使用一个或多个认知负荷和/或情感状态的测量途径被执行(例如取决于数据获取的设置 和可行性）。
[0070] 情感计算可包括能够识别、解译、处理和/或模拟人类情感的系统和/或设备的学 习和研发。情感计算是一门跨越了至少计算机科学、心理学和/或认知科学的跨学科领域。 机器可以解译人类的情绪状态。所述机器可适应人类的情绪状态行为。所述机器可对人类 的情绪状态提供适当的响应。
[0071] 情感状态可被分类为一个或多个预定义情感状态。所述情感状态可在空间上进行 分类，如图3中的示例所示。所述一个或多个预定义情感状态可基于对人类情感的估计来作 出决定。图3是说明了示例二维空间300的图示，该示例二维空间300可用于通过相对效价绘 制觉醒来对情感状态进行分类。所述二维空间可包括一个或多个预定义情感状态。所述二 维空间可包括与效价轴垂直的觉醒轴。预定义情感状态可通过觉醒测量和效价测量来进行 定义。所述觉醒测量可包括相距觉醒轴的第一距离。所述效价测量可包括相距效价轴的第 二距离。所述一个或多个预定义情感状态可包括愤怒、紧张、恐惧、平静、快乐、悲伤、和/或 放松。举例来说，愤怒预定义情感状态可包括负效价测量和激动觉醒测量。根据另一实例， 紧张预定义情感状态可包括中度(moderate)负效价测量和中度激动觉醒测量。根据另一实 例，恐惧预定义情感状态可包括负效价测量和和中度激动觉醒测量。根据另一实例，平静预 定义情感状态可包括轻微激动或镇定效价测量和轻微正或负觉醒测量。根据另一实例，快 乐预定义情感状态可包括正效价测量和激动觉醒测量。根据另一实例，悲伤预定义情感状 态可包括负效价测量和镇定觉醒测量。根据另一实例，放松预定义情感状态可包括正效价 测量和镇定觉醒测量。觉醒可以是正被唤醒和/或刺激反应的生理和/或精神状态。效价是 对事件、对象、或形势的兴趣(例如正效价)或厌恶(例如负效价)的测量。
[0072] 可以对觉醒和/或效价进行追踪。例如，可经由语言分析、面部表情分析、肢体语言 分析、脑电描记、皮肤电反应(GSR)或皮肤电活动(例如对交感神经系统活动的测量(例如战 或逃反应））、震颤或运动分析、瞳孔测量、眼球运动和注视点分析、眨眼率分析、心率分析、 血压分析、呼吸速率分析、和/或体温分析来对觉醒和/或效价进行追踪。一个或多个预定义 情感状态可被确定并在绘制觉醒和效价的二维空间上进行绘制。一个预定义情感状态可与 一个或多个预定义情感状态同时发生。可对用户的觉醒测量和效价测量进行多次确定。在 所述多次确定中，觉醒测量和效价测量可在二维觉醒效价空间上进行测量和/或绘制。
[0073] 游戏设计者(例如视频游戏设计者)试图在游戏难易程度上实现平衡，如果太难会 让用户产生挫败感，如果太容易又会让用户感到无趣。可以使用集合了摄像机、加速计、运 动追踪器、注视点追踪器等的游戏平台来捕获传感器数据。可对所述传感器数据进行分析 以确定用户的情感和/或认知状态。对所述传感器数据进行分析包括对用户的被捕获的一 个或多个视频图像连同其他传感器输入数据(例如GSR、震颤、肢体语言、和/或面部表情)进 行分析。可基于所确定的情感和/或认知状态对游戏内容进行调整(例如增加或最大化用户 的参与度和/或减少或最小化耗损(attrition))。
[0074] 举例来说，当用户的效价和觉醒测量指示出游戏操作中有过度愤怒，则可通过降 低难度等级来自适应游戏内容。如果瞳孔计量(pupillometric)估计指示出用户处于饱和 (saturate)状态和/或无法编码记忆，则可基于瞳孔计量估计来调整游戏内容。系统可以开 环方式来实现这种权衡。例如，在用户以多于阈值次数尝试实现目标之后，所述系统会向用 户提供提示或另一形式的帮助。闭环方式能够对用户对游戏内容的响应作出更好的调整。 某些系统可允许用户选择游戏的难度等级。自适应难度模式可根据用户测量的情感和/或 认知状态来确定难度等级。由于可指示帮助的情感和/或认知状态能够提升用户的游戏体 验，因此所述系统可以提供这样的帮助和/或提示。自适应难度可基于用户的选择来启用或 禁用。
[0075] 图4是说明了示例情感和/或认知自适应游戏系统400中的示例信息流的框图。一 个或多个传感器402可获取与用户404关联的数据(例如传感器数据）。所述一个或多个传感 器402可提供所述数据以用于认知/情感状态估计(在406)。在406，所述认知/情感状态估计 可使用所述数据来确定(例如估计）用户的认知和/或情感状态。用户的认知状态可包括用 户的认知负荷。所确定的用户认知和/或情感状态信息可被提供以用于游戏难度自适应(在 408)。在408,所述游戏难度自适应可基于所确定的用户的认知和/或情感状态来调整游戏 的难度等级和/或确定提供给用户的提示和/或其他帮助。在408,由所述游戏难度自适应实 施的调整可由游戏引擎410来执行。所述游戏引擎410可向用户404呈现游戏体验。
[0076] 可对递送(例如插入）内容(例如一个或多个广告）的定时进行确定。递送定时可增 加(例如最大化)所述一个或多个广告的影响。用户的情感和/或认知状态可用于影响广告 植入(例如递送定时）。在用户会话期间，如果在错误的时刻(例如当用户由于其他活动处于 饱和状态)插入广告，营销消息可能会丢失，或者广告可能被忽略。通过追踪用户的情感和/ 或认知状态，系统可在某个时刻插入广告，而该时刻可增加或最大化消息递送的效力和/或 减小或最小化广告被忽略的频率(例如点击"跳过广告"）。对递送定时的调整可能不会对广 告插入的整体速率造成影响。对递送定时的调整可优化插入定时。例如，时间窗可包括其间 有广告插入的时间段。所述时间窗内的广告递送定时可基于用户的认知和/或情感状态来 确定。可基于在时间窗内的特定时刻对用户的可接受认知状态和/或可接受情感状态的检 测在所述时间窗内的所述特定时刻插入广告。在用户的情感和/或认知状态未在时间窗的 初期触发广告插入的情况下，可在所述时间窗的末期或快到末期的时刻触发所述广告。内 容浏览时间线可被一个或多个这样的时间窗覆盖或被划分成一个或多个这样的时间窗，由 此一个或多个广告在用户浏览所述内容时被插入。举例来说，一个一小时长的视频节目（或 者一小时的视频浏览，哪怕不是单个视频节目）可以被划分成五个十二分钟的时间窗，并且 可以使用用户的认知和/或情感状态来调整递送(例如插入)广告到这五个时间窗中的每一 时间窗的定时。采用这种方式，广告商可以将广告的递送时间设置为与用户的可接受认知 和/或情感状态一致，同时维持预先确定的广告插入的整体速率(例如每小时五个广告）。所 述时间窗可与标准化峰值检测器结合。所述标准化峰值检测器可基于用户的情感和/或认 知状态的活动平均来确定情感和/或认知状态标准。对广告植入的阈值情感和/或认知状态 可适应于具有较低平均响应的用户。
[0077]图5是说明了示例情感和/或认知自适应广告插入定时系统500中的示例信息流的 框图。一个或多个传感器502可获取与用户504关联的数据(例如传感器数据）。所述一个或 多个传感器502可为认知/情感状态估计506提供所述数据。所述认知/情感状态估计子系统 506可使用所述数据来确定(例如估计）用户504的认知和/或情感状态。举例来说，可基于所 述数据来确定用户的觉醒和效价。用户504的觉醒和效价可被绘制在二维觉醒和效价空间 上。用户504的情感状态可基于所绘制的用户504的觉醒和效价来确定。所述用户可基于觉 醒和效价的绘制来与一个或多个预定义的情感状态关联。用户504的认知状态可基于所述 数据来确定。用户504的认知状态可包括用户504的认知负荷。
[0078]用户504的被确定的认知和/或情感状态可被提供以用于广告递送定时508。所述 认知/情感状态估计506可经由网络510来提供。在508，所述广告递送定时可基于用户504的 所确定的认知和/或情感状态来确定递送(例如插入进度(schedule))-个或多个广告的定 时。广告插入可在用户处于可接受状态时触发。例如，当用户处于可接受状态时，可将广告 递送给用户。用户的情感状态可指示用户何时处于可接受状态。例如，可确定用户的情感状 态距预定义情感状态的距离测量。所述预定义情感状态可包括预定义觉醒测量和预定义效 价测量。当用户的情感状态距预先确定的情感状态的距离测量低于预先确定的阈值时，用 户处于可接受状态。当用户呈现适当高的觉醒和适当高的效价时，用户处于可接受状态。当 用户的认知负荷低于预先确定的阈值时，可将广告递送给用户。当用户能够对新的记忆进 行编码时，用户的认知负荷低于预先确定的阈值。
[0079] 在508,递送一个或多个广告的所确定的定时可被提供给内容发布商512。内容发 布商512可基于所确定的定时来向用户504递送所述一个或多个广告和/或其他内容。可使 用如图1C至图1E示出的系统架构来实现情感和/或认知自适应广告插入定时系统500。例 如，广告和/或内容可经由WTRU102(例如智能手机或平板电脑等)递送给用户，如图1C至图 1E所示。通过对用户的认知负荷进行监控并在用户能够编码新的记忆时触发(例如递送)广 告，对广告的营销消息的保留可得以增加或最大化。当用户的认知负荷低于预先确定的阈 值而递送广告时，可增加由于广告营销消息而导致用户行为改变的可能性。
[0080] 可使用用户的情感和/或认知状态来帮助驾驶员和/或飞行员。用户的认知状态的 比重较用户的情感状态更大（例如认知处理可以比情感状态更重要）。如此处所述，信息娱 乐系统的自适应可促进情感状态估计。例如，可基于驾驶员的情感状态来向驾驶员推荐音 乐。
[0081 ]在较低优先级界面警告的情况下，驾驶员或飞行员可能会注意力分散或处于饱和 状态，并且可能忽略掉高优先级的消息(例如碰撞警告）。可通过瞳孔测量(例如使用后视镜 或安装在仪表盘上的摄像头）、GSR(例如使用集成在方向盘或飞机支架上的GSR传感器）、声 音分析(例如由车辆通信系统捕获）、和/或来自车辆导航系统(例如基于GPS等)的信息来监 控用户的认知负荷。这些输入可被合成到用于提供一个或多个触发(例如针对用户界面警 告的动态触发）的认知负荷评估中。例如，如果燃油水平降到阈值之下，可以按时递送警告 以防止注意力分散和/或允许驾驶员的注意力保持在较高优先级任务上(例如避免碰撞）。 可基于驾驶员或飞行员的认知和/或情感状态来以按照优先级顺序的方式按时递送警告。 所述按照优先级顺序的方式可使得一个或多个危险警告立即得到处理(例如不发生延迟）。 根据按照优先级顺序的方式，较低优先级的警告可在驾驶员或飞行员的认知带宽（例如认 知负荷)使得驾驶员或飞行员将注意力集中在该较低优先级警告时进行递送。车辆导航系 统可用于追踪路线的关键点和/或触发对即将进行的演习(maneuver)发出警告。
[0082] 认知负荷可提供输入到一个或多个用户界面消息的定时。例如，如果驾驶员或飞 行员正在接近涉及演习的位置(例如根据预先计划的导航路线或飞行路线），该位置例如为 高速出口或航向改变，HMI可在监控认知负荷时递送一个或多个不重要的消息并基于用户 的认知负荷提供一个或多个指示。例如，如果瞳孔计量和/或皮肤电反应(GSR)测量指示了 驾驶员或飞行员并未处于心理活动饱和状态，在关键演习之前，界面可指示存在较低优先 级干扰(例如维护提醒等）。再例如，如果瞳孔计量和/或GSR测量指示了驾驶员或飞行员处 于心理活动饱和状态，则所述界面可忽略或延迟指示存在较低优先级干扰。
[0083] 图6是说明了示例情感和/或认知状态告警系统600中的示例信息流的框图。一个 或多个传感器602 (例如驾驶员或飞行员面对的摄像头、方向盘或支架安装的（yoke-mounted)GSR传感器等）可获取与驾驶员或飞行员604关联的数据。所述一个或多个传感器 602可向认知/情感状态估计606提供所述数据。在606,所述认知/情感状态估计可使用所述 数据来确定（例如估计）驾驶员或飞行员604的认知和/或情感状态。驾驶员或飞行员604的 认知状态可包括驾驶员或飞行员604的认知负荷。所确定的认知和/或情感状态可被提供用 于警告进度在608和/或音乐或多媒体选择在610。在608,所述警告进度可确定递送一个或 多个警告的定时以呈现在警告显示界面612上。递送所述一个或多个警告的定时可基于驾 驶员或飞行员604的所确定的认知和/或情感状态、来自车载导航系统614的信息、来自车辆 状态监控616的信息、和/或来自车辆通信系统618的信息。在610,音乐或多媒体选择可基于 驾驶员或飞行员604的所确定的情感状态来选择驾驶员或飞行员604的音乐和/或多媒体内 容。所选择的音乐和/或多媒体内容可经由车辆信息娱乐系统620递送给驾驶员或飞行员 604〇
[0084] 情感和/或认知状态可在教学设置（例如基于计算机的培训课程和/或课堂环境 (例如在线课堂））中得以使用。可使用一个或多个线索(cues)来确定学员参与度和保留率。 可使用所述一个或多个线索来控制信息流和/或所述信息流中的间断的定时。可使用学员 的认知和/或情感状态来确定呈现教材的定时（例如进度）。学员的认知状态可包括学员的 认知负荷。学员的认知和/或情感状态可被用作对重复和/或增强的触发。举例来说，如果对 某一主题的第一次呈现导致了负面情感(例如高觉醒和负效价），则该主题可被阐明和/或 可提供额外的实例。学员的认知和/或情感状态可由教员（例如在线教员）使用或在基于计 算机的培训中使用。例如，学员掌握教材的能力可基于学员的认知和/或情感状态来计算。 再例如，间断(例如适当的间断）的定时可基于学员的认知和/或情感状态来计算。基于计算 机的培训系统或在线培训系统可对课程的一个或多个学员进行监控。所述基于计算机的培 训系统或在线培训系统可提供对一个或多个学员的认知和/或情感状态的一个或多个指示 (例如报告）。例如，可在课程期间经由HMI将所述一个或多个指示呈现给在线课堂的教员。 基于一个或多个学员的认知和/或情感状态，所述基于计算机的培训系统或在线培训系统 可确定教学速率(例如当前速率）的效力和/或可监控可能有所发展的初期挫败感。在在线 培训(例如课堂）系统中，可(例如经由HMI)向教员提供建议，来改变教学进度、花费更多的 时间来强化与低(例如不足的)认知和/或情感状态相关联的教材、和/或花费更多的时间来 辅导被确认为具有低(例如不足的）认知和/或情感状态的一名或多名学员。在基于计算机 的培训(例如学习）系统中，可响应于对学员的低(例如不足的）认知和/或情感状态的检测 来自动调整教学进度(例如课程进度)和/或加强学生的教材。
[0085] 图7是说明了示例情感和/或认知自适应教学系统700中的示例信息流的框图。对 于基于计算机的培训，学员702可处于与计算机非常接近的位置。学员702的认知和/或情感 状态追踪可经由一个或多个传感器704来执行(例如经由前置摄像头）。所述一个或多个传 感器704可向认知/情感状态估计(在706)提供与学员702关联的数据(例如传感器数据）。在 706,所述认知/情感状态估计可基于所述传感器数据对学员702的认知和/或情感状态进行 估计。所确定的用户的认知和/或情感状态可被提供以分析进度、重复、回顾和/或间断的效 力。在708,所述进度、重复、回顾以及间断分析可向教员或基于计算机的培训子系统710指 示是否增强或减缓信息流的进度和/或是否回顾之前的主题。认知和/或情感状态追踪输入 可用于培训中的时间间断(例如向学员提供休息的时间并能够以更佳的状态和处于恢复水 平的认知资源回到培训课程中）。对于在线课堂设置，情感和/或认知自适应教学系统700可 在显示器(例如平视显示器(HUD，其在课程学习期间对于教员是可视的）上提供对学员接受 的指示。在课堂(例如在线课堂)的设置中，可使用一个或多个传感器704来追踪一个或多个 学员的认知负荷。所述一个或多个传感器704可被安装在课堂的前端。所述一个或多个传感 器704可对所述一个或多个学生的面部进行追踪。所述一个或多个传感器704可包括一个或 多个长焦镜头。所述一个或多个传感器704可使用机电控制（electromechanical steering)(例如，来为瞳孔计量测量提供足够的分辨率）。
[0086] 情感和/或认知状态可用于产品建议(例如广告选择）。内容提供商可基于反馈(例 如显式反馈）向用户提供建议。所述反馈可包括对"同意"按键的点击和/或用户先前作出的 浏览选择。零售商可基于用户的浏览和/或购买历史来建议(例如选择递送)一个或多个产 品。用户的认知和/或情感状态可以被追踪(例如，以对用户喜爱的产品和/或内容的广告选 择提供帮助）。例如，当呈现某种类型的视频、音频或产品之后用户显示出高等级的觉醒(例 如高觉醒测量)和正效价(例如开心）时，零售商可选择历史上已经得到类似用户的正面情 感响应的产品来递送。类似的用户可以包括具有与对感兴趣的当前用户对内容的情感响应 类似的响应的用户。具有类似响应的用户能够被用作当前(例如目标)用户对新内容的预期 响应的替代。
[0087] 图8是说明了示例情感和/或认知自适应产品建议系统800中的示例信息流的框 图。一个或多个传感器802可生成与用户804关联的数据(例如传感器数据）。所述一个或多 个传感器802可为认知/情感状态估计提供所述数据。所述认知/情感状态估计(在806)可基 于所述数据来估计(例如确定）用户的认知和/或情感状态。用户的认知和/或情感状态可针 对产品/内容建议来提供。用户的认知和/或情感状态可经由网络810针对产品/内容建议来 提供。在808,可基于用户的认知和/或情感状态对一个或多个产品或内容进行确定或选择 以递送给用户。所述产品/内容建议可基于历史上得到听众(audience)、其他用户、类似的 用户或当前用户的类似响应的一个或多个产品或内容来确定一个或多个产品或内容。由所 述产品/内容建议确定的一个或多个产品或内容可被提供给内容发布商或零售商812。所述 内容发布商或零售商812可为被选择以递送给用户804的一个或多个产品或内容递送广告。 所述情感和/或认知自适应产品建议系统800可使用如图1C至图1E示出的系统架构来实施。 例如，广告和/或内容可经由WTRU 102(例如智能手机或平板电脑等)来递送给用户，如图1C 至图1E所示。
[0088] 情感和/或认知自适应产品建议系统可在用户消费内容(例如广告)时追踪用户的 认知和/或情感状态。所述情感和/或认知自适应产品建议系统可在用户消费内容时对用户 的认知和/或情感状态进行分类。所述情感和/或认知自适应产品建议系统可在用户消费内 容时根据用户的认知和/或情感状态对一个或多个刺激（stimulus)/响应对进行分类。刺 激/响应对中的刺激可包括呈现给用户的信息(例如内容）。刺激/响应对中的响应可包括作 为对呈现给用户的信息的响应的用户的认知状态和/或情感状态。所述用户可基于所述一 个或多个刺激/响应对与消费者分类关联。所述一个或多个刺激/响应对可指示用户对内容 或产品的感受。所述一个或多个刺激/响应对可存储在数据库内。用户可基于所述一个或多 个刺激/响应对与消费者分类关联。可基于与用户关联的消费者分类选择递送给用户的广 告。所述情感和/或认知自适应产品建议系统可观测用户对不同内容或产品的响应，并且随 着时间的推移开发刺激响应模型。所述刺激响应模型可基于历史的用户对一个或多个先前 广告的响应。所述刺激响应模型可用于对用户的一个或多个偏好进行分类。所述刺激响应 模型可用于选择递送给用户的广告。所述刺激响应模型可基于用户对一个或多个产品的一 个或多个广告作出的一个或多个之前的响应来选择递送给用户的广告。例如，可基于用户 对第二产品的第二广告的之前的响应来选择递送给用户的第一产品的第一广告。
[0089] 图9是说明了示例消费者分类子系统900的框图，该示例消费者分类子系统900可 由产品建议系统(例如情感和/或认知自适应产品建议系统800)来使用或与所述产品建议 系统结合。当向用户904呈现内容和/或产品信息910时，一个或多个传感器902可生成与用 户904关联的数据(例如传感器数据）。所述一个或多个传感器902可提供数据至认知/情感 状态估计子系统906。所述认知/情感状态估计子系统906可使用所述数据来确定（例如估 计）用户904的认知和/或情感状态。所述认知/情感状态估计子系统906可向刺激/响应数据 库908提供用户904的所确定的认知和/或情感状态。所述认知/情感状态估计子系统906可 将用户904的所确定的认知和/或情感状态与内容和/或产品信息910结合。在912,所述消费 者分类子系统900可对刺激/响应条目进行处理以将用户904与消费者分类关联。所述消费 者分类可以是预定义的消费者分类。所述消费者分类子系统900可将分类信息、一个或多个 预定义的消费者分类、和/或一个或多个刺激/响应对存储到消费者分类数据库914中。所述 消费者分类数据库914可以是刺激响应数据库。
[0090] 举例来说，用户可被放置在(例如关联于)有关于喜爱某个内容或产品且不喜爱其 他内容或产品的分类。被广泛使用的内容(例如特定内容)和/或一个或多个产品（例如受欢 迎的内容和/或受欢迎的产品）可被用作用户吸引度的标记。被广泛使用的内容和/或一个 或多个产品可用于将一个或多个广告与一个或多个消费者分类关联。一个或多个广告选择 (例如产品建议)可基于相同或类似消费者分类中的一个或多个其他用户的刺激/响应对来 确定(例如通过推断一个或多个正面响应）。
[0091] 图10是说明了示例产品/内容建议子系统1000的框图。所述示例产品/内容建议子 系统1000可由产品建议系统(例如情感和/或认知自适应产品建议系统800)使用或与所述 产品建议系统结合。在1002,所述产品/内容建议子系统1000可对消费者的消费者分类进行 确定。所述产品/内容建议子系统1000可通过消费者分类数据库1004对消费者的消费者分 类进行确定。在1006,所述产品/内容建议子系统1000可从刺激/响应数据库1008中选择内 容和/或产品的一个或多个广告。所选择的内容和/或一个或多个广告可基于历史上得到类 似的消费者（例如与所述消费者处于相同消费者分类中的消费者）的正面响应来选择。在 1010，所述产品/内容建议子系统1 〇〇〇可将所选择的产品和/或内容的广告(例如建议)递送 (例如提供)给消费者。所述产品/内容建议子系统1000可使用如图1C至图1E示出的系统架 构来实施。例如，广告和/或产品可经由WTRU 102(例如智能手机或平板电脑等)递送给消费 者，如图1C至图1E所示。
[0092] 情感和/或认知自适应产品建议系统（例如情感和/或认知自适应产品建议系统 800)可指示注意第一内容或广告和/或购买第一产品的用户可能对第二内容和/或第二产 品感兴趣。注意和/或购买第一内容和/或第一产品的人可能不喜爱或满意第一内容和/或 第一产品。注意和/或购买第一内容和/或第一产品的用户可能不满意第二内容和/或第二 产品。
[0093] 通过对用户的情感和/或认知状态进行监控，不需要明确的用户反馈的情感和/或 认知自适应产品建议系统(例如情感和/或认知自适应产品建议系统800)能够向用户指示 (例如报告)具有类似体验或兴趣的喜爱或满意第一内容和/或第一产品的一个或多个用户 同样喜爱或同样满意第二内容和/或第二产品。情感和/或认知自适应产品建议系统可不要 求明确的用户反馈(例如避免对明确的用户反馈的需求）。所述情感和/或认知自适应产品 建议系统可提供更快速(例如更及时)和/或更直接的消费者满意度测量。例如，用户可能无 法意识到用户的喜好等级。再例如，用户可能会受到一个或多个临时性(trans ient)事件的 影响，所述临时性事件可能不会影响用户体验的用户评估。
[0094] 情感和/或认知状态可用于人机-机人互动，例如视频聊天。对一个或多个参与者 的情感和/或认知的分析可在两个或更多个参与者之间的实时视频聊天(例如视频电话）中 执行。一个或多个参与者的情感和/或认知分析可向一个或多个参与者提供信息以增强信 息流和/或信息内容。情感和/或认知分析可基于传感器数据确定一个或多个参与者的认知 状态和/或一个或多个参与者的情感状态。情感和/或认知状态分析可在人际关系上提供帮 助。例如，会话中的一个参与者可能会冒犯(例如在不知情的情况下得罪)另一参与者。当执 行情感状态分析时，可以增强两个或更多个参与者之间的互动（例如可以解决问题而不是 使问题悬而未决）。处于实时视频聊天一端的用户界面可合并认知和/或情感状态分析。可 在客户处(例如每一客户）或在处理会话视频(例如一个或多个会话视频流）的中央服务器 处针对认知和/或情感状态分析处理用户视频流。
[0095] 图11是说明了不例情感和/或认知自适应视频聊天系统1100的框图。所述情感和/ 或认知自适应视频聊天系统1100可包括一个或多个显示屏1102、1104、以及一个或多个摄 像头1106、1108。一个或多个视频客户端1110、1112可经由网络1114(例如因特网）相互通 信。所述一个或多个摄像头1106、1108和/或其他传感器(未在图11中示出）可向一个或多个 认知/情感状态估计子系统1116、1118提供数据。所述一个或多个认知/情感状态估计子系 统1116、1118可确定(例如估计)远程参与者的认知和/或情感状态。例如，认知/情感状态估 计子系统1116可使用来自摄像头1106的数据来确定靠近摄像头1106的参与者的认知和/或 情感状态。认知/情感状态估计子系统1118可使用来自摄像头1108的数据来确定（例如估 计)靠近摄像头1108的参与者的认知和/或情感状态。所述认知/情感状态估计子系统1116、 1118可将所确定的认知和/或情感状态信息提供给各自的视频注释(annotation)生成子系 统1120、1122。各自的视频注释生成子系统1120、1122可生成将分别使用显示屏1102、1104 显示的一个或多个注释(例如一个或多个视频注释）。所述情感和/或认知自适应视频聊天 系统1100可使用如图1C至图1E所示的系统架构来实施。例如，所述一个或多个显示屏1102、 1104可包括WTRU 102 (例如智能手机或平板电脑等），如图1C至图1E所示。
[0096] 视频注释的示例可包括对于第一方的指示，指示呼叫中的第二方(例如另一方)可 能有所困惑和/或可能希望澄清或重申（reiteration)。例如，所述第二方可能要求在继续 讨论(例如在处理信息时)之前有额外的时间。所述第二方可以被冒犯并且可能要求道歉或 其他形式的调解。所述第二方可能会超负荷并且可能要求在会话中中止或间断。所述第二 方可能被分离(例如不被关注）。认知/情感估计子系统可基于例如面部表情和/或认知和/ 或情感分析来确定(例如估计）另一方可能是具有欺骗性的。当一方被确定为具有欺骗性， 所述认知/情感估计子系统可指示该方为具有欺骗性的并且该方被提出警惕（例如提防该 方提供的响应、警惕任何欺骗性招数等）。
[0097] 可以执行解译。所述解译可通过增强一个或多个认知和/或情感状态参考对和/或 一个或多个解译来执行，来向一个或多个用户提供认知和/或情感状态的解译。图12是说明 了示例子系统1300的框图，该示例子系统1300可将培训数据填充到状态/解译数据库1202 中。所述培训数据可将一个或多个认知和/或情感状态与一个或多个解译相联系(例如被冒 犯、厌倦、欺骗、困惑等等）。认知/情感状态估计子系统1204可从一个或多个传感器1206接 收数据。所述一个或多个传感器1206可捕获与用户1208关联的一个或多个图像和/或生物 计量(biometric)数据。来自用户1208的一个或多个图像和/或生物计量数据可包括例如语 言分析、面部表情分析、肢体语言分析、眼球运动/注视点分析、眨眼率分析等等。所述认知/ 情感状态估计子系统1204可确定(例如估计）用户1208的认知和/或情感状态。所述认知/情 感状态估计子系统1204可基于所述一个或多个图像和/或生物计量数据来确定用户1208的 认知和/或情感状态。所述认知/情感状态估计子系统1204可将用户1208的所确定的认知 和/或情感状态填充到状态/解译数据库1202中。
[0098]图13是说明了示例视频注释生成子系统1300的框图。一个或多个传感器1302可捕 获与用户1304关联的一个或多个图像和/或生物计量数据。所述一个或多个图像和/或生物 计量数据可包括例如语言分析、面部表情分析、肢体语言分析、眼球运动/注视点分析、眨眼 率分析等等。所述一个或多个传感器1302可将所述一个或多个图像和/或生物计量数据提 供给认知/情感状态估计子系统1306。所述认知/情感状态估计子系统1306可确定（例如估 计）用户1304的认知和/或情感状态。所述认知/情感状态估计子系统1306可基于所述一个 或多个图像和/或生物计量数据来确定用户1304的认知和/或情感状态。可经由状态/解译 数据库1308来生成一个或多个认知和/或情感解译。在1310,视频注释生成子系统1300可提 供指示了所述一个或多个认知和/或情感解译的一个或多个视频注释。
[0099]此处描述的方法和手段可适用于任意组合，并且可适用于其他无线技术及其他服 务。
[0100] WTRU可涉及（ref er to)物理设备的标识或用户标识（例如订阅相关标识，例如 MS I SDN、S IP URI等）。WTRU可涉及基于应用的标识，例如针对每一应用使用的用户名。
[0101] 此处所述的过程可在结合至计算机可读存储介质中的计算机程序、软件和/或固 件中实现，以由计算机或处理器执行。计算机可读介质的示例包括但不限于电子信号(通过 有线或无线连接传送)和计算机可读存储媒介。计算机可读存储媒介的例子包括但不限于 只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓存存储器、半导体存储设备、例如内置 磁盘和可移动磁盘的磁媒介、磁光媒介、和/或光媒介（例如CD-ROM盘和/或数字多用途盘 (DVD)，但不限于此。与软件相关联的处理器可被用于实施在WTRU、UE、终端、基站、RNC或任 何主机中使用的射频收发信机。
【主权项】
1. 一种用于管理人机界面(ΗΜΙ)中的内容植入的方法，该方法包括： 从一个或多个传感器接收传感器数据； 基于接收到的数据确定用户的认知状态和所述用户的情感状态中的至少一者； 基于所确定的所述用户的认知状态和所确定的所述用户的情感状态中的至少一者确 定递送内容的定时，由此当所述用户的认知负荷低于预先确定的阈值或当所述用户的情感 状态指示所述用户处于可接受状态时，广告被递送给所述用户；以及 基于所确定的定时，经由所述HMI将所述内容递送给所述用户。2. 根据权利要求1所述的方法，其中所述传感器数据包括下列中的至少一者：拍摄数 据、皮肤电反应(GSR)数据、声音分析数据、面部表情分析数据、肢体语言分析数据、眼球运 动和注视点分析数据、眨眼率分析数据、脑电描记数据、皮肤电活动数据、瞳孔测量数据、心 率数据、血压数据、呼吸速率数据、以及体温数据。3. 根据权利要求1所述的方法，其中所述用户的认知状态包括所述用户的认知负荷。4. 根据权利要求1所述的方法，其中所述用户的情感状态包括觉醒测量和效价测量。5. 根据权利要求4所述的方法，其中所述用户的情感状态指示当所述用户的情感状态 到预定义的情感状态的距离测量低于预先确定的阈值时所述用户处于可接受状态，并且其 中所述预定义的情感状态包括预定义的觉醒测量和预定义的效价测量，并且其中所述距离 测量基于所述用户的情感状态与所述预定义的情感状态之间的距离，并且其中所述距离测 量包括觉醒测量和效价测量。6. 根据权利要求1所述的方法，该方法还包括:基于所述用户的认知状态和所述用户的 情感状态中的至少一者选择用于递送给所述用户的内容。7. 根据权利要求1所述的方法，该方法还包括:基于所述用户的刺激响应模型来选择用 于递送给所述用户的内容，所述用户的刺激响应模型基于对于先前内容的历史用户响应。8. 根据权利要求1所述的方法，该方法还包括:基于包括所述用户的预定义的消费者分 类中的消费者刺激响应数据库来选择用于递送给所述用户的内容。9. 根据权利要求1所述的方法，该方法还包括： 基于刺激/响应对将所述用户与消费者分类关联，所述刺激/响应对基于呈现给所述用 户的信息以及所述用户的响应于所呈现的信息的认知状态和情感状态中的至少一者；以及 基于与所述用户关联的消费者分类来选择用于递送给所述用户的内容。10. 根据权利要求1所述的方法，其中所述内容是第一产品的第一广告，所述方法还包 括:基于所述用户的对第二产品的第二广告的先前响应来选择用于递送给所述用户的所述 第一广告。11. 根据权利要求1所述的方法，其中所述内容是第一内容，所述方法还包括： 经由所述HMI将第二内容递送给所述用户，其中所述第二内容包括下列中的至少一者： 视频数据、视频游戏数据、教学数据、以及培训数据；以及 基于递送给所述用户的所述第二内容以及所述用户的响应于递送给所述用户的第二 内容的认知状态和情感状态中的至少一者存储刺激/响应对。12. 根据权利要求1所述的方法，其中确定所述用户的认知状态和所述用户的情感状态 中的至少一者包括： 对接收到的传感器数据进行分析； 在二维觉醒效价空间上绘制觉醒测量和效价测量；以及 基于所述绘制，将所述用户与一个或多个预定义的情感状态关联。13. 根据权利要求1所述的方法，其中所述内容包括广告。14. 一种被配置成管理人机界面(HMI)中的内容植入的系统，该系统包括： 处理器，至少部分被配置成： 从一个或多个传感器接收传感器数据； 基于接收到的传感器数据确定用户的认知状态和所述用户的情感状态中的至少一者； 基于所确定的所述用户的认知状态和所确定的所述用户的情感状态中的至少一者确 定递送内容的定时，由此当所述用户的认知负荷低于预先确定的阈值或当所述用户的情感 状态指示所述用户处于可接受状态时，广告被递送给所述用户；以及 基于所确定的定时，经由所述HMI将所述内容递送给所述用户。15. 根据权利要求14所述的系统，其中所述传感器数据包括下列中的至少一者：拍摄数 据、皮肤电反应(GSR)数据、声音分析数据、面部表情分析数据、肢体语言分析数据、眼球运 动和注视点分析数据、眨眼率分析数据、脑电描记数据、皮肤电活动数据、瞳孔测量数据、心 率数据、血压数据、呼吸速率数据、以及体温数据。16. 根据权利要求14所述的系统，其中所述用户的认知状态包括所述用户的认知负荷。17. 根据权利要求14所述的系统，其中所述用户的情感状态包括觉醒测量和效价测量。18. 根据权利要求17所述的系统，其中所述用户的情感状态指示当所述用户的情感状 态到预定义的情感状态的距离测量低于预先确定的阈值时所述用户处于可接受状态，并且 其中所述预定义的情感状态包括预定义的觉醒测量和预定义的效价测量，并且其中所述距 离测量基于所述用户的情感状态与所述预定义的情感状态之间的距离，并且其中所述距离 测量包括觉醒测量和效价测量。19. 根据权利要求14所述的系统，其中所述处理器还被配置成基于所述用户的认知状 态和所述用户的情感状态中的至少一者选择用于递送给所述用户的内容。20. 根据权利要求14所述的系统，其中所述处理器还被配置成基于所述用户的刺激响 应模型来选择用于递送给所述用户的内容，所述用户的刺激响应模型基于对于先前内容的 历史用户响应。21. 根据权利要求14所述的系统，其中所述处理器还被配置成基于包括所述用户的预 定义的消费者分类中的消费者刺激响应数据库来选择用于递送给所述用户的内容。22. 根据权利要求14所述的系统，其中所述处理器还被配置成： 基于刺激/响应对将所述用户与消费者分类关联，所述刺激/响应对基于呈现给所述用 户的信息以及所述用户的响应于所呈现的信息的认知状态和情感状态中的至少一者；以及 基于与所述用户关联的消费者分类来选择用于递送给所述用户的内容。23. 根据权利要求14所述的系统，其中所述内容是第一产品的第一广告，并且其中所述 处理器还被配置成:基于所述用户的对第二产品的第二广告的先前响应来选择用于递送给 所述用户的所述第一广告。24. 根据权利要求14所述的系统，其中所述内容是第一内容，并且所述处理器还被配置 成： 经由所述HMI将内容递送给所述用户，其中所述内容包括下列中的至少一者：视频数 据、视频游戏数据、教学数据、以及培训数据；以及 基于递送给所述用户的所述内容以及所述用户的响应于递送给所述用户的内容的认 知状态和情感状态中的至少一者存储刺激/响应对。25. 根据权利要求14所述的系统，其中所述处理器被配置成确定所述用户的认知状态 和所述用户的情感状态中的至少一者包括所述处理器还被配置成： 对接收到的传感器数据进行分析； 在二维觉醒效价空间上绘制觉醒测量和效价测量；以及 基于所述绘制，将所述用户与一个或多个预定义的情感状态关联。26. 根据权利要求14所述的系统，其中所述内容包括广告。
【文档编号】G06Q30/02GK106030642SQ201580009842
【公开日】2016年10月12日
【申请日】2015年2月23日
【发明人】G·S·斯滕伯格, Y·雷兹尼克, A·莱尔, S·罗卜, J·D·卡韦尔
【申请人】交互数字专利控股公司