用于与虚拟环境相互作用的方法和系统与流程

文档序号:14954987发布日期:2018-07-17 23:22阅读:249来源:国知局
本申请要求包括于2015年10月1日提交的美国临时申请第62/235,793号在35u.s.c.§119(e)下的权益在内的法律规定的任何和全部权益,因此将该临时申请的全部内容以引用的方式并入本文中。关于联邦资助研究的声明不适用微缩胶片附录的参考不适用本发明涉及如下的方法和系统:其监测关于至少一个人或受试者的物理、生理和/或生物信息,并且使用该物理、生理和/或生物信息或从该物理、生理和/或生物信息推导出的信息来与虚拟环境以及相关的系统和装置相互作用。更具体地,所述系统可以包括至少一个传感器,所述至少一个传感器用于检测至少一个人或受试者的状况并使用该信息来改变系统、游戏系统或虚拟现实系统的操作。
背景技术
::许多现有的游戏控制台包括遥控器和具有机载运动跟踪算法以跟踪参与者的动作的动作捕捉相机,然而,这些控制在跟踪身体移动方面能力有限。例如,xbox360相机基于光学检测来感测身体移动。根据用户的位置,运动检测算法很难看到所有的肢体移动,特别是当肢体深度相对于光学传感器存在差异时。此外,响应时间很慢。用于wii和其他相关控制台的遥控器通常包括内置的陀螺仪和加速计。已知oculusrift在用户爬楼梯或保持平衡时受到限制。当你的身体没有真正发生移动时,必须欺骗大脑,使大脑认为你正在攀爬。oculusrift无法感测在这些虚拟场景中用户是否会感觉不平衡。技术实现要素:本发明涉及如下的方法和系统:其适合于在虚拟环境(例如,视频游戏环境、增强现实环境或虚拟现实环境)中感测来自至少一个参与者的生理或生物度量信息,并使用该生理或生物度量信息(或从该生理信息推导出的信息)来改变虚拟环境,以例如增强用户体验或为用户定制虚拟环境。根据一些实施例,所述系统可以包括身体穿戴式传感器,所述身体穿戴式传感器可以感测诸如心率、emg(肌电图)、ekg(心电图)、eeg(脑电图)、呼吸、排汗、皮肤电反应(gsr:galvanicskinresponse)、姿态、步态和动作等生理信息,并且所述身体穿戴式传感器可以将这种信息发送到诸如游戏控制台等虚拟环境控制器,以向驱动视频游戏或虚拟环境的软件提供附加等级的输入。此外,所述身体穿戴式传感器可以包括智能传感器,所述智能传感器处理生理和/或生物度量信息以推导出诸如情绪状态、压力水平、焦虑和疲劳等其他度量值(metric),并且所述智能传感器还将这种信息发送到游戏控制台。所述游戏控制台可以使用生理和/或生物度量信息和/或推导出的度量值来改变音频和/或视频呈现的氛围、难度等级、对话、视频动作和其他方面,以为用户定制虚拟环境。如果至少一个所述传感器指示用户存在潜在的不安全状况(例如,他们的心率或呼吸超过阈值,或者他们的eeg信号表明例如可能导致癫痫或中风的不安全的大脑活动),则这种信息也可以用来通过关闭系统控制台来提供安全的操作环境。本发明涉及如下的方法:其监测人或受试者的物理、生理和/或生物状况,并且单独或与其他信息组合地使用这种信息,以通过将这种信息发送到控制虚拟环境的系统而直接或间接地影响或控制所述虚拟环境的至少一个方面,使所述系统可以在任何给定时间改变向用户呈现所述虚拟环境的方式或故事(例如,音频和/或视频呈现)流动的方式。根据本发明,可以由指示一些或全部人和/或受试者的至少一种状况的至少一个感测装置来监测至少一个人和/或受试者。所述状况可以包括物理状况,例如,人或受试者的定位和动作或者人或受试者的一部分的定位和动作。所述状况可以包括生理或生物状况,例如,人或受试者的功能和/或过程(process)的机械、物理、热学和/或生化方面。所述状况可以包括心理、情绪和精神状况,例如,心情、关注、专心、抑郁和警觉。可以收集且处理或分析关于至少一个人或受试者的感测信息,并可以将所述感测信息用作去往虚拟环境控制系统(例如,游戏控制台、虚拟现实控制器或增强现实控制器)的直接输入或将所述感测信息用来选择或修改去往虚拟环境控制系统的输入,所述虚拟环境控制系统控制人或受试者体验的虚拟环境。所述虚拟环境控制系统可以包括使得直接外部输入能够控制或影响虚拟环境的至少一个方面的应用程序编程接口(api:applicationprogramminginterface)。所述感测信息也可以用来修改常规输入(例如,游戏控制器、操纵杆和其他用户界面装置),以根据所述感测信息或感测状况来改变它们的响应特性(例如,响应、等待时间和/或幅度)。所述虚拟环境控制系统可以利用至少一种算法来确定是否修改环境或者系统或机器的操作。例如,所述算法可以使用表示至少一种感测状况的至少一个参数(或这些参数的变化率)来影响或修改所述虚拟环境控制系统的操作。例如,所述软件可以响应于用户的压力水平的变化(例如,诸如心率和呼吸速率等指示压力水平增大或减小的感测状况)而改变故事情节、图形、或音频的强度。在另一个示例中,所述算法可以将表示至少一种感测状况的至少一个参数与预定义的阈值(或范围)进行比较,并且基于所述比较的结果,不采取进一步的行动或着手修改虚拟环境或虚拟环境中呈现的故事情节。根据一些实施例,可以使视频游戏变得更难或更容易,或者可以改变视频游戏中参与者的虚拟表现(例如,化身)的健康以更紧密地符合感测状况(例如,如果参与者表现出疲劳和/或反应迟钝,则参与者的虚拟表现可以显示出健康下降)。类似地,在一些实施例中,参与者的虚拟表现可以显示出参与者的移动(例如,如果参与者跳跃、出现震颤或晃动、或甚至打喷嚏,则视频游戏中的虚拟表现也会呈现这些动作)。根据本发明的一些实施例,所述系统可以根据算法来确定至少一个参数的变化趋势或变化率,并且所述系统可以使用该变化率来调整虚拟环境中的时间和/或事件流,以例如制造悬念或使用户更享受游戏。根据本发明的一些实施例,传感器测量用户几乎不能控制或不能控制的生理和/或生物度量信息,并且可以分析该生理和/或生物度量信息以评估用户可能没有意识到并且有限地控制或无法控制的情绪和生理状况。所述生理和/或生物度量信息提供至少一个独特的输入,以影响所述虚拟环境控制系统的控制。在阅读了下面的附图、详细说明和权利要求之后,将更全面地理解本发明的这些和其他能力以及本发明本身。附图说明并入本说明书中的附图图示了本发明的至少一个示例性实施例,并且与详细说明一起用于解释这些发明创造的原理和应用。附图和详细说明是说明性的,并且旨在促进对本发明及其应用的理解而并非限制本发明的范围。这些说明性实施例可以在不脱离本发明的主旨和范围的情况下进行修改和改变。图1是根据本发明的一些实施例的系统的框图。图2是根据本发明的一些实施例的系统的框图。图3是根据本发明的一些实施例的感测装置的框图。图4是根据本发明的一些实施例的系统的框图。图5是根据本发明的一些实施例的系统的框图。图6示出了根据本发明的一些实施例的环境控制系统根据有意的用户输入(例如,游戏手柄或游戏控制器的输入)和无意的用户输入(例如,感测状况)而做出的响应的图表。具体实施方式本发明涉及用于根据至少一个人或受试者的至少一种感测状况来修改至少一个环境或系统的操作或状况的系统和方法。根据本发明,至少一个人和/或受试者可以由至少一个感测装置监测,所述至少一个感测装置可以检测并指示一些或全部人和/或受试者的至少一种状况。所述状况可以包括物理状况,例如,人或受试者的定位和动作或者人或受试者的一部分的定位和动作。所述状况可以包括生理或生物状况,例如,人或受试者的生物和生理功能和/或过程的机械、物理、热学和/或生化方面。感测状况的信息的至少一部分可以显示在显示器上。根据本发明的一些实施例,感测状况的信息可以用来修改系统(例如,一个装置或一组装置)的操作,以例如使计算机程序、功能或过程被执行(例如,启动或停止)或者改变正在执行的程序、功能或过程的流程。在一个示例中,运动传感器(例如,加速计)可以检测指示跑步或步行的运动特征,结果,系统可以使要执行的步伐跟踪计算机程序、功能或过程计算所走的步数和行进的距离。在另一个示例中,运动传感器(例如,加速计)可以将检测到的运动特征传输到游戏控制台或虚拟现实控制器,这可以使虚拟环境中的虚拟表现(例如,化身)显示出相同或夸大的运动特征。根据本发明的一些实施例,感测状况的信息可以用来修改系统(例如,一个装置或一组装置)的操作,以例如使其他传感器被激活,从而可以将所述其他传感器的数据用作新开始或正在进行的用于监测人或受试者的计算机程序、功能或过程的一部分。在一个示例中,温度传感器可以检测人或受试者的温度的升高(例如,超过阈值或稳态体温),结果,系统可以激活传感器来检测心率(例如,ekg)和/或呼吸,因此,系统可以开始监测作为新开始或正在进行的用户健康监测程序、功能或过程的一部分的心率和/或呼吸。类似地,温度升高到高于指定阈值可以触发用户的虚拟表现在虚拟环境中排汗。根据本发明的一些实施例,这些感测状况可以用来控制游戏控制台或虚拟现实控制器130的操作。图1示出了根据本发明的一些实施例的系统100的示例。在该实施例中,系统100可以包括至少一个感测装置110以及游戏控制台或虚拟现实控制器130。系统100还可以包括用于可选地将游戏控制台或虚拟现实控制器130连接到诸如因特网等网络120的网络接口。感测装置110可以是能够检测或测量物理、生理或生物功能的任何装置,并且系统100中可以包括不止一个感测装置。各个感测装置110可以配置有至少一个诸如芯片微控制器上的低电力系统等控制器或微控制器、相关的存储器和诸如电池等电源。所述控制器可以被配置成运行至少一个数字信号处理算法和/或原始数据信号处理算法。各个感测装置110可以包括至少一个诸如加速计、陀螺仪、温度传感器、光传感器(例如,可见光和不可见光传感器)、声音传感器、生物电位电极(例如,ecg、emg、eeg)和其他传感器等传感器。各个感测装置110可以被配置成将传感器数据发送到游戏控制台或虚拟现实控制器130。传感器数据可以包括原始传感器信号数据、处理后的传感器信号数据(例如,滤波、缩放、分段后的传感器信号数据)、信号特征(例如,主频、范围、均方根值)和算法输出(例如,跌倒检测报警、震颤评分、姿态质量)。传感器数据可以包括其他信息,例如元数据(例如,关于传感器装置的信息、日期、时间、传感器数据的类型以及刻度或单位)。传感器和传感器数据类型的一些示例包括但不限于:用于测量心电图波形、心率、心率变异性、来自不同肌肉群(例如,胫骨前肌)的肌电图、脑电图、眼电图(electro-oculagram)的干式凝胶增强型电极(dryandgel-enhancedelectrode)和电极阵列;用于从浅动脉和呼吸模式测量脉搏波形的应变计;用于机械能量收集和脉冲波形测量的压电传感器和致动器;诸如热电偶和热敏电阻(用于测量体心和体表温度)等温度传感器;光学传感器和/或光电检测器(用于紫外线、可见光分析和/或比色分析);ph传感器;生物分析物传感器(例如,用于钾、钠、钙、葡萄糖、激素、蛋白质);化学/气体传感器(用于污染物、致命气体、汞);用于捕捉和分析(例如,针对组成和体积)包括汗液和油脂在内的皮肤分泌物的微流体传感器。根据本发明的一些实施例,感测装置110可以粘附到用户的头部、肩部、手臂、手、躯干、胸部、腿和脚上。其他传感器数据可以包括根据原始传感器数据随时间或频率的变化而推导出的衍生传感器数据(例如,衍生数据)。可以通过各种众所周知的用于去除噪声或表征原始传感器数据的集合或单元(例如,表征为特征、标记和/或消息)的处理而从原始传感器数据推导出处理后的传感器数据。感测装置110可以包括处理器和相关的存储器,并且感测装置110可以执行至少一个周期性地收集传感器数据的计算机程序。感测装置110可以包括通信系统,该通信系统使原始传感器数据或处理后的传感器数据能够被传输到诸如游戏控制台或虚拟现实控制器130等远程装置或系统。所述通信系统可以适合于提供与诸如游戏控制台或虚拟现实控制器130等远程装置之间的有线或无线通信。各个感测装置110可以采取许多形式,例如包括:可以粘附到皮肤上的可弯曲或可伸缩的适形感测装置;可以戴在身体上的手镯或带子;衣着类用品;或可以抵靠着身体或邻接着身体而放置的垫或板。感测装置110可以检测和测量人或受试者的物理运动。感测装置110可以检测和测量人或受试者的姿态或步态。感测装置110可以检测和测量温度、周围环境温度以及人或受试者(例如,体心和/或体表)的温度。感测装置110可以检测和测量人或受试者的脉搏、血压、排汗、皮肤电反应(gsr)和/或血氧。感测装置可以检测和测量生物电位(例如,ekg、emg和eeg信号)、应变、体表温度、体心温度、汗液中的盐浓度、汗液流失率、血液微量营养素水平、汗液中的葡萄糖浓度、可见光/红外线/紫外线辐射、接触压力、气压、皮肤应变、皮肤模量,并且可以使用超声波换能器生成人或受试者的皮下结构的图像。汗液传感器可以包括在2015年3月2日提交的题目为“perspirationsensor(排汗传感器)”的共有美国专利申请系列第62/127,124号以及2016年3月1日提交的题目为“perspirationsensor(排汗传感器)”的美国专利申请系列第15/057,762号中公开的传感器,这两个专利申请的全部内容以引用的方式并入本文中。感测装置110可以周期性地(例如,以1hz、5hz、10hz、60hz或更高hz)对至少一个传感器的输出进行采样,并且在必要时将信号转换为数字数据。该数字数据可以被缓冲、存储和/或流向至少一个远程装置。游戏控制台或虚拟现实控制器130可以包括处理器和相关的存储器(例如,用于存储程序和数据的易失性存储器和非易失性存储器)。所述处理器可以包括中央处理单元(cpu:centralprocessingunit)和图形处理单元(gpu:graphicsprocessingunit)中的至少一者。游戏控制台或虚拟现实控制器130可以是任何已知的能够与感测装置110进行通信的游戏控制台或虚拟现实控制器。例如,游戏控制台或虚拟现实控制器可以为nintendo的的playstationtm的wiitm以及的dreamcast或控制台。游戏控制台或虚拟现实控制器130可以从至少一个感测装置110接收信息并且改变其操作(例如,改变视频游戏的氛围、难度等级、对话、视频动作或其他方面),从而改变用户的虚拟环境。根据一些实施例,至少一个感测装置110可以通过诸如智能电话或其他计算设备150等中间装置而与游戏控制台或虚拟现实控制器130进行通信。根据本发明的一些实施例,游戏控制台或虚拟现实控制器130可以连接到显示器132、用户输入装置134以及可选的运动跟踪器136。游戏控制台或虚拟现实控制器130可以传输要在显示器132上呈现的内容(例如,图像或视频)。游戏控制台或虚拟现实控制器130可以根据从至少一个感测装置110、用户输入装置134和/或运动跟踪器136接收过来的信息来调整在显示器132上呈现的内容(例如,图像或视频)。显示器132可以是计算机屏幕、电视屏幕、投影仪屏幕、头戴式显示器或可穿戴式眼镜。根据本发明的一些实施例,至少一个用户输入装置134可以通过游戏端口或通用串行总线(usb:universalserialbus)端口连接到游戏控制台或虚拟现实控制器130。用户输入装置134可以用作用户向游戏控制台或虚拟现实控制器130提供输入的界面。用户输入装置134可以是包括至少一个按钮和/或触发器的手持装置。通过按压至少一个按钮和/或触发器,可以将输入传输到游戏控制台或虚拟现实控制器130。用户输入装置134还可以包括键盘/小键盘、定点设备(pointingdevice)(例如,鼠标、触摸板、轨迹球)和/或操纵杆。根据本发明的一些实施例,用户输入装置134可以与在xbox、playstation、nintendo或wii中使用的控制器基本类似。用户输入装置134也可以具有像枪一样的形状。根据本发明的一些实施例,运动跟踪器136可以被配置成跟踪或感测用户的运动或手势,并将表示检测到的运动或手势信息的数据传输到游戏控制台或虚拟现实控制器130。另外,运动跟踪器136可以包括面部识别和/或语音识别能力。游戏控制台或虚拟现实控制器130可以控制用户在虚拟环境中的虚拟表现,以显示与用户的运动或手势基本相同的运动或手势(例如,基本上实时地显示)。根据本发明的一些实施例,运动跟踪器136可以包括相机、传感器(例如,深度传感器)和麦克风。根据本发明的一些实施例,运动跟踪器136的所述传感器可以包括红外激光投影仪和cmos(互补金属氧化物半导体)传感器。根据本发明的一些实施例,运动跟踪器136可以与microsoft(商标)kinect运动感测系统或sony(商标)playstation运动感测相机基于类似。游戏控制台或虚拟现实控制器130可以使用任何有线或无线的通信频带(例如,usb、spi(串行外设接口)、bluetooth、wifi、zigbee、wmts、蜂窝数据以及工业、科学和医疗(ism:industrial,scientific,andmedical)频带通信)而与至少一个感测装置110进行通信。传感器装置110以及游戏控制台或虚拟现实控制器130可以使用工业标准通信协议或专有通信协议。游戏控制台或虚拟现实控制器130可以包括处理器和相关的存储器,它们可以从至少一个感测装置110接收原始传感器数据或处理后的传感器数据并且可以将这些数据存储在存储器中,以便用于进一步的处理或以便与诸如游戏服务器140等用于进一步处理的远程系统进行通信。游戏控制台或虚拟现实控制器130可以包括网络接口(例如,诸如以太网等有线网络接口,或诸如wifi或3g、4g、4glte移动数据等无线网络接口),该网络接口使得游戏控制台或虚拟现实控制器130能够与诸如计算机和游戏服务器140等其他系统以及其他的数据和信息源进行通信。根据本发明的一些实施例,游戏控制台或虚拟现实控制器130和/或游戏服务器140可以使用分析算法来进一步分析传感器数据,该分析算法自己处理传感器数据或以与其他可用数据组合的方式处理传感器数据。根据本发明的一些实施例,游戏控制台或虚拟现实控制器130可以分析传感器数据,并且至少根据传感器数据,直接与另一个装置进行通信以控制该装置(例如,显示器132)。例如,游戏控制台或虚拟现实控制器130可以从至少一个感测装置110接收指示用户的压力水平的传感器数据,并且根据该传感器数据,游戏控制台或虚拟现实控制器130可以直接增大、减小或维持游戏的难度等级。根据一些实施例,可以根据用于确定与传感器数据相关的至少一种状况是否满足至少一个指定标准(例如,阈值)或者将来是否有可能满足至少一个指定标准的至少一个算法或过程来处理传感器数据。这可以通过推断现有数据或通过分析数据的趋势来确定至少一种状况的将来的预测值并将该预测值与预定义阈值进行比较来完成。例如,如果用户的心率正如已记录下来的心率随时间而增加所显示的情况那样增加,则基于确定的变化率,算法可以确定警告时间,该警告时间例如是:用户的心率达到预定义阈值所需的时间量。根据警告时间,游戏控制台或虚拟现实控制器130可以关闭游戏或降低游戏的恐怖水平的难度等级,以确保用户的舒适性或安全性。图2示出了根据本发明的一些实施例的类似于系统100的系统200。在本实施例中,系统200可以包括至少一个感测装置110、网络120、游戏控制台或虚拟现实控制器130、以及游戏服务器140。游戏服务器140可以例如经由诸如lan或wan等网络120(例如,因特网)而连接到游戏控制台或虚拟现实控制器130。至少一个感测装置110可以例如通过将感测状况的信息传输到游戏控制台或虚拟现实控制器130来与游戏控制台或虚拟现实控制器130进行通信。根据本发明的一些实施例,至少一个感测装置110可以将感测状况的信息传输到外部集线器150而非游戏控制台或虚拟现实控制器130。外部集线器150进而可以将感测状况的信息传输到网络120。系统200可以包括与系统100相同的许多部件(例如,显示器132、用户输入装置134、运动跟踪器136)并且可以与系统100类似地操作。系统200与系统100之间的一个主要差异在于,系统200使用游戏服务器140来处理、分析和/或存储传感器数据。根据本发明的一些实施例,游戏控制台或虚拟现实控制器130可以将原始传感器数据或处理后的传感器数据(或原始传感器数据和处理后的传感器数据这二者)发送到游戏服务器140。然后,游戏服务器140可以控制游戏控制台或虚拟现实控制器130的全部或部分操作。游戏服务器140可以包括被配置成从至少一个感测装置110接收传感器数据的至少一个计算机。传感器数据可以由游戏控制台或虚拟现实控制器130通过公共网络或专用网络传输到游戏服务器140。根据一些实施例,游戏控制台或虚拟现实控制器130可以充当根据预定义的指令或配置将传感器数据转发到游戏服务器140的网关。游戏服务器140可以是例如能够根据预定义的分析方法或过程来接收、存储并分析传感器数据的大数据服务器(例如,基于hadoop或其他分析引擎)。根据一些实施例,作为预定义的分析方法或过程的结果,游戏服务器140可以生成至少一个命令和/或数据,并可以将这些命令和/或数据中的至少一个命令和/或数据发送到游戏控制台或虚拟现实控制器130。这些命令可以用来控制或改变游戏控制台或虚拟现实控制器130的操作,游戏控制台或虚拟现实控制器130进而控制或改变呈现在显示器132上的内容。根据本发明的一些实施例,存储在游戏服务器140中的数据可以被游戏开发者用来改进游戏体验。例如,基于传感器数据,游戏开发者可以识别用户对游戏具有肯定或否定反应的方面(例如,情节、图像、音乐或声音)。例如,可以通过增加用户具有肯定反应的那些方面的发生频率来改善游戏体验。在2015年9月22日提交的题目为“methodandsystemforcrowd-sourcedalgorithmdevelopment(用于众包算法开发的方法和系统)”的共有美国专利申请系列第62/221664号中说明了如何修改和测试游戏软件的示例,该专利申请的全部内容以引用的方式将并入本文中。根据本发明的一些实施例,游戏控制台或虚拟现实控制器130可以将至少一个命令(例如,用于执行至少一个功能或操作的指令、或者对已经开始或已经完成某一功能或操作的确认)和/或数据(例如,传感器数据或用户数据)发送到游戏服务器140。游戏服务器140可以解释并响应命令,以便例如检索数据或处理数据或改变游戏服务器140处理数据的方式。该响应可以包括命令(例如,确认或指令)和/或数据(例如,所请求的数据或信息、分析结果、或其他传感器数据)。游戏控制台或虚拟现实控制器130可以使用该数据,以便通过游戏控制台或虚拟现实控制器130上的算法进行进一步的分析或者以便确定是否应将至少一个命令和/或数据发送到显示器132。图3示出了根据本发明的感测装置110的一个实施例。根据本发明的一些实施例,感测装置110可以包括安装在装置岛(deviceisland)410上的多个部件,其中,各个装置岛410可以通过柔性互连件420连接到相邻的装置岛410,使得感测装置能够弯曲和伸缩并且能够符合诸如人或受试者(例如,动物)的身体表面等不规则表面。感测装置110可以被封装在诸如硅树脂或pdms(聚二甲基硅氧烷)等可弯曲或可伸缩的材料中。感测装置110可以包括使得感测装置能够粘附到人或受试者的皮肤或物体的表面上的粘合剂材料。感测装置110可以可选地包括使用户或个人能够使用视觉提示、听觉提示和感觉提示而与设备发生相互作用的至少一个用户界面组件,例如按钮、灯(例如,led)、显示器、扬声器或振动器。这些用户界面组件可以用来例如通过经由led和振动电机实现的视觉和触觉输出能力而直接向用户提供操作、配置和生物度量性能反馈。感测装置110可以包括处理器111、相关的存储器112以及充当电源的电池113。感应线圈117可以用来给电池113充电。感测装置110可以包括至少一个传感器,所述传感器包括加速计114、exg传感器115以及至少一个电极116。感测装置110还可以包括无线收发器118(例如,bluetooth(商标)、wifi、移动数据)和天线118a,以使感测装置110能够与游戏控制台或虚拟现实控制器130和/或智能电话或集线器150进行通信。根据一些实施例,存储器112可以存储包括操作系统(例如,linux)以及可以用来控制感测装置110的操作的至少一个应用程序、功能和过程在内的至少一个计算机程序。至少一个程序、功能或过程可以用来收集加速计数据以及温度数据,该加速计数据包括1维、2维或3维的运动和加速度信息。至少一个程序、功能或过程可以用来从exg传感器收集exg数据形式的生物电位。取决于至少一个程序、功能或过程是如何配置exg传感器115的,exg数据可以包括表示下列生物电位信号中的至少一种生物电位信号的数据:心电图(例如,ekg或ecg)信号、肌电图(例如,emg)信号或脑电图信号(例如,eeg)。感测装置110可以包括被放置为与皮肤直接或间接接触以接收这些信号的至少一个电极116(在图3所示的装置的背面上)。根据本发明的一些实施例,ekg数据可以用来确定心率和心率变异性以及恢复率,并且emg数据可以用来确定肌肉激活度。在一些实施例中,将至少一个传感器110放置在面部或颈部上可以导致反映个人情绪状态的emg数据。例如,传感器110可以放置成使电极116横跨脸颊和下颚。以这种方式,emg数据可以用来指示用户何时捏紧下巴-压力和不适的迹象。类似地,传感器110可以布置于面部、颈部或身体上的其他位置(例如,颈后、眉毛、脸颊和手、和/或手腕)以检测通常与心情和情绪状态相关的肌肉收缩。根据本发明的一些实施例,这些生物电位信号可以用来检测兴奋状态或疲劳状态(例如,高心率与低心率以及快肌反应与慢肌反应)。在操作中,可以使用至少一个程序、功能或过程来配置感测装置110,以收集原始传感器数据并将该数据存储在存储器112中。根据一些实施例,在处理器111上运行的至少一个程序、功能或过程可以处理和/或分析原始传感器数据,并可以例如通过对原始数据进行滤波以去除噪声和/或伪像和/或使原始传感器数据归一化来生成处理后的传感器数据。根据一些实施例,可以通过计算一组或多组数据样本的描述性分析(例如,最小值、最大值、平均值、中位值(medianvalues)、众数值(modevalues)、标准偏差和方差值以及诸如峰度等高阶矩)并且将这些值与一个更大一批的相关个体的对比值进行比较或将这些值与在同一个体上收集的先前测量值进行比较来进一步处理原始传感器数据和/或处理后的传感器数据。根据一些实施例,原始传感器数据和/或处理后的传感器数据可被进一步处理,以提取信号的特定特征或特性,比如主频、范围、均方根值、相关系数、心率、呼吸速率、节奏等。可以使用至少一种算法(例如,决策树、状态机(statemachine)和/或线性/逻辑回归)来进一步处理这些特征,以检测或预测事件(例如,用户动作、活动类型、发作、震颤)或者检测或预测状态(例如,心理状态、精神状况和/或态度)。根据一些实施例,原始传感器数据可以被转换成表示两个以上原始传感器数据值的标记或符号。可以在从传感器元件接收到原始传感器数据时对原始传感器数据进行实时处理,或者可以在接收到预定义数量的原始传感器数据值后以批量的形式对原始传感器数据进行处理。原始数据和处理后的数据可以存储在存储器112中,直到它们被传输到远程装置(例如,游戏控制台或虚拟现实控制器130、或者智能电话或集线器150)。感测装置110可以通过处理原始数据来确定例如活动类型检测、特定活动或特定身体位置的性能指标、手势识别、姿态质量和睡眠质量,由此实现对数据进行处理从而生成至少一个更高阶的生物度量值。感测装置110可以接收和处理外部命令,所述外部命令使装置修改其配置和/或修改其用于传感器数据的收集、处理和报告的操作,所述用于传感器数据的收集、处理和报告的操作包括:打开或关闭各种传感器组合、改变采样速率和测量范围、修改缓冲和滤波方案、以及对原始传感器输出应用不同的数字信号处理和算法,以围绕着活动跟踪、活动性能和活动质量数据而产生不同的数据流和/或不同组的更高阶的生物度量值。基于所确定的生物度量值和/或其他数据,感测装置110可以基于算法或一组规则来选择对特定活动或已经检测到的身体上的位置而言最佳的感测模式,且感测装置110可以自动修改其配置和/或自动修改其用于传感器数据的收集、处理和报告的操作,所述用于传感器数据的收集、处理和报告的操作包括:打开或关闭各种传感器组合、改变采样速率和测量范围、修改缓冲和滤波方案、以及对原始传感器输出应用不同的数字信号处理和算法,以围绕着活动跟踪、活动性能和活动质量数据而产生不同的数据流和/或不同组的更高阶的生物度量值。根据本发明的一些实施例,当使用例如无线收发器118(例如,bluetooth(商标)、wifi或zigbee)将感测装置110连接到智能电话或集线器130或可植入装置170时,可以使用无线收发器118将原始传感器数据和/或处理后的传感器数据传输到游戏控制台或虚拟现实控制器130,并将所述数据存储在游戏控制台或虚拟现实控制器130的存储器中。根据本发明的一些实施例,游戏控制台或虚拟现实控制器130可以将传感器数据传输到游戏服务器140,以用于长期存储和进一步分析。传感器数据可以被分析并用来修改游戏控制台或虚拟现实控制器130中的软件。系统100可以被配置成使许多不同的数据流成为可能。根据本发明的一些实施例,原始数据或处理后的传感器数据(度量值)可以从感测装置110通过游戏控制台或虚拟现实控制器130而流向游戏服务器140或与游戏服务器140相关的数据存储系统。传感器数据(例如,原始传感器数据或处理后的传感器数据)可以被预滤波、调节、操纵、或与游戏控制台或虚拟现实控制器130内的其他数据组合。传感器数据(例如,原始传感器数据或处理后的传感器数据)也可以被滤波、调节、操纵、或与数据存储器和游戏服务器140内的其他数据组合。根据本发明的一些实施例,处理后的传感器数据或其他数据可以通过游戏控制台或虚拟现实控制器130而从游戏服务器140流出并流回到感测装置110。处理后的数据(例如,命令、控制指令、或诸如用于系统升级和更新的软件和算法等更高阶的信息)可以从游戏服务器140流向游戏控制台或虚拟现实控制器130,并且可以通过游戏控制台或虚拟现实控制器130而流向感测装置110。数据可以被滤波、诠释、验证和/或与智能设备内的其他数据组合。数据也可以被滤波、诠释、验证和/或与感测装置110内的其他数据组合。图4是示出了根据本发明的一些实施例的系统100或200的操作的流程图400。在步骤410中,当用户使用游戏控制台或虚拟现实控制器130时,至少一个感测装置110测量用户的至少一个生理和/或生物参数以产生传感器数据。在412中,有线或无线控制台接口连接感测装置110和游戏控制台或虚拟现实控制器130,由此允许传感器数据从感测装置110传输到游戏控制台或虚拟现实控制器130(步骤412)。传感器数据也可以由游戏控制台或虚拟现实控制器130处理。在402中,可以基于传感器数据以及诸如按压按钮、移动操纵杆、使用手势和语音命令等有意的用户输入中的至少一者来改变由游戏控制台或虚拟现实控制器130控制的虚拟环境。在404中,在游戏控制台或虚拟现实控制器130接收并处理传感器数据(无意输入)之后,配备有操作系统的游戏控制台或虚拟现实控制器130可以基于该无意输入来改变呈现给用户的虚拟环境(例如,视觉、听觉、触觉、或这些的组合)。在406中,也可以基于有意的用户输入而改变虚拟环境。在被动地或主动地与改变后的虚拟环境相互作用的同时,用户可以例如通过按压按钮、移动操纵杆、使用手势或语音命令而有意地向游戏控制台或虚拟现实控制器130提供输入(步骤406)。402中的处理继续,即控制台操作系统根据有意输入(406)和无意输入(412)来改变虚拟环境,并将改变后的虚拟环境呈现给用户(404)。根据本发明的一些实施例,诸如感测装置110等身体穿戴式的适形传感器可以用来定量地测量人体的各种不同的生理和生物参数。这些生理和生物参数包括诸如ecg、emg和呼吸等生物电位以及与运动有关的加速度和角速度。ecg信号可以用来确定心率、心率变异性和恢复率。此外,ecg信号可以用来确定与心脏功能相关的异常情况(例如,发作和/或包括心动过速、心动过缓、心房颤动、心房扑动和/或室上性心动过速在内的心律失常)。emg信号可以用来确定肌肉激活度(例如,收缩、痉挛、震颤、僵硬、肌病和/或肌肉萎缩症)。原始加速计信号可以转化为如下的根据时间而变化的信号参数或特征:例如,特定频段中的频率内容、加速度矢量大小、加速度矢量方向等等,并且这些特征可以与如下的相关计量值相关联:例如,心率,呼吸速率,以及与步行、跑步、体力活动、姿态、震颤、咳嗽、打鼾、虚弱及跌倒相关的运动等特征。加速计信号也可以用来检测和/或测量例如发作、步态和平衡问题、步骤和/或节奏、能量消耗(与心率和/或呼吸速率一起)、运动范围以及其他活动类型(例如,游泳、骑自行车、划船、投掷、摆动、踢腿、拳击等。)这些参数可以用于检测或预测医疗状况和/或作为人类的总体健康和福祉的指标。根据本发明的一些实施例,包括身体穿戴式传感器的系统可以连接到信息网关(例如,智能电话或集线器130),以控制在用户附近的一组外部设备(例如,照明设备、加热设备、通风设备和空调)。该系统可以以协调的方式采取行动,以为用户提供增强的环境呈现。根据本发明的一些实施例,通过检测由胸腔的运动引起的机械振动和胸壁上所感测到的心律运动(心率),由附着在胸部的适形感测装置110捕获到的加速计数据可以用来检测和记录多个生理信号,所述多个生理信号包括心率、呼吸、休息时咳嗽。根据本发明的一些实施例,可以从加速计信号的高频部分导出心跳信息,并且可以从加速计信号的低频部分导出呼吸信息。例如,为了导出心率信息,可以通过高通截止频率为2hz且低通截止频率为45hz的带通滤波器对原始加速计数据进行滤波。然后,可以通过求出各轴的平方之和的平方根来确定x、y和z轴的结果。为了放大高频分量,可以对信号进行微分。微分后的信号可以由具有自适应阈值的状态机来处理,以检测出心跳并且使用潘-汤普金斯(pan-tompkins)或类似的算法来计算出心率。请参照以引用的方式并入本文中的如下文献:pan,jiapu;tompkins,willisj.,“areal-timeqrsdetectionalgorithm(实时qrs检测算法)”,biomedicalengineering,ieeetransactionson,vol.bme-32,no.3,pp.230,236,march1985。例如,为了导出呼吸速率的信息,可以使用具有2hz的截止频率的低通滤波器对原始加速计信号进行滤波。可以基于如下出版物中所描述的方法来估算呼吸速率:a.bates,m.j.ling,j.mannandd.k.arvind“respiratoryrateandflowwaveformestimationfromtri-axialaccelerometerdata(根据三轴加速计数据的呼吸速率和流量波形估算)”,int.conf.onwearableandimplantablebodysensornetworks,pages144-150,singapore,june2010。根据本发明的一些实施例,可以将单个适形感测装置110粘附到胸部上,以便仅使用加速计传感器来检测呼吸、心率、物理运动(和运动频率)和温度。传感器数据可以无线传输到游戏控制台或虚拟现实控制器130或者智能电话或集线器150。智能电话或集线器150可以进一步处理传感器数据和其他数据(例如,日期、时间、季节、环境温度、气压、gps位置、天气数据、新闻数据、历史数据和个人信息),并且可以将处理后的传感器数据和/或其他数据发送到游戏控制台或虚拟现实控制器130以修改给用户的呈现。例如,基于日期和个人数据,游戏或虚拟环境中的角色可以祝用户生日快乐或者通知用户他们有即将到来的约会。根据本发明的一些实施例,系统100可以用来使用户在视频游戏、虚拟现实或增强现实中的体验个性化。在一个实施例中,至少一个感测装置110可以将生理或生物度量信息(例如,心率、呼吸速率或运动)传输到游戏控制台或虚拟现实控制器130,所述生理或生物度量信息控制游戏控制台或虚拟现实控制器130中的用户的虚拟表现,以便显示该生理或生物度量信息的至少一部分。例如,虚拟表现(例如,用户的角色)可以具有与用户相同的心率和/或呼吸速率。在特定的示例中,系统可以监测用户的呼吸速率,并且可以在他/她以相同节奏瞄准的同时使用该信息来摆动狙击范围。在另一个示例中,可以使用检测到的用户的心率和呼吸速率来调整用户角色的力量或健康。至少一部分生理或生物度量信息可以显示在屏幕上,使得用户或其他用户可以在同一视频游戏或虚拟现实中查看信息。可以在虚拟现实会话结束时向用户显示生理或生物度量信息的摘要。例如,用户可以查看他/她的心率的统计数据。在又一个示例中,可以由感测装置110感测用户的步态、姿态或运动,并且该感测装置110上的传感器数据可以被传输到游戏控制台或虚拟现实控制器130;游戏控制台或虚拟现实控制器130可以控制用户的虚拟表现而实时显示与用户相同的步态、姿态或运动;游戏控制台或虚拟现实控制器130也可以控制用户的虚拟表现而显示与真实运动相比被夸大的运动。被夸大的运动可能在强度、速度和/或运动范围上被夸大。例如,用户在现实世界中的一系列踢腿动作可以在虚拟环境中被加速。虚拟环境中的动作也可以添加其他效果,例如慢动作。根据本发明的一些实施例,系统还可以允许多个用户(例如,至少2个、至少5个、至少10个或至少50个)在比现有技术更个人化的层面上在视频游戏、虚拟现实或增强现实中彼此互动。例如,用户可以查看其他用户的实时心率或呼吸速率;用户还可以实时查看其他用户通过他们在虚拟环境中的虚拟表现的动作而体现出的动作。系统100和200可以用于战斗模拟和作战训练的军事训练。根据本发明的一些实施例,系统100或200还可以通过基于由感测装置110测量的生理或生物度量信息实时地调整视频游戏、虚拟现实或增强现实的至少一个方面而使用户在视频游戏、虚拟现实或增强现实中的体验个性化。由感测装置110测量的生理或生物度量信息可以指示用户的精神状态(例如,压力水平),所述生理或生物度量信息可以用作游戏控制台或虚拟现实控制器130的输入。视频游戏、虚拟现实或增强现实的至少一个方面可以包括但不限于:难度等级、恐怖等级、音乐、声音等级、对话和氛围。图5是图示了恐怖视频游戏如何通过根据测量的用户的心率调整怪物的数量而调整恐怖等级的流程图500。在游戏开始时,用户可以选择恐怖等级(例如,低、中或高)。人们对恐怖感的承受能力可能是不同的。例如,对于一个用户而言低的恐怖等级可能对另一个用户意味着高的恐怖等级。因此,系统可以允许游戏控制台或虚拟现实控制器通过使用由感测装置110测量的各个用户的生理或生物度量信息而使游戏的恐怖等级个性化。例如,低的恐怖等级可能意味着视频呈现被调制(例如,视频呈现被控制以限制怪物和/或恐怖事件的数量)成使得用户的心率低于第一预定水平;中恐怖等级可能意味着视频呈现被调制(例如,视频呈现被控制以限制怪物和/或恐怖事件的数量)成使得用户的心率等于或高于第一预定水平并且等于或低于第二预定水平;并且高的恐怖等级可能意味着视频呈现被调制(例如,视频呈现被控制以限制怪物和/或恐怖事件的数量)成使得用户的心率高于第二预定水平。如图5所示,用户可以将他/她正在玩的视频游戏的恐怖等级设置为不太恐怖,这种恐怖等级可以对应于低于80bpm的心率。可以根据预定义的“低”、“中”和“高”等级或以例如从1至100(其中,1为最不恐怖,100为最恐怖)的连续尺度来设置视频游戏的恐怖感。在510中,当用户正在玩视频游戏时,感测装置110可以实时监测用户的心率。在512中,游戏控制台或虚拟现实控制器130可以根据测量的心率来调整怪物出现(或恐怖事件)的频率。例如,在512中,如果测量的心率等于或高于80bpm,则游戏控制台或虚拟现实控制器130的操作系统将执行在视频游戏中显示较少怪物(或恐怖事件)的序列,直到用户的心率降至80bpm下;如果测量的心率低于80bpm,则游戏控制台或虚拟现实控制器130的操作系统可以在视频游戏中保持怪物的数量不变或显示更多的怪物,直到用户的心率增加到接近80bpm的阈值或直到用户的心率具有可以指示用户的心率在未来的时间将接近80bpm的增加速率。在504中,将改变后的视听环境呈现给用户。在506中,用户还可以使用游戏控制器或其他用户界面装置来提供有意的输入。在502中,也可以基于用户的输入(步骤506,例如,按钮按压、操纵杆或手势)由控制台操作系统来改变虚拟环境(例如,视频游戏)。如步骤504所示,然后可以将改变后的虚拟环境呈现给用户。图6示出了游戏控制台或虚拟现实控制器130的操作系统根据有意输入(例如,通过用户使用游戏控制器、操纵杆或其他用户界面装置进行的输入)和无意输入(例如,来自感测装置110的传感器数据)而做出的响应的图表。根据一些实施例,游戏控制台或虚拟现实控制器130的操作系统可以被编程为根据特定的有意和无意的用户输入的状态或数值进行响应。该图表示出了系统可以根据输入的特征生成不同的响应曲线。取决于输入是有意的还是无意的以及输入类型(例如,操纵杆、按钮按压、ecg、emg,eeg、动作、gsr)以及可以从这些输入推导出的用户状态信息,游戏控制台或虚拟现实系统可以向用户输出编程后的响应,并且该响应可以根据包括作为输入参数的无意输入和有意输入在内的程序函数而被加权或调节。例如,emg、eeg、emg、动作或gsr传感器可以产生无意输入,所述无意输入可以在与有意的用户输入(例如,诸如操纵杆移动或按钮按压等游戏控制器操作)一起使用或不一起使用的情况下指示对虚拟环境的无意识响应(例如,微笑或皱眉、出汗、和/或肌肉绷紧),以向虚拟现实系统提供输入,从而改变系统的流程或操作或者触发预先指定的系统响应。根据本发明的一些实施例,系统还可以基于传感器数据向用户呈现个性化广告。也可以呈现与广告相关联的优惠券。例如,当传感器数据指示用户口渴时,游戏控制台或虚拟现实控制器130可以在显示器上显示与运动饮料有关的广告。根据本发明的一些实施例,虚拟环境可以是视频游戏。视频游戏可以是单人游戏或多人游戏。根据本发明的一些实施例,虚拟环境可以是用于操作车辆(例如,汽车、火车、飞机、船只、战斗机)的模拟器、用于运动(例如,高尔夫、网球、射击)的模拟器或用于操作机器的模拟器。根据本发明的一些实施例,虚拟环境可以覆盖在真实环境上,例如,如在增强现实中。根据本发明的一些实施例,至少一个感测装置110可以用来提供融合了体验中的多个身体部位的动作的更加身临其境的虚拟或增强现实体验,并且可以用来为模拟带来更大程度的细节(例如,使其更接近现实)。例如,在战斗训练中,感测装置110可以以各种配置被放置在诸如头部、手、脚、手臂等多个位置上,以更精确地模拟用户和用户身体的位置。根据本发明的一些实施例,至少一个感测装置110可以用来确定人的感觉(例如,诸如根据心率和呼吸速率的压力水平等情绪状态、基于使用加速计和/或陀螺仪的位置数据的身体姿态的情绪状态、温度和排汗–与包括皱眉–悲伤或失望、微笑–幸福、震惊–惊喜等在内的情绪状态相关的面部表情相关联的gsr、电容或体积排汗测量、面部肌肉群的emg信号)。该信息可以用来评估和记录至少一个用户对视听呈现(例如,视频游戏中的场景、商业广告、广告牌)、人正在吃的食物、物理活动(例如,坐过山车、体能训练、进行战斗、飞行、乘坐公共交通工具)的响应。根据本发明的一些实施例,至少一个感测装置110可以用来确定用户例如在驾驶机动车辆或者操作危险或重型设备时的警觉状态。如果感测装置110指示人的头部正在点头或他们的心率或呼吸速率正在下降(例如,仿佛入睡),则控制系统130或者智能电话或集线器150可以发出警报和/或使机动车辆或设备进入自动驾驶模式或执行受控停车。根据本发明的一些实施例,至少一个感测装置110可以用来增强视频游戏体验。由感测装置110感测到的状况(例如,心率、呼吸速率、exg水平或由这些推导出的度量值)可以在游戏进行期间内被其他用户使用。所述感测到的状况可以用来使环境更加真实,例如,如果用户呼吸沉重,则用户的角色可能出现呼吸沉重,并且这可能影响角色在游戏中的表现。根据本发明的一些实施例,至少一个感测装置可以与用于健康和健身的虚拟现实控制器130一起使用,用于健康和健身的虚拟现实控制器130监测用户的心率、呼吸速率、水合作用、排汗、姿态和其他生命体征并且实时改变锻炼器械或锻炼视频的难度等级,以挑战用户并提高用户的表现。例如,用于健康和健身的虚拟现实控制器130可以根据用户的感测状况来增加挑战(例如,增大跑步机的倾斜度或者增大健身自行车或椭圆跑步机的阻力)。在多个用户一起锻炼的情况下,系统可以基于所有用户的已知能力来限制挑战或妨碍用户,并且可以基于每个用户的能力来提供不同等级的挑战。其他实施例在本发明的范围和主旨内。例如,由于软件的性质,上述功能可以使用软件、硬件、固件、硬连线或这些的任意组合来实现。特征实现功能也可以物理地位于各种位置处,包括以功能的某些部分在不同的物理位置处实现的方式被分布。另外,虽然以上说明涉及本发明,但是说明可以包括至少一个发明。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1