用于控制计算机程序的热成像接口方法和装置制造方法

用于控制计算机程序的热成像接口方法和装置制造方法
【专利摘要】提供了一种用于控制计算机程序的热成像接口方法和装置。一种用于控制计算机程序的热成像接口可以利用一个或多个热图形相机获得一个或多个对象的一个或多个热红外图像。可以分析所述图像以便辨别所述对象的一个或多个特征。这样的特征可以被用作所述计算机程序中的控制输入。
【专利说明】用于控制计算机程序的热成像接ロ方法和装置
[0001]本申请是申请日为2011年9月19日，申请号为201180047201.1，发明名称为“使用热成像的用户接ロ系统和方法”的发明专利申请的分案申请。
[0002]优先权的要求
[0003]本申请是部分继续申请并且要求2010年9月23日提交的共同转让到Ruxin Chen和 Steven Osman 的名称为 BELOW TRACKING INTERFACE SYSTEM AND METHOD 的共同未决的美国专利申请12\889，347的优先权权益，其全部内容通过引用合并于此。
【技术领域】
[0004]本发明的实施例针对ー种用于控制计算机系统的用户接ロ，更具体地针对ー种使用热成像以便向计算机程序提供或增强控制输入的用户接ロ。
【背景技术】
[0005]存在可以被用来向计算机程序提供输入的许多不同的控制接ロ。这样的接ロ的示例包括例如计算机键盘、鼠标或操纵杆控制器的公知的接ロ。这样的接ロ通常具有提供可以被映射到具体命令的电信号或影响计算机程序的执行的输入信号的模拟或数字开关。
[0006]最近，开发了结合依靠其他输入类型的视频游戏使用的接ロ。存在基于扩音器或扩音器阵列的接ロ、基于相机或相机阵列的接ロ。基于扩音器的系统被用于试图用语音输入代替键盘输入的语音识别系统。基于扩音器阵列的系统可以追踪声音源以及解释所述声音。基于相机的接ロ尝试用用户的姿势和动作或由用户持握的对象替代操纵杆。
[0007]不同的接ロ具有不同的优点和缺陷。键盘接ロ对于输入文本是有效的，但对于输入方向命令不太有用。操纵杆和鼠标对于输入方向命令是有效的，并且对于输入文本不太有用。基于相机的接ロ对于追踪ニ维空间中的对象是有效的，但通常需要ー些形式的增强(例如，使用两个相机或具有回声定位的单个相机)以便追踪三维空间中的对象。这样的增强可以増加基于相机的系统的成本。一些基于相机的系统采用面部追踪软件以便在利用一个或多个相机获得的图像中追踪用户的面部的动作。然而，图像追踪系统有时可以被与人的面部相似的对象迷惑。此外，这样的系统可能难以从图像中的背景中区分该图像中的人。
[0008]希望提供克服上面的缺点的、可以直观地使用的并且还可以相对便宜地实施的接□。
[0009]在这个上下文内提出本发明的实施例。

【发明内容】

[0010]根据本发明的ー个方面，提供了一种用于控制计算机程序的热成像接ロ方法，包括:a)分析利用一个或多个热图形相机获得的一个或多个对象的ー个或多个热红外图像，其中所述ー个或多个对象包括一个或多个用户；b)从所述一个或多个热红外图像中辨别所述ー个或多个对象的一个或多个特征，其中通过测量所述ー个或多个用户的所述ー个或多个热红外图像中的温度或温度改变来确定所述ー个或多个特征；以及c)在计算机程序中将所述ー个或多个特征用作控制输入。
[0011]根据本发明的另一方面，提供了一种用于控制计算机程序的装置，包括:一个或多个处理器；以及可由所述ー个或多个处理器执行的指令，其被配置为:a)分析利用所述ー个或多个热图形相机获得的一个或多个对象的ー个或多个热红外图像，其中所述ー个或多个对象包括一个或多个用户山)从所述一个或多个热红外图像中辨别所述ー个或多个对象的一个或多个特征，其中通过测量所述ー个或多个用户的所述ー个或多个热红外图像中的温度或温度改变来确定所述ー个或多个特征；以及c)将所述一个或多个特征用作用于计算机程序的控制输入。
【专利附图】

【附图说明】
[0012]通过结合附图考虑下列的详细描述可以容易地理解本发明的教导，其中:
[0013]图1是图示根据本发明的实施例的用于控制计算机程序的热成像接ロ方法的示意图。
[0014]图2A-2B是图示根据本发明的实施例的热成像接ロ的使用的示意图。
[0015]图3是图示根据本发明的可替换的实施例的热成像接ロ的使用的示意图。
[0016]图4是图示根据本发明的另一可替换的实施例的热成像接ロ的使用的示意图。
[0017]图5是描述根据本发明的实施例的使用热成像接ロ的计算机实施的装置的示例的框图。
[0018]图6是图示根据本发明的实施例的包括用于实施热成像接ロ方法的计算机可读指令的非临时性计算机可读介质的框图。
【具体实施方式】
[0019]本发明的实施例实施了一种基于通过热成像检测各种用户特征以便提供控制输入的用于计算机程序的新的用户接ロ。
[0020]介绍
[0021]本发明的实施例可以通过使用结合用户接ロ的热成像来克服与现有技术相关联的缺点以便向计算机系统提供或增强输入。热成像相机可以提供关于图像内的对象的温度或温度的变化的信息。温度的变化可以区分可能在用传统(可见光)相机拍摄的图像中看来相同的对象。温度的变化还可以被用于检测可以被用于控制计算机程序的每个对象的某些特征。
[0022]实施例
[0023]首先通过參考图1可以理解本发明的实施例的示例。
[0024]图1是图示使用热成像接ロ的用于控制计算机程序的可能的系统的示意图。系统100总地包括稱接到计算机处理系统105的热图形(thermographic)相机103。热图形相机103可以位于耦接到处理系统105的视频显示器107附近，使得当用户101面向显示器107时，该用户101面向相机103。
[0025]因为热图形相机103避免了将传感器放在用户身体上的需要，所以使用热图形相机103来追踪各种用户特征(例如，心率、呼吸率)是特别有利的。可以少得多的侵扰获得关于用户的附加信息。通过热图形成像追踪用户的心率避免了将脉搏监视器附接到身体的需要。同样地，通过热图形成像追踪呼吸率避免了将耳机或扩音器附接到用户的面部的需要。最終，可以通过处理这些附加信息进ー步优化计算机程序的功能，而不损害用户的活动性和舒适性。
[0026]使用热图形相机103确定用户特征也是有利的，因为这避免了用户通过手持握控制器设备来查明那些特征的需要。这释放了用户的手用于其他任务，或允许控制器执行其他任务。
[0027]如在这里使用的，热图形相机指代使用红外辐射形成图像的有时被称为前视红外(FLIR)或红外相机的相机类型。热图形相机103以与使用可见光形成图像的相机类似的方式使用一个或多个镜头和传感器来形成图像。红外相机可以在长达14，OOOnm(14 iim)的波长中操作，而非可见光相机的450-750纳米范围。
[0028]热图形相机103可以利用所有对象发出作为它们的温度的函数的一定量的黑体辐射的事实。通常来说，对象的温度越高，对象发出的作为黑体辐射的红外辐射越多。红外相机可以以与普通相机检测可见光类似的方式检测这些辐射。然而，因为即使在完全黑暗中身体也发出红外辐射，所以环境光水平并不重要。
[0029]本发明的实施例可以使用多于ー个热图形相机。例如，可以并排配置使用两个热图形相机以便提供可以提供三維信息的立体(3D)图像。可以在具有将ー些场景的不同视图成像到传感器或传感器阵列上的并排镜头的单个设备中实施等效热图形“立体”相机。多个相机可以被用于创建任何数量的用户特征(例如，呼吸量和流速)的三维表示。
[0030]热图形相机103可以使用在环境温度操作的非制冷的热传感器或制冷的热传感器，或使用小型温度控制元件的稳定在接近环境的温度的传感器。现代的非制冷的检测器使用当被红外辐射加热时检测电阻、电压或电流的改变的传感器。然后可以测量这些改变，并且将这些改变与在传感器的操作温度的值相比较。非制冷的红外传感器可以被稳定到操作温度以便減少图像噪声，但是所述非制冷的红外传感器不被冷却到低温并且不需要庞大的、昂贵的低温(cryogenic)制冷器。这使得红外相机更小并且成本更低。
[0031]非制冷的检测器主要基于热电和铁电材料或微测福射热计(microbolometer)技木。这些材料被用于形成具有像素阵列的检测器，所述像素阵列具有高温度依赖特性。可以将这些像素与周围环境热隔离，并且电读取所述这些像素。
[0032]铁电检测器操作在接近传感器材料的相变温度。检测器的像素温度被校准到检测器材料上的高温度依赖极化电荷。具有f/1光学器件和320X240的传感器的铁电检测器的达到的噪声等效温度差(NETD)可以是70-80mK。可能的铁电传感器组装的示例包括由聚酰亚胺(polyimide)热隔离的连接凸点键合(bump-bonded)的钛酸银钡(barium strontiumtitanate)。可以在红外检测器中使用的其他可能的相变材料包括作为金属隔离物相变材料的镧钡猛酸盐(lanthanum barium manganite) (LBMO)0
[0033]存在可以检测传感器材料的电阻的微小改变的另一可能的检测器。这样的设备有时被称为微测辐射热计。微测辐射热计可以达到下至20mK的NETD。典型的微测辐射热计可以包括悬浮在氮化娃桥(silicon nitride bridge)上的薄膜氧化I凡传感元件,其中所述氮化娃桥在基于娃的扫描电子(silicon-based scanning electronics)上方。可以姆中贞測量一次传感元件的电阻。
[0034]注意到在图1中示出的示例中热图形相机103的位置颇为随意。热图形相机103可以被放置在面向用户101的视频显示器107的顶部。可替换地，热图形相机可以被安装到手持游戏控制器或便携式游戏设备。然而，本发明的实施例不限于这样的配置。
[0035]在热图形相机中的图像传感器的每个像素处的温度(或温度差)的值可以作为数组存储在计算机系统105的存储器中。在计算机系统105上执行的程序可以分析数组中的温度模式以便区分用户的周围环境与用户，或区分从热图形相机103到用户的距离。此外，数组中的温度模式可以被用于确定用户的呼吸率115以及用户的心率113。
[0036]在一些实施例中，第二热图形相机或传统(即，可见光)相机可以被用作辅助传感器109以便提供附加的信息源，例如，附加地描述用户的特征的热图形、声学、或视频图像信息。通过示例的方式，而非通过限制的方式，分开的可见光相机109可以与热图形相机103耦合。分开的(附加的)可见光相机最初可以进行房间中的所有对象的位置的确定。然而，通常，由于对象和它的背景之间的颜色或纹理中缺少变化，对象可以融入它们的周围环境。热图形相机103可以提供可以与来自可见光相机109的信息结合的附加的热图形信息以便更精确地定义房间中对象的位置以及对象的特定区域的位置。例如，可以结合例如来自扩音器或扩音器阵列的声学信息使用热图形信息以便辨别给定热图形图像内的哪个个体是例如人声、吹哨声、咳嗽声或喷嚏声的声音源。
[0037]图2A和2B图示根据本发明的实施例的使用热红外成像来定位关于用户的周围环境的用户的位置的示例。
[0038]当前许多视频游戏平台使用可见光相机来确定对象和周围环境的空间位置使得那些对象/周围环境可以根据它们的实际物理位置与游戏交互(例如，经由增强现实软件)。在玩游戏期间可以将对象的实际物理运动或动作映射到对应的虚拟对象的动作。像这样，在视频游戏系统的视场中精确地感知和区分对象对于视频游戏系统越来越重要。
[0039]虽然可见光相机在它们的视场中区分对象做得不错，但它们不能够在所有情况下区分対象。例如，当对象的顔色或纹理与该对象的背景的顔色或纹理相似时，分析来自可见光相机的图像的软件可能错误地将对象和背景两者分类为ー个大的对象而非两个不同的对象。通过引入利用热图形相机获得的信息可以减少这种类型的错误的可能性。
[0040]图2A图示根据本发明的实施例的使用热红外成像来区分对象的周围环境与对象的系统的示例。热图形相机203可以耦接到计算机处理系统205。热图形相机203可以位于耦接到处理系统205的视频显示器207附近，使得当用户201面向显示器207吋，该用户201面向热图形相机203。此外，可见光相机209A可以位于面向与热图形相机203相同的方向。可见光相机209A可以被用作辅助传感器。
[0041]用户201可以直接位于背景(例如，墙)217的前面。在这个示例中，用户201穿着具有与背景217的颜色类似的顔色的衣服。最初，可见光相机209A被用于确定它的视场中的所有对象的物理位置。然而，因为用户201和他的背景217之间的颜色中的相似性，所以分析来自可见光相机209A的图像的软件将用户201和背景217两者识别为ー个对象。
[0042]这个问题可以通过引入利用热图形相机203获得的信息而解決。在这种情况下，图像分析软件可以在描述用户201和周围环境217的特征时用利用热图形相机203获得的信息补充利用可见光相机209A获得的信息。如上面讨论的，热图形相机203可以基于黑体辐射的发射而捕获所述热图形相机203的周围环境的图像。因为用户201是活的、在呼吸的生命，所以它发出与背景217 (无生命的对象)的黑体辐射的光谱完全不同的黑体辐射的光谱。热图形相机203能够记录这些信息并且将其发送到计算机处理器205。通过对用户201和背景217两者比较黑体辐射发射简档，由计算机处理器205执行的图像分析软件可以确定在图像中描绘了两个不同的对象，而不是ー个。然后，计算机处理器205可以利用分割提示(segmentation cue)将姆个不同的对象贴上标签来用于进ー步的辨别和处理。
[0043]一旦热图形相机203使得计算机处理器205能够在所述热图形相机203的视场内辨别对象的位置，那么计算机处理器205可以随后被配置为使用先前确定的分割提示来继续追踪对象的动作(例如，用户的手和手臂动作)。当与可见光相机209A耦接时，热图形相机203提供将增加系统的整体精确性的用于追踪动作的附加源。
[0044]除了提供用于在热图形相机的视场中将对象彼此区分的可替换的或补足的机制之外，热图形相机还可以用作在它的视场中确定对象的深度的补足的机制。图2B图示根据本发明的实施例的使用热红外成像以便确定对象的深度的系统的示例。
[0045]再次，热图形相机203可以耦接到计算机处理系统205。热图形相机203位于耦接到处理系统205的视频显示器207附近，使得当用户201面向显示器207吋，该用户面向相机203。通过示例的方式，而非通过限制的方式，位于面向与热图形相机203相同的方向的红外发射器和传感器209B被用作辅助传感器。
[0046]在深度检测的一些实施例中，红外发射器和传感器209B可以被用于确定对象(例如，用户201)的距离。发射器209B向用户201发送红外光208的脉冲，该用户反射脉冲中的红外光208的一部分。然后传感器209B检测所反射的红外光208。可以通过确定由发射器209B发射脉冲和由传感器209B检测所反射的脉冲的相对时间而估计从发射器和传感器209B到用户201的不同部分的距离d。
[0047]然而，发射器和传感器209B可能偶尔未能检测所有对应的对象或对应的对象的一部分的深度d。如果对象(或对象的一部分)是IR黑的(即，不反射红外光)，那么单独使用红外光的反射的发射器和传感器209B将不能确定该特定部分的深度。
[0048]在这一点上，热图形相机203可以提供用于确定对象的深度的补足的方法。如上面讨论的，热图形相机203可以使用对象的黑体辐射简档辨别所述热图形相机203的周围环境与该对象。已经辨别对象(例如，用户201)之后，计算机处理系统205可以然后将从红外发射器和传感器209B获得的深度数据与从热成像获得的数据相比较。最終，计算机处理系统205可以使用热成像数据插入(interpolate)对象的缺失部分的深度。
[0049]在本发明的ー些其他实施中，可以通过単独使用热图形相机确定对象的深度d。通过示例的方式，而非通过限制的方式，从热图形相机的位置(或ー些其他已知的位置)发出的冷空气可以被吹响对象。然后可以通过測量由冷空气引起的热扰动到达对象所需要的时间而測定从热图形相机到对象的距离。
[0050]除了能够在热图形相机的视场内辨别/区分对象并且还能够确定那些对象的相对深度之外，所述热图形相机还可以被配置为通过它检测呼吸率的能力提供关于用户(或用户群)的附加信息。
[0051]图3图示根据本发明的实施例使用热红外成像以便从用户群中辨别说话者的系统的示例。再次，热图形相机303可以耦接到计算机处理系统305。热图形相机303位于耦接到处理系统305的视频显示器307附近，使得当用户301面向显示器307吋，该用户301面向相机303。此外，可见光相机309可以位于面向与热图形相机303相同的方向并且被用作辅助传感器。
[0052]最初，可见光相机309例如通过使用面部追踪和辨别将辨别房间中的所有用户301。如上面描述的，可以通过用热成像数据补足可见光相机图像数据来消除在通过分析利用可见光相机309获得的图像来辨别用户301中处理系统305可能具有的任何困难。处理系统305可以分析来自热图形相机303的图像以便通过根据图像中的热图形模式测量在用户的鼻子和嘴周围的气流以及接近用户的鼻子和嘴的温度来检测每个用户301的呼吸率。所提取的信息可以包括确定呼吸何时开始或停止、呼吸的持续时间、或不呼吸的持续时间(例如，呼吸之间的间隔)、呼吸的方向、以及呼吸是否包括吸入或呼出。对于热图形相机作为呼吸检测器的作用的更详细的描述，请參考通过引用合并于此的美国专利申请号12/889，347。
[0053]然后用户的呼吸率315可以被用于辨别与该特定用户相关联的许多不同的特征。在一个示例中，如由热图形相机303确定的呼吸率315可以被用于辨别特定用户是否正在说话。使用每个用户的呼吸模式315作为基线，计算机处理系统305可以通过定位用户的呼吸模式315中的不规则性而识别该用户何时说话314。用户的呼吸模式315的特定改变可以指示用户在说话314的过程中。如在我们的示例中所示，在大群用户301中，热图形相机303可以在辨别那些用户中的哪ー个在讲话314的过程中方面特别有用。
[0054]使用热图形相机303以便检测用户的呼吸率避免了对于更具侵扰性的检测机制(例如，耳机、扩音器)的需要。消除用户将传感器绑到他的身体以便向计算机程序提供呼吸信息的需要将大大提高用户的体验和舒适等级。
[0055]使用如由热图形相机确定的用户的呼吸率以便控制计算机程序不限于语音检測。存在可以使用热成像接ロ的许多不同的计算机应用。例如，存在通过捕获用户利用扩音器歌唱的声音并且分析所述声音以便确定歌唱的音调、时刻和歌词而判定该人的歌唱的计算机应用。这些特征可以与用于特定歌曲的音调、时刻和歌词的ー些參考參数相比较。通过引入用户的呼吸作为判定參数可以大大提高用于判定用户的歌唱能力的标准。计算机程序可以使用来自热图形图像的信息以便在歌曲的持续时间期间确定用户的呼吸的时刻。然后这可以与将导致用户的歌唱能力的更精确的确定的參考參数相比较。
[0056]此外，用户的呼吸模式可以被用于语音识别和安全措施。如上面讨论的，热图形相机可以用于基于用户的呼吸来检测用户的呼吸率/摸式。计算机处理系统可以然后通过将观察到的呼吸模式与參考模式相比较而将这些信息用于辨别用户的面部的图像是否实际上与真实用户对应。此外，可以基于在讲话期间的用户的个性化呼吸模式来辨别特定用户。此外，因为所有个体具有独特的呼吸模式，所以热图形相机可以充当安全屏障以便防止向计算机程序的未授权的访问。
[0057]用户的辨别可以基于根据分析可见光图像的面部辨别、通过语音的说话者辨别、以及通过分析如根据热图形图像确定的用户的呼吸的呼吸模式辨别的组合。使用不同模式的用户辨别的组合提供了良好的机制来阻遏尝试通过使用图片和记录以便欺骗仅通过面部和语音辨别用户的系统的假冒用户辨别。当某人说话时分析呼吸模式对于改进辨别性能可以具有特别的重要性。
[0058]当热图形相机完全或部分基于授权的用户的呼吸模式辨别出该用户时，将授权访问计算机程序。当热图形相机未能将特定的热图形图像识别为与真实的用户对应或未能基于用户的呼吸模式识别为该用户时，将拒绝访问计算机程序。这样的语音识别增强可以被实施为安全的第一线的一部分或可能被实施为在适当位置加强现有安全系统的附加安全机制。
[0059]可以在共同转让的美国专利申请号12/889,347中找到包括使用用户的呼吸作为控制输入的附加示例。
[0060]本发明的另ー实施例可以使用热图形相机来确定用户的心率。然后检测到的心率可以被用作用于计算机程序的控制。图4图示根据本发明的实施例的可以使用热红外成像来辨别用户的心率的系统的示例。
[0061]在图4中示出的系统400中，热图形相机403耦接到计算机处理系统405。热图形相机403可以位于耦接到处理系统405的视频显示器407附近，使得当用户401面向显示器407时,该用户401面向相机403。此外,位于面向与热图形相机403相同的方向的可见光相机409可以被用作辅助传感器。
[0062]热图形相机403获得用户401的热红外图像。这些图像记录与用户的身体热量相关联的黑体辐射模式。根据这些图像，计算机处理系统405可以测量对于ー个或多个用户的ー个或多个生命体征413，例如用户的心跳率、呼吸率、体温、或血压。通过示例的方式，而非通过限制的方式，可以通过确定用户的心跳导致的用户的皮肤的周期的温度改变的速率或时间段来測量用户的心跳率。可以例如根据这样的周期的温度改变的幅度来估计用户的血压。可以通过确定用户的呼吸导致的接近用户的嘴和/或鼻子的周期的温度改变的周期来測量呼吸率。可以根据在用户的身体的一些相关部分上的温度测量结果的长期平均值来确定用户的体温。温度測量结果可以经过例如低通过滤的过滤以便移除在ー些相关时间段上的快速波动。可以对长期平均值应用加法或乘法偏移以便解释表皮和核心温度之间的差。
[0063]本发明的实施例不仅限于使用在前面的示例中提及的特定生命体征的那些实施方式。注意到某些实施例可以使用除了心跳率、呼吸率、体温和血压之外的生命体征。可以根据由热图形相机403获得的測量结果来推断这样的可替换的生命体征。通过示例的方式，而非通过限制的方式，可以根据在具体位置处的温度的时间和空间变化或在热图形图像的ー些区域上的平均温度或平均温度变化来推断生命体征。
[0064]通过热成像确定用户的生命体征413避免了将任何侵扰设备(例如，脉搏监视器、脉搏血氧计、血压袖带、或体温计)附接到用户的需要，并且向计算机处理系统405提供用于控制程序的附加控制输入。
[0065]用户的生命体征413可以被用作用于计算机程序的各个方面的控制。通过示例的方式，而非通过限制的方式，用户的心跳率、呼吸率、体温、或血压等可以被用于控制在视频游戏的上下文中的程序。特定视频游戏可能需要扫描热图形相机403的视场以便确定被用于创建与用户的物理环境对应的虚拟世界的用户401和对象417的位置。
[0066]虽然已经描述了用于区分对象的周围环境与对象的各种方法，但是将用户的生命体征413作为用于区分的手段应用将对上面描述的方法进行补充。例如，可以在视频游戏或计算机程序需要从无生命的对象417区分活的对象的情况下使用诸如心跳率、呼吸率、体温、和血压等的一个或多个用户的生命体征413。因为无生命的对象不倾向于周期的表面温度改变，所以可以容易地将它们与活的对象401区分。像这样，在充满对象(活的和无生命的两者)的房间中，计算机处理系统405将能够通过使用由热图形相机403拍摄的热红外图像区分所述两个种类。
[0067]处理系统405可以被配置为根据一个或多个用户的生命体征调整在程序的执行期间发生的动作的速率。通过示例的方式，而非通过限制的方式，用户的心率可以被用于控制在可视显示器407上的图形419的动画。例如，可视显示器407上的图形419可以是用户401的虚拟表示(S卩，化身(avatar))。通过把用户的心率413用作控制输入，化身的面部表情、情緒、或化身的其他视觉表现可以相应地改变。兴奋的用户可以具有表现该部分(例如，疯狂的动作、夸张的面部表情等)的对应地兴奋的化身。类似地，抑郁的(subdued)用户可以具有对应地沮丧的化身(例如，拖泥带水的动作、阴郁的面部表情等)。用户的呼吸率、血压、体温、或其他热图形地得到的生命体征可以被用于以类似的方式控制计算机动画。
[0068]可替换地，用户的生命体征413可以不止被用于控制在视频游戏的上下文中的图形419的动画。例如，生命体征也可以控制视频游戏的其他方面，例如玩游戏的速度。例如，如果用户401參与运动游戏，那么该游戏可以响应于用户的心率、呼吸率、体温、和血压等増加或降低难度。通过示例的方式，而非通过限制的方式，当用户的心率或呼吸率相对低时，游戏可以增加难度以便向用户401提供更大的挑战。当用户的心率或呼吸率增加到高于他的需氧(aerobic)能力的点吋，游戏可以降低难度以便允许用户喘息和恢复。
[0069]此外，在本发明的某些实施例中，处理器405可以被配置为根据ー个或多个生命体征413的分析的结果确定用户的健康状况并且根据所确定的健康状况修改程序的执行的状态。通过示例的方式，而非通过限制的方式，在运动游戏中，随着用户的新陈代谢増加，在运动的过程期间用户的体温可以升高。取决于热图形相机403的灵敏度，处理系统405可以能够辨别具有异常地高或低体温的用户(例如，通过用户的正常温度或通过对于典型人物的预期温度来測定)，所述体温可以指示发烧或其他健康状況。这些信息可以被用作输入和/或用于调节在游戏中进行的运动。
[0070]注意到本发明的实施例可以包括例如对于除了运动和测量的新陈代谢之外的理由检测温度异常的生命体征的分析。这样的分析可以包括除了体温之外的其他生命体征。例如，如果系统400知道用户的典型体温，那么如果用户的温度不正常地高(特别在不存在像快速呼吸和/或升高的心跳率的其他指示的情况下)，则系统可以确定用户发烧或其他医学状况。处理系统405可以将这些信息用作输入并且从而改变所述处理系统405的状态，例如，通过显示通知用户的消息。所述消息可以包括联系医疗专家的建议和/或提供相关的联系信息。在一些实施中，系统400甚至可以被配置为联系医疗专家，例如，通过邮件、视频/语音聊天、和Skype连接等，并且从热图形相机403将热图形图像传送到医疗专家和/或从处理系统405将生命体征传送到用于实时分析。
[0071]在可替换的实施中，系统400可以响应于所确定的用户401的健康状况以其他方式修改在处理系统405上运行的程序的执行的状态。例如，响应于检测到的用户的这样的状況，将在显示器407上显示的景象转换为对于由生病的或虚弱的用户观看的更舒适的景象。可以类似地修改结合所显示的景象呈现的声音的音量和性质。
[0072]例如心跳或呼吸率的生命体征还可以被用于控制如何播放背景声音或音乐。例如，在玩包括枪械射击的视频游戏的情况下，可以随着用户的心跳或呼吸率而增加或降低开枪速率。可以在每心跳或呼吸射出固定数量的子弹(例如，三个)。可以映射生命体征以便触发例如在玩游戏期间出现的导弹或射弹的虚拟对象的动作。例如，生命体征可以确定导弹在向前移动时多快地旋转。在其他实施例中，处理系统405可以将背景音乐的节奏同步到例如心跳或呼吸率的用户的生命体征。例如，系统可以増加采样或降低采样心跳或呼吸率以便在心跳率的某些倍数或约数处生成背景声音(例如，开枪或鼓点)。可以将以这种方式合成的鼓点融入背景音乐。
[0073]此外，用户的生命体征413可以与用户接ロ设备419相结合(例如，控制器、键盘、操纵杆等)以便控制计算机程序的某些方面。用户的生命体征413可以控制用户接ロ设备421的响应速度。例如，在用户401使用控制器421以便在虚拟世界中指示虚拟武器的功能的情况下，所述用户的心率可以被用于控制触发器响应时间。随着用户的心率増加，武器的响应速度也増加。控制器421可以直接与计算机处理系统405通信以便获得关于用户的生命体征413的相关信息。根据用户的动态生命体征413来调整用户接ロ 421的响应设置将给予用户更现实和真实的游戏性体验。
[0074]图5图示如上面描述的可以被用于使用热成像接ロ来实施计算机程序的控制的计算机装置500的框图。所述装置500总地包括处理器模块501和存储器505。处理器模块501可以包括一个或多个处理器内核。将Cell处理器作为使用多个处理器模块的处理系统的示例，例如，在Cell宽带引擎体系中详细描述了所述Cell处理器的示例，通过引用合并于此的所述不例可以在 http://www_306.1bm.com/chips/techlib/techlib.nsf/techdocs/lAEEE1270EA2776387257060006E61BA/$file/CBEA_01_pub.pdf 处在线获取。
[0075]存储器505可以是集成电路的形式，例如，RAM、DRAM、和ROM等。所述存储器还可以是可以由所有处理器模块501访问的主存储器。在一些实施例中，处理器模块501可以包括与每个内核相关联的本地存储器。程序503可以以可以在处理器模块501上执行的处理器可读指令的形式被存储在主存储器505中。如上面描述的，程序503可以包括被配置为实施用于控制计算机程序的热成像接ロ方法的指令。特别地，所述程序指令可以被配置为利用一个或多个热图形相机获得ー个或多个对象的一个或多个热红外图像；分析所述ー个或多个红外图像；根据ー个或多个热红外图像辨别所述一个或多个对象的ー个或多个特征；并且将所述ー个或多个特征用作计算机程序503或由一个或多个处理器模块503执行的一些其他程序中的控制输入。程序503可以以任何适当的处理器可读语言写成，例如，C、C++、JAVA、汇编、MATLAB, FORTRAN、和许多其他语言。在程序503的执行期间，程序代码和/或数据507的部分可以被加载到存储器505或处理器内核的本地存储装置中用于由多个处理器内核并行处理。
[0076]输入数据507可以被存储在存储器505中。通过示例的方式，而非通过限制的方式，输入数据507可以包括由热图形相机确定的代表用户/对象特征的数据。装置500还可以包括公知的支持功能509，例如输入/输出(I/O)元件511、电源(P/S) 513、时钟(CLK)513和高速缓存存储器517。
[0077]装置500可以可选地包括例如盘驱动、⑶-ROM驱动、或磁带驱动等的大容量存储设备519以便存储程序和/或数据。设备500还可以可选地包括显示器単元521、热特征检测器518、和用户接ロ 525以便促进装置500和用户之间的交互。显示器単元521可以是显示文本、数字、图形符号或图像的阴极射线管(CRT)或平板屏幕的形式。
[0078]热特征检测器単元518可以包括对温度的空间和时间变化足够敏感以便根据测量的温度变化区分用户的心率、呼吸率和位置的传感器。在优选实施例中，热特征检测器单元518包括可以如上面关于图1描述的来操作的热图形相机。可以在存储器505中将在热图形相机中的图像传感器的每个像素处的温度(或温度差)的值存储为数组。程序503可以分析数组中的温度模式以便辨别用户的位置并且辨别与用户的心率和呼吸率对应的热模式。然后这些信息可以被用作控制输入。
[0079]在一些实施例中，可以存在多于ー个热特征检测器单元518。在一些实施例中，每个热特征检测器単元518可以可选地包括或耦接到运行适当地配置的指令的专用处理器単元520。在这样的实施例中，每个专用处理器単元520可以是每个单元执行由它的对应的检测器単元518做出的测量的至少ー些处理的分布式系统的一部分。每个专用处理器単元520的输出可以向可以由处理器模块501实施的主控制系统贡献输入。因为程序不需要知道热特征単元518的细节，所以这样的实施方式可以简化程序503的设计。这样的配置还允许处理器模块501上的一定量的处理负载被卸载到与检测器単元518相关联的专用处理器。因此，在装置500中包括的热特征检测器単元的数量可以较少的影响处理器模块501和程序503。
[0080]通过示例的方式，而非通过限制的方式，专用处理器单元520可以被配置为分析由热图形相机获得的热红外图像，根据ー个或多个热红外图像辨别ー个或多个对象的ー个或多个特征，并且使用所述ー个或多个特征来提供向计算机程序503的控制输入。
[0081]用户接ロ 525可以可选地包括键盘、鼠标、操纵杆、光笔、扩音器、传统数字相机、加速计、陀螺仪、或可以结合热特征检测器単元518使用的其他设备。装置500还可以包括网络接ロ 523以便使得设备能够经由例如英特网的网络与其他设备通信。可以在硬件、软件或固件或这些中的两个或多个的ー些组合中实施这些组件。
[0082]处理器模块501、存储器505、用户接ロ 525、网络接ロ 521和装置500的其他组件可以经由系统总线527彼此交換信号(例如，代码指令和数据)。
[0083]根据另ー实施例，可以在计算机可读存储介质中存储用于执行用于控制计算机程序的热成像接ロ方法的指令。通过示例的方式，而非通过限制的方式，图6图示根据本发明的实施例的非临时性计算机可读存储介质600的示例。存储介质600包括以可以由计算机处理设备存取和解释的格式存储的计算机可读指令。通过示例的方式，而非通过限制的方式，计算机可读存储介质600可以是计算机可读存储器，例如随机访问存储器(RAM)或只读存储器(ROM)、用于固定盘驱动的计算机可读存储盘(例如，硬盘驱动)、或可移除的盘驱动。此外，计算机可读存储介质600可以是闪存设备、计算机可读磁帯、CD-ROM、DVD-ROM、蓝光、HD-ROM、UMD、或其他光存储介质。
[0084]存储介质600包括被配置为实施热成像接ロ的热成像指令601。热成像指令601可以被配置为实施用于根据上面关于图2到图4描述的方法控制计算机程序的热成像接ロ方法。具体地，热成像接ロ指令601可以包括在热图形相机的视场中获得ー个或多个用户的一个或多个热红外图像的获得热红外图像指令603。热成像指令601还可以包括分析热红外图像指令605。当执行时，这些指令使得处理器分析来自输入设备的信号以便确定与获得的热红外图像相关联的热模式。
[0085]此外，热成像指令601可以包括可以评价从热红外图像获得的热模式以便辨别用户并且确定与那些所辨别的用户相关联的某些特征(例如，位置、深度、呼吸率、和心率)的辨别用户特征指令607。热成像指令601可以可选地包括基于所辨别的用户特征向计算机程序提供控制输入的控制输入指令609。如上面描述的，这些控制输入可以然后被用于操纵计算机程序。
[0086]虽然參考本发明的某些优选的版本相当详细地描述了本发明，但是其他版本是可能的。因此，所附权利要求的精神和范围不应限于在这里包括的优选的版本的描述。而是应參考所附权利要求以及它们的等效物的完整范围确定本发明的范围。
[0087]可以由满足相同、等效或类似目的的可替换的特性替代在这个说明书(包括任何所附权利要求、摘要和附图)中公开的所有特性。因此，除非另有明确说明，所公开的每个特性仅是一系列通用的等效或类似特性的ー个示例。任何特性(不论是否优选)可以结合任何其他特性(不论是否优选)。在下列权利要求中，除非另有明确说明的情况下，不定冠词指代在该冠词之后的ー个或多个项目的数量。如在USC§112，‖6中指定的，权利要求中没有明确说明执行指定功能的“用于……的方法”的任何元素将不被解释为“手段”或“步骤”从句。特别地，权利要求中的“……的步骤”的使用在这里不意图援引35USC§ 112，‖6的规定。
[0088]读者的注意力集中干与这个说明书同时提交的、并且与这个说明书一起被公开予以公众查阅的所有论文和文件，并且通过引用将任何论文和文件的内容合并于此。
【权利要求】
1.一种用于控制计算机程序的热成像接ロ方法，包括: a)分析利用一个或多个热图形相机获得的一个或多个对象的ー个或多个热红外图像，其中所述ー个或多个对象包括一个或多个用户； b)从所述一个或多个热红外图像中辨别所述ー个或多个对象的一个或多个特征，其中通过测量所述ー个或多个用户的所述ー个或多个热红外图像中的温度或温度改变来确定所述ー个或多个特征；以及 c)在计算机程序中将所述ー个或多个特征用作控制输入。
2.如权利要求1所述的方法，其中所述ー个或多个对象包括ー个或多个用户。
3.如权利要求2所述的方法，其中b)中的所述ー个或多个特征包括通过测量所述ー个或多个用户的温度或温度改变确定的所述ー个或多个用户的ー个或多个生命体征。
4.如权利要求3所述的方法，其中所述ー个或多个生命体征被用于控制在所述程序的执行期间发生的动作的速率。
5.如权利要求4所述的方法，其中所述动作的速率包括音乐的节奏。
6.如权利要求3所述的方法，其中所述ー个或多个生命体征被用于控制与计算机程序相关联的ー个或多个图形 。
7.如权利要求3所述的方法，其中所述ー个或多个生命体征被用于结合所述计算机程序測量所述ー个或多个用户的表现。
8.如权利要求3所述的方法，其中所述ー个或多个生命体征被用于区分无生命的对象与活的对象。
9.如权利要求3所述的方法，其中所述ー个或多个生命体征被用于控制与所述计算机程序相关联的一个或多个用户接ロ的响应速度。
10.如权利要求3所述的方法，其中映射所述ー个或多个生命体征以便触发虚拟对象的动作。
11.如权利要求3所述的方法，其中由计算机程序采样和使用所述ー个或多个生命体征以便生成声音。
12.如权利要求3所述的方法，其中所述ー个或多个生命体征是心跳率、呼吸率、体温或血压。
13.如权利要求12所述的方法，还包括分析所述ー个或多个生命体征并且根据分析所述生命体征的结果确定用户的健康状況。
14.如权利要求1所述的方法，其中b)中的所述ー个或多个特征包括通过测量所述ー个或多个用户的鼻子和嘴周围的气流和温度改变而确定的所述ー个或多个用户的呼吸模式。
15.如权利要求14所述的方法，其中所述ー个或多个用户的呼吸模式被用于辨别所述一个或多个用户中产生的声音源。
16.如权利要求14所述的方法，其中所述ー个或多个用户的呼吸模式被用于确定所述一个或多个用户是否是授权的用户。
17.如权利要求1所述的方法，其中b)中的所述ー个或多个特征包括由红外反射外加使用所述ー个或多个热红外图像的插值确定的关于所述一个或多个热图形相机的所述ー个或多个对象的深度。
18.如权利要求17所述的方法，其中c)包括结合所述ー个或多个用户的ー个或多个正常图像，使用所述ー个或多个用户中的每ー个的所述ー个或多个特征来追踪与所述ー个或多个用户相关联的ー个或多个身体部分的动作。
19.如权利要求1所述的方法，其中c)中的所述ー个或多个特征包括区分所述ー个或多个对象的背景与所述ー个或多个对象的分割提示。
20.一种用于控制计算机程序的装置，包括: 一个或多个处理器；以及 可由所述ー个或多个处理器执行的指令，其被配置为: a)分析利用所述ー个或多个热图形相机获得的一个或多个对象的一个或多个热红外图像，其中所述ー个或多个对象包括一个或多个用户； b)从所述一个或多个热红外图像中辨别所述ー个或多个对象的一个或多个特征，其中通过测量所述ー个或多个用户的所述ー个或多个热红外图像中的温度或温度改变来确定所述ー个或多个特征；以及 c)将所述一个或多个特征用作用于计算机程序的控制输入。
21.如权利要求20所述的装置，其中所述ー个或多个对象包括ー个或多个用户。
22.如权利要求21所述的装置，其中b)中的所述ー个或多个特征包括通过测量所述ー个或多个用户的温度或温度改变确定的所述ー个或多个用户的ー个或多个生命体征。
23.如权利要求20所述的装置，其中b)中的所述ー个或多个特征包括通过测量所述ー个或多个用户的鼻子和嘴周围的气流和温度改变而确定的所述ー个或多个用户的呼吸率。
24.如权利要求20所述的装置，其中b)中的所述ー个或多个特征包括由红外反射外加使用所述ー个或多个热红外图像的插值确定的关于所述一个或多个热图形相机的所述ー个或多个对象的深度。
25.如权利要求20所述的装置，其中所述ー个或多个热图形相机包括安装到耦接到所述处理器的视频显示器的热图形相机。
26.如权利要求20所述的装置，其中所述ー个或多个处理器包括ー个或多个专用处理器，其中所述ー个或多个热图形相机中的每ー个被耦接到对应的专用处理器。
27.如权利要求26所述的装置，其中由所述ー个或多个专用处理器实施a)、b)和c)。
【文档编号】G06F3/01GK103500008SQ201310454386
【公开日】2014年1月8日 申请日期:2011年9月19日 优先权日:2010年9月23日
【发明者】R.陈, S.奥斯曼 申请人:索尼电脑娱乐公司