生理线索处理的制作方法_3

文档序号:8449215阅读:来源:国知局
检测线程604中执行脸部检测过程动作620。在过程动作630,更新视频中人脸的位置。在过程动作640,生成皮肤分割掩饰,并在过程动作650,对每个感兴趣区域的像素强度值执行掩饰均值操作。在过程动作660,数据和逻辑管理器606将平均的像素强度值附加到视频中的时间系列集合(例如,帧集合),并且在过程动作670,计算线程608基于所附加的平均像素强度数据计算每个感兴趣区域的心率值。然后,在过程动作680,数据和逻辑管理器606对来自感兴趣区域的心率值做加权处理以便确定视频中人的心率,并且在过程动作690,通过更新循环602查询结果。然后,在过程动作695,更新循环602执行清除,并且更新循环602返回到过程动作610以便处理另一个视频帧。
[0049]图7是可在其中实现本文中所描述的技术的示例性计算装置700的框图。计算装置700包括心率模块710、呼吸速率模块720、皮肤红润度模块730、抽搐模块740、微表情模块750和通信模块760。计算装置700可以从源视频780生成修正视频770,其中,存在于源视频780中的一个或多个生理线索基本上不在修正视频770中。
[0050]心率模块710可以从源视频770中的人脸区域中的平均像素强度的波动确定人的心率,通过确定心率超过心率阈值确定心率加快,从源视频基本上去除平均像素强度波动,并注入对应于与由源视频中的波动所指示的心率不同的心率的平均像素强度波动。在一些实施例中,心率模块420或504可以作为心率模块710来实现,并且在其它实施例中,心率模块710可以不同于心率模块420或504。呼吸速率模块720可以从源视频780检测人的呼吸速率,通过确定呼吸速率超过呼吸速率阈值确定呼吸速率加快,并修正源视频780以使得无法或至少难以基于人的胸部的上升和下降从修正视频770提取呼吸速率,或者使得可以从修正视频770提取等于或小于呼吸速率阈值的呼吸速率。
[0051]皮肤红润度模块730可以确定人的皮肤颜色的红润度的偏移量,并修正源视频780以使得红润度偏移在基线红润度等级的皮肤红润度偏移阈值内。抽搐模块740和微表情模块750可以从源视频780去除人的抽搐和微表情。通信模块760可以接收源视频780,并且可以将修正视频770发送到另一个计算装置。在一些实施例中,计算装置700可以包括另外的模块(如图7中用虚线所示),例如视频捕获装置790,它们可以是将源视频提供给计算装置700的任何相机(例如,RGB、IR、推送)。
[0052]将了解,图7示出可包含在计算装置中的模块集合的一个示例。在其它实施例中,计算装置可以具有比图7中示出的模块更多或更少的模块。例如,只掩饰心率和呼吸速率加快的生理线索掩饰系统可以不包括皮肤红润度、抽搐和微表情模块。此外,可以将图7中示为独立的模块组合到单个模块中,或者图7中示出的单个模块可以分解成多个模块。而且,图7中示出的任何模块可以是计算装置700的操作系统的一部分、独立于操作系统的一个或多个软件应用、或在另一软件层操作。在一些实施例中,计算装置700可以包括:获取模块,它包括视频捕获模块790、脸部检测模块和ROI像素平均模块;以及心率模块,它包括每帧心率模块和心率输出模块。
[0053]图7中示出的模块可以在软件、硬件、固件或其组合中实现。被称为编程以执行某种方法的计算机装置可以被编程以经由软件、硬件、固件或其组合来执行该方法。
[0054]图8是掩饰生理线索的第一示例性方法800的框图。方法800可以通过例如安装在由参与和远程方谈判的商务执行者使用的商务场所的会议室中的视频会议系统来执行。视频会议系统包括RGB相机。在过程动作810,接收包括一个或多个生理线索的至少一个人的源视频。在该示例中,视频会议系统经由RGB相机接收执行者的视频。执行者正忙于进展不顺利的高风险谈判。执行者既紧张又担忧,并且他的心跳加速。在过程动作820,生成修正视频,在修正视频中,对所述一个或多个生理线索中的至少一个生理线索进行了掩饰。在该示例中,视频会议系统生成掩饰了执行者的心率的修正视频。在过程动作830,将修正视频发送到第二计算装置。在该示例中,视频会议系统将修正视频发送到另一方的视频会议系统,它可以是桌面型或膝上型计算机、安装在会议室中的视频会议系统或其它计算装置。
[0055]图9是掩饰生理线索的第二示例性方法900的流程图。方法900可以通过例如具有视频能力并且能够掩饰生理线索的执行VoIP (互联网协议语音)应用的桌面型计算机来执行。VoIP应用人可以是向她的团队递交季报的商务经理。在汇报过程中,经理的员工之一与经理展开热烈讨论,并且经理的脸因为混乱而变红。在过程动作910,从相机捕获视频。在该示例中,从集成在经理的桌面型计算机中的相机捕获源视频。在过程动作920,在源视频中检测生理度量。在该示例中,通过分析源视频中的像素强度检测经理脸部区域的红润度。在过程动作930,基于所标识的生理度量在源视频中检测生理线索(如果有的话)。生理线索的检测可以包括检测不希望有的生理线索(例如,抽动)或位于指定范围(例如,阈值)以外的生理度量。在该示例中,桌面型计算机确定经理脸部的红润度超过与经理相关联的皮肤红润度基线大于皮肤红润度偏移阈值。在过程动作940,对视频流执行图像处理以便掩饰生理线索。在该示例中,由于经理脸部泛红是检测到的唯一生理线索,所以桌面型计算机对视频中经理的脸执行图像处理以便降低皮肤红润度,从而使得它在经理的皮肤红润度基线的皮肤红润度偏移阈值内。在过程动作950,通过网络将修正视频发送到另一计算装置或否则如预期那样使用。在该示例中,桌面型计算机将修正视频发送到她的团队的计算装置。如果在过程930没有检测到任何生理线索,那么方法继续进行至过程动作950。
[0056]图10示出可添加到人物的计算机图形模型(例如,计算机图形成像(CGI)模型)以便模拟血液脉动效应的示例性信号。一般来说,存在于显示器中的CGI人物的皮肤的像素强度值可以包括静态模型纹理和光照场景的组合。可以将随时间变化(例如,正弦变化)的另外的纹理添加到人皮肤纹理网络以便在CGI人物中添加血液脉动效应。在一些实施例中,正弦波的频率介于约0.7至3.0 Hz之间以便代表对应于CGI人物所表现的情绪状态的范围的心率范围(42-180 bpm)。正弦波的幅度可以随颜色、亮度和/或色度通道变化。
[0057]图1000示出采用RGB颜色方案的视频中的CGI人物的感兴趣区域的示例性平均像素强度1005。平均像素强度1005是针对其中没有对脉动效应建模的CGI人物而言的。因此,像素强度不随时间改变。图1010和1020示出可添加到像素强度值1005以分别指示CGI人物的平静和激动状态的示例性血液脉动效应信号1030和1040。激动血液脉动效应信号1040相对于平静血液脉动效应信号1030具有增加的频率以及增加的幅度,但是在一些实施例中,激动血液脉动效应信号的幅度可以与平静血液脉动效应信号的幅度基本上类似。通常,血液脉动效应信号相对于由相机捕获的平均像素强度值具有较低的幅度。尽管图10中将血液脉动效应信号1030和1040示为是正弦波信号,但是它们可以是任何类型的周期性或非周期性信号。
[0058]如果CGI人物处于通常认为人物处于平静情绪状态的环境中(例如,在公园散步,与另一个CGI人物随意交谈),那么可以在人物中增加具有1.0-1.3 Hz的频率(反映60-80bpm心率)的血液脉动效应信号。如果CGI人物处于通常认为人物激动的环境中(例如,在枪战中),那么可以添加2.0-2.5 Hz信号(反映120-150 bpm心率)。在一些实施例中,血液脉动效应信号可以包括像素强度波峰和波谷的幅度变化(随机或以其它方式变化)以便提供脉动效应的更准确的建模。也可以将像素强度波峰和波谷之间的时间的少量变化引入到血液脉动效应信号中。除了用于在CGI人物的脸部添加皮肤颜色波动以外,也可以将关于图10所描述的血液脉动效应信号注入到由生理线索掩饰系统所生成的修正视频中。S卩,关于图10论述的血液脉动效应信号可以包括添加到中间视频330以便生成图3中的修正视频350的信号340。包含血液脉动效应信号和像素强度峰值幅度和频率的变化可以使得接收修正视频的一方不太可能推断出源视频已被修正来掩饰生理线索。
[0059]将血液脉动效应添加到CGI人物的计算机可读指令可以集成到CGI建模套件中,作为CGI建模套件的插件提供,或使得对于人或计算装置以其它方式可用。
[0060]图11是用于在人物的计算机图形模型中添加血液脉动效应的示例性方法1100的流程图。方法1100可以由例如主控大型多人线上游戏的基于云的游戏服务来执行。在过程动作1110,接收包括脸部区域的人物的计算机图形模型。在该示例中,基于云的游戏服务的渲染引擎接收人物的计算机图形模型。在过程动作1120,将包括血液脉动效应的皮肤纹理添加到脸部区域。在该示例中,渲染引擎将包括血液脉动效应的皮肤纹理添加到人物的脸部区域。
[0061]以下场景说明本文中所描述的技术的示例性优点。在第一种示例性使用场景中,可以利用生理线索掩饰系统来帮助参与视频会议的人。例如,考虑参与基于视频会议的谈判中由于处于弱势谈判地位而紧张的CEO。他的心跳加速,但是他又想在其他视频会议参与者面前显得平静。即使视频会议的其他方可能不能注意到CEO的心率增加,但是CEO仍担心其他方可能对视频执行计算机分析以便试图检测和监测他的心率。生理线索掩饰系统可以检测他的脸部中的血液脉动效应并调整他的脸部的皮肤颜色以去除血液脉动效应。然后,掩饰系统可以将指示CEO具有指示平静情绪状态的心率的血液脉动效应信号注入到视频中。碰巧在分析视频以便确定CEO的心率的视频会议谈判的任何一方可检测到指示CEO处于平静状态的心率。因此,本文中所描述的技术可以充当视频会议的其他方试图对视频执行分析以便通过从视频提取他们的心率、呼吸速率、皮肤红润度等来确定人的情绪状态的对策。
[0062]在第二种示例性使用场景中,在现场电视广播中,可以利用生理线索掩饰系统来掩饰公众发言人的演讲视频中的生理线索。例如,考虑政治家在现场电视广播中向他的选民演说关于经济状况。经济状况很迫切,政治家很紧张,并且政治家具有在她紧张时显露的她的嘴角处的脸部抽动。生理线索掩饰系统可以分析视频中的运动,检测何时存在脸部抽动,并将它们从视频中去除。在观看者看到的修正视频中,政治家的抽动不存在,从而使得观看者不太可能辨别出政治家是紧张的。
[0063]在另一个实施例中,本文中所描述的技术可用于将皮肤颜色波动添加到CGI人物的皮肤纹理中以便模拟血液脉动效应。将这种生理效应添加到CGI人物中是可以缩小“恐怖谷(uncanny valley)”的一种方法,“恐怖谷”是观看者带着排斥观看外貌和行为几乎都像、但不是很完美地像真实人类的CGI人物的效应。这种血液脉动效应的频率可以预先确定或可人为配置。另外,增加的心率频率可以基于CGI人物的环境来确定。
[0064]在另外的使用场景中,本文中所描述的技术可用于监测人对在输出装置处输出的内容的情绪反应并取决于人对内容的情绪反应采取措施。例如,计算装置可以显示特定商品或服务的广告,并分析观看者观看广告的反应的视频以便检测观看者对广告的情绪反应。可以基于观看者对广告的反应向观看者提供促销。例如,如果某个人正在流
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1