生理线索处理的制作方法
【专利说明】
【背景技术】
[0001]诸如心率和呼吸速率的某些生理度量可以提供对人的情绪状态的洞察。例如，一个人的心率加快可以暗示这个人激动或痛苦。因此，生理度量的特性可以充当指示人的情绪状态的生理线索。
[0002]人的心率和呼吸速率可以利用相机和计算装置以非接触方式来确定。例如，人的心率可以通过利用血液脉动效应来确定，血液脉动效应是当随着人的心脏跳动血液流过靠近皮肤表面的毛细血管时出现的平均皮肤颜色强度的小波动。血液脉动效应之所以存在是因为光如何与人的皮肤互相作用。由于存在三种色素一一黑色素、叶红素和血红素，所以人的皮肤以变化的量反射或吸收环境光。在典型的采样时间帧过程中，皮肤中的黑色素和叶红素的量通常不改变，但是血红素的量随着血液脉冲进出皮肤的动作而改变，从而造成脸部的捕获区域的平均颜色输出的可检测的波动。
[0003]这些皮肤颜色波动非常细微，并且以大约+/-1%的平均未调制皮肤颜色强度进行测量。皮肤颜色波动存在于人的视频记录的所有颜色通道中，并且在红-绿-蓝(RGB)颜色空间中，绿色通道中的效应更加突出。在YCbCr颜色空间(亮度-色度颜色空间)中，Y (亮度)通道中的效应最突出，其中色度通道之一 Cr通道中具有匹配的较低幅度波动。
[0004]人的呼吸速率可以通过检测视频中人的肩膀和/或胸部的上升和下降的速率来确定。
【附图说明】
[0005]图1是可在其中实现本文所描述的技术的示例性环境的图。
[0006]图2示出加快的心率、加快的呼吸速率和人脸的红润度偏移的示例性掩饰。
[0007]图3A-3C示出生理线索的另外的示例性掩饰。
[0008]图4是用于基于从单个视频源接收的视频以非接触方式确定人的心率的示例性系统的框图。
[0009]图5是用于基于从多个源接收的视频以非接触方式确定人的心率的示例性系统的框图。
[0010]图6是用于从视频确定人的心率的示例性方法的流程图。
[0011]图7是可在其中实现本文所描述的技术的第一示例性计算装置的框图。
[0012]图8是掩饰生理线索的第一示例性方法的流程图。
[0013]图9是掩饰生理线索的第二示例性方法的流程图。
[0014]图10示出可添加到人物的计算机图形模型以模拟血液脉动效应的示例性信号。
[0015]图11是用于将血液脉动效应添加到人物的计算机图形模型的示例性方法的流程图。
[0016]图12是可在其中实现本文所描述的技术的第二示例性计算装置的框图。
[0017]图13是用于执行计算机可执行指令以便实现本文所描述的技术的示例性处理器核的框图。
【具体实施方式】
[0018]本文中公开可掩饰生理线索的技术，这些生理线索可以从人的视频提供关于人的情绪状态的信息。例如，所公开的技术可以对人的视频进行修正以便掩饰人的加快的心率、加快的呼吸速率、脸泛红、神经抽搐以及其它脸部或身体运动或生理反应。人可能因为例如生气、紧张、痛苦或激动而表现出这些运动或反应。在人不希望他或她的视频透露关于他或她的情绪状态的信息的情形中，例如在人通过视频会议参与敏感商务谈判的情形中，生理线索的掩饰是有用的。诸如脸部泛红和神经抽搐的一些生理线索对于人是可察觉的，而诸如血液脉动效应所显现的心率加快的其它生理线索一般是人不可察觉的。参与视频会议的各方可以采用各种技术来检测其它视频会议参与者的不可察觉的生理线索以试图确定另一参与者的情绪状态。本文中所描述的技术可以通过从计算机算法和人隐藏生理线索来充当这种努力的对策。
[0019]现在参考附图，其中所有附图中类似参考数字用于指类似要素。图1是可在其中实现本文中所描述的技术的示例性环境100的图。环境100包括用于将人130的源视频120递送到第一计算装置140的视频记录器110。视频记录器110可以是捕获视频的任何装置，例如智能电话、平板计算机或摄像机。第一计算装置140对源视频120进行修正以便生成修正视频160，在修正视频160中，存在于源视频120中的人130的生理线索基本上不存在。经由网络或云180将修正视频160发送到第二计算装置170，并在耦合到第二计算装置170的显示器190上进行显示以便供人192观看。网络180可以是任何类型的网络，例如局域网(LAN)、广域网(WAN)或互联网。第一和第二计算装置140和170可以是如本文所描述的任何计算装置，例如移动装置(例如，智能电话、膝上型计算机或平板计算机)、桌面型计算机或服务器。
[0020]环境100还包括用于存储视频数据198并且可以将所存储的视频数据198作为另外的源视频121递送到第一计算装置的推送相机194。推送相机194可以是任何种类的存储介质、装置或系统，例如集成到第一计算装置中的视频存储(例如，集成到桌面型计算机中的硬盘驱动器)或外部存储装置或系统(例如，外部硬盘驱动器或基于云的存储设备)。本文中所描述的源视频、修正视频和任何其它视频可以采用任何视频格式。
[0021]第一计算装置140可以对源视频120进行处理以便掩饰可提供关于人130的情绪状态的信息的生理线索。如本文中所使用，术语“生理线索”意味着指示或暗示人的情绪状态的人的身体或脸部运动或生理反应。生理线索的示例包括加快的心率、加快的呼吸速率、人脸泛红、神经抽搐(例如，眨眼)以及短暂、无意识的微表情。人可以响应于激动或紧张而心率加快或呼吸速率加快，响应于生气或尴尬而脸部泛红，或具有在他们紧张时显露的神经抽搐(例如，快速眨眼或嘴角抽动)。一些生理线索的存在可以基于从人的视频确定的生理度量来检测。如本文中所使用，术语“生理度量”是人的物理特性的测量，例如他们的心率、呼吸速率和他们的脸部红润度。人可以表现出上文所列以外的生理线索，并且本文中所描述的技术可用于掩饰这些另外的生理线索。
[0022]在一些实施例中，源视频中的生理线索的掩饰包括:从源视频确定生理度量，从生理度量确定视频包含生理线索，并生成其中基本上不存在生理线索的修正视频。在各种实施例中，从生理度量确定视频包含生理线索包括确定生理度量超过相关联的生理度量阈值，例如心率阈值或呼吸阈值。
[0023]图2示出存在于源视频200中的加快的心率、加快的呼吸速率和人脸泛红的示例性掩饰。可以通过例如测量血液脉动效应一一随着血液流过靠近皮肤的毛细血管人的平均皮肤颜色的小波动从源视频200提取对应于人的心率的信号205。量度205指示这个人的心率为140次心跳/分钟(bpm)。当140 bpm的心率超过指示人处于激动状态的例如90bpm的心率阈值时，可以确定量度205是指示这个激动或焦虑的生理线索。可以通过修正源视频以便生成其中修正血液脉动效应以指示心率处于或低于心率阈值的修正视频210来掩饰心率加快的生理线索。例如，测量修正视频210中的人的平均皮肤颜色的波动以便测量人的心率可以得到对应于75次心跳/分钟的心率的信号215，这个值低于心率阈值并且指示这个人处于平静状态。备选地，可以通过生成其中基本上不存在由血液脉动效应引起的人脸的颜色波动的修正视频来掩饰心率加快的生理线索。
[0024]可以用类似方式来掩饰加快的呼吸速率。可以通过例如测量源视频200中人的胸部和/或肩膀的上升和下降的速率从源视频200提取对应于人的呼吸速率的信号220。量度220指示这个人的呼吸速率为25次呼吸/分钟，当它超过例如20次呼吸/分钟的呼吸速率阈值时，可以确定它是指示这个人激动的生理线索。可以通过修正源视频200以便生成其中人的肩膀和/或胸部的上升和下降的速率低于呼吸速率阈值的修正视频210来掩饰呼吸速率加快的生理线索。例如，测量修正视频210中胸部或肩膀上升和下降速率以便测量人的呼吸速率可以得到对应于15次呼吸/分钟的呼吸速率的信号230，这个值低于20次呼吸/分钟的呼吸速率阈值并且指示这个人处于平静状态。备选地，可以通过生成其中由呼吸引起的人的胸部的上升和下降速率基本上去除的修正视频来掩饰呼吸速率加快的生理线索。
[0025]人脸泛红也可以利用本文中所描述的技术来进行掩饰。可以通过例如确定人脸的颜色从源视频200提取对应于人的皮肤红润度的信号240。如果人脸的红润度偏移皮肤红润度基线250超过皮肤红润度偏移阈值255，那么可以确定所测量的皮肤红润度是指示这个人生气、不安或尴尬的生理线索。可以通过修正源视频200以便生成其中人脸的红润度在皮肤红润度基线的皮肤红润度偏移阈值内的修正视频210来掩饰皮肤泛红的生理线索。例如，测量修正视频210中人脸的红润度可以得到对应于在红润度基线250的皮肤红润度偏移阈值255内的皮肤红润度的信号260。
[0026]图3A-3C示出生理线索的另外的示例性掩饰。图3A示出通过消除允许检测生理线索的源视频的成分并在修正视频中增加得到不指示生理线索的存在的生理度量的成分而进行的生理线索的示例性掩饰。在图3A中，源视频包括包含可从中提取对应于生理度量的信号310的身体或脸部运动或其它生理反应的人300的视频。如果生理度量超过对应阈值(例如，提取的心率超过心率阈值)，那么生成信号320以使得在源视频300中添加信号320导致其中已经去除身体或脸部或其它生理反应的中间视频330。例如，如果源视频包括由血液脉动效应引起的皮肤颜色波动，那么视频信号320可以包括消除源视频300中的血液脉动效应的皮肤颜色波动。因此，在源视频300中添加视频信号320得到其中基本上去除人脸的皮肤颜色波动的中间视频330。类似地，如果源视频300包括可从中提取呼吸速率的人的肩膀轮廓的波动，那么视频信号320可以包括从源视频300去除由于人呼吸引起的肩膀的上升和下降的信号。
[0027]可以在中间视频330中添加信号340以便生成修正视频350，在修正视频350中，可以提取具有处于或低于对应生理度量阈值的生理度量。信号340可以包括例如对应于低于心率阈值的心率的平均皮肤颜色的波动或指示低于呼吸速率阈值的呼吸速率的肩膀和/或胸部轮廓的波动。
[0028]在一些实施例中，可以提供中间视频330以作为修正视频，在此情形中，通常无法从修正视频提取生理度量。例如，人脸的皮肤颜色的波动可以基本上不在修正视频中，或者在修正视频中胸部或肩膀可以保持处于基本上恒定的位置。但是，在修正视频350中添加信号340可以提供这样的优点，即对修正视频350的分析可以得到指示人处于平静状态的生理度量，这可以使这个人在例如商务谈判中具有优势，如之前所描述的。另外，可在其中提取生理度量的修正视频使得对视频进行分析以寻找生理线索的存在的一方不太可能想到源视频已经被处理以掩饰生理线索。如果不能从所提供的视频提取心率、呼吸速率或其它生理度量，那么将中间视频330提供给另一方可能向接收方透露源视频已经被处理。
[0029]图3B示出人脸泛红的示例性掩饰。在图3B中，源视频355包括其中人脸的红润度360超过红润度基线370多于皮肤红润度偏移阈值365的人的视频。人脸泛红可以通过对源视频355运用阈值滤波器380来进行掩饰。阈值滤波器380可以对源视频355进行修正以使得人脸的红润度在那个人的红润度基线的皮肤红润度偏移阈值内。在图3B中，阈值滤波器380已经对源视频355进行了修正，从而使得修