对视频会议流的自动隐私调整的制作方法
【专利摘要】方法和系统可涉及基于与永远在线视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平。可以基于用户注意水平来修改视频流数据以获得针对隐私而自动调整的修改的视频流数据。此外，可以将修改的视频流数据传输给视频会议会话中的一个或多个其他参与者。
【专利说明】对视频会议流的自动隐私调整
[0001]对相关申请的交叉引用
本专利申请要求美国临时专利申请N0.61/494，034的优先权的益处。
【背景技术】
[0002]传统的视频会议可遭受建立时间以及参与者的共享视频图像的意愿和可用性的知识的缺乏。虽然“永远在线”视频流可以解决参与者可用性，但是永远在线馈送可以引入新的隐私问题。
【专利附图】
【附图说明】
[0003]通过阅读以下说明书和附加的权利要求书以及通过参考以下附图，对于本领域技术人员来说，本发明的实施例的各种优势将变得显而易见，其中:
图1是根据实施例的视频会议环境的示例的框图；
图2是根据实施例的处理视频流数据的方法的示例的流程图；
图3是根据实施例的基于用户注意水平修改视频流数据的方法的示例的流程图；
图4A和4B是根据实施例的视频会议显示器的示例的屏幕截图；以及 图5是根据实施例的计算系统的示例的框图。
【具体实施方式】
[0004]实施例可包括具有指令集的计算机可读存储介质，所述指令如果被处理器执行的话会引起计算机基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平。所述指令还可引起计算机基于用户注意水平来修改视频流数据以获得修改的视频流数据，并且将修改的视频流数据传输给视频会议会话中的第二参与者。
[0005]现在转到图1，示出了视频会议环境，其中第一参与者10引导与第二参与者12的“永远在线”视频会议会话。在图示的示例中，照相机16和麦克风18分别捕获第一参与者10的视频和音频内容，第一参与者10使用显示器(例如具有音频输出能力的电视/监视器)14来观看并听第二参与者12的视频和音频内容(例如视频流数据)。可以将音频内容嵌入视频流数据中。在通过网络22传输给第二参与者之前，第一参与者10的视频流数据可以被计算系统20处理。类似地，照相机24和麦克风26可以捕获第二参与者12的视频流数据，第二参与者12可以使用显示器28来观看并听第一参与者10的视频流数据。因此，在通过网络22传输给第一参与者10之前，第二参与者12的视频流数据可以被计算系统30处理。在图示的示例中，计算系统30确定第二参与者12未正在注意显示器28并且因此修改视频流数据以使从第一参与者10的观点来看第二参与者12不那么可见(例如模糊的)并且不那么可听(例如静音的)。因此，在不注意的时期期间，图示的方法自动提供更多隐私给第二参与者12。
[0006]如将更详细讨论的，照相机16、24可以各自均包括RGB(红-绿-蓝)图像捕获装置和深度图像捕获装置。RGB图像捕获装置可以是标准的2D (二维)装置，而深度图像捕获装置可包括例如IR (红外)装置(如从华盛顿州雷蒙德(Redmond WA)的微软公司(MicrosoftCorportaion)可得到的Kinect装置)。例如，IR装置可包括IR频谱中操作的结构光发射器和捕获由此可计算深度信息的IR图像的IR照相机。例如飞行时间照相机技术等等的其它技术可用来识别深度信息。
[0007]此外，计算系统20、30可包括从RGB-深度数据中提取候选脸部区域的逻辑，以及确定脸部是否出现在候选脸部区域中的逻辑(例如脸部识别软件)。在一个示例中，具有基于反射对称性的正面脸部训练集合的Haar特征分类器可以用于正面脸部检测。因此，视频流数据中正面面向的脸部可以等同作为注意的记号。还可使用其它注意检测方法。与仅仅基于RGB图像捕获装置的系统相比，深度图像捕获装置的使用可提供更高的效率(例如更快的用户注意水平确定)。
[0008]图2示出了处理视频流数据的方法32。使用例如特定用途集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术或其中的任何组合的电路技术，方法32可以实现为存储在固定功能性硬件中的机器或计算机可读存储介质(例如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM (PR0M)、闪速存储器、固件、微代码等等)中的可执行逻辑指令集。例如，用来执行方法32中示出的操作的计算机程序代码可以用一种或多种编程语言的任何组合来写，包括面向对象编程语言(例如C++等等)和常规程序编程语言(例如“C”编程语言或类似的编程语言)。此外，使用上述电路技术中的任何一种，方法32的各个方面可以实现为处理器的嵌入式逻辑。在一个示例中，在设备驱动程序级实现方法32以使能将任何传送机制用于视频会议流。
[0009]处理框34为接收与视频会议会话中的第一参与者相关联的视频流数据作准备。在一个示例中，视频会议会话可以是永远在线会话，其中参与者可以有时是不注意的或者甚至是身体上缺席的。可以在框36确定第一参与者的用户注意水平。如已经提到的，基于反射对称性的Haar特征分类器可以用来确定用户注意水平。图示的框38基于用户注意水平来修改视频流和音频数据。应用于视频流数据的修改可以是任何适当的隐私保留过滤器。例如箱式过滤器模糊、高斯模糊、对比度减少(例如变暗)方法等等可以用来增加输出的视频流数据的隐私。
[0010]现在转到图3、4A和4B，示出了基于用户注意水平和所得到的视频内容来修改视频流数据的方法40。图示的框42确定视频流数据是否反映一个或多个参与者正在注意。例如，脸部分析面板44演示了可以基于来自深度图像捕获装置的数据来识别一个或多个候选脸部区域46 (46a-46f)。特别地，一个区域46a可以对应于后面的墙，而另一个区域46c可以对应于距图像捕获装置不同距离处的桌子上的物体，而又一区域46b可以对应于参与者的头部。在图示的示例中，在候选脸部区域46中检测注意的(例如正面面向的)脸部区域48。
[0011 ] 如在图4A的情况下，如果确定参与者正在注意，框50可以减少输出的视频数据流中的隐私。因此，可以导致其中参与者完全可见的视频输出52。此外，可以将音频内容增加到相对高的等级，例如完全音量等级。
[0012]在另一方面，如果确定一个或多个候选脸部区域54 (54a_54c)不包含注意的脸部区域，则可以推断参与者未正在注意或者身体上不在视频捕获区域。因此，框56可以增加输出的视频数据流中的隐私使得视频输出58被模糊以防止参与者被完全看见。此外，音频内容还可以被静音或以其它的方式被减少音量。因此，其中检测到注意的脸部的每个时间间隔，可以将注意测量递增一些增益。当未看见脸部时，可以将注意测量递减不同的增益。然后，这个注意测量可以用来根据某个转换函数设置隐私等级(例如从0-100%)。对于模糊的情况，可以使用与隐私等级逆相关的模糊内核半径。对于音频，可以使用与隐私等级逆相关的音量设置(例如从0-100%)。
[0013]如将更详细讨论的，控制框56中的隐私增加的增益可以高于控制框50中的隐私减少的增益以便实现说明短暂的把脸转过去等等的可调滞后功能性。返回到图2，图示的框39为将修改的视频流和音频数据传输给视频会议会话中的第二参与者作准备。
[0014]图5示出了计算平台60，其具有处理器62、系统存储器64、平台控制器集线器(PCH) 66、海量存储器(例如硬盘驱动器/HDD、光盘、闪速存储器)68、网络控制器70、一个或多个用户接口(UI)装置72以及各种其它控制器(未示出)。平台60可以是移动平台的一部分，例如膝上型计算机、个人数字助理(PDA)、无线智能电话、媒体播放器、成像装置、移动互联网装置(MID)、任何智能装置(例如智能电话、智能平板电脑、智能电视等等)、或其中的任何组合。此外，平台60还可以是固定平台的一部分，例如个人计算机(PC)、服务器、工作站等等。实际上，平台60可以部分地或完全地被合并到视频会议显示器中，例如已经讨论过的显示器14、28 (图1)。因此，处理器62可以包括能够执行存储的逻辑指令集的一个或多个处理器核以及配置成与系统存储器64通信的集成存储器控制器(MO 74。系统存储器64可以包括例如动态随机存取存储器(DRAM)，其配置为存储器模块，诸如，例如，双列直插式存储器模块(DIMM)、小外廓DIMM (SODIMM)等等。
[0015]在图示的示例中，处理器62配置成执行逻辑76，所述执行逻辑76接收与视频会议会话相关联的视频流数据、基于视频流数据来确定用户注意水平、基于用户注意水平来修改视频流数据并且将修改的视频流数据传输给视频会议会话中的其他参与者。因此，逻辑76可实现已经讨论过的方法32 (图2)的一个或多个方面。如已经提到的，可以在设备驱动程序级实现逻辑76。
[0016]有时被称为芯片集的南桥的图示的PCH 66起主机装置的作用并且可以和网络控制器70通信，网络控制器70可以为各种各样的用途提供平台外的无线通信功能性，诸如，例如，蜂窝电话(例如 W-CDMA(UMTS)、CDMA2000 (IS-856/IS-2000)等等)、WiFi (例如 IEEE802.11、1999 Edition、LAN/MAN 无线 LANS)、低速率无线 PAN (例如 IEEE 802.15.4-2006、LR-WPAN),蓝牙(例如 IEEE 802.15.1-2005、无线个人局域网)、WiMax (例如 IEEE802.16-2004、LAN/MAN宽带无线LANS)、全球定位系统(GPS)、扩展频谱(例如900MHz)以及其它射频(RF)电话用途。网络控制器60还可提供平台外的有线通信(例如RS-232 (电子工业联盟/EIA)、以太网(例如IEEE 802.3-2005、LAN/MAN CSMA/CD接入方法)、电力线通信(例如X10、IEEE P1675)、USB (例如通用串行总线2.0规范)、数字订户线(DSL)、电缆调制解调器、Tl连接)等等功能性。UI (例如触摸屏、液晶显示器/IXD、发光二极管/LED、键盘、鼠标等等)装置72可以能够使得用户能够与平台60交互并且从平台60感知信息。
[0017]可以例如写出上面描述的技术的伪代码实现如下。
[0018]MAXPUBLIC = 200 ；//改变这个以增加滞后
【权利要求】
1.一种系统，包括: 图像捕获装置，用于获得与视频会议会话中的第一参与者相关联的第一视频流数据；以及 逻辑，用于 基于所述第一视频流数据来确定用户注意水平， 基于所述用户注意水平来修改所述第一视频流数据以获得修改的视频流数据，以及 将所述修改的视频流数据传输给所述视频会议会话中的第二参与者。
2.如权利要求1所述的系统，其中所述图像捕获装置包括二维(2D)部件和深度捕获部件，并且所述逻辑将识别所述第一视频流数据中的2D信息和深度信息。
3.如权利要求2所述的系统，其中所述深度捕获部件包括: 在IR频谱中操作的结构光发射器；以及 用于捕获IR图像的IR照相机，其中所述逻辑将基于所述IR图像来识别所述深度信息。
4.如权利要求1-3中任何一项所述的系统，其中所述逻辑将 使用所述第一视频流深度数据来识别一个或多个候选脸部区域， 从所述第一视频流数据中提取所述一个或多个候选脸部区域，以及 在所述一个或多个候选脸部区域上引导脸部识别分析。
5.如权利要求4所述的系统，其中所述逻辑将在所述脸部识别分析中使用正面面向的脸部作为注意的记号。
6.如权利要求1-5中任何一项所述的系统，其中所述逻辑将 把注意测量递增第一增益，如果所述用户注意水平指示所述第一参与者正在注意所述视频会议会话的话，以及 把所述注意测量递减第二增益，如果所述用户注意水平指示所述第一参与者未正在注意所述视频会议会话的话，其中将基于所述注意测量来修改所述第一视频流数据。
7.如权利要求6所述的系统，其中所述第一增益将大于所述第二增益。
8.如权利要求6或7所述的系统，其中所述逻辑将基于所述注意测量来修改所述第一视频流数据的模糊特性和对比度特性中的至少一个。
9.如权利要求6-8中任何一项所述的系统，其中所述逻辑将基于所述注意测量来修改所述视频流数据的音频音量。
10.如权利要求1-9中任何一项所述的系统，还包括网络控制器，其中所述逻辑将经由所述网络控制器来将所述修改的视频流数据传输给所述第二参与者。
11.如权利要求10所述的系统，其中所述网络控制器将把所述修改的视频流数据传输给所述视频会议会话中的多个参与者。
12.如权利要求1-11中任何一项所述的系统，还包括用于输出与所述视频会议会话中的所述第二参与者相关联的第二视频流数据的显示器。
13.—种计算机实现的方法，包括: 基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平； 基于所述用户注意水平来修改所述视频流数据以获得修改的视频流数据；以及 将所述修改的视频流数据传输给所述视频会议会话中的第二参与者。
14.如权利要求13所述的方法，还包括识别所述视频流数据中的二维(2D)信息和深度信息。
15.如权利要求14所述的方法，其中所述深度信息包括红外(IR)信息。
16.如权利要求13-15中任何一项所述的方法，其中确定所述用户注意水平包括: 使用所述视频流深度数据来识别一个或多个候选脸部区域； 从所述视频流数据中提取所述一个或多个候选脸部区域；以及 在所述一个或多个候选脸部区域上引导脸部识别分析。
17.如权利要求16所述的方法，还包括在所述脸部识别分析中使用正面面向的脸部作为注意的记号。
18.如权利要求13-17中任何一项所述的方法，还包括: 如果所述用户注意水平指示所述第一参与者正在注意所述视频会议会话，则将注意测量递增第一增益；以及 如果所述用户注意水平指示所述第一参与者未正在注意所述视频会议会话，则将所述注意测量递减第二增益，其中基于所述注意测量来修改所述视频流数据。
19.如权利要求18所述的方法，其中所述第一增益大于所述第二增益。
20.如权利要求18或19所述的方法，其中修改所述视频流数据包括基于所述注意测量来修改所述视频流数据的模糊特性和对比度特性中的至少一个。
21.如权利要求18-20中任何一`项所述的方法，其中修改所述视频流数据包括基于所述注意测量来修改所述视频流数据的音频音量。
22.—种计算机可读存储介质，包括指令集，所述指令如果被处理器执行则会引起计算机: 基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平； 基于所述用户注意水平来修改所述视频流数据以获得修改的视频流数据；以及 将所述修改的视频流数据传输给所述视频会议会话中的第二参与者。
23.如权利要求22所述的介质，其中所述指令如果被执行则会引起计算机识别所述视频流数据中的二维(2D)信息和深度信息。
24.如权利要求23所述的介质，其中所述深度信息将包括红外(IR)信息。
25.如权利要求22-24中任何一项所述的介质，其中所述指令如果被执行则会引起计算机: 使用所述视频流深度数据来识别一个或多个候选脸部区域， 从所述视频流数据中提取所述一个或多个候选脸部区域；以及 在所述一个或多个候选脸部区域上引导脸部识别分析。
26.如权利要求25所述的介质，其中所述指令如果被执行则会引起计算机在所述脸部识别分析中使用正面面向的脸部作为注意的记号。
27.如权利要求22-26中任何一项所述的介质，其中所述指令如果被执行则会引起计算机: 将注意测量递增第一增益，如果所述用户注意水平指示所述第一参与者正在注意所述视频会议会话的话；以及 将所述注意测量递减第二增益，如果所述用户注意水平指示所述第一参与者未正在注意所述视频会议会话的话，其中将基于所述注意测量来修改所述视频流数据。
28.如权利要求27所述的介质，其中所述第一增益将大于所述第二增益。
29.如权利要求27或28所述的介质，其中所述指令如果被执行则会引起计算机基于所述注意测量来修改所述视频流数据的模糊特性和对比度特性中的至少一个。
30.如权利要求27-29中任何一项所述的介质，其中所述指令如果被执行则会引起计算机基于所述注意测量来修改·所述视频流数据的音频音量。
【文档编号】H04N7/15GK103828349SQ201180072739
【公开日】2014年5月28日 申请日期:2011年10月1日 优先权日:2011年6月7日
【发明者】P.拉隆德, D.卡米恩 申请人:英特尔公司