这大体上涉及电视以及与社交联网工具的交互。
背景技术：
社交联网工具对于许多人的生活已变得必不可少。社交联网工具允许它们的用户保持跟踪他们的好友并且找到额外联系现有和新的好友的来源。
社交联网的一个优势是可以识别具有相似兴趣的好友。然而，为了确定那些兴趣通常是什么需要许多用户输入。例如，用户可维持facebook页面，其指示感兴趣的领域。可提供的信息的量可因为它所花的时间量以及它可牵涉的用于提供所有用户的兴趣、喜欢和不喜欢的完全说明的想象的量而受到限制。
附图说明
图1是本发明的一个实施例的示意描绘；
图2是本发明的一个实施例的流程图；以及
图3是本发明的另一个实施例的流程图。
具体实施方式
根据一些实施例，关于用户的电视体验的信息可自动传达给社交联网工具作为用于增加社会交互的模态。然而，一些实施例实际上不仅可确定用户是否在线，而且还可确定用户实际上是否靠近用户的电视显示器。在一些实施例中，可以从用户的面部表情确定用户是喜欢还是不喜欢当前显示的节目安排。而且，在一些实施例中，各种电视观众的喜爱节目列表可采用自动化的方式编译。该信息然后可上传到社交联网工具或其他途经用于社会交互。
参考图1，电视显示器18在一个实施例中可配备有电视拍摄装置16。而在一些实施例中，该电视拍摄装置可安装在电视显示器18上或与电视显示器18集成，拍摄装置当然可以与电视显示器完全分离。然而，拍摄装置16采用它可以捕获正观看电视的那些人的图像并且还可以捕获他们的面部表情这样的方式安装，这是有利的。从而，电视18可接收视频源，其可以是电视广播、流播互联网信息、来自例如dvd播放器等存储装置的数字电影、通过互联网或使用数字媒体播放器播放的交互游戏。
来自拍摄装置16的输出可连接到基于处理器的系统10。该基于处理器的系统10可以是任何类型的计算机，仅举几个示例，其包括膝上型计算机、台式计算机、娱乐装置或蜂窝电话。基于处理器的系统10可包括视频接口22，其从拍摄装置16接收视频并且将它转换成供处理器12使用的正确格式。视频接口可为用户状态模块24提供视频。
根据一个实施例，用户状态模块确定用户实际上是否在线，并且在一些实施例中，确定用户实际上是否在观看电视。在线状态可以例如从通过网络接口控制器检测输入和输出来确定。用户实际上是否在观看节目可以例如从拍摄装置16视频馈送的视频分析来确定以检测在电视屏幕前方是否存在用户。
在一些实施例中，用户状态模块可检测许多电视观众。那些观众中的每个可通过自动化面部分析来识别。例如，在设置模式中，可促使每个观众配合捕获用户图片。然后系统可将电视节目的观众的面部图像与那些预先记录的视频剪辑或在设置模式期间拍摄的静态照片比较，来识别当前活跃的观众。
从而，在一些实施例中，用户状态模块24不仅指示任何观众是否在观看电视，而且实际上还识别多个观众中的哪些实际上在观看电视显示器18。
用户状态模块可耦合于用户兴趣检测模块26，其也从视频接口22接收视频馈送。用户兴趣检测模块26可使用视频面部表情分析工具来分析用户的面部表情以确定用户对节目感兴趣还是不感兴趣。同样，面部表情分析可以用于确定用户是喜欢节目还是不喜欢节目。来自用户兴趣检测模块的信息可与来自用户状态模块的结果组合用于将信息提供给社交联网界面28。在一些实施例中，用户的喜欢和不喜欢的瞬间视频面部分析可传达给社交联网工具。如本文使用的，“社交联网工具”是电子通信技术，例如网站，其帮助人们与现有的好友或同事交互和/或通过显明共同的兴趣而帮助人们发现新的好友或同事。而且，作为社交联网工具的一部分，可提供电子邮件、tweet、文本消息或其他通信，来指示用户的当前活动和满意度。
在一些实施例中，来自电视节目的视频剪辑可被捕获并且传达给处理器12用于与用户的观看状态以及用户的当前兴趣程度的指示一起在社交联网界面28上分发。
存储14可存储捕获的视频并且还可存储程序30和50用于实现本发明的实施例。
特别地，在本发明的一些实施例中，在图2和3中描绘的序列可在硬件、软件和/或固件中实现。在软件或固件实现的实施例中，序列可由存储在例如半导体、磁或光存储装置等非暂时性存储介质上的计算机执行指令实现。
参考图2，一个序列可在一个实施例中通过从拍摄装置16(在图1中示出)接收馈送(如在框32中指示)而开始。初始阶段(框34)可牵涉通过用户界面的密码登录或面部登录，其中用户使用拍摄装置16和用户状态模块24提交以进行视频面部分析。一旦用户已经通过登录和/或面部识别来识别他或她自己，用户可选择视频节目用于观看，如在框36中指示。该节目可使用多种工具、包括捕获来自电子节目安排指南的信息、捕获视频、音频或元数据剪辑以及使用来自用户好友(通过社交联网工具)或来自互联网或数据库图像或文本搜索的输入来分析它们，或使用任何其他工具来识别。然后用户的在线状态可通过视频面部检测来确定，如在框38中指示。即，用户可以通过分析拍摄装置馈送16而被识别来确定用户不仅在基于他或她的处理器的系统10上活跃而且实际上在活动电视节目面前并且正在观看活动电视节目。
接着，可使用面部表情分析来确定用户兴趣的程度，如在框40中指示。可使用众所周知的用于确定用户是感兴趣还是不感兴趣或用户是喜欢还是不喜欢视频中的特定序列的视频面部分析技术。从而可提供实时信息来指示用户的感兴趣或不感兴趣或喜欢或不喜欢程度是否已经改变。例如，这可从时间方面与正观看的当前内容相关，同时提供来自该内容的捕获视频剪辑连同用户的兴趣程度的指示。
视频面部分析可本地或远程实行。远程视频分析可通过例如通过网络连接将视频发送到远程服务器而完成。
从面部表情分析推断的信息然后可使用社交网络工具传达给好友，如在框42中指示。在一些实施例中，社交联网消息分发可被筛选或过滤，因此仅是好友的那些用户、喜欢相同电视节目的好友、实际上在线的好友、实际上正观看电视的好友或这些类别的某种组合，如在框42中指示。例如，如果好友喜欢相同的电视节目，则可以将他们联系起来。
该社交联网工具交互提供用于提供关于可促进与新好友的约定并且创建用于与现有好友交互的资源的用户的信息的部件。另外，该信息可用于内容提供商和广告商的人口统计收集。特别地，内容提供商或广告商可获得关于在给定节目或广告期间在特定时间用户喜欢什么的非常详细的信息。
利用一个示范性实施例，六个主要步骤可用于面部属性检测。首先，面部检测可运行来定位对于给定数字图像或视频帧的面部矩形区域。然后，面部标志检测器可运行以在每个检测的面部矩形中找到六个点标志，例如眼角和嘴角。接着，面部矩形图像可根据面部标志点而对齐并且规范化到预定义标准尺寸，例如64x64(即，64个像素宽乘64个像素高)。然后，可从规范化面部图像的预先选择的局部区域提取局部特征，其包括局部二进制模式、柱状图或定向梯度的柱状图。每个局部区域然后馈送到基于多层感知的弱分类器用于预测。来自每个局部区域的弱分类器的输出被聚合作为最后的检测分数。该分数可在0-1的范围内，分数越大，面部属性检测置信度越高。面部检测可符合标准viola-jonesboosting级联框架。viola-jones检测器可以在公共opencv软件包中找到。面部标志包括六个面部点，其包括来自左右眼的眼角以及嘴角。还可使用基于viola-jones的分类器来检测眼角和嘴角。另外，几何约束可引入到六个面部点来反映它们的几何关系。
所有检测的面部可转换成灰度标度、对齐并且规范化到预定义标准尺寸，例如64x64。对齐可通过首先计算眼角线与水平线之间的旋转角而实行。然后使图像角旋转来使眼角平行于水平线。接着，计算两个眼中心距离w并且计算眼到嘴距离h。然后从面部区域裁剪2wx2h矩形来使左眼中心在0.5w、0.5h、右中心0.5w、0.5h以及嘴中心在w、1.5h。裁剪的矩形最后定标到标准尺寸。为了减轻图像之间的照明差异，定标图像可以是均衡的直方图。
可提取对齐且规范化的面部的局部区域上的局部特征。这些局部特征可以是局部二进制模式、柱状图、定向梯度的直方图。例如，提取的局部特征对于不同的面部属性可以是不同的。例如，在微笑检测中，局部二进制模式比其他技术好一些，但在性别/年龄检测中，定向梯度的柱状图略微更好地起作用。
局部区域限定为四部分(x,y,w,h)，其中(x,y)是局部区域的左上角点并且(w,h)是局部区域的矩形的宽度和高度。boosting算法可用于从训练数据集选择用于面部属性检测的有区别的区域。
对于每个选择的局部区域，可训练分类器来实行弱分类。基本分类器可以是多层感知而不是支持向量机。多层感知(mlp)因为它可以对现有技术的基于支持向量机的算法提供相似的性能而在一些实施例中是有利的。而且，因为mlp仅存储网络权重作为模型而支持向量机(svm)存储稀疏训练样本，mlp的模型尺寸比svm小得多。mlp的预测因为它仅包含向量积操作并且mlp直接给出概率和分数输出(但仅用于预测置信度)而是相对快的。
mlp可包括输入层、输出层和一个隐蔽层。假设在输入层存在d个节点(其中d是局部特征的尺寸，59用于局部二进制模式柱状图)、在输出层存在2个节点用于微笑检测，并且2个节点指示对于微笑或不微笑的预测概率，而隐蔽层中的节点数量是调谐参数并且由训练规程确定。
mlp中的所有节点(称为神经元)可以是相似的。mlp可在输入时从之前层中的几个节点取输出值并且将响应传递给下一个层中的神经元。用每个节点的训练权重对从之前的层检索的值求和(加上偏项)，并且总和使用激活函数f来变换。
激活函数f通常是s型函数，例如f(x)＝e-xa/(1+e-xa)。该函数的输出在0至1的范围内。在每个节点，计算是来自之前层的输入向量与权重因子之间的向量积：y＝f(w·x)，其中w是权重因子并且x是输入向量。从而，计算可以容易地通过单指令多数据指令(simd)或其他加速器而加速。
mlp用作每个局部区域的弱分类器。每个选择的区域与一个mlp分类器关联。最后的分类基于如下的简单聚合规则。对于给定测试样本x，对于每个选择的局部区域k，提取该区域处的局部特征xk。然后使用弱mlp分类器ck(xk)来实行预测。最后的输出是聚合结果
接着参考图3，在框32接收拍摄装置馈送。在框52，人员列表标识可使用面部检测和识别来组合。也就是说，可使用拍摄装置16来记录观看内容(例如电视节目)的所有人。然后，视频内容分析可用于识别正观看并且在该视频流中描绘的观众。再次，在一个实施例中，面部可在设置阶段中用标识符来记录。
视频表情分析然后可用于确定观看节目的用户中的哪些实际上在给定的时间时刻喜欢给定的节目，如在框54中指示。随着时间的推移，可开发对于每个视频识别的观众的喜爱节目列表，如在框56中指示。然后在框58，基于用户的计算机检测的面部表情的节目推荐可通过社交联网工具(包括例如网站、tweet、文本消息或电子邮件)推送给好友。
该整个说明书中对“一个实施例”或“实施例”的引用意指连同实施例描述的特定特征、结构或特性包括在包含在本发明内的至少一个实现中。从而，短语“一个实施例”或“在实施例中”的出现不一定指相同的实施例。此外，特定特征、结构或特性可采用除图示的特定实施例外的其他适合的形式而设立并且所有这样的形式可包含在本申请的权利要求内。
尽管已经关于有限数量的实施例描述本发明，本领域内技术人员将意识到从其中的许多修改和改动。规定附上的权利要求涵盖所有这样的修改和改动，它们落入本发明的真正精神和范围内。