基于人脸识别的播放控制方法及终端的制作方法
【专利摘要】本发明公开了一种基于人脸识别的播放控制方法和终端，包括：采集人脸图像；分析所述人脸图像，提取所述人脸图像中人脸的中心位置；比对当前中心位置与第一时间间隔前的初始中心位置的运动位移；判断所述运动位移是否大于预设的位移阈值；若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放过程。本发明提供的基于人脸识别的播放控制方法和终端，通过监测人脸位移和转动，判断用户的观影位置，并且在检测到用户离开正常的观影位置后对正在播放的视频文件进行暂停，从而实现了对视频播放的自动控制过程，为视频用户提供了方便。
【专利说明】
基于人脸识别的播放控制方法及终端
技术领域
[0001]本发明涉及多媒体控制技术领域，特别是指一种基于人脸识别的播放控制方法及终端。
【背景技术】
[0002]当前的放映设备(例如平板电脑、智能电视等)在播放视频文件时，通常并不具备识别用户暂离，执行自动暂停的功能。当用户因为其他事情，需要离开放映设备前方的观看区域，或者需要较长时间转头、低头时，为了不错过视频内容需要手动暂停视频播放，十分不便。因此希望能够提出一种根据用户行为，自动对视频播放过程进行控制的方法。
[0003]人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术。当前的人脸识别技术可以较为准确地确定使用者面部的位置和朝向，而通过监测使用者面部的位置和朝向，则可以较为准确地判断用户行为，从而为视频播放控制提供参考。
【发明内容】
[0004]有鉴于此，本发明的目的在于提出一种基于人脸识别的播放控制方法和终端。
[0005]基于上述目的本发明提供的一种基于人脸识别的播放控制方法，包括以下步骤:
[0006]米集人脸图像；
[0007]分析所述人脸图像，提取所述人脸图像中人脸的中心位置；
[0008]比对当前中心位置与第一时间间隔前的初始中心位置的运动位移；
[0009]判断所述运动位移是否大于预设的位移阈值；
[0010]若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放过程。
[0011 ]进一步，所述分析所述图像，提取所述图像中人脸的中心位置包括:
[0012]分析所述图像，提取所述图像中瞳孔的位置；
[0013]根据所述瞳孔的位置，计算瞳距；
[0014]根据所述瞳孔的位置及所述瞳距，确定瞳孔之间中心点的位置作为所述中心位置。
[0015]进一步，所述根据所述瞳孔的位置，计算瞳距之后还包括:
[0016]比对当前瞳距与第二时间间隔前的初始瞳距的比例值；
[0017]若所述比例值小于预设的瞳距阈值，暂停当前的视频播放过程。
[0018]进一步，所述若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放之后还包括:
[0019]对暂停时间进行计时；
[0020]若所述暂停时间大于预设的暂停阈值，控制播放终端进行休眠，在休眠时继续采集播放终端正面的图像；[0021 ]若判定所述中心位置重新进入预设的中心区域，控制播放终端脱离休眠。
[0022]进一步，所述若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放之后还包括:
[0023]继续米集人脸图像；
[0024]若检测到所述人脸图像内出现人脸，分析所述人脸图像，提取所述人脸图像中人脸的中心位置；
[0025]比对当前中心位置与第一时间间隔前的初始中心位置的运动位移；
[0026]判断所述运动位移是否小于预设的位移阈值，若判定所述运动位移小于预设的位移阈值，继续视频播放过程。
[0027]进一步，所述暂停当前的视频播放之后还包括:
[0028]若检测到继续播放的控制信号，继续视频播放过程。
[0029]本发明还提供一种基于人脸识别的播放终端，其特征在于，包括:
[0030]采集单元，用于采集人脸图像；
[0031]处理单元，用于分析所述人脸图像，提取所述人脸图像中人脸的中心位置;比对当前中心位置与第一时间间隔前的初始中心位置的运动位移，判断所述运动位移是否大于预设的位移阈值；
[0032]控制单元，若判定所述运动位移大于预设的位移阈值，所述控制单元用于暂停当前的视频播放。
[0033]进一步，所述处理单元还用于分析所述图像，提取所述图像中瞳孔的位置;根据所述瞳孔的位置，计算瞳距;根据所述瞳孔的位置及所述瞳距，确定瞳孔之间中心点的位置作为所述中心位置。
[0034]进一步，所述处理单元还用于比对当前瞳距与第二时间间隔前的初始瞳距的比例值;若所述比例值小于预设的瞳距阈值，所述控制单元用于暂停当前的视频播放。
[0035]进一步，所述处理单元还用于对暂停时间进行计时；若所述暂停时间大于预设的暂停阈值，所述控制单元用于控制播放终端进行休眠，在休眠时所述采集单元继续采集播放终端正面的图像;若判定所述中心位置重新进入预设的中心区域，则所述控制单元用于控制播放终端脱离休眠。
[0036]进一步，暂停当前的视频播放之后，所述采集单元用于继续采集人脸图像;若所述处理单元检测到所述人脸图像内出现人脸，分析所述人脸图像，提取所述人脸图像中人脸的中心位置;比对当前中心位置与第一时间间隔前的初始中心位置的运动位移;判断所述运动位移是否小于预设的位移阈值，若判定所述运动位移小于预设的位移阈值，则所述控制单元用于控制继续视频播放过程。
[0037]进一步，还包括接收单元，用于接收外部的控制信号;若检测到继续播放的控制信号，则所述控制单元用于控制继续视频播放过程。
[0038]从上面所述可以看出，本发明提供的基于人脸识别的播放控制方法和终端，通过监测人脸位移和转动，判断用户的观影位置，并且在检测到用户离开正常的观影位置后对正在播放的视频文件进行暂停，从而实现了对视频播放的自动控制过程，为视频用户提供了方便。
【附图说明】
[0039]图1为本发明提供的基于人脸识别的播放控制方法第一实施例的流程图；
[0040]图2为本发明提供的基于人脸识别的播放控制方法第二实施例的流程图；
[0041 ]图3为本发明提供的基于人脸识别的播放控制方法第三实施例的流程图；
[0042]图4为本发明提供的基于人脸识别的播放控制方法第四实施例的流程图；
[0043]图5为本发明提供的基于人脸识别的播放控制方法第五实施例的流程图；
[0044]图6为本发明提供的基于人脸识别的播放控制方法第六实施例的流程图；
[0045]图7为本发明提供的基于人脸识别的播放终端的一个实施例的框图。
【具体实施方式】
[0046]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0047]第一实施例
[0048]图1为本发明提供的基于人脸识别的播放控制方法第一实施例的流程图。如图所示，本实施例中的一种基于人脸识别的播放控制方法，包括以下步骤:
[0049]SlO，采集人脸图像。
[0050]所述采集人脸图像采用的方法包括:基于可见光的人脸识别，三维图像人脸识别，热成像人脸识别和基于主动红外图像的多光源人脸识别技术，还包括其他现有技术中采用的人脸识别技术。
[0051]Sll，分析所述人脸图像，提取所述人脸图像中人脸的中心位置。
[0052]通过分析人脸图像，得到人脸上的特征，根据特征得到人脸图像的中心位置。具体的实施方案在下文列举说明。
[0053]S12，比对当前中心位置与第一时间间隔前的初始中心位置的运动位移。
[0054]所述第一时间间隔在实验后根据实际情况确定，较佳的取值范围是5s-20s，在另一可选的实施例中，第一时间间隔的取值作为一可调数值，供用户在配置播放终端时人工选取设定。
[0055]步骤S12的对比过程以一定时间间隔定期实施，具体时间间隔预先根据需要设定，较佳取值为与上述第一时间间隔相等。因此，上述当前中心位置即为进行本次比对时的中心位置，初始中心位置即为从当前时间点算起向前追溯第一时间间隔的时间点时的中心位置。
[0056]所述运动位移的取值为一正值，在计算时将得到的距离差取绝对值从而得到运动位移。
[0057]S13，判断所述运动位移是否大于预设的位移阈值。
[0058]所述位移阈值根据人脸图像采集装置的像素等特性进行预先设置。例如，在采集像素为1600*900的采集设备上，可以将所述位移阈值设置为600-1000像素。在一较佳的实施方式中，还可以进一步考虑用户与播放终端之间的距离，例如用户设定的常用观看距离为10m，此时设置位移阈值为800像素，那么在用户将观看距离改动为12m时，可以相应减小位移阈值，例如改为700像素，以保证能够尽可能精确地识别用户实际位移的距离。
[0059]S14，若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放。若判定所述运动位移不大于预设的位移阈值，则回到步骤S10，继续采集人脸图像准备进行下一次比对。
[0060]在另一可选的实施例中，若判定人脸已经离开播放终端的正面，即在人脸图像采集的区域消失，则也暂停当前的视频播放。
[0061]需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一” “第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
[0062]第二实施例
[0063]图2为本发明提供的基于人脸识别的播放控制方法第二实施例的流程图。本实施例对上述步骤中确定人脸中心位置的方法进一步说明。
[0064]本实施例中，上述Sll，所述分析所述图像，提取所述图像中人脸的中心位置，具体包括:
[0065]S21，分析所述图像，提取所述图像中瞳孔的位置。
[0066]现有的人脸识别技术可以实现识别出人脸上瞳孔的位置，尤其容易辨识瞳孔。因此在本实施例中，采用人眼瞳孔作为判定人脸中心位置的标准。
[0067]S22，根据所述瞳孔的位置，计算瞳距。
[0068]S23，根据所述瞳孔的位置及所述瞳距，确定瞳孔之间中心点的位置作为所述中心位置。
[0069]在本判定方法中，采用人双眼的中点作为人脸的中心位置，可以较好地确定人脸的位置，判定观看者的位移，特别是计算上十分简便。
[0070]在其他可选的实施方式中，也可以采用其他方式确定人脸的中心位置。例如，整体选取人脸的外轮廓，并通过计算确定外轮廓的中心等。
[0071 ] 第三实施例
[0072]除了用户离开播放终端正面这一情况之外，还存在另外一种情况，即用户低头或者偏头，在这种情况下，播放终端暂停等待用户回到正常位置再继续播放是比较合理的一种处理方式。因此提供了另外一个实施例。
[0073]图3为本发明提供的基于人脸识别的播放控制方法第三实施例的流程图。
[0074]本实施例包括以下步骤:
[0075]在本实施例中，步骤S32，根据所述瞳孔的位置，计算瞳距之后还包括:
[0076]S37，比对当前瞳距与第二时间间隔前的初始瞳距的比例值。
[0077]S38，若所述比例值小于预设的瞳距阈值，暂停当前的视频播放。若所述比例值不小于预设的瞳距阈值，则回到步骤S30，继续采集人脸图像准备进行下一次比对。
[0078]所述第二时间间隔在实验后根据实际情况确定，较佳的取值范围是5s-20s，在另一可选的实施例中，第二时间间隔的取值作为一可调数值，供用户在配置播放终端时人工选取设定。较佳的，第二时间间隔可以与所述第一时间间隔取相同值。
[0079]所述比例值是指将当前瞳距作为分子，将第二时间间隔前的瞳距作为分母得到的比例。当用户偏头时的瞳距，即为上述当前瞳距;第二时间间隔前的瞳距是正常观看时的瞳距，瞳距的数值变化即为当前瞳距小于第二时间间隔前的瞳距，因此上述比例值可能为1/3甚至1/4，因此将比例阈值设置为1/2等其他较为合适的、小于I的数值时，即可判定出用户是否偏头，从而暂停视频播放。若用户的瞳孔从头像采集区域中消失，大致有两种情况，其一是用户已经离开人脸图像采集区域。其二是用户低头导致无法识别瞳孔特征;无论是此时中的哪一种，都应当暂停视频播放，此时可以将当前瞳距设定为一极小值，使上述比例值必然小于所述比例阈值，仍然控制视频暂停。
[0080]需要说明的是，本实施例可以单独实施，也可以配合上述第二实施例共同实施，通过对中心位置位移和瞳距变化的两重运算，协同判定用户是否处于正常的观影位置，从而得到更加精确的结果。
[0081 ] 第四实施例
[0082]在一些情况下，若用户暂离时间过长，则可以在暂停视频播放的基础上，进一步对播放终端执行休眠。因此给出以下实施例。
[0083]图4为本发明提供的基于人脸识别的播放控制方法第四实施例的流程图。如图所示，在本实施例中，步骤S44，暂停当前的视频播放之后还包括:
[0084]S45，对暂停时间进行计时，判断暂停时间是否大于预设的暂停阈值。
[0085]S46，若所述暂停时间大于预设的暂停阈值，控制播放终端进行休眠，在休眠时继续采集播放终端正面的图像。若暂停时间不大于预设的暂停阈值，则继续暂停，并继续对暂停时间进行计时，以便一定时间间隔后重复步骤S45进行判断。
[0086]S47，检测人脸的中心位置是否重新进入预设的中心区域。
[0087]S48，若检测到中心位置进入中心区域，控制播放终端脱离休眠。若未检测到中心位置进入中心区域，则转至步骤S46控制播放终端继续进行休眠，并定时重复步骤S47。
[0088]上述步骤主要针对判定用户暂离，即较佳的选择是与第二实施例结合使用，而对于第三实施例来说，用户转头或低头通常只是暂时的动作，因此并不需要控制播放终端进行休眠。当然，如果需要的话，也可以将休眠计时与第三实施例结合，脱离休眠的控制方法与第三实施例中恢复播放的步骤相似。
[0089]所述中心区域是在人脸图像采集区域中人工设定的区域，即当在此中心区域内再次检测到人脸的中心位置时，则判定用户回到了播放终端前，此时继续视频播放过程。
[0090]第五实施例
[0091 ]前述实施例解释说明了本发明提供的方法如何实现用户暂离时，自动暂停视频播放的过程。在另一可选的实施例中，还提供了一种判定用户回来，自动继续视频播放过程的方法。
[0092]图5为本发明提供的基于人脸识别的播放控制方法第五实施例的流程图。如图所示，本实施例中S54，所述若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放之后还包括:
[0093]S55，继续采集人脸图像。
[0094]S56，若检测到所述人脸图像内出现人脸，分析所述人脸图像，提取所述人脸图像中人脸的中心位置。
[0095]S57，比对当前中心位置与第一时间间隔前的初始中心位置的运动位移。
[0096]S58，判断所述运动位移是否小于预设的位移阈值。
[0097]S59，若判定所述运动位移小于预设的位移阈值，继续视频播放过程。若运动位移不小于预设的位移阈值，则转至步骤S55继续采集人脸图像。
[0098]上述步骤S55-S59实现了如下判断过程:检测用户是否回到正常的观影范围(S55-S56)，进一步判断用户姿态是否稳定，判定依据是用户在一定时间内的位移是否小于阈值(S57-S59)，从而判定是否继续视频播放过程。这种判定方式较为准确，当用户从图像采集设备前走过，但是没有停留时，也不会触发使得视频自动开始播放。
[0099]可选的，还可以在人脸采集设备的采集区域专门划分出一个“触发区域”，较佳地，这一触发区域设置在采集区域的正中。当检测到这一触发区域内重新出现人脸时，继续视频播放过程;或，当检测到这一触发区域内重新出现人脸时，进一步检测人脸的中心位置是否在一定时间内保持在触发区域中，判定方式类似上述步骤S55-S59。本实施例也能够实现判定用户是否返回，并且图像采集分析区域已经预设好，处理速度较快，但是判定范围较小，适用于观影区域固定的情况。
[0100]第六实施例
[0101]图6为本发明提供的基于人脸识别的播放控制方法第六实施例的流程图。如图所示，在另一可选的实施例中，还包括:
[0102]S67，检测继续播放的控制信号。
[0103]S68，若检测到继续播放的控制信号，继续视频播放过程。若没有检测到控制信号，则回到步骤S65，继续控制播放终端休眠并持续检测外部信号。
[0104]所述控制信号可以是由专用的遥控装置发出的，也可以由其他设备发送(例如通过智能终端通过网络发送，当然前提是播放设备具备网络功能)。
[0105]本实施例可以单独实施，也可以和上述第五实施例配合实施，采用多种方法实现视频的继续播放。
[0106]本发明还提供一种配合上述方法的播放终端，下面通过实施例对播放终端进行说明。
[0107]图7为本发明提供的基于人脸识别的播放终端的一个实施例的框图。如图所示，本发明提供的一种基于人脸识别的播放终端的实施例，包括:
[0108]采集单元71，用于采集人脸图像。
[0109]处理单元72，用于分析所述人脸图像，提取所述人脸图像中人脸的中心位置。比对当前中心位置与第一时间间隔前的初始中心位置的运动位移，判断所述运动位移是否大于预设的位移阈值。
[0110]控制单元73，若判定所述运动位移大于预设的位移阈值，所述控制单元73用于暂停当前的视频播放。
[0111]在一较佳的实施方式中，所述处理单元72还用于分析所述图像，提取所述图像中瞳孔的位置;根据所述瞳孔的位置，计算瞳距;根据所述瞳孔的位置及所述瞳距，确定瞳孔之间中心点的位置作为所述中心位置。
[0112]在一实施例中，所述处理单元72还用于比对当前瞳距与第二时间间隔前的初始瞳距的比例值;若所述比例值大于预设的瞳距阈值，所述控制单元73用于暂停当前的视频播放。
[0113]在另一实施例中，所述处理单元72还用于对暂停时间进行计时;若所述暂停时间大于预设的暂停阈值，所述控制单元73用于控制播放终端进行休眠，在休眠时所述采集单元71继续采集播放终端正面的图像;若判定所述中心位置重新进入预设的中心区域，则所述控制单元73用于控制播放终端脱离休眠。
[0114]在一可选的实施例中，暂停当前的视频播放之后，所述采集单元71用于继续采集人脸图像;若所述处理单元72检测到所述人脸图像内出现人脸，分析所述人脸图像，提取所述人脸图像中人脸的中心位置;比对当前中心位置与第一时间间隔前的初始中心位置的运动位移;判断所述运动位移是否小于预设的位移阈值，若判定所述运动位移小于预设的位移阈值，则所述控制单元73用于控制继续视频播放过程。
[0115]在另一可选的实施例中，还包括接收单元74，用于接收外部的控制信号;若检测到继续播放的控制信号，则所述控制单元73用于控制继续视频播放过程。
[0116]从上面所述可以看出，本发明提供的基于人脸识别的播放控制方法和终端，通过监测人脸位移和转动，判断用户的观影位置，并且在检测到用户离开正常的观影位置后对正在播放的视频文件进行暂停，从而实现了对视频播放的自动控制过程，为视频用户提供了方便。
[0117]所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于人脸识别的播放控制方法，其特征在于，包括以下步骤: 采集人脸图像； 分析所述人脸图像，提取所述人脸图像中人脸的中心位置； 比对当前中心位置与第一时间间隔前的初始中心位置的运动位移； 判断所述运动位移是否大于预设的位移阈值； 若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放过程。2.根据权利要求1所述的方法，其特征在于，所述分析所述图像，提取所述图像中人脸的中心位置包括: 分析所述图像，提取所述图像中瞳孔的位置； 根据所述瞳孔的位置，计算瞳距； 根据所述瞳孔的位置及所述瞳距，确定瞳孔之间中心点的位置作为所述中心位置。3.根据权利要求2所述的方法，其特征在于，所述根据所述瞳孔的位置，计算瞳距之后还包括: 比对当前瞳距与第二时间间隔前的初始瞳距的比例值； 若所述比例值小于预设的瞳距阈值，暂停当前的视频播放过程。4.根据权利要求1所述的方法，其特征在于，所述若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放之后还包括: 对暂停时间进行计时； 若所述暂停时间大于预设的暂停阈值，控制播放终端进行休眠，在休眠时继续采集播放终端正面的图像； 若判定所述中心位置重新进入预设的中心区域，控制播放终端脱离休眠。5.根据权利要求1所述的方法，其特征在于，所述若判定所述运动位移大于预设的位移阈值，暂停当前的视频播放之后还包括: 继续采集人脸图像； 若检测到所述人脸图像内出现人脸，分析所述人脸图像，提取所述人脸图像中人脸的中心位置； 比对当前中心位置与第一时间间隔前的初始中心位置的运动位移； 判断所述运动位移是否小于预设的位移阈值，若判定所述运动位移小于预设的位移阈值，继续视频播放过程。6.根据权利要求3或4任意一项所述的方法，其特征在于，所述暂停当前的视频播放之后还包括: 若检测到继续播放的控制信号，继续视频播放过程。7.一种基于人脸识别的播放终端，其特征在于，包括: 采集单元，用于采集人脸图像； 处理单元，用于分析所述人脸图像，提取所述人脸图像中人脸的中心位置;比对当前中心位置与第一时间间隔前的初始中心位置的运动位移，判断所述运动位移是否大于预设的位移阈值； 控制单元，若判定所述运动位移大于预设的位移阈值，所述控制单元用于暂停当前的视频播放。8.根据权利要求7所述的终端，其特征在于，所述处理单元还用于分析所述图像，提取所述图像中瞳孔的位置;根据所述瞳孔的位置，计算瞳距;根据所述瞳孔的位置及所述瞳距，确定瞳孔之间中心点的位置作为所述中心位置。9.根据权利要求8所述的终端，其特征在于，所述处理单元还用于比对当前瞳距与第二时间间隔前的初始瞳距的比例值;若所述比例值小于预设的瞳距阈值，所述控制单元用于暂停当前的视频播放。10.根据权利要求7所述的终端，其特征在于，所述处理单元还用于对暂停时间进行计时;若所述暂停时间大于预设的暂停阈值，所述控制单元用于控制播放终端进行休眠，在休眠时所述采集单元继续采集播放终端正面的图像;若判定所述中心位置重新进入预设的中心区域，则所述控制单元用于控制播放终端脱离休眠。11.根据权利要求7所述的终端，其特征在于，暂停当前的视频播放之后，所述采集单元用于继续采集人脸图像;若所述处理单元检测到所述人脸图像内出现人脸，分析所述人脸图像，提取所述人脸图像中人脸的中心位置；比对当前中心位置与第一时间间隔前的初始中心位置的运动位移;判断所述运动位移是否小于预设的位移阈值，若判定所述运动位移小于预设的位移阈值，则所述控制单元用于控制继续视频播放过程。12.根据权利要求9或10任意一项所述的终端，其特征在于，还包括接收单元，用于接收外部的控制信号;若检测到继续播放的控制信号，则所述控制单元用于控制继续视频播放过程。
【文档编号】G06F3/01GK105867610SQ201511014703
【公开日】2016年8月17日
【申请日】2015年12月29日
【发明人】潘峰
【申请人】乐视致新电子科技（天津）有限公司