专利名称：一种岗位监测的方法和系统的制作方法
技术领域：
本发明涉及视频监控技术，特别是涉及一种岗位监测的方法和系统。
背景技术：
在警卫、流水线操作工位等很多岗位，由于工作的特殊性，都需要保持有 一直在岗的员工，在前台、售货员等岗位也需要员工不能离开太久，而如何保 障员工不离岗或不离岗太久， 一直是一个有待解决的难题。如果采用人工监控
的手段会浪费其他人力，如果釆用传统视频监控的方式也需要工作人员总是盯 着显示屏，而如果采用事后查找视频的方式，又没有及时性，可能在员工离岗 过程中已经产生问题。因此，如何在不浪费其它人力资源的情况下监控员工在 岗情况，是一个有待解决的问题。
发明内容
本发明实施例的目的是提供一种岗位监测的方法和系统，能在不浪费人力 资源的情况下监控员工的在岗情况，解决现有技术的监控手段会浪费人力资源 的技术问题。
为了实现上述目的， 一方面，提供了一种岗位监测的方法，包括如下步骤
步骤一，采集预定区域的视频图像；
步骤二，检测所述视频图像中的人员目标；
步骤三，判断岗位区域是否有所述人员目标，荻得判断结果；
步骤四，根据所述判断结果进行提示。
优选地，上述的方法中，所述步骤四包括如果所述岗位区域没有所述人 员目标，则显示文字和/或播放声音进行提醒。
优选地，上述的方法中，如果所述岗位区域没有所述人员目标，还包括 计算所述岗位区域没有所述人员目标的持续时间，如果所述持续时间超过预定门限，则显示文字和/或播放声音进行提醒。
优选地，上述的方法，所述步骤二中，确定所述人员目标的步骤包括
采用人头检测器模型对所述岗位区域图像进行人头检测来确认岗位区域 是否存在人员目标。
优选地，上述的方法中，所述人头检测器模型采用边缘方向直方图作为特 征，进行分类器训练得到，进一步，边缘方向直方图采用如下方式获得
对于待计算的图像区域，计算所述图像区域内的各个像素点的水平边缘和 垂直边缘；
对所述水平边缘和垂直边缘进行离散化，求得各像素点的边缘强度和离散 化的边缘方向；
根据所述边缘强度和离散化的边缘方向，对具有相同的所述离散化的边缘 方向的所有像素点，计算所述所有像素点的所述边缘强度的累积和，获得所述 图像区域的边缘方向直方图。
优选地，上述的方法中，所述步骤二中还包括，对检测出的具有人员头部 图像的视频图像进行跟踪搜索，设定跟踪的帧数和搜索范围，从而对检测到的 人员目标进行进一步的确认。
优选地，上述的方法中，所述步骤二进一步包括
检测到所述岗位区域有人员目标时，进一步通过人脸识别确认所述人员目 标是否为应该在岗的员工。
优选地，上述的方法中，所述离散化的边缘方向NED的计算过程包括
步骤A,判断像素点的水平边缘EH是否为0,是则设定NED为0并结束 流程，否则执行步骤B;
EV
步骤B，初始化1=0，计算i的值，其中，EV表示像素点的垂直边缘，
(Ki<N-l， N表示对180度的范围进行等分的等分份数；
EV 180*(i+l)) 步骤C,判断^的值是否小于或等于e ~~^~~的值，是则将i的值作
为像素点的NED值并结束流程；否则，执行步骤D;
步骤D,使i二i+l，如果i〈N-l，则返回步骤C,否则将i的值作为像素点的NED值并结束流程。
优选地，上述的方法中，所述人头检测器模型采用多层结构，所述多层结 构至少包括第 一分类器和第二分类器，所述第 一分类器由第 一特征训练得到， 所述第二分类器由第二特征训练得到。
优选地，上述的方法中，所述第一特征为亮度特征或者类哈尔小波特征， 所述第二特征为边缘方向直方图。
优选地，上述的方法中，所述人头检测器模型包括
以基于特征的方式训练的全视角人头分类器，用于滤除所有候选位置的非 人头样本；
多个对应不同人头姿态的姿态分类器，用于滤除通过全视角人头分类器的 非人头样本。
优选地，上述的方法中，所述多个对应不同人头姿态的姿态分类器包括 人头正面姿态分类器、人头背面姿态分类器，人头左侧面姿态分类器和人头右 侧面姿态分类器。
另一方面，提供一种岗位监测的系统，包括 图像采集设备模块，用于采集预定区域的视频图像； 目标提取模块，用于获取所述视频图像中的人员目标； 限定区域判定模块，用于判断岗位区域是否有所述人员目标，获得判断结
果；
报警模块，用于根据所述判断结果进行提示。
优选地，上述的系统中，所述限定区域判定模块还包括
定时器，用于在所述岗位区域没有所述人员目标的条件下，计算所述岗
位区域没有所述人员目标的持续时间；
优选地，上述的系统中，所述目标提取模块还包括人头检测器模型，用
来检测图像中的所述人员头部区域。
优选地，上述的系统中，所述限定区域判定模块还包括人脸识别模块，用
于在所述岗位区域有所述人员目标的条件下，确定所述人员目标是否为应该
在岗的员工。
优选地，上述的系统中，所述人头检测器模型具体包括全视角人头分类器和多个对应不同人头姿态的人头分类器。
优选地，上述的系统中，所述报警模块具体包括 文字提示单元，用于进行监控屏幕的文字提示； 和/或声音报警单元，用于进行声音报警。
本发明实施例至少存在以下技术效果
本发明提出 一种自动的在岗监测系统，采用基于人头检测跟踪的方法确认 工作人员是否在岗，通过提取得到工作人员不在岗时间，可以更人性化的制定 报警规则。采用多姿态人头检测方法，提高了人头检测精度。采用人脸识别方 法，能防止他人顶替。
图1为本发明实施例提供的方法的步骤流程图； 图2为本发明实施例提供的监控系统的结构图； 图3为本发明实施例提供的训练人头检测器模型的步骤流程图； 图4为本发明实施例提供的对无符号的边缘方向进行离散化时六等分的 示意图5为本发明实施例提供的多姿态人头检测器的结构图； 图6为本发明实施例提供的人脸识别模块的结构图； 图7为本发明实施例提供的层次型分类器的结构图。
具体实施例方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对 具体实施例进行详细描述。
本发明实施例是采用图像采集设备采集工位附近视频图像，然后采用智能 分析的方法确定是否有人在工位。考虑到采集设备安装位置限制造成的工作人 员姿态的不确定，采用人头检测跟踪的方法提取目标位置，并判定其是否处于 限定区域内，并统计其不处于限定区域内的时间，当时间大于阈值时，认为离 岗时间过长，产生报警信息。进一步，可以采用人脸识别技术确定限定区域内 人员是否真实工作人员，避免他人冒充代替。图1为本发明实施例提供的方法的步骤流程图，如图所示，是一种通过智
能视频分析，来确定工作人员是否离开岗位的方法，包括如下步骤 步骤IOI,采集预定区域的视频图像； 步骤102,检测所述视频图像中的人员目标； 步骤103，判断岗位区域是否有所述人员目标，获得判断结果； 步骤104,根据所述判断结果进行提示。
图2为本发明实施例提供的监控系统的结构图，如图2所示，系统结构 包括图像采集设备模块201、目标提取模块202、限定区域判定模块203和 报警模块204。
图像采集设备模块201采集工作岗位附近视频图像，图像采集设备可以釆 用 一个采集设备拍摄一个工作岗位附近图像的方式，也可以采用 一个釆集设备 采集多个工作岗位附近图像的方式，还可以采用多个采集设备分别监控很多工
作岗位中的 一部分工作岗位的方式，采集设备可以采用现有的数字或者模拟摄 像头，可以采用可见光谱图像也可以采用红外或者近红外图像。
目标提取模块202,用于提取图像中人的目标。由于图像采集设备架设的 位置受到现场条件的限制，而工作人员在视场里面，会进行活动，其姿态也会 不限定，有时是正面面对釆集设备，有时是侧面或者背面面向采集设备。采用 前景提取方式，可以提取得到图像中的运动目标，但是，由于一般的前景提取 方法为了克服光照变化的影响， 一般会进行背景更新，如果工作人员长期静止， 则无法提取到。而且，基于前景提取的方式会受到阴影以及其它通过人员的干 扰，造成错误。人脸检测是一种成熟的现有技术，但是，人脸检测，必须要求 目标的人脸面对采集设备。而上面我们已经提到，工作人员活动时，无法保证 总是面对采集设备。
本发明的目标提取模块202采用一种更优的方式获取图Y象中的工作人员。 本发明采集各个视角下，人头区域的图像，训练一个人头检测器模型，用来提 取视场中的工作人员。在各个姿态情况下，虽然人头图像不是完全一致，但是， 基本上都体现为一个带有椭圆形外边缘的图像。可以采用现有的物体检测技术 训练人头检测器模型，并在图像中搜索人头位置。
以下，本发明给出一种训练人头检测器模型的较优实施例，图3为训练人头检测器模型的步骤流程图，如图3所示，步骤流程包括
步骤301,割取各个姿态情况下人头区域图像，为了更好的检测效果，割
取的图像区域范围可以设定为人头实际宽度的1.2倍，当然可以采用其它大于
1的倍数。设定人头区域宽高比为1/1.2。最后，将人头区域放缩为同一的大小 ^x仏，可以取^=20，仏=24。将上述人头图像作为正样本，同时，在不包含
人头的图像中，割取『"A的图像区域，作为反样本；
步骤302，采用梯度方向直方图作为特征，采用AdaBoost (自适应增强)
算法进行特征选择并构建分类器；
计算梯度方向直方图的方法包括步骤l)、 2)和3)，具体如下 1):计算区域范围内的图像中各个像素点的水平、垂直边缘。 像素点边缘的求取方法有很多种，常用的如采用"sobel算子"或"prewitt
算子"，sobel算子可以表示为
<formula>formula see original document page 10</formula>
左侧的矩阵Sl为sobel垂直边缘检测模板，该矩阵用于计算中心处元素A (即第2行第2列的元素)的垂直边缘，用EH(A)表示，右侧的矩阵S2为 sobel水平边缘检测模板，用于计算A点的水平边缘，用EV ( A)表示。
2):对得到的各像素点的水平边缘和垂直边缘进行离散化，求得各像素点 的边缘强度和离散化的边缘方向。
根据计算得到的各像素点的水平边缘EH和垂直边缘EV，进一步计算各 像素点的边缘方向(用ED表示)和边缘强度(用EI表示)。采用无符号的边 缘方向定义，即边缘方向的范围是0 180度，此时相差180度的边缘方向为同 一个方向。对无符号的边缘方向进行离散化，即将180度的范围等分为N个 区间，图4示出了N二6的情况，此时，边缘方向属于同一个区间范围内的像 素点，它们离散化的边缘方向(用NED表示)的值相同。 边缘强度的计算方式有多种，例如EI=V￡//2 +五"或EI=|五F I +1五H ，由图3
可知，像素点的无符号边缘方向ED-arccot(E)，则该像素点的离散化边缘方向NED={i| !^i， < lgu "卞"，且i:0,1. . N-1},所述arccot函数为余切函数的反 N N
函数。如果采用上述定义先计算ED,再由ED计算NED的值，由于存在开方 及三角运算，计算速度较慢，可以采用下述方法快速计算得出各像素点的NED 值
第一步如果EH为O,则设定此时NED为O;否则，进^f亍第二步； 第二步初始化i-O,计算IX的值；
EH
第三步如果^X小于等于cot。,(i+D)的值，终止流程；否则，进行第四 EH N
步；
第四步i增加l，如果此时i〈N-l，则回到第三步，否则终止流程。得 到的i的值即为该像素点NED的值。显然，由于上述过程中只需要进行简单 的代数运算和余切函数的计算，因此计算速度大大快于采用根据NED的定义 进行计算的方法。
通过上述方法，遍历图像中所有的像素点，可以得到各像素点的边缘强度 和离散化的边缘方向。
3):根据区域内各像素点的边缘强度和离散化的边缘方向，计算该区域的 边缘方向直方图HOG。
所述的HOG定义为该区域内所有离散化边缘方向取值为i的像素点的 边缘强度的累积和，用公式表示为
<formula>formula see original document page 11</formula>
尸0c,y)eR且ED(P(x, y))为i
其中，P (x， y)表示区域内第x行、y列的像素点(即坐标为(x, y) 的像素点)。
进一步，为了快速计算，可以采用基于积分图像的方法。先统计各边缘方 向的各点的边缘强度的积分图像，然后，根据积分图像计算矩形区域内的所述 边缘方向上的边缘强度累积。以图像中不同尺度矩形区域的梯度方向直方图为特征，采用人头区域图像
作为正样本，采用不是人头的区域图像作为反样本，训练adaboost分类器，得 到一个人头4佥测器。
也可以采用支持向量机对上述得到的边缘方向直方图特征进行训练得到 人头分类器模型。
步骤303，采用金字塔型图像检测结构检测人头位置；
采用图像放缩方式，得到一个金字塔型图像结构，并分别在各个尺度图像 的各个位置采用上述模型判定是否为人头。最终，采用后处理融合算法，合并
相邻人头。
进一步，由于上述边缘方向直方图的计算量较大， 一种更优的方式是釆用 层次型的结构，前面采用较容易计算的特征训练得到的分类器，而后面采用边 缘方向直方图训练的分类器。层次型分类器结构如图7所示，其中第一分类器 和第二分类器分別采用不同的特征以及分类器训练得到，第 一分类器可以采用 基于亮度或者类哈尔小波(haar-like)特征作为特征进行训练，而第二分类器 可以采用边缘方向直方图特征训练得到。实际处理中，如果当前图像区域通过 第一分类器，则将其送到第二分类器进行处理，如果其没有通过第一分类器， 则认为其不是人头样本。对于通过第一分类器的区域，采用第二分类器进行判 定，如果其通过第二分类器，则认为其是人头区域，否则，认为其不是人头区 域。
进一步，可以采用人头检测和跟踪相结合的方式提取人头目标，具体如下
第一步，采用上述人头检测方法检测图像中的人头，如果未检测到，则处 理下一帧，转第一步，如果连续T帧均检测到人头，则转第二步；
第二步，采用跟踪方法对上述检测到的人头进行跟踪；例如可以采用 "mean-shift"(均值漂移)或Particle Filter (粒子滤波)的方法对人头进行跟 踪；由于基于跟踪的方法容易受背景干扰，因此，采用检测模型验证的方式对 跟踪目标进行-睑证；
第三步，连续跟踪T2帧后，采用上述训练得到的人头检测模型在人头跟 踪结果附近搜索，看是否存在人头目标；以人头跟踪目标位置为中心，设定一 个搜索区域，以人头跟踪目标大小为中心，设定人头搜索尺度范围。在上述搜索范围和搜索大小范围内，如果存在符合人头模型的区域，则认为人头跟踪结 果正确，并将跟踪结果更新为检测结果，否则，认为人头跟踪结果失效，转第 一步，重新开始对全图进行"险测。
由于各个视角和姿态情况下，人头图^l^目差比较大，造成分类器收敛变慢，
影响检测效果。进一步，对人头姿态进行分类，图5为多姿态人头检测器的结 构图，训练如图5所示的多姿态检测器。采集各种姿态下的人头图像，为了使 得类内距离缩小，加快收敛，将人头分为正面，背面，左侧面和右侧面四个姿 态。采用上述基于特征的方式训练一个全视角人头分类器，该分类器能够让所 有的人头样本通过，但是，能够据掉部分非人头样本。然后，分别为正面人头， 背面人头，左侧面人头，右侧面人头训练一个分类器，该分类器能够让该姿态 的人头通过，而据除非人头和其它姿态人头。
使用时，对每个位置进行判定，先判定当前位置是否符合全视角人头模型， 如果不符合，则据掉，如果符合，则继续采用四个分视角人头模型判定，如果， 其能够通过某一个或几个视角的模型，则认为其属于最符合的那个模型，认为 该位置为一个人头候选位置。对上述得到的人头进行合并后处理，得到最终的 人头位置；
上述方法还能够得到图像中工作人员人头在各帧中的位置和大小。 限定区域判定模块103，首先在初始化阶段采用手工标定方式，确定工作 人员工位范围，如果此范围内无工作人员，则认为工作人员离开岗位。默认情 况下，可以认为整个图像范围为限定区域范围。在一个摄像头同时监控多个工 位的情况下，可以分别为每个工位标定一个限定范围。限定区域判定模块，分 别对每个限定范围进行如下判断
如果当前目标提取模块提取的目标处于限定范围内，则认为限定范围内存 在工作人员；判定提取目标是否处于限定范围的一种可行方法为获取提取目标 的中心位置，如果该中心位置处于限定区域范围内，则认为该目标处于限定范 围内；
进一步，当限定范围内第一次没有目标时，进行计时，直到重新出现目标， 将计时器清除为0;
一种简单的方式是当限定范围内没有目标时，直接产生报警信号控制报警模块发出警报信息。警报信息可以为声音也可以为文字，可以通过扬声器发出， 也可以通过网络或者手机发送给领导。但是，这样的方式在工作人员暂时离开， 或者去卫生间等情况下，会造成不必要的麻烦。 一种更优的方式是，记录限定 区域内没有目标的持续时间，当持续时间大于阈值时，认为工作人员离开工作 岗位太久，发出报警信息。 一种实施例还可以当限定区域内没有目标时，发出 提醒信息，当没有目标超过阈值时，发出报警信息。提醒信息比报警信息柔和， 级別低。
图6为本发明实施例提供的人脸识别模块的结构图。进一步，在目标提 取模块102后面，增加一个人脸识别模块60,人脸识别模块60具体包括人脸 检测单元601 ，特征点定位单元602和人脸识别单元603以及人脸特征库604。。
人脸检测单元601 ，在上述提取得到的目标区域中，检测是否存在人脸。
如果不存在，则继续进行下一帧处理。如果存在人脸，则进一步采用特征点定
位单元602定位眼睛特征点，并提取人脸特征。人脸识别单元603,根据合法
工作人员的人脸特征库604,确定当前限定区域中工作人员是否合法工作人
员，而不是他人仿冒。如果发现限定区域没有合法工作人员，则发出报警信号。 报警模块104具体包括文字提示单元，用于进行监控屏幕的文字提示；
声音报警单元，用于进行声音报警。 由上可知，本发明具有以下优势
本发明提出 一种自动的在岗监测系统，采用基于人头检测跟踪的方法确认 工作人员是否在岗，通过提取得到工作人员不在岗时间，可以更人性化的制定 报警规则。采用多姿态人头检测方法，提高了人头检测精度。采用人脸识别方 法，能防止他人顶替。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明原理的前提下，还可以做出若千改进和润饰， 这些改进和润饰也应^L为本发明的保护范围。
权利要求
1.一种岗位监测的方法，其特征在于，包括如下步骤步骤一，采集预定区域的视频图像；步骤二，检测所述视频图像中的人员目标；步骤三，判断岗位区域是否有所述人员目标，获得判断结果；步骤四，根据所述判断结果进行提示。
2. 根据权利要求1所述的方法，其特征在于，所述步骤四包括 如果所述岗位区域没有所述人员目标，则显示文字和/或播放声音进行提醒。
3. 根据权利要求1所述的方法，其特征在于，如果所述岗位区域没有所 述人员目标，还包括计算所述岗位区域没有所述人员目标的持续时间，如果所述持续时间超过 预定门限，则显示文字和/或播放声音进行提醒。
4. 根据权利要求1所述的方法，其特征在于，所述步骤二中，确定所述 人员目标的步骤包括釆用人头检测器模型对所述岗位区域图像进行人头检测来确认岗位区域 是否存在人员目标。
5. 根据权利要求4所述的方法，其特征在于，所述人头检测器模型采用 边缘方向直方图作为特征，进行分类器训练得到，进一步，边缘方向直方图采 用如下方式获得对于待计算的图像区域，计算所述图像区域内的各个像素点的水平边缘和 垂直边缘；对所述水平边缘和垂直边缘进行离散化，求得各像素点的边缘强度和离散 化的边缘方向；根据所述边缘强度和离散化的边缘方向，对具有相同的所述离散化的边缘 方向的所有像素点，计算所述所有像素点的所述边缘强度的累积和，获得所述 图像区域的边缘方向直方图。
6. 根据权利要求4或5所述的方法，其特征在于，所述步骤二中还包括，对检测出的具有人员头部图像的视频图像进行跟踪搜索，设定跟踪的帧数和搜 索范围，从而对检测到的人员目标进行进一步的确认。
7. 根据权利要求6所述的方法，其特征在于，所述步骤二进一步包括 检测到所述岗位区域有人员目标时，进一步通过人脸识别确认所述人员目标是否为应该在岗的员工。
8. 根据权利要求5所述的方法，其特征在于，所述离散化的边缘方向NED 的计算过程包括步骤A，判断像素点的水平边缘EH是否为0，是则设定NED为0并结束 流程，否则执行步骤B;EV步骤B,初始化i-0，计算^的值，其中，EV表示像素点的垂直边缘，0<i<N-l, N表示对180度的范围进行等分的等分份数；EV 180*(i+l)) 步骤C,判断^的值是否小于或等于e ^^^的值，是则将i的值作为像素点的NED值并结束流程；否则，执行步骤D;步骤D,使i:i+l，如果i〈N-l，则返回步骤C,否则将i的值作为像素 点的NED值并结束流程。
9. 根据权利要求4所述的方法，其特征在于，所述人头检测器模型采用 多层结构，所述多层结构至少包括第一分类器和第二分类器，所述第一分类器 由第 一特征训练得到，所述第二分类器由第二特征训练得到。
10. 根据权利要求9所述的方法，其特征在于，所述第一特征为亮度特征 或者类哈尔小波特征，所述第二特征为边缘方向直方图。
11. 根据权利要求4所述的方法，其特征在于，所述人头检测器模型包括 以基于特征的方式训练的全视角人头分类器，用于滤除所有候选位置的非人头样本；多个对应不同人头姿态的姿态分类器，用于滤除通过全视角人头分类器的 非人头样本。
12. 根据权利要求11所述的方法，其特征在于，所述多个对应不同人头 姿态的姿态分类器包括人头正面姿态分类器、人头背面姿态分类器，人头左侧面姿态分类器和人头右侧面姿态分类器。
13. —种岗位监测的系统，其特征在于，包括 图像采集设备模块，用于采集预定区域的视频图像；目标提取模块，用于获取所述视频图像中的人员目标； 限定区域判定模块，用于判断岗位区域是否有所述人员目标，获得判断结果；报警模块，用于根据所述判断结果进行提示。
14. 根据权利要求13所述的系统，其特征在于，所述限定区域判定模块 还包括定时器，用于在所述岗位区域没有所述人员目标的条件下，计算所述岗 位区域没有所述人员目标的持续时间；
15. 根据权利要求13所述的系统，其特征在于，所述目标提取模块还包 括人头检测器模型，用来检测图像中的所述人员头部区域。
16. 根据权利要求13所述的系统，其特征在于，所述限定区域判定模块 还包括人脸识别模块，用于在所述岗位区域有所述人员目标的条件下，确定 所述人员目标是否为应该在岗的员工。
17. 根据权利要求15所述的系统，其特征在于，所述人头检测器模型具 体包括全视角人头分类器和多个对应不同人头姿态的人头分类器。
18. 根据权利要求13至17中任意一项所述的系统，其特征在于，所述报 警模块具体包括文字提示单元，用于进行监控屏幕的文字提示； 和/或声音报警单元，用于进行声音报警。
全文摘要
本发明提供一种岗位监测的方法和系统，方法包括步骤一，采集预定区域的视频图像；步骤二，检测所述视频图像中的人员目标；步骤三，判断岗位区域是否有所述人员目标，获得判断结果；步骤四，根据所述判断结果进行提示。本发明能在不浪费人力资源的情况下监控员工的在岗情况，解决现有技术的监控手段会浪费人力资源的技术问题。
文档编号H04N7/18GK101577812SQ200910079280
公开日2009年11月11日 申请日期2009年3月6日 优先权日2009年3月6日
发明者邓亚峰, 英 黄 申请人:北京中星微电子有限公司