专利名称：在视频监控中采用视线跟踪的人机交互装置和方法
技术领域：
本发明属于视频监控技术领域，具体涉及一种采用视觉跟踪进行操控的人机交互 装置和方法。
背景技术：
在现有的视频监控领域中，经常通过监控指挥室收集和记录在视频 监控网络中所 有摄像头捕获的监控录像，同时监控室的职守人员通过视频墙、监控屏幕等观察从高速球 机、固定相机等传送的图像，依据使用者的需求调节操作台操控摄像机的拍摄角度、焦距调 节、视频缩放、视频矩阵的切换、菜单选择等功能。在监控数据量的日益增加、远程摄像头连 接数量增长，对于使用者操作技巧、强度和难度增大，同时随着监控画面的增加，甚至有时 候使用者需要频繁地在上百路的实时监控画面选择中来回循环切换，而且在每路画面的监 控中有时又需要多次改变摄像头或高速球机的焦距伸缩、拍摄方位角和水平角操控等，使 得使用者难以应付在视平监控操作台上高强度的摇杆、菜单选择、按钮等操作动作。采用视线跟踪作为视频监控领域中人机交互的方式是比较好的解决方法，但目前 采用视频图像捕获人眼盯视位置的主流方法是通过视频头盔，装有双摄像头的眼睛架等入 侵式设备。而这些设备在使用时，需要佩戴在使用者的头部或脸部上，人机友好性不佳，尤 其是在多用户的情况下或者是频繁更换操作者的条件下，需要重新穿戴人眼图像捕获设 备、位置重新校正等繁琐步骤。同时目前技术也缺乏针对于采用视线跟踪的特点而设计的 人机交互界面，尤其是在视频监控领域需要长时间地多用户地使用视线跟踪设备，采用入 侵式的图像采集方式使用者往往无法长时间地忍受佩戴采集设备通过视线操控，虽然部分 解决了高强度的操作台，但发明人同时发现一些目前技术存在的问题1、采用穿戴式的图像采集设备人机友好性不强，使用者难以长时间穿戴使用。2、视频监控中针对于视线跟踪的人机交互界面的相关技术还未充分利用监控屏 幕的显示资源。3、现有技术未能够完全利用视线轨迹路径作为一种输入信息方法。4、视线跟踪操作与监控摄像头操控联动性不强，使用者感受不够直观。综上所述，操作效率、人机界面友好性、交互性和与操控设备联动性方面在采用视 线输入的视频监控领域问题有待于解决。
发明内容
本发明的目的在于提供一种用于在视频监控领域中的操作效率高、人机界面好、 可替代现有视频监控操作台的采用视线跟踪的非入侵式人机交互装置，同时提供一种针对 与视线跟踪作为人机交互方式的高效便捷操控方法。本发明提出的人机交互装置，包括采用非入侵式的人脸眼部图像视频采集单元、 四周设置有红外参考点光源的监视屏幕、视线跟踪图像处理模块和人机交互界面控制模 块；通过与人机交互界面控制模块的数据传递，实现对监控系统的控制。其中
人脸眼部图像采集单元是设置在使用者所观察的监控屏幕附近的摄像头，用于拍 摄使用者脸部区域而无需用户佩戴任何辅助采集器具捕获使用者双目图像。该摄像头镜头 上设有红外滤光片，可在滤除可见光保留红外波段光同时，摄像头的感光元件CCD(或CMOS 感光元件)可以对红外波段光感光。本发明中仅采用一个黑白摄像头来捕获双目图像，采 用这种技术方案的有益效果是既降低了图像采集设备的成本，又同时与使用者没有物理接 触，增加了人机交互的友好性；其中摄像头所拍摄的图像内容包含了使用者的双目图像，通 过视线跟踪图像处理模块分离出用户的双目局部图像，再进一步对图像处理分析和人眼盯 视位置，识别估计出使用者的盯视位置。监视屏幕四周设置的红外参考点光源采用LED点光源，共4组，在监视屏幕矩形 边框四角处各设置一组。它们通过视线跟踪图像处理模块，依据需要输出的脉冲宽度调制 (PWM)信号，调节其亮度。视线跟踪图像处理模块接收并处理来自用黑白摄像头拍摄的灰度图像，处理过 程分为前端的图像增强步骤和特征提取部分以及后端人眼盯视位置计算步骤，两个步骤级 联将最终的结果数据送入人机交互界面控制模块。这种图像采集方式，参考点设计以及本 发明中对交比变换的应用可以较好地解决使用者在一定范围内头部运动对于识别视线落 点准确性的影响。本发明针对上述的图像采集方式提出图像处理识别的步骤，包括对图像 预处理、投影方差选取区域、图像降噪、膨胀填充、连通区域统计、边缘提取、Hough变换等一 系列处理步序，经由参数校正、交比变换等从包含双眼的视频图像中提取人的盯视位置。图像处理分析的子模块的具体步骤如下1.通过摄像头采集使用者的脸部图像；2.对输入图像进行白平衡、直方图均衡化的图像增强预处理；3.通过水平投影、水平方差确定人眼待选区域；4.在待选区域进行垂直投影，结合人眼区域的合理宽度得到左右眼的子图像区 域；5.如果找不到左右眼图像区域调整图像增强与处理参数重复步骤(2)；6.分别对左右眼图像进行降噪、中值滤波的增强；再对子图像进行填充膨胀处 理，统计连通区域，所得的最大闭合连通区域为角膜区域；7.采用Sobel算子提取图像边界，并对边界图像进行Hough变换计算瞳孔中心区 域；8.在子图像中角膜区域内识别高反光参考点，得到四个点坐标；9.如果在找不到参考点的情况下调节红外LED参考点的亮度重复步骤(1)。人眼盯视位置估计子模块的具体步骤如下1.让使用者分别盯视屏幕中确定的几个区域进行内部参数校正；2.从图像处理识别模块中获取左右眼图像中瞳孔中心区域坐标以及红外参考点 坐标；3.利用出示校正系数修正坐标，减小不同用户和图像畸变造成的影响；4.通过交比变换的方式将图像坐标参考系中的参数映射对应到监控屏幕的坐标 系中得到视线落点；5.依据历史落点和当前落点位置估计视线落点的移动速度，依据速度不同区分移动操作和轨迹识别操作。基于视线跟踪的人机交互界面控制模块，是本发明所公开的人机交互方法的一种 实施。该方法包括将监控屏幕上交互界面的分为内层和外环形2个功能区域，视频矩阵切 换选择，视线轨迹识别控制，完成在视频监控领域中涉及的操控。其中所采用的交互方式都 只需要采用使用者的视线在屏幕上的视线盯视位置和视线盯视轨迹。该系统依照本发明 所公开的针对于采用视线跟踪的非入侵式人机交互装置所设计的操控交互方法对使用者 通过眼部运动表达的行为进行相应的响应，所采用的人机交互界面控制模块中交互的方法 是在仅仅采用人自然视觉中的一些运动特性进行视线操控时，将屏幕区分为内层和外环区 域2个功能区域，视线在不同区域的落点会对应不同类型的控制事件在内层区域主要通 过视线控制视频监控的远程摄像头运动姿态，摄像头的运动速度与视线落点距屏幕中央区 域的距离有关，本发明公开一种对应方法，距离越远对应的操控运动速度也就越快，使得使 用者能够自然随意地控制摄像头运动速度。内层区域用于负责控制拍摄当前监控屏幕内 容的摄像机方位角和俯仰角的拍摄位置角度，外层区域用于负责该摄像机的焦距、缩放、白 平衡、光圈等摄像机图像拍摄属性的控制以及视频监控中需要的其它菜单功能。当视线落 在外环形区域内时，在外环区域主要通过视线选择功能菜单，而相应侧(上、下、左和右)按 照关联程度分组的功能菜单会从屏幕的边缘移出供使用者选择。该菜单的特征是通过半透 明的方式叠加在原始图像中；在菜单功能选中时，被选中的地功能框会与周围其他功能框 形成鲜明反差。这种实施方式的益处是在视频监控领域中所需用到的菜单功能在植入在本 发明中不会影响到用户在正常情况下对监控屏幕的观看，只有在视线落入外环的触发区才 能够显示菜单。外环和内层组成的完整监视屏区域将显示完整的监视视频图像。人机交互 界面系统同时支持对于视频矩阵的选择和切换，用户在视频矩阵切换中对于着重感兴趣的 视频图像在使用者视线盯视超过一段时间后，被盯视的图像边框会高亮与其它图像边框形 成鲜明反差，并且该块被注视图像从视频矩阵中的一个区域逐渐放大直到充满整个监控屏 幕。这种人机交互的方法是针对于视线跟踪与视频监控领域的特点所提出的交互方法，并 不仅仅限定于是本发明所采用的视线跟踪采集装置所限定的使用范围。结合本发明所提出的非入侵式人机交互装置和人机交互界面方法，使得采用这种 操控方式与自然视觉的相似程度很高，即“所见即所得”的视觉捕获模式。使用者在对视频 内容、相机姿态进行操控时无需任何培训，而可以直接以人本能的视觉经验来使用本发明 所实施的操作和操控。即提高了使用者的操作效率，又改善了人机交互的过程。
附图1视线跟踪捕获装置示意图。
附图2采用视线操控的人机交互界面操控方法示意图。
附图3监控摄像头操控与运动实例示意图。
附图4采用视线跟踪与操控摄像机运动速度联动实施示意图。
附图5采用视线操控的人机交互界面示菜单选择方法实例意图。
附图6采用视线操控视频矩阵选择方法实例示意图。
附图7视线轨迹识别操控方法实例示意图。
附图8视线跟踪图像处理模块处理流程图。
6
附图9 人眼盯视位置估计算法流程图。
具体实施例方式下面将通过附图和实施例，对本发明的述的技术解决方案做进一步地详细阐述， 并结合实例详细描述发明的内容和技术革新手段和方法。如附图1所示为非入侵式人脸眼部图像视频采集单元，其中包括了装置在视频监 视器106屏幕105矩形区域四周的红外LED点光源101，102，103，104，放置在视频监控屏 幕下方对着使用者的摄像头202，摄像头的特点在于它的量子效率曲线图中对于前面所述 的LED红外点光源所发射的红外波段光能够起到较灵敏的感光。在摄像头的前端是装有红 外滤光片镜头组件201，其特征参数如红外滤光片的截止频率，镜头焦距，F值大小依据实 际使用中所采用的LED红外光源波段和拍摄使用者脸部图像时使用者距离实际使用情况 调整。举一实例，当LED红外光源采用850nm波段的，使用者脸部距离摄像头的距离大约 为40 55cm范围内时，那么镜头的红外滤光片的截止频率选择在850nm左右，焦距选择在 16mm, F为1.4左右可以拍摄如图1中摄像头所拍摄的画面内容203的示例图。在画面内 容中，使用者的脸部图像401占据画面的大部分内容，画面中同时也包括了右眼403和左眼 402图像区域。本发明中通过视线跟踪图像处理模块先将输入的图像中分离出双目图像的内容， 更进一步地，图像处理模块更为关心眼部404由眼睑围成的包含瞳孔和角膜405的图像。利 用人的生物特征即人的角膜对红外波段的光会产生强反射，此反射亮点为普尔钦斑点406 是在LED红外点光源101，102，103，104的照射下形成的。红外LED光源通过101入射，沿 路径301照射到角膜表面302，在该表面反射后通过路径304投射到摄像头；以此类推其余 三个点光源，通过不同路径照射到角膜表面302，并反射入摄像头。四个红外点光源的路径 延长线相交于眼球的球心303，而反射路径的延长线交于摄像头的虚焦点305。由于可以将 人的角膜表面近似认为是以眼球为中心。当使用者头部保持固定，而改变使用者在视监控 屏幕105上的不同位置盯视位置时，普尔钦斑点406在摄像头拍摄的视频内容中的位置不 会发生改变，而人眼的瞳孔中心407位置会随盯视位置的改变而发生改变。而当人的头部 相对于摄像头的空间位置发生移动改变时，普尔钦斑点在拍摄内容中的坐标位置会相应地 发生改变。在本发明实施例中，近似将参考点光源在眼球表面形成的四点高反光点位于同一 个球面而近似为一个平面，即角膜平面302，而摄像机的相平面上的四个成像高亮点天然满 足位于同一平面上，利用交比性质，对亮平面进行几何关系映射。通过初始化系数参数校 正，可以将图像畸变、不同用户角膜尺寸差异以及前面所述的球面到平面的近似进行修正。 正当用户的头部运动时，由交比不变性可得在图像中所获得的瞳孔中心与参数修正后的高 反光坐标位置交比与实际视线落点在屏幕四周参考光源点的交比相同，所以只要在拍摄画 面中包含双眼图像情况下的头部的小范围运动对于本发明的图像处理模块都能够识别处 理。视频监控中的一个使用频繁而基本的操作是对远程的监控摄像头进行焦距缩放， 水平角和俯仰角的调节。而本发明的技术实施具体旨在通过高效率的人机界面交互方式简 化这一频繁操作的步骤，如附图2所示的实施例中，所示的是人机交互界面操控基本示意
7图。其中视频监控器106的屏幕105上被分为两个区域，分别是内层区域501和外环区域 502，同时屏幕上显示完整的从一路远程摄像机拍摄的数据画面。两个区域区分了两类不同 的操作，在内层区域负责操纵当前拍摄画面的摄像机的水平角度和俯仰角度的调节。图中 的内外层区域在图中采用分隔使用虚线分割只是在示意图中加以明显区分，而在实际的监 控屏幕中不会显示出分隔线。在附图3中的架设在高速球601中摄像头602所拍摄的画面会传送到屏幕105上。 举一实例，当在附图2中人眼的视线306沿轨迹503水平向左移动时，产生对高速球601水 平方位角向左的水平移动603控制；同样当人眼的视线306沿轨迹504垂直向上移动时，产 生对高速球601垂直俯仰角的向上移动604控制。视线在内层区域中的任意移动都可以分 解为水平分量和垂直分量的移动合成。内层区域中，视线的落点距离屏幕中央区域的距离决定了其操控摄像机拍摄角度调 节的速度。其特征在于附图4中的实例说明中，当视线落点从屏幕中央区域沿路径505a移动 后到达箭头所指的落点后，停留一段时间，当用户视线返回屏幕 中央区域后。由于用户的视线 幅度较小所以原始拍摄图像701由于用户通过视线操控的摄像头移动了一段距离，所得至_画 面702所示的监控图像。当用户视线落点从屏幕中央区域沿路径505b移动后到达箭头所指的 落点后，停留相同的时间，当用户视线返回屏幕中央区域后所得到如画面703所示的监控图像。 对比两条路径虽然路径的方向相同，但是路径505b的移动幅度要比505a大，所以依据本发明的 视线联动跟踪机制，观察到的图像703要比图像702拍摄的移动幅度大。在实施本例中，水平 和垂直的速度控制分别由视线落点到屏幕中央区域的水平、垂直位移所决定的。为了替代传统视频监控的操作台的其他功能例如录制、暂停、画面对比度、白平衡 等附加功能，这些功能可以用菜单方式选择。本发明旨在不影响用户正常观察监控内容解 决替代用按键、鼠标点击等对菜单项进行选择的视线跟踪人机交互方法。其具体的实施方 法如附图5所示，选择菜单或功能按键图标506按照功能的相似程度分类分别排布在监控 屏幕的上下左右的外环区域。当视线从内层区域快速移到外环区域，那么视线落点在外环 区域的相应侧将会从屏幕的边缘沿路径509a，509b，509c，509d从屏幕的边缘移动入外环 区域。图中508是一个视线落入外环区域靠近屏幕上方的例子，在屏幕上方的菜单选项从 屏幕上方向下沿路径509a滑入，其中508是滑动过程的中间状态示意。在又一实例中，当 菜单滑入后视线停留的落点在待选菜单507后，该菜单的边框会以同其他菜单边框颜色不 同的高亮来提示用户所选定的菜单，当视线306停留的时间超过预设阈值，则认为是选中 该菜单选项。在视频监控领域另一项有别于其他人机交互界面的方式是视频矩阵的选择和切 换。使用者往往需要在被划分成若干个区域的监控屏幕组成的视频矩阵中巡视监控画面有 无异常情况，并且需要在有需要的时候选定视频矩阵中的某路视频内容并且放大切换到全 屏显示。本发明的实施提供了一种采用视线跟踪的方法进行视频矩阵的切换和选择，具体 实施细节如附图6所示的实施例。在监控屏幕105中，从不同的远程摄像头拍摄的图像经 过视频矩阵的组合被一并地显示在以4X4的分割方式的屏幕中，使用者在这些视频中扫视 观察视频内容。当用户对视频矩阵中的某路监控视频需要放大意图时，仅需将视线306在 需要放大的视频内容块509内。当停留超过预设的时间阈值，被选中的视频边框510会以 同其他视频边框颜色不同的高亮来提示用户所选定的视频内容；当视线继续在高亮的框内停留一段预设时间时，即触发视频放大511功能，将被选中的图像放大至整个屏幕。当视频 内容被放大至整个屏幕后，人机用户界面可以进入如附图2所示的实施例中；同时用户可 以通过附图4中的菜单选择实施方法返回如示例图6的视频矩阵选择界面。在本发明中实施中，同时可以利用视线的轨迹和历史路径识别信息作为一种模式 的输入方式，其实施的原理是用户的视线在屏幕中快速移动，视线在监控屏幕上的落点构 成的轨迹图形，不同的轨迹图形能够对应人机交互中触发的不同功能事件。在实施例中，用 户视线从平时盯视屏幕中央区域延路径512和路径513形成“Z”字形的轨迹路径。类似的， 用户可以利用视线快速地做出其他类型的轨迹路径，结合路径的方向性，还可以定义类似 于顺时针环形、逆时针环形、三角、“V”字形等，并分别定义不同的路径形态对应不同的功能 事件。轨迹识别有别于前面所述的视线位置轨迹的区别在于视线落点的运动速度大小，按 照正常用户观测行为，在视频矩阵中或是在摄像头运动操控中，视线落点移动速度都不会 很快，视线跟踪图像处理模块会依据上一次的落点位置以及当前估计出的落点位置来估算 落点的速度，一旦该速度超过由经验得到的速度区分阈值时，对应启动对轨迹路径的识别。下面进一步介绍，本发明实施方式中所公开的人脸眼部图像视频采集单元工作原 理和步骤。如附图8所示的视线跟踪图像处理模块处理流程图中，处理模块将会从架设在 监控屏幕下方的摄像机中读取入一幅完整图像801。由于图像拍摄的光照背景和质量会 经常受到影响，而这些影响倘若不加以处理其结果会给后续的图像分离、识别、定位造成困 难，所以会进行初步的图像增强802。这个步骤所采用的图增强技术采用白平衡、直方图均 衡化等适合于快速处理的图像增强技术，因为图像中的大部分信息例如人的鼻子、嘴巴、脸 颊等其他非眼部区域的图像在后续步骤中将会被去除只保留眼部图像，所以这步骤地图像 增强处理后是为了能够更加好地找出眼部区域的子图像，同时采用算法复杂度低的增强方 法加速图像处理速度。对处理好的图像进行水平投影处理803，即将图像每一行的量化像素 值进行累加。由于人的眼部区域角膜瞳孔区域呈现暗黑色调，所以包含这些图像成分的水 平投影值会相比周围图像来的小。再对图像水平方向进行方差计算，由于人眼区域对比与 周围的明亮区域而言都要暗许多，边界也较为明显，所以其方差的值也会较大。对水平投影 处于局部最小值以及方差为局部最大值的区域选定为眼部的候选区域，这些候选区域中可 能包含有人的鼻子(鼻孔的色彩特征于眼睛相似)、头发等，所以为了从这些区域中筛选出 眼睛的图像信息，需要对候选的区域进行垂直投影804。由于在已经选定的水平区域内进行 垂直投影所以在饱含眼睛的区域会出现两个谷值，这两个值分别对应左眼和右眼区域。在 候选区域中包含鼻子的区域也会因鼻孔的暗色区域产生两个谷值，但是这很容易和眼部进 行区分眼部区域中两个谷值间的距离比起鼻子区域的谷值距离805来得大，所以选取区 距离较大的为眼部子图像区域。接着分离的两个子图像区域可进行并行地处理分别对子图 像进行步骤相同的图像处理和特征识别。当然也有可能存在子图像区域找不到的情况806，这种情况可以分两种可能；其 一是图像增强的预处理参数设置针对与当前拍摄环境而言不合理，其二是当前帧的图像拍 摄时，用户眨眼动作刚好处在闭眼的时刻。如果是前者，那么修改一些图像增强参数816再 次查找；如果再次查找失败，那么假设二的可能性较大，那么就认为用户视线停留在历史落 点上，或者根据用户的历史轨迹与估计下一次的落点作为用户眨眼时的视线落点。继续对子图像进一步进行图象增强处理807，采用中值滤波、图像降噪和锐化进一步改善图像的质量。所获得的图像中的特征如附图1中405所示，采用图像膨胀方法808可 以将图中405高亮的反光点进行填充，填充后的图形可以获得一个暗黑色的瞳孔圆形。对 填充后的图像进行连通性统计809，即连通区域最大的为瞳孔圆形区域。在这个区域内进行 Sobel算子运算，可以提取图像的边缘轮廓信息，再经由Hough变换可以得到瞳孔圆形区域 的圆心估计值811。与此同时，对未作填充处理的眼部图像中在连通区域最大的瞳孔圆形区 域内识别四个高反光点810。在处理流程中需要判断812这四个点是否都被找到，需要考 虑的是四个反光点可能没有被都找到的可能性，这取决于图像的质量和LED红外参考点的 亮度。如果并行处理的两路图像左眼和右眼中都没有分别找到完整四点红外参考点，图像 视频采集单元会根据当前的图像质量和识别可信度通过PWM(脉冲宽度调制技术调节红外 LED亮度815，可以在环境光改变的时候得到合适的亮度。适当的亮度信号对于图像中普尔 钦点的中心位置提取非常有利。如果红外LED亮度太低，那么从捕获的图像中难以通过算 法找到相对应的高反光点；反之，如果亮度太强，则反光点在采集图像中形成泛光，影响到 瞳孔中心位置的捕捉的准确性，同时又会造成高反光点在图像中成形的尺寸较大，难以得 到可行度很高的普尔钦点的准确位置。如果找到一组完整参考点则将参考点在图像中坐标 以及瞳孔中心坐标送入814做用户盯视位置估计处理。
盯视位置估计的处理方法流程如附图9所示，901将会接收从上一步814的数据， 即瞳孔中心点和参考点在摄像头平面图像坐标系内的参数。如前面所述，有如下三种情况 只有左眼的参数、只有右眼的参数和双眼参数都完整。如果只有一路的参数那么就将这 一路的参数计算后得到人眼视线在屏幕上的落点，如果有两路参数那么分别计算其视线落 点，依据图像质量作为可行度加权取平均值作为最终视线落点906。所以在处理之前判断输 入数据左眼和右眼数据是否完整902，然后分别对完整的数据进行参数校正903，修正由于 不同用户以及图像畸变所造成的误差。参数校正的校正系数是由在用户开始使用系统前进 行的初始化校正，其原理是让用户将视线落点停留在事先预设的若干点，通过比较当前识 别出的视线落点和训练目标的落点位置进行比对计算出校正参数。将修正后的坐标参数通 过交比运算，采用交比不变性质，将瞳孔中心位置与参考光源点的位置关系映射905到视 线落点与监控屏幕矩形四个顶点的位置。计算得到的视线落点位置即为当前帧下用户的视线落点位置，需要与前几帧计算 的结果相互比较，通过欧拉距离的计算，估计视线落点的移动速度907。如果移动速度超过 了预设的移动操作和轨迹输入的分界线908，则说明用户当前的操作是如附图7所时的实 例中快速眼动的轨迹输入方式；这时需要将当前识别的落点送入轨迹识别队列中，进行轨 迹识别处理910。在连续的一段帧中，如果每帧的识别后的解果都认为是轨迹输入方式，将 连续落点轨迹输入识别队列中，此时轨迹识别并不启动对暂存在队列中的落点数据进行识 别；当落点移动速度低于预设阈值后，新帧内的识别结果将不再送入轨迹识别队列而切换 值移动选择操作909，此时轨迹识别处理将队列中的落点轨迹进行模式匹配处理得到识别 结果，触发相应的操作，并清空落点参数的暂存队列。综合上面所述的详细技术说明，本发明公开的在视频监控领域中采用视线跟踪的 人机交互界面、装置和方法是对本发明进行较佳的实施例，并非用来限定本发明的保护范 围。本领域范围内的技术人员在不脱离本发明技术方案的精神和范围内所进行的技术方案 的简单替换或推演，都应当属于本发明的保护范围。
权利要求
一种在视频监控中采用视线跟踪的人机交互装置，其特征在于包括采用非入侵式的人脸眼部图像视频采集单元、四周设置有红外参考点光源的监视屏幕、视线跟踪图像处理模块和人机交互界面控制模块；通过与人机交互界面控制模块的数据传递，实现对监控系统的控制；其中人脸眼部图像采集单元是设置在使用者所观察的监控屏幕附近的摄像头，用于拍摄使用者脸部区域；该摄像头镜头上设有红外滤光片，在滤除可见光保留红外波段光同时，摄像头的感光元件CCD或CMOS感光元件对红外波段光感光；摄像头所拍摄的图像内容包含了使用者的双目图像，通过视线跟踪图像处理模块分离出用户的双目局部图像，再进一步对图像处理分析和人眼盯视位置，识别估计出使用者的盯视位置；监视屏幕四周设置的红外参考点光源采用LED点光源，共4组，在监视屏幕矩形边框四角处各设置一组；它们通过视线跟踪图像处理模块，依据需要输出的脉冲宽度调制信号，调节其亮度；视线跟踪图像处理模块接收并处理来自用黑白摄像头拍摄的灰度图像，处理过程分为前端的图像增强步骤和特征提取部分以及后端人眼盯视位置计算步骤，两个步骤级联将最终的结果数据送入人机交互界面控制模块；基于视线跟踪的人机交互界面控制模块，包括将监控屏幕上交互界面的分为内层和外环形2个功能区域，视频矩阵切换选择，视线轨迹识别控制，完成在视频监控领域中涉及的操控；其中所采用的交互方式都采用使用者的视线在屏幕上的视线盯视位置和视线盯视轨迹；所述将屏幕区分为内层和外环区域2个功能区域，视线在不同区域的落点对应不同类型的控制事件在内层区域主要通过视线控制视频监控的远程摄像头运动姿态，摄像头的运动速度与视线落点距屏幕中央区域的距离有关，距离越远对应的操控运动速度也就越快，使得使用者能够自然随意地控制摄像头运动速度；内层区域用于负责控制拍摄当前监控屏幕内容的摄像机方位角和俯仰角的拍摄位置角度，外层区域用于负责该摄像机的焦距、缩放、白平衡、光圈摄像机图像拍摄属性的控制以及视频监控中需要的其它菜单功能；当视线落在外环形区域内时，在外环区域主要通过视线选择功能菜单，而相应侧按照关联程度分组的功能菜单会从屏幕的边缘移出供使用者选择；该菜单的特征是通过半透明的方式叠加在原始图像中；在菜单功能选中时，被选中的地功能框会与周围其他功能框形成鲜明反差；外环和内层组成的完整监视屏区域将显示完整的监视视频图像；人机交互界面系统同时支持对于视频矩阵的选择和切换，用户在视频矩阵切换中对于着重感兴趣的视频图像在使用者视线盯视超过一段时间后，被盯视的图像边框会高亮与其它图像边框形成鲜明反差，并且该块被注视图像从视频矩阵中的一个区域逐渐放大直到充满整个监控屏幕。
2.根据权利要求1所述的采用视线跟踪的人机交互装置，其特征在于所述的视线跟踪 图像处理模块中，进行图像分析处理子模块流程如下1)通过摄像头采集使用者的脸部图像；2)对输入图像进行白平衡、直方图均衡化的图像增强预处理；3)通过水平投影、水平方差确定人眼待选区域；4)在待选区域进行垂直投影，结合人眼区域的合理宽度得到左右眼的子图像区域；5)如果找不到左右眼图像区域调整图像增强与处理参数重复步骤(2)；6)分别对左右眼图像进行降噪、中值滤波的增强；再对子图像进行填充膨胀处理，统 计连通区域，所得的最大闭合连通区域为角膜区域；7)采用sobel算子提取图像边界，并对边界图像进行Hough变换计算瞳孔中心区域；8)在子图像中角膜区域内识别高反光参考点，得到四个点坐标；9)如果在找不到参考点的情况下调节红外LED参考点的亮度重复步骤(1)。
3.根据权利要求1所述的采用视线跟踪的人机交互装置，其特征在于所述的视线跟踪 图像处理模块中，人眼盯视位置估计子模块的具体步骤如下1)让使用者分别盯视屏幕中确定的几个区域进行内部参数校正；2)从图像处理识别模块中获取左右眼图像中瞳孔中心区域坐标以及红外参考点坐标；3)利用出示校正系数修正坐标，减小不同用户和图像畸变造成的影响；4)通过交比变换的方式将图像坐标参考系中的参数映射对应到监控屏幕的坐标系中 得到视线落点；5)依据历史落点和当前落点位置估计视线落点的移动速度，依据速度不同区分移动操 作和轨迹识别操作。
4.一种采用视线跟踪的人机交互界面控制方法，其特征在于具体步骤如下该方法包括将监控屏幕上交互界面的分为内层和外环形2个功能区域；视频矩阵切换 选择；视线轨迹识别控制；完成在视频监控领域中涉及的操控；其中所采用的交互方式都 采用使用者的视线在屏幕上的视线盯视位置和视线盯视轨迹；其中，将屏幕区分为内层和外环区域2个功能区域，视线在不同区域的落点会对应不 同类型的控制事件在内层区域主要通过视线控制视频监控的远程摄像头运动姿态，摄像 头的运动速度与视线落点距屏幕中央区域的距离有关，距离越远对应的操控运动速度也就 越快，使得使用者能够自然随意地控制摄像头运动速度；内层区域用于负责控制拍摄当前 监控屏幕内容的摄像机方位角和俯仰角的拍摄位置角度，外层区域用于负责该摄像机的焦 距、缩放、白平衡、光圈等摄像机图像拍摄属性的控制以及视频监控中需要的其它菜单功 能；当视线落在外环形区域内时，在外环区域主要通过视线选择功能菜单，而相应侧按照 关联程度分组的功能菜单会从屏幕的边缘移出供使用者选择；该菜单的特征是通过半透明 的方式叠加在原始图像中；在菜单功能选中时，被选中的地功能框会与周围其他功能框形 成鲜明反差；人机交互界面系统同时支持对于视频矩阵的选择和切换，用户在视频矩阵切换中对于 着重感兴趣的视频图像在使用者视线盯视超过一段时间后，被盯视的图像边框会高亮与其 它图像边框形成鲜明反差，并且该块被注视图像从视频矩阵中的一个区域逐渐放大直到充 满整个监控屏幕。
全文摘要
本发明属于视频监控技术领域，具体涉及一种在视频监控中采用人眼视线跟踪的人机交互装置和方法。包括采用非入侵式的人脸眼部图像视频采集单元、在四周设置有红外参考光源的监视屏幕、视线跟踪图像处理模块和人机交互界面控制模块。其中视线跟踪图像处理单元将捕捉的人脸图像中分离出左、右眼的双目子图像，并分别对两幅子图像识别和估计人眼视线盯视位置相对与监控屏幕的位置。本发明同时提出了对于视线跟踪特点提出的一种高效人机界面交互方式，其中包括采用视线选择功能菜单，切换监控视频内容，调节远程监控摄像头的焦距拍摄视角等都可以采用本发明公开的统一化的人机交互方式，提高操作视频监控设备和系统的效率。
文档编号G06K9/00GK101866215SQ20101015165
公开日2010年10月20日 申请日期2010年4月20日 优先权日2010年4月20日
发明者程磊, 陈贇 申请人:复旦大学