专利名称：监控系统与监控方法
监控系统与监控方法
技术领域：
本发明涉及监控系统，具体涉及一种监控系统与监控方法。背景技术：
监控系统广泛存在于商场、大厦、公路、车站、机场等公共场所，作 为大型监控系统的核心，监控指挥中心起着组织、指挥、协调和督导的作 用。监控中心里，与人交互的设备通常是监视屏和操作台。如图l所示， 现有的监控系统中，操作人员通过监视屏来观看远处摄像机拍摄、高速球
机等返回的视频，这些视频通过DVR (Digital Video Recorder,数字视 频录像机或数字硬盘录像机)记录中转，DVR具有控制输入，可以用来远 程控制球机及摄像头。现有系统使用操作台的摇杆、按钮等传统人机交互 手段来进行视频的选择、縮放等监控操作，操作人员通过操作台发送指令， 通过DVR来切换视频，并伸縮、转动摄像头或球机。然而，随着监控设备 增多，操作人员要监视和控制的目标也越来越多，因此，需要随时面对大 量的视频数据。有的时候， 一名操作人员可能要循环观看近几百路的实时 视频。传统的操作台式交互的监控系统的效率低下，已经越来越不能满足 繁琐的操作要求。特别是面对监控中所发生各种突发事件，如果需要快速 选中和控制某一摄像头的伸縮和转动、选择切换视频通道时，使用传统设 备很难迅速有效地反应和处理。而且，面对数量庞大的视频数据，监控操 作难免过于复杂而易导致监控人员忙中出错。
发明内容
本发明的主要目的就是解决现有技术中的问题，提供一种监控系统与 监控方法，方便监控人员选中监控目标，提高监控操作的效率。
为实现上述目的，本发明提供一种监控系统，包括用于显示视频图像的 监视屏、用于摄取并传输视频图像的被控监视设备控制模块、视频存储模 块以及，所述控制模块用于根据操控指令控制被控监视设备的动作，所述 视频存储模块用于记录视频图像并将视频图像提供给所述监视屏显示，其 特征在于，还包括用于根据操作员视线判断人眼在所述监视屏上的当前视 线点并输出相应于当前视线点的操控指令的视线跟踪设备，所述视线跟踪
设备的输出端耦合到控制模块。
优选地，所述视线跟踪设备包括参照点光源、人眼摄像单元、图像处 理单元，所述人眼摄像单元用于摄取人眼图像，所述图像处理单元用于解 析出人眼图像中瞳孔中心点和所述参照点光源的反射点的初始校准位置和 当前位置，计算出当前位置下人眼在所述监视屏上的当前视线点并输出相 应于当前视线点的目标确定指令，其中，所述初始校准位置对应于所述监 视屏上预设的视线校准点。
所述视线跟踪设备还包括目标操作单元，用于根据所述图像处理单元 的计算结果激活并操作当前视线点对准的目标。
所述视线跟踪设备还包括运动补偿摄像单元，所述图像处理单元还包 括运动补偿模块，所述运动补偿摄像单元用于检测头部对所述监视屏的初 始位置和当前位置，所述运动补偿模块用于计算头部位置变化所带来的偏 移量，并根据所述偏移量对所述当前视线点进行运动补偿。
所述运动补偿摄像单元包括与头部联动设置的光源摄像头，所述光源 摄像头用于摄取参照点光源的图像。
所述参照点光源包括至少4个红外光源，所述红外光源以至少构成四 边形的方式分布在所述监视屏周围。
所述视线跟踪设备还包括摄像支架，所述摄像支架包括用于固定在头 部的固定件，所述人眼摄像单元安装在所述摄像支架上能拍摄到至少一只 人眼图像的部位。
所述固定件为眼镜架型结构，所述摄像支架还包括与所述固定件相连 的支承件，所述支承件具有延伸到人眼的前下方的支承端，所述人眼摄像 单元安装在所述支承端上，其摄像镜头朝向人眼。
还包括安装在所述摄像支架上用于摄取头部相对于监视屏位置变化 信息的运动补偿摄像单元。
所述运动补偿摄像单元安装在所述摄像支架上的靠人眼外侧的部位。
一种监控方法，其特征在于，包括以下步骤-
Al、设置参照点光源，并在监视屏上设定视线校准点；
Bl、根据所述视线校准点检测人眼图像中与之相应的瞳孔中心点和所
述参照点光源的反射点的初始校准位置，并建立起人眼与所述监视屏之间
的位置关系矩阵；
Cl、检测所述瞳孔中心点和所述反射点的当前位置；
Dl、根据所述位置关系矩阵，计算出所述当前位置下人眼在所述监视
屏上的当前视线点并确定其对准的目标。
优选地，所述步骤D1之后还包括以下步骤 El、激活并操作所述当前视线点对准的目标。
所述步骤B1和/或所述步骤Cl还包括:先对人眼图像进行增强处理以 提高检测精度。.
所述步骤Bl和/或所述步骤Cl还包括对人眼图像中的虹膜外边缘 进行检测以辅助定位所述初始校准位置和/或当前位置。
所述步骤Bl还包括检测头部对所述监视屏的初始位置，所述步骤Cl 还包括检测头部对所述监视屏的当前位置，所述步骤Dl中，所述当前视
线点的计算包括根据头部位置变化对所述反射点带来的偏移量进行运动 补偿。
所述初始位置和所述当前位置根据所述参照点光源对头部的位置来 确定。
本发明有益的技术效果是-
本发明在监控系统中设置视线跟踪设备，视线跟踪设备根据操作员的 视线即可判断出人眼在监视屏上的当前视线点，并发出相应于当前视线点 的操控指令，通过控制模块，就可以操作当前视线点对准的监视目标。本 发明彻底改变了传统监控系统的操作方式，不依赖于复杂的摇杆、按键控 制板等操作台设备，而是采用视线跟踪设备分析操作员视线，根据视线点 方便迅捷地选中目标——被控监视设备或视频内容，进而可完成对目标的 操控动作。如从几十路视频中选中其中一个的目标锁定，放大视频中的某 个位置或者控制球机转动以跟踪某个监视对象。本发明能够很好的辅助操 作人员做出快速反应，简化复杂的监控操作，大大提高监控效率。
图1为现有监控系统的结构框图2为本发明监控系统一种实施例的结构框图3为本发明一种实施例中的视线跟踪设备的结构框图4为本发明一种实施例中的摄像装置的立体示意图5为图3中的摄像装置的俯视图6为图3中的摄像装置的侧视图7为本发明监控方法一种实施例的流程图8为图7中瞳孔中心点及反射点位置检测进一步细化的流程图9为图7中头部对监视屏位置检测进一步细化的流程图。
具体实施方式
本发明的特征及优点将通过实施例结合附图进行详细说明。
请参照图2，监控系统包括监视屏、操控模块、控制模块、视频存储 模块以及被控监视设备。其中，监视屏既可以是监视器的屏幕，也可以是 监控中心的大显示屏，操控模块包括视线跟踪设备和辅助设备(如按键、 摇杆之类的传统操作设备)，被控监视设备包括摄像头和球机。监视屏和视 线跟踪设备面向操作员，操作员与系统的交互通过监视屏和视线跟踪设备 进行。操作员的操作指令通过视线跟踪设备输入监控系统，控制模块根据 操控指令控制被控监视设备的选择、动作以及视频的选择、记录和操作， 视频存储模块记录视频并将视频输出至监视屏显示。 一种实施例中，监控 系统包含多个DVR，各DVR起到控制模块和视频存储模块的作用。DVR具有 控制单元，可以用来远程控制摄像头及球机。监视视频同时由DVR记录和 中转，每个DVR均能够控制输出多路视频至监视屏。
请参照图3，视线跟踪设备包括参照点光源、人眼摄像单元及图像处 理单元。参照点光源设置在监视屏附近，人眼摄像单元设置在可以拍摄到 监控者至少一只眼睛的位置。参照点光源发出的光线由人眼捕获和反射。 人眼摄像单元获取人眼图像并提供给图像处理单元，图像处理单元对人眼 图像中瞳孔中心点和参照点光源在瞳孔中的反射点的位置进行解析，建立 人眼与监视屏之间的位置关系矩阵，监控过程中，图像处理单元解析出瞳 孔中心点和反射点的当前位置信息，并通过位置关系矩阵计算出当前位置 下人眼在监视屏上的当前视线点，确定当前视线点对准的目标。优选的， 视线跟踪设备还包括目标操作单元，当前视线点对准的目标确定后，可通 过目标操作单元输出指令至DVR，激活目标并执行进一步的操作。
为确定人眼与监视屏的初始位置关系，首先要完成初始校准。预先在 监视屏上设定好视线校准点，例如可将屏幕的左上点、右下点和中心点等 规定为视线校准点，视线跟踪前，人眼先注视监视屏的这几个特定位置， 通过人眼摄像单元获取人眼图像，再由图像处理单元解析出人眼图像中瞳 孔中心点和参照点光源的反射点对应于各视线校准点的初始校准位置，然 后，结合初始校准位置信息和已知的视线校准点的位置信息进行分析，即 可建立人眼与监视屏(瞳孔中心点、反射点与监视屏视线校准点)的位置 关系矩阵。完成了初始化之后，就可在监控过程中实施视线跟踪。人眼摄 像单元实时捕捉人眼当前的各帧图像，由图像处理单元进行解析，测出人眼的瞳孔中心点和参照点光源在瞳孔中的反射点的当前位置。接下来根据 位置关系矩阵和当前位置信息进行计算，最终确定该当前位置下的人眼在 监视屏上停留的当前视线点。在具体的处理过程中，还可以根据过往图像 帧(如前一帧)得到的位置关系作为参照，预测接下来瞳孔将要出现的位 置，以提高准确度并减少计算量。
参照点光源优选采用红外光源如红外LED (发光二极管)，其功率根据 监视屏到人眼的距离选定。将四个红外LED安装在监视屏下方或其四周， 构成四边形。四个参照点是达到实现矩阵变换(包括縮放、平移及旋转) 所需的最少参照点数。人眼摄像单元设置在眼睛的前下方，向斜上方拍摄， 以免挡住视线，并且其焦距足够小以能清晰的拍摄出整个眼睛图像。人眼 摄像单元优选采用红外摄像头，其上配有红外滤镜，过滤掉可见光，所获 得的眼部图像为红外图像。由于瞳孔吸收红外波长，而巩膜和虹膜反射红 外波长，故在红外光下瞳孔整体呈现为显著的深黑色。采用红外光源和红 外摄像头，有利于对人眼图像中瞳孔的鉴别和定位。更优选的实施例中， 人眼摄像单元包括左眼摄像头和右眼摄像头，分别获取左、右眼图像。综 合双眼的图像进行分析和处理，有利于提高视线跟踪的精度。此外，各摄 像头还具有数字校正的内置光源，能对周围亮度的变化进行数字补偿，以 保证视线跟踪的稳定性。
作为改进，图像处理单元设置有图像增强模块，所获取的人眼图像在 进行解析之前，先由图像增强模块进行增强处理，包括提高瞳孔、眼球及 参照点光源的反射点的识别精度及识别率，进而提高图像解析的精度。具 体处理手段可以是亮度、对比度调整以及图像去噪等。又一种改进中，图 像处理单元还包括虹膜解析模块，虹膜解析模块对人眼图像中的虹膜外边 缘进行检测。虹膜外边缘检测主要是找出人眼图像中边缘变化最强烈的圆 形，并返回该圆形的中心位置以及半径信息。结合对虹膜位置的分析来进 行图像解析，能够更准确地对瞳孔中心点和参照点光源的反射点进行定 位。
在更佳的实施例中，视线跟踪设备还包括运动补偿摄像单元，而图像 处理单元还包括运动补偿模块。运动补偿摄像单元输出的信号提供给运动 补偿模块。运动补偿摄像单元检测头部对监视屏的初始位置(对应于人眼 的初始校准位置)和当前位置(对应于人眼的当前位置)信息，运动补偿 模块对该信息进行处理，计算出头部位置变化对参照点光源在人眼中的反
射点所带来的偏移量，并根据该偏移量对当前视线点进行运动补偿。通过 运动补偿，能够减小误差，进一步提高当前视线点跟踪的准确程度。优选 地，运动补偿摄像单元包括与头部联动设置的光源摄像头，该光源摄像头 获取参照点光源的图像。将光源摄像头与左、右眼摄像头的坐标系关联起 来，通过分析参照点光源的图像前后变化，可测出头部对监视屏的位置变 化，计算出要补偿的量，从而实现运动补偿。
本发明中，目标操作单元可结合采用眨眼控制模块与键控模块。眨眼 控制模块根据人眼摄像单元拍摄到的眨眼信息来激活和操作当前视线点 对准的目标，而键控模块则通过传统的手动方式，利用按钮、键盘等来激
活和操作目标。激活和操作指令通过目标操作单元发送给DVR进行控制和 处理。 一般而言，手动的键控方式往往比诸如眨眼确认等自动确认方法更 符合传统的操作习惯。又例如，目标操作单元可配置"图像放大"等视频 处理按键，便于用户对选中的视频内容进行操作。
请参照图4至图6，视线跟踪设备还包括摄像支架2，摄像支架2包 括可固定在头部的固定件21，人眼摄像单元1安装在摄像支架2上能拍摄 到至少一只人眼图像的部位。优选的，固定件21为眼睛架型的金属或塑 料头具，包括镜框和左右对称的用于戴在耳部的两个镜腿211，镜腿211 的尾部可架在人耳上，摄像支架2还包括与其中一镜腿211相连的支承件 22，支承件22具有延伸到人眼的前下方的支承端，人眼摄像单元1安装 在支承端上，向斜上方拍摄眼睛，可避免挡住视线。为了提高检测精确度， 人眼摄像单元1采用左眼和右眼两个摄像头，分别用于拍摄左、右眼图像， 支承件22为与两个镜腿211相对应设置的两个，左眼摄像头和右眼摄像 头分别固定在两个支承件22上。左、右眼摄像头要求体积尽量小，畸变 尽量小，且其焦距以能够清晰地拍摄出整个眼睛的图像。作为改进，摄像 装置还包括固定带，固定带的两端分别与两个镜腿211相连。固定带可以 固套在头部，可进一步稳固摄像支架2。
更佳的实施例中，视线跟踪设备还包括运动补偿摄像单元3，它用于 检测头部对监视屏的初始位置和当前位置。运动补偿摄像单元3优选采用 对参照点光源进行拍摄的光源摄像头3。光源摄像头3也安装在摄像支架 2上，镜头朝向参照点光源，可设置在镜腿211上靠人眼外侧的部位。更 优选的，光源摄像头3以可调节方向的方式与镜腿211相连，从而可以灵 活调整它的镜头朝向，使其能在头部位置变动时仍对准参照点光源。
摄像装置优选采用红外摄像头，各摄像头配有红外滤镜以过滤可见
光，并可选用320X240的解析度。
请参照图7，本发明还提供一种基于视线跟踪技术的监控方法，具体 可按照以下流程来实施
步骤SlOl、检测人眼图像中与视线校准点相应的瞳孔中心点和参照点 光源的反射点的初始校准位置；
步骤S102、根据视线校准点的位置和瞳孔中心点、反射点的初始校准 位置，建立起人眼与监视屏之间的位置关系矩阵；
步骤S103、监测过程中，检测瞳孔中心点和反射点的当前位置；
步骤S104、根据位置关系矩阵，计算出当前位置下人眼在监视屏上的 当前视线点；
步骤S201、检测头部对监视屏的初始位置
步骤S202、检测头部对监视屏的当前位置；
步骤S203、计算头部运动对参照点光源的反射点带来的偏移量；
步骤S3、根据计算出的偏移量对当前视线跟踪点进行运动补偿；接下 来执行下列可选步骤，
步骤S4、通过键控方式选定和操控目标，如视频内容本身的縮放、摄 像头的运动控制等；或者
步骤S5、通过眨眼处理方式选定和操控目标；或者
步骤S6、对对准的目标的视频信号作进一步处理。
请参照图8，对于步骤S101和步骤S103，瞳孔中心点和参照点光源 在人眼的反射点的位置检测又包括如下子步骤
首先摄取眼部图像；
接下来对获得人眼图像进行增强，可包括亮度、对比度调整以及图像 去噪等处理，以提高瞳孔、反射点的识别精度及识别率；
然后对图像进行分析，检测瞳孔中心点和反射点，同时检测人眼图像 中的虹膜外边缘以对瞳孔中心点和反射点的定位进行辅助；
最后，解析出瞳孔中心点和反射点的位置。
请参照图9，对于步骤S201和步骤S202,头部对监视屏的位置检测 又包括如下子步骤
首先摄取参照点光源图像； 接下来对获得参照点光源图像进行增强； 然后对图像进行分析，检测参照点光源； 最后，解析出头部相对于监视屏的位置。
本发明的监控系统采用视线跟踪技术，完全改变了以往的监控操作方 式，不使用复杂的摇杆、按键控制板等操作台设备，而是采用视线跟踪设 备分析出人眼视线在监视屏上对准的目标，从而可以方便迅捷地选中被控 监视设备或监视目标，通过目标操作单元可激活并完成对目标进一步的操 控动作。如从几十路视频中选中其中一个的目标锁定，放大视频中的某个 位置或者控制球机转动以跟踪某个监视目标。本发明能够很好的辅助操作 人员做出快速反应，简化复杂的监控操作，大大提高监控效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说
明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术 领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若 干简单推演或替换，都应当视为属于本发明的保护范围。
权利要求
1.一种监控系统，包括用于显示视频图像的监视屏、用于摄取并传输视频图像的被控监视设备、控制模块以及视频存储模块，所述控制模块用于根据操控指令控制被控监视设备的动作，所述视频存储模块用于记录视频图像并将视频图像提供给所述监视屏显示，其特征在于，还包括用于根据操作员视线判断人眼在所述监视屏上的当前视线点并输出相应于当前视线点的操控指令的视线跟踪设备，所述视线跟踪设备的输出端耦合到控制模块。
2. 如权利要求1所述的监控系统，其特征在于，所述视线跟踪 设备包括参照点光源、人眼摄像单元、图像处理单元，所述人眼摄像单元 用于摄取人眼图像，所述图像处理单元用于解析出人眼图像中瞳孔中心点 和所述参照点光源的反射点的初始校准位置和当前位置，计算出当前位置 下人眼在所述监视屏上的当前视线点并输出相应于当前视线点的目标确 定指令，其中，所述初始校准位置对应于所述监视屏上预设的视线校准点。
3. 如权利要求2所述的监控系统，其特征在于，所述视线跟踪 设备还包括目标操作单元，用于根据所述图像处理单元的计算结果激活并 操作当前视线点对准的目标。
4. 如权利要求1所述的监控系统，其特征在于，所述视线跟踪 设备还包括运动补偿摄像单元，所述图像处理单元还包括运动补偿模块， 所述运动补偿摄像单元用于检测头部对所述监视屏的初始位置和当前位 置，所述运动补偿模块用于计算头部位置变化所带来的偏移量，并根据所 述偏移量对所述当前视线点进行运动补偿。
5. 如权利要求4所述的监控系统，其特征在于，所述运动补偿 摄像单元包括与头部联动设置的光源摄像头，所述光源摄像头用于摄取参 照点光源的图像。
6. 如权利要求2至5任意一项所述的监控系统，其特征在于，所 述视线跟踪设备还包括摄像支架，所述摄像支架包括用于固定在头部的固 定件，所述人眼摄像单元安装在所述摄像支架上能拍摄到至少一只人眼图 像的部位。
7. 如权利要求6所述的摄像装置，其特征在于，所述固定件为 眼镜架型结构，所述摄像支架还包括与所述固定件相连的支承件，所述支 承件具有延伸到人眼的前下方的支承端，所述人眼摄像单元安装在所述支 承端上，其摄像镜头朝向人眼。
8. 如权利要求6所述的摄像装置，其特征在于，还包括安装在 所述摄像支架上靠人眼外侧的部位、用于摄取头部相对于监视屏位置变化 信息的运动补偿摄像单元。
9. 一种监控方法，其特征在于，包括以下步骤 Al、设置参照点光源，并在监视屏上设定视线校准点；Bl、根据所述视线校准点检测人眼图像中与之相应的瞳孔中心点和所述参照点光源的反射点的初始校准位置，并建立起人眼与所述监视屏之间的位置关系矩阵；Cl、检测所述瞳孔中心点和所述反射点的当前位置；Dl、根据所述位置关系矩阵，计算出所述当前位置下人眼在所述监视屏上的当前视线点并确定其对准的目标。
10. 如权利要求9所述的监控方法，其特征在于，所述步骤B1还 包括检测头部对所述监视屏的初始位置，所述步骤Cl还包括检测头部对 所述监视屏的当前位置，所述步骤Dl中，所述当前视线点的计算包括根 据头部位置变化对所述反射点带来的偏移量进行运动补偿；所述步骤Dl后还包括以下步骤El、激活并操作所述当前视线点对准的目标。
全文摘要
本发明公开了一种监控系统，包括用于显示视频图像的监视屏、用于摄取并传输视频图像的被控监视设备、控制模块以及视频存储模块，控制模块用于根据操控指令控制被控监视设备的动作，视频存储模块用于记录视频图像并将视频图像提供给监视屏显示，还包括用于根据操作员视线判断人眼在监视屏上的当前视线点并输出相应于当前视线点的操控指令的视线跟踪设备，视线跟踪设备的输出端耦合到控制模块。本发明同时公开了该监控系统采用的监控方法。通过对监控人员视线的跟踪在监视屏上选定目标，能简化监控操作，提高监控效率。
文档编号H04N7/18GK101340562SQ20081006692
公开日2009年1月7日 申请日期2008年4月28日 优先权日2008年4月28日
发明者哲 赵, 晖 郑 申请人:安防科技(中国)有限公司