专利名称：视频检索方法、系统、设备及视频存储方法、系统的制作方法
技术领域：
本发明涉及视频监控技术领域，具体涉及视频检索方法、系统、设备及视频存储方
法、系统。
背景技术：
随着多媒体技术和网络技术的飞速发展，视频监控技术在安防的各个领域得到广 泛的应用。对这些海量的而且包含大量非结构化信息的监控视频数据进行组织、表达、管 理、查询和检索成为迫切的需求。因此，监控视频的智能视频检索技术成为近年来安防领域 的重要研究课题之一。 现有技术在进行视频内容回查检索的时候，多采用人工手动回查的方式，也即采 用播放所保存的视频，并对视频进行人工判断，这种回查方式效率低下且容易出现疏漏。人 工手动回查时，视频播放的速度不能太快，否则目标物体很可能一闪即过而不被注意到，因 此一段10小时的视频，正常速度从头到尾进行回查的话就需要10个小时左右，而很可能有 意义的视频内容只有几秒钟或者几十秒钟，因此效率十分低下。而且对于人工回查，回查人 员长时间地观看视频过程中，注意力不能保持长时间集中，很容易产生疲劳，因此即便是按 正常速度回查，也很可能出现疏漏而错过相关信息。 另外，现有的视频监控系统在存储视频图像时，一般是将摄像头所采集到的视频 实时、完整地保存在数据库中，以备后续回查等应用，但这需要较大的存储空间。 一般情况 下，监控视频中绝大部分(通常情况下80%左右)数据都是只包含监控场景的数据，这些数 据对于安防毫无意义。如果把所有的监控数据都保存下来，就会占用大量的硬盘空间，导致 数据爆炸的后果。假设视频图像为320X240的彩色图像，采用MPG4的编码方式，压縮率为 5%，则保存一天的视频所需的存储空间至少20G。
发明内容
本发明提供视频检索方法、系统及设备，以提高视频检索效率；
本发明还提供视频存储方法及系统，以减少视频存储空间的占用。
本发明的技术方案是这样实现的
—种视频检索方法，包括 对视频序列进行运动检测和跟踪，若发现视频图像中存在危险事件，则记录该危 险事件的描述信息，该危险事件描述信息中至少包含存在危险事件的图像标识；
当要检索存在危险事件的视频图像时，接收检索条件，将检索条件与记录的危险 事件描述信息匹配，若匹配上，则根据危险事件描述信息中的图像标识，从视频存储设备获 取视频图像，并将视频图像显示给用户。 所述危险事件为入侵事件，和/或逆行事件，和/或多人聚集事件，和/或危险物 遗留事件，和/或违规停车事件，和/或贵重物体丢失事件。 所述危险事件描述信息进一步包括危险事件类型、发生位置、发生时刻、持续时
4长中的一种或任意组合。 所述发现视频图像中存在危险事件之后进一步包括对危险事件中的运动物体进 行类型，和/或身份，和/或特征检测， 所述危险事件描述信息进一步包括危险事件中的运动物体的类型、位置、身份、 特征、出现时刻、持续时长中的一种或任意组合。 所述检索条件包含查询时段、危险事件的类型、发生位置、发生时刻、持续时长中 的一种或任意组合， 和/或，危险事件中的运动物体的类型、位置、身份、特征、出现时刻、持续时长中 的一种或任意组合。
所述运动物体的类型为人脸，或人体，或车辆， 所述运动物体的特征为人体的体形，或人体的衣服颜色、或人体的性别，或车辆 的型号，或车辆的颜色。 所述方法进一步包括为每类危险事件选择一帧最具代表性的图像，将该图像标 识记录在该危险事件的描述信息中。 所述最具代表性的图像为运动物体面积最大的图像或运动物体最靠近预设目标 区域的图像。 —种视频检索系统，包括 视频分析设备，对视频序列进行运动检测和跟踪，若发现视频图像中存在危险事 件，则将危险事件描述信息发送给视频检索设备，危险事件描述信息至少包含存在危险事 件的图像标识； 视频检索设备，存储危险事件描述信息；接收检索条件，将检索条件与各危险事件 描述信息匹配，若匹配上，则将危险事件描述信息中的图像标识显示给用户，或者，根据危 险事件描述信息中的图像标识，从视频存储设备获取视频图像，并将视频图像显示给用户。
所述视频分析设备包括 危险事件检测模块，对视频序列进行运动检测和跟踪，对于每帧视频图像，若发现 该帧视频图像中存在危险事件，则将危险事件描述信息发送给运动物体分析模块；
运动物体分析模块，接收危险事件描述信息，对危险事件中的运动物体进行检测， 将检测结果记录在危险事件描述信息中，将危险事件描述信息发送给视频检索设备。
—种视频检索设备，包括 危险事件描述模块，存储危险事件描述信息，该信息至少包含存在危险事件的图 像标识； 检索模块，接收检索条件，将该检索条件与危险事件描述模块中的各危险事件描 述信息匹配，若匹配上，则将危险事件描述信息中的图像标识显示给用户，或者，根据危险 事件描述信息中的图像标识，从视频存储设备获取视频图像，并将视频图像显示给用户。
—种视频存储方法，包括 对视频序列进行运动检测和跟踪，对于每帧视频图像，根据检测和跟踪结果以及 预设的危险事件触发规则，判断该帧图像中是否存在危险事件，若是，则存储该视频图像； 否则，丢弃该帧视频图像。 所述危险事件为入侵事件，和/或逆行事件，和/或多人聚集事件，和/或危险物遗留事件，和/或违规停车事件，和/或贵重物体丢失事件。
—种视频存储系统，包括 视频分析设备，对视频序列进行运动检测和跟踪，对于每帧视频图像，根据检测和 跟踪结果以及预设的危险事件触发规则，判断该帧图像中是否存在危险事件，若是，将该帧 视频图像存储到存储设备上；否则，丢弃该帧视频图像；
存储设备，存储存在危险事件的视频图像。 与现有技术相比，本发明中，对视频序列进行运动检测和跟踪，若发现视频图像中 存在危险事件，则记录该危险事件的描述信息，该危险事件描述信息中至少包含存在危险 事件的图像标识；当要检索存在危险事件的视频图像时，接收检索条件，将检索条件与记录 的危险事件描述信息匹配，若匹配上，则根据危险事件描述信息中的图像标识，从视频存储 设备获取视频图像，并将视频图像显示给用户。本发明减少了人工的参与，降低了检索工作 量，且加快了检索速度、提高了检索精确度。 另外，本发明只将存在危险事件的视频存储，这样不仅保存了有效视频，且大大节 省了存储空间。
图1为本发明实施例提供的在视频图像中检测危险事件的流程图； 图2为本发明实施例提供的检索存在危险事件的视频图像的流程图； 图3为本发明实施例提供的视频检索系统的组成图； 图4为本发明实施例提供的视频分析设备的结构示意图； 图5为本发明实施例提供的视频检索设备的结构示意图； 图6为本发明实施例提供的视频存储系统的组成图。
具体实施例方式
本发明的基本思想是对每帧视频图像进行危险事件检测，并记录危险事件描述 信息；当用户要检索存在危险事件的视频图像时，输入检索条件，视频检索设备先将检索条 件与各危险事件描述信息匹配，若匹配上，再根据危险事件描述信息找到存在危险事件的 视频图像，将视频图像显示给用户。 本发明还可只存储存在危险事件的视频图像，以节省存储空间。
下面结合附图及具体实施例对本发明再作进一步详细的说明。 图l为本发明实施例提供的在视频图像中检测危险事件的流程图，如图l所示，其 具体步骤如下 步骤100 :预先设置危险事件触发规则。
步骤101 :摄像头采集监控场景下的视频图像。
对每帧视频图像进行如下步骤102 108的处理
步骤102 :对该帧视频图像进行运动检测与跟踪。
步骤103 :判断是否检测到运动物体，若是，执行步骤104 ;否则，本流程结束。
步骤104 :记录各运动物体的运动信息如位置、尺寸、速度、运动轨迹等。 通常每个运动物体以一个矩形框标定，则运动物体的位置可以运动物体的左上端点和右下端点坐标来表示；运动物体的尺寸可以矩形框的面积表示；运动物体的运动轨迹
可以运动物体在连续帧中的中心点连线表示。 本步骤可采用现有技术实现。 步骤105 :根据运动物体的运动信息和预先设置的危险事件触发规则，判断当前 帧图像中是否存在危险事件，若是，执行步骤106 ;否则，不作处理，本流程结束。
对于不同类型的危险事件其触发规则不同，例如
—、危险事件为入侵。
触发规则可为若进入预设警戒区域内的运动物体的面积与运动物体总面积的比
值大于预设百分比，则确定入侵事件发生。
二、危险事件为逆行。 触发规则可为若有运动物体的运动方向与预设运动正向的夹角位于预设范围之 外，则确定逆行事件发生。
在实际应用中，由于运动物体的速度可由幅度和角度两个参数表示，因此，可由速 度的角度来确定运动物体是否发生了逆行若速度的角度与预设运动正向的夹角在预设范 围之外，则确认该运动物体发生逆行。
三、危险事件为多人聚集。 触发规则可为若在一个区域内人体的数量大于预设数目，则确认多人聚集事件 发生。
四、危险事件为危险物遗留。
触发规则可为若一个运动物体从某一时刻起静止，且静止状态持续时长超过预 定时长，则确定有危险物遗留事件发生。
五、危险事件为违规停车事件。
触发规则可为若预设禁止停车区域发现车辆，则确定违规停车事件发生。
六、危险事件为贵重物体丢失。 触发规则可为若预设贵重物体所在区域的像素值发生变化，且变化持续时长超 过预定时长，则确认有贵重物体丢失事件发生。 步骤106 :判断该危险事件是否为新发生事件，若是，执行步骤107 ;否则，执行步 骤108。 步骤107 :记录该危险事件的描述信息如该危险事件的类型、发生时刻、持续时 长、发生位置等，本流程结束。 进一步地，危险事件的描述信息还可包括危险事件中的每个运动物体的描述信 息如位置、出现时刻、持续时长等。此时，若危险事件中有新的运动物体出现，就需在危险 事件描述信息中增加该运动物体的描述信息；对于已存在的运动物体，则需更新危险事件 描述信息中该运动物体的描述信息。 运动物体的位置可以运动物体的中心点表示，或者以运动物体的外框如左上端 点和右下端点表示。
步骤108 :更新已记录的该危险事件的描述信息，如该危险事件的持续时长、发
生位置等。
例如若危险事件为入侵，且该危险事件已存在于之前帧中，则当前帧只需更新持续时长即可。 在实际应用中，步骤105中，在判定当前帧存在危险事件后，还可进一步对危险事 件中的每个运动物体进行类型检测如人脸、人体、车辆检测，并在危险事件描述信息中记 录各运动物体的类型信息。 同时，在确定运动物体的类型之后，还可进一步识别各运动物体的身份，并在危险 事件描述信息中记录各运动物体的身份。例如若一个运动物体为人脸，则将该运动物体与 人脸数据库中的各人脸匹配，以确认该运动物体的身份；若一个运动物体为车辆，则可识别 该车辆的车牌号码。 另外，在确定运动物体的类型之后，还可进一步提取各运动物体的特征，并在危险 事件描述信息中记录各运动物体的特征信息。例如若一个运动物体为人体，则可提取该人 体的体形特征如高矮胖瘦、衣服的颜色、性别等；若一个运动物体为车辆，则可提取该车 辆的车型、颜色等特征。 在实际应用中，还可为每类危险事件选择一帧最具代表性的图像，例如可在存在 该危险事件的视频片段中，选择一帧包含运动物体面积最大的图像，或者选择一帧运动物 体最靠近预设目标区域的图像作为最具代表性的图像，在危险事件描述信息中记录该最具 代表性图像的标识如帧序号、接收时刻等。
在实际应用中，步骤105中，在判定当前帧存在危险事件后，可保存当前帧图像，
而对于不存在危险事件的视频图像则不保存，这样，可以大大节省存储空间。
图2为本发明实施例提供的检索存在危险事件的视频图像的流程图，如图2所示，
其具体步骤如下 步骤201 :用户要检索存在危险事件的视频图像，向视频检索设备输入检索条件。
当危险事件多于一类时，该检索条件至少包含危险事件的类型，还可包含该 危险事件的其它描述信息中的一种或任意组合，还可包含查询时段，例如逆行+车辆 +08/12/01 8:00-20:00，即要检索08年12月1日8:00-20:00之间发生了逆行事件且逆行 对象为车辆的视频图像，或者入侵+人脸+张三，即要检索发生了入侵事件且入侵区域包 含张三的脸的视频图像。 步骤202 :视频检索设备接收检索条件，将该检索条件与记录的各危险事件描述 信息依次匹配。 步骤203 :视频检索设备判断是否匹配上，若是，执行步骤205 ;否则，执行步骤 204。 步骤204 :输出"无符合检索条件的视频"的字样给用户，本流程结束。
步骤205 :视频检索设备根据匹配的危险事件描述信息中的图像标识如发生时
刻、持续时长等，在视频存储设备中查找视频，将查找到的视频显示给用户。 若视频检索设备不与视频存储设备相连，则视频检索设备可以只将危险事件描述
信息中的图像标识显示给用户，用户根据图像标识如发生时刻、持续时长等，从视频存储
设备获取视频图像。 若检索条件中除了包含危险事件类型外，还包含查询时段，则视频检索设备在将 检索条件与各危险事件描述信息匹配时，会首先将检索条件中的危险事件类型与危险事件 描述信息中的危险事件类型匹配，若匹配上，则判断危险事件描述信息中的发生时刻是否位于查询时段内，若位于，则判断危险事件描述信息中的发生时刻+持续时长所得时刻是 否在查询时段外，若是，则将发生时刻至查询时段的结束时刻之间的视频显示给用户；否 则，将发生时刻至发生时刻+持续时长所得时刻之间的视频显示给用户。 当危险事件描述信息中包含最具代表性图像标识时，用户可在检索条件中设置 "要求输出最具代表性图像"项目，视频检索设备接收到检索条件后，发现该项目，则从危险 事件描述信息中获取最具代表性图像标识，然后从视频存储设备获取该最具代表性图像显 示给用户。 在实际应用中，用户可同时输入多组检索条件，视频检索设备可顺序将各组检索 条件对应的视频显示给用户。 图3为本发明实施例提供的视频检索系统的组成图，如图3所示，其主要包括视 频分析设备31和视频检索设备32，其中 视频分析设备31 :接收视频序列，对视频序列进行运动检测和跟踪，若发现视频 图像中存在危险事件，则将危险事件描述信息发送给视频检索设备32，危险事件描述信息 至少包含存在危险事件的图像标识。 视频检索设备32 :存储视频分析设备31发来的危险事件描述信息；接收用户输入 的检索条件，将检索条件与各危险事件描述信息匹配，若匹配上，则将危险事件描述信息中 的图像标识显示给用户，或者，根据危险事件描述信息中的图像标识，从视频存储设备获取 视频图像，并将视频图像显示给用户。 在实际应用中，如图4所示，视频分析设备31可包括危险事件检测模块311和运 动物体分析模块312，其中 危险事件检测模块311 :接收视频序列，对视频序列进行运动检测和跟踪，对于每 帧视频图像，若发现该帧视频图像中存在危险事件，则将危险事件描述信息发送给运动物 体分析模块312。 运动物体分析模块312 :接收危险事件检测模块311发来的危险事件描述信息，对 危险事件中的运动物体进行检测，将检测结果记录在危险事件描述信息中，将危险事件描 述信息发送给视频检索设备32。 图5为视频检索设备32的结构示意图，如图5所示，其主要包括危险事件描述模 块321和检索模块322，其中 危险事件描述模块321 :存储视频分析设备31发来的危险事件描述信息，该信息 至少包含存在危险事件的图像标识。 检索模块322 :接收用户输入的检索条件，将该检索条件与危险事件描述模块321 中的各危险事件描述信息匹配，若匹配上，则将危险事件描述信息中的图像标识显示给用 户，或者，根据危险事件描述信息中的图像标识，从视频存储设备获取视频图像，并将视频 图像显示给用户。 图6为本发明实施例提供的视频存储系统的组成图，如图6所示，其主要包括视 频分析设备61和存储设备62，其中 视频分析设备61 :接收视频序列，对视频序列进行运动检测和跟踪，对于每帧视 频图像，根据检测和跟踪结果以及预设的危险事件触发规则，判断该帧图像中是否存在危 险事件，若是，将该帧视频图像存储到存储设备62上；否则，丢弃该帧视频图像。
存储设备62 :存储存在危险事件的视频图像。 以上所述仅为本发明的过程及方法实施例，并不用以限制本发明，凡在本发明的 精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
一种视频检索方法，其特征在于，该方法包括对视频序列进行运动检测和跟踪，若发现视频图像中存在危险事件，则记录该危险事件的描述信息，该危险事件描述信息中至少包含存在危险事件的图像标识；当要检索存在危险事件的视频图像时，接收检索条件，将检索条件与记录的危险事件描述信息匹配，若匹配上，则根据危险事件描述信息中的图像标识，从视频存储设备获取视频图像，并将视频图像显示给用户。
2. 如权利要求1所述的方法，其特征在于，所述危险事件为入侵事件，和/或逆行事 件，和/或多人聚集事件，和/或危险物遗留事件，和/或违规停车事件，和/或贵重物体丢 失事件。
3. 如权利要求1所述的方法，其特征在于，所述危险事件描述信息进一步包括危险事 件类型、发生位置、发生时刻、持续时长中的一种或任意组合。
4. 如权利要求1所述的方法，其特征在于，所述发现视频图像中存在危险事件之后进 一步包括对危险事件中的运动物体进行类型，和/或身份，和/或特征检测，所述危险事件描述信息进一步包括危险事件中的运动物体的类型、位置、身份、特征、 出现时刻、持续时长中的一种或任意组合。
5. 如权利要求1所述的方法，其特征在于，所述检索条件包含查询时段、危险事件的 类型、发生位置、发生时刻、持续时长中的一种或任意组合，和/或，危险事件中的运动物体的类型、位置、身份、特征、出现时刻、持续时长中的一 种或任意组合。
6. 如权利要求5所述的方法，其特征在于，所述运动物体的类型为人脸，或人体，或车辆，所述运动物体的特征为人体的体形，或人体的衣服颜色、或人体的性别，或车辆的型 号，或车辆的颜色。
7. 如权利要求l所述的方法，其特征在于，所述方法进一步包括为每类危险事件选择 一帧最具代表性的图像，将该图像标识记录在该危险事件的描述信息中。
8. 如权利要求7所述的方法，其特征在于，所述最具代表性的图像为运动物体面积最 大的图像或运动物体最靠近预设目标区域的图像。
9. 一种视频检索系统，其特征在于，包括视频分析设备，对视频序列进行运动检测和跟踪，若发现视频图像中存在危险事件，则 将危险事件描述信息发送给视频检索设备，危险事件描述信息至少包含存在危险事件的 图像标识；视频检索设备，存储危险事件描述信息；接收检索条件，将检索条件与各危险事件描述 信息匹配，若匹配上，则将危险事件描述信息中的图像标识显示给用户，或者，根据危险事 件描述信息中的图像标识，从视频存储设备获取视频图像，并将视频图像显示给用户。
10. 如权利要求9所述的系统，其特征在于，所述视频分析设备包括 危险事件检测模块，对视频序列进行运动检测和跟踪，对于每帧视频图像，若发现该帧视频图像中存在危险事件，则将危险事件描述信息发送给运动物体分析模块；运动物体分析模块，接收危险事件描述信息，对危险事件中的运动物体进行检测，将检 测结果记录在危险事件描述信息中，将危险事件描述信息发送给视频检索设备。
11. 一种视频检索设备，其特征在于，包括危险事件描述模块，存储危险事件描述信息，该信息至少包含存在危险事件的图像标识；检索模块，接收检索条件，将该检索条件与危险事件描述模块中的各危险事件描述信 息匹配，若匹配上，则将危险事件描述信息中的图像标识显示给用户，或者，根据危险事件 描述信息中的图像标识，从视频存储设备获取视频图像，并将视频图像显示给用户。
12. —种视频存储方法，其特征在于，该方法包括对视频序列进行运动检测和跟踪，对于每帧视频图像，根据检测和跟踪结果以及预设 的危险事件触发规则，判断该帧图像中是否存在危险事件，若是，则存储该视频图像；否则， 丢弃该帧视频图像。
13. 如权利要求12所述的方法，其特征在于，所述危险事件为入侵事件，和/或逆行事 件，和/或多人聚集事件，和/或危险物遗留事件，和/或违规停车事件，和/或贵重物体丢 失事件。
14. 一种视频存储系统，其特征在于，包括视频分析设备，对视频序列进行运动检测和跟踪，对于每帧视频图像，根据检测和跟踪 结果以及预设的危险事件触发规则，判断该帧图像中是否存在危险事件，若是，将该帧视频 图像存储到存储设备上；否则，丢弃该帧视频图像；存储设备，存储存在危险事件的视频图像。
全文摘要
本发明公开了视频检索方法、系统、设备及视频存储方法、系统。视频检索方法包括对视频序列进行运动检测和跟踪，若发现视频图像中存在危险事件，则记录该危险事件的描述信息，该危险事件描述信息中至少包含存在危险事件的图像标识；当要检索存在危险事件的视频图像时，接收检索条件，将检索条件与记录的危险事件描述信息匹配，若匹配上，则根据危险事件描述信息中的图像标识，从视频存储设备获取视频图像，并将视频图像显示给用户。本发明提高了视频检索效率。另外，本发明只保存存在危险事件的视频图像，节省了存储空间。
文档编号G06F17/30GK101763388SQ20081024105
公开日2010年6月30日 申请日期2008年12月25日 优先权日2008年12月25日
发明者王磊, 高飞, 黄英 申请人:北京中星微电子有限公司