专利名称：网络视频智能监控系统及方法
技术领域：
本发明涉及视频监控应用领域，尤其涉及一种主动式网络视频智能监控系统及方法。
背景技术：
为了适应和谐社会的建设，我国的视频监控系统建设如火如荼，很多机构、企业都 花费了巨资构建了视频监控系统，然而现有的规模巨大的监控摄像机虽然能够提供其所监 控到的视频数据，但并未达到真正的视频监控目的。这是因为，这些大量的监控视频录像主 要用于事后追述，由于缺乏智能化的处理手段，这些监控点的视频信息得不到有效提取和 利用，对于海量的录像资料又缺乏有效的检索手段，尤其对于事前预警这种可以把一些重 大事件隐患抑制于萌芽之中的重要应用，现有的视频监控系统仍难以实现，因此视频监控 系统的智能化成为视频监控应用中重要的技术发展方向。 现有的视频监控平台技术中，尚未考虑到智能图像技术的融入，也未提供如何将 智能图像识别能力集成在视频监控系统的技术方案。如果能够提供一种将智能图像识别能 力集成在视频监控系统的方案，将会使得监控方式从被动式监控变为主动式监控，监控更 加有效。
发明内容
本发明的目的是提出一种网络视频智能监控系统及方法，能够使监控方式从被动 式监控变为主动式监控，并及时对一些具有潜在威胁的时间进行捕获和处理，使得监控更 加有效。 为实现上述目的，本发明提供了一种网络视频智能监控系统，包括网络视频监控 平台，还包括 智能图像识别单元(Intelligent Video Unit,简称IVU)，用于对所述网络视频监
控平台输入的视频信息进行识别，并根据识别结果选择相应的传输通道进行输出； 智能图像管理服务器(Intelligent Video Management,简称IVM)，用于对所述智
能图像识别单元的能力集和智能图像识别的策略进行管理，并提供与所述网络视频监控平 台之间的接口。 进一步的，所述网络视频监控平台具体包括 中心管理服务器(Central Management Server,简称CMS)，用于实现设备注册、信 令转发处理、设备控制、告警及信息和资源管理服务； 前端单元(Peripheral Unit，简称PU)，用于采集监控区域的视频信息； 网络录像单元(Network Record Unit,简称NRU)，用于存储接收到的视频信息，并
提供所述视频信息的管理及检索/回放； 视频转分发单元(Video Transfer and Distribute Unit,简称VTDU)，用于将包 括所述视频信息的视频流从所述前端单元转发或分发到所述网络录像单元以及客户端单兀。 进一步的，所述智能图像识别单元具体包括 图像识别模块，用于对所述网络视频监控平台输入的视频信息进行识别； 参数设置模块，用于根据所述智能图像管理服务器下发的智能分析业务参数进行
参数设置； 智能上报模块，用于根据识别结果选择相应的传输通道进行输出。 进一步的，所述智能图像管理服务器具体包括 能力管理模块，用于管理所述智能图像识别单元的能力信息； 策略管理模块，用于管理所述智能图像识别单元的智能识别策略； 监控平台接口 ，用于接收所述网络视频监控平台发出的能力或智能识别策略的查
询，并将查询结果反馈给所述网络视频监控平台，以及接收所述网络视频监控平台的智能
调用请求，将符合要求的智能图像识别单元的入口信息反馈给所述网络视频监控平台。 进一步的，所述网络视频监控平台还包括 数据分析平台(Data Analysis,简称DA)接口 ，用于向外部的数据分析平台发送 所述识别结果，并接收所述数据分析平台根据预先配置的数据分析算法和策略对识别结果 进行分析所得的分析结果而返回的报警信息。 为实现上述目的，本发明提供了一种网络视频智能监控方法，包括 网络视频监控平台向智能图像管理服务器发出智能调用请求； 所述智能图像管理服务器根据所述智能调用请求调度可用的智能图像识别单元，
并向所述可用的智能图像识别单元下发智能分析业务参数； 所述智能图像识别单元根据所述智能分析业务参数启动智能分析，并经由所述智 能图像管理服务器向所述网络视频监控平台返回表示启动成功的响应； 所述网络视频监控平台将需要智能识别的视频信息发送到所述智能图像识别单 元； 所述智能图像识别单元对所述视频信息进行识别，并根据识别结果选择相应的传
输通道向所述智能图像管理服务器和所述网络视频监控平台逐级上报。 进一步的，所述智能图像管理服务器根据所述智能调用请求调度可用的智能图像
识别单元，并向所述可用的智能图像识别单元下发智能分析业务参数的操作具体包括 所述智能图像管理服务器根据所述智能调用请求在所述智能图像管理服务器自
身管理的智能图像识别单元的能力集中调度可用的智能图像识别单元； 所述智能图像管理服务器根据所述智能调用请求选择智能图像识别的策略向所 述可用的智能图像识别单元下发与智能图像识别的策略对应的智能分析业务参数。
进一步的，在所述网络视频监控平台向智能图像管理服务器发出智能调用请求之 前，还包括 所述网络视频监控平台接收客户端单元发出的智能调用请求，并对所述客户端单 元进行鉴权，如果鉴权通过，则向智能图像管理服务器发出智能调用请求，否则向所述客户 端单元返回表示调用失败的响应。 进一步的，在所述网络视频监控平台向智能图像管理服务器发出智能调用请求之 前，还包括
所述网络视频监控平台符合触发条件时，向智能图像管理服务器发出智能调用请 求。 进一步的，所述根据识别结果选择相应的传输通道向所述智能图像管理服务器和
所述网络视频监控平台逐级上报的操作具体为 根据识别结果所属的种类选择相应的传输通道； 如果识别结果属于行为识别类，则选择报警通道向所述智能图像管理服务器和所 述网络视频监控平台逐级上报； 如果识别结果属于数据获取类，则通过数据通道向所述智能图像管理服务器和所 述网络视频监控平台逐级上报； 如果识别结构属于视频诊断类，则通过故障管理报警通道向所述智能图像管理服 务器和所述网络视频监控平台逐级上报。 基于上述技术方案，本发明利用IVM管理IVU的智能图像识别能力，并提供对外的 接口管理和调用，从而实现智能图像识别能力在监控平台的融入；本发明还利用IVU封装 智能图像识别算法对视频信息进行识别，并将识别结果作为系统的事件返回给监控系统， 从而有效利用系统原有的联动系统或数据分析系统，组合实现复杂应用。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发
明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中 图1为本发明网络视频智能监控系统的一实施例的结构示意图。
图2为本发明网络视频智能监控系统的一应用场景实例的示意图。 图3为本发明网络视频智能监控方法的一实施例的流程示意图。 图4为本发明网络视频智能监控方法的另一实施例的应用流程的信令示意图。 图5为本发明网络视频智能监控方法的方法的另一实施例的应用流程的信令示意图。
具体实施例方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 如图l所示，为本发明网络视频智能监控系统的一实施例的结构示意图。在本实
施例中，网络视频智能监控系统可以包括网络视频监控平台1、 IVU 2和IVM 3。其中网络
视频监控平台1可以采用现有的网络视频监控平台进行软件流程上的简单升级，就可以实
现本实施例中网络视频监控平台的功能，网络视频监控平台1的结构和功能将在后续进行
详细地描述。 IVU 2的主要负责对网络视频监控平台1输入的视频信息(视频信息主要指的 是视频、图片类的数据)进行识别，并根据识别结果选择相应的传输通道进行输出。被识 别的视频信息可以被分为几类信息，例如行为识别类、数据获取类以及视频诊断类等类别。 其中行为识别类信息包括例如越界检测、可疑遗留物检测、滞留检测、徘徊/游荡检测、逗 留检测、尾随检测、聚众检测、物品保全检测、目标移动侦测、逆行检测、火焰检测、烟雾检测 等，数据获取类包括例如流量统计、数量统计、车速检测、车牌识别、集装箱号识别、人脸识别等，视频诊断类例如包括视频质量不佳、摄像头遮盖检测、摄像头偏离预置位检测等。在 IVU 2中可以包括一个或多个智能分析算法，并可以进行算法的添加和删除，也可以对算法 中的一些参数和条件进行修改。 IVU 2可以具备自身能力集管理机制，在注册到IVM 3的过程中将自身的能力集 上报给IVM 3。 IVU 2的能力集可以包括所采用的一个或多个智能分析算法的名称、提供 商，还可以包括各种智能分析算法之间的制约关系。IVU 2可以根据IVM 3提供的智能分析 业务参数选择对应的智能分析算法，并设置相应的参数和条件。 各类识别结果可以在网络视频智能监控系统中发挥不同的作用，例如，行为识别 类信息在监控系统中作为报警输入新类型。数据获取类信息在监控系统中用于录像索引、 抓拍图片索引、智能PTZ、前端的字幕叠加等。 在IVU 2的一个具体实例中，可以具体包括图像识别模块、参数设置模块和智能 上报模块。其中，图像识别模块用于对网络视频监控平台l输入的视频信息进行识别。参 数设置模块用于根据IVM 3下发的智能分析业务参数进行参数设置。智能上报模块用于根 据识别结果选择相应的传输通道进行输出。 IVM 3主要负责对IVU 2的能力集和智能图像识别的策略进行管理，并提供与网 络视频监控平台1之间的接口 。 IVM 3可以通过SIP+XML协议对IVU 2进行控制。具体来 说，IVM 3可以接受IVU 2的能力集上报，对IVU 2的能力集保存，对IVU 2的能力集进行 管理，并提供调度所辖IVU 2的能力。IVM 3还可以支持各种用户智能图像识别的策略的配 置，保存并管理这些智能图像识别的策略。IVM 3还提供了与网络视频监控平台l之间的接 口 ，该接口可以用来接收网络视频监控平台1的IVU 2能力查询并提供反馈，接收网络视频 监控平台1的智能图像识别的策略的查询并提供反馈，以及接收网络视频监控平台1的智 能调用，并将IVU 2的入口信息反馈给网络视频监控平台1。 在IVM 3的一个具体实例中，可以具体包括能力管理模块、策略管理模块和监控 平台接口。其中能力管理模块用于管理IVU 2的能力信息。策略管理模块用于管理IVU 2 的智能识别策略。监控平台接口用于接收网络视频监控平台l发出的能力或智能识别策略 的查询，并将查询结果反馈给网络视频监控平台l，以及接收网络视频监控平台1的智能调 用请求，将符合要求的IVU 2的入口信息反馈给网络视频监控平台1。 如图2所示，为发明网络视频智能监控系统的一应用场景实例的示意图。在本 应用场景实例中，网络视频监控平台可以具体包括中心管理服务器CMS 11、前端单元PU 14、网络录像单元NRU 13和视频转分发单元VTDU 12。其中CMS 11用于实现设备注册、信 令转发处理、设备控制、告警及信息和资源管理服务。PU 14用于采集监控区域的视频信息。 NRU 13用于存储接收到的视频信息，并提供所述视频信息的管理及检索/回放。VTDU 12 用于将包括所述视频信息的视频流从PU 14转发或分发到NRU 13以及客户端单元CU 6。
IVM 3和IVU 2均可以通过HTTP+XML协议与网络视频监控平台1通信，IVU 2可 以通过RTP/RTCP协议从VTDU 12获取视频接口 。 在本应用场景实例中，还包括前端接入网关PAG 7是PU 14的接入网关，客户端接 入网关CAG 9是CU 6的接入单元。中心管理单元CCS 8起到接入处理服务器的作用。
在本发明中还可以利用第三方的数据分析平台DA 4对IVU 2输出的识别结果进 行分析处理。网络视频监控平台1通过数据分析平台接口将接收到的识别结果发送给DA4，DA 4接收网络视频监控平台l发出的识别结果，可以根据预先配置的数据分析算法和策 略对该识别结果进行分析，并根据分析结果向网络视频监控平台l返回报警信息。通过连 接外部DA 4的接口，本发明进一步的扩展了本发明的网络视频智能监控系统的监控能力。
如图3所示，为本发明网络视频智能监控方法的一实施例的流程示意图。在本实 施例中，网络视频智能监控流程包括以下步骤
步骤101、网络视频监控平台向IVM发出智能调用请求； 步骤102、 IVM根据智能调用请求调度可用的IVU，并向可用的IVU下发智能分析 业务参数； 步骤103、 IVU根据智能分析业务参数启动智能分析，并经由IVM向网络视频监控 平台返回表示启动成功的响应； 步骤104、网络视频监控平台将需要智能识别的视频信息发送到IVU ; 步骤105、 IVU对视频信息进行识别，并根据识别结果选择相应的传输通道向IVM
和网络视频监控平台逐级上报。 在本发明中的"智能图像识别"就是要充分挖掘抽取视频图像资源中的关键信息， 并利用这种信息为用户提供有价值的服务。通过本发明中的IVU+IVM+网络视频监控平台， 可以提高报警精确度，减少漏分析或者误分析的现象外，縮短响应时间，提高响应速度，形 成更为有效的现场数据，在安全威胁发生之前就能够提示安全人员关注相关监控画面，为 潜在威胁做好准备工作。 本实施例利用IVM管理IVU的智能图像识别能力，并提供对外的接口管理和调用， 从而实现智能图像识别能力在监控平台的融入；本发明还利用IVU封装智能图像识别算法 对视频信息进行识别，并将识别结果作为系统的事件返回给监控系统，从而有效利用系统 原有的联动系统或数据分析系统，组合实现复杂应用。相比传统视频监控系统，采用智能视 频分析业务具备以下优势 1、计算机自动检测和分析，对违反规则的行为示警，并实时分析处理，真正实现了 7 * 24全天候实时监控； 2、使闭路电视监控系统，不仅有眼睛，而且有大脑。及时提醒工作人员，提升监控 效率和工作质量，更大地发挥监控的威力与功能； 3、海量的录像数据难以查看。使用智能系统，可以对视频进行基于事件的检索，只 看有事件发生的视频，大大提高了数据使用效率。 有了"智能图像识别"这个灵敏的"大脑"，系统就能迅速的对一些具有潜在威胁的 事件进行捕获，并可通过一连串的智能化联动对事件作出处理，从而有效抑制人作为行为 主体所引发的一系列问题，实现真正意义上的全天候智能监控。 如图4所示，为本发明网络视频智能监控方法的另一实施例的应用流程的信令示 意图。本实施例的应用流程包括 步骤201，网络视频监控平台的CMS需要通过触发条件进行是否智能调用的判断， 触发条件可以包括定时、联动等。 步骤202、CMS在满足了触发条件后，向IVM发起智能调用请求，在请求中可以同步 携带用户信息。 步骤2Q3、 IVM利用自身管理的IVU能力集，根据智能调用请求选择可用的IVU进行调用。 步骤204、 IVM向可用的IVU下发智能调用请求相应的智能分析业务参数。 步骤205、 IVU根据智能分析业务参数启动智能分析，并向IVM返回表示启动成功
的响应。 步骤206、 IVM将该表示启动成功的响应转发给网络视频监控平台的CMS。 步骤207 、 CMS向VTDU/NRU/PU发出媒体请求。 步骤208、 VTDU/NRU/PU根据该媒体请求向IVU发出视频RTP流。 步骤209、 IVU对接收到的视频RTP流中的视频信息进行识别。 步骤210、 IVU向IVM发出表示智能分析开始的通知消息。 步骤211、 IVM将表示智能分析开始的通知消息转发给网络视频监控平台的CMS。
步骤212、 IVU根据识别结果选择相应的输出通道上报到IVM。
步骤213、 IVM将识别结果转发给网络视频监控平台的CMS。 在本实施例中，CMS可以根据触发条件启动网络视频智能监控，除此之外，本发明 还提供了 CMS根据接收的CU的智能调用请求来启动网络视频智能监控的流程，具体如图5 所示，包括 步骤301、 CU向CMS发出智能调用请求。 步骤302、 CMS对CU发出的智能调用请求进行鉴权，如果鉴权失败，则执行步骤 303，否则执行步骤304。 步骤303、 CMS向CU返回表示调用失败的反馈消息。在反馈消息中还可以包括失 败原因，CU可以重新提出智能调用请求。 步骤304 步骤313与上一应用实例的步骤202 211近似，这里就不赘述了，在 步骤313之后，还包括以下步骤 步骤314、网络视频监控平台的CMS将将表示智能分析开始的通知消息转发给CU。
步骤315、 IVU根据识别结果选择相应的输出通道上报到IVM。
步骤316、 IVM将识别结果转发给网络视频监控平台的CMS。
步骤317、 CMS将识别结果转发给CU。 本实施例利用IVM管理IVU的智能图像识别能力，并提供对外的接口管理和调用， 从而实现智能图像识别能力在监控平台的融入；本发明还利用IVU封装智能图像识别算法 对视频信息进行识别，并将识别结果作为系统的事件返回给监控系统，从而有效利用系统 原有的联动系统或数据分析系统，组合实现复杂应用。 最后应当说明的是以上实施例仅用以说明本发明的技术方案而非对其限制；尽 管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解依然 可以对本发明的具体实施方式
进行修改或者对部分技术特征进行等同替换；而不脱离本发 明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
权利要求
一种网络视频智能监控系统，包括网络视频监控平台，其特征在于，还包括智能图像识别单元，用于对所述网络视频监控平台输入的视频信息进行识别，并根据识别结果选择相应的传输通道进行输出；智能图像管理服务器，用于对所述智能图像识别单元的能力集和智能图像识别的策略进行管理，并提供与所述网络视频监控平台之间的接口。
2. 根据权利要求1所述的网络视频智能监控系统，其特征在于，所述网络视频监控平 台具体包括中心管理服务器，用于实现设备注册、信令转发处理、设备控制、告警及信息和资源管 理服务；前端单元，用于采集监控区域的视频信息；网络录像单元，用于存储接收到的视频信息，并提供所述视频信息的管理及检索/回放；视频转分发单元，用于将包括所述视频信息的视频流从所述前端单元转发或分发到所 述网络录像单元以及客户端单元。
3. 根据权利要求1所述的网络视频智能监控系统，其特征在于，所述智能图像识别单 元具体包括图像识别模块，用于对所述网络视频监控平台输入的视频信息进行识别； 参数设置模块，用于根据所述智能图像管理服务器下发的智能分析业务参数进行参数 设置；智能上报模块，用于根据识别结果选择相应的传输通道进行输出。
4. 根据权利要求1所述的网络视频智能监控系统，其特征在于，所述智能图像管理服 务器具体包括能力管理模块，用于管理所述智能图像识别单元的能力信息； 策略管理模块，用于管理所述智能图像识别单元的智能识别策略；监控平台接口，用于接收所述网络视频监控平台发出的能力或智能识别策略的查询， 并将查询结果反馈给所述网络视频监控平台，以及接收所述网络视频监控平台的智能调用 请求，将符合要求的智能图像识别单元的入口信息反馈给所述网络视频监控平台。
5. 根据权利要求1所述的网络视频智能监控系统，其特征在于，所述网络视频监控平 台还包括数据分析平台接口，用于向外部的数据分析平台发送所述识别结果，并接收所述数据 分析平台根据预先配置的数据分析算法和策略对识别结果进行分析所得的分析结果而返 回的报警信息。
6. —种网络视频智能监控方法，其特征在于，包括 网络视频监控平台向智能图像管理服务器发出智能调用请求；所述智能图像管理服务器根据所述智能调用请求调度可用的智能图像识别单元，并向 所述可用的智能图像识别单元下发智能分析业务参数；所述智能图像识别单元根据所述智能分析业务参数启动智能分析，并经由所述智能图 像管理服务器向所述网络视频监控平台返回表示启动成功的响应；所述网络视频监控平台将需要智能识别的视频信息发送到所述智能图像识别单元；所述智能图像识别单元对所述视频信息进行识别，并根据识别结果选择相应的传输通 道向所述智能图像管理服务器和所述网络视频监控平台逐级上报。
7. 根据权利要求6所述的网络视频智能监控方法，其特征在于，所述智能图像管理服 务器根据所述智能调用请求调度可用的智能图像识别单元，并向所述可用的智能图像识别 单元下发智能分析业务参数的操作具体包括所述智能图像管理服务器根据所述智能调用请求在所述智能图像管理服务器自身管 理的智能图像识别单元的能力集中调度可用的智能图像识别单元；所述智能图像管理服务器根据所述智能调用请求选择智能图像识别的策略向所述可 用的智能图像识别单元下发与智能图像识别的策略对应的智能分析业务参数。
8. 根据权利要求6所述的网络视频智能监控方法，其特征在于，在所述网络视频监控 平台向智能图像管理服务器发出智能调用请求之前，还包括所述网络视频监控平台接收客户端单元发出的智能调用请求，并对所述客户端单元进 行鉴权，如果鉴权通过，则向智能图像管理服务器发出智能调用请求，否则向所述客户端单 元返回表示调用失败的响应。
9. 根据权利要求6所述的网络视频智能监控方法，其特征在于，在所述网络视频监控 平台向智能图像管理服务器发出智能调用请求之前，还包括所述网络视频监控平台符合触发条件时，向智能图像管理服务器发出智能调用请求。
10. 根据权利要求6所述的网络视频智能监控方法，其特征在于，所述根据识别结果选 择相应的传输通道向所述智能图像管理服务器和所述网络视频监控平台逐级上报的操作 具体为根据识别结果所属的种类选择相应的传输通道；如果识别结果属于行为识别类，则选择报警通道向所述智能图像管理服务器和所述网 络视频监控平台逐级上报；如果识别结果属于数据获取类，则通过数据通道向所述智能图像管理服务器和所述网 络视频监控平台逐级上报；如果识别结构属于视频诊断类，则通过故障管理报警通道向所述智能图像管理服务器 和所述网络视频监控平台逐级上报。
全文摘要
本发明涉及一种网络视频智能监控系统，包括网络视频监控平台，还包括IVU，用于对网络视频监控平台输入的视频信息进行识别，并根据识别结果选择相应的传输通道进行输出；IVM，用于对IVU的能力集和智能图像识别的策略进行管理，并提供与网络视频监控平台之间的接口。本发明还设计一种网络视频智能监控方法。本实施例利用IVM管理IVU的智能图像识别能力，并提供对外的接口管理和调用，从而实现智能图像识别能力在监控平台的融入；本发明还利用IVU封装智能图像识别算法对视频信息进行识别，并将识别结果作为系统的事件返回给监控系统，从而有效利用系统原有的联动系统或数据分析系统，组合实现复杂应用。
文档编号H04L12/28GK101702771SQ200910178348
公开日2010年5月5日 申请日期2009年11月6日 优先权日2009年11月6日
发明者张艳霞, 曹宁, 梁笃国, 邓涛, 郑泽民 申请人:中国电信股份有限公司