专利名称：音视频智能分析终端的制作方法
技术领域：
本发明音视频智能分析终端涉及到一种音视频监控系统中视频智能分析技 术，特别是一种在监控终端实现视频智能分析和数据传输技术的技术方案。
背景技术：
当前，各种各样的视频监控报警系统已经在实际生活中得到了广泛的应用。 从视频智能分析角度划分，现有视频监控报警系统可分为非智能型和智能型两 类
(1)非智能型视频监控系统即有专人值守的视频监控报警系统。这种系统 无论是有线视频监控，还是无线视频监控，都必须时刻有人值守在监控中心，通 过观察来分析视频监控内容，根据监控内容人为地做出报警响应。因此，这种方 式不仅浪费人力而且还有可能由于人为失误造成报警不及时而产生各种安全隐 患。
"(2)智能型视频监控报警系统则是一种可无人值守的系统。这类系统的实 现有两种方式 一是在视频采集终端加入相关的视频内容智能分析单元；二是在 监控中心采用专用的视频分析软硬件。系统通过这两种方式来实现对视频内容的 智能化分析，根据分析结果自动发出报警信号。这两种方式中，前者将终端所发 出的报警信号与视频信号以同一种传输方式或在同一线路中向监控中心传输的。 这样不仅会增加传输线路的传输压力，而且一旦视频信号传输中断，则相应的报 警信息也将被丢失，系统的可靠性得不到保证。而后者增加了监控中心的数据处 理压力，对系统的可靠运行造成了隐患。
发明内容
本发明音视频智能分析终端，目的在于针对以上现有视频监控报警系统存 在的不足，提出一种将音视频数据和报警信息分两路输出的音视频智能分析终端 的技术方案。
本发明音视频智能分析终端，其特征在于是一种同时输出叠加了报警信息的 音视频码流和报警信息两种数据的音视频智能分析终端，且报警信息由本系统自 定义报警信息协议封装，该终端由视频采集模块l、音频采集模块2、音视频同 步模块3、视频分析模块4、 OSD模块5、音视频编码模块6、音视频输出模块7、 报警信息输出模块8组成，所述的视频采集模块1和音频采集模块2的前端分别 与摄像头和麦克风相连，后端与音视频同步模块3相连；所述的音视频同步模块 3包含两个输入端和两个输出端，两个输入端分别与视频采集模块1和音频采集 模块2相连，两个输出端分别与视频分析模块4和OSD模块5相连；所述的视 频分析模块4由ARM处理器、DSP处理器和DDR存储器为主要组成部分的视 频分析单元和输入输出接口电路组成，输入输出接口电路由一个输入端和两个输 出端组成，输入端与音视频同步模块3相连，输出端分别与OSD模块5和报警 信息输出模块8相连；所述的OSD模块5由ROM、时钟震荡器、字符控制器和 输入输出接口电路组成，输入输出接口电路包含两个输入端和一个输出端，输入 端分别与音视频同步模块3和视频分析模块4相连，输出端与音视频编码模块6 相连；所述的音视频编码模块6主要由DSP处理器、DDR存储器和输入输出接 口电路组成，输入输出接口电路的输入端与OSD模块5相连，输出端与音视频输出模块7相连；所述的音视频输出模块7由以太网控制器和射频接口或以太网 接口之一组成，以太网控制器和音视频编码模块6相连；所述的报警信息输出模 块8由以太网控制器和射频接口或以太网接口之一组成，以太网控制器和视频分 析模块4相连。
所述的报警信息用TCP协议封装后独立输出；音视频码流叠加报警信息后
任选择H.264、 MPEG-4或AVS三种视频编码格式之一和G.721、 G.728、 G.729
或AAC四种音频编码格式之一进行编码，编码后的码流用UDP协议封装后独 立输出。
所述的本系统自定义报警信息协议由协议首部包和附加数据包两部分组成， 协议首部包含序号、事件类型ID、时间、摄像头编号、附加数据格式、附加数 据长度和协议首部校验和字段，附加数据包含媒体数据和附加数据校验和两个字 段，每个字段都采用二进制编码，上述除媒体数据字段以外所有字段的长度都固 定，序号字段为递增或递减的数字，事件类型ID字段用于区分奔跑、逗留、聚 集、摔跤、跨线、超速、丢弃物品、失火、烟雾、液体溢出、墙体倒塌或物品移 动事件，时间字段为事件发生的时间，摄像头编号字段用于确定事件发生的地点， 附加数据格式字段为包括文字、数据、图片、音频或视频格式的媒体数据编码格 式，附加数据长度字段为媒体数据字段的长度，协议首部校验和字段为协议首部 的校验和信息，媒体数据字段为事件发生时的文字、数据、图片、音频或视频数 据；附加数据校验和字段为媒体数据的校验和信息。
上述音视频智能分析终端的应用方法其特征在于
I、数据采集
音视频同步模块3将视频采集模块1和音频采集模块2输出的两种不同格式 数据进行时间同步； II 、视频分析
视频分析模块4采用边缘检测、肤色检测、移动跟踪、模式匹配和文字识别 技术，将视频场景中出现的奔跑、逗留、聚集、摔跤、跨线、超速、丢弃物品、 失火、烟雾、液体溢出、墙体倒塌和物品移动事件进行识别，进而对事件进一步 判断和划分，并将事件用本系统自定义报警信息协议封装后生成报警信息数据；
III、 发送报警信息
分析完成后提取出含有报警信息的视频信息段，将其与报警信息按报警信息 协议组织成报警信息数据，使用有线或无线方式通过报警信息输出模块8进行报 警信息数据输出；
IV、 视频数据叠加
OSD模块5将视频分析模块4输出的报警信息数据叠加到视频数据中，输 出含有报警信息的视频数据；
V、 音视频编码
音视频编码模块6将叠加了报警信息数据的视频数据采用H.264、 MPEG-4 或AVS三种视频编码格式之一和G.721、 G.728、 G.729或AAC四种音频编码格 式之一分别对音视频数据进行压縮；
VI、 发送音视频码流
最后将叠加了报警信息的音视频码流使用有线或无线方式通过音视频输出 模块7传输以完成音视频智能分析终端的报警。
本发明音视频智能分析终端，优点及用途在于在视频监控采集终端实现 了视频分析，并提取出其中的报警信息，并用报警信息协议封装为报警信息数据，
4报警信息数据一方面直接单独输出，另一方面与系统采集的视频信息叠加，输出 带有报警信息的音视频码流。通过这种方式可以提高报警信息的传输链路安全性 和可靠性，减少报警信息丢失的概率，提高系统对报警信息处理的准确性。音视 频和报警信息叠加后可选择H.264、 MPEG-4或AVS三种视频编码格式之一和 G.72K G.728、 G.729或AAC四种音频编码格式之一分别对音视频压缩后输出。 可用在门禁的出入统计分析、卖场人数统计、人群管理、交通管理、购票队列管 理、队列平均等待时间统计、小物体的检测、防展品盗窃、防止艺术品破坏、昏 暗环境下物体的检测、较拥挤环境中遗留物体检测、较拥挤环境中物品偷盗检测、 拥挤环境下违章停车检测、周界报警、入侵检测、目标追踪、非拥挤环境下目标 识别、奔跑检测、逗留识别、滑倒/摔跤检测、可疑行为检测、车牌识别、目标 区别、透视、事件回放、误报警过滤、天气识别、烟雾检测、火情检测、液体溢 出检测、水位检测、路况检测、和摄像机故障检测。
图1音视频智能分析终端电路原理方框图
1、视频采集模块2、音频采集模块 3、音视频同步模块
4、视频分析模块5、 OSD模块 6、音视频编码模块
7、音视频输出模块8、报警信息输出模块具体实施方式
实施方式l
下面结合
本专利的具体实施方式
。如图l所示本发明由视频采集 模块l、音频采集模块2、音视频同步模块3、视频分析模块4、 OSD模块5、音 视频编码模块6、音视频输出模块7、报警信息输出模块8组成，音视频同步模 块3将视频采集模块1和音频采集模块2输出的两种不同格式数据进行时间同 步；视频分析模块4采用边缘检测、肤色检测、移动跟踪、模式匹配和文字识别 技术，对下列事件进行分析检测门禁的出入统计分析、卖场人数统计、人群管 理、交通管理、购票队列管理、队列平均等待时间统计、小物体的检测、防展品 盗窃、防止艺术品破坏、昏暗环境下物体的检测、较拥挤环境中遗留物体检测、 较拥挤环境中物品偷盗检测、拥挤环境下违章停车检测、周界报警、入侵检测、 目标追踪、非拥挤环境下目标识别、奔跑检测、逗留识别、滑倒/摔跤检测、可 疑行为检测、车牌识别、目标区别、透视、事件回放、误报警过滤、天气识别、 烟雾检测、火情检测、液体溢出检测、水位检测、路况检测和摄像机故障检测， 并将所检事件用本系统自定义的报警信息协议封装，生成报警信息数据，同时送 到OSD模块5进行和视频信息叠加和报警信息输出模块8进行报警信息数据输 出；OSD模块5将视频分析模块4输出的报警信息数据叠加到视频数据中，输 出含有报警信息的视频数据；音视频编码模块6选择H.264和G.721分别对视频 和音视频数据进行压缩，其输出码流通过音视频输出模块7传输；音视频输出模 块7将叠加了报警信息的音视频数据通过有线方式输出；所述的报警信息输出模 块8将报警信息数据通过无线方式输出。
该音视频智能分析终端的应用方法按照下列步骤进行
I 、数据采集
音视频同步模块3将视频采集模块1和音频采集模块2输出的两种不同格式 数据进行时间同步；
II 、视频分析
视频分析模块4采用边缘检测、肤色检测、移动跟踪、模式匹配和文字识别
5技术，将视频场景中出现的奔跑、逗留、聚集、摔跤、跨线、超速、丢弃物品、 失火、烟雾、液体溢出、墙体倒塌和物品移动事件进行识别，进而对事件进一步 判断和划分，并将事件用本系统自定义报警信息协议封装后生成报警信息数据； III、发送报警信息
分析完成后提取出含有报警信息的视频信息段，将其与报警信息按报警信息 协议组织成报警信息数据，使用有线或无线方式通过报警信息输出模块8进行报 警信息数据输出；
IV、 视频数据叠加
OSD模块5将视频分析模块4输出的报警信息数据叠加到视频数据中，输 出含有报警信息的视频数据；
V、 音视频编码
音视频编码模块6将叠加了报警信息数据的视频数据采用H.264和G.721 分别对视频和音频数据进行压缩；
VI、 发送音视频码流
最后将叠加了报警信息的音视频码流使用有线或无线方式通过音视频输出 模块7传输以完成音视频智能分析终端的报警。 实施方式2
报警信息输出模块8通过无线方式输出报警信息数据，音视频输出模块7 通过无线方式输出叠加了报警信息的音视频码流，其它同实施方式1。 实施方式3
报警信息输出模块8通过有线方式输出报警信息数据，音视频输出模块7 通过有线方式输出叠加了报警信息的音视频码流，其它同实施方式1。 实施方式4
叠加报警信息数据包的视频数据采用AVS编码格式，音频数据采用AAC 编码格式，报警信息输出模块8通过无线方式进行报警信息数据输出，其它同实 施方式1。 实施方式5
叠加报警信息数据包的视频数据采用R264编码格式，音频数据采用G.728 编码格式，报警信息输出模块8通过有线方式输出报警信息数据，音视频输出模 块7通过有线方式输出叠加了报警信息的音视频码流，其它同实施方式1。 实施方式6
叠加报警信息数据包的视频数据采用H.264编码格式，音频数据采用G.728 编码格式，其它同实施方式l。 实施方式7
叠加报警信息数据包的视频数据采用H,264编码格式，音频数据采用G729 编码格式，其它同实施方式l。 实施方式8
叠加报警信息数据包的视频数据采用H.264编码格式，音频数据采用AAC 编码格式，其它同实施方式l。 实施方式9
叠加报警信息数据包的视频数据采用MPEG4编码格式，音频数据采用 G721编码格式，其它同实施方式l。 实施方式10
叠加报警信息数据包的视频数据采用MPEG-4编码格式，音频数据采用G/728编码格式，其它同实施方式l。 实施方式11
叠加报警信息数据包的视频数据采用MPEG4编码格式，音频数据采用 G729编码格式，其它同实施方式l。 实施方式12
叠加报警信息数据包的视频数据采用MPEG4编码格式，音频数据采用AAC 编码格式，其它同实施方式l。 实施方式13
叠加报警信息数据包的视频数据采用AVS编码格式，音频数据采用G.721 编码格式，其它同实施方式l。 实施方式14
叠加报警信息数据包的视频数据采用AVS编码格式，音频数据采用G.728 编码格式，其它同实施方式l。 实施方式15
叠加报警信息数据包的视频数据采用AVS编码格式，音频数据采用G729 编码格式，其它同实施方式l。 实施方式16
叠加报警信息数据包的视频数据采用AVS编码格式，音频数据采用AAC 编码格式，其它同实施方式l。
权利要求
1、音视频智能分析终端，其特征在于是一种同时输出叠加了报警信息的音视频码流和报警信息两种数据的音视频智能分析终端，且报警信息由本系统自定义报警信息协议封装，该终端由视频采集模块(1)、音频采集模块(2)、音视频同步模块(3)、视频分析模块(4)、OSD模块(5)、音视频编码模块(6)、音视频输出模块(7)、报警信息输出模块(8)组成，所述的视频采集模块(1)和音频采集模块(2)的前端分别与摄像头和麦克风相连，后端与音视频同步模块(3)相连；所述的音视频同步模块(3)包含两个输入端和两个输出端，两个输入端分别与视频采集模块(1)和音频采集模块(2)相连，两个输出端分别与视频分析模块(4)和OSD模块(5)相连；所述的视频分析模块(4)由ARM处理器、DSP处理器和DDR存储器为主要组成部分的视频分析单元和输入输出接口电路组成，输入输出接口电路由一个输入端和两个输出端组成，输入端与音视频同步模块(3)相连，输出端分别与OSD模块(5)和报警信息输出模块(8)相连；所述的OSD模块(5)由ROM、时钟震荡器、字符控制器和输入输出接口电路组成，输入输出接口电路包含两个输入端和一个输出端，输入端分别与音视频同步模块(3)和视频分析模块(4)相连，输出端与音视频编码模块(6)相连；所述的音视频编码模块(6)主要由DSP处理器、DDR存储器和输入输出接口电路组成，输入输出接口电路的输入端与OSD模块(5)相连，输出端与音视频输出模块(7)相连；所述的音视频输出模块(7)由以太网控制器和射频接口或以太网接口之一组成，以太网控制器和音视频编码模块(6)相连；所述的报警信息输出模块(8)由以太网控制器和射频接口或以太网接口之一组成，以太网控制器和视频分析模块(4)相连。
2、 按照权利要求1音视频智能分析终端，其特征在于所述的报警信息用TCP 协议封装后独立输出；音视频码流叠加报警信息后任选择H.264、MPEG-4或AVS 三种视频编码格式之一和G.721、 G.728、 G.729或AAC四种音频编码格式之一 进行编码，编码后的码流用UDP协议封装后独立输出。
3、 按照权利要求1音视频智能分析终端，其特征在于所述的本系统自定义 报警信息协议由协议首部包和附加数据包两部分组成，协议首部包含序号、事件 类型ID、时间、摄像头编号、附加数据格式、附加数据长度和协议首部校验和 字段，附加数据包含媒体数据和附加数据校验和两个字段，每个字段都采用二进 制编码，上述除媒体数据字段以外所有字段的长度都固定，序号字段为递增或递 减的数字，事件类型ID字段用于区分奔跑、逗留、聚集、摔跤、跨线、超速、 丢弃物品、失火、烟雾、液体溢出、墙体倒塌或物品移动事件，时间字段为事件 发生的时间，摄像头编号字段用于确定事件发生的地点，附加数据格式字段为包 括文字、数据、图片、音频或视频格式的媒体数据编码格式，附加数据长度字段 为媒体数据字段的长度，协议首部校验和字段为协议首部的校验和信息，媒体数 据字段为事件发生时的文字、数据、图片、音频或视频数据；附加数据校验和字 段为媒体数据的校验和信息。
全文摘要
一种音视频智能分析终端涉及到音视频监控系统中视频智能分析技术，特别是一种在监控终端实现视频智能分析和数据传输技术的技术方案。其特征在于是一种同时输出叠加了报警信息的音视频码流和报警信息两种数据的音视频智能分析终端，在视频监控采集终端实现了视频分析，提取出其中的报警信息，并用报警信息协议封装为报警信息数据，报警信息数据一方面直接单独输出，另一方面与系统采集的视频信息叠加，输出带有报警信息的音视频码流。通过这种方式可以提高报警信息的传输链路安全性和可靠性，减少报警信息丢失的概率，提高系统对报警信息处理的准确性。
文档编号H04N7/08GK101662635SQ200910075308
公开日2010年3月3日 申请日期2009年9月5日 优先权日2009年9月5日
发明者俊 许, 珺 谢, 赵哲峰, 郭红波, 宁 马 申请人:太原理工大学