一种基于智能手机的远程视频监控的方法与流程

本发明涉及远程视频监控系统，具体涉及一种用智能手机远程浏览网络摄像机的监控视频的方法，即通过web技术、视频转发技术以及局域网穿透技术，完成手机对远程视频的实时浏览以及向手机报警的功能，属于安防视频监控领域。
背景技术：
：在视频监控领域里，各行业重点部门或重要场所都已经部署了高清视频监控系统，而随着智能手机的普遍应用，功能越来越强大，价格越来越低，人们希望在手机上能够随时随地的浏览监控视频。但由于传统视频监控只能在局域网内进行视频的处理，导致非该局域网的客户端设备无法访问局域网内的视频，使得视频监控安全防范没有达到预期的效果。因此，迫切需要将监控视频流与广域网连接，使得手机客户端在广域网下也可以访问监控视频，达到远程管理控制的目标，满足安防部门主动、实时监控的需要，对于突发事件可以及时避免或进行处理。目前已经出现了一些移动视频监控系统，通过报警装置针对动物或人类活动进行视频采集处理，并发送到检测装置。例如，深圳市锦粤达科技有限公司设计出了3g手机远程视频监控系统，该系统通过运动监测装置的反应自动启动录像装置并拨打预设号码，使用者可及时了解情况，在确认有人入侵等情况时，启动报警或警告装置。深圳市科为时代科技有限公司公开了一种手机远程视频监控报警系统，该系统的红外感应报警器和视频发射模块与监控摄像机连接，一旦有物体触碰到红外感应报警器，监控摄像机就进行拍摄，并将拍摄后的视频通过视频发射模块发送到手机终端，监控者即可清楚的看到所监控的画面。以上两种监控系统的设计主要通过硬件系统报警装置进行报警，而本发明是通过软件设计视频的采集、转发及报警规则，满足报警规则就报警，所以易于扩展。目前市面还有一些移动视频监控系统，是通过媒体转发器进行视频转发。例如，重庆邮电大学的刘诚、段红光等人采用网络摄像机，将流媒体服务器与web服务器移植在arm开发板上，从而将采集端与服务端所有工作都集中在arm开发板上与手机端通信达到实时监控和对ipc的云台控制功能，而arm开发板计算能力相对于服务器较弱，通常适合支持一台摄像机。郭永清等人利用usb摄像头采集视频，然后由服务器传送给编解码模块进行压缩处理后封装打包发送到ip网络上，客户端通过网络接收数据包实时播放。以上两种视频监控系统的设计都针对单路视频的编解码转发和控制，而本发明的流媒体服务器则针对多路视频的远程访问及异常检测报警问题。技术实现要素：本发明的目的在于实现一种基于智能手机的远程视频监控的方法，利用局域网的穿透技术，通过用户管理服务器存储管理用户信息，用网络硬盘摄像机存储管理视频，由视频管理服务器进行视频转发功能、视频关键帧的异常检测等；当手机客户端请求获取视频时，通过从视频管理服务器获取相关视频。本系统架构能够支持更多的视频监控网络摄像机和手机客户端进行实时视频监控以及报警功能，并完成用户权限管理；与传统的监控系统相比，能够实现广域网的远程视频监控、异常情况的及时发现与事后取证，便于扩展系统的视频分析处理能力，易于管理和维护等。具体来说，本发明的方法包括下列步骤：a.按照系统结构部署相关服务器、手机监查器以及n台网络摄像机，具体内容为：a1.假设手机处于公网中，手机客户端app与一台用户管理服务器userserver通信完成用户信息的管理，并与视频管理服务器videoserver通信获取实时视频；a2.userserver管理用户登录及其权限信息，协助手机app与videoserver进行局域网穿透；a3.videoserver处于局域网lan1中，管理监控设备信息、用户与监控设备的权限关系以及手机监查器的信息，并完成视频转发、异常检测及报警功能；a4.n台监控摄像机(ipc)和网络硬盘摄像机(nvr)也处于局域网lan1中，摄像机的视频流暂存于nvr，并通过videoserver转发给app；a5.手机监查器包括一个前端探查设备及手机监查服务模块，自动捕获设定范围内出现的被监查手机的相关信息，写入内容包括但不限于手机的imei号，imsi号，msdn号，手机归属地，设备号等，并将其保存在videoserver的本地数据库中；b.用户通过app进行注册，建立用户app与ipc的关联，具体实现步骤为：b1.用户通过app界面输入包括但不限于：用户名username、手机号mobile、个人邮箱email、密码password，将准备安装在现场摄像机的二维码code扫描录入；并由app将以上信息发送给userserver；b2.管理员访问userserver进行用户角色权限分配，userserver将收到数据以及配置信息存入其数据库userdb；b3.userserver将用户信息以及角色分配usergroup，发送给videoserver；b4.管理员访问videoserver进行用户角色权限分配，videoserver将用户分配信息、以及ipc信息登记入数据库videodb；b5.videoserver将用户分配信息发送至userserver；b6.userserver更新其数据库userdb，并将注册确认信息发送给手机app；c.用户通过app登录到userserver，具体实现步骤为：c1.用户通过app界面输入mobile、password，app向userserver提出登录请求；c2.userserver访问本地userdb，验证该用户的合法性，将该用户信息发送到videoserver；c3.videoserver访问其本地videodb，进行本地权限检查，并将确认信息返回给userserver；c4.userserver更新本地数据库userdb，并将登录确认信息发送给手机app；d.app利用局域网穿透技术与videoserver直接连接，以便获取实时视频流，具体实现步骤为：d1.app向userserver发送穿透videoserver局域网的请求，并启动对videoserver的监听服务；d2.userserver收到浏览请求后，将app的公网ip1以及端口号port1发送给对应的videoserver；d3.videoserver向app端发起连接请求；d4.app收到videoserver的连接请求后，在数据包中获取videoserver的公网ip2以及port2，向videoserver发送响应请求ack，即完成了对videoserver所在局域网的穿透；d5.如果app端处于另一个局域网lan2中，则还需要进行lan2的穿透，具体步骤如下：d5.1.videoserver向userserver发送穿透app局域网的请求，并启动对app的监听服务；d5.2.userserver收到浏览请求后，将videoserver的公网ip2以及端口号port2发送给对应的app；d5.3.app向videoserver端发起连接请求；d5.4.videoserver收到app的连接请求后，，在数据包中获取app的公网ip1以及port1，向app发送响应请求ack，即完成了对app所在局域网的穿透；e.app与videoserver之间进行请求和发送视频流，具体实现步骤如下：e1.app初始化界面窗口读取用户的设备列表ipcs，向videoserver端发送请求某路视频的消息；e2.videoserver端接到请求该路视频的消息后，从nvr获取对应的视频流，并转发给app；e3.app接收到视频流后，完成视频解码，并在app窗口播放相应视频；f.在videoserver中，对视频以及手机监查器监测到的手机号进行异常检测，根据报警规则向app报警,具体实现步骤为：f1.videoserver按照每n秒1帧的速率，截取m个视频流中的关键帧，保存在本地文件系统中；f2.videoserver对所截取的关键帧进行图像分析和异常检测，图像分析内容包括但不限于跌倒检测、移动检测、人数统计，打架行为等，对手机号的监测内容包括但不限于时间段、手机号以及其他属性条件；f3.videoserver中保存着日志表dialoglist用于记录异常检测的结果信息，手机监测表phonelist用于记录手机监测器监测的手机信息，规则表rulelist用于记录报警规则；f4.videoserver将分析结果存入日志表，并查询报警规则；f5.当满足报警条件时，videoserver向userserver和手机app分别发送报警信息，并发送视频帧的网络链接给手机app；f6.videoserver将报警信息保存至videodb,用于后续的统计分析；f7.手机app收到报警信息和网络链接后，在窗口界面上显示报警提示；当用户选择查看图片的功能时，app通过videoserver获取视频帧图片，并显示在窗口界面上。本发明提出一种基于智能手机的远程监控的方法，通过用户管理服务器管理用户信息、角色分配以及局域网穿透，通过视频管理服务器存储设备访问信息并完成视频转发功能。当手机客户端请求获取视频时，从视频管理服务器获得相关视频流；当视频管理服务器提取的视频关键帧满足报警条件时，由视频管理服务器分别向用户管理服务器以及手机客户端发送报警信息，并在需要时将报警图片发送给手机客户端。本发明的优点是通过局域网的穿透技术以及手机客户端远程监控技术，既能获取实时视频，在手机客户端实时浏览视频，也可以通过视频管理服务器对视频进行异常检测，按照报警规则报警，使得手机客户端的远程监控技术更加灵活、方便、实用。附图说明图1：发明方法流程图；图2：系统结构图；图3：用户注册时序图；图4：用户登录时序图；图5：局域网穿透技术时序图；图6：报警流程时序图；具体实施方式下面结合附图，通过阐述在某单位的视频管理服务器、用户管理服务器、网络硬盘摄像机、前端摄像机、手机客户端的远程监控过程，作为实施例对本发明作进一步描述。1.按照系统结构部署相关服务器、手机监查器以及n台网络摄像机，，系统结构图如图2所示，具体内容为：1.1本发明中，手机处于公网中，客户端app的ip地址为10.00.208.209，用于接收用户信息，与一台用户管理服务器userserver通信完成用户信息的管理，并与视频管理服务器videoserver通信获取实时视频；1.2userserver处于公网中，ip地址为139.196.203.48，用于管理用户登录及其权限信息，协助手机app与videoserver进行局域网穿透；1.3videoserver处于局域网lan1内，ip为192.168.69.230，外网ip地址为111.207.200.171；管理监控设备信息、用户与监控设备的权限关系以及手机监查器的信息，并完成视频转发功能；1.44台监控摄像机(ipc)和网络硬盘摄像机(nvr)处于局域网lan1中，四台ipc对应的ip地址分别为192.168.69.233、192.168.69.236、192.168.69.237和192.168.69.242，nvr的ip地址为192.168.69.231，摄像机的视频流暂存于网络硬盘摄像机中，并通过videoserver转发给app；1.5手机监查器包括一个前端探查设备及手机监查服务模块，自动捕获设定范围内出现的被监查手机的相关信息，写入内容包括但不限于手机的imei号，imsi号，msdn号，手机归属地，设备号等，并将其保存在videoserver的本地数据库中；2.用户通过app进行注册，建立用户、app与ipc的关联，用户注册时序图如图3所示，具体实现步骤为：2.1用户通过app界面输入：用户名belle、手机号1234567890、个人邮箱1234567890@126.com、密码abcd1234，将准备安装在现场摄像机的二维码00001，00002扫描录入；并由app将以上信息发送给userserver；2.2管理员访问userserver进行用户角色权限分配，userserver将收到数据以及配置信息存入其数据库userdb；2.3userserver将用户信息以及角色分配usergroup，发送给videoserver，userserverdb中存放的具体信息如下：user具体信息如下表：accountrealnamemobilepasswordemailvideoserveridipc_idbelletest1234567890abcd12341234567890@126.com1000100001belletest1234567890abcd12341234567890@126.com1000100002ipc具体信息如下表：ipc_idipc_ipvideoserver_ip00001192.168.69.233111.207.200.17100002192.168.69.236111.207.200.17100003192.168.69.237111.207.200.17100004192.168.69.242111.207.200.1712.4管理员访问videoserver进行用户角色权限分配，videoserver将用户分配信息、以及ipc信息登记入数据库videodb，具体存放数据如下：ipc具体信息如下表：ipc_idipc_ipvideoserver_ipportvsuserpassword00001192.168.69.233111.207.200.17180adminadmin1234500002192.168.69.236111.207.200.17180adminadmin1234500003192.168.69.237111.207.200.17180adminadmin1234500004192.168.69.242111.207.200.17180admin2abcd1234user具体信息如下表：accountvsuseruseridpasswordmoblieemailgroupidbelleadmin1admin1234512345678901234567890@126.com2用户分组信息如下表：groupiduseridname13a121b2用户分组与ipc节点对应关系信息如下：groupiduseridipc_id110000111000022200003120000422000042.5videoserver将用户分配信息以及该视频管理服务器的videoserverip(111.207.200.171)返回至userserver；2.6userserver更新其数据库userdb，并将注册确认信息发送给手机app；3.用户通过app登录到userserver，用户登录时序图见图4，具体实现步骤为：3.1用户通过app界面输入手机号：1234567890、密码：123456，app向userserver提出登录请求；3.2userserver访问本地userdb，验证该用户的合法性，将用户信息发送给videoserver；3.3videoserver访问本地videodb，进行本地权限检查，并将确认信息ack返回给userserver；3.4userserver更新本地数据库userdb，并将登录确认信息发送给手机app；4.app利用局域网穿透技术与videoserver直接连接，以便获取实时视频流，局域网穿透技术时序图见图5，具体实现步骤为：4.1app向userserver发送穿透videoserver局域网的请求，访问id为00001的ipc视频流，并启动对videoserver的监听服务；4.2userserver收到浏览请求后，将app的公网ip1(10.0.0.2)以及端口号port1(80)发送给对应的videoserver；4.3videoserver向app端发起连接请求；4.4app收到videoserver的连接请求后向videoserver发送响应请求ack，即完成了对videoserver所在局域网的穿透；4.5如果app端处于另一个局域网lan2中，则还需要进行lan2的穿透，具体步骤如下：4.5.1videoserver向userserver发送穿透app局域网的请求，并启动对app的监听服务；4.5.2userserver收到浏览请求后，将videoserver的公网ip2(111.207.200.171)以及端口号port2(80)发送给对应的app；4.5.3app向videoserver端发起连接请求；4.5.4videoserver收到app的连接请求后向app发送响应请求ack，即完成了对app所在局域网的穿透；5.app与videoserver之间进行请求和发送视频流，具体关联见图2的关系3，具体实现步骤如下：5.1app初始化界面窗口读取用户的设备列表ipcs，向videoserver端发送请求视频的消息；5.2videoserver端接到请求视频消息后，从nvr获取对应的视频流，并转发给app；5.3app接收到视频流后，完成视频解码，并在app窗口播放相应视频；6.在videoserver中，对视频以及手机监查器监测到的手机号进行异常检测，根据报警规则向app报警,报警流程时序图如图6，具体实现步骤为：6.1videoserver按照每2秒1帧的速率，截取视频流中的10个关键帧，保存在本地文件系统中；6.2videoserver对所截取的关键帧进行图像分析和移动检测，对手机号的监测内容包括但不限于时间段、手机号以及其他属性条件；6.3videoserver中保存着日志表loglist用于记录异常检测的结果信息，手机监测表phonelist用于记录手机监测器监测的手机信息，规则表rulelist用于记录报警规则；loglist内包含信息有：phonelist内包含信息为：idimsiimeimsdndatatimearea11104600011110132790091365105102017/01/01北京11114600122318646010271861223512017/01/01北京11124600012863585840561360112582017/01/01北京rulelist内包含信息有：6.4videoserver将分析结果存入日志表，并查询报警规则；6.5在10:05:03时，视频分析的结果为：tag＝人像，满足报警条件16，应该报警；videoserver向userserver和手机app分别发送报警信息，并发送视频帧的url地址给手机app；6.6videoserver将报警信息保存至videodb,用于后续的统计分析；6.7手机app收到报警信息和网络链接后，在窗口界面上显示报警提示，并通过videoserver获取视频帧图片，并显示在窗口界面上。最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。当前第1页12