专利名称：基于双摄像头的数字视频智能监控设备及数据处理方法
技术领域：
本发明涉及数字视频智能监控设备，具体来说是具有双摄像头的监控设备，通过 对低分辨监控视频的实时处理，得到高分辨视频图像抓拍时机指示，并根据该指示抓拍高 清晰数字视频图像的具有一定智能的数字视频监控设备及其数据处理方法。
背景技术：
数字视频监控设备的使用目前已经非常普及，广泛使用于楼宇监控和路口及道路 监控中，但是这些视频的分辨率普遍偏低(通常为V⑶分辨率)，这就导致了目前在应用中 普遍存在的一个问题，即在需要察看相关视频的细节时发现，因为视频的分辨率较低，许多 细节非常模糊，即使使用肉眼也无法分辨。制约监控视频分辨率的原因，已经不是高分辨率摄像头的价格问题，而是视频数 据的容量问题。因为监控视频需要进行实时的记录和存储，若使用高分辨率的视频记录，将 占用非常庞大的存储空间和处理开销；同时必要性也不大，因而通常情况一般情况下都只 能使用较低分辨率进行保存。如果数字视频监控设备具有一定的智能性，即在平时按较低分辨率格式保存，在 发现异常等可能需要分辨细节的时机，保存相应的高分辨图像，则将极大地增强数字视频 监控设备的智能程度，增强系统的实用性。在国内到目前为止，尚未检索到类似技术或相关专利。
发明内容
本发明的目的是提供一种数字视频智能监控设备，旨在将持续的低分辨率的视频 监控记录和间断的高分辨的视频图像记录相结合，达到以较小代价达到提高数字视频监控 效能的目的。本发明的目的是这样实现的一种数字视频智能监控设备，包括，两个分别具有普通分辨率和高分辨率的摄像头单元上下或左右排列，设置参数 使其监控区域基本相同，其中高分辨摄像头具有一定倍数的图像放大缩小功能，其主光轴 可微调，使其能对另一摄像头的部分监控区域进行放大；一个摄像头微调控制单元其输出端与高分辨率摄像头单元输入端连接，根据实 时数据处理单元的命令对摄像头的主光轴进行微调以及控制摄像头图像的放大和缩小；两个视频数据采集单元分别与上述两个摄像头单元连接，将两个摄像头的模拟 或数字视频数据转换为内部统一的数字视频格式；一个实时数据处理单元将低分辨摄像头的视频数据发送给数据存储单元实现存 储，并发送给显示单元进行显示；对低分辨视频进行智能处理，检测出需要抓拍高分辨视频 的时机和画面位置，发送控制指令给摄像头位置微调控制单元，并根据刚才给出的时机抓 拍高分辨视频，发送给存储单元进行保存，发送给显示单元进行显示；一个数据存储单元与上述两个视频采集单元连接，保存实时视频、图像，根据参数获取保存的视频和图像；一个显示单元与上述两个视频采集单元连接，同时与数据存储单元连接，对实时 视频、实时抓拍图像，回放视频和回放图像进行显示；一个回放数据处理单元给出保存的视频和图像信息，根据指令对存储的视频进 行检索、读取、回放显示、格式转换，在回放的过程中可以显示是否有抓拍图像的信息，抓拍 图像位置的信息。本发明的另一个目的是提供上述数字视频智能监控设备的实时数据处理方法。本发明的另一目的是这样实现的一种所述设备的实时数据处理方法，按以下步 骤进行通过对低分辨摄像头视频数据的连续监视，得到监控区域的背景图像；通过当前 图像与背景图像的比较，得到监控视频的场景变化信息；当场景变化信息超过预先设定的 阈值时，则认为此时是场景的保存时机，此时首先直接保存一帧高分辨图像，然后根据场景 变化信息确定本次抓拍区域，并根据上次抓拍的时间与当前时间的差值、上次抓拍区域与 当前抓拍区域的比较，对本次抓拍区域进行修正，给出控制高分辨摄像头微调的控制信息， 并根据微调控制单元的反馈，再次读取高分辨摄像头的图像并进行保存显示处理，从而完 成一次高分辨图像的记录；对于按上述检测算法需要连续记录的情形，本算法每秒最多给 出2次触发时机；上述场景变化信息的判定方法如下第一步将输入的普通分辨率摄像头的连续视频，直接记录到存储单元；第二步，确定场景的变化值；第三步，判断场景变化值是否超过预设的阈值dl，其计算如下；若未超过，本次处 理结束，否则转第四步；dl =图像总像素数打，r = 5% -10% ；第四步，直接保存当前的高分辨摄像头的视频；第五步，确定计算抓拍区域；第六步，根据抓拍区域，控制高分辨摄像头的位置微调和缩放；第七步，等待微调控制单元已控制到位反馈信号；第八步，抓拍并保存高分辨摄像头一帧图像，作为前景的变化值，本次处理结束；上述第二步中场景变化值的计算步骤如下第一步在输入的连续视频中获取当前图像，按以下公式计算背景图像，并保存。fb (i, j) = -[( -1)/； (i, j) + f(i, J)]
η其中，f (i，j)为当前时刻位置(i，j)的像素值，fb' (i，j)为保存的背景图像，η 为用于背景计算的图像个数，小于等于预设的最大值nmax(—般设为2400)，fb(i，j)为计算 出的背景图；在只有第一帧视频图像时，计算出的背景就等于当前视频图像；第二步用当前图像减去背景图像，作为前景图像，如以下公式所示ff(i, j) = f(i, j)"fb(i, j)其中，ff(i，j)、f(i，j)、fb(i，j)分别为前景图像、当前图像、背景图像中位置为(i，j)的像素值；第三步二值化处理，按以下公式计算动态阈值d2 :d2 = (yf+yb)/2，其中，yf为前 景图像平均灰度值，Yb为背景图像平均灰度值；再按以下公式处理y (i，j) = 0. 299R (i，j) +0. 587G (i，j) +0. 114B (i，j) 其中，R(i，j)、G(i，j)、B(i，j)为前景图中位置为(i，j)像素的红、绿、蓝分量值， y(i，j)为计算出的灰度值以及二值化后的灰度值；第四步将二值化后图像中黑色像数的个数进行统计，作为场景的变化值；上述第五步中抓拍区域的确定步骤如下a)分别确定矩形四角和中心点，再从四角和中心的5个矩形范围内，按原始图像 比例扩大方式进行搜索首先给定二值化后前景图像；再按原始图像10%大小比例不变确 定初始矩形；固定该矩形起始点，并计算矩形内黑色像素个数，若该黑点像素个数超过前景 图像中黑色像素的80%，则确定为该方向最佳矩形；否则，按纵向像素+1的比例来扩大矩 形，并返回上述计数矩形内黑色像素个数的步骤；b)比较5个矩形的大小，取最小值作为抓拍区域。本发明通过增加高分辨率摄像头和控制高分辨率摄像头的方式，通过对监控区域 图像的实时智能监控，以最多每秒2帧的数据率保存监控区域内变化较大的图像，最大限 度地减少了增加高分辨率监控图像带来的数据量增加问题，同时也保证了对监控区域进行 高分辨图像细节分辨的需求，极大地提高了监控效能。本发明的有益效果是1、增加了一个高分辨率摄像头，可实现对视频图像以高分辨率方式保存和细节分 辨的目的。2、增加了高分辨率摄像头微调控制单元，可实现对局部监控区域的监视和放大， 进一步增加了对监控区域的细节记录能力。3、增加了视频图像实时检测功能，可实现对高分辨率图像记录时机的确定，并可 实现确定局部重点监控区域的能力。4、增加了普通视频数据和高分辨视频图像进行同步保存的能力。5、增加了普通视频数据和高分辨视频图像联合检索、回放和显示的能力。
图1是本发明的结构框图；图2是图1所示本发明实时数据处理程序流程图；图3是本发明场景变化的计算流程图；图4是本发明动态阈值调整计算流程图；图5是本发明抓拍区域计算示意图；图6是本发明抓拍区域搜索算法示意图；图7是本发明双摄像头抓拍区域示意图8是本发明高分辨检索/回放示意图。
具体实施例方式图1说明本发明由包括两个分别具有普通分辨率和高分辨率的摄像头组成的摄 像头单元，一个摄像头微调控制单元，两个视频数据采集单元，一个实时数据处理单元，一 个数据存储单元，一个显示单元，一个回放数据处理单元。图2说明第一步将输入的普通分辨率摄像头的连续视频，直接记录到存储单 元；第二步，根据图3所示算法，确定场景的变化值。第三步，判断场景变化值是否超过预设的阈值dl，其计算如下。若未超过，本次处 理结束，否则转第四步。dl =图像总像素数*rr = 5%-10%，可手动调整。第四步，直接保存当前的高分辨摄像头的视频。第五步，根据图5所示算法，计算抓拍区域。第六步，根据抓拍区域，控制高分辨摄像头的位置微调和缩放。第七步，等待微调控制单元已控制到位反馈信号。第八步，抓拍并保存高分辨摄像头一帧图像。本次处理结束。图3说明第一步在输入的连续视频中获取当前图像，按以下公式计算背景图 像，并保存。 其中，f (i，j)为当前时刻位置(i，j)的像素值，fb' (i，j)为保存的背景图像，η 为用于背景计算的图像个数，小于等于预设的最大值nmax(—般设为2400)，fb(i，j)为计算 出的背景图。在只有第一帧视频图像时，计算出的背景就等于当前视频图像。第二步用当前图像减去背景图像，作为前景图像，如以下公式所示。ff(i, j) = f(i, j)"fb(i, j)其中，ff(i，j)、f(i，j)、fb(i，j)分别为前景图像、当前图像、背景图像中位置为 (i，j)的像素值。第三步二值化处理，即按照图4所示算法中确定的阈值d2，按以下公式处理y (i，j) = 0. 299R (i，j) +0. 587G (i，j) +0. 114B (i，j) 其中，R(i，j)、G(i，j)、B(i，j)为前景图中位置为(i，j)像素的红、绿、蓝分量值， y(i，j)为计算出的灰度值以及二值化后的灰度值。第四步将二值化后图像中黑色像数的个数进行统计，作为前景的变化值。图4说明第一步计算背景图像平均灰度值yb。第二步计算前景图像平均灰度值yf。
第三步按以下公式计算动态阈值d2 d2 = (yf+yb) /2图5说明第一步从四角和中心开始搜索(分别固定四角和中心点)，按原始图 像比例扩大，按图6所示搜索算法进行搜索。第二步比较5个矩形的大小，取最小值作为抓拍区域。抓拍区域为普通视频监控摄像头监控范围内高分辨摄像头监控区域。第一步，读取低分辨视频信息，包括时间信息；第二步，读取高分辨图像数据，得到包含时间的列表信息；第三步，在列表中或视频进度条中显示高分辨图像数据位置信息；第四步，可以进行高分辨图像检索，以及低分辨视频和高分辨图像联合回放。
权利要求
一种数字视频智能监控设备，包括，两个分别具有普通分辨率和高分辨率的摄像头单元上下或左右排列，设置参数使其监控区域基本相同，其中高分辨摄像头具有一定倍数的图像放大缩小功能，其主光轴可微调，使其能对另一摄像头的部分监控区域进行放大；一个摄像头微调控制单元其输出端与高分辨率摄像头单元输入端连接，根据实时数据处理单元的命令对摄像头的主光轴进行微调以及控制摄像头图像的放大和缩小；两个视频数据采集单元分别与上述两个摄像头单元连接，将两个摄像头的模拟或数字视频数据转换为内部统一的数字视频格式；一个实时数据处理单元将低分辨摄像头的视频数据发送给数据存储单元实现存储，并发送给显示单元进行显示；对低分辨视频进行智能处理，检测出需要抓拍高分辨视频的时机和画面位置，发送控制指令给摄像头位置微调控制单元，并根据刚才给出的时机抓拍高分辨视频，发送给存储单元进行保存，发送给显示单元进行显示；一个数据存储单元与上述两个视频采集单元连接，保存实时视频、图像，根据参数获取保存的视频和图像；一个显示单元与上述两个视频采集单元连接，同时与数据存储单元连接，对实时视频、实时抓拍图像，回放视频和回放图像进行显示；一个回放数据处理单元给出保存的视频和图像信息，根据指令对存储的视频进行检索、读取、回放显示、格式转换，在回放的过程中可以显示是否有抓拍图像的信息，抓拍图像位置的信息。
2.一种如权利要求1所述设备的实时数据处理方法，其特征是按以下步骤进行 通过对低分辨摄像头视频数据的连续监视，得到监控区域的背景图像；通过当前图像与背景图像的比较，得到监控视频的场景变化信息；当场景变化信息超过预先设定的阈值 时，则认为此时是场景的保存时机，此时首先直接保存一帧高分辨图像，然后根据场景变化 信息确定本次抓拍区域，并根据上次抓拍的时间与当前时间的差值、上次抓拍区域与当前 抓拍区域的比较，对本次抓拍区域进行修正，给出控制高分辨摄像头微调的控制信息，并根 据微调控制单元的反馈，再次读取高分辨摄像头的图像并进行保存显示处理，从而完成一 次高分辨图像的记录；对于按上述检测算法需要连续记录的情形，本算法每秒最多给出2 次触发时机；上述场景变化信息的判定方法如下第一步将输入的普通分辨率摄像头的连续视频，直接记录到存储单元； 第二步，确定场景的变化值；第三步，判断场景变化值是否超过预设的阈值dl，其计算如下；若未超过，本次处理结 束，否则转第四步；dl =图像总像素数*r，r = 5% -10% ； 第四步，直接保存当前的高分辨摄像头的视频； 第五步，确定计算抓拍区域；第六步，根据抓拍区域，控制高分辨摄像头的位置微调和缩放； 第七步，等待微调控制单元已控制到位反馈信号；第八步，抓拍并保存高分辨摄像头一帧图像，作为前景的变化值，本次处理结束；上述第二步中场景变化值的计算步骤如下第一步在输入的连续视频中获取当前图像，按以下公式计算背景图像，并保存 fbiij) = -\n-\)fb{i,j) + f{ij)] 其中，f(i，j)为当前时刻位置(i，j)的像素值，fb' (i，j)为保存的背景图像，η为用 于背景计算的图像个数，小于等于预设的最大值nmax (—般设为2400)，fb(i，j)为计算出的 背景图；在只有第一帧视频图像时，计算出的背景就等于当前视频图像； 第二步用当前图像减去背景图像，作为前景图像，如以下公式所示 ff(i, j) = f(i，j)"fb(i, j)其中，ff(i，j)、f(i，j)、fb(i，j)分别为前景图像、当前图像、背景图像中位置为(i，j) 的像素值；第三步二值化处理，按以下公式计算动态阈值dl d2 = (yf+yb)/2，其中，yf为前景 图像平均灰度值，Yb为背景图像平均灰度值； 再按以下公式处理y(i, j) = 0. 299R(i, j)+0. 587G(i, j)+0. 114B(i, j) (255 y(i,j)>d2 1 0 y{i,j)<=d2其中，R(i，j)、G(i，j)、B(i，j)为前景图中位置为(i，j)像素的红、绿、蓝分量值，y(i， j)为计算出的灰度值以及二值化后的灰度值；第四步将二值化后图像中黑色像数的个数进行统计，作为场景的变化值； 上述第五步中抓拍区域的确定步骤如下a)分别确定矩形四角和中心点，再从四角和中心的5个矩形范围内，按原始图像比例 扩大方式进行搜索首先给定二值化后前景图像；再按原始图像10%大小比例不变确定初 始矩形；固定该矩形起始点，并计算矩形内黑色像素个数，若该黑点像素个数超过前景图像 中黑色像素的80%，则确定为该方向最佳矩形；否则，按纵向像素+1的比例来扩大矩形，并 返回上述计数矩形内黑色像素个数的步骤；b)比较5个矩形的大小，取最小值作为抓拍区域。
全文摘要
一种基于双摄像头的数字视频智能监控设备及数据处理方法，由两个分别具有普通分辨率和高分辨率的摄像头单元、一个摄像头微调控制单元、两个视频数据采集单元、一个数据存储单元、一个显示单元、一个回放数据处理单元组成；本发明通过增加高分辨率摄像头和控制高分辨率摄像头的方式，通过对监控区域图像的实时智能监控，以最多每秒2帧的数据率保存监控区域内变化较大的图像，最大限度地减少了增加高分辨率监控图像带来的数据量增加问题，同时也保证了对监控区域进行高分辨图像细节分辨的需求，极大地提高了监控效能。
文档编号H04N5/232GK101917601SQ20101026344
公开日2010年12月15日 申请日期2010年8月26日 优先权日2010年8月26日
发明者侯明正, 冯子亮, 潘卫军 申请人:四川大学