专利名称：一种实时图像处理系统及处理方法
技术领域：
本发明涉及一种实时图像处理系统，以及基于该系统的实时图像处理方法。
背景技术：
各类实验室的检验检测工作对保证各类产品的安全性和可靠性十分重要。通过法律和行政法规，国家对许多事关社会生产、社会生活、民众健康的产品进行强制检测和认证。例如质量技术监督部门对无线局域产品、玩具、装饰装修材料、安全技术防范产品、消防 产品、医疗器械产品、乳胶制品、农机产品、安全玻璃、轮胎产品、机动车辆及安全附件、电信终端设备、照明设备、信息技术设备、音视频设备类、家用和类似用途设备、电焊机、电动工具、小功率电动机、低压电器、电路开关及保护或连接用电器装置、电线电缆实行的3C强制认证。又如计量行政部门，对用于贸易结算、安全防护、医疗卫生、环境监测的计量器具，实行强制检定；对特高压输变电设备，也实施强制检定。再如工信部对工业产品质量控制和技术评价实验室、计量行政部门对形式评价实验室，都实施资格认定。建设一个符合国家标准和行业标准的实验室，需要花费很多的人力物力财力。要想充分发挥实验室的检测能力，使检测和认证的过程得到完整地执行，需要依赖检测人员，因此，不可避免引入了道德风险因素。曾经出现过生产厂家和实验室工作人员为了经济利益相互勾结，以违法手段，略过一部分甚至全部检测步骤，伪造检测数据，直接出具认证报告和合格证明。这些报告和证明在社会上造成了各种明显或潜在的危害。为了规范检测认证工作，需要对检测认证过程中工作人员、待检物品、检测仪器、检测设备的状态和行为进行监控。传统的基于视频流技术的监控系统和方法，由其基本机制造成的技术问题是数据量过大。即便采用了 MPEG 4标准中H. 264等较先进的视频编解码方法，连续的视频流累积起来的数据十分惊人，单个720P或1080P探头每小时采集的数据以G字节计，给数据的后端存储带来极大的压力，动辄需要TB级甚至PB级的存储系统支援，耗资惊人。巨大的数据量，带来的另一个问题就是数据的回看很不方便，很难迅速地在视频流中定位事件。此外，探头采集的视频数据，大多是无效的数据，例如无人的场景，偏偏这些数据还要大量占用存储空间，造成了不必要的浪费。
发明内容
针对以上技术问题，本发明提出了一种实时图像处理系统，该系统包括图像采集装置，负责以固定或可变帧频采集监控点图像数据，并转化为数字信号。图像前端处理装置，每个图像前端处理装置对应一个或一个以上图像采集装置，负责的操作包括图像缓冲管理、分辨率重整、LUT表映射、全图比对、图像重点区域对比、获取或分配网络地址、获取硬件ID、获取时间戳、加密、生成校验码。数据传输装置，每个数据传输装置对应一个或一个以上图像前端处理装置，负责图像前端处理装置与后台系统的通讯，通讯工作包括将图像数据编码、打包后发送至后台系统，传输后台系统向图像前端处理装置发送的设置信息和命令信息，传输图像采集装置、图像前端处理装置向后台系统发送的状态信息和请求信息。后台系统包括后端控制/处理装置、后端数据存储装置和时间服务器。后端控制/处理装置，负责的操作包括分配网络地址、接收数据传输装置发来的数据、解密数据、验证数据、分离数据内容、生成流媒体、接收并发送控制台指令、推送数据进入后端数据存储装置。后端数据存储装置，负责的操作包括整体数据存储，分离后数据存储，流媒体存储。实时图像处理系统中的图像采集装置为可见光传感器，或者红外传感器，或者X射线传感器，所述传感器的核心成像器件包括CCD或者CMOS。实时图像处理系统中的数据传输装置支持TCP/IP协议，其数据链路层支持Wi-Fi即 IEEE 802. IUffiMAX 即 IEEE 802. 16、ARP、RARP、ATM、DTM、令牌环、以太网、FDDI、帧中继、GPRS, EVDO, HSPA, HDLC, PPP、L2TP、ISDN、STP、无线 USB、超宽带 UWB、近场通信 NFC、蓝牙、 ZigBee，其物理层支持同轴电缆、双绞线、光纤、电力线、无线电。基于上述实时图像处理系统，实现了一种实时图像处理方法，其工作流程如下 步骤I :图像采集装置采集其视野范围内的数字图像并传递给图像前端处理装置； 步骤II :图像前端处理装置将当前帧图像与前一帧图像进行全图比对，若图像变化小
于阈值A，则跳转至步骤I ;当图像变化超过阈值A，则执行步骤III ；
步骤III:图像前端处理装置将当前帧图像的重点区域与前一帧图像的重点区域对比，所述重点区域是安装图像采集装置时在其视野内划定的区域；若重点区域的变化小于阈值B，则跳转至步骤I ;若重点区域的变化大于阈值B，则执行步骤IV ；
步骤IV :图像前端处理装置将前一帧图像和当前帧图像经前期处理后传送至数据传输装置；数据传输装置将前一帧图像和当前帧图像传送至后端控制/处理装置；
步骤V :后端控制/处理装置将收到的图像数据进行后期处理后传送至后端数据存储
>J-U ρ α装直。上述实时图像处理方法步骤III中的重点区域图像比对详细步骤为
S21，首先读取序列图像，并通过前面的全图比对算法提取出目标的初始位置；
S22，计算目标的边缘方向直方图，用于描述目标；
S23，初始化卡尔曼滤波器的各个参数；
S24，读取下一帧图像；
S25，用卡尔曼滤波器预测目标的下一可能的位置；
S26，判断目标是否被遮挡。如果被遮挡，则将卡尔曼滤波器预测的位置作为目标的下一个时刻的位置。否则，先用卡尔曼滤波预测出目标的粗略位置，然后在这个位置用边缘方向直方图方法改进的Mean Shift算法迭代计算，取得更加精确的目标位置；
S27，重复S24，直到序列图像读取完毕。上述实时图像处理方法步骤IV中的前期处理包括如下步骤
IV· i图像前端处理装置获取相应的图像采集装置硬件ID ；
IV· 图像前端处理装置从时间服务器中获取当前时间戳；
IV· iii图像前端处理装置将自身的硬件ID、图像采集装置的硬件ID、时间戳组合附加在即将发送的图像后，对图像进行加密和电子签名操作；所述步骤V中的后期处理包括如下步骤
V. i验证接收数据的电子签名，若真实则进入下一步，若虚假则记录事件后发出警
生P=I ;
V. 对接收的数据进行解密操作；
V· iii从接收的数据中分离图像、图像采集装置硬件ID、图像前端处理装置硬件ID、时间戳；所述加密、解密操作使用对称加密或者公钥加密方法。或者，上述实时图像处理方法，在所述步骤IV中的前期处理，包括如下步骤
IV · i图像前端处理装置获取相应的图像采集装置的硬件ID ；
IV · 图像前端处理装置获取自身时钟发生器生成的时间戳；
IV.iii图像前端处理装置对图像进行Hash操作得到图像摘要；将图像摘要与图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳组合衔接后进行Hash操作，得到验证码G ；对验证码G加密后，将密文、图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳与即将发送的图像联合存储；
在所述步 骤V中的后期处理包括如下步骤
V· i从接收的数据中分离图像、密文、图像采集装置硬件ID、图像前端处理装置硬件ID、时间戳；
V. 对密文解密后得到验证码H;
V· iii对图像进行Hash操作得到图像摘要，将该图像摘要与接收的图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳组合衔接后进行Hash操作，得到验证码J ；
V· iv比对验证码H和验证码J，若H等于J，则接收的数据真实；若H不等于J，则接收的数据虚假，记录事件后发出警告。上述实时图像处理方法中的加密、解密操作使用对称加密或者公钥加密方法； 当使用对称加密时，每个图像前端处理装置都对应一个唯一的密钥，加密/解密都使
用此密钥；
当使用公钥加密方法时，每个图像前端处理装置都有公钥C和私钥D，后台系统有公钥E和私钥F ；图像前端处理装置向后台系统传送数据时，使用私钥D对数据签名，用公钥E对数据加密，后台系统用公钥C验证签名有效性，用私钥F解密数据；后台系统向图像前端处理装置传送数据时，使用私钥F对数据签名，用公钥C加密数据，图像前端处理装置用公钥E验证签名有效性，用私钥D解密数据。实时图像处理系统中，图像采集装置主要是以CMOS和CXD为核心成像器件的摄像探头，该类探头可以捕捉可见光和经红外光源照射后的红外反射光成像。CMOS器件摄像头的特点是读取速度快、功耗低、噪声高、灵敏度低。CCD器件摄像头的特点是读取速度慢、耗电大、图像质量好、灵敏度高。当现场光线不足时，摄像探头可附加可见光光源或红外光源。图像采集装置还可以使用制冷型或非制冷型焦平面红外热像仪，被动接受物体红外辐射，配合热像仪内置的图像增强功能，如FLIR公司热成像细节增强DDE技术，也可以获得满足需求分辨率的图像。在特殊应用场合，图像采集装置还可以用高精度X射线传感器实现高精度X射线成像。
图像采集装置，其采集图像的帧频，可以是固定的帧频，一般帧频为η帧/秒，η为小于等于240的自然数。常用的连续录制的帧频为24Ρ、25Ρ、30Ρ、50Ρ、60Ρ，图像前端处理装置按此帧频不断比对相邻帧图像。为了减少传输的无效数据量，特别是受监控场所处于非工作时段时，图像前端处理装置可以进入心跳模式，每秒内只采集固定时间的相邻帧的二帧图像，或者m秒内按照η帧/秒的帧频获取相邻帧图像，通过全图比对单元中不断比对，其中m为大于或等于I的自然数。当现场图像变化没有超过阈值A时，按每秒一次或m秒一次的频率向后传递数据，超出阈值A时，传送连续帧向后进行重点区域比对。这样，既不丧失对场景的连续监控，又可以大幅降低无效数据的处理，节省硬件开销和电力消耗。实时图像处理系统中，图像前端处理装置一般是以基于ARM、x86、PowerPC、MIPS的嵌入式CPU为基础，或者以DSP为基础，或者以FPGA、CPLD等大规模可编程逻辑器件为基础，或者在极低分辨率应用下使用16位及以上的高档高频单片机为基础。也可以以上述器件的混合结构为基础，比如使用了 AMBA总线的ARM，或者是德州仪器的OMAP和达芬奇系列 DSP,或者是飞思卡尔的StarCore。使用上述器件，主要带来的好处是低功耗和低成本，包括显著降低了硬件成本和开发成本。也可以使用基于x86、x64架构的工控机和PC机作为图 像前端处理装置，性能上足以胜任，但因体积、功耗、成本等方面的问题，不具备实用性和市场竞争力。图像采集装置获取的数字信号，经必要的处理如低通滤波后，输入到图像前端处理装置中的全图比对单元中。所述全图比对单元比对单元可以是分立的ASIC，也可以是预置在DSP或单片机板卡上的用C语言编制的二进制代码，也可以是可编程逻辑器件CPLD或FPGA在内部专门构建的功能区域。所述的ASIC、DSP、可编程逻辑器件都根据图像采集装置分辨率进行了专门的设定。图像被分解为像素矩阵，每个像素进入全图比对单元为其辟出的专用存储区域。像素的表示信息，可以按RGB、YUV、YprPb, YcrCb, RsGB, RGsB, RGBs各类信号分解后存储。
步骤II中全图比对算法如下
前后相邻的两帧图像信息分别描述为A和Atl Λ = h (λ y)+挪(u) + % y)(O
Λ+ι = bk+l {xyj+mix + tix^ + hy) + nk+l(x,y)(2)
其中和分别为第k帧和k+ I帧中的背景，m(x,y)和m(x + Ax,y + Ay)分别为两帧图像中的运动目标，Lx和为运动对象在两帧图像间的运动矢量，分别为k、k+ I帧中的噪声。因此差分图像为
D(^y) = Iui- Λ,、
(3)
=+Ax,y + Ay) - (χ,^)]+[ Λ+1 (x,y) - bk(x,y)]+[ ik+1(xry) - nk (x,y)}
在(3)式中，[j Cr+Ax,7 + ^)]为运动目标引起的图像变化，,[U(U)-Mu)]为相邻帧间的背景差，则[m(x + Δχ,γ + ψ)-ηι(χ,γ)]+ [b^(x,y)-bt 是运动区
域，[%+1(U)-^(U)]为残留噪声，即差分图像包括了运动区域和噪声。
阀值的计算可利用循环迭代阂值法来进行目标检测的二值化处理。利用不断更新的子图像的直方图来选择最显著的峰值，通过循环迭代最终计算出阈值。这种方法随着循环的增加，对图像的局部特征考虑也越来越细致。Sll图像的最大和最小灰度值。和7 ，令阈值初值为
权利要求
1.一种实时图像处理系统，其特征在于包括图像采集装置(I)，负责以固定或可变帧频采集监控点图像数据，并转化为数字信号；图像前端处理装置(2)，每个图像前端处理装置(2)对应一个或一个以上图像采集装置(1)，负责的操作包括图像缓冲管理、分辨率重整、LUT表映射、全图比对、图像重点区域(6)对比、获取或分配网络地址、获取硬件ID、获取时间戳、加密、生成校验码； 数据传输装置(3)，每个数据传输装置(3)对应一个或一个以上图像前端处理装置(2)，负责图像前端处理装置(2)与后台系统(8)的通讯，通讯工作包括将图像数据编码、打包后发送至后台系统(8)，传输后台系统(8)向图像前端处理装置(2)发送的设置信息和命令信息，传输图像采集装置(I)、图像前端处理装置(2)向后台系统(8)发送的状态信息和请求信息； 后台系统(8)包括后端控制/处理装置(4)、后端数据存储装置(5)和时间服务器(7)； 后端控制/处理装置(4)，负责的操作包括分配网络地址、接收数据传输装置(3)发来的数据、解密数据、验证数据、分离数据内容、生成流媒体、接收并发送控制台指令、推送数据进入后端数据存储装置(5); 后端数据存储装置(5)，负责的操作包括整体数据存储，分离后数据存储，流媒体存储。
2.如权利要求I所述的实时图像处理系统，其特征在于 所述图像采集装置(I)为可见光传感器，或者红外传感器，或者X射线传感器，所述传感器的核心成像器件包括CXD或者CMOS。
3.如权利要求I或2所述的实时图像处理系统，其特征在于 所述数据传输装置(3)支持TCP/IP协议，其数据链路层支持Wi-Fi即IEEE 802. 11、WiMAX 即 IEEE 802. 16、ARP、RARP, ATM、DTM、令牌环、以太网、FDDI、帧中继、GPRS, EVDO,HSPA, HDLC, PPP、L2TP、ISDN、STP、无线 USB、超宽带 UWB、近场通信 NFC、蓝牙、ZigBee，其物理层支持同轴电缆、双绞线、光纤、电力线、无线电。
4.一种实时图像处理方法，其特征在于所述实时图像处理方法的工作流程如下 步骤I :图像采集装置(I)采集其视野范围内的数字图像并传递给图像前端处理装置(2); 步骤II :图像前端处理装置(2)将当前帧图像与前一帧图像进行全图比对，若图像变化小于阈值A，则跳转至步骤I ;当图像变化超过阈值A，则执行步骤III ； 步骤III :图像前端处理装置(2)将当前帧图像的重点区域(6)与前一帧图像的重点区域(6)对比，所述重点区域(6)是安装图像采集装置(I)时在其视野内划定的区域；若重点区域(6)的变化小于阈值B，则跳转至步骤I ;若重点区域(6)的变化大于阈值B，则执行步骤IV ； 步骤IV :图像前端处理装置(2)将当前帧图像经前期处理后传送至数据传输装置(3)；数据传输装置(3)将当前帧图像传送至后端控制/处理装置(4)； 步骤V :后端控制/处理装置(4)将收到的图像数据进行后期处理后传送至后端数据存储装置(5)。
5.如权利要求4所述的实时图像处理方法，其特征在于步骤III中的重点区域(6)图像比对详细步骤为S21，首先读取序列图像，并通过前面的全图比对算法提取出目标的初始位置； S22，计算目标的边缘方向直方图，用于描述目标； S23，初始化卡尔曼滤波器的各个参数； S24，读取下一帧图像； S25，用卡尔曼滤波器预测目标的下一可能的位置； S26，判断目标是否被遮挡，如果被遮挡，则将卡尔曼滤波器预测的位置作为目标的下一个时刻的位置，否则，先用卡尔曼滤波预测出目标的粗略位置，然后在这个位置用边缘方向直方图方法改进的Mean Shift算法迭代计算，取得更加精确的目标位置； S27，重复S24，直到序列图像读取完毕。
6.如权利要求4或5所述的实时图像处理方法，其特征在于 所述步骤IV中的前期处理包括如下步骤 IV.i图像前端处理装置(2)获取相应的图像采集装置(I)硬件ID; IV · 图像前端处理装置(2)从时间服务器(7)中获取当前时间戳； IV· iii图像前端处理装置(2)将自身的硬件ID、图像采集装置(I)的硬件ID、时间戳组合附加在即将发送的图像后，对图像进行加密和电子签名操作； 所述步骤V中的后期处理包括如下步骤 V· i验证接收数据的电子签名，若真实则进入下一步，若虚假则记录事件后发出警生P=I ; V.ii对接收的数据进行解密操作； V· iii从接收的数据中分离图像、图像采集装置(I)硬件ID、图像前端处理装置(2)硬件ID、时间戳； 所述加密、解密操作使用对称加密或者公钥加密方法。
7.如权利要求4或5所述的实时图像处理方法，其特征在于 所述步骤IV中的前期处理，包括如下步骤 IV. i图像前端处理装置(2)获取相应的图像采集装置(I)的硬件ID ； IV· 图像前端处理装置(2)获取自身时钟发生器生成的时间戳； IV.iii图像前端处理装置(2)对图像进行Hash操作得到图像摘要；将图像摘要与图像前端处理装置(2)硬件ID、图像采集装置(I)硬件ID、时间戳组合衔接后进行Hash操作，得到验证码G ;对验证码G加密后，将密文、图像前端处理装置(2)硬件ID、图像采集装置(I)硬件ID、时间戳与即将发送的图像联合存储； 所述步骤V中的后期处理包括如下步骤 V· i从接收的数据中分离图像、密文、图像采集装置(I)硬件ID、图像前端处理装置(2)硬件ID、时间戳； V. 对密文解密后得到验证码H ； V· iii对图像进行Hash操作得到图像摘要，将该图像摘要与接收的图像前端处理装置(2)硬件ID、图像采集装置(I)硬件ID、时间戳组合衔接后进行Hash操作，得到验证码J ； V· iv比对验证码H和验证码J，若H等于J，则接收的数据真实；若H不等于J，则接收的数据虚假，记录事件后发出警告； 所述加密、解密操作使用对称加密或者公钥加密方法。
全文摘要
本发明提出一种实时图像处理系统，包括图像采集装置、图像前端处理装置、数据传输装置、后台系统。图像采集装置采集图像后，采用实时图像处理方法对图像进行处理，图像前端处理装置进行全图比对，若超过阈值A，则进行重点区域对比，若超出阈值B，则将图像及相关数据通过数据传输装置递至后端控制/处理装置，后端控制/处理装置对数据进行分离、验证、解密等操作后，将数据交由后端数据存储装置存储。本系统实现了对监控区域状态变化自动侦测，自动剔除无效数据，智能拍摄的功能，降低了硬件成本和系统总价。
文档编号H04N7/18GK102932635SQ20121047776
公开日2013年2月13日 申请日期2012年11月22日 优先权日2012年11月22日
发明者宫宁生 申请人:南京明德软件有限公司