一种视频图像超分辨率重建方法
【专利摘要】本发明涉及一种视频图像超分辨率重建方法。1）对于通过同一场景可以获取的多幅低分辨率图像，选定所需视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个象元内连续多帧的亚像素图像；2）根据多帧亚像素图像的图像序列帧，选择目标兴趣点，并进行块状目标的运动估计；3）根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。本发明可以在不提高现有成像器件的图像质量下，提高视频影像的在细节上的分辨力等，弥补传统图像复原、增强等方法的不足，具有简单方便效率高的特点。可为这些领域的应用提供优化后的图像数据基础，从而可以拓展城市视频信息的应用领域。
【专利说明】一种视频图像超分辨率重建方法
【技术领域】
[0001]本发明涉及一种视频图像处理方法，特别是涉及一种基于亚像素样本序列和块状目标运动估计的视频图像超分辨率重建方法。
【背景技术】
[0002]随着我国平安城市建设的开展以及智慧城市建设的启动，遍布城市各个角落的摄像头捕捉的各种视频信息在保障城市安全、提高城市管理效能等方面无疑发挥了重要的作用。尽管高清摄像头的安装极大地提高了静态图像质量，但是在一些特殊的场景下，比如雨天、雾天以及远景大范围的细节观测等情景下获取的视频图像依然无法达到令人满意的效果，特别是在一些对现场信息还原要求较高的应用，比如刑事案件侦测、交通肇事逃逸等对车、人等目标的信息获取，尽管图像质量较以往有所提高，但依然无法满足特殊事件的需要。因此，在现有的条件下，如果能够利用某种方法从低分辨率视频中获得高分辨率图像信息，则是一种经济、有效的方法。
[0003]视频传输是通信和多媒体技术发展的一个关键问题，从传输效率的角度来说，希望信道中传输较少带宽的低分辨率视频；从视觉感受来说，希望获得高分辨率的视觉信号。超分辨率重建是新近发展的一种图像处理技术，利用一幅或多幅低分辨率图像，运用相应的算法来获得一幅清晰的高分辨率图像，在接收端将低分辨率视频转换为高分辨率信号，可以有效的兼顾传输效率和视觉品质。
[0004]现在的超分辨率重建方法特别是对压缩域的视频图像超分辨率重建大多停留在模拟仿真阶段，无法达到实用的目标。这是由于导致图像质量下降的成像退化模型无法真实建立，现场环境的模拟重现难以实现，因而超分辨率重建所需要的最基本的两个条件:病态求解和运动估计无法满足。
[0005]城市安防工程中所获取的视频数据极为庞大，堪称海量。而如何在这些海量数据中提取到有用的信息，如用于视频检索、异常行为分析等，目前的工作还极为有限。
【发明内容】
[0006]本发明针对现有技术不足，提出一种视频图像超分辨率重建方法，基于采用块状目标匹配的运动估计方法，对视频图像中的兴趣点(如车辆、行人等)进行块状分割，从若干幅与本场景相关的连续视频图像序列中重建一副高分辨率的图像。
[0007]为了实现上述目的，本发明所采用的技术方案是:
一种视频图像超分辨率重建方法，其实现步骤如下:
1)对于通过同一场景可以获取的多幅低分辨率图像，首先根据要求选定所需视频的连续序列巾贞，转换为静态的JPG或者BMP文件,结合场景参数,选择一个象元内连续多巾贞的亚像素图像；
2)根据多帧亚像素图像的图像序列巾贞，选择目标兴趣点，并进行块状目标的运动估计，其步骤如下: (1)将视频编码帧划分为互不重叠的固定大小运动块状目标，在选定的匹配准则下，各个运动块状目标都在参考帧中搜索与其最匹配的像块作为预测；
(2)搜索限定在关于当前运动块状目标位置对称的一个局部矩形窗内进行，在预先定义的搜索窗内，按像素逐块与当前运动块状目标比较，找到与当前运动块状目标最相似的一块;
(3)将搜索窗口锁定在目标兴趣点上；
3)根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。
[0008]所述的视频图像超分辨率重建方法，步骤I)中，亚像素图像样本提取的具体步骤如下:
(1)根据现场视频监控摄像头照射距离和镜头焦距，根据光学成像几何关系，测算特征目标的运行轨迹，并换成位移，根据视频监控的时间测算出目标的运行速度；
(2)根据目标的运行速度，结合视频监控摄像头的像素分辨率，分别选取三到五帧一个象元内的移动图像作为重建帧，在连续的视频帧中找到多副图像样本。
[0009]所述的视频图像超分辨率重建方法，步骤3)中，插值重建高分辨率图像的步骤如下:
(1)首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值，
(2)接着通过非均匀插值得到超分辨率图像栅格上的像素值，采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理；
(3)然后再把处理后的图像块拼接到一起重建一副高分辨率的图像。
[0010]所述的视频图像超分辨率重建方法，步骤2)中，搜索与各个运动块状目标最匹配的像块，其匹配准则是:如果运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，则采用最小绝对误差和最小均方误差作为匹配准则。
[0011]所述的视频图像超分辨率重建方法，步骤2)中，搜索与各个运动块状目标最匹配的像块，其匹配准则是:对于目标的运动有略微偏转和远近不同而产生的光学变形的情况，考虑变形的块匹配:首先假定一定的空间变换模型，然后利用匹配准则寻求最佳的变换参数，采用相关系数法作为匹配准则，通过刑事侦测场景回现手段获取变形运动目标的帧间变形系数，反演实际场景的变化系数，以此作为运动估计的匹配准则。
[0012]发明的有益积极效果:
1、本发明提出的方法主要是针对低速块状运动目标的视频图像序列进行处理，如汽车、摩托车等交通运载工具以及行走中的行人，可广泛应用电子警察、刑事侦测、ETC不停车收费等领域中对特定目标的特征识别和提取用，应用于模糊车辆车牌特征量提取、行人特征提取等。本发明采用亚像素运动样本序列和块匹配运动估计的视频图像超分辨率重建方法，可为这些领域的应用提供优化后的图像数据基础，从而可以拓展城市视频信息的应用领域，提高对城市的认知和管理水平。
[0013]2、本发明可以在不提高现有成像器件的图像质量下，提高视频影像的在细节上的分辨力等，弥补传统图像复原、增强等方法的不足，具有简单方便效率高的特点。现有的视频监控影像本身的成像器件以及外部环境因素(如天气、镜头污损等)，还有压缩时所带来的失真，都会给图像本身带来各种模糊特质。本发明基于公安刑事侦查中在视频图像获取中具有场景回现等优势，针对特定目标的信息提取，通过分析视频图像的成像机理和工作特点，通过光学换算获取运动目标的亚像素的连续视频帧，对图像中的兴趣点进行块状分害I]，锁定目标兴趣点，进而采用超值重建方法，从若干幅连续视频图像序列中重建一副高分辨率的图像。
[0014]3、本发明主要是针对图像中特定目标的信息提取，因此完全可以采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理，然后再把处理后的图像块拼接到一起。分块运算方法主要是通过降低系数矩阵的维数来摆脱内存的限制，从而可以大大提高运算的速度。
【专利附图】
【附图说明】
[0015]图1是本发明的处理方法流程图；图中，标号I表示获取的低分辨率视频图像序列帧，2表示亚像素图像样本提取的步骤，3表示基于块状目标匹配的运动估计步骤，4表示几何均匀超值图像重建的步骤。
[0016]图2是本发明中移动目标的亚像素序列帧成像示意图；图中标号21表示(XD，22表示移动目标。
[0017]图3是本发明的平移运动目标的块匹配图。
[0018]图4是本发明的变形运动目标的块匹配示意图。
[0019]图5是本发明的兴趣目标约束窗口的搜索运动估计方法。
[0020]图6A是本发明三帧插值重建方法示意图。
[0021 ] 图6B是本发明四帧插值重建方法示意图。
[0022]图6C是本发明五帧插值重建方法示意图。
【具体实施方式】
[0023]下面通过【具体实施方式】，对本发明的技术方案做进一步的详细描述。
[0024]实施例1
参见图1?图5，本发明视频图像超分辨率重建方法，其实现低分辨率视频图像超分辨率重建的步骤如下:
1)对于通过同一场景可以获取的多幅低分辨率图像，首先根据要求选定所需视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，如CCD像素分辨率、运动位移与时间，选择一个象元内连续多帧的亚像素图像；
2)根据多帧亚像素图像的图像序列巾贞，选择目标兴趣点，并进行块状目标的运动估计，其步骤如下:
(1)将视频编码巾贞划分为互不重叠的固定大小运动块状目标，(MotionBlock Target,简称MBT)，尺寸一般为16 X 16像素，在选定的匹配准则下，各个MBT都在参考帧中搜索与其最匹配的像块作为预测；
(2)搜索限定在关于当前运动块状目标位置对称的一个局部矩形窗内进行，在预先定义的搜索窗内，按像素逐块与当前运动块状目标比较，找到与当前运动块状目标最相似的一块；搜索范围可以假定左边和右边各有X个像素，上边和下边各有y个像素。一般采用的水平和垂直方向的搜索范围是相同的，S卩x=y。在此预先定义的搜索窗内，按像素逐块与当前MBT比较，找到与当前MBT最相似的一块，这一对像块在水平和垂直方向的位移即为MV，两块之间的误差组成残差块；
(3)将搜索窗口锁定在目标兴趣点(特定目标)上，如汽车等，其它无关区域以O或255填充，或者直接丢弃；
3)根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。
[0025]实施例2
参见图1-图6，本实施例的视频图像超分辨率重建方法，与实施例1不同的是，在步骤O中，采用如下步骤进行亚像素图像样本的提取:
(1)根据现场视频监控摄像头照射距离和镜头焦距和光学成像几何关系，测算特征目标的运行轨迹，并换成位移，根据视频监控的时间测算出目标的运行速度；
(2)根据目标的运行速度，结合视频监控CXD摄像头的像素分辨率，分别选取三到五帧一个象元内的移动图像作为重建帧，在连续的视频帧中找到多副图像样本。重建帧可以选取3到11帧一个象元内的移动图像，在不影响处理结果的情况下，为了减少运算量，本发明选取三到五帧一个象元内的移动图像作为重建帧。
[0026]图6A、图6B、图6C分别为三巾贞、四巾贞和五巾贞插值重建方法不意图
目前视频监控中摄像头大部分采用的成像传感器为电荷耦合元件(其英文全称是Charge-coupled Device,简称CO))。由于CO)在进行成像的时候是采用光积分的方式,而光积分是需要时间的，例如一个540线的彩色CCD监控摄像头扫描一副图像的时间大概需要0.05ms。只要在目标运动与CXD扫描积分之间存在时间差的时候，而且这种时间差在CXD扫描一帧图像积分时间内的时候，就会在连续的视频帧中找到多副图像样本。
[0027]实施例3
本实施例的视频图像超分辨率重建方法，与实施例1或实施例2不同的是，步骤3)中，采用如下的插值方法重建高分辨率图像:
(1)首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值，
(2)接着通过非均匀插值得到超分辨率图像栅格上的像素值，采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理；
(3)然后再把处理后的图像块拼接到一起重建一副高分辨率的图像。
[0028]本发明视频图像超分辨率重建方法，步骤2)中，搜索与各个运动块状目标最匹配的像块的匹配准则是:如果运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，则采用最小绝对误差和最小均方误差作为匹配准则。参见图3。
[0029]实施例4
本实施例的视频图像超分辨率重建方法，与前述各实施例不同的是:步骤2)中，搜索与各个运动块状目标最匹配的像块，对于目标的运动有略微偏转和远近不同而产生的光学变形的情况，考虑变形的块匹配:首先假定一定的空间变换模型，然后利用匹配准则寻求最佳的变换参数，采用相关系数法作为匹配准则，通过刑事侦测场景回现手段获取变形运动目标的帧间变形系数，反演实际场景的变化系数，以此作为运动估计的匹配准则。参见图4。
[0030]实施例5
参见图1?图6，本发明视频图像超分辨率重建方法，实现低分辨率视频图像超分辨率重建的过程如下:
1.亚像素连续图像样本序列的获取
在基于超分辨率重建的空间分辨率增强技术中，其基本前提是通过同一场景可以获取多幅低分辨率图像的细节图像。在超分辨率重建中，典型地认为低分辨率图像代表了同一场景的不同侧面，也就是说低分辨率图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为高分辨率图像的复原提供新的信息。如果每幅低分辨率图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅低分辨率图像都会为高分辨率图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。
[0031]对于给定一定场景的P幅低分辨率图像，可以认为它们是由一幅高分辨率图像经过一系列的降质过程产生的。设降质过程可以用式I表示:
【权利要求】
1.一种视频图像超分辨率重建方法，其特征是: 1)对于通过同一场景可以获取的多幅低分辨率图像，首先根据要求选定所需视频的连续序列巾贞，转换为静态的JPG或者BMP文件,结合场景参数,选择一个象元内连续多巾贞的亚像素图像； 2)根据多帧亚像素图像的图像序列巾贞，选择目标兴趣点，并进行块状目标的运动估计，其步骤如下: (1)将视频编码帧划分为互不重叠的固定大小运动块状目标，在选定的匹配准则下，各个运动块状目标都在参考帧中搜索与其最匹配的像块作为预测； (2)搜索限定在关于当前运动块状目标位置对称的一个局部矩形窗内进行，在预先定义的搜索窗内，按像素逐块与当前运动块状目标比较，找到与当前运动块状目标最相似的一块; (3)将搜索窗口锁定在目标兴趣点上； 3)根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。
2.根据权利要求1所述的视频图像超分辨率重建方法，其特征在于:步骤I)中，亚像素图像样本提取的具体步骤如下: (1)根据现场视频监控摄像头照射距离和镜头焦距，根据光学成像几何关系，测算特征目标的运行轨迹，并换成位移，根据视频监控的时间测算出目标的运行速度； (2)根据目标的运行速度，结合视频监控摄像头的像素分辨率，分别选取三到五帧一个象元内的移动图像作为重建帧，在连续的视频帧中找到多副图像样本。
3.根据权利要求1或2所述的视频图像超分辨率重建方法，其特征在于:步骤3)中，插值重建高分辨率图像的步骤如下: (1)首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值， (2)接着通过非均匀插值得到超分辨率图像栅格上的像素值，采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理； (3)然后再把处理后的图像块拼接到一起重建一副高分辨率的图像。
4.根据权利要求3所述的视频图像超分辨率重建方法，其特征在于:步骤2)中，搜索与各个运动块状目标最匹配的像块，其匹配准则是:如果运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，则采用最小绝对误差和最小均方误差作为匹配准则。
5.根据权利要求4所述的视频图像超分辨率重建方法，其特征在于:步骤2)中，搜索与各个运动块状目标最匹配的像块，其匹配准则是:对于目标的运动有略微偏转和远近不同而产生的光学变形的情况，考虑变形的块匹配:首先假定一定的空间变换模型，然后利用匹配准则寻求最佳的变换参数，采用相关系数法作为匹配准则，通过刑事侦测场景回现手段获取变形运动目标的帧间变形系数，反演实际场景的变化系数，以此作为运动估计的匹配准则。
【文档编号】G06T7/20GK103489173SQ201310433123
【公开日】2014年1月1日 申请日期:2013年9月23日 优先权日:2013年9月23日
【发明者】陈长宝, 杨博雄, 卢志渊, 杜红民 申请人:百年金海科技有限公司