专利名称：：可变视角及分辨率的双目视觉系统目标图像稳定化方法
技术领域：
：本发明涉及计算机视觉视频处理
技术领域：
，尤其涉及采用双目PTZ(—种可以改变视角和分辨率参数的主动镜头)镜头进行高分辨率视频稳定化的技术。
背景技术：
：随着计算机视觉技术的发展，以及全世界范围内安全防范意识的提高，智能视觉监控技术受到越来越多的重视。这种技术已经逐步广泛用于军用和民用。在早期的应用中，智能程度很低，因此安全防范功能主要还是依靠人对监控视频中的事件进行判断，可靠度和自动化程度都很低。它更主要的用途还是用于犯罪的事后取证。而现在的智能视觉监控系统的发展趋势是更注重犯罪预警，以减少犯罪案件的发生。本发明主要解决下面的问题大范围场景的监控中，对高分辨率抓拍的感兴趣目标的图片序列进行稳定化处理。其意义在于首先，提高视频的可视化效果。由于目标距离摄像机距离一般较远，而镜头的分辨率又很高，所以镜头的微小抖动可能导致图像中的物体运动非常剧烈，因此这样的视频可视化效果很差。而视频稳定化的目标就是尽可能使图像中目标的运动变得平稳，从而可以提高可视化效果。第二，从稳定化后的视频中可以更加容易地提取监控中所需要的特征进行目标识别，而且视频本身也可以作为整体特征进行保存以备以后査阅。第三，稳定化后的视频还可以用于计算机视觉研究，例如目标的行为分析、姿态识别、步态分析等。硬件需求为了实现对远距离目标的高分辨率抓拍，我们提出采用双目PTZ视觉系统。其中一个镜头采用低分辨率监控全景，另一个镜头采用高分辨率抓拍运动目标。之所以选择这样的硬件组合，是因为1、传统单目静止镜头的监控已经不能满足现代监控的需求，具体表现在1)其视角固定，当目标运动出可视范围后，监控人员将完全丢失目标的信息；2)由于图像分辨率和可见视场的大小之间存在矛盾关系，如果要求图像分辨率很高，则视场会相对比较小，特别是对于远距离监控。2、如果采用单目主动镜头，以上两个问题都可以通过改变视角解决，但是它也存在新的问题。在对目标进行主动跟踪的过程中，由于镜头参数一直在变化，图像中的背景和目标有运动，因此很难准确预测目标的运动。另一方面，镜头控制也很难做到非常精确，而且由于镜头的运动时间很难准确估计，因此无论采用计算机自动跟踪或者手动跟踪，目标都有可能在图像中丢失，并且一旦丢失，单靠一个高分辨率镜头很难再将其重新捕捉。因此，采用单目主动镜头进行目标的高分辨率视频抓拍的鲁棒性很低。综上所述，我们提出了采用双目主动镜头来解决这一问题。其中一个镜头作为低分辨率静止镜头使用，实时对目标进行跟踪；另一个利用高分辨率镜头获取的目标位置信息，对目标进行高分辨率主动跟踪。我们之所以采用一个主动镜头做静止镜头用，一方面是利用其灵活性，可以方便地改变监控场景，另一方面考虑到系统对称性，如果两个镜头型号完全一致，系统标定会更加方便，而且两个镜头的地位可以根据任务不同而互换。在本系统中，我们采用了两个PTZ主动镜头。选择PTZ镜头的原因有三点1)它是一种最简单的主动镜头，它可以通过改变pan和tilt参数来改变视角，也可以通过改变zoom参数来改变图像分辨率；2)它的集成度很高，相比采用一个可变焦镜头和一个云台构成的主动镜头，不需要用户再对其进行过多标定和校正，而且鲁棒性和准确性都更有保障；3)它已经有比较成熟产品，并且已经越来越多的用到实际应用中。在本系统中我们采用的是SONYEVID70。对于远距离高分辨率监控，视频稳定化是一个非常有意义的工作，因为直接得到的高分辨率视频一般都存在下列问题1)图像模糊。这种模糊主要是由于镜头运动造成，为了保证主动镜头可以有效地跟上目标运动，一般要求镜头采用高速运动模式，因此容易在运动中出现图像模糊；2)目标在图像中不完整。在双目监控系统中，虽然有低分辨率镜头保证目标不至于丢失，但是仍然很难保证高分辨率图像每帧都完整地包含运动目标。因为主动镜头每个动作都需要一定时间，而且时间很难精确估计，因此控制一般都会有超调；3)视频可能出现抖动，如果目标运动速度过大，镜头控制频率可能比较高，因此容易出现帧间的抖动。基于以上三个原因，我们提出了一个高分辨率视频稳定化的框架来解决这一问题。
发明内容本发明的目的是解决远距离视觉监控中获取高分辨率平稳视频的问题，采用两个PTZ镜头，一个镜头采用低分辨率监控全景，另一个采用高分辨率抓拍感兴趣运动目标的图像，最后通过视频稳定化技术得到平稳的高分辨率视频。本发明的特征在于，所述方法在PC机中依次按以下步骤实现步骤(1),使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；步骤(2)，所述PC机从所述第一个PTZ摄像机中输入记录全景的图像，称为低分辨率图像/丄，并把每帧图像转换为灰度图像；所述PC机从所述第二个PTZ摄像机中输入记录运动目标的图像，称为高分辨率图像/;，把每帧图像转换为灰度图像，并用所述的两个灰度图分别代替所述的/l和/二；步骤(3)，不同分辨率视频图像之间的配准选择第t帧低分辨率图像《中所述运动目标所在的矩形区域",所对应的高分辨率图像作为系统的输出图像4,，然后计算所述高分辨率图像4和所述低分辨率图像《之间的映射模型M^,具体如下步骤(3.1)，所述矩形区域C的选定，步骤(3.1.1)，对所述低分辨率图像《求取低分辨率背景模型/^，像素(X,力处的更新公式为<formula>formulaseeoriginaldocumentpage12</formula>其中更新系数"=0.05，初始低分辨率背景模型/^(1,力=/工=°(1,力，如果|4",力-^"，力|>^,^=20，则/!在(;c，力属于前景区域，否则，该像素属于背景区域，步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像/丄以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在《图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64x48像素，最终得到的高分辨率输出图像/:,的尺寸为所述矩形区域的C的、倍，、=5，步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像/l和高分辨率图像/(之间的初步映射模型M^,:步骤(3.2.1)，计算所述第t帧高分辨图像/;和低分辨率图像《中目标区域C的SIFT特征点，步骤(3.2.2)，对/;中的每个特征点，分别计算它和所述低分辨率图像目标区域/丄,中的每个特征点之间的距离，即&叫h-v2||，其中v,和^分别表示两个特征点对应的SIFT特征向量，然后考虑距离最小的两组结果和4in，如果《in〈CD^n，7;-0.7，则4in对应的特征点为匹配点，否则认为该点没有匹配特征点，<formula>formulaseeoriginaldocumentpage13</formula>步骤(3.3)，调整所述低分辨率图像/l的灰度值，得到校正图像/丄^步骤(3.3.1)，选定计算灰度映射的区域对步骤(3.2)中所述两幅图像/;和/丄,中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，步骤(3.3.2)，统计上述凸多边形内的灰度直方图/H'W(A)J-0,1,…，255，按下式得到累计直方图步骤(3.3.3)，用^co/和^ro^分别表示《和4的累积分布直方图，按下述方法划分三个灰度集合q，G2，G3:q,:0"era1(K)<0.05}G2=:0.05S^ccw1(/0<0.95}13如果两图之间的总匹配特征点对的个数少于10，则认为所述映射模型M^无效，转到步骤(4),否则转到步骤(3.3)，步骤(3.2.3)，对所述的高分辨率图像/;与所述低分辨率图像目标区域/{,的SIFT匹配特征点对((x;,乂)e/[,(x,2，^)e4W-l,2,…,"，求取仿射变换矩阵《=附附40附2附50附2，其中参数通过下式求取:=<formula>formulaseeoriginaldocumentpage14</formula>选取映射模型为三段分片线性模型<formula>formulaseeoriginaldocumentpage14</formula>，其中f和《2分别表示/工和^的灰度值，利用下面的目标函数线性拟合〖eG,时所述图像《和/;之间的灰度值映射函数尤<formula>formulaseeoriginaldocumentpage14</formula>用灰度集合q、《分别拟合模型/:<formula>formulaseeoriginaldocumentpage14</formula>使得M/(0)=0，M/(255)=255，步骤(3.3.4)，根据《和/;之间的灰度值映射模型M/(A:)调整《的灰度值，得到尸，、"4，步骤(3.4)基于像素的直接配准方法估计/i和/〖之间更精确的仿射模型M丄^:步骤(3.4.1)，用步骤(3.2)中所述的A^^对所述的高分辨率图像/》进行变换，得到图像/;——.，变换方法是.-所述图像4—耐在坐标点(、,w的值4<formula>formulaseeoriginaldocumentpage14</formula>其中/是同构坐标变换函数，计算方法是<formula>formulaseeoriginaldocumentpage14</formula>其中x和/由[x'，/,lf-M[x,乂lf得到，步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型M"^:<formula>formulaseeoriginaldocumentpage14</formula>其中(、,W是所述图像^——的第z'个像素点坐标，/见步骤(3.4.1)，迭代初始值M。设为3x3的单位矩阵，步骤(3.4.3)，如果步骤(3.4.2)中所求得的M;^满足下面两个条件中的任何一个，则认为M"^和M^,无效，不再对其进行计算，转到步骤(4)，a)11《2-4JL〈0.3;b)IICIL<4;其中'《—=[产。，[《《]是M;—的前两行'步骤(3.4.4)，计算更精确的仿射模型M^^:ML,M;^，步骤(3.5)根据邻域2N+l帧图像对所述输出图像/二进行平滑处理，取^5，步骤(3.5.1)，求取第y帧高分辨率图像到第z'帧高分辨率图像的变换模型M;由步骤(3.1.1)中所求得的"中的前景区域通过步骤(3.4.1)中的变换方法由所述的更精确的仿射模型M^2得到对应的4中的前景目标，进而得到4的背景区域，用步骤(3.2)中的方法，求取所述第7'帧高分辨图像/i和第/帧高分辨率图像4之间的变换模型A/"步骤(3.5.2)求取平滑模型M^，m;=过丄//其中，w,是高斯权重系数，iV=5，q-^^e1^",cr=1.5，《取值为:&=<[1,如果《和似^2均有效,io，其它情况步骤(3.5.3)计算当前帧的相对模糊度6(6,=其中，A为所述第t帧高分辨率图像/》中的像素点，血(O和办O分别是图像沿着x和;;方向上的梯度，如果6,H.3min伐一，6,+J，则认为当前帧为模糊图像，并设定M^无效；步骤(4)图像补全对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下15步骤(4.1)估计高分辨率背景图像/;步骤(4.1.1)如果步骤(3)中所述的i/^有效，通过步骤(3.4.1)中所述的变换方法由所述的变换模型i/^变换得到与步骤(3.1.1)所述低分辨率图像"中的背景区域/^对应的4中的背景区域，步骤(4.1.2)对第.t帧，用第l，2，…，t+50帧中的高分辨率背景区域来更新当前高分辨率背景模型/;，对于下一帧的背景模型/^1，如果M^有效，则将/;+51的背景区域映射到/;上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理/^=0.5/;+0.5/》+51;否则，步骤(4.2)对/二,进行填充步骤(4.2.1)利用所述的高分辨率图像4和变换模型M;填充图像，如果AT;有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型M^将所述高分辨率图像^变换到所述输出图像/二上，所述输出图像/二中重叠的区域即可用/;的灰度值进行填充，步骤(4.2.2)对背景部分，如果所述输出图像/二的未填充部分包含背景像素，则直接利用中对应的有效像素进行填充，步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)a)所述的变换模型M;无效b)所述的高分辨率图像^不包含完整的感兴趣目标c)步骤(3.5.3)中判断所述的高分辨率图像/;是模糊的图像步骤(4.2.3.1)建立和更新参考样本队列参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本a)所述的变换模型M^有效；b)所述的高分辨率图像^包含完整的感兴趣目标；c)所述的高分辨率图像^不是模糊的图像；参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的/丄和/》，用SP'-^《，S/^表示，其中S《表示第/帧只包含前景目标的低分辨率图像固定大小参考帧，大小为40x40，Si^表示第/帧只包含前景目标的与Sg相对应的高分辨率图像的参考帧，大小为200x200，采用先入先出的策略更新参考帧队列，步骤(4.2.3.2)在所述参考帧队列中査找与当前帧最匹配的参考帧5T《对于第t帧，我们只考虑/工中完全包含目标的矩形图像区域w6(《)，用下面的步骤计算参考帧队列中所有的Si^-l,2,…,60与犯Z)(/D的相似度步骤(4.2.3.2.1)计算5^到做6(/工)的平移变换模型(血，办)r选取初始值为犯6(/i)中前景目标中心点坐标与S《中前景目标中心点的差，用基于迭代的梯度下降优化算法求得平移变换模型(血,办f，步骤(4.2.3.2.2)用下面的公式计算相似度exp广1ASI(w6(/丄))(P)-M(P-(成)I其中，Fo^g(SP〗)是S巧的前景目标的像素集合，Foreg(/D是《前景目标的像素集合，p是Sg经过平移变换后其前景目标像素集合与Fweg(《)的交集中的一个像素，M^(力是交集中像素的个数，如果交集的像素个数小于Foreg(SP/)像素个数的60%，或者小于Fweg(")像素个数的60%，则令相似度为0，如果当前帧t有效，则取本帧为相关参考帧，定义为5P^'，即^/;="否贝U，则取队列中与犯6(/l)相似度最大的参考帧为相关参考帧，若最大相似度小于77^D-exp(-20),则认为^6(/D没有相关参考帧，即S尸^'无效，转到策略(3);否则SP^有效，步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场F、由邻近共三帧及其对应的参考帧S户^',=f-1,W+1进行估计步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从5^《'到S《《的平移变换模型，然后用此模型将SPJ^变换到Si^，从而去除了两者之间的整体运动；同理，对5P/"'进行同样操作，得到去除整体运动的S^';对当前帧，即第t帧，令W-Si，步骤(4.2.3.2.3.2)利用调整后的5/^,5《，S《"来估计高分辨率的光用Opencv提供的Lucas-Kanade光流算法分别估计从S《到S/^和57^之间的光流场^二和^P则步骤(4.2.3.2.4)估计帧内低分辨率图像光流场r、同样采用Opencv提供的Lucas-Kanade光流算法估计S/f,与w6(/D之间的光流场巧，将其放大5倍即可得到"，步骤(4.2.3.2.5)如果S户W有效，估计SP/'与/二,之间的最终光流场i^，F;由下面的优化问题解得"力^其中F是图像有效区域，(x，力是F中的一个像素，"和v分别是"O，力和v(x,力的简写，分别代表i^在0,力点沿x方向和;;方向的分量，(^，)代表J^在(x,力处的取值，A(x,力是权重系数，取为^(;c,力-exp(-ll[，vJI1/10),("丄,vj代表"在(;c，力处的取值，《20,力是权重系数，取为^20，力=1，如果r"有效，贝1」取"=2,^=1，否则，取"=0，^=1，步骤(4.2.3.2.6)填充输出图像，用S《《'经过光流场F;的变换后采用双线性插值填充输出图像的前景部分，步骤(4.2.4)对还未填充的区域，用低分辨率的图像《放大并用双线性插值得到，用步骤(3.3)中所述的方法调整输出图像中区域&和A，与^灰度值保持一致，其中^是所述输出图像/L中用步骤(4.2.1)填充的图像区域，A是所述输出图像C中用步骤(4.2.2)填充的图像区域，^是所述输出图像/二中用步骤(4.2.3)填充的图像区域，/4是所述输出图像/:,中用步骤(4.2.4)填充的图像区域，调整《时，只用&与所述高分辨率背景模型重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素，调整&时，亦只用及4与所述高分辨率背景模型/^重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，步骤(4.4)输出图像空间连续性调整对于步骤(4.3)中所述的输出图像区域^，&和及4作如下处理先对边界部分用5x5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3x3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域^部分保持不变。本发明首先解决了不同分辨率视频之间的图像配准问题，其次提出四种顺序填充方式，充分利用了当前高分辨率信息以及历史高分辨率信息来填充目标视频。通过这样处理后的结果可以用于犯罪取证、监控记录保存、运动目标的行为分析等，实验结果表明本发明提出的方法很实用。目前，在所有可以查到的专利或发表文献中，尚没有发现类似的报道和专利。附图说朋图l.是双目PTZ视觉系统高分辨率视频稳定化系统的流程图；图2.是灰度值调整示意图2(a)为分段线性模型的拟合结果；2(b)为原始的低分辨率图像灰度直方2(c)为高分辨率图像灰度直方图；3(d)为调整后的低分辨率图像灰度直方图3.是光流场计算流程图3(a)帧间高分辨率图像光流场计算流程图；3(b)帧内低分辨率图像光流场计算流程图。符号说明/第f帧时低分辨率图像，4:第f帧时高分辨率图像，第f帧时低分辨率的背景图像，第Z帧时更新的对应/^的高分辨率的背景图像，《—第一贞时低分辨率图像中的矩形目标区域，对/l的灰度进行调整后的图像，耐用M工w对/;进行变换后的图像，/」第f帧时输出图像，A。输出图像相对于低分辨率的目标区域的放大倍数，M^1:第f帧时"和^之间的初步配准模型，M;2:第r帧时"和4之间的精确配准模型，M^:第？帧时"和/;之间最终的配准模型，第y帧高分辨率图像到第/帧高分辨率图像的变换模型，S《第/帧只包含前景目标的低分辨率图像固定大小参考帧(40x40)，S&:第z'帧只包含前景目标的与S《相对应的高分辨率图像的参考帧(200x200)，输出图像中用步骤(4.2.1)填充的图像区域，&:输出图像中用步骤(4.2.2)填充的图像区域，i3:输出图像中用步骤(4.2.3)填充的图像区域，i4:输出图像中用步骤(4.2.4)填充的图像区域。具体实施例方式本发明的核心思想是首先利用不同分辨率下的图像配准信息，确定输出视频的可见视场，然后通过当前帧的高分辨率信息和历史的高分辨率信息，对视场进行填充，填充原则是尽可能采用高分辨率信息。最后对于无法填充的区域，采用插值放大的低分辨率图像以保证视频的完整性。本发明中主要包括以下三项技术第一，不同分辨率图像的配准。本发明结合了基于特征点和基于直接像素灰度的两种方法，设计了一种"三步配准方法"，可以有效解决该问题。第二，填充高分辨率信息的策略。本发明首先利用当前帧的高分辨率信息对区域进行直接填充，对于无法填充的区域，利用历史高分辨率信息进行填充，其基本填充思路为对需要填充的视场中的每一个像素进行前景和背景分类。背景层可以通过构造一个高分辨率背景模型来进行填充；前景层通过基于样本和相对运动场估计的方法进行填充。第三，后处理。如果相邻像素采用了不同分辨率的填充信息，可能导致单帧图像中的不平滑，因此需要通过必要的后处理来提高可视化效果。本发明应用于双目远距离视觉系统，两个PTZ摄像机中，其中一个采用低分辨率作为静止摄像机使用，用于监控全景；另一个摄像机采用高分辨率，可以通过手动或者自动改变视角来跟踪感兴趣目标。本发明的目标是对两路不同分辨率的视频进行处理，得到一个高分辨率稳定的视频。本系统用普通PC计算机进行计算，对操作系统没有要求。系统流程图如图l所示，具体如下(1)不同分辨率视频图像之间的配准视频稳定化目前仍然缺乏一个精确地定义，一般来说它主要有两个目的1)感兴趣的目标必须位于图像中心附近；2)运动要尽量连续和光滑。本发明综合考虑这两种目的，首先选择低分辨率图像中目标所在的矩形区域对应的高分辨率图像区域作为输出图像4，然后计算采集的高分辨率图像与输出图像的映射模型。在计算/;和/二,的配准模型时，因为/二,和目标区域C之间只有尺度变换关系，且尺度因子/t。为定值，因此只需要4和"的变换模型。又由于两个摄像机的距离很小，相对于监控场景的距离可以忽略不计，因此选择仿射模型作为/;和"的变换模型。先采用特征点匹配的方法估计初步仿射模型，然后通过这个仿射模型对/i的灰度值进行调整，最后用基于像素的直接方法估计精确的仿射模型。本系统对高分辨率和低分辨率图像之间的配准模型有两个要求准确性和帧间的平滑性。模型的准确性可以保证低分辨率全景图像作为联系不同时刻高分辨率图像之间关系的桥梁，并且当高分辨率信息无效时，可以采用插值后的全景图像进行填充；模型的平滑性，避免相邻帧间的小范围抖动。模型的准确性已经由上面的两步配准保证，它体现在，选定场景中的某个固定点后，每一时刻，该点从全景图像通过仿射模型变换到高分辨率图像中后，与该点的真实坐标相差尽可能小。而平滑性体现在，不同时刻仿射到高分辨率图像中的点的坐标相互差异应尽可能小。絲條嚴蔬'首先利用Mean-shift跟踪算法(这是一种经典并且用途很广的跟踪算法)求得感兴趣目标的轨迹。考虑到平滑性要求，用邻域内(50帧)的目标所跟踪的中心进行均值平滑。用一个矩形框C表示包含该目标的区域，其长宽分别为64和48像素，中心即为平滑后的目标中心。因为本发明适用于远距离监控系统，因此设定输出的视频图像/二的尺度为/l,的、倍，系统中设定yt。=5。为减小计算配准模型的计算量，首先把每帧的图像转换为灰度图像。在跟踪目标的同时，利用滑动平均方法求取背景模型(更新系数为0.05)，对低分辨率视频建立高斯背景模型，从而得到低分辨率图像《中的前景区域和以及背景图像/^。微赢忠方兹齢棘微微，因为^和/i之间的放大倍数未知，选择具有尺度不变性的特征点算子。本系统中采用的特征点算子是SIFT，这是目前用的最广的一种特征点之一。为了降低计算量，只计算/[目标区域C中的特征点。在进行特征匹配时，采用最近邻法得到匹配特征点对。若匹配的特征点对的个数少于10，则认为M^^无效，不再求取M^。否则，利用这些特征点对估计初步的仿射模型A^^,估计方法如下设高分辨率图像4与低分辨率图像目标区域《,。,的SIFT匹配特征点对为<table>tableseeoriginaldocumentpage22</column></row><table>r二(爿T^4)一Ay,乂，x=力2、1000000x〗1雄澄鹏本发明采用的方法是对两幅图中匹配上的特征点集分别估计一个包含所有特征点的最小凸多边形，然后对多边形内的像素灰度值进行采样，采用类似直方图均衡的方法，找到灰度映射关系。关于映射模型可以有多种选择，采用的是分段线性拟合的方法。首先对灰度直方图进行累计，得到累计直方图^a^("是一个关于)t的单调递增函数。选取映射模型为三段分片线性模型。令灰度集合《={A::02J簡(A)<0.05}K2={A::0.05SJc一)<0.95}&=":0.95SJcc"(/t)S1}利用下面的目标函数线性拟合A:e《2时4和/》之间的灰度值映射函数M/(A;):其中，Ar^和^co^分别表示所述的两幅图像上的累积分布直方图。为了保证灰度的连续性以及有效性，用剩余两部分灰度集合&，《,分别拟合一个线性模型，使得AT/(0)-0，M/(255)=255。最后根据映射模型i^/("调整/工的灰度值，得到/(——。如图2，图(a)为分段线性模型的拟合结果，图(b)表示原始全景低分辨率图像的直方图，图(c)表示高分辨率图像的直方图，图(d)低分辨率图像经过灰度映射模型调整后的直方图。从图中可以看出调整后的直方图与高分辨率图像的直方图更加接近，从而为后续的直接基于像素方法的精配准做好了准备。其中，ho1-o1oo1力1o1ol力ol:^o1X1o1X2o直接慕f瀠素方兹仿^仿教凝教通过基于特征点的粗配准可以得到两图之间的初步仿射模型M;,,以及两图灰度之间的映射关系7kT/(Q。本系统首先用M^^对4进行变换，得到^。^然后利用^。=/3><3作为初值，进行迭代估计更准确的映射模型。优化目标为下式的最小化m,=叫^11"|4—。4(^力-/^/",:^肘))||其中/(x,，M)是用同构坐标变换函数，优化问题用基于梯度的Hessian矩阵方法迭代求解。其中/是同构坐标变换函数，计算方法是-0',y',If=M(Xy，1),/0，y，iV/)=(;c',y')如果M,满足下面两个条件中的任何一个，则认为M,无效，跳出AT;的计算。a)11《2-4JL〈0.3;b)IICIL<4。其中，M,=[iM产],[i^2t^]是M,的前两行。如果M,有效，且M;有效，则<^=A4n<^，否则跳出下面的步骤，不再计算M;。先求取两幅高分辨率图像之间的映射模型mj。由于直接求解高分辨率图像之间的映射模型会存在很多问题，首先利用全景图像序列得到的背景区域对高分辨率图像区域进行过滤，只保留其背景部分，这样可以去除由于前景运动引起的配准误差；然后利用在第一步粗匹配中已经提取的SIFT特征点，对处于背景区域的特征点进行匹配，并估计变换模型，同样若特征点对数目小于IO则认为MJ无效。再根据下面的公式求取平滑模型M^(+w其中，w,.是高斯权重系数，W=5，《,=_^e2^("=1.5)，《取值为&={1，如果71<和7^//2均有效'—lo,其它情况最后计算当前帧的相对模糊度6,'L[血2(P,)+办2(A)]其中，和分别是图像沿着x和j;方向上的梯度。如果6,〉1.3min化一,j，则认为当前帧为模糊图像，并设定m^无效。(2)图像补全由于高分辨率图像很可能不能完全覆盖需要输出的图像区域，因此为了使输出图像完整化，需要对高分辨率图像不可见的区域进行填充。本系统依次采用了四种策略对输出图像进行填充，以使高分辨率信息尽可能多地被利用。最后对图像进行了后处理，以保证图像灰度值的连续性，以及空间连续性。具体步骤为録裔分辦率萝週像..前面已经对低分辨率图像"进行了前景和背景分割，如果当前图像的i^L有效，通过/丄中的背景区域/^可以得到当前高分辨率图像/》中的背景区域。由第l，2，，t+50帧中的高分辨率背景区域来更新背景模型/^,对于下一帧的背景模型/;;1，如果m^有效，则将/;;51的背景区域映射到/^上，然后对于重叠区域用o.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理/^=0.5/^+0.5/;;51;否则，微7蕭毐分層賓充.如果m^有效，则可以通过at^将/;变换到/L上，重叠的区域即可用4进行填充。微2帝羸分辨率萝煮游赏充.如果输出图像的未填充部分包含背景像素，则可以利用/^填充。微3薪f参考纖充.本策略基于最佳参考样本和相对运动场的算法进行填充，其关键在与以下几个方面1)参考样本集合的构成与更新；2)对待填充的帧，如何选择最佳参考样本；3)如何计算高分辨率下的相对运动场，并且能够兼顾时间和空间连续性。所谓待填充的帧指的是以第t帧为例，如果它满足下面三个条件之一，则该帧需要采用这种策略填充前景目标a)M;无效；b)/;不包含完整的感兴趣目标；c)^是模糊的图像(见上面相对模糊度4的定义)。1)建立和更新参考帧队列参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的《和4，用5尸'={5《^《}表示(见前定义)。采用先入先出的策略更新参考帧队列。队列最大长度取为60。如果当前第t帧满足下面三个条件，则该帧将产生一个参考样本a)M^有效b)/;包含完整的感兴趣目标c)/〖不是模糊的图像2)选择当前帧的相关参考帧Si^力对于第t帧，只考虑/工中完全包含目标的区域，定义为^6(/工)，计算参考帧队列中所有的>^(/=1,2,...,60)与^)(《)的相似度，相似度的计算方法如下先计算SP〗到w6(《)的平移变换模型(血,办f。选取初始值为w6(/D中前景目标中心点坐标与S《中前景目标中心点的差，用基于Hessian矩阵的牛顿迭代算法求得平移变换模型(血,办f。再用下面的公式计算相似度为exp1ZI(S"6(/丄))(P)—W(p—(&，)I其中，i^egC^)是Sg的前景目标的像素集合，Fweg(《)是/1前景目标的像素集合，p是S《经过平移变换后其前景目标像素集合与Fweg(/D的交集中的一个像素，iV"m(p)是交集中像素的个数。如果交集的像素个数小于FwegOS《)像素个数的60%，或者小于Fo^g(/D像素个数的6(F。，则令相似度为0。如果该帧有效，则取本帧为相关参考帧，定义为5P^'，即^乂="否则，取队列中与^6(《)相似度最小的参考帧为相关参考帧。若最大相似度小于77^D-exp(-20)，则认为做6(/))没有相关参考帧，即S尸^无效；否则SP"/'有效。3)估计帧间高分辨率图像光流场r"由S尸，(/=卜1,,,"1)估计"，步骤如下第一步，将Si^;'，Si^力，S《《'调整为SI^，SP/，SP二，使它们在一个统一的具有更高可比性的尺度。这一步的原因是^/,0'=卜1，+1)是在不同时刻采集，它们可能存在尺度和平移的变化，如果可以预先对其进行调整，可以提高它们之间的可比性，减小后面进行光流估计时引入的误差。可以假设采用仿射变换(本系统中只考虑尺度变换和平移变换)。因为第f帧是处理的目标，因此以《中目标中心和尺度作为参考。第二步，利用调整后的sp/—,，sp,'，si^来估计高分辨率的光流场r"之所以釆用光流场，是因为虽然这些参考帧之间已经经过调整，但是在图像内容上还是存在差异，这种差异用一般的模型(例如仿射、投影模型)不足以准确描述。分别用金字塔Lucas-Kanade方法估计SP/到Sg"和的光流场P^—,和，按照帧间连续性假设，可以近似认为帧间光流满足线性模型，即理想状态下，sp/中的(x,力点处的光流fj—A力=-Oa力。因此从SP;到目标帧/f的光流场"可以用来近似，即4)估计帧内低分辨率图像光流场J^考虑利用M^(,)调整后的做6(/fO(记为犯6(/f')—.)到toK《)的光流场。f^虽然已经包含了时间和空间连续性的假设，但是因为57f和目标帧/,之间在局部可能存在比较大的差异，此时《-,(x,力-《+^,力的假设可能不满足而导致^(;c,力无效，或者出现奇异；还有一种情况就是si^和si^无效，此时r"无效，因此需要建立直接从SP('到目标帧/f之间的对应关系。由于/f为未知的目标图，只有通过与之对应的低分辨率图像^6(/f')。力和toK《)来求取。由于w》(/^)—.和tor(/l)之间在局部可以看作是平滑的，因此，虽然这个光流场是低尺度下求取的，将其放大到/f的尺度下后，仍然可以体现这种大致的局部差异。本系统中用金字塔Lucas-Kanade方法估计)耐与toK《)之间的光流场巧，取"=5尸丄'。计算J/"和W的流程如图3所示。5)估计Si^与/^之间的光流场《如果SPre/'有效，则估计光流场F;。从SP/到目标帧/二的光流场主要由以下三部分构成:a)基于高分辨率图像的光流场J^，利用调整后为SIlj，SP,'，SP/+1。作用是体现时间连续性；b)基于低分辨率的光流场f^，利用做6(/f')^与tor(《)。作用是体现空间的位置准确性，特别是在r"无效的情况下(例如临近帧没有找到对应的SP);c)光流场平滑，去除奇异的光流值(如果7H和F匸在估计的时候已经考虑到了平滑，这一步可以省略)；巧可以用下面的优化框架解得mini;=/J]^0，力[(m-"h)2+(v-vfl)2]"力w其中K是图像有效区域，(jc,力是F中的一个像素，m和v分别是"(x，力和v(;c,力的简写，分别代表巧在(x，力点沿^方向和;;方向的分量。(^,)代表"在(;c,力处的取值，^0,力是权重系数，取为^O,力-exp(-ll0^，Vw)11/10)。(&,^)代表P在(x，力处的取值，^(x,力是权重系数，取为^(;c，力-l。"和y为比例因子，当邻接帧有效时，"取值较大，表明邻域信息权重更高，时间和空间连续性占主导地位；若邻接帧无效，则需要着重考虑空间准确性，此时^取较大值。本系统中，如果相邻的参考帧有效，贝'J取々-2"否则，6)填充输出图像用SP，经过光流场i^的变换后采用双线性插值填充输出图像的前景部分。贵游4瓶分辨,赏充.对还未填充的区域，用低分辨率的图像《双线性插值得到。1)灰度值调整用第一阶段灰度值调整的方法调整《和及4与及2灰度值保持一致。其中调整^时，只用与/;重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素。调整及4时。亦只用与/;重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整。2)空间连续性调整对输出图像区域《，^和^作如下处理先对边界部分用5x5的结构单元进行膨胀，再对膨胀后的边界部分用3x3的均值滤波器进行平滑。对输出图像区域^部分保持不变。权利要求1.可变视角及分辨率的双目视觉系统目标图像稳定化方法，其特征在于，所述方法在PC机中依次按以下步骤实现步骤(1)，使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；步骤(2)，所述PC机从所述第一个PTZ摄像机中输入记录全景的图像，称为低分辨率图像ILt，并把每帧图像转换为灰度图像；所述PC机从所述第二个PTZ摄像机中输入记录运动目标的图像，称为高分辨率图像IHt，把每帧图像转换为灰度图像，并用所述的两个灰度图分别代替所述的ILt和IHt；步骤(3)，不同分辨率视频图像之间的配准选择第t帧低分辨率图像ILt中所述运动目标所在的矩形区域ILt_tar所对应的高分辨率图像作为系统的输出图像Ioutt，然后计算所述高分辨率图像IHt和所述低分辨率图像ILt之间的映射模型MLHt，具体如下步骤(3.1)，所述矩形区域ILt_tar的选定，步骤(3.1.1)，对所述低分辨率图像ILt求取低分辨率背景模型ILBt，像素(x，y)处的更新公式为<mathsid="math0001"num="0001"><math><![CDATA[<mrow><msubsup><mi>I</mi><mi>LB</mi><mi>t</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>α</mi><mo>)</mo></mrow><msubsup><mi>I</mi><mi>LB</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>+</mo><mi>α</mi><msubsup><mi>I</mi><mi>L</mi><mi>t</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>,</mo></mrow>]]></math></maths>其中更新系数α＝0.05，初始低分辨率背景模型<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msubsup><mi>I</mi><mi>LB</mi><mrow><mi>t</mi><mo>=</mo><mn>0</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><msubsup><mi>I</mi><mi>L</mi><mrow><mi>t</mi><mo>=</mo><mn>0</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0002"file="A2009100889910002C2.tif"wi="38"he="4"top="174"left="139"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>如果<mathsid="math0003"num="0003"><math><![CDATA[<mrow><mo>|</mo><msubsup><mi>I</mi><mi>L</mi><mi>t</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><msubsup><mi>I</mi><mi>LB</mi><mi>t</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>></mo><msub><mi>T</mi><mi>LB</mi></msub><mo>,</mo></mrow>]]></math>id="icf0003"file="A2009100889910002C3.tif"wi="44"he="6"top="184"left="26"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>TLB＝20，则ILt在(x，y)属于前景区域，否则，该像素属于背景区域，步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像ILt以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在ILt图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64×48像素，最终得到的高分辨率输出图像Ioutt的尺寸为所述矩形区域的ILt_tar的ko倍，ko＝5，步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像ILt和高分辨率图像IHt之间的初步映射模型MLH1t步骤(3.2.1)，计算所述第t帧高分辨图像IHt和低分辨率图像ILt中目标区域ILt_tar的SIFT特征点，步骤(3.2.2)，对IHt中的每个特征点，分别计算它和所述低分辨率图像目标区域ILt_tar中的每个特征点之间的距离，即s12＝||v1-v2||，其中v1和v2分别表示两个特征点对应的SIFT特征向量，然后考虑距离最小的两组结果smin1和smin2，如果id="icf0004"file="A2009100889910003C1.tif"wi="21"he="4"top="77"left="130"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>Ts＝0.7，则smin1对应的特征点为匹配点，否则认为该点没有匹配特征点，如果两图之间的总匹配特征点对的个数少于10，则认为所述映射模型MLHt无效，转到步骤(4)，否则转到步骤(3.3)，步骤(3.2.3)，对所述的高分辨率图像IHt与所述低分辨率图像目标区域ILt_tar的SIFT匹配特征点对<mathsid="math0004"num="0004"><math><![CDATA[<mrow><mo>{</mo><mrow><mo>(</mo><msubsup><mi>x</mi><mi>i</mi><mn>1</mn></msubsup><mo>,</mo><msubsup><mi>y</mi><mi>i</mi><mn>1</mn></msubsup><mo>)</mo></mrow><mo>∈</mo><msubsup><mi>I</mi><mi>L</mi><mi>t</mi></msubsup><mo>,</mo><mrow><mo>(</mo><msubsup><mi>x</mi><mi>i</mi><mn>2</mn></msubsup><mo>,</mo><msubsup><mi>y</mi><mi>i</mi><mn>2</mn></msubsup><mo>)</mo></mrow><mo>∈</mo><msubsup><mi>I</mi><mi>H</mi><mi>t</mi></msubsup><mo>}</mo><mo>,</mo><mi>i</mi><mo>=</mo><mn>1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mi>n</mi><mo>,</mo></mrow>]]></math>id="icf0005"file="A2009100889910003C2.tif"wi="65"he="4"top="115"left="52"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>求取仿射变换矩阵<mathsid="math0005"num="0005"><math><![CDATA[<mrow><msubsup><mi>M</mi><mrow><mi>LH</mi><mn>1</mn></mrow><mi>t</mi></msubsup><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>m</mi><mn>1</mn></msub></mtd><mtd><msub><mi>m</mi><mn>2</mn></msub></mtd><mtd><msub><mi>m</mi><mn>3</mn></msub></mtd></mtr><mtr><mtd><msub><mi>m</mi><mn>4</mn></msub></mtd><mtd><msub><mi>m</mi><mn>5</mn></msub></mtd><mtd><msub><mi>m</mi><mn>6</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>]]></math>id="icf0006"file="A2009100889910003C3.tif"wi="39"he="17"top="125"left="28"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中参数通过下式求取[m1，m2，m3，m4，m5，m6]T＝(ATA)-1AX，其中，<mathsid="math0006"num="0006"><math><![CDATA[<mrow><mi>A</mi><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msubsup><mi>x</mi><mn>1</mn><mn>1</mn></msubsup></mtd><mtd><msubsup><mi>y</mi><mn>1</mn><mn>1</mn></msubsup></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><msubsup><mi>x</mi><mn>1</mn><mn>1</mn></msubsup></mtd><mtd><msubsup><mi>y</mi><mn>1</mn><mn>1</mn></msubsup></mtd><mtd><mn>1</mn></mtd></mtr><mtr><mtd><msubsup><mi>x</mi><mn>2</mn><mn>1</mn></msubsup></mtd><mtd><msubsup><mi>y</mi><mn>2</mn><mn>1</mn></msubsup></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><msubsup><mi>x</mi><mn>2</mn><mn>1</mn></msubsup></mtd><mtd><msubsup><mi>y</mi><mn>2</mn><mn>1</mn></msubsup></mtd><mtd><mn>1</mn></mtd></mtr><mtr><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd></mtr><mtr><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd></mtr><mtr><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd><mtd><mo>.</mo></mtd></mtr><mtr><mtd><msubsup><mi>x</mi><mi>n</mi><mn>1</mn></msubsup></mtd><mtd><msubsup><mi>x</mi><mi>n</mi><mn>1</mn></msubsup></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><msubsup><mi>x</mi><mn>1</mn><mn>1</mn></msubsup></mtd><mtd><msubsup><mi>x</mi><mn>1</mn><mn>1</mn></msubsup></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>]]></math>id="icf0007"file="A2009100889910003C4.tif"wi="50"he="41"top="157"left="73"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths><mathsid="math0007"num="0007"><math><![CDATA[<mrow><mi>X</mi><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msubsup><mi>x</mi><mn>1</mn><mn>2</mn></msubsup></mtd></mtr><mtr><mtd><msubsup><mi>y</mi><mn>1</mn><mn>2</mn></msubsup></mtd></mtr><mtr><mtd><msubsup><mi>x</mi><mn>2</mn><mn>2</mn></msubsup></mtd></mtr><mtr><mtd><msubsup><mi>y</mi><mn>2</mn><mn>2</mn></msubsup></mtd></mtr><mtr><mtd><mo>.</mo></mtd></mtr><mtr><mtd><mo>.</mo></mtd></mtr><mtr><mtd><mo>.</mo></mtd></mtr><mtr><mtd><msubsup><mi>x</mi><mi>n</mi><mn>2</mn></msubsup></mtd></mtr><mtr><mtd><msubsup><mi>y</mi><mi>n</mi><mn>2</mn></msubsup></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>]]></math>id="icf0008"file="A2009100889910003C5.tif"wi="17"he="41"top="157"left="127"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>步骤(3.3)，调整所述低分辨率图像ILt的灰度值，得到校正图像ILt_adj步骤(3.3.1)，选定计算灰度映射的区域对步骤(3.2)中所述两幅图像IHt和ILt_tar中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，步骤(3.3.2)，统计上述凸多边形内的灰度直方图hist(k)，k＝0，1，…，255，按下式得到累计直方图<mathsid="math0008"num="0008"><math><![CDATA[<mrow><mi>Accu</mi><mrow><mo>(</mo><mi>K</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>K</mi></munderover><mi>hist</mi><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow></mrow><mrow><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mn>32</mn></munderover><mi>hist</mi><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow></mrow></mfrac><mo>,</mo><mi>K</mi><mo>=</mo><mn>0,1</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mn>255</mn></mrow>]]></math></maths>步骤(3.3.3)，用Accu1和Accu2分别表示ILt和IHt的累积分布直方图，按下述方法划分三个灰度集合G1，G2，G3G1＝{K0≤A≤Accu1(K)＜0.05}G2＝{K0.05≤Accu1(K)＜0.95}G3＝{K0.95≤Accu1(K)≤1}选取映射模型为三段分片线性模型<mathsid="math0009"num="0009"><math><![CDATA[<mrow><msup><mi>K</mi><mn>2</mn></msup><mo>=</mo><mi>MI</mi><mrow><mo>(</mo><msup><mi>K</mi><mn>1</mn></msup><mo>)</mo></mrow><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><msub><mi>a</mi><mn>1</mn></msub><msup><mi>K</mi><mn>1</mn></msup><mo>+</mo><msub><mi>b</mi><mn>1</mn></msub><mo>,</mo><msup><mi>K</mi><mn>1</mn></msup><mo>∈</mo><msub><mi>G</mi><mn>1</mn></msub></mtd></mtr><mtr><mtd><msub><mi>a</mi><mn>2</mn></msub><msup><mi>K</mi><mn>1</mn></msup><mo>+</mo><msub><mi>b</mi><mn>2</mn></msub><mo>,</mo><msup><mi>K</mi><mn>1</mn></msup><mo>∈</mo><msub><mi>G</mi><mn>2</mn></msub></mtd></mtr><mtr><mtd><msub><mi>a</mi><mn>3</mn></msub><msup><mi>K</mi><mn>1</mn></msup><mo>+</mo><msub><mi>b</mi><mn>3</mn></msub><mo>,</mo><msup><mi>K</mi><mn>1</mn></msup><mo>∈</mo><msub><mi>G</mi><mn>3</mn></msub></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>]]></math>id="icf0010"file="A2009100889910004C2.tif"wi="63"he="20"top="110"left="94"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中K1和K2分别表示ILt和IHt的灰度值，利用下面的目标函数线性拟合K∈G2时所述图像ILt和IHt之间的灰度值映射函数K2＝MI(K1)＝a2K1+b2，K1∈G2用灰度集合G1、G3分别拟合模型K2＝MI(K1)＝a1K1+b1，K1∈G1和K2＝MI(K1)＝a3K1+b3，K1∈G3，使得MI(0)＝0，MI(255)＝255，步骤(3.3.4)，根据ILt和IHt之间的灰度值映射模型MI(k)调整ILt的灰度值，得到ILt_adj，步骤(3.4)基于像素的直接配准方法估计ILt和IHt之间更精确的仿射模型MLH2t步骤(3.4.1)，用步骤(3.2)中所述的MLH1t对所述的高分辨率图像IHt进行变换，得到图像IHt_adj，变换方法是所述图像IHt_adj在坐标点(xi，yi)的值<mathsid="math0010"num="0010"><math><![CDATA[<mrow><msubsup><mi>I</mi><mrow><mi>H</mi><mo>_</mo><mi>adj</mi></mrow><mi>t</mi></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><msubsup><mi>I</mi><mi>H</mi><mi>t</mi></msubsup><mrow><mo>(</mo><mi>f</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub><mo>,</mo><msup><mrow><mo>(</mo><msubsup><mi>M</mi><mrow><mi>LH</mi><mn>1</mn></mrow><mi>t</mi></msubsup><mo>)</mo></mrow><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>)</mo></mrow><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0012"file="A2009100889910004C4.tif"wi="65"he="5"top="233"left="97"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中f是同构坐标变换函数，计算方法是f(x，y，M)＝(x′，y′)，其中x和y′由[x′，y′，1]T＝M[x，y，1]T得到，步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型Mrefinedt<mathsid="math0011"num="0011"><math><![CDATA[<mrow><msubsup><mi>M</mi><mi>refined</mi><mi>t</mi></msubsup><mo>=</mo><mi>arg</mi><munder><mi>min</mi><mi>M</mi></munder><munder><mi>Σ</mi><mi>i</mi></munder><mo>|</mo><mo>|</mo><msubsup><mi>I</mi><mrow><mi>H</mi><mo>_</mo><mi>adj</mi></mrow><mi>t</mi></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><msubsup><mi>I</mi><mrow><mi>L</mi><mo>_</mo><mi>adj</mi></mrow><mi>t</mi></msubsup><mrow><mo>(</mo><mi>f</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>y</mi><mi>i</mi></msub><mo>,</mo><mi>M</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow>]]></math></maths>其中(xi，yi)是所述图像IHt_adj的第i个像素点坐标，f见步骤(3.4.1)，迭代初始值M0设为3×3的单位矩阵，步骤(3.4.3)，如果步骤(3.4.2)中所求得的Mrefinedt满足下面两个条件中的任何一个，则认为Mrefinedt和MLH2t无效，不再对其进行计算，转到步骤(4)，a)<mathsid="math0012"num="0012"><math><![CDATA[<mrow><msub><mrow><mo>|</mo><mo>|</mo><msubsup><mi>R</mi><mrow><mn>2</mn><mo>×</mo><mn>2</mn></mrow><mi>M</mi></msubsup><mo>-</mo><msub><mi>I</mi><mrow><mn>2</mn><mo>×</mo><mn>2</mn></mrow></msub><mo>|</mo><mo>|</mo></mrow><mo>∞</mo></msub><mo><</mo><mn>0.3</mn><mo>;</mo></mrow>]]></math>id="icf0014"file="A2009100889910005C2.tif"wi="34"he="4"top="88"left="44"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>b)<mathsid="math0013"num="0013"><math><![CDATA[<mrow><msub><mrow><mo>|</mo><mo>|</mo><msubsup><mi>t</mi><mrow><mn>2</mn><mo>×</mo><mn>1</mn></mrow><mi>M</mi></msubsup><mo>|</mo><mo>|</mo></mrow><mo>∞</mo></msub><mo><</mo><mn>4</mn><mo>;</mo></mrow>]]></math>id="icf0015"file="A2009100889910005C3.tif"wi="19"he="4"top="99"left="44"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中，<mathsid="math0014"num="0014"><math><![CDATA[<mrow><msubsup><mi>M</mi><mi>refined</mi><mi>t</mi></msubsup><mo>=</mo><mtable><mtr><mtd><mrow><mfencedopen='['close=']'><mtable><mtr><mtd><msup><mi>R</mi><mi>M</mi></msup></mtd><mtd><msup><mi>t</mi><mi>M</mi></msup></mtd></mtr></mtable></mfenced></mrow></mtd></mtr></mtable><mo>,</mo></mrow>]]></math>id="icf0016"file="A2009100889910005C4.tif"wi="36"he="6"top="109"left="51"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>[R2×2Mt2×1M]是Mrefinedt的前两行，步骤(3.4.4)，计算更精确的仿射模型<mathsid="math0015"num="0015"><math><![CDATA[<mrow><msubsup><mi>M</mi><mrow><mi>LH</mi><mn>2</mn></mrow><mi>t</mi></msubsup><mo>=</mo><msubsup><mi>M</mi><mrow><mi>LH</mi><mn>1</mn></mrow><mi>t</mi></msubsup><msubsup><mi>M</mi><mi>refined</mi><mi>t</mi></msubsup><mo>,</mo></mrow>]]></math>id="icf0017"file="A2009100889910005C5.tif"wi="36"he="5"top="120"left="104"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>步骤(3.5)根据邻域2N+1帧图像对所述输出图像Ioutt进行平滑处理，取N＝5，步骤(3.5.1)，求取第j帧高分辨率图像到第i帧高分辨率图像的变换模型Mji由步骤(3.1.1)中所求得的ILt中的前景区域通过步骤(3.4.1)中的变换方法由所述的更精确的仿射模型MLH2t得到对应的IHt中的前景目标，进而得到IHt的背景区域，用步骤(3.2)中的方法，求取所述第j帧高分辨图像IHj和第i帧高分辨率图像IHi之间的变换模型Mji，步骤(3.5.2)求取平滑模型MLHt，<mathsid="math0016"num="0016"><math><![CDATA[<mrow><msubsup><mi>M</mi><mi>LH</mi><mi>t</mi></msubsup><mo>=</mo><mfrac><mrow><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mi>t</mi><mo>-</mo><mi>N</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>N</mi></mrow></munderover><msub><mi>ω</mi><mi>i</mi></msub><msub><mi>δ</mi><mi>i</mi></msub><msubsup><mi>M</mi><mi>i</mi><mi>t</mi></msubsup><msubsup><mi>M</mi><mrow><mi>LH</mi><mn>2</mn></mrow><mi>i</mi></msubsup></mrow><mrow><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mi>t</mi><mo>-</mo><mi>N</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>N</mi></mrow></munderover><msub><mi>ω</mi><mi>i</mi></msub><msub><mi>δ</mi><mi>i</mi></msub></mrow></mfrac></mrow>]]></math></maths>其中，ωi是高斯权重系数，N＝5，<mathsid="math0017"num="0017"><math><![CDATA[<mrow><msub><mi>ω</mi><mi>i</mi></msub><mo>=</mo><mfrac><mn>1</mn><mrow><msqrt><mn>2</mn><mi>π</mi></msqrt><mi>σ</mi></mrow></mfrac><msup><mi>e</mi><mfrac><msup><mrow><mo>(</mo><mi>i</mi><mo>-</mo><mi>t</mi><mo>)</mo></mrow><mn>2</mn></msup><mrow><mn>2</mn><msup><mi>σ</mi><mn>2</mn></msup></mrow></mfrac></msup><mo>,</mo></mrow>]]></math>id="icf0019"file="A2009100889910005C7.tif"wi="31"he="11"top="236"left="97"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>σ＝1.5，δi取值为步骤(3.5.3)计算当前帧的相对模糊度bt<mathsid="math0018"num="0018"><math><![CDATA[<mrow><msub><mi>b</mi><mi>t</mi></msub><mo>=</mo><mfrac><mn>1</mn><mrow><msub><mi>Σ</mi><msub><mi>p</mi><mi>t</mi></msub></msub><mo>[</mo><msup><mi>dx</mi><mn>2</mn></msup><mrow><mo>(</mo><msub><mi>p</mi><mi>t</mi></msub><mo>)</mo></mrow><mo>+</mo><msup><mi>dy</mi><mn>2</mn></msup><mrow><mo>(</mo><msub><mi>p</mi><mi>t</mi></msub><mo>)</mo></mrow><mo>]</mo></mrow></mfrac></mrow>]]></math></maths>其中，pt为所述第t帧高分辨率图像IHt中的像素点，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度，如果bt＞1.3min{bt-1，bt+1}，则认为当前帧为模糊图像，并设定MLHt无效；步骤(4)图像补全对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下步骤(4.1)估计高分辨率背景图像IHBt步骤(4.1.1)如果步骤(3)中所述的MLHt有效，通过步骤(3.4.1)中所述的变换方法由所述的变换模型MLHt变换得到与步骤(3.1.1)所述低分辨率图像ILt中的背景区域ILBt对应的IHt中的背景区域，步骤(4.1.2)对第t帧，用第1，2，…，t+50帧中的高分辨率背景区域来更新当前高分辨率背景模型IHBt，对于下一帧的背景模型IHBt+1，如果MLHt有效，则将IHt+51的背景区域映射到IHBt上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理<mathsid="math0019"num="0019"><math><![CDATA[<mrow><msubsup><mi>I</mi><mi>HB</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><mn>0.5</mn><msubsup><mi>I</mi><mi>HB</mi><mi>t</mi></msubsup><mo>+</mo><mn>0.5</mn><msubsup><mi>I</mi><mi>H</mi><mrow><mi>t</mi><mo>+</mo><mn>51</mn></mrow></msubsup><mo>;</mo></mrow>]]></math>id="icf0022"file="A2009100889910006C2.tif"wi="37"he="4"top="161"left="70"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>否则，<mathsid="math0020"num="0020"><math><![CDATA[<mrow><msubsup><mi>I</mi><mi>HB</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><msubsup><mi>I</mi><mi>HB</mi><mi>t</mi></msubsup><mo>,</mo></mrow>]]></math>id="icf0023"file="A2009100889910006C3.tif"wi="16"he="4"top="161"left="123"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>步骤(4.2)对Ioutt进行填充步骤(4.2.1)利用所述的高分辨率图像IHt和变换模型MLHt填充图像，如果MLHt有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型MLHt将所述高分辨率图像IHt变换到所述输出图像Ioutt上，所述输出图像Ioutt中重叠的区域即可用IHt的灰度值进行填充，步骤(4.2.2)对背景部分，如果所述输出图像Ioutt的未填充部分包含背景像素，则直接利用IHBt中对应的有效像素进行填充，步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)a)所述的变换模型MLHt无效b)所述的高分辨率图像IHt不包含完整的感兴趣目标c)步骤(3.5.3)中判断所述的高分辨率图像IHt是模糊的图像步骤(4.2.3.1)建立和更新参考样本队列参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本a)所述的变换模型MLHt有效；b)所述的高分辨率图像IHt包含完整的感兴趣目标；c)所述的高分辨率图像IHt不是模糊的图像；参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的ILt和IHt，用<mathsid="math0021"num="0021"><math><![CDATA[<mrow><msup><mi>SP</mi><mi>t</mi></msup><mo>=</mo><mo>{</mo><msubsup><mi>SP</mi><mi>L</mi><mi>t</mi></msubsup><mo>,</mo><msubsup><mi>SP</mi><mi>H</mi><mi>t</mi></msubsup><mo>}</mo></mrow>]]></math>id="icf0024"file="A2009100889910007C1.tif"wi="28"he="4"top="107"left="31"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示，其中SPLi表示第i帧只包含前景目标的低分辨率图像固定大小参考帧，大小为40×40，SPHi表示第i帧只包含前景目标的与SPLi相对应的高分辨率图像的参考帧，大小为200×200，采用先入先出的策略更新参考帧队列，步骤(4.2.3.2)在所述参考帧队列中查找与当前帧最匹配的参考帧id="icf0025"file="A2009100889910007C2.tif"wi="8"he="3"top="134"left="154"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>对于第t帧，我们只考虑ILt中完全包含目标的矩形图像区域sub(ILt)，用下面的步骤计算参考帧队列中所有的SPLi，i＝1，2，...，60与sub(ILt)的相似度步骤(4.2.3.2.1)计算SPLi到sub(ILt)的平移变换模型(dx，dy)T选取初始值为sub(ILt)中前景目标中心点坐标与SPLi中前景目标中心点的差，用基于迭代的梯度下降优化算法求得平移变换模型(dx，dy)T，步骤(4.2.3.2.2)用下面的公式计算相似度<mathsid="math0022"num="0022"><math><![CDATA[<mrow><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><mfrac><mn>1</mn><mrow><mi>Num</mi><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow></mrow></mfrac><munder><mi>Σ</mi><mrow><mi>p</mi><mo>∈</mo><mi>Foreg</mi><mrow><mo>(</mo><msubsup><mi>I</mi><mi>L</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>,</mo><mi>p</mi><mo>-</mo><msup><mrow><mo>(</mo><mi>dx</mi><mo>,</mo><mi>dy</mi><mo>)</mo></mrow><mi>T</mi></msup><mo>∈</mo><mi>Foreg</mi><mrow><mo>(</mo><msubsup><mi>SP</mi><mi>L</mi><mi>i</mi></msubsup><mo>)</mo></mrow></mrow></munder><mo>|</mo><mrow><mo>(</mo><mi>sub</mi><mrow><mo>(</mo><msubsup><mi>I</mi><mi>L</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>)</mo></mrow><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>-</mo><msubsup><mi>SP</mi><mi>L</mi><mi>i</mi></msubsup><mrow><mo>(</mo><mi>p</mi><mo>-</mo><msup><mrow><mo>(</mo><mi>dx</mi><mo>,</mo><mi>dy</mi><mo>)</mo></mrow><mi>T</mi></msup><mo>)</mo></mrow><mo>|</mo><mo>)</mo></mrow></mrow>]]></math></maths>其中，Foreg(SPLi)是SPLi的前景目标的像素集合，Foreg(ILt)是ILt前景目标的像素集合，p是SPLi经过平移变换后其前景目标像素集合与Foreg(ILt)的交集中的一个像素，Num(p)是交集中像素的个数，如果交集的像素个数小于Foreg(SPLi)像素个数的60％，或者小于Foreg(ILt)像素个数的60％，则令相似度为0，如果当前帧t有效，则取本帧为相关参考帧，定义为id="icf0027"file="A2009100889910007C4.tif"wi="11"he="5"top="267"left="139"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>即reft＝t；否则，则取队列中与sub(ILt)相似度最大的参考帧为相关参考帧，若最大相似度小于ThMAD＝exp(-20)，则认为sub(ILt)没有相关参考帧，即id="icf0028"file="A2009100889910008C1.tif"wi="8"he="3"top="43"left="132"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>无效，转到策略(3)；否则id="icf0029"file="A2009100889910008C2.tif"wi="8"he="3"top="54"left="41"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>有效，步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场VH，由邻近共三帧及其对应的参考帧id="icf0030"file="A2009100889910008C3.tif"wi="10"he="4"top="76"left="76"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>i＝t-1，t，t+1进行估计步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从id="icf0031"file="A2009100889910008C4.tif"wi="10"he="4"top="87"left="155"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>到id="icf0032"file="A2009100889910008C5.tif"wi="8"he="4"top="87"left="172"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>的平移变换模型，然后用此模型将id="icf0033"file="A2009100889910008C6.tif"wi="10"he="4"top="98"left="97"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>变换到SPt-1t，从而去除了两者之间的整体运动；同理，对id="icf0034"file="A2009100889910008C7.tif"wi="10"he="4"top="109"left="67"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>进行同样操作，得到去除整体运动的SPt+1t；对当前帧，即第t帧，令<mathsid="math0023"num="0023"><math><![CDATA[<mrow><msubsup><mi>SP</mi><mi>t</mi><mi>t</mi></msubsup><mo>=</mo><msubsup><mi>SP</mi><mi>H</mi><msub><mi>ref</mi><mi>t</mi></msub></msubsup></mrow>]]></math>id="icf0035"file="A2009100889910008C8.tif"wi="19"he="4"top="120"left="58"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>步骤(4.2.3.2.3.2)利用调整后的SPt-1t，SPtt，SPt+1t来估计高分辨率的光流场VH用Opencv提供的Lucas-Kanade光流算法分别估计从SPtt到SPt-1t和SPt+1t之间的光流场Vt，t-1H和Vt，t+1H，则<mathsid="math0024"num="0024"><math><![CDATA[<mrow><msup><mi>V</mi><mi>H</mi></msup><mo>=</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><mrow><mo>(</mo><msubsup><mi>V</mi><mrow><mi>t</mi><mo>,</mo><mi>t</mi><mo>-</mo><mn>1</mn></mrow><mi>H</mi></msubsup><mo>+</mo><msubsup><mi>V</mi><mrow><mi>t</mi><mo>,</mo><mi>t</mi><mo>+</mo><mn>1</mn></mrow><mi>H</mi></msubsup><mo>)</mo></mrow></mrow>]]></math></maths>步骤(4.2.3.2.4)估计帧内低分辨率图像光流场VL，同样采用Opencv提供的Lucas-Kanade光流算法估计id="icf0037"file="A2009100889910008C10.tif"wi="8"he="4"top="197"left="78"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>与sub(ILt)之间的光流场FLt，将其放大5倍即可得到VL，步骤(4.2.3.2.5)如果id="icf0038"file="A2009100889910008C11.tif"wi="8"he="4"top="219"left="77"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>有效，估计id="icf0039"file="A2009100889910008C12.tif"wi="8"he="4"top="219"left="108"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>与Ioutt之间的最终光流场FHt，FHt由下面的优化问题解得<mathsid="math0025"num="0025"><math><![CDATA[<mrow><mi>min</mi><mi>E</mi><mo>=</mo><mi>β</mi><munder><mi>Σ</mi><mrow><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>∈</mo><mi>V</mi></mrow></munder><msub><mi>ω</mi><mn>1</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>[</mo><msup><mrow><mo>(</mo><mi>u</mi><mo>-</mo><msub><mi>u</mi><mi>H</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><mi>v</mi><mo>-</mo><msub><mi>v</mi><mi>H</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>]</mo></mrow>]]></math></maths><mathsid="math0026"num="0026"><math><![CDATA[<mrow><mo>+</mo><mi>γ</mi><munder><mi>Σ</mi><mrow><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>∈</mo><mi>V</mi></mrow></munder><msub><mi>ω</mi><mn>2</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>[</mo><msup><mrow><mo>(</mo><mi>u</mi><mo>-</mo><msub><mi>u</mi><mi>L</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><mi>v</mi><mo>-</mo><msub><mi>v</mi><mi>L</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>]</mo></mrow>]]></math></maths>其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表FHt在(x，y)点沿x方向和y方向的分量，(uH，vH)代表VH在(x，y)处的取值，ω1(x，y)是权重系数，取为ω1(x，y)＝exp(-||[uH，vH]||/10)，(uL，vL)代表VL在(x，y)处的取值，ω2(x，y)是权重系数，取为ω2(x，y)＝1，如果VH有效，则取β＝2，γ＝1，否则，取β＝0，γ＝1，步骤(4.2.3.2.6)填充输出图像，用id="icf0042"file="A2009100889910009C1.tif"wi="8"he="4"top="70"left="49"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>经过光流场FHt的变换后采用双线性插值填充输出图像的前景部分，步骤(4.2.4)对还未填充的区域，用低分辨率的图像ILt放大并用双线性插值得到，步骤(4.3)灰度值调整用步骤(3.3)中所述的方法调整输出图像中区域R1和R4，与R2灰度值保持一致，其中R1是所述输出图像Ioutt中用步骤(4.2.1)填充的图像区域，R2是所述输出图像Ioutt中用步骤(4.2.2)填充的图像区域，R3是所述输出图像Ioutt中用步骤(4.2.3)填充的图像区域，R4是所述输出图像Ioutt中用步骤(4.2.4)填充的图像区域，调整R1时，只用R1与所述高分辨率背景模型IHBt重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素，调整R4时，亦只用R4与所述高分辨率背景模型IHBt重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，步骤(4.4)输出图像空间连续性调整对于步骤(4.3)中所述的输出图像区域R1，R2和R4作如下处理先对边界部分用5×5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域R3部分保持不变。全文摘要基于双目PTZ视觉系统的高分辨率视频稳定化方法属于视觉监控领域，其特征在于它同时利用由两路不同分辨率的视频，其中一路为低分辨率视角固定的全景图像，另一路为高分辨率变化视角的局部图像，包含感兴趣的运动目标。本发明建议采用两个PTZ摄像机以方便应用。高分辨率视频可以通过人工手动或者计算机自动控制摄像机运动得到。目标是得到一个完整、平稳的包含感兴趣运动目标的视频，并且尽可能采用高分辨率信息。本发明首先解决了不同分辨率视频之间的图像配准问题，其次提出四种顺序填充方式，充分利用了当前高分辨率信息以及历史高分辨率信息来填充目标视频。通过这样处理后的结果可以用于犯罪取证、监控记录保存、运动目标的行为分析等，实验结果表明本发明提出的方法很实用。文档编号H04N7/18GK101616310SQ20091008899公开日2009年12月30日申请日期2009年7月17日优先权日2009年7月17日发明者万定锐,杰周,瀚胡申请人:清华大学