精度。利用深度信息计算视差，可以利用视点合成"3Dimagewarping" 技术，或根据实际场合的特点采用更简洁的公式，计算视点变换之后的位置。
[0046] 本发明的超分辨（SR)是指多幅图超分辨，是利用不同视点的图像提取不同的有 用信息来获取高分辨率图像。一般意义上，符合多幅图来超分辨的算法都可以适用于本发 明。
[0047] 本发明中，输入对象是一组同一场景、不同视点的低分辨率图像以及对应的一组 同等分辨率的深度图，输出为一幅高分辨率的图像，利用深度信息计算出每个视点的像素 坐标在参考视点中的新坐标，即可实现每个视点图像到参考视点的视点变换，通过本发明 的方法代替以往超分辨技术中对应的图像配准方法，可使得超分辨效果更好。本发明的方 法简单、实用，符合实际情形，具有很强的普适性。
【附图说明】
[0048] 图1为本发明实施例的流程图；
[0049] 图2为本发明实施例中的图像转换示意图；
[0050] 图3a和图3b为实验中的输入图像及其对应的深度图；
[0051] 图4a为选取图片的部分区域做超分辨的图片示例；
[0052] 图4b为图4a所示图片部分进行bicubic插值处理的结果；
[0053] 图4c为图4a所示图片部分完成超分辨的结果。
【具体实施方式】
[0054] 以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的， 而不是为了限制本发明的范围及其应用。
[0055] 参阅图1和图2,根据本发明的一种实施例，实现多幅图超分辨的原理如下：
[0056] 输入是同一场景的一组低分辨率图像，输出是一幅高分辨率图像，这里的高分辨 率不仅仅是像素数目的更大，更重要的是图像的细节信息相对更丰富，更有序。这里使用一 个前向成像模型：
[0057] yi=DBWiX+ei (1)
[0058] 其中，yi是一组低分辨率图像中第i幅图像，X是一幅高分辨率图像，Wi是第i个 视点转换配准矩阵，B是模糊矩阵，D是降采样矩阵，ei是噪声。该模型的含义是任何一个 视点的低分辨率图像都可以由高分辨率图像通过视点转换、模糊、降采样和加噪声得到。
[0059] 因而当我们已知一组不同视点的低分辨率图像，利用这些信息可以反求出高分辨 率图像。于是将所有视点的低分辨率图像代入上面的公式得到：
[0060] y = MX+e (2)
[0061]其中，
[0062]
[0063] 通过求解上面的方程，可以得到期望的HR图像。
[0064] 超分辨的本质是充分利用多幅图像中有差异的有效信息来得到细节内容更完整 的图像，因此，如何合理利用不同视点的图像就是关键的环节，涉及到图像配准环节，该环 节极大地影响到最后的图像恢复质量。
[0065] 不同深度的对象，在视点变换过程中的视差是不一样的，深度较小（近）的对象在 不同视点中的视差较大，深度较大（远）的对象在不同视点中的视差较小。把视差和深度 结合起来考虑，根据不同的深度值计算出不同的视差，这就是本发明的出发点。在视点合成 中的视点变换过程就是基于深度信息计算视差的，其主要包括两步：第一步是将参考视点 的二维坐标转换到三维的世界坐标系；第二步是将世界坐标转换到指定视点的二维坐标。
[0066] 首先，利用参考视点的深度信息实现参考视点中的一个像素（\，vj变换到世界 坐标（Xw，Yw,Zw)，公式如下：
[0067]
[0068] 其中，r表示第r个参考视点，z1?是参考视点在（umvj位置对应的深度值，它通过 下面的公式计算得到：
[0069]
[0070] 其中，v是归一化之后的深度值，即0-255,Znea，是真实深度值中距离拍摄低分辨 率图像的相机最近的深度，Zfm是真实深度值中距离相机最远的深度，Z是每个像素的真实 深度值。
[0071] 其次，世界坐标（Xw，Yw，Zw)，投影到中心视点（uc，vc):
[0072]
[0073] 其中，c表示中心视点，z。表示在中心视点处图像的深度值，A3x3，。表示在中心视点 处相机坐标系转化为二维图像坐标系的相机内部参数，r3x3，。表示在中心视点处世界坐标系 转化为相机坐标系的旋转系数，t3xl，。是表示相机中心在世界坐标系中的方位的平移矩阵。
[0074]相机内部参数A和外部参数E= [R|t]要求已知，内部参数A可将三维相机坐标 转换成二维图像坐标，外部参数E= [R|t]可将世界坐标转换成三维相机坐标，其中，R是 旋转系数，t是平移矢量。
[0075] 相机内部参数A:
[0076]
[0077] 其中，ax=fmx,ay=fmy,f是焦距，nvFPmy是图像不是正方形时引入的非等量尺度 因子。xjP是考虑到非等量尺度因子的图像原点和相机主点的中心偏移量，xfmxpx,yd =niyPppjPpy是相机主点在图像坐标中的坐标，即相机主点在图像原点的偏移。s是扭曲 参数，一般s= 0。
[0078] 外部参数E= [R|t]中，R是一个3X3旋转矩阵，其中t=-R〇是平移矩阵，{^表 示相机中心在世界坐标系中的坐标。
[0079] 由上述实施例中提供的"3Dimagewarping"方程，可以将其他视点的图像转换到 中心视点。当然，基于深度信息作视点变换还可以有其他更简洁的公式，其可根据以上提供 的"3Dimagewarping"方程结合系统特殊情形简化得到的，如下面的计算视差公式的例 子。优选地，在视点变换之前先将图像尺寸放大到指定HR的分辨率（比如采用Bicubic插 值实现）。
[0080] 因此，我们知道了参考视点（LR图像，分辨率为mXn)对应的HR图像（分辨率 为MXN)和中心视点（HR图像，分辨率为MXN)每个像素坐标的对应位置。假设参考视 点图像中某一不为零的像素（\，')经放大之后坐标为（4,V》，经过上面的"3Dimage warping"方程计算出中心视点（HR图像）的坐标为（U。，V。)，可得到一对坐标对应关系： (Ur,Vr)G(U(.，VJ。可设计一个视点变换矩阵W来记录这样的对应关系。
[0081] 视点变换矩阵W的矩阵大小为（MN)X(MN)，这个矩阵描述参考视点LR图像对应 的HR图像乙中每个像素位置和中心视点HR图像X。中像素位置的对应关系：
[0082]Yr=ffr,cXc (8)
[0083] 其中I。是视点变换矩阵，X。是指定中心视点的高分辨率图像中像素坐标位置，Y^ 是低分辨率图像对应的高分辨率图像的像素坐标位置。
[0084] 由上面得到的一对坐标对应关系（u,.,vr)G(uf,vf)，可以得到在矩阵W的第 (IXVJ行、第（UeXV。）列的位置上值为1，在没有这种坐标对应关系的位置都为零，这样就 可以得到视点变换矩阵W。这种方式记录的视点变换关系是最精确的，也是与实际情形一致 的，距离相机越近的对象在视点变换过程中的偏移越大，反之越小。视点变换越准确，在同 样的超分辨（SR)算法中最后恢复的HR图像也更好。
[0085] 将上面公式（8)中的视差矩阵W代入到公式（2)中，计算期望的HR图像。多幅图 超分辨都可以采用上述图像配准方法来进行超分辨。
[0086] 利用上述图像配准算法计算每个视点图像转换到指定视点，进行图像配准之后， 接下来进行图像恢复。
[0087] 可采用不同的SR方法，利用上面的配准信息和输入图像数据来恢复出一幅高分 辨率的图像。例如，利用插值法，或利用凸优化方法，以及后续的一些优化方法。
[0088] 插值法通过将所有视点低分辨率图像投影至指定视点，然后将每幅图像中的信息 融合在一起，最后在去模糊处理，最终获取高分辨率图像。
[0089] 插值法SR方法可以包括以下三个处理环节