一种超分辨图像重建方法、装置、终端和存储介质与流程

本发明实施例涉及计算视觉技术领域，尤其涉及一种超分辨图像重建方法、装置、终端和存储介质。

背景技术：

计算机视觉算法的准确性依赖于输入图像或视频的成像质量，因此，需要提高输入图像或视频的分辨率。通常图像或视频对应的场景包含静态和动态两部分，而动态部分中又包含刚性形变物体和非刚性形变物体。其中，由于刚性形变物体自身形状以及姿态不会随时间发生改变，因此可以直接利用任意帧高清图像提高其分辨率；而非刚性形变物体，由于其自身形状以及姿态会随着时间发生改变，无法利用任意帧高清图像提高其分辨率。因此提高计算机视觉算法的准确性的难点在于提高非刚性形变物体的分辨率。

现有的提高特定目标物体分辨率(即超分辨重建)的方法主要有两种，一种是单图像超分辨算法，一种是基于参考图像的超分辨算法。其中，当输入图像和训练集不相似时，单图像超分辨算法对于细节损失严重的低清输入图像无法做到很好的超分辨重建，且这种方法生成的全部高频细节全是由低频信息生成，真实性不高。而基于参考图像的超分辨算法需要输入高清图像的深度图，虽然会有更好的高频细节补充效果，但是在实际应用中，高清深度图像难以获取，算法的普适性较差。

技术实现要素：

本发明提供一种超分辨图像重建方法、装置、终端和存储介质，以提高低清全局图像序列中非刚性目标物体的分辨率。

第一方面，本发明实施例提供了一种超分辨图像重建方法，所述方法包括：

获取当前区域中的目标区域在第一时刻的第一图像，并根据所述第一图像生成与所述目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，所述第一目标物体为第一非刚性目标物体；

获取所述当前区域在第一时刻之后的第二时刻的第二图像，从所述第二图像中提取出所述目标区域对应的第三图像，并基于所述第三图像更新所述至少一个三维模型；

将更新后的所述至少一个三维模型映射为至少一个二维图像，并将所述至少一个二维图像拼接至所述第二图像中，得到目标超分辨图像。

第二方面，本发明实施例还提供了一种超分辨图像重建装置，所述装置包括：

三维模型生成模块，用于获取当前区域中的目标区域在第一时刻的第一图像，并根据所述第一图像生成与所述目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，所述第一目标物体为第一非刚性目标物体；

三维模型更新模块，用于获取所述当前区域在第一时刻之后的第二时刻的第二图像，从所述第二图像中提取出所述目标区域对应的第三图像，并基于所述第三图像更新所述至少一个三维模型；

超分辨图像获取模块，用于将更新后的所述至少一个三维模型映射为至少一个二维图像，并将所述至少一个二维图像拼接至所述第二图像中，得到目标超分辨图像。

第三方面，本发明实施例还提供了一种超分辨图像重建终端，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的超分辨图像重建方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的超分辨图像重建方法。

本发明实施例通过获取当前区域中的目标区域在第一时刻的第一图像，并根据第一图像生成与目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，第一目标物体为第一非刚性目标物体，获取当前区域在第一时刻之后的第二时刻的第二图像，从第二图像中提取出目标区域对应的第三图像，并基于第三图像更新至少一个三维模型，将更新后的至少一个三维模型映射为至少一个二维图像，并将至少一个二维图像拼接至第二图像中，得到目标超分辨图像，实现了提高低清全局图像序列中非刚性目标物体的分辨率的效果。

附图说明

图1是本发明实施例一中的超分辨图像重建方法的流程图；

图2是本发明实施例二中的超分辨图像重建装置的结构示意图；

图3是本发明实施例三中的超分辨图像重建终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种超分辨图像重建方法的流程图，本实施例可适用于需要提高低清全局图像序列中非刚性目标物体的分辨率的情况，该方法可以由超分辨图像重建装置来执行，如图1所示，本实施例的方法具体包括：

s110、获取当前区域中的目标区域在第一时刻的第一图像，并根据第一图像生成与目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，第一目标物体为第一非刚性目标物体。

本实施例中，目标区域可以是包含至少一个第一目标物体的区域，第一目标物体优选为第一非刚性目标物体，非刚性目标物体即为自身形状以及姿态可以随时间发生改变的物体，例如非刚性目标物体可以是行人。在第一时刻获取到的第一图像是当前区域的目标区域所对应的局部图像，该第一图像优选可以利用视场角相对较小的相机获取，相对应的，该图像的清晰度也相对较高。

优选的，可以从第一图像中提取出与至少一个第一目标物体相对应的至少一个二维图像，基于二维图像与三维模型之间的对应关系，可以利用至少一个二维图像生成与至少一个第一目标物体对应的至少一个三维模型。

s120、获取当前区域在第一时刻之后的第二时刻的第二图像，从第二图像中提取出目标区域对应的第三图像，并基于第三图像更新至少一个三维模型。

其中，在第一时刻之后的第二时刻获取到的第二图像是当前区域所对应的全局图像，该第二图像优选可以利用视场角相对较大(与获取第一图像的相机相比)的相机获取，相对应的，该第二图像的清晰度也相对较低。本实施例中，优选的，获取第一图像的相机的分辨率与获取第二图像的相机的分辨率相同，即第一图像与第二图像的尺寸相同。

由于第二图像是在第一图像之后获取到的，因此，第二图像对应的第一目标物体的自身形状以及姿态相对于第一图像对应的目标物体会有所更新，因此可以利用第二图像更新上述利用第一图像获取到的至少一个三维模型。具体的，可以从第二图像中提取出与目标区域相对应的第三图像，并利用从第三图像中提取出的与至少一个第一目标物体相对应的至少一个二维图像更新至少一个三维模型。

s130、将更新后的至少一个三维模型映射为至少一个二维图像，并将至少一个二维图像拼接至第二图像中，得到目标超分辨图像。

其中，超分辨即通过硬件或软件的方法提高原有图像的分辨率，超分辨图像即提高分辨率之后的图像。三维模型与二维图像之间存在对应的映射关系，在获取到更新后的至少一个三维模型之后，可以利用该映射关系将至少一个三维模型映射为至少一个二维图像。上述映射得到的至少一个二维图像的清晰度与第一图像的清晰度相当，并高于第二图像的清晰度，利用图像拼接方法将映射得到的至少一个二维图像拼接至第二图像中，以利用该清晰度高的至少一个二维图像替代第二图像中相应的清晰度低的部分，最终得到目标超分辨图像。

在此需要说明的是，对于第二图像中没有利用至少一个二维图像进行图像拼接的其他部分，其对应的场景主要是静态场景以及刚性形变物体，虽然刚性形变物体会随时间发生移动，但是由于刚性形变物体自身形状以及姿态不会随时间发生改变，因此，为了提高第二图像整体的分辨率，可以直接将第一图像中与第二图像的静态场景以及刚性形变物体相对应的部分拼接至第二图像相应的位置，以提高其分辨率。此外，利用第一图像生成的至少一个三维模型既包括至少一个第一目标物体的形状姿态信息，又包括至少一个第一目标物体的纹理信息。

示例性的，用于获取第一图像和第二图像的系统优选可以是可转动高清监控云台系统，具体的，该系统可以包括第一尺度相机、第二尺度相机、可转动云台三部分，其中，第一尺度相机安装在可转动云台上，能够跟随云台的转动而转动。第一尺度相机优选可以为小视场相机，用于获取当前区域中的目标区域的第一图像，第二尺度相机优选可以为大视场相机，用于实时监测当前区域并能够连续获取当前区域的第二图像。且第一尺度相机的分辨率优选与第二尺度相机的分辨率相同，第一图像的尺寸大小优选与第二图像的尺寸大小相同，相应的，第一图像的清晰度高于第二图像的清晰度。基于此，优选可以基于上述方案，利用在第一时刻获取的第一图像提高在第二时刻获取到的第二图像的分辨率。

本实施例提供的超分辨图像重建方法，通过获取当前区域中的目标区域在第一时刻的第一图像，并根据第一图像生成与目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，第一目标物体为第一非刚性目标物体，获取当前区域在第一时刻之后的第二时刻的第二图像，从第二图像中提取出目标区域对应的第三图像，并基于第三图像更新至少一个三维模型，将更新后的至少一个三维模型映射为至少一个二维图像，并将至少一个二维图像拼接至第二图像中，得到目标超分辨图像，实现了提高低清全局图像序列中非刚性目标物体的分辨率的效果。

在上述各实施例的基础上，进一步的，根据第一图像生成与目标区域中至少一个第一目标物体对应的至少一个三维模型，包括：

基于预设目标物体检测方法，对第一图像进行目标物体检测，得到与至少一个第一目标物体一一对应的至少一个第一局部图像；

利用预设二维姿态点预估方法，分别对各第一局部图像进行二维姿态点预估，得到与每个第一目标物体对应的各第一二维姿态点；

针对每个第一目标物体，利用各第一二维姿态点对初始三维模型进行优化，得到与第一目标物体对应的三维模型；

针对各三维模型，分别利用相应的第一局部图像中的纹理信息渲染三维模型，以更新三维模型。

本实施例中，在生成至少一个三维模型之前，优选可以先获取与至少一个目标物体对应的至少一个二维图像。具体的，可以利用预设的目标物体检测方法对第一图像中的第一目标物体进行检测，得到与至少一个第一目标物体一一对应的至少一个第一局部图像。其中，一个第一目标物体对应一个第一局部图像，且每个第一局部图像优选利用方形区域从第一图像中进行标示。本实施例中，预设目标物体检测方法优选可以是faster-rcnn检测算法，该检测算法检测精度高且运算速度快。faster-rcnn检测算法利用深度学习方法，提出了rpn网络结构，在卷积神经网络输出两个分支，一个分支是全部候选区域对应的参数：分别是区域中心坐标x、y，区域的长宽w、h；另一个分支则是候选区域是第一目标物体的概率。基于卷积神经网络输出的两个分支即可确定至少一个第一目标物体在第一图像中的具体位置，以确定至少一个第一局部图像的位置。

在得到至少一个第一局部图像之后，优选可以利用各第一局部图像确定各第一目标物体的姿态信息。具体的，可以利用预设二维姿态点预估方法，分别对各第一局部图像进行二维姿态点预估，得到与每个第一目标物体对应的各第一二维姿态点。其中，预设二维姿态点预估方法优选可以是openpose，该方法利用深度学习方法，分别对各第一局部图像进行预测，得到每个第一局部图像中所有第一目标物体的二维姿态点，然后再根据第一目标物体的特征对所有二维姿态点进行划分，最终确定每个第一目标物体对应的二维姿态点。本实施例中，由于一个第一局部图像只包含一个第一目标物体，因此，利用openpose分别对各第一局部图像进行预测得到的第一二维姿态点，即为各第一目标物体对应的第一二维姿态点。

本实施例中，在生成至少一个第一目标物体对应的至少一个三维模型之前，优选可以利用初始化参数构建一个初始三维模型，针对每个第一目标物体，分贝利用各第一二维姿态点对初始三维模型进行优化，得到与第一目标物体对应的三维模型。利用上述方法得到的三维模型并不包含第一目标物体的纹理信息，由该三维模型映射得到的二维图像也不包含颜色信息。因此，针对各三维模型，优选可以分别利用相应的第一局部图像中的纹理信息渲染三维模型，以更新三维模型，使得更新后的三维模型既包含第一目标物体的形状姿态信息，又包含第一目标物体的颜色信息。

进一步的，针对每个第一目标物体，利用各第一二维姿态点对初始三维模型进行优化，得到与第一目标物体对应的三维模型，包括：

基于预设三维模型构建方法、初始形状因子矩阵β和初始姿态角向量θ构建初始三维模型；

利用初始相机模型参数矩阵k对初始三维模型进行二维映射，得到与初始三维模型相对应的各初始二维姿态点；

针对每个第一目标物体：

计算满足预设条件的形状因子矩阵β1和第一姿态角向量θ1，其中，预设条件为各第一二维姿态点与各初始二维姿态点的各匹配点对之间的差值的加和最小，且形状因子矩阵β1最小；

利用形状因子矩阵β1和第一姿态角向量θ1对初始三维模型进行优化，得到与第一目标物体对应的三维模型。

一般的，三维模型由三维空间上的密集点云组成。本实施例中，可以基于预设三维模型构建方法、初始形状因子矩阵β和初始姿态角向量θ构建初始三维模型，优选的，可以利用smplily算法来构建初始三维模型。以第一目标物体为人体为例，smplily算法利用smpl人体三维模型、形状因子矩阵β以及姿态角向量θ构建三维模型，该人体三维模型包括6890个三维点以及24个三维关节点，其中，24个三维关节点用于控制整个三维模型点云的位置，进而控制三维模型的姿态，形状因子矩阵β控制三维模型的高矮、胖瘦等特征结构，姿态角向量θ由三维关节点相对于初始三维模型中此点的位置所转动的角度来表示。三维模型中的6890个三维点中的每个点，都可以用24个姿态角向量进行线性加权平均表示。在利用smplily算法、初始形状因子矩阵β和初始姿态角向量θ得到初始三维模型之后，可以利用初始相机模型参数矩阵k，对初始三维模型中的24个三维关节点进行二维映射，得到与初始三维模型相对应的各初始二维姿态点。

由于初始三维模型是利用初始形状因子矩阵β和初始姿态角向量θ确定的，因此，为了得到与第一目标物体相对应的三维模型，优选可以先确定与第一目标物体相对应的形状因子矩阵β1和初始姿态角向量θ1，利用形状因子矩阵β1和初始姿态角向量θ1对初始三维模型进行优化，以得到与第一目标物体对应的三维模型。具体的，针对每个第一目标物体：可以计算满足预设条件的形状因子矩阵β1和第一姿态角向量θ1，其中，预设条件为各第一二维姿态点与各初始二维姿态点的各匹配点对之间的差值的加和最小，且形状因子矩阵β1最小；利用形状因子矩阵β1和第一姿态角向量θ1对初始三维模型进行优化，得到与第一目标物体对应的三维模型。

进一步的，针对每个第一目标物体：除了计算满足预设条件的形状因子矩阵β1和第一姿态角向量θ1之外，还包括：

计算满足预设条件的相机模型参数矩阵k1，其中，预设条件为各第一二维姿态点与各初始二维姿态点的各匹配点对之间的差值的加和最小，且形状因子矩阵β1最小；

相应的，针对各三维模型，分别利用相应的第一局部图像中的纹理信息渲染三维模型，以更新三维模型，包括：

针对各三维模型：利用相机模型参数矩阵k1，将相应的第一局部图像中的纹理信息映射到三维模型上，以更新三维模型。

优选的，在得到与各第一目标物体对应的各三维模型之后，优选还可以利用相机模型参数矩阵k对各三维模型进行纹理信息渲染。具体的，计算满足预设条件的相机模型参数矩阵k1，其中，预设条件为各第一二维姿态点与各初始二维姿态点的各匹配点对之间的差值的加和最小，且形状因子矩阵β1最小。在得到相机模型参数矩阵k1之后，针对各三维模型，利用相机模型参数矩阵k1，将相应的第一局部图像中的纹理信息映射到三维模型上，以更新三维模型。

进一步的，针对各三维模型：利用相机模型参数矩阵k1，将相应的第一局部图像中的纹理信息映射到三维模型上之后，还包括：

采用预设插值算法对映射得到的三维模型的纹理信息进行插值处理，以得到完整的三维模型的纹理信息。

本实施例中，为三维模型提供纹理信息的是第一局部图像，由于第一局部图像为二维图像，因此，在将第一局部图像中的纹理信息映射到三维模型中时，三维模型中必然存在无法获取到纹理信息的部分三维点，而在这些三维点中可能包含能够进入视野范围内的三维点；此外，在将三维模型映射为二维图像时，也只需要用到三维模型中能够进入视野范围内的三维点。因此，优选可以对能够进入视野范围内且无法获取到纹理信息的三维点进行纹理信息插值处理，以便在将三维模型映射为二维图像时，能够得到完整的纹理信息。优选的，可以采用双线性插值算法对映射得到的三维模型的纹理信息进行插值处理，以得到完整的三维模型的纹理信息。

进一步的，基于第三图像更新至少一个三维模型，包括：

基于预设目标物体检测方法，对第三图像进行目标物体检测，得到与目标区域中至少一个第二目标物体一一对应的至少一个第二局部图像，其中，第二目标物体为第二非刚性目标物体；

将各第一局部图像与各第二局部图像进行匹配，得到至少一个第一局部图像与第二局部图像的匹配对，以确定至少一个第二局部图像中的第二目标物体对应的至少一个三维模型；

利用预设二维姿态点预估方法，分别对各第二局部图像进行二维姿态点预估，得到与每个第二目标物体对应的各第二二维姿态点；

针对每个第二目标物体，利用各第二二维姿态点对第二目标物体对应的三维模型进行更新。

本实施例中，第二目标物体优选可以是自身形状以及姿态发生变化后的第一目标物体。获取第二局部图像的方法与获取第一局部图像的方法相同，同样采用faster-rcnn检测算法。在利用faster-rcnn检测算法获取到至少一个第二局部图像之后，利用图像匹配算法，将各第一局部图像与各第二局部图像进行匹配，得到与各第一局部图像相匹配的各第二局部图像，由于各第一局部图像都对应一个三维模型，因此，基于各第一局部图像，可以确定与各第二局部图像中的第二目标物体对应的各三维模型。

利用上述步骤确定的与各第二局部图像相对应的各三维模型是利用各第一局部图像确定的，因此，各三维模型的姿态信息对应各第一局部图像中的第一目标物体的姿态信息，为了使各三维模型与各第二局部图像相匹配，优选可以利用各第二目标物体的姿态信息更新各三维模型的姿态信息。具体的，可以利用预设二维姿态点预估方法，分别对各第二局部图像进行二维姿态点预估，得到与每个第二目标物体对应的各第二二维姿态点，并针对每个第二目标物体，利用各第二二维姿态点对第二目标物体对应的三维模型进行更新。其中，预设二维姿态点预估方法优选可以是openpose，利用openpose获取第二二维姿态点的过程与利用openpose获取第一二维姿态点的过程相同。

进一步的，针对每个第二目标物体，利用各第二二维姿态点对第二目标物体对应的三维模型进行更新，包括：

针对每个第二目标物体：

利用预设深度学习算法，将各第二二维姿态点转换为第二姿态角向量θ2；

利用形状因子矩阵β1和第二姿态角向量θ2对第二目标物体对应的三维模型进行更新，得到与第二目标物体对应的三维模型。

由于与第一局部图像对应的三维模型是利用形状因子矩阵和姿态角向量优化得到的，因此，同样可以利用更新后的上述两个参数对三维模型进行更新，又由于目标物体确定，形状因子矩阵不会发生变化，因此，优选可以利用更新后的姿态角向量对三维模型进行更新。具体的，利用各第二二维姿态点对第二目标物体对应的三维模型进行更新，可以是在得到与每个第二目标物体对应的各第二二维姿态点后，利用预设深度学习算法，将各第二二维姿态点转换为第二姿态角向量θ2，并利用形状因子矩阵β1和第二姿态角向量θ2对第二目标物体对应的三维模型进行更新，得到与第二目标物体对应的三维模型。其中，深度学习方法基于深度残差网络，使用最基本的线性层、relu激活函数以及合理的网络参数的组合，最终实现对第二姿态角向量θ2的获取。

进一步的，将各第一局部图像与各第二局部图像进行匹配，得到至少一个第一局部图像与第二局部图像的匹配对，包括：

分别确定各第一局部图像与各第二局部图像的中心点；

针对各第二局部图像：

分别计算第二局部图像的中心点与各第一局部图像的中心点之间的欧式距离；

将使得欧式距离最小的第一局部图像作为第二局部图像的匹配对。

本实施例中，将各第一局部图像与各第二局部图像进行匹配的图像匹配算法，优选可以是分别确定各第一局部图像与各第二局部图像的中心点，其中，确定中心点的方法优选可以是取方形区域四个顶点横纵坐标的平均值。在确定中心点之后，针对各第二局部图像：分别计算第二局部图像的中心点与各第一局部图像的中心点之间的欧式距离，并比较各欧式距离的大小关系，最终将使得欧式距离最小的第一局部图像作为第二局部图像的匹配对。

进一步的，将更新后的至少一个三维模型映射为至少一个二维图像，包括：

利用相机模型参数矩阵k1，将更新后的至少一个三维模型映射为至少一个二维图像。

实施例二

图2是本发明实施例二中的一种超分辨图像重建装置的结构示意图。如图2所示，本实施例的超分辨图像重建装置包括：

三维模型生成模块210，用于获取当前区域中的目标区域在第一时刻的第一图像，并根据第一图像生成与目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，第一目标物体为第一非刚性目标物体；

三维模型更新模块220，用于获取当前区域在第一时刻之后的第二时刻的第二图像，从第二图像中提取出目标区域对应的第三图像，并基于第三图像更新至少一个三维模型；

超分辨图像获取模块230，用于将更新后的至少一个三维模型映射为至少一个二维图像，并将至少一个二维图像拼接至第二图像中，得到目标超分辨图像。

本实施例提供的超分辨图像重建装置，通过三维模型生成模块获取当前区域中的目标区域在第一时刻的第一图像，并根据第一图像生成与目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，第一目标物体为第一非刚性目标物体，利用三维模型更新模块获取当前区域在第一时刻之后的第二时刻的第二图像，从第二图像中提取出目标区域对应的第三图像，并基于第三图像更新至少一个三维模型，并利用超分辨图像获取模块将更新后的至少一个三维模型映射为至少一个二维图像，并将至少一个二维图像拼接至第二图像中，得到目标超分辨图像，实现了提高低清全局图像序列中非刚性目标物体的分辨率的效果。

在上述各实施例的基础上，进一步的，三维模型生成模块210可以包括：

第一局部图像获取子模块，用于基于预设目标物体检测方法，对第一图像进行目标物体检测，得到与至少一个第一目标物体一一对应的至少一个第一局部图像；

第一二维姿态点获取子模块，用于利用预设二维姿态点预估方法，分别对各第一局部图像进行二维姿态点预估，得到与每个第一目标物体对应的各第一二维姿态点；

三维模型确定子模块，用于针对每个第一目标物体，利用各第一二维姿态点对初始三维模型进行优化，得到与第一目标物体对应的三维模型；

纹理信息渲染子模块，用于针对各三维模型，分别利用相应的第一局部图像中的纹理信息渲染三维模型，以更新三维模型。

进一步的，三维模型确定子模块可以包括：

初始三维模型构建单元，用于基于预设三维模型构建方法、初始形状因子矩阵β和初始姿态角向量θ构建初始三维模型；

初始二维姿态点获取单元，用于利用初始相机模型参数矩阵k对初始三维模型进行二维映射，得到与初始三维模型相对应的各初始二维姿态点；

参数获取单元，用于针对每个第一目标物体：计算满足预设条件的形状因子矩阵β1和第一姿态角向量θ1，其中，预设条件为各第一二维姿态点与各初始二维姿态点的各匹配点对之间的差值的加和最小，且形状因子矩阵β1最小；

三维模型获取单元，用于利用形状因子矩阵β1和第一姿态角向量θ1对初始三维模型进行优化，得到与第一目标物体对应的三维模型。

进一步的，参数获取单元还可以用于：

计算满足预设条件的相机模型参数矩阵k1，其中，预设条件为各第一二维姿态点与各初始二维姿态点的各匹配点对之间的差值的加和最小，且形状因子矩阵β1最小；

相应的，纹理信息渲染子模块可以用于：

针对各三维模型：利用相机模型参数矩阵k1，将相应的第一局部图像中的纹理信息映射到三维模型上，以更新三维模型。

进一步的，纹理信息渲染子模块还可以用于：针对各三维模型：在利用相机模型参数矩阵k1，将相应的第一局部图像中的纹理信息映射到三维模型上之后，

采用预设插值算法对映射得到的三维模型的纹理信息进行插值处理，以得到完整的三维模型的纹理坐标。

进一步的，三维模型更新模块220可以包括：

第二局部图像获取子模块，用于基于预设目标物体检测方法，对第三图像进行目标物体检测，得到与目标区域中至少一个第二目标物体一一对应的至少一个第二局部图像，其中，第二目标物体为第二非刚性目标物体；

局部图像匹配子模块，用于将各第一局部图像与各第二局部图像进行匹配，得到至少一个第一局部图像与第二局部图像的匹配对，以确定至少一个第二局部图像中的第二目标物体对应的至少一个三维模型；

第二二维姿态点获取子模块，用于利用预设二维姿态点预估方法，分别对各第二局部图像进行二维姿态点预估，得到与每个第二目标物体对应的各第二二维姿态点；

三维模型更新子模块，用于针对每个第二目标物体，利用各第二二维姿态点对第二目标物体对应的三维模型进行更新。

进一步的，局部图像匹配子模块可以包括：

图像中心点确定单元，用于分别确定各第一局部图像与各第二局部图像的中心点；

欧式距离计算单元，用于针对各第二局部图像：分别计算第二局部图像的中心点与各第一局部图像的中心点之间的欧式距离；

局部图像匹配对确定单元，用于将使得欧式距离最小的第一局部图像作为第二局部图像的匹配对。

进一步的，三维模型更新子模块可以包括：

针对每个第二目标物体：

第二姿态角向量确定单元，用于利用预设深度学习算法，将各第二二维姿态点转换为第二姿态角向量θ2；

三维模型更新单元，用于利用形状因子矩阵β1和第二姿态角向量θ2对第二目标物体对应的三维模型进行更新，得到与第二目标物体对应的三维模型。

进一步的，超分辨图像获取模块230具体用于：

利用相机模型参数矩阵k1，将更新后的至少一个三维模型映射为至少一个二维图像。

本发明实施例所提供的超分辨图像重建装置可执行本发明任意实施例所提供的超分辨图像重建方法，具备执行方法相应的功能模块和有益效果。

实施例三

图3为本发明实施例三提供的超分辨图像重建终端的结构示意图。图3示出了适于用来实现本发明实施方式的示例性超分辨图像重建终端312的框图。图3显示的超分辨图像重建终端312仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，超分辨图像重建终端312以通用计算设备的形式表现。超分辨图像重建终端312的组件可以包括但不限于：一个或者多个处理器316，存储器328，连接不同系统组件(包括存储器328和处理器316)的总线318。

总线318表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

超分辨图像重建终端312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被超分辨图像重建终端312访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器328可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)330和/或高速缓存存储器332。超分辨图像重建终端312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置334可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储器328可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块342的程序/实用工具340，可以存储在例如存储器328中，这样的程序模块342包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块342通常执行本发明所描述的实施例中的功能和/或方法。

超分辨图像重建终端312也可以与一个或多个外部设备314(例如键盘、指向设备、显示器324等，其中，显示器324可根据实际需要决定是否配置)通信，还可与一个或者多个使得用户能与该超分辨图像重建终端312交互的设备通信，和/或与使得该超分辨图像重建终端312能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口322进行。并且，超分辨图像重建终端312还可以通过网络适配器320与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器320通过总线318与超分辨图像重建终端312的其它模块通信。应当明白，尽管图3中未示出，可以结合超分辨图像重建终端312使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储装置等。

处理器316通过运行存储在存储器328中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的超分辨图像重建方法。

实施例四

本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的超分辨图像重建方法，该方法包括：

获取当前区域中的目标区域在第一时刻的第一图像，并根据第一图像生成与目标区域中至少一个第一目标物体对应的至少一个三维模型，其中，第一目标物体为第一非刚性目标物体；

获取当前区域在第一时刻之后的第二时刻的第二图像，从第二图像中提取出目标区域对应的第三图像，并基于第三图像更新至少一个三维模型；

将更新后的至少一个三维模型映射为至少一个二维图像，并将至少一个二维图像拼接至第二图像中，得到目标超分辨图像。

当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的超分辨图像重建方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。