技术特征：
1.一种基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，包括以下步骤：s1：将双目相机采集的第一视图和第二视图分别输入至级联注意力双目超分网络的两条分支通道中；其中，所述级联注意力双目超分网络包括两条对称的分支通道，其分支通道均包括依次连接的卷积层、级联注意力块和上采样层，还包括插入至级联注意力块的视差多维度注意力模块（parallax multi
‑
dimensional attention module，pmda）；s2：利用卷积层将3通道的第一视图和第二视图分别转化为64通道的第三视图和第四视图；s3：利用级联注意力块依次提取和聚合第三视图和第四视图的特征，并利用视差多维度注意力模块提取视图特征的视差先验信息；s4：根据视图特征的视差先验信息得到双目相机采集的第一视图和第二视图的交互关系，并将第三视图和第四视图的特征融合至上采样层，利用上采样层对融合后的第三视图和第四视图的特征进行超分辨率重建，得到超分辨率图片。2.根据权利要求1所述的基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，所述步骤s1中，所述级联注意力双目超分网络采用自注意力机制；其中，级联注意力双目超分网络中的视觉多维度注意力模块用于输入两个视图，并提取两个视图的视差先验信息；所述级联注意力块包括残差网络和视觉多维度自注意力模块；所述视觉多维度自注意力模块用于输入单一视图，并提取单一视图的视差先验信息。3.根据权利要求1所述的基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，所述步骤s3包括以下子步骤：s31：利用级联注意力块依次提取和聚合第三视图的特征和第四视图的特征；s32：将第三视图的特征和第四视图的特征均依次输入至视差多维度注意力模块中的残差块和卷积层，得到视图特征；s33：基于视图特征，根据第三视图的特征函数，计算从第四视图到第三视图的第一注意力特征图，并通过第三视图的特征更新函数进行更新，得到第二注意力特征图；s34：基于视图特征，根据第四视图的特征函数，计算从第三视图到第四视图的第三注意力特征图，并通过第四视图的特征函数更新进行更新，得到第四注意力特征图；s35：计算第二注意力特征图和第四注意力特征图在通道维度、高度维度和宽度维度上的视差先验信息。4.根据权利要求3所述的基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，所述步骤s32中，视图特征的表达式为，其中，表示自注意力机制中第三视图的值张量，表示自注意力机制中第三视图的键张量，表示自注意力机制中第三视图的查询张量，表示自注意力机制中第四视图的值张量，表示自注意力机制中第四视图的键张量，表示自注意力机制中第四视图的查询张量，表示自注意力机制中的键张量，表示自注意力机制中的键张量，表示自注意力机制中的查询张量，表示第三视图，表示第四视图；
所述步骤s33中，第三视图的特征函数和第三视图的特征更新函数的表达式分别为：的表达式分别为：其中，表示归一化指数函数，表示矩阵乘法，表示矩阵转置；所述步骤s34中，第四视图的特征函数和第四视图的特征更新函数的表达式分别为：的表达式分别为：。5.根据权利要求3所述的基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，所述步骤s35中，计算第二注意力特征图和第四注意力特征图在通道维度、高度维度和宽度维度上的视差先验信息的方法相同，均包括以下子步骤：s351：在通道维度、高度维度和宽度维度上，分别重塑自注意力机制中的查询张量和键张量，得到第一查询张量、第二查询张量和第三查询张量、第一键张量、第二键张量和第三键张量，其中，表示注意力特征图的通道维度，表示注意力特征图的高度维度，表示注意力特征图的宽度维度，表示矩阵尺度；s352：对第一查询张量、第二查询张量和第三查询张量与第一键张量、第二键张量和第三键张量依次进行对应的矩阵相乘和归一化操作，得到第一依赖关系映射、第二依赖关系映射和第三依赖关系映射；s353：在通道维度、高度维度和宽度维度上重塑自注意力机制中的值张量，得到第一值张量、第二值张量和第三值张量，并将第一依赖关系映射、第二依赖关系映射和第三依赖关系映射分别与第一值张量、第二值张量和第三值张量进行对应的矩阵相乘，得到第一注意力机制更新后特征、第二注意力机制更新后特征和第三注意力机制更新后特征；s354：将第一注意力机制更新后特征、第二注意力机制更新后特征和第三注意力机制更新后特征和视差多维度注意力模块中残差块的残差特征在通道维度上进行拼
接，并利用卷积层减少第一注意力机制更新后特征、第二注意力机制更新后特征和第三注意力机制更新后特征的通道数，得到视差先验信息的特征表达。6.根据权利要求5所述的基于多维度视差先验的双目图片超分辨率重建方法，其特征在于，所述步骤s352中，依赖关系映射的计算公式为：其中， 表示第一依赖关系映射，表示第二依赖关系映射，表示第三依赖关系映射，表示第一查询张量，表示第二查询张量，表示第三查询张量，表示归一化指数函数，表示矩阵乘法；所述步骤s353中，注意力机制更新后特征的计算公式为：其中，表示第一值张量，表示第二值张量，表示第三值张量， 表示第一注意力机制更新后特征，表示第二注意力机制更新后特征，表示第三注意力机制更新后特征；所述步骤s354中，视差先验信息的特征表达的计算公式为：其中，表示自注意力机制中的键张量，表示特征图在通道维度进行拼接，表示卷积操作。
技术总结
本发明公开了一种基于多维度视差先验的双目图片超分辨率重建方法，包括以下步骤：S1：将双目相机采集的第一视图和第二视图输入至级联注意力双目超分网络的两条分支通道中；S2：将3通道的第一视图和第二视图分别转化为64通道的第三视图和第四视图；S3：依次提取和聚合第三视图和第四视图的特征，并提取视图特征的视差先验信息；S4：根据视图特征的视差先验信息得到双目相机采集的第一视图和第二视图的交互关系，并将第三视图和第四视图的特征融合至上采样层，对融合后的第三视图和第四视图的特征进行超分辨率重建。本发明还提出一个轻量级的级联注意力双目超分网络，它在模型参数和重建效果上达到很好的平衡。数和重建效果上达到很好的平衡。数和重建效果上达到很好的平衡。
技术研发人员：李长宇 张东阳 谢宁 邵杰
受保护的技术使用者：四川省人工智能研究院(宜宾)
技术研发日：2021.08.16
技术公布日：2021/9/13