用于真实胶囊内窥镜的视频超分辨率方法

本发明涉及视频超分辨率方法。具体地，本发明涉及用于真实胶囊内窥镜的视频超分辨率方法。

背景技术：

1、无线胶囊内窥镜是用于小肠疾病的主流诊断工具。由于胶囊内窥镜体积小，在实际使用中，可以大大减少使用者的疼痛与不适感。然而，另一方面，由于胶囊传感器资源有限，在感光及成像元件尺寸、电池容量、计算资源、传输带宽等方面都有着较大限制。因此，胶囊内窥镜所采集的视频往往质量较低，会影响医生的诊断及/或辅助系统的分析准确率。为了解决此问题，一些超分辨率技术被引入到无线胶囊内窥镜应用中，用于从低分辨率的原始内窥镜图像中恢复出高分辨率的版本。然而，现有的超分辨率技术存在一些问题。首先，用于训练超分辨率网络的数据集与实际应用中的数据集存在较大的分布偏差，限制了网络在真实应用中的表现。其次，由于胶囊内窥镜采集的原始数据视频或图像的质量较差，使得利用时域相关性来增强超分辨率效果难以达到诊断要求。

技术实现思路

1、根据一个方面，本发明提供一种用于真实胶囊内窥镜的视频超分辨率方法。根据一个实施例，本发明的用于真实胶囊内窥镜的视频超分辨率方法包括构建第一及第二图像数据集，构建及训练视频超分辨率网络。第一图像数据集包括多个第一规格图像序列，其中的每个帧具有第一分辨率，例如相对较高的分辨率。第二图像数据集由第一图像数据集生成，包括与对应的多个第二规格图像序列，其中每个第二规格图像序列中的每个帧具有低于第一分辨率的第二分辨率。构建视频超分辨率网络包括将相邻帧对齐到目标帧、融合及上采样增维。将相邻帧对齐到目标帧包括设置第一卷积层及第二卷积层，从相邻帧中以第一卷积层的第一卷积核通过卷积提取重叠块，从目标帧中以第二卷积层的第二卷积核通过卷积提取非重叠块，以及将所述相邻帧中的所有重叠块与所述目标帧中的每一个非重叠块对齐。融合处理包括融合对齐的目标帧，以获得融合后的特征。上采样处理将融合后的特征空间增维，以获得实际网络输出图像序列，其中所述实际网络输出图像序列具有高于所述输入图像序列的图像的分辨率。

2、相邻帧可以包括所述目标帧在时间维度的所在时刻或时段之前及/或之后的至少一个视频帧。

3、第一卷积核可以具有第一尺寸及第一步长。第二卷积核可以具有第二尺寸及第二步长。第二尺寸等于所述第一尺寸，第二步长小于所述第一步长。

4、从相邻帧中以第一卷积核通过卷积提取重叠块包括从所述多个第二规格图像序列中的相邻帧中以第一卷积核通过卷积提取重叠块。所述从目标帧中以第二卷积核通过卷积提取非重叠块包括从所述多个第二规格图像序列中的目标帧中以第二卷积核通过卷积提取非重叠块，其中所述实际网络输出图像序列与所述多个第一规格图像序列对应。

5、所述训练视频超分辨率网络还可以包括将所述实际网络输出与所述多个第一规格图像序列中对应于所述多个第二规格图像序列中的目标帧的目标输出比对，以获得损失函数结果，以及根据上述损失函数结果通过反向传播更新网络参数。

技术特征：

1.一种用于真实胶囊内窥镜的视频超分辨率方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述相邻帧包括所述目标帧在时间维度的所在时刻或时段之前及/或之后的至少一个视频帧。

3.根据权利要求1所述的方法，其特征在于，所述第一卷积核具有第一尺寸及第一步长，所述第二卷积核具有第二尺寸及第二步长，所述第二尺寸等于所述第一尺寸，所述第二步长小于所述第一步长。

4.根据权利要求1所述的方法，其特征在于，所述从相邻帧中以第一卷积核通过卷积提取重叠块包括从所述多个第二规格图像序列中的相邻帧中以第一卷积核通过卷积提取重叠块；所述从目标帧中以第二卷积核通过卷积提取非重叠块包括从所述多个第二规格图像序列中的目标帧中以第二卷积核通过卷积提取非重叠块，其中所述实际网络输出图像序列与所述多个第一规格图像序列对应。

5.根据权利要求4所述的方法，其特征在于，所述训练视频超分辨率网络包括将所述实际网络输出与所述多个第一规格图像序列中对应于所述多个第二规格图像序列中的目标帧的目标输出比对以获得损失函数结果，以及根据上述损失函数结果更新网络参数。

技术总结
本发明提供用于真实胶囊内窥镜的视频超分辨率方法，包括构建第一及第二图像数据集，构建及训练视频超分辨率网络。第一图像数据集包括多个第一规格图像序列，其中的每个帧具有第一分辨率。第二图像数据集由第一图像数据集生成，包括与对应的多个第二规格图像序列，其中每个第二规格图像序列中的每个帧具有低于第一分辨率的第二分辨率。构建视频超分辨率网络包括设置第一卷积层及第二卷积层，从相邻帧中以第一卷积核通过卷积提取重叠块，从目标帧中以第二卷积核通过卷积提取非重叠块，以及将所述相邻帧中的所有重叠块与所述目标帧中的每一个非重叠块对齐，再经过融合及上采样增维以获得超分辨率图像。

技术研发人员：周超,郭永新
受保护的技术使用者：新加坡国立大学
技术研发日：
技术公布日：2024/2/6