基于金字塔算法的前列腺癌超声视频分类方法及系统

本发明属于医学图像处理和计算机视觉领域，尤其涉及基于金字塔算法的前列腺癌超声视频分类方法及系统。

背景技术：

1、近年来，对于静态超声图像数据，基于深度学习的前列腺癌分类算法已经取得显著进展，但针对动态超声视频数据，仍存在较大的进步空间。因为超声视频相对于静态图像来说，包含更丰富的空间和时间信息，使其成为研究和发展的前景领域。自从引入了i3d后，3dcnn一直主导着视频分类领域，但是3d卷积神经网络难以在计算复杂性和分类性能之间掌握一个平衡，并且难以有效利用视频中的时序和空间关系。

2、目前，为了更好地整合时空信息，视觉transformers(vision transformers)因其卓越的时空信息聚合能力而备受推崇，但是transformer相关的网络模型在经过大量实验验证之后，不太适用于数量有限的前列腺超声视频数据。为了更好的处理视觉节奏的变化，相关研究人员推出了金字塔网络，金字塔网络结构能对不同速率采样的帧进行处理，这允许在不同深度捕捉快节奏和慢节奏的信息。然而，它们通常未能明确考虑每个通道特征的相对重要性，这可能导致忽视了关键通道特征。此外，它们未能全面考虑视频数据中的时序性和空间关系，这限制了它们在捕获动态信息和空间结构方面的效能。面对这种问题，使用一种三重注意力增强的金字塔算法将是一种可靠的方案，三重注意力机制能够提取到各种关键特征，以提高动态超声视频下的前列腺癌分类的精度。

技术实现思路

1、为解决上述技术问题，本发明提出基于金字塔算法的前列腺癌超声视频分类方法及系统，采用了一种创新的金字塔分类网络框架，该框架由通道、空间和时间三重注意力机制组成，可以从不同的注意力层面学习病变的形状、纹理、时序信息和空间结构等相关特征。这种方法通过增强多尺度金字塔特征的输出，有效融合不同层级的特征，确保了连续特征间的兼容性。最重要的是，它提升了模型对不同通道特征、时间和空间维度的理解，使前列腺癌的分类更加准确和可靠。

2、为实现上述目的，本发明提供了基于金字塔算法的前列腺癌超声视频分类方法，包括：

3、基于多尺度金字塔网络，提取前列腺癌超声视频的多尺度特征；

4、基于所述多尺度特征，利用3d通道级的注意力机制调制多尺度特征向量；

5、基于所述多尺度特征向量对所述多尺度特征进行处理，构建时空特征；

6、基于所述时空特征，获取时空注意力张量；

7、基于所述时空注意力张量对所述多尺度特征向量进行调制，获取调制后的多尺度输入特征张量；

8、基于所述调制后的多尺度输入特征张量，获取最终的输出特征，完成前列腺癌超声视频分类。

9、可选地，提取前列腺癌超声视频的多尺度特征包括：

10、将输入的前列腺癌超声视频帧数据分成若干个子帧，每个子帧表示不同的时间尺度；

11、对每个子帧使用所述多尺度金字塔网络进行特征提取，获取不同时间尺度的所述多尺度特征。

12、可选地，所述多尺度金字塔网络采用基于膨胀的3d mbf-net结构；

13、对每个子帧使用所述多尺度金字塔网络进行特征提取包括：

14、将子帧转化为输入特征图，通过1×1×1卷积和3×3×3卷积后进行通道分割，其中一个通道进行3×3×3深度卷积、3×3×3深度扩张卷积，扩张率为2，以及一个2×2×2的最大池化；另一个通道进行3×3×3深度卷积、3×3×3深度扩张卷积，扩张率为4，以及一个2×2×2的最大池化；再将两个通道的卷积结果串联进行1×1×1卷积，然后与输入特征图相加，再通过通道洗牌后获取输出特征图。

15、可选地，基于3d通道级的注意力机制调制多尺度特征向量包括：

16、使用3d通道注意力机制，对多尺度特征进行处理，获取多尺度输入特征张量；

17、使用自适应平均池化对所述多尺度输入特征张量沿通道维度进行缩减操作，获取预设特征；

18、对预设特征，通过多层感知机进行通道注意力权重的计算，获取通道注意力权重；

19、基于所述通道注意力权重，对所述多尺度输入特征张量进行通道加权，获取所述多尺度特征向量。

20、可选地，基于所述多尺度特征向量对所述多尺度特征进行处理，构建时空特征包括：

21、基于所述多尺度特征向量对所述多尺度特征进行处理，获取若干时间步的视频帧数据和每个时间步的空间信息；

22、基于若干时间步的所述视频帧数据和每个时间步的所述空间信息，构建所述时空特征。

23、可选地，基于所述时空特征，获取时空注意力张量包括：

24、基于三维卷积操作计算所述时空特征的时序和空间维度上的注意力权重，获取时序注意力和空间注意力；

25、将所述时序注意力和空间注意力相乘，获取所述时空注意力张量。

26、可选地，基于所述调制后的多尺度输入特征张量，获取最终的输出特征包括：

27、对当前尺度的所述调制后的多尺度输入特征张量使用线性变换，生成查询向量；

28、对除当前尺度外其他尺度的调制后的多尺度输入特征张量使用线性变换，生成键向量；

29、计算所述查询向量与所述键向量之间的点积，获取原始注意力权重；

30、对所述原始注意力权重进行softmax操作，获取最终规范化的注意力权重；

31、基于所述注意力权重，将不同尺度的特征other_xatti进行加权求和，获取最终的输出特征。

32、为实现上述目的，本发明还提供了基于金字塔算法的前列腺癌超声视频分类系统，包括：特征提取模块、通道注意力模块、语义信息划分模块、时空注意力模块、多尺度特征交互融合模块和分类模块；

33、所述特征提取模块，用于构建多尺度金字塔网络，将输入的前列腺癌超声视频数据分成若干个子帧，每个子帧表示不同的时间尺度，对每个子帧使用所述多尺度金字塔网络进行特征提取，获取不同时间尺度的所述多尺度特征；

34、所述通道注意力模块，用于使用3d通道级的注意力机制来调制多尺度特征向量；

35、所述语义信息划分模块，用于根据所述多尺度特征向量处理所述多尺度特征，构建时空特征；

36、所述时空注意力模块，用于通过三维卷积操作来计算所述时空特征中时序和空间维度上的注意力权重，获取不同尺度的时空注意力特征；

37、所述多尺度特征交互融合模块，用于对不同尺度的时空注意力特征进行信息交互和融合，获取最终的输出特征；

38、所述分类模块，用于根据所述最终的输出特征，对输入的前列腺癌超声视频数据进行分类。

39、与现有技术相比，本发明具有如下优点和技术效果：

40、本发明提供了一种基于多尺度金字塔网络的方法，允许模型在不同尺度上对前列腺癌超声视频进行特征提取。这使得算法能够更全面地捕获不同细节级别的信息，从而提高了视频分类性能。

41、通过3d通道注意力增强机制，使模型能够自适应地关注不同通道的特征信息，从而提高了特征的判别性。这有助于减少冗余信息并提高前列腺癌超声视频分类准确性。

42、使用了时空双重注意力增强算法，允许模型在时域和空间域同时捕获重要的特征。这提高了模型对视频序列中关键帧的关注，增强了视频分类性能。

43、提供了一种多尺度特征交互融合模块，允许不同尺度的特征进行交互和融合。这有助于提高模型对不同尺度信息的理解和综合利用，进一步提高了视频分类性能。

44、该方法特别针对前列腺癌超声视频分类而设计，具有良好的适用性和性能。它能够有效地处理医学影像数据，提供了一种强大的前列腺癌超声视频分类工具。