辅助信息提取结构、息肉分割装置及方法与流程

本发明涉及图像处理，特别涉及一种辅助信息提取结构、息肉分割装置及方法。

背景技术：

1、人工智能技术在医疗领域的应用已经取得了显著的成就，尤其是在疾病预测、医疗辅助诊断和新型药物研发方面。对于新兴的深度学习等人工智能技术，通常需要使用大量的医疗病例数据进行分析和建模。然而，由于医疗数据的敏感性和隐私性，获取大规模的医疗数据集一直是一个巨大的挑战。尽管有大量的病例样本可供使用，但如何精细地标注这些样本同样需要医生们付出大量的工作。因此，精细化标注的医疗数据集非常稀缺。在数据不足的情况下，提高模型的精确度和泛化性成为一个巨大的挑战。

2、目前，很多解决方案采用数据增强和增加网络参数的方法来解决样本不足和过拟合问题，例如u-net等算法。然而，这种方法并不能显著改善样本不足的问题，因为大量的粗略标记样本并没有被有效利用。

技术实现思路

1、鉴于上述问题，本发明的目的在于提供一种辅助信息提取结构、息肉分割装置及方法，通过辅助信息提取结构对图像数据的提取，结合主支结构对图像数据的提取，从而提高对图像数据的准确度和泛化性。

2、根据本发明的一方面，提供一种用于图像数据提取的辅助信息提取结构，所述图像数据中包括待检测的目标区域，所述辅助信息提取结构用于获取所述图像数据中的目标区域，辅助信息提取结构包括：辅助检测单元，用于对图像数据进行检测，以获得多个不同置信度的候选图像，所述候选图像中包括候选区域，所述目标区域的一部分位于所述候选区域中；赋值单元，与所述辅助检测单元连接，用于将多个所述候选图像中候选区域以外的区域赋值0；辅助信息融合单元，与所述赋值单元连接，用于对多个所述候选图像中的候选区域进行并集融合并进行信息提取，以获得第一特征向量，其中，所述第一特征向量用于与主支信息提取结构获取的第二特征向量进行融合，以提高所述图像数据的检测结果。

3、可选地，所述候选图像为置信度大于第一预设阈值的检测图像，所述候选区域的形状为矩形、圆形、三角形中的任一种。

4、可选地，所述辅助检测单元包括目标区域检测器。

5、可选地，所述目标区域检测器的训练步骤包括：使用第一数据集训练初始息肉分割模块；使用训练好的息肉分割模块检测第二数据集，以获得预测区域的最小外接区域，将所述最小外接区域与所述第二数据集中的标签区域进行比较，当重合度大于第二预设阈值时，对应的数据样本放入第三数据集；重复前述使用所述第一息肉分割模块检测第二数据集的步骤，直到得到所述第二数据集中所有重合度大于第二预设阈值的数据样本；采用第三数据集训练目标区域检测器。

6、可选地，所述目标区域检测器包括基于yolo目标检测算法的目标检测器。

7、可选地，所述辅助信息融合单元采用卷积神经网络结构或transformer结构进行信息提取。

8、根据本发明的另一方面，提供一种息肉分割装置，包括：图像数据模块，用于获取息肉图像数据；主支信息提取模块，与所述图像数据模块连接，用于根据所述息肉图像数据获得第二特征向量；上述的辅助信息提取结构，与所述图像数据模块连接，用于根据所述息肉图像数据获得第一特征向量；数据处理模块，与所述主支信息提取模块和所述辅助信息提取结构连接，用于融合所述第一特征向量和所述第二特征向量以获得所述息肉图像数据中的息肉位置。

9、可选地，所述图像数据模块还用于对所述息肉图像数据进行缩放、裁剪和归一化等操作。

10、可选地，所述数据处理模块对所述第一特征向量和所述第二特征向量进行采样操作以获得相同大小的特征图，并进行张量拼接操作，以获得融合信息后的所述息肉图像数据中的息肉位置。

11、根据本发明的另一方面，提供一种息肉分割方法，用于上述的息肉分割装置，所述息肉分割方法包括：获取息肉图像数据；根据所述息肉图像数据获得第一特征向量；根据所述息肉图像数据获得第二特征向量；将所述第一特征向量和所述第二特征向量进行采样融合以获得所述息肉图像数据中的息肉位置。

12、本发明提供的辅助信息提取结构、息肉分割装置及方法，通过辅助信息提取结构获取图像数据中的目标区域，在结合主支信息提取模块获取的数据，能够有效提高像素级息肉分割数据集的准确度和泛化性，从而为医疗影像分析提供更可靠的结果。

13、本发明提供的辅助信息提取结构，具有结构简单和轻量化的特征，可以用于辅助息肉分割检测模型提高准确率和泛化性，同时这种辅助信息提取结构适用于大多数分割模型结构，使用简单，在神经网络上具有“即插即用”的功能特性。

14、本发明提供的辅助信息提取结构、息肉分割装置及方法中，辅助信息提取结构的训练方法可以高效利用第二数据集和第一数据集参与模型训练，从而可以高效利用第二数据集和第一数据集。

技术特征：

1.一种用于图像数据提取的辅助信息提取结构，所述图像数据中包括待检测的目标区域，所述辅助信息提取结构用于获取所述图像数据中的目标区域，其特征在于，辅助信息提取结构包括：

2.根据权利要求1所述的辅助信息提取结构，其特征在于，所述候选图像为置信度大于第一预设阈值的检测图像，

3.根据权利要求1所述的辅助信息提取结构，其特征在于，所述辅助检测单元包括目标区域检测器。

4.根据权利要求3所述的辅助信息提取结构，其特征在于，所述目标区域检测器的训练步骤包括：

5.根据权利要求4所述的辅助信息提取结构，其特征在于，所述目标区域检测器包括基于yolo目标检测算法的目标检测器。

6.根据权利要求1所述的辅助信息提取结构，其特征在于，所述辅助信息融合单元采用卷积神经网络结构或transformer结构进行信息提取。

7.一种息肉分割装置，其特征在于，包括：

8.根据权利要求7所述的息肉分割装置，其特征在于，所述图像数据模块还用于对所述息肉图像数据进行缩放、裁剪和归一化等操作。

9.根据权利要求7所述的息肉分割装置，其特征在于，所述数据处理模块对所述第一特征向量和所述第二特征向量进行采样操作以获得相同大小的特征图，并进行张量拼接操作，以获得融合信息后的所述息肉图像数据中的息肉位置。

10.一种息肉分割方法，用于如权利要求7-9中任一项所述的息肉分割装置，其特征在于，所述息肉分割方法包括：

技术总结
公开了一种辅助信息提取结构、息肉分割装置及方法，辅助信息提取结构包括：辅助检测单元，对图像数据进行检测获得多个不同置信度的候选图像；赋值单元，与辅助检测单元连接，用于将候选区域以外的区域赋值0；辅助信息融合单元，与赋值单元连接，用于对多个候选图像中的候选区域进行并集融合并进行信息提取，以获得第一特征向量，其中，第一特征向量用于与主支信息提取结构获取的第二特征向量进行结合，以提高图像数据的检测结果。本申请提供的辅助信息提取结构、息肉分割装置及方法，辅助信息提取结构采用第二数据集训练，可以对图像数据进行矩形区域的提取，结合主支结构对图像数据的信息提取，可以提高对图像数据的准确度和泛化性。

技术研发人员：贺文禹,吕博昊,任思捷,韩睿,史正伟,夏挽清,刘花成,闫伟
受保护的技术使用者：北京集朗半导体科技有限公司
技术研发日：
技术公布日：2024/2/21