基于深度学习和荧光图像的肿瘤边界区域确定方法及系统

本发明属于医学图像处理，尤其涉及一种基于深度学习和荧光图像的肿瘤边界区域确定方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。

2、医学影像能够帮助医生观察患者肿瘤的特征和边界，辅助医生确定肿瘤是否切除干净，应用于手术中肿瘤识别与定位的较为先进的技术为影像学，如基于术前ct或mri影像的手术导航、术中实时超声成像或核磁共振成像(magnetic resonance imaging，mri)。手术导航虽然目前已被广泛用于术中引导肿瘤的切除，但是仍存在导航影像漂移的问题，因而容易造成误判；对于术中实时超声成像来说，其存在分辨率较低，且对浸润性肿瘤边界的识别敏感性较差的问题；对于mri成像来说，其存在系统体积庞大，操作相对复杂，且检查时需要暂停手术等问题，且单台mri设备价格上千万，难以推广。因此，目前临床上手术中的肿瘤识别与定位仍存在分辨率低，敏感性差以及操作复杂的问题。

技术实现思路

1、为了解决上述问题，本发明提供一种基于深度学习和荧光图像的肿瘤边界区域确定方法及系统，用以实现肿瘤边界的精准识别。

2、为了实现上述目的，本发明主要包括以下几个方面：

3、第一方面，本发明实施例提供一种基于深度学习和荧光图像的肿瘤边界区域确定方法，包括：

4、获取患者的肿瘤细胞，根据所述肿瘤细胞的免疫学特征选用与其对应的单克隆抗体注入到患者的体内，在判定肿瘤细胞与单克隆抗体结合形成复合物时，提取样本组织做肿瘤病理切片；

5、对所述肿瘤病理切片进行免疫荧光染色，得到荧光显微图像；

6、将所述荧光显微图像输入至预先训练的肿瘤边界检测模型中，输出得到荧光染色图像的肿瘤边界区域，其中，在u-net网络的基础上，增加所述u-net网络的卷积层数，并加入残差块，构建所述肿瘤边界检测模型。

7、在一种可能的实施方式中，获取所述肿瘤细胞的类型，根据所述类型确定与之对应的单克隆抗体；所述单克隆抗体与肿瘤细胞上的抗原发生特异性结合，形成复合物。

8、在一种可能的实施方式中，利用小分子荧光素标记肿瘤细胞与单克隆抗体结合形成的复合物，得到免疫荧光复合物；利用荧光显微镜观察所述免疫荧光复合物，并扫描得到荧光显微图像。

9、在一种可能的实施方式中，将u-net网络的4层编码解码架构变换成6层编码解码架构，在所述肿瘤边界检测模型中，荧光显微图像依次经过6层的降采样和卷积模块提取出不同尺度的特征图，所述特征图依次经过6层的上采样和卷积模块恢复尺度并融合先前特征，进行图像重构；所述卷积模块包括两层连续的卷积层。

10、在一种可能的实施方式中，所述肿瘤边界检测模型的训练过程包括：

11、获取含有肿瘤细胞的病理切片样本；

12、按照预设比例将所述病理切片样本划分成第一病理切片样本和第二病理切片样本，对所述第一病理切片样本进行染色作为训练集，以及对所述第二病理切片样本进行人工边界标注之后进行二值化处理，得到测试集和验证集；

13、通过所述训练集对肿瘤边界检测模型进行训练，并经过测试和验证，得到训练好的肿瘤边界检测模型。

14、第二方面，本发明实施例提供一种基于深度学习和荧光图像的肿瘤边界区域确定系统，包括：

15、预处理模块，用于获取患者的肿瘤细胞，根据所述肿瘤细胞的免疫学特征选用与其对应的单克隆抗体注入到患者的体内，在判定肿瘤细胞与单克隆抗体结合形成复合物时，提取样本组织做肿瘤病理切片；

16、免疫荧光染色模块，用于对所述肿瘤病理切片进行免疫荧光染色，得到荧光显微图像；

17、边界区域检测模块，将所述荧光显微图像输入至预先训练的肿瘤边界检测模型中，输出得到荧光染色图像的肿瘤边界区域，其中，在u-net网络的基础上，增加所述u-net网络的卷积层数，并加入残差块，构建所述肿瘤边界检测模型。

18、在一种可能的实施方式中，所述预处理模块具体用于获取所述肿瘤细胞的类型，根据所述类型确定与之对应的单克隆抗体；所述单克隆抗体与肿瘤细胞上的抗原发生特异性结合，形成复合物。

19、在一种可能的实施方式中，所述免疫荧光染色模块具体用于利用小分子荧光素标记肿瘤细胞与单克隆抗体结合形成的复合物，得到免疫荧光复合物；利用荧光显微镜观察所述免疫荧光复合物，并扫描得到荧光显微图像。

20、第三方面，本发明实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面中所述的基于深度学习和荧光图像的肿瘤边界区域确定方法的步骤。

21、第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面中所述的基于深度学习和荧光图像的肿瘤边界区域确定方法的步骤。

22、以上一个或多个技术方案存在以下有益效果：

23、(1)本发明实施例提供一种基于深度学习和荧光图像的肿瘤边界区域确定方法，通过将深度学习与荧光图像技术相结合，在手术前进行预处理，使肿瘤细胞与单克隆抗体结合形成复合物，得到肿瘤病理切片，然后对肿瘤病理切片进行免疫荧光染色，得到荧光显微图像，进而通过预先训练的肿瘤边界检测模型对荧光显微图像进行分析处理，确定肿瘤边界区域。该方法具有识别精确度高、可靠性强且识别快速的特点。

24、(2)通过将u-net网络的4层编码解码架构变换成6层编码解码架构，可以提取荧光显微图像的多尺度特征，并使恢复的边缘等信息更加精细，从而有利于提高肿瘤边界区域识别的精准性。

技术特征：

1.一种基于深度学习和荧光图像的肿瘤边界区域确定方法，其特征在于，包括：

2.如权利要求1所述的基于深度学习和荧光图像的肿瘤边界区域确定方法，其特征在于，获取所述肿瘤细胞的类型，根据所述类型确定与之对应的单克隆抗体；所述单克隆抗体与肿瘤细胞上的抗原发生特异性结合，形成复合物。

3.如权利要求1所述的基于深度学习和荧光图像的肿瘤边界区域确定方法，其特征在于，利用小分子荧光素标记肿瘤细胞与单克隆抗体结合形成的复合物，得到免疫荧光复合物；利用荧光显微镜观察所述免疫荧光复合物，并扫描得到荧光显微图像。

4.如权利要求1所述的基于深度学习和荧光图像的肿瘤边界区域确定方法，其特征在于，将u-net网络的4层编码解码架构变换成6层编码解码架构，在所述肿瘤边界检测模型中，荧光显微图像依次经过6层的降采样和卷积模块提取出不同尺度的特征图，所述特征图依次经过6层的上采样和卷积模块恢复尺度并融合先前特征，进行图像重构；所述卷积模块包括两层连续的卷积层。

5.如权利要求1所述的基于深度学习和荧光图像的肿瘤边界区域确定方法，其特征在于，所述肿瘤边界检测模型的训练过程包括：

6.一种基于深度学习和荧光图像的肿瘤边界区域确定系统，其特征在于，包括：

7.如权利要求6所述的基于深度学习和荧光图像的肿瘤边界区域确定系统，其特征在于，所述预处理模块具体用于获取所述肿瘤细胞的类型，根据所述类型确定与之对应的单克隆抗体；所述单克隆抗体与肿瘤细胞上的抗原发生特异性结合，形成复合物。

8.如权利要求6所述的基于深度学习和荧光图像的肿瘤边界区域确定系统，其特征在于，所述免疫荧光染色模块具体用于利用小分子荧光素标记肿瘤细胞与单克隆抗体结合形成的复合物，得到免疫荧光复合物；利用荧光显微镜观察所述免疫荧光复合物，并扫描得到荧光显微图像。

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一项所述的基于深度学习和荧光图像的肿瘤边界区域确定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的基于深度学习和荧光图像的肿瘤边界区域确定方法的步骤。

技术总结
本发明提供一种基于深度学习和荧光图像的肿瘤边界区域确定方法及系统，涉及医学图像处理技术领域，该方法包括：获取患者的肿瘤细胞，根据肿瘤细胞的免疫学特征选用与其对应的单克隆抗体注入到患者的体内，在判定肿瘤细胞与单克隆抗体结合形成复合物时，提取样本组织做肿瘤病理切片；对肿瘤病理切片进行免疫荧光染色，得到荧光显微图像；将荧光显微图像输入至预先训练的肿瘤边界检测模型中，输出得到荧光染色图像的肿瘤边界区域，其中，在U‑Net网络的基础上，增加U‑Net网络的卷积层数，并加入残差块，构建肿瘤边界检测模型。通过该方式，可以实现肿瘤边界区域的精准检测，且具有较强的可靠性。

技术研发人员：李玮,赵晗竹,雷晟暄,田崇轩,张延冰,张振磊,安皓源,宋峻林,赵宇航
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/1/13