本发明属于医疗检测技术领域，具体涉及一种基于深度学习的癌症病灶范围预测辅助系统及方法。
背景技术：
随着人们健康意识的增强和消化内镜检查的逐渐增加，消化道粘膜下肿瘤、早期癌和癌前病变的发现迅速增多。传统外科手术由于手术创伤大、患者恢复慢、手术后生活质量也大为降低等原因逐渐被经内镜介入治疗技术所取代。对于内镜下癌症病变的切除来说，确定切除范围十分关键。如果切除范围过大，虽然可以将癌变部位切除干净，但是对病人的生活质量有一定影响；切除范围过小，没有将病变范围切除干净，会导致复发，严重会危及患者生命。实际上，对疾病的精准定位仍有一定难度，较轻微癌变，肉眼难以识别。对于胃部病变，尤其合并肠化生时边界判定较难，操作医生需要用放大胃镜放大后观察，结合染色，根据腺管开口的不同，才可以精准定位病变边界。
如果可以对内镜下癌症病灶部位进行判断，及时圈出病变部位，提示癌变的部位及范围，必要时辅以活体的病理学和细胞学检查，从而辅助操作者进一步详细检查提示部位，那么就可以达到确诊早期癌症并及时精准进行治疗的目标。
技术实现要素：
为了解决上述技术问题，本发明提供了一种基于深度学习的癌症病灶范围预测辅助系统及方法，可以对内镜下癌症病灶部位进行判断，及时圈出病变部位，提示癌变的部位及范围，必要时辅以活体的病理学和细胞学检查，从而辅助操作者进一步详细检查提示部位，达到确诊早期癌症并及时精准进行治疗的目标。
本发明的系统所采用的技术方案是：一种基于深度学习的癌症病灶范围预测辅助系统，其特征在于：包括客户端和服务端；
所述客户端，用于监听当前内镜设备采集的图像并传输给所述服务端，接收和显示所述服务端反馈的分析结果；
所述服务端，用于根据从客户端采集的图像，即时判断图像对应的部位及部位特征，将分析结果反馈给客户端。
本发明的方法所采用的技术方案是：一种基于深度学习的癌症病灶范围预测方法，其特征在于，包括以下步骤：
步骤1：当内镜设备进行图像采集，客户端被触发获取所采集的内镜图像，并上传至服务端；
步骤2：服务端接收内镜图像作为参数，调用卷积神经网络模型进行内镜图像是否合格、部位判断和部位特征识别的分析；
步骤3：客户端根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示；
步骤4：识别出癌变时，启用“类激活图覆盖技术”圈出病变范围。
本发明的有益效果为：通过本发明可以对内镜能检查到的部位图像进行识别，当发现存在病变部位时，系统会提示操作者，并启用“类激活图覆盖技术”，实时显示癌变的部位及范围，同时准确提取并储存癌变部位的图像，圈出病灶范围，为操作者进行内镜下微创手术提供了切除部位的范围，提高了切除范围的精确度，为患者健康提供保障。
附图说明
图1为本发明实施例的系统结构框图；
图2为本发明实施例的方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请加图1，本发明提供的一种基于深度学习的癌症病灶范围预测辅助系统，包括客户端和服务端；
本实施例的客户端，用于监听并通过网络上传当前内镜设备采集的内镜图像，接收和显示反馈的分析结果。每个客户端均包括通信模块和图像演示模块；其中，通信模块用于发送请求到服务端，及从服务端获取分析结果，具体实现为http通信方式；图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。本实施例中，图像演示模块包括一张食管、胃部、十二指肠球部及降部、空肠、回肠、结肠、肛管整体的背景示意图；用于表示各个部位的PNG格式的示意图；用于表示存在病灶(即部位特征)的红点图片。根据服务端发回的信息调用表示各部位的图片和病灶(即部位特征)的红点图片在背景示意图上覆盖以表示内镜操作已检查的部位及存在病变的部位。
本实施例的服务端，用于采用J2EE架构，根据从客户端采集的内镜图像，即时判断内镜图像对应的部位、部位特征以及是否存在早癌病灶及其病灶范围，将分析结果反馈给客户端。服务端包括样本数据库、卷积神经网络模型和web服务模块。
本实施例的样本数据库用于存储典型内镜图像的样本，包括合格图片库、部位库和部位特征库，合格图片库中存储的是拍摄清楚的符合清晰度要求的内镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的内镜图像，部位特征库中存储的是对合格图片中的内镜图像进行病变范围标注的内镜图像。通常一份完整的内镜检查报告需要包含口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管24个部位的图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。因此，本实施例中，所述的部位库中包含所需要的所有部位，即：口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管；识别出具体部位后的内镜图像，进一步识别部位特征，即是否存在病变特征并输出。模型自动判断病灶出现的部位并记录。
本实施例的部位特征包括NBI癌、NBI正常、NBI非癌病灶(包括息肉、炎症性肠病、糜烂)，白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)，具体为结构体数组。在此，需要强调的是，本实施例中所提及的“口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管”、“NBI癌、NBI正常、NBI非癌病灶(包括息肉、炎症性肠病、糜烂)，白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)”并非对疾病的诊断，只是作为图片中的特征，可以理解为一个参数，而对它们的判断和识别是对图片的特征比对。
本实施例的卷积神经网络模型包括根据合格图片库、部位库和部位特征库训练好的三个模型，分别用于内镜图像是否合格、部位判断、部位特征识别以及癌症范围的确定。模型为Resnet50，采用Python语言开发，封装成RESTful API(REST风格的网络接口)后被其他模块调用。卷积神经网络模型的训练过程、卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述。
本实施例的Web服务模块用于接收客户端的请求，将接收到的内镜图像作为参数调用卷积神经网络模型依次进行内镜图像是否合格、部位判断和部位特征识别的分析，得到分析结果反馈给客户端。客户端实时记录病灶的部位及范围并进行显示。
请见图2，本发明提供的一种基于深度学习的癌症病灶范围预测方法，包括以下步骤：
步骤1：当内镜设备进行图像采集，客户端被触发获取采集的内镜图像，并上传至服务端。
步骤2：服务端接收内镜图像作为参数，调用卷积神经网络模型进行内镜图像是否合格、部位判断和部位特征识别的分析；
首先判断内镜图像是否为合格图片，若不合格则输出分析结果为不合格。具体来说，判断内镜图像是否清晰完整，能够提供有用的诊断信息，若合格则继续进行判断，若为不合格图片则跳过其它步骤直接输出结果“不合格”。
当内镜图像判断为合格图片后，识别该内镜图像中的具体部位并输出。部位包括口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管；识别出具体部位后的内镜图像，进一步识别部位特征，即是否存在病变特征并输出。模型自动判断病灶出现的部位并记录。
部位特征包括NBI癌、NBI正常、NBI非癌病灶(包括息肉、炎症性肠病、糜烂)，白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)。
步骤3：客户端接收并显示分析结果；
根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。在本实施例中，客户端根据服务端发回的分析结果调用表示各部位(即口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管)的图片和病灶红点(即部位特征的标记)图片在背景示意图上覆盖以表示内镜操作已检查的部位及存在病变的部位。
卷积神经网络最终输出层之前，在卷积特征映射上执行全局平均汇聚并将其用作产生所需输出的完全连接层的特征。
步骤4：识别出癌变时，启用“类激活图覆盖技术”圈出病变范围；
客户端提示存在检查部位存在癌变时，根据“类激活图覆盖技术”实时显示癌变的范围，操作者可以进一步详细检查提示部位，必要时可以进行内镜下微创切除病变部位，以达到确诊和治疗早期癌症的目标。
“类激活图覆盖技术”是将输出层的权重投影回卷积特征映射来识别图像的重要区域，全局平均汇集输出最后一个卷积层每个单元的特征映射的空间平均值，计算最后一个卷积图层的特征图的加权和以获得类激活图。类激活图的颜色深度与预测的置信度正相关。
本发明具有如下突出优点：进行内镜检查时，若发现病变，可以识别病变部位特征，及时圈出病变部位，并利用“类激活图覆盖技术”及时提示癌变的部位及范围，必要时辅以活体的病理学和细胞学检查，从而辅助操作者进一步详细检查提示部位，以达到确诊和治疗早期癌症的目标。简单易用，具有显著的社会及经济价值。一个服务器能够对应若干个客户端，每个客户端对应一台内镜设备。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。