一种组织病变区域图像辅助复原系统和方法与流程

本发明属于智能医疗领域，具体涉及一种组织病变区域图像辅助复原系统与方法。

背景技术：

随着影像学、计算机科学等相关技术的进步和医生手术水平的提高.不开刀的现代微创外科技术越来越多地取代传统手术，特别是内镜技术，通过纤维光导线，将冷光源镜头获得的图像转化为光纤信号，将人体内部组织和病变情况显示在外部计算机上。内镜微创技术能够在不改变消化道结构的情况下，将胃、十二指肠等上消化道或者结、直肠的黏膜下良性肿瘤或早期癌变组织进行切除，这种技术又被称为内镜黏膜下剥离术(endoscopicsubmucosaldissection，esd)。

剥离后的病变组织，通常会送到病理科进一步进行病理分析，病理科技师会将组织进行切割，拍摄带刀痕的大体原始图，并将每个刀痕对应组织样本制作切片交给病理医生，病理医生对切片组织的病变情况进行分析和标注，然后再通过观察比对，粗略地将病变区域还原到大体图上。通过观察复原后的大体图，可以判断手术是否完全切除病变区域，并估计病灶的范围、性质以及浸润深度等参数。

很显然，通过人工复原大体图增加了病理技师和病理医生的工作负担，在有大量切片需要处理的情况下，人工操作效率低下，医生在疲劳情况下，也容易导致失误。同时，人工处理重复精度较低，导致大体组织的处理过程而出现各种各样的不确定因素，如大体高反光、大体占图像比例过低、背景噪声干扰等。

近年来，以卷积神经网络为代表的深度学习算法在各个领域都有了相关的应用，在智能医疗领域，深度学习算法实现了基于x光、ct、b超等图像的病理诊断，在一些疾病的检测上，经过训练的深度神经网络能达到专家级别的水平。同时，随着云服务的出现，普通的用户也能使用gpu进行大规模的深度卷积神经网络训练。但是，深度学习等人工智能方法在医疗领域不够广泛，难以根据实际问题进行相关部署。

技术实现要素：

本发明的目的是针对esd手术中剥离的大体组织病变区域复原过程的自动化需求，提供一种模块化、自动化的组织病变区域图像辅助复原系统，并基于该系统构建了一种速度快、稳定性强的组织病变区域图像辅助复原方法。

一种组织病变区域图像辅助复原系统，包括：

大体原始图采集模块：用于获取病理技师所拍摄的带刀痕的大体原始图。

切片图像采集模块：用于采集数字切片扫描仪所生成的数字切片图像。

刀痕提取与编号模块：用于分离大体原始图的前景与背景，提取大体组织区域图像中的刀痕并编号。

投影重定位模块：用于接收所述刀痕提取与编号模块所输出的带刀痕编号的大体原始图；用于接收切片图像中转模块所传送的切片组织病变区域标注图；用于将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域，得到大体组织复原图；并将大体组织复原图发送到结果展示模块。

切片图像中转模块：用于接收所述切片图像采集模块采集的切片组织扫描图像，并打包发送给病变区域判别模块；用于接收所述病变区域判别模块输出的切片组织病变区域标注图并发送给结果修正与确认模块；用于接收所述结果修正与确认模块返回的修正后的切片组织病变区域标注图，并发送给投影重定位模块和病变区域判别模块。

结果修正与确认模块：用于接收切片图像中转模块所传送来的切片组织病变区域标注图，并通过图形用户接口展示给病理医生，并由病理医生进行确认与修正，然后将病理医生修正过的图像发送给所述切片图像中转模块。

病变组织判别模块：用于接收切片图像中转模块所发送的切片组织图像原始图，使用主元分析将原始图进行降维，将降维后的图像输入预测子模块多层感知器，判断是否含有病变区域，如果含有病变区域，将原始图输入预测子模块中的深度卷积神经网络，提取病变区域二值标签图像，将所述二值标签图和切片组织原始图合成切片组织病变区域标注图，并返回给切片图像中转模块。用于接收切片图像中转模块所发送的修正后切片组织图像标注图，加入切片组织病变区域数据集。

结果展示模块：用于展示投影重定位模块生成的大体组织复原图。

进一步的，所述辅助复原系统中，所述大体图像采集模块与刀痕提取与编号模块通信连接，所述切片图像中转模块与切片图像采集模块通信连接，所述切片图像中转模块与结果修正与确认模块通信连接，所述投影重定位模块与刀痕提取与编号模块、切片图像中转模块连接。

所述辅助诊断系统中，所述大体原始图采集模块用于采集带刀痕的大体原始图，并通过局域网传输给所述刀痕提取与编号模块。

进一步的，所述辅助诊断系统中，所述病变组织判别模块采用云计算服务实现，模块包括训练子模块、预测子模块和切片组织病变区域数据集。所述切片组织病变区域数据集包含正常组织图像和带有癌变区域的组织图像，带有癌变区域的组织图像另外有一张二值图像注明癌变区域所在像素点。所述训练子模块包括癌变图像分类方法和癌变区域语义分割方法。所述预测子模块使用主元分析线性投影矩阵、多层感知器、语义分割深度卷积神经网络进行预测。

基于上述方案，本发明将实现了切片组织病变区域的自动标注和大体区域复原图的自动生成。

本发明还提供了一种组织病变区域图像辅助复原方法，包括以下步骤：

步骤1：获取切片处理后的大体原始图，上传至所述刀痕提取与编号模块。

步骤2：使用多通道直方图分布信息提取算法去除大体原始图背景，使用无监督聚类算法提取刀痕区域，并对刀痕区域进行编号，然后发送给所述投影重定位模块；

步骤3：通过切片图像采集模块对切片组织进行扫描，获得切片组织图像，并上传至切片图像中转模块，所述切片图像中转模块将切片图像打包后上传至病变组织判别模块；

步骤4：在病变区域判别模块的预测子模块中，使用主元分析将输入的原始切片组织图像降维，得到降维图；将降维图输入预测子模块的多层感知器，通过多层感知器的输出判断是否含有病变区域，如果含有病变区域，将原始切片组织图像输入预测子模块的深度卷积神经网络，提取病变区域二值标签图像，将二值标签图和原始切片组织图像合成切片组织病变区域标注图，并返回给切片图像中转模块。

步骤5：切片图像中转模块接收所述病变区域判别模块输出的切片组织病变区域标注图，并发送给结果修正与确认模块。

步骤6：结果修正与确认模块接收切片图像中转模块所传送来的所述病变组织判别模块生成的切片组织病变区域标注图，并通过图形用户接口展示给病理医生，由病理医生进行确认与修正，然后将病理医生修正过的图像发送给所述切片图像中转模块。

步骤7：所述切片图像中转模块接收所述结果修正与确认模块返回的修正后切片组织病变区域标注图，并发送给投影重定位模块和病变组织判别模块。

步骤8：病变区域判别模块接收所述切片图像中转模块所发送的修正切片组织图像标注图，加入切片组织病变区域数据集。

步骤9：投影重定位模块将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域，并将大体组织复原图发送到结果展示模块。

步骤10：结果展示模块展示投影重定位模块生成的大体组织复原图。

进一步地，步骤2中所述的使用多通道直方图分布信息提取算法去除大体原始图背景，包括如下步骤：

步骤2-1、读取大体原始图i，并按rgb三原色图像标准，提取r、g、b三通道灰度图，图像大小为n×n；

步骤2-2、对rgb三通道灰度图提取直方图分布，每个通道均为16个灰度级；

步骤2-3、对选择阈值rt，gt，bt,使得r、g、b图像满足如下关系：

步骤2-4、选择阈值rt，gt，bt为大体原始图与背景图的临界点，对于单个像素点p，如果p满足如下关系，则将像素p判断为前景，否则判断为背景，将像素p判断为前景，否则判断为背景：

sign(pr-rt)+sign(pg-gt)+sign(pb-bt)＞0

其中pr，pg，pb分别为像素点p在rgb三个通道上的大小，sign为符号函数，大于0则为1，小于0则为-1。

进一步地，步骤2中所用的无监督聚类刀痕提取算法包括如下步骤：

步骤(2-1)、根据所述多通道直方图分布信息提取算法，去除背景，得到前景图感兴趣区域roi。

步骤(2-2)、将前景图感兴趣区域roi内的像素点灰度值从[0,255]归一化到[0,1]；

步骤(2-3)、将rgb三通道归一化之后像素点(r′i，g′i，b′i)看成三维坐标中的坐标点xi,坐标点可分为刀痕和普通组织两类，记为s1，s2，随机初始化两个聚类中心(c1，c2)。

步骤(2-4)、计算感兴趣区域roi中所有的像素点(x1，x2，…，xn)与聚类中心(c1，c2)的空间距离，按照最小距离原则分配到聚类中心所属类别。

步骤(2-5)、通过求归属同一类的坐标点的平均值，更新聚类中心(c1，c2)

步骤(2-6)重复步骤(2-4)，直到聚类中心不再发生变化。

进一步地，在步骤4中所述的是否病变的分类方法包括如下步骤：

步骤4-1：通过主元分析将原切片图像x转换为低维图像x′，转换公式为：

x′＝w^tx

其中w为线性映射矩阵，w使得降维之后再还原的图像与原图像误差最小，即：

通过矩阵奇异值分解算法可以求得w的最优值。

所述切片组织病变区域数据集中有n张切片图像xi，i＝1，…，n,所述n张切片图像通过线性映射矩阵w生成低维图像x′i，i＝1，…，n，每个低维图像对应一个输出标注yi，1表示病变，0表示非病变。

步骤4-2：将x′i作为多层感知器(记为fθ，其中θ为多层感知器的权重)的输入，得到输出

步骤4-3:计算所有输出与yi之间的交叉熵损失l，其中l表示为：

步骤4-4：计算l相对于θ的偏导数并更新θ值，更新公式为：

其中,α为多层感知器的学习率，是一个0到1之间的常数，

步骤4-5：重复步骤4-2到步骤4-4，直到损失l小于特定阈值。

进一步地，在步骤4中使用深度卷积神经网络实现病变区域标注。

进一步地，在步骤9中通过对应像素点旋转与平移变换矩阵实现投影重定位。

本发明有益效果如下：

针对上述问题，本发明极大地提高了大体组织复原图处理过程的自动化程度。通过多通道直方图分析提取算法和无监督图像聚类算法对大体原始图进行处理，实现大体原始图的背景去除和刀痕提取。通过主元分析、多层感知器和端到端深度卷积神经网络，实现切片组织病变情况的快速判别和病变区域语义分割。通过云服务，将运算密集型任务分离给高性能服务器，实现大规模结构化数据的向量处理和深度神经网络训练。通过本发明所设计的辅助诊断系统，能够最大限度地降低病理医生和病理技师的工作量，并且提高大体组织图像复原的速度。

附图说明

图1是本发明一种组织病变区域图像辅助复原系统的框图；

图2是本发明实施例中，病变区域判别模块的组成结构图；

图3是本发明实施例中，用于病变区域提取的深度卷积神经网络的结构图；

图4是本发明一种组织病变区域图像辅助复原方法的步骤框图；

具体实施方式

下面结合附图和实施例对本发明做具体说明。

本发明属于智能医疗领域，具体涉及一种组织病变区域图像辅助复原系统和方法。本发明能够快速生成大体组织复原图，大大减轻病理医生和病理技师的工作压力。

本发明实施例提供了一种组织病变区域图像辅助复原系统，如图1所示，包括：

大体原始图采集模块101、切片图像采集模块102、刀痕提取与编号模块103、投影重定位模块107、切片图像中转模块104、结果修正与确认模块106、病变组织判别模块105、结果展示模块108，所述大体图像采集模块101与刀痕提取与编号模块103通信连接，所述切片图像中转模块104与切片图像采集模块102通信连接，所述切片图像中转模块104与识别结果修正与确认模块通信106连接，所述投影重定位模块107与刀痕提取与编号模块102、切片图像中转模块104连接。

所述大体原始图采集模块101用于采集带刀痕的大体原始图，并通过局域网传输给所述刀痕提取与编号模块103。

所述刀痕提取与编号模块103，用于分离大体原始图的背景与前景，提取刀痕区域，并对刀痕各区域编号。

所述切片图像采集模块102，图像采集顺序与刀痕提取与编号模块103中刀痕各区域编号相同，采集到的图像通过局域网快速传递给所述切片图像中转模块104。

所述切片图像中转模块104将切片图像打包后上传至病变组织判别模块105。并接收所述病变组织判别模块105返回的判别结果。

所述病变组织判别模块105将识别后的病变区域标注图返回给切片图像中转模块104，切片图像中转模块104将切片组织病变区域标注图打包发送给所述结果修正与确认模块106。

所述结果修正与确认模块106将一系列组织切片图像与病变区域标注图分别进行对应的合成，合成后展现给病理医生，病理医生进行修正或确认。所述结果修正与确认模块106将修正后的病变区域标注图发送给所述切片图像中转模块104，所述切片图像中转模块104再将切片组织病变区域标注图打包发送给投影重定位模块107和病变组织判别模块105。

所述病变组织判别模块105将切片组织病变区域标注图添加到切片组织病变区域数据集；

所述投影重定位模块107接收所述刀痕提取与编号模块103传送的带有刀痕区域标注和编号的大体原始图；所述投影重定位模块107接收所切片图像中转模块104上传的切片组织图像病变区域标注图；所述投影重定位模块107通过将切片组织图像病变区域标注图还原到大体原始图对应刀痕处，生成大体病变区域复原图。

所述结果展示模块108接收投影重定位模块107生成的大体病变区域复原图，并通过图形用户接口展示给病理医生和技师。

上述方案的工作原理为：所述大体原始图采集模块101和所述切片图像采集模块102为计算机外部接口模块，负责采集图像；所述刀痕提取与编号模块103、所述投影重定位模块107、所述切片图像中转模块104为计算机内置模块，通过异步多线程软件设计方法，可以同时处理大体原始图和切片组织图像；所述病变组织判别模块105为云计算服务模块，通过将切片组织图像上传到远程云服务器，弥补本地计算机图像处理能力的不足。所述结果展示模块和结果修正与确认模块为人机交互模块，在将图像展示给病理医生和技师的同时，动态地接收病理医生和技师所提供的反馈。

在本实施例中，所述病变组织判别模块的组成结构如图2所示，从输入图像207得到的图像有两种，如果是尚未分类的切片组织原始图，则将图像发送到预测子模块206，预测子模块在进行预测时采用的算法权重为主元分析线性投影矩阵w(205)、多层感知器fθ(204)、深度卷积神经网络dcnn(203)。预测子模块使用主元分析线性投影矩阵w205对所述切片组织原始图进行降维得到降维图，再将降维图输入多层感知器fθ(204)进行判别，如果判别有病变，则将所述切片组织原始图输入深度卷积神经网络dcnn203进行运算，再将病变区域标注图进行返回，如果判别无病变，则直接返回无病变信息。若从所述输入图像207得到的图像为病变区域标注图，则将该病变区域标注图加入切片组织病变区域数据集201，所述病变区域数据集201新增数据图片达到设定阈值后，训练子模块以更新后切片组织病变区域数据集201作为输入和输出进行训练，其中组织切片图像作为训练子模块的输入，病变区域标注图作为的训练子模块的输出。

从而更新算法权重主元分析线性投影矩阵w205、多层感知器fθ204、深度卷积神经网络dcnn203；

参考图3，本实施例中，所使用的深度卷积神经网络dcnn203采用卷积层和反卷积层结合的方式，实现切片组织图像的降采样和反向恢复。首先，通过4个卷积层，实现图像高维度信息的提取，卷积核的个数分别为64、128、256、512，随着卷积核个数的增加，提取的特征图信息也就更复杂。然后，通过4个反卷积层将高维度特征图信息还原到原图像大小，反卷积核的个数分别为256、128、64、1。卷积核和反卷积核的大小、卷积步长和补零个数可根据图像的大小进行调整，使得卷积神经网络的输出特征图的大小和输入切片组织原始图的大小相同。

本发明实施例提供了一种组织病变区域图像辅助复原方法，其步骤如图4所示：

步骤401：获取切片处理后的大体原始图，上传至所述刀痕提取与编号模块。

步骤402：刀痕提取与编号模块对大体原始图进行处理：

使用多通道直方图分布信息提取算法去除大体原始图的背景；使用无监督聚类算法提取刀痕区域，将刀痕编号，然后发送给投影重定位模块；

步骤403：切片扫描原始图采集，并发送给切片图像中转模块

步骤404：将切片组织原始图打包后中转给所述病变组织判别模块104。

优选地，系统软件采用异步多线程结构，因此步骤402和步骤404可以在不同线程中同时执行，互不干扰。

步骤405：病变组织判别模块进行病变组织判别并生成病变组织标注图。

步骤403：通过切片图像采集模块对切片组织进行扫描，获得切片组织图像，并上传至切片图像中转模块；

步骤404：所述切片图像中转模块将切片组织图像打包后上传至病变组织判别模块；

步骤405：在病变区域判别模块的预测子模块中，使用主元分析将输入的原始切片组织图像降维，得到降维图；将降维图输入预测子模块的多层感知器，通过多层感知器判断是否含有病变区域，如果含有病变区域，将原始切片组织图像输入预测子模块的深度卷积神经网络，提取病变区域二值标签图像，将二值标签图和原始切片组织图像合成切片组织病变区域标注图，并返回给切片图像中转模块。

进一步地，在所述步骤402中，所用分离大体背景的多通道直方图分布信息提取算法，包括如下步骤：

步骤s1401、读取大体原始图i，并按rgb三原色图像标准，提取r、g、b三通道灰度图，图像大小为n×n。

步骤s1402、对rgb三通道灰度图提取灰度直方图分布，每个通道均为16个灰度级。

步骤s1403、选择灰度阈值rt，gt，bt,使得r、g、b图像满足关系：

步骤s1404、rt，gt，bt为大体原始图i与大体背景图的临界点，rij表示r通道上的像素点位置；对于单个像素点p,如果p满足关系：

sign(pr-rt)+sign(pg-gt)+sign(pb-bt)＞0

则将像素点p判断为前景，否则判断为背景，其中pr，pg，pb分别为像素点p在rgb三个通道上的大小，sign为符号函数，大于0则为1，小于0则为-1。

进一步地，步骤402中，所用的无监督聚类刀痕提取算法包括如下步骤：

步骤s1501、根据所述多通道直方图分布信息提取算法，去除背景，得到前景图感兴趣区域roi。

步骤s1502、将roi内的像素点灰度值从[0,255]归一化到[0,1]；

步骤s1503、将rgb三通道归一化之后的像素点看成三维坐标中的坐标点xi,坐标点可分为刀痕和普通组织两类，记为s1，s2，随机初始化两个聚类中心(c1，c2)。

步骤s1504、计算感兴趣区域roi中所有的像素点(x1，x2，…，xn)与聚类中心(c1，c2)的空间距离，按照最小距离原则分配到聚类中心所属类别。

步骤s1505、通过求归属同一类的坐标点的平均值，更新聚类中心(c1，c2)，。

步骤s1506、重复步骤1504，直到聚类中心不再发生变化。

优选地，系统软件采用异步多线程结构，因此大体原始图采集模块和切片图像采集模块在不同线程中同时执行，互不干扰。

进一步地，步骤405中使用主元分析205对切片组织图像进行降维。

进一步地，步骤405中使用多层感知器204判断切片组织原始图中是否含有病变区域

进一步地，步骤405中使用深度卷积神经网络203来提取含有病变的组织切片中的病变区域。

进一步地，在步骤405中，所用是否病变分类方法包括如下步骤：

步骤s1201：通过主元分析将原切片图像x转换为低维图像x′，转换公式为：

x′＝w^tx

其中w为线性映射矩阵，w使得降维之后再还原的图像与原图像误差最小，即：

通过矩阵奇异值分解算法可以求得w的最优值。

所述切片组织病变区域数据集中有n张切片图像xi，i＝1，…，n,所述n张切片图像通过线性映射矩阵w生成低维图像x′i，i＝1，…，n,每个低维图像对应一个输出标注yi，1表示病变，0表示非病变。

步骤s1202：将低维图像x′i作为多层感知器(记为fθ，其中θ为多层感知器的权重)的输入，得到输出

步骤s1203:计算所有输出与yi之间的交叉熵损失l，其中l表示为：

步骤s1204：计算l相对于θ的偏导数并更新θ值，更新公式为：

其中α为多层感知器的学习率，是一个0到1之间的常数，

步骤s1205：重复步骤s1202-1204，直到损失l小于特定阈值。

步骤406：病变组织判别模块105生成的病变组织标注图通过切片图像中转模块104发送到结果修正与确认模块106，所述结果修正与确认模块106通过图形用户界面将切片组织病变区域标注图展示给病理医生。

步骤407：医生对切片组织病变区域标注图进行确认与修改。

步骤408：所述切片图像中转模块104接收所述结果修正与确认模块106返回的修正后切片组织病变区域标注图，并发送给病变组织判别模块105，由病变组织判别模块将所述修正后切片组织病变区域标注图添加到切片组织病变区域数据集。

步骤409：所述投影重定位模块107将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域，并将大体组织复原图发送到结果展示模块108。

步骤410：结果展示模块108展示投影重定位模块生成的大体组织复原图。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。