组织病变区域勾勒方法及系统与流程

本发明涉及医学领域，具体而言，涉及组织病变区域勾勒方法及系统。

背景技术：

内镜切除手术中切除下来的组织标本，进行病变区域大体勾勒，是病理分析的发展趋势，日本医疗机构已实施该项技术传统多年，其实施步骤如下：

1.对组织标本进行分区域蜡块制作；

2.对蜡块进行切片制作，制作为1～n块切片，每块切片包含1～n个细条状组织；

3.镜下对切片进行观察，使用刻度尺测量病变组织区域长度，并记录病变区域起始、结束位置；

4.根据切除的位置，手工使用绘图软件进行组织病变区域勾勒；

由于该项技术第3,4步需要人工在显微镜下测量，并人工在绘图纸上记录，不仅在实施耗时长、过程繁琐，而且测量误差大，从而导致该业务难以推广普及。目前我国仅北大医院等极少数医院开展该项业务。

有鉴于此，特提出本发明。

技术实现要素：

本发明的第一目的在于提供一种组织病变区域勾勒方法，通过计算机自动测量定位法实现病变区域勾勒，取代传统方法中通过人工测量定法，不仅节约人力成本，提高效率，并且提高区域勾勒的精度。

本发明的第二目的在于提供组织病变区域勾勒系统，为上述的方法提供技术支持。

为了实现本发明的上述目的，特采用以下技术方案：

组织病变区域勾勒方法，包括以下步骤：

获取组织图像；

对所述组织图像进行图像识别，同时将所述组织图像转化为组织实际尺寸的图像；

在所述组织实际尺寸的图像上进行切割采样，生成切割采样图纸；

按照所述切割采样图纸对组织制作切片；

所述切片扫描获取切片图像；

获取所述病理图像的结果，并在所述切割采样图纸上对病变区域进行标记，生成标注数据；

所述切割采样图纸上标注数据进行坐标转换，映射到所述组织图像上，形成勾勒图。

本发明先获取组织图像，然后通过对组织图像的识别和转化，得到组织实际尺寸的图像，在此基础上进行切割采样，生成切割采样图纸，据此对组织制作蜡块和切片，根据特定位置的切片的观察，在切割采样图纸上相应的位置上进行标注，生成标注数据，映射到组织图像上，形成勾勒图。

本发明结合成像系统、图像处理系统、图像分析标注系统和数字病理切片扫描系统，实现自动生成蜡块制作图纸，自动测量病变区域长度，并自动记录病变区域起始、结束位置，自动进行组织病变区域的勾勒，不仅节约人力成本，提高效率，并且提高区域勾勒的精度。相对于传统方法通过人工测量定法实现病变区域勾勒的难度，能有效降低该项业务开展难度，节约实施时间，提高测量精度，从而推动该项业务的发展。

进一步地，所述组织图像上附有用于标注所述组织实际尺寸的标记。

优选的，所述组织附有已知刻度、且不遮挡所述组织中感兴趣信息的蒙版，拍摄所述组织及蒙版获得所述组织图像。

优选地，所述蒙版为带刻度的平面板。

即，组织放入带刻度的平面板中获取所述组织图像。

进一步地，所述刻度板为圆点刻度板，所述组织放入所述圆点刻度板的中心区域。

进一步地，所述刻度识别采用霍夫圆形检测算法。

本发明中，刻度识别也可以采用其他的手段，如deeplab-v3算法等。

进一步地，通过带刻度的平面板对所述组织的实际尺寸进行换算，将所述组织图像转化为组织实际尺寸的图像。

deeplab-v3算法识别区分程度高，识别内容全面可靠，并且识别效果稳定。

进一步地，所述图像识别采用deeplab-v3算法识别。

兼具效率和准确度，一般地，蜡块的尺寸不超过5cm*4cm，采样条数不超过6条。

本发明还提供了一种计算机存储介质，其上存储有实现上述的方法的可执行代码。

本发明还提供了一种图像处理设备，包括：

存储器：存储有实现上述的方法的可执行代码；

处理器：与所述存储器连接，执行存储在所述存储器上的可执行代码。

本发明还提供了组织病变区域勾勒系统，包括：

成像系统：获取组织图像；

图像处理系统：对所述组织图像转化为组织实际尺寸的图像，在所述组织实际尺寸的图像上进行切割采样，生成切割采样图纸；

扫描系统：对组织切片扫描获取切片图像；

标注系统：根据所述切片图像的病理结果在切割采样图纸上对组织病变区域进行标记，生成标注数据，并映射到所述成像系统的组织图像上，勾勒出组织病变区域。

进一步地，所述成像系统由带刻度的平面板和摄影设备组成。

进一步地，所述图像处理系统主要由图像识别模块和切割模块组成；

所述图像识别模板识别所述组织图像中的刻度和组织区域，并换算为组织实际尺寸的图像；

所述切割模块根据设置的最大切割长度、采样条数对组织实际尺寸的图像切割，生成切割采样图纸。

进一步地，所述扫描系统通过数字病理扫描对切片扫描获取高分辨率的切片图像。

与现有技术相比，本发明的有益效果为：

(1)本发明结合数字病理切片扫描仪、图像分析标注软件、图像拼接融合技术形成系统实现自动生成蜡块制作图纸，自动测量病变区域长度，并自动记录病变区域起始、结束位置，实现组织病变区域的自动勾勒。

(2)不仅节约人力成本，提高效率，并且提高区域勾勒的精度。

(3)针对现有技术采用人工绘制难的问题，本发明能有效降低该项业务开展难度，节约实施时间，提高测量精度，从而推动该项业务的发展。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例1提供的组织病变区域勾勒方法的流程示意图；

图2为本发明实施例1提供的图像处理系统的工作示意图；

图3为本发明实施例2提供的成像系统的示意图；

图4为本发明实施例2提供的高拍仪相机成像获取组织图像图；

图5为本发明实施例2提供的图像处理系统中的组织区域识别和刻度识别效果图；

图6为本发明实施例2提供的生成蜡块切割采样图纸；

图7为本发明实施例2提供的病理图像；

图8为本发明实施例2提供的组织病理勾勒图。

具体实施方式

第一方面，本发明提供了组织病变区域勾勒方法，包括以下步骤：

获取组织图像；

对所述组织图像进行图像识别，同时将所述组织图像转化为组织实际尺寸的图像；

在所述组织实际尺寸的图像上进行切割采样，生成切割采样图纸；

按照所述切割采样图纸对组织制作切片；

所述切片扫描获取切片图像；

获取所述切片图像的病理结果，并在所述切割采样图纸上对病变区域进行标记，生成标注数据；

所述切割采样图纸上标注数据进行坐标转换，映射到所述组织图像上，形成勾勒图。

获取组织图像步骤中，为了便于后续将组织图像转化为组织实际尺寸的图像，在获取组织图像时，在组织的周围放置参照物，如带刻度的平面板。因此，在一些实施例中，组织放入带刻度的平面板中获取所述组织图像。

进一步地，所述组织图像上附有用于标注所述组织实际尺寸的标记。

优选地，所述组织附有已知刻度、且不遮挡所述组织中感兴趣信息的蒙版，拍摄所述组织及蒙版获得所述组织图像。

优选地，所述蒙版为带刻度的平面板。

在一些实施例中，所述刻度板为圆点刻度板，所述组织放入所述圆点刻度板的中心区域。

如，获取组织图像采用成像系统完成，成像系统如高拍仪，拍摄效果稳定。

使用时将圆点刻度板水平放在高拍仪平台上，各个边尽量与高拍仪的平台各个边平行。然后将组织尽量放入圆点刻度板的中心，最后经过高拍仪相机成像获取组织图像。

如，为圆点刻度板，刻度的识别采用霍夫圆形检测算法。

在一些实施例中，所述图像识别采用deeplab-v3算法识别。

在一些实施例中，通过带刻度的平面板对所述组织的实际尺寸进行换算，将所述组织图像转化为组织实际尺寸的图像。

图像识别后，根据图像周围的刻度板，对图像换算成像素，根据像素换算，将组织图像转化为组织实际尺寸的图像。

在得到的组织实际尺寸的图像上进行切割采样，生成切割采样图纸，依此对组织制作蜡块和切片。

本发明中，每个组织根据情况制作多个蜡块。

本发明中，每个蜡块根据情况设置多个采样条数，基于效率和准确性的兼顾，如蜡块的尺寸不超过5cm*4cm，采样条数不超过6条。

根据切割采样图纸中的采样切割线对每个蜡块进行取样，放入玻片并送入扫描系统进行扫描，生成病理图像，病理医生在标注系统中对组织病变区域进行标注，标注系统将标注坐标映射至原始组织图像后的坐标。重复标注直到所有的病变区域全部画出生成勾勒图。

第二方面，本发明还提供了一种计算机存储介质，其上存储有实现上述的方法的可执行代码。

第三方面，本发明提供了一种图像处理设备，包括：

存储器：存储有实现上述的方法的可执行代码；

处理器：与所述存储器连接，执行存储在所述存储器上的可执行代码。

第四方面，本发明提供了组织病变区域勾勒系统，包括：

成像系统：获取组织图像；

图像处理系统：对所述组织图像转化为组织实际尺寸的图像，在所述组织实际尺寸的图像上进行切割采样，生成切割采样图纸；

扫描系统：对组织切片扫描获取切片图像；

标注系统：根据所述切片图像的病理结果在切割采样图纸上对组织病变区域进行标记，生成标注数据，并映射到所述成像系统的组织图像上，勾勒出组织病变区域。

本发明中，成像系统采用现有的成像设备，如高拍仪以及其他带有摄像头的设备等。

在一些实施例中，所述成像系统由带刻度的平面板和摄影设备组成。

使用时，将带刻度的平面板水平放在高拍仪平台上，各个边尽量与高拍仪的平台各个边平行；然后将组织尽量放入平面板板的中心区域，最后经过高拍仪相机成像获取组织图像。

图像处理系统主要由图像识别模块和切割模块组成。

其中，图像识别模板识别所述组织图像中的刻度和组织区域，并换算为组织实际尺寸的图像。

由于刻度的颜色在平面板制作前可人为设定，识别刻度时可通过颜色分割获取，识别刻度后根据图像中刻度在图像中的像素长度和刻度实际长度计算出每一个像素的实际长度。组织区域识别可通过背景减除或语义分割等算法提取组织在图像中的区域，并计算该区域最小外接矩形的尺寸，结合每一个像素的实际长度，计算出组织的实际尺寸。

切割模块根据设置的最大切割长度、采样条数对组织实际尺寸的图像切割，生成切割采样图纸。

其中，切割采样图纸中，标注有切割线以及尺寸信息。

本发明中，扫描系统通过数字病理扫描对切片扫描获取高分辨率的切片图像。

最终病理医生在标注系统中对组织病变区域进行标注后，标注系统将标注坐标映射至原始图像后的坐标，至所有的病变区域全部画出生成勾勒图。

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。

实施例1

组织病变区域大体勾勒系统，主要由组织成像系统、图像处理系统、扫描系统和标注系统4大系统组成。

如图1所示，先将组织通过成像系统生成组织的组织图像。

具体地，成像系统由带刻度的平面板和相机组成，其中平面板水平放置，相机悬挂平面板板最上方，并且镜头正对水平板。使用前，先将标定板水平放入平面板中间进行相机标定，获取相机参数。使用时，将组织放入平面板的中间，通过相机对组织和平面板刻度成像，获取组织图像。

接着图像处理系统根据组织图像生成组织的切割采样图纸。

如图2所示，图像处理系统主要由图像识别模块和切割模块组成。

图像识别模板主要识别图像中的刻度和组织区域。由于刻度的颜色在平面板制作前可人为设定，识别刻度时可通过颜色分割获取，识别刻度后根据图像中刻度在图像中的像素长度和刻度实际长度计算出每一个像素的实际长度。组织区域识别可通过背景减除或语义分割等算法提取组织在图像中的区域，并计算该区域最小外接矩形的尺寸，结合每一个像素的实际长度，计算出组织的实际尺寸。

切割模块根据人工设置的最大切割长度、采样条数以及组织的实际尺寸，生成切割采样图纸。

人工按照切割采样图纸对组织进行区域蜡块制作和切片制作。

切片通过扫描系统，生成高分辨率的数字病理图像。

人工通过标注系统对数字病理图像在切割采样图纸上进行标注，并将标注数据坐标映射至组织图像生成勾勒图像。

扫描系统通过数字病理扫描对切片扫描获取高分辨率的切片图像。

病理医生通过标注系统对病理图像进行查看，并对病变区域进行标记，生成标注数据。标注系统对标注数据进行坐标转换，映射到组织图像，形成勾勒图。

实施例2

如图3所示，本发明实施例的成像系统由带有相机的良田高拍仪(图3a)和圆点刻度板(图3b)，其中横向圆心最大间距为wreal-scale＝20cm，纵向圆心最大间距为hreal-scale＝12cm。

使用时将圆点刻度板水平放在高拍仪平台上，各个边尽量与高拍仪的平台各个边平行，然后将组织尽量放入圆点刻度板的中心，最后经过高拍仪相机成像获取组织图像如图4。

本发明实施例的图像处理系统中的组织区域识别采用deeplab-v3算法识别组织区域得到如图5(a)的mask，并求取mask最小矩形的像素尺寸，本例中图中组织的像素尺寸:宽wpixel-width＝676，高hpixel-height＝487。本例中圆点刻度识别采用霍夫圆形检测算法得到图5(b)所示黑色圆圈，并求出横向圆心最大距离为wpixel-scale＝1122，纵向最大距离为hpixel-scale＝674。则：

水平每个像素间距为wscale＝wreal-scale/wpixel-scale

wscale＝0.01783cm。

垂直每个像素间距为hscale＝hreal-scale/hpixel-scale

hscale＝0.01780cm。

则组织的实际尺寸为：

w＝wscale*wpixel-scale

w＝12.05cm。

h＝hscale*hpixel-scale

h＝8.67cm。

本例中蜡块的最大尺寸为5cm*4cm，最大采样条数为6条，生成蜡块切割采样图纸如图6。人工按照图纸6，对组织切割生成9个蜡块，根据采样切割线对每个蜡块进行取样，放入玻片并送入扫描系统进行扫描，生成病理图像如图7(a)。

病理医生在标注系统中对组织病变区域进行标注后，标注系统将标注坐标映射至原始图像后的坐标如图7(b)。重复标注直到所有的病变区域全部画出生成勾勒图(如图8)。

尽管已用具体实施例来说明和描述了本发明，然而应意识到，在不背离本发明的精神和范围的情况下可以作出许多其它的更改和修改。因此，这意味着在所附权利要求中包括属于本发明范围内的所有这些变化和修改。