基于OCRNet的超声图像分割方法、系统及静脉超声装置

本发明属于临床应用，具体涉及一种基于ocrnet的超声图像分割方法、系统及静脉超声装置。

背景技术：

1、静脉穿刺是一种常见的医疗手段，多应用于静脉注射、采血、输血等治疗工作。在临床治疗当中，由于不同病人的生理状况以及临床医师的穿刺技术熟练度的差异，都会在一定程度上影响静脉穿刺的成功率。近年来，世界笼罩在新冠疫情下，对于可以进行静脉穿刺的采血机器人的需求也在不断上涨。静脉穿刺机器人系统主要由静脉成像部分和机械静脉穿刺部分组成。静脉成像部分主要是通过近红外、超声等方法获取静脉图像，使用深度学习进行处理，为穿刺部分服务。机械穿刺部分则是借由成像部分的判断，监督静脉通路的形成。

2、目前穿刺效果较好的静脉穿刺机器人如veebot和vasculogic等产品均采用近红外模态识别穿刺位置、超声模态确定穿刺深度的方法。

3、在超声成像领域，应用最为广泛、技术最为成熟的领域是ct(computetomography)图像处理技术，现有的基于cnn的深度学习图像处理技术，使用googlenet、vggnet等网络，均在超声图像处理领域取得了不错的效果。

4、2015年提出的unet模型应用于生物医学图像分割。该模型基于全卷积神经网络思想，采用编码-解码的对称框架，结构形似“u”型，因而被称为unet模型，在ct超声影像领域得到了广泛的应用。

5、静脉超声图像的灰度、形态、纹理信息较少，但难以将对比度相似的软组织区别开来，使用原始的unet以及改进的resnext-unet分别解决了层数较浅时使用sigmoid函数在数据绝对值较大时出现过饱和现象以及层数较深时导致梯度爆炸或者梯度消失的问题。

技术实现思路

1、本发明所要解决的技术问题是：提供一种基于ocrnet的超声图像分割方法，解决了现有技术中传统的超声图像处理出现过饱和现象以及层数较深时导致梯度爆炸或者梯度消失的问题。

2、本发明为解决上述技术问题采用以下技术方案：

3、一种基于ocrnet的超声图像分割方法，首先，获取超声图像数据集，并根据数据集中所有图像的像素语义信息和像素特征，获取每个图像的类别区域特征；

4、其次，将像素特征和类别区域特征，应用自注意力机制计算像素与区域的相似度；

5、然后，根据相似度计算得到图像最终的上下文表示；

6、最后，根据像素特征和上下文表示进行通道调整，输出图像的分割结果。

7、所述类别区域特征的获取方法如下：

8、将像素语义展开成二维数据，其每一行表示每个像素点属于某类物体的概率；

9、将像素特征展开为二维数据，其每一列表示每个像素点在某一维的特征；

10、将像素语义的每行乘以像素特征的每列，然后再相加，得到类别区域特征，其每一行表示某个类的2n维特征，其中，n为正整数，且n≥8。

11、所述n＝8或n＝9。

12、所述像素语义信息是常规的语义分割结果，像素特征是提取到的特征图像。

13、所述自注意力参数的计算公式如下：

14、

15、其中，feats为像素特征，proxy为类别区域特征。

16、像素与区域的相似度的计算公式如下：

17、

18、所述上下文表示根据如下公式计算：

19、context＝simmap×v。

20、为了进一步解决静脉超声图像的灰度、形态、纹理信息较少，但难以将对比度相似的软组织区别开来的问题，本发明还提供一种基于ocrnet的超声图像分割系统及静脉超声装置，具体的技术方案如下：

21、基于ocrnet的超声图像分割系统，包括图像采集装置、数据处理模块、结果输出模块；其中，图像采集装置获取超声图像数据，并将获取的数据存储为图像数据集；数据处理模块应用所述方法对图像数据集进行处理后，输出图像的分割结果。

22、静脉超声装置，通过静脉超声探头获取待穿刺对象穿刺部位的静脉超声图像数据集，应用所述的超声图像分割系统进行处理，获取静脉超声图像的分割结果。

23、所述静脉超声图像的分割结果输出至穿刺机械。

24、与现有技术相比，本发明具有以下有益效果：

25、1、与主流静脉分割网络相比，在参数量、cpu内存、计算量和运行时间方面都是主流网络的一半左右，各项复杂度指标均具有优势。

26、2、提升了最后的语义分割结果，ocrnet在cityscapes validation set上的单尺度分割性能最高可以达到81.59％，可以充分契合二分类任务。

27、3、与unet网络相比，前者通过对输入图像进行4组卷积和下采样操作来获取图像的高阶特征，之后通过4组反卷积将图像大小放大回输入图像大小，在相同深度的block之间加入跳转连接。后者同时从backbone还可获得每个像素的特征，根据每个像素的语义信息和特征，可以得到每个类别的特征；随后可计算像素特征与各个类别特征的相似度，根据该相似度可得到每个像素点属于各类别的可能性，进一步把每个区域的表征进行加权，会得到当前像素增强的特征表示。在原图像上进行像素级操作的效率高于反复卷积。

技术特征：

1.一种基于ocrnet的超声图像分割方法，其特征在于：

2.根据权利要求1所述的基于ocrnet的超声图像分割方法，其特征在于：所述类别区域特征的获取方法如下：

3.根据权利要求2所述的基于ocrnet的超声图像分割方法，其特征在于：所述n＝8或n＝9。

4.根据权利要求2所述的基于ocrnet的超声图像分割方法，其特征在于：所述像素语义信息是常规的语义分割结果，像素特征是提取到的特征图像。

5.根据权利要求1所述的基于ocrnet的超声图像分割方法，其特征在于：所述自注意力参数的计算公式如下：

6.根据权利要求5所述的基于ocrnet的超声图像分割方法，其特征在于：像素与区域的相似度的计算公式如下：

7.根据权利要求6所述的基于ocrnet的超声图像分割方法，其特征在于：所述上下文表示根据如下公式计算：

8.基于ocrnet的超声图像分割系统，其特征在于：包括图像采集装置、数据处理模块、结果输出模块；其中，图像采集装置获取超声图像数据，并将获取的数据存储为图像数据集；数据处理模块应用权利要求1至7中任一项所述方法对图像数据集进行处理后，输出图像的分割结果。

9.静脉超声装置，其特征在于：通过静脉超声探头获取待穿刺对象穿刺部位的静脉超声图像数据集，应用权利要求8所述的超声图像分割系统进行处理，获取静脉超声图像的分割结果。

10.根据权利要求9所述的静脉超声装置，其特征在于：所述静脉超声图像的分割结果输出至穿刺机械。

技术总结
本发明公开了一种基于OCRNet的超声图像分割方法、系统及装置，首先，获取超声图像数据集，并根据数据集中所有图像的像素语义信息和像素特征，获取每个图像的类别区域特征；其次，将像素特征和类别区域特征，应用自注意力机制计算像素与区域的相似度；然后，根据相似度计算得到图像最终的上下文表示；最后，根据像素特征和上下文表示进行通道调整，输出图像的分割结果。与主流静脉分割网络相比，在参数量、CPU内存、计算量和运行时间方面都是主流网络的一半左右，各项复杂度指标均具有优势。在原图像上进行像素级操作的效率高于反复卷积。

技术研发人员：齐鹏,高泽远
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/1/11