一种基于眼动仪点标注信息的医学数据图像标注方法与流程

本发明涉及医疗图像，尤其涉及一种基于眼动仪点标注信息的医学数据图像标注方法。

背景技术：

1、进入大数据时代之后，人工智能技术在智慧医疗的建设中所占的比重越来越大。计算机辅助诊断在医学图像处理领域一直是人工智能技术应用的前沿领域，而且有着巨大的潜力。人工智能能够进行高效的分析，快速的帮助医生处理大量的简单重复性的工作，提供初步的诊断或者合理的治疗方案，节省医生的时间，提高医疗诊断治疗的效率，更加合理的优化的利用医疗资源。

2、利用深度学习技术将医学图像的各种特征信息作为数据进行训练学习，是人工智能在医学领域的主要应用。医学图像的检测主要包括，感兴趣区域定位，感兴趣区域分割，以及感兴趣区域识别三个阶段，现有的医学图像检测方法，多使用的深度算法如d卷积神经网络(cnn，convolutional neural networks)，递归神经网络(rnn，recurrentneuralnetwork)等，然而这些基于强监督学习的算法往往需要大量的数据进行拟合分析才能获取到高准确率的算法。因此对训练数据的要求就比较高，数据的数量，数据的规范性，数据的标注的准确性，都会影响算法的训练结果。

3、一般的与图像相关的计算机人工智能算法研究，其图像可以通过搜索从普通用户收集带有图像标签的训练数据集，但是此方法无法用于医学图像领域，因为医学图像标注需要广泛的临床专业知识，只能由具有丰富医学经验的医生或者相关人员来进行标注。而对医生来说标注医学图像是需要采用手工标注的方法，往往会花费大量时间和精力，因此在医学图像分析现阶段是缺乏是大规模的带注释的图像数据集的，并且当前医学领域分割数据集标注复杂以及模型识别算法的泛化能力差。

技术实现思路

1、(一)要解决的技术问题

2、鉴于现有技术的上述缺点、不足，本发明提供一种基于眼动仪点标注信息的医学数据图像标注方法，其解决了当前医学领域分割数据集标注复杂的技术问题。

3、(二)技术方案

4、为了达到上述目的，本发明采用的主要技术方案包括：

5、本发明实施例提供一种基于眼动仪标注信息的医学数据图像标注方法，所述方法包括：

6、s1、分别针对医学图像序列中每一待标注的dicom医学数据图像进行解析，获取每一dicom医学数据图像所对应的三维重建信息；

7、dicom(digital imaging and communications in medicine)即医学数字成像和通信，是医学图像和相关信息的国际标准。

8、s2、基于每一dicom医学数据图像所对应的三维重建信息对医学图像序列中的dicom医学数据图像，进行三维重建处理，得到与该医学图像序列中dicom医学数据图像所对应的医学图像点云结构；

9、s3、基于所述医学图像点云结构，分别获取所述医学图像点云结构的冠状位图像、矢状位图像和横断位图像；

10、s4、使用眼动仪分别按照预先设定第一策略获取与所述医学图像点云结构的冠状位图像、矢状位图像和横断位图像分别所对应的采集信息；

11、所述采集信息包括：热点区域框以及采集时间；

12、s5、基于与所述医学图像点云结构的冠状位图像、矢状位图像和横断位图像分别所对应的采集信息，根据预先设定第二策略将所述医学图像点云结构转化为二值图像的点云结构。

13、优选地，

14、所述三维重建信息包括：dicom医学图像数据的图像位置、dicom医学图像数据的图像方向、dicom医学图像数据的图像总行数和图像总列数、dicom医学图像数据中像素中心之间的物理间距、dicom医学图像数据的层与层之间的间距以及dicom医学图像数据的像素点数值。

15、优选地，所述s4具体包括：

16、s41、确定眼动仪在所述医学图像点云结构的扫描图像中视点的初始位置，并开始按照预设时间间隔分别获取扫描图像中视点的位置直至第一事件发生；

17、所述扫描图像为所述医学图像点云结构的冠状位图像或矢状位图像或横断位图像；

18、所述第一事件为所述眼动仪捕获到该眼动仪的使用者在预设时间段内连续眨眼两次；

19、s42、获取采集时间内的扫描图像中视点位置；

20、所述采集时间为从确定眼动仪在所述医学图像点云结构的扫描图像中视点的初始位置开始到第一事件发生的时间；

21、s43、基于所述采集时间内的扫描图像中视点位置，获取所述医学图像点云结构的扫描图像的热点区域框，并将所述采集时间和所获取的该扫描图像的热点区域框组成与该扫描图像所对应的采集信息；

22、所述扫描图像的热点区域框为冠状位图像的热点区域框或矢状位图像的热点区域框或横断位图像的热点区域框。

23、优选地，

24、所述眼动仪在所述医学图像点云结构的扫描图像中视点的初始位置为所述眼动仪捕获到在所述医学图像点云结构的扫描图像中视点所停留时间超过1秒的视点所在的位置。

25、优选地，

26、若扫描图像为冠状位图像时，则所述扫描图像的热点区域框为冠状位图像的热点区域框，所述冠状位图像的热点区域框为第一时间内的冠状位图像中视点位置的坐标中以横坐标最大的视点位置所在的垂直线与横坐标最小的视点位置所在的垂直线作为垂直边界，以纵坐标最大的视点位置所在的水平线与纵坐标最小的视点位置所在的水平线作为水平边界所形成的区域框；

27、所述第一时间为扫描图像为冠状位图像时的采集时间；

28、若扫描图像为冠状位图像时，则所述扫描图像的热点区域框为矢状位图像的热点区域框，所述矢状位图像的热点区域框为第二时间内的矢状位图像中视点位置的坐标中以横坐标最大的视点位置所在的垂直线与横坐标最小的视点位置所在的垂直线作为垂直边界，以纵坐标最大的视点位置所在的水平线与纵坐标最小的视点位置所在的水平线作为水平边界所形成的区域框；

29、所述第二时间为扫描图像为矢状位图时的采集时间；

30、若扫描图像为横断位图像，则所述扫描图像的热点区域为横断位图像的热点区域框，所述横断位图像的热点区域框为第三时间内的横断位图像中视点位置的坐标中以横坐标最大的视点位置所在的垂直线与横坐标最小的视点位置所在的垂直线作为垂直边界，以纵坐标最大的视点位置所在的水平线与纵坐标最小的视点位置所在的水平线作为水平边界所形成的区域框；

31、所述第三时间为扫描图像为横断位图像时的采集时间。

32、优选地，

33、所述眼动仪预先经过与用于显示dicom医学数据图像的计算机显示屏幕校准处理；

34、所述眼动仪还预先分别经过与所述医学图像点云结构的冠状位图像、矢状位图像和横断位图像的显示窗口分别进行校准。

35、优选地，所述s5包括：

36、s51、基于所述医学图像点云结构的冠状位图像的热点区域框、矢状位图像的热点区域框和横断位图像的热点区域框，获取热点区域包围盒；

37、s52、基于所述第一时间、第二时间、第三时间以及所述热点区域包围盒，将所述医学图像点云结构转化为二值图像的点云结构。

38、优选地，所述s51具体包括：

39、s511、分别将所述医学图像点云结构的冠状位图像的热点区域框、矢状位图像的热点区域框和横断位图像的热点区域框，通过三维重建处理中的三维重建变换关系，变换到三维图像坐标系上得到冠状位图像的热点区域框在三维图像坐标系上所对应的第一区域框、矢状位图像的热点区域框在三维图像坐标系上所对应的第二区域框、横断位图像的热点区域框在三维图像坐标系上所对应的第三区域框；

40、s512、将第一区域框、第二区域框以及第三区域框中，在三维图像坐标系上的x轴上的最大的坐标值点所在的垂直线与x轴上的最小的坐标值点所在的垂直线，在三维图像坐标系上的y轴上的最大的坐标值点所在的水平线与y轴上的最小的坐标值点所在的水平线，在三维图像坐标系上的z轴上的最大的坐标值点所在的垂直z轴的第一直线与z轴上的最小的坐标值点所在的垂直z轴的第二直线，所组成的在三维图像坐标系上的热点区域包围盒。

41、优选地，所述s52具体包括：

42、s521、分别将所述第一时间、第二时间、第三时间进行归一化处理分别得到第一时间归一化处理结果、第二时间归一化处理结果、第三时间归一化处理结果；

43、s522、分别获取第一区域框、第二区域框以及第三区域框中像素点数值的最大值，采用公式(1)获取第一数值threshold；

44、所述公式(1)为：

45、(coronalpixelvalue*w1+sagittalpixelvalue*w2+axialpixelvalue

46、*w3)×45％＝threshold；

47、其中，w1为第一时间归一化处理结果，w1＝第一时间/(第一时间+第二时间+第三时间)；

48、w2为第二时间归一化处理结果，w2＝第二时间/(第一时间+第二时间+第三时间)；

49、w3为第三时间归一化处理结果，w3＝第三时间/(第一时间+第二时间+第三时间)；

50、coronalpixelvalue为第一区域框中像素点数值的最大值；

51、sagittalpixelvalue为第二区域框中像素点数值的最大值；

52、axialpixelvalue为第三区域框中像素点数值的最大值；

53、s523、基于所述第一数值threshold，采用预先设定转化规则将所述医学图像点云结构转化为二值图像的点云结构；

54、所述预先设定的转化规则包括：

55、将在热点区域包围盒之外的图像数据点取值都为0；

56、将在热点区域包围盒之内的三维重建图像数据点，当数据点的数值大于等于第一数值threshold时，二值图像对应数据点数值为1；当数据点的数值小于第一数值threshold时，二值图像对应数据点取值为0。

57、优选地，

58、所述预设时间间隔为：30毫秒；

59、所述预设时间段内为：500毫秒。

60、(三)有益效果

61、本发明的有益效果是：本发明的一种基于眼动仪标注信息的医学数据图像标注方法，由于采用引入眼动仪这种行为输入信息设备，使用交互方式互相辅助的方式，可以减少医学图像标注操作流程，节约时间。另一方面根据眼动仪的视点跟踪定位数据，建立图像分割的参考阈值，以此阈值为基础，进行自动阈值分割，提高分割精确度。另外，可以辅助医生在进行图像标记时，能够尽量减少手动的操作，通过眼动仪对视觉关注点的识别和记录，自动的标记感兴趣区域，而不用医生逐层的浏览医学图像来勾勒感兴趣区域用于生成图像标记。减少了标记时间，使医生可以在短时间内，快速标记大量医学数据。