基于医生行为的数据获取方法/系统、医学图像处理系统与流程

本发明涉及医学图像处理领域，具体涉及一种基于医生行为的数据获取方法/系统、医学图像处理系统。

背景技术：

ai在自动检测非钙化斑块特征时会根据大量样本进行训练，得到预测模型，但这样的方法通常并不能有效提高预测的准确性，主要原因有：非钙化斑块的识别或程度判断极其复杂，干扰因素很多，对进行样本批注的人提出了更高要求，样本的标注信息有限导致ai在提取特征时，没有将有效的信息提取。

因此，如何得到足够多的样本，同时样本上有更多的批注信息，有利于提高模型预测的准确性。

技术实现要素：

本发明的目的在于提供一种基于医生行为的数据获取方法/系统、医学图像处理系统。

为实现上述目的，本发明采用以下技术方案：

基于医生行为的数据获取方法，包括以下步骤：

基于眼动追踪技术追踪医生查看各医学图像时的眼动轨迹，获取医生对各医学图像的关注坐标；

将各关注坐标与其界面图像数据匹配，获取各医学图像的关注区域；

计算各医学图像的候选目标区域；

对各医学图像的关注区域与候选目标区域取交集，获得各医学图像的可靠区域，并完成其在对应医学图像的标注；

基于可靠区域的邻域坐标，获得可靠区域附近的有价值区域，并完成其在对应医学图像上的标注。

优选地，在基于眼动追踪技术追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长及序列；基于医生对各医学图像的观察时长或序列或观察时长与序列的组合确定该案例的难易评级并标注。

优选地，在基于眼动追踪技术追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长；对各医学图像的检测结果的可靠性进行权重赋值，所述权重为时间权重与初始权重的乘积。

优选地，所述初始权重通过以下方法获得：

给定测试集，测试集中每例数据中有n种医学图像，n为大于1的自然数；

对各医学图像给定一个权重组合[w1，wn]，w1+……+wn＝1，对权重组合[w1，wn]中的w按设定步长分别组合尝试，得到一个最优权重组合使得sum(ri-ri’)最小，ri∈r，r为测试集的预测结果集，ri’∈r’，r’为测试的答案集；

将最优权重除以对应图像的时间权重，即得到各图像的初始权重。

本发明还公开了一种基于医生行为的数据获取系统，包括：

眼动追踪模块，所述眼动追踪模块追踪医生查看各医学图像时的眼动轨迹，获取医生对各医学图像的关注坐标；并将各关注坐标与其界面图像数据匹配，获取各医学图像的关注区域；

候选区域计算模块，所述候选区域计算模块计算各医学图像的候选目标区域；

可靠区域标注模块，所述可靠区域标注模块对各医学图像的关注区域与候选目标区域取交集，获得各医学图像的可靠区域，并完成其在对应医学图像的标注；

有价值区域标注模块，所述有价值区域标注模块基于可靠区域的邻域坐标，获得可靠区域附近的有价值区域，并完成其在对应医学图像上的标注；

样本输出模块，所述样本输出模块输出的样本中包括所述可靠区域标注及有价值区域标注。

优选地，还包括难易标注模块，所述眼动追踪模块在追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长及序列；所述难易标注模块基于医生对各医学图像的观察时长或序列或观察时长与序列的组合确定该案例的难易评级并标注；所述样本输出模块输出的样本中包括所述可靠区域标注、有价值区域标注及难易评级标注。

优选地，还包括权重标注模块，所述眼动追踪模块在追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长；所述权重标注模块对各医学图像赋予可靠性的权重，所述权重为时间权重与初始权重的乘积；所述样本输出模块输出的样本中包括所述可靠区域标注、有价值区域标注及各医学图像权重标注。

本发明还公开了一种医学图像处理系统，包括待预测图像输入模块及非钙化斑块检测模型；

所述非钙化斑块预测模型利用如前所获取的数据作为训练样本进行训练；

将待预测图像输入所述待预测图像输入模块，所述非钙化斑块预测模型对待预测图像进行预测，给出预测结果。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明基于眼动追踪技术对医生专家的行为进行捕捉，自动生成医生观察各类图像的时间、频率、顺序、关注点及关注点的附近点，根据获取的信息提取可靠区域、有价值区域，可以自动获得大量高价值的样本。

2、本发明所获取的样本信息丰富，同时还包含难度评级，可以针对难度评级对难样本给予针对性的训练，使预测结果更为准确。

3、本发明赋予了权重信息，最后将其应用于模型训练，对于类似数据，可以对各图像的预测结果的融合给出相同的权重，使其输出的结果更贴近该医生专家的真实评价结果。

附图说明

图1为本发明基于医生行为的数据获取系统的组成框图。

图2为本发明医学图像处理系统的组成框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明中需要说明的是，术语“上”“下”“左”“右”“竖直”“水平”“内”“外”等均为基于附图所示的方位或位置关系，仅仅是为了便于描述本发明和简化描述，而不是指示或暗示本发明的装置或元件必须具有特定的方位，因此不能理解为对本发明的限制。

实施例1

本发明公开了一种基于医生行为的数据获取方法，其包括以下步骤：

基于眼动追踪技术追踪医生查看各医学图像时的眼动轨迹，获取医生对各医学图像的关注坐标；

将各关注坐标与其界面图像数据匹配，获取各医学图像的关注区域；

计算各医学图像的候选目标区域；

对各医学图像的关注区域与候选目标区域取交集，获得各医学图像的可靠区域，并完成其在对应医学图像的标注；

基于可靠区域的邻域坐标，获得可靠区域附近的有价值区域，并完成其在对应医学图像上的标注。

其中，眼动追踪技术属于现有技术，在此不做赘述。

各医学图像的候选目标区域计算也属于现有技术，其可以理解成对血管非钙化斑块的检测，其可以通过如下方式计算：

1、深度学习网络，通过对非钙化区域标注1，不是非钙化区域的负样本标注0；然后用分类网实现对非钙化区域的分类与批注。

2、传统算法，对血管区域做分割，分割可以是深度学习或传统分割方法。得到分割结果后，对血管的垂直方向检测是否有形态上的”凹陷”。这种凹陷的定义是：该位置的血管宽度低于该位置两边的血管宽度。

可靠区域的邻域坐标通过预设一个阈值获得，本实施例优选为可靠区域边缘的30个像素。获得有价值区域的意义在于：引入可用的判断信息。因为，我们要准备样本给神经网络，神经网络需要更多的信息量判断病灶，不单单是病灶本身的图像信息，还需要借助其旁边的图像信息，而这个旁边的图像有更多的信息量能辅助判断才更有价值，模型判断的准确性也才能提高。

优选地，在基于眼动追踪技术追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长及序列；基于医生对各医学图像的观察时长或序列或观察时长与序列的组合确定该案例的难易评级并标注。

其中，难度评级可以根据观测时长判定。首先预设几个不同的难度等级，如简单、一般、复杂，对每个难度等级设定不同的时间阈值，当医生对医学图像的观察总时长超过对应的时间阈值时，获得相应的难度评级。

也可以根据序列进行设定。比如，对于单序列(即对于各医学图像，医生只查看一次)，可以定义为简单；对于双序列(即对于各医学图像，医生在查看完所有医学图像后，又对其中的某一项或几项医学图像进行再次查看)可定义为一般；对于多序列(即对于各医学图像，医生在查看完所有医学图像后，在其中某几项医学图像之间反复查看)，可定义为复杂。

也可以结合观察时长及序列进行判定，如二者各占一半权重，得出最终的结论。

优选地，在基于眼动追踪技术追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长；对各医学图像的检测结果的可靠性赋予权重，所述权重为时间权重与初始权重的乘积。

如，医学图像一般包含有原图、cpr、短轴及拉直，分别以1，2，3，4替代，关注序列及时间可能是这样的：1(20s)2(30s)3(10s)4(10s)2(10s)1(5s)2(5s)；1，2，3，4这几个本身可以设定一个初始的权重，时长也可以为权重，两者相乘即得到权重。

所述初始权重通过以下方法获得：

给定测试集，测试集中每例数据中有n种医学图像，n为大于1的自然数。对各医学图像给定一个权重组合[w1，wn]，w1+……+wn＝1，对权重组合[w1，wn]中的w按设定步长分别组合尝试，得到一个最优权重组合使得sum(ri-ri’)最小，ri∈r，r为测试集的预测结果集(所述预测结果为各医学影像检测结果的融合结果)，ri’∈r’，r’为测试的答案集；将最优权重除以对应图像的时间权重，即得到各图像的初始权重。

本实施例中n＝4，即包括原图、cpr、短轴及拉直图像。以a、b、c及d表示各医学图像的检测结果，w表示可信权重，则对于各医学图像检测结果的融合结果，有：

r1＝w1*a1+w2*b1+w3*c1+w4*d1；

r2＝w1*a2+w2*b2+w3*c2+w4*d2；

……；

寻找到最优的挑最优的w1，w2，w3，w4组合，将该w1，w2，w3，w4分别除以时间权重wt1，wt2，wt3，wt4得到初始的权重设定：wi1，wi2，wi3，wi4。

实施例2

本发明还公开了一种基于医生行为的数据获取系统，包括：

眼动追踪模块，所述眼动追踪模块追踪医生查看各医学图像时的眼动轨迹，获取医生对各医学图像的关注坐标；并将各关注坐标与其界面图像数据匹配，获取各医学图像的关注区域；

候选区域计算模块，所述候选区域计算模块计算各医学图像的候选目标区域；

可靠区域标注模块，所述可靠区域标注模块对各医学图像的关注区域与候选目标区域取交集，获得各医学图像的可靠区域，并完成其在对应医学图像的标注；

有价值区域标注模块，所述有价值区域标注模块基于可靠区域的邻域坐标，获得可靠区域附近的有价值区域，并完成其在对应医学图像上的标注。

难易标注模块，所述眼动追踪模块在追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长及序列；所述难易标注模块基于医生对各医学图像的观察时长或序列或观察时长与序列的组合确定该案例的难易评级并标注。

所述眼动追踪模块在追踪医生查看各医学图像时的眼动轨迹时，还获取获取医生对各医学图像的观察时长；所述权重标注模块对各医学图像赋予可靠性的权重，所述权重为时间权重与初始权重的乘积；所述样本输出模块输出的样本中包括所述可靠区域标注、有价值区域标注及各医学图像权重标注。

样本输出模块，用于输出生成的样本，其输出的样本中包含各标注模块产生的标注信息。

实施例3

本发明还公开了一种医学图像处理系统，包括待预测图像输入模块及非钙化斑块检测模型。

所述非钙化斑块预测模型利用如前所获取的数据作为训练样本进行训练；训练后的模型能对输入图像进行分类，并给出该类型图像中各医学图像的检测结果及其权重，最终输出最终的预测结果。

将待预测图像输入所述待预测图像输入模块，所述非钙化斑块预测模型对待预测图像进行预测，给出预测结果。

训练时，预测模型根据样本的难度结合预设策略进行不同的训练。

如，对定义为简单的样本，其每个训练周期只训练一次，对于定义为一般的样本，其每个训练周期随机增加a次训练次数，对于定义为复杂的样本，其每个训练周期随机增加2a次训练次数。a的取值预设，一般可取1或2。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。