一种骨骼图像的分割方法、装置、设备及存储介质与流程

1.本发明涉及医学图像处理技术领域，尤其涉及一种骨骼图像的分割方法、装置、设备及存储介质。


背景技术：

2.以人工智能为代表的信息技术和高端医学影像技术不断发展，机器学习技术在医学影像处理领域得到越来越多的关注。采用机器学习算法可以从海量的医学图像中挖掘出其隐含的规律，用于预测有用的医学信息，如图像分割结果、图像分类结果和图像定位结果等等。
3.而针对骨骼图像，现有的机器学习算法直接将骨骼图像作为图像分割模型的输入数据，对图像分割模型进行训练，以使训练得到的图像分割模型依次输出骨骼图像中一个或多个骨骼对象分别对应的分割图像。但由于现有的机器学习算法的输入数据过于简单，导致训练得到的图像分割模型输出的分割图像的分割效果并不好，特别是在骨骼交界处的分割效果。并且图像分割模型输出的分割图像所属的骨骼对象类别也会存在很大的判别错误率。


技术实现要素：

4.本发明实施例提供了一种骨骼图像的分割方法、装置、设备及存储介质，以解决现有的图像分割模型的分割效果差的问题，提高图像分割模型输出的分割图像的精确度，降低图像分割模型对骨骼对象的判别错误率。
5.根据本发明一个实施例提供了一种骨骼图像的分割方法，该方法包括：
6.获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据；
7.基于所述骨骼图像和各所述对象边界框数据，确定各所述骨骼对象分别对应的距离比例数据集；
8.基于各所述距离比例数据集和预先训练完成的目标图像分割模型，确定所述骨骼图像对应的骨骼分割结果；
9.其中，所述对象边界框数据表征所述骨骼图像中对应骨骼对象的最小外接长方体的空间信息，所述距离比例数据集中包含至少一个距离比例数据，所述距离比例数据表征所述骨骼图像中的图像像素点相对于所述最小外接长方体的距离比例，所述骨骼分割结果包括至少一个骨骼对象分别对应的分割图像。
10.根据本发明另一个实施例提供了一种骨骼图像的分割装置，该装置包括：
11.对象边界框数据获取模块，用于获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据；
12.距离比例数据集确定模块，用于基于所述骨骼图像和各所述对象边界框数据，确定各所述骨骼对象分别对应的距离比例数据集；
13.骨骼分割结果确定模块，用于基于各所述距离比例数据集和预先训练完成的目标
图像分割模型，确定所述骨骼图像对应的骨骼分割结果；
14.其中，所述对象边界框数据表征所述骨骼图像中对应骨骼对象的最小外接长方体的空间信息，所述距离比例数据集中包含至少一个距离比例数据，所述距离比例数据表征所述骨骼图像中的图像像素点相对于所述最小外接长方体的距离比例，所述骨骼分割结果包括至少一个骨骼对象分别对应的分割图像。
15.根据本发明另一个实施例提供了一种电子设备，所述电子设备包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的骨骼图像的分割方法。
19.根据本发明另一个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的骨骼图像的分割方法。
20.本发明实施例的技术方案，通过获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据，基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集，基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果，其中，对象边界框数据表征骨骼图像中对应骨骼对象的最小外接长方体的空间信息，距离比例数据集中的距离比例数据表征骨骼图像中的图像像素点相对于最小外接长方体的距离比例，骨骼分割结果包括至少一个骨骼对象分别对应的分割图像，解决了现有的图像分割模型的分割效果差的问题，提高了图像分割模型输出的分割图像的精确度，降低了图像分割模型对骨骼对象的判别错误率。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例一所提供的一种骨骼图像的分割方法的流程图；
24.图2为本发明实施例二所提供的一种骨骼图像的分割方法的流程图；
25.图3为本发明实施例二所提供的一种目标骨骼平均模型的确定方法的示意图；
26.图4是本发明实施例二所提供的一种股骨平均模型的模型视图的示意图；
27.图5为本发明实施例三所提供的一种骨骼图像的分割方法的流程图；
28.图6为本发明实施例三所提供的一种骨骼投影图像的示意图；
29.图7为本发明实施例三所提供的一种骨骼模糊图像的示意图；
30.图8为本发明实施例四所提供的一种骨骼图像的分割装置的结构示意图；
31.图9为本发明实施例五所提供的一种电子设备的结构示意图。
具体实施方式
32.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
33.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.实施例一
35.图1为本发明实施例一所提供的一种骨骼图像的分割方法的流程图，本实施例可适用于采用图像分割模型对骨骼图像中的骨骼对象进行分割并判别分割图像所属骨骼对象的情况，该方法可以由骨骼图像的分割装置来执行，该骨骼图像的分割装置可以采用硬件和/或软件的形式实现，该骨骼图像的分割装置可配置于终端设备中。如图1所示，该方法包括：
36.s110、获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据。
37.其中，具体的，获取医学影像设备采集到的骨骼图像。示例性的，医学影像设备包括但不限于直接数字化x摄影系统(directdigit radiography，dr)、电子计算机断层扫描设备(computed tomography，ct)、磁共振成像设备(magnetic resonance imaging、mri)或正电子发射型计算机断层扫描设备(positron emission computed tomography，pet)等等。此处对医学影像设备的设备类型不作限定。
38.其中，示例性的，当骨骼图像为上肢图像时，骨骼图像中的各骨骼对象包括肱骨、桡骨和尺骨中至少一种。当骨骼图像为下肢图像时，骨骼图像中的各骨骼对象包括股骨、胫骨和腓骨中至少一种。由于拍摄位置、拍摄参数的不同，骨骼图像中包含的骨骼对象可能为一个或多个。
39.在本实施例中，对象边界框数据表征骨骼图像中对应骨骼对象的最小外接长方体的空间信息。在一个可选实施例中，最小外接长方体的各边分别与空间坐标系中x轴、y轴或z轴垂直。其中，示例性的，对象边界框数据可以包括最小外接长方体的8个顶角位置坐标、中心位置坐标、最小外接长方体的长度数据、宽度数据和高度数据等等。
40.在一个可选实施例中，采用对象检测算法，对骨骼图像中的至少一个骨骼对象进行定位，并获取各骨骼对象分别对应的对象边界框数据。其中，示例性的，对象检测算法可以为yolo算法。此处对采用的对象检测算法不作限定，任意可以实现上述功能的对象检测算法均在本技术的保护之内。
41.s120、基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集。
42.在本实施例中，距离比例数据集中包含至少一个距离比例数据，距离比例数据表征骨骼图像中的图像像素点相对于最小外接长方体的距离比例。
43.在一个可选实施例中，基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集，包括：针对每个对象边界框数据，基于对象边界框数据，确定最小外接长方体的尺寸数据和至少一个标志位坐标；基于各标志位坐标、尺寸数据以及骨骼图像中各图像像素点分别对应的像素点坐标，确定对象边界框数据对应的骨骼对象的距离比例数据集。
44.其中，具体的，尺寸数据包括最小外接长方体的长度数据、宽度数据和高度数据。在一个可选实施例中，当对象边界框数据包括8个顶角位置坐标时，长度数据等于8个顶角位置坐标中的最大x轴坐标与最小x轴坐标之间的差值，宽度数据等于8个顶角位置坐标中的最大y轴坐标与最小y轴坐标之间的差值，高度数据等于8个顶角位置坐标中的最大z轴坐标与最小z轴坐标之间的差值。
45.其中，具体的，基于对象边界框数据，确定最小外接长方体中至少一个预设标志位分别对应的标志位坐标。其中，示例性的，预设标志位为任一顶角位置或中心点位置。
46.在一个可选实施例中，基于各标志位坐标、尺寸数据以及骨骼图像中各图像像素点分别对应的像素点坐标，确定对象边界框数据对应的骨骼对象的距离比例数据集，包括：基于对象边界框数据和骨骼图像中各图像像素点分别对应的像素点坐标，确定至少一个目标像素点坐标；针对每个标志位坐标，获取标志位坐标与各目标像素点坐标分别对应的差值坐标；针对每个差值坐标，将差值坐标与尺寸数据之间的比值作为距离比例数据，并将距离比例数据添加到对象边界框数据对应的骨骼对象的距离比例数据集中。
47.在一个可选实施例中，基于对象边界框数据和骨骼图像中各图像像素点分别对应的像素点坐标，确定至少一个目标像素点坐标，包括：基于预设外扩比例和对象边界框数据，确定像素点筛选范围；将骨骼图像中像素点坐标在像素点筛选范围内的各图像像素点分别作为目标图像像素点；获取各目标图像像素点分别对应的目标像素点坐标。
48.其中，具体的，当预设外扩比例为100％时，像素点筛选范围包括整张骨骼图像表征的三维空间区域，当预设外扩比例为0％时，像素点筛选范围包括对象边界框数据表征的最小外接长方体的内部空间区域，当预设外扩比例为0％-100％时，像素点筛选范围包括对象边界框数据表征的最小外接长方体的内部空间区域和最小外接长方体的部分外部空间区域。此处对预设外扩比例不作限定，用户可根据实际需求自定义设置。
49.其中，具体的，差值坐标包括与x轴方向、y轴方向和z轴方向分别对应的x差值坐标、y差值坐标和z差值坐标。
50.其中，示例性的，目标像素点坐标a与标志位坐标b对应的距离比例数据满足公式：
[0051][0052]
其中，p
x
、py和pz分别表示目标像素点坐标a与标志位坐标b在x轴方向、y轴方向和z轴方向上的距离比例，xa、ya和za分别表示目标像素点坐标a在x轴方向、y轴方向和z轴方向上的轴坐标，xb、yb和zb分别表示标志位坐标b在x轴方向、y轴方向和z轴方向上的轴坐标，maxx-minx表示最小外接长方体的长度数据，maxy-miny表示最小外接长方体的宽度数据，
maxz-minz表示最小外接长方体的高度数据。
[0053]
其中，示例性的，当标志位坐标b为前左上角位置坐标时，xb＝minx，yb＝miny。
[0054]
其中，具体的，骨骼对象对应的距离比例数据集包含各目标像素点坐标与至少一个标志位坐标分别对应的距离比例数据。
[0055]
s130、基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果。
[0056]
在一个可选实施例中，基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果，包括：获取骨骼图像对应的图像参数数据；其中，图像参数数据包括骨骼图像的图像像素值数据和/或与至少一个尺度分别对应的图像梯度数据；将图像参数数据和各距离比例数据集输入到预先训练完成的目标图像分割模型中，得到输出的骨骼图像对应的骨骼分割结果。
[0057]
其中，具体的，图像像素值数据可用于表征骨骼图像，图像梯度数据用于表征骨骼图像中的某一像素点分别在x轴方向、y轴方向和z轴方向上的像素值变化率。在一个可选实施例中，基于至少一个尺度分别构建高斯滤波器的滤波模板，基于各滤波模板分别对骨骼图像执行高斯滤波操作，得到至少一个图像梯度数据。其中，示例性的，各尺度可以包括0、1.2、1.5和1.8。
[0058]
在一个可选实施例中，图像参数数据中包含与至少三个尺度分别对应的图像梯度数据。这样设置的好处在于，可以保证目标图像分割模型的分割质量。
[0059]
其中，示例性的，目标图像分割模型的模型类型包括但不限于二维随机森林、全卷积网络模型、u-net、segnet、pspnet或空洞卷积网络模型等等。此处对目标图像分割模型的模型类型不作限定。
[0060]
在本实施例中，骨骼分割结果包括至少一个骨骼对象分别对应的分割图像。其中，具体的，目标图像分割模型对骨骼图像中的各骨骼对象依次进行分割，按照不同分割图像的输出顺序，确定各分割图像分别所属的骨骼对象。举例而言，假设骨骼图像为下肢图像，预设分割顺序为股骨和胫骨，则目标图像分割模型输出的第一个分割图像为股骨的分割图像，第二个分割图像为胫骨的分割图像。
[0061]
在上述实施例的基础上，该方法还包括：获取训练骨骼图像集；其中，训练骨骼图像集中包含多个训练骨骼图像；针对每个训练骨骼图像，获取训练骨骼图像中至少一个骨骼对象分别对应的对象边界框数据；基于训练骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集；获取各训练骨骼图像分别对应的图像参数数据，并将各图像参数数据和各距离比例数据集输入到初始图像分割模型中，得到输出的各训练骨骼图像分别对应的预测分割结果；基于各预测分割结果和与各训练骨骼图像分别对应的标准分割结果，对初始图像分割模型的模型参数进行调整，得到训练完成的目标图像分割模型。
[0062]
本实施例的技术方案，通过获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据，基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集，基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果，其中，对象边界框数据表征骨骼图像中对应骨骼对象的最小外接长方体的空间信息，距离比例数据集中的距离比例数据表征骨骼图像中的图像像素点相对于最小外接长方体的距离比例，骨骼分割结果包括至少一个骨骼对象分别对应的分割图像，解决了现
有的图像分割模型的分割效果差的问题，提高了图像分割模型输出的分割图像的精确度，降低了图像分割模型对骨骼对象的判别错误率。
[0063]
实施例二
[0064]
图2为本发明实施例二所提供的一种骨骼图像的分割方法的流程图，本实施例对上述实施例中“获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据”的技术特征进行进一步细化。如图2所示，该方法包括：
[0065]
s210、获取与至少一个骨骼对象分别对应的目标骨骼平均模型。
[0066]
其中，具体的，目标骨骼平均模型可用于表征对应骨骼对象的平均atlas模型。
[0067]
在一个可选实施例中，获取与至少一个骨骼对象分别对应的目标骨骼平均模型，包括：针对每个骨骼对象，获取骨骼对象对应的标准掩膜图像和至少一个参考掩膜图像，并将各参考掩膜图像分别配准标准掩膜图像，得到配准掩膜图像集；其中，配准掩膜图像集中包含至少一个配准掩膜图像；基于标准掩膜图像和配准掩膜图像集，确定骨骼对象对应的目标骨骼平均模型。
[0068]
其中，具体的，标准掩膜图像和参考掩膜图像可以保证骨骼对象的轮廓信息。示例性的，人为从多张掩膜图像中选择图像质量较高的掩膜图像作为标准掩膜图像。如标准掩膜图像中的骨骼对象的轮廓最标准、尺寸大小最合适等等。
[0069]
其中，具体的，在参考掩膜图像配准标准掩膜图像的过程中，参考掩膜图像作为浮动图像，标准掩膜图像作为参考图像，配准掩膜图像为参考掩膜图像配准标准掩膜图像后得到的掩膜图像。
[0070]
在一个可选实施例中，基于标准掩膜图像和配准掩膜图像集，确定骨骼对象对应的目标骨骼平均模型，包括：获取配准掩膜图像集中的当前配准掩膜图像，并将标准掩膜图像配准上一骨骼平均模型，得到中间掩膜图像；基于当前配准掩膜图像和上一骨骼求和模型，确定当前骨骼求和模型，并基于中间掩膜图像和当前骨骼求和模型，确定当前骨骼平均模型；将当前骨骼求和模型作为上一骨骼求和模型以及将当前骨骼平均模型作为上一骨骼平均模型，并重复执行获取配准掩膜图像集中的当前配准掩膜图像的步骤；直到迭代次数达到配准掩膜图像集对应的图像数量时，将当前骨骼平均模型作为骨骼对象对应的目标骨骼平均模型；其中，当迭代次数为1时，上一骨骼平均模型为当前配准掩膜图像，上一骨骼求和模型为0。
[0071]
其中，具体的，将标准掩膜图像配准上一骨骼平均模型的过程中，标准掩膜图像作为浮动图像，上一骨骼平均模型作为参考图像，中间掩膜图像为标准掩膜图像配准上一骨骼平均模型后得到的掩膜图像。
[0072]
其中，示例性的，当前骨骼求和模型满足公式：
[0073]
summodel[i]＝list[i]+summodel[i-1]
[0074]
其中，具体的，list[i+1]表示配准掩膜图像集中的第i+1张配准掩膜图像，i为大于或等于1的整数。当i＝1时，summodel[0]＝0。
[0075]
其中，示例性的，第i次迭代过程中的上一骨骼平均模型满足公式：
[0076][0077]
其中，reg_ref[i-1]表示第i-1次迭代过程中的中间掩膜图像，list[1]表示第1次迭代过程中获取到的配准掩膜图像集中的第1张配准掩膜图像，k表示当前骨骼求和模型的叠加次数，k随迭代次数的增加而增加。
[0078]
图3为本发明实施例二所提供的一种目标骨骼平均模型的确定方法的示意图。具体的，在第i次迭代过程中，获取配准掩膜图像集中的第i张配准掩膜图像(list[i])，将标准掩膜图像(ref)配准上一骨骼平均模型(meanmodel[i-1])，得到第i张中间掩膜图像(reg_ref[i])。基于当前配准掩膜图像(list[i])和上一骨骼求和模型(summodel[i-1])，确定当前骨骼求和模型(summodel[i])，并基于中间掩膜图像(reg_ref[i])和当前骨骼求和模型(summodel[i])，确定当前骨骼平均模型(meanmodel[i])。判断当前迭代次数是否等于配准掩膜图像集对应的图像数量(n)，如果是，则将输出当前骨骼平均模型(meanmodel[n])作为骨骼对象对应的目标骨骼平均模型，如果否，则将i加1，k加1，重复执行获取配准掩膜图像集中的第i张配准掩膜图像(list[i])的步骤。
[0079]
图4是本发明实施例二所提供的一种股骨平均模型的模型视图的示意图。具体的，图4中的3张图从左到右依次表示股骨平均模型的冠状位的模型视图、矢状位的模型视图和横断位的模型视图。
[0080]
s220、针对每个骨骼对象，将与骨骼对象对应的目标骨骼平均模型配准骨骼图像，得到骨骼对象对应的对象边界框数据。
[0081]
其中，示例性的，采用的配准算法包括但不限于仿射配准或刚性配准。此处对采用的配准算法不作限定。
[0082]
其中，具体的，目标骨骼平均模型中包含骨骼对象的模型边界框数据，通过目标骨骼平均模型配准骨骼图像，得到目标骨骼平均模型与骨骼图像对应的配准转换矩阵，基于配准转换矩阵对模型边界框数据进行转换处理，得到骨骼图像中该骨骼对象对应的骨骼边界框数据。在目标骨骼平均模型配准骨骼图像的过程中，浮动图像为目标骨骼平均模型，参考图像为骨骼图像。
[0083]
s230、基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集。
[0084]
s240、基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果。
[0085]
在上述实施例的基础上，可选的，目标骨骼平均模型包含至少一个骨骼特征点分别对应的模型特征点坐标，相应的，该方法还包括：针对每个骨骼对象，获取与骨骼对象对应的分割图像和目标骨骼平均模型；将目标骨骼平均模型配准分割图像，得到分割图像中至少一个骨骼特征点分别对应的实际特征点坐标。
[0086]
其中，具体的，骨骼特征点用于表征骨骼对象上具有解剖意义的特征点。示例性的，各骨骼特征点包括但不限于股骨头旋转中心、远端内侧踝远点、远端外侧踝远点、踝关节内侧隆起、踝关节外侧隆起和胫骨中心等等，此处对骨骼特征点的设置不作限定，技术人
员可根据实际需求进行自定义设置。
[0087]
其中，具体的，在目标骨骼平均模型配准分割图像的过程中，将目标骨骼平均模型作为浮动图像，将分割图像作为参考图像，配准得到分割图像中至少一个骨骼特征点分别对应的实际特征点坐标。
[0088]
这样设置的好处在于，现有的分割图像中的骨骼特征点需要人为进行逐一标注，当获取到的分割图像的数量较多时，会带来巨大的工作量，耗费时间。并且由于某一特征点所处的周边图像的梯度变化很小，没有明显的局部特征，使得现有的自动标注算法的标注结果不够准确。本实施例在目标骨骼平均模型上进行一次人为标注即可，在提高了骨骼特征点的标注效率的同时，保证了骨骼特征点的标注精确度，为机械臂坐标系的配准等后续任务提供了可靠的数据支持。经实验验证，本实施例得到的骨骼特征点的实际特征点坐标与人工标注结果之间的平均坐标误差在3-9mm。
[0089]
本实施例的技术方案，通过获取与至少一个骨骼对象分别对应的目标骨骼平均模型，针对每个骨骼对象，将与骨骼对象对应的目标骨骼平均模型配准骨骼图像，得到骨骼对象对应的对象边界框数据，解决了骨骼图像的分割过程中对象边界框数据的获取问题，保证了对象边界框数据的准确性。进一步地，本实施例通过针对每个骨骼对象，获取骨骼对象对应的标准掩膜图像和至少一个参考掩膜图像，并将各参考掩膜图像分别配准标准掩膜图像，得到配准掩膜图像集，基于标准掩膜图像和配准掩膜图像集，确定骨骼对象对应的目标骨骼平均模型，优化了目标骨骼平均模型的确定方法，保证了目标骨骼平均模型的准确性。因此，本发明实施例进一步提高了图像分割模型的分割效果。
[0090]
实施例三
[0091]
图5为本发明实施例三所提供的一种骨骼图像的分割方法的流程图，本实施例对上述实施例中目标骨骼平均模型与骨骼图像的配准过程进行进一步优化。如图5所示，该方法包括：
[0092]
s310、获取与至少一个骨骼对象分别对应的目标骨骼平均模型。
[0093]
s320、获取骨骼图像中关节对象对应的实际关节坐标以及获取目标骨骼平均模型中与关节对象对应的模型关节坐标。
[0094]
其中，具体的，关节对象为两个骨骼对象之间的关节区域，示例性的，当骨骼图像为下肢图像时，关节对象为膝关节，当骨骼图像为上肢图像时，关节对象为肘关节。
[0095]
其中，具体的，由于目标骨骼平均模型为单一骨骼对象对应的骨骼平均模型，示例性的，当骨骼图像为下肢图像且关节对象为膝关节时，如果目标骨骼平均模型为股骨平均模型，则目标骨骼平均模型中与关节对象对应的模型关节坐标为股骨平均模型中的下端位置坐标；如果目标骨骼平均模型为胫骨平均模型，则目标骨骼平均模型中与关节对象对应的模型关节坐标为股骨平均模型中的上端位置坐标。其中，目标骨骼平均模型中与关节对象对应的模型关节坐标可以通过在目标骨骼平均模型中进行一次人为标注获取。
[0096]
在一个可选实施例中，实际关节坐标包括与第一投影方向、第二投影方向和第三投影方向分别对应的第一轴坐标、第二轴坐标和第三轴坐标，相应的，获取骨骼图像中关节对象对应的实际关节坐标，包括：将骨骼图像沿第一投影方向和第二投影方向分别进行投影，得到第一骨骼投影图像和第二骨骼投影图像；基于第一骨骼投影图像，确定骨骼图像中关节对象与第二投影方向和第三投影方向分别对应的第二轴坐标和第三轴坐标；基于第二
骨骼投影图像，确定骨骼图像中关节对象与第一投影方向对应到的第一轴坐标。
[0097]
其中，具体的，第一投影方向和第二投影方向包括x轴方向和y轴方向、x轴方向和z轴方向，或者y轴方向或z轴方向。此处对任意两个投影方向的组合方式不作限定。
[0098]
在一个可选实施例中，当骨骼图像为下肢图像，且下肢图像中包含左腿图像和右腿图像时，第一投影方向和第二投影方向包括y轴方向和z轴方向。图6为本发明实施例三所提供的一种骨骼投影图像的示意图。具体的，图6中的左图表示下肢图像沿y轴方向投影得到的第一骨骼投影图像，右图表示下肢图像沿z轴方向投影得到的第二骨骼投影图像。
[0099]
这样设置的好处在于，当下肢图像包含左腿图像和右腿图像时，如果沿x轴方向投影可能会出现左腿和右腿发生重叠的情况，从而无法区分骨骼图像中左膝关节的实际关节坐标和右膝关节的实际关节坐标。
[0100]
在上述实施例的基础上，可选的，在将骨骼图像沿第二投影方向投影，得到第二骨骼投影图像之前，该方法还包括：当第二投影方向为z轴方向时，基于预设裁剪比例范围对下肢图像沿第二投影方向进行裁剪，得到裁剪后的下肢图像。其中，示例性的，预设裁剪比例范围为25％-75％，此处对预设裁剪比例不作限定。
[0101]
这样设置的好处在于，可以使得第二骨骼投影图像包含关节对象在内的部分骨骼投影图像，在减小后续计算量的同时，可以提高后续确定的第一轴坐标的准确度。
[0102]
在一个可选实施例中，当骨骼图像的图像类型为ct图像时，在将骨骼图像沿第一投影方向和第二投影方向分别进行投影，得到第一骨骼投影图像和第二骨骼投影图像之前，该方法还包括：获取骨骼图像中各图像像素点分别对应的ct值，将小于第一ct阈值的ct值对应的图像像素点的像素值设置为0。其中，示例性的，第一ct阈值可以为0或100。此处对第一ct阈值不作限定。
[0103]
这样设置的好处在于，在保留骨骼图像中的骨骼对象对应的对象区域图像的同时，弱化骨骼图像中的非对象区域图像，达到降低骨骼图像中存在的噪声信息的目的。
[0104]
在一个可选实施例中，基于第一骨骼投影图像，确定骨骼图像中关节对象与第二投影方向和第三投影方向分别对应的第二轴坐标和第三轴坐标，包括：对第一骨骼投影图像进行高斯模糊处理，得到第一骨骼模糊图像；基于第一骨骼模糊图像中像素极大值对应的像素点的像素点坐标，确定骨骼图像中关节对象与第二投影方向和第三投影方向分别对应的第二轴坐标和第三轴坐标。
[0105]
其中，具体的，获取第一骨骼模糊图像中像素极大值对应的像素点的像素点坐标，将该像素点坐标中与第二投影方向对应的轴坐标作为关节对象的第二轴坐标，与第三投影方向对应的轴坐标作为关节对象的第三轴坐标。
[0106]
在一个可选实施例中，基于第二骨骼投影图像，确定骨骼图像中关节对象与第一投影方向对应到的第一轴坐标，包括：对第二骨骼投影图像进行高斯模糊处理，得到第二骨骼模糊图像；基于第二骨骼模糊图像中的像素极大值对应的像素点的像素点坐标，确定骨骼图像中关节对象与第一投影方向对应到的第一轴坐标。
[0107]
其中，具体的，获取第二骨骼模糊图像中像素极大值对应的像素点的像素点坐标，将该像素点坐标中与第一投影方向对应的轴坐标作为关节对象的第一轴坐标。
[0108]
图7为本发明实施例三所提供的一种骨骼模糊图像的示意图。具体的，具体的，图7以图6示出的第一骨骼投影图像和第二骨骼投影图像为例，图7中的左图表示图6示出的第
一骨骼投影图像对应的第一骨骼模糊图像，右图表示图6示出的第二骨骼投影图像对应的第二骨骼模糊图像。根据图7的左图和右图，可以分别求得两个局部极大值，分别对应左膝关节的实际关节坐标和右膝关节的实际关节坐标。
[0109]
在一个可选实施例中，当骨骼图像中包含至少两种关节对象且第一投影方向为x轴方向或y轴方向时，第一骨骼投影图像中的像素极大值为预设比例范围内的像素极大值。其中，具体的，基于预设比例范围，对第一骨骼模糊图像在x轴方向或y轴方向上进行裁剪，得到裁剪后的第一骨骼模糊图像，确定裁剪后的第一骨骼模糊图像对应的像素极大值。其中，示例性的，预设比例范围可以为40％-60％，此处对预设比例范围不作限定。
[0110]
举例而言，当骨骼图像中除了包含膝关节外，还包括髋关节和/或踝关节时，髋关节和/或踝关节处的像素极大值会对确定膝关节处的像素极大值产生干扰。这样设置的好处在于，可以使得裁剪后的第一骨骼模糊图像仅包含膝关节或肘关节在内的部分骨骼模糊图像，在减少后续计算量的同时，可以提高后续确定的像素极大值对应的像素点坐标的准确度。
[0111]
在上述实施例的基础上，可选的，当骨骼图像为下肢图像，且下肢图像中包含左腿图像和右腿图像时，关节对象包括左腿膝关节和右腿膝关节，第一骨骼投影图像包括第一左腿投影图像和第一右腿投影图像，第二骨骼投影图像包括第二左腿投影图像和第二右腿投影图像，相应的，将骨骼图像沿第一投影方向和第二投影方向分别进行投影，得到第一骨骼投影图像和第二骨骼投影图像，包括：对骨骼图像执行分割操作，得到左腿图像和右腿图像；将左腿图像沿第一投影方向和第二投影方向分别进行投影，得到第一左腿投影图像和第二左腿投影图像；将右腿图像沿第一投影方向和第二投影方向分别进行投影，得到第一右腿投影图像和第二右腿投影图像。
[0112]
其中，示例性的，上述分割操作对应的分割算法包括但不限于基于阈值的分割算法、区域生长算法、图像边缘分割算法、图像阈值分割算法、基于区域的分割算法或分水岭算法等等。此处对采用的分割算法不作限定。
[0113]
在一个可选实施例中，第一投影方向为y轴方向，第二投影方向为x轴方向。
[0114]
在本实施例中，对第一左腿投影图像和第一右腿投影图像进行的后续处理操作与上述对第一骨骼投影图像对应的处理操作相似，对第二左腿投影图像和第二右腿投影图像进行的后续处理操作与上述对第二骨骼投影图像对应的处理操作相似，此处不再赘述。
[0115]
这样设置的好处在于，当被测对象的左腿和右腿的弯曲角度较大，且第一投影方向为z轴方向时，沿z轴方向投影得到的骨骼投影图像中左腿投影图像和右腿投影图像的y轴坐标会存在较大误差。同时为避免x方向投影会导致左腿和右腿发生重叠的情况，本实施例区别左右腿分别投影，基于x轴方向对应的第一右腿投影图像和第二右腿投影图像分别确定左膝关节的实际关节坐标和右膝关节的实际关节坐标。
[0116]
s330、基于实际关节坐标和模型关节坐标，确定模型位移差，并基于模型位移差对目标骨骼平均模型的空间位置进行调整，以使目标骨骼平均模型的空间位置与骨骼图像的空间位置对齐。
[0117]
其中，具体的，目标骨骼平均模型在建立后会有默认的空间起点坐标，如默认的空间起点坐标为(0,0,0)。示例性的，可将模型位移差与目标骨骼平均模型的空间起点坐标相加，得到与骨骼图像的空间位置对齐后的目标骨骼平均模型。
[0118]
需要说明的是，此步骤实现的是骨骼图像和目标骨骼平均模型的空间位置的大致对齐，为了提高骨骼图像和目标骨骼平均模型的空间对齐效果，还需执行后续的配准操作。
[0119]
s340、针对每个骨骼对象，将与骨骼对象对应的目标骨骼平均模型配准骨骼图像，得到骨骼对象对应的对象边界框数据。
[0120]
s350、基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集。
[0121]
s360、基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果。
[0122]
目标骨骼平均模型在建立后有其默认的空间位置，采用医学影像设备采集到的骨骼图像也有对应的空间位置，当二者之间的空间位置差异较大时，直接配准得到的对象边界框数据的准确度很差。本实施例的技术方案，通过获取与至少一个骨骼对象分别对应的目标骨骼平均模型，获取骨骼图像中关节对象对应的实际关节坐标以及获取目标骨骼平均模型中与关节对象对应的模型关节坐标，基于实际关节坐标和模型关节坐标，确定模型位移差，并基于模型位移差对目标骨骼平均模型的空间位置进行调整，以使目标骨骼平均模型的空间位置与骨骼图像的空间位置对齐，针对每个骨骼对象，将与骨骼对象对应的目标骨骼平均模型配准骨骼图像，得到骨骼对象对应的对象边界框数据，解决了目标骨骼平均模型与骨骼图像配准得到的对象边界框数据的误差大的问题，进一步提高了后续的图像分割模型的分割效果。
[0123]
实施例四
[0124]
图8为本发明实施例四所提供的一种骨骼图像的分割装置的结构示意图。如图8所示，该装置包括：对象边界框数据获取模块410、距离比例数据集确定模块420和骨骼分割结果确定模块430。
[0125]
其中，对象边界框数据获取模块410，用于获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据；
[0126]
距离比例数据集确定模块420，用于基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集；
[0127]
骨骼分割结果确定模块430，用于基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果；
[0128]
其中，对象边界框数据表征骨骼图像中对应骨骼对象的最小外接长方体的空间信息，距离比例数据集中包含至少一个距离比例数据，距离比例数据表征骨骼图像中的图像像素点相对于最小外接长方体的距离比例，骨骼分割结果包括至少一个骨骼对象分别对应的分割图像。
[0129]
本实施例的技术方案，通过获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据，基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集，基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果，其中，对象边界框数据表征骨骼图像中对应骨骼对象的最小外接长方体的空间信息，距离比例数据集中的距离比例数据表征骨骼图像中的图像像素点相对于最小外接长方体的距离比例，骨骼分割结果包括至少一个骨骼对象分别对应的分割图像，解决了现有的图像分割模型的分割效果差的问题，提高了图像分割模型输出的分割图像的精确度，
降低了图像分割模型对骨骼对象的判别错误率。
[0130]
在上述实施例的基础上，可选的，距离比例数据集确定模块420，包括：
[0131]
标志位坐标确定单元，用于针对每个对象边界框数据，基于对象边界框数据，确定最小外接长方体的尺寸数据和至少一个标志位坐标；
[0132]
距离比例数据集确定单元，用于基于各标志位坐标、尺寸数据以及骨骼图像中各图像像素点分别对应的像素点坐标，确定对象边界框数据对应的骨骼对象的距离比例数据集。
[0133]
在上述实施例的基础上，可选的，距离比例数据集确定单元，具体用于：
[0134]
基于对象边界框数据和骨骼图像中各图像像素点分别对应的像素点坐标，确定至少一个目标像素点坐标；
[0135]
针对每个标志位坐标，获取标志位坐标与各目标像素点坐标分别对应的差值坐标；
[0136]
针对每个差值坐标，将差值坐标与尺寸数据之间的比值作为距离比例数据，并将距离比例数据添加到对象边界框数据对应的骨骼对象的距离比例数据集中。
[0137]
在上述实施例的基础上，可选的，骨骼分割结果确定模块430，具体用于：
[0138]
获取骨骼图像对应的图像参数数据；其中，图像参数数据包括骨骼图像的图像像素值数据和/或与至少一个尺度分别对应的图像梯度数据；
[0139]
将图像参数数据和各距离比例数据集输入到预先训练完成的目标图像分割模型中，得到输出的骨骼图像对应的骨骼分割结果。
[0140]
在上述实施例的基础上，可选的，对象边界框数据获取模块410，包括：
[0141]
目标骨骼平均模型获取单元，用于获取与至少一个骨骼对象分别对应的目标骨骼平均模型；
[0142]
对象边界框数据确定单元，用于针对每个骨骼对象，将与骨骼对象对应的目标骨骼平均模型配准骨骼图像，得到骨骼对象对应的对象边界框数据。
[0143]
在上述实施例的基础上，可选的，对象边界框数据获取模块410，还包括：
[0144]
实际关节坐标获取单元，用于在将与骨骼对象对应的目标骨骼平均模型配准骨骼图像，得到骨骼对象对应的对象边界框数据之前，获取骨骼图像中关节对象对应的实际关节坐标以及获取目标骨骼平均模型中与关节对象对应的模型关节坐标；
[0145]
目标骨骼平均模型对齐单元，用于基于实际关节坐标和模型关节坐标，确定模型位移差，并基于模型位移差对目标骨骼平均模型的空间位置进行调整，以使目标骨骼平均模型的空间位置与骨骼图像的空间位置对齐。
[0146]
在上述实施例的基础上，可选的，实际关节坐标包括与第一投影方向、第二投影方向和第三投影方向分别对应的第一轴坐标、第二轴坐标和第三轴坐标，实际关节坐标获取单元，包括：
[0147]
骨骼图像投影子单元，用于将骨骼图像沿第一投影方向和第二投影方向分别进行投影，得到第一骨骼投影图像和第二骨骼投影图像；
[0148]
第二轴坐标确定子单元，用于基于第一骨骼投影图像，确定骨骼图像中关节对象与第二投影方向和第三投影方向分别对应的第二轴坐标和第三轴坐标；
[0149]
第一轴坐标确定子单元，用于基于第二骨骼投影图像，确定骨骼图像中关节对象
与第一投影方向对应到的第一轴坐标。
[0150]
在上述实施例的基础上，可选的，第二轴坐标确定子单元，具体用于：
[0151]
对第一骨骼投影图像进行高斯模糊处理，得到第一骨骼模糊图像；
[0152]
基于第一骨骼模糊图像中像素极大值对应的像素点的像素点坐标，确定骨骼图像中关节对象与第二投影方向和第三投影方向分别对应的第二轴坐标和第三轴坐标。
[0153]
在上述实施例的基础上，可选的，当骨骼图像为下肢图像，且下肢图像中包含左腿图像和右腿图像时，关节对象包括左腿膝关节和右腿膝关节，第一骨骼投影图像包括第一左腿投影图像和第一右腿投影图像，第二骨骼投影图像包括第二左腿投影图像和第二右腿投影图像，相应的，
[0154]
在上述实施例的基础上，可选的，骨骼图像投影子单元，具体用于：
[0155]
对骨骼图像执行分割操作，得到左腿图像和右腿图像；
[0156]
将左腿图像沿第一投影方向和第二投影方向分别进行投影，得到第一左腿投影图像和第二左腿投影图像；
[0157]
将右腿图像沿第一投影方向和第二投影方向分别进行投影，得到第一右腿投影图像和第二右腿投影图像。
[0158]
在上述实施例的基础上，可选的，第一投影方向为y轴方向，第二投影方向为x轴方向。
[0159]
在上述实施例的基础上，可选的，目标骨骼平均模型获取单元，包括：
[0160]
配准掩膜图像集确定子单元，用于针对每个骨骼对象，获取骨骼对象对应的标准掩膜图像和至少一个参考掩膜图像，并将各参考掩膜图像分别配准标准掩膜图像，得到配准掩膜图像集；其中，配准掩膜图像集中包含至少一个配准掩膜图像；
[0161]
目标骨骼平均模型确定子单元，用于基于标准掩膜图像和配准掩膜图像集，确定骨骼对象对应的目标骨骼平均模型。
[0162]
在上述实施例的基础上，可选的，目标骨骼平均模型确定子单元，具体用于：
[0163]
获取配准掩膜图像集中的当前配准掩膜图像，并将标准掩膜图像配准上一骨骼平均模型，得到中间掩膜图像；
[0164]
基于当前配准掩膜图像和上一骨骼求和模型，确定当前骨骼求和模型，并基于中间掩膜图像和当前骨骼求和模型，确定当前骨骼平均模型；
[0165]
将当前骨骼求和模型作为上一骨骼求和模型以及将当前骨骼平均模型作为上一骨骼平均模型，并重复执行获取配准掩膜图像集中的当前配准掩膜图像的步骤；
[0166]
直到迭代次数达到配准掩膜图像集对应的图像数量时，将当前骨骼平均模型作为骨骼对象对应的目标骨骼平均模型；
[0167]
其中，当迭代次数为1时，上一骨骼平均模型为当前配准掩膜图像，上一骨骼求和模型为0。
[0168]
在上述实施例的基础上，可选的，目标骨骼平均模型包含至少一个骨骼特征点分别对应的模型特征点坐标，相应的，该装置还包括：
[0169]
实际特征点坐标确定模块，用于针对每个骨骼对象，获取与骨骼对象对应的分割图像和目标骨骼平均模型；
[0170]
将目标骨骼平均模型配准分割图像，得到分割图像中至少一个骨骼特征点分别对
应的实际特征点坐标。
[0171]
本发明实施例所提供的骨骼图像的分割装置可执行本发明任意实施例所提供的骨骼图像的分割方法，具备执行方法相应的功能模块和有益效果。
[0172]
实施例五
[0173]
图9为本发明实施例五所提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本发明实施例所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0174]
如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器11执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0175]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0176]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如骨骼图像的分割方法。
[0177]
在一些实施例中，骨骼图像的分割方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的骨骼图像的分割方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行骨骼图像的分割方法。
[0178]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0179]
用于实施本发明的骨骼图像的分割方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0180]
实施例六
[0181]
本发明实施例六还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种骨骼图像的分割方法，该方法包括：
[0182]
获取骨骼图像中至少一个骨骼对象分别对应的对象边界框数据；
[0183]
基于骨骼图像和各对象边界框数据，确定各骨骼对象分别对应的距离比例数据集；
[0184]
基于各距离比例数据集和预先训练完成的目标图像分割模型，确定骨骼图像对应的骨骼分割结果；
[0185]
其中，对象边界框数据表征骨骼图像中对应骨骼对象的最小外接长方体的空间信息，距离比例数据集中包含至少一个距离比例数据，距离比例数据表征骨骼图像中的图像像素点相对于最小外接长方体的距离比例，骨骼分割结果包括至少一个骨骼对象分别对应的分割图像。
[0186]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0187]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0188]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0189]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0190]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0191]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。