基于体表点云数据直接预测肿瘤呼吸运动的方法及系统

1.本发明属于肿瘤定位领域，特别涉及一种基于体表点云数据直接预测肿瘤呼吸运动的方法及系统。


背景技术：

2.放射治疗作为目前治疗肿瘤的主要手段之一，治疗时需要引入呼吸运动补偿措施来针对人体呼吸所导致的肿瘤运动，其射线投递的精度直接影响到治疗效果和患者的安危。因此，肿瘤呼吸运动的预测对于确保放疗机器人的治疗精度有着十分重要的影响。
3.目前通过直接预测和间接预测两类方法获取体内肿瘤位置。在直接预测肿瘤位置方面，通常使用植入肿瘤内部金标的方法，根据当前时刻和上一时刻的x射线图像估计放射治疗期间目标肿瘤的三维姿态。该方法能够有效并直观的获得肿瘤实时位置，但频繁的x射线照射和植入体内金标都会对人体造成不同程度的损害。在间接预测肿瘤位置方面，由于体内肿瘤运动轨迹与体表呼吸起伏变化表现出强相关性，所以通常可以使用便于观测的外部呼吸替代信号间接预测肿瘤位置。当前主流方法是在患者胸腹部放置红外标记点捕获呼吸信号，通过建立标记点与肿瘤运动的关联函数间接预测肿瘤的位置。标记点不能全面表征人体胸腹部三维变化特征，预测精度受标记点个数和放置位置的影响较大，同时需要人为手动提取呼吸特征和建立关联模型，不仅增加了预测方法的复杂程度，而且很容易在繁杂的步骤中引入更多的误差因素。
4.如今随着深度学习技术的发展，肿瘤患者的数据的特征信息可以通过神经网络自主学习和提取，并且神经网络可以高效地区分数据信息中的特征差异，出色地完成分类或预测任务，因此，研究一种能够自主提取呼吸过程中人体胸腹部三维变化特征并预测肿瘤位置的深度学习方法尤为关键，对于提高放疗机器人的精度有着重要意义。


技术实现要素：

5.为此，本发明所要解决的技术问题在于克服现有技术中肿瘤预测的复杂流程，预测精度低的问题，从而提供一种方法简单，有效提高肿瘤位置预测精度的基于体表点云数据直接预测肿瘤呼吸运动的方法及系统。
6.为了实现上述目的，本发明所采取的技术方案，包括如下步骤：
7.步骤s1：采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
8.步骤s2：根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
9.步骤s3：对所述显著区域内的点云数据进行处理得到数据集；
10.步骤s4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
11.步骤s5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
12.所述步骤s1中，通过多台深度相机采集体表信息，将多台深度相机采集的体表的点云数据进行分割、融合和平滑处理，得到人体呼吸过程中胸腹部变化的包含深度特征的点云数据，该数据能够充分表征人体呼吸的三维动态信息。
13.将处理过后的点云数据通过octomap库转化成体素模型，其将由许多小体素块表示的，取每个体素块的中心点坐标作为新的点云坐标，可以将密度不均匀的点云数据转化成密度均匀的，而且可以将乱序的点云数据重新排列整齐；另一方面，通过选择不同大小的体素块，可以控制点云数据的分布密度。
14.所述步骤s2中，将胸腹部点云数据划分成多块区域，把每块的体素数据插入到一个最小包围盒中，按顺序将包围盒中的体素占有特征映射成一个超高维向量，通过lle(局部线性嵌入)算法将时间序列上该高维向量降至1维，该低维数据能够描述体素模型的变化性质，然后分析每块体素数据降维后在时间序列上与肿瘤的关联性，选取关联性最好区域作为显著区域。(点云数据可以划分16块、25块、50块或更多，划分方法没有具体的规定，通过实验分析得出该应用场景划分16块取6块作显著区域最终预测结果比其他分块情况更优。)
15.所述步骤s3中，对所述显著区域内的点云数据在时间序列上进行处理得到数据集。
16.所述步骤s4中，在进行深度网络学习训练之前，需要对点云深度学习网络pointnet++进行改进，搭建肿瘤位置预测的网络框架。搭建肿瘤位置预测的网络框架方法为:通过采样层(sampling layer)和分组层(grouping layer)将显著区域的点云划分为多个局部子区域；再利用pointnet网络将每个局部子区域的特征提取到一个向量中；然后将所有子区域的特征向量通过pointnet再次编码为一个向量；最后通过全连接层预测特征向量所属全部肿瘤位置的概率，其中概率最大的为最终预测结果。通过仅使用一层抽象降采样(set abstraction)层的方法，增加采样点数，从而减少点云局部特征信息的损失。
17.其中，pointnet++网络不仅直接以点云序列作为输入集，而且可以提取点云局部特征。该网络包含了两个抽象降采样层，该层会将n
×
(d+c)的点云数据通过采样层划分成数干个局部特征区域；然后提取每个子区域特征，输出新的n'
×
(d+c')特征矩阵，其中n是点数，d是维度(只采用xyz坐标，d＝3)，c是特征维度，n'和c'是输出新的点数和特征维度；再使用多层感知机(mlp)将经过两次set abstraction层提取的特征矩阵整合成特征向量；最终将提取的特征向量通过一个全连接层映射为所有类的可能性概率，从而预测最有可能的结果。
18.所属步骤s4中，对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，需要对点云数据进行分类，点云数据分类的方法为：根据肿瘤运动的周期性，对单个维度的肿瘤位置精确到亚毫米级进行分类，归属同一肿瘤位置所对应的体表点云数据分为同一类。
19.所述步骤s4中，将每帧点云的标签集对应为延迟特定时长过后的肿瘤位置解决系统通信和机械延迟导致的肿瘤位置预测迟滞问题。监督训练时，训练集中一帧点云数据会对应一个肿瘤位置的标签，将每帧点云的标签集对应为延迟特定时长过后的肿瘤位置，而我们这样做的目的是：将每个时刻的点云特征与一段时间过后(延时)的肿瘤位置对应，从而找到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系，这样就可以利用当前时刻呼
吸特征预测一段时间后的肿瘤位置。这样的好处：在实际放疗应用中，计算机在预测肿瘤位置的时候需要反应时间，当预测结果出来实际肿瘤已经移动到其他位置，所以需要预测延迟一段时间后的肿瘤位置，从而减小系统反应带来的延迟误差。
20.所述步骤s5中，在预测某个时刻肿瘤位置时，将预测结果与相邻之前时间段的历史预测结果互相关联并做平滑处理，将平滑过后的结果作为最终预测值输出。考虑到肿瘤变化曲线特性，使用平滑的方法是对滑动窗口内的数据基于最小二乘法进行k阶多项式拟合，通过该拟合平滑处理，可以将相邻时间的肿瘤位置进行关联，消除时间序列上肿瘤预测结果中的震荡点，从而提高预测网络的鲁棒性和精度。
21.本发明与现有技术相比的优点在于：
22.本发明使用人体胸腹部点云数据并选定呼吸运动显著区域预测肿瘤位置，该方法可以充分包含呼吸过程中人体的三维变化特征，并且找到与肿瘤运动关联性最高的显著区域；基于肿瘤位置标签集和数据集中的点云数据的监督训练，建立点云呼吸特征与肿瘤位置的映射关系，简化肿瘤预测的复杂流程，实现通过点云数据直接预测体内肿瘤位置，提高了肿瘤预测的精度。
附图说明
23.为了更清楚地说明本发明实施案例或现有技术中的技术方案，下边将对实施例中所需要使用的附图做简单介绍，通过参考附图会更清楚的理解本发明的特征和优点，附图是示意性的而不应该理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
24.图1为本发明实施例一的方法流程图；
25.图2为采集的胸腹部点云数据和建立的体素模型图；
26.图3为分块划分胸腹部呼吸运动显著区域图；
27.图4为肿瘤位置预测的网络框架图；
28.图5为肿瘤实际位置和预测结果对比图。
具体实施方式
29.为了能够更清除地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对发明进行进一步的详细描述。需要说明的是在不冲突的情况下，本技术的实施例及实施例中的特征可以相互结合。
30.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
31.实施例一
32.为了达到本发明的目的，如图1所示，在本发明的其中一种实施方式中提供一种基于体表点云数据直接预测肿瘤呼吸运动的方法，包括如下步骤：
33.步骤s1：采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
34.步骤s2：根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分
胸腹部呼吸运动显著区域；
35.步骤s3：对所述显著区域内的点云数据进行处理得到数据集；
36.步骤s4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
37.步骤s5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
38.本发明所述的基于体表点云数据直接预测肿瘤呼吸运动的具体方法中：所述步骤s1中，采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型，通过剔除体表其他部位的点云数据，得到与肿瘤运动强相关性的胸腹部点云数据有利于提高预测结果的精度，通过建立体素模型，简化了点云数据处理过程；所述步骤s2中，根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区，有利于使点云数据充分包含呼吸过程中人体的三维变化特征；步骤s3：对所述显著区域内的点云数据进行处理得到数据集，进一步简化点云数据；步骤s4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系，在进行深度网络学习训练之前，需要改进点云深度学习网络pointnet++，搭建肿瘤位置预测的网络框架，有利于减少点云局部特征信息的损失，得到监督训练模型，减小系统反应带来的延迟误差；步骤s5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理，提高了预测精度。
39.所述步骤s1中，使用多台深度相机体采集患者呼吸过程中体表点云数据，同时通过x射线采集一段时间内的肿瘤运动姿态用于监督训练。由于深度相机采集的原始点云数据会包含冗余的周围环境信息，需要对采集的数据进行处理，数据处理的方法为：首先使用阈值分割法，保留一定阈值范围的点云rgb(red,green,blue色彩模式)值和坐标值，通过点云分割获得人体胸腹部区域的点云数据；其次，通过icp(iterative closest point最近点迭代)算法将两个相机采集的点云数据融合配准；然后，采用基于k-d树(k-dimensional tree)的点云去噪方法剔除点云中的离群点；最后，进行基于移动最小二乘法的平滑操作，得到呼吸过程中的胸腹体表点云数据，如图2a所示。
40.根据所述体表点云数据建立体素模型的方法为：将采集的体表点云数据进行分割、融合和平滑处理，提取得到人体呼吸过程中胸腹部变化的包含深度特征的点云数据，根据所述包含深度特征的点云数据建立体素模型。
41.在上述点云数据处理之后，虽然可以得到平滑的胸腹部点云数据，但点云的密度分布并不均匀，以及点云排列顺序仍然杂乱无章。因此，本发明将处理过后的点云数据通过octomap库转化为体素模型。octomap使用八叉树结构表示空间中点云数据占据的概率，将有点云占据的空间概率设置为1，并在此处生成一个体素块，因此就可以将空间中的点云数据由许多小体素块表示，实现点云数据体素化，建立的胸腹部体素模型如图2b所示。取每个体素块的中心点坐标作为新的点云数据坐标，如图2c所示。因此，可以将密度不均匀的点云数据转化成密度均匀的，而且可以对乱序的点云数据重新排列整齐；另一方面，通过选择不同大小的体素块，可以控制点云数据的分布密度。
42.所述步骤s2中，划分胸腹部呼吸运动显著区域的方法为：将胸腹部点云数据划分成16块，把每一块的体素数据插入到一个最小包围盒中，按顺序将包围盒中的体素占有特征映射成一个超高维向量，使用lle(局部线性嵌入)算法将时间序列上该高维向量降至1
维，该低维数据能够描述体素模型的变化性质。然后分块分析每一块体素数据降维后在时间序列上与肿瘤的关联性，取关联性最好的6块区域作为显著区域，如图3所示。该方法可以使点云数据充分包含呼吸过程中人体的三维变化特征。
43.所述步骤s3中，对所述显著区域的点云数据在时间序列上进行提取，得到数据集。
44.所述步骤s4中，在进行深度网络学习训练之前，需要改进点云深度学习网络pointnet++，搭建肿瘤位置预测的网络框架。搭建肿瘤位置预测的网络框架方法为:通过采样层(sampling layer)和分组层(grouping layer)将显著区域的点云划分为多个局部子区域；再利用pointnet网络将每个局部子区域的特征提取到第一特征向量中；然后将所有子区域的第一特征向量通过pointnet再次编码为第二特征向量；最后通过全连接层预测第二特征向量所属全部肿瘤位置的概率，其中概率最大的为最终预测结果。通过仅使用一层抽象降采样(set abstraction)层的方法，增加采样点数，从而减少点云局部特征信息的损失。
45.对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，对点云数据进行分类，对点云数据分类的方法为：根据肿瘤运动的周期性，对单个维度的肿瘤位置精确到亚毫米级进行分类，归属同一肿瘤位置所对应的体表点云数据分为同一类。
46.对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练监督学习(supervised learning)，学习指的就是找到特征与标签的映射(mapping)关系，其中特征就是指显著区域点云所包含的特征，标签就是显著区域对应的肿瘤位置。训练集中一帧点云数据会对应一个肿瘤位置的标签，将每个时刻的点云特征与一段时间过后的肿瘤位置对应，从而找到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系，这样就可以利用当前时刻呼吸特征预测一段时间后的肿瘤位置。这样的好处：在实际放疗应用中，计算机在预测肿瘤位置的时候需要反应时间，当预测结果出来实际肿瘤已经移动到其他位置，所以需要预测延迟一段时间后的肿瘤位置，从而减小系统反应带来的延迟误差。
47.所述步骤s5中，对预测肿瘤位置进行处理的方法为：采用k阶多项式拟合的方法，将预测结果与相邻之前时间段的历史预测结果相互关联并做平滑处理，将平滑过后的结果作为最终预测值输出。如图5所示，为根据本发明所提方法进行预测实验的结果，从结果可以看出，本发明方法的预测值接近真实值，其预测误差较小，具有很高的预测精度。
48.实施例二
49.基于同一发明构思，本实施例提供了一种基于体表点云数据直接预测肿瘤呼吸运动的系统，其解决问题的原理与所述基于体表点云数据直接预测肿瘤呼吸运动的方法类似，重复之处不再赘述。
50.本实施例提供一种基于体表点云数据直接预测肿瘤呼吸运动的系统，包括：
51.采集模块，用于采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
52.划分模块，用于根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
53.处理模块，用于对所述显著区域内的点云数据进行处理得到数据集；
54.训练模块，用于对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
55.预测处理模块，用于根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
56.实施例三
57.本实施例提供一种放疗机器人，包括实施例二所述的基于体表点云数据直接预测肿瘤呼吸运动的系统。
58.本实施例所述的放疗机器人，由于包括实施例二所述的基于体表点云数据直接预测肿瘤呼吸运动的系统，因此实施例二具有的优点，本实施例也全部具有。
59.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
60.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
61.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
62.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
63.显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。