基于红外和可见光三维重建的放射治疗辅助系统及其方法与流程

本发明属于三维重建、医疗图像、双目视觉系统，具体涉及一种基于红外和可见光三维重建的放射治疗辅助系统及其方法。

背景技术：

随着放射物理技术、计算机技术和医学影像技术的迅猛发展，三维适形放疗、调强放疗、容积旋转调强放疗和螺旋断层放疗等先进放射治疗技术不断创新，以生物引导放射治疗、图像引导放射治疗、剂量引导放射治疗和放射影像组学为代表的新技术，推动着放射治疗向以“精确定位”、“精确计划”和“精确治疗”为终极目标的“三精放疗”时代迈进。

自动摆位系统是一款基于机器视觉的辅助放射治疗系统，该系统在治疗前或治疗期间，通过视觉成像设备(相机+投影仪+红外相机)以无剂量的方式实时快速获取病人体表数据，通过图像处理算法，对病人身体轮廓特征进行识别和三维重建，并与ct获取的三维数据进行自动配准、融合，从而实现测距、摆位验证、动态跟踪、实时监测等功能。为实现高效率、高精度的igrt放射治疗提供辅助信息。

目前，光学定位系统和跟踪系统主要利用采用标记点进行定位。基于标记点的光学定位的影像引导治疗系统广泛地应用于神经外科、口腔颌面外科、骨科外科手术、肿瘤放射治疗，甚至是软组织器官方面的手术。

例如，专利号201710646652.6提出了一种基于反光球标记点的近红外双目视觉立体匹配方法。再比如，美敦力公司的stealthstation手术导航系统和brain公司的vectorvisionsky系统，均采用加拿大ndi公司的polaris光学定位系统作为定位仪，用于跟踪粘贴于手术工具及病人身上的反光球标记点。

目前，基于结构光的三维重建算法很多都是采用散斑编码的模式，通过对散斑里的信息进行识别，来匹配相机等设备，从而再根据三角测量的原理对物体进行重建。例如专利号，201410190263.3。

现有的标记点的不足如下：

(1)标记点易于脱落和发生位移，对重建和跟踪会产生很大的影响；

(2)标记点的光线易于被遮挡，在实际临床的使用中会限制医生的活动手术区域；

(3)在进行手术前，需要对粘了标记贴的患者再进行一次ct或mr扫描，增加患者的负担。

技术实现要素：

为了解决上述技术问题，本发明提出了一种基于红外和可见光三维重建的放射治疗辅助系统及其方法，其为红外与可见光相结合的三维重建系统，实现临床医学中的治疗床的测距、摆位验证、动态跟踪、实时监测等功能，红外与可见光系统在各种环境下都能很好的重建，红外与可见光系统可以相互验证，以提高重建的精度。

为了达到上述目的，本发明的技术方案如下：

基于红外和可见光三维重建的放射治疗辅助系统，包括：

可见光三维重建系统，包括：可见光相机和可见光投影仪；

近红外三维重建系统，包括：红外相机和红外投影仪；

同步触发装置，同步触发装置分别与可见光相机、可见光投影仪、红外相机以及红外投影仪连接，同步触发装置分别给可见光投影仪和红外投影仪提供一个第一触发脉冲信号，可见光投影仪和红外投影仪投出画面后，分别反馈一个反馈脉冲信号给同步触发装置，同步触发装置对反馈脉冲信号进行处理后，给可见光相机和红外相机提供一个第二触发脉冲信号，控制可见光相机和红外相机采集图片；

第一标定板，设置于治疗床加速器中心处，第一标定板用于对可见光相机和红外相机进行标定；

第二标定板，第二标定板用于对可见光投影仪和红外投影仪进行标定。

本发明可以有效将可见光三维重建系统和近红外三维重建系统相结合，对环境的适应能力较强，且之间的三维数据之间可以相互验证，提高重建精度；本发明的实时重建系统不依赖标记贴，能够解决使用标记贴所带来的各种问题，方便医生操作，提高治疗的效率；本发明在临床医学中的应用比较广泛，包括治疗床的测距、摆位验证、动态跟踪、实时监测等。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，第一标定板包括：第一板体以及呈矩阵分布设置于第一板体表面的红外led，且设置于第一板体表面的红外led的亮度可调节。

采用上述优选的方案，结构简单，标定效果好。

作为优选的方案，第二标定板包括：第二板体以及设置于第二板体表面边缘的红外led，第二板体的中间区域为空白投影区域。

采用上述优选的方案，结构简单，标定效果好。

作为优选的方案，基于红外和可见光三维重建的放射治疗辅助系统采用多线程同步方式进行重建，多线程同步方式包括：主线程、采集线程、解码线程以及重建线程；

主线程用于控制采集线程、解码线程、重建线程的开关，点云数据显示以及实时跟踪曲线的显示；

采集线程用于同步采集可见图片以及红外图片，并生成对应的序列图片；

解码线程用于对采集的相移序列图片以及散斑序列图片进行解码，生成对应的码字；

重建线程用于依据对应的码字，匹配对应的可见光相机、可见光投影仪、红外相机以及红外投影仪，利用三角形原理计算出三维的坐标点。

采用上述优选的方案，效果佳。

作为优选的方案，可见光投影仪所投图像为3张3步相移图像，条纹的强度如下：

i1(x，y)＝i′(x，y)+i″(x，y)cos[φ(x，y)-2π/3]

i2(x，y)＝i′(x，y)+i″(x，y)cos[φ(x，y)]

i3(x，y)＝i′(x，y)+i″(x，y)cos[φ(x，y)+2π/3]

i′(x，y)为图像中该点的平均强度，i″(x，y)为图像中该点调制的强度，i1(x，y)、i2(x，y)和i3(x，y)为可见光相机采集到的图像，φ(x，y)为求解的相位，其可由下列公式计算获得：

最后通过φ(x，y)/2π×p计算所对应的码字，p为可见光投影仪的宽度。

采用上述优选的方案，通过求解相位获得对应的码字。

作为优选的方案，三维的坐标点的计算原理如下：

式中：pc为相机标定获得的变换矩阵，pp为投影仪标定所获得的变换矩阵，uc为对应的相机的像素坐标，up为对应的投影仪的坐标，q为三维的坐标点；

对于q的计算，可以通过引入张量行列式的方法，首先计算出下列的行列式：

式中：i(k)为单位矩阵，则三维的坐标点q的计算如下：

采用上述优选的方案，可以有效获得三维的坐标点。通过可见光三维重建系统和近红外三维重建系统获得两组的点云数据，对于由红外相机和红外投影仪所获得的点云数据，pc为红外相机标定获得的变换矩阵，pp为红外投影仪标定所获得的变换矩阵；对于可见光相机和可见光投影仪，pc为可见光相机标定获得的变换矩阵，pp为可见光投影仪标定所获得的变换矩阵。

基于红外和可见光三维重建的放射治疗辅助方法，利用基于红外和可见光三维重建的放射治疗辅助系统进行操作，其具体包括以下步骤：

(1)对红外相机和红外投影仪的标定、对可见光相机和可见光投影仪的标定以及对红外相机、可见光相机、红外投影仪和可见光投影仪之间的联合标定；

(2)标定完成后，可见光投影仪实时投影出相移条纹，红外投影仪实时投影出红外散斑，可见光相机和红外相机进行同步采集；

(3)匹配验证可见光三维重建系统和近红外三维重建系统得到的两组重建数据，计算两组获得的点云数据之间的旋转变换矩阵，若其两组点云数据之间的欧拉角小于1度，位移小于2毫米，则认为该两组重建数据合格，进入步骤(4)；

否则，重回步骤(1)，进行重新标定；

(4)分别将可见光三维重建系统和近红外三维重建系统与ct图像配准，用于临床治疗。

基于红外和可见光三维重建的放射治疗辅助方法步骤简洁，重建效果好。

作为优选的方案，利用第二标定板对红外投影仪的标定具体包括以下步骤：

(a)红外投影仪在第二标定板的空白投影区投影出红外棋盘格，投影多个姿势，由红外相机采集对应的红外图片：

(b)计算每个姿势的红外棋盘格相对于红外相机的旋转角度r，位移t；

(c)找出红外投影仪所投的图案在红外相机所采集的红外图片上角点的像素坐标；

(d)依据红外相机的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的红外棋盘格平面插值，获得实际的物理坐标；

(e)将步骤(d)获得的物理坐标和红外棋盘格坐标对应标定即可计算出红外投影仪的标定参数。

采用上述优选的方案，标定效果好。

作为优选的方案，利用第二标定板对可见光投影仪的标定具体包括以下步骤：

(a)可见光投影仪在第二标定板的空白投影区投影出可见棋盘格，投影多个姿势，由可见光相机采集对应的可见图片：

(b)计算每个姿势的可见棋盘格相对于可见光相机的旋转角度r，位移t；

(c)找出可见光投影仪所投的图案在可见光相机所采集的可见图片上角点的像素坐标；

(d)依据可见光相机的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的可见棋盘格平面插值，获得实际的物理坐标；

(e)将步骤(d)获得的物理坐标和可见棋盘格坐标对应标定即可计算出可见光投影仪的标定参数。

采用上述优选的方案，标定效果好。

作为优选的方案，联合标定通过将第一标定板放置于治疗床加速器中心处，计算出红外相机坐标系和可见光相机坐标系分别对应第一标定板坐标系的变换矩阵，重建时所获得的点云图像都是在第一标定板所在坐标系下的。

采用上述优选的方案，标定效果好。

附图说明

图1为本发明实施例提供的基于红外和可见光三维重建的放射治疗辅助系统的结构示意图。

图2为本发明实施例提供的基于红外和可见光三维重建的放射治疗辅助系统的结构框图。

图3为本发明实施例提供的第一标定板的结构示意图。

图4为本发明实施例提供的第二标定板的结构示意图。

图5为本发明实施例提供的基于红外和可见光三维重建的放射治疗辅助系统的实时处理流程图。

其中：101红外相机、102可见光相机、103可见光投影仪、104红外投影仪、105重建物体、106同步触发装置、107第一标定板、108第二标定板。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

为了达到本发明的目的，基于红外和可见光三维重建的放射治疗辅助系统及其方法的其中一些实施例中，

如图1-2所示，基于红外和可见光三维重建的放射治疗辅助系统，包括：

可见光三维重建系统，包括：可见光相机102和可见光投影仪103；

近红外三维重建系统，包括：红外相机101和红外投影仪104；

同步触发装置106，同步触发装置106分别与可见光相机102、可见光投影仪103、红外相机101以及红外投影仪104连接，同步触发装置106分别给可见光投影仪103和红外投影仪104提供一个第一触发脉冲信号，可见光投影仪103和红外投影仪104投出画面后，分别反馈一个反馈脉冲信号给同步触发装置106，同步触发装置106对反馈脉冲信号进行处理后，给可见光相机102和红外相机101提供一个第二触发脉冲信号，控制可见光相机102和红外相机101采集图片；

第一标定板107，设置于治疗床加速器中心处，第一标定板107用于对可见光相机102和红外相机101进行标定；

第二标定板108，第二标定板108用于对可见光投影仪103和红外投影仪104进行标定。

图1中，105为重建物体，在该实施例中，红外相机101和可见光相机102镜头的焦距都是12mm，可见光相机102的帧率80hz，红外相机101的帧率60hz，红外投影仪104和可见光投影仪103的投射比都是1.35，工业相机与序列投影仪之间的距离为25cm，红外相机101和投影仪之间的距离为50cm。

可见光三维重建系统因为其点云的密度高，重建的精度高，主要应用于获取患者体表数据轮廓确定患者的摆位；以及对患者的位置进行监测，当患者位置发生偏移的时候，发出警告并能知道患者返回初始的位置。

近红外三维重建系统因为实时性好，环境光的影响好，主要用于显示病人的面部数据，实时动态的测量皮肤到光源的距离(odi)以及动态跟踪呼吸时皮肤的运动曲线。

本发明可以有效将可见光三维重建系统和近红外三维重建系统相结合，对环境的适应能力较强，且之间的三维数据之间可以相互验证，提高重建精度；本发明的实时重建系统不依赖标记贴，能够解决使用标记贴所带来的各种问题，方便医生操作，提高治疗的效率；本发明在临床医学中的应用比较广泛，包括治疗床的测距、摆位验证、动态跟踪、实时监测等。

如图3所示，为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，第一标定板107包括：第一板体以及呈矩阵分布设置于第一板体表面的红外led，且设置于第一板体表面的红外led的亮度可调节。

采用上述优选的方案，结构简单，标定效果好。第一标定板107由近红外贴片led作为特征点，第一标定板107上设有电路板，电路板采用usb接口供电，在接入端采用滑动变阻器调节供电功率对红外led亮度进行调节。红外led波长为850nm，红外led以n×n点阵方式近似等间距分布，红外相机101和可见光相机102都能采集到。本发明可以使用matlab标定工具箱或者使用opencv的标定函数对红外相机101和可见光相机102进行标定，获得2个相机的标定参数。

如图4所示，为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，第二标定板108包括：第二板体以及设置于第二板体表面边缘四个角上的红外led，第二板体的中间区域为空白投影区域。

采用上述优选的方案，结构简单，标定效果好。不管是红外投影仪104还是可见光投影仪103，均可以看作是一个反向的相机，其标定的原理和相机类似，由于投影仪不能通过自己采集图片，所以在标定的过程中需要依赖相机采集图片和上一步相机的标定参数。第二标定板108的四个角分别装有和第一标定板107一样的红外led灯，中间为空白投影区域。

第二标定板108对红外投影仪104标定的时候，红外投影仪104投出红外棋盘格，投影多个姿势由红外相机101采集对应的图片；同样，可见光投影仪103投出的图片由可见光相机102进行采集。两个投影仪的标定方法类似，具体过程在下面对进行详细的描述。

如图5所示，为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，基于红外和可见光三维重建的放射治疗辅助系统采用多线程同步方式进行重建，多线程同步方式包括：主线程、采集线程、解码线程以及重建线程；

主线程用于控制采集线程、解码线程、重建线程的开关，点云数据显示以及实时跟踪曲线的显示；

采集线程用于同步采集可见图片以及红外图片，并生成对应的序列图片；

解码线程用于对采集的相移序列图片以及散斑序列图片进行解码，生成对应的码字；

重建线程用于依据对应的码字，匹配对应的可见光相机102、可见光投影仪103、红外相机101以及红外投影仪104，利用三角形原理计算出三维的坐标点。

采用上述优选的方案，效果佳。散斑序列图片是有几百个点的散点图像，对于每一个散点的码字的求取，可以通过周围4*4的散点来确定，红外图像的编码和解码很多都是采用的这种方法，如applestem-end/calyxidentificationusingaspeckle-arrayencodingpattern和国际专利ep2207127b1。

进一步，可见光投影仪103所投图像为3张3步相移图像，条纹的强度如下：

i1(x，y)＝i′(x，y)+i″(x，y)cos[φ(x，y)-2π/3]

i2(x，y)＝i′(x，y)+i″(x，y)cos[φ(x，y)]

i3(x，y)＝i′(x，y)+i″(x，y)cos[φ(x，y)+2π/3]

i′(x，y)为图像中该点的平均强度，i″(x，y)为图像中该点调制的强度，i1(x，y)、i2(x，y)和i3(x，y)为可见光相机102采集到的图像，φ(x，y)为求解的相位，其可由下列公式计算获得：

最后通过φ(x，y)/2π×p计算所对应的码字，p为可见光投影仪103的宽度。

采用上述优选的方案，通过求解相位获得对应的码字。图2中所使用的相移条纹为3步相移条纹，由于对称性，相移条纹每次偏移120°，三步相移法中总共有3个条纹图像被使用，条纹的强度如i1(x，y)、i2(x，y)和i3(x，y)所示。

进一步，三维的坐标点的计算原理如下：

式中：pc为相机标定获得的变换矩阵，pp为投影仪标定所获得的变换矩阵，uc为对应的相机的像素坐标，up为对应的投影仪的坐标，q为三维的坐标点；

对于q的计算，可以通过引入张量行列式的方法，首先计算出下列的行列式：

式中：i(k)为单位矩阵，则三维的坐标点q的计算如下：

采用上述优选的方案，可以有效获得三维的坐标点。通过可见光三维重建系统和近红外三维重建系统获得两组的点云数据，对于由红外相机101和红外投影仪104所获得的点云数据，pc为红外相机101标定获得的变换矩阵，pp为红外投影仪104标定所获得的变换矩阵；对于可见光相机102和可见光投影仪103，pc为可见光相机102标定获得的变换矩阵，pp为可见光投影仪103标定所获得的变换矩阵。

基于红外和可见光三维重建的放射治疗辅助方法，利用基于红外和可见光三维重建的放射治疗辅助系统进行操作，其具体包括以下步骤：

(1)对红外相机101和红外投影仪104的标定、对可见光相机102和可见光投影仪103的标定以及对红外相机101、可见光相机102、红外投影仪104和可见光投影仪103之间的联合标定；

(2)标定完成后，可见光投影仪103实时投影出相移条纹，红外投影仪104实时投影出红外散斑，可见光相机102和红外相机101进行同步采集；

(3)匹配验证可见光三维重建系统和近红外三维重建系统得到的两组重建数据，计算两组获得的点云数据之间的旋转变换矩阵，若其两组点云数据之间的欧拉角小于1度，位移小于2毫米，则认为该两组重建数据合格，进入步骤(4)；

否则，重回步骤(1)，进行重新标定；

(4)分别将可见光三维重建系统和近红外三维重建系统与ct图像配准，用于临床治疗。

基于红外和可见光三维重建的放射治疗辅助方法步骤简洁，重建效果好。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，利用第二标定板108对红外投影仪104的标定具体包括以下步骤：

(a)红外投影仪104在第二标定板108的空白投影区投影出红外棋盘格，投影多个姿势，由红外相机101采集对应的红外图片：

(b)计算每个姿势的红外棋盘格相对于红外相机101的旋转角度r，位移t；

(c)找出红外投影仪104所投的图案在红外相机101所采集的红外图片上角点的像素坐标；

(d)依据红外相机101的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的红外棋盘格平面插值，获得实际的物理坐标；

(e)将步骤(d)获得的物理坐标和红外棋盘格坐标对应标定即可计算出红外投影仪104的标定参数。

采用上述优选的方案，标定效果好。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，利用第二标定板108对可见光投影仪103的标定具体包括以下步骤：

(a)可见光投影仪103在第二标定板108的空白投影区投影出可见棋盘格，投影多个姿势，由可见光相机102采集对应的可见图片：

(b)计算每个姿势的可见棋盘格相对于可见光相机102的旋转角度r，位移t；

(c)找出可见光投影仪103所投的图案在可见光相机102所采集的可见图片上角点的像素坐标；

(d)依据可见光相机102的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的可见棋盘格平面插值，获得实际的物理坐标；

(e)将步骤(d)获得的物理坐标和可见棋盘格坐标对应标定即可计算出可见光投影仪103的标定参数。

采用上述优选的方案，标定效果好。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，联合标定通过将第一标定板107放置于治疗床加速器中心处，计算出红外相机101坐标系和可见光相机102坐标系分别对应第一标定板107坐标系的变换矩阵，重建时所获得的点云图像都是在第一标定板107所在坐标系下的。

综上述，本申请的有益效果如下：

1)将可见光三维重建系统和近红外三维重建系统相结合，对环境的适应能力较强，且之间的三维数据之间可以相互验证，提高重建精度；

2)本发明的实时重建系统不依赖标记贴，能够解决使用标记贴所带来的各种问题，方便医生操作，提高治疗的效率；

3)本发明在临床医学中的应用比较广泛，应用于治疗床的测距、摆位验证、动态跟踪、实时监测等；

4)采用第一标定板107对可见光相机102和红外相机101进行标定，采用第二标定板108对可见光投影仪103和红外投影仪104进行标定；

5)基于红外和可见光三维重建的放射治疗辅助系统采用多线程同步方式进行重建；

6)重建过程中使用张量行列式来计算出重建的点云数据。

对于本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。