基于结构光的3d立体成像胶囊内窥镜系统及方法
【专利摘要】本发明公开了一种基于结构光的3D立体成像胶囊内窥镜系统，它包括胶囊壳体、控制器、发光子系统、照明装置、成像子系统、胶囊定位子系统，控制器、发光子系统、照明装置、成像子系统和胶囊定位子系统均设置在胶囊壳体内，控制器的发光子系统控制信号输出端连接发光子系统的信号输入端，控制器的照明光控制信号输出端连接照明装置的控制信号输入端，成像子系统的成像信号输出端连接控制器的成像信号输入端，胶囊定位子系统的定位信息通信端连接控制器的定位信息通信端。本发明能对消化道内部信息进行全方位的显示，方便医生更加确切有效的进行诊断。
【专利说明】
基于结构光的3D立体成像胶囊内窥镜系统及方法
技术领域
[0001] 本发明涉及医疗设备技术领域，具体地指一种基于结构光的3D立体成像胶囊内窥 镜系统及方法。
【背景技术】
[0002] 现有无线胶囊内窥镜，通过人口服进入消化道内，消化道蠕动为其提供动力使之 能够在消化道内运动，从而完成对消化道图像的拍摄，并通过无线传输系统传输到体外进 行显示。
[0003] 现在市场上被广泛使用的无线胶囊内窥镜获取到的图像都只是二维静止的，不能 全方位清晰地显示消化道内三维图像的真实情况。针对这个问题，专利公开号为 CN104720735A的中国专利《虚拟现实胶囊内窥镜》，该专利设计了一种胶囊内窥镜，该胶囊 内窥镜在胶囊内使用了两个图像采集的摄像装置，模拟人的左眼与右眼，无线传输模块将 图像数据传输到显示模块上，医生佩戴专用眼镜就能有3D的效果。该方案只是模拟了人眼 成像效果，并不是真正的3D显示，不能全方位获取消化道信息，并且该技术需要配备专用眼 镜，成本较高；
[0004] 专利公开号为CN104939793A的中国专利《基于液体透镜的可调焦3-D胶囊内窥镜 系统》，该专利利用可调焦的胶囊内窥镜系统，得到不同焦距下的清晰的序列图像，然后利 用三维重建算法对序列图像进行处理，计算得到被拍摄目标的三维信息，从而得到三维立 体成像。但是，该技术利用序列图像进行三维重建，只能得到某个视角下的三维图像，不能 获取整个消化道的三维立体成像，并且该系统需要反复调焦，结构复杂且控制系统要求较 尚。
【发明内容】
[0005] 本发明的目的就是要提供一种基于结构光的3D立体成像胶囊内窥镜系统及方法， 该系统和方法能对消化道内部信息进行全方位的显示，方便医生更加确切有效的进行诊 断。
[0006] 为实现此目的，本发明所设计的基于结构光的3D立体成像胶囊内窥镜系统，其特 征在于:它包括胶囊壳体、控制器、用于发出3D成像结构光的发光子系统、用于对被检者消 化道腔内部进行照明的照明装置、用于拍摄被检者消化道内部图像的成像子系统、用于获 取胶囊位置信息及胶囊姿态信息的胶囊定位子系统，其中，所述控制器、发光子系统、照明 装置、成像子系统和胶囊定位子系统均设置在胶囊壳体内，所述控制器的发光子系统控制 信号输出端连接发光子系统的信号输入端，控制器的照明光控制信号输出端连接照明装置 的控制信号输入端，成像子系统的成像信号输出端连接控制器的成像信号输入端，胶囊定 位子系统的定位信息通信端连接控制器的定位信息通信端。
[0007] -种利用上述系统的内窥镜成像方法，其特征在于，它包括如下步骤：
[0008] 步骤1:将胶囊壳体置于消化道内；
[0009] 步骤2:利用上位机通过数据传输子系统对控制器进行控制，控制器控制照明装置 点壳；
[0010] 步骤3:控制器控制光源发出白光，光源发出的白光照射到结构光产生模块上，结 构光产生模块对所述白光进行滤光处理，形成所需的3D成像结构光，该3D成像结构光照射 在消化道内部目标物体表面形成一个3D成像光带；
[0011] 步骤4:成像子系统对消化道内部目标物体表面的3D成像光带进行成像，并将成像 信息传输给控制器，控制器将成像信息通过数据传输子系统传输给上位机，上位机利用结 构光产生模块中滤光片和遮光挡板排列顺序所对应的编码信息对成像信息进行成像解码 处理，根据成像解码信息计算出目标物体表面在3D成像中的空间坐标；
[0012] 步骤5:胶囊定位子系统将得到的胶囊壳体此时姿态和位置信息传输给控制器，控 制器将胶囊壳体此时的姿态和位置信息通过数据传输子系统传输给上位机，上位机根据目 标物体表面在3D成像中的空间坐标以及胶囊壳体此时的姿态和位置信息，将目标物体在3D 成像中的空间坐标转换成世界坐标，形成点云数据；
[0013] 步骤6:胶囊壳体在消化道内的不同位置均通过上述步骤2~5的方法得到对应的 点云数据；
[0014] 步骤7:上位机对消化道内不同位置得到的点云数据，进行配准融合，得到完整的 点云信息，对整个消化道的所有点云数据进行三维建模，并将三维建模图案进行显示。
[0015] 本发明的有益效果：
[0016] 1、本发明不需要额外的辅助设备即可观察消化道内的三维信息；
[0017] 2、本发明可以获取完整的消化道三维信息，并进行三维建模；
[0018] 3、本发明利用发光子系统和成像子系统取代一个摄像头，利用结构光辅助计算， 提尚了 3D成像的精度；
[0019] 4、本发明可以得到距离信息，从而得到消化道内病变区域的实际大小，方便医生 诊断；
[0020] 5、本发明利用基于结构光的3D成像，可以全方位、多角度观察消化道内信息，提高 检测率；
【附图说明】
[0021] 图1为本发明的侧切面结构示意图；
[0022]图2为本发明的俯视结构不意图；
[0023]图3为本发明的原理框图；
[0024]图4为本发明基于结构光技术3D成像的建立过程示意图；
[0025] 图5为本发明中结构光产生模块的结构示意图。
[0026] 其中，1一胶囊壳体、1.1一透明半壳、1.2-非透明半壳、2-发光子系统、2.1-光 源、2.2-结构光产生模块、2.3-滤光片、2.4-遮光挡板、3-成像子系统、3.1-图像传感 器、3.2-光学镜头、4一照明装置、5-控制器、6-数据传输子系统、7-胶囊定位子系统、 8-电源、9一柔性电路安装板、9.1 一上水平柔性电路安装板、9.2-垂直柔性电路安装板、 9.3-下水平柔性电路安装板。
【具体实施方式】
[0027] 以下结合附图和具体实施例对本发明作进一步的详细说明：
[0028] 如图1~3所述的基于结构光的3D立体成像胶囊内窥镜系统，它包括胶囊壳体1、控 制器5、用于发出3D成像结构光的发光子系统2、用于对被检者消化道腔内部进行照明的照 明装置4、用于拍摄被检者消化道内部图像的成像子系统3、用于获取胶囊位置信息及胶囊 姿态信息的胶囊定位子系统7,其中，所述控制器5、发光子系统2、照明装置4、成像子系统3 和胶囊定位子系统7均设置在胶囊壳体1内，所述控制器5的发光子系统控制信号输出端连 接发光子系统2的信号输入端，控制器5的照明光控制信号输出端连接照明装置4的控制信 号输入端，成像子系统3的成像信号输出端连接控制器5的成像信号输入端，胶囊定位子系 统7的定位信息通信端连接控制器5的定位信息通信端。
[0029] 上述技术方案中，发光子系统2和成像子系统3在胶囊壳体1两端，朝向同一侧，发 光子系统2和成像子系统3之间的距离范围为15mm~25mm。为保证发光子系统2和成像子系 统3同时工作，避免消化道运动造成影响，两者延迟不超过lms。
[0030] 上述技术方案中，发光子系统2将3D结构光照射在需要拍摄的消化道内部物体上， 成像子系统3对消化道内部物体进行成像，胶囊定位子系统7对胶囊的位置及姿态数据进行 记录，数据传输子系统6接收成像子系统3及胶囊定位子系统7的数据后，进行处理并传送给 体外的上位机，上位机解算出消化道内部物体的3D信息，然后进行3D显示，方便全方位观察 消化道内部物体。
[0031] 上述技术方案中，所述胶囊壳体1由上半部分的透明半壳1.1和下半部分的非透明 半壳1.2连接成一体构成。所述结构光产生模块2.2的出光口面向透明半壳1.1，所述照明装 置4的出光口面向透明半壳1.1。透明半壳1.1能使发光子系统2和成像子系统3的光通过。
[0032] 上述技术方案中，所述发光子系统2包括光源2.1和结构光产生模块2.2,所述控制 器5的发光子系统控制信号输出端连接光源2.1的信号输入端，光源2.1的光轴轴心与结构 光产生模块2.2的光信号输入端的轴心同轴，所述结构光产生模块2.2的出光面与胶囊壳体 1的轴线之间的夹角α为0°~45°。该夹角能成像子系统3拍摄的图案更加清晰。
[0033] 上述技术方案中，所述结构光产生模块2.2由多块滤光片2.3和多块遮光挡板2.4 交替布置形式（即相邻两块滤光片之间设置遮光挡板），多块滤光片2.3颜色排列顺序根据 预设的3D成像结构光编码顺序确定。如图5所示多块滤光片2.3的颜色排列顺序依次为绿、 蓝、红、黄、青。
[0034]上述技术方案中，每块滤光片2.3和每块遮光挡板2.4均对应一个光平面，为保证 系统精度，光平面在物体表面成像宽度小，每块滤光片2.3和每块遮光挡板2.4的宽度均相 等且宽度均小于lmm。
[0035] 上述技术方案中，它还包括用于连接上位机的数据传输子系统6,所述控制器5的 通信端连接数据传输子系统6。上述数据传输子系统6包含ASIC(专用集成电路)芯片和无线 传输模块，ASIC芯片对图像数据进行压缩，然后通过无线传输模块将数据传送到上位机。
[0036] 上述技术方案中，所述胶囊壳体1内固定有柔性电路安装板9,所述柔性电路安装 板9包括上水平柔性电路安装板9.1、垂直柔性电路安装板9.2和下水平柔性电路安装板 9.3，所述上水平柔性电路安装板9.1和下水平柔性电路安装板9.3通过垂直柔性电路安装 板9.2连接，所述上水平柔性电路安装板9.1和下水平柔性电路安装板9.3与胶囊壳体1的轴 线平行;柔性电路安装板9使胶囊尽量的柔软，方便患者吞服。
[0037] 所述上水平柔性电路安装板9.1上安装有发光子系统2、照明装置4和成像子系统 3,所述下水平柔性电路安装板9.3上安装有数据传输子系统6、胶囊定位子系统7、电源8和 控制器5,所述电源8分别向发光子系统2、成像子系统3、控制器5、数据传输子系统6和胶囊 定位子系统7供电。
[0038] 上述技术方案中，上述成像子系统3包括CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体），图像传感器3.1和光学镜头3.2,所述光学镜头 3.2安装在CMOS图像传感器3.1的图像感应端(CMOS图像传感器3.1具有尺寸小、功耗低的优 点，适合置于胶囊中），上述CMOS图像传感器3.1的信号输出端连接控制器5的成像信号输入 端。CMOS图像传感器3.1的对角直径为5.658mm，CMOS图像传感器3.1采集图像帧率为2帧/s。
[0039] -种利用上述系统的内窥镜成像方法，它包括如下步骤：
[0040] 步骤1:将胶囊壳体1置于消化道内；
[0041] 步骤2:利用上位机通过数据传输子系统6对控制器5进行控制，控制器5控制照明 装置4点亮，成像子系统对消化道内部成像，成像完成以后熄灭照明装置；
[0042] 步骤3:控制器5控制光源2.1发出白光，光源2.1发出的白光照射到结构光产生模 块2.2上，结构光产生模块2.2对所述白光进行滤光处理，形成所需的3D成像结构光，该3D成 像结构光照射在消化道内部目标物体表面形成一个3D成像光带；
[0043]步骤4:成像子系统3对消化道内部目标物体表面的3D成像光带进行成像，如图4所 示，并将成像信息传输给控制器5,控制器5将成像信息通过数据传输子系统6传输给上位 机，上位机利用结构光产生模块2.2中滤光片2.3和遮光挡板2.4排列顺序所对应的编码信 息对成像信息进行成像解码处理，根据成像解码信息计算出目标物体表面在3D成像中的空 间坐标；
[0044] 步骤5:胶囊定位子系统7将得到的胶囊壳体1此时姿态和位置信息传输给控制器 5,控制器5将胶囊壳体1此时的姿态和位置信息通过数据传输子系统6传输给上位机，上位 机根据目标物体表面在3D成像中的空间坐标以及胶囊壳体1此时的姿态和位置信息，将目 标物体在3D成像中的空间坐标转换成世界坐标，形成点云数据，上位机对点云数据进行滤 波去噪；
[0045] 步骤6:胶囊壳体1在消化道内的不同位置均通过上述步骤2~5的方法得到对应的 点云数据；
[0046] 步骤7:上位机对消化道内不同位置得到的点云数据，进行配准融合，得到完整的 点云信息，对整个消化道的所有点云数据进行三维建模，并将三维建模图案进行显示。
[0047] 上述技术方案的步骤1前，需要进行初始参数校准，初始参数校准包含CMOS图像传 感器3.1参数校准及系统参数校准。CMOS图像传感器3.1参数校准获取镜头畸变及内部参 数，包括焦距;系统校准获取发光子系统2畸变参数及发光子系统2产生的光平面的参数。 [0048] 上述技术方案的步骤3中，结构光产生模块2.2形成的一个光平面六1+87+(^+0 = 0 在物体表面形成一个光带(采用多个光平面同时照射物体，加快处理速度），成像子系统3对 包含物体表面形状信息的光带进行成像，利用式（1)，计算出目标表面在3D成像中的空间坐 标(x、y、z):
[0049]
(1)
[0050]
[0051] 其中，f为成像子系统3的焦距，x'、y'为目标在成像子系统3的像素坐标，x、y、z为 在3D成像中的空间坐标，光平面Ax+By+Cz+D = 0是以3D成像为参考系的，其系数A、B、C、D在 系统校正时可以得到。
[0052] 本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
【主权项】
1. 一种基于结构光的3D立体成像胶囊内窥镜系统，其特征在于：它包括胶囊壳体（1)、 控制器(5)、用于发出3D成像结构光的发光子系统(2)、用于对被检者消化道腔内部进行照 明的照明装置(4)、用于拍摄被检者消化道内部图像的成像子系统（3)、用于获取胶囊位置 信息及胶囊姿态信息的胶囊定位子系统(7)，其中，所述控制器(5)、发光子系统(2)、照明装 置(4)、成像子系统(3)和胶囊定位子系统(7)均设置在胶囊壳体(1)内，所述控制器(5)的发 光子系统控制信号输出端连接发光子系统(2)的信号输入端，控制器(5)的照明光控制信号 输出端连接照明装置(4)的控制信号输入端，成像子系统(3)的成像信号输出端连接控制器 (5) 的成像信号输入端，胶囊定位子系统(7)的定位信息通信端连接控制器(5)的定位信息 通信端。2. 根据权利要求1所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:所述 胶囊壳体（1)由上半部分的透明半壳（1.1)和下半部分的非透明半壳（1.2)连接成一体构 成。3. 根据权利要求2所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:所述 发光子系统(2)包括光源(2.1)和结构光产生模块(2.2)，所述控制器(5)的发光子系统控制 信号输出端连接光源(2.1)的信号输入端，光源(2.1)的光轴轴心与结构光产生模块(2.2) 的光信号输入端的轴心同轴，所述结构光产生模块(2.2)的出光面与胶囊壳体(1)的轴线之 间的夹角α为0°~45°。4. 根据权利要求3所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:所述 结构光产生模块(2.2)的出光口面向透明半壳（1.1)，所述照明装置(4)的出光口面向透明 半壳(1.1)。5. 根据权利要求1所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:所述 结构光产生模块(2.2)由多块滤光片（2.3)和多块遮光挡板(2.4)交替布置形式，多块滤光 片(2.3)颜色排列顺序根据预设的3D成像结构光编码顺序确定。6. 根据权利要求4所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:每块 滤光片(2.3)和每块遮光挡板(2.4)的宽度均相等且宽度均小于1mm。7. 根据权利要求1所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:它还 包括用于连接上位机的数据传输子系统(6)，所述控制器(5)的通信端连接数据传输子系统 (6) 〇8. 根据权利要求1所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:所述 胶囊壳体（1)内固定有柔性电路安装板(9)，所述柔性电路安装板(9)包括上水平柔性电路 安装板(9.1)、垂直柔性电路安装板(9.2)和下水平柔性电路安装板(9.3)，所述上水平柔性 电路安装板(9.1)和下水平柔性电路安装板(9.3)通过垂直柔性电路安装板(9.2)连接，所 述上水平柔性电路安装板(9.1)和下水平柔性电路安装板(9.3)与胶囊壳体（1)的轴线平 行； 所述上水平柔性电路安装板(9.1)上安装有发光子系统（2)、照明装置(4)和成像子系 统（3)，所述下水平柔性电路安装板(9.3)上安装有数据传输子系统（6)、胶囊定位子系统 (7)、电源（8)和控制器（5)，所述电源（8)分别向发光子系统（2)、成像子系统（3)、控制器 (5 )、数据传输子系统(6)和胶囊定位子系统(7)供电。9. 根据权利要求1所述的基于结构光的3D立体成像胶囊内窥镜系统，其特征在于:上述 成像子系统（3)包括CMOS图像传感器(3.1)和光学镜头（3.2)，所述光学镜头（3.2)安装在 CMOS图像传感器(3.1)的图像感应端，上述CMOS图像传感器(3.1)的信号输出端连接控制器 (5)的成像信号输入端。10. -种利用权利要求1所述系统的内窥镜成像方法，其特征在于，它包括如下步骤： 步骤1:将胶囊壳体(1)置于消化道内； 步骤2:利用上位机通过数据传输子系统(6)对控制器(5)进行控制，控制器(5)控制照 明装置(4)点亮； 步骤3:控制器(5)控制光源（2.1)发出白光，光源（2.1)发出的白光照射到结构光产生 模块(2.2)上，结构光产生模块(2.2)对所述白光进行滤光处理，形成所需的3D成像结构光， 该3D成像结构光照射在消化道内部目标物体表面形成一个3D成像光带； 步骤4:成像子系统（3)对消化道内部目标物体表面的3D成像光带进行成像，并将成像 信息传输给控制器(5)，控制器(5)将成像信息通过数据传输子系统(6)传输给上位机，上位 机利用结构光产生模块(2.2)中滤光片(2.3)和遮光挡板(2.4)排列顺序所对应的编码信息 对成像信息进行成像解码处理，根据成像解码信息计算出目标物体表面在3D成像中的空间 坐标； 步骤5:胶囊定位子系统（7)将得到的胶囊壳体（1)此时姿态和位置信息传输给控制器 (5)，控制器(5)将胶囊壳体(1)此时的姿态和位置信息通过数据传输子系统(6)传输给上位 机，上位机根据目标物体表面在3D成像中的空间坐标以及胶囊壳体（1)此时的姿态和位置 信息，将目标物体在3D成像中的空间坐标转换成世界坐标，形成点云数据； 步骤6:胶囊壳体（1)在消化道内的不同位置均通过上述步骤2~5的方法得到对应的点 云数据； 步骤7:上位机对消化道内不同位置得到的点云数据，进行配准融合，得到完整的点云 信息，对整个消化道的所有点云数据进行三维建模，并将三维建模图案进行显示。
【文档编号】A61B1/00GK105996961SQ201610270301
【公开日】2016年10月12日
【申请日】2016年4月27日
【发明人】袁文金, 张皓, 刘浩
【申请人】安翰光电技术（武汉）有限公司