胶囊内窥镜系统及其三维成像方法
【专利摘要】本发明提供了一种胶囊内窥镜系统，用于观察被检者体内的消化道，所述胶囊内窥镜系统包括胶囊内窥镜、用以对消化道进行三维建模的三维成像装置、以及用以显示三维模型的显示装置；所述胶囊内窥镜包括呈胶囊状的壳体、设置于壳体内的摄像装置、用于处理摄像装置拍摄的图像的图像处理装置以及用以在图像处理装置和三维成像装置之间通讯的射频传输装置。通过三维成像装置，可使得被检者体内的消化道以三维模型的方式直接显示于显示装置上，使用者可用肉眼直接观察，操作便捷。
【专利说明】
胶囊内窥镜系统及其三维成像方法
技术领域
[0001]本发明涉及一种应用于医疗技术领域的胶囊内窥镜系统及其三维成像方法。
【背景技术】
[0002]胶囊内窥镜系统由于其安全性、可靠性以及诊断过程中的舒适性等优点，目前已被广泛认可并应用于胃肠道疾病的诊断中。胶囊内窥镜具备摄像单元和使用LED灯构成的照明装置以及无线通讯装置等，并内置于大小可供人口服的胶囊壳体中，通过由被检者从口吞服，能够在通过体腔的过程中对胃或肠道等进行拍摄。胶囊内窥镜也可将拍摄信息通过无线装置发送到外部，外部设备接收拍摄信息，再显示在显示设备上。在人体胃肠道无痛苦、无创伤的状态下，医护人员可根据显示设备上的图像对被检者进行胃肠道疾病的诊断。
[0003]目前使用的胶囊内窥镜系统的成像方式均为二维图像，为了使胶囊内窥镜更加灵活、可控、效率更高，研究中采用虚拟现实技术的胶囊内窥镜系统可实现三维成像。然而该虚拟现实技术未采用三维建模技术，最后还需要通过特殊的头盔或者眼镜或者显示来供医生使用，才能观察到三维图像，并且操作过程中也不方便，并不能完全实现三维成像。并且，由于胶囊内窥镜的运动方向及拍摄角度不可控制，从而导致无法拍摄整个消化道的三维图像，且观察胃部及小肠等图像的观察视角也有限。
[0004]因此，必须设计一种方便使用的胶囊内窥镜系统及其成像方法。
【发明内容】
[0005]本发明针对现有技术存在的问题，其目的在于提供一种可让使用者直接用肉眼观察的胶囊内窥镜系统及其控制方法。
[0006]为实现上述目的，本发明提供了一种胶囊内窥镜系统，用于观察被检者体内的消化道，所述胶囊内窥镜系统包括胶囊内窥镜、用以对消化道进行三维建模的三维成像装置、以及用以显示三维模型的显示装置;所述胶囊内窥镜包括呈胶囊状的壳体、设置于壳体内的摄像装置、用于处理摄像装置拍摄的图像的图像处理装置以及用以在图像处理装置和三维成像装置之间通讯的射频传输装置。
[0007]作为本发明的进一步改进，所述摄像装置包括用于模拟人眼的两个摄像单元，该两个摄像单元固定于胶囊内窥镜所包括的电路板上且相互间隔设置。
[0008]作为本发明的进一步改进，所述两个摄像单元之间间隔Icm至2cm。
[0009]作为本发明的进一步改进，所述壳体包括相互配合连接的透明壳体和不透明壳体，所述摄像装置朝向所述透明壳体设置。
[0010]作为本发明的进一步改进，所述壳体内部设置有照明装置。
[0011 ]作为本发明的进一步改进，所述胶囊内窥镜系统还包括有运动控制装置，所述运动控制装置包括固定于壳体内部的磁铁、固定于壳体内的用以探测/记录胶囊内窥镜位置、姿态信息的磁传感器、以及设置于壳体外部用以控制所述胶囊内窥镜运动的永磁体。
[0012]作为本发明的进一步改进，所述三维成像装置包括:三维坐标计算模块，用以在拍摄过程中根据胶囊内窥镜的位置、姿态信息及摄像装置所拍摄的图像，计算胶囊内窥镜在消化道内壁的空间坐标信息，该空间坐标信息也被称作点云;随着胶囊内窥镜的位置变化，形成一系列点云;三维点云融合模块，用以将一系列点云融合形成完整的消化道点云;三维模型重建模块，用以根据消化道点云对摄像装置所拍摄的图像进行三维重建形成消化道的三维模型。
[0013]作为本发明的进一步改进，所述三维成像装置还包括:摄像装置校准模块，用以在拍摄之前校准摄像装置的镜头参数;三维点云降噪模块，用以对拍摄及计算过程中产生的误差点云进行降噪处理。
[0014]为实现上述目的，本发明还提供了胶囊内窥镜系统的三维成像方法，用于形成被检者体内消化道完整的三维建模，所述方法包括:摄像装置拍摄被检者体内消化道的图像；图像处理装置对摄像装置所拍摄的图像进行处理;射频传输装置将处理后的图像传送至三维成像装置;三维成像装置对消化道进行三维建模;将建立好的三维模型映射于显示装置上。
[0015]作为本发明的进一步改进，所述胶囊内窥镜系统还包括运动控制装置，所述运动控制装置包括固定于壳体内部的磁铁、固定于壳体内部用于探测/记录所述胶囊内窥镜位置、姿态信息的磁传感器，以及设置于壳体外部并且可控制所述胶囊内窥镜的运动的永磁体;在三维成像装置对消化道进行三维建模之前，设置于胶囊内窥镜外部的所述永磁体通过控制磁铁的旋转或移动来控制胶囊内窥镜在消化道中的运动，所述磁传感器探测/记录所述胶囊内窥镜的位置、姿态信息并且将位置、姿态信息发送至三维成像装置。
[0016]作为本发明的进一步改进，所述三维成像装置对消化道进行三维建模的步骤具体包括:根据接收到的胶囊内窥镜的位置、姿态信息及摄像装置所拍摄的图像，计算出胶囊内窥镜在消化道内壁的空间坐标信息，该空间坐标信息也被称作为点云；随着永磁铁控制胶囊内窥镜位置、姿态变化，形成一系列点云;将上述一系列点云组合形成被检者体内完整的消化道点云;根据消化道点云对摄像装置所拍摄的图像进行三维重建形成消化道完整的三维模型。
[0017]作为本发明的进一步改进，所述三维成像装置根据图像信息对消化道进行三维建模的步骤还包括:在摄像装置对被检者体内的消化道进行拍摄之前，对摄像装置的镜头参数进行校准，并根据校准后的镜头参数计算出摄像装置的相对位移和旋转矩阵。
[0018]作为本发明的进一步改进，所述三维成像装置根据图像信息对消化道进行三维建模的步骤还包括:将上述点云组合之前，对拍摄及计算坐标时产生的噪声点云进行降噪处理。
[0019]本发明的有益效果是:所述胶囊内窥镜通过摄像装置拍摄消化道的图像，并将所拍摄的图像通过三维成像装置以形成三维模型映射于显示装置上，使得使用者可通过肉眼直接观察，而不需要借助头盔眼镜都工具，使用方便。
【附图说明】
[0020]图1为本发明胶囊内窥镜的示意图；
[0021 ]图2为本发明胶囊内窥镜的俯视图；
[0022]图3为本发明胶囊内窥镜系统的硬件结构图。
【具体实施方式】
[0023]以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构或功能上的变换均包含在本发明的保护范围内。
[0024]如图1至3所示，本发明提供了一种胶囊内窥镜系统，应用于医疗技术领域，所述胶囊内窥镜系统包括胶囊内窥镜100、用以根据胶囊内窥镜100拍摄的图像对消化道进行三维建模的三维成像装置300、用以控制胶囊内窥镜100在消化道内活动的运动控制装置(图中未示出)、以及用以显示三维模型的显示装置200。所述显示装置200可以为各种电子设备的显示屏，例如电脑的显示屏等。所述运动控制装置包括设置固定于胶囊内窥镜100内的可控制带动胶囊内窥镜100运动的磁铁2，设置于胶囊内窥镜100内部并且用以探测/记录胶囊内窥镜100位置的磁传感器9，以及设置于胶囊内窥镜100外部用以控制所述胶囊窥镜100运动的永磁体500。
[0025]如图1所示，所述胶囊内窥镜100包括呈胶囊状的壳体1、设置于壳体I内的摄像装置3、用于控制摄像装置3并对摄像装置3所拍摄的图像数据进行处理的图像处理装置4、以及在图像处理装置4和三维成像装置之间通讯的射频传输装置5。所述胶囊内窥镜100还包括有对被检者消化道内部进行照明的照明装置6、用以给胶囊内窥镜100供电的电源7、上述磁铁2、磁传感器9、以及电路板8。
[0026]所述壳体I由相互配合连接的透明壳体11和不透明壳体12组成，并且所述透明壳体11和不透明壳体12形状呈条状且相互配合。
[0027]所述电路板8位于所述透明壳体11和不透明壳体12的交界面处，所述电路板8包括暴露于透明壳体11的一侧面以及暴露于不透明壳体12的另一侧面。所述照明装置6及摄像装置3设置于电路板8暴露于透明壳体11的一侧面;所述射频传输装置5、磁铁2、电源7、图像处理装置4设置于电路板8暴露于不透明壳体12的一侧面。
[0028]所述摄像装置3包括用于模拟人眼的两个摄像单元30，该两个摄像单元30固定于电路板8上并相互间隔，间隔距离在I厘米(cm)至2厘米(cm)之间。每个摄像单元30包括固定于电路板8上的图像传感器31以及固定于图像传感器31上的光学透镜32。所述图像传感器31为用以拍摄被检者体内图像的CMOS等，光学透镜32使得图像能够成像于图像传感器31的受光面。
[0029]所述照明装置6通常设置为LED等发光二极管，用于发出对摄像装置3的现场进行照明的可见光，例如白色光，可对摄像装置3拍摄过程中起到照明作用。本发明中，所述照明装置6采用3-7个LED，并均匀的分布在摄像装置3的两个摄像单元30的周围，在本实施方式中，如图2所示，所述照明装置6采用7个，则摄像装置3的两个摄像单元30之间设有一个LED，任意一摄像单元30的周圈均匀分布有四个LED。
[0030]所述图像处理装置4为具有控制与处理功能的专用集成电路芯片ASIC，可实现对胶囊内窥镜100拍摄图像的控制。并且，所述图像处理装置4可处理摄像装置3所拍摄的图像，所述处理指对所拍摄的图像进行格式上的处理，例如将图像压缩成JPEG或JPEG-LS等格式图片。所述图像处理装置4也可确保摄像装置3的两个摄像单元30拍摄图像的同步性。
[0031]磁铁2主要由一个铁氧磁体构成，可以产生一个比地磁场高的局部磁场，在本实施方式中，磁铁2为一个磁偶极子。磁传感器9通过采集胶囊内窥镜100位置、姿态信息可确定胶囊内窥镜100的空间位置，由外部永磁体控制内部磁体2从而实现对胶囊内窥镜100的主动控制定位。并且，外部永磁体可控制磁铁2的旋转和移动，由于磁铁2固定于壳体I内，因而外部永磁体可根据内部磁传感器9采集到的位置、姿态信息相应的控制所述胶囊内窥镜100的旋转和移动。并且，所述磁传感器9可实时探测/记录所述胶囊内窥镜100的位置、姿态信息，并将该位置、姿态信息发送给三维成像装置。
[0032]所述三维成像装置通常设置于一台计算装置(例如电脑)上，用于接收胶囊内窥镜100所拍摄的图像，并根据胶囊内窥镜100拍摄的图像对消化道进行三维建模。所述三维成像装置包括:
[0033]摄像装置校准模块，用以在拍摄之前对摄像装置3的镜头参数等进行校准，并根据校准后的镜头参数计算出摄像装置3的两个摄像单元30的相对位移和旋转矩阵；
[0034]三维坐标计算模块，用以将镜头参数、相对位移和旋转矩阵作为参数，并根据接收到的胶囊内窥镜100的位置、姿态信息以及摄像装置3的两个摄像单元30所拍摄的图像，来计算出胶囊内窥镜100所在消化道内壁的空间坐标信息，该空间坐标信息也被称作为点云；
[0035]三维点云降噪模块，用以对拍摄或计算过程中产生的误差点云进行降噪处理；
[0036]三维点云融合模块，用以将点云融合形成完整的消化道点云；
[0037]三维模型重建模块，用以根据消化道点云对摄像装置3所拍摄的图像进行三维重建形成消化道的三维模型。
[0038]因此，所述胶囊内窥镜系统的三维成像方法包括:
[0039]摄像装置3拍摄被检者体内消化道的图像；
[0040]图像处理装置4对摄像装置3所拍摄的图像进行处理；
[0041 ]射频传输装置5将处理后的图像传送至三维成像装置；
[0042]三维成像装置对消化道进行三维建模；
[0043]将建立好的三维模型映射于显示装置上。
[0044]进一步的，所述胶囊内窥镜系统的三维成像方法具体为:
[0045]S1:在拍摄之前，摄像装置校准模块校准摄像装置3的镜头参数，并根据校准后的镜头参数计算出摄像装置3的两个摄像单元30的相对位移和旋转矩阵；
[0046]S2:胶囊内窥镜100进入消化道预设位置处以后，图像处理装置4控制两个摄像装置3同时拍摄，照明装置6对消化道内壁进行照明，所述预设位置可以为胃部、肠道等位置；
[0047]S3:图像处理装置4对摄像装置3所拍摄的图像进行格式处理，例如压缩处理成JPEG或JPEG-LS等格式；
[0048]S4:射频传输装置5将压缩处理后的图像传输给三维模型重建模块；
[0049]S5:拍摄过程中，磁传感器9采集胶囊内窥镜100的位置、姿态信息，并将位置、姿态信息实时传输给三维坐标计算模块；
[0050]S6:三维坐标计算模块将镜头参数、相对位移、旋转矩阵作为参数，根据接收到的胶囊内窥镜100的位置、姿态信息以及摄像装置3所拍摄的图像，计算出胶囊内窥镜100在消化道内壁的空间坐标信息，该计算产生的空间坐标信息被称作点云;随着外部永磁体500控制胶囊内窥镜100位置的改变，形成一系列的点云；
[0051]S7:在拍摄图像及计算误差时会产生一些误差，从而形成噪声点云，则需要通过三维点云降噪模块对这些噪声点云进行降噪处理；
[0052]S8:拍摄结束后，三维点云融合模块将上述一系列点云组合形成被检者体内完整的消化道点云；
[0053]S9:三维模型重建模块根据消化道点云对摄像装置3所拍摄的图像进行三维重建，形成完整的消化道的三维模型；
[0054]S10:将重建后的三维模型映射于显示装置上，即使用者可通过肉眼观察被检者体内消化道的三维模型。并且通过坐标变换，该三维模型还可以提供内视图、展开视图、剖面图等三种或三种以上不同的视图模式，从而可以用不同的视角来观察消化道的三维模型。
[0055]其中，上述S4和S5步骤顺序可颠倒，也可同时进行，但是，胶囊内窥镜100位于一个位置时的位置、姿态信息必须与在该位置处拍摄形成的图像一一对应。另外，上述S8和S9步骤可同时进行，即在融合一系列点云时，将格式处理后的图像同步进行拼接，则消化道点云和消化道的三维模型同步完成。
[0056]本发明的胶囊内窥镜100系统及其控制方法具有诸多优点，具体如下:
[0057]1.本发明中的胶囊内窥镜100的壳体I包括透明壳体11和不透明壳体12，且相互配合，摄像装置3的两个摄像单元30均朝向所述透明壳体11设置;因而，摄像装置3的拍摄视角更加的宽阔，且摄像装置3的两个摄像单元30之间间隔l-2cm，能更好的模拟人眼。
[0058]2.本发明中的胶囊内窥镜100通过外部永磁体500对胶囊内窥镜100进行定位和运动控制，则可以对胶囊内窥镜100的位置进行主动控制，解决了现有胶囊内窥镜100只依靠消化道的婦动来运动的缺点。
[0059]3.通过三维成像装置，对被检者体内消化道进行三维立体建模，使用者可直接通过肉眼观察，从而避免使用者需要借助头盔、眼镜等装置才能观察三维模型的不便;并且，可对三维模型进行操作，从不同的角度对三维模型进行观察，从而极大的方便了医护人员的诊断过程，使得诊断过程更加清晰、可控，对胶囊内窥镜100领域具有很高的实用性及发展前景。
[0060]4.通过上述三维建模的方法，利用点云将摄像装置3拍摄的图像融合在一起，使得建立后的三维模型更加完整、立体。
[0061]应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0062]上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
【主权项】
1.一种胶囊内窥镜系统，用于观察被检者体内的消化道，其特征在于，所述胶囊内窥镜系统包括胶囊内窥镜、用以对消化道进行三维建模的三维成像装置、以及用以显示三维模型的显示装置;所述胶囊内窥镜包括呈胶囊状的壳体、设置于壳体内的摄像装置、用于处理摄像装置拍摄的图像的图像处理装置以及用以在图像处理装置和三维成像装置之间通讯的射频传输装置。2.根据权利要求1所述的胶囊内窥镜系统，其特征在于，所述摄像装置包括用于模拟人眼的两个摄像单元，该两个摄像单元固定于胶囊内窥镜所包括的电路板上且相互间隔设置。3.根据权利要求2所述的胶囊内窥镜系统，其特征在于，所述两个摄像单元之间间隔I cm至2cm ο4.根据权利要求1所述的胶囊内窥镜系统，其特征在于，所述壳体包括相互配合连接的透明壳体和不透明壳体，所述摄像装置朝向所述透明壳体设置。5.根据权利要求1所述的胶囊内窥镜系统，其特征在于，所述壳体内部设置有照明装置。6.根据权利要求1所述的胶囊内窥镜系统，其特征在于，所述胶囊内窥镜系统还包括有运动控制装置，所述运动控制装置包括固定于壳体内部的磁铁、固定于壳体内的用以探测/记录胶囊内窥镜位置、姿态信息的磁传感器、以及设置于壳体外部用以控制所述胶囊内窥镜运动的永磁体。7.根据权利要求6所述的胶囊内窥镜系统，其特征在于，所述三维成像装置包括: 三维坐标计算模块，用以在拍摄过程中根据胶囊内窥镜的位置、姿态信息及摄像装置所拍摄的图像，计算胶囊内窥镜在消化道内壁的空间坐标信息，该空间坐标信息也被称作点云;随着胶囊内窥镜的位置变化，形成一系列点云； 三维点云融合模块，用以将一系列点云融合形成完整的消化道点云； 三维模型重建模块，用以根据消化道点云对摄像装置所拍摄的图像进行三维重建形成消化道的三维模型。8.根据权利要求7所述的胶囊内窥镜系统，其特征在于，所述三维成像装置还包括: 摄像装置校准模块，用以在拍摄之前校准摄像装置的镜头参数； 三维点云降噪模块，用以对拍摄及计算过程中产生的误差点云进行降噪处理。9.一种用于如权利要求1所述的胶囊内窥镜系统的三维成像方法，用于形成被检者体内消化道完整的三维建模，其特征在于，所述方法包括: 摄像装置拍摄被检者体内消化道的图像； 图像处理装置对摄像装置所拍摄的图像进行处理； 射频传输装置将处理后的图像传送至三维成像装置； 三维成像装置对消化道进行三维建模； 将建立好的三维模型映射于显示装置上。10.根据权利要求9所述的胶囊内窥镜系统的三维成像方法，其特征在于，所述胶囊内窥镜系统还包括运动控制装置，所述运动控制装置包括固定于壳体内部的磁铁、固定于壳体内部用于探测/记录所述胶囊内窥镜位置、姿态信息的磁传感器，以及设置于壳体外部并且可控制所述胶囊内窥镜的运动的永磁体;在三维成像装置对消化道进行三维建模之前，设置于胶囊内窥镜外部的所述永磁体通过控制磁铁的旋转或移动来控制胶囊内窥镜在消化道中的运动，所述磁传感器探测/记录所述胶囊内窥镜的位置、姿态信息并且将位置、姿态信息发送至三维成像装置。11.根据权利要求10所述的胶囊内窥镜系统的三维成像方法，其特征在于，所述三维成像装置对消化道进行三维建模的步骤具体包括: 根据接收到的胶囊内窥镜的位置、姿态信息及摄像装置所拍摄的图像，计算出胶囊内窥镜在消化道内壁的空间坐标信息，该空间坐标信息也被称作为点云；随着永磁铁控制胶囊内窥镜位置、姿态变化，形成一系列点云； 将上述一系列点云组合形成被检者体内完整的消化道点云； 根据消化道点云对摄像装置所拍摄的图像进行三维重建形成消化道完整的三维模型。12.根据权利要求9所述的胶囊内窥镜系统的三维成像方法，其特征在于，所述三维成像装置根据图像信息对消化道进行三维建模的步骤还包括: 在摄像装置对被检者体内的消化道进行拍摄之前，对摄像装置的镜头参数进行校准，并根据校准后的镜头参数计算出摄像装置的相对位移和旋转矩阵。13.根据权利要求9所述的胶囊内窥镜系统的三维成像方法，其特征在于，所述三维成像装置根据图像信息对消化道进行三维建模的步骤还包括: 将上述点云组合之前，对拍摄及计算坐标时产生的噪声点云进行降噪处理。
【文档编号】A61B1/04GK105942959SQ201610382301
【公开日】2016年9月21日
【申请日】2016年6月1日
【发明人】张皓, 袁文金, 刘浩
【申请人】安翰光电技术（武汉）有限公司