一种胃镜系统、图像展示方法、装置及可读存储介质与流程

本申请涉及胃镜技术领域，特别涉及一种胃镜系统、图像展示方法、图像展示装置及非易失性存储介质。

背景技术：

胃镜是一种医学检查器具，其能直接观察到被检查部位的真实情况，是上消化道病变的首选检查方法。相关技术中，胃镜通常包括一条纤细、柔软的管子，将其伸入胃中，与周边设备连接后，通过安装在管子先端的摄像镜头摄取图像，经视频处理器对图像进行一系列的处理后，将图像显示在屏幕上。然而，相关技术只能看到二维图像，且管子的运动受到一定限制，使得无法针对特定部位进行细致观察。

因此，相关技术存在的无法针对特定部位进行细致观察的问题，是本领域技术人员需要解决的技术问题。

技术实现要素：

有鉴于此，本申请的目的在于提供一种胃镜系统、图像展示方法、图像展示装置及非易失性存储介质，可以利用胃镜对胃部任意部位进行细致观察。

为解决上述技术问题，本申请提供了一种胃镜系统，包括：

胶囊胃镜、三维显示设备和腰环，所述胶囊胃镜包括镜头、地磁传感器、惯性测量传感器，所述腰环包括多个电磁设备，其中：

所述胶囊胃镜利用所述地磁传感器获取基于所述电磁设备的方位信息，并利用所述惯性测量传感器获取姿态信息；

所述胶囊胃镜利用所述镜头获取胃部图像，并利用所述胃部图像、所述方位信息和所述姿态信息生成待传输信息；

将所述待传输信息发送至所述三维显示设备；

所述三维显示设备基于所述方位信息和所述姿态信息对所述胃部图像进行三维展示。

可选地，所述胶囊胃镜还包括磁体，所述腰环获取控制信息，并根据所述控制信息调节所述电磁设备；所述电磁设备作用于所述磁体，调节所述胶囊胃镜的空间位置。

可选地，所述三维显示设备获取运动信息；

利用所述运动信息生成所述控制信息，并向所述腰环发送所述控制信息。

可选地，所述三维显示设备对所述胃部图像进行部位识别处理，得到识别结果；

基于所述方位信息和所述姿态信息对所述胃部图像和所述识别结果进行三维展示。

可选地，所述三维显示设备利用所述姿态信息对所述胃部图像进行机械图像稳定处理，得到第一胃部图像；

对所述第一胃部图像进行数字图像稳定处理，得到第二胃部图像；

基于所述方位信息和所述姿态信息对所述第二胃部图像进行三维展示。

可选地，所述腰环还包括与所述电磁设备对应的标识信号发射器，所述三维显示设备包括所述标识信号发射器对应的标识信号接收器；

所述三维显示设备利用所述标识信号接收器获取所述标识信号发射器发送的标识信号；

利用所述标识信号确定所述电磁设备在所述腰环上的位置。

可选地，所述胶囊胃镜还包括曝光灯。

本申请还提供了一种图像展示方法，包括：

胶囊胃镜利用地磁传感器获取基于腰环中电磁设备的方位信息，并利用惯性测量传感器获取姿态信息；

获取胃部图像，并利用所述胃部图像、所述方位信息和所述姿态信息生成待传输信息；

将所述待传输信息发送至三维显示设备，以便所述三维显示设备基于所述方位信息和所述姿态信息对所述胃部图像进行三维展示。

本申请还提供了一种图像展示装置，包括：

获取模块，用于胶囊胃镜利用地磁传感器获取基于腰环中电磁设备的方位信息，并利用惯性测量传感器获取姿态信息；

生成模块，用于获取胃部图像，并利用所述胃部图像、所述方位信息和所述姿态信息生成待传输信息；

展示模块，用于将所述待传输信息发送至三维显示设备，以便所述三维显示设备基于所述方位信息和所述姿态信息对所述胃部图像进行三维展示。

本申请还提供了一种非易失性存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的图像展示方法。

本申请提供的胃镜系统，包括胶囊胃镜、三维显示设备和腰环，胶囊胃镜包括镜头、地磁传感器、惯性测量传感器，腰环包括多个电磁设备，其中：胶囊胃镜利用地磁传感器获取基于电磁设备的方位信息，并利用惯性测量传感器获取姿态信息；胶囊胃镜利用镜头获取胃部图像，并利用胃部图像、方位信息和姿态信息生成待传输信息；利用所将待传输信息发送至三维显示设备；三维显示设备基于方位信息和姿态信息对胃部图像进行三维展示

可见，该系统采用了胶囊胃镜替代装有胃镜的管子，因此可以灵活运动，避免管子运动受到限制导致无法对特定部位仔细观察的问题。胶囊胃镜中的地磁传感器可以与腰环中的电磁设备相作用，得到方位信息，方位信息可以表示胶囊胃镜在腰环这一平面内的具体位置，还可以表示胶囊胃镜的朝向。惯性测量传感器可以获取姿态信息，姿态信息可以表示胶囊胃镜在胃部的姿态。同时，利用镜头获取胃部图像，并利用胃部图像、姿态信息和方位信息生成待传输信息。三维显示设备在获取待传输信息后，可以利用姿态信息和方位信息确定胶囊胃镜在三维空间中的姿态，因此可以基于其对胃部图像进行三维展示。三维展示比二维图像具有空间感，配合胶囊胃镜可以灵活运动的特性，可以对胃部任意部分的图像进行获取和展示，允许用户对胃部任意部分进行仔细观察，解决了相关技术存在的无法针对特定部位进行细致观察的问题。

此外，本申请还提供了一种图像展示方法、图像展示装置及非易失性存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种胃镜系统的结构示意图；

图2为本申请实施例提供的一种具体的胃镜系统的结构示意图；

图3为本申请实施例提供的一种具体的电磁设备在腰环上的分布示意图；

图4为本申请实施例提供的一种图像展示方法流程图；

图5为本申请实施例提供的一种图像展示装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例提供的一种胃镜系统的结构示意图。包括胶囊胃镜11、三维显示设备12和腰环10，胶囊胃镜11包括镜头111、地磁传感器112、惯性测量传感器113，腰环10包括电磁设备101。具体的，腰环10位于人体外部，胶囊胃镜11位于人体胃部。腰环10中的电磁设备101位于腰环10的不同位置，其数量为多个，用于对胶囊胃镜11进行定位和方向判断。电磁设备101具体可以为电磁线圈以及对应的控制部件，或者可以为其他电磁部件或电磁部件的组合。

其中，胶囊胃镜11利用地磁传感器112获取基于电磁设备101的方位信息，并利用惯性测量传感器113获取姿态信息。其中，地磁传感器也可以称为地磁芯片，其具体型号不做限定。地磁传感器可以接收电磁设备形成的电磁信号，并利用该电磁信号确定胶囊胃镜的方位信息。由于胶囊胃镜具有镜头，镜头的朝向即为胶囊胃镜的朝向，而胶囊胃镜的朝向可以体现镜头获取到的胃部图像对应与胃部哪一个部分。因此本实施例中，方位信息即为方向和位置信息，其不仅包括胶囊胃镜在腰环平面的具体位置，还包括胶囊胃镜的方向信息。腰环平面可以为任意一个与腰环形成的平面相平行的平面。惯性测量传感器也被称为惯性测量单元(inertialmeasurementunit，imu)，其具体型号不做限定，通常包括陀螺仪和加速度计，某些型号的惯性测量传感器还可以包括磁力计。惯性测量传感器可以检测胶囊胃镜在胃中的姿态，得到姿态信息。姿态信息的具体内容不做限定，例如可以为胶囊胃镜的上下、左右、前后等方向上移动的距离，或者为某一时刻下胶囊胃镜在垂直空间的角度。

胶囊胃镜11利用镜头111获取胃部图像，并利用胃部图像、方位信息和姿态信息生成待传输信息。需要说明的是，镜头111、地磁传感器112、惯性测量传感器113三者可以相互独立工作，即三者可以并行工作，例如胶囊胃镜可以在利用镜头获取胃部图像的同时，利用地磁传感器获取方位信息，同时利用惯性传感器获取姿态信息。镜头、地磁传感器和惯性测量传感器可以相互关联工作，即三者可以串行工作，例如可以先利用镜头获取胃部图像，胃部图像获取完毕后，利用地磁传感器获取方位信息，方位信息获取完毕后，利用惯性传感器获取姿态信息。由于胃部空间为黑暗空间，为了获取有价值的胃部图像，在一种实施方式中，镜头可以为具有夜视功能的夜视镜头；在另一种实施方式中，胶囊胃镜还可以包括曝光灯，曝光灯用于在获取胃部图像时为镜头补光。在获取到胃部图像、方位信息和姿态信息后，可以利用其生成待传输信息。待传输信息可以按照预设格式生成，预设格式的具体内容不做限定，例如可以为mac(mediaaccesscontrol)地址—ip(internetprotocol)地址—ucd(upstreamchanneldescriptormessage，上行通道描述报文)报文头—时间戳—方位信息—姿态信息—胃部图像。

在生成待传输信息后，将待传输信息发送至三维显示设备12。三维显示设备12基于方位信息和姿态信息对胃部图像进行三维展示。方位信息可以表明胶囊胃镜相对于腰环的平面方向和位置，姿态信息可以表示胶囊胃镜的空间姿态，二者相结合，则可以准确表示胶囊胃镜在人体中的位置、方向和三维空间中的姿态，进而使得三维现实设备可以对胃部图像进行三维展示。三维展示的具体方式与三维展示设备的具体类型相关，三维展示设备可以为vr(virtualreality，虚拟现实)设备、ar(augmentedreality，增强现实)技术、mr(mediatedreality，介导现实)设备等。

应用本申请实施例提供的胃镜系统，采用了胶囊胃镜替代装有胃镜的管子，因此可以灵活运动，避免管子运动受到限制导致无法对特定部位仔细观察的问题。胶囊胃镜中的地磁传感器可以与腰环中的电磁设备相作用，得到方位信息，方位信息可以表示胶囊胃镜在腰环这一平面内的具体位置，还可以表示胶囊胃镜的朝向。惯性测量传感器可以获取姿态信息，姿态信息可以表示胶囊胃镜在胃部的姿态。同时，利用镜头获取胃部图像，并利用胃部图像、姿态信息和方位信息生成待传输信息。三维显示设备在获取待传输信息后，可以利用姿态信息和方位信息确定胶囊胃镜在三维空间中的姿态，因此可以基于其对胃部图像进行三维展示。三维展示比二维图像具有空间感，配合胶囊胃镜可以灵活运动的特性，可以对胃部任意部分的图像进行获取和展示，允许用户对胃部任意部分进行仔细观察，解决了相关技术存在的无法针对特定部位进行细致观察的问题。

基于上述实施例，本实施例将对胃镜系统进行进一步说明。在一种实施方式中，为了方便且准确地调节胶囊胃镜的位置、姿态等，胶囊胃镜还可以包括磁体，磁体可以为永磁体或电磁铁。腰环可以获取控制信息，控制信息用于对电磁设备进行调节，电磁设备作用于磁铁，进而调节胶囊胃镜的空间位置，空间位置包括胶囊胃镜的位置和姿态。电磁设备的具体调节过程不做限定，例如当电磁设备为电磁线圈时，可以调节其电流大小、方向等；当电磁设备为电磁线圈和对应的控制部件时，可以调节发送给控制部件发送的控制信号，完成对电磁设备的调节。本实施例并不限定控制信息的发送端，例如可以为三维显示设备，或者可以为专用的控制设备。

进一步，可以理解的是，由于方位信息用于表示胶囊胃镜与电磁设备之间的位置关系，因此若想要确定胶囊胃镜在人体(即人体胃部)中的具体空间位置，首先需要确定电磁设备在腰环上的位置，进而确定电磁设备相对于人体所处的位置。在一种实施方式中，可以在腰环上设置物理标记，并按照标记确定电磁设备相对于人体的位置。在这种情况下，需要按照标记佩戴腰环，若未按照标记佩戴腰环，则会导致想要观察的胃部部位和实际的胃部图像不匹配。例如想要观察胃部正前方，若腰环佩戴歪斜，得到的胃部图像可能为胃部斜前方的图像。为了解决这个问题，腰环还可以包括与电磁设备对应的标识信号发射器，三维显示设备包括标识信号发射器对应的标识信号接收器。三维显示设备利用标识信号接收器获取标识信号发射器发送的标识信号，并利用标识信号确定电磁设备在腰环上的第一位置。标识信号发射器和标识信号接收器相对应，其具体类型不做限定，例如可以为红外线发射器和红外线接收器。在得到第一位置后，可以基于第一位置更新基础坐标系，即更新电磁设备和人体之间的坐标关系，相应的，三维显示设备基于所述方位信息和所述姿态信息对所述胃部图像进行三维展示时，可以在所述基础坐标系下，基于所述方位信息和所述姿态信息对所述胃部图像进行三维展示，以便胃部图像和想要观察的胃部部位相对应。相应的，在更新基础坐标系后，控制信息也可以根据更新后的基础坐标系生成，以便准确地调节胶囊胃镜在胃部的移动方向。

再进一步的，在一种实施方式中，当三维显示设备为vr头戴设备等可穿戴三维显示设备时，可以随着三维显示设备的移动而调节电磁设备，进而获取到与三维显示设备的移动情况相匹配的胃部图像，使得用户更加便捷地调节胃部图像，对胃部进行观察。具体的，三维显示设备获取运动信息，利用运动信息生成控制信息，并将控制信息发送给腰环。本实施例并不限定控制信息的具体生成方式和过程，可以参考相关技术。

基于上述任一实施例，由于胶囊胃镜被吞入胃部后的运动方式、掉落位置无法预料，不同人的胃部在人体中所处的位置也存在差异，且胃内环境问题(例如光线较差、存在食物残渣等)难以避免。因此当获取到胃部图像后，用户可能无法直接根据胃部图像确定胶囊胃镜在胃部的具体位置，而需要花费较多时间。为了解决上述问题，在一种可行的实施方式中，三维显示设备对胃部图像进行三维展示的过程可以包括：

三维显示设备对胃部图像进行部位识别处理，得到识别结果；基于方位信息和姿态信息对胃部图像和识别结果进行三维展示。即在本实施例中，三维显示设备可以先识别胃部图像具体对应于胃部什么部位，得到识别结果后将其与胃部图像一起进行展示，以便用户直接确定胶囊胃镜的位置。本实施例并不限定对胃部图像进行部位识别处理的处理方式，例如可以采用卷积神经网络进行部位识别处理。具体的，卷积神经网络可以基于训练数据训练得到，训练数据可以为具有对应标记信息的训练图像，训练图像可以为直接获取到的胃部图像。或者为了提高卷积神经网络的识别能力，训练数据可以为在不同角度、不同光线条件下、不同遮挡情况下获取到的胃部图像，在这些情况下获取到的胃部图像可以生成局部特征索引，通过对卷积神经网络进行训练，可以使得卷积神经网络掌握该局部特征索引，训练的过程即为卷积神经网络逐步掌握该局部特征索引的过程。训练结束后在进行识别时，可以根据该局部特征索引中匹配胃部图像，得到对应的识别结果。训练的具体过程不做限定，例如可以对训练图像进行初始化、特征提取、损失计算等，具体可以参数相关技术，在此不做赘述。

在进行胃部图像展示时，可能出现人体晃动、胃部蠕动或胶囊胃镜晃动等情况，这些情况会导致胶囊胃镜晃动，进而造成由胃部图像组成的视频连续晃动，不利于对胃部进行观察。为了解决上述问题，本申请中，三维显示设备利用姿态信息对胃部图像进行机械图像稳定处理，得到第一胃部图像。姿态信息由imu传感器获取，因此可以将其与摄像头坐标系进行标定，通过姿态数据确定胶囊胃镜的运动情况，进而对摄像头坐标进行补偿完成稳像，得到第一胃部图像。为了提高稳像效果，在进行机械图像稳定处理后，还可以对第一胃部图像进行数字图像稳定处理，得到第二胃部图像。数字图像稳定处理可以包括运动估计处理、运动滤波处理、运动补偿处理等，其中运动估计处理基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。运动估计得到估计结果后，可以对其进行运动滤波，运动滤波具体可以为均值滤波、基于β样条的运动滤波、卡尔曼滤波等。在运动滤波后，利用估计结果重构第一胃部图像，得到第二图像，该过程即为运动补偿。在得到第二图像后，基于方位信息和姿态信息对其进行三维展示。经过上述处理，由第二图像组成的视频流将不再具有晃动的问题，便于进行胃部观察。

请参考图2，图2为本申请实施例提供的一种具体的胃镜系统的结构示意图。在本实施例中，vrhmd(headmountdisplay，头戴式显示器)即为三维显示设备，其中蓝牙用于向胶囊(即胃镜胶囊)中的蓝牙进行交互，传输图像和相对位置信息，即传输待传输信息。vrhmd上的红外摄像头用于捕获腰环上红外led，进而捕获腰环位置。无线收发模块用于与腰环上的无线收发模块交互，用于发送控制命令，即控制信息。腰环上的mcu(microcontrolunit，微控制单元)用户控制其他部件或模块，腰环上的电磁线圈作用于磁铁，控制胶囊运动。同时用于向胶囊中的地磁传感器(magnetic)提供方位信息。胶囊还包括摄像头和led灯，用于获取胃部图像。胶囊中的imu用于获取姿态信息，以便和方位信息组成相对位置信息进而发送至vrhmd。请参考图3，图3为本申请实施例提供的一种具体的电磁设备在腰环上的分布示意图。其中的大圆表示腰环，三个被箭头所指的小圆为电磁设备，三个电磁设备均匀分布在腰环上。

下面对本申请实施例提供的图像展示方法进行介绍，下文描述的图像展示方法与上文描述的胃镜系统可相互对应参照。

请参考图4，图4为本申请实施例提供的一种图像展示方法流程图，包括：

s101：胶囊胃镜利用地磁传感器获取基于腰环中电磁设备的方位信息，并利用惯性测量传感器获取姿态信息。

s102：获取胃部图像，并利用胃部图像、方位信息和姿态信息生成待传输信息。

s103：将待传输信息发送至三维显示设备，以便三维显示设备基于方位信息和姿态信息对胃部图像进行三维展示。

应用本申请实施例提供的图像展示方法，采用了胶囊胃镜替代装有胃镜的管子，因此可以灵活运动，避免管子运动受到限制导致无法对特定部位仔细观察的问题。胶囊胃镜中的地磁传感器可以与腰环中的电磁设备相作用，得到方位信息，方位信息可以表示胶囊胃镜在腰环这一平面内的具体位置，还可以表示胶囊胃镜的朝向。惯性测量传感器可以获取姿态信息，姿态信息可以表示胶囊胃镜在胃部的姿态。同时，利用镜头获取胃部图像，并利用胃部图像、姿态信息和方位信息生成待传输信息。三维显示设备在获取待传输信息后，可以利用姿态信息和方位信息确定胶囊胃镜在三维空间中的姿态，因此可以基于其对胃部图像进行三维展示。三维展示比二维图像具有空间感，配合胶囊胃镜可以灵活运动的特性，可以对胃部任意部分的图像进行获取和展示，允许用户对胃部任意部分进行仔细观察，解决了相关技术存在的无法针对特定部位进行细致观察的问题。

可选地，还包括：

与胶囊胃镜处于同一胃镜系统的腰环获取控制信息，并根据控制信息调节腰环上的电磁设备；电磁设备作用于胶囊胃镜中的磁体，以便调节胶囊胃镜的空间位置

可选地，还包括：

与胶囊胃镜处于同一胃镜系统的三维显示设备获取运动信息；

三维显示设备利用运动信息生成控制信息，并向腰环发送控制信息。

可选地，还包括：

三维显示设备对胃部图像进行部位识别处理，得到识别结果；

基于方位信息和姿态信息对胃部图像和识别结果进行三维展示。

可选地，还包括：

三维显示设备利用姿态信息对胃部图像进行机械图像稳定处理，得到第一胃部图像；

对第一胃部图像进行数字图像稳定处理，得到第二胃部图像；

基于方位信息和姿态信息对第二胃部图像进行三维展示。

可选地，还包括：

三维显示设备利用标识信号接收器获取腰环上的标识信号发射器发送的标识信号；

利用标识信号确定电磁设备在腰环上的第一位置，并利用第一位置设置基础坐标系；

相应的，三维显示设备基于方位信息和姿态信息对胃部图像进行三维展示，包括：

三维显示设备在基础坐标系下，基于方位信息和姿态信息对胃部图像进行三维展示。

下面对本申请实施例提供的图像展示装置进行介绍，下文描述的图像展示装置与上文描述的图像展示方法可相互对应参照。

请参考图5，图5为本申请实施例提供的一种图像展示装置的结构示意图，包括：

获取模块210，用于胶囊胃镜利用地磁传感器获取基于腰环中电磁设备的方位信息，并利用惯性测量传感器获取姿态信息；

生成模块220，用于获取胃部图像，并利用胃部图像、方位信息和姿态信息生成待传输信息；

展示模块230，用于将待传输信息发送至三维显示设备，以便三维显示设备基于方位信息和姿态信息对胃部图像进行三维展示。

下面对本申请实施例提供的非易失性存储介质进行介绍，下文描述的非易失性存储介质与上文描述的图像展示方法可相互对应参照。

本申请还提供一种非易失性存储介质，非易失性存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的图像展示方法的步骤。

该非易失性存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。