内窥镜手术裸眼3D图像显示系统与显示方法与流程

本发明实施例涉及医疗设备技术领域，尤其涉及一种内窥镜手术裸眼3d图像显示系统与显示方法。

背景技术

随着3d图像显示技术的发展，3d显示在腹腔镜手术领域已逐步取代2d显示技术的应用。在腹腔镜手术中应用3d图像显示技术可以提高人体内部结构辨认准确性、降低医生微创手术学习曲线、增强手术安全性。

一般的，3d图像采用双摄像头内窥镜进行拍摄，其显示采用传统的偏光3d显示完成。但是，使用传统的偏光3d系统，用户均需佩戴眼镜设备，会给手术操作人员带来额外负担与不便，甚至影响手术安全。举例说明，如医生长时间手术易致偏光镜片，甚至是近视用户的双重配镜污染，进而影响手术区域辨认及操作，配镜模式与画面外医疗信息交互障碍。

技术实现要素：

本发明实施例提供一种内窥镜手术裸眼3d图像显示系统与显示方法，以实现在内窥镜手术过程中医生无需佩戴3d眼镜设备，即可观看到手术对象的3d图像，在手术中没有额外的负担，便于手术操作。

第一方面，本发明实施例提供了一种内窥镜手术裸眼3d图像显示系统，该系统包括：内窥镜子系统和裸眼3d图像显示子系统；

其中，所述裸眼3d图像显示子系统包括3d图像处理装置、显示屏幕、双摄像头人眼跟踪装置；

所述内窥镜子系统，连接所述3d图像处理装置，用于拍摄手术对象图像并发送到所述3d图像处理装置；

所述双摄像头人眼跟踪装置，连接所述3d图像处理装置，用于拍摄医生面部图像并确定人眼的空间位置，根据人眼空间位置得到图像交织参数；

所述3d图像处理装置，用于转换所述手术对象图像的交织格式，并根据所述图像交织参数交织完成3d显示图像；

所述显示屏幕，连接所述3d图像处理装置，用于接收并显示所述3d显示图像。

第二方面，本发明实施例还提供了一种内窥镜手术裸眼3d图像显示方法，应用于内窥镜手术裸眼3d图像显示系统，该方法包括：

内窥镜子系统拍摄手术对象图像，并发送到3d图像处理装置；

双摄像头人眼跟踪装置拍摄医生面部图像，并根据所述面部图像确定人眼空间位置，根据人眼空间位置确定图像交织参数；

3d图像处理装置转换所述手术对象图像的交织格式，并根据所述图像交织参数，交织完成3d显示图像；

将所述3d显示图像显示于显示屏幕上。

本发明实施例通过内窥镜子系统和裸眼3d图像显示子系统实形成内窥镜手术裸眼3d图像显示系统，解决了使用传统的偏光3d系统，内窥镜手术医生需佩戴眼镜设备，在手术中操作不便的问题，实现在手术过程中直接裸眼观看3d图像的效果。

附图说明

图1是本发明实施例一中的内窥镜手术裸眼3d图像显示系统的结构示意图；

图2是本发明实施例二中的内窥镜手术裸眼3d图像显示方法的流程图；

图3是本发明实施例二中的根据医生面部图像确定人眼空间位置，进而确定图像交织参数方法的流程图；

图4a是本发明实施例二中的带有单色标记的医生面部图像示意图；

图4b是本发明实施例二中的单色标记的二值图像示意图；

图4c是本发明实施例二中的医生面部图像中分割出的手术帽和口罩区域示意图；

图5是本发明实施例二中的医生脸部特征点选取的示意图；

图6a是本发明实施例二中的医生面部图像中瞳孔灰度示意图；

图6b是本发明实施例二中的医生面部图像提取出的瞳孔的二值图像；

图7a是本发明实施利二中按人眼空间位置确定交织参数方法示意图；

图7b是本发明实施利二中按人眼空间位置确定交织参数方法示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的内窥镜手术裸眼3d图像显示系统的结构示意图，本实施例可适用于内窥镜手术中观看3d手术对象图像的情况。如图1所示，该系统具体包括：

内窥镜子系统1100和裸眼3d图像显示子系统1200。

其中，裸眼3d图像显示子系统1200包括3d图像处理装置1210、显示屏幕1220和双摄像头人眼跟踪装置1230。

具体的，内窥镜子系统1100，连接3d图像处理装置1210，用于拍摄手术对象图像并发送到3d图像处理装置1210。其中，手术对象图像是指在内窥镜手术过程中患者的目标手术部位，如内窥镜手术为腹腔镜手术，那么手术对象图像则是患者腹腔内需要进行手术处理的部位的图像。

双摄像头人眼跟踪装置1230，包括两个摄像头1231和计算机1232，连接3d图像处理装置1210，用于拍摄医生面部图像并确定人眼的空间位置，根据人眼空间位置得到图像交织参数。

具体的，采用双摄像头可以更为准确地获取人眼深度信息，即医生距离显示屏幕1220的位置。当双摄像头拍摄到医生面部图像后，则将医生的面部图像发送到计算机中，计算机则从医生面部图像中确定医生人脸区域，根据预先训练得到的医生脸部特征模型确定医生人脸区域内的左眼和右眼位置，进而根据人眼空间位置得到图像交织参数。

3d图像处理装置1210，用于转换手术对象图像的交织格式，并根据图像交织参数交织完成3d显示图像。

进一步的，3d图像处理装置1210包括：交织转换模块和图像交织模块，其中，交织转换模块，用于将手术对象图像的交织格式转换为适用于3d处理装置的交织格式；图像交织模块，用于根据图像交织参数，交织经过格式转换后的所述手术对象图像数据生成3d显示图像。

具体的，交织转换模块在硬件执行图像交织前，将手术对象图像的格式规则化，将输入格式转化为硬件设定的几种交织格式之一，实现了硬件加速，可以减少延迟时间。优选的，硬件交织底层实现的方式为左右交织，对于上下交织格式的图像，采用格式转换的方式比直接进行上下交织较少硬件内部实现的复杂度。

显示屏幕1220，连接所述3d图像处理装置1210，用于接收并显示所述3d显示图像。

可选的，3d图像处理装置1210还包括：深度调节模块，用于调节手术对象图像内容深度，增强最后显示3d图像内容的深度(即医生的视差)。

深度调节模块具体用于：在手术对象图像的像素矩阵的行中插入列或减少列，同时在行左端或行右端减少列或增加列；对于增加的列的区域，采用插值方法完成填充。

本实施例的技术方案，通过内窥镜子系统和裸眼3d图像显示子系统实形成内窥镜手术裸眼3d图像显示系统，解决了使用传统的偏光3d系统，内窥镜手术医生需佩戴眼镜设备，在手术中操作不便的问题，实现在手术过程中直接裸眼观看3d图像的效果，本发明实施例还通过硬件加速实现了3d图像显示的低延迟。

实施例二

图2为本发明实施例二提供的内窥镜手术裸眼3d图像显示方法的流程图，可由本发明实施例中的内窥镜手术裸眼3d图像显示系统来实现。该方法具体包括：

s210、内窥镜子系统拍摄手术对象图像，并发送到3d图像处理装置。

具体的，内窥镜是一个配备有灯光的管子，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到x射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案，或者利用内窥镜进行微创手术。内窥镜进入人体后，会将其拍摄的人体内部图像传输到体外进行图像重建，以供医生对病人诊断或治疗进行使用。在本实施例中，内窥镜子系统将拍摄到的手术对象图像发送到3d图像处理装置，以进行图像处理及图像显示。

s220、双摄像头人眼跟踪装置拍摄医生面部图像，并根据所述面部图像确定人眼空间位置，根据人眼空间位置确定图像交织参数。

双摄像头人眼跟踪装置包括两个摄像头和计算机，首先由两个摄像头分别拍摄医生面部图像，发送到计算机中；然后，由计算机分析并确定人眼的空间位置，根据人眼空间位置得到图像交织参数。

这里需要说明的是，步骤s210和s220没有严格的先后顺序，两个分别独立，也可同步进行，在该实施例中的顺序仅便于描述。

具体的，根据面部图像确定人眼空间位置，进而确定图像交织参数包括如下步骤：

s310、从医生面部图像中确定医生人脸区域。

具体的，针对计算机接收到的每一张医生面部图像，从医生面部图像中识别并分割出预先设置的单色标记；通过形态学处理方法滤除掉所述单色标记的离散的像素点，获得单色标记的二值图像；计算所述二值图像中非背景像素区域位置得到单色标记在所述二值图像中的位置和大小；判断所述单色标记的位置是否位于预先设定的人脸特征区域内，若是，则根据所述单色标记确定人脸区域。

其中，单色标记是预先在手术医生的手术帽中央区域和/或口罩中央区域放置与手术帽和口罩底色不同标记，如图4a中所示，在手术帽401上设置一个与手术帽401底色和口罩403底色不同的三角形单色标记402。同时，在计算机中会设置好待检测单色标记402的颜色、手术帽401底色、口罩403颜色底色；进而可在人眼跟踪过程中识别出图像中上下分布手术帽401底色、口罩403底色区域，且其中一区域包含所设定单色标记402区域。由于单色标记物402颜色不同于背景颜色，利用颜色信息可通过阈值分割将单色标记物从背景中分割出来，再利用形态学处理滤除掉离散的像素点，获得单色标记物的二值图像，如图4b所示。其中，数字图像的形态学处理是指利用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的，其基本运算主要包括膨胀、腐蚀、开操作和闭操作。离散的像素点主要为图像中的反光、泛光、杂光、噪点、边缘值或者其他干扰像素点等。

在二值图像中，背景色设置为黑色，白色像素点即属于单色标记物，这里要说明的是，背景色也可以是白色，那么黑色像素点位置即为单色标记物位置。计算该白色像素区域中心区域位置，从而获得单色标记物位置，单色标记物位于手术帽或者口罩中心区域。为了滤除掉与单色标记物颜色类似的物体的干扰，还需判断该单色标记物是否在手术帽或者口罩区域。由于手术帽与口罩区域颜色类似，同理，利用颜色信息分割出手术帽与口罩区域，如图4c所示。获得标记物位置后，判断该单色标记物是否位于手术帽或口罩区域，以滤除与单色标记物颜色相似物体干扰。若单色标记物位于佩戴区域视作为目标区域，通过口罩与手术帽区域最终确定人脸区域。

s320、根据预先训练得到的医生脸部特征模型确定医生人脸区域内的左眼和右眼位置。

具体的，利用所述预先训练得到的医生脸部特征模型提取所述人脸区域内的特征点，其中，所述特征点包括下颚、眼角、眼中心、手术帽檐或口罩上沿中至少一个。如图5所示，医生脸部特征点的提取是依据医生脸部被手术帽501区域和口罩504区域覆盖的特点，选取脸部特征点可包含眼睛区域，在手术帽501的边沿、口罩504上沿、眼角及下颚等区域区域，共选取了17个特征点503。特征点503数量的选择不局限于某特定范围，可根据系统需求选取不同点数的人脸特征点来描述医生面部特征。

进一步的，根据医生面部特征点可以确定人眼区域。分别通过左眼和右眼的左右眼角位置，提取出人眼图像。在该人眼图像上最终确定人眼中心位置。

在所述人眼区域内，根据两只眼睛的左眼角和右眼角位置提取人眼图像；将所述人眼图像中左眼和右眼中心区域的质心作为左眼和右眼位置。具体的，由于人眼眼球区域比周围区域更暗，如图6a所示，采用阈值分割方法可分割出人眼中心区域，将人眼中灰度值小于预设阈值的像素点作为人眼中心区域。再通过形态学处理滤掉离散的像素点，从而将暗部区域的人眼中心区域从人眼图像中分割出，计算该二值图像中人眼中心区域的质心，将该质心作为最终的人眼中心位置输出，如图6b所示。

可选的，所述医生脸部特征模型的训练过程包括：

采集不同的医生在不同背景和光照下的图像；

在所述图像中分别标记出医生脸部特征点，构建医生人脸特征点训练集；

在各特征点附近提取图像特征作为训练数据，采用机器学习的方法训练得到医生脸部特征模型。

s330、根据左眼和右眼位置计算出人眼空间位置，其中，所述人眼空间位置为左眼和右眼相对于双摄像头的空间坐标。

具体的，根据左眼和右眼位置，通过三角式方法确定人眼相对于双摄像头的空间坐标。

预先设定一个标准的空间坐标系，相对于该坐标系，双摄像头分别具有一个位移参数和旋转参数，即摄像头的外参数。根据两个摄像头分别拍摄的医生面部图像中左眼的位置和在上一步骤中获得的在面部图像中左眼的位置，通过三角式方法即可确定左眼的空间位置，即相对于标准空间坐标系的空间坐标。同理，可得到右眼的空间坐标。

s340、根据所述空间坐标确定图像交织参数。

具体的，图像交织参数包括交织周期和排图偏移量，根据人眼空间坐标确定交织周期、排图偏移量方法示意图如图7a和图7b所示，令人眼位置在于屏幕中心对应直线a或b点。其中b点为中心视点。在图7a中，不失一般性的将棱镜归纳为小孔模型，棱镜周期l，棱镜离显示屏幕距离为f。当人眼由b点移至a点时，排图周期发生变化。如上图所示，交织周期与深度相关，即：其中d为人眼在空间中的深度位置。同时，视点引入一定排图偏移量δx，如图7a所视，排图偏移量与深度、及人眼位置相关：如图7b所示，按空间坐标c:(x,y)、排图斜率计算人眼离中心点的距离，a＝x-tan(s)y，为中心视点偏移量，即a＝0时中心视点固有偏移。

s230、3d图像处理装置转换所述手术对象图像的交织格式，并根据所述图像交织参数，交织完成3d显示图像。

具体的，3d图像处理装置接收内窥镜子系统所拍摄的手术对象图像与双摄像头人眼跟踪装置所得到的图像交织参数；

将所述手术对象图像数据的交织格式转换为适用于3d处理装置的交织格式；

根据所述图像交织参数，交织经过格式转换后的所述手术对象图像数据生成3d显示图像，即根据所述交织周期、排图偏移量和预设交织斜率，对左右交织格式图像内容进行交织生成3d显示图像。

s240、将所述3d显示图像显示于显示屏幕上。

将交织生成的3d显示图像显示在显示屏幕上，手术医生即可不佩戴3d眼镜时，直接观看到手术对象的3d图像。

进一步的，所述方法还包括：在所述根据所述图像交织参数交织经过格式转换后的所述手术对象图像数据生成3d显示图像之前，对左右交织格式的手术对象图像进行深度调节。

所述对左右交织格式的手术对象图像进行深度调节包括：

在所述左右交织格式的手术对象图像的像素矩阵的行中插入列或减少列，同时在行左端或行右端减少列或增加列；

对于增加的列的区域，采用插值方法完成填充。

本实施例的技术方案，通过双摄像头人眼跟踪装置确定人眼空间位置，进而确定图像交织参数，3d图像处理装置接收到手术对象图像后，根据交织参数对手术对象图像进行交织形成3d显示图像，解决了使用传统的偏光3d系统，内窥镜手术医生需佩戴眼镜设备，在手术中操作不便的问题，实现在手术过程中直接裸眼观看3d图像的效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。