一种结构光双目内窥镜的制作方法

本发明属于内窥镜技术领域，具体地说，涉及一种结构光双目内窥镜。

背景技术：

随着现在科技的不断发展，各个学科间的不断相互渗透，高清二维成像电子内窥镜通过获取人体内的高清光学图像已经成为了医学检查及治疗中必不可少的仪器之一。近年来具有立体可视化图像的高清三维成像电子内窥镜成为当前的市场热点。通过高清电子内窥镜获取成像清晰的三维图像，感知深度信息，可以有效提高医学诊疗过程的准确性。

现有三维成像电子内窥镜属于被动式双目立体视觉，其立体匹配算法包括全局和局域立体匹配算法：全局立体匹配算法匹配效果较好，但是计算效率较低、满足不了实时性的需求；局域立体匹配算法对于遮挡、弱纹理或存在重复纹理的区域较为敏感，容易产生误匹配，无法实时诊断中微小病变的形态。

申请号为cn201320890185.9的中国专利公开了一种应用于内窥镜的立体成像装置，属于图像获取设备技术领域，为解决现有内窥镜只能获得平面影像的问题，该装置由成像光学系统、成像装置、图像传输电路、图像处理单元和图像显示器组成；成像光学系统中的成像透镜组ⅰ和成像透镜组ⅱ的光轴交叉点c，成像透镜组ⅰ和成像透镜组ⅱ对观察对象不同角度的光束可同时成像为视差图像；成像装置中的成像传感器ⅰ和成像传感器ⅱ分别将成像透镜组ⅰ和成像透镜组ⅱ所成像的视差图像转换成图像信号，该图像信号传到图像传输电路。

申请号为cn201720463185.9的中国专利公开了一种结构光三维内窥镜装置，包括：内窥镜插入管包含传输结构光的光纤束，投影镜头，以及摄像模组。三个led光源位于内窥镜插入管的外部，并通过透镜耦合照明光纤束的三个进口。光纤束三进一出，末端规则排列成光纤束矩形阵列，每三列为一个周期，其中，每个周期中不同列对应不同光源的光。摄像模组包含摄像物镜、用于采集图像的cmos传感器和cmos驱动电路。

申请号为cn201320890185.9的中国专利实现了内窥镜的被动式三维光学成像、但克服不了局域立体匹配算法对于遮挡、弱纹理或存在重复纹理的区域较为敏感，容易产生误匹配的弊病。

申请号为cn201720463185.9的中国专利有条件地实现了内窥镜的主动式条纹结构光三维形貌成像，但因其只能投射相移结构光条纹计算0～2π位相，位相展开算法可靠性低，无法对物体形貌突变处展开位相进行三维形貌成像，限制了实用范围。

虽然上述现有技术提出了关于内窥镜在三维立体视觉上的应用，但其原理是通过被动式的采集目标物上的特征点进行匹配成像，而特征点更多依赖所述目标物的表面形貌，即特征点的选取为随机，成像清晰度差。主动式条纹结构光实用性差无法满足对目标物表面三维形貌的测量的需求。

有鉴于此特提出本发明。

技术实现要素：

本发明要解决的技术问题在于：针对现有内窥镜三维光学成像、三维形貌成像技术各自的不足，利用高速结构光投影技术，实现了内窥镜主动式的结构光双目内窥镜。

为解决上述技术问题，本发明采用技术方案的基本构思是：一种结构光双目内窥镜，包括

工作镜管，以及设置于所述工作镜管内的投影光路和产生立体视差的成像光路；

投影装置，通过所述投影光路向目标物投射结构光图形序列；

图像处理器，将所述成像光路输出的至少两个具有立体视差的图像序列匹配生成所述目标物的三维光学图像和/或三维形貌图像。

其中，所述投影装置设置有图形存储缓冲器，用于存储生成所述结构光图形的位图序列；

所述投影装置投射所述位图序列，在所述目标物上生成所述结构光图形序列；

在一个实施方案中，产生立体视差的所述成像光路为双目光路；

所述成像光路将所述目标物反射回的结构光图形序列分别成像，产生具有立体视差的双图像序列；

所述图像处理器匹配所述成像光路输出的双图像序列，生成所述目标物的三维光学图像和/或三维形貌图像；

在一个实施方案中，所述图形存储缓冲器存储的所述位图的分辨率为912*1140；

在一个实施方案中，所述图形存储缓冲器的存储容量为两个24比特的所述位图。

此外，所述投影装置逐像素、逐帧的向所述目标物投射包括等灰度位图的结构光位图序列，在所述目标物上生成包括等灰度图形的所述结构光图形序列；

所述成像光路的双目光路，将所述目标物反射回的包括等灰度图形的所述结构光图形序列分别成像，产生所述目标物的双图像序列；

所述图像处理器匹配，从双图像序列提取的至少三个不共线的特征点，生成所述目标物的三维光学图像和/或三维形貌图像。

进一步地，所述结构光图形序列至少包括

三个点结构光图形和一个等灰度图形；

或者，一个包括至少三个编码点的编码点结构光图形和一个等灰度图形；

所述图像处理器接收所述成像光路生成的双图像序列，分别提取并匹配至少三个不共线的特征点，并建立所述成像光路输出的双图像之间的变换，分时显示等灰度图形照明的所述目标物的双图像，生成所述目标物的三维光学图像；

和/或，所述图像处理器将双图像序列提取的特征点匹配后，建立所述成像光路输出的双图像之间的变换，生成全部特征点稀疏的视差图像，计算得到三维形貌图像；

在一个实施方案中，点结构光或编码点结构光双图像的中心或质心像素为特征点。

进一步地，所述结构光图形序列至少包括两个线结构光图形和一个等灰度图形；

所述图像处理器接收所述成像光路生成的双图像序列，分别提取并匹配至少三个不共线的特征点，并建立所述成像光路输出的双图像之间的变换，分时显示等灰度图形照明的所述目标物的双图像，生成所述目标物的三维光学图像；

和/或，所述图像处理器将双图像序列提取的特征点匹配后，建立所述成像光路输出的双图像之间的变换，生成全部特征点的稀疏的视差图像，计算得到三维形貌图像；

在一个实施方案中，线结构光双图像的中心或质心像素为特征点。

进一步地，所述结构光图形序列为包括四个8位正弦条纹图形、十二个格雷码条纹图形和一个等灰度图形；

所述图像处理器接收所述成像光路生成的双图像序列，计算全场的编码值，并产生全场的特征点，匹配至少三个不共线的特征点，建立所述成像光路输出的双图像之间的变换，分时显示等灰度图形照明的所述目标物的双图像，生成所述目标物的三维光学图像，

和/或，所述图像处理器将双图像序列提取的特征点匹配后，建立所述成像光路输出的双图像之间的变换，生成稠密的视差图像，计算得到三维形貌图像；

在一个实施方案中，计算结构光图像序列的位相值为特征点。

具体来说，编码结构光牺牲了三维光学成像的帧率，但实现了高清分辨率三维形貌成像，有助于对病变形态细节的区分，对病变早期发现；

另外，所述投影光路包括

投影透镜，用于向所述目标物投射结构光图形序列；

传像光纤，用于传导结构光图形序列；

耦合透镜，用于将所述投影装置投射的结构光图形序列耦合进入所述传像光纤。

并且，所述成像光路为，平行光轴双路成像光路；

每路所述成像光路，均包括成像透镜和图像接收器件。

进一步地，所述图像接收器件为传像光纤或成像芯片。

采用上述技术方案后，本发明与现有技术相比具有以下有益效果：本发明所述一种结构光双目内窥镜，通过投射结构光图形序列：实现对所述目标物的主动式立体视觉视频三维成像，对于遮挡、弱纹理或存在重复纹理的区域识别度高，不容易产生误匹配；实现对所述目标物形貌的高速三维形貌成像，便于实时诊断微小病变的形态。

下面结合附图对本发明的具体实施方式作进一步详细的描述。

附图说明

附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

在附图中：

图1是本发明结构光双目内窥镜第一示意图；

图2是本发明结构光双目内窥镜第二示意图；

图3是本发明结构光双目内窥镜的投影装置示意图。

图中：1、工作镜管；2、投影光路；201、投影透镜；202、耦合透镜；3、成像光路；301、成像透镜；302、图像接收器件；303、成像芯片；4、投影装置；401、图形存储缓冲器；5、图像处理器；6、目标物；7、传像光纤。

需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在一个具体实施方案中，一种结构光双目内窥镜，包括工作镜管1，以及设置于所述工作镜管1内的投影光路2和产生立体视差的成像光路3；投影装置4，通过所述投影光路2向目标物6投射结构光图形；图像处理器5，将所述成像光路3输出的至少两个立体视差图像进行匹配以及适当的数据处理，生成所述目标物6的三维光学图像、三维形貌图像之一，也可以同时得到三维光学图像和三维形貌图像。

具体来说，所述投影光路2包括向所述目标物6投射投影光束的投影透镜201，传导投影光束的传像光纤7，将所述投影装置4投射的投影光束耦合进入所述传像光纤7的耦合透镜202。

其中，所述成像光路3为平行光轴的双路成像光路，即所述成像光路3可分为第一成像光路和第二成像光路。第一成像光路和第二成像光路均设置有位于内窥镜前端将目标物成像到图像接收器件302像面的成像透镜301(见图2)，图像接收器件302可以是成像芯片303也可以是传像光纤7，此时成像芯片303位于工作镜管1的外部(见图1)。所述第一成像光路和所述第二成像光路在不同位置处对所述目标物6分别成像产生具有立体视差的双图像，

此外，所述投影装置4包括光源、图形存储缓冲器401、空间光调制器和数字光控制器(见图3)。图形存储缓冲器401存储m*n个像素组成的位图，空间光调制器由m*n个微型反射镜阵列构成，微型反射镜阵列的一片微型反射镜对应位图的一个像素，数字光控制器根据图形存储缓冲器401存储的m*n个像素的的位图的灰度分布调整空间光调制器m*n个微型反射镜的翻转。当所述投影装置4的光源发出投射光束照射空间光调制器时，微型反射镜的偏转角控制该处出光与否，m*n个微型反射镜按像素调制投射光束的亮暗分布，使空间光调制器生成与存储缓冲器401存储的位图一样的图形，空间光调制器调制的投射光束输入投影光路。

进一步地，所述图形存储缓冲器401存储的所述位图的分辨率为912*1140，所述图形存储缓冲器401的存储容量为两个24比特的所述位图。因此图形存储缓冲器401可存储包括等灰度位图的结构光位图序列。

所述投影装置4的空间光调制器通过所述耦合镜头，将包括等灰度位图的结构光图形序列逐像素、逐帧的导入所述工作镜管1内的所述投影光路2，所述投影光路2的所述传像光纤7传递结构光图形序列至所述投影光路2的投影透镜201的像面，位于工作镜管1前端的所述投影光路2的所述投影透镜201，将所述结构光图形序列投射至所述目标物6表面。

所述投影光路2的所述投影透镜201投射所述结构光位图序列至所述目标物6表面后，依次在目标物6表面生成所述结构光图形序列。

在所述目标物6上的所述结构光图形序列通过所述第一成像光路和所述第二成像光路的所述成像镜头301分别顺序进入所述第一成像光路和所述第二成像光路，所述第一成像光路和所述第二成像光路通过图像接收器件302，顺序生成双图像序列。

所述投影装置4的空间光调制器通过所述投影光路2向所述目标物6顺序投射结构光图形序列的过程中，所述投影装置4的数字光控制器依次同步触发图像处理器5接收成像光路3输出的双图像序列，因所述第一成像光路和所述第二成像光路相对于所述目标物6的位置不同，成像光路3输出具有立体视差的双图像序列。所述图像处理器5匹配所述成像光路3输出的双图像序列，生成所述目标物6的三维光学图像、三维形貌图像之一，也可以同时得到三维光学图像和三维形貌图像。

所述的三维光学图像其实质是：立体视差法产生的立体图像。

通过投射结构光图形序列：实现对所述目标物6的主动式立体视觉三维成像，对于遮挡、弱纹理或存在重复纹理的区域识别度高，不容易产生误匹配。

所述投影装置4通过所述投影光路2向目标物6投射结构光图形时同步触发图像处理器5接收成像光路3输出的两个具有立体视差的双图像。投影装置4顺序投射图形存储缓冲器401存储的多个位图，在目标物上形成图形序列，图像处理器5接收成像光路3输出的两个具有立体视差的双图像序列。图像处理器5匹配所述成像光路3输出的双图像，生成所述目标物6的三维光学图像。

所述投影装置的所述图形存储缓冲器401的存储容量为两个24比特的所述位图，即四十八个1比特的位图序列。

在一个具体的实施方案中，本实施例中所述结构光图形序列为四十七个点结构光图形和一个等灰度图形。

所述投影装置4通过投影光路2顺序投射该图形序列于目标物6上，所述成像光路3同步输出第一/第二图像序列。所述图像处理器5提取第一/第二图像序列中四十七个点图形的中心或质心像素为特征点，选取至少三个不共线的特征点求解所述成像光路输出的双图像之间的变换，建立成像光路3输出的第一/第二图像的立体匹配。分时显示等灰度图形照明的所述目标物6的双图像，生成所述目标物6的三维光学图像。立体匹配后计算四十七个特征点的视差生成稀疏视差图像，结合标定参数可三维重建四十七个特征点三维坐标。

进一步地，所述图形存储缓冲器401可存储三个点结构光位图和一个等灰度位图组成的图形序列，在16毫秒内顺序投射至所述目标物6，生成所述目标物6的视频三维光学图像。

在一个具体的实施方案中，本实施例中所述投影装置4通过投影光路2顺序投射一个编码点结构光图形和一个等灰度图形于目标物6上，成像光路3同步输出双图像序列。

其中，编码点结构光图形为至少包括三个不共线编码点的编码点结构光图形，图像处理器5提取双图像序列编码点图形的中心或质心像素为特征点，通过特征点求解所述成像光路3输出的双图像之间的变换，建立成像光路3输出的双图像的立体匹配。

进一步地，一个编码点图形和一个等灰度图形组成的图形序列，在30毫秒内顺序投射至所述目标物6，由于仅投射、采集两个图像，匹配三个特征点，分时显示等灰度图形照明的所述目标物6的双图像时可生成目标物6的视频三维光学图像。

通过投射点或编码点的结构光图形：，对于遮挡、弱纹理或存在重复纹理的区域识别度高，不容易产生误匹配，实现对所述目标物6的主动式立体视觉的视频或非视频三维成像。

在一个具体的实施方案中，本实施例所述结构光图形序列为至少两个线结构光图形和一个等灰度图形。所述投影装置4通过所投影光路2顺序投射至少两个线结构光图形和一个等灰度图形于目标物6上，成像光路3同步输出双图像序列。

其中，所述图像处理器5提取双图像序列中的线条图形上的多个中心或质心像素为特征点，选取至少三个不共线的特征点求解所述成像光路输出的双图像之间的变换，建立成像光路3输出的双图像的立体匹配。分时显示等灰度图形照明的所述目标物6的双图像，生成所述目标物6的三维光学图像。

立体匹配后计算多个特征点的视差生成稀疏视差图像，结合标定参数可三维重建多个特征点三维坐标。如需更多的特征点可投射四十七个线结构光图形，立体匹配后计算更多个特征点的视差生成较稠密的视差图像，结合标定参数可三维重建更多个特征点三维坐标。

进一步地，线结构光为水平线，线宽为二十四个像素，图形存储缓冲器401最多可存储四十七个线结构光图形，图像处理器5利用特征点匹配算法可以生成47*912个个点的稀疏视差图像，对该视差图像对应的标定参数进行三维重建后，可生成47*912个点的三维点云图像。

在一个具体的实施方案中，本实施例所述结构光图形序列为四个8位正弦条纹图形、十二个格雷码条纹图形和一个等灰度图形。所述投影装置4通过投影光路2顺序投射该图形序列于目标物6上，成像光路3同步输出双图像序列。

其中，所述图像处理器5逐点计算双图像序列的位相值生成全场的特征点，选取至少三个不共线的特征点求解所述成像光路输出的双图像之间的变换，建立成像光路3输出的双图像的立体匹配。分时显示等灰度图形照明的所述目标物6的双图像，生成所述目标物6的三维光学图像。立体匹配后计算全场特征点的视差生稠密的视差图像，结合标定参数可三维重建全场特征点三维坐标，生成目标物的三维形貌图像。

所述的三维形貌图像是指目标物的空间外形和结构图像。

进一步地，编码结构光以牺牲了三维光学成像的帧率为代价，实现了高清分辨率三维形貌成像，有助于对病变形态细节的区分，对病变的早期发现。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包含的某些特征而不是其它特征，但是不同实施例的特征的组合同样意味着处于本发明的保护范围之内并且形成不同的实施例。例如，在上面的实施例中，本领域技术人员能够根据获知的技术方案和本申请所要解决的技术问题，以组合的方式来使用。

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。