专利名称：内窥镜系统及使用内窥镜系统的测量方法
内窥镜系统及使用内窥镜系统的测量方法
技术领域：
本发明涉及计算机视觉技术，特别是涉及一种内窥系统及使用内窥镜系统的测量方法。
背景技术：
内窥镜由于存在着能够无损地检测到微小物体的优点，并能观察到人无法到达的地方等优点，被广泛地应用于各个领域中，例如，对建筑行业中墙壁的检测，在油气工业中管道内部情况的检测，在汽车工业中发动机维修的检测以及安防领域中爆炸物的检测等领域都广泛地使用了内窥镜。在内窥镜的发展过程中，简单的二维影像不能够提供足够多的信息，使得可提供三维信息的内窥镜迅速发展。根据工作原理，将可提供三维信息的内窥镜划分为虚拟现实式以及光学式。其中， 虚拟现实式的内窥镜是通过光栅分别将左右摄像机所拍摄的图片送入使用者的左右眼，从而形成立体影像。可是，虚拟现实式的内窥镜需要使用都佩戴特殊的立体视觉设备，如立体视觉头盔、眼镜等，无法精确地进行三维测量，且价格非常地昂贵。光学式的内窥镜是通过两个内窥镜组成立体视觉测量系统，得利用精确的运动控制装置或者结构光装置来重构三组信息，成本非常高。
发明内容基于此，有必要提供一种可降低成本的内窥镜系统。此外，还有必要提供一种应用了上述内窥镜系统的使用内窥镜系统的测量方法。一种内窥镜系统，其特征在于，至少包括图像采集装置，用于拍摄视频图像，包括主摄像头以及副摄像头，所述主摄像头的分辨率高于副摄像头的分辨率；控制器，用于控制所述主摄像头以及副摄像头的开启，并传输所述视频图像；图像处理装置，用于根据用户指令获取视频图像上的待测点，并对所述视频图像进行计算得到视频图像中待测点的三维信息。 优选地，所述图像采集装置还包括用于辅助照明的光源。优选地，所述控制器关闭所述副摄像头，所述图像采集装置通过主摄像头拍摄视频图像，并在所述图像处理装置中显示所述视频图像。优选地，所述控制器开启主摄像头和副摄像头，所述主摄像头拍摄得到主标定图像，所述副摄像头拍摄得到副标定图像，所述图像处理装置根据所述主标定图像及副标定图像计算得到标定参数。优选地，所述视频图像包括主摄像头拍摄的主视频图像和副摄像头拍摄的副视频图像，所述图像处理装置采用局部滑动窗口方式或全局方式对主视频图像和副视频图像进行匹配得到视差图像，根据用户在主视频图像上选择的待测点以及视差图像得到待测点在副视频图像中的匹配点，并根据所述标定参数及副视频图像中的匹配点进行计算得到待测点的三维信息。一种使用内窥镜系统的测量方法，包括以下步骤分别通过主摄像头以及副摄像头拍摄得到视频图像，所述主摄像头的分辨率高于副摄像头的分辨率；计算所述视频图像中的视差图像；根据用户指令获取视频图像上的待测点；根据所述视差图像对所述视频图像进行计算得到视频图像中待测点的三维信息。优选地，还包括关闭所述副摄像头，显示所述主摄像头中的画面。优选地，所述分别通过主摄像头以及副摄像头拍摄得到视频图像的步骤之前还包括对所述主摄像头以及副摄像头进行标定得到标定参数的步骤。优选地，所述视频图像包括主摄像机拍摄的主视频图像以及副摄像机拍摄的副视频图像，所述计算所述视频图像中的视差图像的步骤为通过局部滑动窗口方式或全局方式对主视频图像和副视频图像进行匹配得到视差图像。优选地，所述根据用户指令获取视频图像上的待测点的步骤为获取用户在主视频图像上选择的待测点；所述根据所述视差图像对所述视频图像进行计算得到视频图像中待测点的三维信息的步骤为根据视差图像以及主视频图像上的待测点得到待测点在副视频图像中的匹配占.
^ \\\ 通过标定参数及副视频图像中的匹配点进行计算得到所述待测点的三维信息。上述内窥镜系统及使用内窥镜系统的测量方法，在图像采集装置中设置主摄像头和副摄像头，为获取待测点的三维信息开启主摄像头和副摄像头进行测量，主摄像头与副摄像头的结合大大地降低了内窥镜系统的成本，降低了图像采集装置的体积。上述内窥镜系统及使用内窥镜系统的测量方法中，在用户通过视频图像进行观察时关闭副摄像头，仅通过主摄像头拍摄视频图像，并显示，极大地节省了系统资源。
图1为一个实施例中内窥镜系统的结构示意图；图2为图1中图像采集装置的结构示意图；图3为一个实施例中主视频图像的示意图；图4为图3中与主视频图像对应的副视频图像的示意图；图5为一个实施例中待测点的三维信息计算的示意图；图6为一个实施例中使用内窥镜系统的测量方法的流程图；图7为图6中根据视差图像对视频图像进行计算得到视频图像中待测点的三维信息的流程图8为一个实施例中内窥镜系统的应用示意图；图9为图8中图像采集装置的另一角度示意图。
具体实施方式
图1示出了一个实施例中内窥镜系统的详细结构，该内窥镜系统包括图像采集装置10、控制器30以及图像处理装置50。结合参阅图2，图像采集装置10用于拍摄视频图像，包括主摄像头101以及副摄像头103，主摄像头101的分辨率高于副摄像头103的分辨率。本实施例中，图像采集装置10 置于内窥镜系统的前端，集成了主摄像头101和副摄像头103，主摄像头101的分辨率较高， 副摄像头103的分辨率较低。例如，主摄像头101的型号为640X480像素，30帧/秒，直径约4. 5毫米；副摄像头103的型号为320X240像素，30帧/秒，直径约2. 5毫米。与传统的单摄像头内窥镜系统相比，图像采集装置10通过增加低成本、小体积的副摄像头103保证了图像质量，并实现系统的三维测量功能。在进行测量之前，需要进行内窥镜系统的标定，开启了的主摄像头101拍摄得到主标定图像，副摄像头103拍摄得到副标定图像。具体地，将平面靶标图像放置于内窥镜系统的前端，同时开启主摄像头101和副摄像头103，分别拍摄多组不同位置不同角度的标定图像，其中，每一组标定图像包括了主标定图像和副标定图像，每一主标定图像都有与其对应的副标定图像。为保证标定的准确性，主标定图像与副标定图像均不少于三张。平面靶标图像可以是棋盘格图像、圆形图像或同心圆图像。图像采集装置10中还包括了用于辅助照明的光源。为辅助黑暗环境中的照明，光源优选为LED(Light Emitting Diode，发光二极管)光源。光源的数量优选为2个。控制器30，用于控制主摄像头101以及副摄像头103的开启，并传输视频图像。本实施例中，在进行测量时，控制器30开启主摄像头101和副摄像头103。控制器30通过视频传输线与图像采集装置10相连，控制着主摄像头101和副摄像头103的开启或关闭。在实际的使用过程中，用户在大多仅需要使用一个摄像头进行观察，只有在需要进行测量时才需要同时开启两个摄像头，因此，当用户进行观察时，控制器30开启主摄像头101，关闭副摄像头103 ；当用户需要进行测量时，控制器30同时开启主摄像头101和副摄像头103， 从而实现了系统资源的充分利用。在优选的实施例中，控制器30为USB (Universal Serial Bus，通用串行总线)控制器。图像处理装置50，用于根据用户指令获取视频图像上的待测点，并对视频图像进行计算得到视频图像中待测点的三维信息。本实施例中，视频图像包括主摄像头101拍摄的主视频图像和副摄像头103拍摄的副视频图像，用户在图像处理装置50所显示的主视频图像中选择待测点，图像处理装置50根据用户指令得到需要测量的待测点。为进行内窥镜系统的标定，图像处理装置50根据主标定图像及副标定图像计算得到标定参数。分别从主标定图像和副标定图像中提取特征点，利用主标定图像和副标定图像中的特征点以及已知的平面靶标图像中的坐标即可计算出标定参数。标定参数中包括了主摄像头101与副摄像头103之间的相对位置关系以及摄像头内部参数。相对位置关系包括了旋转参数和平移参数等，摄像头内部参数包括了摄像头的焦距、光心位置以及畸变参数。主标定图像与副标定图像中的特征点是依据平面靶标图像的图像类型决定的，例如，若平面靶标图像为棋盘图像，则将图像中的角点作为特征点；若平面靶标图像为圆形图像或者同心圆图像，则将图像中的圆心作为特征点。在图像采集装置10拍摄了视频图像之后，图像处理装置50采用局部滑动窗口方式或全局方式对主视频图像和副视频图像进行匹配得到视差图像，根据用户在主视频图像上选择的待测点以及视差图像得到待测点在副视频图像中的匹配点，并根据标定参数及副视频图像中的匹配点进行计算得到待测点的三维信息。具体地，如图3和图4所示，局部滑动窗口方式对主视频图像和副视频图像进行匹配得到视差图像的过程中，设主视频图像300和副视频图像400中对应点均平行于ν轴，对于主视频图像300上的任一点(u，ν)，将滑动窗口移动到点(u，ν)，得到的图像编码为向量 w ；对于副视频图像400上的任一点(u+d，ν)，将滑动窗口移动到点(u+d，ν)，得到的图像编码为向量。通过点积或夹角等方法计算w与的相似度，w与的相似度可作为主视频图像中点(u，v)与副视频图像中点(u+d，v)的相似度，不断改变d的大小，以求出相似度最高的一点(u+dmax，ν)作为主图像中点(u，ν)的匹配点，进而生成视差图像。通过局部滑动窗口方式可对生成的视差图像进行校正，极大地提高了视差图像的质量。为了进一步提高视差图像的质量，在通过了局部滑动窗口方式得到视差图像之后，还可通过相邻匹配点的位置关系对生成的视差图像进行校正。在通过全局方式对主视频图像和副视频图像进行匹配得到视差图像的过程中，为求解匹配点，构造图像匹配能量来进行主视频图像与副视频图像的匹配，为计算出视差图像D的能量公式E(D)，计算过程如以下公式所示剛=ΣC(P, DpWxT [\Dp ~Dq\ = l]+ZP2T[\Dp-Dq\> Γ
pqJpqJp其中，C(ρ, Dp)表示主视频图像中任一点ρ与副视频图像中点P+Dp的匹配误
差， SrDz^-Al=1]表示主视频图像中任一点ρ与其领域像素义的微小视差
的惩罚囚亍，Σ P2T\\Dp - Aj I > 1]代表主视频图像中像素点q与其领域像素Np的
较大视差惩罚能量，P2与梯度幅值有关。通过全局方式进行匹配的过程中将使得整体图像的匹配效果比较局部滑动窗口方式的匹配效果好。通过求解以上视差图像中能量的最小化即可直接求解出视差图像。另一实施例中，用户还可进行手工匹配，以减少由于重复的纹理信息所带来的误匹配和匹配失败。用户在主视频图像上选择待测点，图像处理装置50由视差图像得到副视频图像上的匹配点，根据该副视频图像上的匹配点与标定参数进行计算即可得到待测点的三维信肩、ο例如，如图5所示，待测点的三维信息计算过程可以是设为主摄像头101中心，cf"为副摄像头103中心，主摄像头101与副摄像头103之间的中心间距为T，X1为主摄像头101上的待测点，、为副摄像头103上的匹配点。根据相似三角形可以得到
二 ,求解可得至IJ ζ = -Tf/Xl-Xr0由上可知，在已标定T、f以及主视频图像上任 Z-J Z一点P中&和\之前的情况下即可计算出深度信息z，再通过标定参数即可得到三维信息 (χ， y， ζ)。另一实施例中，上述内窥镜系统的控制器30关闭副摄像头103，图像采集装置10 通过主摄像头101拍摄视频图像，并在图像处理装置50中显示视频图像。在用户进行观察时，仅打开主摄像头101即可得到高分辨率的视频图像。在优选的实施例中，控制器30通过USB输出线与图像处理装置50连接。由于副摄像头103在大部分的时间中都处于闲置状态，仅在测量时开启，该USB输出线可以仅设置1条，主摄像头101与副摄像头103共用一条USB输出线与图像处理装置50相连。此外，还有必要提供一种使用内窥镜系统的测量方法，如图6所示，该测量方法包括以下步骤步骤S10，分别通过主摄像头以及副摄像头拍摄得到视频图像，主摄像头的分辨率高于副摄像头的分辨率。本实施例中，在进行测量管道裂缝、危险易燃易爆物品等测量时， 开启主摄像头和副摄像头进行视频图像的拍摄，其中，主摄像头的分辨率较高，副摄像头的分辨率较低。例如，主摄像头的型号为640X480像素，30帧/秒，直径约4. 5毫米；副摄像头的型号为320X240像素，30帧/秒，直径约2. 5毫米。上述使用内窥镜系统的测量方法中，在分别通过主摄像头以及副摄像头拍摄得到视频图像的步骤之前还包括了对主摄像头以及副摄像头进行标定得到标定参数的步骤。本实施例中，标定参数中包括了主摄像头与副摄像头之间的相对位置关系以及摄像头内部参数。相对位置关系包括了旋转参数和平移参数等，摄像头内部参数包括了摄像头的焦距、光心位置以及畸变参数。开启了的主摄像头拍摄得到主标定图像，副摄像头拍摄得到副标定图像。具体地，同时开启主摄像头和副摄像头进行平面靶标图像的拍摄，以得到多组标定图像。其中，每一组标定图像包括了主标定图像和副标定图像，每一主标定图像都有与其对应的副标定图像。为保证标定的准确性，主标定图像与副标定图像均不少于三张。平面靶标图像可以是棋盘格图像、圆形图像或同心圆图像。分别从主标定图像和副标定图像中提取特征点，利用主标定图像和副标定图像的特征点以及已知的平面靶标图像中的坐标即可计算出标定参数。标定参数中包括了主摄像头与副摄像头之间的相对位置关系以及内部参数。主标定图像与副标定图像中的特征点是依据平面靶标图像决定的，例如，若平面靶标图像为棋盘图像，则将图像中的角点作为特征点；若平面靶标图像为圆形图像或者同心圆图像，则将图像中的圆心作为特征点。步骤S30，计算视频图像中的视差图像。本实施例中，计算视频图像中的视差图像的步骤为通过局部滑动窗口方式或全局方式对主视频图像和副视频图像进行匹配得到视差图像。具体地，局部滑动窗口方式对主视频图像和副视频图像进行匹配得到视差图像的过程中，在主视频图像上，将滑动窗口移动到任一点，得到该点的图像编码向量，在副视频图像上，同样将滑动窗口移动到任一点，并得到相应的图像编码向量。通过点积或夹角等方法计算主视频图像中图像编码向量与副视频图像中图像编码向量之间的相似度，不断变换副视频图像中的点，以得到与主视频图像中图像编码向量相似度最高的一点作为匹配点， 从而生成视差图像。通过局部调动窗口方式可对生成的视差图像进行校正，极大地提高了视差图像的质量。
为了进一步提高视差图像的质量，在通过了局部滑动窗口方式对视差图像进行校正后，还可通过相邻匹配点的位置关系对视差图像进行校正。在通过全局方式对主视频图像和副视频图像进行匹配得到视差图像的过程中，为求解匹配点，构造图像匹配能量来进行主视频图像与副视频图像的匹配，为计算出视差图像D的能量公式E(D)，计算过程如以下公式所示顺=ΣC(P,Dp^YjPlT[\Dp= l] + Σ ^[K "^l >其中，C(p，Dp)表示主视频图像中任一点ρ与副视频图像中点P+Dp的匹配误差，Σ A7IIA-AJ=i]表示主视频图像中任一点ρ与其领域像素Np的惩罚因子，
Σ P2T[\Dp -Aj W]代表主视频图像中像素点q与其领域像素Np的较大视差惩罚能量，P2
与梯度幅值有关。通过全局方式进行匹配的过程中将使得整体图像的匹配效果比较局部滑动窗口方式的匹配效果好。通过求解以上视差图像中能量的最小化即可直接求解出视差图像。另一实施例中，用户还可进行手工匹配，以减少由于重复的纹理信息所带来的误匹配和匹配失败。步骤S50，根据用户指令获取视频图像上的待测点。本实施例中，根据用户指令获取视频图像上的待测点的步骤为获取用户在主视频图像上选择的待测点。步骤S70，根据视差图像对视频图像进行计算得到视频图像中待测点的三维信息。 本实施例中，用户在主视频图像上选择待测点，由视差图像得到副视频图像上的匹配点，根据该副视频图像上的匹配点与标定参数进行计算即可得到待测点的三维信息。在一个具体的实施例中，如图7所示，根据视差图像对视频图像进行计算得到视频图像中待测点的三维信息的步骤为步骤S701，根据视差图像以及主视频图像上的待测点得到待测点在副视频图像中的匹配点。本实施例中，由视差图像即可得到副视频图像中与待测点对应的匹配点。步骤S703，通过标定参数及副视频图像中的匹配点进行计算待测点的三维信息。 本实施例中，三维信息中记录了待测点的三维空间坐标。此外，根据用户的需求，还可根据待测点的三维空间坐标计算出深度、高度、面积以及截面等信息。其他实施例中，上述测量方法还包括了关闭副摄像头，显示主摄像头中的画面的步骤。本实施例中，在用户进行观察时，仅打开主摄像头即可得到高分辨率的视频图像。下面结合一个实施例来详细阐述上述内窥镜系统及使用内窥镜系统的测量方法的应用过程。该实施例中，如图8和图9所示，在对内窥镜系统进行了标定后，将图像采集装置10移动待测物体周围能够清晰成像的位置，该位置可根据镜头焦距而定，例如，可以是距离待测物体50 100毫米的位置。在光源105的辅助下，若用户需要对待测物体进行观测，则控制器30只需要开启主摄像头101，通过主摄像头101所拍摄的视频图像进行观测。若用户需要测量待测物体中某一点的位置，则控制器30将同时开启主摄像头101和副摄像头103，并分别拍摄得到主视频图像和副视频图像。图像通过局部滑动窗口方式或全局方式对主视频图像和副视频图像进行匹配得到视差图像。用户对图像处理装置50所显示的主视频图像进行待测点的选择，图像处理装置 50根据用户所选择的待测点由视差图像得到副视频图像上的匹配点，根据副视频图像上匹配点与标定参数进行计算即可得到待测点的三维信息。上述内窥镜系统及使用内窥镜系统的测量方法，在图像采集装置中设置主摄像头和副摄像头，为获取待测点的三维信息开启主摄像头和副摄像头进行测量，主摄像头与副摄像头的结合大大地降低了内窥镜系统的成本，降低了图像采集装置的体积。上述内窥镜系统及使用内窥镜系统的测量方法中，在用户通过视频图像进行观察时关闭副摄像头，仅通过主摄像头拍摄视频图像，并显示，极大地节省了系统资源以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
1.一种内窥镜系统，其特征在于，至少包括图像采集装置，用于拍摄视频图像，包括主摄像头以及副摄像头，所述主摄像头的分辨率高于副摄像头的分辨率；控制器，用于控制所述主摄像头以及副摄像头的开启，并传输所述视频图像；图像处理装置，用于根据用户指令获取视频图像上的待测点，并对所述视频图像进行计算得到视频图像中待测点的三维信息。
2.根据权利要求1所述的内窥镜系统，其特征在于，所述图像采集装置还包括用于辅助照明的光源。
3.根据权利1所述的内窥镜系统，其特征在于，所述控制器关闭所述副摄像头，所述图像采集装置通过主摄像头拍摄视频图像，并在所述图像处理装置中显示所述视频图像。
4.根据权利要求1所述的内窥镜系统，其特征在于，所述控制器开启主摄像头和副摄像头，所述主摄像头拍摄得到主标定图像，所述副摄像头拍摄得到副标定图像，所述图像处理装置根据所述主标定图像及副标定图像计算得到标定参数。
5.根据权利要求4所述的内窥镜系统，其特征在于，所述视频图像包括主摄像头拍摄的主视频图像和副摄像头拍摄的副视频图像，所述图像处理装置采用局部滑动窗口方式或全局方式对主视频图像和副视频图像进行匹配得到视差图像，根据用户在主视频图像上选择的待测点以及视差图像得到待测点在副视频图像中的匹配点，并根据所述标定参数及副视频图像中的匹配点进行计算得到待测点的三维信息。
6.一种使用内窥镜系统的测量方法，包括以下步骤分别通过主摄像头以及副摄像头拍摄得到视频图像，所述主摄像头的分辨率高于副摄像头的分辨率；计算所述视频图像中的视差图像；根据用户指令获取视频图像上的待测点；根据所述视差图像对所述视频图像进行计算得到视频图像中待测点的三维信息。
7.根据权利要求6所述的使用内窥镜系统的测量方法，其特征在于，还包括关闭所述副摄像头，显示所述主摄像头中的画面。
8.根据权利要求6所述的使用内窥镜系统的测量方法，其特征在于，所述分别通过主摄像头以及副摄像头拍摄得到视频图像的步骤之前还包括对所述主摄像头以及副摄像头进行标定得到标定参数的步骤。
9.根据权利要求7所述的使用内窥镜系统的测量方法，其特征在于，所述视频图像包括主摄像机拍摄的主视频图像以及副摄像机拍摄的副视频图像，所述计算所述视频图像中的视差图像的步骤为通过局部滑动窗口方式或全局方式对主视频图像和副视频图像进行匹配得到视差图像。
10.根据权利要求8所述的使用内窥镜系统的测量方法，其特征在于，所述根据用户指令获取视频图像上的待测点的步骤为获取用户在主视频图像上选择的待测点；所述根据所述视差图像对所述视频图像进行计算得到视频图像中待测点的三维信息的步骤为根据视差图像以及主视频图像上的待测点得到待测点在副视频图像中的匹配点； 通过标定参数及副视频图像中的匹配点进行计算得到所述待测点的三维信息。
全文摘要
一种内窥镜系统，其特征在于，至少包括图像采集装置，用于拍摄视频图像，包括主摄像头以及副摄像头，所述主摄像头的分辨率高于副摄像头的分辨率；控制器，用于控制所述主摄像头以及副摄像头的开启，并传输所述视频图像；图像处理装置，用于根据用户指令获取视频图像上的待测点，并对所述视频图像进行计算得到视频图像中待测点的三维信息。上述内窥镜系统及使用内窥镜系统的测量方法，在图像采集装置中设置主摄像头和副摄像头，为获取待测点的三维信息开启主摄像头和副摄像头进行测量，主摄像头与副摄像头的结合大大地降低了内窥镜系统的成本，降低了图像采集装置的体积。
文档编号G02B23/24GK102253057SQ20111009262
公开日2011年11月23日 申请日期2011年4月13日 优先权日2011年4月13日
发明者宋展, 李涛, 聂磊, 郑翔, 陆丕清, 黎文富 申请人:中国科学院深圳先进技术研究院, 深圳市亚泰光电技术有限公司