专利名称：数字立体显微系统的虚拟标尺方法和系统的制作方法
技术领域：
本发明涉及数字立体显微图像技术领域，特别是涉及一种数字立体显微系统的虚拟标尺方法，以及一种数字立体显微系统的虚拟标尺系统。
背景技术：
目前的3D数字显微系统在传统体式显微镜上安装分光器,将显微镜米集的光学信号分出两路，通过工业相机上的CCD或CMOS感光元件将分光器分出的光学信号转为数字信号，再通过工业相机上数据接口将图像数据传输到计算机或监视器上，从而使观察者摆脱对光学目镜的束缚。3D数字显微系统具有两个并排的成像元器件，通过在不同的视角实时采集被观察物体，将得到的双目图像经过处理后，可以产生3D图像，形成立体视觉。虽然3D数字显微系统能够实现3D立体效果，提供高清晰度的三维空间图像，但传统的3D数字显微系统无法实现3D图像中物体相对位置的精确测量。而在手术过程中，手术器械位置的深浅非常重要，只能通过操作者观察3D图像通过经验来感知其深度，手术过程的安全性和可靠性不高，因此亟需能够精确确定3D数字显微图像中手术器械的深度，为数字立体显微系统提供虚拟标尺的技术。
发明内容
基于此，本发明提供一种3D数字显微图像中手术器械深度的确定方法和系统，能够精确确定显微系统中手术器械的深度，为数字立体显微系统提供一虚拟标尺，有效提高手术过程的安全性和可靠性。一种数字立体显微系统的虚拟标尺方法，包括如下步骤:获取显微系统的景深阈值区间；
通过追踪算法追踪3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域；以所述第一路图像的手术器械区域为模板，对第二路图像进行相似度判断，得到与所述第一路图像的手术器械区域相似度最高的第二路图像的手术器械区域；根据所述第一路图像的手术器械区域和所述第二路图像的手术器械区域，确定所述手术器械的视差，再根据所述视差确定所述手术器械距离显微镜物镜的深度；若所述深度在所述景深阈值区间内，则标示所述深度。一种数字立体显微系统的虚拟标尺系统，包括获取模块、追踪模块、判断模块、深度模块和标示模块；所述获取模块用于确定显微系统的景深阈值区间；所述追踪模块用于通过追踪算法追踪3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域；所述判断模块用于以所述第一路图像的手术器械区域为模板，对第二路图像进行相似度判断，得到与所述第一路图像的手术器械区域相似度最高的第二路图像的手术器械区域；所述深度模块用于根据第一路图像的手术器械区域和第二路图像的手术器械区域，确定手术器械的视差，再根据所述视差确定所述手术器械距离显微镜物镜的深度；所述标示模块用于获取所述显微系统的景深阈值区间，若所述深度在所述景深阈值区间内，则标示所述深度。上述数字立体显微系统的虚拟标尺方法和系统，为了提高手术操作的准确性，在使用追踪算法追踪到其中一路图像中的手术器械的基础上，再通过模板匹配确定另一路图像中手术器械的位置，根据两路图像中手术器械的位置的坐标差确定手术器械的深度并标示，为数字立体显微系统提供一虚拟标尺，能定量地提醒操作者手术器械的所在位置，提高手术过程的安全性，从而协助操作者完成手术；本发明通过提供深度信息大大提高了手术过程的可靠性和精确度，同时最大可能的简化手术过程的复杂性，减少操作者的工作量；本发明能自动跟踪手术器械，深度值结果精确；另外本发明也能用于教学过程中对手术器械深度的定量提示，有利于学生快速掌握手术器械的操作。
图1为本发明数字立体显微系统的虚拟标尺方法在一实施例中的流程示意图。图2为本发明数字立体显微系统的虚拟标尺系统在一实施例中的结构示意图。
具体实施例方式下面结合实施例及附图对本发明作进一步详细说明，但本发明的实施方式不限于此。如图1所示，是本发明 数字立体显微系统的虚拟标尺方法在一实施例中的流程示意图，包括:S11、获取显微系统的景深阈值区间；3D图像的成像原理是由两路摄像设备分别对同一个物体进行拍摄，得到的两路重叠率较高的左图和右图，再将左图和右图进行处理后生成该3D图像，本发明中所指的第一路图像和第二路图像即为构成所述3D图像的左图和右图，利用本发明对3D图像进行处理时，当第一路图像指代左图时，则第二路图像指代右图；当第一路图像指代右图时，则第二路图像指代左图。景深(depth of field,D0F)是一个描述在空间中，可以清楚成像的距离范围。当镜头聚集于被摄影物的某一点时，这一点上的物体就能清晰地结像。在这一点前后一定范围内的景物，由于肉眼无法察觉，也能记录得较为清晰。也就是说，镜头拍摄景物的清晰范围是有一定限度的，镜头的这种记录得“较为清晰”的被摄影物纵深的范围便为景深。在本步骤中，通过设置景深范围，保证手术器械的深度是在景深范围内确定的，从而保证手术刀深度值的精确性；在一较佳实施例中，所述确定显微系统的景深阈值区间的步骤具体包括:la、接收输入的3D图像中距离显微镜物镜的最近区域图像和最远区域图像；操作者可在3D数字显微系统的3D预览模式下观看当前拍摄的3D图像，在所述3D图像上确定该3D图像的景深范围，输入其距离显微镜物镜的最近区域图像和最远区域图像。lb、通过深度图求取算法分别求取所述最近区域图像的深度图和所述最远区域图像的深度图；获取到最近区域图像和最远区域图像后，可通过深度图求取算法求得所述最近区域图像对应的深度图和最远区域图像；其中，由于3D图像由两路图像构成，获取的最近区域图像对应地包括第一路图像中的最近区域图像和第二路图像中的最近区域图像，而最远区域图像也包括第一路图像中的最远区域图像和第二路图像中的最远区域图像；在根据最近区域图像中包含的两组图像通过深度图求取算法生成最近区域图像的深度图，同理生成最远区域图像的深度图。lc、获取所述最近区域图像的深度图中的深度最小值以及所述最远区域图像的深度图中的深度最大值；Id、根据所述深度最大值和所述深度最小值，得到所述景深阈值区间。根据步骤Ib获得的两组深度图，读取所述最近区域图像的深度图中的深度最小值以及所述最远区域图像的深度图中的深度最大值，由深度最大值和深度最小值构成所述景深阈值区间。S12、通过追踪算法追踪所述3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域；图像追踪算法用于跟踪确定图像中某一物体的位置，本发明通过跟踪算法，在手术器械移动时，利用该算法持 续实时获取到图像中手术器械在图像中的区域；在一较佳实施例中，所述通过追踪算法追踪所述3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域的步骤具体为:获取所述手术器械的颜色直方图，再通过camshift算法对所述第一路图像中的手术器械进行跟踪，生成第一路图像的手术器械区域；立体显微系统中图像，手术器械的颜色特征一般较为明显，camshift算法在简单背景下能够取得良好的跟踪效果，该算法单纯的考虑颜色直方图，时间复杂度低，特别适合用于手术过程中的手术器械跟踪，因此通过获取图像中手术器械的颜色直方图，camshift算法即可根据该颜色直方图对所述第一路图像中的手术器械进行跟踪，生成第一路图像的手术器械区域。S13、以所述第一路图像的手术器械区域为模板，对第二路图像进行相似度判断，得到与所述第一路图像的手术器械区域相似度最高的第二路图像的手术器械区域；在一较佳实施例中，该步骤具体可包括:3a、确定所述第一路图像的手术器械区域的第一中心点及所述第一中心点的坐标；3b、确定在第二路图像中的第二中心点，以所述第二中心点为中心，截取第二路图像中的搜索区域，其中，所述第二中心点的坐标与所述第一中心点的坐标相同，所述第二路图像的搜索区域的长度和宽度大于所述第一路图像的手术器械区域的长度和宽度；3c、以所述第一路图像的手术器械区域为模板，对所述第二路图像的搜索区域中的每个像素进行相似度判断，根据零均值差的平方和相关法生成所述第二路图像的手术器械区域；通过步骤S12中生成的第一路图像的手术器械区域，在本步骤S13中进行模板匹配，获取第二路图像中的手术器械区域；首先通过所述第一路图像的手术器械区域，获取该区域的中心点，记为所述第一中心点，接着获取第一中心点的坐标；根据第一中心点的坐标，查找第二路图像中与第一中心点的坐标对应的点，记为第二中心点，以第二中心点为中心，在第二路图像中截取一搜索区域，第二路图像中的搜索区域的长度和宽度必须大于所述第一路图像的手术器械区域的长度和宽度，即搜索区域的覆盖范围要大于第一路图像的手术器械区域的覆盖范围；以第一路图像的手术器械区域，根据零均值差的平方和算法对第二路图像中的搜索区域进行模板匹配，获得第二路图像的手术器械区域；其中，所述零均值差的平方和相关法的计算方法如下:
权利要求
1.种数字立体显微系统的虚拟标尺方法，其特征在于，包括如下步骤: 获取显微系统的景深阈值区间； 通过追踪算法追踪3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域； 以所述第一路图像的手术器械区域为模板，对第二路图像进行相似度判断，得到与所述第一路图像的手术器械区域相似度最高的第二路图像的手术器械区域； 根据所述第一路图像的手术器械区域和所述第二路图像的手术器械区域，确定所述手术器械的视差，再根据所述视差确定所述手术器械距离显微镜物镜的深度； 若所述深度在所述景深阈值区间内，则标示所述深度。
2.据权利要求1所述的数字立体显微系统的虚拟标尺方法，其特征在于，所述获取显微系统的景深阈值区间的步骤具体包括: 接收输入的所述3D图像中距离显微镜物镜的最近区域图像和最远区域图像； 通过深度图求取算法分别求取所述最近区域图像的深度图和所述最远区域图像的深度图； 获取所述最近区域图像的深度图中的深度最小值以及所述最远区域图像的深度图中的深度最大值； 根据所述深度最大值和所述深度最小值，构成所述景深阈值区间。
3.据权利要求1所述的数字立体显微系统的虚拟标尺方法，其特征在于，所述通过追踪算法追踪所述3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域的步骤具体为: 获取所述手术器械的颜色直方图，再通过camshift算法对所述第一路图像中的手术器械进行跟踪，生成第一路图像的手术器械区域。
4.据权利要求3所述的数字立体显微系统的虚拟标尺的确定方法，其特征在于，所述以所述第一路图像的手术器械区域为模板，对第二路图像进行相似度判断，得到与所述第一路图像的手术器械区域相似度最高的第二路图像的手术器械区域的步骤具体包括: 确定所述第一路图像的手术器械区域的第一中心点及所述第一中心点的坐标； 确定在第二路图像中的第二中心点，以所述第二中心点为中心，截取第二路图像的搜索区域，其中，所述第二中心点的坐标与所述第一中心点的坐标相同，所述第二路图像中的搜索区域的长度和宽度大于所述第一路图像的手术器械区域的长度和宽度； 以所述第一路图像的手术器械区域为模板，对所述第二路图像的搜索区域中的每个像素进行相似度判断，根据零均值差的平方和相关法生成所述第二路图像的手术器械区域。
5.据权利要求4所述的数字立体显微系统的虚拟标尺方法，其特征在于，所述根据第一路图像的手术器械区域和第二路图像的手术器械区域，确定手术器械的视差，再根据所述视差确定所述手术器械距离显微镜物镜的深度的步骤具体包括: 根据所述第二路图像的手术器械区域，确定所述第二路图像的手术器械区域的中心点的横坐标； 将所述第一路图像的手术器械区域的中心点横坐标与所述第二路图像的手术器械区域的中心点横坐标进行相减，得到所述手术器械的视差； 根据所述视差计算所述手术器械的深度。
6.种数字立体显微系统的虚拟标尺系统，其特征在于，包括获取模块、追踪模块、判断模块、深度模块和标示模块； 所述获取模块用于确定显微系统景深阈值区间； 所述追踪模块用于通过追踪算法追踪3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域； 所述判断模块用于以所述第一路图像的手术器械区域为模板，对第二路图像进行相似度判断，得到与所述第一路图像的手术器械区域相似度最高的第二路图像的手术器械区域； 所述深度模块用于根据第一路图像的手术器械区域和第二路图像的手术器械区域，确定手术器械的视差，再根据所述视差确定所述手术器械距离显微镜物镜的深度； 所述标示模块用于获取所述显微系统景深阈值区间，若所述深度在所述景深阈值区间内，则标示所述深度。
7.据权利要求6所述的数字立体显微系统的虚拟标尺系统，其特征在于，所述获取模块中包括接收模块、求取模块、深度值模块和构成模块； 所述接收模块用于接收输入的所述3D图像中距离显微镜物镜的最近区域图像和最远区域图像； 所述求取模块用于通过深度图求取算法分别求取所述最近区域图像的深度图和所述最远区域图像的深度图； 所述深度值模块用于获取所述最近区域图像的深度图中的深度最小值以及所述最远区域图像的深度图中的深度 最大值； 所述构成模块用于根据所述深度最大值和所述深度最小值，构成所述景深阈值区间。
8.据权利要求6所述的数字立体显微系统的虚拟标尺系统，其特征在于，所述追踪模块具体用于获取所述手术器械的颜色直方图，再通过camshift算法对所述第一路图像中的手术器械进行跟踪，生成第一路图像的手术器械区域。
9.据权利要求8所述的数字立体显微系统的虚拟标尺系统，其特征在于，所述判断模块具体包括确定模块、截取模块和模板判断模块； 所述确定模块用于确定所述第一路图像的手术器械区域的第一中心点及所述第一中心点的坐标； 所述截取模块用于确定在第二路图像中的第二中心点，以所述第二中心点为中心，截取第二路图像的搜索区域，其中，所述第二中心点的坐标与所述第一中心点的坐标相同，所述第二路图像中的搜索区域的长度和宽度大于所述第一路图像的手术器械区域的长度和览度； 所述模板判断模块用于以所述第一路图像的手术器械区域为模板，对所述第二路图像的搜索区域中的每个像素进行相似度判断，根据零均值差的平方和相关法生成所述第二路图像的手术器械区域。
10.据权利要求9所述的数字立体显微系统的虚拟标尺系统，其特征在于，所述深度模块具体包括中心点坐标模块、视差模块和计算模块: 所述中心点坐标模块用于根据所述第二路图像的手术器械区域，确定所述第二路图像的手术器械区域的中心点的横坐标；所述视差模块用于将所述第一路图像的手术器械区域的中心点横坐标与所述第二路图像的手术器械区域的中心点横坐标进行相减，得到所述手术器械的视差； 所述计算模块 用于根据所述视 差计算所述手术器械的深度。
全文摘要
本发明提供一种数字立体显微系统的虚拟标尺方法，包括获取显微系统的景深阈值区间；通过追踪算法追踪3D图像中第一路图像中的手术器械，得到第一路图像的手术器械区域；以第一路图像的手术器械区域为模板，对第二路图像进行相似度判断，得到与第一路图像的手术器械区域相似度最高的第二路图像的手术器械区域；根据第一路图像的手术器械区域和第二路图像的手术器械区域，确定手术器械的视差，再根据视差确定手术器械距离显微镜物镜的深度；若深度在景深阈值区间内，则标示深度。对应地本发明还提供一种数字立体显微系统的虚拟标尺系统。本发明能够精确确定3D图像中手术器械的深度，有效提高手术过程的安全性和可靠性。
文档编号A61B19/00GK103083089SQ20121058358
公开日2013年5月8日 申请日期2012年12月27日 优先权日2012年12月27日
发明者邵航, 张新, 叶斌, 曹峰 申请人:广东圣洋信息科技实业有限公司