本发明属于图像处理和口腔医学技术领域,涉及一种基于距离传感器和陀螺仪的口腔全景图像拼接方法。
背景技术:
如何获得口腔全景图像一直是口腔医学和牙科成像领域的研究热点和难点。现有的口腔全景成像技术一般是基于扫描仪的原理,例如3shape品牌的口腔激光扫描仪,在高精度扫描的同时,重构出牙齿模型。虽然这种全景口腔成像技术的成像精度较高,但复杂度和成本都很大,需要昂贵的专用扫描设备,并且需要专人操作,只适用于有实力的牙科医院和诊所,无法得到广泛应用。而随着光学成像技术的发展,现在以很低的成本、简单的操作就能获得口腔的局部图像,例如采用价格低廉的口腔内窥摄像头或其他类似设备就可以一次成像获得一两颗牙齿的某一牙面的图像。再通过连续多次的重复操作,医生就能获得所有拍摄到的局部图像。由于缺乏有效的口腔全景图像拼接方法,医生和病人现在只能通过回看来了解口腔情况,无法生成口腔全景图,也就不方便直观地观察整体口腔健康状况。而口腔全景图像拼接具有较大的技术难度,因为这种微距图像的拼接不同于一般远景图像拼接,需要有效解决图像畸变问题和图像筛选问题。虽然可检索到近年有一两项口腔全景图像的专利,但这些专利采用的仍然是传统的图像拼接技术,并没有涉及如何解决上述两个图像拼接过程中的问题。
技术实现要素:
本发明的目的在于提供一种基于距离传感器和陀螺仪的口腔全景图像拼接方法,解决了现有口腔图像拼接方法在图像畸变、图像筛选以及拼接方面效率低,精度低的问题。
本发明所采用的技术方案是按照以下步骤进行:
步骤1:基于距离传感器和陀螺仪的大视场图像畸变自适应校准算法对牙齿图像畸变进行校准;
步骤2:基于陀螺仪数据的视频流图像的贪婪筛选算法筛选图像;
步骤3:提取每幅图像的尺度不变特征变换(scale-invariantfeaturetransform,sift)特征点,对多幅图像的特征点进行匹配,生成变换矩阵并对图像进行旋转变换,最后完成多幅图像的粘合拼接。
进一步,基于距离传感器和陀螺仪的大视场图像畸变自适应校准算法包括:
步骤21),构建具有牙齿立体形态和标志性人工特征的靶型模具;
步骤22),对距离传感器和陀螺仪进行校准;
步骤23),在不同距离(利用距离传感器信息)和不同拍摄角度下(利用陀螺仪信息),基于模具图像,对镜头参数进行标定;
步骤24),生成不同拍摄距离和角度条件下畸变参数的四维矩阵查找表;
步骤25),结合距离传感器和陀螺仪,利用四维矩阵查找表,对牙齿图像畸变进行校准。
进一步,基于陀螺仪数据的视频流图像的贪婪筛选算法包括:
步骤31),同步读取视频流信息和陀螺仪数据,以求获得精确的旋转角度信息,并与视频流图像在时间轴上进行匹配;
步骤32),遍历时刻t到时刻t+δt的视频流(δt:用户感兴趣的视频时间长度),以时间分辨率t0对视频流进行采样,所获得图片标记为{ip}({ip}表示图像集合,下标p表示图像序号)。对每一张图像ip进行极坐标变换,并确定陀螺仪对应数值θp;
步骤33),贪婪筛选算法。设定两个参数:a.图像之间最大匹配帧数间隔k;b.关联置信阈值t。从第一帧(ip=1)开始,依次计算其与每一张图片在θp条件下的关联最大值,直到这个最大值小于t,这一帧标记为第s帧(s是关联最大值小于t时的图像帧数)。保留第一张和第s张这两张图像,而中间图像,即从第二张到第s-1张图全部删除。下一次迭代从第s张开始,重复以上步骤,直到视频流中所有的{ip}图像都被计算为止。
本发明的有益效果是能有效解决口腔图像的畸变问题和图像筛选问题,从而提高口腔图像的拼接准确度,并能减小运算复杂度。
附图说明
图1是本发明基于距离传感器和陀螺仪的口腔全景图像拼接方法流程示意图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明如图1所示,首先采用基于距离传感器和陀螺仪的自适应校准算法,对大视场图像的畸变进行校准,然后采用基于陀螺仪数据的贪婪筛选算法对视频流图像进行筛选,再提取筛选出的每幅图像的尺度不变特征变换(scale-invariantfeaturetransform,sift)特征点,对多幅图像的特征点进行匹配,生成变换矩阵并对图像进行旋转变换,最后完成多幅图像的粘合拼接。该方法生成的牙齿全景图对于牙科医生的临床诊断治疗和患者的预防保健都有很大益处。具体步骤如下:
第一步:构建具有牙齿立体形态和标志性人工特征的靶型模具。
第二步:对距离传感器和陀螺仪进行校准。
第三步:在不同距离(利用距离传感器信息)和不同拍摄角度下(利用陀螺仪信息),基于模具图像,对镜头参数进行标定。
第四步:生成不同拍摄距离和角度条件下畸变参数的四维矩阵查找表。
第五步:结合距离传感器和陀螺仪,利用四维矩阵查找表,对牙齿图像畸变进行校准。
第六步:同步读取视频流信息和陀螺仪数据,以求获得精确的旋转角度信息,并与校准后的视频流图像在时间轴上进行匹配。
第七步:遍历时刻t到时刻t+δt的视频流(δt:用户感兴趣的视频时间长度),以时间分辨率t0对视频流进行采样,所获得图片标记为{ip}({ip}表示图像集合,下标p表示图像序号)。对每一张图像ip进行极坐标变换,并确定陀螺仪对应数值θp。
第八步:设定两个参数:a.图像之间最大匹配帧数间隔k;b.关联置信阈值t。从第一帧(ip=1)开始,依次计算其与每一张图片在θp条件下的关联最大值,直到这个最大值小于t,这一帧标记为第s帧(s是关联最大值小于t时的图像帧数)。保留第一张和第s张这两张图像,而中间图像,即从第二张到第s-1张图全部删除。下一次迭代从第s张开始,重复以上步骤,直到视频流中所有的{ip}图像都被计算为止。
第九步:提取每幅图像的尺度不变特征变换(scale-invariantfeaturetransform,sift)特征点,对多幅图像的特征点进行匹配,生成变换矩阵并对图像进行旋转变换,最后完成多幅图像的粘合拼接。
本发明提出的基于距离传感器和陀螺仪的口腔全景图像拼接方法能够有效解决口腔图像的畸变问题和图像筛选问题,提高口腔图像拼接的准确度,减小运算复杂度。通过本发明所提拼接方法生成的牙齿全景图,医生和病人可以直观准确地了解口腔整体健康状况,对于牙科医生的临床诊断治疗和患者的预防保健都有很大益处。
本发明的优点还在于提出的基于距离传感器和陀螺仪的口腔全景图像拼接方法能有效解决口腔图像的畸变问题和图像筛选问题,从而提高口腔图像的拼接准确度,并能减小运算复杂度。
以上所述仅是对本发明的较佳实施方式而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施方式所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。