一种低功耗胶囊内窥镜图像采集及三维重建系统的制作方法

本发明属于图像采集和处理技术领域，具体涉及一种低功耗胶囊内窥镜图

像采集及三维重建系统。

背景技术

胶囊内窥镜主要依靠其内部的摄像装置完成受检者体内图像的拍摄，并通过数据处理装置对图像进行压缩等处理，由无线发送方式传到体外，所有这些设备均由胶囊内部电池供电。一方面，现有的胶囊内窥镜持续的拍摄肠道图片，并发送外部监控设备中，直到电池耗尽，这样的工作模式，使得整个胶囊内窥镜处于高功耗高耗电的状态；另一方面，胶囊内窥镜完成一次完整拍摄过程大约会拍摄大量的图像，而在拍摄过程中往往会存在很多的重复图像，这种重复图像的存在浪费胶囊有限的电量。因此需要降低功耗，延长胶囊内窥工作时长；另一方面给会使医生增加了工作负担，降低诊疗效率。

专利cn102973236b公开了一种通过检测电池电压是否小于门限值来决定是不是要rf进入窄带、间隔发送低功耗工作模式的方法，该方法并没有解决胶囊内窥镜的重复图像问题；

专利cn201710979327公开了一种图像帧率自适应的无线胶囊内窥镜系统及帧率自适应方法，通过胶囊内窥镜的第一姿态信息和便携式记录器的第二姿态信息得到的结果判断是否存在相对运动，来生成相应指令信号调整胶囊内窥镜的拍摄帧率。目前低功耗内窥镜与所接收到图片直接进行三维重建实现起来比较困难，目前的胶囊内窥镜存在采样帧率较低，被动前行、随机拍摄、不能对可以病灶部位进行重点的拍摄观察问题，并且由于图像数量大会导致诊疗效率的降低，因此，在低功耗胶囊内窥镜采集完图像后所接收的图片直接三维重建，构建成三维数据，直接供医师快速的诊断是有必要的。

技术实现要素：

本发明的目的在于：解决上述现有技术中的不足，提供一种低功耗胶囊内窥镜图像采集及三维重建系统，减少拍摄过程中无效重复图像的张数，提高胶囊的工作效率，节省胶囊内部有限的电量，通过疑似病灶区域的三维重建减少医生的阅片数量，提高诊疗效率。

为了实现上述目的，本发明采用的技术方案为：

一种低功耗胶囊内窥镜图像采集及三维重建系统，包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一mcu控制模块，所述的第一mcu控制模块分别与cmos图像传感器、图像压缩模块和无线发射模块连接，所述的无线发射模块和mcu控制模块分别与第一电源管理模块连接，所述的电源管理模块还与所述的cmos图像传感器连接，所述的cmos图像传感器还包括短焦镜头；所述的图像接收端包括第二mcu控制模块，所述的第二mcu控制模块分别与无线接收模块、sd卡存储模块、串口通讯模块和usb通讯模块连接，所述的第二mcu控制模块还与第二电源管理模块连接，所述的无线发射模块和无线接收模块均为双向无线通讯模块。

进一步的，上述的电源管理模块包括2.5v电源和1.2v电源，所述的2.5v电源分别与所述的第一mcu控制模块和无线发射模块连接，所述的1.2v电源与所述的cmos图像传感器连接。

进一步的，上述的第一mcu控制模块分别通过第一spi总线与cmos图像传感器、图像压缩模块和无线发射模块连接，所述的第二mcu控制模块通过第二spi总线与所述的无线接收模块连接，所述的第二mcu控制模块通过sdio接口与sd卡存储模块连接。

进一步的，上述的cmos图像传感器还通过i2c总线与led照明模块连接。

进一步的，上述的第一mcu控制模块通过单端零欧姆电阻共地方式分别与cmos图像传感器、图像压缩模块和无线发射模块连接。

进一步的，上述的无线接收模块的信号输入端还连接有接收前端放大单元。

一种低功耗胶囊内窥镜图像采集及三维重建方法，应用上述的一种低功耗胶囊内窥镜图像采集及三维重建系统，包括以下步骤：

步骤一：将胶囊内窥镜本体服入体内，胶囊内窥镜本体启动，第一mcu控制模块、cmos图像传感器和无线发射模块正常工作，cmos图像传感器拍摄肠道内的影像并通过无线发射模块传输至图像接收端中保存；

步骤二：系统对影像进行三维重建。

进一步的，上述的步骤一中：

胶囊内窥镜本体启动时，cmos图像传感器和led照明模块开始工作，无线发射模块处于断电状态；拍摄完成并通过cmos图像传感器内置的图像压缩模块将图片压缩完成后，cmos图像传感器和led照明模块断电，同时启动无线发射模块将图片发送至图像接收端；图像接收端中的第二mcu控制模块检测到sd卡存储模块将图片保存完成后，通过无线发射模块通知第一mcu控制模块，第一mcu控制模块收到通知后，控制无线发射模块进入断电状态且控制cmos图像传感器和led照明模块开始工作；

所述的胶囊内窥镜本体和图像接收端重复上述步骤，直到影像采集工作完成。

进一步的，上述的步骤二具体为：

步骤201：对图像接收端中保存的影像进行预处理，得到预处理图像，所述的预处理包括去除肠腔粘液的气泡引起的拍照时的高亮反光区域和对图片噪声进行差值处理；

步骤202：对得到的预处理图像进行栅格区域划分，根据栅格区域的特征分布参数提取数目稳定且分布均匀的特征，按照特征分布值从大至小对栅格区域重新排序；

步骤203：从特征分布值较大的前k个栅格区域中提取n个随机特征点且每个像素间的距离大于预设的距离阈值，然后对随机特征点进行匹配，得到序列图像；

步骤204：对相邻两帧序列图像进行匹配，得到cmos图像传感器的运动参数和三维坐标；

步骤205：根据cmos图像传感器的运动参数的三维坐标构建离散的三维网络，然后对离散的三维网络进行表面光滑，得到病灶区重建图像。

进一步的，上述的步骤203中对随机特征点进行匹配时，若存在匹配效果不达预期的非期望观测，则进行消除不稳定特征处理；

若在肠道中运行时胶囊内窥镜本体突然抖动引起当前帧与之前若干帧图像的特征点匹配失败，且在当前帧之后的若干帧图片中又重新匹配到已拍摄的序列图像，则删除当前帧之后的五帧图像，只对可疑病灶的特征区域三维重建。

由于采用了上述技术方案，本发明的有益效果是：

本发明的一种低功耗胶囊内窥镜图像采集及三维重建系统选用低功耗的mcu控制胶囊内窥镜本体，拍照时无线收发模块处于断电状态-拍照后cmos图像传感器和led照明断电—mcu控制启动无线发送模块和无线接收模块发送且接收图片完成后断电—mcu控制sd卡存储图片—mcu控制启动cmos图像传感器和led照明工作，循环工作状态下平均电流大大减小，低功耗效果明显。

本发明的系统由胶囊内窥镜本体和体外的图像接收端两部分组成。胶囊内窥镜本体硬件电路在电路设计选型的时候都尽量选用低功耗、小封装的器件。胶囊图像接收端能移动接收sd卡存储图片，可与电脑usb口通讯，以拷贝图片且在电脑上位机软件上实时显示所得图片。

本发明的系统图像采集功能完善，体积紧凑，系统工作稳定，可以很好的完成图像采集发送、接收、存储功能，软件上编写的循环工作状态大大降低了功耗，延长了系统工作时间。

对于重建的结果图，从光面光滑程度、凸起以及凹陷的检测率、肠道边缘清晰程度、是否接近真实表面等方面对比，可明显获得形状不一、大小不一的凹陷，褶皱在三维图中显示效果明显，形状各异的凸起均得到明显三维显示。同时，结果图的毛刺锯齿状现象得到改善，轮廓清晰，边缘表面比较光滑，有效的反映出肠道内部的基本特征。

附图说明

图1为本发明的图像采集控制流程示意图。

图2为本发明的胶囊内窥镜本体结构示意图。

图3为本发明的图像接收端结构示意图。

图4为图像采集模块内部结构示意图。

图5为本发明的重建方法流程示意图。

具体实施方式

参照附图1-5，对本发明的实施方式做具体的说明。

如图1-2所示，一种低功耗胶囊内窥镜图像采集及三维重建系统，包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一mcu控制模块1，所述的第一mcu控制模块1分别与cmos图像传感器5、图像压缩模块6和无线发射模块8连接，所述的无线发射模块8和第一mcu控制模块1分别与第一电源管理模块2连接，所述的第一电源管理模块2还与所述的cmos图像传感器5连接，所述的cmos图像传感器5还包括短焦镜头3；所述的图像接收端包括第二mcu控制模块9，所述的第二mcu控制模块9分别与无线接收模块12、sd卡存储模块13、串口通讯模块14和usb通讯模块15连接，所述的第二mcu控制模块9还与第二电源管理模块10连接，所述的无线发射模块8和无线接收模块12均为双向无线通讯模块。所述图像接收端中的无线通讯模块与胶囊内窥镜本体无线通讯模块区别在于胶囊内窥镜本体无线通讯模块添加了rfx2401c无线接收前端来提高接收灵敏度。

第一mcu控制模块1采用低功耗mcu，mcu控制电路负责cmos图像传感器5时序操作及数据获取、灯光照明系统和无线通讯模块控制、系统的电源管理。

进一步的，上述的第一电源管理模块2包括2.5v电源和1.2v电源，所述的2.5v电源分别与所述的第一mcu控制模块1和无线发射模块8连接，所述的1.2v电源与所述的cmos图像传感器5连接，所述的第一电源管理模块2选用ti公司dsbga封装的超低噪声线性稳压器lp5907，所述的cmos图像传感器5选用的是带有压缩引擎的cmos图像传感器，通过cmos图像传感器5直接完成图片采集和压缩输出，无需再增加其他外围电路。

所述第一电源管理模块2采用超低噪声线性稳压器，一路输出2.5v给第一mcu控制模块1和无线发射模块8供电；另一路输出1.2v单独给cmos图像传感器5供电。这样设计保证模拟信号和数字信号的隔离，cmos图像传感器5电源与其他电路模块的电源隔离开，免受其他电路电源的纹波对传感器采集的图像干扰，以及可减少无线通讯的丢包率。

进一步的，上述的第一mcu控制模块1分别通过第一spi总线与cmos图像传感器5、图像压缩模块6和无线发射模块8连接，所述的第二mcu控制模块9通过第二spi总线与所述的无线接收模块12连接，所述的第二mcu控制模块9通过sdio接口与sd卡存储模块13连接。

进一步的，上述的cmos图像传感器5还通过i2c总线与led照明模块4连接。

所述胶囊内窥镜本体的led照明模块采用带反射器的白色高亮led对称布局为系统拍摄光源，胶囊内镜的图像质量除了与光源的选择有关外还与其位置和周围的环境有关，同一对象在不同的照明条件下产生不同质量的图像。低照度可能导致图像较暗，过度照明可能导致过曝现象，平衡的照明条件能更好的获得图像的信息和细节。所以系统光源设计重点在于保证系统照明的均匀度。拍摄物体的亮度主要依赖于以下几个因素：胶囊本身的位置、拍摄物的距离、物体的反光程度、led光源的数量、led照明的角度。设计的照明系统必须能根据拍摄环境自动调节亮度，减少系统拍摄图像过度曝光或者图像过于黑暗，实现平衡照明，也可以最大限度的节省功耗。

当系统电压低于白色led的工作电压2.7v而高于系统可工作最小电压2.5v这区间内led灯还能继续工作，本系统采用了可以升压，驱动电流可编程的闪光灯控制芯片lm3643延长系统拍摄时间。

所述胶囊内窥镜图像采集系统的胶囊内窥镜本体照明系统与cmos图像传感器同步，在拍摄图像之前开启led照明模块4，拍摄完之后停止触发来关闭led照明模块4。

进一步的，上述的第一mcu控制模块1通过单端零欧姆电阻共地方式分别与cmos图像传感器5、图像压缩模块6和无线发射模块8连接。

进一步的，上述的无线接收模块12的信号输入端还连接有接收前端放大单元11。

一种低功耗胶囊内窥镜图像采集及三维重建方法，应用上述的一种低功耗胶囊内窥镜图像采集及三维重建系统，包括以下步骤：

步骤一：将胶囊内窥镜本体服入体内，胶囊内窥镜本体启动，第一mcu控制模块1、cmos图像传感器5和无线发射模块8正常工作，cmos图像传感器5拍摄肠道内的影像并通过无线发射模块8传输至图像接收端中保存；

步骤二：系统对影像进行三维重建。

进一步的，上述的步骤一中：

胶囊内窥镜本体启动时，cmos图像传感器5和led照明模块4开始工作，无线发射模块8处于断电状态；拍摄完成并通过cmos图像传感器5内置的图像压缩模块6将图片压缩完成后，cmos图像传感器5和led照明模块4断电，同时启动无线发射模块8将图片发送至图像接收端；图像接收端中的第二mcu控制模块9检测到sd卡存储模块13将图片保存完成后，通过无线接收模块12通知第一mcu控制模块1，第一mcu控制模块1收到通知后，控制无线发射模块8进入断电状态且控制cmos图像传感器5和led照明模块4开始工作；

所述的胶囊内窥镜本体和图像接收端重复上述步骤，直到影像采集工作完成。

当cmos图像传感器5采集完一张图片后，第一mcu控制模块1发送停止采集命令，cmos图像传感器5断电停止拍照，同时第一mcu控制模块1发送传送数据命令，无线发射模块8开始供电并将cmos图像传感器5采集到的图片数据发送出去，当图像接收端的无线接收模块12成功接收到cmos图像传感器采集的图片数据，此时向第二mcu控制模块9发送接收完图片数据信号，第二mcu控制模块9就发送命令控制无线发射模块12和无线接收模块8断电，并且同时向cmos图像传感器5发送拍照命令，这时cmos图像传感器5获得供电并开始拍照。当cmos图像传感器5在拍照状态时，无线发射模块8和无线接收模块12都是出于断电状态。也就是相机只在需要拍照时才供电，拍照过程中无线发射模块8和无线接收模块12都处于断电状态，相机拍完照片后就断电。相机拍完照片断电的同时，给无线发射模块8和无线接收模块12供电，当无线接收模块12接收完图片数据后，再次控制相机拍照。如此循环工作，达到降低功耗，节省电源的目的。

cmos图像传感器5采集到的图片是压缩后的jpeg图片再经无线发射模块8发送到图像接收端中的sd卡存储模块13存储起来。也可在无线接收模块12接收完图片数据后将图片实时显示在上位机软件中，在cmos图像传感器5采集图片时，同时用磁感器阵列调整体内胶囊的状态，从而得到精度更高的图片，这种方式获得的图片对于诊断更加准确。所述胶囊内窥镜本体的cmos图像传感器5自带压缩引擎，可支持整帧、子采样、缩放和取窗口等方式下各种分辨率8位或者10位影像数据输出。还可以通过sccb接口控制，实现自动曝光控制、白平衡、对比度调节、色饱和度调节等功能。通过该传感器直接完成图片采集和压缩输出，无需再增加其他外围电路。

进一步的，上述的步骤二具体为：

步骤201：对图像接收端中保存的影像进行预处理，得到预处理图像，所述的预处理包括去除肠腔粘液的气泡引起的拍照时的高亮反光区域和对图片噪声进行差值处理；

步骤202：对得到的预处理图像进行栅格区域划分，根据栅格区域的特征分布参数提取数目稳定且分布均匀的特征，按照特征分布值从大至小对栅格区域重新排序；

步骤203：从特征分布值较大的前k个栅格区域中提取n个随机特征点且每个像素间的距离大于预设的距离阈值，然后对随机特征点进行匹配，得到序列图像；

步骤204：对相邻两帧序列图像进行匹配，得到cmos图像传感器5的运动参数和三维坐标；

步骤205：根据cmos图像传感器5的运动参数的三维坐标构建离散的三维网络，然后对离散的三维网络进行表面光滑，得到病灶区重建图像。

进一步的，上述的步骤203中对随机特征点进行匹配时，若存在匹配效果不达预期的非期望观测，则进行消除不稳定特征处理；

若在肠道中运行时胶囊内窥镜本体突然抖动引起当前帧与之前若干帧图像的特征点匹配失败，且在当前帧之后的若干帧图片中又重新匹配到已拍摄的序列图像，则删除当前帧之后的五帧图像，只对可疑病灶的特征区域三维重建。

在基于栅格区域的orb特征随机选取方法，使得在特征数目稳定同时，在二维图像上的映射点均匀的在分布在图像中。

基于栅格区域的orb特征随机选取方法如下：

首先，把预处理后的图像划分为指定大小的栅格区域如m＊n个，m、n为常数；

利用orb特征提取算法检测出整幅图像的特征点，则这些orb特征点会随机地分布在m＊n个栅格区域中。

记特征点在区域中的位置坐标fi(uj，vj)，i＝1，2...，m*n，j＝1，2，...ni。

然后计算n个orb特征点位置坐标均值、方差，从而统计出区域内分布参数值：按照特征分布值从大到小来对栅格区域进行重新排序，然后从特征分布指数值较大的前k个栅格区域中提取n个随机特征点，并且每个像素间的距离要大于所设定的阈值保证提取特征点不重叠，这样将在某个区域内提取的紧凑的特征点很可能对区域图像的特征描述没有实际意义，而某些特征点少的区域可能对整个图像的描述很有必要，通过这样筛选特征随机选取提升了算法的效率与准确性。

对于特征匹配，在特种匹配区域用主动搜索方法，减小特征匹配复杂度，提升匹配的效率。对于可能存在的误匹配，通过改进扩展的扩展卡尔曼滤波算法，删除误匹配，同时补救有用特征信息。

对所接收储存的肠胃道图像特征分析，对于肠胃道中残存的气泡或肠道自身的粘液，导致胶囊内镜在拍摄中严重反光，输出图像出现的高亮区域，采用“临近像素点的特征近似”思路引入光滑迭代算法与数字形态学方法对图像进行去除反光区域。

对于存在噪声的图像或分辨率较低的问题，用差值处理。

由于胶囊内窥镜图像采集获取特征的二维信息，需通过多次观测得到其深度信息。利用不同位置的视角差，根据三角测量原理选择合理的优化算法及表面约束条件进行求解得到图像深度信息。

同时，为确保三维重建的结果最大化的接近真实的肠胃道表面，在基本的明暗恢复形状的基础上融入八点法，在三维表面的光滑处理中采用nurbs曲线的立方插值算法，结合曲面光顺的能量法的思想，采用更加贴合实际表面的控制点求解法来改善重建结果可能存在不光滑现象，增强三维显示效果。