一种双晶片内窥镜成像方法及成像装置与流程

本发明涉及内窥镜成像，具体涉及一种双晶片内窥镜成像方法及成像装置。

背景技术：

1、硬管内窥镜摄像系统中的内窥镜摄像头，一般可采用单晶片(bayer rgb格式)，或是三晶片(r、g、b分别用3个独立的mono单色传感器采集)的设计结构。

2、单晶片方案结构简单，但是由于采用bayer格式排列，单色通道的物理分辨率达不到全分辨率，rgb的全分辨率图像需要后期通过插值(demosaic)来实现。

3、三晶片解决方案结构复杂，需要通过三分光棱镜和滤光片来实现3个色彩通道的采集。由于安装时需要对齐三个传感器，工艺较为负责。优点在于，全分辨率的彩色图像可以直接获取，无需通过后期插值算法，分辨率会比单晶片的要优良。同时单色传感器可以达到更高的信噪比。

4、双曝光hdr是通过高低两次曝光后图像融合，从而保证视场内的画面亮度均匀；既没有under exposed区域，也没有over exposed区域。双曝光hdr的一个缺点在于，需要前后两帧图像(一帧短曝光，一帧长曝光)，因此会造成实际帧率的下降，也容易产生运动模糊。

5、由于内窥镜为实时采集实时显示的设备，通过双曝光实现hdr一直在内窥镜中无法应用。但由于体内组织结构的复杂，尤其场景中包含远景和近景时，不可避免有一定的画面比例出现过曝现象。例如，需要观察的是远景，但是画面中无法避免出现近景，为了保证远景可以看到合适亮度的画面，就需要更长的曝光参数，但是更长的曝光参数会造成近景的过曝。由于无论是单晶片还是三晶片的解决方案，都只能定一个曝光参数，因此这种过曝现象无法解决。这也是临床中的一个经常被医生抱怨的点。另外一个例子，是当手术器械出现在画面中时，尤其是是白色或是银色的器械，如果不压低曝光时间，那么器械一定会过曝，但是如果降低了曝光时间，又会造成后面组织器官过暗看不清楚。

技术实现思路

1、本发明提供一种双晶片内窥镜成像方法及成像装置，不降低帧率的情况下确保整场图像明亮度一致，使得整个手术更加流畅，效率更高。

2、根据第一方面，本发明提供一种双晶片内窥镜成像装置，包括：

3、光学镜头组件，所述光学镜头组件用于接收来自待观察区域的成像光线；

4、分光组件，所述分光组件用于将所述成像光线一分为二，分别形成第一成像光线和第二成像光线；

5、图像获取模块，所述图像获取模块包括第一传感器和第二传感器，所述第一传感器用于对所述第一成像光线进行光电转换以获取第一图像，所述第二传感器用于对所述第二成像光线进行光电转换以获取第二图像；

6、控制模块，所述控制模块包括第一控制模块和第二控制模块，所述第一控制模块用于接收第一控制命令，并采用第一曝光策略对第一图像进行第一曝光，以得到第一曝光图像；所述第二控制模块用于接收第二控制命令，并采用第二曝光策略对第二图像进行第二曝光，以得到第二曝光图像；

7、以及处理模块，所述处理模块用于接收第三控制命令，并对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像；

8、其中，所述第一曝光策略和第二曝光策略根据第一图像和第二图像上的图像信息以及曝光目的确定。

9、一种实施例中，所述第一控制模块采用第一曝光策略对第一图像进行第一曝光，得到第一曝光图像包括：将第一图像划分为多个区域，对多个所述区域同时进行多次曝光使得第一图像多个所述区域的各个像素亮度处于全局最优亮度且无过曝的模式，以确定第一曝光时间，根据第一曝光时间对第一图像进行第一曝光得到第一曝光图像。

10、一种实施例中，所述第二控制模块采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像包括：将第二图像划分为中心区域和边缘区域，对所述中心区域进行多次曝光，使得第二图像中心区域的各个像素亮度处于最优亮度的模式，以确定第二曝光时间，根据第二曝光时间对第二图像进行第二曝光得到第二曝光图像，所述中心区域为所述第二图像中待仔细观察的区域。

11、一种实施例中，所述第二控制模块采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像包括：将第二图像划分为多个区域，对多个所述区域同时进行曝光，使得第二图像多个所述区域的各个像素亮度至少部分处于过曝模式，以确定第二曝光时间，根据第二曝光时间对第二图像进行第二曝光得到第二曝光图像。

12、一种实施例中，所述第二控制模块采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像包括：所述采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像包括：对第二图像中感兴趣的区域进行曝光，使得第二图像感兴趣的区域的各个像素的亮度处于最优亮度的模式，以确定第二曝光时间，根据第二曝光时间对第二图像进行第二曝光得到第二曝光图像。

13、一种实施例中，所述感兴趣的区域为使用图像识别和分割算法确定第二图像中的器械区域后，排除所述器械区域后剩余的图像区域。

14、一种实施例中，所述处理模块对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像包括：

15、将第一曝光图像经去马赛克处理后获得第一rgb图像；

16、将所述第一rgb图像转换为第一色彩空间，所述第一色彩空间包括第一通道图像、第二通道图像和第三通道图像；

17、将所述第二曝光图像与所述第一通道图像融合得到第四通道图像，所述第四通道图像与所述第二通道图像和第三通道图像组合形成第二色彩空间；

18、将所述第二色彩空间转换为第二rgb图像并输出为内窥镜图像。

19、一种实施例中，所述第一色彩空间为l*a*b色彩空间、hsv色彩空间或yuv色彩空间中的一种。

20、一种实施例中，还包括显示装置，所述显示装置与所述处理装置连接，用以显示所述内窥镜图像。

21、根据第二方面，本发明提供一种双晶片内窥镜成像方法，包括以下步骤：

22、待观察区域的成像光线通过分光元件一分为二，分别形成第一成像光线和第二成像光线，所述第一成像光线和第二成像光线分别通过第一传感器和第二传感器光电转换后形成第一图像和第二图像；

23、接收第一控制命令，采用第一曝光策略对第一图像进行第一曝光，得到第一曝光图像；

24、接收第二控制命令，采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像；

25、以及接收第三控制命令，对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像；

26、其中，所述第一曝光策略和第二曝光策略根据第一图像和第二图像上的图像信息以及曝光目的确定。

27、依据上述实施例中的内窥镜成像方法和装置，由于第一传感器和第二传感器能够获得不同的图像，第一控制模块和第二控制模块采用不同的曝光策略分别获得两个不同的曝光图像，再经过处理模块使两个不同的曝光图像融合，使得最终获得的图像整场亮度一致，不会出现由于图像过暗或过亮造成看不清楚的现象，使整个手术更加流畅，效率更高，保证了在不降低帧率、增加运动拖影的情况下的图像质量，突破了双曝光hdr技术在内窥镜中的应用。