使用单色传感器的宽动态范围的制作方法
【专利摘要】本公开涉及在光不足环境中用于图像内的宽动态范围的方法、系统和计算机程序产品。
【专利说明】使用单色传感器的宽动态范围
[0001] 香叉引用
[0002] 本申请请求于2012年7月26日提交的美国临时专利申请No. 61/676,289,和于 2013年3月15日提交的美国临时专利申请No. 61/790, 719, W及于2013年3月15日提交 的美国临时专利申请No. 61/790, 487的权益，该些申请在此通过引用方式W其全部内容并 入本文中，包括但不限于在下文中具体出现的那些部分，通过参考形成的该合并带有W下 例外；在上述参考的申请的任意部分与本申请不一致的情况下，本申请取代所述的上述参 考申请。
【背景技术】
[0003] 技术的进步提供医学用途的成像能力的进步。因为组成内窥镜的组件上的进步， 享受最有益的进步中的一些的领域是内窥镜外科手术的领域。
[0004] 该公开一般设及与增强视频流的帖中的增加的动态范围有关的电磁感测和传感 器。本公开的特征和优点将在后面的说明中阐述，并且其中的部分将从该说明中显而易见， 或者在没有过度实验的情况下通过本公开的实践而学习本公开的特征和优点。本公开的特 征和优点将通过在所附权利要求中具体指出的手段和结合来实现和获得。
【专利附图】
【附图说明】
[0005] 参考W下附图来描述本公开的非限制和非唯一的实施方式，其中在整体的各个视 图中，除非另外指示，相同的数字设计相同的部分。本公开的优点关于W下说明和附图会变 得更好理解，其中：
[0006] 图1示出根据本公开的原理和教导的帖序列图案的实施方式；
[0007] 图2示出根据本公开的原理和教导的帖序列图案的实施方式；
[000引图3示出根据本公开的原理和教导的帖序列图案的实施方式；
[0009] 图4示出根据本公开的原理和教导的帖序列图案的实施方式；
[0010] 图5示出根据本公开的原理和教导的像素的实施方式的示意表示；
[0011] 图6示出根据本公开的原理和教导的共享像素构造的实施方式的示意表示；
[0012] 图7示出根据本公开的原理和教导的共享像素构造的实施方式的示意表示；
[0013] 图8示出根据本公开的原理和教导的具有多个像素的像素阵列的实施方式的示 意表示，该些像素具有不同的敏感度；
[0014] 图9示出根据本公开的原理和教导的像素阵列的操作的图解表示；
[0015] 图10示出根据本公开的原理和教导的像素阵列的操作的图解表示；
[0016] 图11示出根据本公开的原理和教导的像素阵列的操作的图解表示；
[0017] 图12示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解 表不；
[001引图13示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解 表不；
[0019] 图14示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解 表不；
[0020] 图15示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解 表不；
[0021] 图16不出根据本公开的原理和教导的、随着时间推移的具有多个曝光敏感度的 像素阵列的操作的图解表示；
[0022] 图17示出根据本公开的原理和教导的图像传感器的实施方式的流程图；
[0023] 图18示出根据本公开的原理和教导的具有多个像素敏感度的传感器的曝光响应 的图解表不；
[0024] 图19示出根据本公开的原理和教导的在长时间曝光信号上加权的融合的图解表 示；
[0025] 图20示出根据本公开的原理和教导的用于数据压缩的传递函数的实施方式的图 解表示；
[0026] 图21示出根据本公开的原理和教导的用于数据压缩的实施方式的图解表示；
[0027] 图22示出根据本公开的原理和教导的帖序列图案的实施方式；
[002引图23示出根据本公开的原理和教导的帖序列图案的实施方式；
[0029] 图24示出根据本公开的原理和教导的帖序列图案的实施方式；
[0030] 图25示出根据本公开的原理和教导的硬件的实施方式；
[0031] 图26A和图26B示出根据本公开的原理和教导的具有用于产生S维图像的多个像 素阵列的实施方式；
[0032] 图27A和图27B分别示出在多个基板上建立的图像传感器的实施方式的透视图和 侧视图，其中形成像素阵列的多个像素列位于第一基板上并且多个电路列位于第二基板上 并且显示一个像素列与其关联或对应的电路列之间的电连接和通信；和
[0033] 图28A和28B分别示出具有用于产生S维图像的多个像素阵列的图像传感器的实 施方式的透视图和侧视图，其中多个像素阵列和图像传感器建立在多个基板上。
【具体实施方式】
[0034] 本公开设及用于首先适合于医学应用的数字成像的方法、系统和基于产品的计算 机。在本公开的下列说明书中，对于形成说明书的一部分的附图进行参考，并且在附图通过 其中实践本公开的示例特定实施方式的方式来显示。应当理解的是，可W利用其它实施方 式并且在没有偏离本公开的情况下可W形成结构上的改变。
[0035] 如本文所使用的，发射器是一种能够产生和发送电磁脉冲的设备。发射器的各种 实施方式可W适配为发射脉冲并且具有来自整个电磁频谱内的频率范围或非常特定的频 率。脉冲可W包括来自可见范围和不可见范围的波长。发射器可W被循环地打开和关闭W 产生脉冲或利用快口机构可W产生脉冲。发射器可W具有可变功率输出水平或可W利用二 级设备例如光圈或过滤器来控制。发射器可W发射宽频谱或全频谱电磁福射，该全频谱电 磁福射可W通过颜色过滤或快口来产生脉冲。发射器可W包括单独作用或一致作用的多个 电磁源。
[0036] 动态范围值ynamic range, DR)可W为数字相机系统例如在内窥镜或其它应用中 使用的那些相机的最重要的特征中的一种。其管理系统利用亮度的宽范围来获取场景的能 力。当系统的响应被调节至容纳明亮的区域，在场景的弱光区域内的细节和太小的DR会在 噪声中损失。相反，如果调节系统W带来弱光细节，那么在明亮区域中的信息可能损失，因 为信号超过饱和度水平。DR可W限定为最大的允许信号Sm"和最小的可分辨信号之间的比 例。后者常规地等同于总体读取噪声〇c，该噪声源自传感器内的模拟读出过程：
[0037]
【权利要求】
1. 一种用于在光线不足的环境中数字成像的系统，包括： 发射器，用于提供在电磁脉冲中提供照明； 图像传感器，其对于电磁脉冲敏感并且从电磁脉冲创建图像数据； 其中，所述图像传感器包括不同像素的多个子集； 其中，每个像素包括传输门晶体管； 其中，一个像素子集中的每个传输门晶体管通过TX信号电连接在一起； 其中，TX信号提供每个像素子集的传输门晶体管（TX)的全局操作； 存储器，其包括用于控制发射器以便对于与不同像素的子集对应的多个曝发光脉冲的 指令； 其中，所述存储器还包括在不读取脉冲敏感像素的图像传感器帧周期的预先限定部分 期间对要被发射的脉冲进行协调的指令；并且 其中，处理器包括多个曝光以扩展动态范围。
2. 根据权利要求1所述的系统，其中，所述发射机包括激光。
3. 根据权利要求1所述的系统，其中，所述发射机包括发光二极管。
4. 根据权利要求1所述的系统，其中，图像传感器为单色传感器。
5. 根据权利要求4所述的系统，其中，像素的多个子集以棋盘模式设置。
6. 根据权利要求1所述的系统，其中，两个像素共享浮置扩散。
7. 根据权利要求1所述的系统，其中，四个像素共享浮置扩散。
8. 根据权利要求5所述的系统，其中，两个像素在双向像素共享的水平方向上共享浮 置扩散，其中TX信号包括TX1信号和TX2信号。
9. 根据权利要求8所述的系统，其中，TX1信号在奇数行上附接位于双向像素共享的 左侧上的像素的传输门晶体管（TX)和在偶数行附接位于双向像素共享的右侧上的像素的 传输门晶体管（TX)，并且TX2信号在奇数行上附接位于双向像素共享的右侧上的像素的传 输门晶体管（TX)和在偶数行上附接位于双向像素共享的左侧上的的像素的传输门晶体管 (TX)。
10. 根据权利要求9所述的系统，其中，TX1信号和TX2信号的全局操作在读取脉冲敏 感像素的图像传感器帧周期的预先限定部分期间执行。
11. 根据权利要求1所述的系统，其中，所述图像传感器不包括拜耳模式。
12. -种在环境光不足的环境中用于内窥镜的数字成像方法，包括： 利用脉冲的电磁辐射来照明环境； 利用所述像素阵列感测反射的电磁辐射的多个不同曝光； 从生成图像数据的所述像素阵列接收图像数据； 从所述图像数据创建图像帧； 在不读取脉冲敏感像素的图像传感器帧周期的预先限定部分期间发射脉冲；和 通过按顺序将使用多个不同曝光而得到的多个图像帧拼接而创建图像流，以在图像帧 中提供增加的动态范围。
13. 根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以红色、绿色和蓝绿色的 模式而被脉冲发射。
14. 根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以亮度色度蓝、亮度色度 红的模式而被脉冲发射。
15. 根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以四次循环模式而被脉 冲发射。
16. 根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以三次循环模式而被脉 冲发射。
17. 根据权利要求12所述的方法，其中，脉冲发射的电磁辐射包括在红绿蓝颜色空间 和亮度色谱红色色谱蓝色颜色空间。
18. 根据权利要求12所述的方法，包括在像素阵列操作的充电期间进行水平合并。
19. 根据权利要求12所述的方法，还包括改变帧曝光周期的的模式。
20. 根据权利要求12所述的方法，还包括通过将位于相对场景便宜的多个基板上的多 个像素阵列的图像帧拼接而创建三维图像流。
21. 根据权利要求12所述的方法，其中，像素阵列设置于第一基板上并且支持电路远 程设置于第二基板上。
22. 根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模 式是与短时间暴光的绿色结合的长时间曝光的绿色、然后蓝色、然后与短时间曝光的绿色 结合的长时间曝光的绿色、然后红色的循环。
23. 根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模 式是与短时间曝光的绿色结合的长时间曝光的绿色、然后与短时间曝光的蓝色结合地长时 间曝光的蓝色、然后与短时间曝光的绿色结合的长时间曝光的绿色、然后与短时间曝光的 红色结合的长时间曝光的红色的循环。
24. 根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模 式是与短时间曝光的亮度结合的长时间曝光的亮度、然后色度蓝色，然后与短时间曝光的 亮度结合的长时间曝光过的亮度、然后色度红色的循环。
25. 根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模 式是与短时间曝光的亮度结合的长时间曝光的亮度、然后与短时间曝光的色度蓝色结合的 长时间曝光的色度蓝色、然后与短时间曝光的亮度结合的长时间曝光的亮度、然后与短时 间曝光的色度红色结合的长时间曝光的色度红色的循环。
26. 根据权利要求12所述的方法，还包括脉冲激发发射器以产生在相同帧内具有色度 蓝色和色度红色的模式。
27. 根据权利要求12所述的方法，还包括脉冲激发发射器以产生在相同帧内具有蓝色 和红色的模式。
【文档编号】H04N5/3745GK104488259SQ201380039025
【公开日】2015年4月1日 申请日期:2013年7月26日 优先权日:2012年7月26日
【发明者】洛朗·布朗卡尔, 约翰·理查森 申请人:橄榄医疗公司