自动内窥镜识别、以及图像处理和显示设置的选择的制作方法

专利名称：自动内窥镜识别、以及图像处理和显示设置的选择的制作方法
技术领域：
本发明的至少一个实施例涉及内窥镜成像系统。更特别地，本发明涉及 用于自动识别与内窥摄像机耦接的内窥镜、以及用于为由此获得的图像的显 示或处理自动选择一个或多个设置的技术。
背景技术：
医学领域的内窥镜检查法使得能够无需利用传统的、全入侵的外科手术， 而检查患者身体的内部特征。内窥镜检查法的基本工具是内窥镜(或 "scope")。在内窥镜检查的医疗过程期间，内窥镜的一端被插入到患者体内， 并且，典型地，另一端连接到摄像机。该摄像机基于通过该内窥镜所接收到 的光而产生图像数据，且使用该图像数据在显示装置上显示身体内部的实时 视频图像。各种类型的内窥镜包括如现在通常(例如，在肠胃病学中)所使用的可 变形内窺镜(flexible scopes )、如现在通常(例如，在腹腔镜检查和关节镜4全 查中)所使用的刚性内窥镜、以及如现在通常(例如，在泌尿科中)所使用 的半刚性内窥镜。内窥镜被设计成为具有各种不同的物理和功能特性(长度、 直径、光学器件的类型、放大倍率、材料、柔韧度，等等)，以与其预期用途 相适应。由于不同类型的内窥镜医疗过程是在不同的条件下执行的，所以，摄像 机设置趋向于依赖正在执行的过程的类型。例如，在腹腔镜检查中，由于腹 腔很大，通常需要更多的光线。然而，在关节镜检查的肩部手术期间，太多 的光线将产生反射，使得外科医生难以观察。可包括其设置能够根据正在执 行的过程而变化的参数，例如视频增益级别、增强级别、相机快门速度、 伽玛级别等。现有的内窺镜系统所具有的一个问题在于，对于医疗人员而言，其不得 不确定、并手动设定与将要执行的过程最适应的相机设置，这将是不便利且 耗时的。这么估文可以包括试-验和错误处理，而这却并一定产生对所述过程而选择的最优的设置。 发明内容本发明包括一种方法，该方法包括从与内窥镜耦接的摄像机接收代表 图像的图像数据；以及基于取决于内窥镜的物理特性的图像的特性，而自动 地选择用于摄像机所获得的图像的处理或显示的参数的值。本发明的另一方面是一种方法，其包括从与内窥镜耦接的摄像机接收 代表图像的图像数据；以及基于取决于内窥镜的物理特性的图像的特性，而 自动识别内窥镜。本发明进一步包括用来执行这样的方法的系统和装置。从附图和下面的详细描述中，本发明的其它方面将是显而易见的。


本发明的一个或多个实施例经由例子图解，且并不限制为附图中的数字， 其中，同样的附图标记指示相似的元素，其中图1A和1B共同图解了内窥镜检查医疗成像系统； 图2A和2B图解了由两个不同的内窥镜/耦合器组合产生的视频帧； 图3是显示相机控制单元(CCU)的架构的例子的框图；以及 图4显示了自动内窥镜识别和参数值选择的过程。具体实施例部分描述了 一种方法和装置，用于自动识别与内窺镜摄像机耦接的内窥镜， 以及用于为由此获得的图像的显示和处理选择一个或多个设置。本说明书中的参考"实施例"、"一个实施例"等等意味着所描述的该特 定特征、结构或特性包括在本发明的至少一个实施例中。本说明书中，这样 的术语的出现并不必然地表示相同的实施例。由于内窥镜的物理结构，取决于内窥镜和/或将内窥镜连接到摄像机的耦 合器的放大倍率，来自内窥镜摄像机的图像通常(并不总是)是圆形的。(典 型地，内窺镜具有内置的耦合器，或者被设计为与特定类型的外部耦合器一 起使用)。圆形图像外围的可用显示区域通常是黑色的。相对于总共的可用显 示面积(也就是帧大小)的图像的直径取决于内窥镜的放大倍率、和/或耦合器(如果有的话)的放大倍率，其随之取决于内窥镜与耦合器内的特定光学 器件。例如，腹腔内窺镜、关节内窺镜、膀胱内窥镜、以及子宫内窥镜典型 地具有彼此不同的放大倍率，这导致监视器上不同的图像大小。图2A显示了由与内窥镜耦接的摄像机所产生的视频帧中所包含的图像 的例子。在帧22的未使用部分中，圆形图像21被黑色区域23所包围。图 2B显示了可能由不同的内窥镜和耦合器制造的图像的例子，该内窥镜和耦合 器提供比与图2A相关联的内窥镜和耦合器更大的放大倍率。可以看出，与 图2A中的帧22的对应特性相比，在图2B中的帧25中，图像24的直径更 大，且黑色区域26相应地更小。因此，相对于全部帧大小的实际图像大小可以被认为是附连到摄像机的 内窺镜类型(类别)的指示，且因此，被认为是将被执行的过程的类型的指 示。因此，可使用图像大小，或相反地，图像外部的未使用的(黑色)显示 区域的量，来推断附连到摄像机的内窥镜(或内窥镜和耦合器的组合)的物 理特性，例如其放大倍率(取决于其光学器件)。因此， 一般地，由于内蔬镜 的类型是过程的类型的指示，所以，可以进一步将图像大小(或黑色空间的 量)用作自动识别所使用的内窥镜的类型(例如，腹腔内窺镜、关节内窥镜 等等)、和/或选择用于各种图像处理和最适合于该内窥镜和/或所执行的过程 的显示参数的设置(值)的基础。因此，如下面更加详细地描述的那样，将相机控制单元(CCU)连接到 与内窥镜连接的内窥镜摄像机。响应于在内窺镜检查过程开始之前的开始命 令或其它类似信号，CCU计数从该摄像机所接收的视频帧的每(水平)行中 的黑色像素的数量，以及确定每行的黑色像素的最小和最大数量。这些数量 指示图像直径(例如，图像越大，则每行的黑色像素的最小和最大数量越小)， 其也指示所使用的内窥镜和耦合器的类型。例如，如图2B所示，由于对于帧 中的至少一行，图像占据整个行，所以，对于腹腔内窺镜，每行的黑色像素 的最小数量通常为零。10 mm直径的腹腔内窺镜每行所具有的黑色像素的最 大数量通常为零(即，图像占据了整个帧)，而直径为5mm的腹腔内窥镜每 行所具有的黑色像素的最大数量通常为非零，例如在图2B中所代表的。因此，帧中每行黑色像素的最小和/或最大数量被用于在数据结构中进行 查找、以及选择所使用的内窺镜的类型(例如，腹腔内窺镜、关节内窺镜等 等)和/或由控制单元用于处理或显示图像的各种参数的适当的值。假设数结构先前已经被建立为包含用于多个可能的内窥镜/耦合器配置的可能的内 窺镜类型和参数的优选值。数据结构中的值可能已经在被存储于数据结构中之前(在使用该过程之前很久)，被实验性地确定(例如，由ccu制造者)。 这样，可以自动识别内窥镜，并可以自动鉴别并选择用于内窥镜和耦合 器的该组合的优选的参数设置。由于不需要对于摄像机、耦合器或内窥镜的 硬件修改，所以，该技术是具有优势的。该技术可在例如ccu的中央装置中 全部由软件实现。通过避免需要额外或更多高级硬件，该技术有助于减少系 统的成本，且提供更加可靠的系统。另外，或者作为选择，ccu能够经由任意传统的通信链路，向诸如监视器或数字视频/图像捕捉装置的一个或多个其它装置发送查找操作的输入(也 就是，每行黑色像素的最小/最大数量)、或者查找到的值。这将允许其它装 置识别内窥镜和耦合器，或者为取决于内窺镜和耦合器的物理特性的一个或 多个参数确定合适的值。作为另一个选择，ccu可以向其它装置发送关于所 识别的内窥镜的信息(例如，识别内窥镜的类型的信息、或其它类似信息)。 注意，对于本文档的目的，术语"黑色"(例如，考虑黑色像素的数量) 并不一定意味着绝对黑色、或者由所使用的设备可以获得的最黑的值。而是 意味着出现特定的最小的黑色程度。可以使用任何合理的阈值(例如，对于 像素颜色和/或强度)，以确定特定像素是否是黑色。现在参考图1A和1B,其共同图解了可应用该技术的内窥镜医疗成像系 统的例子。图1A显示了该系统的图像产生、显示和支持组件，而图1B图解 了该系统的数据获取组件。数据获取组件包括内窥镜2、摄像机3、以及将内 窥镜2连接到摄像机3的耦合器6。摄像机3通过内窥镜2中的镜头系统获 得人体内部特征的彩色视频图像数据。注意，在本发明的一些实施例中，耦 合器6可被内置于内窥镜2中，然而在其它实施例中，耦合器6和内窥镜2 被当作分离的组件安放。在这点上，此处所介绍的技术并不被限定为任一特 定的配置。该系统的产生、显示和支持组件包括相机控制单元(CCU) 4、光源单元 7、监^L器9、以及安置于移动手推车12上的各种其它装置10和11。如下进 一步所描述的，此处所介绍的用于内窥镜识别和参数值选择的技术可在CCU 4内实现。其它装置10和11可以包括下面各项中的任何一个或多个，例如 视频捕捉装置、打印机、在内窺镜外科手术期间控制RF切割器(cutter)的RF切割器控制台、和/或在内窥镜外科手术期间控制刮刀(shaver)的刮刀控 制台。各种其它的系统配置也是可能的。经由例如光纤线缆的柔性光导管8,由光源单元7向内窥镜2提供高强 度的光。可由或可从CCU4控制相机系统的操作、以及各种图像处理和显示 参数的控制。通过柔性传输线5将摄像机3耦接到CCU 4。传输线5向摄像 机3传送能量，并从摄像机3向CCU 4传送视频图像数据。由CCU 4从才聂像 机3接收的图像数据被处理和/或被CCU 4转换为视频图像，其被显示在监视 器9上，并且，如果需要，则由视频记录器记录，和/或用于产生可以由打印 机打印的静态图像。图3是显示CCU4的架构的例子的框图。在所图解的实施例中，CCU4 包括处理/控制单元30、预放大级31、模数(A/D)转换器32、输入接口 33、 输出接口 34、随机存取存储器(RAM) 35、非易失性存储器36，以及显示 装置37(例如，触摸屏LCD等等)。处理/控制单元30控制CCU 4的全部操作，并执行信号处理，包括在产 生可显示的视频图像中通常使用的功能。同样，在本发明的特定实施例中， 处理/控制单元30执行此处所介绍的自动内窥镜/耦合器识别、以及参数值选 择功能。因此，处理/控制单元30可以是、或可以包括例如，现场可编程 门阵列(FPGA)、通用或专用微处理器，例如数字信号处理器(DSP)、特定 用途集成电路(ASIC)，或其它适当的装置或这样装置的联合。如果处理/控 制单元30被设计用来执行软件，则软件可以被存储于RAM35、非易失性存 储器36、或所述两者中。在相机系统操作期间，由预放大级31接收(经由传输线5 )摄像机3所 产生的图像数据(例如红(R)、绿(R)、蓝(R)色信号)，其中，该数据经 历放大和适当的信号调节。随后，由A/D转换器32将被放大和调节的数据 转换为数字形式，并将其(例如，分离的R、 G和B数字信号)提供给处理/ 控制单元30。当然，在摄像机3输出数字数据的实施例中，A/D转换器32 可以是不必要的。处理/控制单元30也从摄像机3接收视频垂直同步 ("Vsync")、水平同步("Hsync，，)、以及时钟信号。来自CCU4和摄像机3上的手动控制的用户输入被输入到输入接口 33。 另外，也可通过输入接口 33接收由来自相关联的声音控制系统(VCS)的从 处理和识别的声音命令而产生的控制信号。在任何适当的緩冲和/或信号调节之后，该输入接口 33向处理/控制单元30提供这些输入，处理/控制单元30 相应地处理这些l俞入。在所图解的实施例中，处理/控制单元30提供针对于CCU 4上的本地显 示装置37的视频、图形和/或文本输出，且进一步经由输出接口 34提供针对 于光源7、外部监视器9、以及其它所连接的装置的各种其它输出，以执行任 何适当的緩冲和/或信号调节。在各级处理，图像数据可以被存储在RAM 35、非易失性存储器36、可 在CCU 4中提供的其它这样的存储器(未示出)、或其任意组合中，以上全 部可通过总线38或任意其它适合类型的连接而耦接到处理/控制单元30。非 易失性存储器36可以是任何适于存储相对大量的数据的装置，例如可编程 且可擦写的只读存储器(ROM);闪存；光、磁或磁光(MO)大容量存储装 置；或这样的装置的组合。如上所述，由摄像机获得的图像中的黑色空间的量指示图像的直径，其 指示由内窥镜和/或耦合器所提供的放大倍数。放大倍数指示所使用的内窥镜 的类型，其随之指示所执行的过程的类型。因此，可使用图像的该特性来在 例如查找表的数据结构中查找所使用的内窺镜的类型，以及查找并选择由 CCU 4用于处理或显示图像的各种参数的合适的值。所述参数可以包括，例 如最大增益级别、缺省增强级别、最大快门级别、快门峰值对平均补偿 (consideration),快门速度、快门区i或、伽玛级另'J 、主台座(master pedestal )、 黑，泉才交正(shading correction)、 4另，存、(kneepoint )、 4另,泉4+率(knee slope )、 颜色增益级别、颜色偏差级别、柔性内窺镜过滤器激活等等。数据结构先前 已经被安装为包含对于多个可能的配置和过程来说各种可能遇见的内窥镜类 型(例如，腹腔内窥镜、关节内窥镜等等)、以及参数的优选值。从摄像机所 接收的帧中的每行中的黑色像素的最小和最大值数量可被用作索引值，以查 找合适的参数值。图4显示根据此处所介绍的技术的用于自动内窥镜识别和参数值选择的 过程的例子。例如，该过程可以在CCU4中执行。假设由用户输入直接或间 接初始化该过程；然而，过程的剩下部分是自动的。例如，用户输入可以被 应用于摄像机3或CCU 4。该过程使用参数Num—Black 、 Min—Num一Black、和Max—Num一Black。 Min_Num—Black是变量，其最终的值将代表当前帧中每行黑色像素的最小数量。Max—Num一Black是变量，其最终的值将代表当前帧中每行黑色像素的最 大数量。Num—Black是在确定Min—Num一Black和Max—Num—Black的过程中使用的临时变量。一旦接收到初始的用户输入，该过程便在块401等待从相机接收的新的 视频帧的开始，其由垂直同步信号("Vsync")指示。 一旦Vsync变高，则在 块402将Num—Black、 Min—Num—Black和Max—Num—Black的值复位。在这 些变量^皮复位以后，过程在块403等待Vsync变低。 一旦Vsync变低，过程 便在块404等待当前帧内的新行的开始，其将由水平同步信号("Hsync")变 低指示。一旦Hsync变低，那么，在块405，该过程获取当前行中的第一个像素。 该过程接收像素时钟作为输入，以使得在每个时钟周期之后一个新的像素被 计时。随后，基于用来在"黑色"和"非黑色"之间区分的任何合理的阈值， 该过程在块406确定当前像素是否是黑色的。在一个实施例中，每个像素是 IO比特十六进制值，并且，如果该值的两个最高有效位为零(指示强烈的黑 色存在)，则该像素被认为是黑色的。在此过程期间，期望相机和内窥镜针对 白色的事物，以使得更加容易将黑色像素从那些不是黑色的像素中区分。如果在块406、当前像素^皮确定为黑色，则在块407中，变量NUM—Black 递增l，并且，过程随后前进到块408。如果在块406、像素被确定为不是黑 色，则该过程直接从块406前进到块408 。在块408,该过程确定Hsync是否已经变高，其将指示已经到达当前行 的末端。如果Hsync尚未变高，则该过程通过获得当前行中的下一个^f象素而 向回循环到块405,并如上所述地进行。如果在块408、 Hsync已经变高，那么，如果合适，则在该点更新该帧中 黑色^象素的最大和最小数量(分别为Min—Num—Black,和Max—Num—Black )。 具体地，在块409，如果NUM—Black小于Min—Num—Black,则在块413,将 Min—Num—Black设置为与NUM—Black相等。该过程随后继续到块411。如果 NUM—Black并不小于Min—Num—Black,则该过程在块410确定NUM—Black 是否大于Max—Num—Black。如果NUM—Black大于Max—Num—Black,则该过 程在块414,将Max—Num—Black设置为与NUM—Black相等。过程随后继续 到块411。在块4U,该过程确定Vsync是否仍旧为低，其将指示仍旧没有到达帧的末端。如果Vsync仍旧为低，则该过程向回循环到块404，且如上所述的 那样继续(也就是，通过处理帧中的下一行)。如果Vsync已经变高(意味着 已经处理了全部帧)，那么，该过禾呈4吏用Min—Num—Black或Max—Num—Black, 以在上面所提到的数据结构中查找相应的内窥镜类型和/或相应的参数值，随 后其被选才奪，以在系统的进一步操作中使用。换句话说，在该实施例中，数 据结构中的所有内窥镜类型和参数值均根据Min—Num—Black或 Max—Num—Black值净皮索引。可任意地或为了方便起见确定Min_Num—Black或Max_Num—Black是否 被用于在数据结构中查找设置。可选地，作为验证该过程结果的精度的方式， 可使用Min—Num—Black和Max—Num一Black两者执行独立的查找。例如，如 果使用Max一Num一Black的查找产生与使用Max_Num—Black的查找相似的结 果(例如在某个容忍级别内)，则该结果将^皮认为是正确的。如果不是这样， 则可向用户输出错误信号，提示用户手动选择参数设置，或至少验证设置是 正确的。另外，或者作为选择，CCU 4可以向一个或多个其它装置(例如，可为 CCU4本地或远程的监视器或者数字视频/图像捕捉装置)发送查找到的值、 或者对查找操:作的输入(即，Min一Num一Black或Max—Num_Black),以允许 其它装置识别内窥镜，或确定用于取决于内窥镜的物理特性的一个或多个参 数的适当的值。可以经由任何传统的通信链路(其可以是有线链路或者无线 链路)发送被传送的信息。作为另一个选择，CCU 4能够向其它装置发送关 于所识别的内窺镜的信息(例如，识别内窥镜类型的信息、或者其它信息)。 例如，CCU 4可以向另一个装置发送信息，以通知其它装置内窥镜是一个5 mm的腹腔内窥镜，而不是10mm的腹腔内窥镜或关节内窥镜、宫腔内窥镜 等等。因此，已经描述了 一种用于自动识别与内窥镜检查的摄像机耦接的内窺 镜，且用于自动为因此所获得的图像的显示和处理选择一个或多个设置方法 和装置。此处所使用的术语"逻辑(logic)"可以包括例如，石更连线电路、可编 程电路、软件、或者其任意组合。此处所介绍的用于实现该技术的软件可被 存储于机器可读介质上。此处所使用的术语"机器可访问介质"包括提供(也 就是存储和/或传送)可由机器(例如，计算机、网络装置、个人数字助理(PDA)、制造工具、具有一个或多个处理器的集合的任何装置等等)访问的 形式的信息的任何机制。例如，机器可访问介质包括可记录/不可记录的介质(例如只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存 储介质、闪存装置等)等等。尽管参考特定的可作模范的实施例而描述本发明，应当认识到本发明并 不被限定为实施例，而可以在所附的权利要求的范围与精神内通过修改和变 化来实践。因此，说明书和附图被认为是具有说明意义，而不具有限制意义。
权利要求
1、一种方法，包括从与内窥镜耦接的摄像机接收代表图像的图像数据；以及基于取决于内窥镜的物理特性的图像的特性，自动地选择用于由该摄像机获得的图像的处理或显示的参数的值。
2、 如权利要求1所述的方法，其中，所述图像的特性包括具有指定特 性的帧中的像素的数量。
3、 如权利要求1所述的方法，其中，所述图像的特性包括图像中的黑 色空间的量。
4、 如权利要求3所述的方法，其中，所述内窥镜的物理特性包括内窺 镜中的光学器件。
5、 如权利要求3所述的方法，其中，所述内窥镜的物理特性是内窥镜 的放大倍数。
6、 如权利要求3所述的方法，其中，所述图像是视频帧。
7、 如权利要求6所述的方法，其中，取决于内窥镜的物理特性的图像 的特性包括视频帧中每行的黑色像素的最大或最小数量。
8、 如权利要求l所述的方法，进一步包括 基于图像的特性而自动地识别内窥镜。
9、 如权利要求8所述的方法，其中，在第一装置中执行该方法，该方 法进一步包括向第 一装置外部的第二装置传送与所识别的内窺镜有关的信息。
10、 一种方法，包括从与内窥镜耦接的摄像机接收代表图像的图像数据；以及 基于取决于内窥镜的物理特性的图像的特性，自动地识别内窥镜。
11、 如权利要求IO所述的方法，进一步包括 向外部装置传送标识已被识别的内窥镜的信息。
12、 如权利要求IO所述的方法，进一步包括基于图像的特性，自动地选择用于由摄像机所获得的图像的处理或显示 的参数的值。
13、 如权利要求10所述的方法，其中，所述图像的特性包括具有指定特性的帧中的像素的数量。
14、 如权利要求10所述的方法，其中，所述图像的特性包括图像中的 黑色空间的量。
15、 如权利要求10所述的方法，其中，所述内窺镜的物理特性包括内 窥4竟中的光学器件。
16、 如权利要求10所述的方法，其中，所述内窥镜的物理特性是内窺 镜的放大倍数。
17、 如权利要求IO所述的方法，其中，所述图像是视频帧。
18、 如权利要求10所述的方法，其中，取决于内窺镜的物理特性的图 像的特性包括视频帧中每行的黑色像素的最大或最小数量。
19、 一种装置，包括输入接口，通过其接收由与内窥镜耦接的摄像机所产生的图像数据，该 图像数据代表视频帧；以及用来基于取决于内窥镜的物理特性的视频帧的特性、自动地选择参数的 值的逻辑。
20、 如权利要求19所述的装置，其中，所述参数是用于由摄像机所获 得的图像的处理或显示的参数。
21、 如权利要求19所述的装置，其中，所述参数对应于所述内窥镜所 属的内窺镜的类别。
22、 如权利要求19所述的装置，其中，视频帧的特性包括视频帧中的 黑色空间的量。
23、 如权利要求22所述的装置，其中，内窥镜的物理特性包括内窺镜 的光学器件。
24、 如权利要求22所述的装置，其中，内窥镜的物理特性包括内窥镜 的放大倍数。
25、 如权利要求24所述的装置，其中，视频帧的特性包括视频帧中的 每行的黑色像素的最小或最大数量。
26、 如权利要求19所述的装置，其中，内窥镜的物理特性包括内窥镜 的放大倍数，其中，视频帧的特性包括视频帧中的黑色空间的量，并且，其 中，所述参数是用于由摄像机获得的图像的处理或显示的参数。
27、 如权利要求19所述的装置，进一步包括用来基于视频帧的特性而自动地识别内窥镜的逻辑。
28、 一种装置，包括视频输入接口，通过其从与内窥镜耦接的摄像机接收图像数据，该图像 数据代表视频帧；存储器，用来存储代表视频帧的图像数据；以及用来基于视频帧中的黑色空间的量而识别内窥镜的特性的逻辑。
29、 如权利要求28所述的装置，其中，内窥镜的特性包括所述内窥镜 所属的内窥镜的类别。
30、 如权利要求28所述的装置，其中，内窥镜的特性包括内窥镜的放 大倍数。
31、 如权利要求28所述的装置，其中，所述用来基于视频帧中的黑色 空间的量而识别内窥镜的特性的逻辑包括用来计数视频帧中每行的黑色像素的最小数量的逻辑；以及用来基于视频帧中每行的黑色像素的最小数量而识别内窥镜的特性的逻辑。
32、 如权利要求28所述的装置，进一步包括用来基于视频帧中的黑色空间的量而识别内窥镜的逻辑；以及 用来向外部装置传送标识已被识别的内窥镜的信息的逻辑。
全文摘要
将控制单元连接到连接于内窥镜的内窥镜检查的摄像机。通过控制单元从摄像机接收代表图像的图像数据。基于指示内窥镜的物理特性的所接收的图像的特性，识别内窥镜，和/或自动选择用于处理和显示通过相机所获得的图像的参数的值。
文档编号A61B1/045GK101330862SQ200680047454
公开日2008年12月24日 申请日期2006年12月14日 优先权日2005年12月14日
发明者冯健敏, 埃米特·麦卡锡, 康斯坦丁·Y·扎克, 张惠良, 黄延平 申请人:史赛克公司