远程视觉检查图像捕获系统和方法与流程

本公开一般涉及用于设备和设施的检查的内窥镜系统，以及更具体来说涉及由内窥镜系统进行的图像捕获。

背景技术：

诸如发电设备或设施、石油和天然气设备和设施、飞行器设备和设施、制造设备和设施等的某些设备和设施包含多个相互关连的系统和过程。例如，发电厂可包含涡轮机系统以及用于操作和维护涡轮机系统的过程。同样，石油和天然气操作可包含经由管线所互连的含碳燃料回收系统(retrieval system)和处理设备。类似地，飞机系统可包含在保持适航性和提供维护支持中有用的飞机和维护棚。

某些技术、例如无损检查技术或无损测试(NDT)技术可用来检查和促进这类设备和设施的维护。更具体来说，这类技术可利用诸如内窥镜、管道镜、摇摄-倾斜变焦照相装置、推送照相装置等的远程视觉检查装置来检查内部，而无需拆卸各种各样的设备和设施。例如，内窥镜可用来检查汽车引擎的内部特征(例如对象或表面)。更具体来说，远程视觉检查系统(例如内窥镜)可插入设备或设施的各种开口中，以提供照明、视觉观察和/或捕获设备或设施的内部的图像。

相应地，例如通过增加所捕获图像的可用性来改进远程视觉检查系统的图像捕获能力将会是有益的。

技术实现要素：

下面概述其范围与最初要求保护的本发明相称的某些实施例。这些实施例不意图限制要求保护的本发明的范围，但是这些实施例而是仅意图提供本发明的可能形式的简单的总结。实际上，本发明可囊括可与下面阐述的实施例类似或不同的多种形式。

第一实施例提供一种有形的非暂时的计算机可读媒介，其存储由内窥镜的处理器可运行的指令。指令包含用于下列的指令：使用内窥镜中的成像器以第一亮度级来捕获第一多个图像,同时显示至少部分基于第一多个图像的即时视频；使用处理器通过对第一多个图像平均或合计来生成基线图像；使用成像器以多个亮度级来捕获第二多个图像，其中多个亮度级与第一亮度级不同；以及使用处理器至少部分基于基线图像和第二多个图像来生成高动态范围图像，其中高动态范围图像包括比基线图像更不饱和的像素。

第二实施例提供一种远程视觉检查系统中的处理器，其通过对第一多个图像平均或合计来生成基线图像，其中第一多个图像使用远程视觉检查系统的成像器以第一亮度级来捕获，至少部分基于第一多个图像来生成即时视频馈送，并且使用来自基线图像的不饱和像素数据以及来自第二多个图像的至少一个的不饱和像素数据来生成高动态范围图像，其中第二多个图像使用成像器以与第一亮度级不同的亮度级来捕获。

第三实施例提供一种远程视觉检查系统，其包含：成像器，其通过将光转换为模拟图像数据来提供图像；模数转换器，其将模拟图像数据转换成数字图像数据；以及处理器，其捕获和处理数字图像数据，以生成多个图像。远程视觉检查系统还包含显示器，其显示描绘接近成像器的特征的即时视频，其中即时视频至少部分基于使用成像器以第一亮度级所捕获的图像，其中所捕获的图像用来生成基线图像,并且其将由处理器所生成的多个图像作为缩略图来显示，其中多个图像包含基线图像和高动态范围图像，其通过替换基线图像中的饱和像素来生成。

附图说明

在参照附图阅读下面的详细描述，将变得更好地理解本发明的这些及其他特征、方面和优点，附图中，相似字符在附图中通篇表示相似部件，附图包括：

图1是图示按照实施例的内窥镜系统的框图；

图2是按照实施例的用于在图1的内窥镜系统中生成图像的过程的流程图；

图3是按照实施例的用于在图1的内窥镜系统中生成图像的备选过程的流程图；

图4是按照实施例的由图1的内窥镜系统所显示的多个所捕获图像的屏幕视图；以及

图5是按照实施例的用于显示图4的屏幕视图的过程的流程图。

具体实施方式

下面将描述本发明的一个或多个特定实施例。致力于提供这些实施例的简明描述，本说明书中可能没有描述实际实现的所有特征。应当领会，在任何这种实际实现的开发中，如同任何工程或设计项目中，必须进行许多实现特定的判定以便实现开发人员的特定目标，例如符合系统相关和业务相关约束，这些目标可从一个实现变化到另一个。此外，应当领会，这种开发努力可能是复杂的且费时的，但对于获益于本公开的技术人员仍然将会是设计、制作和制造的常规事务。

在引入本发明的各个实施例的元件时，冠词“一”、“一个”、“该”和“所述”意图表示存在元件的一个或多个。术语“包括”、“包含”和“具有”意图包含在内，并且表示可存在除了所列的元件之外的附加元件。

本公开的实施例可应用于多种检查技术和系统，包含无损测试(NDT)技术/系统。在NDT系统的一些实施例中，远程视觉检查系统(例如内窥镜)可用来促进设备和设施(例如发电设备和设施、石油和天然气设备和设施以及飞行器设备和设施)的测试和/或检查。更具体来说，远程视觉检查系统可提供与设备或设施的内部特征(例如对象或表面)相关的照明、可视化和/或其他数据。

为了促进这类功能，远程视觉检查系统通常包含照明装置(例如光源)和图像捕获装置(例如成像器)。更具体来说，成像器可用来捕获接近成像器的特征、对象或表面的图像和/或视频。例如，当内窥镜探头插入到汽车引擎中时，成像器可用来捕获引擎内部的阀的图像。由于内部特征常常阻隔外部光，所以光源、例如发光二极管(LED)可在图像和/或视频捕获期间为成像器提供照明。如能够领会，在一些实施例中，照明可由外部源、例如外部照明装置或自然光来提供。

基于这些所捕获图像，远程视觉检查系统的用户则可执行设备或设施的测试和/或检查。例如，检查图像可用来提供汽车引擎中的阀的视觉描绘。另外，测量图像可用来生成阀的3D表示(例如点云数据/图像或深度剖面(profile))。更具体来说，测量图像可采取若干不同形式。例如，立体测量图像可通过立体光学器件与单个成像器或者与各具有它们自己的光学器件的多个成像器的使用来捕获。另外，可在光图案投射到被查看表面或对象时捕获结构化光测量图像。更具体来说，所投射光图案可在所捕获图像中检测，并且用来确定3D表面数据。

各种技术可用来投射结构化光图案。例如，在一些实施例中，结构化光图案可使用均匀检查光源来投射。在其他实施例中，单独光源、例如发射器模块可用来仅在测量图像捕获期间投射结构化光图案。在另外的实施例中，当结构化光图案相对于均匀检查光具有充分强度时，单独光源可与均匀检查光源同时启用。这种结构化光图案可包含使用准直光源(例如具有图案生成光学元件(例如衍射光学器件)的激光器)所生成的线条或点。更进一步，当由均匀检查光源所提供的照明可降低所投射的结构化光图案的可用性时，均匀检查光源可在启用结构化光源时被停用。当结构化光图案的谱与均匀检查光源的谱重叠或者不能易于区分时，情况通常将会是这样。

但是，在一些情况下，可阻碍所捕获图像的可用性，因为它们没有准确捕获目标特征。更具体来说，所捕获图像的部分或全部可以是饱和亮或饱和暗，这可使目标特征的细节模糊。例如，汽车引擎内部的焊接可因焊接的高反射率而使图像为饱和亮(例如“模糊”)。

相应地，本公开的一个实施例描述一种远程视觉检查系统，其以第一亮度级来捕获第一多个图像同时显示至少部分基于第一多个图像的即时视频，并且通过对第一多个图像平均或合计来生成基线图像。另外，远程视觉检查系统以多个亮度级来捕获第二多个图像，其中多个亮度级与第一亮度级不同，并且至少部分基于基线图像和第二多个图像来生成高动态范围图像，使得高动态范围图像包括比基线图像更不饱和的像素。

换言之，如下面将更详细描述，本文所述技术通过生成具有更不饱和像素的高动态范围图像来改进由远程视觉检查系统所捕获的图像的可用性。因此，高动态范围图像允许目标特征的细节更易于识别。此外，可通过基于多个图像生成高动态范围图像来改进生成高动态范围图像的效率,该多个图像被捕获同时在显示即时视频。例如，在一些实施例中，多个图像可连续被捕获，并且甚至在接收任何捕获图像命令之前作为合计或平均图像来存储或者个别存储。

为了帮助图示，图1描述可利用本文所述的技术的内窥镜系统10。在一些实施例中，内窥镜系统10可以是从通用电气公司(斯卡奈塔，NY)可得到的XL GO+ VideoProbe、XLG3 VideoProbe、XL Vu VideoProbe等。应当领会，虽然本实施例描述一种内窥镜系统，但是该内窥镜系统只是意图是说明性的。换言之，其他适当远程视觉检查系统(例如摇摄-倾斜-变焦照相装置、推送照相装置或管道镜)也可利用本文所述的技术。

如所描绘，内窥镜系统10包含插入管12和基本组合件14。如本文所使用的插入管12描述内窥镜系统10中插入到设备或设施中的部分。因此，插入管12通常是长的和/或柔性的，并且包含探头(例如尖端)15的远尖端中的成像组件。更具体来说，在一些实施例中，探头15可以是在插入管12的远端处的可分离部分。另一方面，基本组合件14通常包含用于处理由插入管12的组件(例如图像处理组件)所采集的电子电路系统。

相应地，如所描绘，插入管12包含成像器16、成像器电子器件18、透镜20、发射器模块22、光纤束24和扩散器26。在一些实施例中，内窥镜系统10可经由光纤束24和扩散器26将扩散的或均匀光图案投射到探头15的远端的前面的目标特征(例如表面或对象)上。例如，光纤束24可经过插入管12来携带由白光源28所产生的光，并且扩散器26可将均匀光图案投射到表面或对象上。在一些实施例中，白光源28可以是发光二极管(LED)。如同所描绘的实施例中一样，白光源28可位于基本组合件14中。备选地，白光源28也可包含在插入管12或探头尖端15中。

除了提供扩散的或均匀光图案之外，内窥镜系统10还可将结构化光图案投射到探头尖端15的远端的前面的表面或对象(例如特征)上。在一些实施例中，所投射的结构化光图案可包含具有正弦强度的平行明与暗线条(例如区域)的图案。另外地或备选地，光图案可具有正方形剖面、梯形剖面、三角形剖面、弯曲线条、波形线条、曲折线条或者可用来生成3D点云数据的任何其他这种图案。

在一些实施例中，结构化光图案可经由发射器模块22来投射。更具体来说，发射器模块22可包含一个或多个发光元件、例如LED。例如，发射器模块22可包含输出光的单个发光元件，光经过强度调制元件、例如线条光栅，以生成结构化光图案。另外地或备选地，发射器模块22可包含多个发光元件，其在策略上放置成生成结构化光图案。此外，发射器模块可产生多个不同的结构化光图案，使得每个结构化光图案相对于其他结构化光图案经过相移。

对发射器模块22的操作的控制可由发射器驱动器30来提供。更具体来说，发射器驱动器30可有选择地向发射器模块22供应功率，以产生结构化光图案。例如，当发射器模块22包含多个发光元件时，发射器驱动器30可有选择地向发光元件的每个供应功率，以产生不同的结构化光图案。如上所述，在一些实施例中，在向发射器模块22中的发光元件供电时，可停用白光源28，以降低从扩散器26所输出的光降低所投射的结构化光图案的对比度的可能性。在一些实施例中，可捕获和处理结构化光图像，以确定3D表面数据。

如上所述，成像器16连同成像器电子器件18一起可用来基于投射到插入管12的远端的前面的表面或对象上的光图案来捕获不同图像。更具体来说，透镜20可将光聚焦到成像器16上，以及成像器16可包含光敏像素的二维阵列，其输出模拟图像数据(例如模拟信号)，以指示在每个像素所感测的光等级。因此，成像器16可以是电荷耦合装置(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器或者具有类似功能的图像传感器。

换言之，成像器16可促进静止图像和/或视频的捕获和显示。例如，成像器16可用来在投射均匀或扩散的光图案时捕获检查图像。另一方面，成像器16可用来在投射结构化光图案时捕获测量图像。另外，在一些实施例中，多个透镜20和多个成像器16可用来捕获立体图像。在其他实施例中，立体图像可使用具有立体透镜系统(其可包含图像分束棱镜、平行透镜系统和反射镜)的单个成像器16来捕获。

为了促进图像和/或视频的捕获和显示，基本组合件14中的组件可处理由成像器电子器件18所输出的模拟图像数据，并且向插入管12中的组件供应控制命令(例如指令)。为了促进这类功能，如所描绘，基本组合件14包含白光源28、发射器驱动器30、成像器接口32、微控制器34、视频处理器36、中央处理单元(CPU)38、存储器40、存储装置42、操纵杆44、小键盘46、网络接口48和显示器50。

在操作中，成像器电子器件18可缓冲由成像器16所输出的模拟图像数据并且将其传递给成像器接口32。成像器接口32然后可将模拟图像数据转换为数字图像数据，用于由视频处理器36进一步处理。相应地，成像器接口32可包含模数转换器。在一些实施例中，成像器接口32还可包含模拟增益电路系统和相互关连双取样器。

除了处理模拟图像数据之外，成像器接口32还可向成像器16传送控制命令。更具体来说，成像器接口32可将控制命令从微控制器34中继给成像器16。例如，微控制器34可指示成像器16经由成像器接口32以特定亮度级来捕获图像。更具体来说，当成像器16是CCD成像器时，指令可采取模拟快门控制信号的形式。另外地或备选地，当成像器16是CMOS成像器时，指令可以是使用I2C、SPI或者其他这种通信接口的串行化消息数据分组。换言之，微控制器34通常可控制成像器16的操作。

另外，微控制器34还可控制成像器接口32、发射器驱动器30和白光源28的操作。例如，微控制器34可指示发射器驱动器30经由发射器模块22来产生结构化光图案，其用于捕获测量图像。类似地，微控制器34可指示白光源28产生均匀光图案，其用于捕获检查图像。如上所述，结构化光图案和均匀光图案可同时或者在不同时间输出。换言之，微控制器34通常可协调和控制图像的捕获。

如上所述，视频处理器36可处理由成像器接口32所输出的数字图像数据。在一些实施例中，视频处理器36可以是由Texas Instruments (Dallas，TX)所提供的TMS320DM642视频/成像定点数字信号处理器。更具体来说，视频处理器36可执行诸如图像捕获、颜色矩阵处理、伽马处理、生成视频数据和运动检测的功能。例如，视频处理器36可通过将数字图像数据存储在存储器40和/或存储装置42中来捕获图像。

另外，视频处理器36可通过将第一图像与相同类型的第二图像(例如检查图像或测量图像)进行比较来检测运动。另外地或备选地，视频处理器36可识别测量图像中的锐亮度转变点的位置，并且将它与检查图像中的锐亮度转变的位置进行比较。在一些实施例中，移动量可基于在图像之间是不同的像素值的数量和/或特征在图像之间已经移动的像素的数量。例如，在像素位置(50, 50)的第一像素中和在相对相同位置(例如像素位置(51, 50）或(49, 50))的第二图像中描绘特征的可识别的细节(例如锐亮度转变)时，可确定尚未存在图像之间的充分移动。另一方面，在基本上不同位置(例如像素位置(60, 50))的第二图像中描绘特征的可识别的细节(例如锐亮度转变)时，可确定存在图像之间的充分移动。

此外，视频处理器36可格式化数字图像数据，并且向显示器50输出图像数据。基于图像数据，显示器50则可显示由成像器16所捕获的静止图像。此外，视频处理器36可利用数字图像数据来生成视频数据，并且向显示器50输出视频数据。基于视频数据，显示器50可显示即时视频。在一些实施例中，视频数据可以是BT656视频格式，以及视频数据中携带的数据可具有422YCRCB数据格式。另外，在一些实施例中，显示器50可以是可分离的，而在其他实施例中，显示器50可以是基本组合件14或内窥镜系统10的组成部分。

除了向显示器50供应图像数据和/或视频数据之外，CPU 38可从视频处理器36接收图像数据用于进一步处理。在一些实施例中，CPU 38可以是由Intel Corp. (Santa Clara，CA)所提供的Pentium M处理器。换言之，与视频处理器36相比，CPU 38可具有更大的处理能力。相应地，CPU 38可执行诸如帧平均、缩放、图像缩放、覆盖、合并、图像翻转、图像增强(例如高动态范围图像的生成)和失真校正的功能。

应当领会，虽然微处理器34、视频处理器36和CPU 38描述为单独组件，但是它们执行的功能可由任何数量的处理器、例如单个通用处理器来实现。因此，微控制器34、视频处理器36和CPU 38可个别或共同包含一个或多个“通用”微处理器、一个或多个专用微处理器、一个或多个专用微处理器(ASIC)、一个或多个现场可编程门阵列(FPGA)或者它们的任何组合。因此，为了简化论述，它们可统称为内窥镜系统10中的“处理器”。换言之，如本文所使用的处理器可表示任何数量的处理组件。

为了促进执行所述功能的每个，处理器(例如微控制器34、视频处理器36和/或CPU 38)可检索和运行非暂时的计算机可读媒介、例如存储器40或存储装置42中存储的指令。通常，存储器40和存储装置可存储信息，例如待处理的数据(例如图像数据)和/或可运行的指令。相应地，存储器40可包含易失性存储器(例如随机存取存储器(RAM)或者非易失性存储器(例如只读存储器(ROM))。另外，存储装置42可包含闪速存储器、网络驱动器、硬盘驱动器或者任何其他光、磁和/或固态存储媒体或者它们的任何组合。

如上所述，显示器50可显示图像和/或视频用于用户查看。换言之，更一般来说，内窥镜系统10可与用户传递所捕获信息。更具体来说，内窥镜系统10可例如通过在显示器50上显示信息(例如图像或视频)，向基本组合件14处的操作员输出信息。另外，内窥镜系统10可从基本组合件14处的操作员接收输入信息。更具体来说，操作员可经由操纵杆44和/或小键盘46向内窥镜系统10提供控制命令。例如，操作员可通过移动操纵杆44来致动探头15，或者可使用小键盘46进行菜单选择。另外，在一些实施例中，显示器50可结合提供用户输入的触敏机构(例如触摸屏)来提供。例如，操作员可经由触敏机构来选择内窥镜系统10或者与其交互。

另外，内窥镜系统10可与远程用户、例如远程计算机(例如计算装置)处的用户进行通信。例如，内窥镜系统10可使用网络接口48与远程计算装置形成网络。在一些实施例中，网络接口48可提供通过无线802.11标准的无线组网(例如个人区域网络(例如蓝牙)、局域网(LAN)或者广域网(WAN))或者提供通过任何其他适当组网标准的无线组网(例如增强GSM演进数据速率(EDGE)网络或3G数据网络)。

换言之，用户可远程查看和/或处理所捕获信息以及向内窥镜系统10远程发出控制命令。例如，在一些实施例中，用户可利用远程计算装置的处理能力以进一步处理由内窥镜系统10所捕获的图像或视频。另外，用户可采用远程计算装置处的显示器来查看由内窥镜系统10所捕获的图像或视频。换言之，显示由内窥镜系统10所捕获的视频和/或图像的显示器可以是远程的和/或可分离的。

如上所述，在一些情况下，如果目标特征的细节被饱和像素遮掩，则可阻碍由内窥镜系统10所捕获的图像和/或视频的可用性。用于改进所捕获的图像和/或视频的可用性的过程52的一个实施例在图2中描述。通常，过程52包含以单个亮度级来捕获第一多个图像同时显示即时视频(过程框54)，生成基线图像(过程框56)，以多个亮度级来捕获第二多个图像(过程框58)，并且生成高动态范围图像(过程框60)。在一些实施例中，过程52可经由有形的非暂时的存储器40或存储装置42中存储并且由内窥镜系统10中的处理器(例如微控制器34、视频处理器36、CPU 38或者远程计算装置中的处理器)所运行的计算机可读指令来实现。

相应地，处理器(例如微控制器34)可指示内窥镜系统10以便以单个亮度级来捕获第一多个图像(过程框54)。取决于具体实现，第一多个图像可以是任何适当类型的图像，例如测量图像、结构化光图像、立体图像或者它们的任何组合。因此，在一些实施例中，微控制器34可指示白光源28和/或发射器驱动器30以便以预期照明等级来产生预期的光图案。

另外，微控制器34可指示成像器16开始捕获图像，其输出表示由成像器16所捕获的光的模拟图像数据。更具体来说，所捕获的图像可具有特定亮度级，其可通过调整照明等级、成像器16的曝光时间、应用于模拟图像数据的增益或者它们的任何组合来调整。相应地，为了以相同亮度级来捕获第一多个图像，微控制器34可指示成像器16使用特定曝光时间、光源(例如白光源28或发射器模块22)来提供特定照明等级，以及指示成像器接口32对模拟图像数据应用特定增益。如上所述，模拟图像数据然后可由成像器接口32转换成数字图像数据并且供应给视频处理器36。

在接收数字图像数据时，处理器(例如视频处理器36)可捕获图像，并且指示显示器50显示即时视频(过程框54)。更具体来说，在一些实施例中，视频处理器36可通过将数字图像数据存储在存储器40和/或存储装置42中来捕获图像。另外，视频处理器36可通过输出视频数据来指示显示器50显示视频。更具体来说，在一些实施例中，视频处理器36可基于数字图像数据来生成视频数据。例如，当第一多个图像是快速连续地捕获的静止图像时，视频处理器36可通过指示显示器50快速连续地显示图像来生成视频。实际上，在一些实施例中，捕获图像的时间到它被显示的时间之间的时长较短(例如，当捕获图像时之后的一毫秒之内)，这使视频能够作为即时视频实时地或者近实时地显示。

除了使用第一多个图像来显示视频之外，处理器(例如CPU 38或视频处理器36)可使用第一多个图像来生成基线图像。更具体来说，可生成基线图像，以降低存在于第一多个图像之一中的噪声。相应地，可使用降低图像中的噪声的各种技术，例如对第一多个图像平均或合计。更具体来说，由于噪声通常是随机的，所以对第一多个图像共同平均或合计将强调实际存在的特征并且降低由噪声所引起的伪影。

在一些实施例中，可在启用白光源28时捕获第一多个图像。换言之，第一多个图像可以是检查图像。因此，从多个检查图像所生成的基线图像也可以是检查图像。在其他实施例中，当使用立体光学器件时，第一多个图像可以是立体测量图像。因此，基线图像也可以是立体测量图像。在另外实施例中，当投射结构化光图像时，例如当结构化光图像相对于均匀检查光具有充分强度时，可捕获第一多个图像。因此，基线图像可包含结构化光图案。

为了帮助图示，可通过将多个图像中的每个图像的每个像素位置处的像素值相加来合计多个图像。因此，实际存在的特征与噪声相比将变得更亮，因为它们将存在于多个图像的每个中，而噪声不是。另外，可通过合计多个图像并且将像素值除以共同合计的图像的数量来对多个图像平均。因此，使用合计或者平均来生成基线图像以如下事实为前提：通常使用的图像按照相同方式描绘特征。换言之，用来生成基线图像的第一多个图像的每个可采用相对于特征处于基本上相同的位置的探头15(例如成像器16)来捕获。因此，可采用当尚未存在通过探头15或特征的充分移动时捕获的图像来生成基线图像。

但是，在一些实施例中，内窥镜系统10甚至当存在特征相对于成像器16的移动时也可继续捕获图像并且显示视频。换言之，在这类实施例中，所捕获并且用来显示视频的并非全部图像用来生成基线图像。然而，在一些实施例中，当所检测的移动是轻微的时，内窥镜系统10可尝试通过在合计或者平均之前平移或旋转所捕获的图像来补偿移动，使得避免或者最小化模糊。例如，如果新图像与先前图像之间的所检测的移动的幅值小于阈值(例如8个像素)，或者如果置信等级高于阈值(例如，>25%)，则图像可与先前所捕获的图像来合计或平均，以避免模糊。

在一些实施例中，可在捕获第一多个图像的每个新图像之后，更新基线图像。例如，每次捕获第一多个图像的新图像时，视频处理器36可从存储器40或存储装置42中检索基线图像，应用新图像的任何所需平移或旋转，并且将新图像与基线图像来平均/合计以更新基线图像，并且将所更新的基线图像存储回存储器40或存储装置42中。另外地或备选地，在捕获第一多个图像的一定数量的新图像之后，可更新基线图像。例如，视频处理器36可在捕获第一多个图像的五个新图像之后更新基线图像。

在生成基线图像之后，处理器(例如微控制器34)可指示内窥镜系统10以便以不同亮度级来捕获第二多个图像(过程框58)。更具体来说，在一些实施例中，第二多个图像的每个可以以不同亮度级来捕获。在其他实施例中，第二多个图像的多个图像可以以相同亮度级来捕获。例如，第一图像和第二图像可以以第一亮度级来捕获，第三和第四图像可以以第二亮度级来捕获，以及第五和第六图像可以以第三亮度级来捕获。

如上所述，处理器(例如微控制器34)可通过调整成像器16的曝光时间、由成像器接口32所应用的增益和/或由光源(例如白光源28或发射器模块22)所提供的照明等级来控制所捕获的图像的亮度级。因此，处理器(例如微控制器34)可调整其任何组合，以便以不同亮度级来捕获第二多个图像。例如，为了以第一亮度级来捕获第一图像，微控制器34可指示成像器16具有一毫秒的曝光时间，以及为了以较亮的亮度级来捕获第二图像，微控制器可指示成像器16具有二毫秒的曝光时间。

以每个亮度级所捕获的图像的准确数量以及要使用的亮度级可取决于特定实现。更具体来说，在一些实施例中，要捕获的图像的数量以及要使用的亮度级可由制造商或者经过例如经由操纵杆44、小键盘46或触敏显示器的用户输入来定义。在其他实施例中，要捕获的图像的数量以及要使用的亮度级可以是自适应的。例如，当处理器(例如CPU 38或视频处理器36)确定基线图像中存在大量饱和像素时，处理器可指示内窥镜系统10增加第二多个图像中的图像的数量和/或增加所使用亮度级的数量。

实际上，在一些实施例中，以不同亮度级的每个所捕获的图像的数量可以是不同的。例如，内窥镜系统10可以以接近第一多个图像的亮度级的亮度级来捕获仅一个图像，但是可以以比第一多个图像的亮度级要暗许多的亮度级来捕获三个图像。在一些实施例中，以相同亮度级所捕获的多个图像可与第一多个图像类似地共同平均或合计，以降低噪声。

取决于实现，从捕获第一多个图像到捕获第二多个图像的切换可按照各种方式来触发。更具体来说，在一些实施例中，捕获图像命令可指示内窥镜系统10停止捕获第一多个图像，并且开始捕获第二多个图像。例如，用户可经由操纵杆44、小键盘46、触敏显示器或者甚至远程计算装置来输入捕获图像命令。

在其他实施例中，捕获第一多个图像与捕获第二多个图像之间的切换可以是自动的或者内窥镜发起的。例如，切换可在处理器(例如CPU 38或视频处理器36)确定不存在成像器16相对于目标特征之间的移动时发生。更具体来说，当处理器(例如CPU 38或视频处理器36)确定不存在移动时，内窥镜系统10可继续捕获第一多个图像，直到生成充分无噪声基线图像，并且然后切换到捕获第二多个图像。另外地或备选地，如果已经生成充分无噪声基线图像(例如通过平移或旋转第一多个图像中的图像)，则内窥镜系统10可在没有检测到移动时立即开始捕获第二多个图像。

如上所述，移动的检测可包含检测第一图像中的特征是否相比于第二图像中的相同特征移动了少于预定数量的像素。另外，在一些实施例中，为了使模糊最小化，第一图像(例如第一多个图像中)与第二图像(例如第一多个图像中)之间的特征的移动量被确定并且在第一图像中相加/平均之前用来对齐第一图像。

如上所述，通过图像所捕获的特征的细节可被图像上的饱和像素或区域遮掩。相应地，使用基线图像和第二多个图像，处理器(例如视频处理器36或CPU 38)可生成高动态范围图像(过程框60)。在一些实施例中，为了生成高动态范围图像，处理器(例如CPU 38或视频处理器36)可利用来自基线图像的不饱和像素数据和来自第二多个图像的一个或多个的不饱和像素。更具体来说，在一些实施例中，替换不饱和像素可通过缩放第二多个图像中的不饱和像素数据来生成。

例如，当处理器(例如CPU 38或视频处理器36)检测基线图像中的饱和像素时，它可基于来自第二多个图像的一个或多个的不饱和像素数据来生成不饱和像素，以替换基线图像中的饱和像素。在一些实施例中，处理器(例如CPU 38或视频处理器36)可通过识别具有高于上阈值(例如白等级)或低于下阈值(例如黑阈值)的值的像素来检测饱和像素。

由于来自第二多个图像的像素数据用来生成像素以替换基线图像中的饱和像素，所以在一些实施例中，第二多个图像可以是与第一多个图像相同类型的图像。例如，如果第一多个图像是检查图像，则第二多个图像也可以是检查图像。但是，在其他实施例中，备选地可使用不同图像类型。例如，如果第一多个图像是结构化光图像(例如当结构化光图案相对于均匀检查光具有充分强度时)，则可使用作为检查图像(例如，仅均匀检查照明)的第二多个图像，因为特征在检查图像中均匀地照射。换言之，高动态范围图像可以是测量图像、立体图像、检查图像或者它们的任何组合。

因此，高动态范围图像可包含比基线图像要少的饱和像素。换言之，高动态范围图像的可用性可好于基线图像，因为高动态范围图像可描绘在基线图像中(例如因饱和)遮掩的目标特征的细节。实际上，为了进一步改进由内窥镜系统10所捕获的图像的可用性，多个高动态范围图像可使用相同基线图像以及来自第二多个图像的一个或多个图像来生成。例如，在一些实施例中，正常高动态范围图像、亮高动态范围图像和暗高动态范围图像可各被生成。在这类实施例中，不同高动态范围图像可提供目标特征的不同视图。更具体来说，这些高动态范围图像之间的亮度差可通过对所捕获的图像数据应用不同线性或者非线性缩放来创建。

此外，在一些实施例中，第一多个图像和第二多个图像的捕获可被散布。换言之，内窥镜系统10可捕获第一多个图像的一个或多个，切换成捕获第二多个图像的一个或多个，切换回捕获第一多个图像的一个或多个，依此类推。为了帮助图示，用于散布第一多个图像和第二多个图像的捕获的过程62的一个实施例在图3中描述。一般来说，过程62包含以第一亮度级来捕获第一图像(过程框64)，确定存在充分小的移动的时间(过程框66)，以不同亮度级来捕获第二图像(过程框68)，并且生成高动态范围图像(过程框70)。在一些实施例中，过程62可经由有形的非暂时的存储器40或存储装置42中存储并且由内窥镜系统10中的处理器(例如微控制器34、视频处理器36、CPU 38或者远程计算装置中的处理器)所运行的计算机可读指令来实现。

相应地，在一些实施例中，处理器(例如微控制器34)可指示内窥镜系统10以第一亮度级来捕获第一图像(过程框64)。在一些实施例中，第一图像可以是上述第一多个图像中的一个。相应地，第一图像可使用在过程框54中所述的技术来捕获。更具体来说，如上所论述，处理器(例如微控制器34)可指示成像器16使用特定曝光时间来捕获第一图像，指示成像器接口32应用特定增益，并且指示光源(例如白光源28或发射器模块22)提供特定照明等级/图案。第一图像然后可通过将数字图像数据存储在存储器40或存储装置42中来捕获。另外，第一图像或者使用第一图像所生成的视频可在显示器50上显示或者在远程计算装置处的显示器上显示。此外，第一图像可用来生成基线图像。

当处理器(例如CPU 38或视频处理器36)确定存在成像器16相对于第一图像中所描绘的特征之间的充分小移动(过程框66)时，处理器(例如微控制器34)可指示内窥镜系统10以与第一亮度级不同的亮度级来捕获第二图像(过程框68)。如上所述，处理器(例如CPU 38或视频处理器36)可使用任何适当技术(例如将第一图像与第一多个图像中的另一个图像进行比较，并且确定图像之间是不同的像素值的数量和/或特征在图像之间已经移动的像素的数量)来检测是否存在移动。

另外，在一些实施例中，第二图像可以是上述第二多个图像中的一个。相应地，第二图像可使用在过程框58中所述的技术来捕获。更具体来说，如上所论述，处理器(例如微控制器34)可指示成像器16使用特定曝光时间来捕获第二图像，指示成像器接口32应用特定增益，并且指示光源(例如白光源28或发射器模块22)提供特定照明等级/图案。第二图像然后可通过将数字图像数据存储在存储器40或存储装置42中来捕获。

在捕获第二图像之后，内窥镜系统10可选地可返回到捕获第一多个图像(箭头74)。更具体来说，在一些实施例中，内窥镜系统10可切换回到捕获第一多个图像，而没有生成高动态范围图像。在其他实施例中，处理器(例如CPU 38或视频处理器36)可使用第二图像来生成高动态范围图像(过程框70)。

换言之，在一些实施例中，内窥镜系统10可以以不同的亮度级来捕获附加图像。以不同亮度级的图像的准确数量可根据实现而变化。例如，在一些实施例中，仅捕获第二图像。在其他实施例中，可捕获第二图像连同来自第二多个图像的其他图像。

基于上述示例，存在充分小移动的确定可以是用来捕获第二图像的触发，以及更一般来说是用来从捕获第一多个图像到第二多个图像的切换的触发。在各个实现中，使用没有移动作为触发可以是有利的。例如，如上所论述，当没有检测到移动时，内窥镜系统10可停止捕获第一多个图像，并且开始捕获第二多个图像。

实际上，当第一多个图像的捕获和第二多个图像的捕获被散布时，使用没有移动作为用来捕获第二多个图像的一个或多个的触发可以是特别有用的。例如，在一些实施例中，当处理器(例如CPU 38或视频处理器36)检测基线图像或第一图像中的饱和像素时，它可显示指示本地用户保持在相同位置中的提示，使得可捕获第二多个图像。在这种实施例中，由于一检测到饱和就捕获可用来替换饱和像素的第二多个图像，所以向用户显示的图像可以是高动态范围图像。

实际上，在一些实施例中，高动态范围图像可用来向用户显示高动态范围视频。虽然附加处理用来生成高动态范围图像，但是处理能力中的技术进步呈现近实时地生成高动态范围图像的可能性。另外应当领会，内窥镜系统10通常将在设备或设施内缓慢移动，这放宽对显示视频的时间限制。换言之，近实时视频(例如高动态范围视频)可足以为用户提供接近成像器16的特征的指示。

除了生成高动态范围图像之外，由内窥镜系统10所捕获的图像还可用来确定与目标特征相关的其他信息。例如，在一些实施例中，所捕获的图像可用来生成特征的点云数据、点云图像和/或深度剖面，以描述目标特征的3D剖面。因此，在一些实施例中，与特征相关的多段信息可同时或基本上同时呈现。

例如，在图4所述的屏幕视图74所描绘的实施例中，可基本上同时查看由内窥镜系统10所捕获和生成的各种图像。更具体来说，屏幕视图74可在任何适当显示器、例如显示器50或者远程计算装置处的显示器上显示。

因此，除了只显示各种所捕获和生成的图像之外，屏幕视图74还可显示内窥镜系统10的状态信息。例如，在所描绘的实施例中，屏幕视图74显示网络状态图标76、日期指示符78、时间指示符80和电池状态图标82。更具体来说，在所描绘实施例中，网络状态图标76指示内窥镜系统10连接在蓝牙网络中，日期指示符78指示当前日期是2014年4月15日，时间指示符80指示当前时间是下午12:19，以及电池状态图标82指示电池完全充电。

另外，如上所述，用户可例如通过经由操纵杆44或小键盘46输入用户命令来与内窥镜系统10进行交互。例如，如下面将更详细描述，用户可选择屏幕视图74上的各种视图中的一个，以便以全屏幕显示。另外，如上所述，显示器50可以是触敏显示器，其提供使用软按钮的能力。例如，如同所描绘的实施例中一样，屏幕视图74包含返回软按钮84、查看软按钮86、菜单软按钮88和保存软按钮90。更具体来说，用户可选择返回软按钮84以回到先前屏幕，选择查看软按钮86以查看所选的缩略图图像，选择菜单按钮88以转到菜单，或者选择保存软按钮90以保存所选的图像。如能够领会，显示器50上呈现的软按钮是可编程的，并且可基于正被显示的内容而变化。

如上所述，屏幕视图74可显示由内窥镜系统10所捕获和/或生成的各种图像。例如，在所描绘的实施例中，屏幕视图74显示正常图像92、高动态范围图像94、亮图像96、暗图像98、点云图像100和深度剖面图像102。如所描绘，各种图像可描绘为缩略图，以便基本上同时显示图像。因此，用户可例如经由键盘46、操纵杆44和/或触敏显示器与各种图像进行交互。例如，用户可选择缩略图图像中的一个进行保存或以全屏幕查看。

可用来生成屏幕视图74的过程104的一个实施例在图5中描述。一般来说，过程104包含捕获多个图像(过程框106)，生成以正常亮度的图像(过程框108)，生成高动态范围图像(过程框110)，生成以高亮度的图像(过程框112)，生成以低亮度的图像(过程框114)，生成点云图像(过程框116)，生成深度剖面图像(过程框118)，并且生成缩略图图像(过程框120)。在一些实施例中，过程104可经由有形的非暂时的存储器40或存储装置42中存储并且由内窥镜系统10中的处理器(例如微控制器34、视频处理器36、CPU 38或者远程计算装置中的处理器)所运行的计算机可读指令来实现。

相应地，在一些实施例中，处理器(例如微控制器34)可指示内窥镜系统10捕获多个图像。更具体来说，多个图像可包含上述第一多个图像和/或第二多个图像，其如上所述地那样可响应于用户发起捕获请求、充分小移动的检测或者第一多个图像中的饱和像素的检测而捕获。因此，处理器(例如微控制器34)可指示成像器16以预期亮度级来捕获图像。如上所述，处理器(例如微控制器34)可通过调整成像器16的曝光时间、由成像器接口32所应用的增益和/或由光源(例如白光源28或发射器模块22)所提供的照明等级来控制所捕获的图像的亮度级。另外，如上所述，内窥镜系统10可通过将数字图像数据存储在存储器40或存储装置42中来捕获多个图像。

一旦捕获多个图像的一个或多个，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成以正常亮度的图像(过程框108)。在一些实施例中，正常亮度图像可以只是所捕获的图像中的一个。在其他实施例中，正常亮度图像可以是基于第一多个图像所生成的基线图像。在这类实施例中，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10通过对来自第一多个图像的图像共同合计或平均来生成正常亮度图像。

另外，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成高动态范围图像(过程框110)。如上所论述，在一些实施例中，高动态范围图像可至少部分基于第一多个图像的一个或多个(例如基线图像)和第二多个图像的一个或多个来生成。更具体来说，在这类实施例中，正常图像中的饱和像素可采用基于第二多个图像的一个或多个中的不饱和像素数据所生成的不饱和像素来替换。

除了高动态范围图像之外，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成以高亮度级的图像(过程框112)，并且生成以低亮度级的图像(过程框114)。如上所述，以不同亮度级的图像可允许用户具有特征的变化视图。在一些实施例中，高亮度图像可以是以比正常图像要高的亮度级所捕获的单个图像。类似地，在一些实施例中，低亮度图像可以是以比正常图像要低的亮度级所捕获的单个图像。在这类实施例中，高亮度图像和/或低亮度图像可以只是第二多个图像中的一个。

在其他实施例中，高亮度图像和/或低亮度图像也可以是高动态范围图像。在这类实施例中，高亮度图像可以是以比在过程框110中所生成的高动态范围图像更高缩放的亮度的高动态范围图像，和/或具有比基线图像更高的像素值平均。类似地，低亮度图像可以是以比在过程框110中所生成的高动态范围图像更低缩放的亮度的高动态范围图像，和/或具有比基线图像更低的像素值平均。换言之，本文所述技术提供生成在亮度级中变化的多个高动态范围图像的能力。如上所述，高动态范围图像通常包含比单个图像更少的噪声和更少的饱和像素。换言之，通过不仅显示以变化亮度级的图像，而且还显示具有更少饱和像素以变化亮度级的图像，可进一步改进由内窥镜系统10所生成的图像的可用性。

如上所述，由内窥镜系统10所捕获的图像可以是任何数量的适当图像类型，例如测量图像、立体图像、检查图像或者它们的任何组合。更具体来说，变化图像类型可使与目标特征相关的不同信息能够被确定。例如，检查图像(例如以均匀亮度所捕获的图像)可从成像器16的角度来描绘目标特征。另一方面，立体图像和/或结构化光测量图像可用来生成点云数据，其然后可用来生成点云图像和/或深度剖面。

因此，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成点云图像(过程框116)，并且生成深度剖面图像(过程框118)。更具体来说，点云图像可基于被生成以给出目标特征的3D表示的点云数据。在一些实施例中，点云图像可基于点云数据的子集，其基于测量光标或所选感兴趣区域的定位来选择。另外，深度剖面可基于被生成以给出目标特征的截面视图的点云数据。在一些实施例中，深度剖面的位置可由用户通过测量光标的定位来选择。

在一些实施例中，点云数据可使用测量图像(例如结构化光图像)或立体图像来生成。例如，点云数据可通过使用对结构化光图像(其在结构化光图案投射到被查看表面上的同时所捕获)的相移分析来生成。另外地或备选地，点云数据可使用从不同角度所捕获的立体图像来生成。因此，在测量图像中捕获的特征的细节越多，所生成的点云图像越准确。

但是，如上所述，当像素饱和时，在所捕获的图像中可遮掩目标特征的细节。例如，当接近成像器16的对象或表面上的焊接(例如高反射表面)使焊接看来似乎在所捕获的图像中饱和时，将难以准确确定焊接的3D特性(例如高度或形状)，因为焊接将看来似乎全白。

在一些实施例中，第二多个图像可用来改进目标特征的细节的捕获。更具体来说，如上所述，第二多个图像可包含以不同亮度级所捕获的测量图像。因此，点云数据可使用以变化亮度级的图像来生成，以增加所确定的3D表面数据点的数量。

为了帮助图示，点云数据可通过匹配从不同角度所获取的图像中捕获的表面点来生成。但是，当立体测量图像包含饱和的像素(例如过亮或者过暗)时，可阻碍立体匹配，因为可能难以区分图像中的相同表面点。例如，继续上述示例，可能难以定位多个立体图像中的焊接上的相同点，因为焊接看来似乎全白。但是，第二多个图像的一个或多个中的相同像素可能不饱和。因此，处理器可利用第二多个图像的一个或多个来执行立体匹配并且生成点云数据。换言之，第一多个图像的一个或多个、基线图像、第二多个图像的一个或多个和所生成的高动态范围图像的任何组合可用来生成点云数据。

类似地，如果结构化光图案、例如激光点网格在第一和第二多个图像中捕获，则处理器可使用第一多个图像的一个或多个、基线图像、第二多个图像的一个或多个和所生成的高动态范围图像的任何组合来检测图案的位置。处理器然后可使用所检测的图案位置来确定3D表面数据。

另外，如上所述，第二多个图像可用来生成高动态范围图像，其可减少饱和量并且可以是任何适当图像类型。相应地，使用高动态范围图像所生成的数据或图像可以更为有用的。例如，继续上述示例，一个或多个高动态测量图像可用来补偿焊接的高反射率，并且描绘焊接的特性的更多细节。因此，使用高动态范围测量图像来生成点云数据/图像可提供与特征相关的更准确信息，其还改进点云图像和深度剖面图像的精度。

处理器(例如CPU 38或视频处理器36)然后可指示内窥镜系统10显示作为缩略图图像的所生成的图像(例如正常亮度图像、高亮度图像、高动态范围图像、低亮度图像、点云图像或深度剖面图像)(过程框120)。在一些实施例中，生成缩略图图像可包含将所生成的图像缩放到缩略图大小。如上所述，缩略图图像可以是由用户可选择的，例如以保存或者以全屏幕显示与缩略图图像对应的图像。相应地，由于在一些实施例中，显示器50可以是触敏显示器，所以生成缩略图图像可包含生成由用户可选择的缩略图图像软按钮。

基于以上描述，本公开的技术效果包含提供用于改进由远程视觉检查系统、例如内窥镜系统所捕获的图像的可用性的系统和方法。更具体来说，图像的可用性可通过生成一个或多个高动态范围图像来改进。此外，可以更有效地捕获和生成高动态范围图像。例如，高动态范围图像可基于用来显示即时视频的图像来生成。换言之，远程视觉检查系统可以甚至在接收捕获命令之前开始生成高动态范围图像。

本书面描述使用包含最佳模式的示例来公开本发明，并且还使本领域的技术人员能够实施本发明，包含制作和使用任何装置或系统，以及执行任何结合方法。本发明的可取得的专利范围由权利要求书来定义，并且可包含本领域的技术人员想到的其他示例。如果这类其他示例具有与权利要求的文字语言完全相同的结构单元，或者如果它们包括具有与权利要求的文字语言的非实质差异的等效结构单元，则预计它们处于权利要求的范围之内。