成像装置、图像传感器单元、相机单元和控制方法与流程

文档序号:22260250发布日期:2020-09-18 14:27阅读:61来源:国知局
成像装置、图像传感器单元、相机单元和控制方法与流程

本公开涉及成像装置、图像传感器单元、相机单元和控制方法。



背景技术:

已经提出了一种技术,其中包括透镜和图像传感器的成像块可附接到成像装置的主体侧和可从成像装置的主体侧分离(例如,参考专利文献1)。专利文献1中描述的摄像机将与图像传感器相关的校正数据等存储在成像块的电可擦除可编程只读存储器(eeprom)中,并且通过使用校正数据来执行成像装置侧的每个电路的设置。

引文列表

专利文献

专利文献1:wo96/11548



技术实现要素:

本发明要解决的问题

可以根据长期变化等适当地更新专利文献1中描述的校正数据。专利文献1中描述的摄像机具有不可能确定这种校正数据是否已被更新的问题。

本公开的目的之一是提供例如其中可以在成像装置的主体侧确定校正数据是否已被更新的成像装置、图像传感器单元、相机单元和控制方法。

问题的解决方案

本公开例如是一种成像装置,包括:

图像传感器单元;以及

相机单元,图像传感器单元可从所述相机单元分离,

其中图像传感器单元至少包括:

图像传感器;以及

第一存储单元,其中存储有第一校正数据,

相机单元至少包括控制单元,以及

控制单元执行用于确定存储在第一存储单元中的第一校正数据是否已被更新的更新确定处理。

本公开例如是一种图像传感器单元,包括成像透镜的透镜单元能够以可分离的方式附接到该图像传感器单元,该图像传感器单元可附接到相机单元和可从相机单元分离,该图像传感器单元至少包括:

图像传感器;以及

存储单元,其中存储有校正数据,

其中表示校正数据的更新历史的数据被存储在存储单元中。

本公开例如是一种相机单元,图像传感器单元和透镜单元能够以可分离的方式附接到该相机单元,图像传感器单元至少包括图像传感器和其中存储有校正数据的存储单元,透镜单元包括成像透镜,透镜单元经由图像传感器单元可附接到相机单元和可从相机单元分离,该相机单元包括:

控制单元,所述控制单元确定校正数据是否已被更新,校正数据被存储在包括在附接到相机单元的图像传感器单元中的存储单元中。

本公开例如是一种控制方法,包括:

使相机单元中包括的控制单元确定校正数据是否已被更新,校正数据被存储在包括在附接到相机单元的图像传感器单元中的第一存储单元中,并且作为确定的结果,在校正数据已被更新的情况下,将校正数据存储在包括在相机单元中的第二存储单元中。

发明的效果

根据本公开的至少一个实施例,可以在成像装置的主体侧确定校正数据是否已被更新。注意的是,这里描述的效果不一定是限制性的,并且可以实现本公开中描述的任何效果。此外,本公开的内容不被解释为受所示出的效果的限制。

附图说明

图1是根据一个实施例的成像装置的分解透视图,用于描述其构造示例。

图2是用于描述根据一个实施例的成像装置的构造示例的框图。

图3是示出要在根据一个实施例的成像装置中执行的处理的流程的流程图。

图4a和图4b是示意性示出要在根据一个实施例的成像装置中执行的处理的示图。

图5是示意性地示出在执行更新校正数据的操作的情况下要在根据一个实施例的成像装置中执行的处理的示图。

图6是示出内窥镜手术系统的示意性构造的示例的示图。

图7是示出图6中所示的相机头和ccu的功能构造的示例的框图。

具体实施方式

在下文中,将参考附图描述本公开的实施例等。注意的是,将按以下次序提供描述。

<1.一个实施例>

<2.变形>

<3.应用示例>

以下将描述的实施例等是本公开的优选具体示例,并且本公开的内容不限于所述实施例等。

<1.一个实施例>

[成像装置的构造示例]

图1是根据一个实施例的成像装置(成像装置1)的部分分解透视图,用于描述其构造示例。成像装置1包括图像传感器单元10、相机单元20和存储单元30。图像传感器单元10包括图像传感器。相机单元20具有箱形形状,并且处理从图像传感器输出的图像数据。存储单元30包括硬盘、半导体存储器等(包括从其读取图像数据并向其写入图像数据的驱动部分)。

图像传感器单元10可从相机单元20分离。例如,图像传感器单元10包括具有矩形形状的附接板11。将附接板11的四个角附近的部分拧入相机单元20的附接表面21上,并且将螺钉放入设置在面对附接板11的附接表面21中的螺孔中。因此,图像传感器单元10被附接到相机单元20。不仅可以由服务中心而且可以由成像装置1的用户将图像传感器单元10安装到相机单元20和从相机单元20分离。注意的是,在一些情况下,图像传感器单元10也可以被称为光学头块(ohb)。

如上所述,根据本实施例的成像装置1被构造为使得图像传感器单元10以可替换的方式附接到相机单元20。换句话说,可以将不同的图像传感器单元10附接到相机单元20。图像传感器单元10中包括的各个图像传感器在特点上有所不同。图像传感器单元10中包括的各个图像传感器在例如像素数量(有时由图像传感器的尺寸定义)、外围电路的性能等方面不同。因此,有可能根据成像目的、成像环境等通过切换要附接到相机单元20的图像传感器单元10来使用适当的图像传感器。

存储单元30可从相机单元20的另一个侧表面分离。与由成像装置1捕获的图像(静止图像或移动图像)对应的图像数据存储在存储单元30中。注意的是,图像数据也可以存储在例如相机单元20中包括的存储单元中,并且成像装置1可以被构造为使得成像装置1不包括存储单元30。

透镜安装座12设置在图像传感器单元10的主表面上,位于与相机单元20侧相对的一侧。包括成像透镜的透镜单元(图1中未示出)可附接到透镜安装座12和可从透镜安装座12分离。不同的透镜单元可附接到图像传感器单元10和可从图像传感器单元10分离。即,相机单元20具有其中透镜单元经由图像传感器单元10可附接到相机单元20和可从相机单元20分离的构造。有可能根据成像目的、成像环境等通过切换要附接到图像传感器单元10的透镜单元来使用适当的成像透镜。

例如,当图像传感器单元10、相机单元20、存储单元30和透镜单元物理地彼此连接时,建立电连接。这使得能够经由连接器或预定的信号线在单元之间发送和接收数据、命令等。注意的是,可以从例如相机单元20中包括的电源单元(例如,锂离子二次电池)经由预定电源线向图像传感器单元10和透镜单元供电。

[成像装置的内部构造示例]

图2是示出成像装置1的内部构造的示例的框图。如上所述,成像装置1包括图像传感器单元10、相机单元20、存储单元30和透镜单元(透镜单元40)。

(图像传感器单元的内部构造示例)

图像传感器单元10包括例如图像传感器101、模拟(a)/数字(d)转换单元102、图像传感器单元控制单元103、非易失性存储器104和中性密度(nd)过滤器105。校正数据存储在作为第一存储单元的示例的非易失性存储器104中。

图像传感器101包括电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)等。图像传感器101对通过透镜单元40入射的被摄体光执行光电转换,以将光转换成电荷量,从而生成图像。图像传感器101除了正常像素之外还可以包括用于检测相位差的像素。

a/d转换单元102将图像传感器101的输出转换成数字信号,并输出该数字信号。a/d转换单元102同时将例如单行的像素信号转换成数字信号。注意的是,图像传感器单元10可以包括临时保持a/d转换单元102的输出的存储器。由a/d转换单元102转换成数字信号的图像数据被供给相机单元20。

图像传感器单元控制单元103控制图像传感器单元10的每个单元。根据本实施例的图像传感器单元控制单元103执行与nd过滤器105相关的控制。更具体而言,图像传感器单元控制单元103在应用多种类型的nd过滤器的情况下执行用于切换多种类型的nd过滤器的控制,并且还执行关于是否使用nd过滤器的控制。注意的是,图像传感器单元控制单元103能够与相机单元20中包括的控制单元双向通信,这将在后面描述。

例如,包括串行外围接口(spi)的闪存可以用作非易失性存储器104。当然,可以将具有不同构造的非易失性存储器用作非易失性存储器104。非易失性存储器104包括将数据写入非易失性存储器104并从非易失性存储器104读取数据的读/写单元。

根据本实施例,校正数据存储在非易失性存储器104中。非易失性存储器104中存储的校正数据在相机单元20中包括的控制单元的控制下被更新,这将在后面描述。注意的是,稍后将描述校正数据的细节。

nd过滤器105是使可见光范围内的光无波长选择性地均匀变暗的滤光器。nd过滤器105可以包括单一类型的nd过滤器,或者可以包括多种类型的nd过滤器。

(相机单元的内部构造示例)

接下来,将描述相机单元20的内部构造的示例。相机单元20包括例如相机单元控制单元201、相机处理电路202、图像存储器203、图形接口(i/f)204、显示器205、输入单元206、相机通信单元207、非易失性存储器208和附接检测单元209。相机单元控制单元201是控制单元的示例。非易失性存储器208是第二存储单元的示例。

相机单元控制单元201包括例如中央处理单元(cpu),并且控制相机单元20的每个单元。相机单元控制单元201包括只读存储器(rom)、随机存取存储器(ram)等(注意的是,省略了这些构成元件的图示)。程序存储在rom中。当执行程序时,ram用作工作存储器。相机单元控制单元201执行多个确定处理,包括例如用于确定存储在非易失性存储器104中的校正数据是否已被更新的更新确定处理。

相机处理电路202对从图像传感器单元10的a/d转换单元102以数字格式供应的图像数据执行信号处理。信号处理的示例包括白平衡调整处理、颜色校正处理、伽马校正处理、y/c转换处理、自动曝光(ae)处理、白/黑阴影、缺陷校正等。注意的是,要在白/黑阴影、缺陷校正等时设置的校正数据将在后面描述。

图像存储器203是包括诸如动态随机存取存储器(dram)之类的易失性存储器的缓冲存储器,其中临时存储经受由相机处理电路202执行的预定处理的图像数据。

图形i/f204根据从相机单元控制单元201供应的数据信号生成要在显示器205上显示的图像数据,并将图像数据供给显示器205以使显示器205显示图像。显示器205显示正在捕获的直通图像(throughimage)和存储在非易失性存储器208、存储单元30等中的图像。此外,显示器205显示菜单画面和用于执行各种设置的画面,诸如用于改变校正数据的画面。

显示器205包括液晶显示器(lcd)、有机电致发光(el)显示器等。注意的是,显示器205可以通过有线连接或无线连接被连接到相机单元20。

输入单元206共同地指代接收输入操作的构成元件,例如,诸如用于在通电和断电之间切换的电源按钮、用于提供用于开始记录移动图像的指令的记录开始按钮(rec按钮)、用于捕获静止图像的按钮、用于缩放调整的操作器、与显示器205一体形成的触摸屏,以及用于在相机单元20内部或外部设置的显示器上显示的图形用户界面(gui)操作的按钮。注意的是,这些输入单元仅仅是示例,并且不是必要的构成元件。当对输入单元206进行输入时,生成与该输入对应的控制信号并将其输出到相机单元控制单元201。然后,相机单元控制单元201执行与控制信号对应的算术处理和控制。

相机通信单元207是被成像装置1用来与另一个装置通信的构成元件,并且具有通信所需的功能,诸如天线功能和调制/解调功能。

例如,可以将包括spi接口的闪存用作非易失性存储器208。当然,可以将具有不同构造的非易失性存储器用作非易失性存储器208。非易失性存储器208包括将数据写入到非易失性存储器208并从非易失性存储器208读取数据的读/写单元。根据本实施例,校正数据存储在非易失性存储器208中。在相机单元控制单元201的控制下,在对应的硬件(例如,相机处理电路202)中设置校正数据。

附接检测单元209就硬件而言检测图像传感器单元10到相机单元20的附接。附接检测单元209具有可以插入物理管脚的孔。图像传感器单元10包括可以插入孔中的管脚。在本实施例中,管脚和孔中的每一个与连接部分对应。

例如,在未附接图像传感器单元10的情况下,将从附接检测单元209供应的信号的电平设置为低(例如,0v(伏特))。此外,在图像传感器单元10中包括的管脚已经插入孔中的情况下,将从附接检测单元209供应的信号的电平设置为高(例如,5v)。相机单元控制单元201通过检测信号电平的改变来检测图像传感器单元10是否已经附接。

注意的是,可以基于图像传感器单元10的特定硬管脚的存在或不存在来确定图像传感器单元10的型号。可以根据确定的结果执行相机单元控制单元201、fpga(未示出)等的控制电路构造的启动处理,并且这些处理可以与将在后面描述的图3的启动处理并行地执行。此外,图像传感器单元10和相机单元20可以通过包括对应连接部分的电缆等连接,而不是直接连接。

(存储单元的构造示例)

存储单元30包括诸如硬盘之类的存储单元以及读/写单元(注意的是,省略了这些构成元件的图示)。读/写单元具有将图像数据等写入存储单元的功能和从存储单元读取图像数据等的功能。

(透镜单元的构造示例)

透镜单元40包括例如成像透镜401、透镜驱动机构402和非易失性存储器403。成像透镜401是用于将来自被摄体的光会聚在图像传感器101上的透镜,并且一般包括多个透镜。

透镜驱动机构402包括用于移动聚焦透镜以执行焦点调整的机构、快门机构、光圈机构等。透镜驱动机构402基于经由预定信号线从相机单元控制单元201传送的控制信号而被驱动。例如,透镜驱动机构402通过根据从相机单元控制单元201供应的控制信号沿着光轴方向移动成像透镜401来实现af操作。注意的是,透镜驱动机构402的至少一部分可以被包括在相机单元20中。例如,快门机构可以不包括在透镜驱动机构402中,而是包括在图像传感器单元10中。注意的是,快门机构不是透镜驱动机构402必要的构成元件。

表示关于成像透镜401等的透镜信息的数据存储在非易失性存储器403中。关于成像透镜401的透镜信息包含例如透镜名称、焦距、f值等。表示关于成像透镜401的透镜信息等的数据经由预定信号线从透镜单元40传送到图像传感器单元10,并且进一步从图像传感器单元10传送到相机单元20。即,关于成像透镜401的透镜信息经由图像传感器单元10被供给相机单元20。注意的是,关于成像透镜401的透镜信息可以通过例如短距离无线通信在不涉及图像传感器单元10的情况下直接供给相机单元20。

[成像装置的基本操作示例]

在此,将示意性地描述上述成像装置1中的基本操作。图像传感器单元10、存储单元30和透镜单元40被附接到相机单元20。注意的是,相机单元20可以被构造为使得在例如图像传感器单元10未附接到相机单元20的情况下不接通相机单元20的电源。

在捕获图像之前,将作为通过图像传感器101接收的光的光电转换的结果而获得的信号顺序地供给相机处理电路202。相机处理电路202对所供应的图像数据执行图像质量校正处理,并且经由相机单元控制单元201将经处理的图像数据作为直通图像的信号供应给图形i/f204。因此,直通图像显示在显示器205上。用户观看显示在显示器205上的直通图像并检查成像目标。

在这种状态下,当按下输入单元206的rec按钮时,开始移动图像的捕获。因而,以预定帧速率从图像传感器101输出的图像数据被a/d转换单元102转换成数字格式的图像数据。

相机处理电路202对从图像传感器101供应的图像数据执行图像处理,并将经处理的图像数据供给相机单元控制单元201。相机单元控制单元201执行控制,使得输入图像数据被压缩和编码,并且生成的编码数据存储在例如非易失性存储器208中。因此,捕获了移动图像。注意的是,在静止图像的情况下,相机处理电路202对与例如响应于对释放按钮执行的操作而输出的单个帧对应的图像数据执行图像处理。也有可能通过在捕获移动图像时按下快门按钮来拍摄静止图像。当然,在捕获移动图像时,不一定需要捕获静止图像。

同时,在播放存储在非易失性存储器208中的图像文件的情况下,相机单元控制单元201根据从输入单元206输入的操作从非易失性存储器208读取选择的静止图像文件。对读取的图像数据执行解压缩和解码处理。然后,经解码的图像数据经由相机单元控制单元201供给图形i/f204。因此,存储在非易失性存储器208中的静止图像或移动图像被显示在显示器205上。注意的是,可以将图像数据写入存储单元30,或者可以再现存储在存储单元30中的图像数据。

[校正数据的示例]

接下来,将描述校正数据。当例如运送图像传感器单元10时,包括校正数据的各种数据被写入到图像传感器单元10中包括的非易失性存储器104中。

校正数据包括预期稍后被更新的数据(可更新的校正数据)和基本上不需要被更新的数据。当读取校正数据时,相机单元20基本上读取这两种类型的校正数据。但是,仅可更新的校正数据可以在相机单元20侧被更新。

可更新的校正数据的具体示例包括像素缺陷信息、白色阴影校正信息、黑色阴影校正信息、与nd过滤器105的故障相关的数据,以及图像传感器101从光轴的偏离量。此外,基本上不需要更新的数据的示例包括图像传感器101的灵敏度、眩光校正信息和每个nd过滤器105的颜色校正信息。

注意的是,与nd过滤器105的故障相关的数据是指例如在切换nd过滤器105的插入的过滤器盘单元中发生故障的情况下用于强制关闭nd过滤器105的使用的信息。这些校正数据被设置在对应的硬件(具体地由相机处理电路202中包括的阴影校正电路例示)中。

[成像装置的使用的示例]

上述成像装置1可以用另一个替换要附接到相机单元20的图像传感器单元10或透镜单元40,并且捕获图像。因此,有可能通过使用适合于成像环境、成像条件、成像目标等的图像传感器和成像透镜来捕获图像。而且,即使在用户不具有图像传感器单元10或透镜单元40的情况下,也有可能借用公司或朋友拥有的图像传感器单元10或透镜单元40并且捕获图像。

顺便提及,上述校正数据在运送时被优化,但是取决于图像传感器单元10的使用环境等的长期改变可能不合适。当然,也可以想到用户可以将图像传感器单元10带到服务中心并且用适当的数据更新图像传感器单元10中的非易失性存储器104中的校正数据。但是,对于用户(例如,熟悉用于成像的设置的用户),从方便的角度来看,优选的是用户可以自己用适当的值来更新校正数据。因此,在本实施例中,可以在相机单元20的相机单元控制单元201的控制下更新存储在图像传感器单元10的非易失性存储器104中的校正数据。

例如,图像传感器单元10附接到相机单元20。用户在光被遮光过滤器阻挡的状态下捕获图像,并且获得图像数据。与图像数据对应的图像显示在显示器205上。用户基于在显示器205上显示的图像来检查存在缺陷像素的位置,并通过使用输入单元206指定其位置(地址)。与对输入单元206执行的操作对应的操作信号被供给相机单元控制单元201。相机单元控制单元201更新存储在非易失性存储器104中的校正数据(在本示例中,关于图像传感器101的像素缺陷信息),使得校正数据指示缺陷像素存在于与操作信号对应的地址处。

如上所述,虽然由于允许用户更新校正数据而提高了便利性,但是相机单元20不能确定存储在图像传感器单元10中的校正数据是否已被更新。

将基于具体示例提供描述。例如,图像传感器单元10a被附接到相机单元20a,并且存储在图像传感器单元10a中的校正数据被存储(复制)在相机单元20a的非易失性存储器208a中。然后,在将校正数据设置在相机单元20a的硬件中的状态下捕获图像。

然后,假设图像传感器单元10a附接到相机单元20b并且在另一种情况下被使用。此时,假设响应于对相机单元20b执行的操作而更新存储在图像传感器单元10a中的校正数据。此后,假设图像传感器单元10a被附接到相机单元20a并且再次在另一种情况下使用。在这种情况下,相机单元20a不能确定存储在图像传感器单元10a中的校正数据是否已被更新。因此,相机单元20a不能确定是否应当在其自己的硬件中设置校正数据。

假设存储在图像传感器单元10a中的校正数据始终保持最新,那么还可以想到,相机单元20a可以始终在硬件中设置存储在图像传感器单元10a中的校正数据。但是,在这样的控制下,相机单元20a应当不断地读取存储在图像传感器单元10a中的校正数据,并且在硬件中设置校正数据。因此,处理(例如,成像装置1的启动处理)需要时间。基于这些点,将描述要在一个实施例中执行的处理的示例。

[一个实施例中要执行的处理]

图3是示出在本实施例中例如要由相机单元控制单元201执行的处理的流程的流程图。以下将描述的处理是例如在成像装置1启动时(当电源接通时)要执行的处理。注意的是,在本实施例中,成像装置1被构造为使得在图像传感器单元10未附接到相机单元20的情况下(就硬件而言,在未检测到图像传感器单元10的附接的情况下)不接通相机单元20的电源。

(确定处理中要使用的信息的示例)

注意的是,将在下面描述的每个确定处理中使用的信息的内容(在下文中,适当地称为确定信息)如下。

“关于图像传感器单元的型号信息”···指派给图像传感器单元的每个型号的独有标识符(型号标识符(id))。

“图像传感器单元的序列号”···将分别指派给每个图像传感器单元的独有序列号。当制造图像传感器单元10时,该信息被写入非易失性存储器104。

“图像传感器单元的数据修订次数”···指示校正数据的更新历史的信息。在校正数据被更新的情况下,该次数递增(+1)。为了即使对于同一图像传感器单元10也检测校正数据的更新,在更新校正数据时也更新数据修订次数。在本实施例中,将单个数据修订次数指派给校正数据。

“图像传感器单元的固件版本”···用于控制安装在图像传感器单元10上的nd过滤器的固件的版本信息(版本名称)。关于用于控制nd过滤器的固件,固件二进制文件被保持在相机单元20的非易失性存储器208中,以使得与相机单元20的固件在版本方面相同的固件操作。然后,当检测到用于控制nd过滤器的不同版本的固件时,基于检测到的固件来更新存储在非易失性存储器208中的固件。

注意的是,与关于图像传感器单元的型号信息和图像传感器单元的序列号对应的相应数据是与图像传感器单元相关的数据的示例。

与这些确定信息对应的数据存储在图像传感器单元10的非易失性存储器104和相机单元20的非易失性存储器208中的每一个中。与最新确定信息(即,与上次附接的图像传感器单元10对应的确定信息)对应的数据存储在相机单元20的非易失性存储器208中。

(处理的流程)

将描述处理的流程。在步骤st11中,相机单元控制单元201进行关于图像传感器单元10的型号的确定(图像传感器单元型号确定1)。在这个处理中,相机单元控制单元201获取关于当前附接的图像传感器单元10的型号信息,并且确定该型号信息是否包括在关于相机单元20可以支持的型号的型号信息中。在此,在关于图像传感器单元10的型号信息未包括在关于相机单元20可以支持的型号的型号信息中的情况下(在ng的情况下(在不满足确定条件的情况下)),处理前进到步骤st21。

在步骤st21中,由于附接的图像传感器单元10与相机单元20不支持的型号(不支持的型号)对应,因此执行错误处理,并且中断启动处理。注意的是,错误处理是例如用于提供显示或声音以向用户通知所附接的图像传感器单元10与相机单元20不支持的型号对应的处理。

在步骤st11的确定处理中,在关于图像传感器单元10的型号信息包括在关于相机单元20可以支持的型号的型号信息中的情况下(在ok的情况下(在满足确定条件的情况下)),处理前进到步骤st12。

在步骤st12中,相机单元控制单元201将存储在非易失性存储器208中的关于图像传感器单元10的型号信息与存储在非易失性存储器104中的关于图像传感器单元10的型号信息进行比较(图像传感器单元型号确定2)。作为执行这种处理的结果,确定当前附接的图像传感器单元10的型号是否与上次附接到相机单元20的图像传感器单元10的型号相同。作为比较的结果,在型号信息彼此一致的情况下(在ok的情况下),处理前进到步骤st13。

在步骤st13中,相机单元控制单元201将存储在非易失性存储器208中的上次使用的图像传感器单元10的序列号与存储在非易失性存储器104中的图像传感器单元10的序列号进行比较(图像传感器单元序列号确定)。作为执行这种处理的结果,确定当前附接的图像传感器单元10是否与上次附接到相机单元20的图像传感器单元10相同。作为比较的结果,在序列号彼此一致的情况下(在ok的情况下),确定当前附接的图像传感器单元10与上次附接的图像传感器单元相同,并且处理前进到步骤st14。

在步骤st14中,相机单元控制单元201将非易失性存储器208中存储的上次使用的图像传感器单元10的数据修订次数与非易失性存储器104中存储的图像传感器单元10的数据修订次数进行比较(图像传感器单元修订确定)。执行这种更新确定处理,即,确定存储在图像传感器单元10中的校正数据(第一校正数据的示例)是否已被更新的处理。因此,即使在当前附接的图像传感器单元10与上次附接到相机单元20的图像传感器单元10相同的情况下,也有可能通过执行更新确定处理确定存储在图像传感器单元10的非易失性存储器104中的校正数据是否已被更新。作为比较的结果,在数据修订次数彼此一致的情况下(在ok的情况下),确定校正数据相同(未更新),并且处理前进到步骤st15。

在步骤st15中,相机单元控制单元201将存储在非易失性存储器208中的关于上次使用的图像传感器单元10的固件版本信息(第二版本信息)与存储在非易失性存储器104中的关于图像传感器单元10的固件版本信息(第一版本信息)进行比较(图像传感器单元固件版本确定)。作为比较的结果,在固件版本信息(在下文中,适当地称为固件版本)彼此一致(或者图像传感器单元10中存储的固件与相机单元20中存储的固件对应)的情况下,处理前进到步骤st16。

在步骤st16中,由于存储在附接的图像传感器单元10的非易失性存储器104中的校正数据与存储在相机单元20的非易失性存储器208中的校正数据相同,因此执行正常的启动处理。在正常的启动处理中,相机单元控制单元201在硬件中设置存储在非易失性存储器208中的校正数据,并通过使用校正数据来执行处理。相机单元控制单元201设置存储在其自己的单元(在本示例中为相机单元20)中的校正数据,而不设置存储在另一个单元(在本示例中为图像传感器单元10)中的校正数据。因此,可以减少处理所需的时间,并且还可以减少处理负荷。

在步骤st14中执行的更新确定处理中数据修订次数彼此不一致的情况下(在ng的情况下),相机单元控制单元201确定存储在图像传感器单元10的非易失性存储器104中的校正数据已被更新,并且处理前进到步骤st22。此外,在不同于更新确定处理的多个确定处理(本示例中的步骤st12和st13的确定处理)之一中不满足确定条件的情况下(在ng的情况下),相机单元控制单元201确定当前附接的图像传感器单元10与上次附接的图像传感器单元10不同。在这种情况下,处理也前进到步骤st22。

在步骤st22中,例如,执行以下处理。

-相机单元控制单元201在非易失性存储器208中存储(复制)从包括在图像传感器单元10中的非易失性存储器104读取的校正数据。之后,通过使用此时存储的校正数据执行处理。

-相机单元控制单元201在非易失性存储器208中存储(复制)在非易失性存储器104中存储的确定信息(在本实施例中,关于图像传感器单元10的型号信息、图像传感器单元10的序列号,以及存储在非易失性存储器104中的图像传感器单元10的数据修订次数)。因此,存储在当前附接的图像传感器单元10中的校正数据和确定信息被复制到相机单元20侧,因此校正数据和确定信息被共享。

-在上述处理完成之后,相机单元控制单元201执行重启处理。

在重启之后,再次执行步骤st11至st15的确定处理。作为步骤st22的处理的结果,图像传感器单元10和相机单元20各自存储相同的校正数据和确定信息。因此,步骤st11至st14的确定处理中的确定条件都被满足,并且处理前进到步骤st15。

作为步骤st15的确定处理的结果,在固件版本彼此不一致的情况下,处理前进到步骤st23。在步骤st23中,基于存储在相机单元20中的固件来更新存储在图像传感器单元10中的固件。具体而言,利用由相机单元20保持的二进制数据来更新图像传感器单元10的固件。在更新之后,相机单元控制单元201执行重启处理。

在重启之后,再次执行步骤st11至st15的确定处理。作为步骤st23的处理的结果,图像传感器单元10的nd过滤器控制固件的版本与相机单元20的nd过滤器控制固件的版本一致。因此,满足步骤st15的确定处理中的确定条件。因而,处理前进到步骤st16,并且执行正常的启动处理。

如上所述,在确定校正数据已被更新的情况下,相机单元控制单元201将存储在非易失性存储器104中的校正数据复制到非易失性存储器208。即使在图像传感器单元10可附接到不同的相机单元20并且校正数据可以被更新的情况下,已经附接了图像传感器单元10的相机单元20也可以确认校正数据是否已经通过执行这种处理而被更新。此外,相机单元20可以在其自己的硬件中设置适当的校正数据(更新后的校正数据)。

此外,在与更新确定处理不同的确定处理(例如,步骤st12或st14的处理)中,相机单元控制单元201在确定当前附接的图像传感器单元与上次附接的图像传感器单元不同的情况下在非易失性存储器208中存储在非易失性存储器104中存储的校正数据。因而,即使在将与上次附接的图像传感器单元10不同的图像传感器单元10附接到相机单元20的情况下,相机单元20也可以读取存储在图像传感器单元10中的校正数据并在其自己的硬件中设置校正数据。此外,在当前附接的图像传感器单元10与上次附接的图像传感器单元10相同的情况下,不必将校正数据从非易失性存储器104复制到相机单元20,从而可以执行高效的处理。

注意的是,在步骤st12、st13和st14的确定处理中不满足确定条件的情况下,可以在步骤st22中执行步骤st15的处理。即,在固件版本彼此不一致的情况下,可以执行用由相机单元20保持的二进制数据更新图像传感器单元10的固件的处理。作为执行这种处理的结果,在步骤st12至st14的任何确定处理中不满足确定条件并且在步骤st15的确定处理中不满足确定条件的情况下,不必执行两次重启。

注意的是,在步骤st11和st12中的处理中,相机单元控制单元201通过例如读取预定端口来获取关于图像传感器单元10的型号信息。此外,在步骤st13和st14中,相机单元控制单元201请求与非易失性存储器104中的预定地址对应的数据。然后,当返回与该地址对应的数据时,相机单元控制单元201获取图像传感器单元10的序列号和图像传感器单元的数据修订次数。在步骤st15中,相机单元控制单元201通过与图像传感器单元10的图像传感器单元控制单元103通信来获取固件版本。当然,本实施例不限于此,并且相机单元控制单元201可以通过与图像传感器单元控制单元103不断地通信来交换确定信息。

图4a和图4b是示意性示出上述处理的细节的示图。图4a是示意性示出在满足所有确定处理中的确定条件的情况下要执行的正常启动处理的细节的示图。在正常的启动处理中,相机单元控制单元201读取存储在非易失性存储器208中的校正数据,并在硬件(例如,相机处理电路202)中设置读取的校正数据。通过使用不存储在非易失性存储器104中而是存储在相机单元20的非易失性存储器208中的校正数据,可以减少处理时间。

图4b是示意性地示出在步骤st12、st13和st14的任何确定处理中不满足确定条件的情况下要执行的步骤st22的处理的细节的示图。在这种情况下,相机单元控制单元201从非易失性存储器104读取校正数据,将读取的校正数据存储(复制)在非易失性存储器208中,并且在硬件中设置校正数据。

注意的是,如上所述,在图像传感器单元10附接到相机单元20的状态下执行更新校正数据的操作。在这种情况下,如图5中示意性所示,相机单元控制单元201更新存储在非易失性存储器104和非易失性存储器208中的校正数据。此外,相机单元控制单元201在硬件中设置更新后的校正数据。

<2.变形>

上面已经具体描述了本公开的一个实施例。但是,本公开的内容不限于上述实施例,并且可以基于本公开的技术构思进行各种修改。在下文中,将描述变形。

在上述实施例中,已经将校正数据描述为与多种类型的信息(例如,像素缺陷信息、白色阴影校正信息、黑色阴影校正信息以及关于nd过滤器105的设置信息)对应的数据。此外,已经描述了将单个数据修订次数指派给校正数据的示例。但是,本公开的内容不限于此。例如,可以将数据修订次数指派给校正数据中包括的每种类型的数据(例如,与像素缺陷信息对应的数据或与白色阴影校正信息对应的数据)。然后,可以采用如下构造,其中读取指派给校正数据中包括的每条数据的数据修订次数,以确定是否已经更新了校正数据中包括的每条数据。然后,仅更新后的一种类型的数据可以被复制到非易失性存储器208,而不是复制校正数据(所有类型的数据)。因此,可以减轻处理负荷。

可以将单个数据修订次数指派给校正数据,并且可以将数据修订次数指派给校正数据中包括的每种类型的数据。然后,仅在指派给校正数据的数据修订次数发生改变的情况下,可以针对包括在校正数据中的每种类型的数据读取数据修订次数,以确定包括在校正数据中的每条数据是否已被更新。对于校正数据中包括的每种类型的数据,不必不断地读取数据修订次数。因此,可以简化处理。

在将多种类型的图像传感器用作图像传感器101的情况下,针对每种类型的图像传感器的校正数据可以存储在非易失性存储器104或非易失性存储器208中。此外,每个图像传感器可以包括固件。

本公开不仅可以应用于校正数据,而且可以应用于例如伴随应用(例如,生成与用户界面(ui)相关的画面的应用)的数据。

在上述实施例中,在校正数据在相机单元20侧被更新的情况下,相机单元20可以仅读取存储在图像传感器单元10中的可更新的校正数据。

在上述实施例中,在图像传感器单元10包括在例如分辨率(称为hd、fhd、4k或8k的分辨率)和尺寸方面不同的多个图像传感器101的情况下,以下内容可以保持在非易失性存储器104中:其数量和作用(诸如rgb之类的颜色、用于右眼、用于左眼等)(为所有图像传感器保持关于这些项的信息)、与图像传感器101对应的成像帧速率(24、25、30、50、60、120或240fps(帧/秒))等。

在上述实施例中,第一存储单元已经通过非易失性存储器104例示,并且第二存储单元已经通过非易失性存储器208例示。但是,第一存储单元和第二存储单元不限于此。例如,第一存储单元可以是图像传感器单元控制单元103中的存储单元(例如,图像传感器单元控制单元103中包括的存储单元的预定区域,或者图像传感器单元控制单元103中包括的非易失性存储单元)。类似地,第二存储单元可以是相机单元控制单元201中的存储单元(例如,相机单元控制单元201中包括的存储单元的预定区域,或者相机单元控制单元201中包括的非易失性存储单元)。然后,校正数据、固件和其它信息可以存储在图像传感器单元控制单元103中的存储单元中或相机单元控制单元201中的存储单元中。

在上述实施例中,可以自动更新校正数据,而不是通过用户操作(手动操作)来更新校正数据。

在上述实施例中,图像传感器101可以是包括多个图像传感器的图像传感器,诸如红色(r)、绿色(g)和蓝色(b)的三板型图像传感器,以及用于3d显示的两板型图像传感器。在那种情况下,可以存在与图像传感器对应的多个后级构成元件。

在上述实施例中,图像传感器单元10可以包括专用相差af传感器。

在上述实施例中,当将校正数据从图像传感器单元10复制到相机单元20时,可以用要复制的校正数据重写相机单元20侧的校正数据。可替代地,可以在相机单元20侧的校正数据保持不变的同时复制图像传感器单元10侧的校正数据,或者可以在删除相机单元20侧的校正数据之后存储图像传感器单元10侧的校正数据。

在上述实施例中,就硬件而言,图3中所示的处理可以与用于检测图像传感器单元10是否已经附接到相机单元20的处理并行地执行。此外,在就硬件而言检测到图像传感器单元10已经被附接到相机单元20之后,可以执行基于软件的处理(例如,图3中所示的处理)。

在上述实施例中,可以采用以下构造,其中处理可以从图3中所示的处理的任何阶段前进到步骤st16。因此,并非所有步骤都是必需的。

在以上实施例中描述的构造仅仅是示例,并且本公开不限于此。不用说,可以在不脱离本公开的精神的情况下进行构造的增加、删除等。

本公开还可以以任何形式实现,诸如装置、方法、程序或系统。例如,假设可以下载实现上述实施例中描述的功能的程序。然后,不具有实施例中描述的控制功能的装置可以通过下载并安装程序来执行实施例中描述的控制。本公开还可以通过分发这种程序的服务器来实现。

本公开还可以采用以下构造。

(1)一种成像装置,包括:

图像传感器单元;以及

相机单元,图像传感器单元可从所述相机单元分离,

其中图像传感器单元至少包括:

图像传感器;以及

第一存储单元,其中存储有第一校正数据,

相机单元至少包括控制单元,以及

控制单元执行用于确定存储在第一存储单元中的第一校正数据是否已被更新的更新确定处理。

(2)根据(1)所述的成像装置,其中

相机单元还包括第二存储单元,其中存储有第二校正数据,以及

在确定第一校正数据已被更新的情况下,控制单元将存储在第一存储单元中的第一校正数据存储在第二存储单元中。

(3)根据(1)或(2)所述的成像装置,其中

在确定当前附接的图像传感器单元与上次附接的图像传感器单元相同的情况下,控制单元执行更新确定处理。

(4)根据(2)或(3)所述的成像装置,其中

在确定当前附接的图像传感器单元与上次附接的图像传感器单元不同的情况下,控制单元将存储在第一存储单元中的校正数据存储在第二存储单元中。

(5)根据(2)或(3)所述的成像装置,其中

控制单元执行确定存储在第一存储单元中的与图像传感器单元相关的数据是否与存储在第二存储单元中的与图像传感器单元相关的数据一致的处理,并且作为处理的结果,在与图像传感器单元相关的数据彼此不一致的情况下,确定当前附接的图像传感器单元与上次附接的图像传感器单元不同。

(6)根据(5)所述的成像装置,其中

与图像传感器单元相关的数据包括:

指示图像传感器单元的型号的标识符;以及

图像传感器单元特有的序列号。

(7)根据(2)至(6)中的任一项所述的成像装置,其中

控制单元执行确定存储在第一存储单元中的关于用于执行预定控制的固件的第一版本信息是否与存储在第二存储单元中的关于固件的第二版本信息一致的处理。

(8)根据(7)所述的成像装置,其中

作为确定的结果,在第一版本信息与第二版本信息彼此不一致的情况下,控制单元基于与第二版本信息对应的固件来更新与第一版本信息对应的固件。

(9)根据(2)至(8)中的任一项所述的成像装置,其中

在尚未更新第一校正数据的情况下,控制单元通过使用存储在第二存储单元中的校正数据来执行处理。

(10)根据(1)至(9)中的任一项所述的成像装置,其中

控制单元在启动时执行更新确定处理。

(11)根据(1)至(10)中的任一项所述的成像装置,其中

控制单元与连接部分之间是否存在物理连接的检测并行地执行更新确定处理。

(12)根据(2)至(11)中的任一项所述的成像装置,其中

控制单元将表示存储在第一存储单元中的校正数据的更新历史的数据与表示存储在第二存储单元中的校正数据的更新历史的数据进行比较,并且在数据彼此不一致的情况下,控制单元确定校正数据已被更新,并且在数据彼此不一致的情况下,确定校正数据没有被更新。

(13)根据(2)所述的成像装置,其中

控制单元在将存储在第一存储单元中的校正数据存储在第二存储单元中之后执行重启。

(14)根据(2)至(13)中的任一项所述的成像装置,其中

在图像传感器单元附接到相机单元的状态下对相机单元执行改变校正数据的操作的情况下,控制单元改变存储在第二存储单元和图像传感器单元中包括的第一存储单元中的每一个中的校正数据。

(15)根据(1)至(14)中的任一项上述的成像装置,其中

校正数据是包括像素缺陷信息、白色阴影校正信息、黑色阴影校正信息和与nd过滤器的故障相关的数据中的至少一项的数据。

(16)根据(1)至(15)中的任一项所述的成像装置,还包括:

透镜单元,所述透镜单元可从图像传感器单元分离,并且包括成像透镜。

(17)根据(16)所述的成像装置,其中

关于成像透镜的信息经由图像传感器单元被供给相机单元。

(18)一种图像传感器单元,包括成像透镜的透镜单元能够以可分离的方式附接到所述图像传感器单元,所述图像传感器单元可附接到相机单元和可从相机单元分离,所述图像传感器单元至少包括:

图像传感器;以及

存储单元,其中存储有校正数据,

其中表示校正数据的更新历史的数据被存储在存储单元中。

(19)一种相机单元,图像传感器单元和透镜单元能够以可分离的方式附接到所述相机单元,图像传感器单元至少包括图像传感器和其中存储有校正数据的存储单元,透镜单元包括成像透镜,透镜单元经由图像传感器单元可附接到相机单元和可从相机单元分离,该相机单元包括:

控制单元,所述控制单元确定校正数据是否已被更新,校正数据被存储在包括在附接到相机单元的图像传感器单元中的存储单元中。

(20)一种控制方法,包括:

使相机单元中包括的控制单元确定校正数据是否已被更新,校正数据被存储在包括在附接到相机单元的图像传感器单元中的第一存储单元中,并且作为确定的结果,在校正数据已被更新的情况下,将校正数据存储在包括在相机单元中的第二存储单元中。

<3.应用示例>

根据本公开的技术可以应用于各种产品。例如,根据本公开的技术可以被应用于内窥镜手术系统。

图6是示出可以应用根据本公开的技术的内窥镜手术系统5000的示意性构造的示例的示图。图6示出了操作者(外科医生)5067通过使用内窥镜手术系统5000对病床5069上的患者5071执行手术。如图所示,内窥镜手术系统5000包括内窥镜5001、其它手术器械5017、支撑臂设备5027和推车5037。支撑臂设备5027支撑内窥镜5001。用于内窥镜手术的各种设备安装在推车5037上。

在内窥镜手术中,将称为套管针5025a至5025d的多个管状打开器械穿过腹壁放置,而不是切割并打开腹壁。然后,将内窥镜5001的镜筒5003和其它手术器械5017通过套管针5025a至5025d插入患者5071的体腔内。在所示示例中,插入患者5071的体腔中的其它手术器械5017包括吹入管5019、能量治疗器械5021和钳子5023。此外,能量治疗器械5021是用于通过使用高频电流和超声振动来进行组织的切开和剥离、血管的密封等的治疗器械。但是,附图中所示的手术器械5017仅仅是示例,并且在内窥镜手术中一般使用的各种手术器械(例如,诸如镊子和牵开器)可以被用作手术器械5017。

由内窥镜5001捕获的患者5071的体腔中的手术部位的图像显示在显示设备5041上。操作者5067在实时地查看显示在显示设备5041上的手术部位的图像的同时例如通过使用能量治疗器械5021和钳子5023提供治疗,诸如受影响的部分的切除。注意的是,虽然未示出,但是在手术期间,吹入管5019、能量处理器械5021和钳子5023由操作者5067、助手等支撑。

(支撑臂设备)

支撑臂设备5027包括从基座5029延伸的臂5031。在所示的示例中,臂5031包括关节5033a、5033b和5033c以及连杆5035a和5035b。臂5031在臂控制设备5045的控制下被驱动。臂5031支撑内窥镜5001,并控制其位置和朝向。因此,有可能稳定地固定内窥镜5001的位置。

(内窥镜)

内窥镜5001包括镜筒5003和相机头5005。镜筒5003的一部分插入患者5071的体腔内。该部分从镜筒5003的远端延伸到预定长度。相机头5005连接到镜筒5003的近端。在所示的示例中,内窥镜5001被构造为包括刚性的镜筒5003的所谓的刚性镜。但是,内窥镜5001可以被构造为包括柔性的镜筒5003的所谓的柔性镜。

在镜筒5003的远端处设置有其中装有物镜的开口。光源设备5043连接到内窥镜5001。由光源设备5043生成的光由在镜筒5003内延伸的光导引导到镜筒的远端,并通过物镜朝着患者5071的体腔中的观察目标发射。注意的是,内窥镜5001可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和成像元件设置在相机头5005的内部。来自观察目标的反射光(观察光)通过光学系统会聚在成像元件上。成像元件对观察光执行光电转换以生成与观察光对应的电信号,即,与观察图像对应的图像信号。图像信号作为raw数据被发送到相机控制单元(ccu)5039。注意的是,相机头5005具有通过适当地驱动光学系统来调整放大倍率和焦距的功能。

注意的是,相机头5005可以包括多个成像元件,以适用于例如立体观察(3d显示)等。在这种情况下,在镜筒5003的内部设置多个中继光学系统,以便将观察光引导到多个成像元件中的每一个。

(要安装在推车上的各种设备)

ccu5039包括中央处理单元(cpu)、图形处理单元(gpu)等,并且集中控制内窥镜5001和显示设备5041的操作。具体而言,ccu5039对从相机头5005接收到的图像信号进行各种类型的图像处理,诸如例如用于基于图像信号显示图像的显影处理(去马赛克处理)。ccu5039将经受图像处理的图像信号提供给显示设备5041。此外,ccu5039向相机头5005发送控制信号以控制其驱动。控制信号可以包括关于成像条件的信息,诸如放大倍率和焦距。

显示设备5041在ccu5039的控制下基于经受由ccu5039执行的图像处理的图像信号来显示图像。在内窥镜5001例如适用于诸如4k(3840水平像素×2160垂直像素)或8k(7680水平像素×4320垂直像素)之类的高分辨率的成像和/或适用于3d显示的情况下,与其对应的显示设备(即,可以提供高分辨率显示和/或3d显示的显示设备)可以用作显示设备5041。在将内窥镜5001应用于诸如4k或8k之类的高分辨率的成像的情况下,可以将具有55英寸或更大的尺寸的显示设备用作显示设备5041,以带来更多的沉浸感。此外,可以取决于预期用途提供分辨率和尺寸不同的多个显示设备5041。

光源设备5043例如包括诸如发光二极管(led)之类的光源,并且向内窥镜5001供应照射光,以用于捕获手术部位的图像。

臂控制设备5045例如包括诸如cpu之类的处理器,并且根据预定程序进行操作以根据预定控制方法来控制支撑臂设备5027的臂5031的驱动。

输入设备5047是与内窥镜手术系统5000的输入接口。用户可以经由输入设备5047向内窥镜手术系统5000输入各种类型的信息和指令。例如,用户经由输入设备5047输入与手术相关的各种类型的信息,诸如关于患者的物理信息和关于手术方法的信息。此外,例如,用户经由输入设备5047输入应当驱动臂5031的指令、应当改变用于由内窥镜5001进行成像的成像条件(照射光的类型、放大倍率、焦距等)的指令、应当驱动能量治疗器械5021的指令或其它指令。

输入设备5047的类型不受限制,并且各种众所周知的输入设备可以被用作输入设备5047。例如,鼠标、键盘、触摸面板、开关、脚踏开关5057和/或操纵杆可以用作输入设备5047。在使用触摸面板作为输入设备5047的情况下,可以将触摸面板设置在显示设备5041的显示表面上。

可替代地,输入设备5047例如是用户要穿戴的设备,诸如眼镜型可穿戴设备或头戴式显示器(hmd)。根据由这些设备检测到的用户手势或视线进行各种输入。此外,输入设备5047包括能够检测用户的移动的相机。因此,根据从由相机捕获的画面图像中检测到的用户手势或视线进行各种输入。而且,输入设备5047包括能够收集用户的语音的麦克风,并且经由麦克风通过语音进行各种输入。如上所述,输入设备5047被构造为使得可以以非接触方式输入各种类型的信息。这特别地使得属于清洁区域的用户(例如,操作者5067)能够以非接触方式操作属于非清洁区域的设备。此外,用户可以在不释放他/她在手术器械上的抓握的情况下操作设备。这提高了用户便利性。

处理器械控制设备5049控制能量处理器械5021的驱动,以烧灼或切开组织、密封血管等。吹入设备5051通过吹入管5019将气体吹入患者5071的体腔内,以便为了确保内窥镜5001的视野并确保操作者的工作空间而使体腔膨胀。记录器5053是可以记录与手术相关的各种类型信息的设备。打印机5055是能够以诸如文本、图像和图形之类的各种格式来打印与手术相关的各种类型的信息的设备。

在下文中,将更详细地描述内窥镜手术系统5000的特定的特征构造。

(支撑臂设备)

支撑臂设备5027包括作为基座的基座5029和从基座5029延伸的臂5031。在所示的示例中,臂5031包括多个关节5033a、5033b和5033c,以及通过关节5033b连接的多个连杆5035a和5035b。但是,为简单起见,图6示出了臂5031的简化构造。实际上,例如,适当地设置关节5033a至5033c以及连杆5035a和5035b的形状、数量和布置以及关节5033a至5033c的旋转轴的方向,以使臂5031具有期望的自由度。例如,臂5031可以被适当地构造为使得臂5031具有六个或更多个自由度。因而,内窥镜5001可以在臂5031的移动范围内自由移动。因此,可以将内窥镜5001的镜筒5003从期望的方向插入到患者5071的体腔内。

关节5033a至5033c均设置有致动器。关节5033a至5033c均被构造成可通过由致动器驱动而绕预定旋转轴旋转。致动器的驱动由臂控制设备5045控制。因此,控制关节5033a至5033c中的每一个的旋转角度,并且控制臂5031的驱动。这可以实现对内窥镜5001的位置和朝向的控制。此时,臂控制设备5045可以通过诸如力控制和位置控制之类的各种众所周知的控制方法来控制臂5031的驱动。

例如,可以根据操作者5067经由输入设备5047(包括脚踏开关5057)适当地输入的操作,由臂控制设备5045适当地控制臂5031的驱动,使得控制内窥镜5001的位置和朝向。利用这种控制,在臂5031的远端处的内窥镜5001从任何给定位置移动到期望位置之后,可以将内窥镜5001固定地支撑在内窥镜5001已经移动到的位置处。注意的是,臂5031可以通过所谓的主从方法来操作。在这种情况下,用户可以经由安装在远离手术室的位置处的输入设备5047来远程控制臂5031。

此外,在应用力控制的情况下,臂控制设备5045可以执行所谓的动力辅助控制以驱动关节5033a至5033c中的每一个的致动器,使得臂5031经受来自用户的外力并根据外力平稳地移动。因而,当用户在直接接触臂5031的同时移动臂5031时,用户可以用相对小的力来移动臂5031。因此,内窥镜5001可以更直观且以更简单的操作移动。因此,可以提高用户便利性。

在此,一般而言,在内窥镜手术中,内窥镜5001由称为内窥镜医师的医生支持。相比之下,使用支撑臂设备5027使得内窥镜5001的位置能够在没有手动操作的情况下更可靠地固定,从而可以稳定地获得手术部位的图像。因此,可以平稳地执行操作。

注意的是,臂控制设备5045不一定设置在推车5037上。此外,臂控制设备5045不一定是单个设备。例如,臂控制设备5045可以设置在支撑臂设备5027的臂5031的每个关节5033a至5033c处,使得多个臂控制设备5045彼此协作以控制臂5031的驱动。

(光源设备)

光源设备5043在对手术部位进行成像时向内窥镜5001供应照射光。光源设备5043包括白色光源,其包括例如led、激光光源或其组合。此时,在白色光源包括rgb激光光源的组合的情况下,可以针对每种颜色(每种波长)高精度地控制输出强度和输出定时。因此,可以在光源设备5043中调整捕获的图像的白平衡。此外,在这种情况下,还有可能通过以时分方式用来自每个rgb激光源的激光照射观察目标并与照射的定时同步地控制相机头5005的成像元件的驱动来以时分方式捕获与rgb对应的相应图像。根据这种方法,即使在没有滤色器设置在成像元件中的情况下,也可以获得彩色图像。

此外,可以控制光源设备5043的驱动,使得要输出的光的强度以预定的时间间隔改变。在与改变光强度的定时同步地控制相机头5005的成像元件的驱动的同时,以时分方式获得图像,然后对其组合。因此,有可能生成高动态范围图像而没有所谓的遮挡阴影或高光突出。

此外,光源设备5043可以被构造为使得光源设备5043可以供应与特殊光观察对应的预定波长带中的光。在特殊光观察中,执行所谓的窄带成像,其中通过使用例如人体组织中光吸收的波长依赖性,在用比正常观察中使用的照射光(即,白光)更窄的带中的光照射的同时,以高对比度对粘膜表面层中的预定组织(诸如血管)进行成像。可替代地,在特殊光观察中,可以执行荧光观察,其中通过由激发光照射产生的荧光获得图像。例如,在荧光观察中执行以下操作。用激发光照射身体组织以观察来自身体组织的荧光(自发荧光观察)。可替代地,将诸如吲哚菁绿(icg)之类的试剂局部注入人体组织中,并用与该试剂的荧光波长对应的激发光照射该人体组织以获得荧光图像。光源设备5043可以被构造为使得光源设备5043可以供应适用于这种特殊光观察的窄带光和/或激发光。

(相机头和ccu)

将参考图7更详细地描述内窥镜5001的相机头5005和ccu5039的功能。图7是示出图6中所示的相机头5005和ccu5039的功能构造的示例的框图。

参考图7,相机头5005包括透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和相机头控制单元5015作为其功能单元。此外,ccu5039包括通信单元5059、图像处理单元5061和控制单元5063作为其功能单元。相机头5005和ccu5039以使得能够在相机头5005和ccu5039之间进行双向通信的方式通过传输电缆5065连接。

首先,将描述相机头5005的功能构造。透镜单元5007是在相机头5005和镜筒5003之间的连接部分处设置的光学系统。从镜筒5003的远端吸收的观察光被引导到相机头5005并进入透镜单元5007。透镜单元5007包括多个透镜的组合,所述多个透镜包括变焦透镜和聚焦透镜。调整透镜单元5007的光学特点,使得观察光会聚在成像单元5009的成像元件的光接收表面上。此外,变焦透镜和聚焦透镜被构造为使得其在光轴上的位置可以被改变,以便调整要捕获的图像的放大倍率和焦点。

成像单元5009包括成像元件,并且部署在透镜单元5007之后的阶段。通过透镜单元5007的观察光会聚在成像元件的光接收表面上,以便通过光电转换生成与观察图像对应的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。

例如,具有拜耳阵列并且可以捕获彩色图像的互补金属氧化物半导体(cmos)型图像传感器被用作要包括在成像单元5009中的成像元件。注意的是,适用于以例如4k或更高的高分辨率捕获图像的成像元件可以用作成像元件。作为以高分辨率获得手术部位的图像的结果,操作者5067可以更详细地掌握手术部位的状态并且可以更平稳地进行手术。

此外,成像单元5009中包括的成像元件包括一对成像元件,用于分别获得与3d显示对应的右眼和左眼图像信号。作为提供3d显示的结果,操作者5067可以更准确地掌握手术部位处的活组织的深度。注意的是,在成像单元5009被构造为多板型成像单元的情况下,设置多个透镜单元5007,使得透镜单元5007与相应的成像元件对应。

此外,成像单元5009不一定设置在相机头5005中。例如,成像单元5009可以紧接在物镜之后设置在镜筒5003内部。

驱动单元5011包括致动器,并且在相机头控制单元5015的控制下使透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此,可以适当地调整要由成像单元5009捕获的图像的放大倍率和焦点。

通信单元5013包括用于向ccu5039发送各种类型的信息和从ccu5039接收各种类型的信息的通信设备。通信单元5013经由传输电缆5065将从成像单元5009获得的图像信号作为raw数据发送到ccu5039。此时,优选的是通过光学通信来发送图像信号,以便以低时延显示手术部位的捕获的图像。这是因为,在手术期间,操作者5067在基于捕获的图像观察受影响的部分的状态的同时进行手术。因此,为了尽可能更安全、更可靠的手术,要求实时地显示手术部位的移动图像。在执行光通信的情况下,通信单元5013设置有将电信号转换成光信号的光电转换模块。图像信号被光电转换模块转换成光信号,然后经由传输电缆5065发送到ccu5039。

此外,通信单元5013从ccu5039接收用于控制相机头5005的驱动的控制信号。控制信号包括例如关于成像条件的信息,诸如已指定要捕获的图像的帧速率的信息、已指定用于成像的曝光值的信息和/或已指定要捕获的图像的放大倍率和焦点的信息。通信单元5013将接收到的控制信号提供给相机头控制单元5015。注意的是,来自ccu5039的控制信号也可以通过光通信来传输。在这种情况下,通信单元5013设置有将光信号转换成电信号的光电转换模块。控制信号通过光电转换模块转换成电信号,然后提供给相机头控制单元5015。

注意的是,由ccu5039的控制单元5063基于获得的图像信号来自动设置上述成像条件,诸如帧速率、曝光值、放大倍率和焦点。即,内窥镜5001配备有所谓的自动曝光(ae)功能、自动聚焦(af)功能以及自动白平衡(awb)功能。

相机头控制单元5015基于经由通信单元5013从ccu5039接收的控制信号来控制相机头5005的驱动。例如,相机头控制单元5015基于已指定要捕获的图像的帧速率的信息和/或已指定用于成像的曝光的信息来控制成像单元5009的成像元件的驱动。此外,例如,相机头控制单元5015基于已指定要捕获的图像的放大倍率和焦点的信息适当地使透镜单元5007的变焦透镜和聚焦透镜经由驱动单元5011而移动。相机头控制单元5015还可以具有存储用于识别镜筒5003和相机头5005的信息的功能。

注意的是,通过将诸如透镜单元5007和成像单元5009之类的构成元件以具有高气密性和防水性的气密结构来布置,有可能使相机头5005具有对高压灭菌的抵抗力。

接下来,将描述ccu5039的功能构造。通信单元5059包括用于向相机头5005发送各种类型的信息和从相机头5005接收各种类型的信息的通信设备。通信单元5059经由传输电缆5065接收从相机头5005传输的图像信号。此时,如上所述,可以通过光通信适当地传输图像信号。在这种情况下,通信单元5059设置有光电转换模块,该光电转换模块将光信号转换成电信号以适用于光通信。通信单元5059将转换成电信号的图像信号提供给图像处理单元5061。

此外,通信单元5059将用于控制相机头5005的驱动的控制信号发送到相机头5005。控制信号也可以通过光通信来发送。

图像处理单元5061对从相机头5005发送的作为raw数据的图像信号执行各种类型的图像处理。图像处理的示例例如包括各种类型的众所周知的信号处理,诸如显影处理、图像质量增强处理(频带强调处理、超分辨率处理、降噪(nr)处理、相机抖动校正处理等),以及放大处理(电子变焦处理)。此外,图像处理单元5061对图像信号执行检测处理,用于执行ae、af和awb。

图像处理单元5061包括诸如cpu和gpu之类的处理器。处理器根据预定程序进行操作。因此,可以执行上述图像处理和检测处理。注意的是,在图像处理单元5061包括多个gpu的情况下,图像处理单元5061适当地划分与图像信号相关的信息,并且使多个gpu并行地执行图像处理。

控制单元5063执行与通过内窥镜5001的手术部位的成像以及其捕获的图像的显示相关的各种类型的控制。例如,控制单元5063生成用于控制相机头5005的驱动的控制信号。此时,在用户已经输入成像条件的情况下,控制单元5063基于用户的输入来生成控制信号。可替代地,在内窥镜5001配备有ae功能、af功能和awb功能的情况下,控制单元5063通过根据通过图像处理单元5061的检测处理的结果适当地计算最优曝光值、焦距和白平衡来生成控制信号。

此外,控制单元5063基于图像处理单元5061对其已执行图像处理的图像信号,使显示设备5041显示手术部位的图像。此时,控制单元5063通过使用各种图像识别技术来识别手术部位的图像中的各种物体。控制单元5063可以通过检测手术部位的图像中所包括的物体的边缘的形状、颜色等来识别例如手术器械(诸如钳子)、生物体的特定区域、出血、使用能量治疗器械5021时生成的薄雾等。当使显示设备5041显示手术部位的图像时,控制单元5063通过使用识别的结果使各种类型的操作支持信息叠加并显示在手术部位的图像上。操作支持信息被叠加并显示以呈现给操作者5067。因此,有可能更安全和可靠地进行操作。

连接相机头5005和ccu5039的传输电缆5065是适用于电信号通信的电信号电缆、适用于光通信的光纤或其复合电缆。

在此,虽然在所示示例中通过使用传输电缆5065执行有线通信,但是相机头5005与ccu5039之间的通信可以以无线方式执行。在以无线方式执行它们之间的通信的情况下,不必将传输电缆5065铺设在手术室中,从而有可能解决医务人员在手术室中的移动受到传输电缆5065的阻碍的情况。

上面已经描述了可以应用根据本公开的技术的内窥镜手术系统5000的示例。注意的是,虽然这里以内窥镜手术系统5000为例进行了描述,但是可以应用根据本公开的技术的系统不限于这种示例。例如,根据本公开的技术可以应用于检查柔性内窥镜系统或显微手术系统。

根据本公开的技术可以适当地应用于上述构成元件当中的相机头5005和ccu5039。具体而言,在相机头5005与ccu5039之间建立连接时的启动处理中使用根据本公开的技术。例如,通过使ccu5039读取存储在相机头5005(未显示)中的非易失性存储器或相机头控制单元中的非易失性存储器中的关于相机头的校正信息,可以将本公开应用于可以进行对每个相机头使用校正值的处理的系统。

更具体而言,在相机头5005设置有多个成像元件以便可应用于立体观察(3d显示)等的情况下,每个成像元件相对于光轴的偏离量等存储在相机头中,以便ccu5039通过使用关于偏离量的信息来调整图像,以使得图像变得适合于立体观察。但是,偏离量可以由于对相机头5005的机械冲击而改变。即使在这种情况下,也有可能通过允许用户在检查输出图像的同时手动地进行校正或使用自动检测和校正偏离量的功能来提供合适的立体显示。作为将新校正的偏离量存储在相机头5005中的结果,在连接到另一个ccu5039时,也有可能基于经校正的偏离量进行校正。通过将本公开应用于这种系统,有可能在成像装置的主体侧确定校正数据是否已经被更新。这可以减少启动处理所需的时间量,从而可以减轻操作者或助手的负担。当然,上述示例仅仅是示例,并且本公开不限于此。除了偏离量以外,还可以对校正数据执行类似的处理。

附图标记列表

1成像装置

10图像传感器单元

20相机单元

101图像传感器

103图像传感器单元控制单元

104非易失性存储器

105nd过滤器

201相机单元控制单元

208非易失性存储器

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1