内窥镜系统及图像处理装置的制作方法

本发明涉及具备内窥镜的内窥镜系统及图像处理装置。

背景技术：

以往，在医疗领域中，为了观察被检体内部而使用内窥镜系统。内窥镜通常向患者等被检体内插入呈细长形状的挠性的插入部，从该插入部前端照明由光源装置供给的照明光，通过由插入部前端的摄像部接受该照明光的反射光而拍摄体内图像。由内窥镜的摄像部拍摄到的体内图像在内窥镜系统的处理装置中被实施规定的图像处理之后显示于内窥镜系统的显示器。医生等用户基于显示于显示器的体内图像来观察被检体的内脏器官。

此外，在处理装置中，根据图像的种类、图像处理的种别的不同，从取得体内图像到生成显示用的图像数据为止的处理时间不同。如果处理时间较长，则从由内窥镜拍摄开始到显示于显示装置为止的时滞也变长。当时滞变长时，有时被检体内的内窥镜的实际位置与手术医生观察显示装置而识别的内窥镜的位置产生偏移，无法对适当的位置进行处置。

关于显示的时滞，已知有一种考虑装置的处理延迟而进行信号处理的技术(例如参照专利文献1)。在专利文献1中，通过使图像处理装置与处理器同步，从而使分别连接的显示装置所显示的图像同步。

现有技术文献

专利文献

专利文献1：日本特开2011-036488号公报

技术实现要素：

发明要解决的问题

但是，在专利文献1中，只是将与不同处理装置连接的显示装置的显示图像对齐，无法抑制内窥镜的实际位置与手术医生识别出的位置的偏移。此外，在专利文献1中，未考虑内窥镜、显示装置中的处理时间。在内窥镜系统的处理中，在内窥镜、显示装置中，也与处理装置同样，信号处理所需的时间根据图像的种类、装置的种别而不同。

本发明是鉴于上述而完成的，其目的在于，提供一种能够抑制内窥镜的实际位置与观察显示图像的手术医生所识别的内窥镜的位置之间的偏移的内窥镜系统及图像处理装置。

用于解决问题的手段

为了解决上述问题，实现目的，本发明的内窥镜系统的特征在于，具备：内窥镜，其拍摄被检体并输出摄像信号；图像处理装置，其对从所述内窥镜输入的所述摄像信号实施图像处理；以及显示装置，其基于由所述图像处理装置实施了图像处理的所述摄像信号而显示所述被检体的图像，所述内窥镜系统具有总处理时间检测部，该总处理时间检测部设置于所述内窥镜、所述图像处理装置及所述显示装置中的任意一方，计算如下的第1处理时间、第2处理时间以及第3处理时间的总和，其中，该第1处理时间是在所述内窥镜中直至生成并输出所述摄像信号为止所需的时间，该第2处理时间是在所述图像处理装置中从输入所述摄像信号到向所述显示装置输出为止的处理所需的时间，该第3处理时间是在所述显示装置中从输入所述摄像信号到基于所述摄像信号显示所述图像为止的处理所需的时间。

此外，本发明的内窥镜系统在上述发明的基础上，其特征在于，所述内窥镜具有：摄像元件，其对接受的光进行光电转换并读出该光电转换后的电信号，由此生成所述摄像信号；以及第1处理部，其对所述摄像元件生成的所述摄像信号实施信号处理，所述图像处理装置具有第2处理部，该第2处理部对从所述内窥镜输入的所述摄像信号实施多种处理，所述显示装置具有第3处理部，该第3处理部基于从所述图像处理装置输入的所述摄像信号，实施与图像显示相关的处理，所述总处理时间检测部计算所述摄像元件及所述第1处理部进行处理所需的第1处理时间、所述第2处理部进行处理所需的第2处理时间、以及所述第3处理部进行处理所需的第3处理时间的总和。

此外，本发明的内窥镜系统在上述发明的基础上，其特征在于，还具备报知部，该报知部在由所述总处理时间检测部计算出的所述总和为规定的阈值以上的情况下，报知在所述内窥镜的当前位置和根据在所述显示装置中显示的被检体的图像而识别的所述内窥镜的位置之间产生了偏移。

此外，本发明的内窥镜系统在上述发明的基础上，其特征在于，所述图像处理装置还具备控制部，该控制部在由所述总处理时间检测部计算出的所述总和为规定的阈值以上的情况下，使所述第2处理部实施将该第2处理部所实施的处理的一部分省略的间歇处理。

此外，本发明的内窥镜系统在上述发明的基础上，其特征在于，所述图像处理装置具备：基准图像数据输出部，其将预先设定的基准图像数据向所述显示装置输出；以及相位比较部，其取得由所述显示装置的所述第3处理部处理后的所述基准图像数据，对所述基准图像数据输出部输出到所述显示装置的第1基准图像数据与从所述显示装置取得的第2基准图像数据的相位进行比较，由此取得所述第3处理部进行处理所需的所述第3处理时间，所述总处理时间检测部计算所述第1处理时间及第2处理时间与所述相位比较部取得的所述第3处理时间的总和。

此外，本发明的内窥镜系统在上述发明的基础上，其特征在于，所述总处理时间检测部计算存储于所述内窥镜的所述第1处理时间、存储于所述图像处理装置的所述第2处理时间、以及存储于所述显示装置的所述第3处理时间的总和。

此外，本发明的图像处理装置与拍摄被检体并输出摄像信号的内窥镜以及显示所述被检体的图像的显示装置连接，对从所述内窥镜输入的所述摄像信号实施图像处理，其特征在于，具备总处理时间检测部，该总处理时间检测部计算如下的第1处理时间、第2处理时间以及第3处理时间的总和，其中，该第1处理时间是在所述内窥镜中直至生成并输出所述摄像信号为止所需的时间，该第2处理时间是在所述图像处理装置中从输入所述摄像信号到向所述显示装置输出为止的处理所需的时间，该第3处理时间是在所述显示装置中从输入所述摄像信号到基于所述摄像信号显示所述图像为止的处理所需的时间。

发明的效果

根据本发明，起到能够抑制内窥镜的实际的位置与观察显示图像的手术医生所识别的内窥镜的位置之间的偏移这样的效果。

附图说明

图1是示出本发明的实施方式1的内窥镜系统的概要结构的图。

图2是示出本发明的实施方式1的内窥镜系统的概要结构的框图。

图3是对本发明的实施方式1的内窥镜系统具备的图像处理部的结构进行说明的图。

图4是说明通过本发明的实施方式1的内窥镜系统进行的图像处理而显示的图像的图。

图5是示出本发明的实施方式1的内窥镜系统进行的延迟检测处理的流程图。

图6是示出本发明的实施方式2的内窥镜系统进行的延迟检测处理的流程图。

图7是示出本发明的实施方式3的内窥镜系统进行的延迟检测处理的流程图。

图8是示出本发明的实施方式4的内窥镜系统的概要结构的框图。

图9是说明本发明的实施方式4的内窥镜系统进行的延迟时间取得处理的图。

具体实施方式

以下，对用于实施本发明的方式(以下称为“实施方式”)进行说明。在实施方式中，作为本发明的内窥镜系统的一例，对拍摄患者等被检体而显示的医疗用的内窥镜系统进行说明。此外，并不通过该实施方式来限定该发明。此外，在附图的记载中，针对相同的部分标注相同的标号来说明。

(实施方式1)

图1是示出本发明的实施方式1的内窥镜系统的概要结构的图。图2是示出本实施方式1的内窥镜系统的概要结构的框图。

图1及图2所示的内窥镜系统1具备：内窥镜2，其通过向被检体内插入前端部来拍摄被检体；处理装置3，其具有产生从内窥镜2的前端出射的照明光的照明部3a，对内窥镜2拍摄到的摄像信号实施规定的信号处理，并且总括地控制内窥镜系统1整体的动作；以及显示装置4，其显示通过处理装置3的信号处理而生成的体内图像。

内窥镜2具备：插入部21，其具有挠性且呈细长形状；操作部22，其与插入部21的基端侧连接且受理各种操作信号的输入；以及通用缆线23，其从操作部22沿着与插入部21延伸的方向不同的方向延伸，内置有与处理装置3(包含照明部3a)连接的各种缆线。

插入部21具有：前端部24，其内置有将像素呈二维状排列的摄像元件244，该像素接受光并进行光电转换从而生成信号；弯曲自如的弯曲部25，其由多个弯曲件构成；以及长条状的可挠管部26，其与弯曲部25的基端侧连接，具有挠性。插入部21被插入到被检体的体腔内，通过摄像元件244来拍摄位于外部光无法到达的位置的生物体组织等被摄体。

前端部24具有：使用玻璃纤维等构成且形成由照明部3a发出的光的导光路的光导241；设置在光导241的前端的照明透镜242；聚光用的光学系统243；设置在光学系统243的成像位置，且接受光学系统243会聚的光并将其光电转换成电信号的摄像元件244；使用相关双采样(correlateddoublesampling：cds)法来降低模拟的摄像信号所包含的噪声成分的cds部245；将经由cds部245输出的模拟的摄像信号转换成数字信号的a/d转换部246；以及存储器247。

光学系统243由一个或多个透镜构成，具有使视场角变化的光学变焦功能及使焦点变化的对焦功能。

摄像元件244对来自光学系统243的光进行光电转换而生成电信号(图像信号)。具体而言，摄像元件244具有：受光部244a，其将多个像素排列成矩阵状，各像素对来自光学系统243的光进行光电转换而生成电信号，该多个像素分别具有蓄积与光量相应的电荷的光电二极管、将从光电二极管转送的电荷转换成电压电平的电容器等；以及读出部244b，其依次读出受光部244a的多个像素中的作为读出对象而任意设定的像素所生成的电信号，并作为摄像信号而输出。从摄像元件244输出包含构成显示图像的信息的图像数据在内的摄像信号。例如使用ccd(chargecoupleddevice：电荷耦合装置)图像传感器、cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)图像传感器来实现摄像元件244。

存储器247存储用于摄像元件244执行各种动作的执行程序及控制程序、内窥镜2的识别信息、内窥镜2中的信号处理所需的延迟时间。在识别信息中包含内窥镜2的固有信息(id)、年式、规格信息及传输方式等。此外，存储器247也可以暂时存储由摄像元件244生成的图像数据等。延迟时间相当于因信号处理引起的数据传输的延迟时间，这里以帧数设定。具体而言，延迟时间是将从由读出部244b开始读出起到a/d转换部246的转换处理完成为止的时间换算成帧数而得到的值。存储器247由ram(randomaccessmemory：随机存取存储器)、rom(readonlymemory：只读存储器)、闪存等构成。

操作部22具有：弯曲旋钮221，其使弯曲部25沿上下方向及左右方向弯曲；处置器具插入部222，其向被检体的体腔内插入活检钳、电刀及检查探针等处置器具；以及作为操作输入输出部的多个开关223，其除了输入处理装置3的操作指示信号之外，还输入送气单元、送水单元、画面显示控制等的周边设备的操作指示信号。从处置器具插入部222插入的处置器具经由前端部24的处置器具通道(未图示)从开口部(未图示)伸出。

通用缆线23至少内置有光导241和汇总了多个信号线的集合缆线248。集合缆线248包含用于传输摄像信号的信号线、用于传输驱动摄像元件244用的驱动信号的信号线、用于收发包含与内窥镜2(摄像元件244)相关的固有信息等的信息的信号线。另外，在本实施方式中，说明使用信号线来传输电信号的情况，但也可以传输光信号，还可以通过无线通信在内窥镜2与处理装置3之间传输信号。

接着，对处理装置3的结构进行说明。处理装置3具备照明部3a和处理器部3b。处理器部3b具备图像处理部31、第1通信部32、总延迟时间检测部33、同步信号生成部34、第2通信部35、输入输出部36、控制部37、以及存储部38。处理器部3b相当于图像处理装置。

首先，对照明部3a的结构进行说明。照明部3a具备光源部310和照明控制部320。

光源部310使用出射照明光的光源、多个透镜、使规定波段的光通过的滤光片等而构成，出射规定波段的光的照明光。光源部310具有光源310a、光源驱动器310b、旋转滤光片310c、驱动部310d、以及驱动器310e。

光源部310使用白色led及一个或多个透镜等构成，在光源驱动器310b的控制下，向旋转滤光片310c出射白色光。光源310a产生的白色光经由旋转滤光片310c及光导241从前端部24的前端朝向被摄体出射。

光源驱动器310b在照明控制部320的控制下，向光源310a供给电流，由此，使光源310a出射白色光。

旋转滤光片310c配置在光源310a出射的白色光的光路上，通过旋转而仅使光源310a出射的白色光中的规定波段的光透射。具体而言，旋转滤光片310c具有使具有红色光(r)、绿色光(g)及蓝色光(b)各自的波段的光透射的红色滤光片311、绿色滤光片312及蓝色滤光片313。旋转滤光片310c通过旋转，使红色、绿色及蓝色的波段(例如，红色：600nm～700nm，绿色：500nm～600nm，蓝色：400nm～500nm)的光依次透射。由此，能够使用光源310a出射的白色光(w照明)，向内窥镜2依次出射红色光(r照明)、绿色光(g照明)及蓝色光(b照明)中的任意光(面顺次方式)。

驱动部310d使用步进电机、dc电机等构成，使旋转滤光片310c进行旋转动作。

驱动器310e在照明控制部320的控制下，向驱动部310d供给规定的电流。

照明控制部320基于来自控制部37的控制信号，控制向光源310a供给的电流量。此外，照明控制部320在控制部37的控制下，经由光源驱动器310b对驱动部31d进行驱动，由此，使旋转滤光片310c旋转。

另外，也可以由红色led、绿色led及蓝色led构成光源310a，通过光源驱动器310b向各led供给电流而使红色光、绿色光或蓝色光依次出射。此外，也可以是，通过白色led、或者从红色led、绿色led及蓝色led同时出射光的光源、或者激光、氙气灯等放电灯等，向被检体照射白色光而取得图像。

图像处理部31从内窥镜2接收摄像元件244拍摄到的各颜色的照明光的摄像信号。图像处理部31针对从内窥镜2接收到的摄像信号实施规定的图像处理，生成显示用的摄像信号并向显示装置4输出。图像处理部31将cpu(centralprocessingunit：中央处理单元)等通用处理器、asic(applicationspecificintegratedcircuit：专用集成电路)、作为能够改写处理内容的可编程逻辑器件的fpga(fieldprogrammablegatearray：现场可编程门阵列)等执行特定功能的各种运算电路等专用处理器组合一个或多个而构成。

图3是对本发明的实施方式1的内窥镜系统具备的图像处理部的结构进行说明的图。图像处理部31具有d/a转换部501、调光检波部502、agc(automaticgaincontrol：自动增益控制)部503、噪声去除部504、白平衡(wb)处理部505、冻结处理部506、伽马处理部507、彩色矩阵处理部508、放大缩小处理部509、强调处理部510、a/d转换部511、第1帧存储器521、第2帧存储器522、以及第3帧存储器523。

d/a转换部501将从内窥镜2输入的数字摄像信号转换成模拟信号。以下，在图像处理部51中，针对摄像信号所包含的数据中的与图像显示相关的数据(图像数据)实施各种处理。

调光检波部502基于从d/a转换部501输入的图像数据所包含的rgb图像信息，检测与各图像对应的明亮度等级。调光检波部502基于检测到的明亮度等级，设定照明部3a产生的光量、发光定时等发光条件。

agc部503对图像数据实施调整信号值的放大率(增益)而维持固定的输出电平的处理。agc部503实施与调光检波部502设定的发光条件相应的增益调整。

噪声去除部504对从agc部503输入的图像数据实施噪声降低处理。噪声去除部504例如参照第1帧存储器521而取得先前的帧的图像数据，使用取得的图像数据和噪声去除处理对象的图像数据来去除噪声。噪声降低处理能够使用公知的方法。

wb处理部505对噪声去除处理后的图像数据实施校正白平衡的处理。白平衡的校正处理能够使用公知的方法。

冻结处理部506在通过开关223的按下而受理到冻结指示信号的输入的情况下，参照第2帧存储器522，选择使显示装置4冻结显示的图像数据。冻结处理部506将选择出的图像数据向伽马处理部507输出。冻结处理部506例如从第2帧存储器522所存储的图像数据中选择抖动小的图像数据。

另一方面，冻结处理部506在未受理到冻结指示信号的输入的情况下，将第2帧存储器522中的规定的图像数据、例如取得(摄像)时刻为最新的图像数据向伽马处理部507输出。这里，冻结处理部506在取得最新的图像数据时，也可以从wb处理部505取得图像数据。

另外，冻结处理部506在选择冻结对象的图像数据之后，在基于冻结处理的静态图像显示期间内，仅进行将从wb处理部505输入的图像数据向第2帧存储器522输出的处理。冻结处理部506在冻结处理被解除之后，包含从wb处理部505新输入的图像数据在内，从第2帧存储器522进行最新的图像数据的选择。因此，在冻结处理后显示于显示装置4的图像显示缺少了基于冻结处理的静态图像显示期间内的最新的图像数据的、在时间序列上与冻结处理前隔开间隔的图像。由于缺少规定的帧数的图像数据，因而在冻结处理前后显示的图像中，与以动态图像的形式显示在时间序列上相邻的图像的情况相比，被摄体像的变化有时变大。

伽马处理部507对从冻结处理部506输入的图像数据实施伽马校正处理。伽马处理部507使用预先设定的γ值，对图像数据进行使亮度小的较暗的部分的明亮度变亮的灰度校正。伽马校正处理能够使用公知的方法。

彩色矩阵处理部508对从伽马处理部507输入的图像数据进行用于提高颜色再现性的颜色校正。彩色矩阵处理部508针对图像数据，总括地管理设备之间不同的颜色。彩色矩阵处理部508例如总括地管理内窥镜2、处理装置3及显示装置4之间的颜色。彩色矩阵处理部508使用cms(colormanagementsystem：色彩管理系统)而构成。彩色矩阵处理能够使用公知的方法。

放大缩小处理部509根据预先设定的放大率或缩小率、或者经由输入输出部36输入的放大率或缩小率，实施变更图像数据的尺寸的处理。另外，放大缩小处理部509的处理也能够通过设定而设为无法放大或缩小。关于是否能够进行变焦处理，例如也可以根据输入输出部36受理到的信息进行切换。

强调处理部510对放大缩小处理后的图像数据实施轮廓强调处理。通过强调处理部510的强调处理，生成进一步明确地表现出轮廓的图像数据。轮廓强调处理能够使用公知的方法。

a/d转换部511将经由强调处理部510输出的模拟的图像数据转换成数字信号。a/d转换部511将数字转换后的图像数据作为图像显示用的摄像信号向显示装置4输出。

第1帧存储器521、第2帧存储器522、第3帧存储器523将由连接的各部生成的图像数据按照设定的帧的量进行存储。在本实施方式1中，各帧存储器存储数帧的量的图像数据。各帧存储器在输入新的图像数据时，用新的图像数据覆盖当前存储的图像数据中的最旧的图像数据，由此，从取得时间新的数据起按顺序依次更新数帧的量的图像数据并进行存储。第1帧存储器521、第2帧存储器522及第3帧存储器523使用ram(randomaccessmemory：随机存取存储器)例如vram(videoram：视频随机存取存储器)而构成。

第1通信部32在与内窥镜2连接时，取得内窥镜2的存储器247所存储的处理时间。第1通信部32使用cpu等通用处理器、asic等执行特定功能的各种运算电路等专用处理器而构成。

总延迟时间检测部33检测在内窥镜2、处理装置3及显示装置4中从生成1帧的量的摄像信号到将图像数据显示于显示装置4为止的信号处理所需的延迟时间。具体而言，总延迟时间检测部33计算内窥镜2的延迟时间、处理装置3的延迟时间及显示装置4的延迟时间的总和。在本实施方式1中，总延迟时间检测部33计算的值是将总延迟时间换算成帧数而得到的值。总延迟时间检测部33使用cpu等通用处理器、asic等执行特定功能的各种运算电路等专用处理器而构成。

同步信号生成部34生成作为处理装置3的动作基准的时钟信号(同步信号)，并且，将生成的同步信号向照明部3a、图像处理部31、控制部37、内窥镜2输出。这里，同步信号生成部34所生成的同步信号包含水平同步信号和垂直同步信号。

因此，照明部3a、图像处理部31、控制部37、内窥镜2根据所生成的同步信号，相互取得同步而进行动作。

第2通信部35在与显示装置4连接时，取得存储于显示装置4的存储器44的、显示装置4中的信号处理所需的处理时间。第2通信部35使用cpu等通用处理器、asic等执行特定功能的各种运算电路等专用处理器而构成。

输入输出部36使用键盘、鼠标、开关、触摸面板而实现，受理指示内窥镜系统1的动作的动作指示信号等各种信号的输入。此外，输入输出部36使用扬声器、光源中的至少一个而实现，输出声音或光。另外，输入输出部36也可以包含设置于操作部22的开关、外部的平板型的计算机等可移动型终端。

控制部37进行包含摄像元件244及照明部3a的各结构部的驱动控制、以及针对各结构部的信息的输入输出控制等。控制部37参照存储部38所存储的摄像控制用的控制信息数据(例如读出定时等)，经由集合缆线248所包含的规定的信号线作为驱动信号向摄像元件244发送。控制部37使用cpu等通用处理器、asic等执行特定功能的各种运算电路等专用处理器而构成。

存储部38存储用于使内窥镜系统1进行动作的各种程序、包含内窥镜系统1的动作所需的各种参数等的数据、以及处理装置3中的信号处理所需的延迟时间。此外，存储部38存储处理装置3的识别信息。这里，在识别信息中包含处理装置3的固有信息(id)、年式及规格信息等。处理时间相当于因处理装置3中的信号处理引起的数据传输的延迟时间，是将从由内窥镜2输入图像数据起到图像数据被输出到显示装置4为止的时间换算成帧数而得到的值。此外，存储部38具有存储信号处理条件的信号处理信息存储部381，该信号处理条件用于控制包含内窥镜2、显示装置4的系统整体的信号处理。在信号处理信息存储部381中，例如存储针对总延迟时间检测部33检测到的总延迟时间而设定的一个或多个阈值。

此外，存储部38存储包含用于执行处理装置3的图像取得处理方法的图像取得处理程序的各种程序。各种程序也能够记录于硬盘、闪存、cd-rom、dvd-rom、软盘等计算机可读取的记录介质中广泛流通。另外，上述的各种程序也能够通过经由通信网络下载而取得。这里所说的通信网络例如能够通过现有的公共线路网、lan(localareanetwork：局域网)、wan(wideareanetwork：广域网)等来实现，可以是有线，也可以是无线。

具有以上结构的存储部38使用预先安装有各种程序等的rom(readonlymemory：只读存储器)、以及存储各处理的运算参数、数据等的ram或硬盘等来实现。

显示装置4显示与经由影像缆线从处理装置3(图像处理部31)接收到的图像数据对应的显示图像。显示装置4具备显示处理部41、显示部42、以及存储器44。

显示处理部41对从处理装置3接收到的图像数据实施规定的处理，例如同时化处理、形式转换等，并向显示部42输出。同时化处理是将如下的r图像数据、g图像数据及b图像数据分别同时化的处理，其中，r图像数据是基于在光源部310照射r照明光时由摄像元件244生成的图像数据而得到的，g图像数据是基于在光源部310照射g照明光时由摄像元件244生成的图像数据而得到的，b图像数据是基于在光源部310照射b照明光时由摄像元件244生成的图像数据而得到的。

显示部42使用液晶或有机el(electroluminescence：电致发光)等监视器而构成。

报知部43使用扬声器、光源中的至少一个来实现，输出声音或光。报知部43根据显示延迟的程度而发出声音、光。

存储器44存储显示装置4用于执行各种动作的执行程序及控制程序、以及显示装置4中的信号处理所需的处理时间，处理时间相当于因信号处理引起的数据传输的延迟时间，是将从由处理装置3输入图像数据起到显示于显示部42为止的时间换算成帧数而得到的值。存储器44由ram、rom、闪存等构成。

这里，在内窥镜系统1中，参照图4来说明在信号处理中产生了延迟的情况下的由内窥镜2拍摄时的像和显示于显示装置4的图像。图4是说明通过本发明的实施方式1的内窥镜系统进行的图像处理而显示的图像的图，是示出拍摄时刻及显示时刻的时序图。在图4中，横轴表示时间经过。图4的(a)表示由内窥镜2的摄像元件244拍摄时的像。图4的(b)表示在没有延迟的情况下显示于显示装置4的图像。图4的(c)表示在延迟了1帧量的显示时间的情况下显示于显示装置4的图像。图4的(d)表示在延迟了2帧量的显示时间的情况下显示于显示装置4的图像。

在内窥镜2中，依次拍摄1帧量的图像数据(参照图4的(a))。具体而言，按照像f11、f12、f13，…、f16、f17、…的顺序依次拍摄像。在像f12、f13、…、f16中映现出被摄体s。

由内窥镜2拍摄到的图像数据在经由上述处理显示于显示装置4时，如果在各处理中未产生延迟，则依次显示各帧的图像数据(参照图4的(b))。具体而言，依次显示与像f11、f12、f13、…、f16、f17对应的图像f21、f22、f23、…、f26、f27。各图像(图像f21、f22、f23、…、f26、f27，…)在与在内窥镜2中拍摄到的时刻相同的时刻显示于显示装置4。

与此相对，如果在从由内窥镜2拍摄开始到经由上述处理显示于显示装置4为止的期间产生延迟，则各帧的图像数据延迟了延迟的量而被依次显示(参照图4的(b)、(c))。例如，在产生了1帧量的延迟的情况下，与像f11、f12、f13、…、f16对应的图像f31、f32、f33、…、f36相对于在内窥镜2中拍摄到的时刻延迟了1帧量而显示于显示装置4(参照图4的(b))。此外，在产生了2帧量的延迟的情况下，与像f11、f12、f13、f14、f15对应的图像f41、f42、f43、f44、f45相对于在内窥镜2中拍摄到的时刻延迟了2帧量而显示于显示装置4(参照图4的(c))。

在以帧为单位而在显示中产生延迟的情况下，例如在延迟了2帧量的情况下，内窥镜2的前端部24位于映现出像f13的位置，而在显示装置4的显示部42中显示与像f11相应的图像f41。在该情况下，内窥镜2的实际的位置与手术医生所识别的内窥镜2的位置、即根据显示于显示部42的图像而识别的内窥镜2的位置之间产生偏移。如果延迟帧数变大，则偏移也相应地变大。

在本实施方式1中，在产生上述的显示延迟时，根据该延迟程度使报知部43执行报知处理。

接下来，说明内窥镜系统1进行的延迟检测处理。图5是示出本发明的实施方式1的内窥镜系统进行的延迟检测处理的流程图。

处理装置3在电源接通后与内窥镜2及显示装置4连接时，从存储器247、44取得各装置的处理信息(延迟时间)(步骤s101)。

在接着步骤s101的步骤s102中，总延迟时间检测部33参照存储部38，取得处理装置3中的处理时间(延迟时间)，计算各装置的延迟时间的总和。

在接着步骤s102的步骤s103中，控制部37对各装置的延迟时间的总和与阈值进行比较，判断是否可能产生应报知的延迟。这里的阈值被预先设定，并由存储部38存储，是根据帧数而决定的值。作为阈值，例如设定3以上的帧数。另外，也可以根据输入输出部36受理到的、与手术医生等用户设定的阈值相关的信息，来设定(变更)阈值。

这里，控制部37在各装置的延迟时间的总和为阈值以上、即根据总和而判断为可能产生应报知的延迟的情况下(步骤s103：是)，移至步骤s104。另一方面，控制部37在各装置的延迟时间的总和小于阈值、即根据总和而判断为未产生应报知的延迟的情况下(步骤s103：否)，结束延迟检测处理。

在步骤s104中，控制部37使显示装置4的报知部43报知在显示的图像中产生延迟这一旨意。报知部43通过输出声音或光，向手术医生报知内窥镜2的实际位置与手术医生识别出的内窥镜2的位置产生偏移这一旨意。

此时，也可以使报知的强度阶段性地变化。例如，也可以预先设定报知用的多个阈值，总延迟时间(帧数)越大，越大幅改变声音的大小或光的强度。

此外，除了报知部43之外，输入输出部36也可以执行报知处理。

在以上说明的实施方式1中，检测通过内窥镜2、处理装置3及显示装置4的各装置中的图像生成处理而产生的延迟时间，报知部43根据检测结果进行报知。手术医生通过报知部43的报知处理，能够判断自身根据显示图像识别的内窥镜2的前端部24的位置与实际的位置产生偏移。根据本实施方式1，能够抑制内窥镜2的实际位置与观察显示图像的手术医生所识别的内窥镜2的位置之间的偏移。

另外，在实施方式1中，说明了报知部43根据延迟程度而实施报知处理的例子，但也可以构成为在显示部42中显示内窥镜2的实际位置与手术医生识别出的内窥镜2的位置产生偏移这一旨意的信息。

(实施方式2)

接着，参照图6对本发明的实施方式2进行说明。图6是示出本发明的实施方式2的内窥镜系统进行的延迟检测处理的流程图。另外，本实施方式2的内窥镜系统的结构与上述的内窥镜系统的结构相同，因此省略说明。以下，针对与实施方式1不同的处理进行说明。

处理装置3在电源接通后与内窥镜2及显示装置4连接时，从存储器247、44取得各装置的处理信息(延迟时间)(步骤s201)。

在接着步骤s201的步骤s202中，总延迟时间检测部33参照存储部38，取得处理装置3中的处理时间(延迟时间)，计算各装置的延迟时间的总和。

在接着步骤s202的步骤s203中，控制部37对各装置的延迟时间的总和与阈值进行比较，判断是否可能产生应报知的延迟。这里的阈值与实施方式1相同。

这里，控制部37在各装置的延迟时间的总和为阈值以上、即根据总和而判断为可能产生应报知的延迟的情况下(步骤s203：是)，移至步骤s204。另一方面，控制部37在各装置的延迟时间的总和小于阈值、即根据总和而判断为未产生应报知的延迟的情况下(步骤s203：否)，移至步骤s205。

在步骤s204中，控制部37使图像处理部31实施间歇处理。在间歇处理中，根据总延迟时间(帧数)，将一部分处理省略。作为省略对象的处理，例如举出冻结处理、强调处理等。总延迟时间越长(帧数越大)，省略处理数也越多。此时，各处理的省略优先顺位被预先设定，并存储于存储部38。控制部37参照总延迟时间和该优先顺位，决定省略处理。

另外，在实施将不同焦点的图像合成而生成全焦点图像的处理、生成三维图像的处理、与4k分辨率对应的处理、动态图像的颜色偏移校正处理等的情况下，这些处理成为省略对象的处理。

除此之外，也可以对监视器输出格式施加制约来削减延迟时间，在使用displayport、hdmi、dvi的情况下，也可以促使向sdi等变更。通过向sdi变更，与displayport、hdmi、dvi相比，能够削减延迟时间。

对此，在步骤s205中，控制部37使图像处理部31实施通常处理。通常处理使上述的图像处理部31的各部(参照图3)分别执行处理。

在以上说明的实施方式2中，检测通过内窥镜2、处理装置3及显示装置4的各装置中的图像生成处理而产生的延迟时间，根据检测结果来变更图像处理的内容。根据本实施方式2，通过将图像处理的一部分省略来消除延迟，其结果是，能够抑制内窥镜2的实际位置与观察显示图像的手术医生所识别的内窥镜2的位置之间的偏移。

(实施方式3)

接着，参照图7对本发明的实施方式3进行说明。图7是示出本发明的实施方式3的内窥镜系统进行的延迟检测处理的流程图。另外，本实施方式3的内窥镜系统的结构与上述的内窥镜系统的结构相同，因此省略说明。以下，针对与实施方式1、2不同的处理进行说明。在实施方式3中，基于延迟时间来执行报知处理或图像处理的变更处理。

处理装置3在电源接通后与内窥镜2及显示装置4连接时，从存储器247、44取得各装置的处理信息(延迟时间)(步骤s301)。

在接着步骤s301的步骤s302中，总延迟时间检测部33参照存储部38，取得处理装置3中的处理时间(延迟时间)，计算各装置的延迟时间的总和。

在接着步骤s302的步骤s303中，控制部37对各装置的延迟时间的总和与第1阈值进行比较，判断是否可能产生应报知或者应处理变更的延迟。这里的第1阈值与实施方式1等同样，是由帧数决定的数值。

这里，控制部37在各装置的延迟时间的总和为第1阈值以上、即根据总和而判断为可能产生应报知的延迟的情况下(步骤s303：是)，移至步骤s304。另一方面，控制部37在各装置的延迟时间的总和小于第1阈值、即根据总和而判断为未产生应报知的延迟的情况下(步骤s303：否)，结束延迟检测处理。

在步骤s304中，控制部37对各装置的延迟时间的总和与第2阈值进行比较，判断是否可能产生应报知的延迟。这里的第2阈值是由帧数决定的数值，并且是比第1阈值大的数值。

这里，控制部37在各装置的延迟时间的总和为第2阈值以上、即根据总和而判断为可能产生应报知的延迟的情况下(步骤s304：是)，移至步骤s305。另一方面，控制部37在各装置的延迟时间的总和小于第2阈值、即根据总和而判断为未产生应报知的延迟的情况下(步骤s304：否)，移至步骤s306。

在步骤s305中，与实施方式1的步骤s104同样，控制部37使显示装置4的报知部43报知在显示的图像中产生延迟这一旨意。此时，控制部37使图像处理部31实施使上述的图像处理部31的各部(参照图3)分别执行处理的通常处理。

在步骤s306中，与实施方式2的步骤s204同样，控制部37使图像处理部31实施间歇处理。

在以上说明的实施方式3中，检测通过内窥镜2、处理装置3及显示装置4的各装置中的图像生成处理而产生的延迟时间，根据检测结果，选择由报知部43报知或者变更图像处理的内容。根据本实施方式3，通过延迟的报知或者延迟的消除，能够抑制内窥镜2的实际位置与观察显示图像的手术医生所识别的内窥镜2的位置之间的偏移。

(实施方式4)

接着，参照图8、9对本发明的实施方式4进行说明。图8是示出本发明的实施方式4的内窥镜系统的概要结构的框图。

图8所示的内窥镜系统1a具备：内窥镜2，其通过向被检体内插入前端部而拍摄被检体；处理装置3a，其具有产生从内窥镜2的前端出射的照明光的照明部3a，对内窥镜2拍摄到的摄像信号实施规定的信号处理，并且总括地控制内窥镜系统1整体的动作；以及显示装置4a，其显示通过处理装置3a的信号处理而生成的体内图像。本实施方式2的内窥镜系统1a除了将上述的内窥镜系统1的处理装置3改变为处理装置3a、将显示装置4改变为显示装置4a之外，与上述的内窥镜系统1是相同的结构。以下，针对结构与实施方式1不同的结构进行说明。

显示装置4a显示与经由影像缆线从处理装置3(图像处理部31)接收到的图像数据对应的显示图像。显示装置4具备显示处理部41、显示部42、以及报知部43。本实施方式3的显示装置4a是不具有上述的存储器44的结构。因此，处理装置3无法从显示装置4a取得延迟时间。也可以为具有存储器44的结构，但在本实施方式2中，未存储延迟时间。

处理装置3a具备照明部3a、图像处理部31、第1通信部32、总延迟时间检测部33、同步信号生成部34、第2通信部35、输入输出部36、控制部37、存储部38、以及延迟时间取得部39。处理装置3a相对于上述的处理装置3，是代替第2通信部35而具备延迟时间取得部39的结构。以下，对延迟时间取得部39进行说明。

延迟时间取得部39具备测试图案输出部391和相位比较部92。延迟时间取得部39使用cpu等通用处理器、asic等执行特定功能的各种运算电路等专用处理器而构成。

测试图案输出部391将预先设定的规定的图案的图像数据向显示装置4a输出。

相位比较部392比较由测试图案输出部391输出的图案的图像与在显示装置4a中处理后的显示图像的图案的相位。这里的相位是指依次输出的图像的明度的出现图案。相位比较部392求出由测试图案输出部391输出的图案的图像与在显示装置4a中处理后的显示图像的图案的相位之差作为延迟时间。

图9是说明本发明的实施方式4的内窥镜系统进行的延迟时间取得处理的图，是示出图案输出时刻及显示时刻的时序图。在图9中，横轴表示时间经过。图9的(a)表示与从测试图案输出部391输出的图案对应的图像。图9的(b)表示在显示装置4a中被处理并被输入到相位比较部的图案图像。在显示装置4a中，当从处理装置3a输入测试图案时，通过显示处理部41实施显示用的处理。相位比较部392被输入由显示处理部41实施处理后的图像数据。该图像数据被识别为与由显示部42显示的帧相同的帧的图像。

测试图案输出部391在从控制部37接收到显示装置4a的延迟时间取得处理的执行指示时，将测试图案依次向显示装置4a输出(参照图9的(a))。具体而言，按照图案图像f51、f52、f53、…、f59、f60、…、f65的顺序依次输出测试图案。在图案图像f51、f52、f53、…、f59、f60、…、f65中，按照预先设定的间隔输出明度不同的测试图案。在图9的(a)中，图案图像f55、f60、f65对应于明度不同的测试图案。

在显示装置4a中处理后的测试图案从显示处理部41被依次输入到相位比较部392(参照图9的(b))。具体而言，按照图案图像f71、f72、f73、…、f79、f80、…、f83的顺序依次输出测试图案。在图案图像f71、f72、f73、…、f79、f80、…、f83中也出现明度不同的测试图案。在图9的(b)中，图案图像f75、f80对应于明度不同的测试图案。

根据图9的(a)、(b)可知，通过显示装置4a的处理，产生2帧量的延迟。相位比较部392根据测试图案输出部391输出到显示装置4a的测试图案与从显示装置4a返回的测试图案的明度对相位进行比较，由此计算延迟时间。

本实施方式4的延迟检测处理是根据上述的实施方式1或2的处理而实施的。此时，总延迟时间检测部33取得相位比较部392计算出的延迟时间(步骤101、s201)。

在以上说明的实施方式4中，即便在显示装置4a的延迟时间不明的情况下，也输出测试图案，并比较相位，由此取得延迟时间。根据实施方式3，即便是延迟时间不明的装置，也能够取得该装置的延迟时间，实施与延迟时间相应的处理。

另外，在上述的实施方式1～4中，说明了照明部3a与内窥镜2分体构成的情况，但例如也可以为在内窥镜2的前端设置半导体光源等的将光源装置设置于内窥镜2的结构。此外，也可以对内窥镜2赋予处理装置3、3a的功能。

此外，在上述的实施方式1～4中，说明了照明部3a与处理装置3、3a为一体的情况，但照明部3a和处理装置3也可以分体，例如在处理装置3、3a的外部设置有光源部310及照明控制部320。

此外，在上述的实施方式1～4中，也可以由内窥镜2或显示装置4执行处理器部3b的功能的一部分。例如，也可以构成为将总延迟时间检测部33设置于内窥镜2或显示装置4，在处理装置3、3a以外检测延迟时间。

此外，在上述的实施方式1～4中，说明了本发明的内窥镜系统为使用了观察对象为被检体内的生物体组织等的软性的内窥镜2的内窥镜系统1的情况，但也能够应用于使用了硬性的内窥镜、观测材料的特性的工业用的内窥镜、胶囊型的内窥镜、纤维镜、在光学视管等光学内窥镜的目镜部连接有摄像头的结构的内窥镜系统。

产业利用性

以上，本发明的内窥镜系统及图像处理装置对于抑制内窥镜的实际位置与观察到显示图像的手术医生所识别的内窥镜的位置之间的偏移是有用的。

标号说明

1内窥镜系统

2内窥镜

3处理装置

3a照明部

3b处理器部

4显示装置

21插入部

22操作部

23通用缆线

24前端部

25弯曲部

26可挠管部

31图像处理部

32第1通信部

33总延迟时间检测部

34同步信号生成部

35第2通信部

36输入输出部

37控制部

38存储部

39延迟时间取得部

41显示处理部

42显示部

43报知部

44、247存储器

241光导

242照明透镜

243光学系统

244摄像元件

245cds部

246、511a/d转换部

501d/a转换部

502调光检波部

503agc部

504噪声去除部

505wb处理部

506冻结处理部

507伽马处理部

508彩色矩阵处理部

509放大缩小处理部

510强调处理部

521第1帧存储器

522第2帧存储器

523第3帧存储器。