手术系统和手术图像拍摄装置的制作方法

本技术涉及手术系统和手术成像装置，更具体地，涉及能够减少等待时间的手术系统和手术成像装置。

背景技术：

在内窥镜手术中，通常具有如下情况：取决于插入到腹腔中的内窥镜的上下方向，要显示在显示装置上的图像的上下方向与由重力方向确定的上下方向相反。在这种情况下，在显示装置中提供图像反转功能，由此图像被反转并显示。

例如，专利文献1公开了一种内窥镜手术系统，其取决于主外科医生和副外科医生各自的站立位置，在显示方向上显示对于主外科医生和副外科医生各自的图像。

从内窥镜到显示装置的图像传输是串行执行的，诸如光栅扫描。因此，为了将图像反转并显示在显示装置上，必须将一个图像存储在显示装置的存储器中。

引文列表

专利文献

专利文献1：日本专利申请公开第2014-200547号

技术实现要素：

本发明要解决的问题

因此，在显示装置中提供有图像反转功能的情况下，显示装置必须等待一个图像在存储器中的存储完成，然后执行扫描用于显示。换言之，已经发生了一个画面的传输时间的延迟(等待时间)。

本技术考虑到这种情况做出，并且其旨在减少等待时间。

解决问题的方案

本技术的手术系统包括：手术成像装置，其通过对活体内部成像来生成手术图像；信号处理装置，其对手术图像执行预定的信号处理；以及显示装置，其显示对其执行了信号处理的手术图像，其中，手术成像装置基于指示手术图像的扫描顺序的扫描信息来生成手术图像。

信号处理装置可以基于扫描信息对手术图像执行信号处理，显示装置可以基于扫描信息显示手术图像。

扫描信息生成单元还可以被提供，其取决于要在显示装置上显示的手术图像的上下方向来生成扫描信息。

显示装置可以提供有：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，并且该扫描信息生成单元可以基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

信号处理装置可以提供有：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，并且该扫描信息生成单元可以基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

手术成像装置可以提供有：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，并且该扫描信息生成单元可以基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

控制器还可以被提供，该控制器控制构成手术系统的每个装置，并且该控制器可以提供有：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，并且该扫描信息生成单元可以基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

多个显示装置可以被提供，并且用户界面可以接受在所述多个显示装置中的每个显示装置上显示的手术图像的上下方向的指定。

扫描信息生成单元还可以被提供，其基于用户、手术成像装置和显示装置之间的位置关系来生成扫描信息。

检测装置还可以被提供，其基于在手术成像装置中检测到的重力方向来生成指示手术成像装置的上下方向的上下信息，并且扫描信息生成单元还可以基于上下信息生成扫描信息。

本技术的手术成像装置包括成像单元，其通过对活体内部成像来生成手术图像，其中，成像单元基于扫描信息生成手术图像，该扫描信息指示与要在显示装置上显示的手术图像的上下方向对应的手术图像的扫描顺序。

在本技术中，手术图像基于指示手术图像的扫描顺序的扫描信息来生成。

本发明的效果

根据本技术，可以减少等待时间。注意，这里描述的效果不必被限制，并且可以是本公开中描述的任何效果。

附图说明

图1是示意性示出手术室系统的整体配置的图。

图2是示出集中操作面板上的操作画面的显示示例的图。

图3是示出应用了手术室系统的手术状态的示例的图。

图4是示出摄像头和ccu的功能配置的示例的框图。

图5是示出应用了本技术的内窥镜手术系统的功能配置示例的框图。

图6是示出显示装置的外观配置示例的图。

图7是用于说明传统图像反转的流程的图。

图8是用于说明传统图像反转中的等待时间的图。

图9是用于说明本技术的图像反转的流程的图。

图10是用于说明本技术的图像反转中的等待时间的图。

图11是示出内窥镜手术系统的另一功能配置示例的框图。

图12是示出内窥镜手术系统的又一功能配置示例的框图。

图13是示出内窥镜手术系统的又一功能配置示例的框图。

图14是示出内窥镜手术系统的又一功能配置示例的框图。

图15是示出系统控制器的外观配置示例的图。

图16是用于说明成像装置的扫描顺序与等待时间之间的关系的图。

图17是示出内窥镜手术系统的又一功能配置示例的框图。

图18是示出内窥镜手术系统的又一功能配置示例的框图。

图19是示出扫描图像传感器的变焦区域的示例的图。

图20是示出内窥镜手术系统的又一功能配置示例的框图。

图21是用于说明不取决于上下方向的扫描方法的图。

图22是示出另一扫描顺序的示例的图。

图23是用于说明其中扫描方法彼此不匹配的示例的图。

具体实施方式

以下是用于执行本公开的模式的描述(该模式在下文中被称为实施方式)。注意，将按以下顺序进行描述。

1.手术室系统的概述

2.应用了本技术的内窥镜手术系统

3.第一变型

4.第二变型

5.第三变型

6.第四变型

7.第五变型

8.第六变型

9.第七变型

10.第八变型

11.其它实施方式的内窥镜手术系统

12.其它

<1.手术室系统的概述>

首先，将描述应用了本技术的手术室系统的概述。

图1是示意性地示出可应用根据本公开的技术的手术室系统10的整体配置的图。

如图1中所示，手术室系统10包括安装在手术室中的装置，这些装置彼此连接以能够经由视听控制器(av控制器)17和手术室控制装置19相互协作。

手术室中可以安装各种装置。图1的示例示出了用于内窥镜手术的各种装置11；天花板摄像机97，其提供在手术室的天花板上并且对外科医生的手部区域进行成像；手术室摄像机99，其提供在手术室的天花板上并且对整个手术室的状态成像；多个显示装置13a至13d；记录器15；患者床93；以及照明装置101。

这里，在这些装置当中，装置11属于稍后描述的内窥镜手术系统23，并且包括内窥镜、显示由内窥镜拍摄的图像的显示装置等。属于内窥镜手术系统23的每个装置也称为医疗装置。另一方面，显示装置13a至13d、记录器15、患者床93以及照明装置101是例如与内窥镜手术系统23分开提供在手术室中的装置。不属于内窥镜手术系统的23的每个装置也称为非医疗装置。视听控制器17和/或手术室控制装置19相互协作地控制这些医疗装置和非医疗装置的操作。

视听控制器17全面地控制关于医疗装置和非医疗装置中的图像显示的处理。具体地，在手术室系统10中包括的装置当中，装置11、天花板摄像机97和手术室摄像机99每个是具有发送信息(下文中也称为显示信息)的功能的装置(下文中也称为发送源装置)。此外，显示装置13a至13d分别是输出显示信息的装置(下文中也称为输出目的地装置)。此外，记录器15是与发送源装置和输出目的地装置两者对应的装置。视听控制器17具有控制发送源装置和输出目的地装置的操作以从发送源装置获取显示信息并将显示信息发送到输出目的地装置用于显示或记录的功能。注意，显示信息是在手术期间拍摄的各种图像以及与手术有关的各种信息(例如，患者的身体信息、过去的检查结果、与手术方法有关的信息等)。

视听控制器17使显示装置13a至13d中的至少一个(其为输出目的地装置)显示所获取的显示信息(换言之，在手术期间拍摄的图像以及与手术有关的各种信息)。在图1的示例中，显示装置13a是从手术室的天花板悬挂的显示装置，显示装置13b是安装在手术室的墙壁表面上的显示装置。此外，显示装置13c是安装在手术室的桌子上的显示装置，显示装置13d是具有显示功能的移动装置(例如，平板个人计算机(pc))。

此外，尽管在图1中省略了图示，但是手术室系统10可以包括手术室外部的设备。手术室外部的设备例如是连接到在医院内部和外部建立的网络的服务器、医务人员使用的pc、安装在医院会议室中的投影仪等。在这样的外部设备在医院外的情况下，视听控制器17还可以使另一医院的显示装置经由视频会议系统等显示用于远程医疗的显示信息。

手术室控制装置19对除非医疗装置中的图像显示有关的处理以外的处理综合控制。例如，手术室控制装置19控制患者床93、天花板摄像机97、手术室摄像机99以及照明装置101的驱动。

手术室系统10提供有集中操作面板21。用户可以经由集中操作面板21向视听控制器17给出关于图像显示的指令，或者向手术室控制装置19给出关于非医疗装置的操作的指令。集中操作面板21被配置为提供在显示装置的显示表面上的触摸面板。

图2是示出集中操作面板21上的操作画面的显示示例的图。

在图2的示例中，示出了与其中手术室系统10提供有两个显示装置的情况对应的操作画面。操作画面103提供有发送源选择区域105、预览区域107和控制区域111。

在发送源选择区域105中，手术室系统10中包括的发送源装置和表示发送源装置的显示信息的相应缩略图画面彼此相关联地显示。用户可以从在发送源选择区域105中显示的任何发送源装置中选择要在显示装置上显示的显示信息。

在预览区域107中，预览在相应的两个显示装置(监视器1和监视器2)(其是输出目的地装置)上显示的画面。在图2的示例中，在一个显示装置中画中画地显示了四个图像。这四个图像对应于从在发送源选择区域105中选择的发送源装置所发送的显示信息。在四个图像当中，一个相对较大地显示为主图像，其余三个相对较小地显示为子图像。用户可以通过适当地选择其中显示相应图像的四个区域之一来彼此切换主图像和子图像。此外，在显示四个图像的区域下面提供状态显示区域109，并且适当地显示关于手术的状态(例如，手术的经过时间、患者的身体信息等)。

控制区域111提供有发送源操作区域113和输出目的地操作区域115，在发送源操作区域113中，图形用户界面(gui)组件被显示用于对发送源装置执行操作，在输出目的地操作区域115中，gui组件被显示用于对输出目的地装置执行操作，显示信息输出到该输出目的地装置。

在发送源操作区域113中，gui组件被提供用于对具有成像功能的发送源装置中的摄像机执行各种操作(摇摄、倾斜和变焦)。用户可以通过适当地选择这些gui组件来操作发送源装置中的摄像机的操作。

此外，在输出目的地操作区域115中，gui组件被提供用于对显示装置(其为输出目的地装置)上的显示器执行各种操作(交换、翻转、颜色调整、对比度调整、2d显示和3d显示之间的切换)。用户可以通过适当选择这些gui组件来操作显示装置上的显示。

注意，显示在集中操作面板21上的操作画面不限于图2的示例，并且用户可以能够经由集中操作面板21操作输入到由手术室系统10中包括的视听控制器17和手术室控制装置19控制的每个装置。

图3是示出应用了上述手术室系统10的手术状态的示例的图。

天花板摄像机97和手术室摄像机99提供在手术室的天花板上，并且能够对为在患者床93上的患者5185的患部进行治疗的外科医生(医生)91的手部区域的状态以及整个手术室进行成像。天花板摄像机97和手术室摄像机99具备放大倍率调整功能、焦距调整功能、成像方向调整功能等。照明装置101提供在手术室的天花板上，并且至少照射在外科医生91的手部区域。照明装置101能够适当地调整照射光的量、照射光的波长(颜色)、光的照射方向等。

如上所述，内窥镜手术系统23、患者床93、天花板摄像机97、手术室摄像机99和照明装置101彼此连接，从而能够经由视听控制器17和手术室控制装置19相互协作。集中操作面板21提供在手术室中，如上所述，用户可以经由集中操作面板21适当地操作存在于手术室中的这些装置。

内窥镜手术系统23包括内窥镜25、其它手术工具41、支撑内窥镜25的支撑臂装置51、以及推车61，其上安装用于内窥镜手术的各种装置。

在内窥镜手术中，不是通过切开腹壁来进行剖腹手术，而是将称为套管针的多个圆筒形开口装置49a至49d刺穿腹壁。然后，内窥镜25的镜筒27和其它手术工具41从套管针49a至49d插入到患者95的体腔中。在图3的示例中，气腹管43、能量治疗工具45和钳子47作为其它手术工具41被插入到患者95的体腔中。能量治疗工具45是通过高频电流或超声波振动进行组织的切开和剥离、血管的密封等的治疗工具。然而，示出的手术工具41仅是示例，并且内窥镜手术中通常使用的各种手术工具可以用作手术工具41，例如，镊子、牵开器等。

由内窥镜25成像的患者95的体腔中的手术部位的图像被显示在显示装置65上。外科医生91通过利用能量治疗工具45和钳子47进行例如切除患部等的治疗，同时实时观察显示在显示装置65上的手术部位图像。注意，尽管未示出，但是在手术期间，气腹管43、能量治疗工具45和钳子47由外科医生91、助手等支撑。

支撑臂装置51包括从基座53延伸的臂55。在图3的示例中，臂55包括接头57a、57b和57c以及连杆59a和59b，并且由臂控制装置69的控制来驱动。内窥镜25由臂55支撑，并且其位置和姿势被控制。结果，可以实现内窥镜25的稳定的位置固定。

内窥镜25包括：镜筒27，其中从远端起预定长度的区域插入到患者95的体腔中；以及摄像头29，其连接到镜筒27的近端。在图3的示例中，示出了被配置为包括刚性镜筒27的所谓的刚性镜的内窥镜25，但是内窥镜25也可以被配置为包括柔性镜筒27的所谓的柔性镜。

在镜筒27的远端，提供有物镜安装到其中的开口。光源装置67连接到内窥镜25，由光源装置67生成的光通过在镜筒27内部延伸的导光件被引导到镜筒的远端，并且光经由物镜朝向患者95的体腔中的观察目标发射。注意，内窥镜25可以是前视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。

光学系统和成像元件提供在摄像头29内部，并且来自观察目标的反射光(观察光)通过光学系统聚焦在成像元件上。观察光被成像元件光电转换，并且生成与观察光相对应的电信号，也就是，与观察图像对应的图像信号。图像信号作为raw数据发送到相机控制单元(ccu)63。注意，在摄像头29中，安装有通过适当地驱动光学系统来调节放大倍率和焦距的功能。

注意，例如，为了应对立体视觉(3d显示)等，摄像头29可以提供有多个成像元件。在这种情况下，多个中继光学系统提供在镜筒27内部，以将观察光引导到多个成像元件的每个。

各种装置安装在推车137上。

ccu63包括中央处理单元(cpu)、图形处理单元(gpu)等，并且全面地控制内窥镜25和显示装置65的操作。具体地，ccu63对从摄像头29接收到的图像信号执行用于基于图像信号显示图像的各种类型的图像处理，例如显影处理(去马赛克处理)等。ccu63向显示装置65提供对其执行图像处理的图像信号。此外，图1的视听控制器17连接到ccu63。ccu63还向视听控制器17提供对其执行图像处理的图像信号。此外，ccu63将控制信号发送到摄像头29以控制其驱动。控制信号可以包括关于成像条件的信息，诸如放大倍率和焦距。关于成像条件的信息可以经由输入装置71输入，或者可以经由上述集中操作面板21输入。

显示装置65通过ccu63的控制基于由ccu63对其执行图像处理的图像信号来显示图像。在内窥镜25与高分辨率成像(例如，4k(水平像素的数量3840×垂直像素的数量2160)、8k(水平像素的数量7680×垂直像素的数量4320)等)兼容的情况下和/或在内窥镜25与3d显示兼容的情况，作为显示装置65，对应于每种情况，显示装置被使用能够用于高分辨率显示和/或3d显示。在显示装置65与诸如4k或8k的高分辨率成像兼容的情况下，通过使用具有大于或等于55英寸的尺寸的显示装置可以获得更加身临其境的感觉。此外，可以取决于应用提供具有不同分辨率和尺寸的多个显示装置65。

光源装置67包括例如发光二极管(led)等的光源，并且将用于使手术部位成像的照射光提供给内窥镜25。

臂控制装置69包括处理器(例如，cpu等)，并且通过根据预定程序操作来根据预定控制方法控制支撑臂装置51的臂55的驱动。

输入装置71是到内窥镜手术系统23的输入接口。用户可以经由输入装置71向内窥镜手术系统23输入各种类型的信息和指令。例如，用户经由输入装置71输入关于手术的各种类型的信息，诸如患者的身体信息和关于手术方法的信息。此外，例如，用户经由输入装置71输入驱动臂55的指令、通过内窥镜25改变成像条件(照射光的类型、放大倍率、焦距等)的指令、驱动能量治疗工具45的指令等。

输入装置71的类型不被限制，并且输入装置71可以是各种已知输入装置中的任何一种。作为输入装置71，例如，鼠标、键盘、触面板、开关、脚踏开关81和/或操纵杆等可以被应用。在触摸面板被用作输入装置71的情况下，触摸面板可以被提供在显示装置65的显示表面上。

此外，输入装置71可以是用户佩戴的装置，例如，眼镜型可佩戴装置、头戴式显示器(hmd)等。在这种情况下，取决于这些装置检测到的用户手势和视线来执行各种输入。此外，输入装置71可以包括能够检测用户的运动的相机，并且可以取决于由相机拍摄的视频中检测到的用户的手势和视线来执行各种输入。此外，输入装置71可以包括能够拾取用户语音的麦克风，并且可以经由麦克风通过语音来执行各种输入。

如上所述，输入装置71能够在不接触的情况下输入各种信息，由此，特别地，属于清洁区域的用户(例如，外科医生91)可以不接触地操作属于不清洁区域的装置。此外，由于用户可以在不从手术工具上松开用户的手的情况下操作装置，因此提高了用户的便利性。

治疗工具控制装置73控制能量治疗工具45的驱动，用于组织的烧灼、切开、血管的密封等。气腹装置75经由气腹管43将气体注入到体腔中以使患者95的体腔膨胀，为了确保通过内窥镜25的视野并确保外科医生的工作空间。记录器77是能够记录关于手术的各种信息的装置。打印机79是能够以诸如文本、图像、图形等的各种格式来打印关于手术的各种类型的信息的装置。

接着，参考图4，将更详细地描述内窥镜25的摄像头29和ccu63的功能。图4是示出摄像头29和ccu63的功能配置的示例的框图。

如图4所示，摄像头29按照其功能包括透镜单元31、成像单元33、驱动单元35、通信单元37和摄像头控制单元39。此外，ccu63按照其功能包括通信单元83、图像处理单元85和控制单元87。摄像头29和ccu63通过传输电缆89彼此可通信地连接。

首先，将描述摄像头29的功能配置。透镜单元31是提供在与镜筒27的连接部分处的光学系统。从镜筒27的远端入射的观察光被引导到摄像头29，并且入射在透镜单元31上。透镜单元31包括多个透镜，该多个透镜组合在一起包括变焦透镜和聚焦透镜。透镜单元31的光学特性被调节使得观察光聚焦在成像单元33的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜在光轴上的位置可移动以调节所拍摄的图像的放大倍率和焦点。

成像单元33包括成像元件，并且布置在透镜单元31的后级。穿过透镜单元31的观察光聚焦在成像元件的光接收表面上，并且与观察图像对应的图像信号通过光电转换生成。由成像单元33生成的图像信号被提供给通信单元37。

作为构成成像单元33的成像元件，使用具有拜耳阵列的能够彩色成像的元件，例如，互补金属氧化物半导体(cmos)图像传感器等。注意，作为成像元件，可以使用与大于或等于例如4k的高分辨率图像的成像兼容的元件。手术部位的图像以高分辨率获得，由此外科医生91可以更详细地掌握手术部位的状态，并且可以更顺畅地进行手术。

此外，构成成像单元33的成像元件包括一对成像元件，用于获取供右眼和左眼的图像信号以应对3d显示。3d显示被执行，由此外科医生91可以更准确地掌握手术部分中的活组织的深度。注意，在成像单元33包括多芯片型的情况下，透镜单元31的多个系统对应于相应成像元件而提供。

此外，成像单元33不一定必须提供在摄像头29中。例如，成像单元33可以紧接在物镜之后提供在镜筒27内部。

驱动单元35包括致动器，并且通过摄像头控制单元39的控制使透镜单元31的变焦透镜和聚焦透镜沿光轴移动预定距离。结果，由成像单元33拍摄的图像的放大倍率和焦点可以被适当地调整。

通信单元37包括用于向ccu63发送各种类型的信息/从ccu63接收各种类型的信息的通信装置。通信单元37经由传输电缆89将从成像单元33获得的图像信号作为raw数据发送到ccu63。此时，为了以低等待时间显示手术部位的拍摄图像，图像信号优选地通过光通信来发送。这是因为，由于外科医生91在手术期间用拍摄的图像观察患部的状态的同时进行手术，因此为了更安全、更可靠地进行手术，需要尽可能实时地显示手术部位的运动图像。在执行光通信的情况下，通信单元37提供有将电信号转换成光信号的光电转换模块。图像信号被光电转换模块转换成光信号，然后经由传输电缆89传输到ccu63。

此外，通信单元37从ccu63接收用于控制摄像头29的驱动的控制信号。该控制信号包括关于成像条件的信息，例如，指定拍摄图像的帧速率的信息、指定成像时的曝光值的信息和/或指定所拍摄图像的放大倍率和焦点的信息等。通信单元37将接收到的控制信号提供给摄像头控制单元39。注意，来自ccu63的控制信号也可以通过光通信来发送。在这种情况下，通信单元37提供有将光信号转换成电信号的光电转换模块，并且控制信号通过光电转换模块被转换成电信号，然后被提供给摄像头控制单元39。

注意，上述成像条件(诸如帧速率、曝光值、放大倍率和焦点)由ccu63的控制单元87基于获取的图像信号自动设定。也就是，在内窥镜25中安装了所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。

摄像头控制单元39基于经由通信单元37接收的来自ccu63的控制信号来控制摄像头29的驱动。例如，摄像头控制单元39基于指定拍摄图像的帧速率的信息和/或指定成像时的曝光的信息控制成像单元33的成像元件的驱动。此外，例如，摄像头控制单元39基于指定所拍摄图像的放大倍率和焦点的信息，经由驱动单元35适当地移动透镜单元31的变焦透镜和聚焦透镜。摄像头控制单元39还可以具有存储用于识别镜筒27和摄像头29的信息的功能。

注意，通过将透镜单元31、成像单元33等布置为具有高气密性和防水性的密封结构，可以使摄像头29具有对高压灭菌器的抵抗力。

接着，将描述ccu63的功能配置。通信单元83包括用于向摄像头29发送各种类型的信息/从摄像头29接收各种各类型的信息的通信装置。通信单元83接收经由传输电缆89从摄像头29传输的图像信号。这里，如上所述，可以通过光通信适当地发送图像信号。在这种情况下，为了适合于光通信，通信单元83提供有将光信号转换成电信号的光电转换模块。通信单元83将转换为电信号的图像信号提供给图像处理单元85。

此外，通信单元83将用于控制摄像头29的驱动的控制信号发送到摄像头29。该控制信号也可以通过光通信来发送。

图像处理单元85对从摄像头29发送的图像信号(其为raw数据)执行各种类型的图像处理。图像处理的示例包括各种类型的已知信号处理，例如，显影处理、图像质量增强处理(诸如频带增强处理、超分辨率处理、降噪(nr)处理和/或相机抖动校正处理)和/或放大处理(电子变焦处理)等。此外，图像处理单元85对用于执行ae、af和awb的图像信号执行检测处理。

图像处理单元85包括诸如cpu或gpu的处理器，并且上述图像处理和检测处理由根据预定程序操作的处理器执行。注意，在图像处理单元85包括多个gpu的情况下，图像处理单元85适当地划分与图像信号有关的信息，并且由多个gpu并行地执行图像处理。

控制单元87执行与通过内窥镜25对手术部位的成像以及拍摄图像的显示有关的各种控制。例如，控制单元87生成用于控制摄像头29的驱动的控制信号。这里，在用户输入成像条件的情况下，控制单元87基于由用户的输入来生成控制信号。此外，在内窥镜25中安装有ae功能、af功能和awb功能的情况下，控制单元87通过取决于图像处理单元85的检测处理的结果适当地计算最佳曝光值、焦距和白平衡来生成控制信号。

此外，控制单元87基于图像处理单元85对其执行图像处理的图像信号使显示装置65显示手术部位的图像。这时，控制单元87通过使用各种图像识别技术在手术部位图像中识别各种物体。例如，控制单元87检测手术部位图像中包括的物体的颜色、边缘的形状等，从而能够识别手术工具41，诸如钳子47、特定身体部位、出血、在使用能量治疗工具45时的雾气等。当使显示装置65显示手术部位的图像时，控制单元87使显示装置65通过使用识别结果在手术部位的图像上叠加并显示各种类型的手术辅助信息。手术辅助信息被叠加并显示，并呈现给外科医生91，由此可以更安全和可靠地进行手术。

将摄像头29和ccu63连接在一起的传输电缆89是适于电信号通信的电信号电缆、适于光通信的光纤或其复合电缆。

在该示例中，使用传输电缆89通过线执行通信，但是摄像头29和ccu63之间的通信可以无线执行。在两者之间的通信以无线方式执行的情况下，不需要在手术室中安装传输电缆89，从而消除了医务人员在手术室中的移动被传输电缆89阻碍的情况。

<2.应用了本技术的内窥镜手术系统>

接着，参考图5，将描述应用了本技术的内窥镜手术系统的功能配置示例。

图5的内窥镜手术系统200包括成像装置201、信号处理装置202和显示装置203。

成像装置201对应于上述摄像头29，并且作为手术成像装置，通过对活体成像来获取所拍摄图像的数据(图像信号)。获取的图像信号被发送到信号处理装置202。这里，作为所拍摄图像，获取手术部位图像(其中拍摄活体内部的手术图像)，其为体腔中的手术部位的图像。

信号处理装置202对应于上述ccu63，并且对从成像装置201发送的图像信号执行预定的信号处理。对其执行了信号处理的图像信号被发送到显示装置203。

显示装置203对应于上述显示装置65，并且基于从信号处理装置202发送的图像信号来显示所拍摄图像。

显示装置203包括接受用户操作的用户界面(ui)211。例如，ui211接受要在显示装置203上显示的所拍摄图像的上下方向的指定。

图6示出了显示装置203的外观配置示例。

如图6所示，显示装置203包括显示单元221和操作按钮222。显示单元221显示由成像装置201捕获并且由信号处理装置202对其执行信号处理的所拍摄图像。操作按钮222是上述ui211之一，并且通过被用户操作来接受要在显示单元221上显示的所拍摄图像的上下方向的指定。

注意，除了提供物理操作按钮222作为ui211之外，显示单元221可以被配置为触摸面板，并且可以在显示单元221上显示用于接受上下方向的指定的按钮。

参照回图5，显示装置203还包括扫描信息生成单元212。扫描信息生成单元212基于通过ui211接受的上下方向的指定生成指示所拍摄图像的扫描顺序的扫描信息。所生成的扫描信息被供应给成像装置201和信号处理装置202。

当从扫描信息生成单元212供应扫描信息时，成像装置201基于扫描信息生成所拍摄图像。当从扫描信息生成单元212供应扫描信息时，信号处理装置202基于扫描信息对所拍摄图像执行信号处理。此外，当由扫描信息生成单元212生成扫描信息时，显示装置203基于扫描信息显示所捕获图像。

例如，在内窥镜手术中，在要在显示装置上显示的图像的上下方向与由重力方向确定的上下方向相反的情况下，取决于插入到腹腔中的内窥镜的上下方向，显示装置通常已经反转并显示图像。注意，这里，“反转并显示”是指图像旋转180度并显示。

图7示出了在要在显示装置上显示的图像的上下方向与由重力方向确定的上下方向相反的情况下，传统内窥镜手术系统中的图像反转的流程。

首先，如图7的顶部的第一阶段和第二阶段所示，成像装置通过以点顺序方式从所拍摄图像的左上到右上，从左下到右下进行扫描来获取像素数据，并将像素数据顺序地发送到信号处理装置。

接着，如图7的第三阶段和第四阶段所示，信号处理装置例如通过以块顺序方式从所拍摄图像的顶部到底部进行扫描来执行信号处理，并且将其中完成信号处理的块的数据以点顺序方式发送到显示装置。这里，信号处理以块顺序方式执行，但是信号处理也可以以线顺序方式或点顺序方式执行。

这里，在下文中，从左上到右上，从左下到右下的扫描顺序或者从顶部到底部的扫描顺序被称为正向扫描顺序。

然后，如图7的第五阶段所示，显示装置通过以点顺序方式从所拍摄图像的左上到右上，从左下到右下进行扫描来执行显示。

如上所述，将图像从成像装置向显示装置的传输顺序地执行。因此，为了将图像反转并显示在显示装置上，必须将一个图像存储在显示装置中的存储器中。具体地，信号处理装置从要被反转并显示在显示装置上的图像在垂直方向上的下侧的数据开始顺序地传输。显示装置想要从要被反转和显示的图像在垂直方向上的上侧的数据开始扫描，但是该数据最后从信号处理装置发送。

因此，具有这种反转显示功能的传统显示装置必须在等待一个图像在存储器中的存储完成之后执行扫描用于显示。换言之，如图8所示，从用于成像的扫描完成直到用于显示的扫描开始对于一个画面发生了约传输时间(1v)的等待时间。

此外，尽管该等待时间可以通过增加帧速率来减少，但是缺点是功耗和成本增加。缺点随着帧速率和分辨率增加而增加。

另一方面，在本技术的内窥镜手术系统中，扫描信息基于要在显示装置203上显示的所拍摄图像的上下方向的指定而生成，并且用于成像、信号处理和显示的相应扫描按照扫描信息指示的扫描顺序执行。

图9示出了在反转指定在要在显示装置203中显示的所拍摄图像的上下方向上的情况下，本技术的内窥镜手术系统中的图像反转的流程。

首先，基于扫描信息，成像装置201以与正向扫描顺序相反的扫描顺序(在下文中，适当地称为反向扫描顺序)执行扫描。换言之，如图9的顶部的第一阶段和第二阶段所示，成像装置201通过以点顺序方式从所拍摄图像的右下到左下，从右上到左上进行扫描来获取像素数据，并将像素数据顺序地发送到信号处理装置。

接着，信号处理装置202基于扫描信息以反向扫描顺序执行扫描。这里，如图9的第三阶段和第四阶段所示，信号处理装置202例如通过以块顺序方式从所拍摄图像的底部到顶部进行扫描来执行信号处理，并且将其中完成信号处理的块的数据以点顺序方式发送到显示装置。

然后，显示装置203基于扫描信息以正向扫描顺序执行扫描。换言之，如图9的第五阶段所示，显示装置203通过以点顺序方式从所拍摄图像的左上到右上，从左下到右下进行扫描来执行显示。

此时，信号处理装置202从要被反转并显示在显示装置203上的图像在垂直方向上的上侧的数据开始顺序发送。因此，显示装置203可以开始从要被反转和显示的图像在垂直方向上的上侧的数据扫描。

如上所述，根据图5的内窥镜手术系统200，用于成像、信号处理和显示的相应扫描顺序取决于要被显示在显示装置203上的所拍摄图像的上下方向来确定，使得显示装置203可以执行扫描用于显示而无需等待一个图像在存储器中的存储完成。结果，如图10所示，与图8所示的传统显示装置相比，可以减少从成像到显示的等待时间。

此外，由于可以减少等待时间而不增加帧速率，因此可以避免功耗和成本增加的缺点。

此外，在上述内窥镜手术系统200中，用于成像、信号处理和显示的相应扫描顺序取决于要在显示装置203上显示的所拍摄图像的上下方向来确定，由此除了将所拍摄图像旋转180度并显示的功能之外，还可以实现垂直镜面反转并显示所拍摄图像的功能。即使在这种配置中，也可以减少从成像到显示的等待时间。

注意，在允许上述1v的等待时间的情况下，显示装置203可以具有传统的反转显示功能(换言之，在等待一个图像在存储器中的存储完成之后执行扫描用于显示)。此外，在这种情况下，作为反转显示功能，显示装置203除了具有旋转180度并显示所拍摄图像的功能之外，还可以具有垂直镜面反转并显示所拍摄图像的功能。

<3.第一变型>

图11是示出应用了本技术的内窥镜手术系统的第一变型的图。

在图11的内窥镜手术系统200a中，信号处理装置202包括ui231和扫描信息生成单元232。ui231和扫描信息生成单元232分别具有与图5的ui211和扫描信息生成单元212的功能相同的功能。

因此，根据图11的内窥镜手术系统200a，可以实现与图5的内窥镜手术系统200的功能和效果相似的功能和效果。

<4.第二变型>

图12是示出应用了本技术的内窥镜手术系统的第二变型的图。

在图12的内窥镜手术系统200b中，成像装置201包括ui251和扫描信息生成单元252。ui251和扫描信息生成单元252分别具有与图5的ui211和扫描信息生成单元212的功能相同的功能。

因此，根据图12的内窥镜手术系统200b，可以实现与图5的内窥镜手术系统200的功能和效果相似的功能和效果。

<5.第三变型>

图13是示出应用了本技术的内窥镜手术系统的第三变型的图。

在图13的内窥镜手术系统200c中，除了从成像装置201到显示装置203的装置之外，还提供有系统控制器301。系统控制器301例如对应于上述手术室系统10中的视听控制器17，并且控制从成像装置201到显示装置203的操作。在图13的示例中，信号处理装置202、显示装置203和系统控制器301经由网络302彼此连接。

系统控制器301包括ui311和扫描信息生成单元312。ui311和扫描信息生成单元312分别具有与图5的ui211和扫描信息生成单元212的功能相同的功能。注意，在图13的示例中，由扫描信息生成单元312生成的扫描信息经由网络302被供应给信号处理装置202和显示装置203，并且经由网络302和信号处理装置202被供应给成像装置201。

因此，根据图13的内窥镜手术系统200c，可以实现与图5的内窥镜手术系统200的功能和效果相似的功能和效果。

<6.第四变型>

图14是示出应用了本技术的内窥镜手术系统的第四变型的图。

在图14的内窥镜手术系统200d中，提供了两个显示装置203-1和203-2。在图14中，系统控制器301的ui311接受要在显示装置203-1和203-2的每个上显示的所拍摄图像的上下方向的指定。

图15示出了系统控制器301的外观配置示例。

如图15所示，系统控制器301包括操作按钮321和322。操作按钮321是上述ui311之一，并且通过由用户操作而接受要在显示装置203-1上显示的所拍摄图像的上下方向的指定。操作按钮322也是上述ui311之一，并且通过由用户操作来接受要在显示装置203-2上显示的所拍摄图像的上下方向的指定。

注意，除了提供物理操作按钮321和322作为ui311之外，还可以在系统控制器301中提供包括触摸面板的显示单元，并且可以在显示单元上显示用于接受上下方向的指定的按钮。此外，可以在集中操作面板21上的操作画面(图2)上提供ui311。

这里，参考图16，将描述成像装置201的扫描顺序与显示装置203-1和203-2中的显示等待之间的关系，该关系取决于要在相应显示装置203-1和203-2上显示的所拍摄图像的上下方向的反转指定。

(显示装置203-1或203-2都没有上下方向反转指定的情况)

在成像装置201的扫描顺序是正向的情况下，显示装置203-1和203-2仅需要以成像装置201扫描的顺序显示所拍摄图像，并且可以执行扫描用于显示无需等待一个图像在存储器中的存储完成，也就是，具有0v的等待时间。

(没有显示装置203-1的上下方向的反转指定，并且存在显示装置203-2的上下方向的反转指定的情况)

在成像装置201的扫描顺序是正向的情况下，显示装置203-1仅需要以成像装置201扫描的顺序显示所拍摄图像，并且可以执行扫描用于显示，并且具有0v的等待时间。

另一方面，由于显示装置203-2以与成像装置201扫描的顺序相反的顺序显示所拍摄图像，因此通过传统反转显示功能需要在等待一个图像在存储器中的存储完成之后执行扫描用于显示。因此，发生1v的等待时间。

注意，由于在显示装置203-1和显示装置203-2之间将所拍摄图像的显示定时偏移了1v，因此显示装置203-1可以有意地以1v的延迟显示该显示图像。

(存在显示装置203-1的上下方向的反转指定，并且没有显示装置203-2的上下方向的反转指定的情况)

在成像装置201的扫描顺序是正向的情况下，显示装置203-2仅需要以成像装置201扫描的顺序显示所拍摄图像，可以执行扫描用于显示，并且具有0v的等待时间。

另一方面，由于显示装置203-1以与成像装置201扫描的顺序相反的顺序显示所拍摄图像，因此通过传统反转显示功能必须在等待一个图像在存储器中的存储完成之后执行扫描用于显示。因此，发生1v的等待时间。

注意，由于在显示装置203-1和显示装置203-2之间将所拍摄图像的显示定时偏移了1v，所以显示装置203-2可以有意地以1v的延迟显示该显示图像。

(显示装置203-1和203-2两者都存在上下方向的反转指定的情况)

在成像装置201的扫描顺序是反向的情况下，显示装置203-1和203-2仅需要以成像装置201扫描的顺序显示所拍摄图像，可以执行扫描用于显示，并且具有0v的等待时间。

如上所述，根据图14的内窥镜手术系统200d，每个显示装置的等待时间可以取决于两个显示装置中的上下方向的反转指示和成像装置的扫描顺序来调整。

<7.第五变型>

图17是示出应用了本技术的内窥镜手术系统的第五变型的图。

在图17的内窥镜手术系统200e中，除了图14的内窥镜手术系统200d的配置之外，还新提供了手术室内(or)摄像机331。or摄像机331对应于例如上述手术室系统10中的手术室摄像机99，并且对整个手术室的状态进行成像。在图17的示例中，信号处理装置202、显示装置203、系统控制器301和or内摄像机331经由网络302彼此连接。

图17的扫描信息生成单元312从由or内摄像机331拍摄的图像检测用户(外科医生)、成像装置201以及显示装置203-1和203-2之间的位置关系，并且基于检测结果生成扫描信息。

如上所述，根据图17的内窥镜手术系统200e，用于成像、信号处理和显示的相应扫描顺序可以取决于手术室中外科医生、成像装置201和显示装置203-1和203-2之间的位置关系来确定。

<8.第六变型>

图18是示出应用了本技术的内窥镜手术系统的第六变型的图。

在图18的内窥镜手术系统200f中，成像装置201f代替图5的内窥镜手术系统200的成像装置201提供。

成像装置201f被配置为三芯片相机，并且包括光学块351、成像单元352和预处理单元353。

光学块351包括成像透镜、聚焦机构、快门机构、光圈机构等。成像单元352包括将从光学块入射的光分离为r、g和b的颜色分量的分色棱镜，以及输出与该颜色分量的相应光强度对应的电信号的三个成像元件(图像传感器)。预处理单元353对来自成像单元352的模拟信号执行诸如降噪、自动增益控制和a/d转换的预定信号处理，并且将该信号输出为数字数据。

当从扫描信息生成单元212供应扫描信息时，成像装置201f基于该扫描信息生成所拍摄的图像。具体地，成像装置201f基于来自扫描信息生成单元212的扫描信息来执行成像，使得三个图像传感器上的图像的扫描顺序彼此相同。每个图像传感器的扫描顺序由每个图像传感器固定的方向以及从物体到图像传感器的光路中的反射次数确定。

注意，在图18的示例中，成像装置201f被配置为多芯片相机，但是可以被配置为生成供右眼和左眼的图像以应对3d显示的立体相机。在这种情况下，成像装置201f基于来自扫描信息生成单元212的扫描信息来执行成像，使得一对图像传感器上的图像的扫描顺序彼此相同。

<9.第七变型>

接着，将描述应用了本技术的内窥镜手术系统的第七变型。

在该示例中，成像装置201具有数字变焦功能，并且在变焦期间部分地驱动图像传感器。

图19示出了该示例的成像装置201中包括的图像传感器的像素区域。

在执行数字变焦的情况下，生成与在图像传感器的像素区域371上需要变焦显示的像素区域372对应的拍摄图像，并发送所拍摄图像的数据就足够。此时，在像素区域372中，基于扫描信息以扫描顺序获取像素数据。

通过这样的配置，与发送和整个像素区域371对应的拍摄图像的数据的情况相比，可以减少等待时间。

<10.第八变型>

接着，将描述应用了本技术的内窥镜手术系统的第八变形。

在该示例中，所拍摄图像的帧速率大于或等于120fps。结果，与帧速率为60fps的情况相比，等待时间可以减小到约一半。在信号处理以流水线执行的情况下，等待时间减少的效果更大。

<11.其它实施方式的内窥镜手术系统>

在下文中，将描述其它实施方式的内窥镜手术系统。

(示例1)

图20是示出内窥镜手术系统的另一功能配置示例的图。

在图20的内窥镜手术系统200g中，包括加速度传感器391的成像装置201g代替图13的内窥镜手术系统200c的成像装置201提供。此外，在图20的内窥镜手术系统200g中，新提供了检测装置392。在图20的示例中，信号处理装置202、显示装置203、系统控制器301和检测装置392经由网络302彼此连接。

检测装置392基于从加速度传感器391输出的信号来检测重力方向。基于检测结果，检测装置392生成指示成像装置201g的上下方向的上下信息，并经由网络302将该上下信息供应给扫描信息生成单元312。

图20的扫描信息生成单元312基于来自检测装置392的上下信息来生成扫描信息。

如上所述，根据图20的内窥镜手术系统200g，用于成像、信号处理和显示的相应扫描顺序可以取决于成像装置201g的上下方向来确定。

(示例2)

随着图像传感器中像素数量的增加和所拍摄图像的帧速率的改善，可以对一个图像执行多个图案的扫描，如图21所示。

首先，如从图21的顶部的第一阶段所示，成像装置通过以点顺序方式从所拍摄图像的中心朝向四个角扫描通过将所拍摄图像划分成四个区域而获得的每个区域来获取像素数据，并将像素数据顺序发送到信号处理装置。

具体地，在通过将所拍摄图像划分为四个区域而获得的左上区域中从右下至左上执行扫描，并且在右上区域中从左下至右上执行扫描。此外，在左下区域中从右上至左下执行扫描，并且在右下区域中从左上至右下执行扫描。

接着，如图21的第二阶段所示，信号处理装置通过以点顺序方式从所拍摄图像的中心朝向四个角扫描通过将所拍摄图像划分成四个区域而获得的每个区域来执行信号处理，类似于成像装置。

然后，如图21的第三阶段中所示，显示装置通过以点顺序方式从所拍摄图像的中心朝向四个角扫描通过将所拍摄图像划分成四个区域而获得的每个区域来执行显示，类似于成像装置。

利用这种扫描方法，即使在指定了要在显示装置上显示的所拍摄图像的上下方向的反转的情况下，显示装置也仅需要以成像装置扫描的顺序显示所拍摄图像，并且可以执行扫描用于显示，而无需等待一个图像在存储器中的存储完成。

(示例3)

在以上描述中，已经描述了其中通过扫描信息来确定在所拍摄图像的垂直方向上的扫描顺序的配置。这里，在垂直方向上的扫描顺序是以点顺序方式从所拍摄图像的左上至右上，从左下至右下的扫描顺序，或者是以线顺序方式或块顺序方式从所拍摄图像的顶部到底部的扫描顺序。

不限于上述配置，在所拍摄图像的左右方向上的扫描顺序可以通过扫描信息来确定。具体地，可以以点顺序方式以从所拍摄图像的左上至左下，从右上至右下的扫描顺序或者以线顺序方式或块顺序方式以从所拍摄图像的左侧至右侧的扫描顺序来执行扫描。

在这种情况下，例如，成像装置基于扫描信息，以点顺序方式以从所拍摄图像的左上至左下，从右上至右下的扫描顺序执行扫描，如图22的a所示，或者相反，以点顺序方式以从所拍摄图像的右下至右上，从左下至左上的扫描顺序执行扫描，如图22的b所示。此外，显示装置具有旋转180度并显示所拍摄图像的功能，以及在左右方向上镜面反转并显示所拍摄图像的功能，作为反转显示功能。

<12.其它>

图23示出了其中从信号处理装置到显示装置的数据传输时的扫描方法与显示装置中的扫描方法不匹配的示例。

在图23的示例中，当信号处理装置的扫描方法被转换为数据传输到显示装置时的扫描方法时，以及当数据传输到显示装置时的扫描方法被转换为显示装置中的扫描方法时，分别出现0.5v的延迟。

如在上述本实施方式中那样，可以通过使从信号处理装置到显示装置的数据传输时的扫描方法与显示装置中的扫描方法相匹配来减少等待时间。

注意，上述实施方式和变型的配置可以单独地或组合地应用。

以上，已经描述了可应用根据本公开的技术的手术室系统10的示例。注意，这里，作为示例，已经描述了应用手术室系统10的手术系统是内窥镜手术系统23的情况，但是手术室系统10的配置不限于这种示例。例如，手术室系统10可以代替内窥镜手术系统23而应用于检查用柔性内窥镜手术系统或显微镜手术系统。

此外，本技术的实施方式不限于上述实施方式，并且各种变型是可能的，而不背离本技术的范围。

此外，本技术还可以采用以下配置。

(1)

一种手术系统，包括：

手术成像装置，其通过对活体内部成像来生成手术图像；

信号处理装置，其对手术图像执行预定的信号处理；以及

显示装置，其显示对其执行了信号处理的手术图像，其中

手术成像装置基于指示手术图像的扫描顺序的扫描信息来生成手术图像。

(2)

根据(1)所述的手术系统，其中

信号处理装置基于扫描信息对手术图像执行信号处理，以及

显示装置基于扫描信息显示手术图像。

(3)

根据(1)或(2)所述的手术系统，还包括

扫描信息生成单元，其取决于要在显示装置上显示的手术图像的上下方向来生成扫描信息。

(4)

根据(3)所述的手术系统，其中

显示装置包括：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，以及

扫描信息生成单元基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

(5)

根据(3)所述的手术系统，其中

信号处理装置包括：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，以及

扫描信息生成单元基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

(6)

根据(3)所述的手术系统，其中

手术成像装置包括：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，以及

扫描信息生成单元基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

(7)

根据(3)所述的手术系统，还包括

控制器，其控制构成手术系统的每个装置，其中

控制器包括：用户界面，其接受要在显示装置上显示的手术图像的上下方向的指定；以及扫描信息生成单元，以及

扫描信息生成单元基于由用户界面接受的手术图像的上下方向的指定来生成扫描信息。

(8)

根据(3)至(7)中任一项所述的手术系统，还包括

多个显示装置，其中

用户界面接受在所述多个显示装置中的每个上显示的手术图像的上下方向的指定。

(9)

根据(1)所述的手术系统，还包括

扫描信息生成单元，其基于用户、手术成像装置和显示装置之间的位置关系来生成扫描信息。

(10)

根据(1)所述的手术系统，其中

手术成像装置被配置为包括多个图像传感器的相机，并且基于扫描信息执行成像，使得相应图像传感器上的图像的扫描顺序彼此相同。

(11)

根据(1)所述的手术系统，其中

手术成像装置具有数码变焦功能，并且基于扫描信息生成与在图像传感器上需要变焦显示的像素区域对应的手术图像。

(12)

根据(1)所述的手术系统，还包括：

检测装置，其基于在手术成像装置中检测到的重力方向来生成指示手术成像装置的上下方向的上下信息；以及

扫描信息生成单元，其基于上下信息生成扫描信息。

(13)

根据(1)至(12)中任一项所述的手术系统，其中

扫描信息确定手术图像在垂直方向上的扫描顺序。

(14)

根据(1)至(12)中任一项所述的手术系统，其中

扫描信息确定手术图像在左右方向上的扫描顺序。

(15)

一种手术成像装置，包括

成像单元，其通过对活体内部成像来生成手术图像，其中

成像单元基于扫描信息生成手术图像，该扫描信息指示与要在显示装置上显示的手术图像的上下方向对应的手术图像的扫描顺序。

附图标记

10手术室系统

23内窥镜手术系统

29摄像头

33成像单元

63ccu

65显示装置

85图像处理单元

200、200a至200g内窥镜手术系统

201成像装置

202信号处理装置

203显示装置

211ui

212扫描信息生成单元

231ui

232扫描信息生成单元

251ui

252扫描信息生成单元

301系统控制器

311ui

312扫描信息生成单元

331or内相机

352成像单元

392检测装置。