用于动态范围压缩的视频信号处理装置、视频信号处理方法和程序与流程

(相关申请的交叉引用)

本申请要求2017年1月19日提交的日本优先权专利申请jp2017-007470的权益，其全部内容通过引用合并于此。

本技术涉及视频信号处理装置、视频信号处理方法和程序，其根据在第一动态范围内成像的视频信号来生成比第一动态范围更窄的第二动态范围的视频信号。

背景技术：

在hdr(高动态范围)成像中，可以表达具有宽动态范围的图像，以及表达难以用sdr(标准动态范围)的视频信号表达的暗区域和高亮度颜色。sdr的视频信号具有标准动态范围，并且可以在普通监视器上显示。

与hdr和ldr的视频信号处理有关的已知技术的示例包括用于同时生成hdr视频和ldr视频的技术(参见专利文献1)，以及用于将ldr视频转换为hdr视频的技术(参见专利文献2)。请注意，ldr与sdr同义。

引用列表

专利文献

专利文件1：日本专利申请特开第2016-195379号

专利文件2：wo2011/04222

技术实现要素：

技术问题

然而，在根据由具有诸如hdr之类的宽第一动态范围的相机成像的视频信号生成比第一动态范围更窄的诸如sdr之类的第二动态范围的视频信号的情况下，存在各种问题，诸如在高亮度部分中出现高光溢出(blowout)以及在低亮度部分中出现遮挡阴影，并且尚未建立足够的解决方法。

希望提供一种能够获得具有高质量的视频信号的视频信号处理装置、视频信号处理方法和程序。

问题的解决方案

根据本技术的第一实施例，提供了一种电子设备，包括电路，所述电路被配置为：获得具有第一动态范围的第一视频信号；计算第一视频信号的部分区域的亮度的代表值；基于计算出的代表值来修改第一视频信号的第一动态范围；和基于所述修改来生成第二视频信号，第二视频信号具有不同于第一动态范围的第二动态范围。

所述电路可被配置为通过基于计算出的代表值压缩第一视频信号的动态范围来修改第一视频信号的动态范围。

第二视频信号的第二动态范围可窄于第一视频信号的第一动态范围。

根据本技术的另一实施例，提供了一种由电子设备执行的视频信号处理方法，所述方法包括：获得具有第一动态范围的第一视频信号；计算第一视频信号的部分区域的亮度的代表值；基于计算出的代表值来修改第一视频信号的第一动态范围；和基于所述修改来生成第二视频信号，第二视频信号具有不同于第一动态范围的第二动态范围。

根据本技术的另一实施例，提供了一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令当由电子设备执行时使所述电子设备：获得具有第一动态范围的第一视频信号；计算第一视频信号的部分区域的亮度的代表值；基于计算出的代表值来修改第一视频信号的第一动态范围；和基于所述修改来生成第二视频信号，第二视频信号具有不同于第一动态范围的第二动态范围。

根据本技术的另一实施例，提供了一种电子设备，包括电路，所述电路被配置为：获得具有第一动态范围的视频信号；计算指示所述视频信号的第一部分的亮度的第一值，其中所述视频信号的第一部分小于所述视频信号的整体；和基于计算出的值来修改所述视频信号的第一部分的第一动态范围。

根据本技术的另一实施例，提供了一种由电子设备执行的视频处理方法，该视频处理方法包括：获得具有第一动态范围的视频信号；由所述电子设备的电路计算指示所述视频信号的第一部分的亮度的第一值，所述视频信号的第一部分小于所述视频信号的整体；和由所述电路基于计算出的值来修改所述视频信号的第一部分的第一动态范围。

根据本技术的另一实施例，提供了一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令当由电子设备执行时使该电子设备：获得具有第一动态范围的视频信号；计算指示所述视频信号的第一部分的亮度的第一值，所述视频信号的第一部分小于所述视频信号的整体；和基于计算出的值来修改所述视频信号的第一部分的第一动态范围。

根据本技术的电子设备还可以被配置为信息处理装置、服务器等。算数处理电路可以由cpu等构成。

(有利效果)

如上所述，根据本技术，可以获得具有高质量的视频信号。

附图说明

[图1]图1是示出根据本技术的第一实施例的视频信号处理系统1的配置的框图。

[图2]图2是描述vr全景视频101中的目标区域103的图。

[图3]图3是示出第一动态范围(hdr)和第二动态范围(sdr)之间的比较的图。

[图4]图4是示出vr全景视频101中的目标区域103处于晴天部分中的情况的图。

[图5]图5是示出从hdr到sdr的动态范围转换的示例的图。

[图6]图6是示出vr全景视频101中的目标区域103包括晴天部分和阴影部分两者的情况的图。

[图7]图7是描述计算亮度的代表值的另一种方法的图。

[图8]图8是示出对从hdr视频信号生成的sdr视频信号的伽马处理的伽马特性的示例的图。

[图9]图9是示出根据本技术的修改示例2的视频信号处理系统1a的配置的框图。

[图10]图10是示出本技术的修改示例3的视频信号处理系统1b的配置的框图。

[图11]图11是示出图10所示的视频信号处理系统1b中的传送服务器30b的配置的框图。

[图12]图12是示意性地示出整个手术室系统的配置的图。

[图13]图13是示出集中操作面板中的操作屏幕的显示示例的图。

[图14]图14是示出手术室系统所应用于的手术的状态的示例的图。

[图15]图15是示出图14所示的相机头和ccu的功能配置的示例的框图。

[图16]图16是示出集中操作面板中的操作屏幕的另一显示示例的图。

具体实施方式

在下文中，将参考附图描述本技术的实施例。

(视频信号处理系统)

图1是示出根据本技术的第一实施例的视频信号处理系统1的配置的框图。

根据该实施例的视频信号处理系统1包括成像单元10，vr信号处理单元20，编码/传送单元30，信息处理装置40，头戴式显示器(下文中，称为“hmd”)50，以及hmd控制器60。vr是虚拟现实的缩写。

(成像单元10)

成像单元10包括一个或多个相机11，其能够以诸如hdr之类的相对宽的第一动态范围捕获图像。在该实施例中，例如，包括多个相机11的成像单元10用于使hmd50显示360度全景视频作为vr视频。由成像单元10的多个相机11成像的多个hdr视频信号通过发送接口(未示出)而被发送到vr信号处理单元20。

(vr信号处理单元20)

vr信号处理单元20包括例如cpu(中央处理单元)，存储器，发送接口等。vr信号处理单元20的cpu接收从成像单元10发送的多个hdr视频信号，执行缝合(其中通过使用存储器在空间上组合所述多个hdr视频信号)、透镜畸变校正等以生成诸如360度全景视频之类的vr视频，并通过使用发送接口将vr视频供应给编码/传送单元30。

(编码/传送单元30)

编码/传送单元30包括例如cpu、存储器、发送接口、通信接口等。响应于来自信息处理装置40的vr视频的传送请求，编码/传送单元30将通过使用发送接口从vr信号处理单元20获得的vr视频的hdr视频信号编码为适合于网络发送的格式的数据，并且通过使用通信接口经由诸如因特网之类的网络70将hdr视频信号传送到传送请求源的信息处理装置40。

(信息处理装置40)

信息处理装置40将vr视频的传送请求发送到编码/传送单元30，接收响应于该请求而从编码/传送单元30传送的vr视频的hdr视频信号，并根据接收到的hdr视频信号生成要提供给hmd50进行显示的sdr视频信号。

信息处理装置40包括cpu41，存储器42，与网络70的通信接口43，与hmd50的通信接口44，以及与hmd控制器60的通信接口45。

存储器42存储将由cpu41执行的操作系统和应用程序。另外，存储器42提供用于cpu41的计算处理的工作区域，从编码/传送单元30传送的hdr视频信号的临时存储区域，等等。

与网络70的通信接口43用于经由网络70向编码/传送单元30发送vr视频的传送请求，以及接收响应于该传送请求而从编码/传送单元30传送的vr视频的hdr视频信号。与网络70的通信接口43可以是与无线lan(局域网)兼容的装置，或者执行有线通信的有线通信装置。另外，信息处理装置40可以经由诸如光盘之类的物理介质获得vr视频，而不是经由网络70从编码/传送单元30接收vr视频的传送。在这种情况下，信息处理装置40仅需要被配置为通过使用介质接口(诸如物理介质可拆卸地附接到的驱动装置)从物理介质读取vr视频。

与hmd50的通信接口44用于将sdr视频信号从信息处理装置40发送到hmd50，以及获得hmd50中的诸如陀螺仪传感器、加速度传感器和相机之类的传感器的检测信号。作为与hmd50的通信接口44，例如，使用hdmi(高清晰度多媒体接口)(注册商标)、usb(通用串行总线)、其组合等。或者，可以使用诸如蓝牙(注册商标)之类的短距离无线通信，诸如wi-fi(注册商标)之类的无线lan，等等。

与hmd控制器60的通信接口45是用于从hmd控制器60获得放大/缩小的操作信号或与选择/确定按钮的操作相对应的操作信号的接口。与hmd控制器60的通信接口45可以例如是诸如蓝牙(注册商标)之类的短距离无线通信，诸如wi-fi(注册商标)之类的无线lan，无线usb(通用串行总线)，等等。

信息处理装置40的cpu41通过使用与网络70的通信接口43接收从编码/传送单元30传送的vr视频的hdr视频信号，并对接收到的hrd视频信号进行解码。另外，cpu41通过使用与hmd50的通信接口44获得hmd50中的诸如陀螺仪传感器和加速度传感器的之类的传感器的检测信号，从所获得的检测信号中检测佩戴hmd50的用户u的vr空间中的视线方向(方位角，姿态角)，并且在该视线方向上计算与hmd50的显示分辨率相对应的区域(显示区域)的中央部分中的任意尺寸的区域作为目标区域。

当计算目标区域时，信息处理装置40的cpu41基于存储器42中存储的hdr视频信号来计算目标区域的hdr视频信号的亮度的代表值。信息处理装置40的cpu41基于亮度的代表值确定负增益值，通过将hdr视频信号乘以该负增益值来压缩hdr视频信号的动态范围，并将动态范围进一步限制到第二动态范围(诸如sdr)，从而生成sdr视频信号。信息处理装置40的cpu41执行控制，以通过使用与hmd50的通信接口44向hmd50提供所生成的sdr视频信号。

(hmd50)

hmd50包括显示器，陀螺仪传感器，加速度传感器，与信息处理装置40的通信接口，以及与hmd控制器60的通信接口。

显示器是能够显示由vr信号处理单元20生成的vr全景视频的显示器。

通过使用与信息处理装置40的通信接口，将提供给hmd50的陀螺仪传感器和加速度传感器的各个检测信号发送到信息处理装置40。

hmd控制器60例如包括cpu，存储器，陀螺仪传感器，加速度传感器，与信息处理装置40的通信接口，选择/确定按钮，等等。

hmd控制器60的cpu通过使用通信接口将当用户u在空间上移动hmd控制器60时由陀螺仪传感器、加速度传感器等生成的选择/确定按钮的操作信号或检测信号发送到信息处理装置40。

信息处理装置40的cpu41组合要在hmd50中显示的vr视频和多个对象(诸如要由用户u操作的多个按钮，与hmd控制器60的操作链接的光标指针，等等)以用于显示。指派给这多个对象的功能的示例包括要由hmd50显示的vr视频的放大和缩小。用户u操作hmd控制器60以使光标指针移动到指派有目标功能的对象的位置，并按下提供给hmd控制器60的选择/确定按钮，并且因此，信息处理装置40的cpu执行用于执行该功能的处理。

注意，在信息处理装置40的cpu41计算目标区域时，例如，除了从hmd50提供的陀螺仪传感器和加速度传感器的各个检测信号之外，还使用从hmd控制器60提供的放大和缩小的操作信号。也就是说，信息处理装置40的cpu41基于从hmd控制器60提供的放大和缩小的操作信号重新计算目标区域。

注意，计算目标区域的另一种方法的示例包括如下方法：通过附接到hmd50的多个红外传感器接收从外部激光发射器发射的红外线，以及通过分析输出信号来计算hmd50的位置和方向，以基于计算结果来计算目标区域。或者，可以根据通过如下操作获得的计算结果来计算目标区域：通过外部红外相机等对来自光源(诸如附接到hmd50的led)的光进行成像，以及分析所捕获的图像以计算hmd50的位置和方向。

(关于目标区域的视频的亮度)

图2是描述vr全景视频101中的目标区域103的图。

在图2中，vr全景视频101中填充有斜线的部分是阴影部分视频105，并且其他部分是阳光部分视频107。阳光部分视频107通常比阴影部分视频105更亮。注意，由方形围绕的区域是目标区域103。在图2的示例中，目标区域103的大部分视频是阴影部分视频105。

图3是示出第一动态范围(hdr)和第二动态范围(sdr)之间的比较的图。

在第二动态范围(sdr)是100％的情况下，第一动态范围(hdr)比第二动态范围(sdr)宽，例如1300％。注意，在第二动态范围(sdr)对应于第一动态范围(hdr)的0到100％的范围部分的情况下，即使当在第二动态范围(sdr)内显示大致暗部分的视频(诸如图2所示的阴影部分视频105)时，在hdr视频信号的对比度和sdr视频信号的对比度之间没有出现显著的变化。然而，例如，在目标区域103的大部分视频是明亮视频(诸如如图4所示的晴天部分视频107)的情况下，在第二动态范围(sdr)内显示的视频中可能出现显著的对比度下降或高光溢出。

在该实施例中，为了解决这样的问题，信息处理装置40的cpu41被配置为计算目标区域的hdr视频信号的亮度的代表值，通过将hdr视频信号乘以基于亮度的代表值确定的负增益值来压缩hdr视频信号的动态范围，以及将动态范围进一步限制到第二动态范围(sdr)，从而生成sdr视频信号。

(视频信号处理系统1的操作)

接下来，将描述根据该实施例的视频信号处理系统1的操作。

信息处理装置40的cpu41通过使用与网络70的通信接口43将vr视频的传送请求发送到编码/传送单元30。

当从信息处理装置40接收到vr视频的传送请求时，编码/传送单元30的cpu将从vr信号处理单元20发送的vr视频的hdr视频信号编码为适合于网络发送的格式的数据，将数据分组化，并经由网络70将数据传送到信息处理装置40。

信息处理装置40的cpu41通过使用通信接口43接收经由网络70从编码/传送单元30传送的vr视频的hdr视频信号，对接收到的hdr视频信号进行解码，并将解码后的信号存储在存储器42中。

信息处理装置40的cpu41从hmd50获得陀螺仪传感器和加速度传感器的各个检测信号，通过使用各个检测信号来检测佩戴hmd50的用户u的vr空间中的视线方向(方位角，姿态角)，并且在该视线方向上计算与hmd50的显示分辨率相对应的区域的中心部分中的任意尺寸的区域作为上述目标区域。

接下来，信息处理装置40的cpu41计算计算出的目标区域的hdr视频信号的亮度的代表值，并且基于亮度的代表值来计算要与hdr视频信号相乘的负增益值。接下来，信息处理装置40的cpu41通过将hdr视频信号乘以计算出的负增益值来压缩hdr视频信号的动态范围，并且将动态范围进一步限制到第二动态范围(sdr)，从而生成sdr视频信号。稍后将详细描述sdr视频信号的生成。

接下来，信息处理装置40的cpu41从所生成的sdr视频信号中切出包括上述目标区域的区域的sdr视频信号，并通过使用与hmd50的通信接口44将包括该目标区域的区域的sdr视频信号提供给hmd50。

hmd50接收从信息处理装置40提供的sdr视频信号，并在显示器上显示接收到的sdr视频信号。

(从hdr到sdr的动态范围转换)

现在，将详细描述从hdr到sdr的动态范围转换。

信息处理装置40的cpu41计算例如平均亮度值等作为目标区域的hdr视频信号的亮度的代表值。注意，目标区域的hdr视频信号的亮度的代表值不限于平均亮度值。稍后将描述亮度的其他代表值。

图5是示出从hdr到sdr的动态范围转换的示例的图。

注意，在图5中，纵轴表示由与透镜光圈(stop)的步进数相对应的光圈值表示的动态范围。每增加一个光圈，动态范围加倍。

作为示例，第一动态范围(hdr)的范围长度大约是第二动态范围(sdr)的范围长度的13倍。

首先，将描述因为目标区域103中的大部分视频是如图4所示的晴天部分视频107所以亮度的代表值相对较高的情况。

信息处理装置40的cpu41通过将hdr视频信号乘以如下负增益值来以高压缩比压缩hdr视频信号的动态范围：目标区域中的hdr视频信号的亮度的代表值越高(越亮)，该负增益值的绝对值越大。例如，在将hdr视频信号乘以作为负增益值的-12db的情况下，动态范围被压缩的视频信号的高亮度部分(高达约400％)基本上在动态范围(sdr1)内。因此，在vr视频中的亮部分的视频显示在hmd50的显示器上的情况下，可以尽可能地抑制对比度的显著降低或者高光溢出的发生。

接下来，将描述在目标区域103中的视频包括如图6所示的晴天部分视频107和阴影部分视频105的情况下的动态范围的转换的示例。在这种情况下，例如，负增益值的绝对值被设置为低于“12”。例如，示出了将hdr视频信号乘以作为负增益值的-6db的情况。在这种情况下，动态范围被压缩的视频信号的中等亮度部分(大约200％)在动态范围(sdr2)内。

图7示出了在目标区域中的阴影部分的视频的比例进一步增加的情况下的动态范围的转换的示例。在这种情况下，通过进一步减小负增益值的绝对值，动态范围被压缩的视频信号的低亮度部分(约0％至100％)在动态范围(sdr3)内。

如上所述，在该实施例中，信息处理装置40的cpu41基于目标区域中的hdr视频信号的亮度的代表值来改变要与hdr视频信号相乘的负增益值，通过将hdr视频信号乘以所述负增益值来压缩hdr视频信号的动态范围，并将动态范围进一步限制到第二动态范围(sdr)，从而生成sdr视频信号。因此，在将从hdr视频信号生成的sdr视频信号显示在hmd50上的情况下，可以尽可能地抑制对比度的显著降低或高光溢出的发生。

注意，可以在将hdr视频信号乘以负增益值之前对hdr视频信号执行色域转换。例如，在hdr视频信号属于具有itu-rbt.2020中规定的色域的视频的情况下，色域被转换为itu-rbt.709中规定的色域。

<修改示例1>

(计算目标区域的亮度代表值的方法的修改示例)

在上述实施例中，计算目标区域的hdr视频信号的平均亮度值作为亮度的代表值。然而，例如，如图7所示在阴影部分和阳光部分共存的情况下，可以通过改变目标区域103的中心部分123与其他周边部分125之间的权重来获得亮度平均值。例如，存在一种通过以下操作来获得亮度平均值的方法：将目标区域103的中心部分123的每个像素的亮度乘以系数p，并将目标区域103的周边部分125的每个像素的亮度乘以系数q，系数q的值小于系数p的值。由于用户的视线位于目标区域103的中心，因此通过该方法可以获得亮度的更合适的代表值和负增益值。

<修改示例2>

(对sdr视频信号的伽马处理)

在目标区域中平均亮度显著不同的多个区域的情况下，例如，如图6所示，动态范围通过将hdr视频信号乘以负增益值而被压缩的视频信号的低亮度部分和中等亮度部分的一部分在第二动态范围(sdr)内。然而，由于高亮度部分在第二动态范围(sdr)之外，因此发生高亮度部分中的高光溢出。

在这方面，在目标区域中平均亮度显著不同的多个区域的情况下，例如，如图8所示，可以执行伽马处理，以便在生成sdr视频信号时增加用于存储高亮度区域的范围。

另外，为了确定目标区域中平均亮度显著不同的多个区域，信息处理装置40的cpu41计算目标区域的hdr视频信号的亮度直方图，并通过使用阈值来确定平均亮度显著不同的多个区域的存在或不存在。

<修改示例3>

(对电视的应用)

在上述实施例中，已经描述了生成要在hmd50上显示的sdr视频信号的情况。然而，本技术也适用于例如在电视的屏幕上显示vr全景视频的任意部分的情况。

图9是示出使用显示sdr视频信号的电视的视频信号处理系统1a的配置的框图。

信息处理装置40a包括与电视80的通信接口46以及与电视控制器90的通信接口47。信息处理装置40a的cpu41a从电视控制器90接收用于移动目标区域的操作信号或放大/缩小的操作信号，并计算目标区域。随后，信息处理装置40a的cpu41a计算计算出的目标区域的hdr视频信号的亮度的代表值，计算负增益值，并将hdr视频信号乘以该负增益值。随后，信息处理装置40a的cpu41a根据动态范围通过乘以该负增益值而被压缩的视频信号生成sdr视频信号，并执行控制以从所生成的sdr视频信号中切出包括目标区域的任意显示区域的sdr视频信号，并将切出的sdr视频信号提供给电视80。

本技术也适用于包括显示器的另一装置。

例如，本技术适用于在诸如智能电话和平板终端之类的装置的显示器上显示vr全景视频的任意部分的情况。

<修改示例4>

(服务器根据hdr视频信号生成sdr视频信号)

本技术也适用于连接到网络70的服务器。

图10是示出视频信号处理系统1b的配置的框图，视频信号处理系统1b在传送服务器30b中根据hdr视频信号生成要在hmd50上显示的sdr视频信号。图11是示出传送服务器30b的配置的框图。

如图11所示，传送服务器30b具有典型的计算机硬件配置。传送服务器30b包括cpu31b，存储器32b，与vr信号处理单元20的通信接口33b，以及与网络70的通信接口34b。

存储器32b存储要由cpu31b执行的操作系统和应用程序。另外，存储器32b提供用于cpu31b的计算处理的工作区域，从vr信号处理单元20获得的vr视频的hdr视频信号的临时存储区域，等等。

与vr信号处理单元20的通信接口33b用于从vr信号处理单元20接收vr视频的hdr视频信号。

与网络70的通信接口34b用于经由网络70从信息处理装置40b接收传送请求或目标区域计算信息，将上述显示区域的sdr视频信号传送到信息处理装置40b，等等。

cpu31b通过使用与网络70的通信接口34b接收从信息处理装置40b发送的vr视频的传送请求，根据vr视频的hdr视频信号生成显示区域的sdr视频信号，并将所生成sdr视频信号发送到信息处理装置40b。

为了计算目标区域，cpu31b获得经由网络70从信息处理装置40b周期性地发送的目标区域计算信息，并执行控制以基于所获得的目标区域计算信息来计算目标区域。

另外，传送服务器30b的cpu31b计算计算出的目标区域的hdr视频信号的亮度的代表值，并基于亮度的代表值计算要与hdr视频信号相乘的负增益值。随后，传送服务器30b的cpu31b执行控制以通过将hdr视频信号乘以计算出的负增益值来压缩视频信号的动态范围来生成sdr视频信号，并进一步将动态范围进一步限制到第二动态范围(sdr)。

另外，传送服务器30b的cpu31b执行控制以通过使用与网络70的通信接口34b将来自所生成的sdr视频信号的与包括上述目标区域的显示尺寸相对应的sdr视频信号(显示区域的sdr视频信号)发送到信息处理装置40b。

同时，信息处理装置40b包括cpu41b，与网络70的通信接口43b，与hmd50的通信接口44b，与hmd控制器60的通信接口45b，以及存储器(未示出)。

存储器存储将由cpu41b执行的操作系统和应用程序。另外，存储器提供用于cpu41b的计算处理的工作区域，从传送服务器30b传送的sdr视频信号的临时存储区域，等等。

与网络70的通信接口43b用于经由网络70将vr视频的传送请求或目标区域计算信息发送到传送服务器30b，以及接收响应于该传送请求而从传送服务器30b发送的显示区域的sdr视频信号。

与hmd50的通信接口44b用于将sdr视频信号从信息处理装置40b发送到hmd50，获得hmd50中的陀螺仪传感器和加速度传感器的检测信号，等等。

与hmd控制器60的通信接口45b是用于从hmd控制器60获得放大/缩小的操作信号、与选择/确定按钮的操作相对应的操作信号等的接口。

信息处理装置40b的cpu41b执行将vr视频的传送请求发送到传送服务器30b的处理，接收并解码经由网络70从传送服务器30b传送的sdr视频信号的处理，将解码后的sdr视频信号提供给hmd50的处理，将从hmd50获得的陀螺仪传感器和加速度传感器的各个检测信号、从hmd控制器60获得的放大/缩小的操作信号等作为目标区域计算信息发送到传送服务器30b的处理，等等。

由于hmd50和hmd控制器60的配置与第一实施例中的那些相同，因此其描述将被省略。

(视频信号处理系统1b的操作)

接下来，将描述根据该修改示例的视频信号处理系统1b的操作。

信息处理装置40b的cpu41b通过使用通信接口43b经由网络70将vr视频的传送请求发送到传送服务器30b。

在从信息处理装置40b接收vr视频的传送请求的情况下，传送服务器30b的cpu31b在存储器32b中存储从vr信号处理单元20发送的vr视频的hdr视频信号。

同时，信息处理装置40b的cpu41b从hmd50获得陀螺仪传感器和加速度传感器的各个检测信号，并且通过使用通信接口43b将这些检测信号作为目标区域计算信息发送到传送服务器30b。另外，此时，在从hmd控制器60获得放大/缩小的操作信号的情况下，cpu41b还通过使用通信接口43b将该操作信号作为目标区域计算信息发送到传送服务器30b。

在从信息处理装置40b接收到目标区域计算信息的情况下，传送服务器30b的cpu31b基于目标区域计算信息来计算目标区域。另外，传送服务器30b的cpu31b计算计算出的目标区域的hdr视频信号的亮度的代表值，并基于亮度的代表值来计算要与hdr视频信号相乘的负增益值。接下来，传送服务器30b的cpu31b通过如下操作生成视频信号作为sdr视频信号：通过将hdr视频信号乘以计算出的负增益值来压缩视频信号的动态范围，并且进一步将动态范围限制为第二动态范围(sdr)。然后，传送服务器30b的cpu31b将来自所生成的sdr视频信号的与包括上述目标区域的显示尺寸相对应的sdr视频信号(显示区域的sdr视频信号)编码成适合于网络发送的数据，将数据分组化，并经由网络70将分组化的数据传送到信息处理装置40。

信息处理装置40b的cpu41b从传送服务器30b接收sdr视频信号，对接收到的信号进行解码，并通过使用与hmd50的通信接口44b将sdr视频信号发送到hmd50。

hmd50的cpu接收从信息处理装置40提供的sdr视频信号，并在显示器上显示所接收的sdr视频信号。

<另一修改示例>

在上文中，hmd50的陀螺仪传感器和加速度传感器的检测信号用于计算目标区域。然而，可以使用任何检测方法，只要可以捕获用户关于vr视频的视线方向即可。例如，可以用相机拍摄用户的眼球以检测视线方向，并且可以通过hmd控制器60的操作来指定关于要在vr图像中观看的方向的信息。

<应用示例>

根据本公开的技术适用于各种产品。例如，根据本公开的技术可被应用于手术室系统。

图12是示意性地示出根据本公开的技术所适用于的手术室系统5100的整体配置的图。参考图12，手术室系统5100被配置成使得在手术室中设置的一组装置能够经由视听控制器(av控制器)5107和手术室控制装置5109彼此协作。

可以在手术室中设置各种装置。作为示例，图12示出了用于内窥镜手术的一组各种装置5101，设置在手术室的天花板上并捕获外科医生的手的图像的天花板相机5187，设置在手术室的天花板上并捕获关于整个手术室的状态的图像的手术室相机5189，多个显示装置5103a至5103d，记录器5105，病床5183，以及照明5191。

这里，在这些装置中，装置组5101属于稍后将描述的内窥镜手术系统5113，并且由内窥镜、显示该内窥镜所捕获的图像的显示装置等构成。属于内窥镜手术系统5113的各种装置也称为医疗设备。同时，显示装置5103a至5103d、记录器5105、病床5183和照明5191是在例如手术室中提供并与内窥镜手术系统5113分开提供的装置。这些不属于内窥镜手术系统5113的装置也称为非医疗设备。视听控制器5107和/或手术室控制装置5109在彼此协作的同时控制这些医疗设备和非医疗设备的操作。

视听控制器5107总体控制医疗设备和非医疗设备中与图像显示有关的处理。具体而言，在手术室系统5100中提供的装置中，装置组5101、天花板相机5187和手术室相机5189可以是包括发送要在手术期间显示的信息(在下文中，也称为显示信息)的功能的装置(在下文中，也称为发送源装置)。另外，显示装置5103a至5103d可以是显示信息所输出到的装置(在下文中，也称为输出目的地装置)。另外，记录器5105可以是与发送源装置和输出目的地装置两者相对应的装置。视听控制器5107包括控制发送源装置和输出目的地装置的操作以从发送源装置获取显示信息并将该显示信息发送到输出目的地装置以显示或记录该显示信息的功能。应当注意，显示信息指的是在手术期间捕获的各种图像、与手术有关的各种类型的信息(例如，患者的身体信息、过去的检查结果、关于手术方法的信息等)等。

具体而言，可以将关于已经由内窥镜捕获的患者体腔中的手术部位的图像的信息作为显示信息从装置组5101发送到视听控制器5107。另外，可以从天花板相机5187发送关于已经由天花板相机5187捕获的外科医生的手的图像的信息作为显示信息。另外，可以从手术室相机5189发送关于已经由手术室相机5189捕获的关于整个手术室的状态的图像的信息作为显示信息。应当注意，在手术室系统5100中存在包括图像拾取功能的其他装置的情况下，视听控制器5107还可以从其他装置获取关于由其他装置捕获的图像的信息作为显示信息。

或者，例如，视听控制器5107将关于过去捕获的这些图像的信息记录在记录器5105中。视听控制器5107能够从记录器5105获取关于过去捕获的图像的信息作为显示信息。应当注意，可以在记录器5105中预先记录与手术有关的各种类型的信息。

视听控制器5107使作为输出目的地装置的显示装置5103a至5103d中的至少一个显示所获取的显示信息(即，在手术期间捕获的图像或与手术有关的各种类型的信息)。在图中所示的示例中，显示装置5103a是从手术室的天花板悬挂的显示装置，显示装置5103b是设置在手术室的墙壁表面上的显示装置，显示装置5103c是设置在手术室中的桌子上的显示装置，并且显示装置5103d是包括显示功能的移动装置(例如，平板pc(个人计算机))。

另外，虽然未在图12中示出，但是手术室系统5100可包括设置在手术室外部的装置。设置在手术室外部的装置可以例如是连接到在医院内外构成的网络的服务器，医务人员所使用的pc，医院的会议室中设置的投影仪，等等。在医院外存在这样的外部装置的情况下，视听控制器5107还可以使显示信息经由电话会议系统等显示在不同医院中的显示装置上以用于远程医疗。

手术室控制装置5109总体控制除了与非医疗设备中的图像显示有关的处理之外的处理。例如，手术室控制装置5109控制病床5183、天花板相机5187、手术室相机5189和照明5191的驱动。

在手术室系统5100中设置集中操作面板5111，以使用户能够经由集中操作面板5111向视听控制器5107给出关于图像显示的指令或向手术室控制装置5109给出关于非医疗设备的操作的指令。集中操作面板5111被配置为使得触摸面板设置在显示装置的显示表面上。

图13是示出集中操作面板5111的操作屏幕的显示示例的图。图13示出了与提供两个显示装置作为输出目的地装置的情况相对应的操作屏幕的示例。参考图13，在操作屏幕5193中提供发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，设置在手术室系统5100中的发送源装置和表示该发送源装置包括的显示信息的缩略图图像彼此关联地显示。用户可以从显示在发送源选择区域5195中的任何发送源装置中选择他/她希望在显示装置上显示的显示信息。

在预览区域5197中，显示要在作为输出目的地装置的两个显示装置(监视器1，监视器2)上显示的屏幕的预览。在图中所示的示例中，针对一个显示装置画中画(pinp)显示4个图像。这4个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。在这4个图像中，一个被相对大地显示为主图像，并且剩余的3个图像被相对小地显示为子图像。通过适当地选择显示这4个图像的区域，用户可以交换主图像和子图像。另外，在显示这4个图像的区域下方提供状态显示区域5199，并且可以在该区域中适当地显示手术相关状态(例如，经过的手术时间、患者的身体信息等)。

在控制区域5201中，提供了显示用于操作发送源装置的gui(图形用户界面)组件的发送源操作区域5203和显示用于操作输出目的地装置的gui组件的输出目的地操作区域5205。在图中所示的示例中，在发送源操作区域5203中提供用于在包括图像拾取功能的发送源装置中的相机上执行各种操作(平移，倾斜和变焦)的gui组件。通过适当地选择这些gui组件，用户可以控制发送源装置中的相机的操作。应当注意，尽管未在图中示出，但是在发送源选择区域5195中选择的发送源装置是记录器的情况下(即，在预览区域5197中显示在记录器中过去记录的图像的情况下)，可以在发送源操作区域5203中提供用于对图像执行再现、再现停止、倒回、快进等操作的gui组件。

另外，在输出目的地操作区域5205中，提供了用于执行关于作为输出目的地装置的显示装置上的显示的各种操作(交换，翻转(flip)，颜色调整，对比度调整，以及2d显示和3d显示之间的切换)的gui组件。通过适当地选择这些gui组件，用户可以操作显示装置上的显示。

应当注意，要在集中操作面板5111上显示的操作屏幕不限于图中所示的示例，并且用户还可以能够经由集中操作面板5111将操作输入到手术室系统5100中可由视听控制器5107和手术室控制装置5109控制的各种装置。

图14是示出上述手术室系统所应用于的手术的状态的示例的图。天花板相机5187和手术室相机5189设置在手术室的天花板上，以便能够捕获对病床5183上的患者5185的患病区域进行治疗的外科医生(医生)5181的手以及整个手术室的状态。天花板相机5187和手术室相机5189可包括放大率调整功能，焦距调整功能，拍摄方向调整功能，等等。照明5191设置在手术室的天花板上并且至少照亮外科医生5181的手。照明5191可以能够适当地调整照明光量、照明光的波长(颜色)、光照射方向等。

如图12所示，内窥镜手术系统5113、病床5183、天花板相机5187、手术室相机5189和照明5191被连接，同时能够经由视听控制器5107和手术室控制装置5109(未在图14中示出)彼此协作。集中操作面板5111设置在手术室中，以使用户能够经由如上所述的集中操作面板5111适当地在手术室中操作这些装置。

在下文中，将详细描述内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括内窥镜5115，其他操作工具5131，支撑内窥镜5115的支撑臂装置5141，以及配备有用于内窥镜手术的各种装置的推车5151。

在内窥镜手术中，将称为套管针的多个圆柱形穿孔工具5139a至5139d刺入腹壁，而不是通过切割腹壁来打开腹部。然后，将内窥镜5115的透镜管5117和其他操作工具5131从套管针5139a至5139d插入患者5185的体腔中。在图中所示的示例中，作为其他操作工具5131，将气腹管5133、能量治疗工具5135和钳子5137插入患者5185的体腔中。另外，能量治疗工具5135是用于通过高频电流或超声波振动进行组织切开和消融、血管密封等的治疗工具。应当注意，图中所示的操作工具5131仅仅是示例，并且通常在内窥镜手术中使用的各种操作工具(诸如镊子和牵开器之类)可以例如用作操作工具5131。

已经由内窥镜5115捕获的患者5185的体腔中的手术部位的图像显示在显示装置5155上。例如，在观看实时显示在显示装置5155上的手术部位的图像的同时，外科医生5181使用能量治疗工具5135和钳子5137来执行诸如患部的消融之类的治疗。应当注意，尽管未在图中示出，但是在手术期间，外科医生5181、助手等支撑气腹管5133、能量治疗工具5135和钳子5137。

(支撑臂装置)

支撑臂装置5141包括从基部5143延伸的臂部分5145。在图中所示的示例中，臂部分5145包括接合部5147a、5147b和5147c以及连杆5149a和5149b并且在臂控制装置5159的控制下驱动。由臂部5145支撑内窥镜5115，使得控制其位置和姿势。因此，可以实现内窥镜5115的稳定位置固定。

(内窥镜)

内窥镜5115包括透镜管5117(其从尖端起的预定长度的区域插入患者5185的体腔中)，以及连接到透镜管5117的基端的相机头5119。尽管在图中所示的示例中示出了被配置为包括硬透镜管5117的所谓的硬镜的内窥镜5115，但是内窥镜5115可以替代地被配置为包括柔性透镜管5117的所谓的柔性镜。

在透镜管5117的尖端处设置配合物镜的开口。光源装置5157连接到内窥镜5115，并且由光源装置5157生成的光通过在透镜管5117内延伸的光导而被引导到透镜管5117的尖端，以经由物镜向患者5185的体腔内的观察目标照射。应当注意，内窥镜5115可以是直视内窥镜、透视内窥镜或侧视内窥镜。

光学系统和图像拾取设备设置在相机头5119内，并且通过光学系统在图像拾取设备中收集来自观察目标的反射光(观察光)。图像拾取设备对观察光进行光电转换，以生成对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为raw数据被发送到相机控制单元(ccu：相机控制单元)5153。应当注意，通过适当地驱动光学系统，相机头5119配备有放大功能和焦距调节功能。

应当注意，为了支持立体视图(3d显示)等，例如，可以在相机头5119中设置多个图像拾取设备。在这种情况下，在透镜管5117内部设置多个中继光学系统，用于将观察光引导到多个图像拾取设备中的每一个。

(安装在推车上的各种装置)

ccu5153包括cpu(中央处理单元)、gpu(图形处理单元)等，并总体控制内窥镜5115和显示装置5155的操作。具体而言，ccu5153对从相机头5119接收的图像信号执行用于基于图像信号来显示图像的各种类型的图像处理，诸如显影处理(去马赛克处理)。ccu5153将经过图像处理的图像信号提供给显示装置5155。另外，图12所示的视听控制器5107连接到ccu5153。ccu5153还将经过图像处理的图像信号提供给视听控制器5107。另外，ccu5153将控制信号发送到相机头5119以控制其驱动。控制信号可包括与诸如放大率和焦距之类的图像拾取条件有关的信息。与图像拾取条件有关的信息可以经由输入装置5161输入，或者可以经由上述集中操作面板5111输入。

显示装置5155在ccu5153的控制下基于由ccu5153进行图像处理的图像信号来显示图像。在内窥镜5115是支持高分辨率拍摄(诸如4k(水平像素数3840*垂直像素数2160)和8k(水平像素数7680*垂直像素数4320)之类)和/或支持3d显示的内窥镜的情况下，例如，能够执行高分辨率显示的显示装置和/或能够执行3d显示的显示装置被用作显示装置5155。在支持4k、8k等的高分辨率拍摄的情况下，通过使用尺寸为55英尺或更大的显示装置作为显示装置5155可以获得更多的浸入感。另外，根据目的，可以提供具有不同分辨率和尺寸的多个显示装置5155。

光源装置5157例如包括诸如led(发光二极管)之类的光源，并且在拍摄手术部位时将照明光提供给内窥镜5115。

臂控制装置5159例如包括诸如cpu之类的处理器，并且根据预定程序操作，以便通过预定的控制方法控制支撑臂装置5141的臂部5145的驱动。

输入装置5161是关于内窥镜手术系统5113的输入接口。用户能够经由输入装置5161输入各种类型的信息和输入关于内窥镜手术系统5113的指令。例如，用户经由输入装置5161输入各种类型的手术相关信息，诸如患者的身体信息和关于手术中的手术方法的信息之类。另外，例如，用户经由输入装置5161输入驱动臂部5145的指令、改变内窥镜5115的图像拾取条件(照射光的类型，放大率，焦距等)的指令、驱动能量治疗工具5135的指令等。

输入装置5161的类型不受限制，并且输入装置5161可以是各种已知的输入装置。作为输入装置5161，例如，鼠标、键盘、触摸面板、开关、脚踏开关5171和/或杆等是适用的。在使用触摸面板作为输入装置5161的情况下，可以将触摸面板设置在显示装置5155的显示表面上。

或者，输入装置5161例如是用户佩戴的设备，诸如眼镜型可穿戴显示器和hmd(头戴式显示器)之类，并且根据这些设备所检测到的用户的手势或视线来执行各种输入。另外，输入装置5161包括能够检测用户的移动的相机，并且根据从该相机所捕获的视频中检测到的用户的手势或视线来执行各种输入。另外，输入装置5161包括能够拾取用户的语音的麦克风，并且通过经由该麦克风的音频输入来执行各种输入。通过以这种方式将输入装置5161配置成使得可以以非接触方式输入各种类型的信息，特别是对于属于清洁区域的用户(例如，外科医生5181)来说，以非接触方式操作属于不洁区域的装置成为可能。另外，由于用户可以在不释放手边的手术工具的情况下操作装置，因此用户的便利性被提高。

处理工具控制装置5163控制用于组织消融和切开、血管的密封等的能量治疗工具5135的驱动。为了确保内窥镜5115的视力和确保外科医生的工作空间，气腹装置5165经由气腹管5133在患者5185的体腔内泵入气体以便将其吹起。记录器5167是能够记录各种类型的手术相关信息的装置。打印机5169是能够以各种格式(诸如文本、图像和图形之类)打印各种类型的手术相关信息的装置。

在下文中，将更详细地描述内窥镜手术系统5113的具体的特性配置。

(支撑臂装置)

支撑臂装置5141包括作为基础的基部5143和从基部5143延伸的臂部5145。在图中所示的示例中，臂部5145包括多个接合部5147a、5147b和5147c，以及通过接合部5147b耦合的多个连杆5149a和5149b。同时，为了简化，图14示出了臂部5145的简化配置。实际上，可以适当地设置接合部5147a至5147c以及连杆5149a和5149b的形状、数量和布置，接合部5147a至5147c的旋转轴的方向等，使得给予臂部5145所需的自由度。例如，可以将臂部5145有利地配置成具有6或更大的自由度。因此，可以在臂部5145的可移动范围内自由地移动内窥镜5115，并且将内窥镜5115的透镜管5117从期望的方向插入患者5185的体腔中因此成为可能。

致动器设置在接合部5147a至5147c中，并且接合部5147a至5147c被配置为通过致动器的驱动可绕预定旋转轴旋转。通过受臂控制装置5159控制的致动器的驱动，控制接合部5147a至5147c中的每个接合部的旋转角度，并且控制臂部5145的驱动。因此，可以实现对内窥镜5115的位置和姿势的控制。此时，臂控制装置5159能够通过诸如力控制和位置控制之类的各种已知的控制方法来控制臂部5145的驱动。

例如，外科医生5181可以经由输入装置5161(包括脚踏开关5171)适当地执行操作输入，使得臂部5145的驱动由臂控制装置5159根据该操作输入适当地被控制并且内窥镜5115的位置和姿势被控制。通过该控制，在被从任意位置移动到任意位置之后，臂部5145的尖端处的内窥镜5115可以被固定地支撑在该位置处。应当注意，可以由所谓的主从系统来操作臂部5145。在这种情况下，可以由用户经由设置在远离手术室的位置处的输入装置5161来远程地操作臂部5145。

另外，在施加力控制的情况下，臂控制装置5159可以执行所谓的动力辅助控制，以便驱动接合部5147a至5147c中的每个接合部的致动器，使得当施加有来自用户的外力时，臂部5145根据该外力平稳地移动。因此，在直接接触臂部5145的同时移动臂部5145时，用户可以用相对小的力来移动臂部5145。因此，更直观地且用更简单的操作移动内窥镜5115和提高用户便利性成为可能。

这里，通常，内窥镜5115在内窥镜手术中由称为内镜医师(scopist)的医生支撑。相比之下，通过使用支撑臂装置5141，可以在不依赖人的手的情况下更确切地固定内窥镜5115的位置，并且稳定地获得手术部位的图像和平稳地执行手术因此成为可能。

应当注意，臂控制装置5159不一定需要设置在推车5151中。另外，臂控制装置5159不一定需要是单个装置。例如，臂控制装置5159可以设置在支撑臂装置5141的臂部5145的接合部5147a至5147c中的每一个中，并且可以通过多个臂控制装置5159彼此协作来实现臂部5145的驱动控制。

(光源装置)

当拍摄手术部位时，光源设备5157将照射光提供给内窥镜5115。光源装置5157包括例如包括led、激光光源或这些的组合的白色光源。此时，在白色光源由rgb激光光源的组合构成的情况下，可以高度精确地控制每个颜色(每个波长)的输出强度和输出定时，并且因此可以在光源装置5157中执行捕获图像的白平衡调整。同样在这种情况下，通过将来自各个rgb激光光源的激光时分地照射到观察目标上并且与照射定时同步地控制相机头5119的图像拾取设备的驱动，可以时分地捕获分别对应于rgb的图像。通过该方法，可以在不在图像拾取设备中设置滤色器的情况下获得彩色图像。

另外，可以将光源装置5157控制成被驱动，使得输出光的强度每隔预定时间被改变。通过控制相机头5119的图像拾取设备的驱动并与改变光强度的定时同步地时分地获取图像并合成图像，可以生成具有高动态范围的图像而没有所谓的变黑或过度曝光。

另外，光源装置5157可被配置为能够提供与特殊光观察相对应的预定波长带的光。在特殊光观察中，例如，利用在身体系统中的光吸收波长依赖性，通过照射具有比在正常观察中使用的照射光(即，白光)的带更窄的带的光，来执行所谓的窄带成像，其中以高对比度拍摄粘膜表面层上的诸如血管之类的预定组织。或者，在特殊光观察中，可以执行荧光观察，其中通过由照射激发光而生成的荧光来获得图像。在荧光观察中，可以执行如下观察：其中将激发光照射到身体系统上以观察来自身体系统的荧光的观察(自发荧光观察)、其中将诸如吲哚菁绿(icg)之类的试剂局部注射到身体系统中并将与该试剂的荧光波长相对应的激发光照射到身体系统上以获得荧光图像的观察，等等。光源装置5157可以被配置为能够提供与这样的特殊光观察相对应的窄带光和/或激发光。

(相机头和ccu)

参考图15，将更详细地描述内窥镜5115的相机头5119和ccu5153的功能。图15是示出图14中所示的相机头5119和ccu5153的功能配置的示例的框图。

参考图15，相机头5119包括作为其功能的透镜单元5121、图像拾取单元5123、驱动单元5125、通信单元5127和相机头控制单元5129。另外，ccu5153包括作为其功能的通信单元5173、图像处理单元5175和控制单元5177。相机头5119和ccu5153经由发送线缆5179在可相互通信的同时连接。

首先，将描述相机头5119的功能配置。透镜单元5121是设置在将其连接到透镜管5117的连接部处的光学系统。从透镜管5117的尖端引入的观察光被引导到相机头5119并进入透镜单元5121。通过组合包括变焦透镜和聚焦透镜的多个透镜来配置透镜单元5121。透镜单元5121使其光学特性被调节，使得在图像拾取单元5123的图像拾取设备的光接收表面上收集观察光。另外，变焦透镜和聚焦透镜被配置成使得其在光轴上的位置可移动以调节捕获图像的放大率和焦点。

图像拾取单元5123包括图像拾取设备并且布置在透镜单元5121之后。在图像拾取设备的光接收表面上收集已经通过透镜单元5121的观察光，并且通过光电转换生成对应于观察图像的图像信号。由图像拾取单元5123生成的图像信号被提供给通信单元5127。

构成图像拾取单元5123的图像拾取设备例如是cmos(互补金属氧化物半导体)型图像传感器，并且使用包括拜耳阵列并且能够进行彩色拍摄的传感器。应当注意，例如，能够支持拍摄4k或更高的高分辨率图像的传感器可以用作图像拾取设备。由于可以以高分辨率获得手术部位的图像，因此外科医生5181可以更具体地掌握手术部位的状态并且平稳地进行手术。

另外，构成图像拾取单元5123的图像拾取设备被配置为包括一对图像拾取设备，用于分别获取对应于3d显示的右眼和左眼的图像信号。通过执行3d显示，外科医生5181可以更准确地掌握手术部位处的身体组织的深度。应当注意，在图像拾取单元5123是多片(multi-plate)类型的情况下，与各个图像拾取设备相对应地设置多个透镜单元5121。

另外，图像拾取单元5123不一定需要设置在相机头5119中。例如，可以刚好在透镜管5117内的物镜之后设置图像拾取单元5123。

驱动单元5125包括致动器并且在相机头控制单元5129的控制下使得透镜单元5121的变焦透镜和聚焦透镜沿光轴仅移动预定距离。因此，由图像拾取单元5123获得的捕获图像的放大率和焦点被适当地调节。

通信单元5127包括用于与ccu5153交换各种类型信息的通信装置。通信单元5127经由发送线缆5179将从图像拾取单元5123获得的图像信号作为raw数据发送到ccu5153。此时，有利的是通过光通信发送图像信号，从而以低等待时间显示手术部位的捕获图像。这是因为，由于外科医生5181在手术期间在使用捕获的图像观察患部的状态的同时执行手术，因此为了更确切和更安全的手术，需要尽可能接近实时地显示手术部位的运动图像。在执行光通信的情况下，在通信单元5127中设置将电信号转换为光信号的光电转换模块。在通过光电转换模块将图像信号转换为光信号之后，经由发送线缆5179将这些信号发送到ccu5153。

另外，通信单元5127从ccu5153接收用于控制相机头5119的驱动的控制信号。控制信号例如包括与图像拾取条件有关的信息，诸如达到指定捕获图像的帧速率的效果的信息、达到指定拍摄期间的曝光值的效果的信息和/或达到指定捕获图像的放大率和焦点的效果的信息之类。通信单元5127将接收到的控制信号提供给相机头控制单元5129。应当注意，也可以通过光通信发送来自ccu5153的控制信号。在这种情况下，在通信单元5127中设置将光信号转换为电信号的光电转换模块，并且在通过光电转换模块将控制信号转换为电信号之后，将所述信号发送到相机头控制单元5129。

应当注意，由ccu5153的控制单元5177基于所获取的图像信号自动设置上述图像拾取条件，诸如帧速率、曝光值、放大率和焦点之类。换句话说，在内窥镜5115中提供所谓的ae(自动曝光)功能、af(自动聚焦)功能和awb(自动白平衡)功能。

相机头控制单元5129基于经由通信单元5127接收的来自ccu5153的控制信号来控制相机头5119的驱动。例如，相机控制单元5129基于达到指定捕获图像的帧速率的效果的信息和/或达到指定拍摄期间的曝光的效果的信息来控制图像拾取单元5123的图像拾取设备的驱动。另外，例如，相机头控制单元5129基于达到指定捕获图像的放大率和焦点的效果的信息经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可包括存储用于识别透镜管5117或相机头5119的信息的功能。

应当注意，通过将包括透镜单元5121、图像拾取单元5123等的配置布置在具有高气密性和防水性的密封结构中，可以给予相机头5119对高压灭菌处理的抵抗力。

接下来，将描述ccu5153的功能配置。通信单元5173包括用于与相机头5119交换各种类型信息的通信装置。通信单元5173经由发送线缆5179接收从相机头5119发送的图像信号。此时，如上所述，可以通过光通信有利地发送图像信号。在这种情况下，根据光通信在通信单元5173中设置将光信号转换为电信号的光电转换模块。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。

另外，通信单元5173将用于控制相机头5119的驱动的控制信号发送到相机头5119。也可以通过光通信发送该控制信号。

图像处理单元5175对作为raw数据从相机头5119发送的图像信号执行各种类型的图像处理。图像处理例如包括各种类型的已知信号处理，诸如显影处理、高图像质量处理(频带强调处理，超分辨率处理，nr(降噪)处理，手部运动校正处理等)和/或放大处理(电子变焦处理)。另外，图像处理单元5175对用于执行ae、af和awb的图像信号执行检测处理。

图像处理单元5175包括诸如cpu和gpu之类的处理器。通过根据预定程序进行操作的处理器，可以执行上述图像处理和检测处理。应当注意，在图像处理单元5175包括多个gpu的情况下，图像处理单元5175适当地划分与图像信号有关的信息，并且并行地由这多个gpu执行图像处理。

控制单元5177执行与内窥镜5115对手术部位的拍摄和捕获图像的显示有关的各种类型的控制。例如，控制单元5177生成用于控制相机头5119的驱动的控制信号。此时，在用户输入图像拾取条件的情况下，控制单元5177基于用户输入生成控制信号。或者，在内窥镜5115中提供ae功能、af功能和awb功能的情况下，控制单元5177根据图像处理单元5175的检测处理的结果来适当地计算最佳的曝光值、焦距和白平衡，以生成控制信号。

另外，控制单元5177使显示装置5155基于经过图像处理单元5175的图像处理的图像信号来显示手术部位的图像。此时，控制单元5177使用各种图像识别技术识别出手术部位图像中的各种对象。例如，控制单元5177检测手术部位图像中包括的对象的边缘形状、颜色等，以便能够在识别诸如钳子之类的操作工具、特定身体部位、出血、使用能量治疗工具5135时的雾等。在显示装置5155上显示手术部位图像时，控制单元5177使用识别结果将各种类型的手术支持信息叠加在手术部位图像上。通过叠加手术支持信息并将其呈现给外科医生5181，进行更确切和更安全的手术成为可能。

连接相机头5119和ccu5153的发送线缆5179是支持电信号的通信的电信号线缆、支持光通信的光纤或其复合线缆。

这里，尽管在图中所示的示例中使用发送线缆5179有线地执行通信，但是相机头5119和ccu5153之间的通信可以是无线通信。在无线地执行这两者之间的通信的情况下，不需要在手术室中设置发送线缆5179，所以可以消除发送线缆5179抑制手术室中的医务人员的移动的情况。

到目前为止，已经描述了根据本公开的技术所适用于的手术室系统5100的示例。应当注意，尽管本文已经描述了手术室系统5100所应用于的医疗系统是内窥镜手术系统5113的情况作为示例，但是手术室系统5100的配置不限于上述示例。例如，手术室系统5100可以应用于诊断柔性内窥镜系统或显微外科手术系统而不是内窥镜手术系统5113。

在上述配置中，根据本公开的技术可以有利地应用于ccu5153的控制单元5177。具体而言，可以将手术部位图像中的聚焦区域设置为目标区域，计算该目标区域中的hdr视频信号的亮度的代表值，通过将hdr视频信号乘以基于亮度的该代表值确定的负增益值来压缩视频信号的动态范围，并进一步将动态范围限制为第二动态范围(sdr)从而生成sdr视频信号。通过以这种方式将根据本公开的技术应用于ccu5153的控制单元5177，当使用头戴式显示器检查手术部位图像或检查sdr监视器中的暗部的手术部位图像时，呈现特别适合于外科医生视力的图像成为可能。另外，在手术部位图像中，可能存在适合于聚焦区域的亮度。在这种情况下，可以使如图16所示的用于指定聚焦部位的图标5198(眼底图像被示出为示例)例如显示在操作屏幕5193上，以便使得能够通过选择该图标5198来设置目标区域。此时，可以通过使用针对每个目标区域预先确定的负增益值来生成适合于聚焦位置的sdr视频信号。

应注意，本技术可采用以下配置。

(1)一种视频信号处理装置，包括：

第一接口，被配置为获得在第一动态范围内成像的第一视频信号；

第二接口，被配置为获得用于指定所获得的第一视频信号的部分区域的信息；以及

算术处理电路，被配置为

计算所述部分区域的第一视频信号的亮度的代表值，

根据计算出的代表值压缩第一视频信号的动态范围，以及

生成第二视频信号，第二视频信号的动态范围被限制到比第一动态范围更窄的第二动态范围。

(2)根据以上(1)所述的视频信号处理装置，其中

算数处理电路被配置为通过将第一视频信号乘以取决于计算出的代表值的增益值来压缩第一视频信号的动态范围。

(3)根据以上(2)所述的视频信号处理装置，其中

算数处理电路被配置为将第一视频信号乘以负增益值，该负增益值的绝对值随着计算出的代表值更大而更大。

(4)根据以上(1)至(3)中任一项所述的视频信号处理装置，其中

算数处理电路被配置为通过在第一视频信号中的所述部分区域的中心部分和另一部分之间使亮度值的权重不同来计算亮度的代表值。

(5)根据以上(1)至(4)中任一项所述的视频信号处理装置，其中

算数处理电路被配置为对第二视频信号执行压缩高亮度部分的伽马处理，所述伽马处理增加第二视频信号的高亮度部分的显示范围。

(6)根据以上(1)至(5)中任一项所述的视频信号处理装置，还包括：

第三接口，被配置为将由算术处理电路生成的第二视频信号输出到包括显示器的装置，所述显示器能够显示第二动态范围内的视频。

(7)一种视频信号处理方法，包括由算数处理电路：

通过使用第一接口获得在第一动态范围内成像的第一视频信号；

通过使用第二接口获得用于指定所获得的第一视频信号的部分区域的信息；和

计算所述部分区域的第一视频信号的亮度的代表值，根据计算出的代表值来比较第一视频信号的动态范围，以及生成第二视频信号，第二视频信号的动态范围被限制到比第一动态范围更窄的第二动态范围。

(8)根据以上(7)所述的视频信号处理方法，其中

算术处理电路通过将第一视频信号乘以取决于计算出的代表值的增益值来压缩第一视频信号的动态范围。

(9)根据以上(8)所述的视频信号处理方法，其中

算术处理电路将第一视频信号乘以负增益值，该负增益值的绝对值随着计算出的代表值更大而更大。

(10)根据以上(7)至(9)中任一项所述的视频信号处理方法，其中

算术处理电路通过在第一视频信号中的所述部分区域的中心部分和另一部分之间使亮度值的权重不同来计算亮度的代表值。

(11)根据以上(7)至(10)中任一项所述的视频信号处理方法，其中

算术处理电路对第二视频信号执行压缩高亮度部分的伽马处理，所述伽马处理增加第二视频信号的高亮度部分的显示范围。

(12)根据以上(7)至(11)中任一项所述的视频信号处理方法，还包括：

通过第三接口将由算术处理电路生成的第二视频信号输出到包括显示器的装置，所述显示器能够显示第二动态范围内的视频。

(13)一种使计算机作为以下装置进行操作的程序：

视频信号处理装置，包括：

第一接口，被配置为获得在第一动态范围内成像的第一视频信号，

第二接口，被配置为获得用于指定所获得的第一视频信号的部分区域的信息，以及

算术处理电路，被配置为

计算所述部分区域的第一视频信号的亮度的代表值，

根据计算出的代表值来压缩第一视频信号的动态范围，和

生成第二视频信号，第二视频信号的动态范围被限制到比第一动态范围更窄的第二动态范围。

(14)根据以上(13)所述的程序，其中

算术处理电路通过将第一视频信号乘以取决于计算出的代表值的增益值来压缩第一视频信号的动态范围。

(15)根据以上(14)所述的程序，其中

算术处理电路将第一视频信号乘以负增益值，该负增益值的绝对值随着计算出的代表值更大而更大。

(16)根据以上(13)至(15)中任一项所述的程序，其中

算术处理电路通过在第一视频信号中的所述部分区域的中心部分和另一部分之间使亮度值的权重不同来计算亮度的代表值。

(17)根据以上(13)至(16)中任一项所述的程序，其中

算术处理电路对第二视频信号执行压缩高亮度部分的伽马处理，所述伽马处理增加第二视频信号的高亮度部分的显示范围。

(18)根据以上(13)至(17)中任一项所述的程序，其中

第三接口将由算术处理电路生成的第二视频信号输出到包括显示器的装置，所述显示器能够显示在第二动态范围内的视频。

(19)一种电子设备，包括：

电路，被配置为

获得具有第一动态范围的第一视频信号；

计算第一视频信号的部分区域的亮度的代表值；

基于计算出的代表值来修改第一视频信号的第一动态范围；和

基于所述修改来生成第二视频信号，第二视频信号具有不同于第一动态范围的第二动态范围。

(20)如(19)所述的电子设备，其中

所述电路被配置为通过基于计算出的代表值压缩第一视频信号的动态范围来修改第一视频信号的动态范围。

(21)如(19)至(20)中任一项所述的电子设备，其中

第二视频信号的第二动态范围窄于第一视频信号的第一动态范围。

(22)如(19)至(21)中任一项所述的电子设备，其中

所述电路被配置为获得用于指定第一视频信号的所述部分区域的信息。

(23)如(20)所述的电子设备，其中

所述电路被配置为通过将第一视频信号乘以与计算出的代表值相对应的增益值来压缩第一视频信号的动态范围。

(24)如(23)所述的电子设备，其中

所述电路被配置为将第一视频信号乘以负增益值。

(25)如(24)所述的电子设备，其中

当计算出的代表值是第二值时，所述负增益值的绝对值是第一值，并且

当计算出的代表值是大于第二值的第四值时，所述负增益的绝对值是大于第一值的第三值。

(26)如(19)至(25)中任一项所述的电子设备，其中

所述电路被配置为通过将第一权重分配给所述部分区域的中心部分处的亮度值并将不同于第一权重的第二权重分配给所述部分区域的另一部分处的亮度值来计算亮度的代表值。

(27)如(19)至(26)中任一项所述的电子设备，其中

所述电路被配置为执行伽马处理来压缩第二视频信号的一部分，以增加第二视频信号的该部分的显示范围。

(28)如(19)至(27)中任一项所述的电子设备，其中

所述电路被配置为将第二视频输出到包括显示器的装置。

(29)如(19)至(28)中任一项所述的电子设备，其中所述电路包括：

第一通信接口，被配置为获得第一视频信号；和

第二通信接口，被配置为获得用于指定所述部分区域的信息。

(30)如(29)所述的电子设备，其中

所述电路包括第三通信接口，第三通信接口被配置为将第二视频输出到包括显示器的装置。

(31)一种由电子设备执行的视频信号处理方法，所述方法包括：

获得具有第一动态范围的第一视频信号；

计算第一视频信号的部分区域的亮度的代表值；

基于计算出的代表值来修改第一视频信号的第一动态范围；和

基于所述修改来生成第二视频信号，第二视频信号具有不同于第一动态范围的第二动态范围。

(32)一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令当由电子设备执行时使该电子设备：

获得具有第一动态范围的第一视频信号；

计算第一视频信号的部分区域的亮度的代表值；

基于计算出的代表值来修改第一视频信号的第一动态范围；和

基于所述修改来生成第二视频信号，第二视频信号具有不同于第一动态范围的第二动态范围。

(33)一种电子设备，包括：

电路，被配置为

获得具有第一动态范围的视频信号；

计算指示所述视频信号的第一部分的亮度的第一值，其中所述视频信号的第一部分小于所述视频信号的整体；和

基于计算出的值来修改所述视频信号的第一部分的第一动态范围。

(34)如(33)所述的电子设备，其中，所述电路被配置为：

计算指示所述视频信号的第二部分的亮度的第二值，所述视频信号的第二部分小于所述视频信号的整体；和

基于计算出的值来修改所述视频信号的第二部分的第一动态范围。

(35)如(33)至(34)中任一项所述的电子设备，其中

所述电路被配置为通过将所述视频信号的第一部分的第一动态范围减小到比第一动态范围更窄的第二动态范围来修改第一动态范围。

(36)如(33)至(35)中任一项所述的电子设备，其中，

所述电路被配置为基于计算出的第一值来压缩所述视频信号的第一部分的第一动态范围。

(37)如(36)所述的电子设备，其中

所述电路被配置为通过将第一视频信号乘以与计算出的第一值相对应的增益值来压缩所述视频信号的第一部分的第一动态范围。

(38)如(33)至(37)中任一项所述的电子设备，其中

所述电路被配置为通过将第一视频信号乘以与计算出的第一值相对应的负增益值来减小所述视频信号的第一部分的第一动态范围。

(39)如(20)所述的电子设备，其中

当计算出的第一值是第三值时，所述负增益值的绝对值是第二值，并且

当计算出的第一值是大于第三值的第五值时，所述负增益的绝对值是大于第二值的第四值。

(40)如(33)至(39)中任一项所述的电子设备，其中

所述电路被配置为通过将第一权重分配给第一部分的中心区域处的亮度值并将不同于第一权重的第二权重分配给第一部分的另一区域处的亮度值来计算第一值。

(41)如(33)至(40)中任一项所述的电子设备，其中

所述电路被配置为对所述视频信号的第一部分执行伽马处理，以增加所述视频信号的第一部分的显示范围。

(42)如(33)至(41)中任一项所述的电子设备，其中

所述电路被配置为将所述视频信号的第一部分输出到包括显示器的装置。

(43)如(33)至(42)中任一项所述的电子设备，其中，所述电路被配置为：

计算所述视频信号的第一部分的亮度直方图；

确定所述视频信号的第一部分的多个区域之间的平均亮度的差是否超过阈值；和

基于所述确定来修改所述视频信号的第一部分的第一动态范围。

(44)一种由电子设备执行的视频处理方法，该视频处理方法包括：

获得具有第一动态范围的视频信号；

由所述电子设备的电路计算指示所述视频信号的第一部分的亮度的第一值，所述视频信号的第一部分小于所述视频信号的整体；和

由所述电路基于计算出的值来修改所述视频信号的第一部分的第一动态范围。

(45)一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令当由电子设备执行时使该电子设备：

获得具有第一动态范围的视频信号；

计算指示所述视频信号的第一部分的亮度的第一值，所述视频信号的第一部分小于所述视频信号的整体；和

基于计算出的值来修改所述视频信号的第一部分的第一动态范围。

本领域技术人员应当理解，根据设计要求和其他因素可以发生各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

标号列表

1视频信号处理系统

10成像单元

11相机

20vr信号处理单元

30编码/传送单元

40信息处理装置

41cpu

42存储器

42通信接口

43通信接口

44通信接口

45通信接口

50头戴式显示器(hmd)

60hmd控制器

70网络