发送设备、发送方法和内容分发系统与流程

文档序号:18005527发布日期:2019-06-25 23:19阅读:275来源:国知局
发送设备、发送方法和内容分发系统与流程

本技术涉及发送设备、发送方法和内容分发系统。



背景技术:

在传统上公开的系统中,诸如移动图像和语音的内容数据通过单个上传器(uploader)和单个通信线路被发送到接收侧(专利文献1)。

引用列表

专利文献

专利文献1:日本专利申请公开no.2011-66916



技术实现要素:

本发明要解决的问题

例如,在利用这样的系统执行直播的情况下,由于例如在通信线路处发生的错误或延迟,导致在接收侧发生数据发送的中断或发生数据回放的延迟,这降低了直播的实时特性。

本技术旨在解决上述问题,并提供能够无延迟地执行内容分发的发送设备、发送方法和内容分发系统。

问题的解决方案

为了解决上述问题,第一技术是一种发送设备,其被配置为对内容数据进行编码、将编码的内容数据划分为多片发送用数据,以及通过多个上传器和与多个上传器对应的多个网络将该多片发送用数据发送到被配置为执行内容分发的分发设备。

此外,第二技术是一种发送方法,其编码内容数据、将编码的内容数据划分为多片发送用数据,以及通过多个上传器和与多个上传器对应的多个网络将该多片发送用数据发送到被配置为执行内容分发的分发设备。

此外,第三技术是一种内容分发系统,包括:发送设备,被配置为对内容数据进行编码、将编码的内容数据划分为多片发送用数据,以及通过多个上传器和与多个上传器对应的多个网络将该多片发送用数据发送到分发设备;以及分发设备,被配置为接收从发送设备发送来的发送用数据并将发送用数据发送到终端设备以执行内容分发。

发明的效果

根据本技术,可以无延迟地执行内容分发。注意的是,本文描述的效果不必受到限制,并且可以应用本说明书中描述的任何效果。

附图说明

图1是图示根据本技术的实施例的内容分发系统的配置的框图。

图2是图示根据本技术的实施例的内容分发系统的配置的框图。

图3是图示发送设备的配置的框图。

图4是图示发送设备的配置的框图。

图5是图示分发设备和终端设备的配置的框图。

图6是图示示例性播放列表的图。

图7是图示从发送设备上传到分发设备的处理的流程图。

图8是图示更新播放列表的处理的流程图。

图9是图示从分发设备到终端设备的分发处理的序列图。

图10是图示通过单个网络上传和通过并行网络上传之间的比较结果的图。

图11是示意性地图示手术室系统的整体配置的图。

图12是图示集成操作面板的操作屏幕上的示例性显示的图。

图13是图示应用手术室系统的操作的示例性情况的图。

图14是图示图13中所示的相机头部和ccu的示例性功能配置的框图。

具体实施方式

下面将参考附图描述本技术的实施例。注意的是,将按以下次序给出描述。

<1.实施例>

[1-1.内容分发系统的配置]

[1-1-1.发送设备的配置]

[1-1-2.分发设备的配置]

[1-1-3.终端设备的配置]

[1-2.内容分发系统执行的处理]

[1-2-1.上传到分发设备]

[1-2-2.更新播放列表]

[1-2-3.向终端设备的第一示例性分发]

[1-2-4.向终端设备的第二示例性分发]

[1-2-5.向终端设备的第三示例性分发]

[1-2-6.过去内容的分发]

[1-3.并行上传的效果]

<2.示例性应用>

<3.修改>

<1.实施例>

[1-1.内容分发系统的配置]

图1是图示根据本技术的内容分发系统100的整体配置的示意图。内容分发系统100包括发送设备10、多个路由器2a、2b和2c、被配置为分发内容的分发设备20,以及作为由内容观看者(下文中简称为观看者)使用的内容回放终端的终端设备30。

在图1中,分发设备20通过多个路由器(在本实施例中,三个路由器2a、2b和2c)和多个网络nw(在本实施例中,三个网络nw1、nw2和nw3))与发送设备10连接,以在它们之间进行通信。此外,分发设备20通过网络nw4与终端设备30连接。在本实施例中,内容分发系统100通过http实况流传输(hls)执行内容实时实况分发。注意的是,路由器的数量和网络的数量仅仅是示例性的,并且不限于三个。虽然稍后将详细描述,但是数量可以是等于或大于2的任何数量。

hls是用于将实况视频作为内容进行流传输分发的协议,并且是用于通过使用超文本传输协议(http)从正常web服务器发送音频和视频并由回放终端恢复音频和视频的功能。hls可用于实况分发(广播)和记录内容(视频点播)并支持具有不同比特率的多个备选流,并且客户端软件可以根据网络带宽变化智能地切换流。

发送设备10与外部设备(在本实施例中,视频相机1)连接。发送设备10通过路由器2a、2b和2c以及网络nw1、nw2和nw3将包括由视频相机1捕获的实况视频、实况语音等的内容数据发送(上传)到分发设备20。注意的是,视频相机1的数量不限于一个,而可以是两个或更多个。

终端设备30是具有通信功能的计算机,并且是能够接收(下载)和回放从分发设备20分发的内容的终端。终端设备30的示例包括诸如智能电话或蜂窝电话的便携式通信终端、平板终端、便携式游戏机、膝上型个人计算机、台式个人计算机、可穿戴终端等。终端设备30可以是能够通过网络nw4与分发设备20进行通信并恢复内容的任何终端。在本实施例中,分发设备20可以与多个终端设备30连接,每个终端设备30能够通过浏览器基本上同时观看相同的内容。注意的是,分发设备20和终端设备30之间的通信通过使用典型的通信协议来执行。

分发设备20通过路由器2a、2b和2c以及网络nw1、nw2和nw3接收并存储从发送设备10上传的内容数据。然后,分发设备20从通过网络nw4连接的终端设备30接收内容分发请求,并将相应的内容分发给终端设备30。分发设备20可以通过使用云系统和云计算服务来实现。

注意的是,网络nw1、nw2和nw3每个可以是任何有线或无线通信网络,诸如无线局域网(lan)、广域网(wan)或wifi(无线保真),例如,其允许通过使用互联网协议技术相互连接。

路由器2a、2b和2c是通信器械,其被配置为通过使用传输控制协议/网际协议(tcp/ip)作为通信协议通过网络在发送设备10和分发设备20之间执行数据中继。路由器2a、2b和2c每个可以是能够通过特定网络中继发送设备10和分发设备20之间的数据发送和接收的任何网络接口,诸如移动路由器、无线lan路由器、宽带路由器或长期演进(lte)路由器。

在本实施例中,发送设备10和分发设备20通过多个路由器2a、2b和2c以及与多个相应的路由器2a、2b和2c对应的网络nw1、nw2和nw3彼此连接。通过捆绑多个网络来实现虚拟宽带宽带线。由于内容数据是通过多个路由器2a、2b和2c以及多个网络nw1、nw2和nw3,而不是通过单个路由器和单个网络上传的,因此内容数据上传不会延迟也不会在任何网络变得不稳定或断开时断开。因此,本技术对于实时实况分发特别有用。

此外,在本实施例中,多个网络nw1、nw2和nw3是由彼此不同的通信运营商(通信业务运营商)提供的网络。因此,当由任一通信运营商提供的网络发生诸如通信速度降低或网络中断的异常时,可以通过由没有发生异常的另一个通信运营商提供的网络继续内容上传。因此,可以防止实况分发不连续和实况分发的实时特性的劣化。

网络nw4是由使用终端设备30的观看者与其具有合同的通信运营商提供的网络,并且可以采用有线通信或无线通信的任何通信方案。

虽然稍后将详细描述,但是在本实施例中,从发送设备10上传到分发设备20的内容数据是在以如图1所示的被称为段的单元中或者在如图2所示的被称为子段的单元中执行的。段和子段对应于权利要求中的发送用数据。

[1-1-1.发送设备的配置]

下面参考图3和4描述发送设备10的配置。发送设备10包括编码器11、复用器12、第一分段器13、第二分段器14、流队列15、上传器16a、16b和16c以及控制单元17。注意的是,图3至5中连接块的每条实线图示了诸如段和子段之类的内容数据的流,并且每条虚线是图示控制信号等的流的控制线。

编码器11将由外部连接的视频相机1捕获的视频数据编码为h.264、divx等的视频流。此外,编码器11将由附接到视频相机1或与视频相机1分离的麦克风记录的语音数据编码为高级音频编码(aac)、mpeg-1音频层-3(mp3)等的音频流。

复用器12将经编码的视频流和音频流连接成mpeg2传输流(下文中称为ts)。

第一分段器13将ts分成预定长度(在本实施例中,一秒)的多个文件。通过第一分段器13划分ts而生成的每个文件被称为段。

每个段以关键帧开始,并且是具有扩展符“.ts”的可以自身再现为移动图像内容的媒体文件。段的首部包括编码定时。编码定时是指示编码器11执行编码的时间的时间信息。分发设备20参考每个编码定时,以按编码定时指示的最早时间的次序分发段。此外,段号被添加到段中。段号是附加到通过划分ts生成的每个段的值,用于识别段并指示段的次序。在段[n]的格式中,段号以最早编码定时的次序提供并逐一递增以将第一段表示为段[1]并且将后面的段表示为段[2]、段[3]、...。段号的次序与段的播放次序相匹配。

第二分段器14将段分成较小的大小。由第二分段器14生成的划分文件被称为子段。每个子段是不能独自作为移动图像内容回放的文件。由第二分段器14生成的每个文件根据需要存储在流队列15中。

每个子段的首部包括编码定时、段号和子段号。包括在每个子段的首部中的编码定时是包括子段的段的编码定时。因此,包括在一个段中的多个子段的编码定时都是相同的。

每个子段的子段号包括指示通过划分段生成的子段的划分数量的值,以及指示子段位于段中的位置的次序的值。例如,在其中两个段(段[1]和段[2])每个被分成三个子段的情况下,如图3中的流队列15中存储的子段所示,段[1]-1/3、段[1]-2/3、段[1]-3/3、段[2]-1/3、段[2]-2/3和段[2]-3/3提供有作为分母的指示划分的数量的值和作为分子的指示子段的次序的数字。例如,“段[1]-2/3”表示被划分为三个子段的段[1]的第二个子段。分发设备20参考接收到的子段的子段号,以检查段被划分成的子段的数量,并确定是否包括在段中的所有子段都被接收到。

第二分段器14可以从上传器16a、16b和16c接收网络nw1、nw2和nw3的通信速度信息的反馈,并且以作为多个网络nw1、nw2和nw3中最低的网络通信速度作为参考来执行段划分。当作为多个网络nw1、nw2和nw3中的最低通信速度的网络通信速度更低时,执行划分来增加子段的数量,或者当该通信速度更高时,减少子段的数量。

第二分段器14可以根据网络nw1、nw2和nw3中的每一个的频带(通信速度)的信息来执行段划分。第二分段器14获取例如如下所述的频带信息。预定段通过例如网络nw1从发送设备10发送到分发设备20。分发设备20根据发送的段中包括的编码定时与接收到段时的定时之间的差异来确定频带信息,并将该信息反馈回发送设备10。类似地,分发设备20还将与网络nw2和nw3相关的频带信息反馈回发送设备10。发送设备10根据如此反馈回的频带信息利用最拥挤(具有低线速度)的频带作为参考确定段的划分的数量。

注意的是,可以根据网络nw1、nw2和nw3的拥挤状态来更新频带信息。因此,可以再次根据更新后的频带信息确定段的划分的数量。此外,发送设备10可以具有根据频带信息列出段的划分的数量的表,并且可以参考该表确定根据频带信息的段的划分的数量。此外,可以预先将测试数据从发送设备10发送到分发设备20,并且可以从分发设备20向发送设备10发送段发送之前的频带信息,从而提前执行校准处理。

注意的是,在其中网络的速度足以以段为单位进行发送的情况下,可以将段直接上传到分发设备20而不进行划分。在这种情况下,如图4所示,该段被直接存储在流队列15中,并提供有段[n]-1/1的段号。段[n]-1/1指示第n段被划分成一个子段(未划分)。可以在内容分发期间实时地执行根据网络通信速度的段划分的数量的这种改变。这种实时改变可以解决网络状态的变化。注意的是,以下描述了其中段在子段中从发送设备10被上传到分发设备20的示例。

此外,第二分段器14可以根据例如内容的图像质量和声音质量来改变划分的数量。例如,在其中通过编码器11将数据编码为具有高图像质量的移动图像的情况下,数据具有大的大小,并且因此划分的数量增加。例如,在其中数据被分发为4k等的高图像质量内容的情况下,划分的数量增加。每个子段的大小随着划分的数量的增加而减小,因此,子段可以通过由通信运营商提供的网络上传。

流队列15顺序地存储通过划分段生成的子段(或者在其中段未被划分成子段的情况下存储段)。

上传器16a、16b和16c通过路由器2a、2b和2c以及网络nw1、nw2和nw3顺序地将存储在流队列15中的子段上传到分发设备20。在本技术中,由于发送设备10包括三个上传器16a、16b和16c,因此上传器的数量等于对应路由器的数量。注意的是,上传器的数量和路由器的数量不限于三个。数量可以大于或小于三,只要数量是复数即可。

上传器16a、16b和16c持续监视路由器2a、2b和2c与网络nw1、nw2和nw3之间的通信速度,并且可以将通信速度信息作为反馈提供给第二分段器14。第二分段器14优选地接收来自上传器16a、16b和16c的反馈,并实时改变子段划分的数量。因此,例如,当在实况分发期间发生网络nw1、nw2和nw3的通信速度的降低时,可以通过增加子段划分的数量来减少每个子段的大小来防止发生子段传输的延迟。注意的是,第二分段器14可以通过将段划分为独立于网络nw1、nw2和nw3的通信速度的预定大小来生成子分段。

控制单元17包括中央处理单元(cpu)、随机存取存储器(ram)、只读存储器(rom)等。rom存储例如由cpu读取和操作的计算机程序。ram用作cpu的工作存储器。cpu通过根据存储在rom中的计算机程序执行各种处理并执行命令发布来控制整个发送设备10及其每个组件。

注意的是,包括在发送设备10中的每个组件可以通过软件来实现,或者通过组合设备、电路等作为具有软件功能的专用硬件来实现。

[1-1-2.分发设备的配置]

下面参考图5描述分发设备20的配置。分发设备20包括接收器21a、21b和21c、子段连接单元22、分发服务器23和控制单元24。

接收器21a、21b和21c各自通过路由器2a、2b和2c以及网络nw1、nw2和nw3接收从发送设备10上传的子段或段。在本技术中,由于分发设备20包括多个接收器21a、21b和21c,并且接收器的数量等于对应的上传器16a、16b和16c的数量。注意的是,虽然图1中上传器的数量、路由器的数量和接收器的数量是三个,但是接收器的数量可以是等于上传器的数量和路由器的数量的任何数量。

子段连接单元22通过连接由接收器21a、21b和21c接收到的子段来再现段,并将该段提供给分发服务器23。当已经接收到包括在单个段中的多个子段中的一个时,子段连接单元22基于子段号检查段被划分成的子段的数量和子段的次序。因此,子段连接单元22等待包括在段中的所有子段的到达,并且在检查所有子段已到达之后执行连接子段的处理。例如,在其中段[1]的单个段被划分为三个子段并且段[1]-3/3首先到达子段连接单元22的情况下,子段连接单元22在剩余两个子段—段[1]-1/3和段[1]-2/3到达之后执行连接处理。

在其中接收到包括在先前段中的子段之后的预定时间内,包括在段中的子段没有到达的情况下,子段连接单元22不执行包括未到达子段的段的连接处理。没有被提供连接处理的段等待直到所有子段到达,然后在所有子段到达之后被提供连接处理并被存储在分发服务器23中。换句话说,在所有子段到达之前,其子段中的任何一个子段未到达的段不存储在分发服务器23中。未存储在分发服务器23中的段不作为终端设备30上的内容回放。这将在后面详细描述。

注意的是,在其中从发送设备10不上传子段而是上传段的情况下,不执行子段连接处理,而是将段直接存储在分发服务器23中。

在段存储时,分发服务器23更新播放列表。然后,当从终端设备30接收到发送播放列表的请求时,分发服务器23根据发送请求将播放列表回复给终端设备30。播放列表包括指示段的存储位置的统一资源定位符(url)。

一旦段被存储在分发服务器23中,分发服务器23就参考所存储的段的段号,并按照编码定时的次序将指示所存储的段的位置的url写入到播放列表。因此,播放列表不断地按编码定时的次序(换句话说,回放的次序)包括段的url。

图6图示了由分发服务器23更新的示例性播放列表。播放列表是在hls中具有扩展符“.m3u8”的索引文件,并且在该示例中,按照编码定时的次序列出了段[1]、段[2]和段[3]的url。图6中的播放列表用于其中整个流被划分为一秒的三个段的情况。注意的是,“#extm3u”是首部,并且“#extinf:1”是指示段的时间长度是一秒的信息。

如上所述,在其中段中包括的子段中的任何一个未到达分发设备20的情况下,包括未到达子段的段不存储在分发服务器23中,因此该段的url不写入到播放列表。注意的是,发送设备10检测到传输错误,以对未到达分发设备20的子段执行tcp重传控制处理,最后,所有子段被上传到分发设备20。

控制单元24包括cpu、ram、rom等。cpu通过根据存储在rom中的计算机程序执行各种处理并执行命令发布来控制整个分发设备20及其每个组件。

[1-1-3.终端设备的配置]

下面参考图5描述终端设备30的配置。终端设备30包括通信单元31、解码器32、显示单元33、语音输出单元34和控制单元35。

通信单元31是通信模块,其被配置为通过httpget请求将播放列表发送请求传送到分发设备20,并且接收从分发设备20发送的播放列表。此外,通信单元31通过访问在接收到的播放列表中写入的url接收从分发服务器23下载的段。

解码器32对编码的段执行解码处理以生成可以在浏览器上回放的视频数据。

显示单元33是通过例如液晶显示器(lcd)、等离子体显示板(pdp)、有机电致发光(el)板等实现的显示设备。显示单元33显示例如包括在从发送设备10发送的内容中的视频,以及终端设备30的用户界面和菜单屏幕。

语音输出单元34是例如与耳机连接的扬声器或耳机插孔,其被配置为输出包括在从发送设备10发送的内容中的语音。

控制单元35包括cpu、ram和rom。cpu通过根据存储在rom中的计算机程序执行各种处理并执行命令发布来控制整个终端设备30及其每个组件。此外,cpu还执行例如用于在显示单元33处回放内容的移动图像的浏览器的操作处理。

注意的是,包括在终端设备30中的通信单元31和解码器32可以通过软件来实现,或者通过组合设备、电路等作为具有软件功能的专用硬件来实现。

[1-2.内容分发系统执行的处理]

[1-2-1.上传到分发设备]

下面参考图7描述内容分发系统100的内容分发。首先将描述从发送设备10到分发设备20的上传。

首先,在步骤s11处,由视频相机1捕获的包括实况视频、实况语音等的内容数据被编码器11提供编码处理。随后在步骤s12处,内容数据被第一分段器13划分成段。

随后在步骤s13处,控制单元17确定是否可以将内容数据的每个段发送到分发设备20。该确定通过将段的大小与作为多个网络nw1、nw2和nw3之间的最低通信速度的网络通信速度或预定阈值进行比较来执行。在其中段的大小小于网络nw1、nw2和nw3的最低通信速度或预定阈值的情况下,处理进行到步骤s15(步骤s13处的是),并且将段存储在流队列15而不进行划分。

同时,在段的大小大于网络nw1、nw2和nw3的最低通信速度或预定阈值的情况下,处理进行到步骤s14(步骤s13处的否)。然后,在步骤s14处,由第二分段器14将段划分成子段,并在步骤s15处将其存储在流队列15中。注意的是,以下将描述其中子段被存储在流队列15中的示例。

随后在步骤s16处,存储在流队列15中的子段通过路由器2a、2b和2c以及网络nw1、nw2和nw3按照编码定时的次序从上传器16a、16b和16c顺序地上传到分发设备20。然后,在步骤s17处,检查内容分发是否已经结束,并且继续处理直到分发结束(步骤s16处的否)。

当子段从上传器16a、16b和16c上传到分发设备20时,通过使用多个(在本实施例中,三个)路由器2a、2b和2c和网络nw1、nw2和nw3并行地发送子段。由于发送以这种方式通过多个网络而不是通过单个网络并行执行,因此当任何网络变得不稳定或断开时,内容发送既不会延迟也不会断开。

当通过多个网络发送子段时,可以优先通过多个网络中具有最高通信速度的网络发送子段。因此,子段可以更快地发送到分发设备20。

此外,在子段发送期间断开通信的网络可以不再用于后续发送。因此,可以更稳定地执行子段发送。

[1-2-2.更新播放列表]

下面参考图8描述在分发设备20处执行的播放列表更新处理。首先在步骤s21处,在其中新段被存储在分发服务器23中的情况下,分发服务器23通过在步骤s22处将指示所存储的段的存储位置的url写入到播放列表来更新播放列表(步骤s21处的“是”)。

预先写入到播放列表的段url的数量被设置到分发设备20。例如,“当第一段是段[n]时,直到段[n+2]的段的url被写入(在这种情况下,总共写入三个url)”。因此,在其中播放列表中的第一段是段[1]并且段[1]、段[2]和段[3]的三个段存储在分发服务器23中的情况下,段[1]、段[2]和段[3]的url被写入到播放列表并且被发送到终端设备30。此外,在其中播放列表的第一段是段[1],并且段[1]和段[3]被存储在分发服务器23中而段[2]没有被存储的情况下,段[1]和段[3]的url被写入到播放列表并且被发送到终端设备30。

此外,在其中直到段[3]的段的url被写入到播放列表的情况下,段[4]、段[5]和段[6]的url被写入到下一个播放列表,其中第一段作为段[4]。

注意的是,预先设定的写入到播放列表的url的数量不限于三个,而是可以大于或小于三个。

然后,在步骤s23处确定内容分发是否已经结束并且所有段都被存储在分发服务器23中。在其中内容分发结束并且所有段都被存储在分发服务器23中的情况下,处理结束(在步骤s23处的是)。同时,在其中内容分发尚未结束的情况下,处理返回到步骤s21,并且每次在分发服务器23中存储新段时段url被写入到播放列表(步骤s23处的否)。

[1-2-3.向终端设备的第一示例性分发]

下面参考图9描述其中分发设备20将内容分发到终端设备30的处理。首先描述其中当播放列表发送请求从终端设备30到达时,根据发送请求其url将要写入到要发送的播放列表的所有段被存储在分发服务器23中的情况。

首先在步骤s31处,终端设备30向分发设备20请求播放列表发送。在接收到发送请求之后,分发设备20在步骤s32处将播放列表发送到终端设备30。例如,在其中三个段的url被设置为写入到播放列表的情况下,分发设备20在三个段被存储在分发服务器23中并且这三个段的url被写入到播放列表之后将播放列表发送到终端设备30。以下描述假定设置写入三个段的url。

随后在步骤s33处,终端设备30访问写入到播放列表的三个url。然后,在步骤s34处,终端设备30从分发设备20下载三个段。然后,在步骤s35处,终端设备30对三个段执行诸如解码处理的预定处理,并且在显示单元33上显示该段作为实况视频,并从语音输出单元34输出语音。

重复步骤s31至35处的处理,直到实况分发结束。

[1-2-4.向终端设备的第二示例性分发]

以下描述了其中存在未到达分发服务器23的段的情况。描述了其中三个段的url被设置为写入到播放列表,并且当从终端设备30到达播放列表发送请求时,段[1]和段[3]被存储在分发服务器23中但是段[2]尚未被存储在其中的示例。

首先在步骤s31处,终端设备30向分发设备20请求播放列表发送。在接收到发送请求之后,分发设备20在步骤s32处将播放列表发送到终端设备30。此时,由于段[1]和段[3]被存储在分发服务器23中但是段[2]尚未被存储在其中,因此段[2]的url不被写入到播放列表中。因此,分发设备20向终端设备30发送其中写有段[1]和段[3]的url的播放列表。因此,从实时实况分发中排除了段[2]。

随后在步骤s33处,终端设备30访问写入到播放列表的两个url。然后,在步骤s34处,终端设备30下载段[1]和段[3]的两个段。然后,在步骤s35处,终端设备30对段[1]和段[3]执行诸如解码处理的预定处理,并在显示单元33上显示该段作为实况视频,并从语音输出单元34输出语音。

在这种情况下,由于段[2]没有被存储在分发服务器23中,因此在段[1]的回放之后发生段[2]的长度的帧丢弃(framedropping),并且之后段[3]被重放。换句话说,在其中没有存储段[2]的情况下,段[2]和后续段的分发没有停止,但是段[3]的下一段被回放,其中段[2]作为帧丢弃。在其中段[2]的长度是一秒的情况下,发生一秒钟的帧丢弃。因此,当段[2]尚未到达分发设备20时,可以防止由于在分发设备20处到达段[2]之前的等待时间的延迟而导致的实时特性的劣化,从而维持实时实况分发。如上所述,由于段是可以作为移动图像内容自身回放的文件,因此ts中包括的一些丢失的段可以被视为帧丢弃,并且ts作为整体可以被回放。

注意的是,帧丢弃是其中发送用数据的一部分没有被回放,使得当移动图像被回放时语音和图像在短时间内变得不连续的现象。当发生帧丢弃时,移动图像在帧丢弃的时间内变得不平滑。

随后,直到段[1]的回放,段[2]的长度的帧丢弃和段[3]的回放结束,终端设备30请求发送向其写入段[4]和后续段的下三个段的url的播放列表。然后,终端设备30访问写入到播放列表的url、下载段、对段执行预定处理、在显示单元33上将段显示为实况视频,并从语音输出单元34输出语音。重复该处理直到实况分发结束。

[1-2-5.向终端设备的第三示例性分发]

下面描述其中三个段的url被设置为写入到播放列表,并且当播放列表发送请求从终端设备30到达时,段[1]被存储在分发服务器23中但是段[2]和段[3]没有被存储在其中的另一个示例。

首先在步骤s31处,终端设备30向分发设备20请求播放列表发送。在接收到发送请求之后,分发设备20在步骤s32处将播放列表发送到终端设备30。此时,由于段[1]被存储在分发服务器23中但是段[2]和段[3]没有被存储在其中,因此分发设备20向终端设备30发送其中写有仅段[1]的url的播放列表。因此,从实时实况分发中排除了段[2]和段[3]。

随后,终端设备30在步骤s33处访问写入到播放列表的该一个url,并且在步骤s34处下载段[1]的一个段。然后,终端设备30对段[1]执行诸如解码处理的预定处理,并在显示单元33上显示该段作为实况视频,并从语音输出单元34输出语音。

在这种情况下,由于段[2]和段[3]没有被存储在分发服务器23中,因此在段[1]的回放之后发生段[2]的长度的帧丢弃,并且随后发生段[3]的长度的帧丢弃。在其中段[2]和段[3]的长度是一秒的情况下,总共发生两秒的帧丢弃。因此,当段[2]和段[3]没有被存储在分发服务器23中时,可以防止由于在段[2]和段[3]被存储在分发服务器23中之前的等待时间的延迟而导致的实时特性的劣化,从而维持实时实况分发。

随后在步骤s31处再次,终端设备30请求发送其中写入下三个段的url的播放列表,直到段[1]的回放结束。然后,在步骤s32处,分发设备20向终端设备30发送其中写有三个段的url的播放列表。在这种情况下,在其中段[2]尚未到达分发设备20但是段[3]和后续段已到达的情况下,发送其中写有段[3]、段[4]和段5的url的播放列表。

然后,终端设备30在步骤s33处访问写入到播放列表的三个url,并在步骤s34处下载这些段。然后,在步骤s35处,终端设备30对段执行预定处理,并且从显示单元33和语音输出单元34输出段作为实况视频。重复步骤s31至34处的处理,直到实况分发结束。

同时,在其中当播放列表发送请求从分发设备20到达时要写入到播放列表的段[2]、段[3]和段[4]的三个段还没有被存储在分发服务器23中的情况下,可以不执行播放列表的发送,直到段[1]和后续段被存储在分发服务器23中。

[1-2-6.过去内容的分发]

以下描述了其中在实况分发结束之后将已经实况分发的过去内容作为视频点播(vod)、记录广播等分发的情况。在实况分发期间未存储在分发服务器23中的任何段在实况分发期间或在实况分发结束之后到达分发服务器23时被存储在其中。然后,当该段被存储在分发服务器23中时,其url被写入到播放列表,从而更新播放列表。

然后,当观看者在实况分发结束之后在终端设备30上执行预定操作以观看过去的内容时,终端设备30向分发设备20请求播放列表发送。在接收到发送请求之后,分发设备20向终端设备30发送播放列表。此时,由于包括在实况分发期间未存储在分发服务器23中的任何段的所有段都被存储在分发服务器23中,因此分发设备20向终端设备发送其中写有所有段的url的播放列表。因此,终端设备30可以访问所有段的url并回放所有段。

此外,由于在过去的内容分发的情况下ts中包括的所有段都已经被存储在分发服务器23中,因此观看者可以通过使用播放列表来选择回放开始段。由于ts中包括的所有段的url都被写入到从分发服务器23发送的播放列表中,因此观看者可以通过例如终端设备30的输入单元选择可选的段作为回放开始段。然后,终端设备30请求分发由观看者选择的段,并下载所选择的回放开始段和任何后续段。然后,终端设备30对段执行诸如解码处理的预定处理,并在显示单元33上将段显示为实况视频,并从语音输出单元34输出语音。

[1-3.并行上传的效果]

图10是图示在其中通过单个网络发送数据的情况与其中通过四个网络并行发送相同数据的情况之间进行比较的实验结果的图。实线图示并行发送的结果,虚线图示单个网络发送的结果。纵轴表示延迟时间(秒)。图示了随着垂直轴上的值增加,通信发生延迟。

比较实验的条件如下。

移动图像比特率:10mbps(每秒比特)

段长(时间):一秒

上传时间:五分钟

路由器:lte路由器

上传通信速度(每个lte路由器):18.73mbps

时隙:工作日下午四点左右

地点:东京

如图10中的曲线图所示,当如箭头所示在单个网络发送期间发生由于分组丢失引起的重传时,由于重传导致的延迟影响随后的发送,并且延迟在随后的通信中累积。

在通过四个网络并行发送的情况下,任何本地延迟都不会累积也不会影响后续传输。因此,可以在维持实时特性的同时执行并行发送而不会在数据发送中有延迟累积。

如上所述执行根据本实施例的内容分发。本技术对于要求实时特性的诸如体育直播、音乐直播等内容的分发特别有用。此外,诸如4k和虚拟现实(vr)之类的内容需要比正常视频内容更大量的数据,因此本技术对于这种方案的内容分发也是有用的。

此外,本技术还适用于在室外移动时分发4k实况移动图像,以及使用头戴式显示器(hmd)等分发vr实况移动图像。4k移动图像和vr实况移动图像的内容的大小很大,因此认为本技术对于这些内容的分发特别有用。

另外,本技术适用于通过使用广角运动相机移动时的实况分发。运动相机是主要针对在户外运动期间捕获场景的图像优化的小型数字视频相机1,并且可以例如通过使用各种配件附接到人体、自行车、车辆、动物、冲浪板等。

此外,由于通过多个运营商的多个网络执行并行上传,因此可以提高对移动期间的移交(handover)的耐受性。移交是在移动期间切换诸如基站的移动站,这些基站被配置为执行与智能电话和蜂窝电话的通信。

<2.示例性应用>

根据本公开的技术适用于各种产品。例如,根据本公开的技术可以应用于手术室系统。在对手术室系统的应用中,在手术室中获取的图像和视频可以通过网络被上传到分发设备20,并且被分发到诸如终端设备30的外部设备。

图11是示意性地图示可应用根据本公开的技术的手术室系统5100的整体配置的图。如图11所示,手术室系统5100包括安装在手术室中并通过视听控制器(av控制器)5107和手术室控制设备5109以协作方式相互连接的设备。

可以在手术室中安装各种设备。图11示例性地图示了用于内窥镜操作的各种设备5101、设置在手术室的天花板上并且被配置为捕获操作者的手的图像的天花板相机5187、设置在手术室的天花板上并且被配置为捕获整个手术室的情况的图像的手术室相机5189、多个显示设备5103a至5103d、记录器5105、病床5183和照明设备5191。

在这些设备中,设备5101属于如后描述的内窥镜操作系统5113,并且包括内窥镜、被配置为显示由内窥镜捕获的图像的显示设备等。属于内窥镜操作系统5113的每个设备也被称为医疗器械。同时,显示设备5103a至5103d、记录器5105、病床5183和照明设备5191是与内窥镜操作系统5113分开提供给例如手术室的设备。不属于内窥镜操作系统5113的这些设备也被称为非医疗器械。视听控制器5107和/或手术室控制设备5109协同控制这些医疗器械和非医疗器械的操作。

视听控制器5107控制与医疗器械和非医疗器械处的图像显示相关的整体处理。具体而言,在手术室系统5100中包括的设备中,设备5101、天花板相机5187和手术室相机5189可以是具有发射要在手术中显示的信息(下文中也称为显示信息)的功能的设备(下文中也称为发射源设备)。此外,显示设备5103a至5103d可以是输出显示信息的设备(下文中也称为输出目的地设备)。此外,记录器5105可以是与发射源设备和输出目的地设备对应的设备。视听控制器5107控制发射源设备和输出目的地设备的操作,以从发射源设备获取显示信息并将显示信息发送到输出目的地设备以进行显示或记录。注意的是,显示信息包括在手术中捕获的各种图像、与手术相关的各种类型的信息(例如,患者身体信息、过去的检查结果、关于手术方法的信息等)等。

具体而言,设备5101可以将关于由内窥镜捕获的关于患者体腔中的手术部位的图像的信息作为显示信息发送到视听控制器5107。此外,天花板相机5187可以发送关于由天花板相机5187捕获的操作者的手的图像的信息作为显示信息。此外,手术室相机5189可以发送关于由手术室相机5189捕获的整个手术室的情况的图像的信息作为显示信息。注意的是,在其中手术室系统5100包括具有图像捕获功能的任何其它设备的情况下,视听控制器5107可以获取关于由其它设备捕获的图像的信息作为来自其它设备的显示信息。

此外,例如,关于过去捕获的这些图像的信息由视听控制器5107记录在记录器5105中。视听控制器5107可以从记录器5105中获取关于过去捕获的图像的这种信息作为显示信息。注意的是,可以预先在记录器5105中记录与手术相关的各种信息。

视听控制器5107在作为输出目的地设备的显示设备5103a至5103d中的至少一个上显示所获取的显示信息(换句话说,在手术中捕获的图像,以及与手术相关的各种信息)。在所示的示例中,显示设备5103a是悬挂在手术室的天花板上的显示设备,显示设备5103b被安装在手术室的墙壁表面上,显示设备5103c被安装在手术室的桌子上,并且显示设备5103d是具有显示功能的移动设备(例如,平板个人计算机(pc))。

此外,虽然图11中未示出,但是手术室系统5100可以包括手术室外部的设备。手术室外部的设备的示例包括与医院内部和外部建立的网络连接的服务器、由医务人员使用的pc、安装在医院的会议室中的投影仪等。在其中这样的外部设备在医院外部的情况下,视听控制器5107可以通过电视会议系统等在另一个医院处的显示设备上显示显示信息以进行远程医疗。

手术室控制设备5109控制除了与非医疗器械处的图像显示相关的处理之外的整体处理。例如,手术室控制设备5109控制病床5183、天花板相机5187、手术室相机5189和照明设备5191的驱动。

手术室系统5100设置有集成操作面板5111,并且用户可以通过集成操作面板5111向视听控制器5107提供图像显示指令,并且向手术室控制设备5109提供关于非医疗器械的操作的指令。集成操作面板5111通过显示设备的显示表面上的触摸面板来实现。

图12是示出集成操作面板5111的操作屏幕上的示例性显示的图。图12示例性地图示了对应于其中手术室系统5100设置有两个显示设备作为输出目的地设备的情况的操作屏幕。如图12所示,操作屏幕5193包括发送源选择区域5195、预览区域5197和控制区域5201。

发送源选择区域5195与指示由发送源设备保持的显示信息的缩略图屏幕相关联地显示包括在手术室系统5100中的发送源设备。用户可以从发送源选择区域5195中显示的发送源设备中选择要在显示设备上显示的显示信息。

预览区域5197显示在作为输出目的地设备的两个显示设备(监视器1和监视器2)上显示的屏幕的预览。在所示的示例中,在每个显示设备的画中画(pinp)中显示四个图像。这四个图像对应于从选自发送源选择区域5195的发送源设备发送的显示信息。四个图像中的一个以相对大的大小显示为主图像,其余三个图像以相对小的大小显示为子图像。用户可以通过适当地选择其中显示四个图像各自的区域来将主图像与子图像互换。此外,状态显示区域5199设置在其中显示四个图像的区域的下方,并且与手术相关的状态(例如,手术的流逝时间、患者的身体信息等)可以适当地显示在该区域中。

控制区域5201包括:发送源操作区域5203,其中显示用于对发射源设备执行操作的图形用户界面(gui)组件;以及输出目的地操作区域5205,其中显示用于对输出目的地设备执行操作的gui组件。在所示的示例中,发送源操作区域5203包括用于对具有图像捕获功能的发射源设备的相机执行各种操作(平移、倾斜和缩放)的gui组件。用户可以通过适当地选择这些gui组件来操作发射源设备的相机的操作。注意的是,虽然未示出,但是在其中在发送源选择区域5195中选择的发射源设备是记录器的情况下(换句话说,在其中在预览区域5197中显示过去记录在记录器中的图像的情况下),发送源操作区域5203可以包括用于执行诸如图像的回放、停止、回倒和快进之类的操作的gui组件。

此外,输出目的地操作区域5205包括用于对作为输出目的地设备的显示设备处的显示执行各种操作(交换、翻转、色彩调节、对比度调节,以及2d显示和3d显示之间的切换)的gui组件。用户可以通过适当地选择这些gui组件来操作显示设备处的显示。

注意的是,集成操作面板5111上显示的操作屏幕不限于所示的示例,而是用户可以能够通过集成操作面板5111输入可以由视听控制器5107和包括在手术室系统5100中的手术室控制设备5109控制的对每个设备的操作。

图13是图示应用上述手术室系统的操作的示例性情况的图。天花板相机5187和手术室相机5189设置在手术室的天花板上,并且可以捕获对病床5183上的患者5185的患部进行治疗的操作者(医生)5181的手以及整个手术室的情况的图像。天花板相机5187和手术室相机5189可以具有例如放大调节功能、焦距调节功能和图像捕获方向调节功能。照明设备5191设置在手术室的天花板上,并且至少用光照射操作者5181的手。照明设备5191可以适当地调节例如照射光的量、波长(颜色)和方向。

如图11所示,内窥镜操作系统5113、病床5183、天花板相机5187、手术室相机5189和照明设备5191通过视听控制器5107和手术室控制设备5109(图13中未示出)以协作方式相互连接。集成操作面板5111设置在手术室中,并且如上所述,用户可以适当地通过集成操作面板5111在手术室中操作这些设备。

以下详细描述了内窥镜操作系统5113的配置。如图所示,内窥镜操作系统5113包括内窥镜5115、其它操作器械5131、支撑内窥镜5115的支撑臂设备5141,以及其上安装有用于内窥镜操作的各种设备的推车5151。

在内窥镜操作中,不是切开腹壁以打开腹部,而是将多个称为穿刺器(troca)5139a至5139d的管状穿刺器械刺入到腹壁中。然后,通过穿刺器5139a至5139d将内窥镜5115的镜筒5117和其它操作器械5131插入到患者5185的体腔中。在所示的示例中,将气腹管5133、能量治疗器械5135和作为其它操作器械5131的钳子5137插入到患者5185的体腔中。此外,能量治疗器械5135是用于通过高频电流施加或超声波振动执行组织的切割和分离、血管的密封等的治疗器械。但是,图示的操作器械5131仅仅是示例性的,并且操作器械5131可以是通常用在内窥镜操作中的各种操作器械,诸如例如针刺(prick)和牵开器(retractor)。

显示设备5155显示患者5185的体腔中由内窥镜5115捕获的手术部位的图像。在实时观看显示设备5155上显示的手术部位的图像的同时,操作者5181执行治疗,诸如例如通过使用能量治疗器械5135和钳子5137来切割患部。注意的是,虽然未示出,但是气腹管5133、能量治疗器械5135和钳子5137在手术中由操作者5181或助手等支撑。

(支撑臂设备)

支撑臂设备5141包括从基座单元5143延伸的臂单元5145。在所示的示例中,臂单元5145包括关节部分5147a、5147b和5147c,以及连杆5149a和5149b,并且在臂控制设备5159的控制下被驱动。内窥镜5115由臂单元5145支撑,并且其位置和姿势受到控制。因此,可以实现内窥镜5115的稳定位置固定。

(内窥镜)

内窥镜5115包括从前端延伸预定长度的区域的镜筒5117和相机头部5119,镜筒5117被插入到患者5185的体腔中,并且相机头部5119与镜筒5117的基端连接。在图示的示例中,内窥镜5115是包括刚性镜筒5117的所谓的刚性镜,但是内窥镜5115可以是包括柔性镜筒5117的所谓的柔性镜。

镜筒5117的前端设置有开口,物镜装配在该开口上。内窥镜5115与光源设备5157连接,并且由光源设备5157产生的光通过在镜筒5117内部延伸的光导被引导到镜筒的前端,并且通过物镜朝患者5185的体腔中的观察目标发射。注意的是,内窥镜5115可以是直视范围、斜视范围或侧视范围。

光学系统和图像传感器设置在相机头部5119内,并且来自观察目标的反射光(观察光)通过光学系统会聚到图像传感器上。图像传感器对观察光进行光电转换,并产生与观察光对应的电信号,换句话说,与观察图像对应的图像信号。该图像信号作为raw数据被发送到相机控制单元(ccu)5153。注意的是,相机头部5119具有通过适当地驱动其光学系统来调节其放大率和焦距的功能。

注意的是,为了应对例如立体观看(3d显示)等,相机头部5119可以包括多个图像传感器。在这种情况下,多个中继光学系统设置在镜筒5117内,以将观察光引导到多个图像传感器中的每一个。

(安装在推车上的各种设备)

ccu5153通过例如中央处理单元(cpu)或图形处理单元(gpu)来实现,并且控制内窥镜5115和显示设备5155的整体操作。具体而言,ccu5153提供从相机头部5119接收到的图像信号和诸如图像显影处理(去马赛克处理)的各种图像处理,例如,以便基于图像信号显示图像。ccu5153将通过图像处理提供的图像信号提供给显示设备5155。此外,ccu5153与图11所示的视听控制器5107连接。ccu5153还将通过图像处理提供的图像信号提供给视听控制器5107。此外,ccu5153将控制信号发送到相机头部5119以控制其驱动。控制信号可以包括与图像捕获条件相关联的信息,诸如放大率和焦距。与图像捕获条件相关联的信息可以通过输入设备5161输入,或者可以通过上述集成操作面板5111输入。

显示设备5155在ccu5153的控制下显示基于由ccu5153通过图像处理提供的图像信号的图像。在其中内窥镜5115处理例如以诸如4k(水平像素数3840×垂直像素数2160)或8k(水平像素数7680×垂直像素数4320)的高分辨率捕获的图像的情况下,和/或在其中内窥镜5115处理3d显示的情况下,显示设备5155可以是分别能够执行高分辨率显示的设备和/或能够执行3d显示的设备。在其中显示设备5155与以诸如4k或8k的高分辨率捕获的图像兼容的情况下,可以通过使用具有大小为55英寸或更大的显示设备5155获得更加沉浸的感觉。此外,可以根据用途提供具有彼此不同的分辨率和大小的多个显示设备5155。

光源设备5157通过诸如例如发光二极管(led)的光源实现,并且在手术部位的图像捕获时向内窥镜5115提供照射光。

臂控制设备5159由诸如例如cpu的处理器实现,并且当根据预定控制方案控制支撑臂设备5141的臂单元5145的驱动时,根据预定的计算机程序进行操作。

输入设备5161是用于内窥镜操作系统5113的输入接口。用户可以通过输入设备5161向内窥镜操作系统5113输入各种信息和指令。例如,用户通过输入设备5161输入与手术相关的各种信息,诸如患者的身体信息和关于手术方法的信息。此外,用户通过输入设备5161输入例如用于驱动臂单元5145的指令、用于改变由内窥镜5115捕获的图像的条件(诸如照射光的种类、放大率和焦距)的指令、用于驱动能量处理器械5135的指令等。

输入设备5161的种类不受限制,但输入设备5161可以是众所周知的各种输入设备。输入设备5161可以是例如鼠标、键盘、触摸面板、开关、脚踏开关5171和/或操纵杆。在其中输入设备5161是触摸面板的情况下,触摸面板可以设置在显示设备5155的显示表面上。

替代地,输入设备5161可以是用户穿戴的设备,诸如例如可穿戴眼镜设备或头戴式显示器(hmd),并且根据由设备检测到的用户的手势和视线执行各种输入。此外,输入设备5161包括能够检测用户的运动的相机,并且根据从由相机捕获的视频检测到的用户的手势和视线来执行各种输入。此外,输入设备5161包括能够收集用户的语音的麦克风,并且通过麦克风通过语音执行各种输入。以这种方式,可以通过输入设备5161以非接触方式输入各种信息,并且特别地,属于清洁区域的用户(例如,操作员5181)可以以非接触方式操作属于不清洁区域的器械。此外,用户可以在不从器械上移开手的情况下操作所保持的操作器械,这为用户带来改进的便利性。

治疗器械控制设备5163控制能量处理器械5135的驱动,例如用于组织烧灼、切割或血管密封。为了获得内窥镜5115的视野和操作者的工作空间,气腹装置5165通过气腹管5133将气体馈送到患者5185的体腔中以使体腔膨胀。记录器5167是能够记录与手术相关的各种信息的设备。打印机5169是能够以文本、图像、图形等各种格式打印与手术相关的各种信息的设备。

下面更详细地描述内窥镜操作系统5113的特别特性的配置。

(支撑臂设备)

支撑臂设备5141包括作为基座的基座单元5143、以及从基座单元5143延伸的臂单元5145。在所示的示例中,臂单元5145包括多个关节部分5147a、5147b和5147c,以及通过关节部分5147b彼此耦接的多个连杆5149a和5149b。但是,在图13中,为了简化,以简化的方式示出了臂单元5145的配置。实际上,例如,关节部分5147a至5147c和连杆5149a和5149b的形状、数量和布置,以及关节部分5147a至5147c的旋转轴的方向可以适当地设定,使得臂单元5145具有期望的自由度。例如,臂单元5145优选地具有六个或更多个自由度。因此,内窥镜5115可以在臂单元5145的可移动范围内自由移动,并且因此内窥镜5115的镜筒5117可以沿着期望的方向插入到患者5185的体腔中。

关节部分5147a至5147c均设置有致动器,并且可通过致动器的驱动绕预定的旋转轴旋转。臂控制设备5159控制致动器的驱动以控制每个关节部分5147a至5147c的旋转角度,从而控制臂单元5145的驱动。因此,可以控制内窥镜5115的位置和姿势。在这种情况下,臂控制设备5159可以以各种众所周知的力控制、位置控制等控制方案来控制臂单元5145的驱动。

例如,当操作者5181适当地执行通过输入设备5161(包括脚踏开关5171)的输入操作时,臂控制设备5159可以适当地根据操作输入控制臂单元5145的驱动,从而控制内窥镜5115的位置和姿势。通过该控制,臂单元5145的前端处的内窥镜5115可以从可选的位置移动到另一个可选的位置,并且然后固定地支撑在移动之后的位置处。注意的是,臂单元5145可以在所谓的主从方案中操作。在这种情况下,臂单元5145可以由用户通过安装在与手术室分开的地点的输入设备5161远程操作。

此外,在其中施加力控制的情况下,臂控制设备5159可以执行所谓的动力辅助控制,其中关节部分5147a至5147c的致动器被驱动,使得臂单元5145接收来自用户的外力并且平滑地沿着外力移动。因此,当在直接接触臂单元5145的同时移动臂单元5145时,用户可以用相对较弱的力移动臂单元5145。因此,可以通过更简单的操作更直观地移动内窥镜5115,这为用户带来改进的便利性。

在内窥镜操作中,内窥镜5115通常由称为内镜医师(scopist)的医生支撑。但是,内窥镜5115的位置可以通过使用支撑臂设备5141而不是手动地更可靠地固定,并且因此可以可靠地获得手术部位的图像,这使得能够进行平滑的操作。

注意的是,臂控制设备5159不一定需要被提供给推车5151。此外,臂控制设备5159不一定是单个设备。例如,臂控制设备5159可以设置到支撑臂设备5141的臂单元5145的每个关节部分5147a至5147c,以通过多个臂控制设备5159的协作实现臂单元5145的驱动控制。

(光源设备)

当捕获手术部位的图像时,光源设备5157将照射光提供给内窥镜5115。光源设备5157通过例如led、激光束源或由其组合构成的白光源来实现。在其中通过rgb激光束源的组合实现白色光源的情况下,可以高准确度地控制每种颜色(每个波长)的输出强度和输出定时,并且因此光源设备5157可以调节捕获图像的白平衡。此外,在这种情况下,可以通过用来自各个rgb激光束源的激光束照射观察目标并且与照射的定时同步地控制相机头部5119的图像传感器的驱动以时分方式捕获与rgb中的每一个对应的图像。根据该方法,可以在没有提供给图像传感器的滤色器的情况下获得彩色图像。

此外,可以控制光源设备5157的驱动以在每个预定时间内改变输出光的强度。通过与光强度的变化的定时同步地控制相机头部5119的图像传感器的驱动以时分方式获取图像并合成图像,可以生成没有所谓的黑色缺陷(blackdefect)和过度曝光的高动态范围图像。

此外,光源设备5157可以能够提供与特殊光观察对应的预定波长带的光。特殊光观察涉及例如所谓的窄带光观察(窄带成像),其通过利用身体组织处的光吸收的波长依赖性,通过在比正常观察时的照射光(换句话说,白光)窄的带中发射光,以高对比度执行诸如粘膜表面层中的血管的预定组织的图像捕获。替代地,特殊光观察可以涉及通过激发光照射引起的荧光获得图像的荧光观察。在荧光观察中,例如,可以通过用激发光照射身体组织来观察来自身体组织的荧光(自发荧光观察),或者可以通过将诸如吲哚菁绿(icg)的试剂局部注射到身体组织并用与试剂的荧光波长对应的激发光照射身体组织来获得荧光图像。光源设备5157可以能够提供与这种特殊光观察对应的窄带光和/或激发光。

(相机头部和ccu)

下面参考图14更详细地描述内窥镜5115的相机头部5119和ccu5153的功能。图14是图示图13中所示的相机头部5119和ccu5153的示例性功能配置的框图。

如图14所示,相机头部5119包括作为其功能的透镜单元5121、图像捕获单元5123、驱动单元5125、通信单元5127和相机头部控制单元5129。此外,ccu5153包括作为其功能的通信单元5173、图像处理单元5175和控制单元5177。相机头部5119和ccu5153通过传输电缆5179彼此连接,以在它们之间执行双向通信。

下面首先描述相机头部5119的功能配置。透镜单元5121是设置在与镜筒5117的连接部分处的光学系统。从镜筒5117的前端获取的观察光被引导到相机头部5119并且入射在透镜单元5121上。透镜单元5121通过包括变焦透镜和聚焦透镜的多个透镜的组合来实现。透镜单元5121的光学特性被调节,使得观察光会聚在图像捕获单元5123的图像传感器的光接收表面上。此外,变焦透镜和聚焦透镜可在光轴上移动以调节捕获图像的放大率和焦点。

图像捕获单元5123包括图像传感器并且部署在透镜单元5121之后。已经通过透镜单元5121的观察光会聚在图像传感器的光接收表面上,并且与观察图像对应的图像信号通过光电转换产生。由图像捕获单元5123生成的图像信号被提供给通信单元5127。

包括在图像捕获单元5123中的图像传感器例如是互补金属氧化物半导体(cmos)类型的图像传感器,其包括拜耳阵列并且能够捕获彩色图像。注意的是,图像传感器可以能够例如以等于4k或更高的高分辨率捕获图像。当可以以高分辨率获得手术部位的图像时,操作员5181可以更详细地理解手术部位的情况并且更平滑地进行操作。

此外,包括在图像捕获单元5123中的图像传感器包括与3d显示对应的分别用于获取右眼和左眼的图像信号的一对图像传感器。当执行3d显示时,操作者5181可以更准确地识别手术部位处的活体组织的深度。注意的是,在其中图像捕获单元5123是多板类型的情况下,为各个图像传感器提供多个透镜单元系统5121。

此外,图像捕获单元5123不一定需要被提供给相机头部5119。例如,图像捕获单元5123可以被提供在紧接着镜筒5117内的物镜之后。

驱动单元5125由致动器实现,并且在相机头部控制单元5129的控制下,将透镜单元5121的变焦透镜和聚焦透镜中的每一个在光轴上移动预定距离。因此,可以适当地调节由图像捕获单元5123捕获的图像的放大率和焦点位置。

通信单元5127由用于与ccu5153传送各种信息的通信设备实现。通信单元5127通过传输电缆5179将从图像捕获单元5123获取的图像信号作为raw数据发送到ccu5153。在这种情况下,优选地通过光学通信发送图像信号,从而以低延迟显示手术部位的捕获图像。在手术中,操作者5181在观察捕获图像上的患部的状态的同时执行手术,因此为了更安全和更可靠的手术,需要尽可能实时地显示手术部位的移动图像。在其中执行光通信的情况下,通信单元5127设置有光电转换模块,该光电转换模块被配置为将电信号转换为光信号。图像信号由光电转换模块转换为光信号,并且然后通过传输电缆5179发送到ccu5153。

此外,通信单元5127从ccu5153接收用于控制相机头部5119的驱动的控制信号。控制信号包括与图像捕获条件相关联的信息,诸如用于指定捕获图像的帧速率的信息、用于指定捕获图像时的曝光值的信息,和/或例如指定捕获图像的放大率和焦点位置的信息。通信单元5127将接收到的控制信号提供给相机头部控制单元5129。注意的是,可以通过光通信发送来自ccu5153的控制信号。在这种情况下,通信单元5127设置有光电转换模块,该光电转换模块被配置为将光信号转换为电信号,并且控制信号由光电转换模块转换为电信号,并且然后提供给相机头部控制单元5129。

注意的是,通过ccu5153的控制单元5177基于所获取的图像信号自动设置上述图像捕获条件,诸如帧速率、曝光值、放大率和焦点。因此,内窥镜5115具有所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。

相机头部控制单元5129基于通过通信单元5127从ccu5153接收到的控制信号来控制相机头部5119的驱动。例如,相机头部控制单元5129基于用于指定捕获图像的帧速率的信息和/或用于指定图像捕获时的曝光的信息来控制图像捕获单元5123的图像传感器的驱动。此外,例如,相机头部控制单元5129基于用于指定捕获图像的放大率和焦点的信息通过驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头部控制单元5129还可以具有存储用于识别镜筒5117和相机头部5119的信息的功能。

注意的是,当透镜单元5121、图像捕获单元5123等被部署在具有高气密性和防水性的密封结构中时,相机头部5119可以具有耐高压蒸汽灭菌处理的能力。

下面描述ccu5153的功能配置。通信单元5173由用于与相机头部5119传送各种信息的通信设备实现。通信单元5173通过传输电缆5179接收从相机头部5119发送的图像信号。如上所述,优选地通过光通信发送图像信号。在这种情况下,为了实现光通信,通信单元5173设置有光电转换模块,该光电转换模块被配置为将光信号转换为电信号。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。

此外,通信单元5173向相机头部5119发送用于控制相机头部5119的驱动的控制信号。控制信号可以通过光通信发送。

图像处理单元5175对作为从相机头部5119发送的raw数据的图像信号提供各种图像处理。该图像处理包括各种众所周知的信号处理,诸如例如显影处理(去马赛克处理)、高图像质量处理(例如,频带增强处理、超分辨率处理,降噪(nr)处理和/或图像模糊校正处理)和/或放大处理(电子变焦处理)。此外,图像处理单元5175对用于执行ae、af和awb的图像信号执行检测处理。

图像处理单元5175由诸如cpu或gpu的处理器实现,并且上述图像处理和检测处理可以由根据预定的计算机程序操作的处理器来执行。注意的是,在其中通过多个gpu实现图像处理单元5175的情况下,图像处理单元5175适当地划分与图像信号相关的信息,并且通过多个gpu并行地执行图像处理。

控制单元5177执行与内窥镜5115对手术部位的图像捕获相关的各种控制以及捕获图像的显示。例如,控制单元5177生成用于控制相机头部5119的驱动的控制信号。在其中用户输入图像捕获条件的情况下,控制单元5177基于用户的输入生成控制信号。替代地,在其中内窥镜5115具有ae功能、af功能和awb功能的情况下,控制单元5177根据由图像处理单元5175的检测处理结果通过适当地计算最佳曝光值、焦距和白平衡来生成控制信号。

此外,控制单元5177基于经过图像处理单元5175的图像处理的图像信号在显示设备5155上显示手术部位的图像。在这种情况下,控制单元5177通过使用各种图像识别技术识别手术部位图像中的各种对象。例如,控制单元5177可以通过检测例如手术部位图像中包含的对象的边缘的形状或颜色来识别例如诸如钳子的操作器械、特定活体部位、出血或使用能量治疗器械5135时的雾。在显示设备5155上显示捕获图像时,控制单元5177使用识别的结果以叠加的方式显示关于手术部位的图像的各种手术支持信息。当以叠加的方式显示手术支持信息并将其呈现给操作员5181时,手术可以以更安全和更可靠的方式进行。

连接相机头部5119和ccu5153的传输电缆5179是与电信号通信兼容的电信号电缆、与光通信兼容的光纤或其复合电缆。

这里,在所示的示例中,通过传输线缆5179执行有线通信,但是可以以无线方式执行相机头部5119和ccu5153之间的通信。在以无线方式执行其间的通信的情况下,不必将传输电缆5179放置在手术室中,从而防止传输电缆5179干扰手术室中医务人员的移动的情况。

以上描述了可应用根据本公开的技术的示例性手术室系统5100。注意的是,以上描述了其中应用手术室系统5100的医疗系统是内窥镜操作系统5113的示例,但是手术室系统5100的配置不限于该示例。例如,代替内窥镜操作系统5113,手术室系统5100可以应用于检查柔性内窥镜系统或显微镜操作系统。

根据本公开的技术可以以较小的延迟将捕获的手术部位图像和视频输出到外部显示设备,从而提高远程医疗中的诊断准确性。

<3.修改>

虽然以上具体描述了本技术的实施例,但是本技术不限于上述实施例,而是可以基于本技术的技术构思进行各种修改。

在实施例中,每个段的长度是一秒,但不限于此。段长度可以长于或短于一秒。但是,根据本技术,在其中段不在分发设备20处的情况下,在内容分发中的段处发生帧丢弃。因此,当段较长时,帧丢弃发生较长时间,这给观看者带来不适。因此,优选地在考虑网络通信速度和帧丢弃的可允许时间的情况下设置段长度。

在实施例中,子段附加有指示段划分的数量的分母,以及指示子段的次序的数字。但是,本技术不限于具有分母和分子的符号方法,只要指示段的划分的数量即可。任何指示段划分的数量的符号方法和指示子段的次序的数字都是适用的。例如,并排提供段划分的数量和指示子段的次序的数字。

在发送设备10中,编码器11可以从上传器16a、16b和16c接收网络通信速度信息,并且可以在其中通信速度低的情况下以降低的比特率执行编码。以降低的比特率编码导致数据大小减小,其中内容的图像质量降低,因此可以通过具有低通信速度的网络进行上传。

在实施例中,多个网络由彼此不同的通信运营商提供,但是本技术不限于其中由通信运营商提供的所有网络彼此不同的情况。虽然网络的通信运营商优选地彼此不同,但是除非所有网络都由一个通信运营商提供,否则不排除其中由一个通信运营商提供一些网络的情况。

此外,视频相机1的数量不限于一个,而是可以多于一个。此外,图像捕获可以由多个视频相机1执行,并且所有视频相机1的记录内容可以被上传到分发设备20并且从分发设备20用段发送到视频相机1的操作者。因此,在检查所有视频相机1的视频的同时,操作者可以控制多个视频相机1中的每一个的图像捕获范围、图像捕获方向等。此外,与发送设备10连接的外部设备可以是仅限麦克风,或者可以是被配置为生成内容的任何设备。此外,可以将已经完成的内容(诸如预先产生的电影)或记录的实况移动图像提供给发送设备10。

被配置为例如记录内容的外部设备(诸如相机)可以具有发送设备的功能,并且可以从外部设备直接执行向分发设备20的上传。

可以如下所述配置本技术。

(1)

一种发送设备,被配置为对内容数据进行编码、将编码的内容数据划分为多片发送用数据,以及通过多个上传器和与所述多个上传器对应的多个网络将所述多片发送用数据发送到被配置为执行内容分发的分发设备。

(2)

根据(1)所述的发送设备,其中所述发送用数据是通过划分所述内容数据而生成的段。

(3)

根据(1)所述的发送设备,其中所述发送用数据是通过将划分所述内容数据而生成的段进一步划分而生成的子段。

(4)

根据(3)所述的发送设备,其中子段附加有指示包括子段的段的编号。

(5)

根据(3)或(4)所述的发送设备,其中子段附加有段的划分的数量和指示子段的次序的数字。

(6)

根据(1)至(5)中任一项所述的发送设备,其中基于所述多个网络的通信速度,优先使用所述多个网络中具有最高通信速度的网络来发送所述发送用数据。

(7)

根据(1)至(6)中任一项所述的发送设备,其中以所述多个网络中具有最低通信速度的网络作为参考来改变所述内容数据的划分的数量。

(8)

根据(1)至(7)中任一项所述的发送设备,其中基于所述多个网络的通信速度来改变所述内容数据的比特率。

(9)

根据(2)所述的发送设备,其中从分发设备向终端设备分发内容以段为单位执行,以及

在预定时间内未到达分发设备的段被排除在从分发设备到终端设备的实况分发之外。

(10)

根据(3)所述的发送设备,其中从分发设备向终端设备分发内容以段为单位执行,以及

包括在预定时间内未到达分发设备的子段的段被排除在从分发设备到终端设备的实况分发之外。

(11)

一种发送方法,其编码内容数据、将编码的内容数据划分为多片发送用数据,以及通过多个上传器和与所述多个上传器对应的多个网络将所述多片发送用数据发送到被配置为执行内容分发的分发设备。

(12)

一种内容分发系统,包括:

发送设备,被配置为对内容数据进行编码、将编码的内容数据划分为多片发送用数据,以及通过多个上传器和与所述多个上传器对应的多个网络将所述多片发送用数据发送到分发设备;以及

分发设备,被配置为接收从发送设备发送来的发送用数据,并将发送用数据发送到终端设备以执行内容分发。

参考符号列表

10发送设备

16a、16b、16c上传器

20分发设备

100内容分发系统

nw1、nw2、nw3网络

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1