用于将视频数据从服务器传输到客户机的系统和方法与流程

本发明涉及用于将视频数据、尤其是医疗视频数据从服务器传输到客户机的系统，所述医疗视频数据为了诊断目的被从医疗环境传输到外部客户机。此外，本发明涉及用于将视频数据从服务器传输到客户机的相应方法。

背景技术：

在医疗区域中，例如在手术室中手术期间借助于显微镜记录对癌组织确定类型的情况下，基于图片的远程协同应用是值得期望的。在此适用：在注意患者负荷和成本情况下做出安全的决定。在此情况下应注意的是，为了以显微镜确定组织类型而把专家、诸如病理学家带到手术室耗费时间和金钱。相同适用的是，为了确定而将组织样本寄送到实验室。

为了实现由专家进行远程诊断，需要的是，将记录、例如视频数据从所述医疗区域传输给专家。然而为了实现可靠的诊断，所述视频数据必须快速地并且以高质量（qualität）在所述专家处存在。然而，为了保证快速传输，经常使用有损的压缩方法，利用所述有损的压缩方法不能确保足够的质量。

技术实现要素：

在所述背景下，本发明的任务在于，能够实现以高质量快速提供视频数据。

相应地，建议用于将视频数据从服务器传输到客户机的系统。所述系统具有第一编码单元和第二编码单元，所述第一编码单元被设立用于，将视频数据以第一质量从服务器传输到客户机作为实况视频流（livestream），所述第二编码单元被设立用于，将视频数据以第二质量存储在存储单元中，并且在对客户机的请求信号的回应中，将以第二质量的经编码的视频数据从存储单元传输到客户机，其中第二质量比第一质量更高。

相应的单元、例如编码单元可以以硬件技术方式和/或也以软件技术方式被实施。在硬件技术上的实施的情况下，相应的单元可以被构造为设备或被构造为设备的一部分，例如被构造为计算机或者为微处理器或者为车辆的控制计算机。在以软件技术方式实施的情况下，相应的单元可以被构造为计算机程序产品、函数、例行程序、程序代码的部分或可实施的对象。

所建议的系统能够实现：将视频数据发送给空间上和/或时间上远离的专家，以用于诊断。在此，通过第一编码单元确保实况视频流传输。所述实况视频流传输可以以视频数据的低质量（第一质量）来进行，例如在使用压缩方法、诸如h.264或hevc的情况下进行。附加地，如果对此有要求，也即根据例如经由从客户机到服务器的http询问所进行的查问，则视频数据的传输可以以高质量（第二质量）来进行，其中所述询问具有对于所请求的视频的以url编码的细节。对以高质量的视频数据的传输也可以仅对于视频数据的确定部分、诸如特别感兴趣的序列来进行。对此的细节例如可以以url被编码（所述url在查问中被一起传送）并且例如可以包括其他信息，诸如在存在多个视频流的情况下期望哪个视频流或者需要视频数据的哪个时间段。

以这种方式，图像信息、也即视频数据可以从一个医疗区域或环境、例如手术室在线地、也即实时地并且以在客户机处的短的延迟来提供给例如远程的专家。所述专家可以由此交互地（以控制的方式）与操作人员或显微镜设备、也即来自医疗区域的设备等接触。

第二编码单元可以将视频数据以第二质量存储在存储单元中，所述存储单元例如可以是数据库或缓冲存储器，例如环形存储器。因为以较高的或高的第二质量的视频数据必须仅根据查问来被发送给客户机，因此所述视频数据可以以已经编码的形式被存储。然后，在对客户机的请求信号的应答中，以第二质量编码的视频数据、例如视频数据的所请求的片段或序列可以被从存储单元传输到客户机。以这种方式，可以对关于时间上在过去的视频记录的请求作出反应。

以第二质量的视频数据例如可以以片段的方式被提供。以这种方式不需要传输以高质量的所有视频数据，而是仅仅传输所请求的、对于外部专家来说感兴趣的片段。

服务器可以就此而论被理解为服务器端的元件、也即所需要的与传输来自所述医疗区域的视频数据有关的所有元件。外部设备可以就此而论被理解为客户机，视频数据被从服务器传输到所述一个或多个外部装置用于显示。所述外部装置可以由专家使用。

就此而论，包含视频数据的信号被理解为视频数据。

根据一种实施方式，第一质量说明视频数据的第一分辨率和/或视频数据的第一编码参数并且第二质量说明视频数据的第二分辨率和/或第二编码参数。

视频数据可以以第一质量以相对强的方式被压缩，以便能够实现快速传输。因此，也可以在受限制的通信带宽的情况下、也即在网络（视频数据经由所述网络从服务器发送到客户机）的较小带宽的情况下保证快速传输。

然而，因为专家也需要以高的（能够诊断的）质量的、及时并且快速可选择的图像信息，所以视频数据可以在对客户机的请求信号（也即如果客户机对此要求）的应答中以较高的第二质量提供。在此也可以对于视频数据提供与其关联的元数据和事件信息。

质量例如可以被理解为视频数据的分辨率，其中第二分辨率比第一分辨率更高。分辨率可以是地点分辨率和/或时间分辨率，也即图像再现率。质量也可以通过不同的编码参数、例如量化被确定。

根据另一实施方式，所存储的经编码的视频数据包含用于访问视频数据的内容的索引。

为了简化对视频数据的特定片段或序列的访问，视频数据可以包含索引。所述索引例如可以在使用事件信息的情况下或以时间上的方式指示视频数据的片段。

根据另一实施方式，第一编码单元被设立用于，接收视频数据并以第一质量来编码。

为了以第一质量对视频数据编码，可以使用诸如h.264/avc或h.265/hevc的压缩方法。以这种方式可以减少视频数据的数据量。

根据另一实施方式，第一编码单元被设立用于，在对视频数据编码时将元数据添加到视频数据，其中所述元数据包含关于视频数据的内容的信息。

元数据就此而言可以是以下信息，所述信息例如从视频数据的自动化分析中得出。如果视频数据例如是显微镜视频图像或肉眼视频图像，则所述视频数据已经可以在服务器端、也即在医疗区域（如手术室）内被自动分析，并且所述分析信息被集成到所传输的视频数据中。在此，元数据可以以单独的流被传输，视频流在语法层面上被嵌入到所述单独的流中，例如作为h.264或h.265sei消息和/或作为叠加（overlay（重叠））在编码之前固定地与视频内容相结合。

根据另一实施方式，第一编码单元被设立用于，在对视频数据编码时将事件信息添加到视频数据。

在此，事件信息同样可以在所述单独的流中被传输，视频流在语法层面上被嵌入到所述单独的流中，例如作为h.264或h.265sei消息和/或作为叠加（overlay（重叠））在编码之前固定地与视频内容相结合。

事件信息例如可以是以下信息，所述信息指明服务器端的事件。这样的事件可以在服务器端以特意方式被引起，以便将所述事件集成到视频数据中。

根据另一实施方式，事件信息指明在视频数据中的确定序列。

通过有意引起的事件例如可以指明在视频数据中的确定序列。

根据另一实施方式，第二编码单元被设立用于，接收视频数据、以第二质量编码和在存储单元中存储，和/或接收元数据和/或事件信息并且存储在存储单元中。

在此情况下，元数据和事件信息并不在编码之前作为叠加被烧入（einbrennen）到图像材料中。如果视频材料、也即视频数据根据请求被传输到客户机，那么所述信息可以根据请求一同被传输。然后，客户机的解码单元可以以适当的方式表示所述信息，例如在解码以后作为在所述视频之上的叠加来表示。

第二编码虽然可以同样地执行压缩方法，然而总是实现视频数据的较高的质量。

根据另一实施方式，所述系统具有第一解码单元和第二解码单元，所述第一解码单元被设立用于，将具有第一质量的视频数据解码并且在显示设备上显示，所述第二解码单元被设立用于，对于以第二质量的视频数据进行查问、解码并在显示设备上显示。

在所述客户机端上，视频数据通过解码单元被解码并且在显示设备上被示出。只有当以第二质量的视频数据被请求并且已经被传输到第二解码单元时，第二解码单元才在此情况下变得活跃。

根据另一实施方式，存储单元被设立用于，基于可供使用的带宽将以第二质量的视频数据传输到第二解码单元。

根据所述实施方式，在考虑可供使用的带宽的情况下传输以第二质量的视频数据。这意味着：如果足够的带宽可供使用，那么例如传输以第二质量的视频数据。以这种方式，以第一质量的视频数据的传输（在所述传输情况下低延迟是重要的）不被影响。

在此情况下，可供使用的带宽在服务器端被确定。第二解码单元可以调用以第二质量的视频数据的片段，例如根据开始时间点和终止时间点调用以第二质量的视频数据的片段。于是可以在服务器端从总共可用的带宽减去为了保持实况视频流、也即传输以第一质量的视频数据所需要的带宽来确定可供使用的带宽，利用所述可供使用的带宽从服务器发送所述数据到客户机。在传输以第一质量的视频数据的情况下，第一质量可能被进一步降低，以便进一步降低带宽需求，并且为所请求的、以第二质量的视频数据的传输提供更大带宽。

根据另一实施方式，第二解码单元被设立用于，将视频数据和/或元数据和/或事件信息以第二质量在客户机端存储在存储设备中。

通过在客户机端以第二质量存储视频数据和/或与其关联的元数据和事件信息，所述视频数据对于重新回放和显示来说可供使用。

在存储单元中在服务器端上和在存储设备中在客户机端上所存储的数据可以全部或部分地在pacs系统（picturearchivingandcommunicationsystem（影像归档与通信系统））中被归档。所述pacs系统也可以是基于云的。

根据另一实施方式，第二解码单元被设立用于，在显示设备上利用叠加的信息显示以第二质量的视频数据，其中所述信息是元数据和/或事件信息。

第二解码单元可以在对视频数据解码时提取其中可能包含的元数据和/或事件信息。在显示设备上进行显示时，除了视频数据以外所述元数据和/或事件信息本身同样可以被显示。

根据另一实施方式，所述系统具有控制单元，所述控制单元被设立用于，接收在对所显示的视频数据的应答中的用户输入并且将用户输入作为控制信号传输到服务器。

以这种方式，控制信号例如由客户机端、也即由外部专家传输到手术室中的执行元件。这样的执行元件例如可以控制显微镜的定位。

根据另一实施方式，所述系统具有混合单元，所述混合单元被设立用于将多个本地视频流混合成总本地视频流并且将总本地视频流作为视频数据提供给第一编码单元。

视频数据可以包含多个视频流，例如来自不同摄像机的视频流，由混合单元将所述多个视频流组合成一个信号。在解码时，所述多个视频流可以再被分离并且作为分开的图像被显示。

总而言之，可以通过所建议的系统或所述系统的不同实施方式实现以下实施方案和与其关联的优点：

•通过编码单元以高质量对参与的视频源（显微镜，肉眼）进行实时编码

•对参与的视频源的经编码的流、来自对视频的自动分析的元数据以及事件进行本地记录，所述事件例如可以通过脚踏键控（fußtaster）或类似的输入设备被触发，并且用于对所记录的数据的注释。在此附加地，用于对视频流、元数据和事件（也称作事件（event））进行时间同步的信息可以相互被存储，以及用于对所记录的数据（基于时间、元数据和事件）进行访问的索引可以被产生。

•对用于从手术室到所连接的专家的实况视频流媒体的、参与的视频源（显微镜，肉眼）适配性实时编码。在此，视频可以选择性地与元数据或与关于事件的信息叠加，并且多个视频流可以在本地被混合成一个流。对此（编码控制、重叠、混合）需要的控制信号可以一方面通过测量值（例如用于控制编码器的在专家和手术室之间的当前带宽）被给定，而或者通过用户接口在本地或远程被产生。在后一种情况下，所述信号经由网络被传输。

•以低延迟将一个或多个经编码的实时视频信号从手术室向专家流式传输

•利用对元数据重叠的和对视频信号的本地表示的选择可能性或配置可能性（mixing（混合））在专家处和/或手术室中显示所述实时视频信号

•从专家端来访问关于所记录的、高质量的视频信号、元数据和事件的信息，下载所述数据的记录的部分并且在专家端存储所下载的数据。高质量的视频记录的下载可以在后台在用于所述实况视频流的数据传输率的优先级的情况下来进行。

•利用通过元数据重叠和事件重叠来对视频信号所进行的选择性的叠加，对在专家端所下载的并且在本地所存储的高质量的视频信号进行再现。尽管所请求的数据还没有被完全下载（渐进式下载），但是已经可以进行再现。

•将控制信号从专家端传输到手术室中用于控制执行元件、例如用于对显微镜的定位

•来自在手术室端和专家端上的记录的数据的部分可以被归档到pacs系统中。所述pacs系统也可以是基于云的。

•为了建立在手术室和专家之间需要的网络连通性，可以使用可能基于云的中继。

根据另一方面，建议用于将视频数据从服务器传输到客户机的方法。所述方法具有以下步骤：从服务器传输具有第一质量的视频数据到客户机作为实况视频流，并且在对客户机的请求信号的应答中，将以第二质量的视频数据传输到客户机，其中第二质量比第一质量更高。

此外建议一种计算机程序产品，所述计算机程序产品在程序控制的装置上促使执行如上所阐述的方法。

计算机程序产品、诸如计算机程序工具例如可以作为存储介质、诸如存储卡、usb棒、cd-rom、dvd或者也以在网络中可由服务器下载的文件的形式提供或供应。这例如可以在无线的通信网络中传输利用所述计算机程序产品或所述计算机程序工具传输相应文件来进行。

针对建议的系统所描述的实施方式和特征相应地对于所建议的方法适用。

本发明的其他可能实施方案也包括对于之前或者以下关于实施例所描述的特征或实施方式的没有详尽提及的组合。在此，专业人员也会添加单个方面作为关于本发明的相应基本形式的改进方案或补充方案。

附图说明

本发明的其他有利扩展方案和方面是从属权利要求以及本发明的接下来所描述的实施例的主题。另外，根据优选的实施方式参照附图更详细地阐述本发明。其中：

图1示出用于将视频数据从服务器传输到客户机的系统的第一实施方式的示意性框图；

图2示出根据第二实施方式的、图1的系统的服务器端的单元的示意性框图；

图3示出根据第二实施方式的、图1的系统的客户机端的单元的示意性框图；和

图4示出用于将视频数据从服务器传输到客户机的方法的示意性流程图。

具体实施方式

在图中，只要没有另外说明，相同的或功能相同的元件配备有相同的附图标记。

图1示出用于将视频数据从服务器1传输到客户机2的系统100。

在服务器端设置混合单元12，所述混合单元（只要存在）可以将多个视频流组合成一个共同的视频数据信号。所述混合单元12是可选的。

所组合的视频数据信号（也被称为视频数据）被提供给第一编码单元10。第二编码单元11接收没有被组合的视频流。

第一编码单元10经由网络接口30将视频数据以第一质量从服务器1传输到客户机2。以第一质量的视频数据在此表示实况视频流。

在客户机端，由第一解码单元20来接收以第一质量的视频数据，对其解码并且在显示设备22上、例如监视器上显示。

第二编码单元11将视频数据以第二质量存储在存储单元13中。在对客户机2的请求信号的应答中，视频数据可以从所述存储单元传输到客户机2。在此，第二质量比第一质量更高。

在客户机端，以第二质量的视频数据由第二解码单元21根据请求接收、解码并且在显示设备22上显示。第二解码单元21也许可以将所述视频数据连同与其关联的元数据和/或事件信息一起存储在存储设备23中（参照图3）。

图2和3示出系统100的另一实施方式，其中图2表示服务器端的片段并且图3表示客户机端的片段。

多个视频流3、4以及元数据5和事件信息6可以被组合并且被提供给第一编码单元10或第二编码单元11。根据这种实施方式，第一编码单元10将视频数据3、4连同元数据5和事件信息6一起编码并且将其提供。相反，第二编码单元11仅编码视频数据3、4并且将所述视频数据存储在存储单元13中。元数据5和事件信息6同样被存储在存储单元13中。

系统100的服务器端的区域1提供应用前端14，所述应用前端例如用于在传输时对实况视频流进行带宽优先设置（bandbreitenpriorisierung）。经由所述前端14可以操控用于客户机的不同接口7、8、9。因此，所述前端14也用作在第一编码单元10和存储单元13以及不同接口7、8、9之间的网络层，所述不同接口接下来被阐述。

在服务器1和客户机2之间设置不同的接口：用于实况视频流的接口7、用于访问以第二质量的视频数据的接口8（也被称为记录访问或存储访问）和用于控制的接口9。

用于控制的接口9例如用于，将控制信号从客户机2传输到服务器1，以便对视频数据的分析作出反应。通过所述控制信号例如可以由专家端在手术室中执行对执行元件的控制、例如显微镜的定位。控制信号可以在客户机端2通过应用控制装置24被产生。

图4示出用于将视频数据从服务器1传输到客户机2的方法。所述方法具有步骤401和402。

在步骤401中，以第一质量将视频数据作为实况视频流从服务器1传输到客户机2。

在步骤402中，以第二质量的视频数据在对客户机2的请求信号的应答中被传输到客户机2，其中所述第二质量比第一质量更高。

尽管已经根据实施例来描述本发明，本发明能够以多样的方式被修改。