集成电路装置、计算机单元、网络和处理视频数据的方法与流程

本发明涉及一种集成电路装置，一种网络设备和一种网络，以及一种计算机单元和一种用于处理视频数据的方法。

背景技术：

1、在视频技术中，通常至少执行以下步骤来传输视频信号。首先，从源读入或者也借助于软件产生视频信号，所述源例如为照相机或其它记录设备。随后，在另一步骤中，视频信号被输出到接收器(senke)中，例如监视器、显示器或数据存储器。然而，在实践中，常常不仅期望点对点连接，其中源与接收器连接，而且在许多应用情况下也需要的是，将来自一个或多个源的视频信号分配到多个接收器上。在实践中，在读入和输出视频信号之间，所述视频信号还经常被处理，即例如放大、缩小、裁剪、转换为不同的帧速率等。尤其，来自不同的源的视频信号也被合并或组合。

2、在实践中，通常使用软件，以便从不同的视频信号中生成组合式视频信号。为此，视频信号首先例如借助于所谓的帧抓取器来数字化。借助于软件进行组合具有以下优点：在组合相应的视频信号时，能够灵活地调整图像组成部分，例如操作界面，所述操作界面在各个帧或图像之间在位置或布置方面变化。为此，相应的设备必须具有--根据应用必要时昂贵的--硬件，在所述硬件上执行软件。此外，在借助于软件进行这种处理的情况下，尤其在宽带视频信号的情况下，延时不利地显著增加。

3、视频信号的组合基本上也借助于集成电路已知。然而，为此，至今为止借助于电路的配置必须预先已知：各个视频信号设置在哪里。延时在此有利地低。然而，至今为止基于集成电路，在各个帧或图像之间在位置或布置上可变的图像组成部分的组合是不知道的。

技术实现思路

1、因此，本发明的目的是，能够实现使视频信号与在各个帧或图像之间变化的图像组成部分以低延时的方式组合。

2、所述目的由根据实施例所述的集成电路装置、网络设备、计算机单元、网络以及根据实施例所述的用于处理视频数据的方法来实现。

3、开始提及的集成电路装置尤其被设计为集成电路，例如呈fpga或asic的形式，并且用于处理视频数据。集成电路装置在此尤其构成为，使得--如果期望--能够以未压缩的形式接收和/或发送视频数据。为此，所述集成电路装置具有多个视频接口，以用于接收和/或发送来自多个数据流的视频数据。

4、此外，所述集成电路装置包括帧缓冲器控制装置和帧缓冲器接口。在此，帧缓冲器控制装置借助于帧缓冲器接口控制对具有多个层的帧缓冲器的访问，使得来自多个数据流的视频数据被写入帧缓冲器的不同的层中。在此，第一层的视频数据在逐帧变化的第一图像区域中具有定义的色彩值。

5、从帧缓冲器中读取视频数据的组合帧。为此，利用定义的色彩值来确定第一图像区域。在第一图像区域中，组合帧由第二层的视频数据形成。与此相反，在其余区域中利用第一层的视频数据形成组合帧。

6、集成电路装置作为fpga的实施方案是特别灵活的，因为fpga仍然能够根据应用情况进行配置。集成电路装置作为asic的实施方案尤其在大批量的情况下能够低制造成本地制造。

7、视频接口基本上能够是任意的视频接口，例如数字接口，例如dp、dvi、hdmi、sdi等，或者是模拟接口，如vga、xga、s-video等。它们优选构成为用于，以未压缩的方式接收或发送视频信号。视频接口的数量能够根据需求进行配置。

8、视频接口例如也能够构成为网络接口。意即，所述集成电路装置例如包括多个网络接口，以用于将集成电路装置与多个基本上相同的、在空间上分开的集成电路装置连接，以传输数据，所述数据至少包括视频数据。

9、借助于网络接口，集成电路装置或包括所述集成电路装置的网络设备优选与另外的尤其根据本发明的集成电路装置连接。所述电路装置“基本上相同”表示：所述电路装置必要时在其视频接口、网络接口和/或视频处理单元的数量和/或设计构造方面有所不同，然而在其它方面构造为是相同类型的。

10、优选的是，集成电路装置具有多个用于接收视频信号的视频接口以及多个用于发送视频信号的视频接口。术语“多个”在本发明的范围中通常表示“一个或多个”。

11、视频数据通常以数据流(还有视频流或videostream)的形式存在，其中视频数据的图像序列逐图像地，以及逐帧地，并且在帧中优选逐行地，并且在行中特别优选逐像素，意即逐像点地串行传输。

12、帧是单个图像，所述单个图像--尤其以传输所基于的帧速率--被保存在帧缓冲器中并且从所述帧缓冲器中读取。因此，各个组合帧的序列形成组合的视频信号或组合的视频数据流。

13、借助于帧缓冲器接口，各个输入数据流的视频数据被写入帧缓冲器中。为此，数据流借助于帧缓冲器控制装置分别被分派给帧缓冲器中的不同的区域。

14、为此，帧缓冲器被分为多个层或子层或图层(layer)，意即至少两层或子层或图层。在此，层表示帧缓冲器的如下区域，该区域优选包括要读取的分辨率的完整帧的视频数据。在层内，例如也能够根据数据流的视频数据被写入帧缓冲器中的位置来确定视频数据在要读取的帧中的位置。

15、从帧缓冲器中读取视频数据的组合帧，所述组合帧包括来自不同的层的视频数据。为此，层以显示层级或排名的方式排列。也就是说，例如，第一层或最高层在组合中比其它层或低层具有优先级。只有在高层或优先的层中被所定义的色彩值标记的区域中，意即在其像素被所述所定义的色彩值填充的区域中，在组合的情况下，来自低等级的层的视频数据被接收。因此，各个层的视频数据的组合优选仅基于所述层的显示层级和所定义的色彩值来进行。

16、尤其，第一层的视频数据具有图像区域，所述图像区域逐帧变化。意即例如，第一层的第一图像区域的数量、布置和/或尺寸从帧到帧地变化，它们在组合成组合帧的情况下不被接收。相应地，与此互补地，第一层的第二或其余的图像区域的数量、布置和/或尺寸能够从帧到帧地改变，它们在组合成组合帧的情况下被接收。

17、第一层的图像区域的逐帧的可变性在此优选不经由帧缓冲器控制装置的配置的改变引起，而是仅通过借助所定义的色彩值标记第一图像区域引起。

18、虽然在第二图像区域中以组合帧输出第一层的视频数据，但是第一图像区域用所定义的色彩值掩蔽，以便借助低等级的层的视频数据，如第二层的视频数据来覆写。

19、所定义的色彩值表示根据所使用的色彩空间或色彩模型而选择的色彩值。因此，所述色彩值在此例如能够是确定的灰度值、rgb值、y'cbcr值等。

20、换言之，帧缓冲器控制装置和帧缓冲器接口能够实现：将不同输入视频信号或视频数据流根据其通过帧缓冲器中的层确定的显示层级和基于通过所定义的色彩值标记的图像区域而组合成共同的或组合的视频信号。

21、因此，根据本发明的集成电路装置能够实现：在计算单元之外并且独立于计算单元，例如呈pc形式的计算单元，将各个视频信号组合成组合帧。因此借助于所定义的色彩值，组合成组合帧优选在不使用软件的情况下，而是仅借助于硬件组件进行。

22、开始提及的网络设备具有根据本发明的集成电路装置和物理接口，所述物理接口与集成电路装置的相应的接口连接。此外，网络设备包括多层的帧缓冲器，所述帧缓冲器与集成电路装置的帧缓冲器接口连接。

23、根据其它接口的类型，网络设备因此能够与视频源、视频接收器、其它网络设备连接，并且优选在使用附加的适宜的接口的情况下也与设备例如计算机单元、usb设备或pc等连接。

24、视频源原则上能够是任意的输出视频信号的装置。所述视频源例如能够包括照相机、医学成像模态，如x射线设备、计算机断层扫描仪、磁共振断层扫描仪、超声设备等，由软件和/或测量设备例如ecg、eeg等产生的视频信号，由数据存储器调用的视频信号等。尤其，第一层的视频数据优选借助于软件生成，如稍后还将详细描述的那样。

25、原则上，输出视频信号的任意装置用作为视频接收器。所述视频接收器例如能够包括监视器、显示器或其它显示装置、数据存储器、通向外部网络的连接等。

26、开始提及的计算机单元构成为用于生成第一层的视频数据，以传输给根据本发明的集成电路装置。在此，第一层的视频数据在可逐帧变化的第一图像区域中具有定义的色彩值。在第二区域中，第一层的视频数据包括软件生成数据，尤其是ui数据。

27、因此，计算机单元借助于软件为帧缓冲器的第一层生成视频数据。在优选与第一图像区域不同的第二图像区域中，所述视频数据尤其包括ui数据(用户接口数据)，即操作界面和/或用户界面的视频数据。

28、根据通过用户的交互或通过软件生成的事件，由ui数据填充的第二图像区域必要时会改变。例如通过打开或关闭弹出式菜单、下拉式菜单等，放大或缩小和/或改变第一图像区域和/或第二图像区域的布置。因为所述用户界面的这些变化通常包括重要的信息，所以它们优选保存在帧缓冲器的第一层的第二图像区域中，即具有最高优先级，并且随后在组合帧中读取或显示。

29、然而，用户界面的视频数据和由其占据的第二图像区域是可变的，使得它们能够从帧到帧地改变。此外，用户界面例如在多个折叠式子菜单的情况下具有复杂的形状。在这些要求下，尤其是用ui数据占据的第二图像区域没有借助于对帧缓冲控制装置的配置来实现。相反，根据本发明，所述第二图像区域借助于用所定义的色彩值掩蔽第一图像区域来空出，其方式为：仅在第一图像区域中显示来自帧缓冲器的低等级的层的其它视频数据。因此，第一图像区域尤其包括没有显示ui数据的图像区域。

30、利用上述组件形成开始提及的网络，在所述网络中尤其优选传输高分辨率的视频信号。所述网络包括多个根据本发明的网络设备，所述网络设备以优选已知的网络拓扑相互连接。必要时，所述网络如上所述还附加地包括其它组件。借助于适宜的路由，不同数据流的视频数据能够从相应的视频源传输至根据本发明的电路装置。此外，在根据本发明的电路装置中产生的组合帧或来自这种组合帧的视频流能够经由网络传输至期望的视频接收器并且在该处输出。

31、开始提及的用于处理视频数据的方法包括以下步骤，所述步骤借助于集成电路装置，尤其是fpga或asic执行。在第一步骤中接收来自多个数据流的视频数据。在另一步骤中，将来自多个数据流的视频数据写入帧缓冲器的不同层中。在此，第一层的视频数据在可逐帧变化的第一图像区域中具有定义的色彩值。

32、此外，从帧缓冲器中读取视频数据的组合帧。为此，使用所定义的色彩值来确定第一图像区域。在第一图像区域中，组合帧由第二层的视频数据形成，并且在其余区域中，使用第一层的视频数据形成组合帧。

33、网络设备的之前提及的组件的大部分能够完全或部分地以集成电路或逻辑阵列的形式实现。

34、但是，原则上，这些组件也能够部分地，尤其当其涉及特别快速的计算时，以软件支持的硬件的形式来实现，例如fpga、asic等。同样，所需的接口，例如当其仅涉及接收来自其它软件组件的数据时，也能够构成为软件接口。但是，其也能够构成为通过适宜的软件来操控的以硬件方式构建的接口。

35、主要基于软件的实现方案具有以下优点：至今使用的网络设备也能够以简单的方式通过部分改装和软件升级或重新配置集成电路装置(fpga)来改装，以便以根据本发明的方式工作。就此而言，所述目的也通过相应的计算机程序产品来实现，所述计算机程序产品能够配置到网络设备的可编程逻辑装置中，其具有程序段或逻辑指令，以便在为网络设备执行逻辑时，执行根据本发明的方法的步骤。除了计算机程序之外，这种计算机程序产品必要时还能够包括附加组成部分，例如文件和/或附加的组件，还有硬件组件，例如用于使用软件的硬件密钥(加密狗等)。

36、为了运送至网络设备和/或为了存储在网络设备中，能够使用计算机可读介质，例如记忆棒、硬盘或其它可运送或固定安装的数据载体，在其上存储有计算机程序的在集成电路装置上可编程和可执行的程序段。集成电路装置为此例如能够具有一个或多个一起工作的逻辑元件等。

37、此外，本发明的其它特别有利的设计方案和改进方案在以下的说明中得出，其中一种权利要求类别的权利要求也能够类似于属于另一种权利要求类别的权利要求和说明书部分来改进，并且尤其也能够将不同的实施例或变型方案的各个特征组合成新的实施例或变型方案。

38、在第二图像区域中，第一层的视频数据优选包括软件生成的数据，尤其是ui数据，如在上文中已经结合计算机单元描述的那样。

39、原则上可行的是，对于每个像素单独地检查：该像素的色彩值是否对应于所定义的色彩值。然而，在这种逐个像素的色彩值的情况下，如果例如在实际设置在第二图像区域中的图像或图形中偶然一个或少量像素具有定义的色彩值，则可能会产生伪影。

40、因此，第一图像区域逐行地具有所定义的色彩值的优选多个，意即至少2个，特别优选至少4个，更特别优选至少6个，最优选至少8个彼此相继的像点。在此，只有当一行的相应多个像素具有定义的色彩值时，第二层的视频数据才会被接收到组合帧中。由此能够减少或避免：低等级的层的视频数据不期望地在实际属于第二图像区域的像点处被接收。

41、优选地，软件的ui数据或用户界面具有已知的或者尤其在编程时可确定的配色方案。因此已知的是，哪些色彩值经常出现，而哪些色彩值很少或者完全不出现。

42、帧缓冲器优选包括多于两个的层。在此，相应较高等级的层具有带有定义的色彩值的第一图像区域，在所述第一区域中组合帧由低等级的层的视频数据形成。意即，最高等级的层，即第一层或最上层在组合帧中以最高优先级被接收，而第二层的视频数据仅在通过定义的色彩值掩蔽的图像区域中被接收。第二层的视频数据以下一优先级被接收，并且仅在第一层和第二层中通过定义的色彩值掩蔽的图像区域中，第三层的视频数据被接收，以此类推。

43、优选地，视频接口包括从分离的网络设备接收视频数据的网络接口。在此，“分离”表示在空间上分离。所述设备经由网络接口相互连接，意即经由适合于视频传输的网络相互连接。

44、低等级的层--即除了第一层以外的层--的视频数据的组合优选在第一图像区域内作为线性组合进行。这例如能够借助于以下公式进行。

45、vc(x)＝α*l3(x)+(1-α)*l2(x)。

46、在此，vc(x)表示在组合帧中在像点x处的色彩值。该色彩值由在第二层l2(x)的像点x处的色彩值(或三个rgb值)与在第三层l3(x)的像点x处的色彩值的线性组合组成。在此，α是位于0和1之间的值，并且将第三层l3的色彩值相对于第二层l2的色彩值进行加权。换言之，在这两层之间执行阿尔法混合或部分透明的叠加。

47、借助于在第一图像区域中的阿尔法混合，因此实现：相应的视频数据获得部分透明或半透明的光学效果。

48、帧缓冲器接口和帧缓冲器优选构成为，至少在帧缓冲器的不同区域中能够同时进行写访问和读访问。由此，对帧缓冲器的访问能够以时间上高效的方式被控制。

49、如果帧缓冲器包括多于两个的层，所有层都能够使用刚好一个共同的色彩值作为定义的色彩值，以用于遮蔽第一图像区域。

50、替选地，每个层优选具有自身的定义的色彩值。由此能够有利地为每个层确定定义的色彩值，所述色彩值尽可能与第二图像区域的保存在相应的层中的视频数据互补。在上文中已经详细描述了相应的色彩值的确定。

51、在最低层或具有最低优先级的层中，没有保存视频数据的图像区域能够用背景颜色或背景图形来填充。借助于这种默认颜色或默认图形，能够在组合帧中实现视觉上更有吸引力的外观。

52、计算机单元优选生成ui数据，使得其包括鼠标指针的视频数据。也就是说，借助于计算单元确定鼠标指针的位置，所述位置由于借助于鼠标进行的用户输入而被检测到。鼠标指针作为第一层的视频数据被写入帧缓冲器中，并且相应地没有用定义的色彩值进行遮蔽，使得所述鼠标指针在组合帧中被输出。根据显示器的背景或鼠标指针的位置，能够借助于软件为鼠标指针设有不同的符号。

53、优选地，视频数据至少包括高分辨率的视频数据或视频信号(根据高清视频标准(hd-video-standard))。在本发明的意义上，视频数据被理解为：所述视频数据至少具有hdtv常见的在50fps的图像重复速率或帧速率的情况下为1280x720个像素的图像分辨率。然而，分辨率优选地为1920x1080个像素。当然，借助于集成电路装置仍然能够处理和传输较低分辨率的视频信号。

54、特别优选的是，视频数据包括超高分辨率的视频数据(根据uhd视频标准(uhd-video-standard))。“超高分辨率的视频数据”理解为分辨率为4k或以上的视频数据。“4k”表示：分辨率位于每行4000个像素的数量级中，例如为3840、4096等。特别优选的是，视频数据还包括分辨率为8k(约每行8000像素)的视频数据。这特别有利于即使在较大的显示机构上也实现细节准确的显示。

55、优选的是，借助于帧缓冲器控制装置分别为视频数据的数据流分配在帧缓冲器中的位置，使得限定相应的数据流的视频数据在帧中的布置。在此，帧缓冲器控制装置--特别优选根据用户的预设--配置为，使得其借助于各个原始视频信号的帧分别在帧缓冲器中所保存的相应的位置来控制在所产生的组合帧中的位置。因此，各个视频信号能够根据需求有利地组合。

56、附加地或替选地，集成电路装置优选具有窗口控制单元，在帧缓冲器中的视频数据的数据流的位置移位时，窗口控制单元重置被空出的位置。数据流的位置的移位在此通过改变帧缓冲控制装置的配置进行。

57、因此，借助于窗口控制单元有利地确保：在组合视频信号中仅包含当前信息。这例如能够如下进行：将相应的位置设置为背景值，或者将之前保存的视频信号的阿尔法值设置为零。

58、优选地，网络设备包括与集成电路装置连接的处理器。此外，网络设备还根据需求借助于集成电路装置所包括的udp单元配置用于图像处理的参数和/或各个数据流的视频数据的路由。

59、处理器例如处理用户输入并且将相应的udp数据发送给udp单元。udp单元将udp数据翻译成适合于写访问的格式，以用于配置网络设备的其它组件。

60、用于重新配置视频数据的路由或用于图像处理的参数的相应的指令能够作为udp数据借助于网络传输给其它网络设备或相应的目标网络设备。