一种基于数字信号处理器的多画面拼接显示设备的制作方法
【专利摘要】本发明公开了一种基于数字信号处理器的多画面拼接显示设备，该设备包括：网络接口数据传输模块将解复用的多个单路视频数据发送至视频解码模块；单路视频数据对应视频源，单路视频数据包括一个或多个单帧视频数据；视频解码模块对单帧视频数据进行解码；每片数字信号处理器读取并压缩调度信息中指示的单帧视频数据并存储于相应的存储块中，存储块与视频源存在一一对应关系；每片数字信号处理器分别读取各存储块中压缩的单帧视频数据并由视频编码模块编码，输出。本发明有效地解决了多画面拼接技术实时性差、存储容量不足以及处理能力差的问题，提升了多画面拼接技术的实时性，提高了存储容量以及对大量路数的视频进行并行处理的能力。
【专利说明】一种基于数字信号处理器的多画面拼接显示设备
【技术领域】
[0001]本发明涉及图像视频处理【技术领域】，特别是涉及一种基于数字信号处理器的多画面拼接显示设备。
【背景技术】
[0002]随着数字化时代的到来，人类认知事物的深度和广度进一步增加，对迅速获取大信息量的需求也随之加大。信号处理技术、网络技术、通信技术的不断成熟，使得视频处理技术得到了广泛发展，也使得视频的使用成为了人类及时快速地获取大量信息的有效手段。交互式网络电视(IPTV, Interactive Personality TV)技术的逐渐普及与推广,使得用户可以得到高质量的数字媒体服务和获得极为广泛的自由度来选择各类视频节目。
[0003]视频处理技术包括视频信号的采集、处理和输出。其中，最核心的部分是处理部分。具体而言，类似于IPTV的各类视频节目的网络视频图像的光纤多路复用是快速且有效的视频采集方式。处理部分接收前端采集的视频数据，针对视频数据完成既定的处理算法，并将组织好的视频数据传送到下一步。输出部分，按照设定好的视频信号标准，将处理完的视频数据输出。输出的目的端可以是电视信号、计算机视频信号，也可以是各种视频接口、显示器和控制台。
[0004]进一步地，在视频处理技术中，实时性是非常重要的性能指标。早期的视频处理系统，由于核心处理器件的性能限制，往往不能处理太大的视频图像，而对于如今分解力和中贞频更大的VGA (Video Graphics Array,视频图形阵列)或者DVI (Digital VisualInterface，数字视频接口)标准的RGB图像，处理起来难度很大，特别是针对大量多路视频信号的处理，处理速度和难度大大增加，因此对视频处理的能力要求也大大增加。
[0005]为了使类似于IPTV的各类视频节目更加直观，进而产生了多画面拼接技术，来实现多个视频节目的多画面显示。多画面拼接技术是将多个视频源的不同分辨率的视频图像信号进行缩小处理之后，在同一个显示终端上为用户呈现多画面效果，从而为用户提供最大的信息量。其中，视频源可以包括摄像机、计算机、电视机、网络等。
[0006]但是，由于视频处理技术所存在的问题，致使多画面拼接技术具有以下几个方面的局限性:1、实时处理能力差，由于多画面拼接要同时采集多个视频，因此，现有的设备很难满足要求输出时的实时性要求。2、对输入的视频质量有限制，由于传统的多画面拼接设备存储容量有限，对高清大容量视频无法处理。3、对多路视频的路数有限制，仅能对几路信号进行处理拼接，对过多的视频路数无法处理。
【发明内容】
[0007]针对现有技术的多画面拼接技术实时性差、存储容量不足以及不能对过多的视频路数进行处理的问题，本发明提出了一种基于数字信号处理器的多画面拼接显示设备，以提升多画面拼接技术的实时性，提高存储容量以及对大量路数的视频进行处理的能力。
[0008]为解决上述技术问题，本发明提供的一种基于数字信号处理器的多画面拼接显示设备包括:网络接口数据传输模块、视频解码模块、本地管理模块、一片或多片数字信号处理器、视频编码模块，显示器；其中:网络接口数据传输模块将接收到多路视频数据解复用多个单路视频数据，并将接收到的一个或多个单路视频数据和解复用的所述多个单路视频数据发送至视频解码模块；其中，每个所述单路视频数据对应一个视频源，所述单路视频数据包括一个或多个单帧视频数据；视频解码模块对每个单帧视频数据进行解码；本地管理模块根据每片数字信号处理器当前处理的单帧视频数据量生成调度信息，以控制每片数字信号处理器读取所述调度信息中所指示的单帧视频数据；每片所述数字信号处理器对读取的所述单帧视频数据进行压缩，并将压缩后的单帧视频数据存储于相应的存储块中；其中，所述存储块与视频源存在一一对应关系，并且每个存储块对应显示器中的一个显示区域；每片所述数字信号处理器分别读取各个存储块中压缩后的单帧视频数据，并输出给视频编码模块；所述视频编码模块分别编码各个存储快中压缩后的单帧视频数据，并输出给显示器，以在对应的一个或多个显示区域中并行显示所述多路视频数据。
[0009]其中，还可以包括:预先将所述一片或多片数字信号处理器共享的存储单元划分为一个或多个存储块；为每个存储块分配网络地址；在所述每个存储块的网络地址与一视频源的网络地址之间设置对应关系，以实现存储块与视频源的一一对应。
[0010]其中，还可以包括:每片数字信号处理器与外部存储器模块相连接。
[0011]其中，所述每片数字信号处理器包括单帧视频数据输入口和先入先出队列数据缓冲区；所述输入口接收单帧视频数据，并根据先入先出规则将接收到的单帧视频数据存储于先入先出队列数据缓冲区中。
[0012]其中，所述每片数字信号处理器还包括以太网媒体存取控制器，其中:以太网媒体存取控制器将先入先出队列数据缓冲区中的每个单帧视频数据传送到对应的外部存储器模块中，以便数字信号处理器对所述外部存储器模块中的单帧视频数据进行压缩、拼接操作。
[0013]本发明有益效果如下:
[0014]本发明利用DSP具有实时处理能力强的特点，来处理采集的多路视频，使本发明提供的设备在视频输出上具有较好的实时性，提高了多画面拼接的处理能力和实时性。并且，本发明利用DSP能够扩展存储单元的优势，进而提升了多画面拼接的存储容量，能够对多路不同分辨率不同容量的视频进行拼接处理，使多画面拼接更具可靠性。
【专利附图】
【附图说明】
[0015]图1是根据本发明一实施例的基于数字信号处理器的多画面拼接显示设备的结构示意图；
[0016]图2是根据本发明一实施例的基于数字信号处理器的多画面拼接显示设备的工作流程图；
[0017]图3是根据本发明一实施例的网络接口数据传输模块的结构示意图；
[0018]图4是根据本发明一实施例的DSP的结构示意图；
[0019]图5是根据本发明一实施例的以太网媒体存取控制器的结构示意图；
[0020]图6是根据本发明一实施例的多路视频数据拼接示意图。【具体实施方式】
[0021]为了解决现有技术多画面拼接技术实时性差、不能对过多的视频路数进行处理的问题，进一步地解决了存储容量不足的问题。本发明提供了一种基于数字信号处理器的多画面拼接显示设备。
[0022]数字信号处理器(Digital Signal Processor, DSP),是专门用于图像处理、视频处理的面向密集数据计算的一种处理器。DSP具有实时处理和容量可扩展等特点，利用DSP在图像视频处理中的优势，通过多片DSP来实现对多路视频数据的处理与拼接有着高性能的优势。
[0023]以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
[0024]如图1所示，图1是根据本发明一实施例的基于数字信号处理器的多画面拼接显示设备的结构示意图。
[0025]该设备可以包括网络接口数据传输模块101、视频解码模块102、DSP核心处理模块103、视频编码模块104、电源模块105、外部存储器模块106、本地管理模块(LocalManagement Processor, LMP) 107、时钟模块108、存储单兀109、显不器(未不出)等等。
[0026]网络接口数据传输模块101可以用于通过网络接口接收光纤多路复用网络传输的单路视频数据和多路视频数据，并将多路视频数据解复用，以及用于将经过DSP核心处理模块103拼接处理的视频数据发送至网络。其中，对多路视频数据解复用是指将多路视频数据解复用为多个单路视频数据，并将接收的单路视频数据和解复用后的单路视频数据发送至视频解码模块102。具体的，可以通过网络接口包含的以太网收发器件把网络上接收的网络物理层的比特流转化成以太网帧数据，所以，每个单路视频数据对应一个视频源，每个单路视频数据都包括一个或多个单帧视频数据，每个单帧视频数据包含其所属的视频源信息。该视频源可以包括:摄像机、计算机、电视机、网络等。
[0027]视频解码模块102用于将接收到的单路视频数据进行解码。进一步地，视频解码模块102可以用于对单路视频数据中的一个或多个单帧视频数据进行解码，以提供给DSP核心处理模块103进一步处理。
[0028]DSP核心处理模块103可以包括一片或多片DSP，每片DSP可以用于将由视频解码模块102解码的单路视频数据中的帧视频数据进行压缩、拼接等处理，并将压缩、拼接后的视频数据发送至视频编码模块104进行编码处理。
[0029]视频编码模块104可以用于将视频数据的压缩、拼接后的视频数据进行编码处理，然后通过网络接口数据传输模块101中的网络接口进行网络传输并显示。
[0030]电源模块105可以用于各个模块的元器件供电，需要供电的模块包括网络接口数据传输模块101、视频解码模块102、DSP核心处理模块103、视频编码模块104、电源模块105、外部存储器模块106、本地管理模块107、时钟模块108等。
[0031]外部存储器模块106可以用于对DSP的存储容量进行扩展。由于一帧视频数据的数据量较大，所以同时采集到的多帧视频数据对容量需求较高，仅有DSP的片上存储器是远远不够的，为此系统需扩展外部存储器。进一步地，每DSP与外部存储器模块106相连接以扩展DSP的存储容量。
[0032]本地管理模块107可以用于一片或多片DSP之间的任务调度。由于需要一片或多片DSP并行的处理多路视频数据，所以本地管理模块107可以根据一片或多片DSP当前处理单帧视频数据量来生成调度信息，以控制每片DSP读取调度信息中所指示的单帧视频数据。调度信息可以包括DSP的基本信息、该DSP需要读取的单帧视频数据、该DSP需要写入的单帧视频数据等等。
[0033]时钟模块108可以用于本地管理模块107与DSP核心处理模块103之间的时钟同步，以方便本地管理模块107对DSP核心处理模块103进行任务调度。
[0034]存储单元109作为DSP核心处理模块103的存储单元，用于将每片DSP处理后的视频数据进行存储。
[0035]显示器可以用于显示多路视频数据。
[0036]结合图2-图6对图1中的各个模块的功能以及本发明进行详细说明。
[0037]如图2所示，图2是根据本发明一实施例的基于数字信号处理器的多画面拼接显示设备的工作流程图。
[0038]步骤S201，接收多路复用光纤网络所传输的视频数据，并将多路视频数据为多个单路视频数据。其中，每个单路视频数据对应一个视频源，并且每个单路视频数据都包括一个或多个单帧视频数据。
[0039]具体而言，每个视频源可以通过多路复用光纤网路向网络接口数据传输模块101传输一个或多个视频数据流，网络接口数据传输模块101可以通过解析网络协议对一个或多个视频数据流进行解析，解析后的每个视频数据流可以包括单路视频数据和/或多路视频数据。解析网络协议例如是传输控制协议/因特网互联协议(Transmission ControlProtocol/Internet Protocol, TCTIP)、用户数据包协议(User Datagram Protocol, UDP)等。由网络接口数据传输模块101将接收到多路视频数据解复用为多个单路视频数据，并将单路视频数据转化成一个或多个单帧视频数据。其中，多路视频数据的视频源是相同的，在未解复用之前，该多路视频数据通过同一物理介质传输。例如有线电视线只有一根，但是可以同时传输多路电视信号，而且源头都是播发节点。网络接口数据传输模块101将单路视频数据中的一个或多个单帧视频数据发送(输出)至视频解码模块102。
[0040]例如:如图3所示，图3是根据本发明一实施例的网络接口数据传输模块的结构示意图。视频源I通过其发送端I将视频数据I (单路视频数据)进行编码形成视频数据数据流1，并将视频数据流I发送至网络接口数据传输模块101。视频源2通过其发送端2，将视频数据2至视频数据m (m > 2)复合在一起后进行编码形成视频数据流2 (多路视频数据)，并将该视频数据流2发送到网络接口数据传输模块101。网络接口数据传输模块101接收视频数据流I和视频数据流2，通过解析网络协议对视频数据流I和视频数据流2进行解析，得到视频数据流I中的有效数据，即视频数据1，得到视频数据流2中的有效数据，即视频数据2至视频数据m，该视频数据2至视频数据m是混合在一起的视频数据。通过解复用将多路混合在一起的视频数据分离为多个单路视频数据，也即是将混合在一起的视频数据2至视频数据m进行分离。视频数据I无需解复用可以直接做输出处理，视频数据2至视频数据m需要解复用后可以做输出处理。
[0041]步骤S202，对单路视频数据进行解码，也即是对单路视频数据中的每个单帧视频数据进行解码。
[0042]具体而言，视频解码模块102可以将每个单路视频数据进行解码。解码后的视频数据可以是具有标准格式的数字视频流，例如是BT.656YUV4:2:2的标准数字视频流。该解码后视频数据可以提供给DSP核心处理模块103中的DSP进行处理。
[0043]步骤S203，根据调度信息，每片DSP对解码后的视频数据进行压缩和拼接。
[0044]如图4所示，是根据本发明一实施例的DSP的结构示意图。
[0045]DSP内部集成了以太网媒体存取控制器(EMAC) 402、视频口 403、外部存储器扩展接口(EMIFA) 404。
[0046]其中，EMAC控制器402与网络接口 407相连接，可以用于负责以太网网帧的收发和控制，EMAC控制器402可以接收按照网络标准802.3打包成的网络数据。该网络接口 407可以是DSP外部网络接口，EMAC控制器402接收的网络数据可以是本地管理模块107发送
的调度信息。
[0047]以太网媒体存取控制器402的结构示意图如图5所示。EMAC控制器402可以包括EMAC控制单元、输入输出管理单元(MDIO)和EMAC单元。EMAC控制单元可以用于控制MDIO单元和EMAC单元，例如单元的开启、关闭等。EMAC单元提供了媒体独立接口(Mil bus)，能够和网络接口 407中的以太网网络收发器(物理层器件)连接并传送网络数据。MDIO单元提供MDIO总线接口(MD10 bus)可以控制网络接口 407中的以太网收发器件的配置和监视该以太网收发器件的状态。
[0048]视频口 403可以包括3个可编程的子视频口 VPO、VPU VP2，用于和各种视频解码芯片(视频解码模块102)无缝连接，无需译码电路。DSP的视频口 403还可以包括先入先出队列数据缓冲区(First Input First Output，FIFO) 401，FIFO数据缓冲区401进一步可以被划分为亮度信号Y缓冲器、蓝色差信号Cb缓冲器和红色差信号Cr缓冲器，用来接收来自视频解码模块102输出的视频数据，并将其存储的帧视频数据输送到DSP内存。
[0049]外部存储器扩展接口(EMIFA) 404的数据总线宽度64位可划分为4个存储单元，每个空间的大小为256MB。本发明EMIFA接口 404的扩展包括外部存储器模块106，在该外部存储器模块106中包括同步动态随机存储器SDRAM扩展406和程序存储器FLASH扩展405。其中，同步动态随机存储器SDRAM扩展406是对DSP内存的扩展，用于对多路大容量的视频图像数据的存储。程序存储器FLASH扩展405用于存储程序的运行代码，是数据掉电不消失的程序存储器，该程序存储器FLASH扩展405具有存储数据快速、容量大、掉电不丢失数据、在线可编程、有足够多的擦除次数等优点。
[0050]基于具有上述结构的DSP，可以在一片或多片DSP中并行地处理多路视频数据。为了降低多片DSP同时处理视频数据容易造成数据冲突问题，本发明引入本地管理模块107作为多片DSP之间的任务调度器，对不同的DSP分配任务，以防止多片DSP之间的冲突。例如，采用负载均衡技术，使每片DSP处理相应的一路或多路视频数据，且每片DSP的处理数量均匀。本地管理模块107还可以将DSP的读出和写入操作按任务进行分配，以防止冲突的发生。例如:可以使一片或多片DSP读写同步，以防止多片DSP同时读写同一内存空间而出现的错屏现象。本地管理模块107可以根据一片或多片DSP当前处理的任务生成针对各个DSP的调度信息并向各个DSP发送。此外，为了保证多片DSP和本地管理模块107能够在时间上的同步，因此，在多片DSP和本地管理模块107的时钟上引入时钟模块108，以保证时钟信号的统一，也保证了任务分配和执行的顺序性。
[0051]根据上述内容，针对每片DSP对解码后的视频数据进行处理和拼接的步骤，具体而言，视频解码模块102将解码后的一个或多个单帧视频数据提供给各个DSP，每片DSP根据本地管理模块107发送的调度信息，读取该调度信息中所指示的单路视频数据中的单帧视频数据。进一步地，可以预先将视频口 403的VPO 口和VP2 口配置为单帧视频数据输入口，可以实现单片DSP并行处理多路视频数据。并将读取的单帧视频数据通过子视频口VP0、VP2置于FIFO数据缓冲区401。进一步地，两个单帧视频数据输入口可以分别接收2路单帧视频数据，并根据先入先出规则将接收到的单帧视频数据存储于FIFP数据缓冲区401中。VPO 口可以负责接收2路单帧视频数据，VP2 口可以负责接收另外2路单帧视频数据。并按照先进先出的规则，将单帧视频数据的亮度信号Y、蓝色差信号Cb和红色差信号Cr，自动被分配到FIFO缓冲区401中的各自的缓冲区，以方便DSP核心的进一步处理。其中，亮度信号Y、蓝色差信号Cb和红色差信号Cr三者的采样比率关系为4:2:2的关系。
[0052]根据先入先出规则，EDMA控制器402将FIFO数据缓冲区401中的每个单帧视频数据传送到对应的外部存储器模块中，以便DSP对外部存储器模块中的单帧视频数据进行压缩、拼接操作。具体而言，EDMA控制器402不断的将FIFO缓冲区401中的每个单帧视频数据的亮度信号Y、蓝色差信号Cb和红色差信号Cr，并传送到同步动态随机存储器SDRAM扩展406中。DSP将同步动态随机存储器SDRAM扩展406的单帧视频数据进行压缩、拼接，以实现多画面显示多路视频数据。压缩方法可以包括:行程长度编码、熵编码等。
[0053]如图6所示，是根据本发明一实施例的多路视频数据拼接示意图。
[0054]具体而言，预先将一片或多片DSP所共享的存储单元109划分为一个或多个存储块，如，存储块1、存储块2、存储块3……、存储块η (η > 0)，且各个存储块的存储空间可以相等。为每个存储块分配网络地址，在每个存储块的网络地址与一视频源的网络地址之间设置对应关系，使每个网络地址对应一个视频源，即存储块与视频源存在一一对应关系。此外，本发明的多画面拼接显示设备，还可以包括一个显示器，显示器包括一个或多个显示区域，用于显示拼接好的多路视频数据。预先设置虚拟的视频拼接区域，该视频拼接区域可以与显示器相对应。将视频拼接区域划分为若干个视频源子块，图6中子块1、子块2、子块3……、子块η。一个子块与一个存储块对应，也即是说，一个存储块对应显示器中的一个显示区域，以用来显示一个视频源的视频数据，这样将各个子块的视频数据拼接在一起，来显示多个视频源的视频数据。
[0055]DSP确定同步动态随机存储器SDRAM扩展406中的单帧视频数据所属的视频源。例如，单帧视频数据与所属的视频源具有相同的网络地址，则查找与单帧视频数据具有相同网络地址的视频源，进而确定该单帧视频数据所属的视频源。DSP采用对单帧视频数据进行缩放的方式，来将不同分辨率的单帧视频数据压缩为目标图像。各个存储块中的目标图像具有相同的分辨率。针对目标图像，DSP将每个目标图像写入该目标图像(单帧视频数据)所属的视频源所对应的存储块中。从而完成了对多路视频数据的压缩和拼接。
[0056]步骤S204:将压缩、拼接后的视频数据进行编码，并输出给显示器进行多画面显
/Jn ο
[0057]视频编码模块分别编码各个存储快中压缩后的单帧视频数据，并输出给显示器，以在对应的一个或多个显示区域中并行显示所述多路视频数据。
[0058]具体而言，DSP从存储单元109的各个存储块中分别读取目标图像，即压缩后的单帧视频数据，输出给视频编·码模块104，以将目标图像编码为可以多路视频数据一同显示的视频数据。更具体地，具体而言，可以将视频口 403中的VPl 口作为视频输出口，将目标图像通过VPl 口输出至视频编码模块104进行编码。该编码例如是:将BT.656格式的视频数据重新编码为其他格式。在编码过程中将来自同一存储块的目标图像编码为视频数据，并且在该编码后的视频数据中可以包括其在视频拼接区域中的位置，即所处的子块。视频编码模块104通过网络接口数据传输模块101的网络接口将编码后的视频数据输出给显示器，以在显示器中实时地显示多路视频数据。
[0059]以上所述，仅为本发明的一种方案设计而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0060]尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。
【权利要求】
1.一种基于数字信号处理器的多画面拼接显示设备，其特征在于，所述设备包括:网络接口数据传输模块、视频解码模块、本地管理模块、一片或多片数字信号处理器、视频编码模块，显示器；其中: 网络接口数据传输模块将接收到多路视频数据解复用多个单路视频数据，并将接收到的一个或多个单路视频数据和解复用的所述多个单路视频数据发送至视频解码模块；其中，每个所述单路视频数据对应一个视频源，所述单路视频数据包括一个或多个单帧视频数据； 视频解码模块对每个单帧视频数据进行解码； 本地管理模块根据每片数字信号处理器当前处理的单帧视频数据量生成调度信息，以控制每片数字信号处理器读取所述调度信息中所指示的单帧视频数据； 每片所述数字信号处理器对读取的所述单帧视频数据进行压缩，并将压缩后的单帧视频数据存储于相应的存储块中；其中，所述存储块与视频源存在一一对应关系，并且每个存储块对应显示器中的一个显示区域； 每片所述数字信号处理器分别读取各个存储块中压缩后的单帧视频数据，并输出给视频编码模块； 所述视频编码模块分别编码各个存储快中压缩后的单帧视频数据，并输出给显示器，以在对应的一个或多个显示区域中并行显示所述多路视频数据。
2.如权利要求1所述的设备，其特征在于，还包括: 预先将所述一片或多片数字信号处理器共享的存储单元划分为一个或多个存储块； 为每个存储块分配网络地址； 在所述每个存储块的网络地址与一视频源的网络地址之间设置对应关系，以实现存储块与视频源的 对应。
3.如权利要求1或2所述的设备，其特征在于，还包括:每片数字信号处理器与外部存储器模块相连接。
4.如权利要求3所述的设备，其特征在于: 所述每片数字信号处理器包括单帧视频数据输入口和先入先出队列数据缓冲区； 所述输入口接收单帧视频数据，并根据先入先出规则将接收到的单帧视频数据存储于先入先出队列数据缓冲区中。
5.如权利要求4所述的设备，其特征在于:所述每片数字信号处理器还包括以太网媒体存取控制器，其中: 以太网媒体存取控制器将先入先出队列数据缓冲区中的每个单帧视频数据传送到对应的外部存储器模块中，以便数字信号处理器对所述外部存储器模块中的单帧视频数据进行压缩、拼接操作。
【文档编号】H04N21/431GK103686307SQ201310722270
【公开日】2014年3月26日 申请日期:2013年12月24日 优先权日:2013年12月24日
【发明者】伊然, 韩暋, 龚飞, 贾凡, 王宗超, 党静雅, 张丽君, 熊永革, 杨陟, 李新生 申请人:北京航天测控技术有限公司