图文叠加方法及装置与流程

本发明涉及广播电视技术领域，具体而言，涉及一种图文叠加方法及装置。

背景技术：

随着科学技术的发展及人民生活水平的提高，视频已成为人们工作、学习、社交以及休闲娱乐中不可替代的重要方式。目前，在视频编辑系统中，常用的图文叠加编码方案为先将视频信号经过字幕机或者采编系统对视频信号进行图文叠加处理，然后再将视频信号经过sdi、hdmi接口发送至编码器，编码器将处理后的视频进行编码后进行传输。其中，字幕机会将视频信号经过ad/da转换，从而损失视频质量。且现有方法中搭建系统时设备数量多，成本较高。

技术实现要素：

有鉴于此，本发明的目的在于提供一种图文叠加方法及装置，以解决上述问题。

本发明较佳实施例提供一种图文叠加方法，应用于图文叠加终端，所述方法包括：

将接收到的视频流数据转换为数字视频流；

获取图文数据；

将转换后的数字视频流与获得的所述图文数据进行图层叠加，生成包含图文数据的数字视频流；

对包含图文数据的数字视频流进行压缩编码生成带有图文数据的ts流数据。

进一步地，所述图文叠加终端包括多个输入接口，所述将接收到的视频流数据转换为数字视频流的步骤之前，所述方法还包括：

将所述多个输入接口转换为标准的数字视频接口；

通过所述数字视频接口接收输入的视频流数据；

所述对包含图文数据的数字视频流进行压缩编码生成带有图文数据的ts流数据的步骤之后，所述方法还包括：

将所述ts流数据通过asi接口或ip接口进行输出。

进一步地，所述将转换后的数字视频流与获得的所述图文数据进行图层叠加，生成包含图文数据的数字视频流的步骤，包括：

配置所述图文数据的叠加信息；

按照所述叠加信息将所述图文数据与所述数字视频流中的各帧视频图像进行图层叠加，生成包含图文数据的数字视频流。

进一步地，所述方法还包括：

设定一线性递增的参考时钟；

根据所述参考时钟将转换后的数字视频流中的每个视频数据块添加上时间戳；

根据所述参考时钟按预设规则将所述图文数据添加上时间戳，其中，所述图文数据的时间戳包括所述图文数据显示的开始时间、显示的结束时间以及显示的频率；

读取所述数字视频流中的每个视频数据块上的时间戳和所述图文数据上的时间戳，按所述预设规则将所述图文数据显示在视频图像上。

进一步地，所述图文叠加终端能够与外部终端通信连接，所述图文数据为从本地存储器中所获得，或者是从与所述图文叠加终端通信连接的所述外部终端中所获得。

进一步地，所述图文数据包括台标、文字字幕、节目名称、时钟、二维码、节目预告、倒计时以及预定图片。

进一步地，所述图文数据包括图片数据和文字数据，配置的所述图文数据的叠加信息包括所述图片数据和/或所述文字数据的叠加位置和叠加透明度、所述文字数据的字体显示颜色和背景颜色。

本发明另一较佳实施例提供一种图文叠加装置，应用于图文叠加终端，所述图文叠加装置包括转换模块、获取模块、叠加模块以及编码模块；

所述转换模块用于将接收到的视频流数据转换为数字视频流；

所述获取模块用于获取图文数据；

所述叠加模块用于将转换后的数字视频流与获得的所述图文数据进行图层叠加，生成包含图文数据的数字视频流；

所述编码模块用于对包含图文数据的数字视频流进行压缩编码生成带有图文数据的ts流数据。

进一步地，所述叠加模块包括配置单元以及图层叠加单元；

所述配置单元用于配置所述图文数据的叠加信息；

所述图层叠加单元用于按照所述叠加信息将所述图文数据与所述数字视频流中的各帧视频图像进行图层叠加，生成包含图文数据的数字视频流。

进一步地，所述图文叠加装置还包括设定模块、第一添加模块、第二添加模块以及读取模块；

所述设定模块用于设定一线性递增的参考时钟；

所述第一添加模块用于根据所述参考时钟将转换后的数字视频流中的每个视频数据块添加上时间戳；

所述第二添加模块用于根据所述参考时钟按预设规则将所述图文数据添加上时间戳，其中，所述图文数据的时间戳包括所述图文数据显示的开始时间、显示的结束时间以及显示的频率；

所述读取模块用于读取所述数字视频流中的每个视频数据块上的时间戳和所述图文数据上的时间戳，按所述预设规则将所述图文数据显示在视频图像上。

本发明实施例提供的图文叠加方法及装置，通过将输入的视频流数据与获得的图文数据进行图层叠加，然后再将包含图文数据的视频流进行压缩编码，最后进行视频输出。该图文叠加方案，提高了系统集成度，既保证了视频信号的质量，又节省了设备数量且降低了生产成本。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的一种图文叠加终端的示意性结构框图。

图2为本发明较佳实施例提供的一种图文叠加方法的流程图。

图3为本发明较佳实施例提供的图文叠加方法的另一流程图。

图4为图2中步骤s103的子步骤的流程图。

图5为本发明较佳实施例提供的图文叠加方法的另一流程图。

图6为本发明较佳实施例提供的图文叠加装置的功能模块框图。

图7为本发明较佳实施例提供的叠加模块的功能模块框图。

图8为本发明较佳实施例提供的图文叠加装置的另一功能模块框图。

图标：100-图文叠加终端；110-图文叠加装置；111-转换模块；112-获取模块；113-叠加模块；1131-配置单元；1132-图层叠加单元；114-编码模块；115-接口转换模块；116-接收模块；117-设定模块；118-第一添加模块；119-第二添加模块；1110-读取模块；120-处理器；130-存储器。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1，为本发明较佳实施例提供的一种图文叠加终端100的示意性结构框图。所述图文叠加终端100包括图文叠加装置110、处理器120及存储器130。其中，所述存储器130与处理器120之间直接或间接地电性连接，以实现数据的传输或交互。所述图文叠加装置110包括至少一个可以软件或固件的形式存储于所述存储器130中或固化在所述图文叠加装置110的操作系统中的软件功能模块。所述处理器120用于执行存储器130中存储的可执行模块，例如所述图文叠加装置110包括的软件功能模块或计算机程序。在本实施例中，所述图文叠加装置110可以是独立的具有数据处理能力的终端设备。

如图2所示，是本发明实施例提供的一种应用于图1所示的图文叠加终端100的图文叠加方法的示意性流程图。所应说明是，本实施例提供的方法不以图2及以下所述的顺序为限制。下面将对图2所示的具体流程进行详细的阐述。

步骤s101，将接收到的视频流数据转换为数字视频流。

步骤s102，获取图文数据。

步骤s103，将转换后的数字视频流与获得的所述图文数据进行图层叠加，生成包含图文数据的数字视频流。

可选地，在本实施例中，所述图文叠加终端100包括多个输入接口，为了方便后续对视频信号进行处理，请参阅图3，在本实施例中，所述图文叠加方法还包括以下步骤：

步骤s201，将所述多个输入接口转换为标准的数字视频接口。

步骤s202，通过所述数字视频接口接收输入的视频流数据。

可选地，在本实施例中，需要将模拟视频或者hdmi接口、sdi接口转换成标准的数字视频接口，例如标准的bt656(标清)或者bt709(高清)数字视频接口。然后通过该数字视频接口接收输入的实时视频流数据，并将该视频流数据转换为数字视频流。可选地，在本实施例中，所述图文叠加终端100能够与外部终端进行通信连接。用户可以通过网络进行远程操作，从而将图文数据发送至所述图文叠加终端100。所述图文叠加终端100也可以将待叠加的图文数据存储至本地存储器中，以便于在所述图文叠加终端100在处于离线状态时，也能够实现图文叠加功能。因此，在本实施例中，获取图文数据的途径可以是从与所述图文叠加终端100通信连接的外部终端获取，或者是从所述图文叠加终端100的本地存储器所获取。然后将获取到的图文数据与转换后的数字视频流进行图层叠加，生成包含图文数据的数字视频流。

可选地，请参阅图4，在本实施例中，步骤s103可以包括步骤s1031和步骤s1032两个子步骤。

步骤s1031，配置所述图文数据的叠加信息。

步骤s1033，按照所述叠加信息将所述图文数据与所述数字视频流中的各帧视频图像进行图层叠加，生成包含图文数据的数字视频流。

在本实施例中，所述图文数据包括台标、文字字幕、节目名称、二维码、节目预告、倒计时以及预定图片等。要将上述图文数据与数字视频流中的视频图像进行图层叠加，首先在进行图层叠加之前，还需要对图文数据的叠加信息进行配置。例如，配置的图文数据的叠加信息包括图片数据和/或文字数据的叠加位置和叠加透明度、文字数据的字体显示颜色和背景颜色等等。在本实施例中，可对图片数据的叠加位置和叠加透明度、文字数据的字体显示颜色和背景颜色等进行灵活配置。

然后按照配置好的叠加信息将图文数据叠加至相应帧的视频图像中。可选地，在本实施例中，在进行图层叠加时，可以将多个图文数据叠加至同一帧视频图像上，以实现多图层叠加功能。可选地，在本实施例中，可通过fpga实现图文数据与视频数据流的图层叠加。

其中，台标是一个频道的标志，用户可以根据实际需求自行设置台标。应当理解，同一个频道的所有节目均运用同一个台标，因此，对于同一个频道，无需将台标与该频道的多个节目进行一一对应。只需将设置的台标叠加至数字视频流中的每帧图像图层即可。

文字字幕包括简短的文字信息及广告信息等，应当理解该文字字幕也可以是针对每个节目中的播放内容来显示的，其中，文字字幕与节目中的语音是对应的，因此该文字字幕可以是首先通过自动语音识别来获取到或者是通过人工编辑获取到的。

二维码是用户自行设定的链接地址所对应的二维码标志，该二维码在视频播放时的显示时间可以是绝对时间也可以是相对于某节目开始时间的相对时间，且显示的时长可以根据需要预先设置。

倒计时是指在某些重要时刻需要进行倒计时间的时刻，用户可以根据实际需求自行设置需要倒计的时长，以及倒计的开始时刻以及结束时刻等。

时钟是指当前时间的显示，时钟所显示的时间可以是直接从系统中读取，且时钟所显示的时间可以是长时间持续地不间断显示，也可以是仅仅在整点或半点显示。对于具体的显示方式，在本实施例中并不做具体限制。

步骤s104，对包含图文数据的数字视频流进行压缩编码生成带有图文数据的ts流数据。

在进行视频数据传输之前，需要对视频数据进行压缩编码以减小数据量，降低视频信号传输的码率。可选地，将压缩后的包含图文数据的es流根据需求分成长度不等的数据包，再加上包头就形成了打包的基本码流pes流。再将pes流进行打包以形成ts流数据，以便后续进行传输。

可选地，在本实施例中，所述图文叠加方法在步骤s104之后还可以包括以下步骤：

将所述ts流数据通过asi接口或ip接口进行输出。

可选地，请参阅图5，在本实施例中，所述图文叠加方法还可以包括以下步骤：

步骤s301，设定一线性递增的参考时钟。

步骤s302，根据所述参考时钟将转换后的数字视频流中的每个视频数据块添加上时间戳。

步骤s303，根据所述参考时钟按预设规则将所述图文数据添加上时间戳，其中，所述图文数据的时间戳包括所述图文数据显示的开始时间、显示的结束时间以及显示的频率。

步骤s304，读取所述数字视频流中的每个视频数据块上的时间戳和所述图文数据上的时间戳，按所述预设规则将所述图文数据显示在视频图像上。

可选地，在本实施例中，可以对所述图文数据显示的时间以及显示频率及周期进行预设。可选地，可首先选择一个参考时钟，一般性地，要求该参考时钟上的时间是线性递增的。在对接收到的视频流数据进行转换生成数字视频流时，对数字视频流中的每个视频数据块添加上时间戳。

并且，按照预设规则，根据所述参考时钟将所述图文数据添加上时间戳。例如，所述图文数据显示的开始时间，所述图文数据显示的结束时间，以及所述图文数据连续显示的频率及周期等等。如此设置，可以使所述图文数据在播放的视频画面上实现定时循环播放。

在进行图层叠加时，读取所述数字视频流中的各所述视频数据块上的时间戳和所述图文数据的时间戳来进行叠加。例如某图文数据上的开始时间大于当前参考时钟上的时间，则不急于叠加该图文数据，直到参考时钟达到该图文数据的开始时间。若某图文数据的开始时间小于当前参考时钟上的时间，则需要及时安排叠加该图文数据，或者是将该图文数据进行丢弃处理，以使图文数据按照设定的时间戳进行叠加。

上述为播音员说话与字幕相对应时的处理方式，应当理解，若文字字幕与视频播放内容无直接关系时，则可不必按照上述方式来进行时间管理。可选地，若文字字幕与播放内容无直接关系，则可将图文数据显示的开始时间、结束时间及显示频率设置为绝对时间，即与播放进度无关。

请参阅图6，为本发明另一较佳实施例提供的图文叠加装置110的功能模块框图。所述图文叠加装置110包括转换模块111、获取模块112、叠加模块113以及编码模块114。

所述转换模块111用于将接收到的视频流数据转换为数字视频流。具体地，该转换模块111可用于执行图2中所示的步骤s101，具体的操作方法可参考步骤s101的详细描述。

所述获取模块112用于获取图文数据。具体地，该获取模块112可用于执行图2中所示的步骤s102，具体的操作方法可参考步骤s102的详细描述。

所述叠加模块113用于将转换后的数字视频流与获得的所述图文数据进行图层叠加，生成包含图文数据的数字视频流。具体地，该叠加模块113可用于执行图2中所示的步骤s103，具体的操作方法可参考步骤s103的详细描述。

所述编码模块114用于对包含图文数据的数字视频流进行压缩编码生成带有图文数据的ts流数据。具体地，该编码模块114可用于执行图2中所示的步骤s104，具体的操作方法可参考步骤s104的详细描述。

可选地，请参阅图7，在本实施例中，所述叠加模块113可以包括配置单元1131以及图层叠加单元1132。

所述配置单元1131用于配置所述图文数据的叠加信息。具体地，该配置单元1131可用于执行图4中所示的步骤s1031，具体的操作方法可参考步骤s1031的详细描述。

所述图层叠加单元1132用于按照所述叠加信息将所述图文数据与所述数字视频流中的各帧视频图像进行图层叠加，生成包含图文数据的数字视频流。具体地，该图层叠加单元1132可用于执行图4中所示的步骤s1032，具体的操作方法可参考步骤s1032的详细描述。

可选地，请参阅图8，在本实施例中，所述图文叠加装置110还可以包括接口转换模块115、接收模块116、设定模块117、第一添加模块118、第二添加模块119以及读取模块1110。

所述接口转换模块115用于将所述多个输入接口转换为标准的数字视频接口。具体地，该接口转换模块115可用于执行图3中所示的步骤s201，具体的操作方法可参考步骤s201的详细描述。

所述接收模块116用于通过所述数字视频接口接收输入的视频流数据。具体地，该接收模块116可用于执行图3中所示的步骤s202，具体的操作方法可参考步骤s202的详细描述。

所述设定模块117用于设定一线性递增的参考时钟。具体地，该设定模块117可用于执行图5中所示的步骤s301，具体的操作方法可参考步骤s301的详细描述。

所述第一添加模块118用于根据所述参考时钟将转换后的数字视频流中的每个视频数据块添加上时间戳。具体地，该第一添加模块118可用于执行图5中所示的步骤s302，具体的操作方法可参考步骤s302的详细描述。

所述第二添加模块119用于根据所述参考时钟按预设规则将所述图文数据添加上时间戳，其中，所述图文数据的时间戳包括所述图文数据显示的开始时间、显示的结束时间以及显示的频率。具体地，该第二添加模块119可用于执行图5中所示的步骤s303，具体的操作方法可参考步骤s303的详细描述。

所述读取模块1110用于读取所述数字视频流中的每个视频数据块上的时间戳和所述图文数据上的时间戳，按所述预设规则将所述图文数据显示在视频图像上。具体地，该读取模块1110可用于执行图5中所示的步骤s304，具体的操作方法可参考步骤s304的详细描述。

综上所述，本发明提供的一种图文叠加方法及装置，应用于图文叠加终端100，所述图文叠加终端100包括多个输入接口。该图文叠加方案通过将输入的视频流数据与获得的图文信息进行图层叠加，然后再将包含图文数据的视频流进行压缩编码，最后进行视频输出，该方案提供了系统集成度，既保证了视频信号的质量，又节省了设备数量且降低了生产成本。

进一步地，用户可通过远程操作将图文数据发送至该图文叠加终端100，以实现远程控制。且该图文叠加终端100能够将待叠加的图文数据保存至本地存储器中，以实现离线保持功能。

进一步地，通过该图文叠加方案可对图文数据的显示时间进行预设，且可实现定时循环播放功能。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。