视频的时间标记方法及系统与流程

本发明涉及视频信号处理，尤其涉及一种视频的时间标记方法及系统。

背景技术：

视频信号是由规定了播放时间顺序的持续表达的图像串构成的，通常以数据流的形式在设备间或网络上传输。有一些视频流格式(例如h.264)在编码数据流中记录了每幅图像的播放时间信息，也有一些视频流格式(例如yuv)则没有。一般情况下当获取视频信号中每幅图像准确的时间信息时需依赖于记录了时间信息的视频流格式。即便如此，若在视频信号的传输过程中发生(或不确定是否发生)对视频信号的再次编解码或帧率调节等处理，则将难以准确跟踪视频中每幅图像对应具体的原始时间信息。

目前已经出现了一些方法来尝试将经过处理的视频信号和与其相应的未经处理的原始视频信号在时域上对准，进而从原始视频信号对应的每帧的时间信息中知悉处理后视频信号中每帧的对应时间信息。不足的是业界大多是采用通过视频配准算法的方法来实现时域的对准的，具体地，即从图像中按某种独特的算法提取特征数据，针对参考图像和待测图像分别在空域、时域的一个小范围内对特征数据的差异进行最小化计算来实现空域和时域配准，从而实现时域内的对准。参见itu-t建议书j.144、j.244、j.247、j.341。即便如此地花费大量运算代价，也只能大概了解处理后视频信号中的帧相关时间信息。并且在当原始视频信号中的内容没有剧烈变化时，这类基于差异最小化的优化过程将难以收敛。终究是无法准确得知每帧的具体时间信息的。

技术实现要素：

本发明为了克服上述现有技术存在的缺陷，提供一种视频的时间标记方法及系统可实现在无需对既有视频信号的传输或处理的系统进行变更的情况下，跟踪视频信号处理中每幅图像的原始时间关联信息。

根据本发明的一个方面，提供一种视频的时间标记方法，包括：为源视频信号中每幅图像生成一个包括该图像的时间关联信息的图像编码；获取调节参数，把所述图像编码调制成由调节参数控制的几何形状，以生成所述源视频信号中的图像的时间标记；以及合成源视频信号中每幅图像及该图像的时间标记以生成时间标记视频信号。

可选地，所调制的几何形状包括一个或多个矩形区域，且该矩形区域的宽和高由所述调节参数和/或所述源视频信号的图像的宽和高控制。

可选地，所述矩形区域包括一矩形边框，所述矩形边框具有由调节参数控制的线宽。

可选地，该矩形区域自图像的角点按预设的角点偏移量偏移。

可选地，所述调节参数为所述图像编码中的一个点包含的像素数量。

可选地，所调制的几何形状包括多个矩形区域，该多个矩形区域内填充有相同的所述图像编码、该多个矩形区域内填充有不同的所述图像编码、或者该多个矩形区域内的填充图像组合成一个图像编码。

可选地，所述获取调节参数，把所述图像编码调制成由调节参数控制的几何形状，以生成所述源视频信号中的图像的时间标记的步骤还包括：生成一个或多个定位区域，所述一个或多个定位区域用于辅助定位图像编码在所述图像中的位置。

可选地，所述图像编码位于两个所述定位区域之间。

可选地，所述图像编码及三个所述定位区域的中心连线为矩形。

可选地，所述定位区域的宽度或长度作为所述调节参数。。

可选地，所述获取调节参数，把所述图像编码调制成由调节参数控制的几何形状，以生成所述源视频信号中的图像的时间标记的步骤还包括：接收一外部装置的反馈是否可识读准时间标记以调整所述调节参数的值增加1或减少1，所述准时间标记在所述时间标记之前按与所述时间标记相同的方式生成。

可选地，所述时间标记的面积小于等于所述源视频中单幅图像面积的5％。

可选地，所述合成源视频信号中每幅图像及该图像的时间标记以生成时间标记视频信号的步骤还包括：采用亮度色度图像格式获取所述源视频信号的图像的亮度分量和色度分量；将所述时间标记转换成明暗亮度位像图；依据所述时间标记的几何信息叠加到所述图像的亮度分量中，保持所述图像的色度分量不变，将叠加的亮度分量与所述色度分量合成以形成具有所述时间标记的图像，具有时间标记的图像的序列形成所述时间标记视频信号。

可选地，所述时间关联信息包括所述源视频信号中每幅图像的帧编号、采样时间戳、随时间而变的信息中的一项或多项。

可选地，所述图像编码包括：条码、二维条码、图形、图像、文本、绘画形式、二进制比特串中的一项或多项。

根据本发明的又一方面，还提供一种视频的时间标记系统，包括：一编码装置，用于为源视频信号中每幅图像生成一个包括该图像的时间关联信息的图像编码；一调节装置，用于获取调节参数，把所述图像编码调制成由调节参数控制的几何形状，以生成所述源视频信号中的图像的时间标记；以及一合成装置，用于合成源视频信号中每幅图像及该图像的时间标记以生成时间标记视频信号。

本发明提供的视频的时间标记方法及系统使得时间标记视频信号中的每幅图像内容中融合了该图像的原始时间关联信息，在使用时间标记视频信号经过视频传输和处理后，在无需对既有视频信号的传输或处理的系统进行变更的情况下，就可实现从系统各节点或端点处的视频信号中跟踪到每幅图像的原始时间关联信息。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1示出了根据本发明实施例的视频的时间标记方法的流程图。

图2示出了根据本发明第一实施例的视频的时间标记方法的数据流图。

图3示出了本发明第一实施例的矩形二维条码时间标记几何形状示意图。

图4示出了根据本发明第二实施例的视频的时间标记方法的数据流图。

图5示出了本发明第三实施例的四周条码窄带时间标记几何形状示意图。

图6示出了本发明第三实施例的合成的视频中图像的亮度分量示意图。

图7至图14示出了本发明所述的一些时间标记构成图例。

图15示出了本发明第一、三实施例的时间标记识读实验数据对比。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

为了克服上述现有技术存在的缺陷，本发明提供一种视频的时间标记方法及系统。首先参见图1，图1示出了根据本发明实施例的视频的时间标记方法的流程图。图1供示出3个步骤：

步骤s101.为源视频信号中每幅图像生成一个包括该图像的时间关联信息的图像编码。

具体而言，步骤s101中所述的时间关联信息包括源视频信号中每幅图像的帧编号、采样时间戳、随时间而变的信息中的一项或多项。图像编码可广义地表示以二维的方式显示的编码，例如，其可以是条码、二维条码、图形、图像、文本、绘画形式或二进制比特串。

步骤s101中，可接收一外部装置发送的源视频信号，为源视频信号中每幅图像生成一个包括该图像的时间关联信息的图像编码后，可输出源视频信号的图像、该图像的所述时间关联信息及该图像对应的所述图像编码组成的数据结构为单元的序列流信号。

步骤s102.获取调节参数，把所述图像编码调制成由调节参数控制的几何形状，以生成所述源视频信号中的图像的时间标记。

具体而言，步骤s102获取步骤s101输出的源视频信号的图像、该图像的所述时间关联信息及该图像对应的所述图像编码组成的数据结构为单元的序列流信号后，将每幅图像的所述图像编码调制成用调节参数控制的时间标记。之后，输出由源视频信号中的图像、该图像的所述时间关联信息、该图像对应的时间标记、时间标记的几何信息组成的数据结构为单元的序列流信号。

更具体地，时间标记按如下方式生成：获取调节参数，把图像编码调制成使用一个调节参数控制的几何形状。进一步地，所调制的几何形状包括至少一个矩形区域，该矩形区域内填充有图像编码，且该矩形区域的宽和高由调节参数和/或所述源视频信号的图像的宽和高控制。该矩形区域还可包括一矩形边框，所述矩形边框具有由调节参数控制的线宽。图像编码填充于矩形边框内，矩形边框可用于分隔图像编码和图像。该矩形区域可按预设的角点偏移量自图像的角点偏移。一个该矩形区域内可以只填充有一个图像编码，也可以按模式重复填充同一个图像编码的多份拷贝，也允许把一个图像编码散布到同一幅图像上的多个该类矩形区域中。

进一步地，步骤s102中所述的调节参数可以表示图像编码中的一个码点包含的像素数量。该调节参数可预设为3。在一个优选例中，该调节参数还可以被调整。例如，步骤s102可接收一外部装置的反馈是否可识读一准时间标记以调整所述调节参数的值增加1或减少1。准时间标记先于所述时间标记生成，并按与所述时间标记相同的方式生成。进一步地，无论调节参数如何调整，时间标记的面积需小于等于所述源视频中单幅图像面积的5％。

在一些变化例中，步骤s102调制成的几何形状包括一个或多个矩形区域，该一个或多个矩形区域内填充有相同的所述图像编码以供后续多次识读。一个或多个矩形区域可限定一供源视频信号的图像合成的图像区域，且该矩形区域的宽和高由所述调节参数和/或所述源视频信号的图像的宽和高控制。

步骤s102中还生成定位区域，用于辅助定位矩形区域。在一些实施例中，矩形区域位于两个定位区域之间。两个矩形区域可共用定位区域。在又一些实施例中，三个定位区域与矩形区域的中心连线为矩形以定位矩形区域的位置。优选地，所述定位区域为正方形，所述定位区域的边长作为所述调节参数。定位区域也不限于正方形形状，例如，定位区域可以是异形区域，定位区域的长度或宽度可以作为所述调节参数。所述矩形区域与所述定位区域之间具有间隔。所述矩形区域的一端也可以设置有一所述定位区域。

在本实施例的一个优选例中，当包括四个矩形区域时，四个矩形区域位于供源视频信号的图像合成的矩形的图像区域的四周，位于图像内，覆盖在图像上，矩形外缘与图像外缘重合。四个定位区域位于供源视频信号的图像合成的矩形的图像区域的四个角点处。又例如，当包括两个个矩形区域时，两个矩形区域可相互平行或相互垂直，并位于供源视频信号的图像合成的矩形的图像区域的四条边的两条边处，覆盖在图像上，外缘与图像外缘重合。当两个矩形区域相互垂直时，一个定位区域位于供源视频信号的图像合成的矩形的图像区域的一个角点处。在又一些变化例中，可仅包括一个矩形区域，在此不予赘述。

可以参考图7至图14来调制时间标记的几何形状。

步骤s103.合成源视频信号中每幅图像及该图像的时间标记以生成时间标记视频信号。

具体而言，步骤s103中，采用亮度色度图像格式获取所述源视频信号的图像的亮度分量和色度分量。亮度色度图像格式可以包括yuv、ycrcb。然后，将所述时间标记转换成明暗亮度位像图。依据所述时间标记的几何信息叠加到所述图像的亮度分量中，保持所述图像的色度分量不变，将叠加的亮度分量与所述色度分量合成以形成具有所述时间标记的图像，具有时间标记的图像的序列形成所述时间标记视频信号。

进一步地，步骤s103还按所述源视频信号的图像顺序输出所述时间标记视频信号，且同步输出每帧图像的所述时间关联信息和所述时间标记的几何信息。

在一些具体实施例中，本发明可预先设定图像编码为二维条码，并预定二维条码类型及相关调节参数，同时，可预先设定时间标记的调节参数。在时间标记视频信号中时间标记被叠加覆盖到了源视频信号的图像的亮度分量中，对图像的亮度分量损害面积不足5％。时间标记视频信号可经过外部视频处理装置或网络进行各种编码、传输、再解码等处理后，仍然能够从处理后的视频信号中分割出图像中的时间标记并得到时间标记的几何特征信息，并使用相应的二维条码识读器提取出时间标记中编码的时间关联信息。

本发明可通过手工和自动化两种方式完成视频信号的时间标记过程。手工方式即启动标记操作之前预设图像编码类型及相关调节参数(例如二维条码类型及相关调节参数)、预设的时间标记的调节参数，然后将现有的视频信号文件导入视频的时间标记系统，把视频时间标记信号保存成视频图像序列文件或传送至视频编码器保存成视频编码文件。

本发明也可以通过自动化方式，将视频的时间标记系统的视频信号输入端连接到一台视频信号采集装置上以接收实时的视频图像序列，将视频的时间标记系统的视频时间标记信号输出端作为视频源接入到外部视频装置或应用网络的视频信号输入端，这时外部视频装置或应用网络就可以处理具有时间标记的视频信号了。可选的，将视频时间标记系统的同步的时间标记辅助信号输出端接入到相应的外部监测装置，这时外部监测装置就可以监测原始视频信号中的实时时间关联信息和时间标记几何特征信息。可选的，将在外部系统中起监测作用的一个或多个视频时间标记提取装置的控制调节参数反馈信号连接到视频时间标记系统的调节参数信号接收端，这时视频时间标记系统就可以实时接收调节参数反馈，并对视频时间标记进行实时调节。

上述的视频的时间标记系统如图2及图4所示，可以包括一编码装置210，一调节装置220及一合成装置230。编码装置210用于为源视频信号中每幅图像生成一个包括该图像的时间关联信息的图像编码。调节装置220用于获取调节参数、所述源视频信号中的图像的宽度和高度，把所述图像编码调制成由调节参数控制的几何形状，以生成所述源视频信号中的图像的时间标记。一合成装置230用于合成源视频信号中每幅图像及该图像的时间标记以生成时间标记视频信号。

下面结合附图描述本发明的几个具体实施例。

第一实施例

下面结合图2至图3描述本发明提供的第一实施例。图2示出了根据本发明第一实施例的视频的时间标记方法的数据流图。图3示出了本发明第一实施例的矩形二维条码时间标记几何形状示意图，也就是图7中的简单二维条码型时间标记。

在第一实施例的视频的时间标记系统中，时间标记方法采用手工方式操作。如图2所示，时间标记由经过预设调节参数调节二维条码编码图像生成。可以预先设定使用qr二维条码类型，并以21点来进行编码。预先设定时间标记调节控制调节参数为3(也就是二维条码中的一点表示3个像素)。第一实施例中使用视频文件y4m格式的视频文件，其分辨率为1080p，帧率为24帧每秒。编码装置210以每幅图像的帧编号作为时间信息，通过qr-1level-q编码做成二值化的图像编码。

如图3所示601为图像的坐标原点，602为图像编码的偏移角点，603为图像编码的线宽为1个点的边框，604为视频图像的亮度分量(如在yuv图像中取y分量)，605为21点的qr-1level-q二维条码，控制调节参数s(本实施例中，其值为3)用来控制1个点表示的像素个数。

调节装置220按图3所示，于图像编码的四周增加1个点为线宽的边框，后使用预设的控制调节参数s(默认为3)进行放大，按固定角点偏移量p(20，20)平移后，做成二值化的时间标记。合成装置230按图2所示将时间关联信息、时间标记的几何信息(例如，时间标记的宽、高、边框线宽等)保存到日志文件中，按图3所示将时间标记直接叠加到图像的y分量中，保持图像的uv分量数据不变，做成时间标记视频信号，并保存为y4m格式的时间标记视频文件。

在第一实施例中保存出来的时间标记视频文件中，每个yuv图像中的y分量上都在固定位置叠加了一个边长为s×(21+2)的正方形区域，其中含有一个编码了帧编号的qr-1二维条码。

在第一实施例中，产生的视频文件可以经其它视频应用程序进行多种视频处理包括：帧率调节、缩放、与其它视频合成编辑、编码、网络传输、解码、去噪、图像增强，仍然可以使用一个二维条码识读装置在视频处理的任意节点处实时提取出每帧图像的原始帧编号以及当前的时间标记位置和尺寸的几何信息，为监控视频处理的内部细节提供有益的辅助信息。

图15中的“圆圈”点(qr识读样本)是应用本实施例进行的在经不同分辨率缩小处理后再识读时间标记的实验中的识读准确率统计数据样本点。实验时采用3个像素宽的二维条码码点(即控制调节参数s＝3)生成21点qr二维条码做成时间标记加到一段600幅宽1920像素高1080像素图像的视频信号中，经多种不同尺寸的视频缩小处理后，送入一个二维条码识读装置，采集到各缩小尺寸时的识读数据进行识读准确率统计，得到图中的qr识读样本点。横坐标是视频被等比缩小后时间标记中的二维条码码点的平均像素宽(p)，存在亚像素宽度以浮点数表示。纵坐标是时间标记的识读准确率(a)，1为全部识读成功，0为全部识读失败。图中的虚线为qr识读样本的s型拟合曲线，其数学表达式为：

当二维条码码点平均像素宽小于2.0像素后，二维条码的识读准确率迅速降低；当小于1.5像素后时识读准确率降低到只有50％。

第二实施例

下面结合图4描述本发明提供的第二实施例。图4示出了根据本发明第二实施例的视频的时间标记方法的数据流图。

在按照本发明的第二实施例的视频的时间标记系统中，时间标记方法采用自动方式工作。如图4所示，编码装置210连接实时采集yuv图像视频信号的外部视频采集装置作为源视频信号，按图1所示的步骤s101为源视频信号的每帧图像实时生成时间关联信息及编码图像。调节装置220按图1所示的步骤s102实时生成时间标记，并且可选的，还接收外部时间标记提取监测装置400反馈的错误信号作为调节调节参数控制信号。例如，当5秒时间内时间标记识读错误积累超过10次时，把时间标记形状调节调节参数加1(当时间标记的面积需等于所述源视频中单幅图像面积的5％时，调节的调节参数不影响时间标记的几何形状)。合成装置230按图1所示的步骤s103把时间标记融合到源视频信号的图像当中做成时间标记视频信号，发送给外部视频处理装置或视频处理网络300，并且可选的，同时把时间关联信息、时间标记的几何数据从辅助信号通道实时同步地发送给外部辅助信息监测装置500。外部视频处理装置或视频处理网络300可选地，把处理过程中或者处理后的视频信号送给外部时间标记提取监测装置400。

第二实施例中，产生的时间标记视频信号可以经外部视频处理装置或视频处理网络进行多种视频处理包括：帧率调节、缩放、与其它视频合成编辑、编码、网络传输、解码、去噪、图像增强，仍然可以使用内含一个二维条码识读装置的外部时间标记提取监测装置在视频处理的任意节点处实时提取出每帧图像的原始帧编号以及当前的时间标记位置和尺寸的几何信息。可选的，外部辅助信息监测装置和外部时间标记提取监测装置之间可以相互印证时间标记中所含的时间关联信息和时间标记的几何信息，为视频处理装置或视频处理网络提供有益的辅助信息。

第三实施例

下面结合图5及图6描述本发明提供的第三实施例。图5示出了本发明第三实施例的四周条码窄带时间标记几何形状示意图。图6示出了本发明第三实施例的合成的视频中图像的亮度分量示意图，也就是图8中列出的四周条码型时间标记。

在第三实施例的视频的时间标记系统中，与第二实施例类似，时间标记方法可采用自动方式工作。与第一实施例和第二实施例不同的是，在第三实施例中，编码装置使用时间戳作为时间关联信息，并按条码code-128生成编码图像。

在第三实施例中，调节装置使用的时间标记几何形状的方案如图5所示。几何元素501示意由编码装置根据时间戳使用code-128生成的编码图像，通过复制、旋转分别放置于四个编码图像区域502、509、507、505的位置。这四个编码图像区域正好处在源视频信号内图像的四边上，即包含这四个编码图像区域的最小矩形尺寸正好等于源视频信号内图像的尺寸。

如图5，第三实施例的时间标记几何形状方案中，四个编码图像区域交接处放置四个实心的矩形作为定位区域504、508、510、506。定位区域504、508、510、506和编码图像放置区域502、509、507、505之间适当填充一段窄小的空白以示隔离。在生成时间标记时，每个定位区域504、508、510、506的宽和高都相等，定位区域504、508、510、506的边长可作为调节时间标记几何形状的调节参数。

如图5，第三实施例中的时间标记几何形状方案中，四个编码图像区域围成的内部矩形区域503是透明区域，在与源视频信号合成时将放置源视频信号中的图像内容。

第三实施例中中的合成装置把图5示意的时间标记直接叠加在源视频信号中图像的亮度分量(即y分量)上，四周的带状边框区域分别被四个定位区域504、508、510、506、四个编码图像区域502、509、507、505覆盖，而内部矩形区域503则是未经修改的图像亮度分量的内容。具有时间标记的视频信号的亮度分量(y分量)如图6所示。图像的色度分量(即uv分量)不作修改。

图15中的“三角”点(bar识读样本)是应用本实施例进行的在经不同分辨率缩小处理后再识读时间标记的实验中的识读准确率统计数据样本点。实验时采用3个像素宽的条码宽度(即控制调节参数s＝3)生成code-128条码做成时间标记加到一段600幅宽1920像素高1080像素图像的视频信号中，经多种不同尺寸的视频缩小处理后，送入时间标记识读装置，采集到各缩小尺寸时的识读数据进行识读准确率统计，得到图中的bar识读样本点。横坐标是视频被等比缩小后时间标记中的条码的像素宽(p)，存在亚像素宽度以浮点数表示。纵坐标是时间标记的识读准确率(a)，1为全部识读成功，0为全部识读失败。图中的实线为接近bar识读样本的阶梯曲线，其数学表达式为：

当条码像素宽度小于0.5像素后，条码的识读准确率迅速降低。相比于二维条码型的时间标记，条码型时间标记的抗缩小变形能力更强。相比于第一实施例和第二实施例，第三实施例中的定位区域分布在图像的四角，能够提供更加准确的时间标记的形状信息。

本发明提供的视频的时间标记方法及系统使得时间标记视频信号中的每幅图像内容中融合了该图像的原始时间关联信息，在使用时间标记视频信号经过视频传输和处理后，在无需对既有视频信号的传输或处理的系统进行变更的情况下，就可实现从系统各节点或端点处的视频信号中跟踪到每幅图像的原始时间关联信息。

以上具体地示出和描述了本发明的示例性实施方式。应该理解，本发明不限于所公开的实施方式，相反，本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。