一种嵌码视频中图形码的解码方法及装置与流程

本发明涉及可见光通信及视频处理领域，尤其涉及一种嵌码视频中图形码的解码方法及装置。

背景技术：

可见光通信技术在日常生活中已经非常普遍，尤其是其中的二维码技术，例如支付宝、微信等移动支付使用的qr(quickresponse，快速反应)码，以及电子元件上的datamatrix等都属于二维码。二维码有识别快速、使用方便等优点，只需要带有摄像头的智能手机就可以使用此类技术。此外，也可以将变化的二维码制作成视频，以连续不断地传输数据。

但二维码也有以下缺点：首先，二维码的图案对人来说没有意义，属于噪音；其次，二维码为了易于识别，需要占据足够的视觉空间，这在一些特定场景下难以被满足；例如，在视频嵌码的场景中，如果二维码占据足够的视觉空间，就会导致用户无法正常观看视频，并且qr码、datamatrix等都不适合于视频嵌码的场景。因此，如何在视频嵌码的场景中实现不影响用户观看视频的目的成为一项亟待解决的问题。

现有技术中，采用一种相对人眼隐藏的视频嵌码技术来解决上述问题。具体而言，随着屏幕与摄像头技术更加发达，120hz帧率/采样率的屏幕和摄像头随之出现，且由于人眼最大能感受到的频率是30hz，根据奈奎斯特采样定律，相应的采样率是60hz，这相比120hz少了一半。因此，只要让待传输的内容以60hz的频率变化，就可以在人眼无法察觉的情况下传输信息。然而，上述方法由于兼顾人眼视觉，使得视频嵌码中的一些难点(例如投影变形、摩尔纹等)无法很好地解决，从而导致解码过程很难进行，无法获取到通过视频传输的数据内容。

技术实现要素：

本申请实施例的目的是提供一种嵌码视频中图形码的解码方法及装置，用以实现对嵌码视频中所承载的图形码的识别及解码。

为解决上述技术问题，本申请实施例是这样实现的：

一方面，本申请实施例提供一种嵌码视频中图形码的解码方法，包括：

从嵌码视频中识别出图形码所在的目标区域，所述嵌码视频中的至少两个帧图像承载至少一个图形码，所述图形码包括编码属性块和数据区域；

根据所述目标区域确定所述图形码的每个码块的码块颜色；

根据所述码块颜色读取所述数据区域中每个码块的编码数据，以及，读取所述编码属性块中的编码属性信息，所述编码属性信息包括所述图形码对应的编码方式；

根据所述编码属性信息确定针对所述图形码的解码方式，利用所述解码方式对所述编码数据进行解码操作，得到所述图形码对应的原始数据；

其中，承载同一所述图形码的相邻两个帧图像的亮度根据预设调节规则调节，所述预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同码块颜色在同一帧图像中对应的像素点处的调节方式不同，所述调节方式包括提高亮度和/或降低亮度。

可选地，所述从嵌码视频中识别出图形码所在的目标区域，包括：

利用指定边缘检测算法检测出所述嵌码视频的边缘，提取所述边缘中的至少两条直线段作为所述嵌码视频的边缘线段；

从所述边缘线段中匹配出至少一个四边形区域；

从所述至少一个四边形区域中筛选出所述图形码所在的目标区域。

可选地，所述图形码包括二维码，所述二维码的数据区域包括多个子区域，所述二维码还包括按照预设排列规则排列各码块的特征块，所述编码属性块环绕于所述数据区域的外围，所述特征块环绕于所述编码属性块的外围以及各子区域的外围；

从所述至少一个四边形区域中筛选出所述图形码所在的目标区域，包括：

遍历所述至少一个四边形区域；

在所述遍历过程中，针对遍历到的每个所述四边形区域，分别计算所述四边形区域的每条边所在位置的相邻两个帧图像的第一灰度差；

根据所述第一灰度差、所述每条边上像素点的个数以及所述特征块上与所述每条边对应的特征线上的码块个数，计算所述每条边和与其对应的特征线的相似度；

对所述每条边和与其对应的特征线的相似度进行求和；

当所述求和结果达到预设相似阈值时，确定所述四边形区域为所述图形码所在的目标区域。

可选地，根据所述目标区域确定所述图形码的每个码块的码块颜色，包括：

根据所述目标区域的多个顶点的坐标以及所述帧图像中与所述多个顶点对应的点的坐标，计算所述帧图像相对于所述二维码的投影变换矩阵；

根据所述投影变换矩阵对所述帧图像执行投影变换恢复操作，得到所述投影变换恢复后的帧图像；

针对所述投影变换恢复后的帧图像上的各像素点，分别计算所述各像素点处的相邻两个帧图像的第二灰度差；

根据所述第二灰度差以及所述特征块中各码块的位置信息，确定所述各像素点对应的码块颜色。

可选地，根据所述第二灰度差以及所述特征块中各码块的位置信息，确定所述各像素点对应的码块颜色，包括：

根据所述预设排列规则，确定至少一个黑色码块和至少一个白色码块在所述特征块中的位置信息；

根据所述位置信息分别计算所述黑色码块和所述白色码块处的相邻两个帧图像的灰度差，作为两个标准灰度差；

分别比较所述第二灰度差和所述两个标准灰度差之间的接近度，将与所述第二灰度差之间接近度较高的标准灰度差对应的码块颜色确定为所述第二灰度差对应的像素点处的码块颜色。

可选地，根据所述码块颜色读取所述数据区域中每个码块的编码数据，包括：

分别确定所述相邻两个帧图像上各像素点对应的码块的中心区域，所述中心区域小于所述码块的区域；

计算所述中心区域内各像素点对应的所述第二灰度差的平均值；

根据所述码块颜色对所述平均值执行取正运算或取负运算，将所述运算后的平均值确定为所述中心区域对应的码块的编码数据。

可选地，所述子区域包括m个，所述编码方式包括交织算法，所述交织算法指依序将一组m个编码数据分别填充至各子区域的第一位置、再将下一组m个编码数据分别填充至各子区域的与所述第一位置相邻的第二位置；

利用所述解码方式对所述编码数据进行解码操作，包括：

根据所述码块颜色以及所述预设排列规则，确定所述特征块在所述二维码中的位置信息，根据所述位置信息确定所述m个子区域在所述数据区域中的分布信息；

根据所述分布信息，依序从所述m个子区域的第三位置读取m个所述编码数据，得到包含所述m个编码数据的子数据流；

依序从所述m个子区域的第四位置读取m个所述编码数据，直至读取完所述m个子区域中所有位置的编码数据，以获得多个子数据流，所述第四位置与其所在的子区域中的所述第三位置相邻；

按照所述m个子区域的排列顺序依次组合所述多个子数据流，得到所述编码数据序列，继续对所述编码数据序列进行解码操作。

可选地，所述编码方式还包括里德-所罗门编码和卷积码，所述编码属性信息还包括所述编码方式及其纠错等级、纠错位、校验位、数据长度中的至少一项；

对所述编码数据序列进行解码操作，包括：

根据所述卷积码对应的解码方式以及所述卷积码对应的纠错等级，对所述编码数据序列进行解码操作，得到二进制数据序列；

根据所述里德-所罗门编码对应的解码方式以及所述里德-所罗门编码对应的纠错等级，对所述二进制数据序列进行解码操作，得到所述原始数据。

可选地，根据所述码块颜色读取所述数据区域中每个码块的编码数据之后，所述方法还包括：

根据所述预设排列规则确定所述特征块中被卷帘快门效应导致反色的待修正码块；将所述待修正码块对应的编码数值进行正负反转操作，得到修正后的编码数据；将所述修正后的编码数据映射至预设区间内，得到归一化的编码数据；

相应地，利用所述解码方式对所述编码数据进行解码操作，包括：

利用所述解码方式对所述归一化的编码数据进行解码操作。

另一方面，本申请实施例提供一种嵌码视频中图形码的解码装置，包括：

识别模块，用于从嵌码视频中识别出图形码所在的目标区域，所述嵌码视频中的至少两个帧图像承载至少一个图形码，所述图形码包括编码属性块和数据区域；

确定模块，用于根据所述目标区域确定所述图形码的每个码块的码块颜色；

读取模块，用于根据所述码块颜色读取所述数据区域中每个码块的编码数据，以及，读取所述编码属性块中的编码属性信息，所述编码属性信息包括所述编码信息对应的编码方式；

解码模块，用于根据所述编码属性信息确定针对所述图形码的解码方式，利用所述解码方式对所述编码数据进行解码操作，得到所述图形码对应的原始数据；

其中，承载同一所述图形码的相邻两个帧图像的亮度根据预设调节规则调节，所述预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同码块颜色在同一帧图像中对应的像素点处的调节方式不同，所述调节方式包括提高亮度和/或降低亮度。

采用本发明实施例的技术方案，通过从嵌码视频中识别出图形码所在的目标区域，根据目标区域确定图形码中每个码块的码块颜色，进而根据码块颜色读取出数据区域中每个码块的编码数据以及编码属性块中的编码属性信息，最后根据编码属性信息确定正确的解码方式，并根据该解码方式对编码数据进行解码操作，以得到图形码对应的原始数据。因此，该技术方案能够从嵌码视频中识别并获取到图形码对应的原始数据，解决了现有技术中无法针对嵌码视频中的图形码进行解码的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种嵌码视频中图形码的解码方法的示意性流程图；

图2是根据本发明实施例的一种二维码的示意性结构图；

图3是根据本发明实施例的一种二维码中编码属性块的示意性结构图；

图4是根据本发明实施例的一种嵌码视频中图形码的解码装置的示意性框图；

图5是根据本发明实施例的另一种嵌码视频中图形码的解码装置的示意性框图。

具体实施方式

本申请实施例提供一种嵌码视频中图形码的解码方法及装置。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是根据本发明实施例的一种嵌码视频中图形码的解码方法的示意性流程图，如图1所示，该方法包括以下步骤s101-s104：

步骤s101，从嵌码视频中识别出图形码所在的目标区域，嵌码视频中的至少两个帧图像承载至少一个图形码，图形码包括编码属性块和数据区域。其中，图形码可以是能够被识别的条形码、二维码、图片等。

步骤s102，根据目标区域确定图形码的每个码块的码块颜色。

步骤s103，根据码块颜色读取数据区域中每个码块的编码数据，以及，读取编码属性块中的编码属性信息，编码属性信息包括图形码对应的编码方式。

步骤s104，根据编码属性信息确定针对图形码的解码方式，利用解码方式对编码数据进行解码操作，得到图形码对应的原始数据。

其中，承载同一图形码的相邻两个帧图像的亮度根据预设调节规则调节，预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同码块颜色在同一帧图像中对应的像素点处的调节方式不同，调节方式包括提高亮度和/或降低亮度。

本实施例中，嵌码视频中承载同一图形码的相邻两个帧图像的亮度的调节方式包括但不限于以下两种方式：

方式一、当码块颜色为黑色时，提高相邻两个帧图像中的前一帧在该码块颜色对应的像素点处的亮度，降低相邻两个帧图像中的后一帧在该码块颜色对应的像素点处的亮度；当码块颜色为白色时，降低相邻两个帧图像中的前一帧在该码块颜色对应的像素点处的亮度，提高相邻两个帧图像中的后一帧在该码块颜色对应的像素点处的亮度。

方式二、当码块颜色为黑色时，降低相邻两个帧图像中的前一帧在该码块颜色对应的像素点处的亮度，提高相邻两个帧图像中的后一帧在该码块颜色对应的像素点处的亮度；当码块颜色为白色时，提高相邻两个帧图像中的前一帧在该码块颜色对应的像素点处的亮度，降低相邻两个帧图像中的后一帧在该码块颜色对应的像素点处的亮度。

采用本发明实施例的技术方案，通过从嵌码视频中识别出图形码所在的目标区域，根据目标区域确定图形码中每个码块的码块颜色，进而根据码块颜色读取出数据区域中每个码块的编码数据以及编码属性块中的编码属性信息，最后根据编码属性信息确定正确的解码方式，并根据该解码方式对编码数据进行解码操作，以得到图形码对应的原始数据。因此，该技术方案能够从嵌码视频中识别并获取到图形码对应的原始数据，解决了现有技术中无法针对嵌码视频中的图形码进行解码的问题。

以下针对上述步骤s101-s104进行详细说明。

首先执行步骤s101，即从嵌码视频中识别出图形码所在的目标区域。在一个实施例中，图形码的编码图案被嵌入了整个视频，也就是说，当播放嵌码视频时，由于嵌码视频一般会充满整个屏幕，那么图形码也会充满整个屏幕。这种情况下，只要确定出嵌码视频的边缘，即可识别出图形码所在的目标区域。因此，可通过以下步骤a1-a3识别目标区域：

步骤a1，利用指定边缘检测算法检测出嵌码视频的边缘，提取边缘中的至少两条直线段作为嵌码视频的边缘线段。其中，指定边缘检测算法可以是任一种边缘检测算法，例如边缘算子法、曲线拟合法、模板匹配法、小波包的边缘检测法、基于神经网络的边缘检测算法等。由于边缘检测算法为现有技术，因此不再赘述。

步骤a2，从边缘线段中匹配出至少一个四边形区域。

从边缘线段中匹配四边形区域的方法有多种，以下列举两种实现方式：

方式一、首先，将相互平行、且相应端点在嵌码视频中的横坐标或纵坐标相同的每两条边缘线段进行配对，得到至少一对线段对。具体地，对于相互平行的左右两条边缘线段，当相应端点在嵌码视频中的纵坐标相同时，这两条边缘线段即可配对；对于相互平行的上下两条边缘线段，当相应端点在嵌码视频中的横坐标相同时，这两条边缘线段即可配对。其次，针对每一对线段对，分别连接线段对中的每条边缘线段的四个端点，得到至少一个四边形区域。

方式二、首先，根据预设的至少一个参数对多条边缘线段进行聚类，其中，参数如：边缘线段的端点位置、长度、方向等。其次，将属于同一类别的边缘线段进行两两配对，并连接相互配对的每两条边缘线段的四个端点，得到至少一个四边形区域。

步骤a3，从至少一个四边形区域中筛选出图形码所在的目标区域。由于配对后产生的四边形区域内并不一定都存在编码，因此还需从至少一个四边形区域中筛选出图形码所在的目标区域。

在一个实施例中，图形码为二维码，二维码的数据区域包括多个子区域，二维码除包括编码属性块和数据区域之外，还包括按照预设排列规则排列各码块的特征块，其中，编码属性块环绕于数据区域的外围，特征块环绕于编码属性块的外围以及各子区域的外围。图2所示为本实施例中一种二维码的示意性结构图。在图2中，二维码包括纯黑特征线20、按照预设排列规则排列各码块的特征块21、编码属性块22以及数据区域23四个部分。在特征块21部分，预设排列规则为黑白码块相间排列。编码属性块22的宽度为p，由p*p的编码属性信息重复填充而成。数据区域23被特征块21分割为相等大小的m(图2中所示m＝16)块。图3所示为本实施例中一种二维码中编码属性块的示意性结构图，其中，p＝4，最后一位为奇偶校验位。

以图2所示的二维码为例来说明如何从至少一个四边形区域中筛选出图形码所在的目标区域：

首先，遍历至少一个四边形区域，在该遍历过程中，针对遍历到的每个四边形区域，分别计算四边形区域的每条边所在位置的相邻两个帧图像的第一灰度差。由于每条边上具有多个像素点，因此计算出的每条边对应的第一灰度差均有多个值。假设每条边上有n个像素点，则每条边对应的第一灰度差可记为g1，g2，…，gn。

其次，根据第一灰度差、每条边上像素点的个数以及特征块上与每条边对应的特征线上的码块个数，计算每条边和与其对应的特征线的相似度。其中，特征线记为特征块的边缘线，每条边对应的特征线即为特征块上与该条边位置相应(或相同)的特征线。沿用上述的示例，每条边上像素点的个数为n，每条边对应的第一灰度差为g1，g2，…，gn，假设每条边对应的特征线上的码块个数为k，则可根据下述公式(1)计算每条边和与其对应的特征线的相似度s。

此外，对于四边形区域的左右两条边，由于视频拍摄过程中的卷帘快门效应可能会导致边的上半部分和下半部分属于不同帧，例如，假设该条边的分辨率为n，卷帘快门效应使得在该条边的j处及以下部分实际上拍摄到了下一帧。因此，对于左右两条边，通常可利用下述公式(2)计算每条边和与其对应的特征线的相似度s。

此外，由于实际场景中无法事先得知卷帘快门效应位置j的值，因此这种情况下可利用下述公式(3)计算每条边和与其对应的特征线的相似度s。

再次，对每条边和与其对应的特征线的相似度进行求和。

最后，当求和结果达到预设相似阈值时，确定四边形区域为图形码所在的目标区域。例如，预设相似阈值为90％，则当求和结果达到90％时，可确定四边形区域为图形码所在的目标区域；否则，确定四边形区域内不存在图形码。

在一个实施例中，执行步骤s101之后，可消除目标区域内的帧图像的摩尔纹。本实施例使用高斯模糊来消除帧图像的摩尔纹，即通过一个低通滤波器。其中，低通滤波器的截止频率可根据摩尔纹频率及帧图像的频率进行设定，以使帧图像中的摩尔纹能够被消除、且图形码不会被消除掉。

从嵌码视频中识别出图形码所在的目标区域之后，或者，消除目标区域内的帧图像的摩尔纹之后，继续执行上述步骤s102，即根据目标区域确定图形码的每个码块的码块颜色。在一个实施例中，仍以二维码为例，可按照如下步骤b1-b4来确定二维码的每个码块的码块颜色：

步骤b1，根据目标区域的多个顶点的坐标以及帧图像中与多个顶点对应的点的坐标，计算帧图像相对于二维码的投影变换矩阵。

该步骤中，以四个顶点为例进行说。针对上一步骤中识别出的目标区域，只需找出四个顶点的坐标(xi,yi)即可，其中，i＝1、2、3、4，该坐标指四个顶点在嵌码视频所在的屏幕中的坐标。将四个顶点的坐标分别记为(0，0)，(0，h)，(w，0)，(w，h)，其中，w和h分别代表目标区域的宽和高，单位为图形码的码块个数。为了符合实际场景中带有透视的投影变换，这里需要将坐标(x，y)变换为齐次坐标系下的(xu，yu，u)，其中，u为坐标的单位元长度。在齐次坐标系下可通过改变u使变换产生透视效果。

假设四个顶点的坐标分别记为x1，x2，x3，x4，帧图像中与多个顶点对应的点的坐标分别记为x1′，x2′，x3′，x4′，那么可以列出方程组(4)：

uixi′＝txi，i＝1，2，3，4(4)

其中，t为投影变换矩阵。显然，方程组(4)中包含12个方程、13个未知数。然而，根据齐次坐标的定义可知，对于任意k≠0，kt和t都表示同一变换，因此可设定u1＝1，从而减少一个未知量，使方程组(4)可解出投影变换矩阵t。

步骤b2，根据投影变换矩阵对帧图像执行投影变换恢复操作，得到投影变换恢复后的帧图像。

步骤b3，针对投影变换恢复后的帧图像上的各像素点，分别计算各像素点处的相邻两个帧图像的第二灰度差。

步骤b4，根据第二灰度差以及特征块中各码块的位置信息，确定各像素点对应的码块颜色。

在一个实施例中，可按照如下步骤确定各像素点对应的码块颜色：

首先，根据预设排列规则，确定至少一个黑色码块和至少一个白色码块在特征块中的位置信息。该实施例中，预设排列规则为黑白码块相间排列，根据该预设排列规则，即可确定出特征块中黑色码块和白色码块的位置。

其次，根据位置信息分别计算黑色码块和白色码块处的相邻两个帧图像的灰度差，作为两个标准灰度差。通常情况下，仅需计算任一黑色码块处的相邻两个帧图像的灰度差以及任一白色码块处的相邻两个帧图像的灰度差即可。

最后，分别比较第二灰度差和两个标准灰度差之间的接近度，将与第二灰度差之间接近度较高的标准灰度差对应的码块颜色确定为第二灰度差对应的像素点处的码块颜色。

确定出图形码的每个码块的码块颜色之后，继续执行步骤s103，即根据码块颜色读取数据区域中每个码块的编码数据，以及，读取编码属性块中的编码属性信息。该步骤中，由于编码属性块中的信息量有限，因此只需将编码属性块与预设的有限种编码属性块的对应位进行对比，即可获知图形码中所使用的编码属性块，进而获知编码属性块中每一信息所在的位置，并根据该位置从中读取出编码属性信息。在确定图形码中所使用的编码属性块时，可分别计算图形码中的编码属性块与预设的多个有限种编码属性块之间的汉明距离，找出其中最小的汉明距离对应的有限种编码属性块，即为图形码中所使用的编码属性块。

在一个实施例中，可按照如下步骤c1-c3读取数据区域中每个码块的编码数据

步骤c1，分别确定相邻两个帧图像上各像素点对应的码块的中心区域，中心区域小于码块的区域。其中，中心区域的区域形状不受限定，例如可以为正方形区域、圆形区域等。

步骤c2，计算中心区域内各像素点对应的第二灰度差的平均值。

步骤c3，根据码块颜色对平均值执行取正运算或取负运算，将运算后的平均值确定为中心区域对应的码块的编码数据。具体地，当码块颜色为黑色(即对应的编码为1)时，对平均值执行取负运算，当码块颜色为白色(即对应的编码为0)时，对平均值执行取正运算。或者，当码块颜色为黑色时，对平均值执行取正运算，当码块颜色为白色时，对平均值执行取负运算。

在一个实施例中，读取到编码数据之后，上述方法还包括以下步骤d1-d3：

步骤d1，根据预设排列规则确定特征块中被卷帘快门效应导致反色的待修正码块。其中，预设排列规则为黑白码块相间排列。

如图2所示的特征块21中包括多条黑白线，为了确定待修正码块，需判断从哪个位置开始这些黑白线被反色，该位置即为卷帘快门效应发生的位置。假设n为黑白线上的码块个数，g1，g2，…，gn为该黑白线上每个码块对应的编码数据，j为卷帘快门效应发生的位置，那么，可利用下述公式(5)计算卷帘快门效应发生的位置j：

然而，在实际场景中，可能出现j不在实际卷帘快门效应发生的位置上的情况，此时总会有一部分编码与预设的码块颜色不符，因此公式(5)计算出的j值总会小于实际卷帘快门效应发生的位置。这种情况下，可利用下述公式(6)计算卷帘快门效应发生的位置j：

经上述公式(5)或(6)计算出卷帘快门效应发生的位置j之后，该位置以下的码块即为待修正码块。

步骤d2，将待修正码块对应的编码数值进行正负反转操作，得到修正后的编码数据。

步骤d3，将修正后的编码数据映射至预设区间内，得到归一化的编码数据。

经步骤s103读取到的各码块的编码数据的值组成了编码数据矩阵，其中，编码数据的值在矩阵中的位置与该编码数据对应的码块在二维码中的位置一致。归一化的过程实际上是将特征块中的黑色码块或白色码块对应的编码数据在矩阵中的值作为参考值，进而再利用预定方式(如插值公式)将编码数据矩阵中的所有编码数据映射到固定区间内。其中，确定参考值的方法为统计特征块中黑色码块或白色码块各自的编码数据的值的分布，取各个值的中位数作为参考值。如果中位数相同，则可取均值作为参考值。

以预设区间为[0，1]为例，假设dij为映射前的编码数据的值，r1为黑色码块对应的参考值，r0为白色码块对应的参考值，那么，当v＞1时，映射后的值dij′＝1；当0≤v≤1时，映射后的值dij′＝v；当v＜0时，映射后的值dij′＝0。其中，

在得到归一化的编码数据后，继续执行步骤s104，即根据编码属性信息确定针对图形码的解码方式，利用解码方式对编码数据进行解码操作，以得到图形码对应的原始数据。在一个实施例中，编码方式包括交织算法、里德-所罗门编码和卷积码，其中，当数据区域包括m个子区域时，交织算法指依序将一组m个编码数据分别填充至各子区域的第一位置、再将下一组m个编码数据分别填充至各子区域的与第一位置相邻的第二位置。编码属性信息还包括编码方式及其纠错等级、纠错位、校验位、数据长度中的至少一项。那么，可根据这三种编码方式对应的解码方式依次对编码数据进行解码操作。

首先，利用交织算法对应的解码方式对编码数据进行解码操作，具体解码操作如下：根据码块颜色以及预设排列规则确定特征块在二维码中的位置信息，根据该位置信息确定m个子区域在数据区域中的分布信息；根据该分布信息依序从m个子区域的第三位置读取m个编码数据，得到包含m个编码数据的子数据流；依序从m个子区域的第四位置读取m个编码数据，直至读取完m个子区域中所有位置的编码数据，以获得多个子数据流，其中，第四位置与其所在的子区域中的第三位置相邻；按照m个子区域的排列顺序依次组合多个子数据流，得到编码数据序列，继续对编码数据序列进行解码操作。

举例而言，如上述图2所示，m＝16，预设排列规则为黑白码块相间排列。根据二维码中各码块的码块颜色及预设排列规则，可确定出特征块21在二维码中的位置信息，进而根据特征块21在二维码中的位置信息确定出16个子区域在数据区域中的分布信息(如图2所示)。从16个子区域中读取编码数据时，首先从子区域1中的第一个位置(即左上角的位置)读取第1位编码数据，然后从子区域2中的第一个位置(即左上角的位置)读取第2位编码数据，以此类推，直至读取到子区域16中的第一个位置(即左上角的位置)的编码数据，获得包含16位编码数据的子数据流。然后从子区域1中的第二个位置(即与第一个位置相邻的后一个位置)读取第1位编码数据，从子区域2中的第二个位置(即与第一个位置相邻的后一个位置)读取第2位编码数据，以此类推，直至读取到子区域16中的第二个位置(即与第一个位置相邻的后一个位置)的编码数据，获得包含16位编码数据的子数据流。……以此类推，直至读取完16个子区域中最后一个位置的编码数据。按照上述读取方式依次读取完16个子区域中的所有编码数据后，按照16个子区域的排列顺序依次组合多个子数据流，得到编码数据序列。

其次，利用卷积码和里德-所罗门编码对应的解码方式继续对编码数据进行解码操作。具体解码操作如下：从编码属性信息中可获知卷积码对应的纠错等级以及里德-所罗门编码对应的纠错等级。因此，可首先根据卷积码对应的解码方式以及卷积码对应的纠错等级对编码数据序列进行解码操作，得到二进制数据序列。卷积码解码的一种方法是维特比译码算法，维特比译码算法基于动态规划，以最小距离为目标，例如使用汉明距离为距离量度，以求解出最有可能生成待解码序列的原序列。在本发明实施例中，采用维特比译码时，由于解交织后得到是一个映射至固定区间(如上述所说的区间[0，1])的编码数据序列，若以区间中值为阈值分为0/1，再使用汉明距离的话，可能会导致失去一些信息。因此可利用维特比译码的软输入译码特征，定义合适的距离量度，即可尽可能地利用输入的信息。本实施例中，映射至固定区间的编码数据序列表示的实际上是编码在每个位上与0或1的相似程度，如果更接近0的对应值，那么对应的原编码为0，反之，如果更接近1的对应值，那么对应的原编码为1。在卷积码解码之后，再根据里德-所罗门编码对应的解码方式以及里德-所罗门编码对应的纠错等级，对卷积码解码得到的二进制数据序列进行解码操作，得到原始数据。在利用里德-所罗门编码对应的解码方式进行解码时，可先利用里德-所罗门编码参数将二进制数据序列划分为多个小组，然后分别对每个小组的数据序列进行解码，最后再将解码结果再次合并成二进制数据流。之后，利用数据长度、校验位等信息可校验和还原出原始数据。

需要说明的是，上述实施例中，利用卷积码和里德-所罗门编码对应的解码方式对编码数据进行解码操作仅是一种示例性的说明，对于具体的解码方式，本发明实施例并不仅限定于卷积码和里德-所罗门编码这两种编码方式对应的解码方式。即，任一种或多种纠错编码方式对应的解码方式均可实现对编码数据的解码操作。

以上为本申请实施例提供的嵌码视频中图形码的解码方法，基于同样的思路，本申请实施例还提供一种嵌码视频中图形码的解码装置。

图4是根据本发明实施例的一种嵌码视频中图形码的解码装置的示意性框图。如图4所示，该装置包括：

识别模块410，用于从嵌码视频中识别出图形码所在的目标区域，嵌码视频中的至少两个帧图像承载至少一个图形码，图形码包括编码属性块和数据区域。

确定模块420，用于根据目标区域确定图形码的每个码块的码块颜色。

读取模块430，用于根据码块颜色读取数据区域中每个码块的编码数据，以及，读取编码属性块中的编码属性信息，编码属性信息包括编码信息对应的编码方式；

解码模块440，用于根据编码属性信息确定针对图形码的解码方式，利用解码方式对编码数据进行解码操作，得到图形码对应的原始数据。

其中，承载同一图形码的相邻两个帧图像的亮度根据预设调节规则调节，预设调节规则包括相邻两个帧图像在同一像素点处的调节方式不同、且不同码块颜色在同一帧图像中对应的像素点处的调节方式不同，调节方式包括提高亮度和/或降低亮度。

可选地，识别模块410还用于：

利用指定边缘检测算法检测出嵌码视频的边缘，提取边缘中的至少两条直线段作为嵌码视频的边缘线段；

从边缘线段中匹配出至少一个四边形区域；

从至少一个四边形区域中筛选出图形码所在的目标区域。

可选地，图形码包括二维码，二维码的数据区域包括多个子区域，二维码还包括按照预设排列规则排列各码块的特征块，编码属性块环绕于数据区域的外围，特征块环绕于编码属性块的外围以及各子区域的外围；

识别模块410还用于：

遍历至少一个四边形区域；

在遍历过程中，针对遍历到的每个四边形区域，分别计算四边形区域的每条边所在位置的相邻两个帧图像的第一灰度差；

根据第一灰度差、每条边上像素点的个数以及特征块上与每条边对应的特征线上的码块个数，计算每条边和与其对应的特征线的相似度；

对每条边和与其对应的特征线的相似度进行求和；

当求和结果达到预设相似阈值时，确定四边形区域为图形码所在的目标区域。

可选地，确定模块420还用于：

根据目标区域的多个顶点的坐标以及帧图像中与多个顶点对应的点的坐标，计算帧图像相对于二维码的投影变换矩阵；

根据投影变换矩阵对帧图像执行投影变换恢复操作，得到投影变换恢复后的帧图像；

针对投影变换恢复后的帧图像上的各像素点，分别计算各像素点处的相邻两个帧图像的第二灰度差；

根据第二灰度差以及特征块中各码块的位置信息，确定各像素点对应的码块颜色。

可选地，确定模块420还用于：

根据预设排列规则，确定至少一个黑色码块和至少一个白色码块在特征块中的位置信息；

根据位置信息分别计算黑色码块和白色码块处的相邻两个帧图像的灰度差，作为两个标准灰度差；

分别比较第二灰度差和两个标准灰度差之间的接近度，将与第二灰度差之间接近度较高的标准灰度差对应的码块颜色确定为第二灰度差对应的像素点处的码块颜色。

可选地，读取模块430还用于：

分别确定相邻两个帧图像上各像素点对应的码块的中心区域，中心区域小于码块的区域；

计算中心区域内各像素点对应的第二灰度差的平均值；

根据码块颜色对平均值执行取正运算或取负运算，将运算后的平均值确定为中心区域对应的码块的编码数据。

可选地，子区域包括m个，编码方式包括交织算法，交织算法指依序将一组m个编码数据分别填充至各子区域的第一位置、再将下一组m个编码数据分别填充至各子区域的与第一位置相邻的第二位置；

解码模块440还用于：

根据码块颜色以及预设排列规则，确定特征块在二维码中的位置信息，根据位置信息确定m个子区域在数据区域中的分布信息；

根据分布信息，依序从m个子区域的第三位置读取m个编码数据，得到包含m个编码数据的子数据流；

依序从m个子区域的第四位置读取m个编码数据，直至读取完m个子区域中所有位置的编码数据，以获得多个子数据流，第四位置与其所在的子区域中的第三位置相邻；

按照m个子区域的排列顺序依次组合多个子数据流，得到编码数据序列，继续对编码数据序列进行解码操作。

可选地，编码方式还包括里德-所罗门编码和卷积码，编码属性信息还包括编码方式及其纠错等级、纠错位、校验位、数据长度中的至少一项；

解码模块440还用于：

对编码数据序列进行解码操作，包括：

根据卷积码对应的解码方式以及卷积码对应的纠错等级，对编码数据序列进行解码操作，得到二进制数据序列；

根据里德-所罗门编码对应的解码方式以及里德-所罗门编码对应的纠错等级，对二进制数据序列进行解码操作，得到原始数据。

可选地，如图5所示，上述装置还包括：

修正模块450，用于根据预设排列规则确定特征块中被卷帘快门效应导致反色的待修正码块；将待修正码块对应的编码数值进行正负反转操作，得到修正后的编码数据。

归一化模块460，用于将修正后的编码数据映射至预设区间内，得到归一化的编码数据。

解码模块440还用于：

利用解码方式对归一化的编码数据进行解码操作。

采用本发明实施例的装置，通过从嵌码视频中识别出图形码所在的目标区域，根据目标区域确定图形码中每个码块的码块颜色，进而根据码块颜色读取出数据区域中每个码块的编码数据以及编码属性块中的编码属性信息，最后根据编码属性信息确定正确的解码方式，并根据该解码方式对编码数据进行解码操作，以得到图形码对应的原始数据。因此，该技术方案能够从嵌码视频中识别并获取到图形码对应的原始数据，解决了现有技术中无法针对嵌码视频中的图形码进行解码的问题。

本领域的技术人员应可理解，图4和图5中的嵌码视频中图形码的解码装置能够用来实现前文所述的嵌码视频中图形码的解码方案，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmablelogicdevice，pld)(例如现场可编程门阵列(fieldprogrammablegatearray，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardwaredescriptionlanguage，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advancedbooleanexpressionlanguage)、ahdl(alterahardwaredescriptionlanguage)、confluence、cupl(cornelluniversityprogramminglanguage)、hdcal、jhdl(javahardwaredescriptionlanguage)、lava、lola、myhdl、palasm、rhdl(rubyhardwaredescriptionlanguage)等，目前最普遍使用的是vhdl(very-high-speedintegratedcircuithardwaredescriptionlanguage)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmelat91sam、microchippic18f26k20以及siliconelabsc8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。