专利名称：蛇形矩阵编码/解码器以及可视标志编码和呈现系统的制作方法
技术领域：
本发明涉及一种编码/解码处理以及多媒体信号处理，更具体地，涉及一种编码器和其编码方法，一种解码器和其解码方法，一种可视标志编码和呈现系统及其方法以及一种通过识别视频片段来提供内容的系统及其方法。
背景技术：
如今的移动电话不仅提供了语音通信功能，而且还提供了对因特网上的大量数据和服务的访问功能。随着照相机的集成，移动电话已经成为联网的个人图像捕获设备。随着图像分辨率的提高和技术能力的增强，移动电话除了拍照以及将照片通过移动电话网作为媒体消息发送之外还可以执行更多有趣的功能。
“桥接物理和数字空间”的理念使得用户与物理对象以及在用户附近的电子屏幕上显示的实际物体进行本地交互。移动电话的用户大部分时间携带其移动电话，因此在多种日常生活状态中可以使用移动电话。所以移动电话是真实世界中的物品和虚拟世界中的相关实体之间的理想的桥接装置。由此提供了一种自然的交互方式并在大量使用的情况下增强了移动电话的功用。例如，在可拍照手机可用时，在任何地方、任何时间，任何人都可以很容易地从街头上播广告的显示器或TV上的屏幕图像来检索服务信息。
考虑到照相机作为请求交互的输入介质所存在的大量商机，来自公司和科研机构的多位研究者已经采用了通过照相机手机支持媒体交互的技术。基本上，在不同的媒体链路模式中，存在一些讨论媒体交互的相关方法，例如，从TV节目到万维网TV服务器，从打印海报到在线订票中心以及从名片卡到个人电子日历。已有的技术可以被分为两类1)可感知模式和2)不可感知模式。
可感知模式指的是将ID(标识)码按照可视条形码的形式嵌入到媒体作品中。一个示例为美国专利No.6,542,933B1(Durst等人)，其中公开了一种将ID信息编码为条形码符号或人可读字母数字文本串的系统。另一个示例为Sony建议的名称为CyberCode，2D条形码状符号(J.Rekimoto and Y.Ayatsuka，“CyberCodeDesigning AugmentedReality Environments with Visual Tags”，in Proceedings of DARE2000，pp1-10，Elsinore，Denmark，2000年4月份)。条形码是一种成熟技术，它的编码/解码过程快速且显而易见。然而，有关媒体作品的条形码的实施可能引起美观性降低的问题，特别会使用户感到反感，因为用户从条形码的外观上不能够获得任何所期望的信息。
不可感知模式指的是通过数字水印技术嵌入ID码，通过对数字内容进行细微的修改来隐藏信息，虽然这种修改几乎是人不可视的，却仍能够被机器检测出。一个示例为由Digimarc提议的授予Rhoads的美国专利6,311,214 B1。该专利公开了利用打印的对象嵌入多比特ID数据的多个实施例，例如邮件的条款、书籍、名片卡、产品包装等等。然而，当前的水印技术不能够被搬移到视频-照相机媒体链路模式。存在一些本领域的技术人员所知的特定原因。例如，多种照相机记录的因素，例如，手的抖动，照相机的仿射或未对准屏幕，透镜失真以及其他的环境噪声等等，都会引起视频片段的可视数据的严重失真。对TV屏幕快拍的图像会受到测光变化(屏幕反射，发光，暂时模糊，对比和颜色的变化，误对焦等等)，几何失真(移位，缩放，旋转，剪切，透视的变化以及遮挡等)的影响，如何解决上述问题对于当前的水印系统来说一直是一种严峻的挑战。
上文已经讨论了与视频片段识别相关的一些技术。与条形码方法相比较，水印技术是实现视频-照相机或视频-微型电话中的视频片段识别的可行方法。但是，媒体连接模式的一些特性对已有的水印技术构成了挑战。因此，需要一种系统和方法来通过带有光读取器的手持计算设备识别视频片段。所述方法应该满足下列条件1)将ID代码嵌入视频片段的可视或可听数据中并经受有损压缩；2)对普通的不友好的攻击视频剪辑操作来说具有鲁棒性；3)不受视频-照相机或视频-麦克风媒体链路模式中的光测变化，几何失真和环境噪声的影响；以及4)引起较少的美观问题和法律问题。
发明内容
因此，考虑到上述问题提出本发明。本发明的目的是提供一种蛇形矩阵编码器和其编码方法，用于将比特数据编码为具有旋转不变性特征的蛇形矩阵。
本发明的另一个目的是提供一种蛇形矩阵解码器以及其解码方法。
本发明的另一个目的是提供一种包括蛇形矩阵编码器的可视标志编码和呈现系统及其方法，以及一种通过识别视频片段提供内容并包括蛇形矩阵解码器的系统及其方法。
根据本发明第一方面，提供了一种蛇形矩阵编码器，包括蛇形矩阵生成装置，用于根据比特序列{b0，b1，b2，...bN2-1}生成比特容量为N2的2N×2N的蛇形矩阵，所述蛇形矩阵生成装置包括中心定位单元，用于利用四个块表示比特b0，并将四块定位为蛇形矩阵的中心环，其中b0是校验比特，以及中心四块是校验块；和第2至第N环形成单元，利用每四个中心对称块表示一个比特并依据比特序列的比特顺序从第2环至第N环沿着逆时针方向逐环旋转，其中第2环是中心环周围的环以及第2至第N环的比特数目分别为3，5，7，...2N-1。
根据本发明第二方面，提供了一种蛇形矩阵编码方法，包括蛇形矩阵生成步骤，用于根据比特序列{b0，b1，b2，...bN2-1}生成比特容量为N2的2N×2N的蛇形矩阵，所述蛇形矩阵生成步骤包括中心定位步骤，利用四块表示b0，并将四块定位为蛇形矩阵的中心环，其中b0是校验比特，以及中心四块是校验块；和第2至第N环形成单元，利用每四个中心对称块表示一个比特并依据比特序列的比特顺序从第2环至第N环沿着逆时针方向逐环旋转，其中第2环是中心环周围的环以及第2至第N环的比特数目分别为3，5，7，...2N-1。
根据本发明第三方面，提供了一种蛇形矩阵解码器，用于对比特序列{b0，b1，b2，...bN2-1}进行解码，包括第一计算单元，用于根据等式(1)计算阈值θM1＝abs(B10+B30-B20-B40)M2＝abs(B10+B20-B30-B40)，(1)θ=M1+M22]]>其中，B10，B20，B30和B40是位于蛇形矩阵中心用于表示b0的四块，以及B10，B20，B30和B40是校验块；第二计算单元，用于根据等式(2)计算MiMi＝abs(B1i+B3i-B2i-B4i)，(2)其中，B1i，B2i，B3i和B4i是表示bi(1≤i≤N2-1)的四块；以及比较单元将Mi与阈值θ比较，以获得bi，其中如果Mi大于阈值θ，则bi等于1，如果Mi小于等于阈值θ，则bi等于0；其中所述第二计算单元和比较单元重复计算Mi和将Mi与阈值θ进行比较，直到求出比特序列中的所有比特。
根据本发明第四方面，提供了一种蛇形矩阵解码方法，用于对比特序列{b0，b1，b2，...bN2-1}进行解码，包括第一计算步骤，用于根据等式(1)计算阈值θM1＝abs(B10+B30-B20-B40)M2＝abs(B10+B20-B30-B40)，(1)θ=M1+M22]]>其中，B10，B20，B30和B40是位于蛇形矩阵中心用于表示b0的四块，以及B10，B20，B30和B40是校验块；第二计算步骤，用于根据等式(2)计算MiMi＝abs(B1i+B3i-B2i-B4i)，(2)其中，B1i，B2i，B3i和B4i是表示bi(1≤i≤N2-1)的四块；以及比较步骤，用于将Mi与阈值θ比较，以获得bi，其中如果Mi大于阈值θ，则bi等于1，如果Mi小于等于阈值θ，则bi等于0；
重复第二计算步骤和比较步骤，直到求出比特序列中的所有比特。
根据本发明第五方面，提供了一种可视标志编码和呈现系统，包括呈现装置，和可视标志编码器，用于通过媒体信道与呈现装置连接，包括预处理单元，用于将来自标识码数据库中的标识码数据编码为比特序列{b0，b1，b2，...bN2-1}；蛇形矩阵编码器，用于将预处理后的比特序列编码为蛇形矩阵；嵌入单元，用于将已编码比特序列嵌入到来自标志数据库的对应可视标志中；标志插入单元，用于将可视标志插入到相关视频片段的每一帧中；通信单元，用于将带有可视标志的视频片段发送到呈现装置以便显示。
根据本发明第六方面，提供了一种可视标志编码和呈现方法。
根据本发明第七方面，提供了一种用于通过识别视频片段来提供内容的系统，包括移动终端，用于通过网络与服务中心连接，包括捕获单元，用于从呈现装置捕获具有视频片段的可视标志的图像，所述可视标志被嵌入了已编码的标识码数据；标志定位单元，用于从捕获的图像中提取可视标志的边缘并将可视标志归一化为规则的正方形蛇形矩阵；蛇形矩阵解码器，用于从归一化的可视标志中解码出比特序列{b0，b1，b2，...bN2-1}；恢复单元，用于从解码的比特序列中恢复标识码数据；通信单元，用于将解码的标识码数据发送到服务中心；和服务中心，用于根据解码的标识码数据查找内容数据库，以便识别对应的视频片段并向移动终端提供与所述视频片段有关的内容。
根据本发明第八方面，提供了一种用于通过识别视频片段来提供内容的方法。
根据本发明第九方面，提供了一种用于通过识别视频片段来提供内容的系统，包括移动终端，包括捕获单元，用于从呈现装置捕获具有视频片段的可视标志的图像，所述可视标志被嵌入了已编码的标识码数据；通信单元，用于将捕获的图像发送到呈现装置；呈现装置，包括通信单元，用于接收捕获的图像；标志定位单元，用于从捕获的图像中提取可视标志的边缘并将可视标志归一化为规则的正方形蛇形矩阵；蛇形矩阵解码器，用于从归一化的可视标志中解码出比特序列{b0，b1，b2，...bN2-1}；恢复单元，用于从解码的比特序列中恢复标识码数据；通信单元，用于将解码的标识码数据和对视频片段相关的内容的请求发送到服务中心，并将从服务中心获取的请求的内容发送到移动终端；和服务中心，用于接收来自呈现装置的对内容的请求，根据解码的标识码数据从内容数据库查找与识别的视频片段有关的内容并将所述内容发送到呈现装置。
根据本发明第十方面，提供了一种用于通过识别视频片段来提供内容的方法。
所公开的本发明获得的有益效果如下由于提出的编码器及其编码方法可以将比特数据编码为具有环形旋转不变性的特点的蛇形矩阵，从而当这种编码器及其方法应用在标识码数据水印中，将会改进水印的鲁棒性。
包括蛇形矩阵编码器的可视标志编码和呈现系统用于将已编码的可视标志嵌入到视频信号中，从而可以通过传统的的媒体通道来更方便地将分布的视频片段与更多的交互式系统链接，特别是，借助于蛇形矩阵编码器的可视标志编码和呈现系统，用户利用例如具有照相机的移动终端和其喜爱的视频片段交互，从而可以获得与其喜爱的视频片段有关的更多信息或服务。此外，与条形码和纯水印技术不同，本发明提出了一种新颖且用户友好的交互可视标志来将传统媒体与用户连接。
由于蛇形矩阵编码器的可视标志编码和呈现系统所采用的标识码数据嵌入技术是基于蛇形矩阵编码方法，其对于视频-照相机链路模式的一些干扰(例如，测光变化，几何失真)来说具有鲁棒性。
此外，基于信息隐藏技术，本发明可以提供受益于蛇形矩阵编码方法的用于识别大量的视频片段的高数据容量。以及通过隐写术将蛇形矩阵嵌入到可视标志中，从而不会产生不美观的效果。
通过以下结合附图对实施例的描述，本发明的这些和/或其他方案和优点将变得更加明显，且更容易理解，其中
图1a是示出了根据本发明的蛇形矩阵编码器的方框图；图1b-1d是已编码的蛇形矩阵的示意图；图1e-1f示出了将9比特数据编码为蛇形矩阵的示例；图2是示出根据本发明的描述蛇形矩阵编码方法的流程图；图3a是示出了根据本发明的蛇形矩阵解码器的示意图；图3b是示出了针对已编码的9比特数据进行解码的过程的示意图；图4是根据本发明的描述蛇形矩阵解码方法的流程图；图5是根据本发明的可视标志编码和呈现系统的示意结构图；图6是根据本发明的描述可视标记编码和呈现方法的流程图；图7是根据本发明一个实施例的通过识别视频片段提供内容的系统的示意方框图；图8是根据本发明一个实施例的通过识别视频片段提供内容的方法的流程图；图9是根据本发明另一个实施例的通过识别视频片段提供内容的系统的示意方框图；图10是根据本发明一个实施例的通过识别视频片段提供内容的方法的流程图；图11a示出了将标识码插入到可视标志的示例；图11b示出了从可视标志中解码标识码的示例。
具体实施例方式
现在，将对本发明的实施例进行详细描述，在附图中示出了本发明的示例，相似的参考数字在所有附图中表示相似的元件。下面，将参照附图描述实施例，以便解释本发明。
图1a是示出了根据本发明的蛇形矩阵编码器的方框图。参考图1a，蛇形矩阵编码器1包括蛇形矩阵生成装置和存储装置14。蛇形矩阵生成装置用于将已编码的比特数据编码为蛇形矩阵，其包括中心定位单元10和第2至第N环形成单元12。
图2是示出根据本发明的描述蛇形矩阵编码方法的流程图。下面将参考图1a-1c以及图2来详细描述蛇形矩阵的编码方法。该蛇形矩阵编码方法用于将原始的比特数据编码为正方形的蛇形矩阵。在蛇形矩阵的编码过程中，每四个块用于表示一个比特信息。因此，如等式(1)所示，对于2N×2N的正方形蛇形矩阵，蛇形矩阵的比特容量为N2(2N)*(2N)4=N2---(1)]]>在利用蛇形矩阵编码器将原始的比特数据编码为蛇形矩阵之前，首先利用已知的方法(例如加密，差错保护，置换(permutation)，BPSK调制等等)将原始的比特数据编码为比特序列{b0，b1，b2，...bN2-1}，以便进行蛇形矩阵的编码。在上述预处理生成的比特序列{b0，b1，b2，...bN2-1}中，b0是校验比特，其值等于1。中心定位单元10利用如图1b所示的作为蛇形矩阵的中心的四块表示b0(S201)。所述中心四块是校验块(即，表示b0的四块)，用于确定解码过程中比特数据的阈值。下一步，第2至第N环形成单元12根据图1c所示的比特顺序按照逆时针方向从中心到外侧逐环的设置所述块(S202)，其中每四块表示一个比特信息。例如，在第二环中有12个块，每四个中心对称的块分别表示b1，b2，b3，即.，b1，b2，b3，b1，b2，b3，b1，b2，b3。相应地，最外环表示b(N-1)2，b(N-1)2+1，...，bN2-2，bN2-1。在每一环中可存储的比特数目分别是1，3，5，7...，2N-1，构成了算术级数。
因此，比特序列{b0，b1，b2，...bN2-1}被编码为2N×2N的蛇形矩阵以及存储装置14对其进行存储(S203)。
将这种中心对称块的矩阵称为为蛇形矩阵的原因为比特数据的设置方式像图1c所示的蛇的盘绕形状一样。很明显的，这种蛇形矩阵具有环形旋转不变性，如果标识码数据水印采用这种编码方法的话，则可以提高鲁棒性。
图1d示出了当比特长度为9时(即，如图1e所示的比特数据序列{b0，b1，b2，b3，b4，b5，b6，b7，b8})，蛇形矩阵的示意图。这里，N等于3以及蛇形矩阵是6×6块矩阵。比特序列的第一个比特是校验比特，所以蛇形矩阵的中心四块是校准块。图1f中具有粗体边界的中心四块是校准块。蛇形矩阵的值，例如，设置为如果bi等于0，则它的四块都设置为1或0；如果bi是1，则四块被顺序设置为1，0，1，0或0，1，0，1。比特序列中的第一个比特校验比特b0被设置为1，因此中心四块被设置为0，1，0，1。很明显的，中心四块也可以被设置为1，0，1，0。
图3a是示出了根据本发明的蛇形矩阵解码器的示意图。由蛇形矩阵解码器3执行的解码过程是图2所示的编码的逆过程。蛇形矩阵编码器3包括第一计算单元30，第二计算单元32以及比较单元34。第一计算单元30用于计算阈值。第二计算单元32和比较单元34一起协作用来通过使用所述阈值从比特数据序列中计算出每一个bi。
图4是根据本发明的描述蛇形矩阵解码方法的流程图。解码方法也是图2所示编码方法的逆过程。为了清楚地描述所述解码方法，以图1f所示的3×3蛇形矩阵为例进行描述，其中已编码的原始比特数据的长度为9。在S401，第一计算单元30读取B10，B20，B30，B40的值并根据等式(2)计算阈值θM1＝abs(B10+B30-B20-B40)M2＝abs(B10+B20-B30-B40) (2)θ=M1+M22]]>其中B10，B20，B30，B40是图1f所示的表示校验比特b0的四块逆时针设置的块。
在S402，第二计算单元32根据等式(3)计算MiMi＝abs(B1i+B3i-B2i-B4i) (3)其中B1i，B2i，B3i，B4i是表示图1f比特bi(1≤i≤N2-1)的四块逆时针设置的、中心对称的四块。
之后，在S403，计算单元34根据等式(4)将Mi与θ进行比较，以根据等式(4)获得bi
bi=1ifMi>θ0ifMi≤θ---(4)]]>在S404，第二计算单元32和比较单元34根据等式(3)和等式(4)共同协作以便计算出比特数据序列中的每一个bi。因此，通过计算Mi并将Mi与阈值θ逐比特地进行比较获得比特数据序列中的所有比特b0，b1，b2...b8。从而蛇形矩阵被解码为如图1e所示的比特数据序列{1，0，0，0，0，0，1，1，0}。以及通过已知的方法可以将所求出的比特数据序列恢复为原始的比特数据，例如，解密BPSK解调等。
上面已经描述了蛇形矩阵编码器和解码器。由于蛇形矩阵编码器将比特序列编码为具有环形旋转不变性的特点的蛇形矩阵，从而当这种编码器和解码器用在数字水印领域中时，例如标识码数据水印，将会改进鲁棒性。以及编码后的标识码数据可以被嵌入到可视标记或标志中。此外，蛇形矩阵编码器和解码器也可以应用于用来实现2D条形码和加密中。
现在将参考图5-10描述所述蛇形矩阵编码器和解码器在数字水印领域中的应用。
图5是根据本发明的包括蛇形矩阵编码器的可视标志编码和呈现系统的示意结构图。参考图5，可视标志编码和呈现系统包括可视标志编码器5，媒体信道56和呈现装置57。媒体信道例如是TV广播系统。呈现装置57例如是电视机或广告发布机器。
可视标志编码器5包括标识码数据库51，蛇形矩阵编码器1，标识码数据预处理单元58，标志数据库52，嵌入单元53，标志插入单元54以及通信单元55。由于蛇形矩阵编码器1的结构及其编码方法已在图1和图2中进行了描述，这里省略对其的描述。标识码数据库51存储有大量的标识(ID)码数据，标识码与视频片段有关，用于帮助识别视频片段的类别。标志数据库52是根据一组可视标志来构造的。可视标志与任意一种显著的图形符号对应，例如，商标，品牌标记，按钮式标签，TV节目符号，产品/公司标识符，或任何特定的定制图标。标识码数据预处理单元58首先利用已知的方法将标识码数据库中的标识码数据编码为新的比特序列{b0，b1，b2，...bN2-1}，例如加密，差错保护，置换，BPSK调制等等。之后，蛇形矩阵编码器1将该比特序列编码为蛇形矩阵。嵌入单元53将编码的标识码数据嵌入到对应的可视标志中。标志插入单元54将编码后的可视标志插入到视频片段每一帧的角落中。此后，具有这种可视标志的视频片段通过媒体信道56发送到呈现装置57以便显示。视频片段例如是示出产品广告，新闻报道，电影预告或TV节目浏览等等的一系列图像。
图6是根据本发明的描述可视标记编码和呈现方法的流程图。参考图6，在S601，标识码数据预处理单元58首先利用已知的方法将标识码数据库51中的标识码数据编码为比特序列{b0，b1，b2，...bN2-1}。之后，在S602，蛇形矩阵编码器1将比特序列编码为蛇形矩阵。在S603，嵌入单元53将编码的标识码数据嵌入到对应的可视标志中。具体地，嵌入单元53从标志数据库52中选择可视标志，例如方形NEC标记(Logo)，并提取出图像标志的一个信道，例如蓝色平面。然后，平面被分解为多个瓦块(tiling blocks)，通过嵌入单元53将蛇形矩阵的每个块(即，表示已编码的标识码数据的块)嵌入到图像标志中的对应位置处，正如图11a所示。虽然，蛇形矩阵的块可以被不可感知地嵌入到空间域(例如，蓝色信道)中，对于本领域的技术人员来说，还可以将所述块不可感知地嵌入到变换域(例如傅立叶或小波变换域)中。
在S604，标志插入单元54将已编码的可视标志插入到对应视频片段每一帧的角落中，其中标识码信息隐藏在已编码的可视标志中。此后，在S605，通信单元通过媒体信道56(例如，TV广播系统)将具有可视标志的视频片段发送到呈现装置57。以及呈现装置57显示具有可视标志的视频片段，从而用户可以对其喜爱的视频片段拍照。
图7是根据本发明一个实施例的通过识别视频片段提供内容的系统的示意方框图。
参考图7，所述系统包括移动终端7，网络79，服务中心78。所述系统使用了蛇形矩阵解码器3来对隐藏在可视标志中的标识码数据进行解码，并通过解码的标识码识别出视频片段。因此，可以向移动终端提供与视频片段有关的包括信息或服务的内容。由于蛇形矩阵解码器3的结构及其解码方法已在图3a和图4中进行了描述，这里省略对其的描述。
移动终端7例如包括移动电话、PDA(个人数字助理)、计算机、手持娱乐设备和机顶盒，每一个都装配有光读出器。例如数码相机，万维网CAM，CCD，或CMOS成像扫描仪。
服务中心78可以包括各种交互系统(例如，产品信息平台，电子商务万维网网站，万维网TV服务提供商以及在线订票中心等等)上与信息或服务有关的内容。由于编码之前的标识码数据分别与对应的视频片段有关，在获得解码后的标识码数据之后，可以识别视频片段的类别。因此，包括与视频片段有关的信息或服务的内容可以被提供给移动终端7。
移动终端7包括用户接口70，显示单元71，捕获单元73，标志定位单元74，蛇形矩阵解码器3，恢复单元72，处理器76，总线77，存储单元和通信单元(未示出)。移动终端7通过用户接口70接收用户的输入。存储单元存储在处理器76上执行的操作系统。通信单元采用了多种通信方法，涉及红外，蓝牙，WLAN，GSM，甚至3G。当在呈现装置57上显示了不同的视频片段时，用户可以使用其移动终端7的捕获单元73(例如，照相机)来捕获他喜爱的视频片段的可视标志。之后，标志定位单元74对标志定位，并由解码器3提取出比特序列{b0，b1，b2，...bN2-1}。恢复单元72执行与标识码数据预处理单元58相反的操作(例如，解密，BPSK解调制等等)以便获得标识码数据。移动终端经过网络79(例如通信网或因特网)由通信单元将解码的标识码数据发送的到服务中心78。因此，获得了帮助识别视频片段的类别的解码的标识码数据。
服务中心78包括内容数据库781和搜索单元782。由于解码后的标识码数据对应于与视频片段有关的信息或服务，其中所述视频片段嵌入了可视标志，服务中心78根据接收的标识码数据搜索与视频片段有关的信息或服务。之后，将信息或服务发送到移动终端7。移动终端7的显示单元71显示所述信息或服务。例如，显示的视频片段示出了NEC的新型移动电话。在移动终端7捕获了NEC标志并将解码的标识码数据发送给服务中心78之后，将在移动终端7上显示有关NEC的新型移动电话的更多的细节信息。也就是说，通过服务中心78可以向用户提供有关特定NEC产品的更多有用信息。
图8示出了根据本发明一个实施例的通过识别视频片段提供内容的方法的流程图。在S801，捕获单元73根据通过用户接口70接收的用户命令从呈现装置57捕获包含视频片段的已编码标志的图像。通常，捕获图像中的标志具有一些测光变化以及几何失真。因此，由移动终端7在S802定位标志。移动终端7的标志定位单元74首先检测并提取捕获的图像的边缘结构。对于本领域的普通技术人员来说已经存在多种边缘检测方法，本实施例也可以采用任一种边缘检测方法。这些方法包括Canny算子和拉普拉斯算子。之后，移动终端7的标志定位单元74使用检测的捕获标志的边缘的四个边角位置来计算标志的变形(warping)参数。所述变形参数用于将不规则的四边形变换为规则的正方形，即，对标志进行归一化，从而可以从标志的变形中逐象素地获得规则化的标志。之后，在S803，移动终端7的解码器3根据蛇形矩阵的定义从规则化的标志中解码出比特序列{b0，b1，b2，...bN2-1}。在解码过程中，移动终端的解码器根据等式(2)，(3)和(4)对蛇形矩阵进行解码。图3b给出了针对已编码的9比特数据进行解码的一个示例。在S804，恢复单元72通过执行与标识码数据预处理单元58相反的操作(例如解码，BPSK解调制等等)从比特序列{b0，b1，b2，...bN2-1}中恢复出原始的标识码数据。图11b示出了归一化处理和解码处理的示意图。因此，解码后的标识码数据由通信单元通过网络79发送到服务中心78。由于编码之前的标识码数据分别与对应的视频片段有关，在获得解码的标识码数据之后，可以识别视频片段的类别，并因此可以向移动终端7提供与所述视频片段有关的信息或服务。在S806，当服务中心78接收到标识码序列时，由搜索单元782搜索内容数据库781以便找到和与标识码数据对应的视频片段有关的服务或信息。在S807，服务中心78向移动终端7发送检索到的信息或服务以便显示。
图9是根据本发明另一个实施例的通过识别视频片段提供内容的系统的示意方框图。图7和图9之间的区别在于标志定位单元和蛇形矩阵解码器一同在呈现装置57上工作。
在图9中，移动终端7包括用户接口70，显示单元71，捕获单元73，处理器76，总线77，存储单元和通信单元(未示出)。通信单元采用了多种通信方法，涉及红外，蓝牙，WLAN，GSM，甚至3G。当在呈现装置57上显示了不同的视频片段时，用户可以使用其移动终端7的捕获单元73来对屏幕拍快照。之后，通信单元通过本地网络连接(即，蓝牙，802.11等等)将具有编码的标志的快照图像发送到呈现装置57。
呈现装置57包括通信单元570，显示单元572，标志定位单元74，蛇形矩阵解码器3，恢复单元575，总线573和存储单元(未示出)。由于蛇形矩阵解码器3的结构及其解码方法已在图3a和图4中进行了描述，这里省略对其的描述。当呈现装置57接收到具有编码的标志的快照图像时，呈现装置57的定位单元74定位解码的标志从而恢复正方形蛇形矩阵。相应地，解码器从定位后的标志中解码出比特序列{b0，b1，b2，...bN2-1}。恢复单元575通过执行与标识码数据预处理单元58相反的操作(例如解码，BPSK解调制等等)从比特序列{b0，b1，b2，...bN2-1}中恢复出原始的标识码数据。之后，通过网络79(即，因特网或电信网)将解码的标识码数据和对与视频片段有关的内容的请求一起发送到服务中78。由于根据解码的标识码序列服务中心78知道用户感兴趣的视频片段，从而搜索更多的服务信息并将请求的内容发送到呈现装置57。最后，通过程序装置57的通信单元570将信息或服务反馈给用户移动终端7。所述系统的一个益处在于不需要对移动终端进行特殊的改变，因为标志定位单元和解码器工作在呈现装置上。与图7的系统相比，该变化更通用，因为任何一种配备有通信单元(即，本地网端口)和照像单元的移动终端都可以用于所述系统。
图10是根据本发明一个实施例的通过识别视频片段提供内容的方法的流程图。
在S1001，捕获单元73根据通过用户接口70接收的用户命令从呈现装置57捕获包含视频片段的已编码标志的图像。之后，在S1002，将包含编码的标志的捕获图像通过移动终端7的通信单元发送到呈现装置57。在S1003，由呈现装置57的标志定位单元74对标志进行定位。程序装置57的标志定位单元74首先检测捕获的图像的边缘结构。之后，编制定位单元74使用检测的边缘的边角位置来计算标志的变形参数。所述变形参数用于将不规则的四边形变换为规则的正方形，即，对标志进行归一化，从而可以从标志的变形中逐象素地获得规则化的标志。因此，在S1004，呈现装置57的解码器3根据蛇形矩阵的定义从规则化的标志中解码出比特序列{b0，b1，b2，...bN2-1}。在解码过程中，呈现装置57的解码器3根据等式(2)，(3)和(4)对蛇形矩阵进行解码。图11b示出了归一化处理和解码处理。在S1005，呈现装置57的恢复单元72从比特序列{b0，b1，b2，...bN2-1}中恢复出原始的标识码数据。在S1006，由呈现装置57的通信单元570通过网络79将解码的标识码数据和对与解码的标识码序列有关的信息的请求发送到服务中心78。当服务中心接收到该标识码数据和所述请求时，由搜索单元782根据标识码数据对内容数据库781进行检索。最后，在S1007，服务中心78向呈现装置57发送检索到的信息或服务，因此，呈现装置57可以通过局域网将所述信息或服务发送到移动终端7以便显示。
尽管已经示出和描述了本发明，本领域的技术人员可以理解的是，在不偏离本发明的原理和精神的前提下，可以对本实施例进行修改，本发明的范围由所附权利要求及其等价物限定。
权利要求
1.一种蛇形矩阵编码器，包括蛇形矩阵生成装置，用于根据比特序列{b0，b1，b2，...bN2-1}生成比特容量为N2的2N×2N的蛇形矩阵，所述蛇形矩阵生成装置包括中心定位单元，用于利用四个块表示比特b0，并将四块定位为蛇形矩阵的中心环，其中b0是校验比特，以及中心四块是校验块；和第2至第N环形成单元，利用每四个中心对称块表示一个比特并依据比特序列的比特顺序从第2环至第N环沿着逆时针方向逐环旋转，其中第2环是中心环周围的环以及第2至第N环的比特数目分别为3，5，7，...2N-1。
2.如权利要求1的编码器，其中通过对要被编码的原始比特数据进行预处理以获得所述比特序列{b0，b1，b2，...bN2-1}。
3.如权利要求1的编码器，其中表示b0的四块被分别设置为1，0，1，0或0，1，0，1。
4.如权利要求1的编码器，其中当bi等于1时，表示bi的四块按顺序表示为1，0，1，0或0，1，0，1；以及当bi等于0时，表示bi的四块全部为0或1。
5.一种蛇形矩阵编码方法，包括蛇形矩阵生成步骤，用于根据比特序列{b0，b1，b2，...bN2-1}生成比特容量为N2的2N×2N的蛇形矩阵，所述蛇形矩阵生成步骤包括中心定位步骤，利用四块表示b0，并将四块定位为蛇形矩阵的中心环，其中b0是校验比特，以及中心四块是校验块；和第2至第N环形成单元，利用每四个中心对称块表示一个比特并依据比特序列的比特顺序从第2环至第N环沿着逆时针方向逐环旋转，其中第2环是中心环周围的环以及第2至第N环的比特数目分别为3，5，7，...2N-1。
6.如权利要求5的编码方法，其中通过对要被编码的原始比特数据进行预处理以获得所述比特序列{b0，b1，b2，...bN2-1}。
7.如权利要求5的编码方法，其中表示b0的四块被分别设置为1，0，1，0或0，1，0，1。
8.如权利要求5的编码方法，其中当bi等于1时，表示bi的四块按顺序表示为1，0，1，0或0，1，0，1；以及当bi等于0时，表示bi的四块全部为0或1。
9.一种蛇形矩阵解码器，用于对比特序列{b0，b1，b2，...bN1-1)进行解码，包括第一计算单元，用于根据等式(1)计算阈值θM1＝abs(B10+B30-B20-B40)M2＝abs(B10+B20-B30-B40)，(1)θ=M1+M22]]>其中，B10，B20，B30和B40是位于蛇形矩阵中心用于表示b0的四块，以及B10，B20，B30和B40是校验块；第二计算单元，用于根据等式(2)计算MiMi＝abs(B1i+B3i-B2i-B4i)，(2)其中，B1i，B2i，B3i和B4i是表示bi(1≤i≤N2-1)的四块；以及比较单元将Mi与阈值θ比较，以获得bi，其中如果Mi大于阈值θ，则bi等于1，如果Mi小于等于阈值θ，则bi等于0；其中所述第二计算单元和比较单元重复计算Mi和将Mi与阈值θ进行比较，直到求出比特序列中的所有比特。
10.一种蛇形矩阵解码方法，用于对比特序列{b0，b1，b2，...bN2-1)进行解码，包括第一计算步骤，用于根据等式(1)计算阈值θM1＝abs(B10+B30-B20-B40)M2＝abs(B10+B20-B30-B40)，(1)θ=M1+M22]]>其中，B10，B20，B30和B40是位于蛇形矩阵中心用于表示b0的四块，以及B10，B20，B30和B40是校验块；第二计算步骤，用于根据等式(2)计算MiMi＝abs(B1i+B3i-B2i-B4i)，(2)其中，B1i，B2i，B3i和B4i是表示bi(1≤i≤N2-1)的四块；以及比较步骤，用于将Mi与阈值θ比较，以获得bi，其中如果Mi大于阈值θ，则bi等于1，如果Mi小于等于阈值θ，则bi等于0；重复第二计算步骤和比较步骤，直到求出比特序列中的所有比特。
11.一种可视标志编码和呈现系统，包括呈现装置，和可视标志编码器，用于通过媒体信道与呈现装置连接，包括预处理单元，用于将来自标识码数据库中的标识码数据编码为比特序列{b0，b1，b2，...bN2-1}；蛇形矩阵编码器，用于将预处理后的比特序列编码为蛇形矩阵；嵌入单元，用于将已编码比特序列嵌入到来自标志数据库的对应可视标志中；标志插入单元，用于将可视标志插入到相关视频片段的每一帧中；通信单元，用于将带有可视标志的视频片段发送到呈现装置以便显示。
12.如权利要求11的系统，其中所述嵌入单元将已编码的比特序列嵌入到可视标志的空间域中。
13.如权利要求11的系统，其中所述嵌入单元将已编码的比特序列嵌入到可视标志的变换域中。
14.如权利要求11的系统，其中所述可视标志被嵌入到视频片段的每一帧的边角位置。
15.如权利要求11的系统，其中所述可视标志是图形符号或定制图标。
16.一种可视标志编码和呈现方法，包括步骤从标识码数据库中读取标识码数据，和将标识码数据编码为比特序列{b0，b1，b2，...bN2-1}；由蛇形矩阵编码器将编码后的比特序列编码为蛇形矩阵；将已编码比特序列嵌入到来自标志数据库的对应可视标志中；将可视标志插入到相关视频片段的每一帧中；将带有可视标志的视频片段发送到呈现装置；显示带有可视标志的视频片段。
17.如权利要求16的方法，其中所述嵌入步骤包括已编码的比特序列嵌入到可视标志的空间域中的步骤。
18.如权利要求16的方法，其中所述嵌入步骤包括已编码的比特序列嵌入到可视标志的变换域中的步骤。
19.如权利要求16的方法，其中所述可视标志被嵌入到视频片段的每一帧的边角位置。
20.如权利要求16的方法，其中所述可视标志是图形符号或定制图标。
21.一种用于通过识别视频片段来提供内容的系统，包括移动终端，用于通过网络与服务中心连接，包括捕获单元，用于从呈现装置捕获具有视频片段的可视标志的图像，所述可视标志被嵌入了已编码的标识码数据；标志定位单元，用于从捕获的图像中提取可视标志的边缘并将可视标志归一化为规则的正方形蛇形矩阵；蛇形矩阵解码器，用于从归一化的可视标志中解码出比特序列{b0，b1，b2，...bN2-1}；恢复单元，用于从解码的比特序列中恢复标识码数据；通信单元，用于将解码的标识码数据发送到服务中心；和服务中心，用于根据解码的标识码数据查找内容数据库，以便识别对应的视频片段并向移动终端提供与所述视频片段有关的内容。
22.如权利要求21所述的系统，其中所述捕获单元是光读出器。
23.如权利要求22所述的系统，其中所述光读出器是数码相机。
24.如权利要求21所述的系统，其中所述移动终端至少包括移动电话、PDA、计算机、手持娱乐设备和机顶盒之一。
25.如权利要求21所述的系统，其中所述标志定位单元通过计算可视标志的变形参数对可视标志进行归一化从而将所述可视标志变换为规则的正方形蛇形矩阵。
26.一种用于通过识别视频片段来提供内容的方法，包括捕获步骤，用于由移动终端从呈现装置捕获带有视频片段的可视标志的图像，所述可视标志被嵌入了已编码的标识码数据；标志定位步骤，用于从捕获的图像中提取可视标志的边缘并将可视标志归一化为规则的正方形蛇形矩阵；蛇形矩阵解码步骤，用于从归一化的可视标志中解码出比特序列{b0，b1，b2，...bN2-1}；恢复步骤，用于从解码的比特序列中恢复原始的标识码数据；发送步骤，用于将解码的标识码数据发送到服务中心；查找步骤，由所述服务中心根据解码的标识码数据查找内容数据库，以便识别对应的视频片段并向移动终端提供与所述视频片段有关的内容。
27.如权利要求26所述的方法，其中所述捕获步骤由光读出器执行。
28.如权利要求27所述的方法，其中所述光读出器是数码相机。
29.如权利要求26所述的方法，其中所述移动终端至少包括移动电话、PDA、计算机、手持娱乐设备和机顶盒之一。
30.如权利要求26所述的方法，其中所述标志定位步骤通过计算可视标志的变形参数对可视标志进行归一化从而将所述可视标志变换为规则的正方形蛇形矩阵。
31.一种用于通过识别视频片段来提供内容的系统，包括移动终端，包括捕获单元，用于从呈现装置捕获具有视频片段的可视标志的图像，所述可视标志被嵌入了已编码的标识码数据；通信单元，用于将捕获的图像发送到呈现装置；呈现装置，包括通信单元，用于接收捕获的图像；标志定位单元，用于从捕获的图像中提取可视标志的边缘并将可视标志归一化为规则的正方形蛇形矩阵；蛇形矩阵解码器，用于从归一化的可视标志中解码出比特序列{b0，b1，b2，...bN2-1}；恢复单元，用于从解码的比特序列中恢复标识码数据；通信单元，用于将解码的标识码数据和对视频片段相关的内容的请求发送到服务中心，并将从服务中心获取的请求的内容发送到移动终端；和服务中心，用于接收来自呈现装置的对内容的请求，根据解码的标识码数据从内容数据库查找与识别的视频片段有关的内容并将所述内容发送到呈现装置。
32.如权利要求31所述的系统，其中所述捕获单元是光读出器。
33.如权利要求32所述的系统，其中所述光读出器是数码相机。
34.如权利要求31所述的系统，其中所述移动终端至少包括移动电话、PDA、计算机、手持娱乐设备和机顶盒之一。
35.如权利要求31所述的系统，其中所述标志定位单元通过计算可视标志的变形参数对可视标志进行归一化从而将所述可视标志变换为规则的正方形蛇形矩阵。
36.一种用于通过识别视频片段来提供内容的方法，包括捕获步骤，用于从呈现装置捕获具有视频片段的可视标志的图像，所述可视标志被嵌入了已编码的标识码数据；将捕获的图像发送到呈现装置的步骤；接收捕获的图像的步骤；标志定位步骤，用于从捕获的图像中提取可视标志的边缘并将可视标志归一化为规则的正方形蛇形矩阵；蛇形矩阵解码步骤，用于从归一化的可视标志中解码出比特序列{b0，b1，b2，...bN2-1}；恢复步骤，用于从解码的比特序列中恢复原始的标识码数据；传送步骤，由呈现装置将解码的标识码数据和对与视频片段相关的内容的请求发送到服务中心；搜索步骤，由服务中心根据解码的标识码数据从内容数据库查找与对应的视频片段有关的内容；将所请求的内容发送到移动终端的步骤。
37.如权利要求36所述的方法，其中所述捕获步骤由光读出器执行。
38.如权利要求37所述的方法，其中所述光读出器是数码相机。
39.如权利要求36所述的方法，其中所述移动终端至少包括移动电话、PDA、计算机、手持娱乐设备和机顶盒之一。
40.如权利要求36所述的方法，其中所述标志定位单元通过计算可视标志的变形参数对可视标志进行归一化从而将所述可视标志变换为规则的正方形蛇形矩阵。
全文摘要
本发明提出一种蛇形矩阵编码器和编码方法，一种解码器和解码方法。所述蛇形矩阵编码器包括蛇形矩阵生成装置，用于根据比特序列{b
文档编号G06T1/00GK101064840SQ200610077040
公开日2007年10月31日 申请日期2006年4月26日 优先权日2006年4月26日
发明者魏育成, 赵军辉, 薛敏宇 申请人:日电(中国)有限公司