专利名称：一种利用平面接口获取多媒体信息的方法
技术领域：
本发明涉及一种利用平面接口获取多媒体信息的方法，属于计算机通信技术领域。
背景技术：
报纸、印刷品、纸质文档这样的平面媒介具有直观和查阅方便的优点，但它本身只能够向读者提供文字与图片信息。为了通过平面媒介获取多媒体形式的信息，可利用平面媒介作为访问电子资源的接口。这种基于报纸、印刷品、纸质文档等平面媒介的接口可称为“平面接口”。目前以纸质文档或印刷品这样的平面接口访问电子资源的方法主要有以下两种1、通过识别报纸、文档上的文字或图像的方法。由于识别的方法难度较大，目前识别的鲁棒性和准确性都还有待提高。目前做得较成功的是光学字符识别，多用于文字识别，图书的电子制作等领域。这种识别对于输入有较高的要求，需要人工指定图像中待识别的区域。因此还不太符合报纸、文档等媒介的人机交互。
2、通过在物体表面贴上印有视觉编码的标签的方法。目前较流行的视觉编码是二维条形码。这种编码一般具有易于识别(识别的准确性和鲁棒性较高)，存储信息丰富等特点。通过识别物体上的二维条形码，可以得到物体的电子信息。但一个编码只能访问一种电子信息。比如世界杯期间《新京报》推出的，利用贴在报纸上代表特定视频段的二维条形码作为接口来观看足球赛视频的服务。用户将手机摄像头对准二维条形码，通过二维条形码的识别，手机可以播放对应的足球视频。通过将报纸和二维条形码的结合，报纸、文档等纸质媒介可以变成一个集平媒、电视、广播、互联网的优势为一体的四维全媒体。但是这种应用下的交互是一种静态的交互，即有二维条形码的地方才能有人与纸质媒介的交互。而在纸质媒介的其他地方(没有二维条形码的地方)，用户依然无法与之交互。
发明内容
本发明的目的是提出一种利用平面接口获取多媒体信息的方法，利用计算机视觉中的运动跟踪方法，使对电子资源的访问不受视觉编码位置的限制，摄像头可移动到平面媒介上用户感兴趣的任何区域，从而实现动态定位和信息访问的目的。
本发明提出的利用平面接口获取多媒体信息的方法，包括以下步骤(1)对多个平面接口进行编号；(2)分别建立上述多个平面接口信息与多媒体信息之间的对应关系；(3)分别获取上述多个平面接口的图像，并转化为灰度图后存储，从灰度图中提取图像特征，建立平面接口信息与相应的图像特征之间的全局映射表；(4)获取一个平面接口的当前图像，确定该当前图像所在的平面接口编号，根据该平面接口编号和上述全局映射表确定该当前图像与相应平面接口的初始变换，并根据该初始变换，得到该当前图像在相应平面接口的初始位置；
(5)从上述一个平面接口中继续获取后续图像，并转化为灰度图，从灰度图中提取图像特征，根据该图像特征和上述全局映射表，确定该后续图像在相应平面接口的当前位置，并显示；(6)用户根据显示信息进行平面接口信息的选择操作，获取多媒体信息。
上述方法中的平面接口信息，可以为表格、文字段落、图形、图像中的任何一种。
上述方法中，根据后续图像特征和映射表，确定后续图像在相应平面接口的当前位置的方法，包括以下步骤(1)将上述初始位置处的平面接口的灰度图像经过初始变换，得到中间图像M，根据初始变换关系，从全局映射表获取该中间图像M区域的局部映射表；(2)从一个平面接口中获取第一帧后续图像I，并转化为灰度图，根据中间图像M的局部映射表，确定图像I与中间图像M的变换关系S；(3)将上述初始变换关系与变换关系S进行乘法运算，得到变换关系Y，作为图像I与平面接口图像之间的变换关系，得到图像I在平面接口中的位置。
(4)从一个平面接口中继续获取后续图像J，并转化为灰度图，根据变换关系Y得到中间图像N，并从全局映射表中获取该中间图像N区域的局部映射表；(5)根据中间图像N的局部映射表，确定图像J与中间图像N的变换关系T；(6)将上述变换关系T与Y进行乘法运算，得到变换关系Z，作为图像J与平面接口图像之间的变换关系，得到图像J在平面接口中的位置。
本发明提出的利用平面接口获取多媒体信息的方法，克服了多媒体信息获取过程对平面接口中特定图标的依赖，实现用户与平面接口任意位置的信息交互。这样，用户的信息交互与平面接口的模型建立都得到极大的方便，从而使本发明方法可以更广泛、更便捷的应用在各种印刷平面媒体中。
图1是本发明方法中平面接口的实例示意图，其中图1(a)、图1(b)分别是两种不同的图示。
图2是从图1(a)中获取的图像的示意图。
图3是从图1(a)中提取的平面接口信息的图像特征示意图。
具体实施例方式
本发明提出的利用平面接口获取多媒体信息的方法，首先对多个平面接口进行编号，如图1(a)中的“1”、图1(b)中的“2”所示；分别建立多个平面接口信息与多媒体信息之间的对应关系；分别获取多个平面接口的图像(如采用扫描、照相等方法，也可以使用该平面接口的原始电子文档)，如图2所示，并转化为灰度图后存储，从灰度图中提取图像特征，如图3所示，是从图1(a)中提取的图像特征，建立平面接口信息与相应的图像特征之间的全局映射表；获取一个平面接口的当前图像，确定该当前图像所在的平面接口编号，根据该平面接口编号和上述全局映射表确定该当前图像与相应平面接口的初始变换，并根据该初始变换，得到该当前图像在相应平面接口的初始位置；当前图像与全局映射表之间存在Homography变换关系，其中H表示Homography关系。定义变换关系的函数如下ε＝∫∫w[P(H(X))-I(X)]2w(X)dX从一个平面接口中继续获取后续图像，并转化为灰度图，从灰度图中提取图像特征，根据该图像特征和上述全局映射表，确定该后续图像在相应平面接口的当前位置，令Hcp为当前图像到前一当前图像的变换关系函数，Hpp为前一当前图像到全局映射表的变换函数。则当前图像与前一当前图像的转换关系函数可以写为ε＝∫∫w[P(Hpp(Hcp(X)))-I(X)]2w(X)dX令J(X)＝P(Hpp(X))。如果摄像头移动速度有限，则假定前一当前图像与当前图像的变换只存在平移运动，通过简化变换关系函数并将变换关系函数离散化，用迭代方式来求解上述变换关系函数中的各种参数，如下式wi(n)＝1/(1+ri2(xi，θ(n-1))/(σ(n-1))2)上述各式中，w为转换关系函数中与摄像头移动速度有关的权重参数，n为当前图像序列的编号，x，θ，σ为当前图像特征值。
根据上述计算结果显示当前图像在平面接口中的位置，最后用户根据该显示信息进行平面接口信息的选择操作，以获取多媒体信息。
上述方法中的平面接口信息，可以为表格、文字段落、图形、图像中的任何一种，如图1(a)中包括了文字段落和图像，图1(b)中包括了文字段落、表格和图形。
上述方法中，根据后续图像特征和映射表，确定后续图像在相应平面接口的当前位置的方法，包括以下步骤(1)将上述初始位置处的平面接口的灰度图像经过初始变换，得到中间图像M，根据初始变换关系，从全局映射表获取该中间图像M区域的局部映射表；(2)从一个平面接口中获取第一帧后续图像I，并转化为灰度图，根据中间图像M的局部映射表，确定图像I与中间图像M的变换关系S；(3)将上述初始变换关系与变换关系S进行乘法运算，得到变换关系Y，作为图像I与平面接口图像之间的变换关系，得到图像I在平面接口中的位置。
(4)从一个平面接口中继续获取后续图像J，并转化为灰度图，根据变换关系Y得到中间图像N，并从全局映射表中获取该中间图像N区域的局部映射表；(5)根据中间图像N的局部映射表，确定图像J与中间图像N的变换关系T；(6)将上述变换关系T与Y进行乘法运算，得到变换关系Z，作为图像J与平面接口图像之间的变换关系，得到图像J在平面接口中的位置。
权利要求
1.一种利用平面接口获取多媒体信息的方法，其特征在于该方法包括以下步骤(1)对多个平面接口进行编号；(2)分别建立上述多个平面接口信息与多媒体信息之间的对应关系；(3)分别获取上述多个平面接口的图像，并转化为灰度图后存储，从灰度图中提取图像特征，建立平面接口信息与相应的图像特征之间的全局映射表；(4)获取一个平面接口的当前图像，确定该当前图像所在的平面接口编号，根据该平面接口编号和上述全局映射表确定该当前图像与相应平面接口的初始变换，并根据该初始变换，得到该当前图像在相应平面接口的初始位置；(5)从上述一个平面接口中继续获取后续图像，并转化为灰度图，从灰度图中提取图像特征，根据该图像特征和上述全局映射表，确定该后续图像在相应平面接口的当前位置，并显示；(6)用户根据显示信息进行平面接口信息的选择操作，获取多媒体信息。
2.如权利要求1所述的方法，其特征在于其中所述的平面接口信息为表格、文字段落、图形、图像中的任何一种。
3.如权利要求1所述的方法，其特征在于其中所述的根据该后续图像特征和映射表，确定后续图像在相应平面接口的当前位置的方法，包括以下步骤(1)将上述初始位置处的平面接口的灰度图像经过初始变换，得到中间图像M，根据初始变换关系，从全局映射表获取该中间图像M区域的局部映射表；(2)从一个平面接口中获取第一帧后续图像I，并转化为灰度图，根据中间图像M的局部映射表，确定图像I与中间图像M的变换关系S；(3)将上述初始变换关系与变换关系S进行乘法运算，得到变换关系Y，作为图像I与平面接口图像之间的变换关系，得到图像I在平面接口中的位置。(4)从一个平面接口中继续获取后续图像J，并转化为灰度图，根据变换关系Y得到中间图像N，并从全局映射表中获取该中间图像N区域的局部映射表；(5)根据中间图像N的局部映射表，确定图像J与中间图像N的变换关系T；(6)将上述变换关系T与Y进行乘法运算，得到变换关系Z，作为图像J与平面接口图像之间的变换关系，得到图像J在平面接口中的位置。
全文摘要
本发明涉及一种利用平面接口获取多媒体信息的方法，属于计算机通信技术领域。首先对多个平面接口进行编号；分别建立其上的信息与多媒体信息之间的对应关系；分别获取平面接口的图像及其图像特征，建立平面接口信息与图像特征之间的全局映射表；根据平面接口的当前图像，确定该当前图像在相应平面接口的初始位置；从平面接口后续图像的灰度图中提取图像特征，根据该图像特征和上述全局映射表，确定该后续图像在相应平面接口的当前位置，并显示；用户根据显示信息进行平面接口信息的选择操作，获取多媒体信息。本发明方法克服了多媒体信息获取过程对平面接口中特定图标的依赖，实现用户与平面接口任意位置的信息交互。
文档编号G06F3/00GK1900929SQ20061008884
公开日2007年1月24日 申请日期2006年7月20日 优先权日2006年7月20日
发明者徐光祐, 陶霖密, 朱兰天 申请人:清华大学