从信息载体表面交互式获取远程资源并输出的方法及系统的制作方法
【专利摘要】本发明涉及视频跟踪及图像识别技术，提供了从信息载体表面交互式获取远程资源并输出的方法及系统，该方法包括以下步骤：步骤A、用户端的摄像头对指示体进行目标识别，跟踪出指示端端点的运动轨迹及停顿，得到用户的指示意图和指示区域；步骤B、根据指示意图提取出图像块位图数据，并识别出图像块位图数据中所包含的内容信息；步骤C、根据内容信息生成检索表达式，并发送给远程服务器；步骤D、远程服务器通过检索表达式在专业知识库中检索出符合条件的多媒体资源，并发送给用户端；步骤E、用户端将多媒体资源进行输出，并准备下一次用户交互。该方法不仅能从目标信息载体表面对指示区域进行内容识别，还能进行关联检索和输出。
【专利说明】从信息载体表面交互式获取远程资源并输出的方法及系统
【技术领域】
[0001]本发明涉及视频及图像采集与识别技术，尤其涉及一种从信息载体表面交互式获取远程资源并输出的方法及系统。
【背景技术】
[0002]点读机以及近年来出现的点读笔是深受欢迎的幼教学习电子产品。点读机又称为智能电脑读书机、英语互动电子课本、同步读书机、电子课本等，是一种有声互动学习产品，它通过电磁感应定位技术，将文字化的书本教材变成能按学习需要任意发声的有声教材。1999年，美国跳蛙公司依照孩子学习语言的规律，开发出了早期的点读机产品，迅速成为美国孩子在语言初学阶段的必备工具，后来风行于日本、新加坡及东南亚国家。2001年，点读机的概念和技术引入了中国，英易派、声之宝、学而乐、好上好、读书郎、步步高等一大批公司纷纷涉足这个行业。在多家公司的参与和努力下，点读机经历了从单板到双开，从有线到无线再到有线，从小容量存储到大容量存储，从无下载到RS232串口下载再到USB下载，从专用语音压缩芯片到使用MP3通用语音压缩，从光面板到面板加印内容、外形从抽屉式到双开整体定型的一个发展过程。
[0003]点读机的基本原理:在制作发音文件时，给发音文件预先设置好所对应文字内容的经纬位置。不是任意课本都可以点读，只有事先已制作好相关音频文件资源并存储进点读机存储器的课本，才可以应用于点读机。使用时，要求把课本放在机器平板的正确位置，首先使用专用笔选择好书本和页码，然后用专用笔点课本某页上(X，Y)位置的文字内容，平板感知到所配备的笔点触(X，Y)这一点，就收到指令，读出这一点相对应的音频文件，由机器进行播放。在点读学习模式下，用点读笔轻触教材上的文字或图片，就可进行人机互动学习，听当前页内容的讲解，进行跟读、复读、录音对比等。
[0004]近年来出现了功能改进的新产品点读笔，其原理是将“经纬坐标感应板”做成透明的“经纬坐标塑料膜”。这种改进将坐标识别工作交给点读笔而非前面提到的感应板，使用时只需将膜覆盖在书本的某一页上，点选所对应的页码，就能点读发声。
[0005]最新的点读笔学习系统的工作原理是:事先在书本上加印二维码或在纸张里层加上隐性的磁性感应材料，同时，制作与书本相配套的声音文件存储在点读笔里的存储芯片中。点读笔头具有识别书页上印刷的二维码或磁性感应材料所包含信息的功能，使用者在使用过程中选择要点读的某一页，点击该页上特定的图案、文字、数字等位置处的内容，点读笔都能通过笔头上装配的摄像头识别书本上的二维码或者通过笔头上装配的电磁感应头读取出纸张中磁性感应材料所包含的索引信息，从而查找出存储芯片中相对应的声音文件，供学习使用。
[0006]无论是点读机，还是点读笔，它们都有共同的特征:一、需要包含经纬坐标的专门装置或薄膜，或者事先使用特殊工艺进行书本印刷；二、学习资源与书本固定相配套，存储在点读机或点读笔上的存储芯片中。这些特点，造成传统点读产品成本高、携带不方便，并且存储器上学习内容与书本固定配套，难以扩充，使用面受到限制。对应众多普通图书、资料上的图文信息，点读产品无法进行点读。
【发明内容】
[0007]本发明所要解决的技术问题在于提供从信息载体表面交互式获取远程资源并输出的方法及系统，旨在解决现有的点读产品及技术成本高，应用空间狭窄的问题。
[0008]本发明是这样实现的，从信息载体表面交互式获取远程资源并输出的方法，包括以下步骤:
[0009]步骤A、用用户端对进入其摄像头视野的指示体进行目标识别，跟踪出指示体上指示端端点的运动轨迹及停顿位置，根据所述运动轨迹及停顿位置得到用户的指示意图和指示区域；所述用户端的摄像头位于目标信息载体表面上方，用于对目标信息载体进行拍摄;
[0010]步骤B、用户端根据所述用户的指示意图，提取出所述指示区域内的图像块位图数据，并识别出所述图像块位图数据中所包含的内容信息；
[0011]步骤C、用户端根据所述用户的指示意图，将所述内容信息转换成当前分类码或者当前检索词，如果所述当前检索词有更新则生成检索表达式，并将所述检索表达式发送给远程服务器，否则返回步骤A ;
[0012]步骤D、所述远程服务器通过所述检索表达式在专业知识库中检索出符合条件的多媒体资源，并发送给所述用户端；
[0013]步骤E、所述用户端将接收到的所述多媒体资源进行输出，然后返回到步骤A，准备下一次用户交互。
[0014]进一步地，所述步骤A具体包括以下步骤:
[0015]步骤Al、用户端的摄像头采集当前视频图像帧；
[0016]步骤A2、用户端逐一读取步骤Al所采集的当前视频图像帧中每个像素的RGB颜色数据，根据预先建立的指示体外表颜色高斯混合模型计算该像素属于所述指示体外表颜色高斯混合模型的概率值，并判断该像素是否与指示体的外表颜色相匹配；
[0017]步骤A3、重复步骤A2，直到所述当前视频图像帧中的每一个像素都处理完毕；再选取所有与指示体的外表颜色相匹配的像素得到当前视频图像帧的前景图像，对所述前景图像进行滤波除噪，然后基于数学形态学的方法进行轮廓检测，选取所检测出的全部轮廓中的最大连通区域作为指示体的轮廓，在所述指示体的轮廓中搜索出指示体的指示端端点位置；
[0018]步骤A4、根据步骤A3提取的当前视频图像帧中指示体的指示端端点位置，对所述指示端端点进行运动轨迹分析和指示意图理解，如果尚未判别出用户的指示意图及指示区域则返回到步骤Al继续执行。
[0019]进一步地，所述步骤A2中指示体外表颜色高斯混合模型分为手指肤色模型和笔状指示物颜色模型；
[0020]所述指示体外表颜色高斯混合模型均基于CrCgCb颜色空间应用高斯混合模型技术进行建模，采用多个单高斯分布进行混合，通过如下公式对模型的概率密度函数G(X)进
MM
行加权混合计算:= Σαρ/(￡?，?,)，=1，其中，μ为模型所包含的单一高斯
y=ii=i分布的个数，叫为各个单一高斯分布的概率密度函数的混合权重，F^c, Uj, Zj)的定义为
【权利要求】
1.从信息载体表面交互式获取远程资源并输出的方法，其特征在于，包括以下步骤:步骤A、用用户端对进入其摄像头视野的指示体进行目标识别，跟踪出指示体上指示端端点的运动轨迹及停顿位置，根据所述运动轨迹及停顿位置得到用户的指示意图和指示区域；所述用户端的摄像头位于目标信息载体表面上方，用于对目标信息载体进行拍摄； 步骤B、用户端根据所述用户的指示意图，提取出所述指示区域内的图像块位图数据，并识别出所述图像块位图数据中所包含的内容信息； 步骤C、用户端根据所述用户的指示意图，将所述内容信息转换成当前分类码或者当前检索词，如果所述当前检索词有更新则生成检索表达式，并将所述检索表达式发送给远程服务器，否则返回步骤A ; 步骤D、所述远程服务器通过所述检索表达式在专业知识库中检索出符合条件的多媒体资源，并发送给所述用户端； 步骤E、所述用户端将接收到的所述多媒体资源进行输出，然后返回到步骤A，准备下一次用户交互。
2.根据权利要求1所述的方法，其特征在于，所述步骤A具体包括以下步骤: 步骤Al、用户端的摄像头采集当前视频图像帧； 步骤A2、用户端逐一读取步骤Al所采集的当前视频图像帧中每个像素的RGB颜色数据，根据预先建立的指示体外表颜色高斯混合模型计算该像素属于所述指示体外表颜色高斯混合模型的概率值，并判断该像素是否与指示体的外表颜色相匹配； 步骤A3、重复步骤A2，直到所述当前视频图像帧中的每一个像素都处理完毕；再选取所有与指示体的外表颜色相匹配的像素得到当前视频图像帧的前景图像，对所述前景图像进行滤波除噪，然后基于数学形态学的方法进行轮廓检测，选取所检测出的全部轮廓中的最大连通区域作为指示体的轮廓，在所述指示体的轮廓中搜索出指示体的指示端端点位置； 步骤A4、根据步骤A3提取的当前视频图像帧中指示体的指示端端点位置，对所述指示端端点进行运动轨迹分析和指示意图理解，如果尚未判别出用户的指示意图及指示区域则返回到步骤Al继续执行。
3.根据权利要求2所述的方法，其特征在于，所述步骤A2中指示体外表颜色高斯混合模型分为手指肤色模型和笔状指示物颜色模型；所述指示体外表颜色高斯混合模型均基于CrCgCb颜色空间应用高斯混合模型技术进行建模，采用多个单高斯分布进行混合，通过如下公式对模型的概率密度函数G(X)进行加权混合计算:
，其中，μ为模型所包含的单一高斯分布的个数，叫为各个单一高斯分布的概率密度函数的混合权重，F^c, Uj, Zj)的定义为:
其中,T表示矩阵的转置，c = [cr, cg, cb]T为待估算像素点的纹理颜色CrCgCb三分量的列向量，μ为模型期望，Σ为模型方差，μ、Σ均由若干训练样本像素点的CrCgCb特征列向量Ci得出，A = 为均值向量，
是协方差矩阵，η为训练样本的个数； 所述手指肤色模型通过如下步骤G01-G02训练得到模型的各个计算参数: 步骤G01、将事先针对多种光照、不同型号摄像头以及不同性别和年龄的实验人而采集到的手指肤色像素RGB值作为观察样本值，利用期望最大化算法进行最大似然估计，确定手指肤色模型的高斯混合概率密度函数的各个计算参数； 步骤G02、在用户使用所述步骤A之前，采集该用户在其当前使用环境下自身的手指肤色RGB数据，将这些数值作为新的观察样本值，重新利用期望最大化算法进行最大似然估计，对步骤GOl中确定的手指肤色模型的高斯混合概率密度函数的各个计算参数进行重估训练，根据重估训练的结果更新手指肤色模型的计算参数； 所述笔状指示物颜色模型通过如下步骤G11-G12训练得到模型的各个计算参数: 步骤G11、将事先针对多种光照、不同型号摄像头而采集到的笔状指示物外表颜色像素RGB值作为观察样本值，利用期望最大化算法进行最大似然估计，确定笔状指示物颜色模型的高斯混合概率密度函数的各个计算参数； 步骤G12、在用户使用所述步骤A之前，采集该用户当前使用环境下的笔状指示物外表颜色RGB数据，将这些数值作为新的观察样本值，重新利用期望最大化算法进行最大似然估计，对步骤Gll中确定的笔状指示物颜色模型的高斯混合概率密度函数各个计算参数进行重估训练，根据重估训练的结果更新笔状指示物颜色模型的计算参数。
4.根据权利要求2所述的方法，其特征在于，所述步骤A3中对指示体的轮廓进行处理时分为手指轮廓的处理和笔状指示物轮廓的处理； 对所述手指轮廓进行处理并确定手指指尖指示位置时，具体包括以下步骤Α301-Α304: 步骤Α301、定义模板子图像，对二值化后的手指轮廓图像进行腐蚀运算处理； 步骤Α302、将处理后的手指轮廓进行横纵坐标投影，从上至下、从左至右，搜索到投影值明显变化的地方，作为手指指尖的粗略位置，并以此位置为中心，构造粗略搜索窗口 ；步骤Α303、采用单层函数连接神经网络对所述手指指尖位置进行预测，确定精确的搜索窗口，具体计算为=Y= [X If (XWh+Ph)] W，其中，X为输入矢量，Ph为偏置矩阵，Wh为输入层到隐层的权值矩阵，W为事先训练出的权值矩阵，所述权值矩阵在训练策略上采用从左到右的横线、从右到左的横线、顺时针圆圈形状、逆时针圆圈形状、顺时针矩形形状、逆时针矩形形状来进行训练； 步骤A304、基于模板匹配进行手指指尖检测，定义若干个手指模板，在所述精确的搜索窗口中计算待匹配子图像与各个手指模板的绝对值距离，得出手指指尖的精确位置； 对所述笔状指示物轮廓进行处理并确定笔状指示物的指示端端点位置时，具体包括以下步骤 A311-A312: 步骤A311、对二值化后的笔状指示物轮廓图像进行连通处理，求取连通图的重心； 步骤A312、将所述连通图的重心作为搜索中心点，并以此为中心从左上方、正上方到右上方的搜索顺序进行搜索，依次计算所述搜索中心点到轮廓图上各像素点的欧式距离，取出所述欧式距离值最大者，根据该距离最大路径找到笔状指示物轮廓图上的对应点，作为笔状指示物指示端端点的最终位置。
5.根据权利要求2所述的方法，其特征在于，所述步骤A4具体包括以下步骤: 步骤A401、获取步骤A3提取的当前视频图像帧中指示体的指示端端点位置，与其前面若干帧中指示体的指示端端点位置进行比较，计算移动速度和方向； 步骤A402、依时间顺序对各帧中的指示端端点移动速度进行分析，当首次检测到指示端端点有一个明显的停顿过程时，将本次停顿所处的位置坐标作为起点指示位置； 步骤A403、在识别到起点指示位置后，当再次检测到指示端端点的运动有一个明显停顿时，将该停顿所处的位置坐标作为终点指示位置，如果尚未检测到终点指示位置，则返回执行步骤Al ； 步骤A404、在起点指示位置和终点指示位置之间,对指示端端点的运动轨迹进行分析:如果检测到指示端端点从左到右或从右到左做近似直线的运动，则表示用户的指示意图是文本指示，指示区域为指示端端点运动轨迹上方的文本行所处的图像块区域；如果检测到指示端端点做类似圆圈形状的封闭运动或接近封闭的运动，则表示用户的指示意图是图标指示，指示区域为指示端端点圆形运动轨迹内接矩形所包含的图像块区域；如果检测到指示端端点做类似矩形的封闭运动或接近封闭的运动，则表示用户的指示意图是图形码指示，指示区域为指示端端点矩形运动轨迹内所包含的图像块区域。
6.根据权利要求1所述的方法，其特征在于，所述步骤B中所述图像内容识别方法具体包括: 根据步骤A中判别出来的用户的指示意图，若为文本指示，则选用OCR文本识别方法对所述图像块位图数据进行内容识别，得到其中所包含的文本及字符串信息； 根据步骤A中判别出来的用户的指示意图，若为图标指示，则根据预设的图标库，利用图标库中的各个图标特征模板，选用图像识别的方法对所述图像块位图数据进行内容识别，得到对应于所述图标库中的图标索引字符串信息； 根据步骤A中判别出来的用户的指示意图，若为图形码指示，则分别选用二维码及条形码识别方法对所述图像块位图数据进行内容识别，得到其中所包含的字符串信息。
7.根据权利要求1所述的方法，其特征在于，所述步骤C中生成检索表达式的过程具体包括以下步骤: 步骤Cl、根据步骤A中判别出来的用户指示意图，将步骤B中识别到的内容信息转化成检索条件项，具体方法包括: 若用户的指示意图为图标指示或图形码指示，则将步骤B中识别到的所述内容信息作为当前分类码，并清除所有当前检索词； 若用户的指示意图为文本指示，则将步骤B中识别到的所述内容信息进行分词处理，提取出其中的词汇或短语作为当前检索词； 步骤C2、如果所述当前检索词有更新则将所述当前分类码和各个当前检索词进行逻辑组合，生成检索表达式。
8.从信息载体表面交互式获取远程资源并输出的系统，其特征在于，包括:指示体类型设置模块、视频拍摄及目标识别模块、指示体外表颜色高斯混合模型库、运动轨迹分析模块、图像块提取及内容识别模块、检索条件生成模块、网络传送模块、远程资源检索模块、专业知识库和信息显示或播放模块； 所述指示体类型设置模块与所述视频拍摄及目标识别模块相连接，用于选择用户当前所使用的指示体类型，所述指示体类型包括不同人种的手指和多种颜色的笔状指示物；所述视频拍摄及目标识别模块根据所述指示体类型设置模块当前所选用的指示体类型启用相对应的指示体外表颜色高斯混合模型和指示端端点搜索方法； 所述指示体外表颜色高斯混合模型库包括不同人种的手指肤色模型以及多种颜色的笔状指示物颜色模型，所述指示体外表颜色高斯混合模型库中各个模型由所述视频拍摄及目标识别模块根据所述指示体类型设置模块所选用的当前指示体类型进行选用； 所述视频拍摄及目标识别模块包括摄像头、前景图像提取单元和指示端端点定位单元，所述摄像头位于目标信息载体表面上方进行视频拍摄，对进入视野的指示体进行目标识别； 所述前景图像提取单元将每个采集到的当前视频图像帧进行逐一读取每一个像素的RGB颜色数据，根据预先建立的指示体外表颜色高斯混合模型计算所述像素是否属于所述指示体外表颜色高斯混合模型的概率值，并判别所述像素是否与指示体的外表颜色相匹配，所述当前视频图像帧中的每一个像素都处理完毕后，得到所述当前视频图像帧的前景图像； 所述指示端端点定位单元，对所述前景图像进行滤波除噪，然后基于数学形态学的方法进行轮廓检测，选取所检测出的全部轮廓中的最大连通区域作为指示体的轮廓，在所述指示体的轮廓中搜索出指示体的指示端端点位置； 所述运动轨迹分析模块与所述视频拍摄及目标识别模块相连接，用于跟踪出指示体上指示端端点的运动轨迹及停顿，根据所述运动轨迹及停顿得到用户的指示意图和指示区域； 所述图像块提取及内容识别模块根据所述用户的指示意图，提取出所述指示区域内的图像块位图数据，并采用图像内容识别方法识别出所述图像块位图数据中所包含的内容信息； 所述检索条件生成模块分别与所述图像块提取及内容识别模块、所述网络传送模块相连接，根据所述用户的指示意图，将所述图像块提取及内容识别模块识别出内容信息或者作为当前分类码，或者进行分词处理并提取出其中的词汇或短语作为当前检索词，如果当前检索词有更新则将当前分类码和各个当前检索词进行逻辑组合从而生成检索表达式，并将所述检索表达式传送到所述网络传送模块； 所述网络传送模块分别与所述远程资源检索模块、所述信息显示或播放模块相连接，利用有线或无线网络将所述检索表达式发送给所述远程资源检索模块，所述网络传送模块还用于将接收到的由所述远程资源检索模块检索出的多媒体资源转发送给所述信息显示或播放模块进行输出； 所述远程资源检索模块与所述专业知识库相连接，将所述检索表达式在所述专业知识库中检索出符合条件的多媒体资源，并发送回所述网络传送模块； 所述专业知识库中至少包括文本、超文本、音频、视频、动画和三维虚拟仿真资源，每个资源都至少标注有供检索使用的关键词、分类码和题名信息。
9.根据权利要求8所述的系统，其特征在于，所述指示体外表颜色高斯混合模型分为手指肤色模型和笔状指示物颜色模型； 所述指示体外表颜色高斯混合模型均基于CrCgCb颜色空间应用高斯混合模型技术进行建模，采用多个单高斯分布进行混合，通过如下公式对模型的概率密度函数G(x)进 MM行加权混合计算:)，Σα> =1，其中，μ为模型所包含的单一高斯
j=i分布的个数，叫为各个单一高斯分布的概率密度函数的混合权重，F^c, Uj, Zj)的定义为:/^,/^) = #;区广吐—全卜,"0.-/^，其中，τ表示矩阵的转置，c = [cr, cg, cb]T为待估算像素点的纹理颜色CrCgCb三分量的列向量，μ为模型期望，Σ为模型方差，μ、Σ均由若干训练样本像素点的CrCgCb特征列向量Ci得出，# = 为均值向量，
n /=1Σ = 一1>, -/^-/^是协方差矩阵，η为训练样本的个数；
η -1 ?=ι 所述手指肤色模型和笔状指示物颜色模型事先均通过采集观察样本进行模型训练的方法得到模型的各个计算参数； 训练所述手指肤色模型时，将事先针对多种光照、不同型号摄像头以及不同性别和年龄的实验人而采集到的手指肤色像素RGB值作为观察样本值，利用期望最大化算法进行最大似然估计，确定手指肤色模型高斯混合概率密度函数的各个计算参数； 在所述视频拍摄及目标识别模块使用所述手指肤色模型之前，还可以采集用户在其当前使用环境下自身的手指肤色RGB数据，将这些数值作为新的观察样本值，重新利用期望最大化算法进行最大似然估计，对所述手指肤色模型的高斯混合概率密度函数的各个计算参数进行重估训练； 训练所述笔状指示物颜色模型时，将事先针对多种光照、不同型号摄像头而采集到的笔状指示物外表颜色像素RGB值作为观察样本值，利用期望最大化算法进行最大似然估计，确定所述笔状指示物颜色模型高斯混合概率密度函数的各个计算参数； 在所述视频拍摄及目标识别模块使用所述笔状指示物颜色模型之前，还可以采集该用户当前使用环境下的笔状指示物外表颜色RGB数据，将这些数值作为新的观察样本值，重新利用期望最大化算法进行最大似然估计，对所述笔状指示物颜色模型的高斯混合概率密度函数的各个计算参数进行重估训练。
10.根据权利要求8所述的系统，其特征在于，所述指示端端点定位单元包括手指指示端端点定位单元和笔状指示物指示端端点定位单元； 所述手指指示端端点定位单元首先定义模板子图像，对二值化后的手指轮廓图像进行腐蚀运算处理；然后将处理后的手指轮廓进行横纵坐标投影，从上至下、从左至右，搜索到投影值明显变化的地方，作为手指指尖的粗略位置，并以此位置为中心，构造粗略搜索窗口 ；再采用单层函数连接神经网络对所述手指指尖位置进行预测，确定精确的搜索窗口，具体计算为:Y= [X|f(XWh+i3h)]W，其中，X为输入矢量，为偏置矩阵，Wh为输入层到隐层的权值矩阵，W为事先训练出的权值矩阵，所述权值矩阵在训练策略上采用从左到右的横线、从右到左的横线、顺时针圆圈形状、逆时针圆圈形状、顺时针矩形形状、逆时针矩形形状来进行训练；基于模板匹配进行手指指尖检测，定义若干个手指模板，在所述精确的搜索窗口中计算待匹配子图像与各个手指模板的绝对值距离，得出手指指尖的精确位置； 所述笔状指示物指示端端点定位单元首先对二值化后的笔状指示物轮廓图像进行连通处理，求取连通图的重心；然后将所述连通图的重心作为搜索中心点，并以此为中心从左上方、正上方到右上方的搜索顺序进行搜索，依次计算所述搜索中心点到轮廓图上各像素点的欧式距离，取出所述欧式距离值最大者，根据该距离最大路径找到笔状指示物轮廓图上的对应点，作为笔状指示物指示端点的最终位置。
11.根据权利要求8所述的系统，其特征在于，所述运动轨迹分析模块包括端点移动速度和方向计算单元、起点定位单元、终点定位单元和指示意图理解单元； 所述端点移动速度和方向计算单元将当前视频图像帧中指示体的指示端端点位置，与其前面若干帧中指示体的指示端端点位置进行比较，计算移动速度和移动方向； 所述起点定位单元依时间顺序对各巾贞中的指示端端点的移动速度进行分析，当首次检测到指示端有一个明显的停顿过程时，将本次停顿所处的位置坐标作为起点指示位置；所述终点定位单元在识别到起点指示位置后，当再次检测到指示端的运动有一个明显停顿时，将该停顿所处的位置坐标作为终点指示位置，如果尚未检测到终点指示位置，则由所述移动速度和方向计算单元继续计算指示端的移动速度和移动方向； 所述指示意图理解单元用于对指示端在起点指示位置和终点指示位置之间的运动轨迹进行分析:如果检测到指示端从左到右或从右到左做近似直线的运动，则表示用户的指示意图是文本指示，指示区域为指示端端点运动轨迹上方的文本行所处的图像块区域；如果检测到指示端做类似圆圈形状的封闭运动或接近封闭的运动，则表示用户的指示意图是图标指示，指示区域为指示端端点圆形运动轨迹内接矩形所包含的图像块区域；如果检测到指示端做类似矩形的封闭运动或接近封闭的运动，则表示用户的指示示意图是图形码指示，指示区域为指示端端点矩形运动轨迹内所包含的图像块区域。
12.根据权利要求8所述的系统，其特征在于，所述图像块提取及内容识别模块包括图像块提取单元、文本识别单元、图标识别单元和图形码识别单元； 所述图像块提取单元根据所述运动轨迹分析模块理解出来的用户指示区域，提取出所述指示区域内的图像块位图数据，并根据所述运动轨迹分析模块理解出来的用户指示意图，从文本识别单元、图标识别单元和图形码识别单元调用相对应的一种识别单元来识别所述图像块位图数据中所包含的内容信息； 所述文本识别单元，采用OCR文本识别方法对所述图像块位图数据进行内容识别，得到其中所包含的文本及字符串信息； 所述图标识别单元，根据预设的图标库，利用图标库中的各个图标特征模板，选用图像识别的方法对所述图像块位图数据进行内容识别，得到对应于图标库中的图标索引字符串信息； 所述图形码识别单元，分别选用二维码及条形码识别方法对所述图像块位图数据进行内容识别，得到其中所包含的字符串信息。
【文档编号】G06K9/00GK104199834SQ201410377980
【公开日】2014年12月10日 申请日期:2014年8月4日 优先权日:2014年8月4日
【发明者】徐 明, 徐颢毓 申请人:徐 明, 徐颢毓