一种基于图像识别与隐形红外油墨技术的绘本识别方法与流程

本发明涉及一种绘本识别方法，具体涉及一种基于图像识别与隐形红外油墨技术的绘本识别方法。

背景技术：

教育是当今社会资本和消费聚集的热门行业，据数据显示2018年中国教育行业的市场规模超2.6万亿，具有消费水平高、投入时间长、覆盖范围广的特点；

随着人工智能技术的发展和人们生活水平的提高，将人工智能技术应用到儿童早教和学习生活中的产品越来越得到市场和家长的认可；

绘本阅读机器人属新兴技术孵化的科技产品，主要是基于图像识别技术，将绘本的图像信息进行采集、处理和内容识别，再匹配对应的语音数据进行播报，完成绘本的有声阅读和智能交互，这一技术的关键环节在于绘本页面识别方法；

当前绘本识别的方法主要有通过识别绘本页面图像的特征点判断页面信息，匹配对应的语音文件播放，这一方法对于绘本内容差别不大、画面特征相似或相近的页面容易出现识别准确率低、识别结果混乱或出错的问题，且容易受到光照干扰造成识别率低和识别有误的问题；

当前绘本识别的方法还包括通过识别绘本封面确定绘本文件编号，在通过监视翻页动作或识别页码字符来判断翻页，进行语音播放，这一方法存在很多实际操作上的问题，例如封面识别后绘本更换、内容页面缺失、翻页数量较多、使用者遮挡页码等问题，都会影响绘本识别的准确率；

当前绘本识别的方法还包括通过在页面上印制页面编号，通过识别每个页面的编号来确定所处页面的位置，然后从存储器中调取对应页面的语音信息进行播报，这一方法虽然能够准确定位所处页面的位置和信息，却会使得绘本页面上出现编号信息，影响到孩子在绘本阅读时的体验。

技术实现要素：

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于图像识别与隐形红外油墨技术的绘本识别方法，通过将隐形红外油墨技术应用到绘本图像识别中，既可以使图像识别模块不受到可见光光照的干扰，快速识别出印有隐形红外油墨的编号信息，也不影响使用者正常的阅读体验，具有舒适实用的使用价值。

为实现上述目的，本发明采用的技术方案是：它包含以下步骤：

一、制备隐形红外油墨：选择隐形红外吸收油墨作为印刷材料；

二、将隐形红外油墨印制在绘本的特定位置：将隐形红外油墨印刷在易于摄像头拍摄且不容易被遮挡的位置，编码则以快速响应矩阵码(quickresponsecode)的形式印刷；

三、摄像头采集图像：摄像头采集到隐形红外油墨的qr二维码图像后，图像处理模组即对图像进行处理；

四、对采集到的图像进行灰度化，去除噪点效果；

五、对图像进行二值化处理；

六、通过基于轮廓跟踪的定位与倾斜校正算法对红外图像进行定位与倾斜校正；

七、对经过二值化、定位、校正后的qr码图像进行归一化处理，首先对旋转校正后的二值化图像进行canny边缘检测，获取边缘信息，然后利用自适应栅格归一化算法对qr码图像进行栅格划分、采样和重绘模块，最后得到标准的qr码图像；

八、对处理完成后的qr码图像进行纠错校验，译码识别qr码的编码信息，调取存储器中相同编码的音频文件发送至语音播放模块；

九、语音播报模块接收到对应编码的音频文件后，对音频文件进行语音播报。

进一步地，步骤一中，隐形红外油墨配制时，以硅萘酞菁(sinc)作为颜料，清漆作为基料，亚麻油作为添加剂，乙醇作为溶剂；配制环境设置为30℃，首先在硅萘酞菁(sinc)粉末中加入少许乙醇有机溶剂，使之刚好润湿，混合研磨均匀后加入少许添加剂亚麻油继续研磨，最后加入基料清漆混合搅拌均匀，所得深绿色膏状即为隐形红外油墨；

进一步地，步骤二中，隐形红外油墨的印刷位置位于绘本页面顶部靠近中间书脊位置，摄像头放置在绘本的页头一侧，距离50cm以内；

进一步地，步骤三中，摄像头采用带红外带通滤光片的摄像头。

采用上述方案后，本发明所述的一种基于图像识别与隐形红外油墨技术的绘本识别方法，具有以下优点：

1、通过隐形红外油墨技术在绘本页面上进行印刷页面编码，可以使页面在肉眼阅读绘本时不会察觉到隐形红外油墨编号的存在，不影响孩子的正常阅读体验；

2、通过隐形红外油墨技术在绘本页面上进行印刷页面编码，可以使得在绘本识别时，快速识别出当前页面所处的准确位置，大大避免了缺页、换书、翻多页、遮挡等状况的干扰和影响，有效提高了绘本识别的准确性；

3、隐形红外油墨除了具有不妨碍正常阅读体验和印刷编码具有唯一指向性以外，新方法对于印刷位置的选择也具有方便摄像头图像采集，不宜遮挡的效果；

4、利用对隐形红外油墨进行识别定位，避免了光照对内容识别的影响，拓展了应用场景，极大提高了用户的体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明具体实施方式的流程图；

图2是qr二维码的位置探测图形特征；

图3是qr码图像的旋转校正示意图；

图4是控制点变换原理图；

图5是几何校正图像图；

具体实施方式

下面结合附图，对本发明作进一步的说明。

参看图1所示，本具体实施方式采用的技术方案是：它包含以下步骤：

一、制备隐形红外油墨：隐形红外油墨包括隐形红外激发油墨、隐形红外吸收油墨和隐形红外覆盖油墨，本具体实施方式选择隐形红外吸收油墨作为印刷材料，隐形红外吸收油墨具有在可见光下隐形，在特殊光源的照射下也隐形的特点，不影响读者阅读体验的效果；

隐形红外吸收油墨是利用油墨中的染料或颜料不吸收可见光或微弱吸收可见光，而对红外线可以充分吸收的原理发挥作用的；主要是具有近红外吸收特征的有机染料，其光谱特征为最大吸收700nm-1100nm波长的近红外光，且震荡波长落于近红外区，使其在可见光下无显示；

本具体实施方式隐形红外吸收油墨配制时，以硅萘酞菁(sinc)作为颜料，清漆作为基料，亚麻油作为添加剂，乙醇作为溶剂；配制环境设置为30℃，首先在硅萘酞菁(sinc)粉末中加入少许乙醇有机溶剂，使之刚好润湿，混合研磨均匀后加入少许添加剂亚麻油继续研磨，最后加入基料清漆混合搅拌均匀，所得深绿色膏状即为隐形红外油墨；

以上方法配制的隐形红外油墨，对于可见光的吸收很微弱，对于红外线的吸收强烈且光谱性质稳定，具有良好的耐光性和色牢度，用于绘本隐形编码的印刷材料具有印刷快干、附着力强、质量稳定的特点；

二、将隐形红外油墨印制在绘本的特定位置：将隐形红外油墨印刷在易于摄像头拍摄且不容易被遮挡的位置，编码则以快速响应矩阵码(quickresponsecode)的形式印刷；印刷位置位于绘本页面顶部靠近中间书脊位置，摄像头放置于绘本的页头一侧，距离50cm以内；

本具体实施方式采用二维码进行编码的形式，主要具有编码密度高、信息容量大、容错能力强、制作成本低、译码可靠性高等优点，且对于角度和方向具有较强的容错率；隐形qr码还具有超快速响应、全方位识读、可离线应用的便携式数据库等独特优势；

三、摄像头采集图像：采用带红外带通滤光片的摄像头，可以采集正常图像和红外图像的摄像头，其中红外功能为通过摄像头上的红外线主动发射装置，对识别区进行红外线照射，其中隐形红外油墨印刷的二维码图案对红外线具有充分的吸收和反射，摄像头采集到隐形红外油墨的qr二维码图像后，图像处理模组即对图像进行处理；

四、对采集到的图像进行灰度化，去除噪点效果，具体方法如下：

采用线性灰度映射算法，通过调整(r,g,b)通道在灰度化过程中的权重，设(r,g,b)分量各自的权重为(c1,c2,c3)，可得线性灰度化公式gray＝[c1,c2,c3]*[r,g,b]^t，其中系数(c1,c2,c3)≥0且c1+c2+c3＝1，采用b通道作为灰度图，即当c1＝c3＝0,c2＝1来进行去噪；

五、采用高斯加权的自适应阈值算法对红外图像进行二值化，加快图像处理速度、凸显二维码轮廓、减少图像储存空间，具体步骤如下：

设(x,y)为图像上某一点的坐标，以该点为中心选择长宽为n的窗口，因此n为大于1的奇数。g(x,y)为在(x,y)处的灰度值，设(i,j)是在窗口范围内的某坐标，(u,v)是(i,j)与中心点(x,y)的向量距离，σ是二维高斯函数的卷积核，c为校正常量参数，坐标(x,y)处的阈值t(x,y)为：

其中，(n＝2k+1,k＝1,2,3,...)，采用窗口值折半查找策略确定n值和c值，从而对红外图像进行二值化；

六、通过基于轮廓跟踪的定位与倾斜校正算法对红外图像进行定位与倾斜校正；参看图2所示，由于qr二维码含有3个大小和形状相同的位置探测图形，定义为a、b、c，由3个重叠的同心正方形组成，其深浅模块的宽度比例为1:1:3:1:1，每一模块的允许偏差为0.5；参看图3所示，由于qr码图像的大小和旋转具有不变性，可根据比例找到3个位置探测图形点a、b、c，连接构成等腰直角三角形，据此可以得出中心位置坐标和第四个定点位置坐标；具体步骤如下：

(1)确定旋转角度，定义s正方形区域为原始qr码符号，n正方形为原图像区域，其中p1、p2、p3为3个位置探测图形点，假设旋转角度为θ，首先计算最长边p2p3的斜率

a、当-1＜k＜1时，图像需要进行顺时针旋转，此时

b、当k≤-1或k≥1时，图像需要进行逆时针旋转，此时

(2)在图像旋转的过程中利用仿射变换进行旋转、平移、缩放等操作，变换公式如下：

假设旋转运算后的坐标(x’,y’)存在下式关系：

其中，(x,y)是(x’,y’)的整数部分，(u,v)是(x’,y’)的小数部分，即u,v∈[0,1)；利用最近邻法对目标图像的坐标进行插值处理，通过计算旋转后的坐标(x’,y’)周围的4个坐标点，将与(x’,y’)最近的整数坐标点灰度值作为(x’,y’)的灰度值，即：f(x’,y’)＝f(x,y)；

(3)由于绘本在阅读时会存在页面弯曲的情况，使得采集到的图像会存在图像拉伸或扭曲，需要对图像进行几何失真校正，由于qr码一般情况下为线性失真，根据正方形的特征可以对其进行线性失真校正，具体步骤如下：

①通过逐行逐列扫描的方式利用直线对qr码进行扫描，在两个方向上同时出现的点即为顶点，这一方法可以得到至少3个顶点；

②通过正方形的特征，计算第四个顶点的位置坐标；

③参看图4所示，，p1、p2、p3、p4为无失真qr图像的4个顶点，p1’、p2’、p3’、p4’为实际qr图像的4个顶点，设定pi(1≤i≤4)处的坐标为(xi,yi)，p’(1≤i≤4)处的坐标为则存在如下关系：

通过利用雅可比迭代法计算出a、b、c、d、m、n、p、q这8个参数值，完成图像由一般四边形向正方形的几何校正，校正后的图像参看图5所示；

七、对经过二值化、定位、校正后的qr码图像进行归一化处理，首先对旋转校正后的二值化图像进行canny边缘检测，获取边缘信息，然后利用自适应栅格归一化算法对qr码图像进行栅格划分、采样和重绘模块，最后得到标准的qr码图像；

八、对处理完成后的qr码图像进行纠错校验，译码识别qr码的编码信息，调取存储器中相同编码的音频文件发送至语音播放模块；

九、语音播报模块接收到对应编码的音频文件后，对音频文件进行语音播报。

以上所述，仅用以说明本发明的技术方案,而非限制本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。