一种儿童图书辅助阅读机器人的使用方法与流程

本发明涉及一种儿童图书辅助阅读机器人的使用方法，特别是一种涉及自动化装置领域的儿童图书辅助阅读机器人的使用方法。

背景技术：

儿童的早期教育在很大程度上依赖于阅读能力的训练，通过机器人的形式辅助儿童进行图书的阅读，对图书进行内容的讲解和提问，有利于儿童阅读兴趣的培养，是一种新型的辅助教育手段。

通过图书页面内容的识别，能够获取图像的特征，进而在数据资源库中搜索图书相关的音频资源、教育资源，辅助儿童阅读图书。在图像的识别中，依赖于特征的准确提取和快速搜索；在儿童的阅读过程中，要求对书页进行精准和快速的识别。目前的机器人在儿童图书的阅读方面面临较大的技术挑战，在图书的识别和内容的呈中存在一定的技术瓶颈。

在传统的阅读器中，书本和摄像设备的几何关系是确定的，对图像的获取较为简单。在机器人形式的图书辅助阅读中，摄像设备和图书没有固定的位置关系，对图像的处理和识别带来了一定的挑战。

技术实现要素：

本发明为了解决上述问题而提供的一种儿童图书辅助阅读机器人的使用方法，包括以下步骤：

步骤1、根据内置的三轴加速度计传感器，检测机器人所处的状态，若处于直立状态，则进行步骤2；若处于倾斜状态，则进行步骤3至步骤6。

步骤1.1、读取以机器人为参照系x-y-z中的重力加速度值，x轴为机器人外壳的前后方向，y轴为机器人外壳的左右方向，z轴为机器人外壳的上下方向，获得重力加速度的变化曲线；

步骤1.2、采用ransac算法进行轨迹的滤波，获得平滑的轨迹；

步骤1.3、计算轨迹在xz平面内的投影，判断重力加速度发生逆时针轨迹旋转时，即为机器人前倾姿态。

步骤2、进行图书对应音频内容的搜索和内容的逐页自动播放。

步骤3、通过图像轮廓的提取，检测书本矩形边缘出现的位置，自动调整拍摄范围，以获取书本出现的位置处的图像。

步骤4、在获取步骤3中所述的书本出现的位置处的图像后，进行书页内容的识别，并进行书页模板库的匹配，获得书页序号。

步骤4.1、拍摄书本出现位置出的图像，将拍摄到的图像进行轮廓的提取；

步骤4.2、把闭合的轮廓进行矩形形状的检测，当形状大小符合先验的书本大小的经验值时，完成书本位置检测；

步骤4.3、根据书本所在位置，调整摄像头的拍摄范围，使其更准确的拍摄书页图像。

步骤5、根据书页序号进行音频资源的检索，并播放当前书页内容给用户。

步骤6、通过摄像头识别用户手势，当向右滑动手势出现时，识别下一页；当向左滑动手势出现时，识别上一页。

步骤6.1、通过四个颜色空间，即rgb、tsl、hsv、ycbcr空间进行肤色模型的联合判断，采用混合高斯模型对肤色的像素值进行建模；

步骤6.2、将非肤色像素点的值置零，将符合肤色模型的像素点的值置一，获得二值图像帧的序列；

步骤6.3、对二值图像帧序列进行若干次的腐蚀操作，再进行若干次的膨胀操作，去掉噪点的干扰，获得手势图像；

步骤6.4、提取图像帧序列中每帧的手势区域的中心点坐标，构成中心点坐标序列；

步骤6.5、根据重力加速度的法线方向，进行步骤6.4中所述的中心点坐标的投影转换，构成一维的数值序列，通过阈值判断手势方向。

本发明的有益效果在于：通过机器人自身直立状态的检测进行书页阅读模式的自适应调整，实现了流畅的阅读播放体验和分页的书页内容阅读。为儿童图书的阅读提供辅助播放的功能，提高儿童阅读的兴趣，弥补教育资源的分配不足。

附图说明

图1为本发明涉及的书页阅读流程图；

图2为本发明涉及的书本位置检测流程图；

图3为本发明涉及的重力加速度旋转轨迹判断图；

图4为本发明涉及的肤色和形态学手势判断流程图。

具体实施方式

下面结合附图对本发明作进一步阐述：

本发明的整体实施流程，如附图1所示，根据内置的三轴加速度计或者外置的传感装置判断机器人的直立状态和倾斜状态。若处于直立状态下直接按照页码顺序播放图书的音频资源，跳过书页识别流程。在倾斜状态下，首先，判断书页所处的位置，根据位置信息的反馈调整摄像头拍摄角度，获取更加准确的图像。对书页内容进行识别，根据图像特征与预存的书页模型的匹配，判断当前书页的序号。检索音频数据库，找到对应书页的音频资源，播放给用户。判断手势识别结果，根据摄像头捕捉到的灰度图像，比较相邻帧之间的灰度关系，从而获得手势的开始位置和结束位置。当向右划动手势时，阅读下一页，当向左划动手势时，阅读上一页。

检测书本位置的过程，如附图2所示，通过拍摄到的图像，进行轮廓的提取，将闭合的轮廓进行矩形形状的检测，当形状大小符合先验的书本大小的经验值时，完成书本位置检测。根据书本所在位置，调整摄像头的拍摄范围，使其更准确的拍摄书页图像。

如附图3所示，将重力加速度的旋转轨迹投影到zx平面内，其中g¹和g²分别是前后两个时刻的重力加速度矢量，当重力加速度的轨迹发生逆时针旋转的时候，则判断机器人处于向前倾斜的姿态，可以激活书页图像的拍摄和识别模式。重力加速度轨迹的获得，需要进行ransac算法的平滑处理，以去除因为加速度计的测量精度误差带来的影响。ransac算法的处理步骤如下：首先，选取最少的采样点集合s进行轨迹的弧线方程m的拟合；其次，采用m来判定误差在阈值e之内的采样点集合s*，使用s*重新估计弧线方程m*；最后，重复上述步骤，随机选取其实的集合s，直到获得最大的子集s*为止。

如附图4所示，在四种颜色空间中对肤色样本的像素点的取值进行统计建模，采用高斯混合模型，通过16到32个高斯分布的叠加进行肤色模型的拟合，高斯混合模型的参数估计采用em算法进行,并且保存模型。在处理实时输入的图像帧时，采用高斯混合模型建模的肤色模型进行像素点的过滤，采用后验概率的阈值来判断每一个像素点是否符合肤色模型。对获取的手势图像区域，进行2到3次的腐蚀操作，以去除噪点干扰。再进行2到3次的膨胀操作，以合并被腐蚀操作割裂的手部局部区域，以获得整个手部区域的轮廓。对手势区域的中心点坐标序列进行投影处理，投影到水平方向观察手势的种类，水平方向由重力加速度的法线方向确定。

以上所述实施例，只是本发明的较佳实例，并非来限制本发明的实施范围，故凡依发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。

技术特征：

技术总结
本发明公开了一种儿童图书辅助阅读机器人的使用方法，包括以下步骤：根据内置的三轴加速度计传感器，根据重力加速度在机器人参考坐标系中的变化轨迹，检测机器人所处的姿态状态；若在直立状态下，进行图书对应音频内容的搜索和内容的逐页自动播放；若在倾斜状态下，通过图像轮廓的提取，以获取书本出现的位置处的图像；对图像进行书页内容的识别，获得书页序号；根据书页序号进行音频资源的检索，并播放当前书页内容；通过摄像头识别用户手势，判断手势轨迹，当向右滑动手势出现时，识别下一页；当向左滑动手势出现时，识别上一页。上述发明可为儿童图书的阅读提供辅助播放的功能，提高儿童阅读的兴趣，弥补教育资源的分配不足。

技术研发人员：朱晓明;徐翠丽;赵宏勇
受保护的技术使用者：许昌特博特科技有限公司
技术研发日：2018.09.07
技术公布日：2019.01.22