基于孪生神经网络的儿童绘本智能化导读方法及系统与流程

本发明涉及绘本导读，具体涉及基于孪生神经网络的儿童绘本智能化导读方法及系统。

背景技术：

1、儿童绘本导读可以帮助儿童发现适合自己的绘本读物，也有助于儿童阅读多个种类的绘本读物，提高阅读兴趣和能力，同时通过导读提高儿童阅读的效率和效果。目前，现有的儿童绘本导读在交互设计和用户体验方面还有待提升，如缺乏互动元素。另一方面，现有的儿童绘本导读大多采用基于规则或模板的导读方式，对儿童个性化需求的分析程度较低，难以满足儿童的多样化需求。因此，现需要一种方法解决上述问题。

2、综上所述，现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题。

技术实现思路

1、本发明提供了基于孪生神经网络的儿童绘本智能化导读方法及系统，用以解决现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题。

2、根据本发明的第一方面，提供了基于孪生神经网络的儿童绘本智能化导读方法，包括：将绘本信息同步至目标用户的个人设备存储卡；随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；结合所述预导读音频，进行目标绘本的同步阅读导读；待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读。

3、根据本发明的第二方面，提供了基于孪生神经网络的儿童绘本智能化导读系统，包括：绘本信息同步模块，所述绘本信息同步模块用于将绘本信息同步至目标用户的个人设备存储卡；绘本图像数据获得模块，所述绘本图像数据获得模块用于随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；导读音频信息获得模块，所述导读音频信息获得模块用于将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；导读约束要素接收模块，所述导读约束要素接收模块用于接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；预导读音频获得模块，所述预导读音频获得模块用于基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；同步阅读导读模块，所述同步阅读导读模块用于结合所述预导读音频，进行目标绘本的同步阅读导读；迭代分析导读模块，所述迭代分析导读模块用于待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读。

4、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：根据本发明采用的通过将绘本信息同步至目标用户的个人设备存储卡；随着阅读开始，激活目标识别模型，定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据，其中，所述绘本阅读区域基于绘本页面或投影区域确定；将所述绘本图像数据回传至后端服务器，结合孪生网络模型进行特征向量提取校对与绘本信息匹配，确定导读音频信息，其中，所述孪生网络模型包括并行的第一耦合通道与第二耦合通道；接收导读约束要素，其中，所述导读约束要素通过识别解析用户语音数据生成；基于所述导读约束要素，对所述导读音频信息进行补偿调整，生成预导读音频；结合所述预导读音频，进行目标绘本的同步阅读导读；待导读结束，激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读，解决了现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题，实现提高儿童绘本导读的效率的目标，达到提高为儿童提供更加精准、个性化的阅读指导效率的技术效果。

5、应当理解，本部分所描述的内容并非旨在标示本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。

技术特征：

1.基于孪生神经网络的儿童绘本智能化导读方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，该方法包括：

3.如权利要求1所述的方法，其特征在于，定位绘本阅读区域之前，该方法包括：

4.如权利要求3所述的方法，其特征在于，所述接收导读约束要素，该方法包括：

5.如权利要求1所述的方法，其特征在于，该方法包括：

6.基于孪生神经网络的儿童绘本智能化导读系统，其特征在于，用于实施权利要求1-5中任意一项所述的基于孪生神经网络的儿童绘本智能化导读方法，所述系统包括：

技术总结
本发明提供了基于孪生神经网络的儿童绘本智能化导读方法及系统，涉及绘本导读技术领域，该方法包括：将绘本信息同步至目标用户的个人设备存储卡；定位绘本阅读区域并控制图像采集装置扫描确定绘本图像数据；进行特征向量提取校对与绘本信息匹配，确定导读音频信息；接收导读约束要素；生成预导读音频；进行目标绘本的同步阅读导读；激活程序翻页模式，进行绘本自动化翻页控制与迭代分析导读，通过本发明可以解决现有技术中存在由于儿童绘本导读的效率较低，导致为儿童提供更加精准、个性化的阅读指导的效率较低的技术问题，实现提高儿童绘本导读的效率的目标，达到提高为儿童提供更加精准、个性化的阅读指导效率的技术效果。

技术研发人员：陈奇川,高雪飞,陈伟彬
受保护的技术使用者：厦门三读教育科技有限公司
技术研发日：
技术公布日：2024/3/27