技术总结
本发明涉及一种基于深度LSTM网络的图像描述生成方法，包括以下步骤：1)提取图像描述数据集中图像的CNN特征并获取与图像对应描述参考句子中单词的嵌入式向量；2)建立双层LSTM网络，结合双层LSTM网络和CNN网络进行序列建模生成多模LSTM模型；3)采用联合训练的方式对多模LSTM模型进行训练；4)逐层增加多模LSTM模型中LSTM网络的层次，每增加一层并进行训练，最终获得逐层多目标优化及多层概率融合的图像描述模型；5)将逐层多目标优化及多层概率融合的图像描述模型中多层LSTM网络中各分支输出的概率分值进行融合，采用共同决策的方式，将概率最大对应的单词输出。与现有技术相比，本发明具有多层次、提高表达能力、有效更新、准确性高等优点。
技术研发人员：王瀚漓;汤鹏杰
受保护的技术使用者：同济大学
文档号码：201611022441
技术研发日：2016.11.16
技术公布日：2017.05.10