文献类型：学位论文

中文题名：融合知识图谱和多模态的文本分类研究

作者：姚克[1];

第一作者：姚克

机构：[1]河南财经政法大学;

第一机构：河南财经政法大学

导师：李金铭;河南财经政法大学|景丽;河南财经政法大学

授予学位：硕士

语种：中文

中文关键词：自然语言处理;知识图谱;多模态;文本分类;Bert

摘要：文本分类是对数字文本信息按照一定的分类体系或标准进行自动分类标记的一种方法,常用于垃圾邮件处理、情感分析、主题分类、意图识别等自然语言处理领域。目前常用的方法是基于深度学习的文本分类方法,此类方法是基于单模态数据所驱动的统计学习方法,缺乏对数据的真实理解能力,鲁棒性较差,单模态的信息也难以有效分析互联网中越来越丰富的多模态化数据。针对此问题,本文采用两种策略来提高分类能力:（1）为文本分类模型引入多模态信息,旨在利用多模态信息之间的互补性,弥补单模态信息的局限性。（2）为文本分类模型引入知识图谱实体信息,旨在利用知识图谱的结构化知识,为模型提供额外的知识信息,让模型拥有理解与联想能力,提高模型的泛化能力。基于上述两种策略,本文构建了融合知识图谱和多模态的文本分类模型,主要的研究内容如下:（1）单模态信息的特征表示提取研究。根据不同模态的特点,分别使用不同的特征提取方法,对于文本模态使用Bert提取特征;对于图像模态使用改进的Res Net模型,获取蕴含位置信息的图像特征;对于知识图谱实体模态,通过实体链接提取文本中包含的实体,通过对比分析选用实体表示学习作为实体特征表示方法。（2）多模态信息融合的研究。通过在早期融合中引入自注意力机制,使模型能够学习不同模态对分类结果的重要程度,充分利用多模态信息之间的互补作用;通过实验与分析论证了早期融合与晚期融合的效果差异,得出了早期融合效果更好的结论。本文分别在MM-IMDB、Twitter15＆17和MVSA-Multi三个数据集上进行了对比实验、消融实验以及泛化能分析实验,实验结果显示,本文的模型在分类性能上均优于其他模型,这说明引入了多模态信息和知识图谱实体信息的文本分类模型具有更好的分类性能,鲁棒性和泛化能力也较强。