基于语义概念和顺序学习的图像和文本匹配研究开题报告

全文总字数：3410字

1. 研究目的与意义（文献综述）

1.1 研究的目的及意义

随着互联网技术和智能电子设备的普及,人类生活中所接触到的图像文本信息日益膨胀,如何实现对这些图像文本数据的自动识别与文本匹配显得越来越重要。图像语义分类和语义顺序学习作为人工智能领域中的重要任务之一,其主流方法是通过对选定的图像集进行学习，训练分类器模型,并对未知图像进行识别分类决策，它在人工智能领域中的应用越来越受到广泛重视。

传统的图像和文本的匹配研究可以追溯到 20 世纪70年代末期,当时流行的技术是将图像作为数据库中存储的一个对象, 用关键字或自由文本对其进行描述, 查询操作是基于该图像的文本描述进行精确匹配或概率匹配。然而, 传统的图像检索方法具有下述难以克服的缺点:每一幅图像都需要人工进行注释, 因此标注较大的图像数据库需要大量的人工劳动，另外人工注释具有很强的主观性，并且人工注释的少量文字很难充分表达图像的内涵，不同国家不同民族很难用同一种语言对图像进行加注标识, 而且对图像语义理解的差异也很大, 因此不可能形成一种统一的检索方法。由于有限的、固定的人工注释难以满足不同用户的需求。从20 世纪90 年代初期开始, 利用图像的内容, 如颜色、纹理、形状等图像特征检索图像的技术应运而生。

2. 研究的基本内容与方案

2.1 基本内容

本论文主要研究了基于语义概念和顺序学习的基本知识，通过多区域、多标签区域化的神经卷积网络进行概念预测，用全局上下文模块以及语句生成来进行顺序学习，并通过算法测试了语义概念和顺序学习方法在实际图像文本匹配过程中的效果。利用该方法提取出的语义概念和上下文的信息，例如空间位置等，通过对语义进行排序，可以进一步提高语义顺序的准确性，跳出原有常规技术在匹配精度和匹配速度上的局限性，提高匹配效率。

2.2 本论文主要研究工作包括：

3. 研究计划与安排

1)第1-3周 完成题目调研，完成文献阅读，进行相关资料的收集，完成文献综述以及开题报告撰写；

2)第4-5周学习图像文本匹配的基本知识，完成论文开题；

3)第6-12周 完成基于语义顺序的图像文本匹配模型，撰写论文初稿；

4. 参考文献（12篇以上）

[1]顾广华．基于形式概念分析和语义关联规则的目标图像标注[j]．自动化学报．issn：0254-4156．2019．

[2]肖来元．文本检索方法驱动的海量图像数据库目标匹配研究[j]．计算机工程与科学．issn：1007-130x．2010(2)．