基于深度学习的自动问答系统构建技术文献综述

 2022-11-29 16:24:31

本课题,即“基于深度学习的自动问答系统构建技术”,包含三大方面的知识体系,即深度学习相关知识、自然语言处理相关知识和聊天机器人相关知识。

故而我对这三方面的知识都进行了学习。由于时间限制所学有限,下面我会将了解到的内容做一个简单的综述。

首先是深度学习方面。

深度学习,即DL,Deep Learning,是机器学习( Machine Learning)领域中一个研究方向。最早是在1943年,皮兹,提出了MP模型。MP模型模仿了神经元的结构和工作原理,此乃神经网络的基础,我们所言的学习即是通过各种方式调整MP模型中的权重的过程。在2006年,深度学习被正式提出;在2011-2013年这段时间,基于深度学习的方法相继在语音识别、文字识别、图像识别等领域取得了突破性的成就,超越了传统方法,进而真正获得普及。

区别于传统的浅层学习,深度学习的不同在于:

  1. 强调了模型结构的深度,通常有5层、6层,甚至10多层的隐藏节点; 2. 明确了特征学习的重要性。也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据丰富的内在信息。

深度学习有诸多神经网络模型。其中最为著名的、受人瞩目的有如下三个:

  1. 卷积神经网络(CNN)

CNN被广泛应用于图像处理领域。这是一类包含卷积计算且具有深度结构的前馈神经网络,具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类。

  1. 递归神经网络(RNN)

RNN则更多的应用于文本处理领域。RNN是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络。具有可变的拓扑结构且权重共享,被用于包含结构关系的机器学习任务。

  1. 生成对抗网络(GAN)

GAN是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。

另外值得一提的是长短期记忆模型(Long Short-Term Memory,LSTM)。它本质上是一种递归神经网络的变种,其克服了RNN不能有效建模长距离依存关系的问题。它可以被应用于本课题的聊天机器人中。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。