基于随机权重改变的在线学习算法设计与验证文献综述

 2022-09-23 16:14:36

  1. 文献综述（或调研报告）：
  2. 深度学习发展历史：

2006年加拿大多伦多教授 Hinton等人在《科学》杂志上发表了一篇文章，论证了两个观点（1）多个隐层的神经网络具有特征学习能力，利于可视化或分类。（2）深度神经网络在训练上的难度，能够通过逐层初始化无监督学习实现。这次发现，不仅说明了深层神经网络学习的优异性，同时解决了神经网络在计算训练上的难度。使得神经网络重新成为主流学习技术。这种具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称之为深度学习。[1]

目前，深度学习常用模型主要有：卷积神经网络CNN，深度信念网络DBN，深度自动编码器DAE，限制玻尔兹曼机RBM等。卷积神经网络具有全监督学习和权值共享的特点，在自然语言处理和语音图像识别领域拥有很强的优势。其它的深度学习模型，大多都采用先进行无监督方式的逐层预训练，然后再使用有监督方式的调整参数。

2.深度学习发展现状[6]：

①语音识别：语音识别引入深度学习技术，利用深层神经网络模型（DNN）极大提高了模型的准确率。错误识别率降低了30%，在语音识别技术方面，微软公司的研究取得了近20年来，最快的突破性的发展。2012年微软在中国天津演示了一套同声传译系统，用英文演讲，计算机自动完成语音识别、英中机器翻译语音合成，翻译非常流畅。国内百度在2015
年推出的语音识别系统 Deep Speech 2。利用深度学习学习算法，够准确地识别中英文语音信息，很多情况下甚至比人的识别能力还强。这其中还有Apple公司的Siri技术等。

② 图像识别：图像识别是人工智能的一个重要领域。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。目前，计算机图像识别技术正逐步运用于交通运输、公共安全、工业制造、生物、农业及医疗等国民经济的各个领域。例如：车牌识别系统；人脸识别技术、指纹识别技术；食品质量检测；医疗临床辅助诊断。视觉医学影像，刷脸支付、机场自助通关、增强现实、无人驾驶等都是图像识别技术快速发展的一个缩影。随着图像识别技术的发展，高性能的计算芯片和以深度信念网络(DBN)和卷积神经网络(CNN)为代表的深度学习算法在图像识别中的广泛应用，图像识别的准确率得到了很大的提升。在ImageNet图像识别中，对象分类项目准确率从2010年的72%提升到了目前的97%，制造无人机和机器人的公司正使用升级后的视觉系统，将保安工作提升为自动化，图像识别技术正日新月异地获得飞速的发展。

③ 自然语言处理：自然语言处理((NLP)是深度学习应用的另一个领域。目前，基于统计的机器翻译成为主要研究方向，语言是人类大脑处理系统独有的创造性成果，人工神经网络模拟人脑的结构，在处理自然语言过程中没有明显的优势。目前语言处理主要障碍是：在语言分析过程中，要求以对话情景和主题为基础,注重大量的常识性知识的使用和词义消歧问题，生成具有情感，能够被大众理解的自然语言。这是一个极其复杂的编码和解码问题，因此，深度学习在这一领域还有着广阔的发展空间。

3.卷积神经网络[2-5]：

卷积神经网络是深度学习在图像处理领域中最为成功的案例之一，其主要特点包括局部感受野、降采样和权值共享，使之一跃成为智能机器视觉领域的研究热点。图像特征的提取与分类一直是计算机视觉领域的一个基础而重要的研究方向，卷积神经网络则提供了一种端到端的学习模型，可以通过传统的梯度下降算法训练模型中的参数，经过充分训练的卷积神经网络能够学习到图像中的某些特征，并且自主完成对图像特征的提取和分类。作为神经网络领域的一个重要研究分支，卷积神经网络的特点在于其每一层的特征都由上一层的局部区域通过共享权值的卷积核激励得到，这一特点使得卷积神经网络相比于其他神经网络方法更适合应用于图像特征的学习与表达。

剩余内容已隐藏，您需要先支付 10元 才能查看该篇文章全部内容！立即支付

以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章