文献综述（或调研报告）：
- 神经网络发展现状
神经网络可分为生物神经网络和人工神经网络（Artificial Neural Network即ANN）两种，本部分主要讨论的是人工神经网络。它是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
然而，当神经网络应用于机器学习时，模型本身的参数和结构框架却无法在学习中改进，只能依赖于最开始的选择，这决定了他们的学习效率和学习效果。更加糟糕的是，神经网络在运用中往往需要大量的计算资源，并花费很长的训练时间，这意味着试错的成本很高。因此，实践中需要依靠经验丰富的人类专家设定参数，这限制了没有相关知识背景的使用者去根据实际需求配置神经网络模型。甚至在模型非常复杂的情况下，专家也很难去选择参数。由此，为了获得更加合适的参数，神经网络迫切需要一种准确度高、运算效率高的优化算法来进行参数的选择和优化，这一方面可以优化神经网络的性能，另一方面还可以降低使用门槛，有利于神经网络模型的大规模应用。
- 现有的神经网络参数选择算法
现有的神经网络参数选择算法包含无模型和基于模型两种。基于模型的技术通过仔细的探索和利用，构建了超参数空间的替代模型。相对的，无模型算法不利用在优化期间取得的关于解空间的知识。其中最常用的两种是网格搜索和随机搜索。
网格搜索(GS)通常用于优化神经数量较少的神经网络超参数。首先，用户选择要参数值的可行范围。接着，GS会执行对数级别的次数，在其中估计最佳组合，逐步改进搜索。GS的明显缺点是时间复杂度受参数数量和取值的影响很大，对于k个参数，每个参数可以取n个不同值(为了简化，我们假设n对于所有超参数都是等价的)，其代价以O(nk)的速率指数增长，这可以通过并行计算来稍稍减缓。
随机搜索(RS)是一种相较GS易于实现的方案，通常可以更快地收敛到一个可行的参数。RS不是自适应的，这意味着它在实验过程中不会动态更新(已找到的解决方案不会影响搜索)。然而，有一些旨在增强其能力的方法---可以在最佳的超参数邻域增加随机采样。最终，可以得到一种混合算法，通常以顺序方式将RS与其他技术结合以改进其性能(例如，由专家实施的手动更新)。
以上两种算法以及其他的参数选择算法，在找到的参数质量上以及取得了很好的效果，但最大的缺点是时间复杂度过高。因此，它们很难适用于较大的神经网络模型，这就是说很难应用于实际场景。
- 进化算法的基本原理
进化算法，或称“演化算法” (evolutionary algorithms, EAS) 是一个“算法簇”，尽管它有很多的变化，有不同的遗传基因表达方式，不同的交叉和变异算子，特殊算子的引用，以及不同的再生和选择方法，但它们产生的灵感都来自于大自然的生物进化。与传统的基于微积分的方法和穷举法等优化算法相比，进化计算是一种成熟的具有高鲁棒性和广泛适用性的全局优化方法，具有自组织、自适应、自学习的特性，能够不受问题性质的限制，有效地处理传统优化算法难以解决的复杂问题。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
