一、文献综述
- 国内外研究现状
人工智能的发展已经经历过了三次热潮，经历了两次低谷，我们还不知道人工智能的第三次低谷会在什么时间发生。在人工智能发展的最初阶段，它主要进行了一些简单的定理证明，实现了自动跳棋程序。在这里面可以看出人工智能还是一种规则手段，尚不完备，依然需要我们人类手工去设计它的规则。这一阶段的人工智能也存在着许多问题，第一个是关于手工设计的规则的泛用性，我们人类的经验是有限的，我们所设计的规则手段受制于人类自身的个人经验，就我们个人经验来说，它不可能包括所有可能的情况，那么这会导致这一阶段的人工智能系统不能快速准确的适应新的数据，同时，另一方面，由于规则的设计需要有人类参与其中，导致人工智能系统无法快速更新、快速迭代，不能适应大量的数据情况。在此时，第二次人工智能热潮出现了，它致力于解决第一次人工智能热潮产生的种种问题。如果人工更新的只能系统不够好的话，那么我们可以使用专家系统，将现有的领域专家请过来处理这些问题，可能在一定程度上解决这些问题。这个时候神经网络已经开始发展了，但是，众所周知Minsky证明了传统感知机没法解决亦或问题，这是影响很大的一点，直接导致了人工智能的发展进入了第二次低谷期。当第二个低谷期过了之后人工智能的发展进入了新的篇章，在人工智能的第三次热潮中，首先是1991年深蓝战胜了象棋冠军，这是IBM的一个工作成果，虽然这个工作实际上还是基于规则式的模型，但是它使用了一个很强大的算力来完成。在人工智能的第三次热潮要开始的时候，我们可以发现，人工智能的发展不仅仅和算法的设计有所联系，也更多的和我们硬件有很大的关系。在今天的AI的浪潮爆发的时候，AI的主要工作就是云计算、大数据、深度学习这三个方面。云计算和大数据都是基于互联网的发展和我们现有的数据库设计而产生的，这两种技术的出现使得我们收集数据的能力得到前所未有的加强。
在前两次，我们的数据需要人工收集，耗费了大量的时间和精力，但是进入第三次AI爆发的时候，我们已经有了自动化收集数据的能力。在这个基础上，深度学习的方法被提出，用来处理这些大规模的数据，它同样也得益于GPU的高速发展。采集数据的智能化和深度学习的发展使得以往我们要花很长时间训练的神经网络现在可以很快的训练完毕，这其中最出名的事件就是2016年AlphaGo战胜李世石和次年战胜柯洁。现在，人工智能或者是深度学习已经为大众所熟知。关于深度学习的发展史，最早是从1958年开始，有一小部分科学家对这个东西进行了研究，就是对神经网络这个问题进行研究。但是很快Minsky就开始反对这样的研究，于是乎，深度学习的发展开始就停滞了。直到2007年往后，将近2011年与2012年的时候，ICNet在ImageNet数据集上取得了超过传统方法将近10%的正确率的胜利，在此之后，许多大公司都开始推动这样一个新技术，都用它发展。其中名列前茅的，就是生成式对抗网络。
GAN的核心思想来源于博弈论的纳什均衡.它设定参与游戏双方分别为一个生成器(Generator)和一个判别器(Discriminator),生成器的目的是尽量去学习真实的数据分布,而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器;为了取得游戏胜利,这两个游戏参与者需要不断优化,各自提高自己的生成能力和判别能力,这个学习优化过程就是寻找二者之间的一个纳什均衡。任意可微分的函数都可以用来表示GAN的生成器和判别器,由此,我们用可微分函数D和G来分别表示判别器和生成器,它们的输入分别为真实数据x和随机变量z。G(z)则为由G生成的尽量服从真实数据分布的样本。如果判别器的输入来自真实数据,标注为1。如果输入样本为G(z),标注为0。这里D的目标是实现对数据来源的二分类判别:真(来源于真实数据x的分布)或者伪(来源于生成器的伪数据G(z)),而G的目标是使自己生成的伪数据G(z)在D上的表现D(G(z))和真实数据x在D上的表现D(x)一致,这两个相互对抗并迭代优化的过程使得D和G的性能不断提升,当最终D的判别能力提升到一定程度,并且无法正确判别数据来源时,可以认为这个生成器G已经学到了真实数据的分布。
（二）研究主要成果
从机器学习到人工智能,对抗思想被成功引入若干领域并发挥作用。博弈、竞争中均包含着对抗的思想。博弈机器学习将博弈论的思想与机器学习结合,对人的动态策略以博弈论的方法进行建模,优化广告竞价机制,并在实验中证明了该方法的有效性。。围棋程序AlphaGo战胜人类选手引起大众对人工智能的兴趣,而AlphaGo的中级版本在训练策略网络的过程中就采取了两个网络左右互博的方式,获得棋局状态、策略和对应回报,并以包含博弈回报的期望函数作为较大化目标。在神经网络的研究中,曾有研究者利用两个神经网络互相竞争的方式对网络进行训练,鼓励网络的隐层节点之间在统计上独立,将此作为训练过程中的正则因素。还有研究者采用对抗思想来训练领域适应的神经网络:特征生成器将源领域数据和目标领域数据变换为高层抽象特征,尽可能使特征的产生领域难以判别;领域判别器基于变换后的特征,尽可能准确地判别特征的领域。对抗样本也包含着对抗的思想,指的是那些和真实样本差别甚微却被误分类的样本或者差异很大却被以很高置信度分为某一真实类的样本,反映了神经网络的一种诡异行为特性。对抗样本和对抗网络虽然都包含着对抗的思想,但是目的完全不同。对抗思想应用于机器学习或人工智能取得的诸多成果,也激发了更多的研究者对GAN的不断挖掘。
（三）发展趋势
GAN对于生成式模型的发展具有重要的意义。GAN作为一种生成式方法,有效解决了可建立自然性解释的数据的生成难题。尤其对于生成高维数据,所采用的神经网络结构不限制生成维度,大大拓宽了生成数据样本的范围。所采用的神经网络结构能够整合各类损失函数,增加了设计的自由度。GAN的训练过程创新性地将两个神经网络的对抗作为训练准则并且可以使用反向传播进行训练,训练过程不需要效率较低的马尔科夫链方法,也不需要做各种近似推理,没有复杂的变分下界,大大改善了生成式模型的训练难度和训练效率。GAN的生成过程不需要繁琐的采样序列,可以直接进行新样本的采样和推断,提高了新样本的生成效率。对抗训练方法摒弃了直接对真实数据的复制或平均,增加了生成样本的多样性。GAN在生成样本的实践中,生成的样本易于人类理解。例如,能够生成十分锐利清晰的图像,为创造性地生成对人类有意义的数据提供了可能的解决方法。
GAN除了对生成式模型的贡献,对于半监督学习也有启发。GAN学习过程中不需要数据标签。虽然GAN提出的目的不是半监督学习,但是GAN的训练过程可以用来实施半监督学习中无标签数据对模型的预训练过程。具体来说,先利用无标签数据训练GAN,基于训练好的GAN对数据的理解,再利用小部分有标签数据训练判别器,用于传统的分类和回归任务。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
