基于深度学习的卡通风格宠物头像生成系统的研究文献综述

 2022-08-09 19:45:23

一、文献综述

(一)国内外研究现状

查阅若干资料之后,对于卡通风格宠物头像生成系统的国内外研究现状[1],有了简单的了解。首先,首先不得不说的图像迁移。

2015年之前,有几种传统的图像迁移方法,比如油画风格迁移、通过纹理生成图像、对物理过程建模。油画风格迁移是一种基于笔触的方法,通过不同大小的笔触按一定规则来实现油画风格化[2]。纹理生成图像[3],当时,所有关于图像纹理的算法,都是通过手动建模产生的,其核心思想是“纹理可用图像的局部特征的统计模型来表示”,将图像划分成若干版本分别计算出典型的特征,通过图像中提取出来的典型的笔触来合成新的图像。通过对物理过程建模,例如毛笔书[4]、水墨画[5]等,一些学者通过对绘画过程进行建模等。然而,这些图像风格迁移的方法并没有吸引人的地方,这几种方法之间的共同点不多,没办法归纳成一个合理有效的风格迁移方法,所以,在当时,这些图像风格迁移的算法并没有什么亮点。

2012年开始,深度学习兴起了,学者们发现深度学习在物体识别上非常高效,卷积神经网络是比较出名的一种多层神经网络,擅长处理图像相关的问题,VGG19[6]是卷积神经网络中一个比较出名的物体识别网络,每一层网络都会利用前面一层来提取更加复杂的特征,直到能够识别物体为止,可以把VGG19的每一层看做是局部特征提取的工具,而Gram矩阵可以度量各个维度自己的特性以及各个维度之间的关系,可以表示图像的大致风格,于是,Gatys 利用了VGG19和Gramian 矩阵,实现了第一个基于深度学习的图像风格迁移算法[7]。Gatys发表了几篇论文[8],利用卷积神经网络将图像的风格和内容分离,从而实现了不同图像的内容与风格重新生成一张新的图像。低层的响应,可以当作是图像的风格,而高层的响应,可以表示图像的内容(特征),将风格和内容分别提取出来,然后通过图像重构,糅合在一起,从而实现了图像风格迁移。可以说这是图像风格迁移的开山之作,它给后来的学者提供了一个非常好的基础。虽然由Gatys提出的算法已经能实现通用的图像风格迁移,但是这个算法依旧存在一些缺陷,它的效率十分的低,于是,就有人提出了改进,用感知损失代替了像素损失[9],并且用一个预训练过的VGG模型简化感知损失的计算,同时新加了一个转换网络进去,大大提高了训练的速度。紧接着Li等人,把生成式对抗网络[10]引入了训练之中[11],更是提高了风格迁移的效率。再后来,Jun-Yan Zhu等人提出了一种非成对图像对之中训练的方法[12]。然而,图像风格迁移依旧再存在一些问题,例如对人体头像的风格迁移,如果对空间没有一个很好的约束,获得的人像会扭曲。所以,在Gatys的基础上,后来有一大批学者进行了改进,从固定风格固定内容的普通风格迁移[7],到固定风格任意内容的快速风格迁移[13],到任意风格任意内容的极速风格迁移[14]发展十分迅速。

尽管基于深度学习的风格迁移已经获得了很大的成功,但是却无法做出一个能让人接受的高质量的卡通风格迁移。卡通风格[15]与其他艺术风格有一个很大的不同,它边缘比较清晰,内容相对简单,不是添加纹理就可以直接完成风格迁移的,于是就有研究人员提出了,一个基于GAN的全新照片卡通化的方法CartoonGAN[16],卡通风格化专用生成式对抗网络。

(二)研究主要成果

《A Neural Algorithm of Artistic Style》中提出了通过卷积神经网络分离图像的风格和内容,然后通过重构重新绘制出一张新的图像,利用VGG19[6]物体识别的功能,来提取图像的多个局部特征,然后 Gramian矩阵计算不同局部特征的相关性从而生成纹理,也就是我们所说的风格。这是第一个基于深度学习的图像风格迁移的算法,是一种单一内容,单一风格的风格迁移方法。紧接GAN[9](生成式对抗网络)的引入,大大提高了图像风格迁移的效率和最后合成图像的品质,GAN是一种深度学习模型,是近年来无监督学习中最具有前景的方法之一,它有两个模块,生成模型和判别模型,通过这两个模块博弈学习产生一个相当好的输出,引入了GAN之后,图像风格迁移再次上升了一个高度。然后针对卡通风格,出现了名为CartoonGAN 的用于卡通风格化的专用的生成式对抗网络,能够得到高质量的风格化图像。

(三)发展趋势

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。