论文题目：Anime Avatar Generation Using C-DCGAN
摘要：研究介绍随着计算机视觉技术的不断发展,各种图像采集工具每天为我们提供数以万计的图像资源,大量的图像信息极大地丰富了我们的生活。然而,在一些特定的领域,现有的图像并不能完全满足我们的需求。因此,如何根据需求生成相应的图像成为一个值得考虑的问题。对于GAN来说,从开发和应用的角角角角度来看,作为一种具有无限生成能力的模型结构方法,最直接的应用就是生成与训练数据一致的数据样本,如图像和视频的生成。因此,基于其的应用特点,它在实际的生产和生活中具有极大的实用价值。因此,本文选择使用该网络模型作为核心研究方向。我希望可以用GAN的衍生模型来解决动漫人物头像的生成问题,并且生成的图片为某一特定风风风风格及形式。课题背景GAN的提出满足了许多领域的研究和应用需求,为深度学习注入了新的发展活力。如今,GAN已经成为深度学习领域的一个重要研究方向,以至于著名学者Yann LeCun将其称为“近十年来机器学习领域最激动人心的想法”。目前,GAN在图像和视觉领域有着极为广泛的研究和应用。它能够准确生成手写数字、人脸等目标对象,还可以构建各种现实生活场景,从低分辨率图像生成高分辨率图像。对分割后的图像进行恢复,对黑白图像进行着色,并根据目标轮廓对原始图像进行恢复。此外,GAN已经开始扩展到语音和语言处理、计算机病毒监测和象棋游戏程序的研究。研究现状对抗式生成网络是Goodfellow等人2014年在OpenAI中提出的生成性模型。2015年6月Emily Denton等人发表的研究进一步优化了对抗式生成网络。发表文章最多的是Soumith Chintala,他参与了DCGAN、WGAN。Wasserstein GAN详细分析了GAN的不足之处,提出了许多重要的改进方法,引起了广泛的关注,对GAN的发展起到了关键作用。起了广泛的关注,对GAN的发展起到了关键作用。此外,谷歌已经发表了四篇以上关于生成可生对抗性网络的文章,谷歌的工程能力再次凸显。此外,苹果还发表了SUGAN的文章,这是苹果在人工智能领域发表的第一篇文章,描述了如何使用合成图像代替随机向量作为输入来改进GAN合成图像。生成式对抗网络已成为深度学习的一个热点领域。主要工作本文将GAN与图像生成有机地结合起来。改进的GAN模型用于生成特定条件下的动画人物头像。该结构将以DCGAN和CGAN两种模型为基础,结合两种模型的优点,达到预期的效果。图像生成可以使用许多不同类型的GAN模型。但它们中的大多数都是输入随机噪声,随后随机生成图像。在现实中,有时我们需要生成大量具有特定条件的图像。因此,许多用于生成图像的GAN在该任务上的能力是有限的。DCGAN利用卷积神经网络在图像生成中的巨大优势,有效地生成图像。但是无法基于特定的标签生成图像。CGAN可以向输入添加标签来生成特定的目标图像。因此,最后选择C-DCGAN模型作为模型训练和实验的最终模型。在本文中,由我自己提出并完成的工作主要有两点。一点是新数据集的获取,主要分三步,首先从动漫网站上爬去动漫图片,随后从动漫图片中截取人物头像部分,完成这一步后所生成的数据集,可以作为DCGAN网络的训练数据集,但是CGAN网络所需要的输入标签是此数据集所不具备的,随后在将该数据集分类并加入标签,此时所得到的数据集为本论文实验验证时所需要的数据集。第二点是,对所输入的标签增加强度偏移,根据强度偏移值的改变,训练所生成的图像依然为同一条件类型,但是生成图像在这一条件下将有些许变化。本文将利用本文所改进的模型结构对动画人物的生成进行实验。通过三个实验表明,C-DCGAN能够有效地完成特定目标动漫人物的生成。CDCGAN模型C-DCGAN是一种集DCGAN和CGAN优点于一身的模型。因此,其基本架构是继承自GAN的。该生成器和判别器的结构与DCGAN基本相同,图像采集和生成采用深卷积方法。这意味着生成器和判别器的基本网络模型是基于CNN的。我们可以说判别器模型是一种典型的CNN图像分类模型,被看作是一种二值图像分类。在这里,我们将对比C-DCGAN和CNN网络结构的差异。DCGAN的生成器部分主要利用输入噪声,通过神经网络卷积完成图像的生成。鉴别器部分由卷积采样确定。生成器的目标是使生成器生成的图像通过判别器的判别后,输出结果接近1（生成的样本接近真实样本）。鉴别器的目的一方面是使真实样本通过判别器,结果接近1。另一方面,让生成器生成的样本通过判别器,结果接近于零。通过不断的对抗达到收敛,最终获取以假乱真的图像。数据集准备及实验SSA数据集的数据原型是从日本游戏和漫画的图片网站上通过爬虫爬取的。这些动漫角角 色在风风格和颜色上都是多种多样的。因为它们是由不同的艺术家为不同的作品集或动画作品创作的。但是,它们的大多数原始图像不仅包含头像,而且有背景等其他干扰因 素,因此我们需要从其中截取人物头像,这一步可以通过OpenCV的功能来完成。为了准备具有自定义样式的图像。我需要使用分类标签数据作为生成器的训练输入。为了准备这样的训练集,即除了图像数据之外我们还需要为其添加标签。但是,上一阶段的图像数据集没有为这些图像提供分类数据。因此我们将使用另一个模型来为数据集添加图像的分类标签。本文使用illustration2Vec模型,这是一种基于CNN的工具,可用于为我们的动漫人物头像图像添加特定的类别标签。对于给定的动漫图像,网络可以预测图片属于不同属性的概率,在本文中,头发颜色被选为此任务的标签。使用此模型为我们最初拥有的SAA数据集的每个图像添加标签。这样我们的数据集就准备就绪了。接下来,我们首先使用了C-DCGAN的两种训练模式来尝试对这一数据集进行训练。一种为Batch size 64的形式,在这一模式下能够稳定生成我们需要的结果。另一种为Batch size 16模式,在这一模式下,训练难度较上一模式更为困难,图像生成结果相对较不稳定。根据损失函数的迭代图分析,我们可以发现batch size 16的在迭代时震荡较为剧烈,也就是说batch size 64模式训练过程较为稳定,迭代收敛效果也较好。此外,为了探索通过改变DCGAN的网络层次架构以得到不同分辨率的动漫人物头像,设计了一个实验,将原有DCGAN模型架构中的一组隐藏层部分删除,使其得以生成分辨率更低的动漫人物头像,但是所构架网络生成效果十分不稳定,难以训练,通过大量的尝试,最终未能实现任务头像生成。此外,我使用CGAN网络训练并生成动漫图像用以作为对比实验,实验结果表明CGAN也能生成类似的结果,但是网络结构的不稳定导致训练过程异常艰难,由此也体现除了DCGAN网络在GAN基础上的改进。也可以看出CDCGAN相对CGAN的优势所在。最后,我们使用FID方法对生成结果进行评估,从生成图像和真实图像中分别提取特征,使用FID计算两幅图像特征间的距离,评估标准为FID距离越小,生成效果越好。最终结果显示CDCGAN的FID结果与CGAN的FID结果相差不大,这也就意味这CDCGAN较CGAN的改进不在于图像生成质量上,主要是提高了模型训练的稳定性,使模型训练更为容易。结论与展望本文探讨了如何利用GAN网络相关技术实现动画人物形象的自动生成。通过将一个非常好的数据集与几个实际的GAN训练策略和一个尚未在该领域使用的C-DCGAN网络结构相结合,成功地建立了一个能够生成逼真动画化身图像的模型。在DCGAN动画化身生成模型的基础上,利用CGAN模型的一些特点将其集成到C-DCGAN模型中。这就完成了DCGAN没有的特定图像生成的功能。可以说,条件生成得到了进一步的改进。本文中仍有一些问题需要进一步研究。其中一个方向是如何使用和改进C-DCGAN网络,当您想要获得具有多个特性属性的特定属性组合的图片时。另一个方向是当训练数据中的类标签分布不均匀时,如何改进C-DCGAN模型。本文希望在本文工作的基础上,对动画风风格的图像生成建模进行更多的研究,最终帮助业余爱好者和专业人士设计和创作新的动画人物。
关键词：
学科专业：计算机技术（专业学位）
Acknowledgements
Abstract
Chapter 1 Introduction
1.1 Research background and significance
1.1.1 Research topic background
1.1.2 Significance of the research topic
1.2 Research status
1.2.1 Research status of deep learning
1.2.2 Research status of Generative Adversarial Nets
1.3 Main works
1.4 Thesis organization
Chapter 2 Deep Learning and Generative Adversarial Nets
2.1 History of Artificial Neural Networks
2.2 Convolutional Neural Networks
2.2.1 Convolution operation
2.2.2 Transposed convolution
2.2.3 Pooling
2.2.4 Activation function
2.3 Introduction to Generative Adversarial Networks
2.3.1 Wide applications of Adversarial Networks
2.3.2 The principle of GAN
2.3.3 GAN training mechanism
2.3.4 Advantages and disadvantages of GAN
2.3.5 Derived models of GAN
Chapter 3 Generate Anime Character Avatar Based on C-DCGAN
3.1 Structure of DCGAN
3.2 Structure of CGAN
3.3 C-DCGAN model structure
3.3.1 Basic structure of C-DCGAN
3.3.2 Generator of C-DCGAN
3.4 Discriminator of C-DCGAN
3.5 C-DCGAN model training
3.6 C-DCGAN algorithm
Chapter 4 Experimentation and Result analysis
4.1 Dataset preparing
4.1.1 Initial image acquisition
4.1.2 Anime face detection
4.1.3 Add image label
4.2 Experiment using CGAN
4.3 Experiment using C-DCGAN
4.3.1 C-DCGAN model training
4.3.2 Generated samples
4.3.3 CDCGAN model for generating lower resolution images
4.4 FID evaluation
4.5 Summary
Chapter 5 Conclusions and perspectives
References
Appendix A Abstract in Chinese