文章目录
- 前言
- 一、关于 Google 开发者大会
- 1.1、什么是 Google 开发者大会?
- 1.2、CSDN 上线 2023 Google 开发者大会专题页
- 二、敦煌深厚的艺术沉淀
- 2.1、“云想衣裳花想容”?
- 2.2、“大漠孤烟直,长河落日圆”
- 三、传统文化赋予现代艺术设计灵感
- 四、先进技术助力传播传承敦煌服饰文化
- 4.1、从手绘设计到计算机辅助设计
- 4.2、探索敦煌服饰艺术设计的创新方法
- 4.3、基于 TensorFlow 实现风格迁移
- 五、基于 TensorFlow 的团队项目历程
- 5.1、构建 DeepFlying 的平台标注数据
- 5.2、基于数据基础使用混合模型来训练数据
- 5.3、在谷歌支持下开展创新特训营
- 六、通过新的技术手段实现风格迁移
- 6.1、基于传统卷积网络的风格迁移
- 6.2、基于生成对抗网络的风格迁移
- 总结
前言
敦煌文化是中国传统文化的重要组成部分,在本文中我们将介绍敦煌文化如何与 TensorFlow 相结合,探索开源技术在其保护和复兴中的应用。以一系列场景的演示及应用,帮助加深人们对传统敦煌文化的理解,连接跨越时空的文化传统。本期技术内容由兰州大学信息科学与工程学院的周睿教授于 2023 Google 开发者大会分享,其团队开展了基于敦煌壁画和 TensorFlow 的服饰艺术设计的研究工作。一、关于 Google 开发者大会
1.1、什么是 Google 开发者大会?
Google 开发者大会旨在向开发者展示谷歌最新的技术、产品、应用和开发工具等,同时也给开发者们提供了一个交流互动的平台,让他们能够和谷歌公司的工程师和其他开发者进行交流和互动,分享创意,交流经验,探讨未来的发展方向和趋势,并共同探讨如何利用最新的技术和工具来推动互联网的发展和创新。大会内容涵盖了广泛的领域,包括机器学习、Web 技术、移动开发、云计算、物联网等,每年都会发布一系列重要的开发工具更新。
9 月 6 日 - 7 日,2023 Google 开发者大会在上海举办。
1.2、CSDN 上线 2023 Google 开发者大会专题页
CSDN 上线 2023 Google 开发者大会的专题页,无法亲临现场的开发者可以通过观看主旨演讲、专题演讲回放视频,全方位了解重磅技术更新和专业行业洞察https://marketing.csdn.net/p/8b1b4b3f5f0fe4c3cdf1c2d5e42a05c3
二、敦煌深厚的艺术沉淀
2.1、“云想衣裳花想容”?
提到敦煌,我们会很容易想到莫高窟、鸣沙山、月牙泉,而且在假期的这个旅游热潮当中,也经常会出现敦煌的身影,敦煌作为丝绸之路上的一颗明珠,经过了千百年的历史的历练,积聚了璀璨和深厚的艺术积淀,散发出中华民族文化自信的绚丽光彩,也吸引了越来越多的关注的目光。
那么以敦煌莫高窟为代表的壁画还有塑像里边所体现出来的我们的服饰文化风貌,也是中华服饰历史的重要组成部分和一个艺术的宝库,也体现了我国古代人民的艺术才能和生活智慧。同样,像“云想衣裳花想容”的千古佳句,使得我们古代服饰能够体现出跃然纸上的感觉。
2.2、“大漠孤烟直,长河落日圆”
甘肃省的地形如一块玉,镶嵌在祖国的西北,而敦煌是在甘肃省的最西端,周睿教授所在的兰州大学是在甘肃省的省会兰州。
上图是敦煌莫高窟的标志性建筑——九层楼,是莫高窟的第 96 号窟,在这周围的悬崖峭壁之上,现存有塑像还有壁画等在内的一共 492 个石窟,是我国规模最大、持续历史最为悠久、目前保存也较为完好的佛教的历史遗迹之一。
莫高窟、玉门关、阳关这样的遗迹分布在古代的丝绸之路上,随着多民族文化交融和团结的历史长河,书写出了很多传奇的篇章。
三、传统文化赋予现代艺术设计灵感
莫高窟是世界上现存规模最大的,同时也是修建持续时间最长以及内容最丰富的佛教石窟群,当我们不管是看到这样的一些图片也好,或者说是亲临莫高窟,可以看到这个里面所体现出来的这些线条、色彩,它们碰撞之后所产生出来的丰富多样的搭配,会不会给艺术设计增加一些新的灵感呢?
四、先进技术助力传播传承敦煌服饰文化
4.1、从手绘设计到计算机辅助设计
我们已经通过现有的一些技术手段把色彩、线条等等进行相应的提取,对于敦煌莫高窟这样的一个巨大的文化艺术里的宝藏来说,可以从不同的方面去传承、发扬它的文化内涵。
上图是敦煌文博会的敦煌角色之夜的演出,它的重点是提取了敦煌壁画上面的色彩的元素,然后在去复现那些壁画上面的敦煌服饰的同时,将敦煌元素融入到了现代服饰的设计时尚演绎当中,从而去再现敦煌服饰的魅力。
4.2、探索敦煌服饰艺术设计的创新方法
大会上的演讲,介绍了从信息技术的角度出发,去探索如何进行敦煌服饰艺术设计的创新方法。如果创新技术将敦煌壁画上面所存在的那些传统美学的这些元素提取出来,将他们融入到服饰的设计当中,那么会产生一些什么样的效果?
4.3、基于 TensorFlow 实现风格迁移
团队一方面是从敦煌壁画的这些图像当中去收集和标记敦煌的服饰数据,同时基于 TensorFlow 的开源技术,来进行模型的搭建和训练,集成了生成对抗网络和风格迁移的模型于一体。
风格迁移技术主要是通过深度学习网络,提取或者读取某一个图片里面的绘画的风格,然后把它迁移到另外的一幅内容图片当中去,从而产生新的图像。上图所展示的就是很著名的梵高的《星空》,团队去提取了这幅图画里面的绘画风格之后,迁移到兰州大学的一些校园场景的图片上面所得到的结果。
五、基于 TensorFlow 的团队项目历程
5.1、构建 DeepFlying 的平台标注数据
团队构建了一个 DeepFlying 的平台,这个平台里面,首先是数据基础,团队自建的敦煌图像的数据集,现在这个里边有 52000 多个的敦煌图像的数据,进行了相应的标注。
根据分享,在对数据集的图片进行标注时,注意以下几个问题:
- 根据需求清晰明确地定义标注任务和标注规则。标注任务和标注规则的定义应该与实际应用场景和需求相符合,且具有可操作性和可测量性。
- 对图片进行质量评估和筛选。图片应该符合标注任务要求,且质量应该足够高,不应该出现模糊、遮挡、光照差等情况。
- 标注人员应该经过专业的培训和认证,熟悉标注任务和标注规则,且对数据集和标注结果要保密。
- 标注时应该准确、一致、完整地标注所有需要标注的信息,避免遗漏和误标。
- 对于标注中出现的问题和矛盾,应该及时沟通并解决。
- 对于标注结果的质量,应该进行检查和评估。可以通过交叉验证、多人标注等方式来评估标注结果的质量。
下图是图片标注的示例,标注的图片是佛像,下方右侧就是敦煌壁画里面的那些古代的人物,下方左侧是标注的动物。
5.2、基于数据基础使用混合模型来训练数据
有了数据以后,研究团队就基于数据基础使用混合模型来训练数据,这个混合模型主要是将生成对抗网络和迁移学习结合到了一起,深层对抗网络的是对 Fashion Minist(这是一个开源的服装图像的数据集)来进行训练去产生一些新的这个服装图案。
然后进一步去通过迁移学习的网络将敦煌的这些图片里面的元素提取出来,然后迁移到、添加到我们前面所生成的这些服装的这个图案上面,从而形成一件具有敦煌风格的服装的设计方案。
5.3、在谷歌支持下开展创新特训营
在围绕着团队工作的同时,在谷歌的支持下,团队还开展了丰富多彩的实训实践和研讨活动,比如下图这是在甘肃省的张掖所开办的面向学生的一个创新特训营,当时是有来自国内外的同学来参加。
下图是这个特训营里面的同学们,他们基于敦煌数据和TensorFlow 生成的一些这个敦煌风格的服装设计作品。
同时团队还开展了包括 TensorFlow 的艺术创作研讨会,以及基于 TensorFlow 的艺术创作师资培训等等。
六、通过新的技术手段实现风格迁移
团队下一步工作就是基于前面能够生成的敦煌风格的服装设计的这个图片或者方案,然后通过三维投影的方式或者三维映射的方式,去产生相应的纹理,让其更真实的去体现出来我们服装的质感。
6.1、基于传统卷积网络的风格迁移
这个里面最重要的仍然是属于就是风格迁移的网络,所以团队现在提出了两个可行的方案,一个就是基于传统卷积网络的风格迁移,具体如下图所示:
基于传统卷积网络的风格迁移是一种利用深度学习技术将两幅图像的内容和风格结合起来的技术。该技术的主要思想是使用深度卷积神经网络来提取图像的内容和风格,并将它们结合在一起生成一张新的图像。
具体来说,该技术的实现步骤为:首先,选取一张“内容图像”和一张“风格图像”,并使用卷积神经网络对它们分别进行特征提取。然后,将这两张图像的特征合并起来,生成一张新的图像。最后,通过对新图像进行反卷积操作,得到最终的风格迁移图像。
在基于传统卷积网络的风格迁移中,常用的卷积神经网络包括 VGG 等。该方法的优点是能够生成高质量的图像,并且能够保留原始图像的一些重要特征。同时,该技术的应用范围较广,可以用于艺术创作、图像修复、视频处理等领域。
6.2、基于生成对抗网络的风格迁移
另外一个就是基于生成对抗网络的风格迁移,有两组这个生成器和和这个判别器,进行相互博弈,最后得到一个合理的风格迁移的结果,具体如下图所示:
基于生成对抗网络(GAN)的风格迁移是一种图像风格迁移算法,通过训练生成对抗网络来实现将一张图像的风格迁移到另一张图像上的目的。它采用两个神经网络,一个生成器网络和一个判别器网络,利用对抗训练的方式不断迭代优化来实现生成具有目标风格的图像。
在训练过程中,生成器网络将输入的一张图像进行变换,使其风格更加接近目标风格,同时判别器网络则负责判断生成的图像是否真实,即是否与目标风格相似。生成器和判别器网络通过对抗学习不断迭代优化,最终生成的图像将具有目标风格的特征,同时保留了原始图像的内容。
与传统的基于优化方法的风格迁移不同,基于 GAN 的风格迁移方法可以生成更加真实、自然的图像,而且对于风格迁移中的一些难点问题(如细节的处理、风格与内容的平衡等)也有更好的处理方式。因此,基于 GAN 的风格迁移已经成为当前计算机视觉领域中的一个重要研究方向。
此外还要进一步考虑,对敦煌服饰特征的提取方法来进行优化,以及结合其他的一些民族服饰特点来扩充,包括数据集等,以及考虑将技术区应用到包括敦煌壁画的保护、修复和文化创意产业中。
总结
敦煌艺术作为中国传统文化的重要组成部分,其艺术价值、历史价值、文化价值和哲学价值具有非常重要的意义,对于我们了解中国传统文化发展历程,探究中国文化的底蕴和深层次内涵有着重要的启示作用。传统文化是人类祖先留给后代的珍贵遗产,通过使用 TensorFlow 等开源技术对文化遗产进行数字化保存,可以让这些文化遗产得以永久保存下来,不再受到时间、环境等因素的破坏,促进文化的传承、普及和发展,为文化多样性的保护和全球共同发展做出贡献。我是白鹿,一个不懈奋斗的程序猿。望本文能对你有所裨益,欢迎大家的一键三连!若有其他问题、建议或者补充可以留言在文章下方,感谢大家的支持!