WordArt Designer：基于用户驱动与大语言模型的艺术字生成

news2024/10/5 18:27:22

AIGC推荐

FaceChain人物写真开源项目，支持风格与穿着自定义，登顶github趋势榜首！

前言

本文介绍了一个基于用户驱动，依赖于大型语言模型(LLMs)的艺术字生成框架，WordArt Designer。

该系统包含四个关键模块:LLM引擎、SemTypo、Stlytypo和TextTypo模块。由gpt-3.5 turbo驱动的LLM引擎可以解释用户输入，并为其他模块生成可操作的提示，从而将抽象概念转化为有形的设计。SemTypo模块使用语义概念优化字体设计，在艺术转换和可读性之间取得平衡。在SemTypo模块提供的语义布局的基础上，StyTypo模块辅助生成平滑、精细的图像。TextTypo模块通过纹理渲染进一步增强了设计的美观性，能够生成创造性的纹理字体。值得注意的是，WordArt Designer已经成功地在一个主要的电子商务平台实施，用于创建横幅和海报，这体现了人工智能在增强艺术字体排版方面的潜力。

图 1. WordArt Designer 交互原理示意图

艺术字设计是语言和设计的一个关键交叉点，在广告、幼儿教育和历史旅游等各个领域都有广泛的应用。遗憾的是，对于非专业的设计师来说，掌握艺术字设计仍然是一个非常挑战的任务。尽管之前已经有研究工作尝试弥合业余设计师和专业艺术字设计师之间的差距，但现有的解决方案主要是在预定义的概念中生成语义连贯和视觉上令人愉悦的艺术字。这些解决方案通常缺乏适应性、创造性和计算效率。

图2. 由WordArt Designer生成的抽象艺术排版示例。这些实例证明了系统产生美观、语义连贯和风格多样的排版设计的能力。

方法

WordArt Designer 系统利用各种排版合成模块，由大型语言模型(LLM)推动，如GPT 3/4，促进交互式，以用户为中心的设计过程。如图1所示，用户定义他们的设计需求，包括设计概念和领域，例如，“珠宝设计中的猫”。LLM引擎解释输入，生成提示以指导SemTypo、stytypo和TextTypo模块，从而执行用户的设计愿景。为了实现WordArt的自动化设计，我们引入了一个质量评估反馈机制，这是成功合成的关键。排序模型的输出由LLM引擎评估，以验证合成图像的质量，确保创建至少K个合格的语义变换。如果不满足这个条件，LLM引擎以及SemTypo和stytypo模块和格式指令将重新启动，以进行另一个设计迭代。后续部分将深入研究每个模块的功能和操作的细节。