清华、北大与微软推出Glyph-ByT5-v2，精准生成文字海报，支持10种语言，效果炸裂

news2024/12/27 21:47:05

前言

在 AI 领域，文生图技术已经取得了令人惊叹的进展，但如何将文字精准地融入图像，并支持多种语言，一直是研究人员面临的挑战。为了解决这一难题，清华大学、北京大学和微软亚洲研究院的研究人员合作推出了 Glyph-ByT5-v2，这是一个功能强大的定制多语言文本编码器，可以支持 10 种不同语言的精准视觉文本渲染。Glyph-ByT5-v2 的出现，为设计师、开发者以及普通用户提供了一个强大的工具，加速文生图技术的普及和应用，为更广泛的领域带来更智能、更便捷的设计体验。

Huggingface模型下载：https://huggingface.co/GlyphByT5/Glyph-SDXL-v2
AI快站模型免费加速下载：https://aifasthub.com/models/GlyphByT5

技术特点

Glyph-ByT5-v2 采用了多项技术创新，使其在性能和功能上取得了重大突破：

多语言支持： Glyph-ByT5-v2 支持 10 种语言，包括英语、法语、西班牙语、德语、葡萄牙语、意大利语、俄语、中文、日语和韩语。为了实现这一目标，研究团队构建了包含 100 多万个字形文本对和 1000 万个图形设计图像文本对的多语言数据集，涵盖了上述 10 种语言。Glyph-ByT5-v2 的训练数据集规模远超其他多语言文生图模型，例如 AnyText 仅使用了 10,000 张图像来训练 5 种不同语言，这对于处理复杂的汉字、日文和韩文来说远远不够。
高质量数据集： 为了构建高质量的多语言数据集，研究人员采用了基于翻译的方法。他们首先利用图形渲染器生成了高质量的英语字形文本数据集，然后将其转换为其他语言的字形文本和图像。为了确保不同语言之间字形图像和图形设计图像的质量一致，研究人员在转换过程中保持了字符数量的接近。
步骤感知偏好学习： 为了提升视觉美学质量，Glyph-ByT5-v2 采用了最新的步骤感知偏好学习方法（Step-Aware Preference Optimization，SPO），对模型进行后训练优化。SPO 的核心思想是在模型训练过程中，根据人类对生成结果的偏好进行调整，从而提升模型的审美能力。研究团队发现，使用 SPO 对 SDXL 进行微调，能够显著提升生成图像的视觉美学效果。
区域式多头交叉注意力： Glyph-ByT5-v2 采用了区域式多头交叉注意力机制，可以更有效地将文本信息映射到图像空间中不同的位置，从而实现更精准的视觉文本渲染。它通过将图像分成多个区域，并针对不同的区域使用不同的文本编码器进行信息映射，从而提升文本渲染的精度和效率。

性能表现

Glyph-ByT5-v2 在多个方面展现出优异的性能：

精准的视觉文本渲染： Glyph-ByT5-v2 在多语言视觉文本渲染任务中展现出极高的准确性。在对 10 种语言的测试中，Glyph-ByT5-v2 的单词级精度（对于字母语言）和字符级精度（对于基于字符的语言）都取得了优异的表现，尤其是在处理 50-100 个字符的文本时，其精度仍然保持在 85% 以上。
出色的视觉美学： 通过步骤感知偏好学习方法的优化，Glyph-ByT5-v2 生成的图像具有更高的视觉美学质量，更符合人类审美标准。在用户研究中，Glyph-ByT5-v2 在视觉美学方面被评判为优于之前的 Glyph-SDXL，以及 DALL-E3 等商业模型。
超越现有模型： Glyph-ByT5-v2 在多个测试中超越了 DALL-E3 和 Ideogram 1.0 等现有模型，展现出其在多语言视觉文本渲染方面的领先优势。研究人员构建了名为“多语言 VISUALPARAGRAPHY”的基准测试，测试了不同模型在不同语言上的视觉文本渲染能力。结果表明，Glyph-ByT5-v2 在大多数情况下都优于 DALL-E3。