Diffusion Models专栏文章汇总：入门与实战

The Fabrication of Reality and Fantasy: Scene Generation with LLM-Assisted Prompt Interpretation

本文探讨了如何利用扩散模型生成需要艺术创造力或专业知识的复杂和富有想象力的图像提示。提出了一个新颖的评估框架RealisticFantasy Benchmark (RFBench)，结合现实和幻想场景，旨在提升生成模型对抽象和创造性文本到图像合成的能力。

研究者们提出了Realistic-Fantasy Network (RFNet)，这是一种无需训练的方法，通过将扩散模型与大型语言模型（LLMs）集成，增强了对提示的理解能力。RFNet利用LLM生成图像布局和文本细节，支持逻辑或解释科学数据，并通过语义对齐评估（SAA）确保与场景对象的一致性，从而提高最终图像质量。