每日学术速递5.17

news2024/9/22 1:36:41

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

Subjects: cs.CV

1.HACK: Learning a Parametric Head and Neck Model for High-fidelity Animation

标题：HACK：学习用于高保真动画的参数化头颈模型

作者：Longwen Zhang, Zijun Zhao, Xinzhou Cong, Qixuan Zhang, Shuqi Gu, Yuchong Gao, Rui Zheng, Wei Yang, Lan Xu, Jingyi Yu

文章链接：https://arxiv.org/abs/2305.04469

项目代码：https://github.com/ZoneLikeWonderland/HACK-Model

摘要：

在为数字人类开发参数化模型方面取得了重大进展，各种方法都集中在人体、手或脸等部位。然而，在这些模型中，颈部等连接器被忽略了，丰富的解剖学先验知识往往未被利用。在本文中，我们介绍了 HACK（Head-And-neCK），这是一种用于构建数字人类头部和颈部区域的新型参数化模型。我们的模型试图解开颈部和喉部运动、面部表情和外观变化的全方位，提供个性化和解剖学上一致的控制，尤其是颈部区域。为了构建我们的 HACK 模型，我们获取了各种面部表情下头部和颈部的综合多模态数据集。我们采用 3D 超声成像方案来提取内部生物力学结构，即颈椎七块椎骨的精确 3D 旋转信息。然后，我们采用多视图光度法来捕捉不同对象的几何形状和基于物理的纹理，这些对象表现出各种静态表情以及连续的头颈运动。使用多模态数据集，我们通过将 3D 头部和颈部描绘从中性表情和其余骨骼姿势分离为各种形状、姿势、表情和喉部混合形状来训练参数化 HACK 模型。我们为颈部区域采用解剖学上一致的骨骼设计，并将表情与面部动作单元相关联，以实现艺术家友好的控制。HACK 将头部和颈部视为一个统一的实体，提供更准确和更具表现力的控制，具有更高的真实度，尤其是颈部区域。这种方法对众多应用具有显着优势，并支持头部和颈部之间的相互关联分析，以实现细粒度运动合成和传输。

Subjects: cs.CL

2.Language models can generate molecules, materials, and protein binding sites directly in three dimensions as XYZ, CIF, and PDB files

标题：语言模型可以直接在三个维度生成分子、材料和蛋白质结合位点作为 XYZ、CIF 和 PDB 文件

作者：Daniel Flam-Shepherd, Alán Aspuru-Guzik

文章链接：https://arxiv.org/abs/2305.05708

摘要：

语言模型是分子设计的强大工具。目前，占主导地位的范例是将分子图解析为可以轻松训练的线性字符串表示。这种方法非常成功，但是，它仅限于可以用图表完全表示的化学结构——如有机分子——而材料和生物分子结构如蛋白质结合位点需要更完整的表示，包括相对定位他们在太空中的原子。在这项工作中，我们展示了语言模型如何在没有任何架构修改的情况下使用下一个标记预测进行训练——如何从各种实质上不同的化学结构分布中在三个维度上生成新颖且有效的结构。特别是，我们证明了直接在直接从化学文件格式（如 XYZ 文件、晶体信息文件 (CIF) 或蛋白质数据库文件 (PDB)）派生的序列上训练的语言模型可以直接生成三种分子、晶体和蛋白质结合位点方面。此外，尽管接受了化学文件序列的训练——语言模型的性能仍可与使用图形和图形派生字符串表示的最先进模型以及其他特定领域的 3D 生成模型相媲美。在这样做的过程中，我们证明了没有必要使用简化的分子表示来训练化学语言模型——它们是强大的生成模型，能够直接在三个维度上探索非常不同结构的化学空间。