Transformer16 ~Robotics

news2024/9/20 16:58:30

还是Transformer相关 ,谷歌机器人团队等提出了 Robotics Transformer 1 (RT-1)。这是一种多任务模型，可以 tokenize 机器人的输入和输出动作，从而在运行时实现高效推理，使实时控制成为可能。

论文 1：RT-1: Robotics Transformer for Real-World Control at Scale

作者：Anthony Brohan 等
论文地址：https://robotics-transformer.github.io/assets/rt1.pdf

RT-1 模型在包含 130k 个 episode 的大型真实机器人数据集上进行训练，该数据集涵盖了 700 多项任务，使用 Everyday Robots (EDR) 的 13 台机器人在 17 个月内收集而成。数据集中展示的一组高级技能包括拾取和放置物品、打开和关闭抽屉、将物品放入和取出抽屉、将细长的物品直立放置、敲倒物体、拉出餐巾纸和打开罐子。

推荐：轻松完成 700 多条指令、成功率达 97%！谷歌开源机器人领域 transformer。

论文 2：Abstract Visual Reasoning with Tangram Shapes

作者：Anya Ji 等
论文地址：https://arxiv.org/pdf/2211.16492.pdf

摘要：在这篇论文中，康奈尔大学等机构的研究者介绍了「KiloGram」，一个用于研究人类和机器的抽象视觉推理的资源库。KiloGram 在两个方面极大地改进了现有资源。

首先，研究者策划并数字化了 1016 个形状，创造了一个比现有工作中使用的集合大两个数量级的集合。这个集极大地增加了对整个命名变化范围的覆盖，提供了一个关于人类命名行为的更全面的视角。第二，该集合不是把每个七巧板当作一个单一的整体形状，而是当成由原始的拼图碎片构成的矢量图形。这种分解能够对整个形状和它们的部分进行推理。研究者利用这个新的数字化七巧板图形集合来收集大量的文本描述数据，反映了命名行为的高度多样性。

推荐：EMNLP 2022 最佳长论文。

论文 3：Re^3 : Generating Longer Stories With Recursive Reprompting and Revision

作者：Kevin Yang 等
论文地址：https://arxiv.org/pdf/2210.06774.pdf

摘要：在今天的人工智能领域，AI 写作神器层出不穷，技术和产品可谓日新月异。如果说 OpenAI 两年前发布的 GPT-3 在文笔上还稍欠火候，那么前段时间的 ChatGPT 的生成结果可以算是「文笔华丽、情节饱满、逻辑自洽兼而有之」。

有人说，AI 要是动起笔来，那真是没人类什么事了。但不管是人类还是 AI，一旦把「字数要求」提高，文章就会变得更难「驾驭」。近日，华人 AI 研究科学家田渊栋和其他几位研究者最近一起发布了一个新的语言模型——Re^3，这项研究也入选了 EMNLP 2022。

推荐：符合人类创作过程的 AIGC：自动生成长故事的模型出现了。

论文 4：BEAT: A Large-Scale Semantic and Emotional Multi-Modal Dataset for Conversational Gestures Synthesis

作者：Haiyang Liu 等
论文地址：https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136670605.pdf

摘要：华为东京研究所 - Digital Human Lab 与东京大学等合作进行了研究，提出了目前为止最大规模的数字人多模态数据集：BEAT （Body-Expression-Audio-Text），由 76 小时动捕设备采集的谈话数据和语义 - 情感标注组成。原始数据包含肢体和手部动捕数据，AR Kit 标准 52 维面部 blendshape 权重，音频与文本，标注数据包含 8 类情感分类标签，以及动作类型分类和语义相关度打分。

在 BEAT 的基础上提出的新基线模型 CaMN (Cascade-Motion-Network) 采取级联神经网络结构，由 BEAT 中其余三种模态和标注作为输入，在动作生成任务上显著优于现有 SoTA (state-of-the-art) 算法。论文已于 ECCV2022 上发表，数据集已经开源。

推荐：76 小时动捕，最大规模数字人多模态数据集开源。

论文 5：Parameter-Efficient Masking Networks

作者：Yue Bai 等
论文地址：https://arxiv.org/abs/2210.06699

摘要：为了处理更复杂的任务，近年来神经网络的规模也在不断变大，如何高效的储存和传输神经网络变得十分重要。另一方面，随着彩票假说（Lottery Ticket Hypothesis (LTH)）的提出，随机稀疏神经网络最近展现出很强的潜力，如何利用这种潜力来提高网络的存储和传输效率也很值得探索。

美国东北大学和罗切斯特理工的研究者提出参数集约型掩码网络（Parameter-Efficient Masking Networks (PEMN)）。作者首先探索了有限数量随机数生成的随机网络的表征能力。实验表明，即使网络由有限数量的随机数生成，通过选择不同的子网络结构，其依然具有很好的表征能力。文章已被 NeurIPS 2022 接受。代码已开源。

推荐：如何提高存储、传输效率？参数集约型掩码网络效果显著。

论文 6：CLIPVG: Text-Guided Image Manipulation Using Differentiable Vector Graphics

作者：Yiren Song 等
论文地址：https://arxiv.org/abs/2212.02122

摘要：2022 年是人工智能生成内容（AI Generated Content，AIGC）爆发的一年，其中一个热门方向就是通过文字描述（text prompt）来对图片进行编辑。已有方法通常需要依赖在大规模数据集上训练的生成模型，不仅数据采集和训练成本高昂，且会导致模型尺寸较大。这些因素给技术落地于实际开发和应用带来了较高的门槛，限制了 AIGC 的发展和创造力发挥。

针对以上痛点，网易互娱 AI Lab 与上海交通大学合作进行了研究，创新性地提出一套基于可微矢量渲染器的解决方案——CLIPVG，首次实现了在不依赖于任何生成模型的情况下，进行文字引导的图像编辑。该方案巧妙地利用矢量元素的特性对优化过程进行约束，因此不仅能够避免海量数据需求和高昂的训练开销，在生成效果上也达到了最优的水准。论文已被 AAAI 2023 收录。