官网:https://openvla.github.io/
现在大模型已经卷到了机器人领域。 在视觉语言模型(VLM)的基础上, 加入机器人的动作(Action) 这一模态, 视觉语言动作大模型(VLA)是目前大模型应用于机器人的流行方法。
在VLA这个领域, 比较著名的工作当数谷歌的RT系列, 有RT-1, RT-2, RT-X等等。 但是RT系列没有开源代码, 想要复现还是有难度的。 最重要的是, 没有提供fine-tune的方法, 无法根据自己的需要进行微调。
OpenVLA有两大显著优势:
- 1 开源
- 2 可以进行高效fine-tune