0. 引言

EVE (Encoder-free Vision-language model) 是一种创新的多模态 AI 模型，主要特点是去除了传统视觉语言模型中的视觉编码器。

核心创新

架构创新：EVE 采用纯解码器架构，摒弃了常见的视觉编码器-语言解码器结构。这种设计简化了模型架构，同时保持了强大的性能。
效率提升：

数据效率：仅使用 33M 公开可用的图像-文本对进行预训练。
训练效率：使用有限的计算资源（两个 8-A100 节点）在约 9 天内完成训练。

性能表现：在多个视觉语言任务上，EVE-7B 优于同类的 Fuyu-8B 模型，并接近现有的模块化编码器基础的大型视觉语言模型（LVLMs）。
灵活性：能够处理任意纵横比的图像输入。

技术细节

预训练数据：使用从 OpenImages、SAM、LAION 等公开数据集筛选的 33M 数据。
微调数据：

EVE-7B：使用 665K LLaVA SFT 数据。
EVE-7B (HD)：额外使用 1.2M SFT 数据。

基础模型：基于 Vicuna-7B 构建。
训练策略：

LLM 引导的预对齐阶段
生成式预训练阶段
监督微调阶段

评估指标：在 VQAv2、GQA、VizWiz、SQA_I、TextVQA、POPE、MME_P、MMBench、SEED、MM_Vet 等多个基准测试上进行了评估。

意义与展望

模型效率：EVE 展示了如何在不牺牲性能的情况下，大幅提高视觉语言模型的训练和推理效率。
架构创新：为纯解码器多模态架构提供了一种可行且高效的训练策略。
开源贡献：通过开源代码和模型权重，促进了视觉语言模型研究的透明度和可复现性。
未来方向：

整合更多模态到统一的 EVE 网络中。
开发完整的 EVE 系列，包括不同规模的模型和基于更优秀基础模型的版本。

EVE 代表了视觉语言模型研究的一个重要方向，为构建更高效、更通用的多模态 AI 系统提供了新的思路。

1. 快速开始

创建虚拟环境和安装依赖模块，

git clone https://github.com/baaivision/EVE.git
cd EVE
conda create -n eve_envs python=3.10 -y
conda activate eve_envs

pip install --upgrade pip
pip install -e .
# pip install -e ".[train]"
pip install flash-attn --no-build-isolation

下载依赖模型，

mkdir lmsys; cd lmsys
git clone https://huggingface.co/lmsys/vicuna-7b-v1.5

vi google_drive_download.sh

---
#!/bin/bash

# Usage: ./script.sh <Google Drive file ID> <output filename>

# Check if file ID and output filename are provided
if [ $# -ne 2 ]; then
    echo "Usage: $0 <Google Drive file ID> <output filename>"
    exit 1
fi

FILE_ID=$1
OUTPUT_FILE=$2

# Get the download URL
CONFIRM=$(curl -sc /tmp/gcookie "https://drive.google.com/uc?export=download&id=${FILE_ID}" | grep -o 'confirm=[^&]*' | sed 's/confirm=//')
DOWNLOAD_URL="https://drive.google.com/uc?export=download&confirm=${CONFIRM}&id=${FILE_ID}"

# Download the file
curl -Lb /tmp/gcookie "${DOWNLOAD_URL}" -o "${OUTPUT_FILE}"

echo "File downloaded as ${OUTPUT_FILE}"
---

mkdir openai; cd openai

./google_drive_download.sh 1f_mA4owjm0v3awrzPv4LOURz6IzVFVZ6 eve-patch14-anypixel-672.zip; unzip eve-patch14-anypixel-672.zip

./google_drive_download.sh 1V7hz37X7n9s2KmghoQ9bDVHE6J4HuQ7z eve-patch14-anypixel-1344.zip; unzip eve-patch14-anypixel-1344.zip

git clone https://huggingface.co/openai/clip-vit-large-patch14-336

最后目录如下，

2. 运行 Demo

下载测试图片，

wget https://upload.wikimedia.org/wikipedia/commons/thumb/2/29/JAPANPOST-DSC00250.JPG/500px-JAPANPOST-DSC00250.JPG -O sample1.png
wget https://upload.wikimedia.org/wikipedia/commons/thumb/1/1c/Search_and_rescue_at_Unosumai%2C_Kamaishi%2C_-17_Mar._2011_a.jpg/500px-Search_and_rescue_at_Unosumai%2C_Kamaishi%2C_-17_Mar._2011_a.jpg -O sample2.png
wget https://upload.wikimedia.org/wikipedia/commons/thumb/6/60/Policeman_at_Tokyo.jpg/500px-Policeman_at_Tokyo.jpg -O sample3.png

运行 Demo，

CUDA_VISIBLE_DEVICES=3,1,0,2 python tools/app.py

使用浏览器打开 http://localhost:7860 进行访问。

reference: https://github.com/baaivision/EVE