一 原理

图解大模型计算加速系列之：vLLM核心技术PagedAttention原理 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/691038809

二 源码分析

1 测试参数设置

    test_paged_attention(
        num_seqs=32,
        num_heads=(64, 64),
        head_size=64,
        block_size=16,
        dtype=torch.float16,
        seed=1,
        device="cuda:0",
    )