“ 探索 Llama 2 背后的过程，包括了模型的全面解析，在线体验，微调，部署等，这份资源汇总将带您深入了解其内涵。”
01
—
周二发布了文章《中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用》后，不少朋友们对开源模型LLaMA2比较感兴趣。
LLaMA 2 是 Meta 开发的大型语言模型，是 LLaMA 1 的后续版本。LLaMA 2 可通过 AWS、Hugging Face 等平台提供商获得，并免费用于研究和商业用途。
LLaMA 2 预训练模型在 2 万亿个标记上进行训练，上下文长度是 LLaMA 1 的两倍。它的微调模型已经接受了超过 100 万个人工注释的训练。
Meta 的LLaMA2官方网站地址
https: //ai.meta.com/llama/
与 LLaMA 1 相比，新的改进包括：
在 2 万亿个标记的文本数据上进行训练
允许商业使用
默认使用 4096 个前后文本视野
70B 模型采用了分组查询注意力（GQA）
可以在 Hugging Face Hub 上直接获取（https://hf.co/models?other=llama-2）
推荐朋友们先看看官方的模型使用手册
https://ai.meta.com/static-resource/responsible-use-guide/
02
—
在线体验
朋友们可以在下面几个在线网址，用对话的方式体验已经部署好的LLaMA2，不过，回复基本是英文，即使强制它使用中文回答，或者将回复翻译成中文，效果也不尽如人意。
HuggingChat 上的 Llama 2 70B
https://hf.co/chat
Perplexity 的地址
https://llama.perplexity.ai/
03
—
Llama 2 是一个基于公开可获取网络数据训练的基础大语言模型。同时，Meta 公布了其对话模型 - Chat 版本。
初始的Chat模型是SFT（有监督调优）模型。随后，LLaMA-2-chat 通过人类反馈强化学习（RLHF）逐步演化。在RLHF过程中，采用了拒绝采样和近端策略优化（PPO）等技术，对聊天机器人进行进一步调优。
目前，Meta 仅公开了RLHF模型的最新版本（v5）。下面有一些资料是关于Llama 2的研究。
Llama 2: 描述了 Llama 2-Chat 的微调和安全改进方法
https://arxiv.org/abs/2307.09288
对开源大语言模型Llama 2的分析
https://www.interconnects.ai/p/llama-2-from-meta
Llama 2 的全面拆解
https://www.youtube.com/watch?v=zJBpRn2zTco
模型评测
Meta 声称“Llama 2 在许多外部基准测试上都优于其他开源语言模型，包括推理、编码、熟练程度和知识测试”。
Hugging Face 开源大语言模型排行榜
https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard
Meta 官方网站
https://ai.meta.com/llama/
看了一下，这个只是对国外的开源模型的对比，没有国内中文的模型，也没有闭源的ChatGPT，Bard，Claude。
怎么和 LLaMA 2 聊天
Llama 2 Chat 是一个可开源的对话模型。要与 Llama 2 Chat 进行有效互动，用户需要提供适当的提示词，以获得合乎逻辑且有帮助的回复。Meta 并未选择最简单的提示词结构（不知道缘由）。
以下是单轮和多轮对话的提示词样式。
单轮对话
<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_message }} [/INST]多轮对话
<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_msg_1 }} [/INST] {{ model_answer_1 }} </s><s>[INST] {{ user_msg_2 }} [/INST] {{ model_answer_2 }} </s><s>[INST] {{ user_msg_3 }} [/INST]下面是关于提示词更详细的说明
Llama 2 论文
https://hf.co/papers/2307.09288
Llama 2 提示词模板
https://gpus.llm-utils.org/llama-2-prompt-template/
如何训练 LLaMA 2
LLaMA 2 是开源的模型，所以我们可以使用 PEFT 等技术进行微调。有大量学习资源可用于训练自己的 LLaMA 2 版本：
扩展指引：指令微调 Llama 2
https://www.philschmid.de/instruction-tune-llama-2
在 Amazon SageMaker 上微调 Llama 2 (7-70B)
https://www.philschmid.de/sagemaker-llama2-qlora
使用 PEFT 技术微调
https://hf.co/blog/zh/llama2#fine-tuning-with-peft
Meta 提供的 Llama 模型示例以及方案
https://github.com/facebookresearch/llama-recipes/tree/main
在本地机器上微调 LLAMA-v2 最简单的方法！
https://www.youtube.com/watch?v=3fsn19OI_C8
如何部署 LLaMA 2
LLaMA 2 可以部署在本地环境（参考：llama.cpp），使用Hugging Face Inference Endpoints等托管服务部署，或通过 AWS、Google Cloud 和 Microsoft Azure 等云平台。
llama.cpp
https://github.com/ggerganov/llama.cpp
使用文本生成接口与推理终端来部署 LLama 2
https://hf.co/blog/llama2#using-text-generation-inference-and-inference-endpoints
使用 Amazon SageMaker 部署 LLaMA 2 70B
https://www.philschmid.de/sagemaker-llama-llm
在 Mac （M1/M2）上通过 GPU 接口来本地部署 Llama-2-13B-chat
https://gist.github.com/adrienbrault/b76631c56c736def9bc1bc2167b5d129
原文地址（英文）：
https://www.philschmid.de/llama-2
阅读推荐：
OpenAI又推新：使用ChatGPT进行内容审核
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
OpenAI 或于 2024 年底破产？外媒也这么爱标题党
LLama2详细解读 | Meta开源之光LLama2是如何追上ChatGPT的？
ChatGPT 的“自定义”功能对免费用户开放，在问题信息不足情况下还会反问来获取必要信息
ChatGLM团队发布AI Agent能力评测工具AgentBench：GPT-4一骑绝尘，开源模型表现非常糟糕！
ChatGPT 微信助手上线！问答更便捷，功能持续升级中。
拥抱未来，学习 AI 技能！关注我，免费领取 AI 学习资源。
