谢谢微软，又又又Open了！一口气发布3款Phi-3.5新模型，领先Llama3.1和谷歌同级模型

news2024/9/19 10:44:52

家人们！微软又用爱发电了！一觉醒来，微软发布了最新的小模型三兄弟：

Phi-3.5-MoE-instruct
Phi-3.5-mini-instruct
Phi-3.5-vision-instruct

三兄弟的表现可以说是相当的不错，其中，Phi-3.5-MoE 在基准测试中击败了 Llama 3.1 8B、Mistral-Nemo-12B，Gemini 1.5 Flash。在推理能力方面它也优于其他一些较大的模型，仅落后于 GPT-4o-mini，直接分分钟登顶同级模型！

真不错呀！让奶茶带大家看一下！

不同用途不同选择！

三个Phi 3.5模型有不同的专长！

Phi-3.5 MoE - 微软专家大集合

大哥Phi-3.5 MoE 是一个混合专家模型，将多个不同的模型类型组合成一个，其中每个模型类型专门从事不同的任务。该模型有420亿个活动参数的架构，支持128k token上下文长度。

划重点：

6.6B 活动参数（总参数42B）
128K 上下文、多语言和相同分词器
在 4.9T tokens 上进行训练
使用 512 张 H100 进行训练（23 天）

为了在各种推理任务中脱颖而出，Phi-3.5 MoE在代码、数学和多语言理解方面提供了强大的性能，基准测试中通表现都很好，在5个单项的MMLU(大规模多任务语言理解)测试中，它也击败了gpt-4o mini！

在长文本上超越了明显优于仅支持8K上下文长度的Gemma-2系列，与其他更大更强的开源模型如Llama-3.1-8B-instruct和Mistral-Nemo-12B-instruct-2407也可以一比，而且已经比GPT-4o好了！

总的来说，只有6.6B活动参数的Phi-3.5-MoE实现了与更大模型相似的语言理解和数学水平。但是，对于某些任务，它仍然受到其大小的根本上限制，因为，该模型根本不具备存储太多事实知识的能力，作者指出，这个弱点可以通过使用搜索引擎来解决，特别是在RAG设置下使用该模型时。

模型开源地址：
https://huggingface.co/microsoft/Phi-3.5-MoE-instruct

Phi 3.5 mini - 针对计算受限的环境进行了优化

二哥Phi-3.5 Mini Instruct主打一个轻量级！一共有38亿参数，专为遵守指令而设计，并支持128k token上下文长度。非常适合在受限的环境中使用！Phi3.5 Mini Instruct模型虽然小巧，但在多语言和多轮对话任务中表现出色，相较其前代有了显著提升。它在多个基准测试中的性能接近最先进水平，尤其在RepoQA测试中超越了其他同类模型（如Llama-3.1-8b-instruct和Mistral-7b-instruct）。

划重点：

3.8B参数，击败Llama3.1 8B和Mistral 7B
多语言和 32K 词汇的分词器
在 3.4T tokens 上进行训练
使用 512 张 H100 进行训练（只需要10 天！）

▲在多语言MMLU、MEGA和多语言MMLU-pro数据集上的多语言能力。总的来说，即使只有38 b的活动参数，与其他具有更大活动参数的模型相比，该模型在多语言任务上是比较出色！

▲RepoQA基准测试遥遥领先

模型开源地址：
https://huggingface.co/microsoft/Phi-3.5-mini-instruct

Phi-3.5 Vision Instruct - 高级多模态推理

三弟Phi-3.5 Vision Instruct是一款融合文本与图像处理能力的视觉指令模型。与同系列其他型号类似，它支持128k token的上下文长度，能够处理复杂的多帧视觉任务。

微软指出，该模型采用经过筛选的公开数据集进行训练，增强了模型的多帧图像理解和推理能力。主要功能包括详细的图像对比、多图总结与叙事，以及视频摘要，侧重于高质量和推理密集型数据。

划重点：

4.2B 参数，在部分基准测试上击败了GPT-4o（不是mini！！！）
使用 500B tokens 进行训练
使用 256 张 A100 进行训练（6 天）
专注于TextVQA + ScienceVQA

▲采用了BLINK基准测试，包含14个视觉任务，总体而言，模型在相同尺寸下普遍优于竞争对手，并在多帧能力和视频摘要方面与更大的模型竞争。

模型开源地址：
https://huggingface.co/microsoft/Phi-3.5-vision-Instruct

怎么训练？

给大家搬运下官方的训练步骤！我们以大哥Phi-3.5-MoE-instruct 的训练为例，Phi-3.5系列模型都集成到 transformers 的官方版本中，官方版本后续也通过 pip 发布：

加载模型时，确保在 from_pretrained() 函数中传递 trust_remote_code=True 作为参数。可以通过以下命令验证当前的 transformers 版本：

pip list | grep transformers。

安装所需软件包示例：

flash_attn==2.5.8
torch==2.3.1
accelerate==0.31.0
transformers==4.43.0

分词器

Phi-3.5-MoE-Instruct 支持最多 32064 个 token 的词汇量,分词器文件已经提供了可以用于下游微调的占位符 token，可以扩展到模型的最大词汇量。

输入格式

鉴于训练数据的特性，Phi-3.5-MoE-instruct 模型最适合使用以下聊天格式的提示：

本地加载模型在获得 Phi-3.5-MoE-instruct 模型检查点后，用户可以使用以下示例代码进行推理。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline 

torch.random.manual_seed(0) 

model = AutoModelForCausalLM.from_pretrained( 
    "microsoft/Phi-3.5-MoE-instruct",  
    device_map="cuda",  
    torch_dtype="auto",  
    trust_remote_code=True,  
) 

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-MoE-instruct") 

messages = [ 
    {"role": "system", "content": "You are a helpful AI assistant."}, 
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"}, 
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."}, 
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"}, 
] 

pipe = pipeline( 
    "text-generation", 
    model=model, 
    tokenizer=tokenizer, 
) 

generation_args = { 
    "max_new_tokens": 500, 
    "return_full_text": False, 
    "temperature": 0.0, 
    "do_sample": False, 
} 

output = pipe(messages, **generation_args) 
print(output[0]['generated_text'])