背景

大模型推理成本高，训练成本高，百万美金训练一次，全量微调，加载到GPU显存都成本很高，创业公司没法搞，一般的公司想到还没想到用大模型挣钱了，就要这么大投入。基本犹豫就不投入，投入的基本也是弄上AI高大上的概念融资，用投资人的钱去烧。百团大战，打车争霸，那是能看到的挣钱。最终是要从用户身上挣的
大模型呢，openai，Anthropic公司,是TO B 和TO C能挣大钱，那投入国内有一家能顶住吗，没有！BAT们能烧出来扛起大旗不错了，其他都是炮灰。也许有一家像openai的基础模型公司 DeepSeek搞量化的有低成本钱。其余能上十亿百亿烧几年，继续为AGI买单，悬。
小模型是解决之道

GPT-4o mini掀小模型血战

1、小模型7B级别没上千亿的参数的

• Meta llama3.1 7B
• OpenAI带着GPT-4o mini首次入局小模型战场，
• HuggingFace本周接连发布了小模型smlm
• Mistral AI、Mistral-7B。
• 苹果也发布了70亿参数小模型DCLM，性能碾压Mistral-7B。而且数据训练代码全开源，真正的开源不像很多就开源了模型权重。
• 微软 Phi-3.5 最新 体验地址 这是azure AI studio 很多模型可以体验

phi3-mini 平均分66高于其余的小模型，Phi-3 Mini-128K-Instruct has 3.8B parameters 16G的显存就可以部署推理了