Mistral AI 发布 Codestral-22B，精通 80+ 编程语言，22B 参数超越 70B Code Llama

news2024/10/23 12:35:18

前言

大型语言模型 (LLM) 在代码生成领域展现出巨大的潜力，但现有的模型在支持的编程语言数量、生成速度和代码质量方面仍存在局限性。法国 AI 独角兽 Mistral AI 近期发布了其首款代码生成模型 Codestral-22B，宣称在多项指标上超越了 GPT-4 和 Llama3，并凭借其出色的性能和 80 多种编程语言的支持，成为了开源代码大模型的新王者。

Huggingface模型下载：https://huggingface.co/mistralai/Codestral-22B-v0.1
AI快站模型免费加速下载：https://aifasthub.com/models/mistralai

技术特点

Codestral-22B 是一个专为代码生成任务设计的开放式生成 AI 模型，它基于 Mistral AI 自主研发的 Transformer 架构，并融合了以下技术特点：

广泛的语言支持: Codestral-22B 经过训练，可以理解和生成 80 多种编程语言，涵盖了 Python、Java、C、C++、JavaScript、Bash 等流行语言，以及 Fortran、COBOL 等比较冷门的语言。这使得 Codestral 能够在各种编码环境和项目中为开发人员提供帮助。
高效的生成速度: Codestral-22B 的生成速度超越了 GPT-4 和 Llama3，能够在数秒内生成复杂的代码。例如，Codestral 可以仅用 3 秒钟构建一个带有顶部 banner 和侧边栏的 HTML 框架，这在代码生成领域是一个巨大的进步。

强大的代码理解能力: Codestral-22B 具备强大的代码理解能力，可以分析和理解各种代码结构和逻辑，并生成符合用户需求的代码。它能够进行代码重构、代码补全、代码翻译等操作，帮助开发者更高效地完成编程任务。
长上下文窗口: Codestral-22B 拥有 32k 的上下文窗口，显著大于其他模型的 4k、8k 或 16k 的窗口长度，这使得它能够处理更复杂的代码和更长的代码片段。

开放性: Codestral 遵循 Mistral AI 的 Non-Production License，允许研究和测试用途，但禁止商业化使用。用户可以从 HuggingFace 上免费下载和使用该模型。

性能表现

Codestral-22B 在代码生成任务中展现出优异的性能，具体表现在以下方面：

Python 代码生成: 在 HumanEval pass@1、MBPP sanitised pass@1、CruxEval 和 RepoBench 等 Python 代码生成基准测试中，Codestral-22B 都取得了领先优势，全面超越了 Llama 3 和 Code Llama。
SQL 代码生成: 在针对 SQL 的 Spider 测试中，Codestral-22B 的表现也与通用模型 Llama3 十分接近。

其他编程语言: 在包括 C++、bash、Java、PHP、Typescript 和 C# 在内的其他六种编程语言中，Codestral-22B 的平均成绩也小幅超过了 Llama3，与 Code Llama 相比优势更加明显。
代码补全 (FIM): Codestral-22B 在代码片段中间有缺失的情况下能够成功地进行补全。在 Python、JavaScript 和 Java 中，Codestral-22B 都取得了接近或超过 90% 的 HumanEvalFIM 评分，平均成绩为 91.6%，超过了参数量更大的 DeepSeek Coder 33B。