个人理解：
初赛阶段主要聚焦在如何通过 SFT 提升基础模型的代码能力，需要选手基于最新开源的 Qwen 1.8 模型作为基础模型，上分的关键主要通过收集高质量的代码数据提升模型的在Python, JavaScript, Java, Go, C++, Rust六种编程语言的代码生成能力。
比赛要求采用通义千文模型，因此选手能做的只有微调和数据处理。
微调部分，无非是采用各种tune技术，如prefix-tune,prompt-tune，lora等；数据处理部分则是搜集网络上尽可能相关的数据集，在其上进行finetune。
个人方案
采用了XXXXX数据集，将其从alpha格式改造成了多轮对话模式。
缺点：没有针对性的挑选或改造数据集，没有针对评测数据的特点进行深入研究。举例来说，评测方案里有代码修复的任务，但是自己找的数据集里并没有相关的
第一名方案
初赛：
针对代码修复任务：（构造修复案例，加上改错入口）
通过写prompt让gpt辅助生产数据，主要是对leetcode-rosetta.jsonl、Evol-Instruction-66k、code_alpaca等公开数据集中相关语言的数据进行改造；
每种语言会单独写几个prompt example（覆盖不同的改错类型），给定题目和正确答案，让其把正确答案改为错误，作为fixtests的数据。
同时每条数据会生成对应的declaration、test、entry_point等，并在数据中加上f’Fix bugs in entry_point’的字样，使得构造的数据格式和预测框架更为一致。
针对代码生成任务：（拼接与测试集格式相同的信息）
使用原始数据中content/explanation/instruction等信息生成测试集格式的instruction、prompt、declaration。然后把这些字段信息拼接在一起作为synthesize的sft数据；这样也保证了构造数据的格式和测试集的格式一致
复赛：主要工作还是收集各种相关数据进行清洗和改造
借鉴点：SFT数据对与测试集相似的数据进行过采样；对于英文数据集，可以写prompt让gpt进行翻译
第二名方案
初赛：现在自然语言注释、文本、相关代码的数据集上进行预训练，再在编程训练数据集上进行微调。
利用OSS-INSTRUCT数据进行预训练。OSS-INSTRUCT如何得到的？使用大型语言模型生成，从来开源代码文档，生成符合预先设定的prompt代码数据。【从80K个代码文档中收集了80K个初始种子片段，其中包括40K的Python，以及C++，Java，TypeScript，Shell，C#，Rust，PHP，和Swift各5K。然后，每个收集到的种子代码片段被应用到图2所示的提示模板，一个教师模型将其作为输入，并输出一个代码问题及其解决方案。】
复赛:
收集LeetCode相关的Python语言开源数据，收集LeetCode相关解题思路，用于代码解释
心得：
1.第一步，先研究清楚测试数据是怎么样的
第三名方案
https://tianchi.aliyun.com/forum/post/659773
对数据、模型、框架的讲解都很仔细
初赛：主要还是收集数据，过滤去重，解决了任务不平衡和任务异质性的问题。
