零基础入门大模型技术竞赛

简介：

本次学习是 Datawhale 2024 年 AI 夏令营第一期，学习活动基于讯飞开放平台“基于星火大模型的群聊对话分角色要素提取挑战赛”开展实践学习。

• 适合想 入门并实践大模型 API 开发、了解如何微调大模型的学习者参与

• 快来跟着教程的节奏，拿下你的第一个 “基于星火大模型的群聊对话分角色要素提取挑战赛” 分数！

Step1：报名赛事！(点击即可跳转)

赛事链接：2024 iFLYTEK AI开发者大赛-讯飞开放平台2024 iFLYTEK AI开发者大赛-讯飞开放平台https://challenge.xfyun.cn/h5/detail?type=role-element-extraction&ch=dw24_y0SCtd

登陆后点击报名。

Step2：申领大模型API！(点击即可跳转)

链接：https://console.xfyun.cn/app/myapp

 官方会在报名成功后，立即发放星火大模型 Spark Max的 API 额度助力我们完成赛事

拿到的信息格式形如：

APPID：455*****

APISecret：Nz******Iz

APIKey：a8d******9f

Step3：30 分钟体验一站式 baseline！（点击即可跳转）

项目链接：https://aistudio.baidu.com/projectdetail/8095619

• 下载 output.json 文件，上传到比赛链接，提交结果。

• 赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果，其中训练数据129条，测试数据 55条。按照各类字段提取的难易程度，共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下：

• 序号	字段名称	是否单值	是否可为空	难度分数	答案是否唯一
  1	基本信息-姓名	是	是	1	是
  2	基本信息-手机号码	是	是	1	是
  3	基本信息-邮箱	是	是	1	是
  4	基本信息-地区	是	是	1	是
  5	基本信息-详细地址	是	是	1	是
  6	基本信息-性别	是	是	1	是
  7	基本信息-年龄	是	是	1	是
  8	基本信息-生日	是	是	1	是
  9	咨询类型	否	是	2	是
  10	意向产品	否	是	3	是
  11	购买异议点	否	是	3	是
  12	客户预算-预算是否充足	是	是	2	是
  13	客户预算-总体预算金额	是	是	2	是
  14	客户预算-预算明细	是	是	3	否
  15	竞品信息	是	是	2	是
  16	客户是否有意向	是	是	1	是
  17	客户是否有卡点	是	是	1	是
  18	客户购买阶段	是	是	2	是
  19	下一步跟进计划-参与人	否	是	2	是
  20	下一步跟进计划-时间点	是	是	2	是
  21	下一步跟进计划-具体事项	是	是	3	否

  备注:

  1）可为空的字段，当判定无相应信息、无法做出判断等情况，统一取值为空字符串

  2）对于非单值字段，请使用list来表示

评价指标

测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:

1）对于答案唯一字段，将使用完全匹配的方式计算提取是否正确，提取正确得到相应分数，否则为0分

2）对于答案不唯一字段，将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数，最终该字段得分为 “匹配分数 * 该字段难度分数”

每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。

我们 Baseline 选择使用大语言模型抽取的思路。

思考：如何让大语言模型理解我们的任务？

在使用大语言模型时，应该对需要完成的任务做一个规划整理。制定一个思考路线。比如我们信息抽取时，应该先理解群聊信息，然后定义抽取的内容，接着限定输出内容，最后将整理好的要求及待处理内容以promopt的形式交给大语言模型。

思考：如何规范抽取的输出？

1. 定义规范的结构

2. 明确抽取的数据格式

3. 提前准备标准数据模版，将抽取到的数据匹配填充

4. 对空值制定处理方案