Datawhale - 角色要素提取竞赛

文章目录

赛题要求
一、赛事背景
二、赛事任务
三、评审规则
- 1.平台说明
- 2.数据说明
- 3.评估指标
- 4.评测及排行
四、作品提交要求
五、运行Baseline
- Step1：下载相关库
- Step2：配置导入
- Step3：模型测试
- Step4：数据读取
- Step5：Prompt设计
- Step6：主函数启动
- Step7：生成提交文件
- Step8：下载 output.json 文件
六、补充
- -- 应用的库
- - --- tqdm
  - --- json

赛题要求

一、赛事背景

在当今数字化时代，企业积累了丰富的对话数据，这些数据不仅是客户与企业之间交流的记录，更是隐藏着宝贵信息的宝库。在这个背景下，群聊对话分角色要素提取成为了企业营销和服务的一项重要策略。

群聊对话分角色要素提取的理念是基于企业对话数据的深度分析和挖掘。通过对群聊对话数据进行分析，企业可以更好地理解客户的需求、兴趣和行为模式，从而精准地把握客户的需求和心理，提供更加个性化和优质的服务。这不仅有助于企业更好地满足客户的需求，提升客户满意度，还可以为企业带来更多的商业价值和竞争优势。

群聊对话分角色要素提取的研究，将企业对话数据转化为可用的信息和智能的洞察，为企业营销和服务提供了新的思路和方法。通过挖掘对话数据中隐藏的客户行为特征和趋势，企业可以更加精准地进行客户定位、推广营销和产品服务，实现营销效果的最大化和客户价值的最大化。这将为企业带来更广阔的发展空间和更持续的竞争优势。

二、赛事任务

从给定的<客服>与<客户>的群聊对话中, 提取出指定的字段信息，待提取的全部字段见下数据说明。

三、评审规则

1.平台说明

参赛选手需基于讯飞星火大模型V3.5完成任务。允许使用大模型微调的方式进行信息抽取, 但微调的基座模型仅限星火大模型。

关于星火V3.5资源，组委会将为报名参赛选手统一发放API资源福利，选手用个人参赛账号登录讯飞开放平台：https://www.xfyun.cn/ ，前往控制台中查看使用。关于微调训练资源，选手用参赛账户登陆大模型训练平台（ https://training.xfyun.cn/overview ），可领取本次比赛的训练资源福利。

2.数据说明

赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果，其中训练数据129条，测试数据 55条。按照各类字段提取的难易程度，共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下:

序号	字段名称	是否单值	是否可为空	难度分数	答案是否唯一
1	基本信息-姓名	是	是	1	是
2	基本信息-手机号码	是	是	1	是
3	基本信息-邮箱	是	是	1	是
4	基本信息-地区	是	是	1	是
5	基本信息-详细地址	是	是	1	是
6	基本信息-性别	是	是	1	是
7	基本信息-年龄	是	是	1	是
8	基本信息-生日	是	是	1	是
9	咨询类型	否	是	2	是
10	意向产品	否	是	3	是
11	购买异议点	否	是	3	是
12	客户预算-预算是否充足	是	是	2	是
13	客户预算-总体预算金额	是	是	2	是
14	客户预算-预算明细	是	是	3	否
15	竞品信息	是	是	2	是
16	客户是否有意向	是	是	1	是
17	客户是否有卡点	是	是	1	是
18	客户购买阶段	是	是	2	是
19	下一步跟进计划-参与人	否	是	2	是
20	下一步跟进计划-时间点	是	是	2	是
21	下一步跟进计划-具体事项	是	是	3	否

备注:

1）可为空的字段，当判定无相应信息、无法做出判断等情况，统一取值为空字符串

2）对于非单值字段，请使用list来表示

3.评估指标

测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:

1）对于答案唯一字段，将使用完全匹配的方式计算提取是否正确，提取正确得到相应分数，否则为0分

2）对于答案不唯一字段，将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数，最终该字段得分为 “匹配分数 * 该字段难度分数”

每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。

4.评测及排行

1）本赛题均提供下载数据，选手在本地进行算法调试，在比赛页面提交结果。

2）排行按照得分从高到低排序，排行榜将选择团队的历史最优成绩进行排名。

四、作品提交要求

1、文件格式：按照 json格式提交

2、文件大小：无要求

3、提交次数限制：每支队伍每天最多3次

4、文件详细说明：编码为UTF-8，具体格式参考提交示例

5、关于大模型的使用说明&限制。

• 如果使用大模型进行信息抽取, 本次仅限使用星火大模型。

• 为了排除人工校验、修正等作弊方式，本次比赛除了提交答案之外，排行榜前3名选手需要提供完整的源代码进行审核，要求抽取的结果必须可以准确复现。

• 注：排行榜前3名有审核不通过现象时，依次按得分顺延。满分36分，原则上最终入围决赛三甲得分不得低于20分。

• 允许使用大模型微调的方式进行信息抽取, 微调的基座模型仅限星火大模型。

五、运行Baseline

项目链接 ：基于星火大模型的群聊对话分角色要素提取挑战-baseline - 飞桨AI Studio星河社区 (baidu.com)

进入之后在 探索 -> 项目大厅 中进入该页面，点击 运行一下

选择运行环境后，点击确定

出现图示启动成功，单击 进入

进入界面后可以直接操作运行

Step1：下载相关库

!pip install --upgrade -q spark_ai_python

注意：此处的 ! 为jupyter notebook 形式的魔法命令

Step2：配置导入

from sparkai.llm.llm import ChatSparkLLM, ChunkPrintHandler

from sparkai.core.messages import ChatMessage

import json

  
  

#星火认知大模型Spark3.5 Max的URL值，其他版本大模型URL值请前往文档（https://www.xfyun.cn/doc/spark/Web.html）查看

SPARKAI_URL = 'wss://spark-api.xf-yun.com/v3.5/chat'

#星火认知大模型调用秘钥信息，请前往讯飞开放平台控制台（https://console.xfyun.cn/services/bm35）查看

SPARKAI_APP_ID = ''

SPARKAI_API_SECRET = ''

SPARKAI_API_KEY = ''

#星火认知大模型Spark3.5 Max的domain值，其他版本大模型domain值请前往文档（https://www.xfyun.cn/doc/spark/Web.html）查看

SPARKAI_DOMAIN = 'generalv3.5'

在此处设置调用星火大模型的基础信息

Step3：模型测试

def get_completions(text):

    messages = [ChatMessage(

        role="user",

        content=text

    )]

    spark = ChatSparkLLM(

        spark_api_url=SPARKAI_URL,

        spark_app_id=SPARKAI_APP_ID,

        spark_api_key=SPARKAI_API_KEY,

        spark_api_secret=SPARKAI_API_SECRET,

        spark_llm_domain=SPARKAI_DOMAIN,

        streaming=False,

    )

    handler = ChunkPrintHandler()

    a = spark.generate([messages], callbacks=[handler])

    return a.generations[0][0].text

  

# 测试模型配置是否正确

text = "你好"

get_completions(text)

该处使用代码的形式构建了大模型的问答处理功能，比较简单，只有text一个参数

Step4：数据读取

def read_json(json_file_path):

    """读取json文件"""

    with open(json_file_path, 'r') as f:

        data = json.load(f)

    return data

  

def write_json(json_file_path, data):

    """写入json文件"""

    with open(json_file_path, 'w') as f:

        json.dump(data, f, ensure_ascii=False, indent=4)

  

# 读取数据

train_data = read_json("dataset/train.json")

test_data = read_json("dataset/test_data.json")

该处代码主要为了获取比赛提供的数据

Step5：Prompt设计

此处详细的设置了提示词的内容, 具体内容如下：

# prompt 设计

PROMPT_EXTRACT = """

你将获得一段群聊对话记录。你的任务是根据给定的表单格式从对话记录中提取结构化信息。在提取信息时，请确保它与类型信息完全匹配，不要添加任何没有出现在下面模式中的属性。

  

表单格式如下：

info: Array<Dict(

    "基本信息-姓名": string | "",  // 客户的姓名。

    "基本信息-手机号码": string | "",  // 客户的手机号码。

    "基本信息-邮箱": string | "",  // 客户的电子邮箱地址。

    "基本信息-地区": string | "",  // 客户所在的地区或城市。

    "基本信息-详细地址": string | "",  // 客户的详细地址。

    "基本信息-性别": string | "",  // 客户的性别。

    "基本信息-年龄": string | "",  // 客户的年龄。

    "基本信息-生日": string | "",  // 客户的生日。

    "咨询类型": string[] | [],  // 客户的咨询类型，如询价、答疑等。

    "意向产品": string[] | [],  // 客户感兴趣的产品。

    "购买异议点": string[] | [],  // 客户在购买过程中提出的异议或问题。

    "客户预算-预算是否充足": string | "",  // 客户的预算是否充足。示例：充足, 不充足

    "客户预算-总体预算金额": string | "",  // 客户的总体预算金额。

    "客户预算-预算明细": string | "",  // 客户预算的具体明细。

    "竞品信息": string | "",  // 竞争对手的信息。

    "客户是否有意向": string | "",  // 客户是否有购买意向。示例：有意向, 无意向

    "客户是否有卡点": string | "",  // 客户在购买过程中是否遇到阻碍或卡点。示例：有卡点, 无卡点

    "客户购买阶段": string | "",  // 客户当前的购买阶段，如合同中、方案交流等。

    "下一步跟进计划-参与人": string[] | [],  // 下一步跟进计划中涉及的人员（客服人员）。

    "下一步跟进计划-时间点": string | "",  // 下一步跟进的时间点。

    "下一步跟进计划-具体事项": string | ""  // 下一步需要进行的具体事项。

)>

  

请分析以下群聊对话记录，并根据上述格式提取信息：

  

**对话记录：**

\```

{content}

\```

  

请将提取的信息以JSON格式输出。

不要添加任何澄清信息。

输出必须遵循上面的模式。

不要添加任何没有出现在模式中的附加字段。

不要随意删除字段。

  

**输出：**

\```

[{{

    "基本信息-姓名": "姓名",

    "基本信息-手机号码": "手机号码",

    "基本信息-邮箱": "邮箱",

    "基本信息-地区": "地区",

    "基本信息-详细地址": "详细地址",

    "基本信息-性别": "性别",

    "基本信息-年龄": "年龄",

    "基本信息-生日": "生日",

    "咨询类型": ["咨询类型"],

    "意向产品": ["意向产品"],

    "购买异议点": ["购买异议点"],

    "客户预算-预算是否充足": "充足或不充足",

    "客户预算-总体预算金额": "总体预算金额",

    "客户预算-预算明细": "预算明细",

    "竞品信息": "竞品信息",

    "客户是否有意向": "有意向或无意向",

    "客户是否有卡点": "有卡点或无卡点",

    "客户购买阶段": "购买阶段",

    "下一步跟进计划-参与人": ["跟进计划参与人"],

    "下一步跟进计划-时间点": "跟进计划时间点",

    "下一步跟进计划-具体事项": "跟进计划具体事项"

}}, ...]

\```

"""

Step6：主函数启动

import json

  

class JsonFormatError(Exception):

    def __init__(self, message):

        self.message = message

        super().__init__(self.message)

  

def convert_all_json_in_text_to_dict(text):

    """提取LLM输出文本中的json字符串"""

    dicts, stack = [], []

    for i in range(len(text)):

        if text[i] == '{':

            stack.append(i)

        elif text[i] == '}':

            begin = stack.pop()

            if not stack:

                dicts.append(json.loads(text[begin:i+1]))

    return dicts

  

# 查看对话标签

def print_json_format(data):

    """格式化输出json格式"""

    print(json.dumps(data, indent=4, ensure_ascii=False))

  
  
  

def check_and_complete_json_format(data):

    required_keys = {

        "基本信息-姓名": str,

        "基本信息-手机号码": str,

        "基本信息-邮箱": str,

        "基本信息-地区": str,

        "基本信息-详细地址": str,

        "基本信息-性别": str,

        "基本信息-年龄": str,

        "基本信息-生日": str,

        "咨询类型": list,

        "意向产品": list,

        "购买异议点": list,

        "客户预算-预算是否充足": str,

        "客户预算-总体预算金额": str,

        "客户预算-预算明细": str,

        "竞品信息": str,

        "客户是否有意向": str,

        "客户是否有卡点": str,

        "客户购买阶段": str,

        "下一步跟进计划-参与人": list,

        "下一步跟进计划-时间点": str,

        "下一步跟进计划-具体事项": str

    }

  

    if not isinstance(data, list):

        raise JsonFormatError("Data is not a list")

  

    for item in data:

        if not isinstance(item, dict):

            raise JsonFormatError("Item is not a dictionary")

        for key, value_type in required_keys.items():

            if key not in item:

                item[key] = [] if value_type == list else ""

            if not isinstance(item[key], value_type):

                raise JsonFormatError(f"Key '{key}' is not of type {value_type.__name__}")

            if value_type == list and not all(isinstance(i, str) for i in item[key]):

                raise JsonFormatError(f"Key '{key}' does not contain all strings in the list")

  

    return data

JsonFormatError 类用于自定义异常。
convert_all_json_in_text_to_dict 函数用于从文本中提取JSON字符串并转换为字典。
print_json_format 函数用于格式化输出JSON数据。
check_and_complete_json_format 函数用于检查和补全JSON数据的格式，确保每个JSON对象包含所有必需的键，并且每个键的值类型正确。

from tqdm import tqdm

  

retry_count = 5 # 重试次数

result = []

error_data = []

  

for index, data in tqdm(enumerate(test_data)):

    index += 1

    is_success = False

    for i in range(retry_count):

        try:

            res = get_completions(PROMPT_EXTRACT.format(content=data["chat_text"]))

            infos = convert_all_json_in_text_to_dict(res)

            infos = check_and_complete_json_format(infos)

            result.append({

                "infos": infos,

                "index": index

            })

            is_success = True

            break

        except Exception as e:

            print("index:", index, ", error:", e)

            continue

    if not is_success:

        data["index"] = index

        error_data.append(data)

初始化变量：
- retry_count 被设置为 5，表示每个数据项最多尝试处理 5 次。
- result 是一个空列表，用于存储成功处理的数据结果。
- error_data 是一个空列表，用于存储处理失败的数据项。
循环处理数据：
- 使用 tqdm 库的 enumerate 函数来遍历 test_data，这样可以同时获取数据项和其索引，并且在控制台显示一个进度条。
- index 变量表示当前数据项的索引（从 1 开始）。
- is_success 变量用于标记当前数据项是否处理成功。
重试机制：
- 对于每个数据项，代码会尝试最多 retry_count 次来处理它。
- 在每次尝试中，代码会调用 get_completions 函数来获取结果，并使用 convert_all_json_in_text_to_dict 和 check_and_complete_json_format 函数来处理结果。
- 如果处理成功（即没有抛出异常），则将结果添加到 result 列表中，并将 is_success 设置为 True，然后跳出重试循环。
错误处理：
- 如果在任何一次尝试中抛出异常，代码会捕获该异常，并打印错误信息（包括当前数据项的索引和异常信息）。
- 如果所有重试都失败（即 is_success 仍然为 False），则将当前数据项添加到 error_data 列表中，以便后续处理。

Step7：生成提交文件

# 保存输出

write_json("output.json", result)

Step8：下载 output.json 文件

在左边文件夹栏中点击下载生成的文件，回到比赛平台提交结果即可。2024 iFLYTEK A.I.开发者大赛-讯飞开放平台 (xfyun.cn)

在 提交结果 中可以看到相应的分数：

六、补充

– 应用的库

— tqdm

python库 - tqdm-CSDN博客

— json

python库 - json-CSDN博客

如有错误，敬请批评指正！