题目背景
在当今数字化时代，企业积累了丰富的对话数据，这些数据不仅是客户与企业之间交流的记录，更是隐藏着宝贵信息的宝库。在这个背景下，群聊对话分角色要素提取成为了企业营销和服务的一项重要策略。
群聊对话分角色要素提取的理念是基于企业对话数据的深度分析和挖掘。通过对群聊对话数据进行分析，企业可以更好地理解客户的需求、兴趣和行为模式，从而精准地把握客户的需求和心理，提供更加个性化和优质的服务。这不仅有助于企业更好地满足客户的需求，提升客户满意度，还可以为企业带来更多的商业价值和竞争优势。
群聊对话分角色要素提取的研究，将企业对话数据转化为可用的信息和智能的洞察，为企业营销和服务提供了新的思路和方法。通过挖掘对话数据中隐藏的客户行为特征和趋势，企业可以更加精准地进行客户定位、推广营销和产品服务，实现营销效果的最大化和客户价值的最大化。这将为企业带来更广阔的发展空间和更持续的竞争优势。
数据介绍
赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果，其中训练数据129条，测试数据 55条。按照各类字段提取的难易程度，共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下:
| 序号 | 字段名称 | 是否单值 | 是否可为空 | 难度分数 | 答案是否唯一 |
| 1 | 基本信息-姓名 | 是 | 是 | 1 | 是 |
| 2 | 基本信息-手机号码 | 是 | 是 | 1 | 是 |
| 3 | 基本信息-邮箱 | 是 | 是 | 1 | 是 |
| 4 | 基本信息-地区 | 是 | 是 | 1 | 是 |
| 5 | 基本信息-详细地址 | 是 | 是 | 1 | 是 |
| 6 | 基本信息-性别 | 是 | 是 | 1 | 是 |
| 7 | 基本信息-年龄 | 是 | 是 | 1 | 是 |
| 8 | 基本信息-生日 | 是 | 是 | 1 | 是 |
| 9 | 咨询类型 | 否 | 是 | 2 | 是 |
| 10 | 意向产品 | 否 | 是 | 3 | 是 |
| 11 | 购买异议点 | 否 | 是 | 3 | 是 |
| 12 | 客户预算-预算是否充足 | 是 | 是 | 2 | 是 |
| 13 | 客户预算-总体预算金额 | 是 | 是 | 2 | 是 |
| 14 | 客户预算-预算明细 | 是 | 是 | 3 | 否 |
| 15 | 竞品信息 | 是 | 是 | 2 | 是 |
| 16 | 客户是否有意向 | 是 | 是 | 1 | 是 |
| 17 | 客户是否有卡点 | 是 | 是 | 1 | 是 |
| 18 | 客户购买阶段 | 是 | 是 | 2 | 是 |
| 19 | 下一步跟进计划-参与人 | 否 | 是 | 2 | 是 |
| 20 | 下一步跟进计划-时间点 | 是 | 是 | 2 | 是 |
| 21 | 下一步跟进计划-具体事项 | 是 | 是 | 3 | 否 |
评价指标
测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:
1）对于答案唯一字段，将使用完全匹配的方式计算提取是否正确，提取正确得到相应分数，否则为0分
2）对于答案不唯一字段，将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数，最终该字段得分为 “匹配分数 * 该字段难度分数”
每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。
解决思路
Baseline这里主要以大语言模型抽取的思路实现，择合适的prompt做引导模型理解数据集提供的结构化的文本信息
下面是Baseline用到的prompt设计
# prompt 设计
PROMPT_EXTRACT = """
你将获得一段群聊对话记录。你的任务是根据给定的表单格式从对话记录中提取结构化信息。在提取信息时，请确保它与类型信息完全匹配，不要添加任何没有出现在下面模式中的属性。
表单格式如下：
info: Array<Dict(
"基本信息-姓名": string | "", // 客户的姓名。
"基本信息-手机号码": string | "", // 客户的手机号码。
"基本信息-邮箱": string | "", // 客户的电子邮箱地址。
"基本信息-地区": string | "", // 客户所在的地区或城市。
"基本信息-详细地址": string | "", // 客户的详细地址。
"基本信息-性别": string | "", // 客户的性别。
"基本信息-年龄": string | "", // 客户的年龄。
"基本信息-生日": string | "", // 客户的生日。
"咨询类型": string[] | [], // 客户的咨询类型，如询价、答疑等。
"意向产品": string[] | [], // 客户感兴趣的产品。
"购买异议点": string[] | [], // 客户在购买过程中提出的异议或问题。
"客户预算-预算是否充足": string | "", // 客户的预算是否充足。示例：充足, 不充足
"客户预算-总体预算金额": string | "", // 客户的总体预算金额。
"客户预算-预算明细": string | "", // 客户预算的具体明细。
"竞品信息": string | "", // 竞争对手的信息。
"客户是否有意向": string | "", // 客户是否有购买意向。示例：有意向, 无意向
"客户是否有卡点": string | "", // 客户在购买过程中是否遇到阻碍或卡点。示例：有卡点, 无卡点
"客户购买阶段": string | "", // 客户当前的购买阶段，如合同中、方案交流等。
"下一步跟进计划-参与人": string[] | [], // 下一步跟进计划中涉及的人员（客服人员）。
"下一步跟进计划-时间点": string | "", // 下一步跟进的时间点。
"下一步跟进计划-具体事项": string | "" // 下一步需要进行的具体事项。
)>
请分析以下群聊对话记录，并根据上述格式提取信息：
**对话记录：**
```
{content}
```
请将提取的信息以JSON格式输出。
不要添加任何澄清信息。
输出必须遵循上面的模式。
不要添加任何没有出现在模式中的附加字段。
不要随意删除字段。
**输出：**
```
[{{
"基本信息-姓名": "姓名",
"基本信息-手机号码": "手机号码",
"基本信息-邮箱": "邮箱",
"基本信息-地区": "地区",
"基本信息-详细地址": "详细地址",
"基本信息-性别": "性别",
"基本信息-年龄": "年龄",
"基本信息-生日": "生日",
"咨询类型": ["咨询类型"],
"意向产品": ["意向产品"],
"购买异议点": ["购买异议点"],
"客户预算-预算是否充足": "充足或不充足",
"客户预算-总体预算金额": "总体预算金额",
"客户预算-预算明细": "预算明细",
"竞品信息": "竞品信息",
"客户是否有意向": "有意向或无意向",
"客户是否有卡点": "有卡点或无卡点",
"客户购买阶段": "购买阶段",
"下一步跟进计划-参与人": ["跟进计划参与人"],
"下一步跟进计划-时间点": "跟进计划时间点",
"下一步跟进计划-具体事项": "跟进计划具体事项"
}}, ...]
```
"""尝试运行
API申请链接：https://console.xfyun.cn/app/myapp
项目可以直接用百度飞桨云端运行，项目链接基于星火大模型的群聊对话分角色要素提取挑战-baseline - 飞桨AI Studio星河社区 (baidu.com)
点击运行然后启动免费的环境即可，云端的项目用的是Jupyter notebook
核心调用的库，控制API的接口请求等
spark_ai_python先在step2填入申请好的API信息，然后运行全部cell即可
模型测试部分代码
def get_completions(text):
messages = [ChatMessage(
role="user",
content=text
)]
spark = ChatSparkLLM(
spark_api_url=SPARKAI_URL,
spark_app_id=SPARKAI_APP_ID,
spark_api_key=SPARKAI_API_KEY,
spark_api_secret=SPARKAI_API_SECRET,
spark_llm_domain=SPARKAI_DOMAIN,
streaming=False,
)
handler = ChunkPrintHandler()
a = spark.generate([messages], callbacks=[handler])
return a.generations[0][0].text主函数部分代码
import json
class JsonFormatError(Exception):
def __init__(self, message):
self.message = message
super().__init__(self.message)
def convert_all_json_in_text_to_dict(text):
"""提取LLM输出文本中的json字符串"""
dicts, stack = [], []
for i in range(len(text)):
if text[i] == '{':
stack.append(i)
elif text[i] == '}':
begin = stack.pop()
if not stack:
dicts.append(json.loads(text[begin:i+1]))
return dicts
# 查看对话标签
def print_json_format(data):
"""格式化输出json格式"""
print(json.dumps(data, indent=4, ensure_ascii=False))
def check_and_complete_json_format(data):
required_keys = {
"基本信息-姓名": str,
"基本信息-手机号码": str,
"基本信息-邮箱": str,
"基本信息-地区": str,
"基本信息-详细地址": str,
"基本信息-性别": str,
"基本信息-年龄": str,
"基本信息-生日": str,
"咨询类型": list,
"意向产品": list,
"购买异议点": list,
"客户预算-预算是否充足": str,
"客户预算-总体预算金额": str,
"客户预算-预算明细": str,
"竞品信息": str,
"客户是否有意向": str,
"客户是否有卡点": str,
"客户购买阶段": str,
"下一步跟进计划-参与人": list,
"下一步跟进计划-时间点": str,
"下一步跟进计划-具体事项": str
}
if not isinstance(data, list):
raise JsonFormatError("Data is not a list")
for item in data:
if not isinstance(item, dict):
raise JsonFormatError("Item is not a dictionary")
for key, value_type in required_keys.items():
if key not in item:
item[key] = [] if value_type == list else ""
if not isinstance(item[key], value_type):
raise JsonFormatError(f"Key '{key}' is not of type {value_type.__name__}")
if value_type == list and not all(isinstance(i, str) for i in item[key]):
raise JsonFormatError(f"Key '{key}' does not contain all strings in the list")
return data
from tqdm import tqdm
retry_count = 5 # 重试次数
result = []
error_data = []
for index, data in tqdm(enumerate(test_data)):
index += 1
is_success = False
for i in range(retry_count):
try:
res = get_completions(PROMPT_EXTRACT.format(content=data["chat_text"]))
infos = convert_all_json_in_text_to_dict(res)
infos = check_and_complete_json_format(infos)
result.append({
"infos": infos,
"index": index
})
is_success = True
break
except Exception as e:
print("index:", index, ", error:", e)
continue
if not is_success:
data["index"] = index
error_data.append(data)运行完成后可以下载左侧文件区域生成的output.json文件然后提交到评测平台验证
2024 iFLYTEK AI开发者大赛-讯飞开放平台
