Prompt 设计与大语言模型微调，没有比这篇更详细的了吧！

news2024/11/24 3:52:37

本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。

ChatGPT基本原理

“会说话的AI”，“智能体”

图片

简单概括成以下几个步骤：

  1. 预处理文本：ChatGPT的输入文本需要进行预处理。

  2. 输入编码：ChatGPT将经过预处理的文本输入到神经网络中进行编码处理，使用的是多层transformer编码器结构。

  3. 预测输出：ChatGPT通过对输入进行逐个token预测，输出下一个最可能出现的token序列，使用的是softmax函数进行概率预测。

  4. 输出解码：ChatGPT将预测的token序列作为输入，经过多层transformer解码器结构进行解码处理，最终输出模型的回答。

  5. 重复步骤3和4：ChatGPT在处理输入时会持续输出预测的token序列，直到遇到停止符号或达到最大输出长度为止。

算法内核——Transformer

由 Encoder 和 Decoder 两个部分组成

图片

技术交流

建了大模型技术交流群！想要进交流群、获取原版资料的同学，可以直接加微信号：dkl88194。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、添加微信号：dkl88194，备注：来自CSDN + 技术交流
方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

在这里插入图片描述

Prompt设计

▐ 什么是prompt？

图片

看来跟我今天想分享的不太一样，加个具体的限定条件，然后呢？

图片

这下对了！

Prompt的不同能直接决定模型是否能按我们的预期输出

图片

▐ prompt基本技巧

1.清晰，明确，避免模糊的词语

在这里插入图片描述

2.用###或者"""或者<>或者’''将指令和待处理的内容分开

在这里插入图片描述

3.指定输出格式

在这里插入图片描述

4.角色扮演，用扮演、担任等这一类词汇告诉大模型在对话中特定的人格或角色
在这里插入图片描述

图片

▐ Few shot进阶

启用上下文in-context learning学习，在prompt中提供几个样例（这里只有一个例子one-shot）

图片

▐ Chain of Thought（Cot）

思维链（CoT）是一种改进的提示策略，用于提高 LLM 在复杂推理任务中的性能，如算术推理、常识推理和符号推理。

▐ Search API & GPT

图片

"""
网页搜索结果:
{web_results}

当前日期:{current_date}

指令: 用给定的网络搜索结果，总结回复用户query

用户Query: {query}

回复语言: {reply_language}
"""

私有化知识库（嵌入式向量检索+LLM）

图片

▐ ReAct框架

大模型Agent功能，大模型会自己分析问题，选择合适的工具，最终解决问题。

ReAct方式的作用就是协调LLM模型和外部的信息获取，与其他功能交互。如果说LLM模型是大脑，那ReAct框架就是这个大脑的手脚和五官。

关键概念描述
Thought由LLM模型生成，是LLM产生行为和依据
ActAct是指LLM判断本次需要执行的具体行为
ObsLLM框架对于外界输入的获取。
尽可能回答以下问题，可以使用工具：
{工具名和描述}
使用以下格式回答：
问题：你必须回答的问题

思考：你应该一致保持思考，思考要怎么解决问题
动作：{工具名}。每次动作只选择一个工具，工具列表{工具名和描述}
输入：{调用工具时需要传入的参数}
观察：{第三方工具返回的结果}

【思考-动作-输入-观察】循环N次

思考：最后，输出最终结果
最终结果：针对原始问题，输出最终结果

开始！
问题：上海最高楼是多少？它楼层高度的平方是多少？
思考：我需要知道上海最高楼，然后进行计算。
动作：搜索API
观察：632米
思考：我需要计算上海最高楼高度的平方，然后得到结果。
动作：计算器
输入：632^2
观察：399424
思考：
最终结果：上海最高楼632米，它的高度平方是399424

大模型SFT（supervised fine tuning）

预训练 VS 微调

预训练：模型以一种无监督的方式去训练，学习根据前文生成下一个单词。在海量数据下进行，让大模型具备语言理解和生成能力。

指令微调：有监督的方式进行学习，包括任务描述，输入等，去预测答案。目标是如何跟人类指令对齐，让模型更加适应专业化领域场景

图片

业务数据从哪来？

  1. 人工标注

  2. 种子数据 + self-instruct（gpt 3.5构造）

图片

▐ P-tuning

动机：Fine-tuning需要微调整个预训练语言模型，且额外添加了新的参数，而Prompting则可以将整个预训练语言模型的参数保持固定，而只需要添加prompt来预测结果即可；

图片

P-tuning：将Prompt转换为可以学习的Embedding层，并用MLP+LSTM的方式来对Prompt Embedding进行一层处理。

P-tuning V2：每一层都加入可训练的prompts，只对Prompt部分的参数进行训练，而语言模型的参数固定不变。

▐ LoRA

Low-rank Adaption of LLM，利用低秩适配（low-rank adaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。在计算资源受限的情况下的弥补方案。

图片

图片

对于不同的下游任务，只需要在预训练模型基础上重新训练AB就可以了，这样也能加快大模型的训练节奏。

▐ LoRA VS 全参数微调

lora的优点在于轻量化，低资源。但缺点很明显，参与训练的模型参数量不多，在百万到千万级别的参数量，实验来看效果比全量微调差一些。

▐ C-Eval评估

C-Eval由上海交通大学，清华大学，爱丁堡大学共同完成，是构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。

图片

C-Eval认为：一个模型要强，首先需要广泛的知识，然后在知识的基础上做推理，这样才能代表一个模型可以做复杂且困难的事情。

此外，还有一些公开评测集，用于评估模型在学科综合、语言能力、推理能力等。

图片

手机天猫AI导购助理项目落地应用

项目背景

“AI形象”璇玑作为个人专属导购员，在交互式对话中进行用户理解、导购商品。

定位：交互式搜索导购产品

图片

▐ 算法框架

图片

语料收集

  1. 电商种子问题收集：端内会话日志、收集手机天猫sug种子问题：

  2. 问题泛化：明确场景问题定义，通过手猫核心query、种子问题等，设计prompt，通过gpt补充收集问题；

  3. 人工标注: 标注高质量语料；

  4. self-instruction：通过prompt(few-shot)方法根据已有人工标注扩充新的instruction。通过gpt获取更多训练语料，解决标注人效瓶颈。

模型训练

base模型选型

中文评测

图片

数学评测

图片

训练平台：AOP/星云/PAI

基于达摩院模型基座qwen-14B，针对璇玑产品，新增电商领域的训练数据，增强模型的电商领域知识、安全、导购等能力。

params="--stage sft \
--model_name_or_path /data/oss_bucket_0/Qwen_14B_Chat_ms_v100/  \
--do_train \
--dataset_dir data \
--dataset xuanji \
--template chatml  \
--finetuning_type  full  \
--output_dir file_path  \
--overwrite_cache \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine  \
--logging_steps 5 \
--save_strategy epoch \
--save_steps 10000 \
--learning_rate 2e-6 \
--num_train_epochs 3.0 \
--warmup_ratio 0.15 \
--warmup_steps 0 \
--weight_decay 0.1 \
--fp16 ${fp16} \
--bf16 ${bf16} \
--deepspeed ds_config.json \
--max_source_length 4096 \
--max_target_length 4096 \
--use_fast_tokenizer False \
--is_shuffle True \
--val_size 0.0 \
"

pai -name pytorch112z
-project algo_platform_dev
-Dscript='${job_path}'
  -DentryFile='-m torch.distributed.launch --nnodes=${workerCount} --nproc_per_node=${node}  ${entry_file}'
-DuserDefinedParameters=\"${params}\"
-DworkerCount=${workerCount}
-Dcluster=${resource_param_config}
-Dbuckets=${oss_info}${end_point}

训练中间过程

图片

模型部署&调用

  • 达摩院千问

模型基于allspark做量化加速，部署在dashscope平台，机器为双卡A10。

# For prerequisites running the following sample

import dashscope
from dashscope import Generation
from http import HTTPStatus

dashscope.api_key = 'your-dashscope-api-key'

response_generator = Generation.call(
    model='model_name',
    prompt=build_prompt([
        {'role':'system','content':'content_info'},
        {'role':'user', 'content':'query'}
    ]),
    stream=True,
    use_raw_prompt=True,
    seed=random_num
)

for resp in response_generator:
    # when stream, you need to get the result through iteration
    if resp.status_code == HTTPStatus.OK:
        print(resp.output)
    else:
        print('Failed request_id: %s, status_code: %s, \
                  code: %s, message:%s' %
              (resp.request_id, resp.status_code, resp.code, resp.message))

# Result: 
# {"text": "汝亦来", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生」，不知可否？", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生」，不知可否？", "finish_reason": "stop"}
  • Whale私有化

部署发布：

图片

模型管理：

图片

from whale import TextGeneration
import json

# 设置apiKey
# 预发或线上请勿指定base_url
TextGeneration.set_api_key("api_key", base_url="api_url")

# 设置模型生成结果过程中的参数

config = {"pad_token_id": 0,  "bos_token_id": 1,  "eos_token_id": 2,  "user_token_id": 0,  "assistant_token_id": 0,  "max_new_tokens": 2048,  "temperature": 0.95,  "top_k": 5,  "top_p": 0.7,  "repetition_penalty": 1.1,  "do_sample": False,  "transformers_version": "4.29.2"}
prompt = [
    {
      "role": "user",
      "content": "content_info"
    }
]

# 请求模型
response = TextGeneration.call(
    model="model_name",
    prompt=json.dumps(prompt),
    timeout=120,
    streaming=True,
    generate_config=config)


# 处理流式结果
for event in response:
    if event.status_code == 200:
        print(event.finished)
        if event.finished is False:
            print(event.output['response'], end="")
    else:
        print('error_code: [%d], error_message: [%s]'
              % (event.status_code, event.status_message))

  • EAS

借助EAS，将代码和模型文件分离进行LLM服务部署，基于http协议提供流式输出。模型存储在oss上。

▐ 模型评测

基础能力评测：在公开评测集上评估模型中英文、推理、知识问答能力表现。

业务评测：以业务人工评测为主，每个大模型任务150个评测问题。

体验问题：埋点日志获取，定期review。

参考链接

1.https://www.semanticscholar.org/paper/Attention-is-All-you-Need-Vaswani-Shazeer/204e3073870fae3d05bcbc2f6a8e263d9b72e776

2.https://huggingface.co/Qwen/Qwen-14B-Chat

3.https://github.com/yuanzhoulvpi2017/zero_nlp

4.https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning

5.https://www.bilibili.com/video/BV1jP411d7or/?spm_id_from=333.337.search-card.all.click

6.https://arxiv.org/pdf/2305.08322v1.pdf

7.https://zhuanlan.zhihu.com/p/630111535?utm_id=0

8.https://cdn.baichuan-ai.com/paper/Baichuan2-technical-report.pdf

9.https://github.com/tatsu-lab/stanford_alpaca

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1171451.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

如何使用Python和matplotlib绘制机器人运动偏差路径图——实用教程与代码解析

如何使用Python和matplotlib绘制机器人运动偏差路径图——实用教程与代码解析

前言 科研论文中需要绘制一个精美的机器人运动路径图&#xff08;其中包含了机器人的期望运动路径和实际运动路径&#xff09;。我的期望路径是是一个方形&#xff0c;用Python代码是这样表示的&#xff1a; n_list [n1,n2,n3,n4] e_list [e1,e2,e3,e4] #n_list和e_list的各…
阅读更多...
C++笔记之动态数组的申请和手动实现一个简单的vector

C++笔记之动态数组的申请和手动实现一个简单的vector

C笔记之动态数组的申请和手动实现一个简单的vector code review! 文章目录 C笔记之动态数组的申请和手动实现一个简单的vector1.C语言中动态数组的申请与使用1.动态数组的申请使用new和delete使用std::vector 1.std::vector的底层实现2.手动实现一个简单的vector:使用一个指向…
阅读更多...
项目实战：展示第一页数据

项目实战：展示第一页数据

1、在FruitDao接口中添加查询第一页数据和查询总记录条数 package com.csdn.fruit.dao; import com.csdn.fruit.pojo.Fruit; import java.util.List; //dao &#xff1a;Data Access Object 数据访问对象 //接口设计 public interface FruitDao {void addFruit(Fruit fruit);vo…
阅读更多...
文件复制加密、文件落地加密、文件移动加密如何设置？

文件复制加密、文件落地加密、文件移动加密如何设置？

文件加密在保护信息安全方面具有重要作用。合格、好用的文件加密软件可以帮助企业保护商业机密、更遵守法律法规、提高企业核心竞争力、防止数据泄密等。 一般的加密都是对文件本身加密&#xff0c;比如加密某个WORD /PPT之类的&#xff0c;很少有能够加密某个文件夹的。今天就…
阅读更多...
单链表基本操作的实现，初始化，头插，尾插，判空，获取个数，查找，删除，获取前置和后置位，清空，销毁

单链表基本操作的实现，初始化，头插，尾插，判空，获取个数，查找，删除，获取前置和后置位，清空，销毁

目录 一.单链表的设计 二.单链表的实现 三.单链表的总结 一.单链表的设计 1.单链表的结构定义: typedef struct Node{int data;//数据域struct Node* next;//后继指针}Node,*List; 2.单链表的设计示意图: 3.注意,单链表的最后一个节点的next域为NULL; 4.为什么要有一个头…
阅读更多...
唯一ID如何生成，介绍一下目前技术领域最常使用的几种方法

唯一ID如何生成，介绍一下目前技术领域最常使用的几种方法

纵使十面大山&#xff0c;又如何&#xff0c;无妨… 概述 唯一ID&#xff08;Unique Identifier&#xff09;是在计算机科学和信息技术领域中用于标识某个实体或数据的唯一标识符。生成唯一ID的方法可以根据具体需求和应用场景的不同而有所不同。以下是一些目前技术领域中常用…
阅读更多...
2023-mac rz sz 安装

2023-mac rz sz 安装

之前安装过一次&#xff0c;没问题&#xff0c;这次按照之前教程装了就不管上传下载都会卡住&#xff1b; step1: brew install lrzsz step2&#xff1a;在/usr/local/bin 路径下配置两个sh,之前从网上找到的直接用都不对&#xff0c;下面这个是调试过的正式可用的 iterm2…
阅读更多...
【C语言进阶】之动态内存管理

【C语言进阶】之动态内存管理

【C语言进阶】之动态内存管理 1.为什么我们需要动态内存管理2.动态内存管理的函数介绍2.1malloc函数和free函数2.1.1malloc函数2.1.2 free函数 2.2calloc函数2.3realloc函数 3.动态内存管理中经常出现的一些问题总结。3.1 越界访问3.2 对空指针进行解引用操作3.3 对同一片空间进…
阅读更多...
安全防御——二、ENSP防火墙实验学习

安全防御——二、ENSP防火墙实验学习

安全防御 一、防火墙接口以及模式配置1、untrust区域2、trust区域3、DMZ区域4、接口对演示 二、防火墙的策略1、定义与原理2、防火墙策略配置2.1 安全策略工作流程2.2 查询和创建会话 3、实验策略配置3.1 trust-to-untrust3.2 trust-to-dmz3.3 untrust-to-dmz 三、防火墙的区域…
阅读更多...
归并排序--C语言实现

归并排序--C语言实现

1. 简述 归并排序的原理是将&#xff0c;两个较大的数组分为大小几乎一致的两个数组。 再将两个数组进行合并成新的有序数组。 合并两个数组的时候需要额外的一个数组的空间。 2. 实现 上图说明过程 代码 #include <stdio.h>void Merge(int *arr, int *tmp, int …
阅读更多...
freertos入门(stm32f10c8t6版闪烁灯)

freertos入门(stm32f10c8t6版闪烁灯)

首先到官网下载freertos源码&#xff0c;然后找一个stm32f10c8t6的空模板&#xff0c;这个空模板实现点灯之类的都行。 然后在这个空模板的工程下新建一个FreeRtos文件夹 接着在FreeRtos文件夹下新建三个文件夹&#xff0c;分别是src存放源码 inc 存放头文件&#xff0c;port …
阅读更多...
Linux下查看文件夹大小命令

Linux下查看文件夹大小命令

在Vscode上连接服务器&#xff0c;想查看文件夹大小&#xff1b; du -h path
阅读更多...
4 个最常见的自动化测试挑战及应对措施

4 个最常见的自动化测试挑战及应对措施

有人说&#xff1a;“杂乱无章的自动化只会带来更快的混乱。”不仅更快&#xff0c;而且是更严重、更大的混乱。如果使用得当&#xff0c;自动化可以成为测试团队中令人惊叹的生产力助推器和系统的质量增强器。自动化测试的关键是要正确运用&#xff0c;这是初始最困难的部分。…
阅读更多...
动态路由协议OSPF优化提速特性

动态路由协议OSPF优化提速特性

1.OSPF协议通信过程与部署&#xff1b; 2.OSPF协议在项目上的应用场景&#xff1b; 3.OSPF有哪些优化特性&#xff1f; - OSPF - 开放式最短路径优先 - 一个动态路由协议 - 路由协议 - 理解魏 运行在路由器的一个软件 - 目的&#xff1a;为了帮助路由器和路由器彼…
阅读更多...
短期经济波动：均衡国民收入决定理论(二)

短期经济波动：均衡国民收入决定理论(二)

短期经济波动:国民收入决定理论(二) 文章目录 短期经济波动:国民收入决定理论(二)[toc]1 IS曲线1.1 IS曲线的代数推导1.1.1 代数法&#xff1a;计划支出等于实际支出1.1.2 代数法&#xff1a;计划投资等于储蓄1.1.3 代数法&#xff1a;非计划存货等于0 1.2 IS曲线的几何推导1.2…
阅读更多...
ZZ038 物联网应用与服务赛题第D套

ZZ038 物联网应用与服务赛题第D套

2023年全国职业院校技能大赛 中职组 物联网应用与服务 任 务 书 （D卷） 赛位号：______________ 竞赛须知 一、注意事项 1.检查硬件设备、电脑设备是否正常。检查竞赛所需的各项设备、软件和竞赛材料等； 2.竞赛任务中所使用的各类软件工具、软件安装文件等，都…
阅读更多...
如何理解所谓的【指令执行速度】

如何理解所谓的【指令执行速度】

公式&#xff1a; 指令执行速度 主频/平均CPI 先不看主频&#xff0c;如下图&#xff0c;假设一秒钟能有4个正弦波&#xff0c;那就说明频率是4。 而计算机很厉害&#xff0c;一秒能有很多个正弦波 把一个正弦波&#xff0c;看做一个时钟周期 则主频表示&#xff0c;计算机…
阅读更多...
《视觉SLAM十四讲》-- 概述与预备知识

《视觉SLAM十四讲》-- 概述与预备知识

文章目录 01 概述与预备知识1.1 SLAM 是什么1.1.1 基本概念1.1.2 视觉 SLAM 框架1.1.3 SLAM 问题的数学表述 1.2 实践&#xff1a;编程基基础1.3 课后习题 01 概述与预备知识 1.1 SLAM 是什么 1.1.1 基本概念 &#xff08;1&#xff09;SLAM 是 Simultaneous Localization a…
阅读更多...
【算法|二分查找No.2】leetcode 69. x 的平方根

【算法|二分查找No.2】leetcode 69. x 的平方根

个人主页&#xff1a;兜里有颗棉花糖 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 兜里有颗棉花糖 原创 收录于专栏【手撕算法系列专栏】【LeetCode】 &#x1f354;本专栏旨在提高自己算法能力的同时&#xff0c;记录一下自己的学习过程&#xff0c;希望…
阅读更多...
Python基础入门例程29-NP29 用列表实现栈（列表）

Python基础入门例程29-NP29 用列表实现栈（列表）

最近的博文&#xff1a; Python基础入门例程28-NP28 密码游戏&#xff08;列表&#xff09;-CSDN博客 Python基础入门例程27-NP27 朋友们的喜好&#xff08;列表&#xff09;-CSDN博客 Python基础入门例程26-NP26 牛牛的反转列表&#xff08;列表&#xff09;-CSDN博客 目录…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023