Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？

news2024/11/24 19:49:39

  Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pretrain时QA和Text数据格式都应该支持。然后马上就会有一个疑问，两者有什么区别呢？再回答这个问题之前，先来看看Llama2-Chinese和open-llama2是如何处理QA和Text数据的。

一.Llama2-Chineses是如何处理QA数据格式的？
1.raw_datasets数据
  首先使用raw_datasets = load_dataset()加载原始数据，如下所示：

然后通过tokenize_function分词函数对raw_datasets进行处理，如下所示：

def tokenize_function(examples): # 分词函数
    with CaptureLogger(tok_logger) as cl: # 捕获日志记录器
        output = tokenizer( [ '<s>'+item+'</s>' for item in examples[text_column_name]]) # 分词
    return output # 输出

  对应的控制台输出日志，如下所示：

Running tokenizer on dataset:   0%|          | 0/9861 [00:00<?, ? examples/s]Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-5995c58fe2972c10.arrow
09/20/2023 21:52:13 - INFO - datasets.arrow_dataset - Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-5995c58fe2972c10.arrow
Running tokenizer on dataset: 100%|██████████| 9861/9861 [00:11<00:00, 886.04 examples/s] 
Running tokenizer on dataset:   0%|          | 0/400 [00:00<?, ? examples/s]Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-44181180d09c5991.arrow
09/20/2023 21:52:21 - INFO - datasets.arrow_dataset - Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-44181180d09c5991.arrow
Running tokenizer on dataset: 100%|██████████| 400/400 [00:01<00:00, 251.86 examples/s]

2.tokenized_datasets数据
  然后tokenized_datasets = raw_datasets.map()如下所示：

可以看到tokenized_datasets主要是包含['input_ids', 'attention_mask']这2列数据，拿出其中1条如下所示：

'input_ids'：[1, 1, 1, 12968, 29901, 29871, 31999, 30544, 30287, 30502, 31658, 31596, 30214, 30698, 31376, 31931, 30880, 30742, 234, 176, 151, 31751, 31658, 31596, 30210, 30594, 31016, 31175, 31072, 30267, 30847, 30801, 30742, 234, 176, 151, 31480, 30544, 30594, 31016, 31175, 31072, 30214, 31915, 31229, 31370, 31751, 31050, 30780, 30768, 31043, 30267, 30004, 13, 31658, 31596, 29901, 376, 30287, 30408, 30417, 30923, 31022, 234, 170, 149, 30882, 29908, 30594, 31016, 31175, 31072, 29901, 29871, 29896, 29900, 234, 170, 149, 30004, 13, 2, 1, 4007, 22137, 29901, 29871, 30287, 30408, 30417, 29947, 29953, 29946, 29900, 29900, 234, 170, 149, 30267, 30004, 13, 2, 2]
# 'input_ids'：'<s><s><s> Human: 给出一个问题，要求助手回答该问题的时间限制。如果回答超出时间限制，客户应该得到通知。问题: "一天有多少秒？"时间限制: 10秒</s><s> Assistant: 一天有86400秒。</s></s>'
'attention_mask'：[1, 1, 1, 1, 1,  ... 1, 1, 1, 1, 1]

3.lm_datasets数据
  接下来得到lm_datasets = tokenized_datasets.map()，其中group_text()函数如下所示：

def group_texts(examples):
    # 翻译：连接所有文本。
    concatenated_examples = {k: list(chain(*examples[k])) for k in examples.keys()} # 连接所有文本
    # concatenated_examples = {k: sum(examples[k], []) for k in examples.keys()}
    total_length = len(concatenated_examples[list(examples.keys())[0]]) # 总长度
    # We drop the small remainder, we could add padding if the model supported it instead of this drop, you can customize this part to your needs.
    # 翻译：我们丢弃了小的余数，如果模型支持，我们可以添加填充，而不是这个丢弃，您可以根据需要自定义这部分。
    if total_length >= block_size: # 如果总长度大于块大小
        total_length = (total_length // block_size) * block_size # 总长度
    # Split by chunks of max_len.
    # 翻译：按max_len分割。
    result = { # 结果
        k: [t[i : i + block_size] for i in range(0, total_length, block_size)] # 拼接的示例
        for k, t in concatenated_examples.items() # 拼接的示例
    }
    # print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))       
    logger.info("group texts input examples length%d after_group size%d"%(len(examples['input_ids']),len(result["input_ids"]))) # 组文本输入示例长度%d后组大小%d
    result["labels"] = result["input_ids"].copy() # 标签
    return result # 返回结果

  对应的控制台输出日志，如下所示：

09/20/2023 21:52:21 - WARNING - __main__ - The chosen tokenizer supports a `model_max_length` that is longer than the default `block_size` value of 1024. If you would like to use a longer `block_size` up to `tokenizer.model_max_length` you can override this default with `--block_size xxx`.
Grouping texts in chunks of 1024:   0%|          | 0/9861 [00:00<?, ? examples/s]09/20/2023 21:52:29 - INFO - __main__ - group texts input examples length9861 after_group size3246
Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-18dbcb518f2766e1.arrow
09/20/2023 21:52:29 - INFO - datasets.arrow_dataset - Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-18dbcb518f2766e1.arrow
Grouping texts in chunks of 1024: 100%|██████████| 9861/9861 [00:11<00:00, 843.75 examples/s]
Grouping texts in chunks of 1024:   0%|          | 0/400 [00:00<?, ? examples/s]Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-962b32747bcb1aec.arrow
09/20/2023 21:52:35 - INFO - __main__ - group texts input examples length400 after_group size738
09/20/2023 21:52:35 - INFO - datasets.arrow_dataset - Caching processed dataset at L:\20230825_NLP工程化公众号\nlp-engineering\20230916_Llama2-Chinese\train\pretrain\output_model\dataset_cache\csv\default-0be939ed6ae746cd\0.0.0\eea64c71ca8b46dd3f537ed218fc9bf495d5707789152eb2764f5c78fa66d59d\cache-962b32747bcb1aec.arrow
Grouping texts in chunks of 1024: 100%|██████████| 400/400 [00:02<00:00, 153.36 examples/s]

  lm_datasets的列名包括[‘input_ids’, ‘attention_mask’, ‘labels’]，如下所示：

  train_dataset就是lm_datasets中train的部分，如下所示：

4.定义训练器Trainer训练模型
  通过trainer.train(resume_from_checkpoint=checkpoint)训练模型，如下所示：


二.open-llama2是如何处理Text数据格式的？
1.raw_dataset数据
  raw_dataset = load_dataset("text", data_files=data_file, cache_dir=cache_dir, keep_in_memory=False)加载预训练数据，如下所示：

2.tokenized_dataset数据
  对raw_dataset进行text转id处理，如下所示：

3.grouped_datasets和processed_dataset数据
  这两者包含[‘input_ids’, ‘attention_mask’, ‘labels’]三列数据，并且processed_dataset = grouped_datasets。如下所示：

4.lm_datasets数据
  lm_datasets = processed_dataset['train']，如下所示：

  通过tokenizer.decode(train_dataset[0]['input_ids'])对数据进行解码，如下所示：

<s> 青海省人民政府是中华人民共和国青海省的最高地方行政机构。1950年1月由原青海省人民军政委员会改组成立。1955年1月改称青海省人民委员会。1967年8月改为青海省革命委员会。1979年8月，青海省革命委员会撤销，复设青海省人民政府。<s>湖南省人民政府驻北京办事处，是中华人民共和国湖南省人民政府驻北京市的办事处，该办事处负责领导联络协调、招商引资、信息调研、对外宣传、接待服务以及服务驻北京市天津企业等相关事项。该办事处为副局级单位。

  综上所述，加载QA数据时，train_dataset的shape为[3246, 3]，而加载Text数据时，train_dataset的shape为[1, 3]，可见前者是按照逐行处理的，而后者是合并后处理的。最后思考最开始的那个疑问，两者有什么区别呢？从数据处理上来说，无论是QA还是Text数据格式，都是把它们当做Text数据处理的。看似没有区别，实际上LLM有着强大的模式识别能力，从QA数据集上是可以识别到问答模式的，尽管做的都是无监督学习，没有明确的特征X和标签y。问了下ChatGPT增量训练使用QA数据集和Text数据集间的区别，如下所示：

特征QA 数据集增量训练Text 数据集增量训练
数据格式问题和答案对的形式连续的文本段落、句子或单词序列
目标任务提高问题回答性能提高文本理解和生成性能
数据内容问题和答案对，通常领域特定通常为通用文本，如新闻文章、小说等
数据预处理问题和答案的提取、分词、标记化等文本清理、标记化、分段等
应用示例问答、领域特定任务文本生成、文章摘要、翻译等

  这个回答参考下就行了，还是要以场景为导向来思考，比如要训练一个心理咨询机器人，现在已经有了一个LLM的base模型，如果要增量预训练肯定也是在医疗非结构化文本（比如教材、文献等）上预训练，然后拿心理咨询问答数据进行SFT。应该很少会有人直接拿医疗QA数据集来预训练base模型吧，因为标注的成本还是太高了。若有不当之处，欢迎拍砖。

参考文献：
[1]https://github.com/FlagAlpha/Llama2-Chinese
[2]https://github.com/huxiaosheng123/open-llama2
[3]https://github.com/ymcui/Chinese-LLaMA-Alpaca-2
[4]https://github.com/tatsu-lab/stanford_alpaca
[5]https://github.com/huggingface/transformers/blob/main/examples/pytorch/language-modeling/run_clm.py
[6]https://github.com/ai408/nlp-engineering/blob/main/20230916_Llama2-Chinese/train/pretrain/pretrain_clm.py

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1037923.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++11 - 右值引用

C++11 - 右值引用

临时空间 临时空间具有常性&#xff0c;什么时候会产生临时空间呢&#xff1f; 1、函数传值返回 把aa拷贝给临时空间&#xff0c;如果是很大的对象并且进行深拷贝&#xff0c;消耗会很大 证明&#xff1a; 这是list模拟实现迭代器的和&#xff01;重载时&#xff0c;while( it…
阅读更多...
Secrets

Secrets

文章目录 主要内容一.命令行创建1.命令行创建代码如下&#xff08;示例&#xff09;: 2.解释 二.环境变量secret1.使用刚才创建的密码&#xff0c;创建Pod并进行尝试。代码如下&#xff08;示例&#xff09;: 2.解释 总结 主要内容 命令行创建环境变量secret 预备知识 Secrets…
阅读更多...
车载软件架构 —— AUTOSAR Vector SIP包（二）

车载软件架构 —— AUTOSAR Vector SIP包（二）

车载软件架构 —— AUTOSAR Vector SIP包（二） 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 没有人关注你。也无需有人关注你。你必须承认自己的价值，你不能站在他人的角度来反对自己。人生在…
阅读更多...
【小程序】通过微信提供方法实现条码或二维码的扫描

【小程序】通过微信提供方法实现条码或二维码的扫描

概述 实现扫码获取信息&#xff0c;对接相应接口 可实现详情查询&#xff0c;已经是完整代码了copy都难么 详细 一、前期准备工作 软件环境&#xff1a;微信开发者工具 官方下载地址&#xff1a;微信开发者工具下载地址与更新日志 | 微信开放文档​编辑 二、程序实现具体步…
阅读更多...
机器学习之对神经网络的基本原理的了解

机器学习之对神经网络的基本原理的了解

文章目录 神经网络与机器学习神经网络的结点 神经网络与机器学习 神经网络代替模型和用学习规则代替机器学习 神经网络代替模型&#xff1a; 神经网络是一种受到生物神经系统启发的计算模型&#xff0c;它由多个神经元层组成&#xff0c;这些神经元层之间有连接权重&#xff…
阅读更多...
测试员有必要转测试开发吗？

测试员有必要转测试开发吗？

为什么很多公司都在招测试开发&#xff1f; 质量保证和软件稳定性&#xff1a;测试开发人员在软件开发生命周期中扮演着关键的角色&#xff0c;他们负责编写和执行测试代码&#xff0c;以确保软件的质量和稳定性。他们可以帮助发现和修复潜在的问题和缺陷&#xff0c;提高软件…
阅读更多...
现在公司都在用的CI/CD框架到底是什么？

现在公司都在用的CI/CD框架到底是什么？

目录 一&#xff0c;CI/CD到底是什么&#xff1f; 二&#xff0c;为什么要用CI/CD&#xff1f; 三&#xff0c;CI/CD的优缺点&#xff1f; 四&#xff0c;CI/CD都基于什么服务搭建&#xff1f; 五&#xff0c;CI/CD是否适用于所有类型的软件开发&#xff1f; 一&#xff0…
阅读更多...
Quartus的2FSK调制解调verilog

Quartus的2FSK调制解调verilog

名称&#xff1a;Quartus的2FSK调制解调verilog 软件&#xff1a;Quartus 语言&#xff1a;Verilog 要求&#xff1a;使用verilog实现2FSK的调制和解调&#xff0c;并进行仿真 代码下载&#xff1a;Quartus的2FSK调制解调verilog_Verilog/VHDL资源下载 代码网&#xff1a;…
阅读更多...
SpringBoot之响应处理

SpringBoot之响应处理

文章目录 前言一、返回值处理器ReturnValueHandler流程关于HttpMessageConverters的初始化ReturnValueHandler与MappingJackson2HttpMessageConverter关联 二、内容协商内容协商原理底层源码 三、自定义MessageConverter总结 前言 包括返回值处理器ReturnValueHandler、内容协…
阅读更多...
OpenGLES：绘制一个颜色渐变的圆

OpenGLES：绘制一个颜色渐变的圆

一.概述 今天使用OpenGLES实现一个圆心是玫红色&#xff0c;向圆周渐变成蓝色的圆。 本篇博文的内容也是后续绘制3D图形的基础。 实现过程中&#xff0c;需要重点关注的点是&#xff1a;如何使用数学公式求得图形的顶点&#xff0c;以及加载颜色值。 废话不多说&#xff0c…
阅读更多...
FPGA的BPSK调制verilog

FPGA的BPSK调制verilog

名称&#xff1a;BPSK调制verilog 软件&#xff1a;Quartus 语言&#xff1a;Verilog 要求&#xff1a; 一、设计说明 BPSK调制广泛应用于卫星通信、移动通信等领域。本题目要求设计一个基于直接数字频率合成技术的BPSK调制器&#xff0c;实现对输入周期数字比特流的BPSK调…
阅读更多...
LVGL_基础知识

LVGL_基础知识

LVGL_基础知识 1、设置对象大小 lv_obj_t * obj lv_obj_create(lv_scr_act()); //lv_obj_set_width(obj, 300); //lv_obj_set_height(obj, 500); lv_obj_set_size(obj,200, 240);//和上面两句的效果一样2、获取对象大小 lv_obj_t * obj lv_obj_create(lv_scr_act()); //lv…
阅读更多...
GPS硬件坐标转百度地图坐标

GPS硬件坐标转百度地图坐标

在地图定位开发中&#xff0c;许多定位模块输出坐标系是国际标准 WGS-84 坐标系&#xff0c;所以开发者在国内常见地图定位时&#xff0c;会发现与实际情况有几十米的误差。这并非模块问题&#xff0c; 而是国内地图采用了非标坐标系所致。 国内常见地图如高德地图使用 GCJ-02 …
阅读更多...
Kubernetes集群+Keepalived+Nginx+防火墙 实例

Kubernetes集群+Keepalived+Nginx+防火墙 实例

目录 实验前期规划 1.拓扑图结构 2.实验要求 3.实验环境规划 一.kubeadm 部署 K8S 集群架构 1.环境准备 2.三个节点安装docker 3.三个节点安装kubeadm&#xff0c;kubelet和kubectl 4.部署K8S集群 &#xff08;1&#xff09;初始化 4.部署K8S集群 &#xff08;1&am…
阅读更多...
133.【MySQL_运维篇】

133.【MySQL_运维篇】

MySQL_运维 (一)、日志 ⭐1.日志_错误日志 (ERROR-LOG)(1).错误日志_介绍(2).错误日志_示列 2.日志_二进制日志 (BINARY-LOG)(1).二进制日志_介绍(2).二进制日志_作用(3).二进制日志_格式(4).二进制日志_查看 (CMD)(5).二进制日志_删除 3.日志_查询日志 (GENERAL-LOG)(1).开启_…
阅读更多...
SPA项目的登录注册实现以及数据交互问题

SPA项目的登录注册实现以及数据交互问题

目录 前言 一. 登录&#xff0c;注册静态页面实现 1.1 ElementUI简介 1.2 基于SPA项目完成登录注册 1.2.1 在SPA项目中添加elementui依赖 1.2.2 在main.js中添加elementui模块 1.2.3 在src目录下创建views目录&#xff0c;用于存放vue组件 1.2.4 配置路由 1.2.5 修改项目…
阅读更多...
简单而经典：Java中的冒泡排序算法详解

简单而经典：Java中的冒泡排序算法详解

当谈到简单的排序算法时&#xff0c;冒泡排序&#xff08;Bubble Sort&#xff09;通常是其中之一。虽然它不是最高效的排序算法之一&#xff0c;但它的简单性和易于理解使它成为学习排序算法的良好起点。在本文中&#xff0c;我们将详细介绍Java中的冒泡排序。 冒泡排序的基本…
阅读更多...
服务注册发现_服务自保和服务剔除机制

服务注册发现_服务自保和服务剔除机制

服务剔除&#xff0c;服务自保&#xff0c;这两套功法一邪一正&#xff0c;俨然就是失传多年的上乘心法的上卷和下卷。但是往往你施展了服务剔除便无法施展服务自保&#xff0c;而施展了服务自保&#xff0c;便无法施展服务剔除。也就是说&#xff0c;注册中心在同一时刻&#…
阅读更多...
主从复制MySQL

主从复制MySQL

概述 细节: 1.主库提供增删改的操作,从库提供查询的操作,分担主库压力 2.通过从库备份,全局锁不影响查询,只不过加了全局锁在从库中的数据同步会有一定延迟 3.从库也可以做别的服务器的主库 原理 主从复制的原理是基于二进制日志文件的,当主库中发生数据改变以后,会把SQL写入到…
阅读更多...
力扣刷题-链表-翻转链表

力扣刷题-链表-翻转链表

反转链表是面试中高频题目&#xff0c;很考察面试者对链表操作的熟练程度。 如果再定义一个新的链表&#xff0c;实现链表元素的反转&#xff0c;其实这是对内存空间的浪费。 其实只需要改变链表的next指针的指向&#xff0c;直接将链表反转 &#xff0c;而不用重新定义一个新的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023