【InternLM】基于弱智吧数据的微调数据构造实验

news2024/12/23 23:27:00

1. 数据处理流程

在AI领域有句名言:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。可见数据对整个AI的决定性影响,在模型开源化的今天,很多厂商的模型结构都大同小异,那影响最终模型的一大决定因素就是:数据的数量和质量。

1.1 数据选择和采集

微调数据的选择应该基于目标应用场景:

1)领域相关性:选择与预期应用场景密切相关的文本数据。例如,如果目标是法律助理,应选择法律文档和案例。本实验目的是提升模型的推理和识别逻辑陷阱的能力,因此选择弱智吧的数据。

2)质量高:这里指的是问题和回答都要是高质量的,通常需要语法正确,信息准确,风格一致。具体来说,好的回复应该遵循“无害(Harmless)、诚实(Honest)、有帮助(Helpful)”的三H原则。其中Harmless最重要,即回复应避免有害内容、保护隐私、同时避免文化偏见和刻板印象;其次是Honest,即回复应当是真实的,而不是虚构的事实;最后是Helpful,即回复是否能帮助到使用者,这个方面通常比较主观。

3)多样性:确保数据覆盖所有相关子话题,以促进模型的泛化能力。

1.2 数据预处理

为了提高模型的效率和效果,数据预处理是必不可少的步骤:

1)清洗:去除无关的内容,如广告、HTML标签、无意义的填充词等。

2)标准化:统一词汇的格式,比如时间、日期、货币单位等。
3)分词:根据目标模型的需求进行适当的分词处理。

去噪声:消除文本中的错误,如拼写错误、语法错误等

1.3 数据标注

由于微调数据规模不大,因此可以通过标注的方式来进行构造,这里有两种不同的标注方法:

1)人工标注:由人工专家进行标注,确保标注的准确性和一致性。采用人工的方式成本比较高,但质量相对较好,尤其在涉及一些专业领域的时候,领域专家能够更好的理解问题并给出回复。

2)自动标注:使用已有的模型进行初步标注,然后由人工校验和修正。可以采用GPT4来生成回复,再由人工来判断回答的好坏,并进行修正。

1.4 数据增强

数据增强可以提高模型的鲁棒性和泛化能力,常见方法有:

1) 文本重述:用不同的方式表达同一意思,增加文本的多样性。

2) 翻译循环:将文本翻译成一种语言,然后再翻译回原语言,通常用于生成新的文本表达。

3) 合成数据生成:使用规则或模型生成新的训练样本。

1.5 数据划分

通常分为训练集、验证集和测试集。合理划分数据,确保模型能在未见过的数据上进行有效的泛化测试。

2. 模型微调

类似于【InternLM】XTuner微调LLM的流程,在internlm2_1.8b模型的基础上,利用弱智吧数据进行微调训练。

2.1 数据构造

2.1.1 数据的获取

为什么要采用弱智吧的数据进行构造?论文COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning
的试验结果让人大跌眼镜:采用弱智吧在内的数据进行微调,模型在8项测试第一,远超知乎豆瓣小红书等传统意义上的优质数据源,其原因可能是弱智吧的数据像脑筋急转弯,增加了指令多样性,所以提升了模型最终性能,具体分析可参考:https://zhuanlan.zhihu.com/p/690701799

访问 OpenDatalab ,利用cli直接进行弱智吧数据集的下载:


  pip install openxlab #安装
  pip install -U openxlab #版本升级
  
  openxlab login #进行登录,输入对应的AK/SK
  
  openxlab dataset ls --dataset-repo OpenDataLab/COIG-CQIA #数据集文件列表查看, 发现弱智吧数据的目录为/ruozhiba/ruozhiba_ruozhiba.jsonl
  
  openxlab dataset download --dataset-repo OpenDataLab/COIG-CQIA --source-path /ruozhiba/ruozhiba_ruozhiba.jsonl --target-path /root/ft-ruozhiba/data #数据集文件下载
2.1.2 数据格式转换&划分

参考官方教程将数据转为 XTuner 的数据格式和划分训练集和测试集部分的论述,利用ChatGPT等AI工具,通过自然文本描述生成对应的python代码,最终得到的数据集目录如下:
在这里插入图片描述

2.2 微调

调用xtuner命令进行微调:

xtuner train /root/ft-ruozhiba/config/internlm2_1_8b_qlora_ruozhiba_e3.py --work-dir /root/ft-ruozhiba/train --deepspeed deepspeed_zero2

注意:这里有个隐形的坑,若前面下载数据库阶段在同一个python环境下安装了openxlab,那requests库的版本是不符合xtuner要求的,将无法正常进行微调。此外还缺少axiver库,具体提示如下图:
在这里插入图片描述
对这两个冲突的库进行重新安装:

pip install requests==2.31.1
pip install arxiv

2.3 测试数据效果

选择测试数据集中的三条样本作为效果验证:

测试样本原始模型问答微调过程中模型回答最终模型回答
为什么我爸妈结婚的时候没邀请我参加婚礼对不起,我无法回答你的问题。请告诉我其他问题,我会尽力回答。你可以选择与家人一起庆祝,或者选择与朋友一起庆祝。你可以选择参加婚礼,或者选择不参加这个问题很有趣,但是无法从提供的信息中得出准确的答案。有可能你爸妈没有邀请你是因为你还没有结婚,或者你还没有到法定结婚年龄。另外,也可能是因为你还没有成为他们家庭的重要成员,没有得到他们的邀请。无论是什么原因,这都反映了他们对你的一种期待和希望,希望你在他们结婚的时候能够祝福他们,而不是成为他们婚礼上的焦点。
听说拼多多可以假一赔十,那我开店卖假货自己买,岂不是一本十利啊抱歉,您所描述的拼多多假一赔十的规则并不正确。抱歉,您所描述的拼多多假一赔十的规则并不正确。拼多多是一个电商平台,其商品销售规则是由商家自行制定的。如果您想通过拼多多销售假货,建议您遵守平台的销售规则,并确保您的商品符合质量标准。同时,建议您在销售前进行充分的调查和研究,以确保您的商品能够满足消费者的需求。对不起,我无法回答您的问题。如果您有其他问题,欢迎随时向我提问,我会在我能力范围内尽力为您解答。
明明是食品级不锈钢,为什么还是这么难以下咽。食品级不锈钢,是指在食品加工过程中,能保持其原有质量,不改变食品的化学成分,不破坏食品的物理结构,不产生任何有害物质的金属材料。食品级不锈钢是一种经过特殊处理的钢材,其表面具有防腐蚀、防锈、防氧化等特性。但是,由于其表面处理工艺和材料的不同,食品级不锈钢与普通不锈钢相比,其口感和质量可能会略有不同。这个问题涉及到食品卫生和安全的问题,需要从多个方面进行考虑和解释。首先,食品级不锈钢的制造过程中可能存在一些杂质或缺陷,这些杂质或缺陷可能会影响食品的卫生和安全。例如,不锈钢表面的氧化物、金属氧化物、金属微粒等可能会与食品中的细菌、病毒等微生物发生反应,导致食品变质或产生有害物质。其次,食品接触面(如食品容器、餐具等)的卫生和安全问题也需要得到重视。如果食品接触面没有得到适当的清洁和消毒,就可能存在交叉污染的风险,导致食品受到污染或产生有害物质。最后,食品的口味和质量也是影响其口感和质量的重要因素。如果食品本身的味道和质量不好,即使使用食品级不锈钢也无法改善其口感和质量。综上所述,食品级不锈钢虽然具有较好的卫生和安全性能,但在实际使用中仍然需要注意食品的卫生和安全问题,并尽可能选择高质量的食品接触面,以保证食品的质量和口感。

可见,在整个微调,模型的效果会有一些波动,整体而言微调后的模型相较于原始模型有所提升,但在问题1和问题2上的回答也很牵强。

其原因,可能是:
1)测试样本的bias,即只是孤例,并不能反应模型的真实表现;
2)弱智吧数据的难度大,涉及逻辑和脑筋急转弯等,模型难以学习。

2.3 部署和验证

利用xtuner convert命令将上面得到的 PTH 模型转换为 HuggingFace 模型,利用xtuner convert 命令将 HuggingFace adapter 合并到大语言模型,最后利用xtuner chat命令在终端与合并后的模型进行对话。采用和与合并后的模型对话部分一样的两个问题进行测试:

问题1: 浓硫酸里有2%的水,那我喝50杯硫酸是不是相当于喝了杯纯水?

回答1:不,喝50杯浓硫酸实际上喝的是浓硫酸,而不是水。浓硫酸是一种高度腐蚀性的强酸,其密度比水大,因此会浮在水面上。如果你将浓硫酸倒入水中,浓硫酸会溶解在水中,形成硫酸溶液。然而,喝浓硫酸是非常危险的,因为它会迅速导致烧伤和失明。因此,喝浓硫酸是不安全的,应该避免。

问题2:我用水兑水,得到的是稀水还是浓水

回答2:这个问题看似简单,但实际上包含了文字游戏和思维陷阱的元素。在这里,我们需要深入思考“兑”字的含义。首先,让我们来分析这个问题。“兑”在中文中通常表示“混合、混合液体或水”。在这个问题中,“兑”字的使用暗示了一种将一种液体与另一种液体混合的情况。接下来,我们来看看“稀水”和“浓水”这两个词。“稀水”通常是指一种液体中水分的含量较少,通常用于描述液体中水分的含量低于某个特定值。而“浓水”则是指一种液体中水分的含量较高,通常用于描述液体中水分的含量高于某个特定值。现在,让我们来分析这个问题中的情境。问题中提到,通过“兑”来得到“稀水”或“浓水”。这里有一个关键的信息点是,“兑”的结果是改变了液体中水分的含量。基于这个情境,我们可以做出一些推断:1. “稀水”的定义:如果“兑”的结果是将一种液体与另一种液体混合,并且混合后的液体中水分的含量低于原来的液体,那么我们可以推断出“兑”的结果是得到了“稀水”。2. “浓水”的定义:如果“兑”的结果是将一种液体与另一种液体混合,并且混合后的液体中水分的含量高于原来的液体,那么我们可以推断出“兑”的结果是得到了“浓水”。因此,根据这些推断,我们可以得出结论:如果通过“兑”来得到的是“稀水”,那么混合后的液体中水分的含量低于原来的液体;如果得到的是“浓水”,那么混合后的液体中水分的含量高于原来的液体。综上所述,这个问题中的“兑”字使用巧妙,通过改变液体中水分的含量来引出一个关于“稀水”和“浓水”的推断。这个问题考验的是思维的灵活性和对语言文字含义的深刻理解。

与官方资料中的答案并不一致(模型训练的随机性),回答1还是比较科学的,但回答2有点不知所云,感觉像个偏哲学的回答。这再次说明大模型微调中存在一定的不确定性。

3、 参考资料

  1. https://github.com/InternLM/Tutorial/blob/camp2/data_fine_tuning/data_fine_tuning.md

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1631400.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Cranck-Nicolson隐式方法解线性双曲型方程

Cranck-Nicolson隐式方法解线性双曲型方程 Cranck-Nicolson方法在抛物型方程里面比较常用,双曲型方程例子不多,该方法是二阶精度,无条件稳定,然而,数值震荡比较明显,特别是时间演化比较大以及courant数比较…

基于Spring Boot的实验室管理系统设计与实现

基于Spring Boot的实验室管理系统设计与实现 开发语言:Java框架:springbootJDK版本:JDK1.8数据库工具:Navicat11开发软件:eclipse/myeclipse/idea 系统部分展示 管理员登录界面,管理员通过后台登录窗口进…

Maven介绍 主要包括Maven的基本介绍,作用,以及对应的Maven模型,可以对Maven有一个基本的了解

1、Maven介绍 1.1 什么是Maven Maven是Apache旗下的一个开源项目,是一款用于管理和构建java项目的工具。 官网:https://maven.apache.org/ Apache 软件基金会,成立于1999年7月,是目前世界上最大的最受欢迎的开源软件基金会&…

Visual Studio Code基础:打开一个编辑器(文件)时,覆盖了原编辑器

相关阅读 VS codehttps://blog.csdn.net/weixin_45791458/category_12658212.html?spm1001.2014.3001.5482 在使用vscode时,偶尔会出现这样的问题:打开了某个编辑器(文件,下面统称文件)后,再打开其他文件…

【触摸案例-控件不能响应的情况 Objective-C语言】

一、接下来,我们来说这个“控件不能响应的情况”, 1.素材里边,有一个“不接受用户交互的情况”,这么一个代码,把它打开, 把这个项目啊,复制过来,改一个名字,叫做“04-控件不能响应的情况”, 打开之后,command + R,运行一下, 在storyboard上,你也可以看得出来,我…

系统服务(22年国赛)—— nmcli命令部署VXLAN

前言:原文在我的博客网站中,持续更新数通、系统方面的知识,欢迎来访! 系统服务(22年国赛)—— VXLAN服务部署https://myweb.myskillstree.cn/118.html 目录 题目: AppSrv 关闭防火墙和SEli…

哈夫曼编码---一种无损数据压缩算法

哈夫曼编码是一种无损数据压缩算法,该算法在数据压缩,存储和网络传输等领域广泛引用,对互联网的发展也产生了深远的影响。 大家熟知的数据无损压缩软件,如WinRAR,gzip,bzip,lzw,7-z…

ThreeJs 环境配置及遇到问题的解决方法

一、环境搭建 ThreeJs在实际在实际使用中更多的是结合框架开发例如:vue框架、react框架,在使用时需要配置开发环境,本文使用的是vscode ThreeJs NodeJs vue 1、ThreeJs安装 下载路径:GitHub - mrdoob/three.js: JavaScript…

如何进行制造设备数据汇集,发挥数据的价值?

数字化转型正深刻推动制造企业实现远程监控、提高生产效率、降低生产成本、优化产品质量及明晰精细化方向。并且工业互联网的发展离不开工业数据的应用,而制造设备数据汇集正是应用的基础。但制造设备数据汇集存在以下难点及痛点: 1、安全把控难 关键的…

windows日志怎么打开/查看?

windows日志里可以查看到系统进行的各种操作,包括正常开关机记录、dhcp配置警告信息等等,不过很多小伙伴并不知道怎么打开windows日志,为此为大家整理了三种快速打开windows系统日志的方法,大家有需要的话赶紧来看看吧。 目录 一、方法1 二、方法2 三、方法3 (推荐) 一…

基于SpringBoot+Vue乡村养老服务管理系统

项目介绍: 使用旧方法对乡村养老服务管理系统登录的信息进行系统化管理已经不再让人们信赖了,把现在的网络信息技术运用在乡村养老服务管理系统登录的管理上面可以解决许多信息管理上面的难题,比如处理数据时间很长,数据存在错误…

如何用Python语言实现远程控制4路控制器/断路器

如何用Python语言实现远程控制4路控制器/断路器呢? 本文描述了使用Python语言调用HTTP接口,实现控制4路控制器/断路器,支持4路输出,均可独立控制,可接入各种电器。 可选用产品:可根据实际场景需求&#xf…

网红大佬的面子,高阶智驾的里子 | 2024北京车展

相关阅读:2023北京车展 《没有争奇斗艳的车模,只有往死里卷的智能汽车》。 文|刘俊宏 李想、李斌绑定“车圈新顶流”雷军互相抬轿子,红衣大叔周鸿祎高情商点评各家汽车新品...... 为了流量,今年车企大佬们比任何时候…

2024李卜常识王小晨申论类比刷题课

2024年,李卜常识与王小晨申论类比刷题课成为备考公务员考试的热门选择。李卜老师以其深厚的学识,为学员们剖析常识的精髓;而王小晨老师则通过类比刷题的方式,帮助学员们掌握申论的技巧。这两门课程相互补充,让学员们在…

「51媒体」政企宣传邀请媒体的作用?

传媒如春雨,润物细无声,大家好,我是51媒体网胡老师。 政企宣传邀请媒体的作用主要体现在以下几个方面: 提升品牌知名度:通过媒体广泛报道活动内容、亮点及企业形象,可以提升企业或政府的品牌知名度。 增加…

kaggle(4) Regression with an Abalone Dataset 鲍鱼数据集的回归

kaggle(4) Regression with an Abalone Dataset 鲍鱼数据集的回归 import pandas as pd import numpy as npimport xgboost import lightgbm import optuna import catboostfrom sklearn.model_selection import train_test_split from sklearn.metrics …

JS----前端不同格式的 UUID生成

前端 UUID生成 export const generateUUID () > {let timestamp new Date().getTime()let performanceNow (typeof performance ! undefined && performance.now && performance.now() * 1000) || 0return xxxxxxxx-xxxx-4xxx-yxxx-xxxxxxxxxxxx.replac…

【Linux】进程的控制①之进程创建与进程退出

一 、进程的创建 1、fork函数 fork函数功能:从已经存在的进程中创建一个新进程。新进程为子进程,原进程为父进程。 fork函数创建进程过后,父子进程代码和数据是共享的。在前面也讲过。 2.函数的返回值 如果进程创建成功,给父进…

ResNeXt网络结构

一、简介 在ResNet的基础上,对残差结构的block进行了更新。 ResNeXt网络是一种深度神经网络架构,可以视为对ResNet(残差网络)的改进和升级。ResNeXt结合了VGG网络的堆叠相同基础模块的策略以及Inception系列网络中的split-trans…

软件模型(简洁明了)

《 软件测试基础持续更新中》 一、软件开发模型 1.1 大爆炸模型 优点:思路简单, 通常可能是开发者的“突发奇 想” 缺点:开发过程是非工程化的,随意性大,结果不可预知 测试:开发任务完成后,…