【HuggingFace Transformer库学习笔记】基础组件学习：Datasets

news2024/11/18 10:30:17

基础组件——Datasets

在这里插入图片描述
在这里插入图片描述

datasets基本使用

在这里插入图片描述

导入包

from datasets import *

加载数据

datasets = load_dataset("madao33/new-title-chinese")
datasets

DatasetDict({
    train: Dataset({
        features: ['title', 'content'],
        num_rows: 5850
    })
    validation: Dataset({
        features: ['title', 'content'],
        num_rows: 1679
    })
})

加载数据集合集中的某一项子集

boolq_dataset = load_dataset("super_glue", "boolq")
boolq_dataset

DatasetDict({
    train: Dataset({
        features: ['question', 'passage', 'idx', 'label'],
        num_rows: 9427
    })
    validation: Dataset({
        features: ['question', 'passage', 'idx', 'label'],
        num_rows: 3270
    })
    test: Dataset({
        features: ['question', 'passage', 'idx', 'label'],
        num_rows: 3245
    })
})

按照数据集划分进行加载

dataset = load_dataset("madao33/new-title-chinese", split="train")
dataset

Dataset({
    features: ['title', 'content'],
    num_rows: 5850
})

dataset = load_dataset("madao33/new-title-chinese", split="train[10:100]")
dataset

Dataset({
    features: ['title', 'content'],
    num_rows: 90
})

dataset = load_dataset("madao33/new-title-chinese", split="train[:50%]")
dataset

Dataset({
    features: ['title', 'content'],
    num_rows: 2925
})

dataset = load_dataset("madao33/new-title-chinese", split=["train[:50%]", "train[50%:]"])
dataset

[Dataset({
     features: ['title', 'content'],
     num_rows: 2925
 }),
 Dataset({
     features: ['title', 'content'],
     num_rows: 2925
 })]

查看数据集

datasets = load_dataset("madao33/new-title-chinese")
datasets

DatasetDict({
    train: Dataset({
        features: ['title', 'content'],
        num_rows: 5850
    })
    validation: Dataset({
        features: ['title', 'content'],
        num_rows: 1679
    })
})

查看某一个数据

datasets["train"][0]

{'title': '望海楼是危险的赌博',
 'content': '近期妥善处理）'}

查看某一些数据

datasets["train"][:2]

{'title': ['望海楼是危险的赌博'],
 'content': ['撒打发是',
  '在推进“双一流”高校建设进程中']}

查看列名

datasets["train"].column_names

['title', 'content']

查看列属性

{'title': Value(dtype='string', id=None),
 'content': Value(dtype='string', id=None)}

数据集划分
可使用train_test_split这个函数

dataset = datasets["train"]
dataset.train_test_split(test_size=0.1)		# 按测试集比例为10%划分

DatasetDict({
    train: Dataset({
        features: ['title', 'content'],
        num_rows: 5265
    })
    test: Dataset({
        features: ['title', 'content'],
        num_rows: 585
    })
})

对于分类任务，指定标签字段，然后让这个数据集均衡划分标签字段

dataset = boolq_dataset["train"]
dataset.train_test_split(test_size=0.1, stratify_by_column="label")     # 分类数据集可以按照比例划分

DatasetDict({
    train: Dataset({
        features: ['question', 'passage', 'idx', 'label'],
        num_rows: 8484
    })
    test: Dataset({
        features: ['question', 'passage', 'idx', 'label'],
        num_rows: 943
    })
})

数据选取与过滤

# 选取
datasets["train"].select([0, 1])

Dataset({
    features: ['title', 'content'],
    num_rows: 2
})

# 过滤
## 传入一个lambda函数，让其只取含有中国的数据
filter_dataset = datasets["train"].filter(lambda example: "中国" in example["title"])

filter_dataset["title"][:5]

['世界探寻中国成功秘诀',
 '信心来自哪里',
 '世界减贫跑出加速度',
 '和音瞩目历史交汇点',
 '风采感染世界']

数据映射

def add_prefix(example):
    example["title"] = 'Prefix: ' + example["title"]
    return example

prefix_dataset = datasets.map(add_prefix)	# 每个title数据前面添加了前缀
prefix_dataset["train"][:10]["title"]

['Prefix: 危险的',
 'Prefix: 大力推进高校治理能力建设',
 'Prefix: 坚持事业为上选贤任能',
 'Prefix: “大朋友”的话儿记心头',
 'Prefix: 用好可持续发展这把“金钥匙”',
 'Prefix: 跨越雄关，我们走在大路上',
 'Prefix: 脱贫奇迹彰显政治优势',
 'Prefix: 拱卫亿万人共同的绿色梦想',
 'Prefix: 育人育才',
 'Prefix: 净化网络语言']

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
def preprocess_function(example, tokenizer=tokenizer):
    model_inputs = tokenizer(example["content"], max_length=512, truncation=True)
    labels = tokenizer(example["title"], max_length=32, truncation=True)
    # label就是title编码的结果
    model_inputs["labels"] = labels["input_ids"]
    return model_inputs

processed_datasets = datasets.map(preprocess_function)	# 添加了分类标签
processed_datasets

DatasetDict({
    train: Dataset({
        features: ['title', 'content', 'input_ids', 'token_type_ids', 'attention_mask', 'labels'],
        num_rows: 5850
    })
    validation: Dataset({
        features: ['title', 'content', 'input_ids', 'token_type_ids', 'attention_mask', 'labels'],
        num_rows: 1679
    })
})

processed_datasets = datasets.map(preprocess_function, batched=True)	# 使用批处理
processed_datasets

DatasetDict({
    train: Dataset({
        features: ['title', 'content', 'input_ids', 'token_type_ids', 'attention_mask', 'labels'],
        num_rows: 5850
    })
    validation: Dataset({
        features: ['title', 'content', 'input_ids', 'token_type_ids', 'attention_mask', 'labels'],
        num_rows: 1679
    })
})

去除某一字段

processed_datasets = datasets.map(preprocess_function, batched=True, remove_columns=datasets["train"].column_names)
processed_datasets

DatasetDict({
    train: Dataset({
        features: ['input_ids', 'token_type_ids', 'attention_mask', 'labels'],
        num_rows: 5850
    })
    validation: Dataset({
        features: ['input_ids', 'token_type_ids', 'attention_mask', 'labels'],
        num_rows: 1679
    })
})

保存与加载

# 保存
processed_datasets.save_to_disk("./processed_data")
# 加载
processed_datasets = load_from_disk("./processed_data")

加载本地数据集

# 加载本地csv文件
dataset = load_dataset("csv", data_files="./ChnSentiCorp_htl_all.csv", split="train")
dataset

Dataset({
    features: ['label', 'review'],
    num_rows: 7766
})

dataset = Dataset.from_csv("./ChnSentiCorp_htl_all.csv")
dataset

Dataset({
    features: ['label', 'review'],
    num_rows: 7766
})

加载文件夹内全部文件作为数据集

# 使用data_dir加载全部文件夹内文件
dataset = load_dataset("csv", data_dir="./all_data/", split='train')
dataset

Dataset({
    features: ['label', 'review'],
    num_rows: 23298
})

# 使用data_files加载文件夹内指定文件
dataset = load_dataset("csv", data_files=["./all_data/ChnSentiCorp_htl_all.csv", "./all_data/ChnSentiCorp_htl_all copy.csv"], split='train')
dataset

Dataset({
    features: ['label', 'review'],
    num_rows: 15532
})

通过其他方式读取数据，再将其转换成datasets

import pandas as pd

data = pd.read_csv("./ChnSentiCorp_htl_all.csv")
data.head()

在这里插入图片描述

dataset = Dataset.from_pandas(data)
dataset

Dataset({
    features: ['label', 'review'],
    num_rows: 7766
})

# List格式的数据需要内嵌{}，明确数据字段
data = [{"text": "abc"}, {"text": "def"}]
# data = ["abc", "def"]
Dataset.from_list(data)

Dataset({
    features: ['text'],
    num_rows: 2
})

通过自定义加载脚本加载数据集

 load_dataset("json", data_files="./cmrc2018_trial.json", field="data")

DatasetDict({
    train: Dataset({
        features: ['title', 'paragraphs', 'id'],
        num_rows: 256
    })
})

dataset = load_dataset("./load_script.py", split="train")
dataset



dataset[0]

{'id': 'TRIAL_800_QUERY_0',
 'context': '基于《跑跑卡丁车》与《泡泡堂》上所开发的游戏，由韩国Nexon开发与发行。中国大陆由盛大游戏运营，这是Nexon时隔6年再次授予盛大网络其游戏运营权。台湾由游戏橘子运营。玩家以水枪、小枪、锤子或是水炸弹泡封敌人(玩家或NPC)，即为一泡封，将水泡击破为一踢爆。若水泡未在时间内踢爆，则会从水泡中释放或被队友救援(即为一救援)。每次泡封会减少生命数，生命数耗完即算为踢爆。重生者在一定时间内为无敌状态，以踢爆数计分较多者获胜，规则因模式而有差异。以2V2、4V4随机配对的方式，玩家可依胜场数爬牌位(依序为原石、铜牌、银牌、金牌、白金、钻石、大师) ，可选择经典、热血、狙击等模式进行游戏。若游戏中离，则4分钟内不得进行配对(每次中离+4分钟)。开放时间为暑假或寒假期间内不定期开放，8人经典模式随机配对，采计分方式，活动时间内分数越多，终了时可依该名次获得奖励。',
 'question': '生命数耗完即算为什么？',
 'answers': {'text': ['踢爆'], 'answer_start': [127]}}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1390132.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

高级定时器

高级定时器

本节主要介绍以下内容： 定时器简介 高级定时器功能框图讲解 一、定时器简介 定时器功能 ：定时、输出比较、输入捕获、断路输入 定时器分类 ：基本定时器、通用定时器、高级定时器 定时器资源 ：F103有2个高级定时器、4个通…
阅读更多...
C#编程-实现委托

C#编程-实现委托

实现委托 委托是可以存储对方法的引用的对象。在C#中，委托允许您动态地改变类中方法的引用。 考虑咖啡售货机的示例，它配置不同口味的咖啡，例如卡布奇诺咖啡和黑咖啡。在选择所需口味的咖啡时，售货机决定混合各种成分，例如奶粉、咖啡粉、热水、卡布奇诺咖啡粉。所有的材…
阅读更多...
构建一个最新版本 Maven 项目

构建一个最新版本 Maven 项目

文章目录 构建一个最新版本 Maven 项目1. 所用各种软件的版本2. 踩过的坑3. 构建项目过程4. 项目打包方式 构建一个最新版本 Maven 项目 截止 2024 年 1 月 13 日，Apache 官网上 Maven 的最新安全版本为 3.9.6，下载、安装及配置方法见之前的博客&#x…
阅读更多...
TIMESAT提取物候信息操作流程

TIMESAT提取物候信息操作流程

TIMESAT提取物候信息操作流程 软件环境：Matlab R2014aTIMESAT3.2 数据介绍：MODIS A3或Q1的NVI（NDVI）均测试过这个流程，可行（大拇指）。 TIMESAT输入n年数据，提取n-1年的物候参数。通…
阅读更多...
jmeter--4.参数化的方式

jmeter--4.参数化的方式

目录 1. 用户定义的变量 2. 用户参数 3. 函数助手 3.1 time获取当前时间 3.2 Random随机数 3.3 随机字符串函数 3.4 字符串变更为大写 4. CSV数据文件设置 5. 接口关联--正则和json等提取 1. 用户定义的变量 线程组->添加->配置元件->用户定义的变量 引用方…
阅读更多...
【设计模式-06】Observer观察者模式

【设计模式-06】Observer观察者模式

简要说明 事件处理模型 场景示例：小朋友睡醒了哭，饿！ 一、v1版本(披着面向对象的外衣的面向过程) /*** description: 观察者模式-v1版本(披着面向对象的外衣的面向过程)* author: flygo* time: 2022/7/18 16:57*/ public class ObserverMain…
阅读更多...
MySQL 从零开始：05 MySQL 数据类型

MySQL 从零开始：05 MySQL 数据类型

文章目录 1、数值类型1.1 整形数值1.2 浮点型数值1.3 布尔值 2、日期和时间类型3、字符串类型3.1 CHAR 和 VARCHAR3.2 BINARY 和 VARBINARY3.3 BLOB 和 TEXT3.4 ENUM 类型3.5 SET 类型 4、空间数据类型5、JSON 数据类型5、JSON 数据类型 前面的讲解中已经接触到了表的创建&…
阅读更多...
这款软件轻松解决你图片水印问题

这款软件轻松解决你图片水印问题

随着数字时代的到来，图片已经成为我们生活中不可或缺的一部分。然而，很多时候，我们会遇到带有水印的图片，这不仅影响了图片的视觉效果，还可能遮挡了重要的内容。这时，一款专业的去水印工具就显得尤为重要。…
阅读更多...
博途PLC增量式PID和脉冲轴组合控制阀门开度(算法介绍)

博途PLC增量式PID和脉冲轴组合控制阀门开度(算法介绍)

这篇博客我们以S7-1200PLC平台来举例，介绍我们的PID闭环控制器如何控制脉冲轴实现阀门角度控制。SMART PLC PID控制器控制伺服驱动器实现关节角度控制详细内容请参考下面文章： https://rxxw-control.blog.csdn.net/article/details/129658364https://rxxw-control.blog.csdn…
阅读更多...
Python基础语法（中）—— python列表、字符串、函数

Python基础语法（中）—— python列表、字符串、函数

文章目录 5. python中的列表5.1 列表的初始化5.1.1 直接初始化5.1.2 通过append函数初始化5.1.3 通过for语句初始化列表长度和每个位置的数值 5.2访问列表元素5.3使用循环语句遍历列表5.4列表的切片操作5.5列表的复制5.6列表的运算5.7列表的常用操作5.8嵌套列表5.9列表其他小知…
阅读更多...
【手撕C语言 第二集】初识C语言

【手撕C语言 第二集】初识C语言

​​ 一、变量的作用域和生命周期 作用域：一个变量在哪里可以使用它，哪里就是它的作用域。 局部变量的作用域：变量所在的局部范围 全局变量的作用域：整个工程 不管整个工程里面有多少源文件，都可以使用全局变量。这样…
阅读更多...
力扣电话号码的组合

力扣电话号码的组合

文章目录 题目说明做题思路代码实现代码解析 题目链接 题目说明 首先我们先分析一下这个题目题目中说呢先给出一个字符串这个字符串其实就是这个九键数字我们要按照要求将数字所代表的字符进行自由组合形成一个字符串并且这个字符串的长度和输入的数字字符串长度相同&#xff0…
阅读更多...
《每天一分钟学习C语言·十二》各种指针问题

《每天一分钟学习C语言·十二》各种指针问题

1、 int arr; int * restrict pt &arr; *pt 100; *arr 10;注：restrict只能修饰指针，被restrict修饰的指针指向一块内存后这块内存就归这个指针管理了，其他任何指针都不能修改这块内存的内容，这是一个约定，当…
阅读更多...
备份和容灾讲解

备份和容灾讲解

备份和容灾 （1）容灾（容许灾难的发生）是一种架构方案，包括了很多方案，如下 本地高可用 双活（特指存储，可以理解为两端同时对外提供服务）：通过一个双写模块把…
阅读更多...
20240115-插入删除 GetRandom O(1)

20240115-插入删除 GetRandom O(1)

题目要求 实现 RandomizedSet 类： RandomizedSet() 初始化 RandomizedSet 对象。bool insert(int val) 将不存在的项目 val 插入随机集合。如果项目不存在，则返回 true，否则返回 false。bool remove(int val) 从集合中删除项目 val&#xf…
阅读更多...
文理导航期刊投稿方式

文理导航期刊投稿方式

《文理导航》杂志系国家新闻出版总署批准，内蒙古自治区文旅厅主管，内蒙古自治区北方文化研究院主办的，面向大中专院校、中小学教育的专业性教育刊物，阅读对象是关心教育事业发展的大中专院校、职业教育、中小学教育的专家、教研员…
阅读更多...
FFmpeg连载6-音频重采样

FFmpeg连载6-音频重采样

今天我们的实战内容是将音频解码成PCM，并将PCM重采样成特定的采样率，然后输出到本地文件进行播放。 什么是重采样？ 所谓重采样，一句话总结就是改变音频的三元素，也就是通过重采样改变音频的采样率、采样格式或者声道数…
阅读更多...
PHP项目添加分布式锁，这里是ThinkPHP8框架实现分布式锁

PHP项目添加分布式锁，这里是ThinkPHP8框架实现分布式锁

背景：公司旧项目，最初访问量不多，单机部署的。后来，访问量上来了，有阵子很卡，公司决定横向扩展，后端代码部署了三台服务器。部署调整后，有用户反馈，一个订单支付了三次。…
阅读更多...
【机器学习入门】机器学习基础概念与原理

【机器学习入门】机器学习基础概念与原理

*（本篇文章旨在帮助新手了解机器学习的基础概念和原理，不深入讨论算法及核心公式） 目录 一、机器学习概念 1、什么是机器学习？ 2、常见机器学习算法和模型 3、使用Python编程语言进行机器学习实践 4、机器学习的应用领域 二…
阅读更多...
从零学Java 多线程的三个特性

从零学Java 多线程的三个特性

多线程的三个特性 多线程要保证并发线程正确执行，必须要保证三个特性。 1 原子性（互斥性）： 一个或多个操作不能被分割，要么全部执行，要么就都不执行。 2 可见性： 多个线程访问同一个变量&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023