昇思25天学习打卡营第4天|基础知识-数据变换 Transforms

news2024/9/21 8:03:03

目录

数据变换 Transforms

环境

 Common Transforms

Compose

 Vision Transforms

Rescale

Normalize

HWC2CHW

Text Transforms

PythonTokenizer 

Lookup

 Lambda Transforms

补充知识

map方法：

lambda函数

 filter() 函数

数据变换 Transforms

通常情况下，直接加载的原始数据并不能直接送入神经网络进行训练，此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换（Transforms），配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入，实现对指定数据列的处理。

mindspore.dataset提供了面向图像、文本、音频等不同数据类型的Transforms，同时也支持使用Lambda函数.

环境

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

导包

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

 Common Transforms

mindspore.dataset.transforms模块支持一系列通用Transforms。以Compose为例：

Compose

Compose接收一个数据增强操作序列，然后将其组合成单个数据增强操作。我们仍基于Mnist数据集呈现Transforms的应用效果

1. 下载数据集

# Download data from open datasets

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)

train_dataset = MnistDataset('MNIST_Data/train')

2. 从训练数据集中获取一个图像及其标签，并打印出该图像的形状，以便了解数据的结构。

# 使用next(train_dataset.create_tuple_iterator())获取数据集中的第一个图像和标签。
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)

# (28, 28, 1)

 3. 数据变换

composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
)

4. 将数据变换应用于'image'数据的每个元素，并返回包含变换后元素的新数据集

# 应用预处理流程到train_dataset的image数据上
train_dataset = train_dataset.map(composed, 'image')
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)

# (1, 28, 28)

 Vision Transforms

mindspore.dataset.vision模块提供一系列针对图像数据的Transforms。在Mnist数据处理过程中，使用了Rescale、Normalize和HWC2CHW变换。

Rescale

Rescale变换用于调整图像像素值的大小，包括两个参数：

  • rescale：缩放因子。
  • shift：平移因子。

图像的每个像素将根据这两个参数进行调整，输出的像素值为𝑜𝑢𝑡𝑝𝑢𝑡𝑖=𝑖𝑛𝑝𝑢𝑡𝑖∗𝑟𝑒𝑠𝑐𝑎𝑙𝑒+𝑠ℎ𝑖𝑓𝑡

（1）先使用numpy随机生成一个像素值在[0, 255]的图像，将其像素值进行缩放。

random_np = np.random.randint(0, 255, (48, 48), np.uint8)
random_image = Image.fromarray(random_np)
print(random_np)

 生成了一个48*48的图像

（2）使用rescale调整大小

rescale = vision.Rescale(1.0 / 255.0, 0)
rescaled_image = rescale(random_image)
print(rescaled_image)

输出结果：

 

Normalize

Normalize变换用于对输入图像的归一化，包括三个参数：

  • mean：图像每个通道的均值。
  • std：图像每个通道的标准差。
  • is_hwc：bool值，输入图像的格式。True为(height, width, channel)，False为(channel, height, width)。

图像的每个通道将根据mean和std进行调整，计算公式为𝑜𝑢𝑡𝑝𝑢𝑡𝑐=（𝑖𝑛𝑝𝑢𝑡𝑐−𝑚𝑒𝑎𝑛𝑐）/𝑠𝑡𝑑𝑐，其中 𝑐代表通道索引。

normalize = vision.Normalize(mean=(0.1307,), std=(0.3081,))
normalized_image = normalize(rescaled_image)
print(normalized_image)

输出结果：

 

HWC2CHW

HWC2CHW变换用于转换图像格式。在不同的硬件设备中可能会对(height, width, channel)或(channel, height, width)两种不同格式有针对性优化。MindSpore设置HWC为默认图像格式，在有CHW格式需求时，可使用该变换进行处理。

这里我们先将前文中normalized_image处理为HWC格式，然后进行转换。可以看到转换前后的shape发生了变化。

hwc_image = np.expand_dims(normalized_image, -1)
hwc2chw = vision.HWC2CHW()
chw_image = hwc2chw(hwc_image)
print(hwc_image.shape, chw_image.shape)

# (48, 48, 1) (1, 48, 48)

Text Transforms

mindspore.dataset.text模块提供一系列针对文本数据的Transforms。

与图像数据不同，文本数据需要有分词（Tokenize）、构建词表、Token转Index等操作。

首先我们定义三段文本，作为待处理的数据，并使用GeneratorDataset进行加载。

texts = ['Welcome to Beijing']

GeneratorDataset是MindSpore提供的一个接口，用于加载自定义数据集。它允许用户通过自定义的数据加载类或数据生成函数来构造数据源，并通过该接口将这些数据源转换为MindSpore可以迭代处理的数据集对象。 

test_dataset = GeneratorDataset(texts, 'text')
PythonTokenizer 

分词（Tokenize）操作是文本数据的基础处理方法，MindSpore提供多种不同的Tokenizer。

以PythonTokenizer举例，此Tokenizer允许用户自由实现分词策略。随后我们利用map操作将此分词器应用到输入的文本中，对其进行分词。

def my_tokenizer(content):
    return content.split()

test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

# [Tensor(shape=[3], dtype=String, value= ['Welcome', 'to', 'Beijing'])]
Lookup

Lookup为词表映射变换，用来将Token转换为Index。

在使用Lookup前，需要构造词表，一般可以加载已有的词表，或使用Vocab生成词表。这里我们选择使用Vocab.from_dataset方法从数据集中生成词表。

vocab = text.Vocab.from_dataset(test_dataset)

获得词表后我们可以使用vocab方法查看词表

print(vocab.vocab())
# {'to': 2, 'Beijing': 0, 'Welcome': 1}

 生成词表后，可以配合`map`方法进行词表映射变换，将Token转为Index。

test_dataset = test_dataset.map(text.Lookup(vocab))
print(next(test_dataset.create_tuple_iterator()))

# [Tensor(shape=[3], dtype=Int32, value= [1, 2, 0])]

 Lambda Transforms

Lambda函数是一种不需要名字、由一个单独表达式组成的匿名函数，表达式会在调用时被求值。Lambda Transforms可以加载任意定义的Lambda函数，提供足够的灵活度.

举例1：

test_dataset = GeneratorDataset([1, 2, 3], 'data', shuffle=False)
test_dataset = test_dataset.map(lambda x: x * 2)
print(list(test_dataset.create_tuple_iterator()))

# [[Tensor(shape=[], dtype=Int64, value= 2)], [Tensor(shape=[], dtype=Int64, value= 4)], [Tensor(shape=[], dtype=Int64, value= 6)]]

举例2：

def func(x):
    return x * x + 2

test_dataset = test_dataset.map(lambda x: func(x))

print(list(test_dataset.create_tuple_iterator()))

# [[Tensor(shape=[], dtype=Int64, value= 6)], [Tensor(shape=[], dtype=Int64, value= 18)], [Tensor(shape=[], dtype=Int64, value= 38)]]

补充知识

map方法：

Python 中的 map() 函数是一个非常有用的内置高阶函数，它接收两个参数：第一个参数是一个函数，第二个参数是一个可迭代对象（如列表、元组等），然后将这个函数应用于可迭代对象的每一个元素上，并返回一个迭代器，该迭代器包含了所有经过函数处理后的元素。

def square(x):  
    return x * x  
  
numbers = [1, 2, 3, 4, 5]  
squared = map(square, numbers)  
  
# 注意：map 返回的是一个迭代器，你需要使用 list() 或其他方式将其转换为列表来查看结果  
print(list(squared))  
# 输出: [1, 4, 9, 16, 25]


# 在一些情况下，列表推导式（list comprehension）可能是比 map() 更直观、更易读的选择。
# 例如，上面的 square 例子也可以写成 [x * x for x in numbers]

使用 lambda 函数

由于 map() 的第一个参数是函数，所以也可以使用 lambda 匿名函数来简化代码：

numbers = [1, 2, 3, 4, 5]  
squared = map(lambda x: x * x, numbers)  
print(list(squared))  
# 输出: [1, 4, 9, 16, 25]

处理多个可迭代对象

map() 也可以处理多个可迭代对象，它会并行地从每个可迭代对象中取出一个元素，然后将这些元素作为参数传递给函数（要求函数能接受相应数量的参数）。

def add(x, y):  
    return x + y  
  
nums1 = [1, 2, 3]  
nums2 = [4, 5, 6]  
sums = map(add, nums1, nums2)  
print(list(sums))  
# 输出: [5, 7, 9]

lambda函数

lambda 函数是 Python 中的一个非常有用的特性，它允许你快速定义单行的最小函数对象。

这些函数可以用作参数传递给高阶函数（比如 filter(), map(), sorted(), reduce() 等），或者作为其他函数的返回值。

lambda 函数本质上是一个匿名函数，因为它没有具体的名称。

语法：

lambda arguments: expression
  • arguments 是传递给函数的参数列表，它们之间用逗号分隔。
  • expression 是关于参数的单个表达式，其结果会被 lambda 函数返回。

例1：加法

add = lambda x, y: x + y  
print(add(5, 3))  # 输出: 8

例2：使用 map() 函数

将列表中的每个元素都乘以 2，可以使用 lambda 函数和 map() 函数来实现

numbers = [1, 2, 3, 4, 5]  
doubled = list(map(lambda x: x * 2, numbers))  
print(doubled)  # 输出: [2, 4, 6, 8, 10]

例3：使用 filter() 函数

filter() 函数用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表。结合 lambda 函数，可以非常方便地实现这一功能

numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]  
filtered = list(filter(lambda x: x % 2 == 0, numbers))  
print(filtered)  # 输出: [2, 4, 6, 8, 10]

例4：在 sorted() 函数中使用

sorted() 函数可以对所有可迭代的对象进行排序操作，lambda 函数允许你指定排序的关键字

pairs = [(1, 'one'), (3, 'three'), (2, 'two'), (4, 'four')]  
pairs.sort(key=lambda pair: pair[1])  
print(pairs)  # 输出: [(4, 'four'), (1, 'one'), (3, 'three'), (2, 'two')]  
  
# 或者使用 sorted() 返回新的列表，不改变原列表  
sorted_pairs = sorted(pairs, key=lambda pair: pair[0])  
print(sorted_pairs)  # 输出: [(1, 'one'), (2, 'two'), (3, 'three'), (4, 'four')]

 filter() 函数

filter() 函数是 Python 的一个内置高阶函数，它用于过滤序列，过滤掉那些不符合条件的元素，返回由符合条件元素组成的新迭代器。

filter() 函数接收两个参数：

  1. 函数：用于测试序列中每个元素的函数。这个函数应该接受一个参数并返回一个布尔值（True 或 False）。如果函数返回 True，则元素会被包含在返回的迭代器中；如果返回 False，则元素会被排除。

  2. 序列：要过滤的序列（如列表、元组等）。

filter() 函数的工作原理是遍历序列中的每个元素，将元素作为参数传递给函数，然后根据函数的返回值（True 或 False）来决定是否将该元素包含在结果迭代器中。

filter(function, iterable)

举例：

def is_even(n):  
    return n % 2 == 0  
  
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]  
filtered_numbers = list(filter(is_even, numbers))  
print(filtered_numbers)  # 输出: [2, 4, 6, 8, 10]

# 写法2
# numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]  
# filtered_numbers = [x for x in numbers if x % 2 == 0]  
# print(filtered_numbers)  # 输出: [2, 4, 6, 8, 10]

传递给 filter() 的函数应该能够接受序列中的元素作为参数，并返回一个布尔值（True 或 False），以指示该元素是否应该包含在结果中。

学习打卡时间

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1957119.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

新手小白也能做！十大跨境电商平台推荐

新手小白也能做！十大跨境电商平台推荐

梦想着将你的商品推向世界吗？跨境电商不仅是一门生意，更是一场文化和创新的交流。但作为新手，面对众多平台，你可能会有些迷茫。别担心，我们为你精选了几个全球知名的跨境电商平台，从入驻条件到开店成本&…
阅读更多...
【windows11禁止自动更新(重启自动更新)】

【windows11禁止自动更新(重启自动更新)】

第一种： 鼠标点击我的电脑点管理，然后就打开了计算机管理，将Windows Update改成禁用，然后确定，重启。 第二种方法： 下载地址:下载地址 下载好之后点击下载的那个应用程序**(点了之后就可以删掉了&#…
阅读更多...
Mysql 输出本月初至当前的全部天数

Mysql 输出本月初至当前的全部天数

代码&#xff1a; SELECT DATE_FORMAT(DATE_ADD(CONCAT(DATE_FORMAT(CURDATE(), "%Y-%m-01")),INTERVAL (CAST(help_topic_id AS SIGNED)) DAY),%Y-%m-%d) as DATE FROMmysql.help_topic WHERE help_topic_id < TIMESTAMPDIFF(DAY, CONCAT(DATE_FORMAT(CURDATE…
阅读更多...
【软件测试】--接口测试

【软件测试】--接口测试

1. 接口用例设计 接口测试的测试点 功能测试 单接口功能&#xff1a; 手工测试中的单个业务模块&#xff0c;一般对应一个接口 登陆业务 --> 登陆接口加入购物车业务 --> 加入购物车接口订单业务 --> 订单接口支付业务 --> 支付接口 借助工具、代码。绕开前端界面…
阅读更多...
Mybatis框架基础知识

Mybatis框架基础知识

Mybatis 1.1什么是Mybatis 1.MyBatis 是一款优秀的持久层框架&#xff0c;它支持自定义 SQL、存储过程以及高级映射。 2.MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。 3.MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO…
阅读更多...
Celeron® J1900/N2807/2930 +FPGA PCI104模块，支持 WinXP（无硬件图形加速）操作系统、宽温

Celeron® J1900/N2807/2930 +FPGA PCI104模块，支持 WinXP（无硬件图形加速）操作系统、宽温

Celeron J1900/N2807/2930 PCI104模块 规格产品类型PCI 104 嵌入式主板芯片组SOCCPUIntel Celeron Processor J1900/N2807/2930内存板载2GB DDR3L双通道内存BIOSAMI 显示 L VDS 18/24-bit&#xff0c;VGA L VDS 支持最大分辨率为 1366768&#xff0c;VGA 支持最大分辨率为2048…
阅读更多...
【分享】三种有效的PDF转Word技巧

【分享】三种有效的PDF转Word技巧

在日常工作和学习中&#xff0c;有时我们需要将PDF文件转换为Word文档&#xff0c;或者转为Word文档后&#xff0c;可以更方便编辑和修改其内容。今天分享3个可以快速转换格式的工具&#xff0c;一起来看看吧&#xff01; 方法1&#xff1a;使用PDF编辑器 PDF编辑器一般具备格…
阅读更多...
SpringBoot整合jasypt加密和解密yml配置文件

SpringBoot整合jasypt加密和解密yml配置文件

使用场景 在微服务架构中&#xff0c;配置管理是一个重要的问题。通常&#xff0c;我们会在配置文件中存放一些敏感信息&#xff0c;如数据库连接字符串、API 密钥等。这些敏感信息如果明文存储在配置文件中&#xff0c;存在较大的安全隐患。为了提高安全性&#xff0c;我们需…
阅读更多...
虚拟串口下载破解

虚拟串口下载破解

文章目录 文章介绍下载链接安装教程 文章介绍 下载虚拟串口并破解 下载链接 下载链接 安装教程 安装完成后不要运行&#xff0c;将Cracked中的文件复制 替换文件安装目录中的这两个文件
阅读更多...
历史性突破：200层以上存储芯片率先量产，领先国外芯片巨头

历史性突破：200层以上存储芯片率先量产，领先国外芯片巨头

中国芯片技术取得了历史性进展&#xff0c;我们已经可以率先实现200层以上存储芯片的量产&#xff0c;走在了国外存储芯片行业前列。 这一突破性的进展&#xff0c;有望使我们在全球芯片行业中占据领先地位。 后起之秀&#xff0c;鱼跃龙门 存储芯片的生产&#xff0c;不仅是…
阅读更多...
三菱GX WORKS3中如何使用恒定周期程序实现定时中断？

三菱GX WORKS3中如何使用恒定周期程序实现定时中断？

三菱GX WORKS3中如何使用恒定周期程序实现定时中断？ 如下图所示，打开GX WOKRS3新建一个项目，恒定周期项目树下，添加一个程序本体，在程序中编写简单的自加1指令INC， 如下图所示，在参数—CPU参数中找到 中断设置—恒定周期间隔设置，我这里使用的是I31定时中断，所以这里我…
阅读更多...
浅入浅出MyBatis（二）简单实现MyBatis底层机制

浅入浅出MyBatis（二）简单实现MyBatis底层机制

MyBatis底层机制示意图 mybatis-config.xml mybatis-config.xml 是MyBatis全局配置文件&#xff0c;在项目中只能有一份。通过该配置文件可以得到SqlSessionFactory对象 SqlSessionFactory 通过SqlSessionFactory可以得到SqlSession&#xff0c;拿到SqlSession就可以操作数据…
阅读更多...
【C语言】简易版扫雷游戏（数组、函数的练习）

【C语言】简易版扫雷游戏（数组、函数的练习）

目录 一、分析和设计 1.1、扫雷游戏的功能分析 1.2、文件结构设计&#xff08;多文件的练习&#xff09; 1.3、数据结构的设计 二、代码 三、效果展示 三、优化 一、分析和设计 1.1、扫雷游戏的功能分析 以在线版的扫雷游戏为参考&#xff0c;分析它的功能&#xff1a;扫…
阅读更多...
JAVA中的多线程详解

JAVA中的多线程详解

1.概念 进程(Process)&#xff1a; 进程是一个包含自身执行地址的程序&#xff0c;多线程使程序可以同时存在多个执行片段&#xff0c;这些执行片段根据不同的条件和环境同步或者异步工作&#xff0c;由于转换的数独很快&#xff0c;使人感觉上进程像是在同时运行。 现在的计…
阅读更多...
Kafka知识总结（事务+数据存储+请求模型+常见场景）

Kafka知识总结（事务+数据存储+请求模型+常见场景）

文章收录在网站&#xff1a;http://hardyfish.top/ 文章收录在网站&#xff1a;http://hardyfish.top/ 文章收录在网站&#xff1a;http://hardyfish.top/ 文章收录在网站&#xff1a;http://hardyfish.top/ 事务 事务Producer保证消息写入分区的原子性&#xff0c;即这批消…
阅读更多...
测试图片测试图片

测试图片测试图片

阅读更多...
nodejs与npm版本对应表

nodejs与npm版本对应表

Node.js — Node.js 版本 (nodejs.org)
阅读更多...
GB28181国标视频汇聚平台EasyCVR视频管理系统如何更改GIS地图的默认位置？

GB28181国标视频汇聚平台EasyCVR视频管理系统如何更改GIS地图的默认位置？

GB28181国标视频汇聚平台EasyCVR视频管理系统以其强大的拓展性、灵活的部署方式、高性能的视频能力和智能化的分析能力&#xff0c;为各行各业的视频监控需求提供了优秀的解决方案。通过简单的配置和操作流程&#xff0c;用户可以轻松地进行远程视频监控、存储和查看&#xff0…
阅读更多...
【Qt开发】No matching signal for on_toolButton_clicked() 解决方案

【Qt开发】No matching signal for on_toolButton_clicked() 解决方案

【Qt开发】No matching signal for on_toolButton_clicked() 解决方案 文章目录 No matching signal for xxx 解决方案附录&#xff1a;C语言到C的入门知识点&#xff08;主要适用于C语言精通到Qt的C开发入门&#xff09;C语言与C的不同C中写C语言代码C语言到C的知识点Qt开发中…
阅读更多...
【C51】8051 微控制器入门指南

【C51】8051 微控制器入门指南

目录 1. 理解 C51 编程环境1.1 了解 8051 微控制器架构1.2 设置开发环境 2. 编写 C51 嵌入式代码2.1 基础代码结构2.2 使用寄存器和 I/O 端口2.3 中断处理2.4 调试和测试 3. 高级特性和优化3.1 嵌套中断3.2 内存管理3.3 外设接口3.4 编译器优化 4. 示例项目4.1 LED 闪烁程序4.2…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023