【Python】轻松实现机器翻译：Transformers库使用教程

news2024/11/14 18:55:22

轻松实现机器翻译：Transformers库使用教程

近年来，机器翻译技术飞速发展，从传统的基于规则的翻译到统计机器翻译，再到如今流行的神经网络翻译模型，尤其是基于Transformer架构的模型，翻译效果已经有了质的飞跃。Transformers库由Hugging Face推出，是目前最流行的自然语言处理库之一，它提供了多种预训练的语言模型，可以用于文本分类、文本生成、机器翻译等任务。本文将详细介绍如何使用Transformers库来实现一个机器翻译模型。
在这里插入图片描述

一、准备工作

在开始之前，请确保安装了Transformers库和PyTorch或TensorFlow框架。以下是安装命令：

pip install transformers torch

本文将使用PyTorch作为深度学习框架，TensorFlow用户可以相应调整代码。
在这里插入图片描述

二、选择模型与数据集

Transformers库提供了多种用于机器翻译的预训练模型，例如：

  • Helsinki-NLP/opus-mt-* 系列：覆盖多种语言对。
  • facebook/wmt19-* 系列：基于WMT19数据集的模型。

可以通过访问Hugging Face的模型库来选择适合的模型。例如，如果要实现英文到法文的翻译，可以使用Helsinki-NLP/opus-mt-en-fr模型。
在这里插入图片描述

三、实现机器翻译步骤

1. 加载预训练模型和分词器

首先，从Transformers库中加载翻译模型和分词器。分词器用于将文本转化为模型可以理解的输入格式。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# 选择模型
model_name = "Helsinki-NLP/opus-mt-en-fr"  # 英文到法文翻译模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

在这里，我们选择了Helsinki-NLP/opus-mt-en-fr模型，用于将英文翻译成法文。对于不同语言对，选择不同的模型即可。

2. 编写翻译函数

在此基础上，我们可以编写一个简单的翻译函数，将输入文本翻译成目标语言。此函数将使用分词器对输入文本进行编码，将编码后的文本传递给模型，然后解码模型的输出生成翻译文本。

def translate(text, tokenizer, model):
    # 将输入文本编码为模型输入格式
    inputs = tokenizer.encode(text, return_tensors="pt", truncation=True)
    # 使用模型生成翻译
    outputs = model.generate(inputs, max_length=40, num_beams=4, early_stopping=True)
    # 解码生成的张量为文本
    translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return translated_text
3. 进行测试

编写好翻译函数后，我们可以测试一些英文句子，看看模型的翻译效果。

english_text = "Hello, how are you?"
translated_text = translate(english_text, tokenizer, model)
print("Translated text:", translated_text)

运行该代码后，您会得到一段翻译后的法文文本。
在这里插入图片描述

四、调整翻译效果

在机器翻译中，生成的翻译文本质量可能会受到生成参数的影响。在model.generate方法中，可以通过调整以下参数来优化效果：

  • max_length: 控制生成的翻译文本的最大长度，防止文本过长。
  • num_beams: 设置beam search的大小。较大的值可以提高翻译质量，但会增加计算量。
  • early_stopping: 设置为True可以让生成过程在合适的时间停止。

例如，您可以将num_beams设置为8来提高翻译效果，或减少max_length以加快生成速度。

outputs = model.generate(inputs, max_length=50, num_beams=8, early_stopping=True)

在这里插入图片描述

五、批量翻译与后处理

如果有多条文本需要翻译，可以使用批量翻译方式，这样可以提高效率。同时，有时模型的输出可能包含冗余标点符号或空格，可以在输出后进行后处理。

批量翻译
def batch_translate(texts, tokenizer, model):
    inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)
    outputs = model.generate(**inputs, max_length=40, num_beams=4, early_stopping=True)
    return [tokenizer.decode(output, skip_special_tokens=True) for output in outputs]
后处理

有时模型的输出可能包含多余的空格或标点符号，可以在生成后进行简单的清理：

import re

def clean_translation(text):
    # 去除多余的空格
    text = re.sub(r"\s+", " ", text)
    # 去除句末多余的标点符号
    text = re.sub(r"\s([?.!"](?:\s|$))", r"\1", text)
    return text

在这里插入图片描述

六、其他进阶操作

1. 使用自定义词汇表

在某些专业领域（例如法律、医学等），需要使用特定的词汇。Transformers支持加载自定义的词汇表来增强翻译的专业性。

2. 微调模型

如果现有的预训练模型无法满足特定任务的需求，可以通过少量特定领域的数据对模型进行微调，以提升翻译效果。Hugging Face提供了Trainer类，可以方便地进行微调操作。
在这里插入图片描述

七、建议

上面介绍了如何使用Transformers库快速搭建机器翻译系统，并使用预训练的翻译模型实现了英文到法文的翻译功能。对于需要翻译其他语言的情况，只需替换适合的模型即可。通过适当调整参数、进行后处理等操作，可以进一步提升翻译效果。如果有更高的要求，还可以对模型进行微调和训练，以适应特定的领域。
在这里插入图片描述

八、完整代码示例

为了方便理解和应用，以下是一个完整的代码示例，从模型加载到翻译文本的处理都包含在内。代码还包括了批量翻译和简单的后处理，方便您在实际项目中使用。

import re
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# 1. 加载模型和分词器
model_name = "Helsinki-NLP/opus-mt-en-fr"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

# 2. 定义翻译函数
def translate(text, tokenizer, model):
    inputs = tokenizer.encode(text, return_tensors="pt", truncation=True)
    outputs = model.generate(inputs, max_length=50, num_beams=8, early_stopping=True)
    translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return clean_translation(translated_text)

# 3. 定义批量翻译函数
def batch_translate(texts, tokenizer, model):
    inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)
    outputs = model.generate(**inputs, max_length=50, num_beams=8, early_stopping=True)
    return [clean_translation(tokenizer.decode(output, skip_special_tokens=True)) for output in outputs]

# 4. 定义翻译后的后处理函数
def clean_translation(text):
    text = re.sub(r"\s+", " ", text)  # 去除多余的空格
    text = re.sub(r"\s([?.!"](?:\s|$))", r"\1", text)  # 去除句末的多余空格
    return text

# 测试单个翻译
english_text = "Hello, how are you?"
translated_text = translate(english_text, tokenizer, model)
print("单条翻译结果:", translated_text)

# 测试批量翻译
texts = ["Hello, how are you?", "I am learning machine translation.", "Transformers library is amazing!"]
translated_texts = batch_translate(texts, tokenizer, model)
print("批量翻译结果:", translated_texts)

在这里插入图片描述

九、机器翻译的挑战和未来发展

尽管使用Transformers库可以快速搭建翻译系统，但机器翻译的效果受限于许多因素：

  1. 模型限制：预训练的通用模型对复杂的句法结构或特定领域的词汇可能翻译得不够准确。
  2. 数据质量：模型的翻译效果与训练数据的质量息息相关。多语言模型在翻译某些低资源语言时效果有限。
  3. 长文本处理：现有模型在翻译长文本时可能会出现文本不连贯、遗漏信息等问题。
未来发展方向

随着研究的深入，机器翻译还在不断演进，未来有几个关键方向可能带来更优质的翻译效果：

  • 大规模预训练多任务模型：如多语言和多任务预训练，可以让模型更好地泛化，提高低资源语言的翻译效果。
  • 小样本微调：通过少量特定领域数据微调模型，可以增强其在特定领域的表现。
  • 增强语言语境理解：结合深度学习中的最新发展（如上下文感知、图神经网络等），可能让机器更好地理解语境。
    在这里插入图片描述

十、总结

使用Transformers库进行机器翻译相对简单且有效，特别适合在项目中快速搭建和测试翻译功能。通过本文的教程，您可以轻松上手机器翻译的基本实现，并理解如何对生成的翻译进行优化。未来，随着自然语言处理技术的不断发展，机器翻译的应用前景会更为广阔。希望本文能帮助您在项目中实现更流畅的翻译体验！
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2240346.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

父子线程间传值问题以及在子线程或者异步情况下使用RequestContextHolder.getRequestAttributes()的注意事项和解决办法

父子线程间传值问题以及在子线程或者异步情况下使用RequestContextHolder.getRequestAttributes()的注意事项和解决办法

用到的工具类： Slf4j Configuration Lazy(false) public class SpringContextUtil{public static HttpServletRequest getRequest() {ServletRequestAttributes servletRequestAttributes (ServletRequestAttributes) RequestContextHolder.getRequestAttributes()…
阅读更多...
FRTC8563实时时钟芯片的作用

FRTC8563实时时钟芯片的作用

FRTC8563是NYFEA徕飞公司推出的一款实时时钟芯片，采用SOP-8封装形式。这种封装形式具有体积小、引脚间距小、便于集成等特点，使得FRTC8563能够方便地应用于各种电子设备中，如：安防摄像机、监控摄像机、行车记录仪、车载电子等。 F…
阅读更多...
怎么样绑定域名到AWS（亚马逊云）服务器

怎么样绑定域名到AWS（亚马逊云）服务器

1，拿着你买的域名去亚马逊申请一个证书。申请证书分两种，一种是去亚马逊后台填域名手动申请 ，另一种是通过API来申请，类似如下代码： 2、证验证书。有两种方式：一种是通过邮件，另一种去到域名提供…
阅读更多...
从0开始深度学习（28）——序列模型

从0开始深度学习（28）——序列模型

序列模型是指一类特别设计来处理序列数据的神经网络模型。序列数据指的是数据中的每个元素都有先后顺序，比如时间序列数据（股票价格、天气变化等）、自然语言文本（句子中的单词顺序）、语音信号等。 1 统计工具 前面介绍…
阅读更多...
边缘计算在工业互联网中的应用

边缘计算在工业互联网中的应用

💓 博客主页：瑕疵的CSDN主页 📝 Gitee主页：瑕疵的gitee主页 ⏩ 文章专栏：《热点资讯》 边缘计算在工业互联网中的应用 边缘计算在工业互联网中的应用 边缘计算在工业互联网中的应用 引言 边缘计算概述 定义与原理 发展…
阅读更多...
蓝桥杯——杨辉三角

蓝桥杯——杨辉三角

代码 package day3;public class Demo2 {public static void main(String[] args) {// TODO Auto-generated method stub// for (int i 0; i < 10; i) {// for (int j 0; j < 10; j) {// System.out.print("外&#xff1a;"i"内&#xff1a;&qu…
阅读更多...
uniapp中多角色导致tabbar过多的解决方式

uniapp中多角色导致tabbar过多的解决方式

由于项目时间较紧张&#xff0c;找了很多却没找到特别合适的方法&#xff0c;最后使用了此方式。 一、自己封装tabbar组件 这里就不介绍怎么封装了&#xff0c;先说一下缺点&#xff1a; 1.跳转会有白屏问题&#xff08;并且搜了好多资料以及查看官网发现没有特别合适的方法…
阅读更多...
【JVM】关于JVM的内部原理你到底了解多少（八股文面经知识点）

【JVM】关于JVM的内部原理你到底了解多少（八股文面经知识点）

前言 &#x1f31f;&#x1f31f;本期讲解关于HTTPS的重要的加密原理~~~ &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 &#x1f525; 你的点赞就是小编不断更新的最大动力 &#x1f386;那么废话不…
阅读更多...
机器学习 ---模型评估、选择与验证(1)

机器学习 ---模型评估、选择与验证(1)

目录 前言 一、为什么要有训练集与测试集 1、为什么要有训练集与测试集 2、如何划分训练集与测试集 二、欠拟合与过拟合 1、什么是欠拟合与欠拟合的原因 2、什么是过拟合与过拟合的原因 一些解决模型过拟合和欠拟合问题的常见方法&#xff1a; 解决过拟合问题&#…
阅读更多...
第74期 | GPTSecurity周报

第74期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区&#xff0c;集成了生成预训练Transformer&#xff08;GPT&#xff09;、人工智能生成内容&#xff08;AIGC&#xff09;以及大语言模型&#xff08;LLM&#xff09;等安全领域应用的知识。在这里&#xff0c;您可以找…
阅读更多...
SpringBoot（八）使用AES库对字符串进行加密解密

SpringBoot（八）使用AES库对字符串进行加密解密

博客的文章详情页面传递参数是使用AES加密过得，如下图所示： 这个AES加密是通用的加密方式，使用同一套算法，前端和后端都可以对加密之后的字符串进行加密解密操作。 目前线上正在使用的是前端javascript进行加密操作，将加密之后的字符串再传递到后端，PHP再进行解密操作。…
阅读更多...
JavaScript逆向爬虫教程-------基础篇之JavaScript密码学以及CryptoJS各种常用算法的实现

JavaScript逆向爬虫教程-------基础篇之JavaScript密码学以及CryptoJS各种常用算法的实现

目录 一、密码学介绍 1.1 为什么要学密码学?1.2 密码学里面学哪一些 二、字符编码三、位运算四、Hex 编码与 Base64 编码 4.1 Hex 编码4.2 Base64 编码 五、消息摘要算法 5.1 简介5.2 JS中的MD5、SHA、HMAC、SM3 六、对称加密算法 6.1 介绍6.2 加密模式和填充方式6.3 CryptoJ…
阅读更多...
《实时流计算系统设计与实现》-Part 2-笔记

《实时流计算系统设计与实现》-Part 2-笔记

做不到实时 做不到实时的原因 实时计算很难。通过增量计算的方式来间接获得问题的&#xff08;伪&#xff09;实时结果&#xff0c;即使这些结果带有迟滞性和近似性&#xff0c;但只要能够带来尽可能最新的信息&#xff0c;那也是有价值的。 原因可分成3个方面&#xff1a; …
阅读更多...
gdb调试redis。sudo

gdb调试redis。sudo

1.先启动redis-server和一个redis-cli。 2.ps -aux|grep reids查看redis相关进程。 3.开始以管理员模式附加进程调试sudo gdb -p 2968.注意这里不能不加sudo&#xff0c;因为Redis 可能以 root 用户启动&#xff0c;普通用户无法附加到该进程。否则就会出现可能下列情形&#…
阅读更多...
长连接配置以及断线重连

长连接配置以及断线重连

目录 长连接index 主要进行连接 import SockJS from "sockjs-client"; import Stomp from "stompjs"; import { notification } from "antd"; // 网络请求API import { nowApiAddressObj } from "../api/nowApiAddressObj";// 工具 i…
阅读更多...
LeetCode【0054】螺旋矩阵

LeetCode【0054】螺旋矩阵

本文目录 1 中文题目2 求解方法&#xff1a;数学模拟2.1 方法思路2.2 Python代码2.3 复杂度分析 3 题目总结 1 中文题目 给定一个 m 行 n 列的矩阵 matrix &#xff0c;请按照 顺时针螺旋顺序 &#xff0c;返回矩阵中的所有元素。 示例&#xff1a; 提示&#xff1a; 1 ≤ m …
阅读更多...
万字长文解读深度学习——训练（DeepSpeed、Accelerate）、优化（蒸馏、剪枝、量化）、部署细节

万字长文解读深度学习——训练（DeepSpeed、Accelerate）、优化（蒸馏、剪枝、量化）、部署细节

&#x1f33a;历史文章列表&#x1f33a; 深度学习——优化算法、激活函数、归一化、正则化深度学习——权重初始化、评估指标、梯度消失和梯度爆炸深度学习——前向传播与反向传播、神经网络&#xff08;前馈神经网络与反馈神经网络&#xff09;、常见算法概要汇总万字长文解读…
阅读更多...
C#版使用融合通信API发送手机短信息

C#版使用融合通信API发送手机短信息

目录 功能实现 范例运行环境 实现范例 类设计 类代码实现 调用范例 总结 功能实现 融合云通信服务平台&#xff0c;为企业提供全方位通信服务&#xff0c;发送手机短信是其一项核心功能&#xff0c;本文将讲述如何使用融合云服务API为终端手机用户发送短信信息&#xf…
阅读更多...
第四十五章 Vue之Vuex模块化创建（module）

第四十五章 Vue之Vuex模块化创建（module）

目录 一、引言 二、模块化拆分创建方式 三、模块化拆分完整代码 3.1. index.js 3.2. module1.js 3.3. module2.js 3.4. module3.js 3.5. main.js 3.6. App.vue 3.7. Son1.vue 3.8. Son2.vue 四、访问模块module的state ​五、访问模块中的getters ​六、mutati…
阅读更多...
如何解决不能将开发板连接到虚拟机的问题（连接显示灰色，不能选中）

如何解决不能将开发板连接到虚拟机的问题（连接显示灰色，不能选中）

-- 如果连接上rk3588单片机&#xff0c;虚拟机无法来连接&#xff0c;如何更改 -- 先将虚拟机关机 -- 将虚拟机的配置文件以文本文件的形式打开 -- 再将所有的FALSE改为TRUE即可 -- 然后再次打开虚拟机即可
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023