大神出新品,吴恩达开源机器翻译智能体项目

news2024/11/28 3:47:26

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。

针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

合集:

《大模型面试宝典》(2024版) 正式发布!
持续火爆!《AIGC 面试宝典》已圈粉无数!


前段时间,随着 GPT-4o、Sora 的陆续问世,多模态模型在生成式方面取得的成绩无可否认,而人工智能的下一个革命性突破将从何处涌现,引起了大量学者和相关人士的关注。

人工智能著名学者、斯坦福大学教授吴恩达一直非常推崇智能体。此前他曾在个人博客着重指出「AI 智能体工作流将会在今年推动人工智能取得长足进步」,AI 智能体的未来潜力愈加被看好,吸睛无数。

近日,吴恩达延续他之前的脚步,开源了一个 AI 智能体机器翻译项目。

图片

项目链接:https://github.com/andrewyng/translation-agent

他分享了关于 AI 智能体机器翻译对改进传统神经机器翻译方面的看法:「具有巨大潜力,尚未被完全发掘」,并发布了一个他一直在周末玩的翻译智能体演示。该翻译智能体以 MIT 许可证形式发布。用户可以自由使用、修改和分发该代码,无论是商业用途还是非商业用途。

在研究团队有限的测试中,吴恩达团队开源的翻译智能体有时能够与领先的商业提供商进行同等水平的竞争,有时则不如它们。但它仍提供了一个高度可控的翻译系统,只需简单更改 prompt,使用者就可以指定语气(正式 / 非正式)、地区变体(例如:使用者想要在西班牙本地说的西班牙语,还是在拉丁美洲说的),并确保术语的翻译一致性(通过提供词汇表)。这个应用程序虽然目前仍稍显稚嫩,但鉴于反思工作流已经展现出不错的成果,吴恩达认为智能体翻译仍有很大的提升空间。

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群, 想要大模型技术交流、了解最新面试动态的、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

想加入星球也可以如下方式:

方式①、微信搜索公众号:机器学习社区,后台回复:交流
方式②、添加微信号:mlc2040,备注:交流

在吴恩达分享的开源项目中,具体介绍了 AI 智能体翻译项目的工作流。

翻译智能体:使用反思工作流进行智能体翻译

这是一个使用 Python 演示的反思智能体工作流的机器翻译示例。主要步骤如下:

1. 输入 prompt,使大型语言模型(LLM)将文本从 source_language 翻译成 target_language;

2. 让 LLM 反思翻译结果,并提出建设性的改进建议;

3. 利用这些建议改进翻译。

自定义能力

通过使用 LLM 作为翻译引擎的核心,该系统具有高度可控性。

例如:通过更改 prompt,这种工作流比传统的机器翻译(MT)系统更容易实现以下功能:

  • 修改输出的风格,如正式 / 非正式。

  • 指定如何处理习语和特殊术语,如名字、技术术语和缩写。例如,在 prompt 中包含术语表,可以确保特定术语(如开源、H100 或 GPU)翻译的一致性。

  • 指定特定区域的语言使用或特定方言,以服务目标受众。例如,拉丁美洲的西班牙语与西班牙的西班牙语不同;加拿大的法语与法国的法语不同。

通过 BLEU(Bilingual Evaluation Understudy)分数进行翻译质量的评估作为有别于传统机器翻译的后起之秀,同样也是衡量 AI 智能体翻译的必由之路。

根据使用传统翻译数据集的 BLEU 分数进行评估的结果:这种工作流有时能与领先的商业产品竞争,但有时表现也不如它们。不过,它偶尔也能够得到非常好的结果,甚至优于商业产品。

他们认为这只是智能体翻译的起点,这一方向在翻译方面很有前景,并且有很大的改进空间。因此,作者团队发布这一演示,以鼓励更多的讨论、实验、研究和开源贡献。

如果相比于更快且更便宜的传统架构(例如输入文本并直接输出翻译的端到端 Transformer 架构),智能体翻译能够有更好的结果,那么它就 neng 提供一种自动生成训练数据(平行文本语料库)的方法,可以用于进一步训练和改进传统算法。

启动

为使 translation-agent 启动,需要遵循以下步骤。

安装:

安装需要 Poetry 管理器。根据安装环境,安装 Poetry 可能需要执行以下步骤:

pip install poetry
git clone https://github.com/andrewyng/translation-agent.gitcd translation-agent
poetry install
poetry shell # activates virtual environment

运行工作流需要一个包含 OPENAI_API_KEY 的 .env 文件,使用者可以参考 .env.sample 文件作为示例。

Usage:

import translation_agent as ta
source_lang, target_lang, country = "English", "Spanish", "Mexico"
translation = ta.translate(source_lang, target_lang, source_text, country)

使用:

import translation_agent as ta
source_lang, target_lang, country = "English", "Spanish", "Mexico"
translation = ta.translate(source_lang, target_lang, source_text, country)

查看 examples/example_script.py 获取一个示例脚本并进行尝试。

翻译智能体的进一步发展

吴恩达在最后还分享了几点希望开源社区能够尝试的想法,希望凭借众家之力将翻译智能体的巨大潜力归为实处。

  • 尝试其他语言生成模型。此项目主要使用 gpt-4-turbo 进行原型开发。其他人可以尝试其他 LLM,以及其他超参数选择,并查看是否有些大模型可以对特定语言更好地翻译。

  • 术语表的创建。使用 LLM 也许可以更高效地建立术语表。例如,许多企业使用的是互联网上不常用的专业术语,而 LLM 可能不知道这些术语。此外,还有许多术语可能有多种翻译方式。例如,「open source」在西班牙语中可以是「Código abierto」或「Fuente abierta」;两者都可以,但最好选择一个并在单个文档中坚持长期使用。

  • 术语表的使用和实施。将术语表包含在 prompt 中最好的方式是什么?

  • 在不同语言上进行评估。翻译智能体在不同语言中的表现会发生怎样的变化?有没有通过一些变动,使其在特定源语言或目标语言上表现更好的方法?(请注意,对于 MT 系统正在接近的较高性能水平,BLEU 是否是一个很好的度量标准仍是不确定的。)此外,对于资源较少的语言,它的性能表现仍需要进一步研究。

  • 错误分析。吴恩达团队发现此应用程序对于一些指定语言和国家 / 地区(例如,「在墨西哥作为普通话的西班牙语」)来说效果很好。除此之外,当前方法在哪些方面仍存有不足?翻译智能体在专业主题(如法律、医学)或特殊文本类型(如电影字幕)上的性能表现如何?存在怎样的限制?

  • 更好的评估指标。吴恩达认为对 AI 智能体翻译进行更好的评估是一个巨大且重要的研究课题。与其他生成自由文本的 LLM 应用程序一样,当前的评估指标似乎并不足够评估翻译智能体的表现。例如,他们发现:即使在主动型工作流程在捕捉上下文和术语方面表现更好的文档上,仍会导致人类评分者更喜欢当前的商业产品,但是在句子级别进行评估(使用 FLORES 数据集)时,主动型系统的 BLEU 得分则较低。在设计出更好的度量标准(也许使用 LLM 评估翻译?)以在文档水平上更好地实现与人类偏好相关的翻译质量仍需更多的努力。

值得注意的是,一些学术研究小组也开始关注基于 LLM 和主动型翻译的研究。

对于 AI 翻译智能体的前景,吴恩达认为这个领域还处于起步阶段,并分享了一些相关的学术论文供大家参考。

图片

  • 论文标题:ChatGPT MT: Competitive for High- (but not Low-) Resource Languages

  • 论文地址:https://arxiv.org/pdf/2309.07423

图片

  • 论文标题:How to Design Translation Prompts for ChatGPT: An Empirical Study

  • 论文地址:https://arxiv.org/pdf/2304.02182v2

图片

  • 论文标题:Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts

  • 论文地址:https://arxiv.org/pdf/2405.11804

吴恩达此次开源的翻译智能体仍处于初级阶段,但已在机器翻译数据集上有了较好的表现,为 AI 智能体的下一步发展注入了又一剂强心针。

参考链接:https://github.com/andrewyng/translation-agent

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1816091.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2 程序的灵魂—算法-2.4 怎样表示一个算法-2.4.2 用流程图表示算法

流程图表示算法,直观形象,易于理解。 【例 2.6】将例 2.1 求 5!的算用流程图表示。 【例 2.7】将例 2.2 的算用流程图表示。 【例 2.8】将例 2.3 判定闰年的算用流程图表示。

双非本科一年20w,已是人中龙凤了

大家好,我是白露啊。 “双非本科一年20w已经是人中龙凤了”……吗? 牛客上刷到这条帖子,我一开始以为是一个钓鱼、引战贴。看完才觉得他说的很对,现在在求职选择工作的时候,网上都觉得得40万、50万,但当真…

SpringSecurity入门(一)

1、引入依赖 spring-boot版本2.7.3&#xff0c;如未特殊说明版本默认使用此版本 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-security</artifactId></dependency><dependency><g…

新书速览|Autodesk Inventor 2024入门与案例实战:视频教学版

《Autodesk Inventor 2024入门与案例实战&#xff1a;视频教学版》 本书内容 《Autodesk Inventor 2024入门与案例实战&#xff1a;视频教学版》以Autodesk Inventor 2024为平台&#xff0c;重点介绍Autodesk Inventor 2024中文版的各种操作方法及其在工程设计领域的应用。《Au…

TOGAF架构介绍

框架组件 软件开发过程中通用能力的集合。 一个完整的框架包括&#xff1a;异常处理组件&#xff0c;数据访问组件&#xff0c;日志组件&#xff0c;错误码组件。

韩顺平0基础学java——第21天

p430-440 enum昨日剩余 enum常用方法&#xff1a; 1.toString已经重写过了&#xff0c;返回的是当前对象名。子类可以重写 2.name&#xff1a;返回当前对象名&#xff08;常量名&#xff09;&#xff0c;子类中不能重写 3.ordinal&#xff1a;返回当前对象的位置号。默认从…

LVGL欢乐桌球游戏(LVGL+2D物理引擎学习案例)

LVGL欢乐桌球游戏&#xff08;LVGL2D物理引擎学习案例&#xff09; 视频效果&#xff1a; https://www.bilibili.com/video/BV1if421X7DL

webshell获取总结(cms获取方法、非cms获取方法、中间件拿Webshell方法)

目录 前期准备&#xff1a; 1、cookices靶场网站搭建&#xff1a; 2、dedecms靶场环境搭建&#xff1a; 获取Webshell方法总结&#xff1a; 一、CMS获取Webshell方法 二、非CMS获取Webshell方法 1、数据库备份获取Webshell 例如&#xff1a; 2、抓包上传获取Webshell 3、…

SPI 配置寄存器程序

/************************************************** * **************************************************/ module zhm_mspi #( parameter C_SPI_CPHA 1 ,// clock phase &#xff0c;0&#xff0c;在 SCLK 的第一个跳变沿进行采样&#xff1b;1&…

Linux - 复盘一次句柄数引发的故障

文章目录 Pre&#xff08;内核、用户、进程&#xff09;句柄数设置问题 shell修复 Pre Linux - 深入理解/proc虚拟文件系统&#xff1a;从基础到高级 &#xff08;内核、用户、进程&#xff09;句柄数设置 在Linux系统中&#xff0c;进程打开的最大句柄数可以通过多种方式配置…

0605 实际集成运算放大器的主要参数和对应用电路的影响

6.5.1 实际集成运放的主要参数 6.5.2 集成运放应用中的实际问题 6.5.2 集成运放应用中的实际问题

【启程Golang之旅】网络编程与反射

欢迎来到Golang的世界&#xff01;在当今快节奏的软件开发领域&#xff0c;选择一种高效、简洁的编程语言至关重要。而在这方面&#xff0c;Golang&#xff08;又称Go&#xff09;无疑是一个备受瞩目的选择。在本文中&#xff0c;带领您探索Golang的世界&#xff0c;一步步地了…

FFmpeg开发笔记(三十五)Windows环境给FFmpeg集成libsrt

《FFmpeg开发实战&#xff1a;从零基础到短视频上线》一书的“10.2 FFmpeg推流和拉流”提到直播行业存在RTSP和RTMP两种常见的流媒体协议。除此以外&#xff0c;还有比较两种比较新的流媒体协议&#xff0c;分别是SRT和RIST。 其中SRT全称为Secure Reliable Transport&#xf…

微信小程序毕业设计-驾校管理系统项目开发实战(附源码+论文)

大家好&#xff01;我是程序猿老A&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;微信小程序毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计…

WEB基础--Mybatis

了解Mybatis 什么是Mybatis 市面上最流行的技术架构&#xff1a;SSM 他们代表了 Spring业务层框架&#xff0c;SpringMvc WEB层框架以及MyBatis数据库持久层框架。 MyBatis 作为一个数据库持久层框架&#xff0c;是基于ORM规范(对象关系映射) 。类似我们以前的JDBC 和 JPA。…

【目标检测】基于深度学习的车牌识别管理系统(含UI界面)【python源码+Pyqt5界面 MX_002期】

系统简介&#xff1a; 车牌识别技术作为经典的机器视觉任务&#xff0c;具有广泛的应用前景。通过图像处理方法&#xff0c;车牌识别技术能够对车牌上的字符进行检测、定位和识别&#xff0c;从而实现计算机对车牌的智能化管理。在现实生活中&#xff0c;车牌识别系统已在小区停…

第二届京津冀现代商贸物流金融创新发展百人大会将于6月16日在廊坊举行

物流是实体经济的“筋络”&#xff0c;联接生产和消费、内贸和外贸&#xff0c;必须有效降低全社会物流成本&#xff0c;增强产业核心竞争力&#xff0c;提高经济运行效率。《京津冀协同发展规划纲要》赋予河北“三区一基地”的功能定位&#xff0c;建设全国现代商贸物流重要基…

vxeTable怎么导出excel文件

文章目录 一、代码示例二、调用导出事件参数详解下载引用 三、过滤某列数据导出 一、代码示例 <vxe-buttonclick"exportDataEvent"circleicon"vxe-icon-download">导出</vxe-button><vxe-tableborderroundstripeheight"auto"ref&…

融合商品计划与供应链管理:打造高效协同供应链生态

在当今竞争激烈的市场环境中&#xff0c;企业要想保持持续的竞争优势&#xff0c;除了拥有创新的产品和服务外&#xff0c;还需要具备高效协同的供应链管理能力。本文将探讨如何将商品计划与供应链管理紧密结合&#xff0c;以打造高效协同的供应链生态&#xff0c;从而提升企业…

3d模型转换器怎么用?---模大狮模型网

在当今数字化时代&#xff0c;3D技术被广泛应用于各行各业&#xff0c;从动画制作到工程设计再到游戏开发&#xff0c;都离不开3D模型。然而&#xff0c;由于不同软件之间的兼容性问题&#xff0c;我们常常需要将一个格式的3D模型转换成另一个格式。在这种情况下&#xff0c;3D…