Transformer:开源机器学习项目,上千种预训练模型 | 开源日报 No.66

news2024/11/28 6:31:05

picture

huggingface/transformers

Stars: 113.5k License: Apache-2.0

这个项目是一个名为 Transformers 的开源机器学习项目,它提供了数千种预训练模型,用于在文本、视觉和音频等不同领域执行任务。该项目主要功能包括:

  • 文本处理:支持超过 100 种语言的文本分类、信息抽取、问答、摘要生成和翻译等任务。
  • 图像处理:支持图像分类、目标检测和分割等任务。
  • 音频处理:支持语音识别和音频分类等任务。

此外,Transformer 模型还可以对多个领域进行联合操作,例如表格问答、光学字符识别以及从扫描文件中提取信息等。该项目具有以下关键特点和核心优势:

  • 提供 API 快速下载并使用预训练模型,可根据自己的数据集进行微调,并与社区共享。
  • 支持 Jax,PyTorch 和 TensorFlow 三大流行深度学习库之间无缝集成,在加载推理前轻松地训练您的模型。

microsoft/TypeScript

Stars: 94.8k License: Apache-2.0

TypeScript 是一种用于应用规模 JavaScript 的语言。它为 JavaScript 添加了可选类型,支持大型 JavaScript 应用程序的工具,在任何浏览器、任何主机和任何操作系统上都可以使用。TypeScript 编译成易读且符合标准的 JavaScript 代码。

kubernetes/autoscaler

Stars: 7.1k License: Apache-2.0

这个项目是 Kubernetes Autoscaler,它包含了用于自动扩展的组件。
主要功能有:

  • Cluster Autoscaler:根据需要调整 Kubernetes 集群的大小,以确保所有 pod 有运行空间且没有不必要的节点。支持多个公共云提供商。
  • Vertical Pod Autoscaler:一套组件,可以自动调整在 Kubernetes 集群中运行的 pod 所请求的 CPU 和内存数量。当前状态为 beta 版本。
  • Addon Resizer:Vertical Pod Autoscaler 的简化版本,在基于 Kubernetes 集群中节点数目来修改 deployment 的资源需求量。当前状态为 beta 版本。

oceanbase/oceanbase

Stars: 6.3k License: NOASSERTION

picture

OceanBase Database 是一个分布式关系型数据库,完全由蚂蚁集团开发。它构建在通用的服务器集群上,并基于 Paxos 协议和其分布式结构,提供高可用性和线性扩展性。OceanBase Database 不依赖特定的硬件架构。

  • 透明伸缩性:可以将 OceanBase 集群无缝地扩展到 1500 个节点,处理 PB 级数据和万亿行记录。
  • 超快速度:唯一刷新了 TPC-C 纪录 (707 百万 tmpC) 以及 TPC-H 纪录 (1526 万 QphH @30000GB) 的分布式数据库。
  • 实时运营分析:统一系统支持事务处理与实时运营分析工作负载。
  • 持续可用性:采用 Paxos 共识算法实现零 RPO 且低于8秒 RTO;支持城际/远程灾难恢复,在多个位置进行多活动并避免数据丢失
  • 兼容 MySQL:高度兼容 MySQL,迁移过程中几乎没有或者只需要少量修改。
  • 成本效益:前沿压缩技术节省 70%-90% 存储成本而不影响业务表现。多租户体系结构能够更好利用资源。

uBlockOrigin/uAssets

Stars: 2.9k License: GPL-3.0

uAssets 是用于 uBlock Origin (uBO) 资源的存储库。它接收有关新过滤器或导致网页破坏的现有过滤器的所有报告,并欢迎任何贡献者。

stas00/ml-engineering

Stars: 1.0k License: CC-BY-SA-4.0

这个项目是一个开放的方法论集合,旨在帮助成功训练大型语言模型和多模态模型。

  • 提供了调试软件和硬件故障、容错性、性能优化等方面的指导
  • 支持多节点网络通信和模型并行计算
  • 包含有关张量精度/数据类型、训练超参数和初始化以及可重现性等内容的信息

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1172600.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

YOLOv5源码中的参数超详细解析(5)— 验证部分(val.py)参数解析

前言:Hello大家好,我是小哥谈。YOLOv5是一种先进的目标检测算法,它可以实现快速和准确的目标检测。在YOLOv5源码中,train.py和detect.py文件讲完了之后,接着就是讲val.py文件了。本节课就结合源码对val.py文件进行逐行解析~!🌈 前期回顾: YOLOv5源码中的参数超详细解…

对Java的多线程的理解

说说对Java线程的理解 下面是AI的回答 Java线程就是Java程序里面可以同时运行多个任务。Java提供了几种创建和管理线程的方式,其中一种是继承Thread类,另一种是实现Runnable接口或Callable接口。jdk5提供了线程池,可以更方便地创建、启动和终…

3BHE022291R0101 PCD230A 专注于制造卓越人工智能

3BHE022291R0101 PCD230A 专注于制造卓越人工智能 BISTelligence是BISTel的一个分支,BISTel是为全球半导体和FPD制造商提供工程和软件自动化产品的领先供应商。半导体产品集团上个月被卖给了新思科技。在出售给Synopsys之后,Bisetlliegnce成立了两个部门…

面试—如何介绍项目中的多级缓存?

项目中使用的多级缓存也就是 分布式缓存 Redis 本地缓存 Caffeine,那么令 Caffeine 作为一级缓存,Redis 作为二级缓存,在项目中通过记录数据的访问次数,将热点数据放在 本地缓存,将非热点数据放在 Redis缓存 中&#…

生成式人工智能:网络攻击者手中的破坏性力量

2022 年底,公开可用的生成式人工智能工具的推出使我们进入了人类历史上最大的技术革命之一。 一些人声称它的影响与互联网、手机、智能手机和社交媒体的引入一样大,甚至更大。这些新的生成式人工智能技术的采用和发展速度是我们以前从未见过的。 虽然这…

【实战Flask API项目指南】之四 请求和响应处理

实战Flask API项目指南之 请求和响应处理 本系列文章将带你深入探索实战Flask API项目指南,通过跟随小菜的学习之旅,你将逐步掌握 Flask 在实际项目中的应用。让我们一起踏上这个精彩的学习之旅吧! 前言 当小菜踏入Flask后端开发的世界时&…

实证论文复刻|stata安慰剂检验

文章及代码来源:中国工业经济《税收征管数字化与企业内部薪酬差距》 目录 随机抽取对照组和实验组 随机设定政策时点 先po完整代码 *随机抽取对照组和控制组 forvalue i1/500{sysuse 数据1.dta, clear g obs_id _n //初始样本序号gen random_digit runiform() /…

读程序员的制胜技笔记04_有用的反模式(下)

1. 重新发明轮子 1.1. 发明家的特质就是要用质疑的心态对待所有事物,你从未停下质疑,那你将不可避免地成为一个发明家 1.2. 并非所有的事情都有现成的轮子可以拿来用 1.3. 自己重新写一个新的API,最终调用你使用的库 1.3.1. 你的API应该是…

C++二分查找算法的应用:最小好进制

本文涉及的基础知识点 二分查找 题目 以字符串的形式给出 n , 以字符串的形式返回 n 的最小 好进制 。 如果 n 的 k(k>2) 进制数的所有数位全为1,则称 k(k>2) 是 n 的一个 好进制 。 示例 1: 输入:n “13” 输出:“3” …

Canvas制作喷泉效果示例

Canvas能制作出很多动画效果&#xff0c;下面是一个制作喷泉效果的示例 效果图 源代码 <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <meta name"viewport" content"widthdevice-width, initial-scale1 ,user-…

Kubernetes技术与架构-存储 3

如上所示&#xff0c;Kubernetes集群的存储层支持不同类型的存储资源&#xff0c;其提供Projected类型的存储功能整合多种存储资源&#xff0c;将secret、downwardAPI、configMap三种不同类型的存储资源整合成一个挂载到Pod的容器实例中 如上所示&#xff0c;整合两个secret类型…

给跪!我居然被封了!

起因 前两天不知道什么情况&#xff0c;突然收到一条违规信息&#xff0c;说我营销过度&#xff1f;&#xff1f;&#xff1f; 当时一看这个立马有点慌&#xff0c;我的Python爬虫群&#xff0c;付费社群等等不是都受到影响了&#xff1f; 啥我这个号朋友圈啥的都没发&#xff…

ChatGPT 的 Text Completion

该章节我们来学习一下 “Text Completion” &#xff0c;也就是 “文本完成” 。“Text Completion” 并不是一种模型&#xff0c;而是指模型能够根据上下文自动完成缺失的文本部分&#xff0c;生成完整的文本。 ⭐ Text Completion 的介绍 Text Completion 也称为文本自动补全…

项目管理之如何估算项目工作成本

在项目管理中&#xff0c;如何估算项目工作成本是一个关键问题。为了解决这个问题&#xff0c;我们可以采用自上而下的成本限额估算法和自下而上的成本汇总估算法。这两种方法各有优缺点&#xff0c;但都可以帮助我们准确地估算项目工作成本。 自上而下的成本限额估算法 自上…

运维知识点-Docker从小白到入土

Docker从小白到入土 安装问题-有podmanCentos8使用yum install docker -y时&#xff0c;默认安装的是podman-docker软件 安装docker启动dockeryum list installed | grep dockeryum -y remove xxxx安装Docker安装配置下载安装docker启动docker&#xff0c;并设置开机启动下载所…

MySQL 表的增删查改(CRUD)

MySQL 表的增删查改(CRUD) 文章目录 MySQL 表的增删查改(CRUD)1. 新增(Create)2. 查询(Retrieve)2.1 全列查询2.2 指定列查询2.3 查询字段为表达式2.4 别名2.5 去重&#xff1a;DISTINCT2.6 排序&#xff1a;ORDER BY2.7 条件查询2.8 分页查询: LIMIT 3. 修改(Update)4. 删除(D…

Springboot3整合Mybatis-plus3.5.3报错

✅作者简介&#xff1a;大家好&#xff0c;我是Leo&#xff0c;热爱Java后端开发者&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1a;Leo的博客 &#x1f49e;当前专栏&#xff1a; 报错以及Bug ✨特色专栏&#xff1a; …

QT在线安装所有版本,可共存(下载速度飞快)

使用最新的QT在线安装器&#xff0c;安装QT版本时只能安装5.15以及之后的版本&#xff0c;安装QT5.15之前的版本只能通过离线安装的方式&#xff0c;离线安装后还要自己去配置QT&#xff0c;离线安装还有个问题的&#xff0c;后续维护比较麻烦&#xff0c;QT的维护工具还要自己…

ubuntu中如何设置中文输入

文章目录 1.找到设置&#xff08;settings&#xff09;2.找到keyboard3.点击Chinese&#xff0c;选择intelligent pinyin&#xff0c;并点击add4.打开浏览器测试一下 1.找到设置&#xff08;settings&#xff09; 2.找到keyboard 3.点击Chinese&#xff0c;选择intelligent pin…

1+2+4+7+11+16+..x(和不超过3000),求x与式子的和

我们不难发现&#xff1a;每一项的差值成等差数列 用一个for循环&#xff0c;再用一个变量n存储等差数列 for(int i0;i<300;iin) {sumsumi;n; } 完整代码&#xff1a; #include <stdio.h> int main() {int sum 0;int i 0;int n 0;for (i 1;i < 300;i i n){…