大模型量化技术-GPTQ

news2024/11/15 8:44:54

大模型量化技术-GPTQ

2022年，Frantar等人发表了论文 GPTQ：Accurate Post-Training Quantization for Generative Pre-trained Transformers。
在这里插入图片描述

在这里插入图片描述

这篇论文详细介绍了一种训练后量化算法，适用于所有通用的预训练 Transformer模型，同时只有微小的性能下降。

GPTQ算法需要通过对量化模型进行推理来校准模型的量化权重。详细的量化算法在原始论文中有描述。

基于auto-gptq 开源实现库，transformers 支持使用GPTQ算法量化的模型。
在这里插入图片描述

在这里插入图片描述

GPTQ：Accurate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1568635.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

Autodesk Maya 2025 Multilanguage (macOS, Linux, Windows) - 三维动画和视觉特效软件

Autodesk Maya 2025 Multilanguage (macOS, Linux, Windows) - 三维动画和视觉特效软件三维计算机动画、建模、仿真和渲染软件请访问原文链接：https://sysin.org/blog/autodesk-maya/，查看最新版。原创作品，转载请保留出处。作者主页&a…

‘cv2’、PIL、torch、torchivision

运行环境安装失败集 1、 ModuleNotFoundError: No module named ‘cv2’No module named ‘cv2’ opencv-python PEP517 ERROR2、ModuleNotFoundError: No module named PIL3、torch、torchvision安装 1、 ModuleNotFoundError: No module named ‘cv2’ No module named ‘cv…

基于SSM的社区疫情防控管理信息系统

目录背景技术简介系统简介界面预览背景随着时代的进步，计算机技术已经全方位地影响了社会的发展。随着居民生活质量的持续上升，人们对社区疫情防控管理信息系统的期望和要求也在同步增长。在社区疫情防控日益受到广泛关注的背景下&#xff0c…

JAVAEE——文件IO

文章目录文件的概念什么是文件？树型结构组织和目录文件路径相对路径绝对路径文件的分类文件的权限文件读写IO API字符流操作API 警告字节流操作APIInputStreamOutputStream 文件的概念什么是文件？ 我们先来理解一下什么是文件，那么想…

四川尚熠电子商务有限公司靠谱吗？怎么样？

在当下数字化浪潮中，电子商务行业正以前所未有的速度蓬勃发展。四川尚熠电子商务有限公司，作为专注于抖音电商服务的企业，凭借其敏锐的市场洞察力和创新精神，正成为行业内的佼佼者，为众多品牌打开抖音电商市场的大门。…

[技术闲聊]我对电路设计的理解(三)

终于可以独立做项目了，是不是很激动，是不是为自己骄傲和自豪，应该的，奋斗那么久不就是为了站在山巅看看四周的风景嘛！ 虽说山外还有山，但是此刻就在脚下的山巅上，怡然自得都是不过分的&#xff…

YOLOv8改进 | 低照度检测 | 2024最新改进CPA-Enhancer链式思考网络（适用低照度、图像去雾、雨天、雪天）

一、本文介绍本文给大家带来的2024.3月份最新改进机制，由CPA-Enhancer: Chain-of-Thought Prompted Adaptive Enhancer for Object Detection under Unknown Degradations论文提出的CPA-Enhancer链式思考网络，CPA-Enhancer通过引入链式思考提示机制，实现了对未知退化条件下…

《内心强大比什么都重要》 - 三余书屋 3ysw.net

内心强大比什么都重要今天我和大家一起分享一本好书，艾米莫林的《内心强大比什么都重要》。这本书中描述了人们如何控制情绪、想法和行动，让自己的内心更强大。书中也列举了一些有用的建议、积极向上的例子和实际解决方法，来帮助读者们克服…

Python搭建编程环境-安装Python3解释器

✅作者简介：CSDN内容合伙人、新星计划第三季Python赛道Top1🏅 🔥本文已收录于Python系列专栏：零基础学Python 💬订阅专栏后可私信博主进入Python学习交流群，进群可领取Python视频教程以及Python相关电子书…

Linux是什么，该如何学习

🐇明明跟你说过：个人主页 🏅个人专栏：《Linux ：从菜鸟到飞鸟的逆袭》 🏅 🔖行路有良友，便是天堂🔖 目录一、引言 1、Linux的起源与发展 2、Linux在现代计算机领域…

Java源值1.5已过时，将在未来所有发行版中删除

1、背景确认java项目没问题，但是启动的时候，却报错：java: -source 1.5 中不支持 diamond 运算符 2、解决 2.1 2.2 2.3 2.4 2.5

阿里云PAI-EAS试用-ComfyUI

试用信息试用地址 PAI-EAS试用提供资源其中A10服务器在10元每小时左右，意味着我们可以使用的试用时间在40个小时以上。每天玩4小时，也可以玩10天了，练习完全够用。具体过程官方给了一个简单的指导文档，包括领用资源、部…

1688API接口|获取商品详情信息商品列表商品采集API图搜商品API

API调用公共参数名称类型必须描述keyString是调用key（注册账号获取API&secret）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]cacheString否[yes,no]默认…

vulhub中Apache Solr RemoteStreaming 文件读取与SSRF漏洞复现

Apache Solr 是一个开源的搜索服务器。在Apache Solr未开启认证的情况下，攻击者可直接构造特定请求开启特定配置，并最终造成SSRF或任意文件读取。访问http://your-ip:8983即可查看Apache Solr后台 1.访问http://your-ip:8983/solr/admin/cores?indexI…

Windows通过git配置github代码仓库全流程

git git是代码的版本控制工具 git安装和github注册这个默认弄过了通过git和github之间的SSH配置在github上面新建仓库，做好配置 git绑定GitHub账号先cd到上传的文件所在的目录 git config --global user.name "你的github用户名"git config -…

Linux 文件相关命令

一、查看文件命令 1）浏览文件less 默认查看文件的前 10 行。 less /etc/services ##功能说明： #1.默认打开首屏内容 #2.按【回车】按行访问 #3.按【空格】按屏访问 #4.【从上向下】搜索用/111,搜索包含111的内容，此时按n继续向下搜&#x…

Hadoop: word count,并将结果写入到MySQL

一、依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.0…

Python | Leetcode Python题解之第10题正则表达式匹配

题目： 题解： class Solution:def isMatch(self, s: str, p: str) -> bool:m, n len(s), len(p)dp [False] * (n1)# 初始化dp[0] Truefor j in range(1, n1):if p[j-1] *:dp[j] dp[j-2]# 状态更新for i in range(1, m1):dp2 [False] * (n1) …

python怎么存储数据

在Python开发中，数据存储、读取是必不可少的环节，而且可以采用的存储方式也很多，常用的方法有json文件、csv文件、MySQL数据库、Redis数据库以及Mongdb数据库等。 1. json文件存储数据 json是一种轻量级的数据交换格式，采用完全…

蓝桥-时间显示

目录题目链接代码题目链接 1.时间显示 - 蓝桥云课 (lanqiao.cn) 代码 #include <bits/stdc.h> using namespace std;int main() {long long x;cin>>x;int h,m,s;x x / 1000 % (3600*24); // 毫秒化秒，并且保留最后一天的时间h x / 3600; //求得…

大模型量化技术-GPTQ

相关文章