【Foundation】(五)transformers之Evaluate

news2024/12/25 9:11:43

文章目录

  • 0、介绍
  • 1、基本使用
  • 2、加载评估函数
  • 3、查看函数说明
  • 4、评估指标计算——全局计算
  • 5、评估指标计算——迭代计算
  • 6、多个评估指标计算
  • 7、评估结果可视化

0、介绍

 简单易用的机器学习模型库,只需要一行代码便可加载任务任务的评估函数

1、基本使用

  • 查看支持的评估函数(list_evaluation_modules)

  • 加载评估函数(load)

  • 查看评估函数说明(inputs_description)

  • 评估指标计算(compute)

    • 全局计算(compute)

    • 迭代计算(add,add_batch)

  • 计算多个评估指标(combine)

  • 评估结果对比可视化(radar_plot)

import evaluate
evaluate.list_evaluation_modules(include_community=True,with_details=True)

2、加载评估函数

acc = evaluate.load('accuracy')

3、查看函数说明

print(acc.description)
print(acc.inputs_description)
print(acc)

4、评估指标计算——全局计算

acc = evaluate.load('accuracy')

results = acc.compute(references=[0,1,2,0,1,2],predictions=[0,1,1,2,1,0])
results

5、评估指标计算——迭代计算

acc = evaluate.load('accuracy')
for ref,pred in zip([0,1,0,1],(1,0,0,1)):
    acc.add(reference= ref,prediction=pred)
acc.compute()
acc = evaluate.load('accuracy')
for refs,preds in zip([[0,1],[0,1]],[[1,0],[0,1]]):
    acc.add_batch(references= refs,predictions=preds)
acc.compute()

6、多个评估指标计算

clf_metrics = evaluate.combine(['accuracy', 'f1','recall','precision'])
clf_metrics
clf_metrics.compute(predictions=[0,1,0],references=[0,1,1])

7、评估结果可视化

from evaluate.visualization import  radar_plot#目前只支持雷达图
data = [
    {'accuracy': 0.99,'f1': 0.40,'recall': 0.52,'precision': 0.85},
    {'accuracy': 0.67,'f1': 0.66,'recall': 0.55,'precision': 0.75},
    {'accuracy': 0.60,'f1': 0.20,'recall': 0.59,'precision': 0.65},
    {'accuracy': 0.50,'f1': 0.56,'recall': 0.523,'precision': 0.85},
]

model_names = ['model1', 'model2', 'model3', 'model4']
plot = radar_plot(data = data,model_names=model_names)

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1988153.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SAP MM学习笔记 - 豆知识03 - 安全在库和最小安全在库,扩张物料的保管场所的几种方法,定义生产订单的默认入库保管场所,受注票中设定禁止贩卖某个物料

上一章讲了一些MM模块的豆知识。 - MR21 修改物料原价 - MM02 修改基本数量单位/评价Class - MMAM 修改物料类型/评价Class SAP MM学习笔记 - 豆知识02 - MR21 修改物料原价,MM02 修改基本数量单位/评价Class,MMAM 修改物料类型/评价Class-CSDN博客 …

武汉流星汇聚:亚马逊市场份额霸榜全球,强大实力引领跨境新纪元

在当今这个瞬息万变的电商时代,市场占有率无疑是衡量一个平台成功与否的关键指标。它不仅关乎平台的行业地位与竞争力,更是其盈利能力与未来潜力的直接体现。在众多电商巨头中,亚马逊以其卓越的表现和广泛的影响力,稳居全球电商市…

使用Python将Word文档转换为PNG图片

在这篇博客中,我将介绍一个使用Python编写的小工具,它能够将指定文件夹中的所有Word文档(.doc和.docx格式)转换为PNG图片。这个工具基于wxPython库构建图形用户界面,并结合了win32com和PyMuPDF库实现文档格式的转换。接…

JAVA WEB初步实验

Spring应用开发环境准备 安装配置Spring应用开发环境 熟悉IntelliJ IDEA开发工具 打开idea工具,创建普通Java工程 配置普通Java工程运行环境 得到基本的Java运行环境配置正常 修改pom.xml文件,搭建Spring IOC运行环境 更新pom文件 新建User、TestSpr…

部署Springboot + Vue 项目到远程服务器Windows10系统的详细配置

远程服务器操作系统为Windows系统,Java程序环境,Maven环境都安装有,Mysql ,Redis等都有的前提下 1. mysql数据库导入,非常简单很好操作,这里省略。。比如用HeidiSql 或者Navicat 工具导入数据库 2. 后端javaSpringb…

医疗器械注册资源宝库数屿医械官方平台!

医学影像设备市场作为医疗器械领域的佼佼者,技术门槛高且规模庞大,2021年全球规模达458亿美元,预计2022年逼近500亿美元,增长动力源自技术革新与临床需求攀升。中国市场亦不甘落后,受政策驱动与市场需求双重提振&#…

WPF学习(8)- Button按钮

1. 用法解析 Button因为继承了ButtonBase&#xff0c;而ButtonBase又继承了ContentControl&#xff0c;所以&#xff0c;Button可以通过设置Content属性来设置要显示的内容。例如 <Button Content"确定"/>我们使用Button的时机&#xff0c;通常是鼠标点击事件…

【IEEE出版 | 往届会后三个月检索】第五届大数据、人工智能与软件工程国际研讨会(ICBASE 2024)

【IEEE出版 | 往届会后三个月检索】 第五届大数据、人工智能与软件工程国际研讨会&#xff08;ICBASE 2024&#xff09; 2024 5th International Conference on Big Data & Artificial Intelligence & Software Engineering 2024年09月20-22日 | 中国温州 *会议官网…

【NeRF及其代码NeRF-Pytorch实现】

文章目录 模型输入和输出NeRF-Pytorch代码参考 在没有仔细学习过NeRF之前&#xff0c;对于NeRF的直观感受是&#xff0c;它是对某个场景三维模型的一个拟合&#xff0c;并且实现了一个渲染的效果&#xff0c;即输入相机位姿信息&#xff0c;输出对应位姿信息的渲染图像。NeRF训…

【IO】使用消息队列完成两个进程之间相互通信

目录 1、使用消息队列完成两个进程之间相互通信 2、共享内存实现两个进程之间的通信 3、思维导图 1、使用消息队列完成两个进程之间相互通信 //msgsnd.c #include <myhead.h>// 要发送的消息类型 struct msgbuf {long mtype;char mtext[1024]; };// 定义一个宏&#…

html5各行各业官网模板源码下载(3)

文章目录 1.来源2.源码模板2.1 HTML5好看的酷酷的个人简历、个人主页、个人网站源码2.2 html实现我的博客文章相册源码2.3 html实现好看的塔罗牌、十二星座运势网站源码 作者&#xff1a;xcLeigh 文章地址&#xff1a;https://blog.csdn.net/weixin_43151418/article/details/1…

语音转文字大盘点,Windows版Top3,你选对了吗?

现在的工作压力可不是盖的&#xff0c;老板们总希望我们能像超人一样&#xff0c;工作速度快得飞起。如果做不到&#xff0c;可能就得把位置让给别人了。不过别担心&#xff0c;有了语音转文字的软件&#xff0c;咱们的工作效率就能大大提升。那咱们应该选哪款免费的语音转文字…

免费【2024】springboot 房屋租赁系统的设计与实现

博主介绍&#xff1a;✌CSDN新星计划导师、Java领域优质创作者、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌ 技术范围&#xff1a;SpringBoot、Vue、SSM、HTML、Jsp、PHP、Nodejs、Python、爬虫、数据可视化…

如何通过【腾讯云 AI 代码助手】快速解决商城项目难题

文章目录 引言开发环境介绍从 IDE 插件市场安装 腾讯云AI代码助手实战问题一&#xff1a;如何使用RabbitMQ的死信队列来实现关闭订单的操作&#xff1f;并编写java代码问题二&#xff1a;在解决库存问题时&#xff0c;如何使用Redis的分布式锁来实现呢&#xff1f; 获得的帮助与…

【iOS】GCD详细总结

GCD详细总结 1. GCD简介2. GCD任务和队列任务队列 (dispatch是派遣的意思&#xff09;队列的创建方法和获取方法 3.我的总结&#xff1a;同步和异步函数&#xff0c;并行和并发队列同步异步函数串行并发队列是否开启新线程&#xff0c;串行还是并发执行任务&#xff0c;如何分析…

【网络技术】堆叠通用部署

相关文章推荐 点击查看&#xff1a; 华为交换机堆叠技术 华为交换机组建堆叠案例 【技术分享】堆叠交换机替换指导 交换机为什么要堆叠&#xff1f; 配置交换机1 <HUAWEI> system-view [HUAWEI] sysname Switch1 [Switch1] interface stack-port 0/1 [Switch1-stack…

一文读懂 服务器

你好,我是Qiuner. 为帮助别人少走弯路和记录自己编程学习过程而写博客 这是我的 github https://github.com/Qiuner ⭐️ ​ gitee https://gitee.com/Qiuner &#x1f339; 如果本篇文章帮到了你 不妨点个赞吧~ 我会很高兴的 &#x1f604; (^ ~ ^) 想看更多 那就点个关注吧 我…

分数取模怎么办

我们遇到负数的话要先加上 mod 再取模 那么遇到分数的话怎么办 分数则由分子乘以分母的逆元&#xff0c;然后再对积取模。 #define _CRT_SECURE_NO_WARNINGS #include<bits/stdc.h> using namespace std;// 如果用杨辉三角形做的话空间会爆炸 // 我是sb&#xff0c;只有三…

Find My充气宝|苹果Find My技术与充气宝结合,智能防丢,全球定位

随着人们生活水平的提高&#xff0c;汽车已经走进了千家万户&#xff0c;汽车的普及也导致了停车位资源的稀缺。很多新手司机在停车和行车时经常会碰到轮胎被扎或者气压不足的问题&#xff0c;最近的骑行文化盛行&#xff0c;很多的骑手也会带着自己的山地自行车开启一段骑行之…

[Git][分支设计规范]详细讲解

目录 0.概览1.master分支2.release分支3.develop分支4.feature分支5.hotfix分支 0.概览 以下是常用的分支和环境的搭配&#xff0c;可视情况而定不同的策略 分支名称适用环境master主分支生产环境release预发布分支预发布/测试环境develop开发分支开发环境feature需求开发分支本…