英伟达发布RAPIDS cuDF框架 pandas在GPU上运行速度快了150倍

news2024/11/26 16:38:58

11月9日 消息:Nvidia 发布了一款名为 RAPIDS cuDF 的新版本,据称可以将 pandas 运行在 GPU 上,并且性能提升了150倍。pandas 是一款流行的基于 Python 的数据框架库,用于数据处理和分析。它的开源版本由 Wes McKinney 开发和发布,全球约有950万开发者使用。新版本的 RAPIDS cuDF 是基于 Apache Arrow 构建的 Python GPU dataframe 库,提供了类似 pandas 的 API,可以加载、过滤和操作数据。

图片

之前使用 cuDF 时,存在一些限制,导致一些 pandas 功能无法受益于 GPU 加速计算。此外,需要为 GPU 和 CPU 执行设计不同的代码路径,并且在与其他 PyData 库交互时需要手动切换 cuDF 和 pandas。新版本的 RAPIDS cuDF 解决了这些问题,提供了统一的 CPU/GPU 体验,使得 pandas 代码可以在 GPU 加速环境下运行而不需要修改。

Nvidia 表示,他们使用 DuckDB 的 H2O.ai 的 Database-like Ops Benchmark 对性能提升进行了基准测试。测试中使用了一个5GB 的数据集,包含了一个连接操作和一个高级分组操作。在 CPU 上运行的 pandas 平均需要约5分7秒来执行这两个任务,而在使用 RAPIDS cuDF 加速的 pandas 上平均只需要约1.5秒。

GPU 加速的 pandas 现在已经作为 beta 版在开源的 RAPIDS 版本23.10中提供。Nvidia 表示,它将很快加入到 Nvidia AI Enterprise 中。这个新功能对于想要继续使用 pandas 进行大型数据处理的数据科学家来说非常有用,因为随着数据规模的增长,pandas 的性能会下降,而使用 GPU 加速可以获得更好的性能。

Nvidia 发布的新版本的 RAPIDS cuDF 框架为数据科学家提供了一个性能更高的选择。通过将 pandas 运行在 GPU 上,可以获得最高150倍的性能提升。这对于处理大规模数据的任务非常有用,使得数据科学家可以更高效地进行数据处理和分析。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1188643.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

通达OA get_datas.php前台sql注入-可获取数据库session登入后台漏洞复现 [附POC]

文章目录 通达OA get_datas.php前台sql注入-可获取数据库session登入后台漏洞复现 [附POC]0x01 前言0x02 漏洞描述0x03 影响版本0x04 漏洞环境0x05 漏洞复现1.访问漏洞环境2.构造POC3.复现 0x06 修复建议 通达OA get_datas.php前台sql注入-可获取数据库session登入后台漏洞复现…

2023年【A特种设备相关管理(锅炉压力容器压力管道)】考试内容及A特种设备相关管理(锅炉压力容器压力管道)考试技巧

题库来源:安全生产模拟考试一点通公众号小程序 A特种设备相关管理(锅炉压力容器压力管道)考试内容根据新A特种设备相关管理(锅炉压力容器压力管道)考试大纲要求,安全生产模拟考试一点通将A特种设备相关管理…

python定时任务scheduler根据参数执行

python执行定时任务请参考:python使用apscheduler每隔一段时间自动化运行程序 传入参数时: 使用add_job函数中添加参数:args[参数1, 参数2]....传入参数顺序与对应位置一致 示例程序 import datetime from apscheduler.schedulers.backg…

基于安卓android微信小程序的校园互助平台

项目介绍 随着社会的发展,社会的方方面面都在利用信息化时代的优势。互联网的优势和普及使得各种系统的开发成为必需。 本文以实际运用为开发背景,运用软件工程原理和开发方法,它主要是采用java语言技术和mysql数据库来完成对系统的设计。整…

动态表单获取某一项值

<template><div><el-form :model"form" :rules"rules" ref"form"><el-row v-for"(item,index) in form.list" :key"index"><el-col :span"6"><el-form-item label"用户名称…

华为昇腾云平台适配Baichuan2大模型记录

文章目录 环境准备资源查看MindFormers安装MindSpore安装CANN安装&#xff08;失败&#xff09;镜像拉取 模型下载模型单卡单次推理基于高阶接口推理基于Pipeline推理 模型单卡多次推理模型多卡多次推理微调数据模型准备全参微调Lora微调 环境准备 首先尝试从分配的默认环境适…

【JavaEESpring】认识Spring

认识Spring 1. 什么是框架2. SpringBoot 介绍2.1 Spring 的介绍2.2 SpringBoot 1. 什么是框架 框架(Framework) &#xff0c;意思是框架、机制、准则。通俗的来讲: 框架是实现某种功能的半成品, 他提供了⼀些常⽤的⼯具类, 我们在框架的基础上, 可以更加⾼效的进⾏开发 后端框…

SpringBoot整合Swagger3,赶紧整起来!

文章目录 一、Swagger是什么&#xff1f;二、使用步骤1.引入swagger3依赖2.添加swagger.conf配置类3.添加application.yml配置4.查看是否整合成功5.常用注解6.swagger美化 总结 一、Swagger是什么&#xff1f; Swagger 是一个规范和完整的框架&#xff0c;用于生成、描述、调用…

μC/OS-II---内核:多任务与调度

目录 内核&#xff1a;多任务与调度&#xff08;ucos_ii.h文件的函数&#xff09;Task创建Task创建&#xff08;扩展&#xff09;Task删除/请求删除Task改变Task优先级Task挂起和恢复Task信息获取Task调度器上锁和开锁 内核&#xff1a;多任务与调度&#xff08;ucos_ii.h文件的…

MCGS触摸屏

触摸屏上的接口 D型下载口又称为USB通信 网口下载方式称为TCP 流程 新建项目---- 下载线下载程序 网线下载 U盘下载 详细步骤 触摸屏仿真&#xff08;前提&#xff1a;必须连接PLC&#xff0c;且将程序写入PLC中&#xff09; 仿真要求&#xff1a;圆圈显示指示灯、显示…

Python教程:zipfile模块压缩文件

嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~! python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取 1、读取zip文件 要读取 ZIP 文件的内容&#xff0c;首先必须创建一个 ZipFile 对象&#xff08;请注意大写首字母 Z和 F&#xff09;。 ZipFile 对象在概念上与…

使用create-react-app脚手架创建react项目

查看npx版本&#xff1a; npx -v使用如下命令创建项目时&#xff1a; npx create-react-app demo报错&#xff1a; 解决&#xff1a; 以管理员身份运行cmd 然后再次创建项目&#xff0c;又报错&#xff1a; 经查得知&#xff1a;发生此错误是因为用户名中有空格&#xff0c;…

一手app拉新地推平台和网推平台升级啦 官签渠道直营

今天”聚量推客“升级啦 聚量推客是什么&#xff1f; 一手官签服务商&#xff0c;有大量的地推项目和网推项目&#xff0c;还有小说推文&#xff0c;流量卡推广&#xff0c;话费推广等众多推广场景平台 升级了什么&#xff1f; 今天为了让更多的地推团队和网推团队入驻我们…

(a)Mask RCNN总体流程

&#xff08;a&#xff09;Mask RCNN总体流程 一.Mask RCNN 架构 自己整理了一份Mask RCNN架构图如下&#xff0c;其中绿色模块只有推理过程才会涉及。 核心模块包括&#xff1a;数据预处理&#xff0c;骨干网络&#xff0c;区域提议网络&#xff0c;FastRCNN分支&#xff0c…

【MATLAB】设置图形透明度

1 Scatter散点图 % 设置散点大小 s.SizeData 100;散点标记符号设置如下&#xff1a; 在绘制散点图时&#xff0c;想设置透明度&#xff1a; 更改散点透明度后&#xff0c;图形如下&#xff1a; 相关绘图代码如下&#xff1a; figure(1) set(gcf, Units, figureUnits, Po…

剪贴板管理软件 Paste Wizard mac中文版功能特色

Paste Wizard mac是一款剪贴板管理工具&#xff0c;它可以帮助用户更高效地管理剪贴板中的文本、图片、链接等内容。 Paste Wizard mac特色功能 提供了多种方式来保存和管理剪贴板中的内容。用户可以创建自定义的标签&#xff0c;将内容按照标签进行分类&#xff0c;方便快速查…

【RPC】前传

前传 本地程序用的go语言&#xff0c;想把main.go程序当中一些计算工作放到服务器上进行&#xff0c;而只需要把结果给我即可。由于平台上暂时不能运行Go代码&#xff0c;所以写的是python文件。 1、主要是使用ssh依赖进行连接&#xff0c;但是大概率是需要手动添加的&#xf…

android手机平板拓展电脑屏幕

有这么两个软件 spacedesk_driver_Win_10_64_v1065_BETA.msi 安装在电脑上 spacedeskv0.91.1_chinese.apk 安装在android设备上 同一个局域网投屏就好了。 局域网无限投屏是很吃带宽的。 建议usb共享网络&#xff0c;不占用带宽、延迟低。 下载地址&#xff1a; https:/…

OpenCV实现手势虚拟拖拽

前言&#xff1a; Hello大家好&#xff0c;我是Dream。 今天来学习一下如何使用OpenCV实现手势虚拟拖拽&#xff0c;欢迎大家一起前来探讨学习~ 一、主要步骤及库的功能介绍 1.主要步骤 要实现本次实验&#xff0c;主要步骤如下&#xff1a; 导入OpenCV库。通过OpenCV读取摄…

使用Drupal管理小型项目?试试Docker快速部署Drupal结合内网穿透实现远程访问

&#x1f3ac; 鸽芷咕&#xff1a;个人主页 &#x1f525;个人专栏:《Linux深造日志》《C干货基地》 ⛺️生活的理想&#xff0c;就是为了理想的生活! 文章目录 前言1. Docker安装Drupal2. 本地局域网访问3 . Linux 安装cpolar4. 配置Drupal公网访问地址5. 公网远程访问Drupal…