微软NVIDIA讲师直播讲解:探索LLM大模型的小型化 —— 小模型在NVIDIA Jetson 与 NIM 平台的最佳实践

news2024/12/22 19:39:18

Webinar主题:探索LLM大模型的小型化 —— 小模型在NVIDIA Jetson 与 NIM 平台的最佳实践

  • 时间:6月25号 晚8点-9点

  • 时长:1h

  • 活动形式:线上

  • 点击链接报名本次在线研讨会:https://www.nvidia.cn/webinars/sessions/?session_id=240625-32973

  • 内容描述:

    在当前高速发展的人工智能领域,如何高效的部署和优化 SLM(小型的大模型) 成为关键。随着微软 Phi-3 系列模型的发布,让 SLM在 NVIDIA Jetson 边缘计算平台上的部署成为可能。同时 Phi-3 系列模型已在NVIDIA NIM平台提供加速的推理服务。
    NVIDIA NIM 是一套用于部署 AI 模型的推理微服务,是一套易于使用的预构建容器工具。帮助企业客户加速在云、数据中心和工作站中部署生成式 AI 模型。让各类生成式 AI 模型的使用更为便捷和高效,为 AI 技术带来了新的突破和无限可能。
    通过参加本次在线研讨会,您将了解到如何利用这些先进的模型和平台实现生成式 AI 的最佳实践,推动您的 AI 项目更上一层楼。
    通过本次网络研讨会的主题演讲,您可以收获以下内容:
    Topic1:Phi3 SLM在Jetson边缘计算设备上的部署 (20 min)
    • Phi3 系列模型介绍
    • Phi3 与 Ollma的结合使用
    • Phi3 模型在Jetson边缘计算设备上的部署实战

在这里插入图片描述

卢建晖(Kinfey Lo) | 微软高级云技术布道师
专注在人工智能及大数据领域,具备 15 年以上的电信,教育,金融服务行业经验。是微软 Build / Ignite / Teched 大会讲师,GitHub Copilot Workshop 讲师,Qcon 讲师,现负责生成式人工智能应用架构及 Microsoft Phi-3 小模型在行业中的应用落地工作。

Topic2:Phi3 SLM + NIM实现对话式AI场景中的应用 (15 min)
• NVIDIA NIM 推理微服务平台介绍
• NIM平台使用Phi3对话模型的方法
• 代码实践:Langchain结合NIM实现Phi3对话模型的推理

在这里插入图片描述

李奕澎 | NVIDIA 企业开发者社区经理
拥有多年数据分析建模、人工智能自然语言处理开发经验。在对话式人工智能与大模型技术领域有丰富的实战经验与见解。曾开发法律、金融、保险文档中基于实体抽取的智能问答系统,曾主导开发基于 NLP 知识抽取,KG 知识图谱的建立的科研文档智能检索系统。加入NVIDIA 开发者社区以来完成过上百场培训,帮助上万个开发者了解人工智能。

在这里插入图片描述

Topic3:Phi3 - Vision在NIM平台上实现多模态应用 (15min)
• Phi3 - Vision简介
• Phi3 - Vision基于NIM的调用方式
• 代码实践:基于NIM接口实现Phi3 - Vision的推理实践

何琨 (Ken He)| NVIDIA 企业级开发者社区经理
拥有多年的GPU 和人工智能开发经验。自2017年加入NVIDIA 开发者社区以来,完成过上百场培训,帮助上万个开发者了解人工智能和 GPU编程开发。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1860316.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

7thonline第七在线受邀出席零售业卓越运营联盟(COER)2024

近期,一场汇集行业精英、探讨卓越运营的盛会——零售业卓越运营联盟(COER)2024论坛开幕。此次论坛吸引了全球众多零售业者的关注,7thonline第七在线创始人马克骏先生也应邀参与该论坛,共同探讨零售业的未来发展趋势。 …

Linux_应用篇(24) CAN 应用编程基础

本章我们学习 CAN 应用编程, CAN 是目前应用非常广泛的现场总线之一,主要应用于汽车电子和工业领域,尤其是汽车领域,汽车上大量的传感器与模块都是通过 CAN 总线连接起来的。 CAN 总线目前是自动化领域发展的热点技术之一&#xf…

测评策略:提升美客多、亚马逊店铺排名的有效武器

在跨境电商平台上成功打造一家具有竞争力的店铺,特别是在美客多这样的知名平台上,确实需要卖家们投入大量的研究和精力进行精细运营。以下是我基于个人经验和深入研究,总结出的几个关键秘诀,旨在帮助卖家们提高销量并提升店铺的排…

React+TS前台项目实战(十四)-- 响应式头部导航+切换语言相关组件封装

文章目录 前言Header头部相关组件1. 功能分析2. 相关组件代码详细注释3. 使用方式4. Gif图效果展示 总结 前言 在这篇博客中,我们将封装一个头部组件,根据不同设备类型来显示不同的导航菜单,会继续使用 React hooks 和styled-components库来…

裸机写代码(Windows.Linux环境搭建)

目录 1.工具/原料 2.配置环境变量 2.1开发环境Windows搭建 2.1.1概述 2.1.1.1. 系统环境变量 2.1.1.2. 用户环境变量 2.1.1.3.根据你的实际情况选择配置用户变量还是系统变量, 2.1.1.4.环境变量各个变量名的作用 2.1.1.5.具体配置实例: 2.1.1.6…

[深度学习]循环神经网络RNN

RNN(Recurrent Neural Network,即循环神经网络)是一类用于处理序列数据的神经网络,广泛应用于自然语言处理(NLP)、时间序列预测、语音识别等领域。与传统的前馈神经网络不同,RNN具有循环结构&am…

【银河麒麟】云平台查看内存占用与实际内存占用不一致,分析处理过程,附代码

1.需求/问题描述 发现云平台查看内存占用与实际内存占用不一致。 2.分析过程 在系统中获取虚拟机内存使用率目前主要有两种方式,一种是通过virsh dommemstat获取,另外一种是通过qga接口获取。由于之前修复界面虚拟机cpu使用率时为qga接口获取&#xff…

安装VEX外部编辑器

Houdini20配置VEX外部编辑器方法_哔哩哔哩_bilibili 下载并安装Visual Studio Code软件:Download Visual Studio Code - Mac, Linux, Windows 在Visual Studio Code软件内,安装相关插件,如: 中文汉化插件vex插件 安装Houdini Expr…

八、yolov8模型预测和模型导出(目标检测)

模型查看 模型预测 模型导出 模型训练完成后,找到训练文件生成文件夹,里面包含wights、过程图、曲线图。 模型预测 1、在以下文件夹中放入需要预测的图; 2、找到detect文件下的predict.py文件,修改以下内容。 3、右键点击…

AI降重技术:论文查重率的智能解决方案

现在大部分学校已经进入到论文查重降重的阶段了。如果查重率居高不下,延毕的威胁可能就在眼前。对于即将告别校园的学子们,这无疑是个噩梦。四年磨一剑,谁也不想在最后关头功亏一篑。 查重率过高,无非以下两种原因。要么是作为“…

【编译原理】语法制导翻译

1.导入 语法制导翻译是处理语义的基本方法,它以语法分析为 基础,在语法分析得到语言结构的结果时,对附着于此结构 的语义进行处理,如计算表达式的值、生成中间代码等 2.语法与语义 语法与语义的关系 语法是指语言的结构、即语言的…

html5+css简易实现图书网联系我们页面

html5css简易实现图书网联系我们页面 完整代码已资源绑定

PD虚拟机支持M3吗 PD虚拟机怎样配置图形卡

最近有很多人在问M3芯片的苹果电脑和M2相比,有哪些提升的功能。实际上,M3芯片的苹果电脑拥有与M2相同的CPU与GPU数量,但比M2多50亿个晶体管,并引入了动态缓存、增强型神经网络引擎等技术,性能、功能均进一步加强。面对…

【motan rpc 懒加载】异常

文章目录 升级版本解决问题我使用的有问题的版本配置懒加载错误的版本配置了懒加载 但是不生效 lazyInit"true" 启动不是懒加载 会报错一次官方回复 升级版本解决问题 <version.motan>1.2.1</version.motan><dependency><groupId>com.weibo…

Kotlin设计模式:享元模式(Flyweight Pattern)

Kotlin设计模式&#xff1a;享元模式&#xff08;Flyweight Pattern&#xff09; 在移动应用开发中&#xff0c;内存和CPU资源是非常宝贵的。享元模式&#xff08;Flyweight Pattern&#xff09;是一种设计模式&#xff0c;旨在通过对象重用来优化内存使用和性能。本文将深入探…

LabVIEW程序闪退问题

LabVIEW程序出现闪退问题可能源于多个方面&#xff0c;包括软件兼容性、内存管理、代码质量、硬件兼容性和环境因素。本文将从这些角度进行详细分析&#xff0c;探讨可能的原因和解决方案&#xff0c;并提供预防措施&#xff0c;以帮助用户避免和解决LabVIEW程序闪退的问题。 1…

STM32学习-HAL库 串口通信

学完标准库之后&#xff0c;本来想学习freertos的&#xff0c;但是看了很多教程都是移植的HAL库程序&#xff0c;这里再学习一些HAL库的内容&#xff0c;有了基础这里直接学习主要的外设。 HAL库对于串口主要有两个结构体UART_InitTypeDef和UART_HandleTypeDef&#xff0c;前者…

【CT】LeetCode手撕—56. 合并区间

目录 题目1- 思路2- 实现⭐56. 合并区间——题解思路 3- ACM 实现 题目 原题连接&#xff1a;56. 合并区间 1- 思路 模式识别&#xff1a;合并区间 ——> 数组先排序 思路 1.先对数组内容进行排序 ——> 定义 left、right 根据排序后的结果&#xff0c;更新 right2.遍…

Spring Boot整合Druid:轻松实现SQL监控和数据库密码加密

文章目录 1 引言1.1 简介1.2 Druid的功能1.3 竞品对比 2 准备工作2.1 项目环境 3 集成Druid3.1 添加依赖3.2 配置Druid3.3 编写测试类测试3.4 访问控制台3.5 测试SQL监控3.6 数据库密码加密3.6.1 执行命令加密数据库密码3.6.2 配置参数3.6.3 测试 4 总结 1 引言 1.1 简介 Dru…

如何处理消息积压问题

什么是MQ消息积压&#xff1f; MQ消息积压是指消息队列中的消息无法及时处理和消费&#xff0c;导致队列中消息累积过多的情况。 消息积压后果&#xff1a; ①&#xff1a;消息不能及时消费&#xff0c;导致任务不能及时处理 ②&#xff1a;下游消费者处理大量的消息任务&#…