本期为TechBeat人工智能社区第516期线上Talk！
北京时间7月26日(周三)20:00， 卡内基梅隆大博士生—侯博涵的Talk已经准时在TechBeat人工智能社区开播了！
他与大家分享的主题是: “MLC-LLM-机器学习编译与在大语言模型上的应用”，与大家探讨了在消费级设备上部署大语言模型的原因、挑战、优化策略等方面的问题。
Talk·信息
▼
主题：MLC-LLM-机器学习编译与在大语言模型上的应用
嘉宾：卡内基梅隆大博士生 侯博涵
时间：北京时间 7月26日(周三)20:00
地点：TechBeat人工智能社区
http://www.techbeat.net/
点击下方链接，一键预约TALK！
TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=793
Talk·介绍
▼
自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。
由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷纷发挥想象力尝试各种prompt与模型对话的时候，我们也注意到在一些应用场景中，出于定制化、个性化或者隐私性的目的，人们想要自己在各种终端设备中本地运行大语言模型，不需要/不希望连接互联网或者依赖于服务器，例如
-
智能汽车的终端可以对驾驶员的操作习惯定制化
-
智能家居的终端可以对户主的生活习惯定制化
-
手机游戏，或者主机游戏中NPC的对话可以根据玩家的行为而改变
-
PC端的应用希望本地部署聊天机器人，但是用户的显卡可能是N卡，A卡，或者集成显卡，安装了CUDA/Vulkan/OpenCL驱动
我们希望能够让每个人都可以开发，优化和部署AI大模型，让它工作在每个人都能方便获得的设备上
Talk大纲
1、为什么我们需要在消费级设备上本地部署大语言模型
2、在消费级设备上部署大语言模型的挑战
3、在消费级设备上部署大语言模型的优化策略
4、 MLC-LLM使用的机器学习编译器框架：TVM Unity
5、MLC-LLM demo展示
Talk·预习资料
▼
论文链接：
https://arxiv.org/abs/2207.04296
repo：
https://github.com/mlc-ai/mlc-llm
https://github.com/mlc-ai/web-llm
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！
Talk·嘉宾介绍
▼
侯博涵
卡内基梅隆大博士生
卡内基梅隆大学Catalyst实验室博士研究生，本科毕业于上海交通大学，研究方向包括深度学习编译器，机器学习系统等。曾以第一作者身份在ASPLOS上发表相关研究。参与开发了WebLLM，MLC-LLM等开源项目。
个人主页:
https://www.techbeat.net/grzytrkj?id=33082
关于TechBeat人工智能社区
▼
TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！
更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区
