2023 Google 开发者大会:将大型语言模型部署到你的手机

news2024/11/24 19:25:24

在2022年末,不到半年时间,各家大语言模型的发展如雨后春笋,截至2023年9月,全球总共有接近100个大语言模型,可谓是百花齐放
在这里插入图片描述
显而易见,大语言模型凭借出色的AI对话能力,已经逐渐深入各个行业

2023 Google 开发者大会带来了 AI 专题,Google 技术推广工程师魏巍提出“将大语言模型部署到个人终端” ,关于这点,在外行看来可能只会觉得无非就是手机多了一个功能,但在开发者看来,这就相当于把一头牛装进一个冰箱

这里面涉及到的挑战大概有以下几点:

  1. 模型压缩和优化:大语言模型通常具有巨大的参数量和计算需求,无法直接在手机上运行。因此,首先需要对模型进行压缩和优化,以减小模型的大小和计算量。这可以包括剪枝、量化、低秩分解等技术,以及其他针对特定模型的优化方法。
  2. 移动端推理引擎:为了在手机上运行大语言模型,需要使用高效的移动端推理引擎。这些引擎通常针对移动设备的硬件和资源进行了优化,可以提供快速而有效的模型推理能力。一些流行的移动端推理引擎包括TensorFlow Lite、Core ML和NCNN等。
  3. 模型量化:由于移动设备的计算资源有限,为了提高模型在手机上的性能和效率,还可以对模型进行量化。模型量化是指将模型的权重和激活值转换为较低精度的表示形式,如8位整数或浮点数。这样可以减少模型的内存占用和计算需求,同时保持相对较高的准确性。
  4. 硬件加速:一些新一代的移动设备配备了专门的神经网络处理单元(NPU)或图形处理单元(GPU),可以提供更高的计算性能和效率。利用这些硬件加速器,可以进一步加快大语言模型在手机上的推理速度。
  5. 离线部署和云端支持:为了实现在手机上离线运行大语言模型,需要将压缩和优化后的模型部署到手机中。同时,还可以结合云端技术,通过与云服务器进行通信,在需要时获取模型的更新和支持。

当然,Google技术推广工程师在会上也提到了这点
“大语言模型占用的存储空间非常大,部署到终端设备的机器学习(ODML)难度很大,但运行较小规模的模型是可行的”
在这里插入图片描述
作为本次大会的核心内容,谷歌还发布了第二代大语言模型PaLM 2(Pathway Language Model),这是一个基于深度学习的自然语言处理系统,可以处理多种基于文本的任务,如推理、编码、翻译、生成等。PaLM 2具有极强的逻辑和推理能力,支持100多种语言,可以用于多种场景和领域。

会上还提到Google Cloud 的重点更新,谷歌在云平台中深度集成了AI,帮助出海企业及开发者轻松借力 AI 推动和实现创新

在这里插入图片描述

AI 是 Google Cloud 工作的核心。AI 产品和模型是 Google Cloud 第一个 AI 重点发展领域,帮助出海企业及开发者轻松构建和部署生成式 AI 行业应用,保障企业级的安全与隐私。Google Cloud 让企业可以轻松借力 AI 推动和实现大刀阔斧的创新。


Google已推出多个场景的大语言模型,从文本聊天,到图片、代码、语音和 Embeddings 嵌入,一应俱全
在这里插入图片描述

● 文本模型
在文本模型的新版本中,模型的输入长度限制从 8,000 个 token 增加到 32,000 个。这使得开发者能够轻松处理更长的文档,例如学术论文、法律文书、图书等等。PaLM 2 现在正式支持 38 种语言,包括中文、日语、德语、西班牙语等等。另外还有 100 种语言处于封闭式预览版阶段。
在这里插入图片描述
● 文本转代码模型 Codey
在新版本中,对于所支持的主流语言,代码生成和代码聊天的质量提升了将近 25%。

● 图片模型 Imagen
在已经拥有图片生成、编辑、标注和视觉问答等功能的基础上,增加了 “样式调整” 功能,让开发者只需要提供 10 张左右参考图片,就可以生成符合品牌特征或其他创意需求的图片。

以上这些内容,感兴趣的朋友可以在CSDN专题页观看相关专题回放视频,除了 AI 开发领域,还有 Mobile 开发、Web 开发、Cloud 开发领域的精彩内容等你探索。
https://marketing.csdn.net/p/8b1b4b3f5f0fe4c3cdf1c2d5e42a05c3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1020627.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

TUME加湿器上架店铺UL998测试报告

加湿器按用途主要分为家用加湿器和工业用加湿器两种类型。超声波加湿器采用超声波高频震荡1.7MHZ频率,将水雾化为1-5微米的超微粒子,能清新空气,增进健康,营造舒适的环境。 直接蒸发型加湿器也通常被称为纯净型加湿器。纯净加湿技…

口罩识别检测开源数据集汇总

SF-MASK 数据集下载链接:http://suo.nz/2E6ADA 从监控录像中对有面具和无面具的人脸进行分类是最困难的任务之一,数据集SF-MASK来解决这些问题,该数据集适用于小尺寸人脸、部分隐藏的人脸、各种人脸方向和各种面具类型等。SF-MASK是通过收集…

new/delete, malloc/free 内存泄漏如何检测

区别: 首先new/delete是运算符,malloc/free是库函数。malloc/free只开辟内存不初始化;new/delete及开辟内存也初始化。抛出异常的方式:new/delete开辟失败使用抛出bad_alloc;malloc/free通过返回值判断。malloc和new区…

华为OD机试-仿LISP运算

题目描述 代码实现 # coding:utf-8 # 仿LISP运算 # https://www.nowcoder.com/discuss/360006188531032064?sourceSSRsearch import systry:while True:line sys.stdin.readline().replace((, ( ).replace(), )).strip().split( )if line :breakstack []op []error_flag…

HCIE-容器docker

1、安装配置操作系统,使用CentOS stream 8镜像 之前:RHEL 8.4 发布了,CentOS紧随其后,发布CentOS 8.4 之后:CentOS 走在前面,成为RHEL上游,再去发布RHEL 制作模板,模板配置要求&…

three.js——GUI的使用

GUI的使用 效果图1、导入gui2、创建一个GUI对象3、通过gui调用方法 name:按钮的名称 效果图 1、导入gui // 导入ligui import { GUI } from three/examples/jsm/libs/lil-gui.module.min.js2、创建一个GUI对象 const gui new GUI()3、通过gui调用方法 name:按钮的名称 // 创…

Cpp/Qt-day020918Qt

目录 完善登录框 点击登录按钮后,判断账号(admin)和密码(123456)是否一致,如果匹配失败,则弹出错误对话框,文本内容“账号密码不匹配,是否重新登录”,给定两…

React 像 vue 一样配置页面路由,并支持重定向路由,路由守卫等(使用 useRoutes 完成)

希望达到跟 vue 一样,在 js 配置中则完成路由重定向的等基础操作,不太习惯使用 Routes、Route 等互相包裹的方式。 所有基于 react-router-dom6.15.0 封装了一个路由组件,并附带展示个路由守卫组件。 路由组件 - ExRouter.tsx:&…

金属热处理 术语

声明 本文是学习GB-T 7232-2023 金属热处理 术语. 而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们 1 范围 本文件界定了金属热处理基础、热处理工艺、组织与性能和热处理装备的主要术语及其定义。 本文件适用于金属热处理相关技术标准及技术文件。 …

vscode 代码片段,快捷注释

一、Ctrl shift p 输入 snippets 配置代码片段 二、可以新建全局片段, 也可以配置现有的。 三、插入代码片段配置 { // api: 提供给第三方使用的接口 // author: 标明作者 // param: 参数 // return: 返回值 // todo: 待办 // version: 版本号 // inheritdoc: …

线性代数与编程语言结合 基础

什么是线性代数 线性代数是数学的一个分支,研究向量空间和线性变换的理论与方法。它涉及了向量、矩阵、线性方程组、线性映射等概念与运算规则。线性代数在科学和工程领域中被广泛应用,如物理学、计算机图形学、统计学、电子工程等。它提供了一种强大的…

艾奇软件怎么下载安装?

艾奇视频电子相册制作软件是免费的电子相册制作软件,照片配上音乐加上炫酷的过渡效果点缀图片和文字说明,轻松制作成各种视频格式的电子相册。 现在很多人尝试制作电子相册来记录美好瞬间,不论是婚礼邀请函,商业宣传,…

SpringCloud——微服务

微服务技术栈 在之前的开发过程中,我们将所有的服务都部署在一台服务器中,当我们的服务开始越来越多,业务越来越复杂,当一台服务器不能承担我们的业务的时候,就需要将不同的业务分开部署在不同的服务器上,…

leetcode725. 分隔链表(java)

分隔链表 题目描述拆分链表代码演示 题目描述 给你一个头结点为 head 的单链表和一个整数 k ,请你设计一个算法将链表分隔为 k 个连续的部分。 每部分的长度应该尽可能的相等:任意两部分的长度差距不能超过 1 。这可能会导致有些部分为 null 。 这 k 个部…

C【操作符】

1. 操作符分类: 2. 算术操作符 int main() {double a 5 % 2;//商2余1printf("a %lf\n", a);return 0; } 3. 移位操作符 3.1 左移操作符 左边抛弃、右边补0 3.2 右移操作符 首先右移运算分两种: 1. 逻辑移位 左边用0填充,右边丢…

5.4 转换数据

5.4 转换数据 5.4.1 哑变量处理类别型数据5.4.2 离散化连续型数据1、等宽法2、等频法3、聚类分析法 数据集 E:/Input/ptest.csv 5.4.1 哑变量处理类别型数据 数据分析模型中有相当一部分的算法模型都要求输入的特征为数值型,但实际数据中特征的类型不一定只有数值…

【C++基于多设计模式下的同步异步日志系统】

文章目录 [toc] 1 :peach:项目介绍:peach:2 :peach:开发环境:peach:3 :peach:核心技术:peach:4 :peach:环境搭建:peach:5 :peach:日志系统介绍:peach:5.1 :apple:为什么需要日志系统?:apple:5.2 :apple:日志系统技术实现:apple:5.2.1 :lemon:同步写日志:lemon:5.2.2…

如何在公网远程访问内网的jupyter notebook,随时随地都能跑代码!

文章目录 前言1. Python环境安装2. Jupyter 安装3. 启动Jupyter Notebook4. 远程访问4.1 安装配置cpolar内网穿透4.2 创建隧道映射本地端口 5. 固定公网地址 前言 Jupyter Notebook,它是一个交互式的数据科学和计算环境,支持多种编程语言,如…

Ruoyi-vue项目讲解

[TOC]若依前后端调用接口解读 若依github官方下载地址 若依gitee官方下载地址 1.验证码时候的前端调用接口 调用前端登录界面的时候,调用的是login.vue这个文件中的created函数 这里我们查看getCode函数方法 可以看到,这里先调用了一个getCodeImg函数…

ChatGLM Pytorch从0编写Transformer算法

预备工作 # !pip install http://download.pytorch.org/whl/cu80/torch-0.3.0.post4-cp36-cp36m-linux_x86_64.whl numpy matplotlib spacy torchtext seaborn import numpy as np import torch import torch.nn as nn import torch.nn.functional as F import math, copy, tim…