手机上运行AI大模型(Deepseek等)

news2025/2/6 12:08:27

最近deepseek的大火,让大家掀起新一波的本地部署运行大模型的热潮,特别是deepseek有蒸馏的小参数量版本,电脑上就相当方便了,直接ollama+open-webui这种类似的组合就可以轻松地实现,只要硬件,如显存,RAM足够,参数量合适,速度还可以接受。本地部署的意义在于,一是可以数据不上网,让一些私密的数据有所保障,二是可以实现一些在线限制的功能。

在手机上运行的意义,其实更多可能是玩玩,但是,随着LLM技术的发展,已经手机硬件正在赶超PC和服务器,或许在未来,手机上就可以实现电脑上同样的功能。小编收集了几种手机上部署运行的方法,分享给大家。

鸿蒙/安卓/IOS:使用MNN大模型App *** 多模态

有一说一,在大模型开源方面,阿里做得也是很棒地,在deepseek没有火爆之前,它应该是最棒的中国开源大模型公司,deepseek的蒸馏小模型,也用了qwen系列,为中国公司点赞!

安装就比较简单啦,直接下载App,然后下载模型运行即可,所说速度是比ollama要快一些,有阿里自已开发的架构。暂时发现只有安卓的编译好的下载地址:https://meta.alicdn.com/data/mnn/mnn_llm_app_debug_0_1.apk

安卓:MLC-MiniCPM *** 多模态

和下面的一样,但是,这个是国内公司的大模型,下载什么的更方便。MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列模型,前段时间曾经有斯坦福大学的人抄袭了这个公司的产品,也是让外国人重新认识了国内的技术水平。

下载地址:https://openbmb.oss-cn-hongkong.aliyuncs.com/model_center/mobile/android/MiniCPM-2.0.apk
## 安卓/IOS:MLCChat *

下载APK: https://ghfast.top/https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android-09262024/mlc-chat.apk

如果下载不成功,网络连接错误,可以先打开https://ghproxy.link/,替换https://ghfast.top/网址为可用的即可。另外从官网看,这个App是直接从抱抱脸官方下载模型的,可能会网络错误,当然国内有镜像站,https://hf-mirror.com/ 不确定如何替换。

IOS: fullmoon **

Fullmoon是一款专为iOS设备设计的应用程序,旨在提供与本地大语言模型进行私密聊天的功能。该应用优化了Apple Silicon,支持在iPhone、iPad和Mac上运行。用户的聊天记录会被本地保存,并且可以自定义应用的外观。Fullmoon利用了Apple的MLX Swift框架,这是一个用于在Apple Silicon上进行机器学习研究的数组框架。该应用支持多种语言模型,包括Llama 3.2 1B、Llama 3.2 3B和DeepSeek-R1-Distill-Qwen-1.5B-4bit。

安卓:termux + ollama * 门槛稍高

安装termux App

Termux 是用于安卓的终端模拟器,安卓6.0以上机型,应用商店搜“Termux”安装即可。手机一般选轻量版1.5b就差不多了(8G RAM),16G RAM的应该可以选大点的。

在termux中安装 Ollama

手机安装好 Termux 后输入 Ollama Termux 一键安装脚本的命令,如下:

先更新

pkg update && pkg upgrade

然后使用一键脚本命令安装ollama

wget https://github.com/Dev-ing-ing/ollama-termux/releases/download/v1.0.0/ollama-installer.sh && bash ollama-installer.sh

部署DeepSeek, 在 Termux 命令启动 Ollama 服务器:

ollama serve

最后,安装 DeepSeek 模型,手机端建议选择 1.5b 模型,输入如下命令:

ollama run deepseek-r1:1.5b

就可以在命令行愉快地玩耍啦!

img

你还知道哪些方法,欢迎分享沟通呀!

参考

  1. https://www.aisharenet.com/fullmoon/
  2. https://github.com/alibaba/MNN/
  3. https://mp.weixin.qq.com/s/EdWJqkRyvXW0Y_QOwcEtlQ
  4. https://mp.weixin.qq.com/s/sK_5oi0yHt48Y0kfmIQVZA
  5. https://github.com/OpenBMB/mlc-MiniCPM/blob/main/README-ZH.md

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2293772.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

电商项目-分布式事务(四)基于消息队列实现分布式事务

基于消息队列实现分布式事务,实现消息最终一致性 如何基于消息队列实现分布式事务? 通过消息队列实现分布式事务的话,可以保证当前数据的最终一致性。实现思路:将大的分布式事务,进行拆分,拆分成若干个小…

leetcode_双指针 160.相交链表

160.相交链表 给你两个单链表的头节点 headA 和 headB ,请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点,返回 null 。 思路: 本题中,交点不是数值相等,而是指针相等 双指针遍历两遍后必定相遇&#xff0c…

深入理解浮点数:单精度、双精度、半精度和BFloat16详解

文章目录 深入理解浮点数:单精度、双精度、半精度和BFloat16详解 🔢简介 🌟1. 单精度(Single Precision)🎯应用场景 🚀 2. 双精度(Double Precision)💪应用场…

Verilog基础(三):过程

过程(Procedures) - Always块 – 组合逻辑 (Always blocks – Combinational) 由于数字电路是由电线相连的逻辑门组成的,所以任何电路都可以表示为模块和赋值语句的某种组合. 然而,有时这不是描述电路最方便的方法. 两种always block是十分有用的: 组合逻辑: always @(…

拍照对比,X70 PRO与X90 PRO+的细节差异

以下是局部截图(上X70P下X90PP) 对比1 这里看不出差异。 对比2 X90PP的字明显更清楚。 对比3 中下的字,X90PP显然更清楚。

Node.js与嵌入式开发:打破界限的创新结合

文章目录 一、Node.js的本质与核心优势1.1 什么是Node.js?1.2 嵌入式开发的范式转变二、Node.js与嵌入式结合的四大技术路径2.1 硬件交互层2.2 物联网协议栈2.3 边缘计算架构2.4 轻量化运行时方案三、实战案例:智能农业监测系统3.1 硬件配置3.2 软件架构3.3 核心代码片段四、…

使用java调用deepseek,调用大模型,处理问题。ollama

废话不多&#xff0c;直接上代码 Testpublic void test7171111231233(){// url:放请求地址String url "http://localhost:11434/api/generate";HttpRequest request HttpUtil.createPost(url);Map<String, String> headers new HashMap<>();String a…

Linux驱动---字符设备

目录 一、基础简介 1.1、Linux设备驱动分类 1.2、字符设备驱动概念 二、驱动基本构成 2.1、驱动模块的加载和卸载 2.2、添加LICENNSE以及其他信息 三、字符设备驱动开发步骤 3.1、分配主次设备号 3.1.1 主次设备号 3.1.2静态注册设备号 3.1.3动态注册设备号 3.1.4释…

php7.3安装php7.3-gmp扩展踩坑总结

环境&#xff1a; 容器里面为php7.3.3版本 服务器也为php7.3.3-14版本&#xff0c;但是因为业务量太大需要在服务器里面跑脚本 容器里面为 alpine 系统&#xff0c;安装各种扩展 服务器里面开发服为 ubuntu 16.04.7 LTS (Xenial Xerus) 系统 服务器线上为 ubuntu 20.04.6 LTS (…

javaEE-8.JVM(八股文系列)

目录 一.简介 二.JVM中的内存划分 JVM的内存划分图: 堆区:​编辑 栈区:​编辑 程序计数器&#xff1a;​编辑 元数据区&#xff1a;​编辑 经典笔试题&#xff1a; 三,JVM的类加载机制 1.加载: 2.验证: 3.准备: 4.解析: 5.初始化: 双亲委派模型 概念: JVM的类加…

大语言模型轻量化:知识蒸馏的范式迁移与工程实践

大语言模型轻量化&#xff1a;知识蒸馏的范式迁移与工程实践 &#x1f31f; 嗨&#xff0c;我是LucianaiB&#xff01; &#x1f30d; 总有人间一两风&#xff0c;填我十万八千梦。 &#x1f680; 路漫漫其修远兮&#xff0c;吾将上下而求索。 摘要 在大型语言模型&#xff…

数据结构:时间复杂度

文章目录 为什么需要时间复杂度分析&#xff1f;一、大O表示法&#xff1a;复杂度的语言1.1 什么是大O&#xff1f;1.2 常见复杂度速查表 二、实战分析&#xff1a;解剖C语言代码2.1 循环结构的三重境界单层循环&#xff1a;线性时间双重循环&#xff1a;平方时间动态边界循环&…

[创业之路-276]:从燃油汽车到智能汽车:工业革命下的价值变迁

目录 前言&#xff1a; 从燃油汽车到智能汽车&#xff1a;工业革命下的价值变迁 前言&#xff1a; 燃油汽车&#xff0c;第一次、第二次工业革命&#xff0c;机械化、电气化时代的产物&#xff0c;以机械和电气自动化为核心价值。 智能汽车&#xff0c;第三次、第四次工业革…

vue页面和 iframe多页面无刷新方案和并行 并接入 micro 微前端部分思路

前: 新进了一家公司,公司是做电商平台的, 用的系统竟然还是jsp的网站,每次修改页面还需要我下载idea代码,作为一个前端, 这可不能忍,于是向上申请,意思你们后台做的太辣鸡,我要重做,经领导层商议从去年6月开始到今年12月把系统给重构了 公司系统采用的是每个jsp页面都是一个ifr…

Python 自学秘籍:开启编程之旅,人生苦短,我用python。

从2009年&#xff0c;用了几次python后就放弃了&#xff0c;一直用的php&#xff0c;现在人工智能时代&#xff0c;完全没php什么事情。必须搞python了&#xff0c;虽然已经40多岁了。死磕python了。让滔滔陪着你一起学python 吧。 开启新世界 在当今人工智能化的时代&#xff…

每日一题洛谷P5721 【深基4.例6】数字直角三角形c++

#include<iostream> using namespace std; int main() {int n;cin >> n;int t 1;for (int i 0; i < n; i) {for (int j 0; j < n - i; j) {printf("%02d",t);t;}cout << endl;}return 0; }

解决DeepSeek服务器繁忙问题:本地部署与优化方案

deepseek服务器崩了&#xff0c;手把手教你如何在手机端部署一个VIP通道&#xff01; 引言 随着人工智能技术的快速发展&#xff0c;DeepSeek等大语言模型的应用越来越广泛。然而&#xff0c;许多用户在使用过程中遇到了服务器繁忙、响应缓慢等问题。本文将探讨如何通过本地部…

【后端开发】系统设计101——通信协议,数据库与缓存,架构模式,微服务架构,支付系统(36张图详解)

【后端开发】系统设计101——通信协议&#xff0c;数据库与缓存&#xff0c;架构模式&#xff0c;微服务架构&#xff0c;支付系统&#xff08;36张图&#xff09; 文章目录 1、通信协议通信协议REST API 对比 GraphQL&#xff08;前端-web服务&#xff09;grpc如何工作&#x…

Java基础——分层解耦——IOC和DI入门

目录 三层架构 Controller Service Dao ​编辑 调用过程 面向接口编程 分层解耦 耦合 内聚 软件设计原则 控制反转 依赖注入 Bean对象 如何将类产生的对象交给IOC容器管理&#xff1f; 容器怎样才能提供依赖的bean对象呢&#xff1f; 三层架构 Controller 控制…

武汉火影数字|VR虚拟现实:内容制作与互动科技的奇妙碰撞

VR虚拟现实是一种利用计算机技术生产三维虚拟世界的技术&#xff0c;通过头戴式显示器、手柄等设备&#xff0c;用户可以身临其境地感受虚拟世界&#xff0c;与其中的物体进行自然交互。 当内容制作遇上 VR&#xff0c;会发生什么&#xff1f; 当内容制作遇上VR&#xff0c;就像…