文章目录
项目架构 项目开发内容 项目用户用例图 项目地址 开发环境 大模型使用 本地:Ollama部署 DeepSeek离线与在线api 大模型客户端使用
数据库脚本代码
内网互通原则 云服务器类型
项目架构
项目开发内容
项目用户用例图
项目地址
开发环境
IDEA,Trace spring Boot3 vue3 显卡:RTX 30360 12G LLM:deepseek-r1:14b
大模型使用
本地:Ollama部署
Website: https://ollama.com Find more models: https://ollama.com/library
下载ollama安装即可,终端验证成功命令ollama --version
访问https://ollama.com/library/deepseek-r1:14b,复制相应版本命令,在终端运行安装模型ollama run deepseek-r1:14b
如果需要安装到其他位置,请在安装过程中手动更改目录。
DeepSeek离线与在线api
对比项 离线部署 在线API 隐私数据 ✅ 数据完全本地处理,无外传风险 ⚠️ 需传输数据至云端,存在潜在隐私泄露风险 模型可控 ✅ 可完全自定义模型、调整参数和逻辑 ❌ 受限于API提供的固定模型和功能 可指定化 ✅ 支持深度定制(如领域适配、私有知识库集成) ⚠️ 仅支持有限定制(如prompt工程) 维护成本 ❌ 需自行维护服务器、更新模型和依赖库 ✅ 无需维护基础设施,由服务商负责 硬件成本 ❌ 需采购GPU/CPU服务器,初始投入高 ✅ 按需付费,无硬件采购成本 响应速度 ⚠️ 依赖本地算力(可能较慢) ✅ 云端高性能集群,通常响应更快 扩展性 ❌ 受限于本地硬件资源 ✅ 自动扩展,轻松应对高并发 适用场景 金融/医疗等敏感数据场景、强定制需求 快速验证、中小型企业、无敏感数据需求
隐私与合规 :离线版满足GDPR等严格合规要求,在线API需确认服务商的数据处理政策。成本权衡 :离线部署的硬件成本可能高达数万元(如A100服务器),而API按调用量计费。模型更新 :离线需手动更新模型权重(如从DeepSeek获取新版本),在线API自动升级但可能不可控。
大模型客户端使用
ChatBox工具安装使用website:https://chatboxai.app/zh
数据库脚本代码
CREATE DATABASE IF NOT EXISTS chat_record
CHARACTER SET utf8mb4
COLLATE utf8mb4_unicode_ci;
USE chat_record;
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0 ;
DROP TABLE IF EXISTS ` chat_record` ;
CREATE TABLE ` chat_record` (
` id` varchar ( 32 ) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '主键id' ,
` content` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '聊天内容' ,
` family_member` varchar ( 32 ) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '家庭成员名字(聊天归属)' ,
` chat_type` varchar ( 8 ) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '会话类型' ,
` chat_time` datetime NOT NULL COMMENT '会话时间' ,
PRIMARY KEY ( ` id` ) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
SET FOREIGN_KEY_CHECKS = 1 ;
deepseek创建定制医生模型
( base) PS D:\ code\ FamilyAIDoctor\ AiDoctor\ src\ main\ resources> ollama create yuan-doctor:1.0 -f .\ my_doctor
gathering model components
using existing layer sha256:6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1e
using existing layer sha256:369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150
using existing layer sha256:6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4
creating new layer sha256:23a8b21c7c408ef657a7fccc12a59763896bb981766009274e68480b94c3c3bd
creating new layer sha256:8a5b785b82b40e5e7882a88167052f651fe8c8a1ac52550784c09a4f1ae120ab
writing manifest
success
内网互通原则
关闭本地防火墙 关闭Linux防火墙或开启安全组端口 连接同一个WiFi下的网段 保证同一个网段设备同处于一个网段 前端(app/ios/安卓/鸿蒙/小程序)不要使用localhost
云服务器类型