基于 Ollama DeepSeek、Dify RAG 和 Fay 框架的高考咨询 AI 交互系统

一、项目概述

本项目旨在构建一个智能化的高考咨询助手，结合 AI 大模型、知识增强（RAG）和 3D 数字人交互，为用户提供智能高考问答、志愿填报建议、政策解读等功能。系统的核心架构如下：

1. AI 处理层：基于 Ollama DeepSeek 和 Dify RAG 提供智能问答能力。
2. 前端交互层：Fay 作为中间件，负责用户界面、数据传输、交互逻辑等。
3. 3D 数字人：从 GitHub 选择开源项目部署，提供可视化的数字人形象，并进行语音合成和表情联动。

---

二、系统架构

整体架构可分为以下几个部分：

1. AI 处理层

• Ollama DeepSeek 大模型

  • 负责高考问答、文本处理、推荐生成等任务。
  • 结合 Dify 训练微调，使模型更适应高考咨询领域。

• Dify RAG（检索增强生成）

  • 通过知识库增强 AI 的回答能力，提高高考政策、招生信息、历年数据的准确性。
  • 可定期更新数据，确保最新的政策、招生简章等信息。

• 后端 API（Spring Boot / FastAPI）

  • 统一封装 AI 服务，提供 API 供前端调用。
  • 处理用户会话管理、日志记录、缓存优化等功能。
  • (这部分应该用不到)

---

2. Fay 交互层

• Fay 框架（作为中间件）

  • Fay 不直接提供 3D 数字人功能，而是作为前端界面，连接 AI 和数字人。

  • Fay 处理：

    • 用户输入（文本/语音）
    • 调用后端 AI API 获取回答
    • 将 AI 回复内容传递给数字人

  • Fay 作为界面管理工具，可以负责用户交互（输入框、语音按钮等）。

---

3. 3D 数字人

• 开源数字人项目（GitHub 选择）

  • 3D 数字人用于展示 AI 生成的回答。

  • 结合语音合成（TTS），实现 AI 语音播报。

  • 结合表情动画，实现自然的交互体验。

  • 可能的开源选项：

    • Avatar SDK（开源 3D 角色）
    • DeepFaceLive（实现面部表情跟随）
    • VITS / Edge TTS（实现语音合成）

• 3D 数字人交互逻辑

  1. Fay 接收到 AI 返回的文本后，将其传递给 3D 数字人模块。
  2. 3D 数字人使用 TTS 生成语音，同时匹配表情和口型动画。
  3. 用户可通过 Fay 界面继续输入新问题，形成自然的问答互动。

---

三、核心功能

1. 高考智能问答

• 招生政策：根据最新的政策文件，提供准确的招生信息。
• 院校介绍：包括学校概况、专业设置、历年分数线等。
• 志愿填报建议：基于用户成绩、兴趣、地域偏好，智能推荐学校。
• 高考常见问题：解答考生和家长关注的问题，如录取规则、调剂政策等。

2. 智能推荐

• 用户输入个人成绩、兴趣、目标地区后，AI 分析并给出志愿填报建议。
• 结合 Dify RAG，匹配最相关的学校和专业信息。

3. 3D 互动

• 3D 数字人用语音和动画增强交互体验。
• Fay 作为 UI 交互层，让用户可选择文字或语音输入。

4. 知识库管理

• 允许手动或定期更新高考相关数据，确保信息实时准确。

---

四、技术选型(大多数技术不需要掌握,因为直接拉的github项目,但写项目书要用到(ai辅组))

组件	技术/工具
大模型	Ollama DeepSeek
知识增强	Dify RAG
前端 UI	Fay（作为中间件）
3D 数字人	GitHub 开源项目（待选，如 Avatar SDK、DeepFaceLive）
语音合成	VITS / Edge TTS
后端 API	Spring Boot / FastAPI
数据存储	PostgreSQL / MongoDB
实时通讯	WebSocket / gRPC

---

五、实施步骤

1. AI 模型训练和部署

• 数据准备：收集高考政策、院校数据、招生简章等资料，构建知识库。
• Dify RAG 训练：增强模型的知识检索能力，使其能回答高考相关问题。
• 模型微调：基于 Ollama DeepSeek 进行特定领域优化，提高问答准确度。
• API 部署：将训练好的模型封装为 API，供前端调用。

2. 选择并部署 3D 数字人

• 从 GitHub 选择合适的开源项目，如 Avatar SDK、DeepFaceLive 等。
• 集成 TTS 语音合成，使 AI 回复的文本能被 3D 数字人朗读。
• 优化表情和动画匹配，提升交互体验。

3. 搭建 Fay 前端

• Fay 作为 UI 层，负责：

  • 用户输入（文本/语音）
  • 调用 AI API
  • 显示 AI 生成的回答
  • 传递数据给 3D 数字人

4. 系统优化

• 性能优化：通过缓存、数据库索引等技术提高响应速度。
• 交互优化：调整 UI/UX 使其更直观易用。

---

六、预期成果

1. 智能高考咨询助手

   • 可回答高考相关问题，并提供个性化志愿填报建议。

2. 3D 数字人交互

   • 提供拟人化的 AI 交互体验，使咨询更生动有趣。

3. 模块化架构

   • Fay 作为中间件，AI 和 3D 数字人解耦，易于扩展和维护。

---

七、未来扩展方向

1. 多模态交互

   • 增加手势、表情识别，提高数字人的交互性。

2. AI 学习能力

   • 让 AI 根据用户反馈优化回答，提高问答质量。

3. 更多数据源

   • 引入更丰富的高考信息，如实时招生公告、学长学姐经验分享等。