AI大模型探索之路-实战篇9：探究Agent智能数据分析平台的架构与功能

系列篇章💥

AI大模型探索之路-实战篇4：深入DB-GPT数据应用开发框架调研
AI大模型探索之路-实战篇5：探索Open Interpreter开放代码解释器调研
AI大模型探索之路-实战篇6：掌握Function Calling的详细流程
AI大模型探索之路-实战篇7：Function Calling技术实战自动生成函数
AI大模型探索之路-实战篇8：多轮对话与Function Calling技术应用

前言

随着数据量的激增和业务复杂性的提升，企业和组织对高效、精准的数据分析工具的需求日益增强。智能数据分析平台因此应运而生，它结合了最新的人工智能技术，尤其是大型语言模型，来解析用户的自然语言查询，并实现这些查询到数据库操作的转换。这种创新不仅提升了数据分析的效率和准确性，还极大地改善了用户体验。
在这里插入图片描述

本文将详细介绍这一平台的架构设计、核心技术、以及实现方法。我们的目标是展示如何构建一个功能强大、用户友好且高度可靠的数据分析工具，它将支持交互式数据探索和智能分析，适用于各种业务场景。

通过深入探讨相关的技术细节和应用实例，希望能够提供实施或优化智能数据分析平台时的实用指南和灵感。随着技术的不断进步，我们期待看到这类平台在未来发挥更大的作用，帮助企业和组织实现数据驱动的决策和增长。

一、平台概览与核心特性

智能数据分析平台旨在通过最新的人工智能技术，尤其是大型语言模型，为用户提供一个高效、直观的数据查询和分析工具。该平台允许用户通过自然语言提出数据相关的问题或查询，内部的大型语言模型处理这些自然语言请求，将其转换为数据库可执行的SQL命令。这种转换能力不仅减少了技术门槛，也优化了数据分析的流程，使其更加自动化和智能化。
核心特性包括：

自然语言支持：用户可以依靠自己的语言表达数据需求，降低了学习SQL等数据查询语言的需求。
互动式操作：在执行由自然语言生成的SQL命令前，系统会提示用户进行确认，确保查询的准确性，从而避免潜在的错误和风险。
记忆功能：平台具备一定的长短期记忆能力，能够记住用户的历史查询和数据字典中的业务逻辑，用以提升后续查询的效率和准确性。
智能分析：利用内置的智能算法和数据字典，平台能够对数据进行深入分析，提供超出简单SQL查询的分析见解。
稳定性：平台的设计和实施需要考虑到了数据处理的稳定性和可靠性，确保高频及复杂查询的顺畅执行。
图表展示：提供丰富的数据可视化选项，帮助用户更直观地理解数据和分析结果，增强数据的可读性和影响力。

本次项目实战，主要是落地实践一个智能数据分析平台；用户可以通过自然语言进行提问，由平台调用大模型对自然语言进行解析识别，生成SQL，再由系统自动的调用SQL,生成结果返回给用户，并且SQL执行之前，将要执行的SQL返回给用户界面，由用户进行检查正确与否，确认是否需要执行。类似于前面调研的DB-GPT开源项目；同时又融入了Open Interpreter开源项目中的确认交互机制。

二、架构设计说明

智能数据分析平台的架构设计充分考虑了系统的可扩展性、稳定性及用户交互的流畅性。在构建此平台时，我们注重以下几个关键能力：

增强记忆能力： 平台通过维护一份详尽的数据字典和指标字典来实现长期记忆功能。这些字典包含业务逻辑、数据源信息和历史查询，帮助系统更好地理解用户的查询意图并提供准确的数据分析结果。
任务处理能力： 平台具备将复杂数据分析任务拆解为多个子任务的能力，每个子任务更易于管理和执行。这种任务拆解能力基于平台的推理和逻辑思维能力，能够高效地安排和优化查询流程。
SQL解析与兼容性： 平台设计了先进的SQL解析器，能够兼容不同的数据服务接口，如MySQL、Hive、SparkSQL等。这意味着无论数据存储在何处，平台都能够顺畅地进行数据交互和分析。
代码解析能力： 对于复杂的数据分析需求，平台能够通过内置或外部的代码库支持高级的数据处理和可视化功能。例如，可以利用Python脚本来进行机器学习分析或使用JavaScript库来生成高级图表。
交互机制： 平台强调多轮对话和用户交互的重要性，通过提供实时反馈和确认机制，确保用户对数据分析过程的完全控制。此外，交互式界面允许用户逐步细化查询条件，以获得更精确的数据分析结果。

在这里插入图片描述

三、数据字典说明

数据字典是一个记录数据库或数据集中各种数据元素的文档或文件，它提供了对数据元素的详细描述和定义，以及数据的结构、关系和属性等信息。数据字典对于数据管理和数据分析非常重要，它有助于组织、理解和使用数据，以及确保数据的准确性、一致性和可靠性。下面将详细介绍数据字典的作用和功能，包括数据元素的定义、关系表示、数据字典的组成和应用。
数据字典通常由以下几个组成部分构成：

数据元素定义： 包括数据元素名、标识符、数据类型、长度、含义、取值范围、格式等。
数据结构和关系： 表明数据元素之间的逻辑和物理关系，如表的关系图、主键和外键关联等。
数据属性和约束： 描述数据元素的属性和限制，如大小、精度、唯一性约束等。
数据质量规则和指标： 定义数据的质量标准和要求，如完整性、准确性、一致性等。
数据安全和权限： 记录数据的敏感性和访问权限，如数据分类、保密级别、用户权限等。
数据源和血缘追溯： 追踪数据的来源、处理过程和传递路径，保证数据的可追溯性和可信度。
数据文档和注释： 提供数据的文档和注释，包括数据定义、解释、用途和示例等信息。

四、指标字典说明

指标字典是什么？
指标字典在智能数据分析平台中发挥着至关重要的作用，它是业务数据标准化和统一管理的基础。通过定义和标准化关键业务指标，指标字典帮助组织内部建立对业务数据的共识，从而提高数据分析的准确性和效率。
（比如：什么是日活？GDP是指什么？）
主要设计目的包括：
规范命名： 明确并通用的指标命名规则确保了跨部门和团队的数据一致性，避免了因命名差异引起的误解和混淆。
统一计算口径： 对于每一个指标，指标字典提供了明确的计算公式或逻辑，确保在不同时间点或不同场景下，指标的计算方式保持一致，从而保证数据比较的公正性和准确性。
核心维度与量度覆盖： 指标字典力求覆盖所有关键的业务维度和量度，这不仅有助于推动数据驱动的业务决策，还确保了数据分析的全面性。

五、平台技术选型

技术模块	选型
开发语言	Python
大模型选型	GPT/GLM4或者私有模型
是否需要微调	否
额外准备	1. 安装MySQL数据库 2. 安装HiveSQL服务（可选）

在这里插入图片描述

六、项目调研

1、ChatGPT Code Interpreter
在这里插入图片描述

1）不能联网
2）仅限于官方内置提供的一些库，不能自己安装其他库，或调用其他库的功能。
3）老生常谈的数据安全话题，如果你想体验自动化的数据分析或者代码编写，就必须把本地文件进行上传。（并且有大小限制）
2、DB-GPT

DB-GPT是一个开源的AI原生数据应用开发框架。目的是构建大模型领域的基础设施，通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。
优点：功能强大、支持模型较多、界面体验较好。
缺点：交互体验差、复杂任务拆解能力弱。

3、open-interpreter

Open Interpreter（开放解释器）开源项目、可以让大语言模型（LLMs）在本地运行代码（比如 Python、JavaScript、 Shell 等）。安装后，在终端上运行 $ interpreter 即可通过类似 ChatGPT 的界面与 Open Interpreter 聊天。
有点：轻量级，方便、交互体验较好。
缺点：不稳定、复杂任务拆解能力弱。

在前面的篇章中我们已经对DB-GPT和open-interpreter 调研体验过；基本上还存在不同程度的缺陷，无法满足当前数据分析平台的设计。

七、核心功能分析

在这里插入图片描述

虽然大语言模型的知识储量巨大，且具备非常强大的涌现能力，但很多时候我们实际使用大语言模型时仍然会明显的感受到模型能力上的局限，例如模型无法获取最新的信息、模型只能给出文字的建议但无法直接帮我们解决某些问题（如查询数据库，查询商品价格等），因此需要借用大模型的Funcation Calling能力，给大模型添加一个外挂。（前面几个篇章中我们也对OpenAI的Funcation Calling进行了回顾实践和通用函数封装）。