springAI框架学习总结

news2024/9/25 11:20:12

springAI

1.springAI基本介绍

springAI是一个AI工程应用框架，其目标是将 Spring 生态系统设计原则（例如可移植性和模块化设计）应用于 AI 领域，并推广使用 POJO 作为 AI 领域应用程序的构建块。

2.特性

灵活的AIP支持chat,text-to-image, and Embedding models。支持同步和stream API。向下可以接入特定的模型。

Chat Models

  • OpenAI

  • Azure Open AI

  • Amazon Bedrock

    • Cohere's Command

    • AI21 Labs' Jurassic-2

    • Meta's LLama 2

    • Amazon's Titan

  • Google Vertex AI Palm

  • Google Gemini

  • HuggingFace - access thousands of models, including those from Meta such as Llama2

  • Ollama - run AI models on your local machine

  • MistralAI

Text-to-image Models

  • OpenAI with DALL-E

  • StabilityAI

Transcription (audio to text) Models

  • OpenAI

Embedding Models

  • OpenAI

  • Azure OpenAI

  • Ollama

  • ONNX

  • PostgresML

  • Bedrock Cohere

  • Bedrock Titan

  • Google VertexAI

  • Mistal AI

灵活的提供了多个厂商的向量存储API.

Vector Databases

  • Azure Vector Search

  • Chroma

  • Milvus

  • Neo4j

  • PostgreSQL/PGVector

  • PineCone

  • Redis

  • Weaviate

  • Qdrant

为 AI Models and Vector Stores提供了Spring Boot Auto Configuration and Starters .

支持以下模型：

  • OpenAI

  • Azure OpenAI

  • VertexAI

  • Mistral AI

支持的模型供应商：

  • OpenAI

  • Microsoft,

  • Amazon,

  • Google

  • and Huggingface

提供数据工程ETL框架：

  • 核心功能是促进使用向量存储将文档传输到模型提供者。 ETL 框架基于 Java 函数式编程概念，可帮助您将多个步骤链接在一起。

  • 支持读取各种格式的文档，包括 PDF、JSON 等。

  • 允许进行数据操作以满足需求。涉及分割文档以遵守上下文窗口限制，并使用关键字增强其以提高文档检索效率。

  • 处理后的文档存储在矢量数据库中，以便将来检索。

https://github.com/open-webui/open-webui

058 Docker运行Open WebUI拉取镜像_哔哩哔哩_bilibili

3.springAI框架使用搭建

参考文档：

Installation :: Spring Cli

Spring AI

Spring AI :: Spring AI Reference

Getting Started :: Spring AI Reference

Spring AI 中的类：

  • DocumentReader：一个 Java 功能接口，负责从数据源加载 List<Document>。 常见的数据源有 PDF、Markdown 和 JSON。

  • Document：数据源的基于文本的表示形式，还包含用于描述内容的元数据。

  • DocumentTransformer：负责以各种方式处理数据（例如，将文档分割成更小的部分或向文档添加额外的元数据）。

  • DocumentWriter：允许您将文档保存到数据库中（最常见的是在 AI 堆栈中，矢量数据库）。

  • Embedding：将数据表示为 List<Double>，矢量数据库使用它来计算用户查询与相关文档的“相似度”。

在矢量数据库中，查询与传统的关系数据库不同。 他们执行相似性搜索，而不是精确匹配。 当给定向量作为查询时，向量数据库返回与查询向量“相似”的向量。 矢量数据库用于将您的数据与 AI 模型集成。 使用它们的第一步是将数据加载到矢量数据库中。 然后，当用户查询要发送到人工智能模型时，首先检索一组相似的文档。 然后，这些文档将作为用户问题的上下文，并与用户的查询一起发送到人工智能模型。 该技术称为检索增强生成（RAG）。

评估AI模型响应 ： 一种方法涉及呈现用户的请求和人工智能模型对模型的响应，查询响应是否与提供的数据一致。

利用矢量数据库中存储的信息作为补充数据可以增强评估过程，有助于确定响应相关性。

Spring AI 项目当前提供了一些非常基本的示例，说明如何以提示的形式评估响应以包含在 JUnit 测试中。

step1 下载安装spring cli工具 https://github.com/spring-projects/spring-cli/releases

step2.创建myai工程

spring boot new --from ai --name myai

step3.创建openAI账户，获取api key并配置其于项目工程

获取apikey

https://platform.openai.com/api-keys

New API

配置api key

step4.运行myai工程

step5.访问工程：

curl localhost:8080/ai/simple

参考代码：https://github.com/rd-1-2022/ai-openai-helloworld/tree/main

注意：可能因为网络无法访问，需自行解决

Spring AI整合OpenAI和Ollama本地大模型_哔哩哔哩_bilibili

ollama

   4. springAI API

  • chat completion API(openAI/Ollama/huggingface/google vertexAI)

  • Embeddings API (openAI/ollama/google vertexAI/Transformer(ONNX)) EmbeddingClient 界面旨在与 AI 和机器学习中的嵌入模型直接集成。 其主要功能是将文本转换为数值向量，通常称为嵌入。 这些嵌入对于语义分析和文本分类等各种任务至关重要。

    EmbeddingClient 界面的设计围绕两个主要目标：

    可移植性：该接口确保了跨各种嵌入模型的轻松适应性。 它允许开发人员以最少的代码更改在不同的嵌入技术或模型之间切换。 这种设计符合 Spring 的模块化和可互换性理念。

    简单性：EmbeddingClient 简化了将文本转换为嵌入的过程。 通过提供 embed(String text) 和 embed(Document document) 等简单方法，它消除了处理原始文本数据和嵌入算法的复杂性。 这种设计选择使开发人员（尤其是刚接触 AI 的开发人员）能够更轻松地在应用程序中利用嵌入，而无需深入研究底层机制。

  • image generation api(openAI/stability)

  • transcription API (openAI)

  • vector databases(Neo4j/PGvector/Redis);

  • Function Calling

    大型语言模型（LLM）在训练后被冻结，导致知识过时，并且无法访问或修改外部数据。

    Function Calling 机制解决了知识过时问题，允许注册自定义用户函数，将大型语言模型连接到外部系统的 API。 这些系统可以为llm提供实时数据并代表他们执行数据处理操作。

  • Multimodality API(多模态 api) 多模态是指模型同时理解和处理多种类型模式的的信息数据能力，包括：文本、图像、音频；

    多模式大语言模型（LLM）特征使模型能够结合其他模态（图像、音频、视频）来处理和生成文本响应；

    springAI多模态API提供了所有必要的统一抽象和代码封装来支持多模态LLM

  • Prompts

    角色： system Role /User Role/ Assitant Role/Function Role

    提示技术：

    • Text Summarization: 文本总结

    • Question Answering: 问题问答

    • Text Classification: 文本分类

    • Conversation: 交互式自然对话

    • Code Generation: 代码生成

    高级技术：

    • Zero-shot, Few-shot Learning（零样本，少样本学习）: 使模型能够通过最少甚至没有特定问题类型的先前示例做出准确的预测或响应，使用学习到的概括来理解新任务并采取行动。

    • Chain-of-Thought（链式思维）: 将多个人工智能响应链接起来，创建连贯且上下文相关的对话。 它帮助人工智能保持讨论的主线，确保相关性和连续性。

    • ReAct (Reason + Act): 这种方法中，人工智能首先分析输入（推理），然后确定最合适的行动或响应方案。 它将理解与决策结合起来。

  • 输出解析（Output Parsers）

    OutputParser 接口允许您获取结构化输出，例如将输出映射到 Java 类或 AI 模型基于字符串的输出的值数组。

output Parser接口实现：BeanOutputParser（java bean 与json）、MapOutputParser(json转map)、ListOutputParser（输出为逗号分隔的list）

  • ETL Pipeline

    Extract,Transform,Load->ETL

    Retrieval Augmented Generation (RAG):检索增强生成

    ETL 框架充当检索增强生成 (RAG) 用例中数据处理的支柱。

    ETL 管道编排从原始数据源到结构化向量存储的流向，确保数据采用最佳格式供 AI 模型检索。

    RAG 用例是文本，通过从数据体中检索相关信息来增强生成模型的功能，从而提高生成输出的质量和相关性。

    ETL pipeline的三个主要组件：

    • DocumentReader 实现了 Supplier<List<Document>>接口

    • DocumentTransformer 实现了 Function<List<Document>, List<Document>>接口

    • DocumentWriter 实现了Consumer<List<Document>>接口 Document 类包含文本和元数据，是通过 DocumentReader 从 PDF、文本文件和其他文档类型创建的。

      ETL 类型：

      • PagePdfDocumentReader 实现了 DocumentReader

      • TokenTextSplitter 实现了 DocumentTransformer

      • VectorStore 接口of DocumentWriter接口

      将数据基本加载到向量数据库中以与检索增强生成（RAG）模式一起使用，代码如下： vectorStore.accept(tokenTextSplitter.apply(pdfReader.get()));

  • 测试评估（evaluation testing）

  • 通用模型api(Generic Model API)

    为了给所有 AI 模型客户端提供基础，创建了通用模型 API。 这使得通过遵循通用模式可以轻松地为 Spring AI 提供新的 AI 模型支持。 以下部分为此 API介绍：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2083994.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Matlab R2022b使用Camera Calibrator工具箱张正友标定法进行相机标定附带标定前后对比代码

Matlab R2022b使用Camera Calibrator工具箱张正友标定法进行相机标定附带标定前后对比代码

打开Camera Calibrator 在这添加你拍摄的图片 根据你每个方块的实际边长填写&#xff0c;我是15mm。 通俗一点&#xff0c;要k3就选3 Coefficients&#xff0c;否则为0&#xff1b;要p1、p2就选Tangential Distortion。然后进行计算。 可以点击右侧误差高的选中图像进行移…
阅读更多...
【计算机网络】计算机网络的分层结构

【计算机网络】计算机网络的分层结构

为什么要分层&#xff1f;为什么要制定协议&#xff1f; 计算机网络功能复杂→采用分层结构&#xff0c;将诸多功能合理地划分在不同层次→对等层之间制定协议&#xff0c;以实现功能。
阅读更多...
探索Scratch编程：重温《西游记-大战蜘蛛精》

探索Scratch编程：重温《西游记-大战蜘蛛精》

小虎鲸Scratch资源站-免费Scratch作品源码,素材,教程分享平台! 在编程教育的浪潮中&#xff0c;Scratch以其简单易用的特点&#xff0c;成为了孩子们学习编程的热门选择。今天&#xff0c;我们很高兴向大家介绍一款精彩的Scratch教学案例作品——《西游记-大战蜘蛛精》。这不仅…
阅读更多...
【JAVA入门】Day27 - 集合体系结构综述

【JAVA入门】Day27 - 集合体系结构综述

【JAVA入门】Day27 - 集合体系结构综述 文章目录 【JAVA入门】Day27 - 集合体系结构综述一、单列集合体系结构1.1 Collection 集合的基本方法1.2 Collection 集合的遍历方式1.2.1 迭代器遍历1.2.2 增强 for 遍历1.2.3 利用 Lambda 表达式进行遍历 1.3 List 集合的基本方法1.4 L…
阅读更多...
pyhton __init__.py

pyhton __init__.py

文章目录 包和模块__init__.py概述导入包和使用模块控制导入行为 包和模块 在这样一个工程中&#xff0c;pkg是包(package)&#xff0c;module1.py和module2.py是模块(module)&#xff0c;在模块中还有定义的方法、变量等&#xff0c;可以统称为功能。 import可以导入包&…
阅读更多...
Node-RED解析巴法云/小米的传感器数据

Node-RED解析巴法云/小米的传感器数据

在前面的博文&#xff08;Node-RED订阅巴法云的数据并展示-CSDN博客&#xff09;中提到过&#xff0c;Node-RED对JSON格式的数据很友好&#xff0c;直接可以解析。不过巴法云默认的格式是小米所采用的格式&#xff0c;即&#xff1a;#温度#湿度#开关#。采用这种格式的好处就是巴…
阅读更多...
【C++二分查找】2271. 毯子覆盖的最多白色砖块数

【C++二分查找】2271. 毯子覆盖的最多白色砖块数

本文涉及的基础知识点 C二分查找 LeetCode2271. 毯子覆盖的最多白色砖块数 给你一个二维整数数组 tiles &#xff0c;其中 tiles[i] [li, ri] &#xff0c;表示所有在 li < j < ri 之间的每个瓷砖位置 j 都被涂成了白色。 同时给你一个整数 carpetLen &#xff0c;表…
阅读更多...
C++ | Leetcode C++题解之第381题O(1)时间插入、删除和获取随机元素-允许重复

C++ | Leetcode C++题解之第381题O(1)时间插入、删除和获取随机元素-允许重复

题目&#xff1a; 题解&#xff1a; class RandomizedCollection { public:unordered_map<int, unordered_set<int>> idx;vector<int> nums;/** Initialize your data structure here. */RandomizedCollection() {}/** Inserts a value to the collection. …
阅读更多...
笔记报警管理

笔记报警管理

1. IOT创建新产品 睡眠检测带 2. 养老后台 添加了一个设备 睡眠检测带_201_1 3. 新增了模拟器(3个模拟js运行) 4. 创建了消费者组(默认DEFAULT) 5. 创建订阅(3个产品的上报信息 传给DEFAULT)消息处理 前面我们已经完成了设备的管理&#xff0c;现在&#xff0c;我们就来处…
阅读更多...
50.x86游戏实战-XXX副本内瞬图

50.x86游戏实战-XXX副本内瞬图

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 本次游戏没法给 内容参考于&#xff1a;微尘网络安全 工具下载&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1rEEJnt85npn7N38Ai0_F2Q?pwd6tw3 提…
阅读更多...
《前端攻城狮 · Snowflake 雪花算法》

《前端攻城狮 · Snowflake 雪花算法》

&#x1f4e2; 大家好&#xff0c;我是 【战神刘玉栋】&#xff0c;有10多年的研发经验&#xff0c;致力于前后端技术栈的知识沉淀和传播。 &#x1f497; &#x1f33b; CSDN入驻不久&#xff0c;希望大家多多支持&#xff0c;后续会继续提升文章质量&#xff0c;绝不滥竽充数…
阅读更多...
Ruff :是一个用Rust编写的极快的 Python linter 和代码格式化程序

Ruff :是一个用Rust编写的极快的 Python linter 和代码格式化程序

安装 pip install ruff 语法检查 要对代码运行 linter&#xff0c;我们使用 ruff check . 如果你想在单个文件上运行它&#xff0c;请这样做 ruff check <filename.py> 总共有 415 个错误。其中 33 个可以修复&#xff01; 为了修复它们&#xff0c;我们使用标志--f…
阅读更多...
深度学习实用方法 - 选择超参数篇

深度学习实用方法 - 选择超参数篇

序言 在深度学习的浩瀚领域中&#xff0c;超参数的选择无疑是通往卓越模型性能的一把关键钥匙。超参数&#xff0c;作为训练前设定的、用于控制学习过程而非通过学习自动获得的参数&#xff0c;如学习率、批量大小、网络层数及节点数等&#xff0c;直接影响着模型的收敛速度、…
阅读更多...
LLMOP 面向LLM编程,让你的接口和代码对LLM更友好！

LLMOP 面向LLM编程,让你的接口和代码对LLM更友好！

LLM Oriented Programming ApiHug Lint 检查报告 - ApiHugApihug quality lint tools to check api design violationshttps://apihug.com/zhCN-docs/tool/apihug-lint ​LLMOP 面向LLM编程&#xff08;LLMOP&#xff09;代表了我们构思和设计API的范式转变。该方法旨在创建不…
阅读更多...
TRIZ理论在传感技术创新中的应用优势

TRIZ理论在传感技术创新中的应用优势

传感技术作为连接物理世界与数字世界的桥梁&#xff0c;正以前所未有的速度推动着社会进步与产业升级。而TRIZ&#xff08;发明问题解决理论&#xff09;这一强大的创新方法论&#xff0c;也开始悄然在传感技术领域绽放异彩&#xff0c;为创新者提供了前所未有的设计灵感与解决…
阅读更多...
CCF CSP题解：因子化简（202312-2）

CCF CSP题解：因子化简（202312-2）

链接和思路 OJ链接&#xff1a;传送门。 问题重述 本题基于一个基本事实&#xff0c;即任何一个大整数 n n n都可以唯一地分解为如下形式 n p 1 t 1 p 2 t 2 ⋯ p m t m n p_1^{t_1} \times p_2^{t_2} \times \cdots \times p_m^{t_m} np1t1​​p2t2​​⋯pmtm​​其中…
阅读更多...
软件测试 | 测试用例Ⅱ

软件测试 | 测试用例Ⅱ

基于需求的设计方法 测试人员接到需求后&#xff0c;要对需求进行分析和验证&#xff0c;从合理的需求中进一步分析细化需求&#xff0c;从细化的需求中找出测试点&#xff0c;根据这些测试点再去设计测试用例。 上面就是根据需求文档先设计出来的初步的测试用例&#xff0c;而…
阅读更多...
数据库表太多，如何快速定位到需要字段

数据库表太多，如何快速定位到需要字段

MySQL数据库表太多&#xff0c;如何快速定位到需要字段 问题&#xff1a; 数据库的表太多&#xff0c;自己只通过后端代码&#xff0c;知道数据字段名。现在想搜索数据库中所有表&#xff0c;查到对应字段&#xff0c;实现报表开发。 一、方案 在MySQL数据库中&#xff0c;如…
阅读更多...
【web网页制作】中国传统文化书法主题html网页制作开发div+css（6页面附效果源码）

【web网页制作】中国传统文化书法主题html网页制作开发div+css（6页面附效果源码）

HTMLCSS传统文化主题书法网页制作 &#x1f354;涉及知识&#x1f964;写在前面&#x1f367;一、网页主题&#x1f333;二、网页效果菜单切换效果PageA、整体页Page1、主页Page2、行书页Page3、楷书页Page4、隶书页Page5、篆书页Page6、草书页 &#x1f40b;三、网页架构与技术…
阅读更多...
微前端集成优化：让所有子应用体积更小，加载更快！

微前端集成优化：让所有子应用体积更小，加载更快！

简介 随着前端的日益发展&#xff0c;微前端架构越来越受到青睐。它通过将前端应用拆分为多个独立的子应用&#xff0c;每个子应用可以独立开发、部署和运行&#xff0c;从而提升了开发效率和团队协作。目前主流的微前端方案应该是qiankun了。 以笔者公司为例&#xff0c;采用…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023