spring-ai之Advisors API

news2025/4/24 9:28:04

1、

Spring AI Advisors API 提供了一种灵活而强大的方法来拦截、
修改和增强 Spring 应用程序中的 AI 驱动的交互。 
通过利用 Advisors API,开发人员可以创建更复杂、可重用和可维护的 AI 组件。

主要优势包括封装重复的生成式 AI 模式、转换发送到大型语言模型 (LLM)
 和从大型语言模型 (LLM) 发送的数据,以及提供跨各种模型和用例的可移植性。
var chatClient = ChatClient.builder(chatModel)
    .defaultAdvisors(
        new MessageChatMemoryAdvisor(chatMemory), // chat-memory advisor
        new QuestionAnswerAdvisor(vectorStore)    // RAG advisor
    )
    .build();

String response = this.chatClient.prompt()
    // Set advisor parameters at runtime
    .advisors(advisor -> advisor.param("chat_memory_conversation_id", "678")
            .param("chat_memory_response_size", 100))
    .user(userText)
    .call()
	.content();

2、 

Advisors API 包括CallAroundAdvisor和CallAroundAdvisorChain
对于非流式处理方案,以及StreamAroundAdvisor和
StreamAroundAdvisorChain用于流式处理方案。 它还包括AdvisedRequest
来表示未封装的 Prompt 请求,AdvisedResponse以获取 Chat Completion 
响应。两者都持有advise-context在 advisor chain 中共享状态。

nextAroundCall()和nextAroundStream()是关键的 advisor 方法,
通常执行诸如检查未密封的 Prompt 数据、自定义和扩充 Prompt 数据、调用
 advisor chain 中的下一个实体、选择性地阻止请求、检查聊天完成响应以及
引发异常以指示处理错误等作。此外,getOrder() method 确定链中的 
advisor 顺序,而getName()提供唯一的 advisor 名称。由 Spring AI 
框架创建的 Advisor 链允许按顺序调用多个 advisor,这些 advisor 
按其getOrder()值。 首先执行较低的值。 自动添加的最后一个 advisor 将请求发送到 LLM。

下图说明了 advisor chain和聊天模型之间的交互

1、The Spring AI framework creates an AdvisedRequest from user’s 
Prompt along with an empty AdvisorContext object.

2、Each advisor in the chain processes the request, 
potentially modifying it. Alternatively, it can choose 
to block the request by not making the call to invoke 
the next entity. In the latter case, the advisor is 
responsible for filling out the response.

3、The final advisor, provided by the framework, 
sends the request to the Chat Model.

4、The Chat Model’s response is then passed back through 
the advisor chain and converted into AdvisedResponse. 
Later includes the shared AdvisorContext instance.

5、Each advisor can process or modify the response.

6、The final AdvisedResponse is returned to the client
 by extracting the ChatCompletion.

    1、Spring AI 创建了一个AdvisedRequest从用户的Prompt
    以及一个空的AdvisorContext对象。
    
    2、advisor  chain 中的每个 advisor 都会处理请求,
    并可能对其进行修改。或者,它也可以选择通过不调用下一个实体来阻止请求。
    在后一种情况下,advisor 负责填写回复。
    
    3、spring-ai自身提供的 final advisor 则会将请求发送到Chat Model.
    
    4、然后,聊天模型的响应通过 advisor 链传回并转换为AdvisedResponse.later 
    包括共享的AdvisorContext实例。
    
    5、每个advisor 都可以处理或修改响应。
    
    6、final AdvisedResponse通过提取ChatCompletion.

     

    Advisor Order
    The execution order of advisors in the chain is determined 
    by the getOrder() method. Key points to understand:
    
    Advisors with lower order values are executed first.
    
    The advisor chain operates as a stack:
    
    The first advisor in the chain is the first to process the request.
    
    It is also the last to process the response.
    
    To control execution order:
    
    Set the order close to Ordered.HIGHEST_PRECEDENCE to ensure 
    an advisor is executed first in the chain (first for request 
    processing, last for response processing).
    
    Set the order close to Ordered.LOWEST_PRECEDENCE to ensure 
    an advisor is executed last in the chain 
    (last for request processing, first for response processing).
    
    Higher values are interpreted as lower priority.
    
    If multiple advisors have the same order value, 
    their execution order is not guaranteed.

    链中 advisor 的执行顺序由getOrder()方法。需要了解的要点:
    
    首先执行 order值较低的Advisors。
    
    advisor 链以 stack的形式运行(后进先出(LIFO)):
    
    链中的第一个 advisor 是第一个处理请求的人。
    
    链中的第一个 advisor 也是最后一个处理响应的服务器。
    
    要控制执行顺序:
    
    将order设置为 Ordered.HIGHEST_PRECEDENCE确保 advisor 首先在链中执行 
    (first for request processing, last for response processing)。
    
    将order设置为 Ordered.LOWEST_PRECEDENCE确保 advisor 在链中最后执行 
    (last for request processing, first for response processing)。
    
    较高的值被解释为较低的优先级。
    
    如果多个 advisor 具有相同的order值,则不能保证他们的执行顺序。

    Spring AI Built-in Advisors
    Spring AI framework provides several built-in advisors to enhance 
    your AI interactions. Here’s an overview of the available advisors:
    
    Chat Memory Advisors
    These advisors manage conversation history in a chat memory store:
    
    MessageChatMemoryAdvisor
    
    Retrieves memory and adds it as a collection of messages to the 
    prompt. This approach maintains the structure of the conversation 
    history. Note, not all AI Models support this approach.
    
    PromptChatMemoryAdvisor
    
    Retrieves memory and incorporates it into the prompt’s system text.
    
    VectorStoreChatMemoryAdvisor
    
    Retrieves memory from a VectorStore and adds it into the prompt’s 
    system text. This advisor is useful for efficiently searching 
    and retrieving relevant information from large datasets.
    
    Question Answering Advisor
    QuestionAnswerAdvisor
    
    This advisor uses a vector store to provide question-answering 
    capabilities, implementing the RAG (Retrieval-Augmented Generation) pattern.
    
    Content Safety Advisor
    SafeGuardAdvisor
    
    A simple advisor designed to prevent the model from generating harmful
     or inappropriate content.

    Spring AI 内置顾问程序
    Spring AI 框架提供了几个内置的顾问程序来增强您的 AI 交互。以下是可用顾问的概述:
    
    聊天记忆顾问
    这些顾问在聊天内存存储中管理对话历史记录:
    
    MessageChatMemoryAdvisor
    
    检索内存并将其作为消息集合添加到提示符中。此方法维护会话历史记录的结构。请注意,
    并非所有 AI 模型都支持此方法。
    
    PromptChatMemoryAdvisor
    
    检索内存并将其合并到提示的系统文本中。
    
    VectorStoreChatMemoryAdvisor
    
    从 VectorStore 中检索内存,并将其添加到提示符的系统文本中。此 advisor 
    可用于从大型数据集中高效搜索和检索相关信息。
    
    问题解答顾问
    QuestionAnswerAdvisor
    
    此 advisor 使用向量存储来提供问答功能,实现 RAG(检索增强生成)模式。
    
    内容安全顾问
    SafeGuardAdvisor
    
    一个简单的 advisor,旨在防止模型生成有害或不适当的内容。

    本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2341356.html

    如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

    相关文章

    JVM 系列:JVM 内存结构深度解析

    你点赞了吗?你关注了吗?每天分享干货好文。 高并发解决方案与架构设计。 海量数据存储和性能优化。 通用框架/组件设计与封装。 如何设计合适的技术架构? 如何成功转型架构设计与技术管理? 在竞争激烈的大环境下&#xff0c…

    【回眸】Tessy集成测试软件使用指南(一)新手使用篇

    前言 这个专栏的文章前4篇都在记录如何使用Tessy进行单元测试,集成测试需要有一定单元测试基础,且做集成测试之前,需要做好单元测试,否则将会大幅增加软件单元代码纠错的代价。集成测试所花费的时间通常远远超过单元测试。如果直…

    ROS 快速入门教程02

    5. Node 节点 以智能手机为例,当我们使用智能手机的某个功能时,大多时候在使用手机的某个APP。同样当我们使用ROS的某个功能时,使用的是ROS的某一个或者某一些节点。 虽然每次我们只使用ROS的某一个或者某一些节点,但我们无法下…

    vue+django+LSTM微博舆情分析系统 | 深度学习 | 食品安全分析

    文章结尾部分有CSDN官方提供的学长 联系方式名片 文章结尾部分有CSDN官方提供的学长 联系方式名片 关注B站,有好处! 编号: D031 LSTM 架构:vuedjangoLSTMMySQL 功能: 微博信息爬取、情感分析、基于负面消极内容舆情分析…

    HCIP实验二(OSPF网络配置与优化)

    一.拓扑图与题目 1.R5为ISP,其上只能配置IP地址; R5与其他所有直连设备间均使用公有IP;环回地址为100.1.1.1/3 2.R4设备为企业出口路由器 3.整个0SPF环境IP基于172.16.0.0/16划分 4.所有设备均可访问R5的环回; 5.减少LSA的更新里,加快收敛&#xff0…

    K8S的service详解

    一。service的介绍 在K8S中,pod是访问应用程序的载体,我们可以通过pod的ip来访问应用程序,但是pod的ip地址不是固定的,这也意味着不方便直接采用pod的ip对服务进行访问,为了解决这个问题,K8S提供了service…

    数据结构初阶:二叉树(四)

    概述:本篇博客主要介绍链式结构二叉树的实现。 目录 1.实现链式结构二叉树 1.1 二叉树的头文件(tree.h) 1.2 创建二叉树 1.3 前中后序遍历 1.3.1 遍历规则 1.3.1.1 前序遍历代码实现 1.3.1.2 中序遍历代码实现 1.3.1.3 后序遍历代…

    配置Intel Realsense D405驱动与ROS包

    配置sdk使用 Ubuntu20.04LTS下安装Intel Realsense D435i驱动与ROS包_realsense的驱动包-CSDN博客 中的方法一 之后不通过apt安装包,使用官方的安装步骤直接clone https://github.com/IntelRealSense/realsense-ros/tree/ros1-legacy 从这一步开始 执行完 这一步…

    【最新版】沃德代驾源码全开源+前端uniapp

    一.系统介绍 基于ThinkPHPUniapp开发的代驾软件。系统源码全开源,代驾软件的主要功能包括预约代驾、在线抢单、一键定位、在线支付、车主登记和代驾司机实名登记等‌。用户可以通过小程序预约代驾服务,系统会估算代驾价格并推送附近代驾司机供用户选择&…

    Linux:权限相关问题

    文章目录 shell命令以及运行的原理Linux权限执行权限更改目录权限缺省权限粘滞位 shell命令以及运行的原理 操作系统分为内核和外壳程序,xshell是外壳程序,外壳程序包括我们windows桌面上的图形化界面,本质都是翻译给核心处理,再显…

    AI数字人:元宇宙舞台上的闪耀新星(7/10)

    摘要:AI数字人作为元宇宙核心角色,提升交互体验,推动内容生产变革,助力产业数字化转型。其应用场景涵盖虚拟社交、智能客服、教育、商业营销等,面临技术瓶颈与行业规范缺失等挑战,未来有望突破技术限制&…

    【Linux】冯诺依曼体系结构及操作系统架构图的具体剖析

    目录 一、冯诺依曼体系结构 1、结构图 2、结构图介绍: 3、冯诺依曼体系的数据流动介绍 4、为什么在该体系结构中要存在内存? 二、操作系统架构图介绍 1、操作系统架构图 2、解析操作系统架构图 3、为什么要有操作系统? 前些天发现了一…

    算法训练营第一天|704.二分查找、27.移除元素、977.有序数组的平方

    数组理论基础 1.数组是存放在连续内存空间上的相同类型数据的集合。 2.数组的元素是不能删除的,只能覆盖。 3.不同语言不一样,在C中,二维数组是连续分布的 704.二分查找 题目 思路与解法 第一想法: 简单的二分查找&#xff0c…

    c++ 互斥锁

    为练习c 线程同步,做了LeeCode 1114题. 按序打印: 给你一个类: public class Foo {public void first() { print("first"); }public void second() { print("second"); }public void third() { print("third"…

    中波红外相机的应用领域及介绍

    科技日新月异,无人机技术在众多领域已显露其卓越性能。当中波红外相机与无人机携手合作,安防视频监控和精细巡检便迎来了颠覆性的变革。本文旨在深入剖析无人机搭载中波红外相机的技术优势、广阔应用前景及实际案例,以此彰显其不可估量的潜力…

    重装系统 之 Dell戴尔服务器 PowerEdge R750xs + window server2012r2 || 2016

    因要求需要给新服务器装个 win server2012或者2016系统 XXX使用U盘制作PE系统U盘安装系统不行,适合普通win8,win10,win11U盘制作PE系统U盘安装win10系统教程U盘制作PE系统U盘安装win10系统教程https://mp.weixin.qq.com/s/t0W8aNJaHPAU8T78nh…

    深度学习--卷积神经网络调整学习率

    文章目录 前言一、学习率1、什么学习率2、什么是调整学习率3、目的 二、调整方法1、有序调整1)有序调整StepLR(等间隔调整学习率)2)有序调整MultiStepLR(多间隔调整学习率)3)有序调整ExponentialLR (指数衰减调整学习率)4)有序调整…

    TORL:解锁大模型推理新境界,强化学习与工具融合的创新变革

    在大语言模型(LLMs)推理能力不断提升的当下,如何让模型更高效地解决复杂计算和推理任务成为关键。本文介绍的TORL(Tool-Integrated Reinforcement Learning)框架给出了全新方案。它通过强化学习让大模型自主运用计算工…

    Maven 依赖坐标与BOM统一管理

    🧑 博主简介:CSDN博客专家,历代文学网(PC端可以访问:https://literature.sinhy.com/#/?__c1000,移动端可微信小程序搜索“历代文学”)总架构师,15年工作经验,精通Java编…

    华为OD机试真题——通过软盘拷贝文件(2025A卷:200分)Java/python/JavaScript/C++/C语言/GO六种最佳实现

    2025 A卷 200分 题型 本文涵盖详细的问题分析、解题思路、代码实现、代码详解、测试用例以及综合分析; 并提供Java、python、JavaScript、C、C语言、GO六种语言的最佳实现方式! 本文收录于专栏:《2025华为OD真题目录全流程解析/备考攻略/经验…