SpringAI——Java生态接入LLM

news2024/11/24 4:36:22

最近，Spring官网发布了SpringAI，可点此查看https://spring.io/blog/2024/03/12/spring-ai-0-8-1-released，对于SpringAI的介绍，可看官方文档：https://spring.io/projects/spring-ai#overview。
本文将使用SpringAI配合Ollama完成SpringAI的体验，下面分别介绍SpringAI和Ollama。

一、Spring AI

Spring AI是一个专为人工智能工程而设计的应用框架。它的目标是将Spring生态系统的设计原则，如可移植性和模块化设计，应用于人工智能领域，并推广使用纯Java对象（POJO）作为AI领域应用程序的构建块。

1.Spring AI的核心特性
  • 跨AI提供商的API支持：Spring AI提供了一套可移植的API，支持与多个AI服务提供商的聊天、文本到图像和嵌入模型进行交云。
  • 同步和流式API选项：框架支持同步和流式API，为开发者提供了灵活的交互方式。
  • 模型特定功能访问：允许开发者通过配置参数访问特定模型的功能，提供了更细致的控制。
2.支持的模型
  • 聊天模型：包括OpenAI、Azure Open AI、Amazon Bedrock、Cohere’s Command、AI21 Labs’ Jurassic-2、Meta’s LLama 2、Amazon’s Titan、Google Vertex AI Palm、Google Gemini、HuggingFace（包括Meta的Llama2等数千种模型）、Ollama（本地运行AI模型）、MistralAI等。
  • 文本到图像模型：如OpenAI的DALL-E、StabilityAI等。
  • 嵌入模型：包括OpenAI、Azure Open AI、Ollama、ONNX、PostgresML、Bedrock Cohere、Bedrock Titan、Google VertexAI、Mistal AI等。
3.向量存储API和向量数据库

Spring AI提供了跨不同提供商的向量存储API，具有类似SQL的元数据过滤API，保持了可移植性。支持的向量数据库包括Azure Vector Search、Chroma、Milvus、Neo4j、PostgreSQL/PGVector、PineCone、Redis、Weaviate、Qdrant等。

4.函数调用和ETL框架

Spring AI允许开发者声明java.util.Function实现，用于OpenAI模型的提示响应中。这一特性最小化了不必要的代码，并使AI模型能够请求更多信息以完成其响应。此外，框架还包括一个基于Java函数编程概念的ETL框架，帮助开发者将文档传输到模型提供商使用的向量存储中。

5.丰富的参考文档和示例应用

Spring AI配备了详尽的参考文档、示例应用程序和研讨会/课程材料，确保开发者拥有开始使用和充分利用框架所需的所有资源。

6.Spring AI的未来

Spring AI的未来版本将在当前基础上构建，计划提供对更多AI模型的访问，例如Google刚刚发布的Gemini多模态模型。框架还将引入评估AI应用程序效果的工具，更多的便利API和功能，以帮助解决查询/总结文档等常见用例。

7.Spring AI的使用

要开始使用Spring AI，只需几个简单的步骤：

  1. 安装Spring CLI。
  2. 在shell中运行以下命令创建一个新应用程序：
    spring boot new --from ai --name myai
  3. 这将创建一个用于与ChatGPT进行基本交互的应用程序。按照生成的README文件中的说明获取您的API密钥。
  4. 使用以下命令运行应用程序：
    ./mvw spring-boot:run
  5. 使用curl测试端点：
    curl localhost:8080/ai/simple

二、Ollama：本地运行大型语言模型的轻量级框架

Ollama是一个开源项目，旨在为用户提供一个简单、可扩展的框架，以便在本地机器上快速启动和运行大型语言模型。无论是研究人员、开发者还是对人工智能感兴趣的爱好者，Ollama都提供了一个便捷的途径来探索和利用最新的语言模型技术。

1.核心特性
  • 多平台支持：Ollama支持macOS、Windows预览版和Linux操作系统，确保了广泛的用户基础能够使用该框架。
  • Docker镜像：通过官方的Docker镜像ollama/ollama，用户可以轻松地在容器化环境中部署Ollama。
  • 丰富的模型库：项目支持包括Llama 2、Mistral、Gemma在内的多种大型语言模型，用户可以根据需要选择合适的模型。
  • 易于安装：Ollama提供了详细的安装指南，无论是通过下载压缩包还是使用命令行工具，用户都能轻松完成安装过程。
  • 模型自定义：用户可以通过创建Modelfile来导入GGUF模型，或者从PyTorch和Safetensors导入模型，实现模型的个性化定制。
  • 命令行界面（CLI）：Ollama提供了一系列的CLI命令，简化了模型的创建、管理和运行过程。
  • REST API：通过REST API，用户可以编程方式运行和管理模型，为自动化和集成提供了便利。
  • 社区集成：Ollama与多个社区项目集成，包括Web和桌面应用程序、终端工具、数据库、包管理器和移动应用等，扩展了其应用范围。
2.模型安装和使用

Ollama官网：https://ollama.com/
Ollama Github地址：https://github.com/ollama/ollama

2.1 macOS安装指南
  1. 下载Ollama压缩包：
    访问Ollama的GitHub页面或官方网站，找到适用于macOS的下载链接。
    Download Ollama for macOS
  2. 解压压缩包：
    将下载的Ollama-darwin.zip文件解压到希望安装Ollama的目录。
  3. 安装依赖（如果有）：
    根据Ollama的README文件或官方文档，安装任何必要的依赖项。
  4. 运行Ollama：
    打开终端，切换到解压后的Ollama目录，运行Ollama的启动命令。
cd Ollama-darwin
./ollama
2.2 Windows安装指南
  1. 下载Ollama安装程序：
    在Ollama的GitHub页面上找到Windows预览版的下载链接。
    Download Ollama for Windows
  2. 运行安装程序：
    双击下载的OllamaSetup.exe文件，并按照安装向导的指示完成安装。
  3. 验证安装：
    安装完成后，可以通过运行Ollama的命令或启动桌面应用程序来验证安装是否成功。
2.3 Linux安装指南
  1. 通过curl安装：
    打开终端，运行以下命令来安装Ollama。
    curl -fsSL https://ollama.com/install.sh | sh
  2. 手动安装（可选）：
    如果希望手动安装或需要更详细的安装步骤，可以参考Ollama的GitHub仓库中的Linux安装文档。
    Manual install instructions
  3. 运行Ollama：
    安装完成后，可以通过终端运行Ollama的命令来启动框架。
2.4 Docker安装指南
  1. 安装Docker（如果尚未安装）：
    根据操作系统，从Docker官网下载并安装Docker。
  2. 拉取Ollama Docker镜像：
    在终端中运行以下命令来拉取官方的Ollama Docker镜像。
    docker pull ollama/ollama
  3. 运行Docker容器：
    使用以下命令运行Ollama容器。
    docker run -it ollama/ollama
2.5 验证安装

无论使用的是哪种安装方法，都可以通过运行以下命令来验证Ollama是否已成功安装并运行：
ollama run gemma:2b
这将启动Gemma:2b模型，可以通过与模型交互来测试其功能。Gemma:2b模型对中文相对友好一些，例如：
在这里插入图片描述

三、SpringAI与Ollama
1.首先创建一个Spring项目

在这里插入图片描述

2.选择要使用的模型依赖，这里我选择的是Ollama

在这里插入图片描述

3.Ollama模型选择，Ollama官网中有多个模型可以选择，本次使用gemma:2b这个模型

在这里插入图片描述

4.在配置文件中，配置Ollama模型的URL和要使用的模型
spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.model=gemma:2b
5.启动Ollama，并运行gemma:2b模型。安装完成Ollama后，在命令窗口使用ollama run gemma:2b命令运行该模型，如果系统没有gemma:2b model的话会自动下载，所以第一次会慢一些

在这里插入图片描述

gemma:2b model运行成功后，可通过http://localhost:11434查看状态
在这里插入图片描述

6.在Java代码中进行测试

在这里插入图片描述

支持流式访问，比如这里，给LLM一个提示词：你是一个高级运营，你擅长于写各种运营文案，根据：{message} 场景写一个不少于100字的文案。然后，告诉它一个场景，例如：旅游。
执行程序，给出的结果如下：

## 探索自然，打开无限之旅！

你是否渴望沉浸在自然美景之中？在感受阳光轻轻抚过皮肤的温暖中？在聆听动听的森林鸟叫中？在品尝异国美食的滋味中？

我们为您打造了一套精彩旅游解决方案，带您走进神秘自然之中！

从沉浸式的森林冒险到神秘自然之旅，我们提供各种体验，让您在自然之中寻找属于自己的精彩。

**加入我们，开启无限之旅！**

* **体验神秘自然：** 在神秘森林中，感受自然的奇迹，体验自然界的美丽与神秘。
* **品尝异国美食：** 探索世界的味蕾，品尝当地特色美食，感受不同的文化与风味。
* **沉浸在自然之中：** 在自然公园中散步，体验自然风光，感受生命的活力。
* **与自然共存：** 在环保旅游中，与生态环境共存，创造属于自然界的文明。

**立即开始你的自然之旅吧！**complete~!

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1522648.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

QML 布局管理器之GridLayout

QML 布局管理器之GridLayout

一.QML GridLayout介绍 在QML中，GridLayout是一种用于布局元素的容器。它允许您以网格形式组织和排列元素。要使用rowspan、columnspan、layoutFillWidth和rowSpacing属性，您可以将一个元素跨越多行和多列，并填充整个宽度，同时设置…
阅读更多...
Python Web开发记录 Day12：Django part6 用户登录

Python Web开发记录 Day12：Django part6 用户登录

名人说：东边日出西边雨，道是无晴却有晴。——刘禹锡《竹枝词》 创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 目录 1、登录界面2、用户名密码校验3、cookie与session配置①cookie与session②配置…
阅读更多...
unity学习（60）——选择角色界面--MapHandler2-MapHandler.cs

unity学习（60）——选择角色界面--MapHandler2-MapHandler.cs

1.新建一个脚本&#xff0c;里面有static变量loadingPlayerList using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks;namespace Assets.Scripts.Model {internal class LoadData{public static List<Pl…
阅读更多...
Qt QTableWidget 实现行选中及行悬浮高亮

Qt QTableWidget 实现行选中及行悬浮高亮

表格整行的 selected、hover 高亮需求很常见&#xff0c;但使用 Qt 提供的开箱即用的方法根本无法实现这个需求&#xff08;至少在当前的时间节点是不行的&#xff09;&#xff1b;想要实现这个效果必须要费一点点力气&#xff0c;我们尽量选择较为简单的方法。 话不多说&…
阅读更多...
Ubuntu 20.04 系统如何优雅地安装NCL？

Ubuntu 20.04 系统如何优雅地安装NCL？

一、什么是NCL&#xff1f; NCAR Command Language&#xff08;NCL&#xff09;是由美国大气研究中心&#xff08;NCAR&#xff09;推出的一款用于科学数据计算和可视化的免费软件。 它有着非常强大的文件输入和输出功能&#xff0c;可读写netCDF-3、netCDF-4 classic、HDF4、b…
阅读更多...
基于Struts开发物流配送(快递)管理系统

基于Struts开发物流配送(快递)管理系统

开发工具&#xff1a;EclipseJdkTomcatMySQL数据库
阅读更多...
手机中的8款万能App推荐！

手机中的8款万能App推荐！

目录 1.全能AI工具箱——HuluAI 2.AI视频生成——巨日禄 3.全能办公套件——鲸鲮Office 4.视频音频转换器——VideotoMP3Converter 5.特效滤镜摄影——PicsArt 6.智能工具箱——SmartTools 7.手机视频编辑软件——KineMaster 8.安卓版万能文档阅读器——AllDocumentRea…
阅读更多...
「SpringBrick快速入门指南」：一款基于Spring Boot的高级插件化开发框架

「SpringBrick快速入门指南」：一款基于Spring Boot的高级插件化开发框架

文章目录 关于 | About技术文档 | Document开源项目 | Project 案例 | Demo项目结构 | Structure主程序配置集成 | Settings引入框架依赖 | Framework在配置文件加入配置 | YamlSpringBoot启动类改引导类 | Change 插件配置集成 | Settings引入依赖 | XML定义插件引导类 | Clas…
阅读更多...
NeRF学习——NeRF-Pytorch的源码解读

NeRF学习——NeRF-Pytorch的源码解读

学习 github 上 NeRF 的 pytorch 实现项目&#xff08;https://github.com/yenchenlin/nerf-pytorch&#xff09;的一些笔记 1 参数 部分参数配置&#xff1a; 训练参数&#xff1a; 这段代码是在设置一些命令行参数&#xff0c;这些参数用于控制NeRF&#xff08;Neural Radi…
阅读更多...
sqllab第二十六关通关笔记

sqllab第二十六关通关笔记

知识点&#xff1a; 空格替换 %09 %0a %0b %0c %0d %a0 (%2b)or替换&#xff1a;|| ||是不需要空格区分的and替换&#xff1a;&& &&同样不需要空格区分的双写绕过&#xff0c;但是绕过后需要和内容进行空格区分的&#xff0c;要不然不发挥作用&#xff1b;这关…
阅读更多...
确保云原生部署中的网络安全

确保云原生部署中的网络安全

数字环境正在以惊人的速度发展&#xff0c;组织正在迅速采用云原生部署和现代化使用微服务和容器构建的应用程序&#xff08;通常运行在 Kubernetes 等平台上&#xff09;&#xff0c;以推动增长。 无论我们谈论可扩展性、效率还是灵活性&#xff0c;对于努力提供无与伦比的用…
阅读更多...
【python开发】并发编程（上）

【python开发】并发编程（上）

并发编程&#xff08;上&#xff09; 一、进程和线程&#xff08;一&#xff09;多线程&#xff08;二&#xff09;多进程&#xff08;三&#xff09;GIL锁 二、多线程开发&#xff08;一&#xff09;t.start()&#xff08;二&#xff09;t.join()&#xff08;三&#xff09;t.…
阅读更多...
基于ESTAR指数平滑转换自回归模型的CPI数据统计分析matlab仿真

基于ESTAR指数平滑转换自回归模型的CPI数据统计分析matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 4.1 ESTAR模型概述 4.2 WNL值&#xff0c;P值&#xff0c; Q值&#xff0c;12阶ARCH值 4.3ADF检验 5.完整程序 1.程序功能描述 基于ESTAR指数平滑转换自回归模型的CPI数据统计分析matlab仿…
阅读更多...
【Hadoop大数据技术】——MapReduce经典案例实战（倒排索引、数据去重、TopN）

【Hadoop大数据技术】——MapReduce经典案例实战（倒排索引、数据去重、TopN）

&#x1f4d6; 前言&#xff1a;MapReduce是一种分布式并行编程模型&#xff0c;是Hadoop核心子项目之一。实验前需确保搭建好Hadoop 3.3.5环境、安装好Eclipse IDE &#x1f50e; 【Hadoop大数据技术】——Hadoop概述与搭建环境&#xff08;学习笔记&#xff09; 目录 &#…
阅读更多...
基于springboot+mysql+Shiro实现的宠物医院管理系统

基于springboot+mysql+Shiro实现的宠物医院管理系统

1.项目介绍 系统主要为用户提供了管理员权限的用户&#xff0c;实现了前台查看客户信息、在线添加预约等&#xff1b;后台管理医生坐诊信息、管理就诊信息、修改密码&#xff0c;管理公告、管理宠物分类、管理就诊、管理用户、修改密码等。在设计方面&#xff0c;本系统采用MV…
阅读更多...
Echo框架：高性能的Golang Web框架

Echo框架：高性能的Golang Web框架

Echo框架&#xff1a;高性能的Golang Web框架 在Golang的Web开发领域&#xff0c;选择一个适合的框架是构建高性能和可扩展应用程序的关键。Echo是一个备受推崇的Golang Web框架&#xff0c;以其简洁高效和强大功能而广受欢迎。本文将介绍Echo框架的基本特点、使用方式及其优势…
阅读更多...
计算机网络——物理层（数据交换方式）

计算机网络——物理层（数据交换方式）

计算机网络——数据交换方式 提高数据交换方式的必要性电路交换电路交换原理电路交换的阶段建立阶段通信阶段和连接拆除阶段 电路交换的优缺点报文交换什么是报文报文交换的阶段报文交换的优缺点 分组交换分组交换的阶段分组交换的优缺点 数据交换方式的选择数据报方式数据报方…
阅读更多...
【二】【单片机】有关独立按键的实验

【二】【单片机】有关独立按键的实验

自定义延时函数Delay 分别用Delay.c文件存储Delay函数。用Delay.h声明Delay函数。每次将这两个文件复制到工程中&#xff0c;直接使用。 //Delay.c void Delay(unsigned int xms) //11.0592MHz {while(xms--){unsigned char i, j;i 2;j 199;do{while (--j);}…
阅读更多...
[自研开源] MyData 数据集成之数据过滤 v0.7.2

[自研开源] MyData 数据集成之数据过滤 v0.7.2

开源地址&#xff1a;gitee | github 详细介绍&#xff1a;MyData 基于 Web API 的数据集成平台 部署文档&#xff1a;用 Docker 部署 MyData 使用手册&#xff1a;MyData 使用手册 试用体验&#xff1a;https://demo.mydata.work 交流Q群&#xff1a;430089673 概述 本篇基于…
阅读更多...
Ubuntu 虚拟机安装

Ubuntu 虚拟机安装

最小化安装后常用工具 sudo apt-get install vim# ifconfig apt install net-tools # nload apt install nload # 很多都要用到 apt install build-essential # 开发相关 apt install gcc gapt install iproute2 ntpdate tcpdump telnet traceroute \ nfs-kernel-server nfs…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023