工程对接大模型流式和非流式对话底层原理解析

news2024/11/19 11:23:12

文章目录

  • 前言
  • 一、非流式输出设计
  • 二、stream流式输出设计
  • 三、手撸一个流式输出项目
  • 总结

前言

之前对接过OpenAi大模型的官方API，可以看到它有一个Stream参数，设置成true的时候就是流式的对话输出，现象就是一段一段的往外崩。
官方手册的地址：https://platform.openai.com/docs/api-reference/chat
在这里插入图片描述
在这里插入图片描述
基本知识点是，在用户的提问以后，大模型底层的TransFromer架构能够根据自然语言理解逐词分析概率，继续预测下一部分的输出，这个我们理解为模型的推流过程。那么就会有两种方式进行输出：
（1）同步：等待这部分推流全部结束，通过HTTP响应一次性发送应答内容。
（2）异步：只要模型有输出，就针对推流的内容进行服务端的推送。
所以其实可以理解大模型本身就是异步推流的，区别在于是否等它全部生成完对话再推送。对于流式的服务端推送，整体上有两种实现方案：WebSocket和SSE
那么我们这个流式对话场景用的哪一种呢？
思考一下WebSocket和SSE的区别：
WebSocket全双工，适用于客户端和服务端双向交互，并且WebSocket是独立于HTTP协议之外的另一套协议，实现起来也相对复杂一些。SSE可以理解为单向的HTTP长连接，只需要前端或者浏览器发起一次HTTP get请求，后续服务端就可以向通道传输流式的数据了，SSE比较适合类似流式输出和股票信息实时推送这种场景。

顺便引入一下常见的几种实时通讯技术的对比
https://blog.csdn.net/xwh3165037789/article/details/128137023
在这里插入图片描述
另外其实官方说的比较直接了，设置之后如果数据推流的部分准备好了，就会通过SSE的方式进行服务端推送。
还有需要注意服务端对这个协议的实现要求，协议的描述参考下面地址
https://www.ruanyifeng.com/blog/2017/05/server-sent_events.html
https://www.ruanyifeng.com/blog/2017/05/websocket.html
在这里插入图片描述
通过PostMan请求返回如下，数据内容在Content里面，最后以DONE结尾。
在这里插入图片描述

一、非流式输出设计

stream参数为默认false，所以默认就是同步的。接入OpenAi的API以后，向对应地址发起HTTP请求，同步等待响应的结果就行了。所以本质上还是一次HTTP请求的过程。
但是一般为了进行后续的处理，比如对话做Summary、保存历史记录信息或者利用缓存的话，是可以把这次对话的内容入库的。

二、stream流式输出设计

理解一下整个流程设计：

假如做的是一个对话平台，项目的入口是一个Web页面，通过HTTP的POST请求发起对话，经过网关鉴权身份认证路由到接口，如果body携带的stream参数为true，进入streamChat的处理流程，走主服务转去请求OpenAi的对话接口地址，如果需要进行对话入库的话，这个时候我们的服务端作为大模型服务的客户端，Spring框架的WebFlux部分其实集成好了SseEmitter这个工具方便我们实现SSE功能，需要通过EventSource的factory建立sse连接，并且设置EventSourceListener监听器，重写它的一系列方法，包括onOpen、onEvent、onFailure、onClosed等。比如onEvent这个回调函数的作用就是当大模型输出事件触发的时候，将读取到的数据写入数据库，并且写入是可以通过请求内部的另外的写入HTTP的API触发的。在处理onClosed的时候需要考虑是否计算大模型的TokenSize占用作为附加信息入库和返回。

随后另外开启一个异步任务，线程池里面主要负责以下部分：
（1）心跳检测，SSE中断重连
（2）从数据库里面分页加载数据
（3）通过SSE通道推送数据给前端控制台

三、手撸一个流式输出项目

为了更好理解，我们可以手动实践，写一个这样的项目，做完了的话，估计大家也都能做GPT代理了，项目放在GitHub里面做个了记录。

后端（Spring Boot）
主应用代码

package com.example.ssedemo;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication(scanBasePackages = {"com.example.*", "web"})
public class SsEdemoApplication {

    public static void main(String[] args) {
        SpringApplication.run(SsEdemoApplication.class, args);
    }

}

Controller层代码

package web;// 导入相关依赖
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;

import java.io.IOException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

@RestController
@RequestMapping("/api")
public class EventController {

    private final ExecutorService executor = Executors.newSingleThreadExecutor();

    private int i = 0;

    @GetMapping("/stream")
    public SseEmitter streamData() {
        SseEmitter sseEmitter = new SseEmitter();

        // 模拟大模型计算并分批次推送数据
        executor.execute(() -> {
            while (true) {
                try {
                    // 这里是模拟计算过程，实际项目中可能是从数据库、文件或其他来源获取数据
                    String dataChunk = "Data Chunk " + ++i;

                    // 发送一个事件给前端
                    sseEmitter.send(SseEmitter.event()
                            .id(Long.toString(i)) // 可选，用于标识事件ID
                            .name("data") // 事件类型名
                            .data(dataChunk, MediaType.TEXT_PLAIN));

                    // 模拟延迟，比如每次间隔1秒
                    Thread.sleep(1000);
                } catch (IOException | InterruptedException e) {
                    // 关闭 emitter 并处理异常
                    sseEmitter.completeWithError(e);
                }
            }
            // 计算结束或达到某个条件时关闭 emitter
//            sseEmitter.complete();
        });

        return sseEmitter;
    }
}

CROS的配置

package web;

import org.springframework.context.annotation.Configuration;
import org.springframework.web.servlet.config.annotation.CorsRegistry;
import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;

@Configuration
public class CorsConfig implements WebMvcConfigurer {

    @Override
    public void addCorsMappings(CorsRegistry registry) {
        registry.addMapping("/api/**")
                .allowedOrigins("http://yourfrontenddomain.com") // 替换为您的前端域名
                .allowedMethods("GET", "POST", "PUT", "DELETE", "OPTIONS")
                .allowedHeaders("*")
                .allowCredentials(true)
                .maxAge(3600);
    }
}

在使用SpringBoot3版本的时候可能会出现JDK版本报错，处理方式如下：
https://blog.csdn.net/giveupgivedown/article/details/134841844
https://blog.csdn.net/weixin_47889104/article/details/135289440
在这里插入图片描述
如果报错404了，记得添加包扫描路径，类似下面这种
@SpringBootApplication(scanBasePackages = {“com.example.demo”, “com.example.another.package”})
在这里插入图片描述
运行起来项目结构可能是下面这样
在这里插入图片描述
后端启动以后，直接浏览器访问80端口的API地址，
http://localhost:8080/api/stream
就能看到有流式的输出
在这里插入图片描述

其实不写下面的前端代码也行，利用SpringBoot内置的Tomcat直接查看浏览器页面。

前端（使用JavaScript，这里以原生Fetch API为例）

// 创建一个新的EventSource实例，连接到后端提供的SSE端点
var eventSource = new EventSource('http://localhost:8080/api/stream');

// 处理接收到的事件
eventSource.addEventListener('data', function(event) {
    var dataChunk = event.data; // 接收的数据
    console.log('Received chunk:', dataChunk);

    // 在这里你可以更新UI，例如将数据添加到页面上
    document.getElementById('output').innerText += dataChunk + '\n';
});

// 监听连接错误
eventSource.onerror = function(error) {
    console.error('Error occurred:', error);
};

// 如果需要，在适当的时候可以关闭连接
// eventSource.close();

上述提供的JavaScript代码片段可以在浏览器环境下执行，它创建了一个与服务器建立连接的EventSource对象，用于接收来自服务器的Server-Sent Events（SSE）。只需要确保你在一个支持SSE的现代浏览器环境中，并且服务器端（这里是Spring Boot后端）已经正确设置了SSE服务接口。将这段JavaScript代码嵌入到HTML文档中，例如在 <\script> 标签内部，以便在浏览器加载页面时执行：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>SSE Streaming Demo</title>
    <style>
        #output {
            height: 200px; /* 设置高度以限制输出区域 */
            overflow-y: scroll; /* 添加滚动条 */
            word-wrap: break-word; /* 自动换行 */
            border: 1px solid #ccc; /* 边框仅用于区分展示区域 */
            padding: 10px;
        }
    </style>
</head>
<body>
<div id="output"></div>

<script>
    // JavaScript 代码放在这里
    var eventSource = new EventSource('http://localhost:8080/api/stream');

    eventSource.addEventListener('message', function(event) { // 修改为 'message' 事件，SSE 的标准事件类型
        var dataChunk = event.data;
        var outputElement = document.getElementById('output');
        var newLineNode = document.createElement('p'); // 使用段落元素以保证格式清晰
        newLineNode.textContent = dataChunk;
        outputElement.appendChild(newLineNode);
        outputElement.scrollTop = outputElement.scrollHeight; // 滚动到底部，展示最新内容
    });

    eventSource.onerror = function(error) {
        console.error('Error occurred:', error);
    };
</script>
</body>
</html>

其实IDEA支持直接打开或者转到浏览器打开的
在这里插入图片描述
如果出现这个CROS报错，需要给服务端加跨域支持的配置
在这里插入图片描述

关于如何在浏览器执行参考下面
https://www.runoob.com/js/js-chrome.html
https://jingyan.baidu.com/article/e4d08ffdc25e584ed3f60d48.html
https://www.yzktw.com.cn/post/644689.html

先启动服务端的SpringBoot工程，如果跨域配置好了，然后运行前端JS代码
就可以看到服务端推送的流式输出了。这个项目其实可以做得更复杂一点，后续有机会我们继续往里加功能加技术点进去。

其他参考地址
https://blog.csdn.net/fyk844645164/article/details/126680347
https://blog.csdn.net/xwh3165037789/article/details/128137023
https://juejin.cn/post/7209226686373609533
https://blog.csdn.net/weixin_40951507/article/details/135354852
http://wed.xjx100.cn/news/236173.html?action=onClick
https://zhuanlan.zhihu.com/p/674994371
https://blog.csdn.net/qq_45399396/article/details/130972849
https://www.cnblogs.com/1996-Chinese-Chen/p/17913287.html
https://blog.csdn.net/fengtaokelly/article/details/130702235
https://blog.csdn.net/Larry_Lee88/article/details/130995475

总结

以上就是对大模型流式和非流式输出的解析，做完这个真有点想基于GPT代理搞点额外东西了，大模型厂家也挺多的，有人喜欢chatGPT，最近感觉通义千问也挺好，问了很多人是如何利用大模型的，一个技术TL说他经常用大模型来写测试用例，也有人用它帮忙理清思路查Bug或者写Demo或者命令等，未来还是有比较广阔的应用场景的。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1417383.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

qemu调试kernel启动（从第一行汇编开始）

qemu调试kernel启动（从第一行汇编开始）

一、背景 大部分qemu调试kernel 都是讲解从start_kernel开始设置断点&#xff0c;然后开启调试&#xff1b; 但是我们熟悉linux启动流程的伙伴肯定知道&#xff0c;在start_kernel之前还有一段汇编&#xff0c;包括初始化页表及mmu等操作&#xff0c; 这部分如何调试呢&#x…
阅读更多...
AOP+Redisson 延时队列，实现缓存延时双删策略

AOP+Redisson 延时队列，实现缓存延时双删策略

一、缓存延时双删 关于缓存和数据库中的数据保持一致有很多种方案&#xff0c;但不管是单独在修改数据库之前&#xff0c;还是之后去删除缓存都会有一定的风险导致数据不一致。而延迟双删是一种相对简单并且收益比较高的实现最终一致性的方式&#xff0c;即在删除缓存之后&…
阅读更多...
HarmonyOS --@state状态装饰器

HarmonyOS --@state状态装饰器

在声明式UI中&#xff0c;是以状态驱动视图更新。 状态&#xff08;state&#xff09;&#xff1a;指驱动视图更新的数据&#xff08;被装饰器标记的变量&#xff09;。 试图&#xff08;view&#xff09;&#xff1a;基于UI描述渲染得到用户界面 State装饰器标记的变量必须初…
阅读更多...
【华为 ICT HCIA eNSP 习题汇总】——题目集11

【华为 ICT HCIA eNSP 习题汇总】——题目集11

1、某公司的内网用户采用 NAT 技术的 NO-pat 方式访问互联网&#xff0c;若所有的公网地址均被使用&#xff0c;则后续上网的内网用户会&#xff08;&#xff09;。 A、挤掉前一个用户&#xff0c;强制进行 NAT 转换上网 B、将报文同步到其他 NAT 转换设备上进行 NAT 转换 C、自…
阅读更多...
从零学习Linux操作系统 第二十部分 mariadb数据库的管理

从零学习Linux操作系统 第二十部分 mariadb数据库的管理

一、对于数据库的基本介绍 1.什么是数据库 数据库就是个高级的表格软件 2.常见数据库 Mysql Oracle mongodb db2 sqlite sqlserver … 3.Mysql (SUN -----> Oracle) 4.mariadb (Mysql的一种&#xff09; 数据库中的常用名词 1.字段 &#xff1a;表格中的表头 2.表 &…
阅读更多...
Qt QPlainTextEdit高亮显示当前行

Qt QPlainTextEdit高亮显示当前行

Qt QPlainTextEdit高亮显示当前行 文章目录 Qt QPlainTextEdit高亮显示当前行摘要错误的代码正确的代码QTextEdit::ExtraSelection 关键字&#xff1a; Qt、 QPlainTextEdit、 QTextBlock、 ExtraSelection、 GPT 摘要 今天要在说一下GPT&#xff0c;当下如果你还不会用G…
阅读更多...
【RT-DETR有效改进】反向残差块网络EMO | 一种轻量级的CNN架构（轻量化网络，参数量下降约700W）

【RT-DETR有效改进】反向残差块网络EMO | 一种轻量级的CNN架构（轻量化网络，参数量下降约700W）

👑欢迎大家订阅本专栏，一起学习RT-DETR👑 一、本文介绍 本文给大家带来的改进机制是反向残差块网络EMO，其的构成块iRMB在之前我已经发过了，同时进行了二次创新，本文的网络就是由iRMB组成的网络EMO，所以我们二次创新之后的iEMA也可以用于这个网络中，再次形成二次…
阅读更多...
04 Redis之命令（Hash型Value命令+List型Value命令+Set型Value命令+有序集合ZSET型Value命令）

04 Redis之命令（Hash型Value命令+List型Value命令+Set型Value命令+有序集合ZSET型Value命令）

3.4 Hash型Value命令 Hash 表就是一个映射表 Map&#xff0c;也是由键-值对构成&#xff0c;为了与整体的 key 进行区分&#xff0c;这里的键称为 field&#xff0c;值称为 value。注意&#xff0c;Redis 的 Hash 表中的 field-value 对均为 String 类型。 3.4.1 hset  格…
阅读更多...
Arm AArch64 alignment(对齐)

Arm AArch64 alignment(对齐)

数据和指令必须与合适的边界保持对齐(alignment)。访问是否对齐会影响ARM核的性能&#xff0c;并且在将代码从早期的体系结构移植到ARMv8-A时可能会出现可移植性问题。出于性能原因&#xff0c;或者在移植代码时&#xff0c;都值得去注意下对齐问题。本文将讲述了ARMv8-A AArch…
阅读更多...
【electron】打包问题处理

【electron】打包问题处理

目录 项目无法在win7执行场景尝试处理 项目无法在win7执行 场景 使用electron25.0.1、electron-builder24.2.1&#xff0c;打出来的项目在win7系统上跑不起来&#xff0c;报错无法定位程序输入点DiscardVirtualMemoty于动态链接库KERNEL32.dll上。 尝试处理 通过百度发现ele…
阅读更多...
flask框架制作前端网页作为GUI

flask框架制作前端网页作为GUI

一、语法和原理 &#xff08;一&#xff09;、文件目录结构 需要注意的问题&#xff1a;启动文件命名必须是app.py。 一个典型的Flask应用通常包含以下几个基本文件和文件夹&#xff1a; app.py&#xff1a;应用的入口文件&#xff0c;包含了应用的初始化和配置。 requirem…
阅读更多...
【漏洞复现】中移铁通禹路由器弱口令漏洞

【漏洞复现】中移铁通禹路由器弱口令漏洞

Nx01 产品简介 中移禹路由器支持宽带拨号、动态IP和静态IP三种上网模式,一般中国移动宽带的光猫都是智能光猫也就是光猫带路由器功能,中移禹路由器作为二级路由使用。 Nx02 漏洞描述 中移禹路由器存在默认口令(admin)&#xff0c;攻击者可利用该漏洞获取敏感信息。 Nx03 产品…
阅读更多...
用Python编写的简单双人对战五子棋游戏

用Python编写的简单双人对战五子棋游戏

本文是使用python创建的一个基于tkinter库的GUI界面&#xff0c;用于实现五子棋游戏。编辑器使用的是spyder&#xff0c;该工具。既方便做数据分析&#xff0c;又可以做小工具开发&#xff0c; 首先&#xff0c;导入tkinter库&#xff1a;import tkinter as tk&#xff0c;这…
阅读更多...
Qt无边框窗口拖拽和阴影

Qt无边框窗口拖拽和阴影

先看下效果&#xff1a; 说明 自定义窗口控件的无边框,窗口事件由于没有系统自带边框,无法实现拖拽拉伸等事件的处理,一种方法就是重新重写主窗口的鼠标事件&#xff0c;一种时通过nativeEvent事件处理。重写事件相对繁琐,我们这里推荐nativeEvent处理。注意后续我们在做win平…
阅读更多...
HarmonyOS4.0系统性深入开发29层叠布局

HarmonyOS4.0系统性深入开发29层叠布局

层叠布局&#xff08;Stack&#xff09; 概述 层叠布局&#xff08;StackLayout&#xff09;用于在屏幕上预留一块区域来显示组件中的元素&#xff0c;提供元素可以重叠的布局。层叠布局通过Stack容器组件实现位置的固定定位与层叠&#xff0c;容器中的子元素&#xff08;子组…
阅读更多...
maven中的version加不加SNAPSHOT的区别

maven中的version加不加SNAPSHOT的区别

我们平时开发时经常看到maven的pom.xml文件里面的包有两种 因为maven的远程仓库一般分为public(Release)和SNAPSHOT&#xff0c;前者代表正式版本&#xff0c;后者代表快照版本。 具体有什么区别呢&#xff1a; 举例说明&#xff0c;你开发了一个基础功能&#xff0c;打包发布…
阅读更多...
bxCAN 主要特性

bxCAN 主要特性

bxCAN 主要特性 ● 支持 2.0 A 及 2.0 B Active 版本 CAN 协议 ● 比特率高达 1 Mb/s ● 支持时间触发通信方案 发送 ● 三个发送邮箱 ● 可配置的发送优先级 ● SOF 发送时间戳 接收 ● 两个具有三级深度的接收 FIFO ● 可调整的筛选器组&#xff1a; — CAN1 和…
阅读更多...
Execution failed for task ‘:app:compileFlutterBuildDebug‘. 解决

Execution failed for task ‘:app:compileFlutterBuildDebug‘. 解决

前言 项目场景&#xff1a;在Flutter项目中 或 在嵌入Flutter模块的Android原生项目&#xff1b; 启动场景&#xff1a;在Android原生端 编译 或 运行 项目时&#xff0c;可能出现这个异常&#xff1b; 异常 Build窗口并没有追踪到&#xff0c;引发异常代码位置&#xff0c;…
阅读更多...
微信小程序Skyline在手机端不渲染的问题之一及其解决方式

微信小程序Skyline在手机端不渲染的问题之一及其解决方式

问题&#xff1a;电脑端是skyline渲染&#xff0c;手机端是webview渲染?如何解? 开发者工具 当前渲染模式&#xff1a;Skyline 当进行预览时手机端却是: 请注意看轮播图的显示情况 请注意看轮播图的显示情况 请注意看轮播图的显示情况 从轮播图上来看,手机端是webview渲染…
阅读更多...
[设计模式Java实现附plantuml源码~结构型]树形结构的处理——组合模式

[设计模式Java实现附plantuml源码~结构型]树形结构的处理——组合模式

前言&#xff1a; 为什么之前写过Golang 版的设计模式&#xff0c;还在重新写Java 版&#xff1f; 答&#xff1a;因为对于我而言&#xff0c;当然也希望对正在学习的大伙有帮助。Java作为一门纯面向对象的语言&#xff0c;更适合用于学习设计模式。 为什么类图要附上uml 因为很…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023