LangChain.js 实战系列:搭配 LangSmith 实现调试、监控、测试

news2024/11/24 2:07:00

📝 LangChain.js 是一个快速开发大模型应用的框架,它提供了一系列强大的功能和工具,使得开发者能够更加高效地构建复杂的应用程序。LangChain.js 实战系列文章将介绍在实际项目中使用 LangChain.js 时的一些方法和技巧。

LangSmith 是 LangChain 推出的 AI 应用调试、监控和测试平台。

LangSmith 会记录大模型发起的所有请求,除了输入输出,还能看到具体的所有细节,包括:

  1. 请求的大模型、模型名、模型参数
  2. 请求的时间、消耗的 token 数量
  3. 请求中的所有上下文消息,包括系统消息

比较亮眼的功能是,LangSmith 可以把某条请求添加进 Playground,然后直接调试修改,重放该请求:

选中某条请求,点击「Playground」:

进入 Playground 后,这条请求会包括原本的所有消息上下文、使用的模型、参数等等,我们就可以直接修改对应的提示词,点击「Start」去重放测试:

有这个重放功能,对于某些测试 case,就不需要费心先为这个 case 构建请求环境模拟,再调试提示词,直接在 Playground 就能直接调试提示词,相当方便了。

LangSmith 的集成挺简单的,只需要一个 API 和 URL 即可,我们直接进入官网:https://smith.langchain.com/

点击「Sign Up」,选择账号登录:


LangSmith 目前还处于 Beta 阶段,可以免费使用,但是会有白名单使用机制,如下就是 LangSmith 审核你的名单,还不能使用:


静候 LangSmith 的审核,或者去 LangSmith 的仓库里请求一个邀请码:
Request for Invitation Code - LangSmith

试过让已经进入 LangSmith 的朋友邀请进组织,不过不行

进入之后创建一个 API key:

然后在项目下设置这几个环境变量:

LANGCHAIN_TRACING_V2="true"
# 请求的 URL
LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
# API key
LANGCHAIN_API_KEY="YOUR_API_KEY"
# 项目名称
LANGCHAIN_PROJECT="YOUR_PROJECT_NAME"

其中 LANGCHAIN_PROJECT 可以不用设置,它会默认记录到一个叫做 default 的项目下。

设置之后,调用 LangChain 的方法:
LangChain.js 实战系列:入门介绍

发送的请求就都会记录到 LangSmith 上了:

其他的一些创建组织、创建项目等的常见功能可以自行体验,总的来说,LangSmith 目前对于开发调试一个 AI 应用来说很方便,不过这个项目属于闭源,并且会记录 API Key 一些敏感信息,因此是否使用 LangSmith 具体看自己的项目情况。

最后

推荐一些好用的资源

👉 StarFlow.tech ,一个集聊天、工作流和知识库的 AI 平台。在这里,你可以免费使用 ChatGPT3.5 和 3.5 16K,还有 GPT-4 Vision、DELL·E3、Midjourney 等多种模型可供选择。这个平台就像一个小型工作室,助力个人效率 Max!

👉 OpenAI 官方提示词指南 ,专门面向中文的提示词工程指南,该教程是 OpenAI 官方出版,主要包括了六大策略,轻松学习提示词技巧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1350611.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RK3568平台开发系列讲解(Linux系统篇)PWM系统编程

🚀返回专栏总目录 文章目录 一、什么是PWM二、PWM相关节点三、PWM应用编程沉淀、分享、成长,让自己和他人都能有所收获!😄 📢本篇将介绍 PWM 的系统编程。 一、什么是PWM PWM,即脉冲宽度调制(Pulse Width Modulation)

2023年下半年信息系统项目管理师考试

目录 引言 结果 论文 案例分析 综合知识 总结 引言 2023年下半年参加了信息系统项目管理师考试,考试结果情理之中,意料之外。论文压线,综合和案例差一分。从个人参加考试的整个过程来看,属于历史性的突破。以本文&#xff…

稳定币记录

稳定币: 稳定币(Stablecoin)是一种加密货币,其设计目的是维持相对稳定的价值,通常与某种法定货币(如美元、欧元)或其他资产(如黄金)挂钩。稳定币通过将加密货币与相应的…

详解Vue3中的鼠标事件mousemove、mouseover和mouseout

本文主要介绍Vue3中的常见鼠标事件mousemove、mouseover和mouseout。 目录 一、mousemove——鼠标移动事件二、mouseover——鼠标移入事件三、mouseout——鼠标移出事件 下面是Vue 3中常用的鼠标事件mousemove、mouseover和mouseout的详解。 一、mousemove——鼠标移动事件 鼠…

DevC++ easyx实现视口编辑--像素绘图板与贴图系统

到了最终成果阶段了,虽然中间有一些代码讲起来没有意思,纯靠debug,1-1解决贴图网格不重合问题,这次是一个分支结束。 想着就是把瓦片贴进大地图里。 延续这几篇帖子,开发时间也从2023年的4月16到了6月2号,80小时基本…

【K8S 部署】基于kubeadm搭建Kurbernetes集群

目录 一、基本架构 二、环境准备: 三、安装部署 1、所有节点安装docker 2、、所有节点安装kubeadm,kubelet和kubectl 3、配置网络--flannel 4、测试 pod 资源创建 四、安装部署与k8s集群对接的Harbor仓库 五、Dashboard安装部署: 一、基本架构…

jupyter notebook打开其他盘的文件

jupyter notebook打开其他盘文件 打开jupyter notebook打开terminal输入:jupyter-notebook 路径打开你想打开的工程的文件 打开jupyter notebook 打开terminal 输入:jupyter-notebook 路径 打开你想打开的工程的文件

【中小型企业网络实战案例 六】配置链路聚合

相关文章学习: 【中小型企业网络实战案例 五】配置可靠性和负载分担 热门IT课程【视频教程】(思科、华为、红帽、oracle等技术)https://xmws-it.blog.csdn.net/article/details/134398330?spm1001.2014.3001.5502 当CORE1或者CORE2的上…

【Elasticsearch源码】 分片恢复分析

带着疑问学源码,第七篇:Elasticsearch 分片恢复分析 代码分析基于:https://github.com/jiankunking/elasticsearch Elasticsearch 8.0.0-SNAPSHOT 目的 在看源码之前先梳理一下,自己对于分片恢复的疑问点: 网上对于E…

微服务雪崩问题及解决方案

雪崩问题 微服务中,服务间调用关系错综复杂,一个微服务往往依赖于多个其它微服务。 微服务之间相互调用,因为调用链中的一个服务故障,引起整个链路都无法访问的情况。 如果服务提供者A发生了故障,当前的应用的部分业务…

机器学习(二) -- 数据预处理(2)

系列文章目录 机器学习(一) -- 概述 机器学习(二) -- 数据预处理(1-3) 机器学习(三) -- 特征工程(1-2) 未完待续…… 目录 系列文章目录 前言 四、【数…

7、InternVL

简介 github demo 使用网络获取的油画图片,InternVL识别还算可以。 使用stable diffusion生成的图片,InternVL能很好的识别。 权重 huggingface地址 模型搭建 github地址 下载源码 git clone https://github.com/OpenGVLab/InternVL.git创建环…

提高软件测试效率:Mock 测试实战教程

在软件工程的套路中,虚拟化测试,又称 Mock 测试,扮演一个无可或缺的角色。Mock 测试允许工程师仿制和操控对象、服务或者系统组件等的行为,使得人们能在一个干净独立的环境里测试特定功能。这种方法能确保测试聚焦于代码逻辑&…

RocketMQ源码解析-主从同步原理(HA)

1、关键组件 主从同步的实现逻辑主要在HAService中,在它的构造函数中实例化了几个对象同时在start()方法内执行启动: public class HAService {public HAService(final DefaultMessageStore defaultMessageStore) throws IOException {this.defaultMes…

如何本地快速部署Apache服务器并使用内网穿透工具实现公网访问内网服务

文章目录 前言1.Apache服务安装配置1.1 进入官网下载安装包1.2 Apache服务配置 2.安装cpolar内网穿透2.1 注册cpolar账号2.2 下载cpolar客户端 3. 获取远程桌面公网地址3.1 登录cpolar web ui管理界面3.2 创建公网地址 4. 固定公网地址 前言 Apache作为全球使用较高的Web服务器…

Python零基础入门技能学习,实现办公自动化与数据分析

一、教程描述 Python零基础入门,写下你的第一行人工智能代码,Python实现办公自动化,这是比同事早下班2小时的技能,Python实现网络爬虫,用Python抓取网页信息提升职场竞争力,Python实现数据分析&#xff0c…

使用 go-elasticsearch v8 基本请求

使用 go-elasticsearch 请求示例 你可以通过参考Go 官方文档找到简单的示例,所以我认为先看看这个是个好主意。 连接客户端有两种方式,如下图。 至于两者的特点,TypedClient有类型,更容易编写,但文档较少。另外&…

jdk更改版本

要改三个地方 1、pom.xml里 2、File -> Project Structure -> Project File -> Project Structure -> Modules 3、File -> Settings -> targrt bytecode设为1.8

C语言学习----存储类别

存储类别 🌿本文是C Primer Pluse 中文版第12章的部分内容整理 🌱主要是围绕C中作用域 链接 存储期 展开 ,是后面进行多文件管理的基础~ 🌈概要 🍎明确对象 变量名 标识符的基本概念和含义 🍐作用域和链接描…

西尔维斯特方程(Sylvester equation)官方求解有问题

西尔维斯特方程(Sylvester equation)官方求解有问题 1. 西尔维斯特方程(Sylvester equation)1.1 以上所有矩阵都是2x2矩阵的演算形式 2. 官方求解Sylvester方程-错误2.1 官方求解形式2.2 2x2矩阵举例 3. Nicolas Andreff作者文章O…