3.2K+ Star!OpenLLMetry:一个开源的LLM应用可观测性工具

news2024/11/7 10:14:22

OpenLLMetry 简介

OpenLLMetry[1] 是一个基于OpenTelemetry的开源可观测性工具,专为LLM(Large Language Models,大型语言模型)应用设计。 它提供了一套扩展,可以帮助开发者全面监控和管理他们的LLM应用。

项目特点

主要特点
  • 基于OpenTelemetry:利用OpenTelemetry的底层能力,可以轻松连接到现有的可观测性解决方案,如Datadog、Honeycomb等。

  • 易于集成:提供SDK,简化了与OpenLLMetry的集成过程,同时输出标准OpenTelemetry数据。

  • 支持多种目的地:支持多种观测数据目的地,包括Traceloop、Dynatrace、Datadog、New Relic等。

  • 自定义扩展:除了OpenTelemetry的标准监控外,还提供了针对LLM提供商和向量数据库的自定义扩展。

使用场景

OpenLLMetry适用于需要监控和管理大型语言模型应用的场景,尤其是在需要深入了解模型性能和行为的场合。它可以帮助开发者追踪和优化模型的调用,以及监控与模型交互的API和数据库。

项目使用

Traceloop支持Python、JavaScript / TypeScript,Go和Ruby处于Beta阶段,Java和Elixir正在开发中。以下是Python SDK的基本安装和使用。

安装与使用
  1. 安装SDK:

pip install traceloop-sdk
  1. 在代码中初始化Traceloop:

from traceloop.sdk import Traceloop
Traceloop.init()

如果需要立即查看追踪结果,可以禁用批处理发送:

Traceloop.init(disable_batch=True)
工作流装饰器

使用OpenLLMetry提供的装饰器来注释你的代码中的工作流。这有助于在Traceloop仪表板上追踪和监控工作流的执行。

from traceloop.sdk.decorators import workflow

@workflow(name="suggest_answers")
def suggest_answers(question: str):
  ...

@aworkflow(name="summarize")
async def summarize(long_text: str):
  ...

项目资源

  • 官方文档[2]

  • Demo地址[3]

  • 安装指南[4]

  • 集成指南[5]

  • Slack社区[6]

  • Twitter[7]


注:本文内容仅供参考,具体项目特性请参照官方 GitHub 页面的最新说明。

欢迎关注&点赞&在看,感谢你的阅读~


资源列表

[1]

Github地址: https://github.com/traceloop/openllmetry

[2]

官方文档: https://traceloop.com/docs/openllmetry/introduction

[3]

Demo地址: https://app.traceloop.com

[4]

安装指南: https://traceloop.com/docs/openllmetry/getting-started-python

[5]

集成指南: https://traceloop.com/docs/openllmetry/integrations/introduction

[6]

Slack社区: https://traceloop.com/slack

[7]

Twitter: https://twitter.com/traceloopdev

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2228679.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C# 编程语言学习教程

C# 编程语言学习教程 目录 C# 简介 1.1 什么是 C#1.2 C# 的特点1.3 C# 的应用领域 环境搭建 2.1 安装 Visual Studio2.2 创建第一个 C# 项目 基础语法 3.1 数据类型3.2 控制结构3.3 数组与字符串 面向对象编程 4.1 类与对象4.2 继承与多态4.3 接口与抽象类 常用库与框架 5.1 .…

分类预测 | GCN图卷积神经网络多特征分类预测(MATLAB)

分类预测 | GCN图卷积神经网络多特征分类预测(MATLAB) 目录 分类预测 | GCN图卷积神经网络多特征分类预测(MATLAB)分类效果基本介绍程序设计参考资料分类效果 基本介绍 GCN图卷积神经网络多特征分类预测(MATLAB) 在图卷积神经网络(GCN)中,多特征分类

以AI赋能身份验证,Jumio助力中国企业出海

近年来,越来越多的中国企业开始扬帆出海积极拓展全球市场。而能够为企业出海提供各种助力的技术与解决方案,也成为了众多企业关注的焦点。 作为全球领先的在线身份验证和欺诈预防解决方案提供商,Jumio于近日在北京举办了中国媒体见面会&#…

中级 <HarmonyOS第一课>合理使用动画和转场的课后习题

天道无亲&#xff0c;常与善人。 天命人&#xff0c;战斗吧&#xff01;&#xff01;&#xff01; 来自 <HarmonyOS第一课>合理使用动画和转场的习题。 判断题 animateTo可以设置组件进行位移动画时的运动路径。❌ 单选题 模态转场不包括以下哪个类别&#xff1f; A. …

Python(包和模块)

包 定义 包是将模块以文件夹的组织形式进行分组管理的方法&#xff0c;以便更好地组织和管理相关模块。 包是一个包含一个特殊的__init__.py文件的目录&#xff0c;这个文件可以为空&#xff0c;但必须存在&#xff0c;以标识目录为Python包。 包可以包含子包&#xff08;子…

数据采集-Kepware OPCUA 服务器实现

KepserverEX OPC UA server设置 目录 KepserverEX OPC UA server设置一、OPC UA(OPC Unified Architecture)二、防火墙的配置三、配置KepserverEX的OPC UA3.1 启用远程连接3.2 启动OPCUA服务器接口 四、管理OPCUA的端口和证书4.1 添加端口4.2 证书申请 一、OPC UA(OPC Unified …

医学和生信web APP 平台- Appmatrix

医学&#xff08;和生信&#xff09;web APP 平台- Appmatrix 最近使用shinyproxy将平时所构建的shiny和streamlit医学类应用汇集在一起&#xff0c;实现一站式访问&#xff0c;另外&#xff0c;使用了自己电脑内网穿透&#xff0c;一定程度上缓解了数据分析类APP消耗计算资源…

PyTorch nn.Conv2d 空洞卷积

torch.nn.Conv2d() 中 dilation 参数控制卷积核的间隔 dilation controls the spacing between the kernel points 当 dilation1 时, 表示卷积核没有额外的空白间距, 也就是标准卷积当 dilation>1 时, 表示空洞卷积(dilated convolution) 动画演示: 手动计算 以 2*2 的卷…

大模型,多模态大模型面试问题【计算图,LLama,交叉熵,SiLU,RLHF】

大模型&#xff0c;多模态大模型面试问题【计算图&#xff0c;LLama&#xff0c;交叉熵&#xff0c;SiLU&#xff0c;RLHF】 问题一&#xff1a;讲一讲计算图中pytorch是什么&#xff0c;TensorFlow是什么&#xff1f;1. PyTorch2. TensorFlow区别总结 问题二&#xff1a;Llama…

learnopencv系列一:使用神经网络进行特征匹配(LoFTR、XFeat、OmniGlue)、视频稳定化、构建Chrome Dino游戏机器人

文章目录 一、使用神经网络进行特征匹配1.1 什么是图像特征&#xff1f;1.2 特征匹配的应用场景——为什么在2024年还要进行特征匹配&#xff1f;1.3 特征匹配——经典方法与深度学习1.3.1 经典特征匹配1.3.2 深度学习特征匹配1.3.3 XFeat1.3.3.1 网络结构1.3.3.2 局部特征提取…

MySQL 数据出海之数据同步方案

优质博文&#xff1a;IT-BLOG-CN 数据库出海流程 【1】业务出海&#xff1a;1&#xff09;数据库出海&#xff1b;2&#xff09;应用出海&#xff1b;3&#xff09;流量分发&#xff1b; 【2】数据库出海&#xff1a;涉及业务方、信安、DBA和框架组。 数据库出海&#xff0c…

Elasticsearch 安装教程:驾驭数据海洋的星际导航仪

目录 一、准备工作1. ES的下载 二、安装步骤三、注意事项四、启动报错1. org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root2. max virtual memory areas vm.max_map_count [65530] is too low, increase to at l…

RK3568平台开发系列讲解(I2C篇)I2C 上拉电阻

🚀返回专栏总目录 文章目录 一、接上拉电阻的作用二、I2C 上拉电阻阻值计算沉淀、分享、成长,让自己和他人都能有所收获!😄 I2C 的硬件连接如下图所示: 可以看到在 SDA 数据线和 SCL 时钟线上都需要接一个上拉电阻? 一、接上拉电阻的作用 SDA 数据线和 SCL 时钟线上接…

使用AIM对SAP PO核心指标的自动化巡检监控

一、背景 由于SAP PO系统维护成本较高&#xff0c;各类型异常报错等都需要人员进行时刻监控和响应&#xff0c;遂由AIM平台进行自动化巡检SAP PO的各指标&#xff0c;然后告警通知用户&#xff0c;节省维护成本和提高工作效率 二、核心指标监控 SAP PO失败消息 适用于S…

Golang | Leetcode Golang题解之第521题最长特殊序列I

题目&#xff1a; 题解&#xff1a; func findLUSlength(a, b string) int {if a ! b {return max(len(a), len(b))}return -1 }func max(a, b int) int {if b > a {return b}return a }

C语言:动态内存管理【上】

一. malloc C语言提供了一个动态内存开辟的函数&#xff1a; 1 void* malloc (size_t size);这个函数向内存申请一块连续可用的空间&#xff0c;并返回指向这块空间的指针。 &#xff0e;如果开辟成功&#xff0c;则返回一个指向开辟好空间的指针。 &#xff0e;如果开辟失败…

10.24.2024刷华为OD C题型(四) -- 对象list按照多个属性排序

文章目录 最长连续子序列AI面板识别语法知识记录 最长连续子序列 https://www.nowcoder.com/discuss/592408743019589632 if __name__ "__main__":# 获取用户输入# numbers int(input().split(,))# str_arr input().split(,)arr [int(num) for num in input(…

ubuntu 24 (wayland)如何实现无显示器远程桌面

ubuntu 24默认采用的是wayland而非x11&#xff0c;查过文档vnc对wayland的支持不是很好&#xff0c;折腾了好久&#xff0c;弄了一个如下的方案供参考&#xff1a; 硬件条件 需要一个显卡欺骗器或者可以接HDMI口作为视频信号源输出的设备。 将ubuntu的主机的HDMI输出接到该硬…

MATLAB FDATool工具箱入门教程

在数字信号处理领域&#xff0c;滤波器设计是一项基础且关键的任务。MATLAB提供了一个强大的工具——FDATool&#xff08;Filter Design and Analysis Tool&#xff09;&#xff0c;它可以帮助用户轻松设计和分析各种数字滤波器。 本文将带领大家深入了解FDATool&#xff0c;让…

JUC并发编程面试题总结

文章目录 1、创建线程的三种方式2、线程的状态3、线程的上下文切换4、run和start的区别5、sleep和wait区别6、虚假唤醒&#xff0c;精确唤醒7、两阶段终止模式8、多线程下的线程安全问题9、如何解决线程安全问题10、synchornized的原理11、锁升级的机制12、锁消除13、批量重偏向…