腾讯mini项目-【指标监控服务重构】2023-08-01

news2025/2/22 4:25:38

今日已办

合并 Traefik 和 Profile 的 Trace

Traceparent Header 理解有误

image-20230731211105189

Trace Context (w3.org)

image-20230801141706444

故需要解析 TraceHeader 才能获取trace_id、parent_id

func (profileCtx *ProfileContext) UnpackKafkaMessage(ctx context.Context) (needBreak bool, tpsStatus string, contextErr error) {
	var traceID trace.TraceID
	var parentID trace.SpanID
	headers := profileCtx.msg.Headers
	for _, h := range headers {
		key := h.Key
		value := string(h.Value)
		if key == "Traceparent" {
            // eg: 00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01
			split := strings.Split(value, "-")
			traceID, _ = trace.TraceIDFromHex(split[1])
			parentID, _ = trace.SpanIDFromHex(split[2])
			break
		}
	}
	log.Logger.Info("[UnpackKafkaItem] parse header traceparent",
		zap.String("traceId", traceID.String()),
		zap.String("parentID", parentID.String()),
	)
	//otel.GetTextMapPropagator().Extract(profileCtx.Ctx, header)
	ctx = trace.ContextWithRemoteSpanContext(ctx,
		trace.NewSpanContext(trace.SpanContextConfig{
			TraceID: traceID,
		}))
	var span trace.Span
	profileCtx.Ctx, span = consumerTracer.Start(ctx, "UnpackKafkaMessage")
	//profileCtx.Ctx, span = consumerTracer.Start(profileCtx.Ctx, "UnpackKafkaMessage")
	defer span.End()
	// ...
	return
}

image-20230801145012158

image-20230801144721174

image-20230801145233913

调研上下文传递 Propagator

参考 passthrough

Venus 服务中初始化 TextMapPropagator

func initPassthroughGlobals() {
	// We explicitly DO NOT set the global TracerProvider using otel.SetTracerProvider().
	// The unset TracerProvider returns a "non-recording" span, but still passes through context.
	log.Logger().Info("Register a global TextMapPropagator, but do not register a global TracerProvider to be in \"passthrough\" mode.")
	log.Logger().Info("The \"passthrough\" mode propagates the TraceContext and Baggage, but does not record spans.")
	otel.SetTextMapPropagator(propagation.NewCompositeTextMapPropagator(propagation.TraceContext{}, propagation.Baggage{}))
}

再根据 Fiber 的 Context 和 Header 来解包出 Context ,创建 Span

var (
	traceparent    string
	producerTracer = otel.Tracer("venus-producer",
		trace.WithInstrumentationAttributes(attribute.String("venus.work", "producer")))
)

func SplitAndValidate(c *fiber.Ctx) error {
	traceparent = c.Get("Traceparent", "default")
	log.Logger().Info("Traceparent", zap.Any("Traceparent", traceparent))
	log.Logger().Debug("split and validate", zap.String("client", c.IP()), zap.String("agent", string(c.Context().UserAgent())))
	header := make(propagation.HeaderCarrier)
	for k, v := range c.GetReqHeaders() {
		header.Set(k, v)
	}
	otel.SetTextMapPropagator(propagation.NewCompositeTextMapPropagator(propagation.TraceContext{}, propagation.Baggage{}))
	ctx := otel.GetTextMapPropagator().Extract(c.Context(), header)
	_, span := producerTracer.Start(ctx, "SplitAndValidate")
	defer span.End()
	// ...
	return c.Next()
}

image-20230801151310593

Venus中注入,ctx 为 Kafka 的 WriteMessages 的,携带 TraceParentHeader

【感觉没有必要,确实我移除这部分代码正常运行】

  1. 因为 kafka 没有上下文机制,是使用 header 来传播 TraceParent
  2. TraceParent 包含了 trace-id、parent-id共4个字段
  3. Extract方法应该可以根据这个TraceParent的值来解析出tracespan的关系

image-20230801162219272

以相同的方式在 Profile 中处理,关于traceID、parentID的代码就可以移除了

image-20230801162426841

image-20230801162008177

现在的 venus 和 profile 是同一级,是因为 traefik 传播的 traceparent 没有修改,parent-id 是相同的,应该需要 venus 将最后一个 span 的 span_id 更新到 traceparent 的 parent-id 的部分,然后再用 kafka 的 header 传播下来

image-20230801162012420

image-20230801162501552

明日待办

  1. 组长会议汇报进度和问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1010983.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

浅谈C++|模板篇

一.模板模板概念 模板就是建立通用的模具,大大提高复用性 模板的特点: 1.模板不可以直接使用,它只是一个框架 2.模板的通用并不是万能的 C另一种编程思想称为泛型编程,主要利用的技术就是模板。 C提供两种模板机制:函数模板和类模…

机器学习(14)---逻辑回归(含手写公式、推导过程和手写例题)

逻辑回归 一、逻辑回归概述二、模型、策略和优化(手写)三、w和b的梯度下降公式推导四、例题分析4.1 题目4.2 解答 一、逻辑回归概述 1. 逻辑回归也称作logistic回归分析,是一种广义的线性回归分析模型,属于机器学习中的监督学习。…

《Web安全基础》07. 反序列化漏洞

web 1:基本概念1.1:序列化&反序列化1.2:反序列化漏洞1.3:POP 链 2:PHP 反序列化2.1:序列化&反序列化2.2:魔术方法 3:JAVA 反序列化3.1:序列化&反序列化3.2&a…

vue移动端页面适配

页面的适配,就是一个页面能在PC端正常访问,同时也可以在移动端正正常访问。 现在我们可以通过弹性布局【Flexible布局】、媒体查询和响应式布局。除此之外,还可以通过rem和vw针对性地解决页面适配问题。 响应式布局 响应式布局的核心&…

【C++】day6学习成果

#include <iostream>using namespace std;template<typename T> class MyVector { private:T *p; //动态数组的首地址 用来保存数据int Size; //动态数组的元素个数int max1size; //动态数组的最大长度 public://无参数 - 构造一个空的ve…

react路由01——react-routerV6 中路由传递参数的几种方式

react路由01——react-routerV6 中路由传递参数的几种方式 1. 前言1.1 关于react- router&#xff0c;上官网1.2 react脚手架demo 2. 路由简单配置——无参数3. 路由传参方式3.1 params参数3.1.1 params参数——useParams钩子3.1.2 params参数——useMatch钩子 3.2 search参数3…

FFmpeg深入学习

文章目录 前言一、FFmpeg 基础指令二、FFmpeg 应用之视频播放器1、音视频播放流程2、音视频同步 三、FFplay 播放器1、FFmpeg 播放器的整体框架2、ffplay 的初体验及快捷键3、ffplay 模块划分4、ffplay 原理及流程 四、FFmpeg 编解码及转码1、FFmpeg 转码全流程简介2、FFmpeg 转…

某网站小说CSS反爬实战分析

由于是刚开始编写js逆向类型的文章&#xff0c;难免会有不详细之处&#xff0c;敬请谅解 本次的目标是hongshu网的小说接口&#xff0c;我们进入官网随意找到一篇小说后&#xff0c;打开网络请求&#xff0c;分析接口 如图&#xff0c;可以看到有个bookajax.do 的接口让人值得…

Postman使用_断言测试

断言测试可以在Collection、Folder和Request的 pre-request script 和 test script中编写&#xff0c;测试脚本可以检测请求响应的各个方面&#xff0c;包括正文、状态代码、头、cookie、响应时间等&#xff0c;只有测试符合自定义的要求后才能通过。 pm对象提供了测试相关功能…

STM32 CAN使用记录:bxCAN基础通讯

文章目录 目的关键配置与代码轮询方式中断方式收发测试 示例链接总结 目的 CAN是非常常用的一种数据总线&#xff0c;被广泛用在各种车辆系统中。这篇文章将对STM32中CAN的使用做个示例。 CAN的一些基础介绍可以参考下面文章&#xff1a; 《CAN基础概念》https://blog.csdn.n…

uniapp运行到IOS真机提示 错误:请查看是否设备未加入到证书列表或者确认证书类型是否匹配

参考文章&#xff1a;请查看是否设备未加入到证书列表或者确认证书类型是否匹配 ios开发描述文件必须绑定调试设备&#xff0c;只有授权的设备才可以直接安装基座&#xff0c;所以在申请开发描述文件之前&#xff0c;先添加调试的IOS设备。 前往网站https://developer.apple.…

帧结构的串行数据接收器——Verilog实现

用Verilog 实现一个帧结构的串行数据接收器&#xff1b; 串行数据输入为&#xff1a;NRZ数据加位时钟&#xff08;BCL&#xff09;格式&#xff0c;高位在前 帧结构为&#xff1a;8位构成一个字&#xff0c;64字构成一个帧。每帧的第一个字为同步字。同步字图案存储在可由CPU读…

【自动驾驶决策规划】POMDP之Introduction

文章目录 前言Markov PropertyMarkov ChainHidden Markov ModelMarkov Decision ProcessPartially Observable Markov Decision ProcessBackground on Solving POMDPsPOMDP Value Iteration Example 推荐阅读与参考 前言 本文是我学习POMDP相关的笔记&#xff0c;由于个人能力…

阿里云CDN缓存配置及优化-oss绑定CDN缓存自动刷新功能

参考阿里云官网文档&#xff1a;https://help.aliyun.com/practice_detail/603170 1.缓存时间配置 在缓存管理中&#xff0c;可以方便地指定目录和文件后缀名在CDN节点上的缓存时间&#xff0c;缓存时长配置的长短&#xff0c;取决于源站对该文件的变更频率。我们需要分析下业务…

前后端分离毕设项目之springboot同城上门喂遛宠物系统(内含文档+源码+教程)

博主介绍&#xff1a;✌全网粉丝10W,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久&#xff0c;选择我们就是选择放心、选择安心毕业✌ &#x1f345;由于篇幅限制&#xff0c;想要获取完整文章或者源码&#xff0c;或者代做&am…

项目:UDP聊天室

UDP UDP&#xff08;User Datagram Protocol&#xff09;是一种无连接、不可靠、面向数据报的传输协议。与TCP相比&#xff0c;UDP更加轻量级&#xff0c;不提供像TCP那样的可靠性和流控制机制&#xff0c;但具备较低的通信延迟和较少的开销。 UDP具有以下几个特点&#xff1…

数据中台基本概念

数据中台 数据中台&#xff08;Data Midway&#xff09;是一个用于集成、存储、管理和分析数据的中心化平台或架构。它的目标是将组织内散布在各个系统、应用程序和数据源中的数据整合到一个可统一访问和管理的中心位置&#xff0c;以支持数据驱动的决策制定和业务需求。 数据…

单片机第三季-第二课:STM32存储器、电源和时钟体系

目录 1&#xff0c;存储器 1.1&#xff0c;位带操作 2&#xff0c;启动模式 3&#xff0c;电源管理系统 4&#xff0c;复位和时钟 4.1&#xff0c;复位 4.2&#xff0c;时钟 1&#xff0c;存储器 ICode总线&#xff1a; 该总线将Cortex™-M3内核的指令总线与闪存指…

Flutter插件之阿里百川

上一篇&#xff1a;Flutter插件的制作和发布&#xff0c;我们已经了解了如何制作一个通用的双端插件&#xff0c;本篇就带领大家将阿里百川双端sdk制作成一个flutter插件供项目调用&#xff01; 目录 登录并打开控制台&#xff0c;创建应用&#xff1a;填写应用相关信息开通百川…

Vue--1.6计算属性

概念&#xff1a;基于现有的数据&#xff0c;计算出来的新属性。依赖的数据变化&#xff0c;自动重新计算。 语法&#xff1a; 1&#xff09;声明在computed配置项中&#xff0c;一个计算属性对应一个函数。 2&#xff09;使用起来和普通属性一样使用{{计算属性名}} <!do…