241118学习日志——[CSDIY] [ByteDance] 后端训练营 [06]

news2024/11/19 18:11:54

CSDIY:这是一个非科班学生的努力之路,从今天开始这个系列会长期更新,(最好做到日更),我会慢慢把自己目前对CS的努力逐一上传,帮助那些和我一样有着梦想的玩家取得胜利!!!
第一弹:Cpp零基础学习【30 DAYS 从0到1】
第二弹:Cpp刷题文档【LeetCode】
第三弹:Go开发入门【字节后端青训营】
第四弹:Cpp简单项目开发【黑马Rookie】
第五弹:数据结构绪论【数据结构与算法】
第六弹:Go工程实践【字节后端青训营】
第七弹:高质量编程和性能调优【字节后端青训营】

241118——[ByteDance] [02] 高质量编程与性能调优实践

实际开发中,不仅仅需要实现功能,也要让团队其他人看懂。

  • 优秀的功能和效率
  • 清晰的算法思路和编程习惯

1. 高质量编程

正确可靠,清晰简介的代码是受欢迎的

1.1 高质量编程简介

  • 各种边界条件是否考虑完备
  • 异常情况处理,稳定性保证
  • 易读易维护

Go:编程原则 - Go 语言开发者 Dave Cheney

  • 简单性:消除多余的“复杂性”,人无法理解的代码无法修复改进
  • 可读性:代码是写给人看的
  • 生产力:团队整体工作效率很重要

1.2 编码规范

如何编写高质量的 Go 代码

  • 代码格式
  • 注释
  • 命名规范
  • 控制流程
  • 错误和异常处理
1.2.1 代码格式

推荐使用 gofmt 自动格式化代码

gofmt / goimports (对依赖包进行增删排序)

某些 IDE 自带格式化功能

1.2.2 注释

Good code has lots of comments, bad code requires lots of comments.

——Dave Thomas and Andrew Hunt

公共符号

一些常量,公开变量

公共符号始终要注释

但有一个例外:不需要注释实现接口的方法。具体不要让开发者去溯源?

实现过程

代码是怎么实现的,在维护代码时也要维护注释

实现原因

提供适合的上下文

限制条件

解释代码在什么情况下会出错

小结

  • 代码是最好的注释
  • 注释应该提供代码未表达出的上下文信息 而不是逐句逐语法解释
1.2.3 命名规范

variab

  • 简介胜于冗长
  • 缩略词全大写
  • 变量距离被使用的地方越远,越需要携带更多的上下文信息

function

  • 函数名不携带包名的上下文信息
  • 函数名尽量简短
  • 函数名可以在不影响歧义的情况下,可以在函数名加入类型信息

package

  • 只由小写字母组成
  • 简短且携带一定信息
  • 不要与标准库同名

尽量满足

  • 不使用常用变量名作为包名
  • 使用单数而不是复数
  • 谨慎使用缩写( format > fmt )

小结

  • 核心目标是降低阅读理解代码的成本
  • 重点考虑上下文信息,设计简介清晰的名称
1.2.4 控制流程
  • 避免 if - else 分支嵌套

  • 尽量保持正常代码路径为最小缩进

小结

  • 线性原理
  • 故障问题大多都出现在复杂的条件语句中
1.2.5 错误和异常处理

简单错误:仅出现一次的错误

复杂错误

错误的 Wrap 和 Unwrap

错误判定

判断一个错误是否为特定错误

在错误链上获取特定种类的错误

panic

  • 不建议在业务代码中使用 panic
  • 若问题可以被屏蔽或解决,建议使用 error 代替 panic
  • 当程序启动阶段发生不可逆转的错误时,可以在 main 函数中使用 panic

recover

  • recover 可以用来解决 panic 引发的进一步错误

  • recover 只能被 defer 函数中使用

  • 在 recover 后在 log 中记录当前调用栈

小结

  • error 尽可能提供简明的上下文信息连,方便定位问题
  • panic 用于真正异常的情况
  • recover 生效范围:在当前 goroutine 的被 defer 的函数中生效

1.3 性能优化建议

性能优化的前提是满足正确可靠、简介清晰

1.3.1 Benchmark

Go 自带的工具

go test -bench=. -benchmen
1.3.2 Slice

预分配内存(避免频繁扩容)

1.3.3 Map

预分配内存

提前分配好内存可以减少内存和 rehash 的消耗

1.3.4 字符串处理

string.Builder : 转化为字符串时 重新申请了一块空间

实际上也是预分配的逻辑

1.3.5 空结构体

空结构体节省内存

  • 节省资源
  • 不需要任何值,仅仅做占位符

可以用来实现 Set,此时只需要键,而不需要值

1.3.6 atomic 包
  • 锁的实现通过操作系统实现,属于系统调用
  • 通过硬件实现

小结

  • 避免常见性能陷阱
  • 普通应用代码,不要一味追求i性能
  • 越高级的性能手段越容易出问题

2. 性能调优实战

学校里学不到的!

2.1 性能调优简介

  • 要依靠数据而不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
  • 不要过度优化

2.2 性能分析工具 pprof 实战

说明

  • 希望知道在什么地方耗费了多少CPU、Memory
  • 可视化分析

开始之前:请查看完整教程:

https://blog.wolfogre.com/posts/go-ppof-practice/

如果要说在 golang 开发过程进行性能调优,pprof 一定是一个大杀器般的工具。但在网上找到的教程都偏向简略,难寻真的能应用于实战的教程。这也无可厚非,毕竟 pprof 是当程序占用资源异常时才需要启用的工具,而我相信大家的编码水平和排场问题的能力是足够高的,一般不会写出性能极度堪忧的程序,且即使发现有一些资源异常占用,也会通过排查代码快速定位,这也导致 pprof 需要上战场的机会少之又少。即使大家有心想学习使用 pprof,却也常常相忘于江湖。

既然如此,那我就送大家一个性能极度堪忧的“炸弹”程序吧!

这程序没啥正经用途缺极度占用资源,基本覆盖了常见的性能问题。本文就是希望读者能一步一步按照提示,使用 pprof 定位这个程序的的性能瓶颈所在,借此学习 pprof 工具的使用方法。

因此,本文是一场“实验课”而非“理论课”,请读者腾出时间,脚踏实地,一步一步随实验步骤进行操作,这会是一个很有趣的冒险,不会很无聊,希望你能喜欢。

2.2.1 功能简介
  • Tool工具
  • Sample采样:CPU、Heap、Goroutine
  • Profile分析:网页
  • View展示:Top、Graph、FlameGraph、Source

搭建 pprof 项目

2.2.2 排查实战

保持程序运行,打开浏览器访问 http://localhost:6060/debug/pprof/

可以查看指标:数据平铺

查看 CPU 情况:

查看占用资源最多的函数

命令:top

flatflat%sum%cumcum%
当前函数本身执行耗时flat占 CPU 总时间的比例上面每一行的 flat% 总和当前函数本身加上其调用函数的总耗时cum 占CPU 总时间的比例

Flat == Cum,函数中没有调用其他函数

Flat == 0,函数中只有其他函数的调用

命令:list

根据指定正则表达式查找代码行

命令:web

生成一个调用关系图,使得调用关系可视化


heap-堆内存

goroutine-协程

  • goroutine 泄露会导致内存泄漏

mutex-锁

block-阻塞

2.2.3 采样过程和原理

CPU

  • 采样对象:函数调用和它们占用的时间
  • 采样率:100次/秒,固定值
  • 采样时间:从手动启动到手动结束
  • 操作系统
  • 进程
  • 写缓冲

Heap - 堆内存

  • 采样率:每分配512KB记录一次
  • 采样时间:从程序运行开始到采样时

Goroutine - 协程 & ThreadCreate - 线程创建

  • Goroutine - 协程:记录所有用户发起且在运行中的 Goroutine
  • ThreadCreate - 线程创建:记录程序创建所有系统线程的信息

Bolck - 阻塞 & Mutex - 锁

  • 阻塞操作:采样阻塞操作的次数和耗时
  • 锁竞争:采样争抢锁的次数和耗时

2.3 性能调优案例

  • 实际业务服务性能调优案例

  • 对逻辑相对复杂的程序如何进行性能调优

2.3.1 业务服务优化

基本概念

  • 服务:能单独部署,承载一定功能的程序
  • 依赖:
  • 调用链路:能支持一个接口请求的相关服务集合及其相互之间的依赖关系
  • 基础库:公共的工具包

流程

  • 建立服务性能评估手段
  • 分析性能数据,定位性能瓶颈
  • 重点优化项改造
  • 优化效果验证

建立服务性能评估手段

  • 服务性能评估方式
  • 请求流量构造
  • 压测范围
  • 性能数据采集

分析性能数据,定位性能瓶颈

  • 使用库不规范
  • 高并发场景优化不足

重点优化项改造

  • 正确性
  • 响应数据

优化效果验证

  • 重复压测验证
  • 上限评估优化结果

进一步优化,服务整体链路分析

  • 规范上游服务调用接口
  • 分析链路
2.3.2 基础库优化

AB 实验 SDK 优化

  • 分析基础库核心逻辑
  • 内部压测验证
  • 推广业务服务落地验证
2.3.3 Go 语言优化

编译器 & 运行时优化

  • 优化内存分配策略
  • 优化代码编译流程
  • 内部压测验证
  • 推广业务服务落地验证

2.4 总结

  • 性能调优原则
    • 要依靠数据而不是猜测
  • 性能调优工具 pprof
    • 熟练使用 pprof 工具排查性能问题并了解其基本原理
  • 性能调优
    • 保证正确性
    • 定位主要瓶颈

碎碎念:每周一可以说是最怕的日子,有很多DDL,但还是挺过来了。跟上字节的课可以说有点困难。。。很多时候都想放弃,但是后端入门篇就这样被我水过去了…谁知道呢,后面的课程会更加虐,但我一想到CSDIY里面的话,我就心有余甘…很多时也想过放弃和偷懒,也想过自己是不是在假努力,但谁说学了一定要会呢?我就是喜欢做笔记的感觉,我就是喜欢敲键盘(打字)怎么了???所以呢,还是不想给自己借口。

与君共勉。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2243543.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CentOS网络配置

上一篇文章:VMware Workstation安装Centos系统 在CentOS系统中进行网络配置是确保系统能够顺畅接入网络的重要步骤。本文将详细介绍如何配置静态IP地址、网关、DNS等关键网络参数,以帮助需要的人快速掌握CentOS网络配置的基本方法和技巧。通过遵循本文的…

【unity小技巧】unity最全的性能优化方案分享以及如何进行性能测试(2024/11/11更新)

文章目录 前言一、性能分析软件1、Draw Call什么是Draw Call如何查看Draw Call数量 2、分析帧调试器3、Statistics统计面板 二、优化手段1、关于图集、材质、层级的处理,减少DrawCall2、批处理3、音乐处理4、减少沉余资源和重复资源5、渲染优化(GPU&…

[STM32]从零开始的STM32 HAL库环境搭建

一、前言 之前在搭建STM32的标准库环境时就告诉过大家,开发STM32的方式主要有三种。一种是最原始但是效率最高的寄存器开发,另一种是效率仅次于寄存器难度相对较低的标准库开发,最后一种是最为简单但是程序效率最低的HAL库开发。如果对于初学…

阅读2020-2023年《国外军用无人机装备技术发展综述》笔记_技术趋势

目录 文献基本信息 序言 1 发展概况 2 重点技术发展 2.1 人工智能技术 2.1.1 应用深化 2.1.2 作战效能提升 2.2 航空技术 2.2.1螺旋桨设计创新 2.2.2 发射回收技术进步 2.3 其他相关技术 2.3.1 远程控制技术探 2.3.2 云地控制平台应用 3 装备系统进展 3.1 无人作…

python爬虫(二)爬取国家博物馆的信息

import requests from bs4 import BeautifulSoup# 起始网址 url https://www.chnmuseum.cn/zx/xingnew/index_1.shtml # 用于存储所有数据 all_data [] page 1 global_index 1 # 定义全局序号变量并初始化为1 while True:html_url requests.get(url).textif requests.get…

FPGA 第6讲 简单组合逻辑多路选择器

时间:2024.11.11-11.14 一、学习内容 1.组合逻辑 组合逻辑是VerilgHDL设计中一个重要组成部分。从电路本质上讲,组合逻辑电路的特点是输出信号只是当前时刻输入信号的函数,与其他时刻的输入状态无关,无存储电路,也没…

性能超越Spark 13.3 倍,比某MPP整体快数十秒 | 多项性能指标数倍于主流开源引擎 | 云器科技发布性能测试报告

云器Lakehouse正式发布性能测试报告 🏅离线批处理:在复杂批处理任务中,云器Lakehouse相较Spark表现出13.31倍性能提升。 🏅即席查询:在交互式分析场景下,云器Lakehouse相较Trino表现出9.84倍性能提升。 &am…

Frida反调试对抗系列(四)百度加固

本文只是交流技术,如有侵权请联系我删除。 知识星球:https://t.zsxq.com/kNlj4 前言: 上一篇文章我们提到 我们使用github开源魔改好的frida server 但是仍然有一些厂商的server不能通过,那么这篇文章针对百度加固 进行快速通…

利用redis的key失效监听器KeyExpirationEventMessageListener作任务定时提醒功能

某需求: 要求在任务截止日期的前3天时,系统自动给用户发一条消息提醒。 用定时任务的话感觉很不舒服。间隔时间不好弄。不能精准卡到那个点。 由于系统简单,没有使用消息列队,也不能使用延时队列来做。 用Timer的话开销还挺大的&a…

通过MongoDB Atlas 实现语义搜索与 RAG——迈向AI的搜索机制

目录 通过MongoDB Atlas 实现语义搜索与 RAG——迈向AI的搜索机制 一、引言 二、语义搜索与 MongoDB Atlas 的背景 三、MongoDB Atlas 的向量搜索功能 1. 向量搜索的实现方式 2. 典型操作示例 四、RAG 在 MongoDB Atlas 的应用 1、RAG是什么 2、RAG 的实现过程 3、RA…

【graphics】图形绘制 C++

众所周知,周知所众,图形绘制对于竞赛学僧毫无用处,所以这个文章,专门对相关人员教学(成长中的码农、高中僧、大学僧)。 他人经验教学参考https://blog.csdn.net/qq_46107892/article/details/133386358?o…

Excel使用-弹窗“此工作簿包含到一个或多个可能不安全的外部源的链接”的发生与处理

文章目录 前言一、探讨问题发生原因1.引入外部公式2.引入外部数据验证二、问题现象排查及解决1.排查公式2.排查数据验证3.特殊处理方式总结前言 作为一种常用的办公软件,Excel被大家所熟知。尽管使用了多年,有时候在使用Excel时候也会发生一些不太常见的现象,需要用心核查下…

递归(3)----力扣40组合数2,力扣473火柴拼正方形

给定一个候选人编号的集合 candidates 和一个目标数 target ,找出 candidates 中所有可以使数字和为 target 的组合。 candidates 中的每个数字在每个组合中只能使用 一次 。 注意:解集不能包含重复的组合。 示例 1: 输入: candidates [10,1,2,7,6,1…

CCF-第七届AIOps国际挑战赛-季军方案分享|北航-EasyRAG

历经4个月的时间,从初赛赛道第1,复赛赛道第2,到最后决赛获得季军,这一路我们团队收获了很多实践经验,也结识了不少业界的RAG研究者,受益匪浅。应组委会邀请,本文介绍一下我们EasyRAG方案的亮点和…

Spring Boot出现java: 错误: 无效的源发行版:16的解决方式

第一步: 修改为SDK的目标字节码版本 第二步:CtrlShiftAltS进入项目结构 第三步:pom.xml文件中 在网上搜索和自己SDK适配的Springboot版本,1.8对应的是2.7.1(可以用) 修改Java版本为1.8 最后的最后&a…

Redis学习 ——缓存

文章目录 一、Redis缓存的介绍二、Redis缓存问题2.1 缓存穿透2.2 缓存击穿2.3 缓存雪崩2.4 双写一致性2.5 缓存持久化RDBAOF 三、缓存数据管理3.1 数据过期策略3.2 数据淘汰策略 一、Redis缓存的介绍 我们在日常的代码编写中比较少使用到Redis,但是如果涉及到了比较…

【开源免费】基于Vue和SpringBoot的在线考试系统(附论文)

本文项目编号 T 624 ,文末自助获取源码 \color{red}{T624,文末自助获取源码} T624,文末自助获取源码 网络的广泛应用给生活带来了十分的便利。所以把在线考试管理与现在网络相结合,利用java技术建设在线考试系统,实现…

git-.git目录解析

目录 .git目录下的文件信息 logs:记录各个分支日志记录 refs:记录本地分支、远程分支、tag标签最新commitID config: 配置信息,详细内容解析看下面介绍HEAD: 工作空间当前所在分支 inde文件: 它又常被称为“暂存区”或“缓存区”。这个文件…

sglang 部署Qwen2VL7B,大模型部署,速度测试,深度学习

sglang 项目github仓库: https://github.com/sgl-project/sglang 项目说明书: https://sgl-project.github.io/start/install.html 资讯: https://github.com/sgl-project/sgl-learning-materials?tabreadme-ov-file#the-first-sglang…

前端pdf预览方案

前端pdf预览方案 pdf预览一般不需要前端生成pdf文件,pdf文件一般是通过接口,获取pdf文件【responseType:‘blob’,】或二进制文件流【responseType: ‘arraybuffer’,】或者已有的pdf文件。 前端PDF预览通常是通过读取现有的PDF文件,并使用…