[C++]——同步异步日志系统(1)

news2024/7/4 9:50:50

同步异步日志系统

  • 一、项⽬介绍
  • 二、开发环境
  • 三、核心技术
  • 四、环境搭建
  • 五、日志系统介绍
    • 5.1 为什么需要日志系统
    • 5.2 日志系统技术实现
      • 5.2.1 同步写日志
      • 5.2.2 异步写日志

日志系统:
日志:程序在运行过程中,用来记录程序运行状态信息。
作用:记录了程序运行状态信息,以便程序员能够随时根据状态信息,对系统程序的运行状态进行分析。

一、项⽬介绍

本项目主要实现的是一个日志系统,其支持以下功能:

  • 支持多级别日志消息
  • 支持同步日志和异步日志
  • 支持可靠写入日志到控制台、文件以及滚动文件中
  • 支持多线程程序并发写日志
  • 支持扩展不同的日志落地到目标地

二、开发环境

  • 操作系统 :CentOS 7
  • 编辑器: vscode / vim
  • 编译器/调试器:g++ / gdb
  • 项目自动化构建工具:Makefile

三、核心技术

  • 类层次化设计(继承、多态的实际应用)
  • C++11语法(多线程库,auto,智能指针,右值引用等)
  • 双缓冲区设计
  • 生产消费模型
  • 多线程
  • 设计模式(单例、工厂、代理、建造者等)

四、环境搭建

本项⽬不依赖其他任何第三⽅库, 只需要安装好CentOS / Ubuntu + vscode / vim环境即可开发。

五、日志系统介绍

5.1 为什么需要日志系统

  • 在生产环境中的产品,为了保证其稳定性以及安全性,是不允许开发人员附加调试器去排查问题的,可以借助日志系统来打印一些日志帮助开发人员解决问题
  • 上线客户端的产品出现的Bug无法复现并解决,可以借助日志系统打印日志并且上传到服务端帮助开发人员进行问题分析
  • 对于一些高频操作(如定时器,心跳包等)在少量调试次数下可能无法触发我们想要的行为,通过断点暂停的方式,我们需要重复几十次甚至上百次,导致排查问题的效率非常低下,可以借助打印日志的方式排查问题
  • 在分布式、多线程/多进程的代码中,出现bug非常难定位,可以借助日志系统打印日志帮助定位bug
  • 帮助刚接触项目不久的开发人员理解代码的运行流程

5.2 日志系统技术实现

日志系统的技术实现主要包括三种类型:

  1. 利用printf、std::cout等输出函数将日志信息打印到控制台。
  2. 对于大型商业化项目,为了方便排查问题,我们一般会将日志输出到文件或者是数据库系统方便查询和分析日志,主要分为同步日志异步日志方式。

5.2.1 同步写日志

同步日志指的是当输出日志时,必须等待日志输出语句执行完毕后,才能执行后面的业务逻辑语句,日志输出语句与程序的业务逻辑语句将在同一个线程中运行。每次调用一次打印日志API就对应一次系统调用write写日志文件。
在这里插入图片描述

在高并发的场景下,随着日志数量多不断增加,同步日志系统容易产生系统瓶颈:

  1. 一方面,大量的日志打印陷入等量的write系统调用,具有一定的系统开销。
  2. 另一方面,使得打印日志的进程附带了大量同步的磁盘IO,影响程序性能。

5.2.2 异步写日志

异步日志是指在进行日志输出时,日志输出语句与业务逻辑语句并不是在同一个线程中运行,而是有专门的线程用于进行日志输出操作,业务线程只需要将日志放到一个内存缓冲区中,不需要等待即可继续执行后续业务逻辑(作为日志的生产者),而日志的落地操作交给单独的日志线程完成(作为日志的消费者),这是一个典型的生产-消费模型。
在这里插入图片描述

这样的好处是即使日志没有真正的完成输出也不会影响程序的主业务,提高程序的性能

  1. 主线程调用日志打印接口成为非阻塞操作
  2. 同步的磁盘IO操作从主线程剥离出来交给单独的线程完成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1886364.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

图片转pdf,图片转pdf在线转换,在线图片转pdf,图片转pdf格式怎么弄

在数字化时代,图片和PDF文件成为了我们日常生活中不可或缺的元素。有时候,我们需要将图片转换成PDF格式以便更好地分享、存储或打印。那么,图片格式怎么转换成PDF呢?本文将为您详细介绍简单实用的转换方法。 方法一、使用pdf转换软…

Python容器 之 字典--字典的常用操作方法

1.增加和修改 字典[键] 值 键 存在, 修改 键 不存在, 添加 # 定义非空字典, 姓名, 年龄, 身高, 性别 my_dict {"name": "小明", "age": 18, "height": 1.78, "isMen": True} print(my_dict) # {name: 小明, age: 18, h…

【知识】DGL中graph默认的稀疏矩阵格式和coo格式不对的坑

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ 目录 先给结论 源码解读 代码验证 网上没找到相关的讨论,因此只能从源码上一步步查。 先给结论 对于自己使用dgl.graph接口创建的图&am…

【HTML入门】列表与表格

文章目录 前言一、列表与表格是什么?列表表格 二、使用标签列表标签表格标签 三、组合情况列表的组合表格的组合 四、示例代码总结 好的,以下是一个关于HTML列表与表格的文章示例: 前言 随着网页开发的普及,HTML成为了构建网页的…

LVS FILTER UNUSED OPTION

我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧? 拾陆楼知识星球入口 过滤一些版图与spice网表对不上的器件。 一般后端遇不到这个问题,因为通常是需要写到网表中的decap没有写出来造成的,如下图。

来不及啦!怎样找回删除的照片,2个解决方案【安卓通用】

一不小心手滑,手机里那些珍贵的照片竟然全都被删了!现在心急如焚,怎样找回删除的照片呢?别担心,小编我这就为你带来2个快速有效的解决方案,让你在分分钟找回那些失去的照片!快来学习一下吧&…

Java语法系列 小白入门参考资料 方法

方法的概念及使用 方法概念 方法出现的原因 在编程中,某段功能的代码可能频繁使用到,如果在每个位置都重新实现一遍,会: 1. 使程序变得繁琐 2. 开发效率低下,做了大量重复性的工作 3. 不利于维护,需要…

自动驾驶水泥搅拌车在梁场的应用(下)

自动驾驶水泥搅拌车在梁场的应用(下) 北京渡众机器人科技有限公司的自动驾驶水泥搅拌车在梁场(也称为预制梁场)的应用可以带来多方面的优势和效益: 1. 自动化搅拌和运输 在梁场中,通常需要大量的混凝土搅…

探索大型语言模型自动评估 LLM 输出长句准确性的方法

LLM现在能够自动评估较长文本中的事实真实性 源码地址:https://github.com/google-deepmind/long-form-factuality 论文地址:https://arxiv.org/pdf/2403.18802.pdf 这篇论文是关于谷歌DeepMind的,提出了新的数据集、评估方法和衡量标准&am…

零基础学习MySQL---MySQL入门

顾得泉:个人主页 个人专栏:《Linux操作系统》 《C从入门到精通》 《LeedCode刷题》 键盘敲烂,年薪百万! 一、什么是数据库 问:存储数据用文件就可以了,为什么还要弄个数据库呢? 这就不得不提…

收集了很久的全网好用的磁力搜索站列表分享

之前找资源的时候,收集了一波国内外大部分主流的磁力链接搜索站点。每一个站可能都有对应的优缺点,多试试,就能知道自己要哪个了。 全网好用的磁力链接 大部分的时候,我们用国内的就可以了,速度块,而且不…

Free Pascal语言基础学习:定义变量、数据类型、循环语句、case语句、条件判断、with语句、运算符

Pascal是一种结构化编程语言,而Free Pascal作为其现代编译器,不仅支持跨多种操作系统和处理器架构,还提供了高效的内存使用和函数重载等先进功能。Free Pascal继承了Pascal语言的核心特性,同时进行了扩展和优化,使其成…

操作系统真象还原:编写硬盘驱动程序

第13章-编写硬盘驱动程序 这是一个网站有所有小节的代码实现,同时也包含了Bochs等文件 13.1 硬盘及分区表 13.1.1 创建从盘及获取安装的磁盘数 要实现文件系统,必须先有个磁盘介质,虽然咱们己经有个虚拟磁盘 hd60M.img,但它只…

理解MySQL存储引擎:掌握数据存储与管理

在工作或学习过程中,作为一名数据库管理员或开发者,我们常常需处理大量数据,同时确保数据的可靠性与高效性。MySQL作为最受欢迎的开源数据库之一,其强大的性能和灵活性广为人知。而在MySQL背后的存储引擎则起到了至关重要的作用。…

深度学习项目GPU开发环境安装

注安装环境:ubuntu22.04, cuda 11.7, cudnn8.9 1.安装nvidia驱动 看可安装的Nvidia驱动版本:执行 ubuntu-drivers devices 安装合适版本的Nvidia驱动: sudo apt-get install nvidia-driver-515 注意:合适的版本需要尝试&#x…

【区块链+基础设施】银联云区块链服务 | FISCO BCOS应用案例

为了顺应区块链基础设施化的发展趋势,中国银联推出了银联云区块链服务——UPBaaS,为金融行业采用区块链 技术提出了解决方案,微众银行为平台提供 FISCO BCOS 区块链开源技术支持。通过银联云区块链服务,用户可 以用可视化的方式创…

ERROR: No matching distribution found for torch==2.0.1+cu117(比手动下载方便)

ERROR: No matching distribution found for torch2.0.1cu117 遇见这种报错可以把pip install -r requirements.txt修改为 pip install -r requirements.tx --extra-index-url https://download.pytorch.org/whl/cu117 -i https://pypi.tuna.tsinghua.edu.cn/simple或者直接…

ROS2仿真工具-gazebo

gazebo独立于ROS2,就像插件一样,需要安装。 1.安装 sudo apt install gazebo sudo apt install ros-humble-gazebo-* 2.运行测试demo gazebo /opt/ros/humble/share/gazebo_plugins/worlds/gazebo_ros_diff_drive_demo.world 查看所有话题 ros2 top…

vue3开发过程中遇到的一些问题记录

问题: vue3在使用 defineProps、defineEmits、defineExpose 时不需要import,但是 eslint会报错error defineProps is not defined no-undef 解决方法: 安装 vue-eslint-parser 插件,在 .eslintrc.js 文件中添加配置 parser: vue-e…

交叉编译tslib库和上机测试

目录 一、tslib 介绍 二、tslib 框架分析 三、交叉编译、测试 tslib 1.安装工具链 tslib (1)设置交叉编译工具链 (2)进入tslib目录 (3)安装工具链 (4)确定工具链中头文件、库…