【Golang】Go语言中缓冲bufio的原理解读与应用实战

news2024/11/27 12:53:08

在这里插入图片描述

✨✨ 欢迎大家来到景天科技苑✨✨

🎈🎈 养成好习惯，先赞后看哦~🎈🎈

🏆 作者简介：景天科技苑
🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。
🏆《博客》：Python全栈，Golang开发，PyQt5和Tkinter桌面开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生K8S，linux，shell脚本等实操经验，网站搭建，数据库等分享。

所属的专栏：Go语言开发零基础到高阶实战
景天的主页：景天科技苑

在这里插入图片描述

文章目录

  • Go语言中bufio
    • 一、bufio的基本概念和原理
    • 二、bufio的读操作
      • 1. 使用bufio.Reader读取文件内容
      • 2. 统计文件中字符、空格、数字和其他字符的数量
      • 3. 使用Scanner读取标准输入
    • 三、bufio的写操作
      • 1. 使用bufio.Writer写入文件内容
      • 2. 自定义io.Writer对象进行缓冲写
    • 四、bufio的缓冲区大小
      • 1. 默认缓冲区大小
      • 2. 自定义缓冲区大小

Go语言中bufio

bufio是Go语言标准库中的一个重要包，它提供了带缓冲的I/O操作，用于包装io.Reader或io.Writer对象，以减少I/O操作的次数，从而提高读写性能。本文将结合实际案例，详细讲解bufio在Go语言中的用法。
Go语言自带的IO操作包。bufio，使用这个包可以大幅提升文件的读写效率。
buf： 缓冲区.
io操作效率本身是还可以的，频繁访问本地磁盘文件（效率低）
所以说 bufio ，提供了一个缓冲区，读和写都先在缓冲区中，最后再一次性读取或者写入到文件里，降低访问本地磁盘的次数。
在这里插入图片描述

一、bufio的基本概念和原理

bufio的主要作用是减少I/O操作的次数，提供读写性能。其工作原理是通过在内存中维护一个缓冲区，先将数据读入缓冲区，再从缓冲区中读取数据，从而减少对底层I/O设备的访问次数。

bufio的主要对象是缓冲区，操作主要有两个：读和写。读操作时，如果缓冲区为空，则从文件读取数据填满缓冲区；如果缓冲区不为空，则从缓冲区读取数据。写操作时，如果缓冲区未满，则将数据写入缓冲区；如果缓冲区已满，则将缓冲区的数据写入文件，并继续写入剩余的数据。

二、bufio的读操作

bufio的读操作主要通过bufio.Reader对象实现，它提供了多种读取数据的方法，如Read、ReadLine、ReadString等。

1. 使用bufio.Reader读取文件内容

下面是一个使用bufio.Reader读取文件内容的示例：

package main

import (
	"bufio"
	"fmt"
	"io"
	"os"
)

func main() {
	// 打开文件
	file, err := os.Open("example.txt")
	if err != nil {
		fmt.Println("read file err:", err)
		return
	}
	defer file.Close() // 使用defer关闭文件

	// 创建bufio.Reader对象。借助bufio来读取文件内容
	// func NewReader(rd io.Reader) *Reader
	reader := bufio.NewReader(file)

	// 循环读取文件内容
	for {

		// 通过Read方法Read()读取文件
		//buf := make([]byte, 1024)
		//n, err := bufioReader.Read(buf)
		//fmt.Println("读取到了多少个字节：", n)
		//读取到的内容
		//fmt.Println("读取到的内容:",string(buf[:n]))

		//通过ReadString方法读取文件
		// func (b *Reader) ReadString(delim byte) (string, error)
		//参数是以什么作为分隔符。读取得到的是字符串
		//注意，最后一行后面要是没有换行符，读取不到
		str, err := reader.ReadString('\n') // 读取字符串，以换行符为分隔符
		if err == io.EOF {                  // 判断文件是否结尾
			break
		} else if err != nil { // 判断错误，打印错误
			fmt.Printf("read file failed, err:%v", err)
			break
		}
		//循环中逐行打印出读取的内容
		fmt.Printf("read string SuccessFull: %s\n", str) // 打印读取的文件内容
	}
}

在这里插入图片描述

在这个示例中，我们首先使用os.Open函数打开文件，然后创建一个bufio.Reader对象，通过循环调用ReadString方法读取文件内容，每次读取一行。当遇到文件结尾时，ReadString方法会返回一个io.EOF错误，我们据此退出循环。

2. 统计文件中字符、空格、数字和其他字符的数量

下面是一个统计文件中字符、空格、数字和其他字符数量的示例：

package main

import (
	"bufio"
	"fmt"
	"io"
	"os"
)

// CharCount 定义结构体
type CharCount struct {
	ChCount    int
	NumCount   int
	SpaceCount int
	OtherCount int
}

func main() {
	// 打开文件
	file, err := os.Open("example.txt")
	if err != nil {
		fmt.Println("read file err:", err)
		return
	}
	defer file.Close() // 使用defer关闭文件

	// 创建bufio.Reader对象
	reader := bufio.NewReader(file)

	var count CharCount

	// 循环读取文件内容
	for {
		//str, err := reader.ReadString('\n') // 读取字符串，以换行符为分隔符
		str, _, err := reader.ReadLine() // 按行读取，最后一行没有换行符也能读到
		if err == io.EOF {               // 判断文件是否结尾
			break
		}
		if err != nil { // 判断错误，打印错误
			fmt.Printf("read file failed, err:%v", err)
			break
		}

		//runeArr := []rune(str) // 将字符串转为切片类型
		runeArr := str // 将字符串转为切片类型
		fmt.Println("得到的数据是", string(runeArr))
		for _, v := range runeArr { // 循环读取数组
			switch {
			case v >= 'a' && v <= 'z': // 判断是不是小写字母
				fallthrough
			case v >= 'A' && v <= 'Z': // 判断是不是大写字母
				count.ChCount++
			case v == ' ' || v == '\t': // 判断是不是空格
				count.SpaceCount++
			case v >= '0' && v <= '9': // 判断是不是数字
				count.NumCount++
			default:
				count.OtherCount++
			}
		}
	}

	fmt.Printf("char count:%d\n", count.ChCount)
	fmt.Printf("num count:%d\n", count.NumCount)
	fmt.Printf("space count:%d\n", count.SpaceCount)
	fmt.Printf("other count:%d\n", count.OtherCount)
}

在这里插入图片描述

3. 使用Scanner读取标准输入

下面是一个使用bufio.Scanner读取标准输入的示例：

package main

import (
	"bufio"
	"fmt"
	"os"
)

func main() {
	// 读取键盘的输入
	// 键盘的输入，实际上是流 os.Stdin
	inputReader := bufio.NewReader(os.Stdin)
	// delim 到哪里结束读取 以换行符作为分隔符，之言不换行就可以一直读
	readString, _ := inputReader.ReadString('\n')
	fmt.Println("读取键盘输入的信息:", readString)
}

在这里插入图片描述

三、bufio的写操作

bufio的写操作主要通过bufio.Writer对象实现，它提供了多种写入数据的方法，如Write、WriteString、Flush等。

1. 使用bufio.Writer写入文件内容

下面是一个使用bufio.Writer写入文件内容的示例：

package main

import (
	"bufio"
	"fmt"
	"os"
)

func main() {
	// 打开文件句柄，以写的方式打开，如果文件不存在则创建
	file, err := os.OpenFile("F:\\goworks\\src\\jingtian\\yufa\\io操作\\bufio操作\\test_go_file.log",
		os.O_CREATE|os.O_WRONLY, 0644)
	if err != nil {
		fmt.Println("open file error:", err)
		return
	}
	defer file.Close() // 使用的defer语句关闭文件

	// 创建bufio.Writer对象
	fileWrite := bufio.NewWriter(file)

	inputStr := "Hello World ...\n"
	for i := 0; i < 10; i++ { // 循环写入数据
		fileWrite.WriteString(inputStr)
	}
	// 发现并没有写出到文件，是留在了缓冲区，所以我们需要调用 flush 刷新缓冲区
	// 必须手动刷新才能写入进文件
	fileWrite.Flush() // 刷新缓冲区，将数据写入文件
}

在这里插入图片描述

在这个示例中，我们首先使用os.OpenFile函数打开文件，然后创建一个bufio.Writer对象，通过循环调用WriteString方法写入文件内容。最后，我们调用Flush方法刷新缓冲区，将数据写入文件。

2. 自定义io.Writer对象进行缓冲写

下面是一个自定义io.Writer对象进行缓冲写的示例：

package main

import (
	"bufio"
	"fmt"
	"io"
	"strings"
)

// 自定义一个io.Writer对象
type StringWriter struct{}

func (s StringWriter) Write(p []byte) (n int, err error) {
	// 这里简单地将数据写入一个字符串变量（实际使用时，可以将其写入内存、文件等）
	fmt.Print(string(p))
	return len(p), nil
}

func main() {
	// 创建一个StringWriter对象
	sw := StringWriter{}

	// 创建一个bufio.Writer对象，并传入StringWriter对象
	writer := bufio.NewWriterSize(sw, 10)

	// 写入数据
	writer.WriteString("Hello, ")
	writer.WriteString("world!\n")

	// 刷新缓冲区，将数据写入StringWriter对象
	writer.Flush()
}

在这个示例中，我们自定义了一个StringWriter对象，它实现了io.Writer接口的Write方法。然后，我们创建一个bufio.Writer对象，并传入StringWriter对象。接着，我们调用WriteString方法写入数据，并调用Flush方法刷新缓冲区，将数据写入StringWriter对象。

四、bufio的缓冲区大小

在bufio包中，Reader和Writer对象都有默认的缓冲区大小，但你也可以根据需要自定义缓冲区大小。

1. 默认缓冲区大小

对于bufio.Reader和bufio.Writer，Go语言标准库为它们提供了默认的缓冲区大小。对于bufio.Reader，默认缓冲区大小通常是4096字节（4KB）；对于bufio.Writer，默认缓冲区大小也是4096字节（但在某些实现中可能略有不同，具体取决于底层操作系统的I/O性能）。

2. 自定义缓冲区大小

如果你需要更大的缓冲区来提高性能，或者更小的缓冲区来减少内存使用，你可以使用bufio.NewReaderSize和bufio.NewWriterSize函数来创建具有自定义缓冲区大小的Reader和Writer对象。

下面是一个自定义缓冲区大小的示例：

package main

import (
	"bufio"
	"fmt"
	"os"
)

func main() {
	// 打开文件
	file, err := os.OpenFile("F:\\goworks\\src\\jingtian\\yufa\\io操作\\bufio操作\\custom_buffer_file.log", os.O_CREATE|os.O_WRONLY, 0644)
	if err != nil {
		fmt.Println("open file error:", err)
		return
	}
	defer file.Close() // 使用defer语句关闭文件

	// 自定义缓冲区大小（例如：8KB）
	bufferSize := 8 * 1024

	// 创建具有自定义缓冲区大小的bufio.Writer对象
	fileWrite := bufio.NewWriterSize(file, bufferSize)

	inputStr := "This is a line with custom buffer size.\n"
	for i := 0; i < 10; i++ { // 循环写入数据
		_, err := fileWrite.WriteString(inputStr)
		if err != nil {
			fmt.Println("write file error:", err)
			return
		}
	}

	// 刷新缓冲区，将数据写入文件
	err = fileWrite.Flush()
	if err != nil {
		fmt.Println("flush buffer error:", err)
		return
	}

	fmt.Println("Data written to file successfully with custom buffer size.")
}

在这个示例中，我们创建了一个具有8KB缓冲区大小的bufio.Writer对象，并将其用于将数据写入文件。注意，在写入数据后，我们调用了Flush方法来确保缓冲区中的数据被写入文件。

对于bufio.Reader，你也可以使用类似的方法来创建具有自定义缓冲区大小的对象：

package main

import (
	"bufio"
	"fmt"
	"os"
)

func main() {
	// 打开文件
	file, err := os.Open("F:\\goworks\\src\\jingtian\\yufa\\io操作\\bufio操作\\custom_buffer_file.log")
	if err != nil {
		fmt.Println("read file error:", err)
		return
	}
	defer file.Close() // 使用defer语句关闭文件

	// 自定义缓冲区大小（例如：8KB）
	bufferSize := 8 * 1024

	// 创建具有自定义缓冲区大小的bufio.Reader对象
	fileRead := bufio.NewReaderSize(file, bufferSize)

	// 读取文件内容（这里只是简单地读取并打印每一行）
	for {
		line, err := fileRead.ReadString('\n')
		if err != nil {
			if err.Error() == "EOF" { // 判断是否到达文件末尾
				break
			}
			fmt.Println("read file error:", err)
			return
		}
		fmt.Print(line) // 打印读取到的行
	}

	fmt.Println("File read successfully with custom buffer size.")
}

在这个示例中，我们创建了一个具有8KB缓冲区大小的bufio.Reader对象，并将其用于读取文件内容。注意，在处理文件读取时，我们需要检查错误是否为EOF（文件末尾），以确定是否应该退出循环。

通过自定义缓冲区大小，你可以根据具体的应用场景和需求来优化bufio的性能和内存使用。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2201567.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Ubuntu关闭anaconda自动进入base虚拟环境

Ubuntu关闭anaconda自动进入base虚拟环境

问题描述&#xff1a;安装好Anconda后&#xff0c;每次打开终端后都会自动进入到base的虚拟环境中去 直接使用通常情况下也不会有什么影响&#xff0c;但是为了避免&#xff0c;有以下两个方法&#xff1a; 1.使用conda deactivate #每次使用conda deactivate&#xff0c;退…
阅读更多...
鸿蒙开发（NEXT/API 12）【ArkWeb接入密码保险箱】系统安全

鸿蒙开发（NEXT/API 12）【ArkWeb接入密码保险箱】系统安全

网页中的登录表单&#xff0c;登录成功后&#xff0c;用户可将用户名和密码保存到鸿蒙系统密码保险箱中。再次打开该网页时&#xff0c;密码保险箱可以提供用户名、密码的自动填充。 手机使用场景 在网站中输入用户名、密码&#xff0c;登陆成功后&#xff0c;ArkWeb会提示将用…
阅读更多...
线程池的核心参数——Java全栈知识（50）

线程池的核心参数——Java全栈知识（50）

线程池的核心参数 线程池核心参数主要参考ThreadPoolExecutor这个类的7个参数的构造函数 corePoolSize 核心线程数目maximumPoolSize 最大线程数目 (核心线程救急线程的最大数目)keepAliveTime 生存时间 - 救急线程的生存时间&#xff0c;生存时间内没有新任务&#xff0c;此…
阅读更多...
前端Vue3字体优化三部曲（webFont、font-spider、spa-font-spider-webpack-plugin）

前端Vue3字体优化三部曲（webFont、font-spider、spa-font-spider-webpack-plugin）

前端Vue字体优化三部曲&#xff08;webFont、font-spider、spa-font-spider-webpack-plugin&#xff09; 引言 最近前端引入了UI给的思源黑体字体文件&#xff0c;但是字体文件过于庞大&#xff0c;会降低页面首次加载的速度&#xff0c;目前我的项目中需要用到如下三个字体文…
阅读更多...
视频理解模型

视频理解模型

LSTM 视频分解成图片帧分别进行特征提取&#xff0c;最后把提取到的特征放到LSTM网络里提取时序信息。 3D-ConvNet 把一组图片帧作为一个整体输入到3D卷积网络中&#xff0c;由于多了一个维度&#xff0c;参数变得多&#xff0c;模型变深&#xff0c;但当时没有大量的视频数…
阅读更多...
PMP--冲刺题--解题--71-80

PMP--冲刺题--解题--71-80

文章目录 14.敏捷--合规--测试无问题&#xff0c;安全团队却拒绝部署&#xff0c;则意味着可能存在某方面安全问题71、 [单选] 一个项目经理正在为一家政府所有的公司管理一个采用迭代方法的项目。第一个有用的生产发布由三次迭代组成。每次迭代都在测试环境中成功通过了客户代…
阅读更多...
qwt实现码流柱状图多色柱体显示

qwt实现码流柱状图多色柱体显示

qwt实现码流柱状图多色柱体显示 1. 前言2. qt实现柱状图3.qwt基础说明3.1 qwt安装与使用3.1.1 下载qwt源码3.1.2 编译3.1.3 安装3.1.4 使用3.2 QwtPlotBarChart类3.2.1画图步骤3.2.2 specialSymbol3.3.3 barTitle4 BsBarChart定制4.1 每个柱体可以显示不同的颜色4.2 每个柱体可…
阅读更多...
网络安全-IPv4和IPv6的区别

网络安全-IPv4和IPv6的区别

1. 2409:8c20:6:1135:0:ff:b027:210d。 这是一个IPv6地址。IPv6&#xff08;互联网协议版本6&#xff09;是用于标识网络中的设备的一种协议&#xff0c;它可以提供比IPv4更大的地址空间。这个地址由八组十六进制数字组成&#xff0c;每组之间用冒号分隔。IPv6地址通常用于替代…
阅读更多...
大数据毕业设计选题推荐-B站热门视频数据分析-Python数据可视化-Hive-Hadoop-Spark

大数据毕业设计选题推荐-B站热门视频数据分析-Python数据可视化-Hive-Hadoop-Spark

✨作者主页&#xff1a;IT研究室✨ 个人简介&#xff1a;曾从事计算机专业培训教学&#xff0c;擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Python…
阅读更多...
Python 工具库每日推荐【Pillow】

Python 工具库每日推荐【Pillow】

文章目录 引言Python图像处理库的重要性今日推荐：Pillow工具库主要功能：使用场景：安装与配置快速上手示例代码代码解释实际应用案例案例：创建图像拼贴案例分析高级特性图像增强图像水印扩展阅读与资源优缺点分析优点：缺点：总结【 已更新完 TypeScript 设计模式 专栏，感兴…
阅读更多...
数学建模算法与应用 第5章 插值与拟合方法

数学建模算法与应用 第5章 插值与拟合方法

目录 5.1 插值方法 Matlab代码示例&#xff1a;线性插值 Matlab代码示例&#xff1a;样条插值 5.2 曲线拟合的线性最小二乘法 Matlab代码示例&#xff1a;线性拟合 5.3 最小二乘优化与多项式拟合 Matlab代码示例&#xff1a;多项式拟合 5.4 曲线拟合与函数逼近 Matlab代…
阅读更多...
深入理解链表（SList）操作

深入理解链表（SList）操作

目录&#xff1a; 一、 链表介绍1.1、 为什么引入链表1.2、 链表的概念及结构1.3、 链表的分类 二、 无头单向非[循环链表](https://so.csdn.net/so/search?q循环链表&spm1001.2101.3001.7020)的实现2.1、 [单链表](https://so.csdn.net/so/search?q单链表&spm1001.2…
阅读更多...
系统架构师备考记忆不太清楚的点-信息系统-需求分析

系统架构师备考记忆不太清楚的点-信息系统-需求分析

霍尔三维结构 逻辑维&#xff1a;解决问题的逻辑过程 过程有明确问题、确立目标、系统综合、系统分析、优化、系统决策、实施计划 时间维&#xff1a;工作进度 这个纬度则是做工作计划的输出 有 规划阶段、拟定方案、研制阶段、生产阶段、安装阶段、运行阶段、更新阶段 知…
阅读更多...
TiDB 优化器丨执行计划和 SQL 算子解读最佳实践

TiDB 优化器丨执行计划和 SQL 算子解读最佳实践

导读 在数据库系统中&#xff0c;查询优化器是数据库管理系统的核心组成部分&#xff0c;负责将用户的 SQL 查询转化为高效的执行计划&#xff0c;因而会直接影响用户体感的性能与稳定性。优化器的设计与实现过程充满挑战&#xff0c;有人比喻称这是数据库技术要持续攀登的珠穆…
阅读更多...
Android SELinux——基础介绍（一）

Android SELinux——基础介绍（一）

Android 系统的安全策略是保护用户的隐私和数据不受侵害的重要保证&#xff0c;一个相对安全的计算环境对于确保移动设备的安全至关重要。随着新的威胁不断出现&#xff0c;Android 的安全策略也在不断发展和完善&#xff0c;以应对新的挑战。 一、概念介绍 1、SELinux SELin…
阅读更多...
图像处理（一）——CMC特刊推荐

图像处理（一）——CMC特刊推荐

特刊征稿 01 期刊名称&#xff1a; Data and Image Processing in Intelligent Information Systems 截止时间&#xff1a; 提交截止日期:2024年11月15日 目标及范围&#xff1a; 感兴趣的主题包括但不限于&#xff1a; 先进的数据处理技术; 智能数据分析; 智能系统…
阅读更多...
【论文阅读】DeepAC：实时六自由度目标跟踪的深度主动轮廓

【论文阅读】DeepAC：实时六自由度目标跟踪的深度主动轮廓

Deep Active Contour for Real-time 6-DoF Object Tracking ICCV 2023 Project Page 【Question&Thinking】 解决的问题&#xff1f; RGB 视频的实时六自由度目标跟踪 现有的问题&#xff1f;提出的方法&#xff1f;达到的效果&#xff1f;存在的问题&#xff1f; Abst…
阅读更多...
pnpm设置镜像源

pnpm设置镜像源

# 查询当前使用的镜像源 pnpm get registry# 设置为淘宝镜像源 pnpm config set registry https://registry.npmmirror.com/# 还原为官方镜像源 pnpm config set registry https://registry.npmjs.org/参考链接 https://blog.csdn.net/weixin_45046532/article/details/139681…
阅读更多...
谷歌地图服务地址汇总

谷歌地图服务地址汇总

写在前面&#xff1a; 1.参考自谷歌地图TMS地图服务地址收集&#xff0c;测试可用_谷歌地图url订阅订阅地址-CSDN博客&#xff0c;在这里备份一下&#xff0c;防止遗忘 2.需要翻墙 3.下面通过openlayers加载各风格地图 <!Doctype html> <html> <head><met…
阅读更多...
MyBatis之ResultMap的association和collection

MyBatis之ResultMap的association和collection

association例子演示 实体类演示 Data //书籍 public class Book {private String id;private String name;private String author;private Double price;private Integer del;private Date publishdate;private String info;//把出版社对象当作属性private Publisher pub;//-…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023