linux 文件锁flock与fcntl bytes级别精细控制不再是困难

news2024/9/24 15:22:36

专栏内容
postgresql内核源码分析
手写数据库toadb
并发编程
个人主页:我的主页
座右铭:天行健,君子以自强不息;地势坤,君子以厚德载物.

文件锁

概述

前面博客介绍了多任务下互斥的方法,如信号量,互斥锁,管道,事件通知等等,这些可以对内存或者关键资源进行同步处理。
但是对于文件,有没有单独的方法呢? 本文就来介绍文件锁,来避够文件的多任务下的写覆盖,脏读等问题。

文件锁模式介绍

建议锁

一般的互斥方法,如互斥锁,一个任务加锁后,另一个任务如果不调用加锁接口,直接访问共享资源,那么这就破坏了使用规则。

建议模式的文件锁效果也是类似,任何任务里面,需要调用加锁/解锁函数,才能达到互斥访问的保护,直接访问文件就会破坏规则。

这就是建议锁模式,基于大家的遵章守法基础上。

强制锁

那总一些例外,破坏规则的情况出现,为了防止此类现象,就有了强制锁模式。

也就是一个任务加了文件锁后,不管另一个任务有没有调用加锁函数,都受锁的保护。

文件锁接口介绍

flock

说明

flock函数,可以给文件加锁,锁与文件描述符关联。
有几个特点:

  • 锁会在文件关闭时自动释放;
  • flock是没有死锁检测,当重复调用加锁时,会用新的锁模式覆盖旧模式;
  • 同一个文件不能同时加共享锁和互斥锁;
  • 加锁时,文件的访问模式也要匹配
  • flock只能作为建议锁模式使用

因为锁在文件描述符上,所以会有以下几种表现:

  • 当父子进程间fork, dup等会复制文件描述,那么产生的fd就会有引用相同的锁记录;也就是使用相同的锁,这些fd任意加锁/解锁,相互之间都会感知;当所有这些文件fd关闭后,锁才会释放;
  • 当多次调用open打开相同文件时,会产生不同的文件描述符,此时加锁,就是引用的不同的锁记录,就是不同的锁,相互之间是独立的。
  • 在exec之后也会保留锁记录

函数头文件和介绍

#include <sys/file.h>
int flock(int fd, int operation);
  • operation 取值说明:
  1. LOCK_SH 共享锁,可以同一时段被多个任务持有;
  2. LOCK_EX 互斥锁,同一时段只能有一个任务持有;
  3. LOCK_UN 解锁;
  4. LOCK_NB 默认是阻塞模式,此标志可以与上面两种锁模式 或,表示加共享锁或互斥锁时,不等待,变为非阻塞;
  • 返回值
  1. EBADF fd是无效的;
  2. EINTR 当正在等待获取锁时,收到了一个signal,产生了中断;
  3. EINVAL operation值是无效的;
  4. ENOLCK 内核在分配lock record时,内存溢出了;
  5. EWOULDBLOCK 非阻塞模式下,获取不到锁时返回;

NFS上的注意事项

在linux 内核版本 2.6.11之前,不支持在NFS上的加锁,也就是锁范围在本地系统内。

在2.6.12之后,NFS客户端支持flock来锁定全表,类似于fcntl锁定全表。也就是可以支持不同的文件系统。

代码演示

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/file.h>
#include <errno.h>
#include <string.h>

#define TRUE  11
#define FALSE 10


int trylock(int fd)
{
    if (flock(fd, LOCK_EX|LOCK_NB) == 0) {
        return TRUE;
    } else {
        return FALSE;
    }
}

int lock(int fd)
{
    if (flock(fd, LOCK_EX) == 0) {
        return TRUE;
    } else {
        return FALSE;
    }
}

int unlock(int fd)
{
    if (flock(fd, LOCK_UN) == 0) {
        return TRUE;
    } else {
        return FALSE;
    }
}

int main(int argc, char *argv[])
{
    int   fd;
    char file[] = "test";


    fd = open(file, O_RDWR|O_CREAT, 0666);
    if (fd < 0) {
        printf("failed to open \"%s\" %s\n",
                file, strerror(errno));
        return -1;
    }

    if(trylock(fd) == TRUE) 
    {
        printf("file has been locked by.\n ");
    } 
    else 
    {
        printf("waiting for lock\n");
        lock(fd);
    }
   
   sleep(1);

    unlock(fd);
    close(fd);

    return 0;
}

fcntl

介绍

fcntl函数支持非常广泛的功能,不同的cmd参数对应不同的功能。

用它作为文件锁来用,它也提供了几种形式的锁:

  1. 文件记录锁
    这是一种基于低层来实现的,可以实现文件字节级别的加锁范围控制,同时它支持多进程,也就是多次open相同文件,使用的是相同的锁。

这里对于文件记录锁来讲,命令对应 F_SETLK, F_SETLKW, 和 F_GETLK 这三个,分别为加/解锁,阻塞式加锁,检测锁状态。
有几个注意事项:

  • 如果没有释放文件记录锁,在进程结束时会自动释放; 其它进程就可以竞争锁;当然这有利也有弊;
  • 进程记录锁,在fork时,不会被子进程继承; 但是可以在execv中传递;
  • 有缓存的流,如stdin,因为缓存的存在,会有偏差,需要注意;
  • 多线程间是共享同一个文件记录锁,也就是说多线程间不适合用文件记录锁;
  1. 文件描述符锁
    这是一种非posix语义的方式,类似于flock,在文件描述符上加锁,但是这里可以对加锁范围进行控制。
    对于文件描述符锁,命令对应 F_OFD_SETLK, F_OFD_SETLKW, F_OFD_GETLK, 分别为加/解锁,阻塞式加锁,检测锁状态。

  2. 强制锁
    这是一种需要文件系统支持的可选功能;在mount文件系统时,增加 -o mand 参数,然后采用fcntl使用上面两种锁进行加/解锁;
    在文件read/write时,都会受强制锁控制,而且时所有进程。
    注意事项:

  • 此种锁也是非posix定义,所以并非所有linux版本支持;
  • 内核也提出了警示,说此功能并不稳定; 而且因为很少用,计划有可能从内核取消此功能;

函数声明

#include <unistd.h>
#include <fcntl.h>

int fcntl(int fd, int cmd, ... /* arg */ );

对于文件锁来讲,函数变形为

int fcntl(int fd, int cmd, struct flock *lock);

文件记录锁

  • cmd取值说明

F_SETLK 此时第三个参数为 struct flock 结构的指针,也就是前面介绍的文件锁;

  • 当lock中的l_type 为 F_RDLCK或F_WRLCK时,获取读锁或读写锁,
  • 当为F_UNLCK时,为释放锁;
  • lock中的l_whence, l_start, l_len三个成员,指定加锁的范围;

F_SETLKW 此时第三个参数为 struct flock 结构的指针,也就是前面介绍的文件锁;当锁冲突时,会阻塞,直到获取到锁为止,或者遇到中断产生;lock的取值与F_SETLK一致;

F_GETLK 此时第三个参数为 struct flock 结构的指针,也就是前面介绍的文件锁;

  • 如果当前文件没有加锁,此时 lock结构的l_type被置为 F_UNLCK,其它成员值不变;
  • 当文件加锁,那么l_type, l_whence, l_start, l_len 被置为锁的信息
  • 当文件加锁与进程相关,那么l_pid成员就是加锁的进程pid,否则为-1,即只与文件描述符相关;

NFS的注意事项

有发现在NFS存在锁丢失的情况,此时read/write都会产生EIO错误。
至少在linux 3.12 ,NFSv4 上发生过。
所以在网络文件系统上,要谨慎使用。

代码演示

#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>

int main(void)
{
	int fd ;
	struct flock lock;
	char buf[] = "hello world";

	fd = open("test", O_RDWR | O_CREAT, 0777);
	if (fd == -1)
	{
		printf("open failed\n");
		return -1;
	}


	lock.l_type = F_WRLCK;
	lock.l_whence = SEEK_SET;
	lock.l_start = 0;
	lock.l_len = 0;

	if (fcntl(fd, F_SETLK, &lock) == -1)
	{
		printf("set lock failed\n");
		close(fd);
		return -1;
	}
	
	
	write(fd, buf, strlen(buf));
	
	lock.l_type = F_UNLCK;

	fcntl(fd, F_SETLK, &lock);

	close(fd);
	return 0;
}

结尾

非常感谢大家的支持,在浏览的同时别忘了留下您宝贵的评论,如果觉得值得鼓励,请点赞,收藏,我会更加努力!

作者邮箱:study@senllang.onaliyun.com
如有错误或者疏漏欢迎指出,互相学习。

注:未经同意,不得转载!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/713168.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Docker容器的数据卷

Docker容器的数据卷 一、数据卷概念 概念&#xff1a;数据卷是宿主机中的一个目录或文件 当容器目录和数据卷目录绑定后&#xff0c;对方的修改会立即同步一个数据卷可以被多个容器同时挂载一个容器也可以挂载多个数据卷 可以解决以下问题 可以解决容器数据的持久化&#xff0…

高效学习法

目标明确&#xff0c;难度适中 全面&#xff1a;宏观概述&#xff0c;微观详尽 明确&#xff1a;目标要明确&#xff0c;否则陷入选择漩涡&#xff0c;导致大脑内耗。李白的“行路难&#xff0c;多歧路” 渐进&#xff1a;既要进步&#xff0c;也要逐步…

47 # 实现可读流

上一节讲了 fs.createReadStream 创建一个可读流&#xff0c;那么怎么查看它的源码是怎么实现的&#xff1f; 我们可以采用打断点的方式&#xff1a;我们可以看到先执行了 lazyLoadStreams 如果没有 ReadStream 就会 require 内部的 internal/fs/streams 模块 通过 internal/f…

免费开源 | 基于SpringBoot+Vue的物流管理系统

1-介绍 基于SpringBootvuemybatis-plus的简单的物流管理系统DEMO,前后端分离&#xff0c;可用于扩展基础&#xff0c;可用于简单课设&#xff0c;可用于基础学习 2-技术架构 SpringBootvuemybatis-plusmysql 8.0 3-使用说明 安装数据库demo/sql/wuliu.sql运行后端demo 1-…

QT调用glog日志流程

glog日志库是Google开源的轻量级的日志库&#xff0c;平时在开发过程中经常要使用到日志&#xff0c;本篇记录Qt项目使用glog日志库的记录。 1.首先下载cmake&#xff0c;Download | CMake 安装设置环境变量&#xff0c;检查安装情况 2.下载glog源码 git clone https://git…

指数分布的概率密度推导

指数分布的概率密度&#xff0c;一直理解的不够深入&#xff0c;一直都不明白为什么是这么奇怪的形式&#xff0c;指数位置的分母为什么有个-theta&#xff0c;也一直不太明白该分布的特点&#xff0c;直到看到如下篇博文&#xff1a; 指数分布概率密度推导1 指数分布概率密度…

PyCharm安装配置PyQt5/QtDesigner/PyUic的超详细教程

目录 1.介绍 2.安装与配置 1.下载安装PyQt5 2.QtDesignerPyUic的安装配置 1.下载安装 2.打开designer.exe所在位置 3.配置PyCharm QtDesigner 4.验证安装是否成功 5.PyCharmPyUic快捷菜单工具配置:便于将Qt的UI文件转换成.py文件 6.配置PyQt5 PyRcc:便于将资源文件转码 1…

拒绝裸奔,使用jasypt为SpringBoot配置文件进行加密。

平日使用Github上传代码时&#xff0c;不可避免的会遇到一个问题就是配置文件中的敏感信息的处理&#xff0c;如MySQL的用户名密码&#xff0c;Redis的密码等。而如果一不注意提交到Github后&#xff0c;无异于出门不锁还留把钥匙&#xff0c;后果不堪设想&#xff0c; 近些年开…

随笔-毕业十周年聚会

文章目录 随笔-毕业十周年聚会1. 引子2. 流水账3. 感悟 随笔-毕业十周年聚会 1. 引子 上周三&#xff0c;许久不联系的班长给我发了个微信&#xff0c;问我周六有没有时间&#xff0c;学校和学院组织了毕业十周年校友返校活动&#xff0c;凑着这个机会大家聚一聚。 一时间有…

SpringBoot项目从0到1配置logback日志打印

大家好&#xff01;我是sum墨&#xff0c;一个一线的底层码农&#xff0c;平时喜欢研究和思考一些技术相关的问题并整理成文&#xff0c;限于本人水平&#xff0c;如果文章和代码有表述不当之处&#xff0c;还请不吝赐教。 以下是正文&#xff01; 一、写文背景 我们在写后端…

运输层:UDP和TCP对比

1.运输层&#xff1a;UDP和TCP对比 笔记来源&#xff1a; 湖科大教书匠&#xff1a;UDP和TCP对比 声明&#xff1a;该学习笔记来自湖科大教书匠&#xff0c;笔记仅做学习参考 无连接的UDP、面向连接的TCP UDP支持单播&#xff08;一对一&#xff09;、多播&#xff08;一对多…

2023上半年软考系统分析师科目一整理-18

2023上半年软考系统分析师科目一整理-18 使用 Cache 改善系统性能的依据是程序的局部性原理。程序中大部分指令是&#xff08;&#xff09;的。设某计算机主存的读&#xff0f;写时间为 100ns&#xff0c;有一个指令和数据合一的 Cache&#xff0c;已知该 Cache的读&#xff0f…

飞控学习笔记-姿态角的描述(1)

方向余弦矩阵 c12为方向余弦矩阵 四元数 欧拉角 四元数-方向余弦-欧拉角的关系

【微服务】SpringBoot服务瘦身部署

(内容学习于up主"编程不良人") SpringBoot瘦身实战 什么是jar瘦身 SpringBoot 应用瘦身顾名思议&#xff1a;就是将 SpringBoot 应用打包的 jar 利用合理的方式、方法减小体积。 为什么瘦身 SpringBoot虽然很方便就能搭建起来一个服务&#xff0c;带来的问题就是…

Unity使用puerTS使用typescript

puerts即为普洱TS,腾讯开源的ts热更方案.项目github:https://github.com/Tencent/puerts 准备工作:Unity 2021.3.25f1 nodejs v16.13.1 1.下载puerts 地址:https://github.com/Tencent/puerts/releases 版本随便选. 解压好,将puerts文件夹放到assets/ 下.如图: 2.生成代码. 3.在…

CSDN APP 2023 上半年 - 不忘初心砥砺前行

这是 2022 年下半年的汇报​​​​​​​ 这是 2022 年上半年的汇报​​​​​​​ 这是 2021 年年底的汇报​​​​​​​​​​​​​​ 转眼 2023 年已然过半&#xff0c;今年是CSDN APP 第6个年头。相较于忙碌的21、22年。今年上半年我们功能的迭代少了很多&#xff0c;更…

Web APls-day02

(创作不易&#xff0c;感谢有你&#xff0c;你的支持&#xff0c;就是我前行的最大动力&#xff0c;如果看完对你有帮助&#xff0c;请留下您的足迹&#xff09; 目录 事件监听&#xff08;绑定&#xff09; 事件类型 鼠标事件 焦点事件 键盘事件 文本事件 事…

旅游卡小程序系统独立后台软件开发

移动互联网的迅猛发展&#xff0c;旅游行业也迎来了前所未有的机遇。为了提供更好的旅游体验&#xff0c;越来越多的人选择使用旅游卡来进行旅行。为了更好地管理和运营旅游卡&#xff0c;开发一款高效的后台管理软件势在必行。 首先&#xff0c;该软件的核心功能是对旅游卡…

相对位置编码(relative position representation)

最近在看wenet项目时&#xff0c;发现其用的是相对位置编码。同时在做tts时&#xff0c;发现其效果还可以&#xff0c;但是就是对于长文本的生成效果不好&#xff0c;一直在思考是什么原因导致的&#xff0c;有想到最有可能是fastspeech是的绝对位置编码问题&#xff0c;所以还…

微信小程序,微信浏览器播放视频只有画面没声音问题处理

我这里遇到的场景是手机上的微信小程序,微信浏览器视频播放有问题,其他人的话可能是其他场景出现了问题. 最开始我以为是这里不支持m3u8的播放,因为微信小程序那里很多人都说遇到过这个问题,所以一直想着是修改播放器.一直到后来发现了一篇文章,这里找不到了,上面的大概意思是…