专栏内容:
postgresql内核源码分析
手写数据库toadb
并发编程
个人主页:我的主页
座右铭:天行健,君子以自强不息;地势坤,君子以厚德载物.
文件锁
概述
前面博客介绍了多任务下互斥的方法,如信号量,互斥锁,管道,事件通知等等,这些可以对内存或者关键资源进行同步处理。
但是对于文件,有没有单独的方法呢? 本文就来介绍文件锁,来避够文件的多任务下的写覆盖,脏读等问题。
文件锁模式介绍
建议锁
一般的互斥方法,如互斥锁,一个任务加锁后,另一个任务如果不调用加锁接口,直接访问共享资源,那么这就破坏了使用规则。
建议模式的文件锁效果也是类似,任何任务里面,需要调用加锁/解锁函数,才能达到互斥访问的保护,直接访问文件就会破坏规则。
这就是建议锁模式,基于大家的遵章守法基础上。
强制锁
那总一些例外,破坏规则的情况出现,为了防止此类现象,就有了强制锁模式。
也就是一个任务加了文件锁后,不管另一个任务有没有调用加锁函数,都受锁的保护。
文件锁接口介绍
flock
说明
flock函数,可以给文件加锁,锁与文件描述符关联。
有几个特点:
- 锁会在文件关闭时自动释放;
- flock是没有死锁检测,当重复调用加锁时,会用新的锁模式覆盖旧模式;
- 同一个文件不能同时加共享锁和互斥锁;
- 加锁时,文件的访问模式也要匹配
- flock只能作为建议锁模式使用
因为锁在文件描述符上,所以会有以下几种表现:
- 当父子进程间fork, dup等会复制文件描述,那么产生的fd就会有引用相同的锁记录;也就是使用相同的锁,这些fd任意加锁/解锁,相互之间都会感知;当所有这些文件fd关闭后,锁才会释放;
- 当多次调用open打开相同文件时,会产生不同的文件描述符,此时加锁,就是引用的不同的锁记录,就是不同的锁,相互之间是独立的。
- 在exec之后也会保留锁记录
函数头文件和介绍
#include <sys/file.h>
int flock(int fd, int operation);
- operation 取值说明:
- LOCK_SH 共享锁,可以同一时段被多个任务持有;
- LOCK_EX 互斥锁,同一时段只能有一个任务持有;
- LOCK_UN 解锁;
- LOCK_NB 默认是阻塞模式,此标志可以与上面两种锁模式 或,表示加共享锁或互斥锁时,不等待,变为非阻塞;
- 返回值
- EBADF fd是无效的;
- EINTR 当正在等待获取锁时,收到了一个signal,产生了中断;
- EINVAL operation值是无效的;
- ENOLCK 内核在分配lock record时,内存溢出了;
- EWOULDBLOCK 非阻塞模式下,获取不到锁时返回;
NFS上的注意事项
在linux 内核版本 2.6.11之前,不支持在NFS上的加锁,也就是锁范围在本地系统内。
在2.6.12之后,NFS客户端支持flock来锁定全表,类似于fcntl锁定全表。也就是可以支持不同的文件系统。
代码演示
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/file.h>
#include <errno.h>
#include <string.h>
#define TRUE 11
#define FALSE 10
int trylock(int fd)
{
if (flock(fd, LOCK_EX|LOCK_NB) == 0) {
return TRUE;
} else {
return FALSE;
}
}
int lock(int fd)
{
if (flock(fd, LOCK_EX) == 0) {
return TRUE;
} else {
return FALSE;
}
}
int unlock(int fd)
{
if (flock(fd, LOCK_UN) == 0) {
return TRUE;
} else {
return FALSE;
}
}
int main(int argc, char *argv[])
{
int fd;
char file[] = "test";
fd = open(file, O_RDWR|O_CREAT, 0666);
if (fd < 0) {
printf("failed to open \"%s\" %s\n",
file, strerror(errno));
return -1;
}
if(trylock(fd) == TRUE)
{
printf("file has been locked by.\n ");
}
else
{
printf("waiting for lock\n");
lock(fd);
}
sleep(1);
unlock(fd);
close(fd);
return 0;
}
fcntl
介绍
fcntl函数支持非常广泛的功能,不同的cmd参数对应不同的功能。
用它作为文件锁来用,它也提供了几种形式的锁:
- 文件记录锁
这是一种基于低层来实现的,可以实现文件字节级别的加锁范围控制,同时它支持多进程,也就是多次open相同文件,使用的是相同的锁。这里对于文件记录锁来讲,命令对应 F_SETLK, F_SETLKW, 和 F_GETLK 这三个,分别为加/解锁,阻塞式加锁,检测锁状态。
有几个注意事项:
- 如果没有释放文件记录锁,在进程结束时会自动释放; 其它进程就可以竞争锁;当然这有利也有弊;
- 进程记录锁,在fork时,不会被子进程继承; 但是可以在execv中传递;
- 有缓存的流,如stdin,因为缓存的存在,会有偏差,需要注意;
- 多线程间是共享同一个文件记录锁,也就是说多线程间不适合用文件记录锁;
文件描述符锁
这是一种非posix语义的方式,类似于flock,在文件描述符上加锁,但是这里可以对加锁范围进行控制。
对于文件描述符锁,命令对应 F_OFD_SETLK, F_OFD_SETLKW, F_OFD_GETLK, 分别为加/解锁,阻塞式加锁,检测锁状态。强制锁
这是一种需要文件系统支持的可选功能;在mount文件系统时,增加 -o mand 参数,然后采用fcntl使用上面两种锁进行加/解锁;
在文件read/write时,都会受强制锁控制,而且时所有进程。
注意事项:
- 此种锁也是非posix定义,所以并非所有linux版本支持;
- 内核也提出了警示,说此功能并不稳定; 而且因为很少用,计划有可能从内核取消此功能;
函数声明
#include <unistd.h>
#include <fcntl.h>
int fcntl(int fd, int cmd, ... /* arg */ );
对于文件锁来讲,函数变形为
int fcntl(int fd, int cmd, struct flock *lock);
文件记录锁
- cmd取值说明
F_SETLK 此时第三个参数为 struct flock 结构的指针,也就是前面介绍的文件锁;
- 当lock中的l_type 为 F_RDLCK或F_WRLCK时,获取读锁或读写锁,
- 当为F_UNLCK时,为释放锁;
- lock中的l_whence, l_start, l_len三个成员,指定加锁的范围;
F_SETLKW 此时第三个参数为 struct flock 结构的指针,也就是前面介绍的文件锁;当锁冲突时,会阻塞,直到获取到锁为止,或者遇到中断产生;lock的取值与F_SETLK一致;
F_GETLK 此时第三个参数为 struct flock 结构的指针,也就是前面介绍的文件锁;
- 如果当前文件没有加锁,此时 lock结构的l_type被置为 F_UNLCK,其它成员值不变;
- 当文件加锁,那么l_type, l_whence, l_start, l_len 被置为锁的信息
- 当文件加锁与进程相关,那么l_pid成员就是加锁的进程pid,否则为-1,即只与文件描述符相关;
NFS的注意事项
有发现在NFS存在锁丢失的情况,此时read/write都会产生EIO错误。
至少在linux 3.12 ,NFSv4 上发生过。
所以在网络文件系统上,要谨慎使用。
代码演示
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
int main(void)
{
int fd ;
struct flock lock;
char buf[] = "hello world";
fd = open("test", O_RDWR | O_CREAT, 0777);
if (fd == -1)
{
printf("open failed\n");
return -1;
}
lock.l_type = F_WRLCK;
lock.l_whence = SEEK_SET;
lock.l_start = 0;
lock.l_len = 0;
if (fcntl(fd, F_SETLK, &lock) == -1)
{
printf("set lock failed\n");
close(fd);
return -1;
}
write(fd, buf, strlen(buf));
lock.l_type = F_UNLCK;
fcntl(fd, F_SETLK, &lock);
close(fd);
return 0;
}
结尾
非常感谢大家的支持,在浏览的同时别忘了留下您宝贵的评论,如果觉得值得鼓励,请点赞,收藏,我会更加努力!
作者邮箱:study@senllang.onaliyun.com
如有错误或者疏漏欢迎指出,互相学习。
注:未经同意,不得转载!