SEO外包平台,我们为您提供专业的企业网站SEO整站优化外包服务 SEO设置

SEO外包平台

专注于企业网站SEO整站优化外包服务

linux文件系统原理之一切皆文件

作者:jcmp      发布时间:2021-04-29      浏览量:0
linux 文件系统工作原理简介

linux 文件系统工作原理简介

文件系统时对存储设备上的文件进行组织管理的机制,组织方式不同就形成了不同的文件系统类型。

linux 中一切皆文件:不仅时普通的文件和目录,连块设备,套接字,管道等都是通过统一的文件系统来进行管理的。

索引节点和目录项

linux 系统为每个文件都分配了两个数据结构(索引节点 index node 和目录项 dictionary entry),来对文件进行管理。其中索引节点(index node)记录文件的元数据信息,目录项(dictionary entry)记录文件的目录结构信息。

即索引节点是每个文件的唯一标志,而目录项维护的正是文件系统的树状结构。目录项和索引节点的关系是多对一,可以简单理解为,一个文件可以有多个别名。如,通过硬链接为文件创建的别名,就会对应不同的目录项,不过这些目录项本质上还是链接同一个文件,所以,它们的索引节点是相同的。

文件数据的存储方式

磁盘读写的最小单位是扇区,然而扇区只有 512B 大小,如果每次都读写这么小的单位,效率一定很低。所以,文件系统又把连续的扇区组成了逻辑块,然后每次都以逻辑块为最小单元来管理数据。常见的逻辑块大小为 4KB,由连续的 8 个扇区组成。

目录项、索引节点以及文件数据的关系:

虚拟文件系统

目录项,索引节点、逻辑块以及超级块构成了linux文件系统的四大基本要素。另外,为了支持各种不同类型的文件系统,linux内核在用户进程和文件系统之间又加入了一个抽象层-- 虚拟文件系统VFS(virtual file system).

VFS 定义了一组所有文件系统都支持的数据结构和标准接口。这样,用户进程和内核中的其他子系统,只需要跟VFS提供的统一的接口进行交互即可,而不需要关心各种底层的文件系统的实现细节。

系统调用,VFS,缓存,文件系统以及块存储之间的关系如下:

在VFS的下方,linux支持各种类型的文件系统,如Ext4、XFS、NFS等。按照存储位置的不同,文件系统可以分为三类:

以上提到的这些文件系统,要先挂载到VFS目录树中的某个子目录(挂载点),然后才能访问其中的文件。如在安装系统时,要先挂载一个根目录(/),在根目录下在把其他文件系统(其他磁盘分区、/proc文件系统、/sys文件系统、NFS等)挂载进来。

文件系统 IO

当把文件系统挂载到挂载点之后,就能够通过挂载点去访问管理的文件了。 VFS提供了一组标准的文件访问接口,以系统调用的方式提供给应用程序使用。

如cat命令,首先调用open()打开一个文件;然后调用read(),读取文件内容;最后调用write()把文件内容输出到控制台的标准输出中。

strace cat viexecve("/usr/bin/cat", ["cat", "vi"], 0x7ffcc99897c8 /* 48 vars */) = 0brk(NULL)                               = 0x55b305e3d000arch_prctl(0x3001 /* ARCH_??? */, 0x7ffdb0bafeb0) = -1 EINVAL (Invalid argument)access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)openat(AT_FDCWD, "/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3fstat(3, {st_mode=S_IFREG|0644, st_size=71314, ...}) = 0mmap(NULL, 71314, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7fa9e9c0b000close(3)                                = 0openat(AT_FDCWD, "/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3read(3, "\177ELF\2\1\1\3\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\360q\2\0\0\0\0\0"..., 832) = 832pread64(3, "\6\0\0\0\4\0\0\0@\0\0\0\0\0\0\0@\0\0\0\0\0\0\0@\0\0\0\0\0\0\0"..., 784, 64) = 784pread64(3, "\4\0\0\0\20\0\0\0\5\0\0\0GNU\0\2\0\0\300\4\0\0\0\3\0\0\0\0\0\0\0", 32, 848) = 32pread64(3, "\4\0\0\0\24\0\0\0\3\0\0\0GNU\0\t\233\222%\274\260\320\31\331\326\10\204\276X>\263"..., 68, 880) = 68fstat(3, {st_mode=S_IFREG|0755, st_size=2029224, ...}) = 0mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fa9e9c09000pread64(3, "\6\0\0\0\4\0\0\0@\0\0\0\0\0\0\0@\0\0\0\0\0\0\0@\0\0\0\0\0\0\0"..., 784, 64) = 784pread64(3, "\4\0\0\0\20\0\0\0\5\0\0\0GNU\0\2\0\0\300\4\0\0\0\3\0\0\0\0\0\0\0", 32, 848) = 32pread64(3, "\4\0\0\0\24\0\0\0\3\0\0\0GNU\0\t\233\222%\274\260\320\31\331\326\10\204\276X>\263"..., 68, 880) = 68mmap(NULL, 2036952, PROT_READ, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7fa9e9a17000mprotect(0x7fa9e9a3c000, 1847296, PROT_NONE) = 0mmap(0x7fa9e9a3c000, 1540096, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x25000) = 0x7fa9e9a3c000mmap(0x7fa9e9bb4000, 303104, PROT_READ, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x19d000) = 0x7fa9e9bb4000mmap(0x7fa9e9bff000, 24576, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x1e7000) = 0x7fa9e9bff000mmap(0x7fa9e9c05000, 13528, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x7fa9e9c05000close(3)                                = 0arch_prctl(ARCH_SET_FS, 0x7fa9e9c0a580) = 0mprotect(0x7fa9e9bff000, 12288, PROT_READ) = 0mprotect(0x55b3058ca000, 4096, PROT_READ) = 0mprotect(0x7fa9e9c4a000, 4096, PROT_READ) = 0munmap(0x7fa9e9c0b000, 71314)           = 0brk(NULL)                               = 0x55b305e3d000brk(0x55b305e5e000)                     = 0x55b305e5e000openat(AT_FDCWD, "/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3fstat(3, {st_mode=S_IFREG|0644, st_size=5699248, ...}) = 0mmap(NULL, 5699248, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7fa9e94a7000close(3)                                = 0fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(0x88, 0), ...}) = 0openat(AT_FDCWD, "vi", O_RDONLY)        = 3fstat(3, {st_mode=S_IFREG|0644, st_size=60, ...}) = 0fadvise64(3, 0, 0, POSIX_FADV_SEQUENTIAL) = 0mmap(NULL, 139264, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fa9e9485000read(3, "{\n    \"registry-mirrors\": [\"http"..., 131072) = 60write(1, "{\n    \"registry-mirrors\": [\"http"..., 60{    "registry-mirrors": ["http://hub-mirror.c.163.com"]}) = 60read(3, "", 131072)                     = 0munmap(0x7fa9e9485000, 139264)          = 0close(3)                                = 0close(1)                                = 0close(2)                                = 0exit_group(0)                           = ?+++ exited with 0 +++

文件读写方式的各种差异,导致了IO分类的多种多样,最常见的有,缓冲于非缓冲IO,直接于非直接IO,阻塞于非阻塞IO,同步于异步IO。各种分类方式的依据如下:

所说的"缓冲",是指标准库内部实现的缓存,如很多程序遇到换行时才真正输出,而换行前的内容就是被标准库暂时缓存了。

无论时缓冲IO还是非缓冲IO,它们最终都需要经过系统调用来访问文件,所以在系统调用后,还会通过页缓存来减少磁盘的IO操作。

如果要实现直接IO,需要再系统调用中指定 O_DIRECT 标志,如果没有设置,默认是非直接IO。另外不管是直接IO还是非直接IO,本质上都是和文件系统的交互,在其他一些场景中(数据库场景),还会有跳过文件系统直接读写磁盘的场景(裸IO)。

如访问管道或者网络套接字时,设置了 O_NONBLOCK 标志,就表示用非阻塞的方式进行访问,如果不做任何设置,默认是阻塞的方式进行访问。

如,再操作文件时如果设置了 O_SYNC 或者 O_DSYNC 标志,就代表同步IO, 如果设置了 O_DSYNC ,需要等文件数据写入磁盘后才能返回,而 O_SYNC O_DSYNC 的基础上,要求文件元数据也要写入磁盘后才能返回。

在访问管道或者套接字时, O_ASYNC 设置选项标志IO是异步操作,此时内核会通过SIGIO 或者SIGPOLL信号来通知进程文件是否可写。

很多IO的概念页出现在网络编程中,如非阻塞IO通常会跟select/poll配合使用。

至此, 可以理解“linux 一切皆文件” 的含义:无论是普通文件和块设备、还是网络套接字和管道等,它们都是通过统一的VFS接口来访问的。