Linux 是最著名和最常用的开源操作系统。作为一种操作系统,Linux 是位于计算机上所有其他软件之下的软件,接收来自这些程序的请求并将这些请求转发到计算机的硬件。
图1 Linux的发行版之一 Ubuntu 23.04
在许多方面,Linux 与您之前可能使用过的其他操作系统类似,例如 Windows、macOS(以前称为 OS X)或 iOS。与其他操作系统一样,Linux 具有图形界面,以及您习惯的相同类型的软件,例如文字处理程序、照片编辑器、视频编辑器等。在许多情况下,软件的创建者可能已经为您在其他系统上使用的同一程序制作了 Linux 版本。简而言之:如果你会使用计算机或其他电子设备,你就可以使用Linux。
但 Linux 在许多重要方面也不同于其他操作系统。首先,也许也是最重要的一点,Linux 是开源软件。用于创建 Linux 的代码是免费的,可供公众查看、编辑,并且(对于具有适当技能的用户)可以做出贡献。
Linux 的不同之处还在于,虽然 Linux 操作系统的核心部分通常是通用的,但 Linux 的发行版有很多,其中包括不同的软件选项。这意味着 Linux 具有令人难以置信的可定制性,因为不仅仅是文字处理器和 Web 浏览器等应用程序可以更换。 Linux 用户还可以选择核心组件,例如哪个系统显示图形以及其他用户界面组件。
Linux 是当今最广泛使用的操作系统之一,覆盖了从个人计算机到超级计算机、嵌入式系统、服务器和云计算平台等多种领域。其开源的特性、高度的定制性和强大的社区支持使其在各个行业和应用场景中得到了广泛采用。例如:服务器领域:例如Web服务器(全球绝大多数 Web 服务器运行在 Linux 操作系统上)、邮件服务器,以及云计算与虚拟化服务器等。又如:超级计算机:Linux 在超级计算机领域几乎是唯一的选择。根据 TOP500 列表,全球性能最强的 500 台超级计算机中,几乎全部都运行 Linux 操作系统。Linux 的可定制性和对高性能计算(HPC)需求的适应性,使其能够满足科学研究、气候模拟、药物设计和其他需要大量计算资源的应用。再如:个人计算机与开发者环境。另外在嵌入式领域和移动设备领域Linux也有着广泛的应用。
本文将介绍 Linux 所涉及的基础技术。
Linux的总体构架
Linux 操作系统的总体构架主要包含:内核、系统库、系统软件和 Shell等。内核是操作系统的核心组件之一。它负责该操作系统的所有主要活动。它由各种模块组成,并直接与底层硬件交互。内核促进了所需的抽象,以将低级硬件或应用程序的细节隐藏到系统中。系统库:这些库可以指定为一些特殊函数。这些库实现了操作系统的大部分功能,不需要内核模块的代码访问权限。 系统实用程序:系统实用程序负责各种系统级别的任务,提供各种操作系统的服务,例如docker服务为用户提供容器服务。 Shell是内核和用户之间的接口。它可以承担内核的服务。它可以通过用户接受命令并运行内核的功能。
图2 Linux操作系统的结构
接下来,本文按照内核、系统库、系统软件以及Shell,分类介绍Linux的基础技术。
Linux内核
Linux 内核是操作系统的核心,负责管理系统资源、提供硬件抽象层以及支持用户空间的应用程序运行。内核的设计和实现涉及多个关键技术,这些技术确保了 Linux 系统的稳定性、性能和可扩展性。本文将介绍 Linux 内核的几大关键技术,包括进程管理、内存管理、文件系统、设备驱动、网络栈、安全机制以及内核模块等。
进程管理
进程管理是 Linux 内核最重要的功能之一,它负责进程的创建、调度、切换和终止。
Linux 的默认调度器是完全公平调度器 (Completely Fair Scheduler, CFS) 来管理进程调度。CFS 基于红黑树数据结构,确保每个进程根据其优先级和累积使用时间获得公平的 CPU 时间。CFS支持多核处理器和多任务处理,能够高效地在多个处理器核上调度进程。经过多年不断演进,Linux的完全公平调度器的实现已经相当复杂和全面。
Linux 使用 fork() 和 exec() 系统调用创建新进程。fork() 复制当前进程的地址空间,创建一个子进程;exec() 则用一个新程序替换当前进程的地址空间。Linux使用exit() 系统调用用于终止进程,并释放它所占用的资源。
Linux 提供多种进程间通信机制,如信号、管道、消息队列、共享内存和信号量。这些机制允许进程之间交换数据、同步执行。
内存管理
内存管理负责管理系统的物理内存和虚拟内存,确保进程有效地使用内存资源。Linux 使用虚拟内存机制,每个进程拥有自己的虚拟地址空间,虚拟地址通过页表映射到物理内存。虚拟内存的使用允许进程使用比实际物理内存更大的地址空间。支持内存分页、页面置换和交换空间(swap)。当物理内存不足时,内核可以将不常用的页面交换到磁盘中,以腾出内存。Linux 提供 kmalloc 和 vmalloc 等内核内存分配函数,用于动态分配内存。kmalloc 分配物理连续的内存块,而 vmalloc 则可以分配虚拟上连续但物理上不连续的内存。用户空间的内存分配可以通过 malloc 和 free 函数实现,它们通过 brk() 和 mmap() 系统调用与内核交互。
内存管理单元 (MMU) 是处理器中的硬件组件,用于处理虚拟内存到物理内存的映射。Linux 内核 与 MMU 协同工作,确保内存的有效管理。
为了提高内存管理的效率,Linux内核做了很多、很复杂的创新,例如为了提高内存管理的缓存利用率,开发的Xarray数据结构等。
图3 Linux Xarray数据结构
文件系统
文件系统是 Linux 内核的重要组成部分,它负责管理存储设备上的数据,并提供文件和目录的抽象。Linux 使用虚拟文件系统 (VFS) 作为文件系统接口,VFS 提供了一个统一的抽象层,使得不同类型的文件系统(如 ext4、XFS、Btrfs、NFS 等)可以通过统一的接口进行操作。VFS 提供了文件和目录的基本操作,如打开、读写、关闭、创建和删除等。Linux 支持多种日志文件系统,如 ext3、ext4 和 XFS,这些文件系统使用日志记录技术来提高文件系统的可靠性,避免在系统崩溃时导致数据丢失。
设备驱动
设备驱动是内核与硬件设备之间的桥梁,它们使得内核可以控制和管理各种硬件设备。Linux是世界上支持硬件最为丰富的操作系统。
Linux 支持多种硬件架构,包括 x86、x86_64、ARM、MIPS、PowerPC、RISC-V 等。这意味着 Linux 设备驱动可以在不同类型的处理器和硬件平台上运行,无论是桌面计算机、服务器还是嵌入式设备。
Linux支持多种类型的设备,包括:
存储设备,Linux 支持各种类型的存储设备,包括传统的硬盘 (HDD)、固态硬盘 (SSD)、NVMe 驱动器、USB 闪存驱动器、光盘驱动器等。无论是 SATA、SCSI、NVMe 还是 USB 接口的设备,Linux 都提供了相应的驱动支持。
网络设备,从有线以太网卡到无线网络适配器,Linux 支持几乎所有主流的网络接口控制器 (NIC)。无论是常见的 Realtek、Intel、Broadcom 还是 Atheros 网络芯片,都有相应的开源或闭源驱动程序。
输入设备,Linux 对各种输入设备提供了广泛支持,包括键盘、鼠标、触摸屏、游戏控制器、手写笔、摄像头等。这些设备可以通过 USB、Bluetooth、PS/2 等多种接口与系统连接。
图形设备,Linux 支持 AMD、NVIDIA、Intel 等主要厂商的图形处理单元 (GPU)。不仅有厂商提供的专有驱动,开源社区还开发了功能强大的开源驱动程序(如 Mesa 驱动程序),为用户提供了多种选择。
Linux 内核的开发周期短且持续更新,社区和厂商可以快速添加对新硬件的支持。随着新型硬件设备的推出,Linux 通常能够在短时间内提供相应的驱动程序。
网络协议栈
Linux 内核的网络栈是网络通信的核心组件,它实现了多种网络协议并支持多种网络设备。
Linux 内核中实现了完整的 TCP/IP 协议栈,支持 IPv4 和 IPv6。它负责处理网络数据包的封装、解封装、路由、流控制和错误检测。网络栈通过 socket 接口与用户空间的应用程序交互,支持多种网络通信方式,如 TCP、UDP 和 RAW 套接字。Linux内核社区是TCP/IP协议栈技术团体和组织最为活跃、最为有影响的社区,TCP/IP协议的很多最新技术都是在Linux内核社区讨论并测试的。
Netfilter 是 Linux 内核中的一个框架,用于处理网络数据包的过滤和修改。iptables 是用户空间工具,允许管理员定义数据包过滤规则,以控制网络流量。
通过 Netfilter 和 iptables,Linux 系统可以实现防火墙、NAT、端口转发等网络功能。
Linux 支持网络名称空间,它允许不同的进程组拥有独立的网络堆栈和网络设备。这一功能在容器和虚拟化环境中非常重要,使得每个容器或虚拟机都可以拥有独立的网络配置。
Linux的系统库和系统软件
Linux 系统库和系统软件是操作系统的重要组成部分,它们共同提供了应用程序运行的基础和系统管理的功能。系统库是应用程序与操作系统内核之间的中间层,提供了丰富的 API 和功能,而系统软件则包括各种工具和服务,支持系统的正常运行和管理。
Linux系统库的代表是GNU C Library (glibc)。GNU C Library,简称 glibc,是 Linux 系统中最重要的系统库之一。它是 POSIX 标准的实现,并为应用程序提供了基本的系统调用和标准 C 库函数的支持。glibc 包括内存管理、字符串操作、I/O 处理、进程控制、线程管理等基础功能。提供了对多线程、动态库加载器、国际化支持、数学函数等的支持。glibc与 Linux 内核紧密协作,管理应用程序与硬件资源之间的交互。
Linux的系统软件的代表是系统服务软件systemd。systemd 是 Linux 系统的初始化系统和服务管理器,逐渐取代了传统的 SysVinit。systemd负责启动系统时的初始化进程,管理系统服务的启动、停止、重启等操作。systemd支持并行启动服务,减少系统启动时间,并提供日志管理、设备管理等功能。
另外Linux的系统软件还有图形界面软件、工具链软件等。这些软件功能非常丰富,实现非常复杂,影响非常深远。
图4 Gnome图形界面软件
Shell
Linux Shell 是 Linux 操作系统中非常重要的组成部分,它是用户与操作系统之间的桥梁,提供了命令行界面 (CLI) 供用户输入命令并与操作系统进行交互。Shell 既是一个命令解释器,也是一个编程语言环境,使用户能够执行各种系统任务、自动化脚本以及进行复杂的编程操作。
Shell 是一种用户界面,主要用于解释和执行用户输入的命令。它在用户与操作系统内核之间充当中介,负责接收用户的输入,将其转化为系统能够理解的指令,并将执行结果输出到终端。
Shell 的主要功能是执行用户输入的命令。用户在 Shell 提示符后输入命令,Shell 解析命令并与操作系统内核进行交互,以完成任务。命令可以是内部命令(Shell 内置的命令)或外部命令(系统中的可执行文件)。
Shell 不仅是一个命令解释器,还是一个功能强大的脚本语言环境。Shell 脚本可以帮助用户自动化重复性任务,编写系统管理工具等。
Shell 是系统管理员的重要工具,广泛应用于系统配置、任务调度、日志管理、网络配置等方面。自动化任务:通过 Shell 脚本自动化常规系统维护任务,如备份、日志清理、用户管理等。定时任务:使用 cron 定时调度 Shell 脚本,实现周期性任务的自动化。系统监控:编写 Shell 脚本监控系统资源(如 CPU、内存、磁盘使用情况),并在检测到异常时触发警报或自动采取措施。
总结
Linux 的广泛应用得益于其开源特性、强大的社区支持、可扩展性和稳定性。无论是在企业服务器、超级计算机、个人计算机、嵌入式系统还是物联网设备中,Linux 都以其高效、可靠和灵活的特性成为操作系统领域的主力军。随着科技的不断进步和开源文化的普及,Linux 的影响力将进一步扩大,在更多新兴领域中发挥重要作用。