Debian/Ubuntu 、Fedora 、Arch Linux, 在Linux上,对文本文件进行多线程压缩 xz、pxz、zstd、7z、lrzip

news2024/11/29 22:37:22

Debian/Ubuntu 、Fedora 、Arch Linux, 在Linux上,对文本文件进行多线程压缩 xz、pxz、zstd、7z、lrzip

  • 前言对比
  • 多线程压缩
  • 1. 使用 `pxz`
    • 安装 `pxz`
    • 使用 `pxz`
  • 2. 使用 `xz` 的 `-T` 选项
    • 使用 `xz -T`
  • 3. 其他压缩命令
    • 1. 使用 `gzip`
    • 2. 使用 `bzip2`
    • 3. 使用 `xz`
    • 4. 使用 `7z`
    • 5. 使用 `zstd`
    • 6. 使用 `tar` 和压缩工具结合
  • 4. 解压缩
  • 总结

前言对比

xz 通常提供非常高的压缩比,特别适合文本文件。它使用 LZMA2 算法,压缩效果优于 gzip 和 bzip2。
zstd 是一种现代的压缩算法,提供了很好的压缩比和速度。虽然在某些情况下它的压缩比可能不如 xz,但它在速度上表现优异。
bzip2 也可以提供良好的压缩比,尤其在处理文本文件时。
7z(p7zip)能够提供极高的压缩比,尤其适合文本和混合类型文件。
lrzip 是一种专门设计用于大文件的压缩工具,能够提供非常高的压缩比,尤其在处理重复数据时。


xz 本身并不支持多线程压缩,但可以使用 pxzxz -T 选项来实现多线程压缩。
以下是如何使用这两种方法的说明:

多线程压缩

1. 使用 pxz

pxzxz 的一个并行版本,能够利用多个 CPU 核心进行压缩。

安装 pxz

在大多数 Linux 发行版中,你可以通过包管理器安装 pxz

# 对于 Debian/Ubuntu
sudo apt-get install pxz

# 对于 Fedora
sudo dnf install pxz

# 对于 Arch Linux
sudo pacman -S pxz

使用 pxz

使用 pxz 压缩文件的基本命令如下:

pxz -9 filename.txt

这里的 -9 表示使用最高压缩级别。

2. 使用 xz-T 选项

在较新的版本的 xz 中,可以使用 -T 选项指定使用的线程数。

使用 xz -T

例如,要使用 4 个线程进行压缩,可以这样做:

xz -T4 -9 filename.txt

这里的 -T4 表示使用 4 个线程,-9 表示使用最高压缩级别。

3. 其他压缩命令

在Linux中,可以使用多种工具对文本文件进行超高压缩。以下是一些常用的方法和工具:

1. 使用 gzip

gzip 是一种常见的压缩工具,适合压缩文本文件。

gzip filename.txt

这将生成一个名为 filename.txt.gz 的压缩文件。

2. 使用 bzip2

bzip2 通常比 gzip 提供更好的压缩率,但速度较慢。

bzip2 filename.txt

这将生成一个名为 filename.txt.bz2 的压缩文件。

3. 使用 xz

xz 可以提供更高的压缩比,尤其适合文本文件。

xz filename.txt

这将生成一个名为 filename.txt.xz 的压缩文件。

4. 使用 7z

7zp7zip 包的一部分,能够提供非常高的压缩比。

7z a filename.7z filename.txt

5. 使用 zstd

zstd 是一种快速且高效的压缩算法,适合对大文件进行压缩。

zstd filename.txt

这将生成一个名为 filename.txt.zst 的压缩文件。

6. 使用 tar 和压缩工具结合

如果你想同时压缩多个文件,可以使用 tar 来打包文件,然后再进行压缩。例如,使用 gzip

tar -czf archive.tar.gz file1.txt file2.txt

4. 解压缩

对于上述所有工具,你可以使用相应的解压命令:

gzip: gunzip filename.txt.gz
bzip2: bunzip2 filename.txt.bz2
xz: unxz filename.txt.xz
7z: 7z x filename.7z
zstd: unzstd filename.txt.zst
tar: tar -xzf archive.tar.gz

选择合适的工具取决于你的需求,如压缩比、速度以及是否需要处理多个文件等。

总结

  • 如果你需要一个简单的多线程解决方案,可以使用 pxz
  • 如果你的 xz 版本支持 -T 选项,也可以直接使用 xz 来进行多线程压缩。

根据你的需求选择合适的工具,通常 pxz 在多线程压缩方面的性能表现会更好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2250047.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何通过智能生成PPT,让演示文稿更高效、更精彩?

在快节奏的工作和生活中,我们总是追求更高效、更精准的解决方案。而在准备演示文稿时,PPT的制作往往成为许多人头疼的问题。如何让这项工作变得轻松且富有创意?答案或许就在于“AI生成PPT”这一智能工具的广泛应用。我们就来聊聊如何通过这些…

格网法计算平面点云面积(matlab版本)

1、原理介绍 格网法计算平面点云面积,其思想类似高中油膜法计算面积。其将点云投影到水平面,再将点云划分成尺寸相同的格网。最后,统计格网内包含点的数量number,那么可利用如下公式计算得到点云的面积: Aeranumber*L…

无代码实现可视化GIS+模型+三维

现在的工具是越来越方便了,本来不是做前端的。可以节省很多的人力和时间,更快的搭建自己想要的可视化大屏,看例子 主要由三维的gis地图和模型加上二维的数据表格分析来实现这个可视化界面。 gis地图的设置 每一个gis都要设置世界远点&#x…

Jmeter中的监听器

3)监听器 1--查看结果树 用途 调试测试计划:查看每个请求的详细信息,帮助调试和修正测试计划。分析响应数据:查看服务器返回的响应数据,验证请求是否成功。检查错误:识别和分析请求失败的原因。 配置步骤…

kafka进阶_3.消费消息

文章目录 一、消费消息概览1.1、消费示例代码1.2、消费过程 二、消费者组2.1、push & pull2.2、消费者组 三、调度器Coordinator四、消费者分配策略4.1、引言4.2、分配基本流程4.3、分配策略4.3.1、轮询分配策略4.3.2、轮询分配策略 五、消费偏移量5.1、起始偏移量5.2、指定…

用VC2019+MFC 创建一个DLL封装MD工业相机库然后用EXE调用这个相机库采图并且显示

主要描述: 用VC2019MFC 创建一个DLL封装MD工业相机库,再建一个EXE调用这个相机库采图并且显示。 先创建库工程: 新建一个库工程, 创建完成,添加一个DllFunction.h头文件,一个DllFunction.cpp 源文件 拷贝…

ODB 框架

目录 概述 基本工作原理 映射C对象到数据库表 从数据库中加载对象 持久化C对象到数据库 ODB常用接口 表创建预处理 #pragma db Object table 数据表属性 id auto column(“xxx”) type("xxx") unique index null default&…

ModuleNotFoundError: No module named ‘_ssl‘ centos中的Python报错

1、检查系统有没有openssl,有的话,就是python安装时没有指定openssl openssl version,有输出版本号就有,没有的话,需要手动安装 下载地址 参见https://www.openssl.org/,包括以下版本: https:/…

小程序-基于java+SpringBoot+Vue的微信小程序养老院系统设计与实现

项目运行 1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。 2.IDE环境:IDEA,Eclipse,Myeclipse都可以。推荐IDEA; 3.tomcat环境:Tomcat 7.x,8.x,9.x版本均可 4.硬件环境&#xff1a…

linux高级系统编程之进程

进程 一个正在进行的程序 并行与并发 并行:执行的程序在不同CPU上同时执行 并发:一个CPU,多个进程交替执行,因为交替速度很快,所以从宏观上来看是同时执行的,但是从围观的角度是交替执行的 单道与多道 单道程序设计:所有进程一个一个排队执行,若A阻塞,B只能等待,,即使CPU处于空…

GitHub Copilot革命性更新:整合顶尖AI模型,如何重塑开发体验?

在技术快速发展的今天,代码辅助工具已成为提升开发效率的利器。今天,我们带来了一个激动人心的消息——GitHub Copilot宣布引入多模型选择功能,这不仅是技术上的一次飞跃,更是对开发者工作流程的一次革新。 多模型选择&#xff1a…

AppFlow:支持飞书机器人调用百炼应用

AppFlow:支持飞书机器人调用百炼应用 简介: 本文介绍了如何创建并配置飞书应用及机器人,包括登录飞书开发者后台创建应用、添加应用能力和API权限,以及通过AppFlow连接流集成阿里云百炼服务,最后详细说明了如何将机器…

华为E9000刀箱(HWE9000V2)服务器硬件监控指标解读

随着数据中心规模的不断扩大,服务器的稳定性和可靠性变得尤为重要。华为E9000刀箱(HWE9000V2)作为一款高性能的服务器设备,其硬件状态的实时监控对于保障业务的连续性和系统的稳定运行至关重要。 监控易作为一款专业的IT基础设施监…

GWO-SVMD分解 | Matlab实现GWO-SVMD灰狼算法优化逐次变分模态分解

GWO-SVMD分解 | Matlab实现GWO-SVMD灰狼算法优化逐次变分模态分解 目录 GWO-SVMD分解 | Matlab实现GWO-SVMD灰狼算法优化逐次变分模态分解效果一览基本介绍程序设计参考资料 效果一览 基本介绍 GWO-SVMD灰狼算法优化逐次变分模态分解 内有15种用以优化svmd的适应度函数&#…

景联文科技:高质量数据采集标注服务引领AI革新

在当今这个数字化时代,数据已经成为推动社会进步和产业升级的关键资源。特别是在人工智能领域,高质量的数据是训练出高效、精准的AI模型的基础。景联文科技是一家专业的数据采集与标注公司,致力于为客户提供高质量的数据处理服务,…

pycharm添加gitee插件

一、拉取gitee上托管的代码到本地,用pycharm运行 前置条件 1.安装python运行环境 2.安装pycharm 安装:https://blog.csdn.net/m0_65482549/article/details/141394352 1.3.安装git git config --global user.name “" git config --global user.em…

Echarts 绘制地图

一、Apache Echarts 官网地址:https://echarts.apache.org/ npm install echarts --save 二、获取地图的GeoJSON 地址:DataV.GeoAtlas地理小工具系列 左侧是地图,右侧是JSON数据路径,点击你想要生成的地图省市、地级&#xff0…

DHCP服务(包含配置过程)

目录 一、 DHCP的定义 二、 使用DHCP的好处 三、 DHCP的分配方式 四、 DHCP的租约过程 1. 客户机请求IP 2. 服务器响应 3. 客户机选择IP 4. 服务器确定租约 5. 重新登录 6. 更新租约 五、 DHCP服务配置过程 一、 DHCP的定义 DHCP(Dynamic Host Configur…

html+css+js网页设计 旅游 厦门旅游网14个页面

htmlcssjs网页设计 旅游 厦门旅游网14个页面 网页作品代码简单,可使用任意HTML辑软件(如:Dreamweaver、HBuilder、Vscode 、Sublime 、Webstorm、Text 、Notepad 等任意html编辑软件进行运行及修改编辑等操作)。 获取源码 1&am…

springboot(20)(删除文章分类。获取、更新、删除文章详细)(Validation分组校验)

目录 一、删除文章分类功能。 (1)接口文档。 1、请求路径、请求参数。 2、请求参数。 3、响应数据。 (2)实现思路与代码书写。 1、controller层。 2、service接口业务层。 3、serviceImpl实现类。 4、mapper层。 5、后端接口测试。…