lbzip2 多线程并行压缩、解压

警告
本文最后更新于 2020-04-15,文中内容可能已过时。

lbzip2 实现了多线程进行压缩、解压。

安装

1
2
3
4
5
6
7
8
wget https://launchpad.net/ubuntu/+archive/primary/+sourcefiles/lbzip2/2.5-2/lbzip2_2.5.orig.tar.bz2

tar -xvf lbzip2_2.5.orig.tar.bz2
cd lbzip2-2.5

sudo ./configure --prefix=/usr
sudo make -j
sudo make install

对比

演示文件信息

1
2
-rw-r--r--.  1 1001 1001  5.2G Apr 14 15:15 20200414.csv
-rw-r--r--.  1 root hy   1007M Apr 15 10:58 20200414.tar.bz2

lbzip2

1
2
3
4
5
time tar -cvf - 20200414.csv | lbzip2  > 20200414.tar.bz2

real    0m19.618s
user    9m48.298s
sys     0m22.568s

pbzip2

1
2
3
4
5
time tar -cvf - 20200414.csv | pbzip2  > 20200414.tar.bz2

real    0m52.157s
user    21m41.673s
sys     0m32.150s

相关内容

william 支付宝支付宝
william 微信微信
0%