如何加快压缩和解压缩的速度

参考文章为生信技能树

https://www.bilibili.com/video/BV1Aa411e791?spm_id_from=444.41.list.card_archive.click

如何加快压缩和解压缩的速度

1. gzip/gunzip

   压缩：gzip readme.txt

   解压：gunzip readme.txt.gz

2. zip/unzip

   压缩：zip readme.txt.zip readme.txt

   解压：unzip readme.txt.zip

3. bzip2

   压缩：bzip2 readme.txt

   解压：bizp2 readme.txt.bz2

4. tar（适用于多个文件）

   压缩：tar -zcvf output.tar.gz file1 file2

   解压：tar -zxvf input.tar.gz

这些都是==单线程==的

pigz

lscpu 看当前cpu的一些参数

可以多线程进行压缩和解压缩

conda install pigz

参数

-d --decompress 解压缩
-p --processes n 使用几个线程来解压
-k --keep 保留原文件
-c --stdout 输出到标准输出流

压缩成.gz格式

pigz -k -p 8 file1

很快啊

压缩成.tar.gz

tar -cvf - file1 file2 file3 |pigz -p 8 > output.tar.gz

解压.gz格式的文件

pigz -d -k -p 48 SRR13436208_mapped_and_unmapped.fastq.gz

解压缩.tar.gz格式的文件

pigz -d -c -p 48 1.tar.gz | tar -xf -