Názor ke článku Porovnání gzip, bz2, xz a zstd ve všech stupních komprese od Adam Kalisz - Díky moc za tento článek. Zrovna se mi...

Díky moc za tento článek. Zrovna se mi hodil při hledání iniciálních hodnot pro testování komprese pro backupy OrgPadu.com, které chceme dělat efektivněji, jak nám přibývají uživatelé.

Dosud jsme dělali poměrně stupidně backupy v principu pomocí pg_dump | gzip a backup server si to tahal z produkce, kde se udržovala kopie. Teď se zajímáme o Borg Backup, který nám efektivitu backupu zvýši více než 10x co se týče náročnosti na úložný prostor. Budeme asi používat zstd na úrovni 11, což je rychlé a poměrně efektivní, zdá se. Mám několik dní archivů vždy po 15 minutách zkomprimované pomocí defaultního gzipu. To dá dohromady ca. 16 GB dat. Když to celé nasypu do borg backupu (pomocí zcat | borg), tak se standardním nastavením tvrdí:

                       Original size      Compressed size    Deduplicated size
All archives:               97.85 GB             27.60 GB              2.14 GB

                       Unique chunks         Total chunks
Chunk index:                    2513                39499

Test ještě není hotový, ale podle dosavadních dat to vypadá, že zstd na úrovni 11 uspoří ca. 50% místa oproti lz4. Upřímně nepozoruji výrazné zpomalení (zhruba 10-15%), rozhodně ne takové, aby mě to trápilo a měl jsem potřebu to hlouběji studovat.