https://blog.root.cz/x14/ https://i.iinfo.cz/r/rss-88x31.gif 88 31 https://blog.root.cz/x14/ Poslední přidané názory v blogu x14 cs Wed, 21 Jun 2023 10:07:16 GMT https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1118480?utm_source=rss&utm_medium=text&utm_campaign=rss Zkoušel jste si udělat zstd slovník (dictionary) a hlavně tzv. long mode (--long)? Je možné, že by to potom bylo výrazně lepší? Adam Kalisz Wed, 21 Jun 2023 10:07:16 GMT blog.root.cz-blogComment-1118480 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1060764?utm_source=rss&utm_medium=text&utm_campaign=rss Xz má přepínč -T na paralelizaci. Sám autor pixz se k němu kladně vyjadřuje, viz https://superuser.com/a/897325/205301. Hans Ginzel Fri, 12 Feb 2021 09:13:38 GMT blog.root.cz-blogComment-1060764 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1049994?utm_source=rss&utm_medium=text&utm_campaign=rss Díky moc za tento článek. Zrovna se mi hodil při hledání iniciálních hodnot pro testování komprese pro backupy OrgPadu.com, které chceme dělat efektivněji, jak nám přibývají uživatelé. Dosud jsme dělali poměrně stupidně backupy v principu pomocí pg_dump | gzip a backup server si to tahal z produkce, kde se udržovala kopie. Teď se zajímáme o Borg Backup, který nám efektivitu backupu zvýši více než 10x co se týče náročnosti na úložný prostor. Budeme asi používat zstd na úrovni 11, což je rychlé a poměrně efektivní, zdá se. Mám několik dní archivů vždy po 15 minutách zkomprimované pomocí defaultního gzipu. To dá dohromady ca. 16 GB dat. Když to celé nasypu do borg backupu (pomocí zcat | borg), tak se standardním nastavením tvrdí: Original size Compressed size Deduplicated size All archives: 97.85 GB 27.60 GB 2.14 GB Unique chunks Total chunks Chunk index: 2513 39499 Test ještě není hotový, ale podle dosavadních dat to vypadá, že zstd na úrovni 11 uspoří ca. 50% místa oproti lz4. Upřímně nepozoruji výrazné zpomalení (zhruba 10-15%), rozhodně ne takové, aby mě to trápilo a měl jsem potřebu to hlouběji studovat. Adam Kalisz Wed, 30 Sep 2020 23:58:41 GMT blog.root.cz-blogComment-1049994 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1018509?utm_source=rss&utm_medium=text&utm_campaign=rss tar neni kompresor. Nikdy nebyl a nebude. Tar je v podstate jen "streamer". Tape Archiver. To ze nejake implementace maji parametr na kompresi na faktu nic nemeni A na to palec dolu. Trident Vasco Sat, 16 Feb 2019 01:55:20 GMT blog.root.cz-blogComment-1018509 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1018408?utm_source=rss&utm_medium=text&utm_campaign=rss pxz -v9 ... jsem nasel paralelni xz v repo. ad reCaptcha - zajimave, ja mam jen kolecko ze nejsem robot, obrazky se objevuji kvuli siti (jako treba mobilniho operatora) ? jarda mira Thu, 14 Feb 2019 10:15:43 GMT blog.root.cz-blogComment-1018408 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1018407?utm_source=rss&utm_medium=text&utm_campaign=rss Diky za pekny clanek. Pripojuji se k nekterym predchozim postum - moc bych ocenil, kdyby osy y zacinaly od nuly a autor pridal jeste dalsi zminovane kompresory. jarda mira Thu, 14 Feb 2019 10:12:44 GMT blog.root.cz-blogComment-1018407 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1018339?utm_source=rss&utm_medium=text&utm_campaign=rss Multi-thread implementace jsou super, ale já jsem rád, že benchmark testuje pouze single thread. S výjimkou laptopu dedikovaného na jeden úkol v daném čase (což je pravda zrovna případ tohoto článku) se komprese používá pro mnoho jiných účelů, které už paralelizované jsou (HTTP server, různé proudové zpracování dat atd). Tam by další paralelizace byla kontraproduktivní. Prakticky každý dnešní kompresor má paralelní alternativu, která zrychluje téměř lineárně a přidává zhruba procento navíc. S tou lineárností je to pravda trochu diskutabilní, Xz třeba v závislosti na úrovni komprese potřebuje mnoho dat, aby naplnil buffery pro jednotlivé thready, poslední blok zpracovává pouze jeden thread. kvr kvr Tue, 12 Feb 2019 15:58:10 GMT blog.root.cz-blogComment-1018339 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1018323?utm_source=rss&utm_medium=text&utm_campaign=rss Jak už někteří psali, implementace používající paralelní kompresi jsou výrazně rychlejší. Můj výběr pro různé situace na základě vlastních testů: - pokud je potreba rychlost: pzstd (deb balik zstdc) - pokud je potreba gzip standard a rychlost: pigz - pokud je potreba velka komprese: lbzip2 - pokud je potreba hodne velka komprese: pixz Dobré srovnání je taky tady: https://hannuhartikainen.fi/blog/everyday-compression-tool/ A nakonec jedno smutné oznámení. Toto je můj poslední příspěvek na root.cz, dokud tu bude Google reCaptcha. Asi 7 obrázků a pak Verification expired (začal jsem psát příspěvek až po testu captcha, protože se mi nechtělo věřit, že jste sem tu zrůdnost fakt dali pro přihlášené uživatele). J C Tue, 12 Feb 2019 10:55:29 GMT blog.root.cz-blogComment-1018323 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1018316?utm_source=rss&utm_medium=text&utm_campaign=rss Dobře, toto vypadá, že je asi celkem OK, jen jsem tyto informace nevyčetl přímo ze článku. A mohlo by se tím vysvětlovat, proč druhý a třetí graf jsou více nalepeny na levou osu – v prvním hrálo roli i IO, protože se data nevlezla do cache. Vít Šesták Tue, 12 Feb 2019 07:01:34 GMT blog.root.cz-blogComment-1018316 https://blog.root.cz/x14/porovnani-gzip-bz2-xz-a-zstd-ve-vsech-stupnich-komprese/#o1018312?utm_source=rss&utm_medium=text&utm_campaign=rss Tak určitě :-) Máte pocit, že je to na 'gzip -c1' poznat? Není. To proto, že vzorek byl těsně předtím připraven, takže už v keši byl. A i kdyby ne - vadí tak moc, že je jedno ze skoro padesáti měření nějak ovlivněné? :-) Programy šly po sobě gzip -c1, gzip -c2, gzip -c3 ..... bzip2 -c0, bzip2 -c1 – nic zajímavého, počítač běžel v tahu několik dní. Pokud jde o dvě měření - ring je volný :-) :-) Ladislav Matula Mon, 11 Feb 2019 23:24:01 GMT blog.root.cz-blogComment-1018312