圧縮率比較
奥村先生のサイト等で，xz圧縮が話題になっていました．
gzipの代わりにxzを使おう | Okumura's Blog
GNU coreutils をソースからコンパイルしようとしてびっくり。coreutils-7.3.tar.gz (9690396バイト) 以外に coreutils-7.3.tar.xz (4045980バイト) が置いてある。*.xz は *.gz の42%のサイズしかない。
CDM（圧縮に基づく非類似度）やNCD（正規圧縮距離）にとっては，圧縮率の高さは死活問題ですので，簡単にテストしてみました．
使ったプログラムは，gzip，xz，bzip2で，圧縮率オプションはどれも最高の「-9」です．
結果の表の中で，「テキストファイル」というのは，
http://www.gutenberg.org/files/11/11.txt
にあるルイス・キャロルの「不思議の国のアリス」の英語版，「MP3ファイル」というのは
http://www.ne.jp/asahi/music/myuu/wave/amairo.mp3
にあるドビュッシーの「亜麻色の髪の乙女」です．
「大容量プログラムソースコード」というのは，
Index of /pub/linux/kernel/v2.6/
にあるLinuxカーネル2.6.29のtarファイルです．
| ファイル | 圧縮 | 処理時間 | ファイルサイズ |
| テキストファイル | オリジナル | NaN | 167529 |
| テキストファイル | gzip | 0:00.05 | 60425 |
| テキストファイル | xz | 0:00.33 | 53620 |
| テキストファイル | bzip2 | 0:00.05 | 48983 |
| MP3ファイル | オリジナル | NaN | 1378602 |
| MP3ファイル | gzip | 0:00.20 | 1370019 |
| MP3ファイル | xz | 0:01.17 | 1371104 |
| MP3ファイル | bzip2 | 0:00.88 | 1363487 |
| 大容量プログラムソースコード | オリジナル | NaN | 336179200 |
| 大容量プログラムソースコード | gzip | 1:36.78 | 71955491 |
| 大容量プログラムソースコード | xz | 10:24:28.45 | 46462176 |
| 大容量プログラムソースコード | bzip2 | 2:42.27 | 56579370 |
んー，今まで研究で使ってきたbzip2は，やっぱりそこそこ良さそうです．
xzの圧縮率は，圧縮が効きそうなテキストファイルではbzip2に負けて2番，既に圧縮がかかっていて，それ以上効きそうもないMP3では最下位，大容量ではトップです．
が，大容量の場合，xzが圧縮率はトップですけど，10時間かかってます（gzipとbzip2は，1〜2分）．もっとも，圧縮を展開するのは速いそうなので，ファイルを入手して展開するには良いのでしょうが，それでも圧縮率と時間をbzip2と比べると，bzip2を使ってしまいます．
