<div dir="ltr">On Sun, Jul 28, 2013 at 7:27 PM, Radio młodych bandytów <span dir="ltr"><<a href="mailto:radiomlodychbandytow@o2.pl" target="_blank">radiomlodychbandytow@o2.pl</a>></span> wrote:<br><div class="gmail_extra">



<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks for the data. I took a quick glance now, later will do some more.<br>
It appears that the requirement to halve input size is just too much for<br>
lz4 to notably compress even English text...I suspect that few workloads<br>
will benefit from LZ4 compression then. There's a need for something<br>
stronger...<br></blockquote><div><br></div><div>I think, the compression will be beneficial for log files, source code files and some types of uncompressed files. I don't think that changing the algorithm will significantly change how things are, because we have certain limitations, like we compress only one block at a time and we don't reference previous blocks at this moment, so the algorithms don't perform at their full potential.</div>


<div><br></div><div>But I'll try other algorithms if I'll have enough time.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Anyway, my results with LZ4 r97 are slightly different, it managed to<br>
halve 1 block of book1. Which version do you use?<br></blockquote><div><br></div><div>I think I use r97 as well. Are you sure that your compression conditions are the same as mine? I only try to compress one 64KB block at a time and I don't use the information from previous blocks or anything else.</div>

<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Overall, I have a feeling that a stronger LZ77 would be a better fit.<br>
Something like <a href="https://code.google.com/p/data-shrinker/" target="_blank">https://code.google.com/p/data-shrinker/</a> (Warning: the<br>
code is demo quality), Shrinker is the strongest-of-fast.<br></blockquote><div><br></div><div>OK, this looks promising. When I was choosing an algorithm for the compression feature, one of the candidates was DEFLATE, which is based on LZ77. So, I'll definitely consider this data-shrinker as an alternative to LZ4.</div>
<div><br></div><div>Thank you.</div><div><br></div><div><br></div><div>Daniel</div></div></div></div>